DataHub

DataHub 是一个开源元数据平台，最初由 LinkedIn 构建，用于跨组织目录化和管理数据。它跟踪数据存储的位置、系统间数据如何流动、谁拥有它以及如何使用它，为团队提供其数据资产的搜索地图。在 AI 系统的上下文中，这种元数据有助于确定哪些数据集是值得信赖且相关的，足以输入模型。由于它是开源的，团队可以自托管和扩展它，而不是依赖托管的供应商。