元数据管理白皮书
1. 什么是元数据............................................................................................................ 3 2. 为什么需要一个元数据知识库 ................................................................................... 3
2.1. 对IT用户的价值 ............................................................................................ 4 2.2. 对商业用户的价值 .......................................................................................... 4 3. Teradata Meta Data Services 2.1 ............................................................................... 4
3.1. 环境 ............................................................................................................... 4 3.2. MDS管理元数据知识库的工具 ....................................................................... 5
3.3. 3.4. 3.5. 3.6. 3.7. 3.8. 3.9. 3.10.
应用信息模型(Application Information Models) .......................................... 5 安全 ............................................................................................................... 6 Teradata数据库信息模型(DIM) ................................................................... 7 Teradata数据字典扫描程序 ............................................................................. 8 DIM自动更新 ................................................................................................ 8 审计跟踪 ........................................................................................................ 8 业务元数据..................................................................................................... 9 ETL元数据 ................................................................................................. 9
3.11. MetaSurf? ................................................................................................ 10 4. 定制和扩展元数据知识库 .........................................................................................11
4.1. 4.2. 4.3. 4.4.
MetaDesigner ...............................................................................................11 C++编程接口 ................................................................................................ 12 COM编程接口 ............................................................................................. 12 XML接口 .................................................................................................... 12
5. 元数据互换 ............................................................................................................. 12
5.1. 元数据集成技术................................................................ 错误!未定义书签。 5.2. 元数据标准................................................................................................... 12 6. 本地化和国际化 ...................................................................................................... 13
1. 什么是元数据
所谓元数据,是指关于数据的数据,可以用来描述数据的类型、来源、定义、存储位置、商业规则,使得业务人员可以正确地使用数据仓库,技术人员可以使用元数据信息开发数据仓库应用、维护数据仓库的运行。
基于上面的定义我们可以知道元数据的使用者可以分为:技术用户、商业用户两类,因此元数据也可以相应的分为业务元数据(Business Metadata)、技术元数据(Technical Metadata)两类,下面分别针对这两类信息说明:
? 技术元数据(Technical Metadata)
技术元数据主要被企业IT人员(系统分析员、数据仓库管理员、数据库管理员)使用。技术元数据为企业数据仓库提供了详细的蓝图,企业IT人员可以借助这一蓝图更方便的扩展和维护数据仓库。技术元数据可以跟踪数据的流动,确定元数据来自哪里?什麽时间被加载?目标数据库是什麽?数据从源到目标移动过程中应用于该数据的技术和业务规则是什麽?通过跟踪、分析源数据加载到目标系统的过程,企业IT人员可以使用技术元数据检查数据仓库信息的准确性。此外利用已经定义的技术元数据信息企业IT人员可以分析任何涉及改变对数据仓库的影响,这样可以更快速的实施改变和后续项目。
? 商业元数据(Business Metadata)
商业元数据主要被企业业务人员使用,以他们可以理解的、简单易懂的语言描述数据仓库的对象,使他们能够不借助企业IT人员就可以找到自己需要的信息。
2. 为什么需要一个元数据知识库
很多人已经有了关于数据仓库的元数据,这些元数据可能是文档、电子表格、书面说明或是头脑中的想法。存储、定位和维护这些信息可能是很麻烦的。一个数据仓库的元数据知识库提供了一个中央存储位置,是用户可以在线访问信
息。知识库中存储了数据仓库整个处理过程中涉及到的信息,这些信息包括:数据仓库的加载,数据仓库中数据的结构,数据仓库中数据的的使用。
2.1. 对IT用户的价值
数据仓库的元数据知识库允许IT人员更有效的管理数据仓库。IT人员可以使用元数据完成下列工作:
? 消除数据冗余
? 在对数据仓库做改变之前确定改变的影响
? 确定数据使用情况,了解花费时间修改、花费空间存储的数据是否有人
使用
? 理解数据仓库的结构和关系
2.2. 对商业用户的价值
数据仓库的元数据知识库对商业用户也有很高价值。例如:商业用户可以 ? 搜索知识库查找特定的信息在数据仓库中的位置 ? 理解数据仓库中数据的含义
? 取得关于数据的进一步信息,如:数据如何被刷新?什么人拥有数据?
数据何时被修改?数据来自哪里?
? 理解数据的商业规则,如:数据的最大、最小值是什么?编码的含义? ? 理解数据所属的业务主题是什么
3. Teradata Meta Data Services 2.1
3.1. 环境
MDS将元数据存储在Teradata数据库的一组表中。MDS软件运行在Windows(Win98/ME/NT/2000)或MP-RAS Unix系统,借助Teradata ODBC Driver访问Teradata数据库。
MDS2.1支持Teradata数据库V2R4.0.X和V2R4.1.X。
3.2. MDS管理元数据知识库的工具
MDS2.1提供了两个工具管理存储元数据德Teradata表:metacreate、metamigrate。这些工具支持Windows和Unix MP-RAS平台。
Metacreate工具在一个已定义的数据库中初始化元数据知识库,建立MDS需要的表。在初始的元数据知识库被建立以前不能进行任何MDS操作。
MDS 2.1提供了一个工具metamigrate转化低版本的MDS知识库到MDS2.1格式。这个工具自动修改所有已存在的数据(模式、对象等)以符合MDS 2.1格式。
3.3. 应用信息模型(AIM)
应用信息模型(AIM)定义了一组元数据在MDS知识库中如何存储。一个事例模型表示如下:
DatabaseHasViewsHasTablesClassDescriptionRelationshipDescriptionsClassDescriptions AIM有三类对象构成:
? 类描述(Class Descriptions)— 定义了元数据的类型。在上面的例
子里数据库、视图和表都是类描述。在知识库中类描述的实体被称为对象。 ? 属性描述(Property Descriptions)— 和类描述相关的数据域如:类
型、名称。 ? 关系描述(Relationship Descriptions)— 描述两个类之间的关系。
在上面的例子里关系描述被定义为“DatabaseHasTables”,关系在数据库对象和标对象之间建立了联系。