
本书主要讲述SQL Server 2000的存储技术,全书共由7章组成。第1章主要介绍本书的内容、目标和适用对象;第2章主要介绍SQL Server 2000的体系结构;第3章主要是关于数据库与数据库文件的讨论,介绍它们的设置与用途;第4章是关于表的物理设计,主要介绍SQL Server 2000的页面结构和记录结构;第5章是各种索引技术与结构的介绍,讨论有索引约束的数据的插入、删除和更新操作;第6章主要介绍纯XML数据库管理系统这种新型数据库的存储引擎和计算引擎;第7章专门介绍一个我们自己设计实现的页式文件I/O系统及应用实例,每章末皆有参考文献。
课件处为附录A提到的4项文件。
经过近五十年的发展,数据库管理系统的核心技术已经相当成熟,这主要表现在商业数据库系统的日益完善及其强大的功能上。随着当前信息技术的发展,数据库系统及数据库的应用也越来越广泛,可以说是深入到社会的各个领域,而数据库技术本身也在不断地发展,例如纯XML数据库管理系统等。数据库管理系统已经成为各种信息技术的综合体,同时在数据库应用方面也不断出现新的面孔,而数据库管理系统本身的研究也在不断地扩展。因此,清华大学计算机科学与技术系目前的数据库课程设置已经与数据库技术的发展不相适应。为了使清华大学跻身于世界一流大学的行列,为了培养国际性的高科技人才,同时也为了提高清华大学计算机科学与技术系在国内外的地位,我们必须加强清华大学计算机科学与技术系数据库系列课程的建设。这一系列课程将覆盖与数据库相关的以下内容:
数据库的设计与应用;
数据库管理系统中的数据存储;
数据库管理系统的核心技术;
数据库管理系统的实现;
并行与分布式数据库管理系统;
数据库系统的扩展与前沿研究。
通过这一系列课程的学习,学生可以了解数据库管理系统的基本理论和内容,能够设计和实现大型的数据库应用系统,了解数据库管理系统的核心技术及其实现,了解有关数据库管理系统研究的最新进展等,从而认识到数据库管理系统在大型应用中的地位和作用,尤其是认识到我们国家在数据库管理系统方面与世界的差距,为学生将来参与有关数据库管理系统方面的研究奠定必要的知识基础。而《数据库专题训练》这门实践性的课程正好涵盖了数据库管理系统中的数据存储、核心技术与实现技术等专题内容。
长期以来,学生很少了解数据库管理系统的底层存储和核心技术,看到的数据库管理系统就像是一个黑匣子一样。因此,本教材的目标就是帮助学生打开这个黑匣子,让学生充分了解数据库的文件组织、文件结构、页结构以及记录组织和记录结构,让学生深入到数据库底层存储的每一页、每一条记录、每一个字节和每一位。通过本教材的学习,学生应能掌握数据库管理系统的基本原理和实现技术,尤其是数据库的底层存储技术,如文件结构、文件组织和I/O处理、缓存管理,达到能够独立分析和开发类似数据库管理系统这样的系统软件的水平,具有独立承担科研任务的能力。
本书是《数据库专题训练》这门课程的配套教材,全书共由7章组成。第1章是引言,介绍本教材的内容、目标和适用对象;第2章的内容是SQL Server 2000的体系结构,概括地介绍SQL Server 2000软件系统的各个组成部分以及它们之间的交互,讨论数据库管理系统与Windows操作系统之间的关系;第3章主要是关于数据库与数据库文件的讨论,介绍它们的设置与用途;第4章是关于表的物理设计,详细介绍SQL Server 2000的数据库页面数据结构的设计以及记录的存放结构;第5章是各种索引数据结构的介绍,讨论它们的维护与使用,以及在索引约束之下的数据记录的各种操作;第6章是纯XML数据库管理系统的研究现状及发展方向,主要介绍这种新型数据库的存储引擎和计算引擎,重点是XML数据的存储策略、查询处理及当前已有的纯XML数据库管理系统的技术特点;第7章专门讨论一个我们自己设计实现的页式文件I/O系统,内容包括I/O系统的总体结构、系统常量和变量、数据结构与主要算法、系统对外的开放接口API及应用实例。
本书主要由冯建华副教授负责编写。钱乾和曲直同学设计并实现了一个页式文件I/O系统,给出了文件I/O系统的设计文档和使用手册。周立柱教授对全书进行了审阅。在编写过程中,作者主要参考了国内外有关数据库技术的书刊和文献资料,以及清华大学计算机科学与技术系的学生论文和科研技术报告。但由于数据库技术及其扩展研究正处在蓬勃发展的阶段,新的文献资料收集得还很不完整。限于作者学识水平,书中不足之处恳请读者给予批评指正。
本书的编写得到作者所在的数据库课题组其他成员的大力支持,同时在本书所附的光盘中包含了由学生自己设计、开发的部分小型数据库管理原型系统的源代码,供广大读者学习时参考使用,在此对所有人的工作与支持表示衷心的感谢。
编者
2007年4月于清华园
第1章引言/1
1.1数据库管理系统的通用功能与系统组成/1
1.2《数据库专题训练》的由来/3
1.3选择SQL Server 2000的原因/4
1.4SQL Server 2000的技术特色/5
1.5《数据库专题训练》的实验要求/5
本章小结/7
参考文献/7
第2章SQL Server 2000的体系结构/8
2.1SQL Server的客户/服务器方式/8
2.1.1网络程序库/9
2.1.2用户模式调度器/10
2.1.3开放数据服务/11
2.2关系引擎与存储引擎/11
2.2.1命令解析器/11
2.2.2优化器/12
2.2.3SQL管理器/12
2.2.4表达式管理器/12
2.2.5查询执行器/13
2.2.6关系引擎与存储引擎间的通信/13
2.3存取方法管理器/13
2.3.1行操作管理器与索引管理器/13
2.3.2页面管理器与文本管理器/15
2.4事务管理器/16
2.5锁管理器/17
2.6内存管理器/17
2.6.1缓冲区管理与存储池/17
2.6.2访问内存页/18
2.6.3缓冲区的页面替换策略/18
2.7事务日志与故障恢复/18
2.7.1日志管理/18
2.7.2检查点操作/18
2.7.3恢复过程/19
2.7.4使用页面LSN的恢复技术/20
2.8SQL内核与操作系统间的交互/21
2.8.1线程处理与对称多进程处理/21
2.8.2工者线程池/23
2.8.3磁盘I/O操作/23
本章小结/24
参考文献/24
第3章数据库与数据库文件/25
3.1SQL Server系统数据库/26
3.1.1master数据库/26
3.1.2model数据库/26
3.1.3tempdb数据库/26
3.1.4pubs数据库/27
3.1.5Northwind数据库/27
3.1.6msdb数据库/27
3.2数据库文件/28
3.2.1基本知识/28
3.2.2SQL Server数据库文件/28
3.3SQL Server数据库文件组/29
3.3.1默认的文件组/30
3.3.2使用多个文件的原因/30
3.3.3利用文件组创建数据库的实例/31
3.4SQL Server数据库文件结构/32
3.4.1基本知识/32
3.4.2SQL Server用户数据库/33
3.4.3SQL Server的空间分配/34
3.5数据库的备份与恢复/37
3.5.1备份类型/37
3.5.2恢复模式/38
本章小结/39
参考文献/40
第4章表的物理存储/41
4.1内部存储概述/42
4.2数据页/43
4.2.1基本知识/43
4.2.2数据页的格式/43
4.2.3SQL Server的数据页/46
4.2.4检查数据页/47
4.3数据行的结构/51
4.3.1基本知识/51
4.3.2SQL Server的数据行结构/52
4.3.3列偏移数组/54
4.4SQL Server中定长和变长行的存储/54
4.4.1定长行的存储/55
4.4.2变长列的存储/57
4.5SQL Server的页链接/58
4.6文本和图像数据/59
4.6.1LOB数据存储在表外/59
4.6.2LOB数据存储在数据行/60
4.7SQL Server的PRIMARY KEY和
NIQUE约束/63
4.7.1列值的可空性/64
4.7.2索引属性/64
4.7.3选择码/64
4.8SQL Server的临时表/65
4.8.1私有临时表/65
4.8.2全局临时表/65
4.8.3直接使用tempdb/66
4.8.4临时表上的约束/66
4.9SQL Server的系统表/67
本章小结/70
参考文献/70
5章索引及行操作/71
5.1基本原理/71
5.1.1堆文件/72
5.1.2B树与B+树索引结构/72
5.2SQL Server的索引组织/75
5.2.1簇集索引/76
5.2.2非簇集索引/77
5.3在SQL Server中创建索引/77
5.3.1主要参数说明/78
5.3.2其他选项说明/78
5.3.3约束与索引/79
5.4SQL Server的索引页结构/80
5.4.1具有唯一标识符的簇集索引行/80
5.4.2索引行格式/83
5.4.3簇集索引的结点行/84
5.4.4非簇集索引的叶级行/88
5.4.5非簇集索引的结点行/92
5.5索引的空间需求/96
5.5.1B树的大小/96
5.5.2索引的实际大小与估计大小/97
5.6索引的管理/98
5.6.1索引碎片的类型/98
5.6.2索引碎片的检测/99
5.6.3删除索引碎片/100
5.7SQL Server的特殊索引/101
5.7.1先决条件/102
5.7.2计算列上的索引/103
5.7.3索引视图/104
5.8索引的使用/104
5.8.1查找行/104
5.8.2连接运算/105
5.8.3排序/105
5.8.4分组聚集/105
5.8.5维护唯一性/105
5.9插入行/106
5.10分裂页/106
5.10.1分裂索引的根页/106
5.10.2分裂索引的中间页/107
5.10.3分裂数据页/107
5.11删除行/110
5.11.1从堆中删除行/110
5.11.2从B树中删除行/113
5.11.3从索引的中间结点删除行/116
5.11.4回收页/116
5.12更新行/116
5.12.1移动行/116
5.12.2管理转向指针/118
5.12.3在位更新/118
5.12.4异位更新/119
5.13表级与索引级的数据更新/121
本章小结/121
参考文献/121
6章纯XML数据库管理系统研究/122
6.1基本知识/122
6.1.1Web与HTML/122
6.1.2什么是XML/123
6.1.3XML的优点/123
6.1.4基本概念/124
6.2XML数据库及其存储策略/125
6.2.1XML数据库与XML文档/125
6.2.2XML数据库的存储策略/126
6.2.3不同存储方法的性能比较与分析/131
6.3Native XML数据库管理系统/134
6.3.1为什么要基于XML/134
6.3.2为什么要Native/135
6.3.3Native XML数据库/136
6.3.4Native XML数据库的特征/136
6.3.5NXDBMS的体系结构/138
6.4NXD的物理存储/139
6.4.1数据模式问题/139
6.4.2XML数据库的索引/148
6.5NXD的存储管理/149
6.5.1缓冲与文件管理/149
6.5.2XML语义缓存/149
6.6NXD的查询处理/152
6.6.1查询语言: XQuery/152
6.6.2数据更新: XUpdate/156
6.6.3XML查询处理的研究现状/157
6.7XML文档的编码方法/164
6.7.1区间编码/165
6.7.2位向量编码/166
6.7.3前缀编码——Dewey编码/166
6.7.4PBiTree编码/166
6.8Native XML数据库的关键问题/167
6.9测试NXDBMS性能的常用数据集/168
6.10已有的NXDBMS简介/168
6.10.1OrientX/168
6.10.2Tamino/169
6.10.3eXist/170
6.10.4Timber/173
6.10.5Natix/174
6.10.6Lore/174
6.10.7嵌入式XML数据库/175
6.11解析器: XML的简单API/177
本章小结/178
参考文献/178
7章一个页式文件I/O系统/184
7.1引言/184
7.2系统常量、数据结构及主要算法/185
7.2.1系统常量/185
7.2.2主要数据结构/185
7.2.3主要算法/186
7.3系统结构/187
7.3.1总体结构/187
7.3.2文件结构/187
7.3.3缓冲区结构/189
7.3.4内存管理器/191
7.3.5存取方法管理器/192
7.3.6事务管理器/193
7.4系统接口描述/194
7.4.1外部接口描述/194
7.4.2内部接口描述/197
7.5系统接口的应用实例/202
本章小结/205
参考文献/205
附录A/206