图像传感器已经渗透到人类生活中的各个领域。首先，人眼敏感的光谱范围相对局限，对于非可见光范围内的光信息接收，需要借助图像传感器完成； 其次，人眼所能分辨的物体的极限物理尺寸远大于微观尺度，故对于各种物理化学的微观变化的研究须借助图像传感器成像； 再次，对于人类暂时无法到达的空间的研究，也需要借助图像传感器来进行； 最后，日常生活当中，图像传感器还能进行超高速监控，并且记录影像。基于上述原因，图像传感器一经发明便在消费类电子、视频监控、航空航天、工业、医疗、军事等多个领域得到了广泛应用，并且日益成为人类活动所依赖的重要工具。

根据光信号的感知和读出方式不同，图像传感器可以分为CCD和CMOS（Complementary Metal Oxide Semiconductor）两类。CCD图像传感器由于采用了独特的工艺技术，其具有弱光照条件下效果好、信噪比高、色彩还原能力强等优点，从而主导了图像传感器感光元件领域近30年。CMOS图像传感器（CMOS Image Sensor，CIS）是在进入20世纪90年代后，由于对低成本成像系统的消费需求激增而开始兴起的另一类图像传感器。CIS采用半导体电路最常用的CMOS工艺，具有集成度高、功耗小、响应速度快等优势。随着CMOS工艺的不断进步，CIS已经取代了CCD图像传感器的市场主流地位。2014年，CIS芯片出货量超过35亿颗。

随着图像传感器技术持续发展，相关著作不断涌现，本书原著即为其中之一。本书以大众所熟悉的数码单反相机的发展历史为出发点，阐述了相机中的镜头、感光器件和图像处理电路等硬件的结构及原理，详细介绍了图像处理算法以及相机成像质量评价的相关基础知识，是一本不可多得的、相对全面的图像传感技术领域专著。本书原作者及合作者均是图像传感领域的资深从业者，相信他们的经验将为国内相关领域的从业者提供很好的借鉴。

本书译者及课题组自2001年起开展CMOS图像传感器芯片研究，先后承担了多项CMOS图像传感器和视觉信号处理芯片等领域的国家科研项目，具有扎实的理论功底和丰富的实践经验，这为本书的翻译工作打下了良好的基础。

译者序

人类通过视觉系统获取的信息占获取信息总量的80%以上，如果说计算机相当于人类的大脑，那么图像传感器则相当于人类的眼睛。图像传感器作为图像信息获取最重要和最基本的器件，在信息世界中占据着极其重要的地位。半导体图像传感器相比传统的胶片成像具有可实时处理和显示、数字输出、便于储存和管理等诸多优势，迅速成为图像传感器发展的主导力量。2009年，凭借着在发明CCD（ChargeCoupled Device，电荷耦合器件）和影像传感技术方面所做出的杰出贡献，美国科学家Willard S.Boyle和George E.Smith荣获了诺贝尔物理学奖。这是对40余年来半导体图像传感器技术飞速发展的最大肯定。

图像传感器已经渗透到人类生活中的各个领域。首先，人眼敏感的光谱范围相对局限，对于非可见光范围内的光信息接收，需要借助图像传感器完成； 其次，人眼所能分辨的物体的极限物理尺寸远大于微观尺度，故对于各种物理化学的微观变化的研究须借助图像传感器成像； 再次，对于人类暂时无法到达的空间的研究，也需要借助图像传感器来进行； 最后，日常生活当中，图像传感器还能进行超高速监控，并且记录影像。基于上述原因，图像传感器一经发明便在消费类电子、视频监控、航空航天、工业、医疗、军事等多个领域得到了广泛应用，并且日益成为人类活动所依赖的重要工具。

根据光信号的感知和读出方式不同，图像传感器可以分为CCD和CMOS（Complementary Metal Oxide Semiconductor）两类。CCD图像传感器由于采用了独特的工艺技术，其具有弱光照条件下效果好、信噪比高、色彩还原能力强等优点，从而主导了图像传感器感光元件领域近30年。CMOS图像传感器（CMOS Image Sensor，CIS）是在进入20世纪90年代后，由于对低成本成像系统的消费需求激增而开始兴起的另一类图像传感器。CIS采用半导体电路最常用的CMOS工艺，具有集成度高、功耗小、响应速度快等优势。随着CMOS工艺的不断进步，CIS已经取代了CCD图像传感器的市场主流地位。2014年，CIS芯片出货量超过35亿颗。

随着图像传感器技术持续发展，相关著作不断涌现，本书原著即为其中之一。本书以大众所熟悉的数码单反相机的发展历史为出发点，阐述了相机中的镜头、感光器件和图像处理电路等硬件的结构及原理，详细介绍了图像处理算法以及相机成像质量评价的相关基础知识，是一本不可多得的、相对全面的图像传感技术领域专著。本书原作者及合作者均是图像传感领域的资深从业者，相信他们的经验将为国内相关领域的从业者提供很好的借鉴。

本书译者及课题组自2001年起开展CMOS图像传感器芯片研究，先后承担了多项CMOS图像传感器和视觉信号处理芯片等领域的国家科研项目，具有扎实的理论功底和丰富的实践经验，这为本书的翻译工作打下了良好的基础。

课题组的部分研究生参与了本书的翻译、整理和校对工作，他们分别是高志远、邹佳伟、周益明、尹昭杨、闫石、张梦醒等，在此表示衷心的感谢。

由于能力所限，翻译中的不妥之处在所难免，恳请广大读者予以批评指正。

译者

2015年1月于天津大学

自从1995年第一台消费级数码相机问世以来，数码相机（Digital Still Camera，DSC）的市场占有率迅速增加。第一台DSC采用了仅有25万像素的电荷耦合器件（ChargeCoupled Device，CCD）图像传感器。十年之后，数种800万像素的消费级傻瓜相机问世，而专业数码单反（Digital SingleLens Reflex，DSLR）相机已经达到1700万像素。输出适合电视显示器的视频相机设备，其图像传感器的垂直分辨率是标准化的。与之不同的是，DSC并没有标准的输出或者分辨率，因此传感器的像素数在持续增长。传感器技术的不断发展使得在尺寸越来越小的传感器上容纳越来越多的像素数成为可能。如今消费级相机的像素尺寸可以达到仅2.3μm×2.3μm。虽然像素尺寸如此急剧缩小，但是传感器的灵敏度却在改善，衬衣口袋大小的消费级DSC能在相当于ISO400胶片的曝光值下拍出质量很好的照片。

光学系统和电路技术的发展也是可圈可点的。它们的发展使得DSC拍出的照片质量能够与通常的卤化银胶片相机相媲美。正是由于这些性能上的提升，2003年DSC的出货量超越了胶片相机。

《数码相机中的图像传感器和信号处理》一书重点介绍数码相机中的图像获取和信号处理技术。从图像信息流的方面而言，DSC由光学成像系统、图像传感器、信号处理模块构成。其中信号处理模块用于接收来自图像传感器的信号，并且将其转变为数字信号，压缩后存于DSC存储器中。图像获取部分包括光学系统、传感器和负责将光信号转化成数字信号的信号处理块的前端环节。信号处理模块的其余部分负责产生存储于存储器中的图像数据。其余诸如机械部件、数据压缩、用户界面以及输出处理模块（提供输出信号到电视显示器、LCD、打印机等外接设备上）不在本书的讨论范围之内。

本书适合从事DSC领域的电子工程学的研究生和工程师，同时也适合作为图像传感器和信号处理领域的专业技术人员的兴趣读物。全书共分为11章。

（1） 第1章“数码相机概览”，介绍了DSC的历史背景与发展现状。读者在此章中可以明白什么是DSC，DSC的发展历程，现代DSC的类型、结构与应用。

（2） 第2章“数码相机中的光学系统”，宽泛地阐述了DSC中运用的光学成像系统。显然，高质量的图像需要高性能的光学成像系统，并且随着像素尺寸的缩小和数量的增长，对于光学成像系统的要求也变得越来越高。

（3） 第3~6章回顾了DSC应用的图像传感器技术。

首先，第3章“图像传感器基础知识”阐释了CCD和CMOS图像传感器的功能和性能参数。

其次，第4章“CCD图像传感器”详细描述了成像设备中广泛采用的CCD图像传感器。本章内容涵盖广泛，从基础的CCD工作流程一直介绍到DSC中专用的CCD图像传感器的设计。

再次，第5章“CMOS图像传感器”讨论了相对较新的CMOS图像传感器技术，而作为其前身的MOS型图像传感器多年前就应用到市场中，甚至早于CCD图像传感器。

最后，接着前3章对于图像传感器的讨论，第6章“图像传感器的测评”给出了用于评价DSC中图像传感器性能的方法。

（4） 第7章和第8章提供了实现图像处理算法所需的基础知识。

第7章“色彩理论及其在数码相机中的应用”所讨论的话题，其内容过多而本书难以一一介绍，故本章的重点在于颜色理论如何影响DSC的实际运用。

第8章“图像处理算法”介绍了DSC中软硬件所应用的算法。基础的图像处理算法和相机控制方法将以具体例子的形式介绍出来。

（5） 第9章“图像处理引擎”大体介绍了图像处理硬件引擎的架构。DSC和数码摄像机所要求的性能参数在此章中做了回顾，接着介绍了信号处理引擎的架构。同时，模拟前端和数字后端设计的例子于此章中作了介绍。

（6） 第10章“图像质量评价”，读者在本章了解到前几章中所描述的各部分是如何影响图像质量的。此外，本章还给出了图像质量相关的标准。

（7） 第11章“对未来数码相机的一些设想”中，CMOS图像传感器的先驱者Eric Fossum按照当前技术的发展速度预测讨论了未来DSC图像传感器，并且探索了一种新的图像传感器的例子。关于未来数码相机的设想在此章中也有提及。

我想尽可能向所有对本书付出了宝贵的精力与时间的人们表示由衷的感谢，他们中的大多数都活跃在工业领域。本书的顺利完成与他们的贡献是分不开的。

同时，我也很感谢对手稿进行了认真校对的合著者们： Dan Morrow,Scott Smith,Roger Panicacci,Marty Agan,Gennnady Agranov,John Sasinowski,Graham Kirsch,Haruhisa Ando,ToshinoriOtaka,Toshiki Suzuki,Shinichiro Matsuo和Hidetoshi Fukuda。

同样还由衷地感谢镁光科技有限公司（Micron Technology,Inc.）宣传企划组的Jim Lane,Deena Orton,Erin Willis,Cheryl Holman,Nicole Fredrichs,Nancy Fowler,Valerie Robertson和John Waddell等人对手稿、附录、目录表的校对，为第3章和第5章配图，以及为出版所准备的图表。

Junichi Nakamura,Ph.D.

Japan Imaging Design Center

Micron Japan,LTD

主 编 简 介

Junichi Nakamura在1979年和1981年于东京工业大学分别获得电子工程的学士学位和硕士学位，并在2000年于东京大学获电子工程的博士学位。

他在1981年加入了奥林巴斯光学株式会社，在光学图像处理部门工作两年后，他转到了有源像素传感器部门。从1993年9月到1996年10月，他作为杰出访问学者在加州理工学院的美国宇航局喷气推进实验室工作。2000年，他加入加州帕萨迪纳的Photobit公司，领导了若干客制传感器的研发。从2001年11月开始，他在镁光日本分公司（Micron Japan，Ltd）的日本成像设计中心工作，并且是一名Micron Fellow。

Nakamura博士担任1995年、1999年和2005年IEEE的 ChargeCoupled Devices and Advanced Image Sensors专题讨论会的技术程序主席，并且在2002年和2003年担任IEDM 的Detectors,Sensors and Displays小组委员会的成员。他是IEEE的高级成员，也是Institute of Image Information and Television Engineers of Japan的会员。

合著者

Eric R. Fossum

Department of Electrical Engineering and Electrophysics

University of Southern California

Los Angeles,CA,USA

PoChieh Hung

Imaging System R&D Division

System Solution Technology R&D Laboratories

Konica Minolta Technology Center,Inc.

Tokyo,Japan

Takeshi Koyama

Lens Products Development Center,Canon,Inc.

Tochigi,Japan

Toyokazu Mizoguchi

Imager & Analog LSI Technology Department

Digital Platform Technology Division

Olympus Corporation

Tokyo,Japan

Junichi Nakamura

Japan Imaging Design Center,Micron Japan,Ltd.

Tokyo,Japan

Kazuhiro Sato

Image Processing System Group

NuCORE Technology Co.,Ltd.

Ibaraki,Japan

Isao Takayanagi

Japan Imaging Design Center,Micron Japan,Ltd.

Tokyo,Japan

Kenji Toyoda

Department of Imaging Arts and Sciences

College of Art and Design

Musashino Art University

Tokyo,Japan

Seiichiro Watanabe

NuCORE Technology Inc.

Sunnyvale,CA,USA

Tetsuo Yamada

VLSI Design Department

Fujifilm Microdevices Co.,Ltd.

Miyagi,Japan

Hideaki Yoshida

Standardization Strategy Section

Olympus Imaging Corp.

Tokyo,Japan

第1章数码相机概览

1.1什么是数码相机

1.2数码相机的历史

1.2.1早期概念

1.2.2索尼Mavica

1.2.3静态视频相机

1.2.4静态视频系统为什么会失败

1.2.5数码相机的黎明

1.2.6卡西欧QV10

1.2.7像素数量之战

1.3数码相机的类型

1.3.1傻瓜式相机

1.3.2单反相机

1.3.3数码后背

1.3.4玩具相机

1.3.5可拍照手机

1.4数码相机的基本结构

1.4.1数码相机的典型框图

1.4.2光学系统

1.4.3成像器件

1.4.4模拟电路

1.4.5数字电路

1.4.6系统控制

1.5数码相机的应用

1.5.1新闻摄影

1.5.2印刷出版

1.5.3网络应用

1.5.4其他应用

第2章数码相机中的光学系统

2.1光学系统基础及光学性能评价标准

2.1.1光学系统基础

2.1.2调制传递函数和分辨率

2.1.3像差和点列图

2.2数码相机中光学系统的特点

2.2.1数码相机成像光学系统的配置

2.2.2景深和焦深

2.2.3光学低通滤波器

2.2.4衍射的影响

2.3数码相机成像光学系统设计的几个重要方面

2.3.1设计过程举例

2.3.2玻璃材料的选择

2.3.3有效利用非球面透镜

2.3.4镀膜

2.3.5抑制变焦镜头出射光线的角度波动

2.3.6设计中对大批量生产过程的考虑

2.4数码相机成像镜头变焦类型及其应用

2.4.1视频变焦类型

2.4.2多组移动变焦镜头

2.4.3短变焦镜头

2.5总结

参考文献

第3章图像传感器基础知识

3.1图像传感器的功能

3.1.1光电转换

3.1.2电荷收集与积累

3.1.3成像阵列的扫描

3.1.4电荷检测

3.2像素中的光电探测器

3.2.1填充因子

3.2.2彩色滤光阵列

3.2.3微型透镜阵列

3.2.4SiO2/Si接触面的反射

3.2.5电荷收集效率

3.2.6满阱容量

3.3噪声

3.3.1图像传感器中的噪声

3.3.2固定模式噪声

3.3.3暂态噪声

3.3.4拖尾和高光溢出

3.3.5图像拖影

3.4光电转换特性

3.4.1量子效率和响应率

3.4.2光电转换特性机理

3.4.3灵敏度和信噪比

3.4.4如何提高信噪比

3.5阵列的性能

3.5.1调制传递函数

3.5.2图像传感器的MTF

3.5.3光学黑色像素和伪像素

3.6光学格式和像素大小

3.6.1光学格式

3.6.2像素大小的考虑

3.7CCD图像传感器与CMOS图像传感器的对比

参考文献

第4章CCD图像传感器

4.1CCD基础

4.1.1电荷耦合器件的概念

4.1.2电荷转移机制

4.1.3表面沟道与掩埋沟道

4.1.4典型的结构和工作方式（两相和四相时钟）

4.1.5输出电路和降低噪声： 浮置扩散电荷检测和相关双采样

4.2CCD图像传感器的结构和特性

4.2.1帧转移CCD和行间转移CCD

4.2.2p衬底结构和p阱结构

4.2.3抗高光溢出和低噪声像素（光电二极管和VCCD）

4.2.4CCD图像传感器的特性

4.2.5工作方法与功耗

4.3数码相机的应用

4.3.1数码相机的应用需求

4.3.2隔行扫描和逐行扫描

4.3.3成像操作

4.3.4像元交叉阵列结构CCD（超级CCD）

4.3.5高分辨率的静止图片和高帧率的视频

4.3.6利用CCD图像传感器的系统解决方案

4.4发展前景

参考文献

第5章CMOS图像传感器

5.1CMOS图像传感器简介

5.1.1CMOS图像传感器的概念

5.1.2基本结构

5.1.3像素寻址和信号处理结构

5.1.4卷帘式快门和全局快门

5.1.5功耗

5.2CMOS有源像素技术

5.2.1PN光电二极管像素

5.2.2钳位光电二极管像素

5.2.3其他大画幅、高分辨率CMOS图像传感器的像素结构

5.3信号处理和噪声特性

5.3.1像素信号读出和FPN抑制电路

5.3.2模拟前端

5.3.3CMOS图像传感器的噪声

5.4CMOS图像传感器的DSC应用

5.4.1片上集成和DSC产品分类

5.4.2拍摄静态图像的工作顺序

5.4.3视频和AE/AF模式

5.5CMOS图像传感器在DSC应用的展望

参考文献

第6章图像传感器的测评

6.1图像传感器的测评是什么

6.1.1测评的目的

6.1.2成像质量和图像传感器的测评参数

6.1.3图像传感器的测评环境

6.2测评环境

6.2.1图像传感器的测评和测评环境

6.2.2图像传感器测评环境的基本配置

6.2.3测试准备

6.3测评方法

6.3.1光子转换特性

6.3.2光谱响应

6.3.3角度响应

6.3.4暗特性

6.3.5光照特性

6.3.6拖尾特性

6.3.7分辨率特性

6.3.8图像拖影特性

6.3.9缺陷

6.3.10自然场景的图像再现

第7章色彩理论及其在数码相机中的应用

7.1色彩理论

7.1.1人类视觉系统

7.1.2颜色匹配函数和三色值

7.1.3色度及均匀颜色空间

7.1.4色差

7.1.5光源和色温

7.2相机光谱灵敏度

7.3相机的特性描述

7.4白平衡

7.4.1白点

7.4.2色彩转换

7.5转换显示(色彩管理)

7.5.1色度定义

7.5.2图像状态

7.5.3轮廓法

7.6总结

参考文献

第8章图像处理算法

8.1基本图像处理算法

8.1.1降噪

8.1.2色彩插补

8.1.3色彩校正

8.1.4色调曲线/伽马曲线

8.1.5滤波操作

8.2相机控制算法

8.2.1自动曝光，自动白平衡

8.2.2自动对焦

8.2.3取景器以及录像模式

8.2.4数据压缩

8.2.5数据存储

8.2.6图像变焦、尺寸缩小与剪裁

8.3高级图像处理： 如何获取更好的图像质量

8.3.1色度裁剪

8.3.2高级色彩插值

8.3.3镜头畸变校正

8.3.4镜头阴影校正

参考文献

第9章图像处理引擎

9.1图像处理引擎的关键特性

9.1.1成像功能

9.1.2功能灵活性

9.1.3成像性能

9.1.4帧频

9.1.5半导体成本

9.1.6功耗

9.1.7上市时间的考虑

9.2成像引擎架构的比较

9.2.1图像处理引擎架构

9.2.2通用DSP VS硬连接ASIC

9.2.3功能灵活性

9.2.4帧频

9.2.5功耗

9.2.6上市时间的考虑

9.2.7结论

9.3模拟前端(AFE)

9.3.1相关双采样(CDS)

9.3.2光学黑电平钳位

9.3.3模数转换(ADC)

9.3.4AFE器件实例

9.4数字后端(DBE)

9.4.1特征

9.4.2系统组成

9.5未来的设计方向

9.5.1数码相机的发展趋势

9.5.2模拟前端

9.5.3数字后端

参考文献

第10章图像质量评价

10.1什么是图像质量

10.2参数指标

10.2.1分辨率

10.2.2频率响应

10.2.3噪声

10.2.4灰度(色调曲线，伽马特性曲线)

10.2.5动态范围

10.2.6色彩再现

10.2.7均匀性(不均匀性，阴影)

10.3详细的条目或者因素

10.3.1与图像传感器相关的问题

10.3.2和镜头相关的因素

10.3.3信号处理相关的因素

10.3.4系统控制因素

10.3.5其他因素： 时间和运动上的注意点

10.4图像质量的一些标准

第11章对未来数码相机的一些设想

11.1数码相机图像传感器的未来

11.1.1未来的高端数码单反相机传感器

11.1.2未来的主流消费类数码相机传感器

11.1.3数字胶片传感器

11.2一些未来的数码相机

参考文献

附录A标准光源下每勒克斯的入射光子数

附录B成像系统的灵敏度和ISO感光度指标