光电图像处理的优势
光电图像处理，是光电成像技术与数字图像处理技术的结合，如图7-5所示，由图可看出，光电成像技术是自然界图像到数字世界图像的桥梁。光电图像处理是基于光电成像技术与计算机技术的图像处理，因而其计算精度髙、灵活性好、适应性强。
图7-5光电图像处理
1、光电成像技术的优点
大家知道，光电成像技术具有以下两大优点。
(1)能弥补人类的视觉缺陷。这些视觉缺陷是：
- 视见光谱域有限，只能看见可见光，看不见红外线、紫外线、X射线图像。
- 视见灵敏域有限，光线太暗的地方能见度不高。
- 视见分辨率有限，只能分辩到1',目标太小看不清。
- 对视觉信号无记忆能力。
(2)能扩展人类自身的视觉功能。其有效地扩展的视觉功能是：
- 可扩展人眼对微弱光图像的探测能力。
- 可开拓人眼对不可见辐射的接收能力，如可观测到红外线。紫外线与X射线所摄的图像。
- 可捕捉人眼无法分辩的细节，如分辨到1。
- 可将超快速现象存储下来等。
2、计算机数字图像处理技术达到的目标
通过数字图像处理技术，又可达到如下目标。
(1)改善图像视觉效果：即改善图像质量，给人类提供更好的图像，以供观察者使用，如其应用领域有电影、电视、视频监控、遥感、检测等。
(2)作为机器视觉：使计算机具有与人一样的视觉功能，因为图像处理的结果是给机器用的，所以图像处理的输出可能不再是图像，而是抽象的符号，其应用领域有目标识别等。
因此，光电图像处理是计算机系统通过光电成像系统(光学系统与光电成像器件等)，将自然界的模拟图像转变为计算机中的数字图像，进而对这种图像进行所需的各种处理、分析与识别的。由于光电成像器件输出的是视频图像信号，因而光电图像处理，也称为视频图像处理。
视频标准
视频(Video)指动态图像(MovingImage),可认为随时间变化的静态图像系列(Still-FrameImage/Picture Sequence)。在静态图像中，信息密度随空间分布，且相对于时间为常量；而动态图像的空间信息密度特征随时间变化。
视频图像的数学表达式的一般形式可以写成S(x,jy),其中x,y为空间变量t为时间变量，而S为对应于时空点(x,y,t)的光度学物理量。如果釆用RGB体系来描述，则完整的数学表达式可写成
当RGB为模拟信号时，我们称它为模拟视频。如果对RGB进行了数字化，就称为数字视频，这与模拟静态图像和数字静态图像的概念是基本相似的，但模拟视频和数字视频要比模拟静态图像和数字静态图像的关系与差别复杂得多。目前，视频处理技术基本上都是基于数字的，但其来源和历史则是模拟的，因此需要对模拟视频图像的基础，即视频标准作一个简单介绍。通常，人们眼睛看到的动态图像，就是连续的二维空间时基光度信号。在工业上，最先记录和显示的也是连续的时空图像。尽管人眼直接感受的物理量是每个时刻每个空间位置的RGB三色刺激值，但是由于技术实现的限制，只能记录部分时间的部分信号，因此对实际的物理量进行了变换和选择，这就形成了现在通用的模拟视频标准。
1.RGB与YUV、YIQ、YCrCb
RGB色度空间可以比较准确地描述图像的光度特性，但是RGB在数值和技术操作实现上有一些不利的特点，不利于物理记录和传输，所以在模拟视频体系上采用了YUV、YIQ或YCrCb体系。它们在数学上是正交变换，在物理上是等效的。
在RGB中，三个分量是平等的，要传输彩色信号，必须传输RGB三路信号。这在应用上是不经济的，因此人们把RGB转化为亮度和色差信号。亮度信号对人的感觉更重要，因此用一路独立的信号，而把色差信号进行亚取样(间隔釆样)，合在一路信号中传输，这就形成了YUV色系。用丫表示亮度信息，而用U=R-Y和V=B-Y表示色差信息。
YUV体系广泛应用于PAL电视制式中。
A在NTSC制式中，由于色差的编码方案不同，因此釆用了YIQ体系。丫不变，而/、。可以分别由U、V旋转33。来得到，即
在以演播室高质量为目的的cC1R601标准编码方案中，采用了YCrCb体系。同样，Y不变，Cr=0.713U,Cb=0.564v,即
由于Cr、Cb的复制范围与y不一致，通常在数字图像处理时都加128,即单字节数值的一半。例如，在JPEG压缩中进行编码和解码时，都加上了128。
上述变换有两个目的：一是为了把亮度信号和色度信号分离，因为人眼对亮度比色度更为敏感，所以给予亮度信号更高的采样分辨率，以得到更佳的图像视觉效果；二是仅用亮度信号就可以代表黑白视频，做到彩色视频和黑白视频兼容，有利于信号的传输和处理。
2.模拟视频制式
目前模拟视频格式己经标准化。世界各国釆用的是NTSC、PAL和SECAM三大制式。由于PAL制式比NTSC制式优越，因此我国釆用的是PAL-D制式。
3.模拟视频参数
模拟视频参数较多，这里只介绍下面几个主要参数。
(1)图像分辨率。图像分辨率实际是指图像有效行数与有效列数。图像行列数越多，图像分辨率就越高，在同样显示尺寸下，图像的细节就越多，画面就越清晰。例如，家用录像带和VCD的图像行数和列数均只有标准电视的一半，只是放大显示而已，所以画面不如标准电视.清晰；而DVD的行列数与标准电视相同，因此比VCD清晰得多；高清晰度电视的行数、列数均达到当前标准电视的2倍，其画面清晰度和图像质量将比当前标准电视高得多。
(2)取样方式。它是影响视频信号清晰度的参数。全取样是对每一个像元的Y、U、V都采样，三种样本数目相等。而亚取样指对y、u、v进行部分取样，缺少的样本从邻域样本得到。电视图像采样格式如表7-1所示。
表7-1电视图像的釆样格式
| 格 式 | 样 本 | Po Pi P2 P3 | P4 P5 P6 P7 | ... |
| 4 ： 1 ： 1 |
Y U V |
O O O O O X X X O X X X |
O O O O O X X X O X X X |
... |
| 4：2：2 |
Y U V |
O O O O OX O X O X O X |
O O O O O X O X O X OX |
... |
| 4：4：4 |
Y U V |
O O O O O O O O O O O O |
O O O O O O O O O O O O |
... |
| 4：4：4 |
R G B |
O O O O O O O O O O O O |
O O O O O O O O O O O O |
... |
注：表中。表示釆样：X表示不釆样。
在4：1：1格式中，每4个连续取样点上，取4个Y的样本，而色差U和V则各取1个；在4：2：2格式中，每4个连续取样点上，取4个Y的样本，而色差U和V则各取2个：在4：4：4格式中，每4个连续取样点上，Y、U、V全部取4个样本，称为全取样。显然，取样样本数越多，图像分辨率越高。亚取样都会降低图像分辨率，也会减低数据量或信号带宽。
(3)帧率。它是指每秒中更新的图像画面数，是视频最重要的参数之一。当帧率达到15帧/秒时，人眼己经感觉为基本连续的运动，因此计算机动画的最低帧率为15帧/秒；当帧率达到24帧/秒时，人眼感觉为连续运动，但是有闪烁感觉，所以电影使用遮光板方法。
在视频光栅显示时，只有帧率达到50Hz时，才感觉不到闪烁，但是在高亮度和高饱和度区域，仍然可以发现闪烁现象。当图像分辨率提高时，每个光栅点的相对显示时间与总像元数目成反比减小，帧率的影响更为明显。所以在计算机显示器上，800x600分辨率模式下，达到70Hz的帧率也感觉到闪烁。在1024x768分辨率模式下，帧率需达到85-100Hz时，才能消除闪烁感觉。正因为计算机显示器的帧率比标准电视高，没有闪烁，所以人们才能长时间在计算机显示器前工作，而眼睛没有长时间看电视那么疲劳。在以前，大屏幕电视机与计算机显示共用的技术一直没有实际推广的主要原因之一，就是帧率问题。当然也有图像画面的分辨率问题。目前，高清晰度电视标准的帧率已提高到100Hz,
(4)图像深度。即画面图像的有效灰度级数目或颜色数目。在计算机显示中，现在都达到了24位的颜色数目(R、G、B各8位)。在标准电视机上，大约只能达到21位(R、G、B各7位，约100个灰度等级)。因此，在电视机上看DVD电影时，图像的层次和立体感觉与在计算机屏幕上观看有较大的差别。人们通过电视卡在计算机屏幕上看电视节目，要比直接在电视机上看感觉清晰和稳定得多，这是由于显示帧率、扫描方式和图像深度的差别引起的。
4.视频信号接口
(1)RGB接口。该接口具有独立R、G、B三个分量的通道。这种接口的质量最高，色度信号全部保留，没有损失。计算机RGB显示都采用这种接口，高级的视频显示器也有这种接口。
(2)S-VIDEO接口。该接口具有亮度Y信号通道和色差C信号通道，Y信号通道中包含场同步和帧同步信号，没有其他调制，所以亮度信号的清晰度和线性度很好。C信号通道包含色载波同步信号，由于只有两路色差信号，所以质量也比较好。视频声音通过另一路AUDIO信号传输。因为S-VIDEO用亮度和色差信号独立传输，因此视频图像信号质量很好。现在的新型电视、VCD、DVD、摄像机和其他专业视频设备都有这种接口。
(3)AV接口。该接口也称为复合视频接口，是一般的视频标准接口，只有一个信号通道。该通道把亮度信号、色差信号和场同步、帧同步及色载波同步信号复合在一起。接收端再分离出各种信号来显示。这种信号兼容性广，信号质量一般，基本上所有的视频设备都必备这种接口。而视频声音通过另—路AUDIO信号传输。
(4)RF接口。即射频接口。在该接口中，把VIDEO和AUDIO信号调制在带宽为10MHz的射频信号上，由一路信号传输所有的视频图像和声音信号。该信号通过电视机或录像机的射频天线口输入，不同的载波频段对应不同频道。该信号既可以通过无线电波传输，如电视发射塔；也可以通过电缆传输，如有线电视。一般来说，这种接口信号的质量比上述几种接口要差―些。
由于视频的带宽接近10MHz,因此不论RGB接口、S-VIDEO接口，还是AV接口、RF接口，都不适合于远距离传输。采用同轴电缆时，RGB接口为几十米，S-VIDEO和AV接口为几百米。增加放大器和高频补偿器，可以延长传输距离，但是也不超过几千米。目前远距离视频信号传输的最佳方案是光纤传输，包括有线电视的射频信号，可以达到几十千米甚至上百千米。
视频图像的特点及其处理的研究内容
1.视频图像的特点
(1)实时性。与静态图像相比，视频的信息是以时间为基线的，它不仅包含了二维空间信息，而且记录了事件的过程，因此视频图像的时间顺序是不能混淆的，帧率参数也直接反映时间变化过程的信息。
(2)相关性。由于视频以较短的时间间隔记录空间二维图像信息，因此相邻帧图像很相似，甚至相同，也就是说相邻帧图像的相关系数很大。基本上所有的视频图像处理都以该特性为基础。
(3)多参数转换性。以视觉效果为主要用途的视频，许多参数并不都同时要求高指标，往往是某个方面的指标要求高时，其他的指标就不需要很高。
对视觉生理心理学的深入研究表明，视频图像的细节、灰度及运动三个分辨率参数之间实质上是相互依赖的。如果能充分地利用人的生理特性，适当地降低对某些参数的分辨率要求，就可望进一步降低数码率或带宽。电视图像最终是给人观看的，而人的视觉在某些条件下往往可以容忍一些失真，有些失真人眼又根本辨别不出来，因此，超过视觉分辨能力的高保真度要求就没有必要。这些参数转换包括如下几种。
①空间-灰度分辨率变换(即P-R转换)视觉生理心理学实验表明，人眼仅在观察图像中的大面积像块时，才能分辨出全部256级灰度等级；而当观察图像中的小块区域或精微细节时，只能分辨出不多的灰度级。因为在急剧的黑白跳变处，人眼分辨不出灰度差别。图像的空间细节分辨率和灰度分辨率之间的这种视觉生理、心理学关系，可用0R平面上的双曲线表示；因此，对于图像中的平坦区域可以降低取样率，但要保持每一样本有较多的灰度等级；反之，对于图像中的边缘和细节，则应保持较高的取样率，但对每一样本只需分配较少的量化比特数。
②空间-时间分辨率变换(即尸必转换)电视画面每幅约需P=40万个有效像素，仅仅是对观察静止物体而言，当物体运动时，人眼就分辨不出这么多像素了。显然，这时可以减少一些像素数，但要保证足够的画面变换速度（即要有较高的帧频，也就是说运动分辨率要高一些，否则就会出现跳动和模糊的感觉）。静止图像不变换画面，每帧重复同一图像，运动分辨率可以最低。因此，细节分辨率尸和帧频，之间也可以相互转换。
③灰度-时间分辨率变换（即R云转换）同样，在灰度等级人和帧频人之间，也存在这样一种双曲线函数关系。因此，对于快速运动的图像（通常所说的人眼需要的最高运动分辨率25Hz,即指快速运动物体而言），眼睛对灰度级的分辨率降低，允许用较少的量化级数，但却要求较高的画面变换速度；反之，对于完全静止的画面，灰度等级要求最高。
上述这些性质主要是由人眼的视觉特性引起的。这些参数转换特性只适用于视觉用途，而在视频图像处理的其他应用中，并不完全适用。
（4）数据量大。图像的数据量本来就很大，视频的数据量更大。这一直是视频图像处理和应用的主要问题之一。对于640x480的标准VGA（相当于与NTSC画面）真彩色24位图像,每帧的数据量为640x480x3=921 600B,按30帧/秒计算，数据量为27.648MB/s。一张650MB的光盘，只能存储24s的视频图像数据。
由于视频图像的上述特点，导致数字视频图像处理具有再现性好、灵活性强、处理精度高、数据量庞大（一幅1024x1024真彩色图像数据量可达3MB）,占用频带宽（视频图像带宽约为56MHz）、适用领域与涉及技术领域广、图像质量受主观因素影响等特点。
2.视频图像处理的主要研究内容
（1）图像滤波与重建。以提高图像质量，获得尽可能高分辨率的图像为主要目的，包括运动滤波、噪声滤波和超分辨率重建等。
（2）运动分析。以模式识别为最终目的，研究视频图像中物体目标的分离、识别与跟踪。运动分析包括二维运动分析与三维运动分析，前者以二维平面图像的光流为依据，研究和估计图像内容的运动参数，后者以三维投影模型和二维运动估计方法研究图像中三维物体的三维运动和参数估计。物体的三维结构重建，既可以归于静态图像处理和图形学范畴，也经常在视频图像处理中讨论。
（3）图像数据压缩。由于视频图像的数据量巨大，因此动态图像数据压缩是视频图像处理的主要研究内容之一：一类是以视觉为主要目的的动态图像数据压缩，这方面比较成熟，不仅制定了众多标准，而且已经得到广泛的应用；另一类是以运动分析等数据处理用途为目的的动态图像数据压缩，主要是为了保证数据的准确性和完整性。
视频图像处理可以看成静态图像处理的高层处理，又可以看成静态图像处理的继续。第一,它要用到静态图像处理的所有技术，因为视频图像是在时间上系列化的静态图像；第二，它包含了许多静态图像处理没有的或不能解决的新问题；第三，视频图像处理同时与图形学、人工智能、模式识别等多个学科领域都有交叉的内容，它们既有联系，又有各自的特征和侧重点。
