周桢
（中国空空导弹研究院，河南洛阳471009）
摘要：提出一种基于FPGA与DSP的实时视频图像偏色校正系统，包括数字视频解码芯片、FPGA、DSP以及数字视频编码芯片。该系统能以一种格式接收视频图像信号并以相同的格式输出，输出偏色校正后的视频信号相比输入的视频信号而言，延迟非常小，实时性强，是一种较为实用的视频图像偏色校正系统。
教育期刊网 http://www.jyqkw.com
关键词 ：实时系统；颜色校正；颜色恒常性；FPGA
中图分类号：TN911.73-34；TP391.41 文献标识码：A 文章编号：1004-373X（2015）12-0077-03
收稿日期：2014-11-09
0 引言
通过可见光成像系统采集的视频图像往往因为环境光照的影响存在偏色的问题，这是因为成像系统不能够对变化的环境光照条件做出对应的光谱响应，使得图像的颜色范围发生了偏移，也引起了图像偏色。因此，需要利用视频图像偏色校正技术对图像的颜色范围进行实时调整，使其与人眼视觉系统对场景真实颜色的感知相吻合，这对于可见光成像系统成像质量的提高有着重要的意义。
现有技术中，关于偏色校正的方法很多，比如白点法[1]、灰色调法[2]、灰度世界假设方法[3]等。其中，灰度世界假设方法认为平均场景反射分量是没有颜色的，并以此假设为基础利用输入图像的R、G、B 三个分量计算出偏色校正系数，进而实现对图像的偏色校正。文献[4]提出了灰度边缘假设方法，认为场景反射分量导数的范数是没有颜色的，而后利用此假设进行偏色校正系数的估计。此外，文献[4]结合上述的几种方法建立了一个统一的颜色恒常性计算框架。文献[5]对多种偏色校正方法进行了综述和比较。文献[6] 提出了一种偏色校正系数的层级计算模型，在该模型中，各层级分别模拟了人眼视觉系统中从视网膜到初生视觉皮层的颜色处理机制。通过对这些偏色校正方法进行仿真和比较，发现灰度世界假设方法具有计算过程相对简单以及校正效果与人眼视觉感知非常一致等优点。
虽然现有技术中偏色校正的方法较多，但是实时视频图像偏色校正系统并没有成熟型号产品。偏色校正系统多采用将图像采集到计算机后在计算机上进行偏色校正的方案，该方案需要依赖于计算机，给实际应用带来诸多不便，具有很大的局限性。针对此问题，本文提出一种基于FPGA 与DSP 的实时视频图像偏色校正系统，该系统对灰度世界假设方法[3]进行了实现，利用上一帧计算得到的偏色校正系数对下一帧进行偏色校正，不仅不需要对一帧图像进行存储，而且使得输出的偏色校正后的视频信号相比输入的视频信号延迟非常小，实时性强，可有效提高可见光成像系统的成像质量。
1 系统组成
如图1所示，本文提出的基于FPGA与DSP的实时视频图像偏色校正系统，硬件上包括数字视频解码芯片、FPGA、DSP以及数字视频编码芯片。其中，数字视频解码芯片采用DS90CR286，FPGA 采用EP3SE110F1152，DSP 采用TMS320C6455，数字视频编码芯片采用DS90CR285。
端口连接方式为：FPGA的端口R[7：0]、G[7：0]、B[7：0]、F1、L1、CLK1 与数字视频解码芯片的R[7：0]、G[7：0]、B[7：0]、F1、L1、CLK1相连；FPGA的端口R[7：0]、G[7：0]、B[7：0]、F2、L2、CLK2 与数字视频编码芯片的R[7：0]、G[7：0]、B[7：0]、F2、L2、CLK2 相连；FPGA 的端口SR[31：0]、SG[31：0]、SB[31：0]、INT 与DSP 的SR[31：0]、SG[31：0]、SB[31：0]、INT 相连；FPGA 的端口WR[15：0]、WG[15：0]、WB[15：0]与DSP 的WR[15：0]、WG[15：0]、WB[15：0]相连。
由于灰度世界假设方法的计算过程与其他偏色校正方法相比相对简单，且校正效果与人眼视觉感知非常一致，因此，提出的偏色校正系统通过协同FPGA与DSP对灰度世界假设方法进行了实现。其中，FPGA用于实现该方法中的像素累加和偏色校正部分，DSP 用于实现偏色校正系数的计算。接下来，将详细阐述各个实现环节。
2 实现步骤
偏色校正系统具体的实现步骤为：
步骤1：输入的CameraLink格式彩色数字视频信号经数字视频解码芯片解码后分解为彩色RGB 信号（R[7：0]、G[7：0]、B[7：0]）、帧同步F1、行同步L1、像素时钟信号CLK1传递给FPGA。
步骤2：在FPGA中，彩色RGB信号（R[7：0]、G[7：0]、B[7：0]）在帧同步F1、行同步L1、像素时钟信号CLK1的控制下用于像素累加计算出3 个累加数SR[31：0]、SG[31：0]、SB[31：0]，而后，SR[31：0]、SG[31：0]、SB[31：0]随同FPGA产生的中断信号INT传递给DSP，3个累加数的计算公式为：
式中：(i,j) 为像素坐标；M、N 分别代表一帧图像行、列方向的像素数量。
步骤3：DSP收到中断信号INT以后利用收到的3个累加数SR[31：0]、SG[31：0]、SB[31：0]计算出3个偏色校正系数WR[15：0]、WG[15：0]、WB[15：0]，并将其回传给FPGA，3个偏色校正系数的计算公式为：
式中：--· 表示对数据进行取整。
步骤4：FPGA 在下一帧的彩色RGB 信号（R[7：0]、G[7：0]、B[7：0]）到来后，在帧同步F1、行同步L1、像素时钟信号CLK1的控制下利用从DSP回传的3个偏色校正系数WR[15：0]、WG[15：0]、WB[15：0]对彩色RGB 信号进行偏色校正计算得到校正后的彩色RGB信号，然后，FPGA将帧同步F1、行同步L1、像素时钟信号CLK1延迟2 个像素时钟周期赋给F2、L2、CLK2，并将校正后的彩色RGB信号（R[7：0]、G[7：0]、B[7：0]）连同延迟后的帧同步F2、行同步L2、像素时钟信号CLK2一起传递给数字视频编码芯片，偏色校正计算过程为：
式中：除以256通过右移8位来实现。
由于处理的对象为视频图像，前后两帧的关联性非常大，也即利用上一帧计算得到的偏色校正系数可以用于下一帧进行偏色校正。这样做不仅不需要对一帧图像进行存储，而且使得输出的视频信号相比输入的视频信号延迟非常小。此外，由于偏色校正计算过程需要两个像素时钟周期，于是，通过将帧同步F1、行同步L1、像素时钟信号CLK1 延迟两个像素时钟周期赋给F2、L2、CLK2 实现校正后的彩色RGB 信号与这些同步信号之间的同步。
步骤5：数字视频编码芯片将校正后的彩色RGB信号（R[7：0]、G[7：0]、B[7：0]）、帧同步F2、行同步L2、像素时钟信号CLK2 编码并形成CameraLink 格式彩色数字视频信号输出。至此，完成偏色校正过程。
3 实验结果
利用能够输出分辨率为1 024×768 的CameraLink格式彩色数字视频的可见光成像设备作为偏色校正系统的输入，针对不同的场景进行相应的偏色校正实验。图2（a）为其中一个场景未经校正的有偏色图像，图2（b）为是同一场景经本文提出的校正系统校正后的图像。显然，经过校正后的图像与人眼对场景真实颜色的感知是相吻合的。
4 结语
本文提出的偏色校正系统利用FPGA 与DSP 协作实现了基于灰度世界假设的偏色校正方法，能够将视频图像的颜色范围校正到与人眼对场景真实颜色的视觉感知相吻合，并且能以一种格式接收视频图像信号并以相同的格式输出，易于将其集成到一个系统中，而不用对系统的接口进行更改。此外，该系统输出的偏色校正后的视频信号相比输入的视频信号而言，延迟非常小，实时性强。
作者简介：周桢（1979—），男，江西九江人，高级工程师，硕士。主要研究方向为图像信息处理、目标识别跟踪。
教育期刊网 http://www.jyqkw.com
参考文献
[1] CARDEI V，FUNT B，BARND K. White point estimation foruncalibrated images [C]// Proceedings of the 7th Color ImagingConference. Scottsdale，USA：[s.n.]，1999：97-100.
[2] FINLAYSON G，TREZZI E. Shades of gray and colour constan-cy [C]// Proceedings of the 12th Color Imaging Conference.USA：[s.n.]，2004：37-41.
[3] BUCHSBAUM G. A spatial processor model for object colorperception [J]. Journal of Franklin Institute，1980，310（1）：1-26.
[4] VAN D，GEVERS T，GIJSENIJ A. Edge-based color constan-cy [J]. IEEE Transactions on Image Processing，2007，16（9）：2207-2214.
[5] GEVERS T，VAN D，Computational color constancy：Surveyand experiments [J]. IEEE Transactions on Image Processing，2011，20（9）：2475-2489.
[6] GAO S，YANG K，LI C，et al. A color constancy model withdouble-opponency mechanisms [C]// Proceedings of IEEE Inter-national Conference on Computer Vision. [S.l.]：IEEE，2013：1-8.