OEA|基于双端协同优化的快速变焦和高分辨率复眼相机
研究背景
光学成像系统已经成为人们获取图像信息不可或缺的工具，“看得广”、“看得清”、“看得快”是光学成像系统所一直追求的性能。然而，受到空间带宽积限制，光学成像系统的大视场和高分辨率成像特性难以兼容。不过，自然界总是能为人们带来灵感，昆虫复眼这种由众多小眼组成的多孔径视觉感知器官便为人们解决光学成像系统的瓶颈问题带来了启发。近年来，研究者们围绕仿生复眼技术开展了一系列研究，复眼阵列相机技术是其中的一个重要分支。复眼阵列相机由多个子相机构成，通过多个子相机分视场、分区域地进行成像并将图像进行拼接可以实现大视场和高分辨率，从而为打破传统单孔成像系统的空间带宽积限制提供了解决方案。
然而，复眼阵列相机技术的普及和推广面临着艰巨的挑战。一方面，复眼阵列相机系统的高分辨率实现通常依赖于大规模的相机数量和高像素密度的图像传感器，系统复杂度高，成像实时性受限。变焦成像技术有望在兼顾复眼的大视场和高分辨成像能力的基础上，降低相机数量以及传感器像素密度的需求、并提升成像适应性，但是传统的机械变焦方式速度慢，动态响应性不足，引入复眼阵列相机中还会使体积、重量和功耗剧增，因而难以适用于复眼阵列相机。另一方面，复眼阵列相机在实际成像时容易受到成像环境的干扰而造成成像质量的下降、难以充分发挥其分辨率优势，且由于环境干扰因素的多变性以及固有的制造公差导致的子相机单元之间的差异性，传统的图像处理算法往往难以完成复眼阵列相机的图像信息解调和增强。因此，在复眼阵列相机中实现快速光学变焦和高保真分辨率增强依然是亟待解决的关键难题。
创新研究
针对上述问题，北京航空航天大学王琼华教授团队提出了基于双端协同优化的快速变焦和高分辨率复眼相机，通过光学端的快速变焦和计算端的信息解调的协同来提升复眼相机的分辨率和成像适应性，为兼容实现大视场、高分辨率、快速和强适应性的成像提供了一种经济高效的技术方案，如图1（a）所示。
在光学端，该团队创新性地提出了通过液体透镜实现快速变焦复眼成像的方法。他们所设计的复眼相机中的每个子相机都包含两片液体透镜，通过电磁驱动方法可以控制液体透镜液体界面变化，从而可以快速调节相机的成像焦距和成像像差，如图1（b）所示。液体透镜技术的引入既保证了复眼相机的集成性，又赋予了复眼相机的毫秒级响应时间的变焦成像能力。在计算端，该团队提出了一种扰动退化模型驱动的图像重建网络，如图1（c）所示。他们首先构建了考虑环境干扰、所设计相机的制造公差和采集噪声的成像物理退化模型，然后通过施加合理的扰动因子生成了退化函数库并用于图像重建网络训练，从而省去了复杂的退化函数标定过程。同时，他们在网络的训练和重建过程中引入了多通道注意力机制，提升了网络的有效特征信息的提取能力。将图像重建网络与光学变焦相配合，可以使得复眼相机在保持大视场成像能力的同时，还能够高鲁棒性和高保真度地获取关键目标的高分辨率图像，如图1（d）所示。
图1 基于双端协同优化的快速变焦和高分辨率复眼相机概念图。（a）所提出复眼相机概念图；（b）液体透镜变焦原理图；（c）扰动退化模型驱动的图像重建网络示意图；（d）双端协同优化成像概念图。
为了验证所提出的双端协同优化机制的有效性，该团队使用该复眼相机进行了成像分辨率测试。在原始成像状态下，复眼相机可以捕获大视场图像，能够清晰分辨出分辨率测试卡上的第4组线对图像、初始角分辨率为71.6"，如图2（a）所示。经过双端协同优化后，复眼相机能够清晰分辨出分辨率测试卡上的第11组线对图像、角分辨率提升至26.0"，并且还可以观察到低频成像对比度的显著提高，如图2（b）所示。测试结果表明，所提出的双端协同优化机制不仅可以增强低频信息获取能力，还可以成功克服模糊和噪声的干扰，解调和增益有效的高频信息。
图2 分辨率测试结果。（a）原始成像状态下的分辨率测试结果；（b）双端协同优化后的分辨率测试结果。
该团队还通过实际场景下的成像实验，验证了所提出的基于双端协同优化的快速变焦和高分辨率复眼相机在真实场景的应用优势。实验结果证明了复眼相机在真实场景中能够可靠地获取大视场图像信息和高保真度的高分辨率图像信息，如图3所示，在公里级远距离目标的成像中也能够获取优良的成像表现。此外，由于具备5ms响应时间的快速变焦成像能力和低带宽需求，复眼相机也展现出了在大视场动态成像和感兴趣目标的精准检测上的优势。
图3 实际场景成像结果。（a）大视场成像结果；（b）原始成像状态下的成像结果；（c）双端协同优化后的成像结果。
这项研究工作通过结合液体透镜技术和计算成像技术，为兼容实现复眼相机的大视场、高分辨率、快速和强适应性成像提供了一种经济高效的技术方案。研究成果有望在机器视觉、城市交通、安防监控等多个领域应用。该工作以“Fast-zoom and high-resolution sparse compound-eye camera based on dual-end collaborative optimization”为题发表在Opto-Electronic Advances 2025年第6期，并当选为当期封面文章。
