1.中科院半导体所超高速仿生脉冲片上视觉系统研制取得进展;
2.北京工业大学与香港理工大学合作开发高效GPU优化求解器;
3.京东方“虚拟现实设备”专利公布;
4.TCL华星光电“显示装置及其驱动方法、显示系统”专利公布
1.中科院半导体所超高速仿生脉冲片上视觉系统研制取得进展
片上视觉系统电路是一种“传感-存储-计算”一体化的智能视觉感知系统,能够完成实时的图像获取、信号处理及智能图像处理任务,可广泛应用于敏捷机器人、智能无人机以及工业机器视觉等前沿领域。现有片上视觉系统以多比特实数形式进行图像获取、传输、处理,并采用计算视觉和深度学习方法分别完成图像信号增强和智能认知的处理任务,面临两阶段分离训练、数据流结构和处理范式变化、计算复杂度高、片上存储开销大、处理延迟和功耗大等诸多的设计和应用挑战。
中国科学院半导体研究所刘力源研究员带领团队在超高速仿生片上视觉系统电路设计领域取得重要进展。团队创新性地设计了一款集成了单光子脉冲型图像传感器和脉冲神经网络处理器的超高速仿生脉冲片上视觉系统(图1),单光子雪崩二极管像素(SPAD)阵列天然地生成高速脉冲型图像信号,端到端的脉冲神经网络完成图像信号增强和智能图像识别任务,成功地实现了仿人类视觉系统的全脉冲型图像获取、传输、处理的功能。
图1 超高速仿生脉冲片上视觉系统架构及其信号流
端到端的脉冲神经网络集成了前端的图像增强层和后端的智能认知层,采用深度学习方式实现图像增强与目标识别的融合训练,提高推理精度,降低参数冗余。图像增强层和智能认知层都采用了脉冲神经元模型进行计算,极大地降低了计算单元的复杂度;重构处理单元电路支持相同计算并行度下完成两个神经网络层处理,无需使用独立专用的图像信号处理器,提高了硬件使用效率,为实现超高速片上视觉系统电路提供了一种全新的路径。
脉冲片上视觉系统测试最高成像速率为每秒10万脉冲图像帧,在MNIST数据集上的识别准确率为99.2%,最高识别推理速度达10000次/秒,在1.43mlux的低照度条件下实现了95.3%的识别准确率; 在马赛克彩色ETH-80数据集上的识别准确率为94.3%。在保持相同的高识别准确率的情况下,本文工作将弱光目标识别的照度水平进一步降低了一个数量级。该项研究为边端视觉设备提供了实现超高速视觉感算一体化高集成度片上系统的新方法。
图2 超高速仿生脉冲片上视觉系统硬件照片和识别精度随照度变化曲线测试结果
上述研究成果以“A 10 000-Inference/s Bio-Inspired Spiking Vision Chip Based on an End-to-End SNN Embedding Image Signal Enhancement”为题,发表于《IEEE 固态电路期刊》 (IEEE Journal of Solid-State Circuits)。此项研究成果由半导体所助理研究员杨旭和刘力源研究员等共同完成。
此项工作得到了国家自然科学基金和北京市自然科学基金等项目的资助。
2.北京工业大学与香港理工大学合作开发高效GPU优化求解器
近日,北京工业大学数学统计学与力学学院赵欣苑教授与香港理工大学智能运筹学研究中心(Research Center for Intelligent Operations Research)孙德锋教授团队联合开发的两款大规模优化高效GPU求解器——HPR-LP和HPR-QP正式开源,标志着两校在智能运筹与计算优化领域的合作取得重要进展。
HPR-LP基于最新的Halpern Peaceman–Rachford(HPR)算法开发,结合了针对线性规划设计的自适应重启与参数调节技术。测试结果显示,其在多个主流数据集上性能显著,优于Google OR-Tools团队开发的PDLP。
HPR-QP则面向大规模凸复合二次规划,基于Restricted Wolfe Dual模型与HPR算法。同样,该求解器集成了自适应重启与参数调节机制。测试结果显示,其性能优于SCS和PDQP等主流求解器。
目前,两款求解器均已在GitHub开源,欢迎学界和业界关注使用,并提出宝贵意见。下一步,北京工业大学还将继续加大与包括香港理工大学在内的各高校的合作力度,共同为科技强国战略作出积极贡献。
3.京东方“虚拟现实设备”专利公布
天眼查显示,京东方科技集团股份有限公司“虚拟现实设备”专利公布,申请公布日为2025年3月14日,申请公布号为CN119620394A。
本发明提供一种虚拟现实设备,包括:眼镜部,用于显示虚拟现实场景;穿戴部,与所述眼镜部的在用户双眼连线方向的两相对侧面至少物理连接,用于穿戴在用户头部以将所述眼镜部固定于所述用户的眼睛前方;耳廓图像采集部,与所述眼镜部或穿戴部至少物理连接,所述耳廓图像采集部上设置有结构光光源装置和图像采集装置,其中,所述结构光光源装置用于向所述用户的耳朵发射结构光,所述图像采集装置用于采集所述用户的耳朵图像;控制器,用于根据所述用户的耳朵图像确定所述用户的耳廓参数,以基于所述虚拟现实场景和用户的耳廓参数生成传输到所述用户耳朵中的声音。虚拟现实设备生成用户个性化的空间立体声,增加用户的体验感。
4.TCL华星光电“显示装置及其驱动方法、显示系统”专利公布
天眼查显示,TCL华星光电技术有限公司“显示装置及其驱动方法、显示系统”专利公布,申请公布日为2025年3月14日,申请公布号为CN119626119A。
本发明提供了显示装置及其驱动方法、显示系统,显示装置包括显示面板、电性连接于显示面板的时序控制器,时序控制器用于获取显示控制信号,且用于判断显示控制信号是否异常,并用于在显示控制信号异常时输出反馈信号,缩减了对多个显示装置进行巡检的时长。