机器人是新质生产力的革命性引擎,正在重塑人类的生活和工作。同步定位与建图技术(Simultaneous Localization And Mapping,SLAM)能够使机器人在未知环境中自主导航并构建周围环境的地图,是自主移动机器人实现智能化的基石。然而,SLAM算法复杂且运算量大,基于通用芯片方案实现存在延时长、功耗高的问题,不能满足自主移动机器人,尤其是小型、微型、纳型机器人的实时性、体积和功耗需求。因此,设计专用芯片加速计算密集的SLAM算法在近年来受到学术界和产业界的高度关注。本文首先从SLAM技术的基本概念和应用场景出发介绍了SLAM算法需要硬件加速的必要性,接着从算法和专用芯片设计两个角度出发梳理了SLAM技术的研究现状与发展趋势,接着重点讨论了SLAM专用芯片研究的技术挑战与解决方案,对未来发展给出了建议。
随着机器人产业的快速发展,机器人技术已成为推动生产力提升的新动力,特别是三维重建、避障导航等技术的重要性日益凸显。基于飞行时间(Time of Flight, ToF)和结构光等主动式三维成像技术受限于自身分辨率较低、缺乏色彩信息和易受环境光干扰等因素,表现不够理想。因此,能够实时精确输出稠密深度和色彩信息(RGB-D)的被动式双目立体视觉传感器在自主移动机器人、汽车和微型无人机等领域得到了广泛应用。然而,双目立体视觉技术通过模仿人类双眼计算视差来提供深度信息,计算复杂度高且依赖于通用计算平台,导致双目立体视觉处理器面临着高能耗和高延迟等问题,这限制了该技术在高速场景、小型机器人和边缘计算等领域的应用。近年来,那些集成了立体视觉算法专用硬件加速器的双目立体视觉处理器在学术界和产业界引起了广泛关注。本文首先系统阐述了双目三维立体视觉的理论基础及其在机器人立体视觉的应用实例,接着介绍了双目立体视觉处理器的组成结构,包括图像获取、相机标定与校正、立体匹配等核心部分。为便于立体视觉硬件开发者参考,本文根据双目立体视觉系统的核心组成结构,分别综述了基本概念、研究现状和难点与挑战,并特别关注和对比了新型硬件计算架构。
在视觉同时定位与地图构建(Visual Simultaneous Localization and Mapping, V-SLAM)系统中,光束法平差(Bundle Adjustment, BA)是优化相机参数和三维点位置的重要环节。然而,由于BA计算复杂度高,实时性要求高,传统的计算平台难以满足高效计算的需求。近年来,专用硬件加速器的引入为BA优化提供了新的解决方案。本文综述了BA优化专用芯片的研究现状及发展趋势,主要涵盖了BA算法的应用场景、定义与基本原理;BA在现场可编程门阵列(Field-Programmable Gate Arrays, FPGA)、专用集成电路(Application-Specific Integrated Circuits, ASIC)和图形处理单元(Graphics Processing Units, GPU)上的加速方法,以及这些加速器的发展趋势。此外,本文还探讨了BA加速器在技术实现中面临的挑战,并展望了其未来的发展方向。
神经辐射场(NeRF)是一种用于重建三维场景的新兴方法,其在机器人领域的应用前景备受关注。NeRF通过多层感知机(MLP)学习三维场景特征,实现高保真的图像渲染,并为机器人在复杂环境中的导航、定位和感知提供基础。其核心流程包括光线采样、特征提取和体渲染,具有计算量大和非规则存储访问密集的特点,限制了在现有硬件平台,尤其是端侧设备上的部署,亟需探索新的硬件架构和软硬件协同优化方案。本文系统阐述了NeRF的技术原理与算法演进,并探讨了其在现有硬件设备上的性能瓶颈。在此基础上,详细介绍了经典的NeRF硬件加速器工作,归纳出图像相似性优化、空间稀疏性优化、存储器访问优化三种主要优化方向,并分析了不同工作技术的共性与差异。此外,结合SLAM、AIGC等应用场景,探讨了当前NeRF加速器在处理开放场景任务时所面临的可扩展性和存储限制方面的技术局限和挑战。最后,提出未来发展的建议,以期为NeRF硬件加速器的进一步应用和优化提供启发。
随着计算机视觉技术的不断迭代和发展,以计算机视觉技术为核心的智能应用和设备逐渐在人们的日常生活和工作中扮演越来越重要的角色。其中,基于视觉的同步定位与建图技术(Simultaneous Localization and Mapping,SLAM)在机器人、无人机、自动驾驶等领域中被广泛应用,上述领域需要视觉SLAM技术为其提供精准的定位信息,以实现其精确建图和自主导航功能。然而,由于视觉SLAM算法本身的特性,计算量极大,数据依赖性极高,导致其在传统的硬件平台(CPU或GPU)上运行时,难以满足前述边缘端应用场景对实时性和低功耗的需求,成为限制视觉SLAM技术被广泛应用的关键因素。为了解决这一问题,本文基于算法与硬件协同设计的优化策略,针对ORB特征提取和匹配算法提出了一种面向视觉SLAM的高能效专用加速器,通过多种硬件设计技术提高计算性能和能效,包括基于数据依赖关系解耦的多层次并行计算技术、基于多尺寸存储桶的数据存储技术和像素级对称-轻量化描述子生成和方向计算策略。提出的视觉SLAM加速器在Xilinx ZCU104上进行了测试和验证。与ORB-SLAM2的算法精度对比,本加速器的精度在5%以内,帧率提升至108 fps,与同期其他硬件加速器相比,查找表使用降低了32.7%,FF使用降低了41.17%,同时帧率提升了1.4倍和0.74倍。
机器人+人工智能将引领新智能技术变革,人工神经网络在机器人感知方面应用潜力巨大。然而,AI算法日益复杂、CPU等通用处理器能效瓶颈问题突出,传统处理芯片无法有效适配大规模神经网络的推理计算任务。近年来,机器人AI芯片凭借高算力、低功耗特性成为神经网络在机器人系统应用部署的理想选择,受到广泛关注。本文面向机器人应用,研究AI算法现状,梳理AI芯片设计技术最新进展,提出技术难点及可行技术路线,探讨机器人AI芯片设计的技术趋势及挑战。
提出了一种以ATMEL公司(已被Microchip收购)的32位SPARC V8结构的处理器AT697为核心,利用FPGA进行接口扩展的高效仪器管理系统设计方案,优化了卫星载荷复杂系统的测控与温控管理设计。该设计主要实现了载荷系统的测控管理,包括卫星测控通信、单机测控管理、载荷温控、时间校准、指令处理及接口控制。该系统具备快速指令响应和高可靠性通信能力,并能够高效并行处理数据,从而增强了整体的稳定性、可靠性和高效性。
针对SoC安全芯片的JTAG/cJTAG接口在产品化阶段没有关闭存在恶意被攻击风险,或通过OTP/eFuse简单的永久关闭JTAG/cJTAG接口导致量产阶段客户问题定位困难,或CPU指针跑飞后调试手段受限而很难定位等问题,本文设计了一种基于权限管理的SoC安全芯片调试系统,相比传统调试方式,本文做了两方面修改:针对JTAG/cJTAG调试方式,在传统调试方法上增加了权限控制位设计、校验密码设计、权限比对设计;针对UART调试方式,在保留传统调试方法的基础上增加了UART访问寄存器总线设计,并可以通过OTP/eFuse关闭UART访问寄存器功能。此调试系统既为SoC芯片CPU挂起、指针跑飞等提供问题分析手段,又为SoC芯片量产阶段提供安全又方便的JTAG/cJTAG调试手段。
