视网膜变性

首页 » 常识 » 诊断 » 加速神经拟态视觉传感技术落地,法国初创公
TUhjnbcbe - 2025/2/10 16:42:00

文丨李子月Zoe

编丨石亚琼

**

普诺飞思(Prophesee)年创立于巴黎,专注于神经拟态视觉传感技术,引入计算机视觉新类别——基于事件的视觉(Event-based)。其研发的普诺飞思原视觉(Metavision)传感器可应用于手机、自动驾驶、工业自动化、物联网、AR/VR、医疗设备等领域。目前第三代传感器已实现盈利,第四代传感器将于今年年底大规模量产。

此前,普诺飞思曾获60CapitalPartners,欧洲投资银行,iBionext,韦豪创芯,英特尔资本,雷诺集团,博世创投,创新工场(普诺飞思是创新工场投资的第一家欧洲企业),SupernovaInvest,小米等投资。

联合创始人兼CEOLucaVerre拥有米兰理工大学和巴黎中央理工学院的物理学、电子和工业工程双硕士学位,以及欧洲工商管理学院的工商管理硕士学位,曾在施耐德电气公司负责项目及产品管理、市场营销和业务开发等。在加入施耐德电气之前,还曾任丰田汽车和Altis半导体的工程师,并在伦敦帝国理工学院担任光子学研究助理。联合创始人兼CTOChristophPosch拥有维也纳工业大学电子与通信工程硕士学位,实验物理学和微电子学博士学位,曾创立法国生物电子公司PixiumVision。普诺飞思共有多名工程师,50多项国际专利。

除巴黎总部外,普诺飞思上海、东京、硅谷和格勒诺布尔均设有办事处。谈及进驻中国市场的原因,LucaVerre表示:中国拥有最大的移动设备市场,安防、工业等领域也有非常多的机会;中国强大的半导体生态系统也将促进普诺飞思的迅速发展。目前公司正在积极发展中国团队,寻找机器视觉工程师、系统工程师和销售经理等人才。

基于帧的技术VS基于事件的技术

传统的图像传感器采用基于帧的技术(Frame-based)。通过每秒捕获多帧静止图像来表达/记录场景运动,并通过连续快速的展示,让观看者的视觉产生连续运动的错觉。其中的弊病有二:一是每帧之间是空白的,必然会丢失运动物体的部分信息。二是无论场景是否发生变化,传感器中的像素都会进行记录,相同的背景信息被重复记录,从而生成大量无用数据。

(高尔夫球手挥杆场景演示图片来源:采访供图)

以高尔夫球手挥杆为例,在这一场景中,重要的信息是球杆的摆动和球的运动,但传统传感器将丢失这些信息的某一部分,同时反复记录他身后不变的天空、树木和草地。

(基于帧的传感器(左)和基于事件的视觉技术(右)图片来源:采访供图)

而我们的眼睛并不会以帧为单位记录场景图像,只是在场景产生变化时传递信息给大脑。通过这样的方式,人眼只收集必要信息,而不必浪费时间和精力重复处理场景中没有变化的图像。

普诺飞思所采用的基于事件的视觉技术(Event-based),便是受到了人眼视网膜和大脑工作原理的启发。在普诺飞思原视觉(Metavision)传感器中,每个像素都是异步且独立的,像素不再由固定的时序源(帧时钟)控制,而是由信号在幅度域的变化来控制,并在检测到变化或运动时进行记录。图像信息不是逐帧发送,而是通过连续的信息流捕获时间运动,并且帧与帧之间没有任何重要信息遗漏。

普诺飞思基于事件的视觉系统产生的数据量比传统图像传感器减少十到千倍,等效时间帧速率10kfps。其传感器可实现像素级别的曝光调节,即使在极暗或极亮的光照条件下,也能实现dB的动态范围,低光灵敏度1lux。

普诺飞思的四代传感器

普诺飞思第一代传感器用于帮助盲人部分视力恢复。如其与法国生物电子公司PixiumVision合作研发的无线视网膜植入物。

普诺飞思第三代原视觉传感器已经量产,主要应用于工业自动化,尤其是高速机器视觉领域,如高速计数、激光焊接监控、震动测量等。如德国Imago已将其集成到了工业级相机系统中。这一代产品目前已经盈利。

普诺飞思与索尼合作研发的第四代传感器主要应用于工业和物联网,目前正在与客户的测试阶段,预计今年年底能够大规模量产。基于事件的视觉传感器的每个像素都是独立的,晶体管数量较多,使得降低芯片尺寸成为难题。普诺飞思的第四代传感器应用了索尼BSI(背照式)和D堆叠工艺,大大降低了传感器尺寸。第三代传感器(图左)尺寸为15μm,第四代传感器尺寸为4.86μm,是目前基于视觉的传感器中的最小尺寸。

(普诺飞思第三代和第四代芯片图片来源:采访供图)

此外,普诺飞思近期还推出了评估套件EVK(支持与索尼半导体共同开发的4.1HD传感器和.1VGA传感器)。EVK与Metavision智能套件(由Player、Designer和SDK组成,提供近种算法、67个代码实例和11个特定用例的应用模型)完全兼容,用于帮助用户更好地评估和发挥传感器的性能。LucaVerre表示,相较于同类公司,普诺飞思更早地布局软件开发,并

1
查看完整版本: 加速神经拟态视觉传感技术落地,法国初创公