隨著2D成像逐步向3D視覺感知升級,3D視覺感知市場作為一個全新的科技行業(yè),已形成一條包括上游、中游、下游和應(yīng)用終端的產(chǎn)業(yè)化鏈條,逐步邁進(jìn)規(guī)模快速增長的爆發(fā)期。據(jù)Yole發(fā)布的全球3D成像和傳感市場研究報告顯示,2019年全球3D視覺感知市場規(guī)模為50億美元,預(yù)計(jì)在2025 年達(dá)到150億美元,年復(fù)合增長率約為20%。
為更好地探討3D深度視覺芯片領(lǐng)域發(fā)展現(xiàn)狀,分析如今3D視覺技術(shù)上存在的問題,探索未來的發(fā)展方向,2021年11月25日14:00-15:00,銀牛微電子——全球前沿的3D深度芯片企業(yè)以色列Inuitive的母公司正式舉辦《全球前沿3D深度視覺芯片及模組引領(lǐng)者,強(qiáng)勢登陸中國市場》線上發(fā)布會,重磅推出基于Inuitive NU4000芯片的“銀牛3D機(jī)器視覺模組C158”。銀牛微電子董事長兼CEO曲冠誠,以及銀牛微電子聯(lián)合創(chuàng)始人何火高(Kenny)作為演講嘉賓出席本次發(fā)布會,針對此次新品發(fā)布,企業(yè)創(chuàng)立初心和發(fā)展戰(zhàn)略,以及會議聽眾互動問答等作出深度解讀。
并購Inuitive:銀牛微電子致力于構(gòu)建全新的3D機(jī)器世界
去年11月,銀牛微電子完成對全球領(lǐng)先的3D視覺芯片設(shè)計(jì)企業(yè)以色列Inuitive的收購,成功將集成了3D視覺深度引擎技術(shù)、人工智能及SLAM技術(shù)的高端芯片公司納入旗下,旨在助力中國市場的產(chǎn)業(yè)升級,引領(lǐng)全球的3D行業(yè)變革。
在介紹銀牛微電子收購Inuitive的初衷時曲冠誠提到,第一次見到Inuitive時就被該公司的設(shè)計(jì)理念深深吸引,早在10年之前Inuitive就開始對人工智能進(jìn)行深刻地思考,人工智能要如何更“像人”,經(jīng)過長期以來的技術(shù)研發(fā)和積累沉淀,Inuitive也成為全世界第一家將信息獲取能力、信息感知能力、深度學(xué)習(xí)能力三大功能共同集成在芯片產(chǎn)品的企業(yè)。
銀牛微電子董事長兼CEO 曲冠誠
據(jù)悉,Inuitive團(tuán)隊(duì)有著豐富的設(shè)計(jì)經(jīng)驗(yàn),Inuitive創(chuàng)始人及CEO Shlomo Gadot先生系以色列芯片領(lǐng)域領(lǐng)軍人物,早在80年代即為美國貝爾實(shí)驗(yàn)室科學(xué)家,曾帶領(lǐng)團(tuán)隊(duì)成功研發(fā)了ADSL/HDSL,并曾創(chuàng)立多家成功的芯片設(shè)計(jì)企業(yè);聯(lián)合創(chuàng)始人Dor Zepeniuk先生系原PrimeSense研發(fā)負(fù)責(zé)人,后被蘋果公司收購,是光學(xué)設(shè)計(jì)、無線芯片、片上系統(tǒng)SoC、單元計(jì)算等多領(lǐng)域?qū)<摇4送猓琁nuitive所有人員的從業(yè)經(jīng)歷平均超過20年,幾乎都是光學(xué)、計(jì)算機(jī)視覺,嵌入式系統(tǒng)等8個學(xué)科領(lǐng)域中的頂尖人才。
對于銀牛微電子而言,收購Inuitive完成后除了實(shí)現(xiàn)中國公司絕對控股,還能獲得超前的設(shè)計(jì)理念以及對人工智能的理解,并融合Inuitive原本在計(jì)算機(jī)視覺、人工智能、光學(xué)、系統(tǒng)架構(gòu)、嵌入式系統(tǒng)軟件、邊緣計(jì)算及芯片設(shè)計(jì)等領(lǐng)域積累的豐富經(jīng)驗(yàn),在國際客戶已經(jīng)驗(yàn)證的基礎(chǔ)上,進(jìn)一步根據(jù)中國客戶的需求來調(diào)優(yōu)現(xiàn)有的產(chǎn)品,進(jìn)一步滿足中國客戶的需求。通過結(jié)合以色列的技術(shù)+中國本地化的產(chǎn)品和服務(wù)的方式,實(shí)現(xiàn)多地辦公、貼近客戶,為中國市場而發(fā)展壯大。
曲冠誠表示:“銀牛微電子的愿景和使命,是讓每個參與者實(shí)現(xiàn)自己的3D夢想,以構(gòu)建全新的3D機(jī)器世界”。如今,銀牛微電子已經(jīng)建立起研發(fā)、生產(chǎn)、銷售、市場、商務(wù)拓展、客戶支持的完整團(tuán)隊(duì),形成中以合作,雙向反哺的全新合作模式,同步支持國內(nèi)和國際客戶的發(fā)展。銀牛微電子還會根據(jù)機(jī)器人市場的細(xì)分情況持續(xù)推出新產(chǎn)品。未來,還將面向自動駕駛、醫(yī)療、金融支付元宇宙等眾多領(lǐng)域,根據(jù)客戶的需求推出相應(yīng)的芯片及模組產(chǎn)品。”
核心技術(shù)加持,銀牛3D機(jī)器視覺模組C158正式亮相
銀牛微電子聯(lián)合創(chuàng)始人 何火高(Kenny)
據(jù)銀牛微電子聯(lián)合創(chuàng)始人何火高Kenny介紹,銀牛微電子擁有三大核心技術(shù):
一、Depth Sensing深度感知技術(shù),銀牛微電子最為核心的技術(shù)之一,深度視覺引擎等專為3D感知功能設(shè)計(jì)的獨(dú)特IP,結(jié)合公司自言深度算法,性能功耗均比市場上的其他解決方案優(yōu)異;
二、SLAM 實(shí)時定位與建圖,指在運(yùn)動過程中傳感器探測并建立環(huán)境的模型,同時估計(jì)自己的運(yùn)動并定位,這是在機(jī)器視覺應(yīng)用中最常見的功能之一;
三、TimeWarp (ATW) 異步時間扭曲,ATW能產(chǎn)生中間幀,從而有效減少畫面的抖動。這是目前在VR/AR應(yīng)用中最為重要的技術(shù)之一,帶VR眼鏡的人通常會面臨一個問題,如果視頻幀率不足的話用戶會出現(xiàn)眩暈感,異步時間扭曲技術(shù)能夠產(chǎn)生中間幀,從而能夠減少畫面的抖動,減少眩暈的這種感覺。銀牛微電子也將此部分功能以硬件實(shí)現(xiàn)的方式實(shí)現(xiàn)大幅度的降低延遲,從動作到畫面的反應(yīng)延遲小于1毫秒。
基于上述三大核心技術(shù),銀牛微電子推出了第二代芯片NU4000,集成的功能特性包括:專用的深度感知加速器,強(qiáng)勁的AI能力,高精度的實(shí)時建圖和回歸,通用CPU核,豐富的I/O接口,以及先進(jìn)的12nm制造工藝。
NU4000
在核心技術(shù)和芯片產(chǎn)品優(yōu)勢的加持下,銀牛微電子在本次發(fā)布會上重磅發(fā)布“銀牛3D機(jī)器視覺模組C158”,該模組由2個魚眼攝像頭+一個RGB彩色攝像頭+2個IR紅外攝像頭組成,還搭載了一個3D激光投射器,能夠?yàn)橛脩籼峁母兄接?jì)算到系統(tǒng)一體化的解決方案。
銀牛3D機(jī)器視覺模組C158
在產(chǎn)品性能方面,C158集深度感知能力、SLAM實(shí)時跟蹤建圖引擎、實(shí)時高精度/穩(wěn)定跟蹤等亮點(diǎn)于一身,具體來看包括:
1、強(qiáng)大的深度感知能力,從0.3米到6米的感知范圍可以實(shí)現(xiàn)1%的深度精度誤差,分辨率高達(dá)1280x800,幀率可達(dá)60fps,還可以達(dá)到水平方向66°垂直方向44°的視場角,可滿足市面上絕大部分的客戶對深度的要求;
2、SLAM實(shí)時跟蹤建圖引擎,高精度的實(shí)時建圖和回歸能力,支持120fps的2路攝像頭,6自由度坐標(biāo)的重定位,結(jié)合魚眼攝像頭跟蹤模組,可以實(shí)現(xiàn)實(shí)時高精度的穩(wěn)定跟蹤;
3、實(shí)時高精度的穩(wěn)定跟蹤,一方面采用雙魚眼攝像頭結(jié)構(gòu)設(shè)計(jì),視場角高達(dá)166.5°,板載六軸傳感器,采樣率高達(dá)100fps;
4、NU4000芯片性能加持,高達(dá)6TOPS的綜合運(yùn)算能力,能夠給用戶提供非常靈活的配置,在不同的應(yīng)用場景下用不同的AI引擎來進(jìn)行計(jì)算或控制。同時在NU4000上通用CPU核采用ARM Cortex A5架構(gòu),工作頻率高達(dá)1.2GHz,支持嵌入式Linux操作系統(tǒng),支持LPDDR4內(nèi)存;
5、提供豐富的接口,包括USB/MIPI接口,支持windows/Linux等各種操作系統(tǒng);
6、功耗與體積優(yōu)勢,C158長寬高為125mmx40mmx27mm,功耗低至1.4W,可在0°~50°環(huán)境下工作。
市場為何原意選擇銀牛微電子?
在與觀眾的互動問答中,針對“支持雙目立體深度結(jié)構(gòu)光和單目有什么區(qū)別”這一問題,何火高表示,雙目立體深度結(jié)構(gòu)光不僅僅是比單目結(jié)構(gòu)光多了一個攝像頭那么簡單。從物理原理來講,結(jié)構(gòu)光技術(shù)其實(shí)是應(yīng)用了三角定位測距原理,但雙目立體深度結(jié)構(gòu)光技術(shù)依靠自然的紅外反射在攝像頭上產(chǎn)生特征點(diǎn),然后來計(jì)算對象物的深度信息數(shù)據(jù)。而結(jié)構(gòu)光需要有一個投射的光發(fā)射源,發(fā)射出去光線以后帶編碼的光到了對象物再反射回來計(jì)算深度。由此產(chǎn)生一個問題,在室外時結(jié)構(gòu)光發(fā)射的帶編碼的光經(jīng)常會受到環(huán)境干擾,而雙目立體深度結(jié)構(gòu)光技術(shù)就不容易受到室外光線干擾,室外室外皆可采用。對此曲冠誠也補(bǔ)充表示,在自動駕駛等室外遠(yuǎn)距離場景應(yīng)用中,雙目立體深度結(jié)構(gòu)光優(yōu)勢更大。
有觀眾提問“感知到計(jì)算到系統(tǒng)一體化是不是每一個機(jī)器視覺必須要經(jīng)歷的環(huán)節(jié)?”對此何火高認(rèn)為,機(jī)器從感知到分析到計(jì)算,到最終的決策執(zhí)行,需要用到系統(tǒng)的整體設(shè)計(jì),而不是某個單一模塊的加強(qiáng),銀牛微電子所推出的C158就是一款能夠把感知、計(jì)算和系統(tǒng)決策全部合為一體,一方面提高系統(tǒng)的集成度,同時增強(qiáng)了系統(tǒng)的穩(wěn)定高效。
曲冠誠在回答“中以團(tuán)隊(duì)具體是通過哪些措施來滿足本土化需求的”這一提問時表示,銀牛微電子現(xiàn)在分為以色列團(tuán)隊(duì)和中國團(tuán)隊(duì),核心技術(shù)人員都是來自于全球各行各業(yè)的頂尖人才,中以兩個團(tuán)隊(duì)之間創(chuàng)造了一種全新的合作模式,實(shí)現(xiàn)了完美的融合與交互,結(jié)合中國本土產(chǎn)業(yè)供應(yīng)鏈的管理,更好的來適應(yīng)中國本土化的需求。
據(jù)了解,目前銀牛微電子的產(chǎn)品主要應(yīng)用在以下幾大技術(shù)方向,一是避障和自主導(dǎo)航,二是醫(yī)療領(lǐng)域的3D掃描/重建功能,三是模組定位,比如利用機(jī)器設(shè)備有條件的進(jìn)行摘桃子、摘葡萄、采茶葉等操作,四是人臉識別,尤其是在用到防偽功能的金融支付等場合,可以讓人們更加安全的進(jìn)行刷臉支付。
總結(jié)下來,3D視覺技術(shù)的盛行讓人們衣食住行、工作、娛樂、教育、醫(yī)療、社交萬物皆可3D,全方位革新人類生活方式,孕育無窮多的市場機(jī)會。銀牛微電子也憑借業(yè)界領(lǐng)先的深度感知技術(shù),通過近十年的深度技術(shù)積累,系統(tǒng)的高集成度與簡化系統(tǒng)設(shè)計(jì),讓產(chǎn)品獲得強(qiáng)勁的AI運(yùn)算能力,結(jié)合通用ARM核心增加設(shè)計(jì)的靈活性,多功能一體化設(shè)計(jì)大幅度降低了系統(tǒng)的整體成本,讓機(jī)器用模擬人眼+人腦的方式認(rèn)知世界,進(jìn)一步幫助人類打破時空及自身物理?xiàng)l件限制,全面融入智能時代。
點(diǎn)擊下方鏈接 或 掃描下方二維碼,觀看銀牛微電子新品發(fā)布會全場回顧:
https://room.ofweek.com/liveweb/#/live/741
關(guān)于銀牛微電子
銀牛微電子成立于2020年8月,注冊資本7.78億元人民幣,是一家專注3D和AI芯片、模組及產(chǎn)品設(shè)計(jì)的高新科技企業(yè),注冊地位于江蘇省江陰市,并在北京,上海和深圳設(shè)有辦公室。 2020年11月,銀牛微電子完成對全球前沿的3D視覺芯片設(shè)計(jì)企業(yè)以色列Inuitive的收購,成功將集成了3D視覺深度引擎技術(shù)、人工智能及SLAM技術(shù)的高端芯片公司納入旗下,旨在助力中國市場的產(chǎn)業(yè)升級,引領(lǐng)全球的3D行業(yè)變革。
子公司Inuitive布局3D視覺已近10年,擁有全球前沿的3D深度視覺芯片,在計(jì)算機(jī)視覺、人工智能、光學(xué)、系統(tǒng)架構(gòu)、嵌入式系統(tǒng)軟件、邊緣計(jì)算及芯片設(shè)計(jì)等領(lǐng)域積累了豐富的經(jīng)驗(yàn)。Inuitive創(chuàng)始人及CEO Shlomo Gadot先生系以色列芯片領(lǐng)域領(lǐng)軍人物,早在80年代即為美國貝爾實(shí)驗(yàn)室科學(xué)家,曾帶領(lǐng)團(tuán)隊(duì)成功研發(fā)了ADSL/HDSL,并曾創(chuàng)立多家成功的芯片設(shè)計(jì)企業(yè);聯(lián)合創(chuàng)始人Dor Zepeniuk先生系原PrimeSense研發(fā)負(fù)責(zé)人、后被蘋果公司收購,是光學(xué)設(shè)計(jì)、無線芯片、片上系統(tǒng)SoC、單元計(jì)算等多領(lǐng)域?qū)<摇?