在過去,FPGA與STM32軟硬結(jié)合,可以完成很多需要FPGA進(jìn)行硬件加速,同時(shí)系統(tǒng)又有略顯復(fù)雜的人機(jī)交互的設(shè)計(jì):LCD控制系統(tǒng),LED點(diǎn)陣屏等。
FPGA與ARM與生俱來的互補(bǔ),其性價(jià)比與靈活性、生態(tài),不是異構(gòu)FPGA可比擬的。因此對于大部分設(shè)計(jì),我們不做選擇題——FPGA + ARM架構(gòu)。
-
【1】奧唯思與創(chuàng)龍科技戰(zhàn)略合作
就在昨日(2025.10.27),在長達(dá)多年的互補(bǔ)切磋后,奧唯思與創(chuàng)龍終于簽訂戰(zhàn)略合作協(xié)議,正式針對機(jī)器視覺圖像接入RK3588、RK3576等平臺,進(jìn)行了一系列圖像解決方案,以及市場推廣的探討。
創(chuàng)龍科技 (Tronlong)始創(chuàng)于2013年,是國內(nèi)領(lǐng)先的嵌入式產(chǎn)品平臺提供商,公司總部位于廣州,作為是全志、瑞芯微[敏感詞]合作伙伴,創(chuàng)龍業(yè)務(wù)主要圍繞著SoC,涵蓋工業(yè)核心板、工業(yè)評估板、工業(yè)單板機(jī)、項(xiàng)目服務(wù)(https://www.tronlong.com/)。
奧唯思科技(SZOVS),成立于2021年,坐落于深圳南山,核心團(tuán)隊(duì)有著數(shù)十年的的FPGA、ASIC圖像開發(fā)經(jīng)驗(yàn)。公司專注于FPGA圖像處理平臺推廣、全國產(chǎn)ISP相機(jī)研制、FPGA電子內(nèi)窺鏡系統(tǒng)開發(fā)等,致力于為客戶提供快速可量產(chǎn)、高性價(jià)比的FPGA圖像加速解決方案(http://chajuzhijia.cn)。
1:FPGA實(shí)現(xiàn)ISP的優(yōu)勢的價(jià)值
FPGA具有高速、并行、流水線以及現(xiàn)場可編程的特性,針對部分場景的圖像應(yīng)用,采用SoC的ISP很難做到低延時(shí)+高性能+全同步。同時(shí),SoC的ISP開發(fā)難度大、開發(fā)周期長,系統(tǒng)適配投入資源大,大部分客戶無法調(diào)試RK的ISP,或者對圖像Tuning本身投入不足。
因此,采用FPGA進(jìn)行單目、多目ISP圖像處理,能有效地解決如上問題,而具備極高的靈活性,對設(shè)計(jì)的擴(kuò)展與升級也更有價(jià)值。如下是奧唯思基于FPGA的ISP架構(gòu),已批量應(yīng)用于工業(yè)、醫(yī)療視覺產(chǎn)品。
經(jīng)過多年的實(shí)戰(zhàn)積累,我們一致認(rèn)為在非靜態(tài)場景中,USB相機(jī)因其接口結(jié)構(gòu)因素,天然不穩(wěn)定。針對終端或嵌入式設(shè)備,USB并非好的方式,而同軸線纜作為震動(dòng)場景的高抗干擾性線纜,是無人機(jī)、機(jī)器人應(yīng)用的不二選擇。如下是基于IPEX接口的同軸線纜,單同軸可運(yùn)行標(biāo)稱10Gbps。
3:全國產(chǎn)ISP相機(jī)的價(jià)值
針對目前國內(nèi)產(chǎn)品為了供應(yīng)鏈及產(chǎn)品安全考慮,設(shè)備需要全國產(chǎn)器件選型?;诖耍覀儾捎?/span>國產(chǎn)FPGA+國產(chǎn)Sensor,設(shè)計(jì)了全國產(chǎn)MIPI-ISP相機(jī)的設(shè)計(jì),并且完成了相關(guān)機(jī)構(gòu)的苛刻測試。
鑒于如上3點(diǎn),自2024年底始,奧唯思便開始陸續(xù)推廣基于MIPI接口的ISP相機(jī),并且采用IPEX20455-20線纜接入方案,完成了更高的帶寬(6-10G),更低的延時(shí),以及更穩(wěn)定的系統(tǒng)集成方案。
同時(shí),為了解決客戶的多樣化需求,我們也針對主流200萬、130萬彩色/黑白,卷簾/全局傳感器,設(shè)計(jì)完成了多款不同特性的專業(yè)化MIPI-ISP相機(jī):
奧唯思在FPGA圖像的數(shù)十年投入,聚焦MIPI-ISP相機(jī),已在多個(gè)客戶項(xiàng)目完成認(rèn)證及量產(chǎn)接入。創(chuàng)龍的RK平臺在業(yè)內(nèi)首屈一指,在嵌入式、工控領(lǐng)域皆耳熟能詳。
但現(xiàn)實(shí)卻是很殘酷的,主要有如下:
-
-
RK驅(qū)動(dòng)層接入MIPI相機(jī)的有難度
-
-
-
-
因此針對創(chuàng)龍主流的RK3588(RK3576敬請期待)等平臺,奧唯思已經(jīng)完成了MIPI-ISP相機(jī)的驅(qū)動(dòng)接入,以及相關(guān)SDK的集成與發(fā)布。目前形態(tài)主要有1、2、6目,相關(guān)介紹如下:
1. 標(biāo)準(zhǔn)化雙目MIPI-ISP接入
如上圖所示,為奧唯思的雙目MIPI-ISP相機(jī)(VM-200CR、VM-200CG),以及創(chuàng)龍的RK3588 ARM開發(fā)平臺。針對模組的接入,我們已經(jīng)完成了如下準(zhǔn)備工作:
1)標(biāo)準(zhǔn)化創(chuàng)龍RK3588接入子卡
2)標(biāo)準(zhǔn)化創(chuàng)龍RK3588驅(qū)動(dòng)SDK
針對大部分無人機(jī)、機(jī)器人、機(jī)器視覺等雙目圖像應(yīng)用,我們可以提供全套Demo SDK,實(shí)現(xiàn)全同步、低延時(shí)的優(yōu)質(zhì)圖像方案,助力客戶聚焦應(yīng)用與AI,快速成型設(shè)計(jì)方案。
2. 標(biāo)準(zhǔn)化6目MIPI-ISP接入
針對環(huán)視拼接、多光譜相機(jī)、多目視覺應(yīng)用,我們也執(zhí)著的更近一步,基于創(chuàng)龍的RK3588平臺,完成了6目ISP-MIPI相機(jī)接入方案,如下所示:
針對6目同步200萬MIPI-ISP相機(jī)的接入方案,已有客戶基于此完成多光譜、多目拼接等應(yīng)用。采用FPGA進(jìn)行預(yù)處理ISP,有效降低SoC負(fù)擔(dān)的同時(shí),極大的提供了開發(fā)的進(jìn)度,以及產(chǎn)品的性能。
聚焦FPGA+ARM生態(tài),針對ISP圖像視覺的SoC接入,奧唯思與創(chuàng)龍,未來會(huì)持續(xù)完善ISP相機(jī)接入創(chuàng)龍開發(fā)板的應(yīng)用,共同完善機(jī)器視覺圖像的生態(tài)圈,戰(zhàn)略合作,志在長遠(yuǎn)。針對創(chuàng)龍RK開發(fā)板,接下來我們會(huì)從官方層面集成Demo SDK,主要有如下:
如果對FPGA+ARM架構(gòu)感興趣,歡迎找我們兩家探討切磋;
如果對我們產(chǎn)品感興趣的朋友,歡迎訪問如下鏈接(雙十一85折扣!)
https://item.taobao.com/item.htm?ft=t&id=830528734362