基于MIPI的FPGA-ISP相機標準化

• 1.被迫放棄了USB3.0

基于FPGA的全國產(chǎn)ISP相機，我們已經(jīng)先后努力了2個年頭，也持續(xù)向大家匯報過我們的進展：

1. 時隔10年，我將重新殺回國產(chǎn)FPGA
2. 全國產(chǎn)0延時USB3.0 ISP工業(yè)相機但就2年的坎坷經(jīng)歷來看，這也許是個偽命題，因為不管是從需求側(cè)還是應(yīng)用側(cè)，雖然我做到了全國產(chǎn)，但仍有2個問題是無解：

• USB3.0接口的相機，有海康大華等龍頭在，后來者入場很難
• USB3.0接口的相機，在沖擊抗震中的表現(xiàn)不佳，是個難題
• USB3.0接口接入ARM協(xié)議解析延時更大，無法做到低延時

USB接口會由于震動、撞擊等脫落，導致觸電接觸不良，這需要耗費大量的精力去做自恢復以及斷點重傳。盡管扛住了了苛刻的測試流程，也安裝到了甲板上，但始終覺得南轅北轍，身心疲憊——方向不對，努力白費!

經(jīng)過了一年多的持續(xù)迭代與探索，我們終于在工業(yè)相機模組應(yīng)用上，放棄了USB3.0接口，放棄了在全國產(chǎn)方寸T630 USB3.0方案上，投入1年多研發(fā)精力的方案，全面走向MIPI CSI接口，并且推出了標準化產(chǎn)品。

1. 迭代6代后，終于推出MIPI ISP全國產(chǎn)相機
2. FPGA在低空經(jīng)濟中的入場機會：ISP相機

• 2.全國產(chǎn)關(guān)鍵物料選型

卡脖子確實難受，是一種呼吸不過來的憋屈，那么國產(chǎn)化仍然是堅定不移的，未來10年的戰(zhàn)略，所以我們一如既往地堅持：全國產(chǎn)化ISP相機。

如下是我們的全國產(chǎn)相機的選型/架構(gòu)：

這里的關(guān)鍵元件選型，如下：

• FPGA：易靈思鈦金16nm Ti60F225，低功耗高性能
• Sensor：思特威CMOS圖像傳感器，全國產(chǎn)高性能
• DDR3：FPGA合封DDR3，追求體積
• 其他：各種國產(chǎn)芯片選型，

經(jīng)過1年的迭代，以及幾個客戶的先后系統(tǒng)集成+對接測試后，一次性推出6個機型（4種傳感器），如下圖所示：

其中有幾個型號重點描述下：

1. VM-200CR是目前出貨多的彩色1/1.8寸1080P60的機芯；
2. VH-130MG則是目前130萬無線圖傳客戶喜歡的HDMI輸出模式；
3. VM-500MG的成本很高，參數(shù)性能也很高，面向高端需求
4. VM-130CG功耗非?？鋸?，做到720P 240幀的實時ISP，將近3W++

• 3.全國產(chǎn)ISP相機特性

利用易靈思FPGA高速并行低功耗等特性，我們在有限的資源內(nèi)，將流水線按ISP的性能與延時做到了[敏感詞]。

同時，利用FPGA來實現(xiàn)ISP，相對于ARM的優(yōu)勢，主要有如下：

尤其是幫客戶解決了Sensor對接，以及ISP調(diào)試的工作量，加上FPGA 低延時的特性，是基于FPGA的ISP相機的大特性。如下所示，是我們在FPGA上實現(xiàn)的ISP Pipeline：

基于此，我們調(diào)試了幾款思特威的主流CMOS傳感器，包括130→500萬，以及卷簾/全局曝光傳感器，主要有如下：

• IPEX同軸20P傳輸

在車載/無人機應(yīng)用領(lǐng)域，往往希望線纜可以有以下特性：

1. 傳輸速率高
2. 線纜材質(zhì)軟
3. 接口安裝穩(wěn)定
4. 10-50cm的傳輸（更長建議SDI）

USB3.0除了傳輸帶寬還可以，需求2+3著實無法滿足，鑒于此，我們選用了無人機常用的IPEX線纜，信號線都走同軸，號稱單線可以運行10Gbps的速率（我們實測過2.5Gbps）。

IPEX（被動元件）是進口的品牌，但是也有國產(chǎn)替代型號；另外工廠對IPEX同軸線的加工，已經(jīng)是輕車熟路，因此選型沒有壁壘。自從我們選用IPEX同軸線纜進行傳輸后，終于打破了1米傳輸高速MIPI ISP相機的限制。

如下是我們提供給定制客戶的80cm的IPEX 20P同軸線，雙目接入了NVIDIA Jetson，已經(jīng)穩(wěn)定上機測試，完美解決了原來TypeC傳輸接口的問題。

• 成功案例分享

1）單目VM-200CR接入FPGA

如下所示，客戶基于易靈思鈦金ti60F100做機器視覺的開發(fā)，但又不想把精力放在ISP上，因此采用我們的FPGA-ISP相機，50+cm傳輸后接入Ti60F100做顯示后處理。

??為了加速客戶開發(fā)，我們提供基于Ti60F100 接入VM-200CR的源代碼級FPGA工程。

2）雙目VM-200CR接入RK3588

這是目前行業(yè)客戶需求量大的應(yīng)用，即采用RK進行無人機偵察，或者低空飛行的相關(guān)檢測應(yīng)用。RK3588有強大的算力，但負責AI開發(fā)的工程師，仍然有3個問題：

• 負責AI的同時不會RK ISP
• 沒有更多精力投入ISP Tuning
• RK處理啟動+延時太慢了

因此，也就有了我們FPGA實現(xiàn)ISP相機的需求。如下是客戶RK3588接入奧唯思雙目VM-200CR的實物演示（原先用USB3.0方案，終放棄）：

          

在國產(chǎn)ISP相機方案上，我們將持續(xù)迭代，不斷地優(yōu)化圖像效果與功耗。

如果對我們產(chǎn)品感興趣，可以聯(lián)系我們：

https://item.taobao.com/item.htm?ft=t&id=830528734362

或在”奧唯思FPGA店鋪“ 搜索 ISP相機（批量可談）：