盗墓笔记小说全集,古风小说

FPGA ISP相機，成功接入NVIDIA Orin NX & Nano

作者：admin / 發(fā)表時間：2025-07-31

NVIDIA的生態(tài)完善，官方基于幾十年的GPU應用，可以提供非常完善的GPU生態(tài)，提供完整的linux外設驅(qū)動，甚至針對開發(fā)者生態(tài)，又可以提供很多相機的驅(qū)動解決方案。

但與此同時，NVIDIA的生態(tài)又非常封閉，比如用戶想要接入開發(fā)者生態(tài)里沒有集成Driver的相機，寸步難行；又比如用戶想要使用NVIDIA的ISP去做一個更好的圖像算法，也是無能為力。

目前在中國，NVIDIA只對幾家公司開放了ISP的授權，普通用戶雖然也可以買到NVIDIA套件，但是對此卻有心無力。

在過去，這確實是一件很麻煩的事情，畢竟驅(qū)動不開放，對大部分人封閉。

但從去年開始，我們投入了大量的時間研究NVIDIA底層驅(qū)動，也交付了客戶基于IMX252的ISP相機，成功接入NVIDIA Orin AGX，以至于去年有了這篇文章，第二天NVIDIA原廠的人就上門探討了。

FPGA模擬MIPI相機，成功接入NVIDIA AGX開發(fā)者套件

而今年，針對客戶不斷地對成本與性能的追求，在不斷的迭代升級了幾十個版本后，我們終于做到了2件事情：

基于FPGA的MIPI ISP相機

放棄USB3.0接口后，我們標準化了基于MIPI的FPGA-ISP相機

榨干RK3588后，我們開源了基于Ti60的6目"0"延時ISP相機接入方案

經(jīng)過多個項目的實戰(zhàn)積累，我們一致認為在非靜態(tài)場景中，USB相機因為其接口結構因素，天然的不穩(wěn)定、不靠譜。我們曾經(jīng)在無人機上給客戶提供USB3.0 ISP相機，雖然后項目做成了，但是雙方卻耗費了巨大的精力在做USB3.0掉線恢復的workaround，給系統(tǒng)異常檢測以及FPGA自我恢復增加了巨大的負擔，南轅北轍...

事實上USB是針對PC設計的通用串行接口，而針對終端或切入是設備，USB并非一定是優(yōu)解。因此今年開始，我們強行推出了基于MIPI接口的ISP相機，并且基于IPEX20455-20線纜接入方案，完成了更高的帶寬（6-10G），更方便的接入，以及更穩(wěn)定的系統(tǒng)集成方案。

同時，為了解決SoC側(cè)ISP開發(fā)難度大、開發(fā)周期長，系統(tǒng)適配投入資源大，我們也針對200萬、130萬彩色/黑白傳感器，采用FPGA集成了流水線低延時ISP圖像處理模塊，來適配多種不同的SoC環(huán)境，減輕SoC和系統(tǒng)集成的負擔。

基于此，我們推出了多款基于行業(yè)無人機應用的MIPI-ISP相機，如下所示。目前以VM-200CR為例，作為主流發(fā)貨型號，已經(jīng)適配了多個客戶的如人機，完成了傳感器上天入地的使命。

基于NVIDIA Orin 的ISP相機接入方案

針對瑞星微（RK3568，RK3588），或者海思HI3516等型號SoC，生態(tài)相對比較開放，尤其是RK系列SoC，這幾年在國內(nèi)的推廣非常成功。我們的大部分國內(nèi)客戶，用的也是RK3588，因為針對RK3588平臺，我們可以提供比較成熟的MIPI-ISP相機接入方案，比如6目200萬ISP相機同步接入應用，如下所示：