近日，黑芝麻智能宣布計(jì)劃推出支持華山及武當(dāng)系列芯片的端到端算法參考方案。該方案采用One Model架構(gòu)，并在決策規(guī)劃單元引入了VLM視覺語言大模型和PRR行車規(guī)則的概率化表征子模塊，進(jìn)一步提升了智駕系統(tǒng)的決策規(guī)劃能力。

該方案分為標(biāo)準(zhǔn)版和高階版兩個(gè)版本。前者在單顆武當(dāng)C1200家族中算力平臺(tái)上即可部署，而后則可在即將推出的華山A2000家族中發(fā)揮全部實(shí)力。

官方表示，黑芝麻智能的端到端智駕系統(tǒng)，一步到位采用了One Model的架構(gòu)。一端可輸入攝像頭、激光雷達(dá)、4D毫米波雷達(dá)、導(dǎo)航地圖等信息，另一端直接輸出駕駛決策所需要的信息，即本車的預(yù)期軌跡。

具體到模型內(nèi)部，其可以分為BEV編碼器和決策（軌跡預(yù)測）兩個(gè)神經(jīng)網(wǎng)絡(luò)單元。

BEV編碼的工作過程中，車外攝像頭或激光雷達(dá)、4D 毫米波雷達(dá)等各類傳感器的數(shù)據(jù)進(jìn)入 ResNet 和 FPN 等主干網(wǎng)絡(luò)，提取并融合多層特征，生成多尺度特征金字塔。經(jīng)過幾何變換，特征圖對齊成俯視視角（BEV），實(shí)現(xiàn)統(tǒng)一的空間表示。

隨后，系統(tǒng)通過多尺度時(shí)序聚合將當(dāng)前與歷史 BEV特征融合，減少噪聲干擾，增強(qiáng)動(dòng)態(tài)物體感知精度和系統(tǒng)魯棒性，最終生成特征圖（Feature Maps）傳遞至決策單元，用于生成車輛的預(yù)期行駛軌跡。

BEV和決策兩個(gè)神經(jīng)網(wǎng)絡(luò)單元之間傳遞的是特征圖(Feature Maps)。由于這些基礎(chǔ)特征圖沒有人為定義的接口和處理過程，所以信息可以更為原始和完整地傳遞，以便于網(wǎng)絡(luò)進(jìn)行優(yōu)化和決策。

與此同時(shí)，用Feature Maps將兩個(gè)單元進(jìn)行連接，還可以以back-propagation反向傳播的方式——即通過計(jì)算最終輸出的軌跡與實(shí)際目標(biāo)之間的誤差，然后將該誤差反向傳播到?jīng)Q策和BEV單元——來進(jìn)行兩個(gè)神經(jīng)網(wǎng)絡(luò)單元的聯(lián)合訓(xùn)練和參數(shù)調(diào)優(yōu)。

黑芝麻智能表示，One Model架構(gòu)既解決了多模塊之間可能存在的信息傳遞損耗問題，又實(shí)現(xiàn)了感知和決策單元的聯(lián)合訓(xùn)練，實(shí)際效果會(huì)更佳優(yōu)秀。

黑芝麻智能團(tuán)隊(duì)還更進(jìn)一步，通過引入VLM（視覺語言大模型）和規(guī)則的概率化表征（Probabilistic Representation of Rules，以下簡稱 PRR）兩個(gè)模塊，來進(jìn)一步提升端到端系統(tǒng)決策的準(zhǔn)確性和靈活性。

VLM 模型基于開源 VLM 模型改進(jìn)而來，該模型可同時(shí)接收圖像和語言輸入信息（比如用戶的導(dǎo)航指令），然后通過 Transformer 結(jié)構(gòu)中的交叉注意力機(jī)制將視覺和語言兩種模態(tài)的信息相互關(guān)聯(lián)，從而讓模型更深層地理解當(dāng)前的場景，并以符號(hào)特征的形式，將對于場景的理解輸入到?jīng)Q策單元中。

例如，當(dāng)系統(tǒng)識(shí)別到行人在斑馬線上移動(dòng)的視覺信息，VLM 可以通過語言規(guī)則的匹配，理解這個(gè)場景是“行人在過馬路”，并且知道此時(shí)應(yīng)該停車或者減速——將這種信息傳遞給軌跡預(yù)測模塊，顯然能夠幫助其做出更加正確的駕駛決策。

除了有 VLM 子模塊的幫助，決策單元還有行車規(guī)則的概率化表征模塊（PRR）提供信息。

該模塊用于將人類的駕駛常識(shí)和交通規(guī)則轉(zhuǎn)化為自動(dòng)駕駛系統(tǒng)可理解的概率分布，再通過概率化軌跡采樣生成符合交通規(guī)則的候選軌跡，并為每個(gè)選項(xiàng)賦予相應(yīng)的概率權(quán)重。例如，在交叉路口，系統(tǒng)可以生成“等待”“緩慢通過”等符合規(guī)則的選項(xiàng)，并賦予相應(yīng)的優(yōu)先級(jí)。

此外，該模塊還包含規(guī)則的語言描述部分，將交通規(guī)則和駕駛指令編碼為語義特征，使其能夠被決策模塊理解和應(yīng)用。例如，紅燈停車或右轉(zhuǎn)讓行的規(guī)則會(huì)生成特定語義向量。

PRR輸出的兩種信息均會(huì)進(jìn)入到?jīng)Q策單元，與BEV單元輸出的特征圖、VLM輸出的場景理解特征互相融合，最終生成一條最佳的目標(biāo)行駛軌跡。

最后官方補(bǔ)充一點(diǎn)，VLM和PRR模塊本質(zhì)上是端到端系統(tǒng)的增強(qiáng)型“外掛”，它們額外引入了類人的對于場景的綜合理解能力，以及常識(shí)和交規(guī)的語義表征，從而在擴(kuò)展軌跡決策能力的同時(shí)維持了端到端系統(tǒng)的整體工作原理， 其本質(zhì)上相當(dāng)于一個(gè)功能增強(qiáng)了的One Model架構(gòu)。