近日，理想汽車宣布基于端到端及VLM視覺(jué)語(yǔ)言模型和世界模型的全新一代理想智能駕駛正式開(kāi)啟萬(wàn)人體驗(yàn)團(tuán)招募，新一代產(chǎn)品將進(jìn)入有監(jiān)督（L3級(jí)別及以下）自動(dòng)駕駛的新階段，理想汽車自動(dòng)駕駛產(chǎn)品面向車主免費(fèi)。
特斯拉是最早在智能駕駛上應(yīng)用端到端大模型的企業(yè)。今年7月份，特斯拉公司CEO埃隆·馬斯克表示，將在歐洲和中國(guó)申請(qǐng)監(jiān)管批準(zhǔn)以實(shí)施監(jiān)督下的FSD，預(yù)計(jì)在今年年底前獲得批準(zhǔn)。而今年以來(lái)，理想、小鵬等多家車企力推端到端，這一技術(shù)方案較為火熱。
信達(dá)證券發(fā)布的一份研報(bào)顯示，“端到端”是指一端輸入圖像等環(huán)境數(shù)據(jù)信息，中間經(jīng)歷類似“黑箱”的多層神經(jīng)網(wǎng)絡(luò)模型，另一端直接輸出轉(zhuǎn)向、制動(dòng)、加速等駕駛指令。與傳統(tǒng)規(guī)則驅(qū)動(dòng)的分模塊架構(gòu)相比，端到端的實(shí)現(xiàn)將帶來(lái)一系列優(yōu)勢(shì)：完全基于數(shù)據(jù)驅(qū)動(dòng)進(jìn)行全局任務(wù)優(yōu)化，具備更好、更快的糾錯(cuò)能力；能進(jìn)一步減少模塊間信息的有損傳遞、延遲和冗余，避免誤差累積，提升計(jì)算效率；泛化能力更強(qiáng)，由Rule-based算法轉(zhuǎn)向Learning-based，具備零樣本學(xué)習(xí)能力，面對(duì)未知場(chǎng)景具備更強(qiáng)決策能力。
和傳統(tǒng)的基于規(guī)則控制的智能駕駛輔助系統(tǒng)不同，端到端的自動(dòng)駕駛解決方案意味著從感知到規(guī)控的全過(guò)程都通過(guò)先進(jìn)的算法和深度學(xué)習(xí)技術(shù)進(jìn)行處理。端到端技術(shù)在自動(dòng)駕駛上的應(yīng)用，把原本感知、預(yù)測(cè)、規(guī)劃等多個(gè)模型組合的架構(gòu)，變成了“感知決策一體化”的單模型架構(gòu)。通俗來(lái)說(shuō)，過(guò)去自動(dòng)駕駛路線就好比多個(gè)人開(kāi)一輛車，而端到端技術(shù)是單人開(kāi)車，更加接近真實(shí)的人類駕駛。
“相比于以前模塊化的模型，端到端更本質(zhì)的方法是減少了各種信息的冗余。端到端的模型需要規(guī)則，有分模塊的數(shù)據(jù)和分模塊的策略任務(wù)。”理想汽車智能駕駛高級(jí)算法專家詹錕對(duì)記者表示，理想汽車的端到端本身想解決中間信息的損失，如果中間加了人為的信息消化過(guò)程，可能效率不是那么高或能力上限受到約束，所以一體化的端到端是更本質(zhì)的端到端，其訓(xùn)練難度比分模塊架構(gòu)要大，包括數(shù)據(jù)配比和訓(xùn)練方法等方面都需要深入探索和挖掘。
理想汽車的端到端模型用于處理常規(guī)的駕駛行為，從傳感器輸入到行駛軌跡輸出只經(jīng)過(guò)一個(gè)模型，信息傳遞、推理計(jì)算和模型迭代更高效，駕駛行為更擬人；VLM視覺(jué)語(yǔ)言模型具備強(qiáng)大的邏輯思考能力，可以理解復(fù)雜路況、導(dǎo)航地圖和交通規(guī)則，應(yīng)對(duì)高難度的未知場(chǎng)景。同時(shí)，自動(dòng)駕駛系統(tǒng)將在基于世界模型構(gòu)建的虛擬環(huán)境中進(jìn)行能力學(xué)習(xí)和測(cè)試。
“過(guò)去的智駕方案，不管是輕圖還是無(wú)圖，底層技術(shù)架構(gòu)都是有人為設(shè)計(jì)成分的，如果想將一年四季各種情況都跑一遍，沒(méi)有一兩年時(shí)間是不可能實(shí)現(xiàn)。所以我們迭代了端到端+VLM技術(shù)架構(gòu)，本質(zhì)上是人工智能方案。”理想汽車智能駕駛研發(fā)副總裁郎咸朋對(duì)記者表示，自動(dòng)駕駛研發(fā)的核心競(jìng)爭(zhēng)在于是否有更多更好的數(shù)據(jù)和與之配套的算力去訓(xùn)練模型。而算力和數(shù)據(jù)的獲取，需要看花多少錢、投入多少資源去做，同時(shí)需要投資算力。他透露，理想汽車當(dāng)前訓(xùn)練算力達(dá)到5.39EFLOPS，預(yù)計(jì)到2024年底將超過(guò)8EFLOPS。目前每年在訓(xùn)練算力的投入超過(guò)10億元，今年要消耗20億元。
國(guó)信證券研報(bào)顯示，當(dāng)前汽車智能化已經(jīng)具備端到端大模型的技術(shù)底層突破，國(guó)內(nèi)市場(chǎng)遠(yuǎn)期具有近3000億元的市場(chǎng)空間，智能駕駛奇點(diǎn)時(shí)刻漸近。不過(guò)，智駕領(lǐng)域需要大量的研發(fā)投入。不久前，極越汽車CEO夏一平在極越端到端AI智駕發(fā)布會(huì)上表示，200億元曾被公認(rèn)是造車的資金門檻，現(xiàn)在企業(yè)沒(méi)有500億元也做不好智駕。
“未來(lái)智能駕駛進(jìn)入到L4階段，每年數(shù)據(jù)和算力都是呈指數(shù)級(jí)的增長(zhǎng)，這意味著每年至少需要10億美金，5年之后需要持續(xù)迭代。在這樣的量級(jí)下，一家企業(yè)的盈利和利潤(rùn)不能支撐投入的話是很困難的。所以，現(xiàn)在不需要關(guān)注投入多少億做自動(dòng)駕駛，而是從