[汽車之家 資訊]  4月12日,，蔚來(lái)NOMI GPT大模型正式上線,，同步推送給搭載Banyan·榕 蔚來(lái)智能系統(tǒng)的車型,。據(jù)了解，此次NOMI升級(jí)了基于全新技術(shù)架構(gòu),，為NOMI量身打造NOMI GPT端云多模態(tài)大模型,，包含自研多模態(tài)感知、自研認(rèn)知中樞,、情感引擎,、多專家Agent，能夠打通蔚來(lái)產(chǎn)品、服務(wù),、社區(qū),，提供更高效、愉悅的AI服務(wù),。

　　據(jù)官方介紹,，本次升級(jí)帶來(lái)了眾多基于大模型能力的新功能，NOMI現(xiàn)在可以回答關(guān)于科學(xué),、歷史,、影視等不限領(lǐng)域的百科知識(shí)，提供富有情感的連續(xù)對(duì)話,，還能根據(jù)用戶的簡(jiǎn)單指令,，智能生AI用車場(chǎng)景、氛圍燈組合以及呈現(xiàn)獨(dú)有的NOMI表情等,。

『新一代車載人工智能NOMI技術(shù)框架』

　　NOMI GPT端云多模態(tài)大模型,，包括自研的端云融合架構(gòu)、多模態(tài)感知,、認(rèn)知中樞,、情感引擎、記憶能力,、NOMI GPT Agents(NIO Agents,，User Agents，三方Agents)等,，能夠靈活調(diào)用第三方 API,，搭建AI Agent，打通蔚來(lái)產(chǎn)品,、服務(wù),、社區(qū)，提供更高效,、愉悅的AI用車體驗(yàn),。

　　同時(shí)，讓NOMI具備“看得見(jiàn),，認(rèn)得出”“聽(tīng)得到,，聽(tīng)得懂”“知冷熱，有觸感”等能力,，同時(shí)做到賬號(hào)隔離,，敏感信息不出車，車載通信端到端加密,，保障用戶隱私安全,。據(jù)官方介紹,，蔚來(lái)自研的端側(cè)多模態(tài)感知，擁有數(shù)十億參數(shù),，融合了圖像（視覺(jué)）,、音頻（聽(tīng)覺(jué)）、車身傳感器（觸覺(jué)）等多模感知,，并像人類一樣，能將多維度感知用自然語(yǔ)言描述,，從而更全面的感知艙內(nèi)外的人和世界,，提供更懂你、更高效,、更保護(hù)隱私的智能體驗(yàn),。基于端側(cè)多模感知,，NOMI可以像朋友一樣,，看見(jiàn)你的物品、著裝,、狀態(tài),，甚至艙外的車輛、樓宇,、動(dòng)物植物,，進(jìn)而提供更懂你的服務(wù)、更有趣的溝通,。值得一提的是,，端側(cè)多模態(tài)感知內(nèi)部測(cè)試中，預(yù)計(jì)今年內(nèi)上車,。

　　此外,，NOMI將擁有更高效的信息認(rèn)知能力，能在海量信息源中精準(zhǔn)判斷用戶意圖與需求,，無(wú)縫調(diào)度大模型架構(gòu)內(nèi)組件,，實(shí)現(xiàn)“領(lǐng)會(huì)用戶意圖有默契，執(zhí)行夠聰明,，靈活不打擾”的優(yōu)質(zhì)用車體驗(yàn),。蔚來(lái)自研的端云一體的認(rèn)知中樞，能夠根據(jù)多維感知信息,，通過(guò)推理分析形成復(fù)雜任務(wù)的處理能力,，讓 NOMI真正成為貼心可靠的助手。認(rèn)知中樞集成了行業(yè)最全知識(shí)庫(kù),，能夠從容調(diào)度執(zhí)行各種任務(wù),，回答各種問(wèn)題,。

　　中樞包括中控分發(fā)，多模拒識(shí),，跨域繼承&跳轉(zhuǎn),，多Agent決策幾個(gè)部分；其中包含中控分發(fā)：NOMI會(huì)根據(jù)用戶所說(shuō)的內(nèi)容,，結(jié)合對(duì)話上下文,、感知以及狀態(tài)信息，智能地判斷調(diào)用任務(wù)型交互,、問(wèn)答閑聊,、用車助手等，同時(shí)也能支持語(yǔ)義創(chuàng)建完整的快捷場(chǎng)景,；多模拒識(shí)：依據(jù)文本,，音頻以及圖像信息綜合決策是否是在和NOMI交互，目標(biāo)是實(shí)現(xiàn)用戶在和NOMI交互時(shí)要有回復(fù),，用戶在和車?yán)锲渌�人聊天時(shí)NOMI不插嘴,；跨域繼承&跳轉(zhuǎn)：結(jié)合用戶長(zhǎng)上下文信息，幫助NOMI GPT靈活地在百科聊天以及任務(wù)中去做上下文理解及指代消解,；多Agent決策：在前置分發(fā)信息不足無(wú)法明確時(shí),，調(diào)用多個(gè)Agent，根據(jù)前置信息以及Agent輸出信息最終決策給用戶的返回內(nèi)容,。蔚來(lái)首創(chuàng)了模態(tài)內(nèi)外多維度對(duì)比學(xué)習(xí)技術(shù)（Interspeech 2023）,，并且首次將其工程化運(yùn)用于NOMI對(duì)話系統(tǒng)中，包括多模拒識(shí)和調(diào)度分發(fā),，最終使得拒識(shí)得誤識(shí)別率和誤拒識(shí)率均控制在2%以內(nèi),，調(diào)度分發(fā)單輪準(zhǔn)確率達(dá)到98%+，長(zhǎng)距離多輪分發(fā)準(zhǔn)確率達(dá)到95%+,。

　　此外,，NOMI將擁有獨(dú)有情感引擎，其是NOMI實(shí)現(xiàn)擬人交互的關(guān)鍵,，通過(guò)與用戶長(zhǎng)期溝通與陪伴,、記憶、學(xué)習(xí),，實(shí)現(xiàn)有個(gè)性的成長(zhǎng),，讓NOMI不只是一個(gè)冰冷的“助手”，更是懂你的情感伙伴,。同時(shí),，關(guān)于記憶方面，NOMI的記憶能力包括短期記憶和長(zhǎng)期記憶,，短期記憶可以讓NOMI記住用戶最近在聊的話題,、用戶之前提到人和物,，長(zhǎng)期記憶讓NOMI能夠記住用戶和家人朋友，記住用戶的喜好,，記住和用戶在一起點(diǎn)點(diǎn)滴滴,。值得一提的是，情感引擎能夠幫助NOMI更快的學(xué)習(xí)成長(zhǎng),，通過(guò)實(shí)時(shí)反饋,、事后反思、人為訓(xùn)練等方式,，不斷變得更加聰明,，不斷掌握新技能和新知識(shí)。情感引擎也在讓NOMI有更獨(dú)特的人設(shè),，包括性格、三觀,、夢(mèng)想等,，讓NOMI的每一句對(duì)話、每一個(gè)表情,，都符合NOMI的基本人設(shè),，但也會(huì)隨著陪伴時(shí)間的增長(zhǎng)，而潛移默化地和用戶更加契合,。

　　在感知,、認(rèn)知、決策等方面,，官方將采用十億級(jí)參數(shù)模型,，以毫秒級(jí)的速度響應(yīng)用戶的訴求。同時(shí)也有百億千億級(jí)參數(shù)的通用生成模型,，以秒級(jí)響應(yīng)速度,，作為NOMI開(kāi)放域知識(shí)問(wèn)答、復(fù)雜邏輯推理能力的支撐,。

　　此外,，NOMI GPT將擁有交互視窗，官方為NOMI GPT打造全新交互界面,，可更加靈動(dòng)的展示多種類型的生成內(nèi)容,。具體為思考狀態(tài)：新增‘思考中’、‘生成中’兩種狀態(tài),，NOMI思考狀態(tài)一目了然,；標(biāo)題展示：支持標(biāo)題序號(hào)和加粗樣式。試試說(shuō)「推薦5個(gè)北京適合遛娃的地方」,；表格展示：支持表格展示樣式,，試試說(shuō)「把周杰倫每張專輯的發(fā)布時(shí)間列個(gè)表格給我」,；關(guān)聯(lián)推薦：在生成結(jié)果下方，會(huì)展現(xiàn)更多關(guān)聯(lián)推薦的問(wèn)法,；停止生成：可隨時(shí)說(shuō)「停止生成」或「別說(shuō)了」等,，來(lái)終止NOMI GPT生成。

　　NOMI知識(shí)豐富度與推理能力升級(jí),，為用戶解答疑惑,、拓寬視野。其中,，NOMI支持包括科學(xué),、歷史、文學(xué),、藝術(shù),、影視等不限領(lǐng)域的百科知識(shí)問(wèn)答；支持景點(diǎn)推介,、游玩攻略,、行程建議等出行場(chǎng)景問(wèn)答；提升理解,、推理與創(chuàng)作能力，能夠進(jìn)行學(xué)習(xí),、創(chuàng)作,、咨詢等個(gè)人問(wèn)答等。

　　值得一提的是,，此次官方針對(duì)NOMI表情互動(dòng)體驗(yàn)也進(jìn)行升級(jí),，包含精準(zhǔn)表情：增加更多趣玩表情互動(dòng)指令。比如「做個(gè)鬼臉」,、「看蝴蝶」,、「吹蒲公英」、「吹彩色紙屑」,、「摸小狗」,、「看流星」、「數(shù)星星」等,，可精準(zhǔn)觸發(fā)對(duì)應(yīng)的表情,；支持任意描述的表情指令「做一個(gè)xx的表情」，或者「表演一個(gè)xx的樣子」,，提供趣味回復(fù)和靈活匹配的表情,。比如「做一個(gè)中了大獎(jiǎng)的表情」、「做一個(gè)給老婆表白的表情」,、「表演一個(gè)蝙蝠俠的樣子」,；支持表情九連拍,，可以通過(guò)「你有哪些表情」觸發(fā)一連串的表情表演。

　　當(dāng)然,，在氛圍營(yíng)造方面,，NOMI支持營(yíng)造任意的氛圍。只需要說(shuō)「來(lái)個(gè)XX的氛圍」,，NOMI會(huì)基于大模型強(qiáng)大的推理能力,，在16,777,216種氛圍燈搭配中，找到最適合用戶表達(dá)的氛圍搭配,。比如：場(chǎng)景氛圍：「來(lái)個(gè)二人世界的氛圍」「調(diào)成哄娃睡覺(jué)的氛圍」「來(lái)個(gè)全家去春游的氛圍」,；心情氛圍：「來(lái)個(gè)元?dú)鉂M滿去上班的氛圍」「來(lái)個(gè)加班很晚很疲憊的氛圍」；世界氛圍：「營(yíng)造一個(gè)北極光的氛圍」「來(lái)個(gè)法蘭西的氛圍」「來(lái)個(gè)上海的氛圍」,。

　　在其它方面,，NOMI支持查詢車輛信息、用車知識(shí),、指示燈等,，幫助新老用戶更深入的了解和使用車輛。車輛信息查詢：「我這輛車有多長(zhǎng)」「ET7和ET5誰(shuí)更寬」「這輛車涉水深度是多少」,；用車知識(shí)查詢：「兒童座椅怎么裝」「怎么重啟車機(jī)」「發(fā)生了剮蹭怎么辦」；指示燈查詢：「儀表上有個(gè)紅圈里面有個(gè)P是啥」「儀表有個(gè)小旗子邊上有個(gè)加號(hào)是啥」「儀表有個(gè)綠色小蝴蝶是什么意思」,。

　　跟隨245 NOMI應(yīng)用更新上線全新AI場(chǎng)景生成,，包含NOMI支持通過(guò)自然語(yǔ)言，一句話實(shí)現(xiàn)場(chǎng)景任務(wù)創(chuàng)建,，在千量級(jí)車輛原子能力中,，組合出使用情境，貼合用戶駕乘習(xí)慣的方方面面,。例如：行車顧問(wèn)：支持日常通勤,、行車準(zhǔn)備、離車設(shè)定等情境下的用車習(xí)慣設(shè)定,，如：「工作日早上我上車就自動(dòng)導(dǎo)航去公司,，把熱點(diǎn)打開(kāi)，空調(diào)調(diào)到23度,，然后播放NIORadio資訊充電站」等,。關(guān)于該品牌更多信息，我們也將持續(xù)關(guān)注,。（編譯/汽車之家 周易）

查看同類文章：

企業(yè)動(dòng)向

電動(dòng)車車聞

更多精彩內(nèi)容：

云車展

>>汽車之家車聞-快速真實(shí)的報(bào)道 深入犀利的點(diǎn)評(píng)<<