2023 年開始，大模型上車，幾乎成為了所有車企緊迫的必修課。
當(dāng)下智能汽車主要的賣點(diǎn)，已經(jīng)轉(zhuǎn)移到自動(dòng)駕駛和智能座艙上。由智駕芯片和座艙芯片支撐的智駕系統(tǒng)和智能座艙，成為中國車企塑造用戶體驗(yàn)的王牌。而比起自動(dòng)駕駛，智能座艙的升級競賽更緊迫，更具可行性，落地效果立竿見影。
2024 年 9 月，面壁智能成為 TINNOVE 梧桐科技芯算一體 AI 座艙方案中端側(cè)大模型重要合作伙伴，以 MiniCPM 車載多模態(tài)大模型實(shí)現(xiàn)艙駕協(xié)控相關(guān)的功能控制。這也是面壁 MiniCPM 端側(cè)多模態(tài)模型首次支撐汽車智能座艙的系統(tǒng)底座。
此次面壁智能的合作方梧桐科技，是國內(nèi)最早布局智能空間領(lǐng)域的科技公司，為中國汽車行業(yè)提供標(biāo)桿性的整合產(chǎn)品和解決方案，目前已與 10 余家主機(jī)廠伙伴，合作超過 100 余款各類車型，如奧迪 A3、奧迪 A7、奇瑞捷途 X70、長安 CS75 PLUS、長安啟源 A07 等，覆蓋自主品牌、合資品牌、豪華品牌，產(chǎn)品裝機(jī)量已超過三百萬輛，市場遼闊！
MiniCPM端側(cè)多模態(tài)模型首“上車”
如果將智能汽車視為新一代“智能終端”，智能座艙是汽車終端全新的“交互界面”，大模型在智能座艙中起到的關(guān)鍵作用，不僅僅是服務(wù)感官極致舒適的智能化駕乘空間，也正在創(chuàng)造我們與汽車的一種全新關(guān)系。
1.從傳統(tǒng)固定用詞的指令交互、語音助手的被動(dòng)喚醒，向更加主動(dòng)、貼近自然語言“口語會(huì)話”，MiniCPM 顯著提升了座艙和乘客之間的交互能力。
MiniCPM 端側(cè)模型發(fā)揮復(fù)雜意圖理解、模糊語義理解、上下文記憶的強(qiáng)大能力，在“人車交互”的多輪對話、識(shí)別準(zhǔn)確率、復(fù)雜語音命令、自動(dòng)語音糾錯(cuò)上，達(dá)到了相當(dāng)高的可靠性和交互流暢度。
MiniCPM 支持更復(fù)雜、更自然的多輪對話，比如“我想去離這里最近的星巴克，但是路上要經(jīng)過一個(gè)加油站，可以順便加油嗎？”，理解用戶表達(dá)中的歧義和不確定性。當(dāng)用戶說“有點(diǎn)餓了”，大模型可以根據(jù)上下文推斷用戶可能想吃的是什么，并提供相應(yīng)的建議。同時(shí)，對話過程保持連貫性，避免重復(fù)提問。
2.學(xué)習(xí)車內(nèi)車外多模態(tài)數(shù)據(jù)，MiniCPM 以數(shù)據(jù)驅(qū)動(dòng)場景，基于用戶習(xí)慣自動(dòng)響應(yīng)，乃至提供主動(dòng)服務(wù)。
加入 MiniCPM 的 AI 座艙方案包括「知識(shí)查詢」和「人-車-環(huán)境感知融合」的多模態(tài)增強(qiáng)理解模塊。比如車載屏幕理解與控制、自動(dòng)提醒用戶，MiniCPM 結(jié)合指令控制屏幕進(jìn)行操作，無需第三方應(yīng)用的數(shù)據(jù)集成。
車內(nèi)，全場景識(shí)別能力大幅提升，包括精準(zhǔn)的危險(xiǎn)駕駛、疲勞駕駛識(shí)別，座艙內(nèi)場景識(shí)別，音樂、氛圍燈、乘客情緒、人員關(guān)系、兒童遺留識(shí)別，MiniCPM 根據(jù)場景和人物識(shí)別觸發(fā)操作建議。
車外，全場景識(shí)別能力也大幅提升，包括提升哨兵模式識(shí)別、判斷和交互能力，街景、建筑（停車場、超市、加油站等）識(shí)別能力，從而自動(dòng)提醒，輔助導(dǎo)航。
智能座艙端側(cè)大模型時(shí)代到來
IHS Markit 數(shù)據(jù)統(tǒng)計(jì)，2023 年中國市場座艙智能配置水平的新車滲透率超 48%，到 2025 年滲透率預(yù)計(jì)能夠超過 75%。智能座艙的大范圍普及和高速增長，已經(jīng)是大模型必然參與的落地場景和巨大商業(yè)化市場。
早有行業(yè)人士統(tǒng)計(jì)，相比智能手機(jī)配備的 10 多個(gè)傳感器，一輛真正的智能汽車，各類傳感器數(shù)量高達(dá)數(shù)百個(gè)，可以控制的權(quán)限和實(shí)現(xiàn)的復(fù)雜功能，也遠(yuǎn)非智能手機(jī)可比。智能汽車交互方式多樣，時(shí)間固定，粘性強(qiáng)，多模態(tài)數(shù)據(jù)規(guī)模大，融入了人際互動(dòng)的移動(dòng)空間。大模型在這種復(fù)雜傳感器、多種交互和功能、具備社會(huì)屬性的移動(dòng)空間里，天然能夠重新組織、協(xié)調(diào)、梳理、關(guān)聯(lián)，將其整合成為一個(gè)高度智能的服務(wù)整體。
通過語音和汽車交流，智能座艙基于大模型可以自動(dòng)制作、控制、定向生成符合用戶情緒偏好的音樂、氛圍燈、影視內(nèi)容，創(chuàng)造“隨心百變”的智能空間?；诘谌椒?wù)接入、場景定制、多模態(tài)數(shù)據(jù)學(xué)習(xí)、行為預(yù)測等核心能力，實(shí)現(xiàn)個(gè)性化體驗(yàn)，讓“用戶自主定義汽車”，“一輛汽車有什么樣的功能和體驗(yàn)，用戶來提要求，大模型來控制和生成”。
情感座艙、開放而豐富的服務(wù)生態(tài)、智能生成內(nèi)容的全新體驗(yàn)，凡此種種，大模型將為新汽車帶來交互智能與服務(wù)智能的深刻變革。
而端側(cè)多模態(tài)模型，參數(shù)尺寸足夠小巧，能有效運(yùn)行在有限芯片算力和內(nèi)存上，覆蓋高中低各種檔次座艙算力芯片，盡量做到向前和向后兼容，大大加速智能座艙的市場滲透。
端側(cè)模型不存在指令的網(wǎng)絡(luò)延遲，斷網(wǎng)和弱網(wǎng)環(huán)境也完全不影響使用，隧道、密集建筑、偏遠(yuǎn)戶外等場景也能全時(shí)域和全地域適應(yīng)。再加上端側(cè)模型數(shù)據(jù)完全存儲(chǔ)設(shè)備本地車內(nèi)環(huán)境，滿足個(gè)人用戶最關(guān)心的隱私保護(hù)和數(shù)據(jù)安全需求。
高效端側(cè)模型，與智能座艙，其實(shí)絕配！
今年以來，面壁智能推出的 MiniCPM 系列端側(cè)模型，因極致高效而蜚聲全球，一次次刷新端側(cè)模型的性能極限。伴隨著對大模型知識(shí)密度的極致追求，面壁智能推出了多個(gè)不同參數(shù)尺寸的高效端側(cè)模型，包括基座模型和多模態(tài)模型，不斷優(yōu)化模型在不同算力芯片、內(nèi)存硬件上的流暢運(yùn)行、部署，目前已在PC、手機(jī)、平板、VR/AR可穿戴設(shè)備、機(jī)器人等多個(gè)終端實(shí)際運(yùn)行。面壁智能成為 TINNOVE 梧桐科技端側(cè)大模型合作方，也意味著面壁 MiniCPM 端側(cè)模型進(jìn)入了全新的應(yīng)用領(lǐng)域！
