在汽車行業(yè),從智能座艙到智能駕駛,AI正成為SDV的「大腦」,賦予車輛前所未有的智慧與能力。誠邁科技和智達(dá)誠遠(yuǎn)打造的端側(cè)AI操作系統(tǒng)ArraymoAIOS,現(xiàn)已成功與DeepSeek融合,并適配NVIDIA Orin、Qualcomm SA8295P/SA8775P等主流車規(guī)級(jí)芯片平臺(tái),將賦能車企和一級(jí)供應(yīng)商快速開發(fā)下一代SDV所需的AI應(yīng)用,實(shí)現(xiàn)智能駕乘體驗(yàn)的升級(jí)。

ArraymoAIOS是一款專為端側(cè)AI應(yīng)用打造的操作系統(tǒng),集成了AI模型、框架、SDK及開發(fā)工具,解決了大量底層硬件適配與上層開發(fā)的工程難題。該系統(tǒng)不僅全面兼容Qualcomm、MTK、NVIDIA等主流芯片平臺(tái),還具備對(duì)大型語言模型(LLMs)和大規(guī)模多模態(tài)模型(LMMs)的高性能適配與優(yōu)化能力,可廣泛應(yīng)用于汽車、智能手機(jī)、IoT設(shè)備及具身智能等領(lǐng)域。

在汽車應(yīng)用場(chǎng)景中,實(shí)時(shí)性至關(guān)重要,尤其是語音交互、導(dǎo)航和輔助駕駛等功能的延遲會(huì)直接影響用戶體驗(yàn)。面對(duì)傳統(tǒng)操作系統(tǒng)在處理AI大模型應(yīng)用時(shí)普遍存在的資源調(diào)度效率低、響應(yīng)延遲高等挑戰(zhàn),誠邁科技基于ArraymoAIOS,在NVIDIA Orin、Qualcomm SA8295P/SA8775P等主流車規(guī)級(jí)平臺(tái)上成功實(shí)現(xiàn)了DeepSeek的本地化部署。無需依賴云端計(jì)算,用戶就能享受到更為流暢、高效的AI體驗(yàn)。

基于Qualcomm SA8295P/SA8775P的座艙中控屏

為了進(jìn)一步提升交互效率,ArraymoAIOS針對(duì)DeepSeek特性進(jìn)行了專項(xiàng)優(yōu)化。在部署過程中,采用了AWQ、GPTQ等量化技術(shù),顯著降低了DeepSeek的存儲(chǔ)需求和計(jì)算需求,同時(shí)保持高水平的推理性能。此外,ArraymoAIOS還通過引入創(chuàng)新的智能調(diào)度算法,為DeepSeek的應(yīng)用提供了高效的管理和執(zhí)行環(huán)境。該算法能夠?qū)崟r(shí)監(jiān)測(cè)并分析文本、圖像、音頻等多模態(tài)的任務(wù)負(fù)載,智能調(diào)整CPU、GPU和內(nèi)存等資源的分配策略,提升復(fù)雜場(chǎng)景下的實(shí)時(shí)響應(yīng)效率。

例如,在處理圖像任務(wù)時(shí),系統(tǒng)會(huì)優(yōu)先分配擅長處理圖像的GPU資源;而在處理文本任務(wù)時(shí),則會(huì)分配更多的CPU資源。這種靈活的資源分配策略充分發(fā)揮了汽車異構(gòu)計(jì)算架構(gòu)(CPU+GPU+TPU協(xié)同)的優(yōu)勢(shì),進(jìn)一步提升系統(tǒng)的整體性能和效率。
截至目前,ArraymoAIOS已支持Llama、Baichuan、Gemma、Yi-Chat等十余個(gè)主流模型,能夠助力車企和一級(jí)供應(yīng)商以更高效、更低成本的方式構(gòu)建自有大模型,實(shí)現(xiàn)更多車載接口的復(fù)雜控制和更智能的交互體驗(yàn)。未來,誠邁科技和智達(dá)誠遠(yuǎn)將持續(xù)迭代升級(jí)ArraymoAIOS,支持更多類型的AI大模型和多樣化應(yīng)用場(chǎng)景,打造更安全、高效和便捷的出行體驗(yàn)。