模型小型化讓一些端側(cè)場景用了起來。

“零售場景下，8B（B為十億參數(shù)）模型能做人流預(yù)測、商品檢驗、導(dǎo)購；14B可以做一些簡單報表分析；32B在報表出來后還可以給圖譜指引、數(shù)據(jù)預(yù)警；70B可以扮演區(qū)域經(jīng)理、大區(qū)經(jīng)理的角色?！?工控主板廠商吉方工控副總經(jīng)理李曉濤在近日一場分享中表示。他告訴記者，近期有很多模型已能用于公司實際運營中，且性價比高。

在大模型中，8B~70B參數(shù)并不算大。記者了解到，對模型小型化和性價比等的重視，讓端側(cè)場景的芯片方案與數(shù)據(jù)中心有一些不同。相比數(shù)據(jù)中心硬件投資向GPU等加速芯片傾斜，端側(cè)小模型對算力的要求不一定很高，在一些情況下，獨立GPU不一定是必選項。

零售場景擴大AI應(yīng)用

記者了解到，作為端側(cè)場景之一，零售場景過去幾年一直在嘗試擴大AI應(yīng)用。已經(jīng)落地的AI應(yīng)用中，最早實現(xiàn)的包括商品自動識別，隨后擴展至AI自助防損等。

據(jù)商業(yè)軟硬件廠商海石商用副總經(jīng)理李昊旻介紹，零售場景AI落地源于芯片算力冗余，“三四年前，我們就看到算力的應(yīng)用前景，根源在于觀察到CPU和GPU性能在零售場景開始出現(xiàn)冗余，單純的算賬和支付不需要太高的性能。（與此同時）AI場景開始顯現(xiàn)出來?！?/p>

據(jù)李昊旻介紹，最早被提出并解決的是生鮮識別問題，由攝像頭采集生鮮圖像并由AI識別、算出SKU（最小存貨單位）。如今，一些超市的秤能自動識別生鮮，無須人工選擇，其他應(yīng)用還包括AI 通道識別方案、AI團餐識別方案，分別用于識別超市收銀是否有異常掃碼行為、提高自選菜餐廳的收銀效率。

AI自主防損是一種更新的應(yīng)用。李昊旻表示，當前零售行業(yè)最需要解決的問題包括自助防損，有2%~3%的商品顧客未能成功完成掃描動作。防損算法、ToF傳感器可用于判斷收銀動作是否完成，有80%無意間造成的掃描異常會被識別。

商用終端設(shè)備和系統(tǒng)廠商中科英泰副總經(jīng)理管建鵬向記者舉例，某區(qū)域的龍頭超市有4臺自助收銀機，系統(tǒng)識別異常并提醒顧客后，80%的顧客會重新掃描商品，超市每日平均止損65次。若消費者不重新掃描，系統(tǒng)會通知超市防損員，人力介入后每日止損約1066元。

不過，零售業(yè)AI應(yīng)用還有一些難題待解決，例如，李昊旻稱，實現(xiàn)生鮮識別后，標準品識別在技術(shù)上還存在一定難度，業(yè)內(nèi)還在研究。

業(yè)內(nèi)認為大模型將帶來助力。英特爾中國網(wǎng)絡(luò)與邊緣技術(shù)產(chǎn)品總監(jiān)王景佳向記者表示，以往AI應(yīng)用基于計算機視覺、卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，現(xiàn)在大模型技術(shù)除了可能帶來新功能，還能幫助解決一些傳統(tǒng)AI應(yīng)用的難題，例如物品遮擋的情況下以往AI可能無法識別，現(xiàn)在識別效率有所提高。

“1.5B模型只能做簡單問答，而且反應(yīng)不夠快，容易出錯；7B、8B的模型可以做簡單的文案生成和代碼編寫，會出現(xiàn)一些錯誤，但能慢慢修正；14B有很強的能力，可以總結(jié)、匯總；32B到70B已經(jīng)達到普通人無法達到的水平了?！崩顣詽Q。

今年4月，絕味食品與騰訊智慧零售聯(lián)合發(fā)布了中國零售連鎖AI垂直大模型和三個AI應(yīng)用，可用于與顧客互動、智能排班、庫存預(yù)測等。去年，天虹股份下屬子公司則開發(fā)了百靈鳥AI大模型，可用于AI搜索推薦、AI導(dǎo)購等。

業(yè)內(nèi)還在展望更多應(yīng)用。“零售行業(yè)站在一個變革潮頭。當走進便利店，你可能會發(fā)現(xiàn)便利店里的攝像頭不再是簡單的安防工具，而是成為體驗、消費、情緒的傳感器。當貨架上的電子價簽閃爍，你可能不知道它也在經(jīng)歷一場毫米級的、非常高難度的算力革命，可能正在打價格戰(zhàn)?！?中國連鎖經(jīng)營協(xié)會副秘書長楊雯表示。

不同芯片搶奪端側(cè)市場

以零售業(yè)為例，從成本等方面考慮，業(yè)內(nèi)認為參數(shù)較小的模型適合端側(cè)應(yīng)用。

李昊旻告訴記者，不太可能在每個門店都部署很大的大模型，無論是從成本還是功耗考慮，都不可行。

端側(cè)不運行大參數(shù)模型，就不一定要配備十分高端且昂貴的顯卡，一些消費級顯卡、CPU也可以用。英特爾中國零售行業(yè)高級技術(shù)經(jīng)理夏耿告訴記者，合作伙伴在32B模型上的投入比較多，這是因為綜合考慮部署成本和應(yīng)用場景之后，發(fā)現(xiàn)32B模型在成本、效率和精準度之間有比較好的平衡。32B模型的運行可以采用4張A770顯卡的方案，如果考慮冗余，該方案在商超中可以支持前端36到48臺設(shè)備，整機成本在4萬元~5萬元之間。

李曉濤告訴記者，如果是14B模型用上顯卡，成本基本上能做到萬元級別，該公司用英特爾CPU和顯卡的方案，“我們內(nèi)部評估認為，如果現(xiàn)在可以做到萬元級別，并服務(wù)20個人的公司，這樣客戶就愿意（購買）?！?李曉濤表示，門店級的普通員工一年需要小10萬元的成本，而使用智能體，相關(guān)成本可以做到萬元級別。

在不用到獨立顯卡的情況下，夏耿表示，單張酷睿Ultra SoC可以支持14B大模型，單SoC每秒可產(chǎn)生12個token。此前英特爾的芯片已經(jīng)進行了AI計算重構(gòu)，去年發(fā)布的酷睿Ultra有NPU（神經(jīng)網(wǎng)絡(luò)計算單元）結(jié)構(gòu)，可做AI加速處理。李曉濤則告訴記者，如果不用顯卡，一些情況下CPU能直接運行7B、8B的模型。

業(yè)內(nèi)還在展望端側(cè)芯片算力繼續(xù)提高。李昊旻表示，端側(cè)設(shè)備需要部署足夠多的AI功能，并降低對網(wǎng)絡(luò)的依賴性，從算力支撐看，端側(cè)AI算力會越來越大。

CPU制程演進已在推進。記者從英特爾了解到，Intel 18A制程已進入風險試產(chǎn)階段，將于今年第四季度首度量產(chǎn)，Intel 14A則計劃在2027年進行風險試產(chǎn)。夏耿表示，采用Intel 18A工藝的Panther Lake處理器推出后，搭載Panther Lake的POS機將不僅能運行收銀ERP系統(tǒng)和交互界面，還能通過攝像頭等傳感器接入店鋪數(shù)據(jù)，用AI算法分析客流，下一步還能在POS機上運行大模型，實現(xiàn)數(shù)字導(dǎo)購助手的功能。

從端側(cè)的芯片組成看，市場研究機構(gòu)IDC中國副總裁周震剛告訴記者，未來在端側(cè)推理方面，CPU會有很大的進步，但端側(cè)究竟是以CPU為主，還是以CPU加協(xié)處理器為主，例如CPU GPU或其他處理器，現(xiàn)在還沒有很好的定論，“畢竟終端情況復(fù)雜。PC端可能是英特爾和AMD主導(dǎo)，端側(cè)手機、車載則比較復(fù)雜?！?/p>

即便都是CPU，在一些端側(cè)AI場景中，CPU架構(gòu)的組成也較為多元。以筆記本電腦為例，目前還是x86架構(gòu)的CPU較為主流。集邦分析師黃淑芳表示，不同CPU制造商的AI發(fā)展脈絡(luò)不同，預(yù)計發(fā)展最快的是微軟 x86（英特爾和AMD）的陣營，傳統(tǒng)CPU巨頭的市場資源較多，多數(shù)人則熟悉微軟系統(tǒng)，預(yù)計該陣營AI滲透較快。Arm陣營（包括蘋果、高通等）短期還需接受市場考驗，但有機會快速成長。

“未來幾年不同CPU制造商的市場占有率將會發(fā)生變化。AI興起讓大家對終端省電有所期待，比較期待Arm的功耗表現(xiàn)。隨著Windows on Arm組合的生態(tài)越來越成熟、AI應(yīng)用越來越豐富，2029年基于Arm架構(gòu)的筆記本電腦預(yù)計將有接近40%的市場份額。”黃淑芳表示。

AD：

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標記有誤，請第一時間聯(lián)系我們修改或刪除，多謝。