本站5月7日消息，今日，聯(lián)想創(chuàng)新科技大會(huì)（Tech World）以“讓AI成為創(chuàng)新生產(chǎn)力”為主題，聚焦混合式人工智能，從個(gè)人到企業(yè)，全方位展示聯(lián)想創(chuàng)新技術(shù)成果。
會(huì)上，聯(lián)想展示了其在端側(cè)算力方面的最新創(chuàng)新成果 —— “聯(lián)想推理加速引擎”。
據(jù)了解，這款由聯(lián)想、清華大學(xué)及無(wú)問芯穹聯(lián)合研發(fā)的推理引擎，是專為高效AI PC推理而設(shè)計(jì)的軟硬件協(xié)同優(yōu)化平臺(tái)，可以讓一臺(tái)普通PC的本地推理能力，媲美OpenAI去年發(fā)布的o1-mini云端模型。
“聯(lián)想推理加速引擎”通過高性能并行解碼、算子融合優(yōu)化以及異構(gòu)計(jì)算技術(shù), 實(shí)現(xiàn)了多種應(yīng)用場(chǎng)景下推理速度的大幅提升，以及功耗和內(nèi)存占用的顯著降低。
與大模型推理芯片相結(jié)合，通過硬件加速與軟件優(yōu)化的無(wú)縫協(xié)作，進(jìn)一步放大了性能提升，形成了疊加效應(yīng)。
為直觀展示 “聯(lián)想推理加速引擎”的實(shí)力，現(xiàn)場(chǎng)設(shè)置了一場(chǎng)“競(jìng)速賽”。三臺(tái)配置相同的AI PC同時(shí)解答2024年高考數(shù)學(xué)壓軸題：
初代大模型：耗時(shí)27秒，答案0分。
二代大模型：耗時(shí)26秒，答案滿分。
二代大模型 “聯(lián)想推理加速引擎”：耗時(shí)13秒，答案滿分。
這表明模型能力的提升和 “聯(lián)想推理加速引擎”對(duì)算力的提升，讓設(shè)備的預(yù)填充更為迅速、解碼速度更快、推理時(shí)間更短，同時(shí)占用內(nèi)存更少，能耗更低，設(shè)備上的 AI 能力得到了大幅提升。
聯(lián)想集團(tuán)董事長(zhǎng)兼CEO楊元慶表示，很快大家就會(huì)在即將發(fā)布的下一代 AI PC 上體驗(yàn)到 “聯(lián)想推理加速引擎”帶來(lái)的強(qiáng)大本地推理能力，其性能可以與云端大模型相媲美，但成本卻低得多。
鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。
