联想发布端侧AI新技术,让PC本地推理能力媲美 OpenAI-mini

联想在联想创新科技大会(Tech World)上,展示了端侧算力 “联想推理加速引擎”。这款由联想、清华大学及无问芯穹联合研发的推理引擎,专为高效AI PC推理而设计,是一个软硬件协同优化平台,可以让一台普通PC的本地推理能力,媲美OpenAI去年发布的o1-mini云端模型。 “联想推理加速引擎”通过高性能并行解码、算子融合优化以及异构计算技术, 实现了多种应用场景下推理速度的大幅提升,以及功耗和内存占用的显著降低。与大模型推理芯片相结合,通过硬件加速与软件优化的无缝协作,进一步放大了性能提升,形成了叠加效应。

上一篇:

下一篇:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注