北大提出首个复数大模型,2比特量化,推理仅加法,可手机部署 目前大模型在推理时通常都非常耗存储和计算,这是因为权重采用FP16存储,占用空间大。北大团队首次提出iFairy方案,把模型权重量化到复数集合 {+1, -1, +i, -i}。这四个值刚好可以用2比特表示,相当于压缩到原本的1/8。 上一篇:北向资金成交额年内首次突破3000亿元 下一篇:海南发布暴雨四级预警 多地将现强降水 发表回复 您的邮箱地址不会被公开。 必填项已用 * 标注*昵称: *邮箱: 网址: 记住昵称、邮箱和网址,下次评论免输入 提交