RTX 4060 跑 35B 模型，每秒 39 Token？伯克利、MIT 联手开源 FreeToken

📋总体概括

伯克利与MIT团队联合开源推理加速框架FreeToken，宣称在消费级显卡RTX 4060上以每秒39 Token的速度运行350亿参数大模型。该成果瞄准显存受限硬件跑大模型的痛点，通过优化推理流程压缩显存与计算开销，让本地部署35B级模型不再依赖昂贵的A100/H100，降低了开发者与个人用户本地运行大模型的门槛。