豆包又把算力成本“打了下来” 但压力才刚刚开始

今日，字节跳动豆包大模型团队提出了全新的稀疏模型架构 UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较 MoE 架构提升2-6倍，推理成本最高可降低83%。目前，国内外大模型领