斯坦福大学研究人员推出的可以在手机端跑的大模型 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。

20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopusv2 比 Llama7B+RAG 方案快 36 倍。它的推出，标志着设备端 AI 智能体时代的来临！

Octopus v2的设计独特之处在于其函数性 token 策略，使其能够实现与 GPT-4相当的性能水平，同时大幅提高推理速度，超越基于 RAG 的方法，对边缘计算设备特别有利。模型在生成单独的、嵌套的和并行的函数调用时表现优异。为了训练该模型，研究团队采用了高质量数据集，并使用 Google Gemma-2B 作为预训练模型框架。训练过程中采用了完整模型训练和 LoRA 模型训练两种方法，展现了 Octopus v2在推理速度和准确性方面的优异表现。

在基准测试中，Octopus v2表现出卓越的推理速度，比 Llama7B + RAG 解决方案快36倍，在准确率上也超越了其他方案。这种效率和性能的提升归功于 Octopus v2的函数性 token 设计，使其成为端侧设备上极具竞争力的 AI 智能体。

论文地址:https://arxiv.org/abs/2404.01744