微软推出了其轻量级人工智能模型Phi-3Mini的下一版本，这是该公司计划发布的三个小型模型中的第一个。
Phi-3Mini测量了38亿个参数，并在相对于GPT-4等大型语言模型更小的数据集上进行训练。它现已在Azure、HuggingFace和Ollama上提供。微软计划发布Phi-3Small(7B参数)和Phi-3Medium(14B参数)。参数是指模型可以理解多少复杂指令。
该公司于12月发布了Phi-2，其性能与Llama2等更大的模型一样好。微软表示，Phi-3的性能比之前的版本更好，并且可以提供接近于比它大10倍的模型的响应。
微软AzureAI平台公司副总裁EricBoyd告诉TheVerge，Phi-3Mini与GPT-3.5等LLM一样强大，“只是外形更小”。
与大型人工智能模型相比，小型人工智能模型通常运行成本更低，并且在手机和笔记本电脑等个人设备上表现更好。TheInformation今年早些时候报道称，微软正在组建一个专门专注于轻量级人工智能模型的团队。与Phi一起，该公司还构建了Orca-Math，一个专注于解决数学问题的模型。
微软的竞争对手也有自己的小型人工智能模型，其中大多数针对更简单的任务，例如文档摘要或编码辅助。Google的Gemma2B和7B非常适合简单的聊天机器人和语言相关的工作。Anthropic的Claude3Haiku可以阅读带有图表的密集研究论文并快速总结它们，而Meta最近发布的Llama38B可以用于一些聊天机器人和编码辅助。
Boyd表示，开发人员通过“课程”对Phi-3进行了培训。他们的灵感来自于孩子们如何从睡前故事、单词更简单的书籍以及谈论更大主题的句子结构中学习。
“市面上没有足够的儿童读物，因此我们列出了3,000多个单词的清单，并要求法学硕士制作‘儿童读物’来教授Phi，”Boyd说。
他补充说，Phi-3只是建立在之前迭代所学到的知识之上。Phi-1专注于编码，Phi-2开始学习推理，而Phi-3更擅长编码和推理。虽然Phi-3系列模型了解一些常识，但它无法在广度上击败GPT-4或其他LLM—从受过整个互联网培训的LLM获得的答案与从受过整个互联网培训的LLM获得的答案有很大差异。较小的模型，如Phi-3。
Boyd表示，公司经常发现像Phi-3这样的较小模型更适合他们的定制应用程序，因为对于许多公司来说，他们的内部数据集无论如何都会较小。由于这些模型使用较少的计算能力，因此它们通常更便宜。