Microsoft Researchのブログによると、Phi-2は小型言語モデル（SLM）の新しいシリーズの一部で、2.7億のパラメーターを持ち、複雑なベンチマークで13億以下のパラメーターを持つ基本言語モデルと比べて卓越した推論と言語理解能力を示しています。

このモデルは、25倍以上大きなモデルに匹敵するか、それを上回る性能を発揮します。Phi-2の開発においては、「教科書品質」のデータに焦点を当てた高品質な訓練データの使用が重要であり、合成データセットや教育的価値が高いウェブデータを混合して使用しています。

また、1.3億のパラメーターを持つモデルPhi-1.5の知識を2.7億のパラメーターのPhi-2に移行することで、訓練の収束を早め、ベンチマークスコアを向上させました。Phi-2はトランスフォーマーベースのモデルで、NLPとコーディング用の合成およびウェブデータセットの混合からなる1.4兆トークンで訓練されています。訓練は96個のA100 GPUを使用して14日間かかりました​​。