https://arxiv.org/abs/2310.03780

1 本研究の学術的背景は、近年注目されている生成型AIや大規模言語モデルの教育への応用で、学術的「問い」の核心は「生成型AIがプログラミングの学習者に個別化されたフィードバックを自動生成することにより、教育効果を如何に高めることが可能か？」ということにあります。

2 本研究の目的は、生成型AIと大規模言語モデルを利用した新しいフィードバック生成手法を開発し、その性能を評価することです。学術的独自性と創造性は、学習者がプログラムのバグ修正に取り組む際のヒントをAIが生成する新たなアプローチを提案している点にあります。

3 本研究の着想は、人間のチューターが学生に対して出すプログラミングのヒントを生成型AIが自動生成できないかという課題から生まれました。近年では、生成型AIの応用領域が広がっており、特に教育の現場での活用が注目されています。一方で、生成型AIによるフィードバックの質はまだ人間のチューターに劣っており、我々の研究がこの問題解決に寄与します。

4 本研究では、GPT-4を“チューター”モデルとして、GPT-3.5を“学生”モデルとして利用する新たな手法を開発しました。GPT-4が作成したプログラミングのヒントをGPT-3.5が評価し、その結果を基にヒントの質を確保しています。この手法の有効性は、実世界のPythonプログラムのデータセットを用いて広範囲にわたって評価し、高い精度とカバレッジを達成しました。

5 本研究の有効性の検証は、3つの実世界のPythonプログラムデータセットを用いた評価によって行いました。その結果、ヒントの質について90%以上という高い正確性を達成し、さらに 70%以上のカバレッジを維持することができました。