Exploring the use of ChatGPT to analyze student course evaluation comments

Kathryn A. Fuller, Kathryn A. Morbitzer, Jacqueline M. Zeeman, Adam M. Persky, Amanda C. Savage, Jacqueline E. McLaughlin
BMC Medical Education, 2024

背景
ChatGPTの登場は、医学教育において大きな変化をもたらしました。
このような生成AIは、いくつかの懸念点はあるものの、高等教育におけるポジティブな活用が増えています。学生のコース評価は、教員が学生からの定量的・定性的なフィードバックを収集し、継続的な品質向上を目指すために必要なことです。しかし、自由記述の内容は、分析するのに時間を要することが課題となっています。

研究目的
ChatGPTの分析が教員の手動分析と比較してどれほど効率的か、また精度はどうかを調査する

研究方法
ノースカロライナ大学の４人の教員、自身のコースの学生評価コメントを収集しました。プロンプトを設定し、「コースの強み」「改善点は何か」という視点で分析した。また、２つのChatGPTアカウントを通じて、同様のプロンプトで学生評価コメントを分析した。教員とchatGPTでテーマを生成し、どの程度一致するかを統計的分析を用いて評価した。具体的には、一致率を計算し、それぞれの分析手法の有効性を比較した。また、ChatGPTの分析結果は教員に提供され、AIの解釈が教育現場においてどの程度有用であるのかを評価した。また、分析に際して、時間を測定した。

結果
教員とChatGPTの間で一致率が高かったが、特にコースの強みに関するトピックで顕著であった。コース関連のトピックでは、0.71-0.82の範囲であり、コースの課題に関しては0.53-0/81の範囲で一致した。データ分析に要した時間は、教員は27.50+=15.00min、ChatGPTは10.5+-1.00minおよび12.50+-2.89minであった。

結論
ChatGPTを学生のコース評価に用いることは十分に可能であり、教員の負担軽減に有用である。将来的には、ChatGPTのようなAIツールが教育現場で広く利用されることで、教員の作業効率が向上し、教育品質の継続的な改善が期待される。

学び
自由記述のコメントに対して、ChatGPTを用いることは有効である。学生のコメントを読むことは、時に感情的負担を強いることもあるが、生成AIを用いることで、客観的にフィードバックを受け、建設的に改善に繋げることができる。この研究により、AIが教育分野における意思決定支援ツールとしての潜在能力が示された。