12月18日から大学院は年末年始休暇に突入（万歳！）。欧州はじめ感染症の懸念が再拡大しているので、帰省も旅行も考えず年の瀬はパリにひきこもって論文を読んだり好きなことを調べたりする時間に当てようと思っている。

今は学習科学・認知科学・情報科学が交わる分野に興味を持って色々調べている。今回読んだ論文は以下のとおり。間違った解釈があるかもしれないので注意。

Multimodal Learning Analytics and Education Data Mining: using computational technologies to measure complex learning tasks (P. Blikstein and M. Worsley, 2016)

概要

学習者が独自性を発揮しやすいopen-endedな学習活動では、手順が体系立てられた学習形態よりも多様なインタラクションが生じる。その場合、マルチモーダルなデータ収集や機械学習による分析が有効に働くと考えられる。この総説論文では、マルチモーダルラーニングアナリティクス（MMLA）に類する研究の動向を紹介する。

新規性／優位性

教育研究では、条件統制のもとパフォーマンスを測るよりも実環境での相互作用を詳細に分析できる方が好ましい。MMLAは、映像・音声やアクセスログのみならずジェスチャーや生体信号など多様なデータを収集・分析する手法として結実することで、教育・学習における複雑なインタラクションの理解を広げることが見込まれる。

研究動向

テキスト分析

トピックモデリングやクラスタリングといった手法を用いて、学習者のアイデアや直感の変遷、各人がどのような情報を参照したか、コーパスから浮かび上がるトピックなどが解析できる。また、学習仲間に関する記述の解析は学生集団の共通点や相違点を知る上で重要な手がかりになる。

発話分析

学習者の発話の特徴（言語的、テキスト的、韻律的特徴、音声信号）から学習課題に関する習熟度を推定できる。また、音声認識技術を用いることで、読解の習熟度も推定できる。
ただし、認識精度の基盤となる言語モデルの発展が望まれる。また、教育現場における環境ノイズや複数の発話者などへの対応が課題となる。

手書き分析

学習者にとってマウスやキーボードの入力よりも手書きの方が円滑に学習できる状況は多い。その場合、手書き認識による分析が有用となる。ただし認識精度の課題あり。
また、コンピュータビジョン、複数台のカメラ、機械学習の組み合わせにより、空中での手書き動作の認識も可能である。

スケッチ分析

物体認識技術を用いることで、テキストのみならず図形等の表象も分析可能。例えば、事前に定義した形状パターンとベイジアンネットワークを用いて乱雑なスケッチから意味を抽出することができる。

行動・ジェスチャー分析

ビデオ分析にコンピュータビジョンを用いることで、学習者の行動からエンゲージメントや関心の度合いを量的に把握できる。例えば反応速度を測ることで関心の薄い学習者を推定する。
Kinectを用いたジェスチャー認識では、習熟者と初学者の手・腕の使い方の違いを比較した研究がある。

情動状態分析

情動状態（退屈、混乱など）を表すアノテーションの分類と、テスト結果や表情などとの相関を調べることで、認知過程と学習上のふるまいとの関係をより詳細に分析できる。さらに、皮膚コンダクタンスや瞳孔散大といった心理的マーカーを用いた情動状態の予測を試みる研究もある。

神経生理指標

脳波は、スキルの習熟度や問題解決力の定量化・比較に関わる認知的負荷、エンゲージメント、注意の乱れなどを測定することに使われている。

視線分析

視線の遷移や注視時間のパターンをクラスタリングすることで、成績の良い学習者の注意の払い方の特徴が明らかになった事例がある。ただし、注視と学習が直結するとはいいきれない。
他者と視覚的注意を共有するジョイントアテンションに着目し、その頻度の把握やネットワーク分析で2者間・グループ間の協調を分析する試みもある。

議論・リミテーション

多種の情報の統合

ナイーブ融合：機械学習による分類器を構築する際のラベル付与や特徴量選択。
低レベル融合：各ステップでデータを同期させ、融合後の特徴量について解析。
高レベル融合：他のデータストリームとの融合のため、1つまたは複数のデータストリームから特徴を抽出。
課題：これらの計算機的アプローチの複雑さを、学習のための実用的なアイデアや理論といかに調和させるか。

次に読む論文

実空間での行動データ取得や、MMLAから導かれる発見について、直近の事例研究を読んでみる。
Automated Tracking of Student Activities in a Makerspace Using Motion Sensor Data (G. Sung et al., 2021)