見出し画像

IDS Lecture Summary ~Methods Week~

Outline
・Interview and questionnaire (Sohela)
・Ethics for dissertation (Steven)
・Data Pattern Analysis (Gil)
・Participatory Statics (Pauline)
・Nvivo with coding (Becky/ Tabitha)
・Excel and STATA (Marco)
・Tracking Process (Shandana)
・Informal and Illegal activities (Max)
・Active Research (Erica)
・Online Survey (Miguel)

Interview and questionnaire
⇒質問と調査環境の組み立てにおいてまず初めに考えるべきは5W1H。どの対象から何を聞きたいのか、それはなぜでどのようにどこで聞き出すかを明確にしない限り、時間とリソースが限られる海外での調査に無駄が生じる。質問は事前送付しておくのがいいケース(役職付きの方など)と、質問の回答に合わせて樹形図式に問いを深めていくのがいいケース(Focus Group調査など)があるため、TPOにあった準備が必要。またインタビュアーと対象者の関係性によってOpen Questionは大きく回答が変わる可能性があるため、通訳やコーディネーターを雇う場合はあらかじめ質問の意図についての意思疎通が必要だ。講義内でも関係性が異なるメンバーとの質問演習を行ったが、やはり限られた時間内では回答内容に差が生じた。

Ethics for dissertation
⇒調査回答者がまず気になるのは自分の回答がどのように使われるかという点。チェックシートの作成&署名や調査計画書の共有は形式上マストだが、それ以上に所属のこと、Funderのことについても伝えることが信頼関係構築に必要だ。学生による調査とはいっても背後に大学・研究組織があり、それらは政府など公的機関とも密接にかかわるため、特にソーシャルパワー系への取材の際は注意が必要だ。また子供や障がい者への調査、難民や移民への聞き取りにも注意が必要で、誰に許可を取るべきで、またその行動が回答にどの程度影響するかを考慮する必要がある。

Data Pattern Analysis
⇒IBMのSPSSを使ったデータ分析。開発プロジェクトの分析は、「機能しているか否か」「どの条件の時に機能しているか」「機能した結果どのような社会変革が起きたか」の3つに大きく分けられる。それぞれ使うツールや調査方法に違いがあるが、いずれも社会統計資料を利用した量的データと数字に表れない心理上の変化や行動パターンの変化をつかむための質的データの組み合わせによって分析が行われる。研究発表や論文へのアウトプットの際にはデータ全体を使用することはあまりなく各個人のバイアスでデータを切り取り、強調して論じていくため、データの信ぴょう性に関する限定表現と説明時の論理的ストーリーの組み立てが内容の質に大きく関わる。

Participatory Statics
⇒現地調査という言葉の中にも、RCTのようなランダムサンプル調査から、Focus Group Interview, In-depth Interview, Ethnographyなどたくさんの手法が含まれる。「比較」はデータの有効さを語る上で欠かせないものだが、対象同士どこまで条件をそろえる必要があるかはアウトプットとして求められるレベルによって違い、Supervisorや上司、ドナーといった上位意思決定者と事前に細かく擦り合わせる必要がある。クオリティを求めるためには調査期間や選択手法の質も上げる必要があるため、資金面での交渉も重要なファクターであり、ここで調査レベルが決まることも多い。ターゲティングも含めて、調査プロジェクト自体の有効性・効率性・妥当性・持続性・インパクトを自分自身理解し、かつ関係者に伝えられる状態になるのが望ましい。

Nvivo with coding
⇒質的量的データ両面をまとめられるツールであるNvivo。単語や数字に意味を持たせ、それらを条件に応じてまとめる行為をここでCodingと呼び、演習ではあるプロジェクトでの住民への聞き取り調査スクリプトをツールに入れ、性別・年齢・経歴・出身地などの条件で自動で回答を振り分け、頻出単語や周辺ワードの傾向分析などを行った。めちゃめちゃ使いこなせたら便利なツールだけど重たい。。文章から条件に合わせて回答を数字化することで、その後ExcelやSTATAなどで視覚化することにもつながり、研究を効率的に視覚化することができるという点でも非常に有効なツールだと感じた。

Excel and STATA
⇒使い慣れているツールではあるが、気を付けるべきはその調査がTheory buildingなのかTheory TestingなのかTheory sharingなのかによって見せ方が変わること。グラフや図形の作成に時間をかけるだけでなく、そのデータ範囲についての説明を詳しく補強することがデータの信頼性につながる。またLiterature review, primary data, secondary dataによってもデータの切り取りに際して注意が必要になる。特に標準偏差、中央値、平均値などは同じ結果でも異なる印象を与えることが容易であるため、「見せ方」を意識したデータ管理と表現が必要だ。

Tracking Process
⇒今学期Impact evaluationでやったInputやActivityからの予測とは真逆のプロセスを取り、結果から逆走して何がトリガーでこの結果が生まれたのかを組み立て、あげられていた選択肢の中から相関が強いものを抽出する。授業内ではシャーロックホームズのストーリーを例に説明を受け、根拠証拠の強さの証明のために確かな背景知識が必要なことを実感できた。開発プロジェクトの中ではモニタリング評価時に登場する手法で、プロジェクトの収束・拡大・改善を考える際の取捨選択のために利用される考え方。出現した結果に対しての必要条件、十分条件を洗い出し、理論とケースをメカニズムに落とし込む役割が求められる。

Informal and Illegal activities
⇒反政府組織や市民団体の調査をする際に必要なマインドセットとプロの調査者たちがとっているテクニックについての解説。ニュートラルな立ち位置であることは重要だが、パワーグループと対立する主張と利益の中でどのようなPathwayや妥協点を見出し、先に進んでいくかという開発学者としての興味を前面に出し過ぎず、真摯に寄り添い聞く姿勢を忘れないことが重要だ。具体的には調査対象者だけでなく、コミュニティや政府関係者、ドナーといった全方向への配慮と還元を追求していくことが重要。長期的な関係構築が得られるデータの質量につながることから、自らの立ち位置を状況に合わせてコントロールしていくスキルが求められる。

Active Research
⇒British Library of Development Studiesを訪問し1960年代~90年代の各国から取り寄せられた貴重な文献を閲覧した。基本的にイギリスが旧宗主国として影響力を持った国々の独立、発展への流れを取り扱った内容が多く、ハードデータならではのキーワード・時期・テーマによる相関でたくさんお類似データが見つけられる点が学びであった。特にこの年代だと現在とは頻出されるワードが異なる(例えばGenderというワードで文献を探すのは難しいが、Family, Mother, Informal worker, house workなどの単語に着目するとGenderニュアンスの研究にヒットする)ことも大きな発見で、今後参考文献を探すときに必要な知識であった。

Online Survey
⇒オンラインサーベィは多数のデータを効率的に取得する際に有用なツールで、現代社会では利用満足度調査等で幅広く使われている。その一方、confirmation bias/negative evidence(Selection) bias/ explanation biasの3大バイアスは避けることができず、特に設問と形式設定に注意が必要だ。二項対立型(二者択一)、複数選択型(単一選択か複数選択か)、リッカート尺度(中立的な回答が可能)、マトリックス(無回答が可能、複数の質問と選択をカバーする)、オープンエンドの5つを組み併せて複雑なシナリオを想定して順番を組んでいくことが修士以上の研究では求められる。また無回答を避けるため、Sampling bias, order-effect bias (anchoring, priming), acquiescence bias, social desirability biasなど回答者心理に沿った配慮が必要で、短く簡潔に、かつ要点を抑えた設問構築が必要だ。まずはTestとして少人数や身近な調査者に回答してもらいその傾向が自分の望むアウトプットにふさわしいかを見極め、改良をしていく作業をするべきとのこと。

この記事が気に入ったらサポートをしてみませんか?