見出し画像

機械学習アプリWekaを使ってみる

ブラックコーヒー

前書き

少子化に突入した大学の学生募集はいまやデジタルマーケティングを導入が必須です。これからの学校広報、特に募集広報にはデータに基づくマーケティングが必要なのですが、資料請求やオープンキャンパスなどのイベントの受験生データは、かなりありますし、学校基本調査をはじめ媒体社ごとにオープンなデータもあります。しかし、多くの大学で、これらのデータは多額の広報・広告費用を使って集められたにもかかわらず、互いに連携されておらず宝の持ち腐れの状態にあります。

CRM（カスタマー・リレーションシップ・マネジメント）とベイズ統計学手法による学生募集が私たち株式会社シンクアップのサービスの柱です。2017年12月に大学広報の職員を辞めて仲間で起業しました。
参考：https://shinken-ad.co.jp/between/backnumber/pdf/2016_4_tokushu08.pdf

今回はオープンソースのデータマイニング、機械学習のフレームワークであるWekaを使って、大学が持っている学生データを使って、データの解析や因果推論をやってみます。どこの地域を狙えばいいか、どのくらいのランクの高校を狙えばいいのか、いつ、どのようなアプローチをすればいいのか、どのような広告が有効か、入試ごとの歩留まりの予測、競合大学の分析などを目指します。さらに、その結果から、中長期の大学改革、入試改革の施策を考えます。

Wekaについて

Weka（Waikato Environment for Knowledge Analysis）は、データマイニングと機械学習のタスクに広く使用されるソフトウェアスイートです。ニュージーランドのワイカト大学の機械学習グループによって開発され、オープンソースとして提供されています。WekaはJava言語で書かれており、その利便性と機能の豊富さから、教育、研究、業界で広く使われています。

主な特徴

  1. データ前処理ツール: Wekaには、データをクリーニング、選択、変換するための多くのオプションが含まれています。

  2. 機械学習アルゴリズム: 分類、回帰、クラスタリング、関連規則学習など、多くの機械学習アルゴリズムを実装しています。

  3. グラフィカルユーザーインターフェイス: WekaのExplorerは初心者にも使いやすいインターフェイスを提供し、データ分析のプロセスを視覚化します。

  4. コマンドラインインターフェース: 上級ユーザー向けに、より柔軟な操作を可能にするコマンドラインインターフェイスも提供しています。

  5. 拡張性: WekaはJava APIを通じて拡張可能であり、ユーザーが独自のアルゴリズムやデータ前処理方法を統合することができます。

  6. 多様なデータ形式のサポート: Wekaは主にARFF（Attribute-Relation File Format）形式を使用しますが、CSVなど他のフォーマットもサポートしています。

使用例

  • 教育: Wekaは機械学習やデータマイニングを学ぶ学生にとって理想的なツールです。直感的なGUIを通じて、さまざまなアルゴリズムの効果を簡単に観察できます。

  • 研究: 研究者はWekaを使用してデータ分析を行い、新しい機械学習アルゴリズムを開発・テストすることができます。

  • 業界応用: ビジネスや産業界では、顧客のセグメンテーション、販売予測、リスク管理などにWekaを利用することができます。

Wekaはその汎用性とユーザーフレンドリーなインターフェイスにより、機械学習とデータマイニングの分野で広く採用されています。また、無料かつオープンソースであるため、多くのユーザーがアクセスしやすいのも大きな利点です。
Wekaの使い方



Weka（Waikato Environment for Knowledge Analysis）は、データマイニングや機械学習のタスクに使用される人気のあるソフトウェアスイートです。このツールはJavaで書かれており、データ前処理、分類、回帰、クラスタリング、関連規則学習などの機能を提供しています。

Wekaを使用する基本的なステップは以下の通りです：

  1. Wekaのインストール: 公式ウェブサイトからWekaをダウンロードし、インストールします。

  2. データの準備: WekaはARFF（Attribute-Relation File Format）形式のデータファイルを使用します。CSVファイルなど他の形式のデータはWekaでARFFに変換できます。

  3. Wekaの起動とインターフェイスの概要: Wekaを起動すると、さまざまなオプションが含まれるメインウィンドウが表示されます。これらのオプションにはExplorer, Experimenter, KnowledgeFlow, Simple CLIなどがあります。

  4. データの読み込み: Explorerを使用する場合、Preprocessタブからデータファイルを開きます。

  5. データの分析と前処理: データを読み込んだ後、不要な属性を削除したり、データを変換したりすることができます。

  6. モデルの選択とトレーニング: Classifyタブでは、さまざまな機械学習アルゴリズムから選択し、モデルをトレーニングできます。

  7. 評価: モデルをトレーニングした後、データセット上でモデルを評価し、そのパフォーマンスを確認できます。

  8. 結果の解釈と使用: 得られた結果を解釈し、必要に応じてさらなる分析を行います。

Wekaのインストール

Wekaをインストールするプロセスは比較的簡単です。以下はWekaをインストールするための一般的なステップです：

  1. Wekaのダウンロード:

    • Wekaの公式ウェブサイト（http://www.cs.waikato.ac.nz/ml/weka/）にアクセスします。

    • 「Downloads」セクションに移動し、使用しているオペレーティングシステム（Windows、Mac、Linuxなど）に適したバージョンを選択します。

  2. インストーラーの実行:

    • ダウンロードしたインストーラーファイル（通常は `.exe`（Windowsの場合）、`.dmg`（Macの場合）、または`.zip`/`.tar.gz`（Linuxの場合））を実行します。

    • インストールプロセスが開始されます。画面の指示に従って進めてください。

  3. インストールオプションの選択:

    • インストーラーがインストールするコンポーネントを選択する画面を表示する場合があります。通常、デフォルトのオプションで問題ありません。

  4. インストール場所の指定:

    • インストーラーは、Wekaをインストールする場所を選択するように求めることがあります。特に理由がない限り、デフォルトの場所で構いません。

  5. インストールの完了:

    • インストールが完了すると、終了するオプションが表示されます。インストールが正常に完了したことを示すメッセージが表示されることもあります。

  6. Wekaの起動:

    • インストールが完了したら、Wekaを起動してみてください。デスクトップのショートカット、スタートメニュー、またはインストールディレクトリからWekaを見つけて実行できます。

  7. Javaの確認:

    • WekaはJavaで動作するため、Java Runtime Environment（JRE）がシステムにインストールされている必要があります。Wekaのインストールプロセス中にJavaがインストールされていない場合は、インストーラーがJavaのインストールを促すことがあります。

Wekaを使った分析、推論がうまく動きだしたら、その先に最先端のAI因果推論にチャレンジしようと考えています。それがコーザルAIです。日本ではまだあまり使われていないDeepCausalityというフレームワークがありますので、それを学んでみようと思います。

因果推論に関する補足：コーザルAI（Causal AI）について

コーザルAI（Causal AI）は、因果関係を理解し、予測や意思決定プロセスに組み込むことに重点を置いた人工知能の一分野です。伝統的なAIや機械学習が主に相関関係に基づいてデータを分析するのに対し、コーザルAIは「なぜ」や「どのように」といった因果関係を明らかにしようとします。

コーザルAIの主な特徴としては、以下のような点があります：

  1. 因果関係の発見: コーザルAIは、データから因果関係を特定しようと試みます。これにより、単なる相関関係を超えた深い洞察が可能になります。

  2. 予測の向上: 因果関係を理解することで、予測の精度が向上し、より信頼性の高い意思決定が可能になります。

  3. 介入の影響分析: 特定の介入がどのような結果をもたらすかを予測することができます。これは、政策立案、ビジネス戦略、医療介入などの分野で特に重要です。

コーザルAIは、医療、経済学、社会科学、ビジネスなど、さまざまな分野での応用が期待されています。特に、複雑なシステムや動的な環境での意思決定において、その価値が大きいと考えられています。

コーザルAIの実例

コーザルAIの実例として、DeepCausalityというフレームワークがあります。これは、自由テキストからの因果関係を推定するためのAI駆動の因果推論フレームワークです。DeepCausalityは、AIによる言語モデル、固有表現認識、そしてジュデア・パールのDo-calculusを統合し、特定のドメインに適応可能な一般的な因果推論フレームワークとして機能します​​。

具体的なケーススタディとして、DeepCausalityはLiverToxデータベースを利用して、特異的な薬物誘発性肝障害（DILI）に関連する因果用語を推定し、DILI患者の分類に役立つ知識ベースの因果木を生成しました。このフレームワークは、DILI予測において0.92の精度と0.84のFスコアを達成しました。さらに、DeepCausalityによって豊かにされた因果用語の90%が、特異的なDILI（iDILI）の評価に関するアメリカ消化器病学会（ACG）の臨床ガイドラインによって定義された臨床因果用語と一致していました​​。

このリアルワールドの応用例では、LiverToxデータベースのいくつかの薬物レコードが、DILIに関連する症例報告を含んでおり、これらは科学文献やDILI Network（DILIN）などの肝臓特有の臨床データベースからキュレートされました。DILIのパターンと重症度スコアを含むこれらの報告は、iDILI患者分類のための基準として機能しました。DeepCausalityによって開発された知識ベースの因果木は、これらの患者を異なるDILIパターンのサブグループに分類するために使用されました​​。

この例は、コーザルAIが現実世界の複雑なデータから因果関係を推論し、重要な医療決定に貢献できる能力を示しています。

DeepCausalityについて

DeepCausalityは、自由テキストからの因果関係を推定するためのAI駆動の因果推論フレームワークです。このフレームワークはAIによる言語モデル、固有表現認識、ジュデア・パールのDo-calculusを統合しています。これにより、異なるドメインに特化した因果推論が可能になります。

DeepCausalityの特徴は以下の通りです：

  • 多様な科学分野への適用: 社会科学、行動科学、生物科学など、複数の科学分野にわたる応用が可能です。

  • 高い効率と正確性: 手動での因果関係評価が非常に時間がかかり、労働集約的である問題を解決するために設計されています。

  • リアルワールドの応用: 特異的な薬物誘発性肝障害（DILI）のケーススタディを通じて、DeepCausalityは高い予測精度を示しました。

DeepCausalityは、特に医療分野において、患者分類や治療方針の開発において重要な役割を果たすことが示されています​​。

DeepCausalityは、オープンソースのソフトウェアで、無料で利用できます。このフレームワークのソースコードはMITライセンスの下でライセンスされており、ドキュメントはクリエイティブ・コモンズの「表示 4.0 国際ライセンス」の下で配布されています。DeepCausalityはGitHubとCrates.ioからダウンロードできます​​。

このライセンス形態により、ユーザーはソフトウェアを無料で使用、改変、配布することが可能です。ただし、MITライセンスの条件に従い、ソースコードの使用や改変、再配布時には著作権表示とライセンス声明を含める必要があります。

DeepCausalityについての日本語のサイト

残念ながら、DeepCausalityについての日本語のサイトは検索結果からは見つかりませんでした。DeepCausalityは比較的新しい分野であり、特に日本語の情報源は限られている可能性があります。英語の情報源や公式ウェブサイトを参照することをお勧めします。

DeepCausalityは、因果推論（Causal Inference）と深層学習（Deep Learning）を組み合わせた概念であり、近年になって注目を集めている新しい分野です。この分野の歴史を理解するためには、因果推論と深層学習、それぞれの分野の発展を見ることが重要です。

因果推論の歴史

  1. 初期の発展: 因果推論は古くから哲学や統計学の分野で議論されてきました。20世紀初頭には、統計学における回帰分析などが因果関係の理解に寄与しました。

  2. ポテンシャルアウトカムフレームワーク: 1970年代には、ドナルド・ルービンとポール・ローゼンバウムによってポテンシャルアウトカムフレームワークが提唱され、因果推論の基礎が築かれました。

  3. グラフィカルモデルの導入: 1980年代から1990年代にかけて、ジュデア・パールらによってグラフィカルモデルが導入され、因果関係を視覚化し分析する手法が発展しました。

深層学習の歴史

  1. 初期のニューラルネットワーク: 1950年代から1960年代にかけて、初期のニューラルネットワークが研究され始めました。

  2. 逆伝播アルゴリズムの登場: 1980年代に逆伝播アルゴリズムが登場し、深層学習の基礎が確立されました。

  3. ビッグデータとGPUの利用: 2000年代に入ると、ビッグデータの利用とGPUの進化が深層学習の発展を加速させました。

DeepCausalityの出現

  • 最近のトレンド: 近年、深層学習の技術が成熟し、さらに因果推論の概念がデータサイエンスやAI分野で注目を集めるようになりました。これにより、深層学習を活用してより複雑な因果関係をモデリングし、理解する試みが進んでいます。

  • 統合の試み: DeepCausalityは、これらの分野を統合する新しい試みであり、特に医療、経済学、社会科学などの分野での応用が期待されています。

DeepCausalityは、これらの歴史的背景を背負って、新たな解析手法や応用分野を切り開いていると言えます。これは、データ駆動の意思決定における新しいアプローチとして注目されています。

もうひとつのフレームワーク：Bayes Serverについて

Bayes Serverは、ベイジアンネットワークと動的ベイジアンネットワークのモデリング、学習、推論、および可視化を提供するソフトウェアプラットフォームです。ベイジアンネットワークは、確率的関係を持つ変数間の関係をモデル化するために使用される統計的モデルの一種です。

Bayes Serverの主な特徴

  1. 高度なモデリング: ベイジアンネットワークと動的ベイジアンネットワークの両方をサポートし、複雑な統計的関係をモデル化できます。

  2. 学習と推論: 与えられたデータからネットワークを学習し、新しいデータに対する推論を行うことができます。

  3. データ統合: 異なるソースからのデータを統合し、モデルに組み込むことが可能です。

  4. 可視化とユーザーインターフェース: 直感的なグラフィカルユーザーインターフェースを提供し、モデルの作成、編集、可視化が容易です。

  5. プログラム可能: APIを通じてプログラムからのアクセスが可能で、カスタムアプリケーションや自動化プロセスに統合できます。

  6. 多様な応用分野: 予測分析、リスク分析、意思決定支援、研究、および教育など、幅広い分野での応用が可能です。

  7. データマイニングと機械学習: データマイニングと機械学習のアプローチを組み合わせ、データから洞察を引き出すのに役立ちます。

応用例

Bayes Serverは、医療、金融、工学、マーケティング、環境科学など、さまざまな分野で利用されています。例えば、医療分野では患者の症状から病気を診断するモデルの構築、金融分野では市場リスクの評価、工学分野ではシステムの信頼性分析などに使用されています。

Bayes Serverは、複雑な確率的関係を持つデータに対して強力な分析ツールを提供し、特に不確実性の高い状況での意思決定プロセスを支援します。

この記事が気に入ったらサポートをしてみませんか？