冒頭

2023年現在、Generative AIの台頭により”Data is new oil.”という言葉の重みが日に日に増してきている。そんな中、企業向けデータマネジメントを担うツールであった”データカタログ”にも転機が訪れている。ここ数年の欧米動向を見ていると、旧来データカタログと自身を呼んでいた海外ベンダーが、Active Metadata PlatformやData Intelligence Platformへと自身を再定義するに至っている。以前の記事では、前者について説明を行った。本日は、よりエンタープライズ企業へとフォーカスを当てた取り組みである後者について、特に国内状況についての考察を行う。

“Intelligence”とは？

Data Intelligenceと似た名前に、Business Intelligenceという概念がある。今となっては”BIツール”として慣れ親しまれ、あまり原義を意識することもなくなってきているが、そもそも”Intelligence”とは何であろうか。
ー 全く関係のない話だが、私の出身大学は、外国語大学と併合した経緯で言語学位が豊富な大学で、私は経済学部生でありながら英米言語学のデュアルディグリー制度に所属していた経緯がある。「”xxx”とは何か」のようなソシュール言語学を連想させるトピックには心躍る、いわゆる言語オタクである。ー

さて、goo辞書によるとIntelligenceとは下記の通り出てくる。

一般的に知られている “知能・知力・理解力” のような意味に加えて、”情報の収集” や “諜報” といった応用的な意味があることが分かる。ちなみに、スパイ行為を “Intelligence work”と呼ぶが、そういった “ある目的の為に、情報を収集し有益な情報へと整理し直す行為とその実行主体” がIntelligenceという訳である。
BIとして親しまれたBusiness Intelligenceはつまるところ、”ビジネス上の意思決定を行うために、ビジネスの情報を収集し、有益な情報へと整理し直す行為ととその実行主体” という意味合いが込められた名付けである。Business Intelligenceについては2000年以前から、IBM研究所やGartnerが色々な定義付けを提唱しているが、大体こういった意味合いが原義のようである。面白い。

Data Intelligenceとは？

本題に戻ろう。では、Data Intelligenceとは何であろうか。原義に近い理解をすると ”ある目的の為に、データに関しての情報を収集し、有益な情報へと整理し直す行為とその実行主体” であるが;　

IDCによると、以下のように定義されている。

また、以下とも書かれている。

IDCの本記事タイトルにもなっているが、 ”Intelligence about Data, Not from Data”、つまりデータそのものではなく、メタデータの収集によって、有益な情報へと整理し直す行為だと強調されている。

海外ベンダーの思惑

海外スタートアップであるCollibra社やAlation社が表舞台に登場した2014年頃から5年間の北米の歴史では、データに関しての情報（Data about data）をメタデータと呼び、基本的なメタデータを一元的に管理し参照する製品をデータカタログ、そして、このアクティビティ自体をデータガバナンスと呼んでいた。（これはDMBoK2で語られるデータガバナンスとは似て非なるアクティビティである。）
しかし2023年現在、上記の企業は揃ってData Intelligence Platformとして自身をリブランディングする形となっている。各社が提唱するData Intelligenceの概念としてはActive Metadataと非常に似ているが、細かなニュアンスの違いが見られる。以下はその一例である。

• Active Metadataの方が、市民ユーザー（人間）からのメタデータ収集に重きを置いている。

• Data Intelligenceの方が、エンタープライズレベルのデータガバナンス・データリネージ・データ品質に関するメタデータの応用的な収集・自動生成を強調している。

ー そもそも、Active Metadataの発起人といえばAtlan社である。
「Snowflakeを始めとするモダンデータスタックエコシステムの普及」というマクロ環境の変化に伴い、彼らは2021年辺りから、Active Metadataを従来のエンプラ向けデータカタログへのアンチテーゼとして掲げるようになった。フランスのCastor社・カナダのSecoda社と共に、彼らは自身を第三世代と呼び、反対にAlation社やCollibra社を第二世代と形容する。

しかし、Atlan社はインド政府のインキュベーションから始まったものの、その後シンガポール、北米で特に新興テック企業・スタートアップ等のMid-marketに対してフォーカスし事業立ち上げを行なってきた経緯から、Enterprise-marketに顧客対象を絞るAlation社やCollibra社とは、そもそもビジネス対象とする世界に大きな差があった。（現在は、Atlan社、Castor社、Secoda社ともに創業者の母国と米国でエンタープライズGTMを画策しているが、創業者やベンチャーキャピタルの動向を見る限り苦戦しているように見える。）
AlationやCollibra等のエンタープライズ向けベンダーは、”マクロ環境を踏まえて我々も勿論進化している。”、”我々は2014年の我々ではなく、第二世代と呼ばれる筋合いはない。”、”エンタープライズ向けの機能や営業戦略があり、貴方とは違う。”と宣言するかのよう、Data Intelligence Platformと自身を名付けている、そんなように見える。（私自身がこのData Intelligence界隈の住人であり、多くの一次情報に触れてきた感覚から概ね合ってそうである。）

余談だが、エンタープライズ向けベンダー各社のHPで”by Industory”コンテンツを見ると、銀行、保険、医薬、製造、小売、エネルギー、公共、辺りの重量級エンタープライズ産業への案内が殆どであり、反対に、Mid-market向けベンダー各社のHPを見るとテックベンチャーのロゴを全面に推している。

日本の現在地点

2023年現在、日本でもエンタープライズ企業において、全社横断的なデータ活用を目的とし、Snowflake, Databricks等のData Warehouse製品を用いた全社データ活用基盤の構築が急速にデファクト化している。それに従って、こういったData Intelligenceの取り組みも喫緊の課題となっている。いくらData Warehouseツールを導入しても、上述のsix fundamental questionsに答えることができなければ、全社横断的なデータ活用は絶望的であるからだ。

直接的にData Intelligenceといったいい回しをしていなかったとしても、これらの課題は北米でもヨーロッパでも企業が近年経験した通り道であり、データ活用の重要なラストピースであることは明確である。Data Warehouseの世界では、「米国が10年で行ったことを日本では3-4年で実現している」といった発表も出ている（ここでの10年というのはAmazon Redshiftが2013年に発表されてから今日2023年までの米国のDWH市場の道のりに対応していると思われ、3-4年というのはSnowflakeが日本支社を立ち上げた2019年からの期間に対応していると見受けられる）が、つまり順接的に考えればData Intelligenceに関してのニーズが米国同様に顕在化するのがちょうど今であり、米国の歩幅とだんだん合ってくる。

別のベクトルから見ると、経産省が出した”2025年の崖”まで残り2年という中、エンタープライズレベルのData Intelligenceを構築できるかが企業の競争力を決めると言える、国内はそんな状態にあるといえるだろう。反対に、この課題の解決に向けて最速でスタートダッシュを切れば、北米・或いは競合に対して遅れた数年を、順当に盛り返すことができる。

Data Intelligenceの導入にあたって

アクティブメタデータの記事でも記載したように、国内企業を取り巻くIT・デジタルの周辺環境を考えると、必ずしも北米で定義される”Data Intelligence”が日本企業にとって唯一無二の目指すべき未来ではないことは、依然として念頭におきたい。加えて、Data Intelligence関連ツールの導入に際しては、国内特有のプロダクト要件、組織環境、システム環境への対応を行うために、DX部署でのAdditional Effortが必要な場面もある。下記が考慮される論点の一例である。

• ツールの国内ホスティング対応や、日本語対応

• ツールの日本特有の既存BI/ETLツール対応

• メタデータ収集・活用における通信方法やセキュリティ対応

• 社内啓蒙のためのマニュアル作成やサポートのコスト

• 社内DX人材不足によるリソース過少と、新しい属人化の発生

• SIerの存在によるステークホルダーの複雑化

• 購買やプロジェクト推進上の政治コスト

上記は一例であるが、考慮すべき論点に関しては個別具体的な各社の組織・システム状況に依るので、一概には言えない。
しかし、個別状況を考慮する必要があるが故に、Data Intelligenceを含むこの手のツールは長めのプリセールス期間を挟むので、プロジェクトの成功を考えるとベンダー企業の営業/SEとの連携が非常に重要である。また、ライセンス購入後の導入支援や活用サポートも非常にポイントとなる。
手前味噌にはなるが、Data Intelligence、Data Catalog、Data Governanceの実装をお考えの方は、失敗を防ぐためにも、ぜひ一度国内の専門ベンダーにご相談いただきたい。末筆ながら、国内唯一のデータカタログ専門パートナーであるQuollio TechnologiesのWebsiteを記載して締め括る。https://quollio.com