見出し画像

DX戦記 第15話:えっ、この5万件のデータ、ゴミなんですか?

本連載小説は202X年、自己変革に苦しむ日本企業、JTC(ジャパン・トラディショナル・ケミカル)でDXに巻き込まれた一般社員 伝統 守(でんとう まもる)くんの奮闘記(半ノンフィクション)です。


今井「守さん、ちょっとこのデータをBIで前処理したいんですが、やり方のアドバイスをもらってもいいですか?」
守くん「どれどれ、見せてください……。こ、これは!」

守くんの設計したDX研修は特段のトラブルもなく順調に進んでいました。初回の研修は教育ベンダーのキャパも考慮して1部署あたり1名程度で募集しましたが、驚いたことに公開していた募集フォームすぐに定員に達してしまいました。JTCのDX研修への関心は予想以上に高かったようでした。結果的に様々な事業部から約30名の受講者が集まりました。

そして、そんなDX研修もいよいよ最後の講座、BI講座を残すだけとなったとき、守くんは難問に出会うことになりました。

BI講座では座学形式の研修ではなく、受講者ひとりひとりに業務課題とデータを持ち寄ってもらう実践形式です。受講生たちはBIの動作に関する基本的な講義が終わったら、講師に個別指導を受けながらBIを使って業務課題を解決していきます。持ち込まれる多種多様なデータの一つ一つに対して処理を考えて行く必要があるのでなかなか運営側としては苦労する講座になりますが、受講生の方々にスキルを身に着けてもらうためには必要不可欠な講座です。講師にデータを渡す前に事務局として受講生と一人ひとり面談をしていたところ、研修受講生の今井さんから驚くべきデータが出てきたのでした。

そのデータを見たとき、守くんの全身に衝撃が走りました。吹き出した冷や汗をそのままに数万行あるデータをスクロールして確認していきました。そこにあったのはシステムから出力されたとおぼしき衝撃的なゴミデータでした。

守くん「一つの列に複数の、全く意味の異なるデータが入り乱れている……!! それだけじゃない、、単位の書き方もバラバラ、しかも単位すらないところもある。それに、一つの行に複数の情報がカンマ区切りで入っていたり……、一体どうしたらこんなことにっ!」
今井「……守さん、もしかして結構やばい感じですか?」
守くん「こう言ったらあれですが、……これはきついですね」
今井「えっ、この5万件のデータ、ゴミなんですか?」
守くん「そうです! 今井さん、このシステムの責任者を教えてください、今すぐ!」

正直に言って、それは信じられないようなゴミデータでした。取り次いでもらう間に今井さんに話を聞くと、そのデータは数ヶ月前に導入した購買に関するSaaSのデータのようで、今のペースだと年間約20万件もデータが溜まっていくもののようでした。つまり、このままの状態で運用をすると、それだけのゴミデータが定常的に発生していく計算になります。普通、ソフトウェアを導入するときにはデータ設計をするはずですが、まるで何も知らない素人が作ったかのような無秩序さを感じるデータは完全に異常なものでした。

システムの責任者はIT保守部という、社内IT部署の人だということでした。企画部時代に何度か仕事で関わったことがありましたが、社内システムの保守をミッションとする部署のせいかDXの取り組みに対して消極的な姿勢の人が殆どで、新しいツールやシステムを導入するのに反対にあって苦労した記憶がありました。そんな部署が管理している新システムのデータの問題……、これは一筋縄では行かなそうですが、年間20万件もデータが生まれる巨大なシステムであるがゆえに、直すなら稼働開始したばかりの今しかありません。守くんは火中の栗を拾う心持ちでIT保守部の担当者に打ち合わせのメールを贈りました。

こうして守くんはゴミデータを量産し続ける購買の新システムの火消しに向かうのでした。


ABシステムのエンジニア「IT保守部さんにいただいた要件定義書通りに作りました」
ABシステム導入に関わったITコンサル「我々は世の中のベストプラクティスを紹介させていただきました。それを元にIT保守部の方に要件は決めてもらいました」
IT保守部の担当者「うちは購買部に言われた通りに要件を作りましたよ」
購買部の課長「伝えた要望がこのシステムでは出来ないんだけど、どういうこと?」
IT保守部の担当者「そんなことを今言われても……」
今井「また始まったよ……」
岡「……」
守くん「……」

控えめに言っても飛び入り参加した購買システムの会議は地獄のような状態でした。責任回避しようとするベンダーとIT保守部の担当者、そして購買の責任がある購買部長の重苦しい声。2時間の予定で始まった会議の冒頭から会議室にはどんよりとした空気が立ち込めていました。

上司の岡さんと会議に参加した守くんのミッションは現状のシステム課題をデータ活用の視点から整理して、解決策をABシステムのエンジニアと議論することでしたが、会議の冒頭から出鼻をくじかれるかたちになりました。これまでなんだかんだで前向きな人たちと仕事をすることが多かったので停滞したにっちもさっちもいかない雰囲気の会議は居心地の悪いものでした。

しかし、このままでは埒が明きません。守くんは今井さんに合図を送って会議への参戦をすることにしました。

今井「あ〜、すみません。本日はDX部の岡TLと守さんにも新たに参加頂いています。紹介させてください」
守くん「はじめまして! DX部から参加させていただきました、守です。DX部では社内のデータ活用を通じたDXの推進の活動をしております。今回、参加させていただいたのは購買部の今井さんから頂いたABシステムのデータに問題を発見したことがきっかけでした。JTCの購買システムは年間20万件もデータが発生しますので、この問題は導入して間もない今解決するべきだと考え、購買部と協議してこちらに参加させていただきました。ぜひ課題解決へのご協力をお願いします」
IT保守部の担当者「守さん、ご参加頂いた意図はわかりましたが、何が問題か教えて下さい。私達は購買部の意向に沿ってシステムをつくっただけですので」
守くん「わかりました……。資料を用意していますので、そちらで説明させていただきますね」

守くんの投影した資料では新しい購買システムを使うときの問題点を列挙していました。大まかには以下の4点がデータ活用上の問題でした。

  • 1つの列に意味や単位の違うデータが入っている

  • すべての列がフリーテキスト入力になっていて、数字と文字が分けられていない

  • 入力が任意になっていて入力されていない情報が少なからずある

  • 1つの行に複数の発注品目情報がカンマ区切りで入っている場合がある(記入ルールが統一されていない)

また、それらが生まれるシステム的な要因についても守くんは事前に購買部の今井さんに確認していましたので、そのことも説明しました。システム的な要因は以下の2点に集約されました。

  • データベースのテーブル設計がユーザー要求を満たしていない

  • システムへの入力制限やガイドがない状態になっている

守くん「……というような状態です。購買部からIT保守部さんに出されている要求定義書を確認しましたが、現在のようなシステム設計では、例えば過去の購買データを検索して類似購買条件の案件を比較する、というような使い方はできません。つまり、要件定義がうまくできていないと考えられますが、この点はITコンサルさんは何かフォローされましたか?」
ABシステム導入に関わったITコンサル「あ〜、いや〜、我々はベストプラクティスの情報はお伝えしましたが、中身を決めるところはABシステムのエンジニアさんの方で決めてもらったのでなんとも……」
ABシステムのエンジニア「DX部の守さんがおっしゃるように、すべてのデータ列をフリーテキストにしているので、検索に関しては通常のデータベースと同じようにすることはできません。実際に他社さんでも守さんが言うようなシステムで扱いやすい形に設計するのが一般的です。しかし、こちらはIT保守部の方から頂いた要件定義書にはテーブル列は10行まで、入力はすべて
フリーテキストとという指示を受けたので、そのとおり作りました」

ITコンサルの他責感には正直なところびっくりしました。購買部に見せてもらったシステム開発の費用内訳の半分以上はコンサル費だったのに、まるで他人事です。状況を見る限り、社内のIT保守部も購買部もシステム導入の専門家ではない様子ですので、それをフォローしてもらうためにコンサルとして入ってもらっているはずのですが……。とはいえ、そんなことを思っていても仕方ありません。守くんは目の前の問題解決にフォーカスすることにしました。

守くん「テーブル列の数はなぜ10行なのでしょうか? 購買に関わる情報はかなり多く、10列ではとても収まらないと思うのですが」
IT保守部の担当者「このSaaSサービスは列数でお金が変わるんです。10列が最低限の列数で、予算が限られていたので、10列に縛って依頼しただけです」
購買部の課長「うちはそんなこと聞いてないよ。10列に収める必要があるからやり方を考えてくれって言ってきたのはIT保守部でしょ? 列数を増やして解決できるならそう言ってほしかったし、予算についても相談は可能だったよ」
守くん「まあまあ、ここで責任追及をしても仕方がないと思いますので、対応を相談できればと思います。DX部では購買部さんからデータを貰って、データ活用のためにどのようにデータ設計を見直すべきかについてわかっています。この会議の後、IT保守部とDX部で修正の方向性を議論させて頂く形でいかがでしょうか」
IT保守部の担当者「……対応を上司と相談します」

こうして、胃が痛くなるような会議は終了しました。守くんがこの会議を通じて最も感じたのは、IT保守部と社内部署、協力会社、ベンダー間のコミュニケーション不足ということでした。別に複雑な問題ではなかったことが、IT保守部を通じて伝言ゲームのように伝播していく中で誤った方向に進んでいってしまった、ということが今回の顛末でした。

こう言ってまとめてしまうと大したことのない問題のように思えますが、守くんはJTCがDXを進める上での大きな障壁がここにあるように感じました。IT保守部はJTCの数千人の社員が使うシステムの導入・運用・保守を見る部署です。今回の購買システムにしても数億円の予算規模だと聞いていますが、結果はご覧の有様でした。データを活用するという視点がないままこういったことが繰り返されたら、ますますJTC社内のシステムデータは使いにくくなっていってしまいます。ゴミデータが溜まっていってしまうことも問題ですが、それを生み出すシステムが増えていってしまうことは将来のJTCにとっての大きな負債となるでしょう。

ビジネスに使えるデータをちゃんと作ること、それをできる組織や人を育成すること。JTCが100年先も存続できるよう変革するにはまだまだやるべきことは多そうです。


DX担当者、守くんのメモ
・DXを進めるためにはデータを活用できる形にしておくことが必要。
・データを適切に管理することをデータマネジメントという。
・参考文献1:製造業でデータマネジメントをやることになった話
・参考文献2:実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ

この記事が気に入ったらサポートをしてみませんか?