調査会社に勤めております時に、100万件overの企業データファイルに触る機会がありました。一般的に全件データと呼ばれるもので、毎年更新されています。

当時、といってもだいぶ前なので今は変わっていると思いますが、企業データファイルとしては国内最大。世界で見てもここまできちんと構築されたデータはないと憧れの目で見られたデータファイルです。

お客様に納品する前に、お預かりしていた顧客データとのマッチングやら、仕様書に基づいた成果物の最終チェックやらを担当していたわけですが、調査会社といえ、全件データに触るのはめったにないこと。いろいろとびっくるする経験がありました。

まずデータサイズですが、4ギガバイトを越えます。マイクロソフト社のアクセスというデータベースソフトは、データ数に制限はありませんが、データサイズには上限2ギガバイトという制限があって、そのままでは読み込むことができません。いったん納品した後にお客様から問い合わせがあって、いろいろとやり取りをした後、別のエディタで最適化して納品した記憶があります。

100万件のデータは、excelでも読み込むことはできます。ただ、これだけ大きなデータになると、excelのデータベース機能ではこころもとない。ソートするにしても、抽出するにしても、改行キーを押してから数秒から数十秒の処理時間が発生します。

10年以上前のPCと現在では処理速度も格段に速くなっているでしょうから、今の人たちはこれほど苦労することもないのでしょうか。

販売価格は、確か億円単位だったと思います。もう二度と触ることもないでしょうし、良い経験であり、思い出です。