Shin|Data Engineering

データマネジメント領域におけるエバンジェリストを目指しています。 国際経済、経済分析、…

Shin|Data Engineering

データマネジメント領域におけるエバンジェリストを目指しています。 国際経済、経済分析、データエンジニアリング、環境金融、農業DX、都市防災、スマートシティ、等について学んだことをアウトプットします。

最近の記事

【雑感】「やる気のある無能」とか「意識高い系」とか、周りの目を気にする必要あるんだっけ、という話。

お疲れ様です。ふるさと納税で届いた国産牛をさっそくすき焼きにしたところ、芳醇な脂で胃もたれしたShinです。まだ20代なのに…。 さて、良くないと思いつつ空き時間はXことTwitterをサーフィンしてしまうのですが、出てくるたびにビクッとしてしまう言葉があります。 タイトルの通り「やる気のある無能」と「意識高い系」です。 「やる気のある無能」とは、読んで字のごとく、やる気にはとても満ち溢れているのに、間違った判断をしてしまったり、余計なことをしてしまったり、結果的に損害

    • セマンティックレイヤどう実現するか?Google Cloudの「Looker」の事例

      お疲れ様です。スーパーに並ぶみかんを見て、そういえば今年の夏はスイカを食べ損ねたな…ということに気付きました。Shinです。 さて、先日はデータ活用基盤におけるセマンティックレイヤという概念について簡単に触れました。 サマリとして、セルフサービス型BIを含めてデータ活用基盤を全社公開した場合に、データを分析したいビジネスサイドはデータウェアハウスのデータを見ても何のことだか分からないし、人によってデータの作り方が変わってしまうのではないかという問題が発生し得ます。 この

      • データ活用基盤の全社公開における問題:データの定義をどう管理するか?

        お疲れ様です。ふるさと納税で届いた国産の鶏肉が、まさかのブラジル産で産地偽装されていたらしいShinです。舌が肥えてないので疑いもしませんでした。普通に美味しかったです。 さて、データ活用基盤の検討にあたり「セマンティックレイヤ」と呼ばれる機能層の分離に関する考え方が度々話題に上がります。 本日はデータ活用基盤における蓄積構造の考え方と、データの民主化を実現する上での構造的考え方(つまりセマンティックレイヤの話)について触れていきたいと思います。 データ蓄積における三層

        • Zero ETL:ETLが存在しなくて良い世界線を考える。

          お疲れ様です。Shinです。数か月前の話なんですけど、近所のスーパーの梨が100円きってて味がアレなんかなぁ…と思って試しに買ってみたらちゃんと美味しかったです。梨ってむいたあと塩水にさらすと変色を防げるんですね。 A Zero ETL future… さて、2022年末、メガクラウドの代表格であるAmazon Web Services (AWS) による祭典 AWS re:invent にて、Zero ETL という概念が提唱され、データエンジニアリングの界隈では注目を

        【雑感】「やる気のある無能」とか「意識高い系」とか、周りの目を気にする必要あるんだっけ、という話。

          APIエコノミーを実現するGoogle Cloudの戦略:Apigee

          お疲れ様です。Shinです。末端冷え性の私は指先が凍り付く季節となりました。 先日、Google CloudのiPaaSであるApplication Integrationに関する記事を投稿しました。記事を書くためにGoogle Cloudのドキュメントなどを色々と読み漁っていたのですが、ふと「iPaaSと言うわりには、API管理の機能が全く出てこないな」という印象を感じました。 とはいえGoogle CloudがAPI管理機能を提供していないわけがないだろうということで

          APIエコノミーを実現するGoogle Cloudの戦略:Apigee

          ついに来た、Google CloudのiPaaS!Application Integration

          お疲れ様です!Shinです。なんか一気に寒くなりましたね。自室では暖房を付けて半袖で過ごしていますが、うっかりそのまま外に出て凍え死ぬかと思いました。 数か月前の話ではありますが、ついにGoogle CloudからiPaaS (Integration Platform as a Service)が発表されました。今日はざっくりとこの新作iPaaSである「Application Integration」について触れてみようと思います。 企業におけるアプリケーション環境 近

          ついに来た、Google CloudのiPaaS!Application Integration

          Snowflakeという世界と、データドリブンが真に引き起こすものについて。

          お疲れ様です。休日に家に引き籠ることに飽き、時々ビジネスホテルで外籠りするようになりましたShinです。 だいぶ前の話になりますが、9/8 (金) に Snowflake Data Cloud World Tour Tokyo 2023 が開催されました。今日はその時に印象に残ったことを思い出しながらつらつら書いていきます。 Snowflakeの世界観=太陽系 まずは基調講演です。社長のFrankによるSnowflake社が描く世界観の共有と、副社長のChristian

          Snowflakeという世界と、データドリブンが真に引き起こすものについて。

          再エネのリーディングカンパニーによるバイオマス発電への挑戦!【脱炭素戦略#5】

          お疲れ様です。自炊する時期はめっちゃするけどしない時期は全くしない、全然サステナブルでない生活をしているShinです。 続きモノの記事として「脱炭素戦略」と銘打っておきながらほぼ再エネにしか触れていないこのシリーズですが、案の定今回も再エネです。太陽光、洋上風力と来ましたので次はバイオマスを見てみたいと思います。 電源構成におけるバイオマスの展望 まず、現時点で電源構成におけるバイオマスの比率はどれくらいあるのでしょうか。環境エネルギー政策研究所の発表を見てみると、20

          再エネのリーディングカンパニーによるバイオマス発電への挑戦!【脱炭素戦略#5】

          地域の豊かな自然資源をバイオマス発電に活用!将来のモデルケースになるか?【脱炭素戦略#6】

          お疲れ様です。以前引っ越した際にもう本を買うのを辞めよう…と思ったのに結局本を買って積読する活字苦手人間のShinです。 脱炭素や再エネに関するトピックは前々からずっと騒がれていましたが、ここ最近毎日のようにこれらのトピックに関するニュース記事を見かける気がします。 前回、脱炭素シリーズ(とは言いつつ実際は再エネしか取り上げていないですが)としてバイオマスを取り上げました。今日はバイオマス関連の直近の日経の記事をいくつかピックアップして見てみたいと思います。 高知県 原

          地域の豊かな自然資源をバイオマス発電に活用!将来のモデルケースになるか?【脱炭素戦略#6】

          データは分散したままSSOTを実現する:仮想的データ統合アプローチ【データの信頼性#3】

          お疲れ様です。冷房にすると湿度が上がり、除湿にすると寒すぎる、空調管理ハードモードのShinです。 今回は前回に引き続き、SSOTを実現するためのソリューションについて整理していきます。前回はデータの一元集約という方法に着目して、DWHとMDMによるSSOTの実現について触れました。 今回は、データを一元集約せずに分散させたままでSSOTを実現する方法を考えてみたいと思います。 データ連携基盤 or iPaaS データ連携は、システムアーキテクチャをSSOTの概念に近

          データは分散したままSSOTを実現する:仮想的データ統合アプローチ【データの信頼性#3】

          データの一元集約によるSSOTの実現:DWHとMDM【データの信頼性#2】

          お疲れ様です。ときどき生魚を食べたくなりますよね。Shinです。 前回、データ活用における設計思想のひとつ「信頼できる唯一の情報源(SSOT)」の考慮が何故必要なのかについて整理しました。 今日はこのSSOTを具体的に実現するための方式について、代表的なDWHとMDMについて整理します。 データウェアハウス(DWH) DWHはその名が示す通り「データの倉庫」を意味する概念です。データを目的別に整理し、リレーショナルな形式でデータを保管します。一般的にDWHはデータベー

          データの一元集約によるSSOTの実現:DWHとMDM【データの信頼性#2】

          「信頼できる唯一の情報源」とは?分散化した業務システムの問題点【データの信頼性#1】

          お疲れ様です。高原巡りをしたいのですが天気と気分のタイミングがなかなか合いません。Shinです。 今日はデータエンジニアリング領域における概念「信頼できる唯一の情報源(Single Source of Truth : SSOT)」についての思考整理です。 信頼できる唯一の情報源:SSOTとは? SSOTは情報システムにおける設計思想のひとつです。SSOTは、その意味が示す通り「あらゆるデータは単一の場所で発生・編集され、その場所のみを「信頼できる唯一の情報源」とする」と

          「信頼できる唯一の情報源」とは?分散化した業務システムの問題点【データの信頼性#1】

          【雑感】chatGPT、ナチュラルに嘘を付きまくる。

          お疲れ様です。元気がないと食生活が雑になり更に元気がなくなる、負のスパイラルに陥っているShinです。 先日、Causal AI に関する記事を投稿しました。Causal AI について調べる上で、相関関係と因果関係の違いや疑似相関について復習していたのですが、試しにとchatGPTを使ってみたところ、案の定という結果が返ってきたので今日は雑感的に触れてみます。ちなみに使っているのは無料のGPT3.5モデルです。 とりあえずchatGPTに疑似相関の具体例を聞いてみて、返

          【雑感】chatGPT、ナチュラルに嘘を付きまくる。

          如何にして因果関係を導くか?Causal AIによる因果推論の基本原則【AIと因果推論#2】

          お疲れ様です。引っ越すとき大変なのでこれからは電子書籍にしよう!と思ってiPadを買ったはいいものの結局紙派がやめられないShinです。 前回は Causal AI の概要について紹介しました。ちなみに、そもそも何故急に Causal AI を取り上げだしたのかという話を前回していなかった気がするので改めて触れておくと、Gartner社の2022年のハイプサイクルに掲載されていて気になったのが理由になります。 黎明期の下の方に「コーザルAI」があります。さらに下の方を見る

          如何にして因果関係を導くか?Causal AIによる因果推論の基本原則【AIと因果推論#2】

          Causal AIとは何か?人工知能による因果推論の可能性【AIと因果推論#1】

          お疲れ様です。日経電子版を読むためにiPadを買いましたが結局スマホで見るので使わなくなってしまったShinです。 さて、人工知能や機械学習についてはここ数年話題に上がり続けているテクノロジーのホットトピックのひとつですが、これまで関わる機会が特になく全く知識がありません。とはいえ、IT業界にいる人間が全く知らないのも如何なものかと思い、一般常識レベルから調べてみようかと思っています。 AIと言えば、その特徴に応じて〇〇AIのようにいくつかの種類に分けられていることがあり

          Causal AIとは何か?人工知能による因果推論の可能性【AIと因果推論#1】

          SaaSを繋ぎワークフローを自動化!DB型iPaaS「Yoom」とは?

          お疲れ様です。ただでさえ一冊の本を読み切るのに異様に時間がかかるのに、読みたいものがどんどん増えて積読化しているShinです。きっと積読の状態が解消される日はない気がします。 さて、毎度のことながら日経新聞を眺めていたところ、こんな記事を見つけました。今日はこの記事の内容に触れてみたいと思います。 SaaS連携でワークフローを自動化、とは? そもそもこれは何の記事なのかということですが、とても雑に要約すると、OniGOという企業がSaaSを連携する仕組みを作ってこんない

          SaaSを繋ぎワークフローを自動化!DB型iPaaS「Yoom」とは?