最近の記事
[データ分析基盤構築記 ~データカタログ編~] Notion + dbt + PipeRiderでデータカタログを作ってみた
はじめに株式会社PREVENT、データエンジニアの俵です! 前回は弊社ダッシュボードツール『Apache Superset』についてご紹介しました。 さて、今回はデータ分析基盤構築記の早くも最終回となるデータカタログ編です。 近年急速に注目を集めているデータカタログについて、その概要と弊社における取り組みをご紹介します。 データカタログとはデータカタログは、文字通りデータのカタログ(目録)です。 データカタログを参照することで、組織内データの所在や種類、型といった情報(メ
マガジン
記事
[データ分析基盤構築記 ~ETL基盤編~] Embulk + Fargate + Step FunctionsでサーバーレスでスケーラブルなETL基盤を作ってみた
自己紹介初めまして!株式会社PREVENTのデータサイエンス部でデータエンジニアとして活動している俵です。 データサイエンス部には3つの職種(データサイエンティスト、データエンジニア、データアナリスト)がありますが、主にデータ分析基盤の設計・構築・運用を担うのがデータエンジニアの役割です。 今回、私がPREVENTに入社して最初に取り組んだETL基盤の新規構築について紹介します。 データ分析基盤とはそもそもデータ分析基盤とは何か。 その昔、データサイエンティストが社内の