aws athenaのハードルが高い件
こんにちは、自分はAthenaの使い方が分からず奮闘しております。
以下のようなイメージで、ログをs3へ保存し、Athenaで分析したいのですが
肝心なAthenaの設定方法がわからないです。
いつでもクエリで実行して検索ができるようにしたいので、その前の初期設定をしたいのですが、何をしたらいいのかわからないです。
youtubeや、aws認定試験の本とか、色々漁ってみましたか、なかなか、求めてる情報が見つかりませんでした。。
s3にログデータを貯めるのはなんとかできそうですが、都度日付フォルダが増えたり、ログのイベントが変わるためJSONフォーマットが変わるため、全然イメージがつかないです。
s3バケットに対してどうやってテーブル作ったり、ログが増えるたびに対応させるのか。。
がわからないです。
chatgptに聞いてみました。
ーchatgptー
Athenaでログデータを分析するために、データの形式と構造を定義するテーブルを作成します。テーブルのスキーマは、ログデータの構造に基づいて設定します。
例:
CREATE EXTERNAL TABLE IF NOT EXISTS your_table_name (
column1 datatype1,
column2 datatype2,
...
)
PARTITIONED BY (year STRING, month STRING, day STRING)
LOCATION 's3://your-s3-bucket/your-log-folder/';
ーーーーーー
この、定義をathenaに対して実行することでテーブルができるようです。
csvと違って、イベントによって、表示される項目が違ってくるのですが、どうなんでしょう、、
この辺りは、Athenaのテーブル定義のコードで作り込めそうですが、
何から手をつけるべきなのか、何が何だか。。
難しすぎる。
こう言う時は、疲れて集中力が続かなそうだ。
ポモドーロタイマーというものを使うと、25分集中、5分休憩というサイクルを繰り返すようにして集中を維持する方法があります。
なんとこれが、簡単に、以下のものでできます
1日にどれくらい集中したのかを集計してくれたり、いろいろ機能があります。
充電すると約18日持ちます。
今なら10%オフです。
この記事が気に入ったらサポートをしてみませんか?