記事一覧
Measure What Matters を読んだ
OKRの設定の仕方 -会社(トップマネジメント)から個人へのブレークダウン-この画像が全て。上位のKRが下位のOになる。 出典:https://www.slideshare.net/jaymeh13/object…
Measure What Matters を読んだ
OKRの設定の仕方 -会社(トップマネジメント)から個人へのブレークダウン-この画像が全て。上位のKRが下位のOになる。
出典:https://www.slideshare.net/jaymeh13/object-25288039
一番大切なこと
全てのKRが完了になれば、Oは必ず達成される。
さもなければそれはOKRとは言えない。
OKRの総括と次の四半期にむけて
OKRの2つのカテゴリ
機械学習のめもめもめもめも
損失関数はバリアンス、バイアス、ノイズに要素分解できる(ただし回帰のみ)
・バリアンス 予測値の分散。でかいと過学習状態
・バイアス 予測値のEと正解のEの差分。でかいと未学習(単純に正解と予測の乖離がでかい状態)
・ノイズ MLでフィッティングできない
バイアスとバリアンスはトレードオフ(そりゃそうだ)
L1正則化 ラッソ 変数選択 スパース性(少ない特徴でいい精度 的な)
L2正則化 リ
Google Colaboratory でPlotlyのサンキーダイアグラム
やったことこちらの記事の内容をパクらせていただきましたが、collabで動かすように一部変更しました。
[参考]
Python plotlyを用いてSankey Diagram(サンキーダイアグラム)を作成する
主な変更点としては2点。
・plotly.plotly が非推奨になったらしいので chart_studio.plotly に変更
・offline は利用せず graph_obje
snowfakeハンズオンに参加したメモ
クエリベンチマークS3からのファイル取込み
ファイル数376、総レコード数 6,200万弱。カラム数は16?17?ぐらい
ウェアハウスSサイズ(2クレジット/hour)で約46秒
ウェアハウスMサイズ(4クレジット/hour)で約24秒
上記をSELECT *
ウェアハウスSサイズ(2クレジット/hour)で約47秒
ウェアハウスMサイズ(4クレジット/hour)で約31.3秒
ウェアハウ
『Google Cloud ではじめる実績データエンジニアリング入門』 の"note" 〜データ基盤とは? & BigQuery内部アーキ〜
いろんなウェビナーで宣伝しまくってるし、知り合いもサクっと読めて悪くないよってことだったので読んだよGoogleさん。
自分なりのメモ。
データ基盤に取り組む意義経済産業省の『「DX推進指標」とそのガイダンス』では、以下の3要素をデジタルトランスフォーメーションに求めるITシステム要件としています。
1. データをリアルタイム等使いたい形で使えるか
2. 変化に迅速に対応できるデリバリースピ
python の if __name__ == "__main__": って何?
・インポートされた際にプログラムが動かないようにするためのおまじない
・__name__ はpython の予約変数でモジュール名が文字列で入る
・仮に import hello された時は __name = "hello" となる
・python hello.py された時は __name = "__main__" となる(Python により自動的にこの変数は入れられる)
・この "__mai
ある値に最も近い値を BigQuery のテーブルから取得するGAS
前提・ある数値に最も近い値を別のテーブルから取得したい
・取得対象のテーブルは BigQuery に存在する
・今回はある数値よりも小さい数値しか考えない(仮に大きい数字があったとしても同じような方法で対応可能)
実装行・列のインデックスは各自のシートに合わせて変更すること。
function calcApproximation() { //プロジェクトID設定 const projectId
BigQuery で UNNEST 配列をテーブルとして扱う時に列名を指定する方法
どうやるんだろう?と結構悩んだのでメモ。
県コードテーブルを配列から作る場合。
STRUCT型で最初のフィールドで型と列名を指定すれば良い。
SELECT * FROM UNNEST([STRUCT<prefecture_cd STRING, prefecture STRING>("1","北海道"),("2","青森県"),("3","岩手県"),("4","宮城県"),("5","秋田県