Infra news #1 2019 7/8~12

3-shake, incでインフラ担当をしている下田です。インフラ周りで雑多に情報収集して社内で共有しているのですが、割と好評だったので、そのままこちらに連載しようと思います。

Redis周りの直近のアップデートまとめ

暗号化オプションと性能比較。

GKE削除しても大丈夫だったという話。Compute Engine側(おそらく旧環境)にフェイルオーバーして難を逃れたんだとか。

NLBでCr

もっとみる

Hashicorp Vault with Cloud KMS on GKE

本記事

2019年7月13日に執筆しました。

本記事ではHashicorp VaultをSecret EngineとしてCloud KMSを使ってどのように使って構築できるかを試行錯誤した記事です。

そもそものシークレット問題

シークレットに対して、セキュアにアクセスをできるようにするものです。以前、Cloud KMSを使ってセキュアにSecretをアプリケーションで復号化して使う方法を解

もっとみる

[GCP]プリエンプティブ仮想マシンを24/365 99.9%の稼働率にする

もっと簡単な方法があるので続編をお待ちください

1.プリエンプティブ仮想マシンとは?

プリエンプティブ仮想マシンはAWSでいうところのスポットインスタンスにあたります公式には最大80%offとのこと。実運用だと通常の1/3あたり値引かれます。
プリエンプティブの欠点は最大利用が24時間のみ。ただし、以下の通り抜け道があります

プリエンプティブ インスタンスの 24 時間カウンタは、特定のアク

もっとみる

【ML Study Jams#2メモ】

こんにちは!棘崎です!!
今回は先日参加した、Googleが行っていた『ML Study Jams(2回目)』

で体験した GCPのAutoML Vision について、トレーニング内容を画面を交えながら書いてみます。

GCPの「Cloud Vision」

詳細をここでは記載しませんが、画像を見分けたり、画像の中から情報を取り出したり、画像を分類したり…ということが、比較的簡単に行えてしまう

もっとみる

[AWS]VMのdisk監視

disk監視の設定毎回忘れてしまう。。。

監視用IAMのapiユーザ作成
ポリシー:CloudWatchAgentServerPolicy

#/usr/local/srcあたりでsudo yum install -y perl-Switch perl-DateTime perl-Sys-Syslog perl-LWP-Protocol-https perl-Digest-SHA.x86_64c

もっとみる

Concourse Lite を GCP にインストール

Concourseを勉強すべく、サクッと触れる環境が欲しいなと思っておりまして、ローカルのVirtualBoxで色々と触ろうとしていたのですが、、、うまく動かなかったり、動いても普段使うとなるとどうも使い勝手が悪かったりと苦労していたので、GCP上にConcourse Liteを作成してみました。

ベースは以前書いたnoteになっております。

Concourse deployment のダウン

もっとみる

2019-06-07 RancherによるKubernetes活用ガイド #DevLOVE

2019/06/07 に開催された RancherによるKubernetes活用ガイド のイベントレポートです。

●イベント概要
今回のテーマは「 RancherによるKubernetes活用について」

2019年2月27日よりThink ITで連載している「マルチクラウド時代の最強コンビ RancherによるKubernetes活用ガイド」をベースにMulti-CloudからMluti-Ku

もっとみる

スケールしますか

データエンジニアリングとデータサイエンスの境はほぼなくなりつつありますし、データサイエンティストはエンジニアリングの発想がないと設計も難しくなってまいりました。というわけで、学んでいきましょう、スケールするデータ分析プラットフォームを。

スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform
単行本 – 2019/6/5
中井 悦司 長谷部 光治

もっとみる

https://jp.techcrunch.com/2019/06/03/2019-06-02-google-cloud-is-down-affecting-numerous-applications-and-services/
Google Cloudが一時ダウン、多数のサービスに影響

クラウドサービスがダウンするのは十分想定できること。本当に落としたくないならさらに複数のクラウドやオンプレなどのリスクヘッジも検討するか、あるいはその想定をして許容するか