2019/09/17 に開催された NoOps Meetup Tokyo #8 のイベントレポートです。

●イベント概要
NoOps Japan はちょうど1年前の 2018年9月12日に第1回Meetupを開催しました。今回は1周年ありがとうの会としてセッション2本とともに第1回登壇者によるLT、そして恒例になりつつある登壇者全員によるパネルQAを企画しています。

NoOps = No "Uncomfortable" Ops

NoOps Japanでは 「システム運用保守の"嬉しくないこと"をなくそう！」 をテーマに、 NoOpsを実現するための技術・設計手法・開発運用保守サイクル・ツールや考え方・事例などを共有していきたいと考えています。

※ NoOpsとは？：NoOps Definition

■オープニング

岡 大勝 さん [NoOps Japan 発起人]

photo by @dora_e_m

感謝 そして 乾杯！
第一回は台風で延期になるところからスタートでした

●前回のおさらい
・入門サービスメッシュ
・kubernetesのデータ管理どうする？主に永続化ストレージについて
・データドリヴンなサービス運営を目指して～機械学習インフラの設計思想と可能性～

●NoOps Japan Communityの活動
・知の共有　: Meetup
・ものづくり: OpenHack

●NoOps Japan Communityの行動指針
・オープン、フェア、フラット
・共感駆動のSRCAサイクル
どんな活動もぼっちから始まる
共感、尊重、貢献、感謝でまわりはじめる
共感をMeetupで
貢献をOpenHackで

●NoOpsの活動の分類
・Resiliency
・Observability
・Predictability
・Configurability
・Safety
・Less Toil

今日はアサヒスーパードライが無尽蔵に！

■Antifragileの世界

川島義隆 さん [ウルフチーフ]

●自己紹介
・今日はフォロワーを増やしに来ましたw
・運用設計の教科書 特典カバーデザインを担当

・流しのアーキテクト
・cookpadのマイクロサービスの話でインタビュアーしてきました

●わからないにはレベルがある
・Cynefin Framework
　　分からないことがない
　　　　Simple/Obvious
　　分からないことが分かっている
　　　　Comlicated
　　分からないことが分からない
　　　　Complex
　　何もわからない
　　　　Chaotic
・複雑には2種類ある
　　分からないことが分かっている
　　分からないことが分からない
・複雑と複雑系は違う
　　complex/chaotic

●レベルによって戦術が異なる
・Simple / Obvious
　　既知のベストプラクティスを適用
・Complicated
　　複数のソリューションから最善なものを適用する
・Complex
　　仮説検証、アジャイルなアプローチ
・Chaotic
　　Chaoticな状況の生存戦略
　　Antifragileは、Fragileの対義語がないのでつくられた
　　　　Robustは「注意するな」ではない
・イメージ
　　Fragile : ヤムチャ
　　Resilient : ピッコロ
　　Antifragile : サイヤ人

●世の中の出来事の非対称性
・食肉用に育てられる七面鳥から見た飼い主との関係
　　線形に伸びてきた信頼が一気に裏切られる
・予測ができない大きな変動 Black Swan
　　リーマンショック、バブル崩壊、3.11
　　後知恵バイアスがかかる
　　ありそうもないことだと過小評価しがち
・Black Swanが起きたら
　　予測できないことは仕方がない
　　予測ミスによる損失を最小化、利得をを最大化するには？

●Simple/Obvious が Chaotic に変わるとき
・ユーザはひどいもんだ
　　ユーザがいなければ、システムはもっとうまく動くのに
　　by Rlease It! 4章 安定性のアンチパターン

●ソフトウェアへの適用
・Tinkering
　　adobeのkickbox
　　googleの20%ルール
・Chos Engineeringの5原則
　　定常状態における振る舞いの仮説を立てる
　　実世界の事象は多様である
　　本番環境で検証を実行する
　　継続的に実行する検証の自動化
　　影響範囲を局所化する
・自動bug fix: DeepFix
　　DeepLearningを利用したパッチ自動生成
・AutoTuning
　　ランダムにJVMパラメータを決めて起動
　　負荷をかけて、モニタリング値を評価
　　評価値が最大のJVMパラメータを元に次を選出
・Property Based Testing
　　Example Based
　　　　Assertionに決まりがない
　　Property Based
　　　　期待した振る舞いか？を確認
　　　　Specに従ってパラメータを生成
・Noise除去
　　データに触れるほど、信号よりもノイズに触れる数が増える

●Antifragile Systemを支える技術
・Microservices
　　障害の局所化
　　Tinkerring環境
・亀裂の伝播を防ぐ
　　サーキットブレーカー、障壁など
　　全て Release It! 第2版 に書いてあります
・DevOpsとAntifragileの重なりは多い
　　DevとOpsの分離
　　Opsの無人化
　　OpsのAntifragile化

●まとめ
・置かれた状況がどこか知ることが最重要

・複雑さの推移はシステムとビジネスサイドで逆方向

■Observability: Mackerel による観測と Mackerel の観測

@ast_j さん [株式会社はてな]

●Mackerel
・はてなが提供しているサーバ監視のサービス

●監視
・Observability
　　システムの内部状態が取得できる状態
　　構成要素
　　　　metrics, logging, tracing
　　Mackerelはmetricsが主戦場
・可観測性 ≠ 観測
　　可観測性：システムが持つ性質
　　観測　　：システム外部の行動
・人間やシステムが観測している
　　アラート対応
　　グラフを見る
・メトリック監視
　　メトリックを収集する
　　集積する
　　見えるようにする
　　人かシステムが見る
・監視の分類
　　Observability
　　Observe impl.
　　Observation

photo by @okahiromasa

●Mackerelによる監視
・収集方法
　　Agent型
　　URL外形監視
　　AWS/Azureをポーリング
・Mackerelでの観測手段
　　プラグイン自作
　　　　出力が素朴だから、bashでもgoでも
　　HTTPでJSON形式をレスポンス
・即時対応のアラート
　　実際にシステムが稼働しているか？
　　　　外形監視、エラーレート
　　　　CPU 100%でも動いているならアラート不要
　　対応が必要なアラートが埋もれないように

●Mackerelの監視
・JVMアプリの観測
　　jstat, jolokia JVM内部構造
　　サーバーごとのレイテンシ
　　APM: NewRelic APM
　　ログ: fluentd -> kibana

Mackerlも今日で5周年！

■LT1: NoOps Japan Community 1st Anniversary 祝辞

真壁 徹 さん [Microsoft]

●1年前
・以前に Opsの味方 という記事を書いた
　　NoOps？よろしい、ならば戦争だ
　　-> 和解へ
・2019/09/17
　　NoOpsのGoogle検索結果を
　　NoOpsコミュニティで染めた！

●NoOpsへの挑戦 成熟度
・戦術的課題
　　ビジネスリーダー層の理解
　　1,2割
・戦略的課題
　　既存組織や資産でブレーキを踏まれる
・文化的課題
　　ビジネス的な妥当性がない で終わり

●戦術的、戦略的課題を抱える有志へできること
　　次の一年は、トップランナー以外にも
　　課題を抱えている人に話してほしい！

●文化的課題を抱える有志へできること
　　他人や組織のマインドやカルチャーを変えるのは難しい
　　機会が生まれたときの準備に！
　　NoOps GameDayやりましょう！

■LT2: From 2018/09/20 to 2019/09/17

塚 譲 さん [Mercari]

●yahoo
・良いチームと働かせてもらえた
・ベアメタルのk8sサービス
・Yahoo! File Manager
　　をmercariのスライドでw

●mercari
・microservices platform
　　一緒に働くやつは自分たちで決めるチーム

●大切にしていること
・Developer Productivity Engineering
・考えを変えないのはバカと死体だけ
・自分のできることで、喜んでもらえるところで働きたい
・継続的に刺激を受けることが大切

■前回の様子

■感想

・認知バイアスに挑み続ける姿勢
・分からないのレベルに合わせた戦術
・システムとビジネスで反対になる複雑さの推移
・監視の 集める、貯める、見せる、使う フロー
・NoOps GameDay
・考えを変えないのはバカと死体だけ
など、沢山の なるほど と 共感 をいただけました！

登壇者の皆さん、スポンサーの皆さん ありがとうございました！！