リリース一時間前の確認会
リリース前の確認会、火曜、十六時
PM 二十分です。ゴー/ノーゴー、どちらにしますか。
エンジニア コードは金曜から本番にあります。フィーチャーフラグの裏なので、出すというのは点けるだけの話です。
PM では明日の朝、一パーセントから始めて、しばらく座って見ます。
エンジニア 段階的リリースで一パーセント。ただし寝る前に、本番の設定でキルスイッチを試させてください。検証環境のほうではなく。
アナリスト 一パーセントだと、A/Bテストは一週間読めません。その交通量で見分けられる差が、期待している差より大きいので。
PM 今朝、十一パーセント伸びているグラフを見たんですが。
アナリスト あれは三十時間前のもので、消してほしいです。毎朝ひらいて、良い日に手を止める。ピーキングというのはそれで、自分をだます一番の近道です。
エンジニア 前回は振り分けもおかしかった。半々のはずが、二百万セッションで五十三対四十七でした。
アナリスト SRMです。案が勝ったのではなく、振り分けが壊れていた。この検定を落とした実験は読みません。
PM ガードレール指標のほうは。
アナリスト 返金と問い合わせ、どちらも横ばい。動かすと決めた数字はアクティベーションです。登録を終えた人ではなく、初めて誰かに共有した人。
エンジニア もう一つ。二週間前の障害でエラーバジェットをほとんど使いました。ここで揺れたら、今月は止まります。
アナリスト あと一つ。新しいイベント名を足すなら、その前にトラッキングプランを見てください。
PM わかりました。一パーセントで点けて、明日の十時にバグトリアージ。
決めるのに二十分。そのほとんどが機能の話ではありません。誰が止められるか、数字を誰が読んでよいか、そして数字のほうが嘘をついていたらどうするか。
確認会は、決めることから、戻り道へ進む
はじめは出すか出さないか。ところが、その問いは一分で別の話に変わります。いまどき、いきなり全員には届きません。次に来るのは測るための言葉と、測り方が壊れるときの言葉。最後に残るのは、危ない橋にあと何回渡れるかです。
ゴー/ノーゴーGo/no-go
予定どおりリリースするかを最終的に確かめる会議、または判断の地点。
ゴー/ノーゴーは4時。クラッシュ率を持ってきて。
この会が開かれる理由そのもので、議題の中でいちばん短い項目。
フィーチャーフラグFeature flag
新しく出し直さずに、選んだ利用者へ機能を出したり消したりできるコード上のスイッチ。
フィーチャーフラグの裏にあるので、出しておいて月曜に点ければいい。
配ることと、届けることを別の作業に分けた仕掛け。だから金曜から本番にあるものを、チームの外の誰もまだ見ていません。
段階的リリースStaged rollout
一度に全員へ出さず、割合を少しずつ広げながら変更を届けること。
段階的リリースで今日1%、グラフが退屈なままなら明日10%。
出しましたが百人に一人しか見えていません、という言い方を生んだ張本人。ベータと取り違えられますが、あちらは選ばれた人、こちらは全員の一部です。
キルスイッチKill switch
何かあったとき、その機能をすぐ止められる仕掛け。
50%へ広げる前に、キルスイッチが効くか確かめて。
何も起きていないときに試しておくもの。要る場面では、誰も手順書を読みません。
A/BテストA/B testing
実際のトラフィックを二案に分け、議論の巧さでなく測った行動で決めるやり方。
空状態をA/Bテストしたら、ボタン一つの案が勝った。
ボタンの好き嫌いが、答えのある問いに変わる方法。同時に、部屋の全員を素人の統計家にします。
ガードレール指標Guardrail metric
一か所の勝ちが別の場所を壊していないか、実験中に見張る指標。
転換率は上がったが、返金のガードレール指標も動いている。
誰も動かそうとしていない数字を、だからこそ見張ります。これがないと、一か所の勝ちが別の場所の負けを静かに買います。
ピーキング（途中のぞき）Peeking
実験の結果を何度も覗き、良く見えた時点で止めること。偽陽性が増える。
途中で覗くのはやめて。この実験は金曜まで回す。
実験を壊すいちばん人間らしいやり方で、いちばん認めにくいもの。毎日ダッシュボードを開く人は、全員やっています。
SRM（サンプル比の不一致）Sample ratio mismatch
意図した振り分け比と実際の比が統計的に食い違う状態。実験が壊れている印。
200万セッションでSRMの検定に落ちた。この結果は読まない。
案が負けたのではなく、実験そのものが壊れていると告げる検査。飛ばすと、壊れた振り分けが発見として世に出ます。
トラッキングプランTracking plan
どのイベントと属性を記録し、それぞれが何を意味するかを取り決めた文書。
新しいイベント名を思いつく前に、トラッキングプランを見て。
同じ名前で別のものを数えないための約束。一度書かれ、一年放っておかれ、腹を立てた誰かが書き直します。
アクティベーションActivation
新しい利用者が、価値を実際に受け取ったと分かる行動を終える地点。
アクティベーションは「初めての共有」で、「登録完了」ではない。
どのチームももめて、ほとんど書き残さない定義。登録の時点に置くと、その先のグラフは飾りになります。
バグトリアージBug triage
報告された不具合に、重さと担当と、直すか直さないかの判断を付ける定例の仕分け。
トリアージでP3になったので、今スプリントではやらない。
不具合に名前と担当と判定がつく三十分。いまはやらないも判定で、そう記録されます。
エラーバジェットError budget
SLOが許している失敗の総量。使い切るまではリスクを取れるが、超えればリリースを止める。
午後だけでエラーバジェットを使い切った。今月は危ない配信はなし。
何も壊れていないのに、出すのをやめる理由。信頼性を、言い合いから残高に変えます。
明日は十パーセントまで広がる
そのあと半分、それから全員。どこかで誰かが、実験は早めに切り上げられないかと訊きます。スイッチを持たされているのは、そのときのあなたです。
質問と答え
製品まわりのほかの言葉は。
トピックのページに、150語すべて。ここにあるのは十二語で、ひとつの確認会に出たぶんです。
なぜ英語が並んでいるのですか。
出すまわりの言葉は、どこの会社でも英語で入ってきます。もめるのは日本語で。カードは両方を並べて持っています。
説明はどこから。
「プロダクトとUX」のトピックから。アプリと同じカードです。
次の確認会では、別の十二語が出ます。
「プロダクトとUX」のトピックには150枚。アプリでは、1日に数枚ずつ届きます。
