Час до выкатки: двадцать минут на решение
Го / ноу-гоу, вторник, четыре часа
Продакт Двадцать минут. Идём или откладываем.
Разработчик Код в проде с пятницы, тёмный. Он под флагом, так что «идём» — это щёлкнуть тумблером, а не выкатывать заново.
Продакт Тогда завтра с утра открываем на процент и сидим смотрим.
Разработчик По долям, с процента. И тумблер отключения хочу опробовать на боевой настройке, а не на тестовой, до того как лягу спать.
Аналитик На проценте я эксперимент неделю не прочитаю. Минимальный различимый эффект на таком трафике крупнее, чем сдвиг, которого мы ждём.
Продакт Утром был график, там плюс одиннадцать.
Аналитик Тому графику тридцать часов, и я хочу, чтобы его удалили. Заглядывать каждое утро и останавливаться на удачном дне — так команда убеждает себя в подбрасывании монеты.
Разработчик На прошлом ещё и деление разъехалось. Пополам задумывали, а вышло пятьдесят три к сорока семи, и это на миллионе с лишним сессий.
Аналитик Значит, сломалось распределение, а не вариант выиграл. Тест, который эту проверку не проходит, я читать не буду.
Продакт Что с гардрейлами.
Аналитик Возвраты и обращения в поддержку — обе ровные. А двигать мы договаривались активацию, и меряем её по общему проекту, а не по заведённому аккаунту.
Продакт Событие под активацию уже завели.
Аналитик Завели, но перестаньте выдумывать имена событий на ходу. Договорённость про события лежит в одном документе, туда и надо смотреть.
Разработчик И ещё. Бюджет ошибок мы почти весь спустили на аварию две недели назад, так что если это качнётся — стоим до конца месяца.
Продакт Понял. Идём, на проценте, и триаж завтра в десять.
Двадцать минут на решение, и почти ничего из них — про саму фичу. Разговор о том, кто может её выключить, кому позволено читать числа и что делать, если числа врут.
Созвон перед выкаткой идёт от решения к пути назад
Начинается с «да» или «нет» и тут же перестаёт быть этим: всем сразу теперь не отдают ничего. Дальше идут слова для измерения и для того, как измерение врёт. А кончается тем, сколько у команды осталось запаса на риск.
Го / ноу-гоуGo/no-go
Встреча или точка решения прямо перед релизом: выпускаем или нет.
Го / ноу-гоу в четыре, нужны свежие цифры по падениям.
Минута, ради которой созвон и существует, и самый короткий пункт его повестки.
Фича-флагFeature flag
Переключатель в коде, который включает и выключает фичу для выбранных пользователей без нового релиза.
Она за фича-флагом, так что зальём выключенной и включим в понедельник.
Из-за него выкладка и включение стали разными делами. Оттого код и лежит в проде с пятницы, а снаружи его никто не встретил.
Поэтапная раскаткаStaged rollout
Выпуск изменения на растущую долю пользователей вместо того, чтобы отдать его всем сразу.
Поэтапная раскатка: сегодня процент, завтра десять, если графики останутся скучными.
Из-за неё «мы выпустили» теперь означает «увидеть это может сотая доля людей». С бетой путают: там позванные, тут — доля от всех.
Килл-свитчKill switch
Управление, которым фичу выключают мгновенно, когда что-то пошло не так.
Проверим килл-свитч до того, как выйдем на пятьдесят процентов.
Опробовать его надо, пока всё цело: в минуту, когда он понадобится, документацию читать никто не станет.
A/B-тестA/B testing
Две версии показывают разным долям трафика и решают по поведению, а не по тому, чей аргумент звучал убедительнее.
Прогнали A/B-тест на пустом состоянии — победил вариант с одной кнопкой.
Как спор про кнопку превращается в вопрос с ответом. Заодно делает всю комнату статистиками-любителями.
Гардрейл-метрикаGuardrail metric
Метрика, за которой следят во время эксперимента, чтобы победа в одном месте не ломала другое.
Конверсия выросла, но гардрейл-метрика по возвратам тоже сдвинулась.
Число, которое никто не собирался двигать, и следят за ним ровно поэтому. Без него рост в отчёте оплачивается тем, о чём узнают от поддержки через месяц.
ПодглядываниеPeeking
Смотреть в результаты эксперимента снова и снова и остановить его, как только цифры красивые; ложных находок от этого больше.
Хватит подглядывать, тест идёт до пятницы.
Самый человеческий способ сломать опыт и самый трудный для признания. Кто открывает дашборд каждое утро, тот это делал.
SRMSample ratio mismatch
Статистически значимое расхождение между задуманным делением трафика по группам и фактическим — признак сломанного эксперимента.
На двух миллионах сессий деление не прошло проверку на SRM, результат не читаем.
Проверка, которая говорит: сломался сам опыт, а не проиграл вариант. Пропустишь — и сломанное распределение уедет наружу как находка.
Трекинг-планTracking plan
Согласованный документ о том, какие события и свойства пишутся и что каждое из них значит.
Прежде чем придумывать новое имя события, смотрим в трекинг-план.
Договорённость, которая мешает двум командам понимать под одним именем разное. Пишут её однажды, год не открывают и переписывают уже в сердцах.
АктивацияActivation
Момент, когда новичок совершает действие, показывающее, что он получил настоящую пользу.
Активация — это «первый проект расшарен», а не «аккаунт создан».
Определение, о котором спорит каждая команда и мало кто записывает. Поставишь его на регистрацию — и все графики после неё украшение.
Триаж баговBug triage
Регулярный разбор заведённых багов: важность, владелец и решение чинить или не чинить.
Из триажа он вышел как P3, значит не в этот спринт.
Полчаса, где у бага появляются важность, хозяин и приговор — включая приговор «не сейчас», который тоже решение.
Бюджет ошибокError budget
Сколько сбоев допускает SLO; этот запас команда тратит на риск, пока релизы не приходится ставить на паузу.
Бюджет ошибок сожгли за один вечер, так что рискованных выкладок в этом месяце нет.
Причина, по которой команда иногда перестаёт выкатывать, хотя всё выглядит целым. Он превращает надёжность из спора в количество.
Завтра откроют десяти процентам
Потом половине, потом всем, и где-то посередине кто-нибудь спросит, нельзя ли остановить опыт пораньше. Тумблер будет у того, кто дежурит.
Вопросы и ответы
А остальные слова про продукт?
На странице колоды, все 150. Здесь двенадцать — те, что прозвучали на одном созвоне.
Почему два языка на одной странице?
«Фича-флаг», «раскатка», «килл-свитч» приезжают по-английски в любой офис, а спорят вокруг них по-русски. Обе формы стоят на одной карточке.
Откуда взяты определения?
Из колоды «Продукт и UX» — тех же карточек, что и в приложении.
На следующем таком созвоне прозвучат другие двенадцать.
В колоде «Продукт и UX» их 150 — в приложении они идут по нескольку в день.
