Последние посты
Борзило
4 авг., 12:45
Сегодня мне 36 годиков🤠 Утром сходил на тренировку, скоро буду кушать торт, а вечером проведу 11 занятие на курсе. Как ваши дела?)Борзило
30 июн., 09:14
Мифы АБ тестирования. Часть 3Миф 1. Рандомизация создает абсолютно одинаковые группы Реальность: Идеальной балансировки групп «из коробки» не существует. Рандомизация гарантирует лишь отсутствие системного сдвига (bias), но не идентичность выборок. На практике между сегментами групп всегда будет небольшое отличие.Миф 2. Критерий Манна-Уитни можно использовать для оценки средних Реальность: Критерий проверяет не равенство средних, а так называемое стохастическое доминирование. Упрощенный пример: может возникнуть ситуация, что среднее группы A больше, чем среднее группы B. Но этот рост достигнут за счет того что в группе B сегмент китов перестал платить много, а сегмент "типичных пользователей" немного увеличил платежи. Критерий Манна-Уитни может посчитать, что группа B значимо лучше A, но при этом мы теряем в среднем доходе в группе B.Миф 3. Каждая новая единица наблюденияБорзило
24 июн., 11:07
Проанализировал отзывы при помощи ИИ 🤖Уже накопилось достаточно много отзывов о курсе и я попросил одну из ИИшек посмотреть на них и написать ТОП 7 пунктов "за что ученики ценят курс по АБ тестированию". Вот, что выдала ИИшка1. Логичная и четкая структура материала Ученики отмечают, что курс выстроен последовательно: от основ статистики до глубоких практических тем. Это помогает «разложить информацию по полочкам» и сформировать в голове единую картину процесса тестирования.2. Доступное объяснение сложных тем Автор умеет объяснять сложные вещи (p-value, доверительные интервалы, t-тест) простым языком, «на пальцах» и без излишней формульной нагрузки. Ученики подчеркивают, что даже те, кто был далек от статистики, легко вкатываются в процесс.3. Огромный упор на практику и реальные кейсы Курс не застревает в «зауми», а предлагает задания, максимально приближенные к жизни. УченикамБорзило
22 июн., 10:51
Артефакты курса по АБ тестамВ прошлом посте я анонсировал набор на 6 поток курса по АБ тестированию. Там коротко описаны программа, сроки и есть отзывы.Сегодня хочу поговорить, о том какие артефакты получают студенты курса.1. Шаблон дизайна АБ теста Форма из 36 пунктов где вы последовательно указываете все важные параметры: гипотеза, аудитория, метрики, стат параметры и прочее. На выходе получаете понятный план проведения АБ теста.2. Чек-лист валидации АБ платформы Чек-лист из 25 пунктов, где я разбираю основные проблемы АБ платформ и по которому вы можете проверить работу своей платформы.3. Шаблон формирования гипотез Не каждая идея - это гипотеза, большинство идей рассыпается если попытаться их формализовать по 6 пунктам из этого шаблона.4. Чек-лист валидации данных и оценки результата АБ Одна из частых проблем. АБ тест провели быстрее идут анализировать результат, забываяБорзило
18 июн., 13:22
📣 6 поток курса по АБ тестированию30 июня планирую запуск 6 потока курса по АБ тестированию. Курс состоит из 19 занятий и длится 2 месяца.👨🏻💻 Для кого курс? - Только вкатываюсь в статистику и АБ тесты с нуля - Уже учил статистику или проходил курс по АБ, но не понял и запутался - Уже провожу АБ тесты, но не понимаю как это работает, возможно где-то ошибаюсь✅ Блок 1 - базовая статистика В течении первых 6 занятий закладываем базу по статистике. Начинаем с самых основ: среднее, дисперсия, ЦПТ, ЗБЧ, H0, H1, ошибки 1/2 рода, MDE, размер выборки, стат критерии.Фокус на том, что действительно нужно для АБ, без ухода в побочные темы.По результатам блока - студент понимает как работает проверка статистических гипотез и как работают стат.критерии✅ Блок 2 - специфика АБ тестирования Здесь будем приземлять статистическую теорию на АБ тесты. ИзучимБорзило
16 июн., 13:46изменён
После прохождения 6 занятий статистика стала понятней - сложилась единая картинаЕще один отзыв о моем курсе по АБ тестированию. Сергей, как и многие отмечает, что у него была проблема с пониманием статистической базы.Я бы сказал, что статистическая база коварна. Начинаешь учить среднее, медиана, дисперсия - все понятно, дальше появляется какая-то ошибка среднего, пропускаешь между ушей.Потом ЦПТ, ЗБЧ, распределения каких-то выборочных средних, стат критерии. Кажется, что тебя нагрузили кучей информации, а по итогу запомнил среднее, медиана, дисперсия, а дальше каша.Чтобы такого не происходило в головах слушателей я выкинул из курса все что отвлекает от сути, а также стараюсь столкнуть человека с одной и той же информацией как минимум 3 раза под разными углами, чтобы оно не проплывало мимо сознания и могло склеиться в систему связанных знаний.P.S. Добавил хештег для просмотраБорзило
15 июн., 11:33
5 интересных вопросов с собеседований по АБ тестированиюВ одном из прошлых постов мы разобрали самые частые вопросы с собеседований по АБ-тестированию. Сегодня хочу обсудить более интересные кейсы, которые также любят задавать на интервью по АБ-тестам и статистике.Ответы я скрыл. Предлагаю вам сначала обдумать свой вариант, а уже потом заглядывать в мой.1. Что делать с выбросами в АБ-тесте и на что они влияют?Начнем со второй части вопроса: «На что влияют выбросы?» Обычно в первую очередь думают о том, что выброс сильно сдвигает среднее значение, из-за чего мы можем получить большую дельту между вариантами и «случайно» поймать статзначимость.Выброс действительно может сместить среднее, но главная беда в другом: он сильно раздувает дисперсию. Из-за этого нам, наоборот, становится гораздо сложнее обнаружить реальные значимые отличия. Обычно от выбросов хотят избавиться как разБорзило
14 июн., 11:06изменён
Главное, что дал дал курс - понимание того как работает статистика в АБ тестахПродолжаю делиться отзывами учеников о моем курсе по АБ тестированию.Елена уже работала аналитиком и даже проходила разные курсы по статистике, в том числе и в МФТИ, но статистика и АБ тесты не складывались в единый пазл.Это довольно частая ситуация. Я и сам в начале изучения АБ тестов упарывался в кучу книг и курсов по статистике.У меня были огромные карты выбора статистических критериев, я пытался запомнить формулы и определения, периодически лез в теорию вероятностей.В итоге вместо системного понимания знал кучу всего, но не понимал как это все связано и как применить в продуктовых экспериментах.На курсе я постарался отсечь все лишнее и второстепенное и сфокусировать учеников на том что действительно является статистической базой для АБ тестирования, чтобы потом на это наложить саму практику АББорзило
13 июн., 10:22
ТОП 5 самых частотных вопросов с собеседований по АБ тестамСегодня поговорим про наиболее распространенные вопросы при собеседовании на продуктового аналитик. Я скрыл ответы, попробуйте ответить самостоятельно, а потом читайте ответ.1. Что такое p-value? Это вероятность получить такие различия или еще большие, при условии, что между вариантами нет различий, то есть верна H0. Т.е. это вероятность обнаружить полученную разницу между метриками АБ теста просто случайно.При подведении итога АБ теста мы должны сравнить значение p-value с заранее определенным уровнем альфа. Если окажется, что p-value меньше альфы, то можно говорить о том, что мы отклоняем нулевую гипотезу и признаем наличие стат. значимых отличий между вариантами.2. Что такое ошибки 1 и 2 рода Ошибка 1 рода - ситуация когда варианты АБ теста одинаково воздействуют на пользователей(верна H0), но в результате проведенияБорзило
10 июн., 08:31изменён
Обустроил в кабинете место для отдыха с чайным столиком и глюкофоном. А как вы релаксируетесь?PS в коментах видосБорзило
9 июн., 10:19изменён
Благодаря курсу смогла успешно пройти секции по статистике и кейсам в Яндексе 📱Давно с вами не делился отзывами учеников прошедших мой курс по АБ тестированию. Наталья, как и большинство людей на курсе, уже работала в анализе данных несколько лет, занималась антифродом, но с АБ тестами не сталкивалась.У нее была задача получить крепкую базу по статистике для АБ тестов и разобраться в самом процессе и специфике АБ тестирования. Что дал ей курс вы можете прочитать в прикрепленном отзыве.#отзывы_курс_АББорзило
7 июн., 09:37
Что мешает изучить АБ-тесты?С большинством ребят, которые приходят ко мне на курс по АБ-тестированию, я общаюсь лично перед стартом. Мне важно понять их уровень, а также подсветить, где именно у них провалы в знаниях и навыках. Сегодня хочу поговорить о том, в каких темах чаще всего возникают проблемы.1. Непонимание случайности и истинной цели АБ-тестов На курс приходит много практикующих дата-аналитиков. Они круто делают дашборды, витрины, ETL и отчеты, но раньше не сталкивались с экспериментами.Обычно в учебниках пишут про абстрактную «случайную величину». Так вот, метрики в наших АБ-тестах — это и есть случайные величины. В любой момент времени метрика одного из вариантов может чисто случайно оказаться больше или меньше другого.В АБ-тесте нас вообще не интересует вопрос, метрика какой из выборок больше прямо сейчас. Это мы можем оценить и без сложной математики, простоБорзило
2 июн., 07:30изменён
Запись стрима про ошибки в АБ тестировании👨🏻💻На прошлой неделе на стриме у Андрея Андреева, автора канала CRO & Personalization. Рассказывал про типичные ошибки в АБ тестах.Мне кажется про ошибки можно очень долго говорить, за час мы очень верхнеуровнево поговорили всего про 10 штук.Часть из них касалась проблем сплитования и выборок. Например сплитование по принципу четный/четный. Иногда аналитики при ручном создании выборок забывают добавлять уникальную соль для эксперимента.Эти две ошибки приводят, к тому что одни и те же пользователи попадают в одни и те же группы в разных экспериментахДругая часть ошибок была связана с проблемами методологии: отсутствие учета проблемы множественного сравнения, неверный расчет метрик и подбор критериев.Также разобрали классические проблемы SRM и оценки практической значимости АБ теста. Тем кто только планирует делать АБ тесты и вБорзило
28 мая, 13:57
ТОП-10 ошибок в A/B-тестах, которые новички совершают с завидной регулярностью В рамках проекта Learnings в этот четверг в 17:00 разберем: ❌ SRM – незапланированное деление трафика (это не безобидно, это приговор тесту) ❌ Путаем статистическую и практическуюБорзило
27 мая, 08:33
переслано из @cro_experiments
ТОП-10 ошибок в A/B-тестах, которые новички совершают с завидной регулярностьюВ рамках проекта Learnings в этот четверг в 17:00 разберем:❌ SRM – незапланированное деление трафика (это не безобидно, это приговор тесту) ❌ Путаем статистическую и практическую значимость – результат есть, а пользы ноль ❌ Не сочетаем метрики со стат. критериями – получаем мусор на выходе ❌ Думаем: «p > 0.05 = нет разницы» – фатальное заблуждение ❌ Подглядываем за тестом каждый час – будем часто обманывать сами себяИ еще 5 критических ошибок, которые превращают A/B-тест в лотерею.Приходите, научимся тестировать правильно 😈Добавляем ссылку в календари и ставим напоминание на 28.05.2026 в 17:00Борзило
27 мая, 08:33
Заходите завтра послушать2,150Открыть в TelegramБорзило
26 мая, 07:33
Мысли после посещения Aha 26Конфа как и всегда прошла хорошо, с точки зрения организации все было здорово. В этом посте скорее хочется поговорить о том, как через конференцию считывается состояние рынка аналитики в РФ.1. Народа было меньше чем обычно Кажется, что компании режут косты и поэтому плюшки в виде посещения конференции для части сотрудников убрали2. Стендов бигтехов почти не было Был T1 (Иннотех), MTS Web Services, еще были стенды разных небольших ребят и промо стенды. Яндекс, ТБанк, Авито, Райфайзен, Озон, HH и другие не были представлены.От Яндекса был небольшой стенд Yandex Data Lens, но он скорее направлен на пиар BI системы.Отсутствие бигтехов наводит на мысль, что для них сейчас найм аналитиков не в приоритете, ну либо они решили выставляться раз в год только на Матемаркетинге.3. Многих знакомых лиц не было Многие из тех с кем пересекаюсь на конференциях, вБорзило
22 мая, 07:29
Я на Ахе, давайте общаться)Борзило
28 апр., 06:31
Сколько нужно AI агентов чтобы заменить одного "кожанного" аналитика?Вот учишься писать там всякие sql, питоны, анализировать данные и проводить АБ тесты, а потом приходит AI агент и начинает работать вместо тебя.Конечно компании еще не собираются отказываться от нас с вами, но внедрение AI в процессы аналитики уже идет.Можно сказать, что мы только в начале AI внедрений и многие внедрения это пилотные-подходы и все это происходит за закрытыми дверями, внутри компаний, а подглядеть то хочется))Совсем скоро, 22 мая, в Москве пройдет ежегодная конференция по продуктовой аналитике "AHA’26" там ребята из разных компаний будут показывать как именно внедряют LLM и прочие AI штуки в аналитику.Один из докладов, который мне интересно послушать: A/B‑тестирование для LLM‑воркфлоу с учётом системы контроля качества и баланса между метриками пользователя, качества моделей и экономическойБорзило
22 апр., 10:34
Пополнил свою коллекцию бумажных книг по статистике.Это одна из 3 книг, которую я обычно рекомендую тем кто стартует изучение статистики.Теперь у меня есть в бумажном виде все 3 книги😎
Бот обратной связи для своего канала — бесплатно
Подписчики пишут боту, вы отвечаете реплаем, ваш аккаунт скрыт. Создаётся в одно касание.
Как это работает →
