Latest posts
Trisigma — про эксперименты
14 Sept, 13:47
Привет! Это Вит.1 октября мы проведём первый митап в Ташкенте — Trisigma to Tashkent. Это смелый и важный для нас шаг. Да и для комьюнити тех, кто делает A/B-культуру в России и СНГ, думаю, тоже.Программу собрали на весь день. Среди спикеров — TBC и Uzum. Вот о чём будем говорить:— Как культура экспериментов превращает продуктовую команду в data-driven, а не data-informed. — Как выстроить аналитику так, чтобы она помогала, а не мешала бизнесу. — Как в разных компаниях устроен процесс работы с данными, и почему в одной он работает как нужно, а в другой нет. — Как оценить экономический эффект от внедрения A/B-культуры в бизнесе.После дискуссии и обсуждений проведём демо Trisigma.Буду рад видеть вас очно. Также можно подключиться из любой точки онлайн.🔵Регистрируйтесь и отправляйте коллегам — ждём всех, кто работает с продуктом и данными.И до
Trisigma — про эксперименты
7 Sept, 14:53
Всем привет, это Искандер🔵 Предлагаю вам взглянуть на пейпер Amazon и Northeastern «Agent A/B: Automated and Scalable A/B Testing on Live Websites with Interactive LLM Agents». Исследование предлагает систему, которая использует LLM-агентов с разными персонажами для автоматизированного и масштабируемого A/B-тестирования веб-интерфейсов — агенты имитируют поведение реальных пользователей (поиск, клики, покупки), что позволяет обойти ограничения традиционных тестов.ПроблемаАвторы сначала опросили шесть практиков из екома, которые регулярно катят тесты на аудитории от миллиона человек. Картина знакомая до боли: путь от идеи до финального решения занимает от трёх месяцев до года, трафика на всех не хватает, тесты на пересекающиеся куски интерфейса приходится ставить в очередь. В итоге до теста доезжает мало гипотез, а ранние прототипы не проверяютсяTrisigma — про эксперименты
27 Aug, 11:01
Всем привет! На связи Вит и это пост по следам вчерашней FuckUp Night.🔵 Вчера мы собрали друзей, и каждый из них поделился своей фейл-историей — из регулярной работы или больших профессиональных событий.➖Беслан Курашов, сооснователь Karpov.Courses — рассказал, как его компанию продали без него.➖Роман Нестер, Segmento (продан Сберу) и Arteus LLM — про то, как создавал стартап и продавал его Сберу. И поделился, какие сложности вообще возникают при продаже своего бизнеса корпорации.➖Валерий Бабушкин, BP — рассказал историю из регулярной практики: как проблема прогнозирования спроса сказывается на наличии товаров на полках.Про такие провалы обычно не говорят, а, если и обсуждают, то тихо и за закрытыми дверями. А рассказывать про них важно и нужно!Trisigma — про эксперименты
26 Aug, 11:51
Привет! Это Вит. Мы с Романом Нестером, Валерием Бабушкиным и Бесланом Курашовым (plevako.ai и karpov.courses) приглашаем вас на наш FuckUp Night 26 августа. От формата отходить не будем — поделимся своими историями, где всё пошло не по плану. И поговоримTrisigma — про эксперименты
12 Aug, 13:02
Привет! Это Вит.Мы с Романом Нестером, Валерием Бабушкиным и Бесланом Курашовым (plevako.ai и karpov.courses) приглашаем вас на наш FuckUp Night 26 августа.От формата отходить не будем — поделимся своими историями, где всё пошло не по плану. И поговорим про культуру ошибок: как не зацикливаться на промахах и использовать их в свою пользу.Встречу проведём онлайн, поэтому подключиться можно из любой точки и всем, кто принимает решения на основе данных.🔵 Важно! Записи не будет, поэтому приходите на эфир. Главное, не забудьте зарегистрироваться.Trisigma — канал про A/B-тестирование#trisigma
Trisigma — про эксперименты
30 Jul, 14:01
Привет! Это Вит.Выпустили на Хабре AvitoTech короткое интервью. Короткое, потому что это — выжимка из выпуска AviTalk. Внутри для себя можно найти ответы на эти вопросы:— если идти в свое дело, то каким может быть путь; — можно ли делать бизнес с друзьями; — каким может быть предпринемательский Оскар; — практические советы тем, кто хочет свой бизнес.Как и всегда, жду в комментариях после прочтения 👇Trisigma — канал про A/B-тестирование#trisigmaTrisigma — про эксперименты
28 Jul, 12:03
Всем привет, это Искандер.🔵 Предлагаю вам взглянуть на пейпер Airbnb про interleaving.Проблема Airbnb улучшает поиск по жилью, метрики у них конверсионные, вплоть до бронирования. Бронируют редко, куда реже, чем кликают в обычном e-commerce. Значит A/B нужно много трафика и много недель, а идей по ранжированию всегда больше, чем свободных слотов под тесты. В классических A/B физически сложно это все уместить.Что предлагают авторы Пользователей не делят на контроль и тест. Выдачу двух ранкеров смешивают и показывают одному человеку сразу, поэтому сравнение идёт внутри одного пользователя, а не между группами. Смешивают через team drafting. Т.к. пользователю мы показываем результаты обоих ранкеров, то все что делает сплиттер, это рандомизация порядковых номеров для каждого элемента в выдаче (AABABB, BABBAB и т.п.) Победителя определяют по preferenceTrisigma — про эксперименты
24 Jul, 09:24
Привет, это Вит.🔵Я уже рассказывал вам про то, что мы запустили блог на сайте Trisigma. Сегодня про две статьи оттуда, которые помогут точно ответить на вопрос: Когда останавливать A/B-тест.Первая, а точнее первая часть про MDE (Minimum Detectable Effect). В ней про то, что такое MDE, почему без него невозможно понять, сколько на самом деле должен длиться тест, и как не тратить недели на эксперименты, которые изначально не способны дать полезный результат.Вторая — про Монте-Карло, метод с помощью которого можно оценить возможные результаты чего угодно. В его основе — многократное симулированное моделирование исходов каких-либо событий (всё, как в рулетке, собственно оттуда и название).Trisigma — канал про A/B-тестирование#trisigmatrisigma.ioКогда останавливать A/B-тест? Часть 1: MDETrisigma — про эксперименты
13 Jul, 11:44
Всем привет, это Искандер.🔵И я к вам с новым обзором. Сегодня предлагаю взглянуть на пейпер Netflix «Evaluating Decision Rules Across Many Weak Experiments», как оценивать правила принятия решений по множеству слабых A/B‑тестов.ПроблемаКомпания гоняет тысячи экспериментов, но правило «когда катить фичу» методологически прорабатывается без должного внимания. Катим, «если стат.значимо». Или «катим, если аплифт положительный». А сколько эта политика приносит в сумме по всему корпусу экспериментов, никто не считает.Что предлагают авторыNetflix взяли исторические эксперименты, на них применили правила «катим/не катим» по двум подходам (старый подход с вынесением вердикта по результатам и новый). Сложили по всем тестам вердикты (катим/не катим) и получили, сколько метрики каждое правило принесло бы суммарно. Хорошее правило катит больше реальноTrisigma — про эксперименты
7 Jul, 13:57edited
Привет, на связи Вит.Давно не было рубрики «Не утверждаем — а обсуждаем».Sequential testing убивает воспроизводимость результатов.Согласны или нет? Почему? Ждём в комментариях 👇Trisigma — канал про A/B-тестирование#trisigmaTrisigma — про эксперименты
1 Jul, 12:21
Привет! На связи Вит.Мы ищем старшего аналитика данных в Trisigma. Команда у нас одна из самых сильных на рынке. Поэтому и задачи ждут интересные: — проводить R&D; — проектировать дизайн продуктовых инкрементов, развивать движок Semantic Layer и документацию (подходы, best practices, статьи); — проектировать аналитические решения для клиентов и внедрять их.🔵Откликайтесь напрямую на карьерном сайте. И обязательно пересылайте знакомым, которым может быть интересна позиция.Trisigma — канал про A/B-тестирование#trisigma
Trisigma — про эксперименты
30 Jun, 13:20
Привет! Это Даня Никольский, бэкенд-инженер Trisigma.Недавно я рассказывал, как мы в внедрили Switchback в нашу платформу. Сейчас мы вместе с коллегами написали большой гайд про такие эксперименты. Рассказали, как они устроены, почему для них не подходит обычный t-тест и какая инфраструктура нужна, чтобы проводить их в промышленном масштабе.🔵Читайте по этой ссылке. А вопросы — оставляйте в комментариях 👇Trisigma — канал про A/B-тестирование#trisigma
Trisigma — про эксперименты
24 Jun, 11:19
Ребят, это Вит, и я к вам с очень крутой новостью!🔵У нас в EXPF был блог на Medium с максимально прикладными статьями. И вот наконец-то мы перенесли материалы оттуда на сайт Trisigma. Так что встречайте и читайте Trisigma блог!Конкретные материалы рекомендовать не буду, они все хороши. А все новые будем анонсировать тут. Так что stay tuned!Trisigma — канал про A/B-тестирование#trisigma
Trisigma — про эксперименты
19 Jun, 11:01
Привет! Продолжаем рубрику «Не утверждаем — а обсуждаем». На повестке пятницы вот такой вопрос: Стратифицированная рандомизация — когда помогает а когда вредит? Что думаете? Ждём в комментариях 👇 Trisigma — канал про A/B-тестирование #trisigmaTrisigma — про эксперименты
18 Jun, 15:26edited
Привет! На связи Вит.🔵Не так давно выступал на KARPOF.CONF, делюсь записью и удобным конспектом. Говорил про AI, а точнее про то, как выстроить аналитическую инфраструктуру, чтобы он был активом.Запись есть только в ВК (смотреть можно без регистрации), а конспект — прикрепил в пдф.Буду рад вашим кейсам с AI и в экспериментах, и в аналитике в целом. Делитесь, как используете и насколько это эффективно.Trisigma — канал про A/B-тестирование#trisigmaTrisigma — про эксперименты
10 Jun, 15:42
Привет! Это Вит.🔵Ещё весной рассказали «Коммерсанту», как устроен рынок платформ для экспериментов в России. Если кратко и по интересным цифрам: половина компаний ещё не поняла, зачем им культура данных, а создание своей платформы обойдется от 150 млн руб. за три года. При этом готовое решение — от 2,5 млн в год. И да, 80% гипотез не дают значимого эффекта, но именно 10% негативных спасают бизнес от факапов.Почему так, и в целом про экономику, VPC, on‑prem и почему все хотят не готовое решение, а консалтинг — читайте тут. А мнения/вопросы/комментарии туда 👇Trisigma — канал про A/B-тестирование#trisigmaTrisigma — про эксперименты
4 Jun, 16:32
Всем привет, это Искандер.🔵В прошлый раз я поделился с вами пейпером про подход с ARMA-Design от нескольких международных университетов. Следующий пейпер, который хочу обсудить, снова про нарушение SUTVA, но уже не во времени, а в пространстве.Откуда проблемаЗапускаете A/B на социальной сети: часть пользователей получает новый тип реакций, часть — нет. Казалось бы, всё чисто. Но контрольные пользователи видят, что их друзья из treatment что-то делают иначе. Они, в свою очередь, меняют свое поведение. ATE по итогу будет смещён, и авторы оценивают это смещение в 30%+. Очевидно перед нами сетевой эффект. Но стандартные способы с ним бороться работают плохо.Наиболее популярных подход и его проблемыЧаще всего используется сплиттование через Cluster randomization: назначаем воздействие кластерам пользователей, а не индивидуально. ТогдаTrisigma — про эксперименты
29 May, 14:43
Есть мнение — Long-term эффекты эксперимента всегда противоречат краткосрочным. Что думаете? #trisigmaTrisigma — про эксперименты
26 May, 15:51
Всем привет, это Искандер.🔵Предлагаю вам взглянуть на новый пейпер про подход с ARMA-Design сразу от нескольких международных университетов. Есть допущение, которое большинство A/B платформ делают молча: юниты независимы. В маркетплейсах это почти никогда не так.ПроблемаКогда тестируется алгоритм выдачи заказов в ride-tech-продуктах (например, в Uber или DoorDash), эффект не исчезает в момент назначения заказа. Водитель оказался в другом районе и он, вероятно, возьмёт или не возьмёт следующий заказ через час. Это так называемый carryover-эффект: воздействие сегодня меняет состояние системы завтра.Стандартный switchback это частично решает, но молча предполагает, что данные «марковские». Авторы проверили это на реальных данных из двух городов и заметили, что PACF остатков дохода водителей показал значимые лаги 5-го, 6-го порядка. Иначе говорятTrisigma — про эксперименты
22 May, 16:07
Сегодня наш онлайн-митап про неклассические инструменты для экспериментов Поэтому, если ещё не зарегистрировались, то самое время это исправить. После регистрации вам придёт индивидуальная ссылка на стрим. В программе три кейса от коллег из Авито, Finom
Related Channels
Other channels in the same section of the catalogue.
