A/B testing (@abtesting) — Telegram channel

Latest posts

A/B testing
1 May, 13:37
forwarded from @webanalyst
Наткнувся на цікаву ідею про privacy-by-design в A/B testing.Суть дуже проста: щоб аналізувати результати експериментів, не обов’язково зберігати дані по кожному окремому користувачу. У багатьох випадках достатньо працювати з агрегованими даними — тобто не бачити конкретну людину, а одразу дивитись на групи користувачів.Для великого і відповідального бізнесу це може бути хорошим підходом одразу з кількох причин: — менше персональних даних зберігається — нижчий ризик витоку (бо немає чому витікати, user level data не зберігається) — простіше пояснювати підхід legal / privacy командам — дешевше і швидше обробляти даніМені здається, це хороше нагадування, що насправді privacy — це не тільки про consent mode банери і юридичні тексти. Це ще й про те, як ви проєктуєте саму архітектуру збору і аналізу даних.Детальніше: https://blog.conductrics.com/privacy-by-design-ab-testing/ Paper:
1,850Open in Telegram
A/B testing
29 Sept 2025, 08:29
Цікавий та інтерактивний спосіб краще зрозуміти перевірку гіпотез за допомогою ігрового симулятора A/B-тестування від Лукаса Вермеєра.@ABtesting
4,570Open in Telegram
A/B testing
16 Jun 2025, 09:03
Гарне порівняння підходів до аналізу експериментівАвтор аналізує обмеження традиційного A/B-тестування та пропонує альтернативний підхід на основі баєсівської статистики. Баєсівський підхід пропонує більш гнучкий та надійний спосіб оцінки ефективності змін у продукті чи маркетингових кампаніях. Використання баєсівських методів може допомогти швидше приймати обґрунтованіші бізнес-рішення.via @ABtesting
5,800Open in Telegram
A/B testing
30 May 2025, 08:03
The unusual A/B Test, with Heterogenous Treatment EffectsThe article explores the limitations of traditional A/B testing when treatment effects are heterogeneous—that is, when changes don’t affect all users or segments equally.In search engines, changes to algorithms might significantly impact some queriesvia @ABtesting
6,330Open in Telegram
A/B testing
2 May 2025, 08:21
Подавай заявку на навчання з аналітики від Genesis Academy!Обирай програму, яка найкраще відповідає твоєму запиту:📊 Genesis Analytics Week — відкритий тиждень live-лекцій і воркшопів, що допоможе розібратися з основами аналітики в IT-бізнесі. Без відбору — участь за реєстрацією.Після навчання ти: ▪️знатимеш, які бувають ролі аналітиків у продуктовому ІТ; ▪️розумітимеш метрики та їхню взаємозалежність; ▪️отримаєш інструменти для розвитку критичного мислення й боротьби з когнітивними викривленнями; ▪️навчишся доносити результати своєї роботи та впливати на бізнес.⌛️ Реєструйся: https://cutt.ly/irkuBTEy💻 Genesis Analytics Summer Camp — інтенсивний курс, що поєднує теоретичне навчання та роботу над реальними бізнес-кейсами.На тебе чекають: ▪️4 тижні теорії: онлайн-навчання на LMS, live-лекції, воркшопи, тестування; ▪️8 тижнів практики: кейс-стаді, практикуми, реальні задачі,
6,770Open in Telegram
A/B testing
1 Nov 2024, 09:15
False Positive Risk in A/B TestingThere is a much greater probability than generally expected that a statistically significant test outcome is in fact a false positive. In industry jargon: that a variant has been identified as a “winner” when it is not.https://georgi-georgiev.medium.com/false-positive-risk-in-a-b-testing-ba2c76e258c4via @ABtesting
7,390Open in Telegram
A/B testing
26 Sept 2024, 07:02
The good Lukas Vermeer’s A/B testing game simulator is here. It’s an interactive way to understand hypothesis testing better.You control the backlog and running experiments for a small development team. Each day you make decisions that impact product development and overall sales.Your objective is to maximise total sales.via @ABtesting
8,240Open in Telegram
A/B testing
23 Sept 2024, 07:02
It takes a Flywheel to Fly: Kickstarting and Keeping the A/B testing MomentumPractitioners from hundreds of companies and several different industries reached out with thoughts, concerns and tips on how to kickstart and scale an A/B testing program from “Crawl” or “Walk” milestones, to the “Run” or “Fly” stages.via @ABtesting
6,610Open in Telegram
A/B testing
13 Sept 2024, 10:16
Four Ways to Improve Statistical Power in A/B Testing (without increasing test duration, duh)Exploration simple and potent techniques for enhancing power without prolonging test durations. By grasping the significance of key parameters such as allocation, MDE, and chosen KPIs, data analysts can implement straightforward strategies to elevate the effectiveness of their testing endeavors. This, in turn, enables increased data collection and provides deeper insights into their product.via @ABtesting
6,490Open in Telegram
A/B testing
12 Sept 2024, 07:42
forwarded from @productanalytics
Beyond the limitation of A/B Testing using Causal InferenceIn the realm of product management and development, understanding the impact of new campaign (aka treatment) releases on user behavior is crucial. Campaign assessing effect on key performance indicators, such as retention metrics (specifically, Day 1 retention or D1), becomes a pivotal task.However, this task presents several challenges. While A/B testing is commonly employed to measure such impacts, it is not always a viable option due to ethical, practical, or financial constraints.@ProductAnalytics
5,020Open in Telegram
A/B testing
9 Aug 2024, 08:19
forwarded from @bigquery
Ми в MacPaw шукаємо продуктового аналітика з досвідом у web-аналітиці та бажанням працювати над маркетинговими задачами.MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.40+ аналітиків, багато різноманітних сервісних команд, які допомагають продуктовим аналітикам робити їх роботу краще. Можливість працювати віддалено.Вакансія за посиланням:👉 Product Analyst (Marketing).
6,250Open in Telegram
A/B testing
14 Jun 2024, 07:15
Computing Minimum Sample Size for A/B Tests in Statsmodels: How and WhyA deep-dive into how and why Statsmodels uses numerical optimization instead of closed-form formulas.@ABtesting
11,600Open in Telegram
A/B testing
12 Feb 2024, 08:59
forwarded from @productanalytics
The downsides of experimentationThe article help you to delve into the less discussed, yet critical, aspects of experimentation.@ProductAnalytics
9,920Open in Telegram
A/B testing
5 Feb 2024, 10:00
When You Should Prefer “Thompson Sampling” Over A/B TestsAn in-depth explanation of “Thompson Sampling”, a more efficient alternative to A/B testing for online learning@ABtesting
10,600Open in Telegram
A/B testing
29 Jan 2024, 08:03
Delusive Extrapolation and A/B TestingCautionary Tales of Complexity and the Dangers of Jumping to Conclusions@ABtesting
16,200Open in Telegram
A/B testing
6 Oct 2023, 08:52
The Five Types of A/B Test Decisionshttps://www.harlan.harris.name/2023/07/the-five-types-of-a-b-test-decisions/@ABtesting
12,900Open in Telegram
A/B testing
15 Sept 2023, 11:41
Google продовжує навчальну програму "Розвивайте кар’єру з Google Cloud" - тепер із фокусом на машинне навчання (ML), штучний інтелект (АІ) та роботу з даними!Програма стартує 18 вересня та націлена на програмістів, IT-інженерів, студентів IT-спеціальностей і точних наук, а також нетехнічних фахівців, які працюють із даними.Учасники програми отримають:✔️45 днів безкоштовного доступу до платформи Google Cloud Skills Boost ✔️практичний досвід ✔️індивідуальні напрями навчання, зокрема з фокусом на АІ, ML та дані ✔️призи від Google ✔️безкоштовні ваучери на сертифікаційний іспит Google Cloud ✔️поради від експертів із хмарних технологій🔗 Долучайтеся до програми за посиланням!
13,200Open in Telegram
A/B testing
16 Aug 2023, 12:17
An Introduction to Bayesian A/B Testing in Stan, R, and Python workshop - цікавий воркшоп від Dariia Mykhailyshyna за донат.Про основи байєсівського підходу до A/B тестування та теорії прийняття рішень для аналізу великомасштабних експериментів у промислових умовах.Більше корисних воркшопів тут.@ABtesting
10,700Open in Telegram
A/B testing
4 Jul 2023, 08:07
forwarded from @bigquery
Як обійти обмеження Google Optimize при аналізі результатів A/B-тестування використовуючи BigQuery та Python зі зразками коду.@BigQuery
12,700Open in Telegram
A/B testing
8 May 2023, 08:46
Difference-in-DifferencesМетод оцінки ефекту змін у випадку, коли немає змоги провести A/B-тест. + приклад реалізації на Python.@ABtesting
17,000Open in Telegram