Latest posts
ML for Value / Ваня Максимов
17 Sept, 05:47
ML for Value / Ваня Максимов
14 Sept, 16:28edited
ML вообще работает? (эпизод 1)Давно не писал в канал. Понял, что сейчас сфокусирован на довольно больших историях, которые в формат одного поста не умещаются - ну что ж, готовьтесь к серии постов:) Заголовок конечно чуть кликбейтный для привлечения внимания"А персональные ленты товаров вообще работают? А для какого % пользователей - скорее нет?" -- Вот один из вопросов, который донимает меня последнее время. Подобное есть в любом ML-продукте от банковского скоринга до LLM-чатов, но ответить на этот вопрос не так-то простоНа первый взгляд, элементерно: есть бизнес-метрики (продажи, CR и тп) и оффлайн-метрики (ndcg, recall@k). Если они достаточно хороши (vs бейзлайн и vs прод неделю назад), то все круто же? А вот и нет. Эти метрики (как и почти все другие классические в ML и продукте) показывают качество в среднем. В среднем, у нас может быть хороший продукт, но условно для 10%ML for Value / Ваня Максимов
12 Jun, 11:46
The art of a strong baselineЗа последнее время все чаще понимаю, что создать сильный бейзлайн - это не просто база, с которой нужно начинать любой ml/ai продукт, а прям полноценная часть системы. Даже когда в проде уже давно есть трансформеры и агенты, бейзлайн дает прям много метрикВот учите вы трансформер для персональных рекомендаций (sasrec, argus, pinnerformer, hstu - неважно). И если в лоб его применить, то вероятно получите рекомендации из истории кликов. Потому что простой бейзлайн "уже изучал товар - покажи еще раз" чаще всего почти по любым метрикам релевантности будет лучшеОкей, пофильтровали историю кликов / занизили таким позитивам вес в лоссе / сделали еще что-то - получили очень-очень похожие товары на последние 30-50 действий. Вот буквально товар того же бренда-категории, но чуть другого цвета условно. А это уже похоже на другой сильный бейзлайн - realtimeML for Value / Ваня Максимов
2 May, 08:04
Начинать писать после перерыва всегда непросто, поэтому пока легкий пост про мои новости)Официально стал частью Transactional AI в Яндексе 🤖 Помимо персонализации всего в Я.Маркете буду делать ИИ-агентов для покупок товаровСъездил на теннисный турнир Barcelona Open 🎾 Мой первый турнир в качестве зрителя - это конечно топ! В полуфинале Рублев был крут, но и восходящие звезды Фис и Ходар впечатлили. Теперь еще больше мотивации все же сыграть и самому pro турнир уровня сильно пониже: ATP 15/25Отметил 4ую годовщину с моей женой ❤️ Лучшее решение, всем советую)Бодро иду к своим 30 годам: записался на все чекапы и операции на год вперед 🔴 Собираю базу данных анализов для терапевта gpt :) Возобновил регулярный спорт: бег, качалка, теннис и улучшил питаниеВот такие новости: а дальше пойдут посты про фейлы в ml — stay tuned, будет интересно!
ML for Value / Ваня Максимов
29 Mar, 09:21
LLM - велосипед в новой оберткеХоливарный пост выходного дня) Доля правды в этом есть - и это наоборот круто!LLM научились довольно неплохо решать в zero shot режиме (без обучения на доп данных) классические задачи:- Классификация текста - Named entity recognition (NER) - Суммаризация текста - Question answering по тексту (хотя тут еще есть куда расти)Куча бизнес-задач = комбинация нескольких таких простых классических задач🆘 Автоматизация поддержки пользователей = Классифицировать запрос пользователя + достать нужный кусок документации / инфы о юзере из базы данных (RAG) + ответить на вопрос по вытащенным данным (question answering)И если раньше на каждый кусочек задачи нужно было учить свои модели, что долго/дорого, то сейчас это решает LLM…не всегда дешево, но заметно быстрее!Подобных примеров в бизнесе еще довольно много: автоматизация
ML for Value / Ваня Максимов
27 Mar, 08:07
LLM долгосрочные интересы пользователяПонемногу LLM-ки находят полезное применение в рекомендациях!Обычная реком система упрощенно устроена так: - Модель на короткой realtime истории пользователя (SLIM, SASRec, …) вытаскивает товары текущего интереса - Модель на очень длинной offline истории пользователя (часто ALS, LightFM) вытаскивает некие долгосрочные интересы - Их результаты смешиваются и переранжируютсяЕсть гипотеза, что кусочек с длинной историей можно обрабатывать LLM-кой и вытаскивать оттуда доп профит!Отчасти такой подход сработал в Taobao (их модель RecGPT v2). Ну и мы в Я.Маркете тоже внедрили свою адаптацию - Влад из моей команды недавно рассказал об этом на ML PartyПодход относительно простой, но с кучей подводных камней: о них как раз в нашем докладе 😎
ML for Value / Ваня Максимов
5 Feb, 11:12edited
Не проводи АВ-тест, пока не прочитаешь этот пост Да-да, это кликбейтный заголовок)Остановись на минутку. Вероятно, прямо сейчас у тебя идет какой-то АВ-тест. Вот скажи, зачем ты его проводишь? Вроде понятно, что это нужно для честного замера метрик. Но зачем их честно замерять? Попробуй ответить на несколько подряд идущих "Зачем?"Не только же для аналитического удовольствия мы АВ-тесты крутим 😅А зачем нужны АВ-тесты на мой взгляд, можно почитать ниже:1. Не катить в прод красные фичи с падением бизнес-мерик + находить баги Все хотят новой фичей нанести благо компании (все же, да?). Но по ходу написания фич периодически вылезают проблемы: забыли корнер кейс, не рассчитали нагрузку, отсортировали реком ленту в обратном порядке (тут и я грешен) - все это не всегда можно отловить на ручном/авто-тестировании. АВ как финальный босс покажет явные слабости и баги2. Не катить в прод
ML for Value / Ваня Максимов
16 Jan, 07:34edited
Middle+ ML engineers ко мне в команду рекомендаций Я.Маркета (3 вакансии) 300-400к руб на руки Москва, Спб или remote если вы senior - тоже пишите, договоримся)Наша команда рекомендаций Яндекс.Маркета делает персональные рекомендации товаров на главной странице, подбирает похожие и сопутствующие товары, персонализирует поиск, crm-коммуникации и другие поверхности. Мы - бизнесовая команда, которая приносит прямой прирост выручки/прибыли компании в АВ-тестах. Баланс бизнес-рисерч у нас 80-20Сейчас мы ищем уверенных ML инженеров на 3 трека: нейросетевые рекомендации, более классический recsys + discovery, СRM-персонализация. Внутри команды со временем трек можно менять, это скорее фокус на ближайшие полгода1. Нейросетевые рекомендации Предстоит работать в первую очередь над трансформерной моделью ARGUS-8k, глубоко погружаться в архитектуру- Добавление новых входных данных дляML for Value / Ваня Максимов
15 Jan, 09:16edited
[3/3] Тщетные надежды и мечтыОчень надеялся, что в рексис или поиске будет прорыв в этих темах в 2025, но он пока не случился1. Economic recsys research А именно, внятное объединение recsys + pricing/promo в единую системуДаже в самом простом виде: продавец дал скидку 30%, но в кандидаты товар чаще попадать не стал, тк обычные двубашенный кандген ничего про скидку не знаетВ более сложном: мы можем сами давать скидку + наливать трафик на товар рекомендациями. Как правило, просто скидка на не самый популярный товар не работает, тк никто о ней не знает. А наливание трафика без скидок - непонятно, в чем доп вэлью (и прирост конверсий) пользователя2. Крутые решения по сбору наборов/образовВ сопутствующих товарах все еще рулят статистические методы. А в визуальной сопутке (одежда) дальше статьи 2017 года от ASOS на базе сближения векторов товаров от картиночного энкодера, мирML for Value / Ваня Максимов
9 Jan, 09:36
[2/3] Продуктовые изменения в мире recsys & search и около них за 2024-25гг Больше про маркетплейсы, такая уж специфика у меня1. VR-примерка одежды у крупных продавцов (Zara, ASOS) Наконец-та!Убийца маржи всех маркетплейсов (особенно fashion) - возвраты. Если их заметно снизить, то ecom вполне может совсем уничтожить оффлайн-магазиныОбычно возврат идет после «примерки» одежды или товара в интерьере. В 2025 появились наконец приличные open-source virtual try-on модельки и компании стали их понемногу внедрять. Пока все же в тестовом режиме (фото 1)2. PUGC - Professional user generated content Ощущение, что уже 50+% карточек товаров и отзывов сгенерированы LLM-кой: пользователям нужны пруфы, что товар хороший. Тут в бой идет контент от экспертов (PUGC)В Lazada вместо фотки товара уже по дефолту стоит его видео-обзор от продавца (фото 2)В Китае процветает реинкарнация магазина
ML for Value / Ваня Максимов
7 Jan, 11:34edited
[1/3] Что случилось в мире рекомендаций и поиска за 2024-25гг?За последние 2 года в мире recsys идет революция не меньше изобретения attention и gpt. С интересом наблюдаю и применяю многое в работе - хочу поделиться, что происходит в нашем мире:)1. Large Recsys Models LRM, получается? 😅Еще год-два назад SOTA SASRec работал с максимум 512 последними действиями (заказы, корзины, лайки, клики) пользователя. Естественно, у многих юзеров даже за 6 мес действий больше, а у активных контекст переполнялся за 1 месяцИ вот вышла революционная статья Actions Speak Louder than words с генеративной recsys моделью HSTU-8к. Основная фишка: меняем парадигму обучения с next action prediction на генеративную. По факту, чуть по-другому собираем датасет и эффективнее считаем матричные произведенияЭто позволяет ускориться х5-х15 раз (снижается сложность О(seq_len^3) до О(seq_len^2). И,ML for Value / Ваня Максимов
31 Dec 2025, 13:32edited
С наступающим Новым Годом 🎄🎅Уходящий год выдался очень насыщенным: я сильно погрузился в lifelong рекомендации с огромным контекстом истории юзера (argus и llm x recsys), пробовал дружить персонализацию и промо (тут еще многое впереди!), расширялся в content intelligence, crm и поискА еще много путешествовал и тренировался в одном из топ теннисных центров на Тенерифе: немало последил за тренировками игроков топ-30 мира и сам сильно прокачался. В общем, было насыщенно!Желаю, чтобы в 2026 у вас было еще больше впечатлений и чтобы исполнились все ваши ML-ные мечты: вкатиться в IT или вырасти в навыках/грейде, опубликовать статью на А конфе, обучить SOTA модель, найти свое призвание и идеальную компаниюНу и чтобы модельки учились, деньги мутились - ml4value все же 👍
ML for Value / Ваня Максимов pinned a photo
10 Nov 2025, 08:44
ML for Value / Ваня Максимов
10 Nov 2025, 07:56
➡️ Навигация по каналу v3На связи Ваня Максимов @Ivan_maksimov - AI & Analytics Head в Яндекс.Маркете, 10+ лет в DSСложилось сразу 2 фактора: канал дорос до 5.5К подписчиков и наступило аж 400 дней на новом месте работы -- пора сделать апдейт про канал и меняЧем я занимаюсь? Магия дискавери: помогаю найти неочевидные и полезные товары в Я.Маркете. На фотках к посту 3 неочевидных товара, которые я нашел в своих же рекомендацияхКстати, "магия дискавери" - реальное название одной команды в я.картах!Поформальнее, руковожу командами AI для персонализации и продуктовыми аналитиками: 60% - рексис: DL + классика + аналитика 20% - поиск и crm: персональное ранжирование + аналитика 15% - content intelligence с LLM, скажем так 5% - рекламаДо этого из области RecSys построил с нуля все рекомендации в Delivery Club, внедрил R&D в Wildberries А еще активно зарабатывал деньги для компаний
ML for Value / Ваня Максимов
26 Oct 2025, 08:41edited
LLM х RecSys = ?Почти все продакшен рекомендации состоят из 2ух частей: стабильные предпочтения пользователя + рекомендации по последним взаимодействиямДо недавних пор основной прогресс был за счет последних взаимодействий-> Переход к real-time рекомендациям -> Похожие товары на последние клики -> SLIM/EASE по последним действиям -> SASRec -> Даже модный HSTU в основном опирается на последние действияПри этом стабильные предпочтения моделировались простым подходом вроде ALS над покупками за последний год - и было норм. Но в 2025 году вышло штук 5 статей от крупных компаний про учет стабильных предпочтений юзера через LLM с приличными приростами бизнес-метрикИ в вот этот кейс применения LLM я вполне верю (и он даже самоокупается!):- Стабильные предпочтения пользователя по определению редко меняются. Можно прогонять LLM лишь раз в неделю и только по юзерам с новыми действиямиarXiv.orgRecGPT Technical ReportRecommender systems are among the most impactful applications of artificial intelligence, serving as critical infrastructure connecting users, merchants, and platforms. However, most current...ML for Value / Ваня Максимов
23 Oct 2025, 10:01
LLM ради денег, а не хайпаНаконец, многие начали задумываться, приносят ли LLM-проекты реальную прибыль (пора перименовываться в LLM4Value 💀). По ощущениям:~5% LLM и правда приносят прибыль ~20% примерно также эффективны по деньги-качество как и более простые решение (да-да, регулярки) ~75% адски жгут бюджеты и веру в скорый AGIХочется поскорее узнать о набитых шишках и провальных llm-инвестициях, чтобы не наступать на граблиКонференция Conversations обещает быть как раз таким местом: много докладов про экономику LLM-проектов 5 декабря, оффлайн в Москве и онлайн отовсюдуКакие анонсы докладов меня заинтриговали:- GenAI в разработке: как внедрять генеративные технологии в вашей самой дорогой команде и считать профит в деньгах и других метриках. Григорий Бездольный, Axenix - LLM для слов, MCP для цифр: как можно оптимизировать экономику проектов с помощью MCP-серверов. Иван
ML for Value / Ваня Максимов
15 Oct 2025, 10:10edited
Вы не готовы, пацаныПрочитал сегодня очередной пост про быстрые итерации, lean startup, все дела. Ощущение, что уже все хотят проверять по 300к гипотез в наносекунду. Но, по факту, мало кто к этому готов2 А/В в месяц ломают хребет B2B-стартапам Возникают риски для клиентов - нестабильный продукт, нужно обьяснять изменение метрик даже третьего порядка. Внезапно оказывается, что эксперименты могут стоить денег! Не только потенциальная потеря метрик, но и косты на те же GPU. А минимальный бюджет на них выделить забыли А еще и логгировать все данные нужно корректно: если у вас теряется 10% логов, тооо замерить эффект в +5% вряд ли получится20 А/В - тестируют аналитическую культуру средних компаний Неожиданно, но 20 А/В в месяц означает, что в среднем каждый день нужно принимать решение по завершившемуся АВ. Это означает: корректно разводить аудиторию между АВ, пофиксить баги в сборе
ML for Value / Ваня Максимов
21 Sept 2025, 13:52
Осенний сезон конференци обьявляю открытым!Традиционно в сентября-ноябре проходит много конференций по ML. Успел уже выступить на NDA части PML conf: рассказывал, как рекомендациями растить действия в новых для юзера категориях, и зачем это вообще нужноБыли прикольные доклады про рекомендации в я.картах и про маршрутизацию роверов-доставщиков (обожаю ml в оффлайне)Хайлайтом PML preparty имхо стало название команды рекома в я.картах "Группа магии дискавери" 🪄✨P.S. Очень жду в этом сезоне побольше докладов про эффективность и зарабатывание денег от ML (и особенно LLM) внедрений - пока таких явно не хватает. Если вы раскаазываете (или только планируете) что-то про денежки от ML - пишите, пересечемся на ближайших конференциях!)
ML for Value / Ваня Максимов
7 Sept 2025, 13:01
Где деньги, Лебовски?Этот вопрос беспокоит меня больше всего в моих начинаниях. Не зря ж канал назван ml4value. И наконец я нашел целое рисерч направление, которое занимается деньгами/прибылью от рекомендаций:🧑💻💵 Economic recsys researchЧто лично мне интересно в этой сфере - Как балансировать рекламу и релевантность? В маркетплейсах до 30% прибыли идет от рекламы в рекомендациях, в соцсетях - до 80% - Правильно посчитать и учесть юнит экономику товара сразу в ML модели (желательно в лосс функции) - Какие механики апселла (продаем более дорогой и маржинальный товар) хорошо работают? Как их визуально отображать? Например, продать не просто чайник за 4к, а умный чайник xiaomi за 7к - Как и где удачнее всего делать кросс-селл новых категорий: не только аксессуары/сопутка, но и продажа бандлов (например, не 1 джинсы,
ML for Value / Ваня Максимов
25 Aug 2025, 06:47
Хуже = лучшеМоя команда в Я.Маркете внедрила метрику дискаверийности (новизны) рекомендаций товаров. И в этом полугодии мы пробуем ее активно раститьЕстественно, посмотрели статьи про рост beyond accuracy метрик, внедрили успешные подходы из них, запустили А/В и … научились стат значимо метрику дискавери снижать 🌚И меня это очень порадовалоТеперь мы точно знаем, что влияет на метрику в минус - будем делать ровно наоборот и вероятно получим рост! Так что «красные» А/В тесты с падением метрик - часто гораздо полезнее кучи «серых» тестов без изменения метрикА вообще, вопросиков к современным статьям очень много (особенно в recsys). Неправильный train-test split, подбор метрик под результаты, специально недотюненные бейзлайны, …Поэтому я обожаю reproducibility reports (впору уж писать свой), где независимые авторы пробуют повторить результаты из статей - и пишут свои менее
Related Channels
Other channels in the same section of the catalogue.
