Последние посты
Knowledge Accumulator
20 сент., 07:40изменён
Почувствуйте AGIВсе эти годы я писал о том, что не верю в потенциал LLM превратиться в суперинтеллект. Но вот мы живём в сентябре 2026, и что мы видим - одной рукой модельки пишут код за разработчиков, другой рукой решают задачу тысячетелия по математике, а третьей рукой сбегают из кибертюрьмы и ссут в подъездах. Получается всё - человек преодолён, проблема решена?Решение Навье-Стокса - великое достижение, за прогрессом к которому я наблюдал годами, начиная с GPT-f [2020!] и заканчивая AlphaEvolve [2025]. У ряда математиков от этого сгорела жопа, но сильно сомневаюсь, что модельки действительно как-то подорвут основы науки, примерно как в шахматах, в которых наличие несопоставимо более сильной машины не мешает существованию человеческого сообщества. И шахматами, и математикой прежде всего занимаются по приколу.Программировать модельки тоже, к счастью, научились. Net positive вкладKnowledge Accumulator
5 сент., 17:46изменён
Предсказать среднее могут не только лишь всеКлассическая задача машинного обучения - тренировочный и тестовый датасет, бинарная классификация.Если ваша модель без глаз и ушей, т.е. не получает фичи на вход, то она посчитает avg(y) на тренировке и предскажет это для каждого тестового образца.Когда мы выкатываем модель в прод, то одним из критериев её самочувствия является так называемая калибровка - sum(p(y)) / sum(y). Даже выше упомянутая слепоглухая модель будет "откабирована". т.е. измерение будет равно примерно 1. Казалось бы - планка-то не очень высокая. Если калибровка в проде не 1, то с моделью что-то сильно не так.Мы выложили модель в открытый доступ, так что не секрет, что наш ранкер - это простой трансформер с ранним связыванием, применяемый над историей пользователя и представлением кандидата. Все посты представлены в виде id автора, id поста, и ещё там есть пачкаKnowledge Accumulator
17 авг., 15:27
Долина vs Нью-ЙоркЕсли что-то находится далеко от нас, нам свойственно излишне обобщать свои суждения об этих местах. Жители Евразии частенько выдают чрезвычайно странные суждения про США - типа того, что тут без машины нельзя на улицу выйти.Недавняя поездка из родной Долины в Нью-Йорк не оставила меня равнодушной, и очень захотелось рассказать о контрасте между ними.В основе всего лежит один фундаментальный показатель, диктующий большую часть различий - плотность населения. У Манхэттэна - центра жизни NYC - она 28к людей на квадратный километр, а днём приезжают ещё в разы больше. В моём Redwood City - типичном местном городе - примерно в 20 раз меньше.В Долине большая часть людей живёт в собственных домах с куском земли в придачу. Такое не то, что на Манхэттэне - в большом Нью-Йорке достаточно редкое явление. Мне сказали, что любой задний двор на Манхэттэне превращается вKnowledge Accumulator
30 июл., 13:55
Кто виноват в сливе рекламного бюджета?При создании рекламного line item рекламодатель устанавливает бюджет - N долларов в день.С точки зрения любого line item стратегия (в Х) простая: в каждом аукционе он делает ставку из расчёта k долларов за целевое действие (показ, клик, покупка): k p(event). Значение k определяет компонента под названием пэйсинг (pacing).Количество выигранных аукционов в течение дня, а также потраченный бюджет - строго монотонная функция от k. Пэйсинг занимается подбором такого k, чтобы было потрачено ровно N долларов за день.На практике возникает неловкая ситуация. Пэйсинг как будто бы компонента, принимающее важное решение, от которого зависят все метрики рекламодателя, а не просто маленькая калибровочная компонента. И он получает все косые взгляды в момент, когда что-то идёт не так.Команде бэкэнда одним непримательным утром пришла стопка жалоб отKnowledge Accumulator
13 июл., 07:49
Покатался на яхте в Американской глубинкеПосле переезда в Калифорнию произошло неожиданное событие - я узнал, что тут у меня есть родственники. Ещё перед Первой Мировой часть моих родных немцев с Поволжья собрала чемодан и поехала за океан. Среди них был и брат моей прабабушки, сваливший в 1913 году. Сначала в Канаду, оттуда в Винконсин, и затем уже в Калифорнию, узнав, какая там погода.Он поселился в одном из мелких городов Центральной Долины (совсем не Кремниевой), в то время наполовину заселенном русскими немцами. Оставшихся в России ждали 30 лет весёлых приключений, закончившихся депортацией в Сибирь, а он смог продолжить делать, что умел - выращивать полезные растения. Его потомки занимаются этим и по сей день. Как раз его правнук, мой четвероюродный брат, и дал о себе знать.Мы с женой поехали к ним на вечеринку по поводу 250-летия США и окунулись в местную жизнь. С утраKnowledge Accumulator
30 июн., 07:32
Да кто такие эти ваши producer-side A/B-тесты?В своей яндексовской эре работы над рекомендациями я точечно работал над качеством ранжирующей модели и не выглядывал за пределы этой области. Та же история была и в рекомендательном периоде работы в X. Но тут один добрый человек рассказал мне, что я оказывается жизни-то вообще и не знаю. Качество системы с точки зрения пользователя это ещё половина проблемы.Дело в том, что для долгосрочного качества платформы и процветания бизнеса необходимо смотреть на то, как изменение системы влияет на производителей контента (что в соцсети, что в маркетплейсе). В самом экстремальном случае система может показывать пользователям очень маленькую прослойку разнообразных авторов и игнорировать остальных. Те могут расстроиться и перестать постить, тем самым ухудшить долгосрочную ситуацию.Влияние на авторов и замеряется с помощью этого самого
Knowledge Accumulator
15 июн., 06:45изменён
Зачем американцы инвестируют в недвижимость?Довольно давно я делал пост о том, что не нужно инвестировать в недвижимость, потому что казалось, что даже в США в этой сфере доходность не выше, чем в акциях. Но тут ситуация оказалась такой же, как и с взятием в долг - я не знал о технических подробностях.В США очень нетривиальная налоговая система, сконструированная с целью поддерживать разрыв между богатыми и бедными. Давайте рассмотрим на примере типичный сценарий, происходящий у домовладельца в США.Итак, всё начинается с того, что предприниматель берёт ипотеку и покупает дом. Он регистрирует его в качестве бизнес-собственности и начинает зарабатывать деньги, сдавая в аренду.Бонус для богатых №1: процентные платежи по долгу вычитаются из налоговой базы, если дом сдаётся в аренду. К примеру, если вы заработали на аренде со всех домов лям в год, а по всем ипотекам заплатили 500к заKnowledge Accumulator
27 мая, 07:39изменён
Топ-1 баг весны 2026Просматривая в очередной раз онлайн-метрики качества нашей модели, мы заметили, что за последнюю неделю качество модели в проде стабильно падает, хотя качество на тренировке выглядит стабильным. Отправили меня разбираться.Инференс сам по себе уже долго не менялся - тот же docker-образ, чекпоинт берётся из того же обучения. Само обучение тоже никак не менялось уже давно. У меня 2 очевидных подозреваемых - либо кто-то сломал генератор обучающих данных, либо кто-то испортил вызов модели со стороны бэкэнда рекламы.Отправляю агентов смотреть коммиты в оба сервиса - ничего содержательного не менялось уже давно. Уже чую, во что я вляпался. К счастью, вайб-дебагинг позволяет исследовать такие ситуации гораздо быстрее.Поднимаю новый консьюмер и дампаю тренировочные данные с кафки. Выкатываю дебажную версию бэкэнда рекламы, направляю теневой трафик и дампаю входныеKnowledge Accumulator
15 мая, 07:08
Как правильно быть богатымЯ уже писал о том, что оптимальный способ копить своё состояние достаточно прост - складываете деньги в американский индекс и терпите, пока не сможете жить на небольшой процент от своих инвестиций. Дальше экспонента вашего портфеля улетит в космос.Это я понял ещё тогда, когда был нищим 20-летним студентом в Одинцово. Но одно дело понять принцип, и другое - узнать и прочувствовать детали реализации. Расскажу про США.Простой налог на зарплату существует для бедного и среднего класса, и от него никак не увернёшься - оно и понятно - налоги и придуманы для их грабежа. Для богатых вроде как существует так называемый Capital Gain Tax (CGT). Если вы купили за X, а продали дороже за Y, то у вас забирают tax_rate (Y - X).Он достаточно высокий, и в Калифорнии может доходить почти до 40%. Когда-то я думал, что таким образом государство берёт долю от растущегоKnowledge Accumulator
28 апр., 07:24
В чём суть рекламного бизнеса в социальных сетях?Спустя ещё месяц работы над разными частями рекламы я стал понимать, что на самом деле происходит.Каждый рекламодатель, запуская кампанию, выставляет ограничение на бюджет - обычно N в день. Иногда он выставляет очень агрессивные настройки аудитории (видел такое у местных политиков) и относительно большой бюджет, и в таких случаях его невозможно адекватно потратить. Но почти во всех случаях именно бюджет является лимитирующим фактором.Так вот, на доход платформы нужно смотреть именно как на сумму бюджетов, которые рекламодатели согласны потратить. То, что получилось потратить - это уже функция от стабильности рекламного стэка и как бы ортогональный вопрос. На самом деле вы заработали деньги именно тогда, когда клиент запустил кампанию. Суть бизнеса - убедить как можно больше рекламодателей запустить кампанию. Но как?У социальнойKnowledge Accumulator
13 апр., 07:02
Почему же в Калифорнии такое дорогое электричество?25 центов за киловатт. По мировым меркам не рекорд - например, в Германии, в которой Путин пролоббировал закрытие АЭС, чтобы продавать им газ - 40 центов. А во всех соседних штатах - Аризоне, Неваде и Орегоне - она около 10 центов.Но почему именно? Мне было понятно и ранее, что всё дело в леваках, но тут захотелось более предметно разобраться в вопросе. Отправной точкой моего исследования стал вот этот пост - https://schlanj.substack.com/p/why-electricity-prices-in-california.В Калифорнии провозглашена официальная дата наступления коммунизма полного перехода к зелёной энергии - 2045 год. А по мере приближения этого года доля зелёной энергии должна плавно расти - сейчас нижняя граница составляет 44 процента. Казалось бы, что может пойти не так?К сожалению, Солнце имеет свойство уходить ниже линии горизонта. При этом, пиковоеKnowledge Accumulator
2 апр., 06:52
Принципы работы рекламыЕсли в рекомендациях органической ленты посты ранжируются по, грубо говоря, p(click), то рекламодатель платит деньги за размещение, причём каждый по-своему. У каждого свой желаемый результат. Как их уравнять между собой?Advertiser Value = p(event) bidНачнём с первого. p(event) = 1 в единственном случае - когда платят за показ. Это самая отстойная реклама, потому что рекламодатель просто хочет заплатить деньги и накормить пользователей говном. Часто, это так называемый brand advertisement, и этим занимаются крупные компании, потому что паразиты-менеджеры таким образом осваивают бюджеты. Реклама газпрома или макдональдса по телеку - в принципе то же самое.Чуть выше в иерархии находится event=click. Если в предыдущем случае условному макдональдсу всё равно, кто увидит их пост, то здесь уже появляется намёк на релевантность и становится нужна модель, котораяKnowledge Accumulator
23 мар., 06:52изменён
Почему же в Калифорнии такие дорогие дома?Возвращаюсь из своего творческого отпуска. Многие знают, что в районе Кремниевой долины одни из самых высоких цен на недвижимость. Но почему именно? Мне было понятно и ранее, что всё дело в леваках, но тут захотелось более предметно разобраться в вопросе. Погуглив и поговорив с электронным другом, накопал вот такое исследование: The High Cost of Producing Multifamily Housing in California [2025] от организации RAND - спонсируемой из государства НКО.В данной работе берут 3 штата - Калифорния, Колорадо и Техас, и детально сравнивают себестоимость постройки жилого многоквартирного дома в 3 штатах. Колорадо я в дальнейшем опущу, он тут в качестве "среднего" выступает, а CA и TX это наиболее контрастные точки.TX примерно на 15% беднее CA в пересчёте на человека. В то же время, средняя стоимость постройки квадратного фута частного жилья подKnowledge Accumulator
21 февр., 07:55изменён
Безбилетный проезд по пространству состоянийКогда разработчик сооружает компьютерную игру, в его планы обычно входит реализация некоторого POMDP - марковского процесса принятия решений, пусть даже с частичной наблюдаемостью.Но на наше счастье, реализацией этого POMDP занималась всего лишь большая команда обезьян, а не сверхинтеллект, и поэтому она не идеальна, а значит, можно попасть в состояния игры, которые заранее не были задуманы.В качестве примера посмотрим на мою любимую GTA: San Andreas. В ней совпало 2 фактора - она очень большая и разнообразная, но при этом в начале нулевых, когда её создавали, игровые движки ещё не были настолько продвинутые и безопасные.Состояние игры - это просто большой массив байтов. Если всё идёт по плану, то у каждого байта есть конкретное назначение, скрипты читают и пишут только то, что им положено, и только тогда, когда положено. Короче, всёKnowledge Accumulator
2 февр., 18:52изменён
Так пузырь всё-таки или сингулярность?В последние месяцы многие из нас заметили, как кодинговые модели, в частности, Opus, неплохо скакнули в качестве. Ещё не так давно я писал о том, что без особого надзора модельки не понимают, что творят. Но то были машины потупее, а вот у нового Opus же уровень common sense сильно лучше. Хотелось бы, конечно, знать, засчёт чего был достигнут последний результат. Но это вряд ли.Бросается в глаза способность модели заниматься главной программисткой деятельностью - дебажить говнокод. Может быть, для Opus соорудили RL-симулятор с большим набором систем, сломанных самыми разными способами, и у модели есть цель их починить, и такая задача заставила её выучить зачатки разума.На данный момент я уже довольно мало пишу руками. Скорость разработки действительно очень выросла, чувствую, что наконец стал 10х инженером. Часто даже в сложных ML-вопросахKnowledge Accumulator
23 янв., 08:22
Спустя 10 лет работы программистом я решил научиться печататьМеня никто не учил правильным практикам в детстве, и поэтому кнопки на клавиатуре всю жизнь нажимал по классике - как получится. Примерно 4-мя пальцами. Я ещё и мышкой немало пользуюсь, когда программирую, в общем - быдло. Но не так давно я захотел стать из обезьяны человеком.Основная метрика скорости печатания - Words Per Minute. Источники расходятся в том, чему равна средняя скорость по больнице. По всей видимости, это около 40 WPM. Прогнал себя в тесте https://monkeytype.com/ - получается около 60 WPM. Ничего особенного для моей работы, но выше среднего. Скорее всего, этот тест завышает реальную скорость на практике.И вот задумался - а как я вообще печатаю? Моя "методика" уже давно живёт в мышечной памяти и ответ не так просто отрефлексировать. Печатая какой-то текст и следя за собой, понял, что никакой магии - вKnowledge Accumulator
8 янв., 08:01
DiscoRL - out-of-distribution RL наконец-то решён?Когда я увидел название статьи "Discovering state-of-the-art reinforcement learning algorithms" с David Silver в авторах, я прищурился. Заметив "meta-learning", "Atari", "outperforms manually designed" в абстракте, мой пульс подскочил в полтора раза. "Неужели это оно?" - думал я, открывая статью трясущимися руками.Итак, в 2020 году вышла статья "Discovering reinforcement learning algorithms" - от того же автора. На заре существования канала я даже делал на неё обзор. Общий принцип работы с тех пор не изменился, просто всё допилено до лучшего состояния. На сайте у первого автора (junhyuk.com), кстати, написано "The majority of the work was finished in 2022.", так что, предположу, что он больше не развивает это направление, и его припахали к Gemini.Так, обычно в RL-постановке у нас есть нейросеть-агент, которую мы обучаем, к примеру,
Knowledge Accumulator
31 дек. 2025 г., 08:17
2025: итогиКажется, что субъективное восприятие времени зависит от того, насколько рутинной и однообразной является жизнь. Так вот, этот год был у меня безумно долгим.Работу весь год невероятно трясло. По мотивам произошедшего можно было бы снять драму, хоррор и множество других жанров. 🫡 всем павшим жертвами. Я благодарен лично каждому, с кем работал в Лондоне, с вами было круто.В моём случае всё закончилось хорошо - повезло с обстоятельствами и возможностями, которые предоставила ситуация. Воспользоваться ими мне помогли 2 фактора.Первое - это наглость. В этом году был побит рекорд по услышанным отказам. но все положительные сдвиги стали результатом того, что я не постеснялся что-то спросить. Это своего рода искусство - надо уметь не задолбать людей и выбирать правильные моменты и формулировки.Второе - это то, что я не люблю свою работу. Дело в том, что если бы я её любил,Knowledge Accumulator
26 дек. 2025 г., 17:25
Теперь я коллекционерПочти в конце года в моём списке текущих развлечений появился объект жанра сбора коллекции. Раньше я никогда не фанател от такого, но, как оказалось, у меня просто нормальной идеи не было.Итак, я собираю микромузей истории видеоигр.Как инженеру, мне интересно изучать, когда шаг за шагом развиваются идеи и технологии. Игры - отличный пример, где это происходило одновременно на нескольких фронтах с невероятной скоростью.В конце 1970-х была релизнута Atari 2600 - консоль второго поколения. Любители RL в свое время наигрались в симулятор Atari в процессе обучения алгоритмов. Именно под Atari 2600 и были сделаны те самые игры на рубеже 70-х и 80-х. С недавних пор, благодаря моей супруге, я счастливый владелец оригинала! Играть в Space Invaders на 4к телеке очень даже вайбово.В середине 1980-х была релизнута Dendi NES, игры с которой были уже совсем на другомKnowledge Accumulator
20 дек. 2025 г., 19:32
Вайбкодинг: суровая реальностьРасскажу про то, как вчера прошли мои несколько часов на работе, которые мне показались интересным опытом.Итак, меня попросили помочь другой команде с составлением датасета. Ситуация следующая - у них на руках 50 тыщ ссылок на страницы с одного вебсайта, с каждой из которых нужно вытащить конкретные данные.Чел №1 запускает тулзу, которая парсит страницы, попутно записывая в соответствующие поля список ссылок на картинки, название страницы и несколько других полей.Квест №1 - нужно добыть рейтинг объекта с этой страницы. Расстроенный, что скачивающая тулза не парсит этот рейтинг нативно, чел №1 предлагает скормить каждую страницу LLM-ке и попросить её вытащить этот рейтинг.Удостоверившись, что тулза дампает ещё и весь html, я предлагаю другой вариант - если это данные с 1 сайта, то рейтинг можно легко найти в самой html-ке по тегам. Заварил
