Latest posts
Время Валеры
11 Nov, 16:34
Учить студентов воспроизводить результаты научных статей - абсолютно правильная идея. Более того, удивительно, что такие курсы не стали обязательной частью ML-образования много лет назад.Посмотрел новый подкаст, где руководитель ШАДа Яндекса обсуждает программу: Воспроизведение экспериментов из лучших современных статей. В ней могут поучаствовать студенты из любых ВУЗов. Вместе с менторами они в течение двух недель пытаются повторить результаты опубликованных исследований. И обнаруживают, что далеко не всегда это получается.Проблема, на самом деле, фундаментальная. Ещё в 2019 году вышла замечательная статья Are We Really Making Much Progress?, авторы которой исследовали прогресс в рекомендательных системах. Оказалось, что многие опубликованные результаты трудно воспроизвести, а некоторые современные нейросетевые подходы проигрывают гораздо более простым, но правильно настроенным алгоритмам. Сейчас мы наблюдаем похожую историю с LLM. Новая модель выходит, разрывает существующие бенчмарки, объявляется очередным прорывом. Проходит несколько месяцев, появляются новые бенчи - и расстановка сил существенно (и каждый раз неожиданно!) меняется.Игорь как раз выступал на Higgsfield Data Day с докладом. Похожие оценки - разные истории, как раз на близкую тему, о бенчмарках и интерпретации результатов.Я в рамках собственного курса постоянно повторяю одну мысль: если ты умеешь измерять, изменять и откатываться обратно, ты можешь построить монотонно улучшаемую систему. Результаты измерений должны быть воспроизводимыми. Иначе ты просто не знаешь, действительно ли твоя система стала лучше или тебе повезло с экспериментом.И это касается далеко не только научных публикаций. Это один из краеугольных камней проектирования любых ML-систем: корректные метрики, честные бейзлайны, воспроизводимые эксперименты и возможность проверить каждое улучшение. Воспроизводимости нужно учить студентов с самого начала. Причём не как отдельной академической дисциплине, а как фундаментальному инженерному навыку.Самое интересное, что идея кажется совершенно очевидной. Но это как раз тот случай, когда смотришь на чужое решение и думаешь: почему мы сами не сделали этого десять лет назад?Время Валеры
7 Nov, 09:54
Начинаем через 7 минут, фотка с ребятами, которых привезли (и с Анатолием Карповым). Ребят спрашивали, не шахматисты ли они, потому что в списке у водителя среди прочих был известный шахматист.Время Валеры
6 Nov, 21:11edited
Завтра — Data Day — Higgsfield Трансляция 7 ноября (ссылка) Записи скорее всего не будетНачало: 15:00 Алматы · 13:00 МСКПрограмма — время Алматы:15:00 - Ерзат Дулат, CTO и co-founder Higgsfield, открытие 15:15 - Ануар Аймолдин, DSML.KZ 15:45 - Валерий Бабушкин, Время Валеры 16:15 - Игорь Котенков, Сиолошная 17:00 - Роман Ященко, Higgsfield 17:30 - Анатолий Карпов, KarpovCourses 18:00 - Дидар Нуркаир, HiggsfieldВремя Валеры
1 Nov, 08:59
Буду в Алматы примерно 10 дней, с 5 по 14 ноября.Создал небольшую группу на случай, если есть желающие собраться или что-то организовать.Ссылку на группу оставил в комментариях.Время Валеры
30 Oct, 15:15edited
7 ноября лечу в Алматы на data-митап Higgsfield — и привезу кого-то с собой.Те, кто пропустил посты выше:Higgsfield — одна из самых быстрорастущих GenAI-компаний: $1B годовой выручки в run rate, 30M+ пользователей, 6M+ генераций в день. Сейчас они активно инвестируют в дата-команду — аналитиков, DS и ML-инженеров — и устраивают митап, где расскажут, как устроены данные в продукте такого масштаба. Я тоже выступаю.Higgsfield оплатит перелёт и гостиницу трём сильным ребятам, откуда бы они ни были. Приезжаете на выходные, слушаете доклады, знакомитесь с командой, а если захотите — можно пройти собеседование прямо на месте.Как попасть: - заполнить гугл-форму до 3 ноября: [ссылка] - рассказать о себе и об одном проекте, которым гордитесь - отбирать буду лично, имена объявлю во вторникКто не прилетит — будет трансляция / выложим записи на YouTube.Когда: суббота, 7 ноября Где: Алматы, площадку объявлю позжеВремя Валеры
28 Oct, 19:25
N-граммы ещё нужныЗабавно наблюдать, как вещи из древнего NLP мира продолжают приносить пользу в эру генеративных моделей.Биграммы, триграммы, статистики последовательностей - казалось бы, кому это нужноИ вот Herman Brunborg показал решение для NanoGPT Speedrun, которое ускоряет NanoGPT в 6 раз, с 39.9 до 6.7 секунд . В основе - трансформер, которому помогают n-граммы.Идея довольно простая: посмотреть, встречалась ли уже такая последовательность токенов, и подсказать модели, что идет после неё и с какой вероятностью и надежностью. Здесь используются последовательности длиной 6, 10 и 20 токенов. Трансформер просто получает дополнительную информацию из отдельного индекса. GitHubУсловный пример: какой-то фрагмент встретился в текстах сто раз, и в девяноста пяти случаях после него было одно и то же слово. Это полезная подсказка. Зачем обязательно заставлять нейросеть запоминать такую закономерность исключительно в весах, если можно ещё и дать подсказку.Причём придумать подсказку — половина дела. Нужно успеть построить и использовать индекс, иначе всё ускорение съест работа с ним. У Brunborg CPU обрабатывает корпус из 37 миллиардов токенов параллельно с обучением нейросети. То есть результат получен в том числе за счёт того, что в работу включили дополнительные ресурсы машины.Поможет пост Игоря про домашку Anthropic. В самом разборе Игорь поясняет за SIMD - когда одна инструкция обрабатывает сразу несколько элементов, работу с памятью и планирование параллельных операций и последовательно сокращает выполнение задачи со 147 тысяч до 2262 тактов, ускоряя примерно в 65 раз. Очень наглядный пример того, зачем вообще разбираться, как исполняется твой код.Оговорка: это конкретный бенчмарк, где помогают точные совпадения с обучающими текстами. Х6 (Х5?) не гарантируется, но трюк хороший и опять же - 6.7Оговорка номер 2. Transformer trained with hints performs slightly worse without those hints than a comparable model trained without retrieval. Возможно AGI так не построитьGitHubTrack 1: Retrieval-augmented n-gram hints (40s->6.702s / −83.4%) by hermabr · Pull Request #367 · KellerJordan/modded-nanogptAuthor: Herman Brunborg (X: @hermanbrunborg) In this PR, we train a second model for longest exact-match retrieval, trained on 37B tokens using the CPU. It contains (lossy) 6-grams, 10-grams and 20...Время Валеры
23 Oct, 13:17
Очень хороший пост от Gergely - автора pragmatic engineerПричина, по которой SWE/IT находится в таком привилегированном положении в плане зарплат, условий и локаций (от легкого переезда до удаленки), связана не столько с тем, что это область, в которую сложно войти, а в том, что сама область постоянно изменяется, и необходимо постоянно учиться и адаптироваться. Далее он пишет, что в отрасли был период стабильности в 10 лет, в который люди, казалось, забыли, что премиум платится именно за это.Согласен со многим, в том числе это одна из причин, почему ML-специалисты и около них не сильно пострадали: этим добрякам все эти 10 лет приходилось постоянно себя переизобретать, и далеко не все выдерживали.Знаю многих, которые ушли из профессии как раз по этой причине: нужно постоянно, непрерывно учиться.I think many of us working in tech tend to forget that the reason software engineering vs other engineering fields pays (a lot!) more, is a lot more flexible (WFH/remote), and has better perks:Because this field changes much faster than other engineering fields. The premium is because fewer people are able/willing to pick up new technologies, methodologies so quickly.But the field had ~10-20 years of stability, and so lots of folks forgot this is why a premium exists. And that AI is just another tech wave: software engineers who pick it up and master it will generally fare better; those not will struggle a lot more.Ask your mechanical engineer, electrical engineer, civil engineer, chemical engineer friends (if you have them) what their pay is; how much equity; how easy it’s to work remote; and how easy to live countries without taking country-specific exams or learning the local language.Software engineering is a privileged field in many ways: but it’s like this because few enough put up with the brutal pace of change that happens periodically, and leaves those behind who don’t like sudden and less predictable change.In some ways: the job IS the ability and willingness to learn and adapt new technologies, fast, while building real-world stuff that makes money for the business one way or the other. We are paid a hefty premium to do exactly this, and because few enough people do this.LinkedInI think many of us working in tech tend to forget that the reason software engineering vs other engineering fields pays (a lot!)…I think many of us working in tech tend to forget that the reason software engineering vs other engineering fields pays (a lot!) more, is a lot more flexible (WFH/remote), and has better perks: Because this field changes much faster than other engineering…Время Валеры
23 Oct, 12:34
Вот и Джейсон подключилсяBloomberg.comNvidia’s Huang Reveals Investment in AI Video Unicorn HiggsfieldHiggsfield Inc., an AI video startup founded by a former Snap Inc. executive, said it has attracted investment from Nvidia Corp. and TCV to help fund global infrastructure and hiring to capture growing demand.Время Валеры
19 Sept, 07:13
На днях начал делать ревью А/Б-платформы от Три сигма, позавчера отправил им 9 уточняющих вопросов, и пока они отвечают, попросили прорекламировать их митап в Ташкенте.На что я говорю: так вы ответьте на вопросы, я в одном посте разбор проведу и заодно про митап расскажу.Говорят, не успевают, митап уже скоро.1 октября у них митап в Ташкенте Data-Driven – от данных к действиямВремя Валеры
8 Sept, 10:20
Мы давно про это знали: Design Docs Are All You Need: An AI-native Machine-Learning Performance Toolacademy.dair.aiDesign Docs Are All You Need: An AI-native Machine-Learning Performance ToolSamuel Kushnir, Kimia Noorbakhsh and colleagues at MIT, Google, Google DeepMind and Stanford keep a performance-modeling library whose main branch contains almoВремя Валеры
26 Aug, 06:10
Прочитал отличную заметку Shopify про gisting — сжатие системного промпта в обучаемые токены.По сути, это компиляция промпта.У GraphQL-агента Sidekick системный промпт занимал около 6 000 токенов, которые постоянно приходилось обрабатывать снова и снова.Prefix caching решает проблему лишь частично. Модели не нужно повторно вычислять KV cache для промпта, но при генерации каждый новый токен всё равно работает со всем контекстом. Чем длиннее промпт, тем больше памяти и времени требуется на каждый шаг декодирования. Придумали логичную штуку применить: gistingКак работает gisting. Сначала Shopify выбрали коэффициент сжатия 4:1(это гиперпараметр) и создали 1 500 новых специальных токенов вместо 6 000 исходных.Эти токены не были выбраны из системного промпта и не являлись его текстовым summary. Это просто новые ID вроде <GIST_1>, <GIST_2> и так далее.Дальше: Все веса моделиShopifyGisting: Compressing LLM Agent context to ↑ throughput and ↓ cost (2026) - ShopifyGisting compresses context into a set of learned tokens, preserving its quality while making the model faster and cheaper.Время Валеры
24 Aug, 08:07
На основе пятничного поста про промт: Сожми документ максимально, не потеряв никакой информации. Превратили этот подход в отдельный open-source skill — lossless-doc-compress.Скилл читает документ целиком и относит каждый фрагмент к одной из трёх категорий:KEEP — содержит информацию и остаётся без изменений; REMOVE — доказуемо избыточен и удаляется; FLAG — требует решения автора, поэтому остаётся в документе с пометкой.Он удаляет filler, пустой hedging, LLM-slop, дословные повторы и избыточные формулировки. Сохраняет факты, цифры, решения, оговорки, ограничения, названия систем, код и таблицы.Если есть сомнение — не удалять, дает отметку для автораРезультат: три артефакта: Сжатый документ. Лог всех удалений и спорных мест. Scorecard: число слов до/после, процент сокращения и подтверждение сохранности содержания.npx skills add ML-SystemDesign/MLSystemDesignGitHubMLSystemDesign/skills/lossless-doc-compress at main · ML-SystemDesign/MLSystemDesignContribute to ML-SystemDesign/MLSystemDesign development by creating an account on GitHub.Время Валеры
23 Aug, 10:11
☁☁☁☁☁☁☁24 сентября Yandex Cloud проведёт флагманскую технологическую конференцию — Yandex Scale 2026.🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨Время Валеры
21 Aug, 10:36edited
После ревью документов сегодня (один из дизайнов был на 51 страници!) даю совет всем, кто готовит документацию, пишет дизайн-доки и т. п.1. То, что это написал агент/LLM, — не проблема, если вы это прочитали, поправили, дали контекст и т. д. Считайте, что отдали работу по редактуре. Если делегировали думать, получается чаще ерунда.2. Прогоните свой документ через простую команду: «compress this as much as possible without losing any information» — обычно сокращает где-то в 2 раза (и заодно чистит часть слопа).Всем хорошо: вам, ревьюерам, команде, моделям.Время Валеры
18 Aug, 13:11
Две первые главы книги «Agentic AI System Design» уже написаны и сейчас находятся на ревью у соавторов.Один соавтор тот же: https://t.me/partially_unsupervised Два — с курса по ML System Design.По отзывам вышло неплохо: Прочитал с кайфом и даже взял на вооружениеНадеюсь, к концу года допишем.Telegrampartially unsupervised@arsenyinfo пишет про software engineering и machine learningВремя Валеры
14 Aug, 21:10
3 года назад я рассказывал про сказочника в своем постеНо тот случай был хотя бы безвредным, да и, прочитав это, сказочник быстро убрал свои фантазии.На днях в местах, где я живу, произошла история более печальная и более масштабная со всех сторон.Профессор Jason Arday, который стал самым молодым черным профессором в истории Кембриджа, оказался не тем, за кого себя выдавал. Оказалось, что докторская его с большой вероятностью полна плагиата.Но здесь ничего необычного нет - плагиат встречается регулярно. Необычно то, что человека, судя по всему не очень связанного с реальностью (дальше станет понятно почему), подняли на флаг и использовали как классический токен.Arday с каждым годом завирался все больше То он пробежал 600 миль (почти 1000 км) за 6 дней. То он научился читать и писать только в 18 лет, но при этом в 16 сдал два GCSE (аналог ОГЭ) и учился на BTEC в колледже. То онTelegramВремя ВалерыУ меня в друзьях в Фейсбуке есть сказочник из Узбекистана. Причем не такой сказочник, как Дмитрий Гайдук. То он устроится в OpenAI работать над узбекским языком и через два месяца уволится (понятное дело, ни в каком OpenAI он не работал). То создаст сервис…Время Валеры
13 Aug, 13:04
Мы с Романом Нестером, Валерием Бабушкиным и Бесланом Курашовым (plevako.ai и karpov.courses) приглашаем вас на наш FuckUp Night 26 августа.От формата отходить не будем — поделимся своими историями, где всё пошло не по плану. И поговорим про культуру ошибок: как не зацикливаться на промахах и использовать их в свою пользу.Встречу проведём онлайн, поэтому подключиться можно из любой точки и всем, кто принимает решения на основе данных.🔵 Важно! Записи не будет, поэтому приходите на эфир. Главное, не забудьте зарегистрироваться.Время Валеры
10 Aug, 10:01
Пару лет назад я общался с CTO Ozon Tech Антоном Степаненко и ребятами из его команды по поводу создания платформы для LLM. Ребята оказались замечательными, но переезжать из Лондона я не стал (примерно как с кафедрой ЦУ вышло), а ещё за пару лет до этого я выиграл книгу во время доклада Бориса Штерна в Яндексе — за лучший вопрос.И вот эти два замечательных человека встречаются хэдлайнерами на конференции E-CODE от Ozon Tech, а в секцию ML/DS добавляется Валентин Малых, с которым мы недавно стояли на капитанском мостике.ML-секция хорошая — индустриальный ML, работа с генеративными подсказками, уровни дообучения и агентский Cotype.Зарегистрироваться можно здесь: https://ecode.ozon.tech/Участие в конференции и вечеринках — бесплатноеВремя Валеры
6 Aug, 20:53
В комментариях к предыдущему посту просили рассказать про оптимизацию состояния тела, и тут как раз есть что рассказать.Мой текущий набор в виде Ultimate Anti-Ageing Bundle и Orange Triad + Greens Vitamins имеет следующую проблему:Тяжело набирать 20 таблеток из первого, да ещё с учётом того, что в каждом пакете разное количество порций, то есть части стака банально заканчиваются в разное времяИ отвратительный вкус второго, хотя это меньшая проблема.Почитав, посмотрев — решил попробовать играть как Бэкхэм The Beckham Stack - IM8По нутриентам заменяет всё выше. По удобству — гораздо лучше. Вкус — хороший.Рекомендовать пока не могу, но через три месяца напишу.Время Валеры
6 Aug, 16:21edited
Зашёл в магазин, где шьют обувь королю. Спросил, за какой срок пошьют bespoke. Сказали 18 месяцев.В истории за такой срок менялись многие правители, а в ЮК совсем недавно так 3 премьер-министра было за это время. Много думал.
A feedback bot for your channel — free
Followers write to the bot, you answer by reply, your account stays hidden. Created in one tap.
How it works →Related Channels
Other channels in the same section of the catalogue.
