Последние посты
AI да парень! / Sergei Notevskii
12 сент., 13:22изменён
#300tps Не меняйте reasoning effort в агенте, пока не прочитаете это… Ладно это кликбейт. Но вы же не поэтому кликнули, да?Вы в курсе, что изменение уровня рассуждений в запросе инвалидирует префикс кэш? Хотя казалось бы - поменял настройку "величины" ответа, какого черта кэш входящего запроса пропал? Кто не в теме - дело в том, что настройка степени ризонинга чаще всего подставляется в input, те концептуально: <internal_config> thinking_effort = high </internal_config><system> ... </system><user> ... </user> Сами антропики в документации пишут что: "The resolved effort value is rendered into the prompt." У всех опенсорс моделек, что довелось посмотреть, схема примерно та же.GitHubGitHub - sernote/audit-prompt-cachingContribute to sernote/audit-prompt-caching development by creating an account on GitHub.AI да парень! / Sergei Notevskii
8 сент., 21:49
переслано из @the_ai_architect
show-me skillТут немного завирусился skill от humanlayer – show-me.Суть – помочь пользователю понять diff'ы с помощью кратких диаграмм, псевдокода или HTML.Я попробовал, мне понравилось, рекомендую и вам!Установить:npx skills add humanlayer/skills --skill show-me📱 Ссылка на githubПример на скриншотах.Лайк, репост, ✔️ Тимур Хахалев про AI Coding, подписывайтесь!
AI да парень! / Sergei Notevskii
8 сент., 21:49
Вроде такой очевидный скилл (ака объясни по простому, через схему и тд), но мне тоже он зашел. Не только для себя, но и для формирования понятного описания результатов задачи "широкому кругу лиц".Главное, как подметили в комментах оригинального поста, за этими упрощениями не прохлопать важные нюансы.Впрочем, это всегда актуально при работе с агентами)AI да парень! / Sergei Notevskii
3 сент., 20:18
Claude: выпускают Fable 5.1 Тем временем OpenAI: важные изменения в Codex (см пикч)AI да парень! / Sergei Notevskii
1 сент., 21:10
Claude: выпускают Fable 5.1 Тем временем OpenAI: важные изменения в Codex (см пикч)
AI да парень! / Sergei Notevskii
31 авг., 20:58изменён
NVFP4, deepgemm, DSpark, P/D disaggr, CUDA 13.0 Это все для привлечения внимания, потому что:Снова ищу инженеров в команду AI платформы Битрикс24В прошлый раз из канала пришло много сильных ребят, так что заходим на второй круг. Сейчас нанимаем LLM Ops - тех, кто будет отвечать за то, как модели живут внутри платформы.Что за платформа? Это основа, на которой строятся все AI фичи компании: от простых сценариев до агентов, управляющих Б24.По факту - мы внутренний провайдер моделей, а наши заказчики - продуктовые и внутренние команды, которые генерируют больше 20 млн запросов в месяц (и это только llm).Мы отвечаем за модельки под капотом (для этого у нас больше 200 серверов с GPU от t4 до 8хH200 и B200), за их качество, доступность, производительность и эффективное использование. Плюс вот эти ваши лайтллмы, роутеры, кэши, эвалы, guardrails и прочие интересные штуки. КомандаAI да парень! / Sergei Notevskii
28 авг., 14:18
переслано из @egoshin_kedprof
Подкаст с AI-лидом в Битрикс24: как делать продукты на ИИ-агентах и не сломаться в продеУ меня в гостях Сергей Нотевский - руководитель AI-платформы в Битрикс24. Команда Сергея отвечает за ИИ-инфраструктуру из 100+ GPU, на которой работают он-прем модели и автономные агенты крупнейшего бизнес-сервиса страны.А еще я называю Сергея "отцом кэширования контекста в России") Так как он разработал опенсорс скилл по этой теме, за который Anthropic подарили ему официально подписку MAX на 6 мес.О чем выпуск: • Как создавать ИТ-продукты, используя агентов, так, чтобы они были устойчивыми при эксплуатации; • Как экономить на токенах за счет кэширования; • Почему RAG остался в 2025 году и что пришло ему на смену сейчас; • ИИ-внутрянка Битрикс24. Как и зачем оркестрировать собственный кластер на 100+ GPU.🎧 Подкаст уже доступен на двух площадках:📱 YouTube /AI да парень! / Sergei Notevskii
28 авг., 14:17изменён
Привет, как ты? Давно не виделись.Сегодня первый рабочий день после отпуска, который полностью посвятил семье) Специально ничего не писал, не кодил, толком не читал новости АИ и почти даже не думал о том как корабли бороздят распределенный кэш. "Трогал траву" на слэнге 2026 года.Что еще? За это время провели гендер пати, и оказалось что кроме того, что вскоре я стану многодетным отцом, я еще и буду не только "папулей", но и "батей". Перевожу - у нас с Кристиной будет сын! Поздравления - принимаются!)Поднакопилось чего вам рассказать, постараюсь не сильно спамить (ну те не больше 1 поста в месяц 🙂).Ну а для затравки (что за слово блин такое) - вышел наш с Костей Егошиным разговор про AI платформу, грант от Anthropic за мой скилл аудита кэша, Tiny Teams и другое. Хорошего просмотра)AI да парень! / Sergei Notevskii
11 авг., 08:41
переслано из @ulyanov_life
Зачем Битрикс24 своя AI-платформа?Сергей Нотевский — AI Lead в Битрикс24, руководит платформой, на которой работает весь AI компании: от транскрибации звонков до агента BitrixGPT. В новом выпуске обсуждаем, стоит ли компании разворачивать нейросети у себя или брать их как сервис (MaaS), как посчитать железо под открытую модель, почему бенчмаркам нельзя верить, что такое префикс-кэш, и при чём здесь четыре года работы фитнес-тренером.Из выпуска вы узнаете:▪️Чем разработка с AI похожа на менеджмент и кого из инженеров заменят первым? ▪️Что такое MaaS (Model-as-a-Service) и за что вы на самом деле платите в цене токена? ▪️Почему Битрикс24 развернул модели у себя и что это даёт клиентам? ▪️Зачем писать свои тесты для моделей и почему бенчмаркам из релизов
AI да парень! / Sergei Notevskii
11 авг., 08:41изменён
Вышел большой подкаст со мной у Макса.Записывались в пятницу вечером, и вайб соответствующий (но в кружке у меня честно-честно чай).Обсудили много всего, так или иначе связанного с ai: - self hosted vs maas, - мифы про контекст в 1млн токенов, - «нюансы» аренды железок под llm, - power rangersНу и конечно, как я до такой жизни докатился: как въезжал в трамвай, продавал матрасы и делал свой курс по QA.Приглашаю к просмотру и жду коментов)AI да парень! / Sergei Notevskii
10 авг., 08:46
Доброе утро)В тему повестки последних дней. Взял у @etechlead
AI да парень! / Sergei Notevskii
5 авг., 18:43
Сижу в лобби отеля, за соседним столом сидят мужики, пьют беленькую, закусывают. Спорят громко.Прислушался. «Петрович, да этих сеток тьма! Маленькие, большие! Для классификации какие хочешь! Можем у себя даже большие развернуть! Главное чтобы электричества хватило!»Думаю: нифига себе адопшн у АИ!Слушаю дальше: «Фракции…булыжники…тонны… золото…».Понимаю что не адопшн, апрофдеформация.AI да парень! / Sergei Notevskii
24 июл., 22:45изменён
С летним Converstations-AI у меня получилась незакрытая история. Должен был выступать там с докладом про self-hosted vs MaaS. На первый день успел прийти, застать несколько докладов и понетворкать с ребятами, а до своего выступления во второй день не добралсяAI да парень! / Sergei Notevskii
23 июл., 13:10
С летним Converstations-AI у меня получилась незакрытая история.Должен был выступать там с докладом про self-hosted vs MaaS. На первый день успел прийти, застать несколько докладов и понетворкать с ребятами, а до своего выступления во второй день не добрался - заболел...Зато успело случиться интервью для канала конференции @conversations_ai. Ниже будет пост с карточками: там про экономику кэширования, отличия MaaS и self-hosted, неочевидные инженерные затраты на мелкие модели, и конечно evals.Еще у меня есть три доступа к записям конференции. Случайный розыгрыш делать не хочу - отдам их за три самых интересных вопроса про LLM в проде.Что в контексте llm в проде у вас сейчас болит сильнее всего? Дорогой MaaS, медленный self-hosted, как развернуть k3 на ноутбуке, запары с кэшированием, не стабильные evals, хвосты latency - подойдет что угодно из реальной практики.Пишите в коммент
AI да парень! / Sergei Notevskii
18 июл., 11:55
Anthropic выдал подписку на 6 месяцев Claude Max x20 за мой скилл для оптимизации prefix cache!Если помните какое-то время назад была новость о том что антропики открыли программу “Claude for opensource”, куда можно было податься если твой проект подходит под один из критериев.Решил тогда закинуть заявку, вообще без каких-то надежд, и вот пришло письмо с поздравлением и благодарностью)Это забавно, потому что даже в описании проекта у меня написано в первую очередь про codex)))Пользуйтесь, шарьте коллегам, экономьте бюджеты и TTFT!
AI да парень! / Sergei Notevskii
6 июл., 21:48изменён
У автора (это я) сегодня был день рождения.Говорят даже дата мемная (sixseven)Что не нужно делать, если вдруг появилось неистовое желание меня поздравить: - кидать звездочки в проект скилла-аудитора префикс кэша; - советовать канал тем кому он может быть полезен; - начинать уже следить за prefix_cache_hitrate; - кидать бусты каналу;Лучше порекомендуйте мне книжку, которую особенно хочется выделить из последних прочитанных.Любой жанр, любая тема и формат. Я закладываю в список на прочтение хоть про cuda, хоть про system design, хоть в комикс хороший залететь с головой.От себя тоже накидаю: 1. АИшное - «Грокаем алгоритмы ИИ»; 2. ИТшное - «Проект Феникс - роман про DevOps»; 3. Менеджерское - «Элегантна головоломка, Уилл Ларсон»; 4. Научпоп - «Возрождение времени», Бао Шу - очень достойный фанфик-продолжение истории из Задачи трех тел и ко;AleksagordicAleksa Gordić's blogLong thinking.AI да парень! / Sergei Notevskii
4 июл., 14:44изменён
Записали вчера с Максом Ульяновым душевный подкаст. Карьера, Битрикс, селф хостед аи, маас, префикс кэш, дипсик, мемы, гпу, штанга, куда расти?Наконец разговорный формат. Статьи, посты, конференции - это конечно хорошо. Но когда проживаешь столько опыта и событий, накапливается бочонок историй который нельзя мариновать бесконечно.Ждем в июле)П.с. Максу спасибо что позвал!AI да парень! / Sergei Notevskii
4 июл., 14:44
переслано из @ulyanov_life
Записали новый выпуск подкаста «Куда расти?» с Сергеем Нотевским — лидом AI-платформы в Битрикс24. Затронули следующие темы:▪Что такое Битрикс24 сегодня и какие AI-сценарии уже работают внутри продукта? ▪Как AI-евангелизм внутри компании превращается в новую карьерную роль? ▪Что такое галлюцинации модели и почему большое контекстное окно не решает проблему? ▪MaaS или self-hosted: за что мы на самом деле платим и когда пора разворачивать свои модели? ▪Почему публичным бенчмаркам нельзя верить и как оценивать модель под свои задачи? ▪Какие новые роли появились в AI-командах и кого сейчас ищут на рынке? ▪И куда всем расти?3 часа 6 минут в черновике! Это будет
AI да парень! / Sergei Notevskii
4 июл., 09:33
AI да парень! / Sergei Notevskii
4 июл., 09:32
2 недели командировок по конференциям и другим профильным активностям.Ожидания: Заспамил канал кружочками, фотками с коллегами по цеху и мыслями после докладов.Реальность:
