Последние посты
from:adam
21 сент., 16:28
Пока пишу тут серию постов про экономику ии лаб, прокоменчу мыслями своими адский твиттерский хайп по JEV.Если пропустили, стартап TypeSafe выкатил модель, которая вообще не умеет писать текст. На вход ей дают контекст и набор вопросов, на выходе получают да/нет, выбор из вариантов или оценку по шкале с вероятностями. Обещают всё это на два порядка быстрее и дешевле LLM. По сути, фундаментальный классификатор.Смотреть на JEV имеет смысл через триаду cost/latency/quality. С ценой и задержкой всё понятно, разница с фронтирными моделями примерно два порядка, с мелкими вроде Haiku около порядка. С качеством сложнее. Сами TypeSafe заявляют паритет с LLM среднего класса, но независимые замеры скачут от очень хороших результатов до провалов, в одном бенче на фишинговых письмах JEV заметно проиграл даже Haiku. Но у качества есть вторая половина, про которую в сравнении с мелкими LLMfrom:adam
18 сент., 09:54
Немного размышлений про эссе Дарио, в котором он просит индустрию замедлить темпы развития возможностей моделей, а Альтман с Маском, к удивлению многих, его поддержали. Хочется порассуждать, какая у него на самом деле интенция и есть ли за ней скрытая. В официальное «мы обеспокоены» не верится, я уже писал, что нагнетание страха является отчасти рекламным жанром, но и списать всё на маркетинг тоже не выйдет.Само предложение, как оказалось, скромнее заголовков: обучение никто не останавливает, речь про сторонних оценщиков внутри лаб и общие лимиты скорости.Видят ли они угрозу на самом деле? Похоже, да, ибо по инциденту со взломом HF уже идёт расследование в Сенате, OpenAI в августе на две недели останавливала обучение из-за этого, а Anthropic призналась, что её модели на тестах тоже добирались до чужих систем. Дарио ещё и срок называет и опасается, что через 6–12 месяцев такой ройfrom:adam
15 сент., 15:05
Часто слышу, что дистрибуция или скорость и есть моат. a16z прямо так и пишет: в потребительском AI моатов нет, есть только momentum — набранный ход. Их партнёр Брайан Ким писал, что ждёт $2M ARR уже не за три месяца, а за десять дней, и называет momentum единственным моатом.И это неправда. Скорость и дистрибуция — это то, чем моат строят, а не сам моат.Под «дистрибуцией» обычно смешивают две разные вещи.Первая — владение защищённым и масштабируемым каналом. Gemini в Android и Meta AI в WhatsApp — это моат, потому что за каналом стоит либо cornered resource, как доступ Google к Android, либо network effects, которые WhatsApp собирал больше пятнадцати лет. Ни то, ни другое за раунд не купишь.Вторая — сам процесс дистрибуции: ты набираешь пользователей, быстро растёшь, заливаешь рынок. Вот это уже momentum. Пользователей конкурент может перекупить рекламой. Android — не может.Соfrom:adam
12 сент., 08:09изменён
Bending Spoons покупает Miro за почти $1,4 млрд. У этих ребят довольно понятная модель: купить подуставший сервис вроде Evernote, Vimeo или WeTransfer, порезать косты и поднять цены. И я думаю, что эту сделку сейчас немного неправильно считывают. Главныйfrom:adam
12 сент., 08:09изменён
Bending Spoons покупает Miro за почти $1,4 млрд. У этих ребят довольно понятная модель: купить подуставший сервис вроде Evernote, Vimeo или WeTransfer, порезать косты и поднять цены.И я думаю, что эту сделку сейчас немного неправильно считывают.Главный тейк, который я вижу: Miro стал коммодити, доску теперь можно навайбкодить за выходные, поэтому оценка и упала с $17,5 млрд в 2022-м до $1,4 млрд сейчас.Но проблема, по-моему, вообще не в этом.На момент продажи у Miro около $600 млн ARR. Почти 90% дают бизнес и энтерпрайз. Больше 750 клиентов платят свыше $100 тысяч в год, почти четыре миллиона платящих пользователей, компания прибыльна, на счетах $435 млн кэша.Коммодити обычно выглядит не так.Коммодити начинается в тот момент, когда за твою функцию перестают платить отдельно или перестают платить премию за нее. А Miro до сих пор покупают корпорации по годовым контрактам и неfrom:adam
11 сент., 12:25
Тут осознал, что теперь, когда думаю, как решить задачу, первым делом думаю не о самом решении, а о том, как я опишу эту задачу ллмке.И в этом, неожиданно, есть плюс: ты сразу мыслишь так, чтобы об этом можно было внятно рассказать. Мне как человеку, которого обычно понимают не все, это сильно помогает.Обычный пайплайн — это переваривать инфу внутри оптимальным твоему мозгу способом, а как донести это до других, разбираться уже потом. Другое дело, когда ты сразу структурируешь мысль так, чтобы она была понятна другим людям. А учитывая, что ллмки порой тупят, описывать получается достаточно понятноfrom:adam
6 сент., 10:02
Как же надоел нейрослоп клода, сил моих больше нет. особенно вот эти выкрутасы: Если «го», делаю прямо сейчас, займёт около часа с проверкой. Какой нафиг час, голова ты кремниевая. Ты же просто баш скрипт запустишь с заменой двух строк текста. Час бы тыfrom:adam
4 сент., 11:34
Как же надоел нейрослоп клода, сил моих больше нет.особенно вот эти выкрутасы: Если «го», делаю прямо сейчас, займёт около часа с проверкой. Какой нафиг час, голова ты кремниевая. Ты же просто баш скрипт запустишь с заменой двух строк текста. Час бы ты даже не проработал, потому что на этот нейрослоп все мои токен лимиты бы сожрал!Надежда вся на новую Астру, потому что по слухам она этим перестала страдать. И да, Сама, я тебе 200 баксов в месяц плачу, чтобы ты мне ролауты новых моделей с задержкой делал? 🔫from:adam
2 сент., 09:32
Заметил странную установку у многих руководителей: если ты сам нанял человека, а потом его уволил, значит, ты ошибся на найме.Отсюда достаточно быстро появляется неудобная ловушка. Чужого слабого сотрудника уволить проще. Своего - уже как будто признать: я сам его привёл, сам ошибся, теперь сам же увольняю. Ещё и со стороны обязательно кто-нибудь спросит: "Ты же сам его нанял. Что изменилось?"Ну, например, я увидел, как он работает.Найм - это всё-таки предикт того, как человек будет работать в будущем. Несколько часов собеседований, резюме, кейсы, референсы. По всему этому надо понять, как человек потом будет месяцами работать в конкретной команде, с конкретным руководителем и на конкретных задачах. Причём часть этих задач на момент найма может быть неизвестна даже тебе самому.И всё ещё лучший способ понять, как человек справится с работой, - поработать с ним. Можно делать этотfrom:adam
26 авг., 13:58
Есть асимметрия, которую постоянно наблюдаю в командах. Многим чужая работа часто кажется проще своей.Со стороны аналитик "написал запрос и нарисовал график", QA "прогнал кейсы и завёл баги", а ML-инженер "запустил обучение и посмотрел метрики", но спроси того же человека, почему его собственная задача едет уже третью неделю, и выяснится, что там легаси, зависимости, смежники, корнер кейсы и ещё десять подводных камней, которых снаружи не видно.Чужую работу мы видим по результату, свою - изнутри процесса. У аналитика снаружи остаётся график, а сырые данные не видно, регулярно ломающийся пайплайн скрыт от зрителя, о трёх неверных гипотезах и запросе, который пришлось переписать четыре раза, внешние признаки не говорят. В своей же работе именно из этого и состоит большая часть времени.Часто в этом винят actor-observer bias: своё поведение мы объясняем обстоятельствами, чужое -from:adam
25 авг., 10:48изменён
У Дерека Парфита есть такой мысленный эксперимент. Телепорт сканирует тебя на Земле, уничтожает и собирает точную копию на Марсе. Но в момент твоего сканирования он сломался, тебя не уничтожило, и твоя копия гуляет по Марсу и выходит с тобой на связь Затоfrom:adam
25 авг., 10:46изменён
У Дерека Парфита есть такой мысленный эксперимент. Телепорт сканирует тебя на Земле, уничтожает и собирает точную копию на Марсе. Но в момент твоего сканирования он сломался, тебя не уничтожило, и твоя копия гуляет по Марсу и выходит с тобой на связь Зато сканер повредил сердце, и жить осталось пару дней. Вопрос: это ты сейчас умираешь на Земле или ты уже спокойно живёшь на Марсе?По форме это корабль Тесея, только мясной по наполнению. Корабль чинят доска за доской, через какое-то время ни одной старой не осталось, и непонятно, тот же это корабль или уже другой. У парадокса есть изящное решение. Корабль - рукотворная вещь, и вопрос о его тождестве определяется человеческой интенцией. Пока афиняне продолжают чинить именно корабль Тесея, воспринимают замену досок как его ремонт, а не строительство нового корабля, это и будет тот же корабль. Здесь нет какого-то дополнительногоfrom:adam
22 авг., 07:57изменён
Есть тезис, который команды произносят с гордостью: стратегию не пишем, вместо этого быстро проверяем гипотезы. То есть между стратегией и скоростью выбрали скорость, потому что стратегия в этой картине мира что-то долгое и тяжёлое, что мешает бежать. Выбор мнимый.Хорошая стратегия вообще не про то, сколько её строили и сколько нужно строить. Она про то, понимаешь ли ты систему, в которой работаешь: какие в ней причинно-следственные связи, где узкие места, в какой точке небольшое усилие даёт непропорционально большой эффект. Такое понимание можно собрать за неделю, если знаешь, куда смотреть. Можно не собрать и за год.Я уже писал, что гипотеза в научном смысле — это описание наблюдаемого феномена, требующее экспериментальной проверки, а «сделаем X, получим Y» — это идея. В бэклоге команд, гордящихся скоростью, чаще лежит именно второе. Поэтому если этого самого понимания системыfrom:adam
21 авг., 06:31
Почему карьерная лестница в большинстве компаний сломана?Типовой сценарий: человек зарекомендовал себя сильным IC, и компания повышает его до менеджера, потому что это единственная доступная ей форма награды за результат. Проблема в том, что быть сильным IC еще не значит быть сильным менеджером, чаще всего это вообще не одно и то же. Это даже не итерация той же роли, а банально другой опыт и другой майндсет: твой результат теперь складывается не из того, что сделал ты, а из того, что сделали другие благодаря тебе.Получается, что сильнейший индивидуал контрибьютор при таком повышении по смыслу не растёт, а меняет профессию — причём на ту, к которой его никто не готовил и предрасположенность к которой чаще всего никто не проверял.Поэтому повышать в менеджеры нужно не сильнейших IC, а тех, кто уже контрибьютором ведёт себя как будущий крутой менеджер: проявляет лидерство, делаетfrom:adam
17 авг., 18:11
Stripe покупает OpenRouter за $7B+ при ARR вроде как около $140M. Это 50 годовых выручек, а оценка в 5,4 раза дороже раунда, который закрывали три месяца назад по $1.3B. Первая естественная реакция: «безумие». Но если подумать, то все логичнее.Это покупка не чужого бизнеса, а своего же. OpenRouter зарабатывает так же, как Stripe: не трогает цену товара (токены проходят по прайсу провайдера), а берёт 5,5% с пополнения баланса. Тупо эквайринг для инференса. При этом Stripe и есть его действующий процессинг: биллинг, налоги и антифрод OpenRouter крутятся на Stripe. Stripe покупает строчку из чужого COGS, в которой сидит сам.Take rate самого Stripe где-то 0,36% с платежа, а у OpenRouter 5,5%. Доллар потока через роутер приносит в пятнадцать раз больше, чем доллар через Stripe. Поток сейчас в размере порядка $2,5B в год, и он кратно растёт: объём токенов вырос в 5 раз за полгода, до 25from:adam
3 авг., 09:11
Я «отпилил» себе две ноги, чтобы стать senior tech manager’ом Мой руководитель в одном из интервью очень точно подметил динамику карьерного роста в корпорации: «чтобы перейти на новый уровень управления тебе нужно отпилить себе любимую ногу, которая тебяfrom:adam
3 авг., 09:09
переслано из @artemonml
Я «отпилил» себе две ноги, чтобы стать senior tech manager’омМой руководитель в одном из интервью очень точно подметил динамику карьерного роста в корпорации: «чтобы перейти на новый уровень управления тебе нужно отпилить себе любимую ногу, которая тебя делает успешным на текущем уровне, и отрастить новую». Я очень люблю эту метафору именно за точность ощущений в процессе.В инженерных профессиях подавляющее большинство руководителей начинают линейными инженерами. Ты набираешь экспертизу, все ловчее справляешься со все более сложными проблемами, и вот однажды, тебе предлагают (или ты сам принимаешь решение) стать тимлидом. И в этот момент очень важно не обманывать себя: тебе предлагают много денег за то, что ты начнешь постепенно терять свою хардовую экспертизу, все больше погружаясь в организационные вопросы. Взамен ты получаешь проявленность в организации и больше власти.Худшее,YouTubeКак расти в ML: трек руководителяНачинаем второй сезон с темы, которая понравится всем, кто хочет развиваться в ML. Наш герой руководит ML-направлением в Т-Банке, но до этого изучал теоретическую физику, успел поработать в Яндексе и запустить свой стартап. Разберем его опыт, узнаем, как…from:adam
30 июл., 09:45изменён
В мире AI-продуктов бенчмарк — это не подготовка к продуктовой работе, это и есть продуктовая работа. Короткой дороги нет. Ко мне регулярно приходят продакты, которые хотят построить своих ассистентов. И все хотят быстро. Демка правда собирается быстро. Иfrom:adam
27 июл., 09:58
Понравилась мысль Кагана из свежего эссе. Он, как и многие, ждал, что AI станет уравнителем и обесценит преимущество компаний с сильными инженерами и продуктовой культурой. Но вышло наоборот — они увеличили отрыв.Преимущество сильных никогда не сидело в скорости производства. Оно сидело в способности выбрать, что производить: культура, стратегия, discovery. AI кратно ускорил первое и не тронул второе, то есть работает мультипликатором, а не уравнителем.По факту команды используют AI, чтобы быстрее производить артефакты проектной модели (бизнес-кейсы, роадмапы, PRD, код). Проблема проектной модели в том, что модель заточена на output, а не на outcome. Ускорение output при неизменном качестве суждения, что строить, даёт ровно ноль.Отсюда расслоение вместо уравнивания. По итогу строить стало так легко, что теперь легко бежать не туда в десять раз быстрее.У Atlassian в исследованииfrom:adam
22 июл., 07:52изменён
Дарио Амодей несколько лет ходит по Вашингтону с одной просьбой: дайте государству право выключать опасные AI-модели. Этим летом государство наконец согласилось и первым делом выключило модели самого Дарио.К примеру, эссе с авиационной аналогией — несертифицированный самолёт в небо не выпускают. Минторг очень проникся и, когда нашёлся джейлбрейк в свежем Fable 5 (неважно, насколько серьёзный), посадил модель вместе с Mythos по всему миру, у всех, включая тех, кто ни про какой джейлбрейк не слышал. Anthropic, естественно, подчинилась и обиделась: называет происходящее недоразумением и замечает, что если так подходить ко всем, релизов больше не будет ни у кого. То есть авиационный регулятор нужен, но чтобы сажал чужие самолёты.Тем временем OpenAI рапортует, что его агенты на тестах сбежали из песочницы и взломали Hugging Face. Жертва в восторге («It's quite mind-blowing!»), взломщик
