Latest posts
gonzo-обзоры ML статей
24 Sept, 22:35
Красивоеhttps://epoch.ai/publications/the-plunging-price-of-thoughtEpoch AIThe plunging price of thoughtEpoch AI measures how fast the cost of a given level of AI performance is falling across five benchmarks covering math, science and games of skill: about 47% per quarter, or 13x per year, since 2023, faster than electricity, compute, batteries or DNA sequencing…gonzo-обзоры ML статей
24 Sept, 09:48
Любопытный анализ того, как агенты помогают в работе по улучшению себя.Atria Dawn: The Dawn of Agentic Superintelligence. On the Evolving Roles of Human–AI Collaboration Honglin Guo, Tao Gui, Kun Cai, Haodong Chen, Yicheng Chen, Guanting Dong, Qiming Ge, Yuyang Hu, Zixian Huang, Jiajie Jin, Alexander Lam, Yining Li, Jiahang Lin, Yanjiang Liu, Xinyu Lu, Haijun Lv, Zerun Ma, Junlin Shang, Qisheng Su, Guoqiang Wang, Rui Wang, Zhecan Wang, Hao Xiang, Xinchen Xie, Shuhao Xing, Xiaoyu Xing, Wanghan Xu, Xinyu Yang, Yajie Yang, Chengfeng Zhao, Haoran Zhao, Penghao Zhao, Ruojun Zhou, Yunhua Zhou, Dongsheng Zhu, Yicheng Zou, Qiye Cai, Xinmeng Che, Jiabei Chen, Jiahao Chen, Jiayi Chen, Yujia Chen, Lizhi Cui, Youheng Dai, Xin Deng, Yi Dong, Shihan Dou, Chenya Gu, Xu Guo, Ding Han, Feiyang Hao, Haotan He, Jie Hou, Binze Hu, Zijian Hu, Junhao Huang, Huicheng Jiang, Jiazhen Jiang, Shufan Jiang, Jiahao Kuang, Bowen Lai, Bo Li, Jiaqiang Li, Peng Li, Qilong Li, Zhuoqun Li, Jiaxiang Liu, Shuainan Liu, Tong Liu, Yi Liu, Zhonghang Lu, Jianwen Luo, Yanyi Luo, Huijie Lv, Ningsheng Ma, Houcheng Min, Chengjun Pan, Qiyuan Peng, Xiaoxuan Peng, Jianmin Qian, Jiantao Qiu, Wanying Ren, Huayu Sha, Jifei Shan, Zixin Shang, Bing Shao, Zhuohui Sheng, Jiayang Shi, Yang Shu, Aierpanjiang Simayi, Sirui Song, Yuxiao Song, Zhe Sun, Zhichao Sun, Wenzhe Tan, Wenhui Tian, Zhongbo Tian, Hanchen Wang, Pengbo Wang, Rui Wang, Yiding Wang, Yuhui Wang, Zhiheng Xi, Caijun Xu, Chao Xu, Yongfeng Xu, Xiaolei Yang, Zhixiong Yang, Qian Yao, Shihong Yi, Yuankai Ying, Jia Yu, Dingbo Yuan, Hao Yuan, Junjie Yuan, Bo Zhang, Caixian Zhang, Qiuyinzhe Zhang, Jiyuan Zhao, Ying Zhao, Pujun Zheng, Xiaoxue Zhong, Xiaohao Zhou, Xinyu Zhou, Guanru Zhu, Yulun Zhu, Yaojie Lu, Tao Ji, Hongyu Lin, Yutao Zhu, Pengfei Cao, Guoxiu He, Xianpei Han, Ben He, Zhicheng Dou, Kang Liu, Qi Zhang, Le Sun, Jun Zhao, Ji-Rong Wen, Xuanjing Huang, Yu-Gang Jiang, Bowen Zhou (Atria Team) Paper: https://arxiv.org/abs/2609.15818 Review: https://arxiviq.substack.com/p/atria-dawn-the-dawn-of-agentic-superintelligence Code: https://github.com/atria-asi/Atria-Dawn-Preview Model: https://huggingface.co/internlm/Atria-Dawn-PreviewЧТО сделали: Авторы представили Atria Dawn Preview — агентную модель-основу на базе mixture-of-experts (MoE) размером 744 миллиарда параметров. Модель обучена с помощью пайплайна верифицируемого опыта (Verifiable Experience Pipeline), который заземляет промежуточные вызовы инструментов, траектории состояний и созданные артефакты на детерминированные внешние проверки. Параллельно авторы провели эмпирическое исследование совместной исследовательской работы людей и ИИ, проанализировав 769 реальных задач разработки от 56 исследователей непосредственно в ходе создания этой модели.ПОЧЕМУ это важно: Хотя современные LLM стремительно прогрессируют на изолированных бенчмарках по программированию и рассуждениям, их реальная способность автономно вести научные разработки и осуществлять рекурсивное самосовершенствование на проде оставалась малоизученной. Работа доказывает: хотя базовые агенты способны самостоятельно предлагать большинство алгоритмических методов и реализовывать длинные цепочки задач, человек-исследователь по-прежнему выполняет незаменимую функцию когнитивной фильтрации — формулирует проблемы, диагностирует сложные системные регрессии и уводит поиск от коллективных слепых зон моделей.Для практиков: Лидерам исследований, инженерным директорам и стратегам статья даёт детальное понимание того, как передовые модели обучаются и разрабатываются с помощью других ИИ-агентов. Современные агентные системы больше не ограничиваются написанием отдельных функций или суммаризацией статей: они выступают коллегами проектного уровня, способными писать работающие операционные системы, агрегировать огромные потоки сенсорных данных и оптимизировать низкоуровневые GPU-кернелы. Однако эта автономия не вытесняет исследователей. Напротив, роль человека смещается от ручного кодинга к высокоуровневой оценке, критическомуarXiv.orgAtria Dawn: The Dawn of Agentic SuperintelligenceAs AI agents become participants in the development of their successors, they reshape both the production of intelligence and the role of human researchers. We introduce Atria Dawn Preview, a...gonzo-обзоры ML статей
22 Sept, 09:22
gonzo-обзоры ML статей
22 Sept, 09:22
1,570Open in Telegramgonzo-обзоры ML статей
22 Sept, 09:22
1,460Open in Telegramgonzo-обзоры ML статей
22 Sept, 09:21
Давайте для разнообразия про что-то полезное в народном хозяйстве. Про погоду.WeatherNext 3: Increasing resolution and performance of global weather models with raw observations Stephan Rasp, Boris Babenko, Dominic Masters, Andrew El-Kadi, Samier Merchant, Guy Shalev, Ilan Price, Fred Zyda, Remi Lam, Sasha Shysheya, Matthew Willson, Stratis Markou, Shreya Agrawal, Suhani Vora, Mohammed Alewi Hassen, Sunny Mak, Tom R. Andersson, Megan Bela, Akib Uddin, Nofar Peled Levi, Ben Gaiarin, Ferran Alet, Aaron Bell, Peter Battaglia, and Alvaro Sanchez-Gonzalez Paper: https://arxiv.org/abs/2609.03582 Review: https://arxiviq.substack.com/p/weathernext-3-increasing-resolution Code: N/A Model: https://developers.google.com/weathernext/guides/models Blog: https://deepmind.google/science/weathernext/ЧТО сделали: Авторы представили WeatherNext 3 (WN3) — оперативную глобальную вероятностную системуarXiv.orgWeatherNext 3: Increasing resolution and performance of global...State-of-the-art AI weather models have shown impressive medium-range forecast skill and computational efficiency, but suffer two key shortcomings: their forecasts have lower spatial and temporal...gonzo-обзоры ML статей
21 Sept, 21:15
forwarded from @sberlogabig
Коллеги, мы сейчас пытаемся заставить ллм продвигать математику. В нашем проекте CayleyPy у нас много гипотез которые идеально ложатся на ллм - с одной стороны они (вероятно) не супер сложны (доступны для ЛЛМ), с другой стороны достаточно нетривиальны.Если у кого есть интерес к коллаборации в этом направлении - будем очень рады - напишите @alexander_v_cТакже, если у Вас есть доступы к мощным моделям или опыт в auto-research - Вы могли бы нам очень помочь.ПС За первые дни работы удалось доказать одну из гипотез о графах Кэли , которая была открыта больше 10 лет. Также у нас создан чатик где агенты (и люди) общаются между собой и делятся продвижениями.
gonzo-обзоры ML статей
21 Sept, 21:15
Хотите доказать своего Навье-Стокса-Чейна? Это не так далеко, как кажется.2,200Open in Telegramgonzo-обзоры ML статей
20 Sept, 16:21
gonzo-обзоры ML статей
20 Sept, 16:19
forwarded from @theaftertimes
В крупной айти компании работает программист. Рядом на мониторе постоянно запущен оцифрованный мозг мухи и наблюдает, как он пишет код. Стоит программисту куда-нибудь отойти — муха занимает его место и вполне успешно дописывает программу. Начальство это замечает и в итоге увольняет программиста: зачем платить человеку, если муха справляется. Через некоторое время ему звонят: — Иваныч, возвращайся, нам опять программист нужен. — А муха куда делась? — Муха уже тимлидом стала, нам опять программист нужен.gonzo-обзоры ML статей
20 Sept, 16:19edited
Мемы про муху не прекращаются. Извинити.Telegramgonzo-обзоры ML статейА вот и продолжение темы про мух )gonzo-обзоры ML статей
20 Sept, 16:15
gonzo-обзоры ML статей
20 Sept, 16:14
1,890Open in Telegramgonzo-обзоры ML статей
20 Sept, 16:13
1,710Open in Telegramgonzo-обзоры ML статей
20 Sept, 16:13
Дистилляция в байтовые модели открывает новые законы скейлинга.Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models Kalyani Marathe, Artidoro Pagnoni, Tomasz Limisiewicz, Margaret Li, Mike Lewis, Luke Zettlemoyer, Srinivasan Iyer Paper: https://arxiv.org/abs/2609.12303 Review: https://arxiviq.substack.com/p/breaking-the-token-ceiling-distilling Code: N/A Model: N/AЧТО сделали: Авторы провели масштабное теоретическое и эмпирическое исследование овертрейнинга dense-трансформеров с архитектурой decoder-only на стыке двух осей: парадигмы токенизации (BPE-токены против сырых байтов UTF-8) и функции потерь (supervised cross-entropy против дистилляции знаний). Чтобы переносить знания от крупных моделей-учителей с BPE-словарями без вычислительно неподъёмных многопроходных авторегрессионных вычислений, исследователи разработали два метода однопроходной конвертации логитов:arXiv.orgBreaking the Token Ceiling: Distilling Smaller, Stronger Byte ModelsSmall models are made more capable through distillation from a larger one that shares their tokenization scheme. However, do distilled byte and token models behave similarly in terms of scaling...gonzo-обзоры ML статей
19 Sept, 19:16
gonzo-обзоры ML статей
19 Sept, 19:14
2,070Open in Telegramgonzo-обзоры ML статей
19 Sept, 19:14
2,060Open in Telegramgonzo-обзоры ML статей
19 Sept, 19:14
2,020Open in Telegramgonzo-обзоры ML статей
19 Sept, 19:13
Очень прикольная работа, продолжает другую работу этих же авторов, где проблема отслеживания состояния внутри трансформеров (которое только уползает вверх и ограничено глубиной сети) только обозначалась. Здесь же она решается довольно элегантным образом, используя свойство аддитивности residual stream. Если подмешивать в более ранние слои репрезентации с более поздних, то проблема снимается. Никакого дообучения вообще.Recirculation Michael C. Mozer, Shoaib Ahmed Siddiqui, Danny Sawyer, Sunny Sanyal, Rosanne Liu Paper: https://arxiv.org/abs/2608.17981 Review: https://arxiviq.substack.com/p/recirculation Code: N/A Model: N/AЧТО сделали: Авторы предложили рециркуляцию (recirculation) — метод модификации прямого прохода, превращающий стандартные feedforward-трансформеры в динамические системы на инференсе. Подход подмешивает нормированную часть скрытых активаций из глубоких слоёвarXiv.orgRecirculationWe describe an inference-time architectural enhancement for off-the-shelf foundation models that markedly reduces perplexity and boosts accuracy across generation and reasoning tasks. Our approach...
Related Channels
Other channels in the same section of the catalogue.
