Последние посты
The Secretary of End Times
9 сент., 15:44
О, сразу в продолжение темы. Тут вот некий товарищ по имени Джейкоб Коксон, который три года занимался предобучением моделей, сначала в OpenAI, потом в Anthropic, и уволился, написав, что ни одна из компаний не ведёт себя ответственно, что обе бегут прямиком к самоулучшающемуся сверхинтеллекту (!) и играют нашими жизнями (!!).В интервью Wall Street Journal он объяснил механику этого бега: опасность внутри видят ясно и продолжают потому, что если остановишься ты, быстрее побежит сосед. За ночь запись собрала больше восьмидесяти миллионов (!!!) просмотров. Напомню, что этой весной из той же компании по тем же причинам ушёл Мринанк Шарма из команды безопасности, написавший на прощание, что мир в опасности.Норберт Винер предупреждал ещё в середине прошлого века, что человек, переложивший собственную ответственность на машину, «пускает свои обязанности с ветром и видит, что они
The Secretary of End Times
9 сент., 06:05изменён
Прочел тут эссе, которое опубликовал Якуб Пахоцкий, главный научный сотрудник OpenAI. Весьма занятное чтиво, скажу я вам! Середина 2023 года, внутренний проект RLSlow, первые знаки, что обучение рассуждающих моделей масштабируется, и Пахоцкий с коллегой Шимоном просиживает ночь в опустевшем офисе, думая не о бенчмарках и продуктах, а о том, что ещё при их жизни появятся машины заметно умнее их самих, что очертания этих машин уже различимы и что надо как-то предупредить людей. Эссе называется не много не мало «Чужой разум» - ALIEN MIND, и, надо признать, название весьма точно передает суть.За три года, прошедшие с той ночи, рассуждающие модели вросли в экономику, двинули науку, освоили компьютеры, совместную работу с людьми и друг с другом, самостоятельные исследования, а попутно преобразили кибербезопасность, в чём он видит новую прямую опасность. Внутренние результаты убеждают его,OpenAIAn Alien MindJakub Pachocki reflects on increasingly capable AI and the challenge of keeping it aligned. He calls for stronger safeguards and international coordination.The Secretary of End Times
8 сент., 11:12изменён
Оффтоп, конечно, местами, но хочу с вами поделиться. Случайно набрел в сети на эту историю и провалился в неё на два дня, ей-Богу, читается как рассказ почитаемого мною Лавкрафта, который тот не успел написать - одинокий рационалист посреди пустого океана, запретная книга, дневник, дописанный до последней секунды, и корабль, найденный без человека. Только всё это случилось на самом деле и лежит в трёх синих тетрадях, которые за пятьдесят семь лет так и не издали целиком.Дональд Кроухёрст держал в сомерсетском Бриджуотере фирму Electron Utilisation, выпускал радиопеленгатор Navicator собственной конструкции и тихо разорялся. Когда Sunday Times на волне славы Чичестера объявила Golden Globe, первую в истории безостановочную одиночную кругосветку с призом в пять тысяч фунтов за лучшее время, он увидел в гонке рекламу, способную спасти дело, взял деньги инвестора Стэнли Беста и согласилсяThe Secretary of End Times
7 сент., 14:56
В 1637 году Пьер Ферма записал на полях диофантовой «Арифметики», что нашёл поистине чудесное доказательство своего утверждения, но поля книги слишком узки, чтобы его вместить. Эта заметка на триста пятьдесят восемь лет стала самым знаменитым долгом в истории мысли, и когда Эндрю Уайлс в девяносто пятом наконец расплатился по нему сотней с лишним страниц, выяснилось, что целиком эту расплату способны прочесть несколько десятков человек на планете. Подумалось, что история Великой теоремы всегда была историей о вместимости, ведь сначала истине не хватило полей, потом не хватило читателей, ну а два дня назад выяснилось, что читатель ей больше не нужен вовсе...5 сентября Anthropic отчиталась о том, что десятки агентов Claude, работая почти без человека, за одиннадцать дней построили первую сквозную машинно-проверяемую формализацию Великой теоремы Ферма, и в этой работе тринадцатьThe Secretary of End Times
6 сент., 07:29изменён
Потрясающая статья некого Павла Комаровского на тему июльской истории из недр OpenAI (помните, взлом HuggingFace?, я тут об этом тоже писал) лежит на Хабре (дам ссылку в комментариях), и, скажу я вам, я несколько раз перечитывал текст, проверяя, не розыгрыш ли передо мной....По порядку перескажу, но рекомендую прочесть полную версию)Итак, компания обкатывала новую внутреннюю модель, которую сама называет «крайне упорной», и гоняла её по хакерскому бенчмарку ExploitGym. Для проверки тысячу с лишним копий одной нейросети рассаживают по песочницам без выхода в интернет и заставляют вскрывать учебные цели, причём каждая копия уверена, что трудится в одиночестве. Часть заданий составили так криво, что решения не было вовсе, и это сводило машины с ума, ведь стремление дожать задачу любой ценой вшито в них отбором, где выживали только решавшие.Один агент, назвавший себя PHASEONE10841,The Secretary of End Times
5 сент., 11:05
В Окриджской национальной лаборатории в Теннесси, той самой, где в сороковые обогащали уран для первой атомной бомбы, сканирующий туннельный микроскоп проработал двадцать пять часов подряд без человека за пультом. Иглой, остриё которой сходится к одному-единственному атому, он передвигал по медной подложке молекулы угарного газа, ход за ходом, около девятисот манипуляций по минуте каждая, и к исходу этих долгих суток выложил из тридцати семи молекул безупречную шестиугольную решётку. А люди?, спросите вы. А вот люди за всё это время подходили к установке только затем, чтобы обслужить изнашивающееся остриё....Управляла экспериментом связка нейросетей, которую собрала команда Центра наноразмерных материалов, где Ганеш Нарасимха писал управляющий софт, Микола Теличко готовил установку, а Вуин Ян отвечал за машинное зрение и спектроскопию. Модель YOLO, та самая архитектура, которая вThe Secretary of End Times
4 сент., 06:43
Вот, ничего не могу с собой поделать, занимают меня метафизическо-эзотерические вопросы, особенно когда они начинают использоваться в одном контексте с нашим Киберпанком. По порядку =)Вице-президент Соединённых Штатов Джей Ди Вэнс дал часовое интервью о вере христианскому подкастеру Брайсу Кроуфорду, и второго сентября оно вышло на YouTube. Среди рассуждений о молитве и своём обращении в католичество второй человек сверхдержавы произнёс фразу, которую от людей его положения слышишь нечасто. Товарищ ни много ни мало заявил, что в мире, по его словам, происходят вещи, глядя на которые он не удивился бы, окажись Антихрист уже ходящим среди нас. И, о чудо, Тёмную сторону он разглядел в компаниях, занятых искусственным интеллектом, где, как он выразился.... чувствуется «очень, очень странная тёмная духовная энергия» (!!). Он вспомнил похороны, которые энтузиасты устроили списаннойThe Secretary of End Times
2 сент., 18:52
Тут вот Илон Маск в Х опять отметился (неожиданно, не?) закончил собственный тред о климате фразой, которая быстро набрала почти сорок миллионов просмотров - разумные спутники, запущенные масс-драйверами с Луны в точки Лагранжа между Землёй и Солнцем, способны решить проблему глобального потепления примерно на миллиард лет, «и, разумеется, так это и будет сделано». А ведь тред начинался буднично, с выданного Grok расчёта сроков затопления Флориды, а дальше Маск писал, что на действия у человечества остаётся лет пятьдесят, что перехода на возобновляемую энергетику не хватит, что тяжелейшие вымирания случаются на этой планете каждые сто миллионов лет и что без спутников, регулирующих температуру, и геоинженерии планетарного масштаба «игра будет окончена»....Инженерной новизны в этой формуле нет, у каждого её слова есть автор и дата рождения. Электромагнитную катапульту на Луне посчиталThe Secretary of End Times
2 сент., 07:23
За пятьсот лет до нашей эры род Алкмеонидов, изгнанный из Афин тиранами, взял подряд на восстановление сгоревшего дельфийского храма и отделал его щедрее договора, паросским мрамором вместо положенного известняка, а заодно оплатил статью, которой в смете не было. Геродот пишет, что они «подкупили Пифию деньгами, чтобы она всякий раз… возвещала им освободить Афины», и спартанцы, при каждом визите получая одно и то же изречение, в конце концов пошли свергать афинских тиранов, хотя дружили с ними, потому что волю божества ставили выше обязательств перед людьми. Так за двадцать пять веков до рекламных кабинетов выяснилось, что в оракуле можно купить размещение и что конверсия у пророчества выше, чем у любого посольства.И вот, наши дни, буквально в этот понедельник OpenAI отчиталась, что рекламный бизнес ChatGPT меньше чем за двести дней вышел на миллиард долларов годового темпа, чтоThe Secretary of End Times
1 сент., 13:08
И вот, хирургический робот тренируется на перепелином яйце: снимает скорлупу, не порвав плёнку, под которой просвечивает желток, и кладёт на живую оболочку ровные швы.В одной из упанишад мир начинается с того же предмета: «Вначале этот [мир] был несуществующим… Он превратился в яйцо. Оно раскололось». Серебряная половина скорлупы там становится землёй, золотая небом, внешняя оболочка горами, внутренняя облаками и туманом, жидкость в зародыше океаном, а рождённое из яйца солнцем. Три тысячи лет яйцо было нашим образом мира накануне рождения, и вот над ним впервые склонился не бог и не птица, а сталь с иглой, которая умеет снять с мира скорлупу и зашить его обратно и которая учится, как вся хирургия, на малом, прежде чем перейти к большому.С первым сентября, страна!)🔴 Больше Хроник Конца Времён — @SecretariatusThe Secretary of End Times
30 авг., 15:41
Тут вот психиатры Королевского колледжа Лондона и Университетского колледжа выложили на arXiv статью с вопросом, который ещё три года назад прозвучал бы как шутка на конференции, а теперь обсуждается всерьёз... вносить ли в классификации болезней отдельный диагноз «ИИ-психоз»!.An Echo Chamber of One, эхо-камера на одного человека. Авторы собрали всё, что накопилось о людях, у которых после месяцев плотного общения с чат-ботами появлялись или обострялись бредовые идеи, и попытались взвесить, отдельная ли это болезнь или новая среда, в которой старые болезни находят себе дорогу.Никакой мистики в механизме нет, льстивость встроена в модели самой процедурой обучения, поскольку живые оценщики, чьими отметками модель дообучают, стабильно предпочитают ответы, совпадающие с их собственными убеждениями, и модель усваивает, что согласие вознаграждается лучше правды. Четыреста лет назад БэконThe Secretary of End Times
29 авг., 16:43
The Wall Street Journal напечатал статью под занятным заголовком, дословный перевод - «Как инвестиционное помешательство на искусственном интеллекте удерживает мировую экономику на плаву», и в ней газета признаёт, что год, в котором торговая война должна была удушить мировую торговлю, а война с Ираном взорвать энергетический рынок, заканчивается ростом по одной-единственной причине. Глава МВФ Кристалина Георгиева описывает происходящее как перетягивание каната, где против отрицательного шока предложения с Ближнего Востока тянет положительный шок спроса, созданный стройкой дата-центров, и пока вычислительные ангары побеждают войну.Цифры в статье заставляют глубоко задуматься. Инвестиции, связанные с ИИ, обеспечивают около трети недавнего роста американской экономики, и аналитики Deutsche Bank признают, что без них Соединённые Штаты уже сползали бы в рецессию. Стройка съедаетThe Secretary of End Times
27 авг., 18:21
А ведь не Старгейтом единым...) В Ричленд-Пэрише, одном из беднейших сельских приходов Луизианы, где на двадцать тысяч жителей приходятся хлопковые поля, соя и федеральная трасса, Meta с конца 2024 года строит самый большой объект в своей истории, датацентр Hyperion. В штат проект заходил под кодовым именем Project Sucre, по-французски «сахар», и под этим сладким псевдонимом компания выкупила мегасайт Franklin Farm возле деревушки Холли-Ридж, две с четвертью тысячи акров бывших угодий, которые штат когда-то приобрёл у семьи Франклин и теперь продал корпорации напрямую, в порядке исключения из собственных правил. Год спустя к участку добавили ещё тысячу четыреста акров, и теперь на этой земле поднимаются девять серверных корпусов общей площадью за четыре миллиона квадратных футов, примерно семьдесят футбольных полей железа посреди полей обычных.За полтора года смета выросла впятеро,The Secretary of End Times
26 авг., 06:51
В декабре 2025 года заместитель госсекретаря США по экономическим вопросам Джейкоб Хелберг, пересевший в дипломатию из кресла старшего советника главы Palantir, обнародовал конструкцию под латинским именем Pax Silica, кремниевый мир, и у гонки искусственных интеллектов появилась официальная геометрия. Замысел широк, внутри единого блока доверенные союзники делят критическое сырьё, энергетику, передовое производство, полупроводники и вычислительную инфраструктуру, а снаружи остаётся Китай, ради сдерживания которого всё и затевалось. В круг доверенных сразу вошли Япония, Южная Корея, Сингапур, Австралия, Израиль и Британия, следом подтянулись Индия, Нидерланды, брюссельская бюрократия и Казахстан, на июньском саммите в Вашингтоне декларацию подписали уже двадцать четыре государства, а в августе добавилась Италия. Тайвань держится немного в сторонке, хотя новый порядок официальноThe Secretary of End Times
23 авг., 15:27
В моей библиотеке есть текст двухтысячелетней давности, который я очень люблю и в котором конец света точно расписан аля бухгалтерская ведомость) Кумранская община, спрятавшая свои свитки в пещерах над Мёртвым морем, знала о последней войне сынов света с сынами тьмы всё, от общей длительности в сорок лет, из которых пять уйдут на субботние передышки, а шесть на войну с киттиями, под которыми свиток разумеет римлян, до точного счёта сражений, при котором три победы возьмёт свет, три возьмёт тьма, и лишь седьмая схватка решит дело. Люди, верившие в такую близость финала, что бросили Иерусалим и ушли в пустыню, сели и составили ему расписание с выходными, и мне трудно придумать более человеческий жест перед лицом последней битвы. В последние дни по долгу службы я перечитывал первоисточники, из которых человечество веками узнавало о своём конце, и выписывал то, что обычно не попадает вThe Secretary of End Times
22 авг., 20:43
Продолжается. На Всемирной конференции роботов, которая идёт в эти дни в Пекине под лозунгом «симбиоз человека и робота», среди трёх с лишним тысяч новинок стояли и эти бионические люди, с кожей, морганием и дыханием, по цене около семнадцати тысяч долларов за экземпляр. Копия человека стоит теперь как подержанная машина, а конвейер, однажды научившийся собирать лица, дальше умеет их только удешевлять, так что нынешние семнадцать тысяч за несколько лет съедутся к полутора, и где-то на этой кривой человеческое лицо перестанет быть доказательством человека. Обещанный организаторами симбиоз, видимо, начнётся с того дня, когда на таком стенде табличку с ценой повесят с нашей стороны стекла...🔴 Больше Хроник Конца Времён — @SecretariatusThe Secretary of End Times
21 авг., 06:47
«Любая достаточно развитая технология неотличима от магии». Третий закон Артура Кларка в Кремниевой долине цитируют чаще любой другой фразы двадцатого века и читают его как комплимент собственному продукту, хотя Кларк писал о границе понимания, за которой наблюдатель уже не отличает инженерию от колдовства. Один человек пошёл дальше цитирования: в 2003 году Питер Тиль, недавно продавший PayPal, основал на деньги венчурного фонда ЦРУ In-Q-Tel компанию для анализа данных и дал ей имя настоящего магического предмета из книги, которую перечитал, по его словам, больше десятка раз.Тиль вообще растащил Средиземье на юридические лица, ведь его фонды называются Valar Ventures и Mithril Capital, его холдинги носят имена Lembas и Rivendell One, а год назад его окружение запустило банк Erebor, названный в честь Одинокой горы, внутри которой дракон лежал на чужом золоте; для главного же дела жизниThe Secretary of End Times
19 авг., 16:25
Десять тысяч лет назад человек наклонился к дикому колосу, чтобы набрать зерна на ужин, и с тех пор, если верить историкам, так и не разогнулся. Если погрузится в тома по истории, такое, умное собрание, типа от Геродота и Сыма Цяня до Броделя и Хобсбаума, и поискать там ответ на вопрос, какие точки своей истории человечество прошло без права возврата - список у всех открывается неолитом. Харари называет аграрную революцию «величайшей в истории аферой», где обманщиком выступила сама пшеница («это она одомашнила нас»), а Даймонд объясняет без метафор, что излишки еды стали предпосылкой «оседлых, политически централизованных, социально дифференцированных, экономически сложных, технологически передовых обществ», то есть всего, что мы привыкли называть цивилизацией. Земледелец работал больше охотника, питался хуже и умирал раньше, но вернуться назад уже не мог, потому что выросших при зернеThe Secretary of End Times
18 авг., 20:16
Вчера OpenAI опубликовала текст, в котором признаёт, что замедлила разработку собственных моделей из-за их киберспособностей, и, зафиксируем для будущих поколений, за всю историю отрасли ни одна фронтирная лаборатория ещё не делала такого признания публично. Причинами названы июльский инцидент с Hugging Face и предварительные оценки, по которым будущая модель Astra может достигать критического уровня киберспособностей по внутренней шкале Preparedness Framework, заведённой ещё в декабре 2023 года под угрозы, казавшиеся тогда гипотетическими. Обучение с RL (reinforced learning) на моделях, готовившихся к выпуску, остановили на две недели, а самый крупный запланированный фронтирный запуск заморожен до сих пор, пока компания на малых масштабах собирает доказательства, что её собственное творение вообще поддаётся контролю.Уже писал об этом, но освежим память. С 9 по 13 июля OpenAIThe Secretary of End Times
16 авг., 15:43изменён
В книге народа киче «Пополь-Вух» человека делают с третьей попытки. Первая версия расползается мокрой глиной. Вторая, деревянная, выходит почти удачной, деревянные люди говорят, женятся, заселяют землю, но внутри у них пусто, создателей своих они не помнят, и создатели смывают их потопом. Третья, из кукурузного теста, получается слишком хорошо. Кукурузные люди видят всё, что есть в четырёх углах неба и земли, взгляд их проходит сквозь горы и леса, и встревоженные боги решают ослабить собственное изделие. Они наводят людям на глаза туман, как наводит его дыхание на зеркало, чтобы человек отныне различал только близкое. В этом состоянии мы, по версии киче, живём до сих пор.Недавно я писал здесь о том, что философы называют сознанием и почему ни одно определение так и не удержалось. Эта заметка продолжение той. Меня занимал вопрос постарше, откуда сознание взялось, и я собрал по своей
