Последние посты
Это разве аналитика?
22 сент., 06:15
ИИ уже анализирует данные. Но умеет ли он делать это правильно? Нейросеть может быстро обработать таблицу, найти закономерности и подготовить выводы. Но без правильной постановки задачи легко получить ошибочные расчеты, неверные гипотезы и выводы, которым нельзя доверять.На открытом уроке 30 сентября в 20:00 МСК разберем, как применять ИИ в анализе данных: от подготовки запроса и очистки данных до поиска аномалий, проверки гипотез и создания аналитических выводов. Вы узнаете, какие задачи можно передать нейросети, как проверять ее результаты и превращать данные в рекомендации для принятия решений.Урок пройдет в преддверие старта курса «Аналитик данных». Занятие подойдет аналитикам, системным и бизнес-аналитикам, которые хотят сократить рутинные задачи и эффективнее работать с данными.Освойте практический подход к анализу данных с помощью ИИ и используйте новые инструменты в работе:
Это разве аналитика?
21 сент., 14:42
Главный вопрос к AI не «умеет ли он», а «умеешь ли ты ставить ему задачу»Такую мысль услышал в подкасте о том, как AI трансформирует аналитику в Яндексе.Я часто ловлю себя: делегируешь LLM сбор проекта, радуешься скорости, а потом видишь вывод, который звучит логично, но не учитывает нюанс, который ты держал в голове. Контекст не передаётся по щелчку — его нужно выписывать, структурировать, формализовать. И это отдельная работа, за которую всё ещё должен отвечать человек.Близко сопротивление сеньоров: «Я сделаю быстрее сам». И я делал. Но аргумент ломается, когда ресурсов в команде меньше, а задач больше. Тогда агент перестаёт быть игрушкой и становится единственным способом успеть.Хорошая мысль в подкасте была и про KPI: важно измерять не само использование AI, а его результат. Иначе инструмент начинают осваивать ради галочки.И последнее — про привычку. Сначала работа с ИИЭто разве аналитика?
16 сент., 12:39
переслано из @analyticsfromzero
Обратный ETL через Superset и премудрости корп архитектурыСловарь архитектора по-простому. Прямой ETL это когда аналитики забирают информацию с прода. Обратный ETL - когда прод забирает полезное из дата стека.Открыл для себя что один из самый простых способов поставить данные из КХД на прод - через Superset API. Там есть несколько методов программно по HTTP выдрать датасет из-под чарта.Опа! https://superset.company.name/api/v1/chart/{chart_id}/data/ - и готово!И это здорово, так как не порождает никаких доп процессов и систем. Суперсет-то все равно работает. Данные - обычный датасетик-витрина, легко создается и обмазывается теми же DBT тестами. Всяко лучше, чем городить силами дата офиса отдельные сервисы на FastAPI. Ноль лишних сущностей для команды данных.И самый смех в том, что в условиях кровавого энтерпрайза эта конструкция легко протаскивантся через самые жесткиеЭто разве аналитика?
14 сент., 13:49
Гайз, знаю что все ждали этого — новый сезон опроса State Of Data оч прошу потратить 10 минут времени всем и каждому + разослать по чатикам с коллегамив этом году, ожидаемо, появились вопросы про всякие llm и прочих агентов )https://forms.gle/Fp6HrZxBw7Y5VbFw7давайте посмотрим насколько помирает хадуп (особенно по сравнению с позапрошым годом) насколько выстреливает старрокс (или наоборот стагнирует) и прочие интересные инсайты вытащимтам в форме есть ссылки на .parquet с исходниками опросов '24 и '25 по текущему опросу исходник выложу в ту же гуглопапку ~ в середине октябряGoogle DocsState of Data 2026: Russian Editionℹ️ Приглашаем на третий ежегодный опрос о технологиях и подходах в сфере данных! Результаты первого опроса в формате презентации доступны тут, а в формате видео тут. Результаты второго опроса в формате презентации доступны тут. Сырые данные опросов в .parquet…Это разве аналитика?
14 сент., 06:09
переслано из @analyticsfromzero
По заявкам.Разные движки воспринимают ролевую модель айсберг-лейкхауса по-разному. И с этим надо смириться и воспринимать как вариант нормы.Поэтому учимся защищать данные даже в тех ситуациях, когда конкретный движок решит забить на правила.Один из способов- начать работать с S3 ключами.А как? А вот так.1️⃣ команде пользователю данных выдаем ключ не на весь бакет, а более гранулярно. Пользуемся тем, что если default location у нас s3://ice-bucket/data, то объекты по умолчанию будут разложены по префиксам s3://ice-bucket/data/schema/table.Вот и выписываем их гранулярно на схемы и таблицы. Эти же ключи раскладываем по ноутбукам, спаркам, трино каталогам, аэрфлоу и тд.2️⃣ В айсберг таблице есть параметр location. Это корень обхода дерева метадаты айсберг и то куда айсберг складывает свой стафф. По умолчанию он
Это разве аналитика?
14 сент., 06:08
переслано из @analyticsfromzero
Безопасность в Iceberg-LakehouseБерем Iceberg REST Catalog в виде Apache Polaris. Коннектим его к Трино как каталог. При этом передаем общие принципала и креды. Все подключается и успешно создаем, удаляем, работаем со схемами и таблицами.Теперь хотим подцепиться к тому же каталогу через PyIceberg. С теми же кредами. И Ловим 401 на попытке прочитать таблицу? Почему?Потому что PyIceberg честный и спрашивает креды на значимые действия с таблицей. Подчинаяется ролевой модели поляриса в этом плане. А трино просто взял metadata.json из каталога и пошел сам по S3 расшифровывать айсберговскую дату и метадату, никакого разрешения от каталога ему для этого не нужно. Ну и свою ролевую модель поверх наложил.Одна и та же таблица, одна схема подключения, но два представления о прекрасном от двух движков данных.Напоследок - доступные роли в Полярисе, грантов которых PyIceberg от нас ждет.Это разве аналитика?
26 авг., 13:10
переслано из @tldr_data
Apache Airflow 3.3.0: Stateful Tasks and Multi-Language SupportВ Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.В DAG задача объявляется как stub:@task.stub(queue="golang")Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.Документация@tldr_data
Это разве аналитика?
19 авг., 21:03
переслано из @rockyourdata
Поделюсь своими ощущениями по использованию AI агентов. Этап эйфории прошёл.Немножко поподробней про этот этап. У вас есть Claude Code и больше ни у кого его нет. У вас уже настроены MCP ко всем дата-сервисам и базам, и Claude делает за вас 100% работы. Любую задачу вы решаете мгновенно. Коллеги не понимают, что такое Claude Code, и все делают по старинке руками. На их фоне вы просто монстр производительности, даже можете менять и траблшутить Source Code.Дальше компании начинают инвестировать в подписки Claude Code, и уже волей-неволей у всех появляется Claude. Ты им показываешь, как с ним работать и как всё работает. 2–3 месяца — и коллеги уже могут сами использовать MCP и делать PR через агентов.Первый звоночек — обычно что-то вроде: «Ты слишком быстро всё сделал, и агент написал лабуду». То есть надо уже больше смотреть за агентом, всё перечитывать и перепроверять. ОсобенноЭто разве аналитика?
18 авг., 19:19
Подробности вечернего сбоя в рунетеhttps://www.securitylab.ru/news/576203.phpЭто разве аналитика?
18 авг., 03:44
переслано из @tips_ai
meat-proxy — человек который отправляет ответ ИИ вместо своей точки зренияне будьте meat-proxy 😏@tips_ai
Это разве аналитика?
13 авг., 10:36
переслано из @data_dzen
Хочу проверить, как вы думаете. Держите дело 🕯Из пятницы в пятницу вы читали, как я собираю это по кускам. Пора показать целиком.DATA NOIR 🔥 Ночь, лампа, стол, папка с делом. Вы осматриваете место преступления, ищете подозреваемых по приметам, допрашиваете, ловите на лжи, тянете нити между уликами на доске. С миром дела вы говорите SQL-запросами. Но учить SQL вас никто не заставляет. Запрос это просто ключ под конкретную дверь. сначала решаете, какую дверь открыть, и уже под неё ищете ключ Правильной кнопки тут нет 🔎 Это приключение, где каждое решение вы принимаете лично. Никто не подсветит нужную улику. Подозреваемые врут. Самый очевидный подозреваемый чаще всего и есть ловушка. В деле про украденную пластинку первым под руку лезет богатый коллекционер. Мотив на поверхности, деньги есть, репутация так себе. Проверьте его. Посмотрите, что будет ))
Это разве аналитика?
13 авг., 10:24
😂😂😂😂😂
Это разве аналитика?
12 авг., 06:30
переслано из @analyticsfromzero
Цифры от которых бывает печальносмотрю на отчеты топ облачных компаний. За 2 квартал.Azure - $100+ млрд/год. Рост +43% год-к-году.AWS - $168 млрд/год ($42 млрд/квартал). Рост +27% год-к-году.Для сравнения - топ облако в России - Яндекс Клауд показал $0.3 млрд в год. Примерно столько же, сколько Clickhouse Inc.Российский рынок ИТ по оценке ТАдвайзера - 3,5 трлн рублей в год. Равно $45 млрд.Капексы только двух компаний Azure + AWS за год - это больше чем потратили на российский ИТ за всю его историю.Привет моему любимому типу заказчика российского облака: "Ну в Амазоне конечно же круче сделано, чем у вас!" Да чудо что мы смогли к AWS вообще хоть как-то приблизиться имея примерно 0,2% его ресурсов.TelegramАрхитектор ДанныхПосмотрел интервью Алексея Миловидова, создателя Clickhouse Инсайты одной строкой Продолжая тему рукопожатности. В борде Clickhouse Inc Алексей практически единственный русскоязычный владелец. Там полный набор фондов долины и их представителей. В топах…Это разве аналитика?
5 авг., 19:56
переслано из @asisakov_channel
Пять базированных вещей для тех, кто вкатывается в аналитику Часть 2Первая часть здесь, и там мы остановились на:А что менеджеру-то отвечать, если он спросит про падение метрик?4️⃣Умение объяснить результатВозможно теперь это умение конкурировать с AI за экспертизу. Но еще это умение не городить сложные модели, которые никому не нужны. Давайте не будем строить космолеты с катбустом из 50 фич, когда достаточно просто таблички со скорами.А давайте теперь представим, что бизнес просто сходил в ChatGPT и спросил что ему нужно напрямую. Ему отвечают быстро, красиво, правильно и уверенно. Почему бизнесу должно ждать именно нас?А вот почему: потому что мы знаем контекст, данные, ограничения и подводные камни конкретно этого бизнеса и конкретно этих гипотез. Мы можем задать правильный вопрос до того, как начать строить модель. А ллмки пока работают сTelegramasisakovПять базированных вещей для тех, кто вкатывается в аналитику Часть 1 Недавно разбирал резюме кандидатов на вакансию и в который раз заметил одни и те же шаблоны. Открываешь резюме, и там написаны все ключевые слова, супер проекты, несколько лет опыта в виде…Это разве аналитика?
5 авг., 19:56
переслано из @asisakov_channel
Пять базированных вещей для тех, кто вкатывается в аналитику Часть 1Недавно разбирал резюме кандидатов на вакансию и в который раз заметил одни и те же шаблоны. Открываешь резюме, и там написаны все ключевые слова, супер проекты, несколько лет опыта в виде прохождения курсов, ну и скорее всего перед собесами выучены одни и те же источники с ответами на 100 самых известных вопросов. А потом откликаются на непростые вакансии с узкой направленностью и на первых же вопросах идет столкновение с бурмалдой реальностью.Я решил поделиться с вами пятью вадными пунктами, без которых просто не выжить в этих датасаенсах, когда начнешь работать. Кстати, в последнее время наблюдается новый уровень этого явления, когда вообще нет желания что-то ботать, ведь AI сделает все лучше:Зачем мне SQL/статистика/питончик - у меня есть ChatGPT, он все напишет1️⃣SQLЯ ужеTelegramasisakovRoadmap в DataScience Десятки гайдов я перечитал в свое время про то, как вкатиться в наш любимый датасаенс. И не раз я встречал потом комментарии к ним, что подготовка по таким гайдам занимает не менее года, и потом за этим следует череда собеседований…Это разве аналитика?
4 авг., 14:53
переслано из @modern_data_stack
Какой-то микс нынче в дата мире происходитСократят ли кожаных в пользу AI? Я тут погуглил. Мне кажется, что эти 2 компании умеют пользоваться иишкой как никто другой. Ну и чего, сократили там кого-нибудь? :)С другой стороны не пользоваться сейчас таким инструментом кажется довольно глупой идеей. Не знаю как у вас, у нас в командах данных текучки более 50 процентов. Я больше 10 лет пишу код, около 5 лет в текущей компании. Писать очередной оператор в эйрфлоу, объяснять зафиксированные метрики в дбт в очередной раз? Увольте пусть ии ответит за меня.И вот эта история с данными, мне кажется, подводит отделы данных к решению такой задачки, как создание "единого хранилища контекста", а моем понимании ai платформы в компании. Что все понимают под этими словами (и понимают ли) - большой вопрос. Есть ли какие-то устоявшиеся шаблоны или хотя бы примеры - нет. Можно ли угадать, куда пойдет
Это разве аналитика?
1 авг., 03:50
переслано из @rockyourdata
MotherDuck сделали классный сервис для своего демо, который анализирует данные с LLM
Это разве аналитика?
22 июл., 06:18
переслано из @analyticsfromzero
Где-то рядом с культом железки у нас живет культ героя.Давайте представим 2 команды.Команда А. 1-2 года делала качественный продукт. Он просто выкатывается в любого заказчика, без проблем интегрируется со всем что надо и дальше работает без косяков.Команда Хэ. Сделала нечто, оно развалилось у заказчика в первый же день. И следующую неделю все Хэ не спали, не ели, а правили баги и решали все на свете проблемы на этапе деливери.Какая из команд будет на хорошем счету у директоров? Кого похвалят на корпоративе? Кому дадут ресурсов на следующем этапе?Прости, товарищ Генри Форд, но эффективность у нас не в почете, у нас в почете героизм вопреки всему. Особенно вопреки собственному многолетнему раздолбайству.TelegramАрхитектор ДанныхИ это правда В стране не платят больших сотен миллионов за софт. Только если к нему жужжащий ящик пристегнут. До сих пор помню несколько подряд конференций, где ВК объявлял, что у него есть коробочное решение где внутри почта, мессенджер, вкс, простой таск…Это разве аналитика?
17 июл., 17:46
переслано из @revealthedata
Это разве аналитика?
15 июл., 05:02
Ребят, тут Авито регистрацию на свой первый CTF открыл с призами до 300 000 рублей на команду 📍AvitoTech устраивает CTF онлайн с денежным призовым фондом, мерчем и интересными тасками! Регистрация команд уже открыта по ссылке, а ниже собрали инфу, что предстоит делать во время HoneyBadger CTF AvitoTech.Возьмите на себя роль медоеда, проверьте защиту пчелиного улья и найдите все скрытые уязвимости в сотах. Чего ждать от турнира: тасков на веб-уязвимости, инфраструктурных мисконфигов, анализа скомпилированного кода, расследования инцидентов, слабостей шифров, всего, что требует хакерской смекалки. И розыгрыша мерча, помимо основного призового фонда.Важно: CTF не только для спецов по кибербезопасности — есть отдельная лига для всех, кто любит разбираться, как устроены IT-системы 🐝
