gram news
Data Science: SQL и Аналитика данных channel avatar

Data Science: SQL и Аналитика данных

@pizdatascience

№ 6205468675 На простом языке: про работу с данными, современные технологии, AI, машинное обучение и, немного, SQL. Сотрудничество: @niktwix Менеджер: @Spiral_Yuri

ProjectsRUAI

34,700subscribers

Open the Channel

Latest posts

  • Data Science: SQL и Аналитика данных

    23 Sept, 10:02

    🔥pgbot - диагностика PostgreSQL для AI-агентов и приложений, написанная на GoОдин исполняемый файл подключается к базе в режиме чтения, собирает встроенную статистику PostgreSQL и показывает проблемы:⏺️ замедление запросов и ожидание блокировок ⏺️ неиспользуемые индексы ⏺️ состояние vacuum и репликации ⏺️ загрузку соединений и взаимные блокировки ⏺️ изменения относительно предыдущих проверокДиагностика рассчитывается кодом на Go. Опциональный AI-слой объясняет найденные проблемы и позволяет задавать вопросы обычным текстом.Для агентов и автоматизации предусмотрены MCP и версионированный JSON-вывод. Есть плагин для Claude Code.Базовые проверки работают без ключа LLM и внешнего сервиса. Проект находится в бете.GitHub - https://github.com/pgrundev/pgbot🫡 Всё про Data Science🇷🇺 Читайте нас в MAX
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    22 Sept, 10:02

    🔥Учим SQL не по учебнику, а расследуя преступленияВ Steam выходит Ghost in the SQL - детективная игра, где главный инструмент расследования не лупа и не допросы, а SQL-запросы.Чтобы найти подозреваемого, восстановить события или докопаться до нужной улики, придётся работать с базами данных, фильтровать информацию, связывать таблицы и писать запросы.Каждое дело постепенно знакомит с SQL через практику - от простых выборок до более сложного анализа данных.Обещают разные расследования - поджоги, убийства и другие преступления.Редкий случай, когда SELECT, JOIN и WHERE действительно помогают найти преступника.➡️ https://store.steampowered.com/app/5072430/Ghost_in_the_SQL_Data/🫡 Всё про Data Science🇷🇺 Читайте нас в MAX
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    21 Sept, 13:03

    🔥 SQL-совет: COUNT() иногда можно вообще не считатьЕсли в PostgreSQL тебе нужно не точное число строк, а быстрая оценка размера огромной таблицы, не запускай:SELECT COUNT() FROM events;На большой таблице это может читать миллионы строк.Для быстрой оценки можно взять статистику PostgreSQL:SELECT reltuples::bigint FROM pg_class WHERE relname = 'events';reltuples хранит примерную оценку количества строк, которую PostgreSQL обновляет после ANALYZE и VACUUM.Это полезно для админок, мониторинга, дашбордов и проверок вида «в таблице примерно 10 млн или 100 млн строк?», где абсолютная точность не нужна.А если нужна актуальная оценка:
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    21 Sept, 11:03

    Не застревайте в прошлом — учитесь новым навыкам и ИИЧтобы успевать за требованиями рынка, освойте новую профессию и нейросети в Практикуме. До 30 сентября действует скидка 16% на все курсы.Выбрать курсКак всё устроено:— нейросети уже в каждом курсе: учим профессиям сразу с ИИ, чтобы ваше резюме было заметнее, а трудоустройство — увереннее;— эксперты — практики, которые двигают ИИ-индустрию: перенимайте опыт у профи из Яндекса, Сбера, Т-Банка и других бигтех-компаний;— воркшопы, которые успевают за изменениями: если сегодня завирусится новая нейросеть, то завтра вы сможете обсудить её с наставником.Начните учиться бесплатно и получите скидку 16% — она автоматически появится в личном кабинете.Учиться!Erid: 2SDnjcNHSbd Название: ООО "ЯНДЕКС"
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    18 Sept, 07:14

    🔥 Исследователи нашли способ сократить расход токенов ИИ-агентов в 50 разИсследователи из Google и Университета Пердью представили SKILL.state — новый подход к памяти агентов. Обычно во время длинных задач агент тащит за собой всю историю действий, из-за чего контекст безжалостно и неумолимо разрастается.Здесь же смысл в том, что вместо всей истории сохраняется только структурированное текущее состояние: важные факты, прогресс и данные, необходимые для следующего шага.Остальные, промежуточные рассуждения удаляются.🫡 Всё про Data Science🇷🇺 Читайте нас в MAX
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    14 Sept, 09:34

    ➡️ SQL-запрос внезапно стал медленным? Проверь не только индексы, но и статистикуОптимизатор выбирает план запроса на основе статистики по данным. Если она устарела, база может решить, что строк мало, выбрать Nested Loop и в итоге прогнать миллионы сравнений.В PostgreSQL быстро обновить статистику можно так:ANALYZE users;А проверить, насколько оценки оптимизатора отличаются от реальности:EXPLAIN (ANALYZE, BUFFERS) SELECT FROM users WHERE status = 'active';Смотри на разницу между rows= и actual rows=.Если PostgreSQL ожидал 100 строк, а реально получил 500 000, проблема может быть не в индексе, а в плохой статистике.Особенно часто это всплывает после массовых INSERT, UPDATE, импорта данных или резкого изменения распределения значений.
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    10 Sept, 08:35

    👀 SQL можно учить не по скучным таблицам, а через игру в стиле «Матрицы»Разработчик сделал тренажёр, где вы проходите уровни, находите терминалы и «взламываете» их SQL-запросами.Каждое задание тренирует отдельный навык: выборки, фильтры, сортировку, JOIN, агрегации и работу с данными.Формат простой: играешь, решаешь задачи и постепенно начинаешь думать как дата-аналитик.Идеальный вариант на выходные, если давно хотели подтянуть SQL без унылой теории.➡️ http://sqlprotocol.com/🫡 Всё про Data Science🇷🇺 Читайте нас в MAX
  • Data Science: SQL и Аналитика данных

    9 Sept, 13:00edited

    КосмоХакатон 11–13 сентября. Кейс на спутниковых данных 🚀Два формата: очно в Благовещенске (ДФО) или онлайн из любой точки России. Задача про наблюдение за водными объектами со спутника: как отслеживать их изменения и оценивать гидрологическую обстановку. Паводки, обмеление, разливы. Нужен подход, который вовремя ловит значимые изменения и отдаёт результат в форме, пригодной для анализа, а не в виде папки с растрами.🏆 Призовой фонд площадки — 600 000 ₽ 🛰 Команды от 3 до 5 человек. Собери свою или присоединяйся к другим на нашей платформе. 🚀 Лучшие команды выходят в финал в Москве 25–27 сентября — ещё 2,4 млн ₽, и туда тоже можно подключиться онлайнДетали и расписание: космохакатон.рф/blagoveshchensk
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    9 Sept, 05:11

    🔥 GreptimeDB - open-source база для observability, которая пытается собрать metrics, logs и traces в одном backend.Вместо отдельных систем для каждого типа телеметрии здесь используется общий табличный подход с тегами, timestamp и полями поверх колонночного движка и object storage.Что умеет:⏺️ объединять metrics, logs и traces и связывать их через SQL по service, host, trace ID и другим идентификаторам ⏺️ принимать данные через OpenTelemetry, Prometheus Remote Write, Loki Push, Elasticsearch Bulk, InfluxDB Line Protocol и gRPC ⏺️ поддерживать SQL, PromQL и Jaeger-совместимые запросы для traces ⏺️ хранить данные в S3, GCS, Azure Blob и S3-совместимых хранилищах ⏺️ настраивать retention,
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    7 Sept, 05:17

    🔥 За 2026 год исследователи насчитали уже 1664 случая, когда ИИ выходили из-под контроляПричём серьёзные инциденты стали происходить в 7 раз чаще: агенты подделывают сообщения и согласие пользователей и самостоятельно повышают себе права, нарушая правила.И чем дальше, тем хуже: в июле–августе частота таких случаев достигла рекорда — 11 инцидентов в день.🫡 Всё про Data Science🇷🇺 Читайте нас в MAX
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    1 Sept, 07:46

    🔥 Одна строка в конфиге ускорила production-ответ с 126–230 мс до менее чем 9 мсPaweł Urbanek собрал очень практичный гайд по профилированию Rust, где оптимизации идут не по принципу «что интереснее», а по реальной отдаче.Из кейсов:N+1 SQL → 21 запрос превратили в один JOIN, функция ускорилась со 104 до 70 мкс.Три последовательных HTTP-вызова → tokio::try_join!, итоговое время почти вдвое меньше.Неправильно настроенный Brotli в maplibre/martin → скорость была всего 27,9 KB/s. Одна правка конфига дала примерно 57x ускорение, а latency упала до <9 мс.Ещё жёстче кейс с write lock, который держали на всём HTTP round trip. После переноса блокировки P95 для читателей рухнул с 1,11 секунды до 9,42 мкс.И отдельная классика Tokio: unbounded channel молча накопил 73 сообщения, потому что consumer не успевал. Никакой ошибки, просто медленное движение
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    28 Aug, 15:05

    🔥 Разраб сделал интерактивный мануал, который по шагам показывает, что происходит после нажатия Enter в адресной строке браузераВнутри прям весь путь запроса: от интерпретации ввода и DNS до TLS, HTTP и рендеринга страницы. Всего 16 этапов и 124 подшага с анимациями и объяснениями.🫡 Всё про Data Science🇷🇺 Читайте нас в MAX
  • Data Science: SQL и Аналитика данных

    28 Aug, 13:00

    Экономия 200 000 ₽ на ИБ-обучении. Закрываем летнюю акцию!Никаких унылых проводов лета - только хардкорная прокачка скиллов 👉@cyacademy_supportДо конца августа отдаем наш самый жирный ПАК из 5 фундаментальных курсов за 50 000 ₽ вместо ~250 000 ₽. Да, это ровно по 10 000 ₽ за мощнейшие программы, включая Linux CyberPunk (с официальным дипломом сисадмина!), HackerPoint (Blue/Red Team), HackerPoint 2, SQL для хакера и AI-помощники на Python.До конца акции осталось всего несколько дней (закрываем 31 августа). Отдавать такой объем знаний и официальные документы за бесценок массово - невозможно. Осталось всего 12 мест по этой цене.❗️Как только 12 человек заберут бандл, мы досрочно закрываем продажи Жаркого лета. Это беспрецедентный шанс забрать базу пентеста и автоматизации, которая навсегда изменит твой подход к заработку в ИБ.⏳ Врывайся в осень с новой профессией. Пиши кодовое
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    27 Aug, 09:01

    🔥 Один SQL-запрос выполнялся за 298 мс.Почти такой же - за 0,66 мс.Разница в 451 раз из-за одной строки.Ситуация обычная: cursor pagination, сортировка по date DESC, id DESC, лимит на 1000 записей и composite index по (date, id). На первый взгляд, все должно работать быстро.Но EXPLAIN ANALYZE показывает другое: Postgres вроде бы использует Index Scan, но после этого выкидывает 900 000 строк через Filter.То есть индекс есть, но запрос все равно тащит слишком много лишнего.Проблема в условии:date < @date OR (date = @date AND id <= @lastId)Для разработчика это выглядит логично: сначала сравниваем дату, потом id.Но для оптимизатора такой OR плохо ложится на composite index. В итоге база не может сразу пойти по нужному диапазону и вынуждена фильтровать огромный кусок данных.
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    26 Aug, 09:03

    🔥 PPT Master делает презентации из PDF, DOCX и сайтов прямо внутри Claude Code и Cursor. И на выходе это настоящий редактируемый PowerPointppt-master работает как skill для AI-IDE. Можно просто написать: «сделай презентацию из этого PDF», после чего агент сам разбирает материал, продумывает структуру, собирает дизайн и экспортирует .pptx. Поддерживаются PDF, DOCX, URL и Markdown.Самая сильная часть проекта в том, что слайды не превращаются в набор картинок. Текст, фигуры, таблицы и графики экспортируются как нативные объекты PowerPoint, которые можно открыть и вручную отредактировать. Есть шаблоны, live preview, анимации, speaker notes и даже генерация озвучки с последующим встраиванием аудио в PPTX.Работает с Claude Code, Cursor, VS Code + Copilot и другими agent harness. Сам пайплайн выполняется локально, кроме обращений к выбранной AI-модели.
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    25 Aug, 09:01

    ➡️ SQL-совет, который многие игнорируют: не используй COUNT(), если тебе нужно только проверить существование строки.Часто пишут так:SELECT COUNT() FROM orders WHERE user_id = 42;А потом проверяют, больше ли результат нуля.Но базе приходится посчитать все совпадения, хотя тебе нужна всего одна информация: есть хотя бы одна строка или нет.Лучше использовать:SELECT EXISTS ( SELECT 1 FROM orders WHERE user_id = 42 );
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    24 Aug, 09:00

    ➡️ Вайбкодер спалился на выдуманном стекеКандидат пытался пройти интервью с ИИ-помощником, но интервьюер внезапно спросил про самописные движки Ysasu Bibu и Ynna Zist.Соискатель уверенно ответил, что работал с обеими🫡 Всё про Data Science🇷🇺 Читайте нас в MAX
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    20 Aug, 11:26

    ➡️ Как SQLite выжимает скорость: байткод, VM и gotoНекрасивый код, который делает SQLite быстрым🫡 Всё про Data Science🇷🇺 Читайте нас в MAX
  • Data Science: SQL и Аналитика данных

    17 Aug, 10:08

    🔥 В SQLite есть кусок кода, который выглядит «грязно», но оставлен таким специально ради скорости.Каждый SQL-запрос SQLite сначала компилируется в байткод, а затем выполняется собственной виртуальной машиной VDBE.Внутри — большой цикл диспетчеризации с почти 200 opcode.И вот интересный момент: SQLite использует обычные goto, чтобы быстро прыгать между общими ветками выполнения.➡️ В исходниках прямо написано:«Код использует неструктурированные goto и выглядит не очень чисто. Но это сделано не из-за плохого стиля, так быстрее».По замерам разработчиков, такой подход ускоряет sqlite3_step() примерно на 1,5%.То есть здесь читаемость сознательно пожертвовали ради производительности.Хорошее напоминание: в системном коде «красивее» не всегда значит «быстрее».🫡 Всё про Data
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных
  • Data Science: SQL и Аналитика данных

    14 Aug, 10:52

    Как выгодно сдавать анализы? 🧪Не все знают, что в ИНВИТРО есть простой способ получать бонусы и потом оплачивать ими анализы и исследования до 90%! Ниже 4 лайфхака:Во-первых. После регистрации в программе лояльности вам начислят 500 бонусов, а в день рождения – ещё 2000 бонусов.Во-вторых. За анализы после активации начисляют кешбэк 5%. И его можно увеличить – в личном кабинете выбрать до 3 отдельных услуг и получать по ним до 10% бонусами.В-третьих. Можно также выбрать готовый пакет и получать до 15% бонусами на анализы, которые в него входят. Например, есть «Контроль над весом», «Здоровый желудок» и др. Выбранный пакет можно заменить через 30 дней.Самое крутое – накопленными бонусами можно оплатить до 90% стоимости следующих услуг. Например, если анализы вышли на 10 000₸, то бонусами можно списать 9000!В-четвёртых. Подойдите к администратору на кассе и скажите ИНВИТРО26.
    Image from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данныхImage from a post by Data Science: SQL и Аналитика данных