Последние посты
Data Engineering / Инженерия данных / Data Engineer / DWH
10 авг., 08:49изменён
🤖 Что такое SDD и зачем он нужен?Spec-Driven Development (SDD) — подход к разработке, при котором сначала формируется подробная спецификация, а уже потом AI-агент реализует задачу.Вместо: «Напиши мне эту фичу» → код получаем: Требования → Specification → Plan → Tasks → Code → Tests Зачем это нужно?AI-агент умеет быстро писать код, но может неправильно понять задачу. Спецификация фиксирует что именно нужно сделать, ограничения, архитектуру и критерии готовности.SDD превращает AI-кодинг из хаотичного vibe coding в управляемый инженерный процесс.📚 Подробный разбор SDD и инструментов для работы с AI-агентами:👉 https://datatalks.ru/spec-driven-development/index.html#AI #AIAgents #SDD #SpecDrivenDevelopment #ClaudeCode #Codex #SoftwareEngineering
Data Engineering / Инженерия данных / Data Engineer / DWH
7 авг., 15:50
🆕 PySpark нейролекцииВозможно кому-то поможет в освоении PySpark. С одной стороны нейрослоп и повторы между лекциями, с другой стороны некоторые концепции хорошо прописаны.Раздел с подготовкой к интервью собирался с разных сайтов и материалов.https://datatalks.ru/pyspark/Advanced PySpark RoadmapКурс по PySpark для инженеров данных - обучение от введения до SeniorБесплатный курс по PySpark на русском: 274 лекции от введения в PySpark до продвинутых тем - Spark SQL, Apache Iceberg, Kafka, ClickHouse. Обучение для Middle и Senior Data Engineer.Data Engineering / Инженерия данных / Data Engineer / DWH
26 июл., 07:05изменён
🚀 Перевод книги «Architecting an Apache Iceberg Lakehouse» на русский язык.Если вы хотите разобраться, что такое Lakehouse, эта книга — отличная отправная точка. В ней последовательно разбираются:• чем Lakehouse отличается от Data Lake и Data Warehouse; • почему появились открытые табличные форматы (Iceberg, Delta Lake, Hudi); • ACID-транзакции, schema evolution, time travel и другие ключевые возможности современных платформ данных; • архитектурные принципы и практические сценарии применения Lakehouse.📖 Читать перевод: https://aitech720.github.io/lakehouse/#DataEngineering #Lakehouse #ApacheIceberg #DeltaLake #DataArchitecture #BigData
Data Engineering / Инженерия данных / Data Engineer / DWH
28 мая, 05:22изменён
Тестовый пример реализации MCP Server на Go для OpenCode▫️Есть набор specs для написания через агентов с нуля MCP Server (теоретически можно реализовать mcp для взаимодействия с любым ПО) ▫️Сгенерирована документация по разработке MCP Server (GitHub Pages)Сам бинарник возвращает из Яндекс метрики список счётчиков (был под рукой api). Основная цель - понять как реализовать свой mcp для взаимодействия с opencode, как собрать бинарник.🔗 Исходный код, документация и готовые бинарники доступны в репозитории: https://github.com/ivanshamaev/mcp-server🔗 Краткая документация по разработке MCP: https://ivanshamaev.github.io/mcp-server/
Data Engineering / Инженерия данных / Data Engineer / DWH
18 мая, 15:01
Data Engineering AI Agent Skills - экспериментальный набор скиллов для агентной разработки и построения Agentic Data Platform.https://datatalks.ru/de-ai-agent-skills/Скиллы все в открытом доступе https://github.com/ivanshamaev/de-agent-skills
Data Engineering / Инженерия данных / Data Engineer / DWH
27 апр., 07:05
По Trino 479 документации https://datatalks.ru/trino-docs/ переведены все разделы + добавлена информация по dbt
Data Engineering / Инженерия данных / Data Engineer / DWH
15 апр., 06:03
Volga: движок обработки real-time данных для AI/ML — аналог Spark и Flink на Rust (Arrow + DataFusion) / ХабрВ статье описаны базовые сценарии работы, архитектурные особенности и переход движка на rust.https://habr.com/ru/articles/1021290/Data Engineering / Инженерия данных / Data Engineer / DWH
11 апр., 07:31изменён
Готов проект по 2 модулю AI Agents — research-agentРепозиторий: https://github.com/ivanshamaev/research-agentИзначальная цель заключалась в том, чтобы на простом примере пройти весь цикл взаимодействия: как оркестратор общается с LLM, как агент выбирает инструменты, как возвращаются результаты вызовов, где хранится состояние и в какой момент всё это собирается в итоговый отчёт.В процессе реализации исходный описанный концепт во 2 модуле изменился. Плюс вместо 1-2 двух llm моделей добавились open-source варианты. И самое важное - добавил gatellm.ru, на котором и протестировался (не реклама, первое что попалось со стартовым балансом на тест).В итоге получился CLI-агент, который: - ищет материалы по теме, - загружает и обрабатывает страницы, - суммаризирует найденное, - собирает результат в структурированный markdown-отчёт с источниками (здесь пока что бага, на днях доработаю).В пGitHubGitHub - ivanshamaev/research-agent: Research Agent: Автономный CLI-агент для исследования тем, реализует паттерн ReAct (Reason…Research Agent: Автономный CLI-агент для исследования тем, реализует паттерн ReAct (Reason + Act). - ivanshamaev/research-agentData Engineering / Инженерия данных / Data Engineer / DWH
9 апр., 16:04
Какая же жиза)
Data Engineering / Инженерия данных / Data Engineer / DWH
9 апр., 06:00
Trino Перевод DeepWiki https://datatalks.ru/trino-deepwiki/
Data Engineering / Инженерия данных / Data Engineer / DWH
4 апр., 15:06
🤖 opencode: Учимся создавать виртуальные команды из агентов для Data-проектов 🚀Делюсь небольшой инструкцией по OpenCode — инструменту, который можно использовать не просто как CLI, а как полноценный слой настройки проекта для работы с агентами, ролями, правилами и workflow 👇За основу я взял демо-пример, где OpenCode + ChatGPT использовались для создания проекта с аналитическим стеком. Сразу оговорюсь: в самом проекте не было четкой постановки задачи 🎯 Делал быстрые наброски, чтобы понять как настраивать opencode и какая у него структура.Что попало в инструкцию: ✨ как правильно оформить проект ✨ где и что писать ✨ как задавать правила для агента ✨ как подключать роли, skills и спецификации ✨ как сделать так, чтобы агент работал не “с нуля”, а в контексте вашей командыЧто оказалось особенно ценным 💡 OpenCode становится по-настоящему полезным, когда воспринимаешь его не какdatatalks.ruБольшой гайд по настройке OpenCode-проектаПодробный chapter-based гайд по настройке OpenCode-проекта: AGENTS.md, opencode.json, docs/specs, .opencode/agents, .opencode/skills, разрешения и командные процессы.Data Engineering / Инженерия данных / Data Engineer / DWH
26 мар., 07:01изменён
AI Agent Engineer RoadmapНекоторое время назад начал накидывать через claude импровизационный roadmap по разработке ai agents. Исходная цель: быстро вникнуть в особенности и архитектуру решений для применения в работе. В целом уже что-то можно почитать и изучить.По проектам пока не уверен, что именно будет (и будет ли).https://datatalks.ru/ai-agents/
Data Engineering / Инженерия данных / Data Engineer / DWH
19 мар., 06:03
Привет 👋🏻 Документация airflow с github pages переехала на новый адрес https://datatalks.ru/airflow-docs/.А по Trino тоже появилась заготовка https://datatalks.ru/trino-docs/ (пока висит английская версия, чтобы без vpn смотреть)
Data Engineering / Инженерия данных / Data Engineer / DWH
17 мар., 06:35
Полное руководство по созданию Skills для ClaudeПеревод guide от Anthropichttps://fkonovalov.github.io/claude-skills-guide-ru/fkonovalov.github.ioПолное руководство по созданию Skills для ClaudeРусский перевод официального гайда Anthropic по Skills для Claude AIData Engineering / Инженерия данных / Data Engineer / DWH
28 февр., 15:30изменён
Запряг cursor перевести доку с сайта astronomer. Детально не читал, но вроде получилось хорошо. https://github.com/ivanshamaev/airflow-docs репозиторий недоступенUpdate: прикрутил страничку https://datatalks.ru/airflow-docs/ (страничка переехала)Data Engineering / Инженерия данных / Data Engineer / DWH
14 февр., 16:34
GitHub Agentic Workflows are now in technical preview - GitHub ChangelogGitHub выпустил прикольную фичу, которая по сути даёт вам суперсилу "DevOps" для работы с CI/CD. Теперь достаточно написать то, что вы хотите получить в формате Markdown, а агент сам сделает всю работу.https://github.blog/changelog/2026-02-13-github-agentic-workflows-are-now-in-technical-preview/The GitHub BlogGitHub Agentic Workflows are now in technical preview - GitHub ChangelogGitHub Agentic Workflows let you automate repository tasks using AI agents that run within GitHub Actions. Write workflows in plain Markdown instead of complex YAML, and let AI handle intelligent…Data Engineering / Инженерия данных / Data Engineer / DWH
14 февр., 11:12
переслано из @zeroton
Подборка сайтов со скиллами для ИИ-агентов — можно научить своего бота абсолютно всему без исключения:• skills.sh • skillhub.club • skillsmp.comСохраняем.
Data Engineering / Инженерия данных / Data Engineer / DWH
14 февр., 10:34изменён
🚀 Airflow: пример Mapped Tasks + Trigger DAGВ Apache Airflow есть две фичи: 👉 Mapped Tasks - динамическое создание набора тасок с разными параметрами 👉 Trigger DAG - запуск одного DAG из другого с передачей параметровЯ собрал небольшой demo-пример, который показывает, как эти механики можно использовать вместе.1️⃣ Первый DAG — Orchestrator Реализованы Mapped Tasks. Каждая mapped-таска: ▫️ получает свой параметр ▫️ триггерит второй DAGВыполнение идёт последовательно (одна mapped-таска за другой). По сути — это контроллер, который запускает отдельный pipeline для каждого входного значения.2️⃣ Второй DAG — Worker ▫️ Принимает параметр из первого DAG ▫️ Подставляет его в SQL-запрос ▫️ Выполняет запрос в PostgreSQLGitHubdata-tools/airflow/demo/dags/trigger_example at main · ivanshamaev/data-toolsPostgreSQL, Docker, Apache Airlfow, ClickHouse, Superset и другие инструменты - ivanshamaev/data-toolsData Engineering / Инженерия данных / Data Engineer / DWH
13 февр., 06:03
Data-команды должны стать командами контекста Context engineering = управление данными + инженерия данных + наука о данных.Понравилась статья, закинул перевод на сайт. На мой взгляд, content engineering может стать как отдельным ответвлением профессии (здесь и аналитика, и бизнес-процессы, более быстрое получение ответов на вопросы). С другой стороны дата команды могут трансформироваться в нечто большее.Всё зависит от ваших экспериментов и открытости к технологиям. Главное держать баланс хайпа и реальной пользой для бизнеса.https://datatalks.ru/context-engineering-data-teams/DataTalks.RU. Data Engineering / DWH / Data PipelineContext engineering = data governance + data engineering + data scienceContext engineering = data governance + data engineering + data science. Data-команды должны стать командами контекста.Data Engineering / Инженерия данных / Data Engineer / DWH
7 февр., 07:03
ClickHouse выпустил agent-skillsAgent Skills — это открытый стандарт для расширения возможностей ИИ-агентов с помощью модулей, которые дают им доменные знания, инструкции и повторяемые процедуры без необходимости дообучения модели.По сути это набор лучших практик работы с ClickHouse: как правильно проектировать схемы, оптимизировать запросы и настраивать загрузку данных. Далее эти skills подключаются в AI редактор, например, Copilot, Claude Code, Cursor.GitHub - ClickHouse/agent-skills: The official Agent Skills for ClickHouse and ClickHouse Cloud https://github.com/ClickHouse/agent-skillsGitHubGitHub - ClickHouse/agent-skills: The official Agent Skills for ClickHouse and ClickHouse CloudThe official Agent Skills for ClickHouse and ClickHouse Cloud - ClickHouse/agent-skills
