Latest posts
Data Engineering / Инженерия данных / Data Engineer / DWH
10 Aug, 08:49edited
🤖 Что такое SDD и зачем он нужен?Spec-Driven Development (SDD) — подход к разработке, при котором сначала формируется подробная спецификация, а уже потом AI-агент реализует задачу.Вместо: «Напиши мне эту фичу» → код получаем: Требования → Specification → Plan → Tasks → Code → Tests Зачем это нужно?AI-агент умеет быстро писать код, но может неправильно понять задачу. Спецификация фиксирует что именно нужно сделать, ограничения, архитектуру и критерии готовности.SDD превращает AI-кодинг из хаотичного vibe coding в управляемый инженерный процесс.📚 Подробный разбор SDD и инструментов для работы с AI-агентами:👉 https://datatalks.ru/spec-driven-development/index.html#AI #AIAgents #SDD #SpecDrivenDevelopment #ClaudeCode #Codex #SoftwareEngineering
Data Engineering / Инженерия данных / Data Engineer / DWH
7 Aug, 15:50
🆕 PySpark нейролекцииВозможно кому-то поможет в освоении PySpark. С одной стороны нейрослоп и повторы между лекциями, с другой стороны некоторые концепции хорошо прописаны.Раздел с подготовкой к интервью собирался с разных сайтов и материалов.https://datatalks.ru/pyspark/Advanced PySpark RoadmapКурс по PySpark для инженеров данных - обучение от введения до SeniorБесплатный курс по PySpark на русском: 274 лекции от введения в PySpark до продвинутых тем - Spark SQL, Apache Iceberg, Kafka, ClickHouse. Обучение для Middle и Senior Data Engineer.Data Engineering / Инженерия данных / Data Engineer / DWH
26 Jul, 07:05edited
🚀 Перевод книги «Architecting an Apache Iceberg Lakehouse» на русский язык.Если вы хотите разобраться, что такое Lakehouse, эта книга — отличная отправная точка. В ней последовательно разбираются:• чем Lakehouse отличается от Data Lake и Data Warehouse; • почему появились открытые табличные форматы (Iceberg, Delta Lake, Hudi); • ACID-транзакции, schema evolution, time travel и другие ключевые возможности современных платформ данных; • архитектурные принципы и практические сценарии применения Lakehouse.📖 Читать перевод: https://aitech720.github.io/lakehouse/#DataEngineering #Lakehouse #ApacheIceberg #DeltaLake #DataArchitecture #BigData
Data Engineering / Инженерия данных / Data Engineer / DWH
28 May, 05:22edited
Тестовый пример реализации MCP Server на Go для OpenCode▫️Есть набор specs для написания через агентов с нуля MCP Server (теоретически можно реализовать mcp для взаимодействия с любым ПО) ▫️Сгенерирована документация по разработке MCP Server (GitHub Pages)Сам бинарник возвращает из Яндекс метрики список счётчиков (был под рукой api). Основная цель - понять как реализовать свой mcp для взаимодействия с opencode, как собрать бинарник.🔗 Исходный код, документация и готовые бинарники доступны в репозитории: https://github.com/ivanshamaev/mcp-server🔗 Краткая документация по разработке MCP: https://ivanshamaev.github.io/mcp-server/
Data Engineering / Инженерия данных / Data Engineer / DWH
18 May, 15:01
Data Engineering AI Agent Skills - экспериментальный набор скиллов для агентной разработки и построения Agentic Data Platform.https://datatalks.ru/de-ai-agent-skills/Скиллы все в открытом доступе https://github.com/ivanshamaev/de-agent-skills
Data Engineering / Инженерия данных / Data Engineer / DWH
27 Apr, 07:05
По Trino 479 документации https://datatalks.ru/trino-docs/ переведены все разделы + добавлена информация по dbt
Data Engineering / Инженерия данных / Data Engineer / DWH
15 Apr, 06:03
Volga: движок обработки real-time данных для AI/ML — аналог Spark и Flink на Rust (Arrow + DataFusion) / ХабрВ статье описаны базовые сценарии работы, архитектурные особенности и переход движка на rust.https://habr.com/ru/articles/1021290/Data Engineering / Инженерия данных / Data Engineer / DWH
11 Apr, 07:31edited
Готов проект по 2 модулю AI Agents — research-agentРепозиторий: https://github.com/ivanshamaev/research-agentИзначальная цель заключалась в том, чтобы на простом примере пройти весь цикл взаимодействия: как оркестратор общается с LLM, как агент выбирает инструменты, как возвращаются результаты вызовов, где хранится состояние и в какой момент всё это собирается в итоговый отчёт.В процессе реализации исходный описанный концепт во 2 модуле изменился. Плюс вместо 1-2 двух llm моделей добавились open-source варианты. И самое важное - добавил gatellm.ru, на котором и протестировался (не реклама, первое что попалось со стартовым балансом на тест).В итоге получился CLI-агент, который: - ищет материалы по теме, - загружает и обрабатывает страницы, - суммаризирует найденное, - собирает результат в структурированный markdown-отчёт с источниками (здесь пока что бага, на днях доработаю).В пGitHubGitHub - ivanshamaev/research-agent: Research Agent: Автономный CLI-агент для исследования тем, реализует паттерн ReAct (Reason…Research Agent: Автономный CLI-агент для исследования тем, реализует паттерн ReAct (Reason + Act). - ivanshamaev/research-agentData Engineering / Инженерия данных / Data Engineer / DWH
9 Apr, 16:04
Какая же жиза)
Data Engineering / Инженерия данных / Data Engineer / DWH
9 Apr, 06:00
Trino Перевод DeepWiki https://datatalks.ru/trino-deepwiki/
Data Engineering / Инженерия данных / Data Engineer / DWH
4 Apr, 15:06
🤖 opencode: Учимся создавать виртуальные команды из агентов для Data-проектов 🚀Делюсь небольшой инструкцией по OpenCode — инструменту, который можно использовать не просто как CLI, а как полноценный слой настройки проекта для работы с агентами, ролями, правилами и workflow 👇За основу я взял демо-пример, где OpenCode + ChatGPT использовались для создания проекта с аналитическим стеком. Сразу оговорюсь: в самом проекте не было четкой постановки задачи 🎯 Делал быстрые наброски, чтобы понять как настраивать opencode и какая у него структура.Что попало в инструкцию: ✨ как правильно оформить проект ✨ где и что писать ✨ как задавать правила для агента ✨ как подключать роли, skills и спецификации ✨ как сделать так, чтобы агент работал не “с нуля”, а в контексте вашей командыЧто оказалось особенно ценным 💡 OpenCode становится по-настоящему полезным, когда воспринимаешь его не какdatatalks.ruБольшой гайд по настройке OpenCode-проектаПодробный chapter-based гайд по настройке OpenCode-проекта: AGENTS.md, opencode.json, docs/specs, .opencode/agents, .opencode/skills, разрешения и командные процессы.Data Engineering / Инженерия данных / Data Engineer / DWH
26 Mar, 07:01edited
AI Agent Engineer RoadmapНекоторое время назад начал накидывать через claude импровизационный roadmap по разработке ai agents. Исходная цель: быстро вникнуть в особенности и архитектуру решений для применения в работе. В целом уже что-то можно почитать и изучить.По проектам пока не уверен, что именно будет (и будет ли).https://datatalks.ru/ai-agents/
Data Engineering / Инженерия данных / Data Engineer / DWH
19 Mar, 06:03
Привет 👋🏻 Документация airflow с github pages переехала на новый адрес https://datatalks.ru/airflow-docs/.А по Trino тоже появилась заготовка https://datatalks.ru/trino-docs/ (пока висит английская версия, чтобы без vpn смотреть)
Data Engineering / Инженерия данных / Data Engineer / DWH
17 Mar, 06:35
Полное руководство по созданию Skills для ClaudeПеревод guide от Anthropichttps://fkonovalov.github.io/claude-skills-guide-ru/fkonovalov.github.ioПолное руководство по созданию Skills для ClaudeРусский перевод официального гайда Anthropic по Skills для Claude AIData Engineering / Инженерия данных / Data Engineer / DWH
28 Feb, 15:30edited
Запряг cursor перевести доку с сайта astronomer. Детально не читал, но вроде получилось хорошо. https://github.com/ivanshamaev/airflow-docs репозиторий недоступенUpdate: прикрутил страничку https://datatalks.ru/airflow-docs/ (страничка переехала)Data Engineering / Инженерия данных / Data Engineer / DWH
14 Feb, 16:34
GitHub Agentic Workflows are now in technical preview - GitHub ChangelogGitHub выпустил прикольную фичу, которая по сути даёт вам суперсилу "DevOps" для работы с CI/CD. Теперь достаточно написать то, что вы хотите получить в формате Markdown, а агент сам сделает всю работу.https://github.blog/changelog/2026-02-13-github-agentic-workflows-are-now-in-technical-preview/The GitHub BlogGitHub Agentic Workflows are now in technical preview - GitHub ChangelogGitHub Agentic Workflows let you automate repository tasks using AI agents that run within GitHub Actions. Write workflows in plain Markdown instead of complex YAML, and let AI handle intelligent…Data Engineering / Инженерия данных / Data Engineer / DWH
14 Feb, 11:12
forwarded from @zeroton
Подборка сайтов со скиллами для ИИ-агентов — можно научить своего бота абсолютно всему без исключения:• skills.sh • skillhub.club • skillsmp.comСохраняем.
Data Engineering / Инженерия данных / Data Engineer / DWH
14 Feb, 10:34edited
🚀 Airflow: пример Mapped Tasks + Trigger DAGВ Apache Airflow есть две фичи: 👉 Mapped Tasks - динамическое создание набора тасок с разными параметрами 👉 Trigger DAG - запуск одного DAG из другого с передачей параметровЯ собрал небольшой demo-пример, который показывает, как эти механики можно использовать вместе.1️⃣ Первый DAG — Orchestrator Реализованы Mapped Tasks. Каждая mapped-таска: ▫️ получает свой параметр ▫️ триггерит второй DAGВыполнение идёт последовательно (одна mapped-таска за другой). По сути — это контроллер, который запускает отдельный pipeline для каждого входного значения.2️⃣ Второй DAG — Worker ▫️ Принимает параметр из первого DAG ▫️ Подставляет его в SQL-запрос ▫️ Выполняет запрос в PostgreSQLGitHubdata-tools/airflow/demo/dags/trigger_example at main · ivanshamaev/data-toolsPostgreSQL, Docker, Apache Airlfow, ClickHouse, Superset и другие инструменты - ivanshamaev/data-toolsData Engineering / Инженерия данных / Data Engineer / DWH
13 Feb, 06:03
Data-команды должны стать командами контекста Context engineering = управление данными + инженерия данных + наука о данных.Понравилась статья, закинул перевод на сайт. На мой взгляд, content engineering может стать как отдельным ответвлением профессии (здесь и аналитика, и бизнес-процессы, более быстрое получение ответов на вопросы). С другой стороны дата команды могут трансформироваться в нечто большее.Всё зависит от ваших экспериментов и открытости к технологиям. Главное держать баланс хайпа и реальной пользой для бизнеса.https://datatalks.ru/context-engineering-data-teams/DataTalks.RU. Data Engineering / DWH / Data PipelineContext engineering = data governance + data engineering + data scienceContext engineering = data governance + data engineering + data science. Data-команды должны стать командами контекста.Data Engineering / Инженерия данных / Data Engineer / DWH
7 Feb, 07:03
ClickHouse выпустил agent-skillsAgent Skills — это открытый стандарт для расширения возможностей ИИ-агентов с помощью модулей, которые дают им доменные знания, инструкции и повторяемые процедуры без необходимости дообучения модели.По сути это набор лучших практик работы с ClickHouse: как правильно проектировать схемы, оптимизировать запросы и настраивать загрузку данных. Далее эти skills подключаются в AI редактор, например, Copilot, Claude Code, Cursor.GitHub - ClickHouse/agent-skills: The official Agent Skills for ClickHouse and ClickHouse Cloud https://github.com/ClickHouse/agent-skillsGitHubGitHub - ClickHouse/agent-skills: The official Agent Skills for ClickHouse and ClickHouse CloudThe official Agent Skills for ClickHouse and ClickHouse Cloud - ClickHouse/agent-skills
Related Channels
Other channels in the same section of the catalogue.
