Latest posts
Айти-Пингвин | Дата инженер
18 Sept, 09:46
Обзор собеседования с ВТБФормат работы: офис Зп: от 250к Период собеседования: август 2026 Итог собеседования: прошел в след этап, оффер не принялДанные и опытМожете подробнее рассказать о себе, релевантном опыте, последнем месте работы, задачах, результатах и зоне ответственности?При помощи чего автоматизировали загрузки?Какой минимальный интервал возможен между запусками задач в Airflow?Утоняющие вопросы по рассказу об опытеВы агрегировали проверки или сами разрабатывали их?Как определяли, что запись является ошибочной? Какой скрипт или проверку использовали?Айти-Пингвин | Дата инженер
16 Sept, 17:01
Из аналитика в DE - реально? 🐧Регулярно в дата-комьюнити вижу вопрос: «А как вообще перейти из аналитики в дата-инженерию?» Логично, что спрашивают это ребята, которые уперлись в потолок аналитики, или в какой-то момент они просто захотели понять, почему в дашборде вчера было 10 млн строк, а сегодня 8 млн.И тут они выходят на рынок инженеров данных, смотрят требования к стеку: SQL — понятно. Python — ну ладно. Airflow — где-то видел. Kafka — слышал. Spark — ну это уже серьёзно. Kubernetes — закрываем вакансию 💀А если открыть ещё несколько вакансий, то можно обнаружить, что для позиции junior DE желательно иметь лет 5 опыта, знать 14 технологий и желательно быть лично знакомым с создателем Hadoop.Но если отбросить вакансии-мутанты, то переход из аналитики в DE вполне логичный и на самом деле - не сложный. Ты уже умеешь работать с данными, SQL и понимаешь, зачем вообще бизнесу
Айти-Пингвин | Дата инженер
4 Sept, 07:27
В продолжение поста о токсичном собесеМне в личку написал подписчик и тоже рассказал забавную историю об этом деде из ИНГ Банка" Так вот, про Евразийский инг банк я тоже писал тру стори. И вы не представляете, насколько наши истории похожи)) :Мне написал рекрутер из Евразийского банка. Общение происходило исключительно по телефону и почте. Мне скинули вакансию на почту в формате doc. В письме также было указано, что, если сообщение адресовано не мне - немедленно удалить. Содержимое никому не передавать (ага, щас).Искали (возможно ищут) человека, который будет делать им внутреннюю bi систему. Для этого им очень нужен дата инженер. Нужно знать Postgres, уметь писать ETL скрипты, возможно отрисовывать виджеты.Пообщался по телефону с hr, позвала на тех собес. ВОТ ТУТ КРИНЖ И ПОЛИЛСЯ.Я пришел раньше всех (советую так делать), потом подключился некий гражданин без камеры. Никнейм
Айти-Пингвин | Дата инженер
3 Sept, 15:20
Чет у нас кодекс отвалился, а как работать теперь?..🍴 https://status.openai.com/
Айти-Пингвин | Дата инженер
3 Sept, 07:16edited
Обзор токсичного собеседования с ИНГ БанкФормат работы: гибрид Зп: от 200к Период собеседования: август 2026Вопросы: 1. Расскажи про опыт 2. Напиши даг для чтения файлика из api и загрузки его на диск 3. Знаешь CI/CD? 4. Оцени навыки владения постгресом 5. Как создать новую ветку в гите 6. Как подключиться к виртуальной среде с помощью консоли 7. Что происходит в постгресе при INSERT 8. Отличие HDFS от S3 9. Как развернуть постгресИтог собеседования: "Очень токсичный собес был, собеседующий мужик лет 60 на все вздыхал и говорил "понятно". После вопроса как подключиться к виртуальной среде сказал, тяжело вам будет у нас, до свидания. Это был самый странный и токсичный собес в моей жизни, который продлился 10 минут"it пингвин | data engineer 🐧Айти-Пингвин | Дата инженер
1 Sept, 13:44
26 сентября — Data Driven 2026 от Яндекса, и в этом году конференции 10 летДля дата-инженеров тема прямо в яблочко: AI-first-аналитика и то, как AI-инструменты и AI-ready-данные меняют инфраструктуру, с которой мы работаем каждый день.Кого обязательно слушать: — Роман Халкечев (CDO Поисковых сервисов и ИИ Яндекса) — расскажет о том, как AI переписывает правила игры при работе с данными, меняет способ принятия решений в компании и трансформирует профессии аналитика и дата инженера; — Олег Хомюк (CDO Яндекс Поиска) — как объективно измерить качество AI-агентов и инфраструктуры AI-ready-данных; — Артём Солоухин — покажет MARS, первую мультиагентную рабочую среду в Яндексе; — Максим Стаценко — инструкция, как собрать агента-аналитика, которому можно доверять. Плюс стенды с экспертами команд Яндекса, нетворкинг и афтерпати в честь 10-летия — с музыкой и IT stand-up от аналитиков вечером.Айти-Пингвин | Дата инженер
1 Sept, 10:46
Обзор собеседования со СБЕРФормат работы: офис Зп: от 200к Период собеседования: август 2026 Итог собеседования: прошел в след этапСобес длился 15 минут. Новая команда, которая будет собирать витринки по таблицам из ядра и тянуть данные из источников.Вопросы: 1. По опыту 2. Приходилось ли оптимизировать витрины, что делал 3. Что такое нормализация 4. Что такое денормализация 5. Где встречаются денормализованные таблицы 6. Расскажи какой-нибудь кейс сложной задачи с работы 7. Что такое партиционирование 8. Что такое кластеризация 9. Какие знаешь виды ключей 10. На что смотришь при выборе составного ключаАйти-Пингвин | Дата инженер
31 Aug, 06:45
Обзор BootCamp для Data EngineerПодходит к завершению 7-ой поток Буткемпа от Жени и Вовы. К сожалению я не успел полностью пройти буткем, сделать все задания и пет проект. Я занимался переездом и были некоторые карьерные изменения (о них расскажу потом).Поэтому расскажу немного поверхностные впечатления.Что мне понравилось:Хорошая подача материала. Это у ребят не отнять - лекции максимально понятные. Рассказывают суть технологий, что и как устроено в реальности в компаниях, приводят примеры, на экране тоже постоянно что-то стримят показывают. Я думаю многие видели видосы Жени по Спарку и по DE. Разборы вопросов по гринпламу, клик, оптимизация от Вовы. Вот лекции в буткемпе в таком же стиле. Записи конечно сохраняются. Я смотрел в записи, на прямом эфире ни разу не был.Лекции Сам материал опять же понятно написан, не сгенерирован весь нейронкой (вроде бы). Упор сделан больше на
Айти-Пингвин | Дата инженер
27 Aug, 07:05
Собес VS Robotics (ООО АБТ) (дочка сбера)Вопросы: 1. Гринплам что такое, в чем суть МПП систем 2. Из чего состоит Гринплам 3. Дистрибуция что это, какие типы есть в ГП, как определить что таблицы дистрибуцирована нормально 4. Партиционирование что это 5. Проблемы дефолт партиции 6. Что будет если нет дефолт партиции и партиции для загружаемой даты 7. Таблицы дистрибуцированы по разным ключам, как избежать редистрибьют моушена 8. Оконки какие знаешь 9. LEAD LAG взаимозаменяемы? 10. Знаешь pgpl/sql 11. Кимбалл и Инмом, какая разница? 12. Какие типы данных полей знаешь, с какими работал 13. Как извлечь дату, время, месяц из поля с датой 14. Масштабирование в гп 15. Субпартиции что это 16. Как добавить настоящее время в ГП 17. Что такое SCD, какие типы знаешьАйти-Пингвин | Дата инженер
21 Aug, 08:02
Что такое Lakehouse?Название Lakehouse сложилось из Data Lake и Data Warehouse. Идея в том, чтобы хранить данные как в Data Lake, но работать с ними почти как в DWH.В классическом DWH данные загружаются внутрь СУБД, например Greenplum. Она отвечает за хранение, SQL, транзакции и управление таблицами.Это удобно, но хранение и вычисления связаны с одним кластером. При росте данных приходится расширять весь кластер, даже когда дополнительная вычислительная мощность не нужна.Data Lake устроен иначе. Данные лежат в S3 в открытых форматах вроде Parquet. Хранилище масштабируется отдельно, а одни файлы могут использовать разные инструменты.Но просто сложить Parquet-файлы в S3 недостаточно.Если одна джоба перезаписывает таблицу, другая может прочитать её в середине загрузки. Также нужно хранить схему, отслеживать версии и понимать, какие файлы относятся к текущему состоянию таблицы.
Айти-Пингвин | Дата инженер
20 Aug, 07:04
⚡️⚡️Архитектура доступа к данным меняется. Что дальше?Когда мы рисуем архитектуру платформы данных, между приложением и базой обычно остается одна стрелка. Но именно внутри нее скрывается отдельный архитектурный слой, который влияет на производительность, совместимость и то, как данные в итоге попадают к пользователю.Сегодня рядом с привычными JDBC и ODBC появляются Apache Arrow, ADBC, Flight SQL, Spark Connect и нативные HTTP-протоколы движков. На SmartData 2026 Петр Гуринов (Yandex Cloud) разберет, что происходит между запросом и результатом, почему старые интерфейсы пока не уходят, где новые подходы действительно помогают и какие компромиссы приходится учитывать при выборе технологии.Если вы проектируете платформы данных, работаете с аналитическими системами или BI-инструментами, этот доклад поможет лучше понять архитектуру доступа к данным и осознаннее выбирать инструменты под
Айти-Пингвин | Дата инженер
17 Aug, 10:29edited
Мошенники под видом рекрутеровРебят, аккуратнее с тестовыми заданиями от незнакомых рекрутеров.Сейчас мошенники могут представиться рекрутером и прислать вредоносный код под видом тестового задания.Это может быть ссылка на репозиторий или архив с проектом. Задача будет выглядеть вполне обычно: установить зависимости, запустить приложение и что-нибудь в нём поправить.Но вместе с проектом можно запустить вредоносный код.Схема такая:Вам пишет якобы рекрутер, немного общается про опыт и предлагает хорошую вакансию. Потом присылает тестовое и просит запустить его на своём компьютере.В одном из таких заданий нашли скрытый импорт вредоносного npm-пакета. Код был обфусцирован (специально запутан, чтобы его было сложно прочитать). После запуска он скачивал ещё один файл и запускал его отдельным процессом в фоне.При этом ошибки игнорировались. Для кандидата проект мог просто не
Айти-Пингвин | Дата инженер
12 Aug, 07:18
Apache Iceberg - зачем он нужен?Iceberg всё чаще встречается в вакансиях и архитектуре. Что это: база данных, альтернатива Parquet или часть Spark?Iceberg - открытый табличный формат. Он не заменяет Parquet и не выполняет запросы вместо Spark или Trino.Допустим, в S3 лежит таблица из множества Parquet-файлов. Parquet определяет устройство каждого файла, но ничего не знает о таблице целиком.Какие файлы сейчас актуальны? Что делать, если две джобы одновременно записывают данные? Как вернуть таблицу в состояние до неудачной загрузки?Iceberg хранит над файлами метаданные: схему, партиционирование, статистику и историю изменений.Таблица состоит из snapshots - её версий. Каждый snapshot содержит точный список файлов на определённый момент.При записи создаются новые файлы и метаданные, затем выполняется атомарный коммит. Другие запросы видят либо предыдущую версию таблицы, либо
Айти-Пингвин | Дата инженер
24 Jul, 08:01
Обзор собеседования с Лемана ПроФормат работы: Гибрид Зп: от 250к просил Период собеседования: Июль 2026 Итог собеседования: Игнор————Общий опыт работы С какими базами данных вы работали и до какого уровня погружались в SQL и БД?Миграция Oracle → Greenplum Опишите подробнее процесс миграции на Greenplum. Какие особенности необходимо было учитывать?Какая конфигурация использовалась в Oracle — распределённая или обычная СУБД?Приходилось ли оптимизировать операции join при переходе с обычной таблицы на распределённую?Применялась ли индексация в Greenplum в вашей практике?Айти-Пингвин | Дата инженер
14 Jul, 07:23
Обзор собеседования со СБЕР v2ВОПРОСЫ:Расскажи про интересную рабочую задачу, связанную с данными, которой ты гордишься, и про свою роль в ней.Какой итоговый объем витрин был, в строках или гигабайтах?ЗАДАЧА 1:Дана таблица такого формата code status 1 активный 2 закрыт 3 аннулирован 3 аннулированКак написать запрос, который покажет, есть ли в таблице дублирующиеся записи?Как написать запросы, чтобы удалить дубли и оставить только уникальные записи?Айти-Пингвин | Дата инженер
10 Jul, 07:42edited
Обзор собеседования со СБЕРВопросы:Какие виды JOIN ты знаешь, и в чем между ними разница?Что такое anti join?Что будет при JOIN по ключу, если в ключевых колонках с обеих сторон есть NULL?Чем отличаются UNION и UNION ALL?Что такое нормализация таблицы?Зачем нужна нормализация, и можешь привести пример нормализованной схемы?Чем отличается OLAP от OLTP?Был ли у тебя опыт работы со Spark?Айти-Пингвин | Дата инженер
1 Jul, 09:25
Всем привет! Подскажите плз хорошее компьютерное кресло. Нужно с сеткой и анатомической спинкой. Я посмотрел несколько видосиков (например, это) и всякие статьи. Одно нормальное кресло не нашел, склоняюсь к линейке самураев. Но вижу, что в начале у всех отличные отзывы, а после продолжительного использования – плохие.И кто знает норм компьютерный стол (желательно с крыльями и подъемным механизмом) тоже можете ссылочкой поделиться 👉👈 ⬇️Айти-Пингвин | Дата инженер
18 Jun, 10:34
Обзор собеседования с NeoflexВОПРОСЫ:1. Что на каждом слое делают с данными? (опиши 3–4 глаголами: raw, staging, ODS, DDS, data mart) 2. Слой data mart — нормализован или нет? 3. Почему data mart денормализован? Что выигрываем? 4. С какими моделями данных сталкивался: звезда, снежинка, data vault? 5. Как косвенно определить по структуре таблицы (без данных, только атрибуты, типы, констрейнты) — это факт или измерение? 6. Почему в таблице фактов не должно быть 3–4–5 больших varchar-полей? 7. Перечисли 6 стандартных констрейнтов на атрибут 8. Перечисли все виды ключей (primary, foreign, unique, простой/составной, натуральный/суррогатный и др.) 9. Какой из перечисленных ключей не является идентификатором таблицы, в которой находится? 10. Какие подвиды суррогатных ключей знаешь? 11. В чём разница между индексами и партициями? 12. Каким образом ты проверял данные? Какие метрики dataАйти-Пингвин | Дата инженер
15 Jun, 12:31
Я кстати залечу на буткемп в июле, очень интересно что там)Айти-Пингвин | Дата инженер
15 Jun, 12:30
forwarded from @halltape_data
🔥 ПЕТ-ПРОЕКТ ДАТА ИНЖЕНЕРАВ эту СРЕДУ 17 ИЮНЯ в 20:00 МСК у нас будет довольно интересный стрим. Причём проводить его будет не только команда BootCamp, но и один из наших выпускников.К нам придёт Артем — участник 6-го потока BootCamp. За время обучения он собрал полноценный пет-проект и теперь покажет его нам от начала до конца.➡️ ссылка на стримЧто вообще будет в проекте? Берём данные из API New York Times, складываем их в S3, грузим через Spark в Greenplum, строим витрины через dbt и публикуем результат в ClickHouse. Плюс логирование Airflow-задач в Postgres.Ну т.е. это буквально пример рабочего пайплайна для Дата Инженера. Причем довольно внушительного по кол-ву используемых технологий.На стриме Артём покажет: — как устроен проект — как принимались архитектурные решения — почему были выбраны именно эти инструменты — какие сложности
Related Channels
Other channels in the same section of the catalogue.
