Latest posts
Инжиниринг Данных
22 Sept, 15:53edited
В Surfalytics придумал новую полезную фичу - mock собеседование system design перед реальным собеседованием. На вход у меня есть описание вакансии и вместе с ИИ я составлю примерную архитектуру и решения, которые использует компания и дальше уже провожу собеседование, которое максимально приближено к кейсам компании (к кейсам описания вакансии)Провели про AWS System Design, где подсветили несколько советов и решений.https://youtu.be/2gTo-mdTBQw?si=xG_2Qhy_th-IxwsOYouTubeAWS data engineering system design mock interview | SurfalyticsNikita (data engineer) designs an analytics platform on AWS from scratch for a SaaS company with three RDS Postgres databases (2 TB / 800 tables), API sources (Stripe, QuickBooks, Zendesk, HubSpot), and 20-60M mobile events per day. Requirements: hourly freshness…Инжиниринг Данных
22 Sept, 07:59
Как сегодня строят рекомендательные системы — и что будет с ними завтра?30 сентября собираем RecSys-сообщество — разработчиков, ML/DS-специалистов и всех, кто делает персонализацию и рекомендации в реальных продуктах.В программе — доклады от экспертов Сбера. Поговорим о свежих подходах и нестандартных решениях на реальных кейсах.А после докладов переключаемся на неформальный режим: знакомимся, спорим про RecSys, обсуждаем идеи, находим единомышленников и просто хорошо проводим вечер среди своих.📍г. Нижний Новгород, пространство «Гараж»Количество мест ограничено — успей забрать своё по ссылке!
2,550Open in TelegramИнжиниринг Данных
22 Sept, 05:08
На выходных Сергей провел воркшоп про развертывание Metabase BI на AWS ECS. Он все сделал полностью в ручную. Ни один токен AI не был потрачен.Вообще ECS это главный контейнер сервис для хостинга любых Open Source решений для BI, ETL, ML, Streaming. Есть много альтернатив, о чем важно знать, но знать ECS/ECR must have.https://youtu.be/guMdPaIqp3UPS В след раз мы посмотрим на Airflow 3.1 на ECS.YouTubeDeploy Metabase on AWS: ECS Fargate, RDS Postgres, and an Application Load Balancer | WorkshopIn this FREE Surfalytics workshop, Sergey deploys Metabase on AWS from scratch: ECS with Fargate for the container, RDS Postgres for persistent configuration, an Application Load Balancer as the public entry point, and security groups that build a tunnel…Инжиниринг Данных
19 Sept, 21:44
У нас все готово, если вы вдруг решили зайти к нам на meetup
Инжиниринг Данных
18 Sept, 21:37
Я всегда рад, когда люди находят работы и прокачиваются. Но рад в тройне, когда попадают в Клуб 500 🤑
Инжиниринг Данных
18 Sept, 17:09
Data Driven 2026: аналитика встречается с AI-инфраструктурой26 сентября Яндекс отмечает десятую, юбилейную Data Driven — и в этот раз конференция заходит на нашу территорию: AI-ready-данные, инфраструктура под агентов и главный вопрос сезона — а можно ли вообще доверять тому, что насчитал AI-агент?Кого слушать: — Роман Халкечев (CDO Поисковых сервисов и ИИ Яндекса) — расскажет о том, как AI переписывает правила игры при работе с данными, меняет способ принятия решений в компании и трансформирует профессии аналитика и дата инженера;— Олег Хомюк (CDO Яндекс Поиска) — как объективно измерить качество AI-агентов и инфраструктуры AI-ready-данных;— Артём Солоухин (зам. руководителя ML и инновационных инструментов Центральной аналитики) — покажет MARS, первую мультиагентную рабочую среду в Яндексе;— Максим Стаценко (руководитель BigData Tech & Research Центральной аналитики) —Data Driven 2026Поговорим про AI-first аналитику, data-driven подход и о том, как изменится роль аналитика в ближайшие годы.Инжиниринг Данных
18 Sept, 06:59
Сегодня последний день регистрации на КосмоХакатон18–20 сентября, Петербург, Красноярск или онлайн из любой точки страны. Четыре задачи на выбор: снабжение орбитального топливного узла и безопасность космонавта в открытом космосе в Петербурге (фонд 1,2 млн ₽), мониторинг лесных пожаров и верификация углеродных кредитов по спутниковым снимкам в Красноярске (600 тыс. ₽). Есть и для тех, кто про данные и ML, и для тех, кто про стратегию и экономику.Лучшие забирают приз на площадке и билет в московский финал 25–27 сентября, где разыграют ещё 2,4 млн рублей.Команду можно собрать на платформе.Подробности и регистрация
Инжиниринг Данных
18 Sept, 01:51
forwarded from @surfalytics
там много еще 😂 https://www.instagram.com/reel/DdZYFWpsUIc/Инжиниринг Данных
17 Sept, 16:57
Свежий документ для подготовки к собеседования на позицию Sr Data Engineer из одной большой американской компанииЭтап 1 — Скрининг с нанимающим менеджером Продолжительность: 45 минут Разговорное интервью с нанимающим менеджером. Что оценивается: • Общее понимание роли и команды • Соответствие навыков требованиям позиции • Понимание стратегических целей должности • Уровень экспертизы относительно ожиданий по грейду • Знакомство с технологическим стеком из описания вакансииЭтап 2 — Техническое интервью (Python / SQL) Продолжительность: 60 минут (30 мин Python + 30 мин SQL) Живое практическое кодирование в CoderPad, чистый Python без библиотек и фреймворков. Что оценивается: • Знание базовых структур данных — list, dict, set • Умение программно парсить данные • Умение писать алгоритмы с использованием базовых конструкций — циклы for/while • Решение задач умеренного уровня сложностиИнжиниринг Данных
17 Sept, 16:02edited
Пока мы тут про AI пишем, в большинстве традиционных бизнесов ничего не поменялось.Классическая рубрика про ошибку в Excel. У нас в провинции Британской Колумбии отчитались об ошибке на 1,5 ярда $ из-за ошибки в Excel.Ключевые детали происшествия:Причины (4 ошибки в расчетах):• Основная ошибка: Формулу конвертации валют из долларов США в канадские доллары случайно применили к ячейкам таблицы, которые уже содержали суммы в канадских долларах (ошибка при перетягивании формулы в Excel).• Некорректный пересчет объемов природного газа.• Использование расходных данных за 2025 год вместо 2026 года в одном из блоков.• Аналогичное использование устаревших данных за 2025 год в другом блоке.Последствия: Прогнозируемый дефицит провинции (13,3 млрд долларов) вырастет после корректировки. В министерстве заявили о внедрении новых мер контроля качества расчетов, чтобы избежать подобных
Инжиниринг Данных
17 Sept, 01:12edited
Инжиниринг Данных
16 Sept, 21:24
Сегодня был не очень продуктивный день….Квота закончилась не успев начавшись😞https://itdaily.com/news/cloud/anthropic-raises-and-lowers-limits-claude/ITdailyAnthropic simultaneously increases and decreases Claude usage limits - ITdailyAnthropic announces that it will increase usage limits for Claude Code starting September 14, while it is actually a decrease.Инжиниринг Данных
16 Sept, 16:10
Как-то незаметно прошла новость, что SAP купил Dremio.Зачем купили: SAP строит платформу AI-агентов, которым нужен доступ к данным из любых источников — как SAP, так и сторонних систем. Dremio решает именно это: позволяет запрашивать данные где угодно без ETL и копирования. ПлюсDremio вписывается в более широкую стратегию — вместе с Reltio (очистка данных) и Prior Labs (AI-модели) SAP собирает полный data+AI стек. Что такое Dremio: Высокопроизводительная lakehouse-платформа. Главные фишки — федеративные запросы к любым источникам без перемещения данных, нативная поддержка Apache Iceberg и автоматическое ускорение запросов (Reflections). Известна ещё тем, что co-создала Apache Arrow и Apache Polaris — оба стали индустриальными стандартами.Не уверен, что Dremio ждет хорошее будущее. Когда-то BusinessObjects был лучшим BI инструментом, пока в 2007 году его не купил SAP.Из других
Инжиниринг Данных
16 Sept, 03:06
19 сентября в 2:30 pm в Ванкувере решили собраться на Jericho beach, приходите кто хочет. С меня самовар:)
Инжиниринг Данных
15 Sept, 19:18
Как знакомо, когда организации хотят заставить всех vibe кодить свои приложения, чтобы выпилить вендора, и рассказать как они урезают косты.Получается такая гремучая смесь tech debt и черной дыры для сжигания токенов.Особенно, когда финансы, продажи, маркетинг сами себе создают приложения.Я уже испытал такой подход в одной большой компании. Не проникся.А как у вас?
Инжиниринг Данных
15 Sept, 14:48
Главная ошибка в разговоре об ИИ-агентах — оценивать их по демо. Демо почти всегда выглядит круто, но в проде все упирается в границы ответственности, данных и безопасности.Коллеги из Cloud․ru поделились популярными мифами об ИИ-агентах и обозначили реальные границы их возможностей — читайте в карточках.📌 Еще больше интересного контента про ИИ и технологии ребята из Cloud․ru публикуют в своем канале — подписаться
Инжиниринг Данных
15 Sept, 06:46
Хакатон на космических данных. Санкт-Петербург, Красноярск или онлайн из любой точки страны.Стартуем 18 сентября.За выходные участники доводят одну из задач до рабочего решения.Санкт-Петербург. К 2035 году над Землёй должен работать топливный узел, у которого заправляются корабли, и откуда он будет получать топливо - с Земли, с Луны или из резерва - пока не решил никто. Команде предстоит собрать схему поставок, посчитать резервы и решить, во что вкладываться сразу. Призовой фонд 1,2 млн ₽.Красноярск. Спутник видит горящий лес раньше любого наземного поста, но вместе с пожаром ловит нагретые крыши, факелы на месторождениях и блики на воде. Команде предстоит научить сервис отличать настоящий очаг от шума, обвести гарь и выдать площадь в гектарах. Призовой фонд 600 тыс. ₽.Лучшие забирают приз на площадке и билет в московский финал 25–27 сентября, где разыграют ещё 2,4 млн рублей.
Инжиниринг Данных
14 Sept, 06:59
Мощнее — не значит дорожеГлавные расходы при расширении 1С и баз данных — это не само железо, а лицензии ПО за каждое ядро.Оптимизировать затраты можно с помощью высокочастотных процессоров. Selectel запустил кластер AMD HiFreq в публичном облаке на базе VMware. Частота процессоров до 4.8 ГГц позволяет получить нужную производительность на меньшем количестве ядер.Высокая частота процессоров сглаживает разницу в производительности при переходе с Oracle и MS SQL на российские СУБД: Postgres Pro, Tantor и другие. Быстрые диски снимают ограничения при обработке тяжелых нагрузок в 1С и аналитике.Рассчитайте стоимость в удобном калькуляторе и разверните кластер для ваших задач: https://slc.tl/zegs8Реклама. АО "Селектел". erid:2W5zFHGtVhT
Инжиниринг Данных
13 Sept, 21:38
Привет! Я хотел бы в Surfalytics добавить информация про возможность фриланса и открытия счетов а банках и ИП в странах СНГ. У вас есть информация или примеры? Может быть есть ТГ каналы такие. Если хотите ссылкой поделиться добавляете ссылку как код или цитату.Инжиниринг Данных
13 Sept, 17:36
Воскресная мотивация от Бритни СпирсХочешь жить на широкую ногу? Жить в огромном особняке? Тусоваться во Франции? Тогда работай, детка, работай, детка, Работай, детка, работай, детка. А ну, за работу, детка! (а-а) А ну, за работу, детка! (а-а) Давай, бей в набат, Не останавливайся — будь чемпионом. Вкалывай так, будто это твоя профессия, Берегись — вот оно идёт.
Related Channels
Other channels in the same section of the catalogue.
