Сегодня проводил собес по system design DE. У Кандидата было резюме на 10 страниц текста! Сами понимаете серьезный кандидат. Я приложил задачку и результат. Чувак не в теме особо про dbt, Snowflake и тп. Прям как из нашего отечественного дата инжиниринга, но нет, он был из Индии и уже много лет работает дата инженером. Как я понял весь его опыт был про Spark Jobs на Hadoop. И в основном на этапе data ingestions. Нужно ли знать dbt и Snowflake всем? Нет не нужно. Но это, как бы, самое популярное на рынке и для общего развития неплохо бы знать в общих чертах, как и duckdb, и тп. Это называется grow mindset. Сейчас вообще можно ничего не знать, но работу делать. А если вы еще и понимаете, что делаете, то тогда работа приносит удовольствие. Идеально, когда вы понимаете и знаете, а ваша команда не знает и не понимает, как и ваш менеджер😁PS я еще провожу собеседование на CTO и инженера по спутникам. Идея простоя, засунуть побольше AI и других вещей в спутник и отправить в космос, сложность, что пустой спутник отправить в космос стоит годовых инвестиций. И цены только растут.
Инжиниринг Данных
@rockyourdata · 23.9K подписчиков
Посты канала Инжиниринг Данных в SillyFeed: единая лента публичных Telegram-каналов со ссылками на оригиналы.
Делюсь новостями из мира аналитики и карьерными советами.15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG🛠️dataengineer.ru|🏄♂️Surfalytics.com№5017813306Реклама:https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Посты канала
Послушал подкаст Data Engineering Central - там разговор с Джейкобом Мэтсоном, Developer Advocate из MotherDuck (это облачная версия DuckDB). 1. Индустрия устала от сложностиПосле лет оверинжиниринга (Spark, Kafka, огромные кластеры) - маятник качнулся обратно. Всё больше задач решается на одной машине. DuckDB - яркий пример: просто, быстро, без инфраструктуры.2. AI не убьёт дата-инженеров - наоборотКазалось бы, если AI генерирует SQL - зачем инженеры? Но тезис обратный: AI будет генерировать больше запросов, значит нужно больше людей, которые следят за качеством данных и моделями. Роль дата-инженера вырастет, а не исчезнет.3. Data Modeling снова в модеКогда AI пишет запросы, он опирается на структуру данных. Если модель данных плохая - AI будет давать мусорные ответы. Хорошая модель данных становится критически важной. По сегодняшнему опыту, AI очень хорошо помогает в моделировании. Ведь моделирование - это набор правил, которым следуют разработчики. Если мы создадим правила для AI, добавим необходимый контекст, то получится очень эффективно.4. DuckDB vs SparkSpark всё ещё нужен для реально больших данных. Но огромная часть "больших" задач на практике - это просто неоптимизированные маленькие задачи. DuckDB справляется с ними в разы проще и дешевле.Вывод: Простота побеждает. AI не заменяет инженеров, а меняет их фокус - от написания SQL к проектированию данных и контролю качества.
За последнее время мне удалось пообщаться со многими компаниями Enterprise-уровня, и у всех одна и та же проблема — криво внедренный Databricks. Что значит криво? Значит неудобно и неинтуитивно. Почему так? Потому что «а кто ж его знает, как надо». Добавим сюда, что Databricks в такие конторы внедряется подрядчиками, которые ездят по ушам VP-уровню и другому персоналу, который уже мастер спорта по митингам и презентациям, но у которого есть сложности с технической составляющей организации, в которой они работают годами. Вот и получается: хотели как лучше, а получилось как всегда.Зато таких картин нет в историях со Snowflake. Что бы там ни говорили про цены, производительность и другие особенности платформ, я ни разу не видел косячного внедрения Snowflake. Ну, максимум ценник выше, чем должен быть, но люди работают, пишут запросы, и вопросов, как получить доступ к данным, не возникает. У всех всё понятно: dbt, Airflow, GitHub. Всё работает как и должно, легко найти специалиста, легко подключить Claude Code.А как у вас дела?PS фото с paddle board, скоро будет экспедиция на 5 дней, тренируюсь.
Ещё по теме «Карьера и маркетинг»
Карьера и маркетинг❗️ OpenAI запустила Ads Manager Beta Платформа уже доступна в бета-режиме для рекламодателей из США и позволяет самостоятельно создавать, запускать и управлять рекламными кампаниями внутри ChatGPT.Что умеет Ads Manager Beta:🔹 создание и масштабирование кампаний;🔹 мониторинг показов, кликов и расходов;🔹 работа с таблицами, графиками и CSV-экспортами;🔹 управление доступами, API-ключами и биллингом.Параллельно OpenAI подключает adtech-партнеров — Pacvue, Kargo и StackAdapt. Также в платформе появятся инструменты атрибуции, измерения эффективности и bidding-механики ⚙️OpenAI начинает строить полноценную рекламную экосистему вокруг ChatGPT — с собственным кабинетом, аналитикой и закупкой рекламы без посредников 🔥ℹ️ AFFY — твой GPS в мире арбитража трафика
Пока все заняты дронами, мелкое капание на мозги СведуСлушайте, а что у вас там за проблемы постоянные с мгновенными платежами? Каждый раз какие-то отлупы приходят — по 5 раз приходится пробовать заново! Лучше бы заняли качеством своих услуг, а не удалением русского языка из интерфейсов!@degikarayev
Утром в газете, вечером... 😊 С утра я написал краткий итог относительно слоперства на АТ, а после полудня:"Теперь авторы могут публиковать не более 5-ти текстовых романов/повестей раз в 30 календарных дней. Из этих 5-ти релизов соло-книг может быть не более 2-х. Остальные 3 - соавторские. Либо же, все 5 романов могут быть написаны в соавторстве...Мы хорошо понимаем, что есть авторы, которые давно и успешно пишут больше 2-х сольных романов в месяц. Для них будет сделано исключение и мы отключим это ограничение. Такие моменты будут решаться в индивидуальном порядке"Хотел было написать сначала, что это "капитуляция" перед помольщиками, затем подумал немного и понял, что слово неверное. Не капитуляция, а все то же одобрительное подмигивание и очередная отмашка "можно зарабатывать!"Очень интересно, какие будут последствия. Я не большой любитель попокорна, но тут надо прям бадью запасать.https://author.today/post/835472
#зуеваКакие метрики важны на разных стадиях стартапа 😐Например MAU вырос на 20% - это хорошо или плохо? Без разбивки непонятно. Может это новые пользователи которые уйдут через неделю, а может те кто остался стали активнее. Метрика одна, а причины могут быть разными 😐Growth Accounting Framework и в чем его проблема 😐Узнала о нем кстати из статьи Эндрю Чена Суть метода - берем MAU и раскладываем на Новые + Возвращающиеся − Неаквтивные/удалившиеПроблема в том, что у такой метрики есть лаг, и как смотреть на исторические P&L компании - полезно, но предсказывать тренд не получится.Эндрю говорит - чтобы кривые не врали, нужно смотреть не на сами метрики, а на петли (loops) которые их создают 😎Есть два типа петель (loops):- Петли привлечения (как одна когорта пользователей приводит следующую) 🤝- Петли вовлечения (как использование создает будущее использование) 🕺Понимание качества этих петель - это и есть ключ к прогнозу куда пойдет график.Давайте посмотрим теперь что важнее всего на разных стадиях для хелсчека продукта1️⃣ Early stage (до product-market fit) - паттерны поведения важнее revenue Что смотрят:- Retention по когортам (D1 / D7 / D30) - Кривые выравниваются или продолжают падать? - Активация по каналам🚩 Red flags:- Новые каналы дают регистрации, но низкое качество пользователей - Всплески есть, но их нельзя повторить2️⃣ Early scale - качество привлечения > объемЧто смотрят:- Микс каналов (платные / органика / петли) - LTV по когортам - Стабильность стоимости привлеченияпростого LTV > CAC недостаточно, нужно понять почему это держитсяЕсли LTV падает:- Это более холодная аудитория? (нормально при росте) - Или хуже retention? (продуктовая проблема) 💀3️⃣ Scale stage - повторяемые петли, а не разовые тактикиЧто смотрят:- Петли привлечения (платные, вирусные, SEO) - они повторяемые? - Петли вовлечения - использование создает будущее использование? - Пользователи переходят к более частому использованию?🟢 Хорошие знаки:- Пользователи возвращают друг друга в продукт - Активации (например пуши) усиливают реальную ценность🚩 Red flags:- Разовые всплески (PR, запуски, инфлюенсеры) без повторяемой петли - Клики или вовлеченность падают от когорты к когортеПочему "петли" важнее метрик на всех этапах?Эндрю приводит пример: PR, конференции, виралки - это линейные каналы, они сложно масштабируются. Виралки (как у меня было с каверами например) происходят нерегулярно, плохо измеряются, и каждый доллар оттуда нельзя быстро реинвестировать 👋Контраст с платным маркетингом - высокая прозрачность, легко оптимизировать, можно масштабировать 😘Так что когда мы показываем красивые быстро растущие графики, хорошие инвесторы ищут причины которые это объясняют - потому что метрики показывают прошлое, а петли позволяют построить более точные прогнозы. Такой дайв в когорты для меня это всегда грин флаг инвестора 😎А графики могут расти даже когда продукт не работает - достаточно купить рекламу и показать всплеск регистраций (с платящими конечно будет посложнее) поэтому всегда стоит задаваться вопросом откуда это берется и является ли воспроизводимым, и тут мы возвращаемся к моему любимому выводу на текущем этапе - что всегда стоит задаваться вопросом почему так и откуда это берется 👀@neural_prosecco
ЛаундаумСколько раз я пыталась вести экспертный блог в той сфере, в которой я на тот момент была экспертом, столько раз это всё превращалось в лучшем случае в канал с мемами. Что было в худшем, я вам не скажу.Так вышло, что сейчас я работаю на стыке почти всего, чем когда-либо занималась; все мои выборы и решения привели меня сюда, и информации я ежедневно потребляю тонны. И, с одной стороны, иногда случаются интересные инсайты, а с другой — работать с этим кратно интереснее, чем об этом писать.Поэтому я просто коротенько напишу инсайт, а вы мной восхититесь.➡️ Алгоритмы — это опиум.Восхитились? Глубоко? Сильно? Мудро?Вот что я имею в виду: когда европейцы открыли для себя такую занимательную вещь, как опиум, они стали пихать его вообще везде: курить, по вене ставить, в сироп от кашля наливать — а чё, работает же. Был ещё лаундаум, настойка опиума на спирту, которая, цитирую википедию, «применялась при слабости и истощении, при бессоннице и возбуждении, при кашле, поносе, кровотечениях, болях».Ну вы поняли, да? Чудодейственное средство, решение всех проблем.И вот то же самое ща происходит с алгоритмами, их пихают вообще везде, не разбираясь, нужно это там или нет.Последний раз, когда я открыла хедхантер, он сказал мне — а зря это вы, Ирина Андреевна, отказываетесь от чудесных вакансий грузчика и главврача, вы откликайтесь даже на то, что вам не подходит, чтобы алгоритмы вам больше показывали. Я проморгалась, подумала, что наконец-то сошла с ума, перечитала — нет, всё так и написано — и закрыла хедхантер. Ну тя нахер думаю, с картонкой с надписью «ищу работу» по улице ходить и то эффективнее. Примерно так я и нашла работу.И есть, конечно, офигительные кейсы, когда внедрили алгоритмы и всем стало веселее; я обожаю свою рекомендательную ленту на озоне, мне в целом нравится, как это реализовано на авито. Но там, где ты не винтажный графин выбираешь и не бумагу для пастели, там, где тебе нужен человек, там тебе эти алгоритмы нахер не нужны. Найм. Сфера услуг. Дейтинг. Мы всё ещё нужны друг другу; мы так устали от экранов, баннеров, попапов и нейросеткой сгенерированных рассылок, что потрепаться с попутчиком, поработать с приятным подрядчиком или переброситься парой слов с кассиром — услада сердца. Нет ничего прекраснее другого человека — я даже придуркам в твиттере радуюсь, тому, какие они придурки, какие они искренние в своей тупизне. Алгоритмы так не могут.Не надо их везде пихать. Время пройдёт, и мы поймём, что это опиум.
Покусюсь на святое!В апреле вышли Fedora 44 и Ubuntu 26.04, с разницей в 5 дней. Концептуально это совершенно разные ОС.Ubuntu (которую я всегда выбирал для корпоративных проектов, последнее время только немного пересел на Arch "ради лулзов" :) -- это по сути "apple": удобно, но закрыто (серверная часть Snap Store закрыта от зеркалирования, телеметрия, привязка к вендору...)..Fedora же -- это полная открытость.GNOME 50 (Wayland-only, X11 удалён), KDE Plasma 6.6, GCC 16.1, Python 3.14, Go 1.26, Rust 1.85, OpenJDK 25, DNF5 (на C++),NTSYNC (ускорение Wine/Steam), Whisper, и при этом ноль телеметрии по дефолту.Скачиваешь весь архив (всего-то терабайт:), подписываешь своими ключами.Минусы: NVIDIA всё ещё через RPM Fusion. Остаются известные баги установщика (с нелатинскими клавиатурами...). Зависимость от Red Hat / IBM: после сокращения команды QA Red Hat два бага (реально наверняка больше) попали в релиз.И далее вероятно урезание суппорта десктопа RHEL, сжатие жизненного цикла, приоритет AI-фич от IBM...=Бери Ubuntu 26.04 если нужна сертификация железа, LTS 5-12 лет и более гладкий опыт с NVIDIA.Бери Fedora 44 если важна возможность пересобрать систему из исходников и отсутствие vendor lock-in, а также философия Linux (а не потому, что это очередной Apple).
«Расскажите о своих сильных сторонах» — худшее начало разговора, если вы реально хотите нанять настоящего профи🙅♂️За дежурными фразами и «правильными» ответами легко пропустить тревожные звоночки, которые позже станут главной головной болью для вашего бизнеса.Но как за час разговора понять, что перед вами именно толковый специалист, а не просто мастер самопрезентации? Рассказали в статье ПХР⚡
Когда весь мир замирает в ожидании главной модной ночи, на Манхэттене происходит нечто невероятное. Всего в 500 метрах от Метрополитен-музея отель The Mark (жила там дважды и мечтаю вернуться) превращается в самую закрытую гримерку планеты.Цифры, которые поражают (об этом мне рассказывал ех-GM отеля Оливьер):• 365 дней подготовки к одному дню• 200+ заказов кофе с 6 утра• 40 сотрудников вручную управляют лифтами – каждый выход синхронизирован с конкретной звездой• "Ложные выходы" с ассистентами в чехлах – чтобы сбить с толку папарацци Говорят, одна гостья попросила ровно пять оливок между примерками. Их доставили с безупречной точностью. Когда расписание транспорта внезапно изменилось – отель за минуту организовал велорикшу.Персонал The Mark видел всё. Но никогда не попросит селфи (как, впрочем, и мы с коллегами в нашем отеле). Награда сотрудников – момент, когда дверь открывается, и весь мир задерживает дыхание. Никто не знает, что будет на красной дорожке, пока звезда не выйдет из The Mark.Masyukova
К первой части «Дьявол носит Прада» сейчас снова возвращаются — во многом из-за новостей о продолжении.Это удачный пример, чтобы рассмотреть взаимодействие главных героев через Модель процесса коммуникации.Фильм наглядно иллюстрирует, как по-разному может пониматься одна и та же рабочая коммуникация.В карточках мы разобрали Миранду Пристли — её тип личности и то, как она коммуницирует.Материал из официального аккаунта PCM Russia в Instagram*.*принадлежит Meta, признанной в РФ экстремистской организацией; деятельность запрещена на территории РФ.#pcmrussia #pcm_УП
SQL Injection в 2026 году: Одна ошибка - и ваша база данных в Darknet :)Казалось бы, мы в 2026 году. У нас есть квантовые вычисления, продвинутый ИИ и беспилотные такси. Но старый добрый SQL Injection всё еще в топе OWASP и всё еще позволяет хакерам сливать гигабайты данных за считанные минуты.Почему это всё еще работает?--- Наследие (Legacy): Код, написанный 10 лет назад, до сих пор крутится в бэкенде крупных корпораций.--- Сложные API: Современные микросервисы общаются через сотни эндпоинтов, где валидация данных иногда проседает.--- ИИ на службе у хакеров: Если раньше атакующему нужно было подбирать кавычки вручную, то сегодня LLM-агенты автоматически сканируют код и находят слепые (blind) инъекции там, где их не видел статический анализатор.Как выглядит слив всей базы сегодня?Достаточно одного незащищенного поля в поиске или заголовке HTTP-запроса. С помощью техники UNION SELECTили автоматизированных инструментов (вроде прокачанного sqlmap) злоумышленник:--- Обходит аутентификацию.--- Получает список всех таблиц.--- Выгружает персональные данные пользователей (PII).В худшем случае - получает доступ к файловой системе сервера.Итог: Репутационные потери, огромные штрафы по GDPR и полная остановка бизнеса.Как не стать героем новостей о взломе?--- Забудьте про конкатенацию строк. Только Parameterized Queries (Prepared Statements). Это база.--- ORM - не панацея. Даже популярные библиотеки могут иметь уязвимости в методах вроде .raw(). Проверяйте, что вы туда передаете.--- Принцип наименьших привилегий. У пользователя базы данных, под которым работает веб-приложение, не должно быть прав DROP TABLE или доступа к системным таблицам.--- WAF с поддержкой ИИ. В 2026-м обычные регулярные выражения не спасают. Нужны системы, анализирующие поведение и аномалии в запросах.Главный урок: Безопасность - это не разовое действие, а процесс. Если вы не проверяли свои старые сервисы последние полгода, скорее всего, они уже под прицелом.А как часто вы проводите аудит безопасности своих SQL-запросов? Рассказывайте!#cybersecurity #SQLi #infosec #webdevelopment #programming #2026tech #data-protection