data будни

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВХ, там происходит очистка и обогащение; а потом мы эти данные выгружаем в микросервис Б. по второму кейсу не покидает ощущение «наколеночности» решения: получается, между двумя по-задумке-быстрыми сервисами появляется прослойка в виде батчевого двх с куском логики. двх сюда впилили, потому что там данные уже очищенные и обогащённые (из сервисов В и Г) — чтобы получить такое же вне двх это надо повторять эту логику с тем же набором данных.из плюсов вижу, что сразу «повышаются ставки» для наших данных и двх в целом — и пользователи начинают оперативно спрашивать за качество и свежесть) приходится проактивно шевелить булками и навешивать метрики с мониторингами. Это добавляет быструю обратную связь на результаты работы команды и держит всех в тонусе.⌘⌘⌘что думаете про Reverse ETL? какбэ антипарттерн или норм? есть альтернативы? как «правильно»?

🤓 Martin Fowler в гостях Pragmatic Engineerhttps://youtu.be/CQmI4XKTa0UМартину уже за 60 лет, из которых он 40 с лишним считает себя инженером; когда опыт исчисляется десятками, то накапливается тот уровень насмотренности, когда можно сравнивать эпохи и видеть глобальные тенденции⌘⌘⌘по своему масштабу Мартин сравнивает нынешний скачок с переходом программистов с ассемблера на языки более высокого уровнясам Мартин не имеет ничего против вайбкодинга как такового (тут он понимает «вайбкодинга» именно как безоглядное принятие любого результата ллм-ки без глубокого осознания написанного), однако чётко ограничивает зону его возможностей: небольшие проекты, прототипы на выброс и т.д.главный недостаток слепого вайбкодинга — отсутствие цикла обратной связи. не пропуская через себя этот код, нет процесса обучения. новые знания не налипают и не копятсяполучается вайбкодер через год останется ровно с таким же уровнем и потом его сменит просто другой вайбкодер (помоложе); или просто следующее поколение агентов, которым не нужна будет «простилка» между клавиатурой и креслом⌘⌘⌘при этом в прототипировании аи-помощник показывает небывалые приросты в продуктивности. приводят пример инженера из Антропика, который за 2 дня собрал 20 прототипов, итеративно проверяя и валидируя их об команду. здесь быстрый цикл обратной связи помог им сразу на практике осознать простанство потенциальных вариантов и найти подходящие векторы для развития, отбросив остальные ⌘⌘⌘ещё одна проблема ллм-ок — полная неспособность решить задачу «переименования класса»; по своему дизайну она скорее перепишет половину кодовой базы, чем поправит в трёх местах нужное названиепри этом современные иде уже давно научились это делать, правда со своей подкапотной магией (которой, видимо, и не хватает ллм-кам)⌘⌘⌘общий подход к результатам работы моделей — ничему не верить, всё проверять; вдумчиво читать, внимательно вникать, нещадно тестировать, чтобы добавить чуток детерменированности их безудержной креативности. и тогда действительно можно получать какой-то профит от совместной работы

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил руку в подобных задачках. к тому же интервьюеров могут специально готовить, чтобы они лучше интервьюировали, можно даже использовать вспомогательный софт с подсказками и всякие заметки. другими словами, та сторона подготовилась ко встрече; соответственно, будет крайне наивным рассчитывать на высокие результаты, не уделив достаточного внимания подготовке и на своей стороне (т.е. как я в свой прошлый заход))⌘⌘⌘🤓 как можно подготовиться к собесам:— собрать список вопросов и накидать ответы;— поискать открытую инфу: отзывы от других соискателей, примеры тем и задач, разбор собесов с обратной связью;— обложиться поддержкой: профильные коммьюнити и консультанты;— потренироваться «на кошках»: попробовать пройти мок-собесы;⌘⌘⌘📚 открытая инфа§ эпизод Lenny’s podcast c Phyl Terry — он помогает людям искать работу уже третий десяток лет и автор книги Never Search Alone; один из его советов — не бояться попросить помощи.https://www.lennysnewsletter.com/p/land-your-dream-job-phyl-terry§ подкаст Собес — плод труда Киры Кузьменко (New HR) и не менее замечательных ребят из студии подкастов Либо/Либо. В последнем сезоне как раз делают публичные мок-интервью: соискатель проходит интервью и сразу получает обратную связь с рекомендациями. https://libolibo.ru/sobes§ спин-офф от команды LeftJoin — канал о карьере и рекомендациях. Я воспользовался советами об оформлении Линкедин https://t.me/leftjoin_career/32§ свежий неожиданный врыв в дата-инфополе: канал с отчётами по форме о нескольких десятках собесах: с вопросами и вилками. можно пополнить свой список вопросов, посмотреть интересные компании и откалибровать хотелки https://t.me/get_rejected/39⌘⌘⌘👯‍♀️ коммьюнитиво время поиска наткнулся на два активных коммьюнити, направленные именно на инжиниринг данных:§ https://boosty.to/halltape_data (больше для джунов и только-только вкатывающихся)§ https://boosty.to/rzv_de (уже для миддлов и дальше) процесс поиска работы может довольно изматывающим, в том числе и в эмоциональном плане; и тут будет весьма кстати почувствовать плечо таких же соискателей как и ты, которые проходят такой же путь.🥊 консультациикак тренер за спиной боксёра — не сможет за тебя помахать кулаками, но настроит на нужный лад перед встречей и поможет отрефлексировать итоги после. плюс можно сориентироваться внутри отрасли, узнать общую сводку по компаниям: кто чем отметился в публичном поле за последнее время. как пример — Семён Осипов https://t.me/ohmydataengineer⌘⌘⌘до мок-интервью пока руки не дошли — было ощущение что на внутреннем рынке поиск идёт «достаточно хорошо». в следующий раз хочу попробовать пройти несколько, уже присматриваюсь к сисдизайну https://t.me/system_design_world и архитектурным катам https://t.me/arch_katas_russia⌘⌘⌘список ограничивается тем что нашёл лично я, поэтому буду рад другим советам — это может помочь тем, кто в поиска прям сейчас или только собирается; ну и себе на заметку тоже возьму ;—)☝️

✅ ЗАБИРАЕМ +3.5 НА ЛЬЯМАСАПобеда получилась тяжёлой, но именно такие ставки и самые ценные 😎Медведев забрал матч только через 3 сета:6:3 4:6 6:2Что важно:• Льямас реально держал темп• хорошо цеплялся в длинных розыгрышах• выиграл сет• по второй подаче вообще не рассыпалсяДа, Медведев был сильнее по классу, но линия переоценила лёгкую победу фаворита на грунте.Берём плюс к банку 💸Дублируем контент ещё и в MAX 👇https://max.ru/join/p9CM8qydjLBLnDGTRsfGgbpJ-JHHlbD3kzh8BHWkZcg😎😎😎😎

Можно ли назвать созданием тренда, если твой звук начинают вставлять в видосики всякие прикольные бренды ахах?Кстати, почему бы все не начнут спрашивать у людей разных - сделано ли это с Claude Code?Или удивляться — как это сделано без Claude Code?Подхватывайте, мне кажется еще месяц - два это будет хорошо залетать. Только не забывайте меня отмечать в инсте)

Десять дел, которыми можно заняться на работе между праздникамиПервая декада мая привычно именуется у нас «майскими праздниками», хотя в этом году к выходным добавлены лишь два дня: один день – в честь Праздника Весны и Труда и один день – в честь Дня Победы.Тем не менее, с конца апреля по середину мая деловая жизнь привычно замедляется. В это время не принято назначать деловые встречи, потому что многие разъехались по отпускам, и не принято писать письма, потому что, опять-таки, адресаты – в отъезде и письма часто теряются.Раньше я довольно часто оставался на майских в городе и составил для себя список полезных дел, чтобы не обсуждать часами с коллегами, как провёл первые майские и что собираюсь делать на вторых. А сделать можно, например, вот что:1️⃣ Разобрать апрельскую электронную почту и мессенджеры. Кстати, если я не ответил на чьё-то письмо или сообщение, самое время мне об этом напомнить. Исправлюсь 🤗2️⃣ Прочесть отмеченные важные, но длинные сообщения, до которых не доходили руки; 3️⃣ Сказать спасибо кому-то из коллег или партнёров. Благодарность – самое великое и самое, к сожалению, редкое человеческое качество 👀4️⃣ Разобрать ящики письменного стола. Да и сам стол разобрать полезно; 5️⃣ Взять с работы книжку, чтобы прочесть её на вторых праздниках. В банках, где я работал, и в московском офисе Skill Cup были библиотеки деловой или околоделовой литературы;6️⃣ Составить список дел на май. Часть дел, между прочим, можно начать делать прямо сегодня, не дожидаясь окончания праздников;7️⃣ Пригласить на обед того из коллег, с кем меньше всего общаешься по работе. Стоит оглядеться вокруг – и обязательно увидишь такого человека. Ему будет очень приятно ваше внимание, а вас это общение (тут я принимаю образ гадалки с картами) – обогатит;8️⃣ Прочесть составленный в начале года план на год, вычеркнуть из него две-три цели, ставшие неактуальными, выбрать главную цель на ближайшие несколько месяцев и ужесточить по ней срок;9️⃣ Придумать новый проект. Проекты бывают разными: кто-то, как герои Marvel, регулярно спасает мир, а я как-то на майских решил познакомиться со своими друзьями из соцсетей и за лето провёл почти семьдесят встреч, а значит – познакомился с семьюдесятью новыми людьми;1️⃣0️⃣ Выполнить чью-то давнюю и почти забытую просьбу. Скорее всего, вы найдёте эту просьбу, разбирая почту или сообщения в мессенджерах.Добавляйте в комментариях ваши варианты! Возможно, мы с вами не спасём мир, но точно его улучшим ❤️@korovinteam

Качество ИИ улучшается, а людей – нет.Пост 5. Заблуждения и альтернативные точки зрения на проблемные вопросы ИИ#ОпасныеИИзаблужденияПродолжаю сериал, предыдущие посты:📌 Пост 1 Искусственный интеллект (AGI artificial general intelligence), который сопоставим с человеком уже здесь, но никто понять что это такое и даже его «крёстный отец»📌 Пост 2 Ответственности человека в мире ИИ не может быть📌 Пост 3 Самое опасное заблуждение про ИИ звучит так: «Вас заменит не ИИ, а люди с ИИ»📌 Пост 4 Никогда не отдавайте рутину ИИ. Сейчас ведётся огромное количество дискуссий на тему низкокачественного контента от ИИ, такой контент даже получил прозвище AI-slop (ИИ-мусор), разрушающий светлые воды человеческого интернета и наводняющий его не пойми чем.У меня как раз обратная точка зрения. ИИ стремительно совершенствуется, а человек плодящий в большинстве своём тоже мусорный контент практически не меняется, и я жду, когда ИИ-генерация вытеснит из цифрового пространства низкокачественный контент от людей. Считайте это моей программой по борьбе с низкокачественным контентом от людей.✅ Все претензии сейчас к ИИ-контенту и людям, которые генерируют ИИ-контент, сводится к тому, что это серый, бессмысленный и неправдоподобный контент, но это как раз совсем не так. ИИ-контент: яркий, забавный, раздвигающий границы возможного.Теми ли мы критериями измеряем ИИ-контент?Набрёл на хорошую статью, которая разбирает состав разного рода нейромусора. 📌 «Жёлтый» визуалМассовые ИИ-картинки с одинаковой стилистикой: типовые лица, одинаковые шрифты, характерная «желтизна», артефакты, шаблонность.📌 Фейковые «чудеса» и эмоциональные картинки для охватовСгенерированные изображения, которые давят на жалость, восхищение или доверчивость. Примеры: несуществующие бабушки, «креветочный Иисус», абсурдные сюжеты ради вирусности.📌 Текстовый slopПлохо отредактированные тексты от нейросетей без проверки фактов и без человеческой доработки. Признаки: обтекаемые формулировки, общие слова, мало конкретики, повторяющиеся штампы, отсутствие живых примеров.📌 Конвейерные тренды / видео-slopВсе эти «претензии» можно в полной мере отнести и к человеку, но количество просмотров ИИ-контента растёт, музыкальные треки подбираются к вершинам чартов, видеоролики набирают миллионы просмотров, ИИ-текст наполняет корпоративные сайты интересными статьями и т.д.ИИ снизил ценовой порог эксперимента с контентом почти до нуля. Сейчас сделать ИИ-видеоролик почти ничего не стоит, а значит человек может экспериментировать, бесконечно добиваясь интересных творческих результатов и именно поэтому ИИ-ролики залетают в вирусные тренды. Раньше надо было быть "Любой из YouTube" - совершить какую-то непристойность в реальной жизни, чтобы взлететь в показах, а сейчас просто бескрайний полёт фантазии.❗️На фоне быстрого совершенствования ИИ, как по качеству контента, так и по скорости его производства, я всё больше беспокоюсь о людях, производящих контент и смыслы. Вы сейчас так сильно упираетесь, пытаетесь доказать, что вам есть что сказать, что это скорее выглядит как оправдание, чем сильная позиция. Просто докажите, что вы реально круче ИИ своим контентом. Мы сейчас предъявляем к ИИ требования забывая, что он пока первоклассник и быстро идёт уже к своей зрелости, поэтому не опирайтесь на текущее качество, чтобы не застрять в ложных парадигмах.#ОпасныеИИзаблуждения❗️Зеркалюсь здесь Max | VK | TG

⚡️Госзакупки уходят в мелкий формат: рост процедур прикрыл падение денегСистема госзакупок в начале 2026 года демонстрирует тревожный сдвиг: при формальном росте активности рынок теряет масштаб и конкуренцию. По данным мониторинга Минфина за I квартал, число закупок выросло, но их совокупная стоимость просела — сигнал, который участники рынка уже называют «тихим сжатием».Количество извещений увеличилось на 2%, тогда как стоимостной объем сократился на 8,5%. Заказчики все чаще дробят закупки и уходят в более быстрые и менее формализованные процедуры. В первую очередь — в запрос котировок и закупки через «электронный магазин», которые показали рост на 18% и 68% соответственно.На этом фоне классический электронный аукцион, долгое время считавшийся «золотым стандартом» конкурентной закупки, теряет позиции.❗️Но главный симптом — не в структуре процедур, а в качестве конкуренции. Среднее число заявок на одну закупку снизилось до 2,54, а в 73% несостоявшихся процедур подается всего одна заявка.Рынок традиционно склонен объяснять такие цифры «заточкой» техзаданий под конкретного поставщика. Однако практика показывает: это лишь часть проблемы. В ряде случаев действительно речь идет о чрезмерно детализированных требованиях, которые фактически исключают конкурентов. Но куда чаще — о более глубоком сдвиге.Во-первых, снижается экономическая привлекательность участия: при «ужатых» НМЦК и росте издержек второй участник просто не выходит на торги. Во-вторых, значительная часть закупок приходится на узкие рынки (медицина, IT, специализированное оборудование), где число поставщиков изначально ограничено. В-третьих, бизнес все чаще избегает процедур с высокими рисками — от штрафов до включения в РНП — и участвует только в «своих» закупках.В результате формируется ситуация, при которой конкуренция существует формально, но фактически отсутствует.Контрактная стадия лишь подтверждает тренд. Количество заключенных контрактов растет, но их общий объем снижается. Заказчики предпочитают разбивать закупки на более мелкие лоты, снижая финансовые риски, но одновременно размывая эффект масштаба.Даже рост экономии — до 111,2 млрд руб. — выглядит скорее статистическим эффектом: снижение начальных цен и переход к упрощенным процедурам дают «экономию на бумаге», но не обязательно означают реальную конкурентную борьбу.Отдельный маркер — структура расторжений. Почти 98% контрактов прекращаются по соглашению сторон. Это указывает на системную проблему исполнения: конфликты предпочитают не доводить до споров, а «гасить» на ранней стадии.При этом доля российских товаров в закупках достигла 65%, что подтверждает усиление политики импортозамещения. Однако этот фактор не компенсирует снижение конкуренции и дробление рынка.Источник

🚀 Сегодня покажу, как быстро диагностировать «тормоза» в PostgreSQL - без всяких внешних тулов и дополнительных логов. Только pg_stat_activity и немного здравого смысла.Пользователи жалуются - "всё тормозит". Как понять, что именно? Открываем сессию в psql от суперпользователя и запускаем:SELECT pid, state, wait_event_type, wait_event, query, now() - query_start AS durationFROM pg_stat_activityWHERE state != 'idle'ORDER BY duration DESC;📌 Что это нам даёт:- Видим все активные (и зависшие) запросы.- Сколько времени они уже выполняются (duration).- На чём конкретно «висят»: CPU, IO, Lock, Client и т.д. (wait_event_type + `wait_event).Пример:wait_event_type: Lockwait_event: relation→ Сразу ясно: кто-то держит блокировку на таблицу, и все остальные ждут.🔥Чтобы найти виновника, можно запустить:SELECT blocked_locks.pid AS blocked_pid, blocking_locks.pid AS blocking_pid, blocked_activity.query AS blocked_query, blocking_activity.query AS blocking_queryFROM pg_locks blocked_locksJOIN pg_locks blocking_locks ON blocked_locks.locktype = blocking_locks.locktype AND blocked_locks.database IS NOT DISTINCT FROM blocking_locks.database AND blocked_locks.relation IS NOT DISTINCT FROM blocking_locks.relation AND blocked_locks.page IS NOT DISTINCT FROM blocking_locks.page AND blocked_locks.tuple IS NOT DISTINCT FROM blocking_locks.tuple AND blocked_locks.transactionid IS NOT DISTINCT FROM blocking_locks.transactionid AND blocked_locks.classid IS NOT DISTINCT FROM blocking_locks.classid AND blocked_locks.objid IS NOT DISTINCT FROM blocking_locks.objid AND blocked_locks.objsubid IS NOT DISTINCT FROM blocking_locks.objsubid AND blocked_locks.pid != blocking_locks.pidJOIN pg_stat_activity blocked_activity ON blocked_activity.pid = blocked_locks.pidJOIN pg_stat_activity blocking_activity ON blocking_activity.pid = blocking_locks.pidWHERE NOT blocked_locks.granted;Этот запрос покажет, кто кого блокирует, и с каким запросом.🙌 Это простая, но мощная техника диагностики. Помогала мне не раз в проде - особенно, когда времени мало, а багов много.Ты пользуешься pg_stat_activity в проде? Или сразу лезешь в лог? Расскажи в комментах!📲 Мы в MAX#db👉 @database_info

Есть женщины которые очень хорошо чувствуют людей. И очень любят работать. И особенно над собой.Они слышат не слова — а то что за словами. Видят паттерны. Могут подсветить, подсказать, навести гармонию одним своим присутствием.Понимают почему человек застрял. Им стоит две минуты побыть рядом и жизнь уже другая. Иногда одним вопросом попадают точно в центр и даже эпицентр проблемы. Могут помочь взглядом.И при этом сами не знают как монетизировать это умение.Не потому что не умеют. Или их не учили. А потому что звать людей на себя — страшно. Вдруг недостаточно хороша. Вдруг нет диплома того самого. Вдруг спросят «а кто ты такая».Поэтому часто продолжают ходить на работу которая не их. Или забивают свою энергию новыми знаниями.Или сидят в декрете и думают — ну вот когда дети вырастут. Или проходят ещё одно обучение. Ещё одно. Ещё.Я знаю эту женщину хорошо.Я сама была ею.

Техника "Антибиотик" по поиску клиентов. Кто старше 30 лет может помнить сериал "Бандитский Петербург" с Певцовым в главной роли. Там был главный герой - Сергей, который работал с бандитами, а среди бандитов главный был Виктор Палыч по кличке Антибиотик. Под конец Сергею надоело работать с бандитами и он решил написать на них доклад в прокуратуру, милицию и в другие инстанции. Но у Антибиотика были большие связи и все письма в правохранительные органы пришли в итоге именно к Антибиотку. Он писал всем, а пришли к главному бандиту. Как я применяю это к себе? Делаю так, чтобы где бы человек не искал видеграфа, фотографа, какие бы рекомендации не искал, от всех рекомендации пришли бы ко мне. Разные люди приводили бы ко мне. А самому быть "антибиотиком" этого процесса.

Китайские ученые больше не жгут уголь. Вместо привычных ТЭС они разработали топливный элемент, который напрямую превращает химическую энергию угля в электричество.🗿➖🔥🟰⚡️⚙️ Как это работает: уголь измельчают, очищают и подают в топливный элемент. Там происходит электрохимическая реакция — без пара, турбин и огня. В результате электричество вырабатывается напрямую, как в батарее 🔋Образующийся CO₂ не уходит в атмосферу, а сразу улавливается и может быть переработан, например, в синтез-газ или химические соединения вроде бикарбоната натрия.В перспективе технология может изменить саму модель добычи: энергию можно получать прямо в подземных пластах на глубине до 2 км, снижая затраты на транспортировку 🚋 и повышая эффективность использования ресурсов.#уголь #энергия #Китай🟣 ЭнергетикУм в MAX

Samples for the notnullOSX Malware has been added to this Github Repository:https://github.com/objective-see/Malware/commits/main/P.S.: Password "infect3d"His books: Volume I and Volume II