Из сегодняшнего рабочего совещания: «Засинкали бек и фронт»«Получается не секьюрно»«Какие-то минорные изменения»«Можем зафорситься»Обожаю работать в IT- компании. Medtech - это любовь. Межотраслевое взаимодействие дает рост каждой из отрасли.
DevOps и инфраструктура — страница 13
Лента темы
Нагрузочное тестированиеУ нас событие - мы запустили в прод новый модуль #ForPeople – «Пересмотр вознаграждения», на базе которого проводим ежегодный пересмотр вознаграждения во всей компании во всем мире одновременно. Перед запуском, кроме прочего, проводили нагрузочное тестирование, т.к. ожидали (спойлер - и получили) большую востребованность этого функционала у руководителей. Из основных гипотез:1. Наша система новая и функционал новый, а это всегда вызывает интерес. Особенно интересно посмотреть на то, что получилось, когда разработкой управляет HR, а не R&D2. Процесс пересмотра вознаграждения – один из тех HR процессов, который не требует дополнительной коммуникации, сотрудники сами ждут его с нетерпением)Интересно, что наши с коллегами оценки довольно сильно разошлись: мы, команда продукта, IT и HRIS, ожидали в момент запуска порядка 25-30% одновременных заходов от численности целевой аудитории, а коллеги из команды Reward, к чьей области ответственности относится функционал, готовились к 80-90%, ожидая всплеск активности сразу после рассылки о доступности функционала.Запуск прошел отлично 
Из интересного: неожиданно для самих себя внутри продукта мы увидели крутую фичу, благодаря которой можно онлайн смотреть на % использования бюджета и, таким образом, отслеживать заполненность форм пересмотра в любом подразделении.А что касается нагрузки - перед запуском мы подключили сервис получения телеметрии, благодаря которому мы смогли посмотреть реальную нагрузку и востребованность функционала, и в моменте и в течение времени.А как думаете, кто оказался ближе к реальности в оценке входа руководителей в первые дни запуска системы?
Amazon тратит на центры обработки данных больше, чем на склады электронной коммерцииПочему? Если коротко: искусственный интеллект. Компания уже много лет ищет следующий "столп роста" в дополнение к трем первым столпам: онлайн-маркету, программе Amazon Prime и бизнесу облачных вычислений Amazon Web Services. Компания надеется, что ИИ станет большой частью этого роста. Доступ к центрам обработки данных — ключевое поле битвы для тех, кто надеется конкурировать в области ИИ, поскольку эта технология требует очень много вычислительных мощностей. Согласно CBRE, "крупные корпорации сталкиваются с растущими трудностями в обеспечении мощностей центров обработки данных". Удивительно быстро площади центров обработки данных арендуются еще до того, как они построены. Чтобы выдержать конкуренцию, Amazon тратит еще больше средств на собственные центры обработки данных. В ближайшие несколько лет Amazon планирует построить не менее 216 новых дата-центров. Очевидно, что не только Amazon рассчитывает на развитие ИИ.
Алгоритмы балансировки нагрузки
Полезняшки для мира Kubernetes:1️⃣ k9s — стал неотъемлемой частью нашего рабочего процесса. Вместо того чтобы возиться с длинными kubectl командами, мы теперь быстро переключаемся между подами, сервисами и деплоями. Особенно удобно просматривать релизы Helm прямо отсюда. А vim-подобное управление — просто огонь для быстрого дебага. Когда что-то идет не так, мы уже на автомате запускаем k9s и за пару секунд погружаемся в проблему.2️⃣ Lens — полноценная IDE для Kubernetes — находка для тех из нас, кто не в восторге от командной строки. Взаимодействовать с кластером через GUI оказалось намного проще, особенно новичкам. Готовые шаблоны для ресурсов, просмотр логов и быстрое редактирование объектов сильно ускорили нашу работу.Эти двое здорово прокачали нашу работу с Kubernetes 🤩#qahub_tools
Китай и Autodesk. Выводы.1) Закрытая страна: из 8 презентаций Правительство Китая разрешило предоставить после Конференции Российской стороне только 2. Заранее Переводчикам-синхронистам тоже не дали подготовиться нормально. Все слушали китайскую речь)2) Очень организованные - все четко, по секундам. Здесь мы похоже.3) Гостеприимные. Братья.)4) Понимают, что Autodesk их тоже скоро покинет. Импортозамещаются. Хотя до сих пор в проектировании повсеместно Revit.5) Вкладываются во внутренний туризм. Удивительно, что из деревни с «1» жителем и одноэтажными домами» за 20 лет Фуюань, где был Дальневосточный BIM Forum, стал 70 000 городом с большими проспектами, парками, библиотеками, сафари и тд. с планами строительства Университета и расширения до 100 тыс.6) в BIM у России результаты по ощущениям выше, но это еще предстоит выяснить.П.С. Сегодня пойду на ПМЭФ 24:БУДУЩИЕ ТЕХНОЛОГИИ В СТРОИТЕЛЬСТВЕ05 июня , 14:00–15:00Модератор: Ксения Собчакbimmanagercourse
Docker profiles - удобная фича, которая позволяет более гибко использовать один и тот же docker-compose файл, но с разными комплектами сервисов (например).Если на пальцах - каждый сервис может содержать список профилей, в которые он включается. Потом делаешь
docker compose --profile with-db buildи оно билдит (или стартует если up) только те сервисы, в которых упомянут профиль with-db или не упомянуто профилей вообще. #docker #tools
Заходят как-то в бар на rounds.ru инвестор, эмитент и брокер.Или как IT-платформа обслуживает ключевые процессы компании Rounds.Вчера описал бизнес-процесс Rounds со стороны пользователя. Сегодня расскажу техническую часть.Сейчас я в отпуске и забыл дома айпад, нарисовал на салфетке, извините )))👨РолиЭмитент – выпускает акции АО и продает их инвесторам.Инвестор – покупает акции сам или через брокера.Организатор – владеет методологией, помогает эмитенту закрыть раунд.Операционист – сотрудник платформы, ведет размещение на платформе.Брокер – покупает акции для своих клиентов или дает им ссылку на Rounds чтобы они купили сами.💸 СделкаПредставьте раунд в котором 1000 инвесторов физлиц, 100 юрлиц, кто-то пришел сам, кто-то через брокера.Кто-то из них инвестирует 50 тыс руб, а кто-то 50 млн руб.А еще там 20 знакомых эмитента, у которых особые условия.И это только предварительный список (книга инвесторов), который закрывает раунд примерно на 50% от требуемой суммы.А остальные придут уже во время размещения и мы не знаем сколько их и кто это.
АйтишечкаНаша платформа позволяет:- Собирать и хранить все персональные данные инвесторов.– Инвестору бронировать аллокацию под себя (до оплаты).– Собирать со всех деньги и замораживать их на эскроу счете.– Дать инвестору особые условия по закрытой ссылке.– В онлайне подписывать тысячи договоров между инвесторами и эмитентом.– Обеспечить безопасное хранение всех документов.– По каждому договору / сделке дать актуальный статус всем участникам.– Формировать отчеты для Центробанка России.Под капотом много сложных операций, с повышенными требованиями к надежности и безопасности.По сути, это очень похоже на биржу, только без вторичного обращения. Но вторичный рынок уже в планах! Что дальше писать про Rounds? Предложите в комментариях )#rounds, #малый_бизнес, #средний_бизнес, #инвестиции
Уже не новость, чтоDocker hub перестал работать в России И сразу же начали появляться зеркала, чтобы все работало, например 
А вот чего я еще не встречал, так это российские аналоги докера:Коробки — российский аналог DockerНу что, на Коробки переходим?
хуёкер.ioВ принципе какое решение, такое и название
Hola, Amigos! На связи команда Amiga.Docker Hub прекратил работу на территории России. Это значит, что многие из нас могут столкнуться с проблемами при доступе к важным контейнерам и образам.Чтобы минимизировать неудобства, предлагаем рассмотреть следующие решения:
Зеркала и альтернативы: Используйте зеркала Docker Hub или локальные репозитории для хранения и получения образов.Рабочее проверенное решение: huecker.io 
VPN: Для обхода блокировки можно воспользоваться VPN-сервисами. Это поможет получить доступ к Docker Hub с российской территории.
Локальные решения: Разверните свои собственные локальные Docker-реестры, чтобы хранить и управлять образами в пределах вашей инфраструктуры.Если у вас есть другие идеи или решения, делитесь в чате!Будем рады любой информации, которая поможет всем нам продолжать работать эффективно и без перебоев 
Думаю, многие уже заметили, на своем опыте или из ленты новостей, что сегодня перестал быть доступен Docker Hub с российских IP-адресов. А это популярнейшее хранилище образов контейнеров, которое использует Docker по умолчанию.upd от 3.06: пишут, что DockerHub разблокировали для ру-ip-адресов так же неожиданно, как и заблокировали.Какие есть способы обхода?- Использование публичных ноунейм зеркал — кажется, самый простой способ на текущий момент: находим публичное ноунейм зеркало, прописываем его в конфиг-файле докера и пользуемся. Адрес подобного зеркала уже ходит по различным пабликам, но выкладывать его сюда не считаю правильным. Скорее всего под капотом просто прокси, но есть в перспективе риски связанные с безопасностью.- Вероятно, рано или поздно, появится какое-нибудь зеркало от именитой компании, типа Яндекс.Облака - тут риски все такие же, но доверия к держателю зеркала больше.- Поднять свое зеркало (прокси) — этот вариант наиболее предпочтителен в работе. Арендуем VPS (Virtual Private Server) в зарубежном хостинге, устанавливаем туда Nexus, настраиваем в нем docker proxy. Не забываем про ограничение доступа, чтобы прокси был не публичным и добавляем его на наши серверы.Вот полезные ссылки:- https://docs.docker.com/docker-hub/mirror/#run-a-registry-as-a-pull-through-cache- https://help.sonatype.com/en/proxy-repository-for-docker.html- Еще одна опция, когда нужно срочно, внешней VPS-ки нет, но есть свой Container Registry — вручную (с vpn-ом, например) выкачать нужные базовые образы контейнеров себе на ПК, а затем вручную загрузить их во внутренний docker registry (gitlab, nexus, docker registry, etc).Какие еще будут идеи? Пишите в комментариях.
Российский цифровой двойник склада Мы уже рассказывали о цифровом двойнике склада от Huawei. 🫡 Российская компания LogistiX подхватила волну цифровизации и разработала свое решение для построения имитационных моделей в логистике. 
Цифровой двойник LEAD SIM – выстраивает имитационные модели, прогнозирует и находит оптимальные решения. Компания утверждает, что технология экономит десятки миллионов рублей. 
Цифровой двойник помогает:
В проверке эффективности гипотез до принятия решения об инвестициях Найти слабые места и повысить производительность склада, эффективность сотрудников, сократить пробеги техники и снизить издержкиПротестить пропускную способность склада, чтобы быть готовым к неожиданному всплеску спроса 
Технологию уже протестировали и показатели радуют: производительность выросла на 28%, сокращение лишнего персонала – 15%, 58 % – сокращение пути наборщиков и штабелеров. #технологии
"Проект "Феникс". Как DevOps устраняет хаос и ускоряет развитие компании"💬"Столько проблем, с которыми мы сейчас сталкиваемся, вызвано нашими же решениями. Мы нашли своего врага. Это мы сами", - слова героя бизнес-романа, написанного Д.Кимом, К.Бером, Д.Спаффордом (название в первых строках поста).🔥Давно не читал книгу запоем, и вот наконец. Если вы не знакомы с бизнес-романом Э. Голдратта "Цель. Процесс непрерывного совершенствования", в котором на примере вывода из кризиса завода раскрывается теория ограничений систем (ТОС), то сначала прочтите его, а затем "Проект "Феникс". Интеллектуальный экстаз и управленческие инсайты гарантирую.✅️ Обе книги не про производство и IT, а про мышление руководителя. Они показывают, как должен думать управленец и чем заниматься на своем месте. Нет смысла заставлять людей делать одно и то же, но быстрее и больше - надо видеть в работе систему и работать с ней: раскладывать на элементы и улучшать, перестраивая взаимосвязи (менять процессы или создавать новые, переструктурировать проекты, ротировать людей и т.д.). Технологии ТОС или DevOps - лишь частные примеры системного мышления.💯Ситуации в книгах настолько реалистичные, что становится больно от воспоминаний своих аналогичных примеров. "Проект "Феникс" актуален ещё и тем, что показывает всю сложность IT как объекта управления, создающего наше настоящее и будущее. Полезно задуматься над прогнозом от одного из героев книги, действующего CEO:💬"Через десять лет, я более чем уверен, все исполнительные директора будут приходить из IT-отдела. Любой исполнительный директор, до конца не понимающий IT-системы, которые на самом деле заставляют крутиться весь бизнес, - это лишь пустое место, и значит, всю работу за него выполняют другие".
Как безопасно хранить и использовать секреты👉 Под секретами обычно понимают чувствительные данные, вроде паролей, токенов, ключей доступа, которые необходимы для корректной работы приложения, но должны быть скрыты от посторонних глаз. Так, например разработчики не должны видеть пароли от баз данных, в том числе и от стейдж и от продовых. Они, как правило, работают локально и этого им достаточно. Бывают, конечно, исключения. 📎 А еще есть секреты инфраструктурные, то есть те, которые не требуются приложению для работы, но используются для создания и работы самой инфры, связанной с приложением или не очень связанной. ☝️Разделять по этим типам секреты имеет смысл по той причине, что подходы для их внедрения могут отличаться. Например, часто секреты в приложение добавляются уже в процессе деплоя, а хранятся в специализированных хранилищах типа Vault. Если мы говорим про инфраструктурные секреты, то там есть разные подходы:▪️Можно использовать интеграцию с тем же vault для тех инструментов, которые используются для деплоя: helm, helmfile, terraform. Тут непосредственно секреты хранятся в виде пути:
pass: ref+vault://databases/postgres/gitlab#DB_PASSWORD▪️Еще одним решением может быть sops, то есть хранение в зашифрованном виде. ❗️Не столь важно какой подход вы выберите, важно запомнить, что ни при каких обстоятельствах секреты не должны попадать в код, и уж тем более на публичные git репозитории. 👽😬 У нас был кейс, когда данные SMTP (AWS SES) попали в открытый доступ на github. Среагировали мы быстро, не более получаса прошло, но было уже поздно, суточная квота писем (а это 500К) была успешно использована спамерами.
Миллиард частиц в EDEMЗабыл рассказать про новость этого месяца on Altair. В рамках партнерства с Google Cloud они запустили EDEM на инстансе A3 с 4-мя NVIDIA A100. В результате удалось запустить задачи с более чем 1 миллиардом сферических частиц. Также, был и другой, на мой взгляд даже более впечатляющий рекорд: 2.2 миллиарда взаимодействий между частицами за итерацию. Больше всего меня приятно удивило, что Altair HyperMesh CFD не захлебнулся отрисовывать всю эту красоту.https://community.altair.com/community?id=community_blog&sys_id=1a6cd11e97558e50e3b0361e6253af60
Горение жопы огня От осознания того, что чуть ли не 80% своего времени работы над разными проектами (что учебными, что творческими, видео фото и тд) я трачу на БОРЬБУ С КИТАЙСКИМ ИНТЕРНЕТОМ БЛЯЯЯЯЯДа,я знаю что в виду последних событий из России ушли почти все сервисы, не работает инста и твиттер но поверьте, тут все дела обстоят ГОРАЗДО хуже... тут в принципе не работает НИЧЕГО, с горем пополам устанавливаешь нужный сервис\подписку и оно все равно не работает потому что ты в китае 
каждый день состоит из того что выбираешь сервера которые будут хотя бы намекать на то что они рабочие ахаххахахесли что у меня несколько разных впн сервисов, если они и работают то: через раз, один день ок один пиздец, либо слишком медленно. мне скидывают материалы на гугл почту для работы и я просто сгораю каждый раз когда нужно их скачать, посмотреть фильм на русском сайте это стресс, использовать сервисы ИИ это тоже стресс,. в общем если вы живете в нормальной стране где все просто работает как обычно то цените это 
скучаю каждый день по интернету заграницейВ россии кстати мне было незаебно использовать впн для инсты ибо в китае впн нужен для абсолютно каждого сайта если он не китайский. подписки на сервисы тоже можно вроде спокойно приобрести через посредников или тупо крякнуть
Консультируя одну замечательную частную компанию, которая планирует строить новый завод, столкнулся с вопросом, имеет ли смысл нести BIM в экспертизу.Понятно, что экспертиза должна быть государственной, так как там ОПО 1 – 2 класса. И в необходимости самой модели, вроде как, сомненья нет – это инструмент само'го собственника, квалифицированного достаточно, чтобы и ПИР со стройкой контролировать, и далее визуализировать режимы, управлять ТОиРами, техперами и пр.А вот экспертиза... Начал выяснять, кто носил туда модельку. В горно-металлургии – никто. Вообще, говорят, не нужен этот гемор. Вот Росатом носил, вроде как, на блоки трёх АЭС и точно на МБИР – научно-исследовательский реактор. И даже какие-то комменты в ответ получил.😃Потому, оставляя в стороне вопрос о необходимости BIM по сути, задаю следующий: Нужно ли нам в горно-металлургии носить BIMы в экспертизу, кому и какая польза от этого? (макро-экономическая польза тоже подойдёт🧐).П.С. А вдруг у нас на “Пересборке” есть коллеги из ГГЭ?😉
Что такое GreenPlum?Greenplum (GP) это реляционная СУБД, основанная на postgreSQL и имеющая MPP (массово-параллельную) Shared Nothing архитектуру (все ресурсы делятся между серверами и у каждого сервера есть свой набор CPU, RAM и ROM). В общем случае кластер GP состоит из нескольких сегментов, одного мастера и одного резервного мастера.Master instance — инстанс postgres, координатор и точка входа для пользователей. На мастер приходит запрос пользователя, здесь происходит оптимизация и генерируется план параллельного запроса. Затем запрос отправляется на сегменты, после выполнения данные отправляются обратно на мастер и возвращаются пользователю. Master host – сервер, на котором работает master instance;Secondary master instance — инстанс postgres, резервный мастер, включается в работу в случае если основной мастер недоступен;Primary segment instance — инстанс postgres, один из сегментов. Сегменты хранят данные, выполняют с ними операции и отдают результаты мастеру. Segment host – сервер, на котором работает один или несколько сегментов или зеркал (копий сегментов); Mirror segment instance — инстанс postgres, являющийся зеркалом одного из сегментов, автоматически принимает на себя роль primary в случае падения основного сегмента. Архитектура GP обеспечивает горизонтальную масштабируемость хранилища, линейный рост производительности и отказоустойчивость. Подходит для сложных аналитических запросов за счет распределения рабочей нагрузки и параллельной обработки запросов. Подробнее про архитектуру можно почитать здесь #greenplum_tips
SSPM и защита SaaS сервисовВ развитии вчерашнего лонгрида пример нового класса решений, ещё не сильно распространенного на рынке. SSPM призваны решать проблему контроля и безопасности интеграций компаний со все большим количеством облачных сервисов. Когда тот же самый GPT помощник, или онлайн-репозиторий не просто детектируется, но ставится на непрерывный контроль автоматически. Это подразумевает:- правильную конфигурацию;- выявление уязвимостей;- мониторинг и реагирование на инциденты;- контроль утечек защищаемой информации;- управление привилегиями;и многое другоеПодробнее про риски, подходы и модель работы с SaaS здорового человека можно почитать в прилагаемом отчете AppOmni - одного из вендоров SSPM. По данным авторов отчета в части безопасности SaaS на рынке доминирует ложная уверенность в надежности собственной системы защиты. Так 71% из 644 опрошенных оценивают уровень безопасности своих SaaS между средним и высоким, при том, что 79% из них сталкивались с соответствующими инцидентами за последние 12 месяцев. При этом, большинство опрошенных занимаются ручным контролем интеграции SaaS в организацию, и не осуществляют непрерывный контроль текущего состояния сервисов. Число же используемых сервисов и интеграций непрерывно растет.Здесь очень хорошо видна коренная проблема ИБ: непрерывное развитие технологий и гонка за новыми интеграциями порождает небезопасный фронтир, который требует автоматизации. Автоматизация требует инвестиций времени и квалификации, либо деньги и сторонние решения с поддержкой. И вот уже на смену универсальным сканерам, IaC утилитам и system hardening решениям приходят "точечные продукты" под узкопрофильные задачи. Так и живем.#ops #sspm #решение
От эпичного провала до вебинара Ксении Собчак.Делюсь радостью. Вчера на нашей платформе smartwebinar.org прошел вебинар Ксении Собчак. Вебинар посетило несколько десятков тысяч человек. Платформа выдержала. И не просто выдержала… из 30 серверов, которые мы развернули «на всякий случай», чтобы точно выдержать, всю огромную нагрузку перелопатил всего 1 из 30 серверов(!). С таким запасом прочности, думаю мы можем уверенно справляться с вебинарами на 100-300 тысяч человек. Есть желающие?))История падения и взлета:1. Осенью, после удачного вебинара для Мари Афониной на 35 000 человек мы решили идти дальше, к вебинарам на 100 000 человек. Для этого переехали «в облако». Построили систему, когда каждую критичную задачу могут одновременно выполнять много серверов. Больше серверов включил - большую нагрузку выдержал! Кра-со-та!!!.2. Но случился мартовский вебинар Мари Афониной и мы «обосрались». Нагрузка во время массового входа зрителей так быстро выросла, что система не успела автоматически развернуть дополнительные сервера. Система упала на несколько минут, а с ней и доверие Мари к нашей платформе. Стыд и досада сжигали мои внутренности и душу в тот вечер…3. Впереди нас ждал вебинар Ксении Собчак. Из страха вновь ударить в грязь лицом мы сделали много оптимизаций. - научились выполнять ту же работу в 10 раз эффективнее. Т.е. там где требовалось 10 серверов, теперь справлялся 1. - пригласили главного админа из ТОПовой IT-компании, чтобы он проверил нас и подкрутили настройки- научились «валить» свою же систему нагрузочными тестами. И продолжили оптимизировать, чтобы не падать.- развернули сервера заранее, чтобы справиться с резким скачком нагрузки в момент входа пользователейВ итоге мы справились, используя всего 3% развернутых мощностей!Это победа! Благодарю нашу команду, которая сделала все это! Благодарю руководителей из команды Ксении, которые поверили в нас.
