Борис_ь с ml

AISEC map#иб_для_mlМой товарищ Артем Семенов (pwnai) недавно выпустил замечательную дорожную карту развития специалиста по безопасности ml. Она наполнена упоминаниями различных навыков, инструментов, нормативных документов, важных событий и просто полезными ссылками по теме. Проведена градация по уровням сложности, а также по категориям знаний - чисто ml, чисто безопасность, средства безопасности ml и атаки/пентест ml. В общем, база.P.S. Мне даже довелось внести вклад в развитие этого документа)ИсточникКарта

ИИ/ML-специалисты в ИБ#ai #hrАналитики МТС RED выяснили, что спрос на ИБ-специалистов, имеющих навыки работы с технологиями искусственного интеллекта, в 2023 г. вырос на 30% по сравнению с предыдущим годом, а с 2020 г. число таких вакансий увеличилось в 3,5 раза. В 2024 г. тренд продолжается – по итогам I квартала 2024 г. навыки работы с ИИ стали требоваться в два раза чаще, чем в начале 2023 г.Чтобы сделать какие-то свои выводы, решил сделать пару графиков. На первом просто визуализация по вакансиям как есть, а вторая - корреляция данных по спросу на ИБ-технологии с данными по спросу на ml технологии. Если квадратик темный - то значит динамика одного набора чисел не связана с динамикой другого, и наоборот. Тут в данном случае можно сделать косвенный вывод о том, например, что промпт-инжиниринг больше всего нужен вкупе с навыком анализа матриц MITRE. А классический ml наоборот, слабо коррелирует с данным навыком. У NLP топ 3 варианта скиллов, которым он сопутствует, по порядку убывания: поиск уязвимостей, автоматизация СЗИ и ИБ.Жаль правда, что нигде не опубликована методология этого исследования.источник 1, источник 2

Меры защиты информационных систем с ИИ#иб_для_mlПоявился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах".Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации. Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления). Применение гардрейлов и регистрация событий инцидентов КБ GenAI являются обязательными мерами при эксплуатации ИИ. Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой. Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек. Раздел "3.17. Обеспечение защиты информации при использованииИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939)Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1). 🚪Объектами ЗИИ.1 являются инфраструктура и ПО разработки системы ИИ (под ней понимается подготовка наборов обучающих данных, обучениеи тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО.➖Основные установленные ЗИИ.1 меры:🔘выделение инфраструктуры разработки системы ИИ от иной инфраструктуры разработчика в изолированный сегмент🔘отказ от небезопасных форматов файлов (pickle) и применение безопасных (onnx, protobuf)🔘в приоритетном порядке должны применяться наборы данных из доверенных источников (например, от гос. органов)🔘проверка данных с помощью антивируса🔘для входной модели ИИ необходимо проводить анализ уязвимостей. В отношении выявленных у модели уязвимостей необходимо предпринять меры их нейтрализации.➖Основные меры усиления из ЗИИ.1:🔘физическая изоляция среды разработки системы ИИ🔘хранение данных обучения в зашифрованном виде🔘состязательное обучение🔘внедрение механизмов ограничения допустимых диапазонов данных, санитизации входных данных🔘должно быть реализовано тестирование на устойчивость к промпт-атакам🚪Объектами ЗИИ.2 являются ПО реализации технологии ИИ (модели ИИ), API, агентов, систем цензуры, обученная модель МО и ее расширения (LoRA, RAG и др.), используемая для эксплуатации инфраструктура вне оператора ИИ➖Основные установленные ЗИИ.2 меры:🔘фильтрация входных и выходных данных (гардрейлы)🔘обеспечение регистрации событий безопасности, связанных с запросами и ответами к системе искусственного интеллекта🔘мониторинг и квотирование количества запросов к системе искусственного интеллекта🔘проведение анализа уязвимостей и принятие мер по их устранению, осуществляемое оператором совместно с разработчиком систем ИИ➖Основные меры усиления из ЗИИ.2:🔘выделение системы ИИ в отдельной изолированный сегмент🔘обеспечение целостности модели ИИ с помощью сертифицированных шифровальных (криптографических) СЗИ

Когда увидела первые части этого дэшика на скринах, не поверила, что это DataLens. А это он!У нас закончился курс по осмысленным дашбордам, и один из участников, Николай, очень активно применял Claude для выполнения домашек. Я этому не учила, но получалось очень прикольно! Хочу показать его финальную работу — дэш сделан в DL, но полностью через чарты в editor, то есть все они накодены на JavaScript.Во-первых, я просто в шоке, что так вообще можно, очень круто. Николай показывал, как он общался с Claude, и там прям по шагам: от "как мне сделать X" до "куда что вставить" и т.д. Во-вторых, таким образом можно собирать очень классные кастомные визы в дэшах, при этом все остается в BI-системе, чего не скажешь про просто навайбкоденные HTML-дэши.Из минусов — теряется возможность пользоваться каким-то встроенным функционалом DataLens, типа кросс-фильтрации. Наверное, это тоже можно как-то закодить. Такое сложно поддерживать: если нужно что-то поменять, есть вероятность, что придётся слишком много переделывать. И еще что интересно замечаю в таких дэшах (не только тут) — нужно гораздо больше внимания уделять UX-составляющей: как выглядят кнопки, переключатели и т.д. Сейчас на дэшике кнопки выглядят одинаково, но часть из них работает как табы, а часть — для сортировки; местами не хватает легенд. То есть такого рода интерфейсные штуки нужно тоже продумывать самостоятельно и заранее.Короче, захотелось поделиться, что так вообще можно. Мне кажется, с хорошей комбинацией и балансом между базовыми чартами и накоденными это может работать очень круто.

3 дня люблюсь со своим отвалившимся иностранным сервером. Хочется сделать надежно и чтобы этого решения хватило надолго. Перелопатил кучу мануалов и пришёл к выводу о том, что при текущей политике Россию ждет большой технологический исход, молодежи и IT структур. Возможно, когда-нибудь и кто-то ответит за то, что сейчас происходит. Скорее всего, найдут особо охеревшего стрелочника, типа Тимура Иванова, расхитителя Минобороны. Однако пока долболюбы побеждают и качество противодействия на той стороне возросло на порядок. У меня когда-то была IT студия полного цикла, плюс я немного кодил в детстве, а потому слегка в теме, особенно с помощником в виде ИИ. Блокируются провайдеры DNS доменов третьего уровня, где возможна анонимная регистрация пользователя. Блокируется трафик по паттернам. Доступ к иностранным языковым моделям сильно замедляется, без этого разработка проектов на сегодняшний день нереальна. Блокировка Тг. Телега всегда использовалась как платформа для тестирования гипотез, не нужен пользовательский интерфейс. Массовые гипотезы - основа венчурного финансирования отрасли, ограничения больнее всего бьют туда. Всерьёз обсуждаются меры лишения аккредитаций IT компаний за пользование иностранным ИИ, другой основой системной разработки сегодняшнего дня. В общем, из-за потери влияния зомбоящика для нас всех строят большой чебурнет. Сегодняшняя технологическая отрасль такова, что для начала перетока мозгов достаточно не запрета, а простого ограничения скорости обмена информацией. Полностью закрывать доступ сложно и дорого, это несоразмерная результатам мера. В первую очередь, свободный доступ к информации обретут наиболее востребованные сотрудники, не зря в Европе существует виза цифрового кочевника. Задумался. Похоже, история повторяется. Несколько десятилетий назад была огромная держава, мировая фабрика мозгов. Инженеров с минимальной зарплатой было как собак нерезаных, такое количество не могла себе позволить ни одна страна. На развале СССР и массовом исходе голодных талантов мировая экономика совершила технологический рывок. Выходит, что технологический прогресс двигают долболюбы, от которых просто хочется держаться подальше.

На всякий случай скажем, что разрешаем вам делать с промптами, которыми мы делимся на канале, что хотите. 🙂Но тема интресная. Что вы думаете о "воровстве промптов" у "нейрокреаторов"?____@prcynews

Это очень смешно. Обещали, что 1 апреля перестанет работать Телеграм. А у меня не работает Макс🤣🤣🤣 Не на ту кнопку что-ли нажали?

Ещё одна интересная фича Claude - он теперь умеет писать код сам. В смысле, вообще сам, без постоянных запросов на подтверждение. Но при этом без тотального убийства всего, что есть у вас на компе (по крайней мере, он старается этого избежать, а там уж как пойдёт ).Реализовано через новый режим разрешений Auto mode в Claude Code. Обычно агент просит аппрув буквально на каждое действие: Запустить команду? Подтвердите. Открыть файл? Подтвердите. Возможно, я утрирую, но логика такая. Сделано это не из вредности, а для безопасности. Но проблема в том, что это убивает всю суть агентской разработки.Да, ограничение можно обойти флагом dangerously-skip-permissions, который убирает все проверки. Но его название намекает на последствия, поэтому не является инвестиционной рекомендацией. А Auto mode - это некий "средний путь" от самой компании.Работает так. Перед каждым действием агента запускается отдельный классификатор, который оценивает его на опасность. Безопасные действия проходят автоматически. Потенциально опасные (массовое удаление файлов, вытаскивание чувствительных данных, выполнение какого-то не самого надёжного кода) - блокируются, и агент ищет другой подход. Если агент раз за разом упирается в блокировки, то только тогда вам прилетает запрос.Вообще, агентская разработка - это всё-таки про полное делегирование кодинга ИИшке. На примере интервью фаундера OpenClaw я разбирал, что вся архитектура разработки меняется из-за этого. Но до сих пор получалось, что ИИ-агенты уже спокойно могут делать всё делать технически, но спотыкаются о безопасность и риски. Понятно, почему так происходит, но в чём тогда вообще прикол и смысл?Вот Claude пытается нащупать некую золотую середину. Anthropic не просто так хвастается, что люди уже почти не пишут код в их компании. Похоже, чуваки реально этим горят, верят в это и сами активно внедряют - и внутри компании, и в продукте.Несмотря на все (вполне ощутимые) риски и проблемы, очевидно, что за агентской разработкой будущее. Отрицать это могут только совсем отбитые луддиты и технопесы. А значит, кто быстрее выкатит для этого среду и инструментарий - тот и заберёт этот сегмент.Фичизм

ИИ делает нас самодовольными мудакамиЧуваки из Стэнфорда взяли ChatGPT, Claude, Gemini, DeepSeek и ещё несколько моделей (всего 11) и протестировали их на сабреддите r/AmITheAsshole. Это ветка Reddit, где юзеры описывают некий конфликт со своим участием и спрашивают: "Am I the asshole?" (В этой ситуации мудак - я?). А сотни и тысячи других пользователей голосуют и аргументируют.Но (важный момент) исследователи взяли только те посты, где вердикт был однозначный - топикстартер явный мудак, точно не прав, и об этом есть твёрдый консенсус сообщества.Далее они посмотрели, как ИИ будут отвечать на topic-start-вопросы из r/AmITheAsshole и сравнили их ответы с реальными ответами людей с Reddit. И угадайте что? Абсолютно все модели из выборки одобряли позицию топикстартера гораздо чаще, чем люди (в среднем - на 49% чаще). Даже когда речь шла о совсем жёстких, аморальных и даже незаконных кейсах, где был чёткий консенсус "Юзер = эталонная сволочь", ИИшка частенько включала оправдательный режим.Дальше была вторая часть эксперимента. Взяли 1600 человек и выдали каждому какой-то конфликт - либо из того же r/AmITheAsshole, либо попросили поделиться их реальной ситуацией. К примеру:"Ты два года скрывал от девушки, что безработный" или "Ты не нашёл мусорку и бросил пакет на улице". А теперь пообщайся с ИИшкой об этом.Но ИИ были разные. Половине выборки дали "льстивую" модель, второй половине - обычную, нейтральную.Те, кто общался со льстивым ИИ, были на 25% уверенней в своей правоте, менее готовы извиняться, и вообще, вели себя борзо, дерзко и самоуверенно. Эти выводы сделали из тех самых переписок с ИИ.Теперь к выводам (они важные). ИИ не просто любит льстить и угождать юзеру (причём в любых ситуация - когда уместно, и когда не очень), но ещё и очень убедительно это делает. И это не просто так: лесть отлично стимулирует вовлечённость, поэтому у ИИ-разработчиков просто нет мотивации её снижать.Сами исследователи рекомендуют хак: попросить ИИ начать ответ с фразы "подожди минутку". Это включает сомнение и активирует более критический режим.С другой стороны: ИИ не похвалит - никто не похвалит. Поэтому сделаем так. Вас буду хвалить я: "Вы у меня самые лучшие, талантливые, целеустремлённые и умные подписчики!" А с ИИшками давайте... ну.... покритичнее что ли. Чтобы они совсем от рук не отбились.Дизраптор

🚩 OpenFeature для .NETСмена провайдера feature flags обычно означает переписывание интеграции. OpenFeature это открытый стандарт под крылом CNCF, который даёт единый vendor-agnostic API: меняете провайдера, меняете одну строчку, код не трогаете.Установкаdotnet add package OpenFeatureТребования: .NET 8+ или .NET Framework 4.6.2+Минимальный пример:await Api.Instance.SetProviderAsync(new InMemoryProvider());var client = Api.Instance.GetClient();bool v2Enabled = await client.GetBooleanValueAsync("v2_enabled", false);if (v2Enabled){ // новая логика}Флаги с контекстомПередавайте данные о пользователе/запросе для контекстно-зависимых решений:// ГлобальноEvaluationContext ctx = EvaluationContext.Builder() .Set("region", "us-east-1") .Build();Api.Instance.SetContext(ctx);// Или прямо в вызовеbool flagValue = await client.GetBooleanValueAsync( "some-flag", false, reqCtx);Логика вокруг вычисления флагаДобавляйте поведение на любом этапе: до, после, при ошибке, в любом случае.// Глобально для всех вызововApi.Instance.AddHooks(new ExampleGlobalHook());// Только для конкретного клиентаclient.AddHooks(new ExampleClientHook());Встроенный LoggingHook пишет детальные логи через Microsoft.Extensions.Logging.Реакция на измененияApi.Instance.AddHandler( ProviderEventTypes.ProviderReady, (eventDetails) => Console.WriteLine(eventDetails.Type));Подписывайтесь на ProviderReady, ProviderError, ProviderConfigurationChanged.Dependency Injection (экспериментально)dotnet add package OpenFeature.Hostingbuilder.Services.AddOpenFeature(featureBuilder => { featureBuilder .AddInMemoryProvider() .AddHook<LoggingHook>();});Поддержка domain-scoped провайдеров: разные провайдеры для разных частей приложения.Несколько провайдеров одновременно с разными стратегиями:- FirstMatchStrategy — первый ненулевой результат- FirstSuccessfulStrategy — первый успешный, игнорируя ошибки- ComparisonStrategy — параллельное выполнение + сравнение результатовvar multiProvider = new MultiProvider(providerEntries, new FirstMatchStrategy());await Api.Instance.SetProviderAsync(multiProvider);Собственный провайдер:public class MyProvider : FeatureProvider{ public override Metadata GetMetadata() => new Metadata("My Provider"); public override Task<ResolutionDetails<bool>> ResolveBooleanValueAsync( string flagKey, bool defaultValue, EvaluationContext? context = null, ...) { // ваша логика } // + ResolveString, ResolveInteger, ResolveDouble, ResolveStructure}Для ASP.NET Core один раз настроили контекст на входе запроса, и он автоматически попадает во все вычисления флагов в рамках этого запроса:Api.Instance.SetTransactionContextPropagator( new AsyncLocalTransactionContextPropagator());📍 Навигация: Вакансии • Задачи • Собесы🐸 Библиотека шарписта#sharp_view

Весь день наблюдаю, как люди удивляются качеству кода в слитой CLI'шке Claude Code.Да, котят, чтоб зарабатывать миллиарды, вам не обязателен код по заветам Лайнуса, Кнута или Ритчи.

Постоянные читатели знают, что в последнее время я испытываю сильную любовь к Дании и я даже регулярно шучу что Дания - это Германия не курильщика, потому что им удалось построить отличное социальное и экологическое государство без ущерба для экономики. Но…

Теперь плюс 4 тыс шагов каждый день 😂😂😂. Погода шикарная!Учусь выгуливать сразу двоих. Пока рук не хватает, но стратегию подобрала. Осталось отработать.