Wall Attention — новый механизм внимания который умеет забыватьСтандартный attention обрабатывает все токены одинаково — каждый запрос смотрит на весь контекст с одинаковым «весом памяти». Исследователи решили это исправить.Wall Attention добавляет обучаемый decay в QK скалярное произведение — каждый канал учится забывать с разной скоростью. Если упростить: модель сама решает какая информация из прошлого важна для каждого типа признаков.Технически это выглядит так:# Стандартный attentionscore(i, j) = sum_n(q[i,n] * k[j,n])# Wall Attention — добавляем decay между позициямиscore(i, j) = sum_n(q[i,n] * k[j,n] * decay(i,j,n))Поддерживает GQA, sliding window, varlen packing, BF16/FP32. При g=0 получаем обычный softmax attention — полная обратная совместимость.📍 Навигация: Вакансии • Задачи • СобесыБиблиотека дата-сайентиста #буст
Посты канала Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение в SillyFeed: единая лента публичных Telegram-каналов со ссылками на оригиналы.
Все самое полезное для дата сайентиста в одном канале.По рекламе:@proglib_advКурс по Ai-агентам:https://clc.to/9L0TqgДля обратной связи:@proglibrary_feeedback_botРКН:https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Посты канала
📚 Curated-гид по foundation models для робототехникиAwesome VLA & WAM — это curated GitHub-репозиторий для тех, кто следит за развитием embodied AI, робототехники и foundation models. Вместо хаотичного списка сохранённых ссылок он собирает исследования по Vision-Language-Action (VLA) и World Action Models (WAM) в понятную структуру.Репозиторий помогает быстрее ориентироваться в области: статьи, обзоры, датасеты, бенчмарки, симуляторы, physics engines и железо разложены по категориям.📍 Навигация: Вакансии • Задачи • СобесыБиблиотека дата-сайентиста #буст
🚀 Почему один join в Polars может работать в 18 раз быстрееБольшинство знает про join, но мало кто думает как именно он выполняется под капотом.Обычно движок делает hash join:— строит большую хеш-таблицу— хранит промежуточные структуры в памяти— всё быстро… пока данные не становятся большими.Но если ключи уже отсортированы, Polars умеет выбрать более дешёвый путь — sort-merge join.Представьте два отсортированных списка:left = [1, 3, 4]right = [2, 3, 4]Алгоритм идёт двумя указателями:- 1 < 2 → двигаем left- 3 > 2 → двигаем right- 3 == 3 → матч 🎯- 4 == 4 → ещё матчНикаких хеш-таблиц. Никаких лишних структур. Просто один линейный проход по данным.Это достаточно быстро, так как:✳️ не строится огромная hash table✳️ меньше расход памяти✳️ последовательный доступ к данным хорошо ложится на streaming executionПо сути: отсортированные данные → более дешёвый алгоритм joinКак включить в PolarsЕсли ваши ключи реально отсортированы:left = pl.scan_parquet("left.parquet").set_sorted("key")right = pl.scan_parquet("right.parquet").set_sorted("key")result = left.join(right, on="key")Но тут важный момент: set_sorted() ничего не сортирует. Если не уверены — делайте .sort().📍 Навигация: Вакансии • Задачи • СобесыБиблиотека дата-сайентиста #буст
Ещё по теме «Технологии»
Технологии🍿 Что скрывает auto(x): новый синтаксис C++23В C++23 появился синтаксис auto(x) и auto{x}. Это не очередной сахар для объявления переменных. На самом деле — это именованная операция, у которой есть точная семантика. 🥳 Что происходит под капотом:auto(x) — это decay-copy: создаётся prvalue того же типа, что и x, но после применения std::decay. То есть:• Ссылки снимаются• Cv-квалификаторы (const/volatile) удаляются• Массивы → указатели• Функции → указатели на функцииconst int& r = 42;auto copy = auto(r); // int, не const int&⚡️ До C++23 для того же результата писали:auto copy = std::decay_t<decltype(r)>(r);❓ Зачем нужна явность? В простых случаях auto copy = r тоже даст int — auto и так делает decay. Но в обобщённом коде важно явно сигнализировать намерение: "я хочу копию, а не прокси или view".Главное применение — защита от UB при модификации контейнера. Классический пример — реализация pop_front:void pop_front(auto& container) { std::erase(container, auto(container.front())); // Без auto() — UB: front() может инвалидироваться // в процессе удаления элементов}Без auto() мы передаём ссылку на элемент, который erase может разрушить до сравнения. С auto() — сначала создаётся копия значения, потом происходит удаление. Безопасно и читаемо.❗️ auto(x) закрывает целый класс subtle-багов в шаблонном коде — там, где случайная ссылка вместо копии приводит к UB или неожиданному поведению.📍Навигация: Вакансии • Задачи • СобесыБиблиотека C/C++ разработчика#константная_правильность
Адвокатские утилиты: Право(Диалог) - чатбот от Правотеха.Адрес: @pravodialog_bot , t.me/pravodialog_botОписание: быстрый анализ арбитражных дел с помощью АI. Отправь номер - получи краткую суть и детали.Стоимость: на старте 15 бонусов (прим.авт. - как это и что, ещё не узнал, узнаю напишу)Комментарий от @Lawyersoft: если кто сейчас по уровню экспертизы готов к созданию инструментария в СОЮ для юристов частной практики и адвокатских кабинетов так это компания ПравоТех. Опыт накопленный за годы работы с КАД Арбитр позволяет им экстраполировать все свои разработки и на СОЮ.Как я смотрю на разработки ПравоТеха? С завистью. (Надо бы со спортивной злостью). В принципе, если они сумеют реализовать тот административный ресурс, что у них есть, то сценарии на российском рынке legaltech могут быть разные. Пока мне наиболее вероятным кажется продажа ПравоТеха Сберу в какой то момент. Тут конечно тоже должны сойтись несколько факторов, а пока конечно можно наблюдать уникальную ситуацию, которую уже увидели аудиторы Счётной палаты РФ, но публично отметили всего несколько строчек:Также в деятельности АС используется программный комплекс «Электронное правосудие» (далее – ПК «Электронное правосудие»), оператором которого является АО «Право.ру», исключительное право принадлежит ООО «Справочно-правовая система «Право.ру» (далее – ООО «СПС» «Право.ру»). В результате базы данных судопроизводства всех арбитражных судов контролируются исключительно коммерческой организацией АО «Право.ру».АС используют ПК «Электронное правосудие» на основании неисключительных лицензий, приобретенных ВАС РФ по государственному контракту от 2 октября 2012 г. № ГК ВАС-А-И39‑12Яндекс определённо постарается держаться в стороне от политических рисков работы с СОЮ и скорее будет сосредоточен на корпоративном секторе.Ну а я по прежнему буду завидовать, потому что мне 40 млрд. на всякую антиконституционную ересь никто не даст.#адвокатские_утилиты
Я ещё хочу, чтобы кто-то описал роль полнейшей деградации поиска Гугла в быстром освоении ИИ обычными пользователями. Я ещё в 2022 из-за этого начала искать через Perplexity, а теперь при любых конкретных вопросах слышу от друзей "Спросим у чатажпт".
Трехщелевой пламегаситель-платфлома под прибор на быстросъеме для карабинов на базе AR платформы.Резьба 1/2"-28 UNEF.Покрытие Cerakote H-series Black Graphite
Кризис реальности: как дипфейки незримо меняют политику К феномену дипфейков привыкли уже практически все опытные пользователи сети. Если даже Д. Трамп на своей странице в соцсетях публикует ИИ-генерацию, то граница между вымыслом и реальностью становится все незримее. Эксперты и аналитики совсем недавно опасались того, что дипфейки будут использоваться для манипулирования политическими процессами, и эта угроза никуда не делась, однако куда более опасной стала эрозия политической реальности как таковой. Если кругом обман, а отличить дипфейк от реальности становится все труднее, то наиболее энергосберегающая стратегия для рядового пользователя — не верить ничему.Моя колонка специально для АК
🇨🇳 Чипы ИИ. Участники рынка. КитайHuawei ожидает, что выручка от ИИ-чипов в 2026 году вырастет, минимум, на 60%Спрос на отечественные чипы для ИИ в Китае продолжает стремительно расти, и Huawei оказалась в центре этого тренда. По данным источников Financial Times, китайская компания ожидает, что выручка от продажи её ИИ-чипов в 2026 году достигнет $120 млрд, что означает рост не менее чем на 60% по сравнению с $75 млрд в 2025 году.Драйвером роста стал новый процессор Ascend 950PR, запущенный в серийное производство в марте 2026 года. Компания также планирует выпустить его улучшенную версию 950DT в 4K2026. По оценкам, Huawei может занять до 50-60% китайского рынка ИИ-чипов уже в 2026 году.Этот успех в значительной степени связан с общемировым бумом вокруг ИИ, но также нельзя недооценить активную поддержку компании Huawei со стороны китайского государства в рамках политики импортозамещения. В частности, власти Китая ввели ряд мер, стимулирующих переход на китайские решения, включая прямые субсидии, компенсацию до 50% затрат на электроэнергию для дата-центров, использующих китайские чипы, и прямое указание госкомпаниям приоритизировать продукцию Huawei при закупках. Госсектор также закупает отечественное, например, госкомпания China Mobile. С другой стороны, сохраняющиеся экспортные ограничения США на поставки передовых чипов Nvidia также подстегнули внутренний спрос на альтернативы Huawei.Крупный китайский бизнес, включая интернет-гигантов ByteDance, Tencent и Alibaba, а также компании, предоставляющие облачные и GPU-сервисы, активно наращивают закупки чипов Ascend. Аналитики называют DeepSeek новым катализатором спроса. Версия языковой модели V4, ориентированная на бизнес, была протестирована и оптимизирована специально для работы на оборудовании Huawei. Успех Huawei демонстрирует курс: китайская IT-индустрия стремится перейти от использования решений Nvidia к созданию собственной суверенной экосистемы ИИ-вычислений. //✓ подписаться на канал, ✓ наши новости можно читать также на MForum и в ВК
Вопрос с генерациями решен окончательно.Сегодня в одном из документов продакшн агентства увидела прекрасный пассаж, который сводится к следующей мысли: все что сгенерировано - предоставляется по соответствующей лицензии того сервиса, который был использован для создания результата генерации, все доработки, которые были сделаны людьми - отчуждаются, а еще некоторые сгенерированные элементы не охраноспособны исходя из ст. 1259 ГК.Уважаемые коллеги считают, что при создании видео-генерации результат перемножения матриц нескольких ИИ сервисов можно эффективно отделить друг от друга (теоретически, если финал это набор кадров из разных генераций - возможно, но если речь идет об улучшении видео - проблематично), чтобы определить судьбу использования каждого микро-фрагмента при том, что в целом сделан вывод, что некоторые из таких фрагментов могут быть неохраноспосбными.Вот и думай головой, Золушка, отделяй нагенеренное охраноспособное от нагенеренного не охраноспособного и не мешай с человеческими доработками.
Большая ошибка была верить в эти соцсети и мессенджеры. Заманили удобством, собрали биг дату, продали её вместе с нами корпорациям и правительству. Может назад, может вернемся на форумы? PHP BB 🤗
📱 Django Ninja — быстрая альтернатива DRF для APIФреймворк для тех, кто хочет Django-экосистему, но без медлительности DRF.Pydantic-типизация, async/await, автогенерация OpenAPI и скорость в 2-3 раза выше. ORM, аутентификация и админка работают как обычно.⛓ Читать статьюtags: #статья➡ Python Developer | 📲 MAX | ИИ-Бот
✨✨Сегодня 4 мая — День «Звёздных войн». Для меня это повод напомнить себе и вам: производство изделий из пластика — это почти искусство. А в каждом искусстве есть светлая и тёмная сторона.❤️ Светлая сторона: сырьё стабильное, режимы точные, брака нет. Технолог чувствует материал, оснастка надёжная, станок работает без сбоев.😈 Тёмная сторона: паспорт идеальный, а сырьё — 🤬. Коробление возвращается, как ситхи. Термопара горит в самый неподходящий момент. Опытный технолог ушёл, заменить некем.🗡Мы с вами, как настоящие джедаи, обязаны придерживаться светлой стороны.Стабильность, предсказуемость, качество — наша Сила.Пусть тёмная сторона остаётся в кино. А на ваших заводах — только светлая.✨✨ Да пребудет с вами Сила