SILLYFEED

Data Science и аналитика — страница 14

Лента темы

Короче, нашла
Короче, нашла тут давеча восхитительные штуки для data visualization - что еще можно юзать помимо таблы.✅ AmChart - очень хорошо выглядящая штука, но нужно быть знакомым с JavaScript. Выглядит реально очень круто, особенно хороши интерактивные карты. Но есть большой минус: платная.✅ Hohli - очень простая графикоделка в стиле гугла. Бесплатная, вариантов графиков довольно много, но выглядит не вау-круто-обалдеть.✅ DataWrapper - приятно выглядит, есть цветовая палитра, очень просто в освоении, не требует оплаты и даже регистрации.✅ KnightLab - нежно обожаемые ребята, от которых я активно юзаю Таймлайн, но еще у них есть куча других полезных в журналистике/визуализации штук. Все бесплатно, без регистрации и довольно просто в освоении.#короче_разное
Светлана Шишкина. Как жить лучше
Нет, ну правда, наша банковская система впереди планеты всей. Теперь вот хотят сделать персональные QR-коды, чтобы оплата за покупки проходила еще быстрее.То есть: у каждого человека QR-код будет свой, уникальный. И сканировать его будет продавец, а не наоборот, как сейчас происходит. Уверена, что многим сервис "зайдет", и будет еще меньше поводов носить с собой физическую банковскую карту.Нюанс тут только один: еще больше контроля за финансовыми потоками (потому что все платежи пойдут через единую систему СБП). А значит, все ближе то время, когда налоговая начнет задавать вопросы о несоответствии расходов и доходов.Типа, как так, вы ежемесячно тратите на покупки в 2 раза больше, чем декларируете доходов? 🤨 Объяснитесь, товарищ.
StringConcat - разработка без боли и сожалений
К посту про SQL. Пока лазил на сайте Postgres Professional, наткнулся ещё на одну интересную книгу — «Путеводитель по базам данных».Что внутри:— Какие структуры данных используются для построения СУБД— На каких алгоритмах построены распределённые СУБД— Репликация и бекапы— Журналирование— Управление доступомДля хардкорщиков, сохраняющих петабайты транзакций в наносек, будет не очень интересно, а вот для спецов среднего уровня и выше или для тех, кто хочет систематизировать знания и закрыть пробелы, — самое то.#полезнота
провода+болота
встретила нового интеллектуального краша.Эндрю Илиадис удивительным образом ходит по кромкам тех же сюжетов, что интересны и мне в современном витке моей деятельности:- семантика и «генеративность» знания в интернете: наконец начала разбираться с его помощью в том, как возникли идеи про схематизацию знания в том виде, как это принято в современных интернетах. по ссылке — книга, но для введения можно прочитать статью (1): там про то, как формируется семантическая инфраструктура знания в формате вики, какие онтологии для этого есть и как они устроены. статья хороша тем, что описывает всё это критически, и показывает «работу данных», а не просто «привет, алгоритмы это вот так».- подробное исследование того, как формируются данные для образования и студентов: археология коробочек, с которыми «должны» быть соотнесены знания (2). заодно понятно, как показывать студент/кам, что такое данные и из чего они состоят (а не богом данные).- также Илиадис интересовался моим любимым Симондоном, и даже написал статью про информационные онтологии и индивидуацию у него (3). там очень крутое объяснение того, почему с теорией информации по Винеру есть проблемы: она предполагает, что точно известно, где источник, а где приёмник информации. а вообще-то всё устроено куда сложнее, и границы всегда конкретизируются в процессе коммуникации.- а когда-то моё знакомство с ним началось с изучения этого (4) текста-введения про то, что такое критические исследовани данных (мой любимый как препода курс). прекрасная база, библиография — 🤍🤍🤍.- на десерт (сама ещё только начала) — диссертация про онтологию, Вавилонскую башню и как мы дошли до данных (5). даже оглавление читается как детектив (как же хочется времени в сутках, чтобы толком прочитать этот опус магнум). 1) Ford, H., & Iliadis, A. (2023). Wikidata as semantic infrastructure: Knowledge representation, data labor, and truth in a more-than-technical project. Social Media+ Society, 9(3), 20563051231195552.2) Iliadis, A., Liao, T., Pedersen, I., & Han, J. (2021). Learning about metadata and machines: Teaching students using a novel structured database activity. Journal of Communication Pedagogy, 4, 152-165.3) Iliadis, A. (2013). Informational ontology: The meaning of Gilbert Simondon’s concept of individuation. communication+ 1, 2(1).4) Iliadis, A., & Russo, F. (2016). Critical data studies: An introduction. Big Data & Society, 3(2), 2053951716674238.5) Iliadis, A. J. (2016). A black art: Ontology, data, and the Tower of Babel problem (Doctoral dissertation, Purdue University).
Саша Капустин про продукт, управление людьми и не только.
Давайте практичное, раз суббота. Я выше говорил про профилирование. Так вот у нас как-то возникла проблема: конверсия в платеж иногда ВНЕЗАПНО падает. Ну прям совсем внезапно. И любая разборка «а чего так» превращалась в обойти ХХХ команд, понять кто то что запустил ну и в долгое и медленное копание аналитиками ситуации. Что в итоге мы сделали (я прям полгода за это пушил)?Мы разделили всех пользователей по ОГРОМНОМУ количеству признаков: число заказов, новые/нет, соц дем, девайс и еще тысячи их. И сделали инструмент, который показывает, на каком сочетании этих «фич» пользователей самое большое падение. Мы стали сразу понимать кто полетел вниз, как выглядят эти пользователи и стало проще отвечать почему :) Касались карточки до, андроид? Так что там выкатилось на карточке?… и тд. Вот вам и тонкое профилирование и понимание, какая группа пользователей вероятнее пострадала (моделька по факторам показывает на каком сочетании отвалилось больше людей же). Вот такой инструмент круто помогает понять тонкие колебания внизу воронки заказа, которая так важна.
АгроДиТи
Привет, ребята! Пока мы завершаем очередной осенний спринт, предлагаем почитать о цифровых двойниках мандаринов (особенно если в поиске самых сладких)🍊◼️Авторы статьи "An agricultural digital twin for mandarins demonstrates the potential for individualized agriculture" из Nature Communications пишут, что развитие цифровых двойников может способствовать переходу от точного земледелия к индивидуализированному: Показана более высокая прогностическая способность на уровне отдельных деревьев. 📊 Исследование проводили на региональном масштабе острова Чеджудо, между садами и между деревьями внутри сада. Конечно, брали хороший массив данных о почвах, погоде, с/х практиках и качестве урожая.◼️Еще один удачный пример использования открытых данных: когда исследователи перестали получать информацию напрямую от фермеров, воспользовались открытыми данными ежегодных обследований химических свойств почвы для разных типов землепользования от RDA.🤖Рекомендуем посмотреть — по ссылочке авторы поделились демонстрацией данных ЦД:
выберите сад (Iab), кликните submit, ниже выберите пятое дерево (Iab-5) и снова submit. Можно посмотреть на 8 панелей: Карта, Почва, Погода, Сельскохозяйственная практика, Распределение содержания сахара, Распределение размера плодов, История содержания сахара и История размера плодов. К примеру, Панель Почва отображает процентиль каждого компонента почвы (доступный фосфат, обменный калий, кальций и магний, кислотность почвы, органическое вещество, электропроводность) по сравнению с другими областями острова. Она также показывает, соответствует ли наблюдаемый уровень рекомендациям RDA.
#АгроДТ_просвещает
Чартомойка
Сайт с 2500+ палитрами для визуализации данных. Это все для питона, можно с помощью библиотеки pypalette использовать в две строчки кода. Но никто не мешает и забрать цвета в любой другой проект. https://python-graph-gallery.com/color-palette-finder/А вот тут ещё ссылка на то, как это прикрутить в Tableau.
Продакт в здании
Про важность и пользу дата драйвен подхода уже знают все, поэтому захотелось рассказать, как я анализирую данные ❔❕Продуктовая аналитика занимает около 20% моего рабочего времени. Минимум раз в неделю я смотрю в Amplitude воронку открытия счёта по всем шагам (экранам) за текущую и прошлую неделю. И эту же воронку с разбивкой по типам пользователей. Чаще всего у меня это типы бизнеса клиента (фрилансер или компания), но бывает, что нужно сгруппировать по маркетинговому источнику или другим параметрам.Я сравниваю текущую воронку с прошлым периодом. Иногда смотрю еще линейный общий график конверсии с течением времени, там можно увидеть закономерности по дням недели/месяца, сезонам.Если вижу на каких-то шагах воронки отвал больше обычного - погружаюсь в данные других событий этого шага. Например, смотрю, приходили ли какие-то ошибки, нажимал ли пользователь на кнопки, инпуты или подсказки перед тем, как уйти. То же самое, если на каком-то этапе были изменения, или нужно углубиться в результаты AB теста.Если данных по событиям недостаточно, я смотрю запись пользовательской сессии. На них видно курсор пользователя, вводимые данные (все персональные данные заблюрены, но даже так это часто бывает очень полезно). Можно понять, что именно вызвало у человека сложности. Это прям Game changer, очень кайфую от инструмента! 😍Ещё полезно смотреть аналитику дожимных коммуникаций (сколько и на каких шагах отправили писем, смс или пушей, сколько клиентов открыли и перешли в приложение). И конечно, оценки, отзывы пользователей про онбординг. У нас отдельные опросы для отвалившихся и открывших счёт пользователей.Результаты аналитики важно обсуждать с заинтересованными людьми из нашего и других отделов, чтобы они были в курсе происходящего, могли поделиться своими идеями и мы вместе обсуждали планы по улучшению процесса. Сейчас мы как раз меняем формат таких встреч и я напишу, что из этого получится ✨#продуктовые_истории
Дмитрий Кузьмин | Инженерия данных
#кейсы⚙️ Друзья, хочу поделиться с вами обзором моего первого ETL пет проекта. Делал его из собственного интереса и практической необходимости.✉️ Кейс описывает подключение к почтовому серверу, поиск и извлечение данных от магазинов, преобразование данных и их загрузку в БД для хранения и визуализации.P.S. Анимация под заголовком статьи погружается не сразу.Навигация по другим материалам группы.
мама, я продюсер
под капотом алгоритмов спотифая [часть 1]наткнулся на интервью одного из отцов «грозно-умных» алгоритмов спотика Гленна Макдональда, в котором он вывалил довольно много любопытной инфы о том как устроена основная фича сервиса сегодня. есть, что пожевать так что делю на несколько частей.какие действия тщательно отслеживает система? что вы слушаете: сервис записывает, какие треки, альбомы и плейлисты юзер слушает, а также жанры музыки, к которым он обращается. этот набор данных позволяет платформе строить первичное представление о музыкальных вкусах слушателя. как долго вы слушаете: сервис отслеживает, как долго юзер слушает каждый трек — слушаете ли он его полностью или переключается на другой трек раньше. например, если пользователь слушает трек только несколько секунд перед тем, как пропустить его, это сигнал для спотика, что песня ему не понравилась. повторное прослушивание: платформа отслеживает, как часто юзер возвращается к определенным трекам. если он часто ставит одну и ту же песню, это считается сильным индикатором того, что она ему действительно нравится (спасибо, кэп). пропуски треков: система отслеживает, какие треки юзер пропускает и насколько быстро. это помогает исключать музыку, которая ему не интересна из будущих рекомендаций. добавление в плейлисты: когда юзер добавляет трек в свои личные плейлисты, это указывает на его явный интерес к этой песне. спотик использует эту информацию, чтобы лучше понимать, какие песни слушателю особенно дороги. взаимодействие с радио и рекомендациями: сервис также отслеживает, как юзер взаимодействует с встроенными функциями рекомендаций, такими как Spotify Radio или Discover Weekly. система анализирует, как часто он слушает предложенные треки и какие из них его интересуют.как анализируются сами аудиофайлы? энергия трека: спотифай анализирует уровень интенсивности трека. например, динамичная песня с громкими ударными и быстрой мелодией будет иметь высокий уровень энергии, что может быть интересно для тех, кто любит активную музыку. танцевальность: платформа определяет, насколько трек подходит для танцев. этот показатель учитывает темп, ритм и другие элементы, которые делают трек «танцевальным». интересно, что в данном контексте взято за основу танцевальности. валентность (настроение песни): этот параметр показывает, насколько трек звучит позитивно или грустно. треки с высокой валентностью звучат более радостно, а с низкой — меланхолично (спасибо, кэп). темп: сервис также анализирует скорость песни, измеряемый в бпм (спасибо, кэп), что помогает рекомендовать музыку с похожим ритмом.как это выглядит в коде показывал ранее здесь. на самом деле параметров гораздо больше, алгоритм оценивает и громкость, и длительность, и много чего еще. интервью действительно интересное т.к. перс был частью стартапа по музыкальной аналитике The Echo Nest. начиная именно с его покупки спотифаем и начались серьезные пляски с реками в сервисе 10 лет назад. кому не лень посмотрите сами, ссылка выше. кому лень подождете следующих постов.
PPCкантроп|Ме́ркетинг и ололология
РРРРРРЕБЯТУЛИКИ, ловите оффлайн версию Букварикса 3.0. База там не сильно обширная, всего 162 ГБ, актуальность - 2018 год. "Если это такое древнее говно мамонта, начлена она мне?" - спросите вы. А я отвечаю - мне в дороге надо часто работать без тырнетика, потому и иметь на ноуте такую базу лучше, чем не иметь ничего вменяемого вообще. Спасибо Диме Тумайкину, что сохранил у себя этот раритет и положил на диск эту версию.
Ленар Шагиев. Канал
Дашборд здоровья 🏥Меня хлебом не корми, дай что-нибудь потрекать, графики построить.В работе много внимания уделяю observability сервисов, которые мы разрабатываем. Чтобы видеть на дашборде текущее состояние и отслеживать разные изменения, делаем это в виде графиков.Примерно так же стараюсь оцифровывать и метрики себя. Вес, сон, тренировки и прочее. А ещё у меня есть графики результатов анализов.Одно дело, если видишь какое-то разовое превышение значений, и совсем другое, когда показываешь врачу график за несколько лет, где виден определённый тренд. Получается наглядно отследить, как меняется здоровье и предположить, с чем что связано. Однажды я обсуждал с бывшим руководителем Яндекс Здоровье, что хорошо бы превратить его в сервис отслеживания за состоянием организма. Но они так и не пошли в эту тему.А потом появилось замечательное приложение - ornament.healthВообще не представляю, как без него жить. Подсказывает, когда какие анализы сдавать в моём случае и какие имеются риски. Полезно, а для ипохондриков вообще находка 💊
Henry Aester's Nest 18+
френдли реймайндер для всех, кто держит свои нетленки и полезности на гуглодисках:САМОЕ ВРЕМЯ СВОРАЧИВАТЬСЯ!архивируйте, забирайте, а то есть риск потерять всё, увы.раз уж официально подтверждён запрет на создание аккаунтов, то там и до банов втихаря недалеко.берегите своё интеллектуальное цифровое имущество, товарищи!*спаковала вещи и переехала на ЯД*
📊Культура Аналитики с Александром Румянцевым
Друзья! Новости)Озон выкатил вчера обновление, после чего перестали работать все НОВЫЕ рекламные АПИ-Ключи. Пользователь ничего сделать не может, любой новый рекламный ключ не работает. Кто настраивал давно, у тех все хорошо, реклама стабильно собирается.👆Картинка для медитации, остается только ждать. И готовиться к изменениям в алгоритмах рекламных кампаний😎У кого старые ключи, ничего не меняйте и лучше не дышите, пока все не восстановится для всех🎶👀Ну а мы, как всегда, уже ищем обходное решение...
Postgres Guru | Базы данных 💐
🛠️ Основные настройки потребления памяти PostgreSQL. (ч. 1).Как и почти любая СУБД, PostgreSQL прожорлива до оперативной памяти, так как для ускорения обработки данных использует именно ее. Эти настройки имеют критическое влияние на производительность PostgreSQL, поэтому решили сделать небольшую шпаргалку по ним. В один пост все уместить не получится, так что будет маленькая серия заметок по этой теме.Я думаю ни кто не будет спорить, что главным параметром, напрямую влияющим на производительность PostgreSQL является shared_buffers. Это параметр, отвечающий за размер буферного кэша, в котором PostgreSQL производит чтение и изменение наиболее часто используемых страниц данных. Его значение по умолчанию равно 128MB.Во всех источниках в Интернет и в документации написано, что при первой установке PostgreSQL рекомендуется установить этот параметр равным 25% от свободной оперативной памяти сервера. Ключевое слово тут СВОБОДНОЙ, а не всей доступной оперативной памяти сервера. Это самое первое приближение, которое в дальнейшем позволит уже более четко подстроить размер буфера под вашу нагрузку.Более четко настроить размер буфера нам может помочь расширение pg_buffercache. Ведь, если мы поставим слишком большой размер, то у нас может быть перерасход оперативки на сервере, а если слишком маленький, то размера буфера может не хватать и повысится кол-во операций ввода/вывода на диске, что негативно скажется на производительности.Вот таким запросом мы можем посмотреть насколько занят буферный кэш:WITH state AS ( SELECT count(*) FILTER (WHERE relfilenode IS NOT NULL) AS used, count(*) FILTER (WHERE relfilenode IS NULL) AS empty, count(*) AS total FROM pg_buffercache)SELECT *, round(used * 1.0 / total * 100, 1) AS percent FROM state;Запрос этот следует запускать после того, как в базе достаточное время поработали пользователи, чтобы в буфере накопился необходимый объём данных для анализа. Если вы в результате запроса увидите 100%, то объема shared_buffers может не хватать под вашу нагрузку и следует его увеличить. Если же наоборот, увидите маленькие проценты, то следует подумать об уменьшении объёма буфера, чтобы оптимизировать использование оперативной памяти на сервере.Следующим не менее важным параметром является work_mem. Этот объем памяти используется PostgreSQL для различных служебных операций при выполнении запроса, типо сортировки результата. Значение по умолчанию 4MB.Самое главное, что надо помнить про настройку этого параметра, это то что этот объем не выделяется единоразово под всех пользователей как shared_buffers, а используется каждой сессией отдельно и даже внутри запроса он может использоваться разными операциями. Т.е. если у вас, к примеру 10 пользователей, то КАЖДЫЙ пользователь может употребить по 4MB, если говорить про значение по умолчанию.Если PostgreSQL будет не хватать этого объема для каких-то операций при выполнении запроса, то она начнет писать временные файлы на диск, что негативно скажется на производительности запросов. Этот параметр, кстати является одной из причин рекомендаций в установки 25% свобной памяти для shared_buffers. Ведь, если мы установим слишком много памяти для общего буфера, то оставшейся памяти на сервере может не хватить для операций сортировки и мы получим ошибку out of memory.Продолжим разбираться с параметрами PostgreSQL, отвечающими за потребление памяти в следующей заметке!#pgsettings
GitHub программиста
TelAnalysis — инструмент для анализа чатов в Telegram. Выпол­няет ста­тичес­кий ана­лиз чата: соз­дает спи­сок и граф самых активных учас­тни­ков, выводит топ самых час­тых слов в чате и обла­ко тегов (кар­тинку, где сло­ва записа­ны раз­ным раз­мером в зависи­мос­ти от популяр­ности). Так­же он уме­ет выводить общую информа­цию о каж­дом поль­зовате­ле. Допол­нитель­но мож­но сге­нери­ровать топ слов каж­дого отдель­ного поль­зовате­ля, что­бы понять, кто чем инте­ресу­ется.Установка и запуск:$ git clone https://github.com/krakodjaba/TelAnalysis.git$ cd TelAnalysis$ pip install -r requirements.txt$ python3 main.py⚙️ GitHub/Инструкция#github #soft #python #osint
Datanomika
Периодически встречаю подобные вопросы, поэтому решил зафиксировать размышлениями об этом в виде поста, чтобы в подобных случаях отвечать ссылкой (да, я ленивая жопа). На первом этапе, внедрение BI систем направлено на оптимизацию двух метрик: 1. «time-to-data» - время затраченное на поиск и сбор качественных, достоверных данных для аналитического продукта, отчетности. 2. «time-to-report» - время затраченное на создание конечного (не конченного) продукта. Форма продукта может быть разной - сигнал на email/WhatsApp/Telegram, дашборд, PDF, презентация, аналитическая справка, отчет excel. Вне зависимости от формы, анализ и выводы делают люди, действия на основе этих выводов совершают тоже люди, контроль исполнения - тоже на стороне людей. Получается в пути между дашбордом, отчетом и действием полезным для бизнеса образуется «кожаный шум», приправленный управленческой импотенцией. Поэтому влияние на время от получения вывода/сигнала до конкретного действия (time-to-action) косвенное - «Если не забыл посмотреть в отчет, то вспомнил и сделал (при учете, что могу осознать увиденное)».А вот на следующем этапе развития/внедрения такие системы могут напрямую сокращать «time-to-action» за счет автоматических выводов на основе настроенных бизнес-правил и постановки задачи ответственному исполнителю или полной автоматизации этого действия Превышен неснижаемый остаток на X млн. Тенге -> Размести их на депозите/купи облигации X на сумму Y Приближаемся к лимиту неснижаемого остатка на складе -> Автоматически сформировать форму авто заказа
Никита Ульшин про IT
Как Figma масштабировали свою БД, часть 1По работе мы с командой сейчас очень плотно занимаемся вопросами масштабирования БД в целом и шардирования в частности. Поэтому я довольно много смотрю/читаю всего, что связано с этой темой. На выходных прочитал замечательную эпопею о том, как Figma столкнулись с проблемами роста своей БД. У них был заряженный по железу монолитный Postgresql, который всё-таки начал упираться в свои пределы.Из интересного в статье:👉 Базовые тактические действия, когда БД начинает не вывозить👉 Почему Figma отказались от переезда на другие БД👉 Как инженеры Figma делали вертикальное партиционирование (вытаскивали таблицы в отдельные базы) без даунтайма (но есть нюанс)Рекомендую к ознакомлению всем, у кого база потенциально может начать задыхаться. Будете знать, к чему готовиться :)Приятного чтения!#architecture #highload #db
Digital cafe Эллины Дашук
Хватит сидеть в Excel: как нейронка может ускорить работуДаже самая творческая работа подразумевает работу с данными: мы что-то вносим в таблицы, считаем, строим графики и отмечаем. Я уже полгода как использую для этого ИИ, и это просто ШИ-КАР-НО.Что можно делать с помощью нейросети?1️⃣создавать с нуля таблицы эксель с нужными столбцами (для видео я сгенерировала таблицу С НУЛЯ)2️⃣загружать таблицы для анализа3️⃣просить нейросеть посчитать (то, для сего обычно мы строим формулы), причем можно и очень сложную аналитику просить4️⃣СОЗДАТЬ диаграмму / график - просто сказать словами, ЧТО именно вам нужно визуализировать5️⃣ДОБАВЛЯТЬ строки и информацию в вашу таблицу просто по запросуТО ЕСТЬ ВЫ ПРОСТО ГОВОРИТЕ НЕЙРОСЕТИ, ЧТО ВАМ НУЖНО СДЕЛАТЬ. А она сама это все делает и дает вам ответ. Как будто личный аналитик.Например, у вас есть данные о клиентах / кастдев / продажи. Любую аналитику можно получить за 10 минут. Сегментация. Определение тенденций и зависимостей. Анализ ответа респондентов. Конкурентов. Продуктов.В видео - быстрый пример работы, но это только 1/100 часть.Я использую ChatGPT-4, а можно еще и Gemini PRO, но он просто словами дает ответ.А вот зайка ChatGPT-4 делает все: от создания до редактирования файла. Я настолько обленилась, что даю ему файл, а потом просто отправляю текст и прошу разнести его по ячейкам в соответствии с логикой. Проверяю и иногда правлю.Готовлю небольшой МК по работе с максимальными возможностями нейросетей для ежедневной работы.💩, если "мы и без ваших этих ИИ всё умеем" 🔥, если надо.#ИИ_это_не_только_котики
Всё получится
На прошлой неделе был хороший выпуск рассылки Холода с инструментами для поиска в интернете. Вроде, настолько база, что и не задумываешься обычно, а вообще знание нескольких дополнительных команд для ввода в поисковую строку и пары альтернативных инструментов может сильно сократить время на поиск нужной информации. Чтение на пару минут — рекомендую.Тут же можно сказать, что зумеры перестают использовать глагол "гуглить", потому что всё активнее ищут информацию в других источниках. А кто мы такие, чтобы спорить с зумерами
КУМБА! Low-code инжиниринг данных
Думаю все слышали про то, что "не надо продавать дрель, надо продавать дырки в стене. А еще лучше - полку, которая будет висеть на дырках. А еще лучше - домашний уют и семейный очаг!". А что мы можем сказать об этом в контексте работы с данными для бизнеса? Я для себя определил 4 направления, которые, на мой взгляд, связывают дашбордики с фундаментальными потребностями:1. Выполнение регламентов (должен сделать отчеты, а то будет а-та-та от органов/начальства. Выполнение всякой операционки);Ключевой фактор - железобетонная уверенность в отсутствии ошибок. Красоты, гибкость - вторичны. Упор на автопроверки.2. Снижение тревожности, демонстрация надежности (посмотрел на цифры, паранойя откатила. Быстрый доступ к данным, прозрачность);Ключевые факторы - простой доступ к данным, объяснение причин-следствий (почему так?). Приятное оформление визуала. Проработанный путь пользователя.3. Рост убедительности, демонстрация экспертности (презентуем не на словах, а подкрепляя выводами на данных. Оперируем данными быстро);Ключевые факторы - гибрид п.2 и п.44. Исследование (поиск новых возможностей, погружение в тему).Ключевые факторы - гибкость, качество каталогизации. Красоты вторичны. Возможность легко создавать новые срезы/модели данных. Мне думается, изначальное что понимание, с каким вектором мы работаем, может определить качество разрабатываемых решений и удовлетворенность заказчика. А также избегать лишней работы при создании ваших дата-продуктов. Как вам такая классификация? Дополнили бы ее чем-то из своего опыта?
AIM Робокорп - Сэм Якушев
💥 Notion как пример data-террора 💥2 дня назад Notion безвозмездно безвозвратно удалил 10Гб моих данных. Преимущественно, как ты понимаешь текста. 🤯Много текста. Много ссылок, много структурированных данных, исследований и наблюдений, готовые курсы, кейсы моих компаний, заметки и наброски новых проектов и улучшения старых и тд.Да, они предупреждали. Да, я все скачал. Да, надеюсь ничего не потерялось и мне предстоит большая работа по импорту этого в другой сервис. Однако, на мой взгляд, пользоваться этим сервисом, при всей моей любви к его функционалу теперь просто нельзя. Это ж реальный террор в эпоху когда data is king. 🧳🧳Раньше у людей жизнь помещалась в 2 чемодана порой, а нынче могла всего лишь гигабайт заметок. Зато каких! А их просто херак! и все, тютю. Дорога моя теперь 146% лежит в сторону собственного локального NAS-решения. Это когда у тебя дома своя коробочка со сканвордами и библиотекаршами своим приватным сервисом заметок, хранения файлов, мессенджером для семьи и тд. Нужно этой коробочке только розетку(хотя он и без нее на батарейке поработает некоторое время) и интернет (и даже он не всегда нужен, есть резерный канал через мобильный интернет). А пользуешься ты этим также через приложения с привычным функционалом. А знаешь что? Если тебе такое тоже нужно, напиши мне. У меня этот проект 2 года назад разложен был в заметку (лол, в Notion), может сдуем с него пыль, да сделаем для узкого круга. Кому делать есть, прям с профильной экспертизой. О времена! В эпоху вседоступности данных, точно думаю в создание никому недоступных узлов сети)
FOOD THERAPY | АИТ и гипотиреоз
По воскресеньям, перед началом новой недели, мы с семьей/мужем любим ходить в баню.Баня — лучший способ детоксикации организма. Если вы не любите, вы просто не правильно делали :) И, как всегда, все самое эффективное для здоровья и красоты уже давно придумали.Каждой женщине (особенно с гормональными вопросами и нарушением детоксикации печени, что при гипотиреозе частая история) назначаю баню!
[FR]AGILE
✅ Новые цифровые сервисы для недропользователей🚩 В соответствии с первосентябрьскими изменениями в Личном кабинете недропользователя теперь доступны опции:☝️представление сведений для подписания акта о ликвидации (консервации) объекта☝️направление уведомлений о размещении вод в пластах горных пород после извлечения из них полезных компонентов☝️направление уведомлений об осуществлении строительства, эксплуатации подземных сооружений☝️подача заявки на получение права пользования недрами для регионального геологического изучения☝️подача заявки на получение права пользования недрами для геологического изучения недр по результатам регионального геологического изучения недр☝️подача заявки на переоформление лицензии в случае передачи пользователем недр права на геологическое изучение недр (также доступен сервис оборота поисковых лицензий)Во ФГИС "ЕФГИ" доступен функционал получения выписок из специальных карт (схем) 📍➿➿➿➿➿➿➿🫥 Сообщение дополняется по мере ввода сервисов. Если что-то не работает, пишите по адресам техподдержки, указанным в соответствующем ресурсе.Следите за обновлениями на каналах и сайтах Роснедр, Росгеолфонда и тематических каналах (1 и 2)🧩 [FR]AGILE
#ФФДД2Д
Привет, я Ваня, продуктовый дизайнер Т—Ж — медиа про деньги и жизнь. Одна из моих задач — дизайн интерактивов. Сегодня рассказываю о работе над недавно выпущенным калькулятором «Сколько стоит одинаковый набор продуктов в разных странах?».Он помогает прикинуть, получится ли сохранить привычный уровень жизни, если переехать в другую страну, получая зарплату в рублях. Можно собрать свою продуктовую корзину и посмотреть ее стоимость в других странах, удивиться, позавидовать или позлорадствовать 🍷С самого начала хотелось видеть в калькуляторе красивые тридэшки, чтобы кликаешь — и они с прикольной анимацией летят в корзину. Но подготовка такой графики требует много времени, а его у нас не было. Оставалось использовать совсем упрощенные иллюстрации, или обходиться вовсе без них. А кайфеца то хотелось.На помощь пришли нейродизайнер Лев Переулков, нейронки Midjourney и Stable Diffusion XL и коллеги из команды красоты Т—Ж. Удалось быстро сгенерировать, обтравить и подготовить картинки для 24 продуктов в похожем стиле, освещении и ракурсе. Получился идеальный флекс: и идею реализовали, и в сроки уложились 😌Еще задача — придумать, как отображать цены. Редакторы выбрали 24 товара и нашли их среднюю стоимость в 16 странах, всего получилось 384 ценника. Чтобы сходу не пугать читателей обилием чисел и ячеек, я сделал две версии таблицы. Одна упрощенная, для сравнения стоимости корзин целиком. А вторая уже полная, с ценами на все продукты.Ячеек получилась тьма, и чтобы в таблице никто не потерялся, я добавил перед ней фильтр по странам, сделал заглавные строки и колонки залипающими во время скролла, добавил подсветку строки и столбца при наведении на ячейку.После релиза стало понятно, что нейросети генерируют картинки хорошо, но не всегда идеально. Читатели писали, что не узнают сахар и пачку Cheetos, поэтому пришлось добавить подписи под продуктами. Больше замечаний не прилетало.Пишите в комментах, что думаете о процессе и результате 🍪 🍪
Ришат онлифанс
Аналитика в стартапе: быстро и дешевоВ начале года я на одном из звонков про аналитику, я разделил инструменты на два класса: быстро или дешево.И вот недавно ко мне пришли ребята с просьбой помочь собрать аналитику для их продукта. В итоге у нас получилось собрать бесплатный стек, с которым удобно работать. А самое главное, что это заняло у меня всего 3 часа консультаций 🤯🤯 У ребят подключение заняло тоже всего несколько часов. Получается можно и быстро, и дешево!Хотите так же? Рассказываю:1️⃣Делаете аккаунт на trevor.io и подключаете туда базу вашего бекенда (идеально реплику, но откуда такое в стартапах?). Это занимает максимум 5 минут и взамен вы получаете интерфейс для написания SQL запросов, создания графиков и дашбордов.2️⃣Создаете аккаунт в Mixpanel для маркетинговой и продуктовой аналитики. У них подробная документация, sdk для разных платформ и понятный интерфейс для аналитики. Отправляете события и разные пользовательские метки (каналы, источники). В бесплатную версию входит 20 миллионов событий в месяц! Этого более чем достаточно для стартапа!). Если вам вдруг не хватает, отправляйте события от случайной 1/N юзеров, где N = 20M/(ваше количество событий).Самое классное, что все это — бесплатно, быстро заводится и достаточно хорошо работает из коробки. Понятно, что большой компании такой стек не подойдет, но всем остальным — весьма.
Грязный ноукодер
3️⃣ VS 1️⃣: Сила JSONПродолжаю продвигать новую связку и сегодня хочу рассказать вам о преимуществах использования поля с типом JSON в Supabase, которое недоступно в Bubble.Если вы не знакомы с понятием JSON как таковым, то советую сначала заглянуть сюда.JSON поле хранит информацию в текстовом виде и валидирует структуру сохраняемого в поле значения. (Вы не сможете сохранить не JSON)Хранение JSON как фича в Postgres появилась не так уж давно - 10 лет назад VS 28 лет самому Postgres.Из выступления одного из разработчиков на конференции я узнал, что эта фича наиболее используемая в Postgres, чем остальные.Когда может понадобиться поле JSON:1️⃣ Для хранения метаданных различного типа, которые используются только для отображения и не участвуют в поиске - информация о пользователе в профиле (пол, возраст и тд, что используется только для внутренней аналитики).2️⃣ Для сохранения слепка данных, которые требуют аггрегации/джоинов в нескольких таблицах - к примеру данные о заказе со списком товаров и их характеристиками.3️⃣ Метаданные с динамичной структурой - финансовые транзакции с разными наборами параметров в зависимости от типа (ACH vs Wire).4️⃣ Хранение данных в JSON формате - сырые JSON ответы из сторонних API.5️⃣ Запись логов событий - запись действий пользователя на сайте с разными параметрами (купил товар - ID товара, нажал на кнопку - расположение кнопки).6️⃣ Действия пользователей в соцсетях - сложная древовидная структур ответов/комментариев/лайков на Reddit/Pikabu.Кроме JSON типа, существует также тип JSONB, который хранит данные в бинарном виде. Он более оптимизирован для поиска/аггрегации/джоинов, а также RPC функций, поэтому я советую использовать именно его.Таким образом JSON поля могут использоваться для упрощения и нормализации баз данных, чтобы не размывать таблицы необязательными полями.Ставьте лайк и подписывайтесь, чтобы узнать больше о преимуществах использования Supabase как БД для Bubble.
Виноградный канал ©
🐦 На днях Notion заявил об уходе из России и блокировке всех российских аккаунтов с 9 сентября 2024 года.Думаю, что многих эта новость шокировала и заставила задуматься, что же делать и как быть!Я использую Notion как базу CRM для ведения абсолютно всех своих проектов. Рабочее пространство в Notion у меня настроено так, что практически всё находится в одном месте: проекты, задачи, коммерческие предложения, бухгалтерия, все клиенты и документы.🌟 Задача: куда-то перенести базу данных CRM, желательно сохранив в том виде, в котором она существует в Notion, или найти сервис, в котором можно будет создать такую базу не погружаясь в какие-то технические моменты. Плюс сохранить возможность работы с проектом на всех этапах в одном приложении.Спойлер: базу данных со связями (CRM) никуда не удалось адекватно импортировать.Рассмотрим два варианта, что можно сделать ⤵️1️⃣ Вариант первый:• Создать новый аккаунт в Notion, обязательно используя VPN.• Скопировать все данные со своего старого аккаунта. Для этого необходимо перенести всё содержимое на одну страницу и нажать share в правом верхнем углу, далее сделайте дубликат на новый аккаунт. Или переносить таким образом каждый документ.• ❌Никогда! НИКОГДА! не заходить в новый аккаунт без VPN, чтобы исключить риск повторной блокировки.2️⃣ Вариант второй, как мне кажется, более правильный — переход на российский аналог сервиса.Изучая предлагаемые альтернативы, практически во всех статьях я видел упоминание сервисов Yonote и Teamly. Что ж, регистрируемся и пытаемся разобраться:🟠 Yonote — База данных (СRM) корректно не перенеслись, все таблицы со связями (например, «Проект - Клиент - Бухгалтерия») превращаются в обычные таблички с текстом. Не смог разобраться, как сделать несколько таблиц и канбанов со связями по принципу «всё на одном экране». Если документ достаточно объёмный, хоть и содержит только текст или таблицу, при его открытии сервис подвисает. В принципе любое действие сопровождается длительной загрузкой, в том числе и регистрация на сервисе, видимо из-за массового наплыва пользователей. Это очень сильно бесит. Yonote явно не был к этому готов. Скорей всего сервис достаточно хорош, но с такими тормозами тяжело начать в нём работать.🟠 Teamly — интерфейс сервиса очень устаревший, как-будто ты открыл какую-то папку на Windows XP. Плюс интерфейс мне показался очень перегруженным, интуитивно не понятным, и чтобы в нём хоть как-то разобраться, нужно читать/смотреть инструкции. Попытался импортировать базу CRM, делается это через API, до сих пор (прошло ~18 часов) на сервисе висит статус «в процессе». Поэтому пока не могу ничего сказать, что в итоге получится. 🟠 Оба сервиса на данный момент меня не устроили, потому что основное, что мне нужно было сделать — это перенести или создать базу CRM, в которой мне будет удобно вести все свои проекты. И я нашёл огненный 🔥 российский сервис с интуитувно понятным интерфейсом, в котором есть встроенная CRM с канбан доской, проектами, задачами и подзадачами, в него легко и быстро можно перенести всё из Notion (кроме баз данных).👉 Сервис называется Weeek 🔥Ребяяяята, это пушка!За вечер я смог настроить базу CRM с нуля, перенёс всех клиентов и текущие проекты и задачи. Да, выполненные задачи пришлось оставить в Ноушене, но думаю их нет смысла переносить.В карточку задачи можно добавлять кастомные поля, в канбан доске с задачами можно делать автоматизацию (например, чтобы при переносе задачи из колонки «в работе» в колонку «выполнено», задаче автоматически присваивался соответствующий статус и она переносилась в архив). Можно создавать команду, распределять задачи, создавать и делиться статьями, приглашать гостей (или клиентов) в проект, и т.д.У сервиса есть приложение для mac/windows и чат поддержки в ТГ!В общем мне прям зашло! 🤌⚡️ Подводя итог, замен Notion достаточно много, вопрос только в удобстве пользования.__________📝 Напишите, а куда вы планируете переносить всё из Notion?Давайте обсудим в комментариях.Если статья оказалась полезной, ставьте любую реакцию 🧡
Обогащение и переработка
После небольшой паузы продолжаем серию постов про ИИ в переработке от Ивана Палина Качество данных для ИИ. Часть IIIАвтор: @IvanPalinДрузья, добрый день! Заранее прошу прощение за бОльший объем текста по сравнению с предыдущими статьями, однако, без примеров, как я вижу, не обойтись…Предлагаю продолжить наше «погружение» в управление технологическим процессом и его зависимостью от качества данных. В том числе, попробовать посмотреть на данную ситуацию немного с другой стороны – с точки зрения добычи.Как часто в своей практике в процессе операционной деятельности вы сталкиваетесь с отклонениями между показателями содержаний элементов в руде по данным, определяемым геологической и технологической службами? Мой опыт подсказывает, что постоянно и, чаще всего, происходит поиск «виновного».Однако, на сколько часто в текущей операционной деятельности учитываются особенности отдельных участков рудного тела, поступающего в процесс переработки? Например – как часто определяется удельный вес руды или учитывается погода, напрямую сказывающаяся на влажности? При этом даже небольшие отклонения в данных показателях могут существенно повлиять на результат, получаемый геологической службой. Например: пусть отрабатывается рудный блок объемом 50 000 м3 (в целике) с содержанием Au 3 г/т. Стандартно принимаемый удельный вес 3 т/м3. Тогда кол-во ценного компонента будет равно: 50 000 * 3 * 3 = 450 000 г. Если же удельный вес снизить всего на одну десятую до 2,9 т/м3, то количество Au в блоке уже будет 435 000 г. Т.е. вроде бы небольшая погрешность в определении всего одного показателя уже привела к разночтению в 15 кг!!! Au только в одном блоке.В тоже время, как указывалось ранее, определить все показатели со стопроцентной точностью просто невозможно. Однако, отсутствие учета таких погрешностей, понимания их природы, а также работы по снижению их влияния на технологические процессы может существенно сказаться как на результаты внедрения цифровых систем, так и на результаты работы горно-обогатительных компаний в целом.
КиберОлег 🦄🤖🙌
Решил вернуться к своему проекту #dataism - максимальный сбор данных о себе и выгрузка в облако для анализа 🤟Цель проекта - собрать тысячи человек готовых зарабатывать на своих данных для прогнозирования здоровья и прочего 🤑Но пока обкатываю все на себеПосле начала войны забросил часть действий вроде разметки настроения и еды, потом еще умные. часы сломались 😭. В Армении было дорого покупать гаджеты и не до этого как-тоВ итоге 2 года у меня собирались только автоматические данные со смартфона (гео, погода, открытие и закрытие приложений через shortcuts)Сейчас:1/ заказал со скидкой oura ring, удобно, что держит заряд 7 дней, так меньше дыр будет в базе2/ Планирую снова фоткать еду с пометками3/ Настроение возможно буду отмечать пару раз в день или в конце дня, тк в основном оценка была 5/10, смысла в этом не было кмк4/ также заказал умные весы mi body composition scale5/ постараюсь больше использовать бутылку hidrate, которая трекает сколько воды и когда выпито6/ есть мысль взять rayban + meta и фоткать раз в 10 минут автоматически (если это возможно 🙀), только там 80% фоток будет залипаю в смартфоне в соц сетяхВероятно, что мне может понадобиться любой рандомный android с хорошим зарядом - собирать больше данных. Если знаете хороший, то напишите пожалуйста 🙏Также, если есть предприниматели, которым нужны подобные данные от группы людей, напишите за сколько бы вы были готовы купить их и от скольки людей имело бы смысл + в каком формате и что именно. Возможно, это поможет заинтересовать первых юзеров 🦄