​​Стартануть в IT быстро и эффективно — подготовительный курс по Frontend-разработке. ⏰ Старт 5 октября! Даем: 72 урока с практикой в браузере, 3 онлайн вебинара и 1 сессию лайвкодинга с практикующим разработчиком. Получаем: крепкие знания базы языка, умение понимать код и первую программу на JavaScript, написанную вместе с наставником. Запишитесь прямо сейчас! Реклама. ООО "ХЕКСЛЕТ РУС". ИНН 7325174845. erid: LjN8Jud6R

​​💾Ещё один рецепт отказоустойчивого файлового сервера средствами PaceMaker В этой статье автор расскажет как реализовать на площадке клиента хранение пользовательских файлов для разрабатываемого сервиса. Читать...

​​🚀Оптимизация работы с Camunda на основе External task В этой статье речь пойдет об опыте перехода на паттерн external task. Читать...

Как вывести свои навыки Дата Саентиста на максимум? Бесполезно импортировать устаревшие библиотеки, бездумно генерировать фичи, и читать бредовые статьи по ускорению Pandas в 100 раз. Подумайте сами, возможности дата сайентиста безграничны, вы можете - обрабатывать гигантские датасеты в пару строк кода, использовать новые LLM модели для генерации кода, пройти сертификационные курсы по МЛ от Google - совершенно бесплатно! Об этом можно узнать здесь. Вообще канал «Анализ Данных» - единственное место в телеграме, где вы пройдете путь от -"гугл - как открыть csv в Pandas", до аналитика данных. Ещё мы собрали маст-хэв-папку для всех  дата саентистов: https://t.me/addlist/G7ntgISJ23s5ZGQy Подписывайтесь, такие знания в 2023-м году на вес золота: @data_analysis_ml

​​🧙Point-in-time Recovery. Как уменьшить RPO для базы данных В этой статье мы на примере PostgreSQL разберем принципы работы баз данных и поговорим о том, как минимизировать последствия инцидентов с помощью оптимизации RPO. Читать...

​​🛠Искусство ETL. Пишем собственный движок SQL на Spark [часть 5 из 5] В этой статье автор расскажет об интерактивно-отладочном режиме REPL, клиенте и сервере, а также о генераторе документации. Читать...

​​📝Форматы ORC и Parquet на базе HDFS В статье мы рассмотрим тему форматов ORC и Parquet, как их правильно использовать и хранить, чтобы всем было хорошо. Читать...

💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии. В сообществе вы найдете:  ▫️ Новости индустрии production ML; ▫️ Полезные статьи, инструменты и технологии; ▫️ Опыт коллег и лучшие практики. Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: https://t.me/+5mBvVOEfED42YTcy Реклама ООО «Селектел» 2Vtzqwi1EeB

🧑‍💻 Что прикольного (и полезного) почитать из IT? Нашли канал предпринимателя, который пилит свои проекты на Python. А потом с шутками рассказывает, как он их делал.  Канал называется LOVESYUK (https://t.me/lovesyuk). На него уже залили посты о том:  — Как написать расширение (https://t.me/lovesyuk/128) с GPT-4 для пикапа девушек на сайтах знакомств — Как сделать онлайн-игру (https://t.me/lovesyuk/141) для компании с 6.000 шуток  — Как работает нейросеть (https://t.me/lovesyuk/134) на Python, переписывающая собственный код  Подписывайтесь, у него интересно → @lovesyuk

​​🌻ML в полях. Как упростить жизнь агрономов? В этой статье мы обсудим, как ML-решения помогают формировать задания для агрономов, и почему точной модели не всегда достаточно, чтобы спланировать уборку полей. Читать...

​​👾От логики и риторики до теории множеств и матанализа. Полезные материалы по Data Science и машинному обучению В этой статье автор поделится полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию. Читать...

​​RSHB Data Integration Meetup: управление данными, ИИ, DS-метрики 🗓 28 сентября в 19:00 🌐Онлайн — трансляция на сайте 📍Офлайн — Москва, ул. Профсоюзная 125а В программе: ✔ Вячеслав Жуков, Aero — «Концепция Data Governance для систематизации работы с данными»  Поговорим о том, как создать стабильную систему принятия решений в компании на основе данных. ✔ Антон Агеев, РСХБ-Интех — «Управление данными как шаг к применению искусственного интеллекта» Антон расскажет о возможности внедрения практик и руководящих принципов DAMA-DMBOK2 как предпосылок к использованию ИИ в бизнес-процессах организаций.  ✔ Павел Филонов, независимый консультант — «Как оценить влияние DS-метрик на итоговые бизнес-результаты проекта» Павел покажет, как строить пирамиду метрик, чтобы сопоставить неочевидные DS-метрики с реальной экономикой. Участие бесплатное, достаточно зарегистрироваться. Реклама, ООО «Джуг Ру Групп», ИНН 7801718607, erid 2RanykqkHtU

​​📊Как сделать вашего телеграм-бота лучше? Конечно, добавить ему аналитику В этой статье мы рассмотрим как реализовать аналитику для телеграм-бота. Читать...

​​Подключайтесь к трансляции Yandex Scale 2023!   Сегодня стартует масштабная конференция Yandex Cloud. Эксперты компании и приглашенные спикеры поделятся новостями платформы, расскажут о новых сервисах для бизнеса, разберут кейсы клиентов и партнеров, а также обсудят будущее облачных технологий.     На трансляции вас ждет: 🚀 25 сентября — онлайн-открытие и секретный доклад о нашем росте и изменениях за последнее время.    🚀 26 сентября — доступ к 30+ докладам, 6 актуальных тематических треков: Data Platform, Infra + K8s, Security, Digital Workplace, Severless, ML;   📊 Кейсы клиентов и партнеров — Азбука вкуса, Skyeng и другие;   💬 Общение и нетворкинг в режиме реального времени в канале Yandex Scale.    Подключайтесь к трансляции по ссылке Реклама ООО "Яндекс.Облако" ИНН 7704458262

​​⚡️Azure Data Factory + Databricks. Миграция сценариев инициализации в Databricks из DBFS в Workspace 2023/2024 В этой статье поговорим о том, как сделать простой процесс загрузки данных с помощью Microsoft Azure Data Factory и Databricks в 2023/2024 году. Читать...

​​🧠Полезные материалы по Data Science и машинному обучению, которые помогут пройти сквозь джунгли из терминов В этой статье я делюсь полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию. Читать...

​​🗂20 проектов по аналитике данных для новичков в 2023 году В этой статье мы обсудим 20 проектов по аналитике данных для новичков, которые помогут приобрести базовые и полезные знания в обработке данных. Читать...

​​🤫Reinforcement learning для оптимизации цен в ритейле В данной статье мы рассмотрим практические проблемы применения модели RL/ST для оптимизации цен, чтобы доказать, что RL/ST - не волшебная палочка и точно также требует глубокой проработки, как и ML подход. Читать...

​​😉Искусство ETL. Пишем собственный движок SQL на Spark [часть 4 из 5] В данной статье я расскажу о том, как написать на собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных. Читать...

​​🧑‍💻Дропаем ранжирующие метрики в рекомендательной системе, часть 3: платформа для экспериментов В этой статье расскажу о workflow экспериментов и пайплайнах обработки данных. Читать...

​​27 сентября X5 Tech проведет X5 Data Quality Meetup На нем обсудят правила и стратегии для обеспечения точных и надежных данных: чем поможет регулярная проверка полученной информации на качество, зачем дорабатывать специализированный инструмент Ataccama ONE и сколько базовых проверок необходимо. Спикеры:   🗣 Анастасия Щедрякова, ведущий менеджер по качеству данных, X5 Tech 🗣 Наталья Цой, ведущий менеджер по качеству данных, X5 Tech 🗣 Лилия Скляр, модератор митапа и руководитель направления, X5 Tech   Событие состоится онлайн  27 сентября, 18:00 Зарегистрироваться Реклама. ООО "Корпоративный центр ИКС 5", ИНН 7728632689 , erid: LjN8KKRd2

​​🤖Есть один нюанс: как мы спасаем нейросети от классификации неоднозначных текстов В этой статье я расскажу подробнее о нашем методе и процессе его разработки. Читать...

​​🚀Process Mining. «Рентгеновская диагностика» бизнеса В этой статье я расскажу, как для оптимизации процессов можно использовать технологии Process Mining на примере нашего продукта. Читать...

​​🔥 Мы в Yandex for Developers запускаем четыре новых канала для разработчиков Теперь Yandex for — это целая семья телеграм-каналов по разным направлениям: фронтенд, бэкенд, мобильная разработка и ML. В каждом из них мы будем рассказывать всё о жизни определённого комьюнити инженеров внутри Яндекса — начиная с анонсов всех стековых мероприятий и заканчивая техническими подборками от разработчиков, интервью с инженерами и полезной информацией по найму. А в этом большом телеграм-канале мы продолжим рассказывать про главные события Яндекса для разработчиков, уже не боясь немножечко поднадоесть вам. Давайте обсуждать технологии, знакомиться и развивать сообщество инженеров:  ➡️ Yandex for Mobile ➡️ Yandex for Frontend ➡️ Yandex for Backend ➡️ Yandex for ML В общем, переходите на наши каналы — всё самое интересное только начинается! Подписывайтесь 👉 @Yandex4Developers Реклама. ООО "Яндекс". erid: 2VtzqvyJJuX

​​🙃Искусство ETL. Пишем собственный движок SQL на Spark [часть 3 из 5] В этой статье я рассказываю о том, как написать собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных. Читать...

​​🤖Разработка систем генеративного ИИ на базе ML Platform: создаем конкурента ChatGPT без миллионных инвестиций В этом материале я расскажу, что такое GPT-модели, как упростить их создание под свои задачи, и покажу на практических примерах, как команда смогла создать GPT-модель при минимуме затрат. Читать...

​​🧑‍💻Пять подходов к созданию ad-hoc-датафреймов в PySpark В этой статье речь пойдет о создании датафреймов in-place без внешних зависимостей. Читать...

Потрясающие возможности нейросетей, о которых вы могли не знать: 🔍OSINT и пробив: узнать много интересного о друзьях, девушке, коллегах, врагах или вычислить ушлёпка, который не проявил должного уважения поможет AI. Держите набор промптов. 🔓Хакинг: раньше школохакеры были опасны только для самих себя, но сейчас правила игры меняются. GPT-4 знает больше любого хакера и горе тому, на кого его натравят. Бесплатный курс по этичному хакингу при помощи GPT смотрите тут. 💼Создание стартапа: раньше, чтобы создать свой веб-сервис, разработать программу или игру нужны были дизайнеры, маркетологи, программисты, QA, менеджеры, HR и др. Сегодня вы можете поставить задачи, распределились роли и искусственный интеллект начнет создавать ваш стартап. 🪄Кремниевая магия!  Держите бесплатное решение с открытым исходным кодом.

​​🤔Разбираемся в отличии среднего чека от ARPU на примере одного интернет-магазина В этой статье я расскажу то такое ARPU, средний чек, и как их рассчитывать. Читать...

​​🤖Практическое применение моделей YOLO и ResNet для обнаружения нежелательных предметов на фотографиях В данной статье мы рассмотрим практическое применение двух из самых популярных моделей YOLO и ResNet для обнаружения нежелательных предметов на фотографиях. Читать...

​​⚒DVC — прекрасный инструмент для DataScience В этой статье я расскажу про DVC: инструмент, который многие, незаслуженно, обходят стороной. Читать...

Открытый практикум Data Analyst by Rebrain: Data-профессии, их роль и взаимодействие Успевайте зарегистрироваться. Количество мест строго ограничено!  👉Регистрация Время проведения: 19 Сентября (Вторник) в 19:00 по МСК Программа практикума: 🔹Узнаете про разные направления в data-направлении 🔹Какая ключевая роль у Аналитика данных 🔹По каким принципам идёт взаимодействие и решаемые задачи Кто ведёт? Артур Сапрыкин – Data Scientist, AI исследователь, предприниматель, автор курсов по машинному обучению, преподаватель. Подключайтесь! Реклама. ООО "РЕБРЕИН". ИНН 7727409582 erid: 2VtzqvyLRaY

​​🤓Логика и принципы построения BI-дашборда В этой статье поговорим кратко об общих принципах: с чего начать, какова логика и принципы, какие лучше визуализировать различные типы и срезы данных. Читать...

​​👤Искусство ETL. Пишем собственный движок SQL на Spark [часть 2 из 5] В данной статье я подробно расскажу о том, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных. Читать...

​​🌳Деревья решений в pySpark: от семечка до параметрической оптимизации случайного леса В этой статье я расскажу о простом для понимания, но в то же время достаточно эффективном алгоритме — дереве решений, а также его расширенной модификацией — случайных лесах решений, и их реализации с помощью PySpark MLib. Читать...

​​🤖Визуальное RPG с долговременной памятью, генерируемое из 3 нейросетей и LLamы В этой статье автор покажет простому обывателю механизм безболезненного использования нейросетевых моделей в простых проектах при помощи Python и Hugging Face Transformers. Читать...

​​Приглашаем на Yandex Scale 2023! Ежегодная и самая масштабная конференция Yandex Cloud уже в пятый раз соберет экспертов индустрии. Эксперты компании поделятся новостями платформы, расскажут о новых сервисах, а также обсудят будущее облачных технологий. Что вас ждет в этом году: 🚀6 актуальных тематических треков: Data Platform, Infra + K8s, Security, Digital Workplace, Severless, ML; 🔊главные новости платформы и индустрии; 🎙30+ выступлений экспертов, кейсы клиентов и партнеров; 🏢9 стендов на офлайн-выставке; 🤝Нетворкинг: не упустите возможность встретиться с руководителями разработки и задать им все интересующие вас вопросы. 📅 В этом году конференция будет проходить два дня: 25 сентября – онлайн: открытие; 26 сентября – онлайн и офлайн: главный доклад, основная программа и выставка. Регистрируйтесь по ссылке. Реклама. ООО "Яндекс" ИНН 7736207543

​​😵Искусство ETL. Пишем собственный движок SQL на Spark [часть 1 из 5] В этой статье я расскажу о разработке настоящего production ready инструмента, с интерактивным шеллом с подсветкой синтаксиса и автодополнением, который сможет работать в клиент-серверном режиме, и не только на кластере, но и локально. Читать...

​​🧑‍💻Как я реплицировал данные с помощью postgres_fdw и dbt В этой статье автор расскажет вам о собственном опыте извращенной репликаций данных между базами Postgres. Читать...

SmartDev 2023 — большая конференция про технологии от Сбера 21 сентября в кинотеатре «Октябрь» пройдет технологическая конференция SmartDev 2023, организованная Сбером. На одной площадке соберутся ведущие инженеры и разработчики из Сбера, VK, Яндекса, Kaspersky и других компаний, чтобы обменяться опытом создания лучших технологических решений в мире. Основные темы конференции: – Машинное обучение и искусственный интеллект – Архитектура программных решений – DevOps – Работа с большими данными – Безопасность приложений – Инновации и стратегии в разработке ПО Помимо этого впервые в России можно услышать выступление генерального директора Gitee, китайского аналога GitHub.Yong Xu. Также участники конференции смогут задать вопросы создателям нашумевших проектов от Сбера — сервиса GigaChat и нейросети Kandinsky. Конференция соберёт 1500 участников в офлайне и несколько тысяч зрителей в онлайне. Участие бесплатное, подробности и регистрация — на сайте конференции.

​​🗣7 аргументов почему UUID лучше, чем автоинкрементные идентификаторы В этой статье мы рассмотрим, почему UUID часто являются лучшим выбором по сравнению с автоматически увеличивающимися идентификаторами. Читать...

​​😵Устранение галлюцинаций в LLM В этой статье поговорим о том, почему LLMs говорят неправду и как это исправить. Читать...

​​😼Эволюция метрик качества машинного перевода. Часть 3 В этой статье поговорим о безреференсных нейросетевых метриках, а также выясним, какова сравнительная эффективность различных традиционных и нейросетевых метрик. Читать...

​​😎Дружим YOLACT и RockChip: запуск инстанс-сегментации на китайском одноплатнике В этой статье автор поделиться с вами своим опытом запуска YOLACT на edge-устройстве RockChip. Читать...

​​14 сентября, 18:00  Computer Vision в животноводстве, инфраструктура для ML и AI, виды дрифтов ML-моделей. В этот четверг ребята из @Selectel проведут ежегодный митап «‎MLечный путь» для MLOps и ML-инженеров. На встрече спикеры из Selectel, Контур AI, Neoflex и Русагро рассмотрят актуальные сложности, тренды и инструменты построения production ML-систем. Темы докладов: ◽️ Определение дрифта данных и дрифта моделей на MLOps-платформе Neoflex Dognauts ◽️ Хостинг сотни моделей машинного обучения в Контуре: существующее решение и путь к нему, а также актуальные и решенные проблемы ◽️ Стек технологий и инфраструктурная база для пилотных проектов внедрения LLM ◽️ Оптимизация работы видеоаналитических сервисов в животноводстве с помощью Prefect В конце пройдет дискуссия «Потребности ML-рынка России», где вы получите ответы на интересующие вопросы и сможете пообщаться с экспертами в неформальной обстановке. Регистрируйтесь на офлайн-встречу в Санкт-Петербурге: https://slc.tl/wrrsp Регистрируйтесь на онлайн-трансляцию: https://slc.tl/cpn0l  Реклама ООО «Селектел» 2Vtzquqv9xt

​​🗺Опыт визуализации данных на геокарте В этой статье я хочу поделиться своим опытом решения задач, связанных с отображением данных на геокарте: как самим решением, так и инструментами, которые мы для этого использовали. Читать...

​​🧐Архитектура аналитической платформы Modus ч.2: BI В этой статье поговорим об общем устройстве BI-системы и подробнее остановимся на анатомии Modus BI. Читать...

​​Тотальная цифровизация – это про оптимизацию существующих бизнес-процессов и магию технологий. Канал российского ИТ гиганта Softline digital, где показывают, как технологии AI, ML, CV, IoT, Big Data, VR/AR работают в секторах промышленности, горной добыче, металлургии, нефтянке и др. Никаких фантазий и космических кораблей, только кейсы, за которыми стоят реальные проекты и пилоты у лидеров отрасли. С одним из них ты можешь познакомиться прямо сейчас: AIline: прогнозируем качество молока. Хочешь быть в команде, следи за новостями, выкладывают вакансии и всегда на связи. Заходи посмотреть, тонны инфы для тех, кто в теме цифровизации. Не прощаемся.