DeepBI is an AI-native data analysis platform. DeepBI leverages the power of large language models to explore, query, visualize, and share data from any data source.

Что обещают?

Давайте посмотрим на список фич, которые заявлены в репозитории.

• Анализ данных в формате диалога. Самая мякотка. Вы просто пишете на человеческом языке: «покажи мне топ-5 самых продаваемых товаров в прошлом месяце» и (в теории) получаете готовый результат.
• Генерация запросов и визуализаций. Платформа не просто показывает результат, но и может сгенерировать персистентный запрос или график, который потом можно добавить в дашборд.
• Дашборды. Куда же без них. Собранные визуализации можно компоновать в привычные дашборды.
• Автоматические отчёты. А вот это уже интересно. Заявляется фича (пока в разработке 🌚) по автоматической генерации полноценных отчётов по текстовому заданию.
• Поддержка разных источников данных. Список вполне приличный: MySQL, PostgreSQL, Doris, StarRocks, MongoDB и CSV/Excel.
• Мультиплатформенность. Запустить можно где угодно: Windows (даже есть .exe), Linux, Mac.

Как это пощупать своими руками?

Раз проект open-source, то грех не попробовать его развернуть локально. Вариантов несколько, на любой вкус и цвет.

📦 Установка на Windows

Для тех, кто боится консоли, есть exe-шник. Скачиваете архив, распаковываете, запускаете. Проще не придумаешь.

🐳 Развертывание через Docker

Всё сводится к паре команд:

# Клонируем репозиторий
git clone https://github.com/DeepInsight-AI/DeepBI.git
cd DeepBI

# Запускаем скрипт установки
./Install.sh

После этого сервис будет доступен по адресу http://ip:8338.

🐧 Установка на Ubuntu

Потребуется предварительно поставить redis, postgresql и python 3.8.x. Все шаги подробно описаны в README, но в целом сводятся к запуску ubuntu_install.sh.

И вот, кажется, ребята из Стэнфорда решили эту проблему если не полностью, то хотя бы частично автоматизировать. Они выкатили опенсорсный проект STORM — систему на базе LLM, которая берёт на себя самую нудную часть работы: исследование темы и создание структурированного черновика статьи в стиле Википедии. Сразу с цитатами и ссылками на источники.

Конечно, это не волшебная кнопка «сделать зашибись». Сами авторы честно говорят, что на выходе получается не готовая к публикации работа, а скорее очень качественный и подробный репорт, который нужно дорабатывать.

Что это за STORM такой и как он работает?

На первый взгляд, идея не нова — обернуть LLM в поисковик. Но дьявол, как всегда, в деталях. Вместо того чтобы тупо промптить модель в стиле «расскажи мне о X», STORM подходит к задаче куда хитрее. Весь процесс делится на два этапа:

1. Pre-writing (Исследование): Система проводит интернет-исследование, чтобы собрать материал и составить план статьи.
2. Writing (Написание): На основе собранных данных и плана генерируется полноценная статья с цитатами.

Ключевая фишка — в первом этапе. Чтобы сделать исследование глубоким и разносторонним, STORM использует две стратегии:

• Perspective-Guided Question Asking: Система сначала изучает похожие статьи, чтобы понять, с каких разных точек зрения (например, академической, индустриальной, исторической) можно взглянуть на тему. А потом использует эти «перспективы», чтобы генерировать вопросы.
• Simulated Conversation: STORM имитирует диалог между автором статьи и экспертом по теме. Эксперт «опирается» на найденные в интернете источники. Это помогает LLM не просто вываливать факты, а углублять своё понимание темы и задавать уточняющие, релевантные вопросы по ходу дела.

Co-STORM: А если я хочу влезть в процесс?

Понимая, что полная автоматизация не всегда гуд, разработчики добавили режим Co-STORM. Он позволяет человеку активно участвовать в процессе. В этой симуляции есть три типа агентов:

1. LLM-эксперты: Отвечают на вопросы, опираясь на внешние источники.
2. Модератор: Задаёт наводящие вопросы, чтобы дискуссия не затухала.
3. Человек: Может либо просто наблюдать за процессом, либо в любой момент вмешаться, задать свой вопрос и направить исследование в нужное русло.

Для удобства вся собранная информация организуется в виде динамической ментальной карты (mind map), что должно снижать когнитивную нагрузку, когда исследование становится слишком глубоким.

Как это пощупать?

Проект доступен на GitHub и легко ставится через pip:

pip install knowledge-storm

Дальше всё довольно модульно. Можно настраивать разные LLM (под капотом litellm, так что поддерживается почти всё, включая OpenAI, Azure и др.) и разные поисковые движки (Bing, You.com, Google, DuckDuckGo и т.д.).

Вот упрощённый пример запуска из документации:

import os
from knowledge_storm import STORMWikiRunnerArguments, STORMWikiRunner, STORMWikiLMConfigs
from knowledge_storm.lm import LitellmModel
from knowledge_storm.rm import YouRM # Или BingSearch, GoogleSearch...

# 1. Настраиваем модели
lm_configs = STORMWikiLMConfigs()
# Для симуляции диалога можно взять модель попроще и побыстрее
gpt_35 = LitellmModel(model='gpt-3.5-turbo', ...) 
# А для генерации самой статьи — что-то помощнее
gpt_4o = LitellmModel(model='gpt-4o', ...)
lm_configs.set_conv_simulator_lm(gpt_35)
lm_configs.set_article_gen_lm(gpt_4o)
# ... и другие компоненты

# 2. Настраиваем поисковик (retriever)
rm = YouRM(ydc_api_key=os.getenv('YDC_API_KEY'))

# 3. Запускаем движок
engine_args = STORMWikiRunnerArguments(...)
runner = STORMWikiRunner(engine_args, lm_configs, rm)

runner.run(
    topic="Challenges in Python's Global Interpreter Lock (GIL)",
    do_research=True,
    do_generate_outline=True,
    do_generate_article=True,
    do_polish_article=True,
)

runner.summary()

Выглядит довольно гибко. Можно запускать только нужные этапы, подсовывать свои поисковики и модели, что для кастомных задач самое то.

А для тех, кто не хочет ничего ставить, есть демо-сайт.

Так это заменит исследователей и авторов?

Конечно, нет. И заявления типа "STORM writes research papers like a PhD" — это классический пример заигрывания с мечтами людей, которые хотят волшебную таблетку.

STORM — это инструмент. Примерно как продвинутый IDE для программиста. Он не напишет за вас весь проект, но избавит от рутины, подсветит ошибки и ускорит работу. Здесь то же самое: STORM берёт на себя самую муторную часть — первоначальный сбор и структурирование информации.

Ценность ведь не в самом сгенерированном тексте (контенте), который и так можно надергать из сети. Ценность в том, чтобы на основе этого черновика сделать выводы, добавить собственную экспертизу и создать что-то действительно новое. А на это пока способны только человеки 🧠

И тут на сцену выходит Себастьян Рашка. Если вы вдруг не в курсе, это один из core-разработчиков scikit-learn и автор нескольких книг, которые уже стали культовыми. И его работа Machine Learning Q and AI — это книга для тех, у кого уже есть база, но остались вопросы и пробелы.

Вся книга — это 30 самостоятельных глав, каждая из которых посвящена одному конкретному вопросу. Никакой воды и долгих вступлений. Вы открываете нужную главу и получаете концентрированный ответ с диаграммами, кодом и упражнениями для закрепления.

Эта книга не пытается заигрывать с новичками, обещая сделать из них мидлов за полгода. Она честно ориентирована на тех, кто уже «в теме».

Темы тут вполне себе взрослые:

• Парадигмы обучения на нескольких GPU.
• Файнтюнинг трансформеров (и чем отличаются энкодеры от декодеров).
• Концепции, лежащие в основе Vision Transformers.
• Как правильно считать доверительные интервалы для моделей.
• Data-centric подход к AI.
• Методы ускорения инференса моделей.
• ...и ещё два десятка не менее интересных вопросов.

Каждая глава — это, по сути, готовый мини-гайд по конкретной теме. Это не просто теория, а материал, подкреплённый Python-кодом и ссылками для тех, кто хочет копнуть ещё глубже.

Книга находится в полностью открытом доступе. Да, бесплатно. Не нужно ничего покупать, воровать или ждать слива на торренты.

Более того, все дополнительные материалы, включая код и данные для упражнений, лежат в отдельном репозитории на GitHub.

Давайте разберёмся, что там под капотом 👇🏻

Что вообще выкатили?

ERNIE 4.5 — это не одна модель, а целая семья из 10 различных вариантов, построенных на архитектуре Mixture-of-Experts (MoE) и не только.

• Тяжеловесы (MoE): Самая большая модель имеет 424B параметров, но благодаря MoE-архитектуре в каждый момент времени активны «всего» 47B. Есть и версия поменьше: 21B общих и 3B активных параметров.
• Малыш (Dense): Для тех, у кого нет под рукой кластера из H100, есть компактная модель на 0.3B параметров.
• Мультимодальность: Часть моделей — классические LLM (текст-в-текст), а часть — VLM, способные понимать не только текст, но и изображения с видео.

Все модели доступны под либеральной лицензией Apache 2.0. Это значит — бери и используй, в том числе в коммерческих проектах.

Ключевые фишки: чем хвастаются китайцы?

В документации Baidu выделяют три основных инновации, которые, по их мнению, и делают ERNIE 4.5 таким крутым.

1. Мультимодальная гетерогенная MoE-архитектура 🧠

Звучит страшно, но идея простая. Обычно, когда пытаешься научить одну модель работать и с текстом, и с картинками, одна модальность начинает «мешать» другой. Китайцы заявляют, что придумали хитрую структуру MoE, где есть как общие для всех модальностей параметры, так и выделенные «эксперты» для каждой.

Проще говоря, они спроектировали модель так, чтобы понимание картинок не ухудшало, а наоборот, улучшало её способности в работе с текстом. Если это действительно так, то это серьёзный шаг вперёд в построении по-настоящему мультимодальных систем.

2. Эффективная инфраструктура и деплой 🚀

Весь этот зоопарк моделей обучался на собственном фреймворке Baidu — PaddlePaddle. Они хвастаются дикой эффективностью (до 47% MFU на претрейне) и кучей оптимизаций для инференса, включая квантизацию до 4-бит и даже 2-бит без особых потерь в качестве. Это значит, что даже большие модели можно будет запускать на более-менее вменяемом железе.

3. Специализированный пост-трейнинг 👨🏻‍💻

Базовые модели дополнительно дообучали под конкретные задачи с помощью SFT, DPO и даже собственного метода UPO. В итоге мы имеем не просто сырые pre-trained модели, а уже готовые к работе инструменты, заточенные либо под генерацию текста, либо под сложные визуально-языковые задачи.

А что по цифрам? Сравнение с конкурентами

Как водится, в таких релизах без пачки бенчмарков, где новая модель всех побеждает, никуда.

• ERNIE-4.5-300B-A47B (топовая LLM) якобы обходит DeepSeek-V3-671B-A37B на большинстве тестов, особенно в знании фактов и следовании инструкциям.
• ERNIE-4.5-21B-A3B (младшая LLM) показывает себя на уровне или даже лучше Qwen3-30B-A3B на задачах по математике и логике, имея при этом на 30% меньше параметров.
• Мультимодальная ERNIE-4.5-VL-424B-A47B показывает SOTA-результаты на сложных бенчмарках вроде MathVista и MMMU, особенно в режиме "thinking mode" (когда модель сначала рассуждает, а потом отвечает).

Главный прикол: экосистема на PaddlePaddle

И вот мы подходим к самому интересному. Baidu выложили не просто модели, а полный инструментарий для работы с ними.

ERNIEKit — тулкит для дообучения. Поддерживает всё, что нужно: SFT, DPO (в том числе LoRA-версии), QAT и прочие страшные аббревиатуры.

FastDeploy — тулкит для инференса. Позволяет развернуть модель для оффлайн-обработки или поднять API-сервер, совместимый с OpenAI.

Начать работу с самой маленькой моделью можно буквально в несколько команд:

# Установка
# pip install ...

# Оффлайн-инференс
from fastdeploy import LLM, SamplingParams

prompt = "Напиши стих про фреймворк PaddlePaddle."
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(model="baidu/ERNIE-4.5-0.3B-Paddle", max_model_len=32768)

outputs = llm.generate(prompt, sampling_params)
print(outputs[0].text)

Итоги: так качать или нет?

Выпуск ERNIE 4.5 — это однозначно знаковое событие. Baidu не просто догнали западных конкурентов, но и предложили зрелую, полностью открытую экосистему для работы с SOTA-моделями.

Плюсы очевидны:

• Отличные заявленные характеристики.
• Широкий выбор моделей под разные задачи и бюджеты.
• Полный набор инструментов для fine-tuning и деплоя.
• Лицензия Apache 2.0.

Главный минус (или фича?):

• Жёсткая привязка к фреймворку PaddlePaddle. Для большинства разработчиков, привыкших к PyTorch, это станет барьером.

Я уже не раз иронизировал на тему "убийцы Python" — языка Mojo, который с момента своего анонса обещал нам золотые горы и производительность в 35 000 раз выше. Что ж, похоже, лёд тронулся. Недавно создатель языка Крис Латтнер объявил, что теперь код на Mojo можно вызывать напрямую из Python.

В интернетах появился отличный эксперимент, который наглядно показывает, что мы имеем на текущий момент: дико перспективную технологию или сырую поделку? Спойлер: и то, и другое.

Как это работает?

Первое, что радует — порог входа стал ниже. Установка теперь делается через uv в одну команду, что уже прогресс по сравнению с первыми версиями.

Чтобы создать быструю функцию для Python, нужно:

1. Написать её в файле .mojo, обернув в специальный экспортный код.
2. В Python-скрипте импортировать специальный max.mojo.importer, после чего можно импортировать свой mojo-модуль как обычный.

Выглядит это всё ещё немного громоздко, но уже вполне реально. Но давайте к самому интересному — к тестам производительности.

Тест №1: Факториал. Классический провал

Первый тест был простым — вычисление факториала. На малых числах Mojo показал себя чуть быстрее. Но как только автор эксперимента попробовал вычислить factorial(100), Mojo вернул 0.

Причина понятна — переполнение целочисленного типа. Mojo, как и многие компилируемые языки, использует типы данных фиксированного размера (например, 64-битное целое). Python же по умолчанию использует длинную арифметику, позволяя работать с целыми числами практически неограниченного размера.

Это идеальная иллюстрация того, что Mojo — это не "улучшенный Python". Это другой язык со своими правилами и своими, более низкоуровневыми, компромиссами.

Тест №2: Простые числа. Неожиданный триумф

Если на факториале Mojo сел в лужу, то на вычислительно сложной задаче — подсчёте простых чисел — он показал себя во всей красе. Автор написал три одинаково наивных реализации: на чистом Python, на NumPy и на Mojo.

Результаты для подсчёта простых чисел до 20 000:

• Чистый Python: ~0.45 секунды
• NumPy: ~0.26 секунды
• Mojo: ~0.011 секунды

И вот это уже очень серьёзная заявка. Обогнать NumPy, который под капотом использует оптимизированный код на C, в 20 раз — это впечатляет. Особенно если учесть, что синтаксис Mojo действительно проще для изучения, чем Rust или C++.

Что мы имеем в сухом остатке? Как будто есть потенциал. Идея получить язык, который синтаксически близок к Python, но даёт производительность на уровне (а иногда и выше) компилируемых языков, звучит заманчиво.

Не можешь победить — присоединись 🤪

Что под капотом? Архитектура «Матрёшка»

Самая интересная фишка Gemma 3n — это архитектура MatFormer (Matryoshka Transformer). Аналогия с матрёшкой тут прямая: большая модель содержит внутри себя несколько полностью функциональных моделей поменьше.

На практике это даёт разработчику две крутые возможности:

1. Готовые модели разного размера. Google сразу предлагает две версии: E4B (эффективные 4 млрд параметров) и E2B (2 млрд). E2B — это не отдельная модель, а просто «извлечённый» слой из E4B, который работает до 2 раз быстрее. Можно выбрать, что важнее: производительность или скорость.
2. Создание кастомных моделей. С помощью техники "Mix-n-Match" можно самостоятельно «нарезать» модель нужного размера между E2B и E4B, подгоняя её под конкретные аппаратные ограничения. Это уже уровень серьёзного инженерного контроля, а не просто использование готового API.

Всё это дополняется технологией Per-Layer Embeddings (PLE), которая позволяет держать в быстрой памяти (VRAM) только ядро модели (2-4 млрд параметров), а остальные веса грузить из обычной оперативки.

Так, а для программиста что?

Хорошо, архитектура интересная, но в чём практическая польза?

Во-первых, и в-главных, улучшения в программировании и логических задачах. Во-вторых, полная автономность. Возможность запускать мощную модель локально — это киллер-фича.

• Приватность: Больше не нужно отправлять свой проприетарный или просто чувствительный код в облако какому-то дяде. Всё остаётся на вашей машине.
• Работа оффлайн: Можно пилить приложения, которые не зависят от интернет-соединения. Для мобильной разработки или утилит, работающих в закрытых корпоративных сетях, — это золото.
• Никаких API и rate-лимитов: Вы полностью контролируете модель. Никто не выставит вам внезапно счёт на тысячи долларов и не заблокирует доступ за превышение лимитов.

В-третьих, мультимодальность на практике. Представьте себе плагин для IDE, которому можно скормить скриншот ошибки из чужого приложения, и он предложит код для её исправления. Или голосовое управление разработкой, которое работает без лагов и задержек. С локальными мультимодальными моделями это перестаёт быть фантастикой.

Gemma 3n уже интегрирована в самые популярные инструменты, которые мы все используем:

• Hugging Face Transformers: качаете веса и вперёд.
• llama.cpp: для тех, кто любит максимальную производительность на CPU.
• Ollama: самый простой способ запустить модель локально одной командой.
• MLX: для яблочных энтузиастов с чипами Apple Silicon.

Google также выложила модели на Hugging Face и Kaggle, а для быстрых тестов есть Google AI Studio.

Падение с пьедестала: что говорят цифры

Давайте посмотрим на результаты исследования, в котором приняли участие почти 3 тысячи человек.

• Резкое падение: Если в 2023 году 72% опрошенных женщин видели в IT-специалисте идеального кандидата в мужья, то сегодня эта цифра упала до 27%.
• Новые лидеры: Пальму первенства перехватили врачи (43%) и стоматологи (38%). На третьем месте — предприниматели (36%).
• Причина падения: Основной контраргумент — «Да, доход хороший, но слишком уж привязан к своему компьютеру». Стереотип о богатом и умном партнёре сменился образом замкнутого и социально неадаптированного человека.
• Родительский (не)респект: В рейтинге «зятьёв, которых одобрит мама» айтишники оказались почти на дне, обогнав только артистов и музыкантов. Лишь 3% девушек верят в гордость родителей за «зятя-компьютерщика».

Почему так произошло?

1. Перенасыщение и девальвация. Когда «айтишником» становится каждый второй выпускник онлайн-курсов, ценность самого термина размывается. Из касты избранных IT-специалисты превратились в массовую профессию, как юристы и экономисты в 2000-х.
2. Реальность удалёнки. Пандемия и массовый переход на удалёнку сыграли злую шутку. То, что казалось преимуществом (работа из дома), обернулось социальной изоляцией.
3. Стабильность > Хайп. Эпоха дикого роста прошла. Зарплаты джунов уже не поражают воображение, а конкуренция высока как никогда. На этом фоне карьера врача или стоматолога, хоть и более сложная на старте, воспринимается как более стабильная и предсказуемая в долгосрочной перспективе.

Ключевые фишки (за что стоит попробовать)

Давайте по пунктам, чем эта штука хороша.

1. Почти бесплатные и щедрые лимиты

Это, пожалуй, главный вау-фактор. Просто залогинившись своим личным Google-аккаунтом, вы получаете до 1000 запросов в день и 60 запросов в минуту. Для сравнения, аналоги от OpenAI или Anthropic за такие объемы попросят денег. Для большинства повседневных задач этого хватит с головой.

2. Работа с кодом и большим контекстом

Контекст составляет 1 миллион токенов. Это значит, что вы можете «скормить» ему почти любую кодовую базу, и он сможет отвечать на вопросы по архитектуре, искать баги или предлагать рефакторинг, держа в голове весь проект.

3. Мультимодальность и взаимодействие с файлами

Gemini CLI может работать не только с текстом. Ему можно дать на вход PDF-файл с документацией или даже набросок интерфейса, и он попробует сгенерировать по нему приложение. Также он умеет работать с файлами на вашем диске: конвертировать картинки, организовывать документы и т.д.

4. Интеграция с реальным миром (MCP)

Это уже для продвинутых. CLI поддерживает MCP серверы. Говоря проще, это способ подключить к Gemini внешние инструменты. Google уже предоставил серверы для работы со своими генераторами медиа: Imagen (картинки), Veo (видео) и Lyria (музыка). Теоретически, можно написать свой сервер для интеграции с чем угодно, от Jira до вашего умного чайника.

5. Open Source

Код проекта выложен на GitHub под лицензией Apache 2.0. Это значит, что вы можете свободно его изучать, модифицировать и использовать в своих проектах.

Как начать?

Для начала вам понадобится Node.js версии 18 или выше.

Самый простой способ запустить — выполнить в терминале:

npx https://github.com/google-gemini/gemini-cli

Либо можно установить глобально:

npm install -g @google/gemini-cli

При первом запуске он попросит залогиниться через Google-аккаунт.

Пробуем 🐸

Кто не понял шутку — отмечайтесь в комментах 🌝

А чтобы эта шпаргалка всегда была под рукой, я подготовил и PDF-версию в высоком качестве (скачать можно здесь).

Три парадигмы машинного обучения

Всё ML-разнообразие можно условно поделить на три большие группы.

Обучение с учителем (Supervised Learning)

Это самый понятный и распространенный подход. У нас есть размеченные данные, где для каждого объекта известен правильный ответ. Алгоритм пытается найти закономерности, чтобы потом давать верные ответы на новых, невиданных ранее данных.

• Классификация: Предсказываем категорию. Спам или не спам? Уйдет клиент или останется?
• Алгоритмы: Логистическая регрессия, k-NN, SVM, Наивный Байес.
• Регрессия: Предсказываем конкретное число. Цена на квартиру, спрос на товар, погода.
• Алгоритмы: Линейная, Полиномиальная, Ridge, Lasso.

Обучение без учителя (Unsupervised Learning)

Здесь всё сложнее и интереснее. У нас есть данные, но без правильных ответов. Алгоритм должен сам найти в них какие-то скрытые структуры, закономерности и взаимосвязи.

• Кластеризация: Группировка похожих объектов. Например, сегментация клиентов по поведению.
• Алгоритмы: K-Means, DBSCAN, Mean-Shift.
• Снижение размерности: Упрощение данных без потери важной информации. Когда у вас сотни признаков, а для модели нужно всего несколько.
• Алгоритмы: PCA, t-SNE, LSA, LDA.

• Поиск ассоциаций: Поиск правил вида "если купили товар А, то часто покупают и товар Б". Классика — анализ рыночной корзины.
• Алгоритмы: Apriori, Eclat, FP-Growth.

Обучение с подкреплением (Reinforcement Learning)

Тут у нас есть "агент", который учится действовать в некой среде, получая "награды" и "штрафы" за свои действия. Его цель — максимизировать суммарную награду. На этом подходе работают автопилоты, игровые боты и торговые роботы.

• Популярные алгоритмы: Q-Learning, SARSA, DQN, A3C.

Продвинутые методы

Когда классических подходов не хватает, в дело вступают тяжеловесы.

Ансамблевые методы

Идея проста: если объединить несколько слабых моделей, можно получить одну, но очень сильную и точную.

• Бэггинг (Bagging): Модели учатся параллельно на разных подвыборках данных. Ключевой пример — Случайный лес (Random Forest).
• Бустинг (Boosting): Модели учатся последовательно, каждая новая исправляет ошибки предыдущей. Тут царят XGBoost, LightGBM и, конечно, CatBoost.
• Стекинг (Stacking): Результаты работы одних моделей становятся входными данными для другой, финальной мета-модели.

Нейросети и глубокое обучение (Deep Learning)

Та самая область, о которой сейчас кричат из каждого утюга. Используются для самых сложных задач с неструктурированными данными — изображениями, текстом, звуком.

• Свёрточные сети (CNN): Короли компьютерного зрения.
• Рекуррентные сети (RNN, LSTM): Созданы для работы с последовательностями (текст, речь, временные ряды).
• Трансформеры (BERT, GPT): Де-факто стандарт в NLP. На них работают все современные языковые модели.
• Генеративные сети (GAN, VAE): Умеют создавать новый контент — от фото и музыки до текстов.

Надеюсь, эта структура поможет вам лучше ориентироваться в мире машинного обучения.