🧱 LegoGPT: Собираем LEGO силой ... нейросетей!

Помните, как в детстве часами корпели над инструкциями, собирая очередной замок или космический корабль из LEGO? А что, если я скажу, что теперь можно просто описать словами желаемую конструкцию, а нейросеть не только придумает её дизайн, но и убедится, что она не развалится от первого чиха, да ещё и инструкцию по сборке предоставит? 🤯

Именно это и обещают учёные из Университета Карнеги-Меллона со своим проектом LegoGPT. Это, по их словам, первый подход, позволяющий генерировать физически стабильные и реально собираемые модели из кубиков LEGO прямиком из текстовых промптов.

Как это работает? Из слов в кирпичики, с проверкой на прочность!

LegoGPT – это не просто генератор красивых картинок. Это куда более сложная система:

Понимает ваш замысел: Вы описываете, что хотите получить (например, "стол с плоской прямоугольной поверхностью на четырех равномерно расположенных ножках").
Проектирует конструкцию: Модель, обученная на специальном датасете StableText2Lego (который, кстати, тоже доступен), начинает "выкладывать" виртуальные кирпичики один за другим.
Анализирует стабильность: И вот тут начинается самое интересное! LegoGPT использует солвер Gurobi для проверки физической устойчивости получающейся конструкции. Учитывается гравитация, силы, действующие на соединения кирпичиков. Если какой-то кирпичик приводит к неустойчивости или коллизии – модель его "откатывает" и ищет другое решение.
Выдаёт результат: На выходе вы получаете:

Рендер готовой модели (.png).
Файл в формате LDraw (.ldr), который можно открыть в любом совместимом ПО для 3D-моделирования LEGO.
Текстовый файл (.txt) с точным списком всех кирпичиков и их координат – по сути, готовая инструкция для сборки.

Авторы утверждают, что уже успешно использовали сгенерированные инструкции для автоматической сборки моделей с помощью робо-рук. Будущее уже здесь, получается? 🤖

Технические детали для любознательных

Под капотом у LegoGPT – дообученная (fine-tuned) версия модели meta-llama/Llama-3.2-1B-Instruct. Да-да, это "закрытая" модель от Meta, так что для её использования потребуется запросить доступ и получить токен Hugging Face.

Что нужно для запуска:

Llama-3.2-1B-Instruct: Доступ и HF_TOKEN.
Gurobi: Для анализа стабильности. Академические лицензии бесплатны.
LDraw Parts Library: Для рендеринга.
Python-окружение: Используется uv (или pip) для управления зависимостями.

Установка подробно описана в README проекта, есть варианты как для запуска в виде отдельного проекта, так и для интеграции в свой код в качестве пакета.

Пример интерактивной сессии:
Разработчики предоставляют скрипт infer, который позволяет пообщаться с моделью:

> uv run infer
Enter a prompt, or <Return> to exit: Table featuring a flat rectangular surface over four evenly spaced legs.
Enter a filename to save the output image (default=output.png): output.png
Enter a generation seed (default=42): 42
Generating...
# ... (логи Gurobi и процесса генерации) ...
Finished generating in 63.53s.
Total # bricks: 59
Total # brick rejections: 98
Brick rejection reasons: {'collision': 5, 'already_rejected': 93}
Total # regenerations: 4
Saved results to /home/apun/LegoGPT/output.txt, /home/apun/LegoGPT/output.ldr, and /home/apun/LegoGPT/output.png
--------------------
Enter another prompt, or <Return> to exit:

Как видите, модель не просто генерирует, но и сообщает статистику по "отбракованным" кирпичикам и причинам отбраковки. Это даёт некоторое представление о сложности задачи для ИИ.

Не только генерация, но и текстурирование и дообучение!

Проект не ограничивается только генерацией геометрии:

Текстурирование: В репозитории есть код для генерации UV-текстур или назначения цвета каждому кирпичику.
Дообучение (Fine-tuning): Вы можете дообучить модель на своём собственном датасете LEGO-конструкций. Инструкции и скрипты для подготовки данных и запуска процесса также прилагаются. Это открывает простор для создания специализированных LegoGPT под конкретные типы моделей или стили.

Открытость – ключ к развитию!
Один из самых приятных моментов в проекте LegoGPT – его открытость. Разработчики предоставили:

Код: На GitHub под лицензией, которая, вероятно, будет разрешать модификацию и распространение (на момент написания точная лицензия в README не указана, но обычно такие университетские проекты идут с пермиссивными лицензиями).
Датасет: AvaLovelace/StableText2Lego на Hugging Face.
Модель: Веса дообученной модели также доступны.
Научная статья: Подробное описание подхода на ArXiv.
Это позволяет не только пользоваться готовым инструментом, но и исследовать, улучшать и адаптировать его под свои нужды.

Будущее LEGO-конструирования или просто забавная игрушка?

Конечно, пока рано говорить о том, что LegoGPT полностью заменит человеческую фантазию и инженерную смекалку при создании сложных LEGO-моделей. Однако сам факт того, что ИИ способен не просто "фантазировать" на тему, а генерировать физически осмысленные и собираемые конструкции, впечатляет.

Возможности применения:

Образование: Помощь в изучении физики, инженерии, пространственного мышления.
Прототипирование: Быстрое создание концептов из LEGO.
Развлечение: Новый способ взаимодействия с любимым конструктором для детей и взрослых.
Доступность: Для людей с ограниченными возможностями, которым сложно работать с мелкими деталями или следовать сложным инструкциям.

Конечно, есть и вопросы. Насколько хорошо модель справляется с действительно сложными и нестандартными запросами? Каковы ограничения по количеству деталей или сложности соединений? Насколько "креативными" получаются модели?

Где искать и что почитать:

🌐 Страница проекта: https://avalovelace1.github.io/LegoGPT/
🐙 Репозиторий GitHub: https://github.com/AvaLovelace1/LegoGPT
📄 Статья на ArXiv: https://arxiv.org/abs/2505.05469
🤗 Модель и датасет на Hugging Face: Модель (базовая), Датасет StableText2Lego
🕹️ Онлайн-демо (может быть перегружено): https://huggingface.co/spaces/cmu-gil/LegoGPT-Demo