Forget python, it turned out that spreadsheet is all you need
Сложно понимать, как писать нейронки на Python?
Автор этого безумного проекта подумал: раз уж вся суть LLM — это последовательные матричные вычисления, то почему бы не перенести их в среду, которая для этого и создана? В электронную таблицу.
В результате получился полностью интерактивный пайплайн нейросети, где можно отследить путь данных от самого входа до финальных логитов. Никакого Python, никакого PyTorch. Только ячейки и формулы.
А что внутри? Неужели полноценный трансформер?
Да, практически. Проект основан на архитектуре nanoGPT Андрея Карпатого и включает все ключевые компоненты:
- Токенизацию и эмбеддинги
- Нормализацию слоёв (Layer Norm)
- Self-attention (сердце трансформера)
- Проекцию и MLP-блоки
- Softmax и логиты
Единственный нюанс: в таблице нет предобученных весов. Все параметры либо нулевые, либо случайные. Но это не бага, а фича. Цель — не получить готовый результат, а понять процесс. Автор даже предлагает вам самим найти веса nanoGPT и вставить их в таблицу, чтобы всё заработало «как надо».
И никаких запутанных классов и абстракций, только цветные ячейки:
🟣 Фиолетовые — параметры модели, которые можно крутить.
🟢 Зелёные — данные, которые текут по пайплайну.
🟠 Оранжевые — промежуточные расчёты для ясности.
"Забудьте Python, оказалось, что всё, что вам нужно — это электронная таблица".
А вы говорите, что табличные редакторы дата-сайентистам уже не нужны 🌝