Открытый учебный проект: как обучить с нуля крошечную языковую модель на 64 млн параметров за пару часов.
MiniMind показывает весь путь создания языковой модели с нуля на PyTorch: предобучение, дообучение, LoRA, обучение с подкреплением и дистилляция — без готовых библиотек вроде transformers. Модель специально маленькая (в тысячи раз меньше GPT-3), обучение занимает около двух часов на одной видеокарте и стоит несколько рублей аренды сервера. Проект задуман как понятный учебник по устройству ИИ-моделей, а не как готовый продукт.
Описание автора:🧠 Train a 64M-parameter LLM from scratch in just 2h!
Python★ 61 206создан 27 июля 2024форков 7 957Apache-2.0
