rasbt /LLMs-from-scratch

Пошаговый учебный код для создания языковой модели вроде ChatGPT с нуля на Python и PyTorch.

Это официальный код к книге «Build a Large Language Model (From Scratch)»: репозиторий показывает, как разработать, предобучить и дообучить GPT-подобную модель шаг за шагом, повторяя подход, применяемый при создании больших моделей уровня ChatGPT. Есть код для загрузки весов уже готовых крупных моделей и их дообучения — материал для разработчиков и исследователей, желающих разобраться в устройстве ИИ-моделей на практике.

Описание автора: Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

Jupyter Notebook★ 105 027создан 23 июля 2023форков 16 096
gptlarge-language-modelsllmpythonpytorchaiartificial-intelligencelanguage-model

Открыть на GitHub → Сайт проекта

Сколько звёзд прибавилось

Прирост по дням за 3 месяца

17 июня: ≈5718 июня: ≈5819 июня: ≈020 июня: ≈11721 июня: ≈5822 июня: ≈12623 июня: ≈10524 июня: ≈10725 июня: ≈9026 июня: ≈4627 июня: ≈7128 июня: ≈3129 июня: ≈7130 июня: ≈421 июля: ≈372 июля: ≈613 июля: ≈2134 июля: ≈395 июля: ≈1236 июля: ≈07 июля: ≈08 июля: ≈09 июля: ≈010 июля: ≈30511 июля: ≈38512 июля: ≈013 июля: ≈014 июля: ≈015 июля: ≈016 июля: ≈017 июля: ≈018 июля: ≈22519 июля: ≈020 июля: ≈021 июля: ≈77522 июля: ≈24723 июля: ≈024 июля: ≈025 июля: ≈026 июля: ≈027 июля: ≈26128 июля: ≈43429 июля: ≈030 июля: ≈031 июля: ≈01 августа: ≈02 августа: ≈03 августа: ≈04 августа: ≈05 августа: ≈06 августа: ≈07 августа: ≈5828 августа: ≈4799 августа: ≈32210 августа: ≈011 августа: ≈012 августа: ≈013 августа: ≈014 августа: ≈13115 августа: ≈016 августа: ≈017 августа: ≈018 августа: ≈13619 августа: ≈020 августа: ≈17021 августа: ≈6022 августа: ≈023 августа: ≈024 августа: ≈32925 августа: ≈026 августа: ≈027 августа: ≈028 августа: ≈029 августа: ≈030 августа: ≈031 августа: ≈01 сентября: ≈02 сентября: ≈03 сентября: ≈734 сентября: ≈775 сентября: ≈736 сентября: ≈887 сентября: ≈628 сентября: ≈09 сентября: ≈4210 сентября: ≈4411 сентября: ≈5212 сентября: ≈4913 сентября: ≈4314 сентября: ≈5215 сентября: ≈3117 июняиюльавгсент

Оценка по выборке GH Archive. Бледные столбцы — дни, история за которые ещё загружается.