Разработка LLM с нуля
- Суть
- Создание архитектуры GPT на PyTorch с нуля: токенизация BPE, внимание и обучение
- На выходе
- Проектировать современные языковые модели на базе архитектуры Трансформер; Реализовывать механизмы токенизации текста BPE; Программировать компоненты архитектуры GPT на низкоуровневом PyTorch; Подготавливать датасеты для обучения нейронных сетей; Настраивать циклы предварительного обучения (Pre-train) моделей
- Навыки
- токенизация BPE · программирование на PyTorch · подготовка датасетов · Pre-train моделей
- Кому подойдёт
- инженеры машинного обучения