Квантование для моделей GenAI
- Суть
- Оптимизация и сжатие генеративных моделей (GenAI) с помощью методов квантования на Python и PyTorch
- На выходе
- Оптимизация моделей ИИ для работы на ограниченных ресурсах; Работа с типами данных FP32, BF16 и INT8 в PyTorch; Реализация симметричного и асимметричного квантования; Применение методов обрезки и дистилляции знаний; Развертывание эффективных моделей на периферийных устройствах
- Навыки
- квантование моделей · Python · PyTorch · обрезка моделей · дистилляция знаний
- Кому подойдёт
- разработчики; Data Scientist’ы; инженеры машинного обучения