LLMOps & Evaluation: из песочницы в продакшн
- Суть
- Интенсивный курс по LLMOps и Evaluation для вывода LLM-приложений в надежный продакшн
- Уровень
- продвинутый
- На выходе
- Создание собственного фреймворка для всесторонней оценки LLM; Умение проектировать архитектуру LLM-приложений под высокие нагрузки; Навыки построения сложных пайплайнов с RAG и агентами; Настройка quality-гейтов в CI/CD и внедрение мониторинга дрейфа качества; Освоение генерации синтетических данных для тестирования моделей
- Навыки
- Работа с LangSmith и Ragas · Использование OpenAI Evals и PromptLayer · Построение RAG-пайплайнов · Внедрение LLM-based judges · Мониторинг латентности и затрат API · Генерация синтетических данных
- Кому подойдёт
- Инженеры; ML-разработчики; Архитекторы LLM-решений