Андрей Киселёв разбирает оценку качества AI-систем: вы научитесь читать трейсы, группировать ошибки и строить синтетические датасеты до появления пользовательского трафика. Другое название курса — «Оценка AI агентов». ## Что вы изучите Вы разберёте, как проектировать автоматические пайплайны оценки, тестировать многошаговых агентов, измерять качество Retrieval в RAG и встраивать эвалы в CI/CD. Анализ трейсов и кластеризация ошибок помогут определить, какие классы проблем исправлять в первую очередь. Курс охватывает оценку текста, изображений и многоходовых чатов. Вы также изучите, как связывать бизнес-метрики с метриками модели, строить таксономию ошибок и использовать оценку качества при принятии продуктовых решений. ## Кому подойдёт Курс рассчитан на AI / ML- и Backend-инженеров, product-менеджеров AI-продуктов, технических лидов и руководителей. Для практических заданий и интеграции фреймворков нужны базовые знания Python и понимание принципов работы с API LLM, например OpenAI. Принципы оценки применимы к open-source-моделям LLaMA и Mistral, а также к другим API, включая Anthropic. Руководители команд разберут выбор между готовыми платформами и собственной разработкой и организацию процессов оценки внутри команды. ## Формат и материалы Курс рассчитан на пять недель и занимает около 4–6 часов в неделю. В него входят пять сессий общей продолжительностью 7,5 часа, пять реальных кейсов, четыре проекта для портфолио и материалы. Все занятия записываются, поэтому их можно смотреть асинхронно. ## Об авторе Андрей Киселёв — Head of Product. Он создавал AI-продукты для продакшна: от первых RAG в небольших командах до платформ с миллионами вызовов агентов в день. Работал в Revolut и Yandex, где отвечал за внедрение AI-функций.