Структурированная обратная связь от пользователей: от дизлайков до тест-кейсов | Курс NVIDIA по а...

📘 Пройдите полный курс NCP-AAI на Udemy (с сертификатом об окончании): https://www.udemy.com/course/agentic-ai-professional-ncp-aai-complete-course/?couponCode=1C90D9DE57A4B749F710 ──────────── Как собирать подсчитанные отзывы пользователей: явные и неявные сигналы, запись обратной связи (ключ, оценка или значение, комментарий, исправление), обратная связь на отдельном шаге, фиксированные схемы, предварительно подписанные URL-адреса, конечная точка обратной связи NeMo Agent Toolkit и очереди аннотаций. В лаборатории служба поддержки получает журнал обратной связи, ответы с отрицательным отметкой «нравится» становятся новыми тестовыми примерами, и вы видите, что использует, а что не использует Data Flywheel Blueprint от NVIDIA. Код лабораторной работы (бесплатно): https://github.com/cloudbrdesign/ncp-aai-labs/tree/main/m06 Разделы 0:00 Почему структурированная обратная связь 0:49 Запись обратной связи 2:21 Экспертная оценка и цикл 3:00 Лабораторная работа: обратная связь в тестовом наборе 4:30 Мотор-колесо данных Источники (проверено 30 сентября 2026 г.): Ragas, использование обратной связи от пользователей: https://github.com/explodinggradients/ragas/blob/298b68274234c060deacab3cf5fb52aa3a20e885/docs/concepts/feedback/index.md Microsoft AI Agents for Beginners, агенты в производственной среде: https://github.com/microsoft/ai-agents-for-beginners/blob/25b7985f3b2dc37a84f4a7387ccd3c9f0e5b1595/10-ai-agents-production/README.md LangSmith, формат данных обратной связи: https://github.com/langchain-ai/docs/blob/264fdf88d3fc53d5d2397fadf3b6dba36b95dd0e/src/langsmith/feedback-data-format.mdx ЛэнгСмит, концепции оценки: https://github.com/langchain-ai/docs/blob/264fdf88d3fc53d5d2397fadf3b6dba36b95dd0e/src/langsmith/evaluation-concepts.mdx LangSmith, прикрепление отзывов пользователей: https://github.com/langchain-ai/docs/blob/264fdf88d3fc53d5d2397fadf3b6dba36b95dd0e/src/langsmith/attach-user-feedback.mdx LangSmith, критерии обратной связи: https://github.com/langchain-ai/docs/blob/264fdf88d3fc53d5d2397fadf3b6dba36b95dd0e/src/langsmith/set-up-feedback-criteria.mdx LangSmith, заранее подписанные токены обратной связи: https://github.com/langchain-ai/docs/blob/264fdf88d3fc53d5d2397fadf3b6dba36b95dd0e/src/langsmith/presigned-feedback-tokens.mdx ЛангСмит, отзыв агента о сервере: https://github.com/langchain-ai/docs/blob/264fdf88d3fc53d5d2397fadf3b6dba36b95dd0e/src/langsmith/agent-server-feedback.mdx LangSmith, очереди аннотаций: https://github.com/langchain-ai/docs/blob/264fdf88d3fc53d5d2397fadf3b6dba36b95dd0e/src/langsmith/annotation-queues.mdx LangSmith, согласование LLM-в качестве оценщика: https://github.com/langchain-ai/docs/blob/264fdf88d3fc53d5d2397fadf3b6dba36b95dd0e/src/langsmith/improve-judge-evaluator-feedback.mdx NeMo Agent Toolkit, конечные точки API-сервера: https://github.com/NVIDIA/NeMo-Agent-Toolkit/blob/c7e1162a1c7ff18bbd797e090a56cad97c281c92/docs/source/reference/rest-api/api-server-endpoints.md NeMo Agent Toolkit, наблюдение с помощью Weave: https://github.com/NVIDIA/NeMo-Agent-Toolkit/blob/c7e1162a1c7ff18bbd797e090a56cad97c281c92/docs/source/run-workflows/observe/observe-workflow-with-weave.md NeMo Agent Toolkit, наблюдение с помощью Data Flywheel: https://github.com/NVIDIA/NeMo-Agent-Toolkit/blob/c7e1162a1c7ff18bbd797e090a56cad97c281c92/docs/source/run-workflows/observe/observe-workflow-with-data-flywheel.md Глоссарий NVIDIA, Data Flywheel: https://www.nvidia.com/en-us/glossary/data-flywheel/ NVIDIA Data Ограничения архитектуры Flywheel Blueprint: https://github.com/NVIDIA-AI-Blueprints/data-flywheel/blob/4e5e71257051b85688edb14dbf3b2c6bd173fff7/docs/05-limitations-best-practices.md Архитектура архитектуры NVIDIA Data Flywheel Blueprint: https://github.com/NVIDIA-AI-Blueprints/data-flywheel/blob/4e5e71257051b85688edb14dbf3b2c6bd173fff7/docs/01-architecture.md Независимый курс. Не связан с NVIDIA и не одобрен ею. #NVIDIA #AgenticAI #NCPAAI