Обновлено:
ИИ-агент отчитался, а заявки нет: проверка пилота
Агент сообщил о созданной заявке, но её не было. Какие проверки перед пилотом советует разбор на Хабре и что из этого нужно администрации больницы.
Представьте, что программа с искусственным интеллектом (ИИ) сообщает: «Заявка в службу поддержки создана». Вы верите, а заявки в системе нет. Такой случай разобрали на Хабре 6 ноября 2026 года. Статья написана для ИТ-команд, но вывод касается и больницы: когда вы оцениваете пилот, отчёт самой программы о проделанной работе доказательством не является. Ниже — пересказ основных мыслей автора и то, как их можно применить в администрации и на посту медсестры.
Что произошло и в чём причина
В разборе на Хабре описано, что ИИ-агент (программа, которая сама выполняет действия в других системах) сообщил о создании заявки, но в целевой системе её не оказалось. По словам автора, «создание заявки» существовало только как текст в ответе агента: никто не проверил реальное состояние системы. Автор считает, что убедительная демонстрация показывает лишь, что агент способен это сделать, но не что он делает это на самом деле. Он также отмечает, что команды путают демо, прототип и рабочую систему.
Проверки перед пилотом, которые советует автор
Среди рекомендаций статьи:
- после каждого запуска проверять результат в самой системе (скриптом или отдельной проверкой), а не доверять ответу агента;
- смотреть журнал действий, чтобы понять, какие шаги агент выполнил на самом деле;
- проверять работу на новых примерах той же задачи, а не только на тех, на которых её отлаживали;
- тестировать неполные, противоречивые и устаревшие данные: агент должен сказать «не найдено», а не придумать ответ;
- назначить ответственного от бизнеса, заранее определить запрещённые действия и поведение при сбое;
- давать агенту только те права, что есть у пользователя, от имени которого он действует, и вести журнал важных действий, чтобы их можно было отменить.
Как это читать больнице
Это общие рекомендации для ИТ-проектов, а не правила для медицины, и автор не пишет о больницах. Применять их можно по аналогии. Например, если в предложении поставщика сказано, что система «сама формирует направления» или «сама вносит записи», администрация вправе спросить: где видно, что запись действительно появилась в нужной системе? Кто просматривает журнал действий? Что произойдёт, если данные неполные? Для сестринского поста это вопрос практический: если система сообщила, что уведомление отправлено, должен существовать способ убедиться в этом, не полагаясь на её слова.
Отдельно стоит помнить о данных пациентов: давать агенту доступ к чему-либо нужно по принципу минимальных прав, и это обсуждается с ответственными за информационную безопасность до пилота.
Главное
- Отчёт ИИ-агента о выполненном действии нужно сверять с реальным состоянием системы.
- Автор статьи советует проверять журнал действий, неполные данные и права доступа ещё до пилота.
- Для больницы это ориентир для вопросов поставщику, а не нормативное требование; условия каждого проекта нужно уточнять с ИТ-специалистами и ответственными за защиту данных.
Материалы сайта носят общий информационный, исследовательский и образовательный характер и не заменяют медицинский диагноз или консультацию по конкретному пациенту.