Обновлено:
ИИ-агент без права на последний клик: урок больницам
Команда разработчиков запретила ИИ-агентам необратимые действия в рабочей системе. Что из этого правила может взять больница, если внедряет ИИ-помощников.
ИИ-агенты — программы, которые не просто отвечают на вопросы, а сами выполняют шаги: правят документы, запускают проверки, готовят отчёты. Рано или поздно такие помощники появятся и в больничных информационных системах. Тогда встанет вопрос: что агенту разрешено делать самому, а что — только человеку? Практический ответ описала на Хабре команда, которая разрабатывает бизнес-модули на платформе ELMA 365. Это не медицинский проект, но подход легко переносится на больницу. Ниже — разбор для администраторов и старших медсестёр.
Правило «последнего клика»
По описанию автора статьи, агент может довести задачу почти до конца, но действия, которые меняют живую рабочую систему или не поддаются отмене, выполняет человек. Например, применить конфигурацию или сохранить секретные данные в другой системе. Дойдя до такой кнопки, агент останавливается и оставляет решение человеку.
Роли в команде разделены так:
- Человек решает архитектурные и бизнес-вопросы, отвечает за доступы, выбирает сроки и управляет любыми действиями в рабочей системе.
- Агент выполняет техническую работу: проверки, выгрузки, документацию. Людям он задаёт вопросы только о реальных решениях.
- Независимый агент-проверяющий оценивает результат, который сам не писал.
Среди мер контроля автор называет отдельную рабочую копию и журнал изменений для каждой задачи, доступ к рабочей системе только на чтение и проверку на тестовом сервере перед выпуском.
Почему «готово» не значит «работает»
Автор приводит поучительный случай. Новый договор в системе упал на шаге согласования, хотя все автоматические проверки прошли: платформа вела себя не так, как в тестах. Кроме того, агент может уверенно сообщить, что всё готово. Поэтому, пишет автор, нужна независимая проверка результата. Ещё одно наблюдение: некоторые действия платформы необратимы — например, бизнес-процесс нельзя удалить, его пришлось только переименовать и пометить. А когда одно из заданий противоречило реальному состоянию серверов, агент не выполнил его вслепую, а запросил решение у человека.
Что может взять больница
Это опыт одной команды разработчиков, а не исследование больниц. Выводы ниже — наши рассуждения.
- Заранее решите, какие действия агенту запрещены. Изменение карты пациента, отправка сообщений пациентам, правка расписания смен — естественные кандидаты на обязательное подтверждение человеком.
- Дайте агенту доступ только на чтение там, где это возможно. Это проще, чем разбираться в последствиях ошибки.
- Не принимайте фразу «всё готово» на веру. Проверку должен проводить кто-то другой, не тот, кто выполнял задачу.
- Назначьте ответственного. Кто именно нажимает «последнюю кнопку» и отвечает за результат — это вопрос должностных инструкций, а не технологии.
Коротко
- Команда на ELMA 365 ввела правило: ИИ-агент делает техническую работу, а необратимые действия в рабочей системе оставляет человеку.
- Успешные автоматические проверки не гарантировали, что результат работает; нужна независимая проверка.
- Для больницы это повод заранее определить, какие действия ИИ-помощнику запрещены и кто за них отвечает; это наш вывод, а не результат исследования больниц.
Источники
Материалы сайта носят общий информационный, исследовательский и образовательный характер и не заменяют медицинский диагноз или консультацию по конкретному пациенту.
Эта статья входит в серию
Данные и безопасность12 / 13