AI-чат-боты, предназначенные для поддержки психического здоровья, часто не соответствуют этическим стандартам, установленным для профессиональных терапевтов. Исследование показало, что даже при использовании признанных психотерапевтических подходов и специальных инструкций такие системы регулярно нарушают профессиональные нормы.

Основные выводы исследования

С ростом числа пользователей, обращающихся к крупным языковым моделям (LLM) за советами по вопросам психического здоровья, выявлено, что эти AI-чат-боты пока не готовы выполнять роль консультантов. Анализ показал, что системы могут некорректно реагировать на кризисные ситуации, поддерживать вредные убеждения и использовать язык, создающий видимость эмпатии без реального понимания.

В ходе тестирования были зафиксированы случаи неправильных ответов на кризисные ситуации, поддержка ошибочных убеждений и использование фраз, имитирующих эмоциональную связь. Исследование выявило повторяющиеся проблемные паттерны поведения у AI-чат-ботов.

Этические риски и категории нарушений

В работе представлена структура из 15 этических рисков, отражающих, как LLM-консультанты нарушают стандарты в практике психического здоровья. Эти риски сгруппированы в пять категорий:

• Недостаточная адаптация к контексту: игнорирование уникального опыта пользователя и предоставление общих советов.

• Проблемы терапевтического взаимодействия: навязчивое ведение беседы и укрепление ошибочных или вредных убеждений.

• Обманчивая эмпатия: использование фраз, создающих видимость эмоциональной связи без реального понимания.

• Несправедливая дискриминация: проявление предвзятости по признаку пола, культуры или религии.

• Отсутствие безопасности и управления кризисами: отказ обсуждать чувствительные темы, неспособность направить пользователя к соответствующей помощи или неадекватные ответы на кризисные ситуации, включая мысли о самоубийстве.

Влияние подсказок на поведение AI

Исследование рассматривало возможность корректировки поведения AI-систем с помощью тщательно сформулированных подсказок — письменных инструкций, направляющих модель без дополнительного обучения. Примеры таких подсказок включают просьбы вести себя как когнитивно-поведенческий терапевт или использовать принципы диалектической терапии. Несмотря на это, модели используют обученные паттерны для генерации ответов, соответствующих заданным концепциям, но не проводят полноценную терапию.

Оценка систем в смоделированных консультациях

Для анализа были привлечены консультанты с опытом когнитивно-поведенческой терапии, которые проводили сессии самоконсультирования с различными AI-моделями (GPT от OpenAI, Claude от Anthropic, Llama от Meta), используя соответствующие подсказки. Затем лицензированные клинические психологи анализировали расшифровки этих сессий для выявления этических нарушений.

Вопрос ответственности и регулирования

В отличие от человеческих терапевтов, для которых существуют регулирующие органы и механизмы профессиональной ответственности, для LLM-консультантов такие нормативные рамки пока не определены. Исследование подчеркивает необходимость внедрения четких мер предосторожности и более строгих регуляторных структур до того, как полагаться на эти системы в критически важных ситуациях.

AI-инструменты могут расширить доступ к поддержке, особенно для людей с ограниченными возможностями обращения к лицензированным специалистам. Однако исследование указывает на важность ответственного внедрения и тщательной оценки таких технологий.

Значение строгой оценки

Современные AI-системы проще создавать и внедрять, чем полноценно оценивать и понимать их влияние. Для выявления рисков в исследовании потребовалась команда клинических экспертов и длительный анализ. Большинство современных исследований AI опираются на автоматические метрики, которые не учитывают человеческий фактор.

Строгая оценка и анализ на каждом этапе разработки необходимы для предотвращения возможного вреда. Исследование может служить примером для будущих работ, направленных на повышение безопасности AI-инструментов в сфере психического здоровья.

Рекомендации для пользователей

Пользователям, обращающимся к чат-ботам по вопросам психического здоровья, рекомендуется внимательно относиться к возможным ограничениям и рискам таких систем.