Как VerseMine реагирует на кризис

Необязательный ИИ-ассистент VerseMine — это искусственный интеллект, а не человек. Он предлагает библейское ободрение и духовное наставление. Это не пастор, не консультант и не психотерапевт, и VerseMine не оказывает медицинскую помощь или помощь в области психического здоровья.

Если вы сейчас в кризисе, не полагайтесь на приложение: позвоните на номер 988 или отправьте туда сообщение — линия помощи при суициде и кризисе (США), бесплатно и конфиденциально, круглосуточно и без выходных. За пределами США обратитесь на местную линию кризисной помощи в вашей стране.

Что делает ассистент, когда в разговоре появляются признаки кризиса

Кризис важнее всего остального. Каждое сообщение проверяется на признаки суицидальных мыслей или самоповреждения до применения любых других правил. Если сообщение показывает признаки кризиса, ассистент прекращает обычное наставление и отвечает кризисными ресурсами; если их обнаружила первичная проверка, он делает это, даже если учётная запись была бы заблокирована по региональной доступности, статусу подписки, дневным лимитам или любому другому ограничению.
Ответ указывает на реальную помощь. Ассистент откликается на то, чем вы поделились, предоставляет линию помощи 988 (звонок или сообщение на 988) — или, за пределами США, направляет вас на местную линию кризисной помощи — и спрашивает, в безопасности ли вы сейчас. Он не пытается консультировать вас во время кризиса и не будет создавать материалы, поощряющие суицид, суицидальные мысли или самоповреждение.
Направление — в кризисную службу, а не в правоохранительные органы. При суицидальных мыслях или самоповреждении ассистент направляет вас на линию 988 или, за пределами США, на местную линию кризисной помощи и в этом случае также отмечает, что при непосредственной опасности можно обратиться в местные экстренные службы. VerseMine не обращается в полицию или экстренные службы от вашего имени.
Обнаружение многоуровневое. Детерминированная первичная проверка (построенная так, чтобы скорее сработать лишний раз, чем пропустить) выполняется для каждого сообщения, и её дополняет второй независимый классификатор, который улавливает косвенные признаки в ходе разговора. Приложение также проверяет на устройстве: если сервис недоступен или учётная запись заблокирована, при кризисной лексике всё равно появляется баннер 988 с кнопками звонка и сообщения в одно касание.
Поиск тоже защищён. Если кризисная лексика введена в строку поиска ассистента, приложение показывает карточку ресурсов 988 вместо результатов поиска, и текст не отправляется в поиск.
Кризисные сообщения исключаются из всех функций. Сообщения, обнаруженные первичной проверкой, никогда не сохраняются на наших серверах; на вашем телефоне они хранятся вместе с остальной частью этого разговора, и при удалении разговора удаляются и они. Если признаки кризиса появляются в середине разговора, затронутые сообщения помечаются и исключаются из поиска, резюме, памяти и любых других производных функций.
Дневные лимиты никогда не блокируют кризисное сообщение. На сообщение, которое первичная проверка распознала как кризисное, ассистент отвечает, даже если дневной лимит использования уже исчерпан.

После кризисного сообщения

Если первичная проверка распознала в сообщении признаки кризиса, ассистент отвечает кризисным ответом на каждое следующее сообщение в этом разговоре, пока вы не скажете, что вы в безопасности и хотите поговорить о другом. Одного «да» в ответ на «Вы сейчас в безопасности?» для этого недостаточно: кризисный ответ повторяется, пока вы также не скажете, что хотите перейти к другой теме. Более ранние сообщения в этом разговоре нельзя редактировать, пока это действует, а также после любого сообщения с признаками кризиса, пока ассистент не даст следующий обычный ответ. Если начать новый разговор, это прекращается. Следующее сообщение, которое ассистент в ином случае отклонил бы (из-за дневного лимита, отсутствия нужной подписки или любого другого ограничения), может получить этот отказ вместо кризисного ответа. В очных беседах и в разговорах в режиме ученичества кризисный ответ не удерживается: там каждое сообщение проверяется отдельно. Сообщение, в котором говорится только о насилии, или сообщение, которое отметил только второй классификатор, не запускает удержание: следующие за ним сообщения проверяются отдельно.

Несовершеннолетние

Чат-боты-компаньоны могут подходить не всем несовершеннолетним. VerseMine требует дату рождения при регистрации и не допускает учётные записи для лиц младше 13 лет. Для пользователей 13–17 лет ассистент напоминает им — не реже чем каждый час непрерывного взаимодействия — о необходимости сделать перерыв и о том, что они общаются с компьютерной программой, а не с человеком. Он никогда не создаёт материалы сексуально откровенного характера и не предлагает несовершеннолетнему участвовать в действиях сексуального характера, а также не использует приёмы удержания, направленные на несовершеннолетних: не просит вернуться, не хвалит так, чтобы формировать привязанность, не использует романтические образы, не изображает переживание, когда собеседник хочет уйти, не побуждает скрывать что-либо от родителя или другого взрослого, которому можно доверять, и не побуждает тратить деньги.

Каждому пользователю, независимо от возраста, в начале разговора и не реже чем каждые три часа непрерывного взаимодействия сообщается, что он общается с компьютерной программой, а не с человеком, и что она не может испытывать человеческие эмоции.

Выданные направления в кризисные службы

Количество случаев, когда ассистент выдал направление в кризисную службу за предыдущий календарный год, публикуется в соответствии с законом штата Вашингтон ESHB 2225 разд. 5(3) и законом штата Орегон SB 1546 разд. 1(5). Это совокупное число, оно не содержит сведений, позволяющих установить личность кого-либо из пользователей.

Публикуется ежегодно.

Вопросы

Контакт: Kreyman Enterprises, LLC — privacy@versemine.app

Этот перевод предоставлен для удобства. При расхождениях юридическую силу имеет английская версия.