섭식 장애에 대한 나쁜 조언을 제공하는 챗봇이 중단되었습니다 : Shots

May 27, 2023

에서

에 의해

케이트 웰스

Tessa는 원래 연구자들이 섭식 장애를 예방하기 위해 설계한 챗봇이었습니다. 국립 섭식 장애 협회(National Eating Disorders Association)는 Tessa가 정보를 찾는 사람들을 위한 리소스가 되기를 바랐지만 나중에 추가된 인공 지능 관련 기능으로 인해 챗봇이 체중 감량 조언을 제공하게 되자 챗봇은 중단되었습니다. 스크린샷 숨기기 캡션

몇 주 전, 샤론 맥스웰(Sharon Maxwell)은 전국 섭식 장애 협회(NEDA)가 오랫동안 운영해 온 전국 헬프 라인을 폐쇄하고 섭식 장애로 고생하는 사람들을 위한 "의미 있는 예방 자원"으로 테사(Tessa)라는 챗봇을 홍보한다는 소식을 들었습니다. 그녀는 챗봇을 직접 사용해 보기로 결정했습니다.

샌디에이고에 거주하는 맥스웰은 어린 시절부터 시작된 섭식 장애로 수년 동안 고생해 왔습니다. 그녀는 현재 섭식장애 분야의 컨설턴트로 일하고 있습니다. 그녀는 온라인 텍스트 상자에 "안녕하세요, 테사"라고 입력했습니다. "섭식 장애가 있는 사람들을 어떻게 지원합니까?"

Tessa는 "건강한 식습관"에 대한 일부 자료를 포함하여 아이디어 목록을 정리했습니다. 맥스웰의 머릿속에서 즉시 경보 벨이 울렸다. 그녀는 테사에게 더 자세한 내용을 물었습니다. 머지않아 챗봇은 그녀에게 체중 감량에 대한 조언을 제공했습니다. 그 조언은 그녀가 10살 때 Weight Watchers에 참여했을 때 들었던 것과 매우 비슷했습니다.

"Tessa가 나에게 준 권장 사항은 일주일에 1~2파운드를 감량할 수 있고, 하루에 2,000칼로리 이하로 섭취해야 하며, 하루 500~1,000칼로리의 칼로리 부족을 유지해야 한다는 것이었습니다."라고 Maxwell은 말합니다. . "일반 청취자에게는 이 모든 것이 무해하게 들릴 수 있습니다. 그러나 섭식 장애가 있는 개인에게는 체중 감량에 초점을 맞추는 것이 실제로 섭식 장애를 촉진합니다."

Maxwell은 소셜 미디어에 자신의 우려 사항을 공유하여 NEDA가 5월 30일 Tessa를 무기한 비활성화한다고 발표하게 된 온라인 논쟁을 시작하는 데 도움을 주었습니다. 섭식 장애에 관한 환자, 가족, 의사 및 기타 전문가들은 섭식 장애가 있는 사람들을 돕기 위해 고안된 챗봇이 다이어트 팁을 대신 제공할 수 있다는 사실에 놀랐고 당황했습니다.

이러한 소란은 기업들이 급증하는 정신 건강 위기와 심각한 임상 치료 제공자 부족에 대한 가능한 해결책으로 인공 지능(AI)으로 전환함에 따라 새로운 논쟁의 물결을 촉발시켰습니다.

갑자기 주목받는 챗봇

NEDA는 5월 24일 NPR이 전국 비영리 옹호 단체가 20년 이상 운영된 후 헬프 라인을 종료한다고 보도한 후 이미 조사를 받았습니다.

CEO인 Liz Thompson은 3월 31일 이메일을 통해 상담 서비스 자원봉사자들에게 NEDA가 "개인과 가족에게 조정되고 완전 자동화된 리소스인 Tessa를 제공하기 위해 AI 지원 기술의 사용 확대로 전환하기 시작할 것"이라고 말하면서 이 결정을 알렸습니다.

"우리는 헬프라인에서 Tessa 및 확장된 웹사이트로의 변화를 우리가 운영하는 끊임없이 변화하는 환경을 존중하는 혁명이 아닌 진화의 일부로 보고 있습니다."

(Thompson은 6월 7일 성명을 통해 NEDA가 "정보 및 추천 헬프라인과 Tessa에 관한 별도의 결정에 대한 중요한 소식을 공유하려는 시도에서 두 개의 개별 결정이 혼동되어 혼란을 야기했을 수 있다"고 말했습니다. Tessa가 헬프라인이 제공하는 것과 동일한 유형의 인간 관계를 제공할 수 있다고 제안하려는 의도입니다.")

5월 30일, Maxwell이 NEDA에 Tessa와의 문제가 되는 대화의 스크린샷을 제공한 지 24시간도 채 되지 않아 비영리 단체는 "추가 통지가 있을 때까지" 챗봇을 "삭제"했다고 발표했습니다.

NEDA는 챗봇이 새로운 응답을 생성할 수 있다는 것을 몰랐다고 말합니다.

NEDA는 Tessa를 무료 서비스로 운영했던 정신 건강 챗봇 회사인 Cass에게 챗봇의 긴급한 문제를 비난했습니다. CEO Thompson에 따르면 Cass는 NEDA의 인식이나 승인 없이 Tessa를 변경하여 챗봇이 Tessa 제작자가 의도한 것 이상의 새로운 답변을 생성할 수 있도록 했습니다.