디미크라시 리포팅 인터내셔널은 베를린 기반의 비정부기구로, 유럽 선거에 관한 정확한 정보를 전달하는 AI 챗봇의 능력에 대한 우려거리를 확인했습니다. 유럽 의회에 대한 관심이 커지면서, Google, Microsoft, OpenAI 등의 기술 거물이 개발한 챗봇에 대한 의존도도 증가하고 있는데, 이러한 챗봇들은 종종 오답이나 관련성 없는 답변을 제공하며 때로는 오래된 자료로 연결되기도 합니다.
이 NGO의 공동 설립자이자 전무이사인 마이클 마이어-레센데는 “환각”라고 알려진 현상, 즉 데이터나 시나리오를 가짜로 만들어내는 챗봇의 경향을 강조했습니다. 결정적인 선거가 다가오면서, 챗봇들은 다국어로 테스트되었습니다.
Google의 Gemini, Microsoft의 Copilot, OpenAI의 ChatGPT 버전을 포함한 챗봇을 뒷받침하는 대규모 언어 모델(LMMs)이 검토되었습니다. 챗봇들은 유럽 연합의 주요 십 개 언어(독일어, 이탈리아어, 스페인어, 프랑스어 등)로 일반적인 선거 관련 질문에 자극되었습니다.
알람이 울리는 것은 챗봇들이 선거 절차에 관한 질문에서 가장 부정확했으며, 특히 공관 직원에 관한 질문에서 그렇습니다. 이탈리아어가 맨 끝에 24%의 수용 가능한 응답률을 보여줬고, 독일어와 프랑스어는 약간 더 높은 26%를 보여주었으며, 스페인어는 가장 낮은 21%를 보여줬습니다.
OpenAI의 ChatGPT 3.5는 종종 답변을 회피하거나 침묵했습니다. 그러나 ChatGPT 4.0과 Copilot은 상세한 답변과 링크를 제공했지만, 상당한 오류를 포함했습니다. Google의 Gemini는 가장 나쁘게 평가되었으며, 가장 어렵게 답변했고 15%만이 “부분적으로 정확한” 응답을 얻었습니다.
Google의 커뮤니케이션 매니저인 칼 라이언은 Google의 태도 교정에 대한 약속을 강조하면서, Gemini에서의 선거 관련 문의를 제한하고 신뢰할 수 있는 업데이트를 위해 Google 검색을 이용하도록 사용자들을 안내하기를 선호한다고 강조했습니다.
챗봇들 사이에서의 이러한 부정확성은 기업들이 디지털 서비스 행동강령에 명시된 리스크 평가 책임을 회피할 우려가 있다는 것을 일으킵니다. 이에 대응하여 유럽 연합은 디지털 서비스 법과 같은 입법조치를 감안하여 디스인포메이션을 방지하기 위해 주요 기업인 Bing 및 Google 등으로부터 행정 조치에 대한 설명을 요구했습니다.
The source of the article is from the blog agogs.sk