AI에 대한 사람들의 신뢰는 위험하고 새로운 국면을 맞이하고 있습니다. 연구자들은 AI가 생성한 사진과 요약이 사람들의 기억을 성공적으로 왜곡하고 있다고 말합니다.
MIT 과학자 Pattie Maes는 Washington Post에 자신의 팀 연구에 관해 이야기했습니다. 참가자들은 일련의 사진을 보았고, 휴식 후 일부 참가자에게는 똑같은 사진이 보여졌고 다른 참가자에게는 AI가 변경된 버전이 표시되었습니다. 나중에 기억력 테스트를 했을 때, AI로 변경된 이미지를 본 사람들은 원본 이미지를 잘못 기억할 가능성이 더 높았을 뿐만 아니라, 자신의 잘못된 기억에 대해 지나치게 확신했습니다.
인간의 기억은 변덕스럽고 신뢰할 수 없으며 암시에 매우 개방적입니다. 이것은 19세기까지 거슬러 올라가는 심리학 실험에서 광범위하게 다루어졌습니다. 이것이 잘못된 정보를 특히 위험하게 만드는 이유이며, 일부 연구에서는 수정이 이루어진 후에도 정치적 결정을 포함한 의사 결정에 계속 영향을 미칠 수 있음을 보여줍니다.
인공지능의 도입은 이러한 역동성을 더욱 위태롭게 만들 뿐입니다. AI가 생성한 슬롭은 온라인에서 더욱 설득력 있고 매우 널리 퍼지고 있으며, 사기와 허위 정보의 새로운 물결을 촉진하고 강화해 왔습니다.
Maes 외에도 수많은 연구에 따르면 이러한 AI가 생성한 잘못된 정보는 참가자의 두뇌에 잘못된 기억을 심고 참가자가 사실이라고 알고 있는 것을 바꾸는 데 성공했습니다. 작년 연구에 따르면 딥페이크와 AI 생성 텍스트 모두 완전히 조작된 정치 스캔들에 대한 잘못된 기억을 심어 투표 의도를 감소시키는 것으로 나타났습니다.
AI가 악의적으로 사용되지 않더라도 진실에 잠재적으로 치명적인 영향을 미칠 수 있습니다. 생성 AI는 출력에서 환각이라고 불리는 실수를 저지르는 경향이 있기 때문입니다. 정부 기관, 은행, 군대, 병원 및 점점 더 많은 조직이 AI를 배포하기 위해 경쟁하면서 AI 시스템의 결과를 감사하는 문제에 대한 전문 지식을 갖춘 고위 인력인 “루프 속의 인간”에 대한 중요성이 공언되는 것을 듣게 될 것입니다. 인간의 감독하에 AI를 광범위하게 배치하면 군사 공격부터 기록 보관에 이르기까지 모든 프로세스의 속도를 높이는 동시에 AI로 인해 발생한 오류가 조치로 전환되어 실제 피해를 입히기 전에 이를 포착할 수 있을 것으로 생각됩니다.
그러나 연구에 따르면 사용자는 이러한 환각을 발견하는 데 특히 능숙하지 않습니다. 그리고 AI 시스템을 믿는 우리의 불규칙한 기억과 경향으로 인해 AI 시스템이 내놓은 내용이 루프에 있는 인간 전문가가 사실이라고 알고 있는 정보와 모순되는 경우에도 전문가는 판단이 왜곡될 수 있습니다.
이 문제를 해결하는 방법이 있을 수 있습니다. 현재 AI 생성 콘텐츠를 올바르게 식별하는 평균적인 사람의 능력은 기본적으로 동전 던지기라고 연구는 주장합니다. 그러나 수많은 연구자들은 인간이 딥페이크를 더 잘 발견할 수 있도록 돕는 개입 및 훈련 방법을 찾기 위해 노력하고 있습니다.
그러나 이러한 잘못된 경향을 바로잡을 수 있는 확실한 방법은 아직 없습니다. 전문가들이 이를 찾기 위해 고군분투하는 동안, AI 업계는 완전히 자율적으로 만들고자 하는 에이전트 AI 시스템을 통해 인간을 루프에서 제거하기 위해 앞장서고 있습니다.
이러한 불일치는 이미 치명적인 결과를 가져왔습니다. 올해 초 이란의 한 초등학교에 대한 미국의 군사 공격으로 최소 123명의 어린이를 포함해 150명 이상이 사망했습니다. 지난달 블룸버그가 보도한 국방부 내부 조사에 따르면 이번 공습은 부분적으로 팔란티어가 개발한 AI 시스템에 대한 과도한 의존으로 인한 것으로 결론지었는데, 이 시스템은 오래된 데이터로 인해 초등학교를 첫 번째 공격 목표로 추천했습니다.
