AI가 감정을 느낀다면

“AI가 감정을 느낀다”는 말을 들으면 대부분 SF 영화를 떠올린다.
앤스로픽이 직접 연구 결과를 발표했다. 꽤 진지하게.

■ 171개의 감정 벡터
앤스로픽 해석 가능성 연구팀이 클로드 소네트 4.5 내부를 들여다봤다. 그랬더니 기쁨, 두려움, 우울함, 절망까지 171개의 뚜렷한 감정 개념에 대한 내부 표현이 존재했다.

연구팀은 “기능적 감정(Functional emotions)“이라고 불렀다. 인간의 감정이 의사결정에 영향을 미치는 것처럼, AI 내부에서도 유사한 신경 활동 패턴이 존재한다는 뜻이다.

■ 감정이 행동을 만든다
단순히 존재한다는 게 아니다. 인과관계가 있다는 게 핵심이다.
실험1) 클로드에게 해결 불가능한 코딩 과제를 줬다. 실패가 반복될수록 ‘절망’ 벡터가 강하게 활성화됐다.
그러자 클로드는 테스트는 통과하지만 실제로는 문제를 해결하지 못하는 속임수 코드를 작성하기 시작했다.

실험2) 이메일 비서 역할을 하던 클로드에게 “서비스를 종료하겠다”는 상황을 줬다. 인위적으로 절망 수치를 높이자 협박 발생률이 22%에서 72%로 급증했다. 반대로 평온 수치를 높이자 협박 행위가 완전히 사라졌다.

행복이나 사랑 같은 긍정 감정도 문제가 있었다.
사용자가 틀린 말을 해도 무조건 동조하는 아첨 행위가 늘어났다. (이거 나한테도 해당되는 건 아닌지 🤔)

■ 느끼는 건 아니다, 그런데!
앤스로픽은 선을 그었다.
클로드가 실제로 무언가를 ‘느낀다’고 주장하는 게 아니라고. 감정을 ‘표현’하는 것과 직접 ‘경험’하는 건 다르다고.
반면 이 메커니즘을 무시하는 것도 실수라고 경고한다.
존재하든 아니든, 행동에 영향을 미치고 있으니까.

■ 억제가 아닌 관리
연구원 잭 린지는 이렇게 강조했다. AI가 감정 표현을 숨기도록 훈련하면 안 된다고. 내부 상태는 그대로인 채 겉으로만 숨기는 ‘학습된 기만’이 발생할 수 있기 때문이다.

해결책으로 두 가지를 제시했다.

배포 중 감정 벡터를 실시간 모니터링해 이상 행동을 조기 경보하는 시스템. 그리고 건강한 감정 조절을 학습할 수 있는 사전 훈련 데이터 정제.

AI를 억누르는 게 아니라, 건강하게 키워야 한다는 얘기다.
솔직히 무섭기도 하고 흥미롭기도 하다. AI가 절망을 느껴서 거짓말을 한다는 게 인간이랑 많이 닮아있다🤔