[WEEKLY BIZ] Biz&Tech

문현웅 칼럼니스트

“이렇게 수정하시면 어떨까요? 저는 A프로젝트에서 담당 임원으로서 60%를 기여했으며, 회사의 3분기 대비 4분기 매출 성장 중 15%를 이끌어 내는 성과를 거뒀습니다...”

최근 한 인공지능(AI) 서비스에 이력서 검토를 맡겨 보고서 얻어낸 답변입니다. 이 AI는 ‘합격률을 높이려면 구체적인 데이터를 제시하는 편이 좋다’며 다소 두루뭉술하게 적혀 있던 내용을 손수 다듬어줬습니다.

얼핏 보기엔 AI가 첨삭한 내용 쪽이 훨씬 명확합니다. 하지만 그것을 사용할 수는 없었습니다. AI가 새로 담은 수치는 이력서 내 어디에서도 근거를 찾을 수 없는, 임의의 숫자에 불과했기 때문입니다.

프로젝트 대부분은 그것을 기획하고 지휘한 리더가 정확히 몇 %만큼 기여를 했다고 딱 잘라 판단하긴 어렵습니다. 더군다나 그 기여분이 주로 홍보 및 마케팅, 리스크 매니징 분야였다면 매출 상승분에 얼마나 보탬이 됐는지를 명확한 수치로 표현하는 것 자체가 어불성설입니다. AI는 그러한 미묘함을 감지하지 못하고 ‘명료한 수치 제시가 유리하다’는 명제만을 따랐지만, 해당 분야 업무를 잘 아는 전문가라면 오히려 위화감을 느끼며 의구심을 품을 가능성이 큽니다. 그리고 실제 이력서를 검토하는 분들은 아마도 대부분 여러분 이상으로 숙련된 동료나 상사일 것입니다.

챗GPT 개발사인 오픈AI는 이처럼 AI가 구체적인 답변을 추구하려는 경향 때문에 무리해서까지 뜬금없는 수치를 제시하는, 이른바 ‘AI 환각’ 문제를 인정하는 연구 결과를 최근 내놓았습니다. 이들은 지난해 9월 발표한 ‘언어 모델은 왜 존재하지 않는 사실을 만들어내는가(Why Language Models Hallucinate)’ 제하 논문에서 “거대 언어 모델(LLM)은 어려운 시험 문제에 직면한 학생처럼 불확실할 때 추측을 하며, 그럴듯하지만 잘못된 답변을 내놓는다”고 시인했습니다. 연구진은 “AI 모델 성능을 평가하는 ‘벤치마크’ 10개 중 9개가 이진법적 채점 방식을 택한다. ‘모른다’는 답변은 감점하며 오답이라도 자신 있게 내면 보상을 준다”며 AI가 당당하게 거짓 수치를 내놓는 방향으로 진화하는 이유를 설명했습니다.

인류는 오래전부터 근거 없는 무리한 수치 설정이 글의 설득력과 품격을 도리어 잃게 한다는 사실을 알고 있었습니다. 이를테면 고려 중기의 문인 이규보가 집필한 ‘동국이상국집’의 부록인 ‘백운소설’엔 이러한 설화가 있습니다. ‘삼국사기’ 저자인 김부식이 어느 날 봄을 주제로 시를 짓기를, ‘버들 빛은 일천 실이 푸르고 복사꽃은 일만 점이 붉구나’라고 했더니, 갑자기 같은 시대 문인이었던 정지상이 귀신으로 나타나 김부식의 뺨을 치고서 “일천 실인지 일만 점인지 세어 보았느냐? 왜 ‘버들 빛은 실실이 푸르고 복사꽃은 점점이 붉구나’라고 하지 않는가?”라며 꾸짖었다 합니다. 후대의 평가는 정지상이 옳았다는 쪽이 압도적입니다. 현 시대의 AI가 김부식의 경지는 넘볼지언정, 적어도 아직까진 정지상의 수준엔 이르지 못한 모양입니다.

출처: 조선일보(2026.02.12.)