박상길 디노티시아 LLM 팀장·

'비전공자도 이해할 수 있는 LLM 수업' 저자

트랜스포머

3줄 요약

2017년 구글 논문으로 등장한 어텐션 기반 기술

인코더 중심 버트와 디코더 중심 GPT로 발전

번역 AI에서 출발해 챗GPT 핵심 기술로 사용

한 달이 멀다 하고 신기술이 쏟아지는 인공지능(AI) 업계에서 10년 가까이 자리를 지켜 온 핵심 기술이 있다면 믿어지나요? 챗GPT도, 제미나이도, 클로드도 모두 이 기술을 바탕으로 움직인답니다. 이름은 바로 ‘트랜스포머(Transformer·변화시키는 것)’예요.

번역 AI로 탄생한 트랜스포머는 빼어난 성능으로 AI 업계에서 ‘만능 변신 로봇’으로 여겨지곤 합니다. /정진호 작가

트랜스포머라고 하면 자동차가 로봇으로 변신하는 만화가 먼저 떠오르죠? 실제로 이 기술을 만든 구글 연구팀의 초기 설계 문서 표지에는 변신 로봇 캐릭터들이 그려져 있었대요. 하는 일과도 잘 어울리는 이름이에요. 트랜스포머는 원래 영어 문장을 독일어나 프랑스어로 바꾸는 번역 AI로 태어났거든요. 한 언어를 다른 언어로 ‘변신’시키는 셈이죠.

2017년 구글 연구진이 트랜스포머를 소개한 논문은 제목도 재치가 넘쳐요. ‘Attention Is All You Need’, 우리말로 ‘필요한 건 어텐션(집중)뿐’이라는 뜻인데요. 비틀스의 노래 ‘All You Need Is Love(필요한 건 사랑뿐)’를 흉내 낸 거예요. 어텐션은 문장 속 여러 단어 가운데 어디에 더 집중할지 스스로 골라내는 기술이에요. 그전까지 번역 AI는 단어를 앞에서부터 하나씩 차례로 읽어야 했는데, 트랜스포머는 문장 전체를 한눈에 보며 중요한 곳에 집중했죠.

실력은 대단했어요. 트랜스포머는 사실상 모든 번역 AI를 대체했고, 구글 번역이나 네이버 파파고 같은 서비스도 트랜스포머를 바탕으로 다시 태어났어요. 번역을 이렇게 잘하니, 다른 일도 잘할 수 있을 거라 생각하는 연구자가 늘어났어요.

트랜스포머는 크게 두 부분으로 나뉘어요. 문장을 읽고 뜻을 파악하는 ‘인코더’와, 그 뜻을 바탕으로 새 문장을 써 내려가는 ‘디코더’죠. 이 두 부분을 구글과 오픈AI는 서로 다른 방식으로 연구하기 시작했어요. 먼저 구글의 모델인 버트(BERT)는 인코더를 가져와 글을 이해하는 데 집중했어요. 국어 시험에서 지문을 읽고 문제를 푸는 것처럼요. 그리고 그 결과는 엄청났어요. 2018년 가을 버트가 처음 공개되자 학계가 발칵 뒤집혔어요. 11가지 언어 과제에서 모두 최고 점수를 기록했고, 일부 영역에서는 사람보다 높은 점수를 받았거든요.

오픈AI의 GPT는 반대로 디코더를 가져와 글을 지어내는 데 집중했어요. 당시 언어 이해 평가에서 압도적인 성과를 낸 버트에 가려, 글을 지어내는 GPT-1은 상대적으로 주목을 받지 못했어요. 하지만 오픈AI는 스스로 말을 만들어 내는 능력에 AI의 미래가 있다고 믿고 GPT를 꾸준히 연구해 나갔어요. 그렇게 탄생한 게 바로 지금 전 세계 사람들이 매일같이 쓰는 챗GPT랍니다. GPT의 ‘T’도 트랜스포머에서 따왔어요.

출처: 조선일보(2026.10.08.)