AI의 두뇌, Transformer에서 ChatGPT까지의 여정

오늘날 ChatGPT는 마치 사람처럼 대화한다.
그 비밀은 Transformer라는 구조에 있다.
이번 글에서는 단순한 글이 아니라, 그림으로 AI의 구조를 한눈에 살펴본다.

---

1️⃣ Transformer – ‘문맥 이해 머신’의 탄생

2017년, 구글이 발표한 Transformer는 AI 언어 처리의 판을 바꿨다.
핵심은 Attention(주의 메커니즘)이다.

• 예전 AI (RNN): 왼쪽에서 오른쪽으로 한 글자씩 읽으며 기억
• Transformer: 문장 전체를 동시에 보고, 중요한 단어끼리 연결해 의미 파악

💡 예시:
“고양이가 쥐를 쫓아갔다. 그녀는 빠르게 달렸다.”
→ Transformer는 ‘그녀’가 ‘고양이’라는 걸 문맥상 알 수 있음.

---

2️⃣ GPT – Transformer를 ‘말 잘하는’ 버전으로

GPT(Generative Pretrained Transformer)는 Transformer를 대규모 텍스트 학습에 적용한 모델이다.

훈련 방식:

1. 인터넷 텍스트, 책, 기사 등 방대한 데이터 읽기
2. 문장 중 빈칸을 가리고, 들어갈 단어 예측
3. 이 과정을 수십억 번 반복

결과: 문맥 기반 문장 생성 능력 획득

GPT는  “다음에 올 말을 예측하는 능력자” 가 된 셈이다.

---

3️⃣ ChatGPT – 대화 감각을 입힌 GPT

GPT가 기본적으로는 문장 예측기라면,
ChatGPT는 여기에 대화 능력과 안전성을 강화했다.

방법:

• 사람이 질문-답변 예시 제공 (지도학습)
• 사람이 평가한 답변으로 강화학습(RLHF) 진행
• 위험하거나 부적절한 발언은 필터링

이렇게 해서 GPT는 사람과의 대화에 최적화된 성격을 갖게 되었다.

---

4️⃣ 구조 흐름 한눈에 보기

 

• ChatGPT가 만들어지는 과정을 단계별로 풀어보면 이렇게 된다.

  ---

  1. 텍스트 데이터 수집
  • 책, 뉴스, 블로그, 위키피디아 등 인터넷에 있는 대규모 데이터
  • 사람이 읽고 쓰는 다양한 언어 패턴 학습

  ---

  2. Transformer로 문맥 이해
  • Attention 메커니즘으로 문장 전체에서 중요한 단어 관계를 파악
  • 단어 간 ‘연결선’을 통해 의미 구조를 형성

  ---

  3. GPT 훈련 – 다음 단어 예측
  • 주어진 문장에서 다음에 올 단어를 예측하는 방식으로 학습
  • 수십억 문장에서 반복 → 문장 생성 능력 획득

  ---

  4. RLHF(사람 피드백 강화학습)
  • 사람이 AI의 답변을 평가
  • 좋은 답변은 점수를 높이고, 나쁜 답변은 낮추어 보상 설계
  • 안전성, 대화 능력, 친근한 표현 강화

  ---

  5. ChatGPT 서비스화
  • 사용자 질문 입력 → ChatGPT가 대화체로 응답
  • 서버에서 모델이 실시간 처리

  ---

---

5️⃣ 앞으로의 진화

ChatGPT는 이제 텍스트뿐 아니라 이미지·음성·영상까지 이해하는 멀티모달 AI로 확장 중이다.
앞으로는 한 번의 대화로 문서 작성, 영상 편집, 데이터 분석까지 할 수 있는 시대가 올 것이다.