AI 언어모델은 어떻게 이해할까? 프롬프트 엔지니어링 후기-토큰화와 후카츠 기법 실습

프롬프트 엔지니어링 4일차 수업은 지금까지 중 가장 인상 깊은 시간이었다.

단순히 AI에게 명령을 주는 법을 넘어서, AI가 인간의 언어를 어떻게 이해하고

해석하는지, 그 핵심 구조를 배운 날이기 때문이다.

오늘의 키워드는 단연 ‘토큰화(Tokenization)’와 ‘후카츠 기법’이었다.

---

AI가 언어를 이해하는 방식 – 토큰화란?

우리는 AI에게 글이나 질문을 주면 당연히 자연스럽게 이해할 거라고 생각한다.

하지만 언어모델은 글자나 단어를 ‘토큰(token)’이라는 단위로 잘게 쪼개서 이해한다.

이 과정을 ‘토큰화’라고 부르며, 자연어처리 NLP 시스템의 핵심 전처리 과정이다.

 

예를 들어 “인공지능은 놀랍다”는 문장은 하위단어 토큰화로 다음과 같이 분해될 수 있다

: [인, 공, 지, 능, 은, 놀, 랍, 다].
이런 방식이 바로 하위단어 기반 토큰화의 특징이며, GPT 모델이 채택하고 있는 토큰화 방식이다.

---

토큰화의 세 가지 방식

1. 문자 기반 토큰화
   문장을 글자 하나하나로 쪼갠다. 한국어, 일본어처럼 복잡한 문법을 가진 언어에서 유용하다.
   예: “사랑” → [사, 랑]
2. 단어 기반 토큰화
   띄어쓰기를 기준으로 나눈다. 영어처럼 띄어쓰기가 분명한 언어에 유리하다.
   예: “AI is smart” → [AI, is, smart]
3. 하위단어 기반 토큰화
   하나의 단어를 작은 서브워드로 쪼갠다. 새로운 단어, 오타, 신조어 등에 유연하게 대응할 수 있다.
   예: “챗GPT는 유용하다” → [챗, GPT, 는, 유, 용, 하, 다]

이처럼 토큰화의 방식에 따라 AI의 이해력과 표현력, 생성 콘텐츠의 품질까지 달라질 수 있다.

---

후카츠 기법 – AI 활용을 위한 고급 프롬프트 공식

이론을 배운 뒤, 우리는 후카츠 기법을 활용한 프롬프트 실습을 진행했다.
후카츠 기법은 크게 4가지 구성요소로 이뤄진다.

markdown

복사편집

 

#명령문 당신은 (역할)입니다.

아래의 제약조건과 입력문을 바탕으로 최고의 (목적 결과물)을 출력해줘.

 

#제약조건

- (조건1)

- (조건2)

 

#입력문

- (핵심 문제/상황 제시)

 

#출력물 - (원하는 형태: 예. 표 형식, 말하듯 설명, 1분 분량)

 

이 구조에 따라 프롬프트를 작성하면, GPT의 응답이 더 일관되고 실용적인 형태로 생성된다.

특히 GPT 토큰화 방식을 이해하고 후카츠 기법을 적용하면,

의도한 대로 반응하는 AI 사용법을 체득할 수 있다.

---

실습 예시 – 중학생 대상 상담 대화 만들기

프롬프트 예시

markdown

복사편집

#명령문 당신은 심리상담사입니다.

아래의 제약조건과 입력문을 바탕으로 최고의 상담 조언을 출력해줘.

 

#제약조건

- 중학생도 이해할 수 있게

- 1분 이내 분량으로

 

#입력문

- 친구가 날 왕따시키는 것 같아요

 

#출력물

- 말하듯 상담자의 말투로 서술해줘

 

생성된 결과 예시

“정말 마음이 힘들었겠어요.

혹시라도 그 상황이 계속된다면 믿을 수 있는 어른에게 꼭 이야기해요.

누구의 잘못도 아닌 상황에서 너의 마음이 다치지 않도록 도와주는

사람이 꼭 있을 거예요. 절대 혼자 감당하려 하지 않았으면 해요.”

이처럼 실제 실습을 통해 후카츠 기법을 응용하면, AI 콘텐츠를 사람 중심으로

다듬고 설계하는 역량을 키울 수 있다.

---

AI 윤리와 책임 – 할루시네이션에 대한 경계

마지막으로 다룬 주제는 "AI 윤리, 저작권, 그리고 할루시네이션(Hallucination)"이다.
AI가 만들어낸 콘텐츠가 사실처럼 보이지만, 실제와 전혀 다른 허위 정보를 포함하는

경우가 많다.

이런 현상은 사용자에게 혼란을 줄 수 있으며, 특히 AI 콘텐츠를 외부에 공개하거나

업로드할 때는 반드시 검수 과정이 필요하다.

또한, AI 생성 콘텐츠의 저작권과 책임 문제에 대해서도 분명한 기준이 요구된다.

GPT가 쓴 문장은 ‘내가 쓴 것’으로 착각하지 않도록, 출처 표기나 내용 확인은 기본이다.

---

🧩 결론 – 정확하고 윤리적인 AI 활용, 이제는 기본입니다

프롬프트 엔지니어링 4일차 수업은 단순한 도구 사용법을 넘어, AI가 작동하는 원리,

인간 중심 설계 방법, 그리고 책임 있는 활용법을 함께 배운 의미 있는 시간이었습니다.

하위단어 기반 토큰화의 특징, AI 콘텐츠 검수의 중요성, 후카츠 기법의 실전 응용은

향후 AI를 제대로 활용하기 위한 필수 지식이자, 프롬프트 설계자의 교양이라 할 수 있습니다.

---

✅ 마무리 요약표

항목                                       내용

주    제	프롬프트 엔지니어링 4일차 후기
핵심 키워드	토큰화, 후카츠 기법, 할루시네이션
실습 내용	후카츠 프롬프트 작성 및 결과 생성
응용 분야	블로그 글쓰기, 유튜브 대본, 상담 콘텐츠
주의사항	AI 콘텐츠는 반드시 검수하고 책임을 인식할 것

---