1. 사고 사슬(Chain of Thought) 개념의 이해와 중요성
기존의 언어 모델(GPT, T5 등)은 일반적으로 "입력-출력" 방식으로 작동합니다. 즉, 질문이 주어지면 모델이 직접적으로 답변을 생성합니다. 그러나 인간은 문제를 해결할 때, 문제를 이해하고, 단계별로 분해한 후, 점진적으로 추론하여 최종 답변에 도달하는 '단계적 사고' 과정을 거칩니다.
이러한 '단계적 사고' 과정을 언어 모델에 적용한 것이 바로 **사고 사슬(Chain of Thought, CoT)** 기술입니다. CoT는 모델이 인간처럼 단계별로 추론하도록 유도하여, 특히 수학 문제, 논리 문제, 복잡한 질의응답과 같은 **다단계 추론(multi-step reasoning)** 작업에서 성능을 획기적으로 향상시킵니다.
CoT 기술의 핵심은 모델이 최종 답변을 생성하기 전에 일련의 중간 추론 단계를 생성하도록 프롬프트를 설계하는 것입니다. 이는 복잡한 문제를 해결할 때 인간의 사고 과정을 모방하여 모델의 추론 능력을 극대화하는 방법입니다.
2. 대규모 언어 모델의 '사고' 과정 메커니즘
기본 원리
기존 프롬프트 방식과 CoT 프롬프트 방식을 비교해 보면 그 차이를 명확히 알 수 있습니다.
- 기존 프롬프트 (Direct): "Q: 기차가 시속 60km로 3시간 동안 달리면 얼마나 갈까요? A: 180km"
- CoT 프롬프트 (Step-by-step): "Q: 기차가 시속 60km로 3시간 동안 달리면 얼마나 갈까요? A: 기차는 한 시간에 60km를 달립니다. 3시간을 달리면 60 * 3 = 180km가 됩니다. 따라서 정답은 180km입니다."
위 예시에서 알 수 있듯이, CoT의 핵심은 자연어를 사용하여 명시적으로 모델의 사고 과정을 유도함으로써 모델 내부에 숨겨진 논리적 추론 능력을 활성화하는 것입니다.
따라서 CoT의 실행 과정은 다음과 같습니다:
[문제] → [모델에 추론 유도] → [중간 추론 단계] → [최종 답변]
CoT 기술은 프롬프트를 통해 모델이 중간 추론 단계를 생성하도록 유도합니다. 이 과정을 세 가지 단계로 요약할 수 있습니다:
- 문제 분석(Problem Parsing): 모델이 입력된 문제의 의미를 이해합니다.
- 단계별 추론(Step-by-step Reasoning): 논리적으로 연결된 일련의 중간 단계를 생성합니다.
- 답변 통합(Answer Integration): 생성된 중간 단계로부터 최종 답변을 추출합니다.
3. 사고 사슬 기술의 구현 원리
1. 프롬프트 엔지니어링(Prompt Engineering)
프롬프트 엔지니어링은 CoT 기술의 핵심 요소입니다. 모델이 중간 추론 단계를 생성하도록 유도하는 다양한 프롬프트 방식이 존재합니다.
- Few-Shot CoT: 프롬프트에 문제, 중간 추론 단계, 답변을 포함한 몇 가지 예시를 제공하여 모델이 추론 패턴을 학습하도록 합니다.
문제: 철수는 사과 5개를 가지고 있습니다. 영희에게 2개를 주고, 다시 3개를 샀습니다. 현재 철수는 사과를 몇 개 가지고 있습니까? 추론: 철수는 처음에 5개의 사과를 가지고 있었습니다. 영희에게 2개를 주면 5 - 2 = 3개가 남습니다. 그 후 3개를 샀으므로 현재 3 + 3 = 6개의 사과를 가지고 있습니다. 답변: 6개 문제: 가게에 수박이 10개 있습니다. 오전에 4개를 팔고, 오후에 7개를 추가로 입고 받았으며, 저녁에 3개를 팔았습니다. 현재 가게에 남은 수박은 몇 개입니까? 추론: 가게에 처음에 10개의 수박이 있었습니다. 오전에 4개를 팔고 남은 수박은 10 - 4 = 6개입니다. 오후에 7개를 입고 받으면 6 + 7 = 13개가 됩니다. 저녁에 3개를 팔면 최종적으로 13 - 3 = 10개의 수박이 남습니다. 답변: 10개 문제: 어떤 수에 5를 더하고, 3을 곱한 다음, 4를 빼고, 마지막으로 2로 나누었더니 결과가 10이 되었습니다. 이 수는 얼마입니까? 추론: - Zero-Shot CoT: 문제 뒤에 "단계별로 생각해 봅시다(Let's think step by step)"와 같은 고정된 프롬프트를 추가하여 모델 스스로 추론 과정을 생성하도록 유도합니다.
문제: 오늘이 화요일이라면, 100일 후는 무슨 요일입니까? 단계별로 생각해 봅시다: - Self-Consistency (자가 일관성): 여러 가지 가능한 추론 사슬(Chain of Thought)을 생성한 후, 가장 일관된 답변을 투표를 통해 선택합니다. 이 방법은 답변의 정확성과 신뢰성을 크게 향상시킵니다.
2. 추론 과정의 분해 및 조합
CoT 기술의 또 다른 핵심은 복잡한 문제를 여러 개의 단순한 하위 문제로 분해하고, 각 하위 문제의 답을 조합하여 원래 문제를 해결하는 것입니다. 예를 들어, 수학 응용 문제는 문제 이해, 핵심 정보 추출, 해결 방법 선택, 계산 실행 등 여러 단계로 분해될 수 있습니다. 각 단계는 하나의 하위 문제로 간주되며, 이를 순차적으로 해결함으로써 최종적으로 원래 문제의 답을 얻습니다.
3. 검증 및 수정 메커니즘(Verification & Correction)
추론 사슬 생성 과정에서 검증 및 수정 메커니즘은 각 추론 단계의 정확성을 보장하는 역할을 합니다. 예를 들어, 검증기(validator)를 설계하여 각 추론 단계의 논리적 타당성을 검사하거나 중간 결과가 특정 제약 조건을 충족하는지 확인할 수 있습니다. 오류가 발견되면 오류를 수정하거나 추론 단계를 다시 생성하도록 시도할 수 있습니다.
4. Python을 활용한 대규모 언어 모델 사고 사슬 구현
아래에서는 OpenAI의 GPT 모델을 기반으로 Few-Shot CoT와 Zero-Shot CoT 방식을 구현하는 간단한 사고 사슬 시스템을 Python으로 작성합니다.
먼저 필요한 라이브러리를 설치합니다.
pip install openai다음은 사고 사슬 추론기의 전체 구현 코드입니다.
import openai
import os
from typing import List, Dict, Any, Optional
from collections import Counter
# OpenAI API 키 설정
openai.api_key = os.environ.get("OPENAI_API_KEY")
class ChainOfThoughtReasoner:
def __init__(self, model_name: str = "gpt-3.5-turbo"):
"""
사고 사슬 추론기 초기화
Args:
model_name: 사용할 OpenAI 모델 이름
"""
self.model_name = model_name
def generate_chain(self,
question: str,
examples: Optional[List[Dict[str, str]]] = None,
zero_shot_prompt: str = "Let's think step by step.",
temperature: float = 0.7,
max_tokens: int = 500) -> str:
"""
사고 사슬을 생성하고 답변을 얻습니다.
Args:
question: 해결할 문제
examples: Few-Shot CoT 예시 리스트 (각 예시는 "question", "reasoning", "answer" 키를 가짐)
zero_shot_prompt: Zero-Shot CoT에 사용할 프롬프트
temperature: 생성 다양성 조절 파라미터
max_tokens: 최대 생성 토큰 수
Returns:
사고 사슬과 답변을 포함한 텍스트
"""
prompt = self._build_prompt(question, examples, zero_shot_prompt)
response = openai.ChatCompletion.create(
model=self.model_name,
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=max_tokens
)
return response.choices[0].message.content
def _build_prompt(self,
question: str,
examples: Optional[List[Dict[str, str]]] = None,
zero_shot_prompt: str = "Let's think step by step.") -> str:
"""프롬프트 텍스트를 구성합니다."""
if examples:
prompt = "다음은 문제와 해결 예시입니다:\n\n"
for ex in examples:
prompt += f"문제: {ex['question']}\n"
prompt += f"추론: {ex['reasoning']}\n"
prompt += f"답변: {ex['answer']}\n\n"
prompt += f"문제: {question}\n추론:"
else:
prompt = f"{question}\n{zero_shot_prompt}"
return prompt
def self_consistency(self,
question: str,
examples: Optional[List[Dict[str, str]]] = None,
zero_shot_prompt: str = "Let's think step by step.",
temperature: float = 0.7,
max_tokens: int = 500,
num_samples: int = 3) -> str:
"""Self-Consistency 방식을 사용하여 여러 추론 경로를 생성하고 가장 일관된 답변을 선택합니다."""
samples = [self.generate_chain(question, examples, zero_shot_prompt, temperature, max_tokens)
for _ in range(num_samples)]
answers = []
for sample in samples:
lines = sample.strip().split('\n')
last_line = lines[-1] if lines else ""
# "답변:"으로 시작하는 부분을 찾습니다.
if last_line.startswith("답변:"):
answers.append(last_line[3:].strip())
else:
answers.append(last_line.strip())
most_common = Counter(answers).most_common(1)
return most_common[0][0] if most_common else "답변을 결정할 수 없습니다."
Few-Shot CoT 예제
수학 문제를 Few-Shot CoT 방식으로 해결합니다.
reasoner = ChainOfThoughtReasoner()
math_examples = [
{
"question": "철수는 사과 5개를 가지고 있습니다. 영희에게 2개를 주고, 다시 3개를 샀습니다. 현재 철수는 사과를 몇 개 가지고 있습니까?",
"reasoning": "철수는 처음에 5개의 사과를 가지고 있었습니다. 영희에게 2개를 주면 5 - 2 = 3개가 남습니다. 그 후 3개를 샀으므로 현재 3 + 3 = 6개의 사과를 가지고 있습니다.",
"answer": "6개"
},
{
"question": "가게에 수박이 10개 있습니다. 오전에 4개를 팔고, 오후에 7개를 추가로 입고 받았으며, 저녁에 3개를 팔았습니다. 현재 가게에 남은 수박은 몇 개입니까?",
"reasoning": "가게에 처음에 10개의 수박이 있었습니다. 오전에 4개를 팔고 남은 수박은 10 - 4 = 6개입니다. 오후에 7개를 입고 받으면 6 + 7 = 13개가 됩니다. 저녁에 3개를 팔면 최종적으로 13 - 3 = 10개의 수박이 남습니다.",
"answer": "10개"
}
]
question = "어떤 수에 5를 더하고, 3을 곱한 다음, 4를 빼고, 마지막으로 2로 나누었더니 결과가 10이 되었습니다. 이 수는 얼마입니까?"
response = reasoner.generate_chain(question, examples=math_examples)
print("Few-Shot CoT 결과:")
print(response)
consistent_answer = reasoner.self_consistency(question, examples=math_examples, temperature=0.8, num_samples=5)
print(f"\nSelf-Consistency 결과:")
print(f"답변: {consistent_answer}")
Zero-Shot CoT 예제
논리 추론 문제를 Zero-Shot CoT 방식으로 해결합니다.
logic_question = "오늘이 화요일이라면, 100일 후는 무슨 요일입니까?"
response = reasoner.generate_chain(logic_question)
print("Zero-Shot CoT 결과:")
print(response)
consistent_answer = reasoner.self_consistency(logic_question, temperature=0.8, num_samples=5)
print(f"\nSelf-Consistency 결과:")
print(f"답변: {consistent_answer}")
5. Few-Shot CoT와 Zero-Shot CoT 비교 분석
Few-Shot CoT (소수 샷 사고 사슬)
- 장점:
- 특정 영역의 추론 패턴을 예시를 통해 학습하여 추론 정확도를 높일 수 있습니다.
- 복잡한 작업이나 특정 도메인 문제에 효과적입니다.
- 예시 설계를 통해 추론 과정과 답변 형식을 제어할 수 있습니다.
- 단점:
- 예제를 수동으로 설계하고 준비해야 하므로 작업량이 큽니다.
- 예제의 품질과 대표성이 모델 성능에 직접적인 영향을 미칩니다.
- 문제 도메인이 달라지면 새로운 예제를 설계해야 합니다.
- 적용 시나리오: 높은 정확도가 요구되는 복잡한 문제, 특정 도메인의 지식과 추론 패턴이 필요한 경우.
Zero-Shot CoT (제로 샷 사고 사슬)
- 장점:
- 예제 준비가 필요 없어 사용이 간편하고 빠른 적용이 가능합니다.
- 다양한 도메인의 문제에 적용할 수 있는 강력한 범용성을 가집니다.
- 수동 프롬프트 설계 작업을 줄여줍니다.
- 단점:
- 생성된 추론 사슬의 품질이 Few-Shot CoT에 비해 낮을 수 있습니다.
- 프롬프트 선택에 민감하며, 다른 프롬프트는 다른 결과를 초래할 수 있습니다.
- 모델이 관련 없거나 잘못된 추론 단계를 생성할 수 있습니다.
- 적용 시나리오: 빠른 프로토타입 개발, 다양한 도메인의 문제, 엄격한 답변 형식이 필요 없는 경우.
6. 자가 일관성 메커니즘 (Self-Consistency)
Self-Consistency는 여러 개의 사고 사슬을 생성하고 투표를 통해 가장 일관된 답변을 선택하는 방법입니다. 이는 모델이 잘못된 답변을 생성할 확률을 줄이고, 여러 추론 경로가 가능한 문제에 대해 다양한 관점을 통합하여 결과의 안정성과 신뢰성을 높입니다.
앞서 구현한 `self_consistency` 메서드는 이 메커니즘을 구현합니다. 높은 `temperature` 값은 더 다양한 추론 경로를 생성하여 투표 결과의 신뢰성을 높일 수 있습니다.
7. 사고 사슬 기술의 한계와 미래 방향
한계점
- 모델 능력 의존성: 모델 자체의 논리적 추론 능력이 부족하면 단계가 많아도 오류가 발생할 수 있습니다.
- 단계 중복 및 오류: 모델이 관련 없거나 잘못된 중간 단계(예: 계산 오류)를 생성할 수 있습니다.
- 효율성 문제: 단계별 추론은 더 많은 계산 자원과 시간을 필요로 하여 응답 시간이 길어질 수 있습니다.
미래 방향
- 자동화된 프롬프트 엔지니어링: 수동 설계 작업을 줄이기 위해 최적의 프롬프트를 자동으로 생성하는 방법 연구.
- 검증 및 수정 메커니즘 고도화: 추론 과정의 신뢰성과 정확성을 높이기 위한 고급 검증 및 수정 기술 개발.
- 다중 모달 사고 사슬: 이미지, 비디오 등 다양한 데이터 유형으로 CoT 기술 확장.
- 강화 학습과의 통합: 복잡한 의사 결정 및 추론 작업을 위한 강화 학습과 CoT의 결합 연구.
- 도메인 특화 모델: 특정 분야(예: 의료, 법률)에 특화된 전용 사고 사슬 모델 개발.
사고 사슬 기술은 대규모 언어 모델의 복잡한 추론 능력을 향상시키는 강력한 도구입니다. Few-Shot CoT와 Zero-Shot CoT 방식을 적절히 활용하고, Self-Consistency와 같은 기술을 결합하여 더욱 정확하고 신뢰할 수 있는 추론 시스템을 구축할 수 있습니다.