AI 발전 과정 개념 잡기

🧠 1단계: 고전적 인공지능 (Symbolic AI 1980년대1990년대)

초기의 인공지능은 주로 규칙 기반 시스템과 **기호적 추론(Symbolic Reasoning)**에 의존했습니다.

• 예: ELIZA, SHRDLU
• 사람이 미리 짠 규칙(rule)과 지식 기반에 따라 동작
• 하지만 언어의 모호성, 상황적 맥락을 반영하기 어려워 한계가 명확했음
  
  🌟 **기호(Symbol)**는 단어, 숫자, 논리 기호 등 의미를 가진 단위이고,
  🌟 **추론(Reasoning)**은 이 기호들을 기반으로 논리 규칙을 따라 결론을 도출하는 과정입니다.

---

 

🔍 2단계: 통계 기반 자연어 처리 (~2000년대 초중반)

• n-gram 모델, HMM(Hidden Markov Model), SVM, Naive Bayes
• 텍스트를 수학적 확률 기반으로 분석
• 의미보다는 "단어 간 확률"에 집중
• 텍스트를 수치로 모델링하지만 의미(semantic) 이해 부족

---

 

🔹 3단계: Word2Vec과 의미 임베딩의 등장 (2013)

📌 Word2Vec (Google, Mikolov 팀)

• 단어를 벡터(수치화된 공간)로 변환하여 의미 연산 가능
• 대표적인 모델:
  • CBOW: 주변 단어로 중심 단어 예측
  • Skip-gram: 중심 단어로 주변 단어 예측
• 한계: 문맥 미반영, "bank(강)"과 "bank(은행)"이 같은 벡터

🔽 이어서 등장한 유사 기술:

기술발전 방향

GloVe (2014)	전역 통계 반영 (전체 말뭉치 기반)
FastText (2016)	부분 문자(n-gram) 사용 → 형태소 이해 가능

 

🔹 4단계: 문맥 기반 딥러닝 — RNN, CNN 기반 NLP (2010년대 중반)

 *  딥러닝의 도입과 CNN, RNN의 등장 (2010년대 초반)

📌 CNN (Convolutional Neural Networks)

• 주로 이미지 처리에 강했지만, 문장 분류(Text Classification)나 감정 분석 등 단기 의존 문제에서 사용됨
• 예: 문장을 벡터로 바꾼 후 CNN을 통해 특징 추출 → 감정 분류 등

📌 RNN (Recurrent Neural Networks)

• 순차적 데이터에 강점을 가진 구조로 자연어 처리에 핵심 기술로 자리잡음
• 시점(time-step) 간 정보를 전달하면서 문장 흐름을 이해
• LSTM, GRU 등으로 발전하며 장기 의존성 문제 일부 해결

🌟 당시엔 RNN 계열이 번역기, 챗봇, 음성 인식에서 혁신을 이끈 핵심 기술이었음

---

📌 ELMo (2018) — Word2Vec → 문맥 반영으로 진화

• 단어 위치, 문맥에 따라 벡터 동적 변화
• 하지만 여전히 RNN 기반이라 병렬처리 제한
•  

🔄 5단계. 반전의 시작: Transformer의 등장 (2017, Attention is All You Need)

   “Attention Is All You Need” 논문 발표

• Self-Attention 기반 구조 → 문맥을 병렬로 처리
• RNN 없이 문맥 이해 가능, 속도와 성능에서 압도적 우위

• 이후 BERT, GPT 등 초거대 사전학습 언어모델(PLM)의 탄생으로 이어짐

🔥 대전환의 순간

• BERT (2018): 문장의 양방향 맥락 이해
• GPT (2018~): 문장을 순차적으로 생성하면서 인간 수준의 텍스트 생성
• T5, RoBerta 등: 다양한 파생 모델 등장
• 기존의 RNN/CNN 기반 모델들은 점점 자취를 감추기 시작함 → 기술적 반전

---

🧩 6단계: 생성 + 검색 = RAG (Retrieval-Augmented Generation)의 탄생 (2020년대)

• GPT류 모델이 아무리 똑똑해도 지식 업데이트가 어려운 문제 존재
• RAG는 검색(Retrieval)과 생성(Generation)을 결합해 이를 보완
  • 질문 → 외부 지식 DB 검색 → 결과 기반 생성
  • 대표 예시: ChatGPT + 웹 검색, Bing Chat, Claude + 문서 업로드

🔽 RAG 구조 요약:

질문 → 문서 벡터 검색 → 관련 지식 추출 → 생성형 답변

📌 예시:

• ChatGPT + 웹 검색
• Bing Chat, Perplexity, Claude with Files

 

✅ RAG의 장점

• 최신 지식 반영 가능
• 더 신뢰할 수 있는 답변 제공
• 외부 문서를 직접 활용해 정확성 향상

---

📌 요약 – 자연어 처리 기술의 반전 역사

시기주요 기술특징

1980s~90s	규칙 기반	지식에 의존, 유연성 부족
2000s	통계 기반	수학적 모델링, 의미 이해 한계
2010s	CNN/RNN	딥러닝 기반, 순차 정보 처리
2017 이후	Transformer	병렬처리, 문맥 파악 우수
2020s	RAG	검색 기반 생성, 외부 지식 반영

 

---

이처럼 자연어 처리의 역사는 단어 단위의 확률 계산에서 시작해, 문장 맥락을 이해하고 생성하는 초거대 모델로 진화해왔습니다. 그리고 이제는 지식 기반 생성이라는 새로운 차원으로 접어든 것입니다.