AI는 어떻게 지금의 모습이 되었을까: 규칙에서 학습·생성·에이전트까지

앞선 연재에서는 광고 캠페인 성과 진단기를 직접 만들었습니다. JSON으로 데이터를 받고, 잘못된 값을 검증하고, 지표를 계산한 뒤 조건문으로 목표 달성 여부를 판정했죠.

그 프로그램은 사람이 먼저 기준을 정한 시스템이었습니다.

ROAS가 목표 이상이고 CPA가 목표 이하라면
→ 목표 달성

그렇다면 여기에 AI를 연결하면 무엇이 달라질까요? AI는 조건문을 더 많이 적은 프로그램일까요, 아니면 데이터에서 무언가를 배우는 프로그램일까요?

‘ChatGPT’ 같은 생성형 AI와 ‘알파고’ 같은 강화학습 시스템은 같은 종류일까요?

AI를 제대로 활용하려면 먼저 AI와 관련된 흐름을 잘 이해하고 있어야 해요. 그래야 어떤 문제는 명확한 규칙으로 풀고, 어떤 문제는 머신러닝에 맡기며, 어떤 문제에 생성형 AI나 에이전트가 필요한지 구분할 수 있으니까요.

한 문장으로 AI는?

AI는 인간의 지능적인 행동을 기계로 구현하려는 가장 큰 분야이고, 머신러닝은 데이터에서 패턴을 배우는 AI의 한 방법이며, 딥러닝은 다층 신경망을 사용하는 머신러닝의 한 방법입니다.

대체로 이렇게 관계가 알려져있죠.

AI
└── 머신러닝 ML
    └── 딥러닝 DL

하지만 조금 더 깊이 공부해보면 그 관계가 언제나 맞는건 아니에요.

• 사람이 논리와 규칙을 직접 넣는 심볼릭 AI도 AI
• 보상을 최대화하는 행동을 배우는 강화학습은 머신러닝의 한 방식, 그러나 반드시 딥러닝을 쓰는건 아님
• 오늘날의 생성형 AI는 대부분 딥러닝 기반임. 그러나 생성형 AI와 딥러닝은 같은 뜻이 아님
• 최신 AI 시스템은 신경망 하나로 끝나지 않고 검색·도구·규칙·메모리·사람의 승인 절차를 함께 사용함

AI는 서로 다른 문제 해결방식을 조합하고, 실험하고, 때론 한계를 드러내고, 그럴 때마다 새로운 기술들로 극복해오면서 계속 발전해왔어요.

그런데 AI라는 말, 요즘에서야 쓰는 말이었을까요?

1950년대 : 지능은 규칙으로 환원 가능하다!(고 믿음)

1955년 존 매카시·마빈 민스키·너새니얼 로체스터·클로드 섀넌은 이듬해 열릴 [다트머스 연구 프로젝트](<https://ojs.aaai.org/aimagazine/index.php/aimagazine/article/view/1904/0)를 제안하며 Artificial Intelligence라는 이름을 사용했습니다. 제안의 출발점은 학습과 지능의 특징을 충분히 정확하게 기술하면 기계가 이를 모사할 수 있다는 생각이었습니다.

초기 AI의 중심에는 기호와 논리가 있었죠. 이는 세상의 지식을 기호로 표현하고, 사람이 작성한 규칙을 따라 결론을 도출하는 방식입니다. 이를 심볼릭 AI(Symbolic AI) 또는 규칙 기반 AI라고 부릅니다.

사실: 이 고객은 최근 30일 동안 구매하지 않았다
사실: 장바구니에 상품이 남아 있다
규칙: 두 조건을 모두 만족하면 재구매 메시지 대상이다

심볼릭 AI의 장점은 판단 근거가 분명하다는 것입니다. 왜 이 고객이 대상이 되었는지 규칙을 따라 설명할 수 있고, 법무·보안·가격 정책처럼 반드시 지켜야 하는 조건을 정확하게 적용할 수 있어요.

반면 현실의 모든 상황을 사람이 규칙으로 미리 적기는 어렵습니다. “이 리뷰는 불만인가?”, “이 이미지는 어떤 분위기인가?”, “다음 달 이탈 가능성이 높은 고객은 누구인가?”과 같이 경계를 흐리는 문제 앞에선, 정의를 하는 것 자체가 복잡함을 높이는 일일 뿐이죠.

1970-80년대: 규칙의 한계를 느끼다. AI 겨울의 시작

1970~80년대에는 특정 분야 전문가의 지식을 수많은 if-then 규칙으로 옮긴 전문가 시스템이 주목받았습니다. 의료 진단이나 장비 설정처럼 범위가 정해진 문제에서 실제로 유용한 가치를 만들었죠.

그러나 지식을 규칙으로 추출하고 계속 갱신하는데 드는 비용이 너무나도 커졌습니다. 예외가 늘어날수록 규칙끼리 충돌했고, 처음 보는 상황에 유연하게 대응하기도 어려웠죠. 기대에 비해 컴퓨팅 파워와 성능은 떨어졌고, 데이터 역시 부족했습니다. 그러자 1950년대부터 꿈꿨던 AI에 대한 기대감은 줄어들었고 연구비와 투자가 줄어드는 AI 겨울이 시작됐습니다.

이는 인간들이 사회를 이루는 방식이 단순한 규칙으로 모두 정해진 건 아니라는는 걸 반증하죠. 한편 규칙이 명확하고 복잡한 계산이 필요했던 영역에선 괄목할만한 성장을 합니다. 인류 우주 진출의 역사도 이런 사례에 해당합니다.

1990년대: 규칙을 주지말자. 규칙을 찾아내는 AI

1959년 아서 새뮤얼이 머신러닝이라는 단어를 처음 명명하고 거의 30년정도 지난 후 본격적으로 머신러닝 자체가 ’하나의 연구분야’로 성장하게 되었는데요. 이는 통계학과 컴퓨터 과학이 결합한 결과이기도 합니다.

머신러닝은 기존 심볼릭AI의 접근방식을 근본적으로 바꿨습니다.

전통적 프로그램
데이터 + 사람이 만든 규칙 → 결과

머신러닝
데이터 + 정답 사례 → 패턴을 학습한 모델
새 데이터 + 모델 → 예측

메일 스팸을 막는 상황을 가정해보죠. 이전의 심볼릭 AI였다면, 스팸 메일의 모든 표현을 금칙어로 등록했을 거예요. 반면 머신러닝은 스팸과 정상 메일 사례를 보여주고 둘을 구분하는 패턴을 학습시키는 방식입니다.

이런 방식은 마케팅 영역에서 이탈 예측, 전환 가능성 점수, 고객 군집, 수요 예측 등에 많이 활용되죠.

이 변화로 AI는 사람이 미리 설명하기 어려운 패턴까지 다룰 수 있게 됐습니다. 하지만 여기에도 문제는 있었죠. 데이터 품질과 편향 그리고 평가 기준이라는 새로운 문제가 생겼습니다. 모델은 현실 그 자체가 배우는게 아니라 학습 데이터에 나타난 패턴을 배우기 때문입니다.

2010년대: 분석의 특징까지 스스로 찾는 AI

머신러닝에서는 사람이 분석에 필요한 특징을 골라주는 경우가 많았죠. 고객 이탈을 예측한다면 최근 구매일, 구매 횟수, 평균 주문 금액 같은 변수를 먼저 설계하는 식으로 접근했습니다.

여기서 딥러닝은 신경망 연구에서 출발한 개념으로 여러 층의 신경망을 이용해 원본 데이터에서 유용한 표현을 단계적으로 (알아서!) 학습합니다.

신경망 연구는 오래전부터 존재했지만, 오늘날 의미의 딥러닝은 2006년을 출발점으로, 2012년을 본격적인 확산의 전환점으로 보는 경우가 많은데요. 이는 누적된 대규모 데이터의 확산, GPU 발전 덕분이죠.

이때를 기점으로 딥러닝 모델들의 성능들이 크게 개선되었는데요, 특히 2012년엔 **대규모 이미지 분류에서 합성곱 신경망과 GPU 학습의 힘을 보여주는 Alex Net의 논문이 발표되었습니다. 이는 현대 딥러닝 확산의 중요한 전환점이 되었죠.

이때부터 AI는 이미지의 선과 모양, 음성의 패턴, 문장 속 단어 관계처럼 사람이 일일이 정의하기 어려운 특징을 데이터 내에서 스스로찾을 수 있게 되었습니다.

딥러닝은 이미지·음성·언어처럼 비정형 데이터에서 특히 강한 면모를 보이는데요. 오늘날의 LLM과 이미지 생성 모델도 이 딥러닝 흐름 위에 있습니다.

이제 중요한건 AI 학습의 방식: 보상으로 AI 행동 교정하기

강화학습(Reinforcement Learning)이 자주 “딥러닝 다음 단계”처럼 소개되는 경우도 있지만, 사실 강화학습은 행동의 결과로 받은 보상을 이용해 더 나은 선택을 배우는 머신러닝 방식이에요.

상태 관찰
→ 행동 선택
→ 보상 또는 불이익 확인
→ 다음 행동 전략 수정

강화학습은 특히 정답표가 미리 주어지지 않은 연속적인 의사결정에 어울리는데요. 게임 플레이, 로봇 제어, 자원 배분처럼 지금의 행동이 미래 결과에 영향을 주는 문제에서 주로 사용됩니다.

강화학습 자체는 신경망 없이 표 형태의 값만으로도 구현이 가능해요. 이 강화학습에 딥러닝을 결합한 방식이 **심층 강화학습(Deep Reinforcement Learning)**인데요. 2015년 DeepMind의 DQN은 화면 픽셀을 입력받아 여러 Atari 게임을 학습했고, 2016년 AlphaGo는 딥러닝·강화학습·트리 탐색을 결합해 바둑 문제를 풀었습니다. DQN 논문

그리고 강화학습은 생성형 AI 시대에 다시 중요한 역할을 맡았습니다. 사람의 선호를 보상 신호로 사용하는 RLHF는 언어모델이 사용자의 지시를 더 잘 따르도록 조정하는 데 쓰였고, 최근 추론 모델은 강화학습을 통해 복잡한 문제를 단계적으로 해결하는 전략을 학습합니다.

언어를 다루는 방식을 바꾸다: Transformer

2017년 발표된 Attention Is All You Need는 Transformer 구조를 제안했어요. 문장 속 단어가 서로 어떤 관계를 갖는지 attention으로 계산하고, 학습을 병렬화하기 쉬운 구조였습니다.

Transformer와 대규모 사전학습이 AI와 결합되면서 하나의 모델이 요약·번역·질의응답·코딩처럼 여러 언어 작업을 수행하기 시작했습니다. 이후 사람의 지시와 선호에 맞추는 후속 학습이 더해지며 지금의 대화형 AI로 이어졌고요.

여기서 구분해야 할 개념이 있습니다.

딥러닝: 다층 신경망을 사용하는 학습 방법
생성형 AI: 새로운 텍스트·이미지·음성·영상 등을 만드는 AI
LLM: 대규모 텍스트를 학습한 언어모델 계열

오늘날의 LLM은 딥러닝 기반 생성형 AI에 속하지만, 생성형 AI가 모두 LLM인 것은 아닙니다. 이미지 확산 모델처럼 언어모델이 아닌 생성 모델도 있으니까요. GPT-4부턴 GPT 역시 텍스트와 이미지를 함께 다루는 모델이 등장하면서 언어모델의 사용 범위도 넓어졌습니다.

지금의 AI는 이제 시스템이다.

현재 AI는 다음 방향으로 확장되고 있습니다.

1. 여러 감각을 함께 다루는 멀티모달

텍스트뿐 아니라 이미지·음성·영상·화면을 함께 이해하고 생성합니다. 사용자는 문장 뿐만 아니라 캡쳐본, 직접 이야기하며, 영상을 전달하거나 같이 함께 화면을 공유하며 AI와 소통할 수 있게 됐어요.

2. 답변 전에 더 많은 계산을 사용하는 추론

추론 모델은 어려운 수학·코딩·분석 문제에서 답을 즉시 생성하기보다 문제를 나누고 전략을 수정하는 데 더 많은 계산을 사용해요. 이 흐름에서 강화학습은 과거 게임을 넘어 모델의 문제 해결 방식을 훈련하는 기술로 다시 부상했습니다.

3. 답하는 AI에서 행동하는 에이전트로

이제 인간의 조수를 뛰어넘을 정도로 AI 에이전트들의 실력들이 올랐죠. AI 에이전트는 모델이 목표를 받고, 필요한 도구를 선택하고, 결과를 확인하며 다음 행동을 조정하는 시스템입니다.

목표 이해
→ 계획
→ 검색·코드·파일·업무 도구 사용
→ 결과 관찰
→ 수정 또는 사람에게 승인 요청

Anthropic은 에이전트를 고정된 스크립트만 따르기보다 자신의 과정과 도구 사용을 조정하는 시스템으로 설명해요. 동시에 실무에서는 복잡한 프레임워크보다 단순하고 조합 가능한 패턴, 명확한 도구 정의와 평가가 중요하다고 강조합니다. (참고, Building Effective Agents · Trustworthy Agents)

4. 신경망과 규칙을 다시 결합하는 하이브리드

딥러닝은 모호한 패턴을 찾는 데 강하지만, 항상 사실을 보장하거나 업무 규칙을 정확히 지키지는 못해요. 그래서 요즘은 하이브리드 시스템으로 모델의 생성 능력에 검색, 데이터베이스, 계산기, 검증 코드, 승인 규칙을 연결하고 있어요.

연구 영역에서는 신경망의 학습 능력과 기호·논리의 추론 능력을 결합하는 뉴로심볼릭 AI도 이어지고 있습니다. 아직 하나의 표준 해법으로 정착한 것은 아니지만, 설명 가능성·견고성·데이터 효율을 높이려는 중요한 방향입니다.

AI 흐름 한눈에 보기

1950년대 심볼릭 AI
사람이 지식과 규칙을 표현
↓
1970~80년대 전문가 시스템
특정 분야의 판단을 규칙으로 구현
↓
머신러닝의 확산
데이터에서 예측 패턴을 학습
↓
2010년대 딥러닝 도약
신경망이 복잡한 표현까지 학습
↓
심층 강화학습
딥러닝 + 보상 + 탐색으로 행동 전략 학습
↓
Transformer와 생성형 AI
대규모 사전학습으로 텍스트·이미지·코드 생성
↓
현재의 추론·멀티모달·에이전트
모델 + 도구 + 메모리 + 규칙 + 사람의 승인

**AI는 하나의 기술이 아니라 지능적인 문제를 해결하려는 가장 큰 분야. 그 중 머신러닝과 딥러닝은 AI 학습의 가장 강력한 방법 오늘날 AI는 과거의 규칙과 최식 학습 모델을 다시 조합하여 진화

그다음 글에서는 이제 AI 방법론을 더 깊이 알아볼게요. 딥러닝이 기존 머신러닝과 무엇이 다른지, 신경망과 Transformer가 어떻게 오늘의 생성형 AI로 이어졌는지 살펴보겠습니다.