AI Agent를 이해해야 하는 이유

AI와 LLM을 들어본 개발자라면 이제 다음 질문으로 넘어가게 됩니다. LLM은 답변을 생성하는 데 그치지 않고 실제 업무를 어디까지 수행할 수 있을까요? 이 질문에 대한 실무적 답이 바로 AI Agent입니다.

AI Agent는 단순한 챗봇이 아닙니다. LLM을 중심으로 도구, 데이터, 권한, 실행 흐름, 검증 구조를 결합해 목표를 달성하는 소프트웨어 시스템입니다. 개발자 관점에서는 새로운 형태의 애플리케이션 아키텍처로 이해하는 편이 가장 현실적입니다.

1. AI와 LLM 컨셉

AI는 사람이 수행하던 지적 작업을 기계가 수행하도록 만드는 넓은 기술 범주입니다. 이미지 분류, 음성 인식, 번역, 추천 시스템, 문서 요약, 코드 생성, 의사결정 보조 등이 모두 AI의 예입니다.

LLM은 Large Language Model, 즉 대규모 언어 모델입니다. ChatGPT, Claude, Gemini 같은 모델이 대표적입니다. LLM은 대량의 텍스트와 코드 데이터를 학습해 질문 답변, 요약, 번역, 코드 작성, 코드 리뷰, 데이터 추출, 아이디어 생성 같은 작업을 수행합니다.

개발자 관점에서 LLM은 자연어와 코드를 입력받아 가장 적절한 출력을 생성하는 강력한 텍스트 기반 추론 엔진에 가깝습니다.

입력: 요구사항, 코드, 문서, 질문
처리: LLM의 언어 이해, 패턴 인식, 추론 능력
출력: 답변, 코드, 요약, 계획, 명령

2. Prompt 엔지니어링

Prompt 엔지니어링은 LLM에게 원하는 결과를 얻기 위해 입력 문장을 설계하는 기술입니다. 쉽게 말해 LLM에게 일을 잘 시키는 방법입니다.

예를 들어 이 코드 고쳐줘라는 요청은 기준이 모호합니다. 어떤 문제가 있는지, 기존 동작을 유지해야 하는지, 테스트가 필요한지 알 수 없습니다.

반면 좋은 프롬프트는 목표와 조건이 분명합니다.

아래 TypeScript 함수에서 null 입력 시 예외가 발생합니다.
기존 API 동작은 유지하면서 null-safe하게 수정해 주세요.
변경 이유와 추가할 테스트 케이스도 함께 제안해 주세요.

좋은 프롬프트에는 보통 역할, 목표, 제약 조건, 입력 데이터, 출력 형식, 평가 기준이 포함됩니다. Prompt 엔지니어링은 AI 활용의 출발점이지만, 실무 규모가 커질수록 이것만으로는 부족합니다.

3. Context 엔지니어링

Context 엔지니어링은 LLM이 문제를 풀기 위해 필요한 정보를 적절히 제공하는 기술입니다. LLM은 입력으로 받은 정보 안에서 답을 만들기 때문에 무엇을 넣고 무엇을 빼는지가 중요합니다.

예를 들어 로그인 실패 버그를 고치려면 LLM은 관련 코드, 에러 로그, 실행 환경, API 스펙, 테스트 코드, 최근 변경 사항, 라이브러리 버전 등을 알아야 합니다. 이 정보가 부족하거나 잘못되면 LLM은 그럴듯하지만 틀린 답을 만들 수 있습니다.

필요한 파일과 로그만 선별해 제공한다.
오래된 정보보다 최신 정보를 우선한다.
코드, 문서, 이슈, 테스트를 함께 연결한다.
너무 많은 정보를 넣어 모델이 혼란스럽지 않게 구성한다.
검색, 요약, RAG, 메모리 구조를 활용한다.

개발자 관점에서 Context 엔지니어링은 LLM에게 적절한 작업 메모리를 구성해 주는 일입니다.

4. Harness 엔지니어링

Harness 엔지니어링은 LLM을 실제 소프트웨어 시스템 안에서 안전하고 유용하게 실행시키는 구조를 만드는 일입니다. Prompt와 Context가 무엇을 말할지에 가깝다면, Harness는 어떻게 실행하고 통제할지에 가깝습니다.

LLM 자체는 텍스트를 생성합니다. 하지만 실제 업무를 수행하려면 파일 읽기와 쓰기, DB 조회, API 호출, 검색, 코드 실행, 테스트 실행, 사용자 승인, 로그 기록, 권한 제어, 실패 시 재시도, 결과 검증 같은 주변 시스템이 필요합니다.

사용자 요청
→ 입력 검증
→ 관련 코드와 문서 검색
→ LLM 호출
→ 도구 실행
→ 결과 검증
→ 사용자에게 응답

Harness 엔지니어링은 LLM을 제품 기능으로 만들기 위한 애플리케이션 엔지니어링입니다. 실무에서는 이 영역이 Agent의 품질과 안정성을 크게 좌우합니다.

5. AI Agent란?

AI Agent는 LLM이 단순히 답변만 하는 것이 아니라 목표를 달성하기 위해 계획을 세우고, 도구를 사용하고, 결과를 확인하며, 필요하면 재시도하는 시스템입니다.

일반적인 LLM 사용은 사용자 질문 → LLM 답변 구조입니다. 반면 AI Agent는 다음과 같은 흐름에 가깝습니다.

사용자 목표
→ 상황 파악
→ 계획 수립
→ 도구 사용
→ 결과 확인
→ 재시도 또는 수정
→ 최종 결과 제공

예를 들어 사용자가 우리 서비스의 로그인 실패 원인을 찾아서 수정해줘라고 요청했다고 해봅시다. 단순 LLM은 추측성 답변을 할 가능성이 큽니다. AI Agent는 로그를 검색하고, 로그인 API 코드를 읽고, 최근 커밋을 확인하고, 원인을 추론한 뒤 코드를 수정하고 테스트를 실행할 수 있습니다.

따라서 AI Agent는 LLM + 도구 + 메모리 + 실행 루프 + 검증 구조로 볼 수 있습니다.

6. AI Agent의 대표적인 종류와 비교

Workflow Agent

정해진 순서대로 작업을 수행하는 Agent입니다. 문서 업로드, 요약, 키워드 추출, DB 저장, 알림 발송처럼 절차가 명확한 자동화에 적합합니다. 예측 가능성과 운영 안정성이 높지만 유연성은 낮습니다.

Tool-Using Agent

필요한 도구를 선택해 사용하는 Agent입니다. 검색 API 호출, DB 조회, 계산, 코드 실행, 파일 수정, GitHub 이슈 확인 등이 가능합니다. 실무 활용도가 높지만 권한과 보안 설계가 중요합니다.

Planning Agent

목표를 여러 단계로 나누고 계획을 세워 실행하는 Agent입니다. 신규 기능 구현, 복잡한 분석, 마이그레이션처럼 장기 작업에 적합합니다. 다만 계획이 잘못되면 전체 결과가 흔들릴 수 있어 중간 검증이 중요합니다.

ReAct Agent

Reasoning과 Acting을 반복하는 구조입니다. 생각하고, 행동하고, 관찰한 뒤 다시 생각하는 방식입니다. 디버깅, 장애 분석, 조사 업무에 잘 맞지만 반복 루프가 길어지면 비용과 시간이 증가할 수 있습니다.

Multi-Agent System

여러 Agent가 역할을 나눠 협업하는 구조입니다. PM Agent, Architect Agent, Developer Agent, Reviewer Agent, QA Agent처럼 역할별로 나눌 수 있습니다. 복잡한 문제를 다양한 관점에서 다룰 수 있지만 구현과 운영 복잡도가 높습니다.

종류	장점	단점	적합한 사례
Workflow Agent	안정적이고 예측 가능	유연성 낮음	문서 처리, 반복 업무
Tool-Using Agent	외부 시스템 활용 가능	권한과 보안 설계 필요	검색, DB 조회, 코드 실행
Planning Agent	복잡한 작업 처리	계획 오류 위험	기능 개발, 분석 업무
ReAct Agent	단계적 문제 해결	비용과 시간 증가 가능	디버깅, 장애 분석
Multi-Agent System	역할 분담 가능	구조 복잡	대규모 개발과 검토 자동화

7. AI Agent의 실제 적용 사례

개발 보조 Agent

가장 쉽게 접할 수 있는 형태입니다. 코드 생성, 리팩토링, 테스트 코드 작성, 코드 리뷰, 버그 원인 분석, PR 설명 작성, 마이그레이션 보조에 활용할 수 있습니다.

이 API에서 N+1 쿼리가 발생하는지 확인하고, 필요하면 수정한 뒤 테스트를 추가해줘.

고객 지원 Agent

고객 문의를 이해하고 내부 문서나 주문 시스템을 조회해 답변합니다. FAQ 답변, 주문 상태 조회, 환불 정책 안내, 티켓 분류, 상담원용 요약 생성이 가능합니다. 단순 챗봇과의 차이는 실제 시스템 조회와 후속 액션까지 수행할 수 있다는 점입니다.

데이터 분석 Agent

사용자가 자연어로 질문하면 DB나 BI 시스템을 조회해 분석 결과를 제공합니다. 지표 정의 확인, SQL 생성, 데이터 조회, 차트 생성, 이상치 탐색, 원인 후보 정리까지 이어질 수 있습니다.

운영 자동화 Agent

DevOps와 SRE 영역에서 장애 로그 분석, 알림 원인 분류, 배포 상태 확인, 런북 실행, 롤백 제안, 인시던트 리포트 작성에 활용할 수 있습니다. 운영 시스템에 영향을 줄 수 있으므로 승인 절차와 권한 제어가 특히 중요합니다.

문서와 지식 관리 Agent

조직 내 문서, 위키, 회의록, 이슈를 검색하고 정리합니다. 회의록 요약, 의사결정 히스토리 검색, 온보딩 문서 생성, 중복 문서 정리, 정책 변경사항 요약에 적합합니다.

업무 자동화 Agent

이메일 초안 작성, 보고서 생성, 일정 조율, 계약서 검토, CRM 업데이트, 채용 지원서 분류처럼 반복적인 사무 업무를 자동화할 수 있습니다. 이 영역에서는 LLM의 언어 처리 능력과 외부 도구 연동이 큰 장점입니다.

핵심 정리

AI Agent를 이해하려면 다음 순서로 보면 좋습니다.

AI
→ LLM
→ Prompt 엔지니어링
→ Context 엔지니어링
→ Harness 엔지니어링
→ AI Agent

LLM은 강력한 언어 모델입니다. Prompt 엔지니어링은 LLM에게 일을 잘 지시하는 방법이고, Context 엔지니어링은 판단에 필요한 정보를 잘 제공하는 방법입니다. Harness 엔지니어링은 LLM이 실제 시스템 안에서 안전하게 도구를 사용하도록 만드는 구조입니다.

AI Agent는 이 요소들을 조합해 목표를 달성하는 실행형 AI 시스템입니다. 개발자에게 AI Agent는 단순한 대화형 인터페이스가 아니라, LLM을 중심으로 도구, 데이터, 권한, 검증, 실행 흐름을 결합한 새로운 소프트웨어 아키텍처입니다.

SW 개발자를 위한 AI Agent 입문: LLM에서 실행형 에이전트까지