LLM 모델 이해 및 활용(2)

실전 프로젝트 구성 및 Agentic AI

1. AI 프로젝트 실무 접근법

 

프로젝트 단계

• PoC (Proof of Concept): 개념 검증
• MVP (Minimum Viable Product): 최소 기능 제품

핵심 프로세스

• 이해관계자 Pain Point  → AI Service 선정 (Predictive/Generative) → Architecture 설계 (Front/Back) → 구현 및 검증

 

중요 체크포인트

• 이해관계자 가치가 명확히 반영되었는가?
• 비즈니스적 가치를 고려했는가?
• 왜 LLM인가? 왜 Agentic AI인가?

---

2. AI 진화의 흐름 ​

AI 단계	주요 목적	대표 모델	핵심 기술	기술적 한계	윤리적 문제
Cognitive AI (Perception AI)	인간 감각 인식	CNN, RNN	이미지·음성·텍스트 인식	의미 이해 불가, 맥락 인식 약함	감시 사회, 개인정보 침해
Predictive AI	미래 상태 예측	LSTM, 시계열 모델	수요 예측, 추세 분석	장기 예측 불안정, 창의성 없음	차별적 예측, 편향 고착
Generative AI (LLM)	콘텐츠 생성	Transformer, Attention	텍스트·코드·이미지 생성	환각(Hallucination), 사실성 문제	저작권, 허위정보 확산
Agentic AI ⭐	자율적 문제 해결	Multi-Agent, Tool Calling	계획 수립, 협업, 의사결정	통제 어려움, 목표 일탈	책임 소재 불명확
Physical AI	물리 세계 행동	로보틱스, 센서융합	자율주행, 로봇 제어	환경 적응 한계	안전사고, 생명·물리적 피해

 

 

패러다임 전환의 핵심

• Predictive AI(LSTM): 문장 생성 능력 부족
• Generative AI(LLM): 언어를 "덩어리째" 학습 (Attention)
• Agentic AI: 복잡한 워크플로우를 자동화

 

---

3. 실전 아키텍처 구성

[ AI 기반 서비스를 제공하는 웹 애플리케이션 아키텍처]

 

 

📌 구성 요소별 설명

1. User (사용자)

• 시스템을 사용하는 최종 사용자
• 웹 브라우저나 모바일 앱을 통해 접근

2. Proxy Server (프록시 서버)

• 역할: 외부 요청의 단일 진입점 (Single Entry Point)
• 기능:
  • 보안: 내부 서버 IP 숨김
  • 로드 밸런싱
  • SSL/TLS 인증서 관리
  • 요청 라우팅

3. Vue.js / Frontend (프론트엔드)

• 역할: 사용자 인터페이스
• 기능:
  • 사용자 입력 받기
  • 데이터 시각화
  • 백엔드 API 호출
  • 정적 콘텐츠 제공

4. Java / Backend (자바 백엔드)

• 역할: 비즈니스 로직 처리
• 기능:
  • 사용자 인증/권한 관리
  • 레거시 시스템 연동
  • 데이터 검증
  • 트랜잭션 관리

5. RDB (관계형 데이터베이스)

• 역할: 정형 데이터 저장
• 저장 데이터:
  • 사용자 정보
  • 대출 이력
  • 거래 기록
  • 설정 정보

🤖 AI Serving Layer (AI 서빙 레이어)

6. FastAPI

• 역할: AI 모델 서빙 및 오케스트레이션
• 선택 이유:
  • Python 기반으로 AI/ML 라이브러리와 호환성 우수
  • 비동기 처리로 고성능
  • AI 에이전트 워크플로우 관리

7. Vector DB (벡터 데이터베이스)

• 역할: 비정형 데이터의 의미론적 검색
• 기능:
  • RAG (Retrieval-Augmented Generation) 구현
  • 문서, 판례, 부동산 데이터 임베딩 저장
  • 유사도 기반 검색
• 예시: Pinecone, Weaviate, Chroma

8. Language Models (언어 모델)

• 예시: Llama 3, Mistral
• 특징:
  • 자체 서버에서 운영 가능
  • 민감 정보 처리 가능
  • 커스터마이징 가능 (Fine-tuning)
  • 비용 절감 (API 과금 없음)

Closed Source LLM (상용 모델)

• 예시: GPT-4, Claude
• 특징:
  • API 호출 방식
  • 높은 성능
  • 빠른 프로토타이핑
  • 민감 정보 전송 주의 필요

9. Context (컨텍스트)

• 역할: AI 모델에 전달되는 정보
• 포함 내용:
  • Vector DB에서 검색된 관련 문서
  • 사용자 질문
  • 시스템 프롬프트
  • 이전 대화 이력

10. NAT Gateway

• 역할: 네트워크 주소 변환 및 아웃바운드 통신
• 기능:
  • 내부 서버가 외부 API 호출 시 사용
  • Closed Source LLM API 호출 경로
  • 보안 강화 (내부 IP 노출 방지)

---

4. 실무 프로젝트 작성 가이드

보고서 작성 원칙

• 두괄식 구성
• 표 적극 활용
• 핵심 질문 답변:
  • 왜 LLM을 선택했는가?
  • 왜 Agentic AI가 필요한가?
  • 어떤 비즈니스 가치를 창출하는가?

아키텍처 시각화

1. GPT에게 아키텍처 설명 → Mermaid 코드 요청
2. Mermaid 사이트에 코드 입력
3. 자동 다이어그램 생성
4. 아키텍처 완성

프레젠테이션 작성

• Gamma AI 등 활용 (자동 PPT 생성)

---

5. Open-Weight LLM 실전 고려사항

Closed-Source vs Open-Weight

구분	Closed-Source	Open-Weight
접근성	API 호출만으로 즉시 사용	직접 배포 및 관리 필요
보안	Private 구역 불가	자체 서버 운영 가능
비용	사용량 기반 과금	인프라 비용
커스터마이징	제한적	Fine-tuning 자유

실전 선택 기준

• 민감정보 처리 → Open-Weight LLM (자체 서버)
• 빠른 프로토타입 → Closed-Source LLM (API)
• 특화 도메인 → Open-Weight + Fine-tuning