AI기반 서비스 구현 주요 체크 포인트

최근 들어서 국내의 주요 기업 및 공공기관의 시스템 구축 프로젝트에 AI를 활용한 서비스 구축부분이 주요 요구사항으로 자리를 잡고 있는 추세입니다. 이에 따라서 AI활용 서비스 구현에 대한 주요 체크포인트를 아래와 같이 정리하여 작성 하였으니, 실무 프로젝트를 진행하는 분들은 참고 자료로 활용하시기 바랍니다.

 

1. 모델 및 아키텍처 선정 : 이 단계에서 기업의 주된 요구사항은 데이터 보안 및 서비스의 안정성에 초점이 맞추어 지며,     실제 구축 사례는 위 표에서 보는것과 같이 a) Cloud환경에서 기업용 chatGPT 사용 b) Cloud 환경에서 Llama와 같은 맞춤형 AI 사용 c) On-Premise 환경에서 맞춤형 AI 사용과 같은 형태로 진행되고 있습니다.

 

2. Fine tuning & RAG : 이 부분은 AI를 도입하기 위한 기업 또는 공공기관의 주된 요구사항이 ISO25010 기반의Functional Correctness, Time Behavior, Resource Utilization으로 Focusing이 맞추어 질 때, 진행되는 전략 입니다.

 

아래의 그림은 Pre-trained Model에서 Fine-Tuned Model로 Transfer하는 그림을 보여주는 내용으로 Fine-tuning은 사전 학습된 모델(Pre-trained Model)을 특정 작업에 맞추어 추가로 학습시키는 과정입니다. 대규모 데이터로 사전 학습된 모델은 이미 다양한 패턴과 구조를 학습했기 때문에, 이 모델을 새로운 데이터에 맞게 미세하게 조정하면 더 적은 데이터와 자원으로도 높은 성능을 얻을 수 있습니다. 파인 튜닝은 딥러닝에서 자주 사용되는 기법으로, 주로 자연어 처리(NLP), 컴퓨터 비전, 음성 인식 등 다양한 분야에서 활용됩니다.

Pre-trained Model => Fine-Tuned Model Image source : https://www.labellerr.com/blog/hands-on-with-fine-tuning-llm/

 

RAG(Retrieval-Augmented Generation)는 딥러닝 모델, 특히 언어 모델이 외부 지식 소스에서 정보를  검색하여 답변을 생성하는 기법입니다. RAG는 자연어 처리(NLP)에서 자주 사용되며, 대규모 언어 모델과 정보 검색 시스템을 결합하여 성능을 향상시키는 기법입니다. 이 기법은 주로 답변 생성(QA), 대화 시스템, 문서 요약 등에서 활용됩니다. 특히, 고정된 지식을 가진 사전 학습된 모델이 최신 정보나 특정 도메인에 대한 지식에 접근할 수 있도록 돕습니다.

 

아래의 그림은 RAG를 활용하지 않는 일반적 AI모델과 RAG를 활용하는 Architecture Model 입니다.

RAG 활용 하지 않는 AI 모델

RAG Architecture Model (Source : https://pureinsights.com/blog/2023/what-is-retrieval-augmented-generation-rag )

 

3. UseCase : AI기반 서비스를 활용하여 국내외 주요 시스템 구축 사례입니다.

 

국내 주요 구축 사례의 AI활용 주요 요구 사항 : a)업무생산성 도구 (이메일 생성, 회의록 요약), b)내부 업무 지식 검색 (업무지침 or 규약 검색 QA), c)상담사 지원, d)대고객용 챗봇

 

해외 주요 구축 사례 AI활용 주요 요구 사항 : a)헬스케어 : IBM Watson (AI활용 환자 상태 진단), b)금융 : JPMorgan COiN (법률문서, 금융계약서 분석), c)소매 : Amazon AI기반 고객 맞춤형 추천, d)자동차 : Tesla FSD, e)고객 서비스 : Google AI Contact Center   (주요 고객 : Verizon, Home Depot 등) f)물류 : DHL AI기반 물류 최적화 (배송 경로, 창고   운영, 재고 관리)

 

4. 데이터 수집 : 데이터 수집은 구현 서비스에 따라서 상이합니다. 예를 들어 음성비서 구현 서비스의 경우 a)사용자 로그 분석, b)크라우드 소싱 (다양한 연령대와 방언을 가진 참가자 모집 후 녹음), c)전문가 생성 데이터, d)공개 데이터 셋 활용의 형태로 진행되고 있습니다.

 

5. 프로젝트 팀 구성 : 기존의 시스템 구축 프로젝트와 마찬가지로 구현 및 현업(사용자)조직의 적극적 참여가 필요합니다. 구현 조직의 역할과 책임은 a)AI 모델 및 아키텍처 선정 협의 및 구현, b)Fine tuning & RAG, c)성능 및 정확도 테스트 에 대하여 책임감 있는 활동을 진행해야 합니다. 현업(사용자)조직의 역할과 책임은 a)데이터 확보 및 검수, b)서비스 요구사항 도출, c)성능 모니터링 및 결과 검증을 진행해야 합니다.