분류 전체보기 62

RLHF (Human 피드백을 통한 강화 학습, Reinforcement Learning from Human Feedback) 사용 사례

RLHF(인간 피드백을 통한 강화 학습, Reinforcement Learning from Human Feedback)은 AI 학습에서 중요한 기술로, 인간이 제공하는 피드백을 사용해 AI의 행동을 향상시키는 방법입니다. 특히 AI가 더 인간적인 방식으로 상호작용하고, 윤리적이면서도 사용자가 원하는 대로 반응할 수 있도록 돕는 데 활용됩니다. RLHF는 기본적으로 AI의 행동이나 결정이 좋았는지 나빴는지에 대해 사람의 평가를 반영하여 학습하는 과정입니다. 구체적인 사용 사례는 다음과 같습니다.  1. 대화형 AI 시스템 (챗봇)RLHF는 챗봇을 훈련하는 데 매우 효과적으로 사용됩니다. 예를 들어, 사용자가 챗봇과 대화를 할 때, 사용자는 AI가 제공한 답변이 만족스러웠는지 아니면 개선이 필요한지에 대해 ..

POSA II Architecture Pattern

POSA II(***Pattern-Oriented Software Architecture Volume 2***)는 분산 시스템을 설계할 때 유용한 패턴들을 소개합니다. 이 책은 주로 대규모 분산 시스템에서 발생할 수 있는 복잡한 문제들을 해결하기 위한 아키텍처 패턴을 제시하며, **중간 계층 소프트웨어(middleware)**에 집중하고 있습니다. POSA II에서 제안하는 주요 아키텍처 패턴은 다음과 같습니다: 1. **브로커 패턴 (Broker Pattern)**    **브로커 패턴**은 분산 컴퓨팅 환경에서 클라이언트와 서버 간의 통신을 중재하는 패턴입니다. 이 패턴은 네트워크 상의 여러 서비스가 서로 독립적으로 동작할 수 있도록 중개자(브로커)가 클라이언트와 서버 사이에 위치하여 통신을 관리합니..

POSA I Architecture Pattern

POSA I (Pattern-Oriented Software Architecture, Volume 1)에서 제안하는 주요 아키텍처 패턴들은 아래와 같음Layers (계층) 패턴:시스템을 계층으로 구성하여 각 계층이 특정 수준의 추상화를 제공합니다.상위 계층은 하위 계층의 서비스를 사용하며, 각 계층은 독립적으로 개발 및 수정할 수 있습니다.예: OSI 네트워크 모델, 웹 애플리케이션의 프레젠테이션-비즈니스-데이터 계층Pipes and Filters (파이프와 필터) 패턴:데이터 스트림 처리 작업을 여러 독립적인 처리 단계(필터)로 나눕니다.각 필터는 입력을 받아 처리하고 출력을 다음 필터로 전달합니다.예: UNIX 쉘 명령어 파이프라인, 컴파일러의 처리 단계Blackboard (블랙보드) 패턴:복잡한 문..

InstrucrGPT (ChatGPT 전신) training process

ChatGPT의 전신인 InstructGPT는 GPT-3를 강화학습 기법으로 fine-tuning하여 사용자의 의도에 맞는 답변을 생성하는 것을 목표로 하였으며, Fine-tuning용 데이터를 구축하기 위하여 40명의 Labeler를 고용하였음. 아래는 InstructGPT의 Training process임    Step 1 (Supervised Fine-tuned Model) :   InstructGPT 논문에서 설명한 Step1 구성 방법1. Demonstration Data (prompt-response 쌍) 수집, 13k DataSet     - prompt : labeler가 직접 작성 + Open AI의 API를 통해 수집된 실제 사용자들의 prompt    - response : 주어진 p..

AI 활용 시스템 개선 2 : IBM Watson for Oncology(암 진단 및 치료 계획 수립)

IBM Watson for Oncology 사례Watson for Oncology는 IBM의 AI 기술을 활용하여 암 진단 및 치료 계획 수립을 지원하는 시스템임 ## 주요 기능1. 의료 문헌 분석 : 수백만 페이지의 의학 저널, 교과서, 임상 시험 결과를 분석2. 개인화된 치료 옵션 제안 : 환자의 의료 기록과 유전자 정보를 고려하여 맞춤형 치료법 제시3. 근거 기반 의사 결정 : 각 치료 옵션에 대한 근거와 신뢰도 점수 제공 ## 데이터 활용 및 Fine-tuning1. 데이터 수집:   - 의학 저널, 교과서, 임상 시험 결과 등 다양한 소스에서 데이터 수집   - 실제 환자 사례 및 치료 결과 데이터 통합2. 데이터 전처리:   - 자연어 처리 기술을 활용한 비정형 데이터의 구조화   - 의료 용..

AI Service 2024.09.30

SEI 3 View Model의 Allocation View 검토 Checklist

SEI 3 View Model의 **Allocation View** 검토 Checklist 입니다.각 항목은 **하드웨어(H/W)** 및 **소프트웨어(S/W)**의 명확한 설계와 실행 환경 설정을 위한 구체적인 질문과 설명을  포함합니다. 1. H/W(혹은 디바이스) 사양에 대해서 이해하고 작성하였는가? * 세부 Check 항목 :    - 해당 시스템에서 필요한 하드웨어 혹은 디바이스가 무엇인지 명확하게 정의하였는가?    - 각 하드웨어가 처리할 수 있는 **성능 요건**(CPU, 메모리, 스토리지 등)을 고려하였는가?    - 시스템 운영에 필요한 **네트워크 대역폭**, **응답 시간**, **처리량** 등의 요구사항을 H/W 사양에 맞게 설정하였는가?    - H/W 혹은 디바이스의 **확장성..

AI모델 활용 시스템 기능 개선 사례 1 : Zoom의 LLaMA 활용 사례 (1)

Zoom에서 LLAMA (Large Language Model Meta AI) AI 모델을 활용하여 시스템을 개선한 사례1. Zoom AI Companion 도입:   2023년 9월, Zoom은 LLAMA 2 모델을 기반으로 한 'Zoom AI Companion'을 출시함. 이는 Zoom의 다양한 기능에 AI를 통합하여 사용자 경험을 개선하는 것을 목표로 했음2. 주요 기능 개선:   a) 회의 요약:   - AI Companion은 회의 내용을 실시간으로 분석하고 요약   - 핵심 포인트, 결정사항, 후속 조치 등을 자동으로 정리   b) 실시간 번역 및 자막:   - LLAMA 모델을 활용하여 다국어 실시간 번역 및 자막 생성 기능을 강화   - 정확도와 자연스러움이 크게 향상되었음   c) 채팅 ..

AI Service 2024.09.29

Fin-tuning 사례 2 : Clarifai(고객 맞춤형 AI 솔루션 제공 회사) fine-tuning 사례

Clarifai fine-tuning 사례 : Clarifai는 이미지 및 비디오 분석을 위한 AI 솔루션을 제공하는 회사임. 이 회사는 고객의 특정 요구에 맞춰 이미 사전 학습된 모델을 Fine-tuning하는 일을 진행함. 1. Fine-tuning 목적 : Clarifai는 특정 소매업체가 자사의 제품 이미지를 자동으로 인식하고 분류할 수 있는 솔루션을 Fine-tuning하는 Project를 진행함. 이 Fine-tuning 작업의 목적은 제품 카테고리별로 이미지를 자동으로 분류하고, 다양한 각도나 배경에서 촬영된 이미지라도 정확하게 인식할 수 있는 모델을 구축하는 것이었음2. 데이터 수집 방법 :   a) 제품 이미지 수집 : 기업에서 Fine-tuning을 하기 위해서는 해당 기업 또는 고객의..