Fin-tuning 사례 2 : Clarifai(고객 맞춤형 AI 솔루션 제공 회사) fine-tuning 사례

Clarifai fine-tuning 사례 : Clarifai는 이미지 및 비디오 분석을 위한 AI 솔루션을 제공하는 회사임. 이 회사는 고객의 특정 요구에 맞춰 이미 사전 학습된 모델을 Fine-tuning하는 일을 진행함.

1. Fine-tuning 목적 : Clarifai는 특정 소매업체가 자사의 제품 이미지를 자동으로 인식하고 분류할 수 있는 솔루션을 Fine-tuning하는 Project를 진행함. 이 Fine-tuning 작업의 목적은 제품 카테고리별로 이미지를 자동으로 분류하고, 다양한 각도나 배경에서 촬영된 이미지라도 정확하게 인식할 수 있는 모델을 구축하는 것이었음

2. 데이터 수집 방법 :

   a) 제품 이미지 수집 : 기업에서 Fine-tuning을 하기 위해서는 해당 기업 또는 고객의 도메인에 맞는 데이터를 수집해야 함. 이 경우에는 소매업체의 제품 이미지 데이터가 필요하며, Clarifai는 고객이 제공한 수천 개의 제품 이미지를 수집했고, 이 데이터에는 다양한 각도, 배경, 조명 조건에서 촬영된 제품 이미지들이 포함되었음.

   b) 메타데이터 및 라벨 수집 : 제품 이미지와 함께 각 이미지가 속하는 카테고리(예: 전자제품, 의류, 신발 등) 및 기타 속성(예: 색상, 크기, 브랜드 등)에 대한 메타데이터도 수집되었고, 이를 통해 모델이 이미지를 학습하면서 제품의 특성을 파악할 수 있도록 함.

  

3. 데이터 전처리 : 수집된 데이터를 모델이 학습할 수 있도록 정리 및 전처리를 진행함

    a) 데이터 클리닝 : 고객이 제공한 이미지 데이터 중 품질이 낮거나 중복된 이미지를 제거하고, 잘못된 라벨이 있는 이미지를 확인 및 수정함.

    b) 데이터 증강 : Fine-tuning 데이터가 제한적일 경우, 데이터 증강(data augmentation)을 통해 데이터를 인위적으로 늘렸음. 이미지 데이터의 경우, 회전, 자르기, 색상 변경 등을 적용하여 모델이 다양한 조건에서도 안정적으로 작동하도록 함.

    c) 라벨링 : 각 이미지에 정확한 카테고리 라벨을 붙여 학습할 수 있게 했음. 예를 들어, 의류 이미지는 "의류"로, 전자 제품은 "전자 제품"으로 라벨링하고, 더욱 세밀한 분류가 필요할 경우 세부 라벨(예: "셔츠", "바지", "스마트폰" 등)도 함께 지정함.

4. Fine-tuning 과정 : Clarifai는 사전에 학습된 컴퓨터 비전 모델(예: 이미지 분류 모델)을 기반으로 소매업체에 맞는 맞춤형 모델을 Fine-tuning을 진행함

    a) 사전 학습된 모델 활용 : Clarifai의 모델은 일반적인 이미지 분류 및 인식 작업에 맞춰 사전에 학습된 상태였음. 이 모델을 Fine-tuning하기 위해 소매업체의 제품 이미지 데이터와 카테고리 정보를 추가로 학습시켰음

    b) 훈련 및 검증 : 수집된 데이터를 학습 데이터(80%), 검증 데이터(10%), 테스트 데이터(10%)로 나누어 모델을 학습시켰음. 학습 과정 중에는 모델이 과적합 되지 않도록 검증 데이터를 사용하여 성능을 평가하고, 필요에 따라 하이퍼파라미터를 조정함

5. 결과 및 평가 : Fine-tuning된 모델은 소매업체의 요구 사항에 맞춰 제품 이미지를 빠르고 정확하게 분류할 수 있게 되었고, 다양한 조건에서도 일관된 성능을 보였음. 특히, 조명이나 배경이 다르거나 이미지의 각도가 다를 때도 모델이 정확한 제품을 인식할 수 있었음.

6. 시사점 : 기업이 Fine-tuning을 통해 AI 모델을 어떻게 맞춤형으로 구축하고, 그 과정에서 데이터를 어떻게 수집 및 준비하는지를 보여줌. Fine-tuning을 성공적으로 수행하기 위해서는 목표에 맞는 고품질 데이터를 수집하고, 이를 적절히 전처리하여 모델에 학습시키는 과정이 핵심임