DEVIEW 2019 : Operational AI 발표 정리(2)

글또 두 번째 포스팅에 이어 Operational AI 후반부 내용을 정리하였습니다.

 

해당 발표는 Makina Rocks의 김기현 님이 발표하셨습니다.

 

---

Beyond Deplotment : Operational AI

 

모델 학습 후 배포가 끝?

 

• 성능 유지 및 향상을 위한 지속적인 학습이 필요함
  • 모델 학습 및 배포 파이프라인
  • 입출력 데이터 분포 변화, Coner Case 발생 
    • 코너 케이스는 여러 가지 변수와 환경의 복합적인 상호작용으로 발생하는 문제
  • 성능 하락 발생 
  • 실행/운영 측면이 고려된 모델(재) 학습 및 (재)배포 파이프라인
    • LifeLong Learning
      • MLops

 

Challenges in Lifelong Learning

 

• AI를 Real World로 가져오기 위해서 실행/운영 측면의 문제들이 있음
  • 비효율적인 레이블링테스트 데이터가 없을수도 있음
  • 실행 주체가 일원화되어 있지 않음
  • 테스트 데이터가 없을 수도 있음
  • Catastrophic forgetting

MLOps

Operational AI

• 실행/운영 측면의 문제들을 해결하기 위한 AI기술
  • Active Learning
  • Continual Learning
  • Sanity Check
  • Auto-Report, Auto-Intergration

 

Operational AI

 

Challenges : No Test Set

 

• 배포 단계
  • 모델 성능 평가가 어려움
• 운영 단계
  • 모델 성능 모니터링이 어려움

 

Various Sanity Check : Pseudo Test Set

 

• 합성을 통한 이상 데이터를 생성(Synthetic Anomalous)를 통해 성능에 대한 Proxy를 구함
  • 화이트 노이즈만을 통해 데이터를 만들 순 있지만 실제로는 생기지 않는 데이터
  • 따라서, Mnist에는 없지만 손글씨와 비슷한 형태를 띄는 데이터가 필요함
  • Pseudo Anomalous 를 만들어냄
  • 이를 통해 AUROC 값을 구하였는데 Ground-truth AUROC와 높은 상관관계가 있었고, 임계값을 구하는 데에도 용이하였음.

Pseudo Test Set

 

Challenges : Who runs the system?

 

• AI개발 주체와 운영자 주체가 다름
• 데이터 사이언티스트
  • 분석 /AI 전문가
  • 도메인 전문지식이 필요함
• 필드 엔지니어
  • 제조공정에 대한 전문가
  • 하지만 AI에 대해 모를수도 있음
• 상호간의 도움이 필요해서 시간이 낭비
  • 업무 효율 저하를 유발함
• 많은 자동화를 통해 효율성 증가 유도

 

개발 주체의 다름

Continual Learning

 

• 옛 지식을 잊지 않으면서 새로운 지식을 학습하는 AI
• Incremental Training : 새로운 데이터만을 사용, 기존 모델 재학습
  • 이전 데이터로부터 학습한 내용을 잊어버리는 현상인 Catastrophic Forgetting
• Inclusive Training : 전체 데이터를 사용하여 모델을 새롭게 학습
  
  • 전체 데이터에 대한 학습은 Scalability Issue가 있음

Model Archining

 

• 데이터에 따른 여러 모델을 만들어 문제 해결을 시도
  • 데이터가 늘어남에 따라 모델도 늘어나는 구조
  • 테스트 과정에서는 전체 모델을 구현하고 전체 모델별 Anomaly Score가 산출
    • 이때, 하나의 모델이라도 정상이라고 한다면 정상으로 간주
  • 데이터가 지속적으로 생기면서 모델도 늘어나면 추론시간이 길어짐

Model Archiving System

Effective Model Archiving

 

• 샘플이 모델에 속할 가능성을 예측하여 불필요한 추론과정 최소화

Effective Model Archiving

 

• 비슷한 분포를 위한 모델들을 재학습하여 통합 및 성능 향상

Effective Model Archiving

AI in the Loop?

Current : Human in the Loop

 

• 인간의 피드백을 통해 성장하는 AI
  • 주관적 생각이 들어가면서 문제점 야기 할 수 있음

 

 

Future : AI in the Loop

 

• AI driven Lifelong Learning
  
  • 모든 과정을 사람의 개입을 최소화하고 AI를 사용

 

이것으로 두 번째 포스팅의 나머지 내용 정리를 마치겠습니다. 

 

긴 글 읽어 주셔서 감사합니다.