[Cloud Service] AWS SageMaker

SageMaker란?

완전관리형 인프라, 도구 및 워크플로를 사용하여 모든 사용 사례에 대해 기계 학습 모델을 구축, 훈련 및 배포하도록 돕습니다. 비즈니스 분석가/데이터 사이언티스트/기계 학습 엔지니어들이 빠르고 효율적으로 협업하고 각자의 임무를 수행할 수 있도록 돕습니다. 

 

---

SageMaker의 장점은?

1) 비즈니스 분석가는 SageMaker Canvas에서 시각적인 인터페이스를 사용하여 기계 학습 예측을 수행할 수 있습니다. 코드가 아닌 point-and-click 인터페이스를 활용 가능합니다. 자동 머신러닝(AutoML)은 Demo, Snowflake, Amazon Redshift와 같은 BI 공통 도구들과 결합됩니다.

Amazon SageMaker Canvas 데이터 프레임

 

2) 데이터 사이언티스트는 SageMaker Studio를 사용하여 데이터를 준비하고 모델을 구축, 훈련 및 배포할 수 있습니다. 정형 데이터 준비 뿐만 아니라 비정형 데이터 생성 및 레이블링이 가능합니다. 또한 모델 훈련 과정에서 Amazon SageMaker Debugger등을 활용하여 훈련 지표 및 리소스의 실시간 모니터링으로 모델을 최적화합니다. 모든 사용 사례에서 최상의 가격 대비 성능으로 ML 모델을 추론합니다. 

Amazon SageMaker Studio 데이터 프레임

 

3) 기계 학습 엔지니어는 SageMaker MLOps를 사용하여 대규모로 모델을 배포하고 관리합니다. 

(※MLOps란? 개발과 운영을 나누지 않고 개발의 생산성과 운영의 안정성을 최적하기 위한 방법론)

 

---

SageMaker는 산업군 내에서 어떻게 쓰일까?

1) Aurora(미국 선도 자율주행차 제작 기업): AWS를 활용하여 ML 학습 및 클라우드 베이스 시뮬레이션 워크로드를 구축하였습니다. Aurora Driver는 세상을 인지 할 수 있는 센서들, 안전한 길을 알려줄 수 있는 소프트웨어와 이드릉ㄹ 통합할 수 있는 컴퓨터로 이루어져 있습니다. 몇 조에 해당하는 데이터를 확보하기 위해서 클라우드를 활용하고 있으며, 이를 통해 12만 개의 물리 기반의 주행 시뮬레이션을 완료할 수 있었습니다. 

 

2) Lenovo(글로벌 선도 PC 제작 기업): Amazon SageMaker를 예측 유지 관리 제품에 통합하였습니다. SageMaker Edge Manager를 통해 최적화, 모니터링, 배포 후 지속적으로 모델을 개선하여 더 빠른 실행과 적은 메모리를 통해 ML 플랫폼을 사용할 수 있습니다. 제품 포트폴리오 내 AI를 새로운 애플리케이션으로 확장하여 Edge 장치와 클라우드 모두에서 고 성능 파이프라인을 도모했습니다. 

(※엣지컴퓨팅이란? 사용자 또는 데이터 소스의 물리적 위치에서 컴퓨팅을 수행하는 것)

 

---

Amazon SageMaker Studio란?

기계 학습을 위한 완전한 IDE(통합 개발 환경)으로 단일 웹 기반 시각적 인터페이스에서 포괄적인 도그 세트에 액세스하여 원시 데이터 준비부터 배포 및 모니터링에 이르는 단계를 수행할 수 있습니다. 또한, SageMaker Studio를 나가지 않고 훈련 실험을 재연하고, 모델 기능 및 다른 입력을 조정하고 결과를 비교 가능합니다. 

 

---

Amazon SageMaker Studio의 장점은 무엇일까?

1) 데이터 과학 업무를 코로케이션할 수 있습니다. 이를 통해 인프라와 리포지토리 관리에 소요되는 시간을 절약하고 알고리즘과 분석 프로젝트를 프로덕션에 배포하는 시간을 줄이는데 도움이 됩니다. 

2) 기계 학습 솔루션 배포 주기가 한달~한달 반으로 짧아집니다.

 

---

SageMaker Machine Learning 컴퓨팅은 어떻게 작동할까?

 

 

1) 데이터 준비: SageMaker Studio Notebooks를 활용하여 데이터를 준비합니다. Studio Notebooks에서 Spark UI와같은 익숙한 도구를 사용하여 Spark 작업을 모니터링하고 디버깅할 수 있습니다. 또한, SageMaker Data Wrangler로 구동되는 데이터 준비 기능을 활용하여 데이터를 시각화하고 데이터 품질 문제를 식별하며, 권장 솔루션을 적용하여 코드 작성 없이 데이터 품질 및 모델 정확성을 개선할 수 있습니다. 

 

2) 구축: SageMaker Autopilot을 활용하여 최상의 ML 학습 모델을 구축, 훈련, 튜닝할 수 있습니다. 이 과정이 끝나고 나면 클릭 한번으로 모델을 직접 프로덕션에 배포할 수 있습니다. 

 

3) 훈련: 분산 컴퓨팅 클러스터를 설정하여 훈련을 진행하며, 결과는 Amazon Simple Storage Service(S3)로 출력합니다. 규모에 맞게 모델을 훈련하고 그래프 수준 및 커널 수준을 최적화하여 훈련 프로세스의 효율성을 높일 수 있습니다. 또한 자동 모델 튜닝을 통해 추가 소요 작업을 줄일 수 있습니다. 

 

4) 배포 및 관리: SageMaker Model Monitor를 활용해 모델 드리프트 및 개념 드리프트를 실시간으로 감지하여 품질을 유지할 수 있습니다.