210630 Using AntiPatterns to avoid MLOps Mistakes.md

https://arxiv.org/abs/2107.00079

Using AntiPatterns to avoid MLOps Mistakes (Nikhil Muralidhar, Sathappah Muthiah, Patrick Butler, Manish Jain, Yu Yu, Katy Burne, Weipeng Li, David Jones, Prakash Arunachalam, Hays 'Skip' McCormick, Naren Ramakrishnan)

mlops 파이프라인에서 흔히 발생하는 문제들을 정리. 상식적인 내용이긴 하지만 사실 상식이 제일 지키기 어렵죠.

1. 데이터 릭
2. 모델 배포 이후 모델의 예측을 추적하지 않는 것
3. 하이퍼파라미터 최적화를 제대로 하지 않는 것
4. 새로운 방법을 공정하게 비교하지 않는 것
5. 성능 개선의 원인을 정확히 분석하지 않는 것
6. 데이터 사이언스 팀과 독립된 평가 및 평가 데이터로 평가하지 않는 것
7. 예측 대상의 시간에 따른 변화를 고려하지 않는 것
8. 예측 결과 뿐 아니라 불확실성에 대한 정보를 잘 제공하지 않는 것
9. 데이터 추출 및 검증 과정을 기록하고 남겨놓지 않는 것

#practice