음성 인식 개발을 하고, 이에 대한 오디오 클립 데이터셋을 가지고 있다고 생각해 보자. 이때, 그 데이터셋에는 노이즈가 낀 많은 오디오 클립이 존재해서 사람 조차도 10%의 에러율을 보인다고 가정해 보자. 그리고, 개발중인 시스템이 이미 8%의 정도의 에러율을 성취했다고 가정해 보자. 33번째 챕터에서 소개된 3가지 기법을 사용하여 지속적으로 빠른 성과를 만들어 낼 수 있는가?
사람이 개발중인 시스템보다 꽤나 더 좋은 결과를 보이는 부분 집합 데이터를 특정 지을 수 있다면, 그 3가지 기법을 여전히 사용할 수 있고, 이를 통해서 빠른 성과를 낼 수 있을 것이다. 예를 들어서 개발중인 시스템이 노이즈가 낀 오디오에 대하여 음성 인식을 사람보다도 더 잘할 수 있지만, 사람이 매우 빠르게 쏟아져 나오는 연설등을 음성 기록으로 남기는데는 더 뛰어나다.
빠르게 발음되는 연설과 같은 데이터는:
-
여전히 사람으로 부터 알고리즘보다 더 높은 질의 음성기호 기록을 얻을 수 있다.
-
개발된 시스템은 못하는 빠르게 발음되는 말들을 왜 사람들이 정확하게 들을 수 있는지를 이해하기 위해서, 사람의 직관력에 의지할 수 있을 것이다.
-
빠르게 발음되는 연설에 대하여 사람-수준의 성능을 희망하는 성능 목표로서 사용할 수 있을 것이다.
더욱 일반적으로, 사람은 옳지만 알고리즘은 틀린 개발 데이터셋의 데이터가 있는한 앞서 언급된 많은 기법들이 적용될 수 있다. 이 것은 전체 개발/테스트 데이터셋에 대하여 평균적으로, 성능이 이미 사람-수준을 넘어섰다고 할지라도 사실로 받아들일 수 있다.
기계가 사람-수준의 성능을 능가하는 중요한 머신러닝 어플리케이션들이 많이 있다. 예를 들어서, 기계는 영화의 별점을 예측하거나, 목적지 까지 운전시간이 얼마나 걸리는지 예측하거나, 대출의 승인의 가능성 여부를 판단하는 것들이 있을 수 있다. 알고리즘이 확실하게 잘못된 결과를 도출하는 데이터를 사람이 알아보는게 힘들기 시작하면, 기법들의 부분집합을 적용해 볼 수 있다. 그 결과, 기계가 이미 사람-수준의 성능을 넘어선 문제에 대해서는, 성능 향상의 진행이 보통 더 느리다. 반면에 기계가 여전히 사람-수준을 따라 잡아야 하는 경우에는 성능 향상의 진행이 더 빠르다.