‘오토ML(AutoML)’은 개발자를 데이터 과학자로 바꿀 준비가 돼 있다. 반대 경우도 마찬가지다. 오토ML이 데이터 과학을 어떻게 더 나은 방향으로 변화시키는 걸까?
앞으로 10년 후에는, 현재 우리가 알고 있는 데이터 과학자가 없어질 것이다. 일자리가 사라질 걱정은 할 필요 없다. 데이터 과학자들도 걱정할 필요는 없다. 하는 일이 달라지는 것이기 때문이다. 오히려 미국 노동부(Bureau of Labor) 통계에 따르면 데이터 과학자의 역할은 2029년까지 평균보다 더 높은 속도로 확대될 전망이다.
설명하자면, 기술 발전으로 인해 데이터 과학자의 업무와 기업이 애널리틱스에 접근하는 방식에 큰 변화가 초래될 것으로 예상된다. 원시 데이터부터 모델까지 머신러닝 파이프라인을 자동화하는 오토ML 도구가 이러한 혁신적인 변화를 견인한다.
이에 따라 데이터 과학자들은 10년 후 완전히 다른 기술과 도구를 갖게 될 가능성이 크다. 그러나 복잡한 데이터를 활용해 비즈니스 문제를 해결할 수 있도록 지원하는 전문 가이드라는 점은 여전할 것이다.
데이터 과학을 ‘민주화’ 하는 오토ML 최근까지도 머신러닝 알고리즘과 프로세스는 거의 전적으로 전통적인 데이터 과학자, 즉 전문 교육을 받고 고급 학위를 취득했거나 또는 대규모 기술 기업에서 일하는 사람들만 다룰 수 있는 영역이었다. 데이터 과학자들은 머신러닝 개발 스펙트럼의 모든 부분에서 매우 중요한 일들을 해왔다.
하지만 머지않아 데이터 과학자들은 더욱더 협력적이고 전략적인 역할로 변화할 전망이다. 오토ML과 같은 도구를 사용해 학문적인 이론 및 기술을 자동화함으로써, 기업이 데이터를 통해 비즈니스 문제를 해결할 수 있도록 솔루션을 ‘가이드’하는 데 집중할 수 있다는 뜻이다.
이는 오토ML이 머신러닝 모델 구축을 ‘민주화’하기 때문에 가능한 부분이다. 이미 시장에서는 스타트업부터 클라우드 하이퍼 스케일러까지 여러 업체가 개발자를 대상으로 전문 교육이나 경험 측면에서 진입 장벽이 낮은 그야말로 머신러닝을 쉽게 사용하고 실험할 수 있는 솔루션들을 내놨다.
이와 유사하게 비기술직, 즉 현업 부문이 직접 솔루션을 개발할 수 있을 만큼 직관적이고 단순한 오토ML 애플리케이션도 있다. 조직 내에서 일종의 ‘시민 데이터 과학자(Citizen Data Scientist)’가 등장하는 것이다.
이런 도구가 개발자와 데이터 과학자에게 제공할 수 있는 가능성을 찾으려면, 가장 먼저 머신러닝 개발과 관련해 기업의 데이터 과학 현 상태를 파악해야 한다. 이때 성숙도를 척도로 측정하면 쉽게 이해할 수 있다.
만약 정통 교육을 받은 데이터 과학자가 아닌 기존 인력으로 디지털 트랜스포메이션을 추진해왔던 소규모 기업이라면 일반적으로 이 척도의 끝부분에 해당된다.
이들은 복잡한 머신러닝에 능숙하지 않은 사용자를 대상으로 하는, 즉시 사용 가능한 머신러닝 애플리케이션의 가장 큰 고객이라고 할 수 있다.
• 장점: 이렇게 바로 사용할 수 있는 턴키 애플리케이션은 구축하고 배포하기 간편하며 상대적으로 저렴한 편이다. 그리고 자동화하거나 개선해야 할 특정 프로세스가 있는 소규모 기업이라면 바로 적용할 수 있는 옵션이 있을 확률이 높다.
특히 진입 장벽이 낮기 때문에 머신러닝을 처음 시작하려는 데이터 과학자들에게 적합하다. 이런 애플리케이션 가운데 일부는 직관적이므로 현업 부문도 자동화와 고급 데이터 기능을 사용해볼 수 있다.
• 단점: 변경이 거의 불가능하다. 쉽게 구축할 순 있지만 사용자 정의는 어렵다는 말이다. 따라서 일부 애플리케이션에서는 특정 수준의 정확성을 달성하기가 어려울 수 있다. 게다가 사전 학습된 모델 및 데이터를 기반으로 하기 때문에 제한되는 부분도 많다.
이러한 애플리케이션으로는 AWS의 아마존 컴프리헨드(Amazon Comprehend), 아마존 렉스(Amazon Lex), 아마존 포캐스트(Amazon Forecast) 그리고 마이크로소프트 애저의 애저 스피치 서비스(Azure Speech Services), 애저 랭귀지 언더스탠딩(Azure Language Understanding, LUIS) 등이 있다. 이들 도구는 데이터 과학자가 머신러닝을 시작하고 조직이 성숙도를 올리는 데 있어서 많은 도움을 줄 것이다. 맞춤화를 지원하는 오토ML 솔루션 크지만 비교적 일반적인 데이터세트(예: 고객 트랜젝션 데이터, 마케팅 이메일 메트릭스 등)를 확보한 기업이라면 문제 해결에 머신러닝을 활용할 때 더욱더 큰 유연성이 필요하다. 여기서도 오토ML은 해결책이 될 수 있다.
수동으로 이뤄지는 머신러닝 워크플로우 단계(데이터 검색, 탐색적 데이터 분석, 하이퍼 파라미터 튜닝 등)를 구성할 수 있는 플랫폼으로 통합해 제공하는 오토ML이 있기 때문이다.
• 장점: 이러한 오토ML 애플리케이션의 진정한 강점은 ‘접근성’이다. 맞춤형 구성을 할 수 있는 데다가, 입력을 꽤 쉽게 조정할 수 있다. 또한 오토ML은 데이터 과학자에게만 국한되지 않기 때문에 개발자도 쉽게 머신러닝 요소를 제품 및 프로젝트에 가져올 수 있다.
• 단점: 한계는 출력의 정확성을 완벽하게 보장하기 어렵다는 것이다. 이 때문에 전문 학위를 취득한 데이터 과학자들은 오토ML로 구축된 애플리케이션을 낮춰 보는 경우도 있다. 비록 결과가 당면한 문제를 해결할 만큼 정확하더라도 말이다.
아마존 세이지메이커 오토파일럿(Amazon SageMaker AutoPilot) 또는 구글 클라우드 오토ML(Google Cloud AutoML) 등을 이런 애플리케이션의 예로 들 수 있겠다.
의심할 여지 없이, 지금부터 10년 후의 데이터 과학자들은 이러한 도구에 익숙해져야 한다. 여러 프로그램 언어에 능통한 개발자가 유능한 인재로 평가받는 것처럼 다수의 오토ML 환경에 능숙해야 한다는 뜻이다.
자체 개발 ML 솔루션 대기업과 포춘 500대 기업에서는 대부분의 첨단 머신러닝 애플리케이션이 자체 개발되고 있다. 이런 기업의 데이터 과학자들은 방대한 과거 데이터를 바탕으로 머신러닝 알고리즘을 개발하고, 처음부터 맞춤형 애플리케이션을 구축해 나간다. 이처럼 맞춤형 애플리케이션은 상당한 리소스와 인력이 필요하다. 보상과 위험이 큰 이유가 여기에 있다.
• 장점: 처음부터 자체 개발되는 맞춤형 머신러닝은 당시의 최신 기술을 활용할 확률이 높고, 당면한 과제에 관한 깊은 이해를 바탕으로 구축된다. 또한 오토ML과 상용 머신러닝 솔루션보다 더 정확하다.
• 단점: 이렇게 정확한 결과를 내놓는 맞춤형 머신러닝 애플리케이션을 구축하는 것 자체가 어렵다. 데이터 과학자팀의 엄청난 공수가 들어가기 마련이며, 개발에 가장 많은 돈과 비용이 드는 옵션이기도 하다.
맞춤형 머신러닝 솔루션을 자체 개발하려면 비어 있는 주피터 노트북에서 시작해 수동으로 데이터를 가져온 다음, 탐색적 데이터 분석부터 모델 튜닝까지 모든 단계를 직접 처리해야 한다.
또 사이킷런(Scikit-learn), 텐서플로우(TensorFlow), 파이토치(PyTorch) 등의 오픈소스 머신러닝 프레임워크를 사용해 맞춤형 코드를 작성해야 하는 경우가 많다. 하지만 높은 수준의 경험과 전문성을 필요로 하는 만큼 턴키 머신러닝 서비스와 오토ML을 능가하는 결과를 만들어 낼 수 있다.
다시 한번 언급하자면, 오토 ML과 같은 도구가 향후 10년 후에 데이터 과학자의 역할에 변화를 불러올 전망이다. 오토ML은 데이터 과학자가 처음부터 머신러닝을 개발해야 하는 부담을 덜어주고, 머신러닝 기술의 잠재력을 다른 이해관계자도 활용할 수 있도록 해준다.
따라서 데이터 과학자는 데이터와 입력 자체에 집중할 수 있고, 기업에 더욱더 가치 있는 가이드 역할을 하게 될 것이다.
