<데이터 사이언티스트: 21세기 가장 섹시한 직업> 이라는 컬럼은 수많은 데이터 관련 책에서 인용이 가장 많이 된 컬럼일 것 이다. 그것도 제목만.
Data Scientist: The Sexiest Job of the 21st Century
Data Scientist: The Sexiest Job of the 21st Century
Back in the 1990s, computer engineer and Wall Street “quant” were the hot occupations in business. Today data scientists are the hires firms are competing to make. As companies wrestle with unprecedented volumes and types of information, demand for the
hbr.org
이 컬럼이 나온 시기가 2012년인데, 10년이 흐른 지금 컬럼의 저자인 Thomas H.Davenport 와 DJ Patil가 하버드 비즈니스 리뷰에 <데이터 사이언티스트는 여전히 21세기 가장 섹시한 직업인가? Is Data Scientist Still the Sexiest Job of the 21st Century?> 라는 컬럼을 기고했다.
Is Data Scientist Still the Sexiest Job of the 21st Century?
Is Data Scientist Still the Sexiest Job of the 21st Century?
Ten years ago, the authors posited that being a data scientist was the “sexiest job of the 21st century.” A decade later, does the claim stand up? The job has grown in popularity and is generally well-paid, and the field is projected to experience more
hbr.org
원문은 하단을 참고하길 바라며,
바쁜 독자를 위해 간단히 요약해보겠다.
결론. 데이터 사이언티스트라는 직업은 크고 작게 변화하고 있다.
- 제도화 (institutionalized, 혹은 일상화라고 번역하고 싶다) 되고 있고;
- 데이터 사이언티스트라는 직업의 범위(scope)이 재정의 되고 있으며;
- 데이터 사이언스를 둘러싼 기술들에 많은 변화가 생겼으며;
- 관련된 non-tech 전문가들의 중요성이 커지고 있다.
조금 더 자세히 그의 주장을 살펴보자.
1) 일상화가 된 데이터 사이언티스트 (better institutionalized)
- 2012년엔 인공지능 스타트업에서도 기초 기능만 했다.
-지금은 은행, 보험회사, 유통회사 뿐만 아니라 정부 기관에도 데이터 사이언스 조직이 있다.
-원인은 양질의 데이터 사이언스 교육이 증가했기 때문.
주관적인 생각을 더해 정리하자면, 데이터 사이언티스트가 인공지능 관련 필드에서만 활약하는 것이 아닌, IT기업부터 일반 제조, 그리고 정부까지 곳곳에 침투해 많은 역할을 하고 있다는 것이다. 실제로 링크드인에 ‘데이터 사이언티스트’라고 검색만 해봐도 정말 다양한 기관과 회사에서 데이터 사이언티스트를 채용하는 것을 확인할 수 있다. 특히 최근 2-4년 사이에 엄청난 붐이었다. 지금도 물론 많이 뽑고 있지만, 아래 설명할 내용처럼 그 직업의 범위가 재정의되고 있는 중이다.
2) 재정의되는 데이터 사이언티스트의 역할 (Data Scientists in Relation to Other Roles)
-데이터 사이언티스트가 다른 많은 역할을 할것이라고 예상했지만, 현실은 데이터 사이언스와 관련된 많은 다른 역할들이 생겼고, 어떤 것들은 데이터 사이언스보다 인기가 높음. (ex. 데이터 엔지니어, data product manager 등)
-늘어나는 데이터 양과 복잡해지는 시스템
-모델을 만들어서 deploy하는 경우가 많이 없음, 아직 실무에서 AI를 적용하기에 용이한 곳이 많지 않다. (즉 역할이 더 분화되고 세분화된 역할을 잘하는 인재들이 많아져야 한다)
개인적인 생각으로는 2012년의 데이터 사이언티스트는 지금의 ML or DL research scientist (리서치 사이언티스트)에 가까운 것 같다.
개인적으로는 다음과 같이 분류해야 한다고 생각한다.
[1] 머신러닝 or 딥러닝 리서치 사이언티스트
알고리즘 연구에 초점을 맞춘 데이터 사이언티스트라고 할 수 있겠다. 그리고 리서치 사이언티스트는 컴퓨터 비전, NLP 등 전문 분야의 연구원으로 분류되고 있는 추세다.
[2] Applied data scientist (데이터 사이언티스트)
1번과 비슷하지만 보다 더 비즈니스적이고 practical한 부분에 초점을 맞추고 있는 데이터 사이언티스트이며, 앞으로는 이러한 부류가 흔히 말하는 ‘데이터 사이언티스트’로 정의되지 않을까 싶다.
Applied data scientist 라는 용어는 한 2년전부터 보이기 시작했고, 업계에서 완전히 통용되는 용어는 아니나, 1번과 구별하기 위해서 사용하기 좋은 것 같다.
Meta의 데이터사이언티스트인 Deepak Chopra는 그의 블로그에서 applied data scientist 에 대해 다음과 같이 정의하고 있다.
Applied data scientist는 간단히 말해, 비즈니스에 적용할 수 있는 솔루션을 제공할 목적으로 이론적 개념 프레임워크와 알고리즘을 데이터에 적용하며 데이터(즉, 데이터 과학)에 대해 공부하는 사람(
An Applied Data Scientist, simply put, is someone who studies the data (i.e. data science) with the aim of providing actionable solutions to business problems by applying theoretical conceptual frameworks and algorithms on the underlying data.) 그리고 비즈니스 문제를 풀기 위해 데이터를 정제하고, 분석하고, 모델링해 의미있는 인사이트를 도출하는 사람 (Someone who processes, analyzes, models and interprets data of any kind to drive meaningful insights and help solve business problem)이라고 정의한다.
여기서 중요한 것은 정제, 분석, 모델링이다. 즉…데이터 정제 뿐만 아니라 분석, 모델링까지 모두 할 줄 알아야한다. 여기서 많이 오해하는 부분이 ‘정제(process)’인데, 단순히 준비된 데이터를 pre-processing하는 과정만 말하는 것이 아니라, 간단한 데이터 파이프라인 설계부터 해서 원천 데이터(raw data)를 자유자재로 가공해 원하는 분석환경으로 이동시킬 수 있어야 한다. 사실 회사마다 분석환경도 다르고 데이터 저장 아키텍처가 다르기 때문에, 경험이 적은 주니어일수록 이 부분에 약한 것이 사실이다. 따라서 이 부분을 채우려면 실무자 강의를 듣거나 기존에 블로그에 올렸던 강의를 들어보길 추천한다.
모델링된 데이터를 실제 서비스에 적용하는 방법에 대한 내용을 담은 강의 (feat. 데이터 사이언티스트가 알아야할 MLOps) - CS 329s
모델링된 데이터를 실제 서비스에 적용하는 방법에 대한 내용을 담은 강의 (feat. 데이터 사이언
https://stanford-cs329s.github.io/syllabus.html CS 329S | Syllabus stanford-cs329s.github.io 실무 경험이 없거나 적은 주니어 데이터 사이언티스트가 가장 많이 궁금해하고 알고 싶어하는 부분은 바로 본인..
data-manyo.tistory.com
데이터 사이언티스트가 알아야할 CS지식 - Missing Semester (feat. MIT 무료 강좌, 한글 자료 제공)
데이터 사이언티스트가 알아야할 CS지식 - Missing Semester (feat. MIT 무료 강좌, 한글 자료 제공)
Missing Semester, 우리말로 번역하면 잃어버린, 혹은 누락된 학기라는 뜻인데, 정규과정에서 잘 다루진 않지만 필요한 내용을 모은 강의이다. MIT에서 진행한 강의이며, 데이터 분석이나 데이터 사이
data-manyo.tistory.com
[3] 데이터 엔지니어
데이터 엔지니어의 역할도 굉장히 동적으로 변화하고 있다. 그 이유는 아래서 나오는 요인인 ‘chages in technology’ 현상과 연관이 깊다. 데이터 양도 많아지고, 비즈니스가 복잡해지면서 만든 모델을 관리하거나 데이터 파이프라인을 잘 관리할 수 있는 역할이 필요해졌다. 특히 큰 기업같은 경우는 데이터 보안 문제도 매우 중요하기 때문에 아키텍처 설계부터 보안관리까지 전문영역이 늘어나고 있다.
MLOps라는 직무가 새롭게 뜨고 있는 것만 봐도 그렇다. 지금까지의 데이터 엔지니어의 역할은 데이터 파이프라인을 잘 설계해 분석을 쉽게 만들어주는 것이었다면, 클라우드 리소스 관리, 데이터 정합성 관리, ML 모델 배포 및 관리 등 계속해서 확장되고 세분화 될 것이다.
사실 이러한 작업이 잘 되는 조직의 데이터 분석 및 활용 능력이 높아지기 때문에, 기업들은 많은 시행착오를 거쳐 지금은 매우 중요한 역할임을 인식하게 되었고, 현재 수요가 가장 많은 직군이 아닌가 생각한다. 컬럼에서도 밝혔듯이 오히려 데이터 사이언티스트보다 인기가 높다.
[4] 데이터 분석가 (or 비즈니스 분석가)
Data Analyst와 Business Analyst를 혼용하는 곳이 많은데, 사실 나는 같은 의미라고 생각한다. 기업에서 데이터 분석을 왜 하는가? 비즈니스를 위해서다. 다만 최근에는 ‘무엇을 분석하는가’에 대한 부분이 전문화되고 세분화되고 있다. 대표적인 것이 HR data analyst 일 것이다. Human resource 부서의 데이터만 전문적으로 분석하는 직종인데, 대이직 시대가 되고 재택근무가 활성화되면서 각광받고 있다.
가장 궁금해할 부분은 ‘데이터 분석가’와 ‘데이터 사이언티스트’의 차이인데, 현실적으로 많은 기업에서 데이터 분석가의 업무는 sql을 활용한 쿼리 추출 및 지표 관리가 주를 차지한다. 데이터 사이언티스트도 분석을하고 sql을 사용한다. 하지만 대부분 모델링 기반 새로운 프로덕트 생성을 위한 데이터 분석을 진행하거나, ML이나 DL 기반의 프로젝트를 만들기 위해 과제 발굴 작업 단계에서의 데이터 분석을 많이 진행한다. 반면 데이터 분석가 혹은 비즈니스 분석가는 daily로 봐야하는 지표나 전사에 공유되야 하는 중요한 비즈니스 지표들을 발굴하고 모니터링하는 작업을 많이 한다.
이제 다시 컬럼으로 돌아가 세 번째 변화를 살펴보자.
3) 기술의 변화 (changes in technology)
- AutoML같은 기술로 인해 많은 부분이 자동화 됨.
- 그로 인해 회사들은 ‘시티즌 데이터 사이언티스트’를 키우려는 추세
-비즈니스 환경이 달라져서 배치한 모델을 계속해서 모니터링할 필요성을 느낌. MLOps가 뜬 이유.
-2012년에 비해 coding 스킬이 중요하지 않아졌다 → 좋은 package, library로 인해 하드코딩 작업의 필요성이 줄어듬
너무나도 당연하지만 AI기술, 그리고 AI를 지탱하는 많은 인프라 기술들이 큰 발전을 거듭했다. 위에서 언급한 것처럼 데이터 엔지니어의 중요성이 커지고 있으며 데이터 엔지니어라는 직무 또한 계속해서 세분화되고 있다. 코딩이 필요없어질만큼 많은 부분이 자동화되고 있으며, 이에 따라 데이터 과학 지식을 겸비한 일반 ‘시티즌 데이터 사이언티스트’ 를 양성하고자 하는 움직임도 보인다.
사실 아직 coding이 필요없어질 정도는 아니지만, 비즈니스에 ML을 적용하며 생각할 수 있는 기능 대부분은 이미 라이브러리화 되어 제공되고 있는 것이 사실이다. 특히 클라우드 사업자들은 경쟁에서 이기기 위해 더 편하고 좋은 기능을 내놓으려 혈안이 되어 있고, 이에 따라 소비자들은 AI를 비즈니스에 적용하는 허들이 계속해서 낮아지는 것을 목격할 수 밖에 없다.
4) 데이터 과학의 윤리(The Ethics of Data Science)
첫 컬럼을 쓸때와 가장 달라진 부분은 바로 데이터 과학에 대한 윤리 문제가 부각되고 있다는 점이다. 책임감 있는 AI, 데이터 투명화 등의 주제가 큰 이슈로 떠올랐는데, 따라서 테크가 아닌 non-tech분야, 즉 법률이나 윤리 부분의 전문가들의 중요성이 커지는 추세라고 한다.
다시 한 번 결론이다.
결론. 데이터 사이언티스트라는 직업은 크고 작게 변화하고 있다.
- 제도화 (institutionalized, 혹은 일상화라고 번역하고 싶다) 되고 있고;
- 데이터 사이언티스트라는 직업의 범위(scope)이 재정의 되고 있으며;
- 데이터 사이언스를 둘러싼 기술들에 많은 변화가 생겼으며;
- 관련된 non-tech 전문가들의 중요성이 커지고 있다.
데이터 사이언티스트는 여전히 가장 섹시한 직업인가?
사실 컬럼 제목에 대한 직접적인 답은 내용에 없다. 그들의 처음 주장하던 시기와 비슷한 부분도 있고 변화한 부분도 있다고 주장하고 있을 뿐이다. 애초에 'sexy'라는 단어에 포커스를 둔 컬럼이 아니었는데, 데이터와 AI에 대한 관심때문에 많이 인용되다보니 내용보다는 sexy라는 단어에 초점이 맞춰져있던 것같다...
sexy라는 개념이 아무래도 주관적인 것이니 정답은 없을 것이다...
개인적으로는 sexy는 모르겠고 가장 유망한 직업 중 하나이며, 계속해서 동적으로 그 역할(role) 자체가 세분화되고 변화하는 직업이라고 생각한다.
'데이터 과학자와 데이터 엔지니어를 위한 인터뷰 문답집' 카테고리의 다른 글
데이터 사이언티스트/데이터 분석가/데이터 엔지니어 인터뷰 정보 제공 사이트 (0) | 2022.03.18 |
---|---|
[실전 데이터사이언티스트 면접 문제] 클러스터링 알고리즘 평가 (0) | 2021.09.07 |
데이터 사이언티스트 면접을 위한 치트시트 (Cheat Sheets for Machine Learning and Data Science) (0) | 2021.08.26 |
머신러닝 딥러닝 인터뷰 문제 150+ (0) | 2021.08.23 |
데이터 사이언티스트 면접 문제 한 눈에 살펴 보기 (0) | 2021.03.28 |