데이터를 통해 의사결정을 하고, 제품과 서비스를 만드는 세상이 되었습니다. 하지만 정작 데이터를 통해 무엇을 만들고 싶지만, 이러한 데이터를 다루기 위한 또 다른 도구와 기술을 익히는 데에 더 많은 시간이 소요되는 경험을 해보신 적이 있으신가요? 그렇다고 이러한 기술 하나 하나를 익히기 위해 제대로 공부를 하다보면 정작 중요한 업무는 시작하기 어려운 경험도 있으실 겁니다. 이렇게 데이터 엔지니어링 과제를 수행하기 위해 필요한 필수적인 도구와 기술에 대한 이해를 돕기 위한 과정이 '데이터 엔지니어링 기초과정'입니다.
- 저자
- 기업 내외에서 발생하는 다양한 형태의 데이터를 수집, 변환 및 적재를 위한 다양한 기술을 연구하고 이러한 작업을 좀 더 자동화 할 수 있는 서비스와 플랫폼을 개발하는 업무를 하고 있습니다
- 소개
- 엔지니어링 기술과 관련한 다양한 기술과 이론을 학습하게 되며, 과목 별로 많은 시간을 할애하기 어렵기 때문에 중요한 개념과, 기본적인 기법에 대한 실습을 수행하게 됩니다
- 보다 깊은 내용과 다양한 이론과 실습이 필요하신 분들은 별도의 강좌 혹은 인턴넷 상에 공개된 공식 스펙을 통해 보다 깊은 학습하시는 것을 추천 드립니다
- 기초 강좌에서 소개해 드리는 강좌 내용만 제대로 소화하신다면, 엔지니어링 업무를 수행하는 데에 기본적인 준비는 되었다고 생각합니다
- 목적
- 데이터 엔지니어링 업무 수행을 위해 필요한 인프라 및 도구에 대해 이해하고 사용할 수 있습니다
- Git, MySQL, Python, Hadoop, Linux 등에 대한 예제를 통한 실습과 이론을 학습합니다
- 대상
- 데이터 엔지니어링 업무를 이제 막 시작하셨다거나, 수행 예정인 분
- 엔지니어링은 아니지만 데이터 관련 업무를 보다 다양한 관점에서 이해하고 학습하고 싶은 분
- 내용
- 깃 : 엔지니어링 업무를 수행하는 과정에서 발생하는 다양한 프로그래밍 코드, 리소스 파일 등의 백업, 이력 및 형상 관리를 위한 도구를 다양한 사례의 실습을 통해 이해하고 학습합니다
- 데이터베이스 : 설치나 운영의 관점이 아니라 MySQL 이라는 데이터베이스 환경에서 테이블을 생성하고, 조회하는 명령어를 익히고 학습합니다
- 파이썬 : 예제 프로그램의 실습을 통해 프로그래밍에 대한 이해과, 문법에 대해 학습을 통해 파이썬 스크립트의 기본적인 동작방식을 학습합니다
- 하둡 : 하둡의 두 가지 구성요소인 HDFS 와 YARN 에 대해 이해하고, 예제 스크립트와 간단한 애플리케이션 구현을 통해서 분산 저장소 및 처리 엔진을 이해합니다
- 리눅스 : 데이터 엔지니어링을 위한 대부분의 소프트웨어 및 인프라는 리눅스 시스템 위에서 실행 및 운영 된다고 보아도 과언이 아니므로, 이러한 리눅스 시스템에 대한 이해하기 위해 다양한 리눅스 커맨드라인 도구의 실습과 셸 스크립트 학습을 통해 리눅스 시스템의 내부를 이해합니다
- 맺음말
- 이번 과정을 통해 데이터 엔지니어링 분야에 대해 조금 더 이해할 수 있는 시간이 되셨으면 좋겠습니다.