출처 : https://youtu.be/1Viu7Ce632s?si=33fmdT1yCGTMnrD- 데이터 엔지니어 - 데이터를 활용하는 모든 사람들을 위해 데이터를 저장, 가공, 처리하는 직군 - 우리가 물을 사용할 수 있도록 배관을 만들어주는 배관공(물=데이터, 배관=데이터 ETL 파이프라인) 데이터 엔지니어를 이해하기 위한 배경 - 앱/웹 서비스(카카오, 유튜브 등) -> DB에 데이터가 저장됨 - 이런 DB는 서비스를 위한 데이터를 저장하며, 장애가 나면 안됨 - 따라서 DB보다 Data Warehouse에 데이터를 저장하는 추세 데이터 웨어하우스 - 구조화가 잘 되어있고, 정확한 수치를 뽑아내는 보고서 작성 등 구체적인 용도로 전처리가 되어있음 - 레이크에 비해 상대적으로 작으며, 잘 관리되고 mi..