-
! 유튜브 - 카일스쿨을 참고하여 쓴 글
1. 업무
ETL 파이프 라인
- 처음 들어봄 ㅋ
- E : Extract (뽑아내다, 추출하다)
- 데이터를 추출
- 서비스의 database, 앱/웹의 로그 데이터를 추출
- T : transform (변형시키다)
- 데이터를 변환
- 데이터를 잘 활용할 수 있도록 데이터를 변환
- L : Load (불러오다)
- 데이터를 사용할 수 있도록 불러오기
- 변환한 데이터를 사용할 수 있도록 설정
ex) 매일 아침 9시에 배달해 주세요
2. 데이터 처리 방식
데이터를 처리하는 방식에는 2가지의 대표적인 방법이 있다.
1) 배치 (batch)
: 1시간에 1번씩 / 1일에 1번씩
특정 시간에 1번씩 실행하는 방식
2) 실시간 (real time, steaming)
: 요청 시 바로바로
- 실시간으로 데이터를 처리
ex) 주문 요청이 들어오면 바로 만들어서 배송해 주세요
"데이터를 어떻게 활용할지 목적에 따라서 배치, 실시간 파이프 라인을 판단"
공부방법을 소개해주는 유튜브이다
얼마 전에 알고리즘에 떠서 보는 중인데
괜찮아서 조금 끄적인다.
데이터 엔지니어가 되고 싶은 건 아니지만
데이터 분석가랑 엔지니어의 경계가 애매해서
알아두면 좋을 거 같아서 참고용으로 기록해 놓는다.
출처 : https://www.youtube.com/watch?v=1Viu7Ce632s