데이터분석
-
데이터 엔지니어데이터분석 2023. 11. 29. 14:38
! 유튜브 - 카일스쿨을 참고하여 쓴 글 1. 업무 ETL 파이프 라인 - 처음 들어봄 ㅋ - E : Extract (뽑아내다, 추출하다) - 데이터를 추출 - 서비스의 database, 앱/웹의 로그 데이터를 추출 - T : transform (변형시키다) - 데이터를 변환 - 데이터를 잘 활용할 수 있도록 데이터를 변환 - L : Load (불러오다) - 데이터를 사용할 수 있도록 불러오기 - 변환한 데이터를 사용할 수 있도록 설정 ex) 매일 아침 9시에 배달해 주세요 2. 데이터 처리 방식 데이터를 처리하는 방식에는 2가지의 대표적인 방법이 있다. 1) 배치 (batch) : 1시간에 1번씩 / 1일에 1번씩 특정 시간에 1번씩 실행하는 방식 2) 실시간 (real time, steaming) :..