- 현재 위치
- home > 컴퓨터·ICT·어학 > 컴퓨터·IT 도서 > 데이터베이스 > 빅쿼리를 활용한 데이터 웨어하우스 구축(데이터 과학)[에이콘출판]
;)
구글의 BigQuery(빅쿼리) 기술을 바탕으로 리포팅과 대시보드 기능을 지원하는 데이터 웨어하우스를 구축하는 방법을 설명한다. BigQuery를 사용해 설계, 빌드, 로드, 검색, 유지하는 방법을 단계별로 진행하면서 데이터 웨어하우스를 구축할 수 있다. 유용하면서도 확장 가능하며 유지보수가 쉬운 모던 데이터 분석 시스템을 어떻게 만드는지에 대한 궁금증을 해결해준다. 그리고 BigQuery 머신러닝 기능을 사용해 데이터를 예측하고 조직의 데이터 문제를 해결하는 방법을 설명한다.
저자: 마크 무케티
1부. 웨어하우스 구축
1장. BigQuery 살펴보기
__구글 클라우드 플랫폼
__GCP 시작
__GCP 사용
____Cloud Console
____Command Line Interface
____프로그래밍 방식 액세스
__BigQuery Cloud Console
____SQL 쿼리
____유용한 정보
__웨어하우스 디자인
__데이터 저장소로서의 BigQuery
____행 지향 접근
____열 지향 접근
__데이터 웨어하우스로서의 BigQuery
__주요 질문
____기초
____확장성
__데이터 정규화
__요약
2장. 웨어하우스 프로젝트 시작
__시작에 앞서
__핵심 질문
____제한적인 리소스는 무엇인가?
____조직의 업무 분야는 무엇인가?
____조직의 차별점은 무엇인가?
____필요한 데이터를 알려줄 수 있는 사람은 누구인가?
____고객에게 필요한 데이터를 파악하고 있는 사람은 누구인가?
____핵심 객체는 무엇인가?
____핵심 관계는 무엇인가?
____시간은 어떤 역할을 하는가?
____비용은 어떤 역할을 하는가?
__일반적인 고려사항
__업무 승인
____관계자 인터뷰
____갈등 해결
____문서 산출물
____비즈니스 수용
____결정 기록
__설계 방식 선택
____트랜잭션 저장소
____스타/눈송이 스키마
____NoSQL
____BigQuery
__BigQuery 모델
____프로젝트
____데이터 세트
____테이블
__요약
3장. 데이터 모델
__데이터 모델
__수집 속도
__과거 데이터의 가치
__데이터 모델 생성
__데이터 세트 생성
__테이블 생성
____소스
____파일 형식
____대상
____스키마
____모드
____파티션 및 클러스터 설정
____고급 옵션
____파티셔닝
____클러스터링
__BigQuery 데이터 읽기
____BigQuery UI
____bq 커맨드 라인
____BigQuery API
____BigQuery Storage API
__요약
4장. BigQuery 비용 관리
__BigQuery 모델
__BigQuery 비용 모델
____스토리지 가격
____주문형 가격
____정액제
____BigQuery 예약
__비용 최적화
____연간 약정
____테이블 분할
____로딩 vs 스트리밍
____쿼리 작성
____쿼리 비용 확인
__GCP 예산 도구
____GCP 요금 계산기
____주문형 모델 제한 설정
____예약 할당량 설정
____BigQuery에 결제정보 로드
__요약
2부. 웨어하우스 채우기
5장. 웨어하우스 데이터 로드
__로딩과 마이그레이션
____파일
____Google Cloud Storage
____타사 이전 솔루션
____Java Database Connectivity
____Document-Based Storage/NoSQL
____외부 데이터 소스
__요약
6장. 데이터 웨어하우스 스트리밍
__장점과 단점
____데이터 일관성
____데이터 가용성
____스트리밍 사용 조건
__스트리밍 코드 작성
____Google App Engine
____발생할 수 있는 문제
__고급 스트리밍 기능
____시간순으로 분할
____수집순으로 분할
____템플릿 테이블
__요약
7장. Dataflow
__주요 개념
____Driver Program
____파이프라인
____Directed-Acyclic Graph
____PCollection
____PTransform
__파이프라인 구축
____준비
____튜토리얼
____Google Dataflow Runner
__Dataflow Templates
__Dataflow SQL
____주요 개념 확장
____Dataflow SQL 확장
____Dataflow SQL 파이프라인 작성
____Dataflow SQL 작업 배포
__요약
3부. 웨어하우스 사용
8장. 웨어하우스 관리
__질문과 계획
__회고
__로드맵
____제품 결함
____기술 부채
____유지보수
____범위 축소
____시스템화
____낙관적인 확장성
____우선순위
__푸시-풀 전략
__데이터 고객 유형
____데이터 분석가
____엔지니어
____임원 및 경영진
____영업직
__요약
9장. 웨어하우스 쿼리
__BigQuery SQL
____기본 문법
____추가 구문
____이전 데이터 액세스
__집합과 교차
____UNION ALL/DISTINCT
____INTERSECT
____EXCEPT
__조인
____CROSS JOIN
____INNER JOIN
____OUTER JOIN
____USING
____셀프 조인
__하위 쿼리
____WITH절
__중첩 데이터
____UNNEST
__파티션
____수집 시간 파티션 테이블
____날짜/타임스탬프 파티션 테이블
____정수 범위 파티션 테이블
__날짜 함수
____협정 세계시
____일반 사용 사례
__그룹핑
____ROLLUP
____HAVING
__집계 함수
__BigQuery GIS
____GEOGRAPHY의 개념
____GIS 함수
____시각화
__기타 함수들
__요약
10장. 예약 작업
__BigQuery의 예약 쿼리
____쿼리 예약하기
____쿼리 검토
__Cloud Scheduler
____이름
____빈도
____대상
____상태
____명령줄 사용
____스케줄링 모범 사례
__다른 예약 방법
____Cloud Tasks
____Cloud Composer
____BigQuery Transfer Service
__요약
11장. GCP의 서버리스 함수
__장점
____관리
____확장성
____비용
____가용성
__단점
____지연
____리소스 제한
____이식성
____관리
__BigQuery와 Cloud Functions
__함수 작성
____함수 이름
____리전
____트리거
____인증
____변수, 네트워킹, 고급 설정
____코드
____소스코드
____Cloud Functions 배포
__Cloud Functions 호출
____HTTP 트리거
____Cloud Pub/Sub 트리거
____Cloud Storage 트리거
____Cloud Firestore
____직접 트리거
____Firebase 트리거
__Cloud Scheduler
__실제 애플리케이션 예제
____제안하는 디자인
__요약
12장. Cloud Logging
__로그와 분석의 연관성
____Abigail’s Flowers 예제
__Cloud Logging
____로그 탐색기
____Cloud Logging 쿼리
__BigQuery 로그 싱크
____싱크
____싱크 생성
__측정항목과 알림
____측정항목 생성
____로그 기반 측정항목
____측정항목 내보내기
____알림
__피드백 루프
__요약
4부. 웨어하우스 유지 및 관리
13장. 고급 BigQuery 기능
__분석 함수
____정의
____윈도우 프레임
____파티션
____실행 순서
____숫자 함수
____윈도우 프레임 문법
____탐색 함수
____집계 분석 함수
__BigQuery 스크립팅
____블록
____변수
____Comments 주석
____IF/THEN/ELSEIF/ELSE/END IF
____제어 흐름
__저장 프로시저, 사용자 정의 함수, 뷰
____저장 프로시저
____사용자 정의 함수
____자바스크립트 사용자 정의 함수
____뷰
____구체화된 뷰
__요약
14장. 데이터 거버넌스
__데이터 거버넌스 정의
____가용성
____컴플라이언스
____일관성
____비용 관리
____의사 결정
____성능
____품질
____보안
____사용성
__거버넌스 전략
__책임과 역할
____고위 경영진
____거버넌스 위원회
____주제 전문가
____데이터 분석가
____데이터 엔지니어
__기록 시스템
____Golden Record
____단방향 데이터 흐름
__보안
____인증
____권한
____암호화
____분류
____데이터 손실 방지
____감사
__데이터 수명 주기
____수집에서 사용 가능 상태까지
____활성 데이터 및 품질 측정
____폐기
__거버넌스 정책 수정
__로드맵
__승인
__Google Cloud Data Catalog
____개요
____BigQuery
____외부 연결
____개인 식별 정보
__요약
15장. 장기적인 전략 수립
__비즈니스 변화
____큰 비즈니스 변화
____핵심 성과 지표
____타임라인
____접근 방법
____데이터 프로그램 품의서
__자연적인 성장
____변화 제어
____소스 제어 관리
____데이터 보존 고려사항
____개인 정보 보호법
____비용 관리
____만료 기간
____장기 스토리지
__데이터 조작 언어
__중단 시간
____코드 프리즈
____단계적 성능 저하
__BigQuery 생태계
__요약
5부. 데이터 리포팅과 시각화
16장. 리포팅
__리포팅
__리포팅과 데이터 대중화
____역사
____회색시장 데이터
____리포팅을 통한 대중화
____역사는 반복된다
__제품 관점의 리포팅
____B2B의 관점
____리포팅 시스템 품의
____제품 관리
__요구사항 정의
____플랫폼
____보고서
____로드맵
__솔루션 분포
____Google Cloud Platform
____서드 파티
____그 외의 방법
__요약
17장. 대시보드와 시각화
__시각화
____시각화 기능
__대시보드
____시각화와 대시보드
____대시보드 계층
____사용 사례
____접근성
____신선함
____관련 측정항목
____주요 비즈니스 변화
____커뮤니티
__대시보드 구축
____하드웨어
____소프트웨어
____유지보수
__요약
18장. Google Data Studio
__데이터 스튜디오 보고서와 BigQuery
____데이터 소스
____BigQuery 커넥터
____보고서 준비
____보고서 생성
____차트 작성
____보고서 보기 옵션
__추가 기능
____데이터 스튜디오 탐색기
____데이터 혼합
____계산된 필드
____커뮤니티 추가 기능
____Google 애널리틱스
__BigQuery BI Engine
__요약
6부. 데이터의 잠재력 향상
19장. BigQuery ML
__배경 지식
____인공지능
____머신러닝
____통계와의 관계
____윤리
__BigQuery ML 개념
____비용
____지도 학습과 비지도 학습
____모델 유형
____수행 절차
__예제
____k-평균 군집화
____분류
__요약
20장. Jupyter Notebook과 공개 데이터 세트
__심연의 가장자리
__Jupyter Notebook
____노트북 설정
____노트북 인터페이스
____Python 데이터 분석
__BigQuery 연결
____커널에 데이터 추가하기
____BigQuery 데이터 추가
__dataframe 탐색
____둘러보기
____개별 값 탐색
____다중 값 탐색
____다음 단계
____매직 명령어
__AutoML Tables
____데이터 세트 가져오기
____학습 설정
____모델 학습
____모델 평가
____예측
____추가 분석
__데이터 인사이트 퍼널
__요약
21장. 결론
부록 A. Cloud Shell과 Cloud SDK
부록 B. 데이터 프로젝트 품의서 샘플
1장. BigQuery 살펴보기
__구글 클라우드 플랫폼
__GCP 시작
__GCP 사용
____Cloud Console
____Command Line Interface
____프로그래밍 방식 액세스
__BigQuery Cloud Console
____SQL 쿼리
____유용한 정보
__웨어하우스 디자인
__데이터 저장소로서의 BigQuery
____행 지향 접근
____열 지향 접근
__데이터 웨어하우스로서의 BigQuery
__주요 질문
____기초
____확장성
__데이터 정규화
__요약
2장. 웨어하우스 프로젝트 시작
__시작에 앞서
__핵심 질문
____제한적인 리소스는 무엇인가?
____조직의 업무 분야는 무엇인가?
____조직의 차별점은 무엇인가?
____필요한 데이터를 알려줄 수 있는 사람은 누구인가?
____고객에게 필요한 데이터를 파악하고 있는 사람은 누구인가?
____핵심 객체는 무엇인가?
____핵심 관계는 무엇인가?
____시간은 어떤 역할을 하는가?
____비용은 어떤 역할을 하는가?
__일반적인 고려사항
__업무 승인
____관계자 인터뷰
____갈등 해결
____문서 산출물
____비즈니스 수용
____결정 기록
__설계 방식 선택
____트랜잭션 저장소
____스타/눈송이 스키마
____NoSQL
____BigQuery
__BigQuery 모델
____프로젝트
____데이터 세트
____테이블
__요약
3장. 데이터 모델
__데이터 모델
__수집 속도
__과거 데이터의 가치
__데이터 모델 생성
__데이터 세트 생성
__테이블 생성
____소스
____파일 형식
____대상
____스키마
____모드
____파티션 및 클러스터 설정
____고급 옵션
____파티셔닝
____클러스터링
__BigQuery 데이터 읽기
____BigQuery UI
____bq 커맨드 라인
____BigQuery API
____BigQuery Storage API
__요약
4장. BigQuery 비용 관리
__BigQuery 모델
__BigQuery 비용 모델
____스토리지 가격
____주문형 가격
____정액제
____BigQuery 예약
__비용 최적화
____연간 약정
____테이블 분할
____로딩 vs 스트리밍
____쿼리 작성
____쿼리 비용 확인
__GCP 예산 도구
____GCP 요금 계산기
____주문형 모델 제한 설정
____예약 할당량 설정
____BigQuery에 결제정보 로드
__요약
2부. 웨어하우스 채우기
5장. 웨어하우스 데이터 로드
__로딩과 마이그레이션
____파일
____Google Cloud Storage
____타사 이전 솔루션
____Java Database Connectivity
____Document-Based Storage/NoSQL
____외부 데이터 소스
__요약
6장. 데이터 웨어하우스 스트리밍
__장점과 단점
____데이터 일관성
____데이터 가용성
____스트리밍 사용 조건
__스트리밍 코드 작성
____Google App Engine
____발생할 수 있는 문제
__고급 스트리밍 기능
____시간순으로 분할
____수집순으로 분할
____템플릿 테이블
__요약
7장. Dataflow
__주요 개념
____Driver Program
____파이프라인
____Directed-Acyclic Graph
____PCollection
____PTransform
__파이프라인 구축
____준비
____튜토리얼
____Google Dataflow Runner
__Dataflow Templates
__Dataflow SQL
____주요 개념 확장
____Dataflow SQL 확장
____Dataflow SQL 파이프라인 작성
____Dataflow SQL 작업 배포
__요약
3부. 웨어하우스 사용
8장. 웨어하우스 관리
__질문과 계획
__회고
__로드맵
____제품 결함
____기술 부채
____유지보수
____범위 축소
____시스템화
____낙관적인 확장성
____우선순위
__푸시-풀 전략
__데이터 고객 유형
____데이터 분석가
____엔지니어
____임원 및 경영진
____영업직
__요약
9장. 웨어하우스 쿼리
__BigQuery SQL
____기본 문법
____추가 구문
____이전 데이터 액세스
__집합과 교차
____UNION ALL/DISTINCT
____INTERSECT
____EXCEPT
__조인
____CROSS JOIN
____INNER JOIN
____OUTER JOIN
____USING
____셀프 조인
__하위 쿼리
____WITH절
__중첩 데이터
____UNNEST
__파티션
____수집 시간 파티션 테이블
____날짜/타임스탬프 파티션 테이블
____정수 범위 파티션 테이블
__날짜 함수
____협정 세계시
____일반 사용 사례
__그룹핑
____ROLLUP
____HAVING
__집계 함수
__BigQuery GIS
____GEOGRAPHY의 개념
____GIS 함수
____시각화
__기타 함수들
__요약
10장. 예약 작업
__BigQuery의 예약 쿼리
____쿼리 예약하기
____쿼리 검토
__Cloud Scheduler
____이름
____빈도
____대상
____상태
____명령줄 사용
____스케줄링 모범 사례
__다른 예약 방법
____Cloud Tasks
____Cloud Composer
____BigQuery Transfer Service
__요약
11장. GCP의 서버리스 함수
__장점
____관리
____확장성
____비용
____가용성
__단점
____지연
____리소스 제한
____이식성
____관리
__BigQuery와 Cloud Functions
__함수 작성
____함수 이름
____리전
____트리거
____인증
____변수, 네트워킹, 고급 설정
____코드
____소스코드
____Cloud Functions 배포
__Cloud Functions 호출
____HTTP 트리거
____Cloud Pub/Sub 트리거
____Cloud Storage 트리거
____Cloud Firestore
____직접 트리거
____Firebase 트리거
__Cloud Scheduler
__실제 애플리케이션 예제
____제안하는 디자인
__요약
12장. Cloud Logging
__로그와 분석의 연관성
____Abigail’s Flowers 예제
__Cloud Logging
____로그 탐색기
____Cloud Logging 쿼리
__BigQuery 로그 싱크
____싱크
____싱크 생성
__측정항목과 알림
____측정항목 생성
____로그 기반 측정항목
____측정항목 내보내기
____알림
__피드백 루프
__요약
4부. 웨어하우스 유지 및 관리
13장. 고급 BigQuery 기능
__분석 함수
____정의
____윈도우 프레임
____파티션
____실행 순서
____숫자 함수
____윈도우 프레임 문법
____탐색 함수
____집계 분석 함수
__BigQuery 스크립팅
____블록
____변수
____Comments 주석
____IF/THEN/ELSEIF/ELSE/END IF
____제어 흐름
__저장 프로시저, 사용자 정의 함수, 뷰
____저장 프로시저
____사용자 정의 함수
____자바스크립트 사용자 정의 함수
____뷰
____구체화된 뷰
__요약
14장. 데이터 거버넌스
__데이터 거버넌스 정의
____가용성
____컴플라이언스
____일관성
____비용 관리
____의사 결정
____성능
____품질
____보안
____사용성
__거버넌스 전략
__책임과 역할
____고위 경영진
____거버넌스 위원회
____주제 전문가
____데이터 분석가
____데이터 엔지니어
__기록 시스템
____Golden Record
____단방향 데이터 흐름
__보안
____인증
____권한
____암호화
____분류
____데이터 손실 방지
____감사
__데이터 수명 주기
____수집에서 사용 가능 상태까지
____활성 데이터 및 품질 측정
____폐기
__거버넌스 정책 수정
__로드맵
__승인
__Google Cloud Data Catalog
____개요
____BigQuery
____외부 연결
____개인 식별 정보
__요약
15장. 장기적인 전략 수립
__비즈니스 변화
____큰 비즈니스 변화
____핵심 성과 지표
____타임라인
____접근 방법
____데이터 프로그램 품의서
__자연적인 성장
____변화 제어
____소스 제어 관리
____데이터 보존 고려사항
____개인 정보 보호법
____비용 관리
____만료 기간
____장기 스토리지
__데이터 조작 언어
__중단 시간
____코드 프리즈
____단계적 성능 저하
__BigQuery 생태계
__요약
5부. 데이터 리포팅과 시각화
16장. 리포팅
__리포팅
__리포팅과 데이터 대중화
____역사
____회색시장 데이터
____리포팅을 통한 대중화
____역사는 반복된다
__제품 관점의 리포팅
____B2B의 관점
____리포팅 시스템 품의
____제품 관리
__요구사항 정의
____플랫폼
____보고서
____로드맵
__솔루션 분포
____Google Cloud Platform
____서드 파티
____그 외의 방법
__요약
17장. 대시보드와 시각화
__시각화
____시각화 기능
__대시보드
____시각화와 대시보드
____대시보드 계층
____사용 사례
____접근성
____신선함
____관련 측정항목
____주요 비즈니스 변화
____커뮤니티
__대시보드 구축
____하드웨어
____소프트웨어
____유지보수
__요약
18장. Google Data Studio
__데이터 스튜디오 보고서와 BigQuery
____데이터 소스
____BigQuery 커넥터
____보고서 준비
____보고서 생성
____차트 작성
____보고서 보기 옵션
__추가 기능
____데이터 스튜디오 탐색기
____데이터 혼합
____계산된 필드
____커뮤니티 추가 기능
____Google 애널리틱스
__BigQuery BI Engine
__요약
6부. 데이터의 잠재력 향상
19장. BigQuery ML
__배경 지식
____인공지능
____머신러닝
____통계와의 관계
____윤리
__BigQuery ML 개념
____비용
____지도 학습과 비지도 학습
____모델 유형
____수행 절차
__예제
____k-평균 군집화
____분류
__요약
20장. Jupyter Notebook과 공개 데이터 세트
__심연의 가장자리
__Jupyter Notebook
____노트북 설정
____노트북 인터페이스
____Python 데이터 분석
__BigQuery 연결
____커널에 데이터 추가하기
____BigQuery 데이터 추가
__dataframe 탐색
____둘러보기
____개별 값 탐색
____다중 값 탐색
____다음 단계
____매직 명령어
__AutoML Tables
____데이터 세트 가져오기
____학습 설정
____모델 학습
____모델 평가
____예측
____추가 분석
__데이터 인사이트 퍼널
__요약
21장. 결론
부록 A. Cloud Shell과 Cloud SDK
부록 B. 데이터 프로젝트 품의서 샘플
