- 현재 위치
- home > 컴퓨터·ICT·어학 > 컴퓨터·IT 도서 > 컴퓨터공학 > 연합학습[에이콘출판]
;)
연합학습(연합 머신러닝)이란 훈련 데이터를 한데 모으지 않고 협력적으로 수행하는 머신러닝 기술이다. 기존 머신러닝 기술이 갖고 있던 한계를 넘어 컴퓨팅 자원 소모의 분산, 프라이버시 보호, 개인 맞춤형 학습 등을 실현할 수 있는 대안으로 주목받아 구글, 애플, IBM 등 많은 테크 기업에서 연구가 이뤄지고 있다. 이 책은 기존의 머신러닝 기술에 익숙한 개발자, 연구자들에게 연합학습 분야의 연구 동향을 두루 정리해서 알려준다. 우리말로는 처음으로 연합학습을 소개하는 책이다.
저자: 치앙 양
1장. 서론
1.1 동기
1.2 해결책으로서의 연합학습
1.2.1 연합학습의 정의
1.2.2 연합학습의 범주
1.3 연합학습의 발전 현황
1.3.1 연합학습 분야의 연구 이슈
1.3.2 오픈소스 프로젝트
1.3.3 표준화 활동
1.3.4 FedAI 생태계
1.4 이 책의 구성
2장. 배경지식
2.1 프라이버시 보전 머신러닝
2.2 프라이버시 보전 머신러닝과 보안 머신러닝
2.3 프라이버시 위협 모델과 보안 모델
2.3.1 프라이버시 위협 모델
2.3.2 적대자 모델과 보안 모델
2.4 프라이버시 보전 기법
2.4.1 다자간 보안 계산
2.4.2 동형 암호
2.4.3 차분 프라이버시
3장. 분산 머신러닝
3.1 분산 머신러닝 소개
3.1.1 분산 머신러닝의 정의
3.1.2 분산 머신러닝 플랫폼
3.2 확장성 지향 분산 머신러닝
3.2.1 대규모 머신러닝
3.2.2 확장성 지향 분산 머신러닝 기법
3.3 프라이버시 지향 분산 머신러닝
3.3.1 프라이버시 보전 의사 결정 트리
3.3.2 프라이버시 보전 기법
3.3.3 프라이버시 보전 분산 머신러닝 기법
3.4 프라이버시 보전 경사 하강법
3.4.1 순수 연합학습
3.4.2 프라이버시 보전 방식
3.5 요약
4장. 수평 연합학습
4.1 수평 연합학습의 정의
4.2 수평 연합학습 아키텍처
4.2.1 클라이언트-서버 아키텍처
4.2.2 피어 투 피어 아키텍처
4.2.3 글로벌 모델 평가
4.3 연합 평균 알고리듬
4.3.1 연합 최적화
4.3.2 FedAvg 알고리듬
4.3.3 보안 FedAvg 알고리듬
4.4 FedAvg 알고리듬의 개선
4.4.1 통신 효율성
4.4.2 클라이언트 선택
4.5 관련 연구
4.6 도전 과제와 향후 전망
5장. 수직 연합학습
5.1 수직 연합학습의 정의
5.2 수직 연합학습의 아키텍처
5.3 수직 연합학습 알고리듬
5.3.1 보안 연합 선형 회귀
5.3.2 보안 연합 트리 부스팅
5.4 도전 과제와 향후 전망
6장. 연합 전이학습
6.1 이종 연합학습
6.2 연합 전이학습
6.3 연합 전이학습 프레임워크
6.3.1 덧셈 동형 암호
6.3.2 연합 전이학습의 훈련 과정
6.3.3 연합 전이학습의 예측 과정
6.3.4 보안 분석
6.3.5 비밀 공유 기반 FTL
6.4 도전 과제와 향후 전망
7장. 연합학습을 위한 인센티브 메커니즘 설계
7.1 기여자 보상
7.1.1 이익 배분 게임
7.1.2 역경매
7.2 공정성 인지형 이익 배분 프레임워크
7.2.1 기여 모델링
7.2.2 비용 모델링
7.2.3 불만도 모델링
7.2.4 시간적 불만도 모델링
7.2.5 정책 조정자
7.2.6 보상 비중 계산
7.3 토의
8장. 컴퓨터 비전, 자연어 처리, 추천 시스템을 위한 연합학습
8.1 컴퓨터 비전을 위한 연합학습
8.1.1 연합 컴퓨터 비전
8.1.2 관련 연구
8.1.3 도전 과제와 향후 전망
8.2 자연어 처리를 위한 연합학습
8.2.1 연합 자연어 처리
8.2.2 관련 연구
8.2.3 도전 과제와 향후 전망
8.3 추천 시스템을 위한 연합학습
8.3.1 추천 모델
8.3.2 연합 추천 시스템
8.3.3 관련 연구
8.3.4 도전 과제와 향후 전망
9장. 연합 강화 학습
9.1 강화 학습 소개
9.1.1 정책
9.1.2 보상
9.1.3 가치 함수
9.1.4 환경 모델
9.1.5 강화 학습 사례
9.2 강화 학습 알고리듬
9.3 분산 강화 학습
9.3.1 비동기 분산 강화 학습
9.3.2 동기 분산 강화 학습
9.4 연합 강화 학습
9.5 도전 과제와 향후 전망
10장. 응용 분야
10.1 금융
10.2 헬스케어
10.3 교육
10.4 어반 컴퓨팅과 스마트 시티
10.5 에지 컴퓨팅과 사물 인터넷
10.6 블록체인
10.7 5G 모바일 네트워크
11장. 요약과 전망
부록 A 데이터 보호에 관한 법률
A.1 유럽 연합에서의 데이터 보호
A.2 미국에서의 데이터 보호
A.3 중국에서의 데이터 보호
1.1 동기
1.2 해결책으로서의 연합학습
1.2.1 연합학습의 정의
1.2.2 연합학습의 범주
1.3 연합학습의 발전 현황
1.3.1 연합학습 분야의 연구 이슈
1.3.2 오픈소스 프로젝트
1.3.3 표준화 활동
1.3.4 FedAI 생태계
1.4 이 책의 구성
2장. 배경지식
2.1 프라이버시 보전 머신러닝
2.2 프라이버시 보전 머신러닝과 보안 머신러닝
2.3 프라이버시 위협 모델과 보안 모델
2.3.1 프라이버시 위협 모델
2.3.2 적대자 모델과 보안 모델
2.4 프라이버시 보전 기법
2.4.1 다자간 보안 계산
2.4.2 동형 암호
2.4.3 차분 프라이버시
3장. 분산 머신러닝
3.1 분산 머신러닝 소개
3.1.1 분산 머신러닝의 정의
3.1.2 분산 머신러닝 플랫폼
3.2 확장성 지향 분산 머신러닝
3.2.1 대규모 머신러닝
3.2.2 확장성 지향 분산 머신러닝 기법
3.3 프라이버시 지향 분산 머신러닝
3.3.1 프라이버시 보전 의사 결정 트리
3.3.2 프라이버시 보전 기법
3.3.3 프라이버시 보전 분산 머신러닝 기법
3.4 프라이버시 보전 경사 하강법
3.4.1 순수 연합학습
3.4.2 프라이버시 보전 방식
3.5 요약
4장. 수평 연합학습
4.1 수평 연합학습의 정의
4.2 수평 연합학습 아키텍처
4.2.1 클라이언트-서버 아키텍처
4.2.2 피어 투 피어 아키텍처
4.2.3 글로벌 모델 평가
4.3 연합 평균 알고리듬
4.3.1 연합 최적화
4.3.2 FedAvg 알고리듬
4.3.3 보안 FedAvg 알고리듬
4.4 FedAvg 알고리듬의 개선
4.4.1 통신 효율성
4.4.2 클라이언트 선택
4.5 관련 연구
4.6 도전 과제와 향후 전망
5장. 수직 연합학습
5.1 수직 연합학습의 정의
5.2 수직 연합학습의 아키텍처
5.3 수직 연합학습 알고리듬
5.3.1 보안 연합 선형 회귀
5.3.2 보안 연합 트리 부스팅
5.4 도전 과제와 향후 전망
6장. 연합 전이학습
6.1 이종 연합학습
6.2 연합 전이학습
6.3 연합 전이학습 프레임워크
6.3.1 덧셈 동형 암호
6.3.2 연합 전이학습의 훈련 과정
6.3.3 연합 전이학습의 예측 과정
6.3.4 보안 분석
6.3.5 비밀 공유 기반 FTL
6.4 도전 과제와 향후 전망
7장. 연합학습을 위한 인센티브 메커니즘 설계
7.1 기여자 보상
7.1.1 이익 배분 게임
7.1.2 역경매
7.2 공정성 인지형 이익 배분 프레임워크
7.2.1 기여 모델링
7.2.2 비용 모델링
7.2.3 불만도 모델링
7.2.4 시간적 불만도 모델링
7.2.5 정책 조정자
7.2.6 보상 비중 계산
7.3 토의
8장. 컴퓨터 비전, 자연어 처리, 추천 시스템을 위한 연합학습
8.1 컴퓨터 비전을 위한 연합학습
8.1.1 연합 컴퓨터 비전
8.1.2 관련 연구
8.1.3 도전 과제와 향후 전망
8.2 자연어 처리를 위한 연합학습
8.2.1 연합 자연어 처리
8.2.2 관련 연구
8.2.3 도전 과제와 향후 전망
8.3 추천 시스템을 위한 연합학습
8.3.1 추천 모델
8.3.2 연합 추천 시스템
8.3.3 관련 연구
8.3.4 도전 과제와 향후 전망
9장. 연합 강화 학습
9.1 강화 학습 소개
9.1.1 정책
9.1.2 보상
9.1.3 가치 함수
9.1.4 환경 모델
9.1.5 강화 학습 사례
9.2 강화 학습 알고리듬
9.3 분산 강화 학습
9.3.1 비동기 분산 강화 학습
9.3.2 동기 분산 강화 학습
9.4 연합 강화 학습
9.5 도전 과제와 향후 전망
10장. 응용 분야
10.1 금융
10.2 헬스케어
10.3 교육
10.4 어반 컴퓨팅과 스마트 시티
10.5 에지 컴퓨팅과 사물 인터넷
10.6 블록체인
10.7 5G 모바일 네트워크
11장. 요약과 전망
부록 A 데이터 보호에 관한 법률
A.1 유럽 연합에서의 데이터 보호
A.2 미국에서의 데이터 보호
A.3 중국에서의 데이터 보호
◈ 이 책에서 다루는 내용 ◈
여러 데이터 소유자가 모두 훈련에 사용할 각자의 로컬 데이터를 비공개로 유지하며 함께 협력해 서로 공유하는 예측 모델을 훈련시키고 이용하려면 어떻게 해야 할까? 전통적인 머신러닝 방식에서는 모든 데이터를 한곳에, 보통 데이터 센터에 모아야 한다. 그러면 자연히 사용자의 개인 정보 보호와 데이터 기밀 유지에 관한 법률을 위반할 소지가 다분하다. 오늘날 세계 곳곳에서는 테크 기업들에게 사용자 데이터를 개인 정보 보호법에 따라 신중하게 취급할 것을 요구한다. 유럽 연합의 일반 데이터 보호 규정(GDPR, General Data Protection Regulation)이 대표적인 예다.
이 책에서는 연합 머신러닝을 이용해 이러한 문제를 어떻게 해결하는지 설명한다. 분산 머신러닝, 암호화 및 보안, 경제 원리와 게임 이론에 근거한 인센티브 메커니즘 설계를 결합한 새로운 해결책을 제시한다. 여러 유형의 프라이버시 보전 머신러닝 솔루션과 각각의 기술 배경을 설명하고, 대표적인 실제 적용 사례를 살펴본다. 연합학습이 어떻게 책임 있는 AI 개발 및 응용에 대한 기술적, 사회적 요구에 부응하는 차세대 머신러닝의 밑거름이 될 수 있는지 알아본다.
◈ 이 책의 대상 독자 ◈
연합학습 입문서로, 컴퓨터 과학과 AI, ML 분야의 학생들, 그리고 빅데이터 및 AI 애플리케이션 개발자들을 대상으로 한다. 학부 고학년부터 대학원 학생들과 교수, 대학 및 연구 기관에 있는 연구자들까지 유용하게 읽을 수 있을 것이다. 법률이나 정책 담당 기관, 정부 부처에서 일하는 이들에게도 빅데이터 및 AI와 관련된 법적 문제에 대한 참고서가 될 수 있다. 강의용으로는 대학원 세미나 과정의 교재나 연합학습 문헌에 대한 참고서로 사용할 만하다.
◈ 옮긴이의 말 ◈
지금 옆에 놓여 있는 스마트폰에서 연합학습이 수행 중일 수도 있겠다. 연합학습이란 훈련 데이터를 한데 모으지 않고 협력적으로 수행하는 머신러닝 기술로, 구글에서 2016년에 「Federated Learning: Strategies for Improving Communication Efficiency」라는 논문을 발표하면서 하나의 용어로 자리 잡혔다. 연합학습은 기존의 머신러닝 기술이 지닌 한계를 넘어 컴퓨팅 자원 소모의 분산, 프라이버시 보호, 개인 맞춤형 학습 등을 실현할 수 있는 대안으로 주목받으며 구글, 애플, IBM 등의 거대 기업을 비롯해 많은 테크 기업에서 연구를 진행 중이다. 이에 발맞춰 국내에서도 네이버, 카카오S, KT 등 여러 기업에서 연구 개발을 진행하고 있으며 학계에서도 연구는 물론이고 학회 강좌 등을 통해 기술 전파에 힘쓰고 있다.
이 책은 직접 연합학습 프레임워크를 개발한 저자들이 기존의 머신러닝 기술에 익숙한 개발자, 연구자에게 연합학습 분야의 연구 동향을 두루 정리해서 알려준다. 연합학습이 발전해온 전반적인 흐름이나 관련 개념을 익히는 데는 알맞으나 실습 위주의 머신러닝 실용서는 아니며 한 분야를 깊이 다루고 있지 않다. 이 책을 시작점으로 삼아 전체적인 지형도를 파악한 다음, 이를 발판으로 좀 더 구체적으로 관심 있는 분야로 나아가면 좋으리라 생각한다. 실제로 연합학습을 구현해보려면 저자들이 참여한 페드(AIFedAI) 그룹의 페이트(FATE)를 비롯해 텐서플로 페더레이티드(Tensorflow Federated), IBM 페더레이티드 러닝(Federated Learning), 인텔의 오픈(FLOpenFL), 엔비디아(NVIDIA)의 클라라(Clara), 오픈마인드(OpenMined)의 파이시프트(PySyft) 등 여러 오픈소스 연합학습 프레임워크가 나와 있으므로 개발 환경이나 성향에 따라 선택해 사용해보길 바란다.
이 책은 우리말로 연합학습을 처음 소개하는 책이라서 그만큼 책임을 느낀다. 기존의 머신러닝 개념에 더해 분산학습까지 고려해야 하는 연합학습의 특성상 일반 개발자나 사용자로서는 연합학습에 접근하기가 더 어려운 것이 사실이다. 아무쪼록 이 책이 독자분들이 연합학습에 다가가는 데 도움이 되기를 소망한다.
여러 데이터 소유자가 모두 훈련에 사용할 각자의 로컬 데이터를 비공개로 유지하며 함께 협력해 서로 공유하는 예측 모델을 훈련시키고 이용하려면 어떻게 해야 할까? 전통적인 머신러닝 방식에서는 모든 데이터를 한곳에, 보통 데이터 센터에 모아야 한다. 그러면 자연히 사용자의 개인 정보 보호와 데이터 기밀 유지에 관한 법률을 위반할 소지가 다분하다. 오늘날 세계 곳곳에서는 테크 기업들에게 사용자 데이터를 개인 정보 보호법에 따라 신중하게 취급할 것을 요구한다. 유럽 연합의 일반 데이터 보호 규정(GDPR, General Data Protection Regulation)이 대표적인 예다.
이 책에서는 연합 머신러닝을 이용해 이러한 문제를 어떻게 해결하는지 설명한다. 분산 머신러닝, 암호화 및 보안, 경제 원리와 게임 이론에 근거한 인센티브 메커니즘 설계를 결합한 새로운 해결책을 제시한다. 여러 유형의 프라이버시 보전 머신러닝 솔루션과 각각의 기술 배경을 설명하고, 대표적인 실제 적용 사례를 살펴본다. 연합학습이 어떻게 책임 있는 AI 개발 및 응용에 대한 기술적, 사회적 요구에 부응하는 차세대 머신러닝의 밑거름이 될 수 있는지 알아본다.
◈ 이 책의 대상 독자 ◈
연합학습 입문서로, 컴퓨터 과학과 AI, ML 분야의 학생들, 그리고 빅데이터 및 AI 애플리케이션 개발자들을 대상으로 한다. 학부 고학년부터 대학원 학생들과 교수, 대학 및 연구 기관에 있는 연구자들까지 유용하게 읽을 수 있을 것이다. 법률이나 정책 담당 기관, 정부 부처에서 일하는 이들에게도 빅데이터 및 AI와 관련된 법적 문제에 대한 참고서가 될 수 있다. 강의용으로는 대학원 세미나 과정의 교재나 연합학습 문헌에 대한 참고서로 사용할 만하다.
◈ 옮긴이의 말 ◈
지금 옆에 놓여 있는 스마트폰에서 연합학습이 수행 중일 수도 있겠다. 연합학습이란 훈련 데이터를 한데 모으지 않고 협력적으로 수행하는 머신러닝 기술로, 구글에서 2016년에 「Federated Learning: Strategies for Improving Communication Efficiency」라는 논문을 발표하면서 하나의 용어로 자리 잡혔다. 연합학습은 기존의 머신러닝 기술이 지닌 한계를 넘어 컴퓨팅 자원 소모의 분산, 프라이버시 보호, 개인 맞춤형 학습 등을 실현할 수 있는 대안으로 주목받으며 구글, 애플, IBM 등의 거대 기업을 비롯해 많은 테크 기업에서 연구를 진행 중이다. 이에 발맞춰 국내에서도 네이버, 카카오S, KT 등 여러 기업에서 연구 개발을 진행하고 있으며 학계에서도 연구는 물론이고 학회 강좌 등을 통해 기술 전파에 힘쓰고 있다.
이 책은 직접 연합학습 프레임워크를 개발한 저자들이 기존의 머신러닝 기술에 익숙한 개발자, 연구자에게 연합학습 분야의 연구 동향을 두루 정리해서 알려준다. 연합학습이 발전해온 전반적인 흐름이나 관련 개념을 익히는 데는 알맞으나 실습 위주의 머신러닝 실용서는 아니며 한 분야를 깊이 다루고 있지 않다. 이 책을 시작점으로 삼아 전체적인 지형도를 파악한 다음, 이를 발판으로 좀 더 구체적으로 관심 있는 분야로 나아가면 좋으리라 생각한다. 실제로 연합학습을 구현해보려면 저자들이 참여한 페드(AIFedAI) 그룹의 페이트(FATE)를 비롯해 텐서플로 페더레이티드(Tensorflow Federated), IBM 페더레이티드 러닝(Federated Learning), 인텔의 오픈(FLOpenFL), 엔비디아(NVIDIA)의 클라라(Clara), 오픈마인드(OpenMined)의 파이시프트(PySyft) 등 여러 오픈소스 연합학습 프레임워크가 나와 있으므로 개발 환경이나 성향에 따라 선택해 사용해보길 바란다.
이 책은 우리말로 연합학습을 처음 소개하는 책이라서 그만큼 책임을 느낀다. 기존의 머신러닝 개념에 더해 분산학습까지 고려해야 하는 연합학습의 특성상 일반 개발자나 사용자로서는 연합학습에 접근하기가 더 어려운 것이 사실이다. 아무쪼록 이 책이 독자분들이 연합학습에 다가가는 데 도움이 되기를 소망한다.
