2021년 대한민국학술원 우수학술도서 선정도서

★ 이 책의 대상 독자 ★

통계학, 인공지능, 공학, 금융 등 다양한 분야의 연구자와 학생을 위해 썼다. 이 책을 읽는 독자가 선형회귀를 포함한 기본 주제를 다루는 통계학의 기초 강의를 적어도 하나는 수강했기를 기대한다.
학습법의 포괄적인 안내서를 쓰기보다는 가장 중요한 기술 몇 가지를 설명하고자 했다. 또한 하부 개념과 고려 사항을 설명해 연구자가 학습법을 판단할 수 있게 했다. 수학적 세부 사항보다는 개념을 강조해 직관적인 방식으로 작성했다.
우리는 자연스럽게 통계학자로서의 배경과 전문 분야를 반영하게 될 것이다. 그러나 과거 8년 동안 신경망, 데이터 마이닝과 머신러닝에 관한 콘퍼런스에 참여했으며, 이러한 흥미진진한 분야에 크게 영향을 받았다.

★ 이 책의 구성 ★

복잡한 방법을 완전히 파악하려 하기 전에 반드시 간단한 방법부터 이해해야 한다. 따라서 2장에서 지도 학습 문제에 관한 개요를 제공한 다음 3장과 4장에서 회귀와 분류를 위한 선형 방법을 논의한다. 5장에서는 단일 예측변수를 위한 스플라인(spline), 웨이블렛(wavelet)과 정칙화/벌점화법을 설명하며, 6장에서는 커널 방법과 국소 회귀(local regression)를 다룬다. 이들 방법 모두 고차원 학습 기법의 중요한 기본 토대가 된다. 모델 평가와 선택이 7장의 주제이며, 편향과 분산의 개념, 과적합 및 모형 선택을 위한 교차 검증과 같은 방법을 다룬다. 8장은 최대가능도, 베이지안 추론과 부트스트랩, EM 알고리즘, 깁스 샘플링, 배깅(bagging)의 개요를 포함해 모형 추론과 평균화에 관해 논의한다. 부스팅(boosting)이라 부르는 과정은 10장에서 집중적으로 다룬다.
9장부터 13장까지는 지도 학습을 위한 일련의 구조적 방법을 설명한다. 특히 9장과 11장에서는 회귀를 다루며 12장과 13장에서는 분류에 집중한다. 14장에서는 비지도 학습을 위한 방법에 관해 설명한다. 최근에 알려진 기법인 랜덤 포레스트와 앙상블 학습은 15장과 16장에서 논의한다. 무방향 그래프 모델은 17장에서 설명하며, 마지막으로 18장에서 고차원 문제를 공부한다.
각 장의 마지막에서는 관측치와 예측자의 개수에 따라 어떻게 연산이 확장되는지 등을 포함해 데이터 마이닝 응용법에 중요한 연산적 고려 사항에 관해 논의한다. 각 장은 자료를 위한 배경 참조를 제공하는 참고문헌으로 마무리된다.
먼저 1장부터 4장까지 순서대로 읽기를 추천한다. 7장 또한 모든 학습법에 관련된 핵심 개념을 다루므로 의무적으로 읽어야 한다. 책의 나머지는 독자의 흥미에 따라 순서대로 읽거나 혹은 선택해서 읽을 수 있다.

1장. 소개 2장. 지도 학습의 개요 __2.1 소개 __2.2 변수 타입과 용어 __2.3 예측을 위한 단순한 두 접근법: 최소 제곱과 최근접이웃 __2.4 통계적 결정 이론 __2.5 고차원에서의 국소적 방법 __2.6 통계적 모델, 지도 학습 및 함수 근사60 __2.7 구조화된 회귀 모델 __2.8 제한된 추정량의 종류 __2.9 모델 선택과 편향 - 분산 상반관계 __참고문헌 __연습 문제 3장. 회귀를 위한 선형법 __3.1 소개 __3.2 선형회귀 모델과 최소제곱 __3.3 부분집합 선택 __3.4 수축법 __3.5 유도된 입력 방향을 사용하는 방법들 __3.6 논의: 선택법과 수축법 비교 __3.7 다중 결과 수축 및 선택 __3.8 라쏘 및 관련된 경로 알고리즘에 관한 추가 내용 __3.9 연산적 고려 사항 __참고문헌 __연습 문제 4장. 분류를 위한 선형법 __4.1 소개 __4.2 지시행렬의 선형회귀 __4.3 선형판별분석 __4.4 로지스틱회귀 __4.5 분리초평면 __참고문헌 __연습 문제 5장. 기저전개와 정칙화 __5.1 소개 __5.2 조각별 다항식과 스플라인 __5.3 필터링과 특성 추출 __5.4 평활 스플라인 __5.5 평활화 매개변수의 자동적 선택 __5.6 비모수적 로지스틱회귀 __5.7 다차원 스플라인 __5.8 정칙화 및 재생 커널 힐베르트 공간 __5.9 웨이블릿 평활화 __참고문헌 __연습 문제 __부록: 스플라인 연산 __B - 스플라인 __평활 스플라인의 연산 6장. 커널 평활법 __6.1 1차원 커널 평활자 __6.2 커널의 너비 선택하기 __6.3 Rp에서의 국소 회귀 __6.4 Rp에서의 구조적 국소 회귀 모델 __6.5 국소 가능도 및 다른 모델 __6.6 커널 밀도 추정 및 분류 __6.7 방사기저함수와 커널 __6.8 밀도 추정과 분류를 위한 혼합 모델 __6.9 연산 고려 사항 __참고문헌 __연습 문제 7장. 모델 평가 및 선택 __7.1 소개 __7.2 편향, 분산, 모델 복잡도 __7.3 편향-분산 분해 __7.4 훈련 오류율에 관한 낙관도 __7.5 표본-내 예측오차의 추정값 __7.6 매개변수의 유효 개수 __7.7 베이즈 접근법과 BIC __7.8 최소 설명 길이 __7.9 밥닉-체브넨키스 차원 __7.10 교차 검증 __7.11 부트스트랩법 __7.12 조건부 혹은 기대 테스트 오차 __참고문헌 __연습 문제 8장. 모델 추론과 평균화 __8.1 소개 __8.2 부트스트랩과 최대가능도 방법 __8.3 베이즈 방법 __8.4 부트스트랩과 베이즈 추정 사이의 관계 __8.5 EM 알고리즘 __8.6 사후분포로부터 표본 추출을 위한 MCMC __8.7 배깅 __8.8 모델 평균화와 스태킹 __8.9 확률적 검색: 범핑 __참고문헌 __연습 문제 9장. 가법 모델, 트리 및 관련 방법들 __9.1 일반화 가법 모델 __9.2 트리 기반 방법 __9.3 PRIM: 범프 헌팅 __9.4 MARS: 다변량 적응적 회귀 스플라인 __9.5 전문가 계층 혼합 __9.6 결측 데이터 __9.7 연산 고려 사항 __참고문헌 __연습 문제 10장. 부스팅과 가법 트리 __10.1 부스팅법 __10.2 부스팅 적합과 가법 모델 __10.3 전진 스테이지별 가법 모델링 __10.4 지수손실과 에이다 부스트 __10.5 왜 지수손실인가? __10.6 손실함수와 로버스트성 __10.7 데이터 마이닝을 위한 "기성품" 같은 과정 __10.8 예제: 스팸 데이터 __10.9 부스팅 트리 __10.10 경사 부스팅을 통한 수치적 최적화 __10.11 부스팅을 위한 적절한 크기의 트리 __10.12 정칙화 __10.13 해석 __10.14 삽화 __참고문헌 __연습 문제 11장. 신경망 __11.1 소개 __11.2 사영추적 회귀 __11.3 신경망 __11.4 신경망 적합시키기 __11.5 신경망을 훈련시킬 때의 문제 __11.6 예제: 시뮬레이션 데이터 __11.7 예제: 우편번호 데이터 __11.8 논의 __11.9 베이즈 신경망과 NIPS 2003 챌린지 __11.10 연산 고려 사항 __참고문헌 __연습 문제 12장. 서포트벡터머신과 유연한 판별식 __12.1 도입 __12.2 서포트벡터분류기 __12.3 서포트벡터머신과 커널 __12.4 선형판별분석 일반화 __12.5 유연한 판별분석 __12.6 벌점화 판별분석 __12.7 혼합판별분석 __12.8 연산 고려 사항 __참고문헌 __연습 문제 13장. 프로토타입 방법과 최근접이웃법 __13.1 개요 __13.2 프로토타입법 __13.3 K-최근접이웃 분류기 __13.4 적응적 최근접이웃법 __13.5 연산 고려 사항 __참고문헌 __연습 문제 14장. 비지도 학습 __14.1 개요 __14.2 연관성 규칙 __14.3 군집분석 __14.4 자기 조직화 맵 __14.5 주성분, 주곡선과 주표면 __14.6 비음수행렬 분해 __14.7 독립성분분석과 탐색적 사영추적 __14.8 다차원 척도화 __14.9 비선형 차원 축소와 국소 다차원 척도화 __14.10 구글 페이지랭크 알고리즘 __참고문헌 __연습 문제 15장. 랜덤포레스트 __15.1 개요 __15.2 랜덤포레스트의 정의 __15.3 랜덤포레스트의 세부 사항 __15.4 랜덤포레스트의 분석 __참고문헌 __연습 문제 16장. 앙상블 학습 __16.1 개요 __16.2 부스팅과 정칙화 경로 __16.3 학습 앙상블 __참고문헌 __연습 문제 17장. 무향 그래프 모델 __17.1 개요 __17.2 마코프 그래프 및 이들의 속성 __17.3 연속형 변수를 위한 무향 그래프 모델 __17.4 이산변수를 위한 무향 그래프 모델 __참고문헌 __연습 문제 18장. 고차원 문제: p≪N __18.1 p가 N보다 훨씬 클 때 __18.2 대각 선형판별분석과 최근접 수축 중심점 __18.3 이차 정칙화 선형 분류기 __18.4 L1 정칙화 선형 분류기 __18.5 특성을 쓸 수 없을 때의 분류 __18.6 고차원 회귀: 지도 주성분 __18.7 특성 평가와 다중검정 문제 __18.8 참고문헌 __연습 문제