آموزش جامع: مدل‌سازی رگرسیون - آخرین آپدیت

سرفصل ها و درس ها

환영합니다

• 환영합니다!

• 강의에서는 무엇을 다루나요?

• 강의 전반부 개요

• 강의 후반부 개요

• 필요한 배경지식

단순 선형 회귀

• 주택 가격 예측 사례 연구

• 회귀 기초: 데이터 및 모델

• 회귀 기초: 작업

• 회귀 ML 블록 다이어그램

• 단순 선형 회귀 모델

• 주어진 선을 사용할 때의 비용

• 적합선의 사용

• 적합선의 해석

• 최소제곱 최적화 목적 함수의 정의

• 분석적으로 최댓값 또는 최솟값 찾기

• 1D 함수의 최대화: 모범 예시

• 언덕 등반을 통한 최댓값 찾기

• 언덕 하강을 통한 최솟값 찾기

• 학습률 및 수렴 기준의 선택

• 하강: 다차원 도함수

• 경사 하강: 다차원 언덕 하강

• RSS의 경사 계산

• 접근 방법 1: 폐쇄형 해

• 접근 방법 2: 경사 하강

• 접근 방법의 비교

• 높은 레버릿지 지점의 영향: 데이터의 탐색

• 높은 레버릿지 지점의 영향: 도심의 제거

• 높은 레버릿지 지점의 영향: 고급 도심의 제거

• 비대칭 비용 함수

• 간단한 복습

다중 회귀

• 다중 회귀 도입

• 다항 회귀

• 모델링 계절성

• 계절성을 볼 수 있는 곳

• 입력이 하나인 일반 특성의 회귀

• 다중 입력 사용의 동기 부여

• 표기법의 정의

• 다중 입력 특성의 회귀

• 다중 회귀 적합의 해석

• 벡터 표기법으로 단일 관측치 모델 다시 쓰기

• 행렬 표기법으로 모든 관측치에 대한 모델 다시 쓰기

• D-차원 곡선의 비용 계산

• RSS의 경사 계산

• 접근 방법 1: 폐쇄형 해

• 폐쇄형 해 토론

• 접근 방법 2: 경사 하강

• 특성별 업데이트

• 경사 하강 접근 방법의 알고리즘 요약

• 간단한 복습

성능 평가

• 성능 평가 도입

• ‘손실’이란 무슨 뜻일까요?

• 학습 오차: 훈련 세트에 대한 오차 평가

• 일반화 오차: 어디에 이용할까요

• 시험 오차: 무엇을 계산할 수 있을까요

• 과적합의 정의

• 학습/검정 분리

• 기약 오차 및 편향

• 분산 및 편향-분산 트레이드오프

• 오차 및 데이터양

• 오차의 세 가지 원인에 대한 공식적인 정의

• 오차의 세 가지 원인에 대한 공식적인 도출

• 모델 선택, 피팅 및 평가에 대한 학습/검증/검증 분리

• 간단한 복습

릿지 회귀

• 다항 회귀에서의 과적합 증상

• 과적합 데모

• 보다 일반적인 다중 회귀 모델의 과적합

• 적합도 및 계수의 크기 균형 조절

• 결과 릿지 목적 함수와 극한 해결책

• 릿지 회귀가 편향 및 분산의 균형을 맞추는 방법

• 릿지 회귀 데모

• 릿지 계수 경로

• 릿지 목적 함수의 경사 계산

• 접근 방법 1: 폐쇄형 해

• 폐쇄형 해 토론

• 접근 방법 2: 경사 하강

• 교차 검증을 통한 조정 매개변수 선택

• K 겹 교차 검증

• 편향 값 처리 방법

• 간단한 복습

특성 선택 및 라쏘

• 특성 선택 태스크

• 모든 부분 집합

• 모든 부분 집합의 복잡도

• 탐욕 알고리즘

• 탐욕 전진적 단계 알고리즘의 복잡도

• 특성 선택에도 정규화를 사용할 수 있을까요?

• 임계처리 릿지 계수?

• 라쏘 목적 함수 및 그 계수의 경로

• 릿지 비용의 시각화

• 릿지 해의 시각화

• 라쏘 비용 및 해의 시각화

• 라쏘 데모

• 라쏘 목적 함수의 차이

• 좌표 하강

• 특성의 정규화

• 최소제곱법에 대한 좌표 하강(정규화된 특성)

• 라쏘에 대한 좌표 하강(정규화된 특성)

• 수렴 및 기타 라쏘 솔버 평가

• 라쏘에 대한 좌표 하강(정규화되지 않은 특성)

• 라쏘 좌표 하강 업데이트 도출

• 페널티 강도 및 라쏘와 관련된 기타 실질적인 문제 선택

• 간단한 복습

최근접 이웃 및 커널 회귀

• 모수 회귀의 한계

• 1-최근접 이웃 회귀 접근 방법

• 거리 행렬

• 1-최근접 이웃 알고리즘

• k-최근접 이웃 회귀

• k-최근접 이웃 실습

• 가중 k-최근접 이웃

• 가중 k-NN 회귀부터 커널 회귀까지

• 모수 모델의 글로벌 피팅 및 커널 회귀 분석의 로컬 피팅

• 데이터양 증가에 따른 NN의 성능

• 고차원, 데이터 희소성 및 연산 복합성 문제

• k-NN 분류

• 간단한 복습

마치며

• 단순 및 다중 회귀

• 성능 및 릿지 회귀의 평가

• 특성 선택, 라쏘, 최근접 이웃

• 지금까지 다룬 내용과 다루지 않은 내용

• 감사합니다!