Deep learning, 1-1. 선형회귀
Deep learning Note
1-1강. 선형 회귀
Transcript
- 크롬 확장프로그램 ChatGPT for Chrome & YouTube Summary with AI
0:00 - 머신 러닝, training, test 개념 (지도 학습: supervised learning)
오늘부터 머신 러닝에 대해 공부를 시작합니다. 저는 신호처리 연구실에서 연구를 하고 있는 박사 과정 학생입니다. 신호처리와 머신 러닝은 비슷한 점이 많아 이에 대해 영상을 찍게 되었습니다. 머신 러닝에서는 강아지 사진을 많이 보여주면, 머신은 강아지를 알게 됩니다. 이 과정을 ‘트레이닝’이라고 합니다. 트레이닝이 된 머신에게 강아지 사진을 보여주면, 머신은 강아지를 잘 알아냅니다. 이 과정을 ‘테스트’라고 합니다.
1:54 - 강화 학습 (비지도 학습: unsupervised learning)
강화 학습에서는 정답이 정해진 바둑판 같은 것을 보여주지 않습니다. 기계는 스스로 학습하며, 어떤 상태가 주어졌을 때 어떻게 반응할지 스스로 결정합니다. 이런 학습 방법은 인간의 학습 방식과 유사하다고 볼 수 있습니다.
2:49 - 선형 회귀 개념
선형 회귀에서는 데이터 간의 관계를 직선으로 표현하려고 합니다. 예를 들어, 키와 몸무게의 관계를 알고 싶을 때, 선형 회귀를 사용하여 관계를 직선으로 표현할 수 있습니다. 이 직선은 데이터와의 오차를 최소화하는 방향으로 결정됩니다.
5:40 - 행렬, 벡터 이용해서 간단히 표현하자
이 관계를 행렬과 벡터를 사용하여 간단하게 표현할 수 있습니다. 예를 들면, \(ax_1 + b\)와 같은 식을 행렬로 표현할 수 있습니다.
7:38 - 오차 제곱의 합을 최소화하자
선형 회귀에서는 실제 데이터와 예측한 직선 간의 차이, 즉 오차를 최소화하려고 합니다. 이 오차를 ‘오차 제곱의 합’으로 표현하며, 이것을 최소화하는 것이 목표입니다.
9:43 - 어떻게 최소화 하나?
오차 제곱의 합을 최소화하기 위해 여러 방법을 사용할 수 있습니다. 이 최소화 과정은 다양한 최적화 알고리즘(Gradient descent, Newton-Raphson, Least squares)을 통해 이루어집니다.
영상 내용 재정리
머신 러닝의 기본 개념
- 머신 러닝:
- 컴퓨터가 데이터를 통해 학습하여 특정 작업을 수행하는 능력을 개선하는 알고리즘 및 기술의 집합
- 데이터를 통해 패턴을 학습하고 예측 또는 분류와 같은 작업을 수행
- 트레이닝:
- 모델 학습 과정
- 데이터셋 활용하여 가중치 및 파라미터 조정하면서 최적 성능을 달성하도록 함
- 손실 함수/비용 함수 최소화
- 테스트:
- 모델 성능 평가 과정
- 별도의 테스트 데이터셋 활용
- 예측/분류 성능 확인
- 과적합 판단
머신러닝의 주요 학습 방법론
- 지도 학습(Supervised Learning): 입력 데이터와 그에 해당하는 레이블을 사용하여 모델을 학습시키는 방법. (예: 강아지/고양이 분류)
- 강화 학습(Reinforcement Learning): 에이전트가 환경과 상호작용하면서 보상을 최대화하는 행동을 학습하는 방법. (예: 바둑)
선형 회귀의 핵심 개념
- 선형회귀
- 데이터 포인트 간의 선형 관계를 모델링하는 방법
- 하나 또는 여러 개의 독립 변수와 종속 변수 간의 관계를 모델링
- 선형 함수를 사용하여 최소 제곱 오차를 최소화하는 선(또는 평면) 탐색
- 수식
- \[y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_n x_n + \epsilon\]
- β 회귀 계수, x 독립 변수, y 종속 변수, ϵ 오차 항목
- 지도 학습
- 입력 데이터와 출력(레이블)을 사용하여 모델 학습
- 주어진 입력(독립 변수)에 대한 출력(종속 변수) 예측
- 새로운 데이터에 대한 예측 수행
행렬과 벡터를 이용한 선형 회귀의 표현 방법
-
선형 회귀의 계산을 효율적으로 수행하기 위해 행렬과 벡터의 개념을 활용
오차 제곱의 합을 최소화하는 방법에 대한 설명
- 선형 회귀에서 중요한 목표는 실제 값과 예측 값의 차이, 즉 잔차의 제곱합을 최소화하는 것