본문 바로가기

Machine Learning/Machine Learning

 (6)
Feature scaling 1. Feature scaling - 여러 개의 feature들이 같은 scale을 갖도록 조정한다. $x_{1} = size (0\,-\,2000)$ $x_{2} = number\,\,of\,\,bedrooms(0\,-\,10)$ 위 feature는 0 ~ 2000, 0 ~ 10의 다소 극단적인 범위를 갖는다. 이를 아래와 같이 조정할 수 있다. $x_{1} = \frac{size}{2000}\,\rightarrow\,(0\,-\,1)$ $x_{2} = \frac{number\,\,of\,\,bedrooms}{10}\,\rightarrow\,(0\,-\,1)$ - 모든 feature가 0에서 크게 벗어나지 않는 범위(대략 $-1 \leq x_{i} \leq 1$)를 갖도록 한다. $-3 \leq x_{..
Gradient descent for linear regression - 비용 함수와 기울기 하강을 이용해 선형 회귀를 위한 알고리즘, 또는 데이터에 맞는 일차함수를 구한다. Gradient descent algorithm $Repeat\;until\;convergence\;\{$ $\theta_{j} \leftarrow \theta_{j} - \alpha\frac{\partial}{\partial\theta_{j}}J(\theta)\;\;\;\;(j\,=\,0, 1, ..., n)$ $\}$ Linear regression model $h_{\theta}(x) = \theta_{0} + \theta_{1}x_{1} + \cdots + \theta_{n}x_{n}$ $J(\theta) = \frac{1}{2m}\sum_{i=1}^{m}\{h_{\theta}(x^{(i)})..
Gradient descent 1. Definition 비용함수 $J(\theta)$를 최소화하는 $\theta$를 구하기 위한 알고리즘. Outline은 다음과 같다. ① 임의의 $\theta_{0}$, $\theta_{1}$을 설정한다(보통 0). ② $J(\theta)$를 줄이는 쪽으로 $\theta_{0}$, $\theta_{1}$값을 계속 바꾼다. ③ 기대하는 최소값에 도달할 때까지 이를 반복한다. pseudocode로 표현하면 다음과 같다. Repeat until convergence { $\theta_{j} \leftarrow \theta_{j} - \alpha\frac{\partial}{\partial\theta_{j}}J(\theta_{0}, \theta_{1})$ (for j = 0, 1) } $\leftarrow$..
가설과 비용함수 1. 가설 input variable(또는 feature)과 output(또는 target variable)의 관계를 나타내는 함수. 다음과 같은 집값 데이터를 수집했다고 하자. 집 크기(m²) 집 값(₩) 195 507840000 132 256128000 142 347760000 79 196512000 - 집 크기는 input, 집 값은 output에 해당한다. - 집 값 예측: input(집 크기)와 output(집 값)의 관계식을 정의해 새롭게 주어지는 집 크기에 대한 집 값을 예측한다. - 이 때의 관계식이 '가설(hypothesis)'에 해당한다. * 관계식을 '가설'이라고 하는 이유 집 값 예측: 집 값을 도출해낼 수 있는 변수(feature)와 집 값(output)의 관계식을 정의한다. - ..
Unsupervised learning Machine learning은 크게 Supervised learning과 Unsupervised learning의 두 가지로 분류된다. 여기서는 Unsupervised learning을 살펴보자. Unsupervised learning(비지도 학습) Supervised learning과 가장 큰 차이점은 label 즉 '정답'이 주어지지 않는다는 것이다. 쉽게 말해 기계에 dataset을 때려넣고 "알아서 구분해라"라고 하는 셈이다. 위 그림에서 보다시피 Supervised learning의 경우 label(O/X)되어 있는 반면, Unsupervised learning의 경우 label이 없거나 모든 data가 같은 label을 갖는다. Unsupervised learning에서는 주어진 datase..
Supervised learning Machine learning은 크게 Supervised learning과 Unsupervised learning의 두 가지로 분류된다. 여기서는 Supervised learning을 살펴보자. Supervised learning(지도 학습) 어떤 input과 그에 대응하는 'label'이 있는 dataset에 대해 학습하는 경우. 여기서 label이란 input에 해당하는 '정답'을 의미한다. 예를 들어 사과 이미지가 input으로 주어지면, 그에 해당하는 label은 '사과'가 된다. 따라서 기계는 그 이미지를 사과로 학습하게 된다. Supervise learning은 output의 연속성에 따라 regression(회귀) 문제와 classification(분류) 문제로 나뉜다. 연속이면 regres..

티스토리툴바