python 머신러닝을 위한 Regression 그리고 경사하강법 (Gradient descent)

import numpy as np   # 이번 예제에선 numpy만 사용할 것임

# 1. training data set 준비
x_data = np.arange([1, 2, 3, 4, 5]).reshape(5, 1)    # 5x1 행렬로 x(input) 값을 설정
t_data = np.arange([3, 5, 7, 9, 11]).reshape(5, 1)   # 5x1 행렬로 t(레이블) 값을 설정

# 2. 모델 정의 (가중치 W 와 바이아스 b값을 난수로 주자)
W = np.random.rand(1, 1)  # 1x1 행렬로 [0,1) 사이의 값을 설정
b = np.random.rand(1)  # 1차원 벡터로 [0, 1) 사이의 값을 설정

# 3. loss function
def loss_function(input_value):
    """
    input value는 W와 b값을 포함하고 있다
    """
    W = input_value[0].reshape(1, 1)  # 원래 1x1 행렬이지만 그래도 다시 설정을 해주었음
    b = input_value[1]
    
    # model y = Wx + b
    y = np.dot(x_data, W) + b   # b는 브로드캐스팅 됨
    #   x_data  x  W   => 5x1 행렬  
    #    (5x1)  (1x1)  = (5x1)
    return np.mean(np.power(t_data - y, 2))   # (실측치 - 예측치)의 제곱값의 평균
  
# 4. 미분을 수행할 함수
def numerical_derivative(f, x):
    """
    편미분을 여러번 돌려야함 (vector of partial derivatives)
    f: loss function에 대해서 돌림
    """
    
    delta_x = 1e-4   # x 변화량의 크기 (극한 대신 아주 작은 수로 대체)
    derivative_x = np.zeros_like(x)  # x와 똑같은 shape을 가진 배열(혹은 행렬) 생성 (요소값은 0임)
    
    it = np.nditer(x, flags=['multi_index']) # iterator 하나 생성. 플래그는 멀티 인덱스 설정
    
    while not it.finished:
        idx = it.multi_index
        tmp = x[idx]   # 임시 변수로 x[idx] 의 원값을 저장
        
        x[idx] = tmp + delta_x  # 전향 차분
        fx_plus_delta_x = f(x)  # 첫번째 인자로 들어온 함수를 대입
        
        x[idx] = tmp - delta_x  # 후향 차분
        fx_minus_delta_x = f(x)  # 첫번째 인자로 들어온 함수를 다시 대입
        
        # 중앙 차분
        derivative_x[idx] = (fx_plus_delta_x - fx_minus_delta_x) / (2 * delta_x)
        
        x[idx] = tmp # x값 원상태로 복구
        
        it.iternext()  # 다음 인덱스로 넘어가자
        
    return derivative_x
  
# 5. Learning rate 설정
learning_rate = 1e-4   # 커스터마이징한 값임. 

# 6. 반복 학습을 진행
for step in range(100000):
    
    # 최적의 loss값인가요? => 이거 판단하는게 쉽지 않음. 딱 0으로 떨어져서 끝나면 얼마나 좋겠어..
    # 넘겨줄 파라미터부터 구하자  => ravel() 이용하자. 뭐든지 1차원으로 바꿈
    input_param = np.concatenate((W.ravel(), b.ravel()), axis=0)  # 열방향 => [W, b] 이렇게 들어가게 됨
    tmp = learning_rate * numerical_derivative(loss_func, input_param)   # [W의 편미분 값, b의 편미분 값]
    
    W = W - tmp[0].reshape(1, 1) # 얘도 broadcasting 되긴 하는데 reshape 잡자.
    b = b - tmp[1]   # broadcasting 
    
    if step % 10000 == 0:   # 10만번의 학습이 진행되는 동안, 중간 과정 10번 체크
        print('W의 값은 {}, b의 값은 {}'.format(W, b))
        

W의 값은 [[0.68000733]], b의 값은 [0.97612513]
W의 값은 [[1.93730769]], b의 값은 [1.22633913]
W의 값은 [[1.9552927]], b의 값은 [1.16140755]
W의 값은 [[1.96811821]], b의 값은 [1.11510337]
W의 값은 [[1.97726438]], b의 값은 [1.08208281]
W의 값은 [[1.98378671]], b의 값은 [1.05853511]
W의 값은 [[1.98843794]], b의 값은 [1.04174271]
W의 값은 [[1.99175483]], b의 값은 [1.02976767]
W의 값은 [[1.99412018]], b의 값은 [1.021228]
W의 값은 [[1.99580697]], b의 값은 [1.01513817]

이렇게 값이 나왔다! 
물론 seed를 잡고 실행하면 난수에 관해서 고정된 값이 출력이 되기에, 더 편할 수도 있다. 참고하자.

predict_value = np.array([[7]])   
H = np.dot(predict_value, W) + b  # hypothesis model     X = predict_value

print(H)
"""
결과값: [[14.98986402]]

X가 공부시간이고, y가 시험 성적이라고 가정을 해본다면
"7시간 공부했을때 약 15점에 가까운 성적을 받을 수 있으리라 예측된다." 라고 해석할 수 있겠다.
물론 이 값은

x_data = np.arange([1, 2, 3, 4, 5]).reshape(5, 1)    # 5x1 행렬로 x(input) 값을 설정
t_data = np.arange([3, 5, 7, 9, 11]).reshape(5, 1)   # 5x1 행렬로 t(레이블) 값을 설정

이 training data set에 의거한 결과임을 잊지 말자.
"""