[딥러닝] 텐서플로우(Tensorflow)로 간단한 선형 회귀(Linear regression)을 구현

import tensorflow as tf
 
# X and Y data
x_train = [1, 2, 3]
y_train = [1, 2, 3]
 
W = tf.Variable(tf.random_normal([1]), name='weight')
b = tf.Variable(tf.random_normal([1]), name='bias')
 
# Our hypothesis XW+b
hypothesis = x_train * W + b // 가설 정의
 
# cost/loss function
cost = tf.reduce_mean(tf.square(hypothesis - y_train))
 
#Minimize
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(cost)
 
# Launch the graph in a session.
sess = tf.Session()
 
# Initializes global variables in the graph.
sess.run(tf.global_variables_initializer())
 
# Fit the line
for step in range(2001):
    sess.run(train)
    if step % 20 == 0:
        print(step, sess.run(cost), sess.run(W), sess.run(b))

x_train = [1, 2, 3]

y_train = [1, 2, 3]

2000번 돌린 결과, [W = 1, b = 0]으로 수렴해가고 있는 것을 알 수 있다.

H(x) = (1)x + 0

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)

최소화 과정에서 나오는 learning_rate는 무엇인가?

GradientDescent는 Cost function이 최소값이 되는 최적의 해를 찾는 과정을 나타낸다.

이때 다음 point를 어느 정도로 옮길 지 결정하는 것을 learning_rate라고 한다.

learning rate를 너무 크게 잡으면?

>> 최적의 값으로 수렴하지 않고 발산해버리는 경우가 발생(Overshooting)

learning rate를 너무 작게 잡으면?

>> 수렴하는 속도가 너무 느리고, local minimum에 빠질 확률 증가

보통 0.01에서 0.5를 사용하는 것 같아보임

placeholder를 이용해서 실행되는 값을 나중에 던져줄 때

import tensorflow as tf
 
W = tf.Variable(tf.random_normal([1]), name='weight')
b = tf.Variable(tf.random_normal([1]), name='bias')
 
X = tf.placeholder(tf.float32, shape=[None])
Y = tf.placeholder(tf.float32, shape=[None])
 
# Our hypothesis XW+b
hypothesis = X * W + b
# cost/loss function
cost = tf.reduce_mean(tf.square(hypothesis - Y))
#Minimize
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(cost)
 
# Launch the graph in a session.
sess = tf.Session()
# Initializes global variables in the graph.
sess.run(tf.global_variables_initializer())
 
# Fit the line
for step in range(2001):
    cost_val, W_val, b_val, _ = sess.run([cost, W, b, train],
                                         feed_dict = {X: [1, 2, 3, 4, 5],
                                                      Y: [2.1, 3.1, 4.1, 5.1, 6.1]})
    if step % 20 == 0:
        print(step, cost_val, W_val, b_val)
 

feed_dict = {X: [1, 2, 3, 4, 5],

            Y: [2.1, 3.1, 4.1, 5.1, 6.1]})

2000번 돌린 결과, [W = 1, b = 1.1]로 수렴해가고 있는 것을 알 수 있다.

H(x) = (1)x + 1.1

내가 이 구현된 모델을 통해 x값을 입력해서 도출되는 y값을 아래와 같이 알아볼 수 있다.