机器学习 (二): 逻辑回归

谁借莪１个温暖的怀抱￠ 2022-03-19 07:09 381阅读 0赞

### 逻辑回归 ###

*  前言
 *  模型
 *   *  参数
     *  前向传播
     *  后向传播
 *  Python实现

# 前言 #

逻辑回归 (logistic regression) 并非是回归算法而是分类算法, 可以视为最简单的神经网络. 和线性回归一样, 逻辑回归是一种基于线性多项式的算法, 因此比较难在现实生活中找到合适的应用场合, 但作为神经网络的基础, 还是有必要掌握的.

# 模型 #

## 参数 ##

设输入数据为  X n , m X\_\{n, m\} Xn,m 即它的数量为  m m m, 每一个数据的维度为  n n n (每一列是一项数据, 因此是 n行m列)  
则一个逻辑回归模型包含的参数有

1.   W 1 , n W\_\{1,n\} W1,n, 即每个数据项的系数
2.   b 1 , 1 b\_\{1,1\} b1,1, 常数项

## 前向传播 ##

逻辑回归的计算 (forward propagation) 分为两部分:

1.  线性计算
    
     z ( X ) = W X + b z(X) = WX + b z(X)=WX\+b
2.  激活函数, 一般为  s i g m o i d sigmoid sigmoid 函数, 符号为  σ \\sigma σ
    
     σ ( z ) = 1 1 + e − z \\sigma(z) = \\frac\{1\}\{1 + e^\{-z\}\} σ(z)=1\+e−z1
    
    图像为  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlZWVfXw_size_16_color_FFFFFF_t_70]  
    这个函数的牛逼之处在于, 取值范围为  ( 0 , 1 ) (0, 1) (0,1), 当  x = 0 x = 0 x=0 时  σ ( x ) = 0.5 \\sigma(x) = 0.5 σ(x)=0.5, 因此该函数值可以直接作为**概率**, 即当一个线性表达式的值小于零时, 该事件发生的概率四舍五入为0, 大于零时四舍五入为1.

## 后向传播 ##

后向传播即规定一个 cost function  J ( W , b ) J(W, b) J(W,b), 然后根据这个函数的偏导数  J ′ W J&\#x27;^\{W\} J′W 和  J ′ b J&\#x27;^\{b\} J′b 来进行迭代优化最终使 cost function 达到最小值.  
牛逼的数学家们发现, 当 cost function 为

J ( W , b ) = − 1 m ∑ i = 1 m \[ Y ⋅ l o g ( a W , b ( X ) ) + ( 1 − Y ) ⋅ l o g ( 1 − a W , b ( X ) ) \] J(W, b) = -\\frac\{1\}\{m\}\\sum\_\{i=1\}^m\[Y \\cdot log(a\_\{W, b\}(X)) + (1 - Y) \\cdot log(1 - a\_\{W, b\}(X))\] J(W,b)=−m1∑i=1m\[Y⋅log(aW,b(X))\+(1−Y)⋅log(1−aW,b(X))\]

( 其中  a W , b ( X ) = σ ( W X + b ) a\_\{W,b\}(X) = \\sigma(WX + b) aW,b(X)=σ(WX\+b) )

时, 这个函数只有一个极小值, 它的偏导数为

d W = J ′ W = 1 m ( a ( X ) − Y ) X T dW = J&\#x27;^W = \\frac\{1\}\{m\}(a(X)-Y)X^T dW=J′W=m1(a(X)−Y)XT

d b = J ′ b = 1 m ∑ i = 1 m ( a ( X ) − Y ) db = J&\#x27;^b = \\frac\{1\}\{m\}\\sum\_\{i=1\}^m(a(X) - Y) db=J′b=m1∑i=1m(a(X)−Y)

定义一个学习率  α \\alpha α, 那么只要不断迭代 (一般迭代次数是1000次到10000次), 每次迭代执行:

W -= alpha * dW
    b -= alpha * dy

最终即可得到最优解的近似解.

# Python实现 #

import numpy as np 
    import matplotlib.pyplot as plt 
    
    # sigmoid 函数 (激活函数)
    def sigmoid(z):
    	return 1 / (1 + np.exp(-z))
    
    # 计算 cost
    def cost(X, Y, W, b):
    	m = X.shape[1]
    	a = sigmoid(np.dot(W, X) + b)
    	c = np.sum(Y * np.log(a) + (1 - Y) * np.log(1 - a))
    	return c / -m
    
    # 计算偏导数
    def grad(X, Y, W, b):
    	z = np.dot(W, X) + b
    	a = sigmoid(z)
    	m = X.shape[1]
    	dW = np.dot(a - Y, X.T) / m
    	db = np.sum(a - Y, axis=1) / m
    	return dW, db
    
    # 训练函数
    def fit(X, Y, learning_rate=1.0, iteration_num=10000, show_cost=True):
    	m = X.shape[1]
    	W = np.zeros((1, X.shape[0]))
    	b = 0
    	costs = []
    	for i in range(iteration_num):
    		costs.append(cost(X, Y, W, b))
    		dW, db = grad(X, Y, W, b)
    		W -= learning_rate * dW
    		b -= learning_rate * db
    
    	if show_cost:
    		plt.title('Training Error')
    		plt.plot(costs)
    
    	return W, b
    
    # 真实函数
    def f(x):
    	return 1 - x + np.random.rand() * 0.02 - 0.01
    
    if __name__ == '__main__':
    	# 初始化数据
    	count = 200
    	X = np.random.rand(2, count)
    	Y = np.zeros((1, count))
    	color = np.zeros((count, 3))
    
    	for i in range(count):
    		if f(X[0][i]) < X[1][i]:
    			Y[0][i] = 1
    			color[i] = [0, 0, 1.0]
    		else:
    			Y[0][i] = 0
    			color[i] = [1.0, 0, 0]
    
    	lineX = np.arange(0, 1, 0.01)
    
    	plt.figure(figsize=(10, 4))
    	plt.subplot(1, 2, 2)
    	# 训练模型
    	fit(X, Y, 0.1)
    	fit(X, Y, 0.3)
    	W, b = fit(X, Y, 1.0)
    	plt.legend(['α = 0.1', 'α = 0.3', 'α = 1.0'])
    
    	plt.subplot(1, 2, 1)
    	plt.title('Dataset')
    	plt.plot(lineX, f(lineX))
    	plt.plot(lineX, -W[0][0]/W[0][1] * lineX - b/W[0][1], 'r--')
    	plt.legend(['Real', 'Regression'], loc='upper right')
    	plt.scatter(X[0,:], X[1,:], c=color, s=10)
    	plt.show()

结果  
![逻辑回归][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlZWVfXw_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlZWVfXw_size_16_color_FFFFFF_t_70]: /images/20220319/43067dd0d68247fd8e471ccfd08b9eac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlZWVfXw_size_16_color_FFFFFF_t_70 1]: /images/20220319/9129838f39274e92ae19b71f22a4416e.png