Python实现逻辑回归

首先总结一下学习，虽然叫回归但是和回归没有任何关系，刚尝试写代码时，思考分类问题陷入了线性回归的思路，纠结了好久，已经求出weights但不会拟合直线，后来用笔画了下立刻明白思考偏离了，所以就算有了电脑还是应该用笔在纸上画一画。

写代码首先第一步是要知道做什么：我需要画一个直线，直线公式为 θ0 x0 + θ1 x1 + θ2 * x2 = 0 其中x0 = 1。想要画出这条直线我需要知道三个θ的值，通过吴大大的机器学习视频我知道的把θ的转置乘以x的带入逻辑函数g(z)就能求出预测函数h(x),然后通过梯度下降的方式更新θ，最终得到θ的近似值。

#!/usr/bin/python
# coding=utf-8
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import numpy as np

# 逻辑函数(Logistic function)
def gfunc(z):
    return 1 / (1 + np.exp(-z))

# 构造训练集：引入了鸢尾花数据集来作为训练集
iris = load_iris()
data = iris.data
target = iris.target

# 取前一百行的第一列和第三列做特征值
X = data[0:100, [0, 2]]
y = target[0:100]

# 画出训练集的散点图
label = np.array(y)
index_0 = np.where(label == 0)
plt.scatter(X[index_0, 0], X[index_0, 1], marker='x', color='b', label='0', s=15)
index_1 = np.where(label == 1)
plt.scatter(X[index_1, 0], X[index_1, 1], marker='o', color='r', label='1', s=15)
plt.xlabel('X1')
plt.ylabel('X2')
plt.legend(loc='upper left')

########################################################
# 训练集构建完成后判断边界，我猜边界是一条直线
# 直线的公式：θ0 * x0 + θ1 * x1 + θ2 * x2 = 0  其中x0 = 1
# 因为这个问题里是一个二维分类，所以边界是有三个θ决定的
########################################################

# 训练集的个数m
m = 100

# 重新构建了X向量 加上了x0=1
x0 = np.full(m, 1.0)
x0 = np.vstack(x0)
x = np.column_stack((x0, X))

# 随机设置三个theta值
theta = np.random.randn(3)

# 两种终止条件
loop_max = 10000  # 最大迭代次数(防止死循环)
epsilon = 1e-3

error = np.zeros(3)
count = 0
alpha = 0.001  # 步长

while count < loop_max:
    delta = np.zeros(3)
    for i  in range(m):
        delta = delta + (gfunc(np.dot(theta, x[i])) - y[i]) * x[i]
    theta = theta - alpha * delta
    # 判断是否已收敛
    if np.linalg.norm(theta - error) < epsilon:
        finish = 1
        break
    else:
        error = theta
    count += 1

print("The number of iterations = ", count)
print(theta)

# x0 = 1
# 已经求得theta参数，给出x1的值，根据theta计算x2，画出直线
x1 = np.arange(4, 7.5, 0.5)
x2 = (- theta[0] - theta[1] * x1) / theta[2]

plt.plot(x1, x2, color='black')

plt.show()