大发快三_快三口诀_大发快三口诀 - 大发快三,快三口诀,大发快三口诀是国务院新闻办确定的全国重点新闻网站,,由中共江苏省委宣传部主管,大发快三,快三口诀,大发快三口诀主办。是新兴的省级主流媒体,是综合性、多媒体的大发快三,快三口诀,大发快三口诀门户网站

学机器学习怎么可以不知道最小二乘法

  • 时间:
  • 浏览:3

起源

起源:最小二乘法源于天文学和大地测量学领域。不可能 你你你是什么个多领域对精度的高要求而被发名。

14001年,意大利天文学家朱塞普·皮亚齐发现了第一颗小行星谷神星。进行了40天的跟踪观测后,但不可能 谷神星运行到太阳头上,失去了具体位置信息。以后 全世界的科学家利用皮亚齐的观测数据现在开使寻找谷神星,否则根据大多数人计算的结果来寻找谷神星都没法 结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的法子发表于14009年他的著作《天体运动论》中,你你你是什么高斯正是著名数学家 卡尔·弗里德里希·高斯 ,没错以后亲戚亲戚让让我们 大学些认识的那个高斯。

机器学习本质我觉得以后求最优解的过程,最小二乘法是回归算法中求最优解的法子之一,还三个多多是梯度下降法,以前会讲~。

思考

亲戚亲戚让让我们 在正式讲最小二乘法以后 ,读者大大们可不都还可以想下下面你你你是什么问題临近中秋,小明我应该 本人做月饼,现在已知有有一种规格月饼所需的面粉重量如下:

月饼重量(g)面粉重量(g)
400 20
400 81
400 110
190 90
220 1400

现在小明想做规格为140g的月饼,请问他可不都还可以几个克月饼现在读者大大们根据平时经验,可不都还可以思考下为啥求。九年义务教育我可不都还可以看见你你你是什么题目就条件反射列方程求未知数,告诉我读者大大们是都在也是以后~

原理

亲戚亲戚让让我们 从以后深度图来看你你你是什么问題亲戚亲戚让让我们 将你你你是什么个多月饼用坐标系标出来,如下图 否则亲戚亲戚让让我们 先用画出一根绳子 接近你你你是什么个多点的线,假设线性关系为

是都在我希望亲戚亲戚让让我们 找出一根绳子 最接近你你你是什么个多点的线就可不都还可以了,以后算出来的值是最接近真实值的。

由图可不都还可以得出,可不都还可以这条线跟你你你是什么一个多点的误差最小, 每个点跟线的误差如下所示

不可能 误差是长度,一点一点要算绝对值,计算起来不方便,用平方来替代

最后将所有误差值累加得出

最小二乘法呼之欲出,这以后最小二乘法的原理了,即让误差的平方总和尽不可能 小。从求一根绳子 最接近你你你是什么个多点的线的问題转化成求最小化误差的问題。

求解

没法 为啥求呢,继续以中间的为例子。这是一个多多二次函数。总误差的平方:

根据多元微积分,当

你你你是什么以后 ϵ 取得最小值,求的a,b的解为

a,b求出后,这条最接近的线也就出来了

进一步现在假设这条线是 二次函数,结果要怎样

亲戚亲戚让让我们 可不都还可以选折 不同的 f(x),根据最小二乘法得出不一样的拟合函数。不过选折 f(x)还是都还可以太随意,不然要么不准,要么容易过拟合。代码实现整个思路如下

目标函数:代入生成的x,生成对应的y

def real_func(x):
  return np.sin(2*np.pi*x)

随机生成10个x进行实验:

x = np.linspace(0, 1, 10)

构造多项式拟合函数:

#多项式
def fit_func(p,x):
    """
    eg:p = np.poly1d([2,3,5,7])

   print(p)==>>2x3 + 3x2 + 5x + 7
    """
    f = np.poly1d(p)
    return f(x)

计算误差:

#残差
def residuals_func(p, x, y):
    ret = fit_func(p, x) - y
    return ret

leastsq 是 scipy 库 进行最小二乘法计算的函数,也以后通过误差函数以及数据点进行亲戚亲戚让让我们 前面讲的对参数进行求导操作,最后得出亲戚亲戚让让我们 拟合出来的函数。

def fitting(M=0):
    """
    n 为 多项式的次数
    """    
    # 随机初始化多项式参数
    #numpy.random.rand(d0)的随机样本所处[0, 1)之间。d0表示返回几个个
    p_init = np.random.rand(M+1) #生成M+一个多多随机数的列表
    # 最小二乘法
    p_lsq = leastsq(residuals_func, p_init, args=(x, y)) # 一个多多参数:误差函数、函数参数列表、数据点
    print('Fitting Parameters:', p_lsq[0])
    
    # 可视化
    plt.plot(x_points, real_func(x_points), label='real')
    plt.plot(x_points, fit_func(p_lsq[0], x_points), label='fitted curve')
    plt.plot(x, y, 'bo', label='noise')
    plt.legend()
    return p_lsq
    
    # M=0
    p_lsq = fitting(M=0)

亲戚亲戚让让我们 从一次函数依次增加项式,找到最大慨的拟合曲线。



到9次的以后 ,不可能 完整性拟合有有哪些点了 。

总结

亲戚亲戚让让我们 可不都还可以看出,最小二乘法的原理我觉得非常简单,运用起来也简洁,应用广泛。否则它都在一定的局限性,比如不可能 拟合函数都在线性的,就无法用最小二乘法了。还有一点,本文讲的最小二乘法是最简洁的,否则它对噪声的容忍度很低,容易造成过拟合,一点一点还可不都还可以加进正则化,你你你是什么有兴趣的读者可不都还可以了解下。最小二乘法运用误差深度图求最优解的思路是亲戚亲戚让让我们 机器学习中一个多多很经典也很常用的思维方向之一,为学习机器学习打下一个多多好基础。这也是把它装入 亲戚亲戚让让我们 的机器学习系列最现在开使的原困。

ps:可不都还可以完整性代码,关注公众号,回复‘最小二乘法’获得~

本文首发微信公众号“哈尔的数据城堡”.