机器学习中的常见算法

来源：太原优就业IT培训学校时间：2020/9/16 17:53:52

　　算法是我们在学习机器学习的时候需要重点掌握的技术之一，而今天我们就一起来了解一下，机器学习中常见的算法都有那些类型。

　　线性回归，比较简单且直观的回归算法，线性回归可以有n个属性值，然后每个属性的线性组合组成一个预测函数，通过定义误差函数然后小化样本整体的误差来确定预测函数的参数。

　　逻辑斯蒂回归，可以说它是广义线性模型，原来的线性回归无法用于分类任务，那么通过一个sigmoid函数可以将其用于分类任务，这便是逻辑斯蒂回归。线性函数被映射到了S函数中，以0.5为分割点可作为二分类。逻辑斯蒂回归往多分类推广则变为softmax回归，可用于多分类任务。

　　朴素贝叶斯，它是概率论中非常的方法，核心就是贝叶斯定理，通过条件独立假设来简化模型，通过样本来学习联合概率分布，其中涉及到先验概率分布和条件概率分布。

　　决策树，根据属性构造一个树形的决策策略，按各个属性值不断往下便能确定终的结果。训练时可以以信息增益作为准则。

　　支持向量机，它规定了优分类线不仅能正确将两类分开，而且还要使分类间隔大，当然对于高维空间则是超平面。它的本质问题是凸二次规划问题的极小问题，这方面涉及到凸优化理论。对于线性不可分的情况可以引入核函数，将低维空间线性不可分的点映射到高维空间中，从而使得它们可分。

　　集成学习(boosting、bagging、stacking)，集成学习核心思想是结合多个模型算法来完成任务，这个假设了单个算法学习的知识是局限的，多个算法组合则能发挥各个算法模型的长处，从而增加模型性能。boosting、bagging、stacking分别是三种不同的集成方式，boosting的个体学习器有强依赖关系，每个个体学习器依赖于个个体学习器的输出，bagging个体学习器之间没有依赖关系且通过一定的结合策略产生终输出，stacking则是一种分层特征学习的结构。

　　神经网络(感知机、BP神经网络、卷积神经网络、循环神经网络)，神经网络基础版本是感知机和BP神经网络，通过模拟人脑神经一样构建起一个神经网络，并通过梯度下降之类的学习模型参数。后面通过加深网络层数和引入卷积等操作发展成卷积神经网络，此外还有改造成循环神经网络等，也就是后来的深度学习。

　　聚类(kmeans、密度聚类、层次聚类)，聚类就是通过一定的算法将属性相近的个体聚集到一起，并将属性不同的个体尽量隔离远一点。kmeans是基于距离的聚类，密度聚类则是寻找被低密度区域分离的高密度区域，层次聚类congratulation上往下将大集群进行分割。

　　降维(PCA、LDA)，PCA主成分分析将数据congratulation原来的坐标转换到新坐标使得可以用更少维度来表示数据，LDA线性判别分析将高维样本投印到佳鉴别矢量空间以达到压缩特征空间维度的效果。

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/3173/news/255725/违者必究！ 以上就是太原优就业IT培训学校 小编为您整理 机器学习中的常见算法的全部内容。