《零基础入门Spark》学习笔记 Day 11

Spark MLlib机器学习简介机器学习是人工智能的核心领域之一专注于通过数据和算法让计算机系统自动学习并改进性能而无需显式编程。其核心任务包括分类、回归、聚类、强化学习等广泛应用于图像识别、自然语言处理、推荐系统等领域。基于历史数据机器会根据一定的算法尝试从历史数据中挖掘并捕捉出一般规律。然后再把找到的规律应用到新产生的从而实现新数据上的预测与判断。它是一个计算过程对于给定的训练数据选择一种先验的数据分布模型然后借助优化算法自动地持续调整模型参数从而让模型不断逼近训练数据的原始分布。主要类型监督学习通过已标注数据训练模型预测未知数据的输出。典型算法包括线性回归、支持向量机SVM和神经网络。无监督学习从无标注数据中发现隐藏模式如聚类K-means和降维PCA。强化学习通过与环境交互学习最优策略如Q-learning和深度强化学习DQN。数据探索在机器学习领域中与预测标的相关的属性统称为数据特征而选择有效特征的过程称为特征选择。具体的探索过程是这样的。首先我们使用SparkSession的read API从训练数据文件创建DataFrame然后调用show与printSchema函数来观察数据的样本构成与Schema。数据提取准备训练样本模型训练1、导入相关的模型库在Spark MLlib中线性回归模型由LinearRegression类实现2、创建模型实例并指定模型训练所需的必要信息3、调用模型的fit函数同时提供训练数据集开始训练模型效果评估1、分类任务评估指标2、回归任务评估指标3、聚类任务评估指标4、交叉验证方法5、模型比较与选择