sparkmllib预测之LinearRegression的示例分析
这篇文章主要介绍spark mllib 预测之LinearRegression的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
创新互联从2013年创立,先为兴隆等服务建站,兴隆等地企业,进行企业商务咨询服务。为兴隆企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。
商品价格与消费者输入之间的关系
商品需求(y, 吨),价格(x1, 元),消费者收入(x2, 元)
y | x1 | x2 |
5 | 1 | 1 |
8 | 1 | 2 |
7 | 2 | 1 |
13 | 2 | 3 |
18 | 3 | 4 |
建立需求函数: y = ax1+bx2
运行代码如下
package spark.regressionAnalysis /** * 线性回归, 建立商品价格与消费者输入之间的关系, * 预测价格 */ import org.apache.log4j.{Level, Logger} import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.regression.{LabeledPoint, LinearRegressionWithSGD} import org.apache.spark.{SparkConf, SparkContext} object LinearRegression { val conf = new SparkConf() //创建环境变量 .setMaster("local") //设置本地化处理 .setAppName("LinearRegression")//设定名称 val sc = new SparkContext(conf) //创建环境变量实例 def main(args: Array[String]) { val data = sc.textFile("./src/main/spark/regressionAnalysis/lr.txt")//获取数据集路径 val parsedData = data.map { line => //开始对数据集处理 val parts = line.split('|') //根据逗号进行分区 LabeledPoint(parts(0).toDouble, Vectors.dense(parts(1).split(',').map(_.toDouble))) }.cache() //转化数据格式 //LabeledPoint, numIterations, stepSize val model = LinearRegressionWithSGD.train(parsedData, 2, 0.1) //建立模型 val result = model.predict(Vectors.dense(1, 3))//通过模型预测模型 println(model.weights) println(model.weights.size) println(result) //打印预测结果 } }
lr.txt
5|1,1 8|1,2 7|2,1 13|2,3 18|3,4
结果如图
以上是“spark mllib 预测之LinearRegression的示例分析”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!
文章题目:sparkmllib预测之LinearRegression的示例分析
分享网址:http://ybzwz.com/article/jigdip.html