如何在 Spark-on-Hive 集群中执行复杂计算？

1 在 Spark-on-Hive 集群中执行复杂计算

Apache Spark 作为Hadoop的一个有效的延伸，它能够有效地利用Hadoop结构化集群来执行更为复杂的计算任务，也就是Spark-on-Hive的使用模式，也是大数据开发过程中最常用的执行模式之一。

2 利用Spark-on-Hive进行复杂计算

1、 首先，需要在Hive结构化集群中配置Spark，具体可以使用CDH（Cloudera’s Distribution）或者Hadoop集群。之后需要在每个节点上安装Java以配置Spark环境，配置完成之后，就可以在结构化集群中启动spark程序，连接hive的Hdfs，查询hive数据库中的表。

2、 当Hive中的数据表完成创建时，使用SqlContext将Hive表转化为Spark的RDD（Resilient Distribute Dataset）形式，获取表中需要查询的数据，并利用精准的Spark编程模型，进行复杂的数据处理、变换等操作。

3、 操作完成后，可以将更新的数据和Hive表整合，写入Hive中，并将计算结果打印出来。

3 示例

以下是使用Spark-on-Hive执行计算，统计某个表中前三位分数最高的学生信息： 1、 首先通过SqlContext，将Hive表的数据映射为Spark的RDD：

//将hive中学生信息表映射成RDD
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)  
val stuRDD = sqlContext.sql("select * from student_score")

2、使用Spark操作，对RDD进行复杂的变换和计算：

//对学生成绩按照分数进行排名
val studentsRdd = sortRDD.map(x=>(x.name,x.score)).sortBy(_._2,false)
//统计学生成绩前三
val topThreeSudent=stuRDD.take(3)

3、将结果写回Hive表：

//将前三学生记录写入hive表中
sql("insert into top3_student select * from student")

最后，就可以打印出某个表中前三位分数最高的学生信息。

4 总结

通过上述步骤，我们可以看出，在Spark-on-Hive集群中执行复杂计算是非常简单而且高效的方式。SqlContext能够有效地将Hive表映射成Spark的RDD，利用精准的Spark编程模型，进行复杂的数据处理、变换等操作，可以有效的实现复杂计算，并将计算结果整合写入Hive表。另外，还可以使用Spark SQL来执行复杂的计算查询。由于Spark提供了高效的内存计算能力和有效的I/O计算能力，它能够有效地执行繁重的业务逻辑，满足用户对大数据的计算需求。