protected def getInputFormat(conf: JobConf): InputFormat[K, V] = { val newInputFormat = ReflectionUtils.newInstance(inputFormatClass.asInstanceOf[Class[_]], conf) .asInstanceOf[InputFormat[K, V]] newInputFormat match { case c: Configurable => c.setConf(conf) case _ => } newInputFormat }
- 浏览: 84420 次
- 性别:
- 来自: 北京
最新评论
-
bzq19881115:
刚调试了下,很好!最近在学习swt 给份API 谢谢
SWT 滚动条 -
xgj1988:
...
ant macrodef example -
yajie:
现在的suspend(),stop(),resume(),d ...
java Thread
spark 源码疑问
- 博客分类:
- spark
相关推荐
Apache Spark源码剖析,Apache Spark源码剖析,Apache Spark源码剖析
Spark源码解读迷你 RDD、Spark Submit、Job、Runtime、Scheduler、Spark Storage、Shuffle、Standlone算法、Spark On yarn。。。
Spark 源码分析 出自他人: 王联辉lianhuiwang09@gmail.com 这里只是搬运工,1分造福大家。 很不错的资源,大家可以查考!
《Apache Spark源码剖析》以Spark 1.02版本源码为切入点,着力于探寻Spark所要解决的主要问题及其解决办法,通过一系列精心设计的小实验来分析每一步背后的处理逻辑。 《Apache Spark源码剖析》第3~5章详细介绍了...
本文档详细介绍了搭建SPARK源码阅读环境的步骤及方法。SPARK源码的阅读有助于了解SPARK运行的内部机制,便于优化,对有志于大数据学习及科研的人员都是很重要的。
学习Spark源码的书,研究Hadoop、Spark等大数据技术的可以看看
Spark源码
spark 源码解读迷你书 ,推荐 先搭建好环境,intelij整好,开看
spark源码下载安装启动,包括遇到的问题,下载地址,.编译spark源码
spark源码结构,spark官方源码详细说明,各个包是干什么用的
spark源码阅读笔记 spark源码阅读笔记 spark源码阅读笔记 spark源码阅读笔记
spark源码:spark-master.zip。方便不能登录GitHub的小伙伴下载。如果实在需要留言,可以私下给。
个人对spark源码的一些分析,在个人学习和使用spark过程中,结合spark源码和实践进行全方位的分析,希望对大家有所帮助
Apache Spark 源码剖析 Apache Spark 源码剖析 Apache Spark 源码剖析
Spark-2.3.1源码解读。 Spark Core源码阅读 Spark Context 阅读要点 Spark的缓存,变量,shuffle数据等清理及机制 Spark-submit关于参数及部署模式的部分解析 GroupByKey VS ReduceByKey OrderedRDDFunctions...
Hive on Spark源码分析,实际场景中会遇到需求:将Hive默认的执行引擎MapReduce换成Spark或者Tez。
spark源码,学习大数据的必备资料
spark源码分析,RDD、Iterator、Job、DAG、Stage、Taskset、task等
Spark的源码包