baishuo491
- 浏览: 77322 次
- 性别:
- 来自: 北京
-
最新评论
-
yuananyun：
图片看不清楚，要是能下载就好了
spark源码分析--spark的任务调度(补充一张图) -
QIAOtinger：
spark源码分析--rdd和stage的生成（更新了一张图） -
gaoshui87：
很好，学习了
开源力量spark公开课的ppt -
wangneng100：
请问PPT上传了吗，发到我邮箱一下，64947706@qq.c ...
开源力量spark公开课的ppt -
tanzek：
想请问楼主怎么调试源码呢？用idea的本地运行功能吗？
spark源码分析--rdd和stage的生成（更新了一张图）
文章列表
原创，转载请注明出处 http://baishuo491.iteye.com/blog/2019510 ,作者邮箱：vc_java@hotmail.com,新浪微博：爱看历史的码农--白硕 作者单位：亚信联创大数据平台部
从一个简单的例子，来看rdd的演化，和stage是如何生成的（过程灰常之复杂 ...
终于有了自己的微信公众号，欢迎关注“认真学习spark”微信公众号，也可以扫描下面二维码关注:)
object Optimizer extends RuleExecutor[LogicalPlan] {
val batches =
Batch("ConstantFolding", Once,
ConstantFolding,
BooleanSimplification,
SimplifyFilters,
SimplifyCasts) ::
Batch("Filter Pushdown", Once,
CombineFilters,
PushPredicateTh ...
抱歉，最近事情多。刚刚上传了ppt
附件所包含的文件仅用做学习交流用。在不以营利为目的的情况下，可以自由传播。请勿修改或进行以营利为目的的传播
原创，转载请注明出处 http://baishuo491.iteye.com/blog/2007317 ,作者邮箱：vc_java@hotmail.com,新浪微博：爱看历史的码农--白硕
对于 http://baishuo491.iteye.com/blog/1994026，画了一张图，辅助源码阅读，图片较大
原创，转载请注明出处 http://baishuo491.iteye.com/blog/1994026 ,作者邮箱：vc_java@hotmail.com,新浪微博：爱看历史的码农--白硕
在sparkContext的建立过程中(更细致的说是clientActor的preStart回调函数中)，会向master发送RegisterApplication消息master ! RegisterApplication(appDescription)
当master收到RegisterApplication请求后：
app = addApplication(description, se ...
原创，转载请注明出处 http://baishuo491.iteye.com/blog/1990242。作者邮箱 vc_java@hotmail.com
Spark的master启动后，等待work通过spark://master'ip:7077的url去连接Master.
在worker的回调函数preStart（Worker.scala）里面，调用了函数connectToMaster，这个函 ...
原创 转载请注明出处 http://baishuo491.iteye.com/blog/1958649 作者邮箱：vc_java@hotmail.com
Create操作
1.String clientMachine = getClientMachine();
2.namesystem.startFile(src,new PermissionStatus(UserGroupInformation.getCurrentUser().getShortUserName(),
null, masked),clientName, clientMachine, overwri ...
http://hi.baidu.com/scuxy06/item/7046362d0f5be8fd51fd8724
http://tengine.taobao.org/book/chapter_09.html#nginx-100
http://www.ibm.com/developerworks/cn/linux/l-lkm/
blog.csdn.net/hansel/article/details/2903709
http://blog.csdn.net/muge0913/article/details/7322230
http://tools.ietf.org/html/rfc6749
ht ...
http://nettedfish.sinaapp.com/blog/2013/08/05/deep-into-git-with-diagrams/
注释的翻译如下：先interrupt所有的线程，在join它们，如果interrupted，就返回false，表明某些线程还在running
/**
* Try to interrupt all of the given threads, and join on them.
* If interrupted, returns false, indicating some threads may
* still be running.
*/
private boolean interruptAndJoinThreads(List<Thread> thread ...
原创
INodeFileUnderConstruction 继承自INodeFile ，但是多了下面这六个类变量。都是在为了标示UnderConstruction状态时的一些必要的信息
class INodeFileUnderConstruction extends INodeFile
String clientName; // lease holder
private final String clientMachine;
private final DatanodeDescriptor clientNode; // if client is a cluster ...
原创，转载请注明出处 白硕 baishuo491@163.com
http://baishuo491.iteye.com/blog/1916241
2.0以后，重构为为以Command为基础的一系列类 bstract public class Command extends Configured
最核心的是run函数，里面主要的行为就是处理各种选项，展开参数，并且处理每个参数（注释原话 The default behavior is to process options, * expand arguments, and then process each argument.）
run函数 ...