baishuo491的博客
baishuo491 · 共 28 篇文章
[置顶] spark源码分析--rdd和stage的生成(更新了一张图)
原创,转载请注明出处 http://baishuo491.iteye.com/blog/2019510 ,作者邮箱:vc_java@hotmail.com,新浪微博:爱看历史的码农--白硕 作者单位:亚信联创大数据平台部 从一个简单的例子,来看rdd的演化,和stage是如何生成的(过程灰常之复杂和抽象,请参考附件的图来理解) object BaiWordCount2 { def main(args: Array[string]) { ..... // Create the context val ssc = new SparkContext(args(0), "BaiWordCount",…
2014-02-19 23:24 · 评论(7)
终于有了自己的微信公众号,欢迎关注“认真学习spark”微信公众号,也可以扫描文中二维码关注:)
终于有了自己的微信公众号,欢迎关注“认真学习spark”微信公众号,也可以扫描下面二维码关注:)
2017-08-21 22:02 · 评论(0)
spark源码分析:catalyst 草稿
object Optimizer extends RuleExecutor { val batches = Batch("ConstantFolding", Once, ConstantFolding, BooleanSimplification, SimplifyFilters, SimplifyCasts) :: Batch("Filter Pushdown", Once, CombineFilters, PushPredicateThroughProject, PushPredicateThroughInnerJoin, ColumnPruning) :: Nil } Simplify…
2014-05-06 10:28 · 评论(0)
开源力量spark公开课的ppt
抱歉,最近事情多。刚刚上传了ppt 附件所包含的文件仅用做学习交流用。在不以营利为目的的情况下,可以自由传播。请勿修改或进行以营利为目的的传播
2014-04-02 11:23 · 评论(4)
spark源码分析--spark的任务调度(补充一张图)
原创,转载请注明出处 http://baishuo491.iteye.com/blog/2007317 ,作者邮箱:vc_java@hotmail.com,新浪微博:爱看历史的码农--白硕 对于 http://baishuo491.iteye.com/blog/1994026,画了一张图,辅助源码阅读,图片较大
2014-01-20 14:50 · 评论(1)
spark源码分析--spark的任务调度(standalone模式)
原创,转载请注明出处 http://baishuo491.iteye.com/blog/1994026 ,作者邮箱:vc_java@hotmail.com,新浪微博:爱看历史的码农--白硕 在sparkContext的建立过程中(更细致的说是clientActor的preStart回调函数中),会向master发送RegisterApplication消息 master ! RegisterApplication(appDescription) 当master收到RegisterApplication请求后: app = addApplication(description, sender)…
2013-12-23 16:38 · 评论(0)
spark源码分析--Master和worker建立连接
原创,转载请注明出处 http://baishuo491.iteye.com/blog/1990242。作者邮箱 vc_java@hotmail.com Spark的master启动后,等待work通过spark://master'ip:7077的url去连接Master. 在worker的回调函数preStart(Worker.scala)里面,调用了函数connectToMaster,这个函数完成了向Master节点注册work的工作。执行的方法是向master发送一个RegisterWorker消息 master ! RegisterWorker(workerId, host, por…
2013-12-16 15:55 · 评论(1)
hadoop 写操作的完整笔记
原创 转载请注明出处 http://baishuo491.iteye.com/blog/1958649 作者邮箱:vc_java@hotmail.com Create操作 1.String clientMachine = getClientMachine(); 2.namesystem.startFile(src,new PermissionStatus(UserGroupInformation.getCurrentUser().getShortUserName(), null, masked),clientName, clientMachine, overwrite, createPare…
2013-10-16 00:36 · 评论(0)
website
http://hi.baidu.com/scuxy06/item/7046362d0f5be8fd51fd8724 http://tengine.taobao.org/book/chapter_09.html#nginx-100 http://www.ibm.com/developerworks/cn/linux/l-lkm/ blog.csdn.net/hansel/article/details/2903709 http://blog.csdn.net/muge0913/article/details/7322230 http://tools.ietf.org/html/rfc6749 …
2013-08-11 23:53 · 评论(0)
git的好文章
http://nettedfish.sinaapp.com/blog/2013/08/05/deep-into-git-with-diagrams/
2013-08-07 11:51 · 评论(0)
hadoop里面的代码片段
注释的翻译如下:先interrupt所有的线程,在join它们,如果interrupted,就返回false,表明某些线程还在running /** Try to interrupt all of the given threads, and join on them. If interrupted, returns false, indicating some threads may still be running. / private boolean interruptAndJoinThreads(List threads) { // interrupt and wait for al…
2013-08-06 15:35 · 评论(0)
文件一致性的一些笔记
原创 INodeFileUnderConstruction 继承自INodeFile ,但是多了下面这六个类变量。都是在为了标示UnderConstruction状态时的一些必要的信息 class INodeFileUnderConstruction extends INodeFile String clientName; // lease holder private final String clientMachine; private final DatanodeDescriptor clientNode; // if client is a cluster node too. pri…
2013-08-01 23:16 · 评论(0)
hadoop2.0对命令调用的重构
原创,转载请注明出处 白硕 baishuo491@163.com http://baishuo491.iteye.com/blog/1916241 2.0以后,重构为为以Command为基础的一系列类 bstract public class Command extends Configured 最核心的是run函数,里面主要的行为就是处理各种选项,展开参数,并且处理每个参数(注释原话 The default behavior is to process options, * expand arguments, and then process each argument.) run函数里最…
2013-07-31 17:10 · 评论(0)