Solo  当前访客:1 登录 注册
☆gater yu☆

~~ 一个java老鸟的博客 ~~

工作流jbpm 有更新!

1.ExecutionService executionService=processEngine.getExecutionService();//ExecutionService用来管理流程实例的
2.ProcessInstance pi=executionService.startProcessInstanceByKey("helloworld");//根据流程定义的Id来启动一个流程实例
3.pi=executionService.signalExecutionById(pi.getId());//当流程进入等待状态,执行signalExecutionById方法后才继续流转

作者:sky | 更新日期: 2016-11-18 19:27 | 浏览次数: 784 | 评论总数: 0 | 标签:

jdk代理

动态代理中的【目标对象】完全可以是任何一个对象,或者没有此对象,而且不与【一组接口】有任何关系
【目标对象】只是被用来当做实现【一组接口】的一种方式,我们可以选择在【调用处理器】的invoke()方法中自己编写实现代码,而不是去调用【目标对象】的方法

 

作者:sky | 创建日期: 2016-11-18 19:26 | 浏览次数: 641 | 评论总数: 0 | 标签:

gradle总结

DSL:是特定领域的语言
Groovy:通用领域的语言(同java一样都是)
基于Groovy实现的DSL有:GANT, GORM, XMLBuilder, HtmlBuilder,Gradle

作者:sky | 创建日期: 2016-11-18 19:25 | 浏览次数: 1,178 | 评论总数: 0 | 标签:

计算广告学 有更新!

合约广告系统(Agreement-based Advertising)
竞价广告系统(Auction-based Advertising)
广告交易市场(Ad Exchange)

作者:sky | 更新日期: 2016-11-18 19:24 | 浏览次数: 904 | 评论总数: 0 | 标签:

高并发

添加了多个新的线程安全集合类(ConcurrentHashMap、CopyOnWriteArrayList 和 CopyOnWriteArraySet)。
一些集合已经是线程安全的(Hashtable 和 Vector),通过同步的封装工厂(Collections.synchronizedMap()、synchronizedList() 和 synchronizedSet()),其余的集合均可表现为线程安全的。
并发性能

作者:sky | 创建日期: 2016-11-18 19:24 | 浏览次数: 811 | 评论总数: 0 | 标签:

spark必须知道的几个观点

executor对应container内存executor对应的内存由两部分组成:–exuecutor-memory控制了堆的大小–spark.yarn.executor.memoryOverhead控制堆外内存,默认值(384MB,0.07*spark.executor.memory),该值一般偏小,需要调大日志凡是cluster模式启动的作业,日志都没有打印在本地。因为main()直接在dri...

作者:sky | 创建日期: 2016-11-16 12:06 | 浏览次数: 385 | 评论总数: 0 | 标签:

spark运行方式及其常用参数

本文将介绍spark的几种运行方式,及常用的参数yarncluster模式例行任务一般会采用这种方式运行指定固定的executor数作业常用的参数都在其中指定了,后面的运行脚本会省略spark-submit\--masteryarn-cluster\--deploy-modecluster\#集群运行模式--namewordcount_${date}\#作业名--queueproduction.g...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 406 | 评论总数: 0 | 标签:

Spark编程技巧

Spark是一种强烈依赖内存的计算框架,结合其运行流程,可以有很多可以调优的地方用reduceByKey替代groupByKey这两个转换都有shuffle过程发生,且都类似mapreduce,但是reduceByKey会在map阶段会对相同的key进行聚合,极大的减少了map产生的数据量,进而减少了shuffle的数据量,提高了程序的执行效率避免shuffleshuffle类算子会将多个节点的k...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 405 | 评论总数: 0 | 标签:

Spark学习资料

官网http://spark.apache.org/docs/1.6.2/index.html视频DataBricks出品的Spark入门视频(强推):https://www.edx.org/course/introduction-spark-uc-berkeleyx-cs105xhttps://www.edx.org/course/big-data-analysis-spark-uc-berke...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 627 | 评论总数: 0 | 标签:

Ubuntu15.10安装JDK(jdk1.8.0_65)

1.下载JDK选择下载Linux版本-64位:jdk-8u65-linux-x64.tar.gz下载链接:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2.解压文件解压到当前目录tar-xzvfjdk-8u65-linux-x64.tar.gz解压后的文件为:jdk1.8.0_6...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 445 | 评论总数: 0 | 标签:

Ubuntu15.10安装Vim编辑器

Ubuntu中的VIM安装命令apt-getinstallvim原则上到这里就安装结束了,可以使用啦。修改配置Vim编辑器修改之后的效果图(Github上的大神搞得,挺棒的!)Fork到了自己的Github,以便于学习和使用,感谢大神。一键安装地址:wget-qO-https://raw.github.com/ma6174/vim/master/setup.sh|sh-x我的Github地址:ht...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 326 | 评论总数: 0 | 标签:

Ubuntu15.10安装配置SSH服务

##下载安装SSH##Ubuntu下的命令:apt-getinstallssh启动SSH服务/etc/init.d/sshstart使用命令验证服务是否启动成功ps-e|grepssh设置免密码登录SSH生成公钥(id_rsa.pub)和私钥(id_rsa)将公钥(id_rsa.pub)追加到authorized_keys中(authorized_keys中保存所有用户允许以当前用户身份登录到ss...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 334 | 评论总数: 0 | 标签:

Hadoop2.6.3安装配置

下载解压Hadoop2.6.3tar文件下载链接:http://hadoop.apache.org/releases.html解压文件,至当前文件夹:tar-xzvfhadoop-2.6.3.tar.gz新建自己的Hadoop目录,移动文件至该目录中新建hadoop目录mkdir/usr/local/hadoop移动解压后的文件到自己新建的hadoop目录当中mvhadoop-2.6.3/usr/...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 457 | 评论总数: 0 | 标签:

Spark1.6.0onHadoop-2.6.3安装配置

安装配置Scala1下载scala下载解压scala包:略附:下载链接http://www.scala-lang.org/download/2.10.4.html移动scala到指定目录mkdir/usr/local/scalamvscala-2.10.4/usr/local/scala2配置scala环境变量exportSCALA_HOME=/usr/local/scala/scala-2.10...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 618 | 评论总数: 0 | 标签:

dockerpullsequenceiq/spark:1.5.1

dockerpullsequenceiq/spark:1.5.1http://baidu.ku6.com/watch/8788485592428494013.html?page=videoMultiNeeddockerbuild–rm-tsequenceiq/spark:1.5.1Runningtheimage1:dockerrun-it-p8088:8088-p8042:8042-hsandbo...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 603 | 评论总数: 0 | 标签:

SparkRDD编程(二)

转载请注明出处:http://blog.csdn.net/[email protected]高阳团博主微博:http://weibo.com/234654758Github:https://github.com/thinkgamer============================================================SparkRDD编程(一)Spark的键值对(pairRDD)...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 482 | 评论总数: 0 | 标签:

使用Python jieba和java 庖丁分词在Spark集群上进行中文分词统计

写在前边的话:本篇博客也是在做豆瓣电影数据的分析过程中,需要对影评信息和剧情摘要信息进行分析而写的一篇博客以前学习hadoop时,感觉做中文分词也没那么麻烦,但是到了Spark,却碰到了诸多困难,但幸好最终都解决了这些问题,而得到了正确的结果,这里我们不解释具体的spark语法之类的,着重于解决中文分词统计这个问题同步github地址:点击查看1:Python+jieba使用python版本的sp...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 950 | 评论总数: 0 | 标签:

IDEA构建Spark编程环境和用Scala实现PageRank算法

写在前边的话以前在学习编写mapreduce时,由于没有shell,就是首先在eclipse里配置环境,利用eclipse的强大功能进行编写,调试,编译,最终打包到集群上运行,同样面对Spark的时候,虽然spark提供了强大的shell脚本能力,但对于定期或者处理时间很长的程序来说并不适合使用shell,所以这里我选用了强大IDEA作为spark的开发环境环境说明(点击下载):Java1.8.1...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 429 | 评论总数: 0 | 标签:

带你走进Spark编程之Scala入门

写在前边的话:1:什么是Scala?Scala是一门多范式的编程语言,类似于Java,并集成了面向对象编程和函数式编程的各种特性,具体可参考知乎上的一个帖子2:本篇博客包含哪些内容?Scala中变量的声明与函数定义Scala中的控制结构Scala中的数据类型Scala中的类详解1:变量声明与函数定义变量声明:val和var ,两者的区别是val声明的变量是不可变的,而var声明的变量可变eg:sc...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 372 | 评论总数: 0 | 标签:

Spark集群启动pythonshell错误:Couldnotresolvehostnamelocalhost:Temporaryfailure

Hadoop集群部署参考:点击查看Spark集群部署参考:点击查看最近在自己搭建的平台上测试spark-python脚本,发现一个错误如下:<spanstyle="font-size:14px;">[[email protected]]$bin/pysparkPython2.6.6(r266:84292,Jul232015,15:22:56)[GCC4.4.72012...

作者:sky | 创建日期: 2016-11-16 12:05 | 浏览次数: 365 | 评论总数: 0 | 标签:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 下一页 最后一页   共 59 页面