输入DStreams表示从数据源获取的原始数据流。Spark Streaming拥有两类数据源 (1)基本源(Basic sources):这些源在StreamingContext API中直接可用。例如文件系统、套接字连接、 Akka的actor等。 (2)高级源(Advanced sources):这些源包括Kafka,Flume,Kinesis,Twitter等等。 1、基本数据源输入源码

SparkStreaming   基本数据源  

用WebCollector 2.x 配合另一个项目WeiboHelper,就可以直接爬取新浪微博的数据(无需手动获取cookie) 1.导入WebCollector 2.x和WeiboHelper的所有jar包    两个项目的地址:http://git.oschina.net/webcollector/WebCollector                              http:

WebCollector 2.x  

redis.conf 配置项说明如下: 1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程     daemonize no 2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定     pidfile /var/run/redis.pid 3. 指定Redis监听端口,默认

Redis配置参数  

import java.sql.Timestamp; import java.text.DateFormat; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.commons.logging.Log;

Date与String  

Intellij IDEA中有很多快捷键让人爱不释手,stackoverflow上也有一些有趣的讨论。每个人都有自己的最爱,想排出个理想的榜单还真是困难。以前也整理过Intellij的快捷键,这次就按照我日常开发时的使用频率,简单分类列一下我最喜欢的十大快捷-神-键吧。 1 智能提示 Intellij首当其冲的当然就是Intelligence智能!基本的代码提示用Ctrl+Space,还有更智能地

Intellij IDEA快捷键  

Alt+回车 导入包,自动修正 Ctrl+N   查找类 Ctrl+Shift+N 查找文件 Ctrl+Alt+L  格式化代码 Ctrl+Alt+O 优化导入的类和包 Alt+Insert 生成代码(如get,set方法,构造函数等) Ctrl+E 或 Alt+Shift+C  最近更改的代码 Ctrl+R 替换文本 Ctrl+F 查找文本 Ctrl+Shift+Space 自动补全代码 Ctr

IntelliJ Idea 常用快捷键  

综述   对于ProGuard工具想必我们都不陌生,它能够通过移除无用代码,使用简短无意义的名称来重命名类,字段和方法。从而能够达到压缩、优化和混淆代码的目的。最终我们会获取一个较小的apk文件,并且我们这个通过ProGuard处理的apk文件更难于进行逆向工程。 ProGuard工作原理简介   ProGuard能够对Java类中的代码进行压缩(Shrink),优化(Optimize),混淆(O

ProGuard详解  

最近公司有一个项目,是外包项目,由于对方也有技术人员,出于技术上的保密,需要对class文件进行二次处理,于是网上找了好久,只发现Proguard是用的最广泛而且网上资料最多的。由于不是纯Java项目,而是WEB项目,涉及到大量的配置文件,所以用这个工具稍显吃力,于是开始研究这玩意,花了好长一段时间,重复试验了N次,终于整出来了,下面总结一下我的经验。。 首先我介绍下我要混淆的项目框架是jeecg

Proguard教程  

由于最近看到了笔试题目中的验证IP,所以手痒就写了下面的代码。没有考虑到优化和ABCD类的条件,过后改进哈~ Version 1.0: #include<iostream> #include<stdlib.h> using namespace std; int check(const char *p){ if(p == NULL) return 0; else { while(*p!='

验证字符串IP  

记被JavaScript坑住的一个问题: 在编写js时,想要用javascript给type为hidden的input赋value值,在js中编写如下代码: document.getElementById('id').Value = id; 然后后台servlet一直取不到id变量的值,为空。上网搜索后突然一看Value的V大写了,这……&&哭晕…… 所以说,JavaScript中对于这种大小写还

JavaScript   赋值  
1 2 3 4 5 6 7 8 9