两个RDD不能嵌套计算: Caused by: org.apache.spark.SparkException: RDD transformations and actions can only be invoked by the driver, not inside of other transformations; for example, rdd1.map(x => rdd2.value

spark   scala  

SparkContext SparkContext 是Spark 应用的主入口,通过它可以连接Spark 集群,并在集群中创建RDD,累加器,广播变量等;==每一个启动 JVM 上只能有一个SparkContext,在启动一个新的SparkContext之前,必须停掉处于活动状态的SparkContext==。 /** * Main entry point for Spark functiona

scala   spark  

最近看到一个有意思的题目:波斯公主选驸马链接 ,手痒想写代码模拟实现一 下。正好在做scala的项目,自然就想用scala来实现。 模型里首先要实现一个"洗牌算法" ,该算法用java实现的话如下: void MySwap(int &x, int &y) { int temp = x; x = y; y = temp;

scala  

第五章 使用velocity模板引擎 最爽的Web组合开发就是Intellij IDEA + Maven + Spring Boot + Scala + Velocity + Boostrap + jQuery了. Spring Boot提供了一个强大的一键式Spring的集成开发环境,能够单独进行一个Spring应用的开发,其中: (1)集中式配置(application.properties)

velocity   scala   springboot  

使用SB與Scala 項目代碼 本章項目代碼: https://github.com/LightSwordSpringBoot/lightsword JVM上的語言家族 JVM上的語言 Scala Java Groovy Jython Kotlin Fantom Rhino JRuby Ceylon Clojure ... 1)Clojure是一个函数编程语言(functional progr

scala-maven-plugin   scala   springboot  

第三章 从HellWorld开始 代碼地址 本章代碼: https://github.com/LightSwordSpringBoot/lightsword_helloworld 创建Maven工程 Maven工程groupId,artifactId配置如下: <groupId>com.lightsword.sb</groupId> <artifactId>helloword</artifac

scala   springboot  

我初次接触Scala时,由于对Scala相关的工具不够熟悉,学习的效率低下。所以本文主要介绍Scala编程所必备的工具。一般而言,我们接触一门编程语言,都需要接触这门语言的编译器、REPL、构建工具、集成开发环境、文档(当然,因语言而异,编译器和REPL并不是每个语言都有的)。 REPL 行编辑 Ctrl+F 向前移动光标 Ctrl+B 向后移动光标 Ctrl+N 命令历史中的下一个 Ctrl+P

sbt   scala  

scala-maven-plugin 构建scala,springboot工程 我们在使用maven构建scala工程的时候, 要使用scala-maven-plugin插件,常规配置如下 : <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</

scala-maven-plugin   maven   scala  

maven scala plugin 使用教程笔记之jvmArgs配置,自定义properties 在jvmArgs -D参数中使用 jvmArgs是什么 举个例子: $JAVA_ARGS.=“-Dresin.home=$SERVER_ROOT-server -Xms2048M-Xmx2048M-Xmn512M-XX:PermSize=256M -XX:M

maven   springboot   scala  

大数据索引

bigdata platform and engine spark hadoop tez apex-core apex-malhar streaming spark-streaming flink strom mq kafka nosql hbase hive cassandra phoenix kudu resource manager mesos yarn index solr elastic

nosql   scala   搜索引擎  
1 2 3 4 5 6 7 8 9