spark单机安装
本文共 536 字，大约阅读时间需要 1 分钟。
spark下载地址：
#解压: tar -xzvf spark-2.4.0-bin-hadoop2.6.tgzcd spark-2.4.0-bin-hadoop2.6#执行命名 进入控制台./bin/spark-shellvar lines = sc.textFile("README.md")lines.count()lines.first()lines.take(1)val linesWithApache = lines.filter(line => line.contains("Apache"))#退出:quit 
cp spark-env.sh.template spark-env.sh
#spark-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_151export SPARK_MASTER_IP=localhostexport SPARK_LOCAL_IP=localhostexport SPARK_MASTER_PORT=7077export SPARK_WORKER_CORES=1export SPARK_WORKER_INSTANCES=1export SPARK_WORKER_MEMORY=1g
转载地址：http://ppawb.baihongyu.com/
你可能感兴趣的文章
Java集合详解4：一文读懂HashMap和HashTable的区别以及常见面试题
查看>>
Java集合详解5：深入理解LinkedHashMap和LRU缓存
查看>>
Java集合详解6：这次，从头到尾带你解读Java中的红黑树
查看>>
Java集合详解7：一文搞清楚HashSet，TreeSet与LinkedHashSet的异同
查看>>
Java集合详解8：Java集合类细节精讲，细节决定成败
查看>>
Java并发指南1：并发基础与Java多线程
查看>>
Java并发指南2：深入理解Java内存模型JMM
查看>>
Java并发指南3：并发三大问题与volatile关键字，CAS操作
查看>>
Java并发指南4：Java中的锁 Lock和synchronized
查看>>
Java并发指南5：JMM中的final关键字解析
查看>>
Java并发指南6：Java内存模型JMM总结
查看>>
Java并发指南7：JUC的核心类AQS详解
查看>>
Java并发指南8：AQS中的公平锁与非公平锁，Condtion
查看>>
Java网络编程和NIO详解6：Linux epoll实现原理详解
查看>>
Java网络编程和NIO详解7：浅谈 Linux 中NIO Selector 的实现原理
查看>>
Java网络编程与NIO详解8：浅析mmap和Direct Buffer
查看>>
Java网络编程与NIO详解10：深度解读Tomcat中的NIO模型
查看>>
Java网络编程与NIO详解11：Tomcat中的Connector源码分析（NIO）
查看>>
深入理解JVM虚拟机1：JVM内存的结构与消失的永久代
查看>>
深入理解JVM虚拟机3：垃圾回收器详解
查看>>