使用tar命令： tar -zxvf 要解压的文件 -z 用gzip来压缩/解压缩文件 -x 从档案文件中释放文件 -v 显示详细信息 -f 使用档案名字，切记，这个参数是最后一个参数，后面只能接档案名
大魔王泛泛
2020-04-12
如果是本地Linux路径：file:///本地路径 如：file:///data/mobile 如果是HDFS上的路径：hdfs://localhost:9000/hdfs路径 如：hdfs://localhost:9000/data/mobile
大魔王泛泛
2020-04-12
在spark-env 文件里添加如下字段即可： export HADOOP_CONF_DIR=/home/hduser/hadoop/etc/hadoop
大魔王泛泛
2020-04-11
concat_ws: 用指定的字符连接字符串 如：concat_ws("_", field1, field2)，输出结果将会是：“field1_field2”
大魔王泛泛
2020-04-10
worker数：conf/slaves指定 executors数: total-executor-core/executor-core
大魔王泛泛
2020-04-04
1.transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD 2.action是得到一个值，或者一个结果 3.所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发
大魔王泛泛
2020-04-04
