#首先生成sc,使用pyspark shell 的时候默认生成sc可以不初始化
from pyspark import SparkConf, SparkContext

import os
import time

# 配置环境变量不是必须做的。根据自己的实际路径来配置，如果环境变量中有就不需要配置。
os.environ['SPARK_HOME'] = r'E:/spark-1.6.1-bin-2.5.0-cdh5.3.6'

os.environ['HADOOP_HOME'] = r'G:/OnlinePySparkCourse/pyspark-project/winuntil'

sparkConf = SparkConf()\
        .setAppName('Python Spark WordCount')\
        .setMaster('local[2]')

sc = SparkContext(conf=sparkConf)