第11章 Python Spark 整合開發 環境介紹

11.1 下載與安裝eclipse Scala IDE
Step1. 瀏覽Scala IDE 網頁

http://scala-ide.org/

11.2 安裝pyDev
Step1. 執行eclipse 程式
輸入工作路徑

/home/hduser/pythonwork/

Step3. 新增套件
PyDev Location：

https://dl.bintray.com/fabioz/pydev/4.5.4/

11.3 設定字串替代變數
請參考本書說明設定字串替代變數
● SPARK_HOME（Spark的安裝路徑）

/usr/local/spark

● HADOOP_CONF_DIR（Hadoop組態檔的路徑）。

/usr/local/hadoop/etc/hadoop

● PYSPARK_PYTHON（anaconda程式庫路徑）。

/home/hduser/anaconda2/bin/python

11.5 PyDev設定anaconda2程式庫路徑
請參考本書說明設定新增anaconda2 路徑

/home/hduser/anaconda2/lib/python2.7/site-packages

11.6 PyDev設定Spark Python程式庫
請參考本書說明設定Spark Python程式庫
Spark 的Python 程式庫路徑

/usr/local/spark/python/lib

11.7 PyDev設定環境變數
請參考本書說明設定環境變數
SPARK_HOME

${SPARK_HOME}

HADOOP_CONF_DIR

${HADOOP_CONF_DIR}

11.10 輸入WordCount.py程式
WordCount.py 請參考本書附錄APPENDIX A 本書範例程式下載與安裝說明 ，A.3 開啟eclipse PythonProject範例程式

# -*- coding: UTF-8 -*-
from pyspark import SparkContext
from pyspark import SparkConf

def SetLogger( sc ):
    logger = sc._jvm.org.apache.log4j
    logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
    logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )
    logger.LogManager.getRootLogger().setLevel(logger.Level.ERROR)   

def SetPath(sc):
    global Path
    if sc.master[0:5]=="local" :
        Path="file:/home/hduser/pythonwork/PythonProject/"
    else:   
        Path="hdfs://master:9000/user/hduser/"


def CreateSparkContext():
    sparkConf = SparkConf()                                                       \
                         .setAppName("WordCounts")                         \
                         .set("spark.ui.showConsoleProgress", "false") \
              
    sc = SparkContext(conf = sparkConf)
    print("master="+sc.master)
    SetLogger(sc)
    SetPath(sc)
    return (sc)

    

if __name__ == "__main__":
    print("開始執行RunWordCount")
    sc=CreateSparkContext()
 
    print("開始讀取文字檔...")
    textFile = sc.textFile(Path+"data/README.md")
    print("文字檔共"+str(textFile.count())+"行")
     
    countsRDD = textFile                                     \
                  .flatMap(lambda line: line.split(' ')) \
                  .map(lambda x: (x, 1))                    \
                  .reduceByKey(lambda x,y :x+y)
                  
    print("文字統計共"+str(countsRDD.count())+"筆資料")                  
    print("開始儲存至文字檔...")
    try:
        countsRDD.saveAsTextFile(Path+ "data/output")
    except Exception as e:
        print("輸出目錄已經存在,請先刪除原有目錄")
    sc.stop()

以上程式碼，請注意書上 第266頁 Step8. 儲存檔案 

儲存的路徑"output"有錯誤

countsRDD.saveAsTextFile(Path+ "output")

正確應該是"data/output"

countsRDD.saveAsTextFile(Path+ "data/output")

11.11 建立測試檔案並上傳測試檔至HDFS目錄
Step1. 複製本機測試檔案
輸入工作路徑

mkdir -p ~/pythonwork/PythonProject/data
cp /usr/local/spark/README.md ~/pythonwork/PythonProject/data

Step3. 啟動hadoop cluster

start-all.sh

Step4. 複製測試檔案至HDFS
輸入工作路徑

hadoop fs -mkdir -p /user/hduser/data
hadoop fs -copyFromLocal /usr/local/spark/README.md /user/hduser/data/README.md
hadoop fs -ls /user/hduser/data/README.md

11.12 使用spark-submit來執行WordCount程式
Step2. 在local 執行WordCount

cd ~/pythonwork/PythonProject

spark-submit --driver-memory 2g --master local[4] WordCount.py

Step3. 查看輸出檔案目錄

ll data/output

Step4. 查看輸出檔案內容

cat data/output/part-00000|more

11.13 在hadoop yarn-client執行WordCount程式
Step2. 在local 執行WordCount

cd ~/pythonwork/PythonProject

HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop spark-submit --driver-memory 512m --executor-cores 2 --master yarn --deploy-mode client WordCount.py

Step2. 查看執行完成後HDFS 產生的目錄

hadoop fs -ls /user/hduser/data/output

Step3. 查看執行完成後HDFS 產生的檔案

hadoop fs -cat /user/hduser/data/output/part-00000|more

Step4. 在Hadoop Web 介面可以查看WordCounts
網址列輸入

http://localhost:8088/

11.14 在Spark Standalone Cluster執行 WordCount程式
Step1. 刪除已產生的目錄

hadoop fs -rm -R /user/hduser/data/output

Step2. 啟動Standalone Cluster

/usr/local/spark/sbin/start-all.sh

Step3. 在Spark Standalone Cluster 執行WordCount 程式

cd ~/pythonwork/PythonProject/

spark-submit --master spark://master:7077 --deploy-mode client --executor-memory 500M --deploy-mode client --total-executor-cores 2 WordCount.py

Step4. 查看程式執行後輸出目錄

hadoop fs -ls /user/hduser/data/output

Step5. Spark Standalone Web UI 介面

http://master:8080/

Step6. 刪除已產生的目錄

hadoop fs -rm -R /user/hduser/data/output

11.15 在eclipse外部工具執行Python Spark程式
Step3. 設定外部工具
name

spark-submit

location

/usr/local/spark/bin/spark-submit

Working Directory

${workspace_loc}/${project_name}

Arguments

--driver-memory 2g --master local[4] ${resource_name} ${string_prompt}

11.16 在eclipse執行spark-submit yarn-client
Step3. spark-submit yarn-client 設定外部工具
name

spark-submit yarn-client

Arguments

--driver-memory 1024m --executor-cores 2 --executor-memory 1g --master yarn--deploy-mode client ${resource_name} ${string_prompt}

11.17 在eclipse執行spark-submit Standalone
Step3. spark-submit yarn-client 設定外部工具
name

spark-submit Standalone

Arguments

--master spark://master:7077 --deploy-mode client --executor-memory 500M --totalexecutor-cores 2 ${resource_name} ${string_prompt}

此圖出自Spark官網 https://spark.apache.org/

Share on Google Plus

About kevin

This is a short description in the author block about the author. You edit it by entering text in the "Biographical Info" field in the user admin panel.