思想,《深入理解Spark:核心思想與源碼分析》——1.3節閱讀環境準備

 2023-11-19 阅读 27 评论 0

摘要:本節書摘來自華章社區《深入理解Spark:核心思想與源碼分析》一書中的第1章,第1.3節閱讀環境準備,作者耿嘉安,更多章節內容可以訪問云棲社區“華章社區”公眾號查看 1.3 閱讀環境準備準備Spark閱讀環境,同樣需要一臺好機器。筆者調試源碼的機器的

本節書摘來自華章社區《深入理解Spark:核心思想與源碼分析》一書中的第1章,第1.3節閱讀環境準備,作者耿嘉安,更多章節內容可以訪問云棲社區“華章社區”公眾號查看

1.3 閱讀環境準備
準備Spark閱讀環境,同樣需要一臺好機器。筆者調試源碼的機器的內存是8 GB。源碼閱讀的前提是在IDE環境中打包、編譯通過。常用的IDE有IntelliJ IDEA、Eclipse。筆者選擇用Eclipse編譯Spark,原因有二:一是由于使用多年對它比較熟悉,二是社區中使用Eclipse編譯Spark的資料太少,在這里可以做個補充。在Windows系統編譯Spark源碼,除了安裝JDK外,還需要安裝以下工具。
(1)安裝Scala
由于Spark 1.20版本的sbt里指定的Scala版本是2.10.4,具體見Spark源碼目錄下的文件projectplugins.sbt,其中有一行:scalaVersion := "2.10.4"。所以選擇下載scala-2.10.4.msi,下載地址:http://www.scala-lang.org/download/。
下載完畢,安裝scala-2.10.4.msi。
(2)安裝SBT
由于Scala使用SBT作為構建工具,所以需要下載SBT。下載地址:http://www.scala-sbt.org/,下載最新的安裝包sbt-0.13.8.msi并安裝。
(3)安裝Git Bash
由于Spark源碼使用Git作為版本控制工具,所以需要下載Git的客戶端工具,推薦使用Git Bash,因為它更符合Linux下的操作習慣。下載地址:http://msysgit.github.io/,下載最新的版本并安裝。
(4)安裝Eclipse Scala IDE插件
Eclipse通過強大的插件方式支持各種IDE工具的集成,要在Eclipse中編譯、調試、運行Scala程序,就需要安裝Eclipse Scala IDE插件。下載地址:http://scala-ide.org/download/current.html。
由于筆者本地的Eclipse版本是Eclipse 4.4 (Luna),所以選擇安裝插件http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site,如圖1-14所示。


da5f41c5e21b195b8aa2b56dd0737795ca463a18

思想、在Eclipse中選擇Help菜單,然后選擇Install New Software…選項,打開Install對話框,如圖1-15所示。


3c1401af68bdebb23d8dc02eca2d232b0d945253

版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接:https://hbdhgg.com/5/184042.html

发表评论:

本站为非赢利网站,部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们删除!

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息