Elvis Hsieh Blog

今天國網中心電子報 有一則關於 Apache Spark 的報導 ，對於 Hadoop 的 MapReduce 效能點出了最大的致命傷： MapReduce 最大的缺點在於運算時需要將中間產生的資料存在 Hadoop 獨有的分散式檔案系統中(HDFS)。尤其在執行迭代演算法（註1）時，每次的輸入與輸出皆需要頻繁讀寫HDFS，這將導致大量的時間花費在資料的讀取。 也因此 Apache Spark 誕生 ，在 Apache Spark 網站的標題寫著： Apache Spark™ is a fast and general engine for large-scale data processing. 讓我比較感興趣的是： Spark 支援 Java, Scala, Python, R 語言來開發各種應用程式，也可以在單機版本運行： Ease of Use Write applications quickly in Java, Scala, Python, R. Runs Everywhere Spark runs on Hadoop, Mesos, standalone, or in the cloud. It can access diverse data sources including HDFS, Cassandra, HBase, and S3. 簡單瀏覽 Spark's Github 的網址 內的 Readme， clone 回來安裝步驟如下： 下載及解壓縮 Maven 專案套件軟體 設定環境變數讓 Maven/bin 程式可以在 cmd 中被執行：[圖 1] cmd 中輸入 mvn -v 測試：[圖 2] clone Spark stable 版本到 github 目錄：[圖 3]  build Spark: cd spark; mvn -DskipTests clean package     Spark github Readme 的說明，測試 Spark 是否安裝成功： 測試 Spark-shell：           cd bin; spark-sh...

之前都是寫 C, C++ 程式，不需要寫 java ，但是 programming in cloud computing 課程需要寫 java，所以不得不安裝 Eclipse 來幫助 william 寫程式，不然他的負荷很大。 由於懶得看 Eclipse 內 help 的說明，在 google 中搜尋了一下國內對於 Eclipse IDE 的教學，除了在 java world  [1] 有些說明可以參考外，但是還是不足我想要的內容，於是在國外的網站 [2] 有詳盡的 IDE 操作教學。 ---------------------------------------------------------- [1] http://www.javaworld.com.tw/jute/post/view?bid=10&id=40626 [2] http://www.vogella.de/articles/Eclipse/article.html

配置： 140.120.63.79  register.nchu.edu.tw    FreeBSD 9.0-release 140.120.63.67  elvis.nchu.edu.tw          ubuntu 11.10 the below was ubuntu install step: 1. install openssh server: # sudo apt-get install openssh-server 2. vim /etc/hosts 140.120.63.79  register.nchu.edu.tw    register 140.120.63.67  elvis.nchu.edu.tw          elvis 163.1.17.139    joe 在 FreeBSD 當中也要加入 /etc/hosts 3.安裝 Java   # sudo apt-get install sun-java6-jdk   # sudo apt-get install sun-java6-plugi 4. adduser: hadooper:turtle 5. login hadooper user     ssh-keygen -t dsa     cd .ssh     cp id_dsa.pub authorized_keys     chmod 600 authorized_keys 6. adduser hadooper in FreeBSD     ssh -l elvis register     sudo adduser hadooper 7. login hadooper in FreeBSD and create public k...

在 Programming in Cloud Computing 課程中，老師幫我們申請了國網中心的帳號，讓我們可以使用國網中心的 hadoop 環境，但是與自己架設的 hadoop 版本及環境不同，只好將原來的環境設定檔如 .bashrc, .profile, HADOOP_HOME, HADOOP_VERSION 等變數重新設定。在設定的過程中需要進出國網中心，但是密碼卻是很難記住，只好產生 public key 來登入比較容易，以下就是紀錄一下設定的過程及原理： 1. 首先要在本機的系統中產生一個 public key:       $ ssh-keygen -t dsa  // I use dsa format, the others rsa1, rsa2 2. 將產生的 public key copy 到 hadoop.nchc.org.tw 主機上：     $ cd .ssh     $ ssh-copy-id -i id_dsa.pub h1453@hadoop.nchc.org.tw   完成以後，就會在主機的 .ssh/authorized_key 檔中加入本機的 public key 資料 3. 測試是否可以登入 hadoop.nchc.org.tw:    ssh h1453@hadoop.nchc.edu.tw 底下是之前先在國網中心先建立起 public key 及將 elvis, register 兩台主機加入 public key 的過程： 1. 首先要在國網中心的帳號之下產生一個 public key：     $ ssh -l h1453 hadoop.nchc.org.tw, then keyin password     $ ssh-keygen -t dsa  // I use dsa format, the others rsa1, rsa2 2. 將 public key 複製到 elvis.nchu.edu.tw 主機：     $ ...