Elvis Hsieh Blog

今天國網中心電子報 有一則關於 Apache Spark 的報導 ，對於 Hadoop 的 MapReduce 效能點出了最大的致命傷： MapReduce 最大的缺點在於運算時需要將中間產生的資料存在 Hadoop 獨有的分散式檔案系統中(HDFS)。尤其在執行迭代演算法（註1）時，每次的輸入與輸出皆需要頻繁讀寫HDFS，這將導致大量的時間花費在資料的讀取。 也因此 Apache Spark 誕生 ，在 Apache Spark 網站的標題寫著： Apache Spark™ is a fast and general engine for large-scale data processing. 讓我比較感興趣的是： Spark 支援 Java, Scala, Python, R 語言來開發各種應用程式，也可以在單機版本運行： Ease of Use Write applications quickly in Java, Scala, Python, R. Runs Everywhere Spark runs on Hadoop, Mesos, standalone, or in the cloud. It can access diverse data sources including HDFS, Cassandra, HBase, and S3. 簡單瀏覽 Spark's Github 的網址 內的 Readme， clone 回來安裝步驟如下： 下載及解壓縮 Maven 專案套件軟體 設定環境變數讓 Maven/bin 程式可以在 cmd 中被執行：[圖 1] cmd 中輸入 mvn -v 測試：[圖 2] clone Spark stable 版本到 github 目錄：[圖 3]  build Spark: cd spark; mvn -DskipTests clean package     Spark github Readme 的說明，測試 Spark 是否安裝成功： 測試 Spark-shell：           cd bin; spark-sh...

從 OpenOffice 2.x 到 LibreOffice 4.0，一直希望大家能使用這個也可以達到 Microsoft Office 功能的免費套裝軟體，特別是 LibreOffice 提供了畫流程圖（Drawing）的功能，不像 Microsoft Office Suite 中還要另外安裝 visio ，不過，人類似乎不太願意改變現狀，只要不是出我的錢，是公家的錢，還是要使用 Microsoft Office 就好。如果 Microsoft Office 軟體授權費用是要出自己的錢時，那麼 LibreOffice 在公家機關推動時，就會快一些，不是嗎？ 言歸正傳，在 Italo Vignoli's Blog 中指出： Android port of LibreOffice was nearing completion, pointing out that the porting of the office suite’s code was at around 80% complete 由於雲端的技術越來越成熟，應用程式也越來越多的時候， Microsoft Office 對於桌上型電腦的影響力也將會越來越小，到時候，我所期望可以在 Unix-like OS 中工作的日子也越來越近了。（ 除了公文系統以外 ，但可以在 Unix-like 中架設 VM 來處理）。

之前都是寫 C, C++ 程式，不需要寫 java ，但是 programming in cloud computing 課程需要寫 java，所以不得不安裝 Eclipse 來幫助 william 寫程式，不然他的負荷很大。 由於懶得看 Eclipse 內 help 的說明，在 google 中搜尋了一下國內對於 Eclipse IDE 的教學，除了在 java world  [1] 有些說明可以參考外，但是還是不足我想要的內容，於是在國外的網站 [2] 有詳盡的 IDE 操作教學。 ---------------------------------------------------------- [1] http://www.javaworld.com.tw/jute/post/view?bid=10&id=40626 [2] http://www.vogella.de/articles/Eclipse/article.html

Making software 是 O'Reilly 最近新出的一本書，主要的內容與 Beautiful Code 相同，作者 Andy Oram[1] 在2011.02.1於 Berkman Center, Harvard University 有針對 Cloud Computing 的議題做了說明，是影片檔，可以在[2]網址下載。 由 Andy Oram 的網站連結到 Black Duck--Open Source Resource Center，主要是收集所有 Open Source 所有的 Project and Software，其中在[4] 中有Open Source 對於 Cloud Computing 的相關網址介紹。 ----------------------------------------------------------------- [1]  http://www.praxagora.com/andyo/index.html [2]  http://cyber.law.harvard.edu/interactive/events/luncheon/2011/02/oram [3]  http://www.blackducksoftware.com/oss [4]  http://www.blackducksoftware.com/oss/projects/#cloud