paulwong

          LOG ANALYST BIG DATA SYSTEM資源

          日志抓取端:

          apache kafka在數(shù)據(jù)處理中特別是日志和消息的處理上會有很多出色的表現(xiàn),這里寫個索引,關(guān)于kafka的文章暫時就更新到這里,最近利用空閑時間在對kafka做一些功能性增強,并java化,雖然現(xiàn)在已經(jīng)有很多這樣的版本,但是根據(jù)實際需求來改變才是最適合的。

          首先當然推薦的是kafka的官網(wǎng) http://kafka.apache.org/ 

          在官網(wǎng)最值得參考的文章就是kafka design:http://kafka.apache.org/design.html,我的文章也基本都是參照這里的說明,大家要特別重視這篇文章,里面有好多理念都特別好,推薦多讀幾遍。

          在OSC的翻譯頻道有kafka design全中文的翻譯,翻得挺好的,推薦一下:http://www.oschina.net/translate/kafka-design

          kafka的wiki是很不錯的學習文檔:https://cwiki.apache.org/confluence/display/KAFKA/Index

          ——————————————————————————————————

          接下來就是我寫的一系列文章,文章都是循序漸進的方式帶你了解kafka:

          關(guān)于kafka的基本知識,分布式的基礎(chǔ):《分布式消息系統(tǒng)Kafka初步》

          kafka的分布式搭建,quick start:《kafka分布式環(huán)境搭建》

          關(guān)于kafka的實現(xiàn)細節(jié),這主要就是講design的部分:《細節(jié)上》《細節(jié)下》

          關(guān)于kafka開發(fā)環(huán)境,scala環(huán)境的搭建:《開發(fā)環(huán)境搭建》

          數(shù)據(jù)生產(chǎn)者,producer的用法:《producer的用法》《producer使用注意》

          數(shù)據(jù)消費者,consumer的用法:《consumer的用法》

          還有些零碎的,關(guān)于通信段的源碼解讀:《net包源碼解讀》《broker配置》

          ——————————————————————————————————

          擴展的閱讀還有下面這些:

          我的好友寫的關(guān)于kafka和jafka的相關(guān)博客,特別好,我有很多問題也都找他解決的,大神一般的存在:http://rockybean.github.com/   @rockybean

          kafka的java化版本jafka:https://github.com/adyliu/jafka

          淘寶的metaQ:https://github.com/killme2008/Metamorphosis

          我最近在寫的inforQ,剛開始寫,我也純粹是為了讀下源碼,不定期更新哈:https://github.com/ielts0909/inforq

          后面一階段可能更新點兒關(guān)于cas的東西吧,具體也沒想好,最近一直出差,寫代碼的時間都很少

          --------------------------------------------------------------------------------

          0.8版本的相關(guān)更新如下:

          0.8更新內(nèi)容介紹:《kafka0.8版本的一些更新》

          posted on 2013-09-08 16:21 paulwong 閱讀(226) 評論(0)  編輯  收藏 所屬分類: LOG ANALYST BIG DATA SYSTEM

          主站蜘蛛池模板: 丁青县| 财经| 永康市| 二手房| 武冈市| 温州市| 莱阳市| 高阳县| 万载县| 元氏县| 天峨县| 南昌市| 南江县| 大连市| 陆川县| 二手房| 九江县| 股票| 保亭| 满洲里市| 邹平县| 苍梧县| 黄冈市| 新化县| 连州市| 古蔺县| 邹平县| 崇义县| 东源县| 望江县| 灌南县| 讷河市| 玛多县| 铜梁县| 临西县| 马龙县| 兴国县| 重庆市| 绥滨县| 丹寨县| 游戏|