paulwong

          LOG ANALYST BIG DATA SYSTEM資源

          日志抓取端:

          apache kafka在數據處理中特別是日志和消息的處理上會有很多出色的表現,這里寫個索引,關于kafka的文章暫時就更新到這里,最近利用空閑時間在對kafka做一些功能性增強,并java化,雖然現在已經有很多這樣的版本,但是根據實際需求來改變才是最適合的。

          首先當然推薦的是kafka的官網 http://kafka.apache.org/ 

          在官網最值得參考的文章就是kafka design:http://kafka.apache.org/design.html,我的文章也基本都是參照這里的說明,大家要特別重視這篇文章,里面有好多理念都特別好,推薦多讀幾遍。

          在OSC的翻譯頻道有kafka design全中文的翻譯,翻得挺好的,推薦一下:http://www.oschina.net/translate/kafka-design

          kafka的wiki是很不錯的學習文檔:https://cwiki.apache.org/confluence/display/KAFKA/Index

          ——————————————————————————————————

          接下來就是我寫的一系列文章,文章都是循序漸進的方式帶你了解kafka:

          關于kafka的基本知識,分布式的基礎:《分布式消息系統Kafka初步》

          kafka的分布式搭建,quick start:《kafka分布式環境搭建》

          關于kafka的實現細節,這主要就是講design的部分:《細節上》《細節下》

          關于kafka開發環境,scala環境的搭建:《開發環境搭建》

          數據生產者,producer的用法:《producer的用法》《producer使用注意》

          數據消費者,consumer的用法:《consumer的用法》

          還有些零碎的,關于通信段的源碼解讀:《net包源碼解讀》《broker配置》

          ——————————————————————————————————

          擴展的閱讀還有下面這些:

          我的好友寫的關于kafka和jafka的相關博客,特別好,我有很多問題也都找他解決的,大神一般的存在:http://rockybean.github.com/   @rockybean

          kafka的java化版本jafka:https://github.com/adyliu/jafka

          淘寶的metaQ:https://github.com/killme2008/Metamorphosis

          我最近在寫的inforQ,剛開始寫,我也純粹是為了讀下源碼,不定期更新哈:https://github.com/ielts0909/inforq

          后面一階段可能更新點兒關于cas的東西吧,具體也沒想好,最近一直出差,寫代碼的時間都很少

          --------------------------------------------------------------------------------

          0.8版本的相關更新如下:

          0.8更新內容介紹:《kafka0.8版本的一些更新》

          posted on 2013-09-08 16:21 paulwong 閱讀(223) 評論(0)  編輯  收藏 所屬分類: LOG ANALYST BIG DATA SYSTEM

          主站蜘蛛池模板: 宁武县| 泽普县| 玉田县| 河南省| 喜德县| 浏阳市| 吕梁市| 花莲市| 灌阳县| 扶风县| 永泰县| 峡江县| 华亭县| 甘南县| 宁河县| 冀州市| 噶尔县| 盐边县| 广州市| 祁东县| 都昌县| 隆化县| 陕西省| 大城县| 丽江市| 定南县| 阿克苏市| 镇巴县| 青州市| 法库县| 九龙坡区| 当涂县| 聊城市| 新竹县| 丹阳市| 独山县| 河间市| 哈尔滨市| 安乡县| 陇南市| 宝坻区|