paulwong

          LOG ANALYST BIG DATA SYSTEM資源

          日志抓取端:

          apache kafka在數據處理中特別是日志和消息的處理上會有很多出色的表現,這里寫個索引,關于kafka的文章暫時就更新到這里,最近利用空閑時間在對kafka做一些功能性增強,并java化,雖然現在已經有很多這樣的版本,但是根據實際需求來改變才是最適合的。

          首先當然推薦的是kafka的官網 http://kafka.apache.org/ 

          在官網最值得參考的文章就是kafka design:http://kafka.apache.org/design.html,我的文章也基本都是參照這里的說明,大家要特別重視這篇文章,里面有好多理念都特別好,推薦多讀幾遍。

          在OSC的翻譯頻道有kafka design全中文的翻譯,翻得挺好的,推薦一下:http://www.oschina.net/translate/kafka-design

          kafka的wiki是很不錯的學習文檔:https://cwiki.apache.org/confluence/display/KAFKA/Index

          ——————————————————————————————————

          接下來就是我寫的一系列文章,文章都是循序漸進的方式帶你了解kafka:

          關于kafka的基本知識,分布式的基礎:《分布式消息系統Kafka初步》

          kafka的分布式搭建,quick start:《kafka分布式環境搭建》

          關于kafka的實現細節,這主要就是講design的部分:《細節上》《細節下》

          關于kafka開發環境,scala環境的搭建:《開發環境搭建》

          數據生產者,producer的用法:《producer的用法》《producer使用注意》

          數據消費者,consumer的用法:《consumer的用法》

          還有些零碎的,關于通信段的源碼解讀:《net包源碼解讀》《broker配置》

          ——————————————————————————————————

          擴展的閱讀還有下面這些:

          我的好友寫的關于kafka和jafka的相關博客,特別好,我有很多問題也都找他解決的,大神一般的存在:http://rockybean.github.com/   @rockybean

          kafka的java化版本jafka:https://github.com/adyliu/jafka

          淘寶的metaQ:https://github.com/killme2008/Metamorphosis

          我最近在寫的inforQ,剛開始寫,我也純粹是為了讀下源碼,不定期更新哈:https://github.com/ielts0909/inforq

          后面一階段可能更新點兒關于cas的東西吧,具體也沒想好,最近一直出差,寫代碼的時間都很少

          --------------------------------------------------------------------------------

          0.8版本的相關更新如下:

          0.8更新內容介紹:《kafka0.8版本的一些更新》

          posted on 2013-09-08 16:21 paulwong 閱讀(226) 評論(0)  編輯  收藏 所屬分類: LOG ANALYST BIG DATA SYSTEM

          主站蜘蛛池模板: 佛坪县| 博客| 正宁县| 壶关县| 永登县| 高陵县| 和田市| 陈巴尔虎旗| 兰坪| 瑞昌市| 花莲县| 英德市| 霍林郭勒市| 炉霍县| 安平县| 婺源县| 五峰| 盐津县| 津南区| 安泽县| 芦山县| 眉山市| 柘城县| 建平县| 木兰县| 将乐县| 海盐县| 临汾市| 昭平县| 昌江| 长泰县| 甘德县| 剑阁县| 滨海县| 长海县| 汉源县| 焉耆| 临桂县| 广宁县| 宣武区| 肇庆市|