paulwong

          LOG ANALYST BIG DATA SYSTEM資源

          日志抓取端:

          apache kafka在數據處理中特別是日志和消息的處理上會有很多出色的表現,這里寫個索引,關于kafka的文章暫時就更新到這里,最近利用空閑時間在對kafka做一些功能性增強,并java化,雖然現在已經有很多這樣的版本,但是根據實際需求來改變才是最適合的。

          首先當然推薦的是kafka的官網 http://kafka.apache.org/ 

          在官網最值得參考的文章就是kafka design:http://kafka.apache.org/design.html,我的文章也基本都是參照這里的說明,大家要特別重視這篇文章,里面有好多理念都特別好,推薦多讀幾遍。

          在OSC的翻譯頻道有kafka design全中文的翻譯,翻得挺好的,推薦一下:http://www.oschina.net/translate/kafka-design

          kafka的wiki是很不錯的學習文檔:https://cwiki.apache.org/confluence/display/KAFKA/Index

          ——————————————————————————————————

          接下來就是我寫的一系列文章,文章都是循序漸進的方式帶你了解kafka:

          關于kafka的基本知識,分布式的基礎:《分布式消息系統(tǒng)Kafka初步》

          kafka的分布式搭建,quick start:《kafka分布式環(huán)境搭建》

          關于kafka的實現細節(jié),這主要就是講design的部分:《細節(jié)上》《細節(jié)下》

          關于kafka開發(fā)環(huán)境,scala環(huán)境的搭建:《開發(fā)環(huán)境搭建》

          數據生產者,producer的用法:《producer的用法》《producer使用注意》

          數據消費者,consumer的用法:《consumer的用法》

          還有些零碎的,關于通信段的源碼解讀:《net包源碼解讀》《broker配置》

          ——————————————————————————————————

          擴展的閱讀還有下面這些:

          我的好友寫的關于kafka和jafka的相關博客,特別好,我有很多問題也都找他解決的,大神一般的存在:http://rockybean.github.com/   @rockybean

          kafka的java化版本jafka:https://github.com/adyliu/jafka

          淘寶的metaQ:https://github.com/killme2008/Metamorphosis

          我最近在寫的inforQ,剛開始寫,我也純粹是為了讀下源碼,不定期更新哈:https://github.com/ielts0909/inforq

          后面一階段可能更新點兒關于cas的東西吧,具體也沒想好,最近一直出差,寫代碼的時間都很少

          --------------------------------------------------------------------------------

          0.8版本的相關更新如下:

          0.8更新內容介紹:《kafka0.8版本的一些更新》

          posted on 2013-09-08 16:21 paulwong 閱讀(223) 評論(0)  編輯  收藏 所屬分類: LOG ANALYST BIG DATA SYSTEM

          主站蜘蛛池模板: 台江县| 穆棱市| 河津市| 和硕县| 兴安县| 汉中市| 齐河县| 广安市| 冕宁县| 万州区| 汽车| 长子县| 凤翔县| 若羌县| 香格里拉县| 治多县| 共和县| 三台县| 齐河县| 阜新| 房产| 昭觉县| 绩溪县| 白沙| 开封县| 温宿县| 巫山县| 奈曼旗| 平凉市| 宜兴市| 都江堰市| 闽侯县| 广州市| 特克斯县| 来安县| 保靖县| 伊吾县| 蛟河市| 霍州市| 晋中市| 阿拉善左旗|