莊周夢蝶

          生活、程序、未來
             :: 首頁 ::  ::  :: 聚合  :: 管理

          淘寶開源MQ——metamorphosis的github分支

          Posted on 2012-03-16 10:39 dennis 閱讀(8395) 評論(12)  編輯  收藏 所屬分類: javaHadoop與分布式

              上周我在淘寶的同事開源了一個消息中間件metamorphosis,放在了淘蝌蚪上。我從淘蝌蚪的svn上fork了一個github的分支,放在了這里:
           1.主體工程:https://github.com/killme2008/Metamorphosis
              
              主要做了一些pom文件的簡化,發(fā)布1.4.0.2版本到maven central倉庫,并且寫了幾個簡單的入門文檔,提供了一個完整打包可運行的下載,有興趣的自己看github頁面吧。 Wiki文檔放在:
              https://github.com/killme2008/Metamorphosis/wiki
             
               客戶端Maven依賴包括,可自行選擇添加:
          <dependency>
              <groupId>com.taobao.metamorphosis</groupId>
              <artifactId>metamorphosis-client</artifactId>
              <version>1.4.0.2</version>
          </dependency>

          <dependency>
              <groupId>com.taobao.metamorphosis</groupId>
              <artifactId>metamorphosis-client-extension</artifactId>
              <version>1.4.0.2</version>
          </dependency>

          <dependency>
              <groupId>com.taobao.metamorphosis</groupId>
              <artifactId>storm-metamorphosis-spout</artifactId>
              <version>1.0.0</version>
          </dependency>

               ps.我開通了新浪微博,有興趣相互關(guān)注下:http://weibo.com/fnil,你看,偏見是可以改變的。

          評論

          # re: 淘寶開源MQ——metamorphosis的github分支  回復(fù)  更多評論   

          2012-03-19 09:12 by tony.li.fly@gmail.com
          你看,偏見是可以改變的。
          :)

          # re: 淘寶開源MQ——metamorphosis的github分支[未登錄]  回復(fù)  更多評論   

          2012-03-19 09:41 by changedi
          你不在淘寶了?

          # re: 淘寶開源MQ——metamorphosis的github分支  回復(fù)  更多評論   

          2012-03-22 21:25 by dennis
          @changedi
          嗯,上個月離職了

          # re: 淘寶開源MQ——metamorphosis的github分支  回復(fù)  更多評論   

          2012-05-10 15:48 by xnang
          2012-05-10 15:46:21 [ pool-2-thread-1:15156 ] - [ ERROR ] 獲取ZKLoadRebalanceListener失敗
          java.util.concurrent.ExecutionException: java.lang.NullPointerException
          at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222)
          at java.util.concurrent.FutureTask.get(FutureTask.java:83)
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper.getBrokerConnectionListener(ConsumerZooKeeper.java:100)
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper.commitOffsets(ConsumerZooKeeper.java:89)
          at com.taobao.metamorphosis.client.consumer.SimpleMessageConsumer$1.run(SimpleMessageConsumer.java:113)
          at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
          at java.util.concurrent.FutureTask$Sync.innerRunAndReset(FutureTask.java:317)
          at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:150)
          at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$101(ScheduledThreadPoolExecutor.java:98)
          at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.runPeriodic(ScheduledThreadPoolExecutor.java:181)
          at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:205)
          at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
          at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
          at java.lang.Thread.run(Thread.java:619)
          Caused by: java.lang.NullPointerException
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper$1.call(ConsumerZooKeeper.java:169)
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper$1.call(ConsumerZooKeeper.java:165)
          at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
          at java.util.concurrent.FutureTask.run(FutureTask.java:138)
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper.registerConsumer(ConsumerZooKeeper.java:183)
          at com.taobao.metamorphosis.client.consumer.SimpleMessageConsumer.completeSubscribe(SimpleMessageConsumer.java:212)
          at com.duokoo.Remove.main(Remove.java:42)

          # re: 淘寶開源MQ——metamorphosis的github分支[未登錄]  回復(fù)  更多評論   

          2012-05-10 15:54 by dennis
          @xnang

          無背景,無程序,請問你讓我怎么幫你看?

          # re: 淘寶開源MQ——metamorphosis的github分支  回復(fù)  更多評論   

          2012-05-10 16:02 by xnang
          安裝你說的步驟搭建了服務(wù),所有的代碼都是example里面的,生產(chǎn)端可以正常寫入數(shù)據(jù),返回類似Send message successfully,sent to -1-0 這樣的提示。消費端通過SyncConsumer這個類只能取出部分數(shù)據(jù),比如寫入5條只能取到部分幾條使用AsyncConsumer.java
          log4j在debug模式下出現(xiàn)了上面評論的那個異常錯誤

          # re: 淘寶開源MQ——metamorphosis的github分支[未登錄]  回復(fù)  更多評論   

          2012-05-10 16:35 by dennis
          @xnang

          從堆棧來看,明顯不是example的代碼,你自己寫的或者修改的吧。

          從錯誤來看,應(yīng)該是因為消費者的zk配置問題,請看example代碼。

          SyncConsumer不是只能取出部分數(shù)據(jù),可能是因為你沒有遞增offset,或者服務(wù)端延遲force的問題。

          # re: 淘寶開源MQ——metamorphosis的github分支  回復(fù)  更多評論   

          2012-05-10 17:24 by xnang
          能告訴下你的郵箱么?我們發(fā)郵件交流吧。謝謝!

          # re: 淘寶開源MQ——metamorphosis的github分支[未登錄]  回復(fù)  更多評論   

          2012-05-10 17:26 by dennis
          @xnang
          killme2008@gmail.com,可以的話gtalk

          # re: 淘寶開源MQ——metamorphosis的github分支  回復(fù)  更多評論   

          2012-05-10 17:58 by xnang
          感謝博主的指導(dǎo),調(diào)試通過了。博主真的不錯,很耐心。再次感謝

          # re: 淘寶開源MQ——metamorphosis的github分支  回復(fù)  更多評論   

          2012-10-26 11:20 by bugaosuni
          準備啟動服務(wù)器,配置為:MetaConfig [brokerId=0, dataPath=d:metamorphosisdatafile
          , deletePolicy=delete,168, diamondZKDataId=metamorphosis.zkConfig, diamondZKGrou
          p=DEFAULT_GROUP, getProcessThreadCount=80, hostName=null, maxSegmentSize=1073741
          824, maxTransferSize=1048576, numPartitions=10, putProcessThreadCount=80, server
          Port=8123, slaveGroup=meta-slave-group, slaveId=-1, statTopicSet=[mytopic], topi
          cDeletePolicy=, topics=[mytopic], unflushInterval=10000, unflushThreshold=1000,
          zkConfig=com.taobao.metamorphosis.utils.ZkUtils$ZKConfig@1630ab9]
          Exception in thread "main" com.taobao.metamorphosis.server.exception.Metamorphos
          isServerStartupException: Register broker to zk failed
          at com.taobao.metamorphosis.server.assembly.MetaMorphosisBroker.start(Me
          taMorphosisBroker.java:206)
          at com.taobao.metamorphosis.EnhancedBroker.start(EnhancedBroker.java:46)

          at com.taobao.metamorphosis.ServerStartup.main(ServerStartup.java:47)
          Caused by: org.I0Itec.zkclient.exception.ZkNodeExistsException: org.apache.zooke
          eper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists for /meta
          /brokers/ids/0/master
          at org.I0Itec.zkclient.exception.ZkException.create(ZkException.java:55)

          at org.I0Itec.zkclient.ZkClient.retryUntilConnected(ZkClient.java:685)
          at org.I0Itec.zkclient.ZkClient.create(ZkClient.java:304)
          at org.I0Itec.zkclient.ZkClient.createEphemeral(ZkClient.java:328)
          at com.taobao.metamorphosis.utils.ZkUtils.createEphemeralPath(ZkUtils.ja
          va:82)
          at com.taobao.metamorphosis.server.BrokerZooKeeper.registerBrokerInZk(Br
          okerZooKeeper.java:188)
          at com.taobao.metamorphosis.server.assembly.MetaMorphosisBroker.start(Me
          taMorphosisBroker.java:201)
          ... 2 more
          Caused by: org.apache.zookeeper.KeeperException$NodeExistsException: KeeperError
          Code = NodeExists for /meta/brokers/ids/0/master
          at org.apache.zookeeper.KeeperException.create(KeeperException.java:110)

          at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
          at org.apache.zookeeper.ZooKeeper.create(ZooKeeper.java:637)
          at org.I0Itec.zkclient.ZkConnection.create(ZkConnection.java:87)
          at org.I0Itec.zkclient.ZkClient$1.call(ZkClient.java:308)
          at org.I0Itec.zkclient.ZkClient$1.call(ZkClient.java:304)
          at org.I0Itec.zkclient.ZkClient.retryUntilConnected(ZkClient.java:675)
          ... 7 more
          菜鳥一個求指導(dǎo),是不是哪里配置不對了
          主站蜘蛛池模板: 徐水县| 苗栗县| 涟源市| 库尔勒市| 凉山| 安义县| 兴化市| 峨山| 灵寿县| 上思县| 日喀则市| 汾阳市| 东方市| 云浮市| 岳阳市| 千阳县| 伊吾县| 紫阳县| 凤山县| 石狮市| 吴江市| 徐汇区| 安塞县| 岑巩县| 余干县| 吴堡县| 翁牛特旗| 句容市| 雅江县| 武城县| 台中县| 浦东新区| 河池市| 平凉市| 鄂伦春自治旗| 太和县| 洛南县| 墨脱县| 天气| 乡宁县| 砀山县|