莊周夢蝶

          生活、程序、未來
             :: 首頁 ::  ::  :: 聚合  :: 管理

          淘寶開源MQ——metamorphosis的github分支

          Posted on 2012-03-16 10:39 dennis 閱讀(8394) 評論(12)  編輯  收藏 所屬分類: javaHadoop與分布式

              上周我在淘寶的同事開源了一個消息中間件metamorphosis,放在了淘蝌蚪上。我從淘蝌蚪的svn上fork了一個github的分支,放在了這里:
           1.主體工程:https://github.com/killme2008/Metamorphosis
              
              主要做了一些pom文件的簡化,發布1.4.0.2版本到maven central倉庫,并且寫了幾個簡單的入門文檔,提供了一個完整打包可運行的下載,有興趣的自己看github頁面吧。 Wiki文檔放在:
              https://github.com/killme2008/Metamorphosis/wiki
             
               客戶端Maven依賴包括,可自行選擇添加:
          <dependency>
              <groupId>com.taobao.metamorphosis</groupId>
              <artifactId>metamorphosis-client</artifactId>
              <version>1.4.0.2</version>
          </dependency>

          <dependency>
              <groupId>com.taobao.metamorphosis</groupId>
              <artifactId>metamorphosis-client-extension</artifactId>
              <version>1.4.0.2</version>
          </dependency>

          <dependency>
              <groupId>com.taobao.metamorphosis</groupId>
              <artifactId>storm-metamorphosis-spout</artifactId>
              <version>1.0.0</version>
          </dependency>

               ps.我開通了新浪微博,有興趣相互關注下:http://weibo.com/fnil,你看,偏見是可以改變的。

          評論

          # re: 淘寶開源MQ——metamorphosis的github分支  回復  更多評論   

          2012-03-19 09:12 by tony.li.fly@gmail.com
          你看,偏見是可以改變的。
          :)

          # re: 淘寶開源MQ——metamorphosis的github分支[未登錄]  回復  更多評論   

          2012-03-19 09:41 by changedi
          你不在淘寶了?

          # re: 淘寶開源MQ——metamorphosis的github分支  回復  更多評論   

          2012-03-22 21:25 by dennis
          @changedi
          嗯,上個月離職了

          # re: 淘寶開源MQ——metamorphosis的github分支  回復  更多評論   

          2012-05-10 15:48 by xnang
          2012-05-10 15:46:21 [ pool-2-thread-1:15156 ] - [ ERROR ] 獲取ZKLoadRebalanceListener失敗
          java.util.concurrent.ExecutionException: java.lang.NullPointerException
          at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222)
          at java.util.concurrent.FutureTask.get(FutureTask.java:83)
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper.getBrokerConnectionListener(ConsumerZooKeeper.java:100)
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper.commitOffsets(ConsumerZooKeeper.java:89)
          at com.taobao.metamorphosis.client.consumer.SimpleMessageConsumer$1.run(SimpleMessageConsumer.java:113)
          at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
          at java.util.concurrent.FutureTask$Sync.innerRunAndReset(FutureTask.java:317)
          at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:150)
          at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$101(ScheduledThreadPoolExecutor.java:98)
          at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.runPeriodic(ScheduledThreadPoolExecutor.java:181)
          at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:205)
          at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
          at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
          at java.lang.Thread.run(Thread.java:619)
          Caused by: java.lang.NullPointerException
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper$1.call(ConsumerZooKeeper.java:169)
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper$1.call(ConsumerZooKeeper.java:165)
          at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
          at java.util.concurrent.FutureTask.run(FutureTask.java:138)
          at com.taobao.metamorphosis.client.consumer.ConsumerZooKeeper.registerConsumer(ConsumerZooKeeper.java:183)
          at com.taobao.metamorphosis.client.consumer.SimpleMessageConsumer.completeSubscribe(SimpleMessageConsumer.java:212)
          at com.duokoo.Remove.main(Remove.java:42)

          # re: 淘寶開源MQ——metamorphosis的github分支[未登錄]  回復  更多評論   

          2012-05-10 15:54 by dennis
          @xnang

          無背景,無程序,請問你讓我怎么幫你看?

          # re: 淘寶開源MQ——metamorphosis的github分支  回復  更多評論   

          2012-05-10 16:02 by xnang
          安裝你說的步驟搭建了服務,所有的代碼都是example里面的,生產端可以正常寫入數據,返回類似Send message successfully,sent to -1-0 這樣的提示。消費端通過SyncConsumer這個類只能取出部分數據,比如寫入5條只能取到部分幾條使用AsyncConsumer.java
          log4j在debug模式下出現了上面評論的那個異常錯誤

          # re: 淘寶開源MQ——metamorphosis的github分支[未登錄]  回復  更多評論   

          2012-05-10 16:35 by dennis
          @xnang

          從堆棧來看,明顯不是example的代碼,你自己寫的或者修改的吧。

          從錯誤來看,應該是因為消費者的zk配置問題,請看example代碼。

          SyncConsumer不是只能取出部分數據,可能是因為你沒有遞增offset,或者服務端延遲force的問題。

          # re: 淘寶開源MQ——metamorphosis的github分支  回復  更多評論   

          2012-05-10 17:24 by xnang
          能告訴下你的郵箱么?我們發郵件交流吧。謝謝!

          # re: 淘寶開源MQ——metamorphosis的github分支[未登錄]  回復  更多評論   

          2012-05-10 17:26 by dennis
          @xnang
          killme2008@gmail.com,可以的話gtalk

          # re: 淘寶開源MQ——metamorphosis的github分支  回復  更多評論   

          2012-05-10 17:58 by xnang
          感謝博主的指導,調試通過了。博主真的不錯,很耐心。再次感謝

          # re: 淘寶開源MQ——metamorphosis的github分支  回復  更多評論   

          2012-10-26 11:20 by bugaosuni
          準備啟動服務器,配置為:MetaConfig [brokerId=0, dataPath=d:metamorphosisdatafile
          , deletePolicy=delete,168, diamondZKDataId=metamorphosis.zkConfig, diamondZKGrou
          p=DEFAULT_GROUP, getProcessThreadCount=80, hostName=null, maxSegmentSize=1073741
          824, maxTransferSize=1048576, numPartitions=10, putProcessThreadCount=80, server
          Port=8123, slaveGroup=meta-slave-group, slaveId=-1, statTopicSet=[mytopic], topi
          cDeletePolicy=, topics=[mytopic], unflushInterval=10000, unflushThreshold=1000,
          zkConfig=com.taobao.metamorphosis.utils.ZkUtils$ZKConfig@1630ab9]
          Exception in thread "main" com.taobao.metamorphosis.server.exception.Metamorphos
          isServerStartupException: Register broker to zk failed
          at com.taobao.metamorphosis.server.assembly.MetaMorphosisBroker.start(Me
          taMorphosisBroker.java:206)
          at com.taobao.metamorphosis.EnhancedBroker.start(EnhancedBroker.java:46)

          at com.taobao.metamorphosis.ServerStartup.main(ServerStartup.java:47)
          Caused by: org.I0Itec.zkclient.exception.ZkNodeExistsException: org.apache.zooke
          eper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists for /meta
          /brokers/ids/0/master
          at org.I0Itec.zkclient.exception.ZkException.create(ZkException.java:55)

          at org.I0Itec.zkclient.ZkClient.retryUntilConnected(ZkClient.java:685)
          at org.I0Itec.zkclient.ZkClient.create(ZkClient.java:304)
          at org.I0Itec.zkclient.ZkClient.createEphemeral(ZkClient.java:328)
          at com.taobao.metamorphosis.utils.ZkUtils.createEphemeralPath(ZkUtils.ja
          va:82)
          at com.taobao.metamorphosis.server.BrokerZooKeeper.registerBrokerInZk(Br
          okerZooKeeper.java:188)
          at com.taobao.metamorphosis.server.assembly.MetaMorphosisBroker.start(Me
          taMorphosisBroker.java:201)
          ... 2 more
          Caused by: org.apache.zookeeper.KeeperException$NodeExistsException: KeeperError
          Code = NodeExists for /meta/brokers/ids/0/master
          at org.apache.zookeeper.KeeperException.create(KeeperException.java:110)

          at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
          at org.apache.zookeeper.ZooKeeper.create(ZooKeeper.java:637)
          at org.I0Itec.zkclient.ZkConnection.create(ZkConnection.java:87)
          at org.I0Itec.zkclient.ZkClient$1.call(ZkClient.java:308)
          at org.I0Itec.zkclient.ZkClient$1.call(ZkClient.java:304)
          at org.I0Itec.zkclient.ZkClient.retryUntilConnected(ZkClient.java:675)
          ... 7 more
          菜鳥一個求指導,是不是哪里配置不對了
          主站蜘蛛池模板: 安平县| 同德县| 达拉特旗| 淳安县| 阜新市| 什邡市| 通辽市| 平度市| 波密县| 霞浦县| 福清市| 恩施市| 美姑县| 满洲里市| 寿阳县| 康乐县| 合阳县| 囊谦县| 阿克苏市| 讷河市| 沙河市| 南岸区| 石台县| 策勒县| 建阳市| 前郭尔| 湖北省| 邢台市| 竹溪县| 澄城县| 杭锦后旗| 韶关市| 镇赉县| 沂水县| 苍梧县| 介休市| 临汾市| 榆社县| 和顺县| 沙河市| 峨边|