在线色视频网,亚洲精品免费观看,亚洲精品视频一二三区

分布式配�|�管理��^台Disconf

paulwong — Mon, 13 Apr 2015 08:12:00 GMT

http://www.oschina.net/p/disconf

Disconf 可以为各�U�业务��^台提供统一的配�|�管理服务�?/p>

支持配置�Q�配�|�项+配置文�g�Q�的分布式化��理
配置发布�l�一�?/p>
极简的��用方式（注解式编�E?�?XML代码无代码��R入模式）
低��R入性或无��R入性、强兼容�?/p>
需要Spring�~�程环境

重要功能特点

支持配置�Q�配�|�项+配置文�g�Q�的分布式化��理
配置发布�l�一�?/strong>

配置发布、更新统一化（云端存储、发布）:配置存储在云端系�l�，用户�l�一在��^��C��q�行发布、更新配�|��?/p>
配置更新自动化：用户在��^台更新配�|�，使用该配�|�的�pȝ��会自动发现该情况�Q��ƈ应用新配�|�。特�D�地�Q�如果用户�ؓ此配�|�定义了回调函数�c�，则此函数�c�M��被自动调用�?/p>

配置异构�pȝ��理

异构包部�|�统一化：�q�里的异构系�l�是指一个系�l�部�|�多个实例时�Q�由于配�|�不同，从而需要多个部�|�包�Q�jar或war�Q�的情况�Q�下同）。��?Disconf后，异构�pȝ��的部�|�只需要一个部�|�包�Q�不同实例的配置会自动分配。特别地�Q�在业界大量使用部��v虚拟化（如JPAAS�pȝ��Q�SAE�Q�BAE�Q?的情况下�Q�同一个系�l��用同一个部�|�包的情景会��来��多�Q�Disconf可以很自然地与他天然契合�?/p>
异构��d��自动切换�Q�如果一个异构系�l�存在主备机�Q�主机发生挂机时�Q�备机可以自动获取主机配�|�从而变成主机�?/p>
异构��d��机Context�׃�n工具�Q�异构系�l�下�Q�主备机切换时可能需要共享Context。可以��用Context�׃�n工具来共享主备的Context�?/p>

极简的��用方式（注解式编�E?�?XML代码无代码��R入模式）�Q�我们追求的是极��的、用��L��E�体验良好的�~�程方式。目前支持两�U�开发模式：��Z��XML配置或才��Z��注解�Q�即可完成复杂的配置分布式化�?/p>
需要Spring�~�程环境

注：配置��Ҏ��指某个类里的某个Field字段�?/p>

Disconf的功能特�Ҏ��q�图�Q?/strong>

查看大图

其它功能特点

低��R入性或无��R入性、强兼容�?/strong>�Q?/p>

低��R入性：通过极少的注解式代码撰写�Q�即可实现分布式配置�?/p>
无��R入性：通过XML��单配�|�，卛_��实现分布式配�|��?/p>
强兼�Ҏ��：为程序添加了分布式配�|�注解后�Q�开启Disconf则��用分布式配置�Q�若关闭Disconf则��用本地配�|�；若开启Disconf后disconf-web不能正常Work�Q�则Disconf使用本地配置�?/p>

支持配置��多个项目共享，支持扚w��处理��目配置�?/p>
配置监控�Q��^台提供自校验功能�Q�进一步提高稳定性）�Q�可以定时校验应用系�l�的配置是否正确�?/p>

模块架构�?/h2>

paulwong 2015-04-13 16:12 发表评论

安装KAFKA

paulwong — Sun, 11 May 2014 02:30:00 GMT

下蝲KAFKA

wget http://apache.fayea.com/apache-mirror/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz

解压

tar -zxf kafka_2.9.2-0.8.1.1.tgz

0.7之前的版本这时就要安装相应的包之�cȝ��Q?.8.1之后��׃��用了。把命��o加进PATH�?br />
export KAFKA_HOME=/home/ubuntu/java/kafka_2.9.2-0.8.1.1
export PATH=$JAVA_HOME/bin:$STORM_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$BIN_HOME/bin:$MAVEN_HOME/bin:$PATH

SOURCE一�?br />
source /etc/profile

制作启动命��o�Q�start-kafka.sh�Q��ƈ放于kafaka_hoem/bin�?br />
kafka-server-start.sh $KAFKA_HOME/config/server.properties &

安装ZOOKEEPER

wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar -zxf zookeeper-3.4.6.tar.gz
cd zookeeper-3.4.6.tar.gz/conf
cp zoo_sample.cfg zoo.cfg

改zoo.cfg
dataDir=$ZOOKEEPER_HOME/data

#方便查LOG
dataLogDir=$ZOOKEEPER_HOME/logs

#控制客户的连接数�Q�默认数�?0�Q�太��?/span>
maxClientCnxns=300

#如果有多个ZOOKEEPER INSTANCE�?/span>
server.1=10.120.151.223:2888:3888
server.2=10.120.151.224:2888:3888

启动ZOOKEEPER

zkServer.sh start

更改KAFKA的配�|�文件server.properties�Q?主要改几个地�?br />
#�q�个是配�|�PRODUCER/CONSUMER�q�上来的时候��用的地址
advertised.host.name=54.72.4.92
#讄��KAFKA LOG路径
log.dirs=$KAFKA_HOME/logs/kafka-logs
#讄��ZOOKEEPER的连接地址
zookeeper.connect=54.72.4.92:2181

启动KAFKA

start-kafka.sh

新徏一个TOPIC

#KAFKA有几个，replication-factor��填几个
kafka-topics.sh --create --topic kafkatopic --replication-factor 1 --partitions 1 --zookeeper localhost:2181

发送消息至KAFKA

kafka-console-producer.sh --broker-list localhost:9092 --sync --topic kafkatopic

另开一个终端，昄��消息的消�?br />
kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning

在发送消息的�l�端输入aaa�Q�则可以在消�Ҏ��息的�l�端昄��

paulwong 2014-05-11 10:30 发表评论

zookeeper client使用�W�记

paulwong — Fri, 23 Aug 2013 02:47:00 GMT

Zookeeper数据模型
zk��h��像文件系�l�一��L��层状的命名空间�?/li>
命名�I�间中的每一个节炚w��可存储数据�?/li>
只有�l�对路径�Q�名字都是unicode字符�?/li>
每个节点都是ZNode�c�d��Q�如同文件系�l�的stat�Q��?/li>
每个ZNode上可以设�|�Watch�Q�znode改变会通知讄��的watch的客��L��Q�同时清除Watch
每次对znode的读写都是原子的�Q�每�ơ读写都是带要操作znode版本��L��?/li>
��量保证单个znode�?MB一下。通常几K�?/li>
临时节点的概念：只存在于一个Session的有效期内的节点。��时节点不允许有子节点�?/li>
使用zxid来标�C�zk中的每个事�g�Q�导致zk状态改变的事�g�Q�。全局唯一�?/li>
�Ҏ��个znode的改变触发当前znode versions的改变。每个znode�l�护三个version�Q�version�Q�对应每�ơznode data改变�Q�cversion�Q�对应每�ơ子节点改变�Q�aversion�Q�对应每�ơacl改变�Q?/li>
Zookeeper状态�{�?/h3>
session timeout旉��臛_��是ticket time�Q�默认是2000ms�Q�的2倍，同时最大不能超�q?0倍ticket time
一旦session �q�期�Q�不必手动重新连接。zk client会处理重�q��?/li>
Session的过期与否是由server端决定的。在timeout旉��之内�Q�server没有收到来自
client的�Q何信息（心蟩�Q�时�Q�则判定client session�q�期。同时会删掉属于�q�个session的��时节点（znode�Q�，同时通知watch�q�个节点的client�?/li>
一旦session�q�期的client重新�q�接上zk cluster�Q�将会受�?#8220;session expired”通知�?/li>
在徏立zk�q�接�Ӟ��会设�|�一个默认的watcher�Q�当client状态改变的时候，�q�个watcher会被调用。一般将�q�个watcher的初始状态设为disconnect。这样就可以处理后箋的session �q�期事�g�?/li>
Zookeeper Watch
每一�ơ的��L��作（getData(), getChildren(), exists()�Q�都可以�Ҏ��作的节点讄��watcher�?/li>
watch是一�ơ性的。一旦数据改变或是删除，则触发watcher�Q�后�l�的改变则不会再触发�?/li>
因�ؓwatch是异步发送的�Q�所以有可能在节�Ҏ��作返回码�q�回之前先返回给client。zk只能保证client收到的watch事�g是在他设�|�watch事�g�q�回成功后收到�?/li>
watch的两�U�类型：data watch�Q�由getData() �?exists()讄��Q�，�q�回znode data �?child watch�Q�由getChildren()讄��Q�， �q�回children list�?/li>
��D��watch事�g丢失的一�U�情况：“ a watch for the existance of a znode not yet created will be missed if the znode is created and deleted while disconnected.

paulwong 2013-08-23 10:47 发表评论

paulwong — Sun, 18 Aug 2013 10:27:00 GMT
!!!��Z��Hadoop的大数据�q�_��实施�?#8212;—整体架构设计
http://blog.csdn.net/jacktan/article/details/9200979

paulwong 2013-08-18 18:27 发表评论

ZOOKEEPER资源

paulwong — Tue, 02 Oct 2012 02:20:00 GMT
ZooKeeper实际上是一个小型的分布式文件系�l�，外加通知功能�?br />

ZooKeeper典型应用场景一�?br />http://www.coder4.com/archives/3856

!!!!!ZooKeeper伪分布式集群安装及��?br />http://blog.fens.me/hadoop-zookeeper-intro/

!!!ZOOPKEEPER之配�|�管理、分布式队列、会话、缓存等��理
http://www.cnblogs.com/xguo/category/495322.html

ZooKeeper实现分布式队列Queue
http://blog.fens.me/zookeeper-queue/

ZooKeeper实现分布式FIFO队列
http://blog.fens.me/zookeeper-queue-fifo/

!��Z��ZooKeeper的分布式Session实现
http://blog.csdn.net/jacktan/article/details/6112806

ZOOPKEEPER和SPRING整合�Q�作为PROPERTY数据的来�?br />https://github.com/james-wu-shanghai/spring-zookeeper
http://stackoverflow.com/questions/9940476/zookeeper-for-java-spring-config
https://github.com/ryantenney/zookeeper-spring

http://rdc.taobao.com/team/jm/archives/tag/zookeeper

分布式服务框�?Zookeeper -- ��理分布式环境中的数�?/div>
http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/

zookeeper

http://baike.baidu.com/view/3061646.htm

��Z��么要使用ZooKeeper

http://blog.csdn.net/franklysun/article/details/6424213

使用zookeeper��理多个hbase集群

http://koven2049.iteye.com/blog/1150484

Description of how HBase uses ZooKeeper

http://wiki.apache.org/hadoop/ZooKeeper/HBaseUseCases

hadoop+hbase+zookeeper集群安装�Ҏ��
http://linuxjcq.blog.51cto.com/3042600/760634

http://marysee.blog.51cto.com/1000292/629405

paulwong 2012-10-02 10:20 发表评论

在线色视频网,亚洲精品免费观看,亚洲精品视频一二三区

分布式配�|�管理��^台Disconf

重要功能特点

其它功能特点

模块架构�?/h2>paulwong 2015-04-13 16:12 发表评论

安装KAFKA

zookeeper client使用�W�记

Zookeeper数据模型

Zookeeper Watch

ZOOKEEPER资源

模块架构�?/h2>

paulwong 2015-04-13 16:12 发表评论