2012年9月29日
摘要: Reactor 模式的 JAVA NIO 多線程服務(wù)器，這是比較完善的一版了。Java 的 NIO 網(wǎng)絡(luò)模型實(shí)在是不好用，還是使用現(xiàn)成的好。Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public class NIOServer...
閱讀全文
posted @
2013-05-14 16:31 nianzai 閱讀(2730) |
評論 (1) |
編輯 收藏 我學(xué)東西通常是通過動手的方式來學(xué)習(xí)，比如最近學(xué)習(xí)分布式服務(wù)協(xié)議paxos,自己就動手開發(fā)了一個該協(xié)議的實(shí)現(xiàn)版本。如果不動手實(shí)現(xiàn)只是靠學(xué)習(xí)理論是很難理解這個理論的本身。理解它最好的方式就是實(shí)踐它。
根據(jù)理論或者原理就來做實(shí)現(xiàn)確實(shí)很難，這需要很強(qiáng)的代碼功底、極高的理解能力以及持久的耐心。
扎實(shí)的功底是一切的開始，沒有扎實(shí)的功底就無法下手。沒有很好的悟性就很難保證事情的正確性。沒有良好的耐心就很難保證事情的結(jié)果。一次性就能將事情做成做好的，這種人實(shí)在太少了。做成一件事情就是在無數(shù)的失敗、錯誤中來接近成功，通過失敗來糾正、從而一步一步的接近成功。這就注定了需要持久的耐心才能保證成功。
posted @
2013-04-27 10:13 nianzai 閱讀(1979) |
評論 (0) |
編輯 收藏
1、提出者向leader發(fā)出詢問消息
2、leader向所有的QuorumPeer發(fā)出投票請求
3、QuorumPeer對該請求進(jìn)行投票，如果消息的txid大于QuorumPeer的txid則通過該投票，否則反對該投票
4、leader根據(jù)所有的QuorumPeer投票結(jié)果進(jìn)行計(jì)算，如果有一半以上的QuorumPeer通過則接受提出者的請求，否則拒絕提出者的請求
switch (message.getType())
{
case QuorumCode.ask://詢問類型
//詢問該事務(wù)是否可操作
Ask task=new Ask(message,sc);
My.executor.execute(task);
m.setCode(JuiceCode.OK);
break;
case QuorumCode.vote://投票類型
if(My.txid>=message.getTxid())
//拒絕
m.setCode(JuiceCode.ERROR);
else
{
//通過
m.setCode(JuiceCode.OK);
My.updateMyTxid(message.getTxid());
}
break;
case QuorumCode.ping://ping
m.setCode(JuiceCode.OK);
m.setMyid(message.getMyid());
break;
}
public static boolean sendAndVote(Message m) throws IOException
{
m.setType(QuorumCode.vote);
Map<Integer,Response> mp=new TreeMap<Integer,Response>();
for(Map.Entry<Integer,NIOClient> entry:voteClientMap.entrySet())
{
NIOClient client=entry.getValue();
Response response=client.send(ByteUtil.getBytes(m));
mp.put(entry.getKey(), response);
}
Map<Integer,Message> vote=new TreeMap<Integer,Message>();
for(Map.Entry<Integer,Response> entry:mp.entrySet())
vote.put(entry.getKey(), (Message)ByteUtil.getObject(entry.getValue().getData()));
int ok=0;
for(Map.Entry<Integer,Message> entry:vote.entrySet())
{
Message f=entry.getValue();
if(f.getCode()==JuiceCode.OK)
ok++;
}
if(ok/(vote.size()*1.0)>1/2.0)
return true;
return false;
}posted @
2013-04-23 13:19 nianzai 閱讀(1761) |
評論 (0) |
編輯 收藏1、收集第一輪投票結(jié)果
2、統(tǒng)計(jì)投票數(shù)，計(jì)算出投票數(shù)最大的id
3、如果投票數(shù)超過1/2則選該id為leader
4、如果最大投票數(shù)id沒有超過1/2,則推薦txid最大的id為leader
5、計(jì)算出最大的txid及其服務(wù)器id
6、計(jì)算出最大的txid有幾個
7、如果最大txid超過一個，則比較服務(wù)器id，推薦服務(wù)id最大的為leader
8、發(fā)起第二輪投票
Java實(shí)現(xiàn)代碼如下：
/** *//**
* 選舉leader
* @param vote 投票信息
* @return
*/
public int forLeader(Map<Integer,Notification> vote)
{
//統(tǒng)計(jì)leader投票數(shù)
TreeMap<Integer,Integer> tmap=new TreeMap<Integer,Integer>();
for(Map.Entry<Integer,Notification> entry:vote.entrySet())
{
Notification nf=entry.getValue();
if(tmap.containsKey(nf.leader))
tmap.put(nf.leader, tmap.get(nf.leader)+1);
else
tmap.put(nf.leader, 1);
}
//計(jì)算出投票數(shù)最大的id
int a=0;
int l=0;
for(Map.Entry<Integer,Integer> entry:tmap.entrySet())
{
if(entry.getValue()>a)
{
a=entry.getValue();
l=entry.getKey();
}
}
//如果投票數(shù)超過1/2則選該id為leader
if(a/(My.serverList.size()*1.0)>1/2.0)
{
//選出leader
if(l==My.myid)
My.myServerState=ServerState.LEADING;
else
My.myServerState=ServerState.FLLOWING;
My.leader=l;
return -1;
}
//如果最大投票數(shù)leader沒有超過1/2,則推薦txid最大的id為leader
//計(jì)算出最大的txid及其服務(wù)器id
long txid=0;
int leader=0;
for(Map.Entry<Integer,Notification> entry:vote.entrySet())
{
if(entry.getValue().txid>txid)
{
leader=entry.getKey();
txid=entry.getValue().txid;
}
}
//計(jì)算出最大的txid有幾個
Map<Integer,Notification> vte=new TreeMap<Integer,Notification>();
for(Map.Entry<Integer,Notification> entry:vote.entrySet())
{
if(entry.getValue().txid==txid)
{
vte.put(entry.getValue().id, entry.getValue());
}
}
//如果超過一個，則比較服務(wù)器id，推薦服務(wù)id最大的為leader
if(vte.size()>1)
{
for(Map.Entry<Integer,Notification> entry:vte.entrySet())
{
if(entry.getValue().id>leader)
leader=entry.getKey();
}
}
return leader;
}
}
posted @
2013-04-17 11:15 nianzai 閱讀(1886) |
評論 (0) |
編輯 收藏
原理：通過瀏覽器去訪問要抓取的Ajax、腳本網(wǎng)頁地址，通過讀取瀏覽器內(nèi)存document來得到腳本執(zhí)行以后的網(wǎng)頁內(nèi)容
在原有的基礎(chǔ)上增加 自定義命令腳本 抓取功能。該功能能夠通過用戶自定義的腳本來實(shí)現(xiàn)與網(wǎng)頁的交互，比如填寫內(nèi)容，點(diǎn)擊網(wǎng)頁上的提交按鈕。
這樣便能抓取需要提交的網(wǎng)頁內(nèi)容了，特別是需要提交的ajax網(wǎng)頁。
Ajax、腳本網(wǎng)頁內(nèi)容抓取工具(第二版)
點(diǎn)這下載
posted @
2012-09-29 14:26 nianzai 閱讀(1850) |
評論 (1) |
編輯 收藏