neverend的日志

在事務(wù)隔離級別設(shè)定為repeatable read的情況下，一般的select語句采取的是一致性非阻塞讀的方式。
一致性是指在事務(wù)的范圍內(nèi)讀取的數(shù)據(jù)是可重現(xiàn)的，不會出現(xiàn)不可重復(fù)讀的情況。非阻塞是指這種讀取數(shù)據(jù)的模式不會對數(shù)據(jù)上任何一種鎖，其它操作全都不會被阻塞。
在這種模式下，事務(wù)執(zhí)行讀取語句后，相關(guān)的數(shù)據(jù)會有一套副本出現(xiàn)，并會為這個數(shù)據(jù)副本附加一個時間戳，其它事務(wù)在這個時間戳之后執(zhí)行的寫操作都不會反映到這個副本中，這種機制被稱之為多版本并發(fā)控制。
如果用select …… lock in share mode，則不是一致性非阻塞讀，該語句會等待其它事務(wù)的寫語句提交或回滾之后再讀取數(shù)據(jù)；如果事務(wù)隔離級別設(shè)置為read committed，也不是一致性非阻塞讀，該語句會讀取其它事務(wù)提交的數(shù)據(jù)。

介紹下對于Mysql鎖機制的理解
從基本概念開始：
共享鎖
共享鎖的代號是S，是Share的縮寫，共享鎖的鎖粒度是行或者元組（多個行）。一個事務(wù)獲取了共享鎖之后，可以對鎖定范圍內(nèi)的數(shù)據(jù)執(zhí)行讀操作。

排它鎖
排它鎖的代號是X，是eXclusive的縮寫，排它鎖的粒度與共享鎖相同，也是行或者元組。一個事務(wù)獲取了排它鎖之后，可以對鎖定范圍內(nèi)的數(shù)據(jù)執(zhí)行寫操作。

假設(shè)有兩個事務(wù)t1和t2
如果事務(wù)t1獲取了一個元組的共享鎖，事務(wù)t2還可以立即獲取這個元組的共享鎖，但不能立即獲取這個元組的排它鎖（必須等到t1釋放共享鎖之后）。
如果事務(wù)t1獲取了一個元組的排它鎖，事務(wù)t2不能立即獲取這個元組的排共享鎖，也不能立即獲取這個元組的排它鎖（必須等到t1釋放排它鎖之后）。
 
意向鎖
意向鎖是一種表鎖，鎖定的粒度是整張表，分為意向共享鎖(IS)和意向排它鎖(IX)兩類。意向共享鎖表示一個事務(wù)有意對數(shù)據(jù)上共享鎖或者排它鎖。“有意”這兩個字表達的意思比較微妙，說的明白點就是指事務(wù)想干這個事但還沒真去干。舉例說明下意向共享鎖，比如一個事務(wù)t執(zhí)行了這樣一個語句：select * from table lock in share model ，如果這個語句執(zhí)行成功，就對表table上了一個意向共享鎖。lock in share model就是說事務(wù)t1在接下來要執(zhí)行的語句中要獲取S鎖。如果t1的select * from table lock in share model執(zhí)行成功，那么接下來t1應(yīng)該可以暢通無阻的去執(zhí)行只需要共享鎖的語句了。意向排它鎖的含義同理可知，上例中要獲取意向排它鎖，可以使用select * from table for update 。

鎖的互斥與兼容關(guān)系
鎖和鎖之間的關(guān)系，要么是相容的，要么是互斥的。
鎖a和鎖b相容是指：操作同樣一組數(shù)據(jù)時，如果事務(wù)t1獲取了鎖a,另一個事務(wù)t2還可以獲取鎖b；
鎖a和鎖b互斥是指：操作同樣一組數(shù)據(jù)時，如果事務(wù)t1獲取了鎖a，另一個事務(wù)t2在t1釋放鎖a之前無法獲取鎖b。

上面提到的共享鎖、排它鎖、意向共享鎖、意向排它鎖相互之前都是有兼容/互斥關(guān)系的，可以用一個兼容性矩陣表示(y表示兼容，n表示不兼容):
    X    S    IX    IS
X  n     n    n     n
S  n     y    n     y
IX n     n    y     y
IS n     y    y     y 

兼容性矩陣為什么是這個樣子的？
X和S的相互關(guān)系在上文中解釋過了，IX和IS的相互關(guān)系全部是兼容，這也很好理解，因為它們都只是“有意”，還處于YY階段，沒有真干，所以是可以兼容的；
剩下的就是X和IX，X和IS, S和IX， S和IS的關(guān)系了，我們可以由X和S的關(guān)系推導(dǎo)出這四組關(guān)系。
簡單的說：X和IX的=X和X的關(guān)系。為什么呢？因為事務(wù)在獲取IX鎖后，接下來就有權(quán)利獲取X鎖。如果X和IX兼容的話，就會出現(xiàn)兩個事務(wù)都獲取了X鎖的情況，這與我們已知的X與X互斥是矛盾的，所以X與IX只能是互斥關(guān)系。其余的三組關(guān)系同理，可用同樣的方式推導(dǎo)出來。

一致性非阻塞讀

select... lock in share mode和select ... for update的區(qū)別

索引記錄鎖
后碼鎖

各種語句對應(yīng)的鎖類型
在有索引的情況下是以后碼鎖為基礎(chǔ)的行級鎖，在固定索引鍵查找的情況下是索引記錄鎖，在沒有可用索引的情況下上升到表鎖
有索引的情況：
select ... from 一致性非阻塞讀，不上鎖。在serializable隔離級別下例外，在這個隔離級別下上共享后碼鎖
select ... from ... lock in share mode  共享后碼鎖
select ... from ... for update 排它后碼鎖
update .... where  排它后碼鎖
delete from .... where 排它后碼鎖
insert ... 排它索引記錄鎖，如果發(fā)生鍵值唯一性沖突則轉(zhuǎn)成共享鎖
insert ... on duplicate key update ，一直都是排它鎖
replace ... 一直都是排它鎖


死鎖情境分析

MVCC的理論與實現(xiàn)

1. 優(yōu)化更需要優(yōu)化的SQL
高并發(fā)低消耗 > 低并發(fā)高消耗

2. 定位性能瓶頸
profiling

3. 明確的優(yōu)化目標(biāo)

4. 從explain入手
y
5. 小結(jié)果集驅(qū)動大結(jié)果集？？
Join操作

6. 在索引中完成排序

7. 只取出自己需要的columns
MySQL有兩種排序算法，盡可能使用只訪問一次數(shù)據(jù)的算法。

8. 僅僅使用最有效的過濾條件
索引鍵長度？

9. 避免復(fù)雜的join和子查詢

充分利用EXPLAIN和profiling
profiling的使用：
1.set profiling = 1;
2.執(zhí)行SQL;
3.show profile;
4.show profile [cpu, block io] for query [id];

mysqlslap 測試sql性能

合理設(shè)計并使用索引
Mysql支持的索引類型：
1. B-tree索引 除了Archive的存儲引擎都支持
2. Hash索引  memory和NDB支持
3. Full-text索引 MyISAM，分詞后建立B-tree索引
4. R-tree索引 MyISAM ，GIS系統(tǒng)使用

索引的利弊
利：提高數(shù)據(jù)檢索效率和排序、分組效率
弊：加大更新操作的資源消耗，增加存儲空間的消耗

如何判斷是否需要使用索引
1. 使用較頻繁的字段應(yīng)該創(chuàng)建索引
2. 唯一性太差的字段不建索引 經(jīng)驗值：15%
3. 更新非常頻繁的字段不建索引
4. where子句中不出現(xiàn)的字段不建索引

單鍵索引還是組合索引？
多方考慮，平衡優(yōu)劣

技術(shù)人員如何證明一個需求是否合理？
1. 每次PD提出新需求的時候，要求給出該項目預(yù)期收益的量化指標(biāo)。
2. 在項目進行中，詳細(xì)記錄所有資源投入，包括人力、硬件等。
3. 項目上線后收集數(shù)據(jù)統(tǒng)計實際收益值。
4. 相關(guān)部門盡可能設(shè)計出項目投入/產(chǎn)出比率的計算規(guī)則，將投入/產(chǎn)出比公布給參與項目的所有人員。
5. 比較實際的投入/產(chǎn)出比與預(yù)期值，以判定項目做的是否值得。

MySQL執(zhí)行計劃 

調(diào)用方式：
explain select ...

explain extended select ...
show warnings 得到MySQL優(yōu)化器優(yōu)化后的查詢語句

執(zhí)行計劃包含的信息：


說明：
id： select子句的優(yōu)先級，id越大，優(yōu)先級越高。
select_type: 查詢類型
table: 查詢的表名
type:  MySQL找到所需行使用的方式，包括如下類型：


ALL: 掃描全表
index: 掃描全部索引樹
range: 掃描部分索引
ref: 非唯一性索引掃描
eq_ref：唯一性索引掃描
const, system: 當(dāng)MySQL對查詢某部分進行優(yōu)化，并轉(zhuǎn)換為一個常量時，使用這些類型訪問
NULL: MySQL在優(yōu)化過程中分解語句，執(zhí)行時甚至不用訪問表或索引

rows: 找到所需記錄需要讀取的行數(shù)
Extra: 額外信息

執(zhí)行計劃可用來分析select語句的性能，排查性能瓶頸。

參考資料：
http://wenku.baidu.com/view/d4416c27aaea998fcc220ea7.html

/Files/neverend/mysqlexplain-MySQL執(zhí)行計劃解讀.ppt

頭疼的SVN代碼merge問題

如何merge代碼?
建議用命令搞merge，客戶端圖形界面不是很給力。
SVN 1.5以上版本，可以使用SVN的自動合并：
將主干合并到分支：
進入分支目錄，執(zhí)行命令： svn merge http://server/dir/trunk

將分支合并到主干：
進入主干目錄，執(zhí)行命令： svn merge http://server/dir/branch  --reintegrate
注： 如果之前進行過主干合并到分支的操作，請加參數(shù)--reintegrate，否則可能會有很多代碼沖突出現(xiàn)。

如果是SVN1.5以下版本，只能使用手工合并：
代碼沖突如何解決？

conficted

tree conficted

討論MySQL死鎖問題

死鎖分析

總結(jié)緩存技術(shù)