隨筆-179  評(píng)論-666  文章-29  trackbacks-0
           MySQL + PHP的模式在大并發(fā)壓力下經(jīng)常會(huì)導(dǎo)致MySQL中存在大量僵死進(jìn)程,導(dǎo)致服務(wù)掛死。為了自動(dòng)干掉這些進(jìn)程,弄了個(gè)腳本,放在服務(wù)器后臺(tái)通過crontab自動(dòng)執(zhí)行。發(fā)現(xiàn)這樣做了以后,的確很好的緩解了這個(gè)問題。把這個(gè)腳本發(fā)出來和大家Share。

          根據(jù)自己的實(shí)際需要,做了一些修改:

          SHELL腳本:mysqld_kill_sleep.sh
          #!/bin/sh
          mysql_pwd="root的密碼"
          mysqladmin_exec
          ="/usr/local/bin/mysqladmin"
          mysql_exec
          ="/usr/local/bin/mysql"
          "/tmp"
          mysql_timeout_log
          ="$mysql_timeout_dir/mysql_timeout.log"
          mysql_kill_timeout_sh
          ="$mysql_timeout_dir/mysql_kill_timeout.sh"
          "$mysql_timeout_dir/mysql_kill_timeout.log"
          $mysqladmin_exec -uroot -p"$mysql_pwd" processlist | awk '{ print $12 , $2 ,$4}' | grep -Time | grep -'|' | sort -rn > $mysql_timeout_log
          awk 
          '{if($1>30 && $3!="root") print "'""$mysql_exec""' -e " "/"" "kill",$2 "/"" " -uroot " "-p""/"""'""$mysql_pwd""'""/"" ";" }' $mysql_timeout_log > $mysql_kill_timeout_sh
          echo 
          "check start ." >> $mysql_kill_timeout_log
          echo `date` 
          >> $mysql_kill_timeout_log
          cat 
          $mysql_kill_timeout_sh


            把這個(gè)寫到mysqld_kill_sleep.sh。然后chmod 0 mysqld_kill_sleep.sh,chmod u+rx mysqld_kill_sleep.sh,然后用root賬戶到cron里面運(yùn)行即可,時(shí)間自己調(diào)整。執(zhí)行之后顯示:
          www# ./mysqld_kill_sleep.sh
          /usr/local/bin/mysql -e "kill 27549" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27750" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27840" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27867" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27899" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27901" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27758" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27875" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27697" -uroot -p"mysql root的密碼";
          "kill 27888" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27861" -uroot -p"mysql root的密碼";

            如果確認(rèn)沒有問題了,把最后的cat修改為sh即可。本人改寫了下上面的腳本:
          #!/bin/bash
          mysql_pwd="密碼"
          mysql_exec="/usr/local/mysql/bin/mysql"
          mysql_timeout_dir="/tmp"
          mysql_kill_timeout_sh="$mysql_timeout_dir/mysql_kill_timeout.sh"
          "$mysql_timeout_dir/mysql_kill_timeout.log"
          $mysql_exec -uroot -p$mysql_pwd -e "show processlist" | grep -i "Locked" >> $mysql_kill_timeout_log

          for line in `$mysql_kill_timeout_log  | awk '{print $1}'`
          do
          echo "$mysql_exec -uroot -p$mysql_pwd -e /"kill $line/"" >> $mysql_kill_timeout_sh
          done

          cat $mysql_kill_timeout_sh

            很多時(shí)候!一不小心就鎖表!這里講解決鎖表終極方法!

          案例一
          mysql>showprocesslist;

            參看sql語句,一般少的話
          mysql>killthread_id;

            就可以解決了,kill掉第一個(gè)鎖表的進(jìn)程, 依然沒有改善.既然不改善,咱們就想辦法將所有鎖表的進(jìn)程kill掉吧,簡單的腳本如下:
          #!/bin/bash
          mysql-uroot-e"show processlist"|grep-i"Locked">>locked_log.txt

          forlinein`cat locked_log.txt | awk '{print$1}'`
          do
          echo"kill$line;">>kill_thread_id.sql
          done

          現(xiàn)在kill_thread_id.sql的內(nèi)容像這個(gè)樣子
          kill66402982;
          kill66402983;
          kill66402986;
          kill66402991;
          .....

          好了,我們?cè)趍ysql的shell中執(zhí)行,就可以把所有鎖表的進(jìn)程殺死了。
          mysql>sourcekill_thread_id.sql

          當(dāng)然了,也可以一行搞定。
          foridin`mysqladmin processlist | grep -i locked | awk '{print$1}'`
          do
          mysqladminkill${id}
          done

          案例二

            如果大批量的操作能夠通過一系列的select語句產(chǎn)生,那么理論上就能對(duì)這些結(jié)果批量處理。但是mysql并沒用提供eval這樣的對(duì)結(jié)果集進(jìn)行分析操作的功能。所以只能現(xiàn)將select結(jié)果保存到臨時(shí)文件中,然后再執(zhí)行臨時(shí)文件中的指令。具體過程如下:
          mysql> SELECT concat('KILL ',id,';') FROM information_schema.processlist WHERE user='root';
          +------------------------+
          | concat('KILL ',id,';')
          +------------------------+
          | KILL 3101;            
          | KILL 2946;            
          +------------------------+
          2 rows IN SET (0.00 sec)

          mysql> SELECT concat('KILL ',id,';') FROM information_schema.processlist WHERE user='root' INTO OUTFILE '/tmp/a.txt';
          Query OK, 2 rows affected (0.00 sec)

          mysql> source /tmp/a.txt;
          Query OK, 0 rows affected (0.00 sec)

          案例三

            MySQL + PHP的模式在大并發(fā)壓力下經(jīng)常會(huì)導(dǎo)致MySQL中存在大量僵死進(jìn)程,導(dǎo)致服務(wù)掛死。為了自動(dòng)干掉這些進(jìn)程,弄了個(gè)腳本,放在服務(wù)器后臺(tái)通過crontab自動(dòng)執(zhí)行。發(fā)現(xiàn)這樣做了以后,的確很好的緩解了這個(gè)問題。把這個(gè)腳本發(fā)出來和大家Share。根據(jù)自己的實(shí)際需要,做了一些修改:

          SHELL腳本:mysqld_kill_sleep.sh
          #!/bin/sh
          mysql_pwd="root的密碼"
          mysqladmin_exec="/usr/local/bin/mysqladmin"
          mysql_exec="/usr/local/bin/mysql"
          mysql_timeout_dir="/tmp"
          mysql_timeout_log="$mysql_timeout_dir/mysql_timeout.log"
          mysql_kill_timeout_sh="$mysql_timeout_dir/mysql_kill_timeout.sh"
          mysql_kill_timeout_log="$mysql_timeout_dir/mysql_kill_timeout.log"
          $mysqladmin_exec -uroot -p"$mysql_pwd" processlist | awk '{ print $12 , $2 ,$4}' | grep -v Time | grep -v '|' | sort -rn > $mysql_timeout_log
          awk '{if($1>30 && $3!="root") print "'""$mysql_exec""' -e " "\"" "kill",$2 "\"" " -uroot " "-p""\"""'""$mysql_pwd""'""\"" ";" }' $mysql_timeout_log > $mysql_kill_timeout_sh
          echo "check start ...." >> $mysql_kill_timeout_log
          echo `date` >> $mysql_kill_timeout_log
          cat $mysql_kill_timeout_sh

            把這個(gè)寫到mysqld_kill_sleep.sh。然后chmod 0 mysqld_kill_sleep.sh,chmod u+rx mysqld_kill_sleep.sh,然后用root賬戶到cron里面運(yùn)行即可,時(shí)間自己調(diào)整。執(zhí)行之后顯示:
          www# ./mysqld_kill_sleep.sh
          /usr/local/bin/mysql -e "kill 27549" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27750" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27840" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27867" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27899" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27901" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27758" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27875" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27697" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27888" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27861" -uroot -p"mysql root的密碼";

            如果確認(rèn)沒有問題了,把最后的cat修改為sh即可。本人改寫了下上面的腳本:
          #!/bin/bash
          mysql_pwd="密碼"
          mysql_exec="/usr/local/mysql/bin/mysql"
          mysql_timeout_dir="/tmp"
          mysql_kill_timeout_sh="$mysql_timeout_dir/mysql_kill_timeout.sh"
          mysql_kill_timeout_log="$mysql_timeout_dir/mysql_kill_timeout.log"
          $mysql_exec -uroot -p$mysql_pwd -e "show processlist" | grep -i "Locked" >> $mysql_kill_timeout_log
          chmod 777 $mysql_kill_timeout_log
          for line in `$mysql_kill_timeout_log  | awk '{print $1}'`
          do
          echo "$mysql_exec -uroot -p$mysql_pwd -e \"kill $line\"" >> $mysql_kill_timeout_sh
          done
          chmod 777 $mysql_kill_timeout_sh
          cat $mysql_kill_timeout_sh

            是不是很方便呢!processlist命令的輸出結(jié)果顯示了有哪些線程在運(yùn)行,可以幫助識(shí)別出有問題的查詢語句,兩種方式使用這個(gè)命令。
          1、進(jìn)入mysql/bin目錄下輸入mysqladmin processlist;
          2、啟動(dòng)mysql,輸入show processlist;

            如果有SUPER權(quán)限,則可以看到全部的線程,否則,只能看到自己發(fā)起的線程(這是指,當(dāng)前對(duì)應(yīng)的MySQL帳戶運(yùn)行的線程)。得到數(shù)據(jù)形式如下(只截取了三條):
          mysql> show processlist;

          +-----+-------------+--------------------+-------+---------+-------+----------------------------------+----------

          | Id | User | Host | db | Command | Time| State | Info

          +-----+-------------+--------------------+-------+---------+-------+----------------------------------+----------

          |207|root |192.168.0.20:51718 |mytest | Sleep | 5 | | NULL

          |208|root |192.168.0.20:51719 |mytest | Sleep | 5 | | NULL

          |220|root |192.168.0.20:51731 |mytest |Query | 84 | Locked |

          select bookname,culture,value,type from book where id=001

            先簡單說一下各列的含義和用途,第一列,id,不用說了吧,一個(gè)標(biāo)識(shí),你要kill一個(gè)語句的時(shí)候很有用。user列,顯示單前用戶,如果不是root,這個(gè)命令就只顯示你權(quán)限范圍內(nèi)的sql語句。host列,顯示這個(gè)語句是從哪個(gè)ip的哪個(gè)端口上發(fā)出的。呵呵,可以用來追蹤出問題語句的用戶。db列,顯示這個(gè)進(jìn)程目前連接的是哪個(gè)數(shù)據(jù)庫。command列,顯示當(dāng)前連接的執(zhí)行的命令,一般就是休眠(sleep),查詢(query),連接(connect)。time列,此這個(gè)狀態(tài)持續(xù)的時(shí)間,單位是秒。state列,顯示使用當(dāng)前連接的sql語句的狀態(tài),很重要的列,后續(xù)會(huì)有所有的狀態(tài)的描述,請(qǐng)注意,state只是語句執(zhí)行中的某一個(gè)狀態(tài),一個(gè)sql語句,已查詢?yōu)槔赡苄枰?jīng)過copying to tmp table,Sorting result,Sending data等狀態(tài)才可以完成,info列,顯示這個(gè)sql語句,因?yàn)殚L度有限,所以長的sql語句就顯示不全,但是一個(gè)判斷問題語句的重要依據(jù)。

            這個(gè)命令中最關(guān)鍵的就是state列,mysql列出的狀態(tài)主要有以下幾種:
          Checking table

            正在檢查數(shù)據(jù)表(這是自動(dòng)的)。
          Closing tables

            正在將表中修改的數(shù)據(jù)刷新到磁盤中,同時(shí)正在關(guān)閉已經(jīng)用完的表。這是一個(gè)很快的操作,如果不是這樣的話,就應(yīng)該確認(rèn)磁盤空間是否已經(jīng)滿了或者磁盤是否正處于重負(fù)中。
          Connect Out

            復(fù)制從服務(wù)器正在連接主服務(wù)器。
          Copying to tmp table on disk

            由于臨時(shí)結(jié)果集大于tmp_table_size,正在將臨時(shí)表從內(nèi)存存儲(chǔ)轉(zhuǎn)為磁盤存儲(chǔ)以此節(jié)省內(nèi)存。
          Creating tmp table

            正在創(chuàng)建臨時(shí)表以存放部分查詢結(jié)果。
          deleting from main table

            服務(wù)器正在執(zhí)行多表刪除中的第一部分,剛刪除第一個(gè)表。
          deleting from reference tables

            服務(wù)器正在執(zhí)行多表刪除中的第二部分,正在刪除其他表的記錄。
          Flushing tables

            正在執(zhí)行FLUSH TABLES,等待其他線程關(guān)閉數(shù)據(jù)表。
          Killed

            發(fā)送了一個(gè)kill請(qǐng)求給某線程,那么這個(gè)線程將會(huì)檢查kill標(biāo)志位,同時(shí)會(huì)放棄下一個(gè)kill請(qǐng)求。MySQL會(huì)在每次的主循環(huán)中檢查kill標(biāo)志位,不過有些情況下該線程可能會(huì)過一小段才能死掉。如果該線程程被其他線程鎖住了,那么kill請(qǐng)求會(huì)在鎖釋放時(shí)馬上生效。
          Locked

            被其他查詢鎖住了。
          Sending data

            正在處理Select查詢的記錄,同時(shí)正在把結(jié)果發(fā)送給客戶端。
          Sorting for group

            正在為GROUP BY做排序。
          Sorting for order

            正在為ORDER BY做排序。
          Opening tables

            這個(gè)過程應(yīng)該會(huì)很快,除非受到其他因素的干擾。例如,在執(zhí)Alter TABLE或LOCK TABLE語句行完以前,數(shù)據(jù)表無法被其他線程打開。正嘗試打開一個(gè)表。
          Removing duplicates

            正在執(zhí)行一個(gè)Select DISTINCT方式的查詢,但是MySQL無法在前一個(gè)階段優(yōu)化掉那些重復(fù)的記錄。因此,MySQL需要再次去掉重復(fù)的記錄,然后再把結(jié)果發(fā)送給客戶端。
          Reopen table

            獲得了對(duì)一個(gè)表的鎖,但是必須在表結(jié)構(gòu)修改之后才能獲得這個(gè)鎖。已經(jīng)釋放鎖,關(guān)閉數(shù)據(jù)表,正嘗試重新打開數(shù)據(jù)表。
          Repair by sorting

            修復(fù)指令正在排序以創(chuàng)建索引。
          Repair with keycache

            修復(fù)指令正在利用索引緩存一個(gè)一個(gè)地創(chuàng)建新索引。它會(huì)比Repair by sorting慢些。
          Searching rows for update

            正在講符合條件的記錄找出來以備更新。它必須在Update要修改相關(guān)的記錄之前就完成了。
          Sleeping

            正在等待客戶端發(fā)送新請(qǐng)求.
          System lock

            正在等待取得一個(gè)外部的系統(tǒng)鎖。如果當(dāng)前沒有運(yùn)行多個(gè)mysqld服務(wù)器同時(shí)請(qǐng)求同一個(gè)表,那么可以通過增加--skip-external-locking參數(shù)來禁止外部系統(tǒng)鎖。
          Upgrading lock

            Insert DELAYED正在嘗試取得一個(gè)鎖表以插入新記錄。
          Updating

            正在搜索匹配的記錄,并且修改它們。
          User Lock

            正在等待GET_LOCK()。
          Waiting for tables

            該線程得到通知,數(shù)據(jù)表結(jié)構(gòu)已經(jīng)被修改了,需要重新打開數(shù)據(jù)表以取得新的結(jié)構(gòu)。然后,為了能的重新打開數(shù)據(jù)表,必須等到所有其他線程關(guān)閉這個(gè)表。以下幾種情況下會(huì)產(chǎn)生這個(gè)通知:
          FLUSH TABLES tbl_name, Alter TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE,或OPTIMIZE TABLE。

          waiting for handler insert

            Insert DELAYED已經(jīng)處理完了所有待處理的插入操作,正在等待新的請(qǐng)求。大部分狀態(tài)對(duì)應(yīng)很快的操作,只要有一個(gè)線程保持同一個(gè)狀態(tài)好幾秒鐘,那么可能是有問題發(fā)生了,需要檢查一下。

            還有其他的狀態(tài)沒在上面中列出來,不過它們大部分只是在查看服務(wù)器是否有存在錯(cuò)誤是才用得著。
          posted on 2012-01-19 14:20 Alpha 閱讀(1948) 評(píng)論(0)  編輯  收藏 所屬分類: MySQL NoSQLLinux Nginx
          主站蜘蛛池模板: 衡南县| 霍林郭勒市| 通河县| 无极县| 冕宁县| 海伦市| 前郭尔| 随州市| 调兵山市| 社旗县| 乐亭县| 泰州市| 平原县| 思茅市| 马边| 福海县| 临汾市| 嘉义县| 区。| 陇西县| 长顺县| 莱芜市| 招远市| 蒙阴县| 平泉县| 连山| 龙岩市| 肥乡县| 正安县| 运城市| 彭阳县| 建宁县| 宜良县| 搜索| 九江县| 绿春县| 日土县| 和静县| 广河县| 苏尼特左旗| 凤山县|