隨筆-179  評論-666  文章-29  trackbacks-0
           MySQL + PHP的模式在大并發壓力下經常會導致MySQL中存在大量僵死進程,導致服務掛死。為了自動干掉這些進程,弄了個腳本,放在服務器后臺通過crontab自動執行。發現這樣做了以后,的確很好的緩解了這個問題。把這個腳本發出來和大家Share。

          根據自己的實際需要,做了一些修改:

          SHELL腳本:mysqld_kill_sleep.sh
          #!/bin/sh
          mysql_pwd="root的密碼"
          mysqladmin_exec
          ="/usr/local/bin/mysqladmin"
          mysql_exec
          ="/usr/local/bin/mysql"
          "/tmp"
          mysql_timeout_log
          ="$mysql_timeout_dir/mysql_timeout.log"
          mysql_kill_timeout_sh
          ="$mysql_timeout_dir/mysql_kill_timeout.sh"
          "$mysql_timeout_dir/mysql_kill_timeout.log"
          $mysqladmin_exec -uroot -p"$mysql_pwd" processlist | awk '{ print $12 , $2 ,$4}' | grep -Time | grep -'|' | sort -rn > $mysql_timeout_log
          awk 
          '{if($1>30 && $3!="root") print "'""$mysql_exec""' -e " "/"" "kill",$2 "/"" " -uroot " "-p""/"""'""$mysql_pwd""'""/"" ";" }' $mysql_timeout_log > $mysql_kill_timeout_sh
          echo 
          "check start ." >> $mysql_kill_timeout_log
          echo `date` 
          >> $mysql_kill_timeout_log
          cat 
          $mysql_kill_timeout_sh


            把這個寫到mysqld_kill_sleep.sh。然后chmod 0 mysqld_kill_sleep.sh,chmod u+rx mysqld_kill_sleep.sh,然后用root賬戶到cron里面運行即可,時間自己調整。執行之后顯示:
          www# ./mysqld_kill_sleep.sh
          /usr/local/bin/mysql -e "kill 27549" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27750" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27840" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27867" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27899" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27901" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27758" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27875" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27697" -uroot -p"mysql root的密碼";
          "kill 27888" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27861" -uroot -p"mysql root的密碼";

            如果確認沒有問題了,把最后的cat修改為sh即可。本人改寫了下上面的腳本:
          #!/bin/bash
          mysql_pwd="密碼"
          mysql_exec="/usr/local/mysql/bin/mysql"
          mysql_timeout_dir="/tmp"
          mysql_kill_timeout_sh="$mysql_timeout_dir/mysql_kill_timeout.sh"
          "$mysql_timeout_dir/mysql_kill_timeout.log"
          $mysql_exec -uroot -p$mysql_pwd -e "show processlist" | grep -i "Locked" >> $mysql_kill_timeout_log

          for line in `$mysql_kill_timeout_log  | awk '{print $1}'`
          do
          echo "$mysql_exec -uroot -p$mysql_pwd -e /"kill $line/"" >> $mysql_kill_timeout_sh
          done

          cat $mysql_kill_timeout_sh

            很多時候!一不小心就鎖表!這里講解決鎖表終極方法!

          案例一
          mysql>showprocesslist;

            參看sql語句,一般少的話
          mysql>killthread_id;

            就可以解決了,kill掉第一個鎖表的進程, 依然沒有改善.既然不改善,咱們就想辦法將所有鎖表的進程kill掉吧,簡單的腳本如下:
          #!/bin/bash
          mysql-uroot-e"show processlist"|grep-i"Locked">>locked_log.txt

          forlinein`cat locked_log.txt | awk '{print$1}'`
          do
          echo"kill$line;">>kill_thread_id.sql
          done

          現在kill_thread_id.sql的內容像這個樣子
          kill66402982;
          kill66402983;
          kill66402986;
          kill66402991;
          .....

          好了,我們在mysql的shell中執行,就可以把所有鎖表的進程殺死了。
          mysql>sourcekill_thread_id.sql

          當然了,也可以一行搞定。
          foridin`mysqladmin processlist | grep -i locked | awk '{print$1}'`
          do
          mysqladminkill${id}
          done

          案例二

            如果大批量的操作能夠通過一系列的select語句產生,那么理論上就能對這些結果批量處理。但是mysql并沒用提供eval這樣的對結果集進行分析操作的功能。所以只能現將select結果保存到臨時文件中,然后再執行臨時文件中的指令。具體過程如下:
          mysql> SELECT concat('KILL ',id,';') FROM information_schema.processlist WHERE user='root';
          +------------------------+
          | concat('KILL ',id,';')
          +------------------------+
          | KILL 3101;            
          | KILL 2946;            
          +------------------------+
          2 rows IN SET (0.00 sec)

          mysql> SELECT concat('KILL ',id,';') FROM information_schema.processlist WHERE user='root' INTO OUTFILE '/tmp/a.txt';
          Query OK, 2 rows affected (0.00 sec)

          mysql> source /tmp/a.txt;
          Query OK, 0 rows affected (0.00 sec)

          案例三

            MySQL + PHP的模式在大并發壓力下經常會導致MySQL中存在大量僵死進程,導致服務掛死。為了自動干掉這些進程,弄了個腳本,放在服務器后臺通過crontab自動執行。發現這樣做了以后,的確很好的緩解了這個問題。把這個腳本發出來和大家Share。根據自己的實際需要,做了一些修改:

          SHELL腳本:mysqld_kill_sleep.sh
          #!/bin/sh
          mysql_pwd="root的密碼"
          mysqladmin_exec="/usr/local/bin/mysqladmin"
          mysql_exec="/usr/local/bin/mysql"
          mysql_timeout_dir="/tmp"
          mysql_timeout_log="$mysql_timeout_dir/mysql_timeout.log"
          mysql_kill_timeout_sh="$mysql_timeout_dir/mysql_kill_timeout.sh"
          mysql_kill_timeout_log="$mysql_timeout_dir/mysql_kill_timeout.log"
          $mysqladmin_exec -uroot -p"$mysql_pwd" processlist | awk '{ print $12 , $2 ,$4}' | grep -v Time | grep -v '|' | sort -rn > $mysql_timeout_log
          awk '{if($1>30 && $3!="root") print "'""$mysql_exec""' -e " "\"" "kill",$2 "\"" " -uroot " "-p""\"""'""$mysql_pwd""'""\"" ";" }' $mysql_timeout_log > $mysql_kill_timeout_sh
          echo "check start ...." >> $mysql_kill_timeout_log
          echo `date` >> $mysql_kill_timeout_log
          cat $mysql_kill_timeout_sh

            把這個寫到mysqld_kill_sleep.sh。然后chmod 0 mysqld_kill_sleep.sh,chmod u+rx mysqld_kill_sleep.sh,然后用root賬戶到cron里面運行即可,時間自己調整。執行之后顯示:
          www# ./mysqld_kill_sleep.sh
          /usr/local/bin/mysql -e "kill 27549" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27750" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27840" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27867" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27899" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27901" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27758" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27875" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27697" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27888" -uroot -p"mysql root的密碼";
          /usr/local/bin/mysql -e "kill 27861" -uroot -p"mysql root的密碼";

            如果確認沒有問題了,把最后的cat修改為sh即可。本人改寫了下上面的腳本:
          #!/bin/bash
          mysql_pwd="密碼"
          mysql_exec="/usr/local/mysql/bin/mysql"
          mysql_timeout_dir="/tmp"
          mysql_kill_timeout_sh="$mysql_timeout_dir/mysql_kill_timeout.sh"
          mysql_kill_timeout_log="$mysql_timeout_dir/mysql_kill_timeout.log"
          $mysql_exec -uroot -p$mysql_pwd -e "show processlist" | grep -i "Locked" >> $mysql_kill_timeout_log
          chmod 777 $mysql_kill_timeout_log
          for line in `$mysql_kill_timeout_log  | awk '{print $1}'`
          do
          echo "$mysql_exec -uroot -p$mysql_pwd -e \"kill $line\"" >> $mysql_kill_timeout_sh
          done
          chmod 777 $mysql_kill_timeout_sh
          cat $mysql_kill_timeout_sh

            是不是很方便呢!processlist命令的輸出結果顯示了有哪些線程在運行,可以幫助識別出有問題的查詢語句,兩種方式使用這個命令。
          1、進入mysql/bin目錄下輸入mysqladmin processlist;
          2、啟動mysql,輸入show processlist;

            如果有SUPER權限,則可以看到全部的線程,否則,只能看到自己發起的線程(這是指,當前對應的MySQL帳戶運行的線程)。得到數據形式如下(只截取了三條):
          mysql> show processlist;

          +-----+-------------+--------------------+-------+---------+-------+----------------------------------+----------

          | Id | User | Host | db | Command | Time| State | Info

          +-----+-------------+--------------------+-------+---------+-------+----------------------------------+----------

          |207|root |192.168.0.20:51718 |mytest | Sleep | 5 | | NULL

          |208|root |192.168.0.20:51719 |mytest | Sleep | 5 | | NULL

          |220|root |192.168.0.20:51731 |mytest |Query | 84 | Locked |

          select bookname,culture,value,type from book where id=001

            先簡單說一下各列的含義和用途,第一列,id,不用說了吧,一個標識,你要kill一個語句的時候很有用。user列,顯示單前用戶,如果不是root,這個命令就只顯示你權限范圍內的sql語句。host列,顯示這個語句是從哪個ip的哪個端口上發出的。呵呵,可以用來追蹤出問題語句的用戶。db列,顯示這個進程目前連接的是哪個數據庫。command列,顯示當前連接的執行的命令,一般就是休眠(sleep),查詢(query),連接(connect)。time列,此這個狀態持續的時間,單位是秒。state列,顯示使用當前連接的sql語句的狀態,很重要的列,后續會有所有的狀態的描述,請注意,state只是語句執行中的某一個狀態,一個sql語句,已查詢為例,可能需要經過copying to tmp table,Sorting result,Sending data等狀態才可以完成,info列,顯示這個sql語句,因為長度有限,所以長的sql語句就顯示不全,但是一個判斷問題語句的重要依據。

            這個命令中最關鍵的就是state列,mysql列出的狀態主要有以下幾種:
          Checking table

            正在檢查數據表(這是自動的)。
          Closing tables

            正在將表中修改的數據刷新到磁盤中,同時正在關閉已經用完的表。這是一個很快的操作,如果不是這樣的話,就應該確認磁盤空間是否已經滿了或者磁盤是否正處于重負中。
          Connect Out

            復制從服務器正在連接主服務器。
          Copying to tmp table on disk

            由于臨時結果集大于tmp_table_size,正在將臨時表從內存存儲轉為磁盤存儲以此節省內存。
          Creating tmp table

            正在創建臨時表以存放部分查詢結果。
          deleting from main table

            服務器正在執行多表刪除中的第一部分,剛刪除第一個表。
          deleting from reference tables

            服務器正在執行多表刪除中的第二部分,正在刪除其他表的記錄。
          Flushing tables

            正在執行FLUSH TABLES,等待其他線程關閉數據表。
          Killed

            發送了一個kill請求給某線程,那么這個線程將會檢查kill標志位,同時會放棄下一個kill請求。MySQL會在每次的主循環中檢查kill標志位,不過有些情況下該線程可能會過一小段才能死掉。如果該線程程被其他線程鎖住了,那么kill請求會在鎖釋放時馬上生效。
          Locked

            被其他查詢鎖住了。
          Sending data

            正在處理Select查詢的記錄,同時正在把結果發送給客戶端。
          Sorting for group

            正在為GROUP BY做排序。
          Sorting for order

            正在為ORDER BY做排序。
          Opening tables

            這個過程應該會很快,除非受到其他因素的干擾。例如,在執Alter TABLE或LOCK TABLE語句行完以前,數據表無法被其他線程打開。正嘗試打開一個表。
          Removing duplicates

            正在執行一個Select DISTINCT方式的查詢,但是MySQL無法在前一個階段優化掉那些重復的記錄。因此,MySQL需要再次去掉重復的記錄,然后再把結果發送給客戶端。
          Reopen table

            獲得了對一個表的鎖,但是必須在表結構修改之后才能獲得這個鎖。已經釋放鎖,關閉數據表,正嘗試重新打開數據表。
          Repair by sorting

            修復指令正在排序以創建索引。
          Repair with keycache

            修復指令正在利用索引緩存一個一個地創建新索引。它會比Repair by sorting慢些。
          Searching rows for update

            正在講符合條件的記錄找出來以備更新。它必須在Update要修改相關的記錄之前就完成了。
          Sleeping

            正在等待客戶端發送新請求.
          System lock

            正在等待取得一個外部的系統鎖。如果當前沒有運行多個mysqld服務器同時請求同一個表,那么可以通過增加--skip-external-locking參數來禁止外部系統鎖。
          Upgrading lock

            Insert DELAYED正在嘗試取得一個鎖表以插入新記錄。
          Updating

            正在搜索匹配的記錄,并且修改它們。
          User Lock

            正在等待GET_LOCK()。
          Waiting for tables

            該線程得到通知,數據表結構已經被修改了,需要重新打開數據表以取得新的結構。然后,為了能的重新打開數據表,必須等到所有其他線程關閉這個表。以下幾種情況下會產生這個通知:
          FLUSH TABLES tbl_name, Alter TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE,或OPTIMIZE TABLE。

          waiting for handler insert

            Insert DELAYED已經處理完了所有待處理的插入操作,正在等待新的請求。大部分狀態對應很快的操作,只要有一個線程保持同一個狀態好幾秒鐘,那么可能是有問題發生了,需要檢查一下。

            還有其他的狀態沒在上面中列出來,不過它們大部分只是在查看服務器是否有存在錯誤是才用得著。
          posted on 2012-01-19 14:20 Alpha 閱讀(1961) 評論(0)  編輯  收藏 所屬分類: MySQL NoSQLLinux Nginx
          主站蜘蛛池模板: 清流县| 盐边县| 科技| 长垣县| 灌阳县| 安塞县| 大理市| 抚宁县| 延津县| 汶上县| 托克逊县| 博白县| 华宁县| 班玛县| 侯马市| 淮安市| 上栗县| 萍乡市| 长泰县| 丰县| 洪泽县| 双城市| 玉环县| 乌拉特中旗| 阳西县| 龙南县| 始兴县| 南通市| 抚松县| 离岛区| 兴山县| 榆林市| 东莞市| 龙胜| 桦南县| 韩城市| 嘉定区| 齐河县| 嘉鱼县| 延津县| 无棣县|