隨筆檔案(496)

> 原理

其實斷點續(xù)傳的原理很簡單，就是在 Http 的請求上和一般的下載有所不同而已。
打個比方，瀏覽器請求服務(wù)器上的一個文時，所發(fā)出的請求如下：
假設(shè)服務(wù)器域名為 wwww.sjtu.edu.cn，文件名為 down.zip。
GET /down.zip HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-
excel, application/msword, application/vnd.ms-powerpoint, */*
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)
Connection: Keep-Alive

服務(wù)器收到請求后，按要求尋找請求的文件，提取文件的信息，然后返回給瀏覽器，返回信息如下：

200
Content-Length=106786028
Accept-Ranges=bytes
Date=Mon, 30 Apr 2001 12:56:11 GMT
ETag=W/"02ca57e173c11:95b"
Content-Type=application/octet-stream
Server=Microsoft-IIS/5.0
Last-Modified=Mon, 30 Apr 2001 12:56:11 GMT

所謂斷點續(xù)傳，也就是要從文件已經(jīng)下載的地方開始繼續(xù)下載。所以在客戶端瀏覽器傳給 Web 服務(wù)器的時候要多加一條信息 -- 從哪里開始。
下面是用自己編的一個"瀏覽器"來傳遞請求信息給 Web 服務(wù)器，要求從 2000070 字節(jié)開始。
GET /down.zip HTTP/1.0
User-Agent: NetFox
RANGE: bytes=2000070-
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2

仔細看一下就會發(fā)現(xiàn)多了一行 RANGE: bytes=2000070-
這一行的意思就是告訴服務(wù)器 down.zip 這個文件從 2000070 字節(jié)開始傳，前面的字節(jié)不用傳了。
服務(wù)器收到這個請求以后，返回的信息如下：
206
Content-Length=106786028
Content-Range=bytes 2000070-106786027/106786028
Date=Mon, 30 Apr 2001 12:55:20 GMT
ETag=W/"02ca57e173c11:95b"
Content-Type=application/octet-stream
Server=Microsoft-IIS/5.0
Last-Modified=Mon, 30 Apr 2001 12:55:20 GMT

和前面服務(wù)器返回的信息比較一下，就會發(fā)現(xiàn)增加了一行：
Content-Range=bytes 2000070-106786027/106786028

返回的代碼也改為 206 了，而不再是 200 了。

> 關(guān)鍵點

(1) 用什么方法實現(xiàn)提交 RANGE: bytes=2000070-。
當(dāng)然用最原始的 Socket 是肯定能完成的，不過那樣太費事了，其實 Java 的 net 包中提供了這種功能。代碼如下：

URL url = new URL("http://www.sjtu.edu.cn/down.zip");
HttpURLConnection httpConnection = (HttpURLConnection)url.openConnection();

// 設(shè)置 User-Agent
httpConnection.setRequestProperty("User-Agent","NetFox");
// 設(shè)置斷點續(xù)傳的開始位置
httpConnection.setRequestProperty("RANGE","bytes=2000070");
// 獲得輸入流
InputStream input = httpConnection.getInputStream();

從輸入流中取出的字節(jié)流就是 down.zip 文件從 2000070 開始的字節(jié)流。大家看，其實斷點續(xù)傳用 Java 實現(xiàn)起來還是很簡單的吧。接下來要做的事就是怎么保存獲得的流到文件中去了。

(2)保存文件采用的方法。
我采用的是 IO 包中的 RandAccessFile 類。
操作相當(dāng)簡單，假設(shè)從 2000070 處開始保存文件，代碼如下：
RandomAccess oSavedFile = new RandomAccessFile("down.zip","rw");
long nPos = 2000070;
// 定位文件指針到 nPos 位置
oSavedFile.seek(nPos);
byte[] b = new byte[1024];
int nRead;
// 從輸入流中讀入字節(jié)流，然后寫到文件中
while((nRead=input.read(b,0,1024)) > 0) {
???? oSavedFile.write(b,0,nRead);

}

?

> 問題：給40億個不重復(fù)的unsigned int的整數(shù)，沒排過序的，然后再給幾個數(shù)，如何快速判斷這幾個數(shù)是否在那40億個數(shù)當(dāng)中?

> 解決：unsigned int 的取值范圍是0到2^32-1。我們可以申請連續(xù)的2^32/8=512M的內(nèi)存，用每一個bit對應(yīng)一個unsigned int數(shù)字。首先將512M內(nèi)存都初始化為0，然后每處理一個數(shù)字就將其對應(yīng)的bit設(shè)置為1。當(dāng)需要查詢時，直接找到對應(yīng)bit，看其值是0還是1即可。

lazy的屬性有false、true、extra

false和true用得比較多，extra屬性是不大容易重視的,其實它和true差不多

extra有個小的智能的地方是,即調(diào)用集合的size/contains等方法的時候，hibernate并不會去加載整個集合的數(shù)據(jù)，而是發(fā)出一條聰明的SQL語句，以便獲得需要的值，只有在真正需要用到這些集合元素對象數(shù)據(jù)的時候，才去發(fā)出查詢語句加載所有對象的數(shù)據(jù)

本文將介紹在Linux(Red Hat 9)環(huán)境下搭建Hadoop集群，此Hadoop集群主要由三臺機器組成，主機名分別為：
linux????? 192.168.35.101
linux02? 192.168.35.102
linux03? 192.168.35.103

從map reduce計算的角度講，linux作為master節(jié)點，linux02和linux03作為slave節(jié)點。
從hdfs數(shù)據(jù)存儲角度講，linux作為namenode節(jié)點，linux02和linux03作為datanode節(jié)點。

一臺namenode機，主機名為linux，hosts文件內(nèi)容如下：
127.0.0.1?? ??? linux????????? localhost.localdomain????????? localhost
192.168.35.101???? linux????????? linux.localdomain????????????? linux
192.168.35.102???? linux02
192.168.35.103???? linux03

兩臺datanode機，主機名為linux02和linux03
>linux02的hosts文件
127.0.0.1 ??? ??? linux02?????? localhost.localdomain?????? localhost
192.168.35.102???? linux02?????? linux02.localdomain???????? linux02
192.168.35.101???? linux
192.168.35.103???? linux03
>inux03的hosts文件
127.0.0.1?? ????? ??? ?linux03????????? localhost.localdomain????????? localhost
192.168.35.103????????? linux03??????????? linux03.localdomain??????????? linux03
192.168.35.101? ??? ?linux
192.168.35.102? ??? ?linux02

1.安裝JDK
> 從java.cun.com下載jdk-6u7-linux-i586.bin

> ftp上傳jdk到linux的root目錄下

> 進入root目錄，先后執(zhí)行命令
chmod 755 jdk-6u18-linux-i586-rpm.bin
./jdk-6u18-linux-i586-rpm.bin

一路按提示下去就會安裝成功

> 配置環(huán)境變量
cd進入/etc目錄，vi編輯profile文件，將下面的內(nèi)容追加到文件末尾
export JAVA_HOME=/usr/java/jdk1.6.0_18
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

注意：三臺機器都要安裝JDK~

2.設(shè)置Master/Slave機器之間可以通過SSH無密鑰互相訪問
最好三臺機器的使用相同的賬戶名，我是直接使用的root賬戶

操作namenode機linux:
以用戶root登錄linux，在/root目錄下執(zhí)行下述命令：
ssh-keygen -t rsa
一路回車下去即可在目錄/root/.ssh/下建立兩個文件id_rsa.pub和id_rsa。

接下來，需要進入/root/.ssh目錄，執(zhí)行如下命令：
cd .ssh

再把is_rsa.pub文件復(fù)制到linux02和linux03機器上去。
scp -r id_rsa.pub root@192.168.35.102:/root/.ssh/authorized_keys_01
scp -r id_rsa.pub root@192.168.35.103:/root/.ssh/authorized_keys_01

操作datanode機linux02:
以用戶root登錄linux02，在目錄下執(zhí)行命令：
ssh-keygen -t rsa
一路回車下去即可在目錄/root/.ssh/下建立兩個文件 id_rsa.pub和id_rsa。

接下來，需要進入/root/.ssh目錄，執(zhí)行如下命令：
cd .ssh

再把is_rsa.pub文件復(fù)制到namenode機linux上去。
scp -r id_rsa.pub root@192.168.35.101:/root/.ssh/authorized_keys_02

操作datanode機linux03:
以用戶root登錄linux03，在目錄下執(zhí)行命令：
ssh-keygen -t rsa
一路回車下去即可在目錄/root/.ssh/下建立兩個文件 id_rsa.pub和id_rsa。

接下來，需要進入/root/.ssh目錄，執(zhí)行如下命令：
cd .ssh

再把is_rsa.pub文件復(fù)制到namenode機linux上去。
scp -r id_rsa.pub root@192.168.35.101:/root/.ssh/authorized_keys_03

*******************************************************************************

上述方式分別為linux\linux02\linux03機器生成了rsa密鑰，并且把linux的id_rsa.pub復(fù)制到linux02\linux03上去了，而把linux02和linux03上的id_rsa.pub復(fù)制到linux上去了。

接下來還要完成如下步驟：

linux機:
以root用戶登錄linux，并且進入目錄/root/.ssh下，執(zhí)行如下命令：
cat id_rsa.pub >> authorized_keys
cat authorized_keys_02 >> authorized_keys
cat authorized_keys_03 >> authorized_keys
chmod 644 authorized_keys

linux02機:
以root用戶登錄linux02，并且進入目錄/root/.ssh下，執(zhí)行如下命令：
cat id_rsa.pub >> authorized_keys
cat authorized_keys_01 >> authorized_keys
chmod 644 authorized_keys

linux03機:
以root用戶登錄linux03，并且進入目錄/root/.ssh下，執(zhí)行如下命令：
cat id_rsa.pub >> authorized_keys
cat authorized_keys_01 >> authorized_keys
chmod 644 authorized_keys

通過上述配置，現(xiàn)在以用戶root登錄linux機，既可以無密鑰認(rèn)證方式訪問linux02和linux03了，同樣也可以在linux02和linux03上以ssh linux方式連接到linux上進行訪問了。

3.安裝和配置Hadoop
> 在namenode機器即linux機上安裝hadoop
我下載的是hadoop-0.20.2.tar.gz，ftp上傳到linux機的/root目錄上，解壓到安裝目錄/usr/hadoop，最終hadoop的根目錄是/usr/hadoop/hadoop-0.20.2/

編輯/etc/profile文件，在文件尾部追加如下內(nèi)容：
export HADOOP_HOME=/usr/hadoop/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH

> 配置Hadoop
core-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
?? ?<property>
??????????????? <name>fs.default.name</name>
??????????????? <value>hdfs://192.168.35.101:9000</value>
??????? </property>
??????? <property>
??????????????? <name>hadoop.tmp.dir</name>
??????????????? <value>/tmp/hadoop/hadoop-${user.name}</value>
??????? </property>
</configuration>

hdfs-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
??????? <property>
??????????????? <name>dfs.name.dir</name>
??????????????? <value>/home/hadoop/name</value>
??????? </property>
??????? <property>
??????????????? <name>dfs.data.dir</name>
??????????????? <value>/home/hadoop/data</value>
??????? </property>
??????? <property>
??????????????? <name>dfs.replication</name>
??????????????? <value>2</value>
??????? </property>
</configuration>

mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
??????? <property>
??????????????? <name>mapred.job.tracker</name>
??????????????? <value>192.168.35.101:9001</value>
??????? </property>
</configuration>

masters
192.168.35.101

slaves
192.168.35.102
192.168.35.103

至此，hadoop的簡單配置已經(jīng)完成

> 將在namenode機器上配置好的hadoop部署到datanode機器上
這里使用scp命令進行遠程傳輸，先后執(zhí)行命令
scp -r /usr/hadoop/hadoop-0.20.2 root@192.168.35.102:/usr/hadoop/
scp -r /usr/hadoop/hadoop-0.20.2 root@192.168.35.103:/usr/hadoop/

4.測試
以root用戶登入namenode機linux，進入目錄/usr/hadoop/hadoop-0.20.2/
cd /usr/hadoop/hadoop-0.20.2

> 執(zhí)行格式化
[root@linux hadoop-0.20.2]# bin/hadoop namenode -format
11/07/26 21:16:03 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:?? host = linux/127.0.0.1
STARTUP_MSG:?? args = [-format]
STARTUP_MSG:?? version = 0.20.2
STARTUP_MSG:?? build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
Re-format filesystem in /home/hadoop/name ? (Y or N) Y
11/07/26 21:16:07 INFO namenode.FSNamesystem: fsOwner=root,root,bin,daemon,sys,adm,disk,wheel
11/07/26 21:16:07 INFO namenode.FSNamesystem: supergroup=supergroup
11/07/26 21:16:07 INFO namenode.FSNamesystem: isPermissionEnabled=true
11/07/26 21:16:07 INFO common.Storage: Image file of size 94 saved in 0 seconds.
11/07/26 21:16:07 INFO common.Storage: Storage directory /home/hadoop/name has been successfully formatted.
11/07/26 21:16:07 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at linux/127.0.0.1
************************************************************/

> 啟動hadoop
[root@linux hadoop-0.20.2]# bin/start-all.sh
starting namenode, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-namenode-linux.out
192.168.35.102: starting datanode, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-datanode-linux02.out
192.168.35.103: starting datanode, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-datanode-linux03.out
192.168.35.101: starting secondarynamenode, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-secondarynamenode-linux.out
starting jobtracker, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-jobtracker-linux.out
192.168.35.103: starting tasktracker, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-tasktracker-linux03.out
192.168.35.102: starting tasktracker, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-tasktracker-linux02.out
[root@linux hadoop-0.20.2]#

> 用jps命令查看進程
[root@linux hadoop-0.20.2]# jps
7118 SecondaryNameNode
7343 Jps
6955 NameNode
7204 JobTracker
[root@linux hadoop-0.20.2]#

引言

前提和設(shè)計目標(biāo)

Namenode 和 Datanode

文件系統(tǒng)的名字空間 (namespace)

數(shù)據(jù)復(fù)制

文件系統(tǒng)元數(shù)據(jù)的持久化

通訊協(xié)議

健壯性

數(shù)據(jù)組織

可訪問性

存儲空間回收

參考資料

function is_email($email) {
?? ??? ?$exp = "^[a-z'0-9]+([._-][a-z'0-9]+)*@([a-z0-9]+([._-][a-z0-9]+))+$";
?? ??? ?if(eregi($exp,$email)) {
?? ??? ??? ?return true;
?? ??? ?}
?? ??? ?return false;
?}

function remove_quote(&$str) {
?? ??? ?if (preg_match("/^\"/",$str)){
?? ??? ??? ?$str = substr($str, 1, strlen($str) - 1);
?? ??? ?}
?? ??? ?//判斷字符串是否以'"'結(jié)束
?? ??? ?if (preg_match("/\"$/",$str)){
?? ??? ??? ?$str = substr($str, 0, strlen($str) - 1);;
?? ??? ?}
?? ??? ?return $str;
? }

function is_chinese($s){
??????? $allen = preg_match("/^[^\x80-\xff]+$/", $s);?? //判斷是否是英文
??????? $allcn = preg_match("/^[".chr(0xa1)."-".chr(0xff)."]+$/",$s);? //判斷是否是中文
??????? if($allen){ ?
????????????? return 'allen'; ?
??????? }else{ ?
????????????? if($allcn){ ?
?????????????????? return 'allcn'; ?
????????????? }else{ ?
?????????????????? return 'encn'; ?
????????????? } ?
??????? }?
?? }

DML（data manipulation language）：
?????? 它們是SELECT、UPDATE、INSERT、DELETE，就象它的名字一樣，這4條命令是用來對數(shù)據(jù)庫里的數(shù)據(jù)進行操作的語言
DDL（data definition language）：
?????? DDL比DML要多，主要的命令有CREATE、ALTER、DROP等，DDL主要是用在定義或改變表（TABLE）的結(jié)構(gòu)，數(shù)據(jù)類型，表之間的鏈接和約束等初始化工作上，他們大多在建立表時使用
DCL（Data Control Language）：
?????? 是數(shù)據(jù)庫控制功能。是用來設(shè)置或更改數(shù)據(jù)庫用戶或角色權(quán)限的語句，包括（grant,deny,revoke等）語句。在默認(rèn)狀態(tài)下，只有sysadmin,dbcreator,db_owner或db_securityadmin等人員才有權(quán)力執(zhí)行DCL

詳細解釋：
一、DDL is Data Definition Language statements. Some examples:數(shù)據(jù)定義語言，用于定義和管理 SQL 數(shù)據(jù)庫中的所有對象的語言
????? 1.CREATE - to create objects in the database?? 創(chuàng)建
????? 2.ALTER - alters the structure of the database?? 修改
????? 3.DROP - delete objects from the database?? 刪除
????? 4.TRUNCATE - remove all records from a table, including all spaces allocated for the records are removed
????? TRUNCATE TABLE [Table Name]。
　　下面是對Truncate語句在MSSQLServer2000中用法和原理的說明：
　　Truncate table 表名 速度快,而且效率高,因為:
　　TRUNCATE TABLE 在功能上與不帶 WHERE 子句的 DELETE 語句相同：二者均刪除表中的全部行。但 TRUNCATE TABLE 比 DELETE 速度快，且使用的系統(tǒng)和事務(wù)日志資源少。
　　DELETE 語句每次刪除一行，并在事務(wù)日志中為所刪除的每行記錄一項。TRUNCATE TABLE 通過釋放存儲表數(shù)據(jù)所用的數(shù)據(jù)頁來刪除數(shù)據(jù)，并且只在事務(wù)日志中記錄頁的釋放。
　　TRUNCATE TABLE 刪除表中的所有行，但表結(jié)構(gòu)及其列、約束、索引等保持不變。新行標(biāo)識所用的計數(shù)值重置為該列的種子。如果想保留標(biāo)識計數(shù)值，請改用 DELETE。如果要刪除表定義及其數(shù)據(jù)，請使用 DROP TABLE 語句。
　　對于由 FOREIGN KEY 約束引用的表，不能使用 TRUNCATE TABLE，而應(yīng)使用不帶 WHERE 子句的 DELETE 語句。由于 TRUNCATE TABLE 不記錄在日志中，所以它不能激活觸發(fā)器。
　　TRUNCATE TABLE 不能用于參與了索引視圖的表。
?????? 5.COMMENT - add comments to the data dictionary 注釋
?????? 6.GRANT - gives user's access privileges to database 授權(quán)
?????? 7.REVOKE - withdraw access privileges given with the GRANT command?? 收回已經(jīng)授予的權(quán)限

二、DML is Data Manipulation Language statements. Some examples:數(shù)據(jù)操作語言，SQL中處理數(shù)據(jù)等操作統(tǒng)稱為數(shù)據(jù)操縱語言
?????? 1.SELECT - retrieve data from the a database?????????? 查詢
?????? 2.INSERT - insert data into a table??????????????????? 添加
?????? 3.UPDATE - updates existing data within a table??? 更新
?????? 4.DELETE - deletes all records from a table, the space for the records remain?? 刪除
?????? 5.CALL - call a PL/SQL or Java subprogram
?????? 6.EXPLAIN PLAN - explain access path to data
?????? Oracle RDBMS執(zhí)行每一條SQL語句，都必須經(jīng)過Oracle優(yōu)化器的評估。所以，了解優(yōu)化器是如何選擇(搜索)路徑以及索引是如何被使用的，對優(yōu)化SQL語句有很大的幫助。Explain可以用來迅速方便地查出對于給定SQL語句中的查詢數(shù)據(jù)是如何得到的即搜索路徑(我們通常稱為Access Path)。從而使我們選擇最優(yōu)的查詢方式達到最大的優(yōu)化效果。
?????? 7.LOCK TABLE - control concurrency 鎖，用于控制并發(fā)

三、DCL is Data Control Language statements. Some examples:數(shù)據(jù)控制語言，用來授予或回收訪問數(shù)據(jù)庫的某種特權(quán)，并控制數(shù)據(jù)庫操縱事務(wù)發(fā)生的時間及效果，對數(shù)據(jù)庫實行監(jiān)視等
?????? 1.COMMIT - save work done 提交
?????? 2.SAVEPOINT - identify a point in a transaction to which you can later roll back 保存點
?????? 3.ROLLBACK - restore database to original since the last COMMIT?? 回滾
?????? 4.SET TRANSACTION - Change transaction options like what rollback segment to use?? 設(shè)置當(dāng)前事務(wù)的特性，它對后面的事務(wù)沒有影響．