最近在hadoop實(shí)際使用中有以下幾個(gè)小細(xì)節(jié)分享: i=m5M
]Ef  
1 中文問題 
    從url中解析出中文,但hadoop中打印出來仍是亂碼?我們?cè)?jīng)以為hadoop是不支持中文的，后來經(jīng)過查看源代碼，發(fā)現(xiàn)hadoop僅僅是不支持以gbk格式輸出中文而己。

    這是TextOutputFormat.class中的代碼，hadoop默認(rèn)的輸出都是繼承自FileOutputFormat來的，F(xiàn)ileOutputFormat的兩個(gè)子類一個(gè)是基于二進(jìn)制流的輸出，一個(gè)就是基于文本的輸出TextOutputFormat。

    public class TextOutputFormat<K, V> extends FileOutputFormat<K, V> { 
  protected static class LineRecordWriter<K, V> &E{CQ#k  
    implements RecordWriter<K, V> { 
    private static final String utf8 = “UTF-8″;//這里被寫死成了utf-8 2 kP0//  
    private static final byte[] newline; kTC'`xv  
    static { :htz]  
      try { 0 _!')+  
        newline = “/n”.getBytes(utf8); Ry$zF~[   
      } catch (UnsupportedEncodingException uee) { 
        throw new IllegalArgumentException(”can’t find ” + utf8 + ” encoding”); 
      } 
    } 
… k-:wM`C  
    public LineRecordWriter(DataOutputStream out, String keyValueSeparator) { 
      this.out = out; 
      try { 
        this.keyValueSeparator = keyValueSeparator.getBytes(utf8); 
      } catch (UnsupportedEncodingException uee) { @r.w+E=  
        throw new IllegalArgumentException(”can’t find ” + utf8 + ” encoding”); 
      } 
    } ab}Kt($  
… 
    private void writeObject(Object o) throws IOException { 
      if (o instanceof Text) { 
        Text to = (Text) o; 
        out.write(to.getBytes(), 0, to.getLength());//這里也需要修改 q&DM*!Jq  
      } else { 5 O't-'  
        out.write(o.toString().getBytes(utf8)); 
      } 
    } 
 … qxQuXF>:#  
} |3bCq(ZR/P  
    可以看出hadoop默認(rèn)的輸出寫死為utf-8，因此如果decode中文正確，那么將Linux客戶端的character設(shè)為utf-8是可以看到中文的。因?yàn)閔adoop用utf-8的格式輸出了中文。 
    因?yàn)榇蠖鄶?shù)數(shù)據(jù)庫(kù)是用gbk來定義字段的，如果想讓hadoop用gbk格式輸出中文以兼容數(shù)據(jù)庫(kù)怎么辦？ _.{I1*6Y2  
    我們可以定義一個(gè)新的類： .c5)`  
    public class GbkOutputFormat<K, V> extends FileOutputFormat<K, V> { sTS Nu+  
  protected static class LineRecordWriter<K, V> 
    implements RecordWriter<K, V> { 
//寫成gbk即可 F"ua`ercI  
    private static final String gbk = “gbk”; 
    private static final byte[] newline; 
    static { 
      try { 
        newline = “/n”.getBytes(gbk); 
      } catch (UnsupportedEncodingException uee) { @}<b42  
        throw new IllegalArgumentException(”can’t find ” + gbk + ” encoding”); 
      } 
    } 
… SjL&/),
 
    public LineRecordWriter(DataOutputStream out, String keyValueSeparator) { P?o|N<46  
      this.out = out; X-<l+WP  
      try { 0,]m.)ws  
        this.keyValueSeparator = keyValueSeparator.getBytes(gbk); Js'j}w  
      } catch (UnsupportedEncodingException uee) { 
        throw new IllegalArgumentException(”can’t find ” + gbk + ” encoding”); 
      } 
    } J|aU}Z
8m  
… /(&UDG$  
    private void writeObject(Object o) throws IOException { 
      if (o instanceof Text) { 
//        Text to = (Text) o; 
//        out.write(to.getBytes(), 0, to.getLength()); +A-z>T(  
//      } else { @h,3"2W{Ev  
        out.write(o.toString().getBytes(gbk)); 
      } 
    } isU4D  
 … eL_Il.:  
} 
    然后在mapreduce代碼中加入conf1.setOutputFormat(GbkOutputFormat.class) 
    即可以gbk格式輸出中文。

2 關(guān)于計(jì)算過程中的壓縮和效率的對(duì)比問題 hf//2Vl  
    之前曾經(jīng)介紹過對(duì)輸入文件采用壓縮可以提高部分計(jì)算效率。現(xiàn)在作更進(jìn)一步的說明。 
    為什么壓縮會(huì)提高計(jì)算速度？這是因?yàn)閙apreduce計(jì)算會(huì)將數(shù)據(jù)文件分散拷貝到所有datanode上，壓縮可以減少數(shù)據(jù)浪費(fèi)在帶寬上的時(shí)間，當(dāng)這些時(shí)間大于壓縮/解壓縮本身的時(shí)間時(shí)，計(jì)算速度就會(huì)提高了。 
    hadoop的壓縮除了將輸入文件進(jìn)行壓縮外，hadoop本身還可以在計(jì)算過程中將map輸出以及將reduce輸出進(jìn)行壓縮。這種計(jì)算當(dāng)中的壓縮又有什么樣的效果呢？ 
    測(cè)試環(huán)境：35臺(tái)節(jié)點(diǎn)的hadoop cluster，單機(jī)2 CPU,8 core,8G內(nèi)存，redhat 2.6.9, 其中namenode和second namenode各一臺(tái)，namenode和second namenode不作datanode 
    輸入文件大小為2.5G不壓縮，records約為3600萬條。mapreduce程序分為兩個(gè)job: ;R]~9Aan  
    job1:map將record按user字段作key拆分，reduce中作外連接。這樣最后reduce輸出為87億records，大小540G 
    job2:map讀入這87億條數(shù)據(jù)并輸出，reduce進(jìn)行簡(jiǎn)單統(tǒng)計(jì)，最后的records為2.5億條，大小16G 
    計(jì)算耗時(shí)54min

    僅對(duì)第二個(gè)階段的map作壓縮(第一個(gè)階段的map輸出并不大，沒有壓縮的必要)，測(cè)試結(jié)果：計(jì)算耗時(shí)39min

    可見時(shí)間上節(jié)約了15min，注意以下參數(shù)的不同。 U&W/Nj  
    不壓縮時(shí): 
     Local bytes read=1923047905109 :3[;9xCHj  
     Local bytes written=1685607947227 "j8`)XXa(  
     壓縮時(shí)： /U>|^$4 #5  
     Local bytes read=770579526349 |RL/2j|  
     Local bytes written=245469534966 
     本地讀寫的的數(shù)量大大降低了

     至于對(duì)reduce輸出的壓縮，很遺憾經(jīng)過測(cè)試基本沒有提高速度的效果。可能是因?yàn)榈谝粋€(gè)job的輸出大多數(shù)是在本地機(jī)上進(jìn)行map，不經(jīng)過網(wǎng)絡(luò)傳輸?shù)脑颉?nbsp;
     附：對(duì)map輸出進(jìn)行壓縮，只需要添加 jobConf.setMapOutputCompressorClass(DefaultCodec.class)

3 關(guān)于reduce的數(shù)量設(shè)置問題 
    reduce數(shù)量究竟多少是適合的。目前測(cè)試認(rèn)為reduce數(shù)量約等于cluster中datanode的總cores的一半比較合適，比如 cluster中有32臺(tái)datanode,每臺(tái)8 core，那么reduce設(shè)置為128速度最快。因?yàn)槊颗_(tái)機(jī)器8 core，4個(gè)作map,4個(gè)作reduce計(jì)算，正好合適。 u/(>a  
    附小測(cè)試：對(duì)同一個(gè)程序 j
&[u$P*K  
            reduce num=32,reduce time = 6 min 
            reduce num=128, reduce time = 2 min 
            reduce num=320, reduce time = 5min

4某次正常運(yùn)行mapreduce實(shí)例時(shí),拋出錯(cuò)誤

java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

java.io.IOException: Could not get block locations. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2143)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

經(jīng)查明，問題原因是linux機(jī)器打開了過多的文件導(dǎo)致。用命令ulimit -n可以發(fā)現(xiàn)linux默認(rèn)的文件打開數(shù)目為1024，修改/ect/security/limit.conf，增加hadoop soft 65535

再重新運(yùn)行程序（最好所有的datanode都修改），問題解決

P.S:據(jù)說hadoop dfs不能管理總數(shù)超過100M個(gè)文件，有待查證

5 運(yùn)行一段時(shí)間后hadoop不能stop-all.sh的問題，顯示報(bào)錯(cuò)

no tasktracker to stop ，no datanode to stop

問題的原因是hadoop在stop的時(shí)候依據(jù)的是datanode上的mapred和dfs進(jìn)程號(hào)。而默認(rèn)的進(jìn)程號(hào)保存在/tmp下，linux 默認(rèn)會(huì)每隔一段時(shí)間（一般是一個(gè)月或者7天左右）去刪除這個(gè)目錄下的文件。因此刪掉hadoop-hadoop-jobtracker.pid和 hadoop-hadoop-namenode.pid兩個(gè)文件后，namenode自然就找不到datanode上的這兩個(gè)進(jìn)程了。

在配置文件中的export HADOOP_PID_DIR可以解決這個(gè)問題

分類：

Sybase 函數(shù)

Sybase字符串函數(shù)

長(zhǎng)度和語法分析
datalength(char_expr)
在char_expr中返回字符的長(zhǎng)度值，忽略尾空
substring(expression,start,length)
返回部分字符串
right(char_expr,int_expr)
返回char_expr右邊的int_expr字符
基本字符串運(yùn)算
upper(char_expr)
把char_expr轉(zhuǎn)換成大寫形式
lower(char_expr)
把char_expr轉(zhuǎn)換成小寫形式
space(int_expr)
生成有int_expr個(gè)空格的字符串
replicate(char_expr,int_expr)
重復(fù)char_expr,int_expr次
stuff(expr1,start,length,expr2)
用expr2代替epxr1中start起始長(zhǎng)為length的字符串
reverse(char_expr)
反寫char_expr中的文本
ltrim(char_expr)
刪除頭空
rtrim(char_expr)
刪除尾空
格式轉(zhuǎn)換
ascii(char_expr)
返回char_expr中第一個(gè)字符的ASCII值
char(int_expr)
把ASCII碼轉(zhuǎn)換為字符
str(float_expr[,length[,decimal]])
進(jìn)行數(shù)值型到字符型轉(zhuǎn)換
soundex(char_expr)
返回char_expr的soundex值
difference(char_expr1,char_expr2)
返回表達(dá)式soundex值之差
串內(nèi)搜索
charindex(char_expr,expression)
返回指定char_expr的開始位置,否則為0
patindex("%pattern%",expression)
返回指定樣式的開始位置,否則為0
  
datalength用于確定可變字符串的長(zhǎng)度
soundex用于確定字符串是否發(fā)音相似
difference返回0-4之間的值，0表示最不相似，4表示最相似
通配符
% 匹配任何數(shù)量的字符或無字符
_ 匹配任何單個(gè)字符（空間占位符）
[] 規(guī)定有效范圍,或某個(gè)"OR"條件
    [ABG]   A,B,G
    [A-C]   A,B,C
    [A-CE-G] A,B,C,E,F,G
    [^ABG] 除了A,B,G
    [^A-C]   除了A，B，C
  
escape子句
用某個(gè)轉(zhuǎn)義字符可在搜索字符串時(shí)將通配符作為文字來包含。
ANSI-89 SQL標(biāo)準(zhǔn)定義了escape子句指定某個(gè)轉(zhuǎn)義字符
缺省情況下，[]來轉(zhuǎn)義某個(gè)通配符，例：
select * from test_tab
    where description like "%20[%]%"
語法：
like char_expression escape escape_character
例
select * from test_tab
    where description like "%20#%%" escape "#"
+ 可用于串接字符
select au_laname+","+au_fname from authors
  
數(shù)學(xué)函數(shù)
abs(numeric_expr)
返回指定值的絕對(duì)值
ceiling(numeric_expr)
返回大于或等于指定值的最小整數(shù)
exp(float_expr)
給出指定值的指數(shù)值
floor(numeric_expr)
返回小于或等于指定值的最大整數(shù)
pi()
返回常數(shù)3.1415926
power(numeric_expr,power)
返回numeric_expr的值給power的冪
rand([int_expr])
返回0-1之間的隨機(jī)浮點(diǎn)數(shù)，可指定基值
round(numeric_expr,int_expr)
把數(shù)值表達(dá)式圓整到int_expr指定的精度
sign(int_expr)
返回正+1，零0或負(fù)-1
sqrt(float_expr)
返回指定值的平方根
SQL SERVER支持所有標(biāo)準(zhǔn)的三角函數(shù)和其他有用的函數(shù)
  
日期函數(shù)
getdate()
返回當(dāng)前的系統(tǒng)日期和時(shí)間
datename(datepart,date_expr)
以字符串形式返回date_expr指定部分的值,轉(zhuǎn)換成合適的名字
datepart(datepart,date_expr)
作為整數(shù)返回date_expr值的指定部分
datediff(datepart,date_expr1,date_expr2)
返回date_expr2-date_expr1,通過指定的datepart度量
dateadd(datepart,number,date_expr)
返回日期,通過在date_expr上增加指定number的日期部件而產(chǎn)生的
  
datepart
日期部件   縮寫   值范圍
年 yy   1753-9999
季度 qq   1-4
月 mm   1-12
每年中的天   dy   1-366
天 dd   1-31
星期 wk   1-54
星期天 dw   1-7(1=sunday)
小時(shí) hh   0-23
分鐘 mi   0-59
秒 ss   0-59
毫秒 ms   0-999
例：
select invoice_no,
    datediff(dd,date_shipped,getdate())
    from invoices
    where balance_due>0
  
轉(zhuǎn)換函數(shù)convert
此函數(shù)把值從一種類型改變成另一種類型
convert(datetype [(length)],expression)
select "Advance="+convert(char(12),advance)
    from titles

日期轉(zhuǎn)換
convert(datetype[(length)],expression,format)
format指定將日期轉(zhuǎn)換為什么格式，有以下值：
沒有世紀(jì)   有世紀(jì) 轉(zhuǎn)換字符串中日期格式
    0 or 100   mon dd yyy hh:miAM(or PM)
1 101 mm/dd/yy
2 102 yy.mm.dd
3 103 dd/mm/yy
4 104 dd.mm.yy
5 105 dd-mm-yy
6 106 dd mon yy
7 107 mon dd,yy
8 108 hh:mm:ss
    9 or 109   mon dd,yyyy hh:mi:ss:mmmAM(or PM)
10 110 mm-dd-yy
11 111 yy/mm/dd
12 112 yymmdd
  
系統(tǒng)函數(shù)
函數(shù)       定義
訪問和安全性信息
host_id()       客戶進(jìn)程的當(dāng)前主機(jī)進(jìn)程ID號(hào)
host_name()        客戶進(jìn)程的當(dāng)前主計(jì)算機(jī)名
suser_id(["login_name"])   用戶的SQL Server ID號(hào)
suser_name([server_user_id])   用戶的SQL Server登錄名
user_id(["name_in_db"]) 用戶在數(shù)據(jù)庫(kù)中的ID號(hào)
user_name([user_id]) 用戶在數(shù)據(jù)庫(kù)中的名字
user          用戶在數(shù)據(jù)庫(kù)中的名字
show_role()        用戶的當(dāng)前活動(dòng)角色

數(shù)據(jù)庫(kù)和對(duì)象信息
db_id(["db_name"]) 數(shù)據(jù)庫(kù)ID號(hào)
db_name([db_id])    數(shù)據(jù)庫(kù)名
object_id("objname") 數(shù)據(jù)庫(kù)對(duì)象ID號(hào)
object_name(obj_id]) 數(shù)據(jù)庫(kù)對(duì)象號(hào)
col_name(obj_id,col_id) 對(duì)象的欄名
col_length("objname","colname")   欄的長(zhǎng)度
index_col("objname",index_id,key#)   已索引的欄名
valid_name(char_expr) 若char_expr不是有效標(biāo)識(shí)符，則返回0

數(shù)據(jù)函數(shù)
datalength(expression) 按字節(jié)返回expression的長(zhǎng)度
tsequal(timestamp1,timestamp2)   比較時(shí)戳值，若時(shí)戳值不匹配，則返回出錯(cuò)消息
  
isnull()
isnull函數(shù)用指定的值代替查詢欄或合計(jì)中的空值
例：
select avg(isnull(total_order,$0))
    from invoices