ivaneeo's blog

          自由的力量,自由的生活。

            BlogJava :: 首頁 :: 聯系 :: 聚合  :: 管理
            669 Posts :: 0 Stories :: 64 Comments :: 0 Trackbacks
          大家經常使用正則表達式的字符集從字符串中抽取或排除中文字符,但是這樣做
          很費事,效果也并不是很理想。實際上Perl從5.6開始已經開始在內部使用utf8編碼
          來表示字符,也就是說對中文以及其他語言字符的處理應該是完全沒有問題的。關鍵
          在于目前使用的編輯器以及文件格式并不都能很好地支持utf8,委屈了Perl的強大能力。
          實際上我們只需要利用好Encode這個模塊便能充分發揮Perl的utf8字符的優勢了。

          ????下面就以中文文本的處理為例進行說明(注意:編輯下面這段程序不能用使用utf8
          編碼的編輯器),比如有一個字符串"測試文本",我們想要把這個中文字符串拆成單個
          字符,可以這樣寫:
          use?Encode;
          use?Encode::CN;?#可寫可不寫
          $dat="測試文本";
          $str=decode("gb2312",$dat);
          @chars=split?//,$str;
          foreach?$char?(@chars)?{
          ????????print?encode("gb2312",$char),"\n";
          }
          結果大家試一試就知道了,應該是令人滿意的。

          ????這里主要用到了Encode模塊的decode、encode函數。要了解這兩個函數的作用我們
          需要清楚幾個概念:
          1、Perl字符串是使用utf8編碼的,它由Unicode字符組成而不是單個字節,每個utf8編
          碼的Unicode字符占1~4個字節(變長)。
          2、進入或離開Perl處理環境(比如輸出到屏幕、讀入和保存文件等等)時不是直接使用
          Perl字符串,而需要把Perl字符串轉換成字節流,轉換過程中使用何種編碼方式完全取決
          于你(或者由Perl代勞)。一旦Perl字符串向字節流的編碼完成,字符的概念就不存在了
          ,變成了純粹的字節組合,如何解釋這些組合則是你自己的工作。

          ????我們可以看出如果想要Perl按照我們的字符概念來對待文本,文本數據就需要一直用
          Perl字符串的形式存放。但是我們平時寫出的每個字符一般都被作為純ASCII字符保存(
          包括在程序中明文寫出的字符串),也就是字節流的形式,這里就需要encode和decode函
          數的幫助了。

          ????encode函數顧名思義是用來編碼Perl字符串的。它將Perl字符串中的字符用指定的編
          碼格式編碼,最終轉化為字節流的形式,因此和Perl處理環境之外的事物打交道經常需要
          它。其格式很簡單:
          ????????$octets?=?encode(ENCODING,?$string?[,?CHECK])
          這里$string是Perl字符串,ENCODING是給定的編碼方式,$octets則是編碼之后的字節流
          ,CHECK表示轉換時如何處理畸變字符(也就是Perl認不出來的字符)。一般不需要使用
          CHECK,讓Perl按默認規則處理即可。
          ????編碼方式視語言環境的不同有很大變化,默認可以識別utf8、ascii、ascii-ctrl、
          iso-8859-1等,中文環境(CN)增加了euc-cn(gb2312與之等價)、cp936(gbk與之等價
          )、hz等,還有日文環境(JP)、韓文(KR)等等,在此不一一盡數。

          ????decode函數則是用來解碼字節流的。它按照你給出的編碼格式解釋給定的字節流,將
          其轉化為使用utf8編碼的Perl字符串,一般來說從終端或者文件取得的文本數據都應該用
          decode轉換為Perl字符串的形式。它的格式為:
          ????????$string?=?decode(ENCODING,?$octets?[,?CHECK])
          $string、ENCODING、$octets和CHECK的含義同上。

          ????現在就很容易理解上面寫的那段程序了。因為字符串是用明文寫出的,存放的時候已
          經是字節流形式,喪失了本來的意義,所以首先就要用decode函數將其轉換為Perl字符串
          ,由于漢字一般都用gb2312格式編碼,這里decode也要使用gb2312編碼格式。轉換完成后
          Perl對待字符的行為就和我們一樣了,平時對字符串進行操作的函數基本上都能正確對字
          符進行處理,除了那些本來就把字符串當成一堆字節的函數(如vec、pack、unpack等)。
          于是split就能把字符串切成單個字符了。最后由于在輸出的時候不能直接使用utf8編碼
          的字符串,還需要將切割后的字符用encode函數編碼為gb2312格式的字節流,再用print
          輸出。

          ????Encode模塊的初步應用大概就是這樣,詳細情況還是要參閱模塊的文檔。實際上如果
          我們使用UltraEditor等等支持編輯utf8編碼文件的編輯器寫程序,基本上用不著Encode
          模塊,在程序開頭加上一句use?utf8就行。這時Perl默認包括程序本身在內的所有的字符
          都是Unicode字符,可以隨便使用Unicode范圍內的字符,甚至可以用非英文字符作為標識
          符,只是輸出的時候可能還需要用Encode模塊。比如用UE的utf8編碼模式編輯這個程序:
          ????????use?utf8;
          ????????$單價=10;
          ????????$數量=100;
          ????????$總額=$單價*$數量;
          ????????print?"$總額\n";
          可以在Perl?5.6以后的版本中正常運行并給出結果,是不是很爽?:)?這種模式最大的優點
          就是在字符串中可以混合多種語言的文字,就算中日韓英加上阿拉伯字符都在一個字符串
          中出現也沒問題;不像使用Encode模塊那樣必須固定一種編碼方式,中日韓英字符同時出
          現還好辦,因為gbk包含了所有這些字符,可是再加上一些非亞洲語言字符就不一定能處
          理了。所以以后用Unicode編碼應該是大勢所趨。

          希望寫的這些能對大家有所幫助。
          posted on 2006-04-15 22:50 ivaneeo 閱讀(2384) 評論(1)  編輯  收藏 所屬分類: perl-殺雞就要用牛刀

          Feedback

          # re: perl的對中文的支持[未登錄] 2007-11-14 11:40 Will
          學到了,3X  回復  更多評論
            

          主站蜘蛛池模板: 彝良县| 屏东县| 安泽县| 扶沟县| 平湖市| 嘉黎县| 平原县| 波密县| 搜索| 大港区| 翁牛特旗| 舞阳县| 通海县| 威宁| 盱眙县| 新干县| 临汾市| 乌什县| 民权县| 柳河县| 桓仁| 当阳市| 阿拉善右旗| 海伦市| 武隆县| 台州市| 岳池县| 青冈县| 双峰县| 延川县| 财经| 绍兴市| 永泰县| 新丰县| 乡城县| 眉山市| 揭西县| 万山特区| 乳源| 宽城| 若羌县|