本文從實踐的角度重點闡述Java語言中輸入流類StreamTokenizer在編寫HTML文件分析程序中的應用，并介紹了以字節為單位下載Web頁面的例程。
　　
　　一、概述
　　
　　Web服務器的核心是對HTML文件中的各標記（Tag）作出正確的分析，一種編程語言的解釋程序也是對源文件中的保留字進行分析再做解釋的。實際應用中，我們也常常會遇到需要對某一特定類型文件進行關鍵字分析的情況，比如，需要將某個HTML文件下載并同時下載與之相關的.gif、.class等文件，此時就要求對HTML文件中的標記進行分離，找出所需的文件名及目錄。在Java出現以前，類似工作需要對文件中的每個字符進行分析，從中找出所需部分，不僅編程量大，且易出錯。筆者在近期的項目中利用Java的輸入流類StreamTokenizer進行HTML文件的分析，效果較好。在此，我們要實現從已知的Web頁面下載HTML文件，對其進行分析后，下載該頁面中包含的HTML文件（如果在Frame中）、圖像文件和Class（Java Applet）文件。
　　
　　二、StreamTokenizer類
　　
　　StreamTokenizer即令牌化輸入流的作用是將一個輸入流中變成令牌流。令牌流中的令牌實體有三類：單詞（即多字符令牌）、單字符令牌和空白（包括Java和C/C++中的說明語句）。
　　
　　StreamTokenizer類的構造器為： StreamTokenizer(InputStream in)
　　
　　該類有一些公有實例變量：ttype、sval和nval ,分別表示令牌類型、當前字符串值和當前數字值。當我們需要取得令牌（即HTML中的標記）之間的字符時，應訪問變量sval。而讀向下一個令牌的方法是調用nextToken（）。方法nextToken()的返回值是int型，共有四種可能的返回：
　　
　　StreamTokenizer.TT_NUMBER: 表示讀到的令牌是數字，數字的值是double型，可以從實例變量nval中讀取。
　　
　　StreamTokenizer.TT_WORD: 表示讀到的令牌是非數字的單詞（其他字符也在其中），單詞可以從實例變量sval中讀取。
　　
　　StreamTokenizer.TT_EOL: 表示讀到的令牌是行結束符。
　　
　　如果已讀到流的盡頭，則nextToken()返回TT_EOF。
　　
　　開始調用nextToken()之前，要設置輸入流的語法表，以便使分析器辨識不同的字符。WhitespaceChars(int low, int hi)方法定義沒有意義的字符的范圍。WordChars(int low, int hi)方法定義構造單詞的字符范圍。
　　
　　三、程序實現
　　
　　1、HtmlTokenizer類的實現
　　
　　對某個令牌流進行分析之前，首先應對該令牌流的語法表進行設置，在本例中，即是讓程序分出哪個單詞是HTML的標記。下面給出針對我們需要的HTML標記的令牌流類定義，它是StreamTokenizer的子類：