E81086713E446D36F62B2AA2A3502B5EB155

          Java雜家

          雜七雜八。。。一家之言

          BlogJava 首頁 新隨筆 聯系 聚合 管理
            40 Posts :: 1 Stories :: 174 Comments :: 0 Trackbacks
          外部排序實現使用堆來生成若干個順串,然后使用多路歸并算法來生成最終排序好的內容。

          本來打算使用敗者樹,結果發現敗者樹當參與的競賽者相對較多的情況下,沒有全部完成就被空節點充滿了。
          這個按照它的嚴格算法,其實也是可以知道不能保證總是能排完的。天快亮了,才徹底放棄使用敗者樹。改成實現贏者樹,結果發現贏者樹能保證不出錯,實現竟也順手。

          最后整了個測試文件500M的隨機內容,2~3分鐘排序完成了(應該還可以優化),感覺還行。

          代碼較多,最要考慮到以后可能要重用。

          package algorithms.extsort;

          import java.io.IOException;

          import algorithms.MinHeap;

          /**
           * 
          @author yovn
           *
           
          */
          public class ExternalSorter {
              
                  
              
              
          public void sort(int heapSize,RecordStore source,RunAcceptor mediator ,ResultAcceptor ra)throws IOException
              {
                  MinHeap
          <Record> heap=new MinHeap<Record>(Record.class,heapSize);
                  
          for(int i=0;i<heapSize;i++)
                  {
                      Record r
          =source.readNextRecord();
                      
          if(r.isNull())break;
                      heap.insert(r);
                  }
                  
                  Record readR
          =source.readNextRecord();
                  
          while(!readR.isNull()||!heap.isEmpty())
                  {
                  
                      Record curR
          =null;
                      
          //begin output one run
                      mediator.startNewRun();
                      
          while(!heap.isEmpty())
                      {
                          curR
          =heap.removeMin();
                      
                          mediator.acceptRecord(curR);
                          
                          
          if (!readR.isNull()) {
                              
          if (readR.compareTo(curR) < 0) {
                                  heap.addToTail(readR);
                              } 
          else
                                  heap.insert(readR);
                          }
                          readR
          =source.readNextRecord();
                          
                      }
                      
          //done one run
                      mediator.closeRun();
                      
                      
          //prepare for next run
                      heap.reverse();
                      
          while(!heap.isFull()&&!readR.isNull())
                      {
                          
                          heap.insert(readR);
                          readR
          =source.readNextRecord();
                          
                      }
                      
                      
                  }
                  RecordStore[] stores
          =mediator.getProductedStores();
          //        LoserTree  lt=new LoserTree(stores);
                  WinnerTree  lt=new WinnerTree(stores);
                  
                  Record least
          =lt.nextLeastRecord();
                  ra.start();
                  
          while(!least.isNull())
                  {
                      ra.acceptRecord(least);
                      least
          =lt.nextLeastRecord();
                  }
                  ra.end();
                  
                  
          for(int i=0;i<stores.length;i++)
                  {
                      stores[i].destroy();
                  }
              }
              
              
              
          public static void main(String[] args) throws IOException
              {
          //        RecordStore store=new MemRecordStore(60004,true);
          //        RunAcceptor mediator=new MemRunAcceptor();
          //        ResultAcceptor ra=new MemResultAcceptor();
                  ExternalSorter sorter=new ExternalSorter();
                      
                  RecordStore store
          =new FileRecordStore("test_sort.txt");
                  RunAcceptor mediator
          =new FileRunAcceptor("test_sort");
                  ResultAcceptor ra
          =new FileRecordStore("test_sorted.txt");
                  
                  
                  sorter.sort(
          70000, store, mediator, ra);
              }
              
          }

          其余的都打包在此!

          源碼

          posted on 2007-12-16 08:08 DoubleH 閱讀(3348) 評論(3)  編輯  收藏 所屬分類: Memorandum

          Feedback

          # re: 使用贏者樹的外部排序[未登錄] 2008-10-08 20:52 jason
          請問 這個排序怎么用?  回復  更多評論
            

          # re: 使用贏者樹的外部排序 2013-01-13 17:40 YorkTsai
          把源碼都下載下來,把項目導入Eclipse中,CreateFile(含有main方法)用來生成隨機數據到一個文件,大小達4GB;ExternalSorter(含有main方法)用來對前面生成的文件進行外排序。@jason
            回復  更多評論
            

          # re: 使用贏者樹的外部排序 2013-01-13 17:41 YorkTsai
          拜讀完畢,寫的太棒了,很多細節處理的很妙啊。。  回復  更多評論
            

          主站蜘蛛池模板: 且末县| 白沙| 溧水县| 内黄县| 泾阳县| 嘉兴市| 乌苏市| 东明县| 黔东| 鄂州市| 武定县| 伊金霍洛旗| 石城县| 天等县| 安岳县| 轮台县| 凤冈县| 钦州市| 若尔盖县| 青神县| 宣城市| 乐陵市| 泰兴市| 邳州市| 北京市| 浮山县| 岑巩县| 永安市| 辛集市| 庆阳市| 西宁市| 梅河口市| 哈密市| 枝江市| 香格里拉县| 安乡县| 杂多县| 和田市| 东乡| 新巴尔虎左旗| 东方市|