莊周夢蝶

          生活、程序、未來
             :: 首頁 ::  ::  :: 聚合  :: 管理

          簡單LRU算法實現緩存-update2

          Posted on 2007-09-29 17:49 dennis 閱讀(5997) 評論(5)  編輯  收藏 所屬分類: java數據結構與算法my open-source
          update1:第二個實現,讀操作不必要采用獨占鎖,緩存顯然是讀多于寫,讀的時候一開始用獨占鎖是考慮到要遞增計數和更新時間戳要加鎖,不過這兩個變量都是采用原子變量,因此也不必采用獨占鎖,修改為讀寫鎖。
          update2:一個錯誤,老是寫錯關鍵字啊,LRUCache的maxCapacity應該聲明為volatile,而不是transient。
            
             最簡單的LRU算法實現,就是利用jdk的LinkedHashMap,覆寫其中的removeEldestEntry(Map.Entry)方法即可,如下所示:
          import java.util.ArrayList;
          import java.util.Collection;
          import java.util.LinkedHashMap;
          import java.util.concurrent.locks.Lock;
          import java.util.concurrent.locks.ReentrantLock;
          import java.util.Map;


          /**
           * 類說明:利用LinkedHashMap實現簡單的緩存, 必須實現removeEldestEntry方法,具體參見JDK文檔
           * 
           * 
          @author dennis
           * 
           * 
          @param <K>
           * 
          @param <V>
           
          */
          public class LRULinkedHashMap<K, V> extends LinkedHashMap<K, V> {
              
          private final int maxCapacity;

              
          private static final float DEFAULT_LOAD_FACTOR = 0.75f;

              
          private final Lock lock = new ReentrantLock();

              
          public LRULinkedHashMap(int maxCapacity) {
                  
          super(maxCapacity, DEFAULT_LOAD_FACTOR, true);
                  
          this.maxCapacity = maxCapacity;
              }

              @Override
              
          protected boolean removeEldestEntry(java.util.Map.Entry<K, V> eldest) {
                  
          return size() > maxCapacity;
              }
              @Override
              
          public boolean containsKey(Object key) {
                  
          try {
                      lock.lock();
                      
          return super.containsKey(key);
                  } 
          finally {
                      lock.unlock();
                  }
              }

              
              @Override
              
          public V get(Object key) {
                  
          try {
                      lock.lock();
                      
          return super.get(key);
                  } 
          finally {
                      lock.unlock();
                  }
              }

              @Override
              
          public V put(K key, V value) {
                  
          try {
                      lock.lock();
                      
          return super.put(key, value);
                  } 
          finally {
                      lock.unlock();
                  }
              }

              
          public int size() {
                  
          try {
                      lock.lock();
                      
          return super.size();
                  } 
          finally {
                      lock.unlock();
                  }
              }

              
          public void clear() {
                  
          try {
                      lock.lock();
                      
          super.clear();
                  } 
          finally {
                      lock.unlock();
                  }
              }

              
          public Collection<Map.Entry<K, V>> getAll() {
                  
          try {
                      lock.lock();
                      
          return new ArrayList<Map.Entry<K, V>>(super.entrySet());
                  } 
          finally {
                      lock.unlock();
                  }
              }
          }
              如果你去看LinkedHashMap的源碼可知,LRU算法是通過雙向鏈表來實現,當某個位置被命中,通過調整鏈表的指向將該位置調整到頭位置,新加入的內容直接放在鏈表頭,如此一來,最近被命中的內容就向鏈表頭移動,需要替換時,鏈表最后的位置就是最近最少使用的位置。
              LRU算法還可以通過計數來實現,緩存存儲的位置附帶一個計數器,當命中時將計數器加1,替換時就查找計數最小的位置并替換,結合訪問時間戳來實現。這種算法比較適合緩存數據量較小的場景,顯然,遍歷查找計數最小位置的時間復雜度為O(n)。我實現了一個,結合了訪問時間戳,當最小計數大于MINI_ACESS時(這個參數的調整對命中率有較大影響),就移除最久沒有被訪問的項:
          package net.rubyeye.codelib.util.concurrency.cache;

          import java.io.Serializable;
          import java.util.ArrayList;
          import java.util.Collection;
          import java.util.HashMap;
          import java.util.Iterator;
          import java.util.Map;
          import java.util.Set;
          import java.util.concurrent.atomic.AtomicInteger;
          import java.util.concurrent.atomic.AtomicLong;
          import java.util.concurrent.locks.Lock;
          import java.util.concurrent.locks.ReadWriteLock;
          import java.util.concurrent.locks.ReentrantLock;
          import java.util.concurrent.locks.ReentrantReadWriteLock;

          /**
           * 
           * 
          @author dennis 類說明:當緩存數目不多時,才用緩存計數的傳統LRU算法
           * 
          @param <K>
           * 
          @param <V>
           
          */
          public class LRUCache<K, V> implements Serializable {

              
          private static final int DEFAULT_CAPACITY = 100;

              
          protected Map<K, ValueEntry> map;

              
          private final ReadWriteLock lock = new ReentrantReadWriteLock();

              
          private final Lock readLock = lock.readLock();

              
          private final Lock writeLock = lock.writeLock();

              
          private final volatile int maxCapacity;  //保持可見性

              
          public static int MINI_ACCESS = 5;

              
          public LRUCache() {
                  
          this(DEFAULT_CAPACITY);
              }

              
          public LRUCache(int capacity) {
                  
          if (capacity <= 0)
                      
          throw new RuntimeException("緩存容量不得小于0");
                  
          this.maxCapacity = capacity;
                  
          this.map = new HashMap<K, ValueEntry>(maxCapacity);
              }

              
          public boolean ContainsKey(K key) {
                  
          try {
                      readLock.lock();
                      
          return this.map.containsKey(key);
                  } 
          finally {
                      readLock.unlock();
                  }
              }

              
          public V put(K key, V value) {
                  
          try {
                      writeLock.lock();
                      
          if ((map.size() > maxCapacity - 1&& !map.containsKey(key)) {
                          
          // System.out.println("開始");
                          Set<Map.Entry<K, ValueEntry>> entries = this.map.entrySet();
                          removeRencentlyLeastAccess(entries);
                      }
                      ValueEntry new_value 
          = new ValueEntry(value);
                      ValueEntry old_value 
          = map.put(key, new_value);
                      
          if (old_value != null) {
                          new_value.count 
          = old_value.count;
                          
          return old_value.value;
                      } 
          else
                          
          return null;
                  } 
          finally {
                      writeLock.unlock();
                  }
              }

              
          /**
               * 移除最近最少訪問
               
          */
              
          protected void removeRencentlyLeastAccess(
                      Set
          <Map.Entry<K, ValueEntry>> entries) {
                  
          // 最小使用次數
                  long least = 0;
                  
          // 訪問時間最早
                  long earliest = 0;
                  K toBeRemovedByCount 
          = null;
                  K toBeRemovedByTime 
          = null;
                  Iterator
          <Map.Entry<K, ValueEntry>> it = entries.iterator();
                  
          if (it.hasNext()) {
                      Map.Entry
          <K, ValueEntry> valueEntry = it.next();
                      least 
          = valueEntry.getValue().count.get();
                      toBeRemovedByCount 
          = valueEntry.getKey();
                      earliest 
          = valueEntry.getValue().lastAccess.get();
                      toBeRemovedByTime 
          = valueEntry.getKey();
                  }
                  
          while (it.hasNext()) {
                      Map.Entry
          <K, ValueEntry> valueEntry = it.next();
                      
          if (valueEntry.getValue().count.get() < least) {
                          least 
          = valueEntry.getValue().count.get();
                          toBeRemovedByCount 
          = valueEntry.getKey();
                      }
                      
          if (valueEntry.getValue().lastAccess.get() < earliest) {
                          earliest 
          = valueEntry.getValue().count.get();
                          toBeRemovedByTime 
          = valueEntry.getKey();
                      }
                  }
                  
          // System.out.println("remove:" + toBeRemoved);
                  
          // 如果最少使用次數大于MINI_ACCESS,那么移除訪問時間最早的項(也就是最久沒有被訪問的項)
                  if (least > MINI_ACCESS) {
                      map.remove(toBeRemovedByTime);
                  } 
          else {
                      map.remove(toBeRemovedByCount);
                  }
              }

              
          public V get(K key) {
                  
          try {
                      readLock.lock();
                      V value 
          = null;
                      ValueEntry valueEntry 
          = map.get(key);
                      
          if (valueEntry != null) {
                          
          // 更新訪問時間戳
                          valueEntry.updateLastAccess();
                          
          // 更新訪問次數
                          valueEntry.count.incrementAndGet();
                          value 
          = valueEntry.value;
                      }
                      
          return value;
                  } 
          finally {
                      readLock.unlock();
                  }
              }

              
          public void clear() {
                  
          try {
                      writeLock.lock();
                      map.clear();
                  } 
          finally {
                      writeLock.unlock();
                  }
              }

              
          public int size() {
                  
          try {
                      readLock.lock();
                      
          return map.size();
                  } 
          finally {
                      readLock.unlock();
                  }
              }

              
          public long getCount(K key) {
                  
          try {
                      readLock.lock();
                      ValueEntry valueEntry 
          = map.get(key);
                      
          if (valueEntry != null) {
                          
          return valueEntry.count.get();
                      }
                      
          return 0;
                  } 
          finally {
                      readLock.unlock();
                  }
              }

              
          public Collection<Map.Entry<K, V>> getAll() {
                  
          try {
                      readLock.lock();
                      Set
          <K> keys = map.keySet();
                      Map
          <K, V> tmp = new HashMap<K, V>();
                      
          for (K key : keys) {
                          tmp.put(key, map.get(key).value);
                      }
                      
          return new ArrayList<Map.Entry<K, V>>(tmp.entrySet());
                  } 
          finally {
                      readLock.unlock();
                  }
              }

              
          class ValueEntry implements Serializable {
                  
          private V value;

                  
          private AtomicLong count;

                  
          private AtomicLong lastAccess;

                  
          public ValueEntry(V value) {
                      
          this.value = value;
                      
          this.count = new AtomicLong(0);
                      lastAccess 
          = new AtomicLong(System.nanoTime());
                  }

                  
          public void updateLastAccess() {
                      
          this.lastAccess.set(System.nanoTime());
                  }

              }
          }




          評論

          # re: 簡單LRU算法實現緩存-update1  回復  更多評論   

          2007-09-30 10:04 by sitinspring
          Mark.

          # re: 簡單LRU算法實現緩存-update1  回復  更多評論   

          2007-10-13 03:07 by 小飛飛
          這個怎么用了?

          # re: 簡單LRU算法實現緩存-update1  回復  更多評論   

          2007-10-13 16:43 by dennis
          @小飛飛
          怎么用?老大,緩存怎么用

          # re: 簡單LRU算法實現緩存-update1  回復  更多評論   

          2008-01-09 13:57 by zhangwei
          很好,我正想找一個這樣的程序那,謝謝了。

          # re: 簡單LRU算法實現緩存-update1[未登錄]  回復  更多評論   

          2008-01-14 09:18 by bruce
          說一下咱用呀?樓主
          主站蜘蛛池模板: 霍州市| 柘城县| 达州市| 霍邱县| 丽江市| 呼伦贝尔市| 广汉市| 景德镇市| 长汀县| 安泽县| 阜新| 柳州市| 年辖:市辖区| 普兰县| 通城县| 体育| 莱芜市| 乌兰察布市| 景宁| 隆化县| 常德市| 霍城县| 庐江县| 海原县| 伊春市| 新乡县| 太白县| 鄯善县| 闻喜县| 南通市| 阿城市| 宜兴市| 嘉定区| 鸡东县| 永清县| 奎屯市| 阳信县| 徐汇区| 剑川县| 邓州市| 石景山区|