xylz,imxylz

          關(guān)注后端架構(gòu)、中間件、分布式和并發(fā)編程

             :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理 ::
            111 隨筆 :: 10 文章 :: 2680 評論 :: 0 Trackbacks

          Java Concurrency

          Inside into Concurrency
          posted @ 2013-08-17 17:44 imxylz 閱讀(3863) | 評論 (3)  編輯

          posted @ 2013-08-05 16:45 imxylz 閱讀(29898) | 評論 (6)  編輯

          posted @ 2011-12-31 14:13 imxylz 閱讀(7470) | 評論 (5)  編輯

          posted @ 2011-12-30 17:25 imxylz 閱讀(6934) | 評論 (0)  編輯

               摘要: 線程池

          并發(fā)最常見用于線程池,顯然使用線程池可以有效的提高吞吐量。
          最常見、比較復(fù)雜一個場景是Web容器的線程池。Web容器使用線程池同步或者異步處理HTTP請求,同時這也可以有效的復(fù)用HTTP連接,降低資源申請的開銷。通常我們認為HTTP請求時非常昂貴的,并且也是比較耗費資源和性能的,所以線程池在這里就扮演了非常重要的角色。
          在線程池的章節(jié)中非常詳細的討論了線程池的原理和使用,同時也提到了,線程池的配置和參數(shù)對性能的影響是巨大的。不盡如此,受限于資源(機器的性能、網(wǎng)絡(luò)的帶寬等等)、依賴的服務(wù),客戶端的響應(yīng)速度等,線程池的威力也不會一直增長。達到了線程池的瓶頸后,性能和吞吐量都會大幅度降低。
          一直增加機器的性能或者增大線程的個數(shù),并不一定能有效的提高吞吐量。高并發(fā)的情況下,機器的負載會大幅提升,這時候機器的穩(wěn)定性、服務(wù)的可靠性都會下降。
          盡管如此,線程池依然是提高吞吐量的一個有效措施,配合合適的參數(shù)能夠有效的充分利用資源,提高資源的利用率。  閱讀全文
          posted @ 2011-12-29 16:31 imxylz 閱讀(8158) | 評論 (0)  編輯

               摘要: 死鎖與活躍度

          前面談了很多并發(fā)的特性和工具,但是大部分都是和鎖有關(guān)的。我們使用鎖來保證線程安全,但是這也會引起一些問題。
          鎖順序死鎖(lock-ordering deadlock):多個線程試圖通過不同的順序獲得多個相同的資源,則發(fā)生的循環(huán)鎖依賴現(xiàn)象。
          動態(tài)的鎖順序死鎖(Dynamic Lock Order Deadlocks):多個線程通過傳遞不同的鎖造成的鎖順序死鎖問題。
          資源死鎖(Resource Deadlocks):線程間相互等待對方持有的鎖,并且誰都不會釋放自己持有的鎖發(fā)生的死鎖。也就是說當(dāng)現(xiàn)場持有和等待的目標(biāo)成為資源,就有可能發(fā)生此死鎖。這和鎖順序死鎖不一樣的地方是,競爭的資源之間并沒有嚴格先后順序,僅僅是相互依賴而已。  閱讀全文
          posted @ 2011-12-29 14:04 imxylz 閱讀(8250) | 評論 (2)  編輯

          posted @ 2011-07-12 23:15 imxylz 閱讀(17423) | 評論 (3)  編輯

               摘要: 本節(jié)中將探討線程池是如何處理任務(wù)結(jié)果以及延遲、周期性任務(wù)調(diào)度是如何實現(xiàn)的。
          結(jié)合上節(jié)線程池的原理和實現(xiàn),徹底分析了線程池對任務(wù)的結(jié)果處理,尤其是對延遲、周期性任務(wù)是如何執(zhí)行的。
          這也是并發(fā)系列中源碼分析的最后一小節(jié)。  閱讀全文
          posted @ 2011-02-13 20:21 imxylz 閱讀(11299) | 評論 (6)  編輯

               摘要: 這一節(jié)中我們將詳細討論線程池是如何執(zhí)行一個任務(wù)的,尤其是如何處理線程池的大小、核心大小、最大大小、任務(wù)隊列等之間的關(guān)系的。  閱讀全文
          posted @ 2011-02-11 23:48 imxylz 閱讀(11689) | 評論 (2)  編輯

               摘要: 我們根據(jù)線程池的要求也很能夠猜測出其數(shù)據(jù)結(jié)構(gòu)出來。
          線程池需要支持多個線程并發(fā)執(zhí)行,因此有一個線程集合Collection來執(zhí)行線程任務(wù);
          涉及任務(wù)的異步執(zhí)行,因此需要有一個集合來緩存任務(wù)隊列Collection;
          很顯然在多個線程之間協(xié)調(diào)多個任務(wù),那么就需要一個線程安全的任務(wù)集合,同時還需要支持阻塞、超時操作,那么BlockingQueue是必不可少的;
          既然是線程池,出發(fā)點就是提高系統(tǒng)性能同時降低資源消耗,那么線程池的大小就有限制,因此需要有一個核心線程池大小(線程個數(shù))和一個最大線程池大小(線程個數(shù)),有一個計數(shù)用來描述當(dāng)前線程池大小;
          如果是有限的線程池大小,那么長時間不使用的線程資源就應(yīng)該銷毀掉,這樣就需要一個線程空閑時間的計數(shù)來描述線程何時被銷毀;
          前面描述過線程池也是有生命周期的,因此需要有一個狀態(tài)來描述線程池當(dāng)前的運行狀態(tài);
          線程池的任務(wù)隊列如果有邊界,那么就需要有一個任務(wù)拒絕策略來處理過多的任務(wù),同時在線程池的銷毀階段也需要有一個任務(wù)拒絕策略來處理新加入的任務(wù);
          上面種  閱讀全文
          posted @ 2011-01-18 23:43 imxylz 閱讀(16115) | 評論 (6)  編輯

               摘要: 在JDK 5.0之前,java.util.Timer/TimerTask是唯一的內(nèi)置任務(wù)調(diào)度方法,而且在很長一段時間里很熱衷于使用這種方式進行周期性任務(wù)調(diào)度。
          首先研究下Timer/TimerTask的特性(至于javax.swing.Timer就不再研究了)。
          上面三段代碼反映了Timer/TimerTask的以下特性:
          Timer對任務(wù)的調(diào)度是基于絕對時間的。
          所有的TimerTask只有一個線程TimerThread來執(zhí)行,因此同一時刻只有一個TimerTask在執(zhí)行。
          任何一個TimerTask的執(zhí)行異常都會導(dǎo)致Timer終止所有任務(wù)。
          由于基于絕對時間并且是單線程執(zhí)行,因此在多個任務(wù)調(diào)度時,長時間執(zhí)行的任務(wù)被執(zhí)行后有可能導(dǎo)致短時間任務(wù)快速在短時間內(nèi)被執(zhí)行多次或者干脆丟棄多個任務(wù)。  閱讀全文
          posted @ 2011-01-10 23:39 imxylz 閱讀(14484) | 評論 (32)  編輯

               摘要: 上一節(jié)中提到關(guān)閉線程池過程中需要對新提交的任務(wù)進行處理。這個是java.util.concurrent.RejectedExecutionHandler處理的邏輯。

          在沒有分析線程池原理之前先來分析下為什么有任務(wù)拒絕的情況發(fā)生。
          這里先假設(shè)一個前提:線程池有一個任務(wù)隊列,用于緩存所有待處理的任務(wù),正在處理的任務(wù)將從任務(wù)隊列中移除。因此在任務(wù)隊列長度有限的情況下就會出現(xiàn)新任務(wù)的拒絕處理問題,需要有一種策略來處理應(yīng)該加入任務(wù)隊列卻因為隊列已滿無法加入的情況。另外在線程池關(guān)閉的時候也需要對任務(wù)加入隊列操作進行額外的協(xié)調(diào)處理。

          RejectedExecutionHandler提供了四種方式來處理任務(wù)拒絕策略。  閱讀全文
          posted @ 2011-01-08 22:47 imxylz 閱讀(9986) | 評論 (0)  編輯

               摘要:
          我們知道線程是有多種執(zhí)行狀態(tài)的,同樣管理線程的線程池也有多種狀態(tài)。JVM會在所有線程(非后臺daemon線程)全部終止后才退出,為了節(jié)省資源和有效釋放資源關(guān)閉一個線程池就顯得很重要。有時候無法正確的關(guān)閉線程池,將會阻止JVM的結(jié)束。
          線程池Executor是異步的執(zhí)行任務(wù),因此任何時刻不能夠直接獲取提交的任務(wù)的狀態(tài)。這些任務(wù)有可能已經(jīng)完成,也有可能正在執(zhí)行或者還在排隊等待執(zhí)行。因此關(guān)閉線程池可能出現(xiàn)一下幾種情況:
          平緩關(guān)閉:已經(jīng)啟動的任務(wù)全部執(zhí)行完畢,同時不再接受新的任務(wù)
          立即關(guān)閉:取消所有正在執(zhí)行和未執(zhí)行的任務(wù)
          另外關(guān)閉線程池后對于任務(wù)的狀態(tài)應(yīng)該有相應(yīng)的反饋信息。  閱讀全文
          posted @ 2011-01-04 22:54 imxylz 閱讀(12603) | 評論 (6)  編輯

               摘要: Java里面線程池的頂級接口是Executor,但是嚴格意義上講Executor并不是一個線程池,而只是一個執(zhí)行線程的工具。真正的線程池接口是ExecutorService。
          下面這張圖完整描述了線程池的類體系結(jié)構(gòu)。  閱讀全文
          posted @ 2010-12-21 23:32 imxylz 閱讀(13798) | 評論 (4)  編輯

               摘要: 從這一節(jié)開始正式進入線程池的部分。其實整個體系已經(jīng)拖了很長的時間,因此后面的章節(jié)會加快速度,甚至只是一個半成品或者簡單化,以后有時間的慢慢補充、完善。
          其實線程池是并發(fā)包里面很重要的一部分,在實際情況中也是使用很多的一個重要組件。
          下圖描述的是線程池API的一部分。廣義上的完整線程池可能還包括Thread/Runnable、Timer/TimerTask等部分。這里只介紹主要的和高級的API以及架構(gòu)和原理。  閱讀全文
          posted @ 2010-12-19 13:24 imxylz 閱讀(11974) | 評論 (5)  編輯

               摘要: 本小節(jié)是《并發(fā)容器》的最后一部分,這一個小節(jié)描述的是針對List/Set接口的一個線程版本。
          在《并發(fā)隊列與Queue簡介》中介紹了并發(fā)容器的一個概括,主要描述的是Queue的實現(xiàn)。其中特別提到一點LinkedList是List/Queue的實現(xiàn),但是LinkedList確實非線程安全的。不管BlockingQueue還是ConcurrentMap的實現(xiàn),我們發(fā)現(xiàn)都是針對鏈表的實現(xiàn),當(dāng)然盡可能的使用CAS或者Lock的特性,同時都有通過鎖部分容器來提供并發(fā)的特性。而對于List或者Set而言,增、刪操作其實都是針對整個容器,因此每次操作都不可避免的需要鎖定整個容器空間,性能肯定會大打折扣。要實現(xiàn)一個線程安全的List/Set,只需要在修改操作的時候進行同步即可,比如使用java.util.Collections.synchronizedList(List)或者java.util.Collections.synchronizedSet(Set)。當(dāng)然也可以使用Lock來實現(xiàn)線程安全的List/Set。
          通常情況下我們的高并發(fā)都發(fā)生在“多讀少寫”的情況,因此如果  閱讀全文
          posted @ 2010-11-23 22:22 imxylz 閱讀(14714) | 評論 (1)  編輯

               摘要: 可以在對中對元素進行配對和交換的線程的同步點。每個線程將條目上的某個方法呈現(xiàn)給 exchange 方法,與伙伴線程進行匹配,并且在返回時接收其伙伴的對象。Exchanger 可能被視為 SynchronousQueue 的雙向形式。
          換句話說Exchanger提供的是一個交換服務(wù),允許原子性的交換兩個(多個)對象,但同時只有一對才會成功。先看一個簡單的實例模型。  閱讀全文
          posted @ 2010-11-22 22:31 imxylz 閱讀(7763) | 評論 (0)  編輯

               摘要: 這個小節(jié)介紹Queue的最后一個工具,也是最強大的一個工具。從名稱上就可以看到此工具的特點:雙向并發(fā)阻塞隊列。所謂雙向是指可以從隊列的頭和尾同時操作,并發(fā)只是線程安全的實現(xiàn),阻塞允許在入隊出隊不滿足條件時掛起線程,這里說的隊列是指支持FIFO/FILO實現(xiàn)的鏈表。

          首先看下LinkedBlockingDeque的數(shù)據(jù)結(jié)構(gòu)。通常情況下從數(shù)據(jù)結(jié)構(gòu)上就能看出這種實現(xiàn)的優(yōu)缺點,這樣就知道如何更好的使用工具了。  閱讀全文
          posted @ 2010-08-18 16:01 imxylz 閱讀(9770) | 評論 (5)  編輯

               摘要:
          有一段時間沒有更新了。接著上節(jié)繼續(xù)吧。
          Queue除了前面介紹的實現(xiàn)外,還有一種雙向的Queue實現(xiàn)Deque。這種隊列允許在隊列頭和尾部進行入隊出隊操作,因此在功能上比Queue顯然要更復(fù)雜。下圖描述的是Deque的完整體系圖。需要說明的是LinkedList也已經(jīng)加入了Deque的一部分(LinkedList是從jdk1.2 開始就存在數(shù)據(jù)結(jié)構(gòu))。  閱讀全文
          posted @ 2010-08-12 00:13 imxylz 閱讀(13620) | 評論 (4)  編輯

               摘要:
          在Set中有一個排序的集合SortedSet,用來保存按照自然順序排列的對象。Queue中同樣引入了一個支持排序的FIFO模型。
          并發(fā)隊列與Queue簡介 中介紹了,PriorityQueue和PriorityBlockingQueue就是支持排序的Queue。顯然一個支持阻塞的排序Queue要比一個非線程安全的Queue實現(xiàn)起來要復(fù)雜的多,因此下面只介紹PriorityBlockingQueue,至于PriorityQueue只需要去掉Blocking功能就基本相同了。  閱讀全文
          posted @ 2010-07-30 16:15 imxylz 閱讀(14148) | 評論 (0)  編輯

               摘要: 在上一節(jié)中詳細分析了LinkedBlockingQueue 的實現(xiàn)原理。實現(xiàn)一個可擴展的隊列通常有兩種方式:一種方式就像LinkedBlockingQueue一樣使用鏈表,也就是每一個元素帶有下一個元素的引用,這樣的隊列原生就是可擴展的;另外一種就是通過數(shù)組實現(xiàn),一旦隊列的大小達到數(shù)組的容量的時候就將數(shù)組擴充一倍(或者一定的系數(shù)倍),從而達到擴容的目的。常見的ArrayList就屬于第二種。前面章節(jié)介紹過的HashMap確是綜合使用了這兩種方式。
          對于一個Queue而言,同樣可以使用數(shù)組實現(xiàn)。使用數(shù)組的好處在于各個元素之間原生就是通過數(shù)組的索引關(guān)聯(lián)起來的,一次元素之間就是有序的,在通過索引操作數(shù)組就方便多了。當(dāng)然也有它不利的一面,擴容起來比較麻煩,同時刪除一個元素也比較低效。
          ArrayBlockingQueue 就是Queue的一種數(shù)組實現(xiàn)。  閱讀全文
          posted @ 2010-07-27 22:04 imxylz 閱讀(12952) | 評論 (0)  編輯

               摘要: 在《并發(fā)容器 part 4 并發(fā)隊列與Queue簡介》節(jié)中的類圖中可以看到,對于Queue來說,BlockingQueue是主要的線程安全版本。這是一個可阻塞的版本,也就是允許添加/刪除元素被阻塞,直到成功為止。
          BlockingQueue相對于Queue而言增加了兩個操作:put/take。下面是一張整理的表格。  閱讀全文
          posted @ 2010-07-24 00:02 imxylz 閱讀(19662) | 評論 (6)  編輯

               摘要: ConcurrentLinkedQueue是Queue的一個線程安全實現(xiàn)。先來看一段文檔說明。
          一個基于鏈接節(jié)點的無界線程安全隊列。此隊列按照 FIFO(先進先出)原則對元素進行排序。隊列的頭部 是隊列中時間最長的元素。隊列的尾部 是隊列中時間最短的元素。新的元素插入到隊列的尾部,隊列獲取操作從隊列頭部獲得元素。當(dāng)多個線程共享訪問一個公共 collection 時,ConcurrentLinkedQueue 是一個恰當(dāng)?shù)倪x擇。此隊列不允許使用 null 元素。

          由于ConcurrentLinkedQueue只是簡單的實現(xiàn)了一個隊列Queue,因此從API的角度講,沒有多少值的介紹,使用起來也很簡單,和前面遇到的所有FIFO隊列都類似。出隊列只能操作頭節(jié)點,入隊列只能操作尾節(jié)點,任意節(jié)點操作就需要遍歷完整的隊列。
          重點放在解釋ConcurrentLinkedQueue的原理和實現(xiàn)上。  閱讀全文
          posted @ 2010-07-23 14:11 imxylz 閱讀(20044) | 評論 (2)  編輯

               摘要: Queue是JDK 5以后引入的新的集合類,它屬于Java Collections Framework的成員,在Collection集合中和List/Set是同一級別的接口。通常來講Queue描述的是一種FIFO的隊列,當(dāng)然不全都是,比如PriorityQueue是按照優(yōu)先級的順序(或者說是自然順序,借助于Comparator接口)。
          下圖描述了Java Collections Framework中Queue的整個家族體系。
          對于Queue而言是在Collection的基礎(chǔ)上增加了offer/remove/poll/element/peek方法,另外重新定義了add方法。對于這六個方法,有不同的定義。  閱讀全文
          posted @ 2010-07-21 12:21 imxylz 閱讀(21470) | 評論 (5)  編輯

               摘要: 在上一篇中介紹了HashMap的原理,這一節(jié)是ConcurrentMap的最后一節(jié),所以會完整的介紹ConcurrentHashMap的實現(xiàn)。

          ConcurrentHashMap原理

          在讀寫鎖章節(jié)部分介紹過一種是用讀寫鎖實現(xiàn)Map的方法。此種方法看起來可以實現(xiàn)Map響應(yīng)的功能,而且吞吐量也應(yīng)該不錯。但是通過前面對讀寫鎖原理的分析后知道,讀寫鎖的適合場景是讀操作>>寫操作,也就是讀操作應(yīng)該占據(jù)大部分操作,另外讀寫鎖存在一個很嚴重的問題是讀寫操作不能同時發(fā)生。要想解決讀寫同時進行問題(至少不同元素的讀寫分離),那么就只能將鎖拆分,不同的元素擁有不同的鎖,這種技術(shù)就是“鎖分離”技術(shù)。
          默認情況下ConcurrentHashMap是用了16個類似HashMap 的結(jié)構(gòu),其中每一個HashMap擁有一個獨占鎖。也就是說最終的效果就是通過某種Hash算法,將任何一個元素均勻的映射到某個HashMap的Map.Entry上面,而對某個一個元素的操作就集中在其分布的HashMap上,與其它HashMap無關(guān)。這樣就支持最多16個并發(fā)的寫操作。  閱讀全文
          posted @ 2010-07-20 17:48 imxylz 閱讀(21033) | 評論 (9)  編輯

               摘要: 本來想比較全面和深入的談?wù)凜oncurrentHashMap的,發(fā)現(xiàn)網(wǎng)上有很多對HashMap和ConcurrentHashMap分析的文章,因此本小節(jié)盡可能的分析其中的細節(jié),少一點理論的東西,多談?wù)剝?nèi)部設(shè)計的原理和思想。
          要談ConcurrentHashMap的構(gòu)造,就不得不談HashMap的構(gòu)造,因此先從HashMap開始簡單介紹。

          HashMap原理
          我們從頭開始設(shè)想。要將對象存放在一起,如何設(shè)計這個容器。目前只有兩條路可以走,一種是采用分格技術(shù),每一個對象存放于一個格子中,這樣通過對格子的編號就能取到或者遍歷對象;另一種技術(shù)就是采用串聯(lián)的方式,將各個對象串聯(lián)起來,這需要各個對象至少帶有下一個對象的索引(或者指針)。顯然第一種就是數(shù)組的概念,第二種就是鏈表的概念。所有的容器的實現(xiàn)其實都是基于這兩種方式的,不管是數(shù)組還是鏈表,或者二者俱有。HashMap采用的就是數(shù)組的方式。
          有了存取對象的容器后還需要以下兩個條件才能完成Map所需要的條件。  閱讀全文
          posted @ 2010-07-20 00:22 imxylz 閱讀(22932) | 評論 (3)  編輯

               摘要: 從這一節(jié)開始正式進入并發(fā)容器的部分,來看看JDK 6帶來了哪些并發(fā)容器。
          在JDK 1.4以下只有Vector和Hashtable是線程安全的集合(也稱并發(fā)容器,Collections.synchronized*系列也可以看作是線程安全的實現(xiàn))。從JDK 5開始增加了線程安全的Map接口ConcurrentMap和線程安全的隊列BlockingQueue(盡管Queue也是同時期引入的新的集合,但是規(guī)范并沒有規(guī)定一定是線程安全的,事實上一些實現(xiàn)也不是線程安全的,比如PriorityQueue、ArrayDeque、LinkedList等,在Queue章節(jié)中會具體討論這些隊列的結(jié)構(gòu)圖和實現(xiàn))。

          在介紹ConcurrencyMap之前先來回顧下Map的體系結(jié)構(gòu)。下圖描述了Map的體系結(jié)構(gòu),其中藍色字體的是JDK 5以后新增的并發(fā)容器。  閱讀全文
          posted @ 2010-07-19 15:25 imxylz 閱讀(24651) | 評論 (8)  編輯

               摘要:
          主要談?wù)勬i的性能以及其它一些理論知識,內(nèi)容主要的出處是《Java Concurrency in Practice》,結(jié)合自己的理解和實際應(yīng)用對鎖機制進行一個小小的總結(jié)。

          首先需要強調(diào)的一點是:所有鎖(包括內(nèi)置鎖和高級鎖)都是有性能消耗的,也就是說在高并發(fā)的情況下,由于鎖機制帶來的上下文切換、資源同步等消耗是非??捎^的。在某些極端情況下,線程在鎖上的消耗可能比線程本身的消耗還要多。所以如果可能的話,在任何情況下都盡量少用鎖,如果不可避免那么采用非阻塞算法是一個不錯的解決方案,但是卻也不是絕對的。  閱讀全文
          posted @ 2010-07-16 00:15 imxylz 閱讀(16586) | 評論 (2)  編輯

               摘要: 這是一份完整的Java 并發(fā)整理筆記,記錄了我最近幾年學(xué)習(xí)Java并發(fā)的一些心得和體會。  閱讀全文
          posted @ 2010-07-08 19:17 imxylz 閱讀(168333) | 評論 (43)  編輯

               摘要: 在這個小結(jié)里面重點討論原子操作的原理和設(shè)計思想。
          由于在下一個章節(jié)中會談到鎖機制,因此此小節(jié)中會適當(dāng)引入鎖的概念。
          在Java Concurrency in Practice中是這樣定義線程安全的:
          當(dāng)多個線程訪問一個類時,如果不用考慮這些線程在運行時環(huán)境下的調(diào)度和交替運行,并且不需要額外的同步及在調(diào)用方代碼不必做其他的協(xié)調(diào),這個類的行為仍然是正確的,那么這個類就是線程安全的。  閱讀全文
          posted @ 2010-07-03 20:40 imxylz 閱讀(46632) | 評論 (16)  編輯


          ©2009-2014 IMXYLZ
          主站蜘蛛池模板: 卢龙县| 象州县| 英超| 吉木萨尔县| 高安市| 甘谷县| 泰顺县| 大同县| 华安县| 富蕴县| 宁德市| 保山市| 西安市| 柳河县| 商丘市| 扶绥县| 新化县| 盐源县| 玉树县| 五家渠市| 富平县| 鲜城| 香格里拉县| 拜泉县| 和静县| 玉门市| 会同县| 六安市| 平罗县| 南漳县| 诸暨市| 阿克| 衡阳市| 北川| 洪泽县| 团风县| 容城县| 曲水县| 辽中县| 洞头县| 上犹县|