隨筆 - 14  文章 - 77  trackbacks - 0
          <2011年9月>
          28293031123
          45678910
          11121314151617
          18192021222324
          2526272829301
          2345678

          常用鏈接

          留言簿(5)

          隨筆分類

          隨筆檔案

          搜索

          •  

          最新評論

          閱讀排行榜

          評論排行榜

                9月9號和10號在北京參加了IT168主辦的架構(gòu)師大會,也很榮幸做了淘寶Java中間件之路的分享,分享的PPT已經(jīng)在大會的官網(wǎng)放出了。這次兩天的會議,跟新老朋友有了不少線下的交流和溝通,感覺不錯。也聽了好幾個Session,有些沒有聽的,也是當(dāng)時跟幾個朋友在場外交流所致。
                下面總結(jié)一下自己聽的幾個Session
           
                余沛-自動化運維關(guān)系管理
                     這里面提到了幾個階段,跟陳碩的blog里面講的不同階段的運維策略,理念上比較的類似。
                     第一個階段 幾臺---幾十臺  手工并且是模塊兒的視角。也就是看到的只是單個的部署的產(chǎn)品等
                     第二個階段 幾百臺--幾千臺 這個階段叫做縱向自動化,用機器的粒度看運維,不過運維還是后置服務(wù),有一些腳本、工具等,不過可能比較多的還是在做安裝、維護(hù)、救火等工作
                     第三個階段 幾千臺--上萬臺 運維和開發(fā)平行,看問題是按照服務(wù)的粒度,運維變成前置服務(wù)
                     接著又著重介紹依賴管理的部分。包括了任務(wù)對任務(wù)的依賴,任務(wù)時間上的依賴,以及數(shù)據(jù)型的依賴等。
                     應(yīng)該說,總體來說比較系統(tǒng)的講述了運維成長的過程。我們自己的機器數(shù)也不少了,運維方面的平臺、工具還不是那么的完善,希望能夠在明年年中之前,能夠有比較大的改觀。
           
                 李瀚-百度貼吧的技術(shù)介紹
                      這里面記錄了一些關(guān)鍵點
                      百度貼吧有上百億的帖子,熱門的帖子有上千萬的回復(fù),高峰是每秒的PV超過10萬。那么在存儲方面,做了不少事情。同時,對于快速開發(fā)、可用性、安全方面考慮的也很多。

                      在WebSever上,用了異步和集群技術(shù),靜態(tài)文件的獲取,可以跑滿網(wǎng)卡,大于單機支撐5k-1w的qps,這個取決于單個文件的大小。

                      采用Php開發(fā)框架,統(tǒng)一開發(fā)模式,在性能方面也做了優(yōu)化。內(nèi)部實行組件式開發(fā),有公共庫以及一些通用組件。

                      在存儲方面,分為了兩塊兒,一塊兒是輕量級的存儲,主要采用的是Mysql以及使用了cache技術(shù)。數(shù)據(jù)量小于1T,支撐幾百qps-幾k qps,加入cache解決瀏覽的性能問題。
                      引入了分區(qū),使用MQ來進(jìn)行處理
                    
                      另外,使用KV存儲視頻文件,大概在P的量級。

                      這個session,主要了解學(xué)習(xí)了baidu貼吧的一些相關(guān)技術(shù)架構(gòu),也了解了一下數(shù)據(jù)。

                  洪濤-虎撲網(wǎng)的架構(gòu)升級之路
                      這哥們兒看上去非常爺們兒,講話也比較逗。談到了虎撲網(wǎng)從成立到現(xiàn)在的發(fā)展之路,這個是可以給到一些中小網(wǎng)站一些參考。在這個過程中,用到了一些開源軟件,包括但不限于memcached、TT、Redis、RabbitMQ等。后面也會自建機房。這里面,他提到會用硬件負(fù)載均衡代替LVS,這個地方我不是很明白,當(dāng)時也沒有能抓住洪濤問下,后面有機會再請教下。

                  陳煒-無狀態(tài)運維管理
                        這個家伙跟我住一個屋的,他要講的東東在講之前我就看了一下,應(yīng)該說,他們真的構(gòu)建了一個相對完善的監(jiān)管控的系統(tǒng),也許沒有哪個部分的技術(shù)本身特別高深,但是能夠運用技術(shù),真正把那么多的機器和應(yīng)用管理起來,能最終落地,我覺得還是非常不容易的。不過這廝還欠我一個東西沒給我,明天上班找他要。

                  段煉-Defeat Plubic DNS
                        這里面首先講到了使用Google DNS以及OpenDNS的問題,然后提到了如何去解決這些個問題。其中對于如何知道用戶所在ISP以及使用的Local DNS,采用了不同的方式來處理。也提到了通過跳轉(zhuǎn)、修改返回的HTML等方式來解決跨運營商訪問的問題。在這個方面,自己之前確實沒有太多經(jīng)驗,也沒有考慮很多。不過說到底,這都是被天朝特色的ISP給搞的。sigh。

                  白金-從流量統(tǒng)計、識別出發(fā),看網(wǎng)絡(luò)出口帶寬優(yōu)化
                        這個演講嘉賓的名字挺酷,他講的東西很全面,也提到一些探測網(wǎng)絡(luò)流量等信息的工具,不過這個部分,跟我現(xiàn)在關(guān)注的點不太貼合,就當(dāng)擴充知識面了。

                  陳爾冬-新浪的私有云平臺
                        這哥們兒真的很帥,講的也很好,新浪的SAE和內(nèi)部的私有云還是不錯的,10月份他們會來杭州參加QConHangzhou,到時候再好好聊聊。
                        我記錄了一些數(shù)據(jù)
                        私有云有4000+機器
                                 每日100億動態(tài)請求
                                 每日200億的數(shù)據(jù)庫請求
                                 總共運行了500個項目 
                  馬如悅-Hadoop@Baidu 
                        一個非常實在憨厚的哥們兒,我也是記錄了一些數(shù)據(jù)     
                       目前Hadoop集群有1.5w node, 年底大概3-4w臺, 明年會到達(dá)10w臺
                       整個集群input data/per day >10PB  google  1,20萬機器,30PB
                       Hadoop一共分了10個clusters
                       最大的cluster 3000 nodes
                       1.5億文件+1.5億塊+2000個節(jié)點:重啟花費40分鐘
                       baidu-hdfs2-arch 把namespace跟文件管理分開,上面的相當(dāng)于 一個規(guī)則服務(wù)器
                       針對不同的需求分來處理,比如throughtput 、realtime 等;追求不同,側(cè)重點就要不同
                  總體來說,IT168架構(gòu)師大會,和QConBeijing以及將要舉辦的QConHangzhou還有Velocity China相比,我感覺整體質(zhì)量稍微弱些。當(dāng)然,這僅僅是從我個人的角度來說,從內(nèi)心來說,希望IT168架構(gòu)師大會越辦越好,提供一個好的平臺給技術(shù)人員交流、提高。




                
          posted on 2011-09-18 21:23 曾憲杰_頂天 閱讀(695) 評論(0)  編輯  收藏 所屬分類: 雜談

          只有注冊用戶登錄后才能發(fā)表評論。


          網(wǎng)站導(dǎo)航:
           
          主站蜘蛛池模板: 杨浦区| 鞍山市| 长春市| 安溪县| 武强县| 错那县| 宣武区| 绩溪县| 五指山市| 津南区| 偏关县| 黄冈市| 宜昌市| 海宁市| 建宁县| 甘孜| 清涧县| 简阳市| 临清市| 佛学| 通海县| 永康市| 鹿泉市| 卢氏县| 古交市| 蒲江县| 乌拉特前旗| 肃北| 武城县| 从化市| 宜君县| 云林县| 韶关市| 镇康县| 旬阳县| 永善县| 吉首市| 仙游县| 尚志市| 漾濞| 扶风县|