級別： 初級
Edna Nerona (edna@legacystudios.biz), 顧問, Legacy Studios, Inc.
2007 年 8 月 09 日
之前，我們向您提供了一份 “網格開發人員推薦閱讀清單” 和 “面向網格開發人員的入門級開源工具”。現在我們又編著了一份代表網格計算未來發展的產品項目和組織清單。本文提供了在目前在不同領域（例如癌癥研究、天文學和物理學）中開展的項目的詳細清單。本文還介紹了工具包、安全性和數據管理。它們都是從各種在線資源獲得，向程序員、管理員和新用戶介紹了與使用、部署和開發網格基礎設施有關的具體信息和項目。
開發網格的組織
本節將介紹開發網格產品的組織，它們所解決的問題，以及它們是如何影響網格技術的。網格部署產品可以劃分為幾類：通用網格、科學和社區網格、國家網格、地區網格和大學網格。
國家和國際通用網格
- Distributed European Infrastructure for Supercomputing Applications
- 作為一個領導國家超級計算中心的協會，DEISA（Distributed European Infrastructure for Supercomputing Applications）部署并操作了一個具有安全產品質量的分布式超級計算環境。通過增強歐洲在高性能計算方面的能力，該研究組織促進了各種科學和技術領域中的科學發現。DEISA 對現有國家高端平臺進行了高度集成，使用了專用的網絡，并獲得了新型系統和網格軟件的支持。
- DutchGrid
- 成立于 2000 年，DutchGrid 擁有很多成功的研究成果和計劃，跨越多個科學協作領域。作為一個學術和研究網格計算的開放平臺，DutchGrid 為荷蘭的網格用戶提供了可全球識別的身份證書。DutchGrid CA 是一個完全中立的項目。任何非盈利的研究人員和學術界用戶都可以獲得個人和服務器或主機證書來使用網格應用程序。
- Enabling Grids for E-science
- Enabling Grids for E-science （EGEE）項目將來自 32 個國家的 90 多個機構的科學家和工程師組織在一起，為科學家使用的電子科學（e-scinece）提供了一個無縫的網格基礎設施。EGEE 網格包含了超過 30,000 個 CPU，它們可以一周 7 天、每天 24 小時地使用，另外還提供了大約 5 PB（5 百萬個 GB）的存儲空間，平均要維護 30,000 個并發作業。擁有如此眾多的資源改變了科學研究所采用的方法。EGEE 是由歐盟建立的一個為期 4 年的項目。
- Grid5000
- Grid5000 項目的目標是建立一個高度可配置的具有可控性并可監視的實驗網格平臺，網格研究人員可以使用它來試驗從網絡協議層到應用程序層之間的所有軟件。Grid5000 將法國地理上分布的 9 個城市連接在一起，提供了 5,000 個 CPU。這 9 個城市包括：Bordeaux、 Grenoble、 Lille、 Lyon、 Nancy、 Orsay、 Rennes、 Sophia-Antipolis 和 Toulouse。
- LA Grid
- LA Grid 的發音是 “lah grid”，它是第一個全面的計算網格，將來自美國、拉美和西班牙各個機構的職員、學生和研究人員聯系在一起，協作開發可滿足醫療服務行業內商業和社會需求的復雜行業應用程序。除了大學之外，LA Grid 還吸引了全球工業界的參與，從而增強了在很多領域內的創新，包括衛生保健、生命科學和颶風災難以及災難防御。
- Open Science Grid
- Open Science Grid （OSG）是科學研究使用的一個分布式計算基礎設施。OSG 聯盟是惟一一個由各大學、國家實驗室、科學協作組織和軟件開發人員將海量計算和存儲資源組成一個共享的統一網絡基礎設施的聯盟。
- TeraGrid
- TeraGrid 是由 National Science Foundation 創建的一個開放科學研究基礎組織。將 9 個合作站點的業界領先的資源組合起來，TeraGrid 創建了一個集成的持久計算資源。通過采用國家專用網絡的一條高速千兆網絡彼此連接，TeraGrid 提供了超過 150 teraflops 的計算能力、以及接近 2 PB 的循環存儲空間、無數的科學數據集、專用的數據分析工具、科學網關、以及用來簡化對有價值資源和可視化資源訪問的用戶門戶。
科學和社區網格
- AstroGrid
- AstroGrid 是一個開源項目，它的建立是為英國和國際天文學家創建一個工作用的虛擬天文臺（Virtual Observatory，VO）。AstroGrid 是由英國政府建立，它通過 International Virtual Observatory Alliance （IVOA）與國際上其他 VO 項目緊密協作。作為這個社區的領導成員之一，AstroGrid 提供了國際通用的接口標準，用來促進天文數據的科學集成，并在全球范圍內處理資源。
- cancer Biomedical Informatics Grid
- cancer Biomedical Informatics Grid （caBIG）是一個自發組織的網絡或網格，它將個人和機構聯系在一起，可以共享很多數據和工具，它創建了一個全球范圍的癌癥研究資源。caBIG 的目標是為了加速癌癥預防和治療方面的創新方法的迅速問世。caBIG 所創建的基礎設施和工具在癌癥社區之外也有很廣泛的應用。caBIG 目前正在 National Cancer Institute 的 Center for Bioinformatics 的領導下進行開發。
- International Virtual Data Grid Laboratory
- International Virtual Data Grid Laboratory （iVDGL）是一個全球的數據網格，用于物理和天文領域的前沿實驗。它的計算、存儲和網絡資源分布于美國、歐洲、亞洲和南美，提供了一個獨特的實驗環境，可用來測試和驗證國際的和全球范圍的網格技術。位于歐洲和美國的站點通過一個由 European DataTAG 項目創建的數千兆每秒的跨越大西洋的鏈接鏈接在一起。
- World Community Grid
- World Community Grid 的使命是創建全世界最大的公共計算網格，研究對人類有益的項目。World Community Grid 的成功在于：集合了個體為實現更美好的世界而貢獻出的未用的計算時間。World Community Grid 正在研究一些公共和非盈利組織才能使用的技術，從而開展一些人道主義研究；如果沒有公共網格，高昂的計算基礎設施將使研究無法完成。
- Worldwide Large Hadron Collider Computing Grid
- Worldwide Large Hadron Collider（LHC）Computing Grid 的目的是處理 2007 年前 CERN 的 LHC 所開展的實驗所產生的空前數據量。LHC 開展的實驗的計算需求極為龐大。每年大概會生成 12 到 14 PB 的數據，這大約相當于 2 千萬張 CD。對這些數據進行分析大約需要 70,000 臺目前最快的 PC。通過部署一個全球范圍的計算網格，將分布在歐洲、美國和亞洲的科學計算中心的資源集成到一個全球虛擬化計算服務中，LHC Computing Grid 可以滿足這些需求。
美國地區的網格
- Northwest Indiana Computational Grid
- Northwest Indiana Computational Grid（NWICG）是來自 Purdue University-West Lafayette、 Purdue University-Calumet 和 University of Notre Dame 的合作研究和教育組織。NWICG 重點關注的是國家科學和研究活動，其創建的網絡基礎設施可以支持重大問題的解決方案，以及在高性能計算底層技術領域啟用保持世界領先的技術。它們正在 Department of Energy's Argonne National Laboratories 的協助下，在這 3 個大學之間為 Northwest Indiana 開發一個可擴充的高速、高帶寬的科學驅動計算網格。
- SURAGrid
- Southeastern Universities Research Association（SURA）是一個組織協作聯盟，它合并各種資源以將網格技術上升到無縫的共享基礎設施。SURAgrid 著重關注的是對大量分布式能力的直接訪問，從而用于研究和教育社區。SURAgrid 促進了以下領域的開發：所貢獻的資源、項目特有的工具和環境、高度專門化訪問、通往國家和國際的網絡基礎設施網關。
- Texas Internet Grid for Research and Education
- Texas Internet Grid for Research and Education （TIGRE）項目的使命是將整個得克薩斯州的計算系統、存儲系統、數據庫、可視化實驗和顯示以及儀器和傳感設備整合在一起，創建一個計算網格。通過集成強大的計算能力，為得克薩斯州在學術、政府以及工業界的研究人員提供增強的計算能力，TIGRE 希望能夠對生物醫學、能源和環境、航空宇宙、材料科學、農業和信息技術的進步提供幫助。
開源網格項目
這些網格項目覆蓋了很多領域，包括網格基礎設施工具包、中間件工具包、數據工具、安全等。下面給出了一些迅速發展的網格項目和工具。經常訪問這些站點可以了解有關它們領導網格技術不斷發展的最新消息。
網格基礎設施項目
幫助建立自己網格的開源網格基礎設施項目。
- Berkeley Open Infrastructure for Network Computing
- Berkeley Open Infrastructure for Network Computing （BOINC）是項目使用的一個軟件平臺，例如 distributed.net 和 SETI@home，它使用了數百萬臺志愿者計算機組成一個并行的超級計算機。可以獲得該平臺的源代碼，并且鼓勵感興趣的 C++ 開發人員幫助開發平臺代碼。BOINC 目前可以支持 Windows®、Linux®、UNIX® 和 Mac OS X。 CPU 平臺的需求可能在使用 BOINC 的項目客戶機之間會有所不同。
- Uniform Interface to Computing Resources
- Uniform Interface to Computing Resources（UNICORE）提供了一個可隨時運行的網格系統，包括客戶機和服務器軟件。UNICORE 讓分布的計算和數據資源在內部網和互聯網上以一種無縫的安全方式使用。UNICORE 設計的重點是幾個核心原則：無縫訪問異構環境、安全性、站點自治、易于使用的強大的 GUI 客戶機，以及可以進行簡單安裝的快速啟動包。
網格中間件項目
以下項目已經為美國和國際項目提供了一些高級工具，可以簡化訪問大量網格功能，例如計算、可視化和存儲資源。您可以與不同的網格進行交互，或者為自己的網格進行定制。
- gLite
- gLite 是網格計算使用的下一代中間件，它誕生于 12 個學術機構和行業研究中心的 80 多個工作人員的聯合努力，是 EGEE 項目的一部分。gLite 充分利用分布在 Internet 上的計算和存儲資源，為構建網格應用程序提供了一個最佳框架。
- National Research Grid Initiative
- National Research Grid Initiative（NAREGI）位于日本，它著重于網格中間件的研究和開發，為廣泛分布的、高級研究和教育目的實現大規模的計算環境。
- Ninf-G
- Ninf 也是日本的一個項目，正在開發編程中間件，使用戶能夠通過一個簡單易用的接口來訪問各種資源，例如網格中的硬件、軟件和科學數據。Ninf-G 是一個開源軟件，支持開發和執行分布式計算資源中使用 Grid Remote Procedure Call（GridRPC）的啟用網格的應用程序。
- NorduGrid
- NorduGrid 中間件，也稱為 Advanced Resource Connector（ARC），是一個按照 GPL 許可發布的開源軟件解決方案，可以實現保證產品質量的計算和數據網格。ARC 為基本網格服務提供了一個可靠實現，例如信息服務、資源查找和監視、作業提交和管理、代理和數據管理，以及資源管理。大部分服務都是通過 GSI 的安全層提供的。中間件是在諸如 OpenLDAP、OpenSSL、SASL 和 Globus Toolkit（GT）之類的開源解決方案基礎上構建的。
- OGSA-DAI
- OGSA-DAI 項目著重關注的是中間件的開發，從而有助于對網格中不同來源的數據進行訪問和集成。這個項目與 Globus、OMII-Europe、NextGRID、SIMDAT 和 BEinGRID 緊密協作，確保 OGSA-DAI 軟件可以在各種網格環境中很好地工作。
- ProActive
- ProActive 是 Java™ 網格中間件庫（其開源代碼具有 LGPL 許可），可用于進行并行、分布式和多線程計算。通過采用一個簡單元語的精簡集，ProActive 提供了一個詳盡的 API 來簡化網格計算應用程序的編程，這些程序均分布在 LAN、工作站集群和 Internet 網格中。
安全項目
為了保護重要的基礎設施和信息，安全性需求一直以來都隨網格計算的發展而演變。這些項目代表了一些網格安全解決方案的一些最先進的安全標準和實現。
- GridShib
- GridShib 是在 NCSA 和 University of Chicago 之間開展的由 NFS 創建的項目，用來將聯合授權基礎設施（Shibboleth）與網格技術（Globus Toolkit）進行集成，從而為分布的科學社區提供基于屬性的授權。
- Grid User Management System
- Grid User Management System（GUMS）是一個網格身份映射服務（Grid Identity Mapping Service）。當站點資源不使用本地網格憑證，而是使用一種不同的機制來標識用戶時（例如 UNIX 帳號或 Kerberos 準則），就需要使用身份映射。
- PRIvilege Management and Authorization
- PRIvilege Management and Authorization（PRIMA）是一個提供增強的網格安全的系統。PRIMA 是一個全面的網格安全模型和系統。在 PRIMA 中，特權是一種與平臺無關的、細粒度權限的自包含表示。PRIMA 通過從資源內部表示來具體化對資源對象的細粒度訪問權限實現了特權的平臺無關性。
資源管理和調度
網格的一個基本部分就是在資源之間管理和調度作業。下面這些項目展示了有關的一些策略。
- Community Scheduler Framework
- Community Scheduler Framework（CSF）是一個基于 OGSA 的元調度器的開源實現。它可以支持最新的 WS-Agreement 規范和 Globus Toolkit 的 GRAM 服務。CSF 填補了現有資源管理現狀的不足，并集成了 Platform LSF 和 Platform Multicluster。CSF 開源項目已經包括到了 Globus Toolkit V4.0 發行版中。
- Special Priority and Urgent Computing Environment
- 高性能建模和仿真在決策制定和預測方面起到了推動作用。對于時間關鍵型的應急應用程序，例如災害天氣預報、洪水建模、流感建模，任何延時會使結果變得毫無用處。這需要使用專用的基礎設施快速、自動而且可靠地提供計算資源。Special Priority and Urgent Computing Environment（SPRUCE）是一個用來在傳統超級計算機和分布式網格上支持緊急或事件驅動計算的系統。
網格資源監視
對資源和應用程序的監視是網格成功的關鍵。通過一個簡單易用的接口，這些復雜工具可以幫助用戶搜集、分類和監視各種類型的資源。另外，系統管理員還可以監視網格的健康狀況。這些不斷發展的網格項目列出了幾個開源選擇。
- GridCat
- GridCat 是一個在地理圖上使用狀態點以及編目的高級網格編目系統。這個圖可以幫助調試站點問題。編目中包含了有關站點的準備信息，以及每個站點的很多其他有價值的信息，幫助應用程序用戶和網格調度器開發人員進行作業提交和作業調度。GridCat 嘗試在其最簡單的狀態表示中表示網格站點。
- Gridscape II
- Gridscape II 是一個定制的門戶組件，可以在其自身的網格門戶中使用，也可以插入到現有網格門戶中。Gridscape II 負責從各種異構和分布式資源中搜集信息，并在單個界面中無縫地將它們呈現出來。它充分利用了 Google Maps API 來提供一個高交互性的用戶界面。Gridscape II 非常簡單易用，為那些不希望大量投資以從頭開始開發自己的監視門戶的用戶提供了一個解決方案，也為那些希望簡化定制內容的用戶提供了一種解決方案。
存儲和數據管理
從開源高性能文件系統到無縫地訪問異構環境中的數據，以下項目集合了各種存儲和數據管理解決方案并進行了優化。這種趨勢強調的是資源之間的數據存儲、管理和移動，以及通過網絡對數據資源的連接。
- Lustre
- Lustre File System，這是一個來自 Cluster File Systems Inc. 的高性能開源文件系統，它是一個分布式文件系統，消除了很多傳統分布式文件系統中存在的性能、可用性和可伸縮性問題。Lustre 是一個高度模塊化的下一代存儲架構，它將現有的開放標準、Linux 操作系統和創新協議組合成一種可靠的、網絡中立的數據存儲和檢索解決方案。通過在集群和數據共享環境中提供高 I/O 吞吐量，Lustre 還提供了與物理存儲上的數據位置無關的獨立性，防止單點失效，并且可以從集群的重新配置和服務器或網絡故障中快速恢復。
- NeST
- NeST 是一個軟件網絡存儲設備，為特定時間段提供了安全的存儲分配。分配單元或份額（lot）的大小和持續時間可以在 NeST 和用戶或應用程序之間進行協商。這些份額的大小也可以擴充，時間可以擴展，或者劃分成不同的層次。另外，NeST 還為份額和文件訪問提供了訪問控制列表。NeST 提供了多種協議接口，包括內部使用的 Chirp、HTTP 和 GSI-FTP。
- SAMGrid
- SAMGrid 是一個通用數據處理系統，它被設計為用來測試大量數據（PB 級）集和廣泛分布的產品和分析工具的一個關鍵設備。當前產品的組件提供了大量的服務，可用于分布式系統中的數據傳輸、數據存儲和進程記錄。
- UberFTP
- UberFTP 是在 GridFTP 基礎上構建的，它是第一個啟用 GridFTP 的交互式 FTP 客戶機。基本的 GridFTP 客戶機不是可交互式的，它一次只允許傳輸一個文件。UberFTP 提供了交互式工具，工作方式與流行的 NCFTP 工具類似。它支持 GSI 認證、并行數據通道以及第三方傳輸功能。
結束語
網格計算是最令人興奮的技術之一，它在很大程度上影響了我們解決復雜問題和共享各種資源的方式。除了癌癥和物理學之外，它對于安全和認證、查找、監視、信息服務、數據管理、資源管理和調度也有重大影響。
參考資料
學習
獲得產品和技術
- 請下載 IBM 產品評測版，嘗試使用來自 DB2®、Lotus®、Rational®、Tivoli® 和 WebSphere® 的應用程序開發工具和中間件產品。
- 使用 IBM 試用軟件 改進您的下一個開源開發項目，這些軟件可以從 developerWorks 下載或從 DVD 獲得。
討論
關于作者
 |
|
|
|
Edna Nerona 是 Legacy Studios，Inc. 的所有人，這是一家位于 San Diego 的創新服務公司。她擁有 San Diego State University 的新聞學學士學位，曾經在 San Diego Supercomputer Center 和 Entropia，Inc. 工作過。她還是 Toastmasters International 的一名多才多藝的發言人。
|
來自: http://www.ibm.com/developerworks/cn/grid/gr-gridorgs/