高性能計算(HPC)的可擴展性和普遍性正在深入日常生活
2021-11-25 07:58:00 來源:環球網
高性能計算(HPC)的可擴展性和普遍性正在深入日常生活。現階段,超級計算已經推動了科學探索的發展,并能夠幫助解決氣候變化和慢性病治療等關鍵問題。
而在具體應用方面,高性能計算與產業的結合越發緊密。從金融到醫療,越來越多的數據分析,需要高性能計算的強力支撐以獲得更快更穩定的解決方案。
11月23日,青云科技對外發布QingCloud EHPC產品,基于青云公有云IaaS平臺、PaaS平臺的云基礎設施,為用戶主要提供公有云服務,為有需求的用戶提供專屬云和混合云等多種形態的產品。
在接受記者采訪時,青云云平臺&服務部高級總監陳海泉表示,青云的超算云平臺可以完美地支持大數據和人工智能融合的超算業務,并且以云服務的方式提供,讓超算資源更便捷地交付給用戶。
提供多場景適配
據QingCloud EHPC 產品經理苗慧介紹,此次推出的QingCloud EHPC高性能計算平臺應對的是生命科學、CAE仿真、海洋氣象等相關領域的高性能計算需求,提供豐富多樣的使用模式,適配多種應用場景。通過統一管理的平臺,使不同領域的工程師、研究人員可以突破本地的HPC基礎設施限制,快速開始云上創新。
QingCloud EHPC 提供云上超算 SaaS化服務,方便快捷讓作業運行起來。通過青云的彈性公網IP、公網帶寬,將數據進行快速的上傳、下載,與本地數據同步。
從客戶群來看,QingCloud EHPC覆蓋青云的終端用戶,從云上計算到云下結果產出的一個全流程計算服務平臺,青云的用戶可以在幾分鐘內,將云上工作快速運行起來,快速完成計算作業。
從服務構架來看,QingCloud EHPC的服務架構主要分為三層,分別是資源層、管理層和用戶端。
資源層主要包含青云的計算、存儲和網絡資源,以及相應的后臺調度器、調度管理平臺以及可視化服務平臺。
管理層主要提供SaaS化的服務,從開始作業到作業運行結束,系統將自動進行折扣信息計算、計量計費和作業監控服務,能夠保證用戶進來之后,對團隊項目、團隊項目權限等相應的管理。
用戶端是用戶控制臺,用戶可以進行創建集群、管理集群、彈性伸縮、作業提交、作業編排、作業性能分析。通過用戶控制臺,用戶可以很方便地操作作業。
從產品的構架來看,QingCloud EHPC能夠從資源層上提供高效的資源,從管理層上提供方便快捷的管理服務,從用戶端上提供交互使用體驗優秀的用戶控制臺。
同時,QingCloud EHPC采用彈性伸縮的計算節點:在業務運行高峰期,青云可以將計算節點的數量進行擴容,或將計算節點的配置進行提高;在低峰期,可以根據作業量進行縮容。這樣的安排將會大大減少資源投入的費用,提高資源利用效率,為用戶提供更加友好的解決方案。
多技術融合 應對新挑戰
苗慧透露,QingCloud EHPC 有豐富的應用軟件。青云研究傳統的超算中心和現在的云服務廠商后,通過青云的技術,將大規模開源軟件及商用軟件放到共享軟件目錄上,用戶可以達到即來即用的情況,同時可以輔助用戶安裝與使用。青云提供的300多款軟件中,既覆蓋了像常用的MPI庫、數學軟件等資源,也覆蓋了分子生物學、新能源、新材料、大氣海洋環境、地球、物理等多行業領域。
事實上,從QingCloud EHPC的產品特性,可以看出高性能計算與云計算的融合趨勢。
高性能計算的用途廣泛,最核心的是用來模擬世界萬物。宏觀上,可以通過衛星圖像、遙感數據、氣象數據利用高性能計算來模擬地球、海洋和氣侯;微觀上,能模擬分子原子來了解生命的原理,使藥物的研發更快速、更精確。
在此背景下,作為前沿科技的高性能計算開始走出高校,進入行業,實現了更多的場景應用落地。與此同時,受益于技術的演進,高性能計算與大數據人工智能和云計算的融合越發明顯。
在醫藥領域,新冠疫情加速了大數據在醫藥和生命科學上的應用,促進了核酸疫苗和核酸藥物的研發。在金融領域,大數據和人工智能與超算相結合,對各種層面和維度的數據進行分析,通過深度學習技術訓練出模型,應用在風控上,可以讓壞賬率降低35%。
針對大數據、人工智能與超算融合的場景,對超算提出了一定的挑戰。主要體現在,存儲容量比以前大很多,不同類型的業務對存儲的要求也不一樣。因此超算中心需要對不同的業務提供合適的存儲類型。
早先的超算中心圍繞計算資源建設,容量有限、存儲類型單一,難以支撐大數據的場景。而新一代的超算中心有些已經配備了強大的容量,可以承接仿真建模類大數據的業務,但由于超算中心本身提供的服務比較單一,也無法承載大數據業務需求。
同時,隨著人工智能應用的爆發,對超算中心又提出了新的需求:充足的GPU資源以及相應的軟件框架。這些業務往往希望用云原生的方式來部署和運行。因此,這對以 Slurm 調度器為主的超算中心也是一個很大的挑戰。
因此,青云希望將適應了人工智能、大數據和超算的基礎設施,在適用不同業務的同時能夠做到盡量復用。這也是此次青云推出EHPC超算云—— QingCloud EHPC的一個初衷,可以全面地支持各種新的業務場景。
解決行業痛點
據了解,此次推出的高性能計算平臺,對于超算最常見的仿真和建模業務,青云提供了低延時、高帶寬的InfiniBand網絡,高速并行文件存儲以及CPU/GPU的算力組合,不僅能支持大規模求解運算,還能提供 GPU 桌面進行圖形前后處理,完成一個閉環的業務場景。
對于大數據業務,QingCloud云平臺提供的對象存儲容量達 245PB,跟計算節點結合,可以用于大規模的數據處理和分析。計算節點到對象存儲的網絡帶寬有1.6T,能夠保證大數據計算的超高性能。
對于人工智能訓練業務,青云提供算力達850PFlops的A100 GPU資源池和全閃并行文件存儲,并且能夠結合容器平臺,提供性能極致優化、輕量便捷、開源開放的人工智能平臺。
此外,QingCloud EHPC還解決了超算中心的另一個痛點——使用方式。傳統的超算中心用戶,在使用時,需要提交申請,并且有人工審批的環節,用戶得到審批通過后,還需要自己安裝VPN客戶端連接超算中心提供的登錄節點。
超算中心的登錄節點往往是很多用戶共享的。共享的節點有兩個問題:一是超算中心為了保證其自身安全,不提供 root 權限,給安裝軟件帶來一些麻煩。二是Linux隔一段時間就會暴露出一些系統漏洞,如果被用戶利用得到root權限,則能竊取平臺上其他用戶的數據。
“所以,不方便和不安全這兩個問題,需要用云平臺與高性能計算結合解決。”陳海泉表示,青云云平臺帶來的一個最大的變化是,把傳統的審批制度變成用戶自服務的形式,用戶隨時可以自己到云平臺注冊賬號,并且充值購買他需要的計算資源。
青云保障安全的同時,還能讓整個超算使用很靈活,陳海泉介紹到,青云提供了兩種不同類型的超算集群:偏傳統的共享型超算集群和獨享EHPC集群。
“青云有一個愿景,希望跟超算中心合作共建算力共享的算力網絡,為超算中心私有化部署的同時,以云平臺連接全網算力提供外部資源支撐突發業務,避免排隊。當超算中心自己的資源空置時,也可以對外出售算力增加運營收入。”陳海泉說道。
標簽: 普遍性,正在,深入,高性能計算
相關閱讀
精彩推薦
- 農業農村部:對農業科創企業支持貸款規模提2022-03-04
- 不下載APP不給看全文?工信部:立即整改!2022-03-04
- 持續增強中小企業發展信心2022-03-04
- “建議取消中小學生各種藝術考級”引熱議 2022-03-04
- 全國政協委員丁磊:建議加速鈉離子電池等新2022-03-04
- 電腦忘記密碼怎么辦?教你一招,半分鐘就能2022-03-04
- “大媽”排隊買金場景難再現2022-03-04
- 不下載APP不給看全文?工信部:立即整改!2022-03-04
- 愛看評論 愛比價格 這代年輕人購物有個性2022-03-04
- “互聯網一代”開啟新節儉模式2022-03-04
- “全過程人民民主”“動態清零”……兩會全2022-03-04
- 創意微視頻|微光2022-03-04
- 數評兩會:21億劑!一個負責任大國的擔當2022-03-04
- 微視頻 | 你聽,被愛著的感覺,真好!2022-03-04
- 【代表委員話三農】宋豐強:聚焦黃河綠色發2022-03-04
- 有事好商量丨小巷里的懇談會2022-03-04
- 非本人原因被安排到新用人單位,工齡如何計2022-03-04
- 工地發放工資卡“不符合要求”,只能去指定2022-03-04
- 騎車下班途中“自摔”受傷,難以認定為工傷2022-03-04
- 女性平等就業權相關法律有哪些?怎么規定的2022-03-04
- 數據統計:《艾爾登法環》在Steam上售出1002022-03-04
- 張業遂:中國是對外提供疫苗最多的國家2022-03-04
- 統計局:2021年我國參加失業保險人數達22958萬2022-03-04
- 北京出臺工程建設領域農民工工資支付綜合監2022-03-04
- 元宇宙概念異動,這些產業或將率先落地,投2022-03-04
- 國投羅鉀助力沃柑種植,為大理再添一抹亮色2022-03-04
- 軍工股走強,俄烏沖突催化裝備發展,行業成2022-03-04
- 劉永好:多舉措節糧提效保障糧食和耕地安全2022-03-04
- APP“脅迫下載”只會自砸招牌2022-03-04
- 首筆數字人民幣碳信用交易在成都完成2022-03-04