某省級(jí)城市商業(yè)銀行作為區(qū)域領(lǐng)先的金融機(jī)構(gòu)，積極擁抱人工智能（AI）技術(shù)，推動(dòng)業(yè)務(wù)創(chuàng)新與服務(wù)升級(jí)。為了推進(jìn)大模型項(xiàng)目的進(jìn)一步研究與實(shí)際應(yīng)用，銀行亟需建設(shè)一個(gè)能夠?qū)Ξ悩?gòu)算力統(tǒng)一調(diào)度管理的智算體系，盤活已有的異構(gòu)算力資源，支撐模型訓(xùn)練開發(fā)、打造推理一體化平臺(tái)。主要解決以下問題：

● 缺乏有效的資源調(diào)度策略，單卡 GPU 算力利用率低，資源浪費(fèi)問題突出。

● 資源動(dòng)態(tài)分配、多機(jī)聚合等靈活調(diào)度能力不足，難以匹配業(yè)務(wù)波動(dòng)需求。

● 開源方案穩(wěn)定性、隔離性欠佳，管理精細(xì)度不足，無法支撐大模型項(xiàng)目高標(biāo)準(zhǔn)需求。

打造金融 AI 模型訓(xùn)練推理平臺(tái)

在青云 AI 智算平臺(tái)的支撐下，銀行成功打造了一款為金融行業(yè)量身定制的 AI 模型訓(xùn)練推理平臺(tái)。該平臺(tái)將銀行現(xiàn)有算力資源集成，通過構(gòu)建統(tǒng)一調(diào)度的管理資源池化層，實(shí)現(xiàn)了 GPU 資源的統(tǒng)一調(diào)度、靈活分配、彈性伸縮等云化能力。這一創(chuàng)新解決方案不僅滿足了不同時(shí)段、不同業(yè)務(wù)對資源的需求，更為上層全棧云平臺(tái)提供了穩(wěn)定、高效的 GPU 算力資源。

從資源提效到技術(shù)升級(jí)

資源利用率顯著提高。青云 AI 智算平臺(tái)支持虛擬 GPU 和物理 GPU 的調(diào)度與共享使用，通過平臺(tái)的統(tǒng)一調(diào)度和靈活分配，銀行能夠根據(jù)不同業(yè)務(wù)需求，快速調(diào)整資源配比，同時(shí)在云原生環(huán)境下實(shí)現(xiàn)了 GPU 的共享能力，多應(yīng)用并行使用資源，實(shí)現(xiàn)了資源的最大化利用。

運(yùn)維復(fù)雜度大幅降低。通過青云AI 智算平臺(tái)自動(dòng)化、智能化的管理方式，銀行大幅降低了運(yùn)維復(fù)雜度，提高了運(yùn)維效率和工作質(zhì)量，進(jìn)一步釋放了人力。

無縫對接現(xiàn)有應(yīng)用。青云 AI 智算平臺(tái)兼容當(dāng)前 AI 應(yīng)用代碼和使用習(xí)慣，銀行無需對現(xiàn)有應(yīng)用大規(guī)模改造，即可享受平臺(tái)帶來的便利。

彌補(bǔ)技術(shù)短板。青云 AI 智算平臺(tái)在資源池化能力、國產(chǎn)芯片支持、安全隔離性等方面具有顯著優(yōu)勢，為銀行的大模型項(xiàng)目提供了強(qiáng)有力的技術(shù)支撐。