久久麻豆精品,精品视频免费看,午夜精品久久久久久久四虎美女版

推理性能提升10倍，成本下降一半！第四范式發(fā)布大模型推理加速卡、推理框架

2024-03-18

為破解大模型推理中GPU顯存瓶頸，第四范式發(fā)布了大模型推理框架SLXLLM以及硬件版本的推理加速卡4Paradigm Sage LLM Accelerator（簡(jiǎn)稱SLX）。通過多任務(wù)共享存儲(chǔ)及處理優(yōu)化技術(shù)，大模型推理性能提升10倍；在模型效果無損情況下，同樣使用8張24G顯存GPU對(duì)6B/7B大模型進(jìn)行FP16推理，可部署的模型數(shù)量從8增至16，GPU利用率從55%最高提升至100%，推理成本僅為原來的一半。值得一提的是，該能力也將集成在4Paradigm Sage AIOS 5.0中，推動(dòng)大模型落地應(yīng)用。

當(dāng)前，業(yè)界公認(rèn)的大模型推理主要瓶頸之一是GPU顯存瓶頸。同算力一樣，顯存是衡量GPU性能的關(guān)鍵指標(biāo)之一，用于存儲(chǔ)計(jì)算結(jié)果、模型參數(shù)等數(shù)據(jù)。在大模型推理的過程中，往往因?yàn)轱@存受限，導(dǎo)致GPU的算力無法被“全部激活”用于推理過程，GPU算力利用率較低，大模型推理成本居高不下。

為此，第四范式發(fā)布了大模型推理框架SLXLLM以及推理加速卡SLX，在二者聯(lián)合優(yōu)化下，在文本生成類場(chǎng)景中，大模型推理性能提升10倍。例如在使用4張80G GPU對(duì)72B大模型進(jìn)行推理測(cè)試中，相較于使用vLLM，第四范式使用SLXLLM+SLX的方案，可同時(shí)運(yùn)行任務(wù)數(shù)量從4增至40。此外，推理加速卡SLX也可兼容TGI、FastLLM、vLLM等主流大模型推理框架，大模型推理性能提升約1-8倍。

企業(yè)智能化轉(zhuǎn)型，第四范式助您一臂之力

咨詢售前顧問咨詢熱線：400-898-7788

4Paradigm SHIFT

4ParadigmSage

4Paradigm SHIFT

4Paradigm AlGS

關(guān)于第四范式

投資者關(guān)系