老黃給H100“打雞血”：英偉達(dá)推出大模型加速包，Llama2推理速度翻倍
與多家AI頭部公司合作
克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
大模型的推理速度，僅僅一個(gè)月就提高了一倍！
英偉達(dá)近日官宣給H100推出了“雞血包”——專用于LLM推理的加速程序。
或許這下可以不用空等明年才能交付的GH200了（手動(dòng)狗頭）。
GPU的運(yùn)算能力一直影響著大模型的表現(xiàn)，無(wú)論是硬件提供者還是使用者都希望能算得更快些。
而作為大模型背后硬件的最大供應(yīng)商，英偉達(dá)一直在研究怎么給大模型硬件加速。
通過(guò)與多家AI公司合作，英偉達(dá)終于推出了大模型推理優(yōu)化程序TensorRT-LLM(暫且簡(jiǎn)稱TensorRT)。
TensorRT不僅能讓大模型的推理速度翻番，使用起來(lái)也十分方便。
無(wú)需深入了解C++和CUDA，也能快速定制優(yōu)化策略，在H100上更快地跑大模型。
英偉達(dá)科學(xué)家范麟熙(Jim Fan)轉(zhuǎn)發(fā)并評(píng)論稱，英偉達(dá)的“另一項(xiàng)優(yōu)勢(shì)”就是可以最大化利用GPU性能的配套軟件。
英偉達(dá)通過(guò)軟件給產(chǎn)品打雞血，仿佛在實(shí)踐老黃的那句“買的越多省的越多”，但這也并不妨礙有人嫌貴：
除了價(jià)格，也有網(wǎng)友對(duì)其運(yùn)行效果提出了質(zhì)疑：
我們總是看到(宣傳中的)多少倍的性能提升，但自己運(yùn)行Llama 2的時(shí)候每秒還是只能處理幾十個(gè)token。
到底是不是真的有效可能還需要繼續(xù)檢驗(yàn)，我們先來(lái)具體了解一下TensorRT。
大模型推理速度翻倍
TensorRT-LLM優(yōu)化之后的H100，跑大模型到底有多快呢？
英偉達(dá)的通告中給出了Llama 2和GPT-J-6B兩種模型的數(shù)據(jù)。
在優(yōu)化后的H100上，跑Llama 2的推理速度則是A100的4.6倍、八月份未優(yōu)化版H100的1.77倍。
而GPT-J-6B的推理速度是A100上的8倍、八月未優(yōu)化版的2倍。
TensorRT還提供了開(kāi)源的模塊化Python API，根據(jù)不同LLM的需求，可以快速定制優(yōu)化方案。
這個(gè)API將深度學(xué)習(xí)編譯器、內(nèi)核優(yōu)化、預(yù)/后處理和多節(jié)點(diǎn)通信功能集成到了一起。
其中針對(duì)GPT(2/3)、Llama等常見(jiàn)模型，還有已經(jīng)定制好的版本，可以“開(kāi)箱即用”。
通過(guò)TensorRT中最新的開(kāi)源AI內(nèi)核，開(kāi)發(fā)者還可以對(duì)模型自身進(jìn)行優(yōu)化，其中就包括了讓Transformer大大提速的注意力算法FlashAttention。
那么TensorRT又是如何對(duì)LLM推理速度進(jìn)行優(yōu)化的呢？
首先要得益于TensorRT對(duì)多節(jié)點(diǎn)協(xié)同工作方式進(jìn)行了優(yōu)化。
像Llama這樣龐大的模型，在單卡上是跑不起來(lái)的，需要多塊GPU一起跑才能帶動(dòng)。
過(guò)去，這一工作需要人們手工把模型拆開(kāi)來(lái)實(shí)現(xiàn)。
而有了TensorRT，系統(tǒng)可以自動(dòng)化地對(duì)模型進(jìn)行拆分，并通過(guò)NVLink在多GPU間高效運(yùn)行。
其次，TensorRT還利用了一種名為動(dòng)態(tài)批處理的優(yōu)化調(diào)度技術(shù)。
LLM在推理過(guò)程中，實(shí)際上是在多次執(zhí)行模型迭代。
動(dòng)態(tài)批處理技術(shù)會(huì)將已完成的序列立即踢出，而不是等待整批任務(wù)完成后再處理下一組請(qǐng)求。
實(shí)際測(cè)試中，動(dòng)態(tài)批處理將LLM的GPU請(qǐng)求吞吐量減少了一半，大大降低了運(yùn)行成本。
另一個(gè)關(guān)鍵點(diǎn)則是將16位精度浮點(diǎn)數(shù)轉(zhuǎn)換為8位精度，從而降低內(nèi)存消耗。
FP8與訓(xùn)練階段的FP16相比消耗的資源更低，同時(shí)精確度又高于INT-8，在提高性能的同時(shí)不影響模型的準(zhǔn)確性。
通過(guò)Hopper Transformer引擎，F(xiàn)P16到FP8的轉(zhuǎn)化編譯由系統(tǒng)自動(dòng)完成，無(wú)需人工對(duì)模型中的任何代碼進(jìn)行修改。
目前，TensorRT-LLM的早鳥(niǎo)版已經(jīng)可以下載，正式版將于幾周內(nèi)推出并集成到NeMo框架中。
One More Thing
每當(dāng)大事件出現(xiàn)，總少不了“列文虎克”的身影。
英偉達(dá)的公告中提到了“在與Meta等AI頭部公司合作”，但沒(méi)有提及OpenAI。
從這則通告中，就有網(wǎng)友發(fā)現(xiàn)了這個(gè)華點(diǎn)，并發(fā)到了OpenAI論壇上：
讓我康康是誰(shuí)沒(méi)被老黃cue到（手動(dòng)狗頭）
你還期待老黃帶給我們什么樣的“驚喜”呢？
參考鏈接：
https://developer.nvidia.com/blog/nvidia-tensorrt-llm-supercharges-large-language-model-inference-on-nvidia-h100-gpus/
相關(guān)閱讀
全是套路！英偉達(dá)千億美元投OpenAI，奧特曼拿錢買卡還讓甲骨文賺差價(jià)
英偉達(dá)+OpenAI+甲骨文，玩轉(zhuǎn)AI圈千億三角循環(huán)
英偉達(dá)一口氣開(kāi)源多項(xiàng)機(jī)器人技術(shù)，與迪士尼合作的物理引擎也開(kāi)源
直接瞄準(zhǔn)了機(jī)器人研發(fā)中最頭疼的幾個(gè)問(wèn)題
英偉達(dá)首次實(shí)現(xiàn)SDF實(shí)時(shí)3D渲染，還是細(xì)節(jié)超清晰的那種
渲染效率提升2-3個(gè)數(shù)量級(jí)
黃仁勛管理萬(wàn)億英偉達(dá)的瘋狂方法：沒(méi)有計(jì)劃、沒(méi)有匯報(bào)、沒(méi)有層級(jí)
40個(gè)直接下屬，從不開(kāi)1:1會(huì)議
