Kun AI-mallit kehittyvät triljoonan parametrin asteikkojen ulkopuolelle, teollisuus vaatii äärimmäistä suorituskykyä ja kapasiteettia. Syötä NVIDIA H100 96 Gt PCIE OEM-tehokkain PCIE-pohjainenGPUAina luotu, yhdistämällä Hopper-arkkitehtuuri, 96 Gt erittäin nopeaa HBM3-muistia ja FP8: n tarkkuuski
Rakennettu suurille malleille, joita tukee reaalilukuja
96 Gt HBM3: lla aluksella, tämäGPUon suunniteltu käsittelemään:
GPT-4, Claude 3, Gemini 1.5, Llaama 3-400B
Multimodaaliset LLM: t ja diffuusiomallit (video, visio, ääni)
Reaaliaikainen, matalan viiveen AI-päätelmä mittakaavassa
Yritysluokan mallin hienosäätö (Rag, SFT, Lora)
Tärkeimmät tekniset tiedot:
Muisti: 96 Gt HBM3, kaistanleveys jopa 3,35TB/S
Tensorin suorituskyky: jopa 4000 TFLOPS (FP8) muuntajamoottorilla
Peak FP16 -suorituskyky: Yli 2000 TFLOPS
PCIE -käyttöliittymä: PCIE Gen5 X16
Arkkitehtuuri: Nvidia Hopper (H100)
Suorituskykytiedot:
NVIDIA: n sisäisissä vertailuarvoissa H100 96 Gt: n PCIe saavutti:
Jopa 3,5 × nopeampi GPT-J-harjoitus vs. A100 80 Gt: n PCIe
2,6 × korkeampi LLM -päätelmän läpimenoaika vs. H100 80 Gt
Tehokas moni-instance GPU (MIG) -tuki, joka mahdollistaa turvalliset AI-as-palvelun työmäärät yhdellä kortilla
OEM -etu: Sama voima, älykkäämpi hankinta
H100 96 Gt: n PCIe OEM -versio tarjoaa samanlaisen laskennallisen suorituskyvyn kuin vähittäiskaupan mallit, mutta huomattavasti pienemmällä TCO: lla. Täydellinen:
GPU -palvelinintegraattorit
Cloud AI -palveluntarjoajat
Kansalliset laboratoriot ja yliopistoklusterit
AI -siru -vertailualustat
OEM -version kohokohdat:
100% upouusi GPU: t
Irtotavarapakkaukset tai antisistaattiset suljetut yksiköt
Globaali yhteensopivuus (Supermicro, Dell, ASUS, Gigatavun alustot)
Joustava takuu (1–3 vuotta määrän perusteella)
Saatavana äänenvoimakkuuden lähetyksiin
Käyttötapaukset: äärimmäinen AI, missä tahansa
LLM-koulutus ja viritys-Finetune suuret mallit sisäisesti, vältetään julkiset pilvikustannukset
AI -infrastruktuurin päivitys - Korvaa A100 -solmut 2–3 × suorituskyky wattia kohti
AI-päätelmät-palveluna (AIAAS)-Tarjoile tuhansia istuntoja käyttämällä MIG: tä tai säiliöitä
Lääketieteellinen AI-tarkkuuskuvaus, lääkkeiden löytäminen, reaaliaikainen diagnostiikka
Autonomiset järjestelmät-Multi-anturi-fuusio, simulointi ja politiikan oppiminen
"Yksi H100 96 Gt: n PCIE voi vastata tai ylittää useita A100-arvoja muuntajapohjaisissa työmäärissä-vähentäen klusterin kokoa, virrankäyttöä ja kustannuksia." - Nvidia, 2024 WhitePper
