Giingon nga ang mga kompanya sa teknolohiya nag-scramble alang sa mga GPU o sa dalan aron makuha kini. Niadtong Abril, ang CEO sa Tesla nga si Elon Musk mipalit og 10,000 GPUs ug mipahayag nga ang kompanya magpadayon sa pagpalit og daghang mga GPU gikan sa NVIDIA. Sa bahin sa negosyo, ang mga kawani sa IT nagduso usab pag-ayo aron masiguro nga ang mga GPU kanunay nga gigamit aron mapataas ang pagbalik sa pamuhunan. Bisan pa, ang pipila nga mga kompanya mahimo’g makit-an nga samtang ang gidaghanon sa mga GPU nagdugang, ang pagkatapulan sa GPU mahimong labi ka grabe.
Kung ang kasaysayan nagtudlo kanato sa bisan unsa mahitungod sa high-performance computing (HPC), kini mao nga ang pagtipig ug networking kinahanglan nga dili isakripisyo sa gasto sa pag-focus pag-ayo sa pag-compute. Kung ang pagtipig dili epektibo nga makabalhin sa data sa mga yunit sa kompyuter, bisan kung ikaw adunay labing kadaghan nga mga GPU sa kalibutan, dili nimo makab-ot ang labing maayo nga kahusayan.
Sumala ni Mike Matchett, usa ka analista sa Small World Big Data, ang gagmay nga mga modelo mahimong ipatuman sa memorya (RAM), nga nagtugot sa dugang nga pagtutok sa pagkalkula. Bisan pa, ang dagkong mga modelo sama sa ChatGPT nga adunay binilyon nga mga node dili matipigan sa memorya tungod sa taas nga gasto.
"Dili nimo mahaum ang binilyon nga mga node sa memorya, busa ang pagtipig mahimong labi ka hinungdanon," ingon ni Matchett. Ikasubo, ang pagtipig sa datos kanunay nga mataligam-an sa panahon sa proseso sa pagplano.
Sa kinatibuk-an, bisan unsa pa ang kaso sa paggamit, adunay upat ka sagad nga mga punto sa proseso sa pagbansay sa modelo:
1. Model Training
2. Paggamit sa Inference
3. Pagtipig sa Data
4. Gipadali nga Pag-compute
Sa paghimo ug pag-deploy sa mga modelo, kadaghanan sa mga kinahanglanon nag-una sa dali nga pruweba-sa-konsepto (POC) o pagsulay nga mga palibot aron masugdan ang pagbansay sa modelo, nga ang pagtipig sa datos wala kinahanglan nga hatagan ug panguna nga konsiderasyon.
Bisan pa, ang hagit anaa sa kamatuoran nga ang pagbansay o pag-deploy sa inference mahimong molungtad sa mga bulan o bisan mga tuig. Daghang mga kompanya ang paspas nga nagpadako sa ilang mga gidak-on sa modelo niining panahona, ug ang imprastraktura kinahanglan nga molapad aron ma-accommodate ang nagtubo nga mga modelo ug mga datos.
Ang panukiduki gikan sa Google sa milyon-milyon nga mga karga sa pagbansay sa ML nagpadayag nga usa ka average nga 30% sa oras sa pagbansay ang gigugol sa pipeline sa data sa input. Samtang ang nangagi nga panukiduki nagpunting sa pag-optimize sa mga GPU aron mapadali ang pagbansay, daghang mga hagit ang nagpabilin sa pag-optimize sa lainlaing mga bahin sa pipeline sa datos. Kung ikaw adunay hinungdanon nga gahum sa pag-compute, ang tinuud nga bottleneck mahimo’g kung unsa kadali nimo mapakaon ang data sa mga pagkalkula aron makakuha mga resulta.
Sa piho, ang mga hagit sa pagtipig ug pagdumala sa datos nanginahanglan pagplano alang sa pagtubo sa datos, nga gitugotan ka nga padayon nga makuha ang kantidad sa datos samtang nag-uswag ka, labi na kung nangahas ka sa labi ka abante nga mga kaso sa paggamit sama sa lawom nga pagkat-on ug mga neural network, nga nagbutang sa mas taas nga panginahanglanon. pagtipig sa mga termino sa kapasidad, performance, ug scalability.
Sa partikular:
Scalability
Ang pagkat-on sa makina nanginahanglan pagdumala sa daghang mga datos, ug samtang ang gidaghanon sa datos nagdugang, ang katukma sa mga modelo usab mouswag. Kini nagpasabut nga ang mga negosyo kinahanglan nga mangolekta ug magtipig daghang mga datos matag adlaw. Kung dili masukod ang pagtipig, ang mga workload nga kusog sa datos makamugna og mga bottleneck, nga naglimite sa pasundayag ug nagresulta sa mahal nga oras nga wala’y trabaho sa GPU.
Pagka-flexible
Ang flexible nga suporta alang sa daghang mga protocol (lakip ang NFS, SMB, HTTP, FTP, HDFS, ug S3) gikinahanglan aron matubag ang mga panginahanglan sa lain-laing mga sistema, kay sa limitado sa usa ka matang sa palibot.
Latency
Ang I/O latency kritikal sa paghimo ug paggamit sa mga modelo samtang ang datos gibasa ug gibasa pag-usab sa makadaghang higayon. Ang pagkunhod sa latency sa I/O makapamubo sa oras sa pagbansay sa mga modelo pinaagi sa mga adlaw o bulan. Ang mas paspas nga pag-uswag sa modelo direkta nga naghubad sa mas daghang bentaha sa negosyo.
Throughput
Ang throughput sa mga sistema sa pagtipig hinungdanon alang sa episyente nga pagbansay sa modelo. Ang mga proseso sa pagbansay naglakip sa daghang mga datos, kasagaran sa terabytes kada oras.
Parallel Access
Aron makab-ot ang taas nga throughput, ang mga modelo sa pagbansay nagbahin sa mga kalihokan sa daghang managsama nga mga buluhaton. Kanunay kini nagpasabut nga ang mga algorithm sa pagkat-on sa makina nag-access sa parehas nga mga file gikan sa daghang mga proseso (potensyal sa daghang mga pisikal nga server) nga dungan. Ang sistema sa pagtipig kinahanglan magdumala sa managsama nga mga panginahanglan nga wala’y pagkompromiso sa pasundayag.
Uban sa talagsaong mga kapabilidad niini sa ubos nga latency, taas nga throughput, ug dako nga parallel nga I/O, ang Dell PowerScale usa ka sulundon nga storage complement sa GPU-accelerated computing. Ang PowerScale epektibo nga nagpamenos sa oras nga gikinahanglan alang sa mga modelo sa pagtuki nga nagbansay ug nagsulay sa mga multi-terabyte nga mga dataset. Sa PowerScale all-flash storage, ang bandwidth motaas sa 18 ka beses, magwagtang sa I/O bottlenecks, ug mahimong idugang sa kasamtangan nga Isilon clusters aron mapadali ug maablihan ang bili sa daghang kantidad sa unstructured data.
Dugang pa, ang mga kapabilidad sa pag-access sa multi-protocol sa PowerScale naghatag ug walay kinutuban nga pagka-flexible alang sa pagpadagan sa mga workloads, nga nagtugot sa datos nga tipigan gamit ang usa ka protocol ug ma-access gamit ang lain. Sa piho, ang gamhanan nga mga bahin, pagka-flexible, scalability, ug enterprise-grade functionality sa PowerScale nga plataporma makatabang sa pagtubag sa mosunod nga mga hagit:
- Pagpadali sa kabag-ohan hangtod sa 2.7 ka beses, pagkunhod sa siklo sa pagbansay sa modelo.
- Pagwagtang sa mga bottleneck sa I/O ug paghatag ug mas paspas nga pagbansay ug pag-validate sa modelo, gipaayo ang katukma sa modelo, gipauswag ang produktibidad sa siyensya sa datos, ug gipa-maximize nga pagbalik sa mga pamuhunan sa pag-compute pinaagi sa pagpahimulos sa mga bahin sa grado sa negosyo, taas nga pasundayag, kaangayan, ug scalability. Pauswaga ang katukma sa modelo nga adunay mas lawom, mas taas nga resolusyon nga mga dataset pinaagi sa paggamit hangtod sa 119 PB nga epektibo nga kapasidad sa pagtipig sa usa ka kumpol.
- Makab-ot ang deployment sa sukod pinaagi sa pagsugod sa gamay ug independente nga pag-scale sa pagkalkula ug pagtipig, paghatud sa lig-on nga proteksyon sa datos ug mga kapilian sa seguridad.
- Pagpauswag sa pagkaproduktibo sa data science gamit ang in-place analytics ug pre-validated nga mga solusyon alang sa mas paspas, ubos nga risgo nga pagdeploy.
- Pagpahimulos sa napamatud-an nga mga disenyo base sa labing maayo nga mga teknolohiya, lakip ang NVIDIA GPU acceleration ug reference nga mga arkitektura nga adunay NVIDIA DGX system. Ang taas nga pasundayag ug panagsama sa PowerScale nakab-ot ang mga kinahanglanon sa paghimo sa pagtipig sa matag yugto sa pagkat-on sa makina, gikan sa pagkuha sa datos ug pag-andam hangtod sa pagbansay sa modelo ug paghinakop. Kauban sa operating system sa OneFS, ang tanan nga mga node mahimong hapsay nga molihok sa sulod sa parehas nga cluster nga gimaneho sa OneFS, nga adunay mga bahin sa lebel sa negosyo sama sa pagdumala sa pasundayag, pagdumala sa datos, seguridad, ug pagpanalipod sa datos, nga makapaarang sa mas paspas nga pagkompleto sa pagbansay sa modelo ug pag-validate alang sa mga negosyo.
Oras sa pag-post: Hul-03-2023
