NVIDIA DGX Spark și sisteme pentru AI local

Memoria necesară include ponderile modelului, cache-ul de context și resursele aplicației. Cuantizarea reduce spațiul ocupat de ponderi, dar contextul lung și utilizatorii simultani cresc consumul. Cei 128 GB de memorie unificată ai sistemelor GB10 nu sunt disponibili integral modelului; păstrează o rezervă pentru sistem și testează sarcina reală.

Verifică documentația versiunii folosite pentru sistemul de operare, arhitectura procesorului și accelerarea GPU. Pentru GB10 contează suportul Linux Arm64 și NVIDIA Blackwell; pentru GR1X verifică cerințele aplicației pe configurația Windows exactă. Prezența Windows sau a unui GPU NVIDIA nu garantează că orice model și orice backend funcționează.

Asistenți și agenți AI. Dezvoltă și testează aplicații care folosesc modele locale pentru redactare, analiză sau asistarea programării. Integrarea cu alte aplicații și permisiunile agentului se configurează separat.

Căutare în documente cu RAG. Construiește un asistent care caută în documentele selectate și folosește informațiile găsite pentru răspunsuri. Hardware-ul nu include automat indexarea, regulile de acces sau o aplicație RAG finalizată.

Inferență și evaluare LLM. Rulează modele preantrenate și compară variante de cuantizare, lungimi de context și cerințe de memorie. Alege pe baza unui test reprezentativ pentru proiect, nu doar a numărului de parametri.

Adaptarea modelelor și prototipare. Experimentează cu fine-tuning și fluxuri de dezvoltare compatibile cu platforma. Limitele de memorie pentru antrenare sunt diferite de cele pentru inferență; un model care poate fi încărcat nu este automat potrivit pentru antrenare completă.

128 GB de memorie unificată înseamnă memorie partajată de CPU și GPU. Nu este echivalentul a 128 GB RAM plus încă 128 GB VRAM. Sistemul de operare și aplicațiile folosesc și ele o parte din memorie.

NVIDIA indică pentru configurația DGX Spark de 128 GB suport pentru inferență cu modele de până la 200 de miliarde de parametri. Aceasta este o limită orientativă dependentă de configurație, model, cuantizare, context și software, nu o garanție de viteză sau de suport pentru orice model de această dimensiune.

Până la 1 PFLOP AI FP4, cu sparsitate, descrie performanța de calcul în condițiile specificate de NVIDIA. Nu este o măsură directă a vitezei de răspuns a unui chatbot. Pentru utilizarea reală contează și lățimea de bandă a memoriei, numărul de utilizatori și optimizarea software.

Începe cu modelul AI și aplicația, apoi cu memoria și stocarea. Pentru DGX Spark/GB10 verifică suportul pentru arhitectura Arm și pentru mediul software al configurației. Nu presupune că orice aplicație Windows sau pachet x86 funcționează nativ.

Spune-ne ce model vrei să rulezi, ce lungime de context folosești și câți utilizatori vor lucra simultan. Dacă aplicația va deservi un flux critic, planifică separat testarea de performanță, securitatea, backupul și disponibilitatea serviciului.

Rularea locală permite păstrarea procesării pe infrastructura proprie, dar confidențialitatea depinde și de aplicație, integrări și configurarea rețelei. „Local” nu înseamnă automat că nicio componentă nu comunică cu un serviciu extern.

Un cluster poate permite distribuirea unor modele și sarcini care depășesc posibilitățile unui singur sistem. Conectarea fizică este numai primul pas: sunt necesare configurarea rețelei și software care acceptă execuția distribuită.

Pentru două DGX Spark conectate direct, un cablu compatibil poate realiza legătura de rețea. Memoria nu se cumulează automat pentru orice aplicație, iar performanța nu se dublează obligatoriu. La configurații cu mai multe noduri, topologia și cablurile se aleg după documentația exactă a sistemelor.

Un cablu QSFP112 marcat 400G nu transformă portul DGX Spark într-un port de 400 Gb/s: legătura este limitată de echipamente, până la 200 Gb/s per port pentru DGX Spark. Verifică separat compatibilitatea accesoriului cu fiecare model.

Vezi cablul NADDOD pentru DGX Spark · Vezi cablul GIGABYTE AI TOP · Vezi cablul NVIDIA DGX Spark