Generiranje slika pomoću umjetne inteligencije više nije rezervirano samo za online platforme. Lokalni AI modeli postaju sve zanimljivija alternativa komercijalnim servisima, osobito korisnicima koji žele izbjeći pretplate i ograničenja broja generiranja. Upravo zato testirali smo nekoliko aktualnih modela koji se mogu pokretati izravno na vlastitom hardveru te ih usporedili s komercijalnim rješenjima. Glavno pitanje bilo je koliko lokalni modeli mogu ponuditi u odnosu na plaćene servise kada su u pitanju kvaliteta i brzina generiranja.
Komercijalne platforme danas mogu proizvesti vrlo kvalitetne vizuale, ali intenzivnije korištenje često znači i dodatni mjesečni trošak. Kod lokalnog pristupa situacija je drugačija. Model se instalira na vlastito računalo, nakon čega generiranje više nije vezano uz pretplatu, kvote ili broj dostupnih upita. Naravno, takav pristup ima jedan veliki preduvjet – računalo mora imati dovoljno snažan hardver.
Za ovaj test korišten je ASUS Ascent GX10, uređaj o kojem smo ranije pisali. Poznat i pod nazivom NVIDIA DGX Spark, zamišljen je kao kompaktna platforma za lokalni rad s umjetnom inteligencijom. Izvana izgleda poput nešto većeg mini računala, no njegova unutrašnjost krije arhitekturu znatno drugačiju od klasičnog desktop računala.
128 GB memorije dostupno cijelom sustavu
Glavnu ulogu ima NVIDIA GB10 SoC, koji na jednom čipu objedinjuje Grace procesor s 20 ARM64 jezgri i Blackwell GPU. Sustav raspolaže sa 128 GB unificirane memorije, što znači da nema klasične podjele na zasebni RAM i VRAM. CPU i GPU mogu koristiti isti memorijski prostor prema potrebi.
Upravo je takva arhitektura posebno korisna kod velikih AI modela. Modeli koji zahtijevaju desetke gigabajta grafičke memorije mogu se učitati na GX10, dok bi na klasičnom računalu s, primjerice, GeForce RTX 5090 i njezinih 32 GB VRAM-a pojedini modeli jednostavno bili preveliki.
Jedan od korištenih modela bio je FLUX.2-dev, čija veličina iznosi približno 64,4 GB. To je daleko iznad memorijskih kapaciteta brojnih standardnih grafičkih kartica, pa unificirana memorija GX10 sustava u ovom slučaju predstavlja veliku prednost.
Postavljanje sustava nije bilo jednostavno
Najveći izazov pokazao se već na početku. Lokalni AI alati često se distribuiraju kroz Docker kontejnere koji korisniku olakšavaju instalaciju i konfiguraciju. Međutim, ARM64 platforma GX10 donosi dodatna ograničenja. Dostupnost odgovarajućih kontejnera je znatno manja, a dio postojećih rješenja nije bio kompatibilan s CUDA 12.8 okruženjem na GB10 platformi.
Zbog toga je umjesto kontejnera korištena izvorna Python instalacija unutar virtualnog okruženja. PyTorch s podrškom za CUDA 12.8 dostupan je za ARM64 od verzije 2.11.0, dok se ostale potrebne biblioteke, uključujući transformers, safetensors i websockets, mogu instalirati na uobičajen način.
Jedan problem pojavio se s paketom torchaudio, koji je bio vezan uz CUDA 13.0. Zbog razlike u verzijama sustav je prijavljivao grešku prilikom pokretanja, iako sama neusklađenost nije predstavljala stvarni problem za rad. Nakon male izmjene u kodu greška je pretvorena u upozorenje, a sustav je nastavio normalno funkcionirati. CUDA je pritom osigurala potrebnu kompatibilnost unatrag.
SwarmUI prošao bez većih komplikacija
Kod SwarmUI-ja situacija je bila nešto jednostavnija. Budući da se oslanja na .NET 9 runtime, ARM64 podrška nije predstavljala značajniju prepreku. Instalacijska skripta mogla se pokrenuti bez dodatnih izmjena, što je znatno ubrzalo postavljanje tog dijela sustava.
Ipak, cijeli proces nije bio trenutačan. Od prvog povezivanja putem SSH-a do trenutka kada je GX10 uspješno generirao prvu sliku prošlo je nekoliko sati rada, konfiguriranja i rješavanja problema kompatibilnosti.
U ovom slučaju pokazala se korisnom i pomoć AI alata za programiranje. Claude Code korišten je za dijagnosticiranje problema, prilagodbu API poziva i rješavanje pojedinih kompatibilnosnih prepreka. Bez takve pomoći konfiguracija bi za korisnika bez iskustva s ARM64, Pythonom i CUDA okruženjem mogla biti znatno zahtjevnija i dugotrajnija.
Zaključak ovog dijela testa je prilično jednostavan: lokalni AI može biti vrlo moćan, ali put do prvog rezultata nije uvijek jednostavan. Kod ovakvih sustava snažan hardver samo je jedan dio priče – jednako važni mogu biti pravilna konfiguracija softvera, kompatibilnost biblioteka i spremnost na rješavanje tehničkih problema.