A ComfyUI a MiniMax H3-mal: Jobb, mint a Kling AI, a Seedance és más ingyenes videogenerátorok?
Az AI-videogenerátorokat lényegesen nehezebb ingyen használni, mint a tipikus LLM-eket, például a ChatGPT-t, mivel a legtöbb szolgáltató fukar az ingyenes kreditekkel. Még nehezebb elérni, hogy pontosan azt hozzák létre, amit szeretnénk – miközben megőrzik a jó, következetes megjelenést is. Ezért úgy döntöttem, hogy kipróbálom az alternatívát: egy helyi modell, például a MiniMax H3 futtatását.
A fiam AI-t szeretne használni, hogy elkészítse a saját, nos, téglaépítős videóját a fénykardokról. Jelenleg nagyon érdekli ez a téma. De mivel nem akartam azonnal sok pénzt költeni egy drága videó-AI-szolgáltatás előfizetésére a kísérleteihez, eleinte ingyenesen próbálta ki a Kling AI-t és hasonló szolgáltatásokat.
A legtöbb AI-videogenerátor ingyenes kezdőkerettel csábítja be a felhasználót, hogy fiókot hozzon létre. De a csapda hamar nyilvánvalóvá válik: ha naponta több mint egy-két három másodperces videót szeretnél folyamatosan készíteni, gyorsan egy drága előfizetés felé terelnek.
Vizuális szempontból azonban az addig létrehozott videók sem voltak különösebben kielégítőek. A környezetek, tárgyak és karakterek következetességének fenntartása is általában nehéz feladat. A csalódott gyerek arra ösztönzött, hogy próbáljak ki egy helyi megoldást.
A helyi modellek és megoldások természetesen nagy teljesítményű hardvert igényelnek. A tesztet egy RTX 5090-es grafikus kártyával és 24 GB VRAM-mal rendelkező Razer Blade 16 (2025) gépen futtatjuk. Általánosságban elmondható, hogy a videó generálás csak akkor válik igazán érdekesé, ha legalább 8 GB VRAM áll rendelkezésre, és ebben az esetben a több valóban többet jelent.
Számos felület áll rendelkezésre a modellhez – mi a MiniMax H3 mellett döntöttünk. Ez például az Ollamában, valamint a Pinokio-ban vagy a Stability Matrix-ben is futtatható. Ez utóbbi tartalmazza a ComfyUI-t is, egy olyan grafikus felületet az AI-munkafolyamatokhoz, amely nem korlátozódik a videók generálására. Én azonban problémákba ütköztem ezzel a kombinációval, ezért a különálló ComfyUI-t (ComfyUI.org) választottam, amely Windowsra és más platformokra is letölthető alkalmazásként.
A ComfyUI-hoz a kezdőknek egy kis időbe telik megszokni, de hatalmas lehetőségeket nyit meg a videók készítése terén. A munkafolyamatokat egyedi csomópontokból építed fel, lényegében egy több eszközből/csomópontból álló moduláris eszközkészletről van szó. Minden csomópontnak van bemenete és kimenete, és összekapcsolható más csomópontokkal.
Minden eszköz külön csomópontba van elrendezve. Például van egy csomópont a szöveges promptra, több képcsomópont, amelyek referenciaként vagy a videó generálása előtti köztes lépéseként szolgálhatnak, valamint egyéb eszközök. Elméletileg minden csomópontba betölthetne egy külön AI-modellt – egy LLM-et a szövegprompt számára, egy képgeneráló modellt a képcsomópontokhoz, és így tovább. Az AI-modellek természetesen sok tárhelyet foglalnak el. Végül az összes csomópont a videogeneráló csomópontba torkollik, amely előállítja a kimenetet.
Eleinte szöveg-videó előre beállított paraméterekkel kísérleteztünk, de hamarosan inkább a referenciából videó készítés felé fordultunk.
Ami ezt különösen hasznossá teszi, az az, hogy ez egységes környezetet, tárgyakat és szereplőket is lehetővé tesz. Első videónkban például létrehoztunk egy téglából épített csatahajót, amely átrepül a képen. 480p-s felbontás mellett a generálás körülbelül 5,5 percet vett igénybe, míg megfelelő hardverrel magasabb felbontások is lehetségesek. Az egyik következő jelenetben azonban pontosan ugyanazt a csatahajót akartuk újra felhasználni. Ezért képernyőképeket készítettünk az űrhajó elülső és hátsó nézetéről, importáltuk a képeket, Ship_front és Ship_rear néven hivatkozásként összekapcsoltuk őket a fő csomóponttal, és utasítottuk az AI-t, hogy pontosan ezt a hajót használja egy másik jelenetben. Ellenkező esetben az AI új megjelenést generált volna.
Miután egy kis idő alatt megismerkedtünk a rendszerrel, és a YouTube professzor segítségével gyorsan összeállítottunk egy első munkafolyamatot a videó jeleneteinkhez, és olyan videókat hoztunk létre, amelyekkel mindketten nagyon elégedettek voltunk. Egy LLM – ebben az esetben a ChatGPT – segített nekünk a szövegutasításokat kifejezetten a MiniMax H3-hoz igazítani, így azok pontosak és részletesek lettek.
Az én munkafolyamatom: A ChatGPT-ben leírtam, milyen megjelenést képzeltem el, meghatároztam, hogy bizonyos márkanevek ne jelenjenek meg, miközben a megjelenés mégis ihletet meríthet belőlük, elmagyaráztam, hogy filmhez hasonló hangulatot kell keltenie, és meghatároztam, mely referenciákat (például a „Ship_front”-ot) kell belefoglalni. Csak ezután írtam le a jelenetet. A ChatGPT által testreszabott utasítást beillesztettem a ComfyUI szövegcsomópontjába, szükség esetén hozzáadtam a referencia képeket, és kész is voltam.
Megkérheted a ChatGPT-t, hogy hozzon létre egy univerzális prompot a kívánt megjelenés és egyéb paraméterek alapján, amelyet elmenthetsz későbbre. Ha ezt a prompot újra beadod egy nagy nyelvi modellbe (LLM), az már rendelkezik az összes szükséges információval, és azonnal leírhatod a következő jelenetet.
Mindenesetre a fiammal sokkal elégedettebbek voltunk az eredményekkel, mint a Kling AI, a Seedance és hasonló szolgáltatások ingyenes verzióival. A számos rendelkezésre álló lehetőség kísérletezésre is ösztönöz, és végre megszabadulhat a bosszantó hitelkorlátozásoktól, előfizetési felugró ablakoktól, hirdetésektől és adatbiztonsági aggályoktól. A felbontás azonban továbbra is problémát jelent. A Full HD vagy annál magasabb felbontás még opcióként sem elérhető, feltehetően azért, mert a hardverigény túl magas lenne. A jövőbeli modellek valószínűleg hatékonyabbak lesznek ebben a tekintetben. Egyelőre felbontásnövelő programokkal is bővítheted a munkafolyamatodat.
Aki rendelkezik a szükséges hardverrel és érdeklődik a filmkészítés iránt, annak érdemes megnéznie a ComfyUI-t és egy jó helyi AI-modellt. Különösen a ComfyUI teszi lehetővé a hihetetlenül összetett, többrétegű munkafolyamatokat – ha valóban szükséged van rájuk. A kezdéshez azonban a legfontosabb elemek már rendelkezésre állnak, és gyorsan elsajátíthatók.
Add as a preferred source on Google
