Een tegenvallend LoRA-model ligt zelden aan de instellingen. Het ligt aan de twintig beelden die erin gingen. Welke variatie je nodig hebt, welke beelden je weglaat en waarom je bijschriften anders schrijft dan je denkt.
Als een getraind beeldmodel tegenvalt, gaat het gesprek meteen over instellingen: het aantal stappen, de leersnelheid, het basismodel. In de gevallen die wij hebben teruggekeken, lag het daar vrijwel nooit aan. Het lag aan de beelden die erin gingen.
Een LoRA leert precies wat je hem laat zien. Laat je twintig foto's zien die allemaal in hetzelfde licht, van dezelfde kant en tegen dezelfde muur zijn genomen, dan leert hij dat licht, die hoek en die muur net zo hard als het onderwerp. Daarna kan hij niet meer anders, en geen enkele instelling repareert dat.
De verwachting is meestal honderden beelden. Voor een persoon of personage is vijftien tot dertig goede opnamen een bruikbare set. Voor een product twintig tot veertig, omdat je meer hoeken wilt. Voor een stijl loopt het op naar vijftig of meer.
Belangrijker dan het aantal is of elk beeld iets toevoegt. Vijf bijna identieke foto's tellen als één beeld en als vier keer nadruk op toeval. Twijfel je tussen twee gelijkende opnamen, laat er dan een weg. Een kleinere set met echte variatie verslaat een grote set met herhaling.
Het model moet leren welk deel van het beeld het onderwerp is en welk deel omgeving. Dat kan hij alleen als de omgeving varieert en het onderwerp niet.
Laat dus verschillen: hoek en afstand, licht, achtergrond, en de uitdrukking of stand. Close-up en geheel. Daglicht en binnenlicht. Drie verschillende ruimtes. Bij een product: dicht, open, in gebruik.
Wat niet mag variëren is het onderwerp zelf. Een productfoto van de oude verpakking naast een van de nieuwe leert het model een gemiddelde dat geen van beide is. Hetzelfde geldt voor een persoon met en zonder bril als je de bril niet wilt.
Deze vijf komen terug in bijna elke teleurstellende training.
Te lage resolutie. Alles onder ongeveer duizend pixels op de korte zijde voegt ruis toe in plaats van detail.
Zware bewerking. Sterke filters, opvallende verscherping of een gladgestreken huid worden onderdeel van wat het model denkt te leren.
Twee onderwerpen in beeld. De snelste manier om gezichten te laten vermengen bij een personagemodel.
Afgesneden of afgedekt. Halve hoofden, handen voor het gezicht, een product half achter een doos.
Beelden uit een andere generator. Dan train je op fouten. Afwijkingen in handen en tekst worden aangeleerd in plaats van uitgemiddeld.
Hier zit de regel die het minst voor de hand ligt en het meeste verschil maakt.
Wat je in een bijschrift beschrijft, leert het model als variabel. Wat je weglaat, wordt onderdeel van het onderwerp zelf.
Bij een personagemodel beschrijf je dus de achtergrond, het licht, de kleding en de houding, en juist niet de vorm van het gezicht. Bij een productmodel beschrijf je de omgeving en de hoek, en niet de verpakking. Sfeerwoorden als prachtig of professioneel voegen niets toe en trekken het model naar wat het toch al mooi vond. Zie een LoRA-dataset voorbereiden.
Een training kost tijd en geld, dus de set verdient een controle vooraf. Alle drie duren ze een paar minuten.
Leg alle beelden naast elkaar op één scherm. Ziet het eruit als een reeks van dezelfde foto, dan is de variatie te klein.
Dek het onderwerp af en kijk naar de rest. Zie je steeds dezelfde kamer, dan gaat het model die kamer meenemen.
Laat iemand anders vijf beelden aanwijzen die eruit springen. Wat een mens opvalt, valt het model ook op.
Wie voor het eerst een model laat maken, verwacht dat de training het werk is. In de praktijk is dat het kortste deel. Verzamelen, selecteren, bijsnijden en beschrijven kost uren tot een dag, en de training draait daarna grotendeels vanzelf.
De eerste training laat zien waar de set tekortschiet, bijvoorbeeld doordat het model alles in dezelfde ruimte plaatst. Dat los je op met acht extra beelden, niet met andere instellingen. Reken die tweede ronde er dus in, in plaats van hem als tegenvaller te beleven.
Een trainingsset is geen vrijblijvend materiaal. Voor een persoon hoort er schriftelijke toestemming te zijn die ook vermeldt waarvoor de beelden gebruikt worden en hoe lang. Voor een merk gelden vaak afspraken met een fotograaf die niets zeggen over modeltraining.
Doorvragen is sneller dan achteraf repareren, want een getraind model is niet terug te draaien naar de losse beelden waar het uit komt. Zie consistente AI-personages.
Vijftien goede beelden met echte variatie zijn bruikbaar voor een persoon. Onder de tien wordt het model onvoorspelbaar.
Ja, mits scherp en in voldoende resolutie. Een moderne telefoon levert ruim genoeg detail. Slecht licht is een groter probleem dan de camera.
Je traint dan opnieuw met de uitgebreide set. Bewaar daarom de originele beelden, de bijschriften en de instellingen bij elkaar.
Meestal doordat er meerdere personen in de beelden stonden, of doordat de set te klein en te eenvormig was.
Niet op de mooiste uitkomst maar op de saaiste. Vraag hetzelfde onderwerp drie keer in een neutrale omgeving. Blijft het herkenbaar gelijk, dan zit het goed. Zie wat is LoRA-training.
Met een half uur uitzoeken welke beelden je al hebt, en met de eerlijke vraag of ze genoeg verschillen. Ontbreekt de variatie, dan is een korte shoot vaak sneller dan het uitkammen van een archief.
Wilt u weten of uw beeldmateriaal geschikt is, neem contact op.
dGEN Productions, AI agency en business-automation partner uit Eindhoven. info@dgenproductions.nl · 06-87413056