Bij een LoRA-training wordt vaak gekeken naar instellingen: het aantal stappen, de leersnelheid, het basismodel. Die keuzes doen ertoe, maar ze verklaren zelden waarom een model tegenvalt. In verreweg de meeste gevallen zit het probleem in de beelden die erin gingen.
Een LoRA leert wat je hem laat zien. Laat je twintig foto's zien die allemaal in hetzelfde licht, van dezelfde kant en met dezelfde achtergrond zijn genomen, dan leert hij dat licht, die hoek en die achtergrond net zo hard als het onderwerp. Het model kan daarna niet anders meer. Zie wat is LoRA-training voor de techniek eronder.
De verwachting is meestal honderden. Dat is niet nodig en werkt vaak averechts.
Voor een persoon of personage is vijftien tot dertig goede beelden een bruikbare set. Voor een product ligt het tussen de twintig en veertig, omdat je meer hoeken en meer varianten wilt vastleggen. Voor een stijl of huisstijl kan het oplopen naar vijftig tot honderd, want daar leert het model iets abstracters.
Belangrijker dan het aantal is dat elk beeld iets toevoegt. Vijf bijna identieke foto's tellen als één beeld en als vier keer nadruk op toeval. Wie twijfelt tussen twee gelijkende beelden, laat er een weg.
Het model moet leren welk deel van het beeld het onderwerp is en welk deel omgeving. Dat kan hij alleen als de omgeving varieert en het onderwerp niet.
Zorg dus voor verschil in:
Wat juist niet mag variëren, is het onderwerp zelf. Een productfoto van de oude verpakking en een van de nieuwe leren het model een gemiddelde dat geen van beide is.
Er is een korte lijst die in bijna elke tegenvallende training terugkomt.
Te lage resolutie. Alles onder duizend pixels op de korte zijde voegt ruis toe in plaats van detail.
Zware bewerking. Sterke filters, opvallende verscherping of een zichtbaar gladgestreken huid worden onderdeel van wat het model denkt te leren.
Meerdere onderwerpen in beeld. Twee personen in een foto voor een personagemodel is de snelste manier om gezichten te laten vermengen.
Afgesneden of afgedekt. Halve hoofden, handen voor het gezicht, een product half achter een doos.
Beelden uit een ander model. Werk van een generator als trainingsmateriaal stapelt fouten op fouten. Fouten in vingers en tekst worden dan aangeleerd in plaats van uitgemiddeld.
Bij de meeste trainingsmethodes hoort per beeld een korte beschrijving. Daar zit een regel achter die niet voor de hand ligt.
Wat je beschrijft, leert het model als variabel. Wat je weglaat, wordt onderdeel van het onderwerp zelf.
Dus bij een personagemodel beschrijf je de achtergrond, het licht, de kleding en de houding. Je beschrijft niet de vorm van het gezicht, want dat is juist wat vast moet zitten. Bij een productmodel beschrijf je de omgeving en de hoek, maar niet de verpakking.
Houd bijschriften kort en feitelijk. Een consistent woord voor het onderwerp, gevolgd door wat er in dat ene beeld anders is. Sfeerwoorden als "prachtig" of "professioneel" voegen niets toe en trekken het model in de richting van wat het toch al mooi vond.
Een trainingsset is niet vrijblijvend materiaal. Voor een persoon hoort er schriftelijke toestemming te zijn die ook zegt waarvoor de beelden gebruikt worden en hoe lang. Voor een merk gelden vaak afspraken met de fotograaf die niets zeggen over modeltraining, en dan is doorvragen sneller dan achteraf repareren.
Dit is geen bijzaak. Een getraind model is niet terug te draaien naar de losse beelden waar het uit komt, dus de afspraak hoort ervoor te staan. Zie ook consistente AI-personages voor wat er daarna met zo'n model gebeurt.
Een training kost tijd en geld, dus de set verdient een controle vooraf. Drie snelle toetsen.
Leg alle beelden naast elkaar op één scherm. Ziet het eruit als een reeks van dezelfde foto? Dan is de variatie te klein.
Dek het onderwerp af en kijk naar de rest. Zie je steeds dezelfde kamer, dan gaat het model die kamer meenemen.
Vraag iemand anders om vijf beelden aan te wijzen die eruit springen. Beelden die opvallen, vallen het model ook op.
Wie voor het eerst een model laat maken, verwacht dat de training het werk is. In de praktijk is dat het kortste deel. Het verzamelen, selecteren, bijsnijden en beschrijven van de beelden kost doorgaans enkele uren tot een dag, en de training zelf draait daarna grotendeels vanzelf.
Die verhouding is belangrijk bij het plannen. Een fotoshoot speciaal voor een LoRA is vaak sneller dan het uitkammen van een archief, juist omdat je dan in één sessie de variatie kunt afdwingen die je nodig hebt: dezelfde persoon of hetzelfde product, in vijf opstellingen, met drie soorten licht en drie afstanden.
En houd er rekening mee dat een tweede ronde normaal is. De eerste training laat zien waar de set tekortschiet, bijvoorbeeld doordat het model alle beelden in dezelfde ruimte plaatst. Dat los je op met acht extra beelden en een nieuwe training, niet met andere instellingen.
Beoordeel een nieuw model niet op de mooiste uitkomst maar op de saaiste: vraag hetzelfde onderwerp in een neutrale omgeving, drie keer achter elkaar. Blijft het herkenbaar hetzelfde, dan zit het goed. Wisselt het, dan was de set te klein of te eenvormig.
Bewaar de set, de bijschriften en de instellingen bij elkaar. Een model dat over een half jaar bijgewerkt moet worden, is alleen bij te werken als die drie er nog zijn. Wat dit in de praktijk betekent, staat in de trainingsbeelden die je LoRA maken of breken.
Zie verder een LoRA-model laten trainen voor het traject eromheen en LoRA-productfotografie voor de toepassing op producten.
dGEN Productions, AI agency en business-automation partner uit Eindhoven. info@dgenproductions.nl · 06-87413056