Steeds vaker wordt artificiële intelligentie een bedreiging genoemd voor kunstenaars. Wat doen illustraties gemaakt door DALL-E bijvoorbeeld met het artistieke veld? Of poëzie van de hand van ChatGPT? Nicolae Banari (Taalkunde) ziet echter ook fantastische mogelijkheden. Hij verdedigde recent zijn doctoraat over toepassingen van artificiële intelligentie in de kunstsector. Door computermethodes los te laten op datasets van cultureel erfgoed, helpt hij die datasets te digitaliseren en te verrijken.
Nicolae Banari is kersvers doctor in de Taalkunde, al beschrijft hij het domein van zijn onderzoek eerder als toegepaste artificiële intelligentie. Zijn achtergrond in zowel wiskunde als AI en zijn interesse in de kunsten maakten van Nicolae vier jaar geleden de geknipte kandidaat voor het INSIGHT-project onder begeleiding van professor Mike Kestemont (ACDC, Letterkunde) en professor Walter Daelemans (CLiPS, Taalkunde). Nicolae zette voor dit project z’n tanden in het automatiseren van drie taken uit de kunst- en erfgoedsector: het vertalen van titels van kunstwerken, het herkennen en klasseren van voorwerpen in kunst, en het koppelen van kunstwerken aan hun beschrijving.
Titels van kunstwerken vertalen
Musea, galerijen en erfgoedarchieven beschikken niet alleen over kunstwerken zelf, maar vaak ook over lijsten met de titels van die werken. Wanneer ze die in meerdere talen willen aanbieden, kan dat al eens een dure en tijdrovende klus zijn. Daar wou Nicolae verandering in brengen. Hij trainde neurale netwerken om zo in een handomdraai talloze kunsttitels te vertalen. Een uitdaging was dat titels in isolatie soms moeilijk te vertalen zijn: hoe weet je immers of je bepaalde woorden, concepten of namen juist interpreteert naargelang de context van het kunstwerk? Daarom maakte Nicolae gebruik van informatie uit Iconclass: een woordenboek van artistieke concepten, waarin onder meer persoonsnamen correct gekaderd worden.
Voorwerpen herkennen in kunst
Vervolgens liet Nicolae z’n neurale netwerken op een tweede taak los. Hij wou automatisch voorwerpen herkennen in kunst en die voorwerpen ook kunnen klasseren. Waarom precies? Stel je voor: je bent kunsthistoricus en je wil de artistieke symboliek van appels door de tijd heen bestuderen. Zou het dan niet geweldig zijn als je in een vingerknip alle schilderijen uit een catalogus opgelijst kreeg waarop appels afgebeeld staan? Die toepassing is precies waar Nicolae zich op heeft toegelegd – al focuste hij zich als case study niet op appels, maar wel op het herkennen en klasseren van muziekinstrumenten.
Een moeilijkheid was dat de aangeleverde datasets vaak klein waren. Hiervoor bedacht Nicolae een creatieve oplossing, namelijk style transfer of stijloverdracht. Hij verzamelde heel wat foto’s van muziekinstrumenten en voegde daar vervolgens een artistieke laag aan toe, zodat de foto’s bijvoorbeeld geschilderd leken. Door op deze manier zijn dataset te vergroten, verbeterde hij zijn computermodellen én vond hij een oplossing voor het algemene gebrek aan grote geannoteerde datasets in de kunstsector.
Kunstwerken koppelen aan hun beschrijving
Tot slot zette Nicolae AI-methodes in om kunstwerken automatisch te linken aan hun bijpassende artistieke beschrijvingen (uit bijvoorbeeld catalogi of uit Iconclass). Deze applicatie kan een enorme drukvermindering betekenen voor de sector, aangezien het correct labelen van kunstwerken nu vaak handmatig gebeurt. En de toepassing dient ook een ruimer doel: een correcte, transparante beschrijving van kunst kan erfgoedcollecties immers ontsluiten voor een breed publiek.
Een veelbelovende eerste stap
Zoals elke wetenschapper reflecteert Nicolae ook over de beperkingen van zijn onderzoek. Waar is er nog ruimte voor verbetering? Een belangrijke, blijvende uitdaging is dat kunstdatasets vaak klein zijn en soms enige bias bevatten. En dat kan veroorzaken dat AI-modellen misleidende patronen gaan aanleren. Nicolaes proefschrift bevat hier een ludiek voorbeeld van: een kleinschalige dataset van schilderijen waarop figuren nogal gelijkaardig een kind of een luit vasthouden, zorgde ervoor dat het AI-model baby’s soms ten onrechte aanzag voor muziekinstrumenten.
Maar Nicolae blikt vooral tevreden terug op zijn doctoraatsproject. De resultaten zijn veelbelovend en demonstreren de haalbaarheid van de automatisering van de drie uitgekozen taken. Ook toont dit doctoraat hoe artificiële intelligentie geen bedreiging voor de kunsten hoeft te vormen, maar net een bondgenoot kan zijn voor de sector.
Van de kunstsector naar de modewereld
Vandaag werkt Nicolae als postdoctoraal onderzoeker op een gloednieuw project. Nadat hij zijn AI-modellen vier jaar lang losliet op cultureel erfgoed, focust hij zich nu op de modewereld. Hij ontwikkelt een app die mensen outfitkeuzes aanraadt op basis van hun eigen kleerkast. Samen met zijn promotoren Mike Kestemont en Walter Daelemans, ontving hij financiering voor een ‘proof of concept’-project. Die heeft als doel om over enkele jaren een spin-off op te richten.
Deze mode-app is iets heel anders dan zijn doctoraat, toch? Verre van, vindt Nicolae! Hij past immers nog steeds AI toe op de artistieke sector. Ook kan hij de kennis rond kunstanalyse uit z’n PhD makkelijk overdragen naar mode-analyse. Alleen is de doelgroep natuurlijk anders. In plaats van zich tot musea en erfgoedinstanties te richten, mikt Nicolae nu op “gewone” mensen. Of toch diegenen die zich wat leuker willen kleden, met minimale moeite!
How artificial intelligence can enrich our cultural heritage Nicolae Banari wrote a doctoral thesis on the applications of artificial intelligence in the artistic sector, aimed at digitizing and enriching the field’s datasets. Within the INSIGHT project, supervised by professor Mike Kestemont (ACDC, Literature) and professor Walter Daelemans (CLiPS, Linguistics), Nicolae developed AI tools that automate three tasks that are notoriously difficult, expensive, and/or time consuming: the translation of artwork titles, the recognition and classification of objects in art, and the matching of artworks with their descriptions. The results of the project are promising and demonstrate the feasibility of these automatizations. Furthermore, they enable the disclosure of cultural heritage datasets to a broader audience, as well as the digitization and enrichment of art collections. So, this doctoral thesis convincingly shows how artificial intelligence can be an ally to the art sector!