Kunstmatige intelligentie kan afbeeldingen maken op basis van tekstprompts, maar wetenschappers hebben een galerij met afbeeldingen onthuld die de technologie produceert door hersenactiviteit te lezen.
Het nieuwe door AI aangedreven algoritme reconstrueerde ongeveer 1.000 afbeeldingen, waaronder een teddybeer en een vliegtuig, uit deze hersenscans met een nauwkeurigheid van 80%.
Onderzoekers van de universiteit van Osaka gebruikten het populaire stabiele diffusiemodel, opgenomen in OpenAI’s DALL-E 2, dat elke afbeelding kan creëren op basis van tekstinvoer.
Het team toonde deelnemers individuele beeldsets en verzamelde fMRI-scans (functional magnetic resonance imaging), die de AI vervolgens decodeerde.
Wetenschappers voedden de AI-hersenactiviteit van vier studiedeelnemers. De software reconstrueerde vervolgens wat het in de scans zag. De bovenste rij toont de originele afbeeldingen die aan de deelnemers worden getoond en de onderste rij toont de door AI gegenereerde afbeeldingen
“We laten zien dat onze methode afbeeldingen met een hoge resolutie kan reconstrueren met een hoge semantische getrouwheid van menselijke hersenactiviteit”, deelde het team in de studie gepubliceerd in bioRxiv.
“In tegenstelling tot eerdere studies over beeldreconstructie, vereist onze methode geen training of fijnafstemming van complexe deep learning-modellen.”
Het algoritme haalt informatie uit delen van de hersenen die betrokken zijn bij beeldperceptie, zoals de occipitale en temporale kwabben, volgens Yu Takagi, die het onderzoek leidde.
Het team gebruikte fMRI omdat het veranderingen in de bloedstroom in actieve hersengebieden vastlegt, Wetenschap.org rapporten.
FMRI kan zuurstofmoleculen detecteren, zodat scans kunnen zien waar in de hersenen onze neuronen – de zenuwcellen van de hersenen – het hardst werken (en de meeste zuurstof verbruiken) terwijl we gedachten of emoties hebben.
In dit onderzoek werden in totaal vier deelnemers gebruikt, die elk een set van 10.000 afbeeldingen bekeken.
De AI begint de beelden te genereren als ruis vergelijkbaar met statische televisie, die vervolgens wordt vervangen door verschillende kenmerken die het algoritme in de activiteit ziet door te verwijzen naar de beelden waarop het is getraind en een correspondentie te vinden.
“We tonen aan dat ons eenvoudige raamwerk beelden met een hoge resolutie (512 x 512) kan reconstrueren uit hersenactiviteit met een hoge semantische getrouwheid”, aldus de studie.
We interpreteren elke component van een LDM kwantitatief vanuit een neurowetenschappelijk perspectief door specifieke componenten in kaart te brengen in verschillende hersengebieden.
We presenteren een objectieve interpretatie van hoe het conversieproces van tekst naar afbeelding wordt geïmplementeerd door een LDM [a latent diffusion model] bevat de semantische informatie uitgedrukt door de voorwaardelijke tekst met behoud van het uiterlijk van de originele afbeelding.’
Er werd een afbeelding aan de deelnemers getoond en de AI verzamelde hun hersenactiviteit, die vervolgens werd gedecodeerd en de afbeelding reconstrueerde
Het nieuwe door AI aangedreven algoritme reconstrueerde ongeveer 1.000 afbeeldingen, waaronder een teddybeer en een vliegtuig, uit deze hersenscans met een nauwkeurigheid van 80%. De bovenste rij toont de originele afbeeldingen die aan de deelnemers worden getoond en de onderste rij toont de door AI gegenereerde afbeeldingen
Een andere “mentale lees”-machine is in staat om hersenactiviteit te decoderen als een persoon in stilte probeert woorden fonetisch te spellen om volledige zinnen te maken.
Het combineren van kunstmatige intelligentie met hersenscanners is een taak geweest binnen de wetenschappelijke gemeenschap, die volgens hen nieuwe sleutels zijn om onze innerlijke werelden te ontsluiten.
In een studie in november gebruikten wetenschappers deze technologieën om de hersengolven van non-verbale verlamde patiënten te analyseren en ze in realtime om te zetten in zinnen op een computerscherm.
De “gedachtenlezende” machine kan hersenactiviteit decoderen als een persoon in stilte probeert woorden fonetisch te spellen om volledige zinnen te maken.
Onderzoekers van de Universiteit van Californië zeiden dat hun neuroprothetische stemapparaat de mogelijkheid heeft om de communicatie te herstellen bij mensen die niet kunnen spreken of typen vanwege verlamming.
Tijdens het testen decodeerde het apparaat de hersenactiviteit van de vrijwilliger terwijl ze probeerden elke letter fonetisch uit te spreken om zinnen te produceren uit een vocabulaire van 1.152 woorden met een snelheid van 29,4 tekens per minuut en een gemiddeld foutenpercentage van 6,13%.
In andere experimenten ontdekten de auteurs dat de aanpak zich veralgemeende naar grote vocabulaires met meer dan 9.000 woorden, met een gemiddeld foutenpercentage van 8,23%.