Microsoft har lansert et verktøy for bildegjenkjenning som prøver å beskrive innholdet i et bilde. Dette kunstige intelligensverktøyet er fremdeles i utviklingsstadiet og lærer stadig fra bilder lastet opp av brukere.

Når det gjelder nøyaktighet, noen ganger er beskrivelsen ganske nøyaktig, mens noen ganger inneholder CaptionBot beskrivelser som ikke har noe å gjøre med det som er skildret. Det er også tilfeller der appen ikke kan gi en beskrivelse i det hele tatt, på grunn av sin ujevnhet.

Microsoft designet CaptionBot for å lære med mer erfaring, med forventning om at billedtekstene vil bli mer nøyaktige over tid. Jo flere bilder brukerne laster opp, jo bedre blir appen, slik CaptionBot beskriver seg selv:

Jeg kan forstå innholdet i ethvert bilde, og jeg vil prøve å beskrive det så vel som ethvert menneske. Jeg lærer fortsatt, så jeg holder fast på bildet ditt, men ingen personlig info.

CaptionBot bruker tre teknologier for å beskrive hva som er avbildet i et bilde: Microsofts Computer Vision, Emotion og Bing Image. Computer Vision API trekker ut rik informasjon fra bilder for å kategorisere og behandle visuelle data sammen med å identifisere og trekke ut tekst fra et bilde. Emotion API, som navnet antyder, analyserer ansikter for å oppdage en rekke følelser, alt fra sinne, forakt, avsky, frykt, lykke, nøytralitet, tristhet og overraskelse. Bing Image søker på bilder etter bilder.

Vi testet CaptionBot, og resultatene var nøyaktige i 50% av tilfellene. For eksempel har vi lastet opp to bilder: den ene viser en spillmus, den andre en bunke med kort. I begge tilfeller antydet verktøyet at det var en mobiltelefon. På den annen side oppdaget CaptionBot mennesker og ansikter nøyaktig.

Tilsynelatende har CaptionBot en besettelse av mobiltelefoner. En Twitter-bruker rapporterte at appen trodde Michelle Obama var en mobiltelefon. Hvis du vil ha flere undertekster, men morsomme bildetekster, sjekk ut denne Twitter-siden.

Du kan også teste CaptionBot her. Prøv det: du hjelper verktøyet til å forbedre seg, eller så kan du le!