Potrivit cercetătorilor DeepMind, ideea urmărește eliminarea unuia dintre cele mai frustrante aspecte ale utilizării actuale a inteligenței artificiale: necesitatea de a întrerupe activitatea, de a deschide o fereastră separată pentru chatbot și de a explica în detaliu ceea ce se află pe ecran.
„Vrem exact opusul: o inteligență artificială intuitivă, care le oferă utilizatorilor toate instrumentele necesare, fără să le întrerupă fluxul de lucru”, au explicat reprezentanții DeepMind într-o postare pe blogul oficial.
Noua tehnologie permite utilizatorului să indice un element de pe ecran și să formuleze o comandă scurtă, în limbaj natural. De exemplu, cursorul poate fi plasat peste un tabel pentru a genera automat un grafic circular, peste o rețetă pentru dublarea ingredientelor sau peste un document PDF pentru a obține un rezumat în puncte, gata de introdus într-un e-mail.
Într-un alt exemplu prezentat de companie, un cadru oprit dintr-un videoclip de călătorie poate deveni instantaneu un link de rezervare pentru restaurantul afișat în imagine.
DeepMind susține că sistemul folosește contextul vizual și semantic din jurul cursorului pentru a înțelege ceea ce utilizatorul dorește, reducând semnificativ nevoia unor prompturi lungi și complicate.
Compania a prezentat deja două demonstrații experimentale disponibile în Google AI Studio, una pentru editare de imagini și alta pentru căutare pe hartă.
Tehnologia urmează să fie integrată și în Google Chrome, unde utilizatorii vor putea selecta elemente de pe o pagină web și vor putea adresa întrebări către Gemini direct din browser, fără a mai deschide o interfață separată.
Printre exemplele oferite de Google se numără compararea automată a unor produse selectate de pe un site sau vizualizarea unei canapele într-o fotografie a propriei sufragerii.
În paralel, compania a anunțat că funcția „Magic Pointer” va fi disponibilă și pe Googlebook, noua gamă de laptopuri bazate pe Gemini, unde inteligența artificială va fi integrată direct la nivelul sistemului de operare.
Cercetătorii DeepMind spun că obiectivul este redefinirea modului în care oamenii interacționează cu dispozitivele digitale, într-un context în care cursorul mouse-ului a rămas aproape neschimbat în ultimele cinci decenii.
„Construirea unei tehnologii care se adaptează comportamentului uman – și nu invers – deschide drumul către un viitor în care colaborarea cu inteligența artificială va părea intuitivă, fluidă și naturală”, au transmis reprezentanții companiei.