TalkBack começou a utilizar Gemini Nano para descrever as imagens da tela em detalhes, melhorando a acessibilidade em geral.
Função já estava disponível, mas graças a IA do Google, o recurso foi aprimorado, o que resulta em melhorias importantes.
Graças a inteligência artificial, os usuários receberão a descrição mais detalhada possível e se quiserem, ainda poderão utilizar Gemini 1.5 Flash para ter o máximo de informação.
Inteligência artificial aprimorou descrição das fotos
A Suíte de Acessibilidade do Android foi aprimorada, agora conta com inteligência artificial para a descrição das fotos.
A função TalkBack, que consegue descrever as imagens, recebeu suporte para Gemini Nano no Android.
Isso significa que em aparelhos que contam com a IA, ela será utilizada para aprimorar o recurso.
Esse aprimoramento só foi possível graças ao Gemini Nano receber a multimodalidade, que consegue entender textos, imagens e mais.
Os usuários com problemas de cegueira ou baixa visão estarão recebendo descrições mais detalhadas, Google fala que essa mudança ajuda a preencher informações que faltam, indo além do básico, e claro, funcionando com o aparelho acessando a internet ou off-line.
Com a inteligência artificial reconhecendo melhor os itens na tela, as informações serão mais especificas, por exemplo, se a imagem possuir a torre Eiffel, no lugar de citar apenas uma torre, a IA irá especificar que é torre Eiffel, o que acaba melhorando a experiência com a ferramenta.
Além de descrição mais detalhadas, elas serão mais longas, realmente explicando tudo o que a foto contém.
Para quem precisar de mais informações, poderá utilizar a integração do TalkBack com o Gemini 1.5 Flash, que irá utilizar os servidores da empresa para analisar a imagem e irá trazer o máximo de detalhes que podem ser descritos.
Ao usar a função de descrição da imagem, ela irá utilizar Gemini Nano por padrão, para utilizar o Gemini 1.5 Flash os usuários terão que usar um toque de três dedos para abrir o menu do TalkBack e selecionar a opção “Descrever imagem”.
Nos dispositivos que não possuem Gemini Nano, os usuários que precisam de acessibilidade continuarão a utilizar o TalkBack com o modelo de ML Garcon, que consegue produzir respostas curtas e genéricas, mas que ajudam a entender o que está na foto.
Fonte: Android Developers