Google запустила в Gemini Live функцию Guided Vision для описания окружающего мира

Что произошло

Google запустила Guided Vision в Gemini Live на совместимых устройствах Android. Функция анализирует изображение с камеры телефона и в реальном времени озвучивает описание увиденного.

С помощью Guided Vision можно попросить Gemini прочитать мелкий текст, описать окружающую обстановку, найти или распознать предмет, а также рассказать о деталях конкретного объекта.

Как работает функция

Пользователь может задавать уточняющие вопросы о том, что находится перед камерой. Например, Gemini способен прочитать срок годности на найденном товаре.

Если нужный объект не попал в кадр, Gemini, по словам Google, подскажет звуковыми сигналами, как направить камеру.

Доступность

Guided Vision предназначена в том числе для незрячих людей, пользователей со слабым зрением и тех, кому нужна помощь в отдельных ситуациях. Помимо приложения Gemini, функция доступна в Google TalkBack.

На устройствах с Android 9 и более поздними версиями пользователи могут настроить для Guided Vision ярлык специальных возможностей в приложении «Настройки».

Ограничения

Google не рекомендует полагаться на Guided Vision при навигации, безопасном перемещении или обнаружении препятствий. Функция также не является заменой трости или другого средства помощи в передвижении.