Приложение "Яндекса" освоило "умное зрение"

У мобильного приложения "Яндекса" появились новые возможности. Программа теперь умеет "видеть" — то есть распознавать предметы при помощи камеры мобильного устройства, "читать", переводя "увиденный" текст с иностранных языков, а также сканировать документы. Для этого задействованы технологии компьютерного зрения, машинного перевода и интернет-поиска, работающие в реальном времени.

Чтобы воспользоваться первой из новых функций, достаточно навести камеру на какой-либо объект или объекты — приложение пометит те из них, которые удалось распознать. Если что-то подобное есть в продаже — например, кроссовки или рюкзак — приложение подскажет, где именно можно совершить покупку. Аналогичным образом можно выяснить названия растений, порода собак или, например, известные памятники архитектуры.

Если в кадре появится надпись на иностранном языке, приложение автоматически переведёт её с помощью "Яндекс.Переводчика", при этом текст появится прямо на изображении. Эта возможность пригодится при чтении этикеток, меню или указателей. Наконец, в мобильный "Яндекс" добавили функцию сканирования документов.

Как пояснили в компании, для работы распознавания объектов применены технологии компьютерного зрения. Они помогают приложению выделить в кадре отдельные объекты, а затем обученные на огромном числе примеров нейросети распознают, что это такое — стол, стул или, например, комнатное растение. Воспользоваться новыми функциями можно, нажав на значок камеры в поисковой строке последней версии "Яндекса" для Android или iOS.