Ученые Стэнфорда разработали Street View

Jul 19, 2023

Трио ученых-компьютерщиков из Стэнфорда разработали модель глубокого обучения для геолокации изображений Google Street View. Это означает, что в целом она может определить, где была сделана фотография, просто взглянув на нее.

Говорят, что программное обеспечение работает достаточно хорошо, чтобы победить лучших игроков в GeoGuessr, популярной онлайн-игре по угадыванию местоположения.

Это не значит, что академическая модель может точно определить, где была сделана фотография на уровне улицы; вместо этого он может надежно определить страну и сделать хорошее предположение в пределах 15 миль от правильного местоположения, большую часть времени - хотя чаще всего это дальше, чем это расстояние.

В препринте под названием «PIGEON: прогнозирование геолокации изображений» Лукас Хаас, Михал Скрета и Сайлас Альберти описывают, как они разработали PIGEON.

Это модель геолокации изображения, полученная на основе их собственной предварительно обученной модели CLIP под названием StreetCLIP. С технической точки зрения, модель дополнена набором семантических геоячеек — ограниченных участков земли, похожих на округа или провинции, которые учитывают специфичные для региона детали, такие как дорожная разметка, качество инфраструктуры и уличные знаки, — и ProtoNets — метод классификации с использованием лишь несколько примеров.

PIGEON недавно соревновался с Тревором Рэйнболтом, ведущим игроком GeoGuessr, известным на YouTube просто как Рэйнболт, и победил.

Ученые в своей статье утверждают, что PIGEON — это «первая модель искусственного интеллекта, которая последовательно превосходит игроков-людей в GeoGuessr, входя в число 0,01 процента лучших игроков». Нам сообщили, что около 50 миллионов или более человек играли в GeoGuessr.

Альберти, докторант Стэнфордского университета, рассказал The Register: «Это было что-то вроде нашего небольшого конкурса Deep Mind», имея в виду заявление Google о том, что ее система DeepMind AlphaCode может писать код, сравнимый с программистами-людьми.

Думаю, это был первый раз, когда ИИ победил лучшего человека в мире на GeoGuessr.

«Я думаю, что это был первый раз, когда ИИ победил лучшего человека в мире на GeoGuessr», — сказал он, отметив, что Рэйнболт одержал победу в двух предыдущих матчах с системами ИИ.

Геолокация изображений стала своего рода искусством среди исследователей открытых источников благодаря работе таких журналистских исследовательских организаций, как Bellingcat. Успех PIGEON показывает, что это еще и наука, имеющая серьезные последствия для конфиденциальности.

Хотя PIGEON был обучен геолокации изображений Street View, Альберти считает, что этот метод может облегчить геолокацию практически любого изображения, по крайней мере, на открытом воздухе. Он сказал, что он и его коллеги опробовали систему с наборами данных изображений, которые не включают изображения Street View, и она сработала очень хорошо.

Альберти рассказал о дискуссии с представителем разведывательной платформы с открытым исходным кодом, который проявил интерес к их технологии геолокации. «Мы думаем, что наш метод, вероятно, можно применить и к этим сценариям», — сказал он.

На вопрос, усложнит ли эта технология сокрытие того, где были сняты изображения, Альберти ответил, что если вы находитесь на какой-либо улице, геолокация станет вполне вероятной, потому что существует так много контрольных признаков того, где вы находитесь.

«На днях меня спросили: а что, если вы находитесь вдали от улиц, где-нибудь на лоне природы?» — сказал он. «Даже там у вас есть много признаков того, где вы могли бы быть, например, листья, небо, цвет почвы. Они, безусловно, могут сказать вам, в какой стране или в каком регионе страны вы находитесь». но вы, вероятно, не сможете найти конкретный город. Я думаю, что фотографии интерьеров, вероятно, по-прежнему будет очень сложно найти».

Я думаю, что фотографии интерьера, вероятно, по-прежнему будет очень сложно найти.

Альберти сказал, что одна из ключевых причин хорошей работы PIGEON заключается в том, что он опирается на CLIP OpenAI в качестве базовой модели.

«Раньше многие другие модели геолокации просто обучали модель с нуля или использовали модель на основе ImageNet. Но мы заметили, что, используя CLIP в качестве базовой модели, он видел гораздо больше изображений, видел гораздо больше мелких деталей, и поэтому гораздо лучше подходит для этой задачи».