Нейросеть научили «представлять» местность по спутниковым снимкам

Американские исследователи создали нейросеть, которая превращает спутниковые снимки в фотографии той же местности с уровня земли, сообщается в работе, опубликованной на arXiv.org.
Разработчики из Университета Калифорнии в Мерседе считают, что в будущем алгоритм можно использовать с целью быстрого определения типа местности. Нейросеть также способна узнать тип покрытия территории: трава, лес, асфальт или что-о другое.

Обычно для удаленного изучения местности используются спутниковые снимки или даже видеозаписи. Часто они имеют низкое разрешение и маленькую информативность. В качестве решения этой проблемы ученые также используют фотографии из социальных сетей или других сайтов, снабженные геометками, и панорамные снимки с картографических сервисов. Но эти снимки покрывают очень малую долю всей поверхности Земли и распределены неравномерно.
Исследователи предположили, что снимки с уровня земли можно синтезировать искусственно на основе фотографий той же местности, сделанных с орбиты. Для этого исследователи создали генеративно-состязательную нейросеть (GAN) на основе сверточных нейросетей, состоящую из генератора и дискриминатора. Генератор получает в качестве исходных данных вектор, созданный из небольшого фрагмента спутникового снимка, и дополнительный случайный вектор. После этого он создает на основе исходных данных изображение, которое отдается на проверку дискриминатору. Тот сравнивает это изображение с настоящими фотографиями из датасета, сделанными с уровня земли, и определяет, настоящее оно или сгенерированное нейросетью. В результате обе сети постепенно обучаются — генератор, получая оценку от дискриминатора, начинает создавать все более правдоподобные изображения, а дискриминатор учится точнее распознавать синтетические изображения.

В качестве данных для обучения нейросети исследователи собрали датасет, состоящий из спутниковых снимков с Google Maps и соответствующих им фотографий местности с сайта Geograph. После этого разработчики обучили нейросеть на четырех тысячах таких пар.

Исследователи также решили выяснить, подходят ли создаваемые нейросетью изображения для классификации территории по типу покрытия (трава, лес, асфальт и другое). Для этого они создали 20 тысяч пар спутниковых снимков и фотографий, аналогичных исходному датасету, а также использовали базу данных покрытия территории Великобритании за 2015 год. После этого авторы провели классификацию с помощью метода опорных векторов и выяснили, что данные, полученные с помощью синтезированных изображений, имеют точность 82% — выше, чем для настоящих фотографий, но ниже, чем у спутниковых снимков.

• Разработчики из Adobe научили нейросеть распознавать фотографии, модифицированные в графических редакторах.