Журнал дистанционного зондирования и ГИС

Абстрактный

Частично несвязанная сиамская модель для обнаружения изменений на основе гетерогенных изображений дистанционного зондирования

Туати Р., Миньот М., Даман М.

В этой статье рассматривается проблема обнаружения изменений в битемпоральных гетерогенных парах изображений дистанционного зондирования. В разных дисциплинах мультимодальность является ключевым решением для повышения производительности в контексте совместного зондирования. В частности, в области изображений дистанционного зондирования все еще существует пробел в исследованиях, который необходимо заполнить с помощью умножения датчиков, а также возможностей совместного использования данных и доступности мультитемпоральных данных. Это исследование направлено на изучение мультимодальности в мультитемпоральной настройке для лучшего понимания коллективного завершения информации по всему датчику; мы предлагаем подход парного обучения, состоящий из псевдосиамской сетевой архитектуры, основанной на двух частично несвязанных параллельных сетевых потоках. Каждый поток представляет собой сверточную нейронную сеть (CNN), которая кодирует входные патчи. Общая модель детектора изменений (CD) включает стадию слияния, которая объединяет два кодирования в единое мультимодальное представление признаков, которое затем сводится к более низкому измерению с использованием полностью связанных слоев, и, наконец, функция потерь, основанная на двоичной перекрестной энтропии, используется в качестве слоя принятия решений. Предлагаемая псевдосиамская архитектура парного обучения позволяет модели CD фиксировать пространственные и временные зависимости между мультимодальными парами входных изображений. Модель обрабатывает два мультимодальных входных патча одновременно при разных пространственных разрешениях. Оценочные характеристики на различных реальных мультимодальных наборах данных, отражающих смесь условий CD с разными пространственными разрешениями, подтверждают эффективность предлагаемой архитектуры CD.