DDOING

Record my study

Abstract

본 논문에서는 fingerprint라고 불리는 생성된 이미지의 고유한 특성을 분석하고 다양한 생성 모델에 의해 생성된 다양한 유형의 지문을 reproduce할 수 있는 새로운 프레임워크를 제안한다.

실제 이미지만으로 모델을 학습시킴으로써 특정 생성 모델에 대한 데이터 의존성을 방지하고 일반화를 향상시킬 수 있다.

주파수 영역에서 지문이 강조된다는 수학적 도출을 통해 지문의 효과적인 학습을 위해 생성된 이미지 검출기를 설계한다.

Introduction

지문 : 주파수 레벨의 생성된 이미지에 있는 생성기의 업샘플링 추정중에 생성된 체커보드 흔적

주파수 레벨 지문의 외관은 생성 모델과 개체 범주에 따라 다르다. 따라서 최근 생성된 이미지 검출기에서 추가로 생성된 이미지를 테스트할 떄 여러개의 개체 범주별로 테스트할 수 없다.

이러한 문제를 극복하기 위해 지문 생성기와 생성된 이미지 검출기로 구성된 FingerPrintNet을 제안.

전체 프레임워크는 실제 이미지만 사용하고 특정 GAN 모델에 의해 생성된 이미지를 trianing시에 사용하지 않는다.

대신 지문 생성기는 다양한 GAN 모델을 포함하기 위해 실제 이미지를 재구성한다.

실제 이미지와 지문 생성기에서 재구성된 이미지를 사용하여 생성된 이미지 검출기를 훈련하며, 생성된 이미지를 실제 이미지와 구별한다.

Key ideas

  • 특정 GAN모델에 의존하는 이전의 GAN 검출기와 달리 우리 모델은 일반화된 검출 능력을 얻고 데이터 의존성을 피하기 위해 self-supervised training 방법을 사용
  • 다양한 지문을 생성할 수 있는 네트워크와 다양한 지문 또는 perturbation의 진폭을 조정하여 검출기를 훈련시키는 새로운 방법을 제안

Method

지문 생성기의 목적은 실제 이미지의 재구성을 기반으로 다양한 종류의 지문을 모방하는것.

여러 업샘플링 과정을 포함하도록 설계된 오토 인코더를 사용하여 지문 생성기 개발(업샘플링 과정에서 지문이 나오기 때문).

업샘플링 과정의 수와 커널 크기는 지문의 빈도에만 영향을 미친다.

Overall architecture

그림은 지문 생성기의 전체 구조를 보여준다.

  • 영상 압축을 위해 입력 이미지는 컨볼루션에 의해 작은 해상도로 변환.
  • 첫번째 layer = stride 1, 나머지 layer = stride 2
  • 특징 맵의 해상도는 마지막 레이어에서 원래 입력 크기의 1/64가 된다.

  • 모든 컨볼루션 레이어는 컨볼루션 이후 ReLU 적용된다.

  • 해상도를 복원하기 위해 연속적으로 deconvolution layer적용

Random Layer selection

다양한 GAN모델에서 서로 다른 수의 업샘플링 작업을 처리하기 위해 지문 생성기에 랜덤 계층 선택을 사용한다.

모듈은 1~6중 하나의 값을 무작위로 선택한다. 그 다음 전체 layer를 사용하는 대신에, z^l(x) 가 l번쨰 deconvolution layer에 공급되어 z^lup(x)를 추정한다.

l보다 큰 인덱스를 가진 나머지 컨볼루션 및 디컨볼루션 계층의 feature map을 0 으로 설정한다.

이를 통해 지문 생성기의 원래 구조는 그대로 유지되지만 업샘플링 작업의 수는 재구성된 이미지에서 지문의 외관을 일반화 하기 위해 달라질 수 있다.

Multi-kernel Deconvolution Layer

다양한 커널 크기 중에서 커널의 짝수 크기와 홀수 크기 사이의 차이에 초점을 맞추고 있다.

각 디컨벌루션 계층에 의해 2의 일정한 스트라이드 크기로 인해 짝수 크기의 커널은 짝수 픽셀만큼 중첩되는 반면 홀수 크기의 커널은 홀수 픽셀만큼 중첩된다. 수많은 커널 크기를 사용하는 대신 3과 4로 설정된 두 커널만 사용한다.

하나의 디컨벌루션 계층에는 두개의 커널이 포함되며 이들은 각각 입력 피처 맵에 병렬로 적용된다. 

마지막으로 z^kup은 두 커널에서 나온 두 feature map의 평균을 추정함으로써 얻어진다.

Feature Blender

GAN모델에서 feature blender는 다양한 진폭을 고려하기 위해 사용된다. 이는 혼합을 통해 교육 샘플을 증강한다.

Fingerprint Generatoin

지문 생성기를 훈련한 후, 지문 생성기에서 생성된 이미지를 포함하는 합성 데이터 세트를 구축한다.

데이터 세트 생성 동안 랜덤 계층 선택의 인덱스 l을 1,2,6으로 고정하기 때문에 생성된 이미지에는 다양한 유형의 지문이 포함된다.

  • l = 2,6 : 업샘플링 작업으로 인해 G(x)에 나타나는데, 생성된 이미지를 구별하는데 중요한 특성으로 사용된다.
  • l = 1 : 업샘플링 작업이 없으므로 안티앨리어싱 GAN모델에서 견고성을 지원한다.

Generated image detector

생성된 이미지 지문이 주파수 수준 영역에서 구별되는 이유를 수학적으로 설명. 도출에 기초하여 생성된 이미지 검출기의 입력으로 주파수 스펙트럼 활용.

생성된 이미지 검출기의 세부 정보 설명. 생성된 이미지 검출기의 견고성을 더욱 향상시키기 위해 training중에 혼합 배치 메커니즘을 사용.

Architecture of Detector

인공 지문 생성기를 훈련한 후 다음 단계는 생성된 이미지 검출기를 훈련하여 생성된 이미지와 실제 이미지를 구별하는것.

  • FFT를 사용하여 인공 지문 생성기의 생성 이미지를 2D 스펙트럼으로 변환
  • 검출기를 훈련시키기 위해 훈련 데이터 세트에서 실제 이미지를 재구성하여 생성된 이미지를 조달한다.
  • 하나의 실제 이미지에서 생성된 세개의 이미지에서 발생하는 불균형 문제로 인해 training이 어려울 수 있는데, 이를 해결하기 위해 미니 배치에서 재구성된 이미지의 세배만큼 실제 이미지를 추출하도록 샘플링 확률을 변경

참고