Pytorch實作系列 — Pix2pix

mz bai
Dec 15, 2020

--

Pix2pix是由Isola et al.(2016, 柏克萊) 在 Image-to-Image Translation with Conditional Adversarial Networks 提出,是學習任意圖像對轉換關係的經典作品。

資料集

edges2shoes,一個提供鞋子外框素描與鞋子照片隊的資料集。

網路

生成器是UNet,判別器是一個簡單的全卷積網路PatchGAN,PatchGAN的輸入是由channel組起來的圖片對,輸出是每個像素是真是假。

損失函數

生成器採用Mean square error loss做GAN的損失函數搭配 L1 loss做像素級的損失,判別器採用 Mean square error loss做GAN的損失函數。

訓練

依照GAN的訓練方式,生成器會試圖欺騙判別器,生成越來越真的圖片,判別器會試圖判斷圖片是真是假。

評估

優點: 形狀跟紋路大致上正確。

缺點: 像素層級上會有破損、顏色過於灰暗、細節粗略。

結語

本文為pix2pix的簡單實作,代碼可參考以下連結。

參考

--

--

mz bai
mz bai

Written by mz bai

Present data engineer, former data analyst, Kaggle player, loves data modeling.