白黒にしたエロゲ画像をディープラーニングでカラー化するとこうなる

白黒(グレースケール)にしたエロゲの画像を、
ディープラーニングでカラー化してみました。

　まずはこちらの記事をご覧ください

ディープラーニングで白黒アニメをカラー化するとこうなる https://t.co/HCyYxfmPSI pic.twitter.com/ZTagTHEU1d
— GIGAZINE(ギガジン) (@gigazine) 2016年5月10日

一昨日配信された、最近何かと耳にするディープラーニングを使用して、
昔の白黒アニメをカラー化するという試みを紹介した記事です。

これには、Richard Zhangらによって先々月に公開されたシステムが使用されており、
Zhangらが公開している実験結果の画像は、個人的にはかなり驚きのカラー具合です。

・ Colorful Image Colorization
　 http://richzhang.github.io/colorization/

さて、アニメのカラー化ができるのであれば、
エロゲの画像でも使えるのかどうか気になるのが人間の性(？)

だったら実際にグレースケールにしたエロゲの画像をカラー化してみようじゃないか

というのが今回の目的です。

　環境構築の際に参考にしたもの

VMware上のUbuntuにCaffeを入れて、システムをJupyterで動かすという感じです。
ほぼ1からの構築だったので、色々とエラーに出くわして大変でした。
エラーを回避できれば、書いてある通りにやれば誰でも使えます。

・ Caffe | Deep Learning Framework
　 http://caffe.berkeleyvision.org/

・ Ubuntu 14.04 上での Caffe の導入手順メモ
　 http://www.nal.ics.es.osaka-u.ac.jp/personal/k-yamanishi/CaffeUbuntu.html

・ Ubuntu14.04にCaffeをインストール(CPUモード) - Qiita
　 http://qiita.com/TD72/items/1bab76e395243defcc06

・ GitHub - richzhang/colorization: Demo code for Colorful Image Colorization.
　 https://github.com/richzhang/colorization

・ Jupyter Notebook（IPython）のインストールと始め方 - TASK NOTES
　 http://www.task-notes.com/entry/20151129/1448794509

　まず写真で試してみよう

まずは前座にとして、
『サキガケ⇒ジェネレーション！聖地巡礼の旅』の際に撮影した写真をカラー化してみます。

左が入力のグレースケールの写真、
中央がディープラーニングによってカラー化された写真、
右が元の写真です。

野尻湖

菅川神社

斑尾山の標識

斑尾山からの眺め

ポストとバス停

いかがでしたでしょうか。

風景に関しては非常に高いクオリティでカラー化できることがわかると思います。
特に空なんか、元の写真より綺麗なんじゃないかと思ってしまう程です。

ダメだったところを指摘するのであれば、標識の写真が緑に溢れすぎているところや、
バス停の色が緑から赤に変わっているところが少し気になるところでしょうか。

　いよいよエロゲの画像でやります・・・が？

さて、本題のエロゲの画像をカラー化してみたなんですが、

最初に言っておきます！
あんまり上手くいきませんでした！orz

正直、最初に載せた『千恋＊万花』の画像が一番上手くいってます。
とはいえ、これで終わるわけにはいかないので、カラー化の成果を発表します。

銀色、遥か (tone work's) ベスリー
金髪キャラのはずが銀髪キャラに。服の青色は上手くいっています。

アマツツミ (Purple software) こころ
全体的にかなり上手くいっている方です。
この絵のような暖色系の照明で照らされていたり、夕日が差し込んでいたりする絵は得意らしいです。

アマツツミ (Purple software) 蛍
暖色にカラー化されてしまいました。
全く違った趣きになりましたが、これはこれで・・・あり？

千恋＊万花 (ゆずソフト) 芳乃
SD絵でもやってみました。
リボンは良い感じです。壁はなぜか青色に。

花咲ワークスプリング！ (SAGA PLANETS) 若葉・柑南
赤チェックのスカートが黒チェックに。黒髪や黒の髪飾りが赤に・・・。逆です。

花咲ワークスプリング！ (SAGA PLANETS) ヒカリ
カラー化後の右側は黄色がかってしまいましたが、中央の方はちゃんと肌色になっています。
そして乳首もちゃんとピンクです。

銀色、遥か (tone work's) ベスリー
おちんちんが脅威の再現度だ！

見上げてごらん、夜空の星を FINE DAYS (PULLTOP) ほのか
これまではそこそこ見られるものをピックアップしたのですが、
それ以外の大半はこのように全体が赤や黄色がかってしまいました。

　まとめ

三次元の写真を教師データとして使用したモデルを、二次元に適用することの難しさを実感。
これは三次元の写真に比べて、二次元の画像は特徴点が無さ過ぎるためでしょう。

冒頭に紹介したアニメのカラー化を行っている方は、
最初の作品以外、アニメを教師データとして自作したモデルを使用されているようですし、
こちらもエロゲ画像を教師データとして使用したモデルを自作しろってことですね。
まぁ今後やるかどうかは、乞うご期待というところです。

それから今回一番の驚きだったのは、
二次元の陰部(モザイク有り)や乳首がまともにカラー化できたことです。
教師データにエロ画像も含まれているのでしょうか。

・・・後でちゃんと論文読むか。(完)

関連記事