お絵かき支援するツールを密かに作っている話

この記事は ピクシブ株式会社 Advent Calendar 2017 3日目の記事です。

こんにちは、17年度新卒のkwzrです。普段はPawooやpixiv PAY、他新規のiOSAndroidアプリの開発を行き来しています。 好きなRFCはRFC1149です。

今回は趣味のお絵かきと個人で作っているツールについて書きます。

お絵かきするときに困ること

  • 描きたいキャラは決まる
  • キャラの服装は決まったり決まらなかったり
    • ソシャゲの新規衣装とかを描いたり
  • 構図・ポーズが決まらずに、試行錯誤することが多い ← 😩😂😔😵

ポーズが決まらない問題をプログラミングで解決する

ポーズが決まらないときは、参考となるモデルや素材を探しに行ったりします。もしくはデッサン人形を使ったりするかもしれません。 インターネット上にもたくさんのポーズ素材があるのですが、以下のような問題があったりします

  • 欲しいポーズを文字で検索するのがつらい
  • デッサン人形持ってない
  • 3Dデッサン人形は操作に慣れていないと時間がかかる
  • 絵を描いてるときにペンを持ち替えて、キーボードで検索するがつらい

そんな悩みを解決するためにざっくりポーズを検索するツールを密かに作り続けています。

気軽にポーズを探せるツールを作った

https://i.gyazo.com/307924432c44b8126054daf97f722b78.gif

ここから試せます → https://sketchdoll.kwzr.net/

iOS11のiPadのSplit Viewならこのように絵を描きながらポーズを探すことができます。アプリが対応していればドラッグ&ドロップできて便利😂

https://i.gyazo.com/8150db3c9c491ea5f1250dd9dc3f58d2.gif

概要

ざっくりと棒人間のようなものを描くと、その骨格を持つようなポーズ素材が検索されます。

各ポーズ素材の画像には、対応する棒人間の画像が存在していて、検索はそちらを対象に行なっています(下図)。 ポーズ素材の元の3Dモデルがあれば、簡単なスクリプトを書くことで自動で棒人間画像を生成できます。 今回は個人で購入している3Dモデルから1万枚の画像をいろんな角度から切り抜いて、検索可能にしました。

https://i.gyazo.com/df9c725446c29f51a5280e1bb4e9c902.png

検索対象の画像のBoVWで全文検索をするような実装をしてあげます(特徴量抽出にはGALIFなどの線を特徴化するものを使うのが良いそう)。気になる方はSketch-Based Image Retrievalなどで調べると良い文献に巡り会えるかもしれません。僕は実装する体力がないので、以下の実装を利用しています。

github.com

今後

3Dモデルを操作できるようにしたり、もっとイラストを描くときに参考になるモデルを検索できるようにしたいと思っています。

これは将来の夢ですが、ディープなんとかを使ってイラスト画像から棒人間画像を生成することができれば、すべてのイラストを棒人間のポーズで検索することができるようになる可能性もあります。 好きなポーズのイラストを簡単に探せる世界になって欲しいですね。

明日の記事もお楽しみに!

qiita.com