特開 2024-173396 画像生成装置、撮影システム及び画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024173396

(43)【公開日】2024-12-12

(54)【発明の名称】画像生成装置、撮影システム及び画像生成方法

(51)【国際特許分類】

   G06T 1/40 20060101AFI20241205BHJP

   H04N 1/387 20060101ALI20241205BHJP

   G06T 1/00 20060101ALI20241205BHJP

   G06T 11/80 20060101ALI20241205BHJP

   H04N 23/60 20230101ALI20241205BHJP

【ＦＩ】

G06T1/40

H04N1/387 110

G06T1/00 340

G06T11/80 A

H04N23/60 500

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023091785

(22)【出願日】2023-06-02

(71)【出願人】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100086911

【弁理士】

【氏名又は名称】重野 剛

(74)【代理人】

【識別番号】100144967

【弁理士】

【氏名又は名称】重野 隆之

(72)【発明者】

【氏名】根岸 成郎

【テーマコード（参考）】

5B050

5B057

5C122

【Ｆターム（参考）】

5B050AA10

5B050BA06

5B050BA12

5B050CA01

5B050DA04

5B050EA19

5B050FA02

5B050FA03

5B050FA05

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD20

5B057CE08

5B057DA17

5B057DB02

5B057DC40

5C122EA42

5C122FH11

5C122FH18

5C122GA01

5C122GA23

5C122GB05

5C122HA48

5C122HB01

(57)【要約】

【課題】撮影した人物画像から、合成対象画像のタッチに合わせたイラストを作成し、合成を行い、違和感を低減した合成画像を生成する。
【解決手段】画像生成装置は、ユーザを撮影した撮影画像を取得する画像取得部と、前記撮影画像から人物画像を抽出する抽出部と、キャラクターを含むテンプレートデータを格納する記憶部と、前記人物画像を前記キャラクターの画風に変換する変換部と、変換された前記人物画像と前記テンプレートデータとを合成し、合成画像を生成する合成部と、を備える。前記変換部は、アニメから切り出されたキャラクター画像を用いて学習が行われた学習済みモデルに前記人物画像を入力し、前記学習済みモデルから出力された画風変換画像を取得する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザを撮影した撮影画像を取得する画像取得部と、
前記撮影画像から人物画像を抽出する抽出部と、
キャラクターを含むテンプレートデータを格納する記憶部と、
前記人物画像を前記キャラクターの画風に変換する変換部と、
変換された前記人物画像と前記テンプレートデータとを合成し、合成画像を生成する合成部と、
を備え、
前記変換部は、アニメから切り出されたキャラクター画像を用いて学習が行われた学習済みモデルに前記人物画像を入力し、前記学習済みモデルから出力された画風変換画像を取得する、画像生成装置。

【請求項2】

前記変換部は、前記ユーザの顔及び衣服の画風変換を行う、請求項１に記載の画像生成装置。

【請求項3】

請求項１又は２に記載の画像生成装置と、
前記ユーザを撮影する撮影部と、
前記画像生成装置から前記合成画像を取得し、前記合成画像をダウンロードするウェブサイトのＵＲＬを示すＵＲＬ情報を生成し、前記画像生成装置へ前記ＵＲＬ情報を送信するサーバ装置と、
前記合成画像及び前記ＵＲＬ情報を用紙にプリントして出力するプリンタと、
を備える撮影システム。

【請求項4】

ユーザを撮影し、撮影画像を生成する工程と、
前記撮影画像から人物画像を抽出する工程と、
前記人物画像を所定のキャラクターの画風に変換する工程と、
前記キャラクターを含むテンプレートデータと、画風が変換された前記人物画像とを合成し、合成画像を生成する工程と、
を備え、
アニメから切り出されたキャラクター画像を用いて学習が行われた学習済みモデルに前記人物画像を入力し、画風を変換する、画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、撮影システム及び画像生成方法に関する。

【背景技術】

【0002】

近年、利用者の写真を撮影して専用印画紙やシールなどの媒体にプリントして出力する画像プリント装置（例えばプリクラ（登録商標））がゲームセンタやイベント施設等に設置されている。従来の画像プリント装置は、撮影ボックス内でポーズをとった人物をカメラで撮影し、得られた画像から背景を削除して撮影された人物のみを抜き出す処理を施し、あらかじめ画像データとして準備している背景画像やマスコットなどのキャラクター画像と、抜き出した人物画像とを合成してプリント出力する。

【0003】

人物画像とアニメのキャラクター画像とを合成する場合、実写（人物画像）とアニメ絵（キャラクター画像）とが混在するため、合成画像に違和感を持つことがあった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６６１４６４４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、撮影した人物画像から、合成対象画像のタッチに合わせたイラストを作成し、合成を行い、違和感を低減した合成画像を生成する、画像生成装置、撮影システム及び画像生成方法を提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明の画像生成装置は、ユーザを撮影した撮影画像を取得する画像取得部と、前記撮影画像から人物画像を抽出する抽出部と、キャラクターを含むテンプレートデータを格納する記憶部と、前記人物画像を前記キャラクターの画風に変換する変換部と、変換された前記人物画像と前記テンプレートデータとを合成し、合成画像を生成する合成部と、を備え、前記変換部は、アニメから切り出されたキャラクター画像を用いて学習が行われた学習済みモデルに前記人物画像を入力し、前記学習済みモデルから出力された画風変換画像を取得するものである。

【0007】

本発明の撮影システムは、上記画像生成装置と、前記ユーザを撮影する撮影部と、前記画像生成装置から前記合成画像を取得し、前記合成画像をダウンロードするウェブサイトのＵＲＬを示すＵＲＬ情報を生成し、前記画像生成装置へ前記ＵＲＬ情報を送信するサーバ装置と、前記合成画像及び前記ＵＲＬ情報を用紙にプリントして出力するプリンタと、を備えるものである。

【0008】

本発明の画像生成方法は、ユーザを撮影し、撮影画像を生成する工程と、前記撮影画像から人物画像を抽出する工程と、前記人物画像を所定のキャラクターの画風に変換する工程と、前記キャラクターを含むテンプレートデータと、画風が変換された前記人物画像とを合成し、合成画像を生成する工程と、を備え、アニメから切り出されたキャラクター画像を用いて学習が行われた学習済みモデルに前記人物画像を入力し、画風を変換するものである。

【発明の効果】

【0009】

本発明によれば、撮影した人物画像から、合成対象画像のタッチに合わせたイラストを作成し、合成を行い、違和感を低減した合成画像を生成することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る撮影システムの概略構成図である。

【図2】撮影装置のハードウェア構成図である。

【図3】画像生成装置の機能ブロック図である。

【図4】同実施形態に係る画像生成方法を説明するフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0012】

図１に示すように、本発明の実施形態に係る撮影システムは、撮影装置１及びサーバ装置２を備える。撮影装置１は、アニメのキャラクター等を含むテンプレートデータを保存する。ここで、アニメとは、映像作品に限定されず、漫画等の絵を含む創作物をいう。撮影装置１は、ユーザを撮影し、撮影画像から人物（ユーザ）を抽出し、抽出した人物画像をアニメ画像風に変換（イラスト化）する。撮影装置１は、テンプレートデータのアニメと同じ画風となるように人物画像の変換を行う。

【0013】

撮影装置１は、変換後の人物画像をテンプレートデータと合成し、合成画像を生成する。撮影装置１は、合成画像をサーバ装置２へ送信し、サーバ装置２から合成画像をダウンロードするためのウェブサイトのＵＲＬを受信する。

【0014】

撮影装置１は、合成画像及びＵＲＬ情報を用紙にプリントして出力する。ユーザは、スマートフォンやＰＣ等を用いてダウンロードサイトにアクセスし、合成画像のデータをダウンロードすることができる。

【0015】

ユーザを撮影し、撮影画像から抽出した人物画像を、テンプレートデータのテーマとなっているアニメ調に変換するため、変換後のイラスト化された人物画像は、テンプレート内のキャラクターと馴染みが良く、違和感がほとんどない合成画像が得られる。

【0016】

図２に示すように、撮影装置１は、演算制御装置１０、撮影部１１、タッチパネル１２、照明部１３、課金部１４、プリンタ１５及び通信部１６を備える。撮影装置１は、オープンタイプでもよいし、背面パネルやカーテン等を有するボックスタイプでもよい。背面パネルは、クロマキー合成に適した緑色や青色であることが好ましい。

【0017】

撮影部１１は、例えばデジタルカメラである。

【0018】

タッチパネル１２は、操作ボタンを表示してユーザからの指示受付部として機能すると共に、ライブビュー画面等を表示する表示部として機能する。

【0019】

照明部１３は、定常光を発光する照明手段であり、例えば拡散板と複数のＬＥＤ電球を有する。照明部１３の位置は特に限定されないが、図１の例では、上部と、左下及び右下に設けられている。

【0020】

課金部１４は、例えば紙幣受入口、硬貨投入口、釣銭出金口等を有し、所定の料金の支払いを受け付ける。

【0021】

プリンタ１５は、昇華型又はインクジェット型などの高解像度カラープリンタである。

【0022】

通信部１６は、インターネット等を介して、サーバ装置２との通信を行う。

【0023】

図３に示すように、演算制御装置１０は、例えばＣＰＵ、記憶部Ｍ等を備えたコンピュータにより構成されている。記憶部Ｍは、例えばＲＡＭ、ＲＯＭ、ハードディスク等を有する。記憶部Ｍに格納された画像生成プログラムが実行されることで、画像取得部１０１、抽出部１０２、変換部１０３、合成部１０４、プリント制御部１０５等の機能が実現される。各部の処理については後述する。

【0024】

記憶部Ｍには、学習器１１０及びテンプレートデータ１１２が記憶される。

【0025】

テンプレートデータ１１２は、アニメのキャラクターを含む画像データである。複数種類のテンプレートデータ１１２を準備し、合成対象のテンプレートをユーザが選択できるようにしてもよい。

【0026】

学習器１１０は、各ユニット（ニューロン）に関する重み及びバイアスなどの各パラメータ、並びに、入力データに対して処理を行うための処理実行プログラムである。記憶部Ｍに学習器１１０が記憶されるとは、学習器１１０に関する各種パラメータ（学習処理によって調整済みの演算パラメータ）と処理実行プログラムが記憶部Ｍに記憶されることを意味する。

【0027】

この学習器１１０は、現実世界の写真が入力されると、テンプレートデータ１１２となっているアニメの画風に変換（イラスト化）する学習済みモデルである。学習用の入力画像データには、テンプレートデータ１１２となっているアニメの製作者から提供された複数の画像データが用いられる。アニメから複数の人物を自動的に切り出し、学習に用いてもよい。あるいはまた、テンプレートデータ１１２から切り出したキャラクター画像を学習に用いてもよい。機械学習のアルゴリズムは、例えば、ボルツマンマシン、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ、ＧＡＮ、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）、Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ等の公知のものを用いることができる。

【0028】

このような学習器１１０に人物写真を入力すると、輪郭や髪形、鼻筋、目や口などの各種パーツの大きさや形状など、そのほとんどが元の人物写真に沿っており、髪や肌、目の色、質感などはアニメ画像のスタイルに変換された画像が出力される。つまり、テンプレートデータ１１２となっているアニメの作者が、その人物の似顔絵を描いたかのような画像を出力できる。

【0029】

次に、演算制御装置１０の各部の処理を、図４に示す画像生成方法のフローチャートに沿って説明する。

【0030】

ユーザが撮影装置１のタッチパネル１２を操作して所望のキャラクター（テンプレート）を選択し、課金部１４に所定の料金の貨幣を投入すると、撮影部１１がユーザを撮影する（ステップＳ１）。

【0031】

画像取得部１０１が撮影部１１から撮影画像を取得する。抽出部１０２が、撮影画像から人物画像を抽出する（ステップＳ２）。例えば、クロマキー合成により、背景と同じ色成分（緑や青）の画素を除去して、人物領域のみを切り出す。

【0032】

変換部１０３が、学習器１１０を用いて、ステップＳ２で抽出された人物画像をイラスト化する（ステップＳ３）。人物画像を学習器１１０に入力すると、テンプレートデータのアニメと同じ画風に変換されたイラストが出力される。

【0033】

合成部１０４が、ユーザが選択したテンプレートデータ１１２と、ステップＳ３でイラスト化された人物画像とを合成し、合成画像を生成する（ステップＳ４）。

【0034】

合成画像が通信部１６を介してサーバ装置２へ送信される。通信部１６は、サーバ装置２から合成画像をダウンロードするウェブサイトのＵＲＬ情報を受信する。ＵＲＬ情報は、ＵＲＬそのもの、ＵＲＬを示す二次元コードの少なくともいずれか一方を含む。

【0035】

プリント制御部１０５が、ステップＳ４で生成された合成画像と、サーバ装置２から受信したＵＲＬ情報とを含むプリントデータを生成し、プリンタ１５からプリント出力させる（ステップＳ５）。

【0036】

ユーザは、自分の容姿がテンプレートデータのアニメ調にイラスト化された画像と、テンプレートデータのキャラクターとが合成された合成画像のプリント物を入手することができる。また、プリント物に印字されたＵＲＬ情報を用いてダウンロードサイトにアクセスし、合成画像の画像データを入手することができる。

【0037】

このように、本実施形態によれば、ユーザを撮影した画像を、合成対象のテンプレートのタッチに合わせてイラスト化してからテンプレートと合成するため、違和感を低減した合成画像を生成することができる。

【0038】

学習器１１０は、入力された人物画像の顔のみイラスト化してもよいし、ユーザが着ている衣服もあわせてイラスト化してもよい。

【0039】

上記実施形態では、背景やキャラクターを含むテンプレートを事前に選択する例について説明したが、ユーザを撮影した人物画像をイラスト化する際に、合成する背景やキャラクターをあわせて生成してもよい。

【0040】

撮影部１１が撮影を複数回行い、複数の人物画像をイラスト化し、それぞれ異なるテンプレートと合成してＧＩＦアニメを作成してもよい。この場合、プリンタ１５は、ユーザが選択したコマ画像をプリント出力してもよいし、全てのコマ画像をプリント出力してもよい。サーバ装置２は、ＧＩＦアニメのダウンロードサイトのＵＲＬを撮影装置１へ送信する。

【0041】

上記実施形態では、撮影したユーザをアニメ風に変換（イラスト化）する例について説明したが、実写映画の雰囲気に合わせた変換を行ってもよい。例えば、実写映画から抽出した人物画像を用いて学習処理を行う。学習処理によってトレーニングされた学習済みモデル（学習器）は、ユーザを撮影した画像が入力されると、ユーザを実写映画の登場人物のように変換した画像を出力する。

【0042】

合成画像作成の料金の支払い手段は現金に限定されず、交通系電子マネー・ＩＣ決済、二次元コード決済、オンライン決済などであってもよい。

【0043】

上記実施形態では、撮影画像から人物画像を抽出する処理、人物画像をアニメ画像風に変換（イラスト化）する処理、変換後の人物画像をテンプレートデータと合成する処理を撮影装置１で行う例について説明したが、少なくともいずれか１つの処理をサーバ装置２で行うようにしてもよい。

【0044】

本発明を特定の態様を用いて詳細に説明したが、本発明の意図と範囲を離れることなく様々な変更が可能であることは当業者に明らかである。

【符号の説明】

【0045】

１ 撮影装置
２ サーバ装置
１０ 演算制御装置
１１ 撮影部
１２ タッチパネル
１３ 照明部
１４ 課金部
１５ プリンタ
１６ 通信部

【図1】

【図2】

【図3】

【図4】