(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】コンテンツ作成装置
(51)【国際特許分類】
G06T 11/80 20060101AFI20221220BHJP
H04N 1/387 20060101ALI20221220BHJP
【ＦＩ】
G06T11/80 A
H04N1/387 110
【請求項の数】
3
(21)【出願番号】P 2018175082
(22)【出願日】2018-09-19
(65)【公開番号】P2020046958
(43)【公開日】2020-03-26
【審査請求日】2021-07-27
(73)【特許権者】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100086911
【弁理士】
【氏名又は名称】重野 剛
(74)【代理人】
【識別番号】100144967
【弁理士】
【氏名又は名称】重野 隆之
(72)【発明者】
【氏名】佐々木 隆裕
(72)【発明者】
【氏名】渡邊 賢人
【審査官】片岡 利延
(56)【参考文献】
【文献】特表２０１２－５２８３９８（ＪＰ，Ａ）
【文献】特開２００８－１７６６９６（ＪＰ，Ａ）
【文献】特開２００４－２９７３５０（ＪＰ，Ａ）
【文献】特開２０１７－１３８９１２（ＪＰ，Ａ）
【文献】アシアルの中の人，PhotoshopCS5新機能「パペットワープ」を使った画像加工，[online]，2011年02月07日，https://blog.asial.co.jp/799
【文献】DEKIMAGA，CS5ドリル06：イマイチなポーズのアヒルを都合よく動かしてしまう方法，youtube[video][online]，2010年10月22日，https://www.youtube.com/watch?v=LFaA1jhQm24&t=67s，特に、0:00～1:40
【文献】Seamless，全身の動作をモーションキャプチャして４足歩行のCGキャラにぬるぬるリアルタイム反映させる技術，[online]，2015年11月03日，https://shiropen.com/2015/11/03/10886/
【文献】あいえるちゃんねる，Virtual Cast プロモーションビデオ，youtube[video][online]，2018年04月13日，https://www.youtube.com/watch?v=oEbY-94t0KI，特に0:08～0:30
【文献】ITmedia NEWS，（6分20秒から）バーチャルキャストの世界に潜入してみた［VR出張版・ITmedia NEWS TV］，youtube[video][online]，2018年04月13日，https://www.youtube.com/watch?v=P66BNMuee7A，特に06:20～35:03
【文献】Animaze by Facerig， Dev. Bits 78: Halloween Update with new skins and Multiavatar，youtube[online][video]，2017年10月26日，https://www.youtube.com/watch?v=FRmSZkm_xYA，特に0:00～0:08
【文献】島田 純，ドコモ、VR空間を複数人でリアルタイム共有できるシステム，[online]，2017年10月20日，https://k-tai.watch.impress.co.jp/docs/news/1087295.html
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １１／８０
Ｈ０４Ｎ １／３８７
(57)【特許請求の範囲】
【請求項1】
それぞれ複数のキャラクターを含む複数のテンプレート画像を記憶する記憶部と、前記テンプレート画像の選択を受け付けるテンプレート選択部と、
選択されたテンプレート画像に含まれるキャラクターの選択を受け付けるキャラクター選択部と、
利用者のモーション情報を取得するモーションキャプチャ部と、
前記モーション情報を選択されたキャラクターに投影する投影部と、
前記モーション情報が投影されたキャラクターを、選択されたテンプレート画像に合成して合成画像を生成する合成部と、
前記合成画像を表示する表示部と、
を備え、
一のコンテンツ作成装置において複数の利用者からキャラクターの選択を受け付け、各利用者と選択キャラクターとを対応付け、各利用者のモーション情報を取得し、取得したモーション情報をそれぞれの選択キャラクターに投影する、コンテンツ作成装置。
【請求項2】
前記合成画像を印画紙にプリントして出力するプリンタをさらに備えることを特徴とする請求項１に記載のコンテンツ作成装置。
【請求項3】
選択されたテンプレート画像に対応する映像を再生することを特徴とする請求項１又は２に記載のコンテンツ作成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ作成装置に関する。
【背景技術】
【0002】
免許証、パスポート、履歴書等に貼付する証明写真を撮影するためのボックス型の写真撮影装置が知られている。写真撮影装置は、人物を撮影し、用途に応じた様々なサイズの写真をプリントして出力する。
【0003】
また、クロマキー処理により、撮影画像から切り抜いた人物画像にテンプレート画像を合成してプリント出力する写真撮影装置が知られている。利用者は、あらかじめ準備されている様々なテンプレート画像から所望の画像を選択することができる。例えば、アニメのキャラクターがテンプレート画像として準備されている場合は、好きなキャラクターと一緒に写った写真を作製できる。また、アニメのワンシーンやキャラクターブロマイドをプリントして販売するセルフプリント機も知られている。
【0004】
しかし、従来の写真撮影装置やセルフプリント機では、あらかじめ決められたキャラクター、構図の中から選択しなければならず、利用者の思い描くコンテンツは取得できなかった。また、写真撮影装置の場合、自分自身が撮影されることを苦手とする利用者が利用を躊躇することがあった。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００６－１９５０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、利用者が思い描くオリジナルのコンテンツを作成するコンテンツ作成装置を提供することを課題とする。
【課題を解決するための手段】
【0007】
本発明によるコンテンツ作成装置は、それぞれ１以上のキャラクターを含む複数のテンプレート画像を記憶する記憶部と、前記テンプレート画像の選択を受け付けるテンプレート選択部と、選択されたテンプレート画像に含まれるキャラクターの選択を受け付けるキャラクター選択部と、利用者のモーション情報を取得するモーションキャプチャ部と、前記モーション情報を選択されたキャラクターに投影する投影部と、前記モーション情報が投影されたキャラクターを、選択されたテンプレート画像に合成して合成画像を生成する合成部と、前記合成画像を表示する表示部と、を備えるものである。
【0008】
本発明の一態様では、前記合成画像を印画紙にプリントして出力するプリンタをさらに備える。
【0009】
本発明の一態様では、選択されたテンプレート画像に対応する映像を再生する。
【0010】
本発明によるコンテンツ作成装置は、複数のテンプレート画像及びキャラクター情報を記憶する記憶部と、前記テンプレート画像の選択を受け付けるテンプレート選択部と、前記キャラクター情報に基づくキャラクター選択画面を作成し、キャラクターの選択を受け付けるキャラクター選択部と、利用者のモーション情報を取得するモーションキャプチャ部と、前記モーション情報を選択されたキャラクターに投影する投影部と、前記モーション情報が投影されたキャラクターを、選択されたテンプレート画像に合成して合成画像を生成する合成部と、前記合成画像を表示する表示部と、を備えるものである。
【発明の効果】
【0011】
本発明によれば、利用者が思い描くオリジナルのコンテンツを作成できる。
【図面の簡単な説明】
【0012】
【図1】（ａ）（ｂ）はコンテンツ作成装置の使用例を示す図である。
【図2】（ａ）はテンプレート選択画面の例を示す図であり、（ｂ）はキャラクター選択画面の例を示す図である。
【図3】（ａ）は利用者がとるポーズの例を示す図であり、（ｂ）は作製されるプリント物の例を示す図である。
【図4】コンテンツ作成装置の斜視図である。
【図5】コンテンツ作成装置のハードウェア構成図である。
【図6】コンテンツ作成装置の機能ブロック図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態を図面に基づいて説明する。
【0014】
図１（ａ）（ｂ）に示すように、コンテンツ作成装置１は、モーションキャプチャにより利用者Ｐの動作を認識し、その動作をアニメやゲームのキャラクターに投影してディスプレイ（タッチパネル１２）に表示する。また、コンテンツ作成装置１は、利用者Ｐがとったポーズを投影したキャラクターの画像を印画紙にプリントして出力する。
【0015】
例えば、コンテンツ作成装置１は、図２（ａ）に示すようなテンプレート選択画面をタッチパネル１２に表示する。各テンプレートは、アニメや漫画の有名なシーンであり、１又は複数のキャラクターを含んでいる。
【0016】
利用者Ｐがテンプレート選択画面でテンプレートを選択すると、コンテンツ作成装置１は、図２（ｂ）に示すようなキャラクター選択画面をタッチパネル１２に表示する。キャラクター選択画面では、選択されたテンプレートが大きく表示され、テンプレート内の各キャラクターが選択できるようになっている。
【0017】
利用者Ｐがキャラクター選択画面でキャラクターを選択した後、利用者Ｐは、図３（ａ）に示すように、コンテンツ作成装置１の前でポーズをとる。コンテンツ作成装置１は、利用者Ｐのモーション情報を選択されたキャラクターに投影し、投影されたキャラクターと選択されたテンプレートとを合成し、合成画像をタッチパネル１２に表示する。例えば、テンプレート内の選択キャラクターの部分を、モーション情報が投影されたキャラクターに置換した合成画像が生成される。コンテンツ作成装置１は、合成画像を印画紙にプリントし、図３（ｂ）に示すようなプリント物Ｍを出力する。
【0018】
図２（ｂ）に示すように、アニメ（又は漫画）の原作では片腕のみを上げていたキャラクターが、利用者Ｐのモーションが投影されて図３（ｂ）に示すように両腕を上げたポーズをとる。このように、利用者Ｐは、自分のお気に入りのキャラクターに自分の好きなポーズをとらせたオリジナルの画像を作成し、オリジナル画像のプリント物を入手できる。
【0019】
図２（ａ）に示すテンプレート選択画面でオリジナルテンプレートを選択した場合、宇宙空間、空、山などキャラクターを含まない背景画の選択画面となる。背景画を選択すると、キャラクター情報に基づくキャラクター選択画面となり、利用者は好きなキャラクターを選択する。キャラクター選択後、利用者がコンテンツ作成装置１の前でポーズをとると、利用者のモーション情報がキャラクターに投影され、投影されたキャラクターと選択された背景画とが合成される。
【0020】
次に、コンテンツ作成装置１について説明する。図４、図５に示すように、コンテンツ作成装置１は、筐体Ｈの上部にタッチパネル１２が設けられている。タッチパネル１２は、操作ボタンを表示してユーザからの指示を受け付ける指示受付部として機能すると共に、ライブビュー画面等を表示する表示部として機能する。タッチパネル１２の上方に、撮影装置１１、深度センサ１４等が設けられている。
【0021】
撮影装置１１は、例えばデジタルカメラである。
【0022】
深度センサ１４は、被写体に赤外線レーザを照射し、反射光のパターンを解析して距離を測定し、各画素値が距離の情報を持つ画像（深度画像）を生成する。
【0023】
筐体Ｈの下部にはプリンタ１３が配置されている。プリンタ１３は、昇華型又はインクジェット型などの高解像度カラープリンタである。筐体Ｈの下部の正面には、開閉扉１８が開閉自在に設けられている。開閉扉１８を開けると、プリンタ１３から出力されたプリント物が取り出せるようになっている。
【0024】
筐体Ｈの内部にはコンピュータ等からなる演算制御装置１０が設けられている。演算制御装置１０は、ＣＰＵ（中央処理装置）や記憶部Ｋを有する。記憶部Ｋは、ハードディスクドライブ、ＲＯＭ、ＲＡＭ等からなり、制御プログラム、コンテンツ作成プログラム、テンプレートデータ等を格納する。
【0025】
テンプレートデータは、１又は複数のキャラクターを含むアニメ、漫画、映画、ゲーム等の有名なシーンの画像や、自然の風景などキャラクターを含まない背景画像のデータである。
【0026】
ＣＰＵが制御プログラムを実行することで、コンテンツ作成装置１の各部の制御やデータの転送を行う制御部の機能が実現される。
【0027】
ＣＰＵがコンテンツ作成プログラムを実行することで、図６に示すように、テンプレート選択部１００、キャラクター選択部１０１、モーションキャプチャ部１０２、投影部１０３、合成部１０４、表示処理部１０５及びプリント処理部１０６の機能が実現される。
【0028】
テンプレート選択部１００は、テンプレートデータを用いてテンプレート選択画面を作成してタッチパネル１２に表示し、利用者からテンプレートの選択を受け付ける。
【0029】
キャラクター選択部１０１は、選択されたテンプレート内のキャラクターを選択できるようにしたキャラクター選択画面を作成してタッチパネル１２に表示し、利用者からキャラクターの選択を受け付ける。
【0030】
モーションキャプチャ部１０２は、深度センサ１４が生成した深度画像を用いて姿勢認識（Human Pose Recognition）を行い利用者の骨格を検出し、モーション情報を取得・生成する。
【0031】
投影部１０３は、モーションキャプチャ部１０２で生成されたモーション情報を、選択されたキャラクターに投影する。これにより、利用者と同じポーズをしたキャラクター画像が得られる。
【0032】
合成部１０４は、モーション情報が投影されたキャラクターと、選択されたテンプレート画像とを合成して、合成画像を生成する。例えば、合成部１０４は、テンプレート画像内の選択キャラクターを、モーション情報が投影されたキャラクターに置換する。
【0033】
表示処理部１０５は、合成部１０４が生成した合成画像をタッチパネル１２に表示させる。
【0034】
プリント処理部１０６は、合成画像をプリンタ１３へ転送し、印画紙にプリントするように制御する。
【0035】
このようなコンテンツ作成装置１を用いることで、利用者Ｐは、自分のお気に入りのキャラクターに自分の好きなポーズをとらせたオリジナルの画像を作成し、オリジナル画像のプリント物を入手できる。
【0036】
上記実施形態において、選択したテンプレートのシーンに至るまでの映像を数十秒程度視聴できるようにしてもよい。これにより、シーンへの没入感を誘導でき、利用者はキャラクターになりきってポーズをとることができる。
【0037】
モーション情報を投影するキャラクターと、合成されるテンプレートとは異なる作品のものであってもよい。
【0038】
利用者は複数人であってもよい。複数の利用者がそれぞれキャラクターを選択する。撮影装置１１が利用者を撮影し、利用者と選択キャラクターとを対応付ける。モーションキャプチャ部１０２が各利用者のモーション情報を取得し、投影部１０３がモーション情報をそれぞれの選択キャラクターに投影する。複数のコンテンツ作成装置１を通信可能に接続し、複数の利用者がそれぞれ異なるコンテンツ作成装置１を使用してもよい。
【0039】
上記実施形態において、利用者のモーション情報を投影するのはアニメ等のキャラクターに限定されず、芸能人、スポーツ選手、動物等でもよいし、自由の女神像や大仏などの建造物であってもよい。
【0040】
上記実施形態では、合成画像をプリント出力する例について説明したが、モーション情報を投影したキャラクターの動画データを生成してもよい。コンテンツ作成装置の無線通信部が、動画データを、利用者が所有する携帯端末へ転送する。動画は２次元データでもよいし、３次元データでもよい。
【0041】
あるいはまた、動画をＡＲ（拡張現実）で再生できるようにしてもよい。この場合、コンテンツ作成装置１は、静止画及び識別コードをプリント出力すると共に、静止画データ及び動画データを識別コードと共にサーバ装置（図示略）にアップロードする。利用者は、携帯端末にインストールされた専用アプリを起動し、携帯端末のカメラを用いてプリント物の識別コードを読み取り、カメラを静止画にかざす。携帯端末は、読み取った識別コードをサーバ装置に通知する。サーバ装置は、携帯端末にかざされた静止画が、登録されている静止画と一致すると、動画データを携帯端末へ送信する。携帯端末では、撮影している静止画に動画が重畳して再生される。
【0042】
ヘッドマウントディスプレイを利用者の頭部に装着し、ＶＲ（バーチャルリアリティ）技術を用いて合成画像を再生してもよい。
【0043】
コンテンツ作成装置１は、利用者自身を撮影した画像をテンプレート画像に合成するモードを備えていてもよい。この場合、撮影装置１１が利用者を撮影した撮影画像から利用者画像を切り抜き、テンプレート画像に合成する。
【0044】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0045】
１ コンテンツ作成装置
１０ 演算制御装置
１１ 撮影装置
１２ タッチパネル
１３ プリンタ
１４ 深度センサ
１０ 演算制御装置
１１ 撮影装置
１２ タッチパネル
１３ プリンタ
１４ 深度センサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】