特許7593086画像処理装置、画像処理方法、プログラム及び印画物作製システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】画像処理装置、画像処理方法、プログラム及び印画物作製システム
(51)【国際特許分類】
H04N 1/387 20060101AFI20241126BHJP
G06T 1/00 20060101ALI20241126BHJP
G06T 7/00 20170101ALI20241126BHJP
H04N 23/60 20230101ALI20241126BHJP
【ＦＩ】
H04N1/387 101
G06T1/00 340B
G06T7/00 660B
H04N23/60 500
【請求項の数】
4
(21)【出願番号】P 2020207721
(22)【出願日】2020-12-15
(65)【公開番号】P2022094691
(43)【公開日】2022-06-27
【審査請求日】2023-10-30
(73)【特許権者】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100086911
【弁理士】
【氏名又は名称】重野 剛
(74)【代理人】
【識別番号】100144967
【弁理士】
【氏名又は名称】重野 隆之
(72)【発明者】
【氏名】塩見 僚
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開２０１８－１０７５３８（ＪＰ，Ａ）
【文献】特開２００５－０７９７７６（ＪＰ，Ａ）
【文献】特開２０１９－１０６６９４（ＪＰ，Ａ）
【文献】特開２０１４－１７０２３４（ＪＰ，Ａ）
【文献】特開２０１６－０２５６０３（ＪＰ，Ａ）
【文献】国際公開第２０１３／１５３８８３（ＷＯ，Ａ１）
【文献】特開２０１０－０８７５９９（ＪＰ，Ａ）
【文献】特開２０１４－１６８１２６（ＪＰ，Ａ）
【文献】特開２０１６－１８９５４４（ＪＰ，Ａ）
【文献】特開２０２０－１２７１６５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ７／９０
Ｇ０６Ｔ １１／００ －１９／２０
Ｇ０６Ｖ １０／００ －２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｈ０４Ｎ １／３８ － １／４０９
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０ －２３／７６
Ｈ０４Ｎ ２３／９０ －２３／９５９
(57)【特許請求の範囲】
【請求項1】
ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行する表示制御部と、前記表示装置に表示されている顔のうち、所定サイズ以上かつ所定時間以上検出されている顔を被写体の顔として登録する登録部と、
前記撮影装置が生成した撮影画像から、前記登録部により登録された顔の人物を抽出する解析部と、
前記解析部により抽出された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、
を備える画像処理装置。
【請求項2】
ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行し、前記表示装置に表示されている顔のうち、所定サイズ以上かつ所定時間以上検出されている顔を被写体の顔として登録し、
前記撮影装置が生成した撮影画像から、前記登録された顔の人物を抽出し、
前記抽出された人物の画像とテンプレート画像とを合成して合成画像を生成する、画像処理方法。
【請求項3】
ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行するステップと、前記表示装置に表示されている顔のうち、所定サイズ以上かつ所定時間以上検出されている顔を被写体の顔として登録するステップと、
前記撮影装置が生成した撮影画像から、前記登録された顔の人物を抽出するステップと、
前記抽出された人物の画像とテンプレート画像とを合成して合成画像を生成するステップと、
をコンピュータに実行させるプログラム。
【請求項4】
ユーザを撮影する撮影装置と、前記撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行する表示制御部と、
前記表示装置に表示されている顔のうち、所定サイズ以上かつ所定時間以上検出されている顔を被写体の顔として登録する登録部と、
前記撮影装置が生成した撮影画像から、前記登録部により登録された顔の人物を抽出する解析部と、
前記解析部により抽出された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、
前記合成画像を用紙にプリントして出力するプリンタと、
を備える印画物作製システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム及び印画物作製システムに関する。
【背景技術】
【0002】
撮影画像から特定の色の部分を取り除いて透明にし、そこに別の画像を合成するクロマキー合成が様々な場面で使用されている。例えば、人物をグリーンバックやブルーバックで撮影し、撮影画像の緑又は青の部分を透明化して別の画像を合成し、合成画像のプリント物を提供するサービスが知られている。クロマキー合成を用いる場合、人物の背面側に緑や青のスクリーン等を設置する必要があり、撮影場所によっては設置が困難なことがあった。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６７６７５４１号公報
【文献】特開２０１０－２７２９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記従来の実状に鑑みてなされたものであり、被写体の背面にスクリーンを設置することなく、撮影画像から被写体のみを検出可能な画像処理装置、画像処理方法、プログラム及び印画物作製システムを提供することを課題とする。
【課題を解決するための手段】
【0005】
本発明の画像処理装置は、ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行する表示制御部と、前記表示装置に表示されている人物のうち、所定のジェスチャーを行っている人物を被写体として登録する登録部と、前記撮影装置が生成した撮影画像から、前記登録部により登録された人物を抽出する解析部と、前記解析部により抽出された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、を備えるものである。
【0006】
本発明の画像処理装置は、ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行する表示制御部と、前記表示装置に表示されている顔のうち、所定サイズ以上かつ所定時間以上検出されている顔を被写体の顔として登録する登録部と、前記撮影装置が生成した撮影画像から、前記登録部により登録された顔の人物を抽出する解析部と、前記解析部により抽出された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、を備えるものである。
【0007】
本発明の画像処理方法は、ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行し、前記表示装置に表示されている人物のうち、所定のジェスチャーを行っている人物を被写体として登録し、前記撮影装置が生成した撮影画像から、前記登録された人物を抽出し、前記抽出された人物の画像とテンプレート画像とを合成して合成画像を生成するものである。
【0008】
本発明のプログラムは、ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行するステップと、前記表示装置に表示されている人物のうち、所定のジェスチャーを行っている人物を被写体として登録するステップと、前記撮影装置が生成した撮影画像から、前記登録された人物を抽出するステップと、前記抽出された人物の画像とテンプレート画像とを合成して合成画像を生成するステップと、をコンピュータに実行させるものである。
【0009】
本発明の印画物作製システムは、ユーザを撮影する撮影装置と、前記撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行する表示制御部と、前記表示装置に表示されている人物のうち、所定のジェスチャーを行っている人物を被写体として登録する登録部と、前記撮影装置が生成した撮影画像から、前記登録部により登録された人物を抽出する解析部と、前記解析部により抽出された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、前記合成画像を用紙にプリントして出力するプリンタと、を備えるものである。
【発明の効果】
【0010】
本発明によれば、被写体の背面にスクリーンを設置することなく、撮影画像から被写体のみを検出できる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る印画物作製システムの概略構成図である。
【図2】（ａ）～（ｃ）は被写体検出の例を示す図である。
【図3】印画物作製システムのハードウェア構成図である。
【図4】画像処理装置の機能ブロック図である。
【図5】印画物作製方法を説明するフローチャートである。
【図6】（ａ）～（ｃ）は被写体登録画面の例を示す図である。
【図7】（ａ）～（ｃ）は被写体登録画面の例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を図面に基づいて説明する。
【0013】
図１は、本発明の実施形態に係る印画物作製システムの概略構成図である。印画物作製システムは、印画物作製装置１とサーバ装置２とを備える。印画物作製装置１とサーバ装置２とはインターネット等のネットワークを介して通信可能に接続されている。
【0014】
印画物作製装置１は、筐体Ｈと、筐体Ｈを支持する脚部Ｌとを備える。筐体Ｈ内には、演算制御装置１０（図３参照）、撮影装置１１（撮影部）、タッチパネル１２、プリンタ１３（図３参照）、通信部１４（図３参照）等が設けられている。
【0015】
印画物作製装置１は、ユーザ（被写体Ｐ）を撮影し、撮影画像から被写体Ｐを検出し、検出した被写体画像とテンプレート画像とを合成して合成画像を生成する。撮影画像からの被写体検出には、セマンティックセグメンテーション等の手法が用いられる。例えば、セマンティックセグメンテーションでは、撮影画像の全画素を人物に属するか、又は背景（人物以外）に属するか分類する。背景に属すると分類された画素を透明化し、人物領域を抽出する。人物と背景とを分類できるため、クロマキー合成のように、背面側に緑や青のスクリーン等を設置する必要がない。そのため、屋内又は屋外のオープンスペースに設置しやすい。
【0016】
印画物作製装置１は、オープンスペースに設置される場合、被写体Ｐを撮影すると、周囲にいる人物（非被写体Ｄ）も撮影画像に写り込む。そのため、例えば、図２（ａ）に示す撮影画像から人物を検出した場合、図２（ｂ）に示すように、被写体Ｐだけでなく、非被写体Ｄも検出されてしまう。
【0017】
そこで、本実施形態では、撮影前に被写体に対し、所定のジェスチャーを行うように要求し、ジェスチャーを行っている人物を被写体として登録しておく。そして、撮影画像から、登録した人物のみを検出することで、例えば図２（ｃ）に示すように、被写体Ｐのみが検出可能となる。
【0018】
印画物作製装置１は、検出した被写体の画像をテンプレート画像と合成して合成画像を生成し、合成画像を用紙にプリントして、プリント物３を出力する。このように、本実施形態によれば、周囲に第三者がいる状況でユーザ（被写体）を撮影した場合でも、撮影画像からユーザのみを検出し、テンプレート画像と合成した合成画像を生成することができ、ユーザはプリント物３を楽しむことができる。
【0019】
ユーザは、撮影後、タッチパネル１２を操作し、自身のメールアドレスを入力することができる。印画物作製装置１は、合成画像のデータを、メールアドレスと共にサーバ装置２へ送信する。サーバ装置２は、メールアドレスを用いて、合成画像をメールに添付して送信する。ユーザは、スマートフォンやＰＣ等のユーザ端末を用いてメールを受信することで、合成画像のデータも入手できる。
【0020】
図３は、印画物作製装置１のハードウェア構成図である。印画物作製装置１は、演算制御装置１０、撮影装置１１、タッチパネル１２、プリンタ１３及び通信部１４を備える。
【0021】
撮影装置１１は、例えばデジタルカメラであり、画像信号を演算制御装置１０へ出力する。
【0022】
タッチパネル１２は、操作ボタンを表示し、操作ボタンが押されると、その操作ボタンに対応した操作指示を受け付ける。また、タッチパネル１２は、撮影装置１１から出力された画像信号を順次表示するライブビューを行うことができる。タッチパネル１２は、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式など、特に限定されない。
【0023】
タッチパネル１２の代わりに、タッチ機能の無いディスプレイ、及びキーボードやマウス等の入力手段を設けてもよい。
【0024】
プリンタ１３のプリント方式は特に限定されず、インクジェット方式、昇華型熱転写方式、溶融型熱転写方式等を用いることができる。
【0025】
通信部１４は、サーバ装置２と通信し、データの送受信を行う。
【0026】
演算制御装置１０は、印画物作製装置１の各部の制御やデータの受け渡しを行うコンピュータである。図４に示すように、演算制御装置１０のＣＰＵが記憶部１００に記憶されている画像処理プログラムを実行することで、解析部１０１、登録部１０２、撮影制御部１０３、表示処理部１０４、画像処理部１０５、プリント制御部１０６、アドレス情報取得部１０７及び画像送信部１０８の機能が実現され、演算制御装置１０は画像処理装置として動作する。
【0027】
記憶部１００は、ハードディスクや半導体メモリであり、合成用のテンプレート画像が事前に格納されている。テンプレート画像は、キャラクターや、印画物作製装置１の設置場所に関連するイラスト等である。
【0028】
図５は、本実施形態に係る印画物作製方法を説明するフローチャートである。演算制御装置１０の各部の処理を、このフローチャートに沿って説明する。
【0029】
ユーザがタッチパネル１２を操作して開始指示を与えると、ライブビューモードが実行される（ステップＳ１）。ライブビューモードでは、表示処理部１０４が、撮影装置１１から取得した画像信号をタッチパネル１２に順次表示させる。
【0030】
解析部１０１が、画像信号に基づく画像の解析を行い、画像内の人物を抽出する（ステップＳ２）。例えば、セマンティックセグメンテーションにより、画像の全画素を人物に属するか、又は背景に属するか分類する。そして、背景に属すると分類された画素を透明化することで、人物領域が抽出できる。
【0031】
画像解析は、演算制御装置１０内で行ってもよいし、画像を外部サーバへ送信し、外部サーバで解析を行い、外部サーバから解析結果を取得してもよい。
【0032】
登録部１０２が、所定のジェスチャーを行うように指示するメッセージをタッチパネル１２に表示させる（ステップＳ３）。例えば、図６（ａ）に示すように、両手を挙げるジェスチャー（ポーズ）をするように指示する。メッセージの表示だけでなく、音声を出力してもよい。
【0033】
解析部１０１が、画像内の人物のジェスチャーを解析し、所定のジェスチャーを行った人物、例えば両手を挙げた人物を検出する。ジェスチャー解析は、公知の手法を用いることができ、例えば、骨格検出により人物の骨格を検出し、ジェスチャー認識を行うことができる。
【0034】
登録部１０２は、所定のジェスチャーを行った人物を被写体として登録する（ステップＳ４）。図６（ｂ）に示すように、登録された被写体の人物領域の境界の色を変えてライブビュー表示してもよい。あるいはまた、登録された被写体の人物領域に、赤など特定の色の半透明画像を重ねて表示してもよい。ユーザは、タッチパネル１２に表示されている自分の色が変わることで、被写体として登録されたことが分かる。
【0035】
被写体として登録された後は、ジェスチャーをやめても、図６（ｃ）に示すように、登録は解除されない。
【0036】
ライブビューを開始してから所定時間が経過した場合、又はユーザがタッチパネル１２を操作して撮影指示を与えると、撮影制御部１０３が撮影装置１１を制御し、撮影処理を行う（ステップＳ５）。例えば、撮影処理では、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の撮影準備動作の後、撮影装置１１で撮影された画像が画像ファイルとして記憶部１０に書き込まれる。
【0037】
解析部１０１は、被写体として登録された人物（人物領域）を追跡しており、撮影画像から被写体を抽出する。画像処理部１０５が、検出された被写体（被写体以外の領域を透明化した撮影画像）とテンプレート画像とを合成して合成画像を生成する（ステップＳ６）。
【0038】
プリント制御部１０５が、合成画像をプリンタ１３へ転送し、プリンタ１３を制御し、合成画像を用紙にプリントして、プリント物を出力させる（ステップＳ７）。
【0039】
印画物作製装置１が、タッチパネル１２にメールアドレス入力画面を表示する。ユーザは、メールアドレス入力画面を操作してメールアドレスを入力する（ステップＳ８）。アドレス情報取得部１０７は、タッチパネル１２を介してメールアドレス情報を取得し、記憶部１００に格納する。メールアドレスの入力は、プリント物の出力後に限定されず、撮影後かつプリント物の出力前でもよいし、撮影前でもよい。
【0040】
画像送信部１０８が、合成画像と、入力されたメールアドレス情報とをサーバ装置２へ送信する。
【0041】
このように、本実施形態によれば、事前に所定のジェスチャーを行うように指示し、ジェスチャーを行った人物を被写体として登録しておき、撮影画像から、被写体として登録された人物のみを検出できるため、印画物作製装置１をオープンスペースに設置した場合でも、ユーザとテンプレート画像とを合成した合成画像を生成し、ユーザが興味を抱くプリント物を作製することができる。
【0042】
上記実施形態では、入力されたメールアドレスを用いて、合成画像をメールに添付して送信する例について説明したが、合成画像データをダウンロードするウェブサイトのＵＲＬ（及びＵＲＬを示す二次元コード）を印字したカードを印画物作製装置１からプリント出力してもよい。
【0043】
上記実施形態では、所定のジェスチャーを行った人物を被写体として登録する処理を撮影前に行っていたが、撮影後に行ってもよい。
【0044】
上記実施形態では、所定のジェスチャーを行った人物を被写体として登録したが、被写体となる人物の顔画像を登録し、顔認証により被写体の検出を行ってもよい。例えば、図７（ａ）に示すように、ユーザに対し、印画物作製装置１に近付いて、顔画像を登録するように指示する。解析部１０１は、顔認識処理により、画像内の顔を検出する。
【0045】
登録部１０２は、所定サイズ以上の顔が、所定時間以上検出された場合、この顔を被写体の顔として登録する。登録後、図７（ｂ）に示すように、登録部１０２は登録が完了したことをタッチパネル１２に表示する。
【0046】
印画物作製装置１の近傍に重量センサを設置し、ユーザが重量センサに乗り、重量センサが所定以上の荷重を検知している場合に、顔検出を行ってもよい。
【0047】
図７（ｃ）に示すように、顔が登録された人物領域に、赤など特定の色の半透明画像を重ねてライブビュー表示してもよい。ユーザは、タッチパネル１２に表示されている自分の色が変わることで、顔登録されたことが分かる。ユーザ全員の顔の登録が完了したら、撮影ボタンＢ１を押す。
【0048】
撮影ボタンＢ１が押されると、撮影制御部１０３が撮影装置１１を制御し、撮影処理を行う。解析部１０１は、撮影画像内の人物の顔認証を行い、顔登録された被写体を検出する。
【0049】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0050】
１ 印画物作製装置
２ サーバ装置
３ プリント物
１０ 演算制御装置
１１ 撮影装置
１２ タッチパネル
１３ プリンタ
１００ 記憶部
１０１ 解析部
１０２ 登録部
１０３ 撮影制御部
１０４ 表示処理部
１０５ 画像処理部
１０６ プリント制御部
１０７ アドレス情報取得部
１０８ 画像送信部
２ サーバ装置
３ プリント物
１０ 演算制御装置
１１ 撮影装置
１２ タッチパネル
１３ プリンタ
１００ 記憶部
１０１ 解析部
１０２ 登録部
１０３ 撮影制御部
１０４ 表示処理部
１０５ 画像処理部
１０６ プリント制御部
１０７ アドレス情報取得部
１０８ 画像送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】