特許7593085画像処理装置、画像処理方法、プログラム及び印画物作製システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】画像処理装置、画像処理方法、プログラム及び印画物作製システム
(51)【国際特許分類】
H04N 1/387 20060101AFI20241126BHJP
G06T 1/00 20060101ALI20241126BHJP
G06T 7/00 20170101ALI20241126BHJP
H04N 23/60 20230101ALI20241126BHJP
【ＦＩ】
H04N1/387 110
G06T1/00 340B
G06T7/00 660B
H04N23/60 500
【請求項の数】
5
(21)【出願番号】P 2020207719
(22)【出願日】2020-12-15
(65)【公開番号】P2022094689
(43)【公開日】2022-06-27
【審査請求日】2023-10-30
(73)【特許権者】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100086911
【弁理士】
【氏名又は名称】重野 剛
(74)【代理人】
【識別番号】100144967
【弁理士】
【氏名又は名称】重野 隆之
(72)【発明者】
【氏名】塩見 僚
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開２０１０－０８７５９９（ＪＰ，Ａ）
【文献】特開２０１９－１０６６９４（ＪＰ，Ａ）
【文献】特開２０１４－１７０２３４（ＪＰ，Ａ）
【文献】特開２０１６－０２５６０３（ＪＰ，Ａ）
【文献】特開２０１１－１７２１０３（ＪＰ，Ａ）
【文献】特開２００５－０７９７７６（ＪＰ，Ａ）
【文献】特開２０１４－１６８１２６（ＪＰ，Ａ）
【文献】特開２０１６－１８９５４４（ＪＰ，Ａ）
【文献】特開２０２０－１６２１２３（ＪＰ，Ａ）
【文献】特開２０２０－１７８１９１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ７／９０
Ｇ０６Ｔ １１／００ －１９／２０
Ｇ０６Ｖ １０／００ －２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｈ０４Ｎ １／３８ － １／４０９
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０ －２３／７６
Ｈ０４Ｎ ２３／９０ －２３／９５９
(57)【特許請求の範囲】
【請求項1】
ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出する解析部と、抽出された人物のサイズに基づいて、前記人物が被写体か否か判定する判定部と、
前記被写体と判定された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、
前記ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行する表示制御部と、
を備え、
前記解析部は、人物毎にライブビューの間に顔が検出されている時間を算出し、
前記判定部は、サイズが所定値以上であり、かつ顔が検出されている時間が所定時間以上である人物を被写体と判定する、画像処理装置。
【請求項2】
前記判定部が被写体と判定した人物を前記表示装置に表示し、表示している人物の中から正しい被写体の選択を受け付け、前記画像処理部は、選択されなかった人物を消去し、選択された人物の画像と前記テンプレート画像とを合成することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出し、抽出された人物のサイズに基づいて、前記人物が被写体か否か判定し、
前記被写体と判定された人物の画像とテンプレート画像とを合成して合成画像を生成する、画像処理方法であって、
前記ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行し、
人物毎にライブビューの間に顔が検出されている時間を算出し、
サイズが所定値以上であり、かつ顔が検出されている時間が所定時間以上である人物を被写体と判定する、画像処理方法。
【請求項4】
ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出するステップと、抽出された人物のサイズに基づいて、前記人物が被写体か否か判定するステップと、
前記被写体と判定された人物の画像とテンプレート画像とを合成して合成画像を生成するステップと、
をコンピュータに実行させるプログラムであって、
前記ユーザを撮影する撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行し、
人物毎にライブビューの間に顔が検出されている時間を算出し、
サイズが所定値以上であり、かつ顔が検出されている時間が所定時間以上である人物を被写体と判定するように前記コンピュータを制御するプログラム。
【請求項5】
ユーザを撮影し、撮影画像を生成する撮影装置と、前記撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出する解析部と、
抽出された人物のサイズに基づいて、前記人物が被写体か否か判定する判定部と、
前記被写体と判定された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、
前記合成画像を用紙にプリントして出力するプリンタと、
前記撮影装置から取得した画像信号を表示装置に順次表示させるライブビューを実行する表示制御部と、
を備え、
前記解析部は、人物毎にライブビューの間に顔が検出されている時間を算出し、
前記判定部は、サイズが所定値以上であり、かつ顔が検出されている時間が所定時間以上である人物を被写体と判定する、印画物作製システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム及び印画物作製システムに関する。
【背景技術】
【0002】
撮影画像から特定の色の部分を取り除いて透明にし、そこに別の画像を合成するクロマキー合成が様々な場面で使用されている。例えば、人物をグリーンバックやブルーバックで撮影し、撮影画像の緑又は青の部分を透明化して別の画像を合成し、合成画像のプリント物を提供するサービスが知られている。クロマキー合成を用いる場合、人物の背面側に緑や青のスクリーン等を設置する必要があり、撮影場所によっては設置が困難なことがあった。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６７６７５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記従来の実状に鑑みてなされたものであり、被写体の背面にスクリーンを設置することなく、撮影画像から被写体のみを検出可能な画像処理装置、画像処理方法、プログラム及び印画物作製システムを提供することを課題とする。
【課題を解決するための手段】
【0005】
本発明の画像処理装置は、ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出する解析部と、抽出された人物のサイズに基づいて、前記人物が被写体か否か判定する判定部と、前記被写体と判定された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、を備えるものである。
【0006】
本発明の画像処理方法は、ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出し、抽出された人物のサイズに基づいて、前記人物が被写体か否か判定し、前記被写体と判定された人物の画像とテンプレート画像とを合成して合成画像を生成するものである。
【0007】
本発明のプログラムは、ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出するステップと、抽出された人物のサイズに基づいて、前記人物が被写体か否か判定するステップと、前記被写体と判定された人物の画像とテンプレート画像とを合成して合成画像を生成するステップと、をコンピュータに実行させるものである。
【0008】
本発明の印画物作製システムは、ユーザを撮影し、撮影画像を生成する撮影装置と、前記撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出する解析部と、抽出された人物のサイズに基づいて、前記人物が被写体か否か判定する判定部と、前記被写体と判定された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、前記合成画像を用紙にプリントして出力するプリンタと、を備えるものである。
【発明の効果】
【0009】
本発明によれば、被写体の背面にスクリーンを設置することなく、撮影画像から被写体のみを検出できる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態に係る印画物作製システムの概略構成図である。
【図2】（ａ）～（ｃ）は被写体検出の例を示す図である。
【図3】印画物作製システムのハードウェア構成図である。
【図4】画像処理装置の機能ブロック図である。
【図5】印画物作製方法を説明するフローチャートである。
【図6】（ａ）～（ｃ）は被写体確認画面の例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態を図面に基づいて説明する。
【0012】
図１は、本発明の実施形態に係る印画物作製システムの概略構成図である。印画物作製システムは、印画物作製装置１とサーバ装置２とを備える。印画物作製装置１とサーバ装置２とはインターネット等のネットワークを介して通信可能に接続されている。
【0013】
印画物作製装置１は、筐体Ｈと、筐体Ｈを支持する脚部Ｌとを備える。筐体Ｈ内には、演算制御装置１０（図３参照）、撮影装置１１（撮影部）、タッチパネル１２、プリンタ１３（図３参照）、通信部１４（図３参照）等が設けられている。
【0014】
印画物作製装置１は、ユーザ（被写体Ｐ）を撮影し、撮影画像から被写体Ｐを検出し、検出した被写体画像とテンプレート画像とを合成して合成画像を生成する。撮影画像からの被写体検出には、セマンティックセグメンテーション等の手法が用いられる。例えば、セマンティックセグメンテーションでは、撮影画像の全画素を人物に属するか、又は背景（人物以外）に属するか分類する。背景に属すると分類された画素を透明化し、人物領域を抽出する。人物と背景とを分類できるため、クロマキー合成のように、背面側に緑や青のスクリーン等を設置する必要がない。そのため、屋内又は屋外のオープンスペースに設置しやすい。
【0015】
印画物作製装置１は、オープンスペースに設置される場合、被写体Ｐを撮影すると、周囲にいる人物（非被写体Ｄ）も撮影画像に写り込む。そのため、例えば、図２（ａ）に示す撮影画像から人物を検出した場合、図２（ｂ）に示すように、被写体Ｐだけでなく、非被写体Ｄも検出されてしまう。
【0016】
写真撮影の際、被写体は、非被写体よりも撮影装置に近い位置にいることが多く、撮影画像内でのサイズが大きいと考えられる。そのため、本実施形態では、撮影画像から検出された各人物のサイズ（画素数）を算出し、サイズが所定値以上の人物を被写体、所定値未満の人物を非被写体と判定する。非被写体と判定された人物は背景とみなして透明化し、被写体と判定した人物のみ検出する。これにより、例えば図２（ｃ）に示すように、被写体Ｐのみが検出可能となる。
【0017】
印画物作製装置１は、検出した被写体の画像をテンプレート画像と合成して合成画像を生成し、合成画像を用紙にプリントして、プリント物３を出力する。このように、本実施形態によれば、周囲に第三者がいる状況でユーザ（被写体）を撮影した場合でも、撮影画像からユーザのみを検出し、テンプレート画像と合成した合成画像を生成することができ、ユーザはプリント物３を楽しむことができる。
【0018】
ユーザは、撮影後、タッチパネル１２を操作し、自身のメールアドレスを入力することができる。印画物作製装置１は、合成画像のデータを、メールアドレスと共にサーバ装置２へ送信する。サーバ装置２は、メールアドレスを用いて、合成画像をメールに添付して送信する。ユーザは、スマートフォンやＰＣ等のユーザ端末を用いてメールを受信することで、合成画像のデータも入手できる。
【0019】
図３は、印画物作製装置１のハードウェア構成図である。印画物作製装置１は、演算制御装置１０、撮影装置１１、タッチパネル１２、プリンタ１３及び通信部１４を備える。
【0020】
撮影装置１１は、例えばデジタルカメラであり、画像信号を演算制御装置１０へ出力する。
【0021】
タッチパネル１２は、操作ボタンを表示し、操作ボタンが押されると、その操作ボタンに対応した操作指示を受け付ける。また、タッチパネル１２は、撮影装置１１から出力された画像信号を順次表示するライブビューを行うことができる。タッチパネル１２は、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式など、特に限定されない。
【0022】
タッチパネル１２の代わりに、タッチ機能の無いディスプレイ、及びキーボードやマウス等の入力手段を設けてもよい。
【0023】
プリンタ１３のプリント方式は特に限定されず、インクジェット方式、昇華型熱転写方式、溶融型熱転写方式等を用いることができる。
【0024】
通信部１４は、サーバ装置２と通信し、データの送受信を行う。
【0025】
演算制御装置１０は、印画物作製装置１の各部の制御やデータの受け渡しを行うコンピュータである。図４に示すように、演算制御装置１０のＣＰＵが記憶部１００に記憶されている画像処理プログラムを実行することで、解析部１０１、判定部１０２、撮影制御部１０３、表示処理部１０４、画像処理部１０５、プリント制御部１０６、アドレス情報取得部１０７及び画像送信部１０８の機能が実現され、演算制御装置１０は画像処理装置として動作する。
【0026】
記憶部１００は、ハードディスクや半導体メモリであり、合成用のテンプレート画像が事前に格納されている。テンプレート画像は、キャラクターや、印画物作製装置１の設置場所に関連するイラスト等である。
【0027】
図５は、本実施形態に係る印画物作製方法を説明するフローチャートである。演算制御装置１０の各部の処理を、このフローチャートに沿って説明する。
【0028】
ユーザがタッチパネル１２を操作して開始指示を与えると、ライブビューモードが実行される（ステップＳ１）。ライブビューモードでは、表示処理部１０４が、撮影装置１１から取得した画像信号をタッチパネル１２に順次表示させる。
【0029】
解析部１０１が、画像信号に基づく画像の解析を行い、画像内の人物を抽出する（ステップＳ２）。例えば、セマンティックセグメンテーションにより、画像の全画素を人物に属するか、又は背景に属するか分類する。そして、背景に属すると分類された画素を透明化することで、人物領域が抽出できる。
【0030】
画像解析は、演算制御装置１０内で行ってもよいし、画像を外部サーバへ送信し、外部サーバで解析を行い、外部サーバから解析結果を取得してもよい。
【0031】
判定部１０２が、ステップＳ１で抽出された人物のサイズ（人物領域の画素数）に基づいて、被写体か非被写体かを判定する（ステップＳ３）。サイズが所定値以上の人物を被写体と判定し、サイズが所定値未満の人物を非被写体と判定する。ここで、人物のサイズは、体全体のサイズでもよいし、顔部分のサイズであってもよい。
【0032】
表示処理部１０４は、被写体と判定された人物領域以外を透明化した画像をタッチパネル１２に表示させる。ユーザは、タッチパネル１２の表示画面を見て、自分が被写体として判定されているか、他人が被写体として判定されていないか確認できる。印画物作製装置１は、表示画面にユーザが映っていない場合（被写体として判定されていない場合）、印画物作製装置１に近付くよう促すメッセージを表示したり、音声を出力したりしてもよい。
【0033】
ライブビューを開始してから所定時間が経過した場合、又はユーザがタッチパネル１２を操作して撮影指示を与えると、撮影制御部１０３が撮影装置１１を制御し、撮影処理を行う（ステップＳ４）。例えば、撮影処理では、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の撮影準備動作の後、撮影装置１１で撮影された画像が画像ファイルとして記憶部１０に書き込まれる。
【0034】
解析部１０１が撮影画像から人物を抽出する。判定部１０２が、抽出された人物から被写体を検出する。ここで検出される被写体は、事前にユーザが確認したユーザ自身である。画像処理部１０５が、検出された被写体（被写体以外の領域を透明化した撮影画像）とテンプレート画像とを合成して合成画像を生成する（ステップＳ５）。
【0035】
プリント制御部１０５が、合成画像をプリンタ１３へ転送し、プリンタ１３を制御し、合成画像を用紙にプリントして、プリント物を出力させる（ステップＳ６）。
【0036】
印画物作製装置１が、タッチパネル１２にメールアドレス入力画面を表示する。ユーザは、メールアドレス入力画面を操作してメールアドレスを入力する（ステップＳ７）。アドレス情報取得部１０７は、タッチパネル１２を介してメールアドレス情報を取得し、記憶部１００に格納する。メールアドレスの入力は、プリント物の出力後に限定されず、撮影後かつプリント物の出力前でもよいし、撮影前でもよい。
【0037】
画像送信部１０８が、合成画像と、入力されたメールアドレス情報とをサーバ装置２へ送信する。
【0038】
このように、本実施形態によれば、撮影画像から、被写体となるユーザのみを検出できるため、印画物作製装置１をオープンスペースに設置した場合でも、ユーザとテンプレート画像とを合成した合成画像を生成し、ユーザが興味を抱くプリント物を作製することができる。
【0039】
上記実施形態では、入力されたメールアドレスを用いて、合成画像をメールに添付して送信する例について説明したが、合成画像データをダウンロードするウェブサイトのＵＲＬ（及びＵＲＬを示す二次元コード）を印字したカードを印画物作製装置１からプリント出力してもよい。
【0040】
上記実施形態では、撮影処理のタイミングで、ユーザのすぐ近くを偶々通った人物が被写体として検出され得る。そのため、解析部１０１が顔検出を行い、人物毎にライブビューの間に顔が検出されている時間を算出し、判定部１０２が、人物サイズ及び顔が検出されている時間に基づいて、被写体か否かを判定してもよい。例えば、画像内での人物のサイズ（画素数）が所定値以上であり、かつ顔が所定時間以上検出されている人物を被写体として判定する。人物のサイズが所定値以上であっても、顔が検出されている時間が所定値未満の場合は、非被写体と判定することで、偶然近くを通った人物の誤検出を防止できる。
【0041】
撮影処理（図５のステップＳ４）の後に、判定部１０２が判定した被写体を確認する画面をタッチパネル１２に表示してもよい。例えば、図６（ａ）に示すような被写体確認画面を表示する。被写体のみが正しく検出されていた場合は承認ボタンＢ１を押す。第三者が写り込んでいた場合、被写体選択ボタンＢ２を押し、図６（ｂ）に示すように、正しい被写体を選択する。選択した被写体の人物領域周縁部を赤色等にして選択済みであることが分かるようにしてもよい。選択完了ボタンＢ４を押すと、図６（ｃ）に示すように、選択しなかった人物が消去され、選択した被写体のみが写った画像が表示される。
【0042】
図６（ａ）に示す被写体確認画面で第三者が写り込んでいた場合、再撮影ボタンＢ３を押して、撮影を再度行うようにしてもよい。
【0043】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0044】
１ 印画物作製装置
２ サーバ装置
３ プリント物
１０ 演算制御装置
１１ 撮影装置
１２ タッチパネル
１３ プリンタ
１００ 記憶部
１０１ 解析部
１０２ 判定部
１０３ 撮影制御部
１０４ 表示処理部
１０５ 画像処理部
１０６ プリント制御部
１０７ アドレス情報取得部
１０８ 画像送信部
２ サーバ装置
３ プリント物
１０ 演算制御装置
１１ 撮影装置
１２ タッチパネル
１３ プリンタ
１００ 記憶部
１０１ 解析部
１０２ 判定部
１０３ 撮影制御部
１０４ 表示処理部
１０５ 画像処理部
１０６ プリント制御部
１０７ アドレス情報取得部
１０８ 画像送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】