特許 7604874 画像処理装置、画像処理方法、プログラム及び印画物作製システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】画像処理装置、画像処理方法、プログラム及び印画物作製システム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20241217BHJP

   H04N 23/60 20230101ALI20241217BHJP

   G06T 1/00 20060101ALI20241217BHJP

【ＦＩ】

H04N1/387 110

H04N23/60 500

G06T1/00 340B

【請求項の数】 5

(21)【出願番号】P 2020207720

(22)【出願日】2020-12-15

(65)【公開番号】P2022094690

(43)【公開日】2022-06-27

【審査請求日】2023-10-30

(73)【特許権者】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100086911

【弁理士】

【氏名又は名称】重野 剛

(74)【代理人】

【識別番号】100144967

【弁理士】

【氏名又は名称】重野 隆之

(72)【発明者】

【氏名】塩見 僚

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０２０－１６２１２３（ＪＰ，Ａ）

【文献】特開２０１９－１０６６９４（ＪＰ，Ａ）

【文献】特開２０１４－１７０２３４（ＪＰ，Ａ）

【文献】特開２０１６－０２５６０３（ＪＰ，Ａ）

【文献】国際公開第２０１３／１５３８８３（ＷＯ，Ａ１）

【文献】特開２０１４－１６８１２６（ＪＰ，Ａ）

【文献】特開２０１０－０８７５９９（ＪＰ，Ａ）

【文献】特開２００５－０７９７７６（ＪＰ，Ａ）

【文献】特開２０２０－１７８１９１（ＪＰ，Ａ）

【文献】特開２０１８－１５６３６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － ７／９０

Ｇ０６Ｔ １１／００ －１９／２０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ １／３８ － １／４０９

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

(57)【特許請求の範囲】

【請求項1】

ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出する解析部と、
抽出された人物を表示装置に表示する表示処理部と、
前記表示装置に表示した人物の選択を受け付け、選択された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、
を備え、
前記表示処理部は、前記解析部により抽出された人物の顔画像の一覧画面を前記表示装置に表示し、前記一覧画面では前記撮影画像内での顔のサイズに比例させて各人物の顔画像の大きさを変えて表示することを特徴とする画像処理装置。

【請求項2】

前記表示処理部は、前記表示装置に表示している人物のうち、選択された人物の色を変更することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出し、
抽出された人物の顔画像の一覧画面を表示装置に表示し、前記一覧画面では前記撮影画像内での顔のサイズに比例させて各人物の顔画像の大きさを変えて表示し、
前記表示装置に表示した人物の選択を受け付け、選択された人物の画像とテンプレート画像とを合成して合成画像を生成する、画像処理方法。

【請求項4】

ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出するステップと、
抽出された人物の顔画像の一覧画面を表示装置に表示し、前記一覧画面では前記撮影画像内での顔のサイズに比例させて各人物の顔画像の大きさを変えて表示するステップと、
前記表示装置に表示した人物の選択を受け付け、選択された人物の画像とテンプレート画像とを合成して合成画像を生成するステップと、
をコンピュータに実行させるプログラム。

【請求項5】

ユーザを撮影し、撮影画像を生成する撮影装置と、
前記撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出する解析部と、
抽出された人物を表示する表示装置と、
前記表示装置に表示した人物の選択を受け付け、選択された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、
前記合成画像を用紙にプリントして出力するプリンタと、
を備え、
前記表示装置は、前記解析部により抽出された人物の顔画像の一覧画面を表示し、前記一覧画面では前記撮影画像内での顔のサイズに比例させて各人物の顔画像の大きさを変えて表示することを特徴とする、印画物作製システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラム及び印画物作製システムに関する。

【背景技術】

【0002】

撮影画像から特定の色の部分を取り除いて透明にし、そこに別の画像を合成するクロマキー合成が様々な場面で使用されている。例えば、人物をグリーンバックやブルーバックで撮影し、撮影画像の緑又は青の部分を透明化して別の画像を合成し、合成画像のプリント物を提供するサービスが知られている。クロマキー合成を用いる場合、人物の背面側に緑や青のスクリーン等を設置する必要があり、撮影場所によっては設置が困難なことがあった。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６７６７５４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、上記従来の実状に鑑みてなされたものであり、被写体の背面にスクリーンを設置することなく、撮影画像から被写体のみを検出可能な画像処理装置、画像処理方法、プログラム及び印画物作製システムを提供することを課題とする。

【課題を解決するための手段】

【0005】

本発明の画像処理装置は、ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出する解析部と、抽出された人物を表示装置に表示する表示処理部と、前記表示装置に表示した人物の選択を受け付け、選択された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、を備えるものである。

【0006】

本発明の画像処理方法は、ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出し、抽出された人物を表示装置に表示し、前記表示装置に表示した人物の選択を受け付け、選択された人物の画像とテンプレート画像とを合成して合成画像を生成するものである。

【0007】

本発明のプログラムは、ユーザを撮影した撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出するステップと、抽出された人物を表示装置に表示するステップと、前記表示装置に表示した人物の選択を受け付け、選択された人物の画像とテンプレート画像とを合成して合成画像を生成するステップと、をコンピュータに実行させるものである。

【0008】

本発明の印画物作製システムは、ユーザを撮影し、撮影画像を生成する撮影装置と、前記撮影画像内の各画素が人物に属するか否かの解析結果に基づいて、前記撮影画像から人物を抽出する解析部と、抽出された人物を表示する表示装置と、前記表示装置に表示した人物の選択を受け付け、選択された人物の画像とテンプレート画像とを合成して合成画像を生成する画像処理部と、前記合成画像を用紙にプリントして出力するプリンタと、を備えるものである。

【発明の効果】

【0009】

本発明によれば、被写体の背面にスクリーンを設置することなく、撮影画像から被写体のみを検出できる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る印画物作製システムの概略構成図である。

【図2】（ａ）は撮影画像の例を示す図であり、（ｂ）は人物抽出の例を示す図である。

【図3】印画物作製システムのハードウェア構成図である。

【図4】画像処理装置の機能ブロック図である。

【図5】印画物作製方法を説明するフローチャートである。

【図6】（ａ）は被写体選択画面の例を示す図であり、（ｂ）は被写体確認画面の例を示す図である。

【図7】（ａ）、（ｂ）は被写体選択画面の例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態を図面に基づいて説明する。

【0012】

図１は、本発明の実施形態に係る印画物作製システムの概略構成図である。印画物作製システムは、印画物作製装置１とサーバ装置２とを備える。印画物作製装置１とサーバ装置２とはインターネット等のネットワークを介して通信可能に接続されている。

【0013】

印画物作製装置１は、筐体Ｈと、筐体Ｈを支持する脚部Ｌとを備える。筐体Ｈ内には、演算制御装置１０（図３参照）、撮影装置１１（撮影部）、タッチパネル１２、プリンタ１３（図３参照）、通信部１４（図３参照）等が設けられている。

【0014】

印画物作製装置１は、ユーザ（被写体Ｐ）を撮影し、撮影画像から被写体Ｐを検出し、検出した被写体画像とテンプレート画像とを合成して合成画像を生成する。印画物作製装置１は、合成画像を用紙にプリントして、プリント物３を出力する。

【0015】

撮影画像からの被写体検出には、セマンティックセグメンテーション等の手法が用いられる。例えば、セマンティックセグメンテーションでは、撮影画像の全画素を人物に属するか、又は背景（人物以外）に属するか分類する。背景に属すると分類された画素を透明化し、人物領域を抽出する。人物と背景とを分類できるため、クロマキー合成のように、背面側に緑や青のスクリーン等を設置する必要がない。そのため、屋内又は屋外のオープンスペースに設置しやすい。

【0016】

印画物作製装置１は、オープンスペースに設置される場合、被写体Ｐを撮影すると、周囲にいる人物（非被写体Ｄ）も撮影画像に写り込む。そのため、例えば、図２（ａ）に示す撮影画像から人物を検出した場合、図２（ｂ）に示すように、被写体Ｐだけでなく、非被写体Ｄも検出されてしまう。後述するように、本実施形態に係る印画物作製装置１は、非被写体Ｄを消去し、被写体Ｐの画像のみを用いて合成画像を生成するものである。

【0017】

図３は、印画物作製装置１のハードウェア構成図である。印画物作製装置１は、演算制御装置１０、撮影装置１１、タッチパネル１２、プリンタ１３及び通信部１４を備える。

【0018】

撮影装置１１は、例えばデジタルカメラであり、画像信号を演算制御装置１０へ出力する。

【0019】

タッチパネル１２は、操作ボタンを表示し、操作ボタンが押されると、その操作ボタンに対応した操作指示を受け付ける。また、タッチパネル１２は、撮影装置１１から出力された画像信号を順次表示するライブビューを行うことができる。タッチパネル１２は、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式など、特に限定されない。

【0020】

タッチパネル１２の代わりに、タッチ機能の無いディスプレイ、及びキーボードやマウス等の入力手段を設けてもよい。

【0021】

プリンタ１３のプリント方式は特に限定されず、インクジェット方式、昇華型熱転写方式、溶融型熱転写方式等を用いることができる。

【0022】

通信部１４は、サーバ装置２と通信し、データの送受信を行う。

【0023】

演算制御装置１０は、印画物作製装置１の各部の制御やデータの受け渡しを行うコンピュータである。図４に示すように、演算制御装置１０のＣＰＵが記憶部１００に記憶されている画像処理プログラムを実行することで、解析部１０１、撮影制御部１０３、表示処理部１０４、画像処理部１０５、プリント制御部１０６、アドレス情報取得部１０７及び画像送信部１０８の機能が実現され、演算制御装置１０は画像処理装置として動作する。

【0024】

記憶部１００は、ハードディスクや半導体メモリであり、合成用のテンプレート画像が事前に格納されている。テンプレート画像は、キャラクターや、印画物作製装置１の設置場所に関連するイラスト等である。

【0025】

図５は、本実施形態に係る印画物作製方法を説明するフローチャートである。演算制御装置１０の各部の処理を、このフローチャートに沿って説明する。

【0026】

ユーザがタッチパネル１２を操作して撮影指示を与えると、撮影制御部１０３が撮影装置１１を制御し、撮影処理を行う（ステップＳ１）。例えば、撮影処理では、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の撮影準備動作の後、撮影装置１１で撮影された画像が画像ファイルとして記憶部１０に書き込まれる。

【0027】

撮影処理の前にライブビューモードが実行されてもよい。ライブビューモードでは、表示処理部１０４が、撮影装置１１から取得した画像信号をタッチパネル１２に順次表示させる。ユーザは、ライブビューを見ながら、立ち位置や姿勢を調整する。

【0028】

解析部１０１が、画像信号に基づく画像の解析を行い、画像内の人物を抽出する（ステップＳ２）。例えば、セマンティックセグメンテーションにより、画像の全画素を人物に属するか、又は背景に属するか分類する。そして、背景に属すると分類された画素を透明化し、人物領域を抽出する。

【0029】

画像解析は、演算制御装置１０内で行ってもよいし、画像を外部サーバへ送信し、外部サーバで解析を行い、外部サーバから解析結果を取得してもよい。

【0030】

表示処理部１０４が、抽出された人物から被写体の選択を受け付ける被写体選択画面をタッチパネル１２に表示し（ステップＳ３）、ユーザから被写体の選択を受け付ける（ステップＳ４）。例えば、図６（ａ）に示すような人物以外を透明化（消去）した画像を含む被写体選択画面が表示され、ユーザは自分（自分達）を選択する。

【0031】

被写体選択画面では、人物と判断される画素をグレーなど特定の色で半透明表示し、選択された人物を赤など別の色に変更してもよい。選択が完了したら、ユーザは完了ボタンＢ１を押す。

【0032】

画像処理部１０５が、タッチパネル１２を介して人物選択を受け付けると、選択されなかった人物を透明化して消去し、図６（ｂ）に示すような被写体確認画面をタッチパネル１２に表示する。ユーザは、自分が表示されていること、他人が混ざっていないことを確認し、承認ボタンＢ２を押す。被写体を選択し直す場合は、再選択ボタンＢ３を押して、図６（ａ）に示す被写体選択画面に戻る。

【0033】

ユーザによる承認後、画像処理部１０５が、選択された被写体とテンプレート画像とを合成して合成画像を生成する（ステップＳ５）。

【0034】

プリント制御部１０５が、合成画像をプリンタ１３へ転送し、プリンタ１３を制御し、合成画像を用紙にプリントして、プリント物を出力させる（ステップＳ６）。

【0035】

印画物作製装置１が、タッチパネル１２にメールアドレス入力画面を表示する。ユーザは、メールアドレス入力画面を操作してメールアドレスを入力する（ステップＳ７）。アドレス情報取得部１０７は、タッチパネル１２を介してメールアドレス情報を取得し、記憶部１００に格納する。メールアドレスの入力は、プリント物の出力後に限定されず、撮影後かつプリント物の出力前でもよいし、撮影前でもよい。

【0036】

画像送信部１０８が、合成画像と、入力されたメールアドレス情報とをサーバ装置２へ送信する。サーバ装置２が、合成画像をメール添付して送信することで、ユーザは合成画像のデータを入手できる。

【0037】

このように、本実施形態によれば、撮影画像から人物を抽出し、抽出した人物の中からユーザに自分自身を選択させることで、非被写体を消去し、被写体の画像のみを用いて合成画像を生成することができ、ユーザが興味を抱くプリント物を作製することができる。

【0038】

上記実施形態では、入力されたメールアドレスを用いて、合成画像をメールに添付して送信する例について説明したが、合成画像データをダウンロードするウェブサイトのＵＲＬ（及びＵＲＬを示す二次元コード）を印字したカードを印画物作製装置１からプリント出力してもよい。

【0039】

前記表示処理部がタッチパネル１２に表示する被写体選択画面は、図７（ａ）に示すように、撮影画像から人物の顔を含む領域を矩形で切り出した顔画像を一覧表示したものであってもよい。選択した人物の枠の色や矩形領域内全体の色を変えて、選択しているか否かわかるようにしてもよい。

【0040】

図７（ａ）では、各人物の顔画像を同じサイズで一覧表示しているが、図７（ｂ）に示すように、撮影画像内での顔のサイズに比例させて各人物の顔画像の大きさを変えて一覧表示してもよい。

【0041】

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0042】

１ 印画物作製装置
２ サーバ装置
３ プリント物
１０ 演算制御装置
１１ 撮影装置
１２ タッチパネル
１３ プリンタ
１００ 記憶部
１０１ 解析部
１０３ 撮影制御部
１０４ 表示処理部
１０５ 画像処理部
１０６ プリント制御部
１０７ アドレス情報取得部
１０８ 画像送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】