特許 7100139 画像処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-04

(45)【発行日】2022-07-12

(54)【発明の名称】画像処理装置、方法およびプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20220705BHJP

   G06T 1/00 20060101ALI20220705BHJP

   H04N 5/66 20060101ALI20220705BHJP

   G09G 5/00 20060101ALI20220705BHJP

   G09G 5/377 20060101ALI20220705BHJP

   G09G 5/36 20060101ALI20220705BHJP

   G09G 5/38 20060101ALI20220705BHJP

   G09G 5/02 20060101ALI20220705BHJP

【ＦＩ】

H04N1/387 110

G06T1/00 500A

H04N1/387

G06T1/00 280

H04N5/66 D

G09G5/00 530M

G09G5/36 520M

G09G5/36 520K

G09G5/36 520D

G09G5/38 A

G09G5/02 B

【請求項の数】 16

(21)【出願番号】P 2020541067

(86)(22)【出願日】2019-08-01

(86)【国際出願番号】 JP2019030258

(87)【国際公開番号】W WO2020049914

(87)【国際公開日】2020-03-12

【審査請求日】2021-04-09

(31)【優先権主張番号】P 2018166965

(32)【優先日】2018-09-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】板垣 和幸

(72)【発明者】

【氏名】狩野 喬俊

(72)【発明者】

【氏名】大関 誠

(72)【発明者】

【氏名】林 伸治

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０１５－００２４２３（ＪＰ，Ａ）

【文献】欧州特許出願公開第２７５０３７２（ＥＰ，Ａ１）

【文献】国際公開第２０１３／１６０６６３（ＷＯ，Ａ２）

【文献】米国特許出願公開第２０１４／００３５９５０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／３８７

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／６６

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３８

Ｇ０９Ｇ ５／０２

(57)【特許請求の範囲】

【請求項1】

第１の画像から抽出したオブジェクトを、第２の画像へ合成する画像処理装置であって、
前記オブジェクトの属性情報である第１属性情報と、前記オブジェクトの周囲の属性情報である周囲属性情報と、前記第２の画像の属性情報である第２属性情報とを取得する属性情報取得部と、
前記第１属性情報と、前記周囲属性情報と、前記第２属性情報とに基づき、前記オブジェクトを前記第２の画像へ合成する際のレイアウトを決定する決定部と、
前記決定部の決定したレイアウトと前記第１属性情報と前記周囲属性情報と前記第２属性情報とに基づいて、前記第２の画像および前記オブジェクトのうち少なくとも一方を補正する補正部と、
前記決定部の決定したレイアウトに基づいて、前記オブジェクトを前記第２の画像に合成する合成部と、
を備える画像処理装置。

【請求項2】

前記周囲属性情報は、前記第１の画像の被写体のヨー方向、ピッチ方向、ロール方向の傾き、サイズ、前記オブジェクトの前記第１の画像の被写体上の位置およびオブジェクトの周囲の被写体の色のうち少なくとも１つを含み、
前記第２属性情報は、前記第２の画像の被写体のヨー方向、ピッチ方向、ロール方向の傾き、サイズおよび被写体の色のうち少なくとも１つを含む請求項１に記載の画像処理装置。

【請求項3】

前記決定部は、前記第１の画像の被写体のヨー方向、ピッチ方向、ロール方向の傾きと前記第２の画像の被写体のヨー方向、ピッチ方向、ロール方向の傾きとの差分に応じて、
前記オブジェクトを回転および／または変形させるレイアウトを決定する請求項２に記載の画像処理装置。

【請求項4】

前記オブジェクトを回転および／または変形させるレイアウトは射影変換によって行われる請求項３に記載の画像処理装置。

【請求項5】

前記決定部は、前記オブジェクトの前記第２の画像の被写体上の位置が前記オブジェクトの前記第１の画像の被写体上の位置と適合するレイアウトを決定する請求項２～４のうちいずれか１項に記載の画像処理装置。

【請求項6】

前記第１の画像の被写体上の位置は、前記第１の画像の被写体の顔の額および頬のうち少なくとも１つを含み、
前記第２の画像の被写体上の位置は、前記第２の画像の被写体の顔の額および頬のうち少なくとも１つを含む請求項５に記載の画像処理装置。

【請求項7】

前記補正部は、前記第１の画像の被写体のサイズと前記第２の画像の被写体のサイズとの差分に応じて、前記オブジェクトのサイズを拡大または縮小することで前記オブジェクトを補正する請求項１～６のうちいずれか１項に記載の画像処理装置。

【請求項8】

前記補正部は、前記オブジェクトの色を前記第２の画像の色と適合する色に補正する請求項１～７のうちいずれか１項に記載の画像処理装置。

【請求項9】

前記補正部は、前記第２の画像に配置された前記オブジェクトの周囲の属性に適合するよう前記オブジェクトを補正する請求項１～８のうちいずれか１項に記載の画像処理装置。

【請求項10】

前記第２の画像に配置された前記オブジェクトの周囲の属性は光沢および反射率のうち少なくとも１つを含み、
前記補正部は、前記オブジェクトの周囲の属性に応じて前記オブジェクトに鏡像を付加することで前記オブジェクトを補正する請求項１～９のうちいずれか１項に記載の画像処理装置。

【請求項11】

前記補正部は、前記第２の画像の属性が前記オブジェクトの属性に適合するよう前記第２の画像を補正する請求項１～１０のうちいずれか１項に記載の画像処理装置。

【請求項12】

前記オブジェクトの属性は文字のぼけを含む請求項１１に記載の画像処理装置。

【請求項13】

前記オブジェクトは文字および図柄のうち少なくとも１つを含む請求項１～１２のうちいずれか１項に記載の画像処理装置。

【請求項14】

コンピュータが、第１の画像から抽出したオブジェクトを、第２の画像へ合成する画像処理方法であって、
前記オブジェクトの属性情報である第１属性情報と、前記オブジェクトの周囲の属性情報である周囲属性情報と、前記第２の画像の属性情報である第２属性情報とを取得するステップと、
前記第１属性情報と、前記周囲属性情報と、前記第２属性情報とに基づき、前記オブジェクトを前記第２の画像へ合成する際のレイアウトを決定するステップと、
前記レイアウトと前記第１属性情報と前記周囲属性情報と前記第２属性情報とに基づいて、前記第２の画像および前記オブジェクトのうち少なくとも一方を補正するステップと、
前記レイアウトに基づいて、前記オブジェクトを前記第２の画像に合成するステップと、
を実行する画像処理方法。

【請求項15】

請求項１４に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。

【請求項16】

非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１４に記載の画像処理方法をコンピュータに実行させる記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、方法およびプログラムに関し、特に、画像から抽出されたオブジェクトを他の画像にレイアウトする画像処理装置、方法およびプログラムに関する。

【背景技術】

【0002】

従来、自動またはユーザ操作に基づいて画像から任意のオブジェクトを抽出する技術、および画像から抽出されたオブジェクトを別の画像に貼り付けるレイアウトを行う画像編集技術が存在する。

【0003】

特許文献１は、名刺を撮影した画像からロゴマークを抽出し、ロゴマークから属性（氏名、住所、会社名）を判断し、抽出した文字情報を補正することで、文字の認識精度を上げることが記載されている。

【0004】

特許文献２は、写真から顔パーツを抽出し、本人の特徴に合わせて顔パーツを誇張補正し、素材情報（有名人の顔など）に合成することを開示している。

【0005】

その他、本願発明に関連する技術として、特許文献３および４が挙げられる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開2008-282094号公報

【文献】特開2005-228185号公報

【文献】特許5636807号公報

【文献】特開平6-342457号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

画像からオブジェクトを抽出する作業、抽出されたオブジェクトを編集する作業、または編集されたオブジェクトを別の画像の任意の位置に配置する作業は、画面の小さなスマートフォンなどの携帯情報端末で行うことが困難である。

【0008】

このような作業を伴うアプリやネットサービスを提供する場合、ユーザの手数を減らさないと、ユーザの負担が増し、サービスを利用する楽しみが減ってしまうため、利用されなくなってしまう。

【0009】

特許文献１～４はいずれも、デスクトップパソコンでの作業を前提としており、画面の小さな携帯情報端末で操作負担を軽減する技術を開示していない。

【0010】

本発明はこのような問題点に鑑みてなされたもので、画像から抽出されたオブジェクトを他の画像にレイアウトする作業を効率化し、当該作業を行うユーザの負担を減らすことのできる画像処理装置、方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本願発明の第１の態様に係る画像処理装置は、第１の画像から抽出したオブジェクトを、第２の画像へ合成する画像処理装置であって、オブジェクトの属性情報である第１属性情報と、オブジェクトの周囲の属性情報である周囲属性情報と、第２の画像の属性情報である第２属性情報とを取得する属性情報取得部と、第１属性情報と、周囲属性情報と、第２属性情報とに基づき、オブジェクトを第２の画像へ合成する際のレイアウトを決定する決定部と、決定部の決定したレイアウトと第１属性情報と周囲属性情報と第２属性情報とに基づいて、第２の画像およびオブジェクトのうち少なくとも一方を補正する補正部と、決定部の決定したレイアウトに基づいて、オブジェクトを第２の画像に合成する合成部と、を備える。

【0012】

本願発明の第２の態様に係る画像処理装置において、周囲属性情報は、第１の画像の被写体のヨー方向、ピッチ方向、ロール方向の傾き、サイズ、オブジェクトの第１の画像の被写体上の位置およびオブジェクトの周囲の被写体の色のうち少なくとも１つを含み、第２属性情報は、第２の画像の被写体のヨー方向、ピッチ方向、ロール方向の傾き、サイズおよび被写体の色のうち少なくとも１つを含む。

【0013】

本願発明の第３の態様に係る画像処理装置において、決定部は、第１の画像の被写体のヨー方向、ピッチ方向、ロール方向の傾きと第２の画像の被写体のヨー方向、ピッチ方向、ロール方向の傾きとの差分に応じて、オブジェクトを回転および／または変形させるレイアウトを決定する。

【0014】

本願発明の第４の態様に係る画像処理装置において、オブジェクトを回転および／または変形させるレイアウトは射影変換によって行われる。

【0015】

本願発明の第５の態様に係る画像処理装置において、決定部は、オブジェクトの第２の画像の被写体上の位置がオブジェクトの第１の画像の被写体上の位置と適合するレイアウトを決定する。

【0016】

本願発明の第６の態様に係る画像処理装置において、第１の画像の被写体上の位置は、第１の画像の被写体の顔の額および頬のうち少なくとも１つを含み、第２の画像の被写体上の位置は、第２の画像の被写体の顔の額および頬のうち少なくとも１つを含む。

【0017】

本願発明の第７の態様に係る画像処理装置において、補正部は、第１の画像の被写体のサイズと第２の画像の被写体のサイズとの差分に応じて、オブジェクトのサイズを拡大または縮小することでオブジェクトを補正する。

【0018】

本願発明の第８の態様に係る画像処理装置において、補正部は、オブジェクトの色を第２の画像の色と適合する色に補正する。

【0019】

本願発明の第９の態様に係る画像処理装置において、補正部は、第２の画像に配置されたオブジェクトの周囲の属性に適合するようオブジェクトを補正する。

【0020】

本願発明の第１０の態様に係る画像処理装置において、第２の画像に配置されたオブジェクトの周囲の属性は光沢および反射率のうち少なくとも１つを含み、補正部は、オブジェクトの周囲の属性に応じてオブジェクトに鏡像を付加することでオブジェクトを補正する。

【0021】

本願発明の第１１の態様に係る画像処理装置において、補正部は、第２の画像の属性がオブジェクトの属性に適合するよう第２の画像を補正する。

【0022】

本願発明の第１２の態様に係る画像処理装置において、オブジェクトの属性は文字のぼけを含む。

【0023】

本願発明の第１３の態様に係る画像処理装置において、オブジェクトは文字および図柄のうち少なくとも１つを含む。

【0024】

本願発明の第１４の態様に係る画像処理方法は、コンピュータが、第１の画像から抽出したオブジェクトを、第２の画像へ合成する画像処理方法であって、オブジェクトの属性情報である第１属性情報と、オブジェクトの周囲の属性情報である周囲属性情報と、第２の画像の属性情報である第２属性情報とを取得するステップと、第１属性情報と、周囲属性情報と、第２属性情報とに基づき、オブジェクトを第２の画像へ合成する際のレイアウトを決定するステップと、レイアウトと第１属性情報と周囲属性情報と第２属性情報とに基づいて、第２の画像およびオブジェクトのうち少なくとも一方を補正するステップと、レイアウトに基づいて、オブジェクトを第２の画像に合成するステップと、を実行する。

【0025】

本願発明の第１５の態様に係る画像処理プログラムは、第１４態様に係る画像処理方法をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0026】

この発明は、第１属性情報と、周囲属性情報と、第２属性情報とに基づき、オブジェクトを第２の画像へ合成する際のレイアウトを決定するとともに、決定部の決定したレイアウトと第１属性情報と周囲属性情報と第２属性情報とに基づいて、第２の画像およびオブジェクトのうち少なくとも一方を補正する。このため、ユーザが第１の画像のオブジェクトと第２の画像の属性情報を目視で確認して手動で補正を行う必要がなく、画像から抽出されたオブジェクトを他の画像にレイアウトする作業を効率化し、当該作業を行うユーザの負担を減らすことができる。

【図面の簡単な説明】

【0027】

【図1】画像処理装置１００のブロック構成図

【図2】第１画像の一例を示す図

【図3】オブジェクト属性情報テーブルT1の一例を示す図

【図4】オブジェクト属性情報テーブルT2の一例を示す図

【図5】第２画像の一例を示す図

【図6】第２画像属性情報テーブルT3の一例を示す図

【図7】オブジェクト合成処理の流れを示すフローチャート

【図8】第２画像におけるオブジェクトOBJ1を白黒反転したオブジェクトobj1の合成位置の一例を示す図

【図9】第２画像におけるオブジェクトOBJ2をアフィン変換したオブジェクトobj2の合成位置の一例を示す図

【図10】オブジェクト”ABCDEFG”のロゴの合成された画像の撮影シーンの一例を示す図

【図11】オブジェクト”ABCDEFG”のロゴOBJ3を白黒反転したオブジェクトobj3の合成された画像の撮影シーンの一例を示す図

【図12】ロゴOBJ4が鏡面反射した状態の装飾画像をオブジェクトOBJ4に付加する補正の施されたオブジェクトobj4の合成の一例を示す図

【図13】「速」のオブジェクトobj5の動体ぶれに対応して第２画像の「新幹線」の被写体OBJ6に「動体ぶれ」の画像修飾が与えられた補正の行われたオブジェクトobj6の一例を示す図

【発明を実施するための形態】

【0028】

図１は本発明の好ましい実施形態に係る画像処理装置のブロック図である。画像処理装置１００は、第１画像取得部１１、第２画像取得部１２、オブジェクト抽出部１３、オブジェクト属性情報抽出部１４、第２画像属性情報抽出部１５、レイアウト決定部１６、補正部１７、合成部１８、表示部１９、表示制御部２０、属性情報データベース（Database,ＤＢと略称）２１を備える。

【0029】

画像処理装置１００自体は、典型的には、スマートフォン、タブレット型コンピュータ、ノート型パソコンなどの携帯型情報処理端末で構成できるが、デスクトップ型コンピュータで構成されてもよい。

【0030】

第１画像取得部１１、第２画像取得部１２、オブジェクト抽出部１３、オブジェクト属性情報抽出部１４、第２画像属性情報抽出部１５、レイアウト決定部１６、補正部１７、合成部１８は、１または複数のコンピュータ（プロセッサ）により構成されうる。プロセッサは、ＣＰＵ(Central Processing Unit)，ＡＳＩＣ（Application Specific Integrated Circuit），ＧＰＵ(Graphics Processing Unit)などを含む。

【0031】

表示部１９は液晶ディスプレイなどの表示装置で構成される。また表示制御部２０はディスプレイドライバＩＣ(Integrated Circuit）などで構成される。

【0032】

属性情報データベース２１は、ＳＤＲＡＭ、フラッシュメモリなどの各種メモリで構成されるが、クラウドコンピューティングにより構成されてもよい。

【0033】

第１画像取得部１１は、撮像装置、外部の半導体メモリ、ネットワークを介して接続された外部のサーバなどから、第１画像を取得する。第１画像は、オブジェクトの抽出元となる画像である。

【0034】

図２は第１画像の一例を示す。この第１画像は、人物の顔の額に施されたロゴ”JAPAN”のペイントであるOBJ1と、人物の顔の頬部分に施された日の丸型のペイントであるオブジェクトOBJ2を有している。

【0035】

第２画像取得部１２は、撮像装置、外部の半導体メモリ、ネットワークを介して接続された外部のサーバなどから、第２画像を取得する。第２画像は、第１画像から抽出されたオブジェクトの合成先となる画像である。

【0036】

オブジェクト抽出部１３は、第１画像取得部１１の取得した第１画像からオブジェクトを抽出する。

【0037】

オブジェクト属性情報抽出部１４は、抽出されたオブジェクトの画像に関する属性情報であるオブジェクト属性情報と、第１画像において抽出されたオブジェクトの周囲の画像の属性情報であるオブジェクト周囲属性情報を抽出する。

【0038】

オブジェクト属性情報は、オブジェクトの種類、オブジェクトの位置、オブジェクトの種類がロゴなどの文字の場合はその文字情報、オブジェクトのサイズ、オブジェクトの色情報などを含む。

【0039】

また、オブジェクト周囲属性情報は、抽出されたオブジェクトの被写体像の種類（例えば人物の顔）、抽出されたオブジェクトの被写体像の向き（例えば正面向き）、抽出されたオブジェクトの被写体像のサイズ、抽出されたオブジェクトの被写体像のヨー方向、ピッチ方向、ロール方向の傾きの傾き角度、抽出されたオブジェクトの被写体像における位置（例えば額、頬など）、抽出されたオブジェクトの周囲の被写体像の色（例えば周囲の被写体が人の額であった場合はその人の肌の色、周囲の被写体が夜景であった場合は黒色）などを含む。

【0040】

なお、ヨー方向とは、前後、左右、上下が決まった被写体の、上下の軸を中心にして回転する方向（すなわち、水平面内での回転方向）をいい、ピッチ方向とは、左右の軸を中心にして回転する方向をいい、ロール方向とは、前後の軸を中心にして回転する方向をいう。

【0041】

図３に例示するように、抽出されたオブジェクトOBJ1に関するオブジェクト属性情報およびオブジェクト周囲属性情報は、オブジェクト属性情報テーブルT1として属性情報ＤＢ２１に記憶される。

【0042】

また図４に例示するように、抽出されたオブジェクトOBJ2に関するオブジェクト属性情報およびオブジェクト周囲属性情報は、オブジェクト属性情報テーブルT2として属性情報ＤＢ２１に記憶される。

【0043】

オブジェクト属性情報テーブルはオブジェクトの抽出の度に作成される。

【0044】

第２画像属性情報抽出部１５は、第２画像取得部１２の取得した第２画像の属性情報を抽出する。第２画像の属性情報は、第２画像の被写体の種類（例えば顔）、第２画像の被写体のサイズ、色の異なる領域の座標およびその領域に割り当てられた色などを含む。

【0045】

図５は第２画像の一例を示す。この第２画像では、被写体の顔画像Fに、黒色の髪部分の領域R1、右目の領域R2、左目の領域R3、鼻の領域R4、口の領域R5、手の領域R6が含まれている。

【0046】

図６に例示するように、第２画像属性情報は、第２画像属性情報テーブルT3として属性情報ＤＢ２１に記憶される。第２画像属性情報テーブルは第２画像の取得がされたときに一度作成されれば足りる。

【0047】

レイアウト決定部１６は、オブジェクト属性情報、オブジェクト周囲属性情報、および第２画像属性情報に基づき、第２画像におけるオブジェクトのレイアウト（合成位置）を決定する。

【0048】

補正部１７は、オブジェクト属性情報、オブジェクト周囲属性情報、および第２画像属性情報に基づき、抽出されたオブジェクトおよび第２画像の少なくとも一方を補正する。

【0049】

合成部１８は、オブジェクト（オブジェクトが補正されていれば補正されたオブジェクト）を、第２画像（第２画像が補正されていれば補正された第２画像）の合成位置に合成した合成画像を作成する。

【0050】

表示部１９は、表示制御部２０の制御に従って、第１画像、第２画像、抽出されたオブジェクト、補正されたオブジェクト、補正された第２画像、合成画像などの任意の画像を表示する。

【0051】

表示制御部２０はユーザ指示や各種プログラムに従って表示部１９の表示内容を切り替える制御を行う。

【0052】

図７は画像処理装置１００の実行するオブジェクト合成処理の流れを示すフローチャートである。この処理を画像処理装置１００やその他各種のコンピュータ（プロセッサ）に実行させるためのプログラムは、ＳＤＲＡＭ，ＲＯＭ，ＣＤ－ＲＯＭなど、画像処理装置１００やその他各種のコンピュータ（プロセッサ）読み取り可能な記録媒体に記録されている。

【0053】

Ｓ１では、第１画像取得部１１は、第１画像を取得する。

【0054】

Ｓ２では、オブジェクト抽出部１３は、第１画像からオブジェクトを抽出する。

【0055】

Ｓ３では、オブジェクト属性情報抽出部１４は、抽出されたオブジェクトからオブジェクト属性情報を抽出する。

【0056】

Ｓ４では、オブジェクト属性情報抽出部１４は、第１画像において抽出されたオブジェクトの周囲の画像の属性情報であるオブジェクト周囲属性情報を抽出する。

【0057】

Ｓ５では、第２画像取得部１２は、第２画像を取得する。

【0058】

Ｓ６では、第２画像属性情報抽出部１５は、第２画像の属性情報を抽出する。

【0059】

Ｓ７では、レイアウト決定部１６は、オブジェクト属性情報、オブジェクト周囲属性情報、および第２画像属性情報に基づき、第２画像におけるオブジェクトの合成位置を決定する。

【0060】

Ｓ８では、補正部１７は、オブジェクト属性情報、オブジェクト周囲属性情報、および第２画像属性情報に基づき、抽出されたオブジェクトおよび第２画像の少なくとも一方を補正する。

【0061】

Ｓ９では、合成部１８は、オブジェクト（オブジェクトが補正されていれば補正されたオブジェクト）を、第２画像（第２画像が補正されていれば補正された第２画像）の合成位置に合成した合成画像を作成する。

【0062】

Ｓ１０では、表示制御部２０は、合成画像を表示部１９に表示するよう制御する。

【0063】

図８～１３はオブジェクトおよび/または第２画像の補正、オブジェクトのレイアウト、およびオブジェクトと第２画像の合成画像の例を示す。

【0064】

図８に例示するように、第１画像におけるオブジェクトOBJ1の位置が「額」であれば、第２画像におけるオブジェクトOBJ1の合成位置は「額」と決定する。

【0065】

また図８に例示するように、オブジェクト”JAPAN”のロゴのオブジェクトOBJ1の属性情報における色が「黒」であり、第２画像属性情報におけるオブジェクトの合成位置の属する領域の色が「ブラウン」であったとする。この場合、黒のロゴをブラウンの領域に合成すると、ロゴが見えづらくなってしまう。従って、黒のロゴを白に反転する補正が行われたロゴ”JAPAN”のオブジェクトobj1が額に合成され、合成画像Fs1が得られる。

【0066】

また図９に例示するように、オブジェクトOBJ2の位置が「左頬」であれば、第２画像におけるオブジェクトの合成位置は「左頬」と決定する。

【0067】

また図９に例示するように、日の丸のペイントのオブジェクトOBJ2（図２）のオブジェクト属性情報における被写体向きが「正面」であり、第２画像属性情報における被写体向きが、右ヨー方向に４５度および下ピッチ方向に１０度であれば、オブジェクトOBJ2を右ヨー方向に４５度および下ピッチ方向に１０度の向きになるよう平行移動・回転・拡大または縮小するアフィン変換（より一般的には射影変換）を施す補正を施したオブジェクトobj2を合成することで、合成画像Fs2が得られる。

【0068】

また例えば図１０に例示するように、ロゴ”ABCDEFG”のオブジェクトOBJ3のオブジェクト属性情報における色が「黒」、オブジェクト周囲属性情報の撮影シーンが「日中」であり、第２画像属性情報における撮影シーンが「夜景」であったとする。この場合、この黒のロゴを夜景に合成すると、ロゴが見えづらくなってしまう。従って、黒のロゴを白に反転する補正が行われたロゴ”ABCDEFG”のオブジェクトobj3が合成される。合成位置は第１画像および第２画像で共通する画像右下の位置に決定される。このオブジェクトobj3と第２画像が合成されることで合成画像Fsが得られる。

【0069】

なお撮影シーンの情報は画像のタグ情報(Exif:Exchangeable image file format)などに含まれる撮影日時情報や、画像の明度（輝度）・彩度・色相の色情報などから取得または推定できる。

【0070】

また例えば図１２に例示するように、第２画像属性情報における被写体種類が「氷」の場合、第１画像から抽出されたロゴ”ABCDEFG”のオブジェクトOBJ4が鏡面反射した状態の装飾画像をロゴ”ABCDEFG”のオブジェクトOBJ4に付加する補正を行い、補正後のオブジェクトobj4が得られる。この補正後のオブジェクトobj4が第２画像の下部に合成された合成画像Fs3が得られる。

【0071】

また例えば図１３に例示するように、「速」のオブジェクトobj5のオブジェクト属性情報に含まれる文字情報が「速」、文字修飾の種類が「動体ぶれ」であり、第２画像属性情報に含まれるオブジェクトOBJ6の被写体種類が「新幹線」の場合、第２画像の「新幹線」のオブジェクトOBJ6に「動体ぶれ」の画像修飾を与える補正を行うことでオブジェクトobj6を得る。「速」のオブジェクトobj5の合成位置は第２画像の空白部分に決定される。「速」のオブジェクトobj5が第２画像に合成されることで、合成画像Fs4が得られる。

【0072】

また、図８～１３において、共通する補正としては、オブジェクトサイズの調整が含まれる。すなわち、オブジェクト属性情報に含まれるオブジェクトサイズとオブジェクト周囲属性情報に含まれる第１画像の被写体サイズとの比が、合成後の第２画像の被写体との関係でも保たれるよう、オブジェクトの拡大または縮小が行われる。

【0073】

このように、第１画像のオブジェクトの属性情報抽出、第１画像から抽出されたオブジェクトの周囲属性情報、第２画像の属性情報に基づいて、第１画像のオブジェクトおよび第２画像の少なくとも一方の補正が行われること、また第１画像のオブジェクトの第２画像への合成位置の決定が行われる。従って、ユーザはオブジェクトの補正、第２画像の補正、合成位置の決定を手動操作にて行う必要なく合成画像を得ることができる。

【0074】

このため、ユーザが第１画像のオブジェクトと第２画像の属性情報を目視で確認して手動で補正を行う必要がなく、画像から抽出されたオブジェクトを他の画像にレイアウトする作業を効率化し、当該作業を行うユーザの負担を減らすことができる。

【符号の説明】

【0075】

１１ 第１画像取得部
１２ 第２画像取得部
１３ オブジェクト抽出部
１４ オブジェクト属性情報抽出部
１５ 第２画像属性情報抽出部
１６ レイアウト決定部
１７ 補正部
１８ 合成部
１９ 表示部
２０ 表示制御部
２１ 属性情報データベース
１００ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】