特許 7543836 情報処理装置及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】情報処理装置及び情報処理プログラム

(51)【国際特許分類】

   G06T 3/147 20240101AFI20240827BHJP

【ＦＩ】

G06T3/147

【請求項の数】 11

(21)【出願番号】P 2020177539

(22)【出願日】2020-10-22

(65)【公開番号】P2022068711

(43)【公開日】2022-05-10

【審査請求日】2023-09-19

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】針貝 潤吾

(72)【発明者】

【氏名】桑田 良隆

(72)【発明者】

【氏名】佐々木 裕丈

(72)【発明者】

【氏名】石原 拓真

【審査官】山田 辰美

(56)【参考文献】

【文献】特開平０７－１６８８７２（ＪＰ，Ａ）

【文献】特開２０１７－１７５５２３（ＪＰ，Ａ）

【文献】特開２００２－３５２２５９（ＪＰ，Ａ）

【文献】米国特許第０６９１２２９３（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／１４７

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
消失点を有する原画像の一部に設定された置換領域から、見本画像を幾何変換した幾何変換画像を生成する際の幾何変換領域を、前記消失点と見なせる基準点を用いて設定し、
前記見本画像を前記幾何変換領域に幾何変換した幾何変換画像を生成し、
前記幾何変換画像を用いて前記置換領域を置換する
情報処理装置。

【請求項2】

前記プロセッサは、
前記置換領域の形状から、前記置換領域の形状を含む前記幾何変換領域を特定するための複数の特定点を設定することにより前記幾何変換領域を設定する
請求項１記載の情報処理装置。

【請求項3】

前記プロセッサは、
前記置換領域と前記置換領域以外の他の領域とが二値で表され、前記原画像のサイズと同じサイズのマスク画像を取得し、
前記マスク画像の基準点と前記置換領域との位置関係から前記複数の特定点を設定する
請求項２記載の情報処理装置。

【請求項4】

前記プロセッサは、
前記複数の特定点で表される前記幾何変換領域の一部が、前記マスク画像からはみ出る場合、はみ出た分に対応して前記見本画像を拡張した拡張見本画像を前記幾何変換領域に幾何変換する
請求項３記載の情報処理装置。

【請求項5】

前記拡張見本画像は、前記見本画像の周縁部の画像を反転した画像を追加見本画像として前記周縁部に追加することにより生成する
請求項４記載の情報処理装置。

【請求項6】

前記プロセッサは、
前記マスク画像の中心点を前記基準点として、前記基準点と前記置換領域との位置関係から前記複数の特定点を設定する
請求項３～５の何れか１項に記載の情報処理装置。

【請求項7】

前記プロセッサは、
前記基準点と、前記複数の特定点のうち二つの特定点と、を各々結ぶ二つの直線により定まる画角が最大となるように、前記基準点の位置を調整する
請求項３～５の何れか１項に記載の情報処理装置。

【請求項8】

前記プロセッサは、
前記置換領域と前記幾何変換領域との一致の度合いを用いて前記基準点の位置を調整する
請求項７記載の情報処理装置。

【請求項9】

前記プロセッサは、
前記幾何変換領域のサイズに応じて前記見本画像のサイズを調整する
請求項１～８の何れか１項に記載の情報処理装置。

【請求項10】

前記プロセッサは、
前記原画像の選択を受け付け、
前記見本画像の選択を受け付け、
前記幾何変換画像を用いて前記置換領域が置換された画像を表示させる
請求項１～９の何れか１項に記載の情報処理装置。

【請求項11】

コンピュータに、
消失点を有する原画像の一部に設定された置換領域から、見本画像を幾何変換した幾何変換画像を生成する際の幾何変換領域を、前記消失点と見なせる基準点を用いて設定し、
前記見本画像を前記幾何変換領域に幾何変換した幾何変換画像を生成し、
前記幾何変換画像を用いて前記置換領域を置換する
処理を実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、原画像を入力する手段と、テクスチャ画像を入力する手段と、原画像にテクスチャ画像を貼り込む貼込領域を指定する手段と、原画像の貼込領域に対応するテクスチャ画像の使用領域を指定する手段と、原画像の貼込領域にテクスチャ画像の使用領域を合成する画像合成手段とを備えた画像合成装置において、画像合成手段が、原画像の貼込領域に、少なくとも１つの窓領域を有するマスクを設定する機能と、テクスチャ画像の使用領域に対して擬似的な透視変換を施す機能と、を備えていることを特徴とする画像合成装置が開示されている。

【0003】

特許文献２には、処理対象となる元画像を表す処理対象データと、該元画像で表される物品を構成し得る素材の画像データである素材データと、前記元画像において変更可能な素材の画像が占める領域であるはめ込み領域を表すはめ込み用マスクデータとを記憶した記憶手段と、前記素材データを前記はめ込み領域の形状に合わせて変形して変形素材データを生成する変形手段と、前記はめ込み領域内の前記処理対象データを、前記変形素材データに基づいて更新するはめ込み手段と、該はめ込み手段により更新された前記処理対象データで表される画像を表示する表示手段とを具備することを特徴とする画像シミュレーション装置が開示されている。

【0004】

特許文献３には、原画像から指定領域を検出する領域検出部と、前記指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、当該指定領域に合わせた奥行きを表現するように当該見本画像のテクスチャを変形させる画像処理部と、変形した前記見本画像を前記原画像の前記指定領域に対し合成する画像合成部と、を備える画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平６－２７４６５０号公報

【文献】特開平８－２８７２２５号公報

【文献】特開２０１８－８１４３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

部屋等を撮影した原画像の一部である壁面等を、別の模様の壁面等の見本画像を用いて置換したい場合がある。この場合、置換後の画像に違和感が生じないように、見本画像を置換領域に応じて幾何変換する場合があるが、見本画像を幾何変換する幾何変換領域は、ユーザが設定する必要があった。

【0007】

本発明は、ユーザが幾何変換領域を設定することなく、原画像の一部を、幾何変換画像を用いて置換することができる情報処理装置及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、原画像の一部に設定された置換領域から、見本画像を幾何変換した幾何変換画像を生成する際の幾何変換領域を設定し、前記見本画像を前記幾何変換領域に幾何変換した幾何変換画像を生成し、前記幾何変換画像を用いて前記置換領域を置換する。

【0009】

第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサは、前記置換領域の形状から、前記置換領域の形状を含む前記幾何変換領域を特定するための複数の特定点を設定することにより前記幾何変換領域を設定する。

【0010】

第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記プロセッサは、前記置換領域と前記置換領域以外の他の領域とが二値で表され、前記原画像のサイズと同じサイズのマスク画像を取得し、前記マスク画像の基準点と前記置換領域との位置関係から前記複数の特定点を設定する。

【0011】

第４態様に係る情報処理装置は、第３態様に係る情報処理装置において、前記プロセッサは、前記複数の特定点で表される前記幾何変換領域の一部が、前記マスク画像からはみ出る場合、はみ出た分に対応して前記見本画像を拡張した拡張見本画像を前記幾何変換領域に幾何変換する。

【0012】

第５態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記拡張見本画像は、前記見本画像の周縁部の画像を反転した画像を追加見本画像として前記周縁部に追加することにより生成する。

【0013】

第６態様に係る情報処理装置は、第３～第５態様の何れかの態様に係る情報処理装置において、前記プロセッサは、前記マスク画像の中心点を前記基準点として、前記基準点と前記置換領域との位置関係から前記複数の特定点を設定する。

【0014】

第７態様に係る情報処理装置は、第３～第５態様の何れかの態様に係る情報処理装置において、前記プロセッサは、前記基準点と、前記複数の特定点のうち二つの特定点と、を各々結ぶ二つの直線により定まる画角が最大となるように、前記基準点の位置を調整する。

【0015】

第８態様に係る情報処理装置は、第７態様に係る情報処理装置において、前記プロセッサは、前記置換領域と前記幾何変換領域との一致の度合いを用いて前記基準点の位置を調整する。

【0016】

第９態様に係る情報処理装置は、第１～第８態様の何れかの態様に係る情報処理装置において、前記プロセッサは、前記幾何変換領域のサイズに応じて前記見本画像のサイズを調整する。

【0017】

第１０態様に係る情報処理装置は、第１～第９態様の何れかの態様に係る情報処理装置において、前記プロセッサは、前記原画像の選択を受け付け、前記見本画像の選択を受け付け、前記幾何変換画像を用いて前記置換領域が置換された画像を表示させる。

【0018】

第１１態様に係る情報処理プログラムは、コンピュータに、原画像の一部に設定された置換領域から、見本画像を幾何変換した幾何変換画像を生成する際の幾何変換領域を設定し、前記見本画像を前記幾何変換領域に幾何変換した幾何変換画像を生成し、前記幾何変換画像を用いて前記置換領域を置換する処理を実行させる。

【発明の効果】

【0019】

第１、第１１態様によれば、ユーザが幾何変換領域を設定することなく、原画像の一部を、幾何変換画像を用いて置換することができる。

【0020】

第２態様によれば、置換領域の形状に関係なく幾何変換領域を設定する場合と比較して、置換領域の形状に合った幾何変換領域を設定することができる。

【0021】

第３態様によれば、マスク画像の基準点と置換領域との位置関係に関係なく幾何変換領域を設定する場合と比較して、置換領域の形状に合った幾何変換領域を設定することができる。

【0022】

第４態様によれば、幾何変換領域の一部が、マスク画像からはみ出る場合に見本画像を拡張しない場合と比較して、置換後の画像がより自然となる。

【0023】

第５態様によれば、見本画像と追加見本画像との境界部分の模様が不自然となるのが抑制される。

【0024】

第６態様によれば、複雑な処理をすることなく簡易に複数の特定点を設定することができる。

【0025】

第７態様によれば、基準点の位置を固定にした場合と比較して、射影変換領域の形状を置換領域の形状に近づけることができる。

【0026】

第８態様によれば、基準点と、複数の特定点のうち二つの特定点と、を各々結ぶ二つの直線により定まる画角に関係なく基準点の位置を調整する場合と比較して、射影変換領域の形状を置換領域の形状に近づけることができる。

【0027】

第９態様によれば、幾何変換領域のサイズに関係なく見本画像のサイズを固定にした場合と比較して、置換後の画像がより自然となる。

【0028】

第１０態様によれば、原画像及び見本画像の選択を受け付けない場合と比較して、様々な原画像及び見本画像について、原画像の一部を見本画像で射影変換した画像を得ることができる。

【図面の簡単な説明】

【0029】

【図1】第１実施形態に係る情報処理装置の構成図である。

【図2】第１実施形態に係る情報処理のフローチャートである。

【図3】原画像の一例を示す図である。

【図4】マスク画像の一例を示す図である。

【図5】消失点について説明するための図である。

【図6】見本画像の一例を示す図である。

【図7】射影変換領域の設定について説明するための図である。

【図8】射影変換領域の設定について説明するための図である。

【図9】見本画像を射影変換領域に変換する場合について説明するための図である。

【図10】射影変換画像の一例を示す図である。

【図11】射影変換後の合成画像の一例を示す図である。

【図12】第２実施形態に係る情報処理のフローチャートである。

【図13】見本画像の拡張について説明するための図である。

【図14】見本画像の拡張について説明するための図である。

【図15】第３実施形態に係る情報処理のフローチャートである。

【図16】消失点の移動について説明するための図である。

【図17】消失点の移動について説明するための図である。

【図18】第４実施形態に係る情報処理のフローチャートである。

【図19】見本画像の補正について説明するための図である。

【図20】見本画像の補正について説明するための図である。

【発明を実施するための形態】

【0030】

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。

【0031】

（第１実施形態）

【0032】

図１は、本実施形態に係る情報処理装置３０の構成図である。情報処理装置３０は、一般的なコンピュータを含む装置である。なお、本実施形態では、情報処理装置３０が、一例として不動産物件等の室内を撮影した室内画像のうち、室内の壁紙及び床材等の一部のインテリアの画像を別のインテリアの見本画像に置換した合成画像を生成して表示するインテリアシミュレーション装置の場合について説明する。また、情報処理装置３０の処理対象の画像としては、不動産物件の室内画像に限られるものではなく、壁、窓等が存在する室内の画像を適用可能である。従って、不動産物件以外の室内画像、例えば自分の部屋の室内画像でもよい。さらに、室内画像に限らず、風景の中に存在する家及びビル等の建物の画像等でもよい。

【0033】

図１に示すように、情報処理装置３０は、コントローラ３１を備える。コントローラ３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１Ｃ、及び入出力インターフェース（Ｉ／Ｏ）３１Ｄを備える。そして、ＣＰＵ３１Ａ、ＲＯＭ３１Ｂ、ＲＡＭ３１Ｃ、及びＩ／Ｏ３１Ｄがシステムバス３１Ｅを介して各々接続されている。システムバス３１Ｅは、コントロールバス、アドレスバス、及びデータバスを含む。なお、ＣＰＵ３１Ａは、プロセッサの一例である。

【0034】

また、Ｉ／Ｏ３１Ｄには、操作部３２、表示部３３、通信部３４、及び記憶部３５が接続されている。

【0035】

操作部３２は、例えばマウス及びキーボードを含んで構成される。

【0036】

表示部３３は、例えば液晶ディスプレイ等で構成される。

【0037】

通信部３４は、外部装置とデータ通信を行うためのインターフェースである。

【0038】

記憶部３５は、ハードディスク等の不揮発性の外部記憶装置で構成され、後述する情報処理プログラム３５Ａ、室内画像データベース３５Ｂ、及び見本画像データベース３５Ｃ等を記憶する。ＣＰＵ３１Ａは、記憶部３５に記憶された情報処理プログラム３５ＡをＲＡＭ３１Ｃに読み込んで実行する。

【0039】

次に、図２を参照して、本実施の形態に係る情報処理装置３０の作用を説明する。ＣＰＵ３１Ａにより情報処理プログラム３５Ａを実行させることで、図２に示す情報処理が実行される。なお、図２に示す情報処理は、例えば、ユーザの操作により情報処理プログラム３５Ａの実行が指示された場合に実行される。

【0040】

ステップＳ１００では、ＣＰＵ３１Ａが、閲覧対象である室内画像の選択等をユーザが行うためのメニュー画面（図示省略）を表示部３３に表示させる。ここで、ユーザは、操作部３２を操作して、自身が閲覧したい室内画像を選択する。

【0041】

ステップＳ１０２では、ＣＰＵ３１Ａが、室内画像の選択を受け付ける。そして、室内画像の選択を受け付けた場合はステップＳ１０４へ移行する。一方、室内画像の選択を受け付けていない場合は、室内画像の選択を受け付けるまで待機する。

【0042】

ステップＳ１０４では、選択された室内画像の原画像を記憶部３５の室内画像データベース３５Ｂから読み出すことにより取得し、表示部３３に表示させる。記憶部３５には、室内画像データベース３５Ｂとして、様々な室内画像の原画像の画像データが予め記憶されている。

【0043】

図３には、室内画像の原画像の一例を示した。図３に示すように、室内画像の原画像４０は、部屋の内部を撮影した画像である。ここで、ユーザは、原画像４０のうち、壁紙及び床材等の一部のインテリアの画像を別のインテリアの見本画像に置換したい領域を、操作部３２を操作して指定する。本実施形態では、一例として右側の窓４２を除いた壁４４をユーザが指定した場合について説明する。なお、壁４４を指定する際には、操作部３２のマウスを用いてドラッグ操作することにより、例えば壁４４を包含する範囲を指定領域として指定する。

【0044】

ステップＳ１０６では、ＣＰＵ３１Ａが、指定領域の指定を受け付ける。そして、指定領域が指定された場合はステップＳ１０８へ移行する。一方、指定領域が指定されていない場合は、指定領域が指定されるまで待機する。

【0045】

ステップＳ１０８では、ＣＰＵ３１Ａが、指定領域に基づいて置換領域を設定する。具体的には、公知の画像処理方法を用いて、指定領域から壁４４の領域を切り出すことにより置換領域を設定する。これにより、原画像４０の一部である壁４４の領域が置換領域として設定される。以下では、壁４４を置換領域４４と称する場合がある。なお、公知の画像処理方法としては、例えば特開２０１７－１２６３０４号公報に開示された方法が用いられるが、これに限られるものではない。

【0046】

ステップＳ１１０では、ＣＰＵ３１Ａが、ステップＳ１０８で設定された置換領域に基づいてマスク画像を生成する。ここで、マスク画像とは、原画像のうち、置換領域と置換領域以外の他の領域とが二値で表され、原画像４０のサイズと同じサイズの二値画像である。図４にはマスク画像の一例を示した。図４に示すように、マスク画像５０は、置換領域４４の各画素の画素値が「１」、置換領域４４以外の他の領域４６の各画素の画素値が「０」で表された二値画像である。

【0047】

ここで、本実施形態では、図５に示すように、原画像４０が、消失点Ｓを有する画像である場合について説明する。ここで、消失点とは、遠近法において、実際は平行である複数の線を非平行で描く場合に、これら複数の線が交わる点である。このように消失点を有する原画像４０の場合、例えば壁４４と天井４６との境界線Ｋ１と、壁４４と窓４２との境界線Ｋ２とは、実際は平行であるが、原画像４０では非平行となる。このため、置換領域４４を図６に示すような横方向に木目がある見本画像６０にそのまま置換してしまうと、遠近感が表現されない画像となってしまう。このため、本実施形態では、射影変換領域を設定し、見本画像を射影変換領域に射影変換した射影変換領域画像を生成し、射影変換画像を用いて置換領域４４を置換する。なお、射影変換は幾何変換の一例であり、射影変換領域は幾何変換領域の一例であり、射影変換画像は幾何変換画像の一例である。

【0048】

そこで、ステップＳ１１２では、ＣＰＵ３１Ａが、置換領域４４から、射影変換領域を設定する。ここで、射影変換領域とは、見本画像を射影変換した射影変換画像を生成する際の領域である。

【0049】

具体的には、置換領域４４の形状から、置換領域４４の形状を含む射影変換領域を特定するための複数の特定点を設定することにより射影変換領域を設定する。複数の特定点は、例えばマスク画像５０の基準点と置換領域４４との位置関係から複数の特定点を設定する。マスク画像５０の基準点は、原画像４０の消失点と見なせる点である。原画像４０の消失点を想定した点を基準点とするのは、原画像４０の消失点と見なせる基準点を用いて射影変換領域を設定することにより、違和感が抑制された射影変換画像が得られるためである。

【0050】

本実施形態では、図７に示すように、一例としてマスク画像５０の中心点を基準点Ｆとした場合について説明するが、基準点Ｆの位置は中心点に限られるものではない。

【0051】

以下、説明を簡単にするために、単純な形状の置換領域を例に説明する。図８には、基準点Ｆからマスク画像５０の外縁に向けて延びると共に、置換領域４４の外側から接触する直線Ｌ１、Ｌ２、すなわち置換領域４４に外接する直線Ｌ１、Ｌ２を特定する。そして、直線Ｌ１、Ｌ２とマスク画像５０の一辺Ｈ１（図８の例では右辺）との交点を特定点Ｔ１、Ｔ２とする。次に、置換領域４４の外縁上の点であって、特定点Ｔ１、Ｔ２と直線で結ぶことにより得られる閉領域が置換領域４４を包含することとなる点を特定点とする。図７の例では、置換領域４４は台形を９０度回転させた形状であり、当該台形の上辺の両端が特定点Ｔ３、Ｔ４となる。

【0052】

図８の例では、特定点Ｔ１～Ｔ４を直線で結ぶことにより囲まれた台形形状の領域が射影変換領域７０となる。なお、図８の例では、置換領域４４と射影変換領域７０とは一致する。

【0053】

図７に示す例においても、特定点Ｔ１～Ｔ４を直線で結ぶことにより囲まれた台形形状の領域が射影変換領域７０となる。なお、図７の例では、置換領域４４を包含するように射影変換領域７０が設定される。

【0054】

ステップＳ１１４では、ＣＰＵ３１Ａが、見本画像の選択を受け付ける。ユーザは、メニュー画面を参照し、操作部３２を操作して、ステップＳ１０６で指定した指定領域に置換させたい見本画像をメニュー画面から選択する。記憶部３５には、見本画像データベース３５Ｃとして、様々な壁紙及び床材等の見本画像の画像データが予め記憶されている。見本画像のサイズは、本実施形態では一例として原画像４０及びマスク画像５０と同じサイズである。

【0055】

そして、見本画像の選択を受け付けた場合はステップＳ１１６へ移行する。一方、見本画像の選択を受け付けていない場合は、見本画像の選択を受け付けるまで待機する。

【0056】

ステップＳ１１６では、ＣＰＵ３１Ａが、選択された見本画像を記憶部３５の見本画像データベース３５Ｃから読み出すことにより取得する。そして、図９に示すように、取得した見本画像６０を射影変換領域７０に射影変換する。これにより、図１０に示すような射影変換画像８０が生成される。

【0057】

ステップＳ１１８では、ＣＰＵ３１Ａが、射影変換画像８０を用いて置換領域４４を置換した合成画像を生成し、表示部３３に表示させる。具体的には、マスク画像５０と射影変換画像８０との対応する画素同士の論理積を各々算出して置換画像を生成する。そして、生成した置換画像で原画像４０の置換領域４４を置換する。これにより、図１１に示すように、右側の壁が見本画像６０を射影変換した射影変換画像８０により置換された合成画像４０Ａが得られる。また、射影変換により得られた射影変換画像８０を用いて置換しているので、違和感が抑制された合成画像４０Ａが得られる。

【0058】

ユーザは、表示部３３に表示された合成画像４０Ａを参照し、見本画像を変更したい場合は、操作部３２を操作して見本画像の変更を指示してもよい。

【0059】

そこで、ステップＳ１２０では、ＣＰＵ３１Ａが、見本画像の変更が指示されたか否かを判定する。そして、見本画像の変更が指示された場合はステップＳ１１４へ移行する。一方、見本画像の変更が指示されていない場合はステップＳ１２２へ移行する。

【0060】

また、ユーザは、置換領域を変更したい場合は、操作部３２を操作して置換領域の変更を指示してもよい。

【0061】

そこで、ステップＳ１２２では、ＣＰＵ３１Ａが、置換領域の変更が指示されたか否かを判定する。そして、置換領域の変更が指示された場合はステップＳ１０６へ移行する。一方、置換領域の変更が指示されていない場合はステップＳ１２４へ移行する。

【0062】

また、ユーザは、閲覧する室内画像を変更したい場合は、操作部３２を操作して室内画像の変更を指示してもよい。

【0063】

そこで、ステップＳ１２４では、ＣＰＵ３１Ａが、室内画像の変更が指示されたか否かを判定する。そして、室内画像の変更が指示された場合はステップＳ１０２へ移行する。一方、室内画像の変更が指示されていない場合はステップＳ１２６へ移行する。

【0064】

ステップＳ１２６では、ＣＰＵ３１Ａが、処理の終了が指示されたか否かを判定し、終了が指示されていない場合はステップＳ１２０へ移行し、終了が指示された場合は本ルーチンを終了する。

【0065】

（第２実施形態）

【0066】

次に、第２実施形態について説明する。なお、第１実施形態と同一部分については同一符号を付し、詳細な説明は省略する。情報処理装置３０の構成は、第１実施形態と同一であるので説明は省略する。

【0067】

図１２には、第２実施形態に係る情報処理のフローチャートを示した。図１２に示す情報処理は、図２に示す情報処理と比較して、ステップＳ１１５Ａ、Ｓ１１５Ｂの処理が追加されている点が異なる。その他の処理は図２の情報処理と同一であるため説明は省略する。

【0068】

第１実施形態で説明した図８の例では、特定点Ｔ１、Ｔ２がマスク画像５０の右辺上に存在するが、置換領域４４の形状によっては、図１３に示すように、特定点Ｔ１、Ｔ２の位置がマスク画像５０の一辺Ｈ１を延長した線上となる場合がある。

【0069】

この場合、特定点Ｔ１～Ｔ４で表される射影変換領域７０の一部が、マスク画像５０からはみ出るため、見本画像６０を拡張した拡張見本画像を生成する。

【0070】

そこで、ステップＳ１１５Ａでは、見本画像６０を拡張した拡張見本画像を生成する必要があるか否かを判定する。すなわち、射影変換領域７０の一部がマスク画像５０からはみ出るか否かを判定する。そして、射影変換領域７０の一部がマスク画像５０からはみ出ると判定された場合にはステップＳ１１５Ｂへ移行する。一方、射影変換領域７０がマスク画像５０からはみ出ていないと判定された場合は、ステップＳ１１６へ移行する。

【0071】

ステップＳ１１５Ｂでは、射影変換領域７０の一部がマスク画像５０からはみ出た分に対応して見本画像６０を拡張した拡張見本画像を生成する。

【0072】

具体的には、図１４に示すように、特定点Ｔ１がＹ方向にはみ出た分の幅Ｗ１の幅を有する矩形状の追加見本画像６０Ａを見本画像６０の上辺側に追加する。また、特定点Ｔ２がＹ方向にはみ出た分の幅Ｗ２の幅を有する矩形状の追加見本画像６０Ｂを見本画像６０の下辺側に追加する。また、拡張見本画像が見本画像６０の縦横比と同じ縦横比となるように、Ｙ方向に拡張すべき幅Ｗ３を算出し、算出した幅Ｗ３の幅を有する矩形状の追加見本画像６０Ｃを見本画像６０の左辺側に追加する。これにより、射影変換領域７０の一部がマスク画像５０からはみ出た分に対応して見本画像６０を拡張した拡張見本画像６２が生成される。そして、生成された拡張見本画像６２を射影変換領域７０に射影変換する。

【0073】

なお、拡張見本画像６２は、見本画像６０の周縁部の画像を反転した画像を追加見本画像として周縁部に追加することにより生成することが好ましい。例えば、追加見本画像６０Ａは、見本画像６０の上辺に沿った画像を反転した画像とする。同様に、追加見本画像６０Ｂは、見本画像６０の下辺に沿った画像を反転した画像とし、追加見本画像６０Ｃは、見本画像６０の左辺に沿った画像を反転した画像とする。これにより、見本画像６０と追加見本画像６０Ａ～６０Ｃとの境界部分の模様が不自然となるのが抑制される。

【0074】

（第３実施形態）

【0075】

次に、第３実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、詳細な説明は省略する。情報処理装置３０の構成は、第１実施形態と同一であるので説明は省略する。

【0076】

第３実施形態では、基準点Ｆが原画像４０の消失点に近づくように基準点Ｆの位置を調整する場合について説明する。

【0077】

図１５には、第３実施形態に係る情報処理のフローチャートを示した。図１５に示す情報処理は、図１２に示す情報処理と比較して、ステップＳ１１３の処理が追加されている点が異なる。その他の処理は図１２の情報処理と同一であるため説明は省略する。

【0078】

ステップＳ１１３では、ＣＰＵ３１Ａが、基準点Ｆが原画像４０の消失点に近づくように基準点Ｆの位置を調整することにより射影変換領域を調整する。

【0079】

具体的には、基準点Ｆと、複数の特定点のうち二つの特定点と、を各々結ぶ二つの直線により定まる画角が最大となるように、基準点Ｆの位置を調整する。

【0080】

例えばステップＳ１１２の処理が実行されることにより設定された射影変換領域が、図１６に示すような射影変換領域７０であった場合について説明する。この場合、図１７に示すように、基準点ＦをＹ方向に移動させて特定点Ｔ１～Ｔ４を新たに特定し、直線Ｌ１、Ｌ２を更新する。そして、新たな基準点Ｆと直線Ｌ１、Ｌ２により定まる画角θが最大画角となる位置を探索し、調整後の基準点Ｆ１とする。

【0081】

図１６に示す射影変換領域７０と図１７に示す射影変換領域７０Ａとの形状を比較すると、図１７に示す射影変換領域７０Ａの方が、置換領域４４に近い形状となっている。すなわち、基準点Ｆよりも基準点Ｆ１の方が消失点に近づいていることとなる。このように、基準点Ｆと直線Ｌ１、Ｌ２により定まる画角θが最大画角となるように基準点Ｆの位置を調整することにより、射影変換領域７０の形状が置換領域４４の形状に近くなる。

【0082】

また、基準点Ｆの位置を調整する際に、置換領域４４と射影変換領域７０との一致の度合いを用いて基準点Ｆの位置を調整するようにしてもよい。具体的には、基準点Ｆの位置をＹ方向に移動させて特定点Ｔ１～Ｔ４を新たに特定し、直線Ｌ１、Ｌ２を更新することにより射影変換領域７０を更新する。そして、置換領域４４と新たな射影変換領域７０との一致の度合いを算出する。一致の度合いとしては、例えば置換領域４４及び射影変換領域７０の形状の類似度を用いても良いし、置換領域４４及び射影変換領域７０の面積の一致率を用いてもよい。

【0083】

そして、算出した一致の度合いが予め定めた条件を満たすまで基準点ＦをＹ方向に移動させて同様の処理を繰り返す。なお、予め定めた条件は、算出した一致の度合いが予め定めた閾値以上となることとしてもよいし、基準点Ｆを移動した回数が予め定めた回数以上となることとしてもよい。このように、置換領域４４と射影変換領域７０との一致の度合いを用いて基準点Ｆの位置を調整することにより、基準点Ｆが消失点に近づく。

【0084】

なお、基準点Ｆの移動に二分探索の手法を用いてもよい。例えば、特定点Ｔ１、Ｔ２を結ぶ直線と、基準点Ｆを通り特定点Ｔ１、Ｔ２を結ぶ直線に垂直に交わる垂線と、の交点を求める。そして、求めた交点から特定点Ｔ１までの距離を二分するＹ方向の位置を新たな基準点Ｆとする。求めた交点から特定点Ｔ１まで基準点ＦをＹ方向に移動させても基準点Ｆが定まらなかった場合は、求めた交点から特定点Ｔ２まで基準点ＦをＹ方向に移動させて同様の処理を行う。

【0085】

また、基準点ＦをＹ方向だけでなくＸ方向にも移動させて画角θが最大画角となる位置を探索し、調整後の基準点Ｆ１としてもよい。これにより、基準点Ｆが消失点に更に近づく。

【0086】

また、ＸＹ平面における原画像４０だけでなく、ＹＺ平面における原画像及びＺＸ平面における原画像が取得可能な場合は、ＸＹ平面における原画像４０については基準点ＦをＸ方向に移動させ、ＹＺ平面における原画像についてはＺ方向に基準点Ｆを移動させ、ＺＸ平面における原画像についてはＸ方向に基準点Ｆを移動させることにより、基準点Ｆの位置を三次元で調整するようにしてもよい。これにより、基準点Ｆが消失点に更に近づく。

【0087】

（第４実施形態）

【0088】

次に、第４実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、詳細な説明は省略する。情報処理装置３０の構成は、第１実施形態と同一であるので説明は省略する。

【0089】

図１８には、第４実施形態に係る情報処理のフローチャートを示した。図１８に示す情報処理は、図２に示す情報処理と比較して、ステップＳ１１５の処理が追加されている点が異なる。その他の処理は図２の情報処理と同一であるため説明は省略する。

【0090】

ステップＳ１１５では、ＣＰＵ３１Ａが、射影変換領域７０のサイズに応じて見本画像６０のサイズを調整する。例えば図１９に示すように、射影変換領域７０が比較的縦長の形状の場合には、見本画像６０を縦長に補正した見本画像６０Ｔを用いて射影変換領域７０に射影変換する。これにより、置換領域４４を置換した後の合成画像がより自然となる。

【0091】

具体的には、図２０に示すように、基準点Ｆと直線Ｌ１、Ｌ２とにより定まる画角θと、基準点Ｆから射影変換領域７０までのＸ方向の距離Ｄと、に基づいて見本画像６０を補正する際のＸ方向及びＹ方向の補正係数を決定し、決定した補正係数に基づいて見本画像６０を補正した見本画像６０Ｔを生成する。

【0092】

例えば、画角θが直角（９０度）の場合のＸ方向及びＹ方向の補正係数を「１．０」とし、画角θが大きくなるほどＹ方向の補正係数を大きくし、画角θが小さくなるほどＹ方向の補正係数を小さくする。

【0093】

また、基準点Ｆから射影変換領域７０までの距離Ｄが長くなるほどＸ方向の補正係数を小さくし、距離Ｄが短くなるほどＸ方向の補正係数を大きくする。

【0094】

そして、見本画像６０のＸ方向の長さがＸ方向の補正係数に対応した長さとなり、見本画像６０のＹ方向の長さがＹ方向の補正係数に対応した長さとなるように、見本画像６０を補正した見本画像６０Ｔを生成する。これにより、射影変換領域７０のサイズに応じた見本画像６０Ｔが得られる。

【0095】

そして、ステップＳ１１６では、サイズが補正された見本画像６０Ｔを射影変換領域７０に射影変換する。これにより、置換領域４４を置換した後の合成画像がより自然となる。

【0096】

以上、各実施形態を用いて本発明について説明したが、本発明は各実施形態に記載の範囲には限定されない。本発明の要旨を逸脱しない範囲で各実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。

【0097】

例えば、本実施形態では幾何変換として射影変換を用いた場合について説明したが、射影変換ではなくアフィン変換等の他の変換方法を用いても良い。

【0098】

本実施形態では、情報処理プログラム３５Ａが記憶部３５にインストールされている形態を説明したが、これに限定されるものではない。本実施形態に係る情報処理プログラム３５Ａを、コンピュータ読取可能な記憶媒体に記録した形態で提供してもよい。例えば、本実施形態に係る情報処理プログラム３５Ａを、ＣＤ(Compact Disc)－ＲＯＭ及びＤＶＤ(Digital Versatile Disc)－ＲＯＭ等の光ディスクに記録した形態、若しくはＵＳＢ(Universal Serial Bus)メモリ及びメモリカード等の半導体メモリに記録した形態で提供してもよい。また、本実施形態に係る情報処理プログラム３５Ａを、通信部３４に接続された通信回線を介して外部装置から取得するようにしてもよい。

【0099】

上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0100】

また上記実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【符号の説明】

【0101】

３０ 情報処理装置
３５ 記憶部
３５Ａ 情報処理プログラム
３５Ｂ 室内画像データベース
３５Ｃ 見本画像データベース
４０ 原画像
４４ 置換領域
５０ マスク画像
６０、６０Ｔ 見本画像
６０Ａ、６０Ｂ、６０Ｃ 追加見本画像
６２ 拡張見本画像
７０、７０Ａ 射影変換領域
８０ 射影変換画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】