特許 6570161 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6570161

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190826BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】9

【全頁数】24

(21)【出願番号】特願2019-523897(P2019-523897)

(86)(22)【出願日】2018年11月2日

(86)【国際出願番号】JP2018040919

【審査請求日】2019年5月7日

(31)【優先権主張番号】特願2017-213359(P2017-213359)

(32)【優先日】2017年11月4日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2018-44281(P2018-44281)

(32)【優先日】2018年3月12日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】516055402

【氏名又は名称】ナーブ株式会社

(74)【代理人】

【識別番号】100142734

【弁理士】

【氏名又は名称】安 裕 希

(72)【発明者】

【氏名】多田 英起

(72)【発明者】

【氏名】稲森 亮介

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００６−５３６９４（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１７１００５（ＷＯ，Ａ１）

【文献】 特開２０１５−１４２３２０（ＪＰ，Ａ）

【文献】 特開２０１７−１４６７６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ − ３／０４８９

Ｈ０４Ｎ １３／００ − １３／９８

(57)【特許請求の範囲】

【請求項1】

不動産物件が写った背景画像に対し、前記不動産物件に仮想的に配置されるオブジェクトの画像を合成する画像処理装置であって、
前記不動産物件の間取図上における前記オブジェクトの配置箇所を設定する配置設定部と、
前記不動産物件を撮影することにより背景画像として取得された天球画像によって囲まれる３次元グラフィックス空間において、前記間取図上における前記オブジェクトの配置箇所に対応する位置であるオブジェクト位置を推定する３Ｄ位置推定部と、
前記オブジェクト位置に前記オブジェクトの３次元モデルを配置することによって生じる影を生成する影生成部と、
前記３次元グラフィックス空間の中心を投影中心として、前記オブジェクト位置に配置された前記３次元モデルを前記背景画像と同じ天球面上に投影した像をレンダリングすることにより、第１のレイヤーを生成するオブジェクトレイヤー生成部と、
前記３次元グラフィックス空間の中心を投影中心として、前記影を前記天球面上に投影した像をレンダリングすることにより、第２のレイヤーを生成する影レイヤー生成部と、
前記背景画像に前記第２のレイヤー及び前記第１のレイヤーを合成する画像合成部と、
を備える画像処理装置。

【請求項2】

前記間取図の画像を表示する表示部と、
ユーザによりなされる操作を受け付ける操作入力部と、
をさらに備え、
前記配置設定部は、前記操作入力部が受け付けた、前記表示部に表示された前記間取図の画像に対する操作に基づいて、前記配置箇所を設定する、請求項１に記載の画像処理装置。

【請求項3】

前記影生成部は、前記背景画像に基づいて光源を設定し、該光源に基づいて前記３次元モデルの影を生成する、請求項１又は２に記載の画像処理装置。

【請求項4】

前記３Ｄ位置推定部は、前記間取図における各部の寸法に基づいて、前記オブジェクト位置を推定する、請求項１〜３のいずれか１項に記載の画像処理装置。

【請求項5】

前記３Ｄ位置推定部は、前記配置箇所の近傍に位置する被写体の距離及び寸法に基づいて、前記オブジェクト位置を推定する、請求項１〜３のいずれか１項に記載の画像処理装置。

【請求項6】

前記３Ｄ位置推定部は、前記背景画像から計測された被写体の距離及び寸法に基づいて撮影点を取得し、該撮影点に基づいて前記オブジェクト位置を推定する、請求項１〜３のいずれか１項に記載の画像処理装置。

【請求項7】

前記３Ｄ位置推定部は、実測された被写体の距離及び寸法に基づいて撮影点を取得し、該撮影点に基づいて前記オブジェクト位置を推定する、請求項１〜３のいずれか１項に記載の画像処理装置。

【請求項8】

不動産物件が写った背景画像に対し、前記不動産物件に仮想的に配置されるオブジェクトの画像を合成する画像処理方法であって、
前記不動産物件の間取図上における前記オブジェクトの配置箇所を設定するステップと、
前記不動産物件を撮影することにより背景画像として取得された天球画像によって囲まれる３次元グラフィックス空間において、前記間取図上における前記オブジェクトの配置箇所に対応する位置であるオブジェクト位置を推定するステップと、
前記オブジェクト位置に前記オブジェクトの３次元モデルを配置することによって生じる影を生成するステップと、
前記３次元グラフィックス空間の中心を投影中心として、前記オブジェクト位置に配置された前記３次元モデルを前記背景画像と同じ天球面上に投影した像をレンダリングすることにより、第１のレイヤーを生成するステップと、
前記３次元グラフィックス空間の中心を投影中心として、前記影を前記天球面上に投影した像をレンダリングすることにより、第２のレイヤーを生成するステップと、
前記背景画像に前記第２のレイヤー及び前記第１のレイヤーを合成するステップと、
を含む画像処理方法。

【請求項9】

不動産物件が写った背景画像に対し、前記不動産物件に仮想的に配置されるオブジェクトの画像を合成する画像処理プログラムであって、
前記不動産物件の間取図上における前記オブジェクトの配置箇所を設定するステップと、
前記不動産物件を撮影することにより背景画像として取得された天球画像によって囲まれる３次元グラフィックス空間において、前記間取図上における前記オブジェクトの配置箇所に対応する位置であるオブジェクト位置を推定するステップと、
前記オブジェクト位置に前記オブジェクトの３次元モデルを配置することによって生じる影を生成するステップと、
前記３次元グラフィックス空間の中心を投影中心として、前記オブジェクト位置に配置された前記３次元モデルを前記背景画像と同じ天球面上に投影した像をレンダリングすることにより、第１のレイヤーを生成するステップと、
前記３次元グラフィックス空間の中心を投影中心として、前記影を前記天球面上に投影した像をレンダリングすることにより、第２のレイヤーを生成するステップと、
前記背景画像に前記第２のレイヤー及び前記第１のレイヤーを合成するステップと、
をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体を撮影して得られた背景画像にオブジェクトの画像を合成する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

近年、不動産業界においては、売買取引の際に行われるホームステージングと呼ばれるサービスが知られるようになっている。ホームステージングとは、戸建てやマンション等の不動産物件の売却を促進するために、不動産物件に対してインテリアコーディネートを施すサービスのことである。具体的には、購入者のターゲット層や流行、物件の特徴などを考慮して選択された家具や調度品、小物などを配置する。購入希望者（検討中を含む）は、ホームステージングが適用された物件を内覧することで、当該物件に住んだ状態をイメージし易くなるため、売却が円滑に進み易いと言われている。

【0003】

他方、最近では、仮想現実（バーチャルリアリティ、以下ＶＲとも記す）技術を利用して不動産物件の内覧させるサービスも行われている。ＶＲの画像表示は、通常、ヘッドマウントディスプレイ（以下、「ＨＭＤ」とも記す）と呼ばれるメガネ型又はゴーグル型の表示装置において行われる。ＨＭＤには、視差が設けられた２つの画像が表示される画面と、ユーザの両眼の視線方向にそれぞれ設置された２つのレンズとが内蔵されており、ユーザは、これらのレンズを介して画面を見ることにより、画像を立体的に認識することができる。また、ＨＭＤにはジャイロセンサや加速度センサが内蔵されており、これらのセンサによって検出したユーザの頭部の動きに応じて、画面に表示される画像が変化する。それにより、ユーザは、あたかも立体的な画像の中に入り込んだような体験をすることができる。

【0004】

不動産物件のインテリアのシミュレーションに関する技術として、特許文献１には、間取図画像や室内撮影写真等を含む物件情報から不動産物件の３Ｄモデルを生成し、生成した３Ｄモデルを元にバーチャルリアリティでの室内の閲覧や、インテリアのシミュレーションなど行う技術が開示されている（特許文献１の段落００１５参照）。詳細には、事前準備された３Ｄ家具モデルのスケールを調整して、物件の３Ｄモデルに配置する（特許文献１の段落００７０参照）。

【0005】

また、実写の背景画像と三次元ＣＧオブジェクトとの合成画像データを生成する技術に関して、特許文献２には、２つ以上の視点からなる環境マップデータから周辺環境の三次元形状データを生成する周辺環境三次元形状データ生成手段と、周辺環境三次元形状データを光源として、仮想被写体を背景画像データに合成する仮想被写体合成手段と、を備える画像処理装置が開示されている。

【0006】

また、特許文献３には、前景用画像、当該前景用画像の背景となる背景用画像、当該背景用画像の奥行きを示す奥行き情報を記憶する記憶手段と、前景用画像の背景用画像上の合成位置を取得する合成位置取得手段と、背景用画像の奥行き情報から生成した空間の座標を背景用画像の座標に投影する投影手段と、投影手段による投影情報及び合成位置から合成位置の空間座標を取得する空間座標取得手段と、背景用画像を撮影した位置から見た光源の位置及び照度の情報を保持する光源パラメータ及び合成位置の空間座標から、光源と合成位置の空間座標との距離、又は合成位置の空間座標から見た光源の照度を算出する算出手段と、合成位置の空間座標及び算出した値に応じて、光源パラメータを変更する光源パラメータ変更手段と、光源パラメータを用いて、前景用画像にライティング効果を施すライティング手段と、ライティング手段によってライティング効果を施された前景用画像を、背景画像の合成位置に合成する合成手段と、を有する映像処理装置が開示されている。

【0007】

また、不動産業者向けのサービスとして、非特許物件１には、株式会社リコー製のデジタルカメラ（製品名：ＴＨＥＴＡ）を用いて不動産物件を撮影することにより３６０°画像（天球画像）し、ＶＲ用のコンテンツに加工して不動産業者に提供するサービスが開示されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特許第６１１６７４６号公報

【特許文献2】特開２０１３−１５２６８３号公報

【特許文献3】特開２０１３−１４９２１９号公報

【非特許文献】

【0009】

【非特許文献1】株式会社リコー、“撮影・オーサリングサービス ＴＨＥＴＡ３６０．ｂｉｚ”、［online］、［平成２９年１０月１７日検索］、インターネット＜ＵＲＬ： https://theta360.biz/ja/services/authoring/＞

【発明の概要】

【発明が解決しようとする課題】

【0010】

ＶＲにより利用可能なホームステージングのコンテンツを提供する手法として、不動産物件の３次元的な背景モデルに、家具等のオブジェクトの３次元モデルを配置する手法を用いる場合、３Ｄデータの構築（レンダリング）に多くの計算コストを要し時間がかかると共に、データを表示する際にも多くの計算コストを要する。そのため、高スペックな機材が必要となり、ホームステージングのコンテンツを手軽に利用することが困難となってしまう。

【0011】

ＶＲにより利用可能なホームステージングのコンテンツをより簡易的に作成する手法として、実在する被写体を写した２次元の背景画像に対し、３次元モデル（家具モデル）を合成することも考えられる。しかしながら、２次元の背景画像と３次元モデルとでは、コンピュータグラフィックス空間における位置が異なっているため、背景画像に対して家具が浮いているように見えたり、奥行きが異なって見えたりするなど、コンテンツを利用するユーザにとって違和感が生じ易く、２次元の背景画像に３次元モデルを自在に配置することは困難である。

【0012】

本発明は上記に鑑みてなされたものであって、２次元の背景画像に対し、家具等のオブジェクトの３次元モデルを自在に、且つ違和感なく合成することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

上記課題を解決するために、本発明の一態様である画像処理装置は、不動産物件が写った背景画像に対し、前記不動産物件に仮想的に配置されるオブジェクトの画像を合成する画像処理装置であって、前記不動産物件の間取図上における前記オブジェクトの配置箇所を設定する配置設定部と、前記不動産物件を撮影することにより背景画像として取得された天球画像によって囲まれる３次元グラフィックス空間において、前記間取図上における前記オブジェクトの配置箇所に対応する位置であるオブジェクト位置を推定する３Ｄ位置推定部と、前記オブジェクト位置に前記オブジェクトの３次元モデルを配置することによって生じる影を生成する影生成部と、前記３次元グラフィックス空間の中心を投影中心として、前記オブジェクト位置に配置された前記３次元モデルを前記背景画像と同じ天球面上に投影した像をレンダリングすることにより、第１のレイヤーを生成するオブジェクトレイヤー生成部と、前記３次元グラフィックス空間の中心を投影中心として、前記影を前記天球面上に投影した像をレンダリングすることにより、第２のレイヤーを生成する影レイヤー生成部と、前記背景画像に前記第２のレイヤー及び前記第１のレイヤーを合成する画像合成部と、を備えるものである。

【0014】

上記画像処理装置は、前記間取図の画像を表示する表示部と、ユーザによりなされる操作を受け付ける操作入力部と、をさらに備え、前記配置設定部は、前記操作入力部が受け付けた、前記表示部に表示された前記間取図の画像に対する操作に基づいて、前記配置箇所を設定しても良い。

【0015】

上記画像処理装置において、前記影生成部は、前記背景画像に基づいて光源を設定し、該光源に基づいて前記３次元モデルの影を生成しても良い。

【0016】

上記画像処理装置において、前記３Ｄ位置推定部は、前記間取図における各部の寸法に基づいて、前記オブジェクト位置を推定しても良い。

【0017】

上記画像処理装置において、前記３Ｄ位置推定部は、前記配置箇所の近傍に位置する被写体の距離及び寸法に基づいて、前記オブジェクト位置を推定しても良い。

【0018】

上記画像処理装置において、前記３Ｄ位置推定部は、前記背景画像から計測された被写体の距離及び寸法に基づいて撮影点を取得し、該撮影点に基づいて前記オブジェクト位置を推定しても良い。

【0019】

上記画像処理装置において、前記３Ｄ位置推定部は、実測された被写体の距離及び寸法に基づいて撮影点を取得し、該撮影点に基づいて前記オブジェクト位置を推定しても良い。

【0020】

本発明の別の態様である画像処理方法は、不動産物件が写った背景画像に対し、前記不動産物件に仮想的に配置されるオブジェクトの画像を合成する画像処理方法であって、前記不動産物件の間取図上における前記オブジェクトの配置箇所を設定するステップと、前記不動産物件を撮影することにより背景画像として取得された天球画像によって囲まれる３次元グラフィックス空間において、前記間取図上における前記オブジェクトの配置箇所に対応する位置であるオブジェクト位置を推定するステップと、前記オブジェクト位置に前記オブジェクトの３次元モデルを配置することによって生じる影を生成するステップと、前記３次元グラフィックス空間の中心を投影中心として、前記オブジェクト位置に配置された前記３次元モデルを前記背景画像と同じ天球面上に投影した像をレンダリングすることにより、第１のレイヤーを生成するステップと、前記３次元グラフィックス空間の中心を投影中心として、前記影を前記天球面上に投影した像をレンダリングすることにより、第２のレイヤーを生成するステップと、前記背景画像に前記第２のレイヤー及び前記第１のレイヤーを合成するステップと、を含むものである。

【0021】

本発明のさらに別の態様である画像処理プログラムは、不動産物件が写った背景画像に対し、前記不動産物件に仮想的に配置されるオブジェクトの画像を合成する画像処理プログラムであって、前記不動産物件の間取図上における前記オブジェクトの配置箇所を設定するステップと、前記不動産物件を撮影することにより背景画像として取得された天球画像によって囲まれる３次元グラフィックス空間において、前記間取図上における前記オブジェクトの配置箇所に対応する位置であるオブジェクト位置を推定するステップと、前記オブジェクト位置に前記オブジェクトの３次元モデルを配置することによって生じる影を生成するステップと、前記３次元グラフィックス空間の中心を投影中心として、前記オブジェクト位置に配置された前記３次元モデルを前記背景画像と同じ天球面上に投影した像をレンダリングすることにより、第１のレイヤーを生成するステップと、前記３次元グラフィックス空間の中心を投影中心として、前記影を前記天球面上に投影した像をレンダリングすることにより、第２のレイヤーを生成するステップと、前記背景画像に前記第２のレイヤー及び前記第１のレイヤーを合成するステップと、をコンピュータに実行させるものである。

【発明の効果】

【0022】

本発明によれば、間取図上におけるオブジェクトの配置箇所に対応する３次元グラフィックス空間におけるオブジェクト位置を推定し、このオブジェクト位置にオブジェクトの３次元モデルを配置した場合の３次元モデルの像及び３次元モデルの影の像をそれぞれレンダリングしたレイヤーを生成し、これらのレイヤーを背景画像に合成するので、２次元の背景画像に対し、家具等のオブジェクトの３次元モデルを自在に、且つ違和感なく合成することが可能となる。

【図面の簡単な説明】

【0023】

【図1】本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。

【図2A】図１に示す画像処理装置が実行する画像合成処理を説明するための模式図である。

【図2B】図１に示す画像処理装置が実行する画像合成処理を説明するための模式図である。

【図3】本発明の第１の実施形態に係る画像処理方法を示すフローチャートである。

【図4】背景画像の被写体の一例である不動産物件の間取図である

【図5】図３に示す位置推定処理を示すフローチャートである。

【図6】３Ｄモデルの位置推定処理を説明するための模式図である。

【図7】３Ｄモデルの位置推定処理を説明するための模式図である。

【図8】３Ｄモデルの位置推定処理を説明するための模式図である。

【図9】図３に示す画像処理を説明するための模式図である。

【図10】本発明の第２の実施形態における位置推定処理を示すフローチャートである。

【図11】背景画像の被写体の一例である不動産物件の間取図である。

【図12A】図１０に示す位置推定処理を説明するための模式図である。

【図12B】図１０に示す位置推定処理を説明するための模式図である。

【図13A】図１０に示す位置推定処理を説明するための模式図である。

【図13B】図１０に示す位置推定処理を説明するための模式図である。

【図14】本発明の第３の実施形態に係る画像処理方法を示すフローチャートである。

【図15】背景画像の被写体の一例である不動産物件の間取図である。

【図16】本発明の第３の実施形態における画像処理方法を説明するための模式図である。

【図17】本発明の第１〜第３の実施形態に係る画像処理装置が適用されるシステムの構成例を示すネットワーク図である。

【図18】本発明の第１〜第３の実施形態に係る画像処理装置が適用されるシステムの別の構成例を示す模式図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

【0025】

本発明の実施形態に係る画像処理装置は、不動産物件が写った天球画像を背景画像とし、この背景画像に対して、家具や調度品等のオブジェクトの３次元モデル（３Ｄモデル）の像を合成する画像処理を実行することにより、あたかも不動産物件に上記オブジェクトを配置して撮影を行ったかのような画像を生成するものである。

【0026】

背景画像として使用される天球画像は、３６０°画像、全天球画像、全方位画像などとも呼ばれ、撮影箇所の周囲ほぼ３６０°の被写体が写った画像のことである。背景画像（天球画像）は、静止画であっても良いし、動画であっても良い。

【0027】

本画像処理装置においては、仮想的に透明な床を背景画像上に配置し、この床に３Ｄモデルの影を投射することで、３Ｄモデルの実在感を高めている。また、背景画像を光源として３Ｄモデルをライティングすることで違和感を軽減している。

【0028】

ここで、不動産物件の背景を含めた画像全体を３次元ＣＧで構成するには、描画ごとにレンダリングが必要となり、この処理を実行するためには多くの計算コストがかかるため、高スペックな機材が必要であった。しかし、本実施形態に係る画像処理装置においては、２次元の背景画像に、仮想的に配置されるオブジェクトの３Ｄモデルを合成するため、計算コストはそれほどかからない。

【0029】

また、本画像処理装置においては、２次元の背景画像の射影に合わせて、オブジェクトの３Ｄモデルのデータをレンダリングするので、奥行きのズレがなく、違和感なく表示することができる。

【0030】

このようにして背景画像に３Ｄモデルを合成したコンテンツを提示することにより、不動産物件の購入や賃借を検討している顧客は、不動産物件における家具等のコーディネートを、画面上で納得いくまで試すことができる。従って、コストをそれほどかけることなく、不動産物件の購入や賃借の取引を促進することが可能となる。
以下、本発明の実施形態に係る画像処理装置について、詳細に説明する。

【0031】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。図２Ａ及び図２Ｂは、図１に示す画像処理装置が実行する画像合成処理を説明するための模式図である。このうち、図２Ａは、不動産物件の間取図を示す。また、図２Ｂは、該不動産物件のリビングルーム（図２Ａ参照）において撮影を行うことにより取得した背景画像（天球画像）に、ソファ及びローテーブル、タンス、並びに絵の３Ｄモデルを合成した画像の一部を示す。図２Ｂに示すように、ソファ及びローテーブル、タンス、並びに絵の各オブジェクトは、配置に応じた奥行き感が再現されているため、あたかもリビングルームに各オブジェクトを実際に配置して撮影を行ったかのように、背景画像に対して違和感なく表示されている。

【0032】

図１に示すように、画像処理装置１０は、通信インタフェース１１と、表示部１２と、操作入力部１３と、記憶部１４と、プロセッサ１５とを備える。このような画像処理装置１０としては、汎用のコンピュータを用いることができる。

【0033】

通信インタフェース１１は、画像処理装置１０を通信ネットワークに接続し、通信ネットワークに接続された他の機器との間で情報の送受信を行う。通信インタフェース１１は、例えばソフトモデム、ケーブルモデム、無線モデム、ＡＤＳＬモデム、ＯＮＵ（Optical Network Unit）等を用いて構成される。通信インタフェース１１は、全天球カメラにより生成された画像データや、３Ｄモデルのデータ等を当該画像処理装置１０に取り込むデータ取得部としても機能する。

【0034】

表示部１２は、液晶又は有機ＥＬ（エレクトロルミネッセンス）によって形成された表示パネル及び駆動部を含むディスプレイである。

【0035】

操作入力部１３は、操作ボタン、キーボード、マウス等のポインティングデバイス、表示部１２上に設けられたタッチセンサ等の入力デバイスであり、ユーザによりなされる操作を受け付け、該操作に応じた信号をプロセッサ１５に入力する。

【0036】

記憶部１４は、例えばＲＯＭやＲＡＭといった半導体メモリ等のコンピュータ読取可能な記憶媒体である。記憶部１４は、プログラム記憶部１４１と、背景画像データ記憶部１４２と、間取図データ記憶部１４３と、３Ｄデータ記憶部１４４と、合成画像データ記憶部１４５とを含み、オペレーティングシステムプログラム及びドライバプログラム、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータや画像データ等を記憶する。

【0037】

詳細には、プログラム記憶部１４１は、画像処理プログラム等の各種プログラムを記憶する。
背景画像データ記憶部１４２は、不動産物件を撮影することにより背景画像として取得された天球画像の画像データ（以下、背景画像データともいう）を記憶する。
間取図データ記憶部１４３は、不動産物件の間取図の画像データ（以下、間取図データともいう）を記憶する。

【0038】

３Ｄデータ記憶部１４４は、不動産物件に仮想的に配置される家具等のオブジェクトの３Ｄモデルを表すデータ（以下、３Ｄデータともいう）、及び、関連するパラメータ（例えば、テクスチャを表すパラメータ等）を記憶する。３Ｄデータは、当該画像処理装置１０において生成されたものであっても良いし、他の機器において生成されたものを通信ネットワークＮを介して取得したものであっても良い。

【0039】

合成画像データ記憶部１４５は、背景画像に対して３Ｄモデルの像を合成した合成画像の画像データ（以下、合成画像データともいう）を記憶する。

【0040】

プロセッサ１５は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いて構成され、プログラム記憶部１４１に記憶された各種プログラムを読み込むことにより、画像処理装置１０の各部を統括的に制御すると共に、不動産物件が写った背景画像に家具等のオブジェクトの画像を合成するための各種処理を実行する。詳細には、プロセッサ１５が画像処理プログラムを実行することにより実現される画像処理部１５０の機能には、配置設定部１５１と、３Ｄ位置推定部１５２と、オブジェクトレイヤー生成部１５３と、影生成部１５４と、影レイヤー生成部１５５と、画像合成部１５６とが含まれる。

【0041】

配置設定部１５１は、操作入力部１３から入力される信号に従って、不動産物件に仮想的に配置されるオブジェクトの間取図における配置箇所を設定する。

【0042】

３Ｄ位置推定部１５２は、天球状の背景画像によって囲まれ、撮影点を天球の中心点と対応づけた３次元グラフィックス空間（以下、３Ｄ空間ともいう）において、間取図におけるオブジェクトの配置箇所に対応する位置（以下、オブジェクト位置ともいう）を推定する。

【0043】

オブジェクトレイヤー生成部１５３は、オブジェクトの３Ｄモデルを３Ｄ空間内の上記オブジェクト位置に配置した場合に、３Ｄモデルを３Ｄ空間の中心から見た像を、背景画像と同じ天球面上に設けられるレイヤーにレンダリングする。即ち、３Ｄ空間の中心を投影中心として、３Ｄモデルを天球面上に投影した像を生成する。以下、３Ｄモデルの像がレンダリングされたレイヤーのことを、オブジェクトレイヤー（第１のレイヤー）という。

【0044】

影生成部１５４は、３Ｄ空間内の上記オブジェクト位置に配置された３Ｄモデルによって生じる影を生成する。詳細には、影生成部１５４は、背景画像に基づいて光源を設定するイメージベースドライティング（Image Based Lighting）処理を実行し、設定した光源に基づいて３Ｄモデルの影を生成する。イメージベースドライティングとは、実在する被写体を撮影した画像をライティングの色情報として使用し、シーンをレンダリングする手法のことである。

【0045】

影レイヤー生成部１５５は、影生成部１５４により生成された影を３Ｄ空間の中心から見た像を、背景画像と同じ天球面上に設けられるレイヤーにレンダリングする。即ち、３Ｄ空間の中心を投影中心として、３Ｄモデルの影を天球面上に投影した像を生成する。以下、影の像がレンダリングされたレイヤーのことを、影レイヤー（第２のレイヤー）という。

【0046】

画像合成部１５６は、背景画像に影レイヤー及びオブジェクトレイヤーをこの順に重畳することにより、背景画像にオブジェクトの３Ｄモデルの像が合成された合成画像を生成する。

【0047】

次に、本実施形態に係る画像処理方法を説明する。
本実施形態における画像処理の概要は以下のとおりである。即ち、合成対象の背景画像（天球画像）と、影用の透明な天球画像のレイヤー（影レイヤー）と、家具等のオブジェクトの３Ｄモデル用の透明な天球画像のレイヤー（オブジェクトレイヤー）との、計３層の天球画像を用意する。背景画像は、不動産物件の現場で全天球カメラなどを用いて撮影を行うことにより取得されたものである。なお、背景画像に重ねるレイヤーは上記２つのレイヤーに加え、適宜増やしても良い。

【0048】

次に、これらの天球画像によって囲まれる３次元グラフィックス空間（３Ｄ空間）内に、オブジェクトの３Ｄモデルを配置する。そして、３Ｄモデルに影をつけるため、イメージベーストライティングにより、背景画像に基づく光源を設定する。

【0049】

次に、３Ｄ空間の原点（天球の中心）に、天球画像をレンダリングするためのカメラを配置する。言い換えると、３Ｄ空間の中心から３Ｄモデルやその影を見る視点（投影中心）を設定する。

【0050】

次に、３Ｄ空間に３Ｄモデルを配置した場合に、背景画像に基づいて設定された光源により生じる影の像をレンダリングし、影レイヤーに貼り付ける。また、３Ｄ空間に３Ｄモデルを配置した場合の該３Ｄモデルの像をレンダリングし、オブジェクトレイヤーに貼り付ける。このような背景画像、影レイヤー、及びオブジェクトレイヤーを重畳することにより、背景画像にオブジェクトが違和感なく合成された合成画像を得ることができる。

【0051】

以下、このような画像処理について、具体例を示しながら詳細に説明する。図３は、本実施形態に係る画像処理方法を示すフローチャートである。図４は、背景画像の被写体の一例である不動産物件の間取図である。本実施形態においては、図４に示す間取図上の撮影点Ｐ₀に対応する位置に全天球カメラを設置して不動産物件内を撮影することにより、静止画又は動画の天球画像を生成し、この天球画像を背景画像として３Ｄモデルを合成するものとして説明する。

【0052】

まず、ステップＳ１０において、画像処理部１５０は、３Ｄモデルを合成するための背景画像を取得する。本実施形態において、画像処理部１５０は、背景画像データ記憶部１４２に記憶されている背景画像データを読み出すことにより背景画像を取得する。

【0053】

続くステップＳ１１において、画像処理部１５０は、背景画像に合成する３Ｄモデルを表すデータ（３Ｄデータ）を取得する。詳細には、画像処理部１５０は、３Ｄデータ記憶部１４４に３Ｄデータが格納されている３Ｄモデルを表す名称やアイコン等を表示部１２に表示させ、ユーザに所望の３Ｄモデルを選択させる。そして、画像処理部１５０は、ユーザによる操作に応じて操作入力部１３から入力された信号に従い、選択された３Ｄモデルを表す３Ｄデータを３Ｄデータ記憶部１４４から読み出す。

【0054】

続くステップＳ１２において、画像処理部１５０は、背景画像に合成する３Ｄモデルに関するパラメータを取得する。詳細には、３Ｄモデルの各座標を曲線や曲面等の関数で表示するためのパラメータや、テクスチャマッピング等の処理で用いられるパラメータなどを３Ｄデータ記憶部１４４から読み出す。

【0055】

続くステップＳ１３において、画像処理部１５０は、図４に示す間取図におけるオブジェクトの配置箇所に対応する３Ｄ空間における３Ｄモデルの位置を推定する。

【0056】

図５は、ステップＳ１３における位置推定処理を示すフローチャートである。また、図６〜図８は、３Ｄモデルの位置推定処理を説明するための模式図である。このうち、図６は、三脚に取り付けた全天球カメラ２０を床面上に設置した状態を示している。図７は、全天球カメラ２０により不動産物件を撮影することにより得られた背景画像Ｌ１を、天球の中心点Ｐ₀’を通る水平面でカットした状態を示している。図７に示す背景画像Ｌ１には、撮影点Ｐ₀（図４参照）に設置された全天球カメラ２０の視野に入る流し台、コンロ、壁、洋室のドア、和室の襖、浴室のドア、トイレのドア、玄関ドア等の像が写っている。図８は、同背景画像Ｌ１を、中心点Ｐ₀’を通る垂直面でカットした状態を示している。図８に示す背景画像Ｌ１には、全天球カメラ２０の視野に入る床面、壁、天井、玄関ドア等の像が写っている。

【0057】

本実施形態においては、不動産物件における各部（間取図に示す各部屋や備品等）の寸法及び撮影点Ｐ₀の座標（平面座標及び撮影点の高さ）が既知であり、これらの寸法及び座標に基づいて、３Ｄ空間における３Ｄモデルの位置を推定する。なお、図６に示すように、撮影点Ｐ₀の高さは、三脚を含めた全天球カメラ２０の高さｈとして取得することができる。

【0058】

まず、ステップＳ１３１において、配置設定部１５１は、間取図上でオブジェクトの配置を決定する。詳細には、配置設定部１５１は、不動産物件の間取図を表示部１２に表示させ、家具等のオブジェクトを配置したい場所を間取図上でユーザに指定させる。そして、配置設定部１５１は、ユーザによる操作に応じて操作入力部１３から入力された信号に従い、間取図におけるオブジェクトの位置情報（座標）を取得する。以下においては、図４に示す間取図上の点Ｐ₁が、ユーザ所望のオブジェクトの配置箇所として決定されたものとする。

【0059】

続くステップＳ１３２において、３Ｄ位置推定部１５２は、背景画像Ｌ１を撮影した際の撮影点Ｐ₀の位置を取得する。

【0060】

続くステップＳ１３３において、３Ｄ位置推定部１５２は、間取図に基づいて、背景画像Ｌ１によって囲まれる３Ｄ空間における３Ｄモデルの位置を導出する。詳細には、３Ｄ位置推定部１５２は、撮影点Ｐ₀を天球の中心点Ｐ₀’と対応づけた３Ｄ空間を作成し、間取図における各部の位置や寸法を３Ｄ空間の座標に対応づける。それにより、間取図における点Ｐ₁に対応する３Ｄ空間内の点Ｐ₁’の座標を取得することができる。
このようにして３Ｄモデルの位置が推定されると、処理はメインルーチンに戻る。

【0061】

再び図３を参照すると、ステップＳ１３に続くステップＳ１４において、画像処理部１５０は、ステップＳ１３において推定された３Ｄ空間の位置に３Ｄモデルを配置する。図９は、図３に示す画像処理を説明するための模式図であり、背景画像Ｌ１によって囲まれる３Ｄ空間にソファの３Ｄモデルａ１１を配置した状態を示している。

【0062】

続くステップＳ１５において、影生成部１５４は、光源及びマテリアルを設定する。詳細には、影生成部１５４は、背景画像Ｌ１に基づいて、イメージベースドライティングにおけるライトプローブ画像を生成すると共に、３Ｄモデルのマテリアル（表面の反射特性など）を設定する。ここで、ライトプローブ画像とは、全方位における入射照明条件を記録するハイダイナミックレンジ画像のことである。

【0063】

続くステップＳ１６において、影生成部１５４は、ステップＳ１５において設定された光源及びマテリアルに基づいて、３Ｄ空間に配置された３Ｄモデルの影を生成する。即ち、生成したライトプローブ画像を用いてレンダリングを行う。これにより、３Ｄ空間において３Ｄモデルを遮蔽物とした影が生成されると共に、３Ｄモデルの表面にも背景画像Ｌ１に基づくライティングがなされる。図９には、光源ａ１２により生じた３Ｄモデルａ１１の影ａ１３が示されている。

【0064】

続くステップＳ１７において、影レイヤー生成部１５５は、３Ｄモデルの影の像がレンダリングされた影レイヤーを生成する。詳細には、影レイヤー生成部１５５は、ステップＳ１６において生成された３Ｄモデルの影を、３Ｄ空間の中心点Ｐ₀’を投影中心として、背景画像と同じ天球面上に位置する影レイヤーＬ２に投影する。図９には、背景画像Ｌ１の上層の影レイヤーＬ２に、影ａ１３を投影した像の領域ａ１４が示されている。なお、影レイヤーＬ２のうち、像の領域ａ１４以外の領域は透明である。

【0065】

続くステップＳ１８において、オブジェクトレイヤー生成部１５３は、３Ｄモデルの像がレンダリングされたオブジェクトレイヤーを生成する。詳細には、オブジェクトレイヤー生成部１５３は、ステップＳ１４において３Ｄ空間に配置され、さらに、ステップＳ１６においてライティングされた３Ｄモデルを、３Ｄ空間の中心点Ｐ₀’を投影中心として、背景画像と同じ天球面上に位置するオブジェクトレイヤーＬ３に投影する。図９には、影レイヤーＬ２の上層のオブジェクトレイヤーＬ３に、３Ｄモデルａ１１を投影した像の領域ａ１５が示されている。なお、オブジェクトレイヤーＬ３のうち、像の領域ａ１５以外の領域は透明である。

【0066】

続くステップＳ１９において、画像合成部１５６は、背景画像Ｌ１、影レイヤーＬ２、及び、オブジェクトレイヤーＬ３をこの順に重畳した合成画像を生成する。それにより、背景画像におけるユーザ所望の位置に３Ｄモデルの像が合成された画像が得られる。

【0067】

このように生成された合成画像は、天球面を展開したパノラマ画像として表示しても良いし、ＶＲ用のコンテンツとして表示しても良い。

【0068】

以上説明したように、本発明の第１の実施形態によれば、背景画像として取得された天球画像によって囲まれる３Ｄ空間において、間取図上で指定されたユーザ所望のオブジェクトの配置箇所に対応する位置を推定し、この位置にオブジェクトの３Ｄモデルを配置して、３Ｄモデルの像を天球面にレンダリングするので、背景画像に対してオブジェクトを自在に、且つ、位置やサイズの不整合を生じさせることなく配置することができる。

【0069】

また、本発明の第１の実施形態によれば、背景画像に基づいて設定された光源により、３Ｄモデルの影を生成し、この影の像を天球面にレンダリングするので、違和感のない合成画像を生成することができる。

【0070】

さらに、本発明の第１の実施形態によれば、背景画像に基づいて設定された光源により３Ｄモデルをライティングするので、よりリアルな合成画像を生成することができる。

【0071】

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
本発明の第２の実施形態に係る画像処理装置の構成は全体として第１の実施形態（図１参照）と同様であり、３Ｄ位置推定部１５２が実行する３Ｄモデルの位置推定処理（図３のステップＳ１３参照）が第１の実施形態と異なる。

【0072】

図１０は、本発明の第２の実施形態における位置推定処理を示すフローチャートである。図１１は、背景画像の被写体の一例である不動産物件の間取図である。図１２Ａ〜図１３Ｂは、本実施形態における位置推定処理を説明するための模式図である。このうち、図１２Ａは、全天球カメラ２０により不動産物件を撮影している様子を示す側面図であり、図１２Ｂは、該撮影によって得られた背景画像Ｌ１を、中心点Ｐ₀’を通る垂直面でカットした状態を示している。図１３Ａは、全天球カメラ２０により撮影を行っている様子を示す上面図であり、図１３Ｂは、背景画像Ｌ１を、中心点Ｐ₀’を通る水平面でカットした状態を示している。

【0073】

本実施形態においては、不動産物件の各部の寸法や撮影点Ｐ₀の平面座標が不明である場合における位置推定処理を説明する。この場合、以下に説明するように、ユーザ所望のオブジェクトの配置箇所の近傍に位置する家具や設備等の被写体を参照し、この被写体の寸法に基づいて、オブジェクト位置を推定する。以下、参照用に用いる被写体のことを参照オブジェクトという。

【0074】

まず、ステップＳ２３１において、配置設定部１５１は、間取図上でオブジェクトの配置を決定する。オブジェクトの配置の決定処理は、第１の実施形態と同様である（図５のステップＳ１３１参照）。以下においては、図１１に示す間取図上の点Ｐ₂が、オブジェクトの配置箇所として決定されたものとする。

【0075】

続くステップＳ２３２において、３Ｄ位置推定部１５２は、間取図におけるオブジェクトの配置箇所の近傍にある被写体を参照オブジェクトとして選択する。以下においては、図１１に示す流し台が参照オブジェクト２１として選択されたものとする。

【0076】

続くステップＳ２３３において、３Ｄ位置推定部１５２は、背景画像Ｌ１に写った参照オブジェクト２１がいっぱいに収まる視野領域の垂直画角及び水平画角を取得する。詳細には、図１２Ｂ及び図１３Ｂに示すように、参照オブジェクト２１が写った領域ａ２１を背景画像Ｌ１から抽出し、垂直画角α及び水平画角βを測定する。垂直画角αについては、床面から全天球カメラ２０までの高さｈに相当する領域を測定する。

【0077】

続くステップＳ２３４において、３Ｄ位置推定部１５２は、背景画像Ｌ１によって囲まれ、間取図における撮影点Ｐ₀を天球の中心点Ｐ₀’に対応づけた３Ｄ空間を生成する。

【0078】

続くステップＳ２３５において、３Ｄ位置推定部１５２は、３Ｄ空間における参照オブジェクト２１の位置を推定する。なお、参照オブジェクト２１の位置は、例えば参照オブジェクト２１の中心点や撮影点Ｐ₀から最短距離の点などの代表点によって表すことができる。具体例として、図１２Ａ及び図１２Ｂに示すように、垂直画角αと撮影点Ｐ₀の高さｈとから、次式（１）により、撮影点Ｐ₀から参照オブジェクト２１の代表点までの距離ｄ₁を算出することができる。
ｄ₁＝ｈ／ｔａｎα …（１）

【0079】

また、図１３Ａ及び図１３Ｂに示すように、水平画角βと距離ｄ₁とから、水平方向における参照オブジェクト２１の位置を算出することができる。例えば、ある基準位置（例えば全天球カメラ２０の正面のライン）から参照オブジェクト２１の代表点までの距離ｘ₄は、次式（２）により求めることができる。
ｘ₄＝ｄ₁・ｓｉｎ（β／２） …（２）

【0080】

続くステップＳ２３６において、３Ｄ位置推定部１５２は、３Ｄ空間における３Ｄモデルの位置を導出する。例えば、図１１に示すように、参照オブジェクト２１（流し台）にオブジェクトを並べるとした場合、３Ｄ空間においても、ステップＳ２３５において推定された参照オブジェクト２１の位置の近傍（例えば、距離ｘ₄だけずらした位置）に３Ｄモデルを配置すれば良い。
その後、処理はメインルーチンに戻る。

【0081】

以上説明したように、本発明の第２の実施形態によれば、撮影点Ｐ₀の座標が不明の場合であっても、撮影点Ｐ₀の高さｈさえ既知であれば、３Ｄ空間おける３Ｄモデルの位置を推定することが可能となる。

【0082】

ここで、ＡＲのように、リアルタイムに撮影中の画像に３Ｄモデルを重ねる場合、撮影点の位置が既知であるため、３Ｄ空間における３Ｄモデルの位置を比較的容易に推定することができる。しかしながら、本実施形態によれば、撮影点の位置が不明な背景画像を用いる場合であっても、３Ｄ空間における３Ｄモデルの位置を適切に設定することが可能となる。

【0083】

なお、上記実施形態においては、不動産物件に備えられた家具や設備を参照オブジェクトとして用いることとしたが、その代わりに、予め寸法がわかっているマーカーを参照オブジェクトとして不動産物件内に配置し、撮影を行っても良い。この場合、３Ｄ空間における参照オブジェクトの位置をより簡単に推定することができる。

【0084】

（第３の実施形態）
次に、第３の実施形態について説明する。
本発明の第３の実施形態に係る画像処理装置の構成は全体として第１の実施形態（図１参照）と同様であり、３Ｄ位置推定部１５２が実行する３Ｄモデルの位置推定処理が、第１の実施形態と異なる。

【0085】

図１４は、本実施形態に係る画像処理方法を示すフローチャートである。図１５は、背景画像の被写体の一例である不動産物件の間取図である。図１６は、背景画像の一例を示す模式図であり、中心点Ｐ₀’を通る水平面で背景画像Ｌ１をカットした状態を示している。本実施形態においては、不動産物件に配置された家具や内装などの被写体の距離（奥行き）や寸法の計測値に基づいて、不動産物件における撮影点Ｐ₀を特定し、オブジェクト位置を推定する。

【0086】

まず、ステップＳ３０において、画像処理部１５０は、３Ｄモデルを合成するための背景画像を取得する。

【0087】

続くステップＳ３１において、画像処理部１５０は、背景画像Ｌ１に基づき、撮影点Ｐ₀から複数箇所の被写体までの距離及び被写体の寸法を計測し、計測データを保存する。被写体の距離及び寸法の計測方法は、上記第２の実施形態において説明したものと同様である（図１２Ａ〜図１３Ｂ参照）。距離及び寸法を計測する被写体の数は任意であるが、一例として、３箇所の被写体までの距離を計測することにより、水平面における撮影点Ｐ₀の座標を特定することができる。

【0088】

続くステップＳ３２において、画像処理部１５０は、被写体の計測データを背景画像と関連づける。図１６は、ステップＳ３１において計測された距離ｄ₃₁〜ｄ₃₈や、水平面における寸法ｘ₃₁、ｘ₃₂、ｙ₃₁、ｙ₃₂が、背景画像Ｌ１と関連付けられた状態を示している。垂直面における寸法についても同様に、背景画像に関連付けられる。

【0089】

続くステップＳ３３において、画像処理部１５０は、背景画像Ｌ１に合成する３Ｄモデルを表す３Ｄデータを取得する。また、ステップＳ３４において、画像処理部１５０は、背景画像Ｌ１に合成する３Ｄモデルに関するパラメータを取得する。ステップＳ３３、３４の処理は、それぞれ、図３に示すステップＳ１１、Ｓ１２と同様である。

【0090】

続くステップＳ３５において、画像処理部１５０は、間取図上でオブジェクトの配置を決定する。オブジェクトの配置の決定処理は、第１の実施形態と同様である（図５のステップＳ１３１参照）。以下においては、図１５に示す間取図上の点Ｐ₃が、オブジェクトの配置箇所として決定されたものとする。

【0091】

続くステップＳ３６において、画像処理部１５０は、背景画像Ｌ１を撮影した際の撮影点Ｐ₀の位置を取得する。詳細には、３Ｄ位置推定部１５２が、ステップＳ３１において計測された距離から（図１５参照）、間取図における撮影点Ｐ₀の座標を算出する。

【0092】

続くステップＳ３７において、画像処理部１５０は、背景画像Ｌ１に関連付けられた計測データに基づいて、背景画像Ｌ１によって囲まれ、間取図における撮影点Ｐ₀を天球の中心点Ｐ₀’に対応づけた３Ｄ空間を生成する。

【0093】

続くステップＳ３８において、画像処理部１５０は、ステップＳ３５において決定されたオブジェクトの配置に基づいて、３Ｄ空間に３Ｄモデルを配置する。詳細には、３Ｄ位置推定部１５２が、間取図における撮影点Ｐ₀に対するオブジェクトの配置箇所（点Ｐ₃）の座標を算出し、この配置箇所に対応する３Ｄ空間内の位置（図１６の点Ｐ₃’）を推定し、この位置に３Ｄモデルを配置する。

【0094】

続くステップＳ３９〜Ｓ４３における処理は、それぞれ、図３に示すステップＳ１５〜Ｓ１９と同様である。

【0095】

以上説明したように、本発明の第３の実施形態によれば、複数箇所の被写体の距離及び寸法を計測するので、間取図における撮影点Ｐ₀を精度良く求めることができる。従って、間取図上で決定されたオブジェクトの配置箇所に対応する３Ｄ空間内の位置をより精度良く推定することができる。

【0096】

次に、本発明の第３の実施形態の変形例について説明する。
上記第３の実施形態においては、被写体の距離及び寸法を背景画像から計測することとしたが（ステップＳ３１参照）、距離及び寸法を撮影時に実測しても良い。詳細には、全天球カメラやスマートフォンに、距離計測用の補助ツールを取り付け、或いは、専用のアプリケーションを実行させて不動産物件の撮影を行うことにより、被写体まで距離や被写体の寸法を実測し、実測データを画像データに関連付けて保存しておく。この場合、不動産物件に対応する３Ｄ空間をより正確に再現することが可能となる。

【0097】

以上説明した第１〜第３の実施形態においては、イメージベースドライティングにより背景画像に基づいて光源を設定したが、光源を設定する手法はこれに限定されず、公知の種々の手法を適用することができる。例えば、背景画像に写った光源（窓、照明装置等）を３Ｄ空間内に光源オブジェクトとして配置し、大域照明計算（ラジオシティ法、フォトンマッピング法等）を行うことにより、３Ｄモデルの影を生成しても良い。

【0098】

図１７は、本発明の第１〜第３の実施形態に係る画像処理装置が適用されるシステムの構成例を示すネットワーク図である。図１７に示すシステム１は、画像処理装置（サーバ）３０と、不動産管理端末３１と、オブジェクト管理端末３２と、画像表示端末３３とを備え、これらの機器が通信ネットワークＮを介して接続されている。通信ネットワークＮとしては、例えばインターネット回線や電話回線、ＬＡＮ、専用線、移動体通信網、ＷｉＦｉ（Wireless Fidelity）、ブルートゥース（登録商標）等の通信回線、又はこれらの組み合わせが用いられる。通信ネットワークＮは、有線、無線、又はこれらの組み合わせのいずれであっても良い。

【0099】

画像処理装置３０は、演算処理能力の高いホストコンピュータによって構成され、システム１を統括的に管理するサーバとして機能すると共に、上記第１〜第３の実施形態において説明した画像処理を実行する。画像処理装置３０を構成するコンピュータは、必ずしも１台である必要はなく、通信ネットワークＮ上に分散する複数のコンピュータから構成されてもよい。

【0100】

不動産管理端末３１は、不動産賃貸物件や不動産売買物件に関する情報を管理する。詳細には、不動産管理端末３１は、不動産物件の所在地、所有者、賃貸又は売買条件といった取引に関する情報の他、不動産物件に関する画像データ（間取図データ及び背景画像データ）を格納する。間取図データ及び背景画像データは、不動産管理端末３１から画像処理装置３０にアップロードされ、画像処理に用いられる。

【0101】

オブジェクト管理端末３２は、背景画像に合成される家具等のオブジェクトに関する情報、即ち、オブジェクトを表す３Ｄモデルのデータ及びパラメータや、設定ファイルを作成すると共に、格納する。これらの情報は、オブジェクト管理端末３２から画像処理装置３０にアップロードされ、画像処理に用いられる。

【0102】

画像表示端末３３は、画像処理装置３０により合成された画像を表示し、ユーザに閲覧させるための端末装置である。画像表示端末３３は、２次元の静止画又は動画を表示することにより、３次元的な仮想空間（ＶＲ）をユーザに認識させる。画像表示端末３３としては、ユーザの頭部に直接装着して用いられるゴーグル型の専用装置（所謂ヘッドマウントディスプレイ（ＨＭＤ））を用いても良いし、汎用のスマートフォンに専用のアプリケーションをインストールしたものをゴーグル型のホルダーに取り付けて用いても良い。

【0103】

画像表示端末３３の内部には、ユーザの左右の眼に対応する位置に２つのレンズがそれぞれ取り付けられている。ＶＲを再生する際には、画面に設けられた左右の２つの領域に、視差が設けられた２つの画像をそれぞれ表示させる。ユーザは、２つのレンズを通して左右の眼で２つの画像をそれぞれ見ることにより、画像を３次元的に認識（立体視）することができる。

【0104】

もちろん、画像表示端末３３としては、ＨＭＤに限定されず、タブレット端末や据置き型のディスプレイを用いても良い。この場合、背景画像に家具等のオブジェクトの３次元モデルを合成した画像を、パノラマ画像として表示しても良い。

【0105】

このようなシステム１において、画像処理装置３０は、不動産管理端末３１からアップロードされた背景画像の画像データと、オブジェクト管理端末３２からアップロードされた３Ｄモデルのデータ等とを用いて、背景画像に３Ｄモデルが合成された合成画像を生成し、合成画像の画像データを画像表示端末３３に送信する。それにより、画像表示端末３３に合成画像を表示させることができる。

【0106】

なお、システム１においては、通信ネットワークＮに種々の端末装置をさらに接続しても良い。例えば、ユーザに背景画像やこれに合成するオブジェクトを選択させたり、間取図におけるオブジェクトの配置箇所を指定させたりするために用いられる端末装置を別途設けても良い。また、画像表示端末３３を複数設け、これらの画像表示端末３３において同じコンテンツを同時に鑑賞できるようにしても良い。

【0107】

図１８は、本発明の第１〜第３の実施形態に係る画像処理装置が適用されるシステムの別の構成例を示す模式図である。図１８において、太字の実線の矢印はダウンロードされるデータの流れを表し、破線の矢印はアップロードされるデータの流れを表す。

【0108】

図１８に示すシステム２は、画像処理装置（エディタ）４０と、画像管理サーバ４１と、オブジェクト管理装置４２と、コンバータ４３と、サービス管理装置４４と、画像表示端末４５とを備える。これらの各機器は、通信ネットワークを介して互いに接続されている。

【0109】

画像処理装置（エディタ）４０は、第１〜第３の実施形態において説明した画像処理を実行することにより、背景画像を加工したり編集したりするエディタとして機能する。
画像管理サーバ４１は、システム２において用いられる画像を管理する。

【0110】

オブジェクト管理装置４２は、家具や調度品等のオブジェクトの３Ｄモデルを表すデータ及びテクスチャ等の関連情報（以下、これらをまとめて３Ｄファイルという）、並びに、家具等の配置情報が記述された設定ファイルを作成し又は外部から取り込んで格納する。なお、図１８に示す「ＦＢＸ」とは、３Ｄモデルを表すデータのファイル形式の一例である。ただし、本システムにおいて使用可能なファイル形式はこれに限定されない。

【0111】

コンバータ４３は、３Ｄモデルを表すデータを、画像処理装置４０に読み込み可能であり、且つ、テクスチャ等の関連情報とまとめたファイルに変換する。

【0112】

サービス管理装置４４は、間取図データや背景画像データを格納する記憶部を備えると共に、間取図や背景画像を表示可能な画面を備え、間取図を画面に表示して家具等のオブジェクトの配置箇所をユーザに指定させたり、背景画像４４ａやオブジェクトの３Ｄモデルが合成された合成画像４４ｂを画面に表示してユーザに提示したりするために用いられる。

【0113】

画像表示端末４５の構成は図１７に示す画像表示端末３３と同様であり、３Ｄモデルが背景画像に合成された合成画像をＶＲとしてユーザに閲覧させる際に用いられる。

【0114】

このようなシステム２においては、まず、オブジェクト管理装置４２が、家具等のオブジェクトの３Ｄモデルのデータを画像管理サーバ４１にアップロードする。コンバータ４３は、３Ｄモデルのデータを画像管理サーバ４１からダウンロードし、３Ｄモデルやテクスチャ等をまとめたファイルに変換して、画像管理サーバ４１にアップロードする。画像処理装置４０は、このように変換されたファイルを画像管理サーバ４１からダウンロードすると共に、設定ファイルをオブジェクト管理装置４２からダウンロードし、さらに、背景画像データをサービス管理装置４４からダウンロードする。そして、画像処理装置４０は、３Ｄモデルを背景画像に合成するための各処理（照明の設定、マテリアルの調整など）を行い、作成した合成画像データのファイルを、サービス管理装置４４にアップロードする。画像表示端末４５は、合成画像データのファイルをサービス管理装置４４からダウンロードし、該ファイルに基づいて合成画像、即ち、ホームステージングのコンテンツを再生する。

【0115】

本発明は、上記第１〜第３の実施形態及び変形例に限定されるものではなく、上記第１〜第３の実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記第１〜第３の実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記第１〜第３の実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。

【符号の説明】

【0116】

１、２ システム
１０ 画像処理装置
１１ 通信インタフェース
１２ 表示部
１３ 操作入力部
１４ 記憶部
１５ プロセッサ
２０ 全天球カメラ
２１ 参照オブジェクト
３０ 画像処理装置（サーバ）
３１ 不動産管理端末
３２ オブジェクト管理端末
３３ 画像表示端末
４０ 画像処理装置（エディタ）
４１ 画像管理サーバ
４２ オブジェクト管理装置
４３ コンバータ
４４ サービス管理装置
４５ 画像表示端末
１４１ プログラム記憶部
１４２ 背景画像データ記憶部
１４３ 間取図データ記憶部
１４４ ３Ｄデータ記憶部
１４５ 合成画像データ記憶部
１５０ 画像処理部
１５１ 配置設定部
１５２ ３Ｄ位置推定部
１５３ オブジェクトレイヤー生成部
１５４ 影生成部
１５５ 影レイヤー生成部
１５６ 画像合成部

【要約】

２次元の背景画像に対し、家具等のオブジェクトの３Ｄモデルを自在に且つ違和感なく合成することができる画像処理装置等を提供する。画像処理装置は、不動産物件の間取図上におけるオブジェクトの配置箇所を設定する配置設定部と、背景画像として取得された天球画像によって囲まれる３Ｄ空間において、間取図上のオブジェクトの配置箇所に対応するオブジェクト位置を推定する３Ｄ位置推定部と、オブジェクト位置に３Ｄモデルを配置することにより生じる影を生成する影生成部と、３Ｄ空間の中心を投影中心として３Ｄモデルを背景画像と同じ天球面上に投影した像をレンダリングした第１のレイヤーを生成するオブジェクトレイヤー生成部と、３Ｄ空間の中心を投影中心として上記影を天球面上に投影した像をレンダリングした第２のレイヤーを生成する影レイヤー生成部と、背景画像に第２及び第１のレイヤーを合成する画像合成部とを備える。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13A】

【図13B】

【図14】

【図15】

【図16】

【図17】

【図18】