特許 6991352 表示装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-09

(45)【発行日】2022-01-12

(54)【発明の名称】表示装置、方法およびプログラム

(51)【国際特許分類】

   G06T 19/20 20110101AFI20220104BHJP

   G06F 3/04845 20220101ALI20220104BHJP

   G06F 3/04815 20220101ALI20220104BHJP

   G06Q 50/10 20120101ALI20220104BHJP

【ＦＩ】

G06T19/20

G06F3/0484 150

G06F3/0481 150

G06Q50/10

【請求項の数】 15

(21)【出願番号】P 2020546723

(86)(22)【出願日】2019-07-11

(86)【国際出願番号】 JP2019027466

(87)【国際公開番号】W WO2020054203

(87)【国際公開日】2020-03-19

【審査請求日】2021-02-10

(31)【優先権主張番号】P 2018168944

(32)【優先日】2018-09-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】板垣 和幸

(72)【発明者】

【氏名】狩野 喬俊

(72)【発明者】

【氏名】大関 誠

(72)【発明者】

【氏名】林 伸治

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１５－８０１９９（ＪＰ，Ａ）

【文献】特開２０１６－１９７３４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００ － １９／２０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９

Ｇ０６Ｑ ５０／１０

(57)【特許請求の範囲】

【請求項1】

部屋の内部を撮影した画像を取得する画像取得部と、

前記画像取得部の取得した画像から部屋の空間情報を計測する計測部と、

前記部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させる配置検討物品選択部と、

前記画像と前記空間情報とに基づき、前記部屋の内部を仮想的に表現した空間である仮想部屋空間と、前記部屋に配置されている１以上の物品を仮想的に表現した仮想実空間オブジェクトと、前記配置検討物品選択部によってユーザに選択させた配置検討物品を前記仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成する生成部と、

前記仮想部屋空間における前記仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、前記仮想部屋空間における前記仮想実空間オブジェクトの配置を決定する配置部と、

前記配置部によって前記仮想実空間オブジェクトと前記仮想配置検討物品オブジェクトとが配置された前記仮想部屋空間を表示部に表示する表示制御部と、

を備え、

前記配置部は、前記部屋に配置されている前記１以上の物品の前記部屋における位置に対応する前記仮想部屋空間の位置である仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置しても前記仮想配置検討物品オブジェクトの最適な配置を妨げない場合、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置し、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想実空間オブジェクト初期位置から移動させる表示装置。

【請求項2】

前記配置部は、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想部屋空間の外へ移動させる請求項１に記載の表示装置。

【請求項3】

前記表示制御部は、前記仮想実空間オブジェクトが前記仮想部屋空間の外へ移動した場合、移動した前記仮想実空間オブジェクトを前記表示部に表示させない請求項２に記載の表示装置。

【請求項4】

前記配置部は、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想部屋空間内において移動させる請求項１に記載の表示装置。

【請求項5】

前記表示制御部は、前記表示部の表示した前記仮想部屋空間における前記仮想実空間オブジェクトを、前記仮想配置検討物品オブジェクトの表示位置を除く前記ユーザが任意に指示した位置に表示させ、かつ、前記ユーザが任意に指示した位置が前記仮想部屋空間の外である場合、前記仮想実空間オブジェクトを前記表示部に表示させない請求項１～４のいずれか１項に記載の表示装置。

【請求項6】

前記配置検討物品選択部がユーザに配置検討物品を選択させるため１以上の物品に関する情報を記憶した物品データベースを備え、

前記配置検討物品選択部は、前記物品データベースに記憶された１以上の物品の情報の中から任意の１以上の物品の情報をユーザに選択させる請求項１～５のいずれか１項に記載の表示装置。

【請求項7】

前記物品に関する情報は、前記仮想部屋空間における物品の最適なレイアウトに関する情報を含み、

前記表示制御部は、ユーザに選択させた配置検討物品の最適なレイアウトに関する情報に基づき、前記仮想部屋空間における仮想配置検討物品オブジェクト初期位置を決定し、前記仮想配置検討物品オブジェクト初期位置に表示する請求項６に記載の表示装置。

【請求項8】

前記物品データベースは、１以上の配置検討物品に対応する仮想配置検討物品オブジェクトを記憶し、

前記生成部は、前記ユーザに選択された配置検討物品に対応する仮想配置検討物品オブジェクトを前記物品データベースから抽出することにより、前記仮想配置検討物品オブジェクトを生成する請求項６または７に記載の表示装置。

【請求項9】

前記生成部は、前記画像に含まれる１以上の物品の被写体像に基づいて前記部屋に配置されている１以上の物品に対応する仮想実空間オブジェクトを生成する請求項１～８のいずれか１項に記載の表示装置。

【請求項10】

１以上の物品に対応する仮想実空間オブジェクトを記憶するオブジェクトデータベースを備え、

前記生成部は、前記部屋に配置されている１以上の物品に対応する仮想実空間オブジェクトを前記オブジェクトデータベースから抽出することにより、前記仮想実空間オブジェクトを生成する請求項１～９のいずれか１項に記載の表示装置。

【請求項11】

前記仮想部屋空間は、壁、床および天井を含む請求項１～１０のいずれか１項に記載の表示装置。

【請求項12】

前記部屋に配置されている１以上の物品は、窓、カーテンおよび家具のうち少なくとも１つを含む請求項１～１１のいずれか１項に記載の表示装置。

【請求項13】

前記配置検討物品は電子商取引により購入可能な商品を含む請求項１～１２のいずれか１項に記載の表示装置。

【請求項14】

コンピュータが、

部屋の内部を撮影した画像を取得するステップと、

前記取得した画像から部屋の空間情報を計測するステップと、

前記部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させるステップと、

前記画像と前記空間情報とに基づき、前記部屋の内部を仮想的に表現した空間である仮想部屋空間と、前記部屋に配置されている１以上の物品を仮想的に表現した仮想実空間オブジェクトと、前記ユーザに選択させた配置検討物品を前記仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成するステップと、

前記仮想部屋空間における前記仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、前記仮想部屋空間における前記仮想実空間オブジェクトの配置を決定するステップと、

前記仮想実空間オブジェクトと前記仮想配置検討物品オブジェクトとが配置された前記仮想部屋空間を表示するステップと、を実行する表示方法であって、

前記部屋に配置されている前記１以上の物品の前記部屋における位置に対応する前記仮想部屋空間の位置である仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置しても前記仮想配置検討物品オブジェクトの最適な配置を妨げない場合、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置し、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想実空間オブジェクト初期位置から移動させる

表示方法。

【請求項15】

請求項１４に記載の表示方法をコンピュータに実行させるための表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は表示装置、方法およびプログラムに関し、特に、部屋空間内に仮想的に物品を配置した状態をユーザに提示するための表示装置、方法およびプログラムに関する。

【背景技術】

【0002】

従来、部屋空間内に家具などの物品を仮想的に配置してユーザに提示する技術が存在する。

【0003】

特許文献１には、部屋内を三次元測定して三次元モデル化した仮想空間を生成する点、仮想空間に家具などの他の物品を配置するレイアウトシミュレーションをしてもよいことが記載されている。

【0004】

特許文献２には、家庭内に存在しない機器を購入予定機器として選択する点、バーチャルホーム画面に購入機器の候補の位置をユーザがマウスで好きな位置に動かすことができる点が記載されている。

【0005】

特許文献３には、仮想部屋にある家具をイメージキャプチャのようなフォト・リアリスティックな描写とするか、あるいはそれに類似する描写とすること、その描写に装置のアクティブ/非アクティブ状態を含めることが記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開2015-165420号公報

【文献】特開2003-085356号公報

【文献】特表2017-519259号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

家具、家電、インテリアなど、室内に置く物品の購入を検討する際に、これらの物品を示す仮想的なオブジェクトを、仮想的な室内空間に配置してユーザに提示することにより、物品を部屋に配置したときの雰囲気もしくは調和性の有無、または、部屋のサイズもしくはスペースへの適合の有無をユーザが予め確認することができる。

【0008】

しかしながら、従来技術では、現実に室内に配置されているオブジェクトによって、購入検討物品の配置スペースの確保が阻害され、購入検討物品が持つ本来の魅力または価値を最大化させる配置を提案することができない。

【0009】

本発明はこのような問題点に鑑みてなされ、現実に室内に配置されているオブジェクトによる配置検討物品のレイアウトの制限を仮想空間内において排除することにより、当該配置検討物品の魅力または価値をユーザに提案することのできる表示装置、方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の第１の態様に係る表示装置は、部屋の内部を撮影した画像を取得する画像取得部と、画像取得部の取得した画像から部屋の空間情報を計測する計測部と、部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させる配置検討物品選択部と、画像と空間情報とに基づき、部屋の内部を仮想的に表現した空間である仮想部屋空間と、部屋に配置されている１以上の物品を仮想的に表現した仮想実空間オブジェクトと、配置検討物品選択部によってユーザに選択させた配置検討物品を仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成する生成部と、仮想部屋空間における仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、仮想部屋空間における仮想実空間オブジェクトの配置を決定する配置部と、配置部によって仮想実空間オブジェクトと仮想配置検討物品オブジェクトとが配置された仮想部屋空間を表示部に表示する表示制御部と、を備え、配置部は、部屋に配置されている１以上の物品の部屋における位置に対応する仮想部屋空間の位置である仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置しても仮想配置検討物品オブジェクトの最適な配置を妨げない場合、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置し、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置すると仮想配置検討物品オブジェクトの最適な配置を妨げる場合、仮想実空間オブジェクトを仮想実空間オブジェクト初期位置から移動させる。

【0011】

本発明の第２の態様に係る表示装置において、配置部は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置すると仮想配置検討物品オブジェクトの最適な配置を妨げる場合、仮想実空間オブジェクトを仮想部屋空間の外へ移動させてもよい。

【0012】

本発明の第３の態様に係る表示装置において、表示制御部は、仮想実空間オブジェクトが仮想部屋空間の外へ移動した場合、移動した仮想実空間オブジェクトを表示部に表示させなくてもよい。

【0013】

本発明の第４の態様に係る表示装置において、配置部は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置すると仮想配置検討物品オブジェクトの最適な配置を妨げる場合、仮想実空間オブジェクトを仮想部屋空間内において移動させてもよい。

【0014】

本発明の第５の態様に係る表示装置において、表示制御部は、表示部の表示した仮想部屋空間における仮想実空間オブジェクトを、仮想配置検討物品オブジェクトの表示位置を除くユーザが任意に指示した位置に表示させ、かつ、ユーザが任意に指示した位置が仮想部屋空間の外である場合、仮想実空間オブジェクトを表示部に表示させなくてもよい。

【0015】

本発明の第６の態様に係る表示装置は、配置検討物品選択部がユーザに配置検討物品を選択させるため１以上の物品に関する情報を記憶した物品データベースを備え、配置検討物品選択部は、物品データベースに記憶された１以上の物品の情報の中から任意の１以上の物品の情報をユーザに選択させてもよい。

【0016】

本発明の第７の態様に係る表示装置において、物品に関する情報は、仮想部屋空間における物品の最適なレイアウトに関する情報を含み、表示制御部は、ユーザに選択させた配置検討物品の最適なレイアウトに関する情報に基づき、仮想部屋空間における仮想配置検討物品オブジェクト初期位置を決定し、仮想配置検討物品オブジェクト初期位置に表示してもよい。

【0017】

本発明の第８の態様に係る表示装置において、物品データベースは、１以上の配置検討物品に対応する仮想配置検討物品オブジェクトを記憶し、生成部は、ユーザに選択された配置検討物品に対応する仮想配置検討物品オブジェクトを物品データベースから抽出することにより、仮想配置検討物品オブジェクトを生成してもよい。

【0018】

本発明の第９の態様に係る表示装置において、生成部は、画像に含まれる１以上の物品の被写体像に基づいて部屋に配置されている１以上の物品に対応する仮想実空間オブジェクトを生成してもよい。

【0019】

本発明の第１０の態様に係る表示装置は、１以上の物品に対応する仮想実空間オブジェクトを記憶するオブジェクトデータベースを備え、生成部は、部屋に配置されている１以上の物品に対応する仮想実空間オブジェクトをオブジェクトデータベースから抽出することにより、仮想実空間オブジェクトを生成してもよい。

【0020】

本発明の第１１の態様に係る表示装置において、仮想部屋空間は、壁、床および天井を含んでもよい。

【0021】

本発明の第１２の態様に係る表示装置において、部屋に配置されている１以上の物品は、窓、カーテンおよび家具のうち少なくとも１つを含んでもよい。

【0022】

本発明の第１３の態様に係る表示装置において、配置検討物品は電子商取引により購入可能な商品を含んでもよい。

【0023】

本発明の第１４の態様に係る表示方法は、コンピュータが、部屋の内部を撮影した画像を取得するステップと、取得した画像から部屋の空間情報を計測するステップと、部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させるステップと、画像と空間情報とに基づき、部屋の内部を仮想的に表現した空間である仮想部屋空間と、部屋に配置されている１以上の物品を仮想的に表現した仮想実空間オブジェクトと、ユーザに選択させた配置検討物品を仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成するステップと、仮想部屋空間における仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、仮想部屋空間における仮想実空間オブジェクトの配置を決定するステップと、仮想実空間オブジェクトと仮想配置検討物品オブジェクトとが配置された仮想部屋空間を表示するステップと、を実行する表示方法であって、部屋に配置されている１以上の物品の部屋における位置に対応する仮想部屋空間の位置である仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置しても仮想配置検討物品オブジェクトの最適な配置を妨げない場合、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置し、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置すると仮想配置検討物品オブジェクトの最適な配置を妨げる場合、仮想実空間オブジェクトを仮想実空間オブジェクト初期位置から移動させる

【0024】

本発明の第１５の態様は、第１４の態様に係る表示方法をコンピュータに実行させるための表示プログラムを含む。

【発明の効果】

【0025】

この発明によると、ユーザが選んだ物品の最適な配置を決定する際、その物品の配置の妨げになるような実空間のオブジェクトは、仮想部屋空間から削除することができる。従って、ユーザが購入しようとする商品などを新たに部屋に配置することを検討する際に、商品が部屋に既存の物品よりも持つ魅力または価値をユーザに伝えることができ、商品の販売機会の損失を減らすことができる。また、これから購入しようとする商品を含めた部屋のトータルコーディネートも可能であり、関連商品のクロスセルも可能となる。

【図面の簡単な説明】

【0026】

【図1】画像処理装置１００のブロック構成図

【図2】オブジェクトデータベースに記憶される情報の一例を示す図

【図3】商品データベースに記憶される情報の一例を示す図

【図4】レイアウト提示処理を含む表示方法のフローチャート

【図5】部屋画像から測定された備え付け物品の実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3の一例を示す図

【図6】部屋画像から計測された部屋空間S1の寸法である左右の壁間の幅xl、天井高yl、奥行きzlの一例を示す図

【図7】部屋空間S1内の備え付け物品の仮想部屋空間S2における仮想実空間オブジェクトOBJ2-1,OBJ2-2およびOBJ2-3を示す図

【図8】ユーザの操作に基づいて商品選択を行わせる商品選択画面の一例を示す図

【図9】ステップＳ５の処理を詳細に説明したフローチャート

【図10】仮想部屋空間S2の一例を示す図

【図11】レイアウト決定部１７の決定した、選択された商品のオブジェクトITの最適な配置の一例を示す図

【図12】可動物品の仮想実空間オブジェクトOBJ2-2の配置の決定の一例を示す図

【図13】商品の仮想配置検討物品オブジェクトITの位置と干渉しない空間V2が生じた一例を示す図

【図14】除去された可動物品の仮想実空間オブジェクトOBJ2-1,OBJ2-2を空間V2に配置した一例を示す図

【発明を実施するための形態】

【0027】

図１は本発明の好ましい実施形態に係る画像処理装置１００のブロック構成図である。画像処理装置１００は、画像取得部１１、空間計測部（計測部）１２、商品選択部（配置検討物品選択部）１３、表示部１４、表示制御部１５、仮想オブジェクト生成部（生成部）１６、レイアウト決定部（配置部）１７、商品データベース（物品データベース）１８、オブジェクトデータベース１９を備える。画像取得部１１、空間計測部１２、商品選択部１３、表示制御部１５、仮想オブジェクト生成部１６、レイアウト決定部１７は、１または複数のプロセッサにより構成されうる。プロセッサは、ＣＰＵ(Central Processing Unit)，ＡＳＩＣ（Application Specific Integrated Circuit），ＧＰＵ(Graphics Processing Unit)などを含む。表示部１４は、液晶ディスプレイなどの表示装置で構成される。表示制御部１５は、ディスプレイドライバＩＣ(Integrated Circuit）などで構成される。商品データベース１８およびオブジェクトデータベース１９は、ハードディスク装置、フラッシュメモリなどの各種の記憶装置で構成される。

【0028】

画像取得部１１は、３Ｄカメラなど空間情報を取得する装置を用いて、ユーザが部屋の内部を撮影した画像を取得する。３Ｄカメラは、２眼のカメラまたは１眼のカメラに赤外線センサを付属した装置であって、対象物までの距離を測定できる。その他、３Ｄカメラは、１眼のカメラとモーションセンサの組合せにより、あるいは１眼のカメラで得た情報の解析により、空間情報を取得できる装置も含む。

【0029】

空間計測部１２は、画像取得部１１の取得した画像から部屋の空間情報を計測する。例えば、空間計測部１２は、部屋空間の寸法である左右の壁間の幅、天井高、および奥行きを計測する。また、空間計測部１２は、部屋空間内に配置された１または複数の物品の形状および位置座標を計測する。

【0030】

商品選択部１３は、部屋に新たに配置を検討しようとする物品である配置検討物品を、ユーザに選択させる。例えば、商品選択部１３は、商品データベース１８に記憶された１以上の物品の情報の中から任意の１以上の物品の情報をユーザに選択させるための商品選択画面を表示部１４に表示させるための信号を、表示制御部１５に出力する。

【0031】

仮想オブジェクト生成部１６は、画像取得部１１が取得した部屋画像および空間計測部１２が計測した空間情報に基づき、仮想的に表現した部屋空間と、仮想的に表現したオブジェクトとを生成する。仮想オブジェクト生成部１６は、画像取得部１１が取得した部屋画像および空間計測部１２が計測した空間情報に基づき、部屋の内部を仮想的に表現した空間である仮想部屋空間を生成する。なお、仮想部屋空間は、壁、床および天井を含む。また、仮想オブジェクト生成部１６は、撮影された部屋に、現実に、配置されている１以上の物品を仮想的に表現した仮想実空間オブジェクトを生成する。仮想オブジェクト生成部１６は、画像取得部１１が取得した部屋画像に含まれる１以上の物品の被写体像に基づいて、部屋に配置されている１以上の物品に対応する仮想実空間オブジェクトを生成する。仮想オブジェクト生成部１６は、部屋に配置されている１以上の物品に対応する仮想実空間オブジェクトを、オブジェクトデータベース１９から抽出することにより、仮想実空間オブジェクトを生成する。さらに、仮想オブジェクト生成部１６は、商品選択部１３によってユーザに選択させた配置検討物品を、仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトを生成する。仮想オブジェクト生成部１６は、ユーザが選択した配置検討物品に対応する仮想配置検討物品オブジェクトを、商品データベース１８から抽出することにより、仮想配置検討物品オブジェクトを生成する。

【0032】

レイアウト決定部１７は、仮想部屋空間に、仮想実空間オブジェクトおよび配置仮想配置検討物品オブジェクトを配置する。例えば、レイアウト決定部１７は、仮想部屋空間における仮想配置検討物品オブジェクトの最適な位置に、仮想配置検討物品オブジェクトを配置する。レイアウト決定部１７は、画像取得部１１が取得した部屋画像における物品の配置された位置に対応する、仮想部屋空間における位置（仮想実空間オブジェクト初期位置）に、仮想実空間オブジェクトを配置する。また、例えば、レイアウト決定部１７は、ユーザが任意に指示した仮想部屋空間における位置に仮想配置検討物品オブジェクトを配置する。

【0033】

表示部１４は、レイアウト決定部１７によって仮想実空間オブジェクトと仮想配置検討物品オブジェクトとが配置された仮想部屋空間を表示する。

【0034】

表示制御部１５は、表示部１４の表示した、仮想部屋空間における仮想実空間オブジェクトおよび仮想配置検討物品オブジェクトを、レイアウト決定部１７によって配置された位置からユーザが任意に指示した位置に移動させる。

【0035】

商品データベース１８は、商品選択部１３がユーザに配置検討物品を選択させるため１以上の物品に関する情報を記憶する。物品に関する情報は、仮想部屋空間における物品の最適なレイアウトに関する情報を含む。また、商品データベース１８は、１以上の配置検討物品に対応する仮想配置検討物品オブジェクトを記憶する。

【0036】

オブジェクトデータベース１９は、１以上の物品に対応する仮想実空間オブジェクトを記憶する。

【0037】

画像処理装置１００は、スマートフォン、タブレット端末、デジタルカメラなどの携帯情報端末またはパソコンなどで構成される。なおユーザが部屋の内部の撮影に使用するカメラ、商品データベース１８、およびオブジェクトデータベース１９は、画像処理装置１００と一体でもよいし一体でなくてもよい。商品データベース１８、およびオブジェクトデータベース１９は、他のパソコンまたはサーバーなどに備えられており、画像処理装置１００がネットワーク経由でアクセスできるようにしてもよい。

【0038】

図２はオブジェクトデータベース１９に記憶される情報の一例を示す。オブジェクトデータベース１９は、現実に部屋空間内に配置されうる物品の物品名、オブジェクトＩＤ(identification)、物品を仮想的に示すオブジェクト（仮想実空間オブジェクト）の画像データなどを対応づけて記憶する装置である。また、オブジェクトデータベース１９は、空間計測部１２が計測した部屋空間内に実際に配置されている物品の位置座標、および、当該物品が部屋内において移動可能であるか否かを示す移動可否フラグをさらに対応づけて記憶することもできる。

【0039】

図３は商品データベース１８に記憶される情報の一例を示す。商品データベース１８は、部屋に新たに配置を検討しようとする物品（配置検討物品）を示す商品ＩＤ、商品名、商品価格、商品の画像データなどを記憶する。商品データベース１８は、電子商取引により商品の購入が可能なサイトなどに備えられており、画像処理装置１００がネットワーク経由でアクセスできるようにしてもよい。

【0040】

図４は画像処理装置１００の実行するレイアウト提示処理を含む表示方法の実施形態を示すフローチャートである。この処理を各種のコンピュータ（プロセッサ）に実行させるための表示プログラムは、ＲＯＭ（Read Only Memory），ＣＤ－ＲＯＭ,ハードディスク装置など各種のコンピュータ（プロセッサ）読み取り可能な記録媒体に記録されている。

【0041】

なお本明細書において「購入」とは有償譲受、「商品」とは有償譲渡される物品のことであるが、無償譲渡される物品を設置しようとする部屋空間についても、商品と同様の処理を行える。

【0042】

ステップＳ１では、画像取得部１１は、部屋の内部を撮影した画像（部屋画像）を取得する。この部屋画像は、３Ｄカメラなどで撮影した３次元画像などである。また部屋空間とは、これから新たに商品を購入して設置しようとする部屋空間である。

【0043】

ステップＳ２では、空間計測部１２は、画像取得部１１が取得した部屋画像から、部屋空間の寸法、並びに、現実に部屋空間内に配置されている１または複数の物品である備え付け物品の形状および位置座標を計測する。図５は部屋画像Sから測定された備え付け物品のオブジェクト（実空間オブジェクト）OBJ1-1,OBJ1-2およびOBJ1-3の一例を示す。また図６は部屋画像から計測された部屋空間S1の寸法である左右の壁間の幅xl、天井高yl、奥行きzlの一例を示す。計測された実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3の位置座標は、それぞれ、物品名、オブジェクトＩＤ、仮想実空間オブジェクトの画像データなどと対応づけられ、オブジェクトデータベース１９に記憶される。

【0044】

ステップＳ３では、生成部の一部である仮想オブジェクト生成部１６は、空間計測部１２の測定した部屋空間S1内に配置された１または複数の備え付け物品の実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3の形状に対応する、仮想部屋空間S2におけるオブジェクト(仮想実空間オブジェクト）OBJ2-1,OBJ2-2およびOBJ2-3を、オブジェクトデータベース１９に基づいて生成する（図７参照）。

【0045】

例えば、仮想オブジェクト生成部１６は、機械学習などにより、測定された備え付け物品の形状等により当該物品に相当する物品（同一または類似する物品）の物品名を推定する。そして、仮想オブジェクト生成部１６は、推定された物品名に対応する物品の画像データ等を含むオブジェクトデータを、オブジェクトデータベース１９に記憶された物品のオブジェクトデータの一覧から特定して抽出する。抽出されたオブジェクトデータは、仮想実空間オブジェクトを含む。

【0046】

あるいは、仮想オブジェクト生成部１６は、画像から計測された備え付け物品の被写体像の色を減色したり、形状を多角形で近似するなど、物品部分を単純化することで、備え付け物品の仮想実空間オブジェクトを生成してもよい。

【0047】

図７は部屋空間S1内に配置された備え付け物品の実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3に対応して生成される仮想実空間オブジェクトOBJ2-1,OBJ2-2およびOBJ2-3を示す。

【0048】

ステップＳ４では、商品選択部１３は、ユーザの操作に基づいて任意の商品（配置検討物品）の商品名を商品データベース１８から選択する。図８は、ユーザが購入を検討している商品の選択を行う商品選択画面の一例である。

【0049】

ステップＳ５では、配置部として機能するレイアウト決定部１７は、ステップＳ４で選択された商品に対応する仮想配置検討物品オブジェクトの仮想部屋空間S2内における配置と、部屋空間S1内において測定された備え付け物品に対応する仮想実空間オブジェクトの仮想部屋空間S2内における配置を決定する。この処理の詳細は後述する。

【0050】

ステップＳ６では、表示制御部１５は、レイアウト決定部１７の決定した配置に従って、選択された商品名に対応する仮想配置検討物品オブジェクトと、部屋空間S1内において測定された備え付け物品に対応する仮想実空間オブジェクトとが配置された仮想部屋空間S2を、表示部１４に表示する。

【0051】

ステップＳ７では、表示制御部１５は、ユーザ操作に従って、選択された商品名に対応する商品の仮想配置検討物品オブジェクトおよび／または１または複数の備え付け物品に対応する仮想実空間オブジェクトの表示位置を仮想部屋空間S2内の任意の位置に移動させる。

【0052】

図９はステップＳ５の処理を詳細に説明したフローチャートである。

【0053】

ステップＳ１００では、レイアウト決定部１７は、各備え付け物品の移動の可否を判定する。例えば、図５のように、部屋空間S1内において備え付け物品の実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3が計測された場合、レイアウト決定部１７は、備え付け物品の実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3の各々の物理的な移動の可否を判定する。この判定は備え付け物品の移動の可否を判定する機械学習アルゴリズム、または、物品の種類ごとの移動の可否を予め定義した参照テーブル等を用いて行うとよい。

【0054】

図５のような部屋空間S1では、備え付け物品の実空間オブジェクトOBJ1-1(すなわち植木鉢)と、OBJ1-2(すなわちソファー（家具）)は移動可と判定され、OBJ1-3(すなわち窓およびカーテンの組)は移動不可と判定される。各備え付け物品の移動可否の判定結果はオブジェクトデータベース１９に記憶されてもよい。以下、移動可と判定された備え付け物品は可動物品、移動不可と判定された備え付け物品は不可動物品と呼ぶ。

【0055】

ステップＳ１０１では、レイアウト決定部１７は、部屋画像から可動物品を除去した仮想的な部屋空間である仮想部屋空間S2を作成する。仮想部屋空間S2は、測定された３次元実空間すなわち部屋空間を３次元ＣＧ（Computer Graphics:コンピュータグラフィックス）により表現される部屋空間の座標系に変換した仮想的空間である。

【0056】

図１０は仮想部屋空間S2の一例である。図１０に示す仮想部屋空間S2は、不可動物品である実空間オブジェクトOBJ1-3の形状に対応する仮想実空間オブジェクトOBJ2-3のみが存在し、可動物品である実空間オブジェクトOBJ1-1およびOBJ1-2の形状に対応する仮想実空間オブジェクトOBJ2-1およびOBJ2-2は除去された部屋空間の３次元ＣＧである。可動物品の仮想実空間オブジェクトOBJ2-1およびOBJ2-2が除去された部分は、空き空間V1としてレイアウト決定部１７に認識される。

【0057】

ステップＳ１０２では、レイアウト決定部１７は、仮想部屋空間S2の空き空間V1において、ステップＳ４で選択された商品のオブジェクト(仮想配置検討物品オブジェクト)ITの最適な配置を決定する。すなわち、レイアウト決定部１７は、仮想部屋空間において仮想配置検討物品オブジェクトを最初に表示させる位置である仮想配置検討物品オブジェクト初期位置を決定する。

【0058】

図１１はレイアウト決定部１７の決定した、選択された商品の仮想配置検討物品オブジェクトITの最適な配置の一例を示す。図１１では、商品の仮想配置検討物品オブジェクトITの最適な配置として、床からの高さｈが目線程度（例えば、ｈ=y0=１５０ｃｍ）であり、なおかつ不可動物品の仮想実空間オブジェクトOBJ2-3の左端部から仮想配置検討物品オブジェクトITの右端までの距離と左壁面WLから仮想配置検討物品オブジェクトITの左端までの距離とが等距離dとなる座標(x0,y0,z0)を仮想配置検討物品オブジェクトITの中心としている。これらの最適な配置に関する情報は商品データベース１８内のアイテムとして商品IDごとに記憶されてもよい。

【0059】

ステップＳ１０３では、レイアウト決定部１７は、仮想配置検討物品オブジェクトITの最適な配置を妨げない範囲において、仮想部屋空間S2における可動物品に対応する仮想実空間オブジェクトの配置を決定する。

【0060】

図１２は可動物品に対応する仮想実空間オブジェクトOBJ2-2の配置の決定の一例を示す。この図１２では、可動物品である実空間オブジェクOBJ1-2に対応する仮想実空間オブジェクトOBJ2-2については、部屋画像Sにおける実空間オブジェクOBJ1-2の位置と対応する仮想部屋空間S2の仮想実空間オブジェクト初期位置(仮想部屋空間初期位置）に配置しても、商品の仮想配置検討物品オブジェクトITの位置と干渉しない。したがって、部屋画像Sにおける可動物品の実空間オブジェクトOBJ1-2の位置と対応する座標(x2,y2,z2)が仮想実空間オブジェクトOBJ2-2の配置と決定される。仮に両者が干渉しても、可動物品の実空間オブジェクトOBJ1-2の位置と対応する座標を数ドット分微調整することで干渉が解消されるのであれば、微調整後の位置を仮想実空間オブジェクトOBJ2-2の配置と決定してもよい。すなわち、レイアウト決定部１７は、部屋空間S1に配置されている１以上の実空間オブジェクトOBJ1-2の部屋空間S1における位置に対応する仮想部屋空間S2の位置である仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-2を配置しても仮想配置検討物品オブジェクトITの最適な配置を妨げない場合、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-2を配置する。

【0061】

一方、可動物品の仮想実空間オブジェクトOBJ2-1については、部屋画像における可動物品の元々の位置と対応する仮想実空間オブジェクト初期位置に配置すると、商品の仮想配置検討物品オブジェクトITの位置と干渉する（すなわち、仮想実空間オブジェクトOBJ2-1と仮想配置検討物品オブジェクトITが重なる）。したがって、可動物品の仮想実空間オブジェクトOBJ2-1の座標は与えられず、除去された状態が、仮想実空間オブジェクトOBJ2-1の配置と決定される。ただし、仮に両者が干渉しても、仮想実空間オブジェクトOBJ2-1の元々の位置と対応する座標を微調整することにより干渉が解消されるのであれば、微調整後の位置を仮想実空間オブジェクトOBJ2-1の配置と決定してもよい。すなわち、レイアウト決定部１７は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-1を配置すると仮想配置検討物品オブジェクトITの最適な配置を妨げる場合、仮想実空間オブジェクトOBJ2-1を仮想実空間オブジェクト初期位置から移動させる。特に、レイアウト決定部１７は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-1を配置すると仮想配置検討物品オブジェクトITの最適な配置を妨げる場合、仮想実空間オブジェクトOBJ2-1を仮想部屋空間S2の外へ移動させる。または、レイアウト決定部１７は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-1を配置すると仮想配置検討物品オブジェクトITの最適な配置を妨げる場合、仮想実空間オブジェクトOBJ2-1を仮想部屋空間S2内において移動させる。表示制御部１５は、仮想実空間オブジェクトOBJ2-1が仮想部屋空間S2の外へ移動した場合、移動した仮想実空間オブジェクトOBJ2-1を表示部１４に表示させない。

【0062】

なお、図１３に示すように、ステップＳ７にて可動物品の仮想実空間オブジェクトOBJ2-2の仮想実空間オブジェクト初期位置を含む移動元位置がユーザのスワイプ操作で移動先位置に変更された結果、商品の仮想配置検討物品オブジェクトITの位置と干渉しない空間V2が生じた場合、図１４に示すように、除去された可動物品の仮想実空間オブジェクトOBJ2-1を空間V2に配置してもよい。この状態からさらに、ユーザ指示に従って、商品の仮想配置検討物品オブジェクトIT、可動物品の仮想実空間オブジェクトOBJ2-1およびOBJ2-2の配置座標を変更してもよい。また画面外に向かって仮想実空間オブジェクトOBJ2-1またはOBJ2-2をスワイプすることで、その存在を消去できたり、消去した仮想実空間オブジェクトOBJ2-1またはOBJ2-2を再び仮想部屋空間S2に復帰できるようにしてもよい。商品の仮想配置検討物品オブジェクトITについても、ユーザのスワイプ操作で、その位置を任意に変更することができる。

【0063】

このように、ユーザが商品データベース１８から任意に選んだ商品の部屋空間内での最適な配置を決定する際、その商品の最適な配置の妨げになる部屋空間内の既存の物品の実空間オブジェクトOBJ1-1に対応する仮想実空間オブジェクトOBJ2-1は、仮想部屋空間S2から除去することができる。従って、ユーザが購入しようとする商品を新たに部屋空間S1に配置することを検討する際に、部屋空間S1に存在する物品（可動物品）の影響を取り除いて、新たに購入しようとする商品の持つ魅力または価値をユーザに伝えることができ、商品の販売機会の損失を減らすことができる。また、これから購入しようとする商品または部屋空間内の既存の物品を含めた部屋のトータルコーディネートも可能であり、関連商品のクロスセルも可能となる。

【0064】

上記記載から、以下の付記項１に記載の表示装置を把握することができる。

［付記項１］

プロセッサを備え、

前記プロセッサは、

部屋の内部を撮影した画像を取得し、

前記取得した画像から部屋の空間情報を計測し、

前記部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させ、

前記画像と前記空間情報とに基づき、前記部屋の内部を仮想的に表現した空間である仮想部屋空間と、前記部屋に配置されている１以上の物品を仮想的に表現した仮想実空間オブジェクトと、前記配置検討物品選択部によってユーザに選択させた配置検討物品を前記仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成し、

前記仮想部屋空間における前記仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、前記仮想部屋空間における前記仮想実空間オブジェクトの配置を決定し、

前記仮想実空間オブジェクトと前記仮想配置検討物品オブジェクトとが配置された前記仮想部屋空間を表示し、

前記部屋に配置されている前記１以上の物品の前記部屋における位置に対応する前記仮想部屋空間の位置である仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置しても前記仮想配置検討物品オブジェクトの最適な配置を妨げない場合、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置し、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想実空間オブジェクト初期位置から移動させる表示装置。

【符号の説明】

【0065】

１１ 画像取得部

１２ 空間計測部

１３ 商品選択部

１４ 表示部

１５ 表示制御部

１６ 仮想オブジェクト生成部

１７ レイアウト決定部

１８ 商品データベース

１９ オブジェクトデータベース

１００ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】