(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-23
(45)【発行日】2022-07-01
(54)【発明の名称】仮想現実システムを用いたインテリア提案システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220624BHJP
G09G 5/38 20060101ALI20220624BHJP
G09G 5/36 20060101ALI20220624BHJP
G09G 5/00 20060101ALI20220624BHJP
G09G 5/377 20060101ALI20220624BHJP
H04N 5/232 20060101ALI20220624BHJP
【ＦＩ】
G06T19/00 A
G09G5/38 Z
G09G5/36 510V
G09G5/00 530M
G09G5/36 520M
H04N5/232 300
H04N5/232 220
H04N5/232 939
【請求項の数】
4
(21)【出願番号】P 2018087929
(22)【出願日】2018-04-30
(65)【公開番号】P2019194745
(43)【公開日】2019-11-07
【審査請求日】2021-04-01
(73)【特許権者】
【識別番号】301029252
【氏名又は名称】日本絨氈株式会社
(74)【代理人】
【識別番号】100173277
【弁理士】
【氏名又は名称】紀田 馨
(72)【発明者】
【氏名】池崎博之
【審査官】村松 貴士
(56)【参考文献】
【文献】特開２０１６－２１２６２１（ＪＰ，Ａ）
【文献】特開２００５－０２４４６４（ＪＰ，Ａ）
【文献】特開２０１２－２２０８８８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ｇ０９Ｇ ５／００ － ５／４２
Ｈ０４Ｎ ５／２２２ － ５／２５７
(57)【特許請求の範囲】
【請求項1】
映像撮影装置及び映像表示装置及び映像記録装置を備えた端末を、映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって左眼用映像を撮影する手段と、
前記左眼用映像を映像記録装置に記録する手段と、
前記左眼用映像の開始された場所から水平方向に一定距離移動した右眼用映像を開始すべき場所を映像表示装置に表示する手段と、
前記右眼用映像を開始すべき場所において映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって右眼用映像を撮影する手段と、
前記右眼用映像を映像記録装置に記録する手段と、
として機能させ、
左眼用映像表示装置及び右眼用映像表示装置を備えたコンピュータを
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段として機能させるためのプログラム。
【請求項2】
左眼用映像表示装置及び右眼用映像表示装置を備えたコンピュータを予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段として機能させるためのプログラム。
【請求項3】
映像撮影装置及び映像表示装置及び映像記録装置を備えた端末、及び左眼用映像表示装置及び右眼用映像表示装置を備えたコンピュータからなるシステムであって、前記端末は、
映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって左眼用映像を撮影する手段と、
前記左眼用映像を映像記録装置に記録する手段と、
前記左眼用映像の開始された場所から水平方向に一定距離移動した右眼用映像を開始すべき場所を映像表示装置に表示する手段と、
前記右眼用映像を開始すべき場所において映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって右眼用映像を撮影する手段と、
前記右眼用映像を映像記録装置に記録する手段とを備え、
前記コンピュータは、
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするシステム。
【請求項4】
左眼用映像表示装置及び右眼用映像表示装置を備えたコンピュータであって、予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするコンピュータ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想現実システムを用いたインテリア提案システムに関し、特に、仮想現実システムが普及していない現状において、誰でも仮想現実を活用して自室等の模様替えをリアルに体験可能なシステムに関する。
【背景技術】
【0002】
あたかも実際に眼前に光景が広がるかのように体感できる仮想現実、Virtual Reality（以下、ＶＲという。）を実現したシステムの普及が始まりつつある。ＶＲは、ディスプレイや紙に表示された写真、映像とは大きく異なる経験を与えることができるため、様々な用途で開発が行われている。
【0003】
その一つが、住宅やオフィスの設計である。特許文献１には、仮想空間内にクリニックや住居等を再現し、当該住居内にソファや机、壁紙やカーペット等を設置する。これらはすべてポリゴン等の技術でコンピュータを用いて人工的に合成したコンピュータグラフィックスであり、ＶＲによって、視点位置や頭の動きに連動して表示させる事で、あたかも住宅やオフィスの中にいるかのような感覚を提供するシステムが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－１３５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載の発明では、仮想空間への没入感を活用した内装リフォーム等を実現する技術が記載されている。だが、ＶＲシステムは普及が始まりつつあるとはいえ、スマートフォンやパーソナルコンピュータのように一家に一台という程には普及していないし、この状況は今後しばらく継続するものと予想される。
【0006】
そのため、ＶＲシステムを用いたビジネスを行う場合は、ショールームを開設して当該施設にＶＲシステムを設置して行うか、大規模な客先へ機材を持参しての営業等が想定される。そのためには、内装リフォーム等の提案に先立って、見込み客の住環境やオフィスに関する情報を得る必要がある。その上で、当該情報をもとに見込み客の対象空間について時間的金銭的コストを負担してコンピュータグラフィックスで作成しなければならない。したがって、少なくとも２回は見込み客と接触する必要があるし、受注が確定しない段階で一定のコストを負担する必要がある。これらのコストは薄利多売となる商材が多いインテリア業にとって、大きな制約である。
【課題を解決するための手段】
【0007】
そこで本発明では、
コンピュータを、
予め撮影された複数の写真または映像を入力するステップ、
前記入力された複数の写真または映像を合成する事でステレオ映像を合成する手段と、
前記前記ステレオ映像から、床に該当する領域を認識する手段と、
前記領域に重畳して床材素材を合成した提案ステレオ写真または提案ステレオ映像を合成する手段と、
前記提案ステレオ映像をＶＲ表示システムにおいて表示する手段として機能させるためのプログラムを提供する。
コンピュータを、
予め撮影された複数の写真または映像を入力するステップ、
前記入力された複数の写真または映像を合成する事でステレオ映像を合成する手段と、
前記前記ステレオ映像から、床に該当する領域を認識する手段と、
前記領域に重畳して床材素材を合成した提案ステレオ写真または提案ステレオ映像を合成する手段と、
前記提案ステレオ映像をＶＲ表示システムにおいて表示する手段として機能させるためのプログラムを提供する。
【0008】
また、左眼用映像表示装置及び右眼用表示装置を備えたコンピュータを
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段として機能させるためのプログラムを提供する。
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段として機能させるためのプログラムを提供する。
【0009】
また、映像撮影装置及び映像表示装置及び映像記録装置を備えた端末、及び左眼用映像表示装置及び右眼用表示装置を備えたコンピュータからなるシステムであって、
前記端末は、
映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって左眼用映像を撮影する手段と、
前記左眼用映像を映像記録装置に記録する手段と、
前記左眼用映像の開始された場所から水平方向に一定距離移動した右眼用映像を開始すべき場所を映像表示装置に表示する手段と、
前記右眼用映像を開始すべき場所において映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって右眼用映像を撮影する手段と、
前記右眼用映像を映像記録装置に記録する手段とを備え、
前記コンピュータは、
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするシステムを提供する。
前記端末は、
映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって左眼用映像を撮影する手段と、
前記左眼用映像を映像記録装置に記録する手段と、
前記左眼用映像の開始された場所から水平方向に一定距離移動した右眼用映像を開始すべき場所を映像表示装置に表示する手段と、
前記右眼用映像を開始すべき場所において映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって右眼用映像を撮影する手段と、
前記右眼用映像を映像記録装置に記録する手段とを備え、
前記コンピュータは、
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするシステムを提供する。
【0010】
また、左眼用映像表示装置及び右眼用表示装置を備えたコンピュータであって、
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするコンピュータを提供する。
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするコンピュータを提供する。
【発明の効果】
【0011】
本発明のプロプラムは、コンピュータを、予め自宅やオフィス等で撮影された複数の写真からＶＲ表示可能なステレオ写真を合成し、当該合成した映像から床部分を自動認識させて、当該認識した箇所に置き換えるべき床材素材を重畳合成してＶＲシステムで表示するよう機能させることができる。
【0012】
そのため、利用者は、自宅等において写真を撮影してショールームに持ち込む事で、自宅等の環境をＶＲシステムにおいて再現し、当該再現された自身の環境において様々な床材素材をあてはめ、当該環境が床材素材によってどのような外観、雰囲気となるかを実際に目の当たりにした状態で試す事が可能となる。しかも、コストのかかる自宅等の環境の再現をポリゴンなどを用いて作成する必要がなく、かつ、あらかじめ自宅等の情報をショールーム側に伝える必要もないため、金銭的にも時間的にも低コストで運用することができる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について説明する。本発明のＶＲ映像表示システム１は、図１に示した概略図のとおり、映像撮影装置２とＶＲ映像表示装置３から構成される。
【0015】
ＶＲシステムにおいて臨場感があるＶＲ映像を表示するためには、視野を大きくとる必要性から広角の映像が必要となり、さらにＶＲ映像が提供する没入感を実現する必要性から左目用の映像と右目用の映像をそれぞれ撮影した立体映像が必要となる。広角の立体映像を撮影可能なＶＲ用途のカメラは業務用途で既に開発されており、様々な用途、分野で利用が進んではいるものの、非常に高価であることから一般への普及は依然として進んでいない。
【0016】
本発明が最終的に表示するＶＲ映像は、顧客の自宅や自らのオフィスであり、その撮影にあたって高価な専門機器を期待する事ができない。そのため、映像撮影装置２としては、アプリケーションを実行可能なビデオカメラやスマートフォン、タブレット、タブレット型のノートパソコン、映像撮影可能なスマートグラスやスマートウォッチといった各種の一般に普及しているモバイル型のデバイスなど、プログラムによって様々な動作が可能で、かつ、安価な装置が好適である。
【0017】
映像撮影装置２は、映像撮影手段２１、撮影位置ガイド手段２２、映像保存手段２３から構成される。映像撮影手段２１は、単眼のレンズ及び撮像素子等からなるカメラユニットであり、静止画及び動画を撮影する機能を有している。これらの機能はいずれも公知の技術をそのまま用いることができる。映像撮影手段２１は、ディスプレイ２１１を備えており、撮影しようとしている光景をディスプレイ２１１上に表示させることができる。撮影位置ガイド手段２２は、ディスプレイ２１１上に各種の情報を重畳表示させることができる。映像保存手段２３は、映像撮影手段２１が撮影した静止画及び動画を保存することができる。
【0018】
映像撮影装置２を用いて撮影を行う際は、図２に示すフローチャートにそって操作を行う。まず、自宅やオフィスなど模様替えを行いたいと考えるフロアにおいて撮影を行う。映像撮影装置２がいわゆる立体カメラである場合は、左眼用映像２３１と右眼用映像２３２とを同時に撮影すればよい。だが、立体カメラは一般に普及しているとは言い難く、単眼であることが多い。単眼のカメラでは、左眼用映像２３１と右眼用映像２３２を同時に撮影することはできないため、まず左眼用映像２３１を撮影した後に、右眼用映像２３２を撮影する。
【0019】
顧客は、映像撮影装置２を持ち、部屋の左端周辺へと映像撮影手段２１を向ける。撮影を開始したい箇所が決定したら、その位置から可能な限り水平に部屋の右端周辺へと映像撮影装置２を回転させ、映像撮影手段２１を部屋の左端から右端まで一覧させることで、部屋の撮影を行う。実際には撮影の開始の指示によって撮影を開始し、顧客によって映像撮影装置２を上記回転運動させ撮影の終了の指示によって撮影を終了する。この時撮影をおこなった動画が左眼用映像２３１となり、映像保存手段２３へ保存される。映像保存手段２３は映像撮影装置２に内蔵のフラッシュメモリやハードディスク、その他のデジタルデータを保存可能な手段であってもよいが、映像撮影装置２と分離可能なメモリーカード、USBメモリといった電子的、電磁的、光的記憶手段であることが好ましい。左眼用映像２３１の撮影が終了すると、顧客は前記撮影を開始したい箇所周辺に映像撮影手段２１をもどし、撮影をおこなった方向へと映像撮影手段２１を向ける。
【0020】
立体映像は、左眼用映像と右眼用映像により構成されている。視聴者に立体感を感じさせるためには、左目用画像と右眼用画像との間で被写体位置を解離させなければならない。この解離の量を視差量といい、視差量が大きければ大きいほど立体感が強くなる。視差量を調整するためには、左眼用映像を撮影する位置と右眼用映像を撮影する位置の間の距離である基線長と、左眼用映像と右眼用映像の光軸が交差するコンバージェンスポイントを調整することにより行われる。より具体的には、コンバージェンスポイントよりも撮影者側の被写体はディスプレイより飛び出したかのように感じられ、コンバージェンスポイントよりも撮影者の反対側の被写体はディスプレイより引っ込んだかのように感じられ、その度合は視差量に依存する。
【0021】
撮影位置ガイド手段２２は、保存しておいた左眼用映像の撮影開始直後の映像と映像撮影手段２１が映している映像を比較し、同じ箇所を数カ所同定する。このような画像認識技術は公知であり、当該公知技術をそのまま用いればよい。当該同定した箇所を原点として、撮影位置ガイド手段２２は左眼用映像２３１を撮影開始した箇所から適切な基線長分だけ右側へ移動した位置と撮影すべき方向を計算する。基線長についてはプリセット値として予め決定してもよく、その際は公知技術を用いて自然な立体感が得られる値を採用する。動的に計算をおこなう場合は、撮影位置と撮影対象となるフロアの壁までの距離を推定し、当該距離を自然に感じる事が可能な基線長を公知技術によって計算する。
【0022】
撮影すべき方向については、左眼用画像２３１を撮影した際の映像撮影装置２の位置及び撮影方向から、今回の右眼用画像２３２を撮影すべき撮影位置及び撮影方向を調整することで、撮影対象となる部屋の壁と撮影位置のちょうど中間点にコンバージェンスポイントが位置するよう計算すればよい。
【0023】
そして撮影位置ガイド手段２２は、ディスプレイ２１１上に右眼用映像２３２の撮影を開始すべき位置を指し示した縦線を重畳表示させる。この縦線がディスプレイ２１１の左端と重なるような位置が適切な撮影開始位置となる。さらに、ディスプレイ２１１には撮影すべき方向を示した矢印を重畳表示させ、当該矢印の方向にむかって映像撮影手段２１を向けることで、適切な撮影が可能となる。なお、ディスプレイ２１１に重畳表示する事に加えて振動や音を用いて適切な撮影開始位置へと誘導する機能を持たせてもよい。
【0024】
撮影位置ガイド手段２２がガイドした撮影位置、撮影方向に映像撮影装置２を移動させ、位置が確定したら、その位置から可能な限り水平に部屋の右端周辺へと映像撮影装置２を回転させ、映像撮影手段２１を部屋の左端から右端まで一覧させることで、部屋の撮影を行う。この時撮影をおこなった動画が右眼用映像２３２となり、映像保存手段２３へ保存される。
【0025】
この時、撮影位置ガイド手段２２が撮影すべき方向を示した矢印をディスプレイ２１１へ常に表示しつづけてもよい。その際の矢印の方向は、撮影対象となるフロアの壁と撮影位置のちょうど中間点にコンバージェンスポイントが位置するように計算する。さらに、振動や音を用いて適切な位置や方向からのズレを撮影者が認識可能なフィードバックを与えてもなおよい。いずれも右眼用映像２３２の撮影を安定させることに寄与する。
【0026】
なお、撮影位置ガイド制御手段２１２は、専用のハードウェアによって実装してもよいが、好ましくはコンピュータを動作させるソフトウェア、プログラムによって提供すべきである。映像撮影装置として想定されるスマートフォン等はCPUやメモリ等を備えており、当該CPUやメモリといったハードウェア資源をソフトウェアによって制御させる事が可能であるし、近年のインターネットを通じたソフトウェアの配信環境は充実しており、低コストで利用可能であるためである。
【0027】
ＶＲ映像表示装置３は、映像入力手段３１、ステレオ映像合成手段３２、インテリア素材選択手段３３、素材重畳合成手段３４、ＶＲ表示手段３５、注文手段３６から構成されており、好ましくはインテリア素材メーカーのショールームや建築設計事務所、大規模建築会社等に設置される。
【0028】
映像入力手段３１は、映像撮影装置２で撮影された左眼用映像２３１及び右眼用映像２３２をＶＲ映像表示装置３へ取り込むべく、映像保存手段２３をマウント可能な機構を有している。具体的にはUSB端子、メモリーカードリーダーやDVDプレイヤーなど、映像保存手段２Cの種類に応じたインタフェースである。そして、当該インタフェースを介して左眼用映像２３１及び右眼用映像２３２をＶＲ映像表示装置３へ入力する。
【0029】
ステレオ映像合成手段３２は、左眼用映像２３１及び右眼用映像２３２を用いてＶＲ表示手段３５へステレオ映像を表示する為に必要な加工を行う。映像撮影装置２を用いて撮影した左眼用映像２３１及び右眼用映像２３２であれば、そのままステレオ映像として利用可能であるが、左眼用映像２３１のみしか撮影されていないなどの、イレギュラーが発生した場合は、ステレオ映像合成手段３２において擬似的にステレオ映像を生成する。この技術は公知であり、例えば特開２００２－７７９４４号公報等に記載されている技術を用いればよい。擬似的に生成したステレオ映像は、真正のステレオ映像と比較して立体視の効果は落ちるが、擬似的ではあっても平面映像よりは顧客に対して大きな視覚的効果がある。
【0030】
インテリア素材選択手段３３は、タイルカーペット、壁紙、ソファ、テーブルといった各種のインテリア候補３３１について項目別にＶＲ表示手段３５の一部領域に表示させた上で、マウス、ジョイスティック、カメラによる手や腕の動きの認識といった公知の手段により、所望のインテリア候補３３１を選択する機能を提供する。選択されたインテリア候補３３１についての情報、好ましくはインテリア候補を識別するためのID番号を素材重畳合成手段３４へと送る。
【0031】
なお、ＶＲ表示手段３５は、視野を遮る形でＶＲ映像を表示するため、操作者は自身の周囲にあるマウス等を視覚により把握することができない。そのためマウス等うまく操作する事ができない可能性が高い。これに対応するために、ＶＲ表示手段３５に加えて外部ディスプレイ３５１にもＶＲ表示手段３５に表示されているのと同様の映像を表示させ、操作者の要請に従ってショールームでの営業マンが代行して操作をおこなわせることが可能なようにシステムを構成するとなおよい。
【0032】
素材重畳合成手段３４は、インテリア素材選択手段３３を通じて選択されたインテリア素材を左眼用映像２３１及び右眼用映像２３２の一部領域に重ね合わせるように合成する機能を提供する。選択された素材が床材である場合、左眼用映像２３１及び右眼用映像２３２の床材部分を画像認識し、選択した床材で置き換え、選択された素材が壁材である場合は左眼用映像２３１及び右眼用映像２３２の壁材部分を画像認識し、選択した壁材で置き換え、選択された素材がその他の素材である場合は左眼用映像２３１及び右眼用映像２３２の壁材部分と床材部分を画像認識した上で、壁材から十分はなれた箇所の床材部分に重ね合わせるように合成する。当該合成した左眼用映像２３１及び右眼用映像２３２をＶＲ表示手段３５へと出力する。このとき、床材がタイルカーペットである場合は、床材部分にタイルカーペットを１枚のみ表示するのではなく、床材と認識した部分をタイルカーペットで覆い尽くすように重ね合わせる。なお、その際に、部屋の広さについての情報を顧客から予め聴取しておき、当該広さとタイルカーペットの大きさを比較して当該タイルカーペットの大きさを計算した上で重畳表示させるタイルカーペットの画像を生成する。
【0033】
ＶＲ表示手段３５は、少なくとも左眼用表示装置３５１と右眼用映像表示装置３５２、顧客の左眼周辺に左眼用表示装置３５１を、右眼周辺に右眼用表示装置３５２を固定するための固定器具３５３を備えている。左目用表示装置３５１及び右眼用表示装置３５２は液晶や有機EL等とレンズを備えており、このレンズを通じて液晶等を見ると、あたかも眼前に当該液晶等が表示する景色が広がっているかのように知覚させることができる。固定器具３５３はヘルメット型やメガネの形状のものが広く知られているが、どのような形状であってもよい。
【0034】
注文手段３６は、インテリア素材選択手段３３によって選択されているインテリア候補を購入する旨指示された際に、ショールーム等へ発注情報を送信する機能を提供する。その際、素材重畳合成手段３４の機能により、床材や壁材であれば必要となる枚数を計算し、提案する機能をもたせてもよい。枚数の計算にあたっては、顧客から予め聴取した部屋の広さについての情報をもとに計算してもよい。
【0035】
ＶＲ映像表示装置３を用いる際は、図３に示すフローチャートにそって操作を行う。まず、自宅等で撮影した左眼用映像２３１及び右眼用映像２３２が保存された映像保存装置２３を持参し、ショールーム等に設置されたＶＲ映像表示装置の映像入力手段３１へと設置する。映像入力手段３１は、設置された映像保存装置２３より左眼用映像２３１及び右眼用映像２３２をＶＲ映像表示装置３内部へと取り込む。
【0036】
次に、固定粗具３５３を操作して、顧客にＶＲ操作映像表示手段３５を装着する。ＶＲ映像表示装置３は、左眼用映像２３１を左眼用表示装置３５１にて表示し、同時に右眼用映像２３２を右眼用表示装置３５２に表示する。なお、映像を最後まで表示した場合は自動的に最初から再生する。左眼用映像２３１及び右眼用映像２３２はいずれも部屋等を左から右へと撮影したものであるから、その光景が繰り返しループ再生されることになる。
【0037】
左眼用映像２３１及び右眼用映像２３２の双方がそろっていない場合、例えば左眼用映像２３１のみが入力され右眼用映像２３２が入力されなかった場合は、前述したとおり、ステレオ映像合成手段３２によって左眼用映像２３１から擬似的に右眼用映像２３２を合成する。
【0038】
インテリア素材選択手段３３は、左眼用映像２３１及び／または右眼用映像２３２の右上領域に、床材、壁材、ソファ、テーブルといったカテゴリ別にインテリア素材を重畳してＶＲ映像表示手段３５にて表示させる。顧客は、ＶＲを映像表示手段３５に表示されたインテリア素材から、希望するインテリア素材３３１を選択する。
【0039】
顧客がインテリア素材の中から希望する床材として、タイルカーペットを選択したものとする。素材重畳合成手段３４は、左眼用映像２３１及び右眼用映像２３２を解析し、床に相当する領域を検出する。床の認識には、壁と床の境界を認識した上で、壁よりも下方領域にあたる箇所であって、同じパターンが連続している領域を床とするなどの既存のアルゴリズムを用いれば良い。
【0040】
そして、希望するインテリア素材３３１を床と認識した領域に重畳して重ねていく。その際に、インテリア素材は３Dモデルでモデリングされており、自由に角度を変更させることができるため、左眼用映像２３１及び右眼用映像２３２において床が撮影された角度に適合するよう敷き詰める。
【0041】
インテリア素材３３１が壁材である場合は、壁と認識した領域に重畳する。壁の認識には壁と床の境界を認識し、当該境界よりも上方にある領域であって当該領域と同じパターンが連続している領域を壁と認識する。
【0042】
インテリア素材３３１が床材である場合は、床と認識した領域に重畳する。床の認識には壁と床の境界を認識し、当該境界よりも下方にある領域であって当該領域と同じパターンが連続している領域を床と認識する。インテリア素材３３１が１枚もののカーペットである場合は床に当該カーペットを１枚分だけ表示させる。インテリア素材３３１がタイルカーペットである場合は、床と認識した領域すべてにタイルカーペットを敷き詰めるように表示させる。なお、顧客から部屋のサイズを聴取しておき、当該部屋のサイズに適合するようインテリア素材３３１の大きさを設定する。
【0043】
インテリア素材が床材や壁材以外である場合は、左眼用映像２３１及び右眼用映像２３２の床と認識した箇所の中央付近に、床の角度に応じて重畳表示させる。
【0044】
顧客は、インテリア素材３３１が重畳された左眼用映像２３１及び右眼用映像２３２を見ることによって、撮影された自室等に新たなインテリア素材を配置した場合の光景を、あたかも眼前にその光景が広がるかのような実感をともなって体感できる。その体感を通じて、インテリア素材３３１が好ましいと判断した場合は、注文手段３６を用いて注文すれば、インテリア素材３３１の品番等の情報がショールーム側へと伝達され、スムーズに購入することができる。
【0045】
インテリア素材３３１の選択にあたっては、ユーザーがマウス等を用いておこなってもよいが、左眼用映像２３１または右眼用映像２３２のいずれかを外部ディスプレイ３５１に表示させ、ディスプレイ３５１を見つつ営業マンが操作を行ってもよい。この場合、顧客は自身の音声等で所望のインテリア素材３３１をサービス員に伝達することで、選択を行う。注文手段３６による注文も同様にサービス員に伝達し、サービス員が操作を行うことで注文してもよい。
【0046】
上記の説明では、左眼用映像２３１及び右眼用映像２３２を用いるものとしたが、映像に代えて静止画を用いることとしてもよい。この場合、顧客には映像が停止した状態が持続するかのように感じられるが、眼前に映像が広がっているかのような感覚については何らかわることがない上に、データ量を圧縮することも可能となる。なお、静止画の撮影については映像の場合と同様に、左眼用写真を撮影した後に、右眼用写真を撮影すべき位置、角度をガイドさせる。
【0047】
以上、本発明の実施形態について説明したが、本発明の実施形態の一部または全部は、以下の付記のように記載される。
［付記１］
映像撮影装置及び映像表示装置及び映像記録装置を備えた端末を、
映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって左眼用映像を撮影する手段と、
前記左眼用映像を映像記録装置に記録する手段と、
前記左眼用映像の開始された場所から水平方向に一定距離移動した右眼用映像を開始すべき場所を映像表示装置に表示する手段と、
前記右眼用映像を開始すべき場所において映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって右眼用映像を撮影する手段と、
前記右眼用映像を映像記録装置に記録する手段と、
として機能させ、
左眼用映像表示装置及び右眼用表示装置を備えたコンピュータを
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段として機能させるためのプログラム。
［付記２］
左眼用映像表示装置及び右眼用表示装置を備えたコンピュータを
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段として機能させるためのプログラム。
［付記３］
映像撮影装置及び映像表示装置及び映像記録装置を備えた端末、及び左眼用映像表示装置及び右眼用表示装置を備えたコンピュータからなるシステムであって、
前記端末は、
映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって左眼用映像を撮影する手段と、
前記左眼用映像を映像記録装置に記録する手段と、
前記左眼用映像の開始された場所から水平方向に一定距離移動した右眼用映像を開始すべき場所を映像表示装置に表示する手段と、
前記右眼用映像を開始すべき場所において映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって右眼用映像を撮影する手段と、
前記右眼用映像を映像記録装置に記録する手段とを備え、
前記コンピュータは、
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするシステム。
［付記４］
左眼用映像表示装置及び右眼用表示装置を備えたコンピュータであって、
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするコンピュータ。
［付記１］
映像撮影装置及び映像表示装置及び映像記録装置を備えた端末を、
映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって左眼用映像を撮影する手段と、
前記左眼用映像を映像記録装置に記録する手段と、
前記左眼用映像の開始された場所から水平方向に一定距離移動した右眼用映像を開始すべき場所を映像表示装置に表示する手段と、
前記右眼用映像を開始すべき場所において映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって右眼用映像を撮影する手段と、
前記右眼用映像を映像記録装置に記録する手段と、
として機能させ、
左眼用映像表示装置及び右眼用表示装置を備えたコンピュータを
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段として機能させるためのプログラム。
［付記２］
左眼用映像表示装置及び右眼用表示装置を備えたコンピュータを
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段として機能させるためのプログラム。
［付記３］
映像撮影装置及び映像表示装置及び映像記録装置を備えた端末、及び左眼用映像表示装置及び右眼用表示装置を備えたコンピュータからなるシステムであって、
前記端末は、
映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって左眼用映像を撮影する手段と、
前記左眼用映像を映像記録装置に記録する手段と、
前記左眼用映像の開始された場所から水平方向に一定距離移動した右眼用映像を開始すべき場所を映像表示装置に表示する手段と、
前記右眼用映像を開始すべき場所において映像の撮影が指示されると、終了の指示があるまで映像撮影装置によって右眼用映像を撮影する手段と、
前記右眼用映像を映像記録装置に記録する手段とを備え、
前記コンピュータは、
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするシステム。
［付記４］
左眼用映像表示装置及び右眼用表示装置を備えたコンピュータであって、
予め撮影された左眼用映像及び右眼用映像の入力を受け付ける手段と、
前記左眼用映像を前記左眼用映像表示装置に、前記右眼用映像を前記右眼用映像表示装置に表示する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び／または前記右眼用映像にそれぞれインテリア素材候補を重畳して表示させる手段と、
前記インテリア素材候補から特定のインテリア素材候補の選択を受け付ける手段と、
前記左眼用映像及び右眼用映像中の風景を解析し、床に該当する領域を認識する手段と、
前記左眼用映像表示装置及び／または前記右眼用映像表示装置に、前記左眼用映像及び右眼用映像中の前記床に該当する領域に前記特定のインテリア素材候補を重畳して表示させる手段を備えていることを特徴とするコンピュータ。
【符号の説明】
【0048】
１ ＶＲ映像表示システム
２ 映像撮影装置
２１ 映像撮影手段
２１１ ディスプレイ
２２ 撮影位置ガイド手段
２３ 映像保存手段
２３１ 左眼用映像
２３２ 右眼用映像
３ ＶＲ映像表示装置
３１ 映像入力手段
３２ ステレオ映像合成手段
３３ インテリア素材選択手段
３３１ インテリア素材
３４ 素材重畳合成手段
３５ ＶＲ表示装置
３５１ 左眼用映像表示装置
３５２ 右眼用映像表示装置
３５３ 固定器具
２ 映像撮影装置
２１ 映像撮影手段
２１１ ディスプレイ
２２ 撮影位置ガイド手段
２３ 映像保存手段
２３１ 左眼用映像
２３２ 右眼用映像
３ ＶＲ映像表示装置
３１ 映像入力手段
３２ ステレオ映像合成手段
３３ インテリア素材選択手段
３３１ インテリア素材
３４ 素材重畳合成手段
３５ ＶＲ表示装置
３５１ 左眼用映像表示装置
３５２ 右眼用映像表示装置
３５３ 固定器具
【図1】
【図2】
【図3】
