(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6987998
(24)【登録日】2021年12月3日
(45)【発行日】2022年1月5日
(54)【発明の名称】仮想現実モデルにおいてユーザをナビゲートするためのシステム、および方法
(51)【国際特許分類】
G06Q 50/16 20120101AFI20211220BHJP
【FI】
G06Q50/16
【請求項の数】14
【全頁数】17
(21)【出願番号】特願2020-536748(P2020-536748)
(86)(22)【出願日】2019年5月30日
(65)【公表番号】特表2021-507423(P2021-507423A)
(43)【公表日】2021年2月22日
(86)【国際出願番号】CN2019089258
(87)【国際公開番号】WO2019228452
(87)【国際公開日】20191205
【審査請求日】2020年7月3日
(31)【優先権主張番号】201810540326.1
(32)【優先日】2018年5月30日
(33)【優先権主張国】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】520098305
【氏名又は名称】ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】KE.COM (BEIJING) TECHNOLOGY CO., LTD.
(74)【代理人】
【識別番号】110000040
【氏名又は名称】特許業務法人池内アンドパートナーズ
(72)【発明者】
【氏名】ヤン、ユケ
【審査官】
宮地 匡人
(56)【参考文献】
【文献】
米国特許出願公開第2018/0143023(US,A1)
【文献】
特開2001−236396(JP,A)
【文献】
米国特許出願公開第2017/0270711(US,A1)
【文献】
特開2002−064799(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00−99/00
(57)【特許請求の範囲】
【請求項1】
物件の三次元モデル内でユーザをナビゲートするシステムであって、
前記物件の画像がカメラで撮影されるカメラ位置にそれぞれ対応する複数の点位置に関連付けられたデータを記憶するように構成された記憶装置と、
少なくとも1つのプロセッサとを備え、
前記少なくとも1つのプロセッサは、
前記点位置間の接続性を判定し、
前記物件を第1の紹介位置において上映し、
前記第1の紹介位置と第2の紹介位置とを結ぶ複数の候補経路を決定し、各候補経路について、前記第1の紹介位置及び前記第2の紹介位置と異なる点位置の部分群を、前記接続性に基づいて自動的に選択し、各候補経路は、選択された前記点位置の部分群を通るものであり、
前記候補経路から1つの経路を選択し、
選択された前記経路上の前記点位置に対応する景色を連続的に表示するように構成されており、各点位置における景色は、前記点位置に対応するカメラ位置において撮影された画像から描画されていて、
前記候補経路から1つの経路を選択するために、前記少なくとも1つのプロセッサは、
各候補経路上の点位置の数を判定し、
閾値数よりも少ない数の点位置を有する候補経路の部分群を特定し、
前記候補経路の部分群における各候補経路上の隣接する2つの点位置間ごとの距離を判定し、
前記候補経路の部分群における各候補経路の長さを、前記距離の合計として決定し、
最短の長さを有する候補経路を選択するようにさらに構成されていることを特徴とする、システム。
【請求項2】
前記点位置間の接続性を判定するために、前記少なくとも1つのプロセッサは、
一対の点位置を結ぶ接続線が少なくとも1つの障害物と交差している場合に、前記一対の点位置は接続可能でないと判定し、
前記接続線がいかなる障害物とも交差していない場合に、前記一対の点位置は接続可能であると判定するようにさらに構成されている、請求項1に記載のシステム。
【請求項3】
前記物件は、複数の機能空間に分割された不動産物件であり、
前記第1の紹介位置は、第1の機能空間内に配置され、前記第2の紹介位置は、第2の機能空間内に配置される、請求項1に記載のシステム。
【請求項4】
前記少なくとも1つのプロセッサは、前記第1の機能空間を前記第1の紹介位置において紹介すると共に、前記第2の機能空間を前記第2の紹介位置において紹介する音声コンテンツを表示するようにさらに構成されている、請求項3に記載のシステム。
【請求項5】
前記候補経路から1つの経路を選択するために、前記少なくとも1つのプロセッサは、
各候補経路の点位置の数を判定し、前記候補経路のうちの最多の数の点位置を有する経路を選択するようにさらに構成されている、請求項1に記載のシステム。
【請求項6】
選択された前記経路上の点位置に対応する景色を連続的に表示するために、前記少なくとも1つのプロセッサは、
選択された前記経路上の1つの点位置から選択された前記経路上の隣接する点位置まで、ユーザを、前記第1の紹介位置から前記第2の紹介位置に向かう方向にナビゲートし、
前記ユーザが前記隣接する点位置にいる時には、前記隣接する点位置に対応する景色を前記方向に方向付けて表示するように構成されている、請求項1に記載のシステム。
【請求項7】
物件の三次元モデル内でユーザをナビゲートする、コンピュータにより実施される方法であって、
前記物件の画像がカメラで撮影されるカメラ位置にそれぞれ対応する複数の点位置に関連付けられたデータを受信するステップと、
少なくとも1つのプロセッサによって、前記点位置間の接続性を判定するステップと、
前記物件を第1の紹介位置において上映するステップと、
前記少なくとも1つのプロセッサによって、前記第1の紹介位置と第2の紹介位置とを結ぶ複数の候補経路を決定し、各候補経路について、前記第1の紹介位置及び前記第2の紹介位置と異なる点位置の部分群を、前記接続性に基づいて自動的に選択するステップであって、各候補経路は、選択された前記点位置の部分群を通るステップと、
前記少なくとも1つのプロセッサによって、前記候補経路から1つの経路を選択するステップと、
選択された前記経路上の前記点位置に対応する景色を、ディスプレイ上に連続的に表示するステップであって、各点位置における景色は、前記点位置に対応するカメラ位置において撮影された画像から、前記少なくとも1つのプロセッサによって描画されているステップとを含み、
前記候補経路から1つの経路を選択するステップは、
各候補経路上の点位置の数を判定するステップと、
閾値数よりも少ない数の点位置を有する候補経路の部分群を特定するステップと、
前記候補経路の部分群における各候補経路上の隣接する2つの点位置間ごとの距離を判定するステップと、
前記候補経路の部分群における各候補経路の長さを、前記距離の合計として決定するステップと、
最短の長さを有する候補経路を選択するステップとをさらに含むことを特徴とする、方法。
【請求項8】
前記点位置間の接続性を判定するステップは、
一対の点位置を結ぶ接続線が少なくとも1つの障害物と交差している場合に、前記一対の点位置は接続可能でないと判定するステップと、
前記接続線がいかなる障害物とも交差していない場合に、前記一対の点位置は接続可能であると判定するステップとをさらに含む、請求項7に記載の方法。
【請求項9】
前記物件は、複数の機能空間に分割された不動産物件であり、
前記第1の紹介位置は、第1の機能空間内に配置され、前記第2の紹介位置は、第2の機能空間内に配置される、請求項7に記載の方法。
【請求項10】
前記第1の機能空間を前記第1の紹介位置において紹介すると共に、前記第2の機能空間を前記第2の紹介位置において紹介する音声コンテンツを表示するステップをさらに含む、請求項9に記載の方法。
【請求項11】
前記候補経路から1つの経路を選択するステップは、
各候補経路上の点位置の数を判定するステップ、および、
前記候補経路のうちの最多の数の点位置を有する経路を選択するステップをさらに含む、請求項7に記載の方法。
【請求項12】
選択された前記経路上の点位置に対応する景色を連続的に表示するステップは、
選択された前記経路上の1つの点位置から選択された前記経路上の隣接する点位置まで、ユーザを、前記第1の紹介位置から前記第2の紹介位置に向かう方向にナビゲートするステップと、
前記ユーザが前記隣接する点位置にいる時には、前記隣接する点位置に対応する景色を前記方向に方向付けて表示するステップとをさらに含む、請求項7に記載の方法。
【請求項13】
少なくとも1つのプロセッサによって実行されると、物件の三次元モデル内でユーザをナビゲートする方法を実施するコンピュータ指示が記憶された非一時的コンピュータ可読媒体であって、前記方法は、
前記物件の画像がカメラで撮影されるカメラ位置にそれぞれ対応する複数の点位置に関連付けられたデータを受信するステップと、
前記点位置間の接続性を判定するステップと、
前記物件を第1の紹介位置において上映するステップと、
前記第1の紹介位置と第2の紹介位置とを結ぶ複数の候補経路を決定し、各候補経路について、前記第1の紹介位置及び前記第2の紹介位置と異なる点位置の部分群を、前記接続性に基づいて自動的に選択するステップであって、各候補経路は、選択された前記点位置の部分群を通るステップと、
前記候補経路から1つの経路を選択するステップと、
選択された前記経路上の前記点位置に対応する景色を連続的に表示するステップであって、各点位置における景色は、前記点位置に対応するカメラ位置において撮影された画像から描画されているステップとを含み、
前記候補経路から1つの経路を選択するステップは、
各候補経路上の点位置の数を判定するステップと、
閾値数よりも少ない数の点位置を有する候補経路の部分群を特定するステップと、
前記候補経路の部分群における各候補経路上の隣接する2つの点位置間ごとの距離を判定するステップと、
前記候補経路の部分群における各候補経路の長さを、前記距離の合計として決定するステップと、
最短の長さを有する候補経路を選択するステップとをさらに含むことを特徴とする、非一時的コンピュータ可読媒体。
【請求項14】
データ処理装置で実行されると、請求項1〜6のいずれかに記載のシステムを提供するように、または、請求項7〜12のいずれかに記載の方法ステップを実施するように構成されていることを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、仮想現実技術を用いて物件見学を行うためのシステム、および方法に関し、より詳細には、物件の三次元モデル内でユーザを、複数の点位置を結ぶ選択された経路を通してナビゲートするためのシステム、および方法に関する。
【背景技術】
【0002】
本願は、2018年5月30日に出願された中国出願番号第201810540326.1号の優先権を主張するものであり、その全体を参照により本願の一部をなすものとして引用する。
【0003】
不動産市場では、物件を購入、または賃借したい場合、通常、まず物件を見学して、レイアウト、および家具配置を視覚的に体験することを求めることになるだろう。家見学は、多くの場合、例えば、物件所有者や不動産業者によって対面で行われる。見学の間、訪問者は、物件を見て回ることができ、見学に同行する物件の所有者/業者は、当該物件の特徴を訪問者に紹介することになる。例えば、訪問者が台所にいる場合、その部屋、キャビネット、および、調理台スペースのサイズ、取り付けられている電化製品、並びに、照明条件といった特徴が、口頭で紹介される。物件見学は、潜在的な購入者/賃借者にとっては有益であるが、時間がかかり、非効率的でもある。
【0004】
近年、仮想現実(VR)技術を適用して、これらの見学を仮想的に行うことが行われている。物件の動画、画像、および、点群データが予め取得される。この点群データ、および/または、画像に基づいて、三次元モデルが描画される。その結果、訪問者は、物件を遠隔から視認でき、対面で視認する必要はない。他方、物件の所有者/業者は、システムにログインして、物件の特徴をリアルタイムで紹介することができる。したがって、VR見学は、対面での体験を仮想的にオンラインで再現することにより、訪問者、および物件の所有者/業者の双方の時間を節約する。
【0005】
しかしながら、VR見学には課題も残っている。特に、物件は、通常、台所、居間、食堂、軽食用コーナー、勉強部屋、寝室、および、洗面所といった複数の部屋、または機能空間を含む。訪問者が1つの部屋の見学を終了して次の部屋を見たい場合、従来のVR見学技術は、通常、例えば画像を突然切り替えることによって、景色を一つ部屋から別の部屋に直接移行させる。このような移行は、訪問者が次の部屋に案内される、ユーザの実生活における経験と矛盾するものである。例えば、訪問者が部屋を繋ぐ廊下やドアを通って歩く場合、物件のレイアウト、および、さらなる物件の景色を、通路に沿って体験し続けるであろう。これら全てが、従来のVR見学技術による突然の移行により失われることになる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示の実施形態は、物件の三次元モデル内でユーザを、複数の点位置を繋ぐ選択された経路を通してナビゲートすることによって、既存のVR見学システム、および方法を改善するものである。
【課題を解決するための手段】
【0007】
一態様では、物件の三次元モデル内でユーザをナビゲートするシステムが開示される。このシステムは、複数の点位置に関連付けられたデータを記憶するように構成された記憶装置を含む。各点位置は、前記物件の画像、および点群データをカメラで撮影するカメラ位置に対応する。このシステムは、前記点位置間の接続性を判定し、第1の紹介位置と第2の紹介位置とを結ぶ複数の候補経路を決定する少なくとも1つのプロセッサをさらに含む。各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものである。少なくとも1つのプロセッサは、前記候補経路から1つの経路を選択し、選択された経路上の点位置に対応する景色を連続的に表示するようにさらに構成されている。各点位置における景色は、この点位置に対応するカメラ位置において撮影された画像から描画されている。
【0008】
別の一態様では、物件の三次元モデル内でユーザをナビゲートする、コンピュータにより実施される方法が開示される。この方法は、複数の点位置に関連付けられたデータを受信するステップを含む。各点位置は、前記物件の画像がカメラで撮影されるカメラ位置に対応する。この方法は、少なくとも1つのプロセッサによって、点位置間の接続性を判定するステップと、少なくとも1つのプロセッサによって、第1の紹介位置と第2の紹介位置とを結ぶ複数の候補経路を決定するステップとをさらに含む。各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものである。この方法はまた、少なくとも1つのプロセッサによって、候補経路から1つの経路を選択するステップと、選択された経路上の点位置に対応する景色を、ディスプレイ上に連続的に表示するステップと、を含む。各点位置における景色は、この点位置に対応するカメラ位置において撮影された画像から、少なくとも1つのプロセッサによって描画されている。
【0009】
さらに別の一態様では、コンピュータ指示が記憶された非一時的コンピュータ可読媒体が開示される。このコンピュータ指示は、少なくとも1つのプロセッサによって実行されると、物件の三次元モデル内でユーザをナビゲートする方法を実施する。この方法は、複数の点位置に関連付けられたデータを受信するステップを含む。各点位置は、前記物件の画像がカメラで撮影されるカメラ位置に対応する。この方法は、前記点位置間の接続性を判定するステップと、第1の紹介位置と第2の紹介位置とを結ぶ複数の候補経路を決定するステップとをさらに含む。各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものである。この方法はまた、候補経路から1つの経路を選択するステップと、選択された経路上の点位置に対応する景色を連続的に表示するステップと、を含む。各点位置における景色は、この点位置に対応するカメラ位置において撮影された画像から描画されている。
【0010】
さらに別の一態様では、物件の三次元モデル内でユーザをナビゲートするシステムが開示される。このシステムは、複数の点位置に関連付けられたデータを記憶するように構成された記憶装置であって、各点位置は、前記物件の画像、および点群データをカメラで撮影するカメラ位置に対応する記憶装置と、少なくとも1つのプロセッサと、を含む。少なくとも1つのプロセッサは、前記点位置間の接続性を判定し、第1の紹介位置と第2の紹介位置とを結ぶ複数の候補経路を決定し、各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものであり、候補経路から1つの経路を選択し、選択された経路上の点位置に対応する景色を連続的に表示するように構成されており、各点位置における景色は、この点位置に対応するカメラ位置において撮影された画像から描画されている。
【0011】
一例では、前記点位置間の接続性を判定するために、前記少なくとも1つのプロセッサは、一対の点位置を接続線で接続し、前記接続線がいかなる障害物とも交差していないことを判定し、前記一対の点位置が接続可能であることを判定するようにさらに構成されている。
【0012】
一例では、前記障害物は、前記物件の分離構造物、前記物件内の備品、家具、または、装飾品である。
【0013】
一例では、前記物件は、複数の機能空間に分割された不動産物件であり、前記少なくとも1つのプロセッサは、前記三次元モデル内の第1の機能空間から第2の機能空間に前記ユーザをナビゲートする指示を受信し、前記第1の機能空間における前記第1の紹介位置、および、前記第2の機能空間における前記第2の紹介位置を特定するように構成されている。
【0014】
一例では、前記候補経路から1つの経路を選択するために、前記少なくとも1つのプロセッサは、各候補経路上の点位置の数を判定して、閾値数よりも少ない数の点位置を有する候補経路の部分群を特定すること、または、各候補経路の長さを判定して、最短の長さを有する経路を特定すること、を行うようにさらに構成されており、前記閾値数よりも少ない数の点位置、および/または、最短の長さを有する候補経路が選択される。
【0015】
一例では、前記候補経路の長さを判定するために、前記少なくとも1つのプロセッサは、前記候補経路上の隣接する2つの点位置間ごとの距離を判定し、前記候補経路の長さを、前記距離の合計として決定するようにさらに構成されている。
【0016】
一例では、選択された前記経路上の点位置に対応する景色を連続的に表示するために、前記少なくとも1つのプロセッサは、選択された前記経路上の1つの点位置から選択された前記経路上の隣接する点位置まで、ユーザを、前記第1の紹介位置から前記第2の紹介位置に向かう方向にナビゲートし、前記ユーザが前記隣接する点位置にいる時には、前記隣接する点位置に対応する景色を前記方向に方向づけて表示するように構成されている。
【0017】
さらに別の一態様では、物件の三次元モデル内でユーザをナビゲートする、コンピュータにより実施される方法が開示される。この方法は、前記物件の画像がカメラで撮影されるカメラ位置にそれぞれ対応する複数の点位置に関連付けられたデータを受信するステップと、少なくとも1つのプロセッサによって、前記点位置間の接続性を判定するステップと、前記少なくとも1つのプロセッサによって、第1の紹介位置と第2の紹介位置とを結ぶ複数の候補経路を決定するステップであって、各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものであるステップと、前記少なくとも1つのプロセッサによって、前記候補経路から1つの経路を選択するステップと、選択された前記経路上の前記点位置に対応する景色を、ディスプレイ上に連続的に表示するステップであって、各点位置における景色は、前記点位置に対応するカメラ位置において撮影された画像から、前記少なくとも1つのプロセッサによって描画されているステップと、を含む。
【0018】
一例では、前記点位置間の接続性を判定するステップは、一対の点位置を接続線で接続するステップと、前記接続線がいかなる障害物とも交差していないことを判定するステップと、前記一対の点位置が接続可能であることを判定するステップと、をさらに含む。
【0019】
一例では、前記障害物は、前記物件の分離構造物、前記物件内の備品、家具、または、装飾品である。
【0020】
一例では、前記物件は、複数の機能空間に分割された不動産物件であり、前記コンピュータにより実施される方法は、前記三次元モデル内の第1の機能空間から第2の機能空間に前記ユーザをナビゲートする指示を受信するステップと、前記第1の機能空間における前記第1の紹介位置、および、前記第2の機能空間における前記第2の紹介位置を特定するステップと、をさらに含む。
【0021】
一例では、前記候補経路から1つの経路を選択するステップは、各候補経路上の点位置の数を判定して、閾値数よりも少ない数の点位置を有する候補経路の部分群を特定するステップ、または、各候補経路の長さを判定して、最短の長さを有する経路を特定するステップ、をさらに含み、前記閾値数よりも少ない数の点位置、および/または、最短の長さを有する候補経路が選択される。
【0022】
一例では、前記候補経路の長さを判定するステップは、前記候補経路上の隣接する2つの点位置間ごとの距離を判定するステップと、前記候補経路の長さを、前記距離の合計として決定するステップと、をさらに含む。
【0023】
一例では、選択された前記経路上の点位置に対応する景色を連続的に表示するステップは、選択された前記経路上の1つの点位置から選択された前記経路上の隣接する点位置まで、ユーザを、前記第1の紹介位置から前記第2の紹介位置に向かう方向にナビゲートするステップと、前記ユーザが前記隣接する点位置にいる時には、前記隣接する点位置に対応する景色を前記方向に方向づけて表示するステップと、をさらに含む。
【0024】
さらに別の一態様では、コンピュータプログラム製品が開示される。このコンピュータプログラム製品は、データ処理装置で実行されると、上述のシステムを提供するように、または、上述の方法ステップを実施するように構成されたプログラム指示を含む。
【0025】
前述の一般的な説明、および以下の詳細な説明は、いずれも、単に例示的、および説明のためのものであり、本発明を請求されるように制限するためのものではないことは、理解されよう。
【図面の簡単な説明】
【0026】
【
図1】本開示の実施形態に係る、複数の部屋を含む典型的な三次元モデルを示す概略図である。
【
図2】本開示の実施形態に係る、三次元モデルにおける典型的な部屋を示す概略図である。
【
図3】本開示の実施形態に係る、三次元モデル内でユーザをナビゲートするための典型的なシステムを示すブロック図である。
【
図4】本開示の実施形態に係る、三次元モデル内でユーザをナビゲートするための典型的な方法を示すフローチャートである。
【
図5】本開示の実施形態に係る、点位置間の接続性を判定するための典型的な方法を示すフローチャートである。
【
図6】本開示の実施形態に係る、典型的な候補経路を示す図である。
【
図7】本開示の実施形態に係る、候補経路から1つの経路を選択するための典型的な方法を示すフローチャートである。
【発明を実施するための形態】
【0027】
以下に、典型的な実施形態を詳細に参照する。これらの実施形態の例は、添付の図面に示されている。図面を通して、可能であればどの個所でも、同一、または類似の部品を説明するために同一の参照番号を使用する。
【0028】
図1は、本開示の実施形態に係る、複数の部屋を含む典型的な三次元モデル100を示す概略図である。幾つかの実施形態において、三次元モデル100は、家、アパート、マンション、ガレージ、倉庫、オフィスビル、ホテル、および、商店等といった物件のモデルであり得る。
図1に示されるように、三次元モデル100は、現実世界の物件を、そのレイアウト(例えば、壁やカウンタといった、その物件を幾つかの部屋に分けるフレーム構造物)、仕上げ(例えば、台所/洗面所のキャビネット、浴槽、アイランド型調理台、等)、取り付けられている備品(例えば、電化製品、窓飾り、シャンデリア、等)、並びに、家具、および装飾品(例えば、ベッド、机、テーブル、および椅子、ソファー、TV台、本棚、壁絵画、鏡、植物、等)を含めて、仮想的に再現する。
【0029】
三次元モデル100は、内壁によって、複数の部屋、または機能空間に分割され得る。幾つかの部屋は、複数の機能を有し得る。例えば、三次元モデル100は、居間、および台所の結合機能を有する大部屋110を備え得る。三次元モデル100は、2つの寝室120および130、それらに備え付けられた洗面所、並びに、バルコニーをさらに備え得る。
図2は、本開示の実施形態に係る、三次元モデル100内の典型的な大部屋110を示す概略図である。これらの部屋は、廊下、およびドアによって接続されていてもよい。
【0030】
三次元モデル100の各部屋は、少なくとも1つの紹介位置を含む。例えば、大部屋110は紹介位置112を含み、寝室120は紹介位置115を含む。本開示によれば、「紹介位置」とは、ユーザが、物件の所有者/業者による紹介を聞く際にその部屋で立つことになる物理的な位置に対応する、三次元モデルにおける位置である。換言すると、VRツールのユーザは、この紹介位置から部屋を視認する。幾つかの実施形態では、音声コンテンツが紹介位置においてユーザに表示され、各部屋の特徴を口頭で紹介することができる。この紹介は、物件の所有者/業者によってリアルタイムで提供されてもよいし、または、事前に記録されて、ユーザがその紹介位置に来た時に再生されてもよい。
【0031】
三次元モデル100の各部屋内には、幾つかの点位置が設置され得る。例えば、大部屋110には、点位置111および113が設置されており、寝室120には、点位置114が設置されている。本開示によれば、「点位置」とは、物件の画像、および動画が撮影されるカメラ位置に対応する、三次元モデルにおける位置を指す。幾つかの実施形態では、紹介位置112および115が点位置であり得る。
【0032】
図2に示されるように、ユーザ210は、部屋の特徴の紹介を受けるために、大部屋110内の紹介位置112につくことが可能である。ユーザ210は、紹介位置112において、大部屋110の画像、または動画を見たり、口頭の紹介を聞いたりすることが可能である。カメラ220が、点位置113および/または112に設置されて、大部屋110の画像、および/または、動画を撮影し得る。幾つかの実施形態では、カメラ220は、デジタルカメラ、双眼カメラ、ビデオカメラ、パノラマ式カメラ、等であり得る。幾つかの実施形態では、カメラ220は、部屋の(例えば、立体情報を含む)三次元情報を撮影するように構成されていることが可能である。カメラ220は、三脚の上に取り付けられてもよいし、または、操作者によって運ばれてもよい。カメラ220は、異なる角度、および高さで画像、または動画を撮影するために、回転させるか、そうでなければ調節されることが可能である。
【0033】
幾つかの実施形態では、VR家見学の間、VRツールは、三次元モデルの1つの部屋から別の部屋に移行し得る。例えば、ユーザ210は、大部屋110の見学を終了すると、寝室120に移動したいと思うかもしれない。本開示によれば、ユーザ210を物件の三次元モデル100内で(例えば、大部屋110から寝室120まで)ナビゲートするためのシステム、および方法が提供される。第1の部屋内の紹介位置112における景色から直接、第2の部屋内の紹介位置115における景色に移行する代わりに、本開示のシステム、および方法は、ユーザ210を、紹介位置112から紹介位置115まで、1つ、または複数の点位置、例えば点位置113および114を通る経路に沿ってナビゲートする。幾つかの実施形態では、本開示のシステム、および方法は、この経路を複数の候補経路から選択する。これらの候補経路は、ユーザが大部屋110内の紹介位置112から寝室120内の紹介位置115に到達するためにたどることができる異なる経路である。各候補経路は、異なる点位置の群を通るものである。
【0034】
幾つかの実施形態では、本開示のシステム、および方法は、まず、関連する点位置間の接続性を判定し、その後、接続可能である判定された点位置の群を連結することにより紹介位置112と紹介位置115とを接続する候補経路を定める。本開示のシステム、および方法は、その後、一定の基準に基づき候補経路から最良の経路を選択する。選択された経路上の点位置に対応する景色が、連続的にユーザに表示され、ユーザがその経路を通って大部屋110から紹介位置115に歩く時の、より実際に近い体験を提供する。幾つかの実施形態では、各点位置における景色は、当該点位置に対応するカメラ位置において以前に撮影された画像から描画される。幾つかの実施形態では、これらの景色は、ユーザが、各点位置に向かって歩く時に向いている方向に方向づけられている。例えば、ユーザは、紹介位置112から点位置113を指す方向に向いていることが可能であり、したがって、点位置113における景色は、ユーザに示される時には、その方向において描画されることになる。
【0035】
図1に示される典型的な三次元モデルは、屋内の空間、および構造物だけを示しているが、モデルが、デッキ、前庭/裏庭、ガレージ、および、近隣環境といった屋外の間、および構造物を含んでいてもよいことも想定される。ユーザが、屋内の紹介位置から屋外の紹介位置まで、または、屋外の紹介位置から屋内の紹介位置まで、例えばドアを通ってナビゲートされてもよい。当業者は、屋外を表示するための実験を過度に行わずに、開示されるこのシステム、および方法を適用可能である。
【0036】
図3は、本開示の実施形態に係る、三次元モデル内でユーザをナビゲートするための典型的なシステム300を示すブロック図である。幾つかの実施形態では、システム300は、物理サーバ、またはクラウド内のサービスによって実施され得る。幾つかの他の実施形態では、システム300は、コンピュータ、または、例えば携帯電話、パッド、若しくは、ウェアラブルデバイスといった家電製品によって実施され得る。
図3に示されるように、システム300は、通信インターフェイス302、プロセッサ304、メモリ306、記憶装置308、および、バス310を含み得る。幾つかの実施形態では、システム300は、(特定用途向け集積回路(ASIC)、または、フィールド・プログラマブル・ゲート・アレイ(FPGA)として実施された)集積回路(IC)チップといった単一の装置、または、独自の機能を有する別々の装置における異なるモジュールを有し得る。システム300の構成要素は、1つの装置に集積されていていることが可能であり、または、異なる位置に分散されているが互いにネットワーク(図示せず)を介して通信することが可能である。システム300の様々な構成要素は、バス310に接続されており、バス310を介して互いに通信できる。
【0037】
通信インターフェイス302は、電波、セルラーネットワーク、および/または、ローカル無線ネットワーク(例えば、ブルートゥース(Bluetooth(商標))、または、WiFi)、若しくは、他の通信方法を用いて、直接通信リンク、ワイヤレスローカルエリアネットワーク(WLAN)、広域ネットワーク(WAN)、無線通信ネットワークを介して、カメラ220、およびデータベース301といった構成要素に対してデータを送受信し得る。幾つかの実施形態では、通信インターフェイス302は、総合デジタル通信網(ISDN)カード、ケーブルモデム、衛星モデム、または、データ通信接続を提供するモデムであり得る。他の例としては、通信インターフェイス302は、互換性のあるLANに対してデータ通信接続を提供するローカルエリアネットワーク(LAN)カードであり得る。無線リンクが、通信インターフェイス302によって実施されていてもよい。このような実施例では、通信インターフェイス302は、ネットワークを介して様々な情報を表すデジタルデータ流を運ぶ、電気信号、電磁信号、または、光信号を送受信することが可能である。
【0038】
幾つかの実施形態によれば、通信インターフェイス302は、物件の三次元モデルを受信し得る。モデルは、点群データ、および、物件を撮影した画像に基づき構成され得る。幾つかの実施形態では、三次元モデルは、VR見学のリアルタイムにおいて、または、見学の前のオフラインにおいて、描画され得る。本開示によれば、通信インターフェイス302は、物件におけるカメラ位置のデータ、および、これらのカメラ位置において撮影された物件の画像/動画を受信し得る。三次元モデル、カメラ位置、および、画像/動画は、データベース301に記憶され得る。通信インターフェイス302は、受信された情報、またはデータを、記憶のためにメモリ306、および/または、記憶装置308に提供してもよいし、または、処理のためにプロセッサ304に提供してもよい。
【0039】
プロセッサ304は、任意の適切な種類の汎用、または特殊用途のマイクロプロセッサ、デジタル信号プロセッサ、または、マイクロコントローラを含み得る。プロセッサ304は、VR家見学を提供するために特化された別体のプロセッサモジュールとして構成されていてもよい。あるいは、プロセッサ404は、VR家見学に関係した、または、無関係の他の機能を行うための共有のプロセッサモジュールとして構成されていてもよい。例えば、VR家見学は、多目的装置にインストールされた単に1つのアプリケーションである。
【0040】
図3に示されるように、プロセッサ304は、点位置判定ユニット340、候補経路判定ユニット342、経路選択ユニット344、景色描画ユニット346、等といった複数のモジュールを含み得る。これらのモジュール(および、対応する任意のサブモジュールまたはサブユニット)は、プロセッサ304のハードウェアユニット(例えば、集積回路の一部)であることが可能であり、他の構成要素と一緒に使用されるように、または、プログラムの一部を実施するように意図されている。このプログラムは、コンピュータ可読媒体(例えば、メモリ306、および/または、記憶装置308)に記憶されることが可能であり、プロセッサ304によって実行される場合、1つ、または複数の機能を実施可能である。
図3は、全てのユニット340〜346が1つのプロセッサ304内にあることを示しているが、これらのユニットは、互いに近接、または離隔して配置された複数のプロセッサ間に分散され得ることも想定される。
【0041】
メモリ306、および記憶装置308は、プロセッサ304が動作するために必要とし得る任意の種類の情報を記憶するために設けられた、任意の好適な種類の大容量記憶装置を含み得る。メモリ306、および記憶装置308は、揮発性若しくは不揮発性媒体、磁気媒体、半導体媒体、テープ式媒体、光学媒体、リムーバブル媒体、固定式媒体、または、他の種類の記憶装置若しくはタンジブルな(すなわち、非一時的な)コンピュータ可読媒体であってよく、ROM、フラッシュメモリ、ダイナミックRAM、および、スタティックRAMを含むが、これらに限定されない。メモリ306、および/または、記憶装置308は、本明細書に開示される歩行軌道機能を実施するために、プロセッサ304によって実行され得る1つ、または複数のコンピュータプログラムを記憶するように構成されていてよい。例えば、メモリ306、および/または、記憶装置308は、プロセッサ304によって実行され、物件の特徴をユーザに三次元モデル内の紹介位置において紹介すること、および、ユーザを当該モデルにおける紹介位置の間にナビゲートすることによって、物件のVR見学をユーザに提供することが可能なプログラムを記憶するように構成されていてもよい。
【0042】
メモリ306、および/または、記憶装置308は、さらに、プロセッサ304によって使用される情報、およびデータを記憶するように構成されていてもよい。例えば、メモリ306、および/または、記憶装置308は、様々なカメラ位置、および、これらのカメラ位置においてカメラ220によって撮影された物件の画像/動画を記憶するように構成されていてもよい。メモリ306、および/または、記憶装置308は、プロセッサ304によって生成された中間データ、例えば、これらのカメラ位置に対応する三次元モデルにおける点位置、これらの点位置の接続性、2つの紹介位置を結ぶ候補経路、および、点位置において描画された景色を記憶するように構成されていてもよい。様々な種類のデータが、永続的に記憶されてもよい、周期的に消去されてもよい、または、データの各フレームが処理された直後に無視されてもよい。
【0043】
幾つかの実施形態では、システム300は、任意によりディスプレイ303を含み得る。幾つかの実施形態では、ディスプレイ303は、システム300に対して外付けであり、システム300に接続されることが可能である。ディスプレイ303は、三次元モデルにおける景色をユーザに表示することが可能である。幾つかの実施形態では、ディスプレイ303は、さらに、ユーザ入力を受信するためのユーザインターフェースとして機能し得る。ディスプレイ303は、液晶ディスプレイ(LCD)、発光ダイオードディスプレイ(LED)、プラズマディスプレイ、または、任意の他の種類のディスプレイを含むことが可能であり、ユーザ入力、およびデータ表示のためにディスプレイ上に表示されるグラフィカルユーザインターフェース(GUI)を提供できる。このディスプレイは、プラスチック、またはガラスといった多数の異なる種類の材料を含んでいてもよく、ユーザからの指令を受信するタッチセンサ式であってもよい。例えば、このディスプレイは、ゴリラ・ガラス(Gorilla Glass(商標))といった実質的に剛体のタッチセンサ式材料、または、ウィロー・ガラス(Willow Glass(商標))といった実質的に柔軟なタッチセンサ式材料を含んでいてもよい。
【0044】
プロセッサ304のモジュールは、メモリ306/記憶装置308に記憶されたプログラムを実行して、VR見学をユーザに提供するための方法を実施するように構成されていてもよい。例えば、
図4は、本開示の実施形態に係る、三次元モデル内でユーザをナビゲートするための典型的な一方法400を示すフローチャートである。方法400は、以下に示すようなステップS402〜S420を含み得る。これらのステップのうちの幾つかは、本明細書の開示の実施にとって任意のステップであり得ることは理解されよう。また、これらのステップのうちの幾つかは、同時に実施されてもよいし、または、
図4に示される順番とは異なる順番に実施されてもよい。説明のために、方法400は、ユーザを、(
図1に示されるような)三次元モデル100の大部屋110から寝室120までナビゲートすることに関して説明される。しかしながら、方法400は、本モデルの他の部屋の間や、屋内空間と屋外空間との間をナビゲートするために実施されてもよいし、複数の物件の異なるモデルの場合に実施されてもよい。
【0045】
幾つかの実施形態では、システム300が、ユーザを現在の部屋から次の部屋に移動させる指示を受信すると、方法400が始動され得る。幾つかの実施形態では、システム300は、現在の部屋の紹介が終わりそうになったことを検出すると、自動的に方法400を開始し得る。
【0046】
ステップS402において、通信インターフェイス302は、三次元モデル100といった物件の三次元モデルを受信し得る。幾つかの実施形態では、三次元モデルは、家、アパート、マンション、ガレージ、倉庫、オフィスビル、ホテル、商店等といった物件のモデルであり得る。幾つかの実施形態では、三次元モデルは、物件の点群データ、および、物件を撮影した画像/動画に基づいて構成され得る。三次元モデルは、物件を、そのレイアウト、仕上げ、設備、並びに、その物件の家具、および装飾品と一緒に、仮想的に再現し得る。
【0047】
ステップS404において、通信インターフェイス302は、カメラ位置情報を受信し得る。例えば、カメラ220は、物件内の複数の位置に配置されて、画像、および動画を撮ることが可能である。ステップS406において、点位置判定ユニット340は、物件内のカメラ位置に対応する、三次元モデル内の点位置を判定し得る。幾つかの実施形態では、点位置は、カメラ位置の座標変換で判定される。例えば、カメラ位置の座標は、物件の座標システムから三次元モデルの座標システムに変換され得る。
【0048】
ステップS406において、点位置判定ユニット340は、さらに、点位置間の接続性を判定するように構成されていることが可能である。幾つかの実施形態では、2つの点位置間の接続線が、三次元モデルにおけるいかなる障害物も妨害していない場合、これら2つの点位置は「接続可能」であると考えられる。幾つかの実施形態では、障害物とは、フレーム構造物(例えば、壁、およびカウンタ)、家具(例えば、テーブル、および椅子、ソファー、ベッド)、または、他の物体(例えば、植物)を含み得る。幾つかの実施形態では、接続性は、二次元テーブルに記録され得る。例えば、2つの点位置の接続性は、これら2つの点位置に対応する1つのセルに記録され得る。幾つかの実施形態では、接続性は、2進数として記録されることが可能であり、ここで、「1」は「接続可能」に相当し、「0」は「接続不可能」に相当する。
【0049】
図5は、本開示の実施形態に係る、点位置間の接続性を判定するための典型的な一方法500を示すフローチャートである。方法500は、以下に示すようなステップS502〜S512を含み得る。これらのステップのうちの幾つかは、本明細書の開示の実施にとって任意のステップであり得ることは理解されよう。また、これらのステップのうちの幾つかは、同時に実施されてもよいし、または、
図5に示される順番とは異なる順番に実施されてもよい。幾つかの実施形態では、2つの点位置間の接続性は、物件のレイアウトに基づいて判定され得る。例えば、レイアウトは、壁、カウンタ、および、ドアといった分離構造物を特定し得る。幾つかの実施形態では、接続性は、追加的に、家具、植物、および、装飾品といった物件内の他の障害物に基づいて判定され得る。
【0050】
ステップS502において、点位置判定ユニット340は、一対の点位置を接続線で接続し得る。ステップS504において、点位置判定ユニット340は、接続線が三次元モデル内の何らかの障害物に交差しているかどうかを判定し得る。もし交差していないならば、一対の点位置は、ステップS506において、接続可能であると判定される。そうでない場合、一対の点位置は、ステップS508において、接続不可能であると判定される。例えば、点位置113と点位置114とは、ドアを介して接続可能である。しかしながら、紹介位置112と点位置115とは、これら2つの位置を接続する線が壁に交差しているので、接続可能ではない。
【0051】
ステップS510において、点位置判定ユニット340は、全ての対の点位置について検討したかどうかを判定し得る。点位置の全ての対について検討した場合、方法500は終了し、方法400は、ステップS410に進み得る。そうでない場合、方法500は、ステップS502に戻り、次の一対の点位置について検討し、ステップS504〜S508を用いて接続性を判定し得る。
【0052】
図4に戻ると、ステップS410において、候補経路判定ユニット342は、この接続性に基づいて第1の紹介位置と第2の紹介位置とを接続する候補経路を決定し得る。例えば、第1の紹介位置は、大部屋110における紹介位置112であり、第2の紹介位置は、寝室120における紹介位置115であり得る。各候補経路は、接続可能な点位置同士を繋いでいる。幾つかの実施形態では、第1の紹介位置と第2の紹介位置との間の複数の候補経路が利用可能であり得る。例えば、
図6は、本開示の実施形態に係る、紹介位置601と紹介位置602との間の典型的な候補経路を示している。第1の候補経路は、点位置611、612、および、613を繋いでいる。第2の候補経路は、点位置621および622を繋いでいる。第3の候補経路は、点位置631および632を繋いでいる。
【0053】
ステップS412において、経路選択ユニット344は、幾つかの所定の基準に基づいて、候補経路から1つの経路を選択する。幾つかの実施形態では、これらの所定の基準とは、経路上の点位置の数が最小であること、および/または、経路の長さが最短であることであり得る。例えば、
図7は、本開示の実施形態に係る、ステップS412を実施するための典型的な一方法700を示すフローチャートである。方法700は、以下に示すようなステップS702〜S708を含み得る。これらのステップのうちの幾つかは、本明細書の開示の実施にとって任意のステップであり得ることは理解されよう。また、これらのステップのうちの幾つかは、同時に実施されてもよいし、または、
図7に示される順番とは異なる順番に実施されてもよい。
【0054】
ステップS702において、経路選択ユニット344は、各候補経路上の点位置の数を判定し得る。例えば、
図6に示されるように、第1の候補経路は、第1の紹介位置と第2の紹介位置との間に3つの点位置を有する。第2の候補経路、および第3の候補経路はいずれも、第1の紹介位置と第2の紹介位置との間に2つの点位置を有する。
【0055】
ステップS704において、経路選択ユニット344は、閾値数よりも少ない数の点位置を有する候補経路の部分群を特定し得る。例えば、閾値数が3である場合、経路選択ユニット344は、
図6に示される第2、および第3の候補経路を特定することになる。閾値化した後に1つの候補経路だけが残っている場合、方法700は、ステップS706およびS708を実施することなく終了し、選択された経路として、この1つの候補経路に戻ることが可能である。
【0056】
ステップS704の後に2つ以上の候補経路が残っている場合、方法700は、ステップS706に進む。ステップS706において、経路選択ユニット344は、部分群における各候補経路の長さを算出する。本開示によれば、経路の「長さ」とは、当該経路上の点位置間の蓄積距離である。例えば、
図6では、距離L1が紹介位置601と点位置621との間、距離L2が点位置621と点位置622との間、および、距離L3が点位置622と紹介位置602との間である場合、第2の候補経路の長さは、これらの距離の合計、つまり、L=L1+L2+L3である。同様に、第3の候補経路の長さは、L’=L1’+L2’+L3’として算出され得る。ここで、L1’、L2’、および、L3’は、連続する紹介位置/点位置601、631、632、および、602間の距離である。
【0057】
ステップS708において、経路選択ユニット344は、最短の経路を特定する。例えば、L<L’である場合、経路選択ユニット344は、第2の候補経路を、最良の経路として特定することになる。
【0058】
2つの基準を、逆の順番で適用可能であることも想定される。例えば、ステップS704において、各候補経路の長さを閾値と比較して、閾値よりも短い長さの経路を特定してもよく、ステップS706において、点位置の数が最も少ない経路を、残りの候補経路から選択してもよい。他の所定の基準を用いて、経路を選択してもよい。あるいは、例えば、ユーザが第2の紹介位置にナビゲートされている時にさらに切れ目のない景色を提供するために、経路選択ユニット344は、最多の点位置を繋ぐ候補経路を選択してもよい。選択された経路を、ステップS412の結果として提供可能であり、方法700は終了する。
【0059】
図4に戻ると、ステップS414において、景色描画ユニット346は、第1の紹介位置における上映が終わったこと、または、終わりそうなことを検出し得る。これは、ユーザが間もなく次の部屋に移動することになることを示すものである。幾つかの実施形態では、紹介位置における物件を上映することは、当該紹介位置に対応するカメラ位置において撮影された画像/動画から描画された景色を表示することを含み得る。幾つかの実施形態では、紹介位置における物件を上映することは、さらに、ユーザに対して音声コンテンツを再生して部屋の特徴を紹介することに、関連付けられていてもよい。例えば、音声コンテンツは、部屋のサイズや部屋の機能といった特徴、および、いつ部屋が改修されたかについて、および、部屋内の家具、および装飾品についての他の情報を紹介し得る。幾つかの実施形態では、音声コンテンツは、景色描画ユニット346が再生の終わりそうな時が分かるように、予め記録されていてもよい。幾つかの実施形態では、ユーザが他の部屋を見ることを希望することを示す表示が、ユーザによる、例えば、VRツール上のボタンを押下することによる入力として、設けられていてもよい。
【0060】
ステップS416では、景色描画ユニット346は、選択された経路上の1つの点位置に対応する複数の景色を描画して、これらの景色をユーザに表示し得る。幾つかの実施形態では、これらの景色は、この点位置において撮影された画像/動画に基づいて描画され得る。幾つかの実施形態では、これらの景色は、ユーザが次の点位置に向かって歩く際に、ユーザが向いている方向に方向づけられて描画される。例えば、ユーザは、紹介位置112から点位置113を指す方向に向いていることが可能であり、したがって、点位置113における景色は、ユーザに示される際にこの方向において描画されることになる。
【0061】
幾つかの実施形態では、景色描画ユニット346は、2つの紹介位置間の全ての点位置の景色を連続して描画、および表示し得る。ステップS418において、景色描画ユニット346は、選択された経路上の全ての点位置の景色が描画、および表示されたかどうかを判定する。全ての点位置の景色が描画、および表示された場合、方法400はステップS420に進む。そうでない場合、方法700はステップS416に戻り、選択された経路上の次の点位置に対応する景色を表示する。方法700は、全ての景色が表示されるまでステップS416、およびステップS418を繰り返し、ユーザは、第2の紹介位置にナビゲートされる。
【0062】
ステップS420において、システム300は、第2の紹介位置における次の部屋の特徴の上映を開始する。例えば、点位置113および114における景色を表示した後、ユーザ210は、寝室120における紹介位置115に到達する。ユーザには、紹介位置115において寝室120の景色が表示されることになり、任意により、音声コンテンツがユーザに再生され得る。
【0063】
これら2つの紹介位置間の中間点位置における景色を提供することによって、本開示のシステム、および方法は、VR見学を、実際の家見学により近づけて再現することが可能になり、したがって、ユーザの体験を改善することができる。
【0064】
本開示の他の態様は、実行される時に、1つ、または複数のプロセッサに本方法を上述のように実施させる指示を記憶する、非一時的コンピュータ可読媒体に関するものである。コンピュータ可読媒体は、揮発性若しくは不揮発性媒体、磁気媒体、半導体媒体、テープ式媒体、光学媒体、リムーバブル媒体、固定式媒体、または、他の種類のコンピュータ可読媒体若しくはコンピュータ可読記憶装置を含み得る。例えば、コンピュータ可読媒体は、開示されるような、コンピュータ指示が記憶された記憶装置、またはメモリモジュールであってもよい。幾つかの実施形態では、コンピュータ可読媒体は、コンピュータ指示が記憶されたディスク、またはフラッシュドライブであってもよい。
【0065】
本開示の他の態様は、データ処理装置上で実行される時に、上述の任意のシステムを提供するように、または、上述の方法ステップのうちのいずれかを実施するように構成されたプログラム指示を含む、コンピュータプログラム製品に関するものである。
【0066】
本開示のシステム、および関連する方法に対して、様々な変形、および変更が可能であることは当業者には明らかであろう。他の実施形態は、本開示のシステム、および関連する方法の仕様、および実務を考慮することにより、当業者には明らかとなろう。
【0067】
本明細書、および実施例は、単に模範的なものであると考えられることが意図されており、実際の範囲は、以下の特許請求の範囲、およびその均等物によって示される。