(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023134006
(43)【公開日】2023-09-27
(54)【発明の名称】地理情報システム
(51)【国際特許分類】
G06F 16/22 20190101AFI20230920BHJP
G06T 19/00 20110101ALI20230920BHJP
G06T 1/00 20060101ALI20230920BHJP
G06F 16/13 20190101ALI20230920BHJP
G06F 16/51 20190101ALI20230920BHJP
G06F 16/29 20190101ALI20230920BHJP
G06F 16/587 20190101ALI20230920BHJP
【FI】
G06F16/22
G06T19/00 300B
G06T1/00 200C
G06F16/13 200
G06F16/51
G06F16/29
G06F16/587
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022039318
(22)【出願日】2022-03-14
(71)【出願人】
【識別番号】516356402
【氏名又は名称】株式会社スカイマティクス
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】倉本 泰隆
(72)【発明者】
【氏名】渡邉 善太郎
(72)【発明者】
【氏名】藤田 裕司
【テーマコード(参考)】
5B050
5B175
【Fターム(参考)】
5B050AA03
5B050BA06
5B050BA09
5B050BA11
5B050BA13
5B050BA17
5B050BA20
5B050CA07
5B050DA07
5B050EA07
5B050EA19
5B050EA26
5B050FA02
5B050FA13
5B050FA14
5B050GA08
5B175DA10
5B175JC04
(57)【要約】 (修正有)
【課題】専門技術をもたない一般ユーザが、所望施設のウォークスルーができる仮想現実空間を容易に構築及び改変できる地理情報システムを提供する。
【解決手段】地理情報システムにおいて、ユーザは、所望の施設内で撮影したパノラマ画像131、施設内の設備135、137、138、140の3Dデータ133、設備を指し示すタグ161、163、165などのデータを登録する。パノラマ画像にはその視点145の地理座標が含まれ、3Dデータにはその諸点の地理座標が含まれ、各タグにはその設備の地理座標が含まれる。地理情報システムは、それらの地理座標を用いてパノラマ画像上に、その視界範囲に入るタグを選び、相互に位置的に整合させて表示する。ユーザは、パノラマ画像、3Dデータ、タグを登録するだけで、ウォークスルーが可能な仮想現実空間を構築できる。一部の設備に更新があれば、その設備のみのタグやパノラマ画像を更新するだけでいい。
【選択図】
図19
【特許請求の範囲】
【請求項1】
ユーザ端末と通信可能に接続され、前記ユーザ端末に地理情報を提供する地理情報システムにおいて、
コンピュータプログラムとプロセッサとデータベースを備え、
前記プロセッサは、前記コンピュータプログラムを実行することにより、
前記ユーザ端末から1以上の地理物のデータを受信し、前記受信したデータを前記データベースに登録するデータ登録プロセスと、
前記データベースに登録されたデータを視覚化して前記ユーザ端末に表示するデータ視覚化プロセスと
を有する地理情報提供プロセスを行い、
前記データ登録プロセスが、
前記1以上の地理物をそれぞれ表した1以上のタグを、前記ユーザ端末から受信し、前記受信した各タグには、前記各タグが表す各地理物の地理座標が含まれており、前記受信したタグを前記データベースに登録する、タグ登録プロセスと、
前記1以上の地理物が存在する1以上の地理空間内の1以上の視点からの眺めをそれぞれ示した1以上のパノラマ画像を、前記ユーザ端末から受信し、前記受信した各パノラマ画像には、前記各パノラマ画像の前記視点の地理座標が含まれており、前記受信した各パノラマ画像を前記データベースに登録する、パノラマ画像登録プロセスと
を含み、
前記データ視覚化プロセスが、デジタルツイン形式表示プロセスを含み、
前記デジタルツイン形式表示プロセスが、
前記データベース内から、前記ユーザ端末からの要求に応じて少なくとも1つのパノラマ画像を選ぶステップと、
前記データベース内から、前記選ばれたパノラマ画像の視界内に入る1以上のタグを選ぶステップと、
前記選ばれたパノラマ画像を表示するとともに、前記選ばれたタグの前記地理座標と前記選ばれたパノラマ画像の前記視点の地理座標とに基づいて、前記選ばれたタグを前記選ばれたパノラマ画像上に位置的に整合させて重畳表示した、デジタルツイン表示形式のGUIを、前記ユーザ端末に提供するステップと
を含む、
地理情報システム。
【請求項2】
請求項1記載の地理情報システムにおいて、
前記データ視覚化プロセスが、リスト形式表示プロセスをさらに有し、
前記リスト形式表示プロセスが、前記データベース内の前記1以上のタグのリスト表を表示したリスト表示形式のGUIを、前記ユーザ端末に表示するステップを含み、
前記データ視覚化プロセスが、前記ユーザ端末からの要求に応じて、前記デジタルツイン表示形式のGUIと前記リスト形式のGUIの一方を選択的に前記ユーザ端末に表示することができ、
前記データ登録プロセスが、前記デジタルツイン表示形式のGUIと前記リスト形式のGUIのどちらが前記ユーザ端末に表示されているときでも、前記ユーザ端末からの要求に応じて前記タグ登録プロセス又は前記パノラマ画像登録プロセスを行なえるように構成された、
地理情報システム。
【請求項3】
請求項1記載の地理情報システムにおいて、
前記地理物の種類として、施設、前記施設のフロア、及び、前記フロアの設備が指定可能であり、
前記データ登録プロセスが、
1以上の前記施設を表す施設データを前記ユーザ端末から受信し、前記受信した各施設データには、前記各施設の場所を示す1以上の地理座標が含まれており、前記受信した施設データを前記データベースに登録する、施設登録プロセスと、
前記各施設の1以上の前記フロアを表すフロアデータを前記ユーザ端末から受信し、前記受信した各フロアデータには、前記各フロアの場所を示す1以上の地理座標が含まれており、前記受信したフロアデータを前記各施設データに関連付けて前記データベースに登録する、フロア登録プロセスと、
をさらに有し、
前記データ登録プロセスの前記タグ登録プロセスが、
前記各フロアの1以上の前記設備をそれぞれ表した1以上のタグを、前記ユーザ端末から受信し、前記受信した各タグには、前記各設備タグが表す各設備の地理座標が含まれており、前記受信したタグを前記各フロアデータに関連付けて前記データベースに登録する各フロアタグ登録ステップ
を含み、
前記データ登録プロセスの前記パノラマ画像登録プロセスが、
前記1以上のフロアの空間内の1以上の視点からの眺めをそれぞれ示した1以上のパノラマ画像を、前記ユーザ端末から受信し、前記受信した各パノラマ画像には、前記各フロアパノラマ画像の前記視点の地理座標が含まれており、前記受信した各パノラマ画像を前記各フロアデータに関連付けて前記データベースに登録する、各フロアパノラマ画像登録ステップ
を含む、
地理情報システム。
【請求項4】
請求項3記載の地理情報システムにおいて、
前記データ視覚化プロセスが、
前記ユーザ端末からの要求に応じて、前記データベース内から少なくとも1つの施設のデータを選び、所定の地図を表示するとともに、前記選ばれた施設データの前記地理座標に基づいて前記地図に位置的に整合させて、前記施設を前記地図上に重畳表示した、施設表示用のGUIを前記ユーザ端末に提供するステップと、
前記ユーザ端末からの要求に応じて、前記データベース内から少なくとも1つの施設の少なくとも1つのフロアのデータを選び、前記選ばれたフロアデータの前記地理座標と前記選ばれたフロアデータに関連付けられた前記1以上のパノラマ画像の前記地理座標とに基づいて、前記選ばれたフロアのレイアウト図に位置的に整合させて、前記関連付けられた1以上のパノラマ画像を示す1以上のマークを前記レイアウト図上に重畳表示した、フロア表示用のGUIを前記ユーザ端末に提供するステップと、
を有する、
地理情報システム。
【請求項5】
請求項3記載の地理情報システムにおいて、
前記データ視覚化プロセスが、
前記ユーザ端末からの要求に応じて、前記データベース内から少なくとも1つのフロアを選び、前記選ばれたフロアについて、前記デジタルツイン形式表示プロセスを実行するステップ
をさらに有する、
地理情報システム。
【請求項6】
請求項5記載の地理情報システムにおいて、
前記データ視覚化プロセスが、
前記選ばれたフロアについて、前記デジタルツイン形式表示プロセスを実行するときに、前記選ばれたフロアデータの前記地理座標と前記選ばれたフロアデータに関連付けられた前記1以上のパノラマ画像の前記地理座標とに基づいて、前記選ばれたフロアのレイアウト図に位置的に整合させて、前記関連付けられた1以上のパノラマ画像を示す1以上のマークを前記レイアウト図上に重畳表示した画像を、前記デジタルツイン表示形式のGUIに表示するステップ
をさらに有する、
地理情報システム。
【請求項7】
請求項3記載の地理情報システムにおいて、
前記データ視覚化プロセスが、
前記ユーザ端末からの要求に応じて、前記データベース内から前記1以上の施設のデータを選び、前記1以上の施設のデータをリスト表に表示した、施設表示用のリスト表示形式のGUIを前記ユーザ端末に提供するステップと、
前記データベース内から少なくとも1つの施設のデータを選び、所定の地図を表示するとともに、前記選ばれた施設データの前記地理座標に基づいて前記地図に位置的に整合させて、前記施設を前記地図上に重畳表示した、施設表示用の地図表示形式のGUIを前記ユーザ端末に提供するステップと、
をさらに有し、
前記データ登録プロセスが、前記施設表示用のリスト表示形式のGUIと前記施設表示用の地図表示形式のGUIのどちらが前記ユーザ端末に表示されているときでも、前記ユーザ端末からの要求に応じて前記施設登録プロセスを行なえるように構成された、
地理情報システム。
【請求項8】
請求項1記載の地理情報システムにおいて、
前記地理情報提供プロセスが、
前記1以上のパノラマ画像の各々について、デプス画像を生成して、生成した前記デプス画像を各パノラマ画像に関連付けて前記データベースに登録するデプス画像生成・登録プロセスと、
前記デジタルツイン表示形式のGUIに表示された前記パノラマ画像上で選択された2つの地点間の距離を、前記表示されたパノラマ画像に関連付けられた前記デプス画像を用いて、計測する距離計測ステップと
をさらに有する、
地理情報システム。
【請求項9】
請求項1記載の地理情報システムにおいて、
前記データ登録プロセスが、
前記1以上の地理物のそれぞれの3次元形状と地理座標を表した1以上の3Dデータを、前記ユーザ端末から受信し、前記受信した3Dデータを前記データベースに登録する、3Dデータ登録プロセスを
さらに有し、
前記デジタルツイン形式表示プロセスが、
前記デジタルツイン表示形式のGUIを用意するために、前記選ばれたパノラマ画像の前記視点の地理座標と、前記1以上のタグの前記地理座標と、前記1以上の3Dデータとに基づいて、前記視点から視線が前記地理物に遮断されず届くタグを、前記パノラマ画像の視界内に入るタグとして、選ぶステップ
を含む、
地理情報システム。
【請求項10】
請求項2記載の地理情報システムにおいて、
前記データ登録プロセスが、
前記タグに対応する前記地理物の詳細データを前記ユーザ端末から受信し、前記受信した詳細データを、前記タグに関連付けて前記データベースに登録する、タグ詳細登録プロセスを
さらに有し、
前記データ視覚化プロセスが、
前記デジタルツイン表示形式のGUIに表示された前記パノラマ画像上で一つのタグが前記ユーザ端末により選ばれたとき、及び、前記リスト表示形式のGUI上で一つのタグが前記ユーザ端末により選ばれたときのどちらのときでも、前記選ばれたタグの前記詳細データを前記ユーザ端末に表示するステップ
をさらに含む、
地理情報システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、施設や市街や乗り物など地球に存在する物体(以下、地理物という)に関する情報、又は地理物の内側または外側に存在する空間(以下、地理空間という)に関する情報を、ユーザに提供する地理情報システムに関し、特に、ウォークスルーやデジタルツインのような仮想現実空間を表示するコンピュータ技術を利用した地理情報システムに関する。
【背景技術】
【0002】
文献1には、現実に存在する実空間について撮影した全方位画像を利用して、仮想空間上の任意位置の視点から見た任意方向の視界を表示する映像表示装置が開示されている。この装置は、二次元図形からなる単位領域図形を定義し、視点を二次元平面内で自由に移動させることにより、ユーザに仮想空間内のウォークスルーを体験させたり、三次元図形からなる単位領域図形を定義し、視点を三次元空間内で自由に移動させることにより、ユーザに仮想空間内のフライスルーを体験させる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来のこの種の地理情報システムは、この分野の専門家ではない一般ユーザが、所望の地理物や地理空間に関する仮想現実空間を容易に作成することができるようには構成されていない。例えば、ある企業ユーザが、自社工場の内側や外側の仮想現実空間をウォークスルーしながらその工場の各種設備を点検するためのシステムを構築したいと欲したとしても、専門家なしで、そのようなシステムを構築することは事実上不可能であろう。
【0005】
また、従来のこの種の地理情報システムは、その仮想現実空間の一部分だけ(例えば、ある地点で撮影した全方位画像だけ)を改変したい場合、それを専門家でないでない一般ユーザが容易に行えるようには構成されていない。
【0006】
本発明の一つの目的は、この分野の専門技術をもたない一般ユーザが、所望の仮想現実空間を容易に構築したり改変したりできる地理情報システムを提供することにある。本発明のその他の目的は、以下の説明から明らかになる。
【課題を解決するための手段】
【0007】
開示された一つの実施形態に従がう、ユーザ端末に地理情報を提供する地理情報システムは、コンピュータプログラムとプロセッサとデータベースを備え、前記プロセッサは、前記コンピュータプログラムを実行することにより、前記ユーザ端末から1以上の地理物のデータを受信し、前記受信したデータを前記データベースに登録するデータ登録プロセスと、前記データベースに登録されたデータを視覚化して前記ユーザ端末に表示するデータ視覚化プロセスとを有する地理情報提供プロセスを行なう。
【0008】
前記データ登録プロセスは、次の2つのプロセスを有する。一つは、前記1以上の地理物をそれぞれ表した1以上のタグを、前記ユーザ端末から受信し、前記受信した各タグには、前記各タグが表す各地理物の地理座標が含まれており、前記受信したタグを前記データベースに登録する、タグ登録プロセスである。もう一つは、前記1以上の地理物が存在する1以上の地理空間内の1以上の視点からの眺めをそれぞれ示した1以上のパノラマ画像を、前記ユーザ端末から受信し、前記受信した各パノラマ画像には、前記各パノラマ画像の前記視点の地理座標が含まれており、前記受信した各パノラマ画像を前記データベースに登録する、パノラマ画像登録プロセスである。
【0009】
前記データ視覚化プロセスが、デジタルツイン形式表示プロセスを含み、このデジタルツイン形式表示プロセスが、前記データベース内から、前記ユーザ端末からの要求に応じて少なくとも1つのパノラマ画像を選ぶステップと、前記データベース内から、前記選ばれたパノラマ画像の視界内に入る1以上のタグを選ぶステップと、前記選ばれたパノラマ画像を表示するとともに、前記選ばれたタグの前記地理座標と前記選ばれたパノラマ画像の前記視点の地理座標とに基づいて、前記選ばれたタグを前記選ばれたパノラマ画像上に位置的に整合させて重畳表示した、デジタルツイン表示形式のGUIを、前記ユーザ端末に提供するステップとを含む。
【0010】
このように構成された一実施形態にかかる地理情報システムによれば、ユーザは、その視点の地理座標(例えば、緯度、経度、高度)を含んだ1以上のパノラマ画像と、対応する地理物の地理座標を含んだ1以上のタグを登録するという簡単な作業で、デジタルツイン表示形式のGUI上でウォークスルーをしつつタグの設備を観察できる仮想現実空間を構築できる。仮想現実空間の一部を更新したい場合、その一部に関わるパノラマ画像、タグ又は3Dデータを更新するだけでよい。
【0011】
一実施形態にかかる地理情報システムでは、前記データ視覚化プロセスが、リスト形式表示プロセスをさらに有し、前記リスト形式表示プロセスが、前記データベース内の前記1以上のタグのリスト表を表示したリスト表示形式のGUIを、前記ユーザ端末に表示するステップを含む。そして、前記データ視覚化プロセスが、前記ユーザ端末からの要求に応じて、前記デジタルツイン表示形式のGUIと前記リスト形式のGUIの一方を選択的に前記ユーザ端末に表示することができる。また、前記データ登録プロセスが、前記デジタルツイン表示形式のGUIと前記リスト形式のGUIのどちらが前記ユーザ端末に表示されているときでも、前記ユーザ端末からの要求に応じて前記タグ登録プロセス又は前記パノラマ画像登録プロセスを行なえる。
【0012】
このように構成された地理情報システムでは、ユーザはデータ登録をするときに、デジタルツイン表示形式のGUIと前記リスト形式のGUIのうちの好みのものを選び、その好みのGUIでデータ登録をすることができる。
【0013】
一実施形態にかかる地理情報システムでは、前記地理物の種類として、施設、前記施設のフロア、及び、前記フロアの設備が指定可能である。そして、前記データ登録プロセスが、 1以上の前記施設を表す施設データを前記ユーザ端末から受信し、前記受信した各施設データには、前記各施設の場所を示す1以上の地理座標が含まれており、前記受信した施設データを前記データベースに登録する、施設登録プロセスと、前記各施設の1以上の前記フロアを表すフロアデータを前記ユーザ端末から受信し、前記受信した各フロアデータには、前記各フロアの場所を示す1以上の地理座標が含まれており、前記受信したフロアデータを前記各施設データに関連付けて前記データベースに登録する、フロア登録プロセスをさらに有する。
【0014】
また、前記データ登録プロセスの前記タグ登録プロセスが、前記各フロアの1以上の前記設備をそれぞれ表した1以上のタグを、前記ユーザ端末から受信し、前記受信した各タグには、前記各設備タグが表す各設備の地理座標が含まれており、前記受信したタグを前記各フロアデータに関連付けて前記データベースに登録する各フロアタグ登録ステップを含む。さらに、前記データ登録プロセスの前記パノラマ画像登録プロセスが、前記1以上のフロアの空間内の1以上の視点からの眺めをそれぞれ示した1以上のパノラマ画像を、前記ユーザ端末から受信し、前記受信した各パノラマ画像には、前記各フロアパノラマ画像の前記視点の地理座標が含まれており、前記受信した各パノラマ画像を前記各フロアデータに関連付けて前記データベースに登録する、各フロアパノラマ画像登録ステップを含む。
【0015】
このように構成された地理情報システムによれば、ユーザは、任意の1以上の施設、各施設内の1以上のフロア、各フロアの任意地点で撮影したパノラマ画像、及び、各フロアの1以上の設備のタグを登録でき、その登録作業だけで、任意の施設の任意のフロアのウォークスルーと設備の観察が可能な仮想現実空間を構築できる。一部の設備や一部のフロアに変更があれば、変更された設備やフロアに関する登録データだけ更新すればいい。
【0016】
一実施形態にかかる地理情報システムでは、前記データ視覚化プロセスが、前記ユーザ端末からの要求に応じて、前記データベース内から少なくとも1つの施設のデータを選び、所定の地図を表示するとともに、前記選ばれた施設データの前記地理座標に基づいて前記地図に位置的に整合させて、前記施設を前記地図上に重畳表示した、施設表示用のGUIを前記ユーザ端末に提供するステップと、前記ユーザ端末からの要求に応じて、前記データベース内から少なくとも1つの施設の少なくとも1つのフロアのデータを選び、前記選ばれたフロアデータの前記地理座標と前記選ばれたフロアデータに関連付けられた前記1以上のパノラマ画像の前記地理座標とに基づいて、前記選ばれたフロアのレイアウト図に位置的に整合させて、前記関連付けられた1以上のパノラマ画像を示す1以上のマークを前記レイアウト図上に重畳表示した、フロア表示用のGUIを前記ユーザ端末に提供するステップとを有する。
【0017】
このように構成された地理情報システムによれば、ユーザは、任意の施設の位置が地図上に表示されたGUIや、その施設内の任意のフロアのレイアウト図上にそのフロアのパノラマ画像の位置が表示されたGUIなど、異なる表示形式のGUIを選んで見て、施設やフロアの状況を把握することができる。
【0018】
一実施形態にかかる地理情報システムでは、前記データ視覚化プロセスが、さらに、前記ユーザ端末からの要求に応じて、前記データベース内から少なくとも1つのフロアを選び、前記選ばれたフロアについて、前記デジタルツイン形式表示プロセスを実行するステップを有する。
【0019】
このように構成された地理情報システムによれば、ユーザは、任意のフロアについて、パノラマ画像の位置が表示されたフロアのレイアウト図や、パノラマ画像上に設備のタグが表示されたデジタルツイン式のウォークスルー可能な画像などを、見て、そのフロアの状況を把握することができる。
【0020】
一実施形態にかかる地理情報システムでは、前記データ視覚化プロセスが、さらに、前記選ばれたフロアについて、前記デジタルツイン形式表示プロセスを実行するときに、前記選ばれたフロアデータの前記地理座標と前記選ばれたフロアデータに関連付けられた前記1以上のパノラマ画像の前記地理座標とに基づいて、前記選ばれたフロアのレイアウト図に位置的に整合させて、前記関連付けられた1以上のパノラマ画像を示す1以上のマークを前記レイアウト図上に重畳表示した画像を、前記デジタルツイン表示形式のGUIに表示するステップを有する。
【0021】
このように構成された地理情報システムによれば、ユーザは、上述したパノラマ画像の位置が表示されたフロアのレイアウト図と、上述したパノラマ画像上に設備のタグが表示されたデジタルツイン式のウォークスルー可能な画像とを、同一のGUI上で見ることができ、より容易に、フロアの状況を把握できる。
【0022】
一実施形態にかかる地理情報システムでは、前記データ視覚化プロセスが、さらに、前記ユーザ端末からの要求に応じて、前記データベース内から前記1以上の施設のデータを選び、前記1以上の施設のデータをリスト表に表示した、施設表示用のリスト表示形式のGUIを前記ユーザ端末に提供するステップと、前記データベース内から少なくとも1つの施設のデータを選び、所定の地図を表示するとともに、前記選ばれた施設データの前記地理座標に基づいて前記地図に位置的に整合させて、前記施設を前記地図上に重畳表示した、施設表示用の地図表示形式のGUIを前記ユーザ端末に提供するステップを有する。そして、前記データ登録プロセスが、前記施設表示用のリスト表示形式のGUIと前記施設表示用の地図表示形式のGUIのどちらが前記ユーザ端末に表示されているときでも、前記ユーザ端末からの要求に応じて前記施設登録プロセスを行なえる。
【0023】
このように構成された地理情報システムによれば、ユーザは、登録された1以上の施設のデータを、リスト表示形式と地図表示形式の内の好みの表示形式のGUIで見ることができ、そして、その好みのGUIを用いて、新たな施設の登録作業が行える。
【0024】
一実施形態にかかる地理情報システムでは、前記地理情報提供プロセスが、さらに、前記1以上のパノラマ画像の各々について、デプス画像を生成して、生成した前記デプス画像を各パノラマ画像に関連付けて前記データベースに登録するデプス画像生成・登録プロセスと、前記デジタルツイン表示形式のGUIに表示された前記パノラマ画像上で選択された2つの地点間の距離を、前記表示されたパノラマ画像に関連付けられた前記デプス画像を用いて、計測する距離計測ステップとをさらに有する。
【0025】
このように構成された地理情報システムによれば、デプス画像を利用することで、パノラマ画像内の2点間の距離計測が比較的に簡素な計算で行える。
【0026】
一実施形態にかかる地理情報システムでは、前記データ登録プロセスが、さらに、前記1以上の地理物のそれぞれの3次元形状と地理座標を表した1以上の3Dデータを、前記ユーザ端末から受信し、前記受信した3Dデータを前記データベースに登録する、3Dデータ登録プロセスを有する。そして、前記デジタルツイン形式表示プロセスが、前記デジタルツイン表示形式のGUIを用意するために、前記選ばれたパノラマ画像の前記視点の地理座標と、前記1以上のタグの前記地理座標と、前記1以上の3Dデータとに基づいて、前記視点から視線が前記地理物に遮断されず届くタグを、前記パノラマ画像の視界内に入るタグとして、選ぶステップを含む。
【0027】
このように構成された地理情報システムによれば、デジタルツイン表示形式のGUIには、パノラマ画像の視点から見て、他の地理物に遮られずに見える設備のタグだけがパノラマ画像上に表示されるので、仮想現実空間のリアリティーが高い。
【0028】
一実施形態にかかる地理情報システムでは、前記データ登録プロセスが、さらに、前記タグに対応する前記地理物の詳細データを前記ユーザ端末から受信し、前記受信した詳細データを、前記タグに関連付けて前記データベースに登録する、タグ詳細登録プロセスを有する。そして、前記データ視覚化プロセスが、さらに、前記デジタルツイン表示形式のGUIに表示された前記パノラマ画像上で一つのタグが前記ユーザ端末により選ばれたとき、及び、前記リスト表示形式のGUI上で一つのタグが前記ユーザ端末により選ばれたときのどちらのときでも、前記選ばれたタグの前記詳細データを前記ユーザ端末に表示するステップを含む。
【0029】
このように構成された地理情報システムによれば、ユーザは、前記デジタルツイン表示形式と前記リスト表示形式の内のいずれの形式のGUIを用いているときにも、そのGUI上で任意のタグつまり設備を選び、その詳細情報を参照することができる。
【図面の簡単な説明】
【0030】
【
図1】一実施形態にかかる地理情報システムの全体的な構成を示す図。
【
図2】データベースに記憶された主要データの構成例を示す図。
【
図3】グラフィカルユーザインタフェース(GUI)におけるデータ管理の一態様を示す図。
【
図4】1以上の登録施設のリスト表示形式のGUIの例を示す図。
【
図5】1以上の登録施設のギャラリー表示形式のGUIの例を示す図。
【
図6】1以上の登録施設の地図表示形式のGUIの例を示す図。
【
図7】1つの選択施設内の1以上のフロアのリスト表示形式のGUIの例を示す図。
【
図8】1つの選択施設内の1以上のフロアのギャラリー表示形式のGUIの例を示す図。
【
図9】1つの選択フロア内の1以上の設備のデジタルツイン表示形式のGUIの例を示す図。
【
図10】1つの選択フロア内の1以上の設備のリスト表示形式のGUIの例を示す図。
【
図11】1つの選択タグ(設備)の詳細を表示したボックスの例を示す図。
【
図12】データ登録プロセスの全体流れの例を示す図。
【
図15】デプス画像登録プロセスの流れの例を示す図。
【
図18】システム利用プロセスの流れの例を示す図。
【
図19】デジタルツイン表示形式におけるタグ表示方法の例を説明する図。
【
図20】デジタルツイン表示形式における距離計測プロセスの流れの例を示す図。
【発明を実施するための形態】
【0031】
図1は、一実施形態にかかる地理情報システムの全体的な構成を示す。
【0032】
一実施形態にかかる地理情報システム1は、1以上のユーザ端末3にネットワーク通信のための通信インタフェース5を介して通信可能に接続され、ユーザ端末3に対して地理情報を提供する。すなわち、地理情報システム1は、ユーザ端末3から様々な地理物又は地理空間に関する種々のデータを受信し、受信したデータを登録し保存する。そして、地理情報システム1は、ユーザ端末3に対して、登録された様々な地理物又は地理空間に関するデータを様々な態様で表示する。
【0033】
地理情報システム1は、プロセッサ7、メモリ9及び記憶装置11を備える。記憶装置11には、各種のコンピュータプログラムが格納されており、それらのコンピュータプログラムをプロセッサ7がメモリ9に展開して実行することにより、以下に詳述する地理情報の提供のための各種の機能が実現される。記憶装置11内のコンピュータプログラムには、例えば、データ登録部13、データ生成部15、データ視覚化部17、データ解析部 19、及びデータベース21などがある。
【0034】
データ登録部13は、様々な地理物又は地理空間に関する種々のデータを、ユーザ端末3から受信しデータベース21に格納し登録する。データ生成部15は、ユーザ端末3からデータベース21に登録されたある種のデータを用いて、別の種類のデータを自動的に生成し、生成したデータをデータベースに格納し登録する。データ視覚化部17は、ユーザ端末3からの要求に応じて、データベース21内のデータを可視化してユーザ端末3に表示する。データ解析部19は、ユーザ端末3からの要求に応じて、データベース21内のデータを解析して、その解析結果をデータベース21に格納したり、ユーザ端末3に表示したりする。データベース21は、ユーザ端末3から登録されたデータ、及び、データ生成部15及びデータ解析部19により生成されたデータを保存し、管理する。
【0035】
以下、地理情報システム1を、工場や建造物のような1以上の施設とそれらの施設に含まれる様々な設備に関する情報提供の用途に利用する場合を例にとり、地理情報システム1の詳細を説明する。
【0036】
図1に例示するように、データ登録部13を通じてユーザがータベース21に登録できるデータの種類には、大きく2種類がある。第一は、施設又は設備を言葉で記述した記述的データであり、第二は、施設又は設備の実体的内容を画像やモデルで表す実体的データである。
【0037】
まず、上記の記述的データには、次のような種類がある。すなわち、例えば、1以上の「施設」、各施設に含まれる1以上の「フロア」(各フロアは、そのフロアの全体領域でも一部領域でもよい)、各フロアに存在する1以上の「タグ」(各タグは、そのフロアに存在する各設備又はそのフロア内の各部分領域を指し示すマークである)、及び、各タグ(つまり、各施設又は各部分領域)に関連付けられた1以上の「URLリンク」(例えば、作業記録、稼働記録、操作マニュアルなどの文書ファイル、関連サービス、関係者アドレスなどへのリンク)又は「画像」(例えば、対応する設備や部分領域の写真画像など)などがある。
【0038】
次に、上記の実体的データには、次のような種類がある。すなわち、例えば、地球全域又は1以上の地域の「地図」、各施設の外形を表す「外形ポリゴン」、各施設の「平面図」(例えば、設計図面)、各施設の「空撮写真」、各施設内外の任意地点で撮影された「パノラマ画像」(例えば、水平360度の全方位画像、水平垂直360度の全天球画像、非常に高角な画像など)、各パノラマ画像に対応した「デプス画像」、及び各施設、各フロア又は各設備の「3Dデータ」(3次元モデルデータ)などがある。
【0039】
図1に例示するように、データ生成部15により自動的に生成されるデータの種類には、次のようなものがある。例えば、各施設の(主に平面視の)「オルソ画像」、各施設又は各フロアの「3Dデータ」、及び、各パノラマ画像に対応した「デプス画像」などがある。各施設のオルソ画像は、例えば、その施設又はフロアを異なる位置から撮影した多数の空撮写真から作成し得る。各施設の3Dデータも、例えば、オルソ画像と同様、その施設又はフロアを異なる位置から撮影した多数の空撮写真から作成し得る。パノラマ画像に対応したデプス画像は、例えば、そのパノラマ画像と、そのパノラマ画像に写っている地理物の3Dデータとから作成し得る。
【0040】
図1に例示するように、データ視覚化部17がデータを表示する態様には、幾つかの異なる態様がある。すなわち、例えば、「リスト」、「ギャラリー」、「地図」、「デジタルツイン」、及び「詳細」などの表示形式がある。リスト表示形式は、1以上の地理物(例えば、施設、フロア又はタグ(設備))の記述データ(例えば、名前や地理座標(経緯度及び高度)や説明テキストなど)を、リスト表の形式で表示する態様である(その一例が
図4、
図7又は
図10に示される)。ギャラリー表示形式は、1以上の地理物の画像を表示したパネルをマトリックス状に並べて表示する態様である(その一例が
図5又は
図8に示される)。地図表示形式は、地図の上に1以上の地理物をその地理座標に従って配置して表示する態様である(その一例が
図6に示される)。
【0041】
デジタルツイン表示形式は、ある地理空間(例えば、各施設内の各フロア上の空間)の仮想現実空間のウォークスルーをユーザに体験させる態様であり、それは、その地理空間内の異なる地点で撮影された複数のパノラマ画像を用いて実現し得る(その一例が
図9に示される)。
詳細表示は、1つの地理物又は地理空間の詳細な記述データを表示する態様である(その一例が
図9に示される)。
【0042】
このような異なる表示形式のうちのどれを選ぶかは、ユーザ端末3からの要求で決まる、つまり、ユーザが任意に選択できる。例えば、ユーザが或るデータを地理情報システム1に登録するとき、ユーザは、複数の表示形式の中から所望の表示形式が選択できる。このように、ユーザが地理情報システム1で何らかの作業をするとき、異なるデータ表示形式の中から任意の態様をユーザが選択できることは、ユーザにとり便利である。
【0043】
図1に例示するように、データ解析部19は種々のデータ解析機能をもつことができる。例えば、ユーザが選んだ地理物又は地理空間の異常(例えば、施設又は設備の発錆状況など)を検出したりその統計値を出したりする異常解析、ユーザが選んだ2点間の距離を計測する距離計測、及び、ユーザが選んだ平面領域の面積を計測する面積計測などがある。新たな解析機能の追加や既存解析機能の改良もできる。各解析機能は、例えば、ニューラルネットワークやその他の人工知能技術を用いて実現され得る。
【0044】
図1に例示するように、データベース21内のデータには、データ登録部13を通じてユーザから登録されたデータ、並びに、データ生成部15及びデータ解析部19により生成されたデータなどがある。
【0045】
図2は、データベース21に記憶された主要なデータの構造例を示す。
【0046】
図2に示すように、各施設を表すデータ「施設」23は、その施設の名称及び詳細情報、並びに、その施設がもつフロアの数を含む。さらに、このデータ「施設」23は、その施設に含まれる1以上のフロアの各々を表すデータ「フロア」25、その施設の平面的な外形状を示すデータ「外形ポリゴン」27、及び、その施設の平面画像(例えば、オルソ画像又は平面図など)を示すデータ「サムネイル画像」29を有する(又は、それらのデータと関連づけられる)。
【0047】
各施設の「外形ポリゴン」27は、その施設の平面外形を表すポリゴンの他に、その外形ポリゴンの1以上の頂点の地理座標(例えば、緯度と経度)を含む。各施設の「サムネイル画像」29は、その施設の平面画像を表すサムネイル画像の他に、その画像内の1以上の地点(例えば、画像の四隅点)の地理座標(例えば、緯度と経度)を含む。
【0048】
各フロアを表すデータ「フロア」25は、そのフロアの名称、及び、そのフロアの平面レイアウトを表すデータ「背景画像」31を有する(又は、それらのデータと関連づけられる)。さらに、このデータ「フロア」25は、1以上の「パノラマ画像」33、1以上の「タグ」35、又は、1以上の「3Dデータ」37を、(ユーザの任意により)有することができる(又は、それらのデータと関連づけられ得る)。
【0049】
各フロアの「背景画像」31は、そのフロアの平面的な形状と各種設備のレイアウトを表した画像(例えば、写真、設計図、配置図、又は地図画像など)を表したデータである。「背景画像」31は、その画像(背景画像)それ自体の他に、その背景画像内の1以上の点(例えば、四隅点)の地理座標(例えば、緯度及び経度)を有する。
【0050】
各フロアにおける「パノラマ画像」33は、そのフロアの空間内の任意の地点で撮影されたパノラマ画像(例えば、水平全方位写真、全天球写真、又は非常に高角な写真など)を表したデータである。「パノラマ画像」33は、パノラマ画像それ自体の他に、そのパノラマの視点(つまり、撮影地点)の地理座標(例えば、緯度、経度、及び高度)、そのパノラマ画像の中心の方位角、及び、そのパノラマ画像の撮影時刻または登録時刻を有する。さらに、「パノラマ画像」33は、「デプス画像」39を有する(又は、それと関連づけられる)。
【0051】
各パノラマ画像の「デプス画像」39は、そのパノラマ画像の各画素値を、その画素に対応する実空間内の物体とそのパノラマ画像の視点との間の距離値(平面距離又は立体距離)に置き換えた画像である。「デプス画像」39は、デプス画像それ自体に加えて、そのデプス画像の視点(対応するパノラマ画像の視点と同じ)の地理座標(例えば、緯度、経度、及び高度)、そのデプス画像の中心方位角(対応するパノラマ画像の中心方位角と同じ)、及び、そのデプス画像の登録時刻又は対応するパノラマ画像の撮影時刻を有する。
【0052】
各フロアにおける「タグ」35は、そのフロアの空間内に存在する各種設備の中からユーザが任意に選んだ設備(又は、そのフロア空間の中からユーザが任意に選んだ部分領域)を指し示すマークを表したデータである。「タグ」35は、その設備(又は部分領域)の名称、及び、その設備(又は部分領域)の代表点(つまり、そのタグ自体)の地理座標(例えば、緯度、経度、及び高度)を有する。さらに、「タグ」35は、1以上のURLリンク、1以上の「画像」41、又は、1以上のキーワードを、(ユーザの任意により)有することができる(又は、それらのデータと関連づけられ得る)。
【0053】
「タグ」35のURLリンクは、そのタグが指し示す設備(又は部分領域)に関する文書ファイル、サービス、人などにアクセスするためのハイパーリンクである。「タグ」35の「画像」41は、そのタグが指し示す設備(又は部分領域)の写真や図面などの画像ファイルであり、その画像ファイルの作成時刻又は登録時刻を含む。「タグ」35のキーワードは、そのタグを地理情報システム1内で検索するときに使用できるキーワードである。
【0054】
各フロアにおける「3Dデータ」37は、そのフロアの3次元形状か、又はそのフロアに存在する各種設備の中からユーザが任意に選んだ設備の3次元形状を表したデータである。「3Dデータ」37は、そのフロア又はその設備の3次元形状を構成する多数の特徴点(例えば、その3次元データが多数のメッシュで構成されるメッシュデータであらば、その多数のメッシュの頂点)の地理座標(例えば、緯度、経度、及び高度)を有する。
【0055】
図2に示したデータ構造において、特筆すべき点は、対応する地理物の実体を表した実体データ(すなわち、外形ポリゴン」27、「サムネイル画像」29、「背景画像」31、「パノラマ画像」33、「タグ」35、「3Dデータ」37、及び「デプス画像」39)が、それぞれ、対応する地理物の地理座標(例えば、緯度と経度のセット、又は、緯度、経度及び高度のセット)を有することである。地理情報システム1のデータ視覚化部17(
図1)は、これらの実体データを視覚化して表示するとき(とくに、地図表示形式又はデジタルツイン表示形式が選ばれたとき)、それらのデータがもつ地理座標を利用することにより、それらのデータにそれぞれ対応する各種の地理物を、地図上又は仮想現実空間内で、現実世界と同様の正しい配置で表示する(その表示例は後述する)。また、データベース21に新たな実体データが追加されたり、あるいは、データベース21内の既存の実体データが変更されたりした場合、追加又は変更された実体データに対応する地理物は、データ視覚化部17によって自動的に(他の実体データの変更や調整を要することなしに)、地図上又は仮想現実空間内で正しい配置で表示されることになる。
【0056】
従って、この技術分野の専門知識を持たない一般ユーザでも、所望の1以上の地理物(例えば、施設又は設備)のデータをこの地理情報システム1に登録するだけで、それらの地理物に関する地理情報システムが容易に構築できることを意味する。また、それらの地位物の内の一部の地理物に変化があった時には、ユーザは、その変化した一部の地理物の登録データのみを更新することで、容易に地理情報システムを更新することができる。
【0057】
なお、ユーザ端末3から登録された実体データの地理座標を、地理情報システム1がどのようにして入手するかという方法には、例えば次の方法が採用できる。すなわち、ユーザ端末3から受信された実体データがその地理座標を含んでいる場合には、地理情報システム1がその受信データから地理座標を自動的に取り出す。他方、そうでない場合には、その実体データの登録時に、地理情報システム1がユーザに要求して、手動でその実体データの地理座標を入力させる。
【0058】
図3は、この地理情報システム1のGUI(グラフィカルユーザインタフェース)におけるデータ管理の一態様を示す。
【0059】
この地理情報システム1のGUIは、
図3に例示するような階層的なデータ構造をユーザに表示する。例えば、最上位階層はプロジェクト43であり、2番目が施設45、3番目がフロア47、4番目がタグ49、そして最下層がリンク/画像51である。ユーザは、階層的なデータ構造を利用して任意の階層に入り、それぞれの階層に任意のデータを登録できる。
【0060】
このような階層構造のデータ管理は、コンピュータによるファイル管理など他分野で広く使われているから、一般のユーザにとり理解しやすく使いやすい。この地理情報システム1は、どの表示形式の(例えば、リスト表示形式、ギャラリー表示形式、地図表示形式、及びデジタルツイン表示形式のうちのどの)GUIでも、この階層的なデータ管理ができるように、GUIが構成される。ユーザは、自分にとり使いやすい表示形式のユーザインタフェースを選んで、データ登録ができるので、データ登録作業が容易である。
【0061】
図4から
図11は、この地理情報システム1がユーザに提供する様々な形式のGUIの例を示す。
図4から
図6は、登録された幾つかの施設を表示したGUIのバリエーション例を示し、
図4はリスト表示形式の場合、
図5はギャラリー表示形式の場合、
図6は地図表示形式の場合を示す。
【0062】
図4に例示するように、リスト表示形式の場合、施設リスト表53のそれぞれの行に、登録されたそれぞれの施設の記述データ(例えば、名称、詳細情報(説明文)及びフロア数など)が表示される。施設リスト表53内の各施設名を選べば、ユーザは、各施設の階層へ入れる。施設登録ボタン55を用いて、ユーザは新しい施設を登録でき、登録された新しい施設のデータは施設リスト表53に追加される。施設検索ツール57を用いて、ユーザは任意の施設をデータベース21から検索できる。表示選択ツール59を用いて、ユーザは別の表示形態を選択できる。
【0063】
図5に例示するように、ギャラリー表示形式の場合、施設ギャラリー61に、登録された施設のそれぞれの外形ポリゴン65又はサムネイル画像67と記述データを表示したパネルが配列表示される。施設ギャラリー61内の各施設名を選べば、ユーザは、各施設の階層へ入れる。施設登録ボタン55を用いて、ユーザは新しい施設を登録でき、登録された新しい施設のデータは施設ギャラリー61に追加される。施設検索ツール57を用いて、ユーザは任意の施設をデータベース21から検索できる。表示選択ツール59を用いて、ユーザは別の表示形態を選択できる。
【0064】
図6に例示するように、地図表示形式の場合、地図ビューワ69が表示され、地図ビューワ69では、所定の地
図63の上に、登録された施設のそれぞれの外形ポリゴン65又はサムネイル画像67が、その地理座標に合わせて配置されて表示される。地図ビューワ69上で各施設の外形ポリゴンを選べば、ユーザは、各施設の階層へ入れる。また、施設名リスト71が表示され、その中から各施設名を選べば、ユーザは、各施設の階層へ入れる。施設登録ボタン55を用いて、ユーザは新しい施設を登録でき、登録された新しい施設の外形ポリゴンが地図ビューワ69内の地
図63上に追加される。施設検索ツール57を用いて、ユーザは任意の施設をデータベース21から検索できる。表示選択ツール59を用いて、ユーザは別の表示形態を選択できる。
【0065】
このように、
図4から
図6に示された異なる表示形式のGUIのどれを用いても、
図3に示したような階層的なデータ管理が可能である。そして、ユーザは、所望の表示形式のGUIを選択的に用いて、任意の地理物(例えば、施設)の登録ができる。どの表示形式のGUIで地理物の登録が行われても、すべての表示形式でデータベース21が共通であるから、その登録結果は他の表示形式のユーザインタフェースに自動的に反映される。このようなことは、
図3に示した施設45の階層についてだけでなく、他の階層フロア47、49、51でも基本的に同様である。
図7から
図11に、他の階層の幾つかのGUI例を示す。
【0066】
図7と
図8は、一つの施設の中の幾つかの登録フロアを表示したGUIのバリエーション例を示し、
図7はリスト表示形式の場合、
図8はギャラリー表示形式の場合を示す。
【0067】
図7に例示するように、リスト表示形式の場合、フロアリスト表73のそれぞれの行に、登録されたそれぞれのフロアの記述データ(例えば、名称)、及び、それぞれのフロアに含まれるタグ(例えば、設備、部分領域など)名などが表示される。フロアリスト表73内の各フロア名を選べば、ユーザは、各フロアの階層へ入れる。特に各フロアのデジタルツインボタン75を用いれば、そのフロアのデジタルツイン表示形式のGUIに入れる。フロアリスト表73内の各タグ名を選べば、ユーザは、そのタグの階層へ入れる(つまり、そのタグの詳細を表示したインタフェースに入れる。)。フロア登録ボタン77を用いて、ユーザは新しいフロアを登録でき、登録された新しいフロアのデータはフロアリスト表73に追加される。フロア検索ツール79を用いて、ユーザは任意のフロアをデータベース21から検索できる。タグ検索ツール81を用いて、ユーザは任意のタグをデータベース21から検索できる。表示選択ツール83を用いて、ユーザは別の表示形態を選択できる。
【0068】
図8に例示するように、ギャラリー表示形式の場合、フロアギャラリー85に、登録されたフロアのそれぞれの背景画像87、記述データ及びタグなどを表示したパネルが配列表示される。フロアギャラリー85内の各フロア名を選べば、ユーザは、各フロアの階層へ入れる。特に各フロアのデジタルツインボタン88を用いれば、そのフロアのデジタルツイン表示形式のGUIに入れる。フロアギャラリー85内の各タグ名を選べば、ユーザは、そのタグの階層へ入れる(つまり、そのタグの詳細を表示したインタフェースに入れる。)。フロア登録ボタン77を用いて、ユーザは新しいフロアを登録でき、登録された新しいフロアのデータはフロアギャラリー85に追加される。フロア検索ツール79を用いて、ユーザは任意のフロアをデータベース21から検索できる。タグ検索ツール81を用いて、ユーザは任意のタグをデータベース21から検索できる。表示選択ツール83を用いて、ユーザは別の表示形態を選択できる。
【0069】
さらに、
図8に例示するように、フロアギャラリー85内の各フロアの背景画像87上には、そのフロアに登録された1以上のパノラマ画像のアイコン89が、その地理座標に合わせた位置に表示される。各パノラマ画像のアイコン89を用いて、ユーザはそのパノラマ画像の視点からそのフロアを眺めたデジタルツイン表示形式のGUI(
図9に例示されたようなもの)に入れる。
【0070】
図9と
図10は、一つのフロアの中の幾つかの登録タグや登録パノラマ画像を表示したGUIのバリエーション例を示し、
図9はデジタルツイン表示形式の場合、
図10はリスト表示形式の場合を示す。
【0071】
図9に例示するように、デジタルツイン表示形式の場合、デジタルツインビューワ91に、そのフロア内の一つの登録パノラマ画像が表示される。パノラマ画像は、その視点からそのフロアを眺めた画像である。ユーザは、デジタルツインビューワ91を操作して、このビューワ91に表示されたパノラマ画像の方位を自由に変えられる。また、ユーザは、デジタルツインビューワ91を操作して、このビューワ91に表示されたパノラマ画像をその隣のパノラマ画像へ切り替えることで、このフロアでのウォークスルーを体験することができる。デジタルツインビューワ91内には、パノラマ画像に重畳されて、登録されたタグ85が表示される。表示されるタグは、その地理座標が、表示されたパノラマ画像の表示範囲の視界内に入り、かつ、そのパノラマ画像の視点から所定の距離範囲に存在するものだけである。任意のタグを操作することで、ユーザは、そのタグの簡易詳細情報97をデジタルツインビューワ91上に表示させたり、あるいは、そのタグの詳細表示ボックス(
図11に例示したようなもの)を開いたりすることができる。
【0072】
デジタルツイン表示形式のGUI上には、さらに、そのフロアの背景画像99が表示され、その背景画像99上には、そのフロアに登録された1以上のパノラマ画像のアイコン101が、その地理座標に合わせた位置に表示される。デジタルツインビューワ91上に現在表示されているパノラマ画像のアイコン101Aは、他のアイコン101から視覚的に区別して表示され、そのパノラマ画像の表示方位も視覚的に分かるように表示される。
【0073】
デジタルツイン表示形式のGUI上では、さらに、タグ登録ボタン103を用いて、ユーザは新しいタグを登録でき、登録された新しいタグは(それが現在のパノラマ画像から見える位置に在れば)デジタルツインビューワ91上に追加表示される。また、タグリスト105には、このフロアで登録されたタグ名のリストが表示され、その中から任意のタグを選べば、ユーザは、そのタグの詳細表示ボックス(
図11に例示したようなもの)を開くことができる。
【0074】
また、パノラマ画像登録ボタン107を用いて、ユーザは、新しいパノラマタグを登録でき、登録された新しいパノラマ画像のアイコン101が背景画像99上に、その地理座標に応じた配置で、追加表示される。タグ検索ツール111を用いて、ユーザは任意のタグをデータベース21から検索できる。フロア変更ツール113を用いて、ユーザは、このGUIに表示されたフロアを、任意の別のフロアへ切り替えることができる。表示選択ツール109を用いて、ユーザは別の表示形態を選択できる。
【0075】
図10に例示するように、リスト表示形式の場合、タグリスト表115のそれぞれの行に、登録されたそれぞれのタグのデータ項目(例えば、名称、リンク、画像、キーワード、緯度、経度、高度など)が表示される。タグリスト表115内の各タグ名や各データ項目を選べば、ユーザは、各タグの詳細情報(
図11に例示したようなもの)や、各データ項目の詳細情報又は実体データにアクセスできる。また、パノラマ画像リスト表117のそれぞれの行に、登録されたそれぞれのパノラマ画像のデータ項目(例えば、名称、緯度、経度、高度、中心方位角、時刻、デプス画像など)が表示される。パノラマ画像リスト表117内の各画像名や各データ項目を選べば、ユーザは、各パノラマ画像を表示したGUI(
図9に例示したようなもの)や、各データ項目の詳細又は実体データにアクセスできる。
【0076】
また、タグ登録ボタン103を用いて、ユーザは新しいタグを登録でき、登録された新しいタグはタグリスト表115に追加表示される。パノラマ画像登録ボタン107を用いて、ユーザは、新しいパノラマ画像を登録でき、登録された新しいパノラマ画像はパノラマ画像リスト表117に追加表示される。タグ検索ツール111を用いて、ユーザは任意のタグをデータベース21から検索できる。フロア変更ツール113を用いて、ユーザは、このGUIに表示されたフロアを、任意の別のフロアへ切り替えることができる。表示選択ツール109を用いて、ユーザは別の表示形態を選択できる。
【0077】
図11は、一つのタグの詳細を表示したボックスの例を示す。このタグ詳細表示ボックス119には、そのタグの各種データ項目が表示される。また、各種の作業ボタン121、123、125、127、129を用いて、ユーザは、それぞれの作業を行うことができる。
【0078】
図12から
図17は、この実施形態にかかる地理情報システム1にユーザが地理物又は地理空間のデータを登録するときの、地理情報システム1が行う制御プロセスの流れの例を示す。
【0079】
図12は、データ登録プロセスの全体の大きな流れの例を示す。
【0080】
図12に示すように、施設を登録する作業(S1)、登録された任意の施設についてフロアを登録する作業(S2)、及び、登録された任意のフロアについてタグを登録する作業(S3)が、ユーザにより順次に実行され得る。施設を登録する作業(S1)は、例えば
図4、
図5及び
図6に例示したGUIのどれを用いても行える。フロアを登録する作業(S2)は、例えば
図7及び
図8に例示したGUIのどれを用いても行える。タグを登録する作業(S3)は、例えば
図9及び
図10に例示したGUIのどれを用いても行える。
【0081】
【0082】
図13に示すように、ユーザが施設の名称を登録する(S11)。すると、登録された施設名がGUIに表示される(S12)。その後、ユーザは、望めば、施設の詳細(説明)を登録する(S13)。すると、登録された施設詳細がGUIに表示される(S14)。その後、ユーザは、施設の外形ポリゴンを登録する(S15)。すると、登録された外形ポリゴンがGUIに表示される(S16)。そのとき、GUIの表示形式が例えば
図6に例示した地図表示形式であれば、登録された外形ポリゴンは、その地理座標(緯度と経度)に合った地図上の位置に表示される(
図6に例示したように)。その後、ユーザは、望めば、施設のサムネイル画像を登録する(S17)。すると、登録されたサムネイル画像がGUIに表示される(S18)。そのとき、GUIの表示形式が地図表示形式であれば、登録されたサムネイル画像は、その地理座標(緯度と経度)に合った地図上の位置に表示される(
図6に例示したように)。
【0083】
【0084】
図14に示すように、ユーザが、フロアを登録したい施設を選択する(S21)。すると、その選択施設のGUI(例えば、
図7又は
図8に例示したようなもの)が表示され、そのGUIを用いて、ユーザは、フロアの名称を登録する(S23)。すると、登録されたフロア名がGUIに表示される(S24)。その後、ユーザは、フロアの背景画像を登録する(S25)。そのとき、GUIの表示形式が例えば
図8に例示したようなギャラリー表示形式であれば、新たに登録された背景画像を追加表示するとともに、その追加された背景画像上に、先に登録されたパノラマ画像のアイコンを、それらの地理座標に合わせた配置で表示する(S26)。その後、ユーザは、望めば、各フロアを選び、選んだフロアにパノラマ画像を登録する(S27)。パノラマ画像登録のときのGUIは
図9又は
図10に示したようなものである。そのGUIが例えば
図9に例示したようなデジタルツイン表示形式のものであれば、先に登録された背景画像の上に、新たに登録されたパノラマ画像のアイコンが、その地理座標に合わせた配置で追加表示される(S28)。以上が、全フロアについて繰り返される(S29)。
【0085】
上記のS27でパノラマ画像が新たに登録されると、地理情報システム1のデータ生成部15(
図1参照)が、そのパノラマ画像に対応するデプス画像を自動的に生成して、データベース21に登録する。でプル画像は、対応するパノラマ画像の全ての画素値の各々を、パノラマ画像の視点から各画素に対応する物体までの距離値に置き換えたものである。デプス画像は、例えば、
図9に例示したようなデジタルツインビューワ91上で、ユーザが任意に指定した2点間の距離を計測したり、ユーザが任意に指定した領域の面積又は体積を計測したりするために、地理情報システム1のデータ解析部19(
図1参照)によって使用される。
【0086】
図15は、デプス画像の生成と登録の制御流れの例を示す。
図16は、デプス画像の生成方法の原理を示す。
【0087】
図15に示すように、ユーザが或るフロアに一つのパノラマ画像を登録すると(S71)、システム1は、デプス画像を手動で登録するかどうかをユーザに尋ね(S72)、その回答がYesの場合、ユーザが手動で、そのパノラマ画像に対応したデプス画像を登録する(S73)。他方、S72の回答がNoの場合、システム1は、そのフロアの3Dデータを手動で登録するかどうかをユーザに尋ねる(S74)。その回答がNoの場合は、デプス画像を自動生成することができないので、制御は終了する。
【0088】
上記S74の回答がYesの場合、ユーザは手動で、そのフロアの3Dデータを登録する(S75)。すると、システム1は、デプス画像の自動生成プロセスを開始する。この自動生成プロセスでは、上記S71で登録されたパノラマ画像の視点(撮影地点)の地理座標(緯度、経度、高度)が取得される(S76)。このとき、もし、そのパノラマ画像の画像ファイルに視点の地理座標が含まれていれば、システム1は自動的に、その視点の地理座標を取得する。他方、含まれていなければ、ユーザに手動でその視点の地理座標を入力させることで、それを取得する。その後、システム1は、
図16に示すような原理を用いて、フロアの3Dデータとパノラマ画像とを用いて、そのパノラマ画像のデプス画像を作成し、データベース21に登録する(S77)。
【0089】
図16に示した原理は、次の通りである。
図16において、参照番号131はパノラマ画像を示し、参照番号133はフロアの3Dデータを示す。フロアの3Dデータ133は、そのフロアの幾つかの物体135、137を含む。パノラマ画像131は(水平360度の全方位画像の場合)、3Dデータ133に対して特定の位置に配置された一つの筒として表現される。パノラマ画像131内の一つの画素139は、3Dデータ133内の一つの物体137上の一地点141に対応する。その一画素139に対応する一地点141と、パノラマ画像131の視点145との間の距離143は、その一地点141の地理座標(緯度、経度、高度)と、その画素139のパノラマ画像131内での位置と、パノラマ画像131の視点145の地理座標(緯度、経度、高度)と、パノラマ画像131の中心方位角147とから、幾何学的に計算される。なお、距離143は、平面的な距離(この場合には、距離計算は緯度と経度で行われ、高度は使用されない)でもよいし、立体的な距離(この場合には、距離計算で緯度と経度と高度が使用される)でもよい。これと同様の方法で、パノラマ画像131内の全ての画素にそれぞれ対応する3Dデータ上の物体の全地点と、パノラマ画像131の視点との間の距離が、幾何学的に計算される。その結果として、パノラマ画像131のデプス画像が生成される。
【0090】
一旦、このようにしてパノラマ画像131のデプス画像が得られると、パノラマ画像131内の任意の2点139、149に対応するフロア上の2地点141、151間の距離157は、そのデプス画像が示す距離143、151と、その2画素139、149のパノラマ画像131内での位置と、パノラマ画像131の視点145の地理座標(緯度、経度、高度)と、パノラマ画像131の中心方位角147とから、幾何学的に計算される。これが距離計測の原理である。面積や体積の計測も、同じ原理で行われる。
【0091】
図17は、或るフロアにおけるタグの登録作業(
図12のS3)の制御流れの例を示す。
【0092】
図17に示すように、ユーザが、タグを登録したい一つのフロアを選択する(S31)。すると、その選択フロアのGUI(例えば、
図9又は
図10に例示したようなもの)が表示され、そのGUIを用いて、ユーザは、タグの名称を登録する(S32)。すると、登録されたタグ名がGUIに表示される(S33)。その後、ユーザは、タグの地理座標(緯度、経度、高度)を登録する(S34)。そのとき、GUIの表示形式が例えば
図9に例示したようなデジタルツイン表示形式であれば、新たに登録されたタグが、デジタルツインビューワ91内のパノラマ画像上の、その地理座標に合った位置に追加表示される(S35)。その後、ユーザは、望めば、
図11に例示したようなタグ詳細表示ボックスを使って、そのタグのリンク、画像ファイル又はキーワードを登録する(S36)。そのとき、GUIの表示形式が例えば
図10に例示したようなリスト表示形式であれば、登録されたリンク、画像ファイル又はキーワードが、タグリスト表115に追加表示される。以上が、全フロアについて繰り返される(S37)。
【0093】
図18は、この一実施形態にかかる地理情報システム1をユーザが利用して、任意の施設やフロアなど情報を閲覧する時の制御プロセスの流れの例を示す。
【0094】
図18に示すように、ユーザは、任意の施設を指定し(S41)、その施設内の任意のフロアを指定する(S42)。すると、そのフロアについて、
図9に例示したようなデジタルツイン表示形式のGUIが表示され、そのデジタルツインビューワ91に、そのフロアに登録された1以上のパノラマ画像の内の一つが表示される(S43)。そして、デジタルツインビューワ91に表示されたパノラマ画像の視界に入り、かつ、そのパノラマ画像の視点から所定距離範囲内に或るすべてのタグが、そのパノラマ画像上に表示される(S44)。
【0095】
その後、ユーザが、デジタルツインビューワ91に表示されたパノラマ画像上で、次の視点をクリックすると(S45)、その視点に対応する次のパノラマ画像がデジタルツインビューワ91に表示される(S46)。そして、この表示されたパノラマ画像の視界に入り、かつ、そのパノラマ画像の視点から所定距離範囲内に或るすべてのタグが、そのパノラマ画像上に表示される(S47)。こうして、そのフロアのウォークスルーが行われる。
【0096】
また、ユーザが、
図9に例示したようなタグリスト105又はタグ検索ツール111で任意のタグを指定又は検索すると、そのタグが視界に入り、かつ、そのタグから所定距離範囲内に視点をもつ一つのパノラマ画像が選ばれて、デジタルツインビューワ91に表示される(S49)。この表示されたパノラマ画像の視界に入り、かつ、そのパノラマ画像の視点から所定距離範囲内に或るすべてのタグが、そのパノラマ画像上に表示される(S50)。
【0097】
また、ユーザが、デジタルツインビューワ91に表示されたパノラマ画像上で、任意のタグをクリックすると(S51)、
図11に例示したようなタグ詳細表示ボックス119が表示スクリーン上に開き、そこに、そのタグの詳細が表示される(S52)。
【0098】
図19は、デジタルツインビューワ91に表示されたパノラマ画像上にタグを表示する方法の原理の例を示す。
【0099】
図19に示すように、例えば、或るフロア上の視点145で撮影されたパノラマ画像131、そのフロアの3Dデータ133(床135、各種の設備137、138、140などの3Dデータ要素を含む)、及び、そのフロア上の3地点(地理座標:緯度、経度、高度)161、163、165のタグが、システム1に登録されていたとする。そして、今、パノラマ画像131が、その見開き角範囲内に上記3地点161、163、165が全て入る方位で、デジタルツインビューワ91に表示されたとする。
【0100】
この時、パノラマ画像131には、1つのタグ167は表示されるが、他の2つのタグ169、171は表示されない。最初のタグ167については、その地理座標161が、パノラマ画像131の表示範囲の視界に入る(パノラマ画像131の視点145からの視線が遮断されずに地理座標161まで届く)とともに、パノラマ画像131の視点145から所定距離173より近い位置に在るからである。他方、2番目のタグ169については、その地理座標163への視線175が設備137に遮断されて、パノラマ画像131の視界に入らない。3番目のタグ171については、その地理座標165はパノラマ画像131の表示範囲の視界に入っているが、その地理座標165が所定距離173より遠い位置に在るからである。
【0101】
このようなタグの表示と非表示の制御は、パノラマ画像131の視点145の地理座標と中心方位角147、タグの地理座標161、163、165、3Dデータ133の諸点の地理座標などを用いた幾何学計算に基づいて行われる。その際、パノラマ画像131に対応するデプス画像も、パノラマ画像131の視点145からタグの地点161、163、165までの距離計算などに利用される。
【0102】
図20は、
図9に例示したようなデジタルツインビュー91上で、ユーザに指定されたパノラマ画像内の2点間の距離を、デプス画像を用いて計測するプロセスの流れの例を示す。
【0103】
この距離計測の原理は、既に
図16を参照して説明したとおりである。
図20に示すように、表示されたパノラマ画像上の2点がユーザにより指定されると(S61)、そのパノラマ画像の視点からその2点の地理座標までの距離がデプス画像から読みだされる(S62)。そして、そのパノラマ画像の視点から見た、その2点間の見開き角が計算される(S63)。そして、S62で得られた2点までの距離と、S63で得られた2点間の見開き角から、その2点間の距離が計算される。
【0104】
以上、一つの実施形態を説明したが、これは本発明の説明のための例示であり、この実施形態にのみ本発明を限定する趣旨ではない。本発明は、その要旨を逸脱しない範囲で他の様々な形態で実施可能である。
【符号の説明】
【0105】
1:地理情報システム、3:ユーザ端末、13:データ登録部、15:データ生成部、17:データ視覚化部、19:データ解析部、21:データベース、23:施設、25:フロア、27:外形ポリゴン、29:サムネイル画像、31:背景画像、33:パノラマ画像、35:タグ、53:施設リスト表、55:施設登録ボタン、59:表示選択ツール、63:地図、65:外形ポリゴン、67:サムネイル画像、69:地図ビューワ、73:フロアリスト表、77:フロア登録ボタン、83:表示選択ツール、85:フロアギャラリー、91:デジタルツインビューワ、93:パノラマ画像、95:タグ、99:背景画像、101:パノラマ画像アイコン、103:タグ登録ボタン、1-7:パノラマ画像登録ボタン、109:表示選択ツール、115:タグリスト表、117:パノラマ画像リスト表、119:タグ詳細表示ボックス。