特許 7535629 情報抽出方法、情報表示方法、情報抽出装置、情報表示装置、及び、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-07

(45)【発行日】2024-08-16

(54)【発明の名称】情報抽出方法、情報表示方法、情報抽出装置、情報表示装置、及び、コンピュータプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240808BHJP

   G06T 17/05 20110101ALI20240808BHJP

【ＦＩ】

G06T19/00 A

G06T17/05

【請求項の数】 17

(21)【出願番号】P 2023100181

(22)【出願日】2023-06-19

【審査請求日】2024-05-29

【早期審査対象出願】

(73)【特許権者】

【識別番号】517040102

【氏名又は名称】ＰｗＣコンサルティング合同会社

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100163902

【弁理士】

【氏名又は名称】市川 奈月

(72)【発明者】

【氏名】▲柳▼澤 慧

(72)【発明者】

【氏名】佐々木 智広

(72)【発明者】

【氏名】南 政樹

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０２１－１１７１９９（ＪＰ，Ａ）

【文献】特開２００５－０５６２９５（ＪＰ，Ａ）

【文献】特開２００９－２１７５２４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２９０２９６８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １７／０５

(57)【特許請求の範囲】

【請求項1】

記憶装置にアクセス可能な演算回路を含む情報処理装置で実行され、複数の部分空間にそれぞれ情報が紐付けられ、移動体の移動に伴って少なくとも１つの前記部分空間に紐付けられる情報を抽出する情報抽出方法であって、
前記記憶装置は、
球体の中心を中心として、三次元空間を仮想的かつ規則的に分割して得られた複数の前記部分空間の各々に紐づけられた前記情報を含む三次元空間情報を記憶し、
前記各部分空間は、それぞれ前記三次元空間を示す三次元座標を特定する少なくとも１つの第１の要素と関連付けられ、
前記移動体は、前記移動体の少なくとも一点を示す第２の要素と関連付けられ、
前記演算回路は、
前記三次元空間内で前記移動体を移動させるとき、前記第１の要素と前記第２の要素との位置関係に応じて、前記三次元空間情報から部分空間を選択し、
選択された前記部分空間に紐づけられる情報を抽出する
情報抽出方法。

【請求項2】

前記三次元空間情報では、
前記三次元空間では、前記各部分空間が複数層に重なって配置され、
前記各部分空間は、前記中心からの距離が同一の層では、体積が同一である
請求項１に記載の情報抽出方法。

【請求項3】

前記各部分空間は、前記三次元空間が前記球体の中心を頂点として、同一形状の複数の角錐で充填されたとき、前記複数の角錐の各辺を分割して形成される形状である
請求項２に記載の情報抽出方法。

【請求項4】

前記各部分空間は、前記中心から離れるにつれて大きくなる相似形状である
請求項３に記載の情報抽出方法。

【請求項5】

前記記憶装置は、
移動体の条件毎に、前記情報の抽出の基準とする範囲の三次元形状を含む第２の要素が関連付けられる移動体情報を記憶し、
前記演算回路は、
前記記憶装置に記憶される前記移動体情報を参照して、移動する前記移動体の条件と関連付けられる三次元形状を選択し、
前記三次元空間情報から前記情報を抽出するとき、選択された前記部分空間内に紐づけられている前記情報を全て抽出する
請求項１に記載の情報抽出方法。

【請求項6】

前記記憶装置は、
移動体の条件毎に、前記情報の抽出の基準とする範囲の三次元形状を含む第２の要素が関連付けられる移動体情報を記憶し、
前記演算回路は、
前記記憶装置に記憶される前記移動体情報を参照して、移動する前記移動体の条件と関連付けられる三次元形状を選択し、
前記三次元空間情報から前記情報を抽出するとき、選択した前記三次元形状の範囲内に紐付けられる前記情報を抽出する
請求項１に記載の情報抽出方法。

【請求項7】

前記移動体の条件は、前記移動体の種別、移動目的及び移動の速度の少なくともいずれか１つを含む
請求項５に記載の情報抽出方法。

【請求項8】

前記演算回路は、
前記三次元空間情報から抽出した前記情報に基づき、選択した前記三次元形状をさらに変化させる
請求項５に記載の情報抽出方法。

【請求項9】

前記球体は、地球である
請求項１に記載の情報抽出方法。

【請求項10】

前記部分空間は、前記地球の地表から離れるにつれてその高さが高くなる形状である
請求項９に記載の情報抽出方法。

【請求項11】

前記部分空間は、切頂八面体である
請求項１に記載の情報抽出方法。

【請求項12】

ディスプレイにアクセス可能な演算回路を含む情報処理装置で実行され、仮想の三次元空間情報を表示する情報表示方法であって、
演算回路は、
請求項１から１１のいずれか１に記載の情報抽出方法で抽出された情報を前記ディスプレイに表示させる
情報表示方法。

【請求項13】

記憶装置にアクセス可能な演算回路を含み、複数の部分空間にそれぞれ情報が紐付けられ、移動体の移動に伴って少なくとも１つの前記部分空間に紐付けられる情報を抽出し、抽出結果に基づいて仮想の三次元空間情報を表示する情報表示装置であって、
前記記憶装置は、
球体の中心を中心として、三次元空間を仮想的かつ規則的に分割して得られた複数の前記部分空間の各々に紐づけられた前記情報を含む三次元空間情報を記憶し、
前記各部分空間は、それぞれ前記三次元空間を示す三次元座標を特定する少なくとも１つの第１の要素と関連付けられ、
前記移動体は、前記移動体の少なくとも一点を示す第２の要素と関連づけられ、
前記演算回路は、
前記三次元空間内で前記移動体を移動させるとき、前記第１の要素と前記第２の要素との位置関係に応じて、前記三次元空間情報から部分空間を選択し、
選択された前記部分空間に紐づけられる情報を抽出する
情報表示装置。

【請求項14】

前記第１の要素と前記第２の要素との位置関係が、前記三次元空間情報で利用する絶対座標系で表されている
請求項１３に記載の情報表示装置。

【請求項15】

前記移動体はＧＰＳ（全地球測位システム）の受信機を有し、
前記演算回路は、当該ＧＰＳの受信機で受信する信号に基づいて前記移動体の位置情報を第２の要素として取得する
請求項１４に記載の情報表示装置。

【請求項16】

情報処理装置に、請求項１から１１のいずれか１に記載の情報抽出方法を実行させるコンピュータプログラム。

【請求項17】

情報処理装置に、請求項１２に記載の情報表示方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元空間情報を抽出又は表示する情報抽出方法、情報表示方法、情報抽出装置、情報表示装置、及び、コンピュータプログラムに関する。

【背景技術】

【0002】

従来から、様々な地理空間情報（geospatial information）が利用されている。地理空間情報では、特定の地点の座標に、この地点に関する情報が関連付けられる。ユーザは、このような地理空間情報を利用して、地図上の座標と関連付けられる様々情報も取得することができ、利便性が向上する。

【0003】

ところで、従来から利用されてきた地理空間情報は、平面的な座標と関連付けられて利用されることが多いのが一般的である。一方で、近年、デジタルツインやメタバース等、立体的な情報である三次元空間情報の利用が盛んになっている。このような三次元空間の映像を扱う場合にも、空間的な座標と関連付けられる地理空間情報が利用されることもある。ところで三次元空間を表す映像は、従来の平面的な前後左右等への移動に制限されず、空間的に自由に移動することが想定される。

【0004】

したがって、デジタルツインやメタバース等のような三次元空間情報を利用する場面では、従来から扱われていた平面データと比較して、膨大な量のデータを必要とする。したがって、データ処理の負荷は増大する。またデジタルツインやメタバースを再現するために、多くのデータを扱う際にデータの送受信や演算に遅延が生じた場合、リアルな映像の表示が妨げられる。従来から、データの処理の負荷を軽減する技術について研究が進められているが、デジタルツインやメタバース等の三次元空間を表す映像の利用に伴ってデータ処理の負荷も増加するため、その必要性も高まる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２２－１６１３４２号公報

【文献】特表２０１９－５３１５４３号公報

【文献】特開２０１５－１１８４６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記に鑑み、本発明は、三次元空間情報を利用して映像を表示する場合に、データ処理の負荷を軽減する情報抽出方法、情報表示方法、情報抽出装置、情報表示装置、及び、コンピュータプログラムを提供する。

【課題を解決するための手段】

【0007】

本開示に係る情報抽出方法は、記憶装置にアクセス可能な演算回路を含む情報処理装置で実行され、複数の部分空間にそれぞれ情報が紐付けられ、移動体の移動に伴って少なくとも１つの部分空間に紐付けられる情報を抽出する情報抽出方法であって、記憶装置は、球体の中心を中心として、三次元空間を仮想的かつ規則的に分割して得られた複数の部分空間の各々に紐づけられた情報を含む三次元空間情報を記憶し、各部分空間は、それぞれ三次元空間を示す三次元座標を特定する少なくとも１つの第１の要素と関連付けられ、移動体は、移動体の少なくとも一点を示す第２の要素と関連付けられ、演算回路は、三次元空間内で移動体を仮想的に移動させるとき、第１の要素と第２の要素との位置関係に応じて、三次元空間情報から部分空間を選択し、選択された部分空間に紐づけられる情報を抽出する。

【発明の効果】

【0008】

本開示の情報抽出方法、情報表示方法、情報抽出装置、情報表示装置、及び、コンピュータプログラムは、三次元空間情報を利用して映像を表示する場合に、データ処理の負荷を軽減することができる。

【図面の簡単な説明】

【0009】

【図1】情報表示システムの構成を示すブロック図である。

【図2】三次元空間情報で表される部分空間を示す概略図である。

【図3】三次元空間情報で表される部分空間を説明する概略図である。

【図4】三次元空間情報の構成の一例を示す。

【図5】三次元空間情報に含まれる複数の部分空間を示す概略図である。

【図6】三次元地図情報の一例である。

【図7】移動体情報の構成の一例を示す。

【図8】移動体情報で表される三次元形状を説明する概略図である。

【図9A】情報表示システムにおいて表示される三次元画像の一例である。

【図9B】情報表示システムにおいて表示される三次元画像の他の例である。

【図10】図４に示す複数の部分空間から選択された部分空間を示す概略図である。

【図11】図１０に示す複数の部分空間から抽出される第１の要素を示す概略図である。

【図12】情報表示装置における情報の取得の処理を説明するフローチャートである。

【図13】情報表示装置における情報の抽出及び表示の処理を説明するフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して本開示に係る情報抽出方法、情報表示方法、情報表示装置、及び、コンピュータプログラムについて説明する。本開示の情報表示装置は、三次元空間上で規定された複数の部分空間にそれぞれ情報が紐付けられ、移動体の三次元空間における移動に伴って少なくとも１つの部分空間に紐付けられる情報を抽出する。また、情報表示装置は、抽出した情報を表示する。以下では、本開示に係る情報表示装置が、デジタルツインで、現実空間が再現された仮想空間をディスプレイに表示する一例を用いて説明する。この例では、情報表示装置は、現実空間における動物や乗り物等の移動体の移動又は仮想空間における仮想の移動体の移動に合わせて、抽出した情報を表示する。具体的には、情報表示装置は、移動体の移動する速度、移動体の視点等に応じて抽出した情報を表示する。なお、以下の説明では、同一の構成について、同一の符号を付して説明を省略する。

【0011】

〈情報表示システム〉
図１に示すように、本開示の情報表示装置１０は、情報表示システム１に含まれる。情報表示装置１０は、ネットワーク４０を介して、ユーザ端末２０及び情報提供装置３０とデータ通信可能に接続される。情報表示装置１０は、情報提供装置３０から提供される情報を管理する。また、情報表示装置１０は、ユーザ端末２０と関連付けられる移動体の条件を取得すると、管理する情報から、移動体の条件に応じた情報を抽出し、抽出した情報を含む三次元画像をユーザ端末２０のディスプレイに表示させる。以下の説明では、地球上の現実空間を再現した仮想空間において、ユーザ端末２０からの操作に応じて、仮想の移動体を移動させる場合に仮想の移動体の移動に応じた三次元画像を表示させる一例で説明する。なお、地球上は、地上に限定されず、移動体が移動可能な範囲には、海中や地中を含むことができる。

【0012】

ユーザ端末２０は、ユーザによって利用される情報処理端末である。ユーザ端末２０は、情報表示装置１０によって送信された仮想空間を示す三次元画像を受信し、ディスプレイに表示する。例えば、ユーザ端末２０は、ディスプレイを有するパーソナルコンピュータ（ＰＣ）、スマートフォン、ＶＲゴーグル等であり得る。また、ユーザ端末２０は、仮想空間において仮想の移動体を移動させる操作信号を情報表示装置１０に送信することができる。そのほか、ユーザ端末２０は、脳波等の検出や脳への刺激によって脳とコンピュータ等をつなぐＢＣＩ：Brain Computer Interfaceデバイス（脳侵襲型および非脳侵襲型を含む）であり得る。

【0013】

情報提供装置３０は、情報表示装置１０に三次元空間情報Ｄ１や三次元地図情報Ｄ２を提供する情報処理端末である。例えば、情報提供装置３０は、地理情報システム（ＧＩＳ：Geographic Information System）で情報を提供する装置である。

【0014】

図１では、情報表示装置１０は、１台のユーザ端末２０及び１台の情報提供装置３０と接続されるが、情報表示装置１０と接続されるユーザ端末２０及び情報提供装置３０の数は限定されない。したがって、情報表示装置１０は、複数の異なるユーザ端末２０に同一の又は異なる三次元画像を表示させてもよい。また、情報表示装置１０は、複数の異なる情報提供装置３０から提供される三次元空間情報Ｄ１や三次元地図情報Ｄ２を受信し、管理してもよい。

【0015】

〈情報表示装置〉
図１を用いて、実施形態に係る情報表示装置１０について説明する。例えば、情報表示装置１０は、図１に示すように、演算回路１１、記憶装置１２、入力装置１３、出力装置１４及び通信回路１５を備えるパーソナルコンピュータ等の情報処理装置である。

【0016】

演算回路１１は、情報表示装置１０全体の制御を司るコントローラである。演算回路１１は、記憶装置１２に記憶されるコンピュータプログラムを実行することにより各種の処理を実行する。また、演算回路１１は、所定の機能を実現する専用に設計されたハードウェア回路でもよい。例えば、演算回路１１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサであってもよい。

【0017】

記憶装置１２は、種々の情報を記録する記憶媒体である。記憶装置１２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶装置１２は、三次元空間情報Ｄ１、三次元地図情報Ｄ２、移動体情報Ｄ３等が格納され得る。また、記憶装置１２は、情報抽出処理や情報表示処理の過程で利用される種々のデータを記憶する。

【0018】

入力装置１３は、オペレータに操作される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等である。また、出力装置１４は、処理結果やデータの出力に利用されるディスプレイ、スピーカ等である。

【0019】

通信回路１５は、ユーザ端末２０や情報提供装置３０等の外部の装置とのデータ通信を可能とするための通信手段である。データ通信は、ネットワーク４０を介して無線及び／又は有線による公知の通信規格にしたがって行われ得る。例えば、有線によるデータ通信は、イーサネット（登録商標）規格、及び／又はＵＳＢ（登録商標）規格等に準拠して動作する半導体集積回路の通信コントローラを通信回路１５として用いることによって行われる。また無線によるデータ通信は、ＬＡＮ（Local Area Network）に関するＩＥＥＥ８０２．１１規格、及び／又は移動体通信に関する、いわゆる４Ｇ／５Ｇと呼ばれる、第４世代／第５世代移動通信システム等に準拠して動作する半導体集積回路の通信コントローラを通信回路１５として用いることによって行われる。

【0020】

三次元空間情報Ｄ１は、球体である地球の球面（地表面）を含む三次元空間を記述する情報を含む。本実施形態では、三次元空間は、各々が地球の中心Ｃを頂点として有する複数の正六角錐によって充填されているとする。そして各正六角錐は、仮想的かつ規則的に分割して得られた複数の部分空間に分割されているとする。複数の部分空間の各々には、各部分空間に関する情報が紐付けられており、各情報が三次元空間情報Ｄ１を構成する。図２は、ある１つの部分空間Ｏを示す例である。この部分空間Ｏは、図３に示すように、地球の中心Ｃを頂点とする正六角錐の各辺を等間隔で分割して形成される。具体的には、図３に示す例では、複数の部分空間Ｏは、地球の中心Ｃを頂点とする正六角錐を一定間隔で１０等分して得られる正六角錐と、正六角錐台とであり得る。このように、複数の部分空間Ｏは、地球の球面を含む三次元空間を、形状の六角錐のそれぞれについて所定間隔で分割して得られた複数の六角錐又は六角錐台であり得る。また、各六角錐台は、中心Ｃから近い底面の面積よりも、中心Ｃから遠い上面の面積が大きい。なお、地球の球面を含む三次元空間は、地球の中心Ｃを頂点として、図３に示すような正六角錐で空間充填されている。したがって、地球の球面を含む三次元空間は、複数の部分空間Ｏで空間充填される。また、上述したように、各部分空間Ｏは、正六角錐が所定間隔で分割して得られるため、複数の正六角錐に注目すると、球体の中心Ｃからの距離が同一の層（部分空間）は、同一の形状であり、つまり、同一の体積であり得る。なお、図２に示す例では、簡略化のため、三次元空間に含まれる１つの部分空間Ｏのみを示す。したがって、部分空間Ｏは、図２に示す部分空間Ｏの上層や地下にも存在し得るし、図２に示される部分空間Ｏと同一の階層で並んで存在し得る。なお、部分空間Ｏを形成する方法は、地球の表面を分割する任意の方法でよい。その際には、例えば、地球を球体や楕円体等であることを前提に、正六角錐の頂点から底面への角度（ラジアン）と標高（高さ）を計算して短距離になるよう分割する。

【0021】

三次元空間情報Ｄ１では、図４に一例を示すように、各部分空間Ｏの「識別情報」に、「複数の頂点の座標」が関連付けられる。「複数の頂点の座標」は、識別情報で示される部分空間Ｏを表す複数の頂点の座標である。例えば、地球の例では、「座標」は、緯度、経度及び地球の中心からの距離、によって表現される三次元極座標で表現され得る。識別情報と関連付けられる複数の頂点において、隣り合う頂点の座標を結ぶことで、部分空間Ｏが形成される。例えば、図２に示したように部分空間Ｏが、１２個の頂点の座標で表される六角錐台であるとき、三次元空間情報Ｄ１では、部分空間の識別情報に、１２個の頂点の座標が関連付けられる。また、三次元空間情報Ｄ１では、図４に一例を示すように、各部分空間Ｏの「識別情報」に、三次元空間に含まれる三次元座標を特定する少なくとも１つの「第１の要素」が関連付けられる。「第１の要素」は、例えば、図２のＣ１である。また、「第１の要素」は、例えば、図４に一例を示すように、空間上の位置を示す座標と、当該座標に関連する情報とを含む。座標に関連する情報は、座標と関連付けられる情報であり、メタデータ（地上、空中、地下等に存在する空間上の特定の地点や区域の位置や時間等に関する４次元時空間情報を含む）であり得る。具体的には、座標に関連する情報は、当該座標に存在する建物の情報、例えば、建物名、建物に存在する施設名や施設の種類、であり得る。また、座標に関連する情報は、当該座標において撮影された画像であり得る。さらに、座標に関連する情報は、当該座標における気象情報であり得る。例えば、同じ座標における気象情報であっても、時間の経過により異なる気象情報であり得る。この三次元空間情報Ｄ１は、一般的な「地理空間情報」のうち、位置情報として、三次元座標を含み、この三次元座標に関連するあらゆる種類の情報を含むことができる。なお、三次元空間情報Ｄ１、地球の内側の全ての層に対して部分空間Ｏに関連する情報を含む必要はない。例えば、三次元空間情報Ｄ１では、地中の深く移動体の移動が生じ得ず、関連付ける情報もない深さについては、図４に示すように情報を関連付けなくてもよい。また、三次元空間情報Ｄ１では、上空については、移動体の移動が生じる高さまで部分空間Ｏに関連する情報を含む。

【0022】

このような三次元空間情報Ｄ１によって、例えば、図５の概略図で表されるように、第１の情報と関連付け有られる複数の部分空間Ｏが表される。なお、図５に示す例では、地表から２層分の部分空間Ｏの一部のみを図示するが、実際に三次元空間情報Ｄ１で規定する地上の部分空間の数は２層に限定されない。また、複数の部分空間は、図５のような地表表面の一部ではなく、全面を覆うように配置されうる。したがって、三次元空間情報Ｄ１では、情報を含む範囲及び移動体が移動可能と想定される範囲の階層で識別情報、複数の座標及び第１の要素を含むことができる。

【0023】

三次元空間情報Ｄ１は、１つの座標に異なる複数の種類の情報を関連付けてもよい。このとき、三次元空間情報Ｄ１は、各座標に関連する情報に対して、情報の種類を関連付ける。これにより、情報表示装置１０は、ユーザ端末２０に、三次元画像として情報を表示させる際、情報の種類によって、異なる表示方法（例えば、色やマーク）で表示してもよい。または、情報表示装置１０は、ユーザの使用用途や操作等に応じて指定された種類の情報を選択し、三次元画像を表示させてもよい。例えば、情報表示装置１０は、移動体が無人で移動するドローンである場合には、ドローンの飛行に使用される情報（飛行エリアの部分空間Ｏ近辺のその他の飛行物の飛行有無や移動体の情報等）を選択して、三次元画像として表示させることができる。一方、移動体が人間の場合には、人間はそのような飛行エリアを通過することはないため、情報表示装置１０は、それらの情報を三次元画像として表示させないことができる。

【0024】

三次元地図情報Ｄ２は、三次元空間情報Ｄ１と対応させて空間の三次元地図の描画に利用される情報である。例えば、三次元地図情報Ｄ２により、図６に示すような三次元地図を表すことができる。また、三次元地図情報Ｄ２から抽出される三次元地図に、三次元空間情報Ｄ１から抽出される第１の要素を合わせて、ユーザ端末２０で表示させる三次元画像を生成する。この三次元地図は、三次元空間情報Ｄ１の座標と対応する絶対座標系によって表されていてもよい。これにより、情報表示システム１において、統一して絶対座標系を用いて座標を表すことで、各処理において座標変換をすることなく効率的に各処理を実行することが可能となる。

【0025】

移動体情報Ｄ３は、図７に一例を示すように、当該識別情報で識別される「移動体の条件」と、当該識別情報で識別される移動体の「第２の要素」とを含む。例えば、移動体の条件は、移動体の種別や移動目的、サイズ、及び／又は、移動速度を含むことができる。移動体の条件は、複数の情報の組み合わせであってもよい。また、「第２の要素」は、移動体の少なくとも一点を示す座標と、情報の抽出の基準とする範囲の三次元形状を含む。具体的には、第２の要素が含む座標は、移動体を基準とした視点を示す。また、第２の要素が含む三次元形状は、移動体の視野として情報を抽出する範囲を示す。例えば、第２の要素は、図８に示すような、視点を示す座標Ｐｒと、この座標Ｐｒを基準とする視野の範囲となり得る三次元形状Ｒを示す座標や数式等を含む。

【0026】

例えば、移動体が人間である場合、第２の要素は、人間の目の位置を示す座標と、人間の目の位置及び移動速度に応じた視野を表す三次元形状を示す情報を含み得る。例えば、人間が歩行する場合、周囲の情報を観察しながら進む可能性が考えられる。したがって、周囲方向に広く、前方方向に短い三次元形状にすることで、情報の取得量を低減することができる。一方、人間が走行する場合、周囲の情報はあまり観察せずに進む可能性が考えられる。したがって、周囲方向は歩行中より狭く、前方方向に長い三次元形状にすることで情報の取得量を低減することができる。仮に、上述のような違いがあり、人間の第２の要素の三次元形状が人間の視点を頂点とする円錐であるとき、歩行中の三次元形状は、走行中の三次元形状と比較して、径射角が大きく、頂点から底面までの長さは短くなる。

【0027】

また、移動体が自動車である場合、第２の要素は、例えば、運転手の目の位置を示す座標と、自動車の移動速度及び運転手の目の位置に応じた運転手の視野を表す三次元形状を示す情報を含み得る。例えば、自動車は、前方以外の移動が少ないため、前方に大きいコライダーにしてもよい。これにより、不必要な情報の取得を低減し、処理の負荷を軽減することができる。

【0028】

さらに、移動体が無人で移動するドローンである場合、第２の要素は、例えば、ドローンに搭載されるカメラ等のセンサの位置を示す座標と、ドローンの移動速度及びカメラの撮影範囲に応じた三次元形状を示す情報を含み得る。例えば、ドローンは、前方以外の広範囲に移動する可能性があるため、人間の歩行中のように、広い範囲のコライダーにしてもよい。なお、仮に、移動体がドローンである場合、ドローンに備えられるカメラで設定されるズームレベルに応じて、選択された第２の要素が変形されうる。

【0029】

具体的には、同一の三次元地図情報Ｄ２を用いて三次元画像を生成する場合であっても、移動体の条件によって抽出される情報が異なるため、生成される三次元画像が異なるものとなる。上述したように、例えば、移動体が自動車である場合、図９Ａに示すように、周囲よりも前方の遠くまでの範囲の情報を含む三次元画像が生成される。これに対し、移動体がドローンである場合、図９Ｂに示すように、図９Ａと比較して、遠くまでではなく、周囲の広い範囲の情報を含む三次元画像が生成されてもよい。なお、上述したように、第２の要素は、移動体の条件によって異なるため、図９Ａ及び９Ｂを用いた例は、一例である。例えば、図９Ａ及び９Ｂでは、情報の座標のみを示すが、情報の一部として、テキストデータの一部や、情報を表すイラスト等が三次元画像に含まれていてもよい。なお、これらの三次元画像は、ＡＲ（拡張現実）やＶＲ（仮想現実）として表示されてよい。

【0030】

ここで、第２の要素に含まれる座標は、三次元空間情報Ｄ１の座標と対応させることが好ましい。これにより、第２の要素に含まれる座標に応じて、三次元空間情報Ｄ１から第１の要素を容易に抽出することができる。

【0031】

演算回路１１は、通信回路１５を介して、情報提供装置３０から提供される三次元空間情報Ｄ１を受け付けると、記憶装置１２に記憶させる。ここで、情報提供装置３０から提供される各情報Ｄ１，Ｄ２に含まれる座標が絶対座標系で表されていない場合、演算回路１１は、座標を絶対座標系に統一してもよい。

【0032】

演算回路１１は、ネットワーク４０を介してユーザ端末２０からユーザ端末２０のディスプレイ上で表示する仮想の移動体の条件を受け付ける。例えば、演算回路１１は、仮想の移動体の条件として、ユーザ端末２０を介して、移動体の種別及び移動体の移動速度を受け付ける。また、演算回路１１は、記憶装置１２に記憶される移動体情報Ｄ３を参照して、受け付けた仮想の移動体の条件と関連付けられる第２の要素を選択する。

【0033】

演算回路１１は、ネットワークを介してユーザ端末２０から仮想の移動体の位置情報を受け付ける。ここで取得する仮想の移動体の位置情報は、三次元空間情報Ｄ１で利用する絶対座標系で表されることが好ましい。仮に、受け付けた位置情報が三次元空間情報Ｄ１で利用する絶対座標系で表されていない場合、演算回路１１は、受け付けた位置情報を絶対座標系に変換してもよい。また、ここで取得する仮想の移動体の位置情報は、図８を用いて上述した仮想の移動体の視点の座標Ｐｒであってもよい。仮想の移動体の視点の座標Ｐｒで仮想の移動体の位置情報を扱うことで、座標の変換処理を低減することができる。

【0034】

演算回路１１は、仮想の移動体の移動に応じた仮想空間を表す三次元画像を表示するとき、第１の要素と第２の要素との位置関係に応じて、三次元空間情報Ｄ１から第１の要素を抽出する。例えば、演算回路１１は、三次元空間情報Ｄ１によって、図５を用いて上述したように表される複数の部分空間Ｏから、仮想の移動体の位置及び第２の要素で特定される範囲に位置する部分空間Ｏを選択する。具体的には、演算回路１１は、仮想の移動体の位置が示す座標を基準として、三次元空間における第２の要素で表される三次元形状Ｒの範囲を決定する。また、演算回路１１は、三次元空間情報Ｄ１によって表される複数の部分空間Ｏから、決定された三次元形状Ｒの範囲に存在する部分空間Ｏとして、図１０に示すように、４つの部分空間Ｏを選択する。また、演算回路１１は、選択された部分空間Ｏに含まれる全ての第１の要素Ｃ１を抽出する。仮に、図１０に示すように、選択された部分空間Ｏに合計６つの第１の要素Ｃ１を含むとき、演算回路１１は、これら６つの第１の要素Ｃ１を抽出する。

【0035】

ただし、選択された部分空間Ｏに合計６つの第１の要素を含む場合であっても、図１１に示すように、移動体の位置及び第２の要素で特定される三次元形状Ｒの範囲において、第１の要素は５つしか含まないとする。このとき、演算回路１１は、５つの第１の要素のみ抽出するようにしてもよい。

【0036】

このとき、演算回路１１は、選択された部分空間に紐づけられる情報を抽出する。すなわち、演算回路１１は、抽出した第１の要素に含まれるメタデータである情報を抽出する。

【0037】

また、演算回路１１は、第２の要素の位置に応じて、三次元地図情報Ｄ２から三次元地図を抽出する。

【0038】

演算回路１１は、三次元地図情報Ｄ２から抽出した三次元地図において、三次元空間情報Ｄ１から抽出した第１要素に含まれる各座標に、各座標と関連する情報を関連付けた、三次元画像を生成する。また、演算回路１１は、生成した三次元画像を、ユーザ端末２０に送信し、ユーザ端末２０に表示させる。

【0039】

このように、情報表示装置１０は、三次元空間情報Ｄ１から有用な範囲の情報を抽出することができる。また、情報表示装置１０は、抽出された情報のみを利用して三次元画像を生成して表示することができる。これにより、情報表示システム１では、情報表示装置１０からユーザ端末２０へのデータの送信量を軽減して負荷を軽減することができる。

【0040】

〈情報表示装置における情報の取得の処理〉
図１２に示すフローチャートを用いて、情報表示装置１０が情報提供装置３０から情報を取得する処理の流れの一例を説明する。

【0041】

演算回路１１は、ネットワーク４０を介して、情報提供装置３０から三次元空間情報Ｄ１を取得する（Ｓ０１）。このとき、情報表示装置１０は、取得した三次元空間情報Ｄ１を記憶装置１２に記憶させる。

【0042】

また、演算回路１１は、ネットワーク４０を介して、情報提供装置３０から三次元地図情報Ｄ２を取得する（Ｓ０２）。このとき、情報表示装置１０は、取得した三次元地図情報Ｄ２を記憶装置１２に記憶させる。

【0043】

演算回路１１は、ステップＳ０１で取得した三次元空間情報Ｄ１と、ステップＳ０２で取得した三次元地図情報Ｄ２の座標系が同一であるか判定する（Ｓ０３）。

【0044】

各座標系が同一でないとき（Ｓ０３でＮＯ）、演算回路１１は、三次元空間情報Ｄ１と三次元地図情報Ｄ２の座標系を整合させる（Ｓ０４）。

【0045】

各座標系が同一であるとき（Ｓ０３でＹＥＳ）、又は、ステップＳ０４で座標系が整合されると、演算回路１１は、情報の取得の処理を終了して次の処理を待機する。例えば、次の処理は、新たな情報の取得であり、ステップＳ０１～Ｓ０４を用いて上述した処理であり得る。または、次の処理は、図１３を用いて後述する情報の抽出及び表示の処理であり得る。

【0046】

〈情報表示装置における情報の抽出及び表示の処理〉
図１３に示すフローチャートを用いて、情報表示装置１０が情報を抽出し、ユーザ端末２０のディスプレイに表示する処理の流れを説明する。

【0047】

まず、演算回路１１は、ネットワーク４０を介して、ユーザ端末２０から移動体の条件を受け付ける（Ｓ１１）。

【0048】

演算回路１１は、記憶装置１２で記憶される移動体情報Ｄ３を参照して、ステップＳ１１で受け付けた移動体の条件と関連付けられる第２の要素を抽出する（Ｓ１２）。

【0049】

また、演算回路１１は、ネットワーク４０を介して、ユーザ端末２０から移動体の位置情報を示す座標を受け付ける（Ｓ１３）。

【0050】

演算回路１１は、ステップＳ１３で受け付けた位置情報が示す座標と、ステップＳ１２で抽出した第２の要素の三次元形状とを合わせて、情報の抽出の対象である三次元形状を決定する（Ｓ１４）。

【0051】

演算回路１１は、記憶装置１２で記憶される三次元空間情報Ｄ１を参照して、ステップＳ１４で決定した三次元形状に応じて、第１の要素を抽出する（Ｓ１５）。

【0052】

演算回路１１は、記憶装置１２で記憶される三次元地図情報Ｄ２と、ステップＳ１５で抽出した第１の要素とを合わせて、表示用の三次元画像を生成する（Ｓ１６）。

【0053】

演算回路１１は、ステップＳ１６で生成した三次元画像を、ネットワーク４０を介してユーザ端末２０に送信する（Ｓ１７）。

【0054】

これにより、演算回路１１は、ユーザ端末２０に生成した三次元画像を表示させる。また、三次元画像の表示の処理が終了するまで、ステップＳ１１～Ｓ１８の処理を繰り返す。例えば、移動体の条件として、移動体の移動速度が変更されると、ステップＳ１１で新たな移動速度を受け付け、ステップＳ１２で変更に合わせて第２の要素を抽出する。

【0055】

上述したように、情報表示装置１０では、移動体の条件に応じて三次元空間情報Ｄ１から情報を抽出し、三次元画像を生成して表示する。つまり、情報表示装置１０は、三次元空間情報Ｄ１から移動体ごとに適した情報のみに絞って抽出することができる。例えば、移動体が自動車の場合、自動車は前方以外の移動が少ないため、三次元形状は、主に前方に大きいコライダーとして生成することができる。そのため、情報表示装置１０は、三次元画像として、自動車の移動にとって必要性の高い、前方に関する三次元空間情報Ｄ１の情報の量を多く抽出することができる。一方、情報表示装置１０は、三次元画像として、自動車の移動にとって必要性の高くない、左右方向に関する三次元空間情報Ｄ１の情報の量を減らすことができる。これにより、情報表示装置１０では、移動体の適切な移動を損なうことなく、かつ情報処理の負荷を軽減することができるため、データの送信量も低減し、処理の遅延の発生も防止することができる。なお、情報表示装置１０は、自動車が実際に走行した距離や速度、および走行エリア周辺の環境などのデータを学習した学習済みプログラムに基づき、自動車が実際に走行しているエリアごとに最適な三次元形状としてのコライダーを生成することもできる。例えば、見通しの悪い道路での急な下り坂の坂道を含むエリアでは、坂道にさしかかる前に、当該エリアの実際の走行データを学習した学習済みプログラムに基づいて、情報表示装置１０は、通常走行時として選択されたコライダーの形状をさらに変化させ、より遠くの前方までの範囲の情報を含む形状のコライダーを三次元画像として生成することができる。これにより、自動車は、見通しの悪い道路の急な下り坂の坂道を早く認識し、自動車の速度を落とすことができる。

【0056】

〈変形例１〉
なお、図２及び３に示す例では、各部分空間Ｏは、球体（地球）の中心Ｃを頂点とする六角錐を分割して得られる六角錐及び六角錐台で説明したが、六角錐及び六角錐台の多角形に限定されない。例えば、空間充填性のある形状であれば、球体の中心Ｃを頂点とする正三角錐や正四角錐等の多角錐を分割して形成される錐形及び錐台形の他の多面体を各部分空間Ｏとしてもよい。

【0057】

さらに、各部分空間Ｏは、三角錐、四角錐、六角錐等の角錐を分割して得られる多面体の他、球体の球面に沿った曲面で分割して得られる部分空間Ｏであってもよい。このように得られる各部分空間Ｏは、図２及び図３に示したような多面体とはならず、角錐の側面を分割することで得られた同一形状の複数の側面と、異なる面積の２つの曲面とで形成される。

【0058】

〈変形例２〉
図２及び３等及び変形例１を用いて上述した説明では、各部分空間Ｏは角錐が均等に分割されて形成された例で説明したが、これに限定されない。具体的には、同一の階層で複数の部分空間Ｏが同一の高さであれば、異なる階層では各部分空間Ｏの高さは同一でなくてもよい。例えば、各部分空間Ｏの高さは、各部分空間Ｏが相似形状になるように角錐が分割されても良い。この場合、三次元空間情報Ｄ１では、地球の中心から上空に向けて大きくなる複数の相似形状の角錐台が層となって規定される。

【0059】

〈変形例３〉
または、三次元空間情報Ｄ１では、移動体の移動頻度や情報の密度に合うように各部分空間Ｏの高さが設定されていてもよい。たとえば、移動体が移動する頻度が高いのは地表であり、メタデータとして登録される情報量が多いのも地表であると仮定する。このような場合、地表では、部分空間Ｏの高さは低くなるように、また、地面や海面から深くなるにつれて、かつ、上空にいくにつれて、部分空間Ｏの高さは高くなるように、設定されてもよい。これにより、情報量に応じて、部分空間Ｏの高さが調整されるため、情報の抽出や情報の表示の処理が容易となり、処理やデータの送受信での遅延を軽減することができる。

【0060】

〈変形例４〉
図２及び３等を用いて上述した説明では、三次元空間を分割して得られた各部分空間Ｏは、角錐を基準として生成される角錐及び角錐台等の組み合わせである一例で説明した。しかしながら、三次元空間を分割する部分空間Ｏは、角錐及び角錐台に限定されない。具体的には、地球の楕円体高に沿った空間充填率を１００％とすることのできる形状であればよい。例えば、三次元空間を分割する部分空間Ｏは、切頂八面体であってもよい。具体的には、切頂八面体は、空間充填が可能である点で、三次元空間を分割する部分空間の形状として有用である。例えば、地球の中心と、基準とする１つの切頂八面体の中心とが一致するように配置する。また、基準とした切頂八面体に合わせて、周囲に複数の同一形状の切頂八面体をその辺が接するように配置する。これにより、地球の球体に沿って複数の切頂八面体が充填される。この場合、全ての部分空間の形状及びサイズが同一となるため、データ管理が容易となる。

【0061】

また、部分空間Ｏは、地球の楕円体高に沿った空間充填率を１００％とすることができる形状であるため、地球上または地下のいずれの空間であっても、均等な分割を容易に実現することができる。例えば、予めタイル状に分割した形状ごとに空間を分割するXYZ tiles（XYZ地図タイル）方式の場合、用いる縮尺やサイズ、投影法がサービス提供主体や国により異なるため、空間データの収集や重ね合わせが困難であった。しかし、本実施例では、地球上または地下のいずれの空間であっても、部分空間Ｏは、例えば切頂八面体で分割され、かつ各切頂八面体を統合することで地球の楕円体高に沿った空間充填率を１００％とすることができるため、各部分空間Ｏに紐づけられたデータ同士の収集や重ね合わせが容易になる。なお、例えば、移動体が上下左右に加えて斜め方向にも移動できるドローンの場合、切頂八面体の部分空間Ｏとして分割することにより、ドローンの斜め上や斜め下の空間を含むことができる。そのため、ドローンの移動に適した部分空間Ｏとして三次元空間を分割して情報を取得することができる。ドローンは、上下左右の長さやズームレベルを指定することで、ドローンに接する部分空間Ｏ内に含まれるＩＤ（当該部分空間Ｏに紐づけられた情報）を取得することが可能である。なお、切頂八面体のほか、三次元空間を分割する部分空間Ｏを菱形十二面体であってもよい。三次元空間を分割する部分空間Ｏを菱形十二面体とした場合でも、全ての部分空間の形状及びサイズが同一となるため、データ管理が容易となる。

【0062】

〈他の変形例〉
上述した例では、情報表示システム１は、デジタルツインで利用される例で説明したが、これに限定されない。例えば、メタバースやビデオゲーム等において利用する場合も同様である。このとき、例えば、三次元空間情報Ｄ１及び三次元地図情報Ｄ２は、メタバース空間を表す情報である。また、このとき、移動体は、メタバース空間を移動するアバターや仮想のドローン等であり得る。したがって、三次元空間情報Ｄ１及び三次元地図情報Ｄ２が表す空間は、地球上を再現した空間に限定されず、他の球体を基準とする惑星を表した仮想空間であってもよい。また、メタバースやビデオゲーム等の仮想空間で利用する場合、ゲームエンジンで利用されるコライダーを第２の要素として採用し得る。

【0063】

なお、情報表示システム１は、現実空間を移動する移動体で利用することもできる。このとき、例えば、三次元空間情報Ｄ１は、現実空間にＡＲ（拡張現実）として表示される。移動体は、現実空間を移動するドローンであり得る。ドローンが現実空間を移動する場合、演算回路１１は、ドローンに備えられたＧＰＳ（全地球測位システム）の受信機で受信する信号などに基づいて、現実空間を移動するドローンの位置情報を、ネットワークを介してユーザ端末２０から受け付ける。これにより、情報表示装置１０は、ドローンが実際に通過するエリアを認識し、当該通過エリアに対応する部分空間Ｏにおいて、現実の飛行に使用される情報（地形の情報、エリアの法規制情報や各種気象情報等）を三次元空間情報Ｄ１の第１の要素として取得し、ＡＲ（拡張現実）の三次元画像として表示することができる。これにより、ドローンを現実空間で飛行させるユーザは、ＡＲ表示された三次元画像の情報に基づいて、飛行中の飛行空域のリスク評価を行うことができる。例えば、飛行中のドローンが、ドローン飛行が法律的に規制されるエリアに実際に近づいた場合、エリアの法規制情報を三次元空間情報Ｄ１の第１の要素として取得し、ＡＲの三次元画像として表示することができる。これにより、飛行中のドローンは、当該法的規制エリアへの侵入を事前に回避することができる。

【0064】

また、上述した例では、情報表示システム１は、ユーザ端末２０のディスプレイに表示する例で説明したが、表示方法はこれに限定されない。例えば、ユーザ端末２０を利用するユーザが視認可能な範囲に投影することで表示する場合も同様である。

【産業上の利用可能性】

【0065】

本開示は、三次元空間情報を利用して映像を表示する場合に、データ処理の負荷の軽減に有用である。

【符号の説明】

【0066】

１ 情報表示システム
１０ 情報表示装置
１１ 演算回路
１２ 記憶装置
１３ 入力装置
１４ 出力装置
１５ 通信回路
２０ ユーザ端末
３０ 情報提供装置

【要約】

【課題】三次元空間情報を利用して映像を表示する際に、データ処理の負荷を軽減する。
【解決手段】記憶装置にアクセス可能な演算回路を含む情報処理装置で実行され、複数の部分空間にそれぞれ情報が紐付けられ、移動体の移動に伴って少なくとも１つの部分空間に紐付けられる情報を抽出する情報抽出方法であって、記憶装置は、球体の中心を中心として、三次元空間を仮想的かつ規則的に分割して得られた複数の部分空間の各々に紐づけられた情報を含む三次元空間情報を記憶し、各部分空間は、それぞれ三次元空間を示す三次元座標を特定する少なくとも１つの第１の要素と関連付けられ、移動体は、移動体の少なくとも一点を示す第２の要素と関連付けられ、演算回路は、三次元空間内で移動体を仮想的に移動させるとき、第１の要素と第２の要素との位置関係に応じて、三次元空間情報から部分空間を選択し、選択された部分空間に紐づけられる情報を抽出する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】