7648259 位置推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-03-10

(45)【発行日】2025-03-18

(54)【発明の名称】位置推定システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20250311BHJP

   G06T 7/579 20170101ALI20250311BHJP

   G01C 21/28 20060101ALI20250311BHJP

   G01C 21/26 20060101ALI20250311BHJP

【ＦＩ】

G06T7/70 A

G06T7/579

G01C21/28

G01C21/26 P

【請求項の数】 13

(21)【出願番号】P 2024192216

(22)【出願日】2024-10-31

【審査請求日】2024-11-07

【早期審査対象出願】

(73)【特許権者】

【識別番号】524402249

【氏名又は名称】合同会社ＮＯ ＮＡＭＥＳ

(74)【代理人】

【識別番号】110002273

【氏名又は名称】弁理士法人インターブレイン

(72)【発明者】

【氏名】田中 将希

(72)【発明者】

【氏名】田中 梨恵

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０２３－０６２５７５（ＪＰ，Ａ）

【文献】特開２０２２－１０９５２７（ＪＰ，Ａ）

【文献】特開２０２０－０８０１４７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２３／０１１２４５６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２４／０２６５６３１（ＵＳ，Ａ１）

【文献】国際公開第２０１８／０３８１３１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

Ｇ０１Ｃ ２１／２８

Ｇ０１Ｃ ２１／２６

(57)【特許請求の範囲】

【請求項1】

現実空間に対応する三次元の仮想空間として構成される統合空間のデータを格納する統合空間格納部と、
ユーザ端末から取得される撮像画像であるユーザ画像と、前記統合空間を構成する複数の空間画像を比較することにより、前記ユーザ画像に対応する地点の現実空間における三次元位置を示す位置情報を特定する位置特定部と、
前記ユーザ端末に対して、前記特定された位置情報を提供する案内部と、
現実空間の第１地点において前記ユーザ端末により取得される複数のユーザ画像から、三次元の仮想空間としてユーザ空間のデータを生成するユーザ空間生成部と、
前記統合空間の一部である前記第１地点を含む部分空間を前記第１地点に対応するユーザ空間により更新することにより、前記統合空間のデータを更新する統合空間管理部と、を備える位置推定システム。

【請求項2】

前記ユーザ空間生成部は、ユーザが第２地点から所定方向に移動して第３地点に到達したとき、前記第３地点において前記ユーザ端末により取得される複数のユーザ画像から前記第３地点を含むユーザ空間を生成し、
前記統合空間管理部は、前記統合空間に前記第２地点を対象とした部分空間が含まれており、かつ、前記第３地点を対象とした部分空間が含まれていないときには、前記統合空間における前記第２地点から前記所定方向に隣接する部分空間として前記第３地点に対応するユーザ空間を新規登録することにより、前記統合空間を拡大する、請求項１に記載の位置推定システム。

【請求項3】

前記統合空間の一部がユーザ空間により更新されたとき、または、前記統合空間の一部としてユーザ空間が追加されたとき、ユーザに特典を付与する特典付与部、を更に備える請求項２に記載の位置推定システム。

【請求項4】

前記位置特定部は、更に、ユーザ画像と、前記統合空間を構成する複数の空間画像を比較することにより、前記ユーザ画像の撮像方向を特定し、
前記ユーザ空間生成部は、ユーザ画像と撮像方向を対応づけて保存し、複数の撮像方向に対応する複数のユーザ画像から、ユーザ空間のデータを生成する、請求項１に記載の位置推定システム。

【請求項5】

前記統合空間に含まれるオブジェクトには、あらかじめ案内情報が対応づけられており、
前記案内部は、前記ユーザ端末に位置情報を提供するとき、前記ユーザ端末のいる地点に関連する案内情報を提供する、請求項１に記載の位置推定システム。

【請求項6】

前記ユーザ画像に含まれるオブジェクトを画像分析することにより、オブジェクトに対する案内情報を生成する画像分析部、を更に備え、
前記統合空間管理部は、前記統合空間に含まれるオブジェクトに対して、前記ユーザ画像をマッピングするとともに前記案内情報を対応づけて登録する、請求項５に記載の位置推定システム。

【請求項7】

前記統合空間管理部は、複数のユーザ空間の組み合わせにより前記統合空間を構築し、同一地点を対象として複数のユーザ空間が得られたときには、前記複数のユーザ空間のうちのいずれかを前記統合空間の一部である正規の部分空間として設定し、他のユーザ空間を予備の部分空間として保存する、請求項１に記載の位置推定システム。

【請求項8】

前記統合空間管理部は、
所定の更新条件が成立するときには、前記第１地点に対応する正規の部分空間を予備の部分空間に登録変更するとともに、前記第１地点に対応するユーザ空間を前記統合空間の正規の部分空間として設定し、
前記更新条件が成立しないときには、前記第１地点に対応する正規の部分空間を維持するとともに、前記第１地点に対応するユーザ空間を予備の部分空間として保存する、請求項７に記載の位置推定システム。

【請求項9】

前記統合空間管理部は、前記第１地点のユーザ空間に存在する検証面と、前記第１地点に対応する正規の部分空間に含まれる面であって前記検証面から所定範囲内に存在する比較面の一致度を計算し、複数の検証面と複数の比較面それぞれの一致度に基づいて、前記更新条件の成否を判定する、請求項８に記載の位置推定システム。

【請求項10】

前記統合空間管理部は、
前記一致度が第１閾値未満であれば前記更新条件の成立として判定し、
前記一致度が前記第１閾値よりも大きい第２閾値未満であれば、前記第１地点に対応する１以上の予備の部分空間それぞれに含まれる複数の面と前記ユーザ空間に含まれる複数の面の一致度に基づいて更新条件の成否を判定し、
前記一致度が前記第２閾値以上であれば、前記更新条件を不成立と判定する、請求項９に記載の位置推定システム。

【請求項11】

ユーザ空間および部分空間には、データの取得日時が対応づけて登録されており、
前記統合空間管理部は、更に、ユーザ空間の取得日時と部分空間の取得日時の差分に基づいて、前記更新条件の成否を判定する、請求項９に記載の位置推定システム。

【請求項12】

前記案内部は、ユーザから目的地点および経路条件が設定されたとき、前記経路条件にしたがって、ユーザの現在地点から前記目的地点までの経路を案内する、請求項１に記載の位置推定システム。

【請求項13】

現実空間に対応する三次元の仮想空間として構成される統合空間のデータを格納する統合空間格納部と、
ユーザ端末から取得される撮像画像であるユーザ画像と、前記統合空間を構成する複数の空間画像を比較することにより、前記ユーザ画像に対応する地点の現実空間における三次元位置を示す位置情報を特定する位置特定部と、
前記ユーザ端末に対して、前記特定された位置情報を提供する案内部と、を備え、
前記位置特定部は、現実空間における既知点がユーザ画像に含まれているとき、前記統合空間のうち前記既知点を含む部分空間のデータから優先的に前記ユーザ画像に対応する地点を検索する、位置推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に基づいて位置を推定するための技術、に関する。

【背景技術】

【0002】

自己が存在する位置の推定と自己の周りの環境を示す地図の作成を同時実行する技術として、SLAM（Simultaneous Localization And Mapping）とよばれる技術がある。SLAMには、レーザーやToF（Time of Flight）センサを使う方式のほか、カメラを使うVisualSLAMなどさまざまな方式がある。

【0003】

また、複数枚の撮像画像から、撮像対象物の三次元形状を復元する技術としてSfM（Structure from Motion）とよばれる技術も知られている。このような技術か可能になったのは、AI（Artificial Intelligence）、特に、ディープラーニング技術の進展に負うところが大きい。VisualSLAMとSfMを比べると、リアルタイム処理性能ではVisualSLAMの方がすぐれており、画像分析力ではSfMの方がすぐれているといわれる。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６６６２９７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

VisualSLAM技術等を活用すれば、三次元の地図を作成できる。三次元地図を実現できれば、二次元地図以上に有益な情報をユーザに提供できると考えられる。

【0006】

その一方、三次元地図を作成するための計算負担は二次元地図よりもはるかに大きいため、現状では、地図の対象範囲も限定的にならざるを得ない。また、仮に広大な現実空間を網羅する三次元地図をつくることができたとしても、現実空間は刻々と変化していく。したがって、いったん三次元地図を作ることができたとしても、現実空間の変化に合わせて三次元地図を更新し続けなければならない。

【0007】

本発明は、上記課題認識に基づいて完成された発明であり、その主たる目的は、撮像画像に基づいて三次元の現実空間における位置推定を実現し、その上で、さまざまな案内情報をユーザに提供するための技術、を提供することにある。

【課題を解決するための手段】

【0008】

本発明のある態様における位置推定システムは、現実空間に対応する三次元の仮想空間として構成される統合空間のデータを格納する統合空間格納部と、ユーザ端末から取得される撮像画像であるユーザ画像と統合空間のデータを比較することにより、ユーザ画像に対応する地点の現実空間における三次元位置を示す位置情報を特定する位置特定部と、ユーザ端末に対して、特定された位置情報を提供する案内部と、を備える。

【発明の効果】

【0009】

本発明によれば、現実空間に対応する三次元地図による位置推定を実現し、その上で、ユーザに対してさまざまな案内情報を提供可能となる。

【図面の簡単な説明】

【0010】

【図1】統合空間の生成方法を説明するための模式図である。

【図2】統合空間の拡大と更新を説明するための模式図である。

【図3】位置推定の原理を説明するための模式図である。

【図4】空間管理サーバのハードウェア構成図である。

【図5】ユーザ端末および空間管理サーバの機能ブロック図である。

【図6】ユーザ空間の生成過程を説明するための模式図である。

【図7】空間構成情報のデータ構造図である。

【図8】オブジェクト情報のデータ構造図である。

【図9】統合空間の拡大方法を説明するための概念図である。

【図10】ユーザ画像の方向補正と時間視差を説明するための模式図である。

【図11】案内画面の画面図である。

【図12】ユーザ画像に基づく位置推定の処理過程を示すフローチャートである。

【図13】ユーザ空間の生成過程を示すフローチャートである。

【図14】更新条件を説明するための概念図である。

【図15】統合空間の拡大・更新過程を示すフローチャートである。

【発明を実施するための形態】

【0011】

本実施形態においては、さまざまなユーザから大量の撮像画像を集め、これらの撮像画像から現実空間に対応する三次元の仮想空間（以下、「統合空間１００」とよぶ）を構成する。

【0012】

図１は、統合空間１００の生成方法を説明するための模式図である。
まず、あるユーザＲ１が、ユーザ端末２００により自分の周囲を撮像したとする。ユーザ端末２００は、スマートフォン、スマートグラス、全天球カメラなど、撮像機能および通信機能を備える携帯可能なデバイスであればよい。スマートグラスとは、メガネの形状にて構成され、レンズにディスプレイが内蔵されているウェアラブルデバイスである。このディスプレイは、視界に画像情報を重ねて表示できる。

【0013】

ユーザ端末２００により、複数の撮像画像が取得される（以下、「ユーザ画像１０２」とよぶ）。より詳細には、ユーザＲ１は、自分の周囲をユーザ端末２００により動画にて撮像し、この動画像から大量のユーザ画像１０２が取得される。
詳細は後述するが、本実施形態における位置推定システム５００は、インターネットを介して相互接続される空間管理サーバ４００と、複数のユーザ端末２００を含む。

【0014】

さまざまな撮像方向に対応するユーザ画像１０２から、SfM技術により、ユーザＲ１の周辺環境を示す三次元の仮想空間が生成される。多数のユーザ画像１０２により生成される三次元の仮想空間のことを「ユーザ空間１０４」とよぶ。ユーザ空間１０４は、半球形あるいは円筒形の空間として構築されてもよいが、図１，図２においては説明の都合上、立方体形状として表現する。

【0015】

このようにして生成される多数のユーザ空間１０４の集合体として巨大な統合空間１００が構成される。たとえば、地点Ｐ１におけるユーザ空間１０４と、地点Ｐ１に隣接する地点Ｐ２におけるユーザ空間１０４が得られれば、２つのユーザ空間１０４をつなげることにより地点Ｐ１，Ｐ２をカバーするより大きな統合空間１００を構築できる。

【0016】

ユーザ画像１０２には、さまざまな情報が対応づけられる。具体的には、ユーザＩＤ、撮像日時、撮像角度、解像度などであり、これらの情報をまとめて「画像属性情報」とよぶ。ユーザ空間１０４にも、ユーザＩＤ、取得日時、画質、現実空間における三次元の撮像位置（緯度・経度・高度）が対応づけられる。ユーザ空間１０４に対応付けられるこれらの属性情報を「空間属性情報」とよぶ。なお、ユーザ空間１０４の取得日時とは、ユーザ空間１０４の元になったユーザ画像１０２の撮像日時であってもよいし、ユーザ空間１０４の生成日時であってもよいが、本実施形態の取得日時は、ユーザ空間１０４の生成日であるとして説明する。

【0017】

まとめると、各地のユーザ端末２００から得られるユーザ画像１０２から、多数のユーザ空間１０４が生成される。そして、多数のユーザ空間１０４から巨大な統合空間１００が生成される。このような仕組みにより、究極的には、地球の大部分を覆う巨大な統合空間１００が構成される。

【0018】

図２は、統合空間１００の拡大と更新を説明するための模式図である。
上述したように、統合空間１００は、複数のユーザ空間１０４の組み合わせとして構成される。統合空間１００の一部となっているユーザ空間１０４、いいかえれば、統合空間１００の一部分を示す三次元仮想空間のことを「部分空間１０６」とよぶ。ユーザ空間１０４と部分空間１０６は同じものであるが、以下においては統合空間１００に統合される前を「ユーザ空間１０４」、統合されたあとを「部分空間１０６」と分けて表記する。

【0019】

部分空間１０６には、正規の部分空間１０６（以下、「正規空間」とよぶ）と予備の部分空間１０６（以下、「予備空間」とよぶ）が含まれる。統合空間１００は、正規空間の集合として表現されるが、正規空間として採用されなかった部分空間１０６も予備空間として付属している。
以下、正規空間と部分空間を区別するときには、正規空間としての部分空間１０６を「部分空間１０６（正規）」、予備空間としての部分空間１０６を「部分空間１０６（予備）」のように表記することがある。

【0020】

図２においては、地点Ｐ１について、取得日時ｔ２に生成された部分空間１０６（以下、「部分空間１０６（Ｐ１、ｔ２）」のように表記する）が正規空間となっている。一方、地点Ｐ２については、部分空間１０６（Ｐ２，ｔ１１）、部分空間１０６（Ｐ２，ｔ７）、部分空間１０６（Ｐ２，ｔ９）という３つの部分空間１０６が存在する。このうち、部分空間１０６（Ｐ２，ｔ１１）が正規空間であり、残りの２つは予備空間となる。このように、ある地点において正規空間は１つだけであり、同じ地点にある他の部分空間１０６はすべて予備空間となる。予備空間の数には制限はない。

【0021】

ここで、地点Ｐ７について、ユーザ空間１０４（Ｐ７，ｔ１４）が新たに生成されたとする。統合空間１００には地点Ｐ７の部分空間１０６が含まれていないので、ユーザ空間１０４（Ｐ７，ｔ１４）は、そのまま新たな部分空間１０６（Ｐ７，ｔ１４：正規）として追加され、統合空間１００は拡大される。

【0022】

別例として、地点Ｐ３について、ユーザ空間１０４（Ｐ３，ｔ１５）が新たに生成されたとする。統合空間１００には、地点Ｐ３については、部分空間１０６（Ｐ３，ｔ３：正規）、部分空間１０６（Ｐ３，ｔ１：予備）、部分空間１０６（Ｐ３，ｔ８：予備）、部分空間１０６（Ｐ３，ｔ１０：予備）がすでに含まれている。ユーザ空間１０４（Ｐ３，ｔ１５）について更新条件が成立するときには、ユーザ空間１０４（Ｐ３，ｔ１５）は統合空間１００の正規空間として登録され、元の正規空間である部分空間１０６（Ｐ３，ｔ３）は予備空間に変更される。一方、更新条件が成立しなければ、ユーザ空間１０４（Ｐ３，ｔ１５）は統合空間１００の予備空間として登録される。更新条件の詳細については、図１４に関連して後述する。

【0023】

以上のような処理過程を経て、統合空間１００は適宜拡大し、適宜更新される。同一地点について複数の予備空間、いいかえれば、複数時点での予備空間が含まれるので、統合空間１００は空間方向だけでなく時間方向にも拡大する「時空間」とみなすこともできる。

【0024】

図３は、位置推定の原理を説明するための模式図である。
統合空間１００を作成する目的の一つは「位置推定」である。ユーザＲ２がある地点、ある撮像方向においてユーザ画像１０２を撮像したとする。空間管理サーバ４００は、統合空間１００内において、ユーザ画像１０２と同一または類似する空間画像１０８を探す。詳細は後述するが、統合空間１００は、撮像画像（現実の景色）がテクスチャマッピングされた、現実空間と相似の仮想空間、いわゆる、デジタルツインとして構成されている。地点Ｐ１からある視線方向で見たときの空間画像１０８が、このユーザ画像１０２と類似していたとする。このとき、ユーザＲ２の所在地点は「地点Ｐ１」であると推定できる。

【0025】

統合空間１００の各部には、あらかじめ位置情報（緯度・経度・高度）が対応づけられている。したがって、ユーザＲ２による撮像画像と類似する空間画像１０８を統合空間１００内から探し出すことで、ユーザＲ２の位置を特定（位置推定）できる。

【0026】

実際には、計算負荷を抑制するため、ユーザ画像１０２から抽出される点群データと、空間画像１０８から抽出される点群データが比較される。点群データの類似判定は、VisualSLAM等で確立されている既知技術の応用により実現される。

【0027】

本実施形態においては、位置推定についてはリアルタイム性が求められるため、VisualSLAM技術を利用する。一方、ユーザ空間１０４には精度が求められるので、ユーザ空間１０４の生成にはSfM技術が利用される。また、１枚の撮像画像のみによって位置推定するのではなく、動画撮像される複数の撮像画像から位置推定がなされてもよい。

【0028】

図４は、空間管理サーバ４００のハードウェア構成図である。
空間管理サーバ４００は、コンピュータプログラムを格納する不揮発性メモリとしてのストレージ３１２、プログラムおよびデータを展開する揮発性のメモリ３０４と、図示しないレジスタ、演算器、命令デコーダ等を内蔵し（不図示）、メモリ３０４からプログラムを読み出して実行するプロセッサ３００（ＣＰＵ）等を含む。プロセッサ３００は、比較的高速な第１バス３０２と接続される。第１バス３０２には、メモリ３０４のほかＮＩＣ（Network Interface Card）が接続される。第１バス３０２には、このほか、ＧＰＵ等の他のデバイスが接続されてもよい。

【0029】

第１バス３０２は、ブリッジ３０８を介して比較的低速な第２バス３１０と接続される。第２バス３１０には、ストレージ３１２のほか、モニタあるいはスピーカなどの出力デバイス３１６が接続される。また、第２バス３１０には、マウスやキーボードなどの入力デバイス３１４、プリンタなどの周辺機器３１８が接続されてもよい。
ユーザ端末２００のハードウェア構成についても基本的に同様である。
なお、図４に示した第１バス３０２と第２バス３１０の接続方法は一例であり、他の接続方法、あるいは、他のバスを含む構成してもよいことは当業者には理解されるところである。

【0030】

図５は、ユーザ端末２００および空間管理サーバ４００の機能ブロック図である。
ユーザ端末２００および空間管理サーバ４００の各構成要素は、ＣＰＵおよび各種コプロセッサ（co-processor）などの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。
以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。

【0031】

（ユーザ端末２００）
ユーザ端末２００は、ユーザインタフェース処理部２０６、撮像部２０２、通信部２０４、データ処理部２０８およびデータ格納部２１０を含む。
ユーザインタフェース処理部２０６は、タッチパネル等の入力デバイスを介してユーザからの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。撮像部２０２は、カメラにより外部環境を動画として撮像する。通信部２０４は、空間管理サーバ４００との通信処理を担当する。データ格納部２１０は各種データを格納する。データ処理部２０８は、ユーザインタフェース処理部２０６から入力されたデータ、撮像部２０２により撮像されたユーザ画像、通信部２０４により受信されたデータおよびデータ格納部２１０に格納されているデータに基づいて各種処理を実行する。データ処理部２０８は、撮像部２０２、通信部２０４、ユーザインタフェース処理部２０６およびデータ格納部２１０のインタフェースとしても機能する。

【0032】

（空間管理サーバ４００）
空間管理サーバ４００は、データ処理部４０２、通信部４０４およびデータ格納部４０６を含む。
通信部４０４は、ユーザ端末２００との通信処理を担当する。データ格納部４０６は各種情報を格納する。データ処理部４０２は、通信部４０４により取得されたデータおよびデータ格納部４０６に格納されているデータに基づいて各種処理を実行する。データ処理部４０２は、通信部４０４およびデータ格納部４０６のインタフェースとしても機能する。

【0033】

データ処理部４０２は、位置特定部４０８、案内部４１０、画像分析部４１４、ユーザ空間生成部４１６、統合空間管理部４１８および特典付与部４２４を含む。
位置特定部４０８は、図３に関連して説明したように、ユーザ画像１０２と空間画像１０８を比較することにより、ユーザ端末２００の現在地点を特定する。案内部４１０は、ユーザの現在地点に応じて各種の案内情報を提供する。案内部４１０は、経路生成部４１２を含む。経路生成部４１２は、ユーザの現在位置から目的地点までの経路を特定する。案内部４１０は、案内情報の一部として経路情報をユーザに提供する。経路情報を含む案内情報については、図１１に関連して後述する。

【0034】

画像分析部４１４は、統合空間１００に含まれる画像を分析し、案内情報を生成する。ユーザ空間生成部４１６は、ユーザ画像１０２に基づいてユーザ空間１０４を生成する。

【0035】

統合空間管理部４１８は、統合空間１００を管理する。統合空間管理部４１８は、拡大部４２０および更新部４２２を含む。拡大部４２０は、統合空間１００に未登録の地点（以下、「未知地点」とよぶ）についてユーザ空間１０４が生成されたとき、統合空間１００にユーザ空間１０４を追加することにより、統合空間１００を拡大する。更新部４２２は、新たに生成されたユーザ空間１０４について更新条件（後述）の成否を判定し、必要に応じて統合空間１００の一部を更新する。特典付与部４２４は、統合空間１００の拡大および更新に協力してくれたユーザに特典（後述）を付与する。
データ格納部４０６は、統合空間１００の空間データを格納する統合空間格納部４２６を含む。

【0036】

図６は、ユーザ空間１０４の生成過程を説明するための模式図である。
ユーザ空間１０４の生成に際しては、まず、ユーザ端末２００は、動画として複数のユーザ画像１０２を撮像する。ユーザ端末２００の撮像部２０２は、各ユーザ画像１０２に上述した画像属性情報を追加する。ユーザ端末２００の撮像部２０２は、画像属性情報を追加されたユーザ画像１０２を空間管理サーバ４００に送信する。

【0037】

空間管理サーバ４００のユーザ空間生成部４１６は、ユーザ画像１０２から特徴点を抽出し、三次元の点群データを生成する（Ｓ１）。特徴点とは、SfM技術において既知の方法により抽出される点であり、たとえば、建物のエッジ点など画像上において目印になる点として抽出される。点群データは三次元データである。

【0038】

次に、ユーザ空間生成部４１６は、点群データに含まれる特徴点を結ぶフレーム（線分）を追加する（Ｓ２）。フレームの追加により、三次元のフレーム画像が生成される。ユーザ空間生成部４１６は、フレームによる閉領域を「面」として特定する（Ｓ３）。最後に、ユーザ空間生成部４１６は、ユーザ画像１０２をＳ３において特定された面にテクスチャマッピングすることにより、現実空間と相似の仮想空間として、ユーザ空間１０４を生成する（Ｓ４）。このようにして生成されたユーザ空間１０４は、統合空間１００に部分空間１０６として統合される。

【0039】

空間管理サーバ４００は自らユーザ空間１０４を生成してもよいし、他のサーバ群にユーザ空間１０４の生成を依頼してもよい。ユーザ空間１０４は、ユーザ画像１０２の撮像と同時にリアルタイムにて生成される必要はない。ユーザ空間生成部４１６は計算負荷の少ない時間帯において、あらかじめ受信していたユーザ画像１０２をバッチ処理することによりユーザ空間１０４を生成する。

【0040】

図７は、空間構成情報１１０のデータ構造図である。
空間構成情報１１０は、空間管理サーバ４００の統合空間格納部４２６に格納される。部分空間１０６には位置ＩＤが対応づけられており、位置ＩＤには部分空間１０６の中心点の三次元の位置情報が対応づけられている。図７に示す空間構成情報１１０は、位置ＩＤ＝Ａ０１に対応する部分空間１０６（以下、「部分空間１０６（Ａ０１）」のように表記する）のリストを示す。部分空間１０６（Ａ０１）は複数あり、１つが正規空間となり、残りは予備空間である。空間構成情報１１０においては、部分空間１０６と空間属性情報が対応づけられる。

【0041】

部分空間１０６は、空間ＩＤにより識別される。部分空間１０６（Ａ０１）として、空間ＩＤ＝Ｔ０１の部分空間１０６（以下、「部分空間１０６（Ｔ０１）」のように表記する）、部分空間１０６（Ｔ０５）、部分空間１０６（Ｔ０８）、部分空間１０６（Ｔ１１）等が対応づけられている。統合空間管理部４１８は、ユーザ空間１０４（Ａ０１）が取得されたとき、ユーザ空間１０４（Ａ０１）に空間ＩＤを付与し、部分空間１０６（Ａ０１）として登録する。

【0042】

図７によれば、部分空間１０６（Ａ０１，Ｔ０１）は「２０２４年１０月１５日」に取得されたユーザ空間１０４に対応する。この部分空間１０６（Ａ０１，Ｔ０１）の元になったユーザ画像１０２を撮像したユーザのユーザＩＤは「Ｒ０１」であり、ユーザ画像１０２の画質は「Ａ（高画質）」である。ユーザ空間生成部４１６は、ユーザ画像１０２の枚数（フレームレート）、解像度（画素数）、鮮明度等に基づいて、画質を複数のランクに分類する。このように、ユーザ空間生成部４１６はユーザ画像１０２の画像属性情報から、部分空間１０６の空間属性情報を生成する。

【0043】

部分空間１０６（Ａ０１，Ｔ０５）は、ユーザ（Ｒ１１）のユーザ画像１０２から、２０２１年６月４日に取得（生成）されたユーザ空間１０４に対応する。同様にして、部分空間１０６（Ａ０１，Ｔ０８）は、ユーザ（Ｒ０４）のユーザ画像１０２から、２０２４年１０月１８日に取得（生成）されたユーザ空間１０４に対応する。統合空間管理部４１８は、このうち、部分空間１０６（Ａ０１，Ｔ０８）を正規空間として設定し、他の部分空間１０６を予備空間として設定している。正規空間の選択方法の詳細は後述する。

【0044】

図８は、オブジェクト情報１２０のデータ構造図である。
オブジェクト情報１２０は、空間管理サーバ４００の統合空間格納部４２６に格納される。統合空間１００にはさまざまな「オブジェクト」が含まれる。ここでいうオブジェクトとは、建物、樹木、噴水、信号機などの物体を意味する。各オブジェクトにはオブジェクトＩＤが付与される。

【0045】

統合空間管理部４１８は、部分空間１０６に含まれるオブジェクトを特定する。統合空間管理部４１８は、「面」によって閉鎖された空間をオブジェクトとして特定する。統合空間管理部４１８は、オブジェクトにオブジェクトＩＤを付与するとともに、オブジェクトＩＤとオブジェクトの位置情報を対応づける。オブジェクトは、統合空間管理部４１８により自動的に特定されてもよいし、空間管理サーバ４００の運営者が部分空間１０６に含まれるオブジェクトを手動で指定してもよい。

【0046】

図８によれば、オブジェクトＩＤ＝Ｊ０１のオブジェクト（以下、「オブジェクト（Ｊ０１）」のように表記する）の位置情報は（３６，１３３，１０）である。たとえば、オブジェクト（Ｊ０１）は「五重塔」であるとする。位置推定時において、ユーザ画像１０２に五重塔が映っていれば、位置特定部４０８はユーザが五重塔付近にいるとわかるので、オブジェクト（Ｊ０１：五重塔）に対応づけられる位置情報により、ユーザの現在地点をすみやかに特定できる。

【0047】

オブジェクトには、オブジェクトに関するさまざまな付属情報としての案内情報が対応づけられる。各案内情報は、案内ＩＤにより識別される。オブジェクト（Ｊ０１：五重塔）には、案内ＩＤ＝Ｇ０１の案内情報（以下、「案内情報（Ｇ０１）」のように表記する）が対応づけられている。案内情報（Ｇ０１）は「下の塔から順番に地、水、火、風、空という５つの世界を表している」という五重塔についての解説情報である。したがって、ユーザは五重塔の近くに行けば、上記の案内情報（Ｇ０１）により五重塔についての解説を知ることができる。案内情報については、図１１に関連して更に詳述する。なお、案内情報は、空間管理サーバ４００の管理者が設定してもよいし、画像分析部４１４が自動生成してもよい（後述）。

【0048】

図９は、統合空間１００の拡大方法を説明するための概念図である。
統合空間１００は、部分空間１０６（Ａ０１）を含んでいるが、部分空間１０６（Ａ０２）を含んでいないとする。あるユーザが、Ａ０１地点の中心から、図９に示すようにＶ１方向に距離Ｅだけ移動して、Ａ０２地点に到達したとする。ユーザ端末２００は、ユーザ画像１０２（Ａ０２）を空間管理サーバ４００に送信する。ユーザ空間生成部４１６は、ユーザ空間１０４（Ａ０２）を生成する。

【0049】

位置特定部４０８は、時系列で得られるユーザ画像１０２からユーザの移動方向Ｖ１と移動距離Ｅを推定する。統合空間管理部４１８は、統合空間１００に部分空間１０６（Ａ０２）が含まれているか、いいかえれば、ユーザ画像１０２（Ａ０２）が「既知の景色であるか」を確認する。部分空間１０６（Ａ０２）が存在しなければ、拡大部４２０はユーザ空間１０４（Ａ０２）を部分空間１０６（Ａ０２：正規）として統合空間１００に追加する。移動方向Ｖ１、移動距離Ｅは推定されているので、拡大部４２０はＡ０２地点の位置情報も推定可能である。拡大部４２０は、部分空間１０６（Ａ０２：正規）に空間ＩＤを設定し、空間構成情報１１０に登録する。また、拡大部４２０は、Ａ０２地点に位置情報を対応づけて登録する。

【0050】

更に、このユーザはＡ０２地点からＶ２方向に距離Ｅだけ移動して、Ａ０３地点に到達したとする。ユーザ空間生成部４１６は、同様にして、ユーザ空間１０４（Ａ０３）を生成する。部分空間１０６（Ａ０３）が存在しなければ、拡大部４２０はユーザ空間１０４（Ａ０３）を部分空間１０６（Ａ０３：正規）として統合空間１００に追加する。拡大部４２０は、部分空間１０６（Ａ０３）に空間ＩＤを設定し、空間構成情報１１０に登録する。拡大部４２０は、Ａ０３に位置情報を対応づけて登録する。

【0051】

以上の処理過程を経て、統合空間１００は少しずつ拡大されていく。ユーザは、統合空間１００にすでに含まれているＡ０１地点においては位置推定サービスを受けることができる。Ａ０２地点に移動したときには、拡大部４２０は既知地点であるＡ０１地点からの移動方向Ｖ１および移動距離Ｅに基づいて未知地点であるＡ０２地点を特定し、統合空間１００に部分空間１０６（Ａ０２：正規）を追加することで、統合空間１００を拡大する。部分空間１０６（Ａ０２：正規）の追加後は、他のユーザがＡ０２地点に入ったときには位置推定サービスを受けることができるようになる。Ａ０３地点についても同様である。

【0052】

なお、ユーザ端末２００が、加速度センサ、歩数計等を搭載しているときには、ユーザ空間生成部４１６はこれらのセンサから得られる情報をもとに移動方向Ｖ１、移動距離Ｅを推定してもよい。

【0053】

図１０は、ユーザ画像１０２の方向補正と時間視差を説明するための模式図である。
図１０においては、ユーザの現在地点をＰとしている。ユーザは、あるタイミングＴ１において、方向Ｄ１に向いており、方向Ｄ１についてのユーザ画像１０２（以下、「ユーザ画像１０２（Ｄ１：Ｔ１）」のように表記する）を撮像したとする。次に、タイミングＴ２において、ユーザは方向Ｄ２に向いて、ユーザ画像１０２（Ｄ２：Ｔ２）を取得する。このとき、ユーザ画像１０２（Ｄ１：Ｔ１）、ユーザ画像１０２（Ｄ２：Ｔ２）には、オブジェクト１３０が映る。

【0054】

ユーザ画像１０２（Ｄ１：Ｔ１）とユーザ画像１０２（Ｄ２：Ｔ２）では、オブジェクト１３０の撮像方向が異なる。このため、ユーザ画像１０２（Ｄ１：Ｔ１）とユーザ画像１０２（Ｄ２：Ｔ２）によりオブジェクト１３０の三角測量が可能となる。方向Ｄ１と方向Ｄ２の角度差（以下、「時間視差」とよぶ）を特定できれば、オブジェクト１３０の三次元計測が可能となる。三次元計測の原理は上記の通りであるが、実際には、VisualSLAMあるいはSfMでは、撮像方向が少しずつ異なる大量のユーザ画像１０２からオブジェクト１３０の立体形状を推定している。

【0055】

上述した「時間視差」による三次元計測は、方向Ｄ１から方向Ｄ２への変化がおおむね一定速度であることを前提としている。このため、撮像方向が急変化したときには三次元計測が不正確になる。図１０においては、方向Ｄ２（タイミングＴ２）から方向Ｄ３（タイミングＴ３）に撮像方向が急変化している。ユーザ画像１０２（Ｄ２：Ｔ２）にはオブジェクト１３０が映っているが、ユーザ画像１０２（Ｄ３：Ｔ３）にはオブジェクト１３０がまったく映っていない。ユーザ画像１０２（Ｄ２：Ｔ２）とユーザ画像１０２（Ｄ３：Ｔ３）の角度差（時間視差）が小さいと想定してしまうと、部分空間１０６（Ｄ２：Ｔ２）から部分空間１０６（Ｄ３：Ｔ３）の付近においてユーザ空間１０４を適切に生成するのが難しくなる。
時間視差に基づく三次元計測は、ユーザ画像１０２の急な変化、特に、撮像方向の急な変化に弱いという問題がある。

【0056】

本実施形態においては、ユーザ空間生成部４１６は、ユーザ画像１０２と空間画像１０８を比較し、ユーザ画像１０２の正しい撮像方向を特定した上で、ユーザ空間１０４を生成する。Ｐ地点の部分空間１０６が統合空間１００に登録済みであることが前提となるが、まず、ユーザ空間生成部４１６はユーザ画像１０２（Ｄ１：Ｔ１）と空間画像１０８を比較することにより、撮像方向Ｄ１を特定する。同様にして、撮像方向Ｄ２，Ｄ３も特定する。

【0057】

統合空間１００を参照しながら、各ユーザ画像１０２の正しい撮像方向を特定できるため、ユーザ空間生成部４１６はユーザ画像１０２（Ｄ２）とユーザ画像１０２（Ｄ３）の撮像方向が大きく異なること、いいかえれば、各ユーザ画像１０２の角度差を正しく認識できる。各ユーザ画像１０２の撮像方向を確認することにより（以下、「方向補正」とよぶ）、ユーザ空間生成部４１６は適切なユーザ空間１０４を生成できる。

【0058】

ただし、未知地点におけるユーザ空間１０４を生成する場合には、ユーザ画像１０２と空間画像１０８の比較による方向補正はできない。したがって、未知地点のユーザ空間１０４を生成するときには、慎重かつ丁寧な撮像が求められる。もし、未知地点について生成されるユーザ空間１０４が不適切であったとしても、図２に関連して説明したように、新たに取得されるユーザ空間１０４によって部分空間１０６は更新されるので、統合空間１００はいずれ適正化されていく。

【0059】

なお、方向補正に限らず、ユーザが急加速するときにも、あるタイミングで得られるユーザ画像１０２と次のタイミングで得られるユーザ画像１０２の撮像地点が大きくずれるという問題がある。この場合にも、ユーザ空間生成部４１６は、ユーザ画像１０２と空間画像１０８を比較することで、各ユーザ画像１０２の正しい撮像地点を特定できる（以下、「位置補正」とよぶ）。

【0060】

図１１は、案内画面１４０の画面図である。
案内画面１４０は、ユーザ端末２００のユーザインタフェース処理部２０６により、ＡＲ（Augmented Reality）画像として表示される。図１１は、ユーザがある鉄道駅の地下街にいるときに表示される案内画面１４０を示す。ユーザ端末２００がスマートグラスの場合には、ユーザの視野画像として案内画面１４０が表示される。

【0061】

ユーザは、ユーザ端末２００において、移動先となる目的地点を設定する。ここでは、駅改札が目的地点として設定されている。ユーザインタフェース処理部２０６はユーザからの入力を受け付け、通信部２０４は目的地点「改札」を空間管理サーバ４００に送信する。目的地点を指定する情報を「経路条件」とよぶ。

【0062】

位置特定部４０８は、まず、ユーザ画像１０２に基づいてユーザの現在地点を特定する。経路生成部４１２は、統合空間１００を参照し、ユーザの現在地点から目的地点までの移動経路を示す経路情報を生成する。案内部４１０は、経路情報をユーザ端末２００に伝えることで、経路案内１４２を案内画面１４０に表示させる。このとき、案内部４１０は、現在地点から目的地点までの距離として「改札まで５０ｍ」という案内情報１４４も画面表示させている。ユーザは、案内画面１４０に映る経路案内１４２にしたがって移動することにより、目的地点「改札」にたどり着くことができる。

【0063】

案内画面１４０に映るさまざまな建造物のいくつかは、統合空間１００においてあらかじめオブジェクト１３０として登録されている。たとえば、図１１のオブジェクト１３０（Ｊ０１）は「寿司屋」であり、案内情報１４４（Ｊ０１）が対応づけられている。案内情報１４４（Ｊ０１）は「スシ」である。案内部４１０は、案内画面１４０に映るオブジェクト１３０（Ｊ０１）の近くに案内情報１４４（Ｊ０１）である「スシ」を表示させる。同様にして、「パスタ屋」のオブジェクト１３０（Ｊ１１）には案内情報１４４（Ｊ１１）、「本屋」のオブジェクト１３０（Ｊ０８）には案内情報１４４（Ｊ０８）が表示されている。ユーザは地下街を歩きながら、視認中の各種施設（オブジェクト１３０）についての情報も同時に受け取ることができる。

【0064】

画像分析部４１４は、統合空間１００に含まれる各種オブジェクト１３０を画像解析することにより案内情報１４４を自動生成してもよい。たとえば、統合空間１００内にあるオブジェクト１３０（Ｊ１１）の画像（たとえば、看板の部分）に「パスタ」という文字を検出したとき、画像分析部４１４は「パスタ屋」という案内情報１４４（Ｊ１１）を生成してもよい。

【0065】

空間管理サーバ４００のデータ格納部４０６に、あらかじめ世界中の有名商標を登録しておいてもよい。オブジェクト１３０にテクスチャマッピングされている撮像画像から、有名なパスタ屋「ＳＸ」のロゴが検出されたときには、画像分析部４１４はこのパスタ屋のブランド「ＳＸ」を特定できる。

【0066】

画像分析部４１４は、商標あるいは建物の外見画像等に基づいて、インターネットのサイトからさまざまな情報を検索し、外部サイトに掲載されている情報を案内情報１４４として生成してもよい。たとえば、「五重塔」に対応するオブジェクト１３０については、画像分析部４１４は「五重塔」の外見画像に基づいて画像検索を実行し、「下の塔から順番に地、水、火、風、空という５つの世界を表している」という解説記事を得ることができる。画像分析部４１４は、この解説記事を案内情報１４４として「五重塔」オブジェクト１３０に対応づけてもよい。

【0067】

図１２は、ユーザ画像１０２に基づく位置推定の処理過程を示すフローチャートである。
位置推定に際しては、まず、空間管理サーバ４００は、ユーザ端末２００から複数のユーザ画像１０２を取得する（Ｓ１０）。位置特定部４０８は、統合空間１００に含まれる空間画像１０８と、受信したユーザ画像１０２を比較し、ユーザ画像１０２に類似する空間画像１０８を探す（Ｓ１２）。ユーザ画像１０２に類似する空間画像１０８が検出できれば、位置特定部４０８はこの空間画像１０８を含む部分空間１０６に基づいて、ユーザの現在地点を特定する（Ｓ１４）。このとき、位置特定部４０８は、部分空間１０６における現在地点（撮像地点）の三次元の位置情報だけでなく撮像方向も特定する。空間管理サーバ４００の通信部４０４は、現在地点に対応する位置情報をユーザ端末２００に通知する（Ｓ１６）。

【0068】

オブジェクト情報１２０に登録済みのオブジェクト１３０がユーザ画像１０２に映っていれば（Ｓ１８のＹ）、案内部４１０はこのオブジェクト１３０に対応づけられている案内情報１４４をユーザ端末２００に送信する。図１１の案内画面１４０に示したように、ユーザ端末２００が表示する案内画面１４０には、案内情報１４４が重ねて表示される（Ｓ２０）。登録済みのオブジェクト１３０が映っていないときには（Ｓ１８のＮ）、Ｓ２０の処理はスキップされる。
なお、ユーザが目的地点を設定しているときには、案内情報１４４の一種として、空間管理サーバ４００からは経路案内１４２も通知される。

【0069】

位置特定部４０８は、１枚のユーザ画像１０２を対象として位置推定をするのではなく、複数のユーザ画像１０２に基づいて現在地点を位置推定する。たとえば、１０枚目のユーザ画像１０２のうち、９枚のユーザ画像１０２により部分空間１０６（Ａ０１）が位置推定され、残り１枚のユーザ画像１０２により部分空間１０６（Ａ０２）が位置推定されたとする。このときには、位置特定部４０８は、ユーザの現在地点を部分空間１０６（Ａ０１）として推定する。このように、位置特定部４０８は、多数のユーザ画像１０２によって位置推定を行い、もっとも確からしい位置、いいかえれば、もっとも多くのユーザ画像１０２によって推定される位置を現在地点として推定する。

【0070】

図１３は、ユーザ空間１０４の生成過程を示すフローチャートである。
空間管理サーバ４００は、計算負荷が低い時間帯、より具体的には、ＣＰＵ、メモリ、ストレージの使用率が所定閾値以下となる時間帯において、あらかじめ収集していたユーザ画像１０２に基づいてユーザ空間１０４を生成する。本実施形態においては、案内部４１０は、適宜取得されるユーザ画像１０２から、VisualSLAM技術に基づいて位置推定を行う。一方、このように取得されたユーザ画像１０２はデータ格納部４０６に保存される。ユーザ空間生成部４１６は、データ格納部４０６に蓄積されるユーザ画像１０２に基づいて、適切な時間帯にユーザ空間１０４を生成する。

【0071】

ユーザ空間生成部４１６は、統合空間１００に含まれる空間画像１０８と比較することにより、各ユーザ画像１０２の撮像方向および撮像位置を補正する（Ｓ３２）。すなわち、既に得られている空間画像１０８に基づいて、ユーザ画像１０２の方向補正および位置補正が行われる。ユーザ空間生成部４１６は、補正後のユーザ空間１０４から点群データを生成する（Ｓ３４）。ユーザ空間生成部４１６は、続いて、点群データからフレームを特定し（Ｓ３６）、面を生成する（Ｓ３８）。最後に、ユーザ空間生成部４１６は、ユーザ画像１０２をユーザ空間１０４の面にテクスチャマッピングする（Ｓ４０）。
以上の処理過程を経て、現実空間を模したユーザ空間１０４が作られる。

【0072】

図１４は、更新条件を説明するための概念図である。
同一地点、たとえば、Ａ０１地点についてすでに部分空間１０６（Ａ０１）が得られているとする。ここで、新たにユーザ空間１０４（Ａ０１）が取得されたとする。通常、部分空間１０６（Ａ０１：正規）と新規生成されたユーザ空間１０４（Ａ０１）が完全に一致することはない。より具体的には、部分空間１０６（Ａ０１：正規）で検出されるすべての特徴点と、ユーザ空間１０４（Ａ０１）で検出されるすべての特徴点が同一位置にあるとは限らない。

【0073】

部分空間１０６（Ａ０１：正規）とユーザ空間１０４（Ａ０１）の差分（特徴点の位置のずれの大きさ）は、測定誤差の可能性もあるし、現実空間が大きく変化したことに起因するのかもしれない。もし、現実空間が変化しているのであれば、最新のユーザ空間１０４（Ａ０１）を正規空間として登録することが望ましい。一方、ユーザ空間１０４（Ａ０１）と部分空間１０６（Ａ０１：正規）の差分がそれほど大きくないのであれば、最新のユーザ空間１０４（Ａ０１）をわざわざ正規空間として登録する必要はない。

【0074】

たとえば、部分空間１０６（Ａ０１：正規）の画質がユーザ空間１０４（Ａ０１）の画質よりも良いのであれば、部分空間１０６（Ａ０１：正規）をそのまま正規空間として維持する方が合理的である。

【0075】

更新部４２２は、部分空間１０６（Ａ０１：正規）に含まれる面１４６ａと、ユーザ空間１０４（Ａ０１）において面１４６ａと接触する、または、面１４６ａから所定距離以内にある面１４６ｂを比較することにより、差分の大きさを示す後述のＺ４値を計算し、Ｚ４値に基づいて更新条件を判定する。

【0076】

面１４６ａ（正規空間）の４頂点（特徴点）は、Ｑ１～Ｑ４である。更新部４２２は、面１４６ｂ（ユーザ空間１０４）を面１４６ａの対応面として特定する。面１４６ｂの４頂点（特徴点）は、Ｂ１～Ｂ４である。

【0077】

次に、更新部４２２は、対応する頂点を結ぶ４つのベクトルＶ１～Ｖ４を特定する。ベクトルＶ１は、始点を頂点Ｑ１、終点を頂点Ｂ１とするベクトルである。ベクトルＶ２～Ｖ４についても同様である。更新部４２２は、ユーザ空間１０４および部分空間１０６に含まれる面について、
Ｚ１＝ベクトルの平均角度からのずれの合計値
を算出する。
具体的には、まず、面１４６ａ、面１４６ｂを対象として、４つのベクトルＶ１～Ｖ４の平均角度、たとえば、垂直軸からの角度差の平均値を計算する。次に、更新部４２２は、ベクトルＶ１と平均角度とのずれ（絶対値）を計算する。他のベクトルについても同様であり、４つのベクトルの平均角度からのずれの合計値として、更新部４２２はＺ１値を算出する。面１４６ａと面１４６ｂが同一サイズであれば、４つのベクトルは同方向を向くため、Ｚ１値はゼロに近い値となる。一方、面１４６ａと面１４６ｂのサイズが大きく異なる場合には、Ｚ１値は大きくなる。

【0078】

更新部４２２は、すべての面についてＺ１値を計算し、
Ｚ２＝（Ｚ１値の合計）／面数
を算出する。ユーザ空間１０４（Ａ０１）と部分空間１０６（Ａ０１：正規）に含まれる各面が同一サイズに近いほど、Ｚ２値は小さくなる。いいかえれば、Ｚ２値は、ユーザ空間１０４（Ａ０１）と部分空間１０６（Ａ０１：正規）の類似度を示す指標値である。

【0079】

次に、更新部４２２は、
Ｚ３＝Ｚ２×インターバル係数ｋ
を算出する。ここでいうインターバル係数ｋとは、部分空間１０６（Ａ０１：正規）の取得日時からユーザ空間１０４（Ａ０１）の取得日時までの時間差を意味する。具体的には、１時間以内ならｋ＝１．０、１日以内ならｋ＝１．２、１ヶ月以内ならｋ＝１．５、１年以内ならｋ＝２．０、５年以内ならｋ＝３．０、５年以上ならｋ＝１０．０であるとする。すなわち、部分空間１０６（Ａ０１：正規）が古いほど、Ｚ３値は大きくなりやすい。

【0080】

更に、更新部４２２は、
Ｚ４＝Ｚ３×補正係数ｍ
を算出する。補正係数ｍは、部分空間１０６（Ａ０１：正規）の画質よりもユーザ空間１０４（Ａ０１）の画質の方が良好であるとき、（１＋画質差）として定義される係数である。たとえば、ユーザ空間１０４（Ａ０１）の画質が「Ａ」で、部分空間１０６（Ａ０１：正規）の画質が「Ｂ」であるときには、画質差は「１」なので、補正係数ｍ＝１＋１＝２となる。画質差が同一であるとき、または、部分空間１０６（Ａ０１：正規）の画質がユーザ空間１０４（Ａ０１）の画質よりも高いときには、補正係数ｍ＝１となる。すなわち、正規空間に比べてユーザ空間１０４の画質が高いほど、Ｚ４値は大きくなりやすい。

【0081】

まとめると、Ｚ４値は、以下のときに大きな値となる。
・部分空間１０６（Ａ０１：正規）とユーザ空間１０４（Ａ０１）の差分が大きい（現実が大きく変化した可能性がある）
・部分空間１０６（Ａ０１：正規）がユーザ空間１０４（Ａ０１）に比べると古い。
・部分空間１０６（Ａ０１：正規）の画質よりもユーザ空間１０４（Ａ０１）の画質の方がよい。

【0082】

更新部４２２は、Ｚ４値が所定の閾値Ｄ１よりも大きいとき、更新条件が成立したと判定する。更新条件が成立したとき、更新部４２２はユーザ空間１０４（Ａ０１）を新たな正規空間として統合空間１００に登録し、正規空間だった部分空間１０６（Ａ０１）を予備空間に設定変更する。

【0083】

図１５は、統合空間１００の拡大・更新過程を示すフローチャートである。
ユーザ空間生成部４１６は、図１３に関連して説明した処理過程を経て、ユーザ空間１０４を生成する（Ｓ５０）。ユーザ空間１０４と同一地点についての部分空間１０６が存在しないときには、すなわち、未知地点のユーザ空間１０４が得られたときには（Ｓ５２のＹ）、拡大部４２０はこのユーザ空間１０４を新たな部分空間１０６（正規）として追加することにより、統合空間１００を拡大する（Ｓ５４）。

【0084】

ユーザ空間１０４に対応する地点の部分空間１０６がすでに存在するときには（Ｓ５２のＮ）、更新部４２２は更新条件の成否を判定する（Ｓ６４）。更新条件が成立するときには（Ｓ６４のＹ）、更新部４２２はユーザ空間１０４を部分空間１０６（正規）に登録し、正規空間として登録されていた部分空間１０６を予備空間に変更することで統合空間１００を更新する（Ｓ６６）。更新条件が成立しないときには（Ｓ６４のＮ）、更新部４２２はユーザ空間１０４を予備空間として統合空間１００に追加する（Ｓ６８）。

【0085】

部分空間１０６の更新または追加がなされたときには（Ｓ５４，Ｓ６６）、画像分析部４１４は新規の部分空間１０６（正規）を画像解析し、オブジェクト１３０を特定する（Ｓ５６）。画像分析部４１４は、更に、部分空間１０６に含まれるオブジェクト１３０の画像データから、オブジェクト１３０に関する案内情報１４４を生成する（Ｓ５８）。画像分析部４１４は、オブジェクト１３０および案内情報１４４をオブジェクト情報１２０に登録する（Ｓ６０）。

【0086】

特典付与部４２４は、部分空間１０６（正規）の元になるユーザ画像１０２を提供したユーザに対して特典を付与する（Ｓ６２）。ここでいう特典とは、ユーザに利益をもたらすモノ、情報または権利であればよく、たとえば、画像、音楽、ゲームなどのデジタルコンテンツ、暗号通貨、さまざまなサービスまたは商品と引き換え可能なポイント、暗号通貨などであってもよい。

【0087】

［総括］
以上、実施形態に基づいて、位置推定システム５００を説明した。
本実施形態によれば、世界各地のさまざまなユーザからユーザ画像１０２を収集し、収集したユーザ画像１０２からユーザ空間１０４を生成することで、統合空間１００を適宜拡大・更新できる。統合空間１００は、新陳代謝しながら拡大を続ける三次元地図なので、時間経過にともなって統合空間１００の位置推定機能は自然に強化されていく。

【0088】

位置推定システム５００は、ユーザ画像１０２と空間画像１０８を比較することにより、ユーザの現在地点を特定する。位置推定技術の一種としてよく使われているＧＰＳ（Global Positioning System）は、人工衛星と通信する必要があるため屋内や地下での位置推定が難しく、ジャイロセンサ等の他のセンサによる補完が必要となる。一方、位置推定システム５００は、現実空間と相似の統合空間１００を生成し、現実空間におけるユーザ画像１０２と、統合空間１００（現実相似の仮想空間）における空間画像１０８を比較することで、ユーザの現在地点を特定するため、屋内でも対応可能である。
また、ＧＰＳの推定精度は±３０メートル程度であるが、SLAMの推定精度は±０．５メートル程度であり、SLAMの位置推定精度はＧＰＳに比べると格段にすぐれている。このため、位置推定システム５００はＧＰＳに比べると高さ方向だけでなく、水平方向についても高精度にて位置推定できる。

【0089】

統合空間１００は三次元空間なので、三次元での経路案内が可能となる。たとえば、ビルの３階にあるオフィス「ＹＸ」が目的地点として設定された場合には、ビルの入口からエレベータの位置、エレベータから降りたあとの道順まで立体的で丁寧な案内が可能となる。また、撮像画像に基づく三次元地図の長所として、段差、障害物、ドア、柵などの細かな情報を統合空間１００に取り込むことができる。

【0090】

ユーザ空間１０４が新たに取得されても、更新条件が成立しなければこのユーザ空間１０４が正規空間として登録されることはない。空間管理サーバ４００は、情報価値のあるユーザ空間１０４のみを正規空間として統合空間１００に登録し、情報価値の低いユーザ空間１０４は予備空間として登録する。このような分別により、統合空間１００の更新にともなう計算負荷を合理的に抑制できる。たとえば、正規空間と最新のユーザ空間１０４にほとんど違いがないときには、ユーザ空間１０４を新たな正規空間として取り込む必要性が薄い。また、精度や画質についても考慮に入れると、最新のユーザ空間１０４が必ずしも正規空間として適切であるとは限らない。

【0091】

更新条件の判定要素にインターバル係数ｋを取り込むことにより、古い部分空間１０６が正規空間として長期間にわたって維持されにくい仕組みになっている。たとえば、部分空間１０６（Ａ１５）において、久しぶりに同一地点についてのユーザ空間１０４（Ａ１５）が取得されたときには、新しく生成されたユーザ空間１０４（Ａ１５）が正規空間に採用されやすくなる。インターバル係数ｋにより、統合空間１００の新陳代謝（更新）が促進される。

【0092】

ユーザ空間１０４が正規空間として追加されたときには、特典付与部４２４はユーザに特典を付与する。ユーザは、未知地点を撮像し、統合空間１００の拡大に貢献することで、特典を得ることができる。あるいは、既知地点であっても、正規空間以上に高品質なユーザ空間１０４を生成できれば、ユーザは特典を取得できる。特典を付与することにより、統合空間１００の品質向上への協力意欲を喚起しやすくなる。また、好適なユーザ空間１０４を生成するために必要な良質なユーザ画像１０２を集めやすくなる。たとえば、解像度の高いカメラを保有するユーザ、周辺環境をゆっくりとくまなく撮像するユーザは、特典を獲得しやすくなる。

【0093】

統合空間１００に含まれるオブジェクト１３０には案内情報１４４を付属させることができる。画像分析部４１４は、たとえば、オブジェクト１３０の看板等に映る文字あるいは画像を解析することにより、オブジェクト１３０が何であるかを特定する。このようにして特定された情報を案内情報１４４としてもよいし、特定された情報に基づいて関連情報を検索することにより案内情報１４４を生成してもよい。ユーザは、案内画面１４０に映るさまざまなオブジェクト１３０について案内情報１４４を見ることができるので、現在自分が見ているものが何なのかをリアルタイムにて把握できる。

【0094】

統合空間１００は、正規空間とともに予備空間も含まれる。同一地点においてさまざまな予備空間を保存することにより、さまざまな時点の現実空間を再現できる。予備空間を保存することにより、統合空間１００は空間的に広がるだけでなく、時間的にも多層化される。

【0095】

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

【0096】

［変形例］
本実施形態においては、１台の空間管理サーバ４００により統合空間１００の生成・更新・管理等が行われるとして説明したが、複数台の空間管理サーバ４００により統合空間１００の管理が分担されてもよい。たとえば、広島県の統合空間１００を担当する空間管理サーバ４００と、岐阜県の統合空間１００を担当する空間管理サーバ４００のように地域ごとに空間管理サーバ４００を用意してもよい。

【0097】

本実施形態においては、VisualSLAMおよびSfMによる画像計測を前提として説明した。変形例として、LiDAR（Light Detection And Ranging）により周辺環境を計測することで、ユーザ空間１０４を生成してもよい。あるいは、LiDARとカメラの併用により、ユーザ空間１０４を生成してもよい。撮像画像に基づく画像計測は暗い地点での計測を苦手とするが、LiDARを併用すればこのような地点でも三次元計測が可能となる。赤外線カメラによる三次元計測を併用してもよい。

【0098】

本実施形態においては、部分空間１０６は互いに重なり合わないものとして説明したが、部分空間１０６は重複してもよい。たとえば、Ａ０１地点を中心とする部分空間１０６（Ａ０１）の一部は、隣りのＡ０２地点を中心とする部分空間１０６（Ａ０２）の一部と重複してもよい。部分空間１０６の一部を重複させることにより、隙間のない統合空間１００を形成しやすくなる。

【0099】

本実施形態においては、ユーザ画像１０２と空間画像１０８を比較することにより位置推定をするとして説明した。変形例としてＧＰＳ、ＩＭＵ（Inertial Measurement Unit）等の既存のセンサを活用することにより位置推定を支援してもよい。たとえば、ＧＰＳにより「Ａ０１地点付近」という位置情報が得られたときには、位置特定部４０８は統合空間１００のうちＡ０１地点から所定範囲内を対象として、ユーザ画像１０２に類似する空間画像１０８を探索し、ユーザの現在地点を特定してもよい。広大な統合空間１００のうち、ユーザが存在する可能性が高い地点の周辺に探索範囲を絞ることにより、位置推定を高速化できる。

【0100】

ユーザ端末２００が、方位計および高度計を搭載しているときには、ユーザ空間生成部４１６は方位計等から得られる情報をもとにユーザ画像１０２の撮像方向を推定してもよい。ユーザ端末２００に方位計等が搭載されているときには、ユーザ画像１０２の撮像方向を画像属性情報の一部として含めることができるので、図１０に関連して説明した方位補正をしなくても適切なユーザ空間１０４を生成できる。

【0101】

現実空間にあらかじめＱＲコード（登録商標）等のマークを設定してもよい。たとえば、ビルＡにマークＸ１を貼付しておく。マークＸ１には、マークを識別するためのマークＩＤが含まれている。ユーザ画像１０２にマークＸ１が映っていれば、ユーザ端末２００のデータ処理部２０８はマークＸ１からマークＩＤをユーザ画像１０２から抽出する。通信部２０４は、ユーザ画像１０２とマークＩＤを空間管理サーバ４００に送信する。データ格納部４０６においては、マークＩＤと位置情報があらかじめ対応づけられている。位置特定部４０８は、マークＩＤに対応する位置情報によりユーザの現在地点を特定できる。位置特定部４０８は、ユーザ画像１０２に映るマークＸ１の大きさと形状に基づいて、マークＸ１からユーザまでの距離、マークＸ１に対するユーザの相対位置も推定できる。
マークＸ１を既知点として利用することにより、ユーザの現在地点を推定できるので、位置特定部４０８は統合空間１００のうちマークＸ１のある地点から所定範囲内を対象として、ユーザ画像１０２に類似する空間画像１０８を探索すればよい。

【0102】

いったんユーザの現在地点を特定できれば、そのあとにユーザが移動しても、位置特定部４０８はユーザがどのあたりにいるかを把握しやすくなる。たとえば、ユーザの現在地点がＡ０３地点であると特定できれば、位置特定部４０８はユーザが移動しても、Ａ０３地点付近の統合空間１００から空間画像１０８を探索すればよいので、位置推定が容易となる。
位置特定部４０８は、ユーザがユーザ端末２００を立ち上げて位置推定を開始したときには、ユーザの現在位置として最後に推定された地点を中心として位置推定を開始してもよい。

【0103】

ランドマークとなる構造物を既知点として位置推定してもよい。たとえば、東京タワーの位置は既知なので、ユーザ端末２００または空間管理サーバ４００は、ユーザ画像１０２に東京タワーが映っているときには、少なくとも、ユーザが東京タワーの周辺にいることを推定できる。このようにランドマークを利用することにより、位置特定部４０８をいっそう効率的に実行できる。

【0104】

位置特定部４０８は、複数のユーザ画像１０２のうち、多数のユーザ画像１０２に基づいて推定される現在地点をユーザの現在地点として特定してもよい。たとえば、５０枚のユーザ画像１０２が得られたとして、位置特定部４０８はこれらのユーザ画像１０２のうち、４０枚が部分空間１０６（Ａ０５）にある空間画像１０８と類似し、その他は他の地点の部分空間１０６にある空間画像１０８と類似していたとする。このときには、位置特定部４０８は、ユーザはＡ０５地点を現在地点と推定する。このように、多数のユーザ画像１０２からみてもっとも確からしい地点を現在地点と推定することにより、位置推定精度を高めることができる。多数のユーザ画像１０２を使うほど、位置推定精度が高くなる。

【0105】

本実施形態においては、Ｚ４値が閾値Ｄ１よりも大きいとき、更新条件が成立するとして説明した。変形例として、２つの閾値Ｄ１，Ｄ２を設定してもよい。Ｚ４値が閾値Ｄ１よりも大きいときには更新条件が成立し、閾値Ｄ２以下のときには更新条件は成立しない。

【0106】

Ｄ２＜Ｚ４≦Ｄ１のときには（以下、この範囲を「中間範囲」とよぶ）、更新部４２２は予備空間とユーザ空間１０４の比較により更新条件を判定する。たとえば、ユーザ空間１０４（Ａ０８）と部分空間１０６（Ａ０８：正規）についてのＺ４値が中間範囲にあるとする。このとき、更新部４２２は、部分空間１０６（Ａ０８：正規）だけでなく、部分空間１０６（Ａ０８：予備）も対象としてＺ４値を計算する。複数の予備空間それぞれについてのＺ４値のうちの所定割合以上、たとえば、過半数が閾値Ｄ２以下であれば、更新部４２２は更新条件成立と判定する。

【0107】

より具体的には、部分空間１０６（Ａ０８：予備１）とユーザ空間１０４（Ａ０８）についてのＺ４値（予備１）、部分空間１０６（Ａ０８：予備２）とユーザ空間１０４（Ａ０８）についてのＺ４値（予備２）・・・部分空間１０６（Ａ０８：予備５）とユーザ空間１０４（Ａ０８）についてのＺ４値（予備５）を計算したとする。Ｚ４値（予備１）～Ｚ４値（予備５）のうち、３以上（過半数）のＺ４値が閾値Ｄ２以下であれば、更新条件成立となり、更新部４２２はユーザ空間１０４（Ａ０８）を正規空間として統合空間１００に登録する。

【0108】

正規空間を対象としたＺ４値が中間範囲にある場合であって、ユーザ空間１０４（Ａ０８）が多くの予備空間と類似しているのならば、むしろ部分空間１０６（Ａ０８：正規）が異常であったと考えられる。このときには、ユーザ空間１０４（Ａ０８）を新たな正規空間として設定することが適切であるといえる。このようなメカニズムにより、不適切な正規空間がいつまでも残ってしまうリスクを排除できる。

【0109】

本実施形態においては、ベクトルＶ１～Ｖ４の方向のずれによりＺ１値を計算し、Ｚ１値からＺ２値、Ｚ３値、Ｚ４値を計算し、Ｚ４値に基づいて更新条件の成否を判定するとして説明した。変形例として、ベクトルの方向ではなく長さに基づいて後述のＣ３値を計算し、Ｃ３値に基づいて更新条件を判定してもよい。具体的には、更新部４２２は、ユーザ空間１０４および部分空間１０６に含まれるすべてベクトルについて、
Ｃ１＝ベクトルの長さの合計／ベクトル総数
を算出する。ユーザ空間１０４と部分空間１０６の類似度が高いときにはＣ１値は小さくなる（図１４参照）。

【0110】

次に、更新部４２２は、
Ｃ２＝Ｃ１値×インターバル係数ｋ
Ｃ３＝Ｚ２×補正係数ｍ
を算出する。更新部４２２は、このようにして計算したＣ３値と、閾値Ｄ１，Ｄ２を比較することにより、更新条件の成否を判定してもよい。

【0111】

更新部４２２は、Ｚ４値とＣ３値の双方に基づいて更新条件を判定してもよい。たとえば、更新部４２２は、Ｚ４値＋Ｃ３値と、所定の閾値Ｄ１，Ｄ２を比較することにより更新条件の成否を判定してもよい。

【0112】

統合空間管理部４１８は、予備空間に基づいて、「過去の世界」に対応する統合空間１００を再現してもよい。たとえば、２０５０年になったとき、「２０２４年を取得日時」とする部分空間１０６だけで統合空間１００を構成すれば、「２０２４年の世界（過去）」を再現できる。統合空間１００をいわゆるメタバースとして活用することにより、ユーザは「過去の世界」を体験できる。

【0113】

統合空間管理部４１８は、統合空間１００のデータ量を削減するため、所定の削除条件を満たした予備空間を統合空間１００から削除してもよい。削除条件としては、たとえば、「画質が所定レベル以下」「所定日時よりも以前に生成されている」などが考えられる。

【0114】

経路条件として、目的地点以外の条件を設定してもよい。たとえば、ユーザが目的地点として「最寄りのトイレ」を設定したとする。経路生成部４１２は、統合空間１００内の「トイレ」に対応するオブジェクト１３０を探索し、ユーザの現在地点から最も近い「トイレ」への経路情報を生成する。

【0115】

ユーザは、「段差なく到達できるトイレのうち、最寄りのトイレ」という経路条件を設定してもよい。統合空間１００は三次元空間なので、段差（高低差）という立体的な情報を含む。経路生成部４１２は、ユーザの現在地点からトイレまでの経路における段差の有無を確認した上で、段差なく到達できるトイレまでの経路をユーザに案内してもよい。このような制御によれば、たとえば、車椅子のユーザにとって有用な経路案内が可能となる。

【0116】

このほか、経路生成部４１２は「（電動カートで移動するための）段差のない経路」「高低差が大きく１５分程度の時間がかかる散歩のための経路」「できるだけ屋外を通らない経路」などさまざまな経路条件に応じた経路情報を生成してもよい。

【0117】

ユーザ空間生成部４１６は、ユーザ画像１０２に映る人間の顔の部分に「ぼかし」を入れることでプライバシーに配慮したユーザ空間１０４を生成してもよい。ユーザ空間生成部４１６は、撮像禁止エリア（たとえば、トイレの内部、軍事基地、更衣室、プールなど）となる範囲（緯度・経度・高度の範囲）をあらかじめ設定しておき、撮影禁止エリアを対象としたユーザ画像１０２からはユーザ空間１０４を生成しないとしてもよい。

【0118】

同様にして、ユーザ空間生成部４１６は、侵入禁止エリア（たとえば、軍事基地、研究所、工場など）を設定してもよい。案内部４１０は、位置推定に際して、ユーザが侵入禁止エリアに入ったときには警告情報をユーザ端末２００に通知してもよい。特典付与部４２４は、進入禁止エリアへの侵入、撮影禁止エリアでの撮影などあらかじめ設定した禁止事項に抵触したユーザに対しては、一定期間、特典を付与しないというペナルティを設定してもよい。

【0119】

統合空間管理部４１８は、自動車や人間など現実空間に含まれる「固定されていないもの」、すなわち、移動物体を部分空間１０６から削除してもよい。たとえば、部分空間１０６（Ａ１０：正規）、部分空間１０６（Ａ１０：予備１）・・・部分空間１０６（Ａ１０：予備１０）において、２つの予備空間と１つの正規空間にだけ映るオブジェクトＸが存在するとする。この場合、オブジェクトＸは、この２つの予備空間と１つの正規空間の取得日時においてのみ存在していたものであるから、移動物体であると考えられる。この場合には、統合空間管理部４１８は２つの予備空間からオブジェクトＸを削除する。

【0120】

より具体的には、統合空間管理部４１８は、同一地点を対象とした複数の部分空間１０６のうち、所定割合以下の部分空間１０６のみに映るオブジェクトを削除する。たとえば、統合空間管理部４１８は、１０個の部分空間１０６のうち、２０％以下、すなわち、２個以下の部分空間１０６にしか映っていないオブジェクトを削除するとしてもよい。位置推定の邪魔になる移動物体を部分空間１０６から削除することにより、位置推定の精度を高めることができる。

【符号の説明】

【0121】

１００ 統合空間、１０２ ユーザ画像、１０４ ユーザ空間、１０６ 部分空間、１０８ 空間画像、１１０ 空間構成情報、１２０ オブジェクト情報、１３０ オブジェクト、１４０ 案内画面、１４２ 経路案内、１４４ 案内情報、１４６ａ 面、１４６ｂ 面、２００ ユーザ端末、２０２ 撮像部、２０４ 通信部、２０６ ユーザインタフェース処理部、２０８ データ処理部、２１０ データ格納部、３００ プロセッサ、３０２ 第１バス、３０４ メモリ、３０８ ブリッジ、３１０ 第２バス、３１２ ストレージ、３１４ 入力デバイス、３１６ 出力デバイス、３１８ 周辺機器、４００ 空間管理サーバ、４０２ データ処理部、４０４ 通信部、４０６ データ格納部、４０８ 位置特定部、４１０ 案内部、４１２ 経路生成部、４１４ 画像分析部、４１６ ユーザ空間生成部、４１８ 統合空間管理部、４２０ 拡大部、４２２ 更新部、４２４ 特典付与部、４２６ 統合空間格納部、５００ 位置推定システム

【要約】

【課題】 撮像画像に基づいて三次元の現実空間における位置推定を実現し、その上で、さまざまな案内情報をユーザに提供する。
【解決手段】 空間管理サーバは、現実空間に対応する三次元の仮想空間として構成される統合空間１００のデータを格納する。空間管理サーバは、ユーザ端末から取得される撮像画像であるユーザ画像１０２と統合空間１００のデータを比較することにより、ユーザ画像１０２に対応する地点の現実空間における三次元位置を示す位置情報を特定する。空間管理サーバは、ユーザ端末に対してこの位置情報を提供する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】