特許 6790417 情報処理装置及び情報処理サーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6790417

(24)【登録日】2020年11月9日

(45)【発行日】2020年11月25日

(54)【発明の名称】情報処理装置及び情報処理サーバ

(51)【国際特許分類】

   G09B 29/00 20060101AFI20201116BHJP

   G01C 21/30 20060101ALI20201116BHJP

【ＦＩ】

   G09B29/00 Z

   G01C21/30

【請求項の数】19

【全頁数】32

(21)【出願番号】特願2016-70596(P2016-70596)

(22)【出願日】2016年3月31日

(65)【公開番号】特開2017-181870(P2017-181870A)

(43)【公開日】2017年10月5日

【審査請求日】2019年3月29日

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】福井 啓

【審査官】 前地 純一郎

(56)【参考文献】

【文献】 特開２０１１−０２７５９４（ＪＰ，Ａ）

【文献】 特開２０１２−１２７８９６（ＪＰ，Ａ）

【文献】 特開２００９−１９９５７２（ＪＰ，Ａ）

【文献】 特開２００５−３３７８６３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ２３／００−２９／１４

Ｇ０１Ｃ２１／００−２１／３６

Ｇ０１Ｃ２３／００−２５／００

(57)【特許請求の範囲】

【請求項1】

一または複数のセンサから実世界の単位空間に係る観測情報を取得する取得部と、
リファレンス地図と前記実世界の単位空間との不整合に係る情報に基づいて、前記単位空間において取得した前記観測情報を送信する通信部と、
を備え、
前記通信部は、サーバにより前記不整合が予測された不整合予測を含む不整合に係る情報に基づいて前記サーバから発行されるコマンドを受信し、前記コマンドに基づいて前記単位空間において取得した前記観測情報を送信する、
情報処理装置。

【請求項2】

前記単位空間において取得した前記観測情報に基づいて前記リファレンス地図と前記実世界との整合性を判定する判定部、
をさらに備え、
前記通信部は、前記判定部による判定結果に基づいて、前記単位空間において取得した前記観測情報を送信する、
請求項１に記載の情報処理装置。

【請求項3】

前記判定部は、前記単位空間において取得した前記観測情報から検出した特徴点と、前記リファレンス地図に記述された特徴点とをマッチングし、前記整合性を判定する、
請求項２に記載の情報処理装置。

【請求項4】

前記判定部は、前記リファレンス地図とのマッチングを確認した単位空間の一部領域における前記観測情報から検出した特徴点と前記リファレンス地図に記述された特徴点との距離に基づいて、前記整合性を判定する、
請求項３に記載の情報処理装置。

【請求項5】

前記リファレンス地図は三次元地図である、
請求項１に記載の情報処理装置。

【請求項6】

前記観測情報は、深度情報を含む、
請求項１に記載の情報処理装置。

【請求項7】

前記観測情報は、位置情報または姿勢情報のうち少なくともいずれかを含む、
請求項３に記載の情報処理装置。

【請求項8】

移動体の目的地を設定する移動設定部、
をさらに備える、
請求項１に記載の情報処理装置。

【請求項9】

前記移動設定部は、前記コマンドに含まれる前記単位空間の座標情報に基づいて前記単位空間に前記移動体を移動させ、
前記通信部は、前記移動体が前記単位空間に移動したことに基づいて前記単位空間において取得した観測情報を送信する、
請求項８に記載の情報処理装置。

【請求項10】

前記移動設定部は、前記コマンドに含まれる前記単位空間の座標情報に基づいて前記移動体の移動予定経路を変更し、
前記通信部は、前記移動体が前記単位空間に移動したことに基づいて前記単位空間において取得した観測情報を送信する、
請求項８に記載の情報処理装置。

【請求項11】

前記移動設定部は、移動コストまたは安全確保のうち少なくともいずれかに基づいて、前記移動体の目的地を変更するか否かを判定する、
請求項８に記載の情報処理装置。

【請求項12】

一または複数のセンサから取得された実世界の単位空間に係る観測情報を受信する通信部と、
前記観測情報に基づいてリファレンス地図を生成する地図生成部と、
を備え、
前記地図生成部は、前記リファレンス地図と前記実世界の単位空間との不整合を予測した不整合予測を含む不整合に係る情報に基づいて前記単位空間に係る前記観測情報を要求するコマンドを生成し、前記観測情報は、前記コマンドに応じて送信される、
情報処理サーバ。

【請求項13】

前記通信部は、少なくとも１つの情報処理装置に前記コマンドを送信する、
請求項１２に記載の情報処理サーバ。

【請求項14】

前記不整合に係る情報は、前記情報処理装置から送信される前記観測情報を受信したこと、を含み、
前記地図生成部は、前記情報処理装置から送信される前記観測情報を受信したことに基づいて前記コマンドを生成する、
請求項１３に記載の情報処理サーバ。

【請求項15】

前記地図生成部は、前記リファレンス地図と前記実世界の単位空間との不整合予測に基づいて前記コマンドを発行する、
請求項１２に記載の情報処理サーバ。

【請求項16】

前記地図生成部は、前記観測情報に基づいて新たな三次元地図を生成し前記リファレンス地図を更新する、
請求項１２に記載の情報処理サーバ。

【請求項17】

前記地図生成部は、前記観測情報に基づいて物体認識を行い、認識した物体の属性情報を前記三次元地図に付加する、
請求項１６に記載の情報処理サーバ。

【請求項18】

前記地図生成部は、前記観測情報に基づいてセグメンテーション処理を実施し、前記セグメンテーション処理の結果を前記三次元地図に付加する、
請求項１６に記載の情報処理サーバ。

【請求項19】

リファレンス地図と実世界の単位空間との不整合が予測された不整合予測を含む不整合に係る情報を受信する受信部と、
前記不整合の度合いに基づいて運転制御のモードを変更する制御部と、
を備える、
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置及び情報処理サーバに関する。

【背景技術】

【0002】

近年、地図情報を利用した種々のサービスが提案されている。また、実世界において観測した情報に基づき地図情報を更新する種々の手法が提案されている。上記のような手法には、例えば、特許文献１に記載の地図データ更新方法がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−９８８５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載の地図データ更新方法は、自動車の走行する道路に係る情報更新に限定されている。また、特許文献１の地図データ更新方法では、検出した実世界における地形情報の変化を地図データに反映させることが困難である。

【0005】

そこで、本開示では、実世界の変化に応じた地図情報の動的更新をより精度高く実現することが可能な情報処理装置、及び情報処理サーバを提案する。

【課題を解決するための手段】

【0006】

本開示によれば、一または複数のセンサから実世界の単位空間に係る観測情報を取得する取得部と、リファレンス地図と前記実世界の単位空間との不整合に係る情報に基づいて、前記単位空間において取得した前記観測情報を送信する通信部と、を備え、前記通信部は、サーバにより前記不整合が予測された不整合予測を含む不整合に係る情報に基づいて前記サーバから発行されるコマンドを受信し、前記コマンドに基づいて前記単位空間において取得した前記観測情報を送信する、情報処理装置が提供される。

【0007】

また、本開示によれば、一または複数のセンサから取得された実世界の単位空間に係る観測情報を受信する通信部と、前記観測情報に基づいてリファレンス地図を生成する地図生成部と、を備え、前記地図生成部は、前記リファレンス地図と前記実世界の単位空間との不整合を予測した不整合予測を含む不整合に係る情報に基づいて前記単位空間に係る前記観測情報を要求するコマンドを生成し、前記観測情報は、前記コマンドに応じて送信される、情報処理サーバが提供される。

【発明の効果】

【0008】

以上説明したように本開示によれば、実世界の変化に応じた地図情報の動的更新をより精度高く実現することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0009】

【図1A】本開示に係る自動運転車の周辺環境に係る模式図である。

【図1B】本開示に係る自動運転車が認識する周辺環境のイメージ図である。

【図2A】本開示に係るリファレンス地図と実世界との不整合に係る例図である。

【図2B】本開示に係るリファレンス地図と実世界との不整合に係る例図である。

【図3】実施形態に係るリファレンス地図更新の概念図である。

【図4】実施形態に係るシステム構成例である。

【図5】実施形態に係る情報処理サーバ及び情報処理装置の機能ブロック図である。

【図6】実施形態に係る整合性判定の流れを示すフローチャートである。

【図7】実施形態の整合性判定に係る入出力の概念図である。

【図8】実施形態に係る新部分地図生成の流れを示すフローチャートである。

【図9】実施形態に係る不整合予測に基づくコマンド送信の流れを示すフローチャートである。

【図10】実施形態の三次元地図生成に係る入出力の概念図である。

【図11A】実施形態に係る１次地図に含まれる物体のイメージ図である。

【図11B】実施形態に係るセグメンテーション処理及び物体表面生成のイメージ図である。

【図11C】実施形態に係るテクスチャ投影のイメージ図である。

【図12】実施形態に係る物体属性付加地図のイメージ図である。

【図13】本開示に係るハードウェア構成例である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0011】

なお、説明は以下の順序で行うものとする。
１．本開示に係る背景
１．１．ニューラルネットワークとは
１．２．ニューラルネットワークを利用した運転制御
１．３．自動運転制御に係るリファレンス地図
２．実施形態
２．１．リファレンス地図更新の概要
２．２．本実施形態に係るシステム構成例
２．３．本実施形態に係る情報処理サーバ１０
２．４．本実施形態に係る情報処理装置２０
２．５．情報処理装置２０による整合性判定の流れ
２．６．整合性判定の詳細
２．７．新部分地図の生成に係る流れ
２．８．不整合予測に基づくコマンドの送信
２．９．不整合予測に基づく運転制御
２．１０．三次元地図生成の詳細
２．１１．物体表面生成地図及びテクスチャ投影地図
２．１２．本実施形態に係る物体属性付加地図
３．ハードウェア構成例
４．まとめ

【0012】

＜１．本開示に係る背景＞
［１．１．ニューラルネットワークとは］
ニューラルネットワークとは、人間の脳神経回路を模したモデルであり、人間が持つ学習能力をコンピュータ上で実現しようとする技法である。上述したとおり、ニューラルネットワークは学習能力を有することを特徴の一つとする。ニューラルネットワークでは、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によりシナプスの結合強度を変化させることで、問題に対する解決能力を獲得することが可能である。すなわち、ニューラルネットワークは、学習を重ねることで、問題に対する解決ルールを自動的に推論することができる。

【0013】

ニューラルネットワークによる学習の例としては、画像認識や音声認識が挙げられる。ニューラルネットワークでは、例えば、入力される画像パターンを繰り返し学習することで、入力画像に含まれる物体等を認識することが可能となる。ニューラルネットワークの有する上記のような学習能力は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の発展を推し進める鍵としても注目されている。また、ニューラルネットワークの有する学習能力は、種々の産業分野における応用が期待される。ニューラルネットワークの有する学習能力を応用する例としては、例えば、各種の装置における自律制御が挙げられる。

【0014】

［１．２．ニューラルネットワークを利用した運転制御］
ここで、ニューラルネットワークを利用した自律制御について、例を挙げて説明する。近年、ユーザ操作に依らず自律的に動作する種々の装置が開発されている。上記のような装置には、例えば、運転者による制御を要しない自動運転車がある。自動運転車は、各種のセンサにより取得した情報から周囲の環境を認識し、認識した環境に応じて、自律走行を実現する。

【0015】

ニューラルネットワークは、上記のような自動運転車における環境認識や運転制御に応用することができる。自動運転制御には、例えば、多層構造のニューラルネットワークを用いたディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ：深層学習）により運転制御機能を獲得した学習器（以下、自動運転ＡＩ、とも呼ぶ）が用いられてよい。すなわち、自動運転ＡＩは、学習により獲得した環境認識能力や運転制御能力に基づいて、周囲環境に応じた自動車の運転制御を行うことができる。例えば、自動運転ＡＩは、センサから観測される観測情報に基づいて歩行者を認識し、歩行者を避けるためにハンドル制御やブレーキ制御などを行うことができる。

【0016】

図１Ａ及び図１Ｂは、自動運転車ＡＶ１による周囲環境の認識について説明するための図である。図１Ａは、実世界における自動運転車ＡＶ１の周囲環境を模式的に示した図である。図１Ａを参照すると、自動運転車ＡＶ１の周囲には、動物体ＤＯ１〜ＤＯ４と静物体ＳＯ１〜４が存在している。ここで、動物体ＤＯ１〜ＤＯ４は、動的に移動する物体であってよく、図１Ａに示す一例においては、それぞれ車両、自転車、または歩行者として示されている。また、静物体ＳＯ１〜４は、自律的に移動しない物体であってよく、同図の一例では、それぞれ信号機、看板、街路樹、または建物として示されている。

【0017】

次に、図１Ｂを参照して、自動運転車ＡＶ１が認識する周囲環境の例について説明する。図１Ｂは、自動運転車ＡＶ１が認識する周囲環境を模式的に示した図である。図１Ｂに示すように、自動運転車ＡＶ１は、例えば、画像情報を含む観測情報に基づいて検出した特徴点により周囲環境を認識してもよい。このため、図１Ｂでは、動物体ＤＯ１〜ＤＯ４及び静物体ＳＯ１〜４は、それぞれ自動運転車ＡＶ１が検出した特徴点の集合により表されている。このように、自動運転車ＡＶ１は、搭載されるカメラ等からの情報を基に検出した物体の特徴点を追跡することで、周囲の環境を認識することができる。

【0018】

また、図１Ｂには図示しないが、自動運転車ＡＶ１は、自動運転ＡＩが物体認識を行った結果に基づいて、周囲環境を認識することもできる。この場合、例えば、動物体ＤＯ１〜ＤＯ４は、それぞれ特徴点と物体認識に基づいた３次元情報として認識されてよい。また、自動運転ＡＩは、観測情報から認識した周囲環境における物体の特性に応じた運転制御を行うことができる。例えば、自動運転ＡＩは、対向する車両の走行軌跡や歩行者の道路横断などを認識し、アクセル制御やブレーキ制御、ハンドル制御などを行ってよい。

【0019】

［１．３．自動運転制御に係るリファレンス地図］
以上説明したように、自動運転ＡＩを搭載する自動運転車は、搭載されるカメラ等のセンサから取得した観測情報に基づいて周囲環境を認識し、自律運転を行うことができる。また、上記のような自動運転制御では、周囲環境のリファレンスとなる三次元地図（以下、リファレンス地図、とも呼ぶ）を用いることで、より精度の高い運転制御を実現することが可能となる。すなわち、自動運転車は、リファレンス地図を参照し、観測情報とのマッチングを図ることで、周囲環境の認識や自己位置同定の精度を向上させることができる。ここで、上記のリファレンス地図は、例えば、画像情報を含む複数の観測情報から生成された三次元地図であってよい。

【0020】

一方、自動運転制御にリファレンス地図を利用する場合、リファレンス地図の精度が重要な鍵となる。例えば、リファレンス地図と実世界における地形とに不整合が生じている場合、自動運転車による自己位置同定や物体認識の精度が著しく低下する可能性がある。

【0021】

図２Ａ及び図２Ｂは、リファレンス地図と実世界における地形に不整合について説明するための図である。なお、上記の地形には、地面や道路を含む地形の他、実世界に存在する種々の静物体が含まれてよい。

【0022】

図２Ａは、リファレンス地図に保存される所定の単位空間における三次元地図のイメージ図である。図２Ａを参照すると、リファレンス地図には、道路情報の他、信号機や看板などを含む静物体の三次元位置情報が含まれている。

【0023】

また、図２Ｂは、図２Ａに示したリファレンス地図と同一の単位空間における実世界の地形を示すイメージ図である。図２Ｂを参照すると、実世界の地形と図２Ａに示したリファレンス地図とには不整合が生じていることがわかる。具体的には、実世界の地形には、リファレンス地図には存在しない建物ＮＯ１が新たに建設されている。また、看板ＮＯ２においては、リファレンス地図における同一の看板とは内容が異なっている。

【0024】

上記で示したように、実世界における地形は変化するものであり、リファレンス地図の作成時から時間が経過するにつれ、両者の間には不整合が生じる可能性がある。また、自動運転車が実世界に則していないリファレンス地図を参照することで、自己位置同定に不具合が生じることも想定される。

【0025】

このため、リファレンス地図は、実世界の地形変化に応じて適宜更新されることが求められる。特に、自動運転制御などに利用される場合、安全確保の観点からも、より実世界に則した精度の高いリファレンス地図が期待されている。

【0026】

本開示に係る情報処理装置２０、及び情報処理サーバ１０は、上記で説明したようなリファレンス地図の更新に着目して発想されたものであり、実世界の変化をより効率的に検出し、リファレンス地図をより実世界に近い状態に保つことが可能である。以降の実施形態の説明では、本開示に係る情報処理装置２０、及び情報処理サーバ１０に係る機能上の特徴を挙げながら、当該特徴の奏する効果について述べる。また、本開示では主にニューラルネットワークを用いた学習について説明するが、本開示に係る学習手法は係る例に限定されない。本開示に係る技術思想は、入力と出力の関係から法則性を獲得する学習器全般に適用され得る。

【0027】

また、以降の実施形態の説明では、実世界を走行する自動運転車を例に説明するが、本開示に係る情報処理サーバ１０及び情報処理装置２０の適用は係る例に限定されない。本開示に係る情報処理サーバ１０及び情報処理装置２０は、屋内を走行する特殊車両や、災害現場などでの災害対応ロボットに適用することも可能である。すなわち、本開示に係るリファレンス地図の生成技術は、屋外または屋内の区別なく有用な効果を奏するものである。また、本開示に係る観測情報は、環境状況に応じた移動体により収集されてよい。

【0028】

＜２．実施形態＞
［２．１．リファレンス地図更新の概要］
まず、本実施形態に係るリファレンス地図の更新について概要を説明する。本実施形態に係るリファレンス地図の更新では、自動運転車などに搭載される情報処理装置２０が、リファレンス地図と実世界との不整合を検出し、不整合を検出した単位空間において観測した観測情報を情報処理サーバに送信することができる。また、本実施形態に係る情報処理サーバは、情報処理装置２０から送信された不整合に係る情報に基づいて、不整合が検出された単位空間に係る観測情報を要求するコマンド発行し複数の情報処理装置２０に送信することができる。

【0029】

一方、上記のコマンドを受信した情報処理装置２０は、指定された単位空間に自動車などの移動体を誘導し、あるいは移動させ、当該単位空間において観測した観測情報を情報処理サーバに送信することができる。情報処理サーバは、情報処理装置２０から取得した複数の観測情報に基づいて、新たな三次元部分地図を生成し、対象の単位空間に係るリファレンス地図を更新する。

【0030】

図３は、本実施形態のリファレンス地図更新に係る概念図である。図３には、情報処理サーバ１０、及び情報処理装置２０を搭載した車両Ｖ１及びＶ２が示されている。また、図３に示される地図Ｍ１は、単位空間に係るリファレンス地図のイメージである。

【0031】

情報処理装置２０を搭載した車両Ｖ１は、実世界の地形を観測しながら走行する自動運転車などの車両であってよい。この際、車両Ｖ１は、取得した観測情報に基づいて認識する周囲環境とリファレンス地図とのマッチングを行いながら、実世界を走行する。ここで、実世界とリファレンス地図との不整合が検出された場合、車両Ｖ１に搭載される情報処理装置２０は、単位空間において観測した観測情報を情報処理サーバ１０に送信する。

【0032】

続いて、不整合に係る情報を受信した情報処理サーバ１０は、不整合が検出された単位空間に係る観測情報を複数の情報処理装置２０に要求するコマンドを発行する。ここで、上記の情報処理装置２０は、自動運転ＡＩやカーナビゲーションシステムなどの車載システムであってもよい。情報処理装置２０が自動運転ＡＩである場合、情報処理装置２０は受信した上記のコマンドに基づいて対象となる単位空間に車両Ｖ２を移動させる。また、情報処理装置２０がカーナビゲーションシステムである場合、情報処理装置２０は、対象となる単位空間に車両Ｖ２を誘導するための経路変更などを行ってよい。

【0033】

上記の制御により、車両Ｖ２が指定された単位空間に移動すると、情報処理装置２０は取得した観測情報を情報処理サーバ１０に送信する。情報処理サーバ１０は、複数の情報処理装置２０から取得した観測情報に基づいて、単位空間に係る新たな三次元部分地図を生成し、リファレンス地図を更新することができる。なお、図３に示す一例において、車両Ｖ２及びＶ２´は同一の車両を示しており、車両Ｖ２´は指定単位空間に移動した車両Ｖ２を表している。

【0034】

以上、本実施形態に係るリファレンス地図の更新について概要を説明した。本実施形態に係る情報処理装置２０、及び情報処理サーバ１０によれば、実世界を走行する移動体が観測した観測情報に基づいて、実世界とリファレンス地図との不整合を動的に検出することが可能となる。また、本実施形態によれば、不整合が予測される単位空間における観測情報を効率的に取得し、リファレンス地図を更新することができる。

【0035】

なお、上記では情報処理装置２０が搭載される移動体の例として自動車を用いて説明したが、本実施形態に係る移動体は係る例に限定されない。本実施形態に係る移動体は、例えばドローンを含む無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）や、船舶、または種々のロボットであってもよい。さらに、本実施形態に係る移動体は、人により操作される種々の車両や装置であってもよい。この場合、本実施形態に係る情報処理サーバ１０は、例えば、人が運転する車両や、人が操作するドローンにより観測された観測情報を収集することが可能である。本実施形態に係る移動体は、周囲環境の観測手段、及び指定空間エリアへの移動手段を有する装置として広く実現され得る。

【0036】

［２．２．本実施形態に係るシステム構成例］
次に、本実施形態に係るシステム構成例について説明する。図４を参照すると、本実施形態に係るシステムは、情報処理サーバ１０、複数の情報処理装置２０ａ及び２０ｂ、及び複数の移動体３０ａ及び３０ｂを備える。また、情報処理サーバ１０と情報処理装置２０ａ及び２０ｂとは、ネットワーク４０を介して、互いに通信が行えるように接続される。

【0037】

ここで、本実施形態に係る情報処理サーバ１０は、不整合に係る情報に基づいて実世界の単位空間に係る観測情報を要求するコマンドを生成し、少なくとも１つの情報処理装置２０に送信するサーバである。また、情報処理サーバ１０は、受信した観測情報に基づいてリファレンス地図を更新する機能を有する。

【0038】

また、本実施形態に係る情報処理装置２０は、リファレンス地図と実世界の単位空間との不整合に係る情報に基づいて、当該単位空間において取得した観測情報を送信する情報処理サーバ１０に送信する装置である。情報処理装置２０は、例えば、自動運転ＡＩ、カーナビゲーションシステム、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット、またはスマートフォンなどであってよい。

【0039】

また、本実施形態に係る情報処理装置２０は、それぞれが異なる装置であってよい。例えば、図４に示される情報処理装置２０ａは自動運転ＡＩであってよいし、情報処理装置２０ｂは、カーナビゲーションシステムであってもよい。本実施形態に係る情報処理装置２０は、移動体３０から観測情報を取得する機能と、情報処理サーバ１０からのコマンドに基づいて移動体３０の目的地を設定する機能と、を有する種々の情報処理端末であり得る。

【0040】

本実施形態に係る移動体３０は、実世界の地形情報を観測するための種々のセンサを有する装置であってよい。移動体３０は、例えば、自動運転車を含む各種の自動車、無人航空機、船舶、または災害対応ロボットなどであってよい。また、本実施形態に係る移動体３０は、観測情報の収集を目的としたデータ収集用のドローンや車両であってもよい。本実施形態に係る移動体３０は、実世界において観測した観測情報を情報処理装置２０に引き渡す機能を有する。ここで、上記の観測情報には、例えば、ＲＧＢ−Ｄカメラ、レーザーレンジファインダー、ＧＰＳ、Ｗｉ―Ｆｉ（登録商標）、地磁気センサ、気圧センサ、加速度センサ、ジャイロセンサ、または振動センサなどにより取得される情報が含まれてよい。

【0041】

また、ネットワーク４０は、情報処理サーバ１０と情報処理装置２０を接続する機能を有する。ネットワーク４０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク４０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

【0042】

以上、本実施形態に係るシステム構成例について説明した。以降の説明では、本実施形態に係る情報処理サーバ１０と情報処理装置２０の機能構成上の特徴について述べる。

【0043】

［２．３．本実施形態に係る情報処理サーバ１０］
次に、本実施形態に係る情報処理サーバ１０について詳細に説明する。本実施形態に係る情報処理サーバ１０は、情報処理装置２０から受信した実世界の単位空間において取得された観測情報に基づいてリファレンス地図を更新する機能を有する。また、情報処理サーバ１０は、複数の情報処理装置２０に、上記の観測情報を要求する機能を有する。図５は、本実施形態に係る情報処理サーバ１０及び情報処理装置２０の機能ブロック図である。図５を参照すると、本実施形態に係る情報処理サーバ１０は、地図生成部１１０及び装置通信部１２０を備える。

【0044】

（地図生成部１１０）
地図生成部１１０は、リファレンス地図の生成に係る機能を有する。上記のリファレンス地図は、例えば、三次元地図であってよい。地図生成部１１０は、特に、本実施形態においては、後述する装置通信部１２０が受信した観測情報に基づいてリファレンス地図を生成する機能を有してよい。具体的には、地図生成部１１０は、観測情報に基づいて新たな三次元地図を生成し上記のリファレンス地図を更新してよい。また、地図生成部１１０は、観測情報に基づいて物体認識を行い、認識した物体の属性情報を上記の三次元地図に付加することができる。

【0045】

さらに、本実施形態に係る地図生成部１１０は、観測情報に基づいてセグメンテーション処理を実施し、当該セグメンテーション処理の結果を三次元地図に付加してもよい。また、地図生成部１１０は、上記のセグメンテーション処理の結果に基づいて物体表面生成やテクスチャ投影を実施し、物体表面生成地図またはテクスチャ投影地図を生成することができる。

【0046】

また、地図生成部１１０は、リファレンス地図と実世界の単位空間との不整合に係る情報に基づいて、当該単位空間に係る観測情報を要求するコマンドを生成する機能を有する。この際、上記の不整合に係る情報は、情報処理装置２０からの観測情報を受信したことを含んでよい。すなわち、情報処理サーバ１０は、情報処理装置２０が不整合と判定した観測情報を受信したことに基づいて上記のコマンドを生成してよい。

【0047】

また、地図生成部１１０は、リファレンス地図と実世界の単位空間との不整合予測に基づいて上記のコマンドを生成することができる。情報処理サーバ１０による上記の不整合予測については後述する。

【0048】

（装置通信部１２０）
装置通信部１２０は、一または複数のセンサから取得された実世界の単位空間に係る観測情報を受信する機能を有する。また、装置通信部１２０は、地図生成部１１０が生成した上記のコマンドを少なくとも１つの情報処理装置２０に送信する機能を有する。

【0049】

ここで、上記の観測情報は、リファレンス地図と実世界の単位空間との不整合に係る情報に基づいて送信される情報であってよい。すなわち、上記の観測情報は、情報処理装置２０が不整合を検出したことに基づいて送信する観測情報であってよいし、情報処理装置２０が上記のコマンドに基づいて送信する観測情報であってもよい。

【0050】

［２．４．本実施形態に係る情報処理装置２０］
次に、本実施形態に係る情報処理装置２０について詳細に説明する。本実施形態に係る情報処理装置２０は、移動体３０が観測した観測情報を取得する機能を有する。また、情報処理装置２０は、リファレンス地図と実世界の単位空間との不整合に係る情報に基づいて、取得した観測情報を情報処理サーバ１０に送信する機能を有する。図５を参照すると、本実施形態に係る情報処理装置２０は、判定部２１０、移動設定部２２０、観測情報取得部２３０、及びサーバ通信部２４０を備える。

【0051】

（判定部２１０）
判定部２１０は、実世界の単位空間において取得した観測情報に基づいてリファレンス地図と実世界との整合性を判定する機能を有する。具体的には、判定部２１０は、単位空間において取得した観測情報から検出した特徴点と、リファレンス地図に記述された特徴点とをマッチングし、上記の整合性を判定してよい。この際、判定部２１０は、リファレンス地図とのマッチングを確認した単位空間の一部領域における観測情報から検出した特徴点とリファレンス地図に記述された特徴点との距離に基づいて、上記の整合性を判定することができる。なお、判定部２１０による不整合判定の詳細については後述する。

【0052】

（移動設定部２２０）
移動設定部２２０は、移動体３０の目的地を設定する機能を有する。ここで、本実施形態に係る移動設定部２２０は、情報処理装置２０の様態に応じた機能を有してよい。例えば、情報処理装置２０が自動運転ＡＩである場合、移動設定部２２０は、情報処理サーバ１０から発行されるコマンドに含まれる単位空間の座標情報に基づいて、当該単位空間に移動体３０を移動させることができる。

【0053】

また、例えば、情報処理装置２０がカーナビゲーションシステムである場合、移動設定部２２０は、上記のコマンドに含まれる単位空間の座標情報に基づいて、移動体３０の移動予定経路を変更することができる。このように、移動設定部２２０の有する機能は、情報処理装置２０及び移動体３０の仕様に応じて適宜設計されてよい。

【0054】

また、移動設定部２２０は、移動コストや安全確保などに基づいて、移動体の目的地を変更するか否かを判定する機能を有してよい。ここで、上記の移動コストには、移動距離、移動時間、燃料、及び高速道路などの利用料金が含まれてよい。

【0055】

（観測情報取得部２３０）
観測情報取得部２３０は、一または複数のセンサから実世界の単位空間に係る観測情報を取得する機能を有する。ここで、上記の観測情報には、深度情報が含まれてよい。上記の深度情報は、例えば、移動体３０が備えるＲＧＢ−Ｄカメラやレーザーレンジファインダーから得られる情報であってよい。

【0056】

また、上記の観測情報には、位置情報や姿勢情報が含まれてよい。上記の位置情報及び姿勢情報は、例えば、移動体３０が備えるＧＰＳ、Ｗｉ−Ｆｉ、地磁気センサ、気圧センサ、加速度センサ、ジャイロセンサ、及び振動センサなどから得られる情報であってよい。

【0057】

（サーバ通信部２４０）
サーバ通信部２４０は、観測情報取得部２３０が取得した観測情報を情報処理サーバ１０に送信する機能を有する。また、サーバ通信部２４０は、情報処理装置２０から発行されるコマンドを受信する機能を有する。

【0058】

具体的には、本実施形態に係るサーバ通信部２４０は、リファレンス地図と実世界の単位空間との不整合に係る情報に基づいて、当該単位空間において取得した観測情報を情報処理サーバ１０に送信してよい。すなわち、サーバ通信部２４０は、判定部２１０による整合性判定の判定結果に基づいて、上記の観測情報を情報処理サーバ１０に送信することができる。

【0059】

また、本実施形態に係るサーバ通信部２４０は、情報処理サーバ１０から発行されるコマンドに基づいて、上記の単位空間において取得した観測情報を送信してよい。この際、サーバ通信部２４０は、移動体３０が単位空間に移動したことに基づいて観測情報を送信することができる。

【0060】

［２．５．情報処理装置２０による整合性判定の流れ］
次に、本実施形態に係る整合性判定の流れについて詳細に説明する。上述したとおり、本実施形態に係る情報処理装置２０は、実世界の単位空間において取得した観測情報に基づいて、リファレンス地図と実世界との整合性を判定することができる。

【0061】

この際、情報処理装置２０の判定部２１０は、単位空間において取得した観測情報から検出した特徴点と、当該観測情報が取得された単位空間に対応するリファレンス地図に記述された特徴点とをマッチングし、両者の整合性を判定してよい。

【0062】

より具体的には、判定部２１０は、リファレンス地図とのマッチングを確認した単位空間の一部領域における観測情報から検出した特徴点とリファレンス地図に記述された特徴点との距離に基づいて、上記の整合性を判定してよい。

【0063】

すなわち、判定部２１０は、観測情報とリファレンス地図とが全体としてマッチングしているのに対し、一部領域における特徴点の距離が大きいことを検出した場合、両者の不整合を判定することができる。

【0064】

以下、図６を参照して、本実施形態に係る整合性判定の流れについて説明する。図６は、本実施形態に係る整合性判定の流れを示すフローチャートである。なお、以下の説明においては、情報処理装置２０が自動運転ＡＩとしての機能を有する場合を例に述べる。

【0065】

図６を参照すると、まず、サーバ通信部２４０は、移動体３０の走行位置周辺に係るリファレンス地図を取得する（Ｓ１１０１）。この際、サーバ通信部２４０は、移動体３０が備えるＧＰＳなどにより取得された情報に基づいて上記のリファレンス地図を取得してもよい。

【0066】

次に、観測情報取得部２３０は、移動体３０が実世界の単位空間において観測した観測情報を取得する（Ｓ１１０２）。ここで、上記の観測情報には、ＲＧＢＤ画像やレーザーレンジファインダー情報、またＧＰＳ、地磁気センサ、Ｗｉ−Ｆｉ、気圧センサ、加速度センサ、ジャイロセンサ、及び振動センサにより取得された情報が含まれてよい。

【0067】

次に、判定部２１０は、ステップＳ１１０１において取得したリファレンス地図と、ステップＳ１１０２において取得した観測情報とのマッチングを行う（Ｓ１１０３）。この際、判定部２１０が行うマッチングの詳細については後述する。

【0068】

次に、判定部２１０は、ステップＳ１１０３で行ったマッチングの結果に基づいて、リファレンス地図と観測情報との整合性を判定する（Ｓ１１０４）。上述したとおり、判定部２１０は、観測情報とリファレンス地図とが全体としてマッチングしているのに対し、一部領域における特徴点の距離が大きいことを検知した場合（距離＞ε）、両者の不整合を判定してよい。なお、判定部２１０による整合性判定の詳細について後述する。

【0069】

リファレンス地図と観測情報との不整合が検出された場合（Ｓ１１０４：不整合）、サーバ通信部２４０は、ステップＳ１１０２において取得した観測情報を情報処理サーバ１０に送信する（Ｓ１１０５）。

【0070】

一方、リファレンス地図と観測情報との整合性が確認された場合（Ｓ１１０４：整合）、情報処理装置２０は対象の単位空間に係る不整合判定を終了する。また、この際、移動設定部２２０は移動体３０の運転制御を行い、次の単位空間へと移動させてよい（Ｓ１１０６）。移動体３０が次の単位空間に移動すると、判定部２１０は、ステップＳ１１０１〜Ｓ１１０５の処理を繰り返し実行する。

【0071】

以上、本実施形態に係る整合性判定の流れについて説明した。なお、上記では、判定部２１０がリファレンス地図と観測情報との不整合を検出したことに基づいて、サーバ通信部２４０が当該観測情報を情報処理サーバ１０に送信する場合を例に述べた。一方、本実施形態に係る観測情報の送信は係る例に限定されない。

【0072】

本実施形態に係る整合性の判定は、例えば、移動体３０の搭乗者により行われてもよい。搭乗者は、リファレンス地図と実世界との不整合を目視などにより確認した場合、観測情報を情報処理サーバ１０に送信するための操作を行うこともできる。この場合、情報処理装置２０は、上記の操作を受け付けるユーザインタフェースを備えてよい。このように、本実施形態では、観測情報の送信に係る複数の手段を備えることで、より多くの不整合に係る情報を収集することが可能である。

【0073】

［２．６．整合性判定の詳細］
以上、本実施形態に係る整合性判定の流れについて説明した。続いて、本実施形態に係る整合性判定の詳細について詳細に説明する。図７は、本実施形態の整合性判定に係る入出力の概念図である。図７を参照すると、判定部２１０は、入力される観測情報に基づいて、リファレンス地図と実世界との整合性判定結果を出力することができる。なお、図７においては、判定部２１０が有する各機能を機能Ｂ１〜Ｂ７として示している。

【0074】

（物体認識による動物体除去）
図７を参照すると、判定部２１０は、入力情報から動物体を除去する機能を有する（機能Ｂ１）。この際、入力される情報は、ＲＧＢＤ画像やレーザーレンジファインダー情報であってよい。また、上記の動物体は、自律的に移動する歩行者や車などの物体であってよい。判定部２１０が入力情報から動物体を除去することで、整合性判定に使用する地形情報のみを抽出することができる。

【0075】

この際、判定部２１０は、例えば、入力情報に対して、領域認識や物体認識を行うことで動物体の除去を行ってよい。この際、上記の領域認識や物体認識には、広く利用されている方法を用いることができる。判定部２１０は、例えば、予めデータベースに記録された動物体の特徴情報と入力情報とを照合することで動物体に係る物体認識を行ってもよい。また、判定部２１０は、物体認識能力を獲得した学習器による出力結果に基づいて、動物体の除去を行うこともできる。

【0076】

（特徴点検出）
また、判定部２１０は、機能Ｂ１から出力される動物体を除去したＲＧＢＤ画像などに基づいて特徴点を検出し記述する機能を有する（機能Ｂ２）。この際、判定部２１０は、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などを用いて特徴点の検出を行ってもよい。また、例えば、判定部２１０は、Ｈａｒｒｉｓのコーナー検出法などを用いることもできる。

【0077】

（特徴点マッチング）
また、判定部２１０は、機能Ｂ２から出力される複数のＲＧＢＤ画像に係る特徴点の記述に基づいて、各特徴点のマッチングを行う機能を有する（機能Ｂ３）。この際、判定部２１０は、複数のＲＧＢＤ画像間で対応関係にある特徴点をマッチングする。この際、判定部２１０は、特徴点検出に用いた手法に対応したマッチングを行ってよい。例えば、特徴点検出にＳＩＦＴやＳＵＲＦを用いた場合、判定部２１０は検出した特徴点に係る特徴量ベクトルに基づいて、上記のマッチングを行ってもよい。

【0078】

また、判定部２１０は、特徴点マッピングの際、観測情報に含まれるＧＰＳ、地磁気センサ、Ｗｉ−Ｆｉ、気圧センサ、加速度センサ、ジャイロセンサ、及び振動センサにより取得されたセンサ情報を用いてよい。判定部２１０は、上記のセンサ情報から算出したおおまかな位置情報や姿勢情報を用いることで、特徴点マッピングを効率化することができる。

【0079】

（カメラパラメータの算出）
また、判定部２１０は、機能Ｂ３から出力されるマッチング情報に基づいて、特徴点の三次元座標を算出し、当該特徴点の三次元座標から各ＲＧＢＤ画像に対応したカメラパラメータを算出する機能を有する（機能Ｂ４）。ここで、上記のカメラパラメータは、カメラの有する自由度のベクトルや各種の内部パラメータを含んでよい。例えば、本実施形態に係るカメラパラメータは、カメラの位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ、Φｙ、Φｚ）と、であってよい。また、本実施形態に係るカメラパラメータは、例えば、焦点距離、Ｆ値、せん断係数などの内部パラメータを含んでよい。

【0080】

この際、判定部２１０は、連続するフレーム（ＲＧＢＤ画像）間における特徴点の位置、カメラ間の位置ベクトル、カメラの３軸回転ベクトル、及び各カメラ間位置と特徴点とを結ぶベクトルなどの相対値を連続的に算出してよい。判定部２１０は、エピポーラ幾何に基づくエピポーラ方程式を解くことで上記の算出を行うことができる。

【0081】

また、判定部２１０は、カメラパラメータの算出の際、上述したセンサ情報から算出したおおまかな位置情報や姿勢情報を用いることで、カメラパラメータの算出を効率化することができる。

【0082】

（投影誤差最小化）
また、判定部２１０は、機能Ｂ４から出力されるカメラパラメータに基づいて、投影誤差の最小化を行う機能を有する（機能Ｂ５）。具体的には、判定部２１０は、各カメラパラメータと各特徴点の位置分布を最小化する統計処理を行う。

【0083】

この際、判定部２１０は、誤差の大きい特徴点を検出し当該特徴点を削除することで、投影誤差の最小化を行うことができる。判定部２１０は、例えば、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法により最小自乗法の最適解を推定してもよい。これにより、判定部２１０は、誤差を収束したカメラ位置、カメラ回転行列、特徴点の三次元座標を求めることができる。

【0084】

（観測情報の三次元空間射影）
また、判定部２１０は、機能Ｂ５から出力される誤差の最小化されたカメラパラメータ及び特徴点の三次元座標に基づいて、観測情報の三次元空間射影を行う機能を有する（機能Ｂ６）。すなわち、判定部２１０は、移動体３０から取得した画像情報に係る特徴点を三次元空間上に射影した三次元地図（以下、観測点地図、とも呼ぶ）を得ることができる。

【0085】

（三次元空間における距離計算）
また、判定部２１０は、機能Ｂ６から出力される三次元空間射影の情報に基づいて、当該三次元空間における特徴点の距離計算を行う機能を有する。すなわち、判定部２１０は、三次元空間においてリファレンス地図に記述される特徴点と観測情報から検出された特徴点との距離を算出する。ここで、算出された距離が所定の閾値以上である場合、判定部２１０は、リファレンス地図と実世界との不整合を判定してよい。

【0086】

この際、判定部２１０は、最近傍点誤差に基づいて整合性を判定してもよい。判定部２１０は、例えば、観測情報から抽出した各特徴点と各特徴点の最も近傍に位置するリファレンス地図上の特徴点との距離ｒを算出し、距離ｒの平均が所定の閾値εを超えることに基づいて、不整合を判定することができる。

【0087】

また、例えば、判定部２１０は、同一地形判定器を用いて整合性の判定を行ってもよい。ここで、上記の同一地形判定器は、ディープラーニングなどにより同一地形の判定能力を獲得した学習器であってよい。具体的には、同一地形判定器は、入力されるリファレンス地図と観測点地図とに基づいて三次元空間における地形情報の一致または不一致を判定する機能を有してよい。この場合、判定部２１０は、同一地形判定器による出力値が所定の閾値εを超えることに基づいて不整合を判定することができる。

【0088】

また、例えば、判定部２１０は、二次元または三次元における物体認識結果に基づいて整合性の判定を行ってもよい。ここで、上記の物体認識は、ディープラーニングなどにより物体認識能力を獲得した学習器により出力される情報であってよい。この場合、判定部２１０は予め登録されたリファレンス地図上の物体情報と、学習器が出力した物体認識情報とを比較する。この際、判定部２１０は、学習器から出力される物体認識結果が予め登録される物体情報と異なることに基づいて不整合を判定することができる。

【0089】

以上、本実施形態に係る整合性判定について詳細に説明した。上記で説明したとおり、本実施形態に係る情報処理装置２０は、移動体３０から取得する観測情報に基づいて、リファレンス地図と実世界との整合性を判定することができる。本実施形態に係る情報処理装置２０が有する上記の機能によれば、リファレンス地図と実世界の不整合を自動で判定し、当該不整合に係る単位空間における観測情報を効果的に収集することが可能となる。

【0090】

［２．７．新部分地図の生成に係る流れ］
次に、本実施形態に係る新部分地図の生成について詳細に説明する。本実施形態に係る情報処理サーバ１０は、受信したリファレンス地図と実世界の単位空間との不整合に係る情報に基づいて、複数の情報処理装置２０に、単位空間に係る観測情報を要求するコマンドを送信することができる。また、本実施形態に係る情報処理サーバ１０は、情報処理装置２０から受信した複数の観測情報に基づいて、当該観測情報が観測された単位空間に係る新たな三次元部分地図を生成することができる。

【0091】

以下、本実施形態に係る新部分地図の生成の流れについて詳細に説明する。図８は、本実施形態に係る新部分地図生成の流れを示すフローチャートである。

【0092】

図８を参照すると、まず、情報処理サーバ１０の装置通信部１２０は、情報処理装置２０から不整合に係る観測情報を受信する（Ｓ１２０１）。

【0093】

次に、装置通信部１２０は、単位空間に係る観測情報を要求するコマンドを送信する（Ｓ１２０２）。この際、上記のコマンドは、地図生成部１１０が、ステップＳ１２０１で受信した観測情報に基づいて生成したコマンドであってよい。

【0094】

次に、地図生成部１１０は、複数の情報処理装置２０から送信される単位空間の観測情報に基づいて、当該単位空間に係る新部分地図を生成する（Ｓ１２０３）。この際、上記の観測情報は、ステップＳ１２０２において装置通信部１２０が送信するコマンドに基づいて情報処理装置２０から送信される情報であってよい。なお、地図生成部１１０による新部分地図の生成については後述する。

【0095】

次に、地図生成部１１０は、ステップＳ１２０３で生成した新部分地図の誤差を判定する（Ｓ１２０４）。この際、地図生成部１１０は、広く利用されている手法に基づいて上記の誤差を判定してもよい。地図生成部１１０は、例えば、Ｂｕｎｄｌｅ調整に用いられるような手法に基づいて新部分地図の誤差を判定することができる。地図生成部１１０は、複数の観測地点から得られる三次元空間中の特徴点の信頼度を距離により定義し、所定数以上の観測地点に係る特徴点が所定以下の誤差範囲に収まっていることに基づいて、新部分地図の誤差を判定してもよい。

【0096】

ここで、生成した新部分地図の誤差が所定の閾値εより小さい場合（Ｓ１２０４：Ｙｅｓ）、地図生成部１１０は、生成した新部分地図が完成したと判断し、対象となる単位空間に係るリファレンス地図を更新する（Ｓ１２０５）。この際、地図生成部１１０は、対象となる単位空間の不整合に係る情報を削除し、新部分地図生成に係る処理を終了する。また、この際、地図生成部１１０は、リファレンス地図に係る変更の履歴を保存してもよい。

【0097】

一方、生成した新部分地図の誤差が所定の閾値ε以上である場合（Ｓ１２０４：Ｎｏ）、地図生成部１１０は、生成した新部分地図の精度が低いと判断し、ステップＳ１２０２に復帰し、より多くの観測情報を収集してよい。この場合、地図生成部１１０は、生成する新部分地図の誤差が所定の閾値εより小さくなるまで、ステップＳ１２０２〜Ｓ１２０４における処理を繰り返し実行してよい。

【0098】

以上、本実施形態に係る新部分地図生成の流れについて説明した。上述したとおり、本実施形態に係る情報処理サーバ１０は、情報処理装置２０から送信される不整合に係る観測情報に基づいて、該当する単位空間に係る観測情報の収集を要求することができる。また、本実施形態に係る情報処理サーバ１０は、複数の情報処理装置２０から受信した観測情報に基づいて、単位空間に係る新部分地図を生成し、リファレンス地図を更新することができる。

【0099】

本実施形態に係る情報処理サーバ１０が有する上記の機能によれば、不整合に係る観測情報を自動的に収集し、リファレンス地図を動的に更新し続けることが可能となる。これにより、実世界における地形変化をより早く検出し、リファレンス地図をより実世界に則した状態に保つことができる。

【0100】

また、本実施形態に係る情報処理サーバ１０は、ステップＳ１２０５において保存されるリファレンス地図の変更履歴から単位空間の地形変化に係る推定を行ってもよい。具体的には、情報処理サーバ１０は、上記の変更履歴から地形変化に係る周期性や規則性を見出し、季節や時間帯などに起因する地形変化を推定することができる。本実施形態に係る情報処理サーバ１０が有する上記の推定機能によれば、実世界の状況により近い情報を提供することが可能となる。

【0101】

なお、上記の説明では、生成した新部分地図の誤差に基づいてリファレンス地図を更新する場合を例に述べたが、本実施形態に係るリファレンス地図の更新は係る例に限定されない。本実施形態に係るリファレンス地図の更新は、地形変化や交通量などに応じて適宜変形されてよい。例えば、検出された不整合の規模が大きい場合、すなわち実世界に大規模の地形変化が起こった場合、情報処理サーバ１０は、リファレンス地図の精度よりも公開までの時間を優先してもよい。

【0102】

また、交通量が多い単位空間に係る不整合の場合においても、情報処理サーバ１０は、リファレンス地図の公開を優先することができる。上記のような場合、地形変化に係る情報をより早く公開することで、自動運転車を含む移動体３０の安全を確保することが可能となる。また、この際、情報処理サーバ１０は、リファレンス地図の公開後も、対象単位空間に係る観測情報を継続的に収集し新部分地図の精度を高めることができる。

【0103】

また、図８を用いた説明では、リファレンス地図の更新が自動的に行われる場合を例に述べたが、リファレンス地図の更新は、ユーザによる最終確認を介して行われてもよい。生成されたリファレンス地図の品質をユーザが確認することで、当該リファレンス地図の信頼性をより高めることができる。また、上記のユーザによる最終確認は、設定により要否が切り替えられてもよい。設定により要否を切り替えることで、例えば、重点区域に係るリファレンス地図の更新のみをユーザが確認する、などの運用が可能となる。本実施形態に係る新部分地図の生成は、仕様や運用に応じて適宜設計されてよい。

【0104】

［２．８．不整合予測に基づくコマンドの送信］
図８を用いた説明では、情報処理サーバ１０が、不整合に係る観測情報を受信したことに基づいて、観測情報を要求するコマンド（以下、単に、コマンド、とも呼ぶ）を送信する場合を例に説明した。一方、本実施形態に係る情報処理サーバ１０は、不整合予測に基づいて上記のコマンドを送信してもよい。図９は、情報処理サーバ１０による不整合予測に基づくコマンドの送信について説明するためのフローチャートである。

【0105】

図９を参照すると、情報処理サーバ１０の地図生成部１１０は、単位空間における所定期間内のリファレンス地図の更新履歴または交通履歴に基づいて、コマンド生成に係る判定を行ってよい（Ｓ１３０１）。

【0106】

単位空間に係るリファレンス地図が長らく更新されていない場合、リファレンス地図と実世界の地形とに不整合が生じている可能性がある。また、単位空間における交通量が少ない場合、実世界の地形とリファレンス地図とに不整合が生じていても不整合の検出が遅れることが想定される。このため、地図生成部１１０が単位空間における所定期間内のリファレンス地図の更新履歴または交通履歴をトリガーとしてコマンドを生成することで、不整合を検出する可能性を高め、より精度の高いリファレンス地図を生成することが可能となる。

【0107】

この際、地図生成部１１０は、例えば、交通量の少ない地域においては、幹線道路や比較的交通量の多い主要道路などに係る観測情報を集中的に収集するようにコマンドの生成を行うこともできる。また、例えば、地図生成部１１０は、移動体３０が頻繁に利用する道路における観測情報を重点的に収集するようにコマンドを生成してもよい。なお、上記の道路には、例えば、自動運転車の専用道路などが含まれてもよい。地図生成部１１０が上記のようにコマンドを生成することで、重要地点に係るリファレンス地図の更新頻度を高めることが可能となる。

【0108】

また、地図生成部１１０は、保有するリファレンス地図のデータに基づいて、コマンド生成に係る判定を行ってよい（Ｓ１３０２）。具体的には、地図生成部１１０は、リファレンス地図のデータが存在しない地域、時間帯、または季節などに基づいて、コマンドを生成することができる。

【0109】

地図生成部１１０が保有するリファレンス地図のデータに基づいてコマンドを生成することで、リファレンス地図がまだ生成されていない単位空間に係る観測情報を効率よく収集することが可能となる。また、本実施形態に係るリファレンス地図は時間帯や季節などに応じて生成されてもよい。この場合、同一の単位空間に係る複数のリファレンス地図が生成され、実世界の状況により近い情報を提供することが可能となる。

【0110】

また、地図生成部１１０は、収集された工事情報や建設情報に基づいて、コマンド生成に係る判定を行ってよい（Ｓ１３０３）。上記の工事情報や建設情報は、ユーザにより入力される情報であってもよいし、情報処理サーバ１０が他の装置から自動で収集する情報であってもよい。

【0111】

工事や建設が行われる単位空間では、着工前のリファレンス地図と実世界の地形に不整合が生じる可能性が高い。このため、地図生成部１１０が工事情報や建設情報をトリガーにコマンドを生成することで、リファレンス地図を実世界の最新地形に近い状態に保つことが可能となる。

【0112】

また、地図生成部１１０は、収集された災害情報、事故情報、事件情報、または気象情報などに基づいて、コマンド生成に係る判定を行ってよい（Ｓ１３０４）。上記の災害情報、事故情報、または気象情報は、ユーザにより入力される情報であってもよいし、情報処理サーバ１０が他の装置から自動で収集する情報であってもよい。

【0113】

災害や事故が生じた単位空間や異常気象が予測される単位空間では、発生前のリファレンス地図と実世界の地形に不整合が生じる可能性が高い。このため、地図生成部１１０が災害情報や事故情報をトリガーにコマンドを生成することで、リファレンス地図を実世界の最新地形に近い状態に保つことが可能となる。

【0114】

また、地図生成部１１０は、衛星写真上の変化を検出したことに基づいて、コマンド生成に係る判定を行ってよい（Ｓ１３０５）。地図生成部１１０は、複数の衛星写真に係る時間情報と座標情報とから衛星写真上の変化を検出することが可能である。また、上記の変化検出は別の装置により行われてもよい。

【0115】

衛星写真上で変化が検出された単位空間では、リファレンス地図と実世界の地形に不整合が生じている可能性が高い。このため、地図生成部１１０が衛星写真上の変化をトリガーにコマンドを生成することで、リファレンス地図を実世界の最新地形に近い状態に保つことが可能となる。

【0116】

ステップＳ１３０１〜Ｓ１３０５のいずれかの条件が成立した場合、地図生成部１１０は、観測情報を要求するコマンドを生成する。また、この際、装置通信部１２０は、自動運転ＡＩやカーナビゲーションシステムを含む情報処理装置２０に対しコマンドの送信を行う（Ｓ１３０６）。

【0117】

続いて、装置通信部１２０は、データ収集用ドローンやデータ収集用車両に搭載される情報処理装置２０に対しコマンドの送信を行う（Ｓ１３０７）。

【0118】

以上、本実施形態に係る不整合予測に基づくコマンドの送信について詳細に説明した。上述したとおり、本実施形態に係る情報処理サーバ１０は、種々の条件に基づいてリファレンス地図と実世界との不整合を予測し、観測情報を要求するコマンドを送信することができる。本実施形態に係る情報処理サーバ１０が有する上記の機能によれば、上記の不整合を検出できる可能性を一層に高め、リファレンス地図を実世界の最新地形に近い状態に保つことが可能となる。

【0119】

また、本実施形態に係る情報処理サーバ１０は、リファレンス地図の最新性確保に係る学習に基づいて上記のコマンドを送信することも可能である。この場合、情報処理サーバ１０は、コマンドにより移動体３０を対象の単位空間に導くことを制御（アクション）と捉え、当該制御に係る強化学習などを行ってもよい。この際、情報処理サーバ１０は、例えば、早期に不整合を検出することを報酬としてもよいし、移動体３０から受信する想定外の不整合に係る観測情報の数を報酬としてもよい。本実施形態に係る情報処理サーバ１０の有する上記の機能によれば、より効率的に不整合を検出し、リファレンス地図の最新性を確保することが可能となる。

【0120】

なお、図９には図示していないが、情報処理サーバ１０は、移動体３０の種類に応じて、コマンドを送信するか否かを判定してよい。例えば、情報処理サーバ１０が災害情報や事故情報をトリガーにコマンドを生成する場合、装置通信部１２０は、コマンドの送信先をデータ収集用ドローンやデータ収集用車両に限定してもよい。災害や事故が発生した単位空間では安全確保が求められるため、情報処理サーバ１０がコマンドの送信先を限定することで、二次災害を防ぐことができる。

【0121】

また、情報処理サーバ１０は、災害情報や事故情報以外の情報に基づいて、コマンドの送信先を制御してもよい。例えば、情報処理サーバ１０は、単位空間の座標や重要度、気象状況や渋滞情報を含む交通情報などに基づいてコマンドの送信先を制御してもよい。なお、この際、情報処理サーバ１０は、コマンドを送信する移動体３０の種類だけではなく、送信先となる情報処理装置２０の数を制御することができる。情報処理サーバ１０が送信先となる情報処理装置２０の数を適宜制御することで、対象となる単位空間に応じた柔軟な対応が可能となる。

【0122】

また、コマンドはユーザ操作に基づいて発行されてもよい。この場合、ユーザは、観測情報を収集する単位空間を任意に設定できてよい。情報処理サーバ１０は、ユーザによる入力情報に基づいて、コマンドを生成し、当該コマンドを情報処理装置に送信することができる。

【0123】

また、情報処理サーバ１０によるコマンド送信先の制御とは別に、コマンドを受信した情報処理装置２０がコマンドに応じるか否かの判定を行ってもよい。すなわち、情報処理装置２０の移動設定部２２０は、コマンドに含まれる単位空間の座標情報に基づいて、当該単位空間を移動先として設定するか否かを判定することができる。

【0124】

この場合、移動設定部２２０は、単位空間までの移動コスト、または安全確保などに基づいて上記の判定を行ってよい。なお、移動設定部２２０は、例えば、取得した災害情報、事故情報、気象情報、衛星写真情報、または渋滞情報を含む交通情報などに基づいて、上記の判定を行ってよい。ここで、上記の移動コストには、移動距離、移動時間、燃料、及び高速道路などの利用料金などが含まれてよい。

【0125】

［２．９．不整合予測に基づく運転制御］
以上、本実施形態に係る不整合予測に基づくコマンドの送信について説明した。続いて、本実施形態に係る不整合予測に基づく運転制御について詳細に説明する。本実施形態に係る情報処理装置２０は、情報処理サーバ１０による不整合予測の結果に基づいて、移動体３０の運転制御を行ってよい。より具体的には、情報処理装置２０の移動設定部２２０は、リファレンス地図の最新性に基づいて移動体３０の運転モードを変更することができる。すなわち、移動設定部２２０は、不整合の度合いに基づいて運転制御のモードを変更する制御部として機能する。

【0126】

上述したとおり、不整合が予測された単位空間では、リファレンス地図と実世界との地形に乖離があることが想定される。すなわち、不整合が予測された単位空間では、リファレンス地図の最新性が低いといえる。このため、最新性の低いリファレンス地図を有する単位空間において、情報処理装置２０が移動体３０に係る運転モードを変更することで、より安全な自動運転を実現することが可能となる。

【0127】

この際、情報処理装置２０は、上述したような、単位空間に係るリファレンス地図の更新履歴や、リファレンス地図が存在しない地域、季節、時間帯などの情報に基づいて、運転モードを変更してもよい。また、情報処理装置２０は、工事情報、建設情報、災害情報、事故情報、事件情報、または交通取り締まり情報などに基づいて、運転モードを変更することができる。また、情報処理装置２０は、衛星写真情報やリファレンス地図の利用実績、交通履歴などに基づいて、運転モードを変更してもよい。情報処理装置２０は、例えば、不整合を検出せずに単位空間を走行した実績に基づいて、運転モードを変更することもできる。

【0128】

続いて、情報処理装置２０が制御する運転モードの具体例について説明する。上述したとおり、本実施形態に係る情報処理装置２０は、不整合予測に基づいて移動体３０に係る運転モードを変更することができる。例えば、情報処理装置２０は、不整合予測における不整合の度合いが高い場合、より安全を優先するモードを選択してよい。情報処理装置２０は、例えば、制御アルゴリズムや使用する係数を変更することで、上記のモード選択を行うことができる。

【0129】

具体的には、情報処理装置２０は、自動運転ＡＩに係る種々の運転制御能力に応じて、標準モードや慎重運転を行うモードなどを選択してよい。この際、情報処理装置２０は、例えば、走行スピードを落とすことで、情報処理サーバ１０を含む各種のサーバとの情報通信頻度を高めることも可能である。

【0130】

また、情報処理装置２０は、自動運転モードから、運転者によるマニュアル運転を実行するモードや運転者が運転補助を行うモードに切り替える提案を行ってもよい。また、情報処理装置２０は、周囲の歩行者や走行車に対し自己位置を知らせるための制御を行ってもよい。この際、情報処理装置２０は、例えば、クラクションを鳴らす制御を実行してもよいし、周囲の走行車などに自己位置に係る情報を送信してもよい。

【0131】

また、情報処理装置２０は、周囲における歩行者や走行車の状態や反応をより詳細に把握するような運転制御を行うこともできる。情報処理装置２０は、例えば、交差点に進入する際、移動体３０の車体前方部を突出した状態で減速または停止し、歩行者や走行車の状態をより詳細に把握してから、続く運転制御を行ってもよい。

【0132】

また、情報処理装置２０は、不整合の度合いが低いリファレンス地図を有する単位空間へ迂回するように制御を行うことも可能である。すなわち、情報処理装置２０は、より信頼度の高いリファレンス地図を有する単位空間を優先して経路選択を行うことができる。

【0133】

以上、本実施形態に係る不整合予測に基づく運転制御について説明した。上述したとおり、本実施形態に係る情報処理装置２０は、不整合予測に基づいて、移動体３０に係る運転モードを変更することができる。本実施形態に係る情報処理装置２０が有する上記の機能によれば、移動体３０のより安全な運転制御を実現することが可能となる。

【0134】

なお、上記では、情報処理装置２０が不整合予測に基づいて、移動体３０に係る運転モードを変更する場合を述べたが、情報処理装置２０は、観測情報の収集や自己位置同定に係る手法及び処理手順をさらに変更してもよい。すなわち、本実施形態に係る情報処理装置２０は、リファレンス地図の最新性に応じた適切な制御を行うことが可能である。

【0135】

［２．１０．三次元地図生成の詳細］
次に、本実施形態に係る三次元地図生成の詳細について説明する。上述したとおり、本実施形態に係る情報処理サーバ１０の地図生成部１１０は、受信した情報処理装置２０からの観測情報に基づいて、リファレンス地図を生成することができる。この際、地図生成部１１０は、観測情報に基づいた特徴点地図及び観測点地図を含む１次地図と、１次地図に付加情報を加えた２次地図と、を生成することができる。ここで、上記の２次地図には、物体認識地図、セグメンテーション地図、物体属性付加地図、物体表面生成地図、及びテクスチャ投影地図などが含まれてよい。

【0136】

図１０は、本実施形態の三次元地図生成に係る入出力の概念図である。図１０を参照すると、地図生成部１１０は、入力される観測情報に基づいて、三次元地図を生成することができる。なお、図１０においては、地図生成部１１０が有する各機能を機能Ｂ１０〜Ｂ１４として示している。ここで、機能Ｂ１０〜Ｂ１４において用いられる技術手法は、図７で説明した判定部２１０の機能Ｂ２〜Ｂ６で用いられる手法と重複するため、詳細な説明は省略する。

【0137】

（１次地図の生成）
上述したとおり、本実施形態に係る地図生成部１１０は、受信した観測情報に基づいて、三次元地図を生成することができる。ここで、地図生成部１１０は、受信した複数の観測情報に対し、特徴点検出（機能Ｂ１０）、特徴点マッチング（機能Ｂ１１）、カメラパラメータ算出（機能Ｂ１２）、及び投影誤差最小化（機能Ｂ１３）に係る処理を行ってよい。地図生成部１１０は、上記の一連の処理により、単位空間の三次元特徴点地図を生成することができる。

【0138】

また、地図生成部１１０は、さらに、観測情報の三次元空間射影（機能Ｂ１４）を行うことで、観測情報に基づいた観測点地図を生成することができる。ここで、上記の観測点地図は、移動体３０から取得した画像情報に係る特徴点を三次元空間上に射影した三次元地図であってよい。

【0139】

（２次地図の生成）
また、本実施形態に係る１１０は、生成した１次地図に対し付加情報を加えて２次地図を生成することができる。具体的には、地図生成部１１０は、生成した１次地図に対し物体認識情報を付加した物体認識地図、及びセグメンテーション地図を生成することができる。

【0140】

ここで、地図生成部１１０は、２次地図として生成した上記の物体認識地図またはセグメンテーション地図に対しさらなる処理を実施し、より有用な情報を付加した２次地図を生成することができる。

【0141】

例えば、地図生成部１１０は、認識した物体の属性情報を付加した物体属性付加地図を生成してもよい。また、地図生成部１１０は、さらに付加情報を付加した三次元地図を生成してもよい。ここで、上記の付加情報には、例えば、画像情報、テキスト情報、または音情報などが含まれてよい。本実施形態に係る物体属性付加地図の詳細については後述する。

【0142】

また、例えば、地図生成部１１０は、セグメンテーション処理に基づいて物体表面を生成し物体表面生成地図を得てもよい。また、地図生成部１１０は、生成した物体表面にテクスチャ投影を実施し、テクスチャ投影地図を生成するこができる。なお、本実施形態に係る物体表面生成地図及びテクスチャ投影地図の詳細については後述する。

【0143】

以上、説明したように、本実施形態に係る情報処理サーバ１０は、情報処理装置２０から受信した複数の観測情報に基づいて、１次地図及び２次地図を生成することができる。情報処理サーバ１０が有する上記の機能によれば、移動体３０の仕様や地図の利用目的に応じた種々の三次元地図を生成することが可能となる。

【0144】

［２．１１．物体表面生成地図及びテクスチャ投影地図］
次に、本実施形態に係る物体表面生成地図及びテクスチャ投影地図について詳細に説明する。本実施形態に係る地図生成部１１０は、１次地図にセグメンテーション処理を施したセグメンテーション地図に基づいて、物体表面の生成を行うことができる。また、地図生成部１１０は、生成した物体表面にテクスチャを投影することができる。

【0145】

図１１Ａ〜１１Ｃは、本実施形態に係る物体表面生成及びテクスチャ投影について説明するためのイメージ図である。ここで、図１１Ａは、地図生成部１１０が生成した１次地図に含まれる物体のイメージ例であってよい。図１１Ａを参照すると、１次地図における物体は特徴点の集合として表現されている。

【0146】

また、図１１Ｂに示す物体は、図１１Ａで示した１次地図に対し、セグメンテーション処理及び物体表面生成を実施したイメージ例であってよい。この際、地図生成部１１０は、広く利用される手法を用いて、セグメンテーション処理や物体表面生成を行うことができる。例えば、地図生成部１１０は、グラフカットや領域拡張法などを用いて、セグメンテーション処理を実施してもよい。また、上記のセグメンテーション処理は、学習によりセグメンテーション能力を獲得した学習器による実行されてもよい。

【0147】

また、地図生成部１１０は、ポリゴン生成やデンスステレオマッチング（Ｄｅｎｓｅ Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ）に用いられるような技術手法を用いて物体表面の生成を行ってもよい。また、上記の物体表面生成は、学習により物体表面の生成能力を獲得した学習器により実行されてもよい。

【0148】

図１１Ｃは、生成した物体表面に対しテクスチャが投影された物体の例を示すイメージ図である。地図生成部１１０は、例えば、観測情報に含まれる画像情報から抽出した色情報や、認識した物体の特性情報に基づいて、テクスチャの投影を行ってよい。この際、地図生成部１１０は、テクスチャマッピングで用いられるような手法を用いてもよい。また、テクスチャ投影は、学習によりテクスチャ投影能力を獲得した学習器により実行されてもよい。

【0149】

以上、本実施形態に係る物体表面生成地図及びテクスチャ投影地図について説明した。上述したように、本実施形態に係る地図生成部１１０は、受信した観測情報に基づいて物体表面の生成やテクスチャの投影を行うことができる。本実施形態に係る情報処理サーバ１０による上記の機能によれば、より付加価値の高い三次元地図を提供することが可能となる。

【0150】

［２．１２．本実施形態に係る物体属性付加地図］
次に、本実施形態に係る物体属性付加地図について詳細に説明する。上述したとおり、本実施形態に係る地図生成部１１０は、生成した１次地図と物体認識の結果に基づいて、物体属性付加地図を生成することができる。

【0151】

図１２は、本実施形態に係る物体属性付加地図のイメージ図である。図１２を参照すると、本実施形態に係る物体属性付加地図には、道路情報や静物体ＳＯ５〜ＳＯ８を含む地形情報に加え、属性情報Ａ１〜Ａ４が含まれている。ここで、属性情報Ａ１〜Ａ４は、静物体ＳＯ５〜ＳＯ８に係る物体認識に基づいた付加情報であってよい。

【0152】

本実施形態に係る上記の付加情報は、物体認識の結果に基づいた種々の情報が含まれてよい。図１２に示す一例では、静物体ＳＯ５〜ＳＯ８に係る付加情報として、物体名称や衝突時の危険レベルが含まれている。ここで、上記の危険レベルは、例えば、自動運転車が静物体に衝突した際における自動運転車の破損度合を示す指標であってよい。

【0153】

例えば、図１２に示す一例では、ゴミ箱として静物体ＳＯ７が示されているが、対応する属性情報Ａ３には、衝突時危険レベル１が設定されている。一方、ビルとして示される静物体ＳＯ８に対応する属性情報Ａ４は、衝突時危険レベル１０が設定されている。

【0154】

ゴミ箱は可動物であるため、例え自動運転車が衝突した場合でも、自動運転車及びゴミ箱双方の破損度合は比較的小さいことが想定される。このため、地図生成部１１０は、物体認識の結果に基づいて、静物体ＳＯ７に対する属性情報として衝突時危険レベル１を設定している。

【0155】

一方、ビルは固定物であるため、自動運転車が衝突した場合、自動運転車及びビル双方の破損度合が深刻な状況となる可能性が高い。このため、地図生成部１１０は、物体認識の結果に基づいて、静物体ＳＯ８に対する属性情報として衝突時危険レベル１０を設定している。

【0156】

ここで、自動運転車に搭載される情報処理装置２０は、属性情報に含まれる上記の衝突時危険レベルを参照しながら、自動運転車の制御を行うことができる。例えば、歩行者や対向する自動車が飛び出して来た際、状況によっては回避後に静物体への衝突を避けられない場合がある。上記のような場合、情報処理装置２０が属性情報に含まれる各静物体の衝突時危険レベルに基づいて自動運転車の制御を行うことで、破損度合をより少なく抑える可能性を高めることができる。具体的には、図１２に示した例の場合、情報処理装置２０は、より衝突時危険レベルの低い静物体ＳＯ７に向かうように自動運転車の制御を行ってよい。なお、図示していないが、本実施形態に係る情報処理装置２０は、道路を含む地形情報に関連付いた属性情報に基づいて運転制御を行うこともできる。例えば、情報処理装置２０は、属性情報から川や崖などの地形を認識し、落下時における車体や搭乗者への被害を考慮した運転制御を行ってよい。本実施形態に係る情報処理装置２０が有する上記の機能によれば、衝突や落下などに係るリスクを低減し、より安全な運転制御を実現することが可能となる。

【0157】

以上、本実施形態に係る物体属性付加地図について説明した。上述したとおり、本実施形態に係る地図生成部１１０は、物体認識の結果に基づいた種々の属性情報を三次元地図に付加することができる。

【0158】

また、情報処理装置２０は、物体属性付加地図を表示装置に表示させる制御を行ってもよい。表示装置に物体属性付加地図が表示されることで、ユーザが三次元地図に含まれる物体の属性情報を視認することが可能となる。

【0159】

また、この場合、地図生成部１１０は、生成した物体属性付加地図にさらに画像情報、テキスト情報、音声情報などを含めることができる。ユーザは、表示装置に表示される属性情報を確認することで、実世界に存在する静物体に係る種々の情報を得ることができる。

【0160】

＜３．ハードウェア構成例＞
次に、本開示に係る情報処理サーバ１０及び情報処理装置２０に共通するハードウェア構成例について説明する。図１３は、本開示に係る情報処理サーバ１０及び情報処理装置２０のハードウェア構成例を示すブロック図である。図１３を参照すると、情報処理サーバ１０及び情報処理装置２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

【0161】

（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

【0162】

（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

【0163】

（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。

【0164】

（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

【0165】

（出力装置８７９）
出力装置８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

【0166】

（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

【0167】

（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

【0168】

（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

【0169】

（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

【0170】

（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

【0171】

（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。

【0172】

＜４．まとめ＞
以上説明したように、本開示に係る情報処理サーバ１０は、情報処理装置２０から受信した実世界の単位空間において取得された観測情報に基づいてリファレンス地図を更新する機能を有する。また、情報処理サーバ１０は、複数の情報処理装置２０に、上記の観測情報を要求する機能を有する。また、本開示に係る情報処理装置２０は、移動体が観測した観測情報を取得する機能を有する。また、情報処理装置２０は、リファレンス地図と実世界の単位空間との不整合に係る情報に基づいて、取得した観測情報を情報処理サーバ１０に送信する機能を有する。係る構成によれば、実世界の変化に応じた地図情報の動的更新をより精度高く実現することが可能となる。

【0173】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0174】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0175】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
一または複数のセンサから実世界の単位空間に係る観測情報を取得する取得部と、
リファレンス地図と前記実世界の単位空間との不整合に係る情報に基づいて、前記単位空間において取得した前記観測情報を送信する通信部と、
を備える、
情報処理装置。
（２）
前記単位空間において取得した前記観測情報に基づいて前記リファレンス地図と前記実世界との整合性を判定する判定部、
をさらに備え、
前記通信部は、前記判定部による判定結果に基づいて、前記単位空間において取得した前記観測情報を送信する、
前記（１）に記載の情報処理装置。
（３）
前記判定部は、前記単位空間において取得した前記観測情報から検出した特徴点と、前記リファレンス地図に記述された特徴点とをマッチングし、前記整合性を判定する、
前記（２）に記載の情報処理装置。
（４）
前記判定部は、前記リファレンス地図とのマッチングを確認した単位空間の一部領域における前記観測情報から検出した特徴点と前記リファレンス地図に記述された特徴点との距離に基づいて、前記整合性を判定する、
前記（２）または（３）に記載の情報処理装置。
（５）
前記リファレンス地図は三次元地図である、
前記（１）〜（４）のいずれかに記載の情報処理装置。
（６）
前記観測情報は、深度情報を含む、
前記（１）〜（５）のいずれかに記載の情報処理装置。
（７）
前記観測情報は、位置情報または姿勢情報のうち少なくともいずれかを含む、
前記（１）〜（６）のいずれかに記載の情報処理装置。
（８）
前記通信部は、サーバから発行されるコマンドを受信し、前記コマンドに基づいて前記単位空間において取得した前記観測情報を送信する、
前記（１）〜（７）のいずれかに記載の情報処理装置。
（９）
移動体の目的地を設定する移動設定部、
をさらに備える、
前記（８）に記載の情報処理装置。
（１０）
前記移動設定部は、前記コマンドに含まれる前記単位空間の座標情報に基づいて前記単位空間に前記移動体を移動させ、
前記通信部は、前記移動体が前記単位空間に移動したことに基づいて前記単位空間において取得した観測情報を送信する、
前記（９）に記載の情報処理装置。
（１１）
前記移動設定部は、前記コマンドに含まれる前記単位空間の座標情報に基づいて前記移動体の移動予定経路を変更し、
前記通信部は、前記移動体が前記単位空間に移動したことに基づいて前記単位空間において取得した観測情報を送信する、
前記（９）に記載の情報処理装置。
（１２）
前記移動設定部は、移動コストまたは安全確保のうち少なくともいずれかに基づいて、前記移動体の目的地を変更するか否かを判定する、
前記（９）〜（１１）のいずれかに記載の情報処理装置。
（１３）
一または複数のセンサから取得された実世界の単位空間に係る観測情報を受信する通信部と、
前記観測情報に基づいてリファレンス地図を生成する地図生成部と、
を備え、
前記観測情報は、前記リファレンス地図と前記実世界の単位空間との不整合に係る情報に基づいて送信される、
情報処理サーバ。
（１４）
前記地図生成部は、前記不整合に係る情報に基づいて前記単位空間に係る観測情報を要求するコマンドを生成し、
前記通信部は、少なくとも１つの情報処理装置に前記コマンドを送信する、
前記（１３）に記載の情報処理サーバ。
（１５）
前記不整合に係る情報は、前記情報処理装置から送信される前記観測情報を受信したこと、を含み、
前記地図生成部は、前記情報処理装置から送信される前記観測情報を受信したことに基づいて前記コマンドを生成する、
前記（１４）に記載の情報処理サーバ。
（１６）
前記地図生成部は、前記リファレンス地図と前記実世界の単位空間との不整合予測に基づいて前記コマンドを発行する、
前記（１４）または（１５）に記載の情報処理サーバ。
（１７）
前記地図生成部は、前記観測情報に基づいて新たな三次元地図を生成し前記リファレンス地図を更新する、
前記（１３）〜（１６）のいずれかに記載の情報処理サーバ。
（１８）
前記地図生成部は、前記観測情報に基づいて物体認識を行い、認識した物体の属性情報を前記三次元地図に付加する、
前記（１７）に記載の情報処理サーバ。
（１９）
前記地図生成部は、前記観測情報に基づいてセグメンテーション処理を実施し、前記セグメンテーション処理の結果を前記三次元地図に付加する、
前記（１７）または（１８）に記載の情報処理サーバ。
（２０）
前記地図生成部は、前記セグメンテーション処理の結果に基づいて物体表面生成またはテクスチャ投影を実施し、物体表面生成地図またはテクスチャ投影地図を生成する、
前記（１９）に記載の情報処理サーバ。

【符号の説明】

【0176】

１０ 情報処理サーバ
１１０ 地図生成部
１２０ 装置通信部
２０ 情報処理装置
２１０ 判定部
２２０ 移動設定部
２３０ 観測情報取得部
２４０ サーバ通信部
３０ 移動体

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図12】

【図13】