特開 2023-178652 ３次元地図作成装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178652

(43)【公開日】2023-12-18

(54)【発明の名称】３次元地図作成装置、方法及びプログラム

(51)【国際特許分類】

   G09B 29/00 20060101AFI20231211BHJP

   G06T 7/579 20170101ALI20231211BHJP

   G06T 7/00 20170101ALI20231211BHJP

   G06V 10/82 20220101ALI20231211BHJP

   G01C 3/06 20060101ALI20231211BHJP

   G05D 1/02 20200101ALI20231211BHJP

   G06T 17/05 20110101ALN20231211BHJP

【ＦＩ】

G09B29/00 Z

G06T7/579

G06T7/00 350C

G06V10/82

G01C3/06 110Z

G05D1/02 H

G06T17/05

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022091453

(22)【出願日】2022-06-06

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】神谷 尚保

(72)【発明者】

【氏名】稗圃 泰彦

(72)【発明者】

【氏名】高橋 裕章

(72)【発明者】

【氏名】蕨野 貴之

【テーマコード（参考）】

2C032

2F112

5B050

5H301

5L096

【Ｆターム（参考）】

2C032HB05

2F112AC06

2F112BA09

2F112CA06

2F112CA12

2F112DA32

2F112FA03

2F112FA07

2F112FA21

2F112FA35

2F112FA38

2F112FA41

2F112FA45

5B050AA07

5B050BA09

5B050BA11

5B050BA12

5B050BA13

5B050BA17

5B050CA07

5B050DA07

5B050EA05

5B050EA26

5B050FA02

5B050GA08

5H301AA03

5H301AA10

5H301BB14

5H301CC04

5H301CC07

5H301CC10

5H301DD01

5H301DD06

5H301DD07

5H301DD15

5H301GG09

5H301GG14

5H301HH01

5H301LL01

5H301LL06

5L096CA04

5L096DA02

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】地図作成を効果的に行うことのできる地図作成装置を提供する。
【解決手段】フィールド内を移動しながら撮影を行う映像取得装置で撮影された映像を取得し、当該映像を構成する画像間での特徴マッチングにより３次元点群を得ることで、 前記フィールドの３次元地図を作成する３次元地図作成装置において、前記３次元点群から、車輪移動体の車輪が段差hに乗り上げている状態EX1または段差から降下している状態EX2を抽出することで、前記３次元地図に対して当該段差の情報を紐づける。
【選択図】図４

【特許請求の範囲】

【請求項1】

フィールド内を移動しながら撮影を行う映像取得装置で撮影された映像を取得し、当該映像を構成する画像間での特徴マッチングにより３次元点群を得ることで、前記フィールドの３次元地図を作成する３次元地図作成装置において、
前記３次元点群から、車輪移動体の車輪が段差に乗り上げている状態または段差から降下している状態を抽出することで、前記３次元地図に対して当該段差の情報を紐づけることを特徴とする３次元地図作成装置。

【請求項2】

前記車輪移動体を除外したものとして前記３次元地図を作成することを特徴とする請求項１に記載の３次元地図作成装置。

【請求項3】

ディープラーニングを用いて前記車輪を検出することを特徴とする請求項１に記載の３次元地図作成装置。

【請求項4】

前記車輪を、前輪及び後輪として検出し、当該前輪及び後輪を結ぶ線分が地面に対してなす角（α（ｔ））の時間変化が極値を示したと判定される状態を、前記車輪移動体の車輪が段差に乗り上げている状態または段差から降下している状態として抽出することを特徴とする請求項１に記載の３次元地図作成装置。

【請求項5】

前記フィールド内での前記地面の傾斜の情報を所与の情報として取得したうえで、前記前輪及び後輪を結ぶ直線が地面に対してなす角（α（ｔ））を取得することを特徴とする請求項４に記載の３次元地図作成装置。

【請求項6】

前記車輪を、前輪及び後輪として検出し、当該前輪及び後輪を結ぶ線分が地面に対してなす角（α（ｔ））の時間変化が極値を示したと判定される状態において、段差の地面に対する高さを取得することを特徴とする請求項４に記載の３次元地図作成装置。

【請求項7】

前記３次元地図を、移動ロボットが用いるためのものとして、当該移動ロボットが移動しうる範囲内の映像を用いて当該移動ロボットが移動しうる範囲内に関して作成することを特徴とする請求項１に記載の３次元地図作成装置。

【請求項8】

前記段差について、移動ロボットが乗り越えて移動することが困難であるものとして、または、移動ロボットが乗り越えて移動するために特別動作を必要とするものとして、閾値よりも高い段差のみを抽出して前記３次元地図に紐づけることを特徴とする請求項１に記載の３次元地図作成装置。

【請求項9】

前記車輪移動体の車輪が段差に乗り上げている状態または段差から降下している状態を抽出するために参照する３次元点群に対応する映像を予め絞り込むために、
ユーザが携帯して移動する移動端末の移動履歴において、低速移動と判定される移動が行われている時間及び空間の範囲に該当する映像のみ、
前記移動履歴を道路等の所定空間範囲ごとに集計した結果により、低速移動と判定される移動が多いと判定される曜日及び／又は時間帯に該当する映像のみ、
天候及び／又は日照の履歴を参照することにより、明瞭な映像が取得可能と判断される天候及び／又は日照に該当する映像のみ、または、
前記映像に動作解析を適用することで、前記車両移動体と共に移動するユーザが持ち上げ動作を行っていると判定される映像のみ、を参照することを特徴とする請求項１に記載の３次元地図作成装置。

【請求項10】

前記映像取得装置を利用するユーザが移動して映像の取得を行うことを動機づけるための情報として、前記フィールド内の道路ごとに予め設定される重要度に応じた対価の情報を前記ユーザに通知することを特徴とする請求項１に記載の３次元地図作成装置。

【請求項11】

フィールド内を移動しながら撮影を行う映像取得装置で撮影された映像を解析して、当該フィールドの地図に対する付加情報を得る際の、解析対象とすべき映像を予め絞り込む方法であって、
前記フィールド内を移動する移動体の存在可能性、撮影能力または移動可能性若しくは移動容易性に影響する情報を用いることにより解析対象となる映像を予め絞りこむことを特徴とする方法。

【請求項12】

コンピュータを請求項１ないし１０のいずれかに記載の３次元地図作成装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動ロボット等において利用可能な３次元地図を作成する３次元地図作成装置、方法及びプログラムに関する。

【背景技術】

【0002】

地図と周囲環境の計測情報を用いて自分の位置を認識し、自律的に移動する移動ロボットシステム等で利用できる地図に関して、地図作成の手間を軽減する技術が検討されている。

【0003】

特許文献１には、「ロボットおよび遠隔操作装置を含み、遠隔操作装置によってロボットを移動させながら、３次元レーザ距離系によって周囲をスキャンして、スキャンデータ（データセット）を取得、複数のデータセットを用いて２次元グリッド地図を生成し、２次元グリッド地図を所定の３次元座標系に整合させ、データセット中のすべての点の３次元座標系での位置ずれを補正した上で、各点をボクセル形式の３次元地図にプロットすることによって、３次元地図が生成される」、３次元地図生成システムが開示されている。

【0004】

特許文献２には、「移動ロボットは、計測情報に該移動ロボットの運用場所または／および運用者を特定するＩＤを付加し、地図生成装置へ前記ＩＤが付加された計測情報を送信する送信手段を備え、地図生成装置は、前記ＩＤが付加された計測情報を受信する受信手段と、該ＩＤが付加された計測情報から、前記計測情報を取得した該移動ロボットの運用場所または／および運用者を特定する手段と、予め記憶された地図情報と、該計測情報とから更新地図を作成する処理部と、該作成された更新地図を表示する表示手段と、さらに、当該更新地図に対する修正のコマンド入力を受け付ける手段を備え、前記処理部は、当該修正のコマンドに応じて、前記更新地図を修正することを特徴とする、移動ロボットシステム」が開示されている。

【0005】

非特許文献１には、地図作成者が背中にバックパックを背負い、移動することでロボット用の地図を作成するロボット用自動運転マップ作成システムが開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１７－１９８５１７号公報

【特許文献2】特開２０１３－２１１０２５号公報

【非特許文献】

【0007】

【非特許文献1】ZMP, "自動運転用のマップ作成システム「RoboMap（登録商標、ロボマップ）」", インターネット＜ＵＲＬ：https://www.zmp.co.jp/ad-tech/robomap＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、従来技術の方法では、地図作成をさらに効果的に行う点で改良の余地が残っていた。

【0009】

すなわち、従来技術では、地図作成における手間を軽減する効果が限定的である。特許文献１及び特許文献２の方法では、３次元地図を作成したい場所で、汎用的なユーザ端末装置とは異なる、特別な移動ロボットを走らせる手間が必要となる。非特許文献１の方法においても、計測装置としての特別なバックパックを装着したうえで、３次元地図を作成したい場所を人が歩行する手間が必要となる。また、移動ロボットにおいては、低い段差でも走行の障害となってしまうが、そのような情報が従来技術により生成された３次元地図には記載されていなかった。

【0010】

上記従来技術の課題に鑑み、本発明は、地図作成を効果的に行うことのできる地図作成装置及びプログラムを提供することを第１の目的とする。また、地図に付加情報を付与する際に解析対象として用いる映像が一般に膨大に存在しうることに鑑み、この映像を予め絞り込むことにより、地図作成を効果的に行うことに寄与できる方法を提供することを第２の目的とする。

【課題を解決するための手段】

【0011】

前記目的を達成するため、本発明は、フィールド内を移動しながら撮影を行う映像取得装置で撮影された映像を取得し、当該映像を構成する画像間での特徴マッチングにより３次元点群を得ることで、 前記フィールドの３次元地図を作成する３次元地図作成装置において、前記３次元点群から、車輪移動体の車輪が段差に乗り上げている状態または段差から降下している状態を抽出することで、前記３次元地図に対して当該段差の情報を紐づけることを第１の特徴とする。

【0012】

また、本発明は、フィールド内を移動しながら撮影を行う映像取得装置で撮影された映像を解析して、当該フィールドの地図に対する付加情報を得る際の、解析対象とすべき映像を予め絞り込む方法であって、前記フィールド内を移動する移動体の存在可能性、撮影能力または移動可能性若しくは移動容易性に影響する情報を用いることにより解析対象となる映像を予め絞りこむことを第２の特徴とする。また、コンピュータを前記３次元地図作成装置として機能させるプログラムであることを特徴とする。

【発明の効果】

【0013】

前記第１の特徴によれば、映像取得機能を有する汎用的な装置としての映像取得装置で取得された映像から、段差の情報を紐づけたうえで３次元地図を作成することができるので、地図作成を効果的に行うことができる。前記第２の特徴によれば、移動体の存在可能性、撮影能力または移動可能性若しくは移動容易性に影響する情報を用いて映像を予め絞り込むことにより、地図作成を効果的に行うことに寄与できる。

【図面の簡単な説明】

【0014】

【図1】各実施形態に係る３次元地図作成システムの構成を示す図である。

【図2】各実施形態に係る３次元地図作成システムの機能ブロック図である。

【図3】第１及び第２実施形態に係る３次元地図作成システムの動作のフローチャートである。

【図4】車輪移動体の車輪の傾きから段差高を算出する模式例を示す図である。

【図5】配信される３次元地図の構成を模式的に示す図である。

【図6】一般的なコンピュータにおけるハードウェア構成の例を示す図である。

【発明を実施するための形態】

【0015】

図１は、各実施形態（第１及び第２実施形態）に係る３次元地図作成システムの構成を示す図である。第１実施形態において、３次元地図作成システム10は、ドライブレコーダを搭載した自動車やサイクリングレコーダを搭載した自転車などの、街頭及び／又は屋内などのフィールドF内を移動することができる複数（n台）の映像収集装置1－1、1－2、…、1－nと、３次元地図を作成する３次元地図作成装置2と、フィールドF内を自律的に移動する複数（m台）の移動ロボット3－1、3―2、…、3－mと、を備える。

【0016】

第２実施形態では、３次元地図作成システム10は、前記第１実施形態の構成に加えてさらに、フィールドF内をユーザによって携帯されることで移動する複数（j台）の移動端末4－1、4―2、…、4－jを備える。なお、n,m,jの複数の値は、３次元地図作成システム10の構成に応じた任意の値となりうる。

【0017】

図２は、各実施形態に係る３次元地図作成システム10の機能ブロック図であり、図１に示した複数（n台）の映像収集装置1－1、1－2、…、1－nの任意の１つを映像収集装置1として、複数（m台）の移動ロボット3－1、3―2、…、3－mの任意の１つを移動ロボット3として、複数（j台）の移動端末4－1、4―2、…、4－jの任意の１つを移動端末4として、これら映像収集装置1、移動ロボット3及び移動端末4と３次元地図作成装置2との機能ブロック構成を示している。（すなわち、映像収集装置1－1、1－2、…、1－nの各々で共通の機能ブロック構成が映像収集装置1として、移動ロボット3－1、3―2、…、3－mの各々で共通の機能ブロック構成が移動ロボット3として、移動端末4－1、4―2、…、4－jの各々で共通の機能ブロック構成が移動端末4として、図２に示されている。）

【0018】

なお、図２のうち、括弧で囲まれない構成は第１及び第２実施形態の両方で共通に利用する構成であり、括弧で囲まれる構成（３次元地図作成装置2内の参照符号217～223の構成と移動端末4）が第２実施形態で追加的に利用される構成である。第２実施形態はこの追加構成により、第１実施形態での処理に対してさらに追加処理を行うことができる。

【0019】

映像収集装置1の各々は、自動車等の車両や移動ロボット3などの移動体に搭載される装置であってもよく、あるいは、街中や路側帯等に設置された装置（例えば監視カメラやライブカメラ等）であってもよい。以下の説明では、映像収集装置1として、車両に搭載されるものを例に挙げる。車両は、例えば、自動車、自転車、車椅子、ベビーカーであってもよい。映像収集装置１は、例えば、車両に搭載されるドライブレコーダであってもよい。各実施形態に係る３次元地図作成システム10は、複数の映像収集装置1を備える。それら複数の映像収集装置1はそれぞれ別個の車両に搭載されるものである。映像収集装置1の各々は、インターネット等の通信ネットワークNWを介して、３次元地図作成装置2と通信を行うことができる。

【0020】

映像収集装置1は、第１及び第２実施形態において、撮像部101と、位置計測部102と、加速度計測部103と、映像ファイル格納部104と、メタ情報格納部105と、メタ情報送信部106と、該当ファイル検索部107と、映像ファイル送信部108と、を備える。

【0021】

３次元地図作成装置2は、例えばクラウド上に存在するサーバ装置である。３次元地図作成装置2は、第１実施形態において、メタ情報格納部201と、２次元地図格納部202と、ロボット許可道路、走行場所格納部203と、映像取得部204と、特徴点抽出部205と、特徴点対応処理部206と、３次元地図生成部207と、３次元地図格納部208と、車輪移動体抽出部209と、傾斜抽出部210と、段差高算出部211と、３次元地図段差反映部212と、地図内移動体除外部213と、地図配信部214と、対価算出部215と、重要道路提示部216と、を備える。

【0022】

３次元地図作成装置2は、第２実施形態においては、前記第１実施形態の構成に加えてさらに、属性情報格納部217と、位置情報格納部218と、低速車輪移動体抽出部219と、低速移動体通過傾向抽出部220と、天候情報格納部221と、明瞭映像抽出部222と、持ち上げモーション検出部223と、を備える。

【0023】

移動ロボット3は、自律走行可能なロボットであり、第１及び第２実施形態において、地図格納部301を備える。

【0024】

第２実施形態の構成である移動端末4は、例えばスマートフォンであり、ユーザが移動中に持ち歩き、自転車、ベビーカー、車椅子、自動車などを利用している際にも持ち歩く。移動端末4は、属性情報保存部417及び位置情報取得部418を備える。

【0025】

図３は、第１及び第２実施形態に係る３次元地図作成システム10の動作のフローチャートである。ステップS1では、第１及び第２実施形態において、各々の映像収集装置1においてメタ情報を紐づけて映像を取得し、３次元地図作成装置2に送信する。第２実施形態において、ステップS1ではさらに、各々の移動端末4において位置情報の履歴等を取得し、３次元地図作成装置2に送信する。

【0026】

ステップS2では、第１及び第２実施形態において、ステップS1で各々の映像収集装置1から送信された収集された映像を構成する各画像を３次元地図作成装置2が解析して３次元地図を作成し、３次元地図において段差を求める。第２実施形態において、ステップS2ではさらに、ステップS1で各々の移動端末4から取得した情報も追加して利用することにより、３次元地図作成装置2が地図作成して段差を求める際に追加処理を行うことができる。

【0027】

ステップS3では、第１及び第２実施形態において、ステップS2で作成された段差の情報を含むフィールドFの３次元地図を用いて、移動ロボット3がフィールドF内において自律的な移動を行う。

【0028】

以下では、第１実施形態で図３のステップS1～S3の各処理を実現する、図２の３次元地図作成システム10の各機能部の詳細について説明する。（なお、第２実施形態は前述の通り、第１実施形態の処理に対して追加構成による追加処理を伴うものである。第２実施形態については第１実施形態を説明してから後述する。）

【0029】

ステップS1では、映像収集装置1の各部と３次元地図作成装置2の一部の機能部201～204が以下の処理を行うことで、メタ情報が紐づけられた映像を取得して３次元地図作成装置2へと送信することができる。この際、映像収集装置1で取得している全ての映像のうち、移動ロボット3が移動する範囲に属する映像（すなわち、３次元地図作成装置2が作成する３次元地図に必要な範囲の映像）のみが送信されるように映像収集装置1へと指示を与えるために、３次元地図作成装置2の一部の機能部201～204による処理が行われる。

【0030】

撮像部101は、ハードウェアとしてはカメラで実現されるものであり、映像収集装置2が搭載される車両（自車両）の外部を撮像する。撮像部101は、映像収集装置1が搭載される車両（自車両）の外部を撮像するように、撮像方向が設定される。撮像方向は、自車両の進行方向、自車両の進行方向の逆方向、自車両の側方などである。例えば、撮像部101は、自車両の進行方向を撮像するものであってもよい。また、撮像部101は、同時に複数の撮像方向を撮像することができるものであってもよい。例えば、撮像部101は、自車両の進行方向及び進行方向の逆方向を同時に撮像するものであってもよい。撮像部101は、撮像した撮像データを一時的に撮像バッファに保持し、一定の周期または一定の保持容量になったタイミングで、撮像バッファに保持する撮像データをMPEG－4等の形式でファイル化する。撮像部101をハードウェアとして実現するカメラは、例えば、自動車に搭載されたドライブレコーダに備えられるものであって、撮像データは当該自動車の進行方向等の周囲の状況が撮像された撮像データである。

【0031】

位置計測部102は、撮像部101での撮像時の位置（撮像位置）を計測する。位置計測部102は、例えば、ドライブレコーダがGPS（全地球測位システム、Global Positioning System）受信機を備える場合、ハードウェアとしてGPS（屋外GPS）により測定された位置を撮像位置として取得する。位置計測部102はまた、屋外GPS及び／又は屋内GPS等の任意の既存手法により、撮像位置を取得するようにしてもよい。

【0032】

加速度計測部103は、ハードウェアとしては加速度センサを用いて実現することができ、撮像部101での撮像時の車軸加速度を計測する。加速度計測部103は、路面の凹凸などの段差を把握するために車軸に発生する加速度（上下振動）を取得する。

【0033】

映像ファイル格納部104は、撮像部101が撮像しファイル化した映像ファイルを格納する。映像ファイル格納部104には、映像ファイルの識別情報（映像ファイルID）と、当該映像ファイルとが関連付けて格納される。

【0034】

メタ情報格納部105は、撮像部101が撮像しファイル化した映像ファイルに対応するメタ情報を、当該映像ファイルの映像ファイルIDに関連付けて格納する。映像ファイルに対応するメタ情報は、少なくとも、当該映像ファイルについての撮像時刻と位置計測部102の計測結果の撮像位置とを含む情報である。映像ファイルについての撮像時刻は、当該映像ファイルの映像が撮像開始された撮像開始時刻であってもよく、又は、当該映像ファイルの映像が撮像開始された撮像開始時刻から撮像終了した撮像終了時刻までの撮像時間帯であってもよい。また、メタ情報格納部105に、加速度計測部103の計測結果である車軸加速度を含めてもよい。

【0035】

以上のようにして、映像ファイル格納部104及びメタ情報保存部105において、映像ファイルMV_k={F(t)|t=1,2,…、N(k)}（kは映像のファイルのIDであり、F(t)は時刻tのフレーム画像であり、N(k)は映像ファイルMV_kの長さである）の情報と、映像ファイルMV_kのメタ情報MT_k={(t,Pos(t),Acc(t))|t=1,2,…,N(k)}（Pos(t)は時刻tの位置情報であり、Acc(t)は時刻tの加速度情報である）の情報とが保存される。（なお、時刻tに関しては、フレームF(t)の番号として整数であるものとして説明したが、対応する実時刻の情報で時刻tが構成されていてもよい。）

【0036】

以上の通り詳細を説明した各部101～105は、映像収集装置1において映像をメタ情報と共に取得し、記憶しておく役割を果たすものである。以下にその詳細を説明する各部106～108,201～204は、メタ情報を検索キーとして、映像収集装置1において記憶されている全映像のうち、３次元地図作成装置2において３次元地図を作成するのに必要となる映像のみを取得して、映像収集装置1から３次元地図作成装置2へと送信させるようにする役割を果たす。これにより、必要な映像のみをネットワークNW上で送信するようにすることで、通信量を節約することができる。

【0037】

メタ情報送信部106は、自己の映像収集装置1を識別する映像収集装置識別情報（映像収集装置ID）をメタ情報に付加した映像収集装置ID付きメタ情報を、３次元地図作成装置2のメタ情報格納部201へ送信する。映像収集装置ID付きメタ情報を３次元地図作成装置2へ送信するタイミングは、一定の周期であってもよく、又は、通信ネットワークNWに接続したタイミングであってもよい。

【0038】

メタ情報送信部106は任意の通信技術を用いて情報送信を行ってよく、例えば、一定の周期でLTE（Long Term Evolution）通信により映像収集装置ＩＤ付きメタ情報を送信してもよいし、無線LAN（Local Area Network）等の無線通信ネットワークに接続したタイミングで映像収集装置ID付きの複数のメタ情報を一括して送信してもよい。

【0039】

該当ファイル検索部107は、３次元地図作成装置2から受信した映像ファイル要求が示す撮像時刻及び撮像位置に該当するメタ情報を、メタ情報格納部105から検索する。該当ファイル検索部107は、当該検索の結果のメタ情報に関連付けられた映像ファイルIDを、映像ファイル送信部108へ通知する。

【0040】

映像ファイル送信部108は、該当ファイル検索部107から通知された映像ファイルIDに関連付けられた映像ファイルを映像ファイル格納部104から取得し、取得した映像ファイルを３次元地図作成装置２へ送信する。

【0041】

メタ情報格納部201は、映像収集装置1の各々から受信したメタ情報を当該映像収集装置１の映像収集装置IDに関連付けて格納する。

【0042】

２次元地図情報格納部202は、フィールドFに関するデータとして、全国の道路地図データを格納する。また、２次元地図情報格納部202は、フィールドFに関するデータとしてさらに、屋内施設や店舗内等に関する屋内２次元地図データを格納してもよい。

【0043】

ロボット許可道路、走行場所格納部203は、２次元地図情報格納部202に格納されている全国の道路地図データと紐づけ、移動ロボット3が走行可能な道路の場所情報を格納する。ロボット許可道路、走行場所格納部203は、移動ロボット3が走行可能な道路を一意に特定する地理識別子を格納する。また、ロボット許可道路、走行場所格納部203は、対象の道路において、移動ロボット3の走行が許可されているレーン（走行場所）を位置情報の範囲として格納する。

【0044】

なお、以上の２次元地図情報格納部202に格納する２次元地図データと、ロボット許可道路、走行場所格納部203に格納する当該２次元地図上でのロボット移動が可能な領域等に関するデータとは、予め用意しておく。これらのデータ形式についても、任意の既存の２次元地図データの形式を用いてよい。

【0045】

映像取得部204は、メタ情報格納部201に格納されている、３次元地図を作成したい撮像位置に紐づいた撮像時刻及び映像収集装置IDとに基づいて、当該映像収集装置IDの映像収集装置1に対して、当該撮像時刻及び撮像位置に該当する映像ファイルを要求（映像ファイル要求）する。ここで、３次元地図を作成したい撮像位置は、ロボット許可道路、走行場所格納部203に格納されている場所範囲のいずれかである。映像取得部204は、当該映像ファイル要求の応答として、当該撮像時刻及び撮像位置に該当する映像ファイルを当該映像収集装置IDの映像収集装置1から受信する。

【0046】

なお、映像取得部204が映像ファイルを要求するための検索キーとしての、３次元地図を作成したい撮像位置の情報は、ロボット許可道路、走行場所格納部203に格納されている場所範囲のいずれか（全部または一部）として、ユーザが手動で指定した情報を用いればよい。

【0047】

以上、ステップS1を実現するための各部の詳細を説明した。次いで、ステップS2では、３次元地図作成装置2の（ステップS1を担当した機能部201～204以外の）残りの機能部205～216が以下の処理を行うことにより、３次元地図を作成し、且つ、この３次元地図上において段差の情報を与えるようにすることができる。

【0048】

特徴点抽出部205は、共通時刻について同じ位置（共通の空間範囲）を様々なカメラにより様々な角度から撮影した映像ファイルを合成して、時刻ごと及び空間範囲ごとの３次元地図を作成するために、映像取得部204で取得した映像ファイルから画像（共通時刻tにおいて共通の空間範囲を様々なカメラ配置で撮影されている複数のフレーム画像F(t)）を切り出し、当該画像において、十分な数の特徴点を抽出する。（なお、フレーム画像(t)が共通の空間範囲を撮影していることの判定は、地図を作成する空間範囲を予め所定の区画範囲に区切っておき、メタ情報における位置情報Pos(t)が、同一の区画範囲に属すること等によって判定すればよい。）特徴点抽出部205は、画像の中から、特徴点となるべき点又は小領域画像を抽出する。特徴点抽出としては、例えば、SIFT（Scale Invariant Feature Transform）やORB（Oriented FAST and Rotated BRIEF）などのアルゴリズムを用いてもよい。

【0049】

なお、特徴点抽出部205では画像に物体認識を適用し、３次元地図の作成には不要であることが想定される所定対象の領域として例えば人物等の移動する対象（後述する車輪移動体抽出部209で抽出される対象を除く）の領域を、特徴点を抽出すべき領域から除外するようにしてもよい。

【0050】

特徴点対応処理部206は、メタ情報格納部201に格納されている撮像位置情報をもとに同じ場所を撮像した複数の映像ファイル（例えばM枚のフレーム画像F(t1),F(t2),…,F(tM)であり、それぞれのフレーム画像は互いに異なる映像ファイルに属するものであってよい）を対象とし、特徴点抽出部205で抽出した特徴点をもとに異なる画像の中で共通して観測される領域を対応づける。

【0051】

３次元地図生成部207は、特徴点対応処理部206により対応付けられた各特徴点の３次元位置に基づいて、３次元地図を生成する。３次元地図生成部207は、例えば、特徴点対応処理部206により対応付けられた複数組の特徴点（２次元フレーム画像上での２次元画素位置(u,v)で位置が与えられる特徴点）のペアから、５点法や８点法などを用いて、特徴点の３次元座標(x,y,z)を算出し、この３次元座標を地図座標系の３次元座標に変換することで、３次元地図を生成する。

【0052】

なお、以上の各部205～207では、２次元画像上の特徴点対応から３次元座標を得ることで、３次元点群として３次元地図を生成するための任意の既存手法を用いるようにしてよい。

【0053】

３次元地図格納部208は、３次元地図生成部207で生成した３次元地図を格納する。

【0054】

ここで、移動ロボット3は、（乗用の）自動車と比較して小型で、車輪径が小さく、段差乗り越え性能が乏しい（代わりに、自動車等では移動が困難と考えられる屋内等も含めて物品運搬等の用途を柔軟に担うことができる）ことが多いことが想定されるため、３次元地図上に段差高を反映し、当該３次元地図を配信した移動ロボット3が乗り越え困難な段差（あるいは、乗り越えのための変形動作等の、通常移動動作とは別の特別動作を必要とする段差）を避けて移動できるようにすることが望ましい。

【0055】

本実施形態では、一例として、３次元地図に映り込んだ車輪がある移動体（自転車、車椅子、ベビーカーなど）の車輪の傾きを算出することにより、段差高を推定する。

【0056】

車輪移動体抽出部209は、ロボット許可道路、走行場所格納部203に格納されている移動ロボット3の走行が許可されているレーン情報の場所範囲において、３次元地図格納部207に格納されている３次元地図に映り込んでいる車輪移動体を抽出する。車輪移動体抽出部209は、例えば、自転車、車椅子、ベビーカー、移動ロボットなどの車輪移動体を抽出する。車輪移動体抽出部209は、例えば、ディープラーニング（深層学習）を用いて、様々な車輪移動体を教師データとして学習を行い、3次元地図上の車輪移動体を検出する。

【0057】

なお、前述の通り、３次元地図は時刻ごと及び空間範囲ごとの点群として得られる。従って、同じ３次元空間範囲Rであっても、様々な時間範囲（例えば範囲{t|t1≦t≦t2},{t|t2≦t≦t3}等）ごとでの３次元地図を区別して得るようにすることができる。このように（いわば、時間範囲及び空間範囲ごとでのスナップショット映像（点群のアニメーション）として）得られている３次元地図に対して、車輪移動体抽出部209が抽出を試みることにより、同じ３次元空間範囲Rに関して、ある時間範囲{t|t1≦t≦t2}での点群PG(R,t1≦t≦t2)は車輪移動体が検出され、別の時間範囲{t|t11≦t≦t12}の点群PG(R, t11≦t≦t12)では車輪移動体が検出されない、といった検出結果となることがありうる。

【0058】

なお、車輪移動体抽出部209でディープラーニングを用いて車輪移動体を検出する際には、各時刻tでの領域Rについての点群PG(R,t)を構成する各点群の３次元位置(x,y,z)に加えて、３次元位置(x,y,z)を２次元画像（元のフレーム画像F(t)）から抽出した際の特徴量の情報や当該２次元画像において対応する画素位置(u,v)の近傍画素の情報等も、ディープラーニングの深層学習ネットワークへの入力情報として利用するようにしてもよい。

【0059】

傾斜抽出部210は、３次元地図情報格納部208に格納されている３次元地図情報から地面の傾斜情報を取得する。傾斜抽出部210は、例えば、国土交通省国土地理院が公開している傾斜量図等のデータを傾斜情報の参考としてもよい。また、傾斜抽出部210は、例えば、加速度計測部103で取得した車軸加速度の変化値と移動体の移動速度とから、傾斜を算出してもよい。

【0060】

段差高算出部211は、ロボット許可道路、走行場所格納部203に格納されている移動ロボット3の走行が許可されているレーン情報の場所範囲において、段差高を算出する。段差高算出部211は、例えば、車輪移動体抽出部209で抽出した車輪移動体の車輪の傾きと、傾斜抽出部210で抽出した地面傾斜とから、段差高を算出する。

【0061】

ここで、車輪移動体の車輪の傾きから段差高を算出する模式例を図４を用いて説明する。段差5の段差高ｈの算出にあたり、例EX1に示されるような車輪移動体が段差に乗り上げる瞬間、あるいは例EX2に示されるような段差から降下している瞬間を抽出する。そして、車輪移動体の前輪61と後輪62の内、一方が地面に接触し、もう一方が段差に接触している瞬間の角度を活用することで、段差高hを算出する。例えば、段差高hは、三角比を用いて、「h＝c*sinA」となる。ここで、ｃは車輪移動体の前後輪間の長さである。なお、段差高の算出は、図４の例に示すように、傾斜抽出部210で抽出した地面傾斜（角度θ）を表した地表面から算出する。

【0062】

なお、前輪61及び後輪62は、前述したような、３次元領域Rの各時刻t＝1,2,…についていわば３次元アニメーションとして得られている点群PG(R,t)内において点群として識別されているので、前輪61の中心の３次元位置P61と後輪62の中心の３次元位置P62とを結ぶ線分L(P61,P62,t)を各時刻tにおいて取得することができ、この線分L(P61,P62,t)が地面GRとなす角度α(t)も各時刻tにおいて取得することができる。なお、この線分L(P61,P62,t)は、図４の例EX1,EX2においても線分Lとして示されている。線分Lは、前輪61及び後輪62が車輪移動体の左右にそれぞれ存在する場合に、左右のいずれか片方を用いて定めるようにすればよい。あるいは、前輪61及び後輪62が左右両方について点群上で検出されている場合には、図４に例EX3として示すように、線分Lを左右について求めて、左右の線分Lで形成される平面領域PL（車輪移動体の底面箇所に相当する長方形等）を求め、この平面領域PLが地面となす角を角度α(t)としてもよい。

【0063】

この角度α(t)は、段差に乗っていない状態では既知の地面GRの傾斜角θに概ね一致して「α(t)≒θ」となる（ここで、例えば差が閾値TH以内|α(t)-θ|≦THで概ね一致と判定できる）のに対し、段差hに乗り上げる、あるいは逆に段差hから降下する際には、α(t)の値が傾斜角θから一時的に増加あるいは減少して極値を示す挙動を示すことが想定されるので、角度α(t)の時刻tの関数としてのグラフ(t,α(t))の挙動より、一定値θから一時的に増加または減少して極値を示したと判定される際の、一定値θからの極値の変動量を角度Aとして求めることができる。

【0064】

図４ではグラフGとして、角度α(t)のグラフ(t,α(t))の模式例が示される。時刻t1では極大値θ+Aとなることから、例EX1の乗り上げる瞬間に該当するものとして推定することができ、時刻t2では極小値θ-Aとなることから、例EX2の降下する瞬間に該当するものとして推定することができる。（時刻t1の少し後から時刻t2の少し前までの間は、前輪61及び後輪62の両方が段差hに乗って傾斜角θが保たれる状態に相当する。）なお、角度α(t)のグラフは、実測値ではノイズの影響があることが想定されるので、曲線フィッティング等を行ったものやノイズ除去したものを用いるようにして、極値θ±Aの判定を行うようにしてよい。

【0065】

また、別の実施形態として、段差高算出部211は、移動ロボット3の走行が許可されているレーンを走行した車輪移動体（自転車、車椅子、ベビーカー、移動ロボットなど）から受信した車軸加速度により、段差高を算出してもよい。段差高算出部211は、例えば、段差に乗り上げや段差から降下する際の車軸加速度の変化値と車輪移動体の移動速度と段差高との実測データから、回帰分析により段差高を算出する推定式を導き、この推定式を用いて段差高を算出してもよい。

【0066】

また、段差高算出部211は、前記の３次元地図から抽出した車輪移動体の車輪の傾きから段差高を算出する実施形態と、前記の車軸加速度により段差高を算出する実施形態とを併用して、補正することで、段差高を算出してもよい。

【0067】

また、段差高算出部211は、視覚障害者誘導用ブロックの突起高などの規定により段差高が明らかなものであったり、３次元地図で段差高が鮮明に判断できるものを教師データにして、ディープラーニング等を用いて学習をすることで、車輪移動体の車輪の傾きや車軸加速度による段差高算出の精度を向上させてもよい。

【0068】

３次元地図段差反映部212は、３次元地図格納部208に格納されている３次元地図において、段差高算出部211で算出した段差高を３次元地図に反映し、段差高を反映した３次元地図を３次元地図格納部208に格納する。３次元地図段差反映部212は、例えば、３次元地図上に仮想的に段差のオブジェクトを重畳する。ここで、３次元地図上に全ての段差を反映すると、データ量が膨大となることが懸念される。そこで、扱うことが想定される移動ロボット3の全てにおいて乗り越え可能な段差高等、予め段差高の閾値を定め、閾値を超える段差のみを反映させてもよい。また、場所ごとに扱う移動ロボット3が異なることが想定されることから、場所ごとに段差高の閾値を変更してもよい。

【0069】

なお、図４の例では段差hを２次元断面としてのみ示しているが、車輪移動体が４輪であることを前提として、前輪61及び後輪62は左右が存在することで左右の幅Wが存在するので、段差hの幅として、この車輪の左右の幅Wの値を用いるようにしてよい。

【0070】

地図内移動体除外部213は、３次元地図格納部208に格納されている３次元地図から移動体（車輪移動体や人など）を除外した３次元地図を作成し、作成した３次元地図を３次元地図格納部208に格納する。地図内移動体除外部213は、例えば、同じ場所を別の時間帯に撮像した映像をもとに２つの３次元地図を生成し、一方の３次元地図のみに出現している物体を移動体として除外するようにしてよい。したがって、３次元地図格納部208に格納されている３次元地図には、段差高を算出するために移動体が映り込んだ３次元地図と、移動ロボット3に配信するために移動体を除外した３次元地図の双方が格納される。

【0071】

地図配信部214は、３次元地図格納部208に格納されている３次元地図を各移動ロボット3に対して配信する。ここで、地図配信部214で配信する３次元地図は、３次元地図段差反映部212の処理により段差高が反映され、地図内移動体除外部213の処理により地図内から移動体を除外した地図であることが望ましい。なお、地図配信部214で移動ロボット３に対して配信する３次元地図は、移動ロボット3の走行が想定される場所に限定した３次元地図であることが望ましい。

【0072】

図５は、配信される３次元地図の構成を模式的に示す図である。３次元地図は、移動ロボット3が局所的な自律移動を行う際の自己位置推定に用いるLiDARや画像撮影等を行うセンシング範囲SRに現れる立体物OB1の情報を３次元点群等の形で含み、地面GRの情報を、図４で説明したような傾斜角θの情報も含め、２次元地図情報格納部202及びロボット許可道路、走行場所格納部203に格納されている２次元平面の情報（２次元平面としての地面GRが、傾斜角θや高度の情報を含んで３次元空間内に配置されている情報）として含むものとして構成される。

【0073】

３次元地図情報においては、移動ロボット3が自己位置推定を行うためのセンシング範囲SR（例えば、地面から所定高度範囲にある範囲）の立体物OB1の情報を点群等の形式で有し、地面GRの情報に対する付随情報として、段差hの情報を、仮想オブジェクトOB2等の形で有するようにすることができる。

【0074】

ここで、センシング範囲SRの立体物OB1の情報については、各部205,206,207の処理により、２次元特徴点マッチングから３次元位置への変換で、点群等の形で得ることができる。一方で、仮想オブジェクトOB2等の形で表現できる段差hの情報についても、原理上は各部205,206,207の処理により、２次元特徴点マッチングから３次元位置への変換で得ることも可能と考えられるが、段差hはセンシング範囲SRの範囲外にあることが多いことが想定されるため、自己位置推定用途での３次元地図情報としては不要となり、本実施形態では地面GRにおいて回避すべき対象として、地面GBに対する付随情報として定義しておくことができる。

【0075】

また、段差hに関しては地面GRに配置ないし形成され、通常は模様等の特徴が乏しいと考えられるため、各部205,206,207の処理を仮に適用したとしてもマッチング精度が低く、段差hの形状を点群として精度よく抽出できないことが想定される。これに対し、本実施形態では、図４で示したような、３次元地図情報を生成する際に通常であれば除外すべき対象である３次元地図に映り込んだ車輪がある移動体を積極的に活用し、その車輪の傾きの解析から段差hの情報を取得することができる。

【0076】

対価算出部215は、映像収集装置１から映像ファイルを収集することに対する対価を算出する。映像ファイルを収集することに対する金銭等のメリットを与えることにより、ドライブレコーダを搭載した自動車やサイクリングレコーダを搭載した自転車などを利用するユーザが積極的に映像収集する動機付けを促すことが期待できる。対価については、電子商取引等においてユーザが利用可能なポイントの形で所定値（次の重要道路提示部216で提示する重要度に応じた値でもよい）を設定しておくことができる。

【0077】

重要道路提示部216は、特に映像収集が必要となる重要道路を提示する。重要道路提示部216は、例えば、移動ロボット3が走行可能な道路の中で、まだ３次元地図が作成されていない道路、３次元地図の精度が悪い道路、道路変化により３次元地図の更新が必要な道路を重要道路として扱う。また、移動ロボット3の走行が予定されている期日が近いほど、より高い重要度としてもよい。また、移動ロボット3の走行道路として使われる見込みが高いほど、より高い重要度としてもよい。例えば、移動ロボット3を用いた配送サービスが提供される際に、その道路が利用される見込みが高いほど、より高い重要度としてもよい。なお、どのような属性を有する道路をどのような重要度で扱うかについて、ユーザが予めルールベースでの設定をしておき、このルールベースから自動で重要度が算出されるようにしてよい。

【0078】

重要道路提示部216は、対象となる重要道路及びその対価を、映像収集装置1を利用するユーザに対して、例えば、Webアプリに表示したり、カーナビゲーションに配信したりすることにより、提示することができる。重要道路提示部216は、映像収集装置１が映像収集した道路が重要道路か否かによって、またその重要度の高さによって、対価算出部215で算出する対価を高くすることも望ましい。

【0079】

以上、ステップS2において３次元地図作成装置2が３次元地図を作成して移動ロボット3に配信する際の各部の詳細を説明した。最後に、ステップS3では、３次元地図を受信した移動ロボット3が、地図格納部301において地図配信部214より配信された地図を格納し、移動ロボット3の自律走行における判断のために活用する。

【0080】

なお、自律走行を実現する個別の機能ブロック構成について、図２では描くのを省略しているが、図５で説明したように移動ロボット3のセンシング範囲SR内にある対象物OB1を検出して３次元地図情報と照合することによって自己位置推定を行いながら、局所的な移動を繰り返すことにより、現在地から目的地への移動を実現することができる。この自己位置推定には任意の既存手法を用いることがでる。また、移動ロボット3による現在地から目的地への移動を実現する際に設定する経路において、地面GR上の段差hを経路上に含めないようにして段差hを回避したり、段差hを乗り越えるための特別な動作制御を行うようにすることができる。現在地から目的地への当該経路探索についても、任意の既存手法を用いることができ、移動ロボット3によって物品運搬やフィールドFの監視等の様々な用途を実現することができる。

【0081】

以上のように、第１実施形態では、多数のドライブレコーダ映像を収集、合成するための仕組みと、多数のドライブレコーダ映像があるからこそ効果的な、本来は地図の邪魔になる車輪移動体をマーカとして活用した映像からの段差高算出の仕組みを組合せることにより、段差高も反映した３次元地図を作成することができる。

【0082】

続いて、第２実施形態について第１実施形態との相違点を中心に説明する。第２実施形態は、第１実施形態と同様の処理に追加して、段差高抽出に寄与しない映像の確認を減らすために、適切なドライブレコーダ映像を選定する（予め絞り込む）処理を行うものである。なお、図４のような状況の検出は自動検出も可能と考えられるが、元の映像が膨大に存在しうることにより、自動検出を精度よく行えるようになるまでは少なくとも部分的に、ユーザ目視の確認で元の映像のうち有効と考えられる映像を選別することも考えられる。第２実施形態ではこのような選別の手間を低減することができる。

【0083】

第２実施形態のステップS1及びS2では、第１実施形態と同様の処理に対してさらに、移動端末4と、３次元地図作成装置2における追加の各部217～223による以下の処理が行われる。

【0084】

まず、事前の情報収集としてのステップS1では、以下の各部217,417,218,418による追加処理が行われる。

【0085】

属性情報格納部217は、複数の移動端末4の各々の属性情報保存部417に保存されている、移動端末IDと、契約しているユーザの属性情報とを関連付けた情報を属性情報保存部417から受信して保存する。属性情報は、例えば、性別、年代、家族構成、子供の年齢である。

【0086】

位置情報格納部218は、複数の移動端末4の各々の位置情報取得部418で取得されている、複数の移動端末4の各々の移動端末ＩＤと、移動端末4の位置の履歴とを関連付けた情を位置情報取得部418から受信して保存する。移動端末の位置の履歴を示す情報である位置履歴情報は、取得時間と位置情報との組み合わせである。ここで、位置履歴情報は、属性情報格納部217に格納されている属性情報を用いて、個人が特定されないように処理される。

【0087】

なお、移動端末4の各々の位置情報取得部418では、映像取得装置1の位置計測部102や加速度計側部103に関して説明したのと同様の、GPS等の既存手法により移動端末4の位置の履歴（各時刻t=1,2,…での位置情報Pos(t)）を取得することができる。(映像ファイルMV_kを省略したうえで、映像取得装置1に関して説明したメタ情報MT_kを位置情報取得部418において位置履歴の情報として取得してもよい。)

【0088】

次いで、第２実施形態のステップS2では、３次元地図作成装置2において以下の各部219～223の追加処理が行わることにより、図４で説明したような段差hに対する乗り上げ瞬間あるいは降下瞬間に該当する可能性が高い映像を、予め絞り込むことができる。（なお、３次元地図の作成自体には当該絞り込みの処理は不要であり、３次元地図に紐づける段差hの情報を得る際に用いる映像の絞り込みに、以下の各部の追加処理を適用することができる。）

【0089】

低速車輪移動体抽出部219は、映像からの段差高が検出し易い移動速度が遅い車輪移動体を抽出する。移動速度が遅い車輪移動体は、例えば、ベビーカーや車椅子である。低速車輪移動体抽出部219は、位置情報格納部218に格納されている位置履歴情報から、低速車輪移動体の移動を推定する。低速車輪移動体抽出部219は、ベビーカーや車椅子などの各低速車輪移動体（ここで、移動端末4を携帯するユーザがこの低速車輪移動体と共に移動していることを想定する）の標準的な移動速度の情報（位置取得時間T秒と位置取得時間T＋1秒における移動距離の情報）を判断用に予め格納しておき、この標準的な移動速度との近似度により、低速車輪移動体を利用した移動であるか否かを推定する。また、年代や家族構成、子供の年齢等の属性情報を用いて、低速車輪移動体を利用した移動であるか否かを推定する精度を高めるようにしてもよい。

【0090】

低速移動体通過傾向抽出部220は、道路毎に低速移動体の通過が多い曜日や時間帯を抽出する。低速移動体通過傾向抽出部220は、低速移動体通過傾向抽出部220で推定した低速車輪移動体の移動を道路毎、曜日毎、時間帯毎にカウントし、道路毎に多くの低速車輪移動体が通過する曜日、時間帯を抽出する。低速移動体通過傾向抽出部220は、メタ情報格納部201に道路毎に多くの低速車輪移動体が通過する曜日、時間帯の情報を追加することで、低速車輪移動体が映り込んでいる確率が高い映像を効率的に抽出する。

【0091】

天候・日照情報格納部221は、地域毎の天候や日照情報の履歴を格納する。天候・日照情報格納部221は、気象情報等の過去の履歴を提供しているサーバ等にアクセスすることにより、雨や雪、霧などの天候情報、日照時間を示す日照情報を取得して格納することができる。

【0092】

明瞭映像抽出部222は、天候・日照情報格納部221に格納されている天候情報や日照情報を用いて、明瞭なドライブレコーダ映像の利用だけに絞り込みを行う。明瞭映像抽出部222は、ドライブレコーダ映像から車輪移動体が段差に乗り上げ、乃至は段差から降下している瞬間を明瞭に抽出できた時の天候情報や日照情報の条件を用いて、類似の条件となる日時の絞り込みを行う。明瞭映像抽出部222は、メタ情報格納部201に明瞭なドライブレコーダ映像となる日時の情報を追加することで、低速車輪移動体が明瞭に映っている映像を効率的に抽出する。

【0093】

持ち上げモーション検出部223は、自転車のハンドルやベビーカーを持ち上げている時のモーションを抽出する。持ち上げモーション検出部223は、段差高算出部211で車輪移動体が段差に乗り上げている瞬間を抽出する際に、自転車のハンドルやベビーカーを持ち上げている時のモーションを捉えることで、段差へ乗り上げた瞬間のドライブレコーダ映像を効率的に抽出する。

【0094】

持ち上げモーション検出部223による映像からのモーション解析は、映像から人物及びその関節を抽出して人物の動き情報（関節動き情報）を検出し、その動き種別（例えば歩いているか、走っているか、持ち上げ動作であるか、等の動き種別）を識別する、ディープラーニング等による任意の既存手法を用いることができる。

【0095】

第２実施形態では、以上の各部219～223の全部または一部による追加処理によって、段差hの検出に利用できる映像を効果的に予め絞り込むことができる。なお、低速移動体通過傾向抽出部219及び道路毎曜日・時間帯傾向抽出部220では、移動体の存在可能性に影響する情報から映像を絞り込んでおり、明瞭映像抽出部222では、移動体の撮影能力（カメラ等を用いた撮影能力）に影響する情報から映像を絞り込んでおり、持ち上げモーション検出部223では移動体の移動可能性や移動容易性に影響する情報から映像を絞り込んでいる。

【0096】

以下、種々の補足例、代替例、変形例などについて説明する。

【0097】

（１） 本発明の実施形態の応用例として、何らかの作業現場等のである環境（フィールドF）において移動ロボット3を活用した作業等を遠隔制御によって、移動ロボット3の移動にとって障害となりうる段差hも考慮することで、より円滑に行うことが可能となる。これにより、当該作業現場等に業務担当者等が実際に赴くことを必須とせず、人物移動に必要となるエネルギー資源を節約することで二酸化炭素排出量を抑制できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標１３「気候変動とその影響に立ち向かうため、緊急対策を取る」に貢献することが可能となる。

【0098】

（２） 第２実施形態は、第１実施形態で３次元地図に紐づける段差hを求める際の車輪移動体の車輪の乗り上げ状態等に該当する映像を絞り込むという特定の用途について説明した。第２実施形態における第１実施形態に対する追加構成（機能部219～223と移動端末4）の全部又は一部の処理による映像の絞り込みは、この特定用途に限らず一般化された用途にも適用可能である。段差hに限らず、３次元地図作成装置2において作成する３次元地図（あるいは３次元地図に限定されず、２次元地図を含む既に存在する地図）に付加情報として、移動ロボット3等の移動可能性や移動容易性に影響する情報を付加することにも適用可能である。地図に移動可能性や移動容易性に影響する情報を紐づける際には、すなわち、３次元地図作成装置2において作成する３次元地図（あるいは３次元地図に限定されず、２次元地図を含む既に存在する地図）に何らかの付加情報（例えば第１実施形態での段差hの情報が付加情報であるが、これに限らない）を付加するための元データとして膨大な映像の全てを解析対象とするのではなく、膨大な映像から予めフィルタリングして自動選別することで選別された映像のみを解析対象とすることが手間低減等に有効であり、このために第２実施形態を一般化された形（前記追加構成を用いる形）で適用することができる。具体例（フィルタリングした映像を解析して得る付加情報の具体例）として、第１実施形態の段差h以外にも以下の２Ａ～２Ｃを挙げることができるが、これらに限定されない。

【0099】

（２Ａ） 移動ロボット3にも走行が許可されている歩道を通る人、車輪移動体（車椅子、ベビーカー）の通過が多い時間帯を抽出し、その時間帯に移動ロボット3が安全に通過できそうかドラレコで確認することができる。

【0100】

（２Ｂ） 道幅が狭い道路において、歩行者の多い時間帯を抽出し、その時間帯にドラレコで人が安全に歩行できているかを確認することができる。

【0101】

（２Ｃ） 犬のふんの不始末で困っている道路において、犬の散歩がされてそうな時間帯を抽出し、ドラレコで状況を確認することができる。

【0102】

上記２Ａ，２Ｂ，２Ｃについては前記追加構成において抽出する情報以外をフィルタリングのために用いてもよく、例えば、メタ情報格納部105に、映像ファイル格納部104に格納した映像に対して物体検出を適用（映像取得装置1において物体検出を適用）することで、追加のメタ情報として各時刻tのフレーム画像F(t)（共通の空間範囲を撮影している複数のフレーム画像F(t)）において検出された人や車輪移動体や犬の数N(t)を、（移動ロボット3等の移動体の移動可能性または移動容易性に影響する情報の例として）混雑度合いを表すものとして定義しておくことができる。この混雑度合いが反映された検出数N(t)をメタ情報として利用することで、検出数N(t)が多いと判定される時間範囲及び空間範囲に該当する映像のみをフィルタリングすることができる。当該フィルタリングされた映像を用いて、例えば、移動ロボット3の移動可能性・容易性に関する情報（段差hの情報等）を地図に紐づけることができるが、フィルタリング用途はこれに限らない。

【0103】

（３） 図６は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。３次元地図作成システム10を構成する映像取得装置1、３次元地図作成装置2、移動ロボット3及び移動端末4の各々は、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で３次元地図作成システム10の部分構成を実現する場合、ネットワークNW経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、移動ロボット3としての自己位置推定機能に用いられるカメラ81及びセンサ82、移動ロボット3としての自律移動機能を提供する、モータ等のアクチュエータ83及びこのアクチュエータ83によって駆動される車輪等の移動機構84（車軸やギヤ等の変速機構も含む）と、これらの間でデータを授受するためのバスBSと、を備える。なお、カメラ81及びセンサ82については、映像取得装置1の場合における撮像部101と、位置計測部102及び加速度計側部103をハードウェアとして実現するものにも該当する。

【0104】

３次元地図作成システム10の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、液晶等のモニタあるいはLED等の点灯装置として構成されるディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。各送信部ないし配信部106,108,214等での通信機能は、通信インタフェース75で実現することができる。

【符号の説明】

【0105】

10…３次元地図作成システム、1…映像取得装置、2…３次元地図作成装置、3…移動ロボット、4…移動端末
101…撮像部、102…位置計測部、103…加速度計側部、104…映像ファイル格納部、105…メタ情報格納部、106…メタ情報送信部、107…該当ファイル検索部、108…映像ファイル送信部
201…メタ情報格納部、202…２次元地図格納部、203…ロボット許可道路、走行場所格納部、204…映像取得部、205…特徴点抽出部、206…特徴点対応処理部、207…３次元地図生成部、208…３次元地図格納部、209…車輪移動体抽出部、210…傾斜抽出部、211…段差算出部、212…３次元地図段差反映部、213…地図内移動体除外部、214…地図配信部、215…対価算出部、216…重要道路提示部、217…属性情報格納部、218…位置履歴格納部、219…低速移動体通過傾向抽出部、220…道路毎曜日・時間帯傾向抽出部、221…天候・日照情報格納部、222…明瞭映像抽出部、223…持ち上げモーション検出部
301…地図格納部、417…属性情報保存部、418…位置情報取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】