ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2022-12173情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022012173
(43)【公開日】2022-01-17
(54)【発明の名称】情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
(51)【国際特許分類】
G05D 1/02 20200101AFI20220107BHJP
G05D 1/00 20060101ALI20220107BHJP
【ＦＩ】
G05D1/02 K
G05D1/02 Z
G05D1/00 Z
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2020113814
(22)【出願日】2020-07-01
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】李 駿
【テーマコード（参考）】
5H301
【Ｆターム（参考）】
5H301AA01
5H301AA06
5H301AA10
5H301CC03
5H301CC04
5H301CC06
5H301CC07
5H301CC10
5H301DD01
5H301DD06
5H301DD07
5H301FF11
5H301GG08
5H301GG09
5H301LL01
5H301LL02
5H301LL03
5H301LL06
(57)【要約】
【課題】ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成を実現する。
【解決手段】移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、センサデータ取得部からセンサ検出情報を入力して、移動体の自己位置推定を実行する自己位置推定部と、自己位置推定部において自己位置推定処理が実行された際の周囲の明るさや、カメラ撮影画像の特徴点のスコア等の環境情報を解析する環境情報解析部と、環境情報解析部において解析された環境情報に基づいて、自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有し、算出信頼度に基づいて警告表示や飛行制御を行う。
【選択図】図２
【解決手段】移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、センサデータ取得部からセンサ検出情報を入力して、移動体の自己位置推定を実行する自己位置推定部と、自己位置推定部において自己位置推定処理が実行された際の周囲の明るさや、カメラ撮影画像の特徴点のスコア等の環境情報を解析する環境情報解析部と、環境情報解析部において解析された環境情報に基づいて、自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有し、算出信頼度に基づいて警告表示や飛行制御を行う。
【選択図】図２
【特許請求の範囲】
【請求項1】
移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有する情報処理装置。
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有する情報処理装置。
【請求項2】
前記環境情報解析部は、
前記自己位置推定部において自己位置推定処理が実行された際の環境情報として、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報を取得する請求項１に記載の情報処理装置。
前記自己位置推定部において自己位置推定処理が実行された際の環境情報として、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報を取得する請求項１に記載の情報処理装置。
【請求項3】
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する請求項１に記載の情報処理装置。
前記自己位置推定部において自己位置推定処理が実行された際の、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する請求項１に記載の情報処理装置。
【請求項4】
前記センサデータ取得部は、
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさを解析し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさが、明るいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさを解析し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさが、明るいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
【請求項5】
前記センサデータ取得部は、
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアを算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアが高いほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアを算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアが高いほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
【請求項6】
前記センサデータ取得部は、
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率を算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率を算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
【請求項7】
前記センサデータ取得部は、
前記センサを構成するＧＰＳの受信信号を入力し、
前記環境情報解析部は、
カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数を算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
前記センサを構成するＧＰＳの受信信号を入力し、
前記環境情報解析部は、
カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数を算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する請求項１に記載の情報処理装置。
【請求項8】
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報を入力し、
入力環境情報各々に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出し、
算出した環境情報各々に対応する信頼度の重み付け加算処理を実行して、最終的な推定自己位置信頼度を算出する請求項１に記載の情報処理装置。
前記自己位置推定部において自己位置推定処理が実行された際の、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報を入力し、
入力環境情報各々に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出し、
算出した環境情報各々に対応する信頼度の重み付け加算処理を実行して、最終的な推定自己位置信頼度を算出する請求項１に記載の情報処理装置。
【請求項9】
前記推定自己位置信頼度算出部は、
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、外部の情報表示部に出力する請求項１に記載の情報処理装置。
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、外部の情報表示部に出力する請求項１に記載の情報処理装置。
【請求項10】
前記推定自己位置信頼度算出部は、
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
外部の情報表示部に警告を出力する請求項１に記載の情報処理装置。
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
外部の情報表示部に警告を出力する請求項１に記載の情報処理装置。
【請求項11】
前記推定自己位置信頼度算出部は、
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
前記移動体の移動制御を実行する移動体制御部に対して、移動制御を行うように指示を出力する請求項１に記載の情報処理装置。
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
前記移動体の移動制御を実行する移動体制御部に対して、移動制御を行うように指示を出力する請求項１に記載の情報処理装置。
【請求項12】
前記推定自己位置信頼度算出部は、
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
前記センサのセンシング方向の制御を行うためのセンシング方向制御情報を前記センサに出力する請求項１に記載の情報処理装置。
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
前記センサのセンシング方向の制御を行うためのセンシング方向制御情報を前記センサに出力する請求項１に記載の情報処理装置。
【請求項13】
移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムであり、
前記移動装置は、
前記移動装置に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出部を有し、
前記コントローラは、
前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示部と、
前記移動装置の移動ルートを入力可能な操作部と、
前記操作部を介して入力された前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力部を有する情報処理システム。
前記移動装置は、
前記移動装置に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出部を有し、
前記コントローラは、
前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示部と、
前記移動装置の移動ルートを入力可能な操作部と、
前記操作部を介して入力された前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力部を有する情報処理システム。
【請求項14】
情報処理装置において実行する情報処理方法であり、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行する情報処理方法。
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行する情報処理方法。
【請求項15】
移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムにおいて実行する情報処理方法であり、
前記移動装置において、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出ステップを実行し、
前記コントローラにおいて、
情報表示部が、前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示ステップと、
移動体制御信号出力部が、操作部を介した前記移動装置の移動ルートの入力に応じて、前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力ステップを実行する情報処理方法。
前記移動装置において、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出ステップを実行し、
前記コントローラにおいて、
情報表示部が、前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示ステップと、
移動体制御信号出力部が、操作部を介した前記移動装置の移動ルートの入力に応じて、前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力ステップを実行する情報処理方法。
【請求項16】
情報処理装置において情報処理を実行させるプログラムであり、
センサデータ取得部に、移動体に備えられたセンサの検出情報を取得させるセンサデータ取得ステップと、
自己位置推定部に、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行させる自己位置推定ステップと、
環境情報解析部に、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析させる環境情報解析ステップと、
推定自己位置信頼度算出部に、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行させるプログラム。
センサデータ取得部に、移動体に備えられたセンサの検出情報を取得させるセンサデータ取得ステップと、
自己位置推定部に、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行させる自己位置推定ステップと、
環境情報解析部に、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析させる環境情報解析ステップと、
推定自己位置信頼度算出部に、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、例えばドローン等、移動装置の安全な飛行や走行を可能とする情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
【背景技術】
【0002】
近年、小型の飛行体であるドローンの利用が急激に増加している。例えば、ドローンにカメラを装着し、上空から地上の風景を撮影する処理等に利用されている。また、荷物の配送にドローンを利用することも計画されており、様々な実験が行われている。
【0003】
現在は、多くの国において、人の監視下、すなわち人が目視できる範囲でコントローラを操作してドローンの飛行制御を行うことが求められている。しかし、将来的には、人の目視による監視が不要な自律飛行型ドローン、すなわち、出発地から目的地に向けて自律的に飛行を行うドローンが多く利用されると推定される。
【0004】
このような自律飛行型のドローンは、例えば管制センターとの通信情報やＧＰＳ位置情報を利用して、出発地から目的地に向けて飛行する。
【0005】
今後、コントローラで操作するドローンや自律飛行型のドローンが増加するにつれ、ドローンとビルとの衝突や、ドローン同士の衝突、さらにドローンの墜落が発生する可能性も増大することが予想される。
市街地等、多数の車や人が往来する領域で、ドローンが落下すると大きな事故になる可能性もある。
市街地等、多数の車や人が往来する領域で、ドローンが落下すると大きな事故になる可能性もある。
【0006】
ドローンの安全な飛行を行うための構成を開示した従来技術として、例えば、特許文献１（特開２００６－０６４５５０号公報）がある。
特許文献１は、ドローンと、ドローンを制御するコントローラとの通信が可能な領域を探索して、その領域内での飛行を行う構成を開示している。
特許文献１は、ドローンと、ドローンを制御するコントローラとの通信が可能な領域を探索して、その領域内での飛行を行う構成を開示している。
【0007】
しかし、この文献に記載の技術は、コントローラによる通信可能な範囲での飛行制御に限られ、自律飛行型のドローンには適用できないという問題がある。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２００６－０６４５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本開示は、例えば、上記の問題点に鑑みてなされたものであり、ドローン等の移動装置を、安全に飛行、または走行させることを可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本開示の第１の側面は、
移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有する情報処理装置にある。
移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有する情報処理装置にある。
【0011】
さらに、本開示の第２の側面は、
移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムであり、
前記移動装置は、
前記移動装置に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出部を有し、
前記コントローラは、
前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示部と、
前記移動装置の移動ルートを入力可能な操作部と、
前記操作部を介して入力された前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力部を有する情報処理システムにある。
移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムであり、
前記移動装置は、
前記移動装置に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出部を有し、
前記コントローラは、
前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示部と、
前記移動装置の移動ルートを入力可能な操作部と、
前記操作部を介して入力された前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力部を有する情報処理システムにある。
【0012】
さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行する情報処理方法にある。
【0013】
さらに、本開示の第４の側面は、
移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムにおいて実行する情報処理方法であり、
前記移動装置において、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出ステップを実行し、
前記コントローラにおいて、
情報表示部が、前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示ステップと、
移動体制御信号出力部が、操作部を介した前記移動装置の移動ルートの入力に応じて、前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力ステップを実行する情報処理方法にある。
移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムにおいて実行する情報処理方法であり、
前記移動装置において、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出ステップを実行し、
前記コントローラにおいて、
情報表示部が、前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示ステップと、
移動体制御信号出力部が、操作部を介した前記移動装置の移動ルートの入力に応じて、前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力ステップを実行する情報処理方法にある。
【0014】
さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
センサデータ取得部に、移動体に備えられたセンサの検出情報を取得させるセンサデータ取得ステップと、
自己位置推定部に、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行させる自己位置推定ステップと、
環境情報解析部に、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析させる環境情報解析ステップと、
推定自己位置信頼度算出部に、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
センサデータ取得部に、移動体に備えられたセンサの検出情報を取得させるセンサデータ取得ステップと、
自己位置推定部に、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行させる自己位置推定ステップと、
環境情報解析部に、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析させる環境情報解析ステップと、
推定自己位置信頼度算出部に、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行させるプログラムにある。
【0015】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0016】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0017】
本開示の一実施例の構成によれば、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
具体的には、例えば、移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、センサデータ取得部からセンサ検出情報を入力して、移動体の自己位置推定を実行する自己位置推定部と、自己位置推定部において自己位置推定処理が実行された際の周囲の明るさや、カメラ撮影画像の特徴点のスコア等の環境情報を解析する環境情報解析部と、環境情報解析部において解析された環境情報に基づいて、自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有し、算出信頼度に基づいて警告表示や飛行制御を行う。
本構成により、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、センサデータ取得部からセンサ検出情報を入力して、移動体の自己位置推定を実行する自己位置推定部と、自己位置推定部において自己位置推定処理が実行された際の周囲の明るさや、カメラ撮影画像の特徴点のスコア等の環境情報を解析する環境情報解析部と、環境情報解析部において解析された環境情報に基づいて、自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有し、算出信頼度に基づいて警告表示や飛行制御を行う。
本構成により、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0018】
【図1】ドローンの飛行制御の例について説明する図である。
【図2】本開示の情報処理装置の構成例について説明する図である。
【図3】カメラ撮影画像からの特徴点の検出処理の一例について説明する図である。
【図4】カメラ撮影画像からの人検出処理の一例について説明する図である。
【図5】セマンティク・セグメンテーションについて説明する図である。
【図6】明るさと自己位置推定誤差の対応関係について説明する図である。
【図7】画像平均輝度と推定自己位置信頼度の対応関係について説明する図である。
【図8】特徴点スコアと自己位置推定誤差の対応関係について説明する図である。
【図9】特徴点スコアと推定自己位置信頼度の対応関係について説明する図である。
【図10】静的オブジェクト数と自己位置推定誤差の対応関係について説明する図である。
【図11】静的オブジェクト数の対応関係について説明する図である。
【図12】信号受信可能なＧＰＳ衛星数と自己位置推定誤差の対応関係について説明する図である。
【図13】信号受信可能なＧＰＳ衛星数と推定自己位置信頼度の対応関係について説明する図である。
【図14】情報表示部に対する情報表示例について説明する図である。
【図15】情報表示部に対する情報表示例について説明する図である。
【図16】情報表示部に対する情報表示例について説明する図である。
【図17】情報表示部に対する情報表示例について説明する図である。
【図18】情報処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。
【図19】本開示の情報処理システムの構成例について説明する図である。
【図20】本開示の情報処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0019】
以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．ドローンの飛行形態と、本開示の処理の概要について
２．本開示の情報処理装置の構成と実行する処理について
３．本開示の情報処理装置が実行する処理のシーケンスについて
４．外部からドローン制御を行う構成について
５．情報処理装置のハードウェア構成例につい
６．本開示の構成のまとめ
１．ドローンの飛行形態と、本開示の処理の概要について
２．本開示の情報処理装置の構成と実行する処理について
３．本開示の情報処理装置が実行する処理のシーケンスについて
４．外部からドローン制御を行う構成について
５．情報処理装置のハードウェア構成例につい
６．本開示の構成のまとめ
【0020】
［１．ドローンの飛行形態と、本開示の処理の概要について］
まず、図１を参照して、ドローンの飛行形態の例と、本開示の処理の概要について説明する。
まず、図１を参照して、ドローンの飛行形態の例と、本開示の処理の概要について説明する。
【0021】
なお、以下では、自律移動体の一例としてドローンを利用した例について説明するが、本開示の自律移動体は、ドローンに限らず、自動走行ロボット、自動運転車両等、様々な移動体を含むものである。
【0022】
先に説明したように、現在のドローンは、多くの国において人の監視下、すなわち人が目視できる範囲でコントローラを操作して飛行制御を行うことが求められている。しかし、将来的には、人の目視による監視が不要な自律飛行型ドローン、すなわち、出発地から目的地に向けて自律的に飛行を行うドローンが利用されると想定される。このような自律飛行型のドローンは、例えば管制センターとの通信情報やＧＰＳ位置情報を利用して、出発地から目的地に向けて飛行する。
例えば、自律飛行型のドローンの具体的な利用形態としてドローンによる荷物配送がある。
例えば、自律飛行型のドローンの具体的な利用形態としてドローンによる荷物配送がある。
【0023】
【0024】
図１（１）に示す自律飛行型は、出発地から目的地に向けて自律的に飛行を行うドローン１０の例を示している。この自律飛行型のドローン１０は、例えば管制センターとの通信情報やＧＰＳ位置情報、さらに、搭載したカメラの撮影画像の解析結果等を利用して、出発地から目的地に向けて飛行する。
【0025】
図１（２）に示すコントローラ操縦型は、ユーザ（操縦者）１の所有するコントローラ（リモート制御装置）２０から、直接、ドローン１０を制御するための信号を送信して、ドローン１０の飛行を制御するものである。
【0026】
なお、このコントローラ操縦型でも、ユーザ（操縦者）１が、直接、目視でドローン１０を観察してコントロールする形態の他、ユーザ（操縦者）１の所有するコントローラ（リモート制御装置）２０の画面にドローン１０の現在位置や移動経路（飛行経路）を表示し、ユーザ（操縦者）１が、画面を見ながら、ドローン１０の飛行を制御する形態もある。
【0027】
本開示の処理は、図１に示す（１）自律飛行型、コントローラ操縦型のいずれにも利用可能である。
【0028】
本開示の情報処理装置は、例えば図１に示すドローン１０内部に装着され、ＧＰＳやカメラ等の撮影画像等を利用して自己位置推定を行う。
ドローンをユーザが操縦または、ドローンが自律移動を行うためには、正確な自己位置推定が必須である。
ドローンをユーザが操縦または、ドローンが自律移動を行うためには、正確な自己位置推定が必須である。
【0029】
自己位置推定はＧＰＳの他、カメラや、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などのセンサの検出情報を利用して行われる。
【0030】
なお、カメラ撮影画像を利用した自己位置推定処理の代表例として、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理がある。
ＳＬＡＭ処理は、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行する処理である。
ＳＬＡＭ処理は、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行する処理である。
【0031】
ＳＬＡＭ処理は、カメラで画像（動画像）を撮影し、複数の撮影画像に含まれる特徴点の軌跡を解析することで、特徴点の３次元位置を推定するとともに、カメラ（自己）の位置姿勢を推定（ローカリゼーション）する処理であり、特徴点の３次元位置情報を用いて周囲の地図（環境地図）を作成（ｍａｐｐｉｎｇ）することができる。このように、カメラ（自己）の位置同定（ローカリゼーション）と周囲の地図（環境地図）の作成（ｍａｐｐｉｎｇ）を並行して実行する処理がＳＬＡＭと呼ばれる。
【0032】
しかし、ＧＰＳやカメラ撮影画像を利用した自己位置推定処理は、環境によって推定精度が異なるという問題がある。
例えば、ＧＰＳ衛星からの受信が困難なビルの陰などでは、ＧＰＳ信号を利用した自己位置推定処理を行うと、推定精度が低下する。
また、暗い環境でカメラ撮影画像を利用した自己位置推定処理を行うと、推定精度が低下する。
自己位置推定が正確に行えない環境下では、自律移動が困難になる。
例えば、ＧＰＳ衛星からの受信が困難なビルの陰などでは、ＧＰＳ信号を利用した自己位置推定処理を行うと、推定精度が低下する。
また、暗い環境でカメラ撮影画像を利用した自己位置推定処理を行うと、推定精度が低下する。
自己位置推定が正確に行えない環境下では、自律移動が困難になる。
【0033】
本開示の情報処理装置は、このような問題を解決するため、ドローン１０内部の情報処理装置が実行した自己位置推定結果の信頼度を算出する。
具体的には、自己位置推定処理を実行した環境情報、例えば、
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析し、解析結果に基づいて、自己位置推定結果の信頼度（＝「推定自己位置信頼度」）を算出する。
具体的には、自己位置推定処理を実行した環境情報、例えば、
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析し、解析結果に基づいて、自己位置推定結果の信頼度（＝「推定自己位置信頼度」）を算出する。
【0034】
本開示の情報処理装置は、さらに、環境情報を解析結果に基づいて算出した「推定自己位置信頼度」に基づいて、行動計画の生成、修正、例えば飛行経路の修正や、飛行中止処理等を行い、生成、修正した行動計画に基づいて、飛行制御を行う。
さらに、ドローン１０の飛行を監視する監視センターや、コントローラの表示部に、危険性に関する警告や、修正した飛行経路の情報等を送信して表示する。
さらに、ドローン１０の飛行を監視する監視センターや、コントローラの表示部に、危険性に関する警告や、修正した飛行経路の情報等を送信して表示する。
【0035】
［２．本開示の情報処理装置の構成と実行する処理について］
次に、本開示の情報処理装置の構成と実行する処理について説明する。
次に、本開示の情報処理装置の構成と実行する処理について説明する。
【0036】
図２は、本開示の情報処理装置１００の一構成例を示すブロック図である。
なお、図２に示す情報処理装置１００は、ドローン１０内部に設けられた装置である。
また、図２に示す表示装置１２０は、例えば監視センターやユーザ（操縦者）の有する表示装置である。
なお、図２に示す情報処理装置１００は、ドローン１０内部に設けられた装置である。
また、図２に示す表示装置１２０は、例えば監視センターやユーザ（操縦者）の有する表示装置である。
【0037】
図２に示すように、情報処理装置１００は、センサ（カメラ）１０１、センサ（ＬｉＤＡＲ）１０２、センサ（ＧＰＳ）１０３、センサデータ取得部１０４、自己位置推定部１０５、環境情報解析部１０６、推定自己位置信頼度算出部１０７、移動体制御部１０８を有する。
また、表示装置１２０は、情報表示部１２１を有する。
また、表示装置１２０は、情報表示部１２１を有する。
【0038】
情報処理装置１００の各構成部の詳細と実行する処理について、順次、説明する。
センサ（カメラ）１０１は、外部環境の画像を撮影するカメラであり、単眼カメラ、ステレオカメラ、赤外（ＩＲ）光カメラ等のいずれか、または複数の組み合わせによって構成される。
センサ（カメラ）１０１は、外部環境の画像を撮影するカメラであり、単眼カメラ、ステレオカメラ、赤外（ＩＲ）光カメラ等のいずれか、または複数の組み合わせによって構成される。
【0039】
センサ（ＬｉＤＡＲ）１０２は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）であり、障害物までの距離等を計測可能なセンサである。
【0040】
センサ（ＧＰＳ）１０３は、ＧＰＳ衛星からの信号を受信し、現在の経度、緯度情報を取得するためのセンサである。
【0041】
なお、図２には、３種類のセンサのみを示しているが、これは一例であり、これらの他のセンサを備えた構成としてもよい。例えば、ＴｏＦセンサ、超音波センサ、レーダ、ソナー等を備えた構成でもよい。
【0042】
センサデータ取得部１０４は、各センサの検出情報を取得する。
センサデータ取得部１０４は、各センサから取得したセンサ検出情報を、自己位置推定部１０５と、環境情報解析部１０６に出力する。
センサデータ取得部１０４は、各センサから取得したセンサ検出情報を、自己位置推定部１０５と、環境情報解析部１０６に出力する。
【0043】
自己位置推定部１０５は、センサデータ取得部１０４から入力したセンサ検出情報を用いて、ドローン１０の現在の自己位置を推定する。
自己位置推定部１０５の推定した自己位置は、推定自己位置信頼度算出部１０７と、移動体制御部１０８に出力される。
移動体制御部１０８は、自己位置推定部１０５の推定した自己位置に基づいて、予め定められた移動経路（飛行経路）に従ってドローンを飛行させる。
自己位置推定部１０５の推定した自己位置は、推定自己位置信頼度算出部１０７と、移動体制御部１０８に出力される。
移動体制御部１０８は、自己位置推定部１０５の推定した自己位置に基づいて、予め定められた移動経路（飛行経路）に従ってドローンを飛行させる。
【0044】
自己位置推定部１０５は、例えば、ＧＰＳセンサの取得情報に基づく自己位置推定処理や、前述したＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理を適用した自己位置推定などを行う。
【0045】
前述したように、ＳＬＡＭ処理は、カメラで画像（動画像）を撮影し、複数の撮影画像に含まれる特徴点の軌跡を解析することで、特徴点の３次元位置を推定するとともに、カメラ（自己）の位置姿勢を推定（ローカリゼーション）する処理であり、特徴点の３次元位置情報を用いて周囲の地図（環境地図）を作成（ｍａｐｐｉｎｇ）することができる。
【0046】
なお、ＳＬＡＭ手法の１つとして、ＥＫＦ（拡張カルマンフィルタ：Ｅｘｔｅｎｄｅｄ Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を使用したＥＫＦベースのＳＬＡＭがある。
ＥＫＦベースのＳＬＡＭは、例えばカメラを移動させながら画像を連続的に撮影し、各画像に含まれる特徴点の軌跡（トラッキング情報）を求め、移動ステレオ法でカメラの移動量と特徴点の３次元位置を同時に推定する方法である。
ＥＫＦベースのＳＬＡＭは、例えばカメラを移動させながら画像を連続的に撮影し、各画像に含まれる特徴点の軌跡（トラッキング情報）を求め、移動ステレオ法でカメラの移動量と特徴点の３次元位置を同時に推定する方法である。
【0047】
自己位置推定部１０５が推定した自己位置推定結果は、推定自己位置信頼度算出部１０７と、移動体制御部１０８に出力される。
【0048】
一方、環境情報解析部１０６も、センサデータ取得部１０４の取得したセンサ検出情報を入力する。
環境情報解析部１０６は、センサデータ取得部１０４の取得したセンサ検出情報を入力し、入力したセンサ検出情報に基づいて、自己位置推定処理を実行した環境情報を解析する。
環境情報解析部１０６は、センサデータ取得部１０４の取得したセンサ検出情報を入力し、入力したセンサ検出情報に基づいて、自己位置推定処理を実行した環境情報を解析する。
【0049】
具体的には、前述したように、自己位置推定処理を実行した際の環境、例えば、
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析する。
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析する。
【0050】
「（ａ）周囲の明るさ」は、例えばセンサ（カメラ）１０１の撮影画像の輝度に基づいて解析する。さらに照度センサを装着した構成では、照度センサの検出情報を用いて解析してもよい。
【0051】
「（ｂ）カメラ撮影画像から検出された特徴点のスコア」は、センサ（カメラ）１０１の撮影画像から抽出される特徴点の数や、特徴点の信頼度を示すスコアを算出する処理として実行される。
【0052】
図３に、センサ（カメラ）１０１の撮影画像から抽出される特徴点の例を示す。
図３に示す画像中の白い点が特徴点を示している。
なお、画像からの特徴点検出には、例えばＨａｒｒｉｓコーナー検出等の既存の手法が適用可能である。
図３に示す画像中の白い点が特徴点を示している。
なお、画像からの特徴点検出には、例えばＨａｒｒｉｓコーナー検出等の既存の手法が適用可能である。
【0053】
特徴点のスコアは、「どれほど際立っている特徴点か」、「トラッキングしやすい特徴点か」等の予め規定した特徴点評価指標を適用して算出する。
なお、特徴点のスコア算出処理としては、Ｈａｒｒｉｓコーナー検出処理において規定されたスコアや、Ｓｈｉ－ｔｏｍａｓｉスコア等、既存の特徴点スコア算出処理を適用することが可能である。
なお、特徴点のスコア算出処理としては、Ｈａｒｒｉｓコーナー検出処理において規定されたスコアや、Ｓｈｉ－ｔｏｍａｓｉスコア等、既存の特徴点スコア算出処理を適用することが可能である。
【0054】
「（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率」は、例えば、センサ（カメラ）１０１の撮影画像を解析して、撮影画像内に含まれるオブジェクト（物体）から、静的オブジェクト（物体）と、動的オブジェクト（物体）を判別する処理によって実行される。
この処理は、連続撮影された画像、例えば動画像の解析によって実行される。
この処理は、連続撮影された画像、例えば動画像の解析によって実行される。
【0055】
さらに、センサ（カメラ）１０１の撮影画像から人や、車等、動物体と推定されるオブジェクトを検出する処理を適用してもよい。
例えば、図４は、画像解析によって人を検出したデータの例である。
この人検出処理は、例えば予め記憶部に記憶された人の形状パターンと類似するパターンを撮影画像から検出処理、いわゆるパターンマッチングによって行うことができる。
例えば、図４は、画像解析によって人を検出したデータの例である。
この人検出処理は、例えば予め記憶部に記憶された人の形状パターンと類似するパターンを撮影画像から検出処理、いわゆるパターンマッチングによって行うことができる。
【0056】
さらに、静的オブジェクト（物体）と、動的オブジェクト（物体）を判別する処理としては、セマンティック・セグメンテーションを利用することも可能である。
【0057】
セマンティック・セグメンテーションは、画像認識処理の一種であり、ディープラーニングを用いて画像中の物体が画素レベルで何かを認識するタスクを行う手法である。例えば様々な実際のオブジェクトの形状情報やその他の特徴情報を登録したオブジェクト識別用の辞書データ（学習済みデータ）と、例えばカメラ撮影画像内のオブジェクトとの一致度に基づいて、画像の構成画素（ピクセル）各々が、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。
このセマンティック・セグメンテーションにより、カメラ撮影画像に含まれる様々なオブジェクト、例えば人、車、ビル、道路、木、池、芝生等、オブジェクトの種類を識別することができる。
このセマンティック・セグメンテーションにより、カメラ撮影画像に含まれる様々なオブジェクト、例えば人、車、ビル、道路、木、池、芝生等、オブジェクトの種類を識別することができる。
【0058】
図５は、カメラ撮影画像に対するセマンティック・セグメンテーションの適用結果の一例を示す画像である。
セマンティック・セグメンテーションの適用により、撮影画像内の様々なオブジェクトは、オブジェクト種類に応じた予め規定した色に区別されて出力される。
すなわち、出力色に基づいて、その画素部分のオブジェクト種類を判別することができる。
セマンティック・セグメンテーションの適用により、撮影画像内の様々なオブジェクトは、オブジェクト種類に応じた予め規定した色に区別されて出力される。
すなわち、出力色に基づいて、その画素部分のオブジェクト種類を判別することができる。
【0059】
このセマンティック・セグメンテーションによって識別されたオブジェクトの種類に基づいて、これらの識別オブジェクトを静的オブジェクト（物体）と、動的オブジェクト（物体）に分類することが可能となる。
【0060】
「（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数」については、自己位置推定部１０５による自己位置推定処理の実行中に、センサ（ＧＰＳ）１０３が通信可能であったＧＰＳ衛星の数を取得して解析することができる。
【0061】
このように、環境情報解析部１０６は、センサデータ取得部１０４の取得したセンサ検出情報を入力し、入力したセンサ検出情報に基づいて、自己位置推定部１０５が自己位置推定処理を実行した環境情報、例えば、
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析する。
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析する。
【0062】
なお、環境情報解析部１０６は、上記（ａ）～（ｄ）の環境情報の全てを解析することは必須ではなく、上記（ａ）～（ｄ）の環境情報の少なくとも１つを解析する構成であってもよい。
ただし、好ましくは、上記（ａ）～（ｄ）の環境情報の全て、または複数を解析する構成とすることが好ましい。
環境情報解析部１０６の解析した環境情報は、推定自己位置信頼度算出部１０７に入力される。
ただし、好ましくは、上記（ａ）～（ｄ）の環境情報の全て、または複数を解析する構成とすることが好ましい。
環境情報解析部１０６の解析した環境情報は、推定自己位置信頼度算出部１０７に入力される。
【0063】
推定自己位置信頼度算出部１０７は、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
推定自己位置信頼度算出部１０７は、環境情報解析部１０６の解析した環境情報、すなわち、自己位置推定部１０５が自己位置推定を実行した際の環境情報に基づいて、推定された自己位置の信頼度を算出する。
推定自己位置信頼度算出部１０７は、環境情報解析部１０６の解析した環境情報、すなわち、自己位置推定部１０５が自己位置推定を実行した際の環境情報に基づいて、推定された自己位置の信頼度を算出する。
【0064】
前述したように、環境情報解析部１０６は、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、例えば、
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析しており、この解析結果が、推定自己位置信頼度算出部１０７に入力されている。
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析しており、この解析結果が、推定自己位置信頼度算出部１０７に入力されている。
【0065】
推定自己位置信頼度算出部１０７は、これらの環境情報に基づいて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
【0066】
なお、上述したように、環境情報解析部１０６は、上記（ａ）～（ｄ）の環境情報の少なくとも１つを解析する構成であってもよく、推定自己位置信頼度算出部１０７は、上記（ａ）～（ｄ）の環境情報の少なくとも１つを入力して、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
【0067】
推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、例えば、
（ａ）周囲の明るさ
この環境情報を入力した場合の推定自己位置信頼度算出処理について説明する。
（ａ）周囲の明るさ
この環境情報を入力した場合の推定自己位置信頼度算出処理について説明する。
【0068】
図６に示すグラフは、横軸に明るさ（ｌｕｘ）、縦軸に自己位置推定誤差を示したグラフである。
このグラフは、予め生成されたグラフである。例えば、機械学習処理によって生成されたグラフである。
このグラフは、予め生成されたグラフである。例えば、機械学習処理によって生成されたグラフである。
【0069】
グラフから理解されるように、明るさが明るいほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、暗くなるほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
【0070】
一般的に、カメラ撮影画像を適用した自己位置推定処理では「画像から取得可能な明確な特徴点」、すなわち「スコアの高い特徴点」の数に依存する。
「スコアの高い特徴点」の数は、「画像の輝度」に依存する。
「画像の輝度」は「露光時間」と「周囲の明るさ」に依存する。
しかし、「露光時間」が長すぎるとブラーが大きくなり自己位置精度に影響が出る。そのため、「自己位置推定の精度」は「周囲の明るさ」に依存する。
その結果、明るさと、自己位置推定誤差の関係は、図６のグラフに示す関係となる。
「スコアの高い特徴点」の数は、「画像の輝度」に依存する。
「画像の輝度」は「露光時間」と「周囲の明るさ」に依存する。
しかし、「露光時間」が長すぎるとブラーが大きくなり自己位置精度に影響が出る。そのため、「自己位置推定の精度」は「周囲の明るさ」に依存する。
その結果、明るさと、自己位置推定誤差の関係は、図６のグラフに示す関係となる。
【0071】
図６に示すように、明るさが明るいほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、暗くなるほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
【0072】
図６に示すグラフに対応するデータ、すなわち、明るさ（ｌｕｘ）と自己位置推定誤差との対応関係データは、情報処理装置１００の記憶部に格納されており、推定自己位置信頼度算出部１０７は、明るさ（ｌｕｘ）と自己位置推定誤差との対応関係データ（＝図６に示すグラフ）を利用して、自己位置推定部１０５によって推定された自己位置の信頼度を算出する。
【0073】
具体的な信頼度算出処理に際しては、例えば、センサ（カメラ）１０１の撮影画像の平均輝度（画素値）に基づいて算出する。
その他、例えば、照度センサを有する場合は、照度センサから得られる値（明るさ（ｌｕｘ））を用いてもよい。また、センサ（カメラ）１０１の画像撮影時の露光時間、ゲイン等を用いて算出してもよい。
その他、例えば、照度センサを有する場合は、照度センサから得られる値（明るさ（ｌｕｘ））を用いてもよい。また、センサ（カメラ）１０１の画像撮影時の露光時間、ゲイン等を用いて算出してもよい。
【0074】
例えば、自己位置推定部１０５が自己位置推定を実行した際のセンサ（カメラ）１０１の撮影画像の平均輝度（画素値）と、自己位置推定部１０５が推定した自己位置の信頼度（０～１００）との対応関係は、図７に示すグラフとなる。なお、図７に示す例は、信頼度を最低信頼度から最高信頼度の値を０～１００として設定した例である。
【0075】
図７に示すグラフは、図６に示す明るさ（ｌｕｘ）と自己位置推定誤差との対応関係グラフから算出される。
具体的には、図７に示すグラフは、図６に示す明るさ（ｌｕｘ）と自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
具体的には、図７に示すグラフは、図６に示す明るさ（ｌｕｘ）と自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
【0076】
推定自己位置信頼度算出部１０７は、この図７に示す撮影画像の平均輝度（画素値）と推定自己位置信頼度との対応関係データを用いて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
【0077】
具体的には、例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（カメラ）１０１によって撮影された撮影画像の平均輝度（画素値）が、図７に示すグラフの輝度（Ｌ１）である場合、自己位置推定部１０５によって推定された自己位置の信頼度は、約７５となる。ただし、信頼度は、最低信頼度（０）～最高信頼度（１００）の設定である。
【0078】
次に、推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
（ｂ）カメラ撮影画像から検出された特徴点のスコア
この環境情報を入力した場合の推定自己位置信頼度算出処理について説明する。
（ｂ）カメラ撮影画像から検出された特徴点のスコア
この環境情報を入力した場合の推定自己位置信頼度算出処理について説明する。
【0079】
図８に示すグラフは、横軸に特徴点スコア、縦軸に自己位置推定誤差を示したグラフである。
このグラフは、予め生成されたグラフである。例えば、自己位置推定精度の実験によって生成されたグラフである。
このグラフは、予め生成されたグラフである。例えば、自己位置推定精度の実験によって生成されたグラフである。
【0080】
グラフから理解されるように、特徴点スコアが高いほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、特徴点スコアが低いほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
【0081】
なお、ここで特徴点スコアは、カメラ撮影画像から得られた全ての特徴点のスコアの総計値である。
カメラ撮影画像から得られた特徴点の数が多いほど特徴点スコアは高くなる。
また、カメラ撮影画像から得られた特徴が、「際立っている」、「トラッキングしやすい」等の予め規定した特徴点評価指標が高いほど特徴点スコアは高くなる。
カメラ撮影画像から得られた特徴点の数が多いほど特徴点スコアは高くなる。
また、カメラ撮影画像から得られた特徴が、「際立っている」、「トラッキングしやすい」等の予め規定した特徴点評価指標が高いほど特徴点スコアは高くなる。
【0082】
その結果、カメラ撮影画像から得られた全ての特徴点のスコアの総計値である「特徴点スコア」と、自己位置推定誤差の関係は、図８のグラフに示す関係となる。
【0083】
図８に示すグラフに対応するデータ、すなわち、特徴点スコアと自己位置推定誤差との対応関係データは、情報処理装置１００の記憶部に格納されており、推定自己位置信頼度算出部１０７は、特徴点スコアと自己位置推定誤差との対応関係データ（＝図８に示すグラフ）を利用して、自己位置推定部１０５によって推定された自己位置の信頼度を算出する。
【0084】
具体的な信頼度算出処理に際しては、例えば、センサ（カメラ）１０１の撮影画像から得れる全ての特徴点のスコアの総計値（特徴点スコア）に基づいて算出する。
【0085】
例えば、自己位置推定部１０５が自己位置推定を実行した際のセンサ（カメラ）１０１の撮影画像から得れる全ての特徴点のスコアの総計値（特徴点スコア）と、自己位置推定部１０５が推定した自己位置の信頼度（０～１００）との対応関係は、図９に示すグラフとなる。なお、図９に示す例は、信頼度を最低信頼度から最高信頼度の値を０～１００として設定した例である。
【0086】
図９に示すグラフは、図８に示す特徴点スコアと自己位置推定誤差との対応関係グラフから算出される。
具体的には、図９に示すグラフは、図８に示す特徴点スコアと自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
具体的には、図９に示すグラフは、図８に示す特徴点スコアと自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
【0087】
推定自己位置信頼度算出部１０７は、この図９に示す特徴点スコアと推定自己位置信頼度との対応関係データを用いて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
【0088】
具体的には、例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（カメラ）１０１によって撮影された撮影画像から得れる全ての特徴点のスコアの総計値（特徴点スコア）が、図９に示すグラフの輝度（Ｓ１）である場合、自己位置推定部１０５によって推定された自己位置の信頼度は、約７５となる。ただし、信頼度は、最低信頼度（０）～最高信頼度（１００）の設定である。
【0089】
次に、推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
を入力した場合の処理について説明する。
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
を入力した場合の処理について説明する。
【0090】
図１０に示すグラフは、横軸に静的オブジェクト数、または画像内の静的オブジェクトの面積占有率、縦軸に自己位置推定誤差を示したグラフである。
このグラフは、予め生成されたグラフである。例えば、自己位置推定精度の実験によって生成されたグラフである。
このグラフは、予め生成されたグラフである。例えば、自己位置推定精度の実験によって生成されたグラフである。
【0091】
グラフから理解されるように、静的オブジェクト数、または画像内の静的オブジェクトの面積占有率が高いほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、静的オブジェクト数、または画像内の静的オブジェクトの面積占有率が低いほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
なお、ここで静的オブジェクト数は、カメラ撮影画像から得られた全ての静的オブジェクトの総数である。
なお、ここで静的オブジェクト数は、カメラ撮影画像から得られた全ての静的オブジェクトの総数である。
【0092】
図１０に示すグラフに対応するデータ、すなわち、静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定誤差との対応関係データは、情報処理装置１００の記憶部に格納されており、推定自己位置信頼度算出部１０７は、静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定誤差との対応関係データ（＝図１０に示すグラフ）を利用して、自己位置推定部１０５によって推定された自己位置の信頼度を算出する。
【0093】
具体的な信頼度算出処理に際しては、例えば、センサ（カメラ）１０１の撮影画像から得れる静的オブジェクトの数または画像内の静的オブジェクトの面積占有率に基づいて算出する。
【0094】
例えば、自己位置推定部１０５が自己位置推定を実行した際のセンサ（カメラ）１０１の撮影画像から得れる静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定部１０５が推定した自己位置の信頼度（０～１００）との対応関係は、図１１に示すグラフとなる。なお、図１１に示す例は、信頼度を最低信頼度から最高信頼度の値を０～１００として設定した例である。
【0095】
図１１に示すグラフは、図１０に示す静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定誤差との対応関係グラフから算出される。
具体的には、図１１に示すグラフは、図１０に示す静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
具体的には、図１１に示すグラフは、図１０に示す静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
【0096】
推定自己位置信頼度算出部１０７は、この図１１に示す静的オブジェクト数または画像内の静的オブジェクトの面積占有率と、推定自己位置信頼度との対応関係データを用いて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
【0097】
具体的には、例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（カメラ）１０１によって撮影された撮影画像から得れる全ての静的オブジェクトの数または画像内の静的オブジェクトの面積占有率が、図１１に示すグラフの静的オブジェクト数または画像内の静的オブジェクトの面積占有率（Ｃ１）である場合、自己位置推定部１０５によって推定された自己位置の信頼度は、約６５となる。ただし、信頼度は、最低信頼度（０）～最高信頼度（１００）の設定である。
【0098】
次に、推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
を入力した場合の処理について説明する。
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
を入力した場合の処理について説明する。
【0099】
図１２に示すグラフは、横軸に信号受信可能なＧＰＳ数、縦軸に自己位置推定誤差を示したグラフである。
このグラフは、予め生成されたグラフである。例えば、機械学習処理によって生成されたグラフである。
このグラフは、予め生成されたグラフである。例えば、機械学習処理によって生成されたグラフである。
【0100】
グラフから理解されるように、信号受信可能なＧＰＳ数が高いほど、自己位置推定誤差は低下し、高精度な自己位置推定が可能となる。一方、信号受信可能なＧＰＳ数が低いほど、自己位置推定誤差は上昇し、自己位置推定の精度が低下する。
なお、ここで信号受信可能なＧＰＳ数は、センサ（ＧＰＳ）１０３が信号受信可能なＧＰＳ衛星の数である。
なお、ここで信号受信可能なＧＰＳ数は、センサ（ＧＰＳ）１０３が信号受信可能なＧＰＳ衛星の数である。
【0101】
図１２に示すグラフに対応するデータ、すなわち、信号受信可能なＧＰＳ数と自己位置推定誤差との対応関係データは、情報処理装置１００の記憶部に格納されており、推定自己位置信頼度算出部１０７は、信号受信可能なＧＰＳ数と自己位置推定誤差との対応関係データ（＝図１２に示すグラフ）を利用して、自己位置推定部１０５によって推定された自己位置の信頼度を算出する。
【0102】
例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（ＧＰＳ）１０３が信号受信したＧＰＳ衛星の数と、自己位置推定部１０５が推定した自己位置の信頼度（０～１００）との対応関係は、図１３に示すグラフとなる。なお、図１３に示す例は、信頼度を最低信頼度から最高信頼度の値を０～１００として設定した例である。
【0103】
図１３に示すグラフは、図１２に示す信号受信可能なＧＰＳ数と自己位置推定誤差との対応関係グラフから算出される。
具体的には、図１３に示すグラフは、図１２に示す信号受信可能なＧＰＳ数と自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
具体的には、図１３に示すグラフは、図１２に示す信号受信可能なＧＰＳ数と自己位置推定誤差との対応関係グラフを上下反転することで生成することができる。
【0104】
推定自己位置信頼度算出部１０７は、この図１３に示す信号受信可能なＧＰＳ数と推定自己位置信頼度との対応関係データを用いて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
【0105】
具体的には、例えば、自己位置推定部１０５が自己位置推定を実行した際に、センサ（カメラ）１０１によって撮影された撮影画像から得れる全ての信号受信可能なＧＰＳの数が、図１３に示すグラフの信号受信可能なＧＰＳ数（Ｇ１）である場合、自己位置推定部１０５によって推定された自己位置の信頼度は、約８５となる。ただし、信頼度は、最低信頼度（０）～最高信頼度（１００）の設定である。
【0106】
ここまで、推定自己位置信頼度算出部１０７が、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
これらの環境情報のいずれか１つを入力した場合の信頼度算出処理、すなわち、自己位置推定部１０５によって推定された自己位置の信頼度の算出処理例について説明した。
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
これらの環境情報のいずれか１つを入力した場合の信頼度算出処理、すなわち、自己位置推定部１０５によって推定された自己位置の信頼度の算出処理例について説明した。
【0107】
推定自己位置信頼度算出部１０７は、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
これら（ａ）～（ｄ）の環境情報の全て、あるいは複数を入力する場合もある。
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
これら（ａ）～（ｄ）の環境情報の全て、あるいは複数を入力する場合もある。
【0108】
この場合には、個別の環境情報に基づいて算出した信頼度を重み付け加算して最終的な信頼度を算出する。
例えば、
環境情報＝「（ａ）周囲の明るさ」に基づいて算出した推定自己位置信頼度＝Ｖ１
環境情報＝「（ｂ）カメラ撮影画像から検出された特徴点のスコア」に基づいて算出した推定自己位置信頼度＝Ｖ２
環境情報＝「（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率」に基づいて算出した推定自己位置信頼度＝Ｖ３
環境情報＝「（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数」に基づいて算出した推定自己位置信頼度＝Ｖ４
とする。
例えば、
環境情報＝「（ａ）周囲の明るさ」に基づいて算出した推定自己位置信頼度＝Ｖ１
環境情報＝「（ｂ）カメラ撮影画像から検出された特徴点のスコア」に基づいて算出した推定自己位置信頼度＝Ｖ２
環境情報＝「（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率」に基づいて算出した推定自己位置信頼度＝Ｖ３
環境情報＝「（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数」に基づいて算出した推定自己位置信頼度＝Ｖ４
とする。
【0109】
この場合、推定自己位置信頼度算出部１０７は、上記４種類の環境情報に基づいて算出した個別の信頼度Ｖ１，Ｖ２，Ｖ３，Ｖ４を、予め規定した重み係数α１～α４を用いて、以下の式に従って最終的な信頼度、すなわち、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
信頼度＝（α１×Ｖ１）＋（α２×Ｖ２）＋（α３×Ｖ３）＋（α４×Ｖ４）
信頼度＝（α１×Ｖ１）＋（α２×Ｖ２）＋（α３×Ｖ３）＋（α４×Ｖ４）
【0110】
推定自己位置信頼度算出部１０７は、例えば上記式に従って、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
なお、重み係数α１～α４については、例えば上記式に従って算出される信頼度の範囲（例えば０～１００）に応じて決定する。
なお、重み係数α１～α４については、例えば上記式に従って算出される信頼度の範囲（例えば０～１００）に応じて決定する。
【0111】
なお、例えは、上記４種類の環境情報に基づいて算出した個別の信頼度として、Ｖ１，Ｖ２のみしか得られない場合には、予め規定した重み係数β１～β２を用いて、以下の式に従って最終的な信頼度、すなわち、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
信頼度＝（β１×Ｖ１）＋（β２×Ｖ２）
信頼度＝（β１×Ｖ１）＋（β２×Ｖ２）
【0112】
このように、推定自己位置信頼度算出部１０７は、上記４種類の環境情報中、得られた環境情報の数と種類に応じて、最適な重み係数を設定して信頼度の算出処理を行う。
【0113】
上述したように、推定自己位置信頼度算出部１０７は、環境情報解析部１０６の解析した環境情報、すなわち、自己位置推定部１０５が自己位置推定を実行した際の環境情報に基づいて、推定された自己位置の信頼度を算出する。
【0114】
さらに、推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度を、予め規定したしきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」と比較し、算出した推定自己位置信頼度が、「許容信頼度しきい値」未満であった場合、管制センターや、ユーザ（操縦者）の保持するコントローラの情報表示部１２１に警告表示を行う。
例えば、図１４に示すような、警告表示を実行する。
例えば、図１４に示すような、警告表示を実行する。
【0115】
さらに、図１５に示すように、推定自己位置信頼度インジケータを表示して、推定自己位置信頼度算出部１０７が算出した信頼度を示す構成としてもよい。
例えば図１６に示すようにドローン１０がカメラ撮影画像として空の画像しか撮影できないような状態では、撮影画像からの特徴点抽出が困難となるため自己位置推定が困難になり、結果として自己位置推定精度が低下することになる。
例えば図１６に示すようにドローン１０がカメラ撮影画像として空の画像しか撮影できないような状態では、撮影画像からの特徴点抽出が困難となるため自己位置推定が困難になり、結果として自己位置推定精度が低下することになる。
【0116】
さらに、推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度が、規定しきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」未満である場合、移動体制御部１０８に移動体の飛行経路を変更するように飛行制御指示を出力する。
【0117】
例えば、推定自己位置の信頼度が低い経路は避けて、推定自己位置の信頼度が高くなるような経路を探索させて経路決定を行う。
具体的には、例えば、ＧＰＳ衛星からの信号受信のしやすい構想ビルの少ない経路を選択する。なお、地図情報は、情報処理装置の記憶部、または外部サーバから受信することができる。
具体的には、例えば、ＧＰＳ衛星からの信号受信のしやすい構想ビルの少ない経路を選択する。なお、地図情報は、情報処理装置の記憶部、または外部サーバから受信することができる。
【0118】
また、推定自己位置信頼度算出部１０７は、ドローンの飛行経路に従って、遂次算出される信頼度の推移を検証して、信頼度が低くなる方向や、高くなる方向を推定して、高くなる方向を進行経路として選択するような飛行指示を移動体制御部１０８に出力する。
【0119】
なお、飛行経路を修正した場合には、例えば図１７に示すように、情報表示部１２１に修正した飛行経路を示す表示データを出力する。
【0120】
さらに、推定自己位置信頼度算出部１０７は、センサ１０１～１０３のセンシング方向の制御を行うためのセンシング方向制御情報をセンサに出力する構成としてもよい。
すなわち、自己位置推定の精度をあげるために、特徴点の多い画像を撮影させるようにカメラの撮影方向を変更させるといった制御である。
すなわち、自己位置推定の精度をあげるために、特徴点の多い画像を撮影させるようにカメラの撮影方向を変更させるといった制御である。
【0121】
なお、推定自己位置信頼度算出部１０７は、上述したように、環境情報解析部１０６から、自己位置推定部１０５が自己位置推定を実行した際の環境情報として、
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
これら（ａ）～（ｄ）の環境情報を入力し、各環境情報に応じた信頼度を算出する。
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
これら（ａ）～（ｄ）の環境情報を入力し、各環境情報に応じた信頼度を算出する。
【0122】
この場合、例えば、ＧＰＳ信号に基づいて、十分に高い自己位置推定が可能であるといった判断を行うことも可能であり、このような場合には、その他のセンサ（カメラ、ＬｉＤＡＲ）のスイッチをＯＦＦとして節電する処理を行ってもよい。
【0123】
［３．本開示の情報処理装置が実行する処理のシーケンスについて］
次に、本開示の情報処理装置が実行する処理のシーケンスについて説明する。
次に、本開示の情報処理装置が実行する処理のシーケンスについて説明する。
【0124】
図１８に示すフローチャートを参照して本開示の情報処理装置が実行する処理のシーケンスについて説明する。
【0125】
なお、図１８のフローチャートに従った処理は、情報処理装置内部のメモリに格納されたプログラムに従って、情報処理装置のプログラム実行機能を持つＣＰＵ等から構成される制御部（データ処理部）の制御の下で実行可能な処理である。
以下、図１８以下に示すフローの各ステップの処理について、
以下、図１８以下に示すフローの各ステップの処理について、
【0126】
（ステップＳ１０１）
まず、ドローン１０に搭載された情報処理装置１００は、ステップＳ１０１においてセンサデータを取得する。
まず、ドローン１０に搭載された情報処理装置１００は、ステップＳ１０１においてセンサデータを取得する。
【0127】
この処理は、図２に示す情報処理装置１００のセンサデータ取得部１０４が実行する処理である。
【0128】
図２を参照して説明したように、ドローンには、カメラ、ＬｉＤＡＲ、ＧＰＳ等の様々なセンサが装着されており、センサデータ取得部１０４は、これらの様々なセンサ検出情報を入力する。
【0129】
（ステップＳ１０２）
ステップＳ１０２の処理と、ステップＳ１０３の処理は並列に実行可能な処理である。
ステップＳ１０２において、情報処理装置１００は、自己位置推定処理を実行する。
ステップＳ１０２の処理と、ステップＳ１０３の処理は並列に実行可能な処理である。
ステップＳ１０２において、情報処理装置１００は、自己位置推定処理を実行する。
【0130】
この処理は、図２に示す情報処理装置１００の自己位置推定部１０５が実行する処理である。
【0131】
自己位置推定処理は、例えばセンサ取得情報であるＧＰＳ位置情報を利用した処理、あるいはセンサを構成するカメラの撮影画像を利用したＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理などによって実行される。
【0132】
ＳＬＡＭ処理は、カメラで画像（動画像）を撮影し、複数の撮影画像に含まれる特徴点の軌跡を解析することで、特徴点の３次元位置を推定するとともに、カメラ（自己）の位置姿勢を推定（ローカリゼーション）する処理であり、特徴点の３次元位置情報を用いて周囲の地図（環境地図）を作成（ｍａｐｐｉｎｇ）することができる。このように、カメラ（自己）の位置同定（ローカリゼーション）と周囲の地図（環境地図）の作成（ｍａｐｐｉｎｇ）を並行して実行する処理がＳＬＡＭと呼ばれる。
【0133】
（ステップＳ１０３）
さらに、情報処理装置１００は、ステップＳ１０３において、センサ取得情報に基づいて、外部環境情報を解析する。
さらに、情報処理装置１００は、ステップＳ１０３において、センサ取得情報に基づいて、外部環境情報を解析する。
【0134】
この処理は、図２に示す情報処理装置１００の環境情報解析部１０６が実行する処理である。
環境情報解析部１０６は、センサデータ取得部１０４の取得したセンサ検出情報を入力し、入力したセンサ検出情報に基づいて、自己位置推定処理を実行した環境情報を解析する。
環境情報解析部１０６は、センサデータ取得部１０４の取得したセンサ検出情報を入力し、入力したセンサ検出情報に基づいて、自己位置推定処理を実行した環境情報を解析する。
【0135】
具体的には、前述したように、自己位置推定処理を実行した際の環境、例えば、
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析する。
（ａ）周囲の明るさ
（ｂ）カメラ撮影画像から検出された特徴点のスコア
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数
例えば、これらの環境情報を解析する。
【0136】
（ステップＳ１０４）
次に情報処理装置１００は、ステップＳ１０４において、推定自己位置信頼度算出処理を実行する。
次に情報処理装置１００は、ステップＳ１０４において、推定自己位置信頼度算出処理を実行する。
【0137】
この処理は、図２に示す情報処理装置１００の推定自己位置信頼度算出部１０７が実行する処理である。
【0138】
推定自己位置信頼度算出部１０７は、環境情報解析部１０６の解析した環境情報、すなわち、自己位置推定部１０５が自己位置推定を実行した際の環境情報に基づいて、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
【0139】
この処理は、先に図６～図１３のグラフを参照して説明した処理に相当する。
例えば、推定自己位置信頼度算出部１０７は、上記４種類の環境情報に基づいて算出した個別の信頼度Ｖ１，Ｖ２，Ｖ３，Ｖ４を、予め規定した重み係数α１～α４を用いて、以下の式に従って最終的な信頼度、すなわち、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
信頼度＝（α１×Ｖ１）＋（α２×Ｖ２）＋（α３×Ｖ３）＋（α４×Ｖ４）
例えば、推定自己位置信頼度算出部１０７は、上記４種類の環境情報に基づいて算出した個別の信頼度Ｖ１，Ｖ２，Ｖ３，Ｖ４を、予め規定した重み係数α１～α４を用いて、以下の式に従って最終的な信頼度、すなわち、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
信頼度＝（α１×Ｖ１）＋（α２×Ｖ２）＋（α３×Ｖ３）＋（α４×Ｖ４）
【0140】
推定自己位置信頼度算出部１０７は、例えば上記式に従って、自己位置推定部１０５が推定した自己位置の信頼度を算出する。
【0141】
（ステップＳ１０５）
ステップＳ１０５の処理と、ステップＳ１０６の処理は並列に実行可能な処理である。
情報処理装置１００は、ステップＳ１０５において、移動体（ドローン１０）の制御を行う。
ステップＳ１０５の処理と、ステップＳ１０６の処理は並列に実行可能な処理である。
情報処理装置１００は、ステップＳ１０５において、移動体（ドローン１０）の制御を行う。
【0142】
この処理は、図２に示す情報処理装置１００の移動体制御部１０８が実行する処理である。
推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度が、規定しきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」未満である場合、移動体制御部１０８に移動体の飛行経路を変更するように飛行制御指示を出力する。
移動体制御部１０８は、推定自己位置信頼度算出部１０７の指示に従って、移動体（ドローン１０）の制御を行う。
推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度が、規定しきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」未満である場合、移動体制御部１０８に移動体の飛行経路を変更するように飛行制御指示を出力する。
移動体制御部１０８は、推定自己位置信頼度算出部１０７の指示に従って、移動体（ドローン１０）の制御を行う。
【0143】
例えば、推定自己位置の信頼度が低い経路は避けて、推定自己位置の信頼度が高くなるような経路を探索させて経路決定を行う。
具体的には、例えば、ＧＰＳ衛星からの信号受信のしやすい構想ビルの少ない経路を選択する。なお、地図情報は、情報処理装置の記憶部、または外部サーバから受信することができる。
具体的には、例えば、ＧＰＳ衛星からの信号受信のしやすい構想ビルの少ない経路を選択する。なお、地図情報は、情報処理装置の記憶部、または外部サーバから受信することができる。
【0144】
（ステップＳ１０６）
さらに、情報処理装置１００は、ステップＳ１０６において、表示情報を生成して表示部に対する情報出力処理を行う。
さらに、情報処理装置１００は、ステップＳ１０６において、表示情報を生成して表示部に対する情報出力処理を行う。
【0145】
この処理は、図２に示す情報表示部１２１を利用した情報表示処理である。
推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度を、予め規定したしきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」と比較し、算出した推定自己位置信頼度が、「許容信頼度しきい値」未満であった場合、管制センターや、ユーザ（操縦者）の保持するコントローラの情報表示部１２１に警告表示を行う。
例えば、図１４に示すような、警告表示を実行する。
推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度を、予め規定したしきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」と比較し、算出した推定自己位置信頼度が、「許容信頼度しきい値」未満であった場合、管制センターや、ユーザ（操縦者）の保持するコントローラの情報表示部１２１に警告表示を行う。
例えば、図１４に示すような、警告表示を実行する。
【0146】
さらに、図１５に示すように、推定自己位置信頼度インジケータを表示して、推定自己位置信頼度算出部１０７が算出した信頼度を示す構成としてもよい。
【0147】
［４．外部からドローン制御を行う構成について］
次に、変形例として、外部からドローン制御を行う構成について説明する。
次に、変形例として、外部からドローン制御を行う構成について説明する。
【0148】
例えば管制センターやユーザ（操縦者）のコントローラから、直接、ドローン１０に操縦信号を送信して、ドローン１０移動経路の制御が実行可能な構成では、必要に応じて、管制センターやユーザ（操縦者）のコントローラからドローン１０に制御信号を送信して、飛行経路の変更などを行うことが可能である。
【0149】
【0150】
【0151】
コントローラ１３０は、管制センター内、あるいはユーザ（操縦者）の所有するコントローラである。
情報処理装置１００の構成は、先に図２を参照して説明した構成と同様の構成である。
情報処理装置１００の構成は、先に図２を参照して説明した構成と同様の構成である。
【0152】
すなわち、情報処理装置１００は、センサ（カメラ）１０１、センサ（ＬｉＤＡＲ）１０２、センサ（ＧＰＳ）１０３、センサデータ取得部１０４、自己位置推定部１０５、環境情報解析部１０６、推定自己位置信頼度算出部１０７、移動体制御部１０８を有する。
【0153】
【0154】
ドローン１０内の情報処理装置１００の推定自己位置信頼度算出部１０７は、算出した推定自己位置の信頼度を、予め規定したしきい値、例えば、図７、図９、図１１、図１３に示す「許容信頼度しきい値」と比較し、算出した推定自己位置信頼度が、「許容信頼度しきい値」未満であった場合、管制センターや、ユーザ（操縦者）の保持するコントローラ１３０の情報表示部１３１に警告表示を行う。
例えば、図１４に示すような、警告表示を実行する。
例えば、図１４に示すような、警告表示を実行する。
【0155】
【0156】
例えば管制センターやユーザ（操縦者）のコントローラ１３０側で警告表示を見た管制官やユーザ（操縦者）は、例えば、操作部１３２を介して、最適な飛行経路を入力する。さらに、移動体制御信号出力部１３３は、操作部１３２において選択された飛行経路に従った飛行を行うための制御信号をドローン１０の情報処理装置１００の移動体制御部１０８に送信する。
【0157】
移動体制御部１０８は、コントローラ１３０からの受信信号に基づいて、ドローン１０の飛行制御を行う。
【0158】
［５．情報処理装置のハードウェア構成例について］
次に、情報処理装置のハードウェア構成例について説明する。
なお、本開示の情報処理装置には、ドローンに搭載された情報処理装置、すなわち図２や図１９に示す構成を持つ情報処理装置１００の他、例えば図１９に示すコントローラ１３０も含まれる。
次に、情報処理装置のハードウェア構成例について説明する。
なお、本開示の情報処理装置には、ドローンに搭載された情報処理装置、すなわち図２や図１９に示す構成を持つ情報処理装置１００の他、例えば図１９に示すコントローラ１３０も含まれる。
【0159】
【0160】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
【0161】
ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種センサ、カメラ、スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
【0162】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばＵＳＢメモリ、ＳＤカード、ハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【0163】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
【0164】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0165】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有する情報処理装置。
（１） 移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有する情報処理装置。
【0166】
（２） 前記環境情報解析部は、
前記自己位置推定部において自己位置推定処理が実行された際の環境情報として、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報を取得する（１）に記載の情報処理装置。
前記自己位置推定部において自己位置推定処理が実行された際の環境情報として、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報を取得する（１）に記載の情報処理装置。
【0167】
（３） 前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する（１）または（２）に記載の情報処理装置。
前記自己位置推定部において自己位置推定処理が実行された際の、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する（１）または（２）に記載の情報処理装置。
【0168】
（４） 前記センサデータ取得部は、
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさを解析し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさが、明るいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１）～（３）いずれかに記載の情報処理装置。
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさを解析し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の周囲の明るさが、明るいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１）～（３）いずれかに記載の情報処理装置。
【0169】
（５） 前記センサデータ取得部は、
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアを算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアが高いほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１に記載の情報処理装置。
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアを算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の特徴点スコアが高いほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１に記載の情報処理装置。
【0170】
（６） 前記センサデータ取得部は、
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率を算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１）～（５）いずれかに記載の情報処理装置。
前記センサを構成するカメラの撮影画像を入力し、
前記環境情報解析部は、
前記カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率を算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の静的オブジェクトの数、または画像内の静的オブジェクト面積占有率が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１）～（５）いずれかに記載の情報処理装置。
【0171】
（７） 前記センサデータ取得部は、
前記センサを構成するＧＰＳの受信信号を入力し、
前記環境情報解析部は、
カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数を算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１）～（６）いずれかに記載の情報処理装置。
前記センサを構成するＧＰＳの受信信号を入力し、
前記環境情報解析部は、
カメラの撮影画像から、前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数を算出し、
前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際のＧＰＳの受信したＧＰＳ衛星の数が大きいほど、前記自己位置推定部が算出した推定自己位置の信頼度が高いと判定する（１）～（６）いずれかに記載の情報処理装置。
【0172】
（８） 前記推定自己位置信頼度算出部は、
前記自己位置推定部において自己位置推定処理が実行された際の、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報を入力し、
入力環境情報各々に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出し、
算出した環境情報各々に対応する信頼度の重み付け加算処理を実行して、最終的な推定自己位置信頼度を算出する（１）～（７）いずれかに記載の情報処理装置。
前記自己位置推定部において自己位置推定処理が実行された際の、
（ａ）周囲の明るさ、
（ｂ）カメラ撮影画像から検出された特徴点のスコア、
（ｃ）カメラ撮影画像から検出された静的オブジェクトの数、または画像内の静的オブジェクトの面積占有率、
（ｄ）ＧＰＳ信号が受信可能なＧＰＳ衛星の数、
上記（ａ）～（ｄ）の少なくともいずれかの環境情報を入力し、
入力環境情報各々に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出し、
算出した環境情報各々に対応する信頼度の重み付け加算処理を実行して、最終的な推定自己位置信頼度を算出する（１）～（７）いずれかに記載の情報処理装置。
【0173】
（９） 前記推定自己位置信頼度算出部は、
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、外部の情報表示部に出力する（１）～（８）いずれかに記載の情報処理装置。
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、外部の情報表示部に出力する（１）～（８）いずれかに記載の情報処理装置。
【0174】
（１０） 前記推定自己位置信頼度算出部は、
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
外部の情報表示部に警告を出力する（１）～（９）いずれかに記載の情報処理装置。
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
外部の情報表示部に警告を出力する（１）～（９）いずれかに記載の情報処理装置。
【0175】
（１１） 前記推定自己位置信頼度算出部は、
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
前記移動体の移動制御を実行する移動体制御部に対して、移動制御を行うように指示を出力する（１）～（１０）いずれかに記載の情報処理装置。
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
前記移動体の移動制御を実行する移動体制御部に対して、移動制御を行うように指示を出力する（１）～（１０）いずれかに記載の情報処理装置。
【0176】
（１２） 前記推定自己位置信頼度算出部は、
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
前記センサのセンシング方向の制御を行うためのセンシング方向制御情報を前記センサに出力する（１）～（１１）いずれかに記載の情報処理装置。
前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度が予め規定したしきい値未満であった場合、
前記センサのセンシング方向の制御を行うためのセンシング方向制御情報を前記センサに出力する（１）～（１１）いずれかに記載の情報処理装置。
【0177】
（１３） 移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムであり、
前記移動装置は、
前記移動装置に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出部を有し、
前記コントローラは、
前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示部と、
前記移動装置の移動ルートを入力可能な操作部と、
前記操作部を介して入力された前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力部を有する情報処理システム。
前記移動装置は、
前記移動装置に備えられたセンサの検出情報を取得するセンサデータ取得部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定部と、
前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析部と、
前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出部を有し、
前記コントローラは、
前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示部と、
前記移動装置の移動ルートを入力可能な操作部と、
前記操作部を介して入力された前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力部を有する情報処理システム。
【0178】
（１４） 情報処理装置において実行する情報処理方法であり、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行する情報処理方法。
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行する情報処理方法。
【0179】
（１５） 移動装置と、前記移動装置の制御情報を出力するコントローラによって構成される情報処理システムにおいて実行する情報処理方法であり、
前記移動装置において、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出ステップを実行し、
前記コントローラにおいて、
情報表示部が、前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示ステップと、
移動体制御信号出力部が、操作部を介した前記移動装置の移動ルートの入力に応じて、前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力ステップを実行する情報処理方法。
前記移動装置において、
センサデータ取得部が、移動体に備えられたセンサの検出情報を取得するセンサデータ取得ステップと、
自己位置推定部が、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行する自己位置推定ステップと、
環境情報解析部が、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析する環境情報解析ステップと、
推定自己位置信頼度算出部が、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出するとともに、算出した推定自己位置信頼度を、前記コントローラに出力する推定自己位置信頼度算出ステップを実行し、
前記コントローラにおいて、
情報表示部が、前記移動装置の前記推定自己位置信頼度算出部から入力する推定自己位置信頼度を表示する情報表示ステップと、
移動体制御信号出力部が、操作部を介した前記移動装置の移動ルートの入力に応じて、前記移動ルートに従って前記移動装置を移動させるための制御情報を生成して前記移動装置に出力する移動体制御信号出力ステップを実行する情報処理方法。
【0180】
（１６） 情報処理装置において情報処理を実行させるプログラムであり、
センサデータ取得部に、移動体に備えられたセンサの検出情報を取得させるセンサデータ取得ステップと、
自己位置推定部に、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行させる自己位置推定ステップと、
環境情報解析部に、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析させる環境情報解析ステップと、
推定自己位置信頼度算出部に、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行させるプログラム。
センサデータ取得部に、移動体に備えられたセンサの検出情報を取得させるセンサデータ取得ステップと、
自己位置推定部に、前記センサデータ取得部からセンサ検出情報を入力して、前記移動体の自己位置推定を実行させる自己位置推定ステップと、
環境情報解析部に、前記センサデータ取得部からセンサ検出情報を入力して、前記自己位置推定部において自己位置推定処理が実行された際の環境情報を解析させる環境情報解析ステップと、
推定自己位置信頼度算出部に、前記環境情報解析部において解析された環境情報に基づいて、前記自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出ステップを実行させるプログラム。
【0181】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0182】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0183】
以上、説明したように、本開示の一実施例の構成によれば、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
具体的には、例えば、移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、センサデータ取得部からセンサ検出情報を入力して、移動体の自己位置推定を実行する自己位置推定部と、自己位置推定部において自己位置推定処理が実行された際の周囲の明るさや、カメラ撮影画像の特徴点のスコア等の環境情報を解析する環境情報解析部と、環境情報解析部において解析された環境情報に基づいて、自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有し、算出信頼度に基づいて警告表示や飛行制御を行う。
本構成により、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
具体的には、例えば、移動体に備えられたセンサの検出情報を取得するセンサデータ取得部と、センサデータ取得部からセンサ検出情報を入力して、移動体の自己位置推定を実行する自己位置推定部と、自己位置推定部において自己位置推定処理が実行された際の周囲の明るさや、カメラ撮影画像の特徴点のスコア等の環境情報を解析する環境情報解析部と、環境情報解析部において解析された環境情報に基づいて、自己位置推定部において推定された自己位置の信頼度を算出する推定自己位置信頼度算出部を有し、算出信頼度に基づいて警告表示や飛行制御を行う。
本構成により、ドローン等の移動装置の自己位置推定の信頼度を算出して、警告表示や飛行制御を行う構成が実現される。
【符号の説明】
【0184】
１０ ドローン
２０ コントローラ
１００ 情報処理装置
１０１～１０３ センサ
１０４ センサデータ取得部
１０５ 自己位置推定部
１０６ 環境情報解析部
１０７ 推定自己位置信頼度算出部
１０８ 移動体制御部
１２０ 表示装置
１２１ 情報表示部
１３０ コントローラ
１３１ 情報表示部
１３２ 操作部
１３３ 移動体制御信号出力部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
２０ コントローラ
１００ 情報処理装置
１０１～１０３ センサ
１０４ センサデータ取得部
１０５ 自己位置推定部
１０６ 環境情報解析部
１０７ 推定自己位置信頼度算出部
１０８ 移動体制御部
１２０ 表示装置
１２１ 情報表示部
１３０ コントローラ
１３１ 情報表示部
１３２ 操作部
１３３ 移動体制御信号出力部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】