(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024122823
(43)【公開日】2024-09-09
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
G05D 1/43 20240101AFI20240902BHJP
G08G 1/00 20060101ALI20240902BHJP
G01C 21/00 20060101ALI20240902BHJP
G09B 29/00 20060101ALI20240902BHJP
【FI】
G05D1/02 H
G08G1/00 J
G01C21/00
G09B29/00 Z
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023088196
(22)【出願日】2023-05-29
(31)【優先権主張番号】P 2023030489
(32)【優先日】2023-02-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】遠藤 正文
(72)【発明者】
【氏名】米谷 竜
(72)【発明者】
【氏名】谷合 竜典
【テーマコード(参考)】
2C032
2F129
5H181
5H301
【Fターム(参考)】
2C032HB05
2F129AA03
2F129AA11
2F129CC35
2F129DD03
2F129DD04
2F129DD13
2F129DD21
2F129DD53
2F129EE45
2F129EE52
2F129EE65
2F129EE67
2F129EE78
2F129EE95
2F129FF02
2F129GG17
2F129HH02
2F129HH04
2F129HH12
2F129HH18
2F129HH19
2F129HH20
2F129HH21
5H181AA01
5H181AA26
5H181AA27
5H181BB04
5H181BB13
5H181CC04
5H181EE02
5H181EE12
5H181FF10
5H181FF23
5H181FF27
5H181FF32
5H181LL01
5H181LL02
5H181LL09
5H181LL16
5H301AA02
5H301AA03
5H301AA06
5H301AA10
5H301BB05
5H301BB14
5H301CC03
5H301CC06
5H301DD07
5H301DD15
(57)【要約】
【課題】領域又は空間の種別の分類誤りを考慮して、対象範囲の各位置についてリスクを推定するための指標となる、移動領域又は移動空間としての好ましさの確率分布を推定する。
【解決手段】情報処理装置は、対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部と、前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部と、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部と、
前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部と、
を含む情報処理装置。
【請求項2】
前記対象範囲の各位置の指標の確率分布に基づいて、前記対象範囲の各位置の前記指標を表すマップを生成するマップ生成部と、
前記マップに基づいて、前記移動体の移動経路を計画する経路計画部と、
を更に含む請求項1記載の情報処理装置。
【請求項3】
対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、前記対象範囲の各位置について、前記確信度を推定し、前記確信度に基づいて、前記対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成するマップ生成部と、
前記マップに基づいて、前記移動体の移動経路を計画する経路計画部と、
を含む情報処理装置。
【請求項4】
前記俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部と、
前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部と、を更に含み、
前記マップ生成部は、前記対象範囲の各位置の指標の確率分布と、前記対象範囲の各位置の前記確信度とに基づいて、前記マップを生成する請求項3記載の情報処理装置。
【請求項5】
前記移動体は、車両、ロボット、ゲーム上のキャラクタ、又は飛行体である請求項1~請求項4の何れか1項記載の情報処理装置。
【請求項6】
対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出し、
前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する
ことを含む処理をコンピュータが実行する情報処理方法。
【請求項7】
対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、前記対象範囲の各位置について、前記確信度を推定し、前記確信度に基づいて、前記対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成し、
前記マップに基づいて、前記移動体の移動経路を計画する
ことを含む処理をコンピュータが実行する情報処理方法。
【請求項8】
コンピュータを、
対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部、及び
前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部
として機能させるための情報処理プログラム。
【請求項9】
コンピュータを、
対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、前記対象範囲の各位置について、前記確信度を推定し、前記確信度に基づいて、前記対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成するマップ生成部、及び
前記マップに基づいて、前記移動体の移動経路を計画する経路計画部
として機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、地形分類モデルを用いて環境中の各位置について地形種類を決定的に(もっともそれらしい一つを)決定し、その地形種類に紐づくリスク推定モデルを用いてリスクを推定し、そのリスクに基づいてリスク考慮型の経路計画(たとえばA*探索)を実施する技術が知られている(例えば、非特許文献1を参照)。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】C. Cunningham et al., “Locally-adaptive slip prediction for planetary rovers using gaussian processes,” in Proceedings of International Conference on Robotics and Automation, 2017, pp. 5487-5494.
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、地形分類モデルを用いて環境中の各位置について地形種類を決定し、その地形種類に紐づくリスク推定モデルを用いてリスクを推定する。従って、地形分類誤りに対処することができない。
【0005】
本開示は、領域又は空間の種別の分類誤りを考慮して、対象範囲の各位置についてリスクを推定するための指標となる、移動領域又は移動空間としての好ましさの確率分布を推定することを目的とする。
【0006】
また、本開示は、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を考慮して、対象範囲の各位置についてリスクを推定するための指標となる、移動領域又は移動空間としての好ましさのマップを生成し、移動経路を計画することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、第1態様に係る情報処理装置は、対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部と、前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部と、を含む情報処理装置である。
【0008】
第2態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記対象範囲の各位置の指標の確率分布に基づいて、前記対象範囲の各位置の前記指標を表すマップを生成するマップ生成部と、前記マップに基づいて、前記移動体の移動経路を計画する経路計画部と、を更に含むようにしてもよい。
【0009】
第3態様に係る情報処理装置は、対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、前記対象範囲の各位置について、前記確信度を推定し、前記確信度に基づいて、前記対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成するマップ生成部と、前記マップに基づいて、前記移動体の移動経路を計画する経路計画部と、を含む情報処理装置である。
【0010】
第4態様に係る情報処理装置は、第3態様に係る情報処理装置において、前記俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部と、前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部と、を更に含み、前記マップ生成部は、前記対象範囲の各位置の指標の確率分布と、前記対象範囲の各位置の前記確信度とに基づいて、前記マップを生成する。
【0011】
第5態様に係る情報処理装置は、第1態様~第4態様の何れか1つに係る情報処理装置において、前記移動体は、車両、ロボット、ゲーム上のキャラクタ、又は飛行体である。
【0012】
第6態様に係る情報処理方法は、対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出し、前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出することを含む処理をコンピュータが実行する情報処理方法である。
【0013】
第7態様に係る情報処理方法は、対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、前記対象範囲の各位置について、前記確信度を推定し、前記確信度に基づいて、前記対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成し、前記マップに基づいて、前記移動体の移動経路を計画することを含む処理をコンピュータが実行する情報処理方法である。
【0014】
第8態様に係る情報処理プログラムは、コンピュータを、対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部、及び前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部として機能させるための情報処理プログラムである。
【0015】
第9態様に係る情報処理プログラムは、コンピュータを、対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、前記対象範囲の各位置について、前記確信度を推定し、前記確信度に基づいて、前記対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成するマップ生成部、及び前記マップに基づいて、前記移動体の移動経路を計画する経路計画部として機能させるための情報処理プログラムである。
【発明の効果】
【0016】
本開示の情報処理装置、情報処理方法、及び情報処理プログラムによれば、領域又は空間の種別の分類誤りを考慮して、対象範囲の各位置についてリスクを推定するための指標となる、移動領域又は移動空間としての好ましさの確率分布を推定することができる。
【0017】
本開示の情報処理装置、情報処理方法、及び情報処理プログラムによれば、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を考慮して、対象範囲の各位置についてリスクを推定するための指標となる、移動領域又は移動空間としての好ましさのマップを生成し、移動経路を計画することができる。
【図面の簡単な説明】
【0018】
【
図5】第1実施形態に係る情報処理システムの概略構成を示すブロック図である。
【
図6】本実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【
図7】第1実施形態の経路計画処理の流れを示すフローチャートである。
【
図8】第2実施形態に係る情報処理システムの概略構成を示すブロック図である。
【
図9】第2実施形態の経路計画処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本開示の実施形態の一例を、図面を参照しつつ説明する。本実施形態では、本開示に係る情報処理装置が、移動体の移動経路を計画する場合を例に説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法及び比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0020】
<概要>
ドローンや監視カメラから画像として得られる地形情報に基づき、環境中の各位置について「場所・地形の種類」(たとえば砂利、アスファルト、水たまり、壁など)を識別できる機械学習モデル(地形分類モデル)と、地形の種類に応じてAMRの移動におけるリスク(たとえば車輪のスリップによる横転やスタックなど)を推定する機械学習モデル(リスク推定モデル)が与えられた状況を考える。本開示の実施形態では、これらのモデルを用いて、カメラで撮影された環境全体のリスクマップを推定し、なるべく高リスクの領域を通過せずにゴールに到達するような「リスク考慮型経路計画」を実現する。
【0021】
特に、本開示の実施形態では、入力の曖昧さやデータ不足といった理由により地形分類・リスク推定モデルの推定に誤りが含まれる状況においても、その誤りを明確に考慮しつつローリスクな経路を計画できる。
【0022】
具体的には、(1)地形分類モデルを用いて環境中の各位置について「どの地形タイプである確率が何パーセントであるか」といった形式で、分類結果を確率分布として表現し、(2)あり得る地形タイプすべてのリスク推定モデルの推定結果を足し合わせ「地形Aの確率が70%であり、かつ地面の傾斜角がXXX度であるとき、その位置を移動することは、平均VV、偏差SSの好ましさの指標となる」という形で、好ましさの指標の確率分布がまず得られ、「その好ましさの指標の確率分布から何らかの基準(たとえばconditional value at risk)に基づいて、リスクを算出するという形でリスクを算出する(上記の従来技術の場合、もっともありえそうな地形Aのみを考慮し、リスクを算出する)。
【0023】
換言すると、「万が一地形分類が誤っていた場合」のリスクが明確に考慮されたリスク推定が可能となっている。実際、惑星探査を模倣したシミュレーションタスクにおいて、地形分類モデルの誤りによって10%程度しか追従成功しない経路計画が、本開示の実施形態の手法を用いて95%の確率で追従成功できることが確認できた。すなわち、本開示の実施形態の手法を用いることで、「計画した経路をAMRが追従できない」というケースを大幅に低減することができる。
【0024】
惑星探査や災害救助など、空撮されたシーンの状況を手掛かりにAMRのナビゲーションを行わないといけない状況一般に貢献することが期待される。これらのケースでは、環境の障害物構造やリスク要因をあらかじめマップとして構築することはできず、その時の空撮情報とロボットのセンサ情報のみからリスク判断をする必要がある。環境のリスク要因は地形の幾何学的構造や地面の物理的特性などの複雑な関係に基づいて決まるため、天下りにシミュレーションや理論的なモデルによりそのリスク程度を推定することは難しく、機械学習の利用は有望なアプローチである。一方で、空撮情報が低解像度である場合や単純にデータが不足する場合など、機械学習モデルの推定結果に誤りが含まれることは避けられない。そういったある種不完全な機械学習モデルを利用しても経路計画が可能という点が、本開示の実施形態の主要な効果である。
【0025】
機械学習(ML)は、変形可能な地形での自律ローバー操作の通過可能性を評価する上で重要な役割を果たすが、避けられない予測エラーに悩まされている。特に、地質学的特徴が場所によって異なる不均一な地形では、誤った通過可能性予測がより明らかになり、ローバーのホイールスリップや固定化が回復不能になるリスクが高まる。この作業では、このような誤った予測を明示的に説明する新しい経路計画アルゴリズムを提案する。重要なアイデアは、地形タイプの分類とスリップ予測のために、特徴的なMLモデルを確率論的に融合して単一の分布にすることである。これにより、不均一な地形を説明するマルチモーダルスリップ分布が得られ、さらに統計的リスク評価を適用して、経路計画のためのリスクを認識した横断コストを導き出すことができる。広範なシミュレーション実験により、提案された方法は、既存の方法と比較して、不均一な地形でより実行可能なパスを生成できることが実証されている。
【0026】
なお、以下において[]内の番号は、
図10~
図16に示されている参考文献番号を表す。
【0027】
<I.はじめに>
地球からのローバーの手動操作にはかなりの通信遅延が伴うため、信頼性の高いローバーの自律性は、天体の表面を探索するために不可欠である。したがって、火星でのミッション[1]などの過去のローバーには、ステレオビジョンから周囲の環境を認識し、幾何学的な障害物を評価し、衝突のない軌道上を移動するオンボードシステムが装備されていた。それにもかかわらず、探索されていない環境での通過可能性を評価するには、多くの人的介入が必要であり、その結果、ローバーの移動が遅くなった。たとえば、火星科学研究所のミッションでは、時速15.12mまで移動できるにもかかわらず、キュリオシティローバーの平均走行距離は火星の1日(24時間39分[2])で28.9メートルに制限されていると報告されている[3]。地球外のレストリア地形では、明らかな障害物以外にローバーにとって危険であることが判明したのは、変形可能な表面だった。知られているケースとして、キュリオシティローバーはヒドゥンバレーのさざなみの砂の上で重大なスリップを経験し、ルートをより固い地形に変更することを余儀なくされた。このような過度の車輪のスリップは、走行速度を低下させ、エネルギー消費を増加させ、最終的には緩い粒状物質に永久に閉じ込められる原因となる。したがって、変形可能な地形での信頼性の高い通過可能性評価は、ローバーの自律運用に不可欠であり、ローバーのより高速で拡張された探査にも不可欠である。
【0028】
変形可能な地形の通過可能性の評価は、物理的特性、表面の形状、およびローバーの移動性メカニズム[4]の間に複雑な依存関係があるため、困難である。この問題は、地形が不均一な場合、つまり、依存関係が場所ごとに異なる場合、より複雑になる。したがって、理論的な通過可能性モデリングの代わりに、既存の研究では、機械学習(ML)アルゴリズムを使用して外観とジオメトリ情報を介して通過可能性を予測しようとしている。外観情報は、材料組成などの表面特性の手がかりを提供し、ML分類器[5]~[8]を介して異質な地形を象徴的に分類する。ジオメトリ情報は、未踏領域の通過可能性を予測するために、地形ジオメトリとスリップ挙動の間の相関関係を学習するためにも提供される[9]-[13]。
【0029】
ここでは、ローバーの安全なナビゲーションのために、学習ベースの通過可能性評価では、ML予測に必然的に存在する潜在的なエラーに注意を払う必要があると主張する。最近のMLモデルは、ロボットの認識と制御の大幅な改善を示している[14]-[16]が、完全な予測を保証することはできない。このMLの一般的な問題は、回復不能なローバーの固定化を引き起こす可能性がある。さらに、特に遠方の惑星では、観測できない地形条件が存在することや、未開拓領域の観測が限られていることから、精度の高い通過可能性予測は困難であると予想される。安全なローバーナビゲーションのための将来の固定化リスクに対処するために、不均一な地形の通過可能性予測における潜在的なエラーに対する合理的なリスク評価を組み込んだ経路計画アルゴリズムを考案する。
【0030】
重要なアイデアは、不確実性を考慮しながら予測モデルを確率論的に融合することである。ガウス過程(GP)[17](
図1(a))を介して、外観情報と地形クラスに応じて幾何学的特徴をスリップ動作にマッピングする潜在スリップ(LS)モデルが与えられた場合に、異種の地形クラスを予測する地形分類器があるとする。次に、私たちの戦略は、可能なすべての地形クラスの複数のLSモデルを統合して、ガウス過程の混合物(MGP;
図1(b))として単一のマルチモーダルスリップ分布を形成する。これにより、各モデルの予測の不確実性が保持され、保守的なパスプランニングの条件付きバリューアットリスク(CVaR)[18]を介して固定化リスクを効果的に評価できる(
図1(c)、(d))。
【0031】
通過可能性予測にさまざまな困難をもたらす合成天体環境で、アルゴリズムを広範囲に評価する。さまざまな予測モデルとリスク評価指標との比較により、アルゴリズムが異種の変形可能な地形で実行可能で安全な経路を計画できることが検証される。
【0032】
<II.関連技術>
数多くの研究が、視覚情報と幾何学的情報を備えたMLアルゴリズムを採用することで、地形の通過可能性の予測に取り組んできた。分類ベースのアプローチは、外観[5]および赤外線[6]画像から地形タイプ(通常は通過可能または通過不可能な領域)を分類的に区別する。外観の変化に対するロバスト性を高めるために、視覚と固有受容(振動など)センシングを組み合わせることも研究されている[7]、[8]。回帰ベースのアプローチでは、通過可能性をより詳細に評価する。
【0033】
これらのアプローチは、(非)通過可能性を車輪のスリップの程度としてモデル化し、GPなどの回帰アルゴリズムを介して、地形の傾斜からスリップへのマッピングを推定する[9]-[13]。回帰ベースのアプローチでマルチモーダルスリップ動作を説明するために、分類後回帰ベースの方法は、最初に外観画像から地形を分類し、次にジオメトリベースのスリップ予測のためにクラス依存のリグレッサーを利用する[9]-[11]。他の研究では、専門家混合(MoE)フレームワークを利用して、マルチモーダルスリップ予測のために地形クラスの尤度を組み込む[12]、[13]。
【0034】
これらの通過可能性予測技術は、惑星探査のためのローバーナビゲーション研究にも利用されている。たとえば、小野ら[19]は地形分類器を使用して、A*アルゴリズムを使用した衝突のない経路計画のために通過不可能な領域を検出する。同様に、ヘルミックらによるパスプランナー[20]は、MoEベースのリグレッサーによって予測された通過可能性マップを利用する。しかし、このようにローバーナビゲーションに通過可能性予測結果を直接使用すると、ローバーはML固有の予測エラーによる固定化のリスクにさらされる。
【0035】
このようなMLの予測誤差も、「不確実性」という概念の下で研究されてきた。確率モデルを介して量子化すると、不確実性はMLアプリケーションで有用なリスク評価ツールを提供する。特に、惑星環境のリスクを意識した経路計画のコンテキストでは、GPの分散を通過可能性予測の不確実性として利用することによって、チャンス制約定式化に基づくプランナーが提案されている[21]-[23]。ただし、これらの方法は単一のGPモデルに依存しているため、特定の環境をカバーする均質な材料または正確な地形分類結果を事前に想定している。さらに、偶然の制約は、ブールイベント(衝突など)に対応するリスクを捕捉するのに適している[18]が、固定化リスクは、スリップの程度に対応するさまざまなコストを伴う。
【0036】
条件付きバリューアットリスク(CVaR)、その不確実性を説明することによる確率変数の悲観的な推定は、リスク評価のための別の統計的手法である。CVaRは、不確実性の下でのロボティクスアプリケーションの合理的なリスク評価に必要な特定の公理を満たす[18]。リスク認識計画では、ロボットナビゲーション[24][25]の移動障害物、道路シーンのセマンティックセグメンテーションにおける不確実な領域[26]、または危険なプロセスにおける抽象的なリスクなど、さまざまなリスクを回避するためにCVaRが適用されている[27]。これらの研究は、衝突回避[24][25]、分類ベースの通過可能性モデリング[26]、または単一モーダルリスク行動[27]のいずれかに焦点を当てているが、私たちの焦点は、継続的かつ複数の動作を必要とする固定化リスクの処理と、さまざまな種類の変形可能な地形でのローバースリップのモーダルモデリングにある。蔡らによるリスクを意識したオフロードナビゲーション[28]はCVaRを使用して、土や植生のある環境で悲観的なロボット速度を推定する。速度予測のためのCVaRの使用は私たちのものと似ているが、地形の形状を考慮しないセマンティックベースのシーンの理解は、険しい天体表面による固定化のリスクを把握するのには適していない。
【0037】
要約すると、本開示の技術は、不均一で変形可能な地形による固定化のリスクに直面したローバーの経路計画に焦点を当てている。惑星ローバーナビゲーションの既存のプランナー[19]-[23]と比較して、本開示の方法は、不均一な地形と固定化のリスクによるマルチモーダルスリップ動作を同時に考慮する。提案されたソリューション(つまり、視覚情報と幾何学的情報を統合するMGPベースの通過可能性モデル、およびCVaR ベースの継続的な(非ブール値)リスク評価)は、エリア[24]~[28]の既存のCVaRベースのリスク認識プランナーによって部分的にのみ処理される課題に対処する。
【0038】
<III.予備>
このセクションでは、アルゴリズムの技術的基盤として、一般的なパスプランニングの定式化、GP、およびCVaRについて説明する。
【0039】
<A.経路計画>
経路計画の目的は、ロボットを目的地まで安全かつ効率的にナビゲートする一連の実現可能なロボット状態遷移を見つけることである。G=(V,E)を2D空間の環境を表すグリッドマップとする。ここで、Vは可能なロボット状態を列挙する頂点vの有限セットであり、Eは各頂点からその8つの隣接する頂点への状態遷移を表すエッジのセットである。頂点vからv’へ向かう各エッジは、移動コスト関数fcost(v,v’)によって計算された厳密に正のコストに関連付けられている。最適経路計画問題は、経路P={v1、v2、・・・、v|P|}を見つけるために定式化される。スタートv1=vstart∈Vからゴールv|P|=vgoal∈Vへ、可能な最小総コストは次のように定義される。
【0040】
【0041】
<B.通過可能性モデリングのガウス過程>
車輪付きのローバーは、変形可能な地形を移動するときにスリップを経験する。縦方向のスリップ率sを考慮して、次のようにローバーの通過可能性を定量的に説明する。
【0042】
【0043】
ここで、uとurefはそれぞれ縦方向の実際の速度と基準速度である[4]。正のsは、コマンドより遅いトラバースを表し、s=1は変形可能な地形でのローバーの完全な閉じ込めを表す。逆に、負のsは、コマンドよりも速くトラバースすることを表す。
【0044】
地形形状と車輪滑りの間の未知の関係をモデル化するために、データセット内のポイント間の依存関係を学習するために統計的推論を使用するノンパラメトリック回帰アプローチであるGPを活用する[17]。GPの使用は、1)観測不可能な地形条件の影響を不確実性として扱うことができ、2)ローバーと地形の相互作用における非線形性を表現できるため、正当化される。GPのトレーニングデータセットは、ローバーが過去のトラバースの経験で地形のピッチ角と対応する縦方向の滑りsを測定するときに収集される。不均一な地形でのさまざまな滑り傾向を説明するために、これらの滑り傾向を支配する地形クラスを想定する。次に、地形クラスcのエッジe∈Eでの通過可能性(つまり、スリップs)を確率的にモデル化するクラス依存GPを導入する。
【0045】
【0046】
ここで、予測平均μcと分散σ2
cは、入力ピッチ角のトレーニングサンプルと出力スリップ測定値sでパラメーター化される(詳細については[17]を参照)。
【0047】
<C. 条件付バリューアットリスク>
ローバーは、計画中にリスクを評価するために、通過可能性の不確実性を測定する必要がある。典型的な計画問題[29]で考慮される衝突のリスクとは異なり、変形可能な地形による固定化のリスクは、滑りの大きさに応じて徐々に増加する。CVaRを利用して、確率的通過可能性モデリングを通じてそのようなリスクを定量化する。CVaRは、特定の分布のテールイベントを説明する保守的な期待値を測定し、楽観的または悲観的になりすぎずに合理的なリスク評価を可能にする[18]。Sを任意のローバーピッチにおける縦方向のスリップ率の確率変数とする。レベルα∈[0,1]でのCVaRは、次のようなSの条件付き分布に従う、上部(1-α)テールのSの期待値を示す。
【0048】
【0049】
ここで、VaRαはバリューアットリスク(VaR)であり、(1-α)-Sの分位数を
【0050】
【0051】
として表す。
【0052】
直感的に、CVaRは、
図1(d)に示すように、指定された通過可能性予測から悲観的なリスク推定値を提供し、リスク認識パス計画の不確実性を考慮に入れる。与えられたαは、上記の定式化を通じて積極的なものから保守的なものまでリスク評価行動を制御する。α=0の場合、CVaRは期待値を返す。α=1の場合、CVaRの結果は最悪のケースと一致する。
【0053】
<IV.リスクを考慮した経路計画アルゴリズム>
<A.概要>
このセクションでは、計画における固定化リスクを評価するリスク認識型の移動コストとして、MLベースの通過可能性予測とその不確実性を変換する統一アルゴリズムを示す。2Dマップでの最短経路探索などの典型的な経路計画の問題とは異なり、ローバーの移動に関する定式化では、異種の変形可能な地形でのスリップ動作を説明するために、可変の通過可能性コストが必要である。実際の滑りの傾向は不明であるが、主に特定の環境での材料組成と表面形状に依存する。したがって、環境グラフを外観およびジオメトリ情報、特に地形表面の色と3D位置に関連付けて、MLモデルを介した通過可能性のコスト予測に利用する。
【0054】
火星探査に使用されるHiRISEカメラは、最大0.25m/ピクセルの解像度で頭上画像をキャプチャできるため、このような情報をグラフの頂点に射影することは、実際の探査ミッションにとって永続的な仮定である[30]。全体的なメソッドパイプラインを
図1に示し、以下に要約する。2種類の事前トレーニング済みモデルを使用する。1つ目は、外観画像から地形クラスをピクセル単位で予測する地形分類器であり、2つ目は、ジオメトリ情報を使用してクラス依存のLS関数をモデル化するGPである。これらのモデルは、Mixtures of GPs(MGP)[31](セクションIV-B)を介して、単一のマルチモーダル確率スリップ分布に融合される。
【0055】
次に、このMGPからCVaR推定値を抽出して、計画のエッジ単位のコストを導き出す(セクションIV-C)。ここでは、潜在的にエラーのある分類子とGPによる固定化リスクを考慮することにより、不確実性を伴う確率論的スリップ予測を決定論的で効果的に保守的なコストに変換する。最後に、A*などの経路計画手順を実行して、ローバーの閉じ込めを誘発しない軌道を見つける。
【0056】
<B.MLモデルの確率的融合>
ここでは、外観ベースの地形分類器とジオメトリベースのスリップリグレッサ(GP)の確率的融合を表すMGPについて詳しく説明する。MGPは、頂点vからその隣接v’へのエッジeにおけるスリップsの確率分布Pe:v→v’(s)を推定する。この分布は、複数のクラス依存GPの和として定式化される。
【0057】
【0058】
として、分類尤度Pv(c)によって重み付けされる。
【0059】
ここで、式(3)の
【0060】
【0061】
である。式(5)のこの単一のMGP分布は、異質地形における様々なすべりの傾向を説明し、全体を同時に表現できる。式(5)の単一のMGP方程式の分布は、異質の滑りの様々な傾向を説明でき、地形と外観ベースの地形分類およびジオメトリベースのスリップ回帰の両方から全体的な不確実性を同時に表現できる。
【0062】
地形分類では、外観画像を取得し、各ピクセルでカテゴリ分布を予測する任意のモデルを使用できる。この作業では、ピクセルごとのセマンティックセグメンテーションタスクの一般的なコンピュータービジョンモデルの1つであるU-Net[32]を活用する。このモデルを適用すると、softmax関数を介して
【0063】
【0064】
として表される、ピクセルごとのクラス確率が得られる。ここで、ac(v)は、頂点vと地形クラスcについてのU-netのスカラー出力である。なお、複数のGPを合計する代わりに、最も可能性の高いクラス
【0065】
【0066】
に対応する単一のGPを選択することは、提示された通過可能性予測を既存のものに減らす[9]。ただし、このような定式化では、次に説明するリスク評価における分類に起因する不確実性が無視される。
【0067】
<C.リスクを考慮したコスト見積もり>
式(1)を使用して経路計画を実行するには、MGPによって与えられたスリップ分布からその通過可能性コストfcostを導出する。コスト関数をリスク認識移動時間として設計し、リスクを危険にさらすローバーと移動効率の両方の観点から通過可能性を考慮する。移動時間は、高いトラバースを維持するという点で効率と安全性を含むため、費用関数の望ましい基準である。
【0068】
v→v’のエッジeを横断する時間は、
【0069】
【0070】
として与えられる。ただし、x(v)は、頂点vでの3D位置、およびu(e)はエッジを横断するときの速度である。ここで、u(e)はスリップsで式(2)を次のように変換して得られる。
【0071】
【0072】
ここで、Φeはエッジeでのピッチ角である。(6)式の昇順の場合、大きなスリップs∈[0,1]は、ローバーの速度を低下させ、トラバース時間を増加させ、最終的にローバーの固定化を引き起こすため、リスクと解釈できる。降下の場合、スリップs∈(-1,0]が負に大きくなると、速度が速くなり、移動時間が短くなる可能性がある。しかし、計画された軌道からの逸脱と転倒の状況のようなローバー制御不能を誘発するため、この一見「好ましい」状態は、実際には別のリスクと見なされるべきである。
【0073】
この2種類のスリップ現象によるリスクを総合的に評価するために、リスクとしてスリップを導入する。ピッチ角φによってパラメーター化されたスリップS(φ)のランダム変数が与えられると、リスクとしてのスリップは別の確率変数として次のように定義される。
【0074】
【0075】
ここで、S(φ)の分布は、式(5)のMGPに従います。本質的に、式(7)のリスクとしての滑りは、平地での横断が最も安定していると仮定して、φ<0(
図1(c))でS(φ)を垂直方向に反転することにより、平地での横断状態(すなわちφ=0)からの偏差を評価する。そして最もリスクが低い。次に、CVaRを介してS
risk(φ
e)の悲観的な推定値を次のように抽出する。
【0076】
【0077】
【0078】
を式(6)に代入し、包括的なリスクを説明するローバー速度を取得する。これは、urisk(e)として示される。コスト関数は、次のように、上昇方向と下降方向の両方で時間効率とローバーのトラバース安定性を評価するリスク認識移動時間として導出される。
【0079】
【0080】
なお、式(5)のMGPは、Pv(c)の代わりにPv’(c)と言い換えることができる。したがって、両方の定義を使用して2つの方法でコストを計算し、それらの平均を計画に使用する。
【0081】
<V.シミュレーション実験>
このセクションでは、大規模なシミュレーションを通じて提案された経路計画アルゴリズムを示し、信頼性の低い通過可能性予測に対するその堅牢性を検証する。
【0082】
<A.データセット>
通過可能性予測のさまざまな困難を伴う経路計画問題のために、3つの合成データセットを用意する。
【0083】
各データセットには、1メートルあたり1グリッドの解像度を持つ96×96グリッドマップとしてトレーニング、検証、およびテストの問題インスタンスがあり、プランナーの入力としてRGBおよび高さマップを提供する。隠された情報として、各インスタンスには、地形クラスc∈Cのピクセルごとの割り当てと、クラスに依存するスリップ関数のセットfc(φ)がある。データセットの作成全体を通して、フラクタル地形モデリング[33]が適用され、ランダムに分散された起伏の多い地形ジオメトリが生成される。
【0084】
多様であるが合理的に制御されたデータセットを合成するために、ここでは環境グループを定義する。これは、各マップでの地形クラスの発生を制御するための占有率を持つ地形クラスのランダムなサブセットである(たとえば、クラス#1で50%、クラス#4で30%、およびクラス#6の場合は20%)。トレーニング、検証、およびテストのサブセットには個別に10の異なる環境グループ(つまり、地形クラスの10の異なるランダム選択)があり、それぞれから100、50、および10の問題インスタンスを生成する。これにより、合計で1000のトレーニング、500の検証、および100のテストインスタンスが発生する。上記のアプローチを念頭に置いて、作成した3つのデータセットの詳細を次に示す。
【0085】
問題のインスタンスごとに、最初にランダムなパーリンノイズ画像を合成し、次に環境グループによって指定された占有率に基づいて値をクラスタ化し、対応する地形クラス(つまり、スリップモデル)を各クラスタに割り当てる。各スリップモデルについて、s=fc(φ)+εcのように、あらかじめ定義された分散の付加的なゼロ平均ガウスノイズを介して、スリップ測定プロセスがシミュレートされる。合成されたスリップ測定値は、各クラスに依存するGPをトレーニングするために使用され、パス実行中のその場での測定値としても使用される。
【0086】
・標準(Std)データセット:このデータセットは、ピクセルの色情報が地形クラスを識別し、すべり測定値にわずかなノイズε
cが含まれる単純な設定を採用している。各環境グループは、10の地形クラスのうちの4つで構成される。
図2(a)、(b)は、それぞれ、地形外観イメージの例と、対応する地形クラスマップを特徴的な色でコード化したものである。
図2(e)は、GPを介して学習されたすべりモデルを示している。
【0087】
・Erroneous Slip(ES)データセット:このデータセットでは、f
c(φ)の勾配の大きさが増加するにつれてスリップ測定に大きなノイズε
cを課すことにより、より複雑な設定が考慮される。したがって、学習されたGPは、
図2(f)に示す誤ったスリップモデルになる。[9]で説明されているように、このような誤った滑りのモデル化は、滑りの測定が不十分であったり、観測できない地形条件など、複数の要因によって発生する可能性がある。
【0088】
・Ambiguous Appearance(AA)データセット:複数の地形クラスが同じ外観で表示される別の複雑な設定を複製する。たとえば、独特の地形特性が視覚的に識別可能な手がかりを提供しない場合や、1つの地形マテリアルが別のマテリアルで覆われている場合などの状況を想定している。このデータセットは、4組の地形クラスで構成され、それぞれが(ESデータセットのように)高分散GPを持ちますが、同じカラーキューを共有しているため、外観の多様性が少ない合計8つのクラスになる。次に、各環境グループは、
図2(c)および(d)に示すように、4つの異なる色が常に表示されるように、これらのクラスのランダムな順序付けによって定義される。
【0089】
<B. 実装の詳細>
パス検索アルゴリズムとして、A*検索を使用する。これは、特定の離散ドメインに存在する限り、解像度が最適なソリューションを返します。地形分類器として、U-Netモデル[32]とResNet-18エンコーダ[34]を採用して、分類の可能性を提供する。このモデルは、学習率0.001およびバッチサイズ8で、Adamオプティマイザー[35]を使用して50エポックの間、トレーニングサブセットを使用して各データセットに対して個別にトレーニングされた。検証サブセットで最小の損失を生成するモデルの重みが評価テストサブセットで使用された。式(5)のMGP分布に関連付けられた確率変数のVaRとCVaRを計算する。モンテカルロシミュレーションによって近似的に実行された。
【0090】
<C.実験のセットアップ>
すべての問題インスタンスで、プランナーは開始位置(8m、8m)からゴール(88m、88m)までのパスを検索する。解を見つけた後、ローバーは、エッジワイズノイジースリップseを受け取りながら、uref=0.1m/秒で指定されたパスをたどります。途中でse≧1(ローバーの完全な固定化)およびse≦-1(転倒などの制御不能な状況)が観察されない場合、解決策を成功パスと見なす。
【0091】
次の4つのメトリックは、アルゴリズムのパフォーマンスを定量化する。
【0092】
・解決率(Sol.)[%]は、プランナーが解決策を見つけた問題インスタンスの割合を表す。
【0093】
・成功率(成功)[%]は、見つかった解決策が成功した問題インスタンスの割合を示す。
【0094】
・合計時間(Ttotal)[min]は、トラバースが成功した場合のパスに沿った合計トラバース時間を計算することにより、パス効率を提供する。
【0095】
・最大スリップ(smax)[%]は、パス実行後に100×max(se)を計算することにより、ローバーの挟み込みに対するパスの安全性を評価する。ここで、seは経験したスリップを表す。smaxが低いほど、地形をより安全に移動できることを示す。
【0096】
提案されたアプローチの有効性を確認するために、さまざまな通過可能性予測モデルとリスク評価指標も評価しました。予測に関しては、分類された地形タイプに基づいてGPを選択することによって、単一ガウス過程(SGP)アプローチが与えられます[9]。VaRとCVaRに加えて、期待値(EV)は、コスト計算のために、指定されたスリップ分布を定量化する。上記のメトリックを組み合わせて、比較のためにデータセットに対して計画手順を実行する。
【0097】
<D.結果>
1)量的比較:表1は、3つのデータセットの量的経路計画のパフォーマンスをまとめたもので、VaRとCVaRでα=0.99である。データセット全体で、提案されたアプローチは、パス実行中の成功率と最大スリップによって示されるように、固定化された状況を回避するための安全性の面で最高のパフォーマンスを所有している。総時間の結果が示すように、ローバーの速度を維持することで、スリップが少ないことも時間の効率を維持するのに役立つ。これらの結果は、ローバーの閉じ込めがミッションの失敗につながり、過度に保守的なローバーのナビゲーションがミッションスケジュールを遅らせるため、安全性が最も重要な惑星探査に適している。ESデータセットで経験されたより高い外観の多様性にもかかわらず、誤ったスリップモデリングは、他のデータセットと比較して計画結果の相対的なパフォーマンスの低下をもたらす。VaRおよびCVaRベースのリスク評価を使用したプランナーは、解決策を提供しない場合があることがわかった。これは、ゴール位置が危険なエリアにある場合に発生する可能性がある。
【0098】
【0099】
EVベースのプランナーが示すように、解決策を見つけることを優先するためにそのようなリスクを無視すると、成功率が低下する。通過可能性予測のためのMGP定式化は、ローバーナビゲーションの成功に大きく貢献する。最も効果的なケースは、地形の外観がその地形クラスを保証できないAAデータセットによって提供されるものである。MGPを使用しない場合、通過可能性予測は、特定された地形特性に応じた代表的な滑りモデルのみを参照するため、間違った滑りモデルによる大きな予測誤差により、トラバースが失敗する。私たちが提案するアルゴリズムは、複数のGPを地形の可能性と統合することでこの問題を解決し、固定化された状況につながる可能性が低いテールイベントを考慮した慎重なリスク評価を可能にする。
【0100】
2)質的比較:
図3は、異なるリスクメトリクスを持つプランナーが、各データセットから問題インスタンスのパスを計画する方法を示している。MGPベースのアプローチは、SGPベースのアプローチと比較して幾何学的に良性の領域に沿った軌道を見つける傾向があるが、MGP+EVベースのプランナーは
図3(b)に示すように、ローバーの固定化につながるあまりにも楽観的な経路を探すことがよくある。これは、MGPが単一のGPと比較して、より広い範囲のスリップをカバーするスリップ分布を生成するためである。したがって、VaRとCVaRは、MGP分布で発生する可能性が低いリングスリップを確認するための合理的なリスク評価に必要であり、困難な環境でのローバートラバースの成功を可能にする。
【0101】
図3は、異なるデータセットに対する経路計画の結果を示す。ヒートマップとして表される環境では、緑色の四角と黄色の星が開始位置と目標位置である。白い十字は、s=1を経験したためにローバーが次の状態に遷移できなかった位置を示す。入力色、グラウンドトゥルーステレインクラス、およびテレイン分類結果は、各ヒートマップの左側に上から下に表示される。
【0102】
3)パラメーター調査:最後に、AAデータセットのα∈{0.00,0.60,0.90,0.99}をテストするパラメーター調査を実施して、提案されたアルゴリズムのパフォーマンスに対するその影響を確認する。
図4は、αが安全性と効率の間のトレードオフを支配することを示している。αが高いほど、ローバーが滑りにくい経路をナビゲートすることによって成功率が高くなり、αが低いほど、より積極的な操縦が可能になり、横断時間を短縮できる。安全性と効率の優先順位がミッションのタイムラインに応じて変化することを考えると、単純なパラメーター調整による計画動作の制御可能性は、私たちの方法の有益な側面である。ほとんどの地形特性が不明な初期の探索フェーズでは、安全性を優先したい場合がある。
【0103】
4)未解決の問題と可能な拡張:私たちの提案したアルゴリズムは、天体環境を安全に横断することを大幅に改善できるが、ローバーの閉じ込めを回避するための理論的な保証は証明されていない。可能な拡張は、不動の非ブール値リスクの合理的な解釈を定式化することにより、偶然の制約などの確率的制約を補完的に利用する。
【0104】
<VI.結論>
異種の変形可能な地形での信頼性の高いローバー操作のために、MLベースの通過可能性予測の不確実性を明示的に考慮することができる新しい経路計画アルゴリズムを提示した。大規模なシミュレーション実験を通じて、提案されたアルゴリズムが、計画の成功率と、パス実行中に経験した最大車輪スリップ度の点で、一貫して既存の方法よりも優れていることを確認した。今後の研究では、実際のデータからの環境を含む、より多様な環境で提案された方法の実現可能性を調査する[5]。
【0105】
[第1実施形態]
図5に示すように、本実施形態に係る情報処理システム100は、情報処理装置10と、移動体50とを含む。
【0106】
移動体50は、例えば、自動交差点管理における自動運転車両、倉庫や工場内のAMR(Autonomous Mobile Robot)やAGV(Automatic Guided Vehicle)、無人配送システムにおけるドローン等である。移動体50は、走行、飛行等を行うための移動機構と、情報処理装置10と通信を行うための通信機構と、計画された経路にしたがって移動するように移動機構を制御する移動制御機構とを有する。
図6は、第1実施形態に係る情報処理装置10のハードウェア構成を示すブロック図である。
図5に示されるように、情報処理装置10は、CPU(Central Processing Unit)12、メモリ14、記憶装置16、入出力I/F(Interface)18、記憶媒体読取装置20、及び通信I/F22を有する。各構成は、バス24を介して相互に通信可能に接続されている。
【0107】
記憶装置16には、後述する各処理を実行するための情報処理プログラムが格納されている。CPU12は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、CPU12は、記憶装置16からプログラムを読み出し、メモリ14を作業領域としてプログラムを実行する。CPU12は、記憶装置16に記憶されているプログラムに従って、上記各種の演算処理を行う。
【0108】
メモリ14は、RAM(Random Access Memory)により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置16は、ROM(Read Only Memory)、及びHDD(Hard Disk Drive)、SSD(Solid State Drive)等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
【0109】
入出力I/F18は、外部装置からのデータの入力、及び外部装置へのデータの出力を行うインタフェースである。また、例えば、キーボードやマウス等の、各種の入力を行うための入力装置、及び、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための出力装置が接続されてもよい。出力装置として、タッチパネルディスプレイを採用することにより、入力装置として機能させてもよい。
【0110】
記憶媒体読取装置20は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、ブルーレイディスク、USB(Universal Serial Bus)メモリ等の各種記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。
【0111】
通信I/F22は、他の機器と通信するためのインタフェースであり、例えば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
【0112】
本実施形態の情報処理装置10は、上述したような手法を用いて、対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、前記確率分布と、各クラスの移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出し、移動体の移動経路を計画する。これにより、領域又は空間の種別の分類誤りを考慮して、対象範囲の各位置について移動領域又は移動空間としての好ましさを示す指標を推定することができ、移動体の適切な移動経路を計画することができる。
【0113】
情報処理装置10は、
図5に示すように、機能的には、クラス確率算出部30と、指標分布算出部32と、マップ生成部34と、経路計画部36と、学習部38と、通信部40と、を備えている。各機能構成は、CPU12が記憶装置16に記憶された情報処理プログラムを読み出し、メモリ14に展開して実行することにより実現される。
【0114】
クラス確率算出部30は、対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出する。具体的には、各クラスcについて、対象範囲を表すグリッドのセル毎に、俯瞰データの当該セルを入力とし、クラスcの分類尤度を出力する分類モデルを用いて、分類尤度Pv(c)を算出する。ここで、分類モデルは、正解データに基づいて学習されたニューラルネットワーク又はSVM(サポートベクターマシン)である。また、俯瞰データは、対象範囲を俯瞰した位置から撮影した画像、又は対象範囲を俯瞰した位置からセンシングしたセンサデータである。
【0115】
指標分布算出部32は、対象範囲の各位置について、クラス確率算出部30によって算出した確率分布と、各クラスの移動領域又は移動空間としての好ましさを示す指標と、に基づいて、指標の確率分布を算出する。
【0116】
具体的には、対象範囲を表すグリッドの各セルを頂点として、頂点間の各エッジについて、上記式(5)に従って、指標であるスリップsの確率分布を算出する。ここで、クラスcのスリップ確率分布Pe(s|c)は、過去の実験データやシミュレーション結果に基づいて予め求められたものである。クラスcのスリップ確率分布Pe(s|c)は、例えば、ガウス分布を用いて表される。なお、ガウス分布以外の分布、例えば、ヒストグラムなどのノンパラメトリックの分布を用いてもよい。
【0117】
マップ生成部34は、対象範囲の各位置の指標の確率分布に基づいて、対象範囲の各位置の指標を表すマップを生成する。
【0118】
具体的には、対象範囲を表すグリッドの各セルを頂点として、頂点間の各エッジについて、CVaR(Conditional Value at Risk)により、スリップsの確率分布から、スリップsのスカラー値を算出し、各エッジのスリップsのスカラー値を表すマップを生成する。
【0119】
経路計画部36は、マップに基づいて、移動体の移動経路を計画する。具体的には、既存のアルゴリズム(例えば、A*アルゴリズム、ダイクストラ法)に従って、スタート地点からゴール地点までの移動体50の移動経路を計画する。
【0120】
具体的には、既存のアルゴリズム(例えば、A*アルゴリズム、ダイクストラ法)に従って、スタート地点からゴール地点までのエッジ系列のうち、スリップsのスカラー値の総和が最小となるエッジ系列を、移動体50の移動経路として計画する。
【0121】
ここで、移動体50は、車両、ロボット、ゲーム上のキャラクタ、又は飛行体である。
【0122】
学習部38は、正解データに基づいて分類モデルを学習する。ここで、正解データは、俯瞰データの各位置に対して、領域又は空間の種別が付与されたものである。各位置に対して、領域又は空間の種別が付与された俯瞰データ群を正解データとして用いて、分類モデルを学習する。
【0123】
通信部40は、経路計画部36によって計画された移動体50の移動経路を、移動体50に通知する。
【0124】
<情報処理システムの作用>
次に、本実施形態に係る情報処理システム100の作用について説明する。
【0125】
図7は、情報処理装置10のCPU12により実行される経路計画処理の流れを示すフローチャートである。CPU12が記憶装置16から情報処理プログラムを読み出して、メモリ14に展開して実行することにより、CPU12が情報処理装置10の各機能構成として機能し、
図7に示す経路計画処理が実行される。このとき、対象範囲を俯瞰した位置から観測した俯瞰データが入力されているものとする。また、学習部38によって、予め用意された正解データに基づいて、分類モデルが学習されているものとする。なお、経路計画処理は、情報処理方法の一例である。
【0126】
ステップS100で、クラス確率算出部30は、対象範囲を俯瞰した位置から観測した俯瞰データから、分類モデルを用いて、対象範囲の各位置について、領域又は空間の種別を示す各クラスcの確率を表す確率分布として、分類尤度Pv(c)を算出する。
【0127】
ステップS102で、指標分布算出部32は、対象範囲の各位置について、クラス確率算出部30によって算出した確率分布と、各クラスの移動領域又は移動空間としての好ましさを示す指標と、に基づいて、指標の確率分布を算出する。具体的には、対象範囲を表すグリッドの各セルを頂点として、頂点間の各エッジについて、上記式(5)に従って、指標であるスリップsの確率分布を算出する。
【0128】
ステップS104で、マップ生成部34は、対象範囲の各位置の指標の確率分布に基づいて、対象範囲の各位置の指標を表すマップを生成する。具体的には、対象範囲を表すグリッドの各セルを頂点として、頂点間の各エッジについて、CVaRにより、スリップsのスカラー値を算出し、各エッジのスリップsのスカラー値を表すマップを生成する。
【0129】
ステップS106で、経路計画部36は、マップに基づいて、移動体50の移動経路を計画する。
【0130】
ステップS108において、通信部40は、経路計画部36によって計画された移動体50の移動経路を、移動体50に通知し、経路計画処理を終了する。
そして、移動体50は、情報処理装置10から通知された移動経路に従って移動する。
【0131】
以上説明したように、第1実施形態に係る情報処理装置10によれば、対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出し、対象範囲の各位置について、確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、指標の確率分布を算出する。これにより、領域又は空間の種別の分類誤りを考慮して、対象範囲の各位置についてリスクを推定するための指標となる、移動領域又は移動空間としての好ましさの確率分布を推定することができる。
【0132】
[第2実施形態]
【0133】
次に、第2実施形態に係る情報処理システムについて説明する。なお、第1実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【0134】
第2実施形態では、分類モデルの確信度を用いて、マップを生成する点が、第1実施形態と異なっている。
【0135】
<第2実施形態の概要>
非特許文献2に記載のprior networkと呼ばれるニューラルネットワークモデルおよびその学習方式を利用し、「地形Aの確率がX%であることに関する確信度がY%である」という形式で、地形分類に関する機械学習モデルの推論結果がどの程度確からしいかという情報も推定して利用する。これにより、たとえば「地形Aである確率が99パーセントと推定しているが、これはデータが不足している状況での推定であり、確信度は低い。したがって、経路計画時にはこの場所へは移動しないようにする」、「この場所は、自信をもって地形A/Bいずれかである確率が50%/50%であると言える。したがって、経路計画時にはこの場所へは移動しないようにする。」など、よりリスクを安全に見積もった経路計画が可能となる。
【0136】
[非特許文献2]:"Regression prior network",インターネット検索<URL:https://arxiv.org/abs/2006.11590>
【0137】
換言すれば、経路計画に利用する、リスクを推定するための指標となる、移動領域としての好ましさとして、上述のような「分類モデルの推定結果に関する確からしさを更に考慮する。
【0138】
<情報処理システムの構成>
図8に示すように、本実施形態に係る情報処理システム200は、情報処理装置210と、移動体50とを含む。
【0139】
上記
図6に示すように、第2実施形態に係る情報処理装置210のハードウェア構成は、第1実施形態に係る情報処理装置10と同様である。
【0140】
情報処理装置210は、
図8に示すように、機能的には、クラス確率算出部30と、指標分布算出部32と、確信度推定部232と、マップ生成部234と、経路計画部36と、学習部238と、通信部40と、を備えている。各機能構成は、CPU12が記憶装置16に記憶された情報処理プログラムを読み出し、メモリ14に展開して実行することにより実現される。
【0141】
確信度推定部232は、対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度が推定するための確信度推定モデルを用いて、対象範囲の各位置について、確信度を推定する。
【0142】
具体的には、対象範囲を表すグリッドの各セルを頂点として、頂点間の各エッジについて、上記非特許文献2に記載のprior networkと同様のモデルを用いて、分類モデルが出力する各クラスの分類尤度Pv(c)から、知識に起因する不確かさ、及びデータに起因する不確かさを推定する。ここで、知識に起因する不確かさとは、分類モデルの学習に用いられた正解データとして不足していることによる不確かさのことである。また、データに起因する不確かさとは、分類モデルによる分類が困難なデータであることによる不確かさのことである。
【0143】
マップ生成部234は、対象範囲の各位置の指標の確率分布と、対象範囲の各位置の確信度とに基づいて、マップを生成する。
【0144】
具体的には、対象範囲を表すグリッドの各セルを頂点として、頂点間の各エッジについて、以下の式に従って、当該エッジの指標としてのスリップに関するコストfcost(e:v→v’)を計算し、各エッジのコストfcost(e:v→v’)を表すマップを生成する。ここで、スリップに関するコストは、確信度が低いほどコストが高くなるように算出される。
fcost(e:v→v') = g(spred(e), umodel(e), udata(e))
ただし、
umodel(e) = Vp(u,Λ|x,θ)[μ](e)
udata(e) = Ep(μ,Λ|x,θ)[Λ-1](e)
【0145】
なお、umodel(e)やudata(e)の定義については、上記のものに限定されるものではない。上記非特許文献2の式(5)と同様な式で定義してもよい。また、g(spred(e), umodel(e), udata(e))の定義については、以下のように、明示的に定義を与えてもよいし、ニューラルネットワーク等により実装及び学習されてもよい。
【0146】
【0147】
ただし、E[Srisk](e)は、上記(7)式の確率変数 Srisk(φ)について、 φをエッジeの傾斜角としたときの期待値、また、右辺の第2項の分子の第1項は、確信度推定モデルを用いて推定された知識に起因する不確かさと、パラメーターαとの積である。右辺の第2項の分子の第2項は、確信度推定モデルを用いて推定されたデータに起因する不確かさと、パラメーターβとの積である。右辺の第2項の分母は、確信度推定モデルを用いて推定された知識に起因する不確かさとデータに起因する不確かさとの和である。パラメーターα、βは、移動体50の経路計画時にどの不確かさをどの程度考慮するべきか決定するための調整可能なパラメーターである。
【0148】
他の例として、以下の式で表される。
ただし、u
risk(e)は、上記(6)式のu(e)の式中において以下の式を用いたものである。
【0149】
他の例として、以下の式で表される。
fcost(e:v→v') = C - (cpred - spred(e)) * (cuncertain- suncertain(e))
ただし、C, cpred, cuncertainは、fcost(e:v→v')全体が正の値になるような適当な定数である。suncertain(e)は、上記式の右辺の第2項である。
【0150】
経路計画部36は、マップ生成部234によって生成されたマップに基づいて、移動体の移動経路を計画する。
【0151】
具体的には、既存のアルゴリズム(例えば、A*アルゴリズム、ダイクストラ法)に従って、スタート地点からゴール地点までのエッジ系列のうち、スリップに関するコストの総和が最小となるエッジ系列を、移動体50の移動経路として計画する。
【0152】
学習部238は、正解データに基づいて分類モデルを学習する。ここで、正解データは、俯瞰データの各位置に対して、領域又は空間の種別が付与されたものである。各位置に対して、領域又は空間の種別が付与された俯瞰データ群を正解データとして用いて、分類モデルを学習する。
【0153】
また、学習部238は、分類モデルの学習で用いられた正解データと同じデータを用いて、確信度推定モデルを学習する。具体的には、上記非特許文献2に記載の学習方式と同様の方法を用いて、分類モデルの学習で用いられた正解データと同じ俯瞰データ群から、確信度推定モデルとして、prior networkを学習する。
【0154】
<情報処理システムの作用>
次に、本実施形態に係る情報処理システム200の作用について説明する。
【0155】
図9は、情報処理装置210のCPU12により実行される経路計画処理の流れを示すフローチャートである。CPU12が記憶装置16から情報処理プログラムを読み出して、メモリ14に展開して実行することにより、CPU12が情報処理装置210の各機能構成として機能し、
図9に示す経路計画処理が実行される。このとき、対象範囲を俯瞰した位置から観測した俯瞰データが入力されているものとする。また、学習部38によって、予め用意された正解データに基づいて、分類モデル及び確信度推定モデルが学習されているものとする。なお、経路計画処理は、情報処理方法の一例である。
【0156】
ステップS100で、クラス確率算出部30は、対象範囲を俯瞰した位置から観測した俯瞰データから、分類モデルを用いて、対象範囲の各位置について、領域又は空間の種別を示す各クラスcの確率を表す確率分布として、分類尤度Pv(c)を算出する。
【0157】
ステップS102で、指標分布算出部32は、対象範囲の各位置について、クラス確率算出部30によって算出した確率分布と、各クラスの移動領域又は移動空間としての好ましさを示す指標と、に基づいて、指標の確率分布を算出する。具体的には、対象範囲を表すグリッドの各セルを頂点として、頂点間の各エッジについて、上記式(5)に従って、指標であるスリップsの確率分布を算出する。
【0158】
ステップS200で、確信度推定部232は、対象範囲を俯瞰した位置から観測した俯瞰データから、確信度推定モデルを用いて、対象範囲の各位置について、確信度を推定する。具体的には、対象範囲を表すグリッドの各セルを頂点として、頂点間の各エッジについて、上記非特許文献2に記載のprior networkと同様のモデルを用いて、分類モデルが出力する各クラスの分類尤度Pv(c)から、知識に起因する不確かさ、及びデータに起因する不確かさを推定する。
【0159】
ステップS202で、マップ生成部234は、対象範囲の各位置の指標の確率分布と、対象範囲の各位置の確信度とに基づいて、マップを生成する。具体的には、対象範囲を表すグリッドの各セルを頂点として、頂点間の各エッジについて、当該エッジの指標としてのスリップに関するコストfcost(e:v→v’)を計算し、各エッジのコストfcost(e:v→v’)を表すマップを生成する。
【0160】
ステップS106で、経路計画部36は、マップに基づいて、移動体50の移動経路を計画する。
ステップS108において、通信部40は、経路計画部36によって計画された移動体50の移動経路を、移動体50に通知し、経路計画処理を終了する。
そして、移動体50は、情報処理装置210から通知された移動経路に従って移動する。
【0161】
以上説明したように、第2実施形態に係る情報処理装置210によれば、対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、対象範囲の各位置について、確信度を推定し、確信度に基づいて、対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成し、移動体の移動経路を計画する。これにより、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を考慮して、対象範囲の各位置についてリスクを推定するための指標となる、移動領域又は移動空間としての好ましさのマップを生成し、移動経路を計画することができる。特に、種別の分類が困難な環境であることや、学習データが不足していることを考慮して、環境中の各位置について移動領域又は移動空間としての好ましさを示す指標を推定することができる。
【0162】
なお、上記実施形態では、移動領域としての好ましさを示す指標としてスリップのしやすさを用いる場合を例に説明したが、これに限定されるものではない。移動領域としての好ましさを示す指標として、他の指標を用いてもよい。例えば、移動領域の凹凸度合いなどの移動困難性を示す指標、泥跳ねの度合い、料理や薬品搬送時の振動の少なさを用いてもよい。
【0163】
また、移動領域としての好ましさを示す指標として、上記第2実施形態で説明した、確信度を用いるようにしてもよい。
【0164】
また、俯瞰データから移動領域としての好ましさを示す指標を推定する場合を例に説明したが、これに限定されるものではない。例えば、俯瞰データと、傾斜角の情報とから、移動領域としての好ましさを示す指標を推定するようにしてもよい。この場合、各位置の高さ情報と、移動体の移動方向とから、各位置の移動方向の傾斜角を求めればよい。
【0165】
例えば移動体が車両の場合、車両は自律走行車両でもよく、また人が運転する車両でも良い。人が運転する車両の場合、移動の困難性を示す指標や経路の好ましさの指標はカーナビゲーションの表示に表示されてもよい。指標算出において、俯瞰データだけでなく、外界の気温、路面の状態、天気の状態、車両周囲の他の車両の多さ、人の多さ、タイヤの種類などの車両の装備、年式の状態などの指標も含めて算出してもよい。
【0166】
また、例えば移動体がドローンの場合、指標の算出において、天気の状態、見通しの状態、風向、風速の状態などの指標も含めて算出しても良い。
【0167】
また、例えば移動体がコンピュータシミュレーションやゲーム内のキャラクタである場合、敵からの狙われやすさを指標として算出しても良い。
【0168】
また、説明してきた実施例では、対象範囲を俯瞰した位置から観測した俯瞰データを用いた(グローバルプランニング)が、その対象範囲は移動体の周囲に限定して計算しても良い(ローカルプランニング)。
【0169】
また、
図10~
図16に、本実施形態の詳細を説明するための図を示す。
【0170】
また、上記実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した各処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0171】
また、上記実施形態では、各プログラムが記憶装置に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM、DVD-R
OM、ブルーレイディスク、USBメモリ等の記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0172】
以下に、本開示に関する付記項を記載する。
【0173】
(付記項1)
対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部と、
前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部と、
を含む情報処理装置。
【0174】
(付記項2)
前記対象範囲の各位置の指標の確率分布に基づいて、前記対象範囲の各位置の前記指標を表すマップを生成するマップ生成部と、
前記マップに基づいて、前記移動体の移動経路を計画する経路計画部と、
を更に含む付記項1記載の情報処理装置。
【0175】
(付記項3)
対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、前記対象範囲の各位置について、前記確信度を推定し、前記確信度に基づいて、前記対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成するマップ生成部と、
前記マップに基づいて、前記移動体の移動経路を計画する経路計画部と、
を含む情報処理装置。
【0176】
(付記項4)
前記俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部と、
前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部と、を更に含み、
前記マップ生成部は、前記対象範囲の各位置の指標の確率分布と、前記対象範囲の各位置の前記確信度とに基づいて、前記マップを生成する付記項3記載の情報処理装置。
【0177】
(付記項5)
前記移動体は、車両、ロボット、ゲーム上のキャラクタ、又は飛行体である付記項1~付記項4の何れか1項記載の情報処理装置。
【0178】
(付記項6)
対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出し、
前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する
ことを含む処理をコンピュータが実行する情報処理方法。
【0179】
(付記項7)
対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、前記対象範囲の各位置について、前記確信度を推定し、前記確信度に基づいて、前記対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成し、
前記マップに基づいて、前記移動体の移動経路を計画する
ことを含む処理をコンピュータが実行する情報処理方法。
【0180】
(付記項8)
コンピュータを、
対象範囲を俯瞰した位置から観測した俯瞰データから、対象範囲の各位置について、領域又は空間の種別を示す各クラスの確率を表す確率分布を算出するクラス確率算出部、及び
前記対象範囲の各位置について、前記確率分布と、各クラスに対する、移動体の移動領域又は移動空間としての好ましさを示す指標と、に基づいて、前記指標の確率分布を算出する指標分布算出部
として機能させるための情報処理プログラム。
【0181】
(付記項9)
コンピュータを、
対象範囲を俯瞰した位置から観測した俯瞰データから、領域又は空間の種別を示すクラスを分類する分類モデルによる分類の確信度を推定するための確信度推定モデルを用いて、前記対象範囲の各位置について、前記確信度を推定し、前記確信度に基づいて、前記対象範囲の各位置の、移動体の移動領域又は移動空間としての好ましさを示す指標を表すマップを生成するマップ生成部、及び
前記マップに基づいて、前記移動体の移動経路を計画する経路計画部
として機能させるための情報処理プログラム。
【符号の説明】
【0182】
10、210 情報処理装置
12 CPU
14 メモリ
16 記憶装置
20 記憶媒体読取装置
30 クラス確率算出部
32 指標分布算出部
34、234 マップ生成部
36 経路計画部
38、238 学習部
40 通信部
50 移動体
100、200 情報処理システム
232 確信度推定部