ホーム > 特許ランキング > 日本電気通信システム株式会社
▶ 日本電気通信システム株式会社の特許一覧 ▶ 国立大学法人 香川大学の特許一覧
特開2022-166865自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022166865
(43)【公開日】2022-11-04
(54)【発明の名称】自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム
(51)【国際特許分類】
G05B 23/02 20060101AFI20221027BHJP
B64C 39/02 20060101ALI20221027BHJP
B64C 13/18 20060101ALI20221027BHJP
G05D 1/10 20060101ALI20221027BHJP
【ＦＩ】
G05B23/02 R
B64C39/02
B64C13/18 Z
G05D1/10
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021072221
(22)【出願日】2021-04-22
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】000232254
【氏名又は名称】日本電気通信システム株式会社
(71)【出願人】
【識別番号】304028346
【氏名又は名称】国立大学法人 香川大学
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】鎌田 典彦
(72)【発明者】
【氏名】喜田 弘司
(72)【発明者】
【氏名】古▲濱▼ 尚樹
【テーマコード（参考）】
3C223
5H301
【Ｆターム（参考）】
3C223AA15
3C223BA01
3C223BB05
3C223CC01
3C223EB02
3C223FF22
3C223FF26
3C223FF35
3C223FF45
5H301AA06
5H301AA10
5H301MM04
5H301MM09
(57)【要約】
【課題】自律移動装置において対策が必要となるような異常な状態を運用者が望む判定条件で検知する。
【解決手段】自律移動装置１はセンサ群１ａ、状態推定部１ｂ、第１異常判定部１ｃ、第２異常判定部１ｄ、出力部１ｅ、及び基準設定部１ｆを備える。状態推定部１ｂは検知結果に基づき現在の状態が予め定められた複数の状態ラベルのいずれに該当するかを推定し、第１異常判定部１ｃは推定結果に基づき異常状態であるか否かを判定する。第２異常判定部１ｄは異なる時間に複数回推定された結果に基づき複数の対策ラベルと正常ラベルとのいずれに該当するかを判定する。複数の対策ラベルは対策を必要とする履歴異常状態であることを示すために対策毎に予め定められたラベルで、記正常ラベルは対策が不要なラベルである。出力部１ｅは、第１異常判定部１ｃと第２異常判定部１ｄの判定結果とを出力する。基準設定部１ｆは、第２異常判定部１ｄの判定基準を設定する。
【選択図】図１
【解決手段】自律移動装置１はセンサ群１ａ、状態推定部１ｂ、第１異常判定部１ｃ、第２異常判定部１ｄ、出力部１ｅ、及び基準設定部１ｆを備える。状態推定部１ｂは検知結果に基づき現在の状態が予め定められた複数の状態ラベルのいずれに該当するかを推定し、第１異常判定部１ｃは推定結果に基づき異常状態であるか否かを判定する。第２異常判定部１ｄは異なる時間に複数回推定された結果に基づき複数の対策ラベルと正常ラベルとのいずれに該当するかを判定する。複数の対策ラベルは対策を必要とする履歴異常状態であることを示すために対策毎に予め定められたラベルで、記正常ラベルは対策が不要なラベルである。出力部１ｅは、第１異常判定部１ｃと第２異常判定部１ｄの判定結果とを出力する。基準設定部１ｆは、第２異常判定部１ｄの判定基準を設定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
自律移動装置における現在の状態を検知するセンサ群と、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、
前記第１異常判定部での判定結果とでの判定結果とを出力する出力部と、
前記第２異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
自律移動装置。
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、
前記第１異常判定部での判定結果とでの判定結果とを出力する出力部と、
前記第２異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
自律移動装置。
【請求項2】
前記第２異常判定部は、前記状態推定部での推定された状態ラベルの履歴である状態履歴を参照して、前記履歴異常状態であるか否かの判定を実行する履歴異常判定部を有する、
請求項１に記載の自律移動装置。
請求項１に記載の自律移動装置。
【請求項3】
前記状態履歴は、前記自律移動装置と同種の他の自律移動装置についての状態ラベルの履歴も含む、
請求項２に記載の自律移動装置。
請求項２に記載の自律移動装置。
【請求項4】
前記第１異常判定部での判定結果についての前記出力部の出力先は、前記第２異常判定部を含み、
前記第２異常判定部は、前記第１異常判定部での判定結果が前記異常状態であることを示している場合又は前記履歴異常判定部での判定結果が前記履歴異常状態であることを示している場合、試験的に前記自律移動装置の制御を変更して動作させる試験を実行し、前記試験前における前記第１異常判定部又は前記履歴異常判定部での判定結果と前記試験後における前記第１異常判定部又は前記履歴異常判定部での判定結果とに基づき、前記履歴異常状態であるか否かの最終的な判定を実行する試験実施部を有する、
請求項２又は３に記載の自律移動装置。
前記第２異常判定部は、前記第１異常判定部での判定結果が前記異常状態であることを示している場合又は前記履歴異常判定部での判定結果が前記履歴異常状態であることを示している場合、試験的に前記自律移動装置の制御を変更して動作させる試験を実行し、前記試験前における前記第１異常判定部又は前記履歴異常判定部での判定結果と前記試験後における前記第１異常判定部又は前記履歴異常判定部での判定結果とに基づき、前記履歴異常状態であるか否かの最終的な判定を実行する試験実施部を有する、
請求項２又は３に記載の自律移動装置。
【請求項5】
前記第１異常判定部は、前記現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定し、
前記複数の対策ラベルには前記試験の実行が必要であることを示す１又は複数種類の試験ラベルを含み、
前記試験実施部は、前記第１異常判定部が前記１又は複数の試験ラベルに該当すると判定した結果を示した場合に、判定結果が示す試験ラベルに対応する試験を実施する、
請求項４に記載の自律移動装置。
前記複数の対策ラベルには前記試験の実行が必要であることを示す１又は複数種類の試験ラベルを含み、
前記試験実施部は、前記第１異常判定部が前記１又は複数の試験ラベルに該当すると判定した結果を示した場合に、判定結果が示す試験ラベルに対応する試験を実施する、
請求項４に記載の自律移動装置。
【請求項6】
前記自律移動装置の移動を制御する移動制御部を備え、
前記出力部は、判定結果として、必要な対策に応じた制御命令を前記移動制御部に出力する、
請求項１～５のいずれか１項に記載の自律移動装置。
前記出力部は、判定結果として、必要な対策に応じた制御命令を前記移動制御部に出力する、
請求項１～５のいずれか１項に記載の自律移動装置。
【請求項7】
自律移動装置から前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を受信する受信部と、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、
前記第１異常判定部での判定結果と前記第２異常判定部での判定結果とを出力する出力部と、
前記第２異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
サーバ装置。
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、
前記第１異常判定部での判定結果と前記第２異常判定部での判定結果とを出力する出力部と、
前記第２異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
サーバ装置。
【請求項8】
自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得部と、
制御部と、
を備え、
前記制御部は、前記取得部で取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成し、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
学習装置。
制御部と、
を備え、
前記制御部は、前記取得部で取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成し、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
学習装置。
【請求項9】
自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、
前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、
前記第２異常判定ステップの判定基準を設定する基準設定ステップと、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
異常検知方法。
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、
前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、
前記第２異常判定ステップの判定基準を設定する基準設定ステップと、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
異常検知方法。
【請求項10】
自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、
前記自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、
前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、
前記第２異常判定ステップの判定基準を設定する基準設定ステップと、
を実行させ、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
プログラム。
前記自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、
前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、
前記第２異常判定ステップの判定基準を設定する基準設定ステップと、
を実行させ、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラムに関する。
【背景技術】
【0002】
近年、ドローンや自動運転車などの自律的に移動する装置（自律移動装置）の研究が盛んになされ、一部で実際に利用されてきている。また、労働者人口の減少や、コスト低減や業務効率化のため、今後、自律移動装置のさらなる普及が見込まれる。例えば、荷物の運搬や配送、配達などの業務が、人及び人が運転する自動車から自律移動装置に置き換わっていくことで、自律移動装置が人の生活に密着した場面で用いられることも見込まれる。そうなると、人の生活空間において自律移動装置が運用されることになるため、自律移動装置は、安全に運行されることが求められるとともに、確実で安定した運行も求められる。
【0003】
特許文献１には、受信手段、判別手段、形成手段、及び送信手段を備えたドローン用緊急事態対応指示装置が記載されている。上記受信手段は、無人航空機であるドローンからの信号であって、当該ドローンの状態を示す状態情報を含む状態等通知信号を受信する。上記判別手段は、上記受信手段を通じて状態等通知信号を受信した場合に、状態等通知信号に含まれる状態情報に基づいて、ドローンの状態が緊急事態か否かを判別する。上記形成手段は、上記判別手段でのドローンの状態が緊急事態であると判別した場合に、ドローンに対する対応指示情報を形成する。上記送信手段は、上記形成手段で形成した対応指示情報を送信する。
【0004】
異常検知に関し、特許文献２には、異常状態データベース、運転マニュアルデータベース、プラント監視部、異常状態判別部、対策検索部、及び通知部を具備するプラント運転支援装置が記載されている。上記異常状態データベースは、プラント本体が異常状態であるときのパラメータの範囲を記録し、上記運転マニュアルデータベースは、異常状態を解消する操作手順を記録する。上記プラント監視部は、プラント本体からパラメータを収集する。上記異常状態判別部は、異常状態データベースを参照し、収集されたパラメータに基づいてプラント本体が異常状態であるかどうかを判別する。上記対策検索部は、プラント本体が異常状態であるとき、操作手順を運転マニュアルデータベースから抽出する。上記通知部は、操作手順を端末機に通知する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１８－１６５１１５号公報
【特許文献2】特開２００３－００５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明者らは、自律移動装置の安全運行、安定運行について考察した。
自律移動装置を安全に運行するために、つまり自律移動装置や周辺環境に異常が生じてもそもそも衝突などが起き難くするためには、次のような安全対策が考えられる。即ち、安全対策としては、自律移動装置間や自律移動装置と周囲の構造物や周囲の人などとの間隔を十分に大きくとって運用すること、十分に低速で運行すること、墜落や衝突などが起きても問題ない場所に限定して運行することが考えられる。
自律移動装置を安全に運行するために、つまり自律移動装置や周辺環境に異常が生じてもそもそも衝突などが起き難くするためには、次のような安全対策が考えられる。即ち、安全対策としては、自律移動装置間や自律移動装置と周囲の構造物や周囲の人などとの間隔を十分に大きくとって運用すること、十分に低速で運行すること、墜落や衝突などが起きても問題ない場所に限定して運行することが考えられる。
【0007】
しかしながら、自律移動装置が宅配などの用途で本格的に運用されることを想定すると、自律移動装置が、人がいる街なかで、多数、高密度、高速度で運用できる必要があるが、上記安全対策ではこれらの要件を満たさなくなってしまう。即ち、限定された区域での運用や十分に広い間隔をとっての運用や低速の運用による安全確保では、自律移動装置を多数、高密度、高速度で運用することができない。よって、多数、高密度、高速度で運用でき、且つ、緊急時には安全な対策がとれる仕組みが必要となる。
【0008】
一方で、自律移動装置によっては、非常に単純な判定で、安全のために停止させる仕組みを持つものもある。例えば、自律移動装置の動作部品の稼働状況を監視して、不調が疑われただけで停止する仕組みや、姿勢センサ、加速度センサなどでセンサ値の閾値を監視し、あるセンサが一定の閾値を超えた場合に停止する仕組みが挙げられる。
【0009】
しかし、自律移動装置は様々な状況で使われるため、過検知や、不調や異常値の検出で直ちに移動を停止すると、予防的で過剰で運行要件を満たせなくなる場合や必ずしも安全とは言えない場合がある。
【0010】
例えば、自律移動装置の一種である自動運転車が高速道路の追い越し車線を運行している場合、異常が疑われる場合であってもその場に停車することは、後続車との衝突を招き危険である。よって、その危険を上回る非常時でなければ、停車しても安全な場所まで走行するべきである。
【0011】
また別の例として、自律移動装置の一種である運輸用途などで街なかで運用されるドローンは地上の人や車両、送電線、重要施設などとの接触の危険があるため、異常が疑われる場合でも、直ちにその場に着陸させるという運用は好ましくない。即ち、その危険を上回る非常時でなければ、着陸しても安全な場所まで運行するべきである。また、ドローンについても、先に述べた通り、今後、高密度、高速度運行が求められることが想定されるため、高速道路における自動運転車の例と同様に、急な着陸動作が周囲の他機との衝突を招く危険もある。
【0012】
また、運輸用途などで重要な物品を運搬する運行要件である場合には、緊急であっても山奥やへき地や海上、湖上、川など回収困難或いは回収不能になるような場所に停止、着陸させたくない場合もある。
【0013】
つまり、自律移動装置を異常の疑いで過剰に緊急停止することは運用上不都合があり、運行要件によっては緊急停止がベストな対処方法ではない場合がある。そして、このような場合、判断基準や対策方法などは、運行要件に応じて開発者ではなく運行者が定義できるようになっていることが望まれる。
【0014】
また、緊急時のみ人が遠隔で自律移動装置を操作する方法も考えられるが、この方法は、大量の自律移動装置が運用されるようになると、その数に応じた多くの人員が必要になるため、次の問題が生じ得る。即ち、コスト面や人手確保の面で問題が生じ、多重事故のようなことが起きた場合に、対応できる自律移動装置の数に限界が生じる。
【0015】
安全の観点での課題について説明したが、異常の疑いや、ある冗長部品の単一の故障の有無や、センサ情報の閾値と言った単純な基準を契機に、緊急停止、緊急着陸という運用中止となる極端な対処が実行される場合、安定運用の観点でも問題が生じ得る。この問題とは、本来の自律移動装置の目的である、輸送や移動といった、自律移動装置の運用に頻繁に支障をきたしてしまい、例えば決まった時刻までに運搬物を届けるといった運用要件を高頻度で満たせなくなる。
【0016】
そのため、自律移動装置においては、異常の度合いや種類を見極められること、多少の異常であれば、運用要件に応じて異常の判定条件や対処方法を開発者ではなく運用者が柔軟に容易に設定できる手段の実現が望まれる。
【0017】
それに対し、特許文献１に記載の技術は、ドローンの異常対処として異常検知後の対策を行うことができるが、異常発生前に、異常判定精度を高めて不時着を極力回避しドローンの可用性を高めることはできない。また、特許文献２に記載の技術は、異常状態を判別し、その原因事象を検索し、その原因事象に対応する対策を抽出することができるが、抽出される対策は、各データベースのデータに基づくものであり、プラント毎に運用者が変更することは困難で、汎用性がない。
【0018】
本開示の目的は、対策が必要となるような異常な状態を自律移動装置の運用者が望む判定条件で検知することが可能な自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム等を提供することにある。
【課題を解決するための手段】
【0019】
本開示の第１の態様に係る自律移動装置は、自律移動装置における現在の状態を検知するセンサ群と、前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、前記第１異常判定部での判定結果と前記第２異常判定部での判定結果とを出力する出力部と、前記第２異常判定部の判定基準を設定する基準設定部と、を備えたものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
【0020】
本開示の第２の態様に係るサーバ装置は、自律移動装置から前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を受信する受信部と、前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、前記第１異常判定部での判定結果と前記第２異常判定部での判定結果とを出力する出力部と、前記第２異常判定部の判定基準を設定する基準設定部と、を備えたものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
【0021】
本開示の第３の態様に係る学習装置は、自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得部と、制御部と、を備え、前記制御部は、前記取得部で取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成するものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
【0022】
本開示の第４の態様に係る異常検知方法は、自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、前記第２異常判定ステップの判定基準を設定する基準設定ステップと、を備えたものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
【0023】
本開示の第５の態様に係るプログラムは、自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、前記自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、前記第２異常判定ステップの判定基準を設定する基準設定ステップと、を実行させる、ものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
【発明の効果】
【0024】
本開示により、対策が必要となるような異常な状態を自律移動装置の運用者が望む判定条件で検知することが可能な自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム等を提供することができる。
【図面の簡単な説明】
【0025】
【図1】実施形態１に係る自律移動装置の一構成例を示すブロック図である。
【図2】実施形態１に係る自律移動装置で利用する学習済みモデルを生成する学習装置の一構成例を示すブロック図である。
【図3】実施形態２に係る自律移動装置の一構成例を示すブロック図である。
【図5】状態モデルを生成する際に使用する学習データの例を示す図である。
【図6】状態の分類例を示す図である。
【図7】正解ラベルが未知の場合に状態モデル１２２を生成する手順の例を説明するための概念図である。
【図8】正解ラベルが既知の場合に状態モデル１２２を生成する手順の例を説明するための概念図である。
【図9】状態推定の例を説明するための模式図である。
【図10】データの例を示す図である。
【図12】状態異常ルールの一例を示す図である。
【図13】異常判定の一例を示す図である。
【図15】状態履歴異常ルールの一例を示す図である。
【図17】試験ルールの一例を示す図である。
【図19】対策ルールの一例を示す図である。
【図26】実施形態３に係る自律移動システムの一構成例を示すブロック図である。
【図27】実施形態３に係る自律移動システムの他の構成例を示すブロック図である。
【図28】装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0026】
以下、図面を参照して、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付すことがあり、重複する説明は適宜省略される。
【0027】
【0028】
図１に示すように、本実施形態に係る自律移動装置１は、複数のセンサ（センサ群）１ａ、状態推定部１ｂ、第１異常判定部１ｃ、第２異常判定部１ｄ、出力部１ｅ、及び基準設定部１ｆを備える。なお、自律移動装置１は、外部の装置との通信を行う通信部（図示せず）を備えることもできる。この通信部は、自律移動装置１の種類、外部とのデータの通信タイミングなどによって、無線通信部及び有線通信部の少なくとも一方とすることができる。
【0029】
自律移動装置１は、自律的に移動することが可能な装置であり、センサ群１ａから出力された検知結果（センサデータ）に基づき、移動中（運行中）の状態が異常な状態でないかを検知することができる。
【0030】
本実施形態に係る自律移動装置１は、移動中における自律移動装置１の状態が異常であるかの監視（検知）が必要となるような移動機器全般に適用でき、その管理に好適に利用することができる。自律移動装置１は、情報処理能力を持ち、アクチュエータなどを制御して、自律的に移動を行い、運搬や移動を担う機器全般とすることができる。
【0031】
自律移動装置１としては、例えば、自動運転自動車、自動運転列車、自動航行船舶、自動飛行する航空機、ドローン、工場や倉庫等で用いられるＡＧＶ（自動搬送車）、走行機能や脚での移動機能を持つロボット、ロボット電動車いす、自動二輪車などが挙げられる。ここで、ドローンは、上空を飛行する無人航空機等の飛行体に限らず、地上、上空、水上、水中、宇宙など、その動作環境を問わない。また、ロボットは、走行、歩行など、その移動方式を問わない。さらに、自律移動装置１としては、例えば、フォークリフト、建機や重機等の工事用車両、鉄道車両、タクシー、トラック等の物流に用いられる車両、警察車両、消防車両なども挙げられる。ここで、鉄道車両は、ライトレール、鉄輪式、新交通システム、モノレール、磁気浮上式など、その移動方式を問わない。また、自律移動装置１は、ある時は自律的に動作し、ある時は人間による指示や操作で動作するモード切替えのある機器や、自律動作の一部を人間の操作や指示と協調して移動する機器も含まれる。即ち、自律移動装置１は、自律的に移動可能であればよく、外部のコントローラからの制御に従い、或いは搭乗者の操作に従い、移動する機能を有することもできる。
【0032】
センサ群１ａは、自律移動装置１における現在の状態を検知する。ここで、現在の状態とは、センサ群１ａに含まれるセンサそれぞれについて、設置箇所における検知対象を計測した結果のセンサ値、或いはそのセンサ値が示す状態を指すことができ、主に移動状態（運行状態）が含まれる。上記移動状態は、自律移動装置１の傾きや位置などを含むことができる。なお、上記設置箇所や上記検知対象は、一般的に自律移動装置１の種別や形状によって異なることになる。また、センサ群１ａは、自律移動装置１の制御に必要な複数のセンサで構成されることができ、自律移動装置１自身の状態を収集するセンサ群だけでなく、周囲（周囲環境）の状態を収集するセンサ群も含むことができる。また、センサ群１ａにおける検知間隔は問わないが、素早い検知のためには短いことが望ましい。また、センサ群１ａに属するセンサそれぞれの検知間隔は同じであることが好ましいが、異なってもよく、各センサで検知時刻が若干ズレた検知データを同時刻と取り扱うこともできる。
【0033】
各部１ｂ～１ｆの一部又は全部は、自律移動装置１の全体を制御する制御部（図示せず）として構成することができる。この制御部は、例えば、ＣＰＵ（Central Processing Unit）、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、各部１ｂ～１ｆの一部又は全部の機能を実現するための処理を実行するプログラムとすることができる。また、この制御部は、例えば集積回路（Integrated Circuit）によって実現することもできる。
【0034】
状態推定部１ｂは、センサ群１ａによる検知結果に基づき、自律移動装置１における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する。状態推定部１ｂによる状態推定により、複数のセンサの情報（例えば各数値やＯＮ／ＯＦＦやモードなど）の組み合わせから、人間が理解しやすい、自律移動装置１の状態を表す状態ラベルに変換することができる。これにより、自律移動装置１の状態に対する対処方法の定義が簡潔かつ容易になる。さらに、これにより、自律移動装置１の設計開発段階に開発者が制御則や機構や回路やソフトウェアとして予め組み込むのではなく、運用段階になってから自律移動装置１の利用者が柔軟に非常時動作を定義することができるようになる。ここで、対処方法の定義とは、後述する対策の定義やその対策を実施する際の判定の基準の定義などを指す。
【0035】
第１異常判定部１ｃは、状態推定部１ｂでの推定結果（つまり状態推定部１ｂで推定された状態ラベル）に基づき、現在の状態が当該状態を変えるための対策を必要とする異常状態（要対策状態）であるか否かを判定する。
【0036】
第２異常判定部１ｄは、状態推定部１ｂで異なる時間に複数回推定された結果（複数回又は複数種類の状態ラベル）に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する。この判定のために、状態推定部１ｂでの推定結果は履歴として保存しておけばよい。
【0037】
上記複数の対策ラベルは、複数回推定された結果が示す自律移動装置１の状態が該状態を変えるための対策を必要とする履歴異常状態（要対策状態）であることを示すために、対策毎に予め定められたラベルである。つまり複数回推定された結果に応じて実行する対策毎に対策ラベルが設定されており、更に換言すれば、判定結果が示す対策ラベル毎に対策が設定されている。また、上記正常ラベルは対策が不要なラベルであり、正常ラベルに該当すると判定された場合には対策が不要であることを意味する。
【0038】
出力部１ｅは、第１異常判定部１ｃでの判定結果と第２異常判定部１ｄでの判定結果とを出力する。それらの出力先としては、例えば、自律移動装置１の移動を制御する図示しない移動制御部（駆動制御部）を含むことができ、これにより判定結果に応じた移動の制御が可能となる。
【0039】
そして、基準設定部１ｆは、第２異常判定部１ｄの判定基準を設定する。基準設定部１ｆは、自律移動装置１の本体に設けられた操作部（操作受付部）とすること、外部装置からの通信により設定できるように設定信号を受信する受信部とすること、或いはそれらの双方とすることができる。
【0040】
また、第２異常判定部１ｄは、状態推定部１ｂで異なる時間に複数回推定された結果を入力し状態推定部１ｂでの推定結果を入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する第１学習済みモデルを用いて、判定を実行することもできる。この学習済みモデルや後述する学習済みモデルにおけるアルゴリズム等は問わず、判定が行えればよい。無論、第２異常判定部１ｄは学習済みモデルを用いずに予め定められた定義式等により判定を行うこともでき、この点については第１異常判定部１ｃや状態推定部１ｂについても同様である。
【0041】
また、第１異常判定部１ｃも、現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定することが好ましい。ここでの対策ラベル及び正常ラベルも第２異常判定部１ｄでのそれらと同様の定義とすることができるが、１回の状態検知結果からの判定である点が異なるため、基本的には判定基準が異なることになる。つまり、第１異常判定部１ｃでの対策ラベル及び正常ラベルのラベル群は、第２異常判定部１ｄでの対策ラベル及び正常ラベルのラベル群と、共通するラベルを有することができるが、少なくとも判定基準が異なることになる。
【0042】
そして、第１異常判定部１ｃは、状態推定部１ｂでの推定結果を入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する第２学習済みモデルを用いて、判定を実行することもできる。
【0043】
また、状態推定部１ｂは、センサ群１ａによる検知結果を入力し複数の状態ラベルの中のいずれかを出力する第３学習済みモデルを用いて、推定を実行することもできる。このように、機械学習を用いた状態推定部１ｂによる状態推定により、複数のセンサの情報（数値やＯＮ／ＯＦＦやモードなど）の組み合わせから、人間が理解しやすい自律移動装置の状態を表す状態ラベルに変換することができる。機械学習を用いることで、更に状態ラベルの推定を正確に行うようにすることができる。
【0044】
なお、判定や推定に用いることができる各学習済みモデルについては、図２を参照しながら後述する。各学習済みモデルは１つの学習済みモデルとして構築することもできる。また、各学習済みモデルは、制御部の内部に記憶しておくなど、自律移動装置１の内部に保存しておくことができるが、外部のサーバ装置に保存しておくこともできる。サーバ装置に各学習済みモデルを記憶しておく場合、自律移動装置１は、センサ群１ａでの検知結果を送信し、その応答として判定や推定の結果を得ることができる。
【0045】
上述したように、状態ラベルを用いることで、運用段階になってから自律移動装置１の利用者（運用者）が柔軟に非常時動作（対策を施す必要があるときの動作）を定義することができるようになり、この点は学習済みモデルを用いない場合にも同様である。さらに、このような、人間が理解しやすい自律移動装置の状態を表す状態ラベルを用いることで、自律移動装置１に対してより複雑な非常時動作を利用者が定義できるようになる。例えば次のことが可能になる。
【0046】
即ち、人間が理解しやすい自律移動装置１の状態を表す状態ラベルに対して人間が対処方法を容易に定義できる手段とその定義に基づいて自律移動装置１の動作を変える手段を提供することができる。また、この対処方法については、自律移動装置１の状態が状態ラベルで表現可能になったことで、第２異常判定部１ｄでの判定のように、時間経過を考慮に入れた、より複雑で異常な自律移動装置の使い方の定義とその対処の定義が基準設定部１ｆから可能になる。また、基準設定部１ｆは、第２異常判定部１ｄの判定基準を設定できる構成であるが、第１異常判定部１ｃの判定基準の設定も可能に構成しておくことが好ましい。この場合には第１異常判定部１ｃでも判定結果をラベルとして出力ようにしておけば容易に定義の変更ができる。
【0047】
これらの仕組みにより、異常発生時など自律移動装置１が特定の状態に陥った際に適した対処動作を自動で行えるだけでなく、自律移動装置の設計開発時に予め固定で組み込む必要があった対処動作を、運用者が後から容易に変更できるようになる。この変更は、運用者が、例えば運行の時々の積み荷の価値や特性、運行の契約条件などに応じて行うことができる。
【0048】
以上のように、状態推定部１ｂによる状態推定により、自律移動装置１の状態を人が理解しやすい形式で表現するため、その状態に対しての対処方法の定義を簡単に行うこと、つまり各種ルールを簡潔に記述することができる。ここでは、多数のセンサの数値、ステータスなどの数値、値の組み合わせやレンジに対して定義するのではなく、可読性の高い組み合わせラベルに対して記述すれば良い点で、簡潔に記述できると表現している。
【0049】
例えば、ルールが簡潔に記述されることによって、自律移動装置の異常時の動作を、運搬物や周囲の環境、機体や積み荷の価格や、運行の目的に応じて可変にすることができる。さらに、自律移動装置１の状態が人が理解しやすい形式で表現されているため、その状態に対しての対策の定義とその判定の定義（例えば実施形態２で説明する試験の定義とその判定の定義）を簡単に行うことができる。
【0050】
また、ルールに記述が簡潔にできるようになることで、異常判定のルールを制御部の制御則としての実装ではなく（自律移動装置１の設計開発の専門知識必要）としてではなく、利用者が定義ファイルとして簡潔に記述できるようになる。また、ルールに記述が簡潔にできるようになることで、単純な異常判定ルールだけでなく、履歴を考慮したより複雑な条件も簡潔に定義できるようになる。
【0051】
例えば、発生回数での判定ルールの例として、Ａという状態が一定時間内に一定件数生じたら異常と判定するように定義することもできる。また、発生順不同の組み合わせでのルールの例として、一定時間内にＡという状態とＢという状態とＣという状態が発生した場合に異常と判定するように定義することもできる。また、順序が重要な組み合わせでのルールの例として、一定時間内にＡという状態の後Ｂという状態の後Ｃという状態が発生したら異常と判定するように定義することもできる。これらの例のように、複雑な条件が容易に定義できるようになる。無論、状態の組み合わせはＡ，Ｂ，Ｃの３つに限ったものではなく、２以上の状態の組み合わせについて容易に定義することができる。
【0052】
また、このようにルールを容易に運用者が設定できるようになることで、異常と過剰に誤検知され、即時緊急動作となっていたような場面でも、それをしなくて良くなるため、自律移動装置１の運用の可用性が高まる。
【0053】
以上により、本実施形態に係る自律移動装置１では、異常の分類とそれに対する対応動作を開発者ではなく運用者が業務要件に合わせてより細かく、柔軟に定義、動的に定義できるようになる。つまり、本実施形態によれば、対策が必要となるような異常な状態を自律移動装置１の運用者が望む判定条件で検知することが可能になる。これにより、異常発生時に所定の場所に移動する、緊急停止（着陸）といった定型の対処しかできなかった自律移動装置に対して、自律移動装置１の方が可用性が高くなる。
【0054】
【0055】
図２に示すように、学習装置２は、取得部２ａ及び制御部２ｂを備えることができる。ここで制御部２ｂは記憶部２ｃを備えることができる。なお、学習装置２は自律移動装置１内部に備えることもできる。
【0056】
取得部２ａは、自律移動装置１における現在の状態を検知するセンサ群で取得された検知結果を取得する。学習装置２が自律移動装置１の外部にある場合には、取得部２ａは可搬記録媒体を介して検知結果を読み込む読み込み部、あるいは、有線又は無線通信により検知結果を受信する受信部とすることができる。学習装置２が自律移動装置１の内部に備えられる場合、取得部２ａは、内部の配線を介してセンサ群１ａから検知結果を取得すればよい。
【0057】
制御部２ｂは、取得部２ａで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する。なお、複数の対策ラベルや正常ラベルについては上述した通りである。
【0058】
対策ラベル出力用の学習済みモデル２ｅは、記憶部２ｃに記憶した未学習モデル２ｄに複数回の検知結果を入力して機械学習を行うことで構築された学習モデルとすることができ、これも記憶部２ｃに記憶させることができる。
【0059】
また、制御部２ｂは、取得部２ａで取得された検知結果を入力し自律移動装置１の現在の状態を示すために予め定められた複数の状態ラベルの中のいずれかを出力する、状態ラベル出力用の学習済みモデルを生成するように構成することもできる。また、状態ラベル出力用の学習済みモデルも、同様に、記憶部２ｃに記憶した未学習モデル２ｄに検知結果を入力して機械学習を行うことで構築された学習モデルとすることができ、これも記憶部２ｃに記憶させることができる。
【0060】
制御部２ｂは、自律移動装置１の全体を制御する制御部と同様に、例えば、ＣＰＵ、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、学習済みモデル生成プログラムとすることができる。
【0061】
このように、本実施形態に係る学習装置２では、対策が必要となるような異常な状態を自律移動装置の運用者が望む判定条件で検知することが可能な自律移動装置で利用できる学習済みモデルを生成することができる。
【0062】
＜実施形態２＞
実施形態２について、図３～図２５を参照しながら、実施形態１との相違点を中心に説明するが、実施形態１で説明した様々な例が適用できる。以下、本実施形態に係る自律移動装置としてドローンを採用した例を念頭に置いて説明するが、ドローンを他種の自律移動装置に置き換えて考えても、本質的には変わらない。
実施形態２について、図３～図２５を参照しながら、実施形態１との相違点を中心に説明するが、実施形態１で説明した様々な例が適用できる。以下、本実施形態に係る自律移動装置としてドローンを採用した例を念頭に置いて説明するが、ドローンを他種の自律移動装置に置き換えて考えても、本質的には変わらない。
【0063】
図３は、実施形態２に係る自律移動装置の一構成例を示すブロック図である。図３に示すように、本実施形態に係る自律移動装置１０は、センサ群１１、状態推定部１２、状態異常判定部１３、状態履歴異常判定部１４、試験実施部１５、対策決定部１６、移動制御部１７、及び基準設定部１８を備えることができる。自律移動装置１０としては、実施形態１に係る自律移動装置１として例示した様々な例が適用できる。自律移動装置は、一般的にはセンサ群１１と移動制御部１７と簡易な異常検出手段を備えて自律運行を行うのみであるが、本実施形態に係る自律移動装置１０は更に各部１２～１６，１８を有するものとなる。
【0064】
センサ群１１はセンサ群１ａに相当し、状態推定部１２は状態推定部１ｂの一例、状態異常判定部１３は第１異常判定部１ｃの一例、状態履歴異常判定部１４及び試験実施部１５は第２異常判定部１ｄの一例、対策決定部１６は出力部１ｅの一例である。また、基準設定部１８は基準設定部１ｆの一例である。なお、状態履歴異常判定部１４及び試験実施部１５はそのいずれか一方のみを搭載することもできる。
【0065】
図３に示す各構成要素は、コンピュータ上のプログラムでもよく、電気電子回路で構成されていてもよく、プログラムと電気電子回路の複合などであっても構わない。図３において線でつながる構成要素間は情報のやり取りができる。これもプログラムであれば共有のメモリやストレージ等を介して要素間情報の授受をしてもよいし、実装上ユニットが分かれているのであれば、通信を介して情報の授受をしてもよい。また、図３のセンサ群１１以外の構成要素の全て又は一部が通信を介してつながる自律移動装置１０の外部の装置に搭載し処理をさせることもでき、この例については実施形態３として後述する。例えば、自律移動装置１０と通信を介してつながった管理装置等のサーバ装置（クラウドサーバ装置であってもよい）などで同様の処理を自律移動装置１０に代わって実行するようにしても。以下、各構成要素の詳細について説明する。
【0066】
（センサ群１１）
まず、センサ群１１は、自律移動装置１０に搭載されているセンサ群である。自律移動装置１０に限らず、一般的に自律移動装置にその制御に必要な自身の状態や周囲の状態を収集するために搭載されているような複数の様々なセンサを、センサ群１１として採用することができる。
まず、センサ群１１は、自律移動装置１０に搭載されているセンサ群である。自律移動装置１０に限らず、一般的に自律移動装置にその制御に必要な自身の状態や周囲の状態を収集するために搭載されているような複数の様々なセンサを、センサ群１１として採用することができる。
【0067】
自律移動装置の一種であるドローンを例に挙げて、センサ群１１の例を説明する。センサ群１１としては、機体の速度を観測する速度センサ、機体の加速度を観測する加速度センサ、機体のロールとピッチとヨーを観測するジャイロセンサ、飛行に使用する各ロータの回転数を観測する回転センサを含むことができる。また、センサ群１１としては、自機の高度を観測するための気圧センサや高度センサ、自機からの方位を観測するための地磁気センサ、回路やロータの発熱を検知する温度センサなども含むことができる。無論、センサ群１１は、これらの例の全てを含む必要はなく、一部のみを含むことができ、またこれらの例に限らず他種のセンサを含むこともできる。
【0068】
例えば、センサ群１１に含まれる他のセンサとしては、例えば、ＧＮＳＳ（Global Navigation Satellite System／全球測位衛星システム）における位置情報を取得するセンサが挙げられる。なお、ＧＮＳＳは、ＧＰＳ（Global Positioning System）、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）、Ｇａｌｉｌｅｏ、準天頂衛星システム等の衛星測位システムの総称である。ここで、準天頂衛星システムは、ＱＺＳＳ（Quasi-Zenith Satellite System）である。このセンサにより、自律移動装置１０は、ＧＮＳＳ信号を受信して、自機の空間内における位置を測位して位置情報を得ることができる。また、センサ群１１に含まれるセンサは、光学式カメラやステレオカメラとすることもでき、カメラで取得された映像を情報処理して、自機の位置や姿勢を求めることもできる。また、センサ群１１に含まれるセンサは、音波センサ、超音波センサ、２Ｄ－ＬｉＤＡＲ、３Ｄ－ＬｉＤＡＲなどとすることもできる。この場合、自律移動装置１０は、音波やレーザを用いたセンシング装置から得られる波形データや点群データなどを情報処理して、自機の位置や姿勢、周囲の状況などを求めて得ることができ、このようにして得られた情報もセンサ情報と言える。よって、これらのように情報処理を必要とするセンサもセンサ群１１に含めることができる。
【0069】
また、自律移動装置１０の動作モード（モードのＯｎ／Ｏｆｆや現在のモードなど）や他の搭載装置（例えばロータなどの状態や、自律制御に用いられる制御装置のログデータなども、センサ情報と言えるため、このような情報を提供する装置もセンサ群１１に含めることができる。ここで、ロータの状態としては、有効／無効や正常／異常や回転速度、出力、温度などが挙げられる。
【0070】
本実施形態ではなく一般的な自律移動装置の場合、センサ群１１で収集されたセンシング結果を次に説明する移動制御部１７に入力し、単純な自律制御を行うが、本実施形態に係る自律移動装置１０は各部１２～１６，１８を備える。
【0071】
（移動制御部１７）
移動制御部１７は、自律移動装置１０の移動を制御する制御部であり、駆動制御部と称することもできる。移動制御部１７は、センサ群１１から与えられたセンシング情報を元に、自律移動装置１０に搭載されたロータなどのアクチュエータを制御し、自律制御行う頭脳にあたる部分である。自律移動装置１０は、運行開始時に与えられたルートや座標や姿勢、速度で運行するように自律制御を行うため、制御の誤差や、風などの外乱で多少位置などがずれても、センシング情報を元にアクチュエータを制御して自力で本来の位置、姿勢、速度を維持できる。これは自律移動装置一般に搭載されている機能である。また、一般的な自律移動装置では、一部ロータの停止、地上との通信断、大きな経路外れなど検出が簡単な単純な異常については、予め定めておいた座標に移動する、高度を下げその場に緊急着陸するなど、最小限の対処機能が組み込まれている場合もある。しかし、本実施形態に係る自律移動装置１０では、この対処機能が過剰に実行されるような場面でも運用者が望むように制御を可能にする。
移動制御部１７は、自律移動装置１０の移動を制御する制御部であり、駆動制御部と称することもできる。移動制御部１７は、センサ群１１から与えられたセンシング情報を元に、自律移動装置１０に搭載されたロータなどのアクチュエータを制御し、自律制御行う頭脳にあたる部分である。自律移動装置１０は、運行開始時に与えられたルートや座標や姿勢、速度で運行するように自律制御を行うため、制御の誤差や、風などの外乱で多少位置などがずれても、センシング情報を元にアクチュエータを制御して自力で本来の位置、姿勢、速度を維持できる。これは自律移動装置一般に搭載されている機能である。また、一般的な自律移動装置では、一部ロータの停止、地上との通信断、大きな経路外れなど検出が簡単な単純な異常については、予め定めておいた座標に移動する、高度を下げその場に緊急着陸するなど、最小限の対処機能が組み込まれている場合もある。しかし、本実施形態に係る自律移動装置１０では、この対処機能が過剰に実行されるような場面でも運用者が望むように制御を可能にする。
【0072】
【0073】
状態推定部１２は、センサ群１１から送られた多岐にわたるセンサ情報の組み合わせを、人が理解しやすい状態を表す名前とその確度に変換する機能部である。実施形態１と同様に、この状態を表す名前を状態ラベルと称する。
【0074】
図４に示すように、状態推定部１２は、推定部１２１と状態モデル１２２とで構成されることができる。状態モデル１２２は、次の例のようにして構築することができる。状態モデル１２２は、正解ラベルが未知の場合と既知の場合でその作成手順が異なる。
【0075】
図５及び図６を参照しながら状態モデル１２２の生成に際して使用する学習データ及び状態の例について説明する。図５は、状態モデル１２２を生成する際に使用する学習データの例を示す図で、図６は、状態の分類例を示す図である。
【0076】
ドローンのセンサデータには加速度、ジャイロ、磁気などが含まれている。説明の便宜上、ドローンから取得したそのままのデータを生のセンサデータと呼ぶ。状態モデル１２２は生のセンサデータをもとに状態がうまく分類できるものにすることが望まれる。この「状態がうまく分類できるものにしたい」の部分をタスクと称して説明する。分析者はタスクの精度を高めるために、図５に示すように、センサデータ４０をそのまま用いるだけでなく、センサデータ４０を加工することができる。説明の便宜上、これを加工したセンサデータ４１と呼ぶ。生のセンサデータ４０と加工したセンサデータ４１はそれぞれ特徴量（特徴ベクトル）ということができる。状態モデル１２２は状態を分類するためのモデルとして構築する。そのため、予め取得したセンサデータがどの状態のときのデータなのか知る必要があり、これを正解ラベルという。正解ラベルと特徴量をまとめたデータを学習データ４２という。
【0077】
図６には、２つの特徴量に対して、各状態として、正常状態、前に進まない状態、プロペラ停止状態のいずれかに分類する例に挙げている。図６において丸で示す特徴ベクトルは各状態での正解ラベルを示している。なお、ここでは単純化して説明するために２つの特徴量を挙げて説明するが、各センサの出力値のそれぞれに対する生のセンサデータと加工したセンサデータとを特徴量として使用することができる。
【0078】
図７及び図８を参照し状態モデル１２２の生成例についてより具体的に説明する。図７は、正解ラベルが未知の場合に状態モデル１２２を生成する手順の例を説明するための概念図で、図８は、正解ラベルが既知の場合に状態モデル１２２を生成する手順の例を説明するための概念図である。
【0079】
正解ラベルが既知の場合、正解ラベルを答えとして与えて学習させる。これを教師あり学習といい、教師（正解ラベル）と特徴量のそれぞれを組み合わせて機械学習させることで、状態を予測するモデルを生成する。学習するアルゴリズム（学習器）は分析者が任意に決めればよい。そして、学習した結果が状態モデル１２２として出力される。学習器や、パラメータを変更して学習すれば、その数だけ状態モデル１２２を生成することができる。生成した複数の状態モデルは最良のモデルを分析者が選択して使用することができる。或いは、状態推定部１２は、生成した複数の状態モデル１２２で多数決をするなどして状態推定を行うこともできる。状態モデル１２２の生成に際し、上述のようにアルゴリズムやそのパラメータの選択方法、複数の状態モデルの中からの選定方法などは問わず、以降に述べる他のモデルを学習させる場合についても同様である。
【0080】
正解ラベルが未知の場合、まず正解ラベルを作成する必要がある。そのアプローチの一つとしてクラスタリングがある。クラスタリングとはデータの中から距離が近いデータを一つのクラスタとしてグルーピングする処理である。このようにしてグルーピングして作成された各クラスタのデータがどの状態なのか正解ラベルをつける。この正解ラベルの付け方は、専門家に付けてもらう、予め集めた少量の正解ラベル付きのデータを用いて付ける、などがある。こうして作成された正解ラベル付きのデータが生のセンサデータとなり、このデータをもとに学習データが作成される。ここから先の手順は正解ラベルが既知の場合と同じである。
【0081】
【0082】
説明の便宜上、現在飛行しているドローンのセンサデータを現在データと呼ぶ。状態モデル１２２を作成するために生のセンサデータを加工したとき同様、現在データも加工して（特徴量にして）入力する。推定部１２１では、図９に示すように、現在データの特徴量と状態モデル１２２を入力として与え、出力として状態の推定結果を得る。この推定には推定のための学習済みモデルを使用することができ、このモデルの手法としては様々な推論アルゴリズム（分類アルゴリズム）やパラメータを使用することができる。また、上述のように状態モデル１２２は、学習器やそのパラメータを変更して学習すればその数だけ状態モデル１２２は作成される。推定部１２１は、推定用モデルに入力する状態モデル１２２として、複数の状態モデル１２２のうちの最良なモデルを採用して状態推定の結果を得ることができる。或いは、推定部１２１は、推定用モデルで推定した結果に基づき多数決を採るなどして状態推定の結果を得ることもできる。
【0083】
推定部１２１において、状態は二値ではなく多値で表されるため、現在データがどのクラスに分類されるかは確率として出力される。例えば図１０に示すように、現在データが７サンプルある場合、推定部１２１は、各サンプルが正常クラス（０）である確率、前に進まないクラスである確率（１）、プロペラ停止クラス（２）である確率をそれぞれ出力する。各サンプルがどのクラス（どの状態）であるかは、確率値が最も大きいクラスを採用する。
【0084】
【0085】
状態異常判定部１３は、状態推定部１２が発出した状態ラベルを１件だけを見て直ちに対策や試験が必要であると判断できる場合に、これを検出し、対策決定部１６、試験実施部１５に対策や試験を依頼する機能部である。なお、本実施形態では対策や試験が必要と判断される場合を異常と称するが、これは通常の自律運行動作とは異なる制御が必要な状態という意味であり、この点については実施形態１でも同様である。
【0086】
図１１に示すように、状態異常判定部１３は、判定部及１３１及び状態異常ルール１３２で構成されることができる。状態異常ルール１３２は、例えば図１２で例示するように定めることができる。図１２は、状態異常ルール１３２の一例を示す図である。
【0087】
状態異常ルール１３２は、状態推定部１２における状態毎（状態ラベル毎）に異常と判定するルールである。このルールは人が決め、自律移動装置１０の運行前までに予め人が入力して登録しておくことができる。状態異常ルール１３２は、状態推定部１２から通知される状態ラベルに対して、異常（通常の自律運行動作とは異なる制御が必要な状態）と判定すべき条件と、その条件に該当した場合にどのような異常かを表す異常ラベルと、を定義したものである。この異常ラベルには後述する試験実施部１５に試験を行わせるラベル（警告ラベルと称する）を含むこともできる。
【0088】
図１２の例では、前に進まない状態ラベルに対しては、条件ルールの例として「制限速度よりも速度を上げている」ことを採用しており、その結果として出力される異常ラベルの例として「向かい風の異常」を採用している。また、プロペラ停止状態ラベルに対しては、条件ルールの例として「プロペラのモータが動作していない」ことを採用しており、その結果として出力される異常ラベルの例として「プロペラ故障の異常」を採用している。
【0089】
図１２の例ではＪＳＯＮ（JavaScript Object Notation）形式の書式で記述された例を挙げているが、必要な項目がありこれらの関係を記述できれば、データ形式は問わない。例えば、ＣＳＶ（Comma Separated Value）形式、ＸＭＬ（Extensible Markup Language）でも、ＲＤＢ（Relational Database）に表形式で格納する形式などでもよい。また、その格納場所も作業メモリ上やデータベースの記憶部など問わない。また、異常ラベルは、対策決定部１６に、どのような異常であるかを伝えるための名前として定義することができ、また試験実施部１５に処理を依頼するように定義することもできる。
【0090】
判定部１３１は、状態異常ルール１３２で定義されたルールに従い異常か否かの判定を行い、試験実施部１５に指示を出すか、対策決定部１６に指示を出す。いずれの状態異常ルールにも該当しなかった場合は、何も行わない。
【0091】
【0092】
判定部１３１では、例えば前進中、揺れ有り、速度大といった状況である場合、向かい風の警告があると判定する。例えば、駆動させた前方への推進力が最大値の４０％以上である場合に前進中であると判定し、左右又は上下の揺れが閾値の６０％以上である場合に揺れ有りと判定する。速度も閾値より大きい場合に速度大と判定する。判定部１３１は、それらが重なった場合に、向かい風の警告があると判定し、これを示す警告ラベルを出力する。そして、判定部１３１はこの警告ラベルを後述する試験実施部１５に通知し、試験実施部１５により前方への推進力を停止させて試験を行った結果として、揺れが１００％となった場合に揺れ有りと判定し、その場合に向かい風の異常を示す異常ラベルを出力する。
【0093】
判定部１３１では、例えば前進中、揺れ有り、回転有りといった状況である場合、プロペラ故障の警告があると判定する。例えば、駆動させた前方への推進力が最大値の４０％以上である場合に前進中であると判定し、左右又は上下の揺れが閾値の３０％以上である場合に揺れ有りと判定し、ロールとピッチとヨーのいずれかが閾値の３０％以上である場合に回転有りと判定する。判定部１３１では、それらが重なった場合に、プロペラ故障の警告があると判定し、これを示す警告ラベルを出力する。そして、判定部１３１はこの警告ラベルを後述する試験実施部１５に通知し、試験実施部１５により履歴を参照した結果が閾値を超える場合にプロペラが劣化しているとしてプロペラ故障を示す異常ラベルを出力する。ここで参照される履歴には、直近数秒の警告回数、直近数秒の異常回転、過去の衝突履歴などが挙げられる。
【0094】
（状態履歴異常判定部１４）
図１４～図１７を参照して状態異常判定部１３について説明する。図１４は、状態履歴異常判定部１４の一構成例を示すブロック図で、図１５は、状態履歴異常ルールの一例を示す図である。
図１４～図１７を参照して状態異常判定部１３について説明する。図１４は、状態履歴異常判定部１４の一構成例を示すブロック図で、図１５は、状態履歴異常ルールの一例を示す図である。
【0095】
状態履歴異常判定部１４は、状態推定部１２での推定された状態ラベルの履歴（経緯、履歴を示す履歴情報）である状態履歴を参照して、履歴異常状態であるか否かの判定を実行する。状態履歴異常判定部１４は、対策状態履歴異常判定部又は履歴異常判定部と称することもできる。ここで参照される状態履歴は、他の同種の自律移動装置についての状態履歴を含むことが望ましい。
【0096】
具体的には、状態履歴異常判定部１４は、状態推定部１２が発出した状態ラベルを複数件見て対策や試験が必要であると判断できる場合に、これを検出し、対策決定部１６、試験実施部１５に対策や試験を依頼する機能部である。
【0097】
状態ラベルを複数件見て検出を行い、対策や試験が必要であると判断できる場合（ここでもこれを異常と称するが、これは通常の自律運行動作とは異なる制御が必要な状態という意味である）とは、次のような場合を指すことができる。例えば、一定の時間内にＡという状態が発生した後にＢという状態が発生したという順序が検出条件となる場合、一定の時間内にＡという状態とＢという状態が発生したという順不同で組み合わせが検出条件になる場合が挙げられる。また、一定の時間内にＡという状態が一定回数発生したという回数、頻度が検出条件となる場合や、これらの３種類の場合の複合の場合も挙げられる。なお、Ａという状態、Ｂという状態の２状態を用いて説明したが、２状態の関係に限る意図はなく、２状態以上でも構わない。
【0098】
図１４に示すように、状態履歴異常判定部１４は、判定部１４１、状態履歴１４２、状態履歴異常ルール１４３で構成されることができる。状態履歴１４２は、状態推定部１２が発した状態ラベルを、判定部１４１を経由して受信し、タイムスタンプとともに保持、記憶しておく。状態履歴異常ルール１４３は、例えば図１５で例示するように定めることができる。図１５は状態履歴異常ルール１４３の一例を示す図である。なお、図１５の例でも図１２の例と同様にそのデータ形式は問わず、後述する図１７及び図１９の例についても同様である。
【0099】
状態履歴異常ルール１４３は、状態推定部１２における状態毎（状態ラベル毎）に状態の履歴から異常と判定するルールである。このルールは人が決め、自律移動装置１０の運行前までに予め人が入力して登録しておくことができる。状態履歴異常ルール１４３は、状態推定部１２から複数回通知される複数の状態ラベルに対して、異常（通常の自律運行動作とは異なる制御が必要な状態）と判定すべき条件を定義したものである。状態履歴異常ルール１４３は、さらにその条件に該当した場合にどのような異常かを表す異常ラベルも定義したものである。この異常ラベルには後述する試験実施部１５に試験を行わせるラベル（警告ラベル又は試験ラベルと称する）を含むこともできる。
【0100】
図１５の例では、前に進まない状態ラベルに対しては、条件ルールの例として「１０回以上」発生すること又は「１０秒間に５回以上」発生することを採用しており、いずれの場合も結果として出力される異常ラベルの例として「向かい風の異常」を採用している。前に進まない状態ラベルに対し、それらの条件以外に該当し判定できない場合には異常ラベルの例として「停止試験」を試験実施部１５に要求することを採用している。また、プロペラ停止状態ラベルに対しては、条件ルールの例として「２つのプロペラが停止している」こと又は「１０秒間に２回以上」発生することを採用し、いずれの場合も結果として出力される異常ラベルの例として「プロペラ故障の異常」を採用している。プロペラ停止状態ラベルに対し、それらの条件以外に該当し判定できない場合には異常ラベルの例として「回転試験」を試験実施部１５に要求することを採用している。また、右に流される状態ラベルに対しては、条件ルールの例として「前回は左に流された」ことを採用しており、その結果として出力される異常ラベルの例として「プロペラ故障の異常（蛇行異常）」を採用している。
【0101】
このように、状態履歴異常ルール１４３では、状態ラベルを複数件見て対策や試験が必要であると判定する条件を定義しておく。出力する異常ラベルは、対策決定部１６に対してどのような異常であるかを伝えるための名前として定義しておくことができ、また試験実施部１５に処理を依頼する（試験指示を送る）ように定義することもできる。
【0102】
判定部１４１は、その状態履歴異常ルール１４３に合致するか否かを判定し、合致した場合、つまり上記条件（検出条件）に該当した場合に異常ラベルを出力する。つまり、判定部１４１は、状態履歴異常ルール１４３で定義されたルールに従い異常か否かの判定を行い、試験実施部１５に指示を出すか、対策決定部１６に指示を出す。いずれの状態履歴異常ルール１４３のいずれにも該当しなかった場合は、何も行わない。
【0103】
【0104】
試験実施部１５は、状態異常判定部１３や状態履歴異常判定部１４で、試験動作をさせた上で異常か否かを判定する必要があると判断された場合に、試験要求を受け取り、試験動作と試験をした上での異常正常の判定を行う機能部である。そのため、状態異常判定部１３での判定結果についての出力先は、第２異常判定部１ｄ（ここでは試験実施部１５）を含む。
【0105】
試験実施部１５は、状態異常判定部１３での判定結果が異常状態であることを示している場合、試験的に自律移動装置１０の制御を変更して動作させる試験を実行する。試験実施部１５は、試験前における状態異常判定部１３での判定結果と試験後における状態異常判定部１３での判定結果とに基づき、履歴異常状態であるか否かの判定を実行する。
【0106】
或いは、試験実施部１５は、状態異常判定部１３での判定結果が異常状態であることを示している場合又は状態履歴異常判定部１４での判定結果が履歴異常状態であることを示している場合、試験的に自律移動装置１０の制御を変更して動作させる試験を実行する。この場合、試験実施部１５は、試験前と試験後における状態異常判定部１３又は状態履歴異常判定部１４での判定結果に基づき、履歴異常状態であるか否かの最終的な判定を実行する。
【0107】
この場合もラベルを用いることが好ましい。即ち、状態異常判定部１３は、現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定しておくことが好ましい。そして、これら複数の対策ラベルには試験の実行が必要であることを示す１又は複数種類の試験ラベルを含むことになる。試験実施部１５は、状態異常判定部１３が１又は複数の試験ラベルに該当すると判定した結果を示した場合に、判定結果が示す試験ラベルに対応する試験を実施する。
【0108】
図１６に示すように、試験実施部１５は、実施部１５１、試験ルール（試験実施異常ルール）１５２、試験履歴１５３、及び結果判定部１５４で構成されることができる。実施部１５１は、状態異常判定部１３や状態履歴異常判定部１４からの試験要求（又はそれに対応するラベル）を受け付け、試験ルール１５２に基づき、移動制御部１７に対して試験動作要求を行う。また、実施部１５１は、その要求とともに、試験履歴１５３に試験動作を依頼した記録を登録する。試験履歴１５３は、実施部１５１が、試験ルール１５２に基づき移動制御部１７に対して試験動作要求を行った履歴（試験ラベルの履歴）をタイムスタンプ付きで保持する。
【0109】
試験ルール１５２は、状態推定部１２の状態毎（状態ラベル毎）や状態履歴異常判定部１４での警告ラベル毎に実施した試験から異常と判定するルールである。このルールは人が決め、自律移動装置１０の運行前までに予め人が入力して登録しておくことができる。試験ルール１５２は、状態推定部１２から通知される複数の状態ラベルや状態履歴異常判定部１４から通知される警告ラベルに対して、実施する試験の名前である試験ラベルを定義しておく。また、試験ルール１５２は、試験ラベル毎に、試験動作と、試験動作に対して期待される動作と、その動作が検出された場合に、正常か異常か、異常であればその異常ラベルとともに定義しておく。ここでの異常ラベルは、異常に該当した場合にどのような異常かを表すラベルである。
【0110】
図１７の例では、試験番号１（向かい風）を示す試験ラベルに対しては、条件ルールの例として「停止させると後ろに流される」ことを採用し、この条件が満たされた結果として出力される異常ラベルの例として「向かい風の異常」を採用している。また、試験番号２（プロペラ故障）を示す試験ラベルに対しては、条件ルールの例として「回転させると回転動作しない」ことを採用しており、この条件が満たされた結果として出力される異常ラベルの例として「プロペラ故障の異常」を採用している。
【0111】
結果判定部１５４は、試験動作要求により試験動作を行った結果の状態を判定し、対策決定部１６に判定結果を出力するとともに試験履歴１５３にも判定結果を登録する。具体的には、結果判定部１５４は、状態推定部１２から受信した状態ラベルや状態履歴異常判定部１４から受信した警告ラベルと試験履歴１５３の試験履歴をキーにして、試験ルール１５２を読み出し、ラベルを突き合わせる。結果判定部１５４は、このようにして試験結果を確認し、異常、正常を判定し、異常と判定した場合、対策決定部１６に、対策要求を行い、異常ラベルを送信する。正常と判定された場合には何も行わない。
【0112】
本実施形態でも、実施形態１で説明したようにルールに記述が簡潔にできるようになることで、ある状態に対する対策やその判定条件を簡潔に定義することができ、この対策には試験を実施することも含むことができる。試験を行い、異常や原因を切り分けることができるため、運行をやめるべき真の異常と異常に似ているが運行を継続できる状態を見分けることができるので、異常の過検知を低減させることができる。
【0113】
このように、本実施形態では、人間が理解しやすい自律移動装置１０の状態を表す状態ラベルに対して人間が試験動作の方法と動作試験結果の判定方法を容易に定義でき、動作試験結果に基づき、自律移動装置１０の動作を変えることができる。これにより、試験を実施しその結果から、異常と判断し対処を行うべきか、何も行わなくて良いのかのより精密な判定を行うことができる。つまり、本実施形態によれば、過剰な予防的な対策を減らすことができ、運行の安定に寄与する。また、試験を考慮することで、異常と過剰に誤検知され、即時緊急動作となっていたような場面でも、それをしなくて良くなるため、自律移動装置１０の運用の可用性を高めることができる。
【0114】
【0115】
対策決定部１６は、状態異常判定部１３、状態履歴異常判定部１４、試験実施部１５から異常通知として異常ラベルを受信し、受信した異常ラベルを対策ルールに照らして対策を決定し、移動制御部１７に対策要求を行う。図１８に示すように、対策決定部１６は決定部１６１及び上記対策ルールである対策ルール１６２から構成されることができる。
【0116】
対策ルール１６２は、異常毎（異常ラベル毎）にどの対策をとるべきかのルールである。このルールは人が決め、自律移動装置１０の運行前までに予め人が入力して登録しておくことができる。
【0117】
図１９の例では、向かい風の異常ラベルに対しては、条件ルールの例として「過去管制に報告していない」ことを採用し、この条件が満たされた結果として「風が強いことを管制に報告」することを採用している。また、向かい風の異常ラベルに対し、条件ルールの例として「管制から経路変更命令が来る」ことを採用し、この条件が満たされた結果として「風の吹いていない場所を飛行」することを採用している。また、向かい風の異常ラベルに対し、それらの条件以外に該当し判定できない場合には「着陸」することを採用している。プロペラ故障の異常ラベルに対しては、条件ルールの例として「間もなく墜落しそうである」ことを採用し、この条件が満たされた結果として「緊急着陸」することを採用している。また、プロペラ故障の異常ラベルに対し、条件ルールの例として「少しの間は飛行できる」ことを採用し、この条件が満たされた結果として「近くの着陸ポイントで着陸」することを採用している。また、プロペラ故障の異常ラベルに対し、それらの条件以外に該当し判定できない場合には「パラシュートを開く」ことを採用している。
【0118】
決定部１６１は、受信した異常ラベルに対し、対策ルール１６２を参照して対応する対策を決定し、移動制御部１７に指示を行う。対策決定部１６は、出力部１ｅの一例であり、この例のように、その出力先として移動制御部１７を含むことができる。特に、対策決定部１６の決定部１６１は、判定結果として、必要な対策に応じた制御命令を移動制御部１７に出力するように構成することもできる。無論、移動制御部１７側で決定部１６１からの判定結果を解釈して対応する制御を実行するようにしてもよい。
【0119】
（基準設定部１８）
基準設定部１８は、状態履歴異常判定部１４及び試験実施部１５の判定基準を設定する。基準設定部１８は、自律移動装置１の本体に設けられた操作部（操作受付部）とすること、外部装置からの通信により設定できるように設定信号を受信する受信部とすること、或いはそれらの双方とすることができる。これにより、上述した状態履歴異常ルール１４３や試験ルール１５２やそれらに従った処理結果の出力を運用者が設定することができる。
基準設定部１８は、状態履歴異常判定部１４及び試験実施部１５の判定基準を設定する。基準設定部１８は、自律移動装置１の本体に設けられた操作部（操作受付部）とすること、外部装置からの通信により設定できるように設定信号を受信する受信部とすること、或いはそれらの双方とすることができる。これにより、上述した状態履歴異常ルール１４３や試験ルール１５２やそれらに従った処理結果の出力を運用者が設定することができる。
【0120】
また、自律移動装置１０は、状態異常判定部１３の判定基準を設定する設定部を備えることができ、ここでは基準設定部１８にこの設定部が備えられた例を挙げる。これにより、上述した状態異常ルール１３２やそれに従った処理結果の出力を運用者が設定することができる。また、自律移動装置１０は、対策決定部１６が出力する必要な対策に応じた制御命令を設定する対策設定部を備えることが好ましい。この対策設定部は基準設定部１８の一部として備えることができる。これにより、上述した対策ルール１６２やそれらに従った処理結果の出力（命令出力）を運用者が設定することができる。
【0121】
また、状態推定部１２の状態モデル１２２、状態異常判定部１３の状態異常ルール１３２、状態履歴異常判定部１４の状態履歴異常ルール１４３、試験実施部１５の試験ルール１５２、対策決定手部１６の対策ルール１６２は次のように書き込むことができる。即ち、予め設定ファイルなどを作成して自律移動装置１０の各部のルールとして基準設定部１８から予め書きこんでおくことができ、これにより設定の更新も更に容易となる。
【0122】
（自律移動装置１０の動作例）
図２０～図２５を参照しながら自律移動装置１０の内部の動作例について説明する。図２０は、自律移動装置１０の動作例を説明するためのフロー図であり、ここではＵＭＬ（Unified Modeling Language）２．０の記法で全体のシーケンスを表記している。図２０には、自律移動装置１０の運用中にセンサ情報（センサ群１１からの検知結果）が生じるたびに、或いは、一定の期間おきなどのタイミングで、センサ情報がセンサ群１１から他の機能部の通知を行う毎に繰り返し行われる一連の動作の流れを示している。
図２０～図２５を参照しながら自律移動装置１０の内部の動作例について説明する。図２０は、自律移動装置１０の動作例を説明するためのフロー図であり、ここではＵＭＬ（Unified Modeling Language）２．０の記法で全体のシーケンスを表記している。図２０には、自律移動装置１０の運用中にセンサ情報（センサ群１１からの検知結果）が生じるたびに、或いは、一定の期間おきなどのタイミングで、センサ情報がセンサ群１１から他の機能部の通知を行う毎に繰り返し行われる一連の動作の流れを示している。
【0123】
自律移動装置１０では、センサ群１１からセンサ情報の通知（ステップＳ１１）がなされる度に、状態推定部１２で状態推定が行われ、その結果が状態異常判定部１３、状態履歴異常判定部１４、及び試験実施部１５のいずれか１又は複数に通知される（ステップＳ１２）。そして、通知を受けた、状態異常判定部１３、状態履歴異常判定部１４、及び試験実施部１５のいずれかで異常の判定が実行されることができる。
【0124】
そして、自律移動装置１０では、その判定の結果に異常があれば、異常通知が対策決定部１６に送信される（ステップＳ１３，Ｓ１６,Ｓ１８）。対策決定部１６は、その異常通知を受信して対策を決定し、移動制御部１７を通じて自律移動装置１０に対策動作を行わせる（ステップＳ１４）ことで、異常動作に対する対処動作を行う。
【0125】
また、状態異常判定部１３は、対策として試験が必要な異常（警告）があると判定された場合、試験実施部１５に試験要求を送信する（ステップＳ１５）。状態履歴異常判定部１４は、対策として試験が必要な異常（警告）があると判定された場合、試験実施部１５に試験要求を送信する（ステップＳ１１０）。試験実施部１５は、試験要求を受信し、試験動作要求を移動制御部１７に送信し（ステップＳ１１３）、その後、異常の判定が実行される。
【0126】
次に、状態推定部１２の内部の動作例について、図２１を参照しながら説明する。図２１は、図４の状態推定部１２の動作例を説明するためのフロー図である。この一連の処理に先立ち、状態モデルには、各状態を正解ラベルとして学習された状態モデルが既に格納されている。
【0127】
推定部１２１がセンサ群１１からセンサ情報通知（ステップＳ１１）を受信し（ステップＳ２１）、受信したセンサ情報通知を状態モデル１２２に照らして状態を推定し状態ラベル情報を得る（ステップＳ２２）。推定部１２１は、状態通知（ステップＳ１２）を受信した場合には、状態ラベル情報を状態異常判定部１３、状態履歴異常判定部１４、試験実施部１５へ送信し（ステップＳ２３）、処理を終了する。
【0128】
【0129】
判定部１３１が状態推定部１２から状態通知（ステップＳ１２）で受信し、状態ラベル情報を受け取る（ステップＳ３１）。判定部１３１が、状態ラベル情報を状態異常ルール１３２に照らして、該当あれば異常ラベル或いは試験ラベルを得る（ステップＳ３２）。ここで、該当無ければ何も得られない。
【0130】
次いで、判定部１３１は、ラベルが得られたか否かを判定し（ステップＳ３３）、ＮＯの場合には処理を終了し、ＹＥＳの場合には得たラベルの種類を判定する（ステップＳ３４）。ステップＳ３４では異常ラベルか試験ラベルのいずれであるかを判定するものとする。判定部１３１は、異常ラベルが得られた場合、対策決定部１６に異常通知（ステップＳ１３）で異常ラベルを通知し（ステップＳ３５）、処理を終了する。判定部１３１は、試験ラベルが得られた場合、試験実施部１５に試験要求（ステップＳ１５）で試験ラベルを通知し（ステップＳ３６）、処理を終了する。
【0131】
【0132】
判定部１４１がセンサ群１１からセンサ情報通知（ステップＳ１１）を受信し（ステップＳ４１）、受信したセンサ情報通知を状態履歴１４２に追加する（ステップＳ４２）。次いで、判定部１４１が状態履歴１４２からセンサ情報通知の履歴を読み出し、状態履歴異常ルール１４３から読み出したルールに照らして、該当あれば異常ラベル或いは試験ラベルを得る（ステップＳ４３）。ここで、該当無ければ何も得られない。
【0133】
次いで、判定部１４１は、ラベルが得られたか否かを判定し（ステップＳ４４）、ＮＯの場合には処理を終了し、ＹＥＳの場合には得たラベルの種類を判定する（ステップＳ４５）。ステップＳ４５では異常ラベルか試験ラベルのいずれであるかを判定するものとする。判定部１４１は、異常ラベルが得られた場合、対策決定部１６に異常通知（ステップＳ１３）で異常ラベルを通知し（ステップＳ４６）、処理を終了する。判定部１４１は、試験実施部１５に試験要求（ステップＳ１５）で試験ラベルを通知し（ステップＳ４７）、処理を終了する。
【0134】
【0135】
実施部１５１が、状態異常判定部１３から試験要求（ステップＳ１５）もしくは状態履歴異常判定部１４から試験要求（ステップＳ１１０）を受信する（ステップＳ５１）。次いで、実施部１５１が、試験ルール１５２を参照して、試験要求に対応する試験ルールを試験ルール１５２から読み出す（ステップＳ５２）。実施部１５１が、読み出した試験ルールに沿った自律移動装置１０の試験動作を移動制御部１７に対して試験動作要求（ステップＳ１１３）で要求するとともに、試験履歴１５３に登録する（ステップＳ５３）。
【0136】
次いで、結果判定部１５４が状態推定部１２から状態通知（ステップＳ１２）を受け取る（ステップＳ５４）。ステップＳ５４では、試験要求に対する自律移動装置１０の動作を受け取ることになる。次いで、結果判定部１５４が、受信した状態通知（ステップＳ１２）と試験履歴１５３のペアと試験ルール１５２を突き合わせて（ステップＳ５５）、試験結果が試験ルール通り（正常）か否かを判定する（ステップＳ５６）。結果判定部１５４は、ステップＳ５６でＹＥＳの場合、処理を終了する。結果判定部１５４は、ステップＳ５６でＮＯの場合、つまり、試験結果が試験ルールと異なる（異常である）場合、対策決定部１６に異常通知（ステップＳ１６）で異常ラベルを通知し（ステップＳ５７）、処理を終了する。
【0137】
【0138】
決定部１６１が、試験実施部１５からの異常通知（ステップＳ１６）、状態異常判定部１３からの異常通知（ステップＳ１３）、及び状態履歴異常判定部１４からの異常通知（ステップＳ１８）のいずれかを受信する（ステップＳ６１）。次いで、決定部１６１が受信した異常通知（ステップＳ１６，Ｓ１３，Ｓ１８）を対策ルール１６２に照らして対策を決定する（ステップＳ６２）。そして、決定部１６１が移動制御部１７に対策要求（ステップＳ１４，Ｓ１７）を送信し、移動制御部１７によって自律移動装置１０に対策動作の制御指示が出され（ステップＳ６３）、処理を終了する。
【0139】
以上に説明したように、本実施形態によれば、実施形態１と同様に、対策が必要となるような異常な状態を自律移動装置１０の運用者が望む判定条件で検知することが可能になるだけでなく、個々に設けた構成要素の効果を奏する。例えば、状態履歴異常判定部１４及び試験実施部１５の少なくとも一方を備えることで、異常状態の検知精度を向上させ、自律移動装置１０の可用性を高めることができる。
【0140】
また、本実施形態では、例えば自律移動装置１０において、試験実施部１５、状態異常判定部１３、状態履歴異常判定部１４のいずれかを除いた構成を採用した場合でも、異常状態の検知精度をある程度に保つことは可能である。その場合でも、基準設定部１８により、運用者が容易に異常判定基準や対策を定義できるという利点は維持される。
【0141】
また、状態異常ルール１３２、状態履歴異常ルール１４３、対策ルール１６２のいずれか１又は複数を、それぞれ状態異常モデル、状態履歴異常モデル、対策ルールモデルに置き換えた構成としてもよい。いずれのモデルも、例えば、状態モデル１２２の生成方法と同じ手法を用いて生成を行うことができる。この場合、運用者は各定義ファイルを作成する代わりに、モデルに学習をさせる必要があるため、少なくとも１つのルールについては基準設定部１８から容易に設定できるようにしておくとよい。
【0142】
＜実施形態３＞
実施形態３について、図２６及び図２７を参照しながら実施形態２との相違点を中心に説明する。実施形態３は、実施形態１，２で説明した様々な例が適宜利用できる。図２６は、実施形態３に係る自律移動システムの一構成例を示すブロック図で、図２７は、実施形態３に係る自律移動システムの他の構成例を示すブロック図である。
実施形態３について、図２６及び図２７を参照しながら実施形態２との相違点を中心に説明する。実施形態３は、実施形態１，２で説明した様々な例が適宜利用できる。図２６は、実施形態３に係る自律移動システムの一構成例を示すブロック図で、図２７は、実施形態３に係る自律移動システムの他の構成例を示すブロック図である。
【0143】
図２６に示す本実施形態に係る自律移動システムは、自律移動装置１０と、それに接続され自律移動装置１０の運行を管理するサーバ装置５０と、を備える。サーバ装置５０は、１又は複数台の自律移動装置１０の運行を管理する管理部（運行管理部）５１を有することができる。運行管理部５１による管理の方法等は問わず、自律移動装置１０の運行を管理できればよい。運行管理部５１は、例えば航空機における管制のように、複数の自律移動装置１０の運行を管理する。
【0144】
また、サーバ装置５０は、基準設定部１８を備えることもできる。これにより、状態推定部１２の状態モデル１２２、状態異常判定部１３の状態異常ルール１３２、状態履歴異常判定部１４の状態履歴異常ルール１４３、試験実施部１５の試験ルール１５２、対策決定手部１６の対策ルール１６２はサーバ装置５０から登録できる。また、これらはサーバ装置５０から書き換えることもできるようになる。このように、サーバ装置５０に基準設定部１８を設け、例えば利用者向け設定画面などから、定義を追加削除することや編集することを可能に構成しておくこともできる。なお、この場合、自律移動装置１０側の基準設定部１８を省略することもできる。
【0145】
運行管理部５１は、サーバ装置５０の全体を制御する制御部（図示せず）及び自律移動装置１０との通信を行う通信部（図示せず）として構成することができる。この制御部は、例えば、ＣＰＵ、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、運行管理部５１の機能を実現するための処理を通信部と協働しながら実行する運行管理プログラムとすることができる。また、この制御部は、例えば集積回路によって実現することもできる。
【0146】
図２７に示す本実施形態に係る自律移動システムは、自律移動装置１０ａと、それに接続され自律移動装置１０ａの運行を管理するサーバ装置５０ａと、を備える。サーバ装置５０ａは、１又は複数台の自律移動装置１０ａの運行を管理する運行管理部５１を有することができる。運行管理部５１による管理の方法等は問わず、自律移動装置１０ａの運行を管理できればよい。
【0147】
また、サーバ装置５０ａは、状態推定部１２、状態異常判定部１３、状態履歴異常判定部１４、試験実施部１５、及び対策決定部１６を備え、自律移動装置１０ａでは自律移動装置１０からこれらの機能を取り除いている。つまり、自律移動装置１０ａは、センサ群１１及び移動制御部１７を備え、図示しない通信部により、サーバ装置５０ａと通信しながら、センサ群１１の情報の送信や移動制御部１７への命令信号の受信などの処理を実行することになる。そのため、サーバ装置５０ａは、センサ群を備えないが、自律移動装置１０ａから自律移動装置１０ａにおける現在の状態を検知するセンサ群１１で取得された検知結果を受信する受信部（通信部）を備える。サーバ装置５０ａは、この通信部により移動制御部１７への命令信号の送信も行うことができる。
【0148】
なお、運行管理部５１、状態推定部１２等の各部は、サーバ装置５０について説明した場合と同様に、サーバ装置５０ａの全体を制御する制御部（図示せず）及び自律移動装置１０ａとの通信を行う通信部（図示せず）として構成することができる。
【0149】
また、サーバ装置５０ａは、状態推定部１２、状態異常判定部１３、状態履歴異常判定部１４、試験実施部１５、及び対策決定部１６を備えた例を挙げたが、そのうちの１又は複数のみを備え、残りの構成要素を自律移動装置１０ａ側に備えることもできる。また、自律移動システムは、図２６又は図２７の構成例において、運行管理部５１を備えないシステムとして構築することもできる。
【0150】
＜他の実施形態＞
［ａ］
各実施形態において、自律移動装置の機能、学習装置の機能、サーバ装置の機能などについて説明したが、各装置は、例示した構成例に限ったものではなく、各装置としてこれらの機能が実現できればよい。
［ａ］
各実施形態において、自律移動装置の機能、学習装置の機能、サーバ装置の機能などについて説明したが、各装置は、例示した構成例に限ったものではなく、各装置としてこれらの機能が実現できればよい。
【0151】
［ｂ］
各実施形態に係る各装置は、次のようなハードウェア構成を有していてもよい。図２８は、装置のハードウェア構成の一例を示す図である。なお、上記他の実施形態［ａ］についても同様である。
各実施形態に係る各装置は、次のようなハードウェア構成を有していてもよい。図２８は、装置のハードウェア構成の一例を示す図である。なお、上記他の実施形態［ａ］についても同様である。
【0152】
図２８に示す装置１００は、プロセッサ１０１、メモリ１０２、及びインタフェース１０３を有することができる。プロセッサ１０１は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵなどであってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。各実施形態で説明した各装置における機能は、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現される。この際、情報の入出力は、内部の他の部位や外部の他の装置との通信を行う通信インタフェース等のインタフェース１０３を介して行うことができる。例えば、装置１００が自律移動装置の場合、インタフェース１０３は、少なくとも各センサとのインタフェースを含むことができる。
【0153】
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0154】
［ｃ］
さらに、上述した各実施形態において、自律移動装置やサーバ装置における処理の手順を例示したように、本開示は、自律移動装置又はサーバ装置における異常検知方法としての形態も含む。この異常検知方法は、次の取得ステップ、状態推定ステップ、第１異常判定ステップ、第２異常判定ステップ、出力ステップ、及び基準設定ステップを備えることができる。上記取得ステップは、自律移動装置における現在の状態をその自律移動装置内のセンサ群で検知した結果を取得する。上記状態推定ステップは、センサ群による検知結果に基づき、自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する。上記第１異常判定ステップは、状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する。上記第２異常判定ステップは、状態推定ステップで異なる時間に複数回推定された結果に基づき、それら複数回推定された結果が示す状態が該状態を変えるための対策を必要とする履歴異常状態であるか否かを判定する。上記出力ステップは、第１異常判定ステップでの判定結果と第２異常判定ステップでの判定結果とを出力する。上記基準設定ステップは、第２異常判定ステップの判定基準を設定する。なお、その他の例については、上述した各実施形態で説明した通りである。また、本開示は、このような異常検知方法を含む、自律移動装置の安全な自動制御方法を含むことができる。
さらに、上述した各実施形態において、自律移動装置やサーバ装置における処理の手順を例示したように、本開示は、自律移動装置又はサーバ装置における異常検知方法としての形態も含む。この異常検知方法は、次の取得ステップ、状態推定ステップ、第１異常判定ステップ、第２異常判定ステップ、出力ステップ、及び基準設定ステップを備えることができる。上記取得ステップは、自律移動装置における現在の状態をその自律移動装置内のセンサ群で検知した結果を取得する。上記状態推定ステップは、センサ群による検知結果に基づき、自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する。上記第１異常判定ステップは、状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する。上記第２異常判定ステップは、状態推定ステップで異なる時間に複数回推定された結果に基づき、それら複数回推定された結果が示す状態が該状態を変えるための対策を必要とする履歴異常状態であるか否かを判定する。上記出力ステップは、第１異常判定ステップでの判定結果と第２異常判定ステップでの判定結果とを出力する。上記基準設定ステップは、第２異常判定ステップの判定基準を設定する。なお、その他の例については、上述した各実施形態で説明した通りである。また、本開示は、このような異常検知方法を含む、自律移動装置の安全な自動制御方法を含むことができる。
【0155】
また、自律移動装置に関するプログラムは、自律移動装置内に具備されたコンピュータ（制御コンピュータ）に上述した取得ステップ、状態推定ステップ、第１異常判定ステップ、第２異常判定ステップ、出力ステップ、及び基準設定ステップを実行させるためのプログラムであると言える。サーバ装置に関するプログラムは、自律移動装置に接続されたコンピュータに上述した取得ステップ、状態推定ステップ、第１異常判定ステップ、第２異常判定ステップ、出力ステップ、及び基準設定ステップを実行させるためのプログラムであると言える。
【0156】
上述した各実施形態において、学習装置における処理手順を説明したように、本開示は学習装置における学習方法としての形態も含む。この学習方法は、次の取得ステップ及び生成ステップを備える。この取得ステップは、自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する。この生成ステップは、取得ステップで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する。なお、その他の例については、上述した各実施形態で説明した通りである。また、学習装置に関するプログラムは、自律移動装置に具備された又は自律移動装置に接続されたコンピュータに上記の取得ステップ及び生成ステップを実行させるためのプログラムであると言える。
【0157】
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
【0158】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
自律移動装置における現在の状態を検知するセンサ群と、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、
前記第１異常判定部での判定結果と前記第２異常判定部での判定結果とを出力する出力部と、
前記第２異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
自律移動装置。
（付記２）
前記第２異常判定部は、前記状態推定部で異なる時間に複数回推定された結果を入力し前記状態推定部での推定結果を入力し前記複数の対策ラベルと前記正常ラベルとの中のいずれかを出力する第１学習済みモデルを用いて、判定を実行する、
付記１に記載の自律移動装置。
（付記３）
前記第２異常判定部は、前記状態推定部での推定された状態ラベルの履歴である状態履歴を参照して、前記履歴異常状態であるか否かの判定を実行する履歴異常判定部を有する、
付記１又は２に記載の自律移動装置。
（付記４）
前記状態履歴は、前記自律移動装置と同種の他の自律移動装置についての状態ラベルの履歴も含む、
付記３に記載の自律移動装置。
（付記５）
前記第１異常判定部での判定結果についての前記出力部の出力先は、前記第２異常判定部を含み、
前記第２異常判定部は、前記第１異常判定部での判定結果が前記異常状態であることを示している場合又は前記履歴異常判定部での判定結果が前記履歴異常状態であることを示している場合、試験的に前記自律移動装置の制御を変更して動作させる試験を実行し、前記試験前における前記第１異常判定部又は前記履歴異常判定部での判定結果と前記試験後における前記第１異常判定部又は前記履歴異常判定部での判定結果とに基づき、前記履歴異常状態であるか否かの最終的な判定を実行する試験実施部を有する、
付記３又は４に記載の自律移動装置。
（付記６）
前記第１異常判定部での判定結果についての前記出力部の出力先は、前記第２異常判定部を含み、
前記第２異常判定部は、前記第１異常判定部での判定結果が異常状態であることを示している場合、試験的に前記自律移動装置の制御を変更して動作させる試験を実行し、前記試験前における前記第１異常判定部での判定結果と前記試験後における前記第１異常判定部での判定結果とに基づき、前記履歴異常状態であるか否かの判定を実行する試験実施部を有する、
付記１～４のいずれか１項に記載の自律移動装置。
（付記７）
前記第１異常判定部は、前記現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定し、
前記複数の対策ラベルには前記試験の実行が必要であることを示す１又は複数種類の試験ラベルを含み、
前記試験実施部は、前記第１異常判定部が前記１又は複数の試験ラベルに該当すると判定した結果を示した場合に、判定結果が示す試験ラベルに対応する試験を実施する、
付記５又は６に記載の自律移動装置。
（付記８）
前記第１異常判定部は、前記現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定する、
付記１～７のいずれか１項に記載の自律移動装置。
（付記９）
前記第１異常判定部は、前記状態推定部での推定結果を入力し前記複数の対策ラベルと前記正常ラベルとの中のいずれかを出力する第２学習済みモデルを用いて、判定を実行する、
付記８に記載の自律移動装置。
（付記１０）
前記第１異常判定部の判定基準を設定する設定部を備えた、
付記１～９のいずれか１項に記載の自律移動装置。
（付記１１）
前記自律移動装置の移動を制御する移動制御部を備え、
前記出力部は、判定結果として、必要な対策に応じた制御命令を前記移動制御部に出力する、
付記１～１０のいずれか１項に記載の自律移動装置。
（付記１２）
前記出力部が出力する必要な対策に応じた制御命令を設定する対策設定部を備えた、
付記１１に記載の自律移動装置。
（付記１３）
前記状態推定部は、前記センサ群による検知結果を入力し前記複数の状態ラベルの中のいずれかを出力する第３学習済みモデルを用いて、推定を実行する、
付記１～１２のいずれか１項に記載の自律移動装置。
（付記１４）
自律移動装置から前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を受信する受信部と、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、
前記第１異常判定部での判定結果と前記第２異常判定部での判定結果とを出力する出力部と、
前記第２異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
サーバ装置。
（付記１５）
前記自律移動装置の運行を管理する管理部をさらに備えた、
付記１４に記載のサーバ装置。
（付記１６）
付記１４又は１５に記載のサーバ装置と、前記センサ群が備えられた自律移動装置と、を備えた自律移動システム。
（付記１７）
付記１～１３のいずれか１項に記載の自律移動装置と、前記自律移動装置に接続され前記自律移動装置の運行を管理するサーバ装置と、を備えた自律移動システム。
（付記１８）
自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得部と、
制御部と、
を備え、
前記制御部は、前記取得部で取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成し、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
学習装置。
（付記１９）
前記制御部は、前記取得部で取得された検知結果を入力し前記自律移動装置の現在の状態を示すために予め定められた複数の状態ラベルの中のいずれかを出力する、状態ラベル出力用の学習済みモデルを生成する、
付記１８に記載の学習装置。
（付記２０）
自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、
前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、
前記第２異常判定ステップの判定基準を設定する基準設定ステップと、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
異常検知方法。
（付記２１）
自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得ステップと、
前記取得ステップで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する生成ステップと、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
学習方法。
（付記２２）
自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、
前記自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、
前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、
前記第２異常判定ステップの判定基準を設定する基準設定ステップと、
を実行させ、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
プログラム。
（付記２３）
自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、
前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得ステップと、
前記取得ステップで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する生成ステップと、
を実行させ、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
プログラム。
（付記１）
自律移動装置における現在の状態を検知するセンサ群と、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、
前記第１異常判定部での判定結果と前記第２異常判定部での判定結果とを出力する出力部と、
前記第２異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
自律移動装置。
（付記２）
前記第２異常判定部は、前記状態推定部で異なる時間に複数回推定された結果を入力し前記状態推定部での推定結果を入力し前記複数の対策ラベルと前記正常ラベルとの中のいずれかを出力する第１学習済みモデルを用いて、判定を実行する、
付記１に記載の自律移動装置。
（付記３）
前記第２異常判定部は、前記状態推定部での推定された状態ラベルの履歴である状態履歴を参照して、前記履歴異常状態であるか否かの判定を実行する履歴異常判定部を有する、
付記１又は２に記載の自律移動装置。
（付記４）
前記状態履歴は、前記自律移動装置と同種の他の自律移動装置についての状態ラベルの履歴も含む、
付記３に記載の自律移動装置。
（付記５）
前記第１異常判定部での判定結果についての前記出力部の出力先は、前記第２異常判定部を含み、
前記第２異常判定部は、前記第１異常判定部での判定結果が前記異常状態であることを示している場合又は前記履歴異常判定部での判定結果が前記履歴異常状態であることを示している場合、試験的に前記自律移動装置の制御を変更して動作させる試験を実行し、前記試験前における前記第１異常判定部又は前記履歴異常判定部での判定結果と前記試験後における前記第１異常判定部又は前記履歴異常判定部での判定結果とに基づき、前記履歴異常状態であるか否かの最終的な判定を実行する試験実施部を有する、
付記３又は４に記載の自律移動装置。
（付記６）
前記第１異常判定部での判定結果についての前記出力部の出力先は、前記第２異常判定部を含み、
前記第２異常判定部は、前記第１異常判定部での判定結果が異常状態であることを示している場合、試験的に前記自律移動装置の制御を変更して動作させる試験を実行し、前記試験前における前記第１異常判定部での判定結果と前記試験後における前記第１異常判定部での判定結果とに基づき、前記履歴異常状態であるか否かの判定を実行する試験実施部を有する、
付記１～４のいずれか１項に記載の自律移動装置。
（付記７）
前記第１異常判定部は、前記現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定し、
前記複数の対策ラベルには前記試験の実行が必要であることを示す１又は複数種類の試験ラベルを含み、
前記試験実施部は、前記第１異常判定部が前記１又は複数の試験ラベルに該当すると判定した結果を示した場合に、判定結果が示す試験ラベルに対応する試験を実施する、
付記５又は６に記載の自律移動装置。
（付記８）
前記第１異常判定部は、前記現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定する、
付記１～７のいずれか１項に記載の自律移動装置。
（付記９）
前記第１異常判定部は、前記状態推定部での推定結果を入力し前記複数の対策ラベルと前記正常ラベルとの中のいずれかを出力する第２学習済みモデルを用いて、判定を実行する、
付記８に記載の自律移動装置。
（付記１０）
前記第１異常判定部の判定基準を設定する設定部を備えた、
付記１～９のいずれか１項に記載の自律移動装置。
（付記１１）
前記自律移動装置の移動を制御する移動制御部を備え、
前記出力部は、判定結果として、必要な対策に応じた制御命令を前記移動制御部に出力する、
付記１～１０のいずれか１項に記載の自律移動装置。
（付記１２）
前記出力部が出力する必要な対策に応じた制御命令を設定する対策設定部を備えた、
付記１１に記載の自律移動装置。
（付記１３）
前記状態推定部は、前記センサ群による検知結果を入力し前記複数の状態ラベルの中のいずれかを出力する第３学習済みモデルを用いて、推定を実行する、
付記１～１２のいずれか１項に記載の自律移動装置。
（付記１４）
自律移動装置から前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を受信する受信部と、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定部と、
前記第１異常判定部での判定結果と前記第２異常判定部での判定結果とを出力する出力部と、
前記第２異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
サーバ装置。
（付記１５）
前記自律移動装置の運行を管理する管理部をさらに備えた、
付記１４に記載のサーバ装置。
（付記１６）
付記１４又は１５に記載のサーバ装置と、前記センサ群が備えられた自律移動装置と、を備えた自律移動システム。
（付記１７）
付記１～１３のいずれか１項に記載の自律移動装置と、前記自律移動装置に接続され前記自律移動装置の運行を管理するサーバ装置と、を備えた自律移動システム。
（付記１８）
自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得部と、
制御部と、
を備え、
前記制御部は、前記取得部で取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成し、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
学習装置。
（付記１９）
前記制御部は、前記取得部で取得された検知結果を入力し前記自律移動装置の現在の状態を示すために予め定められた複数の状態ラベルの中のいずれかを出力する、状態ラベル出力用の学習済みモデルを生成する、
付記１８に記載の学習装置。
（付記２０）
自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、
前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、
前記第２異常判定ステップの判定基準を設定する基準設定ステップと、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
異常検知方法。
（付記２１）
自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得ステップと、
前記取得ステップで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する生成ステップと、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
学習方法。
（付記２２）
自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、
前記自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第１異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第２異常判定ステップと、
前記第１異常判定ステップでの判定結果と前記第２異常判定ステップでの判定結果とを出力する出力ステップと、
前記第２異常判定ステップの判定基準を設定する基準設定ステップと、
を実行させ、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
プログラム。
（付記２３）
自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、
前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得ステップと、
前記取得ステップで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する生成ステップと、
を実行させ、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
プログラム。
【符号の説明】
【0159】
１、１０、１０ａ 自律移動装置
１ａ、１１ センサ群
１ｂ、１２ 状態推定部
１ｃ 第１異常判定部
１ｄ 第２異常判定部
１ｅ 出力部
１ｆ、１８ 基準設定部
２ 学習装置
２ａ 制御部
２ｂ 制御部
２ｃ 記憶部
２ｄ 未学習モデル
２ｅ 学習済みモデル
１３ 状態異常判定部
１４ 状態履歴異常判定部
１５ 試験実施部
１６ 対策決定部
１７ 移動制御部
４０ 生のセンサデータ
４１ 加工したセンサデータ
４２ 学習データ
５０、５０ａ サーバ装置
５１ 運行管理部
１００ 装置
１０１ プロセッサ
１０２ メモリ
１０３ インタフェース
１ａ、１１ センサ群
１ｂ、１２ 状態推定部
１ｃ 第１異常判定部
１ｄ 第２異常判定部
１ｅ 出力部
１ｆ、１８ 基準設定部
２ 学習装置
２ａ 制御部
２ｂ 制御部
２ｃ 記憶部
２ｄ 未学習モデル
２ｅ 学習済みモデル
１３ 状態異常判定部
１４ 状態履歴異常判定部
１５ 試験実施部
１６ 対策決定部
１７ 移動制御部
４０ 生のセンサデータ
４１ 加工したセンサデータ
４２ 学習データ
５０、５０ａ サーバ装置
５１ 運行管理部
１００ 装置
１０１ プロセッサ
１０２ メモリ
１０３ インタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】