特許 7570971 安全管理システム、および、自律制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】安全管理システム、および、自律制御システム

(51)【国際特許分類】

   G05D 1/43 20240101AFI20241015BHJP

   G06F 21/55 20130101ALI20241015BHJP

   G08G 1/00 20060101ALI20241015BHJP

   G16Y 10/40 20200101ALI20241015BHJP

   G16Y 20/20 20200101ALI20241015BHJP

   G16Y 40/10 20200101ALI20241015BHJP

【ＦＩ】

G05D1/43

G06F21/55

G08G1/00 D

G16Y10/40

G16Y20/20

G16Y40/10

【請求項の数】 8

(21)【出願番号】P 2021088157

(22)【出願日】2021-05-26

(65)【公開番号】P2022181289

(43)【公開日】2022-12-08

【審査請求日】2024-03-07

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】遠藤 浩通

(72)【発明者】

【氏名】松本 典剛

(72)【発明者】

【氏名】岩澤 寛

【審査官】杉山 悟史

(56)【参考文献】

【文献】特開２０１９－１６８９４２（ＪＰ，Ａ）

【文献】特許第４０５６７７７（ＪＰ，Ｂ２）

【文献】特開２０２１－６３７９５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２７０２９５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００ ～ １／８７

Ｇ０６Ｆ ２１／５５

Ｇ０８Ｇ １／００

Ｇ１６Ｙ １０／４０

Ｇ１６Ｙ ２０／２０

Ｇ１６Ｙ ４０／１０

(57)【特許請求の範囲】

【請求項1】

周囲状況を認識して第一の周囲状況データを送信すると共に自らの運行状態を送信し、与えられた第一の走行経路を前記第一の周囲状況データに基づいて自律的に走行する第一の自律走行機械、および、周囲状況を認識して第二の周囲状況データを送信すると共に自らの運行状態を送信し、与えられた第二の走行経路を前記第二の周囲状況データに基づいて自律的に走行する第二の自律走行機械に対して、安全確保動作をそれぞれ指示する安全管理システムであって、
前記第一の自律走行機械により前記第二の自律走行機械が認識可能な検証地点を前記第二の走行経路に設定し、前記第一の周囲状況データから前記検証地点における前記第二の自律走行機械の運行状態を抽出する抽出部と、
前記検証地点における前記第二の自律走行機械から送信された運行状態と前記抽出部が抽出した運行状態とを比較して、前記第二の自律走行機械における制御の健全性を検証する検証部とを備える、安全管理システム。

【請求項2】

請求項１に記載の安全管理システムにおいて、
前記第一の走行経路および前記第二の走行経路は、同一の運行管理システムから与えられる、安全管理システム。

【請求項3】

請求項１に記載の安全管理システムにおいて、
前記抽出部は、前記第一および第二の走行経路および前記第一の周囲状況データに基づいて、前記第一の自律走行機械により前記第二の自律走行機械が認識可能な前記検証地点を算出する、安全管理システム。

【請求項4】

請求項１に記載の安全管理システムにおいて、
前記抽出部は、前記第二の自律走行機械から送信された運行状態に関するデータの時間相関を監視し、前記時間相関から逸脱するデータが観測された場合に前記検証地点の設定を実行する、安全管理システム。

【請求項5】

請求項１に記載の安全管理システムにおいて、
前記検証部は、前記第二の自律走行機械における制御の健全性を検証した結果、前記第二の自律走行機械が健全な制御状態ではないと判定された場合には、前記第二の自律走行機械から送信された運行状態に関するデータの信頼度を低下させる、安全管理システム。

【請求項6】

第一の走行経路のデータを送信する第一の運行管理システムと、
第二の走行経路のデータを送信する第二の運行管理システムと、
周囲状況を認識して第一の周囲状況データを送信すると共に自らの運行状態を送信し、前記第一の走行経路を前記第一の周囲状況データに基づいて自律的に走行する第一の自律走行機械と、
周囲状況を認識して第二の周囲状況データを送信すると共に自らの運行状態を送信し、前記第二の走行経路を前記第二の周囲状況データに基づいて自律的に走行する第二の自律走行機械と、
請求項１から請求項５までのいずれか一項に記載の安全管理システムと、を備える自律制御システム。

【請求項7】

請求項６に記載の自律制御システムにおいて、
前記安全管理システムは、前記第一の自律走行機械に関する第一の安全確保動作指示および前記第二の自律走行機械に関する第二の安全確保動作指示を、前記第一および第二の自律走行機械の各々に送信し、
前記第一および第二の自律走行機械の各々は、前記第一および第二の安全確保動作指示に関して相互に矛盾や齟齬があるか否かを判定し、かつ、矛盾や齟齬があると判定すると前記安全管理システムの異常を報知する安全動作指示検証部をさらに備える、自律制御システム。

【請求項8】

請求項７に記載の自律制御システムにおいて、
前記安全動作指示検証部は、
前記安全管理システムから受信した前記第一および第二の安全確保動作指示について時間相関を監視し、前記時間相関から逸脱するデータが観測された場合に、前記第一および第二の安全確保動作指示に関して相互に矛盾や齟齬があるか否かを判定する、自律制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、安全管理システム、および、自律制御システムに関する。

【背景技術】

【0002】

カメラやセンサ類を搭載して自ら外界の状態を認識し、その認識結果に基づいて与えられた経路を自律的に走行する能力を持つ、自律運転車や自律ロボット（以下、自律走行機械と呼称）が知られている。自律走行機械は、自律走行機械の目的地および走行経路を計画ないし修正しそれを自律走行機械に指示する運行管理システムと組み合わされ、自律制御システムとして運用される。また、同一の作業領域において、目的や運用主体が異なる複数の自律制御システムが共存して運用される場合もある。自律制御システムでは、自律走行機械同士および人や障害物との衝突回避、自律走行機械の効率的運用などの目的で、通信手段を介して自律走行機械から外界のセンシングデータや外界認識データを収集したり、収集したそれらのデータに基づいて自律走行機械に対して危険回避動作やより効率的な経路を指示したりすることが必要になる場合がある。

【0003】

上記のような自律制御システムにおいては、自律走行機械、運行管理システムとも、制御動作は相手から通信手段を介して受け取るデータに依存するため、それらのデータにおける信頼性や真正性の確保が必須である。これらのデータが改ざんあるいは偽造されたものである場合、自律制御システム全体の安全性や生産性に重大な影響を及ぼす可能性があるため、データの改ざんや偽造の検知といったセキュリティ技術が用いられる。

【0004】

一方、自律走行機械が正常な制御能力を喪失した場合には、外界の実際の状態と異なるデータをセンシングデータや外界認識として報告する場合も考えられる。このような場合、データ自体には誤りや改ざんがないため、上述のようなセキュリティ技術では対応できない。このようなケースに対しては、機能安全や信頼性の観点による従来技術として、自律走行機械に搭載する制御装置の冗長化や、自律走行機械や運行管理システムの健全性を監視する装置の追加がある。

【0005】

また、特許文献１では、作業領域上に設置したカメラ等のセンシング手段で自律走行機械の運行状態を観測し、自律走行機械自体が報告した運行状態と比較して後者を補正する方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特許第４０５６７７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、自律走行機械がサイバー攻撃などの人為的な原因で正常な制御能力を失っている場合には、前述の冗長化や単純な監視では検知が困難である場合がある。例えば、同一アーキテクチャの制御装置による冗長化では、全ての制御装置が同じ脆弱性を持っている可能性があり、その場合はサイバー攻撃によって全てが健全性を喪失してしまう。
また、固定の監視装置を用いる方法では、自律走行機械が攻撃者に制御を奪われている場合、監視している領域でのみ正常にふるまう偽装行動をとられるなどの、回避手段を講じられる可能性がある。
本発明は、上記課題に鑑みてなされたものであり、その主な目的は、攻撃者に制御を奪われている自律走行機械の異常を検知することにある。

【課題を解決するための手段】

【0008】

本発明の第１の態様による安全管理システムは、周囲状況を認識して第一の周囲状況データを送信すると共に自らの運行状態を送信し、与えられた第一の走行経路を前記第一の周囲状況データに基づいて自律的に走行する第一の自律走行機械、および、周囲状況を認識して第二の周囲状況データを送信すると共に自らの運行状態を送信し、与えられた第二の走行経路を前記第二の周囲状況データに基づいて自律的に走行する第二の自律走行機械に対して、安全確保動作をそれぞれ指示する安全管理システムであって、前記第一の自律走行機械により前記第二の自律走行機械が認識可能な検証地点を前記第二の走行経路に設定し、前記第一の周囲状況データから前記検証地点における前記第二の自律走行機械の運行状態を抽出する抽出部と、前記検証地点における前記第二の自律走行機械から送信された運行状態と前記抽出部が抽出した運行状態とを比較して、前記第二の自律走行機械における制御の健全性を検証する検証部とを備える。
本発明の第２の態様による自律制御システムは、第一の走行経路のデータを送信する第一の運行管理システムと、第二の走行経路のデータを送信する第二の運行管理システムと、周囲状況を認識して第一の周囲状況データを送信すると共に自らの運行状態を送信し、前記第一の走行経路を前記第一の周囲状況データに基づいて自律的に走行する第一の自律走行機械と、周囲状況を認識して第二の周囲状況データを送信すると共に自らの運行状態を送信し、前記第二の走行経路を前記第二の周囲状況データに基づいて自律的に走行する第二の自律走行機械と、第１の態様による安全管理システムと、を備える。

【発明の効果】

【0009】

本発明によれば、攻撃者に制御を奪われている自律走行機械の異常を検知することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の第１の実施の形態に係る自律制御システムの全体構成を示すブロック図である。

【図2】図２は、自律走行機械の内部構成を示すブロック図である。

【図3】図３は、運行管理システムの内部構成を示すブロック図である。

【図4】図４は、安全管理システムの内部構成を示すブロック図である。

【図5】図５は、自律走行機械の制御の健全性検証動作を説明する図である。

【図6】図６は、健全性検証動作の一例を示すフローチャートである。

【図7】図７は、同一の運行管理システムに属する二つの自律走行機械の間における検証動作を説明する図である。

【図8】図８は、変形例１の健全性検証動作を示すフローチャートである。

【図9】図９は、変形例２を説明するためのフローチャートである。

【図10】図１０は、第２の実施の形態の自律制御システムを示す図である。

【図11】図１１は、第２の実施の形態における自律走行機械の構成を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、図を参照して本発明を実施するための形態について説明する。
－第１の実施の形態－
図１は、本発明の第１の実施の形態に係る自律制御システム１の全体構成を示すブロック図である。自律制御システム１において、第一の自律走行機械５０は第一の運行管理システム１０に属する自律走行機械であり、第二の自律走行機械５１は第二の運行管理システム１１に属する自律走行機械である。第一の運行管理システム１０は、第一の運行管理システム１０に属する第一の自律走行機械５０に対して、目的地および走行経路の計画と指示を実行する。一方、第二の運行管理システム１１は、第二の運行管理システム１１に属する第二の自律走行機械５１に対して、目的地および走行経路の計画と指示を実行する。第一の自律走行機械５０および第二の自律走行機械５１は、いずれも作業領域９０内で運用される。

【0012】

運行管理システム１０，１１は２つの別種類の運行管理システムであって、例えば、乗り合いバスの自動運転システムと、タクシーの自動運転システムとが相当する。安全管理システム２０は、同じフィールド（作業領域９０）内で運行される乗り合いバスとタクシーとが安全運行できるように管理するシステムである。なお、図１に示す例では、第一および第二の管理システム１０，１１に属する自律走行機械をそれぞれ一台としているが、一般的には複数台の自律走行機械が属している。

【0013】

安全管理システム２０は、作業領域９０内における第一の自律走行機械５０と第二の自律走行機械５１との間の衝突や、第一および第二の自律走行機械５０，５１と図示されていないその他の機械や人間との間において衝突等の支障が発生しないように監視する。そして、衝突等の危険が予測された場合には、緊急制動などの危険回避動作を第一および第二の自律走行機械５０，５１に指示する。

【0014】

運行管理システム１０、１１、安全管理システム２０、通信中継装置４０はネットワーク３０で相互に接続される。ネットワーク３０における有線／無線の別、および、これらに用いられる通信プロトコルの種類は問わない。通信中継装置４０は、第一の自律走行機械５０および第二の自律走行機械５１をネットワーク３０に接続させ、それぞれ第一の運行管理システム１０と第二の運行管理システム１１との間の通信、および、安全管理システム２０との通信を中継する。

【0015】

以下の説明では、通信中継装置４０と第一の自律走行機械５０および第二の自律走行機械５１との間の通信手段として、ＩＥＥＥ８０２．１１シリーズのような無線を想定するが、本発明の本質においてこれに限定される必要はなく、自律制御システムの形態によっては有線を含む他の通信手段を用いてもよい。なお、ネットワーク３０が無線通信手段を用いる場合、通信中継装置４０を省略して、第一の自律走行機械５０および第二の自律走行機械５１がネットワーク３０に直接接続する形態としてもよい。

【0016】

図２は、第一の自律走行機械５０の内部構成を示すブロック図である。なお、図示および説明は省略するが、第二の自律走行機械５１も第一の自律走行機械５０と同様の構成である。第一の自律走行機械５０は、プロセッサ５０１、記憶部５０２、センサ５０３、走行部５０６、通信部５０７を備えている。記憶部５０２には、外界認識プログラム、車体制御プログラム、および、通信部５０７を介して第一の自律走行機械５０が属する運行管理システム１０から受信した目的地および走行経路が記憶されている。プロセッサ５０１は、記憶部５０２に記憶されている外界認識プログラムおよび車体制御プログラムをそれぞれ実行することにより、外界認識部５０４および車体制御部５０５として機能する。

【0017】

外界認識部５０４は、センサ５０３から出力されたセンサ検出データを処理して第一の自律走行機械５０の周囲の状況を認識し、その外界認識結果を出力する。センサ検出データや外界認識部５０４による外界認識結果を含む周囲状況に関するデータ（後述する、周囲状況データＡ０）は、通信部５０７を介して、運行管理システム１０および安全管理システム２０へ報告される。同様に、第二の自律走行機械５１において取得された周囲状況に関するデータ（後述する、周囲状況データＡ１）は、運行管理システム１１および安全管理システム２０へ報告される。

【0018】

車体制御部５０５は、外界認識部５０４の外界認識結果と目的地及び走行経路とに基づき、第一の自律走行機械５０自らの位置、走行方向および速度、姿勢などを決定する。以下では、自らの位置、走行方向、速度および姿勢を、まとめて運行状態と呼ぶことにする。車体制御部５０５で決定された走行方向、速度姿勢などのデータに基づいて、走行部５０６は駆動力などを発生する。

【0019】

図３は、運行管理システム１０の内部構成を示すブロック図である。なお、図示および説明は省略するが、運行管理システム１１も運行管理システム１０と同様の構成である。運行管理システム１０は、プロセッサ１０１、記憶部１０２、通信部１０４を搭載したサーバやパーソナルコンピュータなどで構成することができる。記憶部１０２には運行管理プログラムが記憶されており、プロセッサ１０１は、その運行管理プログラムを実行することにより運行管理部１０３として機能する。

【0020】

運行管理システム１０は、第一の自律走行機械５０の周囲状況に関するデータ（後述する、周囲状況データＡ０）が、ネットワーク３０を介して第一の自律走行機械５０から報告される。周囲状況に関するデータの詳細は後述する。周囲状況に関するデータは、通信部１０４を介して運行管理部１０３に入力される。運行管理部１０３は、報告された第一の自律走行機械５０の周囲状況に関するデータに基づいて、第一の自律走行機械５０の目的地および走行経路などを計画ないし修正し、それらの目的地および走行経路を第一の自律走行機械５０に指示する。

【0021】

図４は、安全管理システム２０の内部構成を示すブロック図である。安全管理システム２０は、プロセッサ２０１、記憶部２０２、通信部２０６を搭載した汎用のサーバやパーソナルコンピュータで構成することができる。記憶部２０２には、安全監視プログラム、安全動作指示プログラムおよび健全性検証プログラムが記憶されている。プロセッサ２０１は、記憶部２０２に記憶されている安全監視プログラム、安全動作指示プログラムおよび健全性検証プログラムをそれぞれ実行することにより、安全監視部２０３、安全動作指示部２０４および健全性検証部２０５として機能する。

【0022】

安全管理システム２０は、第一および第二の自律走行機械５０，５１の各々の周囲状況に関するデータ（後述する、周囲状況データＡ０，Ａ１）と各々の運行状態に関するデータ（後述する、運行状態データＢ０，Ｂ１）とが、ネットワーク３０を介して第一および第二の自律走行機械５０，５１からそれぞれ報告される。さらに、安全管理システム２０は、運行管理システム１０，１１から第一および第二の自律走行機械５０，５１に与えられる走行経路についても、第一および第二の自律走行機械５０，５１から報告される。なお、上述したデータや走行経路を、ネットワーク３０を介して運行管理システム１０，１１から受信するようにしてもよい。

【0023】

安全監視部２０３は、第一および第二の自律走行機械５０，５１から報告された各々の周囲状況に関するデータ（後述する、周囲状況データＡ０，Ａ１）および各々の運行状態に関するデータ（後述する、運行状態データＢ０，Ｂ１）に基づいて、第一および第二の自律走行機械５０，５１の安全状態を判定する。安全動作指示部２０４は、安全監視部２０３の安全状態判定に基づいて、第一および第二の自律走行機械５０，５１に対して安全確保に係る動作をそれぞれ指示する。健全性検証部２０５は、第一および第二の自律走行機械５０，５１における制御の健全性を検証する。

【0024】

＜健全性検証動作の説明＞
次いで、健全性検証部２０５における健全性検証に関する動作について説明する。図５は、第二の自律走行機械５１の制御の健全性を検証する場合を説明する図である。

【0025】

第一および第二の自律走行機械５０，５１は、それぞれが属する運行管理システム１０，１１から指示された走行経路Ｒ０，Ｒ１にそれぞれ従って作業領域９０内を走行する。走行中に、第一の自律走行機械５０は、センサ５０３のセンサ検出データおよび外界認識部５０４の外界認識結果を含む周囲状況データＡ０と、車体制御部５０５によって決定された運行状態データＢ０とを、安全管理システム２０および第一の自律走行機械５０が属する運行管理システム１０へ所定の周期で報告する。同様に、走行中に、第二の自律走行機械５１は、センサ５０３のセンサ検出データおよび外界認識部５０４の外界認識結果を含む周囲状況データＡ１と、車体制御部５０５によって決定された運行状態データＢ１とを、安全管理システム２０および第二の自律走行機械５１が属する運行管理システム１１へ所定の周期で報告する。

【0026】

（検証地点７０および検証時刻７１）
健全性検証部２０５は、第二の自律走行機械５１の走行経路Ｒ１上に、制御の健全性検証が実行される検証地点７０および検証時刻７１を設定する。図５において、検証地点７０は、模式的に走行経路Ｒ１上に記載されているが、その実体は同地点を表現する座標データであり、安全管理システム２０の記憶部２０２に保持されている。検証地点７０は、第二の自律走行機械５１の走行経路Ｒ１上に存在する点のうち、第一の自律走行機械５０が自身の走行経路Ｒ０上からある予定時刻において第二の自律走行機械５１の運行状態を観測可能であるものが選択され、その選択されたものの予定時刻が検証時刻７１となる。

【0027】

すなわち、検証時刻７１において、第一の自律走行機械５０が搭載するセンサ５０３の有効視界内に走行経路Ｒ１上を走行する第二の自律走行機械５１を捉えることができ、かつ、第一の自律走行機械５０が搭載する外界認識部５０４において、第二の自律走行機械５１の運行状態を認識できるような条件が満たされると予測可能である場合に、検証時刻７１に第二の自律走行機械５１が存在する予定の地点を検証地点７０として設定することができる。

【0028】

例えば、障害物や他の自律走行機械によって第二の自律走行機械５１の全部または一部が遮られるような場合には、上記条件が満たされない。そして、第二の自律走行機械５１が障害物や他の自律走行機械よって遮られない場合には、検証時刻７１において、第一の自律走行機械５０により第二の自律走行機械５１が検証地点７０に認識されるとする。すなわち、検証時刻７１において、第一の自律走行機械５０と第二の自律走行機械５１との間に障害物や他の自律走行機械が予測されない場合や、第一の自律走行機械５０のセンサ５０３によって検出されない場合には、検証地点７０が設定される。しかし、検証時刻７１において障害物や他の自律走行機械が予測される場合や、第一の自律走行機械５０のセンサ５０３によって障害物や他の自律走行機械が検出された場合には、検証地点７０は設定されないことになる。

【0029】

なお、この検証地点７０および検証時刻７１は、検証対象である第二の自律走行機械５１には通知されない。仮に第二の自律走行機械５１がネットワーク３０に侵入した攻撃者の支配下にあった場合、これらを攻撃者に知られると、その周辺でのみ正常な挙動であるかのようにふるまうことが想定されるためである。

【0030】

（健全性検証動作）
図６は、健全性検証部２０５における健全性検証動作の一例を示すフローチャートである。ステップＳ６０１では、健全性検証部２０５は、第一の自律走行機械５０から報告される周囲状況データＡ０から、検証時刻７１に関連づけられた運行状態、すなわち検証地点７０における第二の自律走行機械５１の運行状態（位置、走行方向および速度、姿勢）を抽出する。以下では、ステップＳ６０１で抽出された運行状態を抽出運行状態と呼ぶことにする。

【0031】

ステップＳ６０２では、第二の自律走行機械５１から受信した運行状態データＢ１から、検証時刻７１に関連づけられた運行状態、すなわち検証地点７０における第二の自律走行機械５１の運行状態を抽出する。以下では、ステップＳ６０２で抽出された運行状態を受信運行状態と呼ぶことにする。

【0032】

ステップＳ６０３では、ステップＳ６０１で抽出した抽出運行状態とステップＳ６０２で抽出した受信運行状態とに基づいて、第二の自律走行機械５１の制御状態が健全であるか否かを判定する。そして、ステップＳ６０３で健全である（ＹＥＳ）と判定されると一連の判定処理を終了し、健全でない（ＮＯ）と判定されるとステップＳ６０４へ進む。

【0033】

上述の健全であるか否かの判定は、第二の自律走行機械５１の運行状態に関する抽出運行状態と受信運行状態とに整合性があるか否かで判定する。例えば、抽出運行状態も受信運行状態も４つの要素（位置、走行方向および速度、姿勢）からなるが、健全性検証部２０５は、抽出運行状態および受信運行状態に含まれる対応する要素ごとに差を求める。そして、各差がそれぞれ所定の偏差以内である場合には、第二の自律走行機械５１から報告される運行状態は信頼できるものであり、第二の自律走行機械５１の制御状態は健全であると判定される。

【0034】

一方、抽出運行状態および受信運行状態の対応する要素の内の少なくとも一つについて、要素の差が所定の偏差を超える場合や、偏差の内容が合理的でない場合には、第二の自律走行機械５１から報告される運行状態は信頼できず、第二の自律走行機械５１の制御状態は健全でないと判定される。なお、偏差の内容が合理的でない場合とは、例えば、走行方向の偏差と姿勢の偏差が力学的に矛盾する場合などである。

【0035】

ステップＳ６０４では、健全でない第二の自律走行機械５１から報告される周囲状況データＡ１や運行状態データＢ１は信頼度が低いとみなし、安全管理システム２０の安全監視部２０３における安全状態の判定処理において、それらのデータの全部または一部が排除される。

【0036】

上述した第一の実施の形態では、第一の自律走行機械５０が第二の自律走行機械５１を監視する場合について説明したが、逆に、第二の自律走行機械５１が第一の自律走行機械５０を監視し、健全性検証部２０５において第一の自律走行機械５０の制御の健全性検証も行われる。すなわち、自律走行機械同士が相互に監視していることになる。

【0037】

また、図１では、運行管理システム１０に属する一台の自律走行機械５０と運行管理システム１１に属する一台の自律走行機械５１とを示したが、一般的に、運行管理システム１０，１１には複数の自律走行機械が属している。そのような場合においても、各自律走行機械に対して上述した制御が適用されることで、運行管理システム１０に属する自律走行機械と運行管理システム１１に属する自律走行機械との間に上述した健全性検証動作が行われる。その場合、運行管理システム１１に属する一台の自律走行機械に対して、運行管理システム１０に属する他の複数の自律走行機械の周囲状況データに基づく検証動作がそれぞれ行われるので、検証動作の精度がより高まることになる。

【0038】

さらにまた、図７に示すように、同一の運行管理システム１０に属する二つの自律走行機械５０ａ，５０ｂの間で上述した検証動作を行わせてもよい。例えば、自律走行機械５０ｂがサイバー攻撃により異常行動をとっている場合、自律走行機械５０ｂが報告する自身の運行状態は偽装されているおそれがあるが、自律走行機械５０ａから報告される周囲状況データに含まれる自律走行機械５０ｂの運行状態と比較することで、自律走行機械５０ｂの制御の健全性を検証することができる。

【0039】

以上説明した本発明の第１の実施の形態によれば、以下の作用効果を奏する。
（１）図５に示すように、安全管理システム２０は、周囲状況を認識して第一の周囲状況データＡ０を送信すると共に自らの運行状態を表す運行状態データＢ０を送信し、与えられた第一の走行経路Ｒ０を第一の周囲状況データＡ０に基づいて自律的に走行する第一の自律走行機械５０、および、周囲状況を認識して第二の周囲状況データＡ１を送信すると共に自らの運行状態を表す運行状態データＢ１を送信し、与えられた第二の走行経路Ｒ１を第二の周囲状況データＡ１に基づいて自律的に走行する第二の自律走行機械５１に対して、安全確保動作をそれぞれ指示する。そして、安全管理システム２０は、第一の自律走行機械５０により第二の自律走行機械５１が認識可能な検証地点７０を第二の走行経路Ｒ１に設定し、第一の周囲状況データＡ０から検証地点７０における第二の自律走行機械５１の運行状態を抽出する抽出部としての健全性検証部２０５を備えている。さらに、健全性検証部２０５は、検証地点７０における第二の自律走行機械５１から送信された運行状態としての運行状態データＢ１と第一の周囲状況データＡ０から抽出した運行状態とを比較して、第二の自律走行機械５１における制御の健全性を検証する検証部として機能する。

【0040】

このように、本実施の形態では、健全性を検証しようとする第二の自律走行機械５１が走行する検証地点７０において、第三者である第一の自律走行機械５０によって第二の自律走行機械５１の運行状態を認識し、その認識された運行状態と第二の自律走行機械５１が自ら報告した運行状態とを比較することで、故障あるいはサイバー攻撃等により第二の自律走行機械５１が報告した運行状態と異なる挙動を示している場合に、第二の自律走行機械５１における制御の異常を検知することができる。

【0041】

例えば、第二の自律走行機械５１がサイバー攻撃により異常行動をしている場合、実際の挙動とは異なる本来の正しい運行状態（運行状態データＢ１）を偽装して安全管理システムに報告する可能性がある。そのような場合でも、サイバー攻撃を受けていない第一の自律走行機械５０により認識した第二の自律走行機械５１の運行状態（周囲状況データＡ０）と、偽装された運行状態（運行状態データＢ１）とを比較することで、第二の自律走行機械５１の異常を検知することができる。

【0042】

また、従来のように固定されたインフラセンサにより自律走行機械の行動を認識して監視する場合、インフラセンサの監視可能範囲だけは、自律走行機械を本来の運行状態で制御し、かつ、本来の運行状態を報告するという偽装行動をとられるおそれがある。その場合、インフラセンサで認識される運行状態と報告される運行状態とが整合しているので、サイバー攻撃により自律走行機械が異常状態であることを検知することができない。

【0043】

一方、本実施の形態では、安全管理システム２０の健全性検証部２０５により検証地点７０が設定され、作業領域９０内を走行している第一の自律走行機械５０により、検証地点７０における第二の自律走行機械５１の運行状態が認識される。そのため、サイバー攻撃を受けている第二の自律走行機械５１が、第一の自律走行機械５０による観測を偽装行動により回避するのを、困難にすることができる。

【0044】

（２）さらに、図７に示すように、自律走行機械５０ａが属する運行管理システムと自律走行機械５０ｂが属する運行管理システムとが同一であって、第一の走行経路Ｒ０および第二の走行経路Ｒ１が同一の運行管理システムから与えられる構成でもよく、同じ運行管理システムに属する自律走行機械の健全性を検証することができる。

【0045】

（３）好ましくは、健全性検証部２０５は、第一および第二の走行経路Ｒ０，Ｒ１および第一の周囲状況データＡ０に基づいて、第一の自律走行機械５０により第二の自律走行機械５１が認識可能な検証地点を算出する。このように、第一の自律走行機械５０により認識した周囲状況に基づくことで、第二の自律走行機械５１が人や移動体のような障害物により遮られない検証地点を確実に設定することができ、精度の高い健全性検証を行うことができる。

【0046】

（変形例１）
図８は変形例１を説明するためのフローチャートであり、図６のフローチャートにステップＳ６１０の処理を追加したものである。変形例１では、上述した検証地点７０および検証時刻７１を用いた制御状態の健全性の検証を、サイバー攻撃などの発生が疑われる場合にのみ実行する。

【0047】

まず、ステップＳ６１０において、第二の自律走行機械５１から安全管理システム２０に送信されるデータの通信特徴値の健全性を検証する。例えば、第二の自律走行機械５１から安全管理システム２０に送信される周囲状況データＡ１や運行状態データＢ１を含めた通信について、通信周期や送信先、仕様プロトコルなどの特徴値の相関を監視し、統計処理により特徴値の相関を経時的に調べる。そして、通信特徴値の健全性があると判定された場合（ＹＥＳ）には、第二の自律走行機械５１の制御の健全性検証を実行することなく、図８の処理動作を終了する。

【0048】

一方、普段見られる通常の特徴値の相関から逸脱するような通信が観測された場合には、すなわち、ステップＳ６１０において通信特徴値の健全性が否定された場合（ＮＯ）には、第二の自律走行機械５１に対するサイバー攻撃の疑いがあるとして、ステップＳ６０１へ進む。その後、図６の場合と同様に、ステップＳ６０１からステップＳ６０４までの処理を実行し、検証地点７０および検証時刻７１を用いた制御状態の健全性検証を行う。なお、相関監視方法としては、例えば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）やｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（ｋ－ＮＮ）などの既存技術を用いることができる。

【0049】

（４）変形例１によれば次の作用効果を奏する。
健全性検証部２０５は、第二の自律走行機械５１から受信した運行状態データＢ１の時間相関を監視し、通常の時間相関から逸脱するデータが観測された場合に検証地点７０を設定し、健全性検証動作を実行する。すなわち、第二の自律走行機械５１の運行状態データＢ１からサイバー攻撃等により不審な行動が疑われる場合には、ただちに第一の自律走行機械５０の観察による健全性検証動作を実行することで、異常を検証することができる。

【0050】

（変形例２）
図９は、変形例２を説明するためのフローチャートである。図６に示した健全性検証動作では、抽出運行状態および受信運行状態の対応する要素の差がそれぞれ所定の偏差を超える場合や、偏差の内容が合理的でない場合には、第二の自律走行機械５１の制御状態は健全でないと判定され、安全管理システム２０の安全監視部２０３における安全状態の判定処理において、第二の自律走行機械５１から報告されるデータを排除するようにした。一方、変形例２における健全性検証動作では、偏差の大きさや非合理性の程度によって、第二の自律走行機械５１から報告される運行状態の信頼度や制御状態の健全性に関する判定を、連続的または段階的に引き下げるようにした。

【0051】

図９に示すフローチャートにおいて、ステップＳ８０１～Ｓ８０３およびＳ８０６の処理は、図６のフローチャートのステップＳ６０１～Ｓ６０４の処理とそれぞれ同様のものである。すなわち、ステップＳ８０１では、第一の自律走行機械５０から報告される周囲状況データＡ０から第二の自律走行機械５１の抽出運行状態を求め、ステップＳ８０２では、第二の自律走行機械５１から受信した運行状態データＢ１から第二の自律走行機械５１の受信運行状態を求める。ステップＳ８０３では、抽出運行状態と受信運行状態とに基づいて第二の自律走行機械５１の制御状態が健全であるか否かを判定する。

【0052】

ステップＳ８０３において健全である（ＹＥＳ）と判定されると一連の健全性検証処理を終了し、健全でない（ＮＯ）と判定されるとステップＳ８０４へ進む。ステップＳ８０４では、異常の程度を表す異常カウンタをインクリメントする。ステップＳ８０５では、異常カウンタが所定値以上か否かを判定し、異常カウンタが所定値以上であった場合にはステップＳ８０６に進んで、第二の自律走行機械５１から報告されるデータを安全状態判定処理から排除する。一方、異常カウンタが所定値未満であった場合には、一連の健全性検証処理を終了する。なお、図６に示す健全性検証動作は、図９のステップＳ８０５における所定値を１とした場合に相当する。

【0053】

変形例２では、第二の自律走行機械５１が正常である場合において誤差等により偏差がたまたま増大することがあっても、そのような状況はめったにないので、ステップＳ８０５において異常カウンタ＜所定値と判定され、直ぐに異常と判断されるのを回避することができる。一方、異常で偏差が大きくなっている場合には、図９の健全性検証動作が実行されるたびに異常カウンタがインクリメントされるので、直ぐに異常カウンタ≧所定値となってステップＳ８０５で異常（ＹＥＳ）と判定されることになる。

【0054】

（５）変形例２によれば次の作用効果を奏する。
変形例２では、図９に示す処理のように、健全性検証部２０５は、第二の自律走行機械５１における制御の健全性を検証した結果、第二の自律走行機械５１が健全な制御状態ではないと判定された場合には（ステップＳ８０３）、第二の自律走行機械５１から送信された運行状態に関するデータの信頼度を低下させる（ステップＳ８０４）。そのため、正常である第二の自律走行機械５１が異常と誤検出されるのを防止することができる。

【0055】

また、第１の実施の形態の自律制御システム１は、以下の作用効果を奏する。
（６）図１に示した自律制御システム１は、第一の走行経路Ｒ０のデータを送信する第一の運行管理システム１０と、第二の走行経路Ｒ１のデータを送信する第二の運行管理システム１１と、周囲状況を認識して第一の周囲状況データＡ０を送信すると共に自らの運行状態を表す運行状態データＢ０を送信し、第一の走行経路Ｒ０を第一の周囲状況データＡ０に基づいて自律的に走行する第一の自律走行機械５０と、周囲状況を認識して第二の周囲状況データＡ１を送信すると共に自らの運行状態を表す運行状態データＢ１を送信し、第二の走行経路Ｒ１を第二の周囲状況データＡ１に基づいて自律的に走行する第二の自律走行機械５１と、上述の安全管理システム２０とを備える。

【0056】

上述した自律制御システム１では、健全性を検証しようとする第二の自律走行機械５１が走行する検証地点７０において、第三者である第一の自律走行機械５０によって第二の自律走行機械５１の運行状態を認識し、その認識された運行状態と第二の自律走行機械５１が自ら報告した運行状態とを比較することで、故障あるいはサイバー攻撃等により第二の自律走行機械５１が報告した運行状態と異なる挙動を示している場合に、第二の自律走行機械５１における制御の異常を検知することができる。

【0057】

－第２の実施の形態－
図１０および１１は、自律制御システム１の第２の実施の形態を示す図である。上述した第１の実施の形態では、第二の自律走行機械５１がサイバー攻撃等により正常な制御能力を喪失している場合を想定したが、自律制御システム１の安全性により万全を期すならば、安全管理システム２０の側がサイバー攻撃等によって正常な制御能力を喪失したケースも想定することが望ましい。

【0058】

すなわち、安全管理システム２０が必要なタイミングや内容の安全動作を第一および第二の自律走行機械５０，５１に指示しなかったり、逆に合理的でない、あるいは悪意に基づく不正なタイミングや内容の安全動作を第一および第二の自律走行機械５０，５１に指示したりした場合、自律制御システム１全体の安全性や生産性が損なわれるおそれがある。第２の実施の形態では、このようなケースを想定し、安全管理システム２０における制御状態の健全性検証を実現する方法について説明する。

【0059】

図１０は第２の実施の形態の自律制御システム１を示す図であり、図１に示す自律制御システムのシステム構成に対して管理者端末９２が追加されている。管理者端末９２の役割は後述する。図１１は、第２の実施の形態における第一の自律走行機械５０の構成を示すブロック図である。図示は省略するが、第二の自律走行機械５１の構成も、図１１に示す第一の自律走行機械５０の構成と同様である。

【0060】

図１１に示す第一の自律走行機械５０の構成では、図２に示した第一の自律走行機械５０の構成に対して、安全動作指示検証部５０８が追加されている。すなわち、記憶部５０２には安全動作指示検証プログラムも記憶されており、プロセッサ５０１は安全動作指示検証プログラムを実行することにより、安全動作指示検証部５０８としても機能する。安全動作指示検証部５０８の動作については後述する。

【0061】

なお、本実施の形態では、第１の実施の形態で説明した自律走行機械の制御の健全性検証動作を行う自律制御システムに、安全管理システム２０の側がサイバー攻撃等によって正常な制御能力を喪失した場合の健全性検証方法をさらに追加する場合について説明する。しかし、安全管理システム２０の側がサイバー攻撃等によって正常な制御能力を喪失した場合の健全性検証方法は、第１の実施の形態で説明した自律走行機械の制御の健全性検証動作を行わない自律制御システムにも、単独で適用することが可能である。

【0062】

図１０では、作業領域９０内において、第一の自律走行機械５０と第二の自律走行機械５１とが互いに衝突コースを走行中の状態を表している。第一および第二の自律走行機械５０，５１において外界認識部５０４が故障していたり、障害物等によって互いを認識できなかったりした場合、自律走行機械５０，５１同士が衝突してしまうおそれがある。安全管理システム２０は、そのような衝突を回避するために、第一および第二の自律走行機械５０，５１に対してそれぞれ第一および第二の安全確保動作指示Ｃ０，Ｃ１を送信する。第一および第二の安全確保動作指示Ｃ０，Ｃ１の具体的な内容は検知された状況により異なるが、例えば、強制的な制動ないし停止や走行方向、姿勢の変更などであり、すなわち、運行状態の一時的な変更である。

【0063】

ここで、安全管理システム２０が正常な制御能力を喪失していて、第一および第二の安全確保動作指示Ｃ０，Ｃ１の内容に矛盾や齟齬がある場合、例えば、第一および第二の自律走行機械５０，５１のいずれにも制動指示がでていなかったり、双方に対して同方向への回避指示が出ていたりすると、前述の通り自律制御システム１全体の安全性や生産性が損なわれる。

【0064】

まず、本実施の形態では、第一および第二の自律走行機械５０，５１は、第一および第二の安全確保動作指示Ｃ０，Ｃ１の両方、すなわち自機宛てだけでなく他の当事者宛てについても受信または傍受する構成となっている。第一および第二の自律走行機械５０，５１に設けられた各安全動作指示検証部５０８（図１１参照）では、受信した第一および第二の安全確保動作指示Ｃ０，Ｃ１にそれぞれ含まれる運行状態の一時的な変更指示内容を比較し、前述のような矛盾や齟齬がないかを確認する。

【0065】

第一および第二の自律走行機械５０，５１のいずれか、または双方においてそのような矛盾や齟齬が検出された場合、それを検出した自律走行機械は、管理者端末９２と他の自律走行機械に向けて警告メッセージを送信して安全管理システム２０の異常を報知するとともに、車体制御部５０５を通じて自ら非常停止などの安全動作を実行する。図１０に示す例では、第一の自律走行機械５０において上述のような矛盾や齟齬が検出され、第一の自律走行機械５０から管理者端末９２および第二の自律走行機械５１に対して警告メッセージＤ０が送信されている。

【0066】

例えば、管理者端末９２は安全管理システム２０に設けられており、自律制御システム１の管理者は管理者端末９２を監視している。自律制御システム１の管理者は、管理者端末９２に表示された警告メッセージＤ０をトリガとして、システムの停止やメンテナンスなどの対策をとることができる。

【0067】

なお、安全動作指示検証部５０８において、第一および第二の安全確保動作指示Ｃ０，Ｃ１を含めて安全管理システム２０から発信される通信について、その通信周期や送信先、仕様プロトコルなどの特徴値の相関を監視し、特徴値の相関から逸脱するような通信が観測された場合に、安全管理システム２０に対するサイバー攻撃の疑いがあるとして、第一および第二の安全確保動作指示Ｃ０，Ｃ１の内容を照合するようにしてもよい。

【0068】

上述した第２の実施の形態によれば、以下の作用効果を奏する。
（７）図１０，１１に示す自律制御システム１において、安全管理システム２０は、第一の自律走行機械５０に関する第一の安全確保動作指示Ｃ０および第二の自律走行機械５１に関する第二の安全確保動作指示Ｃ１を、第一および第二の自律走行機械５０，５１の各々に送信する。また、第一および第二の自律走行機械５０，５１の各々は、第一および第二の安全確保動作指示Ｃ０，Ｃ１に関して相互に矛盾や齟齬があるか否かを判定し、かつ、矛盾や齟齬があると判定すると安全管理システム２０の異常を報知する安全動作指示検証部５０８をさらに備える。

【0069】

そのため、自律制御システム１において第一および第二の自律走行機械５０，５１と安全管理システム２０の相互監視を実現でき、いずれかの側が正常な制御能力を喪失して不正な外界認識データや運行状態データ、安全動作指示を送信してしまうような場合でも自律制御システム１としての安全性を維持することが可能となる。

【0070】

（８）さらに、安全動作指示検証部５０８は、安全管理システム２０から受信した第一および第二の安全確保動作指示Ｃ０，Ｃ１について時間相関を監視し、時間相関から逸脱するデータが観測された場合に、第一および第二の安全確保動作指示Ｃ０，Ｃ１に関して相互に矛盾や齟齬があるか否かを判定するようにしてもよい。

【0071】

なお、以上の説明において、構成における機能部は、電気回路、電子回路、論理回路、およびそれらを内蔵した集積回路のほか、マイコン、プロセッサ、及びこれらに類する演算装置と、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ、メモリカード、光ディスク及びこれらに類する記憶装置と、バス、ネットワーク及びこれらに類する通信装置、及び周辺の諸装置の組み合わせによって実行されるプログラムによって実現してもよく、いずれの実現態様でも本発明は成立し得る。

【0072】

また、以上説明した各実施形態や各種変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【符号の説明】

【0073】

１…自律制御システム、１０，１１…運行管理システム、２０…安全管理システム、３０…ネットワーク、４０…通信中継装置、５０，５１…自律走行機械、９０…作業領域、２０３…安全監視部、２０４…安全動作指示部、２０５…健全性検証部、５０３…センサ、５０４…外界認識部、５０５…車体制御部、５０８…安全動作指示検証部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】