特許 7505386 遠隔支援装置、遠隔支援システム、遠隔支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】遠隔支援装置、遠隔支援システム、遠隔支援方法及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240618BHJP

   B60W 30/14 20060101ALI20240618BHJP

   B60W 30/08 20120101ALI20240618BHJP

   B60W 30/00 20060101ALI20240618BHJP

   G16Y 10/40 20200101ALI20240618BHJP

   G16Y 20/20 20200101ALI20240618BHJP

   G16Y 40/10 20200101ALI20240618BHJP

   G16Y 40/20 20200101ALI20240618BHJP

   G16Y 40/30 20200101ALI20240618BHJP

【ＦＩ】

G08G1/16 A

B60W30/14

B60W30/08

B60W30/00

G16Y10/40

G16Y20/20

G16Y40/10

G16Y40/20

G16Y40/30

【請求項の数】 13

(21)【出願番号】P 2020197564

(22)【出願日】2020-11-27

(65)【公開番号】P2022085735

(43)【公開日】2022-06-08

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】竹中 一仁

(72)【発明者】

【氏名】武藤 健二

(72)【発明者】

【氏名】吉永 諭史

(72)【発明者】

【氏名】平野 大輔

【審査官】小林 勝広

(56)【参考文献】

【文献】特開２０２０－１６６５４１（ＪＰ，Ａ）

【文献】特開２０２０－１４４６５６（ＪＰ，Ａ）

【文献】特開２０１９－１８５２８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００－１０／３０、３０／００－６０／００

Ｇ０５Ｄ １／００－ １／８７

Ｇ０８Ｇ １／００－９９／００

Ｇ１６Ｙ １０／００－４０／６０

(57)【特許請求の範囲】

【請求項1】

対象車両（１０）からの要求に応じて遠隔判断を行う遠隔支援装置（２０）であって、
前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成する説明生成部（５４）と、
前記説明情報に応じて前記対象車両が取るべき第１の行動を判断する判断生成部（５６）と、
前記説明情報が関係性の記述がない物体を含む場合、前記説明情報に含まれる複数の事象が矛盾または衝突する場合、及び前記説明情報に不確実性の高い要素が含まれる場合のいずれの場合も該当しない場合は、前記判断生成部による判断結果を採用すると判定し、いずれかの場合に該当する場合は、前記判断生成部による判断結果を採用できないと判定する判定部（６０）と、
前記判断生成部による判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断生成部による判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する出力部（８０）と、
を備えた遠隔支援装置。

【請求項2】

前記説明生成部は、
前記対象車両の前方画像から前記対象車両の前方に存在する物体を検出し、
検出された前記物体の各々について、前記物体の状態、前記物体と前記対象車両との関係性、及び前記物体同士の関係性を記述した説明情報を生成する、
請求項１に記載の遠隔支援装置。

【請求項3】

前記説明生成部は、
前記物体の状態、前記物体と前記対象車両との関係性、及び前記物体同士の関係性の各々を、データベースに記憶された予め定めたルールに照らして、前記説明情報を生成する、
請求項２に記載の遠隔支援装置。

【請求項4】

前記説明情報は、
前記物体をノード、前記関係性をエッジとするグラフで表される、
請求項２または請求項３に記載の遠隔支援装置。

【請求項5】

前記判断生成部は、
機械学習を用いて学習された学習済みモデルを用いて、前記説明情報から前記対象車両が取るべき前記第１の行動を判断する、
請求項１から請求項４までのいずれか１項に記載の遠隔支援装置。

【請求項6】

対象車両からの要求に応じて遠隔判断を行う遠隔支援システムであって、
請求項１から請求項５までのいずれか１項に記載の遠隔支援装置と、
オペレータによる手動判断を取得する取得部（７０）と、
を備えた遠隔支援システム。

【請求項7】

前記取得部は、
前記対象車両の前方画像を前記オペレータに表示して、前記オペレータによる手動判断を取得すると共に、
前記対象車両の前方画像から得られた説明情報を前記オペレータに表示して、前記オペレータによる前記説明情報の評価を取得する、
請求項６に記載の遠隔支援システム。

【請求項8】

予め定めた学習データを用いて前記説明生成部及びルールを記憶するデータベースの少なくとも一方を学習させる第１の学習部（９０）をさらに備える、
請求項７に記載の遠隔支援システム。

【請求項9】

前記説明生成部が、車両の前方画像から説明情報を生成する第１の学習済みモデルで構成されており、
前記第１の学習済みモデルが、前記対象車両の前方画像と、前記説明情報の評価から得られた前記説明情報の正解値とを学習データとして学習される、
請求項８に記載の遠隔支援システム。

【請求項10】

予め定めた学習データを用いて前記判断生成部及びルールを記憶するデータベースの少なくとも一方を学習させる第２の学習部（９０）をさらに備える、
請求項７から請求項９までのいずれか１項に記載の遠隔支援システム。

【請求項11】

前記判断生成部が、説明情報から車両が取るべき行動を判断する第２の学習済みモデルで構成されており、
前記第２の学習済みモデルが、前記説明情報の評価から得られた前記説明情報の正解値と、前記オペレータにより判断された前記対象車両が取るべき第２の行動とを学習データとして学習される、
請求項１０に記載の遠隔支援システム。

【請求項12】

対象車両からの要求に応じて遠隔判断を行う遠隔支援方法であって、
コンピュータが、
前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成し、
前記説明情報に応じて前記対象車両が取るべき第１の行動を判断し、
前記説明情報が関係性の記述がない物体を含む場合、前記説明情報に含まれる複数の事象が矛盾または衝突する場合、及び前記説明情報に不確実性の高い要素が含まれる場合のいずれの場合も該当しない場合は、判断結果を採用すると判定し、いずれかの場合に該当する場合は、前記判断結果を採用できないと判定し、
前記判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する、
ことを含む処理を実行する、
遠隔支援方法。

【請求項13】

対象車両からの要求に応じて遠隔判断を行うためのプログラムであって、
コンピュータを、
前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成する説明生成部、
前記説明情報に応じて前記対象車両が取るべき第１の行動を判断する判断生成部、
前記説明情報が関係性の記述がない物体を含む場合、前記説明情報に含まれる複数の事象が矛盾または衝突する場合、及び前記説明情報に不確実性の高い要素が含まれる場合のいずれの場合も該当しない場合は、前記判断生成部による判断結果を採用すると判定し、いずれかの場合に該当する場合は、前記判断生成部による判断結果を採用できないと判定する判定部、
前記判断生成部による判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断生成部による判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する出力部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔支援装置、遠隔支援システム、遠隔支援方法及びプログラムに関する。

【背景技術】

【0002】

従来、自律的に走行する自動運転車両を制御する際に、運転者の判断や操作をシステムが学習する技術が開発されている。例えば、特許文献１に記載の自動制御装置では、運転者の操作特性を学習し、学習が完了している場合に操作特性を反映させた自動制御を実施して、運転者の違和感を低減している（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１０９６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の操作には、認知、判断、操作というプロセスがあるが、認知と判断を完全に自動化することは難しい。このため、車両からの要求に応じてオペレータが遠隔判断を行う遠隔支援システムが提案されている。この遠隔支援システムにおいても、すべての遠隔判断をオペレータが行うのではなく、一部の遠隔判断を自動化することができれば、オペレータの負担を減らすことができる。

【0005】

しかしながら、自動判断が妥当か否かを検証することなく、オペレータの判断を自動判断に置き換えることはできない。例えば、特許文献１に記載の技術では、自動制御の実施・不実施を学習の進捗状況、即ち、運転者による判断の結果と自動判断の結果との一致度合いに応じて決めており、手順や根拠といった自動判断のプロセスの妥当性については評価していない。

【0006】

自動判断を妥当とするには、例えば検証用データに対するオペレータの判断結果と自動判断の結果とが一致するだけでは不十分であり、その判断結果に至った根拠や考慮した状況の範囲に不足が無いことが必要となる。例えば、図６に示すシーンを「バスの乗降待ち」のシーンとすると、オペレータであれば、以下の（１）～（４）の段階を経て判断結果２を導き出すであろう。

【0007】

（１）前方のバスは乗降待ちで停車中
→追い越し対象。（判断結果１）
（２）前方のバスが乗降待ちで停車中ならば追い越すか？
→ 歩行者が道路を横断しようとしていたら停車する。
（３）歩行者が横断歩道にいたら停車するか？
→ 信号がなければ停車する。信号がある場合は点灯状態による。
（４）横断歩道付近に歩行者がいるが歩行者信号が赤信号なので停車の必要はない。
→ 乗降待ちのバスを追い越す。（判断結果２）

【0008】

上記の例では、（１）から（４）にかけて判断のプロセスが深化している。（１）の判断結果１と（４）の判断結果２とは、「乗降待ちのバスを追い越す」という結果としては同一であるが、（１）の段階までの判断しか行わないシステムでは、自動判断には不十分である。追い越しの可否を判断する際に、歩行者や信号の存在を考慮した上で影響がないと判断する場合と、歩行者や信号の存在を考慮しない場合とでは、判断結果が同一であっても、判断結果に潜むリスクが異なるからである。

【0009】

従って、オペレータによる判断を自動判断で置き換えるためには、システムによる判断プロセスが妥当か否かを判定するための手順が必要だと言える。また、システムによる判断プロセスが妥当ではない場合には、自動判断の結果を採用せずにオペレータに判断を行わせるべきである。

【0010】

本開示の目的は、車両からの要求に応じてオペレータが遠隔判断を行うシステムにおいて一部の遠隔判断を自動化することができ、自動判断が妥当ではない場合にオペレータによる手動判断に切り替えることができる、遠隔支援装置、遠隔支援システム、遠隔支援方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0011】

上記目的を達成するために、本開示の例示的な態様は、対象車両（１０）からの要求に応じて遠隔判断を行う遠隔支援装置（２０）であって、前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成する説明生成部（５４）と、前記説明情報に応じて前記対象車両が取るべき第１の行動を判断する判断生成部（５６）と、前記説明情報に基づいて前記判断生成部による判断結果の採用の可否を判定する判定部（６０）と、前記判断生成部による判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断生成部による判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する出力部（８０）と、を備える。

【0012】

本開示の例示的な態様は、対象車両からの要求に応じて遠隔判断を行う遠隔支援システムであって、本開示の遠隔支援装置と、オペレータによる手動判断を取得する取得部と、を備える。

【0013】

本開示の例示的な態様は、対象車両からの要求に応じて遠隔判断を行う遠隔支援方法であって、前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成し、前記説明情報に応じて前記対象車両が取るべき第１の行動を判断し、前記説明情報に基づいて判断結果の採用の可否を判定し、前記判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する。

【0014】

本開示の例示的な態様は、対象車両からの要求に応じて遠隔判断を行うためのプログラムであって、コンピュータを、前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成する説明生成部、前記説明情報に応じて前記対象車両が取るべき第１の行動を判断する判断生成部、前記説明情報に基づいて前記判断生成部による判断結果の採用の可否を判定する判定部、前記判断生成部による判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断生成部による判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する出力部、として機能させるプログラムである。

【発明の効果】

【0015】

本発明によれば、車両からの要求に応じてオペレータが遠隔判断を行うシステムにおいて一部の遠隔判断を自動化することができ、自動判断が妥当ではない場合にオペレータによる手動判断に切り替えることができる。

【図面の簡単な説明】

【0016】

【図1】遠隔支援システムの構成の一例を示すブロック図である。

【図2】車載装置のハードウェア構成の一例を示すブロック図である。

【図3】遠隔支援装置のハードウェア構成の一例を示すブロック図である。

【図4】端末装置のハードウェア構成の一例を示すブロック図である。

【図5】遠隔支援装置の機能的な構成の一例を示す機能ブロック図である。

【図6】入力画像の一例を示す図である。

【図7】物体検出の結果の一例を示す図である。

【図8】説明情報の一例を示す図である。

【図9】遠隔支援処理の手順の一例を示すフローチャートである。

【図10】自動判断処理の手順の一例を示すフローチャートである。

【図11】更新処理の手順の一例を示すフローチャートである。

【図12】更新処理の手順の他の一例を示すフローチャートである。

【図13】行動判定処理の手順の一例を示すフローチャートである。

【図14】行動判定処理の手順の他の一例を示すフローチャートである。

【図15】自動判断可否判定処理の手順の一例を示すフローチャートである。

【図16】手動判断取得処理の手順の一例を示すフローチャートである。

【図17】説明情報の評価例を示す模式図である。

【図18】学習部によるデータの流れの一例を示す模式図である。

【図19】学習処理の手順の一例を示すフローチャートである。

【図20】モデルに与えられるデータセットの一例を示す模式図である。

【図21】システム立ち上げから立ち上げ後までの学習の進行状況の一例を示す図表である。

【発明を実施するための形態】

【0017】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0018】

［第１の実施の形態］
本開示の遠隔支援システムは、自律的に走行する自動運転車両（以下、「車両」という。）からの支援要求に応じてオペレータ又はシステムが、前方車両の追い越しや車線変更など、支援対象の車両の周囲の状況に応じてその車両が取るべき行動を遠隔判断するシステムである。

【0019】

＜遠隔支援システム＞
図１に示すように、遠隔支援システム１００は、車両１０と、管理センタやクラウド上に設置された遠隔支援装置２０と、オペレータ３２により操作される端末装置３０とを備えている。端末装置３０は、管理センタの内部又は外部にある管制室に設置されている。なお、車両１０、遠隔支援装置２０、及び端末装置３０の個数は、図１に示す例に限定されない。また、設置場所も一例に過ぎない。

【0020】

車両１０は、無線基地局（図示せず）を介してインターネット等の公衆網であるネットワーク４０に接続されている。車両１０は、ネットワーク４０に接続された遠隔支援装置２０と無線により通信を行う。また、遠隔支援装置２０と端末装置３０とは、ＬＡＮ等で接続されており、有線または無線により通信を行う。

【0021】

車両１０は、自動運転の制御を行うための制御機能（図示せず）を備えている。制御機能は、指定された目的地までの経路を決定し、決定した経路に従って走行するように、車両１０の各機構を制御することにより、自動運転を実現する。車両１０は、オペレータ３２による支援が必要な場合に、遠隔支援装置２０に遠隔支援を要求する。また、車両１０は、車両の周囲の状況を表す画像を、遠隔支援装置２０に送信する。

【0022】

遠隔支援装置２０は、車両１０に対して遠隔支援を行う装置である。遠隔支援装置２０は、車両１０から遠隔支援の要求を受け付けると、車両１０が取るべき行動をまずは自動で判断する。そして、自動判断の判断プロセスが妥当である場合には、自動判断の結果を車両１０に出力する。

【0023】

一方、自動判断の判断プロセスが妥当ではない場合には、遠隔支援装置２０は、オペレータ３２による手動判断に切り替え、オペレータ３２に遠隔判断を行わせる。オペレータ３２は、対応する端末装置３０を操作して遠隔判断を入力する。遠隔支援装置２０は、手動判断の結果を端末装置３０から取得し、車両１０に出力する。

【0024】

（車両のハードウェア構成）
図２に示すように、車両１０は、ＣＰＵ（Central Processing Unit）１０Ａ、メモリ１０Ｂ、記憶装置１０Ｃ、入力装置１０Ｄ、出力装置１０Ｅ、通信インタフェース（Ｉ／Ｆ）１０Ｆ、及びセンサ群１０Ｇを備えている。各部は、バス１０Ｈを介して相互に通信可能に接続されている。

【0025】

ＣＰＵ１０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１０Ａは、記憶装置１０Ｃからプログラムを読み出し、メモリ１０Ｂを作業領域としてプログラムを実行する。ＣＰＵ１０Ａは、記憶装置１０Ｃに記憶されているプログラムに従って、上記各部の制御及び各種の演算処理を行う。

【0026】

メモリ１０Ｂは、ＲＡＭ（Random Access Memory）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置１０Ｃは、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0027】

入力装置１０Ｄは、例えば、キーボードやマウス等の、各種の情報の入力を行うための装置である。出力装置１０Ｅは、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置１０Ｅとしてタッチパネルディスプレイを採用することにより、出力装置１０Ｅを入力装置１０Ｄとしても機能させてもよい。

【0028】

通信Ｉ／Ｆ１０Ｆは、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0029】

センサ群１０Ｇは、車両の周囲を撮影する少なくとも１つのカメラを含む。センサ群１０Ｇは、カメラの外に、車両の周囲の障害物を検知するミリ波レーダやＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）、自車両の現在位置を取得するＧＰＳ（Global Positioning System）受信機を含んでいてもよい。

【0030】

（遠隔支援装置のハードウェア構成）
遠隔支援装置２０は、パーソナルコンピュータやサーバ装置等の情報処理装置により実現される。図３に示すように、遠隔支援装置２０は、ＣＰＵ２０Ａ、メモリ２０Ｂ、記憶装置２０Ｃ、及び通信Ｉ／Ｆ２０Ｆを備えている。各部は、バス２０Ｈを介して相互に通信可能に接続されている。なお、各部の構成は、図２に示す車両１０の対応する部分と同様であるため、説明を省略する。

【0031】

（端末装置のハードウェア構成）
端末装置３０は、パーソナルコンピュータ等の情報処理装置により実現される。図４に示すように、端末装置３０は、ＣＰＵ３０Ａ、メモリ３０Ｂ、記憶装置３０Ｃ、入力装置３０Ｄ、出力装置３０Ｅ、及び通信Ｉ／Ｆ３０Ｆを備えている。各部は、バス３０Ｈを介して相互に通信可能に接続されている。記憶装置３０Ｃには、後述する「遠隔支援処理」や「学習処理」を実行するためのプログラムが記憶されている。なお、各部の構成は、図２に示す車両１０の対応する部分と同様であるため、説明を省略する。

【0032】

（遠隔支援装置２０の機能構成）
次に、図５を参照して、遠隔支援装置２０の機能的な構成を説明する。
図５に示すように、遠隔支援装置２０は、車両が取るべき行動を自動判断する自動判断部５０、ルールデータベース（ＤＢ）５８、自動判断の結果を採用するか否かを判定する自動判断可否判定部６０、オペレータによる手動判断を受け付ける手動判断取得部７０、判断結果を車両に出力する出力部８０、及び自動判断部５０を学習させる学習部９０を備えている。

【0033】

遠隔支援装置２０のＣＰＵ２０Ａが後述する「遠隔支援処理」や「学習処理」のプログラムを実行することにより、コンピュータがこれらの機能部として機能する。

【0034】

自動判断部５０は、物体検出部５２、説明生成部５４、及び判断生成部５６を備えている。物体検出部５２は、入力画像上の運転に関連する物体を検出する。説明生成部５４は、物体検出部５２で検出された物体を、ルールＤＢ５８に記憶されたルールと照合して、車両の周囲の状況を説明する説明情報を生成する。

【0035】

ここで「説明情報」とは、環境に存在する物体について、物体の状態、物体と車両との関係性、及び物体同士の関係性を表す情報である。説明情報は、物体をノード、関係性をエッジとするグラフで表すことができる。本実施の形態では、説明情報をグラフで表す例について説明するが、説明情報は、複数の物体間の関係性を表現した式の集合として表現されてもよい。

【0036】

ルールとは、例えば、横断歩道の脇で停止している停止歩行者は渡る可能性がある、進行方向の信号が赤である停止歩行者は移動を開始しない、ハザードランプを点灯した車両は停車している等、予め定めた規則である。「説明情報」は、ルールＤＢ５８に記憶されたルール集合のうち、対象のシーンに適用されるルールの部分集合となる。

【0037】

例えば、図６に示す画像について物体検出を行うと、図７で境界ボックスを付して示すように、運転に関連する物体として、バス、対向車、歩行者、横断歩道、歩行者信号、及び交差車が検出される。説明情報は、例えば図８に示すグラフで表される。上記の通り、説明情報には、検出された物体の状態（例えば、歩行者は横断歩道の脇で停止中）、物体と車両との関係性（例えば、歩行者は車両の進行エリアに侵入しない）、及び物体同士の関係性（例えば、歩行者は赤信号で停止中）が含まれる。

【0038】

判断生成部５６は、説明生成部５４で生成された説明情報から車両が取るべき行動を判断する。そして、自動判断部５０は、説明情報と自動判断の結果を、自動判断可否判定部６０に渡す。

【0039】

自動判断可否判定部６０は、説明情報と自動判断の結果とから自動判断の結果を採用するか否かを判定する。自動判断可否判定部６０は、除外対象判定部６２及び妥当性判定部６４を備えている。除外対象判定部６２は、説明情報とは無関係に自動判断の結果が除外対象に該当するか否かを判定する。例えば、自動判断の結果が、法律的、道義的に自動判断が適切ではない行動である場合、除外対象に該当する。妥当性判定部６４は、説明情報に基づいて自動判断の妥当性を判定する。後述する通り、妥当性判定部６４は、説明情報中に関係性の見落としや矛盾等があれば自動判断は妥当ではないと判定する。なお、除外対象判定部６２は省略してもよい。

【0040】

自動判断可否判定部６０は、判断結果が除外対象に該当せず且つ自動判断が妥当である場合には、自動判断可能と判定し、自動判断の結果を出力部８０に渡す。一方、自動判断可否判定部６０は、判断結果が除外対象に該当する場合及び自動判断が妥当でない場合のいずれかに該当する場合には、自動判断不可能と判定し、手動判断取得部７０に、オペレータによる手動判断の結果を取得させる。

【0041】

手動判断取得部７０は、オペレータが操作する端末装置に入力画像を表示させ、オペレータによる手動判断を受け付ける。手動判断取得部７０は、端末装置を介してオペレータによる手動判断の結果を取得する。手動判断取得部７０は、手動判断の結果を、出力部８０に渡す。また、後述する通り、手動判断取得部７０は、オペレータによる説明情報の評価を取得してもよい。

【0042】

出力部８０は、取得した自動判断の結果又は手動判断の結果を、支援要求への応答出力として車両に出力する。

【0043】

学習部９０には、入力画像、自動判断部５０で生成された説明情報と自動判断の結果、及び手動判断取得部７０で取得された説明情報の評価と手動判断の結果のデータセットが、学習データとして蓄積される。学習部９０は、蓄積された学習データを用いて、自動判断部５０とルールＤＢ５８とを学習させる。

【0044】

説明生成部５４が、特許請求の範囲の「説明生成部」に対応する。判断生成部５６が、特許請求の範囲の「判断生成部」に対応する。自動判断可否判定部６０が、特許請求の範囲の「判定部」に対応する。出力部８０が、特許請求の範囲の「出力部」に対応する。手動判断取得部７０が、特許請求の範囲の「取得部」に対応する。学習部９０の説明生成部５４及びルールＤＢ５８を学習させる機能が、特許請求の範囲の「第１の学習部」に対応する。学習部９０の判断生成部５６及びルールＤＢ５８を学習させる機能が、特許請求の範囲の「第２の学習部」に対応する。

【0045】

＜遠隔支援処理＞
次に、図９を参照して「遠隔支援処理」の流れを説明する。
車両より遠隔支援の要求を受け付けると、遠隔支援装置２０のＣＰＵ２０Ａにより「遠隔支援処理」のプログラムが実行される。以下では、支援対象の車両を「対象車両」という。

【0046】

まず、ステップ１００で、ＣＰＵ２０Ａは、対象車両のカメラで撮影された、対象車両周囲の画像を入力画像として取得する。次に、ステップ１０２で、ＣＰＵ２０Ａは、対象車両が取るべき行動を自動判断する「自動判断処理」を実行する。

【0047】

次に、ステップ１０４で、ＣＰＵ２０Ａは、自動判断の結果を採用するか否かを判定する「自動判断可否判定処理」を実行する。次に、ステップ１０６で、ＣＰＵ２０Ａは、自動判断が可能か否かを判定する。自動判断が不可能である場合は、ステップ１０８に進み、自動判断が可能である場合は、ステップ１１２に進む。

【0048】

自動判断が不可能である場合は、次にステップ１０８で、ＣＰＵ２０Ａは、「手動判断取得処理」を行う。続くステップ１１０で、ＣＰＵ２０Ａは、取得した手動判断の結果を出力してルーチンを終了する。自動判断が可能である場合は、次にステップ１１２で、自動判断の結果を出力してルーチンを終了する。

【0049】

以下では、「自動判断処理」、「自動判断可否判定処理」、及び「手動判断取得処理」の各サブルーチンの詳細を説明する。

【0050】

（自動判断処理）
ここで、図１０を参照して「自動判断処理」の流れを詳細に説明する。
まず、ステップ２００で、ＣＰＵ２０Ａは、入力画像から物体を検出する。物体検出には、R-CNN (Region-based CNN)、YOLO(You only Look Once)、SSD(Single Shot Detector)等、既存の手法を用いることができる。また、物体検出では、移動速度、ブレーキランプの点灯状態など、物体の属性情報の認識も行う。

【0051】

なお、一般的な物体検出器を用いて入力画像から物体を検出する以外に、他の方法で物体に関する情報を取得してもよい。例えば、地図を参照して現在位置に存在する横断歩道や信号などの情報を取得してもよい。また、別の車両やインフラセンサから取得した物体の情報を使用することもできる。

【0052】

次に、ステップ２０２で、ＣＰＵ２０Ａは、検出された物体の状態や物体同士の関係性を更新する「更新処理」を実行する。具体的には、予め与えられたルール集合を参照し、物体の状態や物体同士の関係性をルールと照合して、物体の状態や関係性を更新する。更新処理については後述する。次に、ステップ２０４で、ＣＰＵ２０Ａは、更新後の状態や関係性を表す説明情報を生成する。

【0053】

次に、ステップ２０６で、ＣＰＵ２０Ａは、説明情報から車両が取るべき行動を判断する「行動判断処理」を実行する。次に、ステップ２０８で、ＣＰＵ２０Ａは、判断結果を出力して、ルーチンを終了する。なお、ステップ２０２及びステップ２０４が、図５の説明生成部５４の機能であり、ステップ２０６及びステップ２０８が、図５の判断生成部５６の機能である。

【0054】

－更新処理－
本実施の形態では、ルールと照合して物体の状態や物体同士の関係性を更新するルールベースの更新処理を行う。図１１を参照して「更新処理」について詳細に説明する。

【0055】

まず、ステップ３００で、ＣＰＵ２０Ａは、検出されたすべての物体について、現在の状態及び関係性を保存する。例えば、最初は、物体検出の結果として得られた範囲で、状態及び関係性を保存する。

【0056】

次に、ステップ３０２で、ＣＰＵ２０Ａは、１つの物体を選択する。続くステップ３０４で、ＣＰＵ２０Ａは、選択された物体に対してルール集合からルールを照合して、物体の状態を更新する。物体や、物体とその状態との組合せをルール内に持つルールを抽出し、抽出されたルールの中で選択された物体に最もマッチするルールを適用して、物体の状態を推定する。例えば、移動している歩行者は「そのまま進行方向に移動し続ける」、ハザードランプの点灯している車両は「停車している」等である。ルールからカッコ内の状態が推定される。

【0057】

続くステップ３０６で、ＣＰＵ２０Ａは、すべての物体について状態を更新したか否かを判断する。状態を更新していない物体がある場合は、ステップ３０２に戻り次の物体を選択して、次の物体の状態を更新する。すべての物体について状態を更新した場合は、ステップ３０８に進む。こうして、すべての物体のそれぞれに対して、ルール集合からマッチするルールを適用して、物体の状態を更新する。

【0058】

次に、ステップ３０８で、ＣＰＵ２０Ａは、２つの物体の組合せを１つ選択する。ここでは、対象車両も物体に含まれる。続くステップ３１０で、ＣＰＵ２０Ａは、選択された組合せに対してルール集合からルールを照合して、物体同士の関係性を更新する。２つの物体の組合せをルール内に持つルールを抽出し、抽出されたルールの中で選択された物体の組合せに最もマッチするルールを適用して、物体同士の関係性を推定する。例えば、横断歩道の脇で停止している「歩行者は横断歩道を渡る」、「赤信号前の停止歩行者は移動しない」等である。ルールからカッコ内の関係性が推定される。また、物体同士が相互に影響しないことも関係性として推定する。例えば、「移動しない歩行者は自車両に影響しない」等である。

【0059】

続くステップ３１２で、ＣＰＵ２０Ａは、すべての物体の組合せについて関係性を更新したか否かを判断する。関係性を更新していない組合せがある場合は、ステップ３０８に戻り次の組合せを選択して、次の組合せに係る物体同士の関係性を更新する。すべての物体の組合せについて関係性を更新した場合は、ステップ３１４に進む。

【0060】

次に、ステップ３１４で、ＣＰＵ２０Ａは、物体の状態及び物体同士の関係性に変化が無いか否かを判断する。変化がない場合は、ルーチンを終了し、変化がある場合は、ステップ３００に戻って、状態及び関係性を更新する。ステップ３００～３１２の手順を踏むと、物体の状態や物体同士の関係性が更新される。

【0061】

更新された状態や関係性に従って、さらに新しいルールを適用することができるため、状態及び関係性に変化がなくなるまで更新を繰り返す。なお、処理を短縮するため、あるいは、更新により収束しない場合に対処するために、繰り返しの上限を設定してもよい。上述した通り、更新後の物体の状態及び物体同士の関係性に基づいて説明情報を生成する（図１０のステップ２０４）。

【0062】

また、図５の説明生成部５４を、入力画像（例えば、検出物体にフラグが付いた画像）から説明情報を出力する学習済みモデルで構成することもできる。この場合、入力画像と対応する説明情報の正解値との組からなる学習データを用いて、機械学習の手法によりモデルを事前に訓練しておく。説明情報を生成するモデルとしては、入力画像からその画像に含まれる物体とそれらの間の関係を記述したシーングラフを生成するニューラルネットワーク等が挙げられる。

【0063】

説明生成部５４を学習済みモデルで構成した場合は、図１２に示すように、ステップ３２０で、検出物体にフラグが付いた入力画像をモデルに入力し、続くステップ３２２で、学習済みモデルが説明情報を生成して出力し、ルーチンを終了する。モデルの学習については後述する。

【0064】

－行動判断処理－
本実施の形態では、図５の判断生成部５６を、説明情報から車両が取るべき行動（以下、「選択行動」という。）を出力する学習済みモデルで構成する。この場合、説明情報と対応する手動判断の結果（即ち、選択行動の正解値)の組からなる学習データを用いて、機械学習の手法によりモデルを事前に訓練しておく。説明情報から選択行動を出力するのに適した判断モデルとしては、グラフ情報を入力として扱うことが可能なグラフニューラルネットワーク(GNN; graph neural network)や、グラフ情報から抽出した特徴量を用いた決定木などが挙げられる。

【0065】

図１３を参照して「行動判断処理」について詳細に説明する。まずステップ４００で、説明情報をモデルに入力する。次に、ステップ４０２で、学習済みモデルが選択行動を出力して、ルーチンを終了する。歩行者や車両などの移動体の自発変化やオクルージョンなどにより、移動体の変化に不確実性がある場合でも、学習済みモデルによれば、手動判断の結果に近い結果を推定することができる。

【0066】

また、学習済みモデルを用いずに、予め設計した具体的な手順に従うルールベースの「行動判断処理」を行うこともできる。具体的な手順の要点は以下の２点である。（１）歩行者、他の車両などの移動体が対象車両の進行エリアに進入する可能性がなく、検知範囲外からの移動体が発生する可能性がない場合は、優先度の高い行動を選択する。（２）対象車両の進行エリアに移動体が存在する場合や、移動体が進入する場合は、その行動は選択しない。

【0067】

図１４を参照して、ルールベースの「行動判断処理」について詳細に説明する。まず、ステップ４０４で、ＣＰＵ２０Ａは、優先度の高い行動を行動リストから選択する。取るべき行動は、予め優先度を付けてリスト化されている。例えば、「直進する」が最も優先度が高く、「直進する」→「隣接車線に車線変更」→「車線内での回避」→「車線を逸脱した回避」→「停車」の順に優先度が低下する。

【0068】

説明生成のためのルールとは別に、干渉の可能性を判断するためのルール集合が用意されている。次に、ステップ４０６で、ＣＰＵ２０Ａは、選択した行動に対して干渉の可能性を判定するためのルール集合と、説明情報から得られる状態及び関係性とを照合する。次に、ステップ４０８で、ＣＰＵ２０Ａは、ルールと、説明情報から得られる状態及び関係性との照合結果に基づいて、干渉する可能性があるか否かを判定する。

【0069】

例えば「直進する」という行動の場合、横断歩道を渡る可能性のある歩行者と干渉するというルールと、説明情報から得られる状態及び関係性とを照合し、説明情報から、横断歩道を渡る可能性のある歩行者が存在する状態及び関係性が得られていれば、干渉する可能性があると判定する。また、「隣接車線に車線変更」という行動の場合、隣接車線を走行する車両と干渉するというルールと、説明情報から得られる状態及び関係性とを照合する。また、「車線を逸脱した回避」という行動の場合、対向車線を走行する対向車と干渉するというルールと、説明情報から得られる状態及び関係性とを照合する。

【0070】

干渉する可能性がない場合は、ステップ４１０に進む。そして、ステップ４１０で、ＣＰＵ２０Ａは、選択した行動を出力して、ルーチンを終了する。一方、干渉する可能性がある場合は、ステップ４１２に進む。そして、ステップ４１２で、ＣＰＵ２０Ａは、行動リストから選択した行動を除外して、ステップ４０４に戻る。こうして、干渉する可能性がない行動が選択されるまで、ステップ４０４～ステップ４０８及びステップ４１２を繰り返し行う。

【0071】

（自動判断可否判定処理）
次に、図１５を参照して「自動判断可否判定処理」の流れを説明する。
まず、ステップ５００で、ＣＰＵ２０Ａは、蓄積された学習データに基づいて、説明生成部及び判断生成部の各々の精度を検証する。各部の「精度」は、オペレータによる手動判断の結果やオペレータにより作成された説明情報（又はその評価）を正解値としたときの正答率である。このステップ５００での処理は遠隔支援処理ごとに毎回する必要はなく、正答率に変化が生じ得る場合にのみ行えばよい。すなわち、学習により更新処理または行動判断処理が更新された場合、あるいは蓄積された学習データが変更された場合のいずれかにおいて処理が行われればよい。学習処理に関連して後述するが、学習が不十分である場合は各部の精度が低くなる。以下の手順は、正答率が高かったとしても自動判断すべきでない場合を抽出するものである。

【0072】

続くステップ５０２で、ＣＰＵ２０Ａは、検証結果が予め定めた基準値以下か否かを判断する。検証結果が予め定めた基準値より大きい場合は、ステップ５０４に進む。一方、検証結果が予め定めた基準値以下の場合は、自動判断の結果を採用せずにステップ５１８に進む。ステップ５１８で、ＣＰＵ２０Ａは、手動判断に切り替えて、ルーチンを終了する。

【0073】

次に、ステップ５０４で、ＣＰＵ２０Ａは、判断結果に基づき、選択行動と予め設定された除外リストとを照合する。除外リストは、手動判断結果と同一の選択行動だったとしても、システムの自動判断による応答を行わない行動を予めリストアップしたものである。例えば、「車線をはみ出す回避」は、法律的、道義的な観点から、自動判断を行うことは不適切であるため、除外リストに含める。

【0074】

続くステップ５０６で、ＣＰＵ２０Ａは、選択行動が除外リストに含まれるか否かを判断する。選択行動が除外リストに含まれていない場合は、ステップ５０８に進む。一方、選択行動が除外リストに含まれている場合は、自動判断の結果を採用せずにステップ５１８に進む。ステップ５１８で、ＣＰＵ２０Ａは、手動判断に切り替えて、ルーチンを終了する。

【0075】

次に、ステップ５０８で、ＣＰＵ２０Ａは、説明情報の各物体について、車両や他の物体との関係性の有無を確認する。続くステップ５１０で、ＣＰＵ２０Ａは、関係性が未確認の物体が存在するか否かを判断する。関係性が未確認の物体は、例えば、物体としては認識されたが、その物体が周辺にもたらす影響が考慮されていない状態にある。説明情報は予め定めた規則に従って作成されたグラフで表されているので、関係性の有無の確認が容易であり、コンピュータによる処理が行いやすい。

【0076】

関係性が未確認の物体が存在しない場合は、ステップ５１２に進む。一方、関係性が未確認の物体が存在する場合は、判断プロセスに問題があるので、自動判断の結果を採用せずにステップ５１８に進む。ステップ５１８で、ＣＰＵ２０Ａは、手動判断に切り替えて、ルーチンを終了する。

【0077】

次に、ステップ５１２で、ＣＰＵ２０Ａは、説明情報中の矛盾、衝突、及び不確実性の高い要素を抽出する。続くステップ５１４で、ＣＰＵ２０Ａは、矛盾、衝突、及び不確実性の高い要素のいずれかが、説明情報中に存在するか否かを判断する。例えば、「歩行者が道路方向に移動している」 と 「歩行者信号が赤信号で停止している」という２つの関係性が存在している状態は、矛盾又は衝突していると同時に、将来の行動が不明な状態であるため不確実性の高い要素ということもできる。

【0078】

矛盾、衝突、及び不確実性の高い要素のいずれも存在しない場合は、ステップ５１６に進む。次に、ステップ５１６で、ＣＰＵ２０Ａは、自動判断の結果を採用して、ルーチンを終了する。一方、矛盾や衝突や不確実性の高い要素が存在する場合は、判断プロセスに問題があるので、自動判断の結果を採用せずにステップ５１８に進む。ステップ５１８で、ＣＰＵ２０Ａは、手動判断に切り替えて、ルーチンを終了する。

【0079】

（手動判断取得処理）
次に、図１６を参照して「手動判断取得処理」の流れを説明する。
まず、ステップ６００で、ＣＰＵ２０Ａは、オペレータが操作する端末装置に「入力映像」を表示させて、オペレータから車両が取るべき行動の選択を受け付ける。オペレータは、選択した行動（即ち、手動判断の結果）を入力する。

【0080】

次に、ステップ６０２で、ＣＰＵ２０Ａは、端末装置を介してオペレータによる手動判断の結果を取得したか否かを判断する。ＣＰＵ２０Ａは、手動判断の結果を取得するまで、ステップ６０２の判断を繰り返し行う。ＣＰＵ２０Ａは、手動判断の結果を取得すると、ステップ６０４に進む。続くステップ６０４で、ＣＰＵ２０Ａは、手動判断の結果を出力部に渡す。

【0081】

次に、ステップ６０６で、ＣＰＵ２０Ａは、オペレータが操作する端末装置に、自動判断部で生成された「説明情報」を表示させて、オペレータによる評価を受け付ける。オペレータは、説明情報の評価を入力する。説明情報はグラフ化されているので、オペレータは関係性の抜け等を発見しやすい。

【0082】

次に、ステップ６０８で、ＣＰＵ２０Ａは、端末装置を介してオペレータによる評価を取得したか否かを判断する。ＣＰＵ２０Ａは、評価を取得するまで、ステップ６０８の判断を繰り返し行う。ＣＰＵ２０Ａは、評価を取得すると、ステップ６１０に進む。続くステップ６１０で、ＣＰＵ２０Ａは、評価を出力部に渡して、ルーチンを終了する。

【0083】

ルールベースで更新処理を行う場合（図１１参照）、説明情報に対する評価は、オペレータによるルールの修正や新たなルールの追加である。例えば、ルールが作成されていない未知の物体を検出した場合には、その物体に関するルールを追加する。また、ルールの適用が間違っている場合は、正しいルールを適用する。或いは、適切なルールが無い場合は、既存ルールを変更して新しいルールを作成する。一方、学習済みモデルで更新処理を行う場合（図１２参照）は、説明情報に対する評価は、最終的な結果としての新たな説明情報である。なお、ルールベースで更新処理を行う場合でも、新たな説明情報が取得される。

【0084】

ここで、図１７を参照して、ルールベースで更新処理を行う場合の、説明情報の評価について説明する。図１７に示すように、自動判断部が出力した説明情報では、自車両とバスとの関係性Ａは「停車または渋滞」であるが、説明の正解は「停車を継続する」である。この場合、説明情報の評価では、オペレータは、例えば「ハザードランプが点灯している停車中のバスは停車を継続する」という新しいルールを追加する。

【0085】

また、自動判断部が出力した説明情報では、対向車の状態Ｂは「車線走行中」であるが、説明の正解は「路肩停車中」である。この場合、説明情報の評価では、オペレータは、例えば「対向車が〇ｍ以上路肩にはみ出していたら、対向車は路肩停車中である」というように、既存ルールの適用条件を変更する。

【0086】

手動判断の結果は、自動判断の結果に対する評価であり、選択行動の正解値である。また、説明情報の評価は、説明情報の正解値である。入力画像、自動判断部で生成された説明情報、説明情報の評価（即ち、説明情報の正解値）、自動判断の結果、及び手動判断の結果（即ち、選択行動の正解値）の各々は、学習部のデータベース（図示せず）に蓄積される。蓄積データは、自動判断部やルールＤＢの学習に用いられる。なお、「学習処理」については、次の第２の実施の形態で説明する。

【0087】

第１の実施の形態によれば、すべての遠隔判断をオペレータが行うのではなく、自動判断の判断プロセスが適切な場合に、自動判断の結果を採用することができる。これにより、オペレータの負担を減らすことができる。また、自動判断が妥当ではない場合には、オペレータによる手動判断に戻すことができる。

【0088】

[第２の実施の形態]
第２の実施の形態では、遠隔支援システムで実行される「学習処理」について説明する。遠隔支援システムは、図５の自動判断部５０及びルールＤＢ５８を学習させる学習部９０を備えている。図１８に示すように、学習部９０は、これまでに蓄積された蓄積データに、図５の手動判断取得部７０から新たに得られたデータを加えて、図５の説明生成部５４、判断生成部５６、及びルールＤＢ５８の各部を学習させる。

【0089】

説明生成部５４及びルールＤＢ５８の学習には、入力画像、自動判断部で生成された説明情報、及び説明情報の評価（即ち、説明情報の正解値や新たなルール、適用条件）のデータセットを用いる。判断生成部５６の学習には、説明情報の評価（即ち、説明情報の正解値）及び手動判断の結果（即ち、選択行動の正解値）のデータセットを用いる。

【0090】

＜学習処理＞
図１９を参照して「学習処理」の流れを説明する。
図５の自動判断部５０は、初期段階では予め設計したルールのみを適用したり、常に自明な出力のみを出力するなどの判断を行う。システムの立ち上げ後は、必要に応じて離散的に（例えば、遠隔支援システムの起動時や、予め定めたタイミングで）、遠隔支援装置２０のＣＰＵ２０Ａにより「学習処理」のプログラムが実行される。

【0091】

なお、後述する通り、システム立ち上げの初期段階においては、事前に蓄積した検証データあるいは学習時に蓄積された検証データに基づいて精度を検証する。検証結果が一定の基準以下の場合は、図１５を参照して説明した通り、自動判断可否判定部によって自動判断はなされず、手動判断での車両応答及び追加の学習データの蓄積を行う。検証結果が一定の基準を超えた場合に、初期段階の学習が完了したと判断される。

【0092】

まず、ステップ７００で、ＣＰＵ２０Ａは、説明生成部に学習が必要か否かを判断する。例えば、新たに得られたデータの説明情報に対する評価において、自動判断部で生成された説明情報に対してオペレータが修正した箇所が存在するか否かを確認し、修正箇所があれば説明生成部に学習が必要と判定して、ステップ７０２に進む。一方、修正箇所が無ければ説明生成部に学習が不要と判定して、ステップ７０６に進む。

【0093】

次に、ステップ７０２で、ＣＰＵ２０Ａは、説明生成部の学習処理を実行する。説明生成部の学習処理の詳細は後述する。

【0094】

次に、ステップ７０４で、ＣＰＵ２０Ａは、説明生成部の学習処理を行った場合、蓄積データに対して自動判断部で生成された既存の説明情報を、学習後の自動判断部が生成した新規の説明情報に更新する。

【0095】

次に、ステップ７０６で、ＣＰＵ２０Ａは、判断生成部に学習が必要か否かを判断する。例えば、自動判断により選択された選択行動が、手動判断の結果（即ち、選択行動の正解値）と異なるか否かを確認し、両者が異なる場合は判断生成部に学習が必要と判定して、ステップ７０８に進む。一方、両者が同じ場合は判断生成部に学習が不要と判定して、ルーチンを終了する。

【0096】

ここで、自動判断の根拠とした説明情報が、新しい説明情報に更新された場合には、新しい説明情報に対する判断生成部の出力（即ち、選択行動）を取得し、取得した選択行動が、手動判断の結果（即ち、選択行動の正解値）と異なるか否かを確認する。

【0097】

次に、ステップ７０８で、ＣＰＵ２０Ａは、判断生成部の学習処理を実行して、ルーチンを終了する。判断生成部の学習処理の詳細は後述する。

【0098】

（説明生成部の学習処理）
ここで、説明生成部がルールベースの更新処理を行う場合と、説明生成部を学習済みモデルで構成した場合とに分けて学習処理の方法を説明する。

【0099】

ルールベースの場合、説明情報に対する評価は、新たに追加すべきルールまたは適用されたルールの適用条件の修正として与えられる。従って、与えられた評価に基づき、ルール集合への新ルールの追加、既存ルールの修正を行うことでルールＤＢの学習を行う。ルールＤＢを学習させることで、説明生成の精度も向上する。

【0100】

説明生成部を学習済みモデルで構成する場合、説明情報に対する評価は、説明情報の正解値（例えば、図１７の例では、「停車継続」という関係性や、「路肩停車中」という状態）として与えられる。従って、入力画像から説明情報の正解値を出力するようにモデルを修正する。モデルを修正したら検証を行い、正答率が高くなれば、修正後のモデルで置き換える。具体的には、例えばニューラルネットワークをモデルとして採用し、誤差逆伝播法によりモデルを更新する。この際、蓄積された学習データも使ってモデルを更新する。

【0101】

なお、モデルの事前学習には、多様な環境条件で取得された大量の学習データを準備する必要がある。モデルの学習の際にルール集合と学習データの双方を用いて学習を行うと、学習データ準備の負荷を軽減することができる。

【0102】

（判断生成部の学習処理）
判断生成部がルールベースで行動を選択する場合と、判断生成部を学習済みモデルで構成した場合とに分けて学習処理の方法を説明する。

【0103】

ルールベースの場合、判断結果に対する評価は、説明情報の学習と同様に、新たに追加すべきルールまたは適用されたルールの適用条件の修正として与えられる。従って、与えられた評価に基づき、ルール集合への新ルールの追加、既存ルールの修正を行うことでルールＤＢの学習を行う。ルールＤＢを学習させることで、判断生成の精度も向上する。

【0104】

判断生成部を学習済みモデルで構成する場合、判断結果に対する評価は、選択行動の正解値（例えば、図２０の例では、説明情報（入力）に対する「バス追い越し」という選択行動）が与えられる。従って、説明情報から選択行動の正解値を出力するようにモデルを修正する。モデルを修正したら検証を行い、正答率が高くなれば、修正後のモデルで置き換える。具体的には、例えばグラフ畳込みネットワークをモデルとして採用し、誤差逆伝播法によりモデルを更新する。この際、蓄積された学習データも使ってモデルの更新を行う。

【0105】

＜システムの立ち上げ＞
次に、図２１を参照して、システム立ち上げから立ち上げ完了後までの学習の進行状況について説明する。

【0106】

システム立ち上げの初期段階では、説明生成部が十分な説明情報を出力できず、それに伴い判断生成部も判断結果を出力できないという状況である。従って、すべてのケースでオペレータが手動判断を行うと共に、オペレータが説明情報を生成する。オペレータは、ルールの追加も行う。

【0107】

オペレータによる手動判断が続くと、入力画像、オペレータが生成した説明情報（即ち、説明情報の正解値）、及び手動判断の結果（即ち、選択行動の正解値）のデータセットが学習データとして蓄積される。

【0108】

説明生成部の学習中は、学習部は、蓄積された学習データに基づき説明生成部を学習させる。

【0109】

説明生成部の学習が概ね完了すると、説明生成部の精度の検証結果が基準値を超えるようになり、判断生成部が判断結果の生成を開始する。また、ルールが充実することで、説明情報が拡充される。但し、説明生成の精度が悪いため、すべてのケースでオペレータが手動判断によるダブルチェックを行うと共に、説明情報と判断結果の評価を生成する。オペレータによる説明情報の評価が生成されることで、説明生成部の学習が進む。

【0110】

説明生成部の学習が進み、説明情報への評価が十分高くなると、学習部は、判断生成部の学習を開始する。判断生成部の学習中は、蓄積された学習データに基づき判断生成部を学習させる。説明情報から判断結果を出力する判断生成部の学習が進む。

【0111】

判断生成部の学習が進むと、オペレータによる手動判断の結果と判断生成部による自動判断の結果とを比較して判断生成部の精度を検証する。判断生成部の学習が概ね完了すると、判断生成部の精度の検証結果が基準値を超えるようになり、自動判断部が稼働を開始する。即ち、自動判断の精度が十分高くなった段階でシステムが完成し、入力画像に基づき自動判断が行われるようになる。

【0112】

システムの立ち上げ完了後は、自動判断部が説明情報及び判断結果を生成し、自動判断可否判定部の判断結果に基づき、必要に応じてオペレータが手動判断を行う。手動判断により新しいデータセットが収集される。そして、学習部は、新しいデータセットを含む学習データを用いて、必要に応じて説明生成部及び判断生成部を学習させる。

【0113】

第２の実施の形態によれば、オペレータによる手動判断の結果や説明情報に対する評価から、自動判断部を学習させることができる。これにより、自動判断の判断プロセスも適切なものとなり、自動判断の結果を採用する割合が増加する。よって、第１の実施の形態と同様に、オペレータの負担を軽減することができる。

【0114】

[変形例]
以上、遠隔支援装置、遠隔支援システム、遠隔支援方法及びプログラムの例示的な実施の形態について説明したが、本発明は、実施の形態に記載の範囲には限定されない。本発明の主旨を逸脱しない範囲で実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。

【0115】

例えば、上記各実施形態は、適宜組み合わせて実行することも可能である。

【0116】

また、例えば、上記実施の形態で説明したプログラムの処理の流れも一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。また、上記実施の形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって処理を実現してもよい。

【0117】

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したプログラムを、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。

【0118】

また、上記各プログラムを、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0119】

また、上記各実施形態では、プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ、半導体メモリ等の非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、上記各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0120】

１０ 車両
２０ 遠隔支援装置
３０ 端末装置
３２ オペレータ
４０ ネットワーク
５０ 自動判断部
５２ 物体検出部
５４ 説明生成部
５６ 判断生成部
５８ ルールＤＢ
６０ 自動判断可否判定部
６２ 除外対象判定部
６４ 妥当性判定部
７０ 手動判断取得部
８０ 出力部
９０ 学習部
１００ 遠隔支援システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】