特開 2024-176907 制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176907

(43)【公開日】2024-12-19

(54)【発明の名称】制御装置

(51)【国際特許分類】

   B60W 50/08 20200101AFI20241212BHJP

   B60W 60/00 20200101ALI20241212BHJP

   B60W 50/00 20060101ALI20241212BHJP

【ＦＩ】

B60W50/08

B60W60/00

B60W50/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023095777

(22)【出願日】2023-06-09

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】高橋 祐希

(72)【発明者】

【氏名】右立 真輝

【テーマコード（参考）】

3D241

【Ｆターム（参考）】

3D241BA29

3D241CD27

3D241CE08

(57)【要約】

【課題】ユーザによる介入頻度を低減可能な自動制御技術を提供する。
【解決手段】本開示の一側面に係る制御装置は、選択モデルにより、複数の制御モデルから１つ以上の制御モデルを選択し、選択された１つ以上の制御モデルを使用して、移動体の制御指令を導出し、介入の操作がない場合、導出された制御指令に従って、移動体の動作を制御し、かつ介入の操作がある場合、導出された制御指令を破棄又は導出された制御指令にオーバーラップして、ユーザによる介入の操作に従い、移動体の動作を制御する。選択モデルは、ユーザの介入履歴から介入の発生を避けるよう１つ以上の制御モデルを選択するように構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の制御モデル及び選択モデルを記憶する記憶部、並びに
制御部、
を備える制御装置であって、
前記各制御モデルは、移動体の移動を自動制御するために、制御指令を導出するように構成され、
前記制御部は、
前記選択モデルにより、前記複数の制御モデルから１つ以上の制御モデルを選択すること、
選択された前記１つ以上の制御モデルを使用して、前記移動体の制御指令を導出すること、
ユーザによる介入の操作がない場合、導出された前記制御指令に従って、前記移動体の動作を制御すること、及び
前記ユーザによる介入の操作がある場合、導出された前記制御指令を破棄又は導出された前記制御指令にオーバーラップして、前記ユーザによる介入の操作に従い、前記移動体の動作を制御すること、
を実行するように構成され、並びに
前記選択モデルは、前記ユーザの介入履歴から前記ユーザによる介入の発生を避けるよう前記１つ以上の制御モデルを選択するように構成されている、
制御装置。

【請求項2】

前記複数の制御モデルは、訓練済み機械学習モデル及びルールベースモデルを含む、
請求項１に記載の制御装置。

【請求項3】

前記１つ以上の制御モデルを選択することは、前記訓練済み機械学習モデルを使用して前記移動体の自動制御を実施している間に前記ユーザによる介入が発生したことを示す記録が前記介入履歴に含まれている場合に、当該記録により示される条件下で、前記ルールベースモデルを選択することを含む、
請求項２に記載の制御装置。

【請求項4】

前記１つ以上の制御モデルを選択することは、
１つの制御モデルを選択すること、又は
２つ以上の制御モデルを選択すること、
により構成され、かつ
前記移動体の制御指令を導出することは、
前記１つの制御モデルから前記制御指令を得ること、又は
前記２つ以上の制御モデルそれぞれから得られた制御指令を統合することで、前記制御指令を導出すること、
により構成される、
請求項１に記載の制御装置。

【請求項5】

前記移動体は車両である、
請求項１から４のいずれか１項に記載の制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御装置に関する。

【背景技術】

【0002】

特許文献１には、訓練済みのニューラルネットワークを使用して、ルート、ＧＰＳデータ及びセンサデータから車両のコマンドを決定するように構成された自律的車両制御のためのシステムが提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１９－５３３８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の目的の一つは、ユーザによる介入頻度を低減可能な自動制御技術を提供することである。

【課題を解決するための手段】

【0005】

本開示の第１態様に係る制御装置は、複数の制御モデル及び選択モデルを記憶する記憶部、並びに制御部を備える。前記各制御モデルは、移動体の移動を自動制御するために、制御指令を導出するように構成される。前記制御部は、前記選択モデルにより、前記複数の制御モデルから１つ以上の制御モデルを選択すること、選択された前記１つ以上の制御モデルを使用して、前記移動体の制御指令を導出すること、ユーザによる介入の操作がない場合、導出された前記制御指令に従って、前記移動体の動作を制御すること、及び前記ユーザによる介入の操作がある場合、導出された前記制御指令を破棄又は導出された前記制御指令にオーバーラップして、前記ユーザによる介入の操作に従い、前記移動体の動作を制御すること、を実行するように構成される。そして、前記選択モデルは、前記ユーザの介入履歴から前記ユーザによる介入の発生を避けるよう前記１つ以上の制御モデルを選択するように構成される。なお、複数の制御モデル及び選択モデルの少なくともいずれかには、訓練済みの機械学習モデルが用いられてよい。機械学習モデルには、ニューラルネットワークが用いられてよい。

【発明の効果】

【0006】

本開示によれば、ユーザによる介入頻度の低減を期待することができる。

【図面の簡単な説明】

【0007】

【図1】図１は、本開示が適用される場面の一例を模式的に示す。

【図2】図２は、本開示の介入履歴のデータ構成の一例を模式的に示す。

【図3】図３は、本開示の制御装置のハードウェア構成の一例を模式的に示す。

【図4】図４は、本開示の制御装置による制御に関する処理手順の一例を示す。

【発明を実施するための形態】

【0008】

従来、ルールベースによる自動運転システムが知られている。また、特許文献１等の方法によれば、訓練済み機械学習モデルを使用することで、自動運転システムを構築することができる。しかしながら、制御モデル（ルールベースモデル又は機械学習モデル）による自動運転の制御は必ずしもユーザに適合するとは限らない。制御モデルによる自動運転の制御がユーザに適合しない場合には、ユーザによる介入の操作が発生し、自動運転は実
施されずに、手動運転が実施されることになる。制御モデルによる自動運転がユーザに大きく適合しない場合には、自動運転システムは殆ど使用されず、ユーザによる介入操作が頻発してしまう恐れがある。なお、この問題点は、車両の種類を問わず生じ得る。また、このような問題点が生じるのは、車両を制御する場面に限られない。移動を制御する点では、車両以外の移動体でも同様である。そのため、車両以外のあらゆる移動体を制御する場面でも、同様の問題点が生じ得る。

【0009】

これに対して、本開示の第１態様に係る制御装置は、複数の制御モデル及び選択モデルを記憶する記憶部、並びに制御部を備える。各制御モデルは、移動体の移動を自動制御するために、制御指令を導出するように構成される。制御部は、選択モデルにより、複数の制御モデルから１つ以上の制御モデルを選択すること、選択された１つ以上の制御モデルを使用して、移動体の制御指令を導出すること、ユーザによる介入の操作がない場合、導出された制御指令に従って、移動体の動作を制御すること、及びユーザによる介入の操作がある場合、導出された制御指令を破棄又は導出された制御指令にオーバーラップして、ユーザによる介入の操作に従い、移動体の動作を制御すること、を実行するように構成される。選択モデルは、ユーザの介入履歴からユーザによる介入の発生を避けるよう１つ以上の制御モデルを選択するように構成される。

【0010】

本開示の第１態様では、選択モデルは、ユーザによる過去の介入操作の記録を示す介入履歴に基づいて、ユーザによる介入の発生を避けるよう制御モデルを選択するように構築される。単純な一例では、選択モデルは、過去に介入の生じた場面において、その場面で使用した制御モデルを新たな機会には使用せず、別の制御モデルを選択するように構築されてよい。このように、介入履歴から構築された選択モデルを用いて、自動制御に使用する制御モデルを調整することで、導出される制御指令をユーザに適合させることができる。これにより、本開示によれば、ユーザによる介入頻度の低減を期待することができる。

【0011】

上記態様に係る制御装置の別の形態として、本開示の一側面は、以上の各構成要素の全部又はその一部を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等の機械が読み取り可能な記憶媒体であってもよい。ここで、機械が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

【0012】

［１ 適用例］
図１は、本開示を適用した場面の一例を模式的に示す。本実施形態に係る制御装置１は、対象の移動体Ｍの自動的な移動を制御するように構成された１台以上のコンピュータである。本実施形態では、制御装置１は、移動体Ｍに搭載され、選択モデル２０及び複数の制御モデル３０を保持する。各制御モデル３０は、移動体Ｍの移動の自動制御を実行するために、制御指令を導出するように構成されている。

【0013】

本実施形態では、制御装置１は、選択モデル２０により、複数の制御モデル３０から１つ以上の制御モデル３５を選択し、選択された１つ以上の制御モデル３５を使用して、移動体Ｍの制御指令５０を導出する。導出された制御指令５０が適切であれば、その制御指令５０による自動制御を受け入れやすく、ユーザによる介入の操作５５が生じ難いが、導出された制御指令５０が適切でなければ、ユーザによる介入の操作５５が生じやすいと想定される。例えば、制御モデル３５による自動制御における移動体Ｍの速度がユーザに適していれば、加速又は減速の介入の生じる可能性は低いが、移動体Ｍの速度が遅い又は早ければ、加速又は減速の介入の生じる可能性は高くなると想定される。

【0014】

制御装置１は、ユーザによる介入の操作５５がない場合、導出された制御指令５０に従って、移動体Ｍの動作を制御する。一方で、制御装置１は、ユーザによる介入の操作５５
がある場合、導出された制御指令５０を破棄又は導出された制御指令５０にオーバーラップして、ユーザによる介入の操作５５に従い、移動体Ｍの動作を制御する。介入の操作５５が生じた場合、制御装置１は、その介入を示す情報を介入履歴６０として記録する。ユーザの介入が生じるほど、介入履歴６０は蓄積される。選択モデル２０は、ユーザの介入履歴６０からユーザによる介入の発生を避けるように１つ以上の制御モデル３５を選択するように構成される。

【0015】

過去に介入の生じた場面と同一又は類似する場面において、介入の生じた場面と同じ自動制御を繰り返し遂行すると、ユーザによる介入が再び生じる可能性が高いと推測される。そこで、本実施形態では、ユーザによる過去の介入操作の記録（介入履歴６０）から、ユーザによる介入の発生を避けるよう制御モデル３５を選択するように選択モデル２０を構築する。つまり、本実施形態では、複数の制御モデル３０を配備した上で、介入履歴６０を使用して、ユーザによる過去の介入の傾向から、自動制御に使用される（すなわち、選択モデル２０に選択される）制御モデル３５を最適化する。これにより、制御装置１に対して、複数の制御モデル３０のうち、過去の介入の傾向から対象の場面でユーザに適合しないと推測される制御モデルの使用を避け、ユーザに適合する可能性の高い制御モデルを積極的に使用させることができる。その結果、本実施形態によれば、ユーザによる介入頻度の低減を期待することができる。加えて、ユーザによる操作頻度を減らすことで、移動体Ｍの操作具（例えば、移動体Ｍが車両の場合、ハンドル、アクセルペダル、ブレーキペダル等）の摩耗を抑え、操作具の長寿命化を期待することができる。

【0016】

（移動体）
機械制御により自動的に移動可能であれば、移動体Ｍの種類は、実施の形態に応じて適宜選択されてよい。移動体Ｍは、例えば、車両、飛行体、船舶、ロボット装置等の移動可能な装置であってよい。飛行体は、ドローン等の無人機及び有人機の少なくともいずれかであってよい。一例では、図１のとおり、移動体Ｍは、車両であってよい。この場合、車両の自動走行を実施する際に、ユーザによる介入頻度の低減を期待することができる。なお、移動体Ｍが車両である場合、車両の種類（車輪数、動力源、大きさ等）は任意に選択されてよい。典型例として、移動体Ｍは、レベル２以上の自動運転の能力を有した自動車であってよい。

【0017】

（動作を制御すること）
一例では、対象の移動体Ｍの動作を制御することは、対象の移動体Ｍを直接的に制御することにより構成されてよい。他の一例では、移動体Ｍは、例えば、コントローラ等の専用の制御装置を備えてよい。この場合、制御装置１による対象の移動体Ｍの動作を制御することは、当該専用の制御装置に導出結果を与えることで、対象の移動体Ｍを間接的に制御することにより構成されてよい。なお、制御装置１は任意の場所に配備されてよい。一例では、図１に示されるように、制御装置１は、移動体Ｍに搭載されてよい。他の一例では、制御装置１は、移動体Ｍから離れて配置され、移動体Ｍを遠隔的に制御してもよい。

【0018】

（制御モデル）
各制御モデル３０は、移動体Ｍの環境に応じて制御指令を導出するように構築される。環境は、移動体Ｍ自身及び周囲の少なくとも一方で観測される事象である。一例では、少なくとも一部の環境は、移動体Ｍの内部又は外部に配置された１つ以上のセンサＳにより観測されてよい。センサＳは、移動体Ｍの移動する任意の環境を観測可能であれば、その種類は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。一例では、１つ以上のセンサＳは、カメラ（画像センサ）、レーダ、LiDAR（Light Detection And Ranging）、ソナー（超音波センサ）、赤外線センサ、ＧＮＳＳ（Global Navigation Satellite System）／ＧＰＳ（Global Positioning Satellite）モジュール等を含んでよい。

【0019】

移動体Ｍの環境から制御指令を導出可能であれば、各制御モデル３０の入出力の形式は、実施の形態に応じて適宜選択されてよい。一例では、複数の制御モデル３０のうちの少なくともいずれかの制御モデルは、１時点以上のセンサの観測データから制御指令を導出するように構成されてよい。他の一例では、少なくともいずれかの制御モデルは、周辺環境の認識結果から制御指令を導出するように構成されてよい。この場合、制御装置１は、センサの観測データから周辺環境の認識結果を推論する解析モデルを更に備えてよい。或いは、少なくともいずれかの制御モデルは、解析モデルを含んでよい。解析モデルは、任意に構成されてよい。一例では、解析モデルは、機械学習モデルにより構成されてよい。少なくともいずれかの制御モデルの入力には、その他の情報が任意で追加されてよい。少なくともいずれかの制御モデルは、例えば、設定速度、制限速度、位置、地図情報、ナビ情報等の任意の情報の入力を更に受け付けるように構成されてよい。

【0020】

各制御モデル３０は、訓練済み機械学習モデル及びルールベースモデルの少なくともいずれかにより構成されてよい。ルールベースモデルは、与えられた入力（例えば、観測データ、周辺環境の認識結果等の環境を示す情報）をルールに照合し、照合の結果に応じて（適合するルールに従って）、制御指令を導出するように構成される。ルールは、手動又は少なくとも一部自動で設定されてよい。機械学習モデルは、機械学習により調整可能な１つ以上の演算パラメータを有するように構成される。１つ以上の演算パラメータは、目的とする推論（本開示では、制御指令の導出）の演算に使用される。機械学習は、学習データを使用して、演算パラメータの値を調整（最適化）することである。機械学習モデルは、例えば、ニューラルネットワーク、サポートベクタマシン、回帰モデル、決定木モデル等により構成されてよい。機械学習の方法は、採用する機械学習モデルに応じて、適宜選択されてよい（例えば、誤差逆伝播法等）。

【0021】

一例として、少なくともいずれかの制御モデルは、ニューラルネットワークにより構成されてよい。ニューラルネットワークの構造は、実施の形態に応じて適宜決定されてよく、例えば、入力層から出力層までの層の数、各層の種類、各層に含まれるノード（ニューロン）の数、各層のノード同士の結合関係等により特定されてよい。一例では、ニューラルネットワークは、再帰構造を有してよい。また、ニューラルネットワークは、例えば、全結合層、畳み込み層、プーリング層、逆畳み込み層、アンプーリング層、正規化層、ドロップアウト層、LSTM（Long short-term memory）等の任意の層を含んでよい。ニューラルネットワークは、Attention機構等の任意の機構を有してよい。ニューラルネットワー
クは、ＧＮＮ（Graph neural network）、diffusionモデル、生成モデル（例えば、Generative Adversarial Network、Transformer等）等の任意のモデルを含んでよい。ニューラルネットワークを制御モデルに使用する場合、制御モデルに含まれる各ノード間の結合の重み及び各ノードの閾値が、演算パラメータの一例である。なお、機械学習モデルを採用する場合、制御モデルは、end-to-endモデルの構造で構成されてよい。

【0022】

なお、複数の制御モデル３０のうち、少なくともいずれかの制御モデルは、他の制御モデルに対して、同一の環境又は同一の移動態様下で異なる制御指令を導出し得るように構成される。これにより、複数の制御モデル３０のうちのいずれかによる自動制御がユーザに適合しなかった（介入が生じた）場合に、別の制御モデルを使用することで、ユーザに適合する自動制御の実行可能性を担保することができる。すなわち、選択モデル２０の選択によりユーザに適合する制御モデル３５が発見される可能性を確保することができる。

【0023】

一例では、訓練済み機械学習モデル及びルールベースモデルの構造は異なり得る。そのため、訓練済み機械学習モデル及びルールベースモデルの自動制御の特性は互いに相違し得る。そこで、複数の制御モデル３０は、１つ以上の訓練済み機械学習モデル及び１つ以上のルールベースモデルを含んでよい。これにより、自動制御の特性のバリエーションを確保し、ユーザに適合する制御モデル３０の存在する確率を高めることができる。その結
果、ユーザによる介入頻度の低減をより期待することができる。

【0024】

他の一例では、訓練済み機械学習モデルの自動制御の特性は、学習条件に依存し得る。そのため、異なる学習条件（例えば、機械学習に使用する訓練サンプルが相違する、サンプリング確率を変更する等）で訓練された機械学習モデルの特性は相違し得る。また、機械学習モデルの構造が異なれば、機械学習モデルの推論結果も相違し得る。そこで、複数の制御モデル３０は、学習条件及び構造の少なくともいずれかがそれぞれ相違する複数の訓練済み機械学習モデルを含んでよい。これにより、上記と同様の作用効果を期待することができる。複数の制御モデル３０が複数のルールベースモデルを含む場合、各ルールベースモデルのルールは相違していてよい。

【0025】

また、シーン毎に要求される制御は異なり得る。そのため、各制御モデル３０は、シーン毎に用意されてよい。一例では、移動体Ｍが車両の場合、車線変更、車線維持、緊急停車（EDSS：Emergency Driving Stop System）等のシーン毎に異なる複数の制御モデル３
０が用意されてよい。この場合、複数の制御モデル３０は、自動制御を遂行する対象となるシーンのうちの少なくともいずれか同一又は重複するシーンでの自動制御に使用可能な少なくとも２つ以上の制御モデルを含むように構成されてよい。すなわち、制御装置１は、同一又は重複するシーンを対象に２つ以上の制御モデルを保持してよい。一例として、移動体Ｍが車両の場合に、複数の制御モデル３０は、同一の車線変更を対象とする第１制御モデル及び第２制御モデルを含んでよい。このとき、第１制御モデル及び第２制御モデルは、同一の車線変更の場面でも、車線変更のタイミング、速度、操舵角等の制御内容が互いに相違するよう異なる制御指令を導出するように構成されてよい。

【0026】

（制御指令）
制御指令（制御指令５０）は、移動体Ｍの動作に関する。制御指令の構成は、実施の形態に応じて適宜選択されてよい。一例では、制御指令は、加速、減速、操舵又はこれらの組み合わせにより構成されてよい。加速及び減速は、ギアチェンジを含んでよい。加速、減速及び操舵の少なくともいずれかを含む場合、制御指令は、パスにより表現されてよい。これに応じて、各制御モデル３０は、パスプランナと表現されてよい。また、制御指令は、移動体Ｍの操作に関する指令を更に含んでよい。一例として、移動体Ｍが車両である場合、制御指令は、ウィンカー、ハザード、クラクション、通信処理（例えば、センタにデータを送信する、緊急コールを発信する等）等の車両操作を含んでよい。

【0027】

一例では、各制御モデル３０は、制御指令を直接的に出力するように構成されてよい。他の一例では、各制御モデル３０は、制御指令を間接的に出力するように構成され、各制御モデル３０の出力に対して任意の情報処理（解釈処理）を実行することで制御指令が得られてもよい。制御指令は、例えば、アクセル制御量、ブレーキ制御量、ハンドル操舵角等の移動体Ｍの制御量（制御指示値、制御出力量）を直接的に示すように構成されてもよい。或いは、制御指令は、例えば、パス、制御後の状態等のように、移動体Ｍの制御量を間接的に示すように構成されてよい。この場合、任意の情報処理を実行することで、制御指令から移動体Ｍの制御量が得られてよい。

【0028】

（１つ以上の制御モデルを選択）
１つ以上の制御モデル３５を選択することは、１つの制御モデル３５を選択すること、又は２つ以上の制御モデル３５を選択することにより構成されてよい。これに応じて、移動体Ｍの制御指令５０を導出することは、選択された１つの制御モデル３５から制御指令５０を導出すること、又は選択された２つ以上の制御モデル３５それぞれから得られた制御指令を統合することで、制御指令５０を導出することにより構成されてよい。統合は、合計、平均、加重平均等の任意の演算で実施されてよい。これにより、制御指令５０を適切に得ることができる。

【0029】

（破棄又はオーバーラップ）
破棄（無視）は、自動制御から手動制御に即時に切り替えること、すなわち、１つ以上の制御モデル３５から導出された制御指令５０による制御からユーザによる介入の操作５５に従った制御に即時に切り替えることであってよい。一方、オーバーラップは、自動制御から手動制御（ユーザ制御）に徐々に切り替えることであってよい。

【0030】

（選択モデル）
選択モデル２０は、介入の発生の蓋然性が低い又は介入が発生しないと介入履歴６０から推測される制御モデル３５を選択するように構成される。一例では、選択モデル２０の選択ルールは、過去に介入が生じた条件の環境と同一又は近傍の環境（すなわち、過去の介入が生じた環境の範囲）で、その際に使用した制御モデルをそのまま使用しないように調整されてよい。同一又は近傍の条件であるか否かは、センサＳにより得られる観測データ等の環境の情報から推論されてよい。

【0031】

一例では、選択ルールを規定する方策は、介入の生じた選択モデルを避けて、適当な１つの制御モデルを選択することであってよい（例えば、ランダム、所定順に指定等）。単純には、選択モデル２０は、過去に介入が生じた環境の範囲で、その際に使用した制御モデル以外の他の制御モデルを選択するように構成されてよい。好ましくは、選択モデル２０は、その際に与えられたユーザによる介入操作の制御指令と同一又は近傍の制御指令を導出可能な１つの制御モデルを選択するように構成されてよい。

【0032】

また、他の一例では、選択ルールを規定する方策は、２つ以上の制御モデルを任意に選択し、選択された２つ以上の制御モデルの統合比率を導出することであってよい。選択モデル２０は、過去に介入が生じた環境の範囲で、２つ以上の制御モデルを選択するように構成されてよい。２つ以上の制御モデルは、その際に使用した制御モデル及び１つ以上の他の制御モデル、又はその際に使用した制御モデル以外の２つ以上の他の制御モデルにより構成されてよい。２つ以上の制御モデルの統合比率は、その際のユーザ介入による制御指令に適合するように適宜算出されてよい。

【0033】

制御モデル３５の選択に介入履歴６０を反映可能であれば、選択モデル２０の構成は、実施の形態に応じて適宜決定されてよい。一例では、選択モデル２０は、ルールベースモデル及び訓練済み機械学習モデルの少なくともいずれかにより構成されてよい。ルールベースモデルを採用する場合、選択モデル２０では、介入履歴６０の情報がそのまま選択ルールに反映されてよい。一例では、選択モデル２０は、介入履歴６０の情報と介入履歴６０から選択ルールを設定する基準とで構成されてよい。選択ルールは、手動又は少なくとも部分的に自動で設定されてよい。機械学習モデルを採用する場合、介入履歴６０により示される過去に介入が生じた環境を示す情報を訓練サンプル（入力データ）として使用し、上記選択ルールに従って選択される制御モデル（及び統合比率）をラベル（教師信号、正解データ）として使用して、選択モデル２０の訓練が実行されてよい。これにより、上記方策に従った選択ルールが反映された訓練済み機械学習モデル（選択モデル２０）を生成することができる。

【0034】

なお、複数の制御モデル３０は、訓練済み機械学習モデル及びルールベースモデルを含んでよい。これに応じて、１つ以上の制御モデル３５を選択することは、訓練済み機械学習モデルを使用して移動体Ｍの自動制御を実施している間にユーザによる介入が発生したことを示す記録（情報）が介入履歴６０に含まれている場合に、当該記録により示される条件下で、ルールベースモデルを選択することを含んでよい。記録により示される条件は、介入の生じた環境と同一又は近傍の範囲であってよい。近傍の範囲は任意に規定されてよい。これにより、訓練済み機械学習モデルがユーザに適合しない環境下で、使用する制
御モデルを訓練済み機械学習モデルからルールベースモデルに切り替えることができる。

【0035】

（介入履歴）
介入履歴６０は、過去において複数の制御モデル３０の少なくともいずれかを使用して、移動体Ｍの自動制御を実施している間に発生したユーザによる介入の情報（過去に発生した介入の記録）により構成される。介入履歴６０のデータ形式は、実施の形態に応じて適宜決定されてよい。介入履歴６０は、任意のデータベース形式で保持されてよい。

【0036】

介入履歴６０として保存する情報の項目は、選択モデル２０を形成可能であれば、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。一例では、介入履歴６０は、介入の生じた環境の条件（位置、ルート等）、及びその条件の環境で使用された制御モデルを識別するための情報（例えば、識別子等）を含んでよい。

【0037】

また、介入履歴６０は、選択モデル２０の形成に使用する情報の他、制御モデル３０の改善に使用可能な情報（ルールを策定するための情報又は機械学習に使用するデータセットを生成するための情報）を更に含んでよい。一例では、介入履歴６０は、ユーザによる介入の操作又はその操作による制御指令を更に含んでよい。制御モデル３０が機械学習モデルで構成される場合、介入履歴６０に含まれる介入の生じた環境の条件を示す情報を訓練サンプルとして使用し、ユーザによる介入の操作又はその操作による制御指令をラベルとして使用して、制御モデル３０のアップデートのための機械学習（再学習、追加学習等）が実施されてよい。アップデートのための機械学習は、制御装置１で実行されてもよいし、或いは制御装置１以外のコンピュータ（例えば、外部サーバ）で実行されてもよい。

【0038】

図２は、本実施形態に係る介入履歴６０のデータ構成の一例を模式的に示す。図２の例では、介入履歴６０のレコードは、タイムスタンプ、使用された制御モデルの識別情報（使用モデル）、介入の生じた環境の条件、及び介入の操作を示す情報を含む。タイムスタンプは、介入の生じた日時を示す。タイムスタンプにより示される日時は、古いレコードの削除、（一定期間内の介入履歴を選択モデルに反映する場合における）選択モデル２０に反映するレコードの特定、等に使用されてよい。なお、介入履歴６０のレコードは、介入操作毎に生成されてよい。レコードにより示される介入操作の単位は任意に決定されてよい。一例では、１回の介入操作毎に１件のレコード（介入履歴のサンプル）が生成されてよい。他の一例では、複数回の介入に応じて１件のレコードが生成されてもよい。

【0039】

（ユーザ）
ユーザは、特定のユーザを指してもよいし、或いは不特定のユーザを指してもよい。一例では、対象のユーザが制御装置１を使用している間に、対象のユーザのみの介入履歴６０が制御モデル３５の選択ルールに反映されてよい。他の一例では、対象ユーザ以外のユーザを含む任意のユーザの介入履歴６０が制御モデル３５の選択ルールに反映されてもよい。なお、移動体Ｍが車両の場合、典型的には、ユーザは、ドライバである。

【0040】

［２ 構成例］
図３は、本実施形態に係る制御装置１のハードウェア構成の一例を模式的に示す。本実施形態に係る制御装置１は、制御部１１、記憶部１２、外部インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。

【0041】

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory
）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて任意の情報処理を実行するように構成される。制御部１１（ＣＰＵ）は、プロセッサ・リソースの一例である。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等により構成されてよい。記憶部１２（及びＲＡＭ、ＲＯＭ）は、メモリ・リソース
の一例である。本実施形態では、記憶部１２は、制御プログラム８１、制御モデルデータ３００、選択モデルデータ２００、介入履歴データ６００等の各種情報を記憶する。

【0042】

制御プログラム８１は、移動体Ｍの制御に関する情報処理（後述の図４）を制御装置１に実行させるためのプログラムである。制御プログラム８１は、当該情報処理の一連の命令を含む。制御モデルデータ３００は、制御モデル３０に関する情報を示すように構成される。選択モデルデータ２００は、選択モデル２０に関する情報を示すように構成される。一例では、制御モデルデータ３００及び選択モデルデータ２００の少なくとも一方は、機械学習により調整された演算パラメータの値を示す情報を含んでよい。制御モデルデータ３００及び選択モデルデータ２００の少なくとも一方は、機械学習モデルの構成（例えば、ニューラルネットワークの構造等）を示す情報を更に含んでもよい。他の一例では、制御モデルデータ３００及び選択モデルデータ２００の少なくとも一方は、ルールベースモデル（ルール）を示す情報を含んでよい。介入履歴データ６００は介入履歴６０を示す情報を含むように適宜構成されてよい。

【0043】

外部インタフェース１３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート、無線通信ポート等であってよく、有線又は無線で外部装置と接続するように構成される。本実施形態では、制御装置１は、外部インタフェース１３を介して、センサＳに接続されてよい。入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。入力装置１４及び出力装置１５は、例えば、タッチパネルディスプレイ等により一体的に構成されてもよい。

【0044】

ドライブ１６は、記憶媒体９１に記憶されたプログラム等の各種情報を読み込むための装置である。上記制御プログラム８１、制御モデルデータ３００、選択モデルデータ２００及び介入履歴データ６００の少なくともいずれかは、記憶部１２に代えて又は記憶部１２と共に、記憶媒体９１に格納されていてもよい。記憶媒体９１は、コンピュータ等の機械が各種情報（記憶されたプログラム等）を読み取り可能なように、電気的、磁気的、光学的、機械的又は化学的作用により当該情報を蓄積するように構成される。制御装置１は、上記制御プログラム８１、制御モデルデータ３００、選択モデルデータ２００及び介入履歴データ６００の少なくともいずれかを記憶媒体９１から取得してよい。なお、記憶媒体９１は、ＣＤ、ＤＶＤ等のディスク型の記憶媒体であってもよいし、或いは半導体メモリ（例えば、フラッシュメモリ）等のディスク型以外の記憶媒体であってもよい。ドライブ１６の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。

【0045】

なお、制御装置１の具体的なハードウェア構成に関して、実施の形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）、ＥＣＵ
（Electronic Control Unit）、ＧＰＵ（Graphics Processing Unit）等により構成され
てよい。外部インタフェース１３、入力装置１４、出力装置１５及びドライブ１６の少なくともいずれかは省略されてもよい。制御装置１は、提供されるサービス専用に設計されたコンピュータの他、汎用のコンピュータ、端末装置等であってよい。

【0046】

［３ 動作例］
図４は、本実施形態に係る制御装置１による移動体Ｍの制御に関する処理手順の一例を示す。以下の処理手順は、コンピュータにより実行される制御方法の一例である。ただし、以下の処理手順は、一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0047】

ステップＳ１０１では、制御部１１は、取得部１１１として動作し、センサＳの観測データ１２５を取得する。制御部１１は、直接的又は間接的にセンサＳから観測データ１２５を取得してよい。ステップＳ１０２では、制御部１１は、選択部１１２として動作し、選択モデル２０により、複数の制御モデル３０から１つ以上の制御モデル３５を選択する。一例では、選択モデル２０がルールベースモデルを含む場合、制御部１１は、ルールに従って、観測データ１２５の少なくとも一部により示される環境から制御モデル３５の選択結果を導出してよい。他の一例では、選択モデル２０が訓練済み機械学習モデルを含む場合、制御部１１は、観測データ１２５の少なくとも一部を訓練済み機械学習モデルに入力し、訓練済み機械学習モデルの演算処理を実行することで、制御モデル３５の選択結果を取得してよい。ステップＳ１０３では、制御部１１は、導出部１１３として動作し、選択された１つ以上の制御モデル３５を使用して、取得された観測データ１２５の少なくとも一部から移動体Ｍの制御指令５０を導出する。選択モデル２０と同様に、一例では、制御モデル３５がルールベースモデルを含む場合、制御部１１は、ルールに従って、制御指令５０を導出してよい。他の一例では、制御モデル３５が訓練済み機械学習モデルを含む場合、制御部１１は、訓練済み機械学習モデルの演算処理を実行することで、制御指令５０を導出してよい。

【0048】

なお、ステップＳ１０２では、制御部１１は、１つの制御モデル３５又は２つ以上の制御モデル３５を選択してよい。これに応じて、ステップＳ１０３では、制御部１１は、選択された１つの制御モデル３５から制御指令５０を導出してよい。或いは、制御部１１は、選択された２つ以上の制御モデル３５それぞれから得られた制御指令を統合することで、制御指令５０を導出してよい。また、ステップＳ１０２及びステップＳ１０３の順序はこのような例に限られなくてよい。他の一例では、ステップＳ１０３は、ステップＳ１０２よりも前に実行されてよい。この場合、制御部１１は、選択されるか否かに関係なく、選択される可能性のある全ての制御モデル３０から制御指令を導出してよい。そして、制御部１１は、導出された制御指令のうち、ステップＳ１０２により選択された制御モデル３５の制御指令を抽出してもよい。

【0049】

ステップＳ１０４では、制御部１１は、介入受付部１１４として動作し、ユーザによる介入の操作５５の有無を判定する。制御部１１は、移動体Ｍの動作を制御している間、ユーザによる介入の操作５５を随時受け付けてよい。介入の操作５５を受け付けた（すなわち、介入の操作５５がある）場合、制御部１１は、ステップＳ１０６に処理を進める。一方で、介入の操作５５を受け付けなかった（介入の操作５５がない）場合、制御部１１は、ステップＳ１０５に処理を進める。

【0050】

ステップＳ１０５では、制御部１１は、動作制御部１１６として動作し、導出された制御指令５０に従って、移動体Ｍの動作を制御する。動作の制御が完了すると、制御部１１は、次のステップＳ１０８に処理を進める。

【0051】

ステップＳ１０６では、制御部１１は、動作制御部１１６として動作し、導出された制御指令５０を破棄又は導出された制御指令５０にオーバーラップして、ユーザによる介入の操作５５に従い、移動体Ｍの動作を制御する。ステップＳ１０７では、制御部１１は、履歴生成部１１５として動作し、ユーザによる介入の操作５５を示す情報を生成し、生成された情報を介入履歴６０として所定の記憶領域に保存する。所定の記憶領域（保存先）は任意に選択されてよい。一例では、所定の記憶領域は、ＲＡＭ、記憶部１２、記憶媒体９１等であってよい。制御装置１が通信可能に構成されている場合、所定の記憶領域は、外部コンピュータであってもよい。なお、ステップＳ１０７の処理タイミングは、このような例に限られなくてよく、適宜変更されてよい。介入履歴６０の記録（介入履歴データ６００の更新）が完了すると、制御部１１は、次のステップＳ１０８に処理を進める。

【0052】

ステップＳ１０８では、制御部１１は、移動体Ｍの制御を終了するか否かを判定する。判定の基準は任意に設定されてよい。一例では、移動体Ｍを起動している間、制御部１１は、移動体Ｍの制御を終了しないと判定するのに対して、任意の終了指示（例えば、入力装置１４を介したユーザによる終了の操作）に応じて、移動体Ｍの制御を終了すると判定してよい。制御を終了しないと判定した場合、制御部１１は、ステップＳ１０１に戻り、ステップＳ１０１から処理を再度実行する。一方で、制御を終了すると判定した場合、制御部１１は、ステップＳ１０９に処理を進める。

【0053】

ステップＳ１０９では、制御部１１は、モデル更新部１１７として動作し、生成された介入履歴６０により、選択モデル２０を更新する。一例では、制御部１１は、上記方策に従って、選択モデル２０を更新してよい。これにより、選択モデル２０は、ユーザの介入履歴６０からユーザによる介入の発生を避けるように１つ以上の制御モデル３５を選択するように構成される。なお、図４の例では、制御終了の度にステップＳ１０９が実行され、選択モデル２０が更新される。しかしながら、ステップＳ１０９の処理タイミングは、このような例に限られなくてよく、実施の形態に応じて適宜決定されてよい。他の一例では、制御部１１は、一定期間おき（例えば、１か月おき等）にステップＳ１０９を実行することで、選択モデル２０を更新してよい。選択モデル２０の更新が完了すると、制御部１１は、本動作例に係る制御装置１の処理手順を終了する。

【0054】

［特徴］
本実施形態では、上記ステップＳ１０７及びステップＳ１０９の処理により、選択モデル２０は、ユーザによる過去の介入操作の記録から、ユーザによる介入の発生を避けるよう制御モデル３５を選択するように構築される。この選択モデル２０をステップＳ１０２で使用することで、制御装置１に対して、複数の制御モデル３０のうち、過去の介入の傾向から対象の場面でユーザに適合しないと推測される制御モデルの使用を避け、ユーザに適合する可能性の高い制御モデルを積極的に使用させることができる。その結果、本実施形態によれば、ユーザによる介入頻度の低減を期待することができる。

【0055】

［４ 変形例］
以上、本開示の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。本開示において説明した処理及び手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【符号の説明】

【0056】

１…制御装置、
１１…制御部、１２…記憶部、
２０…選択モデル、３０・３５…制御モデル、
５０…制御指令、５５…操作、６０…介入履歴
Ｍ…移動体、Ｓ…センサ

【図1】

【図2】

【図3】

【図4】