特開 2024-174632 自動運転システム用サーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174632

(43)【公開日】2024-12-17

(54)【発明の名称】自動運転システム用サーバ

(51)【国際特許分類】

   G08G 1/09 20060101AFI20241210BHJP

   B60W 50/04 20060101ALI20241210BHJP

【ＦＩ】

G08G1/09 V

B60W50/04

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023092555

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】大杉 雅道

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA50

3D241BA64

3D241BB51

3D241BB72

3D241CE02

3D241CE08

3D241CE09

3D241DB02Z

3D241DB05Z

3D241DB12Z

3D241DC25Z

3D241DC33Z

3D241DC51Z

5H181AA01

5H181BB04

5H181BB20

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF13

5H181FF27

5H181FF33

5H181LL07

5H181LL09

(57)【要約】

【課題】機械学習モデルによる車両制御を効果的に監視することが可能な自動運転システム用サーバを提供する。
【解決手段】自動運転システム用サーバ１００は、機械学習モデルＭを用いた車両制御により車両Ｖの自動運転を行う自動運転システム１に対して通信可能なサーバである。自動運転システム用サーバ１００は、車両制御に関する情報である車両制御情報を取得し、自動運転の対応が困難であると推定される状況が車両Ｖにおいて発生している場合、車両制御時に車両Ｖの周辺にて認識される認識対象及び車両制御時の車両Ｖの走行条件を、車両制御情報から抽出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

機械学習モデルを用いた車両制御により車両の自動運転を行う自動運転システムに対して通信可能なサーバであって、
前記車両制御に関する情報である車両制御情報を取得し、
前記自動運転の対応が困難であると推定される状況が前記車両において発生している場合、前記車両制御時に前記車両の周辺にて認識される認識対象及び前記車両制御時の前記車両の走行条件の少なくとも何れかを、前記車両制御情報から抽出する、自動運転システム用サーバ。

【請求項2】

前記自動運転の対応が困難であると推定される状況が発生する場合として、複数のイベントの少なくとも何れかが発生する場合が予め定められており、
複数の前記イベントの少なくとも何れかが前記車両において発生している場合、前記認識対象及び前記走行条件の少なくとも何れかを抽出する、請求項１に記載の自動運転システム用サーバ。

【請求項3】

複数の前記イベントの少なくとも何れかが前記車両において発生している場合は、前記車両のドライバが自動運転へ介入した場合、前記車両の加減速又は操舵角速度が閾値以上の場合、前記車両と他車両との距離が閾値よりも小さい場合、前記車両の横位置が不安定な場合、及び、前記ドライバが驚く度合が閾値以上の挙動を前記車両が行った場合の少なくとも何れかである、請求項２に記載の自動運転システム用サーバ。

【請求項4】

前記車両制御の信頼度が閾値よりも低い場合に、前記自動運転の対応が困難であると推定される状況が前記車両において発生しているとして、前記認識対象及び前記走行条件の少なくとも何れかを抽出する、請求項１又は２に記載の自動運転システム用サーバ。

【請求項5】

他車両からの情報に基づいて、前記自動運転の対応が困難であると推定される状況が前記車両において発生しているか否かを推定する、請求項１又は２に記載の自動運転システム用サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一側面は、自動運転システム用サーバに関する。

【背景技術】

【0002】

機械学習モデルを用いた車両制御により車両の自動運転を行う自動運転システムに対して通信可能なサーバが知られている。この種の技術として、例えば特許文献１には、自動運転モデルを生成するための機械学習に使用可能な教師データを収集する教師データ収集装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／１１６４２３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、機械学習により生成された機械学習モデルは、全ての場面で適切な車両制御を実現可能な能力を有しているとは限らない。機械学習モデルを用いて適切に車両制御を実行可能な範囲は、例えば天候、時間帯、通行量等の交通環境に応じて、変化し得る。そのため、機械学習モデルによる車両制御を適切に運用するためには、当該車両制御を効果的に監視することが望まれる。

【0005】

そこで、本発明の一側面は、機械学習モデルによる車両制御を効果的に監視することが可能な自動運転システム用サーバを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面に係る自動運転システム用サーバは、機械学習モデルを用いた車両制御により車両の自動運転を行う自動運転システムに対して通信可能なサーバであって、車両制御に関する情報である車両制御情報を取得し、自動運転の対応が困難であると推定される状況が車両において発生している場合、車両制御時に車両の周辺にて認識される認識対象及び車両制御時の車両の走行条件の少なくとも何れかを、車両制御情報から抽出する。

【0007】

本発明の一側面に係る自動運転システム用サーバは、自動運転の対応が困難であると推定される状況が発生する場合として、複数のイベントの少なくとも何れかが発生する場合が予め定められており、複数のイベントの少なくとも何れかが車両において発生している場合、認識対象及び走行条件の少なくとも何れかを抽出してもよい。複数のイベントの少なくとも何れかが車両において発生している場合は、車両のドライバが自動運転へ介入した場合、車両の加減速又は操舵角速度が閾値以上の場合、車両と他車両との距離が閾値よりも小さい場合、車両の横位置が不安定な場合、及び、ドライバが驚く度合が閾値以上の挙動を車両が行った場合の少なくとも何れかであってもよい。

【発明の効果】

【0008】

本発明の一側面によれば、機械学習モデルによる車両制御を効果的に監視することが可能な自動運転システム用サーバを提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係る自動運転システム用サーバ及び自動運転システムの構成を示すブロック図である。

【図2】図２は、図１の自動運転システム用サーバによる処理の一例を示すフローチャートである。

【図3】図３は、図２の続きを示すフローチャートである。

【図4】図４は、変形例に係る自動運転システム用サーバ及び自動運転システムの構成を示すブロック図である。

【図5】図５は、図４の自動運転システム用サーバによる処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、実施形態について詳細に説明する。図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。

【0011】

図１に示されるように、実施形態に係る自動運転システム用サーバ１００は、機械学習モデルを用いた車両制御により車両Ｖの自動運転を行う自動運転システム１に対して通信可能なサーバである。

【0012】

自動運転システム１は、車両Ｖに搭載されている。車両Ｖは、乗用車であってもよいし、貨物車であってもよい。車両Ｖは、１又は複数の乗員が搭乗可能である。車両Ｖは、自動運転［Autonomous Driving］が可能な自動運転車両である。車両Ｖは、ドライバによる手動運転が可能であってもよい。

【0013】

自動運転システム１は、センサ２、アクチュエータ３、通信部４及び自動運転ＥＣＵ５[Electronic Control Unit]を備える。センサ２は、外部センサ及び内部センサを有する。外部センサは、車両Ｖの周辺環境を取得するセンサである。外部センサは、例えば、カメラ、ミリ波レーダ、ライダー［LIDAR：Light Detection and Ranging］等の少なくとも何れかを含む。内部センサは、車両Ｖの走行状態を検出する検出機器である。内部センサは、車速センサ、加速度センサ、及びヨーレートセンサ等の少なくとも何れかを含む。センサ２は、検出結果を自動運転ＥＣＵ５へ送信する。

【0014】

アクチュエータ３は、車両Ｖの速度を制御するための制御器である。アクチュエータ３は、例えば、エンジン又はモータの出力を制御するアクチュエータ、ブレーキアクチュエータを含んでいてもよい。通信部４は、車両Ｖの外部との無線通信を制御する通信デバイスである。通信部４は、例えば、通信ネットワークＮを介して自動運転システム用サーバ１００と各種情報の通信を行う。通信部４としては特に限定されず、種々の公知の通信デバイスを用いることができる。

【0015】

自動運転ＥＣＵ５は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］等を有する電子制御ユニットである。自動運転ＥＣＵ５は、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。自動運転ＥＣＵ５は、複数の電子制御ユニットから構成されていてもよい。

【0016】

自動運転ＥＣＵ５は、センサ２の検出結果に基づき、機械学習モデルＭを用いた車両制御を実行する。例えば自動運転ＥＣＵ５は、センサ２の検出結果を機械学習モデルＭに入力し、それにより得られた制御信号をアクチュエータ３に出力することで、車両Ｖの駆動、制動、操舵を制御して自動運転を行う。

【0017】

機械学習モデルＭは、再帰型の深層学習モデルである。機械学習モデルＭは、再帰型ニューラルネットワーク[RNN:Recurrent neural network]である。ニューラルネットワークの少なくとも一部に、複数の畳込み層及びプーリング層を含む複数の層を含む畳込みニューラルネットワーク[CNN:Convolutional Neural Network]が用いられていてもよい。機械学習モデルＭでは、ディープラーニングによる深層学習が行われる。機械学習モデルＭは、所定の学習条件の車両Ｖのデータを用いて学習が行われた学習済みモデルである。例えば、機械学習モデルＭは、例えばセンサ２の各種の検出結果が入力された場合におけるアクチュエータ３への出力についての教師データを用いて学習してもよい。

【0018】

車両Ｖは、当該車両Ｖの車両制御に関する情報である車両制御情報を、通信部４を介して自動運転システム用サーバ１００へ送信する。車両制御情報は、センサ２の検出結果、車両Ｖが存在する地域の天気、現在の時間、車両Ｖが走行する路面の路面情報、車両Ｖが走行している国等の少なくとも何れかを含む。車両制御情報は、公知の手法又は機器により適宜に取得することができる。車両制御情報の自動運転システム用サーバ１００への送信は、周期的に行われてもよい。

【0019】

本実施形態の自動運転システム用サーバ１００は、通信部１０１、表示部１０２及び処理部１０３を備える。通信部１０１は、例えば、通信ネットワークＮを介して車両Ｖと各種情報の通信を行う。通信部１０１としては特に限定されず、種々の公知の通信デバイスを用いることができる。表示部１０２は、各種情報をユーザに提示するインターフェイスである。表示部１０２は、画像出力により各種情報をユーザに提示する。表示部１０２としては特に限定されず、種々の公知の表示デバイスを用いることができる。

【0020】

処理部１０３は、通信部１０１を介して車両制御情報を取得する。処理部１０３は、自動運転の対応が困難であると推定される状況が車両Ｖにおいて発生している場合、車両制御時に車両Ｖの周辺にて認識される認識対象及び車両制御時の車両Ｖの走行条件の少なくとも何れかを、車両制御情報から抽出する。

【0021】

処理部１０３には、自動運転の対応が困難と推定される状況が発生する場合として、複数のイベントの少なくとも何れかが発生する場合が予め定められている。処理部１０３は、車両制御情報に基づいて、複数のイベントの少なくとも何れかが車両Ｖにおいて発生しているか否かを判定する。処理部１０３は、複数のイベントの少なくとも何れかが車両Ｖにおいて発生していると判定した場合、認識対象及び走行条件の少なくとも何れかを車両制御情報から抽出する。

【0022】

イベントが車両Ｖにおいて発生している場合とは、車両Ｖのドライバが自動運転へ介入した場合、車両Ｖの加減速又は操舵角速度が閾値以上の場合、車両Ｖと他車両との距離が閾値よりも小さい場合、車両Ｖの横位置が不安定な場合、及び、ドライバが驚く度合が閾値以上の挙動を車両Ｖが行った場合の少なくとも何れかである。処理部１０３にて判定されるイベントは、機械学習モデルＭが対応しきれないイベントである。

【0023】

各閾値は、予め定められて自動運転システム用サーバ１００に記憶されていてもよい。各閾値は、固定値であってもよいし、可変値であってもよい。認識対象は、車両Ｖにて認識される対象であって、例えば車両Ｖの周辺の物体及び障害物（歩行者、自転車、バイク、他車両等）である。走行条件は、車両Ｖが走行する条件であって、例えば車両Ｖが存在する地域の天気、現在の時間、車両Ｖが走行する路面の路面情報（土、石畳及びアスファルトの何れであるか等）、車両Ｖが走行している国等である。各閾値、認識対象及び走行条件は特に限定されない。イベントが車両Ｖにおいて発生しているか否かは、種々の公知手法を利用して判定することができる。

【0024】

処理部１０３は、認識対象及び走行条件の少なくとも何れかを抽出した場合、発生した複数のイベント毎に、当該抽出結果を分類する。処理部１０３は、表示部１０２を介して、当該抽出結果を一覧で提示してもよい。一覧で提示する態様は特に限定されず、様々な態様であってもよく、発生したイベント毎の一覧であってもよい。処理部１０３は、表示部１０２を介して、ｓ抽出結果を優先度を付して提示してもよい。優先度は、例えば、発生したイベントの発生頻度及び重要度に応じて設定されていてもよい。優先度は、数値で表されていてもよいし、程度で表されていてもよい。

【0025】

次に、本実施形態の自動運転システム用サーバ１００により車両Ｖの車両制御を監視する監視処理の一例について、図２のフローチャートを参照して説明する。ここでの監視処理は、例えば車両Ｖの走行中に実行されていてもよく、処理がエンドに至った場合、所定時間後に再びスタートから処理が開始されてもよい。

【0026】

図２に示されるように、まず、処理部１０３により、通信部１０１を介して車両Ｖから車両制御情報を取得する（ステップＳ１）。処理部１０３により、車両制御情報に基づいて、予め定められたイベントの少なくとも何れかが発生しているか否かを判定する（ステップＳ２）。上記ステップＳ２でＮＯの場合、今回の周期の処理を終了し、次周期の上記ステップＳ１へ移行する。一方、上記ステップＳ２でＹＥＳの場合、発生しているイベントを車両制御情報に割り付け、当該車両制御情報をイベント別に分類する（ステップＳ３）。

【0027】

処理部１０３により、車両制御情報に基づいて、発生しているイベントに含まれる認識対象及び走行条件を抽出する（ステップＳ４）。上記ステップＳ４では、認識対象及び走行条件の何れか一方のみを抽出してもよい。処理部１０３により、発生しているイベントの発生頻度及び重要度に応じた優先度を算出し、抽出した認識対象及び走行条件に当該優先度を付与する（ステップＳ５）。処理部１０３により、優先度が付与された状態の認識対象及び走行条件を、発生したイベント毎に分けられた一覧にして、表示部１０２に表示させる（ステップＳ６）。

【0028】

なお、本実施形態の自動運転システム用サーバ１００では、処理部１０３は、車両制御の信頼度が閾値よりも低い場合、自動運転の対応が困難であると推定される状況が車両において発生しているとして、認識対象及び走行条件の少なくとも何れかを抽出してもよい。具体的には、図３のフローチャートを参照して説明すると、まず、処理部１０３により、通信部１０１を介して車両Ｖから車両制御情報を取得する（ステップＳ１１）。処理部１０３により、車両制御情報に基づいて、車両制御の信頼度が閾値よりも低いか否かを判定する（ステップＳ１２）。

【0029】

車両制御の信頼度は、公知手法を用いて求めることができる。例えば、車両Ｖの周辺に他車両が存在する場合、信頼度を低くなるように設定してもよい。また例えば、車両Ｖの状況の安全性が互いほど、信頼度を高く設定してもよい。また例えば、第１イベントよりも発生頻度が高い第２イベントが発生した場合、第１イベントが発生したときよりも信頼度を高く設定してもよい。上記ステップＳ１２の閾値は、予め設定されて記憶されている。当該閾値は特に限定されず、固定値でもよいし、可変値でもよい。

【0030】

続いて、車両制御情報に基づいて、認識対象及び走行条件を抽出する（ステップＳ１３）。抽出した認識対象及び走行条件に信頼度を付与する。処理部１０３により、信頼度が付与された状態の認識対象及び走行条件の一覧を表示部１０２に表示させる（ステップＳ１４）。

【0031】

以上、自動運転システム用サーバ１００では、機械学習モデルＭによる車両制御では対応し難い（システムが苦手となるような）認識対象及び／又は走行条件を把握することができる。すなわち、機械学習モデルＭによる車両制御を効果的に監視することが可能となる。自動運転システム用サーバ１００側（例えば業者側）において自動運転システム１の監視の効率化を図ることが可能となる。

【0032】

自動運転システム用サーバ１００では、自動運転の対応が困難であると推定される状況が発生する場合として、複数のイベントの少なくとも何れかが発生する場合が予め定められており、複数のイベントの少なくとも何れかが車両Ｖにおいて発生している場合、認識対象及び走行条件の少なくとも何れかを抽出する。この場合、イベントの発生を利用して、機械学習モデルＭによる車両制御では対応し難い認識対象及び／又は走行条件を把握することが可能となる。

【0033】

自動運転システム用サーバ１００において、複数のイベントの少なくとも何れかが車両Ｖにて発生している場合は、車両Ｖのドライバが自動運転へ介入した場合、車両Ｖの加減速又は操舵角速度が閾値以上の場合、他車両ＶＴとの距離が閾値よりも小さい場合、車両Ｖの横位置が不安定な場合、及び、ドライバが驚く度合が閾値以上の挙動を車両Ｖが行った場合の少なくとも何れかである。この場合、イベントの発生を利用して機械学習モデルＭによる車両制御では対応し難い認識対象及び／又は走行条件を把握することを、具体的に実現可能となる。

【0034】

自動運転システム用サーバ１００では、車両制御の信頼度が閾値よりも低い場合に、自動運転の困難度が規定値よりも高い状況が車両Ｖにおいて発生しているとして、認識対象及び走行条件の少なくとも何れかを抽出してもよい。これにより、車両制御の信頼度を利用して、機械学習モデルＭによる車両制御では対応し難い認識対象及び／又は走行条件を把握することが可能となる。

【0035】

自動運転システム用サーバ１００では、複数のイベント毎に抽出結果を分類する。自動運転システム用サーバ１００では、抽出結果を一覧で提示する。自動運転システム用サーバ１００では、抽出結果を、優先度を付して提示する。これらの少なくとも何れかの場合、抽出結果を容易に把握することが可能となる。また、認識対象及び／又は走行条件が抽出された理由又は条件も把握することが可能となる。

【0036】

以上、実施形態について説明したが、本発明の一態様は上記実施形態に限定されるものではない。本発明の一態様は、上記実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

【0037】

上記実施形態の自動運転システム用サーバ１００では、図４に示されるように、処理部１０３は、他車両ＶＴからの情報に基づいて、自動運転の対応が困難であると推定される状況が車両Ｖにおいて発生しているか否かを推定してもよい。具体的には、他車両ＶＴは、車両Ｖの車両制御に関する情報である車両制御情報を、通信部４（図１参照）と同様な通信部１３を介して自動運転システム用サーバ１００へ送信する。車両制御情報は、センサ２と同様なセンサ１２の各検出結果、車両Ｖが存在する地域の天気、現在の時間、車両Ｖが走行する路面の路面情報、車両Ｖが走行している国等の少なくとも何れかを含む。他車両ＶＴにおいて、車両制御情報は公知の手法又は機器により適宜に取得することができる。車両制御情報の自動運転システム用サーバ１００への送信は、周期的に行われてもよい。なお、他車両ＶＴは複数台であってもよい。

【0038】

この場合の監視処理では、例えば図５に示されるように、まず、処理部１０３により、通信部１０１を介して他車両ＶＴから車両制御情報を取得する（ステップＳ２１）。処理部１０３により、車両制御情報に基づいて、予め定められたイベントの少なくとも何れかが発生しているか否かを判定する（ステップＳ２２）。上記ステップＳ２２でＮＯの場合、今回の周期の処理を終了し、次周期の上記ステップＳ２１へ移行する。上記ステップＳ２２でＹＥＳの場合、処理部１０３により、発生しているイベントを車両制御情報に割り付け、当該車両制御情報をイベント別に分類する（ステップＳ２３）。

【0039】

処理部１０３により、発生しているイベントに含まれる認識対象及び走行条件を、車両制御情報から抽出する（ステップＳ２４）。処理部１０３により、発生しているイベントの発生頻度及び重要度に応じた優先度を算出し、認識対象及び走行条件に当該優先度を付与する（ステップＳ２５）。処理部１０３により、優先度が付与された状態の認識対象及び走行条件を、発生したイベント毎に分けられた一覧にして、表示部１０２に表示させる（ステップＳ２６）。

【0040】

このように、変形例に係る自動運転システム用サーバ１００では、他車両ＶＴからの情報に基づいて、自動運転の対応が困難であると推定される状況が車両Ｖにおいて発生しているか否かを推定することができる。他車両ＶＴからの情報を利用して、機械学習モデルＭによる車両制御では対応し難い認識対象及び／又は走行条件を把握することが可能となる。

【符号の説明】

【0041】

１…自動運転システム、２…センサ、１００…自動運転システム用サーバ、Ｍ…機械学習モデル、Ｖ…車両、ＶＴ…他車両。

【図1】

【図2】

【図3】

【図4】

【図5】