特開 2024-175933 自動運転システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175933

(43)【公開日】2024-12-19

(54)【発明の名称】自動運転システム

(51)【国際特許分類】

   B60W 50/04 20060101AFI20241212BHJP

   B60W 50/14 20200101ALI20241212BHJP

   B60W 40/02 20060101ALI20241212BHJP

   G08G 1/16 20060101ALI20241212BHJP

【ＦＩ】

B60W50/04

B60W50/14

B60W40/02

G08G1/16 A

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023094039

(22)【出願日】2023-06-07

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】大杉 雅道

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA60

3D241BA66

3D241BB16

3D241BB73

3D241CE01

3D241CE05

3D241DC01Z

3D241DC21Z

3D241DC25Z

5H181AA01

5H181BB04

5H181BB20

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181CC24

5H181CC27

5H181EE02

5H181FF13

5H181FF27

5H181FF33

5H181LL09

(57)【要約】

【課題】乗機械学習モデルによる車両制御を効果的に監視することが可能な自動運転システムを提供する。
【解決手段】自動運転システム１は、センサ２によって車両Ｖの走行状況及び周辺状況に関する情報を検出し、走行状況及び周辺状況に関する情報に基づいて機械学習モデルＭを用いた車両制御を実施し、センサ２の検出性能が規定レベルよりも低い場合、当該センサ２の検出結果を提示し、リスクが規定値よりも高い状況が車両Ｖにおいて発生している場合、当該状況に対応するセンサ２の検出結果を提示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

１又は複数のセンサによって車両の走行状況及び周辺状況の少なくとも何れかに関する情報を検出し、
前記走行状況及び前記周辺状況の少なくとも何れかに関する情報に基づいて、機械学習モデルを用いた車両制御を実施し、
前記センサの検出性能が規定レベルよりも低い場合、当該センサの検出結果を提示し、
リスクが規定値よりも高い状況が前記車両において発生している場合、当該状況に対応する前記センサの検出結果を提示する、自動運転システム。

【請求項2】

前記センサの検出性能が前記規定レベルよりも低い場合は、前記センサが周辺物体又は区画線を未検出の場合、前記センサの安定性が過去の安定性と比べて低い場合、前記センサの安定性が設計値と比べて低い場合、前記センサの安定性が当該センサに対して視野が重複する他のセンサの安定性と比べて低い場合、及び、前記センサの安定性が同じ場所を走行した他車両の他のセンサの安定性と比べて低い場合の少なくとも何れかである、請求項１に記載の自動運転システム。

【請求項3】

前記車両の加減速及び操舵角速度の少なくとも何れかが閾値以上の場合、前記リスクが規定値よりも高い状況が前記車両において発生しているとして、前方監視する前記センサの検出結果を提示する、請求項１又は２に記載の自動運転システム。

【請求項4】

ドライバの介入により前記車両が隣接車線へレーンチェンジした際において、当該レーンチェンジ前の前記車両の走行軌跡と前記隣接車線を走行する他車両との距離が閾値以下の場合、リスクが規定値よりも高い状況が前記車両において発生しているとして、後方監視する前記センサの検出結果と側方監視する前記センサの検出結果とを提示する、請求項１又は２に記載の自動運転システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一側面は、自動運転システムに関する。

【背景技術】

【0002】

機械学習モデルを用いた車両制御により車両の自動運転を行う自動運転システムが知られている。この種の技術として、例えば特許文献１には、自動運転モデルを生成するための機械学習に使用可能な教師データを収集する教師データ収集装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／１１６４２３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、機械学習により生成された機械学習モデルは、全ての場面で適切な車両制御を実現可能な能力を有しているとは限らない。機械学習モデルを用いて適切に車両制御を実行可能な範囲は、例えば天候、時間帯、通行量等の交通環境に応じて、変化し得る。そのため、機械学習モデルによる車両制御を適切に運用するためには、当該車両制御を効果的に監視することが望まれる。

【0005】

そこで、本発明の一側面は、機械学習モデルによる車両制御を効果的に監視することが可能な自動運転システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面に係る自動運転システムは、１又は複数のセンサによって車両の走行状況及び周辺状況の少なくとも何れかに関する情報を検出し、走行状況及び周辺状況の少なくとも何れかに関する情報に基づいて、機械学習モデルを用いた車両制御を実施し、センサの検出性能が規定レベルよりも低い場合、当該センサの検出結果を提示し、リスクが規定値よりも高い状況が車両において発生している場合、当該状況に対応するセンサの検出結果を提示する。

【0007】

本発明の一側面に係る自動運転システムは、センサの検出性能が規定レベルよりも低い場合は、センサが周辺物体又は区画線を未検出の場合、センサの安定性が過去の安定性と比べて低い場合、センサの安定性が設計値と比べて低い場合、センサの安定性が当該センサに対して視野が重複する他のセンサの安定性と比べて低い場合、及び、センサの安定性が同じ場所を走行した他車両の他のセンサの安定性と比べて低い場合の少なくとも何れかであってもよい。

【発明の効果】

【0008】

本発明の一側面によれば、機械学習モデルによる車両制御を効果的に監視することが可能な自動運転システムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係る自動運転システムの構成を示すブロック図である。

【図2】図２は、図１の自動運転システムによる処理の一例を示すフローチャートである。

【図3】図３は、図１の自動運転システムによる処理の他の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、実施形態について詳細に説明する。図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。

【0011】

図１に示されるように、実施形態に係る自動運転システム１は、機械学習モデルを用いた車両制御により車両Ｖの自動運転を行うシステムである。自動運転システム１は、車両Ｖに搭載されている。車両Ｖは、乗用車であってもよいし、貨物車であってもよい。車両Ｖは、１又は複数の乗員が搭乗可能である。車両Ｖは、自動運転［Autonomous Driving］が可能な自動運転車両である。車両Ｖは、ドライバによる手動運転が可能であってもよい。

【0012】

自動運転システム１は、センサ２、アクチュエータ３、通信部４、自動運転ＥＣＵ５[Electronic Control Unit]及びＨＭＩ［Human Machine Interface］を備える。センサ２は、車両Ｖの走行状況及び周辺状況の少なくとも何れかに関する情報を検出するセンサである。センサ２は、外部センサ及び内部センサを有する。外部センサは、車両Ｖの周辺環境を取得するセンサである。外部センサは、例えば、カメラ、ミリ波レーダ、ライダー［LIDAR：Light Detection and Ranging］等の少なくとも何れかを含む。内部センサは、車両Ｖの走行状態を検出する検出機器である。外部センサは、車両Ｖの前方監視するセンサ、車両Ｖの後方監視するセンサ、及び、車両Ｖの側方監視するセンサを含む。内部センサは、車速センサ、加速度センサ、及びヨーレートセンサ等の少なくとも何れかを含む。センサ２は、検出結果を自動運転ＥＣＵ５へ送信する。

【0013】

アクチュエータ３は、車両Ｖの速度を制御するための制御器である。アクチュエータ３は、例えば、エンジン又はモータの出力を制御するアクチュエータ、ブレーキアクチュエータを含んでいてもよい。通信部４は、車両Ｖの外部との無線通信を制御する通信デバイスである。通信部４は、例えば、通信ネットワークＮを介して自動運転システム用サーバ１００と各種情報の通信を行う。通信部４は、例えば、周辺の他車両と各種情報の通信を行う。通信部４としては特に限定されず、種々の公知の通信デバイスを用いることができる。

【0014】

自動運転ＥＣＵ５は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］等を有する電子制御ユニットである。自動運転ＥＣＵ５は、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。自動運転ＥＣＵ５は、複数の電子制御ユニットから構成されていてもよい。

【0015】

自動運転ＥＣＵ５は、センサ２の検出結果（車両Ｖの走行状況及び周辺状況の少なくとも何れかに関する情報）に基づき、機械学習モデルＭを用いた車両制御を実行する。例えば自動運転ＥＣＵ５は、センサ２の検出結果を機械学習モデルＭに入力し、それにより得られた制御信号をアクチュエータ３に出力することで、車両Ｖの駆動、制動、操舵を制御して自動運転を行う。

【0016】

機械学習モデルＭは、再帰型の深層学習モデルである。機械学習モデルＭは、再帰型ニューラルネットワーク[RNN:Recurrent neural network]である。ニューラルネットワークの少なくとも一部に、複数の畳込み層及びプーリング層を含む複数の層を含む畳込みニューラルネットワーク[CNN:Convolutional Neural Network]が用いられていてもよい。機械学習モデルＭでは、ディープラーニングによる深層学習が行われる。機械学習モデルＭは、所定の学習条件の車両Ｖのデータを用いて学習が行われた学習済みモデルである。例えば、機械学習モデルＭは、例えばセンサ２の各種の検出結果が入力された場合におけるアクチュエータ３への出力についての教師データを用いて学習してもよい。

【0017】

ＨＭＩ６は、車両Ｖの乗員（自然人）との間で各種情報の入出力を行うためのインターフェイスである。ＨＭＩ６は、例えば、ディスプレイ及びスピーカを備えている。ＨＭＩ６は、ＥＣＵ１０からの制御信号に応じて、ディスプレイの画像出力及びスピーカからの音声出力を行う。ＨＭＩ６は、ＨＵＤ（Head Up Display）を備えていてもよい。ＨＭＩ６は、各種情報を車両Ｖの乗員に提示する。

【0018】

自動運転システム用サーバ１００は、自動運転システム１に対して通信可能なサーバである。自動運転システム用サーバ１００は、通信部１０１及び表示部１０２を備える。通信部１０１は、例えば、通信ネットワークＮを介して車両Ｖと各種情報の通信を行う。通信部１０１としては特に限定されず、種々の公知の通信デバイスを用いることができる。表示部１０２は、各種情報をユーザ（自然人）に提示するインターフェイスである。表示部１０２は、画像出力により各種情報をユーザに提示する。表示部１０２としては特に限定されず、種々の公知の表示デバイスを用いることができる。

【0019】

本実施形態では、自動運転ＥＣＵ５は、センサ２の検出性能が規定レベルよりも低い場合、当該センサ２の検出結果をＨＭＩ６により提示する。自動運転ＥＣＵ５は、リスクが規定値よりも高い状況が車両Ｖにおいて発生している場合、当該状況に対応するセンサ２の検出結果をＨＭＩ６により提示する。当該センサ２の検出結果の提示は、ＨＭＩ６により実行することに代えてもしくは加えて、通信部４,１０１を介して表示部１０２により実行してもよい（以下、同じ）。リスクが規定値よりも高い状況に対応するセンサ２とは、例えば、当該状況及びそれに関するパラメータを直接又は間接的に検出するセンサである。

【0020】

センサ２の検出性能が規定レベルよりも低い場合は、センサ２が周辺物体又は区画線を未検出の場合、センサ２の安定性が過去の安定性と比べて低い場合、センサ２の安定性が設計値と比べて低い場合、センサ２の安定性が当該センサ２に対して視野が重複する他のセンサの安定性と比べて低い場合、及び、センサ２の安定性が同じ場所を走行した他車両の他のセンサの安定性と比べて低い場合の少なくとも何れかである。周辺物体は特に限定されず、例えば移動障害物及び固定障害物等を含む。センサ２の安定性は、一般的なセンサの安定性を意味し、例えば一定の状況において検出された検出値の変動しにくさである。

【0021】

自動運転ＥＣＵ５は、例えば車両Ｖの加減速及び操舵角速度の少なくとも何れかが閾値以上の場合、リスクが規定値よりも高い状況が車両Ｖにおいて発生しているとして、センサ２のうち前方監視するセンサの検出結果を提示する。当該閾値は、予め設定されて自動運転ＥＣＵ５に記憶されていてもよく、固定値であってもよいし可変値であってもよい。リスクは、例えば車両Ｖの運転に関するリスクである。規定値は、予め設定された値である。リスク及び規定値は、特に限定されず、公知の種々のリスク及び規定値であってもよい。

【0022】

自動運転ＥＣＵ５は、例えば車両Ｖのドライバの介入により車両Ｖが隣接車線へレーンチェンジした際において、当該レーンチェンジ前の車両Ｖの走行軌跡と隣接車線を走行する他車両との距離が閾値以下の場合、リスクが規定値よりも高い状況が車両Ｖにおいて発生しているとして、センサ２のうち後方監視するセンサの検出結果と側方監視するセンサの検出結果とを提示する。当該閾値は、予め設定されて自動運転ＥＣＵ５に記憶されていてもよく、固定値であってもよいし可変値であってもよい。

【0023】

自動運転ＥＣＵ５は、センサ２の検出結果を提示する場合、見本データと共にセンサ２の検出結果を提示してもよい。見本データは、予め定められて自動運転ＥＣＵ５に記憶されていてもよい。見本データは、センサ２の検出結果の見本となるデータであり、例えばセンサ２が正常時のデータ等である。これにより、センサ２の検出結果の異常又は正常を容易に把握できる。

【0024】

自動運転ＥＣＵ５は、リスクが規定値よりも高い状況が車両Ｖにおいて発生している場合、センサ２のうちの第１センサよりも当該状況への影響度が高い第２センサの検出結果を、ＨＭＩ６及び表示部１０２の少なくとも何れかにより優先的に提示してもよい。これにより、リスクが規定値よりも高い状況に一層影響するセンサ２の検出結果を、優先的に把握できる。

【0025】

次に、本実施形態の自動運転システム１によってセンサ２の検出結果を監視する監視処理の一例について、図２及び図３のフローチャートを参照して説明する。ここでの監視処理は、例えば車両Ｖの走行中に実行されていてもよく、処理がエンドに至った場合、所定時間後に再びスタートから処理が開始されてもよい。

【0026】

図２に示されるように、自動運転ＥＣＵ５により、センサ２の検出結果を取得する（ステップＳ１）。自動運転ＥＣＵ５により、センサ２の検出結果に基づいて、センサ２のうち検出性能が規定レベルよりも低いセンサ２があるかどうかを判定する（ステップＳ２）。例えば、上記ステップＳ２では、センサ２の検出結果において周辺物体又は区画線が未検出の場合、センサ２の現在の安定性が過去の安定性と比べて低い場合、センサ２の安定性が設計値と比べて低い場合、センサ２の安定性が当該センサ２に対して検出範囲が重複する他のセンサの安定性と比べて低い場合、及び、センサ２の安定性が同じ場所を走行した他車両の他のセンサの安定性と比べて低い場合の少なくとも何れかの場合、検出性能が規定レベルよりも低いセンサ２があると判定してもよい。

【0027】

上記ステップＳ２でＮＯの場合、今回の周期の処理を終了し、次周期の上記ステップＳ１へ移行する。一方、上記ステップＳ２でＹＥＳの場合、検出性能が規定レベルよりも低いセンサ２の検出結果を、ＨＭＩ６により見本データとともに提示する（ステップＳ３）。

【0028】

また、図３に示されるように、自動運転ＥＣＵ５により、センサ２の検出結果を取得する（ステップＳ１１）。自動運転ＥＣＵ５により、センサ２の検出結果に基づいて、リスクが規定値よりも高い状況が発生しているか否かを判定する（ステップＳ１２）。例えば、上記ステップＳ１２では、車両Ｖの加減速及び操舵角速度の少なくとも何れかが閾値以上の場合、ドライバ介入で車両Ｖが閾値以上の減速を行った場合、ドライバ介入でのレーンチェンジを行った場合、又は、車両Ｖの走行経路の計画結果が時間的に不連続の場合、リスクが規定値よりも高い状況が発生していると判定してもよい。

【0029】

上記ステップＳ１２でＮＯの場合、今回の周期の処理を終了し、次周期の上記ステップＳ１１へ移行する。一方、上記ステップＳ１２でＹＥＳの場合、リスクが規定値よりも高い状況に対応するセンサ２の検出結果を、ＨＭＩ６により見本データとともに提示する（ステップＳ１３）。上記ステップＳ１３では、車両Ｖの加減速及び操舵角速度の少なくとも何れかが閾値以上の場合には、前方センサの検出結果を提示してもよい。上記ステップＳ１３では、ドライバ介入で車両Ｖが閾値以上の減速を行った場合には、前方センサの検出結果を提示してもよい。上記ステップＳ１３では、ドライバ介入でのレーンチェンジを行った場合には、後方センサ及び側方センサの検出結果を提示してもよい。検出結果の提示は、路面の画像の提示、及び、認識した白線に対する車両Ｖ位置の提示を含んでいてもよい。

【0030】

なお、上記ステップＳ１,Ｓ１１は、何れか一方のみを実行してもよい。上記ステップＳ１を実行しない場合、上記Ｓ２の判定では、上記ステップＳ１１で取得したセンサ２の検出結果を用いてもよい。上記ステップＳ１１を実行しない場合、上記Ｓ１２の判定では、上記ステップＳ１で取得したセンサ２の検出結果を用いてもよい。

【0031】

以上、自動運転システム１では、機械学習モデルＭによる車両制御により車両Ｖの自動運転を行う場合において、検出性能が低いセンサ２の検出結果を把握することで、例えば車両Ｖの周辺状況に対する自動運転の対応が遅れている場合に、当該対応の遅れがセンサ２に起因するか否かを容易に把握できる。加えて、リスクが規定値よりも高い状況が発生している場合に、当該状況に影響するセンサ２の検出結果を把握することで、当該状況がセンサ２に起因するか否かを容易に把握できる。すなわち、自動運転システム１によれば、機械学習モデルＭによる車両制御を効果的に監視することが可能となる。

【0032】

自動運転システム１において、センサ２の検出性能が規定レベルよりも低い場合は、センサ２が周辺物体又は区画線を未検出の場合、センサ２の安定性が過去の安定性と比べて低い場合、センサ２の安定性が設計値と比べて低い場合、センサ２の安定性が当該センサ２に対して視野が重複する他のセンサの安定性と比べて低い場合、及び、センサ２の安定性が同じ場所を走行した他車両の他のセンサの安定性と比べて低い場合の少なくとも何れかである。この場合、センサの検出性能が規定レベルよりも低い場合を、具体的に判断できる。

【0033】

自動運転システム１では、車両Ｖの加減速及び操舵角速度の少なくとも何れかが閾値以上の場合、リスクが規定値よりも高い状況が車両Ｖにおいて発生しているとして、前方監視するセンサ２の検出結果を提示する。これにより、車両Ｖの加減速及び操舵角速度の少なくとも何れかが閾値以上の場合の状況に影響するセンサ２の検出結果を、容易に把握できる。

【0034】

自動運転システム１では、ドライバの介入により車両Ｖが隣接車線へレーンチェンジした際において、当該レーンチェンジ前の車両の走行軌跡と隣接車線を走行する他車両との距離が閾値以下の場合、リスクが規定値よりも高い状況が車両Ｖにおいて発生しているとして、後方監視するセンサ２の検出結果と側方監視するセンサ２の検出結果とを提示してもよい。これにより、レーンチェンジ時の他車両との接触の可能性が高い状況に影響するセンサ２の検出結果を、容易に把握できる。

【0035】

以上、実施形態について説明したが、本発明の一態様は上記実施形態に限定されるものではない。本発明の一態様は、上記実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

【0036】

上記実施形態において、センサ２の種類は限定されず、種々の検出機器を含んでいてもよい。また、センサ２が搭載される数も限定されず、１つであってもよいし、複数であってもよい。上記実施形態において、センサ２の検出性能が規定レベルよりも低い場合は特に限定されず、上述した場合以外の場合であってもよい。上記実施形態において、リスクが規定値よりも高い状況は特に限定されず、上述した状況以外の状況であってもよい。

【0037】

上記実施形態において、カメラとライダーとが別々に検出結果を出力する場合、カメラ及びライダーそれぞれの検出結果に基づいてカメラ及びライダーそれぞれの検出性能を判断してもよい。一方、カメラとライダーとが統合して一つの検出結果を出力する場合、一つの検出結果に基づいてカメラ及びライダーの検出性能が低いか否かを判断してもよい。上記実施形態において、複数のセンサ２を統合した一つの検出結果の信頼度が低い場合には、当該複数のセンサ２の検出性能が低いとして、当該複数のセンサ２の検出結果を提示してもよい。

【符号の説明】

【0038】

１…自動運転システム、２…センサ、Ｍ……機械学習モデル、Ｖ…車両。

【図1】

【図2】

【図3】