特開 2024-176892 制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176892

(43)【公開日】2024-12-19

(54)【発明の名称】制御装置

(51)【国際特許分類】

   B60W 40/00 20060101AFI20241212BHJP

   B60W 60/00 20200101ALI20241212BHJP

【ＦＩ】

B60W40/00

B60W60/00

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023095751

(22)【出願日】2023-06-09

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】高橋 祐希

(72)【発明者】

【氏名】森 健樹

【テーマコード（参考）】

3D241

【Ｆターム（参考）】

3D241BA50

3D241CE06

(57)【要約】

【課題】環境依存によるカメラの配置の変動に起因する悪影響を抑えるための制御技術を提供する。
【解決手段】本開示の一側面に係る制御装置は、実カメラにより撮像された第１画像を取得し、統一的な仮想カメラで撮像された画像となるように、取得された第１画像を射影変換することにより第２画像を生成し、制御モデルを使用して、生成された第２画像から車両の制御指令を導出し、かつ導出された制御指令に従って、車両の走行を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

制御モデルを記憶する記憶部、及び
制御部、
を備える制御装置であって、
前記制御部は、
車両に搭載された実カメラにより撮像された第１画像を取得すること、
統一的な仮想カメラで撮像された画像となるように、取得された前記第１画像を射影変換することにより第２画像を生成すること、
生成された前記第２画像を前記制御モデルに与えて、車両の制御指令を導出すること、及び
導出された前記制御指令に従って、車両の走行を制御すること、
を実行するように構成される、
制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自動運転車両の制御技術に関する。

【背景技術】

【0002】

特許文献１には、訓練済みのニューラルネットワークを使用して、ルート、ＧＰＳデータ及びセンサデータから車両のコマンドを決定するように構成された自律的車両制御のためのシステムが提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１９－５３３８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の目的の一つは、環境依存によるカメラの配置の変動に起因する悪影響を抑えるための制御技術を提供することである。

【課題を解決するための手段】

【0005】

本開示の第１態様に係る制御装置は、制御モデルを記憶する記憶部及び制御部を備える。制御部は、車両に搭載された実カメラにより撮像された第１画像を取得すること、統一的な仮想カメラで撮像された画像となるように、取得された前記第１画像を射影変換することにより第２画像を生成すること、生成された前記第２画像を前記制御モデルに与えて、車両の制御指令を導出すること、及び導出された前記制御指令に従って、車両の走行を制御すること、を実行するように構成される。制御モデルは、訓練済みの機械学習モデルにより構成されてよい。機械学習モデルは、ニューラルネットワークで構成されてよい。

【発明の効果】

【0006】

本開示によれば、環境依存によるカメラの配置の変動に起因する悪影響を抑えることができる。

【図面の簡単な説明】

【0007】

【図1】図１は、本開示が適用される場面の一例を模式的に示す。

【図2】図２は、制御装置のハードウェア構成の一例を模式的に示す。

【図3】図３は、制御装置による車両制御に関する処理手順の一例を示す。

【発明を実施するための形態】

【0008】

［１ 適用例］
図１は、本開示を適用した場面の一例を模式的に示す。本実施形態では、制御装置１は車両Ｍに搭載され、車両ＭはカメラＣを備える。カメラＣは、制御装置１に接続される。カメラＣは、実カメラの一例である。本実施形態に係る制御装置１は、車両Ｍに搭載されたカメラＣ（実カメラ）により撮像された第１画像３１を取得する。制御装置１は、統一的な仮想カメラで撮像された画像となるように、取得された第１画像３１を射影変換することで、第２画像３５を生成する。第１画像３１は、オリジナル画像であり、第２画像３５は、射影変換後の画像である。制御装置１は、生成された第２画像３５を制御モデル５に与えて、車両Ｍの制御指令を導出する。そして、制御装置１は、導出された制御指令に従って、車両Ｍの走行を制御する。

【0009】

なお、上記態様に係る制御装置１の別の形態として、本開示の一側面は、以上の各構成要素の全部又はその一部を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等の機械が読み取り可能な記憶媒体であってもよい。車両Ｍの種類は任意に選択されてよい。典型例として、車両Ｍは、レベル２以上の自動運転の能力を有した自動車であってよい。なお、制御装置１は、車両Ｍの走行を直接的に制御してもよいし、又は他のコンピュータを介して間接的に制御してもよい。また、制御装置１は、車両Ｍの内部に搭載されてもよいし（図１）、或いは車両Ｍの外部に配置されてもよい。

【0010】

（制御モデル）
カメラ（カメラＣ）の画像を含む車両（車両Ｍ）の環境から制御指令を導出可能であれば、制御モデル５の入出力形態は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。一例では、制御モデル５は、１以上の時点のセンサ（カメラＣを含む）の観測データから制御指令を導出するように構成されてよい。他の一例では、制御モデル５は、周辺環境の認識結果から制御指令を導出するように構成されてよい。この場合、制御装置１は、カメラＣを含むセンサの観測データから周辺環境の認識結果を推論する訓練済み解析モデルを更に備えてよい。或いは、制御モデル５は、訓練済み解析モデルを含んでよい。制御モデル５は、例えば、設定速度、制限速度、位置、地図情報、ナビ情報等のセンサデータ以外の任意の他の情報の入力を更に受け付けるように構成されてよい。制御モデル５は、例えば、車線変更、車線維持、緊急停車等のシーン毎に用意されてもよい。

【0011】

一例では、制御モデル５は、訓練済み機械学習モデル及びルールベースモデルの少なくともいずれかにより構成されてよい。ルールベースモデルは、与えられた入力（例えば、観測データ、周辺環境の認識結果等の環境を示す情報）をルールに照合し、照合の結果に応じて（適合するルールに従って）、制御指令を導出するように構成される。ルールは、手動又は少なくとも一部自動で設定されてよい。

【0012】

機械学習モデルは、機械学習により調整可能な１つ以上の演算パラメータを有するように構成される。１つ以上の演算パラメータは、目的とする推論（本件では、制御指令の導出）の演算に使用される。機械学習は、学習データを使用して、演算パラメータの値を調整（最適化）することである（例えば、誤差逆伝播法等）。機械学習モデルの構成及び種類はそれぞれ、実施の形態に応じて適宜選択されてよい。機械学習モデルは、例えば、ニューラルネットワーク等により構成されてよい。ニューラルネットワークを制御モデル５に使用する場合、制御モデル５（ニューラルネットワーク）に含まれる各ノード間の結合の重み及び各ノードの閾値が、演算パラメータの一例である。ニューラルネットワークの構造は任意に決定されてよい。

【0013】

制御モデル５が機械学習モデルを含む場合、制御モデル５の機械学習には、上記推論（制御指令の導出）時と同様に、統一的な仮想カメラの視点に射影変換後の画像が訓練データ（入力データ）として使用されることが好ましい。これにより、学習時及び推論時で説明変数に使用される画像の視点を統一（共通化）することができるため、制御指令を導出する推論の精度の向上を期待することができる。なお、機械学習モデルを採用する場合、制御モデル５は、end-to-endモデルの構造で構成されてよい。

【0014】

（カメラ／センサ）
実カメラ（カメラＣ）の種類は、特に限られなくてよく、任意に選択されてよい。典型的には、実カメラは、二次元のＲＧＢ画像を撮像するように構成された画像センサであってよい。また、車両Ｍは、カメラＣ以外の他のセンサを備えてよく、他のセンサは、制御装置１に接続されてよい。制御装置１は、カメラＣから得られる画像と共に、他のセンサから得られるセンサデータを制御モデル５に与えることで、制御指令を導出してよい。す
なわち、制御指令の導出には、カメラＣの画像の他に、他のセンサから得られるセンサデータが更に使用されてよい。他のセンサは、例えば、レーダ、LiDAR（Light Detection And Ranging）、ソナー（超音波センサ）、赤外線センサ、ＧＮＳＳ（Global Navigation Satellite System）／ＧＰＳ（Global Positioning Satellite）モジュール等を含んでよい。また、制御指令の導出には、上記設定速度等の任意の情報が更に使用されてもよい。

【0015】

（制御指令）
制御指令は、車両の動作に関する。制御指令の構成は、実施の形態に応じて適宜選択されてよい。一例では、制御指令は、加速、減速、操舵又はこれらの組み合わせにより構成されてよい。加速及び減速は、ギアチェンジを含んでよい。加速、減速及び操舵の少なくともいずれかを含む場合、制御指令は、パスにより表現されてよい。これに応じて、制御モデル５は、パスプランナと表現されてよい。また、制御指令は、ウィンカー、ハザード、クラクション、通信処理（例えば、センタにデータを送信する、緊急コールを発信する等）等の車両操作を更に含んでよい。

【0016】

（統一的な仮想カメラ）
一般的に、カメラの画像と実世界の物体との関係を表現するために、ワールド座標系、カメラ座標系及び画像（スクリーン）座標系が用いられる。カメラの透視投影変換には、カメラの内部及び外部パラメータが使用される。ワールド座標系及びカメラ座標系の間の変換には外部パラメータが使用され、カメラ座標系及び画像座標系の間の変換には内部パラメータが使用される。一例では、内部パラメータは、焦点距離及び光学中心であってよい。また、外部パラメータは、ワールド座標系におけるカメラの位置（並進）及び姿勢（回転）であってよい。位置は、ｘ、ｙ、及びｚ座標で表現されてよい。姿勢は、ロール、ピッチ、及びヨーで表現されてよい。なお、ワールド座標系には、ISO8855で規定された
自動車固定座標系（intermediate axis system）が用いられてよい。

【0017】

仮想カメラの内部及び外部パラメータは、各車両間で統一的に予め規定される。すなわち、仮想カメラの内部及び外部パラメータは、対象となる全ての車両間で共通に設定される（所与の値が共通で使用される）。実カメラ（カメラＣ）の内部パラメータは、実カメラの属性情報（仕様）で決定される（すなわち、仕様により定まる所与の値である）。一方で、実カメラの外部パラメータは、車両（車両Ｍ）に対する実カメラの配置で決定され、実カメラの外部パラメータの各値は、車両間で相違し得る。

【0018】

本実施形態では、実カメラの外部パラメータの各値は、任意の方法で測定（キャリブレーション）されてよい。一例として、チェッカーボード、白線、オプティカルフロー等により、実カメラにより撮像される画像から対象車両に対する実カメラの外部パラメータ（位置及び姿勢）の各値が測定されてよい（参考文献：特開２０１１－１８５７５３号公報）。これにより、実カメラの内部及び外部パラメータの両方が取得される。

【0019】

取得された実カメラの内部及び外部パラメータ並びに仮想カメラの内部及び外部パラメータの各値を使用して、実カメラの画像（第１画像３１）から仮想カメラの画像（第２画像３５）への射影変換式が車両毎に特定される。一例では、平面を想定して、実カメラの内部及び外部パラメータを使用して、画像上の点をワールド座標系に投影し、投影された点を算出してよい。次に、仮想カメラの内部及び外部パラメータを使用して、仮想カメラの画像座標系に算出された点を投影し、投影点を得てよい。任意数（例えば、４つ）の点の組み合わせを取得し、得られた組み合わせから射影変換（投影変換）式を計算してよい。この計算には、例えば、OpenCVのcv2.getperspectivetransform関数等の公知の演算方
法が用いられてよい。車両毎に当該演算を実行することで、射影変換式を車両毎に得ることができる。射影変換式は、行列で表現されてよい。なお、経年劣化、積載量等の時間的要因で、同一の車両でも、実カメラ（カメラＣ）の位置及び姿勢の少なくとも一方は動的
に変動し得る。そのため、実カメラの外部パラメータの各値は、定期的（例えば、数分毎等）に測定されることが好ましい。

【0020】

［２ 構成例］
図２は、本実施形態に係る制御装置１のハードウェア構成の一例を模式的に示す。図２に示されるとおり、本実施形態に係る制御装置１は、制御部１１、記憶部１２、外部インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、任意の情報処理を実行す
るように構成される。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等により構成されてよい。本実施形態では、記憶部１２は、制御プログラム８１、モデルデータ１２５等の各種情報を記憶する。制御プログラム８１は、車両Ｍの自動走行に関する情報処理を制御装置１に実行させるためのプログラムである。制御プログラム８１は、当該情報処理の一連の命令を含む。モデルデータ１２５は、制御モデル５に関する情報を示すように構成される。

【0021】

外部インタフェース１３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であってよく、制御装置１は、外部インタフェース１３を介して、カメラＣに接続されてよい。入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。入力装置１４及び出力装置１５は、例えば、タッチパネルディスプレイ等により一体的に構成されてもよい。

【0022】

ドライブ１６は、記憶媒体９１に記憶されたプログラム等の各種情報を読み込むための装置である。上記制御プログラム８１及びモデルデータ１２５の少なくともいずれかは、記憶部１２に代えて又は記憶部１２と共に、記憶媒体９１に格納されていてもよい。記憶媒体９１は、コンピュータ等の機械が各種情報（記憶されたプログラム等）を読み取り可能なように、電気的、磁気的、光学的、機械的又は化学的作用により当該情報を蓄積するように構成される。なお、記憶媒体９１の種類は任意に選択されてよい（ディスク型又はディスク型以外であってよい）。ドライブ１６の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。

【0023】

なお、制御装置１の具体的なハードウェア構成に関して、実施の形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）、ＥＣＵ
（Electronic Control Unit）、ＧＰＵ（Graphics Processing Unit）等により構成され
てよい。制御装置１は、提供されるサービス専用に設計されたコンピュータの他、汎用のコンピュータ、端末装置等であってよい。

【0024】

［３ 動作例］
図３は、本実施形態に係る制御装置１による車両制御に関する処理手順の一例を示す。以下の処理手順は、コンピュータにより実行される制御方法の一例である。

【0025】

ステップＳ１０１では、制御部１１は、カメラＣから第１画像３１を取得する。ステップＳ１０２では、制御部１１は、統一的な仮想カメラで撮像された画像となるように第１画像３１を射影変換することで、第２画像３５を生成する。

【0026】

一例では、射影変換式は、予め獲得されてよい。例えば、車両ＭにカメラＣを搭載した段階で、カメラＣの外部パラメータの各値が測定されてよく、射影変換式は、当該測定結
果を使用して算出されてよい。他の一例では、射影変換式は、定期又は不定期に動的に算出されてよい。この場合、制御部１１は、ステップＳ１０３を実行する前の任意のタイミングで、カメラＣの外部パラメータの各値を計測し、上記方法により、当該計測結果を使用して射影変換式を算出してよい。

【0027】

制御部１１は、得られた射影変換式に第１画像３１を代入し、演算処理を実行することで、第２画像３５を生成することができる。第２画像３５を生成すると、制御部１１は、次のステップＳ１０３に処理を進める。

【0028】

ステップＳ１０３では、制御部１１は、モデルデータ１２５を参照し、制御モデル５を使用して、第２画像３５から制御指令を導出する。すなわち、制御部１１は、第２画像３５を制御モデル５に与えて、車両Ｍの制御指令を導出する。ステップＳ１０４では、制御部１１は、導出された制御指令に従い、車両Ｍの走行を制御する。なお、制御部１１は、ドライバの操作を受け付け、ステップＳ１０３で導出された制御指令に代えて又はオーバライドして、与えられた操作に従い、対象の車両Ｍの動作を制御してよい。

【0029】

対象の車両Ｍの制御が完了すると、制御部１１は、本動作例に係る制御装置１の処理手順を終了する。なお、制御部１１は、ステップＳ１０１～ステップＳ１０４の一連の情報処理を繰り返し実行してよい。一例では、制御部１１は、所定期間（例えば、車両Ｍの動力源が起動し停止するまで）、ステップＳ１０１～ステップＳ１０４の一連の情報処理を繰り返し実行してよい。これにより、制御装置１は、車両Ｍを継続的に制御してよい。

【0030】

［特徴］
従来、ルールベースによる自動運転システムが知られている。また、特許文献１等の方法によれば、訓練済み機械学習モデルを使用することで、自動運転システムを構築することができる。しかしながら、本件発明者らは、これらの従来の方法には、次のような問題点があることを見出した。すなわち、ルールベースモデル及び機械学習モデルのいずれの形態でも、車両の制御指令（パス）を決定するために、カメラにより得られる画像が使用される。しかしながら、カメラの取付位置は、車種の相違、取付の誤差等の環境要因により、車両間で異なる可能性がある。つまり、環境依存でカメラの配置が異なり得る。これにより、カメラにより得られる画像が想定される画像と相違し得る。一例では、モデル生成の環境（例えば、実験環境）と画角の異なる画像が得られ得る。そのような画像を推論に使用することで、推論（制御指令の決定）の精度に悪影響を及ぼす可能性がある。

【0031】

これに対して、本実施形態では、上記ステップＳ１０２の処理により、カメラＣにより得られる第１画像３１は、統一的な仮想カメラで撮像された画像となるように射影変換される。この射影変換により、環境依存による変動が抑制された画像（第２画像３５）を得ることができる。したがって、ステップＳ１０３の制御モデル５における推論に第２画像３５（射影変換後の画像）を使用することで、環境依存によるカメラＣの配置の変動に起因する悪影響を抑えることができる。これにより、制御指令を導出する精度の向上、及びステップＳ１０４における自動走行の継続確率の向上を期待することができる。

【0032】

［４ 変形例］
以上、本開示の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。

【符号の説明】

【0033】

１…制御装置、１１…制御部、８１…制御プログラム、
３１…第１画像、３５…第２画像、５…制御モデル、
Ｍ…車両、Ｃ…カメラ、

【図1】

【図2】

【図3】