特開 2022-139374 車両制御装置及び車両制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022139374

(43)【公開日】2022-09-26

(54)【発明の名称】車両制御装置及び車両制御方法

(51)【国際特許分類】

   B60W 30/08 20120101AFI20220915BHJP

   B60W 40/02 20060101ALI20220915BHJP

   G08G 1/16 20060101ALI20220915BHJP

【ＦＩ】

B60W30/08

B60W40/02

G08G1/16 C

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021039726

(22)【出願日】2021-03-11

(71)【出願人】

【識別番号】000005821

【氏名又は名称】パナソニックホールディングス株式会社

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】伊藤 崚

(72)【発明者】

【氏名】木内 真也

(72)【発明者】

【氏名】尾脇 義明

(72)【発明者】

【氏名】築澤 宗太郎

(72)【発明者】

【氏名】角谷 和重

(72)【発明者】

【氏名】岩田 洋一

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA31

3D241CE01

3D241CE02

3D241CE04

3D241CE05

3D241DC31Z

5H181AA01

5H181BB13

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF27

5H181FF33

5H181LL01

5H181LL07

5H181LL08

5H181LL09

(57)【要約】

【課題】単眼カメラを用いた人物検知に基づいて適切な車両制御を実現すること。
【解決手段】本開示に係る車両制御装置は、歩行者検知部と、距離推定部と、車両制御部とを備える。前記歩行者検知部は、車両に搭載された単眼カメラで得られた撮影画像に基づいて検知された歩行者を表す前記撮影画像の画像上の第１の領域と、前記第１の領域に前記歩行者が含まれることの確からしさを示す第１の信頼度と、前記第１の領域に前記歩行者の足元部分が含まれることの確からしさを示す第２の信頼度とを算出する。前記距離推定部は、前記撮影画像における前記第１の領域の下端位置に基づいて前記車両から前記歩行者までの推定距離を算出する。前記車両制御部は、前記第１の信頼度、前記第２の信頼度及び前記推定距離に基づいて前記車両の制御を開始する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両に搭載された単眼カメラで得られた撮影画像に基づいて検知された歩行者を表す前記撮影画像の画像上の第１の領域と、前記第１の領域に前記歩行者が含まれることの確からしさを示す第１の信頼度と、前記第１の領域に前記歩行者の足元部分が含まれることの確からしさを示す第２の信頼度とを算出する歩行者検知部と、
前記撮影画像における前記第１の領域の下端位置に基づいて前記車両から前記歩行者までの推定距離を算出する距離推定部と、
前記第１の信頼度、前記第２の信頼度及び前記推定距離に基づいて前記車両の制御を開始する車両制御部と
を具備する車両制御装置。

【請求項2】

前記歩行者検知部は、前記撮影画像の入力に応じて前記第１の領域、前記第１の信頼度及び前記第２の信頼度を出力するようにパラメータが決定されたニューラルネットワークを用いて、前記第１の領域、前記第１の信頼度及び前記第２の信頼度を算出する、請求項１に記載の車両制御装置。

【請求項3】

前記歩行者検知部は、
前記撮影画像の入力に応じて前記第１の領域及び前記第１の信頼度を出力するようにパラメータが決定されたニューラルネットワークを用いて、前記第１の領域及び前記第１の信頼度を算出し、
前記ニューラルネットワークによる前記第１の信頼度の算出に寄与した前記撮影画像の画像上の第２の領域を特定し、前記第１の領域及び前記第２の領域の位置関係に基づいて前記第２の信頼度を算出する、
請求項１に記載の車両制御装置。

【請求項4】

前記歩行者検知部は、前記第１の領域の下端位置より上側に前記第２の領域が特定されたとき、前記第２の信頼度を大きく算出する、請求項３に記載の車両制御装置。

【請求項5】

前記車両制御部は、前記第１の信頼度、前記第２の信頼度及び前記推定距離の重み付き加算値を算出し、前記重み付き加算値が予め定められた閾値より大きいとき、前記車両を停止させる制御を開始し、
前記第２の信頼度の重み係数は、他の重み係数より大きい、
請求項１から請求項４のうちのいずれか一項に記載の車両制御装置。

【請求項6】

前記車両制御部は、前記第２の信頼度が予め定められた閾値より小さいとき、前記推定距離より手前の位置を目標停止位置とする前記車両を停止させる制御を開始する、請求項１から請求項５のうちのいずれか一項に記載の車両制御装置。

【請求項7】

前記車両制御部は、前記第１の信頼度が予め定められた閾値より大きく、かつ、前記第２の信頼度が予め定められた閾値より小さいとき、前記車両を減速させる制御を開始する、請求項１から請求項６のうちのいずれか一項に記載の車両制御装置。

【請求項8】

前記車両制御部は、前記第２の信頼度が予め定められた閾値より小さいとき、かつ、前記第１の領域が歩道上であるとき、前記車両の走行位置を、走行中のレーン内の前記歩道とは反対側寄り又は前記歩道とは反対側の他のレーンに進路変更させる制御を開始する、請求項１から請求項７のうちのいずれか一項に記載の車両制御装置。

【請求項9】

車両に搭載された単眼カメラで得られた撮影画像に基づいて検知された歩行者を表す前記撮影画像の画像上の第１の領域と、前記第１の領域に前記歩行者が含まれることの確からしさを示す第１の信頼度と、前記第１の領域に前記歩行者の足元部分が含まれることの確からしさを示す第２の信頼度とを算出することと、
前記撮影画像における前記第１の領域の下端位置に基づいて前記車両から前記歩行者までの推定距離を算出することと、
前記第１の信頼度、前記第２の信頼度及び前記推定距離に基づいて前記車両の制御を開始することと
を含む車両制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両制御装置及び車両制御方法に関する。

【背景技術】

【0002】

従来、車載カメラで得られた画像データに基づいて、画像内の歩行者を検知する技術が提案されている。例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のニューラルネットワークを用いた検知エンジンでの人物検知においては、画像内の検知された対象に関して、人物としての確からしさを示す信頼度を算出する技術がある。

【0003】

また、対象の信頼度と、自車両から対象までの距離に基づいて、ブレーキ等の車両制御を行う技術が提案されている。このような中、例えば金銭的なコストを低減する観点から、車載カメラとしての単眼カメラの利用には需要がある。例えば画像における検知枠の下端に対象の足元部分が含まれている場合、当該検知枠の下端が地面に接地していると仮定することにより、対象の人物と車両との間の距離を、車両に搭載された単眼カメラを用いて適切に推定することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－０３２５４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、信頼度の大きさが同じであっても、検知枠の下端に対象の足元部分が含まれていない場合がある。この場合、距離推定に単眼カメラを用いると、検知枠の下端が地面に接地しているとの仮定に起因して、自車両から対象までの距離推定の精度が低下する場合があった。距離推定の精度が低下すると、ブレーキ等の車両制御の精度が低下する場合があった。

【0006】

本開示は、単眼カメラを用いた人物検知に基づいて適切な車両制御を実現することができる車両制御装置及び車両制御方法を提供する。

【課題を解決するための手段】

【0007】

本開示に係る車両制御装置は、歩行者検知部と、距離推定部と、車両制御部とを備える。前記歩行者検知部は、車両に搭載された単眼カメラで得られた撮影画像に基づいて検知された歩行者を表す前記撮影画像の画像上の第１の領域と、前記第１の領域に前記歩行者が含まれることの確からしさを示す第１の信頼度と、前記第１の領域に前記歩行者の足元部分が含まれることの確からしさを示す第２の信頼度とを算出する。前記距離推定部は、前記撮影画像における前記第１の領域の下端位置に基づいて前記車両から前記歩行者までの推定距離を算出する。前記車両制御部は、前記第１の信頼度、前記第２の信頼度及び前記推定距離に基づいて前記車両の制御を開始する。

【発明の効果】

【0008】

本開示に係る車両制御装置及び車両制御方法によれば、単眼カメラを用いた人物検知に基づいて適切な車両制御を実現することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る車両制御システムのハードウェア構成の一例を示すブロック図である。

【図2】図２は、実施形態に係る車両制御装置の機能構成の一例を示すブロック図である。

【図3】図３は、実施形態に係る歩行者検知のためのニューラルネットワークの構成の一例を示す図である。

【図4】図４は、実施形態に係る歩行者検知により算出される検知枠及び全体の信頼度について説明するための図である。

【図5】図５は、実施形態に係る歩行者検知により算出される検知枠及び全体の信頼度について説明するための図である。

【図6】図６は、実施形態に係る歩行者検知により算出される検知枠及び全体の信頼度について説明するための図である。

【図7】図７は、実施形態に係る歩行者検知により算出される足元の信頼度について説明するための図である。

【図8】図８は、実施形態に係る歩行者検知により算出される足元の信頼度について説明するための図である。

【図9】図９は、実施形態に係る車両制御としてのブレーキ判断について説明するための図である。

【図10】図１０は、実施形態に係る車両制御としてのブレーキ判断について説明するための図である。

【図11】図１１は、実施形態に係る車両制御装置において実行される、車両制御処理の一例を示すフローチャートである。

【図12】図１２は、実施形態に係る足元の信頼度の算出の別の一例について説明するための図である。

【図13】図１３は、実施形態に係る足元の信頼度の算出の別の一例について説明するための図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、本開示に係る車両制御装置及び車両制御方法の各実施形態について説明する。

【0011】

従来、車載カメラで得られた画像データに基づいて、画像内の歩行者を検知する技術が提案されている。例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のニューラルネットワークを用いた検知エンジンでの人物検知においては、画像内の検知された対象に関して、人物としての確からしさを示す信頼度を算出する技術がある。

【0012】

また、対象の信頼度と、自車両から対象までの距離に基づいて、ブレーキ等の車両制御を行う技術が提案されている。例えば、自車両から対象までの距離を測定するステレオカメラやソナー等のセンサが搭載された車両がある。このような中、例えば金銭的なコストを低減する観点から、車載カメラとしての単眼カメラの利用には需要がある。例えば画像における検知枠の下端に対象の足元部分が含まれている場合、当該検知枠の下端が地面に接地していると仮定することにより、対象の人物と車両との間の距離を、車両に搭載された単眼カメラを用いて推定することができる。

【0013】

しかしながら、距離推定に単眼カメラを用いる場合、１枚の画像からでは完全な３次元情報を構成することができない。また、信頼度の大きさが同じであっても、検知枠の下端に対象の足元部分が含まれていない場合がある。したがって、距離推定に単眼カメラを用いると、検知枠の下端が地面に接地しているとの仮定に起因して、自車両から対象までの距離推定の精度が低下する場合があった。距離推定の精度が低下すると、ブレーキ等の車両制御の精度が低下する場合があった。例えば、推定距離を実際より大きく推定した場合では、ブレーキ判断が遅れるおそれがあった。推定距離を実際より小さく推定した場合では、ブレーキ判断の遅れは回避できる一方、誤ブレーキが発生して乗り心地が低下したり、後続車への影響が発生したりするおそれがあった。

【0014】

そこで、本開示の各実施形態は、単眼カメラを用いた人物検知に基づいて適切な車両制御を実現することができる車両制御装置及び車両制御方法を例示する。

【0015】

（第１の実施形態）
図１は、実施形態に係る車両制御システム１のハードウェア構成の一例を示すブロック図である。

【0016】

車両制御システム１は、車両３及び車両制御装置５を有する。本実施形態では、図１に示すように、車両３が車両制御装置５を搭載する場合を例示する。

【0017】

車両３は、モーターやエンジン等のアクチュエータと、アクチュエータにより駆動される駆動機構とを有する。車両３は、アクチュエータが発生する動力を受けて駆動機構が駆動されることにより自走可能に構成される。

【0018】

なお、車両３は、例えば自転車や自動二輪車、自動車、電車等の各種の車両であってもよい。また、車両３は、操作者の操作に従い走行する車両であってもよいし、自律的に走行する車両であっても構わない。なお、操作者の操作とは、車両の走行を操作者が自発的に制御するための操作に限らず、車両制御装置５による制御の可否を指示するための操作を含む。また、本実施形態に係る技術は、車両３に代えて、例えばロボットや船舶、航空機等の車両の他の移動体に適用されても構わない。

【0019】

車両制御装置５は、車両３の走行を制御する車両制御を実行する装置である。なお、車両制御とは、発進、停止、加速、制動、加減速度の変更、走行速度の変更、進行方向の変更、進路変更、右左折等の車両３の走行に係る各種の制御である。なお、発進の制御とは、車両３の発進を禁止することを含む。

【0020】

なお、本開示に係る車両制御とは、車両３のアクチュエータ等の制御により車両３の走行を直接的に制御することに限らず、車両３の走行を制御するための信号を車両側へ出力することを含む。ここで、車両３の走行を制御するための信号とは、車両３のアクチュエータ等の制御量を示す信号に限らず、走行の制御を車両３に指示するための信号や走行の制御の可否を操作者に問うための信号、走行の制御を操作者に促すための信号等であっても構わない。

【0021】

車両制御装置５は、図１に示すように、プロセッサ１１、メモリ１３、通信インターフェース１５、カメラ１７、ディスプレイ１９１及びスピーカ１９３を有する。プロセッサ１１、メモリ１３、通信インターフェース１５、カメラ１７、ディスプレイ１９１及びスピーカ１９３は、通信可能に接続される。ここで、車両制御装置５が車両３に搭載される場合、プロセッサ１１及びメモリ１３は、例えばＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）の一例である。

【0022】

プロセッサ１１は、車両制御装置５の全体の動作を制御する。プロセッサ１１としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の各種のプロセッサが適宜利用可能である。

【0023】

メモリ１３は、車両制御装置５で使用される各種のデータやプログラムを記憶する。メモリ１３としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、Ｆｌａｓｈメモリ等の各種の記憶媒体や記憶装置が適宜利用可能である。また、メモリ１３には、一時的に作業中のデータを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）がさらに設けられる。なお、メモリ１３としては、専用線やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等の電気通信回線を介して車両制御装置５に接続された外部記憶装置が利用されても構わない。

【0024】

通信インターフェース１５は、車両３との間で通信を行う通信回路である。通信インターフェース１５は、車両制御に係る各種の信号を車両３に送信する。また、通信インターフェース１５は、車両３の速度や加速度、舵角等、車両３に搭載された各種のセンサやエンコーダの出力等を受信する。また、実施形態に係る車両制御処理の一部又は全部が車両制御装置５の外部で実行される場合、通信インターフェース１５は、車両制御処理で取り扱うパラメータやデータを送受信する。

【0025】

カメラ１７は、単眼カメラである。カメラ１７は、車両３の前方、後方、左方、右方、上方及び下方等の移動体の周囲を撮影可能に、車両３の複数の位置それぞれに配置される。なお、車両３に設けられるカメラ１７の数は、１又は２以上の複数であってよい。本実施形態では、説明の簡単のために、車両３の前方に配置されたカメラ１７を例示する。カメラ１７は、逐次撮影し、時系列の撮影画像のデータを生成する。カメラ１７は、生成された撮影画像のデータを例えばメモリ１３に出力する。

【0026】

ディスプレイ１９１は、画像データに応じた画像を表示することにより、各種の情報を表示する。ディスプレイ１９１は、歩行者等の障害物の検知を報知するための画面や操作者からの各種操作を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。ディスプレイ１９１としては、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ（ＯＬＥＤ）、プロジェクタ等が適宜利用可能である。

【0027】

スピーカ１９３は、音声データに応じた音声を出力することにより、各種の情報を出力する。スピーカ１９３は、歩行者等の障害物の検知を報知するための音声や操作者からの各種操作を受け付けるための音声ガイド等を出力する。

【0028】

なお、車両制御装置５は、触れられた位置に応じた情報を出力するタッチパネルが表面に設けられた、操作者の入力を受け付けるタッチパネル等の入力装置を有していても構わない。また、車両制御装置５は、ユーザの音声入力を受け付ける入力装置としてのマイクロフォン等を有していても構わない。

【0029】

なお、車両制御装置５は、ソナーやレーダー、ＬｉＤＡＲ等のアクティブセンサを有していても構わない。

【0030】

なお、車両制御装置５は、車両３の外部に設けられていてもよい。この場合、車両制御装置５は、通信インターフェース１５により例えば専用線を介して車両３と通信可能に接続される。なお、車両３及び車両制御装置５の間は、インターネット等の電気通信回線を介して通信可能に接続されてもよい。

【0031】

図２は、実施形態に係る車両制御装置５の機能構成の一例を示すブロック図である。車両制御装置５は、例えばメモリ１３にロードされた車両制御プログラムをプロセッサ１１が実行することにより、歩行者検知部１１１、距離推定部１１３及び車両制御部１１５としての機能を実現する。

【0032】

歩行者検知部１１１は、カメラ１７に映った歩行者を見つける検知エンジンとして機能する。具体的には、歩行者検知部１１１は、カメラ１７で得られた撮影画像に含まれる歩行者の画像上の領域を示す検知枠を算出する。ここで、撮影画像に含まれる歩行者の画像上の領域は、第１の領域の一例である。歩行者検知部１１１は、検知枠の算出とともに、検知枠が人物を含むことの確からしさを示す全体の信頼度を算出する。全体の信頼度は、検知枠の全体に対して算出される信頼度である。ここで、全体の信頼度は、第１の信頼度の一例である。また、歩行者検知部１１１は、検知枠の算出とともに、検知枠が人物の足元部分を含むことの確からしさを示す足元の信頼度を算出する。ここで、足元の信頼度は、第２の信頼度の一例である。

【0033】

距離推定部１１３は、撮影画像における検知枠の下端位置に基づいて車両３から歩行者までの推定距離を算出する。距離推定部１１３は、例えば撮影画像における検知枠の下端が地面に接地していると仮定し、車両３から歩行者までの距離を推定する。なお、車両３から歩行者までの推定距離は、他の公知の方法により推定されてもよい。

【0034】

車両制御部１１５は、ブレーキやアクセル、ハンドル等の車両の動作を制御する。具体的には、車両制御部１１５は、全体の信頼度、足元の信頼度及び推定距離に基づいて車両３の制御を開始する。

【0035】

なお、車両制御部１１５は、ディスプレイ１９１において障害物の検知や車両制御の開始を報知するための画像データを出力してもよい。また、車両制御部１１５は、スピーカ１９３において障害物の検知や車両制御の開始を報知するための音声データを出力してもよい。

【0036】

ここで、実施形態に係る歩行者検知について、図面を参照しつつ、より詳細に説明する。図３は、実施形態に係る歩行者検知のためのニューラルネットワーク２０１の構成の一例を示す図である。図３は、実施形態に係る歩行者検知のためのニューラルネットワーク２０１として、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を例示するが、他のニューラルネットワークも適宜利用可能である。実施形態に係るニューラルネットワーク２０１は、複数の関数が合成された、パラメータ付きの合成関数であり、複数の調整可能な関数及びパラメータの組合せにより定義されるとする。実施形態に係るニューラルネットワークは、複数の調整可能な関数及びパラメータの組合せにより定義されるいかなるパラメータ付きの合成関数であってもよいが、少なくとも多層のネットワークモデルであるとする。

【0037】

実施形態に係るニューラルネットワーク２０１は、図３に示すように、入力層Ｌ１、複数の中間層Ｌ２及び出力層Ｌ３を有する。入力層Ｌ１は、例えば撮影画像の複数の画素の画素値が入力される複数のノードを有する。複数の中間層Ｌ２は、入力層Ｌ１の後段に設けられる。複数の中間層Ｌ２の各々において、各ノードは、前の層の各ノードからの各入力値と、学習により定められたパラメータとに基づいた値を次の層の各ノードへ出力する。出力層Ｌ３は、複数の中間層Ｌ２の後段に設けられる。出力層Ｌ３は、複数の値を出力する複数のノードＮ１～Ｎ６を有する。

【0038】

図３の例では、出力層Ｌ３の複数のノードＮ１～Ｎ４は、カメラ１７で得られた撮影画像に含まれる歩行者の画像上の領域を示す検知枠に関する値を出力する。ノードＮ１は、検知枠の中心ｘ座標の値である。ノードＮ２は、検知枠の中心ｙ座標の値である。ノードＮ３は、検知枠の幅の値である。ノードＮ４は、検知枠の高さの値である。図３の例では、出力層Ｌ３のノードＮ５は、歩行者である確率、すなわち検知枠が人物を含むことの確からしさを示す全体の信頼度の値を出力する。図３の例では、出力層Ｌ３のノードＮ６は、足元が映っている確率、すなわち検知枠が人物の足元部分を含むことの確からしさを示す足元の信頼度の値を出力する。

【0039】

なお、ニューラルネットワーク２０１の関数やパラメータは、例えば予め定められてメモリ１３に記憶されているとするが、これに限らない。ニューラルネットワーク２０１の関数やパラメータは、車両制御装置５に接続された外部記憶装置に記憶されていても構わない。

【0040】

歩行者検知部１１１は、撮影画像の入力に応じて、検知枠、全体の信頼度及び足元の信頼度を出力するようにパラメータが決定されたニューラルネットワーク２０１を用いて、検知枠、全体の信頼度及び足元の信頼度を算出する。具体的には、歩行者検知部１１１は、カメラ１７から撮影画像を取得する。歩行者検知部１１１は、取得された撮影画像を、メモリ１３等に記憶されたニューラルネットワーク２０１に入力する。歩行者検知部１１１は、入力された撮影画像に応じたニューラルネットワーク２０１の出力を取得する。

【0041】

このように、検知枠ごとに足元部分の有無を判断するノードをニューラルネットワークモデル（歩行者検知器）の出力層に設けることにより、例えば「０」又は「１」の値でニューラルネットワークモデルに検知枠ごとに足元部分の有無を学習させる。これにより、足元部分の信頼度を算出することができる。また、足元部分の信頼度の算出において、検知枠の算出等に要した途中結果を再利用することができるため、歩行者検知に係る計算量を抑制することもできる。

【0042】

図４～図８は、それぞれ歩行者検知により算出される検知枠及び全体の信頼度について説明するための図である。図７及び図８は、それぞれ歩行者検知により算出される足元の信頼度について説明するための図である。図４～図６は、それぞれカメラ１７からの撮影画像３０１，３０３，３０５の画像上に検知枠４０１を実線の枠で示す。同様に、図７及び図８は、それぞれカメラ１７からの撮影画像３０１，３０３の画像上に歩行者Ｏの足元部分に関する検知枠４０３を破線の枠で示す。また、撮影画像３０１，３０３，３０５は、それぞれ一対の区画線５０１により規定される走行レーン（車線）を走行する車両３に搭載されたカメラ１７により得られた画像であるとする。なお、カメラ１７が車両３の前方に設けられているとすれば、図４及び図７に例示するように、車両３は撮影画像３０１，３０３，３０５の下方の位置Ｐ１にあると考えることができる。また、撮影画像３０１，３０３，３０５には、それぞれ走行レーンの側方に位置する歩道上の歩行者Ｏが映っている。また、撮影画像３０１，３０３には、それぞれ、歩行者Ｏの手前側にある障害物５０３，５０５が映っている。

【0043】

図４～６に示すように、撮影画像３０１，３０３，３０５に対する歩行者検知により算出された検知枠４０１に関する全体の信頼度は、いずれも「０．６」である。一方で、例えば図７に示すように、障害物５０３により足元部分が隠れている歩行者Ｏに関する足元の信頼度は、「０．１」である。また、例えば図８に示すように、障害物５０５により足元部分が見えている歩行者Ｏに関する足元の信頼度は、「０．８」である。また、図６に示すように、歩行者検知により歩行者Ｏの足元部分がそもそも検出されていない場合もある。

【0044】

このように、検知枠４０１の全体の信頼度が等しい又は同等の場合であっても、障害物５０３，５０５の有無や歩行者検知の精度により、足元部分に関する足元の信頼度が異なる場合もある。したがって、検知枠４０１の下端が歩行者Ｏの地面に接している部分であると仮定して車両３から歩行者Ｏまでの距離を推定する場合、例えば図４～図６に示すように、その足元部分の検知精度に応じて推定距離が正しく算出できない場合がある。

【0045】

一方で、本実施形態に係る車両制御装置５は、上述したように、歩行車検知において歩行者Ｏの足元部分に関する足元の信頼度を算出することができる。また、車両制御装置５は、以下に説明するように、足元の信頼度も考慮に入れた車両制御の判断を行う。

【0046】

図９は、実施形態に係る車両制御としてのブレーキ判断について説明するための図である。車両制御部１１５は、図９に示すように、全体の信頼度、足元の信頼度及び推定距離に基づいて、危険度を算出する。一例として、車両制御部１１５は、以下の式で示すように、全体の信頼度、足元の信頼度及び推定距離の重み付き加算値を、危険度として算出する。車両制御部１１５は、重み付き加算値と、予め定められた閾値とを比較する。重み付き加算値が予め定められた閾値より大きいとき、車両制御部１１５は、ブレーキ判断をする。そして、車両制御部１１５は、ブレーキ判断に応じて車両３を停止させる制御を開始する。
（危険度）＝ｃ１×（全体の信頼度）＋ｃ２×（足元の信頼度）＋ｃ３×（推定距離）

【0047】

ここで、ｃ１，ｃ２，ｃ３は、それぞれ、全体の信頼度、足元の信頼度及び推定距離の重み係数である。ｃ１，ｃ２，ｃ３と、危険度の閾値とは、例えば予め定められてメモリ１３等に記憶されているとする。なお、実施形態に係る車両制御においては、足元の信頼度に関する重み係数のｃ２は、他の重み係数のｃ１，ｃ３より大きい値に設定され得る。これにより、危険度の算出に係る足元の信頼度の寄与を大きくすることができる。したがって、推定距離の算出精度に起因するブレーキ判断の精度を向上させることができる。

【0048】

図１０は、実施形態に係る車両制御としてのブレーキ判断について説明するための図である。車両制御部１１５は、足元の信頼度と、予め定められた閾値とを比較する。足元の信頼度の閾値は、例えば予め定められてメモリ１３等に記憶されているとする。足元の信頼度が予め定められた閾値より小さいとき、車両制御部１１５は、ブレーキ判断をするとともに、自車の位置Ｐ１から目標停止位置までの距離を推定距離より短く設定する。換言すれば、車両制御部１１５は、足元の信頼度が予め定められた閾値より小さいとき、ブレーキ判断に応じて推定距離より手前の位置を目標停止位置として車両３を停止させる制御を開始する。これにより、推定距離の算出精度に対応する足元の信頼度に基づいて、適切な目標停止位置を設定することができる。

【0049】

また、車両制御部１１５は、全体の信頼度と、予め定められた閾値とをさらに比較する。全体の信頼度の閾値は、例えば予め定められてメモリ１３等に記憶されているとする。全体の信頼度が予め定められた閾値より大きく、かつ、足元の信頼度が予め定められた閾値より小さいとき、車両制御部１１５は、車両を減速させるアクセル制御を開始する。全体の信頼度が予め定められた閾値より大きく、かつ、足元の信頼度が予め定められた閾値より小さいときとは、例えば歩行者Ｏが検知された可能性が高いが、いずれの距離の位置に当該歩行者Ｏがいるか分からない場合である。これにより、不要なブレーキを抑制しつつ、歩行者Ｏの飛び出しなどに備えることができる。

【0050】

また、車両制御部１１５は、足元の信頼度が予め定められた閾値より小さいとき、かつ、検知枠４０１が歩道上であるとき、車両３を進路変更させるハンドル制御を開始する。ここで、車両３を進路変更させる制御とは、例えば車両３の走行位置を、走行中のレーン内の歩行者Ｏが検知された歩道とは反対側寄りに変更することを含む。また、車両３を進路変更させる制御とは、例えば車両３の走行位置を、当該歩道とは反対側の他のレーンに変更することを含む。これにより、不要なブレーキを抑制しつつ、歩行者Ｏの飛び出しなどに備えることができる。

【0051】

以下、図面を参照して、実施形態に係る車両制御装置５の動作について説明する。なお、以下に説明する処理の流れは一例であり、処理順序の変更や一部の処理の削除、他の処理の追加も可能である。図１１は、実施形態に係る車両制御装置５において実行される、車両制御処理の一例を示すフローチャートである。

【0052】

歩行者検知部１１１は、カメラ１７から撮影画像の画像データを取得する（Ｓ１０１）。そして、歩行者検知部１１１は、取得された画像データに基づいて、歩行者を検知する（Ｓ１０２）。具体的には、撮影画像の画像データをニューラルネットワーク２０１に入力し、撮影画像の入力に応じたニューラルネットワーク２０１の出力、すなわち検知枠、全体の信頼度及び足元の信頼度を取得する。

【0053】

距離推定部１１３は、検知結果に基づいて、車両３から歩行者Ｏまでの距離を推定する。（Ｓ１０３）。例えば、距離推定部１１３は、撮影画像のデータと、撮影画像上の検知枠の位置とに基づいて、例えば移動ステレオ方式（ＳＦＭ）により推定距離を算出する。

【0054】

車両制御部１１５は、全体の信頼度、足元の信頼度及び推定距離に基づいて、上述したようにして、車両３の制御方法を決定する（Ｓ１０４）。また、車両制御部１１５は、決定された制御方法により車両３の走行を制御する（Ｓ１０５）。その後、図１１の流れは終了する。

【0055】

このように、実施形態の車両制御装置５において、歩行者検知部１１１は、カメラ１７で得られた撮影画像に含まれる歩行者の画像上の領域を示す検知枠を算出するとともに、検知枠が人物を含むことの確からしさを示す全体の信頼度と、検知枠が人物の足元部分を含むことの確からしさを示す足元の信頼度とを算出する。車両制御部１１５は、全体の信頼度、足元の信頼度及び距離推定部１１３により算出された推定距離に基づいて、車両３の制御方法を決定する。また、車両制御部１１５は、決定された制御方法により車両３の走行の制御を開始する。

【0056】

この構成によれば、歩行者検知により検知された歩行者Ｏに関して、足元部分の信頼性に応じてブレーキ等の制御の仕方を変えることができる。したがって、本開示に係る技術によれば、単眼カメラを用いた人物検知に基づいて適切な車両制御を実現することができる。

【0057】

（第２の実施形態）
以下、本開示の第２の実施形態について説明する。以下、主として第１の実施形態との相違点について説明し、重複する部分については説明を適宜省略する。

【0058】

本実施形態に係るニューラルネットワーク２０１の出力層Ｌ３には、足元が映っている確率、すなわち検知枠が人物の足元部分を含むことの確からしさを示す足元の信頼度の値を出力するノードＮ６は設けられていない。つまり、本実施形態に係る歩行者検知部１１１は、撮影画像の入力に応じて検知枠及び全体の信頼度を出力するようにパラメータが決定されたニューラルネットワーク２０１を用いて、検知枠及び全体の信頼度を算出する。

【0059】

一方で、本実施形態に係る歩行者検知部１１１は、全体の信頼度の算出に寄与した撮影画像の画像上の領域を特定する。ここで、全体の信頼度の算出に寄与した撮影画像の画像上の領域は、第２の領域の一例である。なお、全体の信頼度の算出に寄与した撮影画像の画像上の領域とは、例えばニューラルネットワーク２０１が歩行者であると判断する際に用いた領域であると表現することもできる。当該領域としては、例えば、人物の顔や手足などが有り得る。つまり、当該領域の存在は、ニューラルネットワーク２０１からの全体の信頼度の値を押し上げた要因であるとも表現できる。換言すれば、歩行者検知部１１１は、「歩行者である確率」の値を押し上げた画像中の領域を特定する。

【0060】

また、本実施形態に係る歩行者検知部１１１は、検知枠４０１と、特定された領域との位置関係に基づいて、足元の信頼度を算出する。図１２及び図１３は、それぞれ実施形態に係る足元の信頼度の算出の別の一例について説明するための図である。図１２及び図１３は、図６と同様に、それぞれカメラ１７からの撮影画像３０５の画像上に検知枠４０１を実線の枠で示し、全体の信頼度が「０．６」の場合を例示する。また、図１２及び図１３は、「歩行者である確率」の値を押し上げた要因として特定された画像中の領域４０７ａ，４０７ｂをハッチングで示す。

【0061】

一般に歩行者Ｏに関しては、足元部分は、手の部分や頭部の部分よりも下方に存在する。そこで、本実施形態に係る歩行者検知部１１１は、図１２に示すように、検知枠４０１の下端位置より上側に当該領域４０７ａ，４０７ｂが特定されたとき、歩行者検知部１１１は、足元の信頼度を大きく算出する。一方で、歩行者検知部１１１は、図１３に示すように、検知枠４０１の下端位置より下側に当該領域４０７ａ，４０７ｂが特定されたとき、歩行者検知部１１１は、足元の信頼度を小さく算出する。なお、歩行者検知部１１１は、当該領域４０７ａ，４０７ｂのうちの下方の領域４０７ｂが検知枠４０１の内側にあるか否かに基づいて足元の信頼度を算出してもよい。

【0062】

この構成であっても、上述の実施形態と同様の効果が得られる。

【0063】

本実施形態の車両制御装置５で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録されて提供される。コンピュータで読み取り可能な記録媒体としては、例えば、ＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等が適宜利用可能である。また、可搬型の外部記憶装置としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、Ｆｌａｓｈメモリ等が適宜利用可能である。

【0064】

また、本実施形態の車両制御装置５で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の車両制御装置５で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0065】

また、車両制御装置５で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0066】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0067】

１ 車両制御システム
１１ プロセッサ
１１１ 歩行者検知部
１１３ 距離推定部
１１５ 車両制御部
１３ メモリ
１５ 通信インターフェース
１７ カメラ
１９１ ディスプレイ
１９３ スピーカ
３ 車両
５ 車両制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】