特開2018-190217(P2018-190217A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オムロン株式会社の特許一覧
特開2018-190217運転者監視装置、及び運転者監視方法
<>
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000003
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000004
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000005
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000006
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000007
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000008
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000009
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000010
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000011
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000012
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000013
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000014
  • 特開2018190217-運転者監視装置、及び運転者監視方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-190217(P2018-190217A)
(43)【公開日】2018年11月29日
(54)【発明の名称】運転者監視装置、及び運転者監視方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20181102BHJP
   B60R 11/04 20060101ALI20181102BHJP
   B60W 40/08 20120101ALI20181102BHJP
   B60W 50/14 20120101ALI20181102BHJP
   G06T 7/00 20170101ALI20181102BHJP
   G06T 7/20 20170101ALI20181102BHJP
【FI】
   G08G1/16 F
   B60R11/04
   B60W40/08
   B60W50/14
   G06T7/00 650Z
   G06T7/20 300A
   G06T7/00 350C
【審査請求】未請求
【請求項の数】9
【出願形態】OL
【全頁数】30
(21)【出願番号】特願2017-92844(P2017-92844)
(22)【出願日】2017年5月9日
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100096080
【弁理士】
【氏名又は名称】井内 龍二
(74)【代理人】
【識別番号】100194098
【弁理士】
【氏名又は名称】高田 一
(72)【発明者】
【氏名】青位 初美
(72)【発明者】
【氏名】岡地 一喜
(72)【発明者】
【氏名】菅原 啓
(72)【発明者】
【氏名】鵜野 充恵
(72)【発明者】
【氏名】滝沢 光司
【テーマコード(参考)】
3D020
3D241
5H181
5L096
【Fターム(参考)】
3D020BA20
3D020BC02
3D020BE03
3D241BA29
3D241BA60
3D241CC01
3D241CC08
3D241CC17
3D241CD07
3D241CE04
3D241CE05
3D241DA13Z
3D241DA39Z
3D241DA52Z
3D241DB03Z
3D241DB12Z
3D241DC01Z
3D241DC21Z
3D241DC25Z
3D241DC31Z
3D241DC34Z
3D241DC50Z
3D241DD02Z
3D241DD12Z
5H181AA01
5H181AA05
5H181AA21
5H181BB04
5H181BB05
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF05
5H181FF22
5H181FF27
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5H181LL09
5L096AA03
5L096AA06
5L096BA04
5L096CA14
5L096DA03
5L096FA67
5L096HA11
5L096KA04
(57)【要約】
【課題】自動運転モードから手動運転モードへの切替時に、運転席に着座している本来の運転者がハンドルを把持しているか否かを精度良く検出できる運転者監視装置を提供すること。
【解決手段】自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置10であって、運転者撮像カメラ54で撮像された運転者画像を取得する画像取得部12aと、画像取得部12aにより取得された運転者画像を記憶する画像記憶部13aと、自動運転モードから手動運転モードに切り替えられる場合に、画像記憶部13aから読み出した運転者画像を処理して車両のハンドル52が運転者の手で把持されているか否かを判定する判定処理部12cと、判定処理部12cによる判定結果に基づく所定の信号を出力する信号出力部12gとを装備する。
【選択図】図2
【特許請求の範囲】
【請求項1】
自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
前記運転者を撮像する撮像部で撮像された運転者画像を取得する画像取得部と、
該画像取得部により取得された前記運転者画像を記憶する画像記憶部と、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記画像記憶部から読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定する判定処理部と、
該判定処理部による判定結果に基づく所定の信号を出力する信号出力部とを備えていることを特徴とする運転者監視装置。
【請求項2】
前記運転者画像が、前記運転者の肩から上腕にかけての一部と、前記ハンドルの一部とを少なくとも含む視野を撮像した画像であり、
前記判定処理部が、
前記運転者画像を処理して前記ハンドルの把持位置を検出する把持位置検出部と、
前記運転者画像を処理して前記運転者の肩腕部の姿勢を検出する姿勢検出部と、
前記把持位置検出部により検出された把持位置と、前記姿勢検出部により検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かを判定する把持判定部とを備えていることを特徴とする請求項1記載の運転者監視装置。
【請求項3】
前記運転者画像が、前記運転者の肩から上腕にかけての一部を少なくとも含む視野を撮像した画像であり、
前記ハンドルに設けられた、手の接触を検出する接触検出部からの信号を取得する接触信号取得部を備え、
前記判定処理部が、
前記接触信号取得部により取得した接触信号に基づいて、前記ハンドルの把持位置を検出する把持位置検出部と、
前記運転者画像を処理して前記運転者の肩腕部の姿勢を検出する姿勢検出部と、
前記把持位置検出部により検出された把持位置と、前記姿勢検出部により検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かを判定する把持判定部とを備えていることを特徴とする請求項1記載の運転者監視装置。
【請求項4】
前記信号出力部が、
前記把持位置検出部により前記把持位置が検出されなかった場合、前記車両に設けられた警報部に、前記ハンドルを前記運転者に把持させるための警告処理を実行させるための信号を出力するものであることを特徴とする請求項2又は請求項3記載の運転者監視装置。
【請求項5】
前記ハンドルを把持している前記運転者の画像と、前記ハンドルを把持していない前記運転者の画像とを教師データとして予め学習処理を行って作成された学習済み分類器を記憶する分類器記憶部を備え、
前記学習済み分類器が、
前記画像記憶部から読み出した前記運転者画像のデータが入力される入力層と、前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する出力層とを含み、
前記判定処理部が、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記分類器記憶部から読み出した前記学習済み分類器の前記入力層に前記運転者画像のデータを入力し、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する処理を行うものであることを特徴とする請求項1記載の運転者監視装置。
【請求項6】
ニューラルネットワークの階層数、各層のニューロン数、及び伝達関数を含む未学習の分類器に関する定義情報と、予め学習処理により求められた各層のニューロン間の重み係数及びしきい値を含む定数データとを記憶する分類器情報記憶部と、
該分類器情報記憶部から前記定義情報と前記定数データとを読み出して学習済み分類器を作成する学習済み分類器作成部とを備え、
前記学習済み分類器が、
前記画像記憶部から読み出した前記運転者画像のデータが入力される入力層と、前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する出力層とを含むものであり、
前記判定処理部が、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記学習済み分類器作成部により作成された前記学習済み分類器の前記入力層に前記運転者画像のデータを入力し、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する処理を行うものであることを特徴とする請求項1記載の運転者監視装置。
【請求項7】
前記信号出力部が、
前記判定処理部により前記ハンドルが前記運転者の手で把持されていると判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するものであることを特徴とする請求項1〜6のいずれかの項に記載の運転者監視装置。
【請求項8】
前記信号出力部が、
前記判定処理部により前記ハンドルが前記運転者の手で把持されていないと判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可しない信号を出力するものであることを特徴とする請求項1〜6のいずれかの項に記載の運転者監視装置。
【請求項9】
記憶部と、
該記憶部に接続されたハードウェアプロセッサとを備えた装置を用い、
自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視方法であって、
前記記憶部が、前記運転者を撮像する撮像部で撮像された運転者画像を記憶する画像記憶部を備え、
前記ハードウェアプロセッサが、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得するステップと、
該取得した前記運転者画像を前記画像記憶部に記憶させるステップと、
前記画像記憶部から前記運転者画像を読み出すステップと、
該読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定するステップと、
該判定した結果に基づく所定の信号を出力するステップと、を含んでいることを特徴とする運転者監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は運転者監視装置、及び運転者監視方法に関し、より詳細には自動運転モードと手動運転モードとを備えた車両の運転者を監視する運転者監視装置、及び運転者監視方法に関する。
【背景技術】
【0002】
近年、車両の走行制御を自動的に行う自動運転の実現に向けて研究開発が活発に行われている。自動運転の技術レベルは、加減速、操舵、制動を含む走行制御のうち少なくとも一部を自動化したレベルから完全自動化のレベルまでいくつかのレベルに分類されている。
【0003】
車両の操作及び周辺監視の主体を自動運転システムが担う自動化レベル(例えば、加速・操舵・制動を全て自動運転システムが行い、自動運転システムが要請したときは運転者が対応するレベル3)では、交通環境などの要因によって、自動運転モードから運転者による手動運転モードに切り替わる状況が発生することが想定されている。例えば、高速道路では自動運転が可能であるが、インターチェンジ付近で自動運転システムが運転者へ手動運転を要請するような状況である。
【0004】
上記レベル3の自動運転モードでは、基本的に運転者は運転操作から解放されるため、自動運転中に運転者が運転以外の作業を行う可能性や運転者の覚醒度が低下する可能性がある。そのため、自動運転モードから手動運転モードに切り替わる際には、車両の安全を確保するため、車両のハンドル操作やペダル操作が自動運転システムから運転者に引き継ぎ可能な状態にある必要がある。自動運転システムから運転者に引き継ぎ可能な状態とは、例えば運転者がハンドルを把持している状態である。
【0005】
例えば、運転者によるハンドル操作を検出する構成については、下記の特許文献1に開示されている把持検出装置などを用いることで、自動運転モードから手動運転モードに切り替わる際にハンドルの把持状態を検出することが可能になると考えられる。
【0006】
[発明が解決しようとする課題]
しかしながら、上記特許文献1記載の把持検出装置では、ハンドルに接触している手が、本当に運転者の手であるか否かを正確に判定することができていない。例えば、運転者以外の同乗者(助手席や後部座席の人)がハンドルを握っている場合であっても、運転者がハンドルを把持しているものと判定されてしまう。
上記把持検出装置を用いた場合、自動運転モードから手動運転モードに切り替わる際に、運転者以外の同乗者がハンドルを把持している場合であっても手動運転に切り替わる虞があり、車両の安全を確保できない場合が生ずるという課題があった。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2016−203660号公報
【発明の概要】
【課題を解決するための手段及びその効果】
【0008】
本発明は上記課題に鑑みなされたものであって、自動運転モードから手動運転モードに切り替えられる場合に、運転席に着座している本来の運転者がハンドルを把持しているか否かを精度良く検出することができる運転者監視装置、及び運転者監視方法を提供することを目的としている。
【0009】
上記目的を達成するために本発明に係る運転者監視装置(1)は、自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
前記運転者を撮像する撮像部で撮像された運転者画像を取得する画像取得部と、
該画像取得部により取得された前記運転者画像を記憶する画像記憶部と、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記画像記憶部から読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定する判定処理部と、
該判定処理部による判定結果に基づく所定の信号を出力する信号出力部とを備えていることを特徴としている。
【0010】
上記運転者監視装置(1)によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記運転者画像を処理して前記ハンドルが前記運転者の手で把持されているか否かが判定され、該判定結果に基づく所定の信号が出力される。前記判定処理部での判定処理に前記運転者画像を用いることで、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別することが可能となり、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
【0011】
また本発明に係る運転者監視装置(2)は、上記運転者監視装置(1)において、前記運転者画像が、前記運転者の肩から上腕にかけての一部と、前記ハンドルの一部とを少なくとも含む視野を撮像した画像であり、
前記判定処理部が、
前記運転者画像を処理して前記ハンドルの把持位置を検出する把持位置検出部と、
前記運転者画像を処理して前記運転者の肩腕部の姿勢を検出する姿勢検出部と、
前記把持位置検出部により検出された把持位置と、前記姿勢検出部により検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かを判定する把持判定部とを備えていることを特徴としている。
【0012】
上記運転者監視装置(2)によれば、前記運転者画像を処理して検出された前記ハンドルの把持位置と、前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かが判定される。したがって、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と明確に区別することが可能となり、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを一層精度よく検出することができる。
【0013】
また本発明に係る運転者監視装置(3)は、上記運転者監視装置(1)において、前記運転者画像が、前記運転者の肩から上腕にかけての一部を少なくとも含む視野を撮像した画像であり、
前記ハンドルに設けられた、手の接触を検出する接触検出部からの信号を取得する接触信号取得部を備え、
前記判定処理部が、
前記接触信号取得部により取得した接触信号に基づいて、前記ハンドルの把持位置を検出する把持位置検出部と、
前記運転者画像を処理して前記運転者の肩腕部の姿勢を検出する姿勢検出部と、
前記把持位置検出部により検出された把持位置と、前記姿勢検出部により検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かを判定する把持判定部とを備えていることを特徴としている。
【0014】
上記運転者監視装置(3)によれば、前記接触検出部からの接触信号に基づいて検出された前記ハンドルの把持位置と、前記運転者画像を処理して検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かが判定される。したがって、前記運転者画像に前記ハンドルが写っていない場合であっても、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別して、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度よく検出することができる。
【0015】
また本発明に係る運転者監視装置(4)は、上記運転者監視装置(2)又は(3)において、前記信号出力部が、前記把持位置検出部により前記把持位置が検出されなかった場合、前記車両に設けられた警報部に、前記ハンドルを前記運転者に把持させるための警告処理を実行させるための信号を出力するものであることを特徴としている。
【0016】
上記運転者監視装置(4)によれば、前記把持位置検出部により前記把持位置が検出されなかった場合、前記ハンドルを前記運転者に把持させるための警告処理が実行されるので、前記運転者に前記ハンドルを把持するように促すことができる。
【0017】
また本発明に係る運転者監視装置(5)は、上記運転者監視装置(1)において、前記ハンドルを把持している前記運転者の画像と、前記ハンドルを把持していない前記運転者の画像とを教師データとして予め学習処理を行って作成された学習済み分類器を記憶する分類器記憶部を備え、
前記学習済み分類器が、
前記画像記憶部から読み出した前記運転者画像のデータが入力される入力層と、前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する出力層とを含み、
前記判定処理部が、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記分類器記憶部から読み出した前記学習済み分類器の前記入力層に前記運転者画像のデータを入力し、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する処理を行うものであることを特徴としている。
【0018】
上記運転者監視装置(5)によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記学習済み分類器の前記入力層に前記運転者画像のデータを入力することで、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データが出力される。したがって、前記判定処理部での処理に前記学習済み分類器を用いることで、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別することができ、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
【0019】
また本発明に係る運転者監視装置(6)は、上記運転者監視装置(1)において、ニューラルネットワークの階層数、各層のニューロン数、及び伝達関数を含む未学習の分類器に関する定義情報と、予め学習処理により求められた各層のニューロン間の重み係数及びしきい値を含む定数データとを記憶する分類器情報記憶部と、
該分類器情報記憶部から前記定義情報と前記定数データとを読み出して学習済み分類器を作成する学習済み分類器作成部とを備え、
前記学習済み分類器が、
前記画像記憶部から読み出した前記運転者画像のデータが入力される入力層と、前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する出力層とを含むものであり、
前記判定処理部が、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記学習済み分類器作成部により作成された前記学習済み分類器の前記入力層に前記運転者画像のデータを入力し、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する処理を行うものであることを特徴としている。
【0020】
上記運転者監視装置(6)によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記学習済み分類器を作成し、その前記入力層に前記運転者画像のデータを入力することで、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データが出力される。したがって、前記判定処理部での処理に前記学習済み分類器を用いることで、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別することができ、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
【0021】
また本発明に係る運転者監視装置(7)は、上記運転者監視装置(1)〜(6)のいずれかにおいて、前記信号出力部が、前記判定処理部により前記ハンドルが前記運転者の手で把持されていると判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するものであることを特徴としている。
【0022】
上記運転者監視装置(7)によれば、前記ハンドルが前記運転者の手で把持されていると判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号が出力される。したがって、前記運転者がハンドル操作を引き継いだ状態で、前記自動運転モードから前記手動運転モードへの切り替えを行うことができ、該切り替え時の前記車両の安全を確保することができる。
【0023】
また本発明に係る運転者監視装置(8)は、上記運転者監視装置(1)〜(6)のいずれかにおいて、前記信号出力部が、前記判定処理部により前記ハンドルが前記運転者の手で把持されていないと判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可しない信号を出力するものであることを特徴としている。
【0024】
上記運転者監視装置(8)によれば、前記ハンドルが前記運転者の手で把持されていないと判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可しない信号が出力される。したがって、前記ハンドルの操作が前記運転者に引き継がれていない状態で、前記手動運転モードに切り替わることを防止することができる。
【0025】
また本発明に係る運転者監視方法は、記憶部と、該記憶部に接続されたハードウェアプロセッサとを備えた装置を用い、
自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視方法であって、
前記記憶部が、前記運転者を撮像する撮像部で撮像された運転者画像を記憶する画像記憶部を備え、
前記ハードウェアプロセッサが、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得するステップと、
該取得した前記運転者画像を前記画像記憶部に記憶させるステップと、
前記画像記憶部から前記運転者画像を読み出すステップと、
該読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定するステップと、
該判定した結果に基づく所定の信号を出力するステップと、を含んでいることを特徴としている。
【0026】
上記運転者監視方法によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得して、前記画像記憶部に記憶させ、前記画像記憶部から前記運転者画像を読み出し、該運転者画像を処理して前記ハンドルが前記運転者の手で把持されているか否かを判定し、該判定結果に基づく所定の信号を出力する。したがって、前記判定するステップに前記運転者画像を用いることで、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別することが可能となり、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
【図面の簡単な説明】
【0027】
図1】本発明の実施の形態(1)に係る運転者監視装置を含む自動運転システムの要部構成を示すブロック図である。
図2】実施の形態(1)に係る運転者監視装置のハードウェア構成を示すブロック図である。
図3】(a)は、運転者撮像カメラで撮像される運転者画像の一例、(b)は把持判定方法記憶部に記憶される判定テーブルの一例を示す図である。
図4】実施の形態(1)に係る運転者監視装置における制御ユニットの行う処理動作を示したフローチャートである。
図5】実施の形態(1)に係る運転者監視装置における制御ユニットの行う把持判定処理動作を示したフローチャートである。
図6】実施の形態(2)に係る運転者監視装置を含む自動運転システムの要部構成を示すブロック図である。
図7】実施の形態(2)に係る運転者監視装置のハードウェア構成を示すブロック図である。
図8】実施の形態(2)に係る運転者監視装置における制御ユニットの行う把持判定処理動作を示したフローチャートである。
図9】実施の形態(3)に係る運転者監視装置のハードウェア構成を示すブロック図である。
図10】実施の形態(3)に係る運転者監視装置の分類器記憶部に記憶される分類器を作成する学習装置のハードウェア構成を示すブロック図である。
図11】学習装置の学習制御ユニットが行う学習処理動作を示したフローチャートである。
図12】実施の形態(3)に係る運転者監視装置における制御ユニットの行う把持判定処理動作を示したフローチャートである。
図13】実施の形態(4)に係る運転者監視装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【0028】
以下、本発明に係る運転者監視装置、及び運転者監視方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【0029】
図1は、実施の形態(1)に係る運転者監視装置を含む自動運転システムの要部構成を示すブロック図である。
自動運転システム1は、運転者監視装置10と自動運転制御装置20とを含み、自動運転制御装置20は、車両の加減速、操舵、制動を含む走行制御のうち少なくとも一部をシステムが主体となって自動的に行う自動運転モードと、運転者が運転操作を行う手動運転モードとを切り替える構成を備えている。本実施の形態において、運転者とは、車両の運転席に着座する人を示している。
【0030】
自動運転システム1は、運転者監視装置10、及び自動運転制御装置20の他に、操舵センサ31、アクセルペダルセンサ32、ブレーキペダルセンサ33、操舵制御装置34、動力源制御装置35、制動制御装置36、警報装置37、始動スイッチ38、周辺監視センサ39、GPS受信機40、ジャイロセンサ41、車速センサ42、ナビゲーション装置43、通信装置44など、自動運転及び手動運転の各種制御に必要なセンサや制御装置などが含まれている。これら各種センサや制御装置が通信ライン50を介して接続されている。
【0031】
また、車両には、エンジンやモーターなどの動力源であるパワーユニット51、運転者が操舵するハンドル(ステアリングホイール)52を備えた操舵装置53が装備されている。運転者監視装置10のハードウェア構成については後述する。
【0032】
自動運転制御装置20は、車両の自動運転に関する各種制御を実行する装置であり、図示しない制御部、記憶部、入力部、出力部などを備えた電子制御ユニットで構成されている。前記制御部は1つ以上のハードウェアプロセッサを含み、前記記憶部に記憶されているプログラムを読み出して、各種の車両制御を実行する。
【0033】
自動運転制御装置20は、運転者監視装置10の他、操舵センサ31、アクセルペダルセンサ32、ブレーキペダルセンサ33、操舵制御装置34、動力源制御装置35、制動制御装置36、周辺監視センサ39、GPS受信機40、ジャイロセンサ41、車速センサ42、ナビゲーション装置43、通信装置44などに接続されている。自動運転制御装置20は、これら各部から取得した情報に基づいて、自動運転を行う制御信号を各制御装置へ出力して、車両の自動走行制御(自動操舵制御、自動速度調整制御、自動制動制御など)を行う。
【0034】
自動運転とは、運転席にいる運転者が運転操作をすることなく、自動運転制御装置20の行う制御によって車両を道路に沿って自動で走行させることをいう。例えば、予め設定された目的地までのルート、車外の状況や地図情報に基づいて自動的に生成された走行ルートなどに従って、自動で車両を走行させる運転状態が含まれる。そして、自動運転制御装置20は、予め定められた自動運転の解除条件を満たした場合、自動運転を終了(解除)する。例えば、自動運転制御装置20は、自動運転中の車両が予め定められた自動運転の終了地点に到達したと判定した場合に自動運転を終了する。また、自動運転制御装置20は、運転者が自動運転解除操作(例えば、自動運転解除ボタンの操作、運転者によるハンドル、アクセル又はブレーキの操作など)を行なった場合に、自動運転を終了する制御を行ってもよい。手動運転とは、運転者が運転操作を行う主体となって車両を走行させる運転である。
【0035】
操舵センサ31は、ハンドル52に対する操舵量を検出するセンサであり、例えば、車両のステアリングシャフトに設けられ、運転者によりハンドル52に与えられる操舵トルク又はハンドル52の操舵角を検出する。操舵センサ31で検出された、運転者のハンドル操作に応じた信号が自動運転制御装置20や操舵制御装置34へ出力される。
【0036】
アクセルペダルセンサ32は、アクセルペダルの踏込み量(アクセルペダルの位置)を検出するセンサであり、例えばアクセルペダルのシャフト部分に設けられる。アクセルペダルセンサ32で検出されたアクセルペダルの踏込み量に応じた信号が自動運転制御装置20や動力源制御装置35へ出力される。
【0037】
ブレーキペダルセンサ33は、ブレーキペダルの踏込み量(ブレーキペダルの位置)又は操作力(踏力など)を検出するセンサである。ブレーキペダルセンサ33で検出されたブレーキペダルの踏込み量や操作力に応じた信号が自動運転制御装置20や制動制御装置36へ出力される。
【0038】
操舵制御装置34は、車両の操舵装置(例えば、電動パワーステアリング装置)53を制御する電子制御ユニットである。操舵制御装置34は、車両の操舵トルクをコントロールするモーターを駆動させることにより、車両の操舵トルクを制御する。自動運転モードでは、自動運転制御装置20からの制御信号に応じて操舵トルクを制御する。
【0039】
動力源制御装置35は、パワーユニット51を制御する電子制御ユニットである。動力源制御装置35は、例えば、エンジンに対する燃料の供給量及び空気の供給量、又はモーターに対する電気の供給量を制御することで車両の駆動力を制御する。自動運転モードでは、自動運転制御装置20からの制御信号に応じて車両の駆動力を制御する。
【0040】
制動制御装置36は、車両のブレーキシステムを制御する電子制御ユニットである。制動制御装置36は、例えば、液圧ブレーキシステムに付与する液圧を調整することで、車両の車輪へ付与する制動力を制御する。自動運転モードでは、自動運転制御装置20からの制御信号に応じて車輪への制動力を制御する。
【0041】
警報装置37は、各種警告や案内を音や音声で出力する音声出力部、各種警告や案内を文字や図形で表示したり、又はランプを点灯表示したりする表示出力部(いずれも図示せず)などを含んで構成され、運転者監視装置10や自動運転制御装置20から出力された警告指示信号に基づいて動作する。
【0042】
始動スイッチ38は、パワーユニット51を始動、停止させるためのスイッチであり、エンジンを始動させるイグニッションスイッチや走行用モーターを始動させるパワースイッチなどで構成されている。始動スイッチ38の操作信号が、運転者監視装置10や自動運転制御装置20に入力される。
【0043】
周辺監視センサ39は、車両の周辺に存在する対象物を検出するセンサである。前記対象物には、車、自転車、人などの移動物体、路面標示(白線など)、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物などが含まれる。周辺監視センサ39は、前方監視カメラ、後方監視カメラ、レーダ(Radar)、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging(LIDER)、及び超音波センサのうち少なくとも1つを含む。周辺監視センサ39で検出された対象物の検出データが自動運転制御装置20などへ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。
【0044】
GPS受信機40は、図示しないアンテナを介して人工衛星からのGPS信号を受信し、受信したGPS信号に基づいて自車位置を割り出す処理(GPS航法)を行う装置である。GPS受信機40で、割り出された自車位置情報が自動運転制御装置20やナビゲーション装置43などへ出力される。
【0045】
ジャイロセンサ41は、車両の回転角速度(ヨーレート)を検出するセンサである。ジャイロセンサ41で検出された回転角速度信号が自動運転制御装置20やナビゲーション装置43などへ出力される。
【0046】
車速センサ42は、車両の速度を検出するセンサであり、例えば、車輪やドライブシャフトなどに設けて車輪の回転速度を検出する車輪速センサなどで構成されている。車速センサ42で検出された車速信号が自動運転制御装置20やナビゲーション装置43などへ出力される。
【0047】
ナビゲーション装置43は、GPS受信機40などで計測された車両の位置情報と地図データベース(図示せず)の地図情報とに基づいて、車両が走行する道路や車線を割り出し、車両の現在位置から目的地までの経路などを演算し、該経路を表示部(図示せず)へ表示し、音声出力部(図示せず)から経路案内などの音声出力を行う。ナビゲーション装置43で求められた、車両の位置情報、走行道路の情報、及び走行予定経路の情報などが自動運転制御装置20へ出力される。走行予定経路の情報には、自動運転区間の開始地点や終了地点、自動運転の開始予告地点や終了(解除)予告地点などの自動運転の切り替え制御に関連する情報も含まれている。ナビゲーション装置43は、図示しない制御部、表示部、音声出力部、操作部、地図データ記憶部などを含んで構成されている。
【0048】
通信装置44は、無線通信網(例えば、携帯電話網、VICS(登録商標)、DSRC(登録商標)などの通信網)を介して各種の情報を取得する装置である。通信装置44は、車々間通信機能や路車間通信機能を備えてもよい。例えば、道路脇に設けられた路側送受信機(例えば光ビーコン、ITSスポット(登録商標))などとの路車間通信により、車両の進路上の道路環境情報(車線規制情報など)を取得することができる。また、車々間通信により、他車両に関する情報(位置情報、走行制御に関する情報など)や他車両により検出された道路環境情報などを取得することができる。
【0049】
運転者撮像カメラ(撮像部)54は、運転席に着座している運転者を撮像する装置であり、図示しないレンズ部、撮像素子部、光照射部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、CCD、CMOSなどの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記光照射部は、LEDなどの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線LEDなどを用いてもよい。前記制御部は、例えば、CPU、メモリ、画像処理回路などを含んで構成されている。前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光(例えば、近赤外線など)を照射し、前記撮像素子部でその反射光を撮像する制御を行う。
【0050】
運転者撮像カメラ54の数は、1台でもよいし、2台以上であってもよい。また、運転者撮像カメラ54は、運転者監視装置10と別体(別筐体)で構成してもよいし、運転者監視装置10と一体(同一筐体)で構成してもよい。運転者撮像カメラ54は、単眼カメラでもよいし、ステレオカメラであってもよい。
【0051】
運転者撮像カメラ54の車室内での設置位置は、運転者の顔と、肩から上腕にかけての一部と、運転席前方に設けられているハンドル52の一部(例えば、上部)とを少なくとも含む視野を撮像できる位置であれば、特に限定されない。例えば、ハンドル52、ハンドル52のコラム部分、メーターパネル部分、ダッシュボードの上、ルームミラー近傍位置、Aピラー部分、ナビゲーション装置43などに設置することができる。運転者撮像カメラ54で撮像された運転者画像データが運転者監視装置10へ出力される。
【0052】
図2は、実施の形態(1)に係る運転者監視装置10のハードウェア構成を示したブロック図である。
運転者監視装置10は、入出力インターフェース(I/F)11、制御ユニット12、及び記憶ユニット13を含んで構成されている。
【0053】
入出力I/F11は、運転者撮像カメラ54、自動運転制御装置20、警報装置37、始動スイッチ38などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。
【0054】
制御ユニット12は、画像取得部12a、運転モード判定部12b、判定処理部12c、及び信号出力部12gを含んで構成されている。制御ユニット12は、Central Processing Unit(CPU)、Graphics processing unit(GPU)などの1つ以上のハードウェアプロセッサを含んで構成されている。
【0055】
記憶ユニット13は、画像記憶部13a、把持位置検出方法記憶部13b、姿勢検出方法記憶部13c、及び把持判定方法記憶部13dを含んで構成されている。記憶ユニット13は、Read Only Memory(ROM)、Random Access Memory(RAM)、ソリッドステートドライブ(SSD)、ハードディスクドライブ(HDD)、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する1つ以上のメモリ装置を含んで構成されている。
【0056】
画像記憶部13aには、画像取得部12aにより取得された運転者画像が記憶される。
把持位置検出方法記憶部13bには、制御ユニット12の把持位置検出部12dで実行される把持位置検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。
【0057】
姿勢検出方法記憶部13cには、制御ユニット12の姿勢検出部12eで実行される運転者の肩腕部の姿勢を検出する姿勢検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。
【0058】
把持判定方法記憶部13dには、制御ユニット12の把持判定部12fで実行される把持判定プログラムや該プログラムの実行に必要なデータなどが記憶されている。例えば、ハンドル52の把持位置と、運転者の肩腕部の姿勢(向きと角度)との対応関係を示す把持判定テーブルなどを記憶してもよい。
【0059】
制御ユニット12は、記憶ユニット13と協働して、記憶ユニット13に各種データを記憶する処理や記憶ユニット13に記憶された各種データやプログラムを読み出し、該プログラムを実行する処理などを行う装置である。
【0060】
制御ユニット12を構成する画像取得部12aは、運転者撮像カメラ54で撮像された運転者画像を取得する処理を実行し、取得した運転者画像を画像記憶部13aに記憶する処理を行う。運転者画像は、静止画であってもよいし、動画であってもよい。運転者画像を取得するタイミングは、例えば、始動スイッチ38がオンされた後、所定の間隔で取得するようになっている。また、運転モード判定部12bにおいて、自動運転モードの解除を予告する解除予告信号を検出した場合にも運転者画像を取得する。
【0061】
運転モード判定部12bは、例えば、自動運転制御装置20から取得した自動運転モードの設定信号、自動運転モードの解除予告信号、自動運転モードの解除信号などを検出し、これら信号に基づいて、自動運転モードや手動運転モードを含む運転モードを判定する処理を実行する。自動運転モードの設定信号は、自動運転モードへの設定(切替)が完了した後に出力される信号である。自動運転モードの解除予告信号は、自動運転モードから手動運転モードへの切替前に(手動運転操作の引継区間に入った場合に)出力される信号である。自動運転モードの解除信号は、自動運転モードが解除され、手動運転モードに切り替わった後に出力される信号である。
【0062】
判定処理部12cは、把持位置検出部12d、姿勢検出部12e、把持判定部12fを含み、運転モード判定部12bにおいて自動運転モードの解除予告信号が検出された場合に、これら各部の処理が実行される。
把持位置検出部12dは、自動運転モードの解除予告信号が検出された場合に、画像記憶部13aから運転者画像(例えば、自動運転モードの解除予告信号が検出された後に、運転者撮像カメラ54で撮像され、画像記憶部13aに記憶された画像)を読み出し、運転者画像を処理し、ハンドル52が把持されているかを検出し、把持されている場合は、ハンドル52の把持位置を検出する処理を実行する。
上記運転者画像の処理には、例えば、次のような画像処理が含まれる。まず、エッジ検出などの画像処理によりハンドル52のエッジ(輪郭)を抽出する。次に、抽出したハンドル52のエッジに対して交差する形のエッジを抽出し、該交差する形のエッジを検出した場合は、該エッジの長さや間隔から手指に相当するか否かを判定する。手指に相当するエッジであると判定した場合、その手指に相当するエッジ位置をハンドル52の把持位置として検出する。
【0063】
姿勢検出部12eは、把持位置検出部12dでの処理に引き続いて、運転者画像を処理し、運転者の肩腕部の姿勢を検出する処理を実行する。
上記運転者画像の処理は、例えば、エッジ検出などの画像処理により運転者の肩腕部のエッジ(輪郭)、すなわち、肩から上腕部のエッジと、前腕部のエッジとを検出し、検出できた各エッジの方向(向き)や角度(例えば、鉛直方向に対する角度)を推定する処理を行う。運転者の肩腕部の姿勢には、少なくとも左右いずれかの上腕部、及び前腕部の方向、角度のうちのいずれかが含まれる。
【0064】
把持判定部12fは、姿勢検出部12eの処理に引き続いて、把持位置検出部12dで検出されたハンドル52の把持位置と、姿勢検出部12eで検出された運転者の肩腕部の姿勢とに基づいて、撮像されている運転者がハンドル52を把持しているか否かを判定する処理を実行する。
【0065】
例えば、把持判定方法記憶部13dに記憶した、ハンドル52の把持位置と、運転者の肩腕部の姿勢(向きと角度)との関係を示す判定テーブルを読み出し、該判定テーブルに、前記検出されたハンドル52の把持位置と、運転者の肩腕部の姿勢とを当てはめて、ハンドル52を把持している条件に当てはまるか否かを判定する。
【0066】
図3(a)は、運転者撮像カメラ54で撮像された運転者画像の一例、図3(b)は、把持判定方法記憶部13dに記憶された前記判定テーブルの一例を示す図である。
図3(a)に示した運転者画像は、運転者がハンドル52の左右上部2箇所を把持している状態(適切な把持状態)を示している。図3(b)に示した判定テーブルには、ハンドル52の把持位置に対応する、右腕又は左腕の向きと角度を含む姿勢条件が設定されている。図3(b)に示した一例では、ハンドル52の把持位置が正面視左側上部の場合、運転者の左腕の上腕部の向きは前方で角度θは40度〜70度の範囲にあるという条件、ハンドル52の把持位置が正面視右側上部の場合、運転者の右腕の上腕部の向きは前方で角度θは40度〜70度の範囲にあるという条件が設定されている。なお、前記判定テーブルに設定されている上腕部の角度(θ、θ)は、運転者撮像カメラ54の設置位置、撮像視野、運転者の画像中での位置などの条件に応じて、適切な判定が可能となるように設定すればよい。
【0067】
信号出力部12gは、把持位置検出部12dによりハンドル52の把持位置が検出されなかった場合、警報装置(警報部)37に、ハンドル52を運転者に把持させるための警告処理を実行させるための信号を出力する。
また、信号出力部12gは、把持判定部12fでの判定結果に基づいて所定の信号を出力する。例えば、把持判定部12fでの判定結果が、運転者がハンドル52を把持している結果の場合、自動運転モードから手動運転モードへの切り替えを許可する信号を自動運転制御装置20へ出力する。一方、判定結果が、運転者がハンドル52を把持していない結果の場合、警報装置37に警告処理を指示する信号を出力したり、自動運転で強制的に車両を退避(停車又は減速)させる強制退避を指示する信号を自動運転制御装置20に出力したりする処理を実行する。
【0068】
図4は、実施の形態(1)に係る運転者監視装置10における制御ユニット12の行う処理動作を示すフローチャートである。
まず、ステップS1では、始動スイッチ38のオン信号を取得したか否かを判断し、始動スイッチ38のオン信号を取得したと判断すればステップS2に進む。ステップS2では、運転者撮像カメラ54を起動させて、運転者画像の撮像処理を開始し、次のステップS3では、運転者撮像カメラ54で撮像された運転者画像を取得し、画像記憶部13aに記憶する処理を行い、その後ステップS4に進む。
【0069】
ステップS4では、自動運転制御装置20から自動運転モードの設定信号を取得したか否かを判断し、自動運転モードの設定信号を取得したと判断すればステップS5に進む。ステップS5では、自動運転モードでの運転者監視処理を行う。例えば、運転者撮像カメラ54で自動運転中の運転者を撮像し、該撮像された運転者画像を解析して、運転者の状態を監視する処理を行い、その後ステップS6に進む。
【0070】
ステップS6では、自動運転モードの解除予告信号(手動運転モードへの切替予告信号)を取得したか否かを判断し、前記自動運転モードの解除予告信号を取得していない(自動運転モード中)と判断すればステップS5に戻り、自動運転モードでの運転者監視処理を継続する。一方、ステップS6において、自動運転モードの解除予告信号を取得したと判断すればステップS7に進む。
【0071】
ステップS7では、運転者撮像カメラ54で撮像された運転者画像に基づいて、撮像された運転者がハンドル52を把持しているか否かの判定処理を行い、その後ステップS8に進む。ステップS7の把持判定処理の詳細については後述する。
【0072】
ステップS8では、自動運転モードの解除信号を取得したか否かを判断し、自動運転モードの解除信号を取得したと判断すればステップS9に進む。ステップS9では、手動運転モードでの運転者監視処理を行う。例えば、運転者撮像カメラ54で手動運転中の運転者を撮像し、該撮像された運転者画像を解析して、運転者の状態を監視する処理を行い、その後ステップS10に進む。
【0073】
ステップS10において、始動スイッチ38のオフ信号を取得したか否かを判断し、オフ信号を取得したと判断すれば、その後処理を終える一方、オフ信号を取得していないと判断すればステップS3に戻る。
【0074】
また、ステップS4において、自動運転モードの設定信号を取得していないと判断すればステップS11に進み、手動運転モードでの運転者監視処理を行う。
また、ステップS8において、自動運転モードの解除信号を取得していないと判断すればステップS12に進む。ステップS12では、自動運転による強制退避の完了信号を取得したか否かを判断し、強制退避の完了信号を取得したと判断すればその後処理を終える一方、強制退避の完了信号を取得していないと判断すれば、ステップS8に戻る。
【0075】
図5は、実施の形態(1)に係る運転者監視装置10における制御ユニット12の行う把持判定処理動作を示すフローチャートである。なお、本処理動作は、図4に示すステップS7に対応する処理であり、ステップS6において、自動運転モードの解除予告を検出した場合に実行される。
【0076】
図4のステップS6において、自動運転モードの解除予告信号を検出すると、把持判定処理のステップS21に進む。
ステップS21では、画像記憶部13aに記憶されている運転者画像を読み出し、ステップS22に進む。画像記憶部13aから読み出す運転者画像は、例えば、自動運転モードの解除予告信号を取得した後に、運転者撮像カメラ54で撮像され、画像記憶部13aに記憶された運転者画像である。運転者画像は、ここでは、運転者の肩から上腕にかけての一部と、ハンドル52の一部(例えば、上半分程度)とを少なくとも含む視野を撮像した画像として説明する。
【0077】
ステップS22では、読み出した運転者画像に対する画像処理を開始し、運転者画像からハンドル52を検出する処理を行い、ステップS23に進む。例えば、エッジ検出などの画像処理によりハンドルのエッジ(輪郭)を抽出する。
【0078】
ステップS23では、ハンドル52が把持されているか否かを判断する。例えば、上記抽出されたハンドル52のエッジに対して交差する形のエッジを抽出し、該交差する形のエッジの長さ、間隔などを検出し、そのエッジの形から人の手であるか否かを判断する。ハンドル52が把持されている状態とは、ハンドル52を手で握っている状態の他、ハンドル52に手を添えている状態も含まれる。
【0079】
ステップS23において、ハンドル52が把持されていると判断すればステップS24に進む。ステップS24では、ハンドル52の把持位置が適切であるか否かを判断する。
ハンドル52の把持位置が適切である場合とは、例えば、運転者画像から抽出したハンドル部分に2箇所把持位置が検出されている場合であるが、これに限定されない。また、ステップS24の処理を省略してもよい。
【0080】
ステップS24において、ハンドル52の把持位置が適切であると判断すればステップS25に進む。ステップS25では、運転者画像から運転者の肩腕部の姿勢を検出する処理を行う。例えば、エッジ検出などの画像処理により運転者の肩腕部のエッジ(輪郭)、すなわち、少なくとも左右いずれかの肩から上腕部のエッジと、前腕部のエッジとを検出し、検出できた各エッジの方向や角度を推定する処理を行う。
【0081】
次のステップS26では、運転者の少なくとも左右いずれかの肩、上腕部、及び前腕部(運転者の肩から手まで)を検出したか否かを判断し、検出したと判断すればステップS27に進む。ステップS27では、画像処理の結果に基づいて、前記検出された肩、上腕部、及び前腕部と、ハンドル52の把持位置(手の位置)とか繋がっているか否かを判断する。
【0082】
ステップS27において、繋がっていると判断すればステップS28に進む。ステップS28では、自動運転モードから手動運転モードへの切替を許可する信号を自動運転制御装置20に出力する処理を行い、その後、本処理動作を終え、図4のステップS8に進む。
【0083】
一方ステップS26において、運転者の肩、上腕部、及び前腕部を検出していない、すなわち、運転者の少なくとも左右いずれかの肩から上腕部を検出したと判断すればステップS29に進む。ステップS29では、ハンドル52の把持位置と、運転者の肩上腕部の姿勢とを、把持判定方法記憶部13dから読み出した把持判定テーブルに当てはめて、運転者によるハンドル52の把持状態を推定する処理を行い、その後ステップS30に進む。ステップS30では、運転者がハンドル52を把持しているか否かを判断し、把持していると判断すればステップS28に進む。
【0084】
一方、ステップS23において、ハンドル52が把持されていないと判断した場合、ステップS24において、ハンドル52の把持位置が適切でない、例えば、把持位置が1箇所しかないと判断した場合、ステップS27において、運転者の肩、上腕部、及び前腕部と、ハンドル52の把持位置とが繋がっていないと判断した場合、又はステップS30において、運転者がハンドル52を把持していないと判断した場合、ステップS31に進む。
【0085】
ステップS31では、運転者にハンドル52を適正な姿勢で握らせるための警告を既に行ったか否かを判断し、警告済みであると判断すればステップS32に進む。ステップS32では、自動運転制御装置20に、強制退避指示信号を出力する処理を行い、その後処理を終え、図4のステップS8に進む。
【0086】
一方ステップS31において、警告済みではない(未警告である)と判断すれば、ステップS33に進む。ステップS33では、警報装置37に対して、運転者にハンドル52を適正な姿勢で握らせるための警告処理を実行させるための信号を出力し、その後ステップS21に戻る。
【0087】
上記実施の形態(1)に係る運転者監視装置10によれば、自動運転制御装置20により自立走行を制御する自動運転モードから運転者が操舵する手動運転モードに切り替えられる場合に、運転者撮像カメラ54で撮像された運転者画像を処理して、ハンドル52の把持位置と、運転者の肩腕部の姿勢とが検出される。そして、該検出されたハンドル52の把持位置と、運転者の肩腕部の姿勢との関係に基づいて、ハンドル52が運転者の手で把持されているか否かが判定される。したがって、運転者以外の同乗者がハンドル52を把持しているような状態と明確に区別することが可能となり、運転席に着座している本来の運転者がハンドル52を把持しているか否かを精度よく検出することができる。
【0088】
また、把持位置検出部12dによりハンドル52の把持位置が検出されなかった場合や把持位置が適切でなかった場合、運転者に適正な姿勢(例えば、ハンドルの上部2箇所を把持する姿勢)でハンドル52を把持させるための警告処理が実行されるので、運転者に適正な姿勢でのハンドル操作の引き継ぎを促すことができる。
【0089】
また、ハンドル52の把持位置と運転者の肩腕部の姿勢との関係に基づいてハンドル52が運転者の手で把持されていると判定された場合、自動運転モードから前記手動運転モードへの切り替えを許可する信号が出力されるので、運転者がハンドル操作を引き継いだ状態で、自動運転モードから手動運転モードへの切り替えを行うことができ、該切り替え時の車両の安全を確保することができる。
【0090】
また、ハンドル52が運転者の手で把持されていないと判定された場合、自動運転モードから手動運転モードへの切り替えを許可しない信号が出力されるので、ハンドル52の操作が運転者に引き継がれていない状態で、手動運転モードに切り替わることを防止することができる。
【0091】
図6は、実施の形態(2)に係る運転者監視装置10Aを含む自動運転システム1Aの要部構成を示すブロック図である。なお、図1に示した自動運転システム1の要部構成と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。
【0092】
実施の形態(2)に係る運転者監視装置10Aでは、ハンドル52に設けられた接触検出センサ(接触検出部)55からの信号を取得する接触信号取得部12hをさらに備え、接触検出センサ55から取得した信号を用いた処理を実行する点が、実施の形態(1)に係る運転者監視装置10と大きく相違している。
【0093】
ハンドル52に設けられる接触検出センサ55は、ハンドル52に触れた手(特に掌や指の部分)を検出することができるセンサである。接触検出センサ55には、例えば、静電容量式センサや感圧式センサなどが採用され得るが、これに限定されない。
前記静電容量式センサは、ハンドル52に設けた電極部と手との間に生じる静電容量の変化を検出して、ハンドル52への接触を検出するセンサである。
前記感圧式センサは、ハンドル52に設けた電極部と検出部との接触面積(抵抗値)の変化により、ハンドル52を把持したときの圧力を検出して、ハンドル52への接触を検出するセンサである。接触検出センサ55は、ハンドル52の円周上やスポーク部分に複数設けてもよい。接触検出センサ55で検出された信号が運転者監視装置10Aに出力される。
【0094】
図7は、実施の形態(2)に係る運転者監視装置10Aのハードウェア構成を示すブロック図である。なお、図2に示した運転者監視装置10のハードウェア構成と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。
運転者監視装置10Aは、入出力インターフェース(I/F)11、制御ユニット12A、及び記憶ユニット13Aを含んで構成されている。
【0095】
入出力I/F11は、運転者撮像カメラ54、接触検出センサ55、自動運転制御装置20、警報装置37、始動スイッチ38などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。
【0096】
制御ユニット12Aは、画像取得部12a、接触信号取得部12h、運転モード判定部12b、判定処理部12i、及び信号出力部12gを含んで構成され、CPU、GPUなどの1つ以上のハードウェアプロセッサを含んで構成されている。
【0097】
記憶ユニット13Aは、画像記憶部13a、姿勢検出方法記憶部13e、及び把持判定方法記憶部13fを含んで構成され、ROM、RAM、SSD、HDD、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する1つ以上のメモリ装置を含んで構成されている。
【0098】
画像記憶部13aには、画像取得部12aにより取得された運転者画像(運転者撮像カメラ54で撮像された画像)が記憶される。
姿勢検出方法記憶部13eには、制御ユニット12Aの姿勢検出部12kで実行される運転者の肩腕部の姿勢を検出する姿勢検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。
【0099】
把持判定方法記憶部13fには、制御ユニット12Aの把持判定部12mで実行される把持判定プログラムや該プログラムの実行に必要なデータなどが記憶されている。例えば、ハンドル52の把持位置と、運転者の肩腕部の姿勢(向きと角度)との対応関係を示す把持判定テーブルなどを記憶してもよい。
【0100】
制御ユニット12Aは、記憶ユニット13Aと協働して、記憶ユニット13Aに各種データを記憶する処理や、記憶ユニット13Aに記憶されたデータやプログラムを読み出し、該プログラムを実行するように構成されている。
【0101】
接触信号取得部12hは、運転モード判定部12bにおいて、自動運転モードの解除予告信号(自動運転モードから手動運転モードへの切替予告信号)が検出された場合に、接触検出センサ55から接触信号を取得する処理を実行し、取得した接触信号を把持位置検出部12jに送る。
【0102】
判定処理部12iは、把持位置検出部12j、姿勢検出部12k、把持判定部12mを含み、運転モード判定部12bにおいて自動運転モードの解除予告信号が検出された場合に、これら各部の処理が実行される。
把持位置検出部12jは、自動運転モードの解除予告信号が検出された場合に、接触信号取得部12hから接触検出センサ55で検出された接触信号を取り込み、該接触信号に基づいて、ハンドル52が把持されているか否か、そして、ハンドル52の把持位置を検出する処理を実行する。
【0103】
姿勢検出部12kは、把持位置検出部12jでの処理に引き続いて、運転者画像を処理し、運転者の肩腕部の姿勢を検出する処理を実行する。
上記運転者画像の処理は、例えば、エッジ検出などの画像処理により、画像に含まれる運転者の肩腕部のエッジ(輪郭)、すなわち、肩から上腕部のエッジと、前腕部のエッジとを検出し、検出できた各エッジの方向や角度(鉛直方向に対する角度)を推定する処理を行う。運転者の肩腕部の姿勢には、少なくとも左右いずれかの上腕部、及び前腕部の方向(向き)、角度のうちのいずれかが含まれる。
【0104】
把持判定部12mは、姿勢検出部12kの処理に引き続いて、把持位置検出部12jで検出されたハンドル52の把持位置と、姿勢検出部12kで検出された運転者の肩腕部の姿勢とに基づいて、撮像されている運転者がハンドル52を把持しているか否かを判定する処理を実行する。
【0105】
例えば、把持判定方法記憶部13fに記憶されている、ハンドル52の把持位置と、運転者の肩腕部の姿勢(向きと角度)との関係を示す把持判定テーブルを読み出し、該把持判定テーブルに、前記検出されたハンドル52の把持位置と、運転者の肩腕部の姿勢とを当てはめて、把持している条件に当てはまるか否かを判定する。
【0106】
図8は、実施の形態(2)に係る運転者監視装置10Aにおける制御ユニット12Aの行う把持判定処理動作を示すフローチャートである。本処理動作は、図4に示すステップS7に対応する処理であり、ステップS6において、自動運転モードの解除予告を検出した場合に実行される。なお、図5に示した把持判定処理動作と同一内容の処理動作については同一符号を付し、その説明を省略する。
【0107】
図4のステップS6において、自動運転モードの解除予告信号を検出すると、把持判定処理のステップS41に進む。ステップS41では、画像記憶部13aに記憶されている運転者画像を読み出し、ステップS42に進む。画像記憶部13aから読み出す運転者画像は、例えば、自動運転モードの解除予告信号を取得した後に、運転者撮像カメラ54で撮像され、画像記憶部13aに記憶された運転者画像である。なお、運転者画像は、運転者の顔と、肩及び上腕部の一部とを少なくとも含む視野を撮像した画像であり、ハンドル52は、写っていてもよいし、写っていなくてもよい。
【0108】
ステップS42では、接触検出センサ55から接触信号を取得する処理を行い、ステップS43に進む。ステップS43では、接触信号を取得したか(ハンドル52が把持されているか)否かを判断し、接触信号を取得した(ハンドル52が把持されている)と判断すればステップS44に進む。
【0109】
ステップS44では、接触信号が検出された箇所が2箇所であるか否かを判断し、2箇所であると判断すればステップS45に進む。ステップS45では、運転者画像から運転者の肩上腕部の姿勢を検出する処理を行う。
例えば、エッジ検出などの画像処理により運転者の肩腕部のエッジ(輪郭)、すなわち、少なくとも左右いずれかの肩から上腕部のエッジを検出し、検出できた各エッジの方向や角度を検出する処理を行い、その後ステップS46に進む。
【0110】
ステップS46では、ハンドル52の把持位置と、運転者の肩上腕部の姿勢とを、把持判定方法記憶部13fから読み出した把持判定テーブルに当てはめて、運転者によるハンドル52の両手把持状態を判定する処理を行い、その後ステップS47に進む。
ステップS47では、運転者がハンドル52を両手で把持しているか否かを判断し、両手で把持していると判断すればステップS28に進み、その後把持判定処理を終える。
【0111】
一方ステップS44において、接触信号が検出された箇所が2箇所ではない、すなわち、1箇所であると判断すればステップS48に進む。ステップS48では、運転者画像から運転者の肩上腕部の姿勢を検出する処理を行い、その後ステップS49に進む。
ステップS49では、ハンドル52の把持位置と、運転者の肩上腕部の姿勢とを、把持判定方法記憶部13fから読み出した把持判定テーブルに当てはめて、運転者によるハンドル52の片手把持状態を判定する処理を行い、その後ステップS50に進む。
ステップS50では、運転者がハンドル52を片手で把持しているか否かを判断し、片手で把持していると判断すればステップS28に進み、その後把持判定処理を終える。
【0112】
一方、ステップS43において、接触信号を取得していないと判断した場合、ステップS47において、運転者が両手でハンドルを把持していないと判断した場合、又はステップS50において、運転者が片手でハンドルを把持していないと判断した場合、ステップS31〜S33の処理に進む。
【0113】
上記実施の形態(2)に係る運転者監視装置10Aによれば、自動運転モードから手動運転モードに切り替えられる場合に、接触検出センサ55から取得した接触信号に基づいてハンドル52の把持位置を検出し、該検出されたハンドル52の把持位置と、運転者画像を処理して検出された運転者の肩腕部の姿勢に基づいて、ハンドル52が運転者の両手又は片手で把持されているか否かが判定される。
したがって、運転者画像にハンドル52が写っていない場合であっても、運転者以外の同乗者がハンドル52を把持しているような状態と区別して、運転席に着座している本来の運転者がハンドル52を両手又は片手で把持しているか否かを精度よく検出することができる。
【0114】
なお、上記運転者監視装置10Aでは、ハンドル52の把持位置を、接触検出センサ55から取得した接触信号に基づいて検出するようになっているが、運転者画像にハンドル52の一部(上半分程度)も写っている場合は、ハンドル52の把持位置を検出する場合に、接触検出センサ55から取得した接触信号に基づいて検出した把持位置と、運転者画像を処理して検出された把持位置とを照合して、ハンドルの把持位置を検出するようにしてもよい。
【0115】
図9は、実施の形態(3)に係る運転者監視装置10Bのハードウェア構成を示すブロック図である。なお、図2に示した運転者監視装置10のハードウェア構成と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。また、実施の形態(3)に係る運転者監視装置10Bを含む自動運転システム1Bの要部構成は、図1に示した自動運転システム1と略同様であるため、同一機能を有する構成部品には同一符号を付し、その説明を省略する。
【0116】
実施の形態(3)に係る運転者監視装置10Bでは、ハンドル52を把持した状態の運転者画像と、ハンドル52を把持していない状態の運転者画像とを教師データとして学習器で学習させて作成した分類器を用いて、運転者画像に写された運転者がハンドル52を把持しているか否かを判定する処理を実行する点が、実施の形態(1)に係る運転者監視装置10と大きく相違している。
【0117】
実施の形態(3)に係る運転者監視装置10Bは、入出力インターフェース(I/F)11、制御ユニット12B、及び記憶ユニット13Bを含んで構成されている。
入出力I/F11は、運転者撮像カメラ54、自動運転制御装置20、警報装置37、始動スイッチ38などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。
【0118】
制御ユニット12Bは、画像取得部12a、運転モード判定部12b、判定処理部12n、及び信号出力部12gを含んで構成され、CPU、GPUなどの1つ以上のハードウェアプロセッサを含んで構成されている。
【0119】
記憶ユニット13Bは、画像記憶部13a、及び分類器記憶部13gを含んで構成され、ROM、RAM、SSD、HDD、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する1つ以上のメモリ装置を含んで構成されている。
【0120】
画像記憶部13aには、画像取得部12aにより取得された運転者画像(運転者撮像カメラ54で撮像された画像)が記憶される。
分類器記憶部13gには、把持判定用の学習済み分類器が記憶されている。学習済み分類器は、後述する学習装置60により、ハンドル52を把持した状態の運転者画像と、ハンドル52を把持していない状態の運転者画像とを教師データとして予め学習処理を行って作成した学習モデルであり、例えば、ニューラルネットワークなどで構成されている。
ニューラルネットワークは、階層型ニューラルネットワークでもよいし、畳み込みニューラルネットワークであってもよい。分類器記憶部13gに記憶される学習済み分類器は、1つでもよいし、2つ以上であってもよい。運転者画像に写されている運転者の属性(男性、女性、体格など)に対応した、複数の学習済み分類器を記憶してもよい。
【0121】
学習済み分類器は、入力層と、隠れ層(中間層)と、出力層とを含む複数の層で区分けされた複数のニューロン(ユニットともいう)によって信号が処理され、出力層から分類結果が出力されるニューラルネットワークで構成されている。
入力層は、ニューラルネットワークに与える情報を取り込む層である。例えば、運転者画像の画素数に対応したユニット数を備え、各ニューロンに運転者画像の各画素情報が入力される。
【0122】
中間層のニューロンは、複数の入力値に重み係数を積算して加算し、さらにしきい値を減算した値を伝達関数(例えば、ステップ関数、シグモイド関数など)で処理した値を出力する処理を行い、入力層に入力された運転者画像の特徴を抽出していく。中間層の浅い層では、運転者画像における運転者の小さい特徴(線分など)が認識され、層が深くなる(出力側になる)につれて、小さい特徴が組み合わされて、運転者の大きな特徴(より広範囲の特徴)が認識される。
【0123】
出力層のニューロンは、ニューラルネットワークが算出した結果を出力する。例えば、2つのニューロンで構成し、ハンドルを把持している状態と、ハンドルを把持していない状態とのいずれに属するのかを分類(識別)した結果を出力する。
【0124】
制御ユニット12Bは、記憶ユニット13Bと協働して、記憶ユニット13Bに各種データを記憶する処理や、記憶ユニット13Bに記憶されたデータや分類器などを読み出し、該分類器を用いた把持判定処理を実行する。
【0125】
判定処理部12nは、運転モード判定部12bにおいて自動運転モードの解除予告信号が検出された場合に、分類器記憶部13gから学習済み分類器を読み出すとともに、画像記憶部13aから運転者画像を読み出す。そして、学習済み分類器の入力層に運転者画像の画素データ(画素値)を入力し、ニューラルネットワークの中間層の演算処理を行い、出力層から、運転者がハンドルを把持している状態とハンドルを把持していない状態とのいずれに属するのかを分類(識別)した結果を出力する処理を行う。
【0126】
図10は、運転者監視装置10Bに記憶される学習済み分類器を生成する学習装置60のハードウェア構成を示すブロック図である。
学習装置60は、入出力インターフェース(I/F)61、学習制御ユニット62、及び学習記憶ユニット63を含むコンピュータ装置で構成されている。
【0127】
入出力I/F61は、学習用運転者撮像カメラ64、入力部65、表示部66、外部記憶部67などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。
【0128】
学習用運転者撮像カメラ64は、例えば、ドライビングシミュレータ装置に装備されたカメラであり、ドライビングシミュレータ装置の運転席に着座している運転者を撮像する装置である。学習用運転者撮像カメラ64で撮像される視野は、車両に搭載される運転者撮像カメラ54と同様の視野に設定されている。入力部65は、キーボードなどの入力装置で構成されている。表示部66は、液晶ディスプレイなどの表示装置で構成されている。外部記憶部67は、外付けの記憶装置であり、HDD、SSD、フラッシュメモリなどで構成されている。
【0129】
学習制御ユニット62は、学習画像取得部62a、把持情報取得部62b、学習処理部62c、及びデータ出力部62eを含んで構成され、CPU、GPUなどの1つ以上のハードウェアプロセッサを含んで構成されている。
【0130】
学習記憶ユニット63は、学習データセット記憶部63a、未学習分類器記憶部63b、及び学習済み分類器記憶部63cを含んで構成され、ROM、RAM、SSD、HDD、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する1つ以上のメモリ装置を含んで構成されている。
【0131】
学習制御ユニット62は、学習記憶ユニット63と協働して、学習記憶ユニット63に各種データ(学習済み分類器など)を記憶する処理や学習記憶ユニット63に記憶されたデータやプログラム(未学習分類器など)を読み出して、該プログラムを実行するように構成されている。
【0132】
学習画像取得部62aは、学習用運転者撮像カメラ64で撮像された学習用運転者画像を取得し、取得した学習用運転者画像を学習データセット記憶部63aに記憶する処理などを行う。学習用運転者画像には、ドライビングシミュレータ装置のハンドルを把持した運転者の画像と、ハンドルを把持していない運転者の画像が含まれる。
【0133】
把持情報取得部62bは、学習画像取得部62aで取得される各学習用運転者画像に対応付ける教師データとしてのハンドル把持情報(把持状態の正解データ)を取得し、取得したハンドル把持情報を学習データセット記憶部63aに各学習用運転者画像と対応付けて記憶する処理などを行う。ハンドル把持情報には、ハンドル把持の有無に関する正解データが含まれている。ハンドル把持情報は入力部65を介して設計者により入力される。
【0134】
学習処理部62cは、未学習のニューラルネットワークなどの未学習分類器と、学習データセット(学習用運転者画像とハンドル把持情報)とを用いて学習処理を行って学習済み分類器を作成し、作成した学習済み分類器を学習済み分類器記憶部63cに記憶する処理などを行う。
データ出力部62eは、学習済み分類器記憶部63cに記憶された学習済み分類器を外部記憶部67に出力する処理などを行う。
【0135】
学習データセット記憶部63aには、学習用運転者画像と、その教師データ(正解データ)としてのハンドル把持情報とが対応付けて記憶されている。
未学習分類器記憶部63bには、未学習のニューラルネットワークのプログラムなど、未学習の分類器に関する情報が記憶されている。
学習済み分類器記憶部63cには、学習済みのニューラルネットワークのプログラムなど、学習済みの分類器に関する情報が記憶されている。
【0136】
図11は、学習装置60の学習制御ユニット62が行う学習処理動作を示したフローチャートである。
まず、ステップS51では、未学習分類器記憶部63bから未学習の分類器を読み出し、次のステップS52では、未学習の分類器を構成するニューラルネットワークの重みとしきい値などの定数を初期化して、ステップS53に進む。
【0137】
ステップS53では、学習データセット記憶部63aから学習データセット(学習用運転者画像とハンドル把持情報)を読み出し、次のステップS54では、読み出した学習用運転者画像を構成する画素データ(画素値)を、未学習のニューラルネットワークの入力層に入力し、その後ステップS55に進む。
【0138】
ステップS55では、未学習のニューラルネットワークの出力層から把持判定データを出力し、次のステップS56では、出力された把持判定データと、教師データであるハンドル把持情報とを比較し、ステップS57に進む。
【0139】
ステップS57では、出力の誤差が規定値以下になったか否かを判断し、出力の誤差が規定値以下になっていないと判断すればステップS58に進む。ステップS58では、出力の誤差が規定値以下になるようにニューラルネットワークを構成する中間層のニューロンの特性(重みやしきい値など)の調整を行い、その後ステップS53に戻り、学習処理を継続する。ステップS58では、誤差逆伝播法(バックプロバケーション)を用いてもよい。
【0140】
一方ステップS57において、出力の誤差が規定値以下になったと判断すればステップS59に進み、学習処理を終了し、ステップS60に進む。ステップS60では、学習済みのニューラルネットワークを学習済み分類器として学習済み分類器記憶部63cに記憶して、その後処理を終える。
【0141】
学習済み分類器記憶部63cに記憶された学習済み分類器は、データ出力部62eにより外部記憶部67に出力することができる。外部記憶部67に記憶された学習済み分類器が、運転者監視装置10Bの分類器記憶部13gに格納されるようになっている。
【0142】
図12は、実施の形態(3)に係る運転者監視装置10Bにおける制御ユニット12Bの行う把持判定処理動作を示したフローチャートである。なお、本処理動作は、図4に示すステップS7に対応する処理であり、ステップS6において、自動運転モードの解除予告を検出した場合に実行される。なお、図5に示した把持判定処理動作と同一内容の処理動作については同一符号を付し、その説明を省略する。
【0143】
図4のステップS6において、自動運転モードの解除予告信号を検出すると、把持判定処理のステップS61に進む。ステップS61では、画像記憶部13aに記憶されている運転者画像を読み出し、ステップS62に進む。画像記憶部13aから読み出す運転者画像は、例えば、自動運転モードの解除予告信号を取得した後に、運転者撮像カメラ54で撮像され、画像記憶部13aに記憶された運転者画像である。
【0144】
ステップS62では、分類器記憶部13gから学習済み分類器を読み出し、ステップS63に進む。学習済み分類器は、ここでは、入力層と隠れ層(中間層)と出力層とを有するニューラルネットワークで構成されているものとする。ステップS63では、読み出した学習済み分類器の入力層に、運転者画像の画素値を入力し、ステップS64に進む。
ステップS64では、学習済み分類器の中間層での演算処理を行い、その後ステップS65に進む。
【0145】
ステップS65では、学習済み分類器の出力層から把持判定データを出力し、次のステップS66では、出力された把持判定データに基づき、運転者がハンドル52を把持しているか否かを判断する。
【0146】
ステップS66において、運転者がハンドル52を把持していると判断すればステップS28に進み、自動運転モードから手動運転モードへの切り替えを許可する信号を自動運転制御装置20に出力し、その後、把持判定処理を終え、図4のステップS8に進む。
一方ステップS66において、運転者がハンドル52を把持していないと判断すればステップS31〜S33の処理へ進む。
【0147】
上記実施の形態(3)に係る運転者監視装置10Bによれば、自動運転制御装置20の制御により自動運転モードから手動運転モードに切り替えられる場合に、学習済み分類器の入力層に運転者画像のデータを入力することで、出力層からハンドル52が運転者の手で把持されているか否かの判定データが出力される。
したがって、判定処理部12nでの処理に学習済み分類器を用いることで、運転者以外の同乗者がハンドル52を把持しているような状態と区別することができ、運転席に着座している本来の運転者がハンドル52を把持しているか否かを精度良く検出することができる。
【0148】
図13は、実施の形態(4)に係る運転者監視装置10Cのハードウェア構成を示すブロック図である。また、実施の形態(4)に係る運転者監視装置10Cを含む自動運転システム1Cの要部構成は、図1に示した自動運転システム1と略同様であるため、同一機能を有する構成部品には同一符号を付し、その説明を省略する。
実施の形態(4)に係る運転者監視装置10Cは、実施の形態(3)に係る運転者監視装置10Bの変更例であり、制御ユニット12Cの学習済み分類器作成部12p、判定処理部12rと、記憶ユニット13Cの分類器情報記憶部13hとが異なる構成となっている。
【0149】
実施の形態(4)に係る運転者監視装置10Cは、入出力インターフェース(I/F)11、制御ユニット12C、及び記憶ユニット13Cを含んで構成されている。
制御ユニット12Cは、画像取得部12a、運転モード判定部12b、学習済み分類器作成部12p、判定処理部12r、及び信号出力部12gを含んで構成されている。
記憶ユニット13Bは、画像記憶部13a、及び分類器情報記憶部13hを含んで構成されている。
【0150】
分類器情報記憶部13hには、ニューラルネットワークの階層数、各層のニューロン数、及び伝達関数(例えば、ステップ関数、シグモイド関数など)を含む未学習の分類器に関する定義情報と、予め学習処理により求められた各層のニューロン間の重み係数及びしきい値を含む定数データとが記憶されている。未学習の分類器に関する定義情報は、1つの分類器でもよいし、2つ以上の分類器であってもよい。また、定数データは、運転者画像に写されている運転者の属性(男性、女性、体格など)に対応した複数の定数データの組を記憶してもよい。
【0151】
学習済み分類器作成部12pは、運転モード判定部12bにおいて、自動運転モードの解除予告信号を検出した場合、分類器情報記憶部13hから定義情報と定数データとを読み出し、読み出した定義情報と定数データとを用いて学習済み分類器を作成する処理を行う。学習済み分類器は、ニューラルネットワークで構成されており、画像記憶部13aから読み出した運転者画像のデータが入力される入力層と、ハンドル52が運転者の手で把持されているか否かの判定データを出力する出力層とを含んでいる。ニューラルネットワークは、階層型ニューラルネットワークでもよいし、畳み込みニューラルネットワークであってもよい。
【0152】
また、判定処理部12rは、作成した学習済み分類器の入力層に運転者画像の画素データを入力し、出力層からハンドル52が運転者の手で把持されているか否かの判定データを出力する処理を行うようになっている。
【0153】
上記実施の形態(4)に係る運転者監視装置10Cによれば、自動運転モードから手動運転モードに切り替えられる場合に、分類器情報記憶部13hに記憶されている未学習分類器の定義情報と定数データとを読み出し、学習済み分類器を作成し、作成した学習済み分類器の入力層に運転者画像のデータを入力することで、出力層からハンドル52が運転者の手で把持されているか否かの判定データが出力される。
したがって、学習済み分類器作成部12pで作成した学習済み分類器を用いることで、運転者以外の同乗者がハンドル52を把持しているような状態と区別することができ、運転席に着座している本来の運転者がハンドル52を把持しているか否かを精度良く検出することができる。
【0154】
(付記1)
自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
前記運転者を撮像する撮像部で撮像された運転者画像を記憶する画像記憶部を備えたメモリと、
該メモリに接続された少なくとも1つのハードウェアプロセッサとを備え、
該少なくとも1つのハードウェアプロセッサは、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得して前記画像記憶部に記憶させ、
該画像記憶部から前記運転者画像を読み出し、
該読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定し、
該判定した結果に基づく所定の信号を出力する、ように構成されている運転者監視装置。
【0155】
(付記2)
運転席に着座している運転者を撮像する撮像部で撮像された運転者画像を記憶する画像記憶部を備えたメモリと、
該メモリに接続された少なくとも1つのハードウェアプロセッサとを備えた装置を用いて、
自動運転モードと手動運転モードとを備えた車両の前記運転者を監視する運転者監視方法であって、
前記少なくとも1つのハードウェアプロセッサによって、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得するステップと、
前記少なくとも1つのハードウェアプロセッサによって、前記取得した前記運転者画像を前記画像記憶部に記憶させるステップと、
前記少なくとも1つのハードウェアプロセッサによって、前記画像記憶部から前記運転者画像を読み出すステップと、
前記少なくとも1つのハードウェアプロセッサによって、前記読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定するステップと、
前記少なくとも1つのハードウェアプロセッサによって、前記判定した結果に基づく所定の信号を出力するステップと、を含む運転者監視方法。
【符号の説明】
【0156】
1、1A、1B、1C 自動運転システム
10、10A、10B、10C 運転者監視装置
11 入出力I/F
12、12A、12B、12C 制御ユニット
12a 画像取得部
12b 運転モード判定部
12c、12i、12n、12r 判定処理部
12d、12j 把持位置検出部
12e、12k 姿勢検出部
12f、12m 把持判定部
12g 信号出力部
12h 接触信号取得部
12p 学習済み分類器作成部
13、13A、13B、13C 記憶ユニット
13a 画像記憶部
13b 把持位置検出方法記憶部
13c、13e 姿勢検出方法記憶部
13d、13f 把持判定方法記憶部
13g 分類器記憶部
13h 分類器情報記憶部
20 自動運転制御装置
37 警報装置
52 ハンドル
54 運転者撮像カメラ
55 接触検出センサ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13