IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通テン株式会社の特許一覧

特開2024-155371車載装置、キャリブレーション方法およびキャリブレーションプログラム
<>
  • 特開-車載装置、キャリブレーション方法およびキャリブレーションプログラム 図1
  • 特開-車載装置、キャリブレーション方法およびキャリブレーションプログラム 図2
  • 特開-車載装置、キャリブレーション方法およびキャリブレーションプログラム 図3
  • 特開-車載装置、キャリブレーション方法およびキャリブレーションプログラム 図4
  • 特開-車載装置、キャリブレーション方法およびキャリブレーションプログラム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155371
(43)【公開日】2024-10-31
(54)【発明の名称】車載装置、キャリブレーション方法およびキャリブレーションプログラム
(51)【国際特許分類】
   G06T 7/70 20170101AFI20241024BHJP
   G06T 7/00 20170101ALI20241024BHJP
【FI】
G06T7/70 B
G06T7/00 650Z
G06T7/00 660A
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023070033
(22)【出願日】2023-04-21
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】伊森 宏樹
(72)【発明者】
【氏名】伏見 文孝
(72)【発明者】
【氏名】大西 康司
(72)【発明者】
【氏名】塩田 大輔
(72)【発明者】
【氏名】清水 勝也
(72)【発明者】
【氏名】上林 輝彦
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096BA04
5L096CA02
5L096DA02
5L096DA03
5L096FA32
5L096FA67
5L096GA51
(57)【要約】
【課題】キャリブレーションを早期に完了させることができる車載装置、キャリブレーション方法およびキャリブレーションプログラムを提供すること。
【解決手段】本願に係る車載装置は、コントローラを備える。コントローラは、運転者の顔の向きを所定の検知期間に亘って検知した結果に基づいて、脇見検知に用いる向きの基準向きを決定するキャリブレーションを行う。コントローラは、車速が所定速度以上となったタイミングでキャリブレーションを開始するとともに、走行状況に応じてキャリブレーションの前記検知期間の長さを決定する。
【選択図】図2
【特許請求の範囲】
【請求項1】
運転者の顔の向きを所定の検知期間に亘って検知した結果に基づいて、脇見検知に用いる前記顔の向きの基準向きを決定するキャリブレーションを行うコントローラを有し、
前記コントローラは、
車速が所定速度以上となったタイミングで前記キャリブレーションを開始するとともに、走行状況に応じて前記キャリブレーションの前記検知期間の長さを決定する
車載装置。
【請求項2】
前記コントローラは、
エンジン始動後からの前記キャリブレーションの実施回数に応じて前記検知期間の長さを決定する
請求項1に記載の車載装置。
【請求項3】
前記コントローラは、
エンジン始動後における最初の前記キャリブレーションについては、前記検知期間の長さを第1長さで行い、2回目以降の前記キャリブレーションについては、前記第1長さよりも長い第2長さで行う
請求項2に記載の車載装置。
【請求項4】
前記コントローラは、
最初の前記キャリブレーションについては、前回のエンジン始動後に行った前記キャリブレーションの結果を用いて行う
請求項3に記載の車載装置。
【請求項5】
前記コントローラは、
最初の前記キャリブレーションが完了するまでの期間は、前回のエンジン始動後に行った前記キャリブレーションにより決定された前記基準向きを用いて前記脇見検知を行う
請求項4に記載の車載装置。
【請求項6】
前記コントローラは、
前記車速が高い程、前記検知期間の長さを短くする
請求項1に記載の車載装置。
【請求項7】
前記コントローラは、
運転者が前記基準向きに対応した向きを注視している場合、前記検知期間の長さを短くする
請求項1に記載の車載装置。
【請求項8】
前記コントローラは、
前記車速が所定速度以上である期間の合計が前記検知期間となった場合に前記キャリブレーションを実施する
請求項1に記載の車載装置。
【請求項9】
車載装置によって実行されるキャリブレーション方法であって、
運転者の顔の向きを所定の検知期間に亘って検知した結果に基づいて、脇見検知に用いる前記向きの基準向きを決定するキャリブレーションを行い、
車速が所定速度以上となったタイミングで前記キャリブレーションを開始するとともに、走行状況に応じて前記キャリブレーションの前記検知期間の長さを決定する
キャリブレーション方法。
【請求項10】
運転者の顔の向きを所定の検知期間に亘って検知した結果に基づいて、脇見検知に用いる前記向きの基準向きを決定するキャリブレーションを行い、
車速が所定速度以上となったタイミングで前記キャリブレーションを開始するとともに、走行状況に応じて前記キャリブレーションの前記検知期間の長さを決定すること
を車載装置に実行させるキャリブレーションプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脇見検知のキャリブレーション技術に関する。
【背景技術】
【0002】
従来、運転者の顔の向きが基準となる向き(例えば、正面)から外れた場合に脇見を検知する技術が知られている。この種の技術では、運転者の顔の向きを一定時間継続して検出した結果に基づいて、基準となる向きを決定するキャリブレーションを行う(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-4117号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、例えば、エンジン始動直後等の走行状況のように、キャリブレーションが未完了で基準向きが決定していない場合には、基準向きが決定するまで脇見検知の開始が遅れるおそれがあった。このように、従来は、キャリブレーションを早期に完了させる点で改善の余地があった。
【0005】
本願は、上記に鑑みてなされたものであって、キャリブレーションを早期に完了させることができる車載装置、キャリブレーション方法およびキャリブレーションプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る車載装置は、コントローラを備える。前記コントローラは、運転者の顔の向きを所定期間に亘って検知した結果に基づいて、脇見検知に用いる前記向きの基準向きを決定するキャリブレーションを行う。前記コントローラは、車速が所定速度以上となったタイミングで前記キャリブレーションを開始するとともに、走行状況に応じて前記キャリブレーションの前記検知期間の長さを決定する。
【発明の効果】
【0007】
実施形態の一態様によれば、キャリブレーションを早期に完了させることができるという効果を奏する。
【図面の簡単な説明】
【0008】
図1図1は、実施形態に係るキャリブレーション方法の概要を示す図である。
図2図2は、車載装置の機能ブロック図である。
図3図3は、基準向き情報の一例を示す図である。
図4図4は、キャリブレーションの一例を示す図である。
図5図5は、実施形態に係るコントローラが実行するキャリブレーション処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、車載装置、キャリブレーション方法およびキャリブレーションプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【0010】
まず、図1を用いて、実施形態に係る車載装置によって実行されるキャリブレーション方法の概要について説明する。図1は、実施形態に係るキャリブレーション方法の概要を示す図である。図1では、車載装置1を備えた車両を示している。
【0011】
車載装置1は、例えば、ドライブレコーダや、ナビゲーション装置等といった電子機器である。また、車載装置1は、車両の室内に存在する運転者を撮像するカメラが接続される。なお、車載装置1は、カメラが内蔵されてもよく、外部に設置されたカメラに車両ネットワークを介して接続されてもよい。
【0012】
本開示において、車載装置1は、カメラの画像に基づいて運転者の脇見検知を行う。具体的には、車載装置1は、カメラの画像を解析して運転者の顔の向きを検出し、検出した顔の向きが基準となる向き(以下、基準向き)から所定時間以上外れた場合に脇見を検知する。基準向きは、例えば、正面の向き(車両前方の向き)である。なお、脇見検知の結果は、例えば、運転者への報知処理や、外部機関への通知処理等といった任意の処理に用いることができる。
【0013】
また、車載装置1は、上記の基準向きを決定するキャリブレーションを実施する。具体的には、車載装置1は、運転者の顔の向きを所定期間に亘って検知した結果に基づいて、基準向きを決定するキャリブレーションを行う。
【0014】
ここで、従来は、予め固定された所定の検知期間に亘って顔の向きを検知してキャリブレーションを行っていた。このため、例えば、エンジン始動直後のように、キャリブレーションが未完了で基準向きが決定していない場合には、キャリブレーションが完了する検知期間経過後まで脇見検知を使用できないおそれがあった。この点について、例えば、前回トリップ時の基準向きを用いることも可能であるが、運転者の顔の動きの癖はトリップ毎に変化する場合があり、前回の基準向きでは脇見検知の精度が低下するおそれがあった。
【0015】
そこで、本開示において、車載装置1は、キャリブレーション方法を実行することで、車両の走行状況に応じてキャリブレーションの検知期間の長さを変えることとした。図1では、エンジン始動直後に実施するキャリブレーションについて示している。なお、図1において、時刻t1は、エンジンを始動した時刻である。つまり、図1では、走行状況は、エンジン始動直後である場合を示している。
【0016】
図1に示すように、車両は、エンジンを始動した後に走行を開始し、時刻t2において、車速が所定速度(30km/h)に到達したとする。車載装置1は、車速が所定速度以上となったタイミングで初回のキャリブレーションを行う。具体的には、車載装置1は、車速が所定速度以上となった時刻t2において、基準向きを決定するために、運転者の顔の向きの検知を開始する。
【0017】
車載装置1は、時刻t2から所定の検知期間(図1では30秒)後の時刻t3において、基準向きを決定する。具体的には、車載装置1は、時刻t2から時刻t3までの検知期間において検知した顔の向きに基づいて基準向きを決定し、初回のキャリブレーションを完了する。なお、基準向きの決定方法の詳細については後述する。
【0018】
また、車載装置1は、時刻t3において、初回のキャリブレーションを完了するとともに、2回目のキャリブレーションを開始する。具体的には、車載装置1は、時刻t3から所定の検知期間(図1では180秒)後の時刻t4において、基準向きを決定する。具体的には、車載装置1は、時刻t3から時刻t4までの検知期間において検知した顔の向きに基づいて基準向きを決定し、2回目のキャリブレーションを完了する。なお、3回目以降のキャリブレーションの検知期間については、2回目のキャリブレーションの検知期間(180秒)と同じ時間とする。つまり、車載装置1は、初回のキャリブレーションでは、脇見検知の早期開始を目的とした検知時間の短縮によりおおまかな基準向きを決定する。そして、車載装置1は、2回目以降のキャリブレーションでは、検知時間を初回よりも長くすることで、より精密な基準向きを決定する。
【0019】
このように、車載装置1は、走行状況がエンジンの始動直後である場合、初回のキャリブレーションの検知期間を、2回目以降のキャリブレーションの検知期間よりも短くする。これにより、車載装置1は、初回の検知時間を短くすることで、エンジン始動後から脇見検知開始までの時間を短くできる。また、車載装置1は、2回目以降のキャリブレーションでは、検知期間を通常の長さに戻す(30秒→180秒)ことで、2回目以降での基準向きの精度を高めることができる。また、車載装置1は、車速が所定速度以上では、運転者が正面(基準向きとなる向き)を向いている可能性が高いため、車速が所定速度以上のタイミングでキャリブレーションを実施することで、基準向きの精度を高めることができる。すなわち、実施形態に係るキャリブレーション方法によれば、基準向きの精度を維持しつつ、キャリブレーションを早期に完了させることができる。この結果、例えば、エンジン始動直後のように、キャリブレーションが未完了で基準向きが決定していない期間を短くできるため、脇見検知を早期に開始することができる。
【0020】
なお、車載装置1は、時刻t1から時刻t3の期間、すなわち、キャリブレーションが未完了で基準向きが決定していない期間については、例えば、前回トリップ時の基準向きを使用して脇見検知を行ってもよいが、かかる点については後述する。
【0021】
次に、図2を用いて、実施形態に係る車載装置1の構成例について説明する。図2は、車載装置1の機能ブロック図である。図2に示すように、実施形態に係る車載装置1は、コントローラ2と、記憶部3とを備える。また、車載装置1は、カメラ100および車速センサ200に接続される。
【0022】
カメラ100は、車両の室内を撮像する位置に設けられる。具体的には、カメラ100は、車両の運転者の顔を撮像可能な位置に設けられる。例えば、カメラ100は、車室内前方に配置されるルームミラー近傍に配置される。また、カメラ100は、車両の外部を撮像可能な位置にさらに設けられてもよい。
【0023】
車速センサ200は、車両の走行速度を検出するセンサである。車速センサ200は、検出した車両の走行速度(以下、車速)を車載装置1へ出力する。
【0024】
記憶部3は、たとえば、不揮発性メモリやフラッシュメモリ、ハードディスクドライブといった不揮発性記憶媒体を有する。図2に示すように、記憶部3は、基準向き情報31を記憶する。
【0025】
基準向き情報31は、脇見検知に用いる基準となる向きの情報である。基準向き情報31は、コントローラ2によって生成されて記憶部3に記憶される。図3は、基準向き情報31の一例を示す図である。
【0026】
図3に示すように、基準向き情報31は、「ドライバID」と、「基準向き」とを含む。「ドライバID」は、運転者を識別する識別情報である。「基準向き」は、基準向きを示す情報である。例えば、「右45°、下10°」は、カメラ100の向きを正面(上下左右0°)として、右方向に45°、下方向に10°向いた向きであることを示す。
【0027】
図2の説明に戻り、コントローラ2について説明する。コントローラ2は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクドライブ、入出力ポートなどを有するコンピュータや各種の回路を含む。コンピュータのCPUは、たとえば、ROMに記憶されたプログラムを読み出して実行することによって機能する。
【0028】
コントローラ2は、車両の走行状況を取得する。走行状況は、例えば、エンジン始動から所定期間内であるか否か、車速、ステアリング角、走行している道路の種別(高速道路、一般道等)、走行地点の周囲の状況(交差点の有無、前方車両の有無、信号の有無等)等である。
【0029】
車速は、車速センサ200により取得可能である。ステアリング角は、不図示のステアリングセンサにより取得可能である。道路の種別および走行地点の周囲の状況は、不図示のナビゲーション装置や、外部を撮像するカメラ100により取得可能である。
【0030】
また、コントローラ2は、脇見検知に用いる基準向きのキャリブレーションを実施する。
【0031】
また、キャリブレーションの実施タイミングは、例えば、車速が所定速度以上となったタイミングである。所定速度は、運転者が正面を向いている可能性が高い速度である。つまり、所定速度は、運転者が正面を注視して運転する必要がある速度である。なお、本開示では、所定速度が30km/hである場合を例に挙げたが、所定速度は、運転者が正面(基準向きに対応した向き)を向く可能性が高い速度であれば任意の速度を設定可能である。
【0032】
また、コントローラ2は、走行状況に応じてキャリブレーションの検知期間を決定する。例えば、コントローラ2は、エンジン始動後からのキャリブレーションの実施回数に応じて検知期間の長さを決定する。具体的には、コントローラ2は、エンジン始動後における最初のキャリブレーションについては、検知期間の長さを第1長さ(図1に示す30秒)で行い、2回目以降のキャリブレーションについては、第1長さよりも長い第2長さ(図1に示す180秒)で行う。
【0033】
なお、コントローラ2は、上記第2長さを最大値として、キャリブレーションの実施回数が増えるにつれて、検知期間の長さを長くするようにしてもよい。具体的には、コントローラ2は、エンジン始動後における最初のキャリブレーション、2回目、3回目の順に徐々に検知期間の長さを長くしていき、n回目のキャリブレーションにおいて最大値である第2長さの検知期間となるようにしてもよい。このように、コントローラ2は、キャリブレーションの実施回数に応じて検知期間の長さを決定することで、エンジン始動後に短時間でキャリブレーションを完了できるとともに、2回目以降のキャリブレーションにより基準向きの精度を高くすることができる。
【0034】
また、コントローラ2は、車速に応じて検知期間の長さを決定してもよい。具体的には、コントローラ2は、車速が高い程、検知期間の長さを短くしてもよい。これは、車速が高い程、運転者は正面を注視する時間が長くなるためであり、検知期間を短くしたとしても検知される顔の向きの多くが正面の向きである可能性が高いためである。このように、車速に応じて検知期間の長さを決定することで、基準向きの精度を維持しつつ、より短時間でキャリブレーションを完了できる。
【0035】
また、コントローラ2は、走行している道路環境に応じて検知期間の長さを決定してもよい。例えば、コントローラ2は、走行している道路の種別が高速道路の場合の検知期間を、一般道の場合の検知期間に比べて短くする。これは、高速道路では高速走行するため、運転者は正面を注視する時間が一般道を低速走行する場合に比べて長いためである。このように、道路の種別に応じて検知期間の長さを決定することで、基準向きの精度を維持しつつ、より短時間でキャリブレーションを完了できる。
【0036】
また、コントローラ2は、走行している道路環境として、交差点がある場合や、前方車両がある場合、信号がある場合には、交差点が無い場合や、前方車両が無い場合、信号が無い場合に比べて検知期間を短くする。これは、交差点や、前方車両、信号が前方にある場合には正面を注視する時間が長いためである。このように、道路環境に応じて検知期間の長さを決定することで、基準向きの精度を維持しつつ、より短時間でキャリブレーションを完了できる。
【0037】
コントローラ2は、決定した検知期間により運転者の顔の向きを検知してキャリブレーションを実施する。具体的には、コントローラ2は、決定した検知期間に亘って検知した運転者の顔の向きの代表値を基準向きとして決定する。代表値は、例えば、平均値や、最頻値、中央値等である。
【0038】
なお、コントローラ2は、検知期間中に車速が所定速度未満となった場合には、所定速度未満となった期間に検知した顔の向きの検知結果を除いて基準向きを決定する。かかる点について、図4を用いて説明する。
【0039】
図4は、キャリブレーションを説明するための図である。図4では、時刻t11から時刻t14の間に亘って顔の向きを検知してキャリブレーションを実施する例を示している。また、図4では、時刻t11から時刻t12の間と、時刻t13から時刻t14の間は、車速が所定速度(30km/h)以上であり、時刻t12から時刻t13の間は、所定速度未満であるとする。
【0040】
かかる場合、コントローラ2は、時刻t12から時刻t13の間に検知された顔の向きの検知結果を除いて基準向きを決定する。具体的には、コントローラ2は、時刻t11から時刻t12の間の検知結果と、時刻t13から時刻t14の間の検知結果とを用いて基準向きを決定する。つまり、コントローラ2は、時刻t11から時刻t12の期間と、時刻t13から時刻t14の期間との合計が検知期間となった場合に、キャリブレーションを実施する。これにより、運転者が正面を向いていない可能性が高い期間(時刻t12から時刻t13)を除いてキャリブレーションを実施できるため、基準向きの精度を高めることができる。
【0041】
なお、図4では、時刻t11から時刻t12の期間と、時刻t13から時刻t14の期間との合計が検知期間となった場合に、キャリブレーションを実施する例を示した。一方で、時刻t11から時刻t14の期間(つまり、時刻t12から時刻t13の期間を含む期間)を検知期間としてキャリブレーションを実施してもよい。かかる場合、時刻t11から時刻t14の期間である検知期間から、時刻t12から時刻t13の期間を除いた期間のデータを用いてキャリブレーションを実施する。
【0042】
次に、コントローラ2は、キャリブレーションにより決定した基準向きを用いて脇見検知を行う。具体的には、コントローラ2は、運転者から検知した顔の向きが、基準向きから所定角度以上離れているか否かを判定し、所定角度以上離れている期間が所定期間以上継続した場合に、脇見を検知する。
【0043】
なお、コントローラ2は、エンジン始動直後において、キャリブレーションが未完了により基準向きが決定していない場合には、前回トリップに決定した基準向きを用いて脇見検知を行ってもよい。これにより、エンジン始動直後から即座に脇見検知を行うことができる。
【0044】
また、コントローラ2は、初回のキャリブレーションにおいて、前回トリップ時の基準向きを加味して基準向きを決定してもよい。具体的には、コントローラ2は、初回のキャリブレーション時に検知した顔の向きにより決定した基準向きと、前回トリップ時の基準向きとの平均値(あるいは加重平均値)を初回のキャリブレーション結果としてもよい。これにより、初回のキャリブレーションにおける基準向きの精度を高めることができる。
【0045】
次に、図5を参照し、実施形態に係るコントローラ2が実行するキャリブレーション処理について説明する。図5は、実施形態に係るコントローラ2が実行するキャリブレーション処理の一例を示すフローチャートである。
【0046】
図5に示すように、まず、コントローラ2は、車速が所定速度以上であるか否かを判定する(ステップS101)。所定速度は、運転者が正面を向いている可能性が高い速度である。
【0047】
コントローラ2は、車速が所定速度以上である場合(ステップS101:Yes)、キャリブレーションを開始する(ステップS102)。つまり、コントローラ2は、キャリブレーションに用いる顔の向きの検知を開始する。なお、コントローラ2は、車速が所定速度未満である場合(ステップS101:No)、車速が所定速度以上となるまでステップS101を繰り返し実行する。
【0048】
つづいて、コントローラ2は、エンジン始動後の初回のキャリブレーションであるか否かを判定する(ステップS103)。
【0049】
コントローラ2は、初回のキャリブレーションである場合(ステップS103:Yes)、第1長さ分の顔の向きのデータを収集完了したか否かを判定する(ステップS104)。また、コントローラ2は、2回目以降のキャリブレーションである場合(ステップS103:No)、第2長さ分の顔の向きのデータを収集完了したか否かを判定する(ステップS105)。
【0050】
コントローラ2は、第1長さ分の顔の向きのデータを収集完了(ステップS104:Yes)、または、第2長さ分の顔の向きのデータを収集完了(ステップS105:Yes)した場合、基準向きを決定する(ステップS106)。なお、コントローラ2は、第1長さ分の画像を収集完了していない場合(ステップS104:No)には、ステップS104を繰り返し実行し、第2長さ分の画像を収集完了していない場合(ステップS105:No)、ステップS105を繰り返し実行する。
【0051】
つづいて、コントローラ2は、基準向きを決定した後、キャリブレーションを完了し(ステップS107)、処理を終了する。
【0052】
上述したように、実施形態に係る車載装置1は、コントローラ2を備える。コントローラ2は、運転者の顔の向きを所定の検知期間に亘って検知した結果に基づいて、脇見検知に用いる向きの基準向きを決定するキャリブレーションを行う。コントローラ2は、車速が所定速度以上となったタイミングでキャリブレーションを行うとともに、走行状況に応じてキャリブレーションの検知期間の長さを決定する。
【0053】
これにより、車載装置1は、例えば、初回の検知時間を短くすることで、エンジン始動後から脇見検知開始までの時間を短くできる。また、車載装置1は、2回目以降のキャリブレーションでは、検知期間を通常の長さに戻す(30秒→180秒)ことで、2回目以降での基準向きの精度を高めることができる。また、車載装置1は、車速が所定速度以上では、運転者が正面(基準向きとなる向き)を向いている可能性が高いため、車速が所定速度以上のタイミングでキャリブレーションを実施することで、基準向きの精度を高めることができる。すなわち、実施形態に係るキャリブレーション方法によれば、基準向きの精度を維持しつつ、キャリブレーションを早期に完了させることができる。
【0054】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0055】
1 車載装置
2 コントローラ
3 記憶部
31 基準向き情報
100 カメラ
200 車速センサ
図1
図2
図3
図4
図5