特開 2023-127179 車載装置、情報処理方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023127179

(43)【公開日】2023-09-13

(54)【発明の名称】車載装置、情報処理方法、および、プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230906BHJP

   B60R 11/04 20060101ALI20230906BHJP

【ＦＩ】

G08G1/16 F

B60R11/04

G08G1/16 C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022030801

(22)【出願日】2022-03-01

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】砂川 未佳

(72)【発明者】

【氏名】式井 愼一

(72)【発明者】

【氏名】吉岡 元貴

【テーマコード（参考）】

3D020

5H181

【Ｆターム（参考）】

3D020BA20

3D020BB01

3D020BC03

3D020BE03

5H181AA01

5H181BB13

5H181CC04

5H181FF32

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5H181LL20

(57)【要約】

【課題】ユーザの状態を適切に判定する。
【解決手段】車載装置１は、車両の車室内の天井の近傍の位置に設置されるカメラ５であって、車室内にいるユーザが撮影された画像を生成するカメラ５と、カメラ５が生成した画像に映っているユーザの視線を検出する視線検出部１１と、視線検出部１１が検出したユーザの視線が、車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をする判定部１２と、カメラ５が生成した画像からユーザの状態を推定し、推定した状態を示す状態情報を生成する状態推定部１３と、状態推定部１３が生成した状態情報を、判定部１２による判定結果を用いて補正する補正部１４と、補正部１４が補正した後の状態情報を提示する提示部２０とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両の車室内の天井の近傍の位置に設置されるカメラであって、前記車室内にいるユーザが撮影された画像を生成するカメラと、
前記カメラが生成した前記画像に映っている前記ユーザの視線を検出する検出部と、
前記検出部が検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をする判定部と、
前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成する推定部と、
前記推定部が生成した前記状態情報を、前記判定部による判定結果を用いて補正する補正部と、
前記補正部が補正した後の前記状態情報を提示する提示部とを備える
車載装置。

【請求項2】

前記カメラは、前記ユーザを複数回撮影することで、複数の前記画像を生成し、
前記判定部は、
前記判定において、さらに、複数の前記画像を用いて前記検出部が検出した前記ユーザの前記視線の時間的変化から、前記ユーザの視線が適正な時間間隔で前記所定領域に向けられているか否かを判定する
請求項１に記載の車載装置。

【請求項3】

前記提示部は、表示画面を備える電子ミラーである前記ルームミラーを含み、
前記車載装置は、さらに、
前記提示部が前記表示画面に情報を提示したタイミングにおいて前記カメラによる撮影により生成された前記画像から、前記検出部により得られる前記ユーザの視線が向けられている領域を含むように、前記所定領域を調整する第一調整部を備え、
前記判定部は、
前記第一調整部が調整した後の前記所定領域を用いて前記判定をする
請求項１または２に記載の車載装置。

【請求項4】

前記車両は、前記車両の後方に他の車両が近接していることを感知するセンサを備え、
前記車載装置は、さらに、
前記車両の後方に他の車両が近接していることを前記センサが感知しているタイミングにおいて前記カメラによる撮影により生成された前記画像から、前記検出部により得られる前記ユーザの視線が向けられている領域を含むように、前記所定領域を調整する第二調整部を備え、
前記判定部は、
前記第二調整部が調整した後の前記所定領域を用いて前記判定をする
請求項１～３のいずれか１項に記載の車載装置。

【請求項5】

前記第二調整部は、
前記車両の後方に他の車両が近接していることを前記センサが感知している期間を特定し、特定した前記期間内に前記カメラによる複数回の撮影により生成された複数の前記画像を用いて、前記所定領域を調整する
請求項４に記載の車載装置。

【請求項6】

車両の車室内の天井の近傍の位置に設置されるカメラにより、前記車室内にいるユーザが撮影された画像を生成し、
前記カメラが生成した前記画像に映っている前記ユーザの視線を検出し、
検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をし、
前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成し、
生成した前記状態情報を、前記判定の結果を用いて補正し、
補正した後の前記状態情報を提示する
情報処理方法。

【請求項7】

請求項６に記載の情報処理方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載装置、情報処理方法、および、プログラムに関する。

【背景技術】

【0002】

車両における運転者の姿勢を検出し、運転者の状態（例えば眠気）を判定する技術がある（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６６８９４７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、運転者（ユーザともいう）の状態を適切に判定できないことがある。

【0005】

そこで、本発明は、ユーザの状態を適切に判定し得る車載装置などを提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る車載装置は、車両の車室内の天井の近傍の位置に設置されるカメラであって、前記車室内にいるユーザが撮影された画像を生成するカメラと、前記カメラが生成した前記画像に映っている前記ユーザの視線を検出する検出部と、前記検出部が検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をする判定部と、前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成する推定部と、前記推定部が生成した前記状態情報を、前記判定部による判定結果を用いて補正する補正部と、前記補正部が補正した後の前記状態情報を提示する提示部とを備える車載装置である。

【0007】

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本発明の撮影装置は、ユーザの状態を適切に判定することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態における車両と車載装置との構成を模式的に示す説明図である。

【図2】図２は、実施の形態における車載装置の機能構成を示すブロック図である。

【図3】図３は、実施の形態におけるカメラが設置される位置と撮影方向との例を示す第一の説明図である。

【図4】図４は、実施の形態におけるカメラが設置される位置と撮影方向との例を示す第二の説明図である。

【図5】図５は、実施の形態におけるユーザが映っている画像の例を示す説明図である。

【図6】図６は、実施の形態におけるユーザの視線方向の時間的変化の例を示す説明図である。

【図7】図７は、実施の形態における車載装置の処理の例を示すフロー図である。

【図8】図８は、実施の形態の変形例における車載装置の機能構成を示すブロック図である。

【発明を実施するための形態】

【0010】

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、運転者の状態を推定する技術について、以下の問題が生じることを見出した。

【0011】

車室内において運転者を撮影するカメラが、運転席の前方の位置に設置されることがある（例えば特許文献１参照）。運転席の前方の位置に設置されているカメラから運転者を撮影する場合、運転者の身体が、ハンドル、または、ハンドルを把持する運転者の手の陰になってしまい、運転者が適切に撮影されないことがある。運転者が適切に撮影されない場合、運転者の状態の推定が適切になされない。

【0012】

一方、運転者を撮影するカメラが、車室内の天井またはルームミラーの近傍の位置に設置されることがある。車室内の天井またはルームミラーの近傍の位置に設置されたカメラによれば、ハンドルまたは運転者の手の陰になることなく、運転者の身体が適切に撮影され得る。

【0013】

ところで、運転者が適切な状態で車両を運転しているときには、運転者は適度な時間間隔（例えば数秒～数十秒程度）ごとにルームミラーに視線を向けて車両の後方の光景を確認していることが知られている。運転者の適切な状態とは、運転に適した状態であり、言い換えれば、眠気を感じていない状態、または、漫然でない状態などである。

【0014】

運転者の視線は、運転者が映っている画像に対する視線検出処理によって解析され得る。視線検出技術では、画像に映っている運転者の目における眼球（虹彩または瞳孔など）の位置の検出を用いて視線を検出するので、運転者が視線を向ける対象の近傍に設置されているカメラにより撮影された画像を用いることで、その対象に視線が向けられているか否かをより明確に判定できる。

【0015】

そこで、車室内の天井の近傍（より特定的には、ルームミラーの近傍）に設置されたカメラが撮影した画像を用いた視線検出処理により、ユーザがルームミラーに視線を向けているか否かをより明確に判定でき、この判定に基づいて運転者の状態をより適切に判定できるとの知見を本願発明者は得た。

【0016】

本発明の一態様に係る車載装置は、車両の車室内の天井の近傍の位置に設置されるカメラであって、前記車室内にいるユーザが撮影された画像を生成するカメラと、前記カメラが生成した前記画像に映っている前記ユーザの視線を検出する検出部と、前記検出部が検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をする判定部と、前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成する推定部と、前記推定部が生成した前記状態情報を、前記判定部による判定結果を用いて補正する補正部と、前記補正部が補正した後の前記状態情報を提示する提示部とを備える車載装置である。

【0017】

上記態様によれば、車載装置は、ユーザがルームミラーに視線を向けているか否かを適切に判定し、その判定結果を用いて、ユーザの推定される状態を補正することで、ユーザの状態をより適切に判定することができる。特に、車室内の天井の近傍に設置されたカメラを用いるので、ユーザがルームミラーに視線を向けているか否かをより適切に判定することができ、最終的なユーザの状態の判定結果がより適切なものとなる効果がある。このように、車載装置は、ユーザの状態を適切に判定することができる。

【0018】

例えば、前記カメラは、前記ユーザを複数回撮影することで、複数の前記画像を生成し、前記判定部は、前記判定において、さらに、複数の前記画像を用いて前記検出部が検出した前記ユーザの前記視線の時間的変化から、前記ユーザの視線が適正な時間間隔で前記所定領域に向けられているか否かを判定してもよい。

【0019】

上記態様によれば、車載装置は、ユーザがルームミラーに視線を向けるタイミングの時間間隔が適正であるか否かをさらに判定することで、ユーザの推定される状態を補正し、ユーザの状態をより適切に判定することができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。

【0020】

例えば、前記提示部は、表示画面を備える電子ミラーである前記ルームミラーを含み、前記車載装置は、さらに、前記提示部が前記表示画面に情報を提示したタイミングにおいて前記カメラによる撮影により生成された前記画像から、前記検出部により得られる前記ユーザの視線が向けられている領域を含むように、前記所定領域を調整する第一調整部を備え、前記判定部は、前記第一調整部が調整した後の前記所定領域を用いて前記判定をしてもよい。

【0021】

上記態様によれば、車載装置は、所定領域を調整したうえで、調整された所定領域を用いた判定を行う。電子ミラーが情報を提示したタイミングにおいて、ユーザが電子ミラーに視線を向けることが想定されるので、そのときのユーザの視線を用いることにより、当該ユーザの体格または姿勢に応じた所定領域が設定されることが可能であり、これにより、ユーザの推定される状態の補正をより適切にすることができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。

【0022】

例えば、前記車両は、前記車両の後方に他の車両が近接していることを感知するセンサを備え、前記車載装置は、さらに、前記車両の後方に他の車両が近接していることを前記センサが感知しているタイミングにおいて前記カメラによる撮影により生成された前記画像から、前記検出部により得られる前記ユーザの視線が向けられている領域を含むように、前記所定領域を調整する第二調整部を備え、前記判定部は、前記第二調整部が調整した後の前記所定領域を用いて前記判定をしてもよい。

【0023】

上記態様によれば、車載装置は、所定領域を調整したうえで、調整された所定領域を用いた判定を行う。車両の後方に他の車両が近接していることをセンサが感知したタイミングにおいて、ユーザが電子ミラーに視線を向けることが想定されるので、そのときのユーザの視線を用いることにより、当該ユーザの体格または姿勢に応じた所定領域が設定されることが可能であり、これにより、ユーザの推定される状態の補正をより適切にすることができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。

【0024】

例えば、前記第二調整部は、前記車両の後方に他の車両が近接していることを前記センサが感知している期間を特定し、特定した前記期間内に前記カメラによる複数回の撮影により生成された複数の前記画像を用いて、前記所定領域を調整してもよい。

【0025】

上記態様によれば、車載装置は、実際に車両の後方に他の車両が近接している期間に撮影された複数の画像を用いるので、後方に車両が近接していることを認識したユーザがルームミラーに視線を向けて車両の後方を確認する動作をすることを利用して、所定領域の調整をより適切に行うことができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。

【0026】

また、本発明の一態様に係る情報処理方法は、車両の車室内の天井の近傍の位置に設置されるカメラにより、前記車室内にいるユーザが撮影された画像を生成し、前記カメラが生成した前記画像に映っている前記ユーザの視線を検出し、検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をし、前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成し、生成した前記状態情報を、前記判定の結果を用いて補正し、補正した後の前記状態情報を提示する情報処理方法である。

【0027】

上記態様によれば、上記車載装置と同様の効果を奏する。

【0028】

また、本発明の一態様に係るプログラムは、上記の情報処理方法をコンピュータに実行させるプログラムである。

【0029】

上記態様によれば、上記撮影装置と同様の効果を奏する。

【0030】

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

【0031】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0032】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0033】

（実施の形態）
本実施の形態において、ユーザの状態を適切に判定することができる車載装置および情報処理方法などについて説明する。

【0034】

図１は、本実施の形態における車両Ｖと車載装置１との構成を模式的に示す説明図である。図２は、本実施の形態における車載装置１の機能構成を示すブロック図である。

【0035】

車両Ｖは、例えば自動車であり、人が乗車することができる。車両Ｖに乗車している人をユーザＵという。ユーザＵは、例えば車両Ｖの運転席に着座する運転者であり、この場合を例として説明するが、これに限られず、助手席または後部座席に乗車している乗員でもよい。

【0036】

車両Ｖは、ユーザＵによって運転されて路面を走行する。車両Ｖは、乗員が乗車するための空間である車室Ｓを有する。車室Ｓには、ルームミラーおよび乗員が着座するためのシートなどが配置されている。

【0037】

車載装置１は、ユーザＵの状態を判定する装置である。例えば、車載装置１は、ユーザＵの状態として、ユーザＵが車両Ｖの運転に適した状態であるか否かを判定する。運転に適した状態は、例えば、眠気を感じていない状態、漫然でない状態、または、感情的でない状態などである。

【0038】

図１および図２に示されるように、車載装置１は、カメラ５と、処理部１０と、提示部２０とを備える。

【0039】

カメラ５は、車両Ｖの車室Ｓ内に設置される撮影装置である。カメラ５は、車室Ｓ内にいるユーザＵが撮影された画像を生成する。カメラ５が設置される位置および姿勢については、後で詳しく説明する。

【0040】

処理部１０は、ユーザＵの状態を判定する処理をする機能部である。処理部１０は、カメラ５が生成した画像に対する処理によって画像に映っているユーザＵから取得した情報を用いて、ユーザＵの状態を判定し、判定結果を出力する。処理部１０が実行する処理の詳細は、後で詳しく説明する。処理部１０は、車載装置１が備えるプロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））（不図示）が、メモリ（不図示）を用いて所定のプログラムを実行することで実現され得る。処理部１０は、例えば車両Ｖのダッシュボード内に配置されるが、配置位置はこれに限られない。

【0041】

処理部１０は、機能部として、視線検出部１１と、判定部１２と、状態推定部１３と、補正部１４とを備える。

【0042】

視線検出部１１は、カメラ５が生成した画像に映っているユーザＵの視線を検出する。ユーザＵの視線の検出は、上記画像に対する周知の視線検出技術によってなされ得る。また、視線検出部１１は、ユーザＵの頭部の位置および姿勢を取得する。ユーザＵの頭部の位置および姿勢は、車両Ｖにおけるカメラ５の位置および姿勢と、画像に映っているユーザＵの頭部の位置および姿勢から得られる、カメラ５に対する相対的なユーザＵの位置および姿勢とを用いて算定され得る。視線検出部１１は、取得したユーザＵの頭部の位置および姿勢と、検出したユーザＵの視線とを用いて、ユーザＵが視線を向けている位置を示す情報（視線情報ともいう）を生成して判定部１２に提供する。視線検出部１１を検出部ともいう。

【0043】

視線検出部１１は、さらに、カメラ５が生成した複数の画像それぞれにおけるユーザＵの視線を検出し、上記複数の画像が生成された期間におけるユーザＵの視線の時間的変化を取得してもよい。

【0044】

判定部１２は、ユーザＵの視線が所定領域に向けられているか否かの判定をする。所定領域は、少なくとも、車両Ｖが備えるルームミラーＭを含む領域である。具体的には、判定部１２は、視線情報を視線検出部１１から取得し、取得した視線情報に示される位置が、所定領域に含まれるか否かを判定する。判定部１２は、判定の結果を補正部１４に提供する。

【0045】

なお、所定領域は、ルームミラーＭが存在する領域としてあらかじめ定められた領域であってもよいし、実際にユーザＵの視線が向けられた領域に基づいて調整されてもよい。調整の方法の例は、後述する変形例で説明される。

【0046】

なお、判定部１２は、さらに、カメラ５によって生成された複数の画像を用いて視線検出部１１が検出したユーザＵの視線の時間的変化から、ユーザＵの視線が適正な時間間隔で所定領域に向けられているか否かを判定してもよい。

【0047】

状態推定部１３は、カメラ５が生成した画像からユーザＵの状態を推定する。状態推定部１３は、推定したユーザＵの状態を示す状態情報を生成して補正部１４に提供する。ユーザＵの状態は、例えば眠気の度合いでありこの場合を例として説明するが、疲労の度合い、感情、急病の発症の有無、漫然さの度合い、または、脇見の多少などであってもよい。状態推定部１３を推定部ともいう。

【0048】

補正部１４は、状態推定部１３が生成した状態情報を、判定部１２による判定の結果を用いて補正する。補正部１４は、補正した後の状態情報を提示部２０に提供する。具体的には、補正部１４は、視線情報に示される位置（つまり、ユーザＵが視線を向けている位置）が所定領域に含まれると判定部１２が判定した場合に、状態推定部１３が生成した状態情報を、ユーザＵの状態が車両Ｖの運転に適した状態であることを示すように補正する。また、補正部１４は、視線情報に示される位置が所定領域に含まれないと判定部１２が判定した場合に、状態推定部１３が生成した状態情報を、ユーザＵの状態が車両Ｖの運転に適さない状態であることを示すように補正する。

【0049】

例えば、ユーザＵの状態が、ユーザＵの眠気の度合いであり、１（まったく眠くない、覚醒）から６（眠り）の数値で表現される場合において、状態推定部１３が眠気の度合いを３と推定することがある。そして、判定部１２は、視線情報に示される位置が所定領域に含まれないと判定することがある。その場合、補正部１４は、状態推定部１３により推定された眠気の度合いを、３より大きい値（例えば４）に補正する。

【0050】

提示部２０は、処理部１０（より具体的には補正部１４）から提供される状態情報を提示する。提示した結果情報は、ユーザＵに視認されることが想定される。提示部２０は、例えば、車両Ｖが搭載しているインフォテインメントシステム（カーナビゲーションシステムを含む）の表示画面への画像の表示によって、結果情報を提示する。なお、提示部２０は、インフォテインメントシステムを介して、車両Ｖの車載スピーカによる音の出力によって、結果情報を提示してもよい。

【0051】

なお、ルームミラーＭが、表示画面を備える電子ミラーである場合には、提示部２０はルームミラーＭの表示画面であってもよい。

【0052】

以降において、カメラ５が設置される位置および姿勢について説明する。カメラ５は、例えば天井に設置され、この場合を主に説明するが、ルームミラーに設置されてもよい。

【0053】

図３および図４は、実施の形態におけるカメラ５が設置される位置と撮影方向との例を示す説明図である。図３は、車両Ｖの側面視において、カメラ５が設置される位置と撮影方向との例を示し、図４は、車両Ｖの上面視において、カメラ５が設置される位置と撮影方向との例を示す。

【0054】

図３に示されるように、カメラ５は、例えば、車室Ｓ内の天井に設置され、かつ、カメラ５の撮影方向６が水平より下方を向く姿勢で設置されている。なお、天井の近傍は、車室Ｓ内において天井に比較的近い領域として定められた領域であり、例えば、鉛直方向（高さ方向）において天井から、ユーザＵの頭部が位置する高さまでの領域であり得る。より具体的には、天井の近傍は、例えば、車室Ｓ内で、天井からの距離が距離Ｈ２以下である領域である。距離Ｈ２は、車室Ｓの鉛直方向（つまり高さ方向）の距離Ｈ１の１／５～１／１０程度とすることができる。

【0055】

また、図３に示されるように、カメラ５は、ユーザＵが乗車する位置より、車両Ｖの進行方向側の位置に設置され、かつ、カメラ５の撮影方向６が、車両Ｖの進行方向と略反対になる姿勢で設置されている。なお、カメラ５が設置される位置は、例えば、車室Ｓ内で、車室Ｓの前方端部からの距離が距離Ｌ２以下である領域である。距離Ｌ２は、車室Ｓの水平方向の距離Ｌ１の１／２～１／３程度とすることができる。

【0056】

また、図３および図４に示されるように、カメラ５は、ユーザＵが撮影画角７内に入る位置および姿勢で設置されており、より具体的には、ユーザＵの顔（より特定的には、ユーザＵの目）が撮影画角７内に入る位置および姿勢で設置されている。

【0057】

なお、カメラ５は、天井に埋め込まれて設置されてもよいし、天井に取り付けられることで設置されてもよい。

【0058】

カメラ５の位置は、ルームミラーＭの近傍の位置であるともいえる。ルームミラーＭの近傍は、車室Ｓ内においてルームミラーＭに比較的近い領域として定められた領域であり、例えば、ルームミラーＭから３０ｃｍ程度以内である領域である。

【0059】

なお、カメラ５は、ルームミラーＭに設置されていてもよい。

【0060】

ルームミラーＭは、一般に、車両Ｖを運転しているユーザＵが、車両Ｖの後方を確認するために視線を向ける対象となる。カメラ５がルームミラーＭに設置される場合、カメラ５が撮影により生成する画像に基づくユーザＵの状態の判定（より具体的にはユーザＵの視線の検出）において、ユーザＵがルームミラーＭに視線を向けているか否かをより正確に判定することができる効果がある。これにより、判定部１２は、ユーザＵが運転中にルームミラーＭに視線を向けているか否かを、より正確に判定することができる効果がある。

【0061】

また、カメラ５がルームミラーＭに設置される場合、天井に設置される場合よりも、ユーザＵの頭部に近い位置に設置されることになるので、ユーザＵの顔または表情がより鮮明に撮影された画像を生成することに寄与し、画像に基づく処理の精度を向上する効果を奏する。

【0062】

次に、カメラ５が撮影する画像について説明する。

【0063】

図５は、本実施の形態におけるユーザＵが映っている画像の例を示す説明図である。

【0064】

図５に示される画像には、カメラ５によって撮影されたユーザＵが映っている。画像に映っているユーザＵは、ユーザＵにとっての正面より、やや上方、かつ、やや左方向に視線を向けて、ルームミラーＭを視認している。

【0065】

図５に示される画像は、視線検出部１１による視線の検出の対象となるとともに、状態推定部１３による状態の推定の対象となる。

【0066】

以降において、図３および図４を再び参照しながら、ユーザＵの視線について説明する。

【0067】

図３には、車両Ｖの側面視におけるユーザＵの視線が示されている。図３に示される視線は、カメラ５が生成した画像に基づいて視線検出部１１が生成した視線情報により示されるものである。

【0068】

具体的には、図３には、ルームミラーＭを視認しているときのユーザＵの視線方向８が示されている。視線方向８と水平方向とのなす角（つまり仰角）をθとする。ルームミラーＭが位置している領域が、所定領域に相当する。

【0069】

判定部１２は、側面視においては、視線方向８の先にルームミラーＭが位置している場合に、ユーザＵの視線が所定領域に向けられていると判定する。言い換えれば、判定部１２は、視線方向８が、ユーザＵからルームミラーＭを見込む角度範囲９Ａに含まれている場合に、ユーザＵの視線が所定領域に向けられていると判定する。

【0070】

図４には、車両Ｖの上面視におけるユーザＵの視線が示されている。図４に示される視線は、カメラ５が生成した画像に基づいて視線検出部１１が生成した視線情報により示されるものである。

【0071】

具体的には、図４には、ルームミラーＭを視認しているときのユーザＵの視線方向８が示されている。視線方向８と進行方向とのなす角（つまり方位角）をφとする。ルームミラーＭが位置している領域が、所定領域に相当する。

【0072】

判定部１２は、上面視においては、視線方向８の先にルームミラーＭが位置している場合に、ユーザＵの視線が所定領域に向けられていると判定する。言い換えれば、判定部１２は、視線方向８が、ユーザＵからルームミラーＭを見込む角度範囲９Ｂに含まれている場合に、ユーザＵの視線が所定領域に向けられていると判定する。

【0073】

図６は、本実施の形態におけるユーザＵの視線方向の時間的変化の例を示す説明図である。

【0074】

具体的には、図６の（ａ）は、ユーザＵの視線方向の仰角θの時間変化を示しており、図６の（ｂ）は、ユーザＵの視線方向の方位角φの時間変化を示している。図６の（ａ）において、角度範囲９Ａが、角度Ａ１から角度Ａ２までの範囲として示されている。また、図６の（ｂ）において、角度範囲９Ｂが、角度Ａ３から角度Ａ４までの範囲として示されている。

【0075】

図６の（ａ）に示されるように、時刻Ｔ１、Ｔ２およびＴ３において、仰角θが角度範囲９Ａに属している。また、図６の（ｂ）に示されるように、時刻Ｔ１、Ｔ２およびＴ３において、方位角φが角度範囲９Ｂに属している。

【0076】

判定部１２は、時刻Ｔ１、Ｔ２およびＴ３において仰角θが角度範囲９Ａに属していること、および、方位角φが角度範囲９Ｂに属していることを判定することで、時刻Ｔ１、Ｔ２およびＴ３においてユーザＵの視線がルームミラーＭに向けられていると判定することができる。

【0077】

また、判定部１２は、仰角θおよび方位角φの時間的変化から、ユーザＵの視線がルームミラーＭに向けられる時間間隔を取得できる。具体的には、判定部１２は、時刻Ｔ１とＴ２との時間差、および、時刻Ｔ２とＴ３との時間差を、ユーザＵの視線がルームミラーＭに向けられる時間間隔として取得する。そして、判定部１２は、取得した時間間隔が、適正な時間間隔の範囲（例えば数秒～数十秒）に含まれているか否かを判定することができる。補正部１４は、上記時間差が適正な時間間隔の範囲に含まれていると判定部１２が判定した場合に、ユーザＵが運転に適した状態であることを示す方向へ状態情報を補正してよい。また、補正部１４は、上記時間差が適正な時間間隔の範囲に含まれていないと判定部１２が判定した場合に、ユーザＵが運転に適した状態でないことを示す方向へ状態情報を補正してよい。

【0078】

図７は、本実施の形態における車載装置１の処理の例を示すフロー図である。

【0079】

ステップＳ１０１において、カメラ５は、車両Ｖの車室Ｓ内にいるユーザＵが撮影された画像を生成する。

【0080】

ステップＳ１０２において、視線検出部１１は、ステップＳ１０１で生成された画像に基づいて、視線検出処理によりユーザＵの視線を検出する。

【0081】

ステップＳ１０３において、判定部１２は、ステップＳ１０２で検出された視線が、所定領域に向けられているか否かの判定をする。

【0082】

ステップＳ１０４において、状態推定部１３は、ステップＳ１０１で生成された画像に基づいて、ユーザＵの状態を推定し、状態情報を生成する。

【0083】

ステップＳ１０５において、補正部１４は、ステップＳ１０４で生成された状態情報を、ステップＳ１０３での判定の結果を用いて補正する。

【0084】

ステップＳ１０６において、提示部２０は、ステップＳ１０５で補正された後の状態情報を提示する。

【0085】

図７に示される一連の処理により、車載装置１は、ユーザＵの状態を適切に判定することができる。

【0086】

（実施の形態の変形例）
図８は、本実施の形態の変形例における車載装置１Ａの機能構成を示すブロック図である。

【0087】

図８に示されるように、車載装置１Ａは、カメラ５と、処理部１０Ａと、提示部２０とを備える。カメラ５と提示部２０は、上記実施の形態におけるものと同じである。以降において、処理部１０Ａについて詳しく説明する。

【0088】

図８に示されるように、処理部１０Ａは、視線検出部１１と、判定部１２と、状態推定部１３と、補正部１４と、調整部１５とを備える。視線検出部１１と、判定部１２と、状態推定部１３と、補正部１４とは、上記実施の形態におけるものと同じである。

【0089】

調整部１５は、判定部１２が判定に用いる所定領域を調整する機能部である。

【0090】

調整部１５は、一例として、提示部２０が、表示画面を備える電子ミラーであるルームミラーＭである場合に、ルームミラーＭによる情報の表示のタイミングを用いて、所定領域を調整することができる。具体的には、調整部１５は、提示部２０が表示画面に情報を提示したときにカメラ５による撮影により生成された画像から、視線検出部１１により得られるユーザＵの視線が向けられている領域を含むように、所定領域を調整する。調整部１５が所定領域を調整した場合、判定部１２は、調整した後の所定領域を用いて判定を行う。なお、上記機能を実行する機能部を、第一調整部ともいう。

【0091】

また、調整部１５は、一例として、車両Ｖが、当該車両Ｖの後方に他の車両が近接していることを感知するセンサを備えている場合に、他の車両が近接しているタイミングを用いて、所定領域を調整することができる。具体的には、調整部１５は、車両Ｖの後方に他の車両が近接していることをセンサが感知しているタイミングにおいてカメラ５による撮影により生成された画像から、視線検出部１１により得られるユーザＵの視線が向けられている領域を含むように、所定領域を調整する。なお、上記機能を実行する機能部を、第二調整部ともいう。上記センサは、例えば、超音波センサ、ＬｉＤＡＲ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）、または、後方カメラである。なお、上記センサは、車両Ｖに接近する車両に関する情報を、車両を接続するネットワークを介して受信してもよい。

【0092】

なお、調整部１５は、車両Ｖの後方に他の車両が近接していることをセンサが感知している期間を特定し、特定した期間内にカメラ５による複数回の撮影により生成された複数の画像を用いて、所定領域を調整してもよい。

【0093】

以上のように、本実施の形態の車載装置は、ユーザがルームミラーに視線を向けているか否かを適切に判定し、その判定結果を用いて、ユーザの推定される状態を補正することで、ユーザの状態をより適切に判定することができる。特に、車室内の天井の近傍に設置されたカメラを用いるので、ユーザがルームミラーに視線を向けているか否かをより適切に判定することができ、最終的なユーザの状態の判定結果がより適切なものとなる効果がある。このように、車載装置は、ユーザの状態を適切に判定することができる。

【0094】

また、車載装置は、ユーザがルームミラーに視線を向けるタイミングの時間間隔が適正であるか否かをさらに判定することで、ユーザの推定される状態を補正し、ユーザの状態をより適切に判定することができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。

【0095】

また、車載装置は、所定領域を調整したうえで、調整された所定領域を用いた判定を行う。電子ミラーが情報を提示したタイミングにおいて、ユーザが電子ミラーに視線を向けることが想定されるので、そのときのユーザの視線を用いることにより、当該ユーザの体格または姿勢に応じた所定領域が設定されることが可能であり、これにより、ユーザの推定される状態の補正をより適切にすることができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。

【0096】

また、車載装置は、所定領域を調整したうえで、調整された所定領域を用いた判定を行う。車両の後方に他の車両が近接していることをセンサが感知したタイミングにおいて、ユーザが電子ミラーに視線を向けることが想定されるので、そのときのユーザの視線を用いることにより、当該ユーザの体格または姿勢に応じた所定領域が設定されることが可能であり、これにより、ユーザの推定される状態の補正をより適切にすることができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。

【0097】

また、車載装置は、実際に車両の後方に他の車両が近接している期間に撮影された複数の画像を用いるので、後方に車両が近接していることを認識したユーザがルームミラーに視線を向けて車両の後方を確認する動作をすることを利用して、所定領域の調整をより適切に行うことができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。

【0098】

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態のサーバなどを実現するソフトウェアは、次のようなプログラムである。

【0099】

すなわち、このプログラムは、コンピュータに、車両の車室内の天井の近傍の位置に設置されるカメラにより、前記車室内にいるユーザが撮影された画像を生成し、前記カメラが生成した前記画像に映っている前記ユーザの視線を検出し、検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をし、前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成し、生成した前記状態情報を、前記判定の結果を用いて補正し、補正した後の前記状態情報を提示する情報処理方法を実行させるプログラムである。

【0100】

以上、一つまたは複数の態様に係る車載装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0101】

本発明は、自動車の運転手など、車両内のユーザの状態を判定する車載装置に利用可能である。

【符号の説明】

【0102】

１、１Ａ 車載装置
５ カメラ
６ 撮影方向
７ 撮影画角
８ 視線方向
９Ａ、９Ｂ 角度範囲
１０、１０Ａ 処理部
１１ 視線検出部
１２ 判定部
１３ 状態推定部
１４ 補正部
１５ 調整部
２０ 提示部
Ｍ ルームミラー
Ｓ 車室
Ｕ ユーザ
Ｖ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】