ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】視線キャリブレーションシステム
(51)【国際特許分類】
H04N 17/00 20060101AFI20241016BHJP
B60R 11/02 20060101ALI20241016BHJP
G06F 3/038 20130101ALI20241016BHJP
【ＦＩ】
H04N17/00 L
B60R11/02 Z
B60R11/02 C
G06F3/038 310A
【請求項の数】
7
(21)【出願番号】P 2020218516
(22)【出願日】2020-12-28
(65)【公開番号】P2022103717
(43)【公開日】2022-07-08
【審査請求日】2023-11-04
(73)【特許権者】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】100122426
【弁理士】
【氏名又は名称】加藤 清志
(72)【発明者】
【氏名】中村 亮太
(72)【発明者】
【氏名】松橋 太陽
【審査官】中村 直行
(56)【参考文献】
【文献】特開２０１７－１３２４５５（ＪＰ，Ａ）
【文献】特表２０１７－５１６２１９（ＪＰ，Ａ）
【文献】特開２０２０－１９９８４８（ＪＰ，Ａ）
【文献】特開２０１２－２０１２３２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０１８７９６３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １７／００
Ｂ６０Ｒ １１／０２
Ｇ０６Ｆ ３／０３８
(57)【特許請求の範囲】
【請求項1】
運転席の前方で車幅方向の中央部に設けられた第１の表示部と、前記運転席の正面に設けられた第２の表示部と、
前記第１の表示部の外縁上部に設けられた撮像部と、
前記第１の表示部と前記第２の表示部に表示させる表示画像を制御する表示画像制御部と、
該撮像部により撮像された画像から運転者が前記第１の表示部を視認した時の顔の向きおよび視線方向と、前記運転者が前記第２の表示部を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成するキャリブレーションデータ生成部と、
前記キャリブレーションデータ生成部において生成されたキャリブレーションデータに基づいて、前記第１の表示部を視認する場合に基準となる顔の向きに対応する視線方向および前記第２の表示部を視認する場合に基準となる顔の向きに対応する視線方向に対するキャリブレーションを行うキャリブレーション部と、
を備えたことを特徴とする視線キャリブレーションシステム。
【請求項2】
前記第１の表示部と、前記撮像部と、前記キャリブレーションデータ生成部と、前記キャリブレーション部と、が前記運転者のモニタリングを行う運転状態監視装置に備えられていることを特徴とする請求項１に記載の視線キャリブレーションシステム。
【請求項3】
前記運転状態監視装置を用いて、前記運転者が個人登録を行うための前記運転者の顔画像を取得した後に、前記表示画像制御部が前記第２の表示部に画像を表示することを特徴とする請求項２に記載の視線キャリブレーションシステム。
【請求項4】
前記表示画像制御部は、前記第２の表示部に動画像を表示させることを特徴とする請求項３に記載の視線キャリブレーションシステム。
【請求項5】
前記表示画像制御部は、順次、前記運転者に視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を前記第２の表示部の全域に表示させることを特徴とする請求項３に記載の視線キャリブレーションシステム。
【請求項6】
前記キャリブレーションデータ生成部において生成されたキャリブレーションデータを格納するデータ格納部を備え、前記キャリブレーション部は、前記データ格納部に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行することを特徴とする請求項１から５のいずれか１項に記載の視線キャリブレーションシステム。
【請求項7】
前記第２の表示部がヘッドアップディスプレイで構成されていることを特徴とする請求項１から６のいずれか１項に記載の視線キャリブレーションシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視線キャリブレーションシステムに関する。
【背景技術】
【0002】
近年、車両の安全運転を支援するためにドライバの状態をモニタリングする、所謂、ドライバモニタリングシステム（ＤＭＳ）の開発が進んでいる。このようなドライバモニタリングシステムでは、例えば、運転者がどこを注視しているのかを検出し、運転者が現在の状況に気付いていない場合には、運転者に警報を行うようになっている。
そのため、こうした機能を実現するためには、運転者の視線方向を精度よく検出することが重要であり、視線方向検出のキャリブレーション処理を精度よく行う必要がある。
そのため、こうした機能を実現するためには、運転者の視線方向を精度よく検出することが重要であり、視線方向検出のキャリブレーション処理を精度よく行う必要がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００９－１８３４７３号公報
【文献】特開２０１９－４６２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載のような従来の視線キャリブレーション処理では、１つのターゲットにおいて得られた視線キャリブレーションデータに基づいて、視線キャリブレーション処理を実行していたため、視線キャリブレーションの精度がカメラの光軸から外れた領域では、十分ではないという課題があった。
【0005】
また、特許文献２に記載のように、ターゲットを複数とした場合であっても、当該複数のターゲットが近接しているために、カメラの光軸から外れた領域を含む広域の視線キャリブレーションの精度が向上しないという課題もあった。
【0006】
そこで、本発明は、上述の課題に鑑みてなされたものであって、カメラの光軸から外れた領域を含む広域において、視線キャリブレーションの精度を向上させる視線キャリブレーションシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
形態１；本発明の１またはそれ以上の実施形態は、運転席の前方で車幅方向の中央部に設けられた第１の表示部と、前記運転席の正面に設けられた第２の表示部と、前記第１の表示部の外縁上部に設けられた撮像部と、前記第１の表示部と前記第２の表示部に表示させる表示画像を制御する表示画像制御部と、該撮像部により撮像された画像から前記運転者が前記第１の表示部を視認した時の顔の向きおよび視線方向と、運転者が前記第２の表示部を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成するキャリブレーションデータ生成部と、前記キャリブレーションデータ生成部において生成されたキャリブレーションデータに基づいて、前記第１の表示部を視認する場合に基準となる顔の向きに対応する視線方向および前記第２の表示部を視認する場合に基準となる顔の向きに対応する視線方向に対するキャリブレーションを行うキャリブレーション部と、を備えたことを特徴とする視線キャリブレーションシステムを提案している。
【0008】
形態２；本発明の１またはそれ以上の実施形態は、前記第１の表示部と、前記撮像部と、前記表示画像制御部と、前記キャリブレーションデータ生成部と、前記キャリブレーション部と、が前記運転者のモニタリングを行う運転状態監視装置に備えられていることを特徴とする視線キャリブレーションシステムを提案している。
【0009】
形態３；本発明の１またはそれ以上の実施形態は、前記運転状態監視装置を用いて、前記運転者が個人登録を行うための前記運転者の顔画像を取得した後に、前記表示画像制御部が前記第２の表示部に画像を表示することを特徴とする視線キャリブレーションシステムを提案している。
【0010】
形態４；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は、前記第２の表示部に動画像を表示させることを特徴とする視線キャリブレーションシステムを提案している。
【0011】
形態５；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は、順次、前記運転者に視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を前記第２の表示部の全域に表示させることを特徴とする視線キャリブレーションシステムを提案している。
【0012】
形態６；本発明の１またはそれ以上の実施形態は、前記キャリブレーションデータ生成部において生成されたキャリブレーションデータを格納するデータ格納部を備え、前記キャリブレーション部は、前記データ格納部に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行することを特徴とする視線キャリブレーションシステムを提案している。
【0013】
形態７；本発明の１またはそれ以上の実施形態は、前記第２の表示部がヘッドアップディスプレイで構成されていることを特徴とする視線キャリブレーションシステムを提案している。
【発明の効果】
【0014】
本発明の１またはそれ以上の実施形態によれば、カメラの光軸から外れた領域を含む広域において、視線キャリブレーションの精度を向上させることができるという効果がある。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る視線キャリブレーションシステム１の構成を示す図である。
【図2】本発明の実施形態に係る視線キャリブレーションシステム１における第１の表示部２０および第２の表示部２００の配置状態を示す図である。
【図3】本発明の実施形態に係る視線キャリブレーションシステム１の第１の表示部２０における実際の運転者の顔の向き、撮像画像から検出された運転者の顔の向きおよび視線方向との関係を示した図である。
【図4】本発明の実施形態に係る視線キャリブレーションシステム１の第２の表示部２００における実際の運転者の顔の向き、撮像画像から検出された運転者の顔の向きおよび視線方向との関係を示した図である。
【図5】本発明の実施形態に係る視線キャリブレーションシステム１において第２の表示部２００に表示される動画像を例示した図である。
【図6】本発明の実施形態に係る視線キャリブレーションシステム１において第２の表示部２００に表示される動画像を例示した図である。
【図7】本発明の実施形態に係る視線キャリブレーションシステム１において第２の表示部２００に表示される動画像を例示した図である。
【図8】本発明の実施形態に係る視線キャリブレーションシステム１において第２の表示部２００に表示される動画像を例示した図である。
【図9】本発明の実施形態に係る視線キャリブレーションシステム１において第２の表示部２００に表示される動画像を例示した図である。
【図10】本発明の実施形態に係る視線キャリブレーションシステム１におけるメイン処理のフローを示す図である。
【図11】本発明の実施形態に係る視線キャリブレーションシステム１の第１の表示部２０におけるデータ収集処理のフローを示す図である。
【図12】本発明の実施形態に係る視線キャリブレーションシステム１の第２の表示部２００におけるデータ収集処理のフローを示す図である。
【図13】本発明の実施形態に係る視線キャリブレーションシステム１におけるキャリブレーション処理のフローを示す図である。
【図14】本発明の変形例において第１の表示部２０に表示される画像を例示した図である。
【発明を実施するための形態】
【0016】
【0017】
＜視線キャリブレーションシステム１の構成＞
図１に示すように、本実施形態に係る視線キャリブレーションシステム１は、運転状態監視装置１００と、第２の表示部２００と、を含んで構成されている。
図１に示すように、本実施形態に係る視線キャリブレーションシステム１は、運転状態監視装置１００と、第２の表示部２００と、を含んで構成されている。
【0018】
運転状態監視装置１００は、図２に示すように、運転席の前方で車幅方向の中央部に設けられ、後述する撮像部１０により車両の運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態（顔の向きや目の開度等）に基づいて運転者の運転状態を監視する装置である。
なお、詳細な構成については、別途、詳述する。
なお、詳細な構成については、別途、詳述する。
【0019】
第２の表示部２００は、図２に示すように、運転席の正面に設けられた表示部であり、例えば、フロントガラスに運転者向けの基本的な情報画像を提示するヘッドアップディスプレイ（Head-Up Display；ＨＵＤ）を例示することができる。
なお、図２にはウインドシールドに投影するＨＵＤを例示したが、ダッシュボード上に設けられたコンバイナーに投影するＨＵＤであってもよい。
また、本実施形態においては、ＨＵＤに限らず、運転席の正面に画像を提示する表示部を含む。
なお、図２にはウインドシールドに投影するＨＵＤを例示したが、ダッシュボード上に設けられたコンバイナーに投影するＨＵＤであってもよい。
また、本実施形態においては、ＨＵＤに限らず、運転席の正面に画像を提示する表示部を含む。
【0020】
＜運転状態監視装置１００の構成＞
図１に示すように、運転状態監視装置１００は、撮像部１０と、第１の表示部２０と、ＣＰＵ３０と含んで構成されている。
図１に示すように、運転状態監視装置１００は、撮像部１０と、第１の表示部２０と、ＣＰＵ３０と含んで構成されている。
【0021】
撮像部１０は、例えば、ＣＣＤ（Charge Coupled Device）、またはＣＩＳ(CMOS Image Sensor)等の撮像素子を内蔵し、撮像素子によって撮像された車両内の運転者の画像を出力する。
撮像部１０は、図２に示すように、後述する第１の表示部２０の外縁上部に設けられ、運転者の顔画像を取得する。
撮像部１０は、例えば近赤外線カメラあるいはＲＧＢカメラ等であって、照射された近赤外光に反射した反射光を受光することにより、運転者の顔を撮像する。撮像部１０は、撮像した画像信号を、後述するＣＰＵ３０に送出する。
撮像部１０は、図２に示すように、後述する第１の表示部２０の外縁上部に設けられ、運転者の顔画像を取得する。
撮像部１０は、例えば近赤外線カメラあるいはＲＧＢカメラ等であって、照射された近赤外光に反射した反射光を受光することにより、運転者の顔を撮像する。撮像部１０は、撮像した画像信号を、後述するＣＰＵ３０に送出する。
【0022】
第１の表示部２０は、図２に示すように、運転席の前方で車幅方向の中央部に設けられる、例えば、液晶ディスプレイであって、例えば、運転者に対して、運転者の個人登録等に関する情報を表示する。
なお、第１の表示部２０は、車両に搭載されたナビゲーションシステムの表示部を兼ねていてもよい。
なお、第１の表示部２０は、車両に搭載されたナビゲーションシステムの表示部を兼ねていてもよい。
【0023】
ＣＰＵ３０は、図示しない周知のＣＰＵ、ＲＡＭ、ＲＯＭおよびＩ／Ｏバス等を備え、ＲＯＭに格納された制御プログラムに従って運転状態監視装置１００全体の制御を実行する。
また、本実施形態においては、特に、第１の表示部２０および第２の表示部２００に対して、表示画像の制御を行う。また、ＣＰＵ３０は、撮像部１０から入力した運転者の顔画像から運転者の顔の向きおよび視線方向を検出する。また、ＣＰＵ３０は、検出した運転者の顔の向きおよび視線方向に関する情報に基づいて、視線のキャリブレーション処理を実行する。
なお、ＣＰＵ３０の構成の詳細については後述する。
また、本実施形態においては、特に、第１の表示部２０および第２の表示部２００に対して、表示画像の制御を行う。また、ＣＰＵ３０は、撮像部１０から入力した運転者の顔画像から運転者の顔の向きおよび視線方向を検出する。また、ＣＰＵ３０は、検出した運転者の顔の向きおよび視線方向に関する情報に基づいて、視線のキャリブレーション処理を実行する。
なお、ＣＰＵ３０の構成の詳細については後述する。
【0024】
＜ＣＰＵ３０の構成＞
図１に示すように、ＣＰＵ３０は、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、データ格納部３３と、表示画像制御部３４とを含んで構成されている。
図１に示すように、ＣＰＵ３０は、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、データ格納部３３と、表示画像制御部３４とを含んで構成されている。
【0025】
キャリブレーションデータ生成部３１は、撮像部１０により撮像された画像から運転者が第１の表示部２０を視認した時の顔の向きおよび視線方向と、運転者が第２の表示部２００を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成する。
キャリブレーションデータ生成部３１は、撮像部１０による運転者の撮影画像を解析することにより、運転者の顔向きを検出する。
なお、顔向き検出の手法としては、周知の方法を用いてもよい。
キャリブレーションデータ生成部３１は、撮像部１０による運転者の撮影画像を解析することにより、運転者の顔向きを検出する。
なお、顔向き検出の手法としては、周知の方法を用いてもよい。
【0026】
また、キャリブレーションデータ生成部３１は、撮像部１０による運転者の撮影画像を解析することにより、運転者の視線方向を検出する。
なお、視線方向検出の手法としては、検出した顔の向きから視線方向を検出してもよいし、基準点を目頭、動点を虹彩の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（目頭－ 虹彩法）を用いてもよいし、基準点を角膜反射点（プルキンエ像）、動点を瞳孔の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（瞳孔－角膜反射法）を用いてもよい。
なお、視線方向検出の手法としては、検出した顔の向きから視線方向を検出してもよいし、基準点を目頭、動点を虹彩の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（目頭－ 虹彩法）を用いてもよいし、基準点を角膜反射点（プルキンエ像）、動点を瞳孔の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（瞳孔－角膜反射法）を用いてもよい。
【0027】
キャリブレーションデータ生成部３１は、例えば、図３、図４に示すように、キャリブレーションデータを生成する。
ここで、図３（Ａ）、図４（Ａ）は、運転者の頭上斜方向から前方を見た時の図であり、図３（Ａ）は運転者が第１の表示部２０を見た場合、図４（Ａ）は、運転者が第２の表示部２００を見た場合を示している。図中、Ｄは運転者、Ｍはマーカー、一点鎖線は、マーカーＭを直視したときのマーカーＭに対する運転者Ｄの顔の向き（実際の顔の向き）を示し、実線は、マーカーＭを見た場合に画像から検出された運転者Ｄの顔の向きを示し、点線は、マーカーＭを見た場合に画像から検出された運転者Ｄの視線方向を示している。
ここで、図３（Ａ）、図４（Ａ）は、運転者の頭上斜方向から前方を見た時の図であり、図３（Ａ）は運転者が第１の表示部２０を見た場合、図４（Ａ）は、運転者が第２の表示部２００を見た場合を示している。図中、Ｄは運転者、Ｍはマーカー、一点鎖線は、マーカーＭを直視したときのマーカーＭに対する運転者Ｄの顔の向き（実際の顔の向き）を示し、実線は、マーカーＭを見た場合に画像から検出された運転者Ｄの顔の向きを示し、点線は、マーカーＭを見た場合に画像から検出された運転者Ｄの視線方向を示している。
【0028】
図３（Ｂ）では、運転者Ｄの顔の向きに相当する直線（図３（Ａ）の実線）と第１の表示部２０の表示面の交点をＦとし、そのときの運転者Ｄの視線方向に相当する直線（図３（Ａ）の点線）と第１の表示部２０の表示面の交点をＲＥ（右目）、ＬＥ（左目）として示している。
なお、本実施形態の場合では、運転者が第１の表示部２０を斜め方向から視認しているため、Ｍに対して、Ｆ、ＲＥ、ＲＬは、斜め直線状となるが、図３では、理解を容易にするために、Ｍに対して、Ｆ、ＲＥ、ＲＬを鉛直方向に配列した状態で示している。
なお、本実施形態の場合では、運転者が第１の表示部２０を斜め方向から視認しているため、Ｍに対して、Ｆ、ＲＥ、ＲＬは、斜め直線状となるが、図３では、理解を容易にするために、Ｍに対して、Ｆ、ＲＥ、ＲＬを鉛直方向に配列した状態で示している。
【0029】
上記Ｆ、ＲＥ、ＲＬの表示面における位置は、第１の表示部２０の表示面の座標により求めることができる。
この位置情報から、キャリブレーションデータ生成部３１は、運転者が第１の表示部２０を見た場合における顔の向きの誤差（Δ１１）と右目の誤差（Δ１２）および左目の誤差（Δ１３）を算出する。
同様に、キャリブレーションデータ生成部３１は、運転者が第２の表示部２００を見た場合における顔の向きの誤差（Δ２１）と右目の誤差（Δ２２）および左目の誤差（Δ２３）を算出する。
キャリブレーションデータ生成部３１は、上記誤差データから運転者Ｄが第１の表示部２０を視認した時の顔向きゲインおよび視線方向ゲイン、運転者Ｄが第２の表示部２００を視認した時の顔向きゲインおよび視線方向ゲインをキャリブレーションデータとして生成する。
なお、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、後述するデータ格納部３３に格納される。
この位置情報から、キャリブレーションデータ生成部３１は、運転者が第１の表示部２０を見た場合における顔の向きの誤差（Δ１１）と右目の誤差（Δ１２）および左目の誤差（Δ１３）を算出する。
同様に、キャリブレーションデータ生成部３１は、運転者が第２の表示部２００を見た場合における顔の向きの誤差（Δ２１）と右目の誤差（Δ２２）および左目の誤差（Δ２３）を算出する。
キャリブレーションデータ生成部３１は、上記誤差データから運転者Ｄが第１の表示部２０を視認した時の顔向きゲインおよび視線方向ゲイン、運転者Ｄが第２の表示部２００を視認した時の顔向きゲインおよび視線方向ゲインをキャリブレーションデータとして生成する。
なお、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、後述するデータ格納部３３に格納される。
【0030】
キャリブレーション部３２は、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータに基づいて、運転者Ｄが第１の表示部２０を視認した時の視線方向および運転者Ｄが第２の表示部２００を視認した時の視線方向のキャリブレーションを行う。
キャリブレーション部３２は、後述するデータ格納部３３に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行する。
キャリブレーション部３２は、後述するデータ格納部３３に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行する。
【0031】
データ格納部３３は、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータを格納する。
また、データ格納部３３は、後述する表示画像制御部３４に用いられる表示データが格納される。
また、データ格納部３３は、後述する表示画像制御部３４に用いられる表示データが格納される。
【0032】
表示画像制御部３４は、第１の表示部２０と第２の表示部２００に表示させる表示画像を制御する。
表示画像制御部３４は、例えば、第１の表示部２０に個人登録画面を表示させる。
表示画像制御部３４は、例えば、第１の表示部２０に個人登録画面を表示させる。
【0033】
また、表示画像制御部３４は、例えば、ＣＰＵ３０からの制御信号により、ＣＰＵ３０が、運転者Ｄの個人登録を行うための運転者の顔画像を取得した後に、第２の表示部２００に画像を表示させる。
【0034】
また、表示画像制御部３４は、第２の表示部２００に動画像を表示させる。
なお、当該動画像は、運転者Ｄの動作を一意に定めるようなものが好ましい。例えば、動画像としては、順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を例示することができる。
なお、当該動画像は、運転者Ｄの動作を一意に定めるようなものが好ましい。例えば、動画像としては、順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を例示することができる。
【0035】
順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像としては、図５から図９に示すような動画像を例示することができる。
例えば、図５（Ａ）は、横一列にマーカーＭが直線状に順次、遷移して左端から右端に表示された後に、向きを変えて、右端から左端に交互に表示されるものであり、図５（Ｂ）は、縦一列にマーカーＭが直線状に順次、遷移して上端から下端に表示された後に、向きを変えて、下端から上端に交互に表示されるものである。
例えば、図５（Ａ）は、横一列にマーカーＭが直線状に順次、遷移して左端から右端に表示された後に、向きを変えて、右端から左端に交互に表示されるものであり、図５（Ｂ）は、縦一列にマーカーＭが直線状に順次、遷移して上端から下端に表示された後に、向きを変えて、下端から上端に交互に表示されるものである。
【0036】
例えば、図６（Ａ）は、斜め一列にマーカーＭが直線状に順次、遷移して左上端から右下端に表示された後に、向きを変えて、右下端から左上端に交互に表示されるものであり、図６（Ｂ）は、斜め一列にマーカーＭが直線状に順次、遷移して右上端から左下端に表示された後に、向きを変えて、左下端から右上端に交互に表示されるものである。
【0037】
例えば、図７（Ａ）は、横に複数列、マーカーＭが直線状に順次、遷移して左端から右端に表示された後に、下の列に移って向きを変え、右端から左端に交互にされる表示が繰り返されるものであり、図７（Ｂ）は、縦に複数列、マーカーＭが直線状に順次、遷移して上端から下端に表示された後に、右隣の列に移って向きを変え、下端から上端に交互にされる表示が繰り返されるものである。
【0038】
例えば、図８は、複数列配列され、マーカーＭが左上端から右下端に順次、斜めに遷移するものである。なお、遷移の方向を右下端から左上端に、左下端から右上端に、右上端から左下端に、左上端から左下端に、左下端から左上端に、右上端から右下端に、右下端から右上端にしてもよい。
【0039】
例えば、図９は、複数列配列され、マーカーＭが左上端から左下端に順次、ジグザグに遷移するものである。なお、遷移の方向を左下端から左上端に、右上端から右下端に、左上端から右下端に、左上端から右上端に、右上端から左下端に、右下端から左下端に、右下端から右上端にしてもよい。
【0040】
【0041】
＜視線キャリブレーションシステム１のメイン処理＞
図１０に示すように、視線キャリブレーションシステム１のメイン処理は、第１の表示部２０からのキャリブレーションデータ収集処理（ステップＳ１００）と、第２の表示部２００からのキャリブレーションデータ収集処理（ステップＳ２００）と、キャリブレーション処理（ステップＳ３００）とからなっている。
以下、それぞれの処理ステップについて詳述する。
図１０に示すように、視線キャリブレーションシステム１のメイン処理は、第１の表示部２０からのキャリブレーションデータ収集処理（ステップＳ１００）と、第２の表示部２００からのキャリブレーションデータ収集処理（ステップＳ２００）と、キャリブレーション処理（ステップＳ３００）とからなっている。
以下、それぞれの処理ステップについて詳述する。
【0042】
＜第１の表示部２０からのキャリブレーションデータ収集処理＞
図１１を用いて、第１の表示部２０からのキャリブレーションデータ収集処理について説明する。
図１１を用いて、第１の表示部２０からのキャリブレーションデータ収集処理について説明する。
【0043】
まず、表示画像制御部３４は、ＣＰＵ３０からの制御信号に基づいて、第１の表示部２０に運転状態監視装置１００を利用するための個人登録画面を表示する（ステップＳ１１０）。
【0044】
この時、撮像部１０は、ＣＰＵ３０からの制御信号に基づいて、運転者Ｄの顔画像を撮像する（ステップＳ１２０）。
撮像部１０は、撮像を完了すると、運転者Ｄの顔画像データをキャリブレーションデータ生成部３１に出力する。
撮像部１０は、撮像を完了すると、運転者Ｄの顔画像データをキャリブレーションデータ生成部３１に出力する。
【0045】
キャリブレーションデータ生成部３１は、入力した運転者Ｄの顔画像データから、運転者Ｄの顔の向き、視線方向を抽出する。
そして、キャリブレーションデータ生成部３１は、抽出した運転者Ｄの顔の向き、視線方向と運転者ＤがマーカーＭを視認したときの顔の向きとから、運転者Ｄが第１の表示部２０を見た場合の顔の向きの誤差（Δ１１）と右目の誤差（Δ１２）および左目の誤差（Δ１３）を算出する。
そして、キャリブレーションデータ生成部３１は、抽出した運転者Ｄの顔の向き、視線方向と運転者ＤがマーカーＭを視認したときの顔の向きとから、運転者Ｄが第１の表示部２０を見た場合の顔の向きの誤差（Δ１１）と右目の誤差（Δ１２）および左目の誤差（Δ１３）を算出する。
【0046】
さらに、キャリブレーションデータ生成部３１は、上記誤差データから運転者Ｄが第１の表示部２０を視認した時の顔向きゲインおよび視線方向ゲインをキャリブレーションデータとして生成する（ステップＳ１３０）。
そして、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、データ格納部３３に格納される（ステップＳ１４０）。
そして、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、データ格納部３３に格納される（ステップＳ１４０）。
【0047】
＜第２の表示部２００からのキャリブレーションデータ収集処理＞
図１２を用いて、第２の表示部２００からのキャリブレーションデータ収集処理について説明する。
図１２を用いて、第２の表示部２００からのキャリブレーションデータ収集処理について説明する。
【0048】
まず、表示画像制御部３４は、ＣＰＵ３０からの制御信号に基づいて、第１の表示部２０において運転者Ｄの顔画像が撮像されたタイミングで第２の表示部２００に動画像を表示する（ステップＳ２１０）。
なお、第２の表示部２００に表示される動画像としては、図５から図９に示すような順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を例示することができる。
なお、第２の表示部２００に表示される動画像としては、図５から図９に示すような順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を例示することができる。
【0049】
この時、撮像部１０は、ＣＰＵ３０からの制御信号に基づいて、第２の表示部２００に表示される動画像を注視する運転者Ｄの顔画像を撮像する（ステップＳ２２０）。
撮像部１０は、撮像を完了すると、運転者Ｄの顔画像データをキャリブレーションデータ生成部３１に出力する。
撮像部１０は、撮像を完了すると、運転者Ｄの顔画像データをキャリブレーションデータ生成部３１に出力する。
【0050】
キャリブレーションデータ生成部３１は、入力した運転者Ｄの顔画像データから、運転者Ｄの顔の向き、視線方向を抽出する。
そして、キャリブレーションデータ生成部３１は、抽出した運転者Ｄの顔の向き、視線方向と運転者ＤがマーカーＭを視認したときの顔の向きとから、運転者Ｄが第２の表示部２００を見た場合における顔の向きの誤差（Δ２１）と右目の誤差（Δ２２）および左目の誤差（Δ２３）を算出する。
そして、キャリブレーションデータ生成部３１は、抽出した運転者Ｄの顔の向き、視線方向と運転者ＤがマーカーＭを視認したときの顔の向きとから、運転者Ｄが第２の表示部２００を見た場合における顔の向きの誤差（Δ２１）と右目の誤差（Δ２２）および左目の誤差（Δ２３）を算出する。
【0051】
さらに、キャリブレーションデータ生成部３１は、上記誤差データから運転者Ｄが第２の表示部２００を視認した時の顔向きゲインおよび視線方向ゲインをキャリブレーションデータとして生成する（ステップＳ２３０）。
そして、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、データ格納部３３に格納される（ステップＳ２４０）。
そして、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、データ格納部３３に格納される（ステップＳ２４０）。
【0052】
＜キャリブレーション処理＞
図１３を用いて、キャリブレーション処理について説明する。
図１３を用いて、キャリブレーション処理について説明する。
【0053】
ＣＰＵ３０は、データ格納部３３に予め定めた所定量のキャリブレーションデータが格納されているか否かを判定する（ステップＳ３１０）。
【0054】
この時、ＣＰＵ３０がデータ格納部３３に予め定めた所定量のキャリブレーションデータが格納されていないと判断した場合（ステップＳ３１０の「ＮＯ」）には、待機モードに遷移する。
【0055】
一方で、ＣＰＵ３０がデータ格納部３３に予め定めた所定量のキャリブレーションデータが格納されていると判断した場合（ステップＳ３１０の「ＹＥＳ」）には、処理をステップＳ３２０に遷移させる。
【0056】
この時、キャリブレーション部３２は、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータに基づいて、運転者Ｄが第１の表示部２０を視認した時の視線方向および運転者Ｄが第２の表示部２００を視認した時の視線方向のキャリブレーションを行う（ステップＳ３２０）。
【0057】
＜作用・効果＞
以上、説明したように、本実施形態に係る視線キャリブレーションシステム１は、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００と、第１の表示部の外縁上部に設けられた撮像部１０と、第１の表示部２０と第２の表示部２００に表示させる表示画像を制御する表示画像制御部３４と、撮像部１０により撮像された画像から運転者Ｄが第１の表示部２０を視認した時の顔の向きおよび視線方向と、運転者Ｄが第２の表示部２００を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成するキャリブレーションデータ生成部３１と、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータに基づいて、第１の表示部２０を視認する場合に基準となる顔の向きに対応する視線方向および第２の表示部２００を視認する場合に基準となる顔の向きに対応する視線方向に対するキャリブレーションを行うキャリブレーション部３２と、を含んで構成されている。
つまり、本実施形態に係る視線キャリブレーションシステム１は、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００とにおいて、視線のキャリブレーションを実施する。
一般に、撮像部１０の光軸に近傍で撮像された画像を用いて行うキャリブレーション（第１の表示部２０によるキャリブレーション）は精度が高く、撮像部１０の光軸から外れて撮像された画像を用いて行うキャリブレーション（第２の表示部２００におけるキャリブレーション）は精度が低いことが知られている。
しかしながら、本実施形態に係る視線キャリブレーションシステム１では、第１の表示部２０を運転者Ｄが視認した場合のキャリブレーションデータに基づいて、第１の表示部２０を運転者Ｄが視認した場合のキャリブレーションを行い、第２の表示部２００を運転者Ｄが視認した場合のキャリブレーションデータに基づいて、第２の表示部２００を運転者Ｄが視認した場合のキャリブレーションを行うことから、第２の表示部２００におけるキャリブレーションについても精度を向上させることができる。
すなわち、運転者Ｄの顔の向きと撮像部１０の光軸との差が小さい場合におけるキャリブレーションデータを取得するとともに、運転者Ｄの顔の向きと撮像部１０の光軸との差が大きい場合におけるキャリブレーションデータを取得することから、撮像部１０の光軸から外れた領域を含む広域において、視線のキャリブレーションの精度を向上させることができる。
具体的には、図２を例とすると、運転者Ｄがエアコン６２やナビゲーションシステム６１を視認している場合は、第１の表示部２０に対して取得されたキャリブレーションデータを用い、運転者Ｄがメータパネル６３やドアミラー６４を視認している場合は、第２の表示部２００に対して取得されたキャリブレーションデータを用いることにより、撮像部１０の光軸から外れた領域を含む広域において、視線のキャリブレーションの精度を向上させることができる。
以上、説明したように、本実施形態に係る視線キャリブレーションシステム１は、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００と、第１の表示部の外縁上部に設けられた撮像部１０と、第１の表示部２０と第２の表示部２００に表示させる表示画像を制御する表示画像制御部３４と、撮像部１０により撮像された画像から運転者Ｄが第１の表示部２０を視認した時の顔の向きおよび視線方向と、運転者Ｄが第２の表示部２００を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成するキャリブレーションデータ生成部３１と、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータに基づいて、第１の表示部２０を視認する場合に基準となる顔の向きに対応する視線方向および第２の表示部２００を視認する場合に基準となる顔の向きに対応する視線方向に対するキャリブレーションを行うキャリブレーション部３２と、を含んで構成されている。
つまり、本実施形態に係る視線キャリブレーションシステム１は、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００とにおいて、視線のキャリブレーションを実施する。
一般に、撮像部１０の光軸に近傍で撮像された画像を用いて行うキャリブレーション（第１の表示部２０によるキャリブレーション）は精度が高く、撮像部１０の光軸から外れて撮像された画像を用いて行うキャリブレーション（第２の表示部２００におけるキャリブレーション）は精度が低いことが知られている。
しかしながら、本実施形態に係る視線キャリブレーションシステム１では、第１の表示部２０を運転者Ｄが視認した場合のキャリブレーションデータに基づいて、第１の表示部２０を運転者Ｄが視認した場合のキャリブレーションを行い、第２の表示部２００を運転者Ｄが視認した場合のキャリブレーションデータに基づいて、第２の表示部２００を運転者Ｄが視認した場合のキャリブレーションを行うことから、第２の表示部２００におけるキャリブレーションについても精度を向上させることができる。
すなわち、運転者Ｄの顔の向きと撮像部１０の光軸との差が小さい場合におけるキャリブレーションデータを取得するとともに、運転者Ｄの顔の向きと撮像部１０の光軸との差が大きい場合におけるキャリブレーションデータを取得することから、撮像部１０の光軸から外れた領域を含む広域において、視線のキャリブレーションの精度を向上させることができる。
具体的には、図２を例とすると、運転者Ｄがエアコン６２やナビゲーションシステム６１を視認している場合は、第１の表示部２０に対して取得されたキャリブレーションデータを用い、運転者Ｄがメータパネル６３やドアミラー６４を視認している場合は、第２の表示部２００に対して取得されたキャリブレーションデータを用いることにより、撮像部１０の光軸から外れた領域を含む広域において、視線のキャリブレーションの精度を向上させることができる。
【0058】
また、本実施形態に係る視線キャリブレーションシステム１は、第１の表示部２０と、撮像部１０と、表示画像制御部３４と、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、を備えた運転状態監視装置１００を用いて、運転者Ｄが個人登録を行うための運転者Ｄの顔画像を取得した後に、表示画像制御部３４が第２の表示部２００に画像を表示する。
つまり、運転状態監視装置１００における個人登録をトリガに第１の表示部２０を用いたキャリブレーションデータを取得し、運転者Ｄが個人登録を行うための運転者Ｄの顔画像を取得した後に、表示画像制御部３４が第２の表示部２００に画像を表示し、キャリブレーションデータを取得する。
そのため、運転者Ｄの負担を軽減するとともに、キャリブレーションデータの取得時間を短縮することができる。
つまり、運転状態監視装置１００における個人登録をトリガに第１の表示部２０を用いたキャリブレーションデータを取得し、運転者Ｄが個人登録を行うための運転者Ｄの顔画像を取得した後に、表示画像制御部３４が第２の表示部２００に画像を表示し、キャリブレーションデータを取得する。
そのため、運転者Ｄの負担を軽減するとともに、キャリブレーションデータの取得時間を短縮することができる。
【0059】
また、本実施形態に係る視線キャリブレーションシステム１において、表示画像制御部３４は、第２の表示部２００に動画像を表示させる。
つまり、第２の表示部２００に動画像を表示させることにより、運転者Ｄの動作を一意に定めることができるため、視線キャリブレーションに有用な視線データを取得するまでの時間を短縮することができる。
また、第２の表示部２００に動画像を表示させることにより、運転者Ｄの動作を一意に定めることができるため、キャリブレーションデータの精度を高めることができる。
つまり、第２の表示部２００に動画像を表示させることにより、運転者Ｄの動作を一意に定めることができるため、視線キャリブレーションに有用な視線データを取得するまでの時間を短縮することができる。
また、第２の表示部２００に動画像を表示させることにより、運転者Ｄの動作を一意に定めることができるため、キャリブレーションデータの精度を高めることができる。
【0060】
また、本実施形態に係る視線キャリブレーションシステム１において、表示画像制御部３４は、順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を第２の表示部２００の全域に表示させる。
具体的には、表示画像制御部３４は、図５から図９に示すようなシーケンシャルな動画像を第２の表示部２００の全域に表示させる。
これにより、運転者Ｄの視線を容易に誘導することができ、運転者Ｄの動作のばらつきを抑えることにより、視線キャリブレーションに有用な視線データを取得するまでの時間を短縮することができる。
具体的には、表示画像制御部３４は、図５から図９に示すようなシーケンシャルな動画像を第２の表示部２００の全域に表示させる。
これにより、運転者Ｄの視線を容易に誘導することができ、運転者Ｄの動作のばらつきを抑えることにより、視線キャリブレーションに有用な視線データを取得するまでの時間を短縮することができる。
【0061】
また、本実施形態に係る視線キャリブレーションシステム１において、キャリブレーション部３２は、データ格納部３３に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行する。
つまり、キャリブレーション部３２は、キャリブレーション処理に十分なキャリブレーションデータがデータ格納部３３に格納されたタイミングでキャリブレーションを実行することから、視線キャリブレーション処理の精度を高めることができる。
つまり、キャリブレーション部３２は、キャリブレーション処理に十分なキャリブレーションデータがデータ格納部３３に格納されたタイミングでキャリブレーションを実行することから、視線キャリブレーション処理の精度を高めることができる。
【0062】
また、本実施形態に係る視線キャリブレーションシステム１においては、第２の表示部２００がヘッドアップディスプレイで構成されている。
つまり、車両に搭載されている運転状態監視装置１００とヘッドアップディスプレイとを用いて、視線キャリブレーションを実行できるため、余計な装置を必要とせず、簡便に視線キャリブレーションを実行できる。
また、表示領域が大きいヘッドアップディスプレイを第２の表示部２００とするため、一般に、精度が低いとされる撮像部１０の光軸から外れた第２の表示部２００においても、十分なキャリブレーションデータが得ることによって、キャリブレーションの精度を高めることができる。
つまり、車両に搭載されている運転状態監視装置１００とヘッドアップディスプレイとを用いて、視線キャリブレーションを実行できるため、余計な装置を必要とせず、簡便に視線キャリブレーションを実行できる。
また、表示領域が大きいヘッドアップディスプレイを第２の表示部２００とするため、一般に、精度が低いとされる撮像部１０の光軸から外れた第２の表示部２００においても、十分なキャリブレーションデータが得ることによって、キャリブレーションの精度を高めることができる。
【0063】
＜変形例１＞
例えば、上記実施形態においては、ＣＰＵ３０に、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、データ格納部３３と、を設けた構成を示したが、撮像部１０において撮像された画像情報等を車両にネットワークを介して接続されたサーバーに転送し、当該サーバーにおいて、キャリブレーションデータ生成部３１の処理、キャリブレーション部３２の処理を実行させる構成としてもよい。
このようにすることにより、多くの情報を迅速に処理することができる。
例えば、上記実施形態においては、ＣＰＵ３０に、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、データ格納部３３と、を設けた構成を示したが、撮像部１０において撮像された画像情報等を車両にネットワークを介して接続されたサーバーに転送し、当該サーバーにおいて、キャリブレーションデータ生成部３１の処理、キャリブレーション部３２の処理を実行させる構成としてもよい。
このようにすることにより、多くの情報を迅速に処理することができる。
【0064】
＜変形例２＞
上記実施形態においては、特に言及しなかったが、第１の表示部２０においても動画像を表示してもよい。
具体的には、個人登録のトップ画面に、例えば、図５に示すような動画像を表示してもよいし、個人登録のトップ画面と次画面との間に、メッセージとともに図６から図９に示すような動画像を表示する画面を設けてもよい。
また、個人登録のトップ画面と次画面との間に、「空いている場所を（Ａ）から（Ｄ）の順番に視認して下さい。」というメッセージとともに図１４に示す画像を表示してもよい。
このように、第１の表示部２０においても動画像や静止画像を表示することによって、運転者Ｄの視線を一意に定めることにより、第１の表示部２０を運転者Ｄが視認する際に得られるキャリブレーションデータの精度を高めることができる。
上記実施形態においては、特に言及しなかったが、第１の表示部２０においても動画像を表示してもよい。
具体的には、個人登録のトップ画面に、例えば、図５に示すような動画像を表示してもよいし、個人登録のトップ画面と次画面との間に、メッセージとともに図６から図９に示すような動画像を表示する画面を設けてもよい。
また、個人登録のトップ画面と次画面との間に、「空いている場所を（Ａ）から（Ｄ）の順番に視認して下さい。」というメッセージとともに図１４に示す画像を表示してもよい。
このように、第１の表示部２０においても動画像や静止画像を表示することによって、運転者Ｄの視線を一意に定めることにより、第１の表示部２０を運転者Ｄが視認する際に得られるキャリブレーションデータの精度を高めることができる。
【0065】
なお、キャリブレーションデータ生成部３１、キャリブレーション部３２、表示画像制御部３４の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをキャリブレーションデータ生成部３１、キャリブレーション部３２、表示画像制御部３４に読み込ませ、実行することによって本発明の視線キャリブレーションシステム１を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【0066】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【0067】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0068】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0069】
１；視線キャリブレーションシステム
１０；撮像部
２０；第１の表示部
３０；ＣＰＵ
３１；キャリブレーションデータ生成部
３２；キャリブレーション部
３３；データ格納部
３４；表示画像制御部
１００；運転状態監視装置
２００；第２の表示部
１０；撮像部
２０；第１の表示部
３０；ＣＰＵ
３１；キャリブレーションデータ生成部
３２；キャリブレーション部
３３；データ格納部
３４；表示画像制御部
１００；運転状態監視装置
２００；第２の表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
