特開 2023-176251 視点検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023176251

(43)【公開日】2023-12-13

(54)【発明の名称】視点検出システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20231206BHJP

   G06T 7/00 20170101ALI20231206BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 660A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022088431

(22)【出願日】2022-05-31

(71)【出願人】

【識別番号】000231512

【氏名又は名称】日本精機株式会社

(72)【発明者】

【氏名】猪坂 雄治

(72)【発明者】

【氏名】濱田 一成

(72)【発明者】

【氏名】西澤 幸蔵

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096BA04

5L096CA04

5L096FA09

5L096FA62

5L096FA64

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】眼鏡着用時においても好適に視点を検出できる視点検出システムを提供する。
【解決手段】本実施形態における視点検出システムは、撮影領域内の被検出者の左目及び右目近傍を少なくとも含む画像を撮影する撮影部と、画像における被検出者の左目の黒目の中心及び右目の黒目の中心の中点である視点位置を所定の方法で検出する視点位置検出部と、所定の方法で視点位置が検出できず且つ被検出者の着用する眼鏡の特徴点を画像から抽出できる場合、眼鏡の特徴点に基づいて視点位置を推定する視点位置推定部と、視点位置検出部により検出された視点位置及び視点位置推定部により推定された視点位置から所定の三次元直交座標系における視点座標を算出する視点座標算出部と、を備える。
【選択図】 図５

【特許請求の範囲】

【請求項1】

撮影領域内の被検出者の左目及び右目近傍を少なくとも含む画像を撮影する撮影部と、
前記画像における前記被検出者の前記左目の黒目の中心及び前記右目の黒目の中心の中点である視点位置を所定の方法で検出する視点位置検出部と、
前記所定の方法で前記視点位置が検出できず且つ前記被検出者の着用する眼鏡の特徴点を前記画像から抽出できる場合、前記眼鏡の特徴点に基づいて前記視点位置を推定する視点位置推定部と、
前記視点位置検出部により検出された前記視点位置及び前記視点位置推定部により推定された前記視点位置から所定の三次元直交座標系における視点座標を算出する視点座標算出部と、を備える視点検出システム。

【請求項2】

前記視点位置推定部は、前記画像から前記眼鏡の縦幅を検出するため複数の前記眼鏡の特徴点を抽出し、検出された前記眼鏡の前記縦幅の中点からなる横直線を算出し、前記横直線が前記視点位置を含むと推定する、請求項１記載の視点検出システム。

【請求項3】

前記視点位置推定部は、前記画像から前記眼鏡の横幅を検出するため複数の前記眼鏡の特徴点を抽出し、検出された前記眼鏡の前記横幅の中点からなる縦直線を算出し、前記縦直線が前記視点位置を含むと推定する、請求項１記載の視点検出システム。

【請求項4】

前記視点位置推定部は、前記画像から前記左目又は前記右目に含まれる目の特徴点を抽出し、前記目の特徴点から前記左目及び前記右目の前記黒目の中心を含む横直線を算出し、前記横直線が前記視点位置を含むと推定する、請求項３記載の視点検出システム。

【請求項5】

前記視点位置推定部は、
前記画像から前記被検出者の顔の複数の特徴点を抽出し前記顔の水平線を算出し、
前記画像から前記被検出者の前記左目又は前記右目の目尻、及び前記左目又は前記右目の目頭の組み合わせからなる特徴点を抽出し、前記目尻を通り前記顔の水平線に平行な目尻直線と、前記目頭を通り前記顔の水平線に平行な目頭直線と、を算出し、
前記画像から前記眼鏡の横幅を推定するため複数の前記眼鏡の特徴点を抽出し、前記眼鏡の特徴点から前記眼鏡の前記横幅の中点を算出し、前記中点を通り前記顔の水平線に垂直な縦直線を算出し、
前記目尻直線と前記縦直線との交点及び前記目頭直線と前記縦直線との交点からなる二つの点の中点を前記視点位置と推定する、請求項１記載の視点検出システム。

【請求項6】

前記視点位置推定部は、
前記画像から前記被検出者の顔の複数の特徴点を抽出し前記顔の水平線を検出し、
前記画像から前記被検出者の前記左目又は前記右目の上目蓋、及び前記左目又は前記右目の下目蓋の組み合わせからなる特徴点を抽出し、前記上目蓋を通り前記顔の水平線に平行な上目蓋直線と、前記下目蓋を通り前記顔の水平線に平行な下目蓋直線と、を算出し、
前記画像から前記眼鏡の横幅を検出するため複数の前記眼鏡の特徴点を抽出し、前記眼鏡の特徴点から前記眼鏡の横幅の中点を算出し、前記中点を通り前記顔の水平線に垂直な縦直線を算出し、
前記上目蓋直線と前記縦直線との交点及び前記下目蓋直線と前記縦直線との交点からなる二つの交点の中点を前記視点位置と推定する、請求項１記載の視点検出システム。

【請求項7】

前記視点位置推定部は、
前記画像から前記被検出者の顔の複数の特徴点を抽出し前記顔の水平線を検出し、
前記画像から前記被検出者の前記左目又は前記右目の目尻、及び前記左目又は前記右目の目頭の組み合わせからなる特徴点を抽出し、前記目尻を通り前記顔の水平線に平行な目尻直線と、前記目頭を通り前記顔の水平線に平行な目頭直線と、を算出し、
前記画像から前記眼鏡の左レンズ及び右レンズの少なくとも一方の横幅を検出するため複数の前記眼鏡の特徴点を抽出し、前記眼鏡の特徴点から前記左レンズ及び前記右レンズの少なくとも一方の前記横幅の中点を算出し、前記中点を通り前記顔の水平線に垂直な縦直線を算出し、
前記目尻直線と前記縦直線との交点及び前記目頭直線と前記縦直線との交点からなる二つの点の中点を前記横幅が推定された前記左目及び前記右目の少なくとも一方の前記黒目の中心として前記視点位置を推定する、請求項１記載の視点検出システム。

【請求項8】

前記三次元直交座標系は、水平軸、垂直軸及び奥行軸からなり、
前記視点検出システムは、車両の前方に前記被検出者に視認させる虚像を視認させるヘッドアップディスプレイを搭載する車両に配置され、
前記視点座標算出部は、
前記視点位置推定部により推定された前記視点位置に基づいて算出された水平座標、垂直座標及び奥行座標からなる前記視点座標、既知の前記左目の黒目の中心及び前記右目の黒目の中心の間の距離、及び既知の眼球の直径に基づいて、前記左目及び前記右目の眼球の中心と、前記虚像の表示の中心と、に係る前記三次元直交座標系における座標を算出し、
前記虚像の表示の中心の座標と、前記左目の眼球の中心の座標と、を結ぶ直線、及び前記虚像の表示の中心の座標と、前記右目の眼球の中心の座標と、を結ぶ直線と、を算出し、前記算出された二本の前記直線の中間を通る中間直線を算出し、
前記視点座標の前記奥行座標を含み前記奥行座標に直交する奥行座標面と前記中間直線との交点からなる点を、新たな視点座標として算出する、請求項１記載の視点検出システム。

【請求項9】

前記視点座標算出部は、前記三次元直交座標系における前記眼鏡の縦幅の距離に関する情報、前記三次元直交座標系における前記眼鏡の横幅の距離に関する情報、前記三次元直交座標系における前記左目及び前記右目の目頭の距離に関する情報、又は前記三次元直交座標系における前記左目及び前記右目の目尻の距離に関する情報を予め記憶し、前記情報から前記視点位置を前記三次元直交座標系における前記視点座標に変換する、請求項１記載の視点検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被検出者の視点位置を検出する視点検出システムに関する。

【背景技術】

【0002】

従来、車両の運転者の顔や目を撮影した画像から、運転者の状態を検出する技術が知られている。検出された運転者の状態は、居眠り等に対する警報の要否の判断や、ヘッドアップディスプレイにおける虚像の表示位置の決定に用いられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平６－２５５３８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転者の目の画像から運転者の状態を検出する場合、運転者が眼鏡を着用していると、眼鏡に光が反射し、目の状態が適切に撮影できない虞がある。この場合、運転者の状態の検出が困難となる。特に、運転者の目の特徴から視点位置を正確に検出しようとした場合には、眼鏡における反射により正確な検出が困難である。

【0005】

本開示はこのような事情を考慮してなされたもので、眼鏡着用時においても好適に視点を検出できる視点検出システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の視点検出システムは、上述した課題を解決するために、撮影領域内の被検出者の左目及び右目近傍を少なくとも含む画像を撮影する撮影部と、前記画像における前記被検出者の前記左目の黒目の中心及び前記右目の黒目の中心の中点である視点位置を所定の方法で検出する視点位置検出部と、前記所定の方法で前記視点位置が検出できず且つ前記被検出者の着用する眼鏡の特徴点を前記画像から抽出できる場合、前記眼鏡の特徴点に基づいて前記視点位置を推定する視点位置推定部と、前記視点位置検出部により検出された前記視点位置及び前記視点位置推定部により推定された前記視点位置から所定の三次元直交座標系における視点座標を算出する視点座標算出部と、を備える。

【発明の効果】

【0007】

本開示の視点検出システムにおいては、眼鏡着用時においても好適に視点を検出できる。

【図面の簡単な説明】

【0008】

【図1】本実施形態における視点検出システムが搭載されたＨＵＤを示す図。

【図2】視点位置の説明図。

【図3】視点位置検出部が所定の方法で視点位置を検出できない場合の説明図。

【図4】カメラ座標としての三次元直交座標系の説明図。

【図5】第一視点位置推定処理により視点位置を推定する際の概念的な説明図。

【図6】第一視点位置推定処理を説明するフローチャート。

【図7】補正後視点座標を算出する際の概念的な説明図。

【図8】第二視点位置推定処理により視点位置を推定する際の概念的な説明図。

【図9】第二視点位置推定処理を説明するフローチャート。

【図10】第三視点位置推定処理により視点位置を推定する際の概念的な説明図。

【図11】第三視点位置推定処理を説明するフローチャート。

【発明を実施するための形態】

【0009】

本開示の視点検出システムの実施形態を添付図面に基づいて説明する。本開示の視点検出システムは、例えば自動車や二輪車等の車両や、船舶、農業機械、建設機械に搭載される視点検出システムに適用することができる。本実施形態においては、視点検出システムがヘッドアップディスプレイ（ＨＵＤ、Head Up Display）に搭載される例を適用して説明する。

【0010】

図１は、本実施形態における視点検出システムが搭載されたＨＵＤ１を示す図である。

【0011】

以下の説明において、「前」、「後」、「上」及び「下」は、図１における定義「Ｆｒ．」、「Ｒｅ．」、「Ｔｏ．」、及び「Ｂｏ．」に従う。「左」及び「右」（水平方向）は前後及び上下方向（垂直方向）に直交する方向とする。

【0012】

ＨＵＤ１は、車両２のステアリングホイール５の前方のインストルメントパネル内に搭載される。ＨＵＤ１は、表示器１１と、平面鏡１２と、凹面鏡１３と、撮影ユニット１５と、筐体１６と、制御部３０と、を有する。

【0013】

表示器１１は、四角形状の表示面に画像を表示し、画像を示す表示光Ｌを平面鏡１２に向けて出射する。表示器１１は、例えばＴＦＴ（Thin Film Transistor）型の液晶表示器や有機ＥＬ（Electroluminescence）表示器である。尚、表示器１１はプロジェクタ及び表示面を構成するスクリーンを有するものであってもよい。

【0014】

平面鏡１２は、表示器１１が出射した表示光Ｌを、凹面鏡１３に向けて反射させる。凹面鏡１３は、平面鏡１２で反射した表示光Ｌを更に反射させ、ウインドシールド３に向けて出射する。凹面鏡１３は、拡大鏡としての機能を有し、表示器１１に表示された画像を拡大してウインドシールド３（投影部材）側へ反射する。運転者４が視認する虚像Ｖは、表示器１１に表示された画像が拡大された像である。

【0015】

表示光Ｌは、ウインドシールド３を照射する。車両２の運転者（被検出者）４は、ウインドシールド３における表示光Ｌの反射光を、車両２の前方所定位置で虚像Ｖとして視認する。すなわち、画像は、ウインドシールド３を介して（ウインドシールド３の前方で）運転者４に視認される実景と重なる、仮想的な領域に表示される。また、実景は、画像の背景となり得る。

【0016】

撮影ユニット１５（撮影部）は、カメラと、近赤外線光源と、を有する。カメラは、赤外線イメージセンサを有する。カメラは、撮影領域内の運転者４の左目及び右目近傍を含む顔で反射した近赤外線ＩＲを検出し、運転者４の画像を撮影する。近赤外線光源は、近赤外線ＩＲを照射し、ウインドシールド３で反射させて運転者４を照射する。近赤外線光源は、カメラの撮影タイミングと同期して発光する。尚、カメラが検出する波長は、近赤外に限らず、短波赤外であってもよい。また、カメラは、可視光を検出して画像を撮影してもよい。

【0017】

筐体１６は、筐体１６の内部に、平面鏡１２及び凹面鏡１３を取付部材を介して固定する。また、筐体１６は、表示器１１、及び制御部３０が実装された制御基板を取付部材を介して固定する。

【0018】

制御部３０は、特に、後述する車両２の車両ＥＣＵ４１等から取得する情報に基づいて、表示器１１を制御したり、撮影ユニット１５を制御したり、撮影ユニット１５から取得した情報に基づいて演算処理を行う。具体的には、制御部３０は、画像生成部３１と、表示制御部３２と、記憶部３３と、撮影制御部３４と、視点位置検出部３５と、視点位置推定部３６と、視点座標算出部３７と、を有する。制御部３０は、マイクロプロセッサ、マイクロコントローラ、グラフィックコントローラ、集積回路等であり、制御部３０内の各部３１～３７を実現し、所定の処理を実行する。

【0019】

画像生成部３１は、記憶部３３より必要な情報を読み出し、表示器１１に表示される画像の描画処理を実行し、画像を生成する。

【0020】

表示制御部３２は、画像生成部３１により生成された画像を表示器１１に表示するための制御を行う。表示制御部３２は、視点座標算出部３７により算出された運転者４の視点位置に基づいて、虚像Ｖの表示位置を決定する。

【0021】

記憶部３３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、不揮発性メモリ等であり、所要のプログラムやデータを記憶する。記憶部３３は、視点座標算出部３７が視点位置を算出する際に必要な情報も記憶する。

【0022】

撮影制御部３４は、撮影ユニット１５を制御する。具体的には、撮影制御部３４は、カメラの撮影タイミングや近赤外線光源の発光タイミングを制御する。

【0023】

視点位置検出部３５は、カメラにより撮影された画像における運転者４の視点位置を所定の方法で検出する。ここで、図２は、視点位置５５の説明図である。視点位置５５は、運転者４の左目５１の黒目中心５１ｂ及び右目５３の黒目中心５３ｂの中点である。視点位置検出部３５は、所定の方法として、例えば公知の画像認識技術を用いて黒目５１ａ、５３ａの位置を検出する。例えば、視点位置検出部３５は、各目の目頭５１ｃ、５３ｃや、目尻５１ｄ、５３ｄを画像から検出し、黒目５１ａ、５３ａの位置を特定し得る。

【0024】

視点位置推定部３６は、視点位置検出部３５が所定の方法で視点位置５５が検出できず、且つ運転者４の着用する眼鏡の特徴点を画像から抽出できる場合、眼鏡の特徴点に基づいて視点位置５５を推定する。ここで図３は、視点位置検出部３５が所定の方法で視点位置５５を検出できない場合の説明図である。

【0025】

視点位置検出部３５は、上述したとおり黒目中心５１ｂ、５３ｂに基づいて視点位置５５を検出する。しかしながら、カメラにより眼鏡６０のレンズ６１、６３の反射光Ｆが撮影されてしまうことにより、視点位置検出部３５は黒目中心５１ｂ、５３ｂの少なくとも一方が検出できない場合が起こり得る。この場合、視点位置推定部３６は、運転者４が着用している眼鏡６０の特徴点に基づいて、視点位置５５を推定する。視点位置推定部３６の視点位置５５の推定の詳細については、後述する。

【0026】

視点座標算出部３７は、視点位置検出部３５により検出された視点位置５５及び視点位置推定部３６により推定された視点位置５５から所定の三次元直交座標系における視点位置（以下、「視点座標」という場合がある。）を算出する。

【0027】

ここで、図４は、カメラ座標Ｃ１としての三次元直交座標系の説明図である。座標系Ｃ１は、撮影ユニット１５のカメラの位置を原点とする三次元直交座標系（以下、カメラ座標Ｃ１という。）で定義される。Ｚ軸は、カメラの光軸ＯＡに一致する。座標系Ｃ２は、撮影ユニット１５により撮影された画像（画像面）Ｐの領域内に定義される二次元直交座標軸（以下、画像座標Ｃ２という。）である。ｘ軸はカメラ座標Ｃ１のＸ軸と平行であり、ｙ軸はＹ軸と平行である。以下、Ｘ軸、ｘ軸を水平軸、Ｙ軸、ｙ軸を垂直軸、Ｚ軸を奥行軸という場合がある。

【0028】

視点座標算出部３７は、公知の方法を用いて、画像Ｐ内の視点位置５５である画像座標Ｃ２内の座標をカメラ座標Ｃ１内の三次元座標に変換する。視点座標算出部３７は、予め記憶部３３に記憶された既知の対象物の寸法（カメラ座標Ｃ１内の距離）と画像座標Ｃ２内における既知の対象物の寸法（ピクセル数）とを関連付けて、例えば１ピクセルの寸法（ｍｍ）を算出する。視点座標算出部３７は、算出された１ピクセルあたりの寸法に基づいて、画像座標Ｃ２の座標から、対象物の奥行軸における座標（奥行座標）、水平軸における座標（水平座標）及び垂直軸における座標（垂直座標）を算出する。

【0029】

視点座標算出部３７は、既知の対象物の寸法として、例えば黒目中心５１ｂ、５３ｂ間の距離である眼間距離ＰＤ（瞳孔間距離、例えば６５ｍｍ）を予め保有する。視点座標算出部３７は、画像座標Ｃ２における眼間距離ＰＤ（ピクセル数）を算出し、実際の眼間距離ＰＤから１ピクセルの寸法を算出した後、画像座標Ｃ２における視点位置５５等の座標からカメラ座標Ｃ１における座標（水平座標、垂直座標、奥行座標）を算出する。以下の説明においては、既知の対象物の寸法が眼間距離ＰＤである例を用いて説明する。

【0030】

視点座標算出部３７により算出された視点座標は、例えば表示制御部３２による虚像Ｖに係る画像の描画位置を決定するために利用される。また、視点座標は、表示制御部３２により表示光Ｌの出射方向を制御するため凹面鏡１３の姿勢を決定するために利用される。また、視点座標は、制御部３０により後述する車両ＥＣＵ４１等に出力されることにより、車両２のサイドミラーの位置を調整するために利用される。

【0031】

車両２は、ＨＵＤ１の他に、車両ＥＣＵ（Electronic Control Unit）４１等の車両２の走行に必要な機能を有する。車両ＥＣＵ４１と制御部３０とは、例えばＣＡＮ（Controller Area Network）バス４２を介して接続されている。車両ＥＣＵ４１は、車両２に設けられた各種センサから車速やエンジン回転数等の車両２の走行に必要な車両情報を取得し、車両２の動作を制御する。

【0032】

次に、制御部３０による視点位置５５の推定処理について詳細に説明する。

【0033】

視点位置推定部３６は、視点位置検出部３５が所定の方法で視点位置５５を検出できない場合に、推定処理を実行する。視点位置推定部３６は、例えば第一から第三視点位置推定処理を実行することにより、視点位置５５を推定する。

【0034】

第一視点位置推定処理は、眼鏡６０の特徴点から眼鏡６０の縦幅及び横幅を検出し、眼鏡６０の縦幅から視点位置５５を含む横方向に延びる横直線を、眼鏡６０の横幅から視点位置５５を含む縦方向に延びる縦直線を算出し、横直線及び縦直線の交点から視点位置５５を推定する処理である。尚、縦方向及び横方向は互いに直交する方向である。

【0035】

第二視点位置推定処理は、眼鏡６０の特徴点及び目５１、５３の特徴点から眼鏡６０の横幅、目頭５１ｃ、５３ｃ、目尻５１ｄ、５３ｄ等を検出し、眼鏡６０の横幅から視点位置５５を含む縦直線を、目頭５１ｃ、５３ｃ、目尻５１ｄ、５３ｄ等から視点位置５５を含む横直線を求め、縦直線及び横直線の交点から視点位置５５を推定する処理である。

【0036】

第三視点位置推定処理は、眼鏡６０の特徴点及び目５１、５３の特徴点から各レンズ６１、６３の横幅、目頭５１ｃ、５３ｃ、目尻５１ｄ、５３ｄ等を検出し、各レンズ６１、６３の横幅、目頭５１ｃ、５３ｃ、目尻５１ｄ、５３ｄ等から黒目中心５１ｂ、５３ｂを推定し、黒目中心５１ｂ、５３ｂの中点から視点位置５５を推定する処理である。

【0037】

これらの第一から第三視点位置推定処理は、例えば視点位置検出部３５により黒目中心５１ｂ及び黒目中心５３ｂの少なくとも一方が検出されない場合に実行される。視点位置推定部３６は、画像Ｐから抽出可能な眼鏡６０や目５１、５３の特徴点に応じて、第一から第三視点位置推定処理のいずれかを選択して実行してもよい。以下、第一視点位置推定処理の詳細を説明する。

【0038】

図５は、第一視点位置推定処理により視点位置５５を推定する際の概念的な説明図である。図６は、第一視点位置推定処理を説明するフローチャートである。

【0039】

ステップＳ１において、視点位置推定部３６は、画像Ｐから眼鏡６０の縦幅ｄ１及び横幅ｄ２を検出するため、複数の眼鏡６０の特徴点７０を抽出する。視点位置推定部３６は、例えばｙ軸正負方向の最外縁に位置する眼鏡６０のフレーム６５の特徴点７０から縦幅ｄ１を検出する。視点位置推定部３６は、例えばｘ軸正負方向の最外縁に位置するフレーム６５の特徴点７０から横幅ｄ２を検出する。眼鏡６０の縦幅ｄ１及び横幅ｄ２は、それぞれ最低２点の特徴点７０から検出され得る。尚、フレーム６５のない眼鏡６０（フレームレス眼鏡）である場合、視点位置推定部３６は、例えばｙ軸正負方向の最外縁に位置する眼鏡６０のレンズ６１、６３の特徴点７０から縦幅ｄ１を検出し、ｘ軸正負方向の最外縁に位置するフレーム６５の特徴点７０から横幅ｄ２を検出してもよい。

【0040】

ステップＳ２において、視点位置推定部３６は、検出された眼鏡６０の縦幅ｄ１の中点からなる横直線Ｌ１を算出する。また、視点位置推定部３６は、検出された眼鏡６０の横幅ｄ２の中点からなる縦直線Ｌ２を算出する。

【0041】

ステップＳ３において、視点位置推定部３６は、横直線Ｌ１及び縦直線Ｌ２の交点を視点位置５５と推定する。

【0042】

ステップＳ４において、視点座標算出部３７は、得られた視点位置５５から視点座標（水平座標、垂直座標及び奥行座標）を算出する。ここで、上述したとおり、視点座標算出部３７は、既知の眼間距離ＰＤを画像Ｐ内の対象物の寸法（ピクセル数）と関連付けて、画像座標Ｃ２の座標をカメラ座標Ｃ１に変換する。しかしながら、視点位置検出部３５が反射光Ｆにより眼間距離ＰＤを検出できない場合、視点位置５５を視点座標に変換できない。このため、視点座標算出部３７は、眼鏡６０の縦幅ｄ１、横幅ｄ２に関する情報を既知の対象物の寸法として予め記憶部３３に記憶し、眼間距離ＰＤに変えて、これらの情報から視点位置５５を視点座標に変換する。

【0043】

具体的には、視点座標算出部３７は、眼鏡６０の縦幅ｄ１、横幅ｄ２に関する情報を、反射光Ｆが発生しておらず画像Ｐから眼間距離ＰＤ及び眼鏡６０の縦幅ｄ１、横幅ｄ２が取得可能なタイミングで、画像Ｐから算出し、記憶する。具体的には、視点座標算出部３７は、画像Ｐにおける眼間距離ＰＤのピクセル数と、既知の眼間距離ＰＤとの関係に基づいて、画像Ｐにおける眼鏡６０の縦幅ｄ１、横幅ｄ２のピクセル数から実際の眼鏡６０の縦幅ｄ１、横幅ｄ２を算出する。ステップＳ４においては、この記憶された眼鏡６０の縦幅ｄ１又は横幅ｄ２に基づいて、視点位置５５から視点座標を算出する。

【0044】

尚、視点座標算出部３７は、眼鏡６０の縦幅ｄ１及び横幅ｄ２に限らず、画像Ｐから検出可能な他の距離を既知の対象物の寸法として予め取得及び記憶しておき、これに基づいて視点位置５５を視点座標に変換してもよい。例えば、視点座標算出部３７は、既知の対象物の寸法として、画像Ｐから目頭５１ｃ、５３ｃ間の距離に関する情報や、目尻５１ｄ、５３ｄ間の距離に関する情報を予め記憶し、視点座標の算出に用いてもよい。

【0045】

ステップＳ５において、ステップＳ４で得られた視点座標の精度を更に向上させるため、ステップＳ４で得られた視点座標を補正する。ここで、図７は、補正後視点座標を算出する際の概念的な説明図である。

【0046】

視点座標算出部３７は、表示制御部３２より、虚像Ｖの中心Ｖｃに関する座標を取得する。視点座標算出部３７は、この中心Ｖｃのカメラ座標Ｃ１における座標を取得する。視点座標算出部３７は、視点座標、既知の眼間距離ＰＤ及び既知の眼球の直径（例えば２４ｍｍ）に基づいて、左目眼球５１ｇ、右目眼球５３ｇの眼球中心５１ｈ、５３ｈのカメラ座標Ｃ１における座標（水平座標、垂直座標、奥行座標）を算出する。具体的には、視点座標算出部３７は、視点座標及び眼間距離ＰＤから黒目中心５１ｂ、５３ｂの座標を求め、その座標を奥行軸において眼球の中心距離（例えば１２ｍｍ）だけずらした位置を眼球中心５１ｈ、５３ｈの座標とする。

【0047】

また、視点座標算出部３７は、虚像Ｖの中心Ｖｃの座標と、左目眼球中心５１ｈの座標とを結ぶ直線Ｌ３を算出する。視点座標算出部３７は、虚像Ｖの中心Ｖｃの座標と、右目眼球中心５３ｈの座標とを結ぶ直線Ｌ４を算出する。さらに、視点座標算出部３７は、算出された二本の直線Ｌ３、Ｌ４の中間を通る中間直線Ｌ５を算出する。

【0048】

視点座標算出部３７は、視点座標の奥行座標を含み奥行座標に直交する奥行座標面と、中間直線Ｌ５との交点からなる点を、新たな視点位置１５５（補正後視点座標）として算出する。すなわち、視点座標算出部３７は、ステップＳ４で算出した視点座標に基づいて得られる眼球中心５１ｈ、５３ｈの位置と、ＨＵＤ１が表示する虚像Ｖの中心Ｖｃとの間に補正後の黒目中心１５１ｂ、１５３ｂがあるとみなす。これにより、視点座標算出部３７は、視点位置５５をより正確に求めることができる。以上で第一視点位置推定処理は終了する。

【0049】

次に、第二視点位置推定処理の詳細を説明する。図８は、第二視点位置推定処理により視点位置５５を推定する際の概念的な説明図である。図９は、第二視点位置推定処理を説明するフローチャートである。

【0050】

ステップＳ１１において、視点位置推定部３６は、画像Ｐから顔の水平線を算出するため複数の顔の特徴点を抽出する。顔の水平線は、例えば左目目頭５１ｃと右目目頭５３ｃとを結んだ線、左目目尻５１ｄと右目目尻５３ｄとを結んだ線、唇の左右両端を結んだ線等で定義され、顔を正対したときに水平方向に平行となる線である。例えば、顔が傾いている場合（奥行軸周りに回転している場合）には、顔の水平線は水平軸に対して傾きを有する。図８の例においては、視点位置推定部３６は、左目５１の目頭５１ｃと右目５３の目頭５３ｃとを結んだ直線Ｌ７から、顔の水平線を算出する。

【0051】

ステップＳ１２において、視点位置推定部３６は、画像Ｐから左目５１又は右目５３に含まれる特徴点を抽出する。具体的には、視点位置推定部３６は、画像Ｐから運転者４の左目５１又は右目５３の目尻５１ｄ、５３ｄ及び目頭５１ｃ、５３ｃの組み合わせからなる特徴点を抽出する。視点位置推定部３６は、例えば、左目目頭５１ｃと、右目目尻５３ｄの組み合わせからなる特徴点を抽出する。

【0052】

尚、図８の例のように、ステップＳ１１において、左目目頭５１ｃ及び右目目頭５３ｃを用いて顔の水平線を算出した場合には、ステップＳ１２においては検出可能である右目目尻５３ｄを検出するための特徴点を抽出すればよい。その他、左目目尻５１ｄ及び右目目尻５３ｄを用いて顔の水平線を検出した場合には、ステップＳ１２においては左目目頭５１ｃ又は右目目頭５３ｃを抽出すればよい。

【0053】

ステップＳ１３において、視点位置推定部３６は、目尻５３ｄを通り、ステップＳ１１で算出した顔の水平線に平行な目尻直線Ｌ８と、目頭５１ｃ、５３ｃを通り顔の水平線に平行な目頭直線Ｌ９と、を算出する。

【0054】

ステップＳ１４において、視点位置推定部３６は、眼鏡６０の特徴点７１から眼鏡６０の横幅ｄ２を検出する。ステップＳ１４は、図６のステップＳ１とほぼ同様であるため、詳細な説明を省略する。

【0055】

ステップＳ１５において、視点位置推定部３６は、検出された眼鏡６０の横幅ｄ２の中点６６を算出する。また、視点位置推定部３６は、眼鏡６０の横幅ｄ２の中点６６を通り、顔の水平線に垂直な縦直線Ｌ１０を算出する。ステップＳ１６において、視点位置推定部３６は、目尻直線Ｌ８及び目頭直線Ｌ９と縦直線Ｌ１０との交点７２、７２を算出する。また、視点位置推定部３６は、二つの交点７２、７２の中点を、視点位置５５と推定する。すなわち、視点位置推定部３６は、ステップＳ１２及びＳ１３において顔の水平線に平行な目尻直線Ｌ８及び目頭直線Ｌ９を算出することにより、その中間に位置する横直線Ｌ１１に黒目中心５１ｂ、５３ｂがあると推定し、この横直線Ｌ１１と縦直線とＬ１０との交点を視点位置５５として推定しているといえる。

【0056】

ステップＳ１７及びステップＳ１８は、図６のステップＳ４及びＳ５と同様であるため、説明を省略する。

【0057】

尚、視点位置推定部３６は、ステップＳ１２において、運転者４の左目５１又は右目５３の上目蓋及び下目蓋の組み合わせからなる特徴点を抽出し、ステップＳ１３において上目蓋を通り、顔の水平線に平行な上目蓋直線と、下目蓋を通り顔の水平線に平行な下目蓋直線と、を算出してもよい。また、ステップＳ１６において、上目蓋直線と縦直線との交点及び下目蓋直線と縦直線との交点からなる二つの交点の中点を視点位置５５と推定してもよい。

【0058】

また、視点位置推定部３６は、目尻直線Ｌ８及び目頭直線Ｌ９の中間を通る横直線Ｌ１１を算出し、この横直線Ｌ１１を黒目中心５１ｂ、５３ｂを含む直線とみなすことにより、横直線Ｌ１１が視点位置５５を含む、と推定してもよい。この場合、視点座標の水平座標は、任意の方法で求めればよい。

【0059】

次に、第三視点位置推定処理の詳細を説明する。図１０は、第三視点位置推定処理により視点位置５５を推定する際の概念的な説明図である。図１１は、第三視点位置推定処理を説明するフローチャートである。

【0060】

第三視点位置推定処理は、例えば黒目中心５１ｂ、５３ｂの少なくとも一方が検出できない場合に実行され得る。例えば、図１０の例においては、右目５３の黒目中心５３ｂは検出でき、左目５１の黒目中心５１ｂが検出できない例が示されている。

【0061】

ステップＳ２１からＳ２３は、図９のステップＳ１１からＳ１３と同様であるため、説明を省略する。

【0062】

ステップＳ２４において、視点位置推定部３６は、画像Ｐから眼鏡６０の左レンズ６１及び右レンズ６３の少なくとも一方の横幅ｄ３を検出するため、複数の眼鏡６０の特徴点７３を抽出する。視点位置推定部３６は、黒目中心５１ｂ、５３ｂが検出できない左目５１及び右目５３の少なくとも一方のレンズ６１、６３の横幅ｄ３を検出する。視点位置推定部３６は、例えばｘ軸正負方向の最外縁に位置するレンズ６１、６３の特徴点７３から横幅ｄ３を検出する。眼鏡６０のレンズ６１、６３の横幅ｄ３は、最低２点の特徴点７３から検出され得る。図１０の例においては、黒目中心５１ｂが検出されない側の目である左目５１のレンズ６１の特徴点７３から、横幅ｄ３を検出する。

【0063】

ステップＳ２５において、視点位置推定部３６は、検出されたレンズ６１、６３の横幅ｄ３の中点６７を算出する。また、視点位置推定部３６は、レンズ６１、６３の横幅ｄ３の中点６７を通り、顔の水平線に垂直な縦直線Ｌ１２を算出する。ステップＳ２６において、視点位置推定部３６は、目尻直線Ｌ８及び目頭直線Ｌ９と縦直線Ｌ１２との交点７４、７４を算出する。また、視点位置推定部３６は、二つの交点７４、７４の中点を、レンズ６１、６３の横幅ｄ３を検出した左目５１の黒目中心５１ｂ及び右目５３の黒目中心５３ｂの少なくとも一方であると推定する。

【0064】

視点位置推定部３６は、黒目中心５１ｂ、５３ｂの中点を、視点位置５５と推定する。図１０の例においては、視点位置推定部３６は、レンズ６１の横幅ｄ３より推定した左目５１の黒目中心５１ｂ、及び検出された右目５３の黒目中心５３ｂの中点を、視点位置５５と推定する。

【0065】

ステップＳ２７及びステップＳ２８は、図６のステップＳ４及びＳ５と同様であるため、説明を省略する。

【0066】

尚、視点位置推定部３６は、ステップＳ２２において、運転者４の左目５１又は右目５３の上目蓋及び下目蓋の組み合わせからなる特徴点を抽出し、ステップＳ２３において上目蓋を通り、顔の水平線に平行な上目蓋直線と、下目蓋を通り顔の水平線に平行な下目蓋直線と、を算出してもよい。また、ステップＳ２６において、上目蓋直線と縦直線との交点及び下目蓋直線と縦直線との交点からなる二つの交点の中点を、黒目中心５１ｂ、５３ｂと推定してもよい。

【0067】

このような第一から第三視点位置推定処理を実行するＨＵＤ１は、運転者４の眼鏡着用時においても好適に視点位置５５を検出できる。これにより、ＨＵＤ１は、運転者４の状態によらずに安定した視点検出精度を得ることが実行できる。

【0068】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0069】

例えば、ＨＵＤ１の投影部材がウインドシールド３である例を説明したが、これに代えてコンバイナであってもよい。

【0070】

撮影ユニット１５、視点位置検出部３５、視点位置推定部３６及び視点座標算出部３７がＨＵＤ１内に設けられる例を説明したが、ＨＵＤ１とは独立していてもよい。この場合、例えば撮影ユニット１５は、インストルメントパネルや、表示ディスプレイ、リヤビューミラー等に適宜配置される。

【符号の説明】

【0071】

１ ヘッドアップディスプレイ（ＨＵＤ）
２ 車両
３ ウインドシールド
４ 運転者（被検出者）
５ ステアリングホイール
１１ 表示器
１２ 平面鏡
１３ 凹面鏡
１５ 撮影ユニット
１６ 筐体
３０ 制御部
３１ 画像生成部
３２ 表示制御部
３３ 記憶部
３４ 撮影制御部
３５ 視点位置検出部
３６ 視点位置推定部
３７ 視点座標算出部
４１ 車両ＥＣＵ
４２ ＣＡＮバス
５１ 左目、目
５１ａ 黒目
５１ｂ 黒目中心
５１ｃ 左目目頭、目頭
５１ｄ 左目目尻、目尻
５１ｇ 左目眼球
５１ｈ 左目眼球中心、眼球中心
５３ 右目、目
５３ａ 黒目
５３ｂ 黒目中心
５３ｃ 右目目頭、目頭
５３ｄ 右目目尻、目尻
５３ｇ 右目眼球
５３ｈ 右目眼球中心、眼球中心
５５、１５５ 視点位置
６０ 眼鏡
６１ 左レンズ、レンズ
６３ 右レンズ、レンズ
６５ フレーム
６６、６７ 中点
７０、７１、７３ 特徴点
７２、７４ 交点
Ｃ１ カメラ座標、座標系
Ｃ２ 画像座標、座標系
Ｆ 反射光
ＩＲ 近赤外線
Ｌ 表示光
Ｌ１、Ｌ１１ 横直線
Ｌ２、Ｌ１０、Ｌ１２ 縦直線
Ｌ３、Ｌ４、Ｌ７ 直線
Ｌ５ 中間直線
Ｌ８ 目尻直線
Ｌ９ 目頭直線
ＯＡ 光軸
Ｐ 画像
ＰＤ 眼間距離
Ｖ 虚像
Ｖｃ 中心
ｄ１ 縦幅
ｄ２、ｄ３ 横幅

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】