特許 7612022 顔情報登録支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-26

(45)【発行日】2025-01-10

(54)【発明の名称】顔情報登録支援装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241227BHJP

   G01C 21/26 20060101ALI20241227BHJP

【ＦＩ】

G08G1/16 F

G01C21/26

【請求項の数】 4

(21)【出願番号】P 2023534532

(86)(22)【出願日】2021-07-15

(86)【国際出願番号】 JP2021026554

(87)【国際公開番号】W WO2023286228

(87)【国際公開日】2023-01-19

【審査請求日】2023-06-19

(73)【特許権者】

【識別番号】324003048

【氏名又は名称】三菱電機モビリティ株式会社

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】明神 貴羅

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２００６－１３４０３８（ＪＰ，Ａ）

【文献】特開２０１９－０１０９２９（ＪＰ，Ａ）

【文献】特開２０１９－０１２０４６（ＪＰ，Ａ）

【文献】特開２００３－０９８９８２（ＪＰ，Ａ）

【文献】特開２０１９－２１２１５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｇ０１Ｃ ２１／２６

(57)【特許請求の範囲】

【請求項1】

車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する顔情報登録支援装置であって、
前記車両に設けられた撮像装置により撮影された前記乗員の顔画像を取得する取得部と、
前記乗員の顔画像から前記乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部と、
前記乗員情報から前記乗員の有効視野範囲を含む制御情報を算出する制御情報算出部と、
前記車両に設けられた表示装置が前記有効視野範囲に存在するか否かを判定する制御情報判定部と、
前記乗員に顔の移動を促す通知を行う通知制御部と、を備え、
前記通知は、前記乗員に前記表示装置を視認するよう促す音声を前記車両に設けられた音声出力装置から出力させる音声通知と、前記乗員に顔の位置および向きの少なくとも一方を前記顔情報の登録に適当となるように移動するよう誘導する誘導情報を、前記音声通知の音声により視認を促す対象の前記表示装置に表示させる表示通知とを含み、
前記通知制御部は、前記音声通知の音声により視認を促す対象の前記表示装置が前記有効視野範囲に存在しない場合に前記音声通知を行い、前記音声通知の音声により視認を促す対象の前記表示装置が前記有効視野範囲に存在する場合に前記表示通知を行う、
顔情報登録支援装置。

【請求項2】

前記制御情報は、前記表示通知の前後に取得された前記顔画像からそれぞれ算出された前記乗員情報から算出される前記乗員の顔移動量を含み、
前記制御情報判定部は前記顔移動量を予め定められた閾値と比較し、
前記通知制御部は、前記顔移動量が前記閾値以上である場合に、次の前記表示通知を行う、
請求項１に記載の顔情報登録支援装置。

【請求項3】

前記乗員情報は前記乗員の開眼度を含む、
請求項１に記載の顔情報登録支援装置。

【請求項4】

前記音声通知の音声により視認を促す対象の前記表示装置が前記有効視野範囲に存在する場合に、前記乗員の視線方向に対して前記音声通知の音声により視認を促す対象の前記表示装置の表示面が垂直になるよう前記音声通知の音声により視認を促す対象の前記表示装置を回転させる表示装置制御部をさらに備え、
前記通知制御部は前記音声通知の音声により視認を促す対象の前記表示装置の回転の後に前記表示通知を行う、
請求項１に記載の顔情報登録支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の乗員の顔認証に用いられる顔情報の登録支援に関する。

【背景技術】

【0002】

近年、車両の乗員の生体認証として顔認証が用いられている。この顔認証は、車両において各乗員に最適化したサービスを提供することを目的として、運転者に限らず他の乗員に対しても行われる。

【0003】

顔認証は、例えば車両の乗員の顔を撮影した画像を、事前に登録されている顔画像（以下、「登録画像」とも称する）と比較することによって行われる。そのため、顔認証の前段階として乗員の顔画像を登録しておく必要がある。

【0004】

特許文献１の実施の形態２には、顔画像の登録処理において、乗員の顔の位置または向きが不適当である場合、画像または音声によって顔の位置または向きを誘導する構成が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－０２８９５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

乗員の顔の誘導が画像によって行われる場合、乗員にとって画面に表示された誘導情報を確認しながら顔の位置または向きを調整することは困難である。また、乗員の顔の誘導が音声によって行われる場合、乗員にとって音声のみで顔の位置または向きの移動先を正しく理解することは困難である。

【0007】

顔認証の精度を高めるために、登録画像は乗員の顔を様々な方向から撮影したバリエーションの画像であることが望ましい。そして、バリエーションの画像を登録するためには、顔の誘導は複数回に及ぶため、乗員にとって顔画像を登録する際の負担は大きなものとなる。ここでは登録画像を例として挙げているが、顔認証に用いられるのは顔画像に限らず、顔の特徴量などを表す顔情報であってもよい。

【0008】

本開示は、上記の問題点を解決するためになされたものであり、車両の乗員の顔認証に用いられる顔情報の登録処理における乗員の負担を軽減することを目的とする。

【課題を解決するための手段】

【0009】

本開示の顔情報登録支援装置は、車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する顔情報登録支援装置であって、車両に設けられた撮像装置により撮影された乗員の顔画像を取得する取得部と、乗員の顔画像から乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部と、乗員情報から乗員の有効視野範囲を含む制御情報を算出する制御情報算出部と、車両に設けられた表示装置が有効視野範囲に存在するか否かを判定する制御情報判定部と、乗員に顔の移動を促す通知を行う通知制御部と、を備え、通知は、乗員に表示装置を視認するよう促す音声を車両に設けられた音声出力装置から出力させる音声通知と、乗員に顔の位置および向きの少なくとも一方を顔情報の登録に適当となるように移動するよう誘導する誘導情報を、音声通知の音声により視認を促す対象の表示装置に表示させる表示通知とを含み、通知制御部は、音声通知の音声により視認を促す対象の表示装置が有効視野範囲に存在しない場合に音声通知を行い、音声通知の音声により視認を促す対象の表示装置が有効視野範囲に存在する場合に表示通知を行う。

【発明の効果】

【0010】

本開示の顔情報登録支援装置によれば、車両の乗員の顔認証に用いられる顔情報の登録処理における乗員の負担を軽減することが可能である。本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１の顔情報登録支援装置の構成を示すブロック図である。

【図2】車室における撮像装置、表示装置および音声出力装置の配置を示す図である。

【図3】乗員の有効視野範囲に表示装置が存在しない場合を示す斜視図である。

【図4】乗員の有効視野範囲に表示装置が存在する場合を示す斜視図である。

【図5】乗員の有効視野範囲と表示装置の座標とを示す斜視図である。

【図6】乗員の有効視野範囲と表示装置の座標とを示すｘｚ平面図である。

【図7】時刻ｔ１およびｔ２における乗員の顔の位置および顔の向きを示す図である。

【図8】実施の形態１の顔情報登録支援装置の動作を示すフローチャートである。

【図9】実施の形態２の顔情報登録支援装置の構成を示すブロック図である。

【図10】乗員の視野方向と表示装置の座標とを示す斜視図である。

【図11】乗員の視野方向と表示装置の座標とを示すｘｚ平面図である。

【図12】乗員の視野方向と表示装置の座標とを示すｙｚ平面図である。

【図13】実施の形態２の顔情報登録支援装置の動作を示すフローチャートである。

【図14】実施の形態１の顔情報登録支援装置のハードウェア構成を示す図である。

【図15】実施の形態１の顔情報登録支援装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0012】

＜Ａ．実施の形態１＞
＜Ａ－１．構成＞
図１は、実施の形態１の顔情報登録支援装置１０１の構成を示す図である。顔情報登録支援装置１０１は、撮像装置１、表示装置２および音声出力装置３と接続され、これらを利用可能に構成されている。顔情報登録支援装置１０１は、車両の乗員の顔認証に用いられる顔情報の登録を支援する装置である。撮像装置１、表示装置２および音声出力装置３はいずれも車両の室内（以下、「車室」と称する）に搭載される。本明細書で車両とは、各実施の形態の顔情報登録支援装置が顔情報を登録する対象の乗員が搭乗する車両を指す。また、本明細書で乗員とは、各実施の形態の顔情報登録支援装置が顔情報を登録する対象の乗員を指す。顔情報登録支援装置１０１も典型的には車両に搭載されるものであるが、その構成の一部が、車両の外部に存在するサーバ、乗員が携帯し車両に持ち込む携帯端末などによって構成されていてもよい。

【0013】

図２は、車室における撮像装置１、表示装置２、および音声出力装置３の配置を示す図である。

【0014】

図２においてカメラ５１，５２が撮像装置１の一例である。カメラ５１は、乗員を前方かつ上方から撮影することができる車室内の位置に設置される。カメラ５２はカメラ５１より下方かつＣＩＤ（Ｃｅｎｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）２１の上方に設置され、乗員を前方から撮影する。図２では複数のカメラ５１，５２が示されているが、撮像装置１を構成するカメラの数は単数または複数を問わない。カメラ５１，５２が撮影した乗員の顔画像が顔情報登録支援装置１０１において顔情報の登録に用いられる。

【0015】

図２においてＣＩＤ２１、メータークラスターパネル２２、助手席ディスプレイ２３、およびＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）２４が表示装置２の一例である。ＣＩＤ２１は運転席４１と助手席４２の間の前方に設置される。メータークラスターパネル２２はステアリングハンドル４０の前方に設置される。助手席ディスプレイ２３は助手席４２の前方に設置される。ＨＵＤ２４はメータークラスターパネル２２の上方に設置される。この他、ディスプレイ化されたフロントガラス２５が表示装置２に含まれてもよい。表示装置２には、撮像装置１が乗員の顔画像を撮影する際、乗員の顔の位置および向きを特定の方向に誘導するための誘導情報が表示される。

【0016】

図２においてスピーカー３１，３２が音声出力装置３の一例である。スピーカー３１は運転席４１の近傍に設置され、スピーカー３２は助手席４２の近傍に設置される。音声出力装置３からは、乗員に表示装置２の視認を促す音声が出力される。

【0017】

図１を参照して顔情報登録支援装置１０１の構成を説明する。顔情報登録支援装置１０１は、取得部１１、乗員情報処理部１２、登録情報判定部１３、乗員情報記憶部１４、制御情報算出部１５、制御情報判定部１６、出力情報生成部１７、通知制御部１８、固有情報記憶部１９および登録情報記憶部２０を備えて構成される。

【0018】

取得部１１は、撮像装置１が撮影した乗員の顔画像を撮像装置１から取得する。

【0019】

乗員情報処理部１２は、取得部１１から乗員の顔画像を取得し、乗員の顔画像から乗員情報を取得する。乗員情報には、乗員の顔の位置、顔の向き、視線方向および開眼度のいずれかが少なくとも含まれる。

【0020】

登録情報判定部１３は、乗員情報処理部１２から乗員の顔画像を取得し、乗員の顔画像が予め定められた登録条件を満たすか否かを判定する。登録情報判定部１３は、既存の顔情報登録システムであるＤＭＳ(Driver Monitoring System)により構成されてもよい。

【0021】

乗員情報記憶部１４は、乗員情報処理部１２から乗員情報を取得し、記憶する。乗員情報記憶部１４は、乗員情報処理部１２が１回の処理で取得した乗員情報をその都度記憶しても良いし、複数回の処理で取得した乗員情報をまとめて記憶してもよい。

【0022】

制御情報算出部１５は、乗員情報記憶部１４から乗員情報を取得し、乗員情報から制御情報を算出する。制御情報は、乗員の顔移動量および有効視野範囲を含む。なお、制御情報の算出方法については後で詳述する。

【0023】

制御情報判定部１６は、制御情報算出部１５から制御情報を取得し、取得した制御情報が予め定められた条件を満たすか否かを判定する。

【0024】

出力情報生成部１７は、制御情報判定部１６の判定結果に応じて出力情報を生成する。出力情報は、表示装置２の視認を促す音声情報と、顔の位置および向きを所定の位置および向きに誘導する誘導情報のいずれかを含む。

【0025】

通知制御部１８は、出力情報生成部１７から出力情報を取得し、制御情報判定部１６の判定結果に応じて出力情報を表示装置２と音声出力装置３とのいずれかに提供する。すなわち、通知制御部１８は制御情報判定部１６の判定結果に応じて、表示と音声のいずれによって乗員に通知を行うかを制御する。

【0026】

固有情報記憶部１９は、顔情報登録支援装置１０１が使用する固有情報を記憶する。固有情報には、例えば表示装置２の位置座標または顔移動量の閾値が挙げられる。

【0027】

登録情報記憶部２０は、登録情報判定部１３において顔画像が登録条件を満たすと判定された場合、顔画像に関する顔情報を記憶、すなわち登録する。顔情報は顔認証処理において乗員の顔の識別に用いられる情報であり、顔画像自体の他、顔画像を機械学習モデルで評価したスコアであってもよい。なお、登録された顔情報を登録情報とも称する。

【0028】

＜Ａ－２．動作＞
図３および図４は、乗員の有効視野範囲と表示装置との位置関係を示している。これらの図において、ＣＩＤ２１およびメータークラスターパネル２２が表示装置２に相当する。制御情報算出部１５は、乗員情報に含まれる乗員Ｐの視線方向Ａ１を基準とし、人間の有効視野を考慮して有効視野範囲Ａ２を設定する。有効視野範囲Ａ２は視線方向Ａ１を中心とした視野角θ１の範囲として表される。

【0029】

図３の例では、有効視野範囲Ａ２にＣＩＤ２１およびメータークラスターパネル２２のいずれも存在しない。例えば、制御情報判定部１６は、有効視野範囲Ａ２とＣＩＤ２１の位置Ａ３とを比較することにより、ＣＩＤ２１が有効視野範囲Ａ２にないことを識別する。同様に、制御情報判定部１６は、有効視野範囲Ａ２とメータークラスターパネル２２の位置Ａ３とを比較することにより、メータークラスターパネル２２が有効視野範囲Ａ２にないことを識別する。この状態でＣＩＤ２１またはメータークラスターパネル２２に乗員の顔の位置および向きを誘導する誘導情報が表示されたとしても、乗員に視認されない。従って、顔情報登録支援装置１０１は、音声により乗員に表示装置２の視認を促す。例えば図３に示されるように、スピーカー３１から「顔の向きを右に移動して下さい」との音声が出力される。この音声を聞いた乗員が顔の向きを右に移動すると、乗員の有効視野範囲Ａ２が右に移動し、図４に示されるようにＣＩＤ２１と重なる。なお、上記の例では、顔の向きの移動が音声により指示されたが、顔の向きと共に、または顔の向きに代えて顔の位置の移動が指示されてもよい。

【0030】

図４は、有効視野範囲Ａ２にＣＩＤ２１が存在する場合を例示している。この状態で顔情報登録支援装置１０１は、乗員の顔の位置および向きを誘導する誘導情報Ａ４をＣＩＤ２１に表示する。乗員は顔の位置および向きを変えることなく誘導情報Ａ４を視認し、その後、誘導情報Ａ４に従って顔の位置および向きを変えることができる。

【0031】

図５および図６は、ｘｙｚ座標系における乗員情報および制御情報の位置座標を示している。図５において、ＣＩＤ２１の表示面の横方向および縦方向をそれぞれｘ軸方向およびｙ軸方向とし、ＣＩＤ２１の表示面に垂直な方向をｚ軸方向とする。図６はｘｚ平面図である。

【0032】

ＣＩＤ２１の位置座標を（ｘ１，ｙ１，ｚ１）とする。乗員の右眼の位置座標を（ｒｘ１，ｒｙ１，ｒｚ１）とし、左眼の位置座標を（ｌｘ１，ｌｙ１，ｌｚ１）とする。ＣＩＤ２１の表示面に平行なｘｙ平面と右眼の視線Ａ１ｒとの交点の位置座標を（ｒｘ２，ｒｙ２，ｒｚ２）とする。同様に、ＣＩＤ２１の表示面に平行なｘｙ平面と左眼の視線Ａ１ｌとの交点の位置座標を（ｌｘ２，ｌｙ２，ｌｚ２）とする。右眼の有効視野範囲Ａ２ｒを、右眼の視線Ａ１ｒから半径ｒ１の円領域とすると、有効視野範囲Ａ２ｒの半径ｒ１は式（１）で算出される。

【0033】

【数1】

【0034】

同様にして左眼の有効視野範囲が算出される。そして、右眼の有効視野範囲Ａ２ｒと左眼の有効視野範囲をあわせて有効視野範囲Ａ２が算出される。

【0035】

顔情報登録支援装置１０１は、乗員の顔画像を顔の位置または向きを変えて複数枚登録する。そのため、乗員の顔の誘導と、顔画像の撮影および登録とは交互に複数回繰り返される。そのため、顔情報登録支援装置１０１は、乗員が誘導に従い顔の移動を行っている間に次の誘導を行うことがないよう、制御情報算出部１５において乗員の顔移動量を算出し、制御情報判定部１６において顔移動量から乗員が顔の移動を完了したか否かを判断する。

【0036】

図７は、乗員Ｐの顔画像を２つの時刻ｔ１，ｔ２において示している。時刻ｔ１，ｔ２間の顔移動量ｍ１は、時刻ｔ１，ｔ２間の顔の位置の移動量と，時刻ｔ１，ｔ２間の顔の向きの移動量との和で表される。時刻ｔ１における顔の位置座標を（ｘ２，ｙ２，ｚ２）、顔の向きを（θｘ１，θｙ１）とし、時刻ｔ２における顔の位置座標を（ｘ３，ｙ３，ｚ３）、顔の向きを（θｘ２，θｙ２）とすると、顔移動量ｍ１は、以下の式（２）で算出される。

【0037】

【数2】

【0038】

図８は、顔情報登録支援装置１０１の動作を示すフローチャートである。以下、図８のフローチャートに従って顔情報登録支援装置１０１の動作を説明する。

【0039】

顔情報登録支援装置１０１による顔情報登録処理が開始すると、撮像装置１が乗員の顔画像を撮影し、取得部１１が撮像装置１から乗員の顔画像を取得する（ステップＳ１０１）。次に、乗員情報処理部１２は、取得部１１から乗員の顔画像を取得し、乗員の顔画像から乗員情報を算出する（ステップＳ１０２）。ここで、乗員情報には乗員の顔の位置、顔の向き、視線方向および開眼度の少なくともいずれかが含まれる。なお、顔の位置および向きの算出方法は特許文献１に開示され、視線方向の算出方法は特開２０１９－１５２９５７号公報に開示され、開眼度を算出する方法は特開２０２０－５１７７０７号公報に開示されている。従って、これらの詳しい説明は省略する。乗員情報処理部１２が算出した乗員情報は、乗員情報記憶部１４に記憶される。

【0040】

ステップＳ１０２の後、登録情報判定部１３は顔情報の登録要否を判断する（ステップＳ１０３）。具体的には、登録情報判定部１３は登録情報記憶部２０から登録情報を取得し、乗員情報が登録情報に含まれない場合に顔情報の登録が必要であると判断する。また、登録情報判定部１３は、乗員からタッチパネルなどの表示装置に特定の入力操作が行われた場合に、顔情報の登録が必要であると判断してもよい。顔情報が登録される対象となる乗員は、一人でも複数でもよい。

【0041】

ステップＳ１０２において登録情報判定部１３が乗員情報の登録を不要と判断すると、顔情報登録支援装置１０１の処理はステップＳ１０１に戻る。ステップＳ１０２において登録情報判定部１３が乗員情報の登録を必要と判断すると、顔情報登録支援装置１０１の処理はステップＳ１０４以降に進む。ステップＳ１０４において、制御情報算出部１５はステップＳ１０２で算出された乗員情報から乗員の有効視野範囲を算出する。具体的には、制御情報算出部１５はステップＳ１０２で算出された乗員情報に含まれる顔の位置または眼の位置からの視線方向に対して一定の角度を有する範囲を、乗員が視認可能な有効視野範囲と設定する。上記の一定の角度は視線方向に対して人間の有効視野を考慮し適切に設定されるものであり、一般的には４度から２０度である。有効視野範囲の詳細な算出方法は図４から図６で説明したとおりである。また、制御情報算出部１５は上記の方法に加えて開眼度等の情報を用いて有効視野範囲を設定してもよい。

【0042】

ステップＳ１０４の後、制御情報判定部１６は、有効視野範囲に表示装置２が存在するか否かを判断する（ステップＳ１０５）。具体的には、制御情報判定部１６は、有効視野範囲と表示装置２の位置座標とを比較することにより、有効視野範囲に表示装置２が存在するか否かを判断する。有効視野範囲内に表示装置２が存在しない場合、顔情報登録支援装置１０１の処理はステップＳ１０６に移行し、有効視野範囲内に表示装置２が存在する場合、顔情報登録支援装置１０１の処理はステップＳ１０７に移行する。

【0043】

ステップＳ１０６において、顔情報登録支援装置１０１は、音声により乗員に表示装置２の視認を促す。具体的には、出力情報生成部１７が表示装置２の視認を促す音声情報を作成し、通知制御部１８が音声情報を音声出力装置３に提供する。これにより、音声出力装置３から表示装置２の視認を促す音声が出力される。例えば「顔情報を登録しますので表示装置を見てください」等の音声が音声出力装置３から出力される。ステップＳ１０６の後、顔情報登録支援装置１０１の処理はステップＳ１０１に移行する。

【0044】

ステップＳ１０７において、顔情報登録支援装置１０１は、表示により乗員の顔の位置および向きを誘導する。具体的には、出力情報生成部１７が顔の位置および向きの移動を誘導する誘導情報を作成する。そして、通知制御部１８が誘導情報を表示装置２に提供する。これにより、表示装置２において乗員の顔の位置および向きを誘導する表示が行われる。この誘導表示を表示通知とも称する。ここでは、例えば撮像装置１で撮影された乗員の顔画像に移動方向を示すアニメーションが付加された画像が表示される。また、顔画像に代えて３Ｄメッシュで作成された顔モデルが用いられてもよい。

【0045】

ステップＳ１０８において、登録情報判定部１３は、顔認証処理に必要なバリエーションの画像の登録が完了したか否かを判定する。バリエーションの画像とは、例えば、顔が正面、上、下、左、および右を向いている画像などである。バリエーションの画像の登録が完了している場合、顔情報登録支援装置１０１の処理は終了する。一方、バリエーションの画像の登録が未完了である場合、顔情報登録支援装置１０１の処理はステップＳ１０９に移行する。

【0046】

ステップＳ１０９において、撮像装置１が乗員の顔画像を撮影し、取得部１１が撮像装置１から乗員の顔画像を取得する。その後、乗員情報処理部１２は、ステップＳ１０９で取得された乗員の顔画像から乗員情報を算出する（ステップＳ１１０）。ここで、乗員情報には乗員の顔の位置、顔の向き、視線方向、および開眼度の少なくともいずれかが含まれる。乗員情報処理部１２が算出した乗員情報は、乗員情報記憶部１４に記憶される。

【0047】

ステップＳ１１０の後、制御情報算出部１５は、乗員の動作状況を把握するため制御情報として顔移動量を算出する（ステップＳ１１１）。ここで、ステップＳ１１０で算出された乗員情報、すなわち今回の乗員情報を第１乗員情報とし、乗員情報記憶部１４に記憶されている前回の乗員情報を第２乗員情報とする。制御情報算出部１５は、第１乗員情報の顔の位置と第２乗員情報の顔の位置との間で各軸方向成分の差の二乗和を顔の位置の移動量として算出する。また、制御情報算出部１５は、第１乗員情報の顔の向きと第２乗員情報の顔の向きとの間で各軸方向成分の差の二乗和を顔の向きの移動量として算出する。そして、制御情報算出部１５は、顔の位置の移動量と顔の向きの移動量の和を顔移動量として算出する。顔移動量の詳細な算出方法は＜Ａ－１＞で説明したとおりである。

【0048】

ステップＳ１１１の後、制御情報判定部１６は顔移動が完了したか否かを判断する（ステップＳ１１２）。制御情報判定部１６は、固有情報記憶部１９から予め定められた顔移動量閾値を取得し、ステップＳ１１１で算出された顔移動量が顔移動量閾値を超えている場合に、顔移動が完了したと判断する。

【0049】

ステップＳ１１２において顔移動が完了していない場合、顔情報登録支援装置１０１の処理はステップＳ１０９に戻る。ステップＳ１１２において顔移動が完了している場合、顔情報登録支援装置１０１の処理はステップＳ１１３へ進む。

【0050】

ステップＳ１１３において、制御情報算出部１５はステップＳ１１０で取得した乗員情報から乗員の有効視野範囲を算出する。そして、制御情報判定部１６は、有効視野範囲に任意の表示装置２が存在するか否かを判断する（ステップＳ１１４）。

【0051】

ステップＳ１１４において有効視野範囲内に表示装置２が存在しない場合、顔情報登録支援装置１０１の処理はステップＳ１１５に移行する。ステップＳ１１４において有効視野範囲内に表示装置２が存在する場合、顔情報登録支援装置１０１の処理はステップＳ１０７に移行し、次の位置および向きに顔を誘導する誘導情報を表示する。

【0052】

ステップＳ１１５において、顔情報登録支援装置１０１は、音声により乗員に任意の表示装置２の視認を促す。具体的には、出力情報生成部１７が表示装置２の視認を促す音声情報を作成し、通知制御部１８が音声情報を音声出力装置３に提供する。これにより、音声出力装置３から表示装置２の視認を促す音声が出力される。この音声は、例えば「顔の位置を右に移動してください」等である。出力情報生成部１７は、上、下、左、右、斜めなど顔の移動方向が異なる各パターンについて音声情報を予め作成しておき、乗員の現在の顔の位置および向きと期待値に最近傍法を適用して音声情報を選択してもよい。なお、最近傍法については公知であるため詳しい説明は省略する。

【0053】

なお、表示装置２がディスプレイ化されたフロントガラスまたはインパネ部一体型ディスプレイである場合など、表示装置２の表示範囲が有効視野範囲に比べて極めて大きい場合、顔情報登録支援装置１０１は、表示装置２の視認を乗員に音声で促すことに代えて、有効視野範囲内に誘導情報の表示位置を変更してもよい。

【0054】

＜Ａ－３．効果＞
実施の形態１の顔情報登録支援装置１０１は、車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する。顔情報登録支援装置１０１は、車両に設けられた撮像装置１により撮影された乗員の顔画像を取得する取得部１１と、乗員の顔画像から乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部１２と、乗員情報から乗員の有効視野範囲を含む制御情報を算出する制御情報算出部１５と、車両に設けられた表示装置２が有効視野範囲に存在するか否かを判定する制御情報判定部１６と、乗員に顔の移動を促す通知を行う通知制御部１８とを備える。通知制御部１８による通知は、乗員に表示装置２を視認するよう促す音声を車両に設けられた音声出力装置３から出力させる音声通知と、乗員に顔の位置および向きの少なくとも一方を移動するよう誘導する誘導情報を表示装置２に表示させる表示通知とを含む。通知制御部１８は、表示装置２が有効視野範囲に存在しない場合に音声通知を行い、表示装置２が有効視野範囲に存在する場合に表示通知を行う。以上の構成により、顔情報登録支援装置１０１は、乗員が表示装置２を視認している場合に限り表示により顔の誘導を行い、乗員が表示装置２を視認していなければ音声により表示装置２の視認を促すため、乗員は音声に従い表示装置２を視認した後、表示装置２に表示された情報に従って顔を動かすことにより、スムーズに顔情報登録処理を行うことができ、顔情報登録処理における乗員の負担が軽減する。

【0055】

また、顔情報登録支援装置１０１において、制御情報は、表示通知の前後に取得された顔画像からそれぞれ算出された乗員情報から算出される乗員の顔移動量を含み、制御情報判定部１６は顔移動量を予め定められた閾値と比較し、通知制御部１８は、顔移動量が閾値以上である場合に、次の表示通知を行ってもよい。これにより、顔情報登録支援装置１０１は、前回の表示通知に従って乗員の顔の移動が完了したタイミングで乗員へ次の表示通知を行うことができる。

【0056】

＜Ｂ．実施の形態２＞
＜Ｂ－１．構成＞
実施の形態２において実施の形態１と同様の構成については同一の参照符号が付され、それらの説明は適宜省略される。図９は、実施の形態２の顔情報登録支援装置１０２の構成を示す図である。顔情報登録支援装置１０２は、撮像装置１、表示装置２および音声出力装置３と接続され、これらを利用可能に構成されている。顔情報登録支援装置１０２は、車両の乗員の顔認証に用いられる顔情報の登録を支援する装置である。

【0057】

顔情報登録支援装置１０２は、取得部１１、乗員情報処理部１２、制御情報算出部１５、制御情報判定部１６、出力情報生成部１７、通知制御部１８、固有情報記憶部１９および表示装置制御部２０Ａを備えて構成される。表示装置制御部２０Ａは、表示装置２に取付けられて表示装置２の位置および向きを調整する機構を備える。なお、表示装置の位置および向きを調整する方法は特開２０００７－７８１７２号公報に開示されているため、その詳しい説明は省略する。

【0058】

制御情報算出部１５は、乗員情報処理部１２から乗員情報を取得し、乗員情報から制御情報を算出する。ここで制御情報には、乗員の有効視野範囲と、表示装置移動量とが含まれる。表示装置移動量とは、乗員の視線方向に対して表示面が垂直になる位置および角度への表示装置２の位置および角度の移動量である。

【0059】

制御情報判定部１６は、制御情報算出部１５から乗員の有効視野範囲を取得し、有効視野範囲が予め定められた条件を満たすか否かを判定する。

【0060】

出力情報生成部１７は、制御情報判定部１６の判定結果に応じて出力情報を生成する。

【0061】

通知制御部１８は、制御情報判定部１６の判定結果に基づき、表示と音声のいずれによって出力情報を出力するかを切り替え、出力情報生成部１７で生成された出力情報を表示装置２または音声出力装置３のいずれかに提供する。

【0062】

固有情報記憶部１９は、顔情報登録支援装置１０１が使用する固有情報を記憶する。固有情報には、例えば表示装置２の位置座標が挙げられる。

【0063】

表示装置制御部２０Ａは、通知制御部１８を介して制御情報算出部１５から表示装置２の表示方向を取得し、通知制御部１８を介して制御情報判定部１６の判定結果を取得する。そして、表示装置制御部２０Ａは、制御情報判定部１６の判定結果に基づき表示装置２の位置および表示方向を変更する。詳細は、後で詳述する。

【0064】

＜Ｂ－２．動作＞
図１０から図１２は、顔情報登録支援装置１０２による表示装置２の制御方法の一例を示している。これらの図では、表示装置２の一例としてＣＩＤ２１の位置および表示方向の制御について説明する。図１０は乗員ＰとＣＩＤ２１との位置関係を示す斜視図である。図１０において、ＣＩＤ２１の表示面の横方向および縦方向をそれぞれｘ軸方向およびｙ軸方向とし、ＣＩＤ２１の表示面に垂直な方向をｚ軸方向とする。図１１は乗員ＰとＣＩＤ２１との位置関係を示すｘｚ平面図であり、図１２は乗員ＰとＣＩＤ２１との位置関係を示すｙｚ平面図である。なお、図１１および図１２では表示装置制御部２０ＡによるＣＩＤ２１の表示方向の変更が示されているが、これらの図においてｘ，ｙおよびｚ軸は変更前のＣＩＤ２１を基準として設定されている。

【0065】

車室におけるＣＩＤ２１の調整前の位置Ａ３の絶対位置座標を（ｘ１，ｙ１，ｚ１）とし、車室におけるＣＩＤ２１の調整後の位置Ａ３ａの絶対位置座標を（ｘ１，ｙ１ａ，ｚ１）とする。乗員の左右の眼を結ぶ直線の中点Ａ５の位置座標を（ｘ３，ｙ３，ｚ３）とする。ＣＩＤ２１の調整前の位置Ａ３と中点Ａ５とを結ぶ直線をＡ６とする。直線Ａ６とｙ軸方向とのなす角をθ２とする。ＣＩＤ２１の調整後の位置Ａ３ａと中点Ａ５とを結ぶ直線をＡ６ａとする。直線Ａ６ａと調整後のＣＩＤ２１の表示面の縦方向とのなす角をθ２ａとする。直線Ａ６ａと調整後のＣＩＤ２１の表示面の横方向とのなす角をθ３とする。ｙｚ平面におけるＣＩＤ２１の角度移動量（回転角）をθ４とする。なお、０＜θ４＜ｍａｘθ４とし、ｍａｘθ４はｙｚ平面におけるＣＩＤ２１の回転角の最大値である。θ５は、調整後のＣＩＤ２１の表示画面の横方向がｘ軸となす角であり、言い換えればＣＩＤ２１のｘｚ平面における角度移動量（回転角）である。直線Ａ６ａとｙ軸方向のなす角θ２ａ、および直線Ａ６ａとｘ軸方向のなす角θ３がそれぞれ９０度になる方向にＣＩＤ２１の位置および角度が調整されることで、ＣＩＤ２１は乗員の正面方向に移動する。

【0066】

例えば、表示装置２のｙ軸方向の位置移動量ｍ２は式（３）にて算出される。また、表示装置２のｙｚ平面における角度移動量θ４は式（４）により算出される。なお、０＜ｍ２＜ｍａｘｍ２であり、ｍａｘｍ２は、表示装置２のｙ軸方向の位置移動量ｍ２の最大値である。

【0067】

【数3】

【0068】

【数4】

【0069】

図１３は、顔情報登録支援装置１０２の動作を示すフローチャートである。以下、図１３のフローチャートに従って顔情報登録支援装置１０２の動作を説明する。

【0070】

顔情報登録支援装置１０２はステップＳ２０１において顔情報登録処理を開始する。顔情報登録処理の開始条件は、例えば乗員からタッチパネルなどの表示装置に特定の入力操作が行われることである。乗員情報が登録される対象となる乗員は、一人でも複数でもよい。

【0071】

次に、撮像装置１が乗員の顔画像を撮影し、取得部１１が撮像装置１から乗員の顔画像を取得する（ステップＳ２０２）。次に、乗員情報処理部１２は、取得部１１から乗員の顔画像を取得し、乗員の顔画像から乗員情報を算出する（ステップＳ２０３）。ここで、乗員情報には乗員の顔の位置、顔の向き、視線方向および開眼度の少なくともいずれかが含まれる。乗員情報処理部１２が算出した乗員情報は、乗員情報記憶部１４に記憶される。

【0072】

次に、顔情報登録支援装置１０２は、音声により乗員に表示装置２が移動することを通知し、かつ乗員に表示装置２の視認を促す（ステップＳ２０４）。具体的には、出力情報生成部１７が表示装置２の視認を促す音声情報を作成し、通知制御部１８が音声情報を音声出力装置３に提供する。これにより、音声出力装置３から表示装置２の視認を促す音声が出力される。例えば「表示装置を見やすい位置に移動します、表示装置を見てください」等の音声が音声出力装置３から出力される。ここで音声出力装置３から出力される音声は、表示装置２が移動することが乗員に伝わり、かつ乗員に対して表示装置２の視認を促す内容であればよい。

【0073】

次に、制御情報算出部１５はステップＳ２０３で算出された乗員情報から乗員の有効視野範囲を算出する（ステップＳ２０５）。その後、制御情報判定部１６は、有効視野範囲に表示装置２が存在するか否かを判断する（ステップＳ２０６）。ステップＳ２０６において有効視野範囲内に表示装置２が存在しない場合、顔情報登録支援装置１０２の処理はステップＳ２０４に戻る。

【0074】

ステップＳ２０６において有効視野範囲内に表示装置２が存在する場合、顔情報登録支援装置１０２の処理はステップＳ２０７に移行する。ステップＳ２０７において制御情報算出部１５は、乗員にとって最も見やすい、すなわち最適な表示装置２の位置および方向を算出し、当該位置および方向への表示装置２の位置および方向の移動量を算出する（ステップＳ２０７）。具体的には、制御情報算出部１５は乗員情報から乗員の眼の位置情報を取得し、乗員の両眼の位置の中点と表示装置２の位置とを結ぶ直線に対して、表示装置２の表示面が垂直になる位置および角度への移動量を表示装置移動量として算出する。なお、表示装置移動量の詳細な算出方法は、図１０から図１２で説明したとおりである。

【0075】

次に、表示装置制御部２０Ａは、制御情報算出部１５から取得した表示装置移動量だけ表示装置２を移動させる（ステップＳ２０８）。

【0076】

その後、顔情報登録支援装置１０２は、表示により乗員の顔の位置および向きを誘導する（ステップＳ２０９）。本ステップは図８のステップＳ１０７と同様である。

【0077】

＜Ｂ－３．効果＞
実施の形態２の顔情報登録支援装置１０２は、表示装置２が有効視野範囲に存在する場合に、乗員の視線方向に対して表示装置の表示面が垂直になるよう表示装置を回転させる表示装置制御部２０Ａを備える。そして、通知制御部１８は表示装置２の回転の後に表示通知を行う。従って、乗員による表示通知の視認性が向上する。

【0078】

＜Ｃ．ハードウェア構成＞
次に、顔情報登録支援装置１０１，１０２の要部のハードウェア構成について説明する。顔情報登録支援装置１０１，１０２は、コンピュータにより構成されており、当該コンピュータは、図１４に示されるようにプロセッサ８１およびメモリ８２、８３を有している。メモリ８２には、当該コンピュータを取得部１１、乗員情報処理部１２、登録情報判定部１３、制御情報算出部１５、制御情報判定部１６、出力情報生成部１７、通知制御部１８および固有情報記憶部１９（以下、「取得部１１等」とも称する）として機能させるためのプログラムが記憶されている。メモリ８２に記憶されているプログラムをプロセッサ８１が読みだして実行することにより、取得部１１等の機能が実現される。また、メモリ８３は、乗員情報記憶部１４および登録情報記憶部２０の機能を実現する。

【0079】

または、顔情報登録支援装置１０１，１０２は、メモリ８３および処理回路８４を有するものであっても良い。この場合、取得部１１等の機能が処理回路８４により実現されるものであっても良い。

【0080】

または、顔情報登録支援装置１０１，１０２は、プロセッサ８１、メモリ８２，８３および処理回路８４を有するものであっても良い。この場合、取得部１１等の機能のうちの一部の機能がプロセッサ８１およびメモリ８２により実現されて、残余の機能が処理回路８４により実現されるものであっても良い。

【0081】

プロセッサ８１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラまたはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を用いたものである。

【0082】

メモリ８２，８３は、例えば、半導体メモリまたは磁気ディスクを用いたものである。より具体的には、メモリ８２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などを用いたものである。

【0083】

処理回路８４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。

【0084】

なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。上記の説明は、すべての態様において、例示である。例示されていない無数の変形例が想定され得るものと解される。

【符号の説明】

【0085】

１ 撮像装置、２ 表示装置、３ 音声出力装置、１１ 取得部、１２ 乗員情報処理部、１３ 登録情報判定部、１４ 乗員情報記憶部、１５ 制御情報算出部、１６ 制御情報判定部、１７ 出力情報生成部、１８ 通知制御部、１９ 固有情報記憶部、２０ 登録情報記憶部、２０Ａ 表示装置制御部、２１ ＣＩＤ、２２ メータークラスターパネル、２３ 助手席ディスプレイ、２５ フロントガラス、３１，３２ スピーカー、４０ ステアリングハンドル、４１ 運転席、４２ 助手席、５１，５２ カメラ、８１ プロセッサ、８２，８３ メモリ、８４ 処理回路、１０１，１０２ 顔情報登録支援装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】