ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】個人認識システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240910BHJP
G06V 40/16 20220101ALI20240910BHJP
G06V 40/50 20220101ALI20240910BHJP
【ＦＩ】
G06T7/00 510F
G06V40/16 A
G06V40/50
【請求項の数】
7
(21)【出願番号】P 2020218515
(22)【出願日】2020-12-28
(65)【公開番号】P2022103716
(43)【公開日】2022-07-08
【審査請求日】2023-11-04
(73)【特許権者】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】100122426
【弁理士】
【氏名又は名称】加藤 清志
(72)【発明者】
【氏名】中村 亮太
(72)【発明者】
【氏名】松橋 太陽
【審査官】岡本 俊威
(56)【参考文献】
【文献】特表２０２０－５３６７８２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ ４０／００－４０／７０
Ｇ０６Ｖ ２０／００－２０／９０
(57)【特許請求の範囲】
【請求項1】
運転席の前方で車幅方向の中央部に設けられた第１の表示部と、前記運転席の正面に設けられた第２の表示部と、
前記第１の表示部の外縁に設けられた撮像部と、
前記第１の表示部と、前記第２の表示部と、に表示させる表示画像を制御する表示画像制御部と、
前記運転席の運転者が前記第１の表示部を視認した時に前記撮像部により撮像された前記運転者の顔画像である第１の顔画像と、前記運転者が前記第２の表示部を視認した時に前記撮像部により撮像された前記運転者の顔画像である第２の顔画像と、を少なくとも用いて前記運転者の個人登録と個人認識とを行う個人認識部と、
を備えたことを特徴とする個人認識システム。
【請求項2】
撮像部と、個人認識部と、前記第１の表示部と、が前記運転者の監視を行う運転状態監視装置に備えられていることを特徴とする請求項１に記載の個人認識システム。
【請求項3】
前記運転者が前記個人登録を行う時に、前記個人認識部が前記第１の顔画像を取得した後に、前記表示画像制御部が前記第２の表示部に画像を表示し、前記個人認識部が前記第２の顔画像を取得することを特徴とする請求項２に記載の個人認識システム。
【請求項4】
前記表示画像制御部は前記第２の顔画像から抽出した顔向きデータに基づいて前記運転者に関連付けらえたアバターの顔向きを制御した画像を前記第２の表示部に表示することを特徴とする請求項３に記載の個人認識システム。
【請求項5】
前記表示画像制御部は前記第２の顔画像から抽出した顔向きデータに基づいて前記第２の顔画像を変換した画像を前記第２の表示部に表示することを特徴とする請求項３に記載の個人認識システム。
【請求項6】
前記表示画像制御部は前記個人登録の進捗状況を示す画像を前記第２の表示部に表示することを特徴とする請求項３から５のいずれか１項に記載の個人認識システム。
【請求項7】
前記第２の表示部がヘッドアップディスプレイで構成されていることを特徴とする請求項１から６のいずれか１項に記載の個人認識システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、個人認識システムに関する。
【背景技術】
【0002】
車両の安全運転を支援することを目的とする、運転者の状態を監視するドライバーモニタリングシステムが知られている。
この種のドライバーモニタリングシステムでは、システムが車両を運転する個人を識別する必要があるため、個人を識別するための個人情報をシステムに登録する必要がある。
ここで、一般に個人を識別するための情報としては、顔画像が用いられ、カメラで撮影した画像から顔情報、視線情報等を抽出する技術が開示されている（例えば、特許文献１参照）。
また、ドライバーモニタリングシステムでは、個人を識別するための個人情報として、例えば、車両内にあるカメラで撮像した顔画像やその顔画像から抽出した顔の特徴量等がドライバーモニタリングシステムに登録されている。そして、ドライバーモニタリングシステムは、現在運転席に座っている運転者の顔画像から抽出した特徴量と、登録済みの特徴量とを比較することにより、現在運転席に座る個人を識別することができる。
この種のドライバーモニタリングシステムでは、システムが車両を運転する個人を識別する必要があるため、個人を識別するための個人情報をシステムに登録する必要がある。
ここで、一般に個人を識別するための情報としては、顔画像が用いられ、カメラで撮影した画像から顔情報、視線情報等を抽出する技術が開示されている（例えば、特許文献１参照）。
また、ドライバーモニタリングシステムでは、個人を識別するための個人情報として、例えば、車両内にあるカメラで撮像した顔画像やその顔画像から抽出した顔の特徴量等がドライバーモニタリングシステムに登録されている。そして、ドライバーモニタリングシステムは、現在運転席に座っている運転者の顔画像から抽出した特徴量と、登録済みの特徴量とを比較することにより、現在運転席に座る個人を識別することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９―７５１６２
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、個人情報を登録する時に取得する顔画像は、運転者の顔の向きと視線方向とが一意に定まらないため、例えば、顔の向きによっては、顔の特徴量を精度よく抽出することができず、正しく個人認識をすることができないという課題があった。
【0005】
そこで、本発明は、上述の課題に鑑みてなされたものであって、個人情報を登録する時に、運転者の顔向きおよび視線方向が一意に定められた顔画像を取得することができる個人認識システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
形態１；本発明の１またはそれ以上の実施形態は、運転席の前方で車幅方向の中央部に設けられた第１の表示部と、前記運転席の正面に設けられた第２の表示部と、前記第１の表示部の外縁に設けられた撮像部と、前記第１の表示部と、前記第２の表示部と、に表示させる表示画像を制御する表示画像制御部と、前記運転席の運転者が前記第１の表示部を視認した時に前記撮像部により撮像された前記運転者の顔画像である第１の顔画像と、前記運転者が前記第２の表示部を視認した時に前記撮像部により撮像された前記運転者の顔画像である第２の顔画像と、を少なくとも用いて前記運転者の個人登録と個人認識とを行う個人認識部と、を備えたことを特徴とする個人認識システムを提案している。
【0007】
形態２；本発明の１またはそれ以上の実施形態は、撮像部と、表示画像制御部と、個人認識部と、前記第１の表示部と、が前記運転者の監視を行う運転状態監視装置に備えられていることを特徴とする個人認識システムを提案している。
【0008】
形態３；本発明の１またはそれ以上の実施形態は、前記運転者が前記個人登録を行う時に、前記個人認識部が前記第１の顔画像を取得した後に、前記表示画像制御部が前記第２の表示部に画像を表示し、前記個人認識部が前記第２の顔画像を取得することを特徴とする個人認識システムを提案している。
【0009】
形態４；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は前記第２の顔画像から抽出した顔向きデータに基づいて前記運転者に関連付けらえたアバターの顔向きを制御した画像を前記第２の表示部に表示することを特徴とする個人認識システムを提案している。
【0010】
形態５；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は前記第２の顔画像から抽出した顔向きデータに基づいて前記第２の顔画像を変換した画像を前記第２の表示部に表示することを特徴とする個人認識システムを提案している。
【0011】
形態６；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は前記個人登録の進捗状況を示す画像を前記第２の表示部に表示することを特徴とする個人認識システムを提案している。
【0012】
形態７；本発明の１またはそれ以上の実施形態は、前記第２の表示部がヘッドアップディスプレイで構成されていることを特徴とする個人認識システムを提案している。
【発明の効果】
【0013】
本発明の１またはそれ以上の実施形態によれば、個人情報を登録する時に、運転者の顔向きおよび視線方向が一意に定められた顔画像を取得することができ、精度よく運転者を識別できるという効果がある。
【図面の簡単な説明】
【0014】
【図1】本発明の第１の実施形態に係る個人認識システム１の構成を示した図である。
【図2】本発明の第１の実施形態に係る個人認識システム１における、撮像部、第１の表示部および第２の表示部の配置状態を示した図である。
【図3】本発明の第１の実施形態に係る個人認識システム１における、個人登録の処理のフローを示した図である。
【図4】本発明の第１の実施形態に係る個人認識システム１の第２の表示部に画像出力する処理のフローを示した図である。
【図5】本発明の第１の実施形態に係る個人認識システム１の個人登録の際に、第１の表示部と第２の表示部とに表示される画像の遷移を例示した図である。
【図6】本発明の第２の実施形態に係る個人認識システム１Ａにおける、個人登録の処理のフローを示した図である。
【図7】本発明の第２の実施形態に係る個人認識システム１Ａにおける、第２の表示部に画像出力する処理のフローを示した図である。
【図8】本発明の変形例に係る個人認識システムにおける、第２の表示部に表示する画像を例示した図である。
【発明を実施するための形態】
【0015】
【0016】
【0017】
＜個人認識システム１の構成＞
図１に示すように、本実施形態に係る個人認識システム１は、運転状態監視装置１００と、第２の表示部２００とを含んで構成されている。
図１に示すように、本実施形態に係る個人認識システム１は、運転状態監視装置１００と、第２の表示部２００とを含んで構成されている。
【0018】
運転状態監視装置１００は、図２に示すように、後述する撮像部１０により車両の運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態（顔の向きや目の開度等）に基づいて運転者の運転状態を監視する装置である。
なお、詳細な構成については、別途、詳述する。
なお、詳細な構成については、別途、詳述する。
【0019】
第２の表示部２００は、図２に示すように、運転席の正面に設けられた表示部であり、例えば、フロントガラスに運転者向けの基本的な情報画像を提示するヘッドアップディスプレイ（Head-Up Display；ＨＵＤ）を例示することができる。
なお、図２にはウインドシールドに投影するＨＵＤを例示したが、ダッシュボード上に設けられたコンバイナーに投影するＨＵＤであってもよい。
なお、本実施形態においては、ＨＵＤに限らず、運転席の正面に画像を提示する表示部を含む。
なお、図２にはウインドシールドに投影するＨＵＤを例示したが、ダッシュボード上に設けられたコンバイナーに投影するＨＵＤであってもよい。
なお、本実施形態においては、ＨＵＤに限らず、運転席の正面に画像を提示する表示部を含む。
【0020】
＜運転状態監視装置１００の構成＞
図１に示すように、運転状態監視装置１００は、撮像部１０と、第１の表示部２０と、個人認識部３０と、表示画像制御部４０と、を含んで構成されている。
図１に示すように、運転状態監視装置１００は、撮像部１０と、第１の表示部２０と、個人認識部３０と、表示画像制御部４０と、を含んで構成されている。
【0021】
撮像部１０は、図２に示すように、後述する第１の表示部２０の外縁上に設けられ、運転席の運転者の少なくとも顔を含む映像（動画像、静止画像を含む）を取得する。
撮像部１０は、例えば、ＣＣＤ（Charge Coupled Device）、またはＣＩＳ(CMOS Image Sensor)等の撮像素子を内蔵したカメラで構成されている。
また、撮像部１０は、例えば近赤外線カメラあるいはＲＧＢカメラ等であって、照射された近赤外光に反射した反射光を受光することにより、運転者の顔を撮像する。撮像部１０は、撮像した画像信号を、後述する個人認識部３０及び表示画像制御部４０に送出する。
撮像部１０は、例えば、ＣＣＤ（Charge Coupled Device）、またはＣＩＳ(CMOS Image Sensor)等の撮像素子を内蔵したカメラで構成されている。
また、撮像部１０は、例えば近赤外線カメラあるいはＲＧＢカメラ等であって、照射された近赤外光に反射した反射光を受光することにより、運転者の顔を撮像する。撮像部１０は、撮像した画像信号を、後述する個人認識部３０及び表示画像制御部４０に送出する。
【0022】
第１の表示部２０は、図２に示すように、運転席前方で車幅方向の中央部に配設された表示器であり、例えば、運転者に対して、個人登録等に関する情報を表示する。
なお、第１の表示部２０は、車両に搭載されたナビゲーションシステムの表示部を兼ねていてもよい。
なお、第１の表示部２０は、車両に搭載されたナビゲーションシステムの表示部を兼ねていてもよい。
【0023】
個人認識部３０は、撮像部１０によって撮像された画像から、顔の特徴量を抽出し、その特徴量から運転者を識別する。
また、個人情報を登録する時には、個人認識部３０は、撮像部１０によって撮像された運転者の顔画像から個人を識別するための特徴量を図示しないメモリに保存する。
ここで、個人認識部３０は、例えば、図示しない周知のＲＡＭ、ＲＯＭおよびＩ／Ｏバス等を備えたＣＰＵ（Central Processing Unit）の一部の機能であり、ＲＯＭに格納された制御プログラムに従って制御を実行する。
また、個人情報を登録する時には、個人認識部３０は、撮像部１０によって撮像された運転者の顔画像から個人を識別するための特徴量を図示しないメモリに保存する。
ここで、個人認識部３０は、例えば、図示しない周知のＲＡＭ、ＲＯＭおよびＩ／Ｏバス等を備えたＣＰＵ（Central Processing Unit）の一部の機能であり、ＲＯＭに格納された制御プログラムに従って制御を実行する。
【0024】
表示画像制御部４０は、第１の表示部２０と、第２の表示部２００と、に表示する画像を生成する。
ここで、表示画像制御部４０は、例えば、図示しない周知のＲＡＭ、ＲＯＭおよびＩ／Ｏバス等を備えたＧＰＵ（Graphics Processing Unit）機能の一部であり、ＲＯＭに格納された制御プログラムに従って制御を実行する。
ここで、表示画像制御部４０は、例えば、図示しない周知のＲＡＭ、ＲＯＭおよびＩ／Ｏバス等を備えたＧＰＵ（Graphics Processing Unit）機能の一部であり、ＲＯＭに格納された制御プログラムに従って制御を実行する。
【0025】
【0026】
なお、以下、図３を用いて、個人情報を個人認識システム１に個人情報を登録する際に実行される処理について説明する。
また、図５には、図３に示す処理フローが実行されたときに、第１の表示部２０と第２の表示部２００とに表示される画面の表示例を示す。
また、図５には、図３に示す処理フローが実行されたときに、第１の表示部２０と第２の表示部２００とに表示される画面の表示例を示す。
【0027】
表示画像制御部４０は、第１の表示部２０に個人情報を登録するための登録画面を表示する（ステップＳ１１０）。
【0028】
そして、個人情報を登録するための画面にある登録開始の操作が実行されたか否かを判定する（ステップＳ１２０）。登録開始の操作が実行されていない場合（ステップＳ１２０の「ＮＯ」）には、処理をステップＳ１２０に戻し、待機する。そして、登録開始の操作が実行された場合（ステップＳ１２０の「ＹＥＳ」）には、処理をステップＳ１３０に移行する。
【0029】
個人認識部３０は、撮像部１０から運転者の顔画像（第１の顔画像）を取得する（ステップＳ１３０）。ここで撮像部１０が取得する画像は、運転者が第１の表示部２０を視認している顔画像（第１の顔画像）である。
そのため、第１の表示部２０に、第１の表示部２０を注視することを促す表示を行ってもよい。
また、登録開始の入力（ステップＳ１２０）を、第１の表示部２０に設けられたタッチパネル、第１の表示部２０の周辺にあるボタン等の操作によって実行すれば、運転者の顔の向きを第１の表示部２０の方向に向けることができる。
そのため、第１の表示部２０に、第１の表示部２０を注視することを促す表示を行ってもよい。
また、登録開始の入力（ステップＳ１２０）を、第１の表示部２０に設けられたタッチパネル、第１の表示部２０の周辺にあるボタン等の操作によって実行すれば、運転者の顔の向きを第１の表示部２０の方向に向けることができる。
【0030】
そして、個人認識部３０は、ステップＳ１３０において取得した運転者の顔画像（第１の顔画像）が正しく取得できたかを確認する（ステップＳ１４０）。
ここで取得した顔画像（第１の顔画像）から、個人認識部３０が運転者を識別するために必要な顔の特徴量を抽出するため、取得した顔画像の顔の向きが所定の範囲内にあるか否かを確認する必要がある。
具体的には、個人認識部３０は、取得した運転者の顔画像（第１の顔画像）から、顔の向き（Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌ）を抽出し、顔の向きが所定の範囲にあるか否かを判定する。
ここで取得した顔画像（第１の顔画像）から、個人認識部３０が運転者を識別するために必要な顔の特徴量を抽出するため、取得した顔画像の顔の向きが所定の範囲内にあるか否かを確認する必要がある。
具体的には、個人認識部３０は、取得した運転者の顔画像（第１の顔画像）から、顔の向き（Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌ）を抽出し、顔の向きが所定の範囲にあるか否かを判定する。
【0031】
運転者の顔画像（第１の顔画像）の顔向き方向が所定の範囲内にない場合（ステップＳ１４０の「ＮＯ」）には、処理をステップＳ１３０に戻し、再度運転者の顔画像（第１の顔画像）を取得する。
一方で、運転者の顔画像（第１の顔画像）の顔向き方向が所定の範囲にある場合（ステップＳ１４０の「ＹＥＳ」）には、処理をステップＳ１５０に移行する。
一方で、運転者の顔画像（第１の顔画像）の顔向き方向が所定の範囲にある場合（ステップＳ１４０の「ＹＥＳ」）には、処理をステップＳ１５０に移行する。
【0032】
ここでは、顔の向きが所定の範囲に入っていることを１回確認する処理を例示したが、複数回確認する処理であってもよい。その場合には、個人認識部３０は、顔の向きが所定の範囲にある顔画像を複数回取得し、その取得した複数の顔画像から運転者の特徴量を決定するようにしてもよい。
【0033】
次に、表示画像制御部４０は、第１の表示部２０に第２の表示部２００を見るように促す指示を表示し、第２の表示部２００に画像を表示して、運転者の顔画像（第２の顔画像）を取得する（ステップＳ１５０）。
なお、ステップＳ１５０の処理の詳細については、後述する。
なお、ステップＳ１５０の処理の詳細については、後述する。
【0034】
そして、個人認識部３０はステップＳ１５０において取得した運転者の顔画像（第２の顔画像）の顔向き方向が所定の範囲内にあるか否かを確認する（ステップＳ１６０）。
運転者の顔画像（第２の顔画像）の顔向き方向が所定の範囲内にない場合（ステップＳ１６０の「ＮＯ」）には、処理をステップＳ１５０に戻し、再度運転者の顔画像（第２の顔画像）を取得する。
一方で、運転者の顔画像（第２の顔画像）の顔向き方向が所定の範囲内にある場合（ステップＳ１６０の「ＹＥＳ」）には、処理をステップＳ１７０に移行する。
運転者の顔画像（第２の顔画像）の顔向き方向が所定の範囲内にない場合（ステップＳ１６０の「ＮＯ」）には、処理をステップＳ１５０に戻し、再度運転者の顔画像（第２の顔画像）を取得する。
一方で、運転者の顔画像（第２の顔画像）の顔向き方向が所定の範囲内にある場合（ステップＳ１６０の「ＹＥＳ」）には、処理をステップＳ１７０に移行する。
【0035】
ここで、ステップＳ１６０の処理は、ステップＳ１４０の処理で例示した処理と同様に、顔の向きが所定の範囲に入っていることを複数回確認する処理に変更してもよい。その場合には、個人認識部３０は、顔の向きが所定の範囲にある顔画像（第２の顔画像）を複数回取得し、その取得した複数の顔画像（第２の顔画像）から運転者の特徴量を決定するようにしてもよい。
【0036】
そして、個人認識部３０は、ステップＳ１３０で取得した運転者の顔画像（第１の顔画像）とステップＳ１５０で取得した運転者の顔画像（第２の顔画像）とを図示しないメモリに格納する（ステップＳ１７０）。
ここで、顔画像のデータは、例えば、運転者の名前、性別、年齢等の情報と関連付けされ、個人情報としてメモリに格納される。
そして、表示画像制御部４０は第１の表示部２０と第２の表示部２００とに、個人情報登録処理が完了したことを表示し（ステップＳ１８０）、処理を終了する。
ここで、顔画像のデータは、例えば、運転者の名前、性別、年齢等の情報と関連付けされ、個人情報としてメモリに格納される。
そして、表示画像制御部４０は第１の表示部２０と第２の表示部２００とに、個人情報登録処理が完了したことを表示し（ステップＳ１８０）、処理を終了する。
【0037】
＜第２の表示部２００に表示する画像処理（ステップＳ１５０）＞
図４を用いて、図３のステップＳ１５０で実行される、第２の表示部２００に表示する画像生成および第２の顔画像取得に関する処理について説明する。
図４を用いて、図３のステップＳ１５０で実行される、第２の表示部２００に表示する画像生成および第２の顔画像取得に関する処理について説明する。
【0038】
表示画像制御部４０は、第１の表示部２０に第２の表示部２００を見るように指示を表示し、その後に、個人認識部３０は、撮像部１０から運転者の顔画像（第２の顔画像）を取得する（ステップＳ１５１）。
【0039】
そして、個人認識部３０は取得した顔画像（第２の顔画像）から、運転者の顔の向き（Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌ）を算出し、その算出結果を表示画像制御部４０に転送する（ステップＳ１５２）。
【0040】
そして、表示画像制御部４０は、転送された運転者の顔向きの情報に基づいて、図示しないメモリに格納された３Ｄのアバター画像を読みだすとともに、この３Ｄのアバター画像を回転させ、図５に示すようなアバター画像を第２の表示部２００に表示し（ステップＳ１５３）、図３のステップＳ１６０に処理を戻す。
【0041】
ここで、ステップＳ１５１において取得された運転者の顔画像は、斜め方向から撮像された顔画像である。そのため、表示画像制御部４０は、画像から算出した顔の方向と、第２の表示部２００が設けられた方向とに基づいて、３Ｄのアバター画像を回転させる。
換言すると、運転者が第２の表示部２００に顔を向けた時には、正面を向いた３Ｄのアバター画像が第２の表示部２００に表示されるように、表示画像制御部４０は、アバター画像を回転させる処理を実行する。
また、第２の顔画像が正しく取得できるまで、第２の表示部２００には、３Ｄのアバター画像が表示され続ける。つまり、第２の表示部２００には、運転者の顔の向きに合わせた３Ｄのアバター画像が継続的に表示される。
換言すると、運転者が第２の表示部２００に顔を向けた時には、正面を向いた３Ｄのアバター画像が第２の表示部２００に表示されるように、表示画像制御部４０は、アバター画像を回転させる処理を実行する。
また、第２の顔画像が正しく取得できるまで、第２の表示部２００には、３Ｄのアバター画像が表示され続ける。つまり、第２の表示部２００には、運転者の顔の向きに合わせた３Ｄのアバター画像が継続的に表示される。
【0042】
＜作用・効果＞
以上、説明したように、本実施形態に係る個人認識システム１は、撮像部１０と、個人認識部３０と、表示画像制御部４０と、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００と、を備えている。撮像部１０は第１の表示部２０の外縁に設けられ、運転者の顔画像を撮像する。表示画像制御部４０は第１の表示部２０と第２の表示部２００とに表示させる表示画面を制御する。個人認識部３０は、運転者が第１の表示部２０を視認した時に撮像部１０により撮像した第１の顔画像と、運転者が第２の表示部２００を視認した時に撮像部１０により撮像した第２の顔画像と、を少なくとも用いて運転者の個人登録と個人認識とを行う。そして、個人認識部３０が個人登録を行う時には、表示画像制御部４０は第２の顔画像から抽出した顔向きデータに基づいてアバターの顔向きを制御した画像を第２の表示部２００に表示する。
以上、説明したように、本実施形態に係る個人認識システム１は、撮像部１０と、個人認識部３０と、表示画像制御部４０と、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００と、を備えている。撮像部１０は第１の表示部２０の外縁に設けられ、運転者の顔画像を撮像する。表示画像制御部４０は第１の表示部２０と第２の表示部２００とに表示させる表示画面を制御する。個人認識部３０は、運転者が第１の表示部２０を視認した時に撮像部１０により撮像した第１の顔画像と、運転者が第２の表示部２００を視認した時に撮像部１０により撮像した第２の顔画像と、を少なくとも用いて運転者の個人登録と個人認識とを行う。そして、個人認識部３０が個人登録を行う時には、表示画像制御部４０は第２の顔画像から抽出した顔向きデータに基づいてアバターの顔向きを制御した画像を第２の表示部２００に表示する。
【0043】
つまり、第１の顔画像を取得する時には、第１の表示部２０には、表示画像制御部４０による画像が表示されているため、第１の表示部２０の方向に運転者の顔向きと視線とを一意に定めることができる。また、第２の顔画像を取得する時には、表示画像制御部４０による画像が表示されているため、第２の表示部２００の方向に運転者の顔向きと視線とを一意に定めることができる。
これにより、第１の顔画像と第２の顔画像とから精度よく運転者の顔の特徴量を抽出することができ、個人認識精度を高めることができる。
さらに、第２の顔画像は運転者の運転中を模擬した登録画像としても使用することができる。
これにより、第１の顔画像と第２の顔画像とから精度よく運転者の顔の特徴量を抽出することができ、個人認識精度を高めることができる。
さらに、第２の顔画像は運転者の運転中を模擬した登録画像としても使用することができる。
【0044】
また、本実施形態に係る個人認識システム１は、個人認識部３０が個人登録を行う時には、第２の顔画像から抽出した顔向きデータに基づいてアバターの顔向きを制御した画像を第２の表示部２００に表示する。
つまり、第２の顔画像を取得する時には、第２の表示部２００に運転者の顔の向きに合わせて動くアバター画像が画表示されるため、運転者は第２の表示部２００をより注視するようになり、運転者の顔向きと視線を一意に定めることができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
また、第２の表示部に表示すアバター画像は、予めメモリに格納されたアバター画像を回転させる処理のみで画像生成できるため、個人認識システム１の処理の負荷を上げずに実現することができる。
そのため、表示画像制御部４０は高性能なＧＰＵ、大容量のメモリ等を必要としないことから、個人認識システム１を安価に構成することができる。
つまり、第２の顔画像を取得する時には、第２の表示部２００に運転者の顔の向きに合わせて動くアバター画像が画表示されるため、運転者は第２の表示部２００をより注視するようになり、運転者の顔向きと視線を一意に定めることができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
また、第２の表示部に表示すアバター画像は、予めメモリに格納されたアバター画像を回転させる処理のみで画像生成できるため、個人認識システム１の処理の負荷を上げずに実現することができる。
そのため、表示画像制御部４０は高性能なＧＰＵ、大容量のメモリ等を必要としないことから、個人認識システム１を安価に構成することができる。
【0045】
また、本実施形態に係る個人認識システム１は、運転者が個人登録を行う時に、個人認識部３０が第１の顔画像を取得した後に、表示画像制御部４０が第２の表示部２００に画像を表示し、個人認識部３０が第２の顔画像を取得する。
つまり、第１の表示部２０を運転者が視認した時に取得する第１の顔画像の取得が完了するまでは、表示画像制御部４０は、第２の表示部２００に何も表示をしないため、運転者が見るべき表示部が明確になり、運転者の顔向きと視線を一意に定めることができる。
そのため、第１の顔画像と第２の顔画像とから精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
さらに、個人登録を行う際には、表示画像制御部４０が第２の表示部２００に画像を表示するため、運転者の顔向きと視線を誘導することができる。これにより、運転者の顔画像の登録処理を無駄なく、短時間で処理することができる。
つまり、第１の表示部２０を運転者が視認した時に取得する第１の顔画像の取得が完了するまでは、表示画像制御部４０は、第２の表示部２００に何も表示をしないため、運転者が見るべき表示部が明確になり、運転者の顔向きと視線を一意に定めることができる。
そのため、第１の顔画像と第２の顔画像とから精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
さらに、個人登録を行う際には、表示画像制御部４０が第２の表示部２００に画像を表示するため、運転者の顔向きと視線を誘導することができる。これにより、運転者の顔画像の登録処理を無駄なく、短時間で処理することができる。
【0046】
また、本実施形態に係る個人認識システム１は、第２の表示部２００がヘッドアップディスプレイで構成されている。
つまり、ヘッドアップディスプレイの特性上、画像を視認できる目の位置が液晶画面と比較して、非常に狭いため、ヘッドアップディスプレイを使用した場合には、運転者の顔向きと視線とをさらに制限するができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
つまり、ヘッドアップディスプレイの特性上、画像を視認できる目の位置が液晶画面と比較して、非常に狭いため、ヘッドアップディスプレイを使用した場合には、運転者の顔向きと視線とをさらに制限するができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
【0047】
また、本実施形態に係る個人認識システム１は、撮像部１０と、個人認識部３０と、表示画像制御部４０と、第１の表示部２０と、が運転者の監視を行う運転状態監視装置１００に備えられている。
つまり、車両が運転者を監視する運転状態監視装置１００を備えている場合には、撮像部１０と、個人認識部３０と、表示画像制御部４０と、第１の表示部２０と、を共用し、個人認識システムを構成することができる。
そのため、第２の表示部２００のみを追加することで、個人認識システム１が構成できるため、コストダウンを図ることができる。
つまり、車両が運転者を監視する運転状態監視装置１００を備えている場合には、撮像部１０と、個人認識部３０と、表示画像制御部４０と、第１の表示部２０と、を共用し、個人認識システムを構成することができる。
そのため、第２の表示部２００のみを追加することで、個人認識システム１が構成できるため、コストダウンを図ることができる。
【0048】
＜第２の実施形態＞
図６および図７を用いて、本実施形態に係る個人認識システム１Ａについて説明する。
本実施例は、上で説明した個人認識システム１に対して、第２の表示部２００に表示する画像の生成処理が変更された例である。
図６および図７を用いて、本実施形態に係る個人認識システム１Ａについて説明する。
本実施例は、上で説明した個人認識システム１に対して、第２の表示部２００に表示する画像の生成処理が変更された例である。
【0049】
＜個人認識システム１Ａの処理＞
図６に示すように、個人認識システム１Ａの処理は、図３に示した個人認識システム１の処理フローのステップＳ１５０がステップＳ３００に変更されている。
そのため、ステップＳ３００についてのみ、以下に説明する。
図６に示すように、個人認識システム１Ａの処理は、図３に示した個人認識システム１の処理フローのステップＳ１５０がステップＳ３００に変更されている。
そのため、ステップＳ３００についてのみ、以下に説明する。
【0050】
＜第２の表示部２００に表示する画像処理（ステップＳ３００）＞
図７を用いて、個人認識システム１Ａの第２の表示部２００に表示する画像生成および第２の顔画像取得に関する処理について説明する。
図７を用いて、個人認識システム１Ａの第２の表示部２００に表示する画像生成および第２の顔画像取得に関する処理について説明する。
【0051】
表示画像制御部４０は、第１の表示部２０に第２の表示部２００を見るようなメッセージを表示し、その後に、個人認識部３０は、撮像部１０から運転者の顔画像（第２の顔画像）を取得する（ステップＳ３０１）。
【0052】
個人認識部３０は取得した顔画像から、運転者の顔の向き（Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌ）を算出し、顔向きの情報を表示画像制御部４０に転送する（ステップＳ３０２）。
表示画像制御部４０は、転送された顔の向きの情報に基づいて、第２の顔画像を３Ｄ画像に変換する（ステップＳ３０３）。
表示画像制御部４０は、転送された顔の向きの情報に基づいて、第２の顔画像を３Ｄ画像に変換する（ステップＳ３０３）。
【0053】
そして、表示画像制御部４０は、３Ｄ変換した第２の顔画像を第２の表示部２００に表示する（ステップＳ３０４）。
ステップＳ３０１において取得された運転者の顔画像（第２の顔画像）は、斜め方向から撮像された画像である。したがって、表示画像制御部４０は、第２の顔画像を透視投影変換により視点変換し、運転者の正面の顔画像を生成している。
そして、第２の顔画像が正しく取得できるまで、第２の表示部２００には、運転者の正面の顔画像が表示され続ける。
ステップＳ３０１において取得された運転者の顔画像（第２の顔画像）は、斜め方向から撮像された画像である。したがって、表示画像制御部４０は、第２の顔画像を透視投影変換により視点変換し、運転者の正面の顔画像を生成している。
そして、第２の顔画像が正しく取得できるまで、第２の表示部２００には、運転者の正面の顔画像が表示され続ける。
【0054】
＜作用・効果＞
本実施形態に係る個人認識システム１Ａは、個人登録を行う時には、第２の顔画像から抽出した顔向きデータに基づいて第２の顔画像を変換した画像を第２の表示部２００に表示する。
つまり、第２の顔画像を取得する時には、第２の顔画像を透視投影変換により視点変換した運転者の正面の顔画像が第２の表示部２００に表示されるため、運転者は第２の表示部２００をより注視するようになり、運転者の顔向きと視線を一意に定めることができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
＜変形例＞
本実施形態に係る個人認識システム１Ａは、個人登録を行う時には、第２の顔画像から抽出した顔向きデータに基づいて第２の顔画像を変換した画像を第２の表示部２００に表示する。
つまり、第２の顔画像を取得する時には、第２の顔画像を透視投影変換により視点変換した運転者の正面の顔画像が第２の表示部２００に表示されるため、運転者は第２の表示部２００をより注視するようになり、運転者の顔向きと視線を一意に定めることができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
＜変形例＞
【0055】
個人認識システム１，１Ａにおいて、個人登録を行う時に、表示画像制御部４０が個人登録の進捗状況を示す画像を第２の表示部２００に表示してもよい。
つまり、第２の顔画像を取得する時に、第２の表示部２００に個人登録のプロセスの進捗度合いを示す数値、プログレスバー等を表示することによって、運転者は、あとどれだけの時間、第２の表示部２００を見ている必要があるのかを把握できるため、運転者の顔向きと視線とを一定期間、一意に定めることができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
また、図８に示すように、個人登録のプロセスの進捗度合いを示す数値、プログレスバー等は、上記したアバター画像等の表示と同時に表示してもよい。
つまり、第２の顔画像を取得する時に、第２の表示部２００に個人登録のプロセスの進捗度合いを示す数値、プログレスバー等を表示することによって、運転者は、あとどれだけの時間、第２の表示部２００を見ている必要があるのかを把握できるため、運転者の顔向きと視線とを一定期間、一意に定めることができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
また、図８に示すように、個人登録のプロセスの進捗度合いを示す数値、プログレスバー等は、上記したアバター画像等の表示と同時に表示してもよい。
【0056】
なお、個人認識部３０、表示画像制御部４０の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを個人認識部３０、表示画像制御部４０に読み込ませ、実行することによって本発明の個人認識システム１、１Ａを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【0057】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【0058】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0059】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0060】
１；個人認識システム
１Ａ；個人認識システム
１０；撮像部
２０；第１の表示部
３０；個人識別部
４０；表示画像制御部
１００；運転状態監視装置
２００；第２の表示部
１Ａ；個人認識システム
１０；撮像部
２０；第１の表示部
３０；個人識別部
４０；表示画像制御部
１００；運転状態監視装置
２００；第２の表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
