特開2024-75940生体部位検出装置、生体部位検出方法、プログラム、及び車載表示装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075940
(43)【公開日】2024-06-05
(54)【発明の名称】生体部位検出装置、生体部位検出方法、プログラム、及び車載表示装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240529BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022187221
(22)【出願日】2022-11-24
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(74)【代理人】
【識別番号】100067356
【弁理士】
【氏名又は名称】下田 容一郎
(74)【代理人】
【識別番号】100160004
【弁理士】
【氏名又は名称】下田 憲雅
(74)【代理人】
【識別番号】100120558
【弁理士】
【氏名又は名称】住吉 勝彦
(74)【代理人】
【識別番号】100148909
【弁理士】
【氏名又は名称】瀧澤 匡則
(74)【代理人】
【識別番号】100192533
【弁理士】
【氏名又は名称】奈良 如紘
(72)【発明者】
【氏名】西澤 幸蔵
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096BA18
5L096CA02
5L096FA35
5L096FA69
5L096HA13
5L096JA28
5L096KA04
(57)【要約】
【課題】 撮像光である赤外光等の反射による反射パターン、及び、例えば太陽光等がウインドシールド等で反射して生じる反射パターンの双方について、種類の異なる複数の検出器を使用することなく対策可能とする。
【解決手段】 生体部位検出装置２００は、撮像部２１０と、生体部位検出処理部２３０と、を有し、生体部位検出処理部２３０は、反射光パターン抽出部２３２と、抽出された反射光パターンの種類等を検出する反射光パターン検出部２３３と、生体の部位の特徴量を学習した結果である学習モデルを複数、記憶する記憶部２４０と、反射光パターンの検出結果に基づいて、記憶部の中から、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択部２３５と、選択された学習モデルを用いて、生体の部位を検出する生体部位検出部２３６と、を有する。
【選択図】 図２
【解決手段】 生体部位検出装置２００は、撮像部２１０と、生体部位検出処理部２３０と、を有し、生体部位検出処理部２３０は、反射光パターン抽出部２３２と、抽出された反射光パターンの種類等を検出する反射光パターン検出部２３３と、生体の部位の特徴量を学習した結果である学習モデルを複数、記憶する記憶部２４０と、反射光パターンの検出結果に基づいて、記憶部の中から、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択部２３５と、選択された学習モデルを用いて、生体の部位を検出する生体部位検出部２３６と、を有する。
【選択図】 図２
【特許請求の範囲】
【請求項1】
撮像画像に基づいて生体の部位を検出する生体部位検出装置であって、
検出対象である前記生体の部位からの撮像光の反射光を受光する受光部を有する撮像部と、
前記撮像部により取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理部と、
を有し、
前記生体部位検出処理部は、
前記撮像画像に基づいて、所定の反射光パターンを抽出する反射光パターン抽出部と、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出部と、
生体の部位の特徴量を学習した結果である学習モデルを複数、記憶する記憶部と、
前記反射光パターン検出部による反射光パターンの検出結果に基づいて、前記記憶部の中から、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択部と、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出部と、
を有する、生体部位検出装置。
検出対象である前記生体の部位からの撮像光の反射光を受光する受光部を有する撮像部と、
前記撮像部により取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理部と、
を有し、
前記生体部位検出処理部は、
前記撮像画像に基づいて、所定の反射光パターンを抽出する反射光パターン抽出部と、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出部と、
生体の部位の特徴量を学習した結果である学習モデルを複数、記憶する記憶部と、
前記反射光パターン検出部による反射光パターンの検出結果に基づいて、前記記憶部の中から、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択部と、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出部と、
を有する、生体部位検出装置。
【請求項2】
前記生体部位検出装置の少なくとも前記撮像部は、
車両に設けられ、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して画像を表示する反射型の車載表示装置内の、前記反射透光部材を通過して直接的に到来する外光が遮蔽される位置に設けられている、
請求項１に記載の生体部位検出装置。
車両に設けられ、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して画像を表示する反射型の車載表示装置内の、前記反射透光部材を通過して直接的に到来する外光が遮蔽される位置に設けられている、
請求項１に記載の生体部位検出装置。
【請求項3】
前記学習モデル選択部は、
前記反射光パターンが検出されない場合には、通常の検出に用いられる第１のアルゴリズムを用いた第１の学習モデルを選択し、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記第１のアルゴリズムよりも、検出条件の数が低減されている第２のアルゴリズムを用いた第２の学習モデルを選択する、
又は、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記撮像部における前記受光部の受光面での前記第１の反射光パターンが存在する範囲を除くように、特徴量の検出候補となる要素を限定することで、前記第１のアルゴリズムよりも、検出条件の数が低減された第２のアルゴリズムを用いた第２の学習モデルを選択する、
請求項１に記載の生体部位検出装置。
前記反射光パターンが検出されない場合には、通常の検出に用いられる第１のアルゴリズムを用いた第１の学習モデルを選択し、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記第１のアルゴリズムよりも、検出条件の数が低減されている第２のアルゴリズムを用いた第２の学習モデルを選択する、
又は、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記撮像部における前記受光部の受光面での前記第１の反射光パターンが存在する範囲を除くように、特徴量の検出候補となる要素を限定することで、前記第１のアルゴリズムよりも、検出条件の数が低減された第２のアルゴリズムを用いた第２の学習モデルを選択する、
請求項１に記載の生体部位検出装置。
【請求項4】
前記学習モデル選択部は、
前記反射光パターンが検出され、検出された反射光パターンが前記撮像光以外の外光の反射に基づく第２の反射光パターンであり、前記生体の部位の検出に失敗する場合、あるいは、失敗する可能性が高いと判断される場合には、
前記検出対象である生体の部位の周辺に位置する周辺部位について、骨格検出による周辺部位の検出を実施すると共に、
検出された周辺部位と、前記検出対象である生体の部位との間の少なくとも１つ以上の関係性に基づいて、前記検出対象である生体の部位の、推定による検出を実施する、
請求項１に記載の生体部位検出装置。
前記反射光パターンが検出され、検出された反射光パターンが前記撮像光以外の外光の反射に基づく第２の反射光パターンであり、前記生体の部位の検出に失敗する場合、あるいは、失敗する可能性が高いと判断される場合には、
前記検出対象である生体の部位の周辺に位置する周辺部位について、骨格検出による周辺部位の検出を実施すると共に、
検出された周辺部位と、前記検出対象である生体の部位との間の少なくとも１つ以上の関係性に基づいて、前記検出対象である生体の部位の、推定による検出を実施する、
請求項１に記載の生体部位検出装置。
【請求項5】
前記生体部位検出部による検出結果の出力の可否を判定する機能を有する結果出力部を有する、
請求項１に記載の生体部位検出装置。
請求項１に記載の生体部位検出装置。
【請求項6】
前記反射光パターン抽出部は、
前記撮像部における前記受光部から得られる撮像画像について、画素値が飽和して階調性が失われた、所定形状の画像領域を抽出する、
請求項１に記載の生体部位検出装置。
前記撮像部における前記受光部から得られる撮像画像について、画素値が飽和して階調性が失われた、所定形状の画像領域を抽出する、
請求項１に記載の生体部位検出装置。
【請求項7】
前記記憶部は、
前記反射光パターンの検出に用いられる複数の学習モデル、及び各学習モデルに対応した学習データを記憶する反射光パターン記憶部を有し、
前記反射光パターン検出部は、
前記反射光パターン記憶部における前記複数の学習モデルの中から、反射光パターンの種類に対応する学習モデルを選択し、かつ、選択された学習モデルに対応する学習データを選択し、選択された学習モデル、及び学習データに基づいて、反射光パターンの検出を実施する、
請求項１に記載の生体部位検出装置。
前記反射光パターンの検出に用いられる複数の学習モデル、及び各学習モデルに対応した学習データを記憶する反射光パターン記憶部を有し、
前記反射光パターン検出部は、
前記反射光パターン記憶部における前記複数の学習モデルの中から、反射光パターンの種類に対応する学習モデルを選択し、かつ、選択された学習モデルに対応する学習データを選択し、選択された学習モデル、及び学習データに基づいて、反射光パターンの検出を実施する、
請求項１に記載の生体部位検出装置。
【請求項8】
前記生体部位検出処理部は、
前記撮像部における前記受光部から得られる撮像画像について、画素値ヒストグラムの均等化を実施する均等化処理部を有し、
前記均等化処理部は、
前記反射光パターン検出部の検出結果に応じて、ヒストグラム均等化法（ＨＥ法）、適応ヒストグラム均等化法（ＡＨＥ法）、及び、コントラスト制限適応ヒストグラム均等化法（ＣＬＡＨＥ法）の中から１つを選択して均等化処理を実施し、
前記生体部位検出部は、均等化処理後の画像データに基づいて、前記生体の部位の検出を実施する、
請求項１に記載の生体部位検出装置。
前記撮像部における前記受光部から得られる撮像画像について、画素値ヒストグラムの均等化を実施する均等化処理部を有し、
前記均等化処理部は、
前記反射光パターン検出部の検出結果に応じて、ヒストグラム均等化法（ＨＥ法）、適応ヒストグラム均等化法（ＡＨＥ法）、及び、コントラスト制限適応ヒストグラム均等化法（ＣＬＡＨＥ法）の中から１つを選択して均等化処理を実施し、
前記生体部位検出部は、均等化処理後の画像データに基づいて、前記生体の部位の検出を実施する、
請求項１に記載の生体部位検出装置。
【請求項9】
撮像画像に基づいて生体の部位を検出する生体部位検出方法であって、
検出対象である前記生体の部位からの撮像光の反射光を受光する撮像ステップと、
前記撮像ステップにより取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理ステップと、
を含み、
前記生体部位検出処理ステップは、
前記撮像画像に基づいて、特定の反射光パターンを抽出する反射光パターン抽出ステップと、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出ステップと、
前記反射光パターン検出ステップによる反射光パターンの検出結果に基づいて、判定された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択ステップと、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出ステップと、
を含む、生体部位検出方法。
検出対象である前記生体の部位からの撮像光の反射光を受光する撮像ステップと、
前記撮像ステップにより取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理ステップと、
を含み、
前記生体部位検出処理ステップは、
前記撮像画像に基づいて、特定の反射光パターンを抽出する反射光パターン抽出ステップと、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出ステップと、
前記反射光パターン検出ステップによる反射光パターンの検出結果に基づいて、判定された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択ステップと、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出ステップと、
を含む、生体部位検出方法。
【請求項10】
請求項９に記載の生体部位検出方法をコンピュータに実行させるプログラム。
【請求項11】
車両に設けられた、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して画像を表示する画像表示装置と、
前記反射透光部材を経由して撮像光を前記乗員の部位に照射し、前記部位からの反射光を、前記反射透光部材を経由して受光することで前記部位を撮像し、撮像画像に基づいて、生体の部位としての、前記乗員の目、口、鼻、耳の少なくとも１つ、あるいは、目、口、鼻、耳の少なくとも１つを含む顔全体の領域、を検出する請求項１乃至８の何れか１項に記載の生体部位検出装置と、
を有する車載表示装置。
前記反射透光部材を経由して撮像光を前記乗員の部位に照射し、前記部位からの反射光を、前記反射透光部材を経由して受光することで前記部位を撮像し、撮像画像に基づいて、生体の部位としての、前記乗員の目、口、鼻、耳の少なくとも１つ、あるいは、目、口、鼻、耳の少なくとも１つを含む顔全体の領域、を検出する請求項１乃至８の何れか１項に記載の生体部位検出装置と、
を有する車載表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体部位検出装置、生体部位検出方法、プログラム、及び車載表示装置等に関する。
【背景技術】
【0002】
特許文献１には、人体の部位の特徴量を学習した結果である学習モデルを記憶する学習モデル記憶部と、距離画像を取得する距離画像取得部と、距離画像から人物領域を抽出する前方人物抽出部と、人物領域と学習モデルに基づいて人体の部位を検出する人体部位検出部と、を備える人体部位検出システムが示されている。
【0003】
また、特許文献２には、ヘッドアップディスプレイ（ＨＵＤ）装置の利用者に赤外光を照射して利用者を撮像し、その撮像画像に基づいて利用者の目の位置（瞳孔等の位置）を検出する際に、ＨＵＤ装置に太陽光や街灯の光等の強い外光が入射した場合であっても、画像処理によって目の位置の検出を可能とすることが記載されている。
【0004】
また、特許文献３には、自動車のハンドルを握っている運転者の撮像画像に基づいて、骨格検知処理を実施することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明者の検討によって、以下の課題が明らかとなった。
（１）車両の乗員（運転者等）の、例えば顔検出を実施する場合において、乗員の顔の一部が、眼鏡やサングラス、マスク等の装着物によって覆われている場合、撮像光である赤外光がその装着物で反射し、これに起因して撮像画像に不要な反射パターンが生じる場合がある。不要な反射パターンが生じると、顔検出等に必要な特徴量の検出精度が低下する。
（２）また、上記特許文献２に記載される、太陽光や街灯光等が撮像部に直接的に入射される問題は、例えばＨＵＤ装置の窓部にフィルタを設けて外光を遮断することで対策できる。
但し、この場合であっても、太陽光や街灯光がウインドシールドで反射して、その反射光が、例えばＨＵＤ装置の内部の撮像部に入射すること、言い換えれば、外光が撮像部の赤外線カメラ等に間接的に入射する場合がある。この場合においても、撮像画像に、外光による反射パターンが生じる。
例えば、半導体検出器を使用する場合、半導体検出器は赤外光の波長帯域のみならず、ある程度の可視光の波長帯域にも感度をもつ。よって、太陽光等の強度が強く、また、不要な反射パターンの範囲が撮像面において大きな面積を占める場合には、いわゆる白飛びが広範囲に生じて、特徴量の検出がほとんどできず、顔検出に失敗するという場合も想定され得る。
（１）車両の乗員（運転者等）の、例えば顔検出を実施する場合において、乗員の顔の一部が、眼鏡やサングラス、マスク等の装着物によって覆われている場合、撮像光である赤外光がその装着物で反射し、これに起因して撮像画像に不要な反射パターンが生じる場合がある。不要な反射パターンが生じると、顔検出等に必要な特徴量の検出精度が低下する。
（２）また、上記特許文献２に記載される、太陽光や街灯光等が撮像部に直接的に入射される問題は、例えばＨＵＤ装置の窓部にフィルタを設けて外光を遮断することで対策できる。
但し、この場合であっても、太陽光や街灯光がウインドシールドで反射して、その反射光が、例えばＨＵＤ装置の内部の撮像部に入射すること、言い換えれば、外光が撮像部の赤外線カメラ等に間接的に入射する場合がある。この場合においても、撮像画像に、外光による反射パターンが生じる。
例えば、半導体検出器を使用する場合、半導体検出器は赤外光の波長帯域のみならず、ある程度の可視光の波長帯域にも感度をもつ。よって、太陽光等の強度が強く、また、不要な反射パターンの範囲が撮像面において大きな面積を占める場合には、いわゆる白飛びが広範囲に生じて、特徴量の検出がほとんどできず、顔検出に失敗するという場合も想定され得る。
【0007】
（３）検出精度の低下を抑制する方法としては、例えば、顔を検出する検出器（顔検出器）に加えて、他の評価軸、例えば骨格検出の機能を有する骨格検出器を使用する方法等が考えられる。
しかし、ＨＵＤ装置に使用される、計算資源の乏しい組み込み機器（言い換えれば、車載表示装置等に特化した、限定された構成をもつ機器）においては、種類の異なる複数の検出器を高速度で動かすことは、現実には難しいといった問題がある。
従って、計算資源の乏しい組込み機器においても、高速かつ一定の精度を保証した実用に耐える顔等の検出を可能とする必要がある。
しかし、ＨＵＤ装置に使用される、計算資源の乏しい組み込み機器（言い換えれば、車載表示装置等に特化した、限定された構成をもつ機器）においては、種類の異なる複数の検出器を高速度で動かすことは、現実には難しいといった問題がある。
従って、計算資源の乏しい組込み機器においても、高速かつ一定の精度を保証した実用に耐える顔等の検出を可能とする必要がある。
【0008】
このような新規な課題が、本発明者によって明らかとされた。この課題については、上記の特許文献１～３には記載されておらず、その対策についての記載もない。
【0009】
言い換えれば、特許文献１は、上記（１）～（３）に示した課題については言及されておらず、その対策についての記載もない。
【0010】
また、特許文献２では、太陽光等が直接的にＨＵＤ装置等の内部に入射することを問題としており、太陽光等がウインドシールドで反射して間接的にＨＵＤ装置等の内部に入射するという課題については記載がない。
また、この特許文献２では、反射光パターンが撮像面上で大きく広がり、白飛びが広範に生じて顔等の検出がまったくできない場合等の対策についても記載されていない。
また、この特許文献２では、反射光パターンが撮像面上で大きく広がり、白飛びが広範に生じて顔等の検出がまったくできない場合等の対策についても記載されていない。
【0011】
また、特許文献３は、人体について、赤外光を用いて骨格検出ができる、ということを開示しているのみであり、上記（１）～（３）の課題との関連で、骨格検出をどのように利用できるのかといった点については、何ら記載されていない。
【0012】
本発明の目的の１つは、撮像光である赤外光等の反射による反射パターン、及び、例えば太陽光等がウインドシールド等で反射して生じる反射パターンの双方について、種類の異なる複数の検出器を使用することなく対策可能な生体部位検出装置を提供することである。
【0013】
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【課題を解決するための手段】
【0014】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
第１の態様において、生体部位検出装置は、
撮像画像に基づいて生体の部位を検出する生体部位検出装置であって、
検出対象である前記生体の部位からの撮像光の反射光を受光する受光部を有する撮像部と、
前記撮像部により取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理部と、
を有し、
前記生体部位検出処理部は、
前記撮像画像に基づいて、所定の反射光パターンを抽出する反射光パターン抽出部と、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出部と、
生体の部位の特徴量を学習した結果である学習モデルを複数、記憶する記憶部と、
前記反射光パターン検出部による反射光パターンの検出結果に基づいて、前記記憶部の中から、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択部と、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出部と、
を有する。
第１の態様において、生体部位検出装置は、
撮像画像に基づいて生体の部位を検出する生体部位検出装置であって、
検出対象である前記生体の部位からの撮像光の反射光を受光する受光部を有する撮像部と、
前記撮像部により取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理部と、
を有し、
前記生体部位検出処理部は、
前記撮像画像に基づいて、所定の反射光パターンを抽出する反射光パターン抽出部と、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出部と、
生体の部位の特徴量を学習した結果である学習モデルを複数、記憶する記憶部と、
前記反射光パターン検出部による反射光パターンの検出結果に基づいて、前記記憶部の中から、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択部と、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出部と、
を有する。
【0015】
第１の態様では、例えば、特定の反射光パターンを予め抽出し、その種類と位置等を検出し、例えば、検出された反射光パターンに影響を受けにくい学習モデル、言い換えれば、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いて作成された学習モデルを選択して、生体の部位、例えば、人体の顔を検出する。
【0016】
ここで、「顔」は広義に解釈することができ、「顔の全体領域」の他、顔の構成要素である「左目」、「右目」、「鼻」、「左耳」、「右耳」等の各々の検出も顔検出とみなすことができる。
【0017】
本態様によれば、例えば、車載用の組込みシステム等で使用される、所定の用途に特化されて機能が限定されているＳｏＣ(システムオンチップ）を用いた場合でも、リアルタイム性を確保しつつ、状況に応じて最適な検出アルゴリズムを使用して、生体の部位の検出を行うことができる。
【0018】
言い換えれば、生体部位検出装置（生体部位検出システム）の構築にかかるコスト、及び検出処理に伴う装置の負荷を抑制しつつ、反射パターンが存在する環境下においても、撮像画像に基づく生体の部位、例えば、人体の顔の検出精度を向上させることができる。
【0019】
第１の態様に従属する第２の態様において、
前記生体部位検出装置は、
車両に設けられ、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して画像を表示する反射型の車載表示装置内の、前記反射透光部材を通過して直接的に到来する外光が遮蔽される位置に設けられていてもよい。
前記生体部位検出装置は、
車両に設けられ、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して画像を表示する反射型の車載表示装置内の、前記反射透光部材を通過して直接的に到来する外光が遮蔽される位置に設けられていてもよい。
【0020】
第２の態様によれば、例えば、車載表示装置の窓部にフィルタを設けて外光が直接的に車載装置内に入射できないようにし、生体部位検出装置を、その車載表示装置内の、直接的に入射する外光が遮蔽された位置（遮蔽された空間あるいは領域）に設けることができる。
【0021】
これにより、ウインドシールド等の反射透光部材で反射して車載表示装置内に間接的に入射する外光に対する対策に専念することができる。よって、外光（外乱光）の対策に要する装置の負担が軽減される。
【0022】
第１、又は第２の態様に従属する第３の態様において、
前記学習モデル選択部は、
前記反射光パターンが検出されない場合には、通常の検出に用いられる第１のアルゴリズムを用いた第１の学習モデルを選択し、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記第１のアルゴリズムよりも、検出条件の数が低減されている第２のアルゴリズムを用いた第２の学習モデルを選択する、
又は、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記撮像部における前記受光部の受光面での前記第１の反射光パターンが存在する範囲を除くように、特徴量の検出候補となる要素を限定することで、前記第１のアルゴリズムよりも、検出条件の数が低減された第２のアルゴリズムを用いた第２の学習モデルを選択してもよい。
前記学習モデル選択部は、
前記反射光パターンが検出されない場合には、通常の検出に用いられる第１のアルゴリズムを用いた第１の学習モデルを選択し、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記第１のアルゴリズムよりも、検出条件の数が低減されている第２のアルゴリズムを用いた第２の学習モデルを選択する、
又は、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記撮像部における前記受光部の受光面での前記第１の反射光パターンが存在する範囲を除くように、特徴量の検出候補となる要素を限定することで、前記第１のアルゴリズムよりも、検出条件の数が低減された第２のアルゴリズムを用いた第２の学習モデルを選択してもよい。
【0023】
第３の態様によれば、生体の部位の検出の際の条件の数を、反射光パターンの有無、反射光パターンの種類や位置（範囲）等に応じて変化させる。
【0024】
例えば、反射光パターンが存在する場合には、条件数を切り替えて、通常のアルゴリズムにおける条件数よりも条件数を減少させる。例えば、反射光パターンの影響を受けにくい要素に絞り込んで特徴量を検出することもできる。これにより、検出精度を向上させることができる。
【0025】
第１乃至第３の何れか１つの態様に従属する第４の態様において、
前記学習モデル選択部は、
前記反射光パターンが検出され、検出された反射光パターンが前記撮像光以外の外光の反射に基づく第２の反射光パターンであり、前記生体の部位の検出に失敗する場合、あるいは、失敗する可能性が高いと判断される場合には、
前記検出対象である生体の部位の周辺に位置する周辺部位について、骨格検出による周辺部位の検出を実施すると共に、
検出された周辺部位と、前記検出対象である生体の部位との間の少なくとも１つ以上の関係性に基づいて、前記検出対象である生体の部位の、推定による検出を実施してもよい。
前記学習モデル選択部は、
前記反射光パターンが検出され、検出された反射光パターンが前記撮像光以外の外光の反射に基づく第２の反射光パターンであり、前記生体の部位の検出に失敗する場合、あるいは、失敗する可能性が高いと判断される場合には、
前記検出対象である生体の部位の周辺に位置する周辺部位について、骨格検出による周辺部位の検出を実施すると共に、
検出された周辺部位と、前記検出対象である生体の部位との間の少なくとも１つ以上の関係性に基づいて、前記検出対象である生体の部位の、推定による検出を実施してもよい。
【0026】
第４の態様によれば、例えば、検出対象である生体の部位自体の特徴量による検出ができないような場合であっても、検出対象の周辺部位について、骨格検出による特徴量で検出を行った上で、各部位の相対的な関係性等に基づいて、検出対象である生体の部位を推定して検出することが可能である。
【0027】
これによって、まったく検出ができない、という事態が抑制され、有用な検出情報を取得できる可能性を高めることができる。
【0028】
また、検出対象である生体の部位自体の特徴量が不完全ではあるが取得できた場合には、その取得できた特徴量を用いた推定処理を実施して、対象物の検出精度を高めることもできる。
【0029】
第１乃至第４の何れか１つの態様に従属する第５の態様において、
前記生体部位検出部による検出結果の出力の可否を判定する機能を有する結果出力部を有してもよい。
前記生体部位検出部による検出結果の出力の可否を判定する機能を有する結果出力部を有してもよい。
【0030】
第５の態様では、上記の第１乃至第４の何れかの態様の検出を実施する場合、特に、上記の第４の態様で示した推定検出を実施する場合において、例えば、検出結果が出力するに足る信頼性を有さないと判断される場合等には、検出結果の出力が禁止される。
【0031】
例えば、画像上の座標とサイズとの関係が所定の条件を満たさない対象は、検出の対象から除外してもよい。例えば、ＨＵＤ装置に取り付けられた撮像手段により撮影を行った際に、検出対象である顔のサイズの撮像画像中での範囲は、ある程度、予測することができる。よって、予測される範囲より小さい場合、あるいは、予測される範囲よりも大きい場合は、検出対象の候補から除外することができる。従って、誤った検出結果の出力を抑制することができる。
【0032】
第１乃至第５の何れか１つの態様に従属する第６の態様において、
前記反射光パターン抽出部は、
前記撮像部における前記受光部から得られる撮像画像について、画素値が飽和して階調性が失われた、所定形状の画像領域を抽出してもよい。
前記反射光パターン抽出部は、
前記撮像部における前記受光部から得られる撮像画像について、画素値が飽和して階調性が失われた、所定形状の画像領域を抽出してもよい。
【0033】
第６の態様によれば、例えば、太陽光の反射光パターンは、撮像画像において、画素値２５５(２５階調のグレースケール画像の場合、白飛びするため階調値は２５５となる)の画素が、略円形に分布するようなパターンとなる可能性が高い。
【0034】
よって、受光部から得られる撮像画像について、画素値が飽和して階調性が失われた、所定形状の画像領域を抽出することで、所定の反射光パターンを特定可能である。
【0035】
第１乃至第６の何れか１つの態様に従属する第７の態様において、
前記記憶部は、
前記反射光パターンの検出に用いられる複数の学習モデル、及び各学習モデルに対応した学習データを記憶する反射光パターン記憶部を有し、
前記反射光パターン検出部は、
前記反射光パターン記憶部における前記複数の学習モデルの中から、反射光パターンの種類に対応する学習モデルを選択し、かつ、選択された学習モデルに対応する学習データを選択し、選択された学習モデル、及び学習データに基づいて、反射光パターンの検出を実施してもよい。
前記記憶部は、
前記反射光パターンの検出に用いられる複数の学習モデル、及び各学習モデルに対応した学習データを記憶する反射光パターン記憶部を有し、
前記反射光パターン検出部は、
前記反射光パターン記憶部における前記複数の学習モデルの中から、反射光パターンの種類に対応する学習モデルを選択し、かつ、選択された学習モデルに対応する学習データを選択し、選択された学習モデル、及び学習データに基づいて、反射光パターンの検出を実施してもよい。
【0036】
第７の態様では、反射光パターンの種類に対応する学習モデルを選択して対象物の検出を実施する。言い換えれば、検出アルゴリズム（必要に応じて、併せて使用する学習済みデータも含む）を適宜変更することにより、例えば、太陽のウインドシールドへの映り込みに起因する反射光を含む画像、若しくは、撮像光である赤外光の眼鏡等での反射光を含む画像の各々に対して、頑強な検出器を提供することができる。
【0037】
例えば、太陽光の反射光による妨害をより多く学習した学習モデル及び学習データを用いることで、太陽光に強い検出装置を得ることができる。また、赤外光の眼鏡への反射光による妨害をより多く学習した学習モデル及び学習データを用いることで、眼鏡等での撮像光の反射に強い検出装置を得ることができる。
【0038】
第１乃至第７の何れか１つの態様に従属する第８の態様において、
前記生体部位検出処理部は、
前記撮像部における前記受光部から得られる撮像画像について、画素値ヒストグラムの均等化を実施する均等化処理部を有し、
前記均等化処理部は、
前記反射光パターン検出部の検出結果に応じて、ヒストグラム均等化法（ＨＥ法）、適応ヒストグラム均等化法（ＡＨＥ法）、及び、コントラスト制限適応ヒストグラム均等化法（ＣＬＡＨＥ法）の中から１つを選択して均等化処理を実施し、
前記生体部位検出部は、均等化処理後の画像データに基づいて、前記生体の部位の検出を実施してもよい。
前記生体部位検出処理部は、
前記撮像部における前記受光部から得られる撮像画像について、画素値ヒストグラムの均等化を実施する均等化処理部を有し、
前記均等化処理部は、
前記反射光パターン検出部の検出結果に応じて、ヒストグラム均等化法（ＨＥ法）、適応ヒストグラム均等化法（ＡＨＥ法）、及び、コントラスト制限適応ヒストグラム均等化法（ＣＬＡＨＥ法）の中から１つを選択して均等化処理を実施し、
前記生体部位検出部は、均等化処理後の画像データに基づいて、前記生体の部位の検出を実施してもよい。
【0039】
第８の態様では、反射光パターン検出部の検出結果に応じて、撮像画像に施す画素値ヒストグラム均等化処理の種類を選択する。例えば、画素値の分布が偏った低コントラストの画像に対して均等化処理を施すと、コントラストが高くなり、その画像の輪郭が明瞭になるといった効果がある。よって、検出対象の識別性を高めるためには、均等化処理が有効である。
【0040】
但し、通常の均等化処理は、画像全体に作用するため、外光の反射光が映り込んだ画像のように、画像内に著しく輝度が高い画素が多く含まれる場合には、画像の全体にわたって画素値が高い方に偏り、全体的に白飛びした画像、あるいは白飛びした画像に近い画像になる場合がある。
【0041】
そこで、本態様では、外光がある場合は、画像を、例えば「タイル」と称される小さな領域に区分して、各タイル毎に均等化処理を実施する適応ヒストグラム均等化法（ＡＨＥ法）、あるいは、各タイル毎にコントラストに制限をかけつつ均等化を行うコントラスト制限適応ヒストグラム均等化法（ＣＬＡＨＥ法）を採用する。
【0042】
これにより、タイルという小領域毎に均等化を実施することができ、外光の影響が、一律に画像全体に波及することを抑制することができるため、対象物の識別性が向上する。
【0043】
例えば、太陽光の反射パターンが存在する場合、ＣＬＡＨＥ法（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）を採用することで、画像全体でなく、局所的にコントラスト制限を付けた均等化処理を施すことができる。これにより、白飛びを抑制でき、よって、画像内での対象物の輪郭等を明瞭化できる。
【0044】
本態様では、入力された画像内に含まれる反射光パターンの検出結果に応じて、各種の画素の均等化処理法を使い分けすることによって、外光の存在を考慮した最適な均等化処理を実施することが可能である。
【0045】
第９の態様において、生体部位検出方法は、
撮像画像に基づいて生体の部位を検出する生体部位検出方法であって、
検出対象である前記生体の部位からの撮像光の反射光を受光する撮像ステップと、
前記撮像ステップにより取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理ステップと、
を含み、
前記生体部位検出処理ステップは、
前記撮像画像に基づいて、特定の反射光パターンを抽出する反射光パターン抽出ステップと、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出ステップと、
前記反射光パターン検出ステップによる反射光パターンの検出結果に基づいて、判定された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択ステップと、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出ステップと、
を含む。
撮像画像に基づいて生体の部位を検出する生体部位検出方法であって、
検出対象である前記生体の部位からの撮像光の反射光を受光する撮像ステップと、
前記撮像ステップにより取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理ステップと、
を含み、
前記生体部位検出処理ステップは、
前記撮像画像に基づいて、特定の反射光パターンを抽出する反射光パターン抽出ステップと、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出ステップと、
前記反射光パターン検出ステップによる反射光パターンの検出結果に基づいて、判定された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択ステップと、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出ステップと、
を含む。
【0046】
第９の態様によれば、生体部位検出装置（生体部位検出システム）の構築にかかるコスト、及び、検出処理に伴う装置の負荷を抑制しつつ、撮像画像に基づく生体の部位、例えば、人体の顔の検出精度を向上させることができる。
【0047】
第１０の態様において、プログラムは、
第９の態様の生体部位検出方法をコンピュータに実行させる。
第９の態様の生体部位検出方法をコンピュータに実行させる。
【0048】
第１０の態様によれば、ソフトプログラムによってコンピュータを制御することで、第９の態様に示した各ステップを容易に実行させることができる。
【0049】
第１１の態様において、車載表示装置は、
車両に設けられた、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して画像を表示する画像表示装置と、
前記反射透光部材を経由して撮像光を前記乗員の部位に照射し、前記部位からの反射光を、前記反射透光部材を経由して受光することで前記部位を撮像し、撮像画像に基づいて、生体の部位としての、前記乗員の目、口、鼻、耳の少なくとも１つ、あるいは、目、口、鼻、耳の少なくとも１つを含む顔全体の領域、を検出する、第１乃至第８の何れか１つの態様の生体部位検出装置と、
を有する。
車両に設けられた、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して画像を表示する画像表示装置と、
前記反射透光部材を経由して撮像光を前記乗員の部位に照射し、前記部位からの反射光を、前記反射透光部材を経由して受光することで前記部位を撮像し、撮像画像に基づいて、生体の部位としての、前記乗員の目、口、鼻、耳の少なくとも１つ、あるいは、目、口、鼻、耳の少なくとも１つを含む顔全体の領域、を検出する、第１乃至第８の何れか１つの態様の生体部位検出装置と、
を有する。
【0050】
第１１の態様によれば、低コストであり、検出に際しての装置の負荷が低減され、小型化や低消費電力化も可能で、実用に足る生体の部位検出精度を有する生体部位検出装置を搭載した車載表示装置を実現することができる。これにより、例えば，ＨＵＤ装置の多機能化、高機能化を実現することができる。
【0051】
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
【図面の簡単な説明】
【0052】
【発明を実施するための形態】
【0053】
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【0054】
（第１の実施形態）
図１は、赤外光を用いた生体部位検出装置を備える車載表示装置（ここではＨＵＤ装置）の構成の一例を示す図である。
図１は、赤外光を用いた生体部位検出装置を備える車載表示装置（ここではＨＵＤ装置）の構成の一例を示す図である。
【0055】
図１のＡ－１に示されるように、ヘッドアップディスプレイ（ＨＵＤ）装置１００は、車両１に設けられた、光の反射性と透過性を併せ持つ反射透光部材としてのウインドシールド２に画像の表示光Ｌ１を照射して、車両１の乗員（ここではステアリングホイール８を操作して車両１を運転している運転者とする）５に対して、虚像表示面ＰＳ上に虚像Ｖを表示する機能を有する。
【0056】
また、このＨＵＤ装置１００は、ウインドシールド２を経由して撮像光Ｌ２を乗員（運転者）５の部位（例えば、目７を含む顔１１）に照射し、その部位からの反射光Ｌ３を、ウインドシールド２を経由して受光することで、生体の部位（ここでは人体の目７や顔１１等）を撮像する機能も有する。
【0057】
なお、例えば顔１１を観察することで、運転者５の現在の状態（通常の集中力がある状態、疲労している状態、居眠りをしている状態等）を推定することが可能となる。
【0058】
車載表示装置としてのＨＵＤ装置１００は、ウインドシールド２の近傍のインストルメントパネル４に収納されている。
【0059】
ＨＵＤ装置１００は、筐体１１６と、筐体に設けられる透光カバー１１２と、筐体内に設けられ、画像を表示する表示部１０２（液晶表示装置等の表示パネル１０４を備える）と、筐体内に設けられ、透光カバー１１２を経由して反射透光部材としてのウインドシールド２に向けて表示光Ｌ１を照射する光学素子（凹面鏡等の曲面ミラー１０８）を含む光学系（平面ミラー１０６も含む）と、筐体内の、画像の表示光Ｌ１の経路外に設けられると共に、撮像光Ｌ２を、透光カバー１１２を介してウインドシールド２に向けて出射する発光部（例えば赤外線ＬＥＤ、図１では不図示、図２の符号２１１）と、ウインドシールド２を経由して到来する撮像光の反射光Ｌ３を受光する撮像部（例えば赤外線カメラ、図１では不図示、図２における符号２１２）と、を有する撮像部（撮像ユニット：図１では不図示、図２の符号２１０）を有する生体部位検出装置（例えば目を含む顔検出装置）２００を有する。
【0060】
ここで、人体の「顔」については広義に解釈することができ、「顔の全体領域」の他、顔の構成要素である「左目」、「右目」、「鼻」、「左耳」、「右耳」等の各々の検出も顔検出とみなすことができる。
【0061】
また、図１のＡ－１において、表示光Ｌ１は可視光であり、撮像光Ｌ２（及び、人の部位で反射して撮像部１１０に戻る、撮像光の反射光Ｌ３）は赤外光（具体的には近赤外光）である。但し、これは一例であり、他の波長域の光を用いることもできる。
【0062】
また、ＨＵＤ装置１００は、透光カバー１１２の下側に設けられる、赤外光を透過し、可視光を遮断するフィルタ部１１４を有する。
【0063】
このフィルタ部１１４は、外光が撮像部１１０に入射するのを防止したり、あるいは、人が透光カバー１１２を介して撮像部１１０を目視することを防止したりする機能を有する。
【0064】
フィルタ部１１４としては、例えば可視光を吸収し、赤外光を透過する材料からなる多層のロングパスフィルタ（具体的には、透光カバー１１２の裏面に貼付されるＩＲフィルタ等）を用いることができる。
【0065】
図１のＡ－２に示されるように、透光カバー１１２の領域は、表示光（可視光）が通過する表示光通過領域（第１の領域と称する場合がある）Ｚ１０と、赤外光を透過し、可視光を遮断するフィルタ部領域（フィルタ部１１４に対応する領域。第２の領域と称する場合がある）Ｚ２０とに区別することができる。
【0066】
なお、第１の領域Ｚ１０は、「表示光（可視光）透過領域」と称することもできる。また、第２の領域Ｚ２０は、「赤外光透過領域」と称することもできる。
【0067】
なお、図１のＡ－２では、各領域Ｚ１０とＺ２０が、車両１の前後方向（Ｚ方向）に沿って配置されるように描かれているが、車両１の幅方向（Ｘ方向）に沿って配置される場合もあり得る。
【0068】
次に、生体部位検出装置（顔検出装置等）２００による対象物の測定に悪影響を与える反射パターンについて説明する。
【0069】
図１のＡ－１では、撮像光である赤外光の光線Ｌ２、Ｌ３に関して、運転者５が装着している眼鏡９（サングラスを含む）で反射ＲＦ１が生じる場合があり、また、ウインドシールド２で反射ＲＦ２が生じる場合がある。
【0070】
このような不要な反射に起因して、撮像部２１０の受光面（撮像面）に不要な反射パターンが生じると、顔検出等に必要な特徴量の検出精度が低下する。
【0071】
また、太陽光や街灯光がウインドシールドで反射して、その反射光が、ＨＵＤ装置１００の内部の撮像部２１０に入射すること、言い換えれば、外光が撮像部２１０の赤外線カメラ等の受光部２１２に間接的に入射する場合がある。この場合も、撮像画像に、外光による不要な反射パターンが生じる。
【0072】
図１のＡ－１には、太陽光の光線Ｌ４、Ｌ５が描かれている。太陽光の光線Ｌ４は、ウインドシールド２を介して、ＨＵＤ装置１００に直接的に到来する光線であるが、この光線Ｌ４は、フィルタ部１１４にて阻止される。
【0073】
言い換えると、図１のＡ－１では、生体部位検出装置２００の少なくとも撮像部２１０は、車両１に設けられ、光の反射性と透過性を併せ持つ反射透光部材（ウインドシールド２）に画像の表示光Ｌ１を照射して、車両１の乗員５に対して画像（虚像ＰＳ）を表示する反射型の車載表示装置（ＨＵＤ装置１００）内の、反射透光部材（ウインドシールド２）を通過して直接的に到来する外光の光線Ｌ４が遮蔽される位置に設けられている。
【0074】
これにより、ウインドシールド２で反射して車載表示装置としてのＨＵＤ装置１００内に間接的に入射する外光の光線Ｌ５に対する対策に専念することができる。よって、本実施形態によれば、外光（外乱光）の対策に要する装置の負担が軽減される。
【0075】
また、間接的に到来する光線Ｌ４は、直接的に到来する光線Ｌ５に比べて入射範囲が限定され、受光面（撮像面）上で反射パターンが生じたとしても、その位置や範囲が限定される可能性が高く、よって、画像処理等で対策することが有効となる。画像処理を用いた対策については後述する。
【0076】
一方、太陽光の光線Ｌ５は、ウインドシールド２で反射ＲＦ３が生じ、その反射光がＨＵＤ装置１００に到来する光線であり、間接的に到来する太陽光の光線ということができる。この光線Ｌ５は、生体部位検出装置（顔検出装置等）２００の撮像部２１０に入射される可能性はある。
【0077】
太陽光や街灯光がウインドシールドで反射して、その反射光が、例えばＨＵＤ装置の内部の撮像部に入射すること、言い換えれば、外光が撮像部の赤外線カメラ等に間接的に入射する場合がある。この場合においても、撮像画像に、外光による不要な反射パターンが生じる。
【0078】
例えば、半導体検出器を使用する場合、半導体検出器は赤外光の波長帯域のみならず、ある程度の可視光の波長帯域にも感度をもつ。よって、太陽光等の強度が強く、また、不要な反射パターンの範囲が撮像面において大きな面積を占める場合には、いわゆる白飛びが広範囲に生じて、特徴量の検出がほとんどできず、顔検出等に失敗するという場合も想定され得る。
【0079】
検出精度の低下を抑制する方法としては、例えば、顔等を検出する検出器（顔検出器）に加えて、他の評価軸、例えば骨格検出の機能を有する骨格検出器を使用する方法等が考えられる。
【0080】
しかし、ＨＵＤ装置１００に使用される、計算資源の乏しい組み込み機器（言い換えれば、車載表示装置等に特化した、限定された構成をもつ機器）においては、種類の異なる複数の検出器を高速度で動かすことは、現実には難しいといった問題がある。
【0081】
従って、計算資源の乏しい組込み機器においても、高速かつ一定の精度を保証した実用に耐える顔等の検出を可能とする必要がある。
【0082】
このように、撮像光である赤外光等の反射による反射パターン、及び、例えば太陽光等がウインドシールド等で反射して生じる反射パターンの双方について、種類の異なる複数の検出器を使用することなく対策可能な生体部位検出装置２００を実現することが望まれる。また、その生体部位検出装置２００は、小型、低コストで、配線量が少なく、低消費電力化も可能というような、車載にも適した特性を有することが好ましい。
【0083】
【0084】
生体部位検出装置（ここでは顔検出装置）２００は、撮像部２１０（発光部（赤外線ＬＥＤ２１１）と、受光部（赤外線カメラ）２１２を有する）と、撮像制御部２２０と、生体部位検出処理部２３０と、記憶部２４０と、を有する。
【0085】
撮像制御部２２０は、例えば、撮像部２１０を、例えばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式にて制御する。言い換えれば、赤外光（ここでは近赤外光）を発光してから、対象物（測定対象である生体の部位（ここでは顔））からの反射光が戻ってくるまでに要する時間を計測し、対象物までの距離を計測する。
この距離データに基づいて、対象物を３Ｄ画像にて検出することもできる。撮像制御部２２０は、撮像部２１０を制御して、例えば、１秒間に１０回～２０回（１０ｆｐｓ～２０ｆｐｓ）程度の測定を行ってもよい。
この距離データに基づいて、対象物を３Ｄ画像にて検出することもできる。撮像制御部２２０は、撮像部２１０を制御して、例えば、１秒間に１０回～２０回（１０ｆｐｓ～２０ｆｐｓ）程度の測定を行ってもよい。
【0086】
生体部位検出処理部２３０は、画像取得部２３１と、反射光パターン抽出部２３２と、反射光パターン検出部２３３と、画素ヒストグラム均等化処理部（言い換えれば、均等化フィルタ処理部）２３４と、機械学習モデル（言い換えれば検出アルゴリズム）選択部２３５と、生体部位検出部（顔検出部）２３６と、結果出力部２３７と、を有する。
【0087】
これらの各部は、ＣＰＵ等のプロセッサ（不図示）がプログラムを実行することで実装されてもよいし、ＡＳＩＣ、ＦＰＧＡ等の専用のロジック回路により実装されてもよい。
【0088】
ここで、プログラムによって各部を構築することは容易であり、処理内容の変形や応用もし易いといった利点がある。また、プログラムをコンピュータが読み取り可能な記憶媒体に格納することで、容易に持ち運ぶことができる。
【0089】
画像取得部２３１は、生体の部位（ここでは顔）を撮像して得られる撮像画像（撮像画像データ）を取得する。撮像画像（入力画像）は、静止画像であってもよいし、動画像であってもよい。
【0090】
反射光パターン抽出部１２２は、比較的高速で軽量なアルゴリズムにより、例えば、画素値が飽和状態であり、かつ所定形状をもつ反射光パターンを抽出する。反射光パターンの抽出に際しては、記憶部２４０の反射光パターン記憶部２４１を適宜、参照することができる。言い換えれば、例えば、反射光パターン記憶部２４１に記憶されている複数の反射光パターの中から１つを選択して使用することができる。
【0091】
反射光パターンの抽出に際しては、具体的には、ＨｏＧ（Ｈｉｓｔｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔ）特徴量、ならびに、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いたアルゴリズムを採用可能である。
【0092】
その他、特徴量として、ＳＩＦＴ特徴量、ＳＵＲＦ特徴量など任意の特徴量、学習手法としては、ｂｏｏｓｔｉｎｇ手法や、ニューラルネットワーク、決定木学習などの任意の学習手法を用いることができる。
【0093】
反射光パターン検出部２３３は、反射光パターン抽出部２３２によって検出された反射光パターンの、少なくとも位置（範囲）および種類を判定する。
【0094】
画素ヒストグラム均等化処理部２３４は、検出された反射光パターンの種類に応じて、画像全体に対して使用する画素ヒストグラム均等化フィルタの選択を行う。この際、記憶部２４０の画素ヒストグラム均等化フィルタ記憶部２４２を適宜、参照してもよい。
言い換えれば、例えば、画素ヒストグラム均等化フィルタ記憶部２４２に記憶されている複数のフィルタの中から１つを選択して、画像均等化処理を実施してもよい。
言い換えれば、例えば、画素ヒストグラム均等化フィルタ記憶部２４２に記憶されている複数のフィルタの中から１つを選択して、画像均等化処理を実施してもよい。
【0095】
具体的には、画面全体の画素を対象として均等化処理を施す一般的な画素値ヒストグラムの均等化を採用することができ、また、例えば、局所的にコントラスト制限を付けた均等化処理であるＣＬＡＨＥといった手法を用いることができる。
【0096】
機械学習モデル（言い換えれば検出アルゴリズム）選択部２３５では、反射光パターン検出部２３３で検出され、分類された反射光パターンの位置及び種類に応じて、使用する学習モデルおよび学習データの選択を行う。
この際、記憶部２４０の機械学習モデル記憶部２４３に記憶されている各種の学習モデルを、適宜、参照することができる。
この際、記憶部２４０の機械学習モデル記憶部２４３に記憶されている各種の学習モデルを、適宜、参照することができる。
【0097】
ここで、アルゴリズムと、学習モデルとの関係について説明する。アルゴリズムは、「コンピュータが計算を行う際の手順や処理方法」を記述したソフトウエアである。
【0098】
また、モデル（学習モデル、あるいはＡＩモデル）は、例えば、与えた教師データから上記のアルゴリズムに基づいて作られる「処理手順や処理方法の体系」ということができる。なお、この定義は一例であり、この解釈に限定されるものではない。
【0099】
生体部位検出部（顔検出部）２３６は、モデル選択部１２５で選択された学習モデルを、記憶部２４０における機械学習モデル記憶部１３１から呼び出して使用し、生体の部位（ここでは人体の顔）の検出を実施する。
【0100】
使用する学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）と呼ばれる多層ニューラルネットワークを用いて学習した識別器、あるいは、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、もしくは、任意の手法による検出器を使用することができる。
【0101】
なお、生体部位検出部（ここでは顔検出部）２３６によって顔が存在すると推定される領域を、以下の説明では、「顔候補領域」と称する場合がある。
【0102】
結果出力部２３７は顔候補領域について検出結果を出力する。
結果出力部２３７は、検出結果の信頼度、あるいは、検出宇された顔候補領域（ここでは矩形領域とする）のサイズが第１の閾値以上であるか、あるいは、第２の閾値以下であるか等を判定し、その閾値判定の結果に応じて、検出結果を出力するか判断を行う。
結果出力部２３７は、検出結果の信頼度、あるいは、検出宇された顔候補領域（ここでは矩形領域とする）のサイズが第１の閾値以上であるか、あるいは、第２の閾値以下であるか等を判定し、その閾値判定の結果に応じて、検出結果を出力するか判断を行う。
【0103】
このように、検出結果が出力するに足る信頼性を有さないと判断される場合等には、検出結果の出力が禁止される。
例えば、画像上の座標とサイズとの関係が所定の条件を満たさない対象は、検出の対象から除外してもよい。例えば、ＨＵＤ装置１００に取り付けられた撮像部２１０により撮影を行った際に、検出対象である顔のサイズの撮像画像中での範囲は、ある程度、予測がつく。よって、予測される範囲の許容される最大サイズよりも大きい場合、あるいは、予測される範囲の許容される最小範囲よりも小さい場合は、検出対象の候補から除外することができる。従って、誤った検出結果の出力を抑制することができる。
例えば、画像上の座標とサイズとの関係が所定の条件を満たさない対象は、検出の対象から除外してもよい。例えば、ＨＵＤ装置１００に取り付けられた撮像部２１０により撮影を行った際に、検出対象である顔のサイズの撮像画像中での範囲は、ある程度、予測がつく。よって、予測される範囲の許容される最大サイズよりも大きい場合、あるいは、予測される範囲の許容される最小範囲よりも小さい場合は、検出対象の候補から除外することができる。従って、誤った検出結果の出力を抑制することができる。
【0104】
なお、結果出力部２３７は、検出結果の情報を、どのような態様で出力してもよい。例えば、検出結果情報を画面に表示してもよく、他のモジュールや装置に通知してもよい。
【0105】
また、記憶部２４０は、反射光パターン記憶部２４１と、画素ヒストグラム均等化フィルタ記憶部２４２と、機械学習モデル記憶部２４３を有する。
【0106】
反射光パターン記憶部２４１には、反射光パターン検出部２３３で使用される反射光パターンのモデルが格納されている。
【0107】
画素ヒストグラム均等化フィルタ記憶部２４２では、画素ヒストグラム均等化処理部２３４で使用されるフィルタの処理内容を記述した、複数のプログラムが格納されている。
【0108】
機械学習モデル記憶部（学習モデル記憶部）２４３には、生体部位検出部（顔検出部）２３６で使用され得る複数の学習モデルが格納されている。
【0109】
【0110】
まず、ステップＳ１では、画像取得部２３１が、撮像により得られた画像データ（例えば動画像データ）の内から、処理対象となるフレーム画像を抽出して取得する。
【0111】
ステップＳ２では、反射光パターン抽出部２３２が、特定の画素分布をもつ領域を抽出する。続いて、ステップＳ３では、反射光パターン検出部２３３が、反射光パターン記憶部２４１に保存されている反射光パターンを参照して反射光の種類と位置（範囲）を判断する。
【0112】
ステップＳ４では、画素ヒストグラム均等化処理部（画像均等化処理部）２３４が、検出された反射光（反射光パターン）の種類に応じて、画像に施す画素均等化処理に使用するフィルタ（均等化フィルタ）を選択し、そのフィルタ（均等化フィルタ）を用いた画像均等化処理を実施する。
【0113】
ステップＳ５では、画像内の所定位置に第１の反射パターンが有るか否かが判定される。この判定は、反射光パターン検出部２３３によって実施される。
【0114】
ステップＳ５にてＹのときは、ステップＳ６にて、第１の学習モデル（言い換えれば、第１の検出アルゴリズム）と、第１の学習モデルで使用された学習データを取得する。この動作は、機械学習モデル（検出アルゴリズム）選択部２３５が実施する。
【0115】
一方、ステップＳ５でＮのときは、ステップＳ７で、画像内の所定位置に第２の反射パターンが有るか否かが判定される。Ｙのときは、ステップＳ８で、第２の学習モデルと、第２の学習モデルで使用された学習データを取得される。
【0116】
ステップＳ７にてＮのときは、ステップＳ９において、第２の学習モデルで使用された学習データが取得される。
【0117】
ステップＳ１０では、選択された学習モデルおよび学習データを用いて、生体部位検出部２３６が、生体の部位（ここでは乗員５の顔）の検出を実施する。
【0118】
ステップＳ１１では、検出結果が所定条件を満たすか否かの判定を実施する。Ｙのときは、ステップＳ１２にて、検出結果が出力される。Ｎのときは、ステップＳ１３にて、検出結果の出力が禁止される。
【0119】
【0120】
図４のＡ－１において、被写体である乗員（人）５は、眼鏡９を装着している。また、ここでは、乗員（人）５の少なくとも首及び肩部を含む上半身を撮像するものとする。
【0121】
撮像画像の撮像領域Ｚ０において、第１、第２、及び第３の領域Ｚ１～Ｚ３が設けられている。
第１の領域Ｚ１は、一般的な人の顔の存在領域に相当する。第２の領域Ｚ２は、一般的な人の顔における、両目の位置（両目が位置する範囲）に相当する。第３の領域Ｚ３は、一般的な人の首及び肩部に相当する。
第１の領域Ｚ１は、一般的な人の顔の存在領域に相当する。第２の領域Ｚ２は、一般的な人の顔における、両目の位置（両目が位置する範囲）に相当する。第３の領域Ｚ３は、一般的な人の首及び肩部に相当する。
【0122】
図４のＡ－２では、第２の領域Ｚ２内の一部（乗員５の右目に相当する位置）において局所的な反射Ｒ１が生じている。これは、撮像光（赤外光）の眼鏡９の表面での反射に起因する典型的な反射パターンの１つと考えられる。
【0123】
一方、図４のＡ－３では、第１の領域Ｚ２の、かなり広い範囲にわたって、強い反射Ｒ２が生じている。これは、太陽光等の外光による反射パターンの典型的な例の１つと考えられる。
【0124】
図４のＡ－４には、先に図２にて説明した構成の一部が抜粋されて示されている。言い換えれば、図４のＡ－４には、画像取得部２３１と、反射光パターン抽出部２３２と、反射光パターン検出部２３３と、記憶部２４０と、反射光パターン記憶部２４１と、が示されている。
【0125】
反射光パターン抽出部２３２は、撮像部２１０における受光部２１２から得られる撮像画像について、画素値が飽和して階調性が失われた、所定形状の画像領域を抽出する。
【0126】
例えば、太陽光の反射光パターンは、撮像画像において、画素値２５５(２５階調のグレースケール画像の場合、白飛びするため階調値は２５５となる)の画素が、略円形に分布するようなパターンとなる可能性が高い。
【0127】
よって、受光部２１２から得られる撮像画像について、画素値が飽和して階調性が失われた、所定形状の画像領域を抽出することで、所定の反射光パターンを特定可能である。
【0128】
また、反射光パターン検出部２３３は、反射光パターン抽出部２３２が抽出した反射光パターンに基づいて、少なくとも、その位置（範囲）及び反射光の種類を検出する。
【0129】
反射光パターン検出部２３３は、反射光パターン記憶部２４１における複数の学習モデルの中から、反射光パターンの種類に対応する学習モデルを選択し、かつ、選択された学習モデルに対応する学習データを選択し、選択された学習モデル、及び学習データに基づいて、反射光パターンの検出を実施する。
【0130】
言い換えれば、検出アルゴリズム（必要に応じて、併せて使用する学習済みデータも含む）を適宜変更することにより、例えば、太陽のウインドシールドへの映り込みに起因する反射光を含む画像、若しくは、撮像光である赤外光の眼鏡等での反射光を含む画像の各々に対して、頑強な検出器を提供することができる。
【0131】
例えば、太陽光の反射光による妨害をより多く学習した学習モデル及び学習データを用いることで、太陽光の反射パターンが存在する場合（図４のＡ－３）に使用可能な、太陽光の反射に強い検出装置を得ることができる。
【0132】
また、赤外光の眼鏡への反射光による妨害をより多く学習した学習モデル及び学習データを用いることで、眼鏡等での撮像光の反射が存在する場合（図４のＡ－２）に使用可能な、撮像光（赤外光）の反射に強い検出装置を得ることができる。
【0133】
【0134】
図５のＡ－１では、乗員（人）５は、眼鏡を装着しておらず、また、撮像領域Ｚ０における、検出対象である顔に対応する第１の領域Ｚ１には、反射光パターンは存在しない。
【0135】
この場合には、先に図３のフローチャートのステップＳ９に示したように、第３の学習モデルと学習データが選択される。
【0136】
また、選択された第３の学習モデルで使用される顔検出アルゴリズムは、検出の条件数がｍ（ｍは３以上の自然数）である。また、撮像画像のコントラスト調整のために、ヒストグラム均等化法（ＨＥ法）が使用される。
【0137】
【0138】
この場合、先に図３のフローチャートのステップＳ６に示したように、第１の学習モデルと学習データが選択される。
【0139】
また、選択された第１の学習モデルで使用される顔検出アルゴリズムは、検出の条件数がｎ（ｎは、ｎ＜ｍを満たす自然数）である。例えば、図５のＡ－１では、顔の特徴量として、右耳、右目、鼻、左目、左耳の５つの部位を検出していたとする場合、図５のＡ－２では、第１の反射光パターンＲ１が存在する位置（範囲）にある、あるいは、その位置（範囲）の近傍にあると推定される右耳、右目を検出対象の特徴量から除外して、検出の条件を緩和する、といった措置を採ることができる。この場合は、鼻、左目、左耳が特徴量の検出候補となる。
【0140】
これにより、第１の反射パターンＲ１の影響を比較的受けていないと考えられる特徴量についてのみ検出を行うことができる。よって、検出精度や信頼性の低い特徴量の検出結果に影響されて、顔の検出結果自体の検出精度が低下することが抑制され得る。
【0141】
また、図５のＡ－２では、撮像画像のコントラスト調整のために、適応ヒストグラム均等化法（ＡＨＥ法）が使用され得る。
【0142】
【0143】
この場合、先に図３のフローチャートのステップＳ８に示したように、第２の学習モデルと学習データが選択される。
【0144】
第２の学習モデルでは、顔の周辺に位置する周辺部位（周辺領域）である、首及び肩部Ｚ３の骨格検出が実施される。言い換えれば、骨格検出に基づく顔推定アルゴリズムが使用される。骨格検出による顔の推定による検出の詳細については後述する。
【0145】
また、図５のＡ－３では、撮像画像のコントラスト調整のために、コントラスト制限適応ヒストグラム均等化法（ＣＨＡＨＥ法）が使用され得る。
【0146】
また、図５のＡ－３では、例えば、検出対象の座標位置とサイズに基づく判定の結果、所定条件を満足しない場合は、検出結果の出力を禁止する措置が採られる。これによって、信頼性が低い検出結果が出力されるのを防止することができる。
【0147】
（第３の実施形態）
本実施形態では、骨格検出アルゴリズムを用いた学習モデルを使用した顔の推定による検出について説明する。
本実施形態では、骨格検出アルゴリズムを用いた学習モデルを使用した顔の推定による検出について説明する。
【0148】
【0149】
【0150】
図６のＡ－１のような反射パターンによる広範な妨害が生じる場合、例えば、目、鼻、耳のような顔の構成要素についての特徴量の検出に失敗する、あるいは、失敗する可能性が高いと判断されることがある。
【0151】
そこで、図６のＡ－２では、検出対象である顔の周辺に位置する部位である首及び肩部（首及び肩部の領域）Ｚ３における骨格検出を実施し、骨格検出の結果に基づいて、顔を推定して検出する。
【0152】
近赤外光を用いた生体部位検出装置（距離センサを用いた生体部位の検出システム）では、被写界深度にある程度の幅があることから、目、鼻、耳といった顔の構成要素（顔のパーツ）の検出の他、例えば、首及び肩部Ｚ３における骨格検出も併せて実施することができる。
【0153】
図６のＡ－２では、乗員（人）５の首及び肩部Ｚ３における、首の代表的骨格点（首の代表点）Ｑ２、及び、肩部の代表的骨格点（左右の各肩の代表点）Ｑ１、Ｑ３の各々の、撮像画像Ｚ０上における２次元座標が取得される。
【0154】
骨格点Ｑ１とＱ２の座標から、その間にある鎖骨ＢＮ１の位置を推定することができ、また、骨格点Ｑ２とＱ３の座標から、その間にある鎖骨ＢＮ２の位置を推定することができる。
【0155】
図６のＡ－３では、撮像画像において、首の骨格点Ｑ２を通り、かつ実空間における上下方向（Ｚ方向）に相当する方向に延びる仮想的な直線ＳＲ１を設定する。肩部の幅をＷとするとき、直線ＳＲ１は、その幅Ｗを２等分する線分である。図中、幅Ｗ１は、Ｗ／２である。
【0156】
ここで、上記の直線ＳＲ１を、生体についての正中線（人や動物の前面又は背面の中央を通って縦に延びる直線）とする。また、直線ＳＲ１を面の一部とする場合には、直線ＳＲ１は、３次元の顔領域を２等分する正中矢状面とみることができる。
【0157】
人が直立した姿勢を想定すると、顔領域も、正中線によって２等分されると考えられる。よって、図６のＡ－３では、正中線としての直線ＳＲ１によって２等分される、通常の大きさ（標準的な大きさ）の顔領域ＦＣ１を想定（推定）することができる。
【0158】
但し、上記の顔領域ＦＣ１は誤差を含むため、図６のＡ－４では、ある程度の余裕を設定して、顔領域ＦＣ１を含む矩形の領域５０を設定する。この矩形の領域５０が、図２に示した生体部位検出部（ここでは顔検出部）２３６によって、顔が存在すると推定される領域、言い換えれば「顔候補領域」である。
【0159】
また、顔候補領域５０において、通常の人の目の高さ位置を示す仮想的な直線（正中線ＳＲ１に直交する直線）ＳＲ２を設定する。正中線ＳＲ１と、顔領域における標準的な目の高さ位置を示す直線ＳＲ２との交点に、左目及び右目を統合した、代表的な視点位置（代表的な目の位置）Ｑ４を設定する。
【0160】
顔候補領域５０、及び、視点位置Ｑ４の動き（揺れ等）を観測することで、例えば、人５の状態を推定することができる。
【0161】
【0162】
図７のＡ－１、Ａ－２は、太陽光の反射パターンが存在する点については、図６のＡ－１、Ａ－２と共通する。但し、図７のＡ－１、Ａ－２では、太陽光の反射パターンＲ２’は、図６のＡ－１、Ａ－２における反射パターンＲ２と比べて、やや小さく、このため、例えば、人５の左目や左耳を検出できる可能性がある。
【0163】
図７のＡ－２では、骨格検出による骨格点Ｑ１～Ｑ３に加えて、人５の左目の可能性のある候補点Ｑ５、左耳の可能性のある候補点Ｑ６を検出できたとする。
【0164】
図７のＡ－３では、骨格検出によって検出された骨格点Ｑ１～Ｑ３と、候補点Ｑ５、候補点Ｑ６との相対的な位置関係から、候補点Ｑ５、Ｑ６は、左目と左耳に相当すると推定することができる。
【0165】
そして、その左目、左耳と推定される点Ｑ５、Ｑ６を、正中線（正中線と推定される直線）Ｓ１を中心として、左右方向における反対側に（言い換えれば左側に）折り返すことで、右目と推定される点Ｑ５’、右耳と推定される点Ｑ６’を得ることができる。
【0166】
図７のＡ－４では、左右の耳と推定される点Ｑ６、Ｑ６’を通る標準的大きさの顔領域ＦＣ２を想定（推定）することができる。
【0167】
但し、上記の顔領域ＦＣ２は誤差を含むため、図７のＡ－４では、ある程度の余裕を設定して、顔領域ＦＣ２を含む矩形の領域５２を設定する。この矩形の領域５２が、図２に示した生体部位検出部（ここでは顔検出部）２３６によって、顔が存在すると推定される領域、言い換えれば「顔候補領域」である。
【0168】
図７の検出例によれば、顔候補領域５２、左右の目と推定される点Ｑ５、Ｑ５’、及び左右の耳と推定される点Ｑ６、Ｑ６’の位置情報を取得することができる。
【0169】
このように、本実施形態では、図２に示した学習モデル選択部（機械学習モデル（検出アルゴリズム）選択部）２３５は、反射光パターンＲ２、Ｒ２’が検出され、検出された反射光パターンＲ２、Ｒ２’が、撮像光（赤外光）以外の外光（太陽光）の反射に基づく第２の反射光パターンであり、生体の部位の検出に失敗する場合、あるいは、失敗する可能性が高いと判断される場合には、検出対象である生体の部位（ここでは人５の顔）の周辺に位置する周辺部位（ここでは、首及び肩部）について、骨格検出による周辺部位の検出を実施すると共に、検出された周辺部位（首及び肩部）と、検出対象である生体の部位（顔）との間の少なくとも１つ以上の関係性（例えば、顔は、首の骨格点Ｑ２の上側にあり、かつ肩部を２等分する正中線ＳＲ１によって、顔も２等分されるという相対的な関係性）に基づいて、検出対象である生体の部位（首）の、推定による検出を実施することができる。
【0170】
これにより、例えば、検出対象である生体の部位自体の特徴量による検出ができないような場合（図６の例）であっても、検出対象の周辺部位について、骨格検出による特徴量で検出を行った上で、各部位の相対的な関係性等に基づいて、検出対象である生体の部位を推定して検出することが可能である。これによって、対象物をまったく検出ができないという事態が抑制され、有用な検出情報を取得できる可能性を高めることができる。
【0171】
また、検出対象である生体の部位自体の特徴量が不完全ではあるが取得できた場合（図７の例）には、その取得できた特徴量を用いた推定処理を実施して、対象物の検出精度を高めることもできる。
【0172】
以上説明したように、本発明の実施形態によれば、例えば、特定の反射光パターンを予め抽出し、その種類と位置等を検出し、例えば、検出された反射光パターンに影響を受けにくい学習モデル、言い換えれば、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いて作成された学習モデルを選択して、生体の部位、例えば、人体の顔を検出することができる。
【0173】
これによって、例えば、車載用の組込みシステム等で使用される、所定の用途に特化されて機能が限定されているＳｏＣ(システムオンチップ）を用いた場合でも、リアルタイム性を確保しつつ、状況に応じて最適な検出アルゴリズムを使用して、生体の部位の検出を行うことができる。
【0174】
言い換えれば、生体部位検出装置（生体部位検出システム）の構築にかかるコスト、及び検出処理に伴う装置の負荷を抑制しつつ、反射パターンが存在する環境下においても、撮像画像に基づく生体の部位、例えば、人体の顔の検出精度を向上させることができる。
【0175】
また、本実施形態によれば、例えば、車載表示装置の窓部にフィルタを設けて外光が直接的に車載装置内に入射できないようにし、生体部位検出装置を、その車載表示装置内の、直接的に入射する外光が遮蔽された位置（遮蔽された空間あるいは領域）に設けることができる。
【0176】
これにより、ウインドシールド等の反射透光部材で反射して車載表示装置内に間接的に入射する外光に対する対策に専念することができる。よって、外光（外乱光）の対策に要する装置の負担が軽減される。
【0177】
また、本実施形態によれば、車両に設けられた、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して画像を表示する反射型の画像表示装置と、反射透光部材を経由して撮像光を乗員の部位に照射し、その部位からの反射光を、反射透光部材を経由して受光することで部位を撮像し、撮像画像に基づいて、生体の部位としての、前記乗員の目、口、鼻、耳の少なくとも１つ、あるいは、目、口、鼻、耳の少なくとも１つを含む顔全体の領域、を検出可能である生体部位検出装置と、を有する生体部位検出装置を実現することができる。
【0178】
この生体部位検出装置は、低コストであり、検出に際しての装置の負荷が低減され、小型化や低消費電力化も可能である。よって、実用に足る生体の部位検出精度を有する生体部位検出装置を搭載した車載表示装置を実現できる。これにより、例えば，ＨＵＤ装置の多機能化、高機能化を実現することができる。
【0179】
以上、本発明について、いくつかの実施形態を用いて説明したが、本発明は、これらに限定されるものではなく、種々、変形、応用が可能である。
【0180】
本明細書において、車両という用語は、広義に、乗り物としても解釈し得る。
【0181】
また、生体には、人（人体）の他、動物（動物体）も含まれる。
【0182】
また、例えば、人体と同様の構造を備える人形や模型も、生体に含めることができる。また、検出対象である生体の部位（顔、目等）についても、柔軟に、かつ広義に解釈するものとする。例えば、生体の部位には、生体の全体（例えば生体の全体形状等）も含めることができる。
【0183】
また、車載表示装置（より広義には表示装置）には、シミュレータ（例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等）として使用されるものも含まれるものとする。
【0184】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【符号の説明】
【0185】
１・・・車両、２・・・ウインドシールド（反射透光部材）、４・・・インストルメントパネル（あるいはダッシュボード）、５・・・乗員（運転者等、人）、８・・・ステアリングホイール、９・・・眼鏡、５０、５２・・・顔候補領域（顔が存在すると推定される領域）、１００・・・ＨＵＤ装置（車載表示装置、反射型表示装置）、１０２・・・表示部、１０４・・・表示パネル（液晶表示装置等）、１０６・・・平面ミラー、１０８・・・曲面ミラー（凹面鏡等）、１１２・・・透光カバー、１１４・・・フィルタ部（赤外光を通過し、可視光を遮断するフィルタ、ＩＲフィルタ）、２００・・・生体部位検出装置（顔検出装置）、２１０・・・撮像部（撮像ユニット）、２１１・・・受光部（赤外線ＬＥＤ）、２１２・・・受光部（赤外線カメラ）、２２０・・・撮像制御部、２３０・・・生体部位検出処理部、２３１・・・画像取得部、２３２・・・反射光パターン抽出部、２３３・・・反射光パターン検出部、２３４・・・画素ヒストグラム均等化処理部（均等化フィルタ処理部）、２３５・・・機械学習モデル選択部（学習モデル選択部、検出アルゴリズム選択部）、２３６・・・生体部位検出部（顔検出部）、２３７・・・結果出力部、２４０・・・記憶部、２４１・・・反射光パターン記憶部、２４２・・・画素ヒストグラム均等化フィルタ記憶部、２４３・・・機械学習モデル記憶部（学習モデル記憶部）、Ｚ０・・・撮像領域（撮像画像の撮像領域）、Ｚ１・・・第１の領域（人の顔の存在領域）、Ｚ２・・・第２の領域（人の顔における、両目の位置（両目が位置する範囲））、Ｚ３・・・第３の領域（人の首及び肩部、首及び肩部の領域）、Ｒ１・・・第１の反射パターン（撮像光（赤外光）による反射パターン）、Ｒ２、Ｒ２’・・・第２の反射パターン（外光（太陽光や街灯光）による反射パターン）、Ｑ２・・・骨格点（首の代表的骨格点、首の代表点）、Ｑ１、Ｑ３・・・骨格点（肩部の代表的骨格点、左右の各肩の代表点）、ＢＮ１、ＢＮ２・・・鎖骨、Ｑ４・・・左目及び右目を統合した代表的な視点位置（代表的な目の位置）、Ｑ５・・・人の左目の可能性のある候補点（左目と推定される点）、Ｑ５’・・・右目と推定される点、Ｑ６・・・人の右耳の可能性のある候補点（右耳と推定される点）、Ｑ６’・・・右耳と推定される点、ＳＲ１・・・正中線（正中矢状面）、ＳＲ２・・・人の目の高さ位置を示す仮想的な直線（正中線に直交する直線、顔領域における標準的な目の高さ位置を示す直線）、ＦＣ１、ＦＣ２・・・顔領域（標準的な大きさの顔領域）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】