特開2022-123858電気的に切り替えられた偏光を用いた改善された乗員モニタリング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022123858
(43)【公開日】2022-08-24
(54)【発明の名称】電気的に切り替えられた偏光を用いた改善された乗員モニタリング
(51)【国際特許分類】
H04N 5/225 20060101AFI20220817BHJP
H04N 5/232 20060101ALI20220817BHJP
G06T 1/00 20060101ALI20220817BHJP
G02B 5/30 20060101ALI20220817BHJP
B60R 11/04 20060101ALI20220817BHJP
【ＦＩ】
H04N5/225 400
H04N5/225 600
H04N5/232 030
H04N5/232 450
G06T1/00 420D
G06T1/00 430G
G02B5/30
B60R11/04
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022017594
(22)【出願日】2022-02-08
(31)【優先権主張番号】2021900340
(32)【優先日】2021-02-11
(33)【優先権主張国・地域又は機関】AU
(31)【優先権主張番号】2021900680
(32)【優先日】2021-03-10
(33)【優先権主張国・地域又は機関】AU
(71)【出願人】
【識別番号】516064611
【氏名又は名称】シーイング マシーンズ リミテッド
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】ノーブル ジョン
【テーマコード（参考）】
2H149
3D020
5B047
5C122
【Ｆターム（参考）】
2H149AA00
2H149EA10
2H149EA19
3D020BA20
3D020BB01
3D020BC02
3D020BE03
5B047AA19
5B047AB04
5B047BC06
5B047BC07
5B047BC11
5B047CA19
5B047CB04
5B047DC09
5C122DA14
5C122DA16
5C122EA15
5C122FB17
5C122FC05
5C122FH11
5C122FH14
5C122GE08
5C122GG04
5C122HA29
5C122HA86
5C122HA87
5C122HB01
(57)【要約】 （修正有）
【課題】ほとんどまたはすべての赤外光を通過させる一方で可視光を選択的に遮断する可視光シャッター、従来の撮像システムと被写体モニタリングシステムとの両方として動作できる単一のシステム及び異なるアイウェア条件下での被写体のロバストなアイトラッキングを提供する。
【解決手段】シーンを撮像するための撮像システム（２００）は、可視波長領域及び赤外波長領域の両方においてシーンの画像をキャプチャするための画像センサを有するカメラ（１０６）と、カメラ（１０６）による画像キャプチャの間、シーンを赤外照射で選択的に照らすために、光ビームを放出するように構成された少なくとも１つの光源（１０８）と、赤外波長を画像センサに透過させ、制御信号に基づいて画像センサにおいて受け取られた可視光を選択的に透過又は濾過させるように構成されている電気的に制御可能なフィルタ（２０３）を含む。
【選択図】図６
【解決手段】シーンを撮像するための撮像システム（２００）は、可視波長領域及び赤外波長領域の両方においてシーンの画像をキャプチャするための画像センサを有するカメラ（１０６）と、カメラ（１０６）による画像キャプチャの間、シーンを赤外照射で選択的に照らすために、光ビームを放出するように構成された少なくとも１つの光源（１０８）と、赤外波長を画像センサに透過させ、制御信号に基づいて画像センサにおいて受け取られた可視光を選択的に透過又は濾過させるように構成されている電気的に制御可能なフィルタ（２０３）を含む。
【選択図】図６
【特許請求の範囲】
【請求項1】
シーンを撮像するための撮像システムであって、前記撮像システムは、
可視波長領域及び赤外波長領域の両方において前記シーンの画像をキャプチャするための画像センサを有するカメラと、
前記カメラによる画像キャプチャの間に、赤外放射で前記シーンを選択的に照らすための光線を放出するように構成された少なくとも1つの光源と、
赤外波長光は、前記画像センサへと透過させ、可視光は、制御信号に基づいて選択的に透過させるか又はフィルタリングすることによって前記画像センサで受け取られるように構成された電気的に制御可能なフィルタと
を備える撮像システム。
可視波長領域及び赤外波長領域の両方において前記シーンの画像をキャプチャするための画像センサを有するカメラと、
前記カメラによる画像キャプチャの間に、赤外放射で前記シーンを選択的に照らすための光線を放出するように構成された少なくとも1つの光源と、
赤外波長光は、前記画像センサへと透過させ、可視光は、制御信号に基づいて選択的に透過させるか又はフィルタリングすることによって前記画像センサで受け取られるように構成された電気的に制御可能なフィルタと
を備える撮像システム。
【請求項2】
前記電気的に制御可能なフィルタは、アクティブドメイン液晶シャッターを含む
請求項１に記載の撮像システム。
請求項１に記載の撮像システム。
【請求項3】
前記電気的に制御可能なフィルタは、前記光線の偏光を選択的に制御する偏光フィルタを含む
請求項１に記載の撮像システム。
請求項１に記載の撮像システム。
【請求項4】
前記偏光フィルタは、液晶セルと、前記液晶セルの入力側に配置された第１直線偏光子と、前記液晶セルの出力側に配置された第２直線偏光子とを含み、
前記第１直線偏光子及び第２直線偏光子は直交する偏光軸を有する
請求項３に記載の撮像システム。
前記第１直線偏光子及び第２直線偏光子は直交する偏光軸を有する
請求項３に記載の撮像システム。
【請求項5】
前記偏光フィルタは、可視光は選択的に偏光させ、赤外光は透過させる
請求項３に記載の撮像システム。
請求項３に記載の撮像システム。
【請求項6】
赤外光は選択的に偏光させ、可視光は透過させる赤外偏光デバイスを含む
請求項１に記載の撮像システム。
請求項１に記載の撮像システム。
【請求項7】
前記制御信号は、前記システムの動作モードに少なくとも部分的に基づいている
請求項１に記載の撮像システム。
請求項１に記載の撮像システム。
【請求項8】
前記制御信号は、出力用のカラー画像又は赤外画像についての設定項目に少なくとも部分的に基づいている
請求項７に記載の撮像システム。
請求項７に記載の撮像システム。
【請求項9】
前記制御信号は、キャプチャされた画像において特定される、１つ以上の被写体がアイウェアを装着しているか否かについての画像プロセッサによる評価に少なくとも部分的に基づいている
請求項１に記載の撮像システム。
請求項１に記載の撮像システム。
【請求項10】
前記シーンにおける１つ以上の被写体を撮像するように構成された被写体撮像システムである
請求項１に記載の撮像システム。
請求項１に記載の撮像システム。
【請求項11】
車両のドライバー又は乗客を撮像するための乗員モニタリングシステムである
請求項１０に記載の撮像システム。
請求項１０に記載の撮像システム。
【請求項12】
可視波長領域を感知するように構成された第１複数画素群、及び赤外波長のみを感知するように構成された第２複数画素群を有するセンサアレイと、
前記センサアレイに取り付けられ又は前記センサアレイと統合され、赤外波長光は、前記センサアレイに透過させ、可視波長光は、制御信号に基づいて選択的に透過又は濾過させることによって前記センサアレイで受け取られるように構成された電気的に制御可能なフィルタと
を備える画像センサ。
前記センサアレイに取り付けられ又は前記センサアレイと統合され、赤外波長光は、前記センサアレイに透過させ、可視波長光は、制御信号に基づいて選択的に透過又は濾過させることによって前記センサアレイで受け取られるように構成された電気的に制御可能なフィルタと
を備える画像センサ。
【請求項13】
前記電気的に制御可能なフィルタは、アクティブドメイン液晶シャッターを含む
請求項１２に記載の画像センサ。
請求項１２に記載の画像センサ。
【請求項14】
前記電気的に制御可能なフィルタは、光線の偏光を選択的に制御する偏光フィルタを含む
請求項１２に記載の画像センサ。
請求項１２に記載の画像センサ。
【請求項15】
前記偏光フィルタは、液晶セルと、前記液晶セルの入力側に配置された第１直線偏光子と、前記液晶セルの出力側に配置された第２直線偏光子とを含み、
前記第１直線偏光子及び第２直線偏光子は直交する偏光軸を有する
請求項１４に記載の画像センサ。
前記第１直線偏光子及び第２直線偏光子は直交する偏光軸を有する
請求項１４に記載の画像センサ。
【請求項16】
前記画像センサは、撮像レンズを含み、
前記電気的に制御可能なフィルタは、前記撮像レンズと前記センサアレイとの間に配置される
請求項１２に記載の画像センサ。
前記電気的に制御可能なフィルタは、前記撮像レンズと前記センサアレイとの間に配置される
請求項１２に記載の画像センサ。
【請求項17】
シーンにおける１つ以上の被写体をモニタリングするための被写体モニタリングシステムに内蔵されるように構成される
請求項１２に記載の画像センサ。
請求項１２に記載の画像センサ。
【請求項18】
前記被写体モニタリングシステムは、車両のドライバー及び／又は乗客を撮像するように構成された、車両の乗員モニタリングシステムである
請求項１７に記載の画像センサ。
請求項１７に記載の画像センサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像システムに関し、特に、シーンが可視及び赤外波長領域の両方において撮像され得る撮像システムに関する。
【0002】
本発明の実施形態は、車両ドライバーの片方の目又は両目を追跡するためのシステムのような被写体モニタリングシステムに、特に適合される。しかしながら、本発明は、より広い文脈及び他の応用に適用可能であることが理解されよう。
【背景技術】
【0003】
従来のカメラ撮像システムは、色情報をキャプチャするために、可視波長領域でシーン及び／又は被写体を撮像する。これらのシステムは、従来、他の波長領域で撮像することを必要としない。よって従来の画像センサは主に、可視領域においてのみ感度があり及び赤、緑及び青の波長に感度を持つ画素（例えば、既知のベイヤーフィルターパターンにおける画素）を含む。
【0004】
これとは別に、アイトラッカーのような被写体モニタリングシステムは、一般的に、赤外波長領域で、シーン及び被写体を撮像する。この波長領域での撮像は、暗い状況下での感度の向上をもたらし、かつモニタされている被写体の注意力を低下させることが少ない。太陽は、可視及び赤外領域の両方を含む、幅広い波長領域に渡って光を放出する。晴れ渡った状況は、撮像されている被写体によって着用されている眼鏡からの強い反射のような、ドライバーモニタリングシステムでの不要なノイズを与え得る。結果として、システムのノイズを低減させるために、ドライバーモニタリングシステムから太陽光を濾過する（filter）ことが典型的には有利である。これは、画像センサに到達しないように、可視波長を濾過することを含む。
【0005】
よって、従来の撮像カメラ及びドライバーモニタリングカメラは、一般に、それらの個々の波長領域で排他的に動作するように設計されており、あるタイプのカメラは、もう一つのタイプのカメラの機能を効率的には実行できない。本発明者は、将来の客室モニタリングシステムにおいて、単一のシステムが、従来の撮像システム及び被写体モニタリングシステムの両方として動作することが有利であり得ることをつきとめた。
【0006】
被写体モニタリングシステムの分野で、被写体の視線及び眠気（例えば、閉眼）を正確に追跡するために、アイトラッキングシステムは、被写体の視線及び眠気（例えば閉眼）を正確に追跡するために、虹彩及び瞳孔の輪郭、並びにまぶたのような、カメラ画像における目の特徴の検出に依拠する。これらの特徴を検出するためには、目の特徴の輪郭を特定するために、適切な信号対雑音比が存在しなければならない。
【0007】
アイトラッキングシステムは、通常の動作状況下では、非常にロバストであり得る。しかしながら、この種のシステムは、被写体が高いグレアの存在下で、濃いサングラス又は他の眼鏡をかけている場合のように、被写体の目が部分的に塞がれた状態になると、しばしば機能しなくなる。
【0008】
技術は、被写体が反射するサングラスをかけており、それがグレア効果を引き起こすとき、アイトラッキングシステムのロバスト性を向上させるために存在する。代表的なグレア低減技術は、眼鏡からの反射のようなグレアを低減するために、異なる光源をストロボ照射すること及び画像の後処理を行うことを伴う。ステレオカメラシステムはまた、異なるカメラ間を切り替えることによって眼鏡からのグレア効果を軽減させ得る。しかしながら、これらの既知のグレア低減技術は、少なくとも２つの光源又は少なくとも２つのカメラのうちのいずれかを必要とし、それはシステムのサイズ及びコストを増大させる。システムサイズは、最新の車両のダッシュボード上の空間が非常に貴重であるドライバーモニタリングシステムにおいて、特に重要なファクターである。
【0009】
John Nobleによる「High performance imaging system using a dielectric metasurface」と題され、Seeing Machines Limitedに譲渡されたＰＣＴ特許出願公開ＷＯ２０１９／１１９０２５は、誘電体メタサーフェスを介して被写体を照らすために使用される光を偏光させることによって、眼鏡からの反射の影響を低減させるための技術を開示している。しかしながら、この技術は、被写体が偏光されたサングラスをかけているときには、機能しないこともあるが、それは、被写体へ透過された偏光がそのようなサングラスによって濾過されるためである。
【0010】
「Polarized Gaze Tracking」と題された米国特許出願公開２０１５／０２４２６８０は、アイウェア（eyewear）の検出時に、光を動的に偏光させることにより視線トラッカー（eye gaze tracker）においてアイウェアからのグレアの影響を低減させることに関する。’６８０号公報に記載されている技術は、２つの別々に配置された光源の使用が必要であり、それはシステム全体のサイズ及びコストを増大させる。そのような構成は、モニタリングシステムのサイズ及びコストが非常に重要であるドライバーモニタリングシステムのような自動車のアプリケーションでは事実上、不可能である。
【0011】
明細書をとおしての背景技術の任意の議論は、そのような技術が周知であり、又は当該技術分野における公知の一般知識の一部を成すという自認としては、決して考えられるべきではない。
【発明の概要】
【課題を解決するための手段】
【0012】
本発明の第１局面によれば、シーンを撮像するための撮像システムが提供され、このシステムは、
可視及び赤外波長領域の両方において前記シーンの画像をキャプチャするための画像センサを有するカメラ、
前記カメラによる画像キャプチャの間に、赤外放射で前記シーンを選択的に照らすための光線を放出するように構成された少なくとも1つの光源、及び
赤外波長は、前記画像センサに透過させ、及び可視光は、制御信号に基づいて選択的に透過させるか又はフィルタリングすることによって前記画像センサで受け取られるように構成された電気的に制御可能なフィルタ
を含む。
可視及び赤外波長領域の両方において前記シーンの画像をキャプチャするための画像センサを有するカメラ、
前記カメラによる画像キャプチャの間に、赤外放射で前記シーンを選択的に照らすための光線を放出するように構成された少なくとも1つの光源、及び
赤外波長は、前記画像センサに透過させ、及び可視光は、制御信号に基づいて選択的に透過させるか又はフィルタリングすることによって前記画像センサで受け取られるように構成された電気的に制御可能なフィルタ
を含む。
【0013】
いくつかの実施形態では、前記電気的に制御可能なフィルタは、アクティブドメイン液晶シャッターを含む。他の実施形態では、前記電気的に制御可能なフィルタは、前記光線の偏光を選択的に制御する偏光フィルタを含む。
【0014】
いくつかの実施形態では、前記偏光フィルタは、液晶セルと、前記液晶セルの入力側に配置された第１直線偏光子と、前記液晶セルの出力側に配置された第２直線偏光子とを含み、
前記第１直線偏光子及び第２直線偏光子は直交する偏光軸を有する撮像システムを含む。
前記第１直線偏光子及び第２直線偏光子は直交する偏光軸を有する撮像システムを含む。
【0015】
いくつかの実施形態では、前記偏光フィルタは、可視光は選択的に偏光させ、赤外光は透過させる。
【0016】
いくつかの実施形態では、システムは、赤外光は選択的に偏光させ、可視光は透過させる赤外偏光デバイスを含む。
【0017】
いくつかの実施形態では、前記制御信号は、前記システムの動作モードに少なくとも部分的に基づいている。いくつかの実施形態では、前記制御信号は、出力用のカラー画像又は赤外画像についての設定項目に少なくとも部分的に基づいている。いくつかの実施形態では、前記制御信号は、キャプチャされた画像において特定される、１つ以上の被写体がアイウェアを装着しているか否かについての画像プロセッサによる評価に少なくとも部分的に基づいている。
【0018】
いくつかの実施形態では、前記システムは、前記シーンにおける１つ以上の被写体を撮像するように構成された被写体撮像システムである。いくつかの実施形態では、システムは、車両のドライバー又は乗客を撮像するための乗員モニタリングシステムである。
【0019】
本発明の第２局面によれば、画像センサが提供され、このセンサは、
可視波長領域を感知するように構成された第１複数画素群、及び赤外波長のみを感知するように構成された第２複数画素群を有するセンサアレイと、
前記センサアレイに取り付けられ又は前記センサアレイと統合され、赤外波長光は、前記センサアレイに透過させ、可視波長光は、制御信号に基づいて選択的に透過又は濾過させることによって前記センサアレイで受け取られるように構成された電気的に制御可能なフィルタと
を備える画像センサ
を含む。
可視波長領域を感知するように構成された第１複数画素群、及び赤外波長のみを感知するように構成された第２複数画素群を有するセンサアレイと、
前記センサアレイに取り付けられ又は前記センサアレイと統合され、赤外波長光は、前記センサアレイに透過させ、可視波長光は、制御信号に基づいて選択的に透過又は濾過させることによって前記センサアレイで受け取られるように構成された電気的に制御可能なフィルタと
を備える画像センサ
を含む。
【0020】
いくつかの実施形態では、前記電気的に制御可能なフィルタは、アクティブドメイン液晶シャッターを含む。他の実施形態では、前記電気的に制御可能なフィルタは、前記光線の前記偏光を選択的に制御する偏光フィルタを含む。
【0021】
いくつかの実施形態では、前記偏光フィルタは、液晶セルと、前記液晶セルの入力側に配置された第１直線偏光子と、前記液晶セルの出力側に配置された第２直線偏光子とを含み、
前記第１直線偏光子及び第２直線偏光子は直交する偏光軸を有する。
前記第１直線偏光子及び第２直線偏光子は直交する偏光軸を有する。
【0022】
いくつかの実施形態では、前記画像センサは、撮像レンズを含み、
前記電気的に制御可能なフィルタは、前記撮像レンズと前記センサアレイとの間に配置される。
前記電気的に制御可能なフィルタは、前記撮像レンズと前記センサアレイとの間に配置される。
【0023】
いくつかの実施形態では、前記画像センサは、シーンにおける１つ以上の被写体をモニタリングするための被写体モニタリングシステムに内蔵されるように構成される。前記被写体モニタリングシステムは、車両のドライバー及び／又は乗客を撮像するように構成された、車両の乗員モニタリングシステムである。
【0024】
本発明の第３局面によれば、被写体の１つ以上の目を追跡するためのアイトラッキングシステムが提供され、このシステムは、
被写体の片方又は両方の目を含む、被写体の画像をキャプチャするために、それぞれの画像センサを有する少なくとも１つのカメラ、
１つ以上のカメラによる画像キャプチャの間に、被写体の片方又は両方の目を選択的に照らすための光ビームを放出するように構成された少なくとも1つの光源、
目の有無を判定するように、及び被写体の１つ以上の目の特徴を求めるように、キャプチャされた画像の少なくともサブセットを処理するように構成されたプロセッサ、
プロセッサによる目の有無の判定に応答して制御信号を生成するように構成されたコントローラ、及び
制御信号に基づいて光ビームを選択的に偏光して、画像センサに入射させるためにカメラで受け取られた光を濾過するように構成された偏光システム
を含む。
被写体の片方又は両方の目を含む、被写体の画像をキャプチャするために、それぞれの画像センサを有する少なくとも１つのカメラ、
１つ以上のカメラによる画像キャプチャの間に、被写体の片方又は両方の目を選択的に照らすための光ビームを放出するように構成された少なくとも1つの光源、
目の有無を判定するように、及び被写体の１つ以上の目の特徴を求めるように、キャプチャされた画像の少なくともサブセットを処理するように構成されたプロセッサ、
プロセッサによる目の有無の判定に応答して制御信号を生成するように構成されたコントローラ、及び
制御信号に基づいて光ビームを選択的に偏光して、画像センサに入射させるためにカメラで受け取られた光を濾過するように構成された偏光システム
を含む。
【0025】
いくつかの実施形態では、プロセッサは、被写体によって装着されているアイウェアの状態を求めるように構成される。コントローラは、好ましくは、プロセッサによるアイウェア状態の判定に応答して、制御信号を生成するように構成される。
【0026】
いくつかの実施形態では、偏光システムは、制御信号に応答して、違う偏光状態の間で切り替えるように構成された電気的な偏光素子を含む。いくつかの実施形態では、電気的な偏光素子は、制御信号に応答する液晶素子を含む。
【0027】
いくつかの実施形態では、偏光システムは、画像センサに対して入射する光を、選択的に濾過するように配置された偏光フィルタを含む。その偏光フィルタは、好ましくは、第１偏光状態の光を通過させ、他の偏光状態の光を部分的に又は完全に濾過する。
【0028】
いくつかの実施形態では、電気的な偏光素子及び偏光フィルタは、単一の素子を形成する。
【0029】
いくつかの実施形態では、アイウェア状態は、被写体によって装着されている偏光アイウェアの存在の判定を含む。アイウェア状態は、被写体によって装着されている非偏光アイウェアの存在の判定を含み得る。アイウェア状態は、被写体によってアイウェアが装着されていない判定を含み得る。
【0030】
いくつかの実施形態では、プロセッサによって、アイウェアなしの状態又は偏光アイウェア状態が検出されると、コントローラは、偏光素子がランダム偏光状態又は非偏光状態になるよう駆動するように構成される。
【0031】
いくつかの実施形態では、偏光フィルタは、コントローラによって電気的に制御可能である。プロセッサによって、アイウェアなしの状態又は偏光アイウェア状態が検出されると、偏光フィルタは、全ての偏光状態の光を透過させるように駆動可能であり得る。
【0032】
いくつかの実施形態では、プロセッサによって、非偏光のアイウェア状態が検出されると、コントローラは、偏光素子を直線偏光状態又は円偏光状態に駆動するように構成される。いくつかの実施形態では、プロセッサによって、偏光アイウェアが検出されると、コントローラは、偏光素子を垂直直線偏光状態に駆動するように構成される。
【0033】
いくつかの実施形態では、システムは単一の光源を含む。
【0034】
いくつかの実施形態では、偏光システムは、可視光及び赤外光両方が透過される第１状態と、可視光が部分的に又は完全に濾過される第２状態との間で切り替えるように構成される。
【0035】
本発明の第４局面によれば、被写体を撮像するための撮像システムが提供され、このシステムは、
入力光ビームを生成し、シーンに向かう光路に沿って入力光ビームを投影する光源、
入力光ビームの光路内に配置された偏光子であって、前記偏光子は、被写体を照らすために円偏光状態を有する出力光ビームを生成するように入力光ビームを円偏光させるように構成される偏光子、
被写体からの戻り光を受け取り、円偏光状態を有する戻り光は画像センサに向けて導き、他の偏光状態を有する光は全て阻止するように構成された偏光フィルタ、及び
被写体の画像を取得するために反射された光を撮像するように構成された画像センサ、
を含み、
前記偏光子は、コントローラから受け取った制御信号に基づいて、偏光状態又は非偏光状態になるよう選択的に駆動可能であり、
前記コントローラは、被写体によって装着されている偏光アイウェア又は非偏光アイウェアの検出に応答して、制御信号を生成する。
入力光ビームを生成し、シーンに向かう光路に沿って入力光ビームを投影する光源、
入力光ビームの光路内に配置された偏光子であって、前記偏光子は、被写体を照らすために円偏光状態を有する出力光ビームを生成するように入力光ビームを円偏光させるように構成される偏光子、
被写体からの戻り光を受け取り、円偏光状態を有する戻り光は画像センサに向けて導き、他の偏光状態を有する光は全て阻止するように構成された偏光フィルタ、及び
被写体の画像を取得するために反射された光を撮像するように構成された画像センサ、
を含み、
前記偏光子は、コントローラから受け取った制御信号に基づいて、偏光状態又は非偏光状態になるよう選択的に駆動可能であり、
前記コントローラは、被写体によって装着されている偏光アイウェア又は非偏光アイウェアの検出に応答して、制御信号を生成する。
【0036】
本発明の第５局面によれば、被写体の片方又は両方の目を追跡するためのアイトラッキング方法が提供され、この方法は、
デジタル画像センサによってキャプチャされた被写体のデジタル画像を受け取ることであって、前記デジタル画像は被写体の片方又は両方の目を含む、デジタル画像を受け取ること、
１つ以上のカメラによる画像キャプチャの間、光ビームを用いて被写体の片方又は両方の目を選択的に照らすこと、
目の有無を判定するために、及び１つ以上の被写体の目の特徴を求めるために、キャプチャされたデジタル画像のうちの少なくともサブセットを処理すること、
プロセッサによる目の有無の判定に応答して、制御信号を生成すること、及び
制御信号に基づいて光ビームを選択的に偏光し、及び画像センサへの入射のためにカメラにおいて受け取られた光を濾過する偏光素子を制御すること
を含む。
デジタル画像センサによってキャプチャされた被写体のデジタル画像を受け取ることであって、前記デジタル画像は被写体の片方又は両方の目を含む、デジタル画像を受け取ること、
１つ以上のカメラによる画像キャプチャの間、光ビームを用いて被写体の片方又は両方の目を選択的に照らすこと、
目の有無を判定するために、及び１つ以上の被写体の目の特徴を求めるために、キャプチャされたデジタル画像のうちの少なくともサブセットを処理すること、
プロセッサによる目の有無の判定に応答して、制御信号を生成すること、及び
制御信号に基づいて光ビームを選択的に偏光し、及び画像センサへの入射のためにカメラにおいて受け取られた光を濾過する偏光素子を制御すること
を含む。
【0037】
いくつかの実施形態では、これら画像群は、被写体が身に付けているアイウェアの状態を求めるように処理される。制御信号は、好ましくは、プロセッサによるアイウェア状態の判定に応答して生成される。
【0038】
本発明の第６局面によれば、被写体の１つ以上の目を追跡するための被写体撮像システムが提供され、このシステムは、
可視波長領域及び赤外波長領域の両方において、被写体の画像をキャプチャする対応する画像センサを有している少なくとも１つのカメラであって、
前記画像は被写体の片方の目又は両目を含む
カメラ、
１つ以上のカメラによる画像キャプチャの間、少なくとも赤外照射で被写体の片方又は両方の目を選択的に照らすように光ビームを放出するように構成された少なくとも１つの光源、
光ビームを選択的に偏光させるように、及び画像センサへの入射のためにカメラ１０６で受け取られた光を濾過するように構成された偏光システム
を含み、
前記偏光システムは、キャプチャされた画像において、被写体の瞳孔又はアイウェアの検出又は非検出に基づいて、赤外波長を選択的に偏光させ、及び
前記偏光システムは、カメラにおいて受け取られている可視波長を、選択的に透過又は遮断する。
可視波長領域及び赤外波長領域の両方において、被写体の画像をキャプチャする対応する画像センサを有している少なくとも１つのカメラであって、
前記画像は被写体の片方の目又は両目を含む
カメラ、
１つ以上のカメラによる画像キャプチャの間、少なくとも赤外照射で被写体の片方又は両方の目を選択的に照らすように光ビームを放出するように構成された少なくとも１つの光源、
光ビームを選択的に偏光させるように、及び画像センサへの入射のためにカメラ１０６で受け取られた光を濾過するように構成された偏光システム
を含み、
前記偏光システムは、キャプチャされた画像において、被写体の瞳孔又はアイウェアの検出又は非検出に基づいて、赤外波長を選択的に偏光させ、及び
前記偏光システムは、カメラにおいて受け取られている可視波長を、選択的に透過又は遮断する。
【0039】
いくつかの実施形態では、偏光システムは、赤外光は透過させつつ、可視光は選択的に偏光させる可視光偏光デバイスを含む。ある実施形態では、可視光偏光デバイスは、直交する偏光軸を有する２つの直線偏光子の間に配置された液晶セルを含む。
【0040】
いくつかの実施形態では、偏光システムは、可視光は透過させつつ、赤外光は選択的に偏光させる赤外偏光デバイスを含む。
【図面の簡単な説明】
【0041】
本開示の例示的実施形態が、添付の図面を参照して、例示としてのみ、ここで説明される。
【図13A】図１３Ａは、撮像システムを通過する赤外光が赤外被写体モニタリングを実行するための光学系と、各段階における対応する偏光状態とを示す概略図であって、ここで偏光システムは鏡面反射を濾過するように構成されている。
【図13B】図１３Ｂは、撮像システムを通過する赤外光が赤外被写体モニタリングを実行するための光学系と、各段階における対応する偏光状態とを示す概略図であって、ここで偏光システムは鏡面反射及び正反射からの光を透過するように構成されている。
【発明を実施するための形態】
【0042】
ここに記載されている撮像及び被写体モニタリングシステムは、多数の環境において適用及び使用され得る。一例として、自動車、又は、例えばバス、電車又は飛行機のような他の車両のドライバー及び／又は乗客のモニタリングがある。さらに、記載されたシステムは、機械及びフライトシミュレータのような任意の他の機器を使用又は操作するオペレータに適用され得る。本発明はまた、他の使用分野に適用可能であり、撮像されているシーンが車両ドライバーではない他のコンテキストにおいても適用可能である。例として、本発明の実施形態は、モバイルデバイス（携帯電話、タブレットコンピュータ、ＰＤＡ（パーソナルデジタルアシスタント）、ラップトップ等）、ウェブカメラ及びＬＩＤＡＲ（ライダー）システムのための照明及び撮像システムに応用できる。理解を容易にするために、本発明の実施形態は、車両のためのドライバーモニタリングシステムのコンテキストにおいてここでは記載される。さらに、照明装置は、発光ダイオード（ＬＥＤ）であるとして記載されているが、本発明は、垂直共振器型面発光レーザー（ＶＣＳＥＬ）等、他のタイプの赤外光源に適用できることが理解されよう。
［システムの概観］
［システムの概観］
【0043】
初めに図１－図３を参照すると、車両１０４を操作中の車両ドライバー１０２の画像をキャプチャするためのドライバーモニタリングシステム１００が図示されている。システム１００は、顔検出、顔特徴検出、顔認識、顔特徴認識、顔追跡、又は人の頭及び目を追跡するような顔特徴追跡のような、キャプチャされた画像に対してさまざまな画像処理アルゴリズムを実行するように、さらに適合される。頭及び目の追跡を実行するための例示的画像処理手順は、「Facial Image Processing System」と題され及びSeeing Machines Pty Ltdに譲渡されたEdwardsらに対する米国特許第７，０４３，０５６号に記載されており、その内容は、相互参照によってここに援用される。
【0044】
図２に最もよく図示されているように、システム１００は、車両のダッシュボード１０７の計器ディスプレイ上又は計器ディスプレイ内に配置され、１人以上の人間の顔の特徴を特定し、位置を特定し、及び追跡するように、赤外波長領域内でドライバーの顔の画像をキャプチャするように方向づけされている、撮像カメラ１０６を含む。
【0045】
カメラ１０６は、感光画素の２次元アレイを有し、及びオプションとして距離つまり奥行きを求める（１つ以上の位相検出要素を通してのような）能力を有する従来のＣＣＤ又はＣＭＯＳベースのデジタルカメラを含み得る。下に図示される可視光シャッターの実施形態では、感光画素は、赤外領域に加えて可視領域の両方の領域において、電磁放射を全体として感知する能力がある。いくつかの実施形態では、カメラ１０６は、可視波長領域及び赤外波長領域の両方において撮像することが可能なＲＧＢ－ＩＲセンサを備える。ＲＧＢ－ＩＲセンサのレイアウトの例は、図４に図示される。
【0046】
ＲＧＢ－ＩＲ画像センサは、１つ以上の可視領域検出素子及び１つ以上の赤外検出素子を含むように、標準的なベイヤー配列から修正された画素群を有する。図４の図示された設計では、近赤外線（ＮＩＲ）検出素子を導入するために、青及び赤の検出素子が減少されている。しかしながら、ＲＧＢ－ＩＲ画像センサにおいては、検出素子の他の配置も可能である。下で記載されるように、カメラ１０６は、選択的偏光を実行し、入射光のフィルタリングするための１つ以上の偏光素子も含み得る。
【0047】
図５は、ＲＧＢ－ＩＲ画像センサの、光の波長に対する画素の感度を図示している。図示されているように、赤、緑及び青の検出素子のそれぞれは、可視波長領域で感度がピークになり、赤外検出素子は可視波長領域では感度がゼロに近くになる。しかしながら、赤、緑、青及び赤外線の感度画素のそれぞれは、赤外波長領域でほぼ同じ感度を持つ。よって、可視光感度画素は、赤外波長領域に対してもまた感度がある。
【0048】
いくつかの実施形態では、もし、可視波長領域及び赤外波長領域の両方において撮像することが可能であれば、カメラ１０６はまた、ＴＯＦカメラ（time-of-flight camera）、ライダー（LIDAR）又は三次元で撮像することが可能である他のスキャニング又はレンジベースのカメラのような三次元カメラであってもよい。他の実施形態では、カメラ１０６は、ステレオの構成で動作し、深さを抽出するように較正された、一対の類似のカメラに置き換えてもよい。
【0049】
再び図２を参照すると、システム１００はまた、赤外光源１０８を含み、それは、１つ以上のＬＥＤ（発光ダイオード）、ＶＣＳＥＬ（vertical cavity surface emitting laser、垂直共振器型面発光レーザー）、又は他のタイプの照明装置の形態をとり得る。光源１０８は、入力光ビームを生成し、光ビームをドライバー１０２に向かう光路に沿って投射するために、カメラ１０６に隣接して配置される。光源１０８は、下に記載される方法で、カメラ１０６による画像キャプチャの間、ドライバーの顔を赤外線で選択的に照射するように制御される。
【0050】
いくつかの実施形態では、光源１０８は、車両のダッシュボード１０７上のカメラに近接する、水平方向又は垂直方向にずれた別個の位置に配置され得る２つ以上の個別の照明装置を包含し得る。
【0051】
ドライバーの顔又は顔の特徴の高品質画像を取得できるようにドライバーの顔を強調するように、光源１０８は、カメラ１０６が画像をキャプチャしているとき、予め定義された画像キャプチャ期間中、赤外線放出でドライバー１０２を照らすよう構成されている。赤外領域でのカメラ１０６及び光源１０８の動作は、ドライバーにとって視覚的に注意を散漫とさせることを低減させる。カメラ１０６及び光源１０８の動作は、コンピュータプロセッサ又はマイクロプロセッサと、カメラ１０６からのキャプチャされた画像を記憶させバッファリングするためのメモリとを包含する、関連付けられたシステムコントローラ１１２（下で記載）によって制御される。
【0052】
いくつかの実施形態では、光源１０８は、「Glare Reduction」と題され、Seeing Machines Limitedに譲渡されたＰＣＴ特許出願公開ＷＯ２０１６／１３１０７５に記載されているように、グレア効果の低減を可能にする、異なる角度での照明を提供するために交互にアクティベートされる、つまり「閃光を発する」２つの間隔を空けた照明装置を含む。しかしながら、下で記載されるように、本発明は、２つ以上の別々の光源を必要とすることなく、画像に存在するグレアを低減させることが可能である。
【0053】
図２に最もよく図示されているように、カメラ１０６及び光源１０８は、共通のハウジングを有する単一のユニット１１１として製造され又は組み立てられ得る。このユニット１１１は、車両のダッシュボード１０７に取り付けられた状態が示されているが、車両の製造の間に設置されてもよく、又はアフターマーケット製品として後で取り付けられてもよい。他の実施形態では、ドライバーモニタリングシステム１００は、車両内のドライバー、被写体、及び／又は同乗者の頭又は顔の特徴の画像をキャプチャするのに適する任意の位置に配置される１つ以上のカメラ及び光源を含み得る。例として、カメラ及び光源は、車両のステアリングコラム、リアビューミラー、センターコンソール、又はドライバー側のフロントピラー上に配置され得る。
【0054】
次に図３に目を向けると、システム１００の機能要素が概略的に図示されている。システムコントローラ１１２は、システム１００の中央処理装置として機能し、以下に記載のいくつかの機能を実行するように構成される。コントローラ１１２は、車両１０４のダッシュボード１０７内に配置され、車両のオンボードコンピュータと結合され得るか、又は一体化され得る。別の実施形態では、コントローラ１１２は、カメラ１０６及び光源１０８とともに、ハウジング又はモジュール内に配置され得る。このハウジング又はモジュールは、アフターマーケット製品として販売され、車両のダッシュボードに取り付けられ、その車両での使用のためにその後、較正され得る。フライトシミュレータのような更なる実施形態では、コントローラ１１２は、パーソナルコンピュータのような外部コンピュータ又はユニットであり得る。
【0055】
コントローラ１１２は、例えばレジスタ及び／又はメモリからの電子データを処理して、その電子データを例えばレジスタ及び／又はメモリに記憶され得る他の電子データに変換する、あらゆる形態のコンピュータ処理装置又は装置の一部として実装され得る。図３に図示されるように、コントローラ１１２は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電子的に消去可能なプログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、及び当業者には容易に分かるはずである他の同等なメモリ又は記憶システムのような、メモリ１１６に記憶されたコードを実行するマイクロプロセッサ１１４を含む。
【0056】
コントローラ１１２のマイクロプロセッサ１１４は、ビジョンプロセッサ１１８及びデバイスコントローラ１２０を含む。ビジョンプロセッサ１１８及びデバイスコントローラ１２０は、共にマイクロプロセッサ１１４によって実現される機能要素を表す。しかし他の実施形態では、ビジョンプロセッサ１１８及びデバイスコントローラ１２０は、カスタムの、つまり専用の回路と用いられるマイクロプロセッサのような別個のハードウェアとして実現され得ることが理解されよう。
【0057】
ビジョンプロセッサ１１８は、ドライバーモニタリングを実行するために、キャプチャされた画像を処理するように構成される。例えば、ドライバーモニタリングとは、モニタリング環境内での、ドライバー１０２の３次元の頭部姿勢及び／又は視線の位置、及び／又は閉眼の程度、時間及び頻度を求めることである。これを実現するために、ビジョンプロセッサ１１８は、１つ以上の視線決定のアルゴリズムを利用する。これは、例として、上で参照されたEdwardsらに記載された方法を含み得る。ビジョンプロセッサ１１８は、ドライバーの注意、眠気、又はドライバーの安全な車両の操作を妨げ得る他の問題を検出するために、目の閉じ具合、瞬きの速度のようなドライバー１０２の属性を求めること、及びドライバーの頭の動きを追跡することを含むさまざまな他の機能もまた実行し得る。
【0058】
ビジョンプロセッサ１１８はまた、下で記載されるように、ドライバー１０２によって装着されたアイウェアの状態を求めるために構成され得る。
【0059】
ビジョンプロセッサ１１８で取得された生の画像データ、視線位置データ、及び他のデータはメモリ１１６に記憶される。
【0060】
デバイスコントローラ１２０は、ビデオシーケンスにおいて、カメラ１０６を制御し、光源１０８を選択的に作動させるように構成される。光源１０８は、画像キャプチャの間、ドライバーを照らすために、カメラ１０６によってキャプチャされた連続する画像フレームと同期して、点灯及び消灯される。カメラ１０６は、出力光ビームからの光である、ドライバーの顔及び周囲のシーンから反射される反射光を画像化するように構成される画像センサを含む。デバイスコントローラ１２０及びビジョンプロセッサ１１８は互いに連携して、車両１０４の通常の運転中の眠気、注意及び視線の位置のような、ドライバーの状態情報を取得するために、ドライバーの画像をキャプチャし、処理することを行う。システムの追加の要素はまた、ユニット１１１の共通のハウジング内に含まれてもよく、又は他の追加の実施形態による別個の要素として提供されてもよい。ある実施形態では、コントローラ１１２の操作は、カメラ１０６及び光源１０８と結合されているオンボート車両コンピュータシステムによって実行される。
【0061】
システム１００は、カメラ１０６で受け取った光の偏光操作を実行するための偏光システム２０１も含む。異なる偏光システムを採用するさまざまな実施形態が以下に記載される。デバイスコントローラ１２０はまた、この偏光システム２０１の１つ以上の偏光素子を選択的に制御するように構成される。
［可視光シャッター］
［可視光シャッター］
【0062】
次に図６を参照すると、システム１００は、通常のビデオキャプチャのための可視領域での動作及び被写体モニタリングアプリケーションのための赤外領域における動作とを切り替えるための可視光シャッターシステム２００として動作するように用いられ得る。本願に関する実施形態では、カメラ１０６は、図４で図示されるもののようなＲＧＢ－ＩＲ画像センサを内蔵する。これにより、カメラ１０６の画像センサは、可視波長領域及び赤外波長領域のいずれか一方において又はそれらの両方において被写体１０２を撮像することができる。
【0063】
図示されているように、システム２００では、偏光システムは、赤外波長をカメラ１０６の画像センサに透過させ、可視光を制御信号２１０に基づいて選択的に透過させ又は濾過することによってカメラ１０６の画像センサで受け取られるように構成された電気的に制御可能なフィルタ２０３を含む。制御信号は、好ましくは、図６に図示されているように、デバイスコントローラ１２０によって提供される。この動的な制御により、フィルタ２０３は、デバイスコントローラ１２０によるフィルタ２０３の第１状態への遷移が、可視波長は遮断するが赤外波長は遮断しないような可視光シャッターとして動作することができる。第２状態では、フィルタ２０３は、可視光波長及び赤外光波長の両方をカメラ１０６の画像センサに透過させる。
【0064】
この制御は、被写体モニタリングシステム（この場合、赤外線が好ましく、可視光はノイズである）と、ビデオ会議のためのビデオカメラのような従来の撮像システム（この場合、色をキャプチャするのには可視光が好ましい）との間でシステムを切り替えるために有用であり得る。いくつかの実施形態では、被写体モニタリングモードでは、フィルタ２０３は、フィルタ２０３が可視光フィルタとして機能し、可視光は遮断されるが赤外線は通過されるように、単に非アクティブ化される。
【0065】
いくつかの実施形態では、フィルタ２０３は、アクティブドメイン液晶シャッターを含む。このタイプのデバイスは、偏光子を含まず、異なる液晶のドメインに分割された液晶セルを含む。異なるドメインは、位相が一致又はずれるように、ドメインにおける液晶の配向方向を変化させるように、独立して電気的に制御可能であり得る。この動的な相制御は、選択的に光を透過させる又は遮断するために、異なるドメインにおいて建設的な又は破壊的な干渉を与えるために使用され得る。液晶物質は、フィルタ２０３を透過した可視光にのみシャッター効果が発生するように、赤外線に対して不可視となるように構成される。
【0066】
他の実施形態では、フィルタ２０３は、偏光に基づいて動作し、液晶セル３００及びセル３００の両側に配置され及び直交する偏光軸を有するように方向づけられた一対の直線偏光板３０２及び３０４を包含する液晶シャッターを含む。直線偏光板３０２及び３０４の偏光軸は、その偏光の光が透過することを可能にする軸である。例として、垂直の偏光軸は、垂直の偏光は透過させるが、水平の偏光は濾過（filter、遮断）する。液晶セル３００は、可視波長上では偏光効果を有するが、赤外波長領域に対しては実際には不可視である。この要件を満たすさまざまな液晶デバイスが、商業上利用可能である。
【0067】
可視光の選択的な透過は、図７Ａ及び７Ｂに概略的に図示されており、これらは、ねじれネマティック液晶セル３００を備える偏光フィルタ２０３を図示する。セル３００は、制御信号２１０に応答してセル３００の両端に電界を選択的に印加するように電圧源に接続されている電極３０７及び３０９によって囲まれている。制御信号２１０は、入力デバイス又はインターフェイスからのユーザの入力によって提供され得て、又はビジョンプロセッサ１１８の出力からのように自動的に提供され得る。制御信号２１０は、システムの動作モードに少なくとも部分的に基づいてもよい。制御信号２１０は、出力カラー画像又は赤外線画像の設定（preference、好み）に少なくとも部分的に基づいてもよい。制御信号２１０はまた、キャプチャされた画像において１つ以上の特定された被写体が、アイウェアを装着しているか否かの画像プロセッサによる評価に、少なくとも部分的に基づいてもよい。
【0068】
図示されてないが、液晶セル３００は、デフォルト状態で、第１直線偏光板３０２の偏光軸の方向に沿うように液晶の配向をアラインさせる上部電極３０７に隣接する第１配向層を含む。下部電極３０９に隣接する第２配向層は、デフォルトの状態の液晶の配向を、第１直線偏光板３０４の偏光軸の方向（直線偏光板３０２のそれと直交する方向）に沿うようにアラインさせる。
【0069】
図７Ａでは、液晶セル３００に印加されている電圧をオフにすることによって、フィルタ２０３は非アクティブ化される。この状態では、電界は印加されず、ネマティック液晶分子は、垂直配向層からの液晶の配向のため、セル３００内で９０度のねじれを起こす。非偏光又はランダム偏光の可視光は、直線偏光板３０２に入り、液晶分子の局所配向（セル３００の上部配向層によって定義される）と同じ平面で偏光されて現れる。セル３００内の液晶分子のねじれ配置は、よって、第２偏光板３０４に到達する光が偏光板を透過し得るように１／４回転（９０度）だけ偏光面を回転させる。この構成では、フィルタ２０３は、可視波長及び赤外波長の両方を透過させる可視撮像モードにおいて動作する。
【0070】
図７Ｂでは、セル３００の電極３０７及び３０９の間に電圧を印加して電界を発生させることにより、フィルタ２０３は、アクティブ状態にアクティブ化される。この条件下では、液晶分子は、一般的には、結果的として生じる電界（この場合、垂直上向き）にアラインし、セル３００は、入射可視光を第２偏光板３０４に沿うようには偏光させない。よって、偏光板３０４は光の大部分を遮断し、フィルタ２０３は可視光フィルタとして機能する。同時に、フィルタ２０３は、より長い赤外波長に対して実質的に不可視であり、これらの波長は印加された電圧に関係なくフィルタ２０３を透過させられる。この構成では、フィルタ２０３は、画像センサに赤外波長のみを透過させる被写体モニタリングモードにおいて動作する。電界がないときは、分子はねじれた状態に戻り、セルは再び可視光を通すようになる。
【0071】
このように、フィルタ２０３は、ドライバー１０２又は他の被写体／対象物から戻った可視光を、選択的に遮断又は透過するための可視光シャッターとして使用され得る。
【0072】
図７Ａ及び図７Ｂに図示されているフィルタ２０３の設計は例示的なものに過ぎず、液晶偏光板の構成及びタイプは、他のものも可能であることが理解されよう。さらに、いくつかの実施形態では、フィルタ２０３は、液晶セル３００の代わりに、ファラデー回転子、カー・セル、又はポッケルスセルを備えてもよく、それらは物質の複屈折を制御し、その偏光を比例して変更するために、磁界又は電界を使用する。
【0073】
次に図８を参照すると、可視光を選択的に遮断又は透過させるための、可視光シャッターとしてのシステム２００の動作が概略的に図示されている。ここでは、分かりやすくするために、赤外光は図示されていない。可視光は、シーン及び周囲から、被写体１０２の目に入射する。この可視光の一部は、カメラ１０６によって撮像されるように光路に沿って反射され、このカメラ１０６は上述のようなＲＧＢ－ＩＲ画像センサを含む。カメラ１０６に到達する前に、反射した可視光は、図７で示されるような液晶偏光板のような偏光板を備える偏光フィルタ２０３を透過させられる。偏光フィルタ２０３は、可視光を遮断する活性状態に、又は直線偏光状態で可視光を透過するような不活性状態に、選択的にアクティブ化される。ＲＧＢ及びＩＲの波長領域をカバーするデュアルパスバンドを有するバンドパスフィルタ２１５は、撮像を妨害し得る他の波長領域からの光をフィルタするために偏光フィルタ２０３の前に、オプションとして配置されてもよい。
【0074】
図９は、フィルタ２０３が完全にオンされたとき（液晶セル３００の両端への最大の電界）、部分的にオンされたとき、及びオフにされたときの、可視及び赤外波長領域にわたる光の透過率を図示する。図示されるように、可視光の透過率は液晶セル３００間に印加される電圧に依存するが、赤外光は常に透過させられる。
【0075】
次に図１０を参照すると、可視光シャッター装置を持つ、統合された画像センサを規定するように、そこに統合されたフィルタ２０３を有する画像センサ１０００が図示されている。この画像センサは、可視波長領域を感知するように構成された第１複数画素と、赤外波長のみを感知するように構成された第２複数画素とを有するセンサアレイ１００２を含む。例として、センサアレイ１００２は、上述され、図４で図示されたようなＲＧＢ－ＩＲセンサアレイを包含し得る。センサアレイ１００２は、シリコン基板のような、基板１００４上に実装される。
【0076】
電気的に制御可能なフィルタ２０３は、センサアレイ１００２に取り付けられ又はセンサアレイ１００２と統合され、赤外波長はセンサアレイ１００２に透過させられ、センサアレイ１００２で受け取られる可視波長は制御信号に基づいて選択的に透過させられ又は濾過されるように構成される。いくつかの実施形態では、センサアレイ１００２は及び偏光フィルタ２０３は、モノリシック構造を形成する。フィルタ２０３は、上述のもの又はアクティブドメイン液晶光シャッターデバイスのような偏光フィルタを含み得る。
【0077】
画像センサ１０００はまた、撮像レンズ１００６を含み、フィルタ２０３は、好ましくは、撮像レンズ１００６とセンサアレイ１００２との間に配置される。最後に、画像センサ１０００は、保護カバーガラス層１００８を含む。他の実施形態では、フィルタ２０３は、撮像レンズ１００６とカバーガラス層１００８との間に配置される。
【0078】
画像センサ１０００は、車両のドライバー及び／又は乗客を撮像するように構成された車両乗員モニタリングシステムのような、シーン内の１つ以上の被写体をモニタリングするための被写体モニタリングシステムに含まれてもよい。
【0079】
さらなる実施形態では、赤外光を透過させつつ可視光を選択的に偏光させる、及び／又は可視光を透過させつつ赤外光を選択的に偏光させるさらなる偏光素子がシステム２００に追加されてもよい。
［アイウェア効果緩和のための偏光制御］
［アイウェア効果緩和のための偏光制御］
【0080】
ここで図１１を参照すると、１人以上の被写体の１つ以上の目を追跡するためのシステム１１００の平面図が図示されている。システム１１００は、入力光ビーム２０２を選択的に偏光させるための偏光システムを含む撮像システム１１０１を含む。偏光システムは、光源１０８に近接して配置され、光源１０８によって生成された入力光ビーム２０２の光路内に位置づけられた偏光子１１０３の形態をとる偏光素子を含む。例として、偏光子１１０３は、１／４波長板と組み合わせた液晶セルから形成されてもよいし、又はそれを含んでもよい。１／４波長板は、液晶セルの一方の側に装着又は固定され得る。偏光子１１０３はまた、液晶セルへの印加電圧が、上述と同様の方法で液晶セルから伝達される光の偏光軸を選択的に回転させるような、１つ以上の直線偏光子を含み得る。
【0081】
偏光子１１０３は、デバイスコントローラ１２０によって電気的に制御され、出力のための偏光された光ビーム２０４を生成するように、デバイスコントローラ１２０からの制御信号２０６によって、複数の偏光状態のうちの１つに設定される。例として、偏光子１１０３は、ドライバー１０２を照らすために円偏光又は直線偏光の状態を有する偏光ビーム２０４を生成するために、入力光ビーム２０２を直線偏光又は円偏光にし得る。偏光ビーム２０４の一部は、ドライバー１０２の顔から反射又は後方散乱されて、戻り光２０５として、カメラ１０６の画像センサで受け取られる。
【0082】
他の実施形態では、偏光子１１０３は、ポッケルスセル、カー・セル、ファラデー回転子、及び可変波長板のような他の電気的に制御可能な偏光子デバイスと置き換えられてもよい。
【0083】
偏光システムは、カメラの画像センサに入射させるために、ドライバー１０２からの、カメラ１０６で受け取られる戻り光２０５を濾過するために、カメラの視野内でカメラ１０６に配置され又はカメラ１０６に近接する偏光フィルタ２０８も含む。いくつかの実施形態では、偏光フィルタ２０８は、１／４波長板と直線偏光板との組み合わせを使用した、従来の方法で構成される。
【0084】
偏光フィルタ２０８は、カメラの画像センサに特定の偏光状態の光を透過させ、かつ全ての他の偏光状態を有する光を部分的に又は完全に阻止するように、デバイスコントローラ１２０からの制御信号２１２によって、異なる偏光状態に設定されるために、好ましくは電気的に制御可能である。例として、偏光フィルタ２０８はまた、ドライバー１０２からの戻り光２０５を偏光させるように異なる状態に制御可能な液晶のマトリクスを持つ液晶セルとして形成されてもよく、又はそれを含んでもよい。
【0085】
いくつかの実施形態では、単一の素子をビーム２０２及び戻り光２０５の光路に配置することによって、単一の偏光素子であっても偏光子１１０３及び偏光フィルタ２０８の両方の偏光を実現し得る。例として、２つの、空間的に分離された領域を有する液晶デバイスは、液晶デバイスの第１領域が入力光ビーム２０２を受け取り、その液晶デバイスの第２領域がドライバー１０２からの戻り光２０５を受け取るように配置されてもよい。その液晶デバイスの２つの領域は、第１領域が入力光ビーム２０２を偏光させるように作用し、第２領域が偏光フィルタとして作用するように、独立して電気的に制御可能である。
【0086】
いくつかの実施形態では、偏光子１１０３及び／又は偏光フィルタ２０８は、入力光ビーム２０２に、所定の位相、偏光、及び／又は強度変化を与えるように構成されたサブ波長表面素子を有する誘電体メタサーフェスを含むか、又はそれに置換される。そのような構成は、上述のＷＯ２０１９／１１９０２５に記載されている。これらの実施形態では、制御信号２０６は、誘電体メタサーフェスを光路内又は光路外に電気機械的に移動させるように構成され得る。偏光フィルタ２０８は、第１円偏光成分を透過させて、残りの反射光を吸収するように構成された、２次元アレイの表面素子を有する誘電体メタサーフェスを含み得る。
【0087】
図１２を参照すると、アイトラッキングのロバスト性を改良するために、上述のシステム１１００は、偏光子１１０３（又は他の偏光素子）及び偏光フィルタ２０８を用いる入力光ビーム２０２の偏光制御に基づいてアイトラッキング方法５００を実行するように用いられ得る。本願では、被写体モニタリングは赤外領域で実行されることが好ましいので、偏光子１１０３及び偏光フィルタ２０８は、少なくとも電磁スペクトルの赤外領域で光を偏光させるように構成される。特に、液晶セルは、赤外領域の波長が複屈折を起こすような特性を有する液晶を含むので、それは赤外波長の偏光を促進し得る。
【0088】
ステップ５０１で、カメラ１０６は、ドライバー１０２の時系列のデジタル画像をキャプチャするように構成される。上述のように、画像キャプチャ中は、フレームレート、露光期間、及びセンサ積分時間／利得のようなカメラ１０６のパラメータは、デバイスコントローラ１２０によって制御される。
【0089】
ステップ５０２で、カメラ１０６による画像キャプチャの間中、光源１０８は、ドライバーの片方の目又は両目を含むドライバー１０２を選択的に照らすために、入力光ビーム２０２を放出するように制御される。従来のドライバーモニタリングシステムでは、光源１０８及びカメラ１０６は、通常、ドライバー１０２の顔から、約80 cm－1 mの場所に設置される。よって、光源から放出された入力光ビーム２０２は、80 cmの距離で少なくとも人の顔と同じ大きさの領域に広がるように、十分に発散しているべきである。これは、統合された発散レンズ又は他の相当する光学部品を有する光源１０８によって達成され得る。同様に、カメラ１０６は、カメラ１０６の視野が、80 cmの距離で人間の顔を十分にカバーするような適切な光学部品を含み得る。
【0090】
図１２では順序付けて図示されているが、ステップ５０１及び５０２は、カメラ１０６の露光期間に同期された光源１０８の制御と同時に起こることが理解されよう。
【0091】
ステップ５０３では、ビジョンプロセッサ１１８は、被写体によって装着されているアイウェアの状態を求めるために、キャプチャされたデジタル画像の少なくともサブセットを処理する。検出されるアイウェアの状態は、「アイウェアなし」、「非偏光アイウェア」、「偏光アイウェア」、及び「遮蔽アイウェア」を含むが、これらに限定されない。この点で、ビジョンプロセッサ１１８は、ドライバー１０２によって装着されているアイウェアの有無及び偏光アイウェア又は非偏光アイウェアの存在を少なくとも検出することができる。
【0092】
ステップ５０３又はそれに関連する処理ステップでは、ビジョンプロセッサ１１８はまた、ドライバー１０２の１つ以上の目の特徴を求めるように、キャプチャされた画像を処理する。これらの特徴には、瞳孔、虹彩、瞼、角膜の鏡面反射、瞼の輪郭、瞳孔の大きさ、又は瞳孔／虹彩のコントラストが含まれ得る。
【0093】
ステップ５０３を実行する前に、ビジョンプロセッサ１１８はまた、画像内のドライバー１０２の片方又は両方の目領域を求めるように、キャプチャされた画像群（又はそれらのサブセット）を処理し得る。この処理には、画像の全画素のうちのサブセットを表す、検出された目の周りの、正方形、長方形、又は他の形状の画素領域を指定することが含まれてもよい。これらの目領域のみを処理することによって、ビジョンプロセッサ１１８の、全体的な計算負荷が低減され得る。目領域を求めることは、前の画像内において瞳孔、虹彩、瞼、又は他の目の特徴を検出し、測定又は推定された頭部姿勢又は目の動きに基づいて後続の画像についての尤もらしい目領域を推定することによって起こり得る。
【0094】
ステップ５０３でアイウェアの状態を求めることは、ビジョンプロセッサ１１８が、ドライバーの目を直接にカバーする領域ではなく、目に隣接する画像領域における鏡面反射の存在を検出することによって実現され得る。もし鏡面反射が目に隣接する領域で検出されるなら、ビジョンプロセッサ１１８は、ドライバー１０２が眼鏡を装着しており、光源１０８からの光は眼鏡の表面で反射していると判定し得る。目の真正面に位置する鏡面反射は、角膜からの鏡面反射を表し得るので、そのような鏡面反射は、アイウェアが装着されていることを表さないかもしれない。
【0095】
ステップ５０３でアイウェアを判定することはまた、ドライバー１０２が身につけた眼鏡又はサングラスの形状を検出するための物体検出を実行することを含み得る。これは、ドライバーの目の領域又は目の周辺領域におけるエッジ検出、輪郭検出、又はコントラスト検出のうちの１つ以上を実行することを含み得る。色の濃いサングラスつまり遮光サングラス（blocking sunglasses）は、目の領域又は目の周辺領域の輝度測定によって検出されてもよい。もし十分に暗い画素の領域が、アイウェアの形状認識とともに又はそれとは別に検出されるなら、ビジョンプロセッサ１１８は、遮光の眼鏡が装着されていると判定し得る。
【0096】
偏光アイウェア又は非偏光アイウェアの状態の判定は、偏光子１１０３及び／又は偏光フィルタ２０８の現在の状態と、画像の目領域で検出される光量とに基づいて決定され得る。
【0097】
ステップ５０３での、検出されたアイウェアの状態及び／又は目の特徴の検出に基づいて、ステップ５０４で、デバイスコントローラ１２０は、偏光子１１０３を、複数の異なる偏光状態のうちの1つに制御するための制御信号２０６を生成する。例として、図１１を参照すると、偏光子１１０３は、非偏光（又はランダム偏光）状態、直線偏光状態、円偏光状態、又は楕円偏光状態のうちのいずれか１つである偏光状態を有する入力光ビーム２０２から偏光ビーム２０４を生成し得る。
【0098】
次に図１１及び図１２を参照すると、ステップ５０５において、ステップ５０４とともに、デバイスコントローラ１２０は、カメラの画像センサへ入射するようにカメラ１０６で受け取られた光を濾過するための、偏光フィルタ２０８への制御信号２１２を生成する。特に、偏光フィルタ２０８は、第１偏光状態の光を透過させ、他の偏光状態の光を部分的に又は完全に濾過する（filter、遮断する）。例として、偏光フィルタ２０８の偏光状態には、非偏光（又はランダム偏光）状態、直線偏光状態、円偏光状態、又は楕円偏光状態があり得る。
【0099】
偏光子１１０３及び偏光フィルタ２０８がデバイスコントローラ１２０によって構成される特定の偏光状態は、ステップ５０３で検出されたアイウェアの状態及び／又は目の特徴の検出に依存する。例として、ステップ５０３において、ビジョンプロセッサ１１８によって、アイウェアなしの状態又は偏光アイウェア状態が検出されると、デバイスコントローラ１２０は、全ての偏光状態を透過させるように、偏光子１１０３及び偏光フィルタ２０８を非偏光（又はランダム偏光）状態にするよう制御する。逆に、ステップ５０３において、ビジョンプロセッサ１１８によって非偏光アイウェア状態が検出されると、デバイスコントローラ１２０は、直線偏光ビーム又は左回り偏光ビーム又は右回り円偏光ビーム２０４を生成するように、偏光子１１０３を直線偏光状態又は円偏光状態にするよう制御する。いくつかの実施形態では、非偏光状態は、偏光子１１０３又は偏光フィルタ２０８を非アクティブ化すること、又はそれらを光路外に移動させることによって達成される。
【0100】
【0101】
いくつかの実施形態では、偏光子１１０３は、非偏光状態と、左回り又は右回りの円偏光状態とを切り替えるように、ＷＯ２０１９／１１９０２５におけるメタサーフェスの制御と同様の方法で制御される。同様に、偏光フィルタ２０８は、偏光子１１０３が非偏光状態であるときのそれぞれの非偏光フィルタ状態と、及び偏光子１１０３が左回り又は右回りの円偏光状態であるときの左回り又は右回りの円偏光状態とのうちの１つをとるように制御される。
【0102】
偏光子１１０３が入力光ビーム２０２を右回りの円偏光状態に偏光するシナリオは、図１３Ａに概略的に図示される。この実施形態では、別個の１／４波長板２０７は、偏光子１１０３からの直線偏光を右回りの円偏光に変換するように、直交電界成分間に相対的位相変化を与えるために使用される。しかし他の実施形態では、偏光子１１０３は、１／４波長板を含む単一のユニットとして構成されてもよい。偏光子１１０３が直線偏光を出力するように制御されるとき、１／４波長板２０７を透過した光は、右回り円偏光状態に変換される。ビーム２０４の右回りの円偏光は、ドライバー１０２の顔上に投影される。ドライバーからカメラ１０６への戻り光２０５には、そこから光が反射する表面に依存して鏡面反射又は拡散反射（又は後方散乱反射）が含まれる。角膜、光沢のある肌、及び眼鏡のような反射率の高い表面からの鏡面反射は、明るい光の条件下（光源１０８自体の反射を含む）では高いグレアをもたらすことが知られている。このグレア２２０は、図１４の上段において図示されており、それは、眼鏡を装着しているドライバー１０２の画像を図示している。これらの反射は、シーンの外からの光が画像センサにおいて受け取られるおそれがあるので、ドライバーモニタリングシステムのようなシステムにおいては、しばしばノイズとなる。
【0103】
法線入射において表面から鏡面反射すると、電磁波はそれらの電界を反転させる。直線偏光については、これにより直線極性（linear polarity）が反転する結果となる。円偏光については、反射すると偏光の向きが反転する。よって、右回りの円偏光ビームは、左回りの円偏光として反射され、逆もまた同様である。これは、図１３Ａ及び図１３Ｂの下にある偏光部分で図示されている。ドライバーの肌のような、より乱反射の程度が高い表面からの光は、偏光状態が大きく変化することなく反射される。よって乱反射した右回り円偏光は、同じ右回り円偏光状態において反射されることになる。
【0104】
したがって、戻り光２０５は、さまざまな偏光状態の光を含む。偏光フィルタ２０８が、直線偏光を水平方向に透過させるように構成されているとき（電圧印加時に透過するか又は電圧非印加時に透過するかのいずれでもよい）、第２の１／４波長板２０９を介して光を透過させると、円偏光を変換して直線偏光に戻すので、偏光フィルタ２０８は、鏡面反射（眼鏡からのような）から生じる光をブロックし、被写体１０２の正反射から生じる光を透過させるであろう。別個の素子として図示されているが、１／４波長板２０９は、偏光フィルタ２０８とともに単一のユニットとして構成され得る。
【0105】
正反射して受け取られた光は、鏡面反射からのグレアの影響が低減された被写体１０２を撮像するために、カメラ１０６の画像センサにおいて受け取られる。よって、円偏光のこの送信及び受信は、有利には、グレアからのノイズの多い鏡面反射の濾過を可能にし、それによりプロセッサ１１８によって処理されるべき画像の質を向上させる。このグレア低減は、図１４に図示されている。
【0106】
次に図１３Ｂを参照すると、偏光子１１０３が非アクティブ化（又は、非偏光状態に構成されている）されているとき、被写体１０２はランダム偏光によって照らされ、１／４波長板２０７及び２０９は偏光機能を実行しない。よって、ランダム偏光は、カメラ１０６によって撮像されるように、直線偏光にある鏡面反射及び正反射を出力する偏光フィルタ２０８上に入射する。
【0107】
右回りの円偏光の送信及び受信として記載及び図示されているが、同じグレア低減効果を達成するために左回りの円偏光を送信及び受信するような等価の構成が構築され得ることが理解されよう。同様に、偏光子１１０３及び偏光フィルタ２０８は、透過素子として図示されているが、他の実施形態では、偏光子１１０３及びフィルタ２０３は、反射素子として実現され得ることが理解されよう。いくつかの実施形態では、偏光子１１０３及び偏光フィルタ２０８は、単一のユニットとして構成されてもよい。同様に、１／４波長板２０７及び２０９は、単一のユニットとして構成されてもよいし、又は１つ以上のファラデー回転子のような他の偏光回転素子に置き換えられても良い。
【0108】
上で記載された偏光制御は、アイウェアのような鏡面反射からのグレア効果を低減するように作用するが、もしドライバー１０２が偏光サングラスを装着しているなら、カメラ１０６の画像センサには、アイトラッキング及びドライバーモニタリングを実行するのに不十分な光しか透過されないかもしれない。さらに、ドライバー１０２が偏光サングラスを装着していないとしても、光を偏光させることは、ドライバー１０２の顔から受け取られる最初の光の相当量を濾過することを伴うので、その結果、カメラ１０６の画像センサに到達する全体的な光は低減させられる。よって、これを補うには、カメラ１０６がより低いレベルの光を撮像するか、又は光源１０８のパワーが増加されるかしなければならない。本発明者は、ドライバーモニタリングシステム１１００のアイトラッキング及び／又は電力消費を改善させるために、アイウェアが存在しないときは偏光をディセーブルする（disable、オフにする）ことが有利であることを見出した。
【0109】
これは、図１３Ａに示される偏光状態と、図１３Ｂに示される非偏光状態との間で切り替えるように、ビジョンプロセッサ１１８によるアイウェアの状態の検出に基づいて偏光子１１０３及び偏光子２０８を制御することによって達成され得る。この動的な偏光制御は、図１５及び図１６を参照して記載される。
【0110】
最初に図１５を参照すると、ビーム２０４を右回りの円偏光状態のような偏光状態に偏光させるように、偏光子１１０３及び偏光フィルタ２０８がアクティブ状態になるよう最初に制御されるシナリオにおける、主要なプロセスステップを示すプロセスのフロー図が図示されている。
【0111】
ステップ８０１において、システム１００は、光源１０８からの照明下で、カメラ１０６を使用してドライバー１０２を撮像する。偏光子１１０３は、最初、光源１０８からの光を円偏光状態（左回り又は右回り）に偏光させるようにアクティブ化され、偏光フィルタ２０８も同様に、光を同じ偏光状態（左回りの円又は右回りの円）に偏光させるように制御される。ステップ８０２では、ビジョンプロセッサ１１８は、目の特徴の例として、ドライバー１０２の瞳孔を検出するように、キャプチャされた画像を処理する。ステップ８０２における瞳孔の検出は、単に、２値のイエス／ノーの判定であってもよく、又はより高度な分析でもよい。いくつかの実施形態では、片方又は両方の瞳孔は、ある程度の確実性又は信頼度で検出されなければならない。これは、瞳孔／虹彩の境界又はコントラストを特定することによって実行され得る。ビジョンプロセッサ１１８は、ステップ８０２において、瞳孔、瞼、又は瞳孔／虹彩のコントラストのような、他の、目の特徴を検出するように、同様に構成され得る。
【0112】
もし、ステップ８０２において、ビジョンプロセッサ１１８が、ドライバー１０２の片方又は両方の瞳孔を検出するなら、ステップ８０３において、ビジョンプロセッサ１１８は、ドライバー１０２上のアイウェアの存在を検出するために、アイウェア検出ルーチンを実行する。ステップ８０４において、もし、アイウェアが検出されるなら、瞳孔を検出するために、十分な円偏光がアイウェアを透過したことに基づいて、ビジョンプロセッサ１１８は、当該アイウェアは非偏光アイウェアであると判定する。これは、「無偏光アイウェア」のアイウェア状態を生成する。逆に、もし、アイウェアが検出されないなら、ビジョンプロセッサ１１８は、「アイウェアなし」のアイウェア状態であると判定する。このアイウェア状態の判定は、メモリ１１６に記憶され、ビジョンプロセッサ１１８による後続の画像処理においてアクセスされる。さらに、この判定されたアイウェア状態は、デバイスコントローラ１２０が偏光子１１０３及び偏光フィルタ２０８を制御するための制御信号２０６及び２１２を生成するように使用される。
【0113】
もし、ステップ８０４においてアイウェアが検出されるなら、ステップ８０５において、偏光子１１０３及び偏光フィルタ２０８は、光ビーム２０４を円偏光させることを継続するように、アクティブ状態に維持されるように、デバイスコントローラ１２０によって制御される。この状態では、システム１１００は、円偏光を使用してシステム１１００によってドライバーモニタリングを実行できるように、画像群のシーケンスに対して瞳孔及び他の目の特徴をモニタし得て、追跡し得る。このことによって、偏光されていないアイウェアから反射される不要なグレアが、偏光フィルタ２０８によって濾過されることが可能になり、その結果、システム１００の信号対雑音比は改善する。
【0114】
もし、アイウェアが、ステップ８０４において検出されなければ、ステップ８０６において、偏光ビーム２０４が非偏光（又はランダム偏光）になるように、偏光子１１０３及び偏光フィルタ２０８を非アクティブ化するための制御信号２０６及び２１２が、デバイスコントローラ１２０によって生成される。代替として、偏光子１１０３及び偏光フィルタ２０８は、偏光を実行しない（又はランダム偏光を実行する）アクティブモードに切り替えられてもよく、又はデバイスが光路から電気機械的に移動させられてもよい。この状態では、システム１１００は、偏光された光を必要することなく、瞳孔及び他の目の特徴を、モニタし得て、追跡し得る。これによって、ドライバー１０２の顔からカメラ１０６に戻る光の量が増加し、より正確なアイトラッキングが可能になり及び／又は光源１０８の強度を選択的に低減させることが可能になる。
【0115】
もし、ステップ８０２において、ビジョンプロセッサ１１８が、片方又は両方の瞳孔を検出することができないなら、ステップ８０７において、ビジョンプロセッサ１１８は、ドライバー１０２上のアイウェアの存在を検出するために、アイウェア検出ルーチンを実行する。もし、ステップ８０８において、アイウェアが検出されないなら、ビジョンプロセッサ１１８は、他の物体のようなものによって塞がれているか、又は目が閉じていると結論づける。この場合、ビジョンプロセッサ１１８は、瞳孔はこの画像からは特定され得ないと判定し、処理は後続の画像へ移動する。代替として、この場合、片方又は両方の瞳孔の検出を試みるために、より高度な画像処理又はデバイス制御が実行されてもよい。例として、光源１０８の駆動電流及びパルス時間は、瞳孔検出の信号対雑音比を改善するように、カメラ１０６の露出時間と連動して動的に制御されてもよい。そのような技術は、「System and Method for Improving Signal to Noise Ratio in Object Tracking Under Poor Light Conditions」と題され、Seeing Machines Limitedに譲渡されたJohn NobleによるＰＣＴ特許出願公開ＷＯ２０１９／０８４５９５に記載されている。
【0116】
もし、ステップ８０８においてアイウェアが検出されるなら、ステップ８０９において、デバイスコントローラ１２０は、偏光子１１０３及び偏光フィルタ２０８を非偏光又はランダム偏光状態にするよう非アクティブ化するための制御信号２０６及び２１２を生成する。ステップ８１０において、目の特徴例として、ドライバー１０２の瞳孔を検出するために、ビジョンプロセッサ１１８は、偏光システムを非アクティブ化した状態で、新たにキャプチャされた画像を処理する。もし、ステップ８１０において、片方又は両方の瞳孔が、アイトラッキングを実行するのに十分に検出されるなら、ビジョンプロセッサ１１８は、「偏光アイウェア」のアイウェア状態であると判定し、システム１１００は、偏光アイウェアを通して、ドラバー１０２のアイトラッキングを実行する。
【0117】
いくつかの実施形態では、偏光アイウェア状態が検出されると、瞳孔検出の信号対雑音比を改善するために、偏光子１１０３及び偏光フィルタ２０８は、垂直直線偏光状態になるよう制御されてもよい。偏光アイウェアは、水のような表面から反射される水平に偏光された光を遮断するために、典型的には垂直方向に直線偏光させる。よって、光ビーム２０４を垂直直線偏光状態に偏光させることは、偏光サングラスを通過して瞳孔に到達する光の量を改善し、他の方向で偏光された光を実質的に低減又は遮断する。
【0118】
もし、ステップ８１０において、片方又は両方の瞳孔が依然として検出されないなら、ビジョンプロセッサ１１８は、ドライバー１０２が濃いサングラスを装着しているときのように、「塞いでいるアイウェア」の状態に達していると判定する。この場合、ビジョンプロセッサ１１８は、瞳孔は追跡され得ないと判定してもよく、処理は後続の画像について継続する。代替として、片方又は両方の瞳孔の検出を試みるために、より高度な画像処理又はデバイス制御が実行されてもよい。例として、光源１０８の駆動電流及びパルス時間は、ＷＯ２０１９／０８４５９５に記載されている方法と同様の方法で、カメラ１０６の露出時間と連動して動的に制御されてもよい。
【0119】
ここで図１６を参照すると、偏光子１１０３及び偏光フィルタ２０８が最初に非アクティブ化されるシナリオのための、代替の制御方法９００が図示されている。ステップ９０１において、システム１１００は、光源１０８からの照明下で、カメラ１０６を使用してドライバー１０２を撮像する。偏光子１１０３が非アクティブ状態にあるときには、光ビーム２０４は、非偏光であるか又はランダムに偏光される。ステップ９０２において、ビジョンプロセッサ１１８は、目の特徴例としてドライバー１０２の瞳孔を検出するために、キャプチャされた画像を処理する。もし、ステップ９０２において瞳孔が検出されるなら、ステップ９０３においてビジョンプロセッサ１１８は、アイウェアの存在を検出するために、アイウェア検出ルーチンを実行する。代替として、もし、瞳孔がステップ９０２において検出されるなら、システム１００は、アイウェアの検出なし（下の図１７を参照）で、単に、検出された瞳孔（群）に基づいてアイトラッキングを実行する。しかし、下に記載されているように、アイウェアの検出により、アイウェアが存在するときのアイトラッキングシステムのロバスト性を改善できる可能性が生まれる。
【0120】
もし、ステップ９０４においてアイウェアが検出されるなら、ステップ９０５において、偏光システムは、偏光子１１０３及び偏光フィルタ２０８をアクティブ化することによってアクティブ化された状態になる。偏光システムは、上記のように、アイウェアの反射からのグレアを低減させるために、円偏光状態にアクティブ化されてもよい。ステップ９０６において、ビジョンプロセッサ１１８は再び、検出された瞳孔（群）の視認性が改善されたかを判定するために、キャプチャされた画像を処理して瞳孔（群）の存在を検出し、ステップ９０２における瞳孔検出と比較する。これによる改善は、瞳孔の輝度（又は、もし、システムが暗い瞳孔モードで動作しているなら、瞳孔の暗さ）が増加すること、又は瞳孔／虹彩のコントラストが増加することであり得る。
【0121】
もし、ステップ９０６において、ビジョンプロセッサ１１８が、瞳孔の視認性は光ビーム２０４の偏光後に改善したと判定するなら、ビジョンプロセッサ１１８は、ドライバー１０２は非偏光アイウェアを装着していると判定し、非偏光アイウェアのアイウェア状態が提示される。この場合、システム１００は、非偏光アイウェアからの反射に起因するグレアを低減させるように、偏光を使用して、ドライバー１０２のアイトラッキングを実行する。
【0122】
もし、ステップ９０６において、ビジョンプロセッサ１１８が、瞳孔の視認性は光ビーム２０４の偏光後に減少したと判定するなら、ビジョンプロセッサ１１８は、ドライバー１０２は偏光アイウェアを装着していると判定し、「偏光アイウェア」のアイウェア状態が提示される。この状況では、ステップ９０７において、デバイスコントローラ１２０は、システム１００が非偏光又はランダム偏光を用いてドライバー１０２上でアイトラッキングを実行するように、偏光子１１０３及び偏光フィルタ２０８を非アクティブ化する。
【0123】
ステップ９０４において、もしアイウェアが検出されないなら、ビジョンプロセッサ１１８は、ドライバー１０２はアイウェアを装着していないと判定し、「アイウェアなし」のアイウェア状態が提示される。このシナリオでは、偏光システムは非アクティブのままであり、システム１１００は、非偏光又はランダム偏光を用いて、ドライバー１０２上でアイトラッキングを実行する。
【0124】
ステップ９０２において、もし瞳孔（群）が検出されないなら、ステップ９０８において、ビジョンプロセッサ１１８は、ドライバー１０２上のアイウェアの存在を検出するためのアイウェア検出を実行する。ステップ９０９において、もしアイウェアが検出されるなら、ステップ９１０において、デバイスコントローラ１２０は、偏光子１１０３及び偏光フィルタ２０８を、円偏光状態のようなそれぞれの偏光状態にアクティブ化する。ステップ９１１において、ビジョンプロセッサ１１８は、ドライバー１０２の片方又は両方の瞳孔の存在を再び検出するように、偏光の照明の下でキャプチャされた画像に対して画像処理を実行する。もし、ステップ９１１において、瞳孔が検出されるなら、ビジョンプロセッサ１１８は、ドライバー１０２は非偏光アイウェアを装着していると判定し、「非偏光アイウェア」の状態が提示される。この状況において、システム１００は、偏光を用いてドライバー１０２を照らすことによって、アイトラッキングを実行する。
【0125】
もし、ステップ９１１において、瞳孔が検出されないなら、ビジョンプロセッサ１１８は、ドライバー１０２は遮蔽アイウェアを装着していると判定し、「遮蔽アイウェア」のアイウェア状態が提示される。この状況において、瞳孔は正常に特定され得ず、ビジョンプロセッサ１１８は単に、後続の画像の処理を続け得る。しかし、いくつかの実施形態では、片方又は両方の瞳孔の検出を試みるために、より高度な画像処理又はデバイス制御が実行され得る。例として、光源１０８の駆動電流及びパルス時間は、ＷＯ２０１９／０８４５９５に記載されている方法と同様の方法で、カメラ１０６の露出時間と連動して動的に制御されてもよい。
【0126】
もし、ステップ９０９において、ビジョンプロセッサ１１８が、アイウェアが存在しないことを検出するなら、ビジョンプロセッサは、ドライバーの瞳孔（群）は遮蔽されていると判定し、「目が遮蔽されている」というアイウェア状態が提示される。この状況においては、瞳孔はふつうは特定され得ず、ビジョンプロセッサ１１８は単に、後続の画像の処理を続けて、目が再び視認され得る状態になるまで待ってもよい。しかし、いくつかの実施形態では、片方又は両方の瞳孔の検出を試みるために、より高度な画像処理又はデバイス制御が実行されてもよい。例として、光源１０８の駆動電流及びパルス時間は、ＷＯ２０１９／０８４５９５に記載されている方法と同様の方法で、カメラ１０６の露出時間と連動して動的に制御されてもよい。
【0127】
いくつかの実施形態では、アイウェア状態の検出が積極的には実行されない、より単純なアルゴリズムが実装され得る。例示的な単純なアルゴリズムは、図１７に図示されており、この図は、偏光子１１０３が初期状態では非アクティブ化されているシナリオを示している。最初のステップ１００１において、システム１００は、光源１０８からの照明下で、カメラ１０６を使用してドライバー１０２を撮像する。偏光子１１０３が非アクティブ化された状態において、光ビーム２０４は、非偏光であるか又はランダムに偏光される。ステップ１００２において、ビジョンプロセッサ１１８は、目の特徴の例として、ドライバー１０２の瞳孔を検出するために、キャプチャされた画像を処理する。もし、ステップ１００２において、瞳孔が検出されるなら、システム１１００は、非偏光又はランダム偏光を用いて、ドライバー１０２に対して、アイトラッキングを実行する。
【0128】
もし、ステップ１００２において、瞳孔が検出されないなら、ステップ１００３において、デバイスコントローラ１２０は、偏光子１１０３及び偏光フィルタ２０８を、円偏光状態のようなそれぞれの偏光状態にアクティブ化する。ステップ１００４において、ビションプロセッサ１１８は、ドライバー１０２の片方又は両方の瞳孔の存在を再び検出するように、偏光の照明の下でキャプチャされた画像に対して画像処理を実行する。もし、ステップ１００４において、片方又は両方の瞳孔が検出されるなら、システム１００は、偏光を用いてドライバー１０２を照らすことによって、アイトラッキングを実行する。もし、ステップ１００４において、どちらの瞳孔も検出されないなら、瞳孔はシステム１１００によって正常に特定され得ず、ビジョンプロセッサ１１８は単に、後続の画像の処理を続け得る。しかし、いくつかの実施形態では、片方又は両方の瞳孔の検出を試みるために、より高度な画像処理又はデバイス制御が実行されてもよい。例として、光源１０８の駆動電流及びパルス時間は、ＷＯ２０１９／０８４５９５に記載されている方法と同様の方法で、カメラ１０６の露出時間と連動して動的に制御されてもよい。
［アイウェアの影響の緩和及び可視光シャッター］
［アイウェアの影響の緩和及び可視光シャッター］
【0129】
上記の実施形態は、従来の被写体の撮像のための可視光を選択的に透過又は遮断することと組み合わせて、アイトラッキングにおけるアイウェアの影響を緩和するために、赤外光の動的偏光を実行することができる。偏光子の偏光効果は赤外波長に対してのみ動作し、可視光シャッターは可視波長に対してのみ動作するので、２つの動作は互いに組み合わされて実行され得る。
【0130】
ここで図１８を参照すると、アイトラッキングのための動的な赤外偏光と、従来の撮像のための可視光制御との両方を実行するためのシステム１８００が図示されている。システム１８００において、上述のシステムに共通する要素は、簡単のために、同じ参照符号で示されている。光源１０８は、目を含む被写体１０２を赤外光で照らすように構成される。カメラ１０６は、赤外波長領域と可視波長領域との両方で光を検出するために、ＲＧＢ－ＩＲセンサを内蔵する。図１８において、赤外光は破線として図示され、可視光は実線として示される。
【0131】
システム１８００においては、偏光子１１０３は、赤外波長領域だけで動作する液晶偏光フィルタの形態であることが好ましい。まず赤外波長を考えると、偏光子１１０３は、よって上述のように、光源１０８からの赤外光を直線偏光状態（例として、図１８では垂直偏光が図示されている）又はランダム偏光状態のいずれか１つの状態で選択的に通過させるように、アイウェアの影響の緩和に関して動作する。それから赤外光は、１／４波長板２０７を通って透過され、１／４波長板２０７は、偏光子１１０３が直線偏光を生成するように構成されているときは円偏光を生成し、又はそうでないときはランダム偏光を生成する。図１８では、偏光子１１０３が偏光モードであるときの赤外偏光状態だけが図示されていることに注意されたい。被写体１０２からの反射が起こると、鏡面反射は右回り偏光から左回り偏光に反転し（又は、他の構成ではその逆）、正反射は右回り円偏光のままである。
【0132】
これらの、戻り光２０５の円偏光の要素は、第２の１／４波長板２０９を通して透過され、第２の１／４波長板２０９はそれらを直線偏光に変換する。図示された実施形態では、鏡面反射の要素は垂直偏光に変換され、正反射の要素は水平偏光に変換される。これらの要素は、その後、水平偏光軸を有し、正反射要素を透過させつつ鏡面反射要素をフィルタリングする赤外線偏光子２０８Ａを通して透過される。
【0133】
ここで、可視光領域を考える、シーン及び周囲からの可視光は、被写体１０２に入射し、可視光の一部はカメラ１０６に到達する。入射する可視光は、一般にランダム偏光であるため、１／４波長板２０９は可視光に対して大きな偏光の影響を与えない。光は、バンドパスフィルタ２１５及びＩＲ（赤外）線偏光子２０８を通して透過されるが、このことは可視光には影響を与えない。電気的に制御可能なフィルタ２０３は、可視光シャッターとして動作し、フィルタ２０３の状態に依存して、可視光を選択的に透過又は遮断する。
【0134】
フィルタ２０３がアクティブドメイン液晶シャッターを含むとき、フィルタ２０３を通して透過するランダム偏光は、液晶物質内のドメインを電気的に制御することによって、オン又はオフに切り替えられ得る。フィルタ２０３が偏光フィルタであるとき、上述のように、ねじれネマティック液晶セルにおいて発生する偏光回転を電気的に制御することにより、ランダム偏光は、直線偏光にされ得て、透過又は遮断され得る。フィルタ２０３は、赤外波長に対してはほとんど不可視である。
【0135】
システム１８００は、アイトラッキングにおいてアイウェアの影響を緩和し又は被写体の従来の撮像のために可視光を選択的に透過又は遮断するように、赤外光の、２種類の動的偏光を実行するために、可視波長及び赤外波長が独立して処理されることを可能にする。
【0136】
図１８に図示されている実施形態が、この機能をインプリメントする唯一の方法ではないことは理解されよう。いくつかの実施形態では、液晶セルに基づかない他の種類の偏光子が採用されてもよい。１／４波長板２０７及び２０９は、１つ以上のファラデー回転子、カー・セル、又はポッケルスセルのような他の変更操作要素によって置換されてもよい。いくつかの実施形態では、１／４波長板２０７及び２０９の順方向及び逆方向の偏光回転を実行するために、単一方向の偏光回転子が使用されてもよい。いくつかの実施形態では、赤外偏光子１１０３及び赤外直線偏光子は、入射赤外線をある偏光状態になるよう偏光し、戻り赤外光を他の偏光状態になるようフィルタリングするために、別個の偏光領域を有する単一の偏光デバイスであってもよい。例として、これには、２つ以上の独立した制御可能な画素又は領域を有する液晶デバイスが含まれる。
［結論］
［結論］
【0137】
本発明の実施形態は、ほとんどまたはすべての赤外光を通過させる一方で、可視光を選択的に遮断する可視光シャッターを提供する。これは、従来の撮像システム（可視光において、オプションとして赤外光においても動作する）と被写体モニタリングシステム（赤外光において動作する）との両方として動作できる単一のシステムを提供する点で有利である。
【0138】
本発明のさらなる実施形態は、アイウェア状態の検出、又は瞳孔の検出又は非検出に基づく、異なるアイウェア条件下での被写体のロバストなアイトラッキングを提供する。被写体が非偏光のアイウェアを着用していることが検出されるとき、被写体の目を塞ぐグレアとなり得るアイウェアからの鏡面反射を低減するために、被写体は円偏光のような偏光を用いて照らされる。被写体が、偏光サングラスを装着していることが検出されるとき、偏光サングラスが瞳孔への光の到達を妨げないことを確保するために、被写体は、非偏光又はランダム偏光を用いて照らされる。いくつかの実施形態では、被写体が偏光サングラスを装着しているとき、被写体の瞳孔をよりよく撮像するために、被写体は、偏光サングラスを最もよく透過する垂直直線偏光で照らされてもよい。
【0139】
上述のシステムは、異なる動作条件下における、アイトラッキングシステムのロバスト性を改善する。
［解釈］
［解釈］
【0140】
「赤外線」という用語は、本記載及び明細書の全体にわたって使用される。本明細書の範囲では、赤外線は、近赤外線、赤外線、及び遠赤外線の周波数つまり光波を含む電磁スペクトルの一般的な赤外線領域を表す。
【0141】
本明細書を通して使用される「可視光」、「可視波長」等の用語は、可視領域における電磁放射の波長を表すことを意図している。これは、典型的には、350nm－750 nmの範囲の波長を含む。
【0142】
本明細書を通して、「非偏光」及び「ランダム偏光」という用語の使用は、同じことを意味することを意図している。具体的には、これらの用語は、光の電界ベクトルの特定の幾何学的配向が課されない光の状態に関することを意図している。その結果、光は無偏光のように見えるが、実際には、時間とともに急速に変化する多数のランダム偏光の電界ベクトルの組み合わせである。非偏光又はランダム偏光は、ＬＥＤ（群）のようなインコヒーレントな光源から自然に発生する。
【0143】
本明細書を通して、「要素」又は「モジュール」という用語の使用は、単一の単体部品、又は特定の機能又は目的を実行するために組み合わされる部品群の集合体のいずれかを意味することを意図している。
【0144】
具体的に特段の記載がない限り、以下の議論から明らかなように、本明細書を通して、「処理」、「コンピューティング」、「計算」、「判定」、「分析」又はそれらの類似物のような語を利用した議論は、電子的のような物理的な量として表現されるデータを、物理的な量として同様に表現される他のデータに操作し及び／又は変換する、コンピュータ又はコンピューティングシステム又は類似の電子コンピューティング装置の動作及び／又は処理を表すことが理解されよう。
【0145】
同様に、「コントローラ」又は「プロセッサ」の用語は、例えば、レジスタ及び／又はメモリからの電子データを処理して、その電子データを、例えばレジスタ及び／又はメモリに記憶され得る他の電子データに変換する装置の、任意の装置又はその一部を表し得る。「コンピュータ」又は「コンピューティングマシン」又は「コンピューティングプラットフォーム」は、１つ以上のプロセッサを含み得る。
【0146】
本明細書を通して「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という言い方は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通してさまざまな箇所に「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という文言が現れることは、必ずしも全てが同一の実施形態を指すのではない。さらに、特定の特徴、構造、又は特性は、本開示から当業者には明らかなように、１つ以上の実施形態において任意の適切なやり方で組み合わせられてもよい。
【0147】
ここで用いられるように、特にそうではないと述べられない限り、共通の物体を記載するために用いられる順序を表す形容詞「第１」、「第２」、「第３」等は、単に類似の物体の異なる例が参照されることを示すだけであり、そのように記載された物体が、時間的、空間的、序列において、又は任意の他の点において、与えられた順序で存在しなければならないことを示唆するようには意図されていない。
【0148】
以下の特許請求の範囲及びここでの説明において、備える、備わった、又は備えられているという語のいずれも開放的な語であり、少なくとも後に続く要素／特徴を含むことを意味するのであって、他のものを排除することを意味しない。よって備えるという語は、特許請求の範囲で用いられるときは、その後に列挙された手段又は要素又はステップに限定されるようには解釈されるべきではない。例えば、Ａ及びＢを備える装置という表現の範囲は、要素Ａ及びＢだけからなる装置に限定されるべきではない。ここで使われているように含むという語のいずれもやはり開放的な語であり、その語の後に続く要素／特徴を少なくとも含むということを意味するが、他の物を排除する意味はない。よって含むは、備えると同義であり、備えるという意味である。
【0149】
本開示の例示的実施形態の上の説明において、本開示のさまざまな特徴は、時として、本開示を効率的にし、１つ以上のさまざまな発明の局面の理解を助けるために、単一の実施形態、図、又はその記載においてまとめられている。しかしこの開示方法は、特許請求の範囲がそれぞれの特許請求の範囲において明示的に記載されたよりも多くの特徴を要求するという意図を反映するようには解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の局面は、単一の前述の開示された実施形態の全ての特徴よりも少ない所に存する。よって詳細な説明の後の特許請求の範囲は、ここで明示的にこの詳細な説明に援用され、それぞれの請求項は、本開示の別々の実施形態として、それ自身で有効である。
【0150】
さらに、当業者に理解されるように、ここで記載されたいくつかの実施形態は、いくつかの特徴を含むが、他の実施形態中に含まれる他の特徴は含まないが、異なる実施形態の特徴の組み合わせも本開示の範囲内にあると意図され、異なる実施形態を形成するものと意図される。例えば、以下の特許請求の範囲において、請求された実施形態の任意のものは、任意の組み合わせにおいて用いられ得る。
【0151】
ここに提供された記載において、多くの具体的な詳細が述べられている。しかし、本開示の実施形態は、これら具体的な詳細なしでも実施され得ることが理解されよう。換言すれば、本記載の理解を不明瞭にさせないために、よく知られた方法、構造、及び技術は詳細には示されていない。
【0152】
同様に、結合されるという語は、特許請求の範囲で使われるときには、直接的接続だけに限定されて解釈されるべきではないことに注意されたい。「結合された」及び「接続された」という語が、それらの派生形もあわせて、用いられ得る。これら語は、互いの同義語としては意図されていない。よって装置Ｂに結合された装置Ａという表現の範囲は、装置Ａの出力が直接に装置Ｂの入力に接続されている装置又はシステムに限定されるべきではない。それは、Ａの出力及びＢの入力の間のパスが存在し、これは、他の装置又は手段を含むパスであってもよいということを意味する。「結合された」は、２つ以上の要素が直接的な物理的、電気的、又は光学的接触のいずれかにあること、又は２つ以上の要素が直接的な接触にはないが、依然として互いに協働又は相互作用することを意味し得る。
【0153】
本明細書に記載された実施形態は、本発明のあらゆる適応又は変形を対象とすることを意図している。本発明は、特定の例示的な実施形態の観点で記載され、説明されてきたが、当業者には、本発明の範囲内にあるさらなる実施形態が容易に想定され得ることが理解されよう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17】
【図18】
【外国語明細書】