特開 2024-69199 赤外線光源保護システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024069199

(43)【公開日】2024-05-21

(54)【発明の名称】赤外線光源保護システム

(51)【国際特許分類】

   G03B 15/05 20210101AFI20240514BHJP

   B60R 11/04 20060101ALI20240514BHJP

   G03B 15/00 20210101ALI20240514BHJP

   G03B 15/02 20210101ALI20240514BHJP

   G03B 15/03 20210101ALI20240514BHJP

   G03B 7/091 20210101ALI20240514BHJP

   G06V 20/59 20220101ALI20240514BHJP

   G06V 10/141 20220101ALI20240514BHJP

   G06T 7/00 20170101ALI20240514BHJP

【ＦＩ】

G03B15/05

B60R11/04

G03B15/00 S

G03B15/00 V

G03B15/02 G

G03B15/03 W

G03B15/00 Q

G03B7/091

G06V20/59

G06V10/141

G06T7/00 660A

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024019175

(22)【出願日】2024-02-13

(62)【分割の表示】P 2020556809の分割

【原出願日】2019-04-18

(31)【優先権主張番号】2018901300

(32)【優先日】2018-04-19

(33)【優先権主張国・地域又は機関】AU

(71)【出願人】

【識別番号】516064611

【氏名又は名称】シーイング マシーンズ リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】エドワーズ ティモシー ジェームズ ヘンリー

(57)【要約】      （修正有）

【課題】高レベルの赤外線放射に長時間さらされる危険を回避する。
【解決手段】本明細書に記載されているのは、被写体（１０２）を連続的に照らす１つ以上の赤外線光源（１０８、１１０）を含む監視システム（１００）である。システム（１００）はまた、被写体（１０２）が光源（１０８、１１０）の１つによって照らされている期間中に被写体（１０２）の画像を取り込むカメラ（１０６）を含む。プロセッサは、取り込まれた画像を処理して画像の輝度測定値を決定し、制御装置は、輝度測定値に応じて赤外線光源（１０８、１１０）の出力パワーを制御する。プロセッサが所定の輝度閾値を下回る輝度測定値を検出したことに応じて、制御装置は、赤外線光源（１０８、１１０）の１つの出力照明強度をオフにするか、又は低減するように構成される。
【選択図】図２

【特許請求の範囲】

【請求項1】

少なくとも１つの電磁放射源及び撮像カメラを含む運転者又は乗員の監視システムにおいて、前記電磁放射源の閉塞を検出する方法であって、
（ａ）電磁放射源の強度を所定の方法で変調するステップと、
（ｂ）前記変調が、前記撮像カメラの対応する取込み画像の少なくとも一つの領域に存在するか否かを検出するステップと、
（ｃ）存在する所定の変調の程度に基づいて、前記放射源が閉塞されているか否かを判断するステップとを備える方法。

【請求項2】

前記変調するステップ（ａ）は、時間的又は空間的な変調を含む、請求項１に記載の方法。

【請求項3】

前記変調が、擬似ランダム変調、正弦波変調及び方形波変調のうちの少なくとも１つを含む、請求項１又は２に記載の方法。

【請求項4】

前記画像がいくつかのタイル状の領域に分割され、前記検出するステップが、各タイル状の領域に適用される、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記検出するステップが、前記変調が存在するか否かを判断するために、前記変調のための整合フィルタを、前記取込み画像に適用することを含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

被写体を連続的に照らす１つ又は複数の赤外線光源と、
前記被写体が前記光源の１つによって照らされている期間中に前記被写体の画像を取り込むカメラと、
取り込まれた前記画像を処理して前記画像の輝度測定値を決定するプロセッサと、
前記輝度測定値に応じて前記赤外線光源の出力パワーを制御する制御装置とを含み、
前記プロセッサが所定の輝度閾値を下回る輝度測定値を検出することに応じて、前記制御装置は、前記赤外線光源のうちの１つの出力照明強度をオフにするか、又は低減させるように構成されている監視システム。

【請求項7】

前記輝度測定値が前記画像の平均ピクセル強度である、請求項６の監視システム。

【請求項8】

前記輝度測定値が前記画像の画素のサブセットの平均ピクセル強度である、請求項６の監視システム。

【請求項9】

前記画素領域が、前記被写体の顔、目、又は両目に対応する、請求項６の監視システム。

【請求項10】

前記輝度測定が、２つ以上の画像間の輝度の比較である、請求項６の監視システム。

【請求項11】

前記輝度測定は、連続した画像間の輝度の比較である、請求項６の監視システム。

【請求項12】

前記輝度測定は、共通の赤外線光源による照明中に取り込まれた２つの画像間の輝度の比較である、請求項６の監視システム。

【請求項13】

前記比較は、２つ以上の画像のピクセル強度をピクセル単位で比較することを含む、請求項１２の監視システム。

【請求項14】

前記比較は、２つ以上の画像の平均ピクセル強度を比較することを含む、請求項８から１０のいずれか１項に記載の監視システム。

【請求項15】

赤外線光源が所定の遅延期間の間オフにされているとき、前記制御装置は、１つ以上のテスト画像が取り込まれるテスト期間の間に前記赤外線光源を再起動するように構成され、前記制御装置は、前記テスト画像の輝度測定値が所定の輝度閾値以上である場合には、前記赤外線光源を作動状態に維持し、そうでない場合には、前記赤外線光源を作動させないようにさらに構成されている、請求項６から１４のいずれか１項に記載の監視システム。

【請求項16】

前記光源の少なくとも１つが、前記被写体から光軸に沿って見て、カメラから３．２度を超える角度に配置されている、請求項６から１５のいずれか１項に記載の監視システム。

【請求項17】

所定の輝度閾値を下回る輝度測定値を検出することに応じて、前記制御装置は、人への放射線の安全性の決定に基づいて、前記出力照明強度を減少させ、前記赤外線光源の照明期間を増加させる、請求項６から１６のいずれか１項に記載の監視システム。

【請求項18】

前記プロセッサが、前記輝度測定値の現在のレベルを複数の予め定められた複数のレベルから検出するように構成され、それに対応して、前記制御装置が、前記赤外線光源の１つの出力照明強度を、前記現在のレベルに対応する値に設定するように構成されている、請求項６から１７のいずれか１項に記載の監視システム。

【請求項19】

乗り物のキャビン内に取り付けられ、前記被写体は前記乗り物の運転者である、請求項６から１８のいずれか１項に記載の監視システム。

【請求項20】

２つ以上の赤外線光源のシステムを制御する方法であって、
i.間隔をあけて配置された２つ以上の赤外線光源から被写体を連続的に照らすことと、
ii.前記被写体が前記赤外線光源の１つによって照らされている期間中に被写体の画像
を取り込むことと、
iii.取り込まれた前記画像を処理して、前記画像の輝度測定値を決定することと、
iv.前記輝度測定値を所定の輝度閾値と比較することと、
v.ステップivの比較に応じて赤外線光源の出力パワーを制御することとを含み、ステップvでは、前記所定の輝度閾値を下回る輝度測定値を検出することに応じて、前記赤外線
光源のうちの１つの出力照明強度を低減させるか、又はゼロに設定する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、制御システム、特に１つ以上の赤外線光源の制御システムに関する。

【0002】

本発明の実施形態は、運転者監視システムにおける赤外線光源のパワーを制御するために特に適合される。しかしながら、本発明は、より広い状況及び他の用途に適用可能であることが理解されるであろう。

【背景技術】

【0003】

人間は、図１に示されているように、電磁スペクトル全体で様々なレベルの放射線に常にさらされている。

【0004】

より高い周波数の放射線は、より多くのエネルギーを持ち、それが遭遇する物質と相互により強く作用でき、したがって、一般的により危険である。例えば、人々は、低周波の電波に悪影響なしで常時曝され得るが、比較的短時間であっても高周波のX線への曝露は
危険であり得る。一般的に人間にとって危険であると考えられている周波数の範囲は、通常、紫外線からガンマ線まで広がっている。しかしながら、赤外線放射のようなより低い周波数の放射もまた、人間にとって危険であり得るいくつかの例がある。

【0005】

赤外線発光及び感知技術は、今日の技術の多くの分野で使用されている。応用例としては、以下のようなものがある。

【0006】

赤外線発光ダイオード(LED)を使用したスポーツ傷害や火傷の治療。

【0007】

テレビや他の電化製品のリモートコントロール。

【0008】

携帯電話間やワイヤレスヘッドセットシステム等の近距離通信。

【0009】

興味の被写体に焦点を合わせるためのカメラの照明器具。

【0010】

天気予報のための雲の衛星画像。

【0011】

セキュリティ及びセンサーシステム。

【0012】

暗視装置。

【0013】

顔検出及び認識システム。

【発明の概要】

【発明が解決しようとする課題】

【0014】

乗り物用の多くの運転者監視システムでは、１つ以上の赤外線ＬＥＤが、運転者の顔を含む景色に赤外線を放射するために使用される。反射光は、赤外線カメラセンサによって画像に画像化され、その画像は、ドライバの眠気及び／又は注意レベルを感知するために処理される。赤外線放射は、肉眼でみることができない性質を有するので、乗り物の運転中の運転者の気を散らすことはない。このような運転者監視システムでは、赤外線ＬＥＤは、典型的には運転者の顔から約３０ｃｍ～１ｍに配置される。

【0015】

一般に、より強力な電磁エネルギーの形態とは異なり、赤外線放射は、典型的には、分
子の動きを開始させるのに十分なエネルギーしか持たず、分子を分解したり、組織の損傷を引き起こすことはない。人の組織が赤外線を吸収すると、その結果として、通常、人は露出した領域に暖かさを感じるようになる。赤外線放射は分子を動かすように働くので、適度な量の赤外線放射は、放射されたり触れたりした近くの生体組織を温めるだけである。

【0016】

しかし、場合によっては、高レベルの赤外線放射に長時間さらされると、高温のストーブや別の熱源にさらされたり、太陽に長時間さらされたりするのと同じように、火傷を引き起こす可能性があるという点で、赤外線放射は危険になり得る。過度の赤外線放射による人体への危険性は、皮膚の火傷をもたらす可能性がある組織の過熱によって引き起こされる。赤外線放射にさらされた皮膚は、一般的に、熱の影響に対する警告メカニズムを提供する。人は痛みを感じるかもしれないが、赤外線にさらされるレベルによっては、さらされてもすぐに痛みが出ないかもしれない。このような理由から、赤外線発光装置の動作を規制するＩＥＣ－６２４７１のような規格が開発されている。

【0017】

紫外線（及び他の有害な電磁波）に対する保護は、危険な環境にある従業員のための曝露時間を制限する等の管理上の規制方法によって達成され得る。さらに、防護服等の個人用保護装備が使用されてもよい。しかしながら、赤外線放射による運転者の連続的又はほぼ連続的な照射が有利な運転者監視のような用途では、これらの方法は非現実的である可能性があり、本発明者は、他の解決策を見出す必要があることを認識した。

【0018】

これは、特に、赤外線放射源が、人体の一部（例えば、放射源に密接に隣接して配置される顔または手等）によって塞がれている可能性がある場合にあてはまる。

【0019】

本明細書を通した背景技術についてのいかなる議論も、そのような技術が広く知られているか、又はその分野における一般的な知識の一部を形成していることを認めるものとはみなされるべきではない。

【課題を解決するための手段】

【0020】

本発明の好ましい実施形態は、顔又は目の検出／認識／追跡システムを利用する運転者又は占有者の監視システム等の特定の用途で赤外線光源を使用することの欠点を相殺することを目的としている。ＬＥＤ又は他の赤外線光源は、人間又は他の物体が光源を塞いでいるときにスイッチを消されるか、又はパワーを減少させる。

【0021】

少なくとも１つの電磁放射源及び撮像カメラを含む運転者又は乗員の監視システムにおいて、前記放射源の閉塞を検出する方法であって、
（ａ）電磁放射源の強度を所定の方法で変調するステップと、
（ｂ）前記変調が前記撮像カメラの対応する画像の少なくとも一つの領域に存在するか否かを検出するステップと
（ｃ）存在する変調の程度に基づいて、前記放射源が閉塞されているか否かを判断するステップとを備える方法。

【0022】

ある実施形態では、変調するステップ（ａ）は、時間的又は空間的な変調を含む。ある実施形態では、画像はいくつかのタイル状の領域に分割され、検出するステップは各タイル状の領域に適用される。

【0023】

ある実施形態では、前記変調は、擬似ランダム変調、正弦波変調及び方形波変調のうちの少なくとも１つを含むことができる。ある実施形態では、検出するステップは、変調が存在するか否かを判断するために、変調のための整合（マッチング）フィルタを取込み画像に適用することを含み得る。

【0024】

本発明のさらなる側面に従って、
被写体を連続的に照らす１つ又は複数の赤外線光源と、
前記被写体が前記光源の１つによって照らされている期間中に前記被写体の画像を取り込むカメラと、
取り込まれた画像を処理して前記画像の輝度測定値を決定するプロセッサと、
前記輝度測定値に応じて前記赤外線光源の出力パワーを制御する制御装置とを含み、
前記プロセッサが所定の輝度閾値を下回る性能低下を検出することに応じて、前記制御装置は、前記赤外線光源のうちの１つの出力照明強度をオフにするか、又は低減させるように構成されている監視システムが提供される。

【0025】

いくつかの実施形態では、輝度測定値は、画像の平均ピクセル強度である。いくつかの実施形態では、輝度測定値は、画像の画素のサブセットの平均ピクセル強度である。ある実施形態では、輝度測定値は、画像内の画素領域の平均ピクセル強度である。画素領域は、好ましくは、被写体の顔、目、又は両目に対応する。

【0026】

いくつかの実施形態では、輝度測定は、２つ以上の画像間の輝度の比較である。ある実施形態では、輝度測定は、連続した画像間の輝度の比較である。他の実施形態では、輝度測定値は、共通の赤外線光源による照明中に取り込まれた２つの画像間の輝度の比較である。いくつかの実施形態では、比較は、２つ以上の画像のピクセル強度をピクセル単位で比較することを含む。他の実施形態では、比較は、２つ以上の画像の平均ピクセル強度を比較することを含む。

【0027】

いくつかの実施形態では、赤外線光源が所定の遅延期間の間オフにされているとき、制御装置は、１つ以上のテスト画像が取り込まれるテスト期間の間に赤外線光源を再起動するように構成され、制御装置は、テスト画像の輝度測定値が所定の輝度閾値以上である場合には、赤外線光源を作動状態に維持し、そうでない場合には、前記赤外線光源を作動させないようにさらに構成される。

【0028】

いくつかの実施形態では、光源の少なくとも１つは、被写体から光軸に沿って見て、カメラから３．２度を超える角度に配置されている。好ましくは、光源の各々は、被写体から光軸に沿って見て、カメラから３．２度を超える角度に配置されている。

【0029】

いくつかの実施形態では、出力照明強度は、データベースに格納されたルックアップテーブルによって決定される。

【0030】

いくつかの実施形態では、所定の輝度閾値を下回る輝度測定値を検出することに応じて、制御装置は、人への放射線の安全性の決定に基づいて、出力照明強度を低減させ、赤外線光源の照明期間を増加または減少させる。

【0031】

いくつかの実施形態では、プロセッサは、輝度測定値の現在のレベルを予め定められた複数のレベルから検出するように構成され、それに対応して、制御装置は、赤外線光源の１つの出力照明強度を、現在のレベルに対応する値に設定するように構成されている。

【0032】

いくつかの実施形態では、システムは乗り物のキャビン内に取り付けられ、被写体は乗り物の運転者又は同乗者である。

【0033】

本発明のさらなる側面に従って、２つ以上の赤外線光源のシステムを制御する方法が提供され、その方法は、
i.１つ以上の間隔をあけて配置された赤外線光源から被写体を連続的に照らすことと、
ii.被写体が赤外線光源の１つによって照らされている期間中に被写体の画像を取り込
むことと、
iii.取り込まれた画像を処理して、画像の輝度測定値を決定することと、
iv.輝度測定値を所定の輝度閾値と比較することと、
v.ステップivの比較に応じて赤外線光源の出力パワーを制御することとを含み、ステップvでは、前記所定の輝度閾値を下回る輝度測定値を検出することに応じて、前記赤外線
光源のうちの１つの出力照明強度を低減させるか、又はゼロに設定する。

【図面の簡単な説明】

【0034】

本開示の例示的な実施形態は、ここでは、ほんの一例として、添付の図面を参照して説明される。

【図1】図１は、電磁スペクトル及びその一次サブバンドを示す図である。

【図2】図２は、カメラと２つのＬＥＤ光源を含む運転者監視システムを搭載した乗り物内の透視図である。

【図3】図３は、図２の運転者監視システムを搭載した自動車のダッシュボードの運転者視点の説明図である。

【図4】図４は、図２及び図３の運転者監視システムの概略機能図である。

【図5】図５は、運転者と相互作用する図２から図４の運転者監視システムの概略平面図であり、ＬＥＤ及びカメラの照明視野及び撮像視野を、各ＬＥＤのそれぞれの注意ゾーンとともに示している。

【図6A】図６Ａ及び図６Ｂは、異なる距離で運転者と相互作用する図２から図４の運転者監視システムの概略平面図である。

【図6B】図６Ａ及び図６Ｂは、異なる距離で運転者と相互作用する図２から図４の運転者監視システムの概略平面図である。

【図7】図７は、２つ以上の赤外線光源のシステムを制御する方法の主要なステップを説明するプロセスフロー図である。

【図8】図８は、５％と１０％のデューティサイクルの例示的なＬＥＤパルス処理曲線を示すグラフである。

【図9】図９は、ただ１個のＬＥＤの閉塞事例の例を示す図である。

【発明を実施するための形態】

【0035】

本明細書に記載された保護システムは、多数の環境に適用され、使用され得る。一例としては、自動車、又は例えばバス、列車、又は飛行機等の他の乗り物の運転者又は同乗者を監視することが挙げられる。さらに、本明細書に記載されたシステムは、機械やフライトシミュレータ等の任意の他の装置を使用、又は操作しているオペレータに適用してもよい。理解を容易にするために、本発明の実施形態は、本明細書では、乗り物のための運転者監視システムの状況の範囲内で記載されている。さらに、赤外線光源はＬＥＤであると記載されているが、本発明は、垂直共振器面発光レーザ（ＶＣＳＥＬ：vertical-cavity surface-emitting laser）等の他の種類の赤外線光源にも適用可能であることが理解されるであろう。

【0036】

<<システムの概要>>
最初に図２から図４を参照すると、乗り物１０４の運転中に乗り物運転者１０２の画像を取り込む運転者監視システム１００が図示されている。システム１００は、人の目を追跡するような、顔検出、顔特徴検出、顔認識、顔特徴認識、顔追跡又は顔特徴追跡のような、取り込まれた画像についての様々な画像処理アルゴリズムを実行するようにさらに適合している。画像処理手順の例は、「顔画像処理システム」と題され、有限会社シーイングマシーンズに譲渡されたエドワーズらに対する米国特許７，０４３，０５６号に記載されており、その内容は相互参照により本明細書に組み込まれている。

【0037】

図３に最もよく示されているように、システム１００は、乗り物ダッシュボード１０７の計器ディスプレイ上又は計器ディスプレイ内に配置され、１つ又は複数の人間の顔の特徴の識別、位置特定及び追跡をするために、赤外線波長の範囲で運転者の顔の画像を取り込むように向きを合わせられている撮像カメラ１０６を含む。

【0038】

カメラ１０６は、感光性ピクセルの２次元アレイと、オプションで範囲又は深さを（１つ又は複数の位相検出素子を介して）決定する能力を有する従来のＣＣＤ又はＣＭＯＳベースのデジタルカメラであってもよい。感光性ピクセルは、赤外線範囲の電磁放射を感知する能力を有する。カメラ１０６はまた、景色を３次元で撮像することが可能なＴＯＦ（time-of-flight）カメラ又は他のスキャン又はレンジベースのカメラのような３次元カメラであってもよい。他の実施形態では、カメラ１０６は、ステレオ構成で動作し、奥行きを抽出するように調整された一対の同様のカメラに置き換えられてもよい。カメラ１０６は、好ましくは赤外線波長の範囲で撮像するように構成されるが、代替的な実施形態では、カメラ１０６が可視範囲で撮像するようにしてもよいことが理解されるであろう。

【0039】

さらに図３を参照すると、第１の実施形態では、システム１００はまた、発光ダイオード（ＬＥＤ）１０８及び１１０の形態の一対の赤外線光源を含み、それらは、乗り物ダッシュボード１０７上のカメラに近接したそれぞれの位置に水平対称に配置されている。ＬＥＤ１０８及び１１０は、カメラ１０６が画像を取り込んでいる時間の間、運転者の顔又は顔の特徴の高品質の画像を得るために運転者の顔を強調するように、赤外線放射で運転者１０２を照らすように適合している。カメラ１０６及びＬＥＤ１０８及び１１０を赤外線領域で動作させることにより、運転者への注意に対する視覚的な障害を低減できる。ＬＥＤ１０８、１１０は、連続的に、断続的に、又は周期的に操作されてもよく、画像中に存在するまぶしい光を低減するという操作上の利点を提供するストロボ方式で交互に操作されてもよい。カメラ１０６及びＬＥＤ１０８，１１０の動作は、コンピュータプロセッサ又はマイクロプロセッサと、カメラ２０１からの取込み画像を記憶し、バッファリングするためのメモリとを備えた関連制御装置１１２によって制御される。他の実施形態では、異なる種類の光源がＬＥＤの代わりに使用されてもよい。

【0040】

図３に最もよく示されているように、カメラ１０６及びＬＥＤ１０８及び１１０は、共通のハウジングを有する単一のユニット１１１として製造されてもよいし、構築されてもよい。ユニット１１１は、乗り物ダッシュボード１０７に取り付けられて示されており、乗り物の製造中に取り付けられてもよいし、市販後の製品としてその後に取り付けられてもよい。他の実施形態では、運転者監視システム１００は、乗り物内の運転者、被写体及び／又は同乗者の頭部または顔の特徴の画像を取り込むのに適した任意の場所に取り付けられた１つ又は複数のカメラ及び光源を含んでもよい。一例として、カメラ及びＬＥＤは、乗り物のステアリングコラム、バックミラー、センターコンソール、又は運転席側Ａピラー上に配置されてもよい。また、いくつかの実施形態では、２つ以上の光源がシステムに採用されてもよい。図示された実施形態では、第１及び第２の光源は、それぞれ単一のＬＥＤを含む。他の実施形態では、各光源は、それぞれ複数の個別のＬＥＤを含んでもよい。

【0041】

図示された第１の実施形態では、ＬＥＤ１０８及び１１０は、好ましくは、約２ｃｍ～約１０ｃｍの範囲の距離で水平方向に間隔をあけて配置され、運転者の顔から約３０ｃｍ～約８０ｃｍの範囲に配置される。ＬＥＤ１０８及び１１０の間隔は、赤目現象が取込み画像中に存在しないように、ＬＥＤがカメラから十分に軸外に位置していることを条件に、可変である。典型的には、ＬＥＤがカメラの光軸から約３度を超える角度で運転者を照らす場合、赤目現象は回避され得る。

【0042】

本発明のいくつかの実施形態は、「暗瞳孔」条件で動作するように特に適合している。
そのような条件は、光源が、運転者から光軸に沿って見て、カメラからの特定の角度を超える角度に配置されることを必要とする。明るい瞳孔効果は、瞳孔の拡張（サイズ）、カメラに対する注視角度、および光の波長を含む多くの要因に影響される。例えば、９５０ｎｍでのパッケージサイズ/信号性能のバランスの目安として、３．２度の角度を明暗瞳
孔の状態を示すために使用することができる。

【0043】

暗瞳孔条件では、赤目現象が除去されるか、又は実質的に低減され、眼鏡上の鏡面反射がトラッキングの質を低下させるのに十分な程度には重ならない。暗瞳孔状態で動作する運転者監視システムは、より高い瞼及び視線の利用可能性及び精度の点で強化された性能を提供することができる。いくつかの実施形態では、システム１００は、ＬＥＤの１つ又はサブセットのみが暗瞳孔状態で配置されているときに動作するように構成されている。

【0044】

今、図４に目を向けると、システム１００の機能的構成要素が模式的に図示されている。システム制御装置１１２は、システム１００の中央プロセッサとして機能し、以下に説明するように多くの機能を実行するように構成されている。制御装置１１２は、乗り物１０４のダッシュボード１０７内に配置されており、乗り物搭載コンピュータと接続されているか、又は一体化されていてもよい。別の実施形態では、制御装置１１２は、カメラ１０６及びＬＥＤ１０８及び１１０とともにハウジング又はモジュール内に配置されてもよい。ハウジング又はモジュールは、市販品として販売され、乗り物ダッシュボードに取り付けられ、その後、その乗り物での使用のために調整され得る。フライトシミュレータ等のさらなる実施形態では、制御装置１１２は、パーソナルコンピュータ等の外部コンピュータ又はユニットであってもよい。

【0045】

制御装置１１２は、例えばレジスタ及び／又はメモリからの電子データを処理して、その電子データを、例えばレジスタ及び／又はメモリに記憶されるであろう他の電子データに変換する、任意の形態のコンピュータ処理装置又は装置の一部として実装されてもよい。図４に図示されているように、制御装置１１２は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的に消去可能なプログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、及び当業者には容易に明らかであろう他の同等のメモリ又は記憶システム等のメモリ１１６に記憶されたコードを実行するマイクロプロセッサ１１４を含む。

【0046】

制御装置１１２のマイクロプロセッサ１１４は、ビジョンプロセッサ１１８及びデバイス制御装置１２０を含む。ビジョンプロセッサ１１８及びデバイス制御装置１２０は、いずれもマイクロプロセッサ１１４によって実行される機能要素を表す。しかしながら、代替的な実施形態では、ビジョンプロセッサ１１８及びデバイス制御装置１２０は、特注の又は特殊な回路と組み合わせてマイクロプロセッサ等の別個のハードウェアとして実現されてもよいことが理解されるであろう。

【0047】

ビジョンプロセッサ１１８は、運転者の監視を実行するために取込み画像を処理するように構成されており、例えば、監視環境内で運転者５の３次元頭部姿勢及び／又は視線位置を決定するように構成されている。これを達成するために、ビジョンプロセッサ１１８は、１つ以上の視線決定アルゴリズムを利用する。これは、例えば、「顔画像処理システム」と題され、有限会社シーイングマシーンズに譲渡されたエドワーズらに対する米国特許７，０４３，０５６号に記載された方法を含んでもよい。ビジョンプロセッサ１１８はまた、運転者の注意、眠気、又は運転者が乗り物を安全に運転するのを妨げる可能性のある他の問題を検出するために、目の閉じ方、まばたき速度等の運転者５の属性を決定したり、運転者の頭の動きを追跡したりすることを含む、他の様々な機能を実行してもよい。

【0048】

ビジョンプロセッサ１１８により取得された生の画像データ、視線位置データ及び他の
データは、メモリ１１６に格納される。

【0049】

デバイス制御装置１２０は、カメラ１０６を制御し、カメラ１０６の露光時間に同期して順次ＬＥＤ１０８及び１１０を選択的に作動させるように構成されている。例えば、ＬＥＤ１０８は、奇数画像フレームの間に作動するように制御されてもよく、ＬＥＤ１１０は、ストロボシーケンスを実行するために偶数画像フレームの間に作動するように制御される。例えば、Ｌ，Ｌ，Ｒ，Ｒ，Ｌ，Ｌ，Ｒ，Ｒ…又はＬ，Ｒ，０，Ｌ，Ｒ，０，Ｌ，Ｒ，０...のように、他の照明シーケンスは、デバイス制御装置１２０によって実行されて
もよく、ここで、「Ｌ」は左に取り付けられたＬＥＤ１０８を表し、「Ｒ」は右に取り付けられたＬＥＤ１１０を表し、「０」は両方のＬＥＤを作動させていない間に取り込まれた画像フレームを表している。ＬＥＤ１０８及び１１０は、好ましくはデバイス制御装置１２０に電気的に接続されているが、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉＦｉ（登録商標）通信のような無線通信を介して制御装置１２０によって無線で制御されてもよい。

【0050】

このように、乗り物１０４の運転中、デバイス制御装置１２０は、カメラ１０６を作動させて、運転者１０２の顔の画像をビデオシーケンスで取り込む。ＬＥＤ１０８及び１１０は、カメラ１０６によって取り込まれる連続する画像フレームに同期して作動する状態と作動しない状態とにされ、画像取込み中に運転者を照らす。デバイス制御装置１２０及びビジョンプロセッサ１１８は、連携して動作し、乗り物１０４の通常の操作中に眠気、注意、及び視線位置等の運転者の状態情報を得るために、運転者の画像を取り込んで処理することを提供する。

【0051】

システムの追加の構成要素はまた、ユニット１１１の共通ハウジング内に含まれてもよいし、他の追加の実施形態に従って別個の構成要素として提供されてもよい。一実施形態では、制御装置１１２の動作は、カメラ１０６及びＬＥＤ１０８及び１１２に接続された乗り物搭載コンピュータシステムによって実行される。

【0052】

<<赤外線放射の保護>>
本実施形態は、赤外線放射源からの赤外線放射に対する被写体の露出を低減するための光源制御方法に関する。この方法は、運転者監視システム１００のような撮像システムによって実施でき、そのシステムでは、カメラによる撮像のために被写体が１つ以上の赤外線光源によって照射される。

【0053】

これから図５を参照すると、運転者１０２と相互作用するシステム１００の平面図が図示されている。典型的な状況では、乗り物の運転者は、ダッシュボードに取り付けられたシステム１００を使用して、一般に、ＬＥＤ１０８及び１１０（これらは、運転者２３０に赤外線のハザード又は危険がないような光源である）から十分に離れている。しかしながら、ドライバ２３０の任意のパーツ又は部分が、赤外線ＬＥＤ２０４、２０６から近すぎるか、又は近距離内に配置されている場合には、安全性の懸念があるかもしれない。この場合、人間の組織を暖めたり、火傷させたりするのに十分なパワー密度又はエネルギーが、赤外線ＬＥＤによって放出されるかもしれず、これは、晴れた日に太陽を強く浴びるのに似ているかもしれない。

【0054】

安全上の懸念があるかもしれない赤外線ＬＥＤからの距離又はその周囲の領域は、図５に図示されているように、「注意ゾーン」５０１及び５０３と呼ばれる。注意ゾーンの大きさ又は距離は、各赤外線ＬＥＤの平均又はピークのパワーレベル、ＬＥＤによって放出される周波数、及び赤外線エネルギーを反射する表面又は物体が赤外線ＬＥＤの近くにあるか否かを含むがこれらに限定されないいくつかの要因によって変化する。注意ゾーン又は距離は、通常、赤外線ＬＥＤから１０ｃｍ以下である。しかし、強力な赤外線ＬＥＤ又
は強力な光源の場合、距離は１５ｃｍ又はそれ以上の範囲内であるかもしれない。

【0055】

第１の実施形態では、注意ゾーン内での物体の検出は、取り込まれた画像の輝度評価に基づいて推定される。図６Ａ及び図６Ｂに示されているように、運転者がＬＥＤに近づき軸から外れると、より多くの光がカメラ１０６の視野から離れて散乱する。この結果、運転者が暗くなり、これは取り込まれる画像の全体的な輝度の低下をもたらす。絶対的な輝度レベル又は画像の輝度の変化は、予め定められた輝度の閾値と比較して評価され、それに応じて制御されるＬＥＤの出力パワーが得られる。

【0056】

これから図７を参照すると、システム１００のような２つ以上の赤外線光源のシステムを制御する方法７００が図示されている。方法７００は、単純化のために、システム１００の動作を参照して記載される。しかしながら、方法７００は、被写体が、２つ以上の赤外線光源からの赤外線放射で照らされ、赤外線感度の高いカメラで撮像される他の撮像システムにも適用可能であることが理解されるであろう。

【0057】

方法７００は、２つ以上の間隔をあけた赤外線光源（例えば、ＬＥＤ１０８及び１１０）から被写体（例えば、運転者１０２）を連続的に照らす初期ステップ７０１を含む。上述したように、ＬＥＤは、多数の異なる順序で照らすようにプログラムされていてもよい。しかしながら、方法７００では、取込み画像の少なくともサブセットは、被写体が単一のＬＥＤによって照らされている間に取り込まれなければならない。

【0058】

ステップ７０２では、カメラ１０６を使用して被写体の画像が取り込まれる。運転者監視システム１００の場合、画像は、視線及び眠気を監視するための運転者の目を含む運転者の顔に関連する。いくつかの実施形態では、取り込まれた画像は、ビジョンプロセッサ１１８、又はカメラ１０６自体の搭載ハードウェアによって、任意に前処理の対象とされた後、メモリ１６に格納される。

【0059】

ステップ７０３で、取り込まれた画像は、画像の輝度の尺度を決定するために、ビジョンプロセッサ１１８によって処理される。輝度の尺度は、以下に説明するように、輝度に関連するいくつかの計算のうちの１つ又は複数であってもよい。

【0060】

いくつかの実施形態では、輝度の尺度は、各画像の平均ピクセル強度の測定値である。グレースケール画像の場合、典型的なカメラセンサのピクセル強度は、０から２５５の範囲内の８ビットのデジタル整数となり、０は黒を表し、２５５は白を表す。したがって、これらのシステムでは、平均輝度値は、各ピクセル強度の合計を画素数で割った値によって決定されるこの範囲内の値を有することになる。しかし、他のカメラセンサは、より高い又はより低いビットサイズで画素強度を記録でき、その結果、より大きい又はより小さい強度範囲を記録できることが理解されるであろう。

【0061】

カメラセンサが画像をカラー画像として保存する場合、各画素に対して個別の赤、緑、及び青の成分が指定される。カラー画像システムでは、ピクセル強度は、３つの数値（赤、緑、及び青）のベクトルとして計算されてもよい。いくつかの実施形態では、３つの異なる色成分は、３つの別々のグレースケール画像として格納され、ピクセル強度は、カラー画像のグレースケール版から計算される。

【0062】

平均ピクセル強度の測定は、全体的な平均ピクセル強度を計算するために画像内のすべての画素に対して実行されてもよいし、各画像の画素のサブセットに対してのみ実行されてもよい。後者の操作は、画像が運転者の顔の後ろの暗い背景等、あまり有用でない成分を含む場合に有用であるかもしれない。例えば、平均ピクセル強度を決定するために選択する画素のサブセットは、画像内の特定の画素領域内に該当してもよい。その画素領域は
、運転者／被写体の顔、目、又は両目等、画像内の検出された特徴に対応していてもよい。画素領域を決定するためには、まず、特徴が識別されなければならない。パターンマッチング、エッジ及びコントラスト検出等の従来の特徴認識技術が実行されてもよい。また、機械学習アルゴリズムが特徴を認識するために採用されてもよい。特徴が識別されると、特徴の周囲の境界領域が、平均ピクセル強度が計算されるべき関連ピクセル領域を定義するために指定されてもよい。

【0063】

他の実施形態では、輝度測定は、２つ以上の画像間の輝度の比較を含んでもよい。比較は、画像ストリーム内の連続した画像間であってもよいし、画像シーケンス内の画像の所定のシーケンス間であってもよい。左右交互の照明シーケンスのＬＥＤ（Ｌ，Ｒ，Ｌ，Ｒ，Ｌ，Ｒ...）の下で画像が取り込まれた場合、連続した画像は交互のＬＥＤによって照
明されることになる。したがって、連続した画像間の輝度レベルの比較は、どちらのＬＥＤが閉塞され、より低い輝度の画像を生成しているかを示すことになる。同じ照明シーケンスを使用し、連続した奇数又は偶数の画像間の輝度を比較することは、共通の赤外線ＬＥＤによる照明中に取り込まれた２つの画像を表現することになる。このことについての比較はまた、その共通のＬＥＤによって照明された連続した画像の間で輝度が著しく低下する場合に、そのＬＥＤの閉塞を示すことができる。

【0064】

いくつかの実施形態では、輝度の比較は、２つ以上の画像を比較することを含む。例として、比較は、１つのＬＥＤによって照明された画像の輝度を、その同じＬＥＤによって照明された過去の２つ以上の画像と比較するものであってもよい。あるいは、比較は、１つのＬＥＤによって照明された画像の輝度を、過去に別のＬＥＤによって照明された２つ以上の画像と比較するものであってもよい。また、比較は、照明するＬＥＤに関係なく、過去の画像の数だけ輝度を比較するものであってもよい。

【0065】

輝度測定が２つ以上の画像間の輝度の比較を含む実施形態では、比較は、対応する画像ピクセルのピクセル強度をピクセル単位で比較するか、又は異なる画像の平均ピクセル強度（画像全体又は画素のサブセットのいずれか）を比較することによって行われてもよい。

【0066】

ステップ７０４において、ビジョンプロセッサ１１８は、メモリ１１６に記憶された所定の輝度閾値に対する輝度測定値の比較を実行する。輝度閾値は、特定の画像に対して達成されなければならない平均的なピクセル強度を表してもよいし、複数の画像間の輝度の差（輝度測定が複数の画像間の輝度比較に基づく場合）を表してもよい。特定の輝度閾値は、ＬＥＤ、被写体、及びカメラの間の距離、及びＬＥＤの仕様（例えば、最大出力照明強度及びパルス持続時間）等、撮像システムの幾何学的形状に依存していてもよい。例として、輝度閾値は、１２８、１００、６４のような特定の平均ピクセル強度（０から２５５の間）と等しくてもよい。あるいは、輝度閾値は、過去の平均ピクセル強度の７５％、５０％、４０％、３０％、２５％、２０％、又は１０％等、多数の過去の画像にわたって計算された平均ピクセル強度の割合と等しくてもよい。

【0067】

ステップ７０５では、ステップ７０４で実行された比較に応答して、赤外線ＬＥＤの出力パワーが制御される。所定の輝度閾値より低い輝度測定値の検出に応答して、ステップ７０５Ａにおいて、デバイス制御装置１２０は、赤外線ＬＥＤのうちの１つの出力照明強度を消すか、又は低減させる。特に、画像の輝度の低減を招くと判断されたＬＥＤは、スイッチで消されるか、又は出力照明強度が低減される。これは、輝度の減少は、図６Ｂに図示されているように、被写体がＬＥＤに近づきすぎて画像に影ができることに起因するということに基づいて決定される。あるいは、それは、物体による画像中の被写体の閉塞に起因する可能性もある。

【0068】

ステップ７０５において、輝度測定値が所定の輝度閾値と等しいか、又はそれを上回る場合、ステップ７０５Ｂにおいて、デバイス制御装置１２０は、ＬＥＤの出力照明強度を維持する。

【0069】

上述したシステム動作は、本質的に、ＬＥＤ制御が、取込み画像の測定された輝度に基づいて、高パワー状態または低パワー状態（又は完全にスイッチで消された状態）のいずれかであるバイナリである。他の実施形態では、ＬＥＤのより動的な制御が提供され、この場合には、ＬＥＤの出力パワーが、測定された輝度に応答して、デバイス制御装置１２０によって複数のパワーレベルの範囲内に制御される。これに関して、いくつかの実施形態では、ステップ７０４が、１つ以上の閾値レベルとの輝度測定値の比較を含む。これらの実施形態では、異なる輝度閾値レベルに対応する複数のレベルが定義され、ビジョンプロセッサ１８は、これらのレベルのうちのどれ（「現在のレベル」）が輝度測定値に一致するかを決定するように構成されている。これに応答して、デバイス制御装置１２０は、現在のレベルに対応する複数の出力照明強度レベルのうちの１つでＬＥＤを駆動するようにＬＥＤに制御信号を送信するように構成されている。例として、輝度測定値は、ＬＥＤが駆動される対応する出力照明強度レベルを有する４つの輝度閾値レベルと比較されてもよい。例えば、以下のようなものである。

【0070】

【表1】

【0071】

より少ない又はより大きい閾値レベル及び対応する出力照明強度値が定義され得ることが理解されるであろう。使用される閾値輝度レベルのレンジビンの数及び各レンジビンに対する適切なＬＥＤ出力照明強度は、制御装置１１２によって決定され、システムのユーザによってプログラムされてもよい。いくつかの実施形態では、上述のような出力照明強度は、メモリ１１６に記憶されたルックアップテーブルによって決定されてもよい。

【0072】

照明強度が増大又は低減するにつれて、ＬＥＤを指定された安全で安定した動作制限内に維持するように、ＬＥＤのパルス時間持続時間又は照明期間を相対的に減少又は増加させることができる。出力照明強度及びパルス持続時間のこの決定は、典型的には、図８に図示されているような予め定義されたパルス操作曲線に基づいて行われる。このような曲線は、典型的には、人間に対する放射線の安全性及び／又は過度の熱による損傷を避けるための安定した動作条件の決定に基づいている。安全なＬＥＤ動作のために確立された例示的な規格は、ＩＥＣ６２４７１である。

【0073】

複数の閾値レベルのシステムは、撮像システムが、取込み画像の輝度測定値に基づいて
光源照明強度を制御することを可能にする。ＬＥＤのパスに近い物体程、暗い陰影を発生させることに基づいて、これは被写体とＬＥＤの間の距離の疑似測定値となる。

【0074】

ＬＥＤの１つが作動していない期間中、デバイス制御装置１２０は、残りの作動している１つ又は複数のＬＥＤによる照明中にのみ画像が取り込まれるように、より低いフレームレートで画像を取り込むように構成されてもよい。あるいは、ビジョンプロセッサ１２０は、作動していないＬＥＤが過去に画像を照らすように制御されていた期間中に取り込まれた画像を無視するように構成されてもよい。

【0075】

システム１００はまた、ＬＥＤを再び作動させるために、被写体がＬＥＤから安全な距離まで後退したときにテストするように適合されている。この点では、ＬＥＤが所定の遅延期間の間、オフにされているとき、デバイス制御装置１２０は、１つ以上のテスト画像がカメラ１０６によって取り込まれるテスト期間の間にＬＥＤを再起動するように構成されている。テスト期間は、０．２秒、０．５秒、又は１秒等の固定時間であってもよいし、１０フレーム、２０フレーム、２５フレーム、又は３０フレーム等の所定の画像フレーム数であってもよい。制御装置１１２は、テスト期間中に方法７００を実行して、過去に作動しないようにされたＬＥＤによって取り込まれた画像の輝度がその後増加したかどうか（被写体がＬＥＤをもはや塞いでいないことを示す）を判定するように構成される。デバイス制御装置１２０は、テスト画像の輝度測定値が所定の輝度閾値以上である場合に、ＬＥＤを作動状態に維持し、そうでない場合に、赤外線光源を作動させないようにさらに構成されている。

【0076】

「テスト画像」とラベル付けされるが、運転者の関連する特徴が適切に区別できる場合には、テスト期間中に得られた画像を運転者監視手順に使用してもよい。

【0077】

上述のシステムは、（画像の輝度の代理測定によって）被写体とＬＥＤとの間の近接を監視することを可能にし、フィードバック制御は、ＬＥＤが運転者から安全でない距離であることの検出に基づいて、ＬＥＤの出力パワーを制限又は無効にするために、デバイス制御装置１２０に供給される。本発明は、いずれも有限会社シーイングマシーンズに譲渡された「低パワーアイトラッキングのシステム及び方法」と題されたエドワーズに対する国際公開第２０１５／０３１９４２号、及び「赤外線光源の保護システム」と題されたエドワーズに対する国際公開第２０１６／１９１８２７号に記載されたもの等、他のＬＥＤパワー制御システム／技術と組み合わせて使用することができる。

【0078】

動作において、方法７００は、運転者が過剰な赤外線放射への曝露からの安全を維持しながら連続的に監視されるように、連続的に又は所定の間隔で実行される。

【0079】

本発明は、安全上の利点を提供することに加えて、運転者監視システムのための照明診断機能を生み出す用途も有する。これらの用途では、本発明は、近距離で赤外線が障害物によって「遮断」されているかどうかをシステムが検出することを可能にし、これは、
（１）運転者監視システムが、トラッキングの目的でロックされていないライトのみを使用するようにストロボ照明パターンを変更するのを支援することで、このような状態でのトラッキング性能を向上させること、及び
（２）閉塞状態がかなりの期間（例えば１０分）持続する場合には、その後、ＩＲ（Infrared）光自体に、光を出力することを妨げる何らかの損傷又は欠陥があると仮定すること
に有用である。

【0080】

<<更なる実施形態>>
単一の赤外線源の閉塞検出に拡張される方法を含む、多くの他の方法を閉塞検出に使用することができる。

【0081】

所望の設定の単純な例は、図９の９０に模式的に示されており、ユーザ９１は、単一の赤外線撮像エミッタ９３に依存する撮像カメラ９２によって撮像されている。第２の人９５は、その目９４が光源に近づきすぎるように、エミッタ９３に危険な程接近している。第２の実施形態は、このような部分的閉塞事例を検出するように設計され、そこではエミッタが部分的に閉塞している。

【0082】

更なる代替的な実施形態では、１つ以上のカメラ及び１つ以上のＩＲ発光源が提供され得る。

【0083】

更なる実施形態は、「ＩＲ閉塞検出アルゴリズム」と、目の安全機構を実装する高レベル状態機械とを使用する。システムは、「低エネルギー」ＩＲ光源モードの概念を利用する。このモードでは、ＩＥＣ－６２４７１に準拠して、人間の目が生物学的損傷を受けることなく無期限に曝され得るようにＩＲ光源が制御される。 多くの技術を使用できる。
例えば、ＩＲ光源の送信強度の時間領域変調が、受信機（イメージセンサ）で変調パターンの整合フィルタリングを介して、ＩＲ光源の成分を太陽（又は他の任意の源）から区別するために使用される。

【0084】

更なる改良では、ＩＲ遮断検出アルゴリズムは、経時的な強度の整合フィルタリングを各画像領域に適用して、一連の画像領域にわたって動作できる。次に、アルゴリズムは、画像領域のいずれかが変調パターンの検出を示さない場合、ＩＲ光源が目によって遮断されていると仮定する。ある配置では、ＩＲ光源は、遮断されたとみなされたときに低パワーモードにしてもよい。

【0085】

この配置は、単一のＩＲ光源のみを使用し、第２の近接センサを使用しない場合に、目の安全を保護する能力を提供する。

【0086】

一般に、各ＩＲ光の強度及び有効化は制御することができる。したがって、最も一般的な設計では、単一のＩＲ光のみが使用される（単一の暗瞳孔又は明瞳孔）。

【0087】

一般的に、取り込まれた画像は、太陽、環境光等の他の制御されていない光源と組み合わせてＩＲ発光源からの光を含む。ＩＲ光に近接している障害物があるか否かを判断するために、閉塞検出アルゴリズムは、ＩＲ光成分が画像内に存在するか否かを検出しなければならない。部分的な遮断に対処するために、画像を領域に分割でき、各領域でＩＲ光成分が検出される。

【0088】

所定の数の領域でＩＲ光成分が検出されない場合には、可能性のある閉塞のフラグを立てることができる。

【0089】

閉塞を検出するために、正反射の有効性対時間に頼ることができる。有効性が実験的に決定された閾値よりも高ければ、ＩＲ光は遮断されていないと判断する。有効性が閾値未満の場合は、ＩＲ光が遮断されていると判断する（したがって、安全モードに入る）。判断は、閉塞、姿勢等が原因で反射が検出されないことを考慮し得る期間にわたって行われ得るが、それはまた、例えば８秒の危険曝露期間の範囲内である。

【0090】

一実施形態では、符号化された強度パターンを提供できる。例えば、１０％の強度変動疑似ランダム照明変動パターンがフレーム毎に適用される。既知のＩＲ光出力強度は、画像領域のグリッドから導出された強度値と並んでリカレントニューラルネットワーク（ＲＮＮ：recurrent neural network）に渡される。ＲＮＮは、画像強度の変化を効果的にＩＲ光強度の変化に相関させる。ＲＮＮは、ポッド遮断の真理に対してトレーニングされ、
それは容易に得られる。

【0091】

更なる代替案では、他の符号化された有効化パターンが使用され得る。これは、符号化された強度に類似しているが、ＩＲ光をごくたまにオフに切り替える。強度対時間から判断する。

【0092】

更なる代替案では、構造化された光パターンを使用できる。光源は、結果として得られる画像において検出可能な低コントラストのパターンを発するように制御できる。パターンが見えない場合には、十分に露光した画像を生成するのに十分な環境光があるかどうかにかかわらず、ＩＲ光が閉塞されていると判断できる。

【0093】

ＩＲ光成分（信号）を他の光成分（ノイズ）から分離するために、ＩＲ光強度を既知のパターンで意図的に変調することができる。この変調は、時間領域、空間領域、又はその両方であり得る。既知のパターンは、ピクセル強度情報に整合フィルタを使用して、各画像領域で検出できる。

【0094】

異なる変調の実施形態を使用できる。例えば、１秒に１フレームの間光源をオフにする、光強度に正弦波又は矩形波の変動を適用する、光強度に既知の疑似ランダム変調を適用する、等が挙げられる。

【0095】

検出は整合フィルタに頼ることができる一方で、リカレントニューラルネットワークのような他の技術を使用できる。

【0096】

閉塞が検出されると、システムは低パワー状態に移行し、近くの観察者への損傷のリスクを軽減できる。
<<解釈>>
用語「赤外線」は、本記述及び明細書の全体を通して使用される。本明細書の範囲内では、赤外線は、近赤外線、赤外線及び遠赤外線の周波数又は光波を含む電磁スペクトルの一般的な赤外線領域を指す。

【0097】

特に別段の記載がない限り、以下の議論から明らかなように、「処理」、「コンピューティング」、「計算」、「決定」、「分析」等の用語を利用した本明細書全体の議論は、電子的な量等の物理的な量として表されるデータを、物理的な量として同様に表される他のデータに操作及び／又は変換するコンピュータ又はコンピューティングシステム、又は類似の電子コンピューティング装置の動作及び／又は処理に関することが理解されるであろう。

【0098】

同様に、「制御装置」又は「プロセッサ」という用語は、例えばレジスタ及び／又はメモリからの電子データを処理して、その電子データを、例えばレジスタ及び／又はメモリに記憶される可能性のある他の電子データに変換する装置の任意の装置又は部分を指してもよい。「コンピュータ」又は「コンピューティングマシン」又は「コンピューティングプラットフォーム」は、１つ又は複数のプロセッサを含んでもよい。

【0099】

本明細書全体を通して「一実施形態」、「いくつかの実施形態」又は「ある実施形態」への言及は、実施形態に関連して記載された特定の特徴、構造又は性質が、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書中の様々な場所での「一実施形態において」、「いくつかの実施形態において」又は「ある実施形態において」という表現の出現は、必ずしもすべてが同じ実施形態を指すものではない。さらに、特定の特徴、構造又は性質は、本開示から当技術分野の通常の当業者には明らかであろうように、１つ又は複数の実施形態において、任意の好適な方法で組み合わせてもよい。

【0100】

本明細書で使用されるように、特に指定がない限り、共通の物体を記述するために「第１」、「第２」、「第３」等の順序を示す形容詞を使用することは、単に、類似の物体の異なる例に言及することを示しているに過ぎず、記述された物体が、時間的に、空間的に、順位的に、又は何か１つの方法において、所定の順序でなければならないことを暗示することを意図したものではない。

【0101】

以下の特許請求の範囲及び本明細書の記載において、備えている、で構成された、又は備えたのいずれかの用語は、少なくともそれに続く要素／特徴を含み、他を除外しないことを意味するオープンタームである。したがって、特許請求の範囲において使用される場合、備えているという用語は、その後に記載される手段又は要素又はステップに限定されると解釈されるべきではない。例えば、Ａ及びＢを備えている装置という表現の範囲は、要素Ａ及びＢのみからなる装置に限定されるべきではない。本明細書で使用される含んでいる又は含むといういずれかの用語も、少なくともその用語に続く要素／特徴を含み、他を除外しないことを意味するオープンタームである。したがって、含んでいるは、備えていると同義であり、備えているを意味する。

【0102】

本開示の例示的な実施形態の上述の説明において、本開示の様々な特徴は、開示を合理化し、様々な発明の側面のうちの１つ以上の理解を助ける目的で、単一の実施形態、図、又はその説明に組み合わされることがあることを理解すべきである。しかしながら、この開示の方法は、各請求項において明確に列挙されているよりも多くの特徴を請求項が要求するという意図を反映していると解釈されるべきではない。むしろ、以下の請求項が反映しているように、進歩的側面は、前記開示された単一の実施形態のすべての特徴よりも少ない部分にある。したがって、ここでは、詳細な説明に続く請求項は、各請求項が本開示の別個の実施形態として独立して有効な状態で、明示的にこの詳細な説明に組み込まれる。

【0103】

さらに、本明細書に記載されたいくつかの実施形態は、他の実施形態に含まれるいくつかの特徴を含むが、他の特徴を含まない。しかし、異なる実施形態の特徴の組み合わせは、当業者であれば理解できるように、開示の範囲内であり、異なる実施形態を形成することが意図されている。例えば、以下の特許請求の範囲では、主張された実施形態のいずれかを任意の組み合わせで使用できる。

【0104】

本明細書で提供される説明では、多数の具体的な詳細が明らかにされている。しかしながら、本開示の実施形態は、これらの特定の詳細なしに実施され得ることが理解される。他の例では、本明細書の理解を曖昧にしないために、周知の方法、構造、及び技術が詳細に示されていない。

【0105】

同様に、特許請求の範囲で使用される場合、結合されたという用語は、直接的な接続のみに限定されると解釈されるべきではないことに言及される。「結合された」及び「接続された」という用語は、それらの派生語と共に使用されてもよい。これらの用語は、互いに同義語として意図されていないことが理解されるべきである。したがって、装置Ａが装置Ｂに結合されたという表現の範囲は、装置Ａの出力が装置Ｂの入力に直接接続された装置又はシステムに限定されるべきではない。それは、装置Ａの出力と装置Ｂの入力との間に、他の装置又は手段を含む経路かもしれない経路が存在することを意味する。「結合された」とは、２つ以上の要素が直接に物理的、電気的、又は光学的に接触しているか、又は２つ以上の要素が互いに直接接触していないが、それでも互いに共働又は相互作用していることを意味してもよい。

【0106】

本明細書に記載された実施形態は、本発明の任意の適応又は変形を含むことを意図して
いる。本発明は、特定の例示的な実施形態に関して描写され、説明されたが、当業者であれば、本発明の範囲内にある追加の実施形態が容易に想到され得ることを理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-02-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

有害な赤外線光線の曝露から被写体を保護する監視システムであって、前記システムは、
被写体を連続的に照らす１つ又は複数の赤外線光源と、
前記被写体が前記１つ又は複数の赤外線光源の１つによって照らされている期間中に前記被写体の画像を取り込むカメラと、
取り込まれた前記画像を処理して取り込まれた前記画像の輝度測定値を決定するプロセッサと、
前記輝度測定値に応じて前記１つ又は複数の赤外線光源の出力パワーを制御する制御装置とを含み、
前記プロセッサが所定の輝度閾値を下回る取り込まれた前記画像の輝度測定値を検出することに応じて、前記制御装置は、前記輝度測定値の低減を招くと判断される前記１つ又は複数の赤外線光源のうちの１つの赤外線光源の出力照明強度をオフにするか、又は低減させるように構成され、
前記プロセッサが前記所定の輝度閾値を上回る前記画像の輝度測定値を検出することに応じて、前記制御装置は、前記１つ又は複数の赤外線光源の出力照明強度を維持するように構成され、
前記所定の輝度閾値を下回る取り込まれた前記画像の輝度測定値は、前記被写体が前記１つ又は複数の赤外線光源に近づきすぎているか、又は前記被写体が前記取り込まれた画像中の被写体によって閉塞されていることを示す監視システム。

【請求項2】

前記輝度測定値が前記画像の平均ピクセル強度である、請求項１に記載の監視システム。

【請求項3】

前記輝度測定値が前記画像の画素のサブセットの平均ピクセル強度である、請求項１に記載の監視システム。

【請求項4】

前記輝度測定値が前記画像の画素領域について決定され、前記画像の前記画素領域が、前記被写体の顔、目、又は両目に対応する、請求項１に記載の監視システム。

【請求項5】

前記輝度測定が、２つ以上の画像間の輝度の比較である、請求項１に記載の監視システム。

【請求項6】

前記輝度測定は、連続した画像間の輝度の比較である、請求項１に記載の監視システム。

【請求項7】

前記輝度測定は、共通の赤外線光源による照明中に取り込まれた２つの画像間の輝度の比較である、請求項１に記載の監視システム。

【請求項8】

前記比較は、２つ以上の画像のピクセル強度をピクセル単位で比較することを含む、請求項７に記載の監視システム。

【請求項9】

前記比較は、２つ以上の画像の平均ピクセル強度を比較することを含む、請求項５から７のいずれか１項に記載の監視システム。

【請求項10】

赤外線光源が所定の遅延期間の間オフにされているとき、前記制御装置は、１つ以上のテスト画像が取り込まれるテスト期間の間に前記赤外線光源を再起動するように構成され、前記制御装置は、前記テスト画像の輝度測定値が所定の輝度閾値以上である場合には、前記赤外線光源を作動状態に維持し、そうでない場合には、前記赤外線光源を作動させないようにさらに構成されている、請求項１から９のいずれか１項に記載の監視システム。

【請求項11】

前記光源の少なくとも１つが、前記被写体から光軸に沿って見て、カメラから３．２度を超える角度に配置されている、請求項１から１０のいずれか１項に記載の監視システム。

【請求項12】

所定の輝度閾値を下回る輝度測定値を検出することに応じて、前記制御装置は、人への放射線の安全性の決定に基づいて、前記出力照明強度を減少させ、前記赤外線光源の照明期間を増加させる、請求項１から１１のいずれか１項に記載の監視システム。

【請求項13】

前記プロセッサが、前記輝度測定値の現在のレベルを複数の予め定められた複数のレベルから検出するように構成され、それに対応して、前記制御装置が、前記赤外線光源の１つの出力照明強度を、前記現在のレベルに対応する値に設定するように構成されている、請求項１から１２のいずれか１項に記載の監視システム。

【請求項14】

乗り物のキャビン内に取り付けられ、前記被写体は前記乗り物の運転者である、請求項１から１３のいずれか１項に記載の監視システム。

【請求項15】

有害な赤外線光線の曝露から被写体を保護するために２つ以上の赤外線光源のシステムを制御する方法であって、前記方法は、
i.間隔をあけて配置された２つ以上の赤外線光源から被写体を連続的に照らすことと、
ii.前記被写体が前記赤外線光源の１つによって照らされている期間中に被写体の画像を取り込むことと、
iii.取り込まれた前記画像を処理して、前記画像の輝度測定値を決定することと、
iv.前記輝度測定値を所定の輝度閾値と比較することと、
ステップivの比較に応じて赤外線光源の出力パワーを制御することとを含み、前記所定の輝度閾値を下回る輝度測定値を検出することに応じて、前記赤外線光源のうちの１つの出力照明強度を低減させるか、又はゼロに設定し、
前記赤外線光源の出力パワーを制御することは、前記輝度測定値が前記所定の輝度閾値を上回ると決定されたときに、前記赤外線光源の前記出力照明強度を維持することを含み、
前記所定の輝度閾値を下回る前記画像の輝度測定値は、前記被写体が前記赤外線光源のうちの少なくとも１つに近づきすぎているか、又は前記被写体が前記画像中の被写体によって閉塞されていることを示す方法。

【請求項16】

前記輝度測定値が各画像の平均ピクセル強度の測定値を含む、請求項１５に記載の方法。

【請求項17】

前記輝度測定値が前記画像の画素領域について決定され、前記画像の前記画素領域が、前記被写体の顔、目、又は両目に対応する、請求項１５に記載の方法。

【請求項18】

前記輝度測定が、２つ以上の画像間の輝度の比較である、請求項１５に記載の方法。

【請求項19】

前記輝度測定は、連続した画像間の輝度の比較である、請求項１５に記載の方法。

【請求項20】

前記輝度測定は、共通の赤外線光源による照明中に取り込まれた２つの画像間の輝度の比較である、請求項１５に記載の方法。