特許 6042555 低ルクス及び高ルクス条件における物体認識

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6042555

(24)【登録日】2016年11月18日

(45)【発行日】2016年12月14日

(54)【発明の名称】低ルクス及び高ルクス条件における物体認識

(51)【国際特許分類】

   H04N 5/225 20060101AFI20161206BHJP

   H04N 5/232 20060101ALI20161206BHJP

【ＦＩ】

   H04N5/225 Z

   H04N5/225 C

   H04N5/232 Z

【請求項の数】30

【全頁数】15

(21)【出願番号】特願2015-539601(P2015-539601)

(86)(22)【出願日】2013年9月12日

(65)【公表番号】特表2015-535412(P2015-535412A)

(43)【公表日】2015年12月10日

(86)【国際出願番号】US2013059408

(87)【国際公開番号】WO2014065951

(87)【国際公開日】20140501

【審査請求日】2015年6月24日

(31)【優先権主張番号】13/659,826

(32)【優先日】2012年10月24日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(73)【特許権者】

【識別番号】514320027

【氏名又は名称】エッジ・スリー テクノロジーズ エルエルシー

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】キング、ジョシュ、タイラー

(72)【発明者】

【氏名】エル ドコール、タレク

(72)【発明者】

【氏名】バゲフィナザリ、ペドラム

(72)【発明者】

【氏名】ヤマモト、ステュアート、マサカズ

(72)【発明者】

【氏名】ホワン、リッチー、ウィンソン

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２００７−３３６４４９（ＪＰ，Ａ）

【文献】 特開２００８−０４２８０６（ＪＰ，Ａ）

【文献】 特開２０１０−２５３９８７（ＪＰ，Ａ）

【文献】 特開２０１０−２６８３４３（ＪＰ，Ａ）

【文献】 特開昭６２−０９１８０２（ＪＰ，Ａ）

【文献】 特開２０１１−１４２５００（ＪＰ，Ａ）

【文献】 特開２００８−２４２３３３（ＪＰ，Ａ）

【文献】 特開２００５−１７３２５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

(57)【特許請求の範囲】

【請求項1】

照度レベルが動的に変化する車両内の乗員または運転者のジェスチャに対応するイメージ・データを取込むための、コンピュータによって実行される方法であって、
該車両は、該車両のオーバーヘッド・コンソールに位置する、互いに眼間距離だけ離れて置かれた少なくとも一対の低ルクス・センサと、互いに該眼間距離だけ離れて置かれた少なくとも一対の高ルクス・センサとを備え、
該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、かつ、
該高ルクス・センサは、照度レベルが該閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成されており、
該方法は、
該車両内に存在する光の量を測定することにより該車両内の照度レベルを測定するステップと、
照度閾値モジュールによって、該測定された照度レベルが前記閾値照度レベル未満であるか否かを判定するステップと、
該照度レベルが該閾値照度レベル未満であるときは、該低ルクス・センサによって取り込まれたイメージ・データを処理するステップと、
該照度レベルが該閾値照度レベルより高いときは、該高ルクス・センサによって取り込まれたイメージ・データを処理するステップと、
を含むことを特徴とする、コンピュータによって実行される方法。

【請求項2】

前記照度レベルが前記閾値照度レベル未満であると判定するステップと、
前記低ルクス・センサによって取り込まれたイメージ・データを処理するステップと、
該照度レベルが該閾値照度レベルより高いことを判定するステップと、
前記高ルクス・センサによって取り込まれたイメージ・データを処理するステップとを、さらに含むこと、
を特徴とする、請求項１に記載のコンピュータによって実行される方法。

【請求項3】

前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、照明用光源を起動するステップをさらに含むこと、
を特徴とする、請求項１に記載のコンピュータによって実行される方法。

【請求項4】

前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
を特徴とする、請求項１に記載のコンピュータによって実行される方法。

【請求項5】

前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
を特徴とする、請求項４に記載のコンピュータによって実行される方法。

【請求項6】

前記高ルクス・センサは、該高ルクス・センサに到達する赤外線の量を減少させるために赤外線フィルタを有すること、
を特徴とする、請求項１に記載のコンピュータによって実行される方法。

【請求項7】

前記照明用光源は、前記低ルクス・センサの応答曲線のピーク範囲内にあるスペクトルを有する光を放射すること、
を特徴とする、請求項３に記載のコンピュータによって実行される方法。

【請求項8】

前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、前記高ルクス・センサが作動中であるかどうかを判定するステップと
該高ルクス・センサが作動中であるとする判定に応答して、該作動中の高ルクス・センサを動作停止させるステップと、を含むこと、
を特徴とする、請求項１に記載のコンピュータによって実行される方法。

【請求項9】

前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための４つのセンサを有し、
該４つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
該４つのセンサは、２つのＲＧＢセンサと２つの赤外線センサとを含むこと、
を特徴とする、請求項１に記載のコンピュータによって実行される方法。

【請求項10】

照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのコンピュータ・プログラム・プロダクトであって、
該車両は、該車両のオーバーヘッド・コンソールに位置する、互いに眼間距離だけ離れて置かれた少なくとも一対の低ルクス・センサと、互いに該眼間距離だけ離れて置かれた少なくとも一対の高ルクス・センサとを備え、
該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、かつ、
該高ルクス・センサは、照度レベルが該閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成されており、
該コンピュータ・プログラム・プロダクトは、コンピュータ・プログラム・コードを含む非一時的なコンピュータ可読媒体を含み、該コンピュータ・プログラム・コードは、
該車両内に存在する光の量を測定することにより該車両内の照度レベルを測定し、
照度閾値モジュールによって、該測定された照度レベルが該閾値照度レベル未満であるか否かを判定し、
該照度レベルが該閾値照度レベル未満であるときは、該低ルクス・センサによって取り込まれたイメージ・データを処理し、かつ、
該照度レベルが該閾値照度レベルより高いときは、該高ルクス・センサによって取り込まれたイメージ・データを処理すること、
を特徴とする、コンピュータ・プログラム・プロダクト。

【請求項11】

前記照度レベルが前記閾値照度レベル未満であると判定し、
前記低ルクス・センサによって取り込まれたイメージ・データを処理し、
該照度レベルが該閾値照度レベルより高いことを判定し、かつ、
前記高ルクス・センサによって取り込まれたイメージ・データを処理する、
ためのコンピュータ・プログラム・コードを
さらに含むこと、
を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。

【請求項12】

前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、照明用光源を起動するためのコンピュータ・プログラム・コードをさらに含むこと、
を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。

【請求項13】

前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。

【請求項14】

前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
を特徴とする、請求項１３に記載のコンピュータ・プログラム・プロダクト。

【請求項15】

前記高ルクス・センサは、該高ルクス・センサに到達する赤外線の量を減少させるために赤外線フィルタを有すること、
を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。

【請求項16】

前記照明用光源は、前記低ルクス・センサの応答曲線のピーク範囲内にあるスペクトルを有する光を放射すること、
を特徴とする、請求項１２に記載のコンピュータ・プログラム・プロダクト。

【請求項17】

前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、前記高ルクス・センサが作動中であるかどうかを判定し、かつ、
該高ルクス・センサが作動中であるとする判定に応答して、該作動中の高ルクス・センサを動作停止させるためのコンピュータ・プログラム・コードをさらに含むこと、
を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。

【請求項18】

前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための４つのセンサを有し、
該４つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
該４つのセンサは、２つのＲＧＢセンサと２つの赤外線センサとを含むこと、
を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。

【請求項19】

照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのコンピュータ・システムであって、
該車両は、該車両のオーバーヘッド・コンソールに位置する、互いに眼間距離だけ離れて置かれた少なくとも一対の低ルクス・センサと、互いに該眼間距離だけ離れて置かれた少なくとも一対の高ルクス・センサとを備え、
該低ルクス・センサは、照度レベルが該閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、かつ、
該高ルクス・センサは、照度レベルが該閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、
該コンピュータ・システムは、プロセッサと非一時的なコンピュータ可読媒体とを含み、
該コンピュータ可読媒体は、
該車両内に存在する光の量を測定することにより該車両内の照度レベルを測定し、
照度閾値モジュールによって、該測定された照度レベルが該閾値照度レベル未満であるか否かを判定し、
該照度レベルが該閾値照度レベル未満であるときは、該低ルクス・センサによって取り込まれたイメージ・データを処理し、かつ、
該照度レベルが該閾値照度レベルより高いときは、該高ルクス・センサによって取り込まれたイメージ・データを処理する、
ためのコンピュータ・プログラム・コードを含むこと、
を特徴とする、コンピュータ・システム。

【請求項20】

前記照度レベルが前記閾値照度レベル未満であると判定し、
前記低ルクス・センサによって取り込まれたイメージ・データを処理し、
該照度レベルが該閾値照度レベルより高いことを判定し、かつ、
前記高ルクス・センサによって取り込まれたイメージ・データを処理する、
ためのコンピュータ・プログラム・コードを
さらに含むこと、
を特徴とする、請求項１９に記載のコンピュータ・システム。

【請求項21】

前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、照明用光源を起動するためのコンピュータ・プログラム・コードをさらに含むこと、
を特徴とする、請求項１９に記載のコンピュータ・システム。

【請求項22】

前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
を特徴とする、請求項１９に記載のコンピュータ・システム。

【請求項23】

前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
を特徴とする、請求項２２に記載のコンピュータ・システム。

【請求項24】

前記高ルクス・センサは、該高ルクス・センサに到達する赤外線の量を減少させるために赤外線フィルタを有すること、
を特徴とする、請求項１９に記載のコンピュータ・システム。

【請求項25】

前記照明用光源は、前記低ルクス・センサの応答曲線のピーク範囲内にあるスペクトルを有する光を放射すること、
を特徴とする、請求項２１に記載のコンピュータ・システム。

【請求項26】

前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための４つのセンサを有し、
該４つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
該４つのセンサは、２つのＲＧＢセンサと２つの赤外線センサとを含むこと、
を特徴とする、請求項１９に記載のコンピュータ・システム。

【請求項27】

照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのコンピュータ・システムであって、
該車両は、該車両のオーバーヘッド・コンソールに位置する、互いに眼間距離だけ離れて置かれた少なくとも一対の低ルクス・センサと、互いに該眼間距離だけ離れて置かれた少なくとも一対の高ルクス・センサとを備え、
該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、そして
該高ルクス・センサは、照度レベルが該閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成されており、
該コンピュータ・システムは、
該車両内に存在する光の量を測定することにより該車両内の照度レベルを測定する照度レベル・モジュールと、
該測定された照度レベルが該閾値照度レベル未満であるか否かを判定する照度閾値モジュールと、
該照度レベルが該閾値照度レベル未満であるときは該低ルクス・センサを起動し、かつ、該照度レベルが該閾値照度レベルより高いときは該高ルクス・センサを起動する撮像源起動モジュールと、を含むこと、
を特徴とする、コンピュータ・システム。

【請求項28】

前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
を特徴とする、請求項２７に記載のコンピュータ・システム。

【請求項29】

前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
を特徴とする、請求項２８に記載のコンピュータ・システム。

【請求項30】

前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための４つのセンサを有し、
該４つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
該４つのセンサは、２つのＲＧＢセンサと２つの赤外線センサとを含むこと、
を特徴とする、請求項２７に記載のコンピュータ・システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般的には物体認識、特に、車両における低ルクス及び高ルクスの条件での物体認識に関する。

【背景技術】

【0002】

イメージ・センサは、多種多様な環境にある物体のイメージ・データを取込むために使用される。また、イメージ・センサや付属の電子機器はモニタしている環境に最も適合するように調整されている。例えば、低照度、すなわち低ルクス・レベルの環境で、イメージ・センサは、一定の照度を提供する照明用光源によって補助することができる。このような調整は、静的な環境ではうまく機能するが、動的に変化する環境によって引き起こされる問題に対応できていない。例えば、イメージ・センサが、車両内の物体をモニタし特定の照度レベルに調整されている場合、車両内の照度レベルが、車両が暗い場所を通過するか又は夜間に走行しているために低下すると、撮像できない場合がある。

【発明の概要】

【0003】

本発明の実施形態では、照度レベルが動的に変化する車両内の乗員や運転者が行うジェスチャのイメージ・データが取り込まれる。開示するシステムは、照度閾値以下の照度レベルの環境でイメージ・データを取込むために具備された低ルクス・センサと、該照度閾値を超える照度レベルの環境でイメージ・データを取込むために具備された高ルクス・センサと、これらのセンサを起動、停止するための物体認識モジュールとを有する。低ルクス及び高ルクス・センサは、車両のオーバーヘッド・コンソールに配置される。

【0004】

物体認識モジュールは、環境の照度レベルを判定して、該照度レベルが前記照度レベル閾値未満であるか否かを判定する。照度レベルが該閾値を下回る場合には、物体認識モジュールは低ルクス・センサを起動する。一実施形態では、物体認識モジュールは、低ルクス・センサの起動と共に照明用光源を起動する。照明用光源は、低ルクス・センサのために環境を照明し、低ルクス・センサが低照度レベルでイメージ・データを取込むことを可能にする。照度レベルが該閾値を超えている場合、物体認識モジュールは、高ルクス・センサを起動する。一実施形態では、高ルクス・センサは、高ルクス・センサに到達する赤外線の量を減少させる赤外線フィルタを有してもよい。

【0005】

本発明の他の実施形態には、前記システムの上述の機能を実行するための命令を格納するコンピュータ可読媒体、及び上述の機能を実行するためのステップを含む、コンピュータで実行される方法が挙げられる。

【図面の簡単な説明】

【0006】

【図1】図１は、一実施形態による、照度レベルが動的に変化する環境におけるイメージ・データを取込むためのコンピューティング環境を示すブロック図である。

【図2】図２は、一実施形態による、照度レベルが動的に変化する環境内におけるイメージ・データを取込むためのコンピューティング環境に含まれる物体認識モジュールを示すブロック図である。

【図3】図３は、一実施形態による、照度レベルが動的に変化する環境におけるイメージ・データを取込むための方法を示すフロー図である。

【発明を実施するための形態】

【0007】

本明細書に記載のコンピューティング環境では、車両内の低ルクス及び高ルクス条件の運転者や同乗者からのジェスチャを表すイメージ・データが取り込まれる。図面および以下の説明は、説明のためにのみ特定の実施形態を記載しているだけである。当業者が以下の説明から容易に認識できることは、本明細書に例示してある構造および方法の代替の実施形態を、本明細書に記載の原理から逸脱することなく使用することができると言うことである。以降、いくつかの実施形態を詳細に参照して、これらの実施形態の例を添付の図面において説明する。なお、実用的な限り、類似または同様の参照番号を図面において使用し、類似または同様の機能を示している。

【0008】

＜システム環境＞
図１を参照すると、照度レベルが動的に変化する環境内のイメージ・データを取込むためのコンピューティング環境１００は、物体認識モジュール１０２、一対の低ルクス・イメージ・センサ、１０４ａと１０４ｂ（例えば、赤外線センサ）、一対の高ルクス・イメージ・センサの対、１０６ａと１０６ｂ（例えば、ＲＧＢセンサ）、照度レベル検出器１１０、及び通信モジュール１１２を有する。図示したコンピューティング環境１００は、２つの低ルクス・イメージ・センサ１０４ａ及び１０４ｂと高ルクス・イメージ・センサ１０６ａ及び１０６ｂを有するが、コンピューティング環境１００の他の実施形態は、低ルクス・イメージ・センサ１０４ａ及び１０４ｂ、及び高ルクス・イメージ・センサ１０６ａ及び１０６ｂを１対以上含むことができる。さらに、一実施形態では、コンピューティング環境１００は車両や移動小屋の中に存在するが、照度レベルが動的に変化する他の環境内に配置することもできる。

【0009】

照度レベル検出器１１０は、前記環境１００に存在する光の量を測定する装置である。一実施形態では、該照度レベル検出器１１０は、光を、測定可能な電気に変換する光起電性センサを具備する。該照度レベル検出器１１０は、生成された電力量を測定し、測定された電力に基づいて、該環境の光量または照度レベルを決定する。一実施形態では、照度レベル検出器は、反射光計または入射光計のような光計器の原理を利用して、環境１００内の照度レベルを測定する。

【0010】

物体認識モジュール１０２は、測定された照度レベルを照度レベル検出器１１０から受信して、照度レベルが閾値ルクスを超えているか否かを判定し、そして、高ルクス・イメージ・センサ１０６ａ及び１０６ｂまたは低ルクス・イメージ・センサ１０４ａ及び１０４ｂを、該判定に基づいて起動する。一実施形態では、物体認識モジュール１０２は、照度レベルが該閾値ルクスより低いという判定に応答して低ルクス・イメージ・センサ１０４ａ及び１０４ｂを起動し、照度レベルが該閾値ルクス以上であるという判定に対応して高ルクス・イメージ・センサ１０６ａ及び１０６ｂを起動する。別の実施形態では、物体認識モジュール１０２は、低ルクス・センサと高ルクス・センサ、１０４ａ及び１０４ｂ、１０６ａ及び１０６ｂの両方が同時に作動していないことを確実にする。したがって、低ルクス・センサ１０４ａ及び１０４ｂの起動に応答して、物体認識モジュール１０２は、作動中の任意の高ルクス・センサ１０６ａ及び１０６ｂを動作停止させ、逆の場合には逆の動作を行う。物体認識モジュール１０２は、次いて、起動したセンサ１０４、又は１０６からイメージ・データを受信し、該受信したイメージ・データを処理し、該処理に基づいてイメージ内の物体を認識する。一実施形態では、認識された物体は特定のジェスチャを行っている人物であり、該物体認識モジュール１０２は、認識された物体に基づき、ユーザとの通信等の機能を、通信モジュール１１２を介して実行する。

【0011】

物体認識モジュール１０２による低ルクス・センサ１０４ａ及び１０４ｂと高ルクス・センサ１０６ａ及び１０６ｂの選択的な起動が有益な点は、物体認識モジュール１０２が、低ルクス条件（すなわち、環境１００の光量が少ない条件）と高ルクス条件（すなわち、環境１００の光量が適切または多い条件）の両方においてデータを取込むことが可能になるということである。従って、物体認識モジュール１０２が有利な点は、照度レベルが動的に変化する環境で使用してイメージ・データを取込み、処理することができるということである。

【0012】

通信モジュール１１２は、ユーザと物体認識モジュール１０２との間のインターフェースを提供する。該通信モジュール１１２は、したがって、出力デバイスを有し、任意でユーザと通信するための入力装置を有する。出力デバイスの例としては、イメージ通信用のタッチ・スクリーンおよび音声通信用のオーディオ機器がある。入力デバイスの例としては、タッチ・スクリーン、マウス、及びキーパッドがある。

【0013】

高ルクス・センサ１０６ａ及び１０６ｂは、前記閾値ルクス以上の照明レベルにおけるイメージ・データを取込むことができるイメージ・センサである。このような高ルクス・センサ１０６ａ及び１０６ｂの例としては、電荷結合素子（ＣＣＤ）センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）センサがあり、これらのセンサは、光に対する適切な感度すなわち輝度範囲を有し、上記閾値ルクス以上の照明レベル下にあるときにイメージ・データを取込むことができる。イメージ・センサ１０６ａ及び１０６ｂの輝度範囲は、具備している該センサ１０６ａ及び１０６ｂがイメージ・データを取込むシーンの輝度の範囲である。例えば、該高ルクス・センサ１０６ａ及び１０６ｂの輝度範囲は、１平方メートル当たり３００〜１０００カンデラまたは１０００〜１２０００ルクスとすることができる。

【0014】

一実施形態では、高ルクス・センサ１０６ａ及び１０６ｂはカラーイメージ・センサであって、イメージ・データを取り込んで環境１００のカラー・イメージを再生する。これらの高ルクス・センサ１０６ａ及び１０６ｂは、必要に応じて、赤外線遮断フィルタと共に使用して、赤外線波長の光に起因する歪みを低減または最小化することができる。一実施形態では、２つの高ルクス・センサ１０６ａ及び１０６ｂは互いに眼間距離（すなわち、人の目の間の距離に近い）だけ離れて位置して、立体イメージ処理のために三次元イメージを取込む。

【0015】

低ルクス・センサ１０４ａ及び１０４ｂは、前記閾値ルクスを下回る照度レベルでイメージ・データを取込むことが可能なイメージ・センサである。このような低ルクス・センサ１０４ａ及び１０４ｂの例としてはＣＣＤまたはＣＭＯＳセンサがあり、該閾値ルクスを下回る照度レベルにあるときにイメージ・データを取込むための適切な輝度範囲を有する。一実施形態では、該低ルクス・イメージ・センサは１平方メートル当たり２５〜３５０カンデラまたは０〜８０ルクスの輝度範囲を持つ。一実施形態では、２つの低ルクス・センサ１０４ａ及び１０４ｂは、互いに眼間距離（すなわち、ほぼ、人の目の間の距離）だけ離れて位置して、立体イメージ処理のための三次元イメージを取込む。一実施形態では、低ルクス・センサ１０４ａ及び１０４ｂの輝度範囲は、高ルクス・センサ１０６ａ及び１０６ｂの輝度範囲とは異なっている。輝度範囲が異なっていることにより、低ルクス・センサがより低い照度レベルでより良質なイメージ・データを取込むことができ、高ルクス・センサがより高い照度レベルでより良質なイメージ・データを取込むことができる。別の実施形態では、低ルクス・イメージ・センサ１０４ａ及び１０４ｂと高ルクス・イメージ・センサ１０６ａ及び１０６ｂの輝度範囲は同じである。

【0016】

一実施形態では、低ルクス・イメージ・センサ１０４ａ及び１０４ｂには照明用光源１０８ａ及び１０８ｂが対応しており、該照明用光源１０８ａ及び１０８ｂは低ルクス・イメージ・センサ１０４ａ及び１０４ｂの視野を照明する。対応する照明用光源を持つイメージ・センサの例としては、ＤＥＦＥＮＤＥＲ・ＳＰＡＲＴＡＮ５（登録商標）ナイト・ビジョン・カメラとＣＣＴＶ・ＥＸ１１ＤＸＬデュアル・センサ・カラー・ナイト・ビジョン・カメラがある。また、以下に説明する一実施形態では、照明用光源１０８ａ及び１０８ｂは、単一波長または類似の複数波長を含むスペクトルを持つ光を放射する。この実施形態では、低ルクス・センサ１０４ａ及び１０４ｂは、照明用光源１０８ａ及び１０８ｂによって放射される光の波長と類似の波長の受信光の変換が効率的に行えるモノクロのイメージ・センサである。このようなモノクロの低ルクス・センサ１０４ａ及び１０４ｂが有益な点は、低照度レベルのイメージ・データの取込みに優れていることである。

【0017】

一実施形態では、照明用光源１０８ａ及び１０８ｂは赤外光を放射してシーンを照明し、本実施形態の低ルクス・センサ１０４ａ及び１０４ｂは、該低ルクス・センサ１０４ａ及び１０４ｂに到達する赤外光を低減または最小限にする赤外線フィルタを具備していない。照明用光源１０８ａ及び１０８ｂは赤外光でシーンを照明しているため、赤外線フィルタを持たないことで、前記環境１００が赤外光で照明されたときに低ルクス・センサ１０４ａ及び１０４ｂがイメージ・データを取込むことが可能になり、有益である。

【0018】

照明用光源１０８ａ及び１０８ｂは、一実施形態において、低ルクス・イメージ・センサ１０４ａ及び１０４ｂに含まれているか又は取付けられている。前記環境１００の他の実施形態では、照明用光源１０８ａ及び１０８ｂは、低ルクス・イメージ・センサ１０４ａ及び１０４ｂから物理的に分離されている。

【0019】

照明用光源１０８ａ及び１０８ｂは、一実施形態では、近赤外（ＮＩＲ：Ｎｅａｒ Ｉｎｆｒａｒｅｄ）線発光ダイオード（ＬＥＤ）であり、近赤外光を発光してセンサ１０４ａ及び１０４ｂの視野を照明する。該近赤外光は人間には見えないので、環境１００にいる人間の気を散らすことなく視野を照明するので有益である。照明される環境１００が車両内にある場合には、運転者の気を散らすことなく環境１００を照明することが望ましい。別の実施形態では、該照明用光源１０８ａ及び１０８ｂは、近赤外光以外の光を発して視野を照明する。さらに、一実施形態では、該照明用光源１０８ａ及び１０８ｂは単一波長または類似の複数の波長を含むスペクトルを持つ光を発する。この理由は、そのような光で視野を照明することで、低ルクス・イメージ・センサ１０４ａ及び１０４ｂが取り込んだデータから得られるイメージの色度を低減することが有益だからである。

【0020】

別の実施形態では、照明用光源１０８ａ及び１０８ｂは、低ルクス・イメージ・センサ１０４ａ及び１０４ｂの応答曲線のピークにおける範囲内にあるスペクトル帯域の光を放射する。該イメージ・センサの応答曲線は、種々の波長でセンサが受光する光の量毎にセンサの電流生成効率を示している。従って、照明用光源１０８ａ及び１０８ｂは、前記低ルクス・イメージ・センサ１０４ａ及び１０４ｂが、該センサ１０４ａ及び１０４ｂが受光する光量毎に多量の電流を生成する波長を含むスペクトル帯域の光を放射する。例えば、照明用光源１０８ａ及び１０８ｂは、７５０ナノメートル（ｎｍ）及び９００ナノメートル（ｎｍ）の間の波長の光を発するが、この理由は、この波長で受光された光に対し低ルクス・センサ１０４ａ及び１０４ｂが、ワット当たり０．２〜０．２７５アンペア（Ａ／Ｗ）生成するが、一般的には、他の波長の光に対してはより少ない電流しか生成しないからである。

【0021】

照明用光源１０８ａ及び１０８ｂと、低ルクス・センサ１０４ａ及び１０４ｂと、高ルクス・センサ１０６ａ及び１０６ｂとは、必要に応じて、環境１００内でモニタしている領域の物理的に高い位置に置かれる。センサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂをより高い位置におけば、モニタ領域に、センサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂを遮るものが実質的にない視界を得ることができるので有益である。例えば、該環境１００が車両内にあって、モニタ領域が運転者や同乗者の周囲の領域である場合、センサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂと照明用光源１０８ａ及び１０８ｂとは、運転席と助手席の間のセンタ・コンソールの上のオーバーヘッド・コンソールに配置される。視界を遮るものが実質的にないことに加えて、車両内のセンサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂとの設置場所によって、フロント・ガラスから車両に入る直接入射光による望ましくない影響を低減することができる。

【0022】

さらに、一実施形態では、照明用光源１０８ａ及び１０８ｂは、センサ１０４ａ及び１０４ｂに隣接して配置され、センサ１０４ａ及び１０４ｂの前方の領域を照明する。該照明用光源１０８ａ及び１０８ｂがセンサ１０４ａ及び１０４ｂと隣接して置かれ、対向して置かれないので、照明用光源１０８ａ及び１０８ｂからセンサ１０４ａ及び１０４ｂへの直接入射光を最小化できて有益である。

【0023】

＜物体認識モジュール＞
図２は、一実施形態による、照度レベルが動的に変化する環境内でイメージ・データを取込むためのコンピューティング環境における物体認識モジュール１０２を示すブロック図である。該物体認識モジュール１０２は、照度レベル・モジュール２０２、照度閾値モジュール２０４、撮像源起動モジュール２０６、照明用光源モジュール２０８、イメージ・データ記憶部２１０、及びイメージ処理モジュール２１２を有する。

【0024】

照度レベル・モジュール２０２は、照度レベル検出器１１０に通信可能に接続されており、照度レベル・モジュール２０２は照度レベル検出器１１０によって測定された照度レベルを判定する。一実施形態では、照度レベル・モジュール２０２は、照度レベル検出器１１０を繰り返しポーリングして測定された照度レベルを判定する。別の実施形態では、照度レベル検出器１１０は測定された照度レベルを繰り返し送信するように構成され、照度レベル・モジュール２０２は送信された照度レベルを受信する。さらに別の実施形態では、照度レベル・モジュール２０２は、照度レベルの測定値を閾値回数受信するか、又は、照度レベルの測定値を閾値時間の間受信する。そして、照度レベル・モジュール２０２は、受信した読み取り値に基づいて照度レベルを判定する。たとえば、照度レベル・モジュール２０２は、受信した読み取り値の平均値を照度レベルとして決定してもよい。このような、複数の照度レベル測定値に基づいて判定することによって、物体認識モジュール１０２は、異常な読み取り値を判定することができるので有用である。この異常な読み取り値は、該検出器１１０の一時的な誤動作、または検出器１１０の前に障害物が一時的に現れることにより発生することがある。

【0025】

照度閾値モジュール２０４は、照度レベル・モジュール２０２から照度レベルの判定結果を受信して、判定された照度レベルが閾値ルクスを超えているかどうかを判断する。一実施形態では、該閾値ルクスは設定可能になっており、ユーザまたは１つのモジュールによる適切な閾値ルクスの提供を、照度閾値モジュール２０４とのユーザインタフェースを介して行うことができる、一実施形態では、該閾値ルクスは、低ルクス・イメージ・センサ１０４ａ及び１０４ｂまたは高ルクス・イメージ・センサ１０６ａ及び１０６ｂの輝度範囲に基づいている。例えば、閾値ルクスは、低ルクス・イメージ・センサ１０４ａ及び１０４ｂまたは高ルクス・イメージ・センサ１０６ａ及び１０６ｂの輝度範囲の重複範囲内の値に設定される。したがって、低ルクス・センサ１０４ａ及び１０４ｂの輝度範囲が１平方メートル当たり２５〜３５０カンデラで、かつ、高ルクス・センサ１０６ａ及び１０６ｂの輝度範囲が１平方メートル当たり３００〜１０００カンデラある場合、該閾値ルクスは１平方メートル当たり３２５カンデラに設定することができる。このような閾値ルクスの決定により、該センサ１０４と１０６のいずれかが起動されているときに、現在の照度レベルがセンサ１０４、１０６の輝度範囲内にあることが保証される。

【0026】

撮像源起動モジュール２０６は、高ルクス・センサ１０６ａ及び１０６ｂ又は低ルクス・センサ１０４ａ及び１０４ｂの起動を、照度閾値モジュール２０４によってなされた決定に基づいて行う。照度閾値モジュール２０４が、照度レベルは閾値ルクス以上であると判断した場合には、撮像源起動モジュール２０６は、高ルクス・センサ１０６ａ及び１０６ｂを起動する。そうでない場合、撮像源起動モジュール２０６は、低ルクス・センサ１０４ａ及び１０４ｂを起動する。一つの実施形態では、撮像源起動モジュール２０６は、撮像源起動モジュール２０６が高ルクス・センサ１０６ａ及び１０６ｂを起動するときに低ルクス・センサ１０４ａ及び１０４ｂを停止し、その逆の動作も行う。このように動作停止することは、イメージ・データを、環境１００の現在の照度条件に合った適切なセンサによって取込むことを保証できるので、有利である。

【0027】

照明用光源モジュール２０８は、照明用光源１０８ａ及び１０８ｂの起動と停止を制御する。一実施形態では、照明用光源モジュール２０８は撮像源起動モジュール２０６と通信し、撮像源起動モジュール２０６による低ルクス・センサ１０４ａ及び１０４ｂの起動又は停止に応答して、照明用光源１０８ａ及び１０８ｂを起動又は停止する。別の実施形態では、照明用光源モジュール２０８は、照明用光源１０８ａ及び１０８ｂの起動または動作停止を、照度閾値モジュール２０４の下した判定に基づいて行う。照度閾値モジュール２０４が、照度レベルが閾値ルクス以上であると判断した場合、照明用光源モジュール２０８は、作動中の照明用光源１０８ａ及び１０８ｂをすべて停止させる。そうでない場合、照明用光源モジュール２０８は、照射用光源１０８ａ及び１０８ｂを起動する。起動された照明用光源１０８ａ及び１０８ｂは、低ルクス・センサ１０４ａ及び１０４ｂの視野を照明するので有用である。

【0028】

イメージ・データ記憶部２１０は、イメージ・センサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂにより取り込まれたイメージ・データを受信し格納する揮発性または不揮発性の記憶装置である。一実施形態では、イメージ・データ記憶部２１０は、低ルクス・センサ１０４ａ及び１０４ｂと高ルクス・センサ１０６ａ及び１０６ｂからのイメージ・データを別々に格納する。別々に格納されたイメージ・データによって、イメージ処理モジュール２１２が、二つの異なる種類のセンサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂからのイメージ・データを、必要に応じて異なる方法で処理することが可能になる。

【0029】

イメージ処理モジュール２１２は、イメージ・データ記憶部２１０に格納されたイメージを処理し、該処理に基づいて物体を認識し、そして、認識された物体に基づいて応答を開始する。イメージ処理モジュール２１２は、立体イメージ処理技術のような技術を用いて、データを処理し物体を認識することができる。このような技術の例は、「立体イメージ処理（Stereoscopic Image Processing）」と題する学術論文（入手先：ｈｔｔｐ：／／ｄｓｐ−ｂｏｏｋ．ｎａｒｏｄ．ｒｕ／ＤＳＰＭＷ／５７．ＰＤＦ）に記載されている。その全体を参照により本明細書に組み込むものとする。認識された物体に基づいて、イメージ処理モジュール２１２は、適切な応答を決定し、開始する。例えば、イメージ処理モジュール２１２は、格納されたイメージ・データを処理し、格納されたイメージ・データが、ある人間が特定のジェスチャを行なっていることを示していると判断することがある。該判定に応答して、イメージ処理モジュール２１２は、データベース（図示せず）を照会して、該ジェスチャに対応付けられたユーザ要求を判定する。イメージ処理モジュール２１２は、次に、判定された要求に応答して適切な動作を取るための適切な処理を指示する。例えば、該要求が、ユーザが特定の音楽ファイルを再生するようオーディオ・プレーヤーに指示したいということを示している場合、イメージ処理モジュール２１２は、音楽プレーヤーと通信し、該音楽ファイルを再生するように該プレーヤーに指示する。さまざまなジェスチャに対応付けられた要求の別の例としては、車内の光の点灯又は消灯の要求、車両内での全地球測位システムのようなアプリケーションの起動・停止の要求、クルーズ・コントロールのような運転機能の起動・停止の要求がある。

【0030】

図３は、一実施形態による、照度レベルが動的に変化する環境内のイメージ・データを取込むための方法を説明するフロー図である。物体認識モジュール１０２は、環境１００の照度レベルを判定し（３０２）、該照度レベルが閾値ルクス未満であるか否かを判定する（３０４）。該照度が閾値ルクス未満である場合、物体認識モジュール１０２は、低ルクス・センサ１０４ａ及び１０４ｂと、任意で照明用光源１０８ａ及び１０８ｂを起動する（３０６）。一実施形態では、物体認識モジュール１０２は、また、作動中の高ルクス・センサ１０６ａ及び１０６ｂを、低ルクス・センサ１０４ａ及び１０４ｂの起動と共に停止する。

【0031】

判定された照度レベルが該閾値ルクスより低くない場合は、物体認識モジュール１０２は高ルクス・センサ１０６ａ及び１０６ｂを起動する（３０８）。さらに、一実施形態では、物体認識モジュール１０２は、作動中の低ルクス・センサ１０４ａ及び１０４ｂ及び照明用光源１０８ａ及び１０８ｂの動作停止を、高ルクス・センサ１０６ａ及び１０６ｂの起動と共に行う。物体認識モジュール１０２は、次に、イメージ・データを取込み（３１０）、処理する（３１２）。一実施形態では、照度レベルが、繰り返し、閾値ルクスの上下のレベルに変化するとき、物体認識モジュール１０２が高ルクス・センサ１０６ａ及び１０６ｂと低ルクス・センサ１０４ａ及び１０４ｂを繰り返し起動する。物体認識モジュール１０２は、センサ１０４ａ及び１０４ｂとセンサ１０６ａ及び１０６ｂからのデータを取込み、取り込んだデータを処理する。別の実施形態では、高ルクス・センサ１０６ａ及び１０６ｂと低ルクス・センサ１０４ａ及び１０４ｂは常に作動しており、かつ、物体認識モジュール１０２は、照度レベルに基づいていずれかのセンサからデータを取込む。照度レベルが閾値ルクス未満の場合、物体認識モジュール１０２は、低ルクス・センサ１０４ａ及び１０４ｂからのデータを取込み処理する。そうでない場合、物体認識モジュール１０２は、高ルクス・センサ１０６ａ及び１０６ｂからのデータを取込み、かつ処理する。したがって、認識モジュール１０２は、照度レベルが変化している状況でデータを取込み処理することが可能である。照度レベルが変化している状況には車両がトンネルを通過するような場合があり、車両がトンネルに入って出るときに前記照度レベルが増減する。前記処理に基づいて、物体認識モジュール１０２は、該イメージ内の物体を認識し（３１４）、適切な応答を開始する。

【0032】

本発明の実施形態の前述の説明は、説明目的のために提示されたものであり、網羅的な説明や、または開示された細緻な形態への本発明の限定を意図するものではない。関連技術分野の当業者は、多くの変形および変更が上記の開示に照らして可能であることを理解できるであろう。

【0033】

本明細書のいくつかの部分は、本発明の実施形態を、アルゴリズム及び情報を操作する記号表現によって説明している。これらのアルゴリズム的な記述および表現は、データ処理分野の当業者によって共通的に使用され、彼らの業績の大要を他の分野の当業者に効果的に伝えている。これらの操作の説明は、機能的に、計算によって、または論理的になされているが、実装は、コンピュータ・プログラムまたは等価な電気回路、マイクロコード等によってなされることが理解されよう。さらに、また、これらの操作の配列をモジュールとして参照することが便利な場合があることが、一般性を失うことなく証明されている。説明された動作およびそれらに対応するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで実現することができる。当業者であれば、該ハードウェアは、上記のモジュールを実装して、少なくとも１つのプロセッサとメモリを含み、該メモリには上記の機能を持つモジュールを実行するための命令が含まれることが理解できるであろう。

【0034】

本明細書に記載の任意のステップ、操作、または処理は、一つ以上のハードウェアまたはソフトウェア・モジュールを用いて、単独で又は他のデバイスと組み合わせて実行または実現することができる。一実施形態において、ソフトウェア・モジュールは、コンピュータ・プログラム・コードを含む非一時的なコンピュータ可読媒体を含むコンピュータ・プログラム・プロダクトを用いて実現される。該コンピュータ・プログラム・コードは、記述されたステップ、操作、または処理のいずれかまたはすべてを実行するためにコンピュータ・プロセッサによって実行可能である。

【0035】

本発明の実施形態はまた、本明細書で述べた動作を実行するための装置に関するものであってもよい。この装置は、要求された目的のために特別な構成を有してもよいし、および／または、汎用目的のコンピューティング・デバイスを有して、該コンピューティング・デバイスをコンピュータに格納されたコンピュータ・プログラムによって選択的に起動又は再構成してもよい。このようなコンピュータ・プログラムは、非一時的で有形のコンピュータ可読記憶媒体、または電子的命令の格納に適した任意の種類の媒体に格納することができる。該媒体は、コンピュータ・システム・バスに接続してもよい。さらに、本明細書において言及した任意のコンピューティング・システムは、単一のプロセッサを有してもよく、または計算能力増強のためにマルチ・プロセッサ設計を採用したアーキテクチャであってもよい。

【0036】

本発明の実施形態は、また、本明細書に記載のコンピューティング・プロセスによって製造される製品に関するものでもよい。そのような製品はコンピューティング・プロセスから生成される情報を含むことができる。該情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、本明細書に記載のコンピュータ・プログラム製品またはその他のデータの組合せの任意の実施形態を含むことができる。

【0037】

最後に、本明細書で使用される言語は、主として読みやすさや説明目的のために選択されており、本発明の主旨を限定するために選択されたものではない。したがって、本発明の範囲は、本明細書の詳細な説明によって限定されるものではなく、本明細書に基づいて出願時に提出されたすべての特許請求の範囲によって限定されるものである。したがって、本発明の実施形態の開示は、本発明の特許請求の範囲の説明を目的としており、限定を目的としていない。特許請求の範囲は、以下に記載されている。

【符号の説明】

【0038】

１００ コンピューティング環境
１０２ 物体認識モジュール
１０４ａ、１０４ｂ 低ルクス・イメージ・センサ、低ルクス・センサ
１０６ａ、１０６ｂ 高ルクス・イメージ・センサ、高ルクス・センサ
１１０ 照度レベル検出器
１１２ 通信モジュール
１０２ 物体認識モジュール
２０２ 照度レベル・モジュール
２０４ 照度閾値モジュール
２０６ 撮像源起動モジュール
２０８ 照明用光源モジュール
２１０ イメージ・データ記憶部
２１２ イメージ処理モジュール

【図1】

【図2】

【図3】