特表2015-535412(P2015-535412A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 本田技研工業株式会社の特許一覧
特表2015-535412低ルクス及び高ルクス条件における物体認識
<>
  • 特表2015535412-低ルクス及び高ルクス条件における物体認識 図000003
  • 特表2015535412-低ルクス及び高ルクス条件における物体認識 図000004
  • 特表2015535412-低ルクス及び高ルクス条件における物体認識 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2015-535412(P2015-535412A)
(43)【公表日】2015年12月10日
(54)【発明の名称】低ルクス及び高ルクス条件における物体認識
(51)【国際特許分類】
   H04N 5/225 20060101AFI20151113BHJP
   H04N 5/232 20060101ALI20151113BHJP
【FI】
   H04N5/225 Z
   H04N5/225 C
   H04N5/232 Z
【審査請求】有
【予備審査請求】未請求
【全頁数】16
(21)【出願番号】特願2015-539601(P2015-539601)
(86)(22)【出願日】2013年9月12日
(85)【翻訳文提出日】2015年6月24日
(86)【国際出願番号】US2013059408
(87)【国際公開番号】WO2014065951
(87)【国際公開日】20140501
(31)【優先権主張番号】13/659,826
(32)【優先日】2012年10月24日
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(71)【出願人】
【識別番号】514320027
【氏名又は名称】エッジ・スリー テクノロジーズ エルエルシー
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】キング、ジョシュ、タイラー
(72)【発明者】
【氏名】エル ドコール、タレク
(72)【発明者】
【氏名】バゲフィナザリ、ペドラム
(72)【発明者】
【氏名】ヤマモト、ステュアート、マサカズ
(72)【発明者】
【氏名】ホワン、リッチー、ウィンソン
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122DA03
5C122DA14
5C122DA16
5C122EA42
5C122FA18
5C122FC01
5C122FC02
5C122FC04
5C122FH11
5C122FH14
5C122GG21
5C122HA86
5C122HB01
(57)【要約】
照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのシステム。このシステムは、照度レベルが照度閾値未満の環境におけるイメージ・データを取込むために具備された低ルクス・センサと、照度レベルが照度閾値より高い環境におけるイメージ・データを取込むために具備された高ルクス・センサと、これらのセンサを起動する物体認識モジュールとを有する。この物体認識モジュールは、環境の照度レベルを判定して、この照度レベルが前記照度閾値未満のときは前記低ルクス・センサを起動し、照度レベルが前記閾値より高いときは前記高ルクス・センサを起動する。
【特許請求の範囲】
【請求項1】
照度レベルが動的に変化する車両内の乗員または運転者のジェスチャに対応するイメージ・データを取込むための、コンピュータによって実行される方法であって、
該車両は、該車両のオーバーヘッド・コンソールに位置する低ルクス・センサと高ルクス・センサとを備え、
該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、かつ、
該高ルクス・センサは、照度レベルが閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成されており、
該方法は、
該車両の照度レベルを判定するステップと、
照度閾値モジュールによって、該判定された照度レベルが閾値照度レベル未満であるか否かを判定するステップと、
該照度レベルが該閾値照度レベル未満であるときは、該低ルクス・センサによって取り込まれたイメージ・データを処理するステップと、
該照度レベルが該閾値照度レベルより高いときは、該高ルクス・センサによって取り込まれたイメージ・データを処理するステップと、
を含むことを特徴とする、コンピュータによって実行される方法。
【請求項2】
前記照度レベルが前記閾値照度レベル未満であると判定するステップと、
前記低ルクス・センサによって取り込まれたイメージ・データを処理するステップと、
該照度レベルが該閾値照度レベルより高いことを判定するステップと、
前記高ルクス・センサによって取り込まれたイメージ・データを処理するステップとを、さらに含むこと、
を特徴とする、請求項1に記載のコンピュータによって実行される方法。
【請求項3】
前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、照明用光源を起動するステップをさらに含むこと、
を特徴とする、請求項1に記載のコンピュータによって実行される方法。
【請求項4】
前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
を特徴とする、請求項1に記載のコンピュータによって実行される方法。
【請求項5】
前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
を特徴とする、請求項4に記載のコンピュータによって実行される方法。
【請求項6】
前記高ルクス・センサは、該高ルクス・センサに到達する赤外線の量を減少させるために赤外線フィルタを有すること、
を特徴とする、請求項1に記載のコンピュータによって実行される方法。
【請求項7】
前記照明用光源は、前記低ルクス・センサの応答曲線のピーク範囲内にあるスペクトルを有する光を放射すること、
を特徴とする、請求項3に記載のコンピュータによって実行される方法。
【請求項8】
前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、前記高ルクス・センサが作動中であるかどうかを判定するステップと
該高ルクス・センサが作動中であるとする判定に応答して、該作動中の高ルクス・センサを動作停止させるステップと、を含むこと、
を特徴とする、請求項1に記載のコンピュータによって実行される方法。
【請求項9】
前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための4つのセンサを有し、
該4つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
該4つのセンサは、2つのRGBセンサと2つの赤外線センサとを含むこと、
を特徴とする、請求項1に記載のコンピュータによって実行される方法。
【請求項10】
照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのコンピュータ・プログラム・プロダクトであって、
該車両は、該車両のオーバーヘッド・コンソールに位置する低ルクス・センサと高ルクス・センサとを備え、
該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、かつ、
該高ルクス・センサは、照度レベルが閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成されており、
該コンピュータ・プログラム・プロダクトは、コンピュータ・プログラム・コードを含む非一時的なコンピュータ可読媒体を含み、該コンピュータ・プログラム・コードは、
該車両の照度レベルを判定し、
照度閾値モジュールによって、該判定された照度レベルが閾値照度レベル未満であるか否かを判定し、
該照度レベルが該閾値照度レベル未満であるときは、該低ルクス・センサによって取り込まれたイメージ・データを処理し、かつ、
該照度レベルが該閾値照度レベルより高いときは、該高ルクス・センサによって取り込まれたイメージ・データを処理すること、
を特徴とする、コンピュータ・プログラム・プロダクト。
【請求項11】
前記照度レベルが前記閾値照度レベル未満であると判定し、
前記低ルクス・センサによって取り込まれたイメージ・データを処理し、
該照度レベルが該閾値照度レベルより高いことを判定し、かつ、
前記高ルクス・センサによって取り込まれたイメージ・データを処理する、
ためのコンピュータ・プログラム・コードを
さらに含むこと、
を特徴とする、請求項10に記載のコンピュータ・プログラム・プロダクト。
【請求項12】
前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、照明用光源を起動するためのコンピュータ・プログラム・コードをさらに含むこと、
を特徴とする、請求項10に記載のコンピュータ・プログラム・プロダクト。
【請求項13】
前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
を特徴とする、請求項10に記載のコンピュータ・プログラム・プロダクト。
【請求項14】
前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
を特徴とする、請求項13に記載のコンピュータ・プログラム・プロダクト。
【請求項15】
前記高ルクス・センサは、該高ルクス・センサに到達する赤外線の量を減少させるために赤外線フィルタを有すること、
を特徴とする、請求項10に記載のコンピュータ・プログラム・プロダクト。
【請求項16】
前記照明用光源は、前記低ルクス・センサの応答曲線のピーク範囲内にあるスペクトルを有する光を放射すること、
を特徴とする、請求項12に記載のコンピュータ・プログラム・プロダクト。
【請求項17】
前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、前記高ルクス・センサが作動中であるかどうかを判定し、かつ、
該高ルクス・センサが作動中であるとする判定に応答して、該作動中の高ルクス・センサを動作停止させるためのコンピュータ・プログラム・コードをさらに含むこと、
を特徴とする、請求項10に記載のコンピュータ・プログラム・プロダクト。
【請求項18】
前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための4つのセンサを有し、
該4つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
該4つのセンサは、2つのRGBセンサと2つの赤外線センサとを含むこと、
を特徴とする、請求項10に記載のコンピュータ・プログラム・プロダクト。
【請求項19】
照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのコンピュータ・システムであって、
該車両は、該車両のオーバーヘッド・コンソールに位置する低ルクス・センサと高ルクス・センサとを備え、
該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、かつ、
該高ルクス・センサは、照度レベルが閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、
該コンピュータ・システムは、プロセッサと非一時的なコンピュータ可読媒体とを含み、
該コンピュータ可読媒体は、
該車両の照度レベルを判定し、
照度閾値モジュールによって、該判定された照度レベルが閾値照度レベル未満であるか否かを判定し、
該照度レベルが該閾値照度レベル未満であるときは、該低ルクス・センサによって取り込まれたイメージ・データを処理し、かつ、
該照度レベルが該閾値照度レベルより高いときは、該高ルクス・センサによって取り込まれたイメージ・データを処理する、
ためのコンピュータ・プログラム・コードを含むこと、
を特徴とする、コンピュータ・システム。
【請求項20】
前記照度レベルが前記閾値照度レベル未満であると判定し、
前記低ルクス・センサによって取り込まれたイメージ・データを処理し、
該照度レベルが該閾値照度レベルより高いことを判定し、かつ、
前記高ルクス・センサによって取り込まれたイメージ・データを処理する、
ためのコンピュータ・プログラム・コードを
さらに含むこと、
を特徴とする、請求項19に記載のコンピュータ・システム。
【請求項21】
前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、照明用光源を起動するためのコンピュータ・プログラム・コードをさらに含むこと、
を特徴とする、請求項19に記載のコンピュータ・システム。
【請求項22】
前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
を特徴とする、請求項19に記載のコンピュータ・システム。
【請求項23】
前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
を特徴とする、請求項22に記載のコンピュータ・システム。
【請求項24】
前記高ルクス・センサは、該高ルクス・センサに到達する赤外線の量を減少させるために赤外線フィルタを有すること、
を特徴とする、請求項19に記載のコンピュータ・システム。
【請求項25】
前記照明用光源は、前記低ルクス・センサの応答曲線のピーク範囲内にあるスペクトルを有する光を放射すること、
を特徴とする、請求項21に記載のコンピュータ・システム。
【請求項26】
前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための4つのセンサを有し、
該4つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
該4つのセンサは、2つのRGBセンサと2つの赤外線センサとを含むこと、
を特徴とする、請求項19に記載のコンピュータ・システム。
【請求項27】
照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのコンピュータ・システムであって、
該車両は、該車両のオーバーヘッド・コンソールに位置する低ルクス・センサと高ルクス・センサとを備え、
該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、そして
該高ルクス・センサは、照度レベルが閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成されており、
該コンピュータ・システムは、
該車両の照度レベルを判定する照度レベル・モジュールと、
該判定された照度レベルが閾値照度レベル未満であるか否かを判定する照度閾値モジュールと、
該照度レベルが該閾値照度レベル未満であるときは該低ルクス・センサを起動し、かつ、該照度レベルが該閾値照度レベルより高いときは該高ルクス・センサを起動する撮像源起動モジュールと、を含むこと、
を特徴とする、コンピュータ・システム。
【請求項28】
前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
を特徴とする、請求項27に記載のコンピュータ・システム。
【請求項29】
前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
を特徴とする、請求項28に記載のコンピュータ・システム。
【請求項30】
前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための4つのセンサを有し、
該4つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
該4つのセンサは、2つのRGBセンサと2つの赤外線センサとを含むこと、
を特徴とする、請求項27に記載のコンピュータ・システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般的には物体認識、特に、車両における低ルクス及び高ルクスの条件での物体認識に関する。
【背景技術】
【0002】
イメージ・センサは、多種多様な環境にある物体のイメージ・データを取込むために使用される。また、イメージ・センサや付属の電子機器はモニタしている環境に最も適合するように調整されている。例えば、低照度、すなわち低ルクス・レベルの環境で、イメージ・センサは、一定の照度を提供する照明用光源によって補助することができる。このような調整は、静的な環境ではうまく機能するが、動的に変化する環境によって引き起こされる問題に対応できていない。例えば、イメージ・センサが、車両内の物体をモニタし特定の照度レベルに調整されている場合、車両内の照度レベルが、車両が暗い場所を通過するか又は夜間に走行しているために低下すると、撮像できない場合がある。
【発明の概要】
【0003】
本発明の実施形態では、照度レベルが動的に変化する車両内の乗員や運転者が行うジェスチャのイメージ・データが取り込まれる。開示するシステムは、照度閾値以下の照度レベルの環境でイメージ・データを取込むために具備された低ルクス・センサと、該照度閾値を超える照度レベルの環境でイメージ・データを取込むために具備された高ルクス・センサと、これらのセンサを起動、停止するための物体認識モジュールとを有する。低ルクス及び高ルクス・センサは、車両のオーバーヘッド・コンソールに配置される。
【0004】
物体認識モジュールは、環境の照度レベルを判定して、該照度レベルが前記照度レベル閾値未満であるか否かを判定する。照度レベルが該閾値を下回る場合には、物体認識モジュールは低ルクス・センサを起動する。一実施形態では、物体認識モジュールは、低ルクス・センサの起動と共に照明用光源を起動する。照明用光源は、低ルクス・センサのために環境を照明し、低ルクス・センサが低照度レベルでイメージ・データを取込むことを可能にする。照度レベルが該閾値を超えている場合、物体認識モジュールは、高ルクス・センサを起動する。一実施形態では、高ルクス・センサは、高ルクス・センサに到達する赤外線の量を減少させる赤外線フィルタを有してもよい。
【0005】
本発明の他の実施形態には、前記システムの上述の機能を実行するための命令を格納するコンピュータ可読媒体、及び上述の機能を実行するためのステップを含む、コンピュータで実行される方法が挙げられる。
【図面の簡単な説明】
【0006】
図1図1は、一実施形態による、照度レベルが動的に変化する環境におけるイメージ・データを取込むためのコンピューティング環境を示すブロック図である。
図2図2は、一実施形態による、照度レベルが動的に変化する環境内におけるイメージ・データを取込むためのコンピューティング環境に含まれる物体認識モジュールを示すブロック図である。
図3図3は、一実施形態による、照度レベルが動的に変化する環境におけるイメージ・データを取込むための方法を示すフロー図である。
【発明を実施するための形態】
【0007】
本明細書に記載のコンピューティング環境では、車両内の低ルクス及び高ルクス条件の運転者や同乗者からのジェスチャを表すイメージ・データが取り込まれる。図面および以下の説明は、説明のためにのみ特定の実施形態を記載しているだけである。当業者が以下の説明から容易に認識できることは、本明細書に例示してある構造および方法の代替の実施形態を、本明細書に記載の原理から逸脱することなく使用することができると言うことである。以降、いくつかの実施形態を詳細に参照して、これらの実施形態の例を添付の図面において説明する。なお、実用的な限り、類似または同様の参照番号を図面において使用し、類似または同様の機能を示している。
【0008】
<システム環境>
図1を参照すると、照度レベルが動的に変化する環境内のイメージ・データを取込むためのコンピューティング環境100は、物体認識モジュール102、一対の低ルクス・イメージ・センサ、104aと104b(例えば、赤外線センサ)、一対の高ルクス・イメージ・センサの対、106aと106b(例えば、RGBセンサ)、照度レベル検出器110、及び通信モジュール112を有する。図示したコンピューティング環境100は、2つの低ルクス・イメージ・センサ104a及び104bと高ルクス・イメージ・センサ106a及び106bを有するが、コンピューティング環境100の他の実施形態は、低ルクス・イメージ・センサ104a及び104b、及び高ルクス・イメージ・センサ106a及び106bを1対以上含むことができる。さらに、一実施形態では、コンピューティング環境100は車両や移動小屋の中に存在するが、照度レベルが動的に変化する他の環境内に配置することもできる。
【0009】
照度レベル検出器110は、前記環境100に存在する光の量を測定する装置である。一実施形態では、該照度レベル検出器110は、光を、測定可能な電気に変換する光起電性センサを具備する。該照度レベル検出器110は、生成された電力量を測定し、測定された電力に基づいて、該環境の光量または照度レベルを決定する。一実施形態では、照度レベル検出器は、反射光計または入射光計のような光計器の原理を利用して、環境100内の照度レベルを測定する。
【0010】
物体認識モジュール102は、測定された照度レベルを照度レベル検出器110から受信して、照度レベルが閾値ルクスを超えているか否かを判定し、そして、高ルクス・イメージ・センサ106a及び106bまたは低ルクス・イメージ・センサ104a及び104bを、該判定に基づいて起動する。一実施形態では、物体認識モジュール102は、照度レベルが該閾値ルクスより低いという判定に応答して低ルクス・イメージ・センサ104a及び104bを起動し、照度レベルが該閾値ルクス以上であるという判定に対応して高ルクス・イメージ・センサ106a及び106bを起動する。別の実施形態では、物体認識モジュール102は、低ルクス・センサと高ルクス・センサ、104a及び104b、106a及び106bの両方が同時に作動していないことを確実にする。したがって、低ルクス・センサ104a及び104bの起動に応答して、物体認識モジュール102は、作動中の任意の高ルクス・センサ106a及び106bを動作停止させ、逆の場合には逆の動作を行う。物体認識モジュール102は、次いて、起動したセンサ104、又は106からイメージ・データを受信し、該受信したイメージ・データを処理し、該処理に基づいてイメージ内の物体を認識する。一実施形態では、認識された物体は特定のジェスチャを行っている人物であり、該物体認識モジュール102は、認識された物体に基づき、ユーザとの通信等の機能を、通信モジュール112を介して実行する。
【0011】
物体認識モジュール102による低ルクス・センサ104a及び104bと高ルクス・センサ106a及び106bの選択的な起動が有益な点は、物体認識モジュール102が、低ルクス条件(すなわち、環境100の光量が少ない条件)と高ルクス条件(すなわち、環境100の光量が適切または多い条件)の両方においてデータを取込むことが可能になるということである。従って、物体認識モジュール102が有利な点は、照度レベルが動的に変化する環境で使用してイメージ・データを取込み、処理することができるということである。
【0012】
通信モジュール112は、ユーザと物体認識モジュール102との間のインターフェースを提供する。該通信モジュール112は、したがって、出力デバイスを有し、任意でユーザと通信するための入力装置を有する。出力デバイスの例としては、イメージ通信用のタッチ・スクリーンおよび音声通信用のオーディオ機器がある。入力デバイスの例としては、タッチ・スクリーン、マウス、及びキーパッドがある。
【0013】
高ルクス・センサ106a及び106bは、前記閾値ルクス以上の照明レベルにおけるイメージ・データを取込むことができるイメージ・センサである。このような高ルクス・センサ106a及び106bの例としては、電荷結合素子(CCD)センサまたは相補型金属酸化膜半導体(CMOS)センサがあり、これらのセンサは、光に対する適切な感度すなわち輝度範囲を有し、上記閾値ルクス以上の照明レベル下にあるときにイメージ・データを取込むことができる。イメージ・センサ106a及び106bの輝度範囲は、具備している該センサ106a及び106bがイメージ・データを取込むシーンの輝度の範囲である。例えば、該高ルクス・センサ106a及び106bの輝度範囲は、1平方メートル当たり300〜1000カンデラまたは1000〜12000ルクスとすることができる。
【0014】
一実施形態では、高ルクス・センサ106a及び106bはカラーイメージ・センサであって、イメージ・データを取り込んで環境100のカラー・イメージを再生する。これらの高ルクス・センサ106a及び106bは、必要に応じて、赤外線遮断フィルタと共に使用して、赤外線波長の光に起因する歪みを低減または最小化することができる。一実施形態では、2つの高ルクス・センサ106a及び106bは互いに眼間距離(すなわち、人の目の間の距離に近い)だけ離れて位置して、立体イメージ処理のために三次元イメージを取込む。
【0015】
低ルクス・センサ104a及び104bは、前記閾値ルクスを下回る照度レベルでイメージ・データを取込むことが可能なイメージ・センサである。このような低ルクス・センサ104a及び104bの例としてはCCDまたはCMOSセンサがあり、該閾値ルクスを下回る照度レベルにあるときにイメージ・データを取込むための適切な輝度範囲を有する。一実施形態では、該低ルクス・イメージ・センサは1平方メートル当たり25〜350カンデラまたは0〜80ルクスの輝度範囲を持つ。一実施形態では、2つの低ルクス・センサ104a及び104bは、互いに眼間距離(すなわち、ほぼ、人の目の間の距離)だけ離れて位置して、立体イメージ処理のための三次元イメージを取込む。一実施形態では、低ルクス・センサ104a及び104bの輝度範囲は、高ルクス・センサ106a及び106bの輝度範囲とは異なっている。輝度範囲が異なっていることにより、低ルクス・センサがより低い照度レベルでより良質なイメージ・データを取込むことができ、高ルクス・センサがより高い照度レベルでより良質なイメージ・データを取込むことができる。別の実施形態では、低ルクス・イメージ・センサ104a及び104bと高ルクス・イメージ・センサ106a及び106bの輝度範囲は同じである。
【0016】
一実施形態では、低ルクス・イメージ・センサ104a及び104bには照明用光源108a及び108bが対応しており、該照明用光源108a及び108bは低ルクス・イメージ・センサ104a及び104bの視野を照明する。対応する照明用光源を持つイメージ・センサの例としては、DEFENDER・SPARTAN5(登録商標)ナイト・ビジョン・カメラとCCTV・EX11DXLデュアル・センサ・カラー・ナイト・ビジョン・カメラがある。また、以下に説明する一実施形態では、照明用光源108a及び108bは、単一波長または類似の複数波長を含むスペクトルを持つ光を放射する。この実施形態では、低ルクス・センサ104a及び104bは、照明用光源108a及び108bによって放射される光の波長と類似の波長の受信光の変換が効率的に行えるモノクロのイメージ・センサである。このようなモノクロの低ルクス・センサ104a及び104bが有益な点は、低照度レベルのイメージ・データの取込みに優れていることである。
【0017】
一実施形態では、照明用光源108a及び108bは赤外光を放射してシーンを照明し、本実施形態の低ルクス・センサ104a及び104bは、該低ルクス・センサ104a及び104bに到達する赤外光を低減または最小限にする赤外線フィルタを具備していない。照明用光源108a及び108bは赤外光でシーンを照明しているため、赤外線フィルタを持たないことで、前記環境100が赤外光で照明されたときに低ルクス・センサ104a及び104bがイメージ・データを取込むことが可能になり、有益である。
【0018】
照明用光源108a及び108bは、一実施形態において、低ルクス・イメージ・センサ104a及び104bに含まれているか又は取付けられている。前記環境100の他の実施形態では、照明用光源108a及び108bは、低ルクス・イメージ・センサ104a及び104bから物理的に分離されている。
【0019】
照明用光源108a及び108bは、一実施形態では、近赤外(NIR:Near Infrared)線発光ダイオード(LED)であり、近赤外光を発光してセンサ104a及び104bの視野を照明する。該近赤外光は人間には見えないので、環境100にいる人間の気を散らすことなく視野を照明するので有益である。照明される環境100が車両内にある場合には、運転者の気を散らすことなく環境100を照明することが望ましい。別の実施形態では、該照明用光源108a及び108bは、近赤外光以外の光を発して視野を照明する。さらに、一実施形態では、該照明用光源108a及び108bは単一波長または類似の複数の波長を含むスペクトルを持つ光を発する。この理由は、そのような光で視野を照明することで、低ルクス・イメージ・センサ104a及び104bが取り込んだデータから得られるイメージの色度を低減することが有益だからである。
【0020】
別の実施形態では、照明用光源108a及び108bは、低ルクス・イメージ・センサ104a及び104bの応答曲線のピークにおける範囲内にあるスペクトル帯域の光を放射する。該イメージ・センサの応答曲線は、種々の波長でセンサが受光する光の量毎にセンサの電流生成効率を示している。従って、照明用光源108a及び108bは、前記低ルクス・イメージ・センサ104a及び104bが、該センサ104a及び104bが受光する光量毎に多量の電流を生成する波長を含むスペクトル帯域の光を放射する。例えば、照明用光源108a及び108bは、750ナノメートル(nm)及び900ナノメートル(nm)の間の波長の光を発するが、この理由は、この波長で受光された光に対し低ルクス・センサ104a及び104bが、ワット当たり0.2〜0.275アンペア(A/W)生成するが、一般的には、他の波長の光に対してはより少ない電流しか生成しないからである。
【0021】
照明用光源108a及び108bと、低ルクス・センサ104a及び104bと、高ルクス・センサ106a及び106bとは、必要に応じて、環境100内でモニタしている領域の物理的に高い位置に置かれる。センサ104a及び104bと106a及び106bをより高い位置におけば、モニタ領域に、センサ104a及び104bと106a及び106bを遮るものが実質的にない視界を得ることができるので有益である。例えば、該環境100が車両内にあって、モニタ領域が運転者や同乗者の周囲の領域である場合、センサ104a及び104bと106a及び106bと照明用光源108a及び108bとは、運転席と助手席の間のセンタ・コンソールの上のオーバーヘッド・コンソールに配置される。視界を遮るものが実質的にないことに加えて、車両内のセンサ104a及び104bと106a及び106bとの設置場所によって、フロント・ガラスから車両に入る直接入射光による望ましくない影響を低減することができる。
【0022】
さらに、一実施形態では、照明用光源108a及び108bは、センサ104a及び104bに隣接して配置され、センサ104a及び104bの前方の領域を照明する。該照明用光源108a及び108bがセンサ104a及び104bと隣接して置かれ、対向して置かれないので、照明用光源108a及び108bからセンサ104a及び104bへの直接入射光を最小化できて有益である。
【0023】
<物体認識モジュール>
図2は、一実施形態による、照度レベルが動的に変化する環境内でイメージ・データを取込むためのコンピューティング環境における物体認識モジュール102を示すブロック図である。該物体認識モジュール102は、照度レベル・モジュール202、照度閾値モジュール204、撮像源起動モジュール206、照明用光源モジュール208、イメージ・データ記憶部210、及びイメージ処理モジュール212を有する。
【0024】
照度レベル・モジュール202は、照度レベル検出器110に通信可能に接続されており、照度レベル・モジュール202は照度レベル検出器110によって測定された照度レベルを判定する。一実施形態では、照度レベル・モジュール202は、照度レベル検出器110を繰り返しポーリングして測定された照度レベルを判定する。別の実施形態では、照度レベル検出器110は測定された照度レベルを繰り返し送信するように構成され、照度レベル・モジュール202は送信された照度レベルを受信する。さらに別の実施形態では、照度レベル・モジュール202は、照度レベルの測定値を閾値回数受信するか、又は、照度レベルの測定値を閾値時間の間受信する。そして、照度レベル・モジュール202は、受信した読み取り値に基づいて照度レベルを判定する。たとえば、照度レベル・モジュール202は、受信した読み取り値の平均値を照度レベルとして決定してもよい。このような、複数の照度レベル測定値に基づいて判定することによって、物体認識モジュール102は、異常な読み取り値を判定することができるので有用である。この異常な読み取り値は、該検出器110の一時的な誤動作、または検出器110の前に障害物が一時的に現れることにより発生することがある。
【0025】
照度閾値モジュール204は、照度レベル・モジュール202から照度レベルの判定結果を受信して、判定された照度レベルが閾値ルクスを超えているかどうかを判断する。一実施形態では、該閾値ルクスは設定可能になっており、ユーザまたは1つのモジュールによる適切な閾値ルクスの提供を、照度閾値モジュール204とのユーザインタフェースを介して行うことができる、一実施形態では、該閾値ルクスは、低ルクス・イメージ・センサ104a及び104bまたは高ルクス・イメージ・センサ106a及び106bの輝度範囲に基づいている。例えば、閾値ルクスは、低ルクス・イメージ・センサ104a及び104bまたは高ルクス・イメージ・センサ106a及び106bの輝度範囲の重複範囲内の値に設定される。したがって、低ルクス・センサ104a及び104bの輝度範囲が1平方メートル当たり25〜350カンデラで、かつ、高ルクス・センサ106a及び106bの輝度範囲が1平方メートル当たり300〜1000カンデラある場合、該閾値ルクスは1平方メートル当たり325カンデラに設定することができる。このような閾値ルクスの決定により、該センサ104と106のいずれかが起動されているときに、現在の照度レベルがセンサ104、106の輝度範囲内にあることが保証される。
【0026】
撮像源起動モジュール206は、高ルクス・センサ106a及び106b又は低ルクス・センサ104a及び104bの起動を、照度閾値モジュール204によってなされた決定に基づいて行う。照度閾値モジュール204が、照度レベルは閾値ルクス以上であると判断した場合には、撮像源起動モジュール206は、高ルクス・センサ106a及び106bを起動する。そうでない場合、撮像源起動モジュール206は、低ルクス・センサ104a及び104bを起動する。一つの実施形態では、撮像源起動モジュール206は、撮像源起動モジュール206が高ルクス・センサ106a及び106bを起動するときに低ルクス・センサ104a及び104bを停止し、その逆の動作も行う。このように動作停止することは、イメージ・データを、環境100の現在の照度条件に合った適切なセンサによって取込むことを保証できるので、有利である。
【0027】
照明用光源モジュール208は、照明用光源108a及び108bの起動と停止を制御する。一実施形態では、照明用光源モジュール208は撮像源起動モジュール206と通信し、撮像源起動モジュール206による低ルクス・センサ104a及び104bの起動又は停止に応答して、照明用光源108a及び108bを起動又は停止する。別の実施形態では、照明用光源モジュール208は、照明用光源108a及び108bの起動または動作停止を、照度閾値モジュール204の下した判定に基づいて行う。照度閾値モジュール204が、照度レベルが閾値ルクス以上であると判断した場合、照明用光源モジュール208は、作動中の照明用光源108a及び108bをすべて停止させる。そうでない場合、照明用光源モジュール208は、照射用光源108a及び108bを起動する。起動された照明用光源108a及び108bは、低ルクス・センサ104a及び104bの視野を照明するので有用である。
【0028】
イメージ・データ記憶部210は、イメージ・センサ104a及び104bと106a及び106bにより取り込まれたイメージ・データを受信し格納する揮発性または不揮発性の記憶装置である。一実施形態では、イメージ・データ記憶部210は、低ルクス・センサ104a及び104bと高ルクス・センサ106a及び106bからのイメージ・データを別々に格納する。別々に格納されたイメージ・データによって、イメージ処理モジュール212が、二つの異なる種類のセンサ104a及び104bと106a及び106bからのイメージ・データを、必要に応じて異なる方法で処理することが可能になる。
【0029】
イメージ処理モジュール212は、イメージ・データ記憶部210に格納されたイメージを処理し、該処理に基づいて物体を認識し、そして、認識された物体に基づいて応答を開始する。イメージ処理モジュール212は、立体イメージ処理技術のような技術を用いて、データを処理し物体を認識することができる。このような技術の例は、「立体イメージ処理(Stereoscopic Image Processing)」と題する学術論文(入手先:http://dsp−book.narod.ru/DSPMW/57.PDF)に記載されている。その全体を参照により本明細書に組み込むものとする。認識された物体に基づいて、イメージ処理モジュール212は、適切な応答を決定し、開始する。例えば、イメージ処理モジュール212は、格納されたイメージ・データを処理し、格納されたイメージ・データが、ある人間が特定のジェスチャを行なっていることを示していると判断することがある。該判定に応答して、イメージ処理モジュール212は、データベース(図示せず)を照会して、該ジェスチャに対応付けられたユーザ要求を判定する。イメージ処理モジュール212は、次に、判定された要求に応答して適切な動作を取るための適切な処理を指示する。例えば、該要求が、ユーザが特定の音楽ファイルを再生するようオーディオ・プレーヤーに指示したいということを示している場合、イメージ処理モジュール212は、音楽プレーヤーと通信し、該音楽ファイルを再生するように該プレーヤーに指示する。さまざまなジェスチャに対応付けられた要求の別の例としては、車内の光の点灯又は消灯の要求、車両内での全地球測位システムのようなアプリケーションの起動・停止の要求、クルーズ・コントロールのような運転機能の起動・停止の要求がある。
【0030】
図3は、一実施形態による、照度レベルが動的に変化する環境内のイメージ・データを取込むための方法を説明するフロー図である。物体認識モジュール102は、環境100の照度レベルを判定し(302)、該照度レベルが閾値ルクス未満であるか否かを判定する(304)。該照度が閾値ルクス未満である場合、物体認識モジュール102は、低ルクス・センサ104a及び104bと、任意で照明用光源108a及び108bを起動する(306)。一実施形態では、物体認識モジュール102は、また、作動中の高ルクス・センサ106a及び106bを、低ルクス・センサ104a及び104bの起動と共に停止する。
【0031】
判定された照度レベルが該閾値ルクスより低くない場合は、物体認識モジュール102は高ルクス・センサ106a及び106bを起動する(308)。さらに、一実施形態では、物体認識モジュール102は、作動中の低ルクス・センサ104a及び104b及び照明用光源108a及び108bの動作停止を、高ルクス・センサ106a及び106bの起動と共に行う。物体認識モジュール102は、次に、イメージ・データを取込み(310)、処理する(312)。一実施形態では、照度レベルが、繰り返し、閾値ルクスの上下のレベルに変化するとき、物体認識モジュール102が高ルクス・センサ106a及び106bと低ルクス・センサ104a及び104bを繰り返し起動する。物体認識モジュール102は、センサ104a及び104bとセンサ106a及び106bからのデータを取込み、取り込んだデータを処理する。別の実施形態では、高ルクス・センサ106a及び106bと低ルクス・センサ104a及び104bは常に作動しており、かつ、物体認識モジュール102は、照度レベルに基づいていずれかのセンサからデータを取込む。照度レベルが閾値ルクス未満の場合、物体認識モジュール102は、低ルクス・センサ104a及び104bからのデータを取込み処理する。そうでない場合、物体認識モジュール102は、高ルクス・センサ106a及び106bからのデータを取込み、かつ処理する。したがって、認識モジュール102は、照度レベルが変化している状況でデータを取込み処理することが可能である。照度レベルが変化している状況には車両がトンネルを通過するような場合があり、車両がトンネルに入って出るときに前記照度レベルが増減する。前記処理に基づいて、物体認識モジュール102は、該イメージ内の物体を認識し(314)、適切な応答を開始する。
【0032】
本発明の実施形態の前述の説明は、説明目的のために提示されたものであり、網羅的な説明や、または開示された細緻な形態への本発明の限定を意図するものではない。関連技術分野の当業者は、多くの変形および変更が上記の開示に照らして可能であることを理解できるであろう。
【0033】
本明細書のいくつかの部分は、本発明の実施形態を、アルゴリズム及び情報を操作する記号表現によって説明している。これらのアルゴリズム的な記述および表現は、データ処理分野の当業者によって共通的に使用され、彼らの業績の大要を他の分野の当業者に効果的に伝えている。これらの操作の説明は、機能的に、計算によって、または論理的になされているが、実装は、コンピュータ・プログラムまたは等価な電気回路、マイクロコード等によってなされることが理解されよう。さらに、また、これらの操作の配列をモジュールとして参照することが便利な場合があることが、一般性を失うことなく証明されている。説明された動作およびそれらに対応するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで実現することができる。当業者であれば、該ハードウェアは、上記のモジュールを実装して、少なくとも1つのプロセッサとメモリを含み、該メモリには上記の機能を持つモジュールを実行するための命令が含まれることが理解できるであろう。
【0034】
本明細書に記載の任意のステップ、操作、または処理は、一つ以上のハードウェアまたはソフトウェア・モジュールを用いて、単独で又は他のデバイスと組み合わせて実行または実現することができる。一実施形態において、ソフトウェア・モジュールは、コンピュータ・プログラム・コードを含む非一時的なコンピュータ可読媒体を含むコンピュータ・プログラム・プロダクトを用いて実現される。該コンピュータ・プログラム・コードは、記述されたステップ、操作、または処理のいずれかまたはすべてを実行するためにコンピュータ・プロセッサによって実行可能である。
【0035】
本発明の実施形態はまた、本明細書で述べた動作を実行するための装置に関するものであってもよい。この装置は、要求された目的のために特別な構成を有してもよいし、および/または、汎用目的のコンピューティング・デバイスを有して、該コンピューティング・デバイスをコンピュータに格納されたコンピュータ・プログラムによって選択的に起動又は再構成してもよい。このようなコンピュータ・プログラムは、非一時的で有形のコンピュータ可読記憶媒体、または電子的命令の格納に適した任意の種類の媒体に格納することができる。該媒体は、コンピュータ・システム・バスに接続してもよい。さらに、本明細書において言及した任意のコンピューティング・システムは、単一のプロセッサを有してもよく、または計算能力増強のためにマルチ・プロセッサ設計を採用したアーキテクチャであってもよい。
【0036】
本発明の実施形態は、また、本明細書に記載のコンピューティング・プロセスによって製造される製品に関するものでもよい。そのような製品はコンピューティング・プロセスから生成される情報を含むことができる。該情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、本明細書に記載のコンピュータ・プログラム製品またはその他のデータの組合せの任意の実施形態を含むことができる。
【0037】
最後に、本明細書で使用される言語は、主として読みやすさや説明目的のために選択されており、本発明の主旨を限定するために選択されたものではない。したがって、本発明の範囲は、本明細書の詳細な説明によって限定されるものではなく、本明細書に基づいて出願時に提出されたすべての特許請求の範囲によって限定されるものである。したがって、本発明の実施形態の開示は、本発明の特許請求の範囲の説明を目的としており、限定を目的としていない。特許請求の範囲は、以下に記載されている。
【符号の説明】
【0038】
100 コンピューティング環境
102 物体認識モジュール
104a、104b 低ルクス・イメージ・センサ、低ルクス・センサ
106a、106b 高ルクス・イメージ・センサ、高ルクス・センサ
110 照度レベル検出器
112 通信モジュール
102 物体認識モジュール
202 照度レベル・モジュール
204 照度閾値モジュール
206 撮像源起動モジュール
208 照明用光源モジュール
210 イメージ・データ記憶部
212 イメージ処理モジュール
図1
図2
図3
【国際調査報告】