(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022113669
(43)【公開日】2022-08-04
(54)【発明の名称】複数の画像センサを有する撮像システムのための照明制御
(51)【国際特許分類】
G03B 15/05 20210101AFI20220728BHJP
G03B 15/00 20210101ALI20220728BHJP
G03B 15/02 20210101ALI20220728BHJP
G03B 7/091 20210101ALI20220728BHJP
G03B 19/07 20210101ALI20220728BHJP
H04N 5/235 20060101ALI20220728BHJP
【FI】
G03B15/05
G03B15/00 F
G03B15/02
G03B7/091
G03B19/07
H04N5/235 400
【審査請求】有
【請求項の数】3
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022009022
(22)【出願日】2022-01-25
(31)【優先権主張番号】17/157,979
(32)【優先日】2021-01-25
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】503261948
【氏名又は名称】ハンド ヘルド プロダクツ インコーポレーティッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100162846
【弁理士】
【氏名又は名称】大牧 綾子
(72)【発明者】
【氏名】ゲンナジー・ジェルメーヌ
(72)【発明者】
【氏名】ポロニーウィクツ・ポール
(72)【発明者】
【氏名】ミラーリア・マイケル
(72)【発明者】
【氏名】ヘジル・ベンジャミン
(72)【発明者】
【氏名】リュブリンガー・グレゴリー
(72)【発明者】
【氏名】ヴァン ホーン・エリック
(72)【発明者】
【氏名】シアン・タオ
(72)【発明者】
【氏名】ウィルツ シニア・デイヴィッド
(72)【発明者】
【氏名】フォン・チェン
(72)【発明者】
【氏名】バン・シャンカル
【テーマコード(参考)】
2H002
2H053
2H054
5C122
【Fターム(参考)】
2H002CD05
2H002FB29
2H002FB38
2H053AD03
2H053AD08
2H053BA25
2H053BA82
2H054BB04
2H054BB05
2H054BB07
2H054BB08
5C122EA27
5C122FC04
5C122FF17
5C122FH11
5C122GG21
5C122HB01
5C122HB02
(57)【要約】 (修正有)
【課題】マルチイメージャ環境における照明同期に関する。
【解決手段】実施形態は、概して、マルチイメージャ環境における照明同期に関する。実施形態は、第1の照明パルストレインに基づいて、近視野画像センサと関連付けられた近視野照明源を動作させるように構成されたシステム、方法、コンピュータプログラム製品、及び装置を含む。遠視野画像センサの露光期間が判定され、第1の照明パルストレインの1つ以上の特性が、遠視野画像センサの露光期間を収容するように修正される。
【選択図】
図7
【特許請求の範囲】
【請求項1】
撮像システムであって、
第1の画像センサと関連付けられた第1の照明源であって、第1の照明パルストレインに基づいて動作するように構成されている、第1の照明源と、
第2の画像センサと、
前記第1の照明源、前記第1の画像センサ、及び前記第2の画像センサに通信可能に結合されたコントローラと、を備え、前記コントローラが、
前記第2の画像センサの第1の露光期間を判定することと、
前記第2の画像センサの前記第1の露光期間を収容するように前記第1の照明パルストレインの1つ以上の特性を修正することと、を行うように構成されている、撮像システム。
【請求項2】
前記第1の照明パルストレインの前記1つ以上の特性を修正するために、前記コントローラが、前記第1の照明パルストレイン内に少なくとも1つの追加の照明パルスを挿入して、その結果、前記少なくとも1つの追加の照明パルスの照明期間の開始時間期間又は終了時間期間のうちの1つが、前記第2の画像センサの前記第1の露光期間の開始時間期間又は終了時間期間のうちのそれぞれ1つと位置合わせされるように更に構成されている、請求項1に記載の撮像システム。
【請求項3】
前記第1の照明パルストレインの前記1つ以上の特性を修正するために、前記コントローラが、前記第1の照明パルストレイン内に少なくとも1つの追加の照明パルスを挿入して、その結果、前記少なくとも1つの追加の照明パルスに対応する前記第1の画像センサの照明が、前記第2の画像センサのオートフォーカス期間と時間的に重複するように更に構成されている、請求項1に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、概して、複数の画像センサを有する撮像システムに関し、より具体的には、撮像システムの画像センサの照明制御に関する。
【背景技術】
【0002】
撮像デバイス及びシステムは、単なる写真よりも複雑化し、かつ高度化しているエリアにおける適用を見出した。新しい能力を支持するための、これらのデバイス及びシステムの撮像能力の改善に対する一定の需要がある。現在利用可能な撮像システムでは、小型化されたフォームファクタなどの要因が、撮像システムの構成要素間の干渉の増加をもたらしている。そのようなシステムでは、互いの能力に対するいかなる悪影響も防止するように同期された様式で構成要素を動作させることが課題のままである。
【発明の概要】
【0003】
一般に、本明細書で提供される本開示の実施形態は、マルチイメージャ環境における照明制御及び同期のために構成されている。代替的な照明器アセンブリ及び/又は代替的な照明撮像システム及び装置のうちの1つ以上の他の実装形態は、以下の図面及び詳細な説明を検討すると当業者には明らかであるか、又は明らかになるであろう。そのような追加の実装形態は全て、本開示の範囲内にある本明細書内に含まれ、以下の特許請求の範囲によって保護されることが意図される。
【0004】
いくつかの例示的な実施形態によれば、撮像システムが本明細書で提供される。例示的な実施形態では、撮像システムは、第1の画像センサと関連付けられた第1の照明源であって、第1の照明パルストレインに基づいて動作するように構成されている第1の照明源を備える。撮像システムはまた、第2の画像センサと、第1の照明源、第1の画像センサ、及び第2の画像センサの各々に通信可能に結合されたコントローラと、を備える。いくつかの例示的な実施形態では、コントローラは、第2の画像センサの第1の露光期間を判定することと、第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正することと、を行うように構成されている。
【0005】
追加的又は代替的に、撮像システムのいくつかの実施形態では、第1の照明パルストレインの1つ以上の特性を修正するために、コントローラが、第1の照明パルストレイン内に少なくとも1つの追加の照明パルスを挿入して、その結果、少なくとも1つの追加の照明パルスの照明期間の開始時間期間又は終了時間期間のうちの1つが、第2の画像センサの第1の露光期間の開始時間期間又は終了時間期間のうちのそれぞれ1つと位置合わせされるように更に構成されている。
【0006】
追加的又は代替的に、撮像システムのいくつかの実施形態では、第1の照明パルストレインの1つ以上の特性を修正するために、コントローラが、第1の照明パルストレイン内に少なくとも1つの追加の照明パルスを挿入して、その結果、少なくとも1つの追加の照明パルスに対応する第1の画像センサの照明が、第2の画像センサのオートフォーカス期間と時間的に重複するように更に構成されている。
【0007】
追加的又は代替的に、撮像システムのいくつかの実施形態では、第1の照明パルストレインの1つ以上の特性を修正するために、コントローラが、第1の照明パルストレインの一対の時間的に続く照明パルス間のタイミング遅延を増加させて、その結果、第1の露光期間の開始時間期間又は終了時間期間のうちの1つが、増加したタイミング遅延の開始時間期間又は終了時間期間のうちのそれぞれ1つと位置合わせされるように更に構成されている。
【0008】
追加的又は代替的に、撮像システムのいくつかの実施形態では、第1の画像センサは、少なくとも第2の露光期間中に露光される。いくつかの例示的な実施形態では、第2の露光期間中の第1の画像センサの露光が、第1の照明パルストレインの第1の照明パルスの開始時間期間と同時に始まり、第2の露光期間の終了時間期間は、第1の照明パルストレインの第1の照明パルスの終了時間期間を超えて延在する。
【0009】
追加的又は代替的に、撮像システムのいくつかの実施形態では、コントローラが、第1の露光期間中に第2の画像センサの露光によって捕捉された画像フレームを取得するように更に構成されている。いくつかの例示的な実施形態では、コントローラが、画像フレームの輝度を判定し、画像フレームの判定された輝度に基づいて、第2の画像センサと関連付けられた第2の照明源を起動するように更に構成されており、第2の照明源が、第2の照明パルストレインに基づいて動作するように構成されている。
【0010】
追加的又は代替的に、撮像システムのいくつかの実施形態では、第1の画像センサの露光が、第1の照明源の起動と同時に始まる。
【0011】
追加的又は代替的に、撮像システムのいくつかの実施形態では、第2の画像センサが、第1の照明パルストレインの第1の照明パルスの第1の照明期間中に停止されたままである。追加的又は代替的に、いくつかの実施形態では、第2の画像センサが、第1の照明パルストレインの第2の照明パルスの第2の照明期間の一部中に、露光される。
【0012】
例示的な実施形態では、撮像方法が提供される。方法は、本明細書に記載のマルチセンサ撮像エンジン及び/又はマルチセンサ撮像装置のハードウェア、ソフトウェア、及び/又はファームウェアなどを介して、無数の実装形態のいずれか1つを使用して実装されてもよい。方法のいくつかの例示的な実装形態では、例示的な方法は、第1の照明パルストレインに基づいて、第1の画像センサと関連付けられた第1の照明源を動作させることを含む。例示的な方法は、第2の画像センサの第1の露光期間を判定することと、第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正することと、を更に含む。
【0013】
追加的又は代替的に、本方法のいくつかの実施形態では、第1の照明パルストレインの1つ以上の特性を修正することが、第1の照明パルストレイン内に少なくとも1つの追加の照明パルスを挿入して、その結果、少なくとも1つの追加の照明パルスの照明期間の開始時間期間又は終了時間期間のうちの1つが、第2の画像センサの第1の露光期間の開始時間期間又は終了時間期間のうちのそれぞれ1つと位置合わせされることを含む。
【0014】
追加的又は代替的に、本方法のいくつかの実施形態では、第1の照明パルストレインの1つ以上の特性を修正することが、第1の照明パルストレイン内に少なくとも1つの追加の照明パルスを挿入して、その結果、少なくとも1つの追加の照明パルスに対応する第1の画像センサの照明が、第2の画像センサのオートフォーカス期間と時間的に重複することを含む。
【0015】
追加的又は代替的に、本方法のいくつかの実施形態では、第1の照明パルストレインの1つ以上の特性を修正することが、第1の照明パルストレインの一対の時間的に続く照明パルス間のタイミング遅延を増加させて、その結果、第1の露光期間の開始時間期間又は終了時間期間のうちの1つが、増加したタイミング遅延の開始時間期間又は終了時間期間のうちのそれぞれ1つと位置合わせされることを含む。
【0016】
追加的又は代替的に、方法のいくつかの実施形態では、本方法は、少なくとも第2の露光期間中に第1の画像センサの露光を引き起こすことを更に含む。いくつかの例示的な実施形態では、第2の露光期間中の第1の画像センサの露光が、第1の照明パルストレインの第1の照明パルスの開始時間期間と同時に始まる。いくつかの例示的な実施形態では、第2の露光期間の終了時間期間が、第1の照明パルストレインの第1の照明パルスの終了時間期間を超えて延在する。
【0017】
追加的又は代替的に、方法のいくつかの実施形態では、本方法が、第1の露光期間中に第2の画像センサの露光によって捕捉された画像フレームを取得することを更に含む。例示的な方法が、画像フレームの輝度を判定することと、画像フレームの判定された輝度に基づいて、第2の画像センサと関連付けられた第2の照明源を起動することと、を更に含み、第2の照明源は、第2の照明パルストレインに基づいて動作するように構成されている。
【0018】
例示的な実施形態では、装置が提供される。例示的な実施形態では、撮像システムは、実行可能命令を記憶するように構成されているメモリと、1つ以上のプロセッサと、を備える。いくつかの例示的な実施形態では、1つ以上のプロセッサは、第1の照明パルストレインに基づいて、第1の画像センサと関連付けられた第1の照明源の動作を制御する実行可能命令を実行するように構成されている。いくつかの例示的な実施形態では、1つ以上のプロセッサは、第2の画像センサの第1の露光期間を判定し、第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正するように更に構成されている。
【0019】
追加的又は代替的に、装置のいくつかの実施形態では、第1の照明パルストレインの1つ以上の特性を修正するために、1つ以上のプロセッサが、第1の照明パルストレイン内に少なくとも1つの追加の照明パルスを挿入して、その結果、少なくとも1つの追加の照明パルスの照明期間の開始時間期間又は終了時間期間のうちの1つが、第2の画像センサの第1の露光期間の開始時間期間又は終了時間期間のうちのそれぞれ1つと位置合わせされるように更に構成されている。
【0020】
追加的又は代替的に、装置のいくつかの実施形態では、第1の照明パルストレインの1つ以上の特性を修正するために、1つ以上のプロセッサが、第1の照明パルストレイン内に少なくとも1つの追加の照明パルスを挿入して、その結果、少なくとも1つの追加の照明パルスに対応する第1の画像センサの照明が、第2の画像センサのオートフォーカス期間と時間的に重複するように更に構成されている。
【0021】
追加的又は代替的に、装置のいくつかの実施形態では、第1の照明パルストレインの1つ以上の特性を修正するために、1つ以上のプロセッサが、第1の照明パルストレインの一対の時間的に続く照明パルス間のタイミング遅延を増加させて、その結果、第1の露光期間の開始時間期間又は終了時間期間のうちの1つが、増加したタイミング遅延の開始時間期間又は終了時間期間のうちのそれぞれ1つと位置合わせされるように更に構成されている。
【0022】
追加的又は代替的に、装置のいくつかの実施形態では、1つ以上のプロセッサが、第1の露光期間中に第2の画像センサの露光によって捕捉された画像フレームを取得するように更に構成されている。装置のいくつかの例示的な実施形態では、1つ以上のプロセッサが、画像フレームの輝度を判定し、画像フレームの判定された輝度に基づいて、第2の画像センサと関連付けられた第2の照明源を起動するように更に構成されており、第2の照明源が、第2の照明パルストレインに基づいて動作するように構成されている。
【図面の簡単な説明】
【0023】
このように本開示の実施形態を一般的な用語で説明してきたが、ここで添付図面を参照し、これらは、必ずしも縮尺どおりに描かれていない。
【0024】
【
図1A】本開示の例示的な実施形態による、例示的なマルチセンサ撮像システムのブロック図を示す。
【0025】
【
図1B】本開示の例示的な実施形態による、例示的なマルチセンサ撮像エンジンのブロック図を示す。
【0026】
【
図2】本開示の様々な実施形態による、例示的なマルチセンサ撮像装置のブロック図を示す。
【0027】
【
図3】本開示の例示的な実施形態による、例示的なマルチセンサ撮像装置と関連付けられた視野の視覚化を示す。
【0028】
【
図4】本開示の例示的な実施形態による、例示的なマルチセンサ撮像システムによって生成された第1の照明の視覚化を示す。
【0029】
【
図5】本開示の例示的な実施形態による、例示的なマルチセンサ撮像システムによって生成された第2の照明の視覚化を示す。
【0030】
【
図6】本開示の例示的な実施形態による、例示的なマルチセンサ撮像システムの動作機能と関連付けられたタイミング図を示す。
【0031】
【
図7】本開示の例示的な実施形態による、マルチイメージャ環境における照明制御のためのプロセスの例示的な動作を示すフローチャートを示す。
【0032】
【
図8】本開示の例示的な実施形態による、例示的なマルチセンサ撮像システムの第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正するためのプロセスの例示的な動作を示すフローチャートを示す。
【0033】
【
図9】本開示の例示的な実施形態による、例示的なマルチセンサ撮像システムの第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正するための別のプロセスの例示的な動作を示すフローチャートを示す。
【0034】
【
図10】本開示の例示的な実施形態による、例示的なマルチセンサ撮像システムの第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正するための別のプロセスの例示的な動作を示すフローチャートを示す。
【0035】
【
図11】本開示の例示的な実施形態による、ちらつき低減のための例示的なマルチセンサ撮像システムの動作機能と関連付けられたタイミング図を示す。
【0036】
【
図12A】本開示の例示的な実施形態による、記号復号化プロセスの例示的なワークフローを示す。
【
図12B】本開示の例示的な実施形態による、記号復号化プロセスの例示的なワークフローを示す。
【
図12C】本開示の例示的な実施形態による、記号復号化プロセスの例示的なワークフローを示す。
【0037】
【
図13】本開示の例示的な実施形態による、ちらつき低減プロセスの例示的なワークフローを示す。
【0038】
【
図14】本開示の例示的な実施形態による、撮像装置の拡張された遠視野露光のためのちらつき低減プロセスの例示的なワークフローを示す。
【発明を実施するための形態】
【0039】
ここで、本開示の様々な実施形態を、本開示の全てではなくいくつかの実施形態が示される添付図面を参照しながら以下により完全に記載する。実際に、本開示の実施形態は、多くの異なる形態で具現化されてもよく、本明細書に記載される実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が適用可能な法的要件を満たすように提供される。同様の数字は、全体を通して同様の要素を指す。
【0040】
標識リーダなどの撮像装置は、様々なシナリオで使用され、各々が、記号復号化などの標識リーダと関連付けられた動作を連続的に実行することができるように、撮像要件の特定のセットが充足される必要がある。追加的に、法律規則の遵守を確実にするために、例えば、標識リーダのオペレータに関連する特定の安全要件を満たさなければならない。標識リーダは通常、それらの復号化に成功するために、近接範囲からスキャンされる表面上に取り付けられた記号を必要とする。しかしながら、倉庫などのいくつかの環境では、近接範囲から各積送品に到達することによって、小包及び積送品に取り付けられた記号をスキャンし連続的に復号化することができない。したがって、拡張範囲の標識リーダが提供され、これは、オペレータが、近接範囲から各積送品に個別に到達する必要がない。このような拡張範囲の標識リーダは、拡張範囲リーダの遠視野スキャン能力により、単一のオペレータ位置から複数の記号をスキャンすることができる。このような標識リーダは、これらの能力を提供するために、複数の画像センサ及び関連する光学系を含む。
【0041】
センサの照明要件は大きく変動する場合がある。例えば、標識リーダの1つ以上の画像センサは、データ読み出し中でも照明を必要とする場合があるが、他のセンサは、これを必要としない場合がある。したがって、1つの画像センサの光源をより長い期間にわたって起動させ続けると、照明が望まれていない別のセンサの露光期間と干渉する場合がある。このような干渉は、1つ以上の撮像特性の観点から欠陥がある画像をもたらし、それによって得られた画像処理タスクに悪影響を及ぼす可能性がある。問題は、センサ、照明源、及び他の光学系及び構成要素が近接に配置された小型撮像デバイスにおいて特によく見られる。更に、マルチイメージャ環境(例えば、複数のイメージャ及び/又は複数の光源を含む)の文脈では、イメージャ及び/又は光源間で交互させることによって画像を捕捉するためのナイーブな実装形態は、ちらつき効果を悪化させ、したがって、それと関連付けられた負の影響を悪化させる。
【0042】
多くの場合、画像センサが異なるタイプのものであるシナリオでは、動作の成功のためにセンサの照明を同期させることは困難である。例えば、標識リーダが遠視野で撮像するためのローリングシャッターセンサと、近視野で撮像するためのグローバルシャッターセンサを含む場合、データ読み出し中のローリングシャッターの拡張された照明時間により、グローバルシャッターセンサの最適な照明条件を確保することが困難になる。これにより、グローバルシャッターセンサによって捕捉された画像におけるスナッピングなどの望ましくない効果がもたらされる。更に、拡張された照明時間はまた、バーコードスキャナ内の熱管理システムに影響を与える発熱をもたらす場合がある。更に、屋外環境では、十分な周囲光が利用可能であるため、照明が遠視野撮像に常に必要というわけではない場合がある。したがって、撮像システムのエイマは、背景と区別できない場合があり、それによって、画像センサの焦点位置を調整するための迅速な焦点を必要とする。
【0043】
追加的に、そのような装置の照明を制御することは、オペレータに好ましい視覚的外観を提供するのに有用である。例えば、照明パルスが特定の周波数範囲内(例えば、特定の閾値周波数未満)内にある場合、オペレータは、照明による露光を視認することで頭痛及び/又は発作を経験する可能性がある。したがって、複数の照明源を有するマルチイメージャの文脈では、各照明源は、そのような負の健康効果及び望ましくない視覚的外観を防止するように構成されるべきである。それに関係なく、照明源がサイクルされるか、及び/又は他の方法で多くの場合に切り替えられる場合、オペレータは、望ましくないか又は同様に有害であり得る「ちらつき」効果を経験する場合がある。
【0044】
本明細書に記載されるいくつかの実施形態は、複数の照明源及び複数の画像センサを含むマルチセンサイメージングシステムのためのデュアル照明フレームワークに関する。本明細書に記載されるいくつかの実施形態は、第1の照明源及び第1の照明源と関連付けられた照明パルストレインの1つ以上の照明パルス中に画像を捕捉するための第1の画像センサを利用する。実施形態は、第2の画像センサを利用して画像を更に捕捉し、第2の画像センサの露光期間は、第1の照明源の照明が第2の画像センサによって捕捉された画像にいかなる望ましくない影響も導入しないように、第1の照明パルストレインを修正することが考慮される。更に、第2の画像センサの照明は、第1の画像センサによって捕捉された画像に影響を及ぼさない様式でのタイミングが取られる。
【0045】
いくつかの実施形態では、第2の照明源の起動が必要とされる状況を示す1つ以上のイベントがトリガされてもよい。これに関して、第2の照明源は、第2の画像センサと関連付けられた第2の視野を照明するための第2の照明を生成してもよい。1つのそのような例示的な文脈では、第2の照明源の起動は、第1の照明源を使用した第1の視野において、及び/又は周囲光照明を使用した第2の視野において捕捉された画像内では物体が検出可能ではない、したがって、物体が撮像装置から更に距離がある可能性が高いと判定した後にトリガされる。第2の照明源の起動は、1つ以上のイベント及び/又は状況を検出することに応答して、例えば、1つ以上の以前に捕捉された画像を処理して、閾値の数の画像が捕捉され、非常に低い照明条件(例えば、特定の白色値閾値未満)で捕捉された画像内では検出可能な物体がないと判定することに応答して、トリガされてもよい。
【0046】
そのような状況では、別の照明源への変更により、第2の画像センサが、新たに起動された第2の照明源の照明パルス中にトリガされて、装置の有効読み取り範囲を改善することを可能にする。3つ以上の照明源を有する実施形態では、同じ考慮事項は、3つ以上の照明源を介してサイクルを継続してもよく、例えば、各照明源によって照明される視野を狭め、各サイクルで有効範囲を拡張する。代替的には、1つ以上の照明源はスキップされてもよく、例えば、サイクルは、1つ以上の中間照明源を利用することなく、最も広い照明源から最も狭い照明源まで即座に進行する。
【0047】
そのような実施形態は、処理のための画像の効果的かつ効率的な捕捉を可能にしながら、ちらつき低減及び/又はちらつき排除を伴う照明源の効果的な同期を提供する。そのような実施形態の動作は、標識又は記号スキャンなどの画像処理タスクを良好に完了する可能性が高い様式で画像を捕捉する一方で、処理の成功に十分なデータを含む所望の動作時間枠内で画像が捕捉される可能性を増加させる。本明細書に記載される様々な例示的な実施形態の実装形態によって、複数のセンサ及び複数の照明源の使用から生じる課題に対処しながら、撮像装置の動作効率が維持されるか、又は改善される。
【0048】
いくつかの実施形態では、上記の動作のいくつかは、修正されても、又は更に増幅されてもよい。更に、いくつかの実施形態では、追加の任意選択的な動作が含まれてもよい。上記の動作に対する修正、増幅、又は追加は、任意の順序で、及び任意の組み合わせで実施されてもよい。
【0049】
本明細書に記載される本開示の多くの修正例及び他の実施形態は、前述の説明及び関連する図面に提示される教示の利益を有する、本開示に関係がある当業者に着想されるであろう。したがって、実施形態は、開示される特定の実施形態に限定されるものではないこと、並びに修正例及び他の実施形態は、添付の特許請求の範囲の範囲内に含まれることが意図されることを理解されたい。更に、前述の説明及び関連する図面は、要素及び/又は機能の特定の例示的な組み合わせの文脈における例示的な実施形態を説明しているが、添付の特許請求の範囲の範囲から逸脱することなく、要素及び/又は機能の異なる組み合わせが代替的な実施形態によって提供されてもよいことを理解されたい。この点に関して、例えば、上に明記したものとは異なる要素及び/又は機能の組み合わせも、添付の特許請求の範囲の一部に記載され得るものとして企図される。特定の用語が本明細書で用いられているが、これらは一般的かつ記述的な意味でのみ使用され、限定の目的では使用されない。
定義
【0050】
「照明」という用語は、画定された視野内の照明源によって生成された1つ以上の光線を指す。少なくとも1つの例示的な文脈では、照明は、対応する照明源によって生成された1つ以上の照明パルスを含む。いくつかの実施形態では、照明は、照明パルスが照明源によって生成される速度を指す「定義されたパルス周波数」に基づいて、生成される。追加的又は代替的に、いくつかの実施形態では、照明は、照明源が対応する照明を生成している起動期間を指す「定義されたパルス相」に基づいて、生成される。
【0051】
したがって、定義されたパルス周波数を有する複数の照明パルスは、まとめて「照明パルストレイン」を構成してもよい。各照明パルスは、「照明期間」と称される持続時間にわたって時間領域に延在し得る。したがって、照明期間は、照明パルスの振幅が非ゼロのままである時間の継続時間を指してもよい。すなわち、照明パルスの照明期間は、照明源が照明パルスに対応して起動されたままである期間を指す。
【0052】
少なくとも1つの例示的な文脈では、照明パルスは、「照明パルス開始時間」と関連付けられ、これは、対応する照明源が照明パルスを生成することを開始する時間を表す電子的に管理されたデータを指す。追加的又は代替的に、少なくとも1つのそのような文脈では、照明パルスは、「照明パルス終了時間」と関連付けられ、これは、対応する照明源が照明パルスを生成することを停止する時間を表す電子的に管理されたデータを指す。
【0053】
「照明期間の開始時間期間」という用語は、照明パルス開始時間から開始する閾値持続時間の時間期間を指し、閾値持続時間は、設定可能な値を有してもよい。少なくとも1つの例示的な文脈では、閾値持続時間はゼロであってもよく、したがって、照明期間の開始時間期間及び照明パルス開始時間という用語は、時間において同じインスタンスを指してもよい。各照明パルスは、個々の開始時間期間を有してもよい。
【0054】
「照明期間の終了時間期間」という用語は、照明パルス終了時間で終了する閾値持続時間の時間期間を指し、閾値持続時間は、設定可能な値を有してもよい。少なくとも1つの例示的な文脈では、閾値持続時間はゼロであってもよく、したがって、照明期間の終了時間期間及び照明パルス終了時間という用語は、時間において同じインスタンスを指してもよい。各照明パルスは、個々の終了時間期間を有してもよい。
【0055】
「照明源」(「照明器源」又は「照明器」とも称される)という用語は、所望の視野内で照明を生成するように構成された1つ以上の光生成ハードウェア、デバイス、及び/又は構成要素を指す。照明源の非限定的な例としては、1つ以上の発光ダイオード(light emitting diode、LED)、レーザなどが挙げられる。
【0056】
「近視野照明源」という用語は、近視野画像センサと関連付けられた近視野を照明するための照明を生成するように構成された照明源を指す。少なくとも1つの例示的な文脈では、近視野照明源は、遠視野照明源と比較して、より広い視野で照明を生成するように構成されている。
【0057】
「遠視野照明源」という用語は、遠視野イメージャと関連付けられた視野を照明するための照明を生成するように構成された照明源を指す。少なくとも1つの例示的な文脈では、遠視野照明源は、近視野照明源と比較して、より狭い視野で照明を生成するように構成されている。
【0058】
「近視野照明」という用語は、近視野照明源によって生成される特定の照明を指す。いくつかの実施形態では、近視野照明は、近視野画像センサによって捕捉された近視野の照明と関連付けられている。「近視野照明パルス」という用語は、近視野センサと関連付けられた近視野照明の照明パルスを指す。
【0059】
「遠視野照明」という用語は、遠視野照明源によって生成される特定の照明を指す。いくつかの実施形態では、遠視野照明は、遠視野画像センサによって捕捉された遠視野の照明と関連付けられている。「遠視野照明パルス」という用語は、遠視野照明の照明パルスを指す。
【0060】
「イメージャ」という用語は、特定の視野を表す画像を捕捉するように構成されている1つ以上の構成要素を指す。少なくとも1つの例示的な文脈では、イメージャは、特定の視野を画定する少なくとも1つの光学構成要素(例えば、レンズ及び/又は関連するハウジング)を含む。追加的又は代替的に、少なくとも1つの例示的な文脈では、イメージャは、光学構成要素などを介して、画像センサと係合する光に基づいて画像を出力するように構成された画像センサを含む。
【0061】
「画像センサ」という用語は、画像センサに入射する光に基づいて、データオブジェクトによって表される画像を生成するように構成された1つ以上の構成要素を指す。いくつかのそのような例示的な文脈では、画像センサは、画像センサと相互作用する光波を、センサによって出力された画像を表す信号に変換する。
【0062】
「近視野画像センサ」という用語は、近視野の画像を捕捉するように構成された画像センサを指す。少なくとも1つの文脈において、近視野画像センサは、近視野を画定する少なくとも1つの近視野光学構成要素と、電子センサと、を備える。少なくとも1つの例示的な文脈では、近視野画像センサは、グローバルシャッターを含んでもよい。いくつかの例示的な状況では、近視野画像センサは、ローリングシャッターを含んでもよい。「近視野画像」という用語は、近視野の捕捉された表現を具現化する近視野画像センサによって生成された電子データを指す。
【0063】
「遠視野画像センサ」という用語は、遠視野の画像を捕捉するように構成された画像センサを指す。少なくとも1つの文脈において、遠視野画像センサは、遠視野を画定する少なくとも1つの遠視野光学構成要素と、電子センサと、を備える。少なくとも1つの例示的な文脈では、遠視野画像センサは、ローリングシャッターを含んでもよい。いくつかの例示的な状況では、遠視野画像センサは、グローバルシャッターを含んでもよい。「遠視野画像」という用語は、遠視野の捕捉された表現を具現化する遠視野画像センサによって生成された電子データを指す。
【0064】
「露光期間」という用語は、画像センサが到来する光に露光されるように構成されている時間の長さを表す電子データを指す。少なくとも1つの例示的な実施形態では、イメージャの画像センサは、特定の露光時間値に設定され得る可変露光時間を利用するように構成されている。
【0065】
「露光期間の開始時間期間」という用語は、露光期間の開始から開始する閾値持続時間の時間期間を指す。閾値持続時間は、設定可能な値を有してもよい。一例では、閾値持続時間はゼロであってもよく、したがって、露光期間の開始時間期間及び露光期間の開始という用語は、時間において同じインスタンスを指してもよい。
【0066】
「露光期間の終了時間期間」という用語は、露光期間の終了で終了する閾値持続時間の時間期間を指し、閾値持続時間は、設定可能な値を有してもよい。一例では、閾値持続時間はゼロであってもよく、したがって、露光期間の終了時間期間及び露光期間の終了という用語は、時間において同じインスタンスを指してもよい。
【0067】
図1Aは、本開示の例示的な実施形態による、例示的なマルチセンサ撮像システム10(以下、撮像システム10とも称される)のブロック図を示す。マルチセンサ撮像システム10は、コントローラ20、通信インターフェース40、起動構成要素60、及び1つ以上の周辺構成要素80と通信可能に結合された撮像エンジン100を含む。いくつかの例示的な実施形態では、撮像システム10は、
図1Aに示されるよりも少ない又は多い構成要素を含んでもよい。撮像システム10は、1つ以上の照明源を使用して、1つ以上の視野内の標的の1つ以上の画像を捕捉するように構成されている。撮像システム10は、1つ以上の画像を処理して、標識の読み取りなどの1つ以上の画像処理タスクを実行する。したがって、本開示のいくつかの例示的な実施形態では、撮像システム10は、標識若しくは記号リーダ、又は標識及び同様の記号を読み取ることができるハンドヘルドデバイスとして部分的又は完全に具現化されてもよい。撮像システム10の1つの例示的な実施形態が
図2に示されており、その詳細は、本開示の後続の部分で説明される。
【0068】
コントローラ20は、撮像システム10と関連付けられた1つ以上の制御動作を実行するように構成されてもよい。例えば、コントローラ20は、撮像エンジン100を制御して、撮像エンジン100の視野内の標的の画像捕捉を引き起こしてもよい。更に、コントローラ20は、捕捉された画像を処理して、1つ以上の画像処理タスクを実行してもよい。コントローラ20は、1つ以上のプロセッサ及びメモリを備える中央処理ユニット(central processing unit、CPU)として具現化されてもよい。いくつかの例示的な実施形態では、コントローラ20は、コプロセッサ、マイクロプロセッサ、デジタル信号プロセッサ(digital signal processor、DSP)、付随するDSPの有無にかかわらず処理要素などの様々なハードウェア処理手段のうちの1つ以上、又は例えばASIC(application specific integrated circuit、特定用途向け集積回路)、FPGA(field programmable gate array、フィールドプログラマブルゲートアレイ)、ハードウェア加速器、専用コンピュータチップなどの集積回路を含む様々な他の処理回路などの、1つ以上のマイクロコントローラユニット(microcontroller unit、MCU)を使用して実現されてもよい。いくつかの実施形態では、コントローラ20のプロセッサは、独立して動作するように構成された1つ以上の処理コアを含んでもよい。マルチコアプロセッサは、単一の物理的パッケージ内の多重処理を可能にし得る。追加的に又は代替的に、プロセッサは、命令、パイプライン、及び/又はマルチスレッドの独立した実行を可能にするためにバスを介してタンデム型に構成された1つ以上のプロセッサを含んでもよい。
【0069】
メモリは、非一時的であってもよく、例えば、1つ以上の揮発性及び/又は不揮発性メモリを含んでもよい。例えば、メモリは、マシン(例えば、プロセッサのようなコンピューティングデバイス)によって検索可能であり得るデータ(例えば、ビット)を記憶するように構成されたゲートを含む電子記憶デバイス(例えば、コンピュータ可読記憶媒体)であってもよい。メモリは、装置が、本発明の例示的な実施形態による様々な機能を実行することを可能にするために、情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成されてもよい。例えば、メモリは、プロセッサによる処理のためのデータをバッファするように構成され得る。追加的又は代替的に、メモリは、プロセッサによる実行のための命令を記憶するように構成され得る。
【0070】
いくつかの実施形態では、プロセッサ(及び/又はプロセッサを補助するか若しくはプロセッサと他の方法で関連付けられたコプロセッサ若しくは任意の他の処理回路)は、撮像システム10の構成要素間で情報を渡すためのバスを介してメモリと通信してもよい。プロセッサは、メモリに記憶された命令を実行するか、又は他の方法でプロセッサにアクセス可能な命令を実行するように構成されてもよい。追加的に又は代替的に、プロセッサは、ハードコードされた機能を実行するように構成されてもよい。したがって、ハードウェア方法又はソフトウェア方法によって構成されるか、又はそれらの組み合わせによって構成されるかにかかわらず、プロセッサは、それに応じて構成されている間、本発明の実施形態による動作を実施することができる(例えば、回路内で物理的に具現化された)エンティティを表してもよい。したがって、例えば、プロセッサがASIC、FPGAなどとして具現化される場合、プロセッサは、本明細書に記載の動作を実施するためのハードウェアに具体的に構成されてもよい。代替的に、別の例として、プロセッサがソフトウェア命令の実行体として具現化される場合、命令は、命令が実行されたときに本明細書に記載されるアルゴリズム及び/又は動作を実施するようにプロセッサを具体的に構成してもよい。プロセッサは、とりわけ、クロック、算術論理ユニット(arithmetic logic unit、ALU)、及びコントローラ20の動作を支持するように構成された論理ゲートを含んでもよい。
【0071】
通信インターフェース40は、撮像システム10との通信を支持するための入力インターフェース及び出力インターフェースを含んでもよい。通信インターフェース40は、データを、撮像システム10と通信する通信デバイスから受信し、かつ/又はそれらに送信するように構成されている、ハードウェア、又はハードウェアとソフトウェアとの組み合わせのいずれかで具現化されたデバイス又は回路などの任意の手段によって具現化されてもよい。これに関して、通信インターフェース40は、例えば、アンテナ(又は複数のアンテナ)及び無線通信ネットワークとの通信を可能にするための支持ハードウェア及び/又はソフトウェアを含んでもよい。追加的又は代替的に、通信インターフェース40は、アンテナと相互作用して、アンテナを介した信号の送信を引き起こすため、又はアンテナを介して受信され信号の受信を処理するための回路を含んでもよい。いくつかの環境では、通信インターフェース40は、有線通信を代替的に又は追加的に支持してもよい。したがって、例えば、通信インターフェース40は、ケーブル、デジタル加入者ライン(digital subscriber line、DSL)、ユニバーサルシリアルバス(universal serial bus、USB)、又は他の機構を介して通信を支持するための通信モデム及び/又は他のハードウェア及び/又はソフトウェアを含んでもよい。
【0072】
起動構成要素60は、ユーザによる所望の機能の開始(及び/又は終了)を示すように構成されたハードウェア、ソフトウェア、ファームウェア、及び/又はそれらの組み合わせを含んでもよい。例えば、起動構成要素60は、例えば、1つ以上の照明源による照明を開始するために、かつ/又は画像センサ、1つ以上の画像による捕捉を開始するために、コントローラ20に撮像エンジン100の動作を開始させるように、起動信号を送信してもよい。追加的又は代替的に、起動構成要素60は、対応する機能を終了するために、例えば、画像センサを介したスキャンを停止するために、停止信号をコントローラ20に送信してもよい。いくつかの実施形態では、起動構成要素60は、シャーシの本体内又は本体上に提供される1つ以上のボタン、トリガ、及び/又は他の物理的構成要素によって具現化される。例えば、少なくとも1つの例示的な文脈では、起動構成要素60は、オペレータによって係合されると(例えば、オペレータがトリガを引くとき)、対応する機能を開始するために信号をコントローラ20に送信する、1つ以上の「トリガ」構成要素によって具現化される。いくつかのそのような実施形態では、起動構成要素は、構成要素がオペレータによって係合解除されるとき(例えば、オペレータがトリガを解放するとき)、そのような機能を停止するために、停止信号をコントローラ20に送信してもよい。代替的又は追加的に、少なくともいくつかの実施形態では、起動構成要素60は、オペレータによる直接係合のための構成要素なしで具現化される。例えば、撮像システム10が撮像装置として具現化されるとき、起動構成要素60は、撮像装置が、事前定義された「スキャン」位置に上昇し、かつ/又は位置決めされ、かつ/又はその位置から下降されて停止をトリガすることを検出するために、ハードウェア及び/又はソフトウェア、又はそれらの組み合わせによって具現化されてもよい。代替的又は追加的に、起動構成要素60は、撮像システム10のユーザインターフェース要素として具現化されてもよい。そのような実施形態では、ユーザインターフェース要素として具現化された起動構成要素60は、ユーザインターフェース上でユーザから入力を受信し、次に、対応するコマンドをコントローラ20に送信するように構成されてもよい。
【0073】
1つ以上の周辺構成要素80は、例えば、表示デバイス、ユーザインターフェース、ハウジング、シャーシ、電源などのような撮像システム10の他の構造的及び機能的要素を含む。周辺構成要素80のうちの1つ以上は、コントローラによって制御されてもよく、コントローラ20によって提供される命令又は制御に従って動作してもよい。
【0074】
図1Bは、本開示の例示的な実施形態による、例示的なマルチセンサ撮像エンジン(以下、「撮像エンジン」とも称される)を示す。具体的には、示されるように、例示的なマルチセンサ撮像エンジンは、マルチセンサ撮像エンジン100によって具現化される。マルチセンサ撮像エンジン100は、複数の画像センサ、具体的には、それぞれ、近視野画像センサと関連付けられた近視野及び遠視野画像センサと関連付けられた遠視野内の画像データオブジェクトを捕捉するように構成されている、近視野画像センサ及び遠視野画像センサを含む。少なくとも1つの例示的な文脈では、マルチセンサ撮像エンジン100は、近視野画像センサを使用する近範囲近及び遠視野画像センサを使用する遠範囲などの、異なる範囲での標識読み取りを目的として画像を捕捉するように構成されている。
【0075】
示されるように、マルチセンサ撮像エンジン100は、近視野画像捕捉光学系104Aを含む。近視野捕捉光学系104Aは、光が対応する画像センサ、具体的には近視野画像センサ102Aを横切って相互作用することを可能にするように構成された1つ以上のレンズ及び/又は他の光学構成要素によって具現化されてもよい。これに関して、近視野画像捕捉光学系104Aは、近視野画像センサ102Aによって捕捉されてもよい特定の視野を画定してもよい。いくつかの実施形態では、近視野画像捕捉光学系104Aは、第1の焦点範囲と関連付けられた近接視野を画定し、その結果、第1の焦点範囲からの判定可能なオフセットに、かつ/又はその中に位置する対象は、近視野画像センサ102Aによって捕捉された画像において明瞭であってもよい。
【0076】
更に示されるように、マルチセンサ撮像エンジン100は、遠視野画像捕捉光学系104Bを含む。遠視野画像捕捉光学系104Bは、光が対応する画像センサ、具体的には遠視野画像センサ102Bを横切って相互作用することを可能にするように構成された1つ以上のレンズ及び/又は他の光学構成要素によって具現化されてもよい。これに関して、遠視野画像捕捉光学系104Bは、遠視野画像センサ102Bによって捕捉されてもよい第2の視野を画定してもよい。いくつかの実施形態では、遠視野画像捕捉光学系104Bは、第2の焦点範囲と関連付けられている遠視野を画定し、その結果、第2の焦点距離からの判定可能なオフセットに、かつ/又はその中に位置する対象は、遠視野画像センサ102Bによって捕捉された画像において明瞭であり得る。いくつかのそのような実施形態では、近視野は、遠視野よりも広く、その結果、捕捉されたデータは、マルチセンサ撮像エンジン100の視野内の環境のより多くを表す。遠視野は、近視野よりも狭く、更なる範囲に合焦されて、近視野に明瞭に捕捉され得る対象よりも大きな範囲に位置する対象のより明瞭な捕捉を可能にする。照明源の物理的レイアウトは、画像センサは、異なる用途で変更することができる。
【0077】
いくつかの例示的な実施形態では、近視野撮像センサ102Aは、強化された運動耐性を提供するためのグローバルシャッターを含んでもよい。近視野撮像センサ102Aは、大きな視野(Field of View、FOV)を使用してもよく、大きなFOVは、これらに限定されないが、光学的文字認識(optical character recognition、OCR)、画像再構成、機械学習などの用途を可能にする。いくつかの実施形態では、遠視野センサ102Bは、ローリングシャッターを含んでもよい。遠視野画像センサ102Bは、遠視野のサンプリングを改善するために小さなFOVを使用する。更に、近視野画像センサ102A及び遠視野画像センサ102Bの各々は、関連付けられた焦点機構を有してもよい。焦点機構は、画像センサ(102A又は102B)の光軸方向に沿った1つ以上の焦点レンズの動きを制御する焦点スキームを含んでもよい。この目的に向かって、いくつかの実施形態では、焦点スキームは、1つ以上のモータ、例えば、ステッパモータを含んでもよい。焦点スキームは、各視野内に複数の別個の焦点位置を提供してもよく、モータは、特定の画像センサの焦点光学系を個別の焦点位置の各々に移動させて、焦点機構を呈してもよい。例えば、いくつかの例示的な実施形態では、遠視野画像センサ102Bの合焦を変更するために、対応するモータは、遠視野撮像センサ102Bの関連付けられた焦点光学系を遠視野の3つの別個の焦点位置に移動させてもよい。焦点機構の各々の動作は、
図1Aのコントローラ20又はプロセッサ202などの処理構成要素によって制御されてもよい。
【0078】
いくつかの実施形態では、例えば、示されるように、各画像センサ(又はそのサブセット)は、画像センサによって画定された視野を照明するように構成された照明を生成するための1つ以上の構成要素と関連付けられる。例えば、示されるように、マルチセンサ撮像エンジン100は、近視野照明源106A及び対応する近視野投影光学系108Aを更に備える。近視野照明源106Aは、近視野照明パルストレインを構成する照明パルスを生成してもよい。すなわち、近視野照明源106Aの起動は、ある時間期間にわたって発生し、次いで、近視野照明源106Aは、次の起動前のセットされた時間期間にわたって停止されたままである。近視野照明源106Aは、近視野投影光学系108Aの光軸方向に光を生成するように構成されている。この光は、近視野投影光学系108Aを通って屈折されて、近視野投影光学系108Aの構成及び設計に基づいて、所望のパターンで生成されてもよい近視野照明を生成する。これに関して、近視野投影光学系108Aを出る光によって生成される照明は、近視野画像センサ102Aによって捕捉可能な近視野など、特定の視野を照明してもよい。いくつかの実施形態では、近視野照明源106A及び/又は近視野投射光学系108Aは、近視野照明が、近視野を具体的に照明するように設計されてもよく、近視野画像センサ102Aの機能に悪影響を及ぼすことなく、遠視野画像センサ102Bの機能に影響を及ぼし得ることを理解されたい。例えば、構成要素間の近接性に少なくとも部分的に起因して、反射光は、遠視野画像センサ102Bと相互作用し、遠視野画像センサ102Bを介して作成された画像に悪影響を及ぼすことがある。いくつかの例示的な実施形態では、近視野照明源106Aは、近視野照明パルストレインを構成する1つ以上の照明パルスに基づいて近視野照明を生成してもよい。
【0079】
同様に、マルチセンサ撮像エンジン100は、遠視野照明源106B及び対応する遠視野投影光学系108Bを更に備える。遠視野照明源106Bは、遠視野照明パルストレインを構成する遠視野照明パルスを生成する。遠視野照明源106Bは、遠視野投影光学系108Bの方向に光を生成するように構成されている。この光は、遠視野投光学系108Bを通って屈折されて、遠視野投影影光学系108Bの構成及び設計に基づいて、所望のパターンで生成されてもよい遠視野照明を生成する。これに関して、遠視野照明は、遠視野画像センサ102Bによって捕捉可能な遠視野など、特定の視野を照明してもよい。遠視野照明源106B及び/又は遠視野投射光学系108Bは、遠視野照明が、近視野画像センサ102A及び/又は遠視野画像センサ102Bの動作に悪影響を及ぼす十分な反射を生成することなく、遠視野を具体的に照明するように設計され得ると理解されたい。
【0080】
追加的又は代替的に、任意選択的に、いくつかの実施形態では、マルチセンサ撮像エンジン100は、エイマ照明源110を更に備える。エイマ照明源110は、エイマ投影光学系112の方向に光を生成するように構成されている。例えば、エイマ照明源は、十分に強力な、かつ/又は集中した光を生成するように構成された1つ以上のレーザダイオード及び/又は高強度LEDを備える。光は、エイマ投影光学系112を通って屈折されて、エイマ投影光学系112の構成及び設計に基づいて、所望のパターンで生成されてもよいエイマ照明を生成する。例えば、バーコードスキャンの目的で、1つの例示的な文脈では、エイマパターンはレーザーラインパターンとして生成されてもよい。
【0081】
マルチセンサ撮像エンジン100は、保護窓114を更に備える。保護窓114は、生成された光がエンジン100を出て、入射光が画像捕捉光学系104A及び104Bを介して対応する画像センサ102A及び102Bと相互作用するように受信されることを可能にするように構成されている1つ以上の光学構成要素を備える。いくつかの文脈では、保護窓114は、光漏れを介して、又は対応する画像捕捉光学系104A及び/又は104Bを介して画像センサ102A及び/又は102Bと相互作用し得る、遠視野投射光学系108B及び/又は近視野投射光学系108Aによって投影された照明の少なくとも一部分を反射する。例えば、近視野照明の少なくとも一部分は、遠視野画像センサ102Bに向かって反射され、照明パルスが発生したときにトリガされた場合、遠視野画像センサ102Bの動作に悪影響を及ぼす場合がある。少なくとも1つの例示的な文脈では、遠視野照明源106Bは、遠視野投射光学系108Bによって生成された遠視野照明が近視野画像センサ102Aに悪影響を与えるのに十分に反射されないように、集中及び/又は他の方法で十分に設計された光を生成する。
【0082】
他の実施形態では、マルチセンサ撮像エンジンは、任意の数の画像捕捉光学系、画像センサ、照明源、及び/又はそれらの任意の組み合わせを含んでもよいことを理解されたい。これに関して、撮像エンジン100は、任意の数の視野を捕捉するように拡張されてもよく、それは各々、対応する視野を特に照明するために設計された対応する照明器と関連付けられてもよい。1つ以上の照明源は、別の照明器の動作に悪影響を及ぼし得る。そのような状況では、1つのそのような照明源がアクティブである場合、悪影響を受ける画像センサは、本明細書に記載される照明源の照明パルス間で起動されてもよい。そのような動作は、照明源及び画像センサの任意の組み合わせに対して実装されてもよい。
【0083】
いくつかの実施形態では、マルチセンサ撮像エンジン100は、マルチセンサ撮像エンジン100の1つ以上の構成要素の起動を制御するための1つ以上の処理構成要素(例えば、プロセッサ及び/又は他の処理回路)を含む。例えば、少なくとも1つの例示的な実施形態では、マルチセンサ撮像エンジン100は、近視野照明源106A及び/又は遠視野照明源106Bの照明パルスを計時し、かつ/又は近視野画像センサ102B及び/又は遠視野画像センサ102Aの露光を制御するように構成されたプロセッサを含む。いくつかのそのような状況では、プロセッサは、例えば、FPGA、ASIC、マイクロプロセッサ、CPUなどの無数の処理回路実装のうちのいずれか1つによって具現化される。少なくともいくつかの実施形態では、プロセッサは、プロセッサによって実行されるときに、そのような機能を可能にするコンピュータコード化命令を有する1つ以上のメモリデバイスと通信してもよい。いくつかの実施形態では、プロセッサは、1つ以上のサブプロセッサ、リモートプロセッサ(例えば、「クラウド」プロセッサ)などを含んでもよく、かつ/又はそのような機能を実施するための1つ以上の追加のプロセッサと通信してもよいことを理解されたい。例えば、少なくとも1つの実施形態では、プロセッサは、撮像装置内の別のプロセッサ、例えば
図2に関して描写され、説明されるようなプロセッサ202と通信し、かつ/又は動作してもよい。
【0084】
図2は、本開示の例示的な実施形態による、例示的なマルチセンサ撮像装置を示す。具体的には、
図2は、例示的なマルチセンサ撮像装置200を示す。示されるように、マルチセンサ撮像装置200は、装置の様々な構成要素を収容するための装置シャーシ210を備える。これに関して、装置シャーシは、マルチセンサ撮像装置200の様々な構成要素を動作のために位置決めするのに好適な、無数の材料のいずれか、かつ/又は同様のものを使用して、無数のシャーシ設計のいずれかで具現化されてもよいことを理解されたい。少なくとも1つの例示的な文脈では、装置シャーシ210は、ハンドヘルド装置シャーシ、ウェアラブルシャーシなどとして具現化されてもよい。
【0085】
マルチセンサ撮像装置200は、
図1Bに関して上述したように、マルチセンサ撮像エンジン100を備える。マルチセンサ撮像装置200は、プロセッサ202を更に備える。プロセッサ202(及び/又はプロセッサ202を支援し、かつ/又は別様に関連付けられた任意の他のコプロセッサ及び/又は処理回路)は、マルチセンサ撮像装置200に処理機能を提供してもよい。これに関して、プロセッサ202は、
図1Aのコントローラ20に関して考察されたように、無数の方式のうちのいずれか1つで具現化されてもよい。
【0086】
いくつかの例示的な実施形態では、プロセッサ202は、マルチセンサ撮像装置200の1つ以上の構成要素を動作させるための機能を提供するように構成されている。例えば、プロセッサ202は、遠視野照明源106B、近視野照明源106A、及び/又はエイマ照明源110を起動するように構成されてもよい。追加的又は代替的に、いくつかの実施形態では、プロセッサ202は、近視野画像センサ102A及び/又は遠視野画像センサ102Bを起動して、対応する画像センサを露光し、かつ/又は露光中に捕捉されたデータに基づいて、画像を生成するために捕捉されたデータを読み出すように構成されている。追加的又は代替的に、いくつかの実施形態では、プロセッサ202は、例えば、1つ以上の画像処理タスクに基づいて、捕捉された画像を処理するように構成されている。1つのそのような例示的な文脈では、プロセッサ202は、捕捉された画像から、1D及び/又は2Dバーコードなどの視覚的な標識を検出し、かつ復号化する試みを実施するように構成されている。これに関して、プロセッサ202は、視覚的標識解析アルゴリズム及び/又は視覚的標識復号化アルゴリズムを利用して、そのような機能を提供するように構成されてもよい。
【0087】
追加的又は代替的に、任意選択的に、いくつかの実施形態では、マルチセンサ撮像装置200は、起動構成要素206を更に含む。起動構成要素206は、
図1Aの起動構成要素60に関して考察されたように、無数の方式で具現化されてもよい。
【0088】
追加的又は代替的に、任意選択的に、いくつかの実施形態では、撮像装置200は、ディスプレイ208を更に含む。ディスプレイ208は、装置200の1つ以上の構成要素によって提供されるデータのために構成されたLCD、LED、及び/又は他のスクリーンデバイスによって具現化されてもよい。例えば、いくつかの実施形態では、ディスプレイ208は、テキスト、画像、制御要素、及び/又はレンダリングのためにプロセッサ202によって提供される他のデータを含むユーザインターフェースをレンダリングするように構成されている。いくつかの実施形態では、例えば、ディスプレイ208は、LCD及び/又は装置シャーシ210の表面と一体化され、オペレータに可視であるLEDモニタによって具現化されて、例えば、バーコードから復号化され、かつ/又はバーコードから復号化されたそのような情報と関連付けられた情報を提供する。1つ以上の実施形態では、ディスプレイ208は、ユーザ係合を受信するように構成されてもよく、及び/又はユーザ係合に基づいて機能をトリガするために、プロセッサ202に1つ以上の対応する信号を送信してもよい。いくつかのそのような実施形態では、ディスプレイ208は、例えば、オペレータがユーザインターフェースとの相互作用を介してスキャン機能を開始し、かつ/又は終了することを可能にするために、起動構成要素206を具現化するユーザインターフェース機能を提供する。
【0089】
追加的又は代替的に、任意選択的に、いくつかの実施形態では、デュアル撮像装置200は、メモリ204を更に含む。メモリ204は、例えば、マルチセンサ撮像装置200によって処理されたデータ及び/又は本明細書に記載の機能性を提供するための命令を記憶するための記憶機能を提供してもよい。いくつかの実施形態では、プロセッサ202は、装置の構成要素間で情報を通過させるために、かつ/又は実行のための命令を検索するために、バスを介して、メモリ204と通信してもよい。メモリ204は、
図1Aのコントローラ20を参照して考察された無数の方式で具現化されてもよい。メモリ204は、撮像装置200が、例示的な実施形態による様々な機能を実行することを可能にするために、情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成されてもよい。いくつかの実施形態では、メモリ204は、例えば、本明細書に記載の機能を実行するために、かつ/又はプロセッサ202を介して実行されるハードコード化機能と併せて、プロセッサ202による実行のためのコンピュータコード化命令を含む。例えば、プロセッサ202がソフトウェア命令の実行体として具現化される場合、命令は、命令が実施されたときに本明細書に記載されるアルゴリズム及び/又は動作を実施するようにプロセッサ202を特に構成してもよい。マルチセンサ撮像エンジン100及びマルチセンサ撮像装置200の非限定的な例示的な実装形態は、「INTEGRATED ILLUMINATION-AIMER IMAGING APPARATUSES」と題する、2019年11月14日に出願された特許出願第16/684,124号に記載されており、その内容は、参照によりその全体が本明細書に組み込まれる。このような構成要素のうちの1つ以上は、本明細書に記載されるように、照明同期を提供するように構成可能であり得ると理解されたい。
【0090】
本開示のいくつかの例示的な実施形態では、プロセッサ202及びメモリ204は、一緒に撮像制御装置又は照明制御装置として具現化されてもよく、したがって、撮像装置200と固定され、又は取り外し可能に結合されてもよいし、撮像装置200の部分的に、又は完全に外側にあってもよい。いくつかの実施形態では、撮像制御装置は、撮像装置200と動作可能に結合された集積回路として具現化されてもよい。
【0091】
図3は、例示的なマルチセンサ画像装置によって捕捉可能な視野の視覚化を示す。例えば、
図3に示すように、
図3は、マルチセンサ撮像装置200によって捕捉可能な近視野302及び遠視野304を示す。示されるように、近視野302は、遠視野よりも広く、その結果、遠視野304よりも近視野302内で環境のより多くが捕捉され得る。
【0092】
更に、示されるように、遠視野304は、近視野302よりも更に拡張する。これに関して、遠視野304の狭い性質は、近視野302と比較して、環境の特定の部分のより詳細な表現の捕捉を可能にし得る。いくつかの実施形態では、近視野302及び遠視野304は、マルチセンサ撮像装置200の対応する近視野画像センサ及び対応する遠視野画像センサによって捕捉可能である。近視野302は、マルチセンサ撮像装置200内の対応する画像センサから特定の距離で近い焦点範囲と関連付けられてもよい。追加的又は代替的に、遠視野304は、マルチセンサ撮像装置200内の対応する画像センサから別の距離で遠焦点範囲と関連付けられてもよい。これに関して、近視野焦点範囲は、遠視野画像センサを介して捕捉されたときに、更にマルチセンサ撮像装置200からの対象がより良好な焦点内にあり、近視野画像センサと比較して拡張された範囲を可能にするように、遠視野の焦点範囲よりも近くてもよい。
【0093】
マルチセンサ撮像装置200は、視野302及び304の各々を照明するために特に照明を提供するように構成されてもよい。これに関して、照明源は、照明がオーバーフィル又はアンダーフィルなしで対応する視野を適切に照明するように、対応する画像センサの視野と一致するように具体的に設計されてもよい。照明中に非対応画像センサ中に照明及び捕捉を生成するために別の照明源を利用することは、照明が多すぎるため、かつ/又は説明されているように十分でないため、捕捉された画像内のデータの質に影響を及ぼし得る、オーバーフィル(例えば、近視野照明パルス中に遠視野画像センサを使用して捕捉するとき)、及び/又はアンダーフィル(例えば、遠視野照明パルス中に近視野画像センサを使用して捕捉するとき)をもたらし得る。例えば、
図4は、本開示の例示的な実施形態による、マルチセンサ撮像装置、例えばマルチセンサ撮像装置200によって生成された近視野照明の視覚化を示す。これに関して、近視野照明402は、近視野302を実質的に、又は全体的に照明するように生成されてもよい。近視野照明402は、捕捉のために近視野302の全体を十分に照明する照明パターンに従って生成されてもよい。
【0094】
図5は、本開示の例示的な実施形態による、例示的なマルチセンサ撮像装置、例えばマルチセンサ撮像装置200によって生成された遠視野照明の視覚化を示す。これに関して、遠視野照明404は、遠視野304を実質的に、又は全体的に照明するように生成されてもよい。遠視野照明504は、対応する遠視野画像センサによって捕捉するために、遠視野304の全体を十分に照明する照明パターンに従って生成されてもよい。遠視野照明504は、近視野302のあるパーセンテージ、例えば近視野302の中心パーセンテージ(例えば、25%、50%など)のみを照明してもよい。これに関して、遠視野照明の起動は、特定の距離で遠距離視野304の境界を越えて延在するものなどの特定の視覚的な標識の十分な画像を捕捉するには問題となり得る。したがって、ちらつきを最小限に抑え、動作時間を最小限に抑えながら、各画像センサの適切な照明器を利用することは、視覚的標識の検出及び復号化の成功の可能性及び効率を高めることが望ましい。
【0095】
図6は、例示的な実施形態による、例示的なマルチセンサ撮像システムの動作機能と関連付けられたタイミング
図600を示す。タイミング
図600は、マルチセンサ撮像装置200の様々な構成要素(例えば、近視野照明源、近視野画像センサ、遠視野照明源、遠視野画像センサ、合焦機構)の起動及び停止のタイミングを示す。撮像システム10/撮像装置200と関連付けられたいくつかの個々のプロセスは、
図6のタイミング
図600におけるパルスを活用して示される。タイミング図におけるパルスの垂直拡張は、必ずしもパルスの振幅を指定しない。いくつかの例示的な実施形態によれば、タイミング
図600内の各パルスは、関連する構成要素/プロセスの起動時間の長さ、それに続く関連する構成要素/プロセスの非起動時間の長さによって定義されてもよい。各パルスは、パルスの振幅が非ゼロのままである持続時間として定義され得る対応する期間を有してもよい。パルスの期間は、開始時間インスタンス(パルス開始時間)及び終了時間インスタンス(パルス終了時間)で終了してもよい。本明細書で使用される場合、パルスの期間の開始時間期間という用語は、パルス開始時間から開始する閾値持続時間の時間期間を指してもよく、閾値持続時間は、設定可能な値を有してもよい。一例では、閾値持続時間はゼロであってもよく、したがって、期間の開始時間期間及びパルス開始時間は、時間において同じインスタンスを指してもよい。同様に、パルスの期間の終了時間期間という用語は、パルス終了時間で終了する閾値持続時間の時間期間を指し、閾値持続時間は、設定可能な値を有してもよい。少なくとも1つの例示的な文脈では、閾値持続時間はゼロであってもよく、したがって、期間の終了時間期間及びパルス終了時間は、時間において同じインスタンスを指してもよい。いくつかの例示的な実施形態では、それぞれの閾値持続時間は、コントローラ20及び/又は撮像エンジン100の1つ以上の性能パラメータに従って設定可能であってもよい。
【0096】
タイミング
図600に示されるように、撮像システム10/撮像装置200の特定の構成要素の特定の動作と関連付けられたいくつかのパルスは、時間的に位置合わせされてもよく、部分的に、又は完全に重複していてもよいし、撮像システム10/撮像装置200の別の構成要素の1つ以上の動作と関連付けられた1つ以上の他のパルスと重複しなくてもよい。一例として、近視野照明パルス602Aの開始は、近視野画像センサの露光と関連付けられたパルス604(近視野露光パルス604とも称される)の開始と時間的に位置合わせされる。別の例として、近視野照明パルス602Aは、近視野画像センサの読み出しと関連付けられたパルス606(近視野読み出しパルス606とも称される)と重複しなくてもよい。別の例として、遠視野画像センサの露光と関連付けられたパルス614A(遠視野露光パルス614Aとも称される)は、近視野読み出しパルス606と重複する。
【0097】
タイミング
図600に示される動作に対応する実行可能な命令は、1つ以上の撮像又は画像処理タスクの滑らかな実行を実行するために、撮像システム/撮像装置によって利用されてもよい。例えば、各画像センサの起動は、対応する画像を捕捉するための2つのステップを含んでもよい。すなわち、画像センサの露光と、画像センサからの読み出しである。これに関して、例えば、プロセッサ202は、タイミング図に基づいて様々な構成要素の起動を可能にするように構成され得ると理解されたい。いくつかの例示的な実施形態によれば、画像センサ(102A、102B)は、遠視野画像センサ102Bの露光期間が近視野照明源106Aの照明パルストレインに調整又は収容されるような様式で動作されてもよい。遠視野画像センサ102Bの露光期間を収容するように近視野照明源106Aの照明パルストレインのそのような修正は、様々な方法によって達成されてもよく、そのいくつかの例を
図8~
図10を参照して考察する。
【0098】
図示されるように、タイミング
図600は、近視野照明を生成するために近視野照明源106Aによって使用される近視野照明パルストレイン602を含む。近視野照明パルストレイン602は、照明パルス602A、602B、602C、602D、及び602Eなどの複数の照明パルスを含む。修飾されていない形式では、近視野照明パルスは、特定の固定周波数で生成される照明パルス602Aと同様の照明パルスのみを含み得ることに留意されたい。追加の照明パルス602B~602Eと同様の照明パルスが、遠視野画像センサ102Bの露光期間614を近視野照明パルストレイン602に収容して、マルチセンサ撮像装置200/システム10と関連付けられた照明問題を軽減するために、コントローラ20又はプロセッサ202によって追加されてもよい。これに関して、各近視野照明パルスは、起動時間の長さ(例えば、近視野照明源106Aオン時間)、それに続く非起動時間の長さ(例えば、近視野照明源106Aオフ時間)によって定義されてもよい。例示的な文脈では、マルチセンサ撮像装置200は、1.5ミリ秒(「ms」)のオン時間、それに続く14.5msのオフ時間で近視野照明パルス602Aを周期的に生成するように構成され得る。これに関して、各照明パルス602Aが始まり、1.5msにわたって続き、その後、14.5msの経過後に別の照明パルス602Aが始まる前に終了してもよい。閉塞を回避するために、1つの照明パルス602Aのみが近視野照明パルストレイン602に示されている。しかしながら、本明細書に記載される例示的な実施形態に従って、修正されていない形式の近視野照明パルストレイン602は、複数のそのような照明パルス602Aを含むことが企図されてもよい。近視野照明源106Aは、同じ又は異なるオン時間及びオフ時間で上記と同様の様式で追加の照明パルス602B~602Eを生成してもよい。照明パルス602A~602Eの各々は、照明期間と称される持続時間にわたって時間領域に延在してもよい。上記の例示的な実施形態では、例えば、各照明パルス602Aは、1.5ミリ秒に等しい照明期間を有してもよい。照明パルスの照明期間は、第1の時間インスタンスで始まり、第2の時間インスタンスで終了してもよい。したがって、第1の時間インスタンスは、照明パルスの照明パルス開始時間に対応してもよく、第2の時間インスタンスは、照明パルスの照明パルス終了時間に対応してもよい。
【0099】
いくつかの例示的な実施形態では、近視野画像センサ102A及び遠視野画像センサ102Bは各々、近視野照明が生成されている間に起動されてもよい。図示されるように、近視野画像センサの露光パルス604は、近視野照明パルストレイン602の近視野照明パルス602Aと完全に又は実質的に位置合わせされてもよい。すなわち、露光期間604中の近視野画像センサの露光は、近視野照明パルストレイン602の近視野照明パルス602Aの開始時間期間と同時に開始してもよい。いくつかの例示的な実施形態では、露光期間604の終了時間期間は、近視野照明パルストレイン602の近視野照明パルス602Aの終了時間期間を超えて延在してもよい。例えば、図示されるように、近視野画像センサ露光は、露光パルス604の立ち上がりエッジで始まり、これは、第1の近視野照明パルス602Aの立ち上がりエッジと位置合わせされる。近視野画像センサ102Aの露光は、第1の近視野照明パルス602Aの立ち下がりエッジを超える時間インスタンスで終了する。これに関して、近視野画像センサ102Aは、第1の近視野照明パルス602Aの全体(又はほぼ全体)の間に露光され、バーコードスキャンなどの画像処理タスクの完了に成功することを可能にする十分なデータを捕捉する可能性を最大化する。
【0100】
いくつかの実施形態では、照明パルスは、画像センサが照明パルス中に露光されることが望まれる場合、画像センサの露光中の任意の時点で発生し得ると理解されたい。例えば、近視野画像センサ102Aが近視野照明パルス中に露光される状況では、露光が照明パルス前に始まってもよいし、照明パルスが露光中の後ろの時間で発生してもよい。1つのそのような例として、近視野画像センサ102Aが4.5msの露光時間値と関連付けられ、各近視野照明パルスが1.5ms続く文脈では、近視野画像センサ102Aの露光は、照明パルスの開始と照明パルス開始時間の3ms前との間の任意の時間で始まることができ、その結果、照明パルスの全体が露光中に発生する。特定のタイミングは、異なって構成された画像センサ及び/又は照明源の任意の組み合わせに対して異なり得ると理解されたい。
【0101】
図示されるように、近視野画像センサ102Aは、その後、パルス606において読み出されて、パルス608において対応する画像(例えば、第1の近視野画像)を生成及び/又は処理する。パルス606における近視野画像センサ102Aからの読み出しの開始に並行して、遠視野センサ102Bの露光はパルス614で始まってもよい。その後、パルス614における遠視野センサ102Bの露光の終了とともに、遠視野センサからの読み出しは、パルス616で始まって、パルス618において対応する画像(例えば、第1の遠視野画像)を生成及び/又は処理してもよい。
【0102】
いくつかの例示的な実施形態では、パルス614の露光期間の開始時間期間は、パルス606の読み出し期間の開始時間期間と完全に、又は実質的に位置合わせされ得ると留意されたい。更に、パルス614の露光期間の終了時間期間は、パルス616の読み出し期間の開始時間期間と完全に、又は実質的に位置合わせされてもよい。
【0103】
照明パルスのタイミング、対応する露光、読み出し、及び/又は処理は、無数の方法のうちのいずれか1つで判定されてもよい。例えば、少なくとも1つの例示的な実施形態では、照明パルス及び/又は画像センサ露光の起動のためのタイミングは、1つ以上の関連するプロセッサによる実行のために予め判定されるか、及び/又はハードコード化されてもよい。追加的又は代替的に、いくつかの実施形態では、次の照明パルスまでのタイミングオフセットが、生成された照明のパルス周波数、及び/又は照明パルスの開始時間(例えば、第1の照明パルスが生成された時間)に基づいて判定されてもよい。1つ以上の画像センサの露光は、既知の及び/又は判定可能な現在の時間、照明パルス周波数、判定されたオフセット、及び/又は露光される画像センサの露光時間値に基づいた適切なタイミングであり得る。例えば、そのようなデータに基づいて、画像センサの露光は、画像センサがいくつかの状況で照明パルス全体に対して露光されたままであり、及び/又は他の状況において照明パルス間で完全に、又は部分的に露光されたままであるようにトリガされ得る。
【0104】
各照明源は、対応する画像センサによって捕捉するための所望の視野を照明するために利用され、バーコードスキャンなどの画像処理タスクの完了に成功する可能性を増加させる。
【0105】
図7は、本開示の例示的な実施形態による、マルチイメージャ環境における照明制御のためのプロセス700の例示的な動作を示すフローチャートを示す。
図7は、
図6に示すタイミング
図600と併せて説明される。プロセス700は、
図1A及び
図2を参照して説明された撮像システム10又は撮像装置200によって実装されてもよい。プロセス700は、702で、コントローラ20/プロセッサ202によって、第1の照明パルストレインに基づいて第1の照明源を動作させることを含む。第1の照明源は、近視野センサと関連付けられた光源に対応することができる。一例として、第1の照明源は、
図1B~
図2を参照して説明された近視野照明源106Aであってもよい。第1の照明源は、第1の照明パルストレインに従って近視野画像センサの近視野を照明してもよい。第1の照明パルストレインは、
図6のタイミング図に示される近視野照明パルストレイン602に対応してもよい。いくつかの例示的な実施形態では、第1の照明パルストレインは、照明の短い明るいパルスを生成するために、約60~90Hzの一定のパルス周波数を有してもよい。いくつかの感度の高い用途では、パルス周波数は、90Hzを超える一定の値にセットされてもよい。
【0106】
プロセス700は、704で、コントローラ20/プロセッサ202によって、第2の画像センサの第1の露光期間を判定することを更に含む。いくつかの例示的な実施形態では、第2の画像センサは、遠視野画像センサ102Bであってもよく、したがって、第1の露光期間は、遠視野センサ102Bの露光期間に対応してもよい。第2の画像センサの照明及び露光は、コントローラ20又はプロセッサ202などの制御媒体又は処理媒体によって制御又は引き起こされてもよい。したがって、第2の画像センサの第1の露光期間は、1つ以上の関連するプロセッサによる実行のために予め判定及び/又はハードコード化されてもよい。いくつかの例示的な実施形態では、露光期間は、第2の画像センサと関連付けられた1つ以上の撮像パラメータに基づいて動的に計算されてもよい。
【0107】
プロセス700は、706で、コントローラ20/プロセッサ202によって、第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正することを更に含む。第1の照明パルストレインのパルス周波数などの1つ以上の特性を修正することにより、プロセス700は、遠視野画像センサから近視野画像センサへの「照明漏れ」を阻害するための効率的な尺度を提供し、その逆も同様である。第1の照明パルストレインの1つ以上の特性の修正は、撮像システムの画像センサの中で照明干渉を低減する目的で実行されてもよい。したがって、第1の照明パルストレインの1つ以上の特性は、無数の方法で修正されてもよい。いくつかの例示的な実施形態では、第2の画像センサの露光との照明干渉を回避するために、1つ以上の追加の照明パルスを第1の照明パルストレインに追加又は挿入してもよく、その詳細な説明はそれぞれ、
図8及び
図9のプロセス706A及び706Bを参照して提供されている。追加的又は代替的に、いくつかの例示的な実施形態では、第1の照明パルストレインの一対の時間的に続く照明パルス間のタイミング遅延を増加させて、第2の画像センサの露光との照明干渉を回避することができ、その詳細な説明は、
図10のプロセス706Cを参照して提供されている。
【0108】
プロセス700は、708で、コントローラ20/プロセッサ202によって、修正された第1の照明パルストレインに基づいて、第1の画像センサと関連付けられた第1の照明源を動作させることを含む。したがって、コントローラ20/プロセッサ202は、修正された近視野照明パルストレインに基づいて、近視野照明源の後続の起動を制御する。したがって、近視野画像センサの露光は、近視野画像センサによって画像捕捉を実行するために、修正された近視野照明パルストレインの照明パルスと位置合わせされる。遠視野画像センサの露光期間を考慮して修正された近視野照明パルストレインが生成されるため、2つのセンサの中での照明漏れの可能性が低減されるか、又はいくつかの場合では排除される。したがって、プロセス700は、マルチセンサ撮像システム/装置を動作させるための効率的な尺度を提供する。したがって、プロセス700を実行するか、又は利用する装置は、撮像及び/又はその後の画像処理タスクの改善をもたらす。
【0109】
図8は、本開示の少なくとも1つの例示的な実施形態による、例示的なマルチセンサ撮像システムの第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正するためのプロセス706Aの例示的な動作を示すフローチャートを示す。いくつかの例示的な実施形態では、プロセス706Aは、ちらつき制御又は除去とともに照明同期が必要とされるシナリオにおいてトリガされてもよい。
【0110】
プロセス706Aは、802で、コントローラ20/プロセッサ202によって、第2の画像センサの第1の露光期間の開始時間期間及び終了時間期間を判定することを含む。前述のように、第2の画像センサは、遠視野画像センサ102Bであってもよい。したがって、コントローラ20/プロセッサ202は、遠視野画像センサの露光期間の境界を判定してもよい。更に、
図7のステップ704を参照して考察したように、第2の画像センサの第1の露光期間は、1つ以上の関連するプロセッサによる実行のために予め判定及び/又はハードコード化されてもよい。いくつかの例示的な実施形態では、露光期間は、第2の画像センサと関連付けられた1つ以上の撮像パラメータに基づいて動的に計算されてもよい。コントローラ20/プロセッサ202は、上述のソースのいずれかから遠視野画像センサの露光期間に関するデータを取得し、露光期間の開始時間期間及び終了時間期間を判定してもよい。
【0111】
ステップ804で、プロセス706Aは、コントローラ20/プロセッサ202によって、第1の画像センサの第1の照明パルストレインの少なくとも1つの追加の照明パルスを生成することを含む。少なくとも1つの追加の照明パルスは、それを第1の照明パルストレインに挿入するために生成されてもよい。したがって、プロセス706Aは、806で、コントローラ20/プロセッサ202によって、少なくとも1つの追加の照明パルスを第1の照明パルストレイン内に挿入して、その結果、その少なくとも1つの追加の照明パルスの照明期間の開始時間期間及び/又は終了時間期間が、第2の画像センサの第1の露光期間の開始時間期間及び/又は終了時間期間と位置合わせされることを更に含む。すなわち、少なくとも1つの追加の照明パルスを、第2の画像センサの露光期間に対応するパルスの1つ以上の「非ケア領域」に追加又は挿入することができる。「非ケア領域」は、物体又はその一部が捕捉されない露光期間のそのような部分に対応してもよい。考察したように、第2の画像センサは、遠視野画像センサであってもよく、通常のシナリオでは、遠視野画像センサの露光期間に対応するパルスと関連付けられた初期ウィンドウ及び終端ウィンドウは、物体が通常遠視野画像センサの露光期間の中心ウィンドウ内で捕捉されるため、物体の捕捉とは関連付けられていなくてもよい。したがって、本明細書に例示される例では、露光期間の初期ウィンドウ及び終端ウィンドウは、非ケア領域に対応してもよい。しかしながら、追加的又は代替的に、露光期間の任意の他の部分は、本開示の範囲内の非ケア領域としても定義され得ることが企図されよう。
【0112】
図6に示すように、1つ以上の追加の照明パルス602B及び602E(点線で示されている)は、近視野照明パルストレイン602に生成及び挿入されて、その結果、照明パルス602Bの照明期間の開始時間期間が遠視野画像センサの露光期間614Aの開始時間期間と位置合わせされ、照明パルス602Eの照明期間の開始時間期間が遠視野画像センサの露光期間614Bの開始時間期間と位置合わせされる。
【0113】
図9は、本開示の少なくとも1つの例示的な実施形態による、例示的なマルチセンサ撮像システムの第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正するための別のプロセスの例示的な動作を示すフローチャート706Bを示す。いくつかの例示的な実施形態では、プロセス706Bは、ちらつき除去とともに照明同期が必要とされるシナリオにおいてトリガされてもよい。
【0114】
プロセス706Bは、902で、コントローラ20/プロセッサ202によって、第2の画像センサのオートフォーカス期間を判定することを含む。遠視野で撮像するための第2の画像センサの動作中に、画像センサがいくつかの焦点位置のうちの1つに移動することが必要である。画像センサ(及び/又は関連する光学系)の初期位置から焦点位置のうちの1つへのシフトは、オートフォーカス期間中に生じる。オートフォーカス期間は、予め定義され、撮像エンジンのメモリに記憶されてもよいし、1つ以上の撮像パラメータに基づいて動的に計算されてもよい。いずれの場合でも、コントローラ20/プロセッサ202は、オートフォーカス期間を取得するか、又は他の方法でこれを計算してもよい。
【0115】
ステップ904で、プロセス706Bは、コントローラ20/プロセッサ202によって、第1の画像センサの第1の照明パルストレインに対して少なくとも1つの追加の照明パルスを生成することを含む。少なくとも1つの追加の照明パルスは、それを第1の照明パルストレインに挿入するために生成されてもよい。したがって、プロセス706Bは、906で、コントローラ20/プロセッサ202によって、少なくとも1つの追加の照明パルスを第1の照明パルストレイン内に挿入して、その結果、少なくとも1つの追加の照明パルスに対応する第1の画像センサの照明が、第2の画像センサのオートフォーカス期間と時間的に重複することを更に含む。すなわち、少なくとも1つの追加の照明パルスは、第2の画像センサのモータ移動の期間と位置合わせされた位置で、第1の照明パルストレイン内に追加又は挿入されてもよい。
【0116】
図6に示すように、1つ以上の追加の照明パルス602D(太い点線で示される)が生成され、近視野照明パルストレイン602内に挿入されて、その結果、照明パルス602Dの照明期間がオートフォーカスモータ移動パルス610と重複する。
【0117】
図10は、本開示の少なくとも1つの例示的な実施形態による、例示的なマルチセンサイメージングシステムの第2の画像センサの第1の露光期間を収容するように第1の照明パルストレインの1つ以上の特性を修正するための別のプロセス706Cの動作の例を示すフローチャートを示す。プロセス706Cは、1002で、コントローラ20/プロセッサ202によって、第2の画像センサの第1の露光期間の開始時間期間及び終了時間期間を判定することを含む。前述のように、第2の画像センサは、遠視野画像センサ102Bであってもよい。したがって、コントローラ20/プロセッサ202は、遠視野画像センサの露光期間の境界(開始時間期間及び終了時間期間)を判定してもよい。更に、
図7のステップ704を参照して考察したように、第2の画像センサの第1の露光期間は、1つ以上の関連するプロセッサによる実行のために予め判定及び/又はハードコード化されてもよい。いくつかの例示的な実施形態では、露光期間は、第2の画像センサと関連付けられた1つ以上の撮像パラメータに基づいて動的に計算されてもよい。コントローラ20/プロセッサ202は、上述のソースのいずれかから遠視野画像センサの露光期間に関するデータを取得し、露光期間の開始時間期間及び終了時間期間を判定してもよい。
【0118】
プロセス706Cは、1004で、コントローラ20/プロセッサ202によって、第2の画像センサの第1の露光期間の最も近い時間的近傍にある第1の照明パルストレインの一対の時間的に続く照明パルスを判定することを更に含む。コントローラ20/プロセッサ302は、遠視野画像センサの露光期間の開始時間インスタンス及び終了時間インスタンスを判定してもよい。コントローラ20/プロセッサ302は、露光期間の判定された開始時間インスタンス及び終了時間インスタンスを近視野照明パルストレインにマッピングして、時間軸上で、それぞれ露光期間の判定された開始時間インスタンス及び終了時間インスタンスの最も近い近傍にある近視野照明パルストレインにおける一対の時間的に続く照明パルスを判定してもよい。
【0119】
プロセス706Cは、1006で、コントローラ20/プロセッサ202によって、第1の照明パルストレインの適格な一対の時間的に続く照明パルス間のタイミング遅延を増加させて、その結果、第1の露光期間の開始時間期間又は終了時間期間のうちの1つが、増加したタイミング遅延の開始時間期間又は終了時間期間のうちのそれぞれ1つと位置合わせされることを更に含む。
図11の例示的なタイミング
図1100に示されるように、近視野照明パルストレインの照明パルス対1104、1106、及び照明パルス対1108、1110は、露光期間1112の開始時間インスタンス及び終了時間インスタンスに最も近い近傍にある適格な一対の時間的に続く照明パルスとして選択されてもよい。したがって、コントローラ20/プロセッサ302は、照明パルス(1102~1110)間のタイミング遅延を増加させて、その結果、露光期間1112の開始時間時間及び/又は終了時間期間が、それぞれ照明パルス1104の立ち下がりエッジ及び照明パルス1106の立ち上がりエッジのうちのそれぞれ1つと位置合わせされてもよい。照明パルス1104の立ち下がりエッジは、露光期間1112の開始時間期間から閾値遅延内にあってもよく、照明パルス1106の立ち上がりエッジは、露光期間1112の終了時間期間から別の閾値遅延内にあってもよい。露光期間の他のパルスと同様の修正が、対応する一対の照明パルスと位置合わせするように行われてもよい。照明パルス1104の立ち上がりエッジと照明パルス1106の立ち下がりエッジとの間の持続時間は、増加したタイミング遅延を定義する。したがって、
図11の修正された近視野照明パルストレインに示されるように、遠視野画像センサの露光期間1112の開始時間期間及び終了時間期間は、増加したタイミング遅延の開始時間期間又は終了時間時間のうちのそれぞれ1つと位置合わせされる。
【0120】
図12A及び
図12Bは、本開示の少なくとも1つの例示的な実施形態による、例示的なマルチセンサ撮像システムによって実行される記号復号化プロセスの例示的なワークフローを示す。いくつかの例示的な実施形態では、撮像システム10及び/又は撮像装置200は、標識リーダなどの例示的な記号読み取りデバイスを含むか、又はその一部であってもよい。
図12A、
図12B、及び
図12Cに示されるようなプロセス1200A、1200B、及び1200Cは、方法700の様々な態様を含む記号復号化方法を提供する。複数の画像センサを有する記号リーダは、プロセス1200A、1200B、及び1200Cを実装するときに、ちらつき及び照明漏れから生じる問題を軽減することができ、したがって、記号の画像のエラーのない又は低減されたエラー捕捉を提供することができる。これにより、記号のより速く効率的な復号化がもたらされる。ワークフローの更なる利点は、ワークフローの以下の開示を通して明らかになるであろう。
【0121】
プロセス1200A、1200B、及び1200Cのいくつか又は全てのステップは、適切なデータ処理手段及び制御手段によって、実行されてもよい。例えば、いくつかの例示的な実施形態では、プロセス1200A、1200B、及び1200Cは、記号リーダのコントローラ又は1つ以上のプロセッサによって実行されてもよい。いくつかの例示的な実施形態では、記号リーダのコントローラは、撮像システム10のコントローラ20を参照して説明したものと同様の様式で具現化されてもよい。
【0122】
プロセス1200Aは、撮像装置200の起動構成要素206上のユーザからの入力を受信するとトリガされる。これに応答して、プロセス1200Aは、1202で、インジケータとしてエイマをオンにすることによって、始まる。
図2を参照して説明したように、エイマ照明源110及びエイマ投影光学系112は一緒に、所望のパターンとしてエイマを生成してもよい。次に、1204で、プロセス1200Aは、近視野照明をオンにすることを含む。近視野照明は、例えば、本開示で以前に考察したように、様々な方法で生成されてもよい。いくつかの例示的な実施形態では、近視野照明は、固定パルス周波数を有する近視野照明パルストレインに従って生成される。個々の近視野照明パルスは、1.5msなどの短い持続時間であってもよい。
【0123】
近視野画像センサの露光は、1206で、近視野照明源の起動と実質的に同時に始まる。いくつかの例示的な実施形態では、近視野画像センサは、グローバルシャッターを含んでもよく、大きな視野を有してもよい。いくつかの例示的な状況では、近視野画像センサは、ローリングシャッターを含んでもよい。その後、1208で、プロセス1200Aは、近視野画像センサからのデータを転送して、第1の近視野画像を捕捉することを含んでもよい。すなわち、電荷は、近視野画像センサによって捕捉された画像フレームを構築するために読み出しされてもよい。
【0124】
ステップ1208に並行して、1210で、プロセス1200Aは、遠視野における遠視野画像センサの露光を開始することを含む。いくつかの例示的な実施形態では、遠視野画像センサは、ローリングシャッターを含んでもよく、近視野画像センサと比較して狭い視野を有してもよい。遠視野画像センサの露光期間が経過した後、遠視野画像センサからのデータ転送は、1212で開始して、第1の遠視野画像を捕捉してもよい。
【0125】
第1の近視野画像を捕捉すると、1214で、プロセス1200Aは、第1の近視野画像を処理し、第1の復号化実行を開始することを含む。第1の近視野画像を処理して、画像内の標的記号の距離推定を得る。この終了に向かって、任意の好適な画像処理ベースの距離推定技術(例えば、限定されないが、視差ベースの技術又は近視野画像センサ及び遠視野画像センサからの画像の鮮明さの不均衡を使用する)が利用されてもよい。例えば、バイナリテストとして、第1の復号化実行の復号化結果から、標的記号が第1の近視野画像において捕捉に成功したかどうかにかかわらず判定されてもよい。距離推定の結果を使用して、第1の遠視野画像が第1の近視野画像の代わりに記号を復号化するために使用されるかどうかを決定してもよい。標的記号が近視野画像センサの最大撮像範囲を超えて位置する例示的なシナリオでは、捕捉された第1の近視野画像フレームは、許容可能なレベルの明度、輝度、コントラストなどを有する標的記号を示さないことがある。したがって、近視野撮像は、記号を復号化するための適切な手段ではないことがある。そのような場合、遠視野画像センサが、復号化の成功を試みるために依拠されてもよい。
【0126】
1216で、プロセス1200Aは、第1の復号化実行において記号の復号化に成功したかどうかを判定することを含む。第1の近視野画像から記号の復号化に成功した場合、第1の遠視野画像の処理は必要とされず、ステップの制御は、
図1200Cのステップ1246に進み、復号化された記号は、記号デコーダによって出力されてもよい。しかしながら、1214で、記号デコーダによって記号の復号化に成功しなかった場合、プロセス1200Aは、1218で、撮像エンジンを移動させ、それによって遠視野画像センサを対応する焦点位置に移動させることを含む。対応する焦点位置への移動は、ステップ1214において推定された距離に基づいて、焦点のセットから特定の焦点位置を判定することを含む。画像センサの焦点位置は、撮像エンジンの焦点モータによって横断される別個のステップとして個別に定義されてもよい。1218での撮像エンジンの移動に続いて、ステップの制御は、
図12Bのプロセス1200Bに示される2つの並行のフローに進む。
【0127】
プロセス1200Bは、遠視野画像センサを使用する処理及び撮像を目的としたステップ1220~1232を含む第1のフロー、及び近視野画像センサを使用する撮像を目的としたステップ1234~1242を含む第2のフローを含む。いくつかの例示的な実施形態では、ステップ1234~1242を含む第2の流れは、プロセス1200A、1200B、及び1200Cの1つ以上の反復でスキップされてもよい。
【0128】
プロセス1200Bは、1220で、遠視野画像(この場合は、第1の遠視野画像)を処理し、第2の復号化実行を開始することを含む。第1の遠視野画像は、標的記号を復号化するように処理されてもよく、並行して画像の他のパラメータが、処理によって取得されてもよい。他のパラメータは、第1の遠視野画像の輝度などであってもよい。これらのパラメータを使用して、調整される遠視野画像センサの1つ以上のセンサパラメータを判定してもよい。その後、1222で、第2の復号化実行において記号の復号化に成功するかどうかが判定される。1222でのチェックの結果が正(はい)である場合、ステップの制御は、
図1200Cのステップ1246に進み、復号化された記号は、記号デコーダによって出力されてもよい。しかしながら、1222で、記号デコーダによって記号の復号化に成功しなかった場合、ステップの制御は1224に進み、遠視野内の照明が必要であるかどうかを判定する。そのような判定は、例えば、第1の遠視野画像に対する任意の好適な画像処理技術によって行われてもよい。遠視野照明が必要であると判定された場合、遠視野照明源は、1226でオンにされてもよく、制御はステップ1228に進んでもよい。しかしながら、遠視野照明が必要とされない場合、制御はステップ1228に直接進んでもよい。1228では、遠視野センサの露光は、場合によって、遠視野での照明あり又はなしで始まる。その後、遠視野画像センサからのデータの転送は、1230で完了して、第2の遠視野画像を取得してもよい。第2の遠視野画像は、1232で処理されてもよく、第3の復号化実行が試みられる。次に、制御は、
図7Cに示されるプロセス1200Cのステップ1244に進む。
【0129】
プロセス1200Bの並行の第2のフローでは、記号デコーダによって記号の復号化に成功することができないと判定すると、近視野照明パルスは、1234で、遠視野画像センサの1つ以上の露光期間を収容するように修正される。近視野照明パルスの修正は、
図8~
図10を参照して考察したように、近視野照明パルストレインを無数の方法で修正することによって達成されてもよい。その後、1236で、近視野照明は、修正された近視野照明パルスに従って開始され、1238で、近視野画像センサは、近視野で露光されてもよい。照明パルスの修正後の近視野画像センサの照明及び露光は、それぞれステップ1204及び1206で説明したものと同様の様式で達成されてもよい。1240で、プロセス1200Bは、近視野画像センサのデータ転送を開始して、第2の近視野画像を捕捉することを含む。1242で、第2の近視野画像を処理してもよく、記号デコーダによって第4の復号化実行が試みられてもよい。次に、制御は、
図7Cに示されるプロセス1200Cのステップ1244に進む。
【0130】
1244で、記号が、1232での第3の復号化実行又は第4の復号化実行1242のうちのいずれか1つで復号化されるかどうかが判定される。記号デコーダが、第2の遠視野画像又は第2の近視野画像のうちのいずれか1つからの標的記号の復号に成功することができる場合、ステップの制御は、1246に進み、復号化された記号が、記号デコーダによって出力される。しかしながら、1244で、記号デコーダによって記号の復号化に成功しないと判定された場合、制御は1248に進み、まだ訪れていない任意の焦点位置が残っているかどうかが判定される。すなわち、プロセス1200Cは、遠視野画像センサの焦点位置のうち、遠視野での撮像が反復のいずれにおいてもまだ実行されていない任意の焦点位置があるかを判定することを含む。遠視野での撮像がまだ実行されていないそのような焦点位置が残っていない(すなわち、全ての焦点位置に訪れている)場合、標的記号は記号デコーダの撮像範囲外であるか、撮像された視野に標的記号がないと結論付けられる。したがって、1250で、エラーメッセージは、標的記号が記号デコーダによって復号化可能でないことを示す出力であってもよい。しかしながら、1248で、まだ訪れていない1つ以上の焦点位置が残っていると判定された場合、制御は1252に進み、撮像エンジンは、遠視野においてまだ訪問されていない対応する位置に移動される。撮像エンジンの移動は、
図12Bのステップ1218を参照して説明したものと同様の様式で実行されてもよい。焦点位置への移動は、昇順(すなわち、遠視野画像センサの個別の焦点位置のうちより近い焦点位置からより遠い焦点位置に移動する)でスケジューリングされてもよい。その後、制御は、ステップ1220及び1234でプロセス1200Bの2つの並列のフローに戻る。
【0131】
このようにして、
図12A~
図12Cに示される例示的なワークフローは、好適なハードウェアによって記号復号化を実行するために利用されてもよく、それにより、近視野照明パルスの修正によって提供される改善された焦点選択制御により、近視野画像及び/又は遠視野画像からの標的記号の復号化に成功する可能性が大幅に増加する。復号化プロセスにおけるそのような改善は、記号デコーダデバイス自体の全体的な機能の改善をもたらす。
【0132】
図12A~
図12Cに示す例示的なワークフローは、記号復号化としてエンドアプリケーションを考慮して説明されてきたが、本開示の範囲内では、デュアル又は複数の画像センサ(及びそれにより、複数の照明源)を利用する他のエンドアプリケーションタスクも、本明細書で提供される改善された照明制御及び同期フレームワークから利益を得るように修正されてもよいことが企図されてもよい。すなわち、本開示の範囲は記号デコーダのみに限定されるべきではなく、好適な修正が、照明制御フレームワークをマルチカメラベースの携帯電話などの同様の最終使用事例に拡張するために行われてもよい。いくつかの例示的な文脈では、マルチ画像センサデバイスは、少なくとも2つのカメラを有するスマートフォンとして具現化されてもよい。カメラは、それらの各々と関連付けられた同じ又は別個の照明源を有してもよい。スマートフォン内の少なくとも1つのカメラは、明るい、よく照らされた、及び低く照らされたシナリオにおける画像捕捉と関連付けられた一次カメラとみなされてもよい。そのようなカメラの画質は、メガピクセル(megapixel、MP)強度と直接関連付けられてもよく、いくつかの例示的な実施形態では、一次カメラは、12、24、48、又は64MPを有してもよい。スマートフォン内の1つ以上の他のカメラは、1つ以上の画像強化機能と関連付けられた二次カメラとみなされてもよい。例えば、スマートフォンは、超ズームオプションを支持する望遠レンズを有してもよい。いくつかの例示的な実施形態では、望遠レンズは、2倍~10倍の範囲のズーム係数を支持してもよい。いくつかのより高度な実施形態では、スマートフォンは、スマートフォンの視野を強化するための超広角レンズを有してもよい。追加的又は任意選択的に、いくつかの例示的な実施形態では、スマートフォンは、視野内の一次被写体と比較して、背景被写体の深度を測定するための深度センサを含んでもよい。スマートフォンの1つ以上のカメラは、スマートフォンのユニバーサル撮像能力をサポートするための異なる照明要件を有してもよい。例えば、一次カメラは、低く照らされたシナリオで撮像するための照明フラッシュを必要とし得るが、スマートフォンのモノクロレンズは、同じパルスで撮像中の輝度のスパイクを証明してもよい。したがって、結果として生じる画像は、1つ以上の撮像パラメータの観点から損なわれてもよい。
【0133】
本明細書で説明される例示的な実施形態は、スマートフォン内の複数のカメラの照明を同期させることを目的とした有効な解決策を提供することによって、前述の問題を緩和するのに役立つ。特に、
図6~
図12Cに示されるように、1つ以上のカメラの露光は、1つ以上の他のカメラの露光と重複するか、その外側にあるように設計又は調整されてもよく、必要条件がそうであってもよい。例示的な実施形態はまた、照明同期のための適応プロセスも提供するため、提案された解決策は、多種多様な撮像シナリオ及び状況に適用される。
【0134】
いくつかの例示的な実施形態では、マルチイメージセンサデバイスなどのマルチイメージャ環境において、記号読み取り/復号化中の照明源(例えば、近視野照明源及び遠視野照明源)間のサイクルは、マルチイメージセンサデバイスのオペレータにちらつき効果を導入することがある。したがって、照明制御フレームワークはまた、ちらつき低減のための1つ以上のフレームワークを含んでもよい。
図13は、本開示の少なくとも1つの例示的な実施形態による、例示的なマルチセンサ撮像システムによって実行される汎用ちらつき低減プロセス1300の例示的なワークフローを示す。
【0135】
1302で、プロセス1300は、第1の照明パルストレインに基づいて、近視野センサと関連付けられた第1の照明源を動作させることを含む。第1の照明源は、
図2を参照して考察された近視野照明源106Aであってもよい。したがって、第1のソース照明源は、
図6の近視野照明パルストレイン602又は
図11の近視野照明パルストレインなどの近視野照明パルストレインに従って動作されてもよい。第1の近視野照明源は、撮像エンジンの近視野でパルス照明を生成するように構成されてもよい。各個々のパルスは、1.5msなどの短い持続時間のものであってもよく、パルストレインの他の照明パルスを有して周期的又は非周期的であってもよい。
【0136】
1304で、プロセス1300は、第1の露光期間中に近視野センサの露光を引き起こすことを含む。第1の露光期間の開始時間期間は、第1の照明源の照明期間の開始時間期間と実質的又は完全に位置合わせされてもよい。すなわち、近視野画像センサの露光は、
図11のタイミング
図1100に示されるように、第1の照明源の起動と実質的に同時に開始してもよい。近視野画像センサの露光は、第1の照明源の照明期間の終了を超えて(すなわち、第1の照明源の起動期間を超えて)終了する期間にわたって続いてもよい。
【0137】
1306で、プロセス1300は、第1の照明源の任意の照明期間と重複しない、第2の露光期間中の遠視野センサの露光を引き起こすことを含む。例えば、撮像装置200/撮像システム10の遠視野画像センサは、第2の露光期間中に露光されてもよい。遠視野画像センサの第2の露光期間の開始時間期間及び終了時間期間は、近視野照明パルストレインの任意の照明パルスの照明期間と重複しないようにスケジューリングされてもよい。すなわち、遠視野画像センサの露光は、第1の照明源が停止される時間期間中に発生してもよい。
【0138】
このようにして、遠視野露光期間を収容するように近視野照明パルストレインを修正することにより、遠視野照明からの照明が近視野画像センサの露光に発生しないこと、その逆も発生しないことを確実にする。遠視野画像センサは、近視野照明源の停止の期間中にのみ露光されるため、遠視野画像センサの露光における近視野照明源からの干渉はない。また、そのような配置は、照明(近視野照明及び遠視野照明)が実質的に順番に(すなわち、連続するパルスに対して近視野照明起動と遠視野照明起動との間に時間間隙がないか、又は非常に少ない時間間隙で)生成されることを確実にする。したがって、オペレータは、照明源を調光及び明るくするによって引き起こされる顕著なちらつきを認識することができない。
【0139】
いくつかの例示的な実施形態では、捕捉される標的は、撮像エンジンからかなりの距離にあることがある。したがって、標的の捕捉は、遠視野画像センサを使用して達成されてもよい。更に、そのようなシナリオは、例えば、遠視野画像センサがローリングシャッターを含む場合、遠視野画像センサの最も長い露光を必要とする遠視野画像センサの最も遠い焦点(最短焦点)まで及ぶことがある。そのようなシナリオでは、遠視野照明源を長期間にわたって起動させ続けることにより、遠視野照明源の拡張された起動によって引き起こされる過剰な熱などの撮像エンジンの動作に伴ういくつかの問題を導入することがある。したがって、そのようなシナリオでは、遠視野イメージングが損なわれないことを確実にしながら、遠視野照明源の起動時間を低減するフレームワークが望まれることがある。
図14は、本開示の少なくとも1つの例示的な実施形態による、例示的なマルチセンサ撮像システムによって実行される、特に拡張された遠視野露光についてのちらつき低減プロセス1400の例示的なワークフローを示す。
【0140】
プロセス1400は、1402で、第1の照明パルストレインに基づいて、近視野センサと関連付けられた第1の照明源を動作させることを含む。ステップ1402は、ステップ1302と同様の様式で実行されてもよい。
【0141】
プロセス1400は、1402で、第1の露光期間中に近視野センサの露光を引き起こすことを含み、第1の露光期間の開始時間期間は、第1の照明源の照明期間の開始時間期間と位置合わせされる。ステップ1402は、ステップ1304と同様の様式で実行されてもよい。
【0142】
プロセス1400は、1406で、第2の露光期間中に遠視野センサの露光を引き起こすことを更に含み、第2の露光期間は、第1の照明源の少なくとも1つの照明期間と重複する。例えば、撮像装置200/撮像システム10の遠視野画像センサは、第2の露光期間中に露光されてもよい。いくつかの例示的な実施形態では、遠視野画像センサの第2の露光期間の開始時間期間又は終了時間期間は、遠視野画像センサの第2の露光期間の開始時間期間又は終了時間期間が、近視野照明パルストレインの照明期間の開始時間期間又は終了時間期間と完全に、又は実質的に位置合わせされるようにスケジューリングされてもよい。例えば、
図6に示すように、遠視野露光パルス614Aの開始時間期間は、近視野照明パルストレイン602の照明パルス602Bと位置合わせされる。
【0143】
キャプチャされるターゲットが遠視野画像センサの視野の中央領域にある例示的な文脈では、遠視野画像センサの露光時間を拡張するために、露光は、近視野照明源が起動されている間、ローリングシャッターベースの遠視野画像センサの上部列及び下部行のせいぜい少数のみを露光するように修正することができる。これにより、遠視野画像の外側上部及び底部領域への反射及び光漏れ/照明流出を最小限にし、このような文脈において、遠視野センサの視野の中央領域にある最小サイズ領域は、自動利得制御動作及び一般的な復号化と妨げるため、近視野の照明源からの照明を受信しないことを確実にする。したがって、結果として生じる捕捉された画像は、近視野照明源から照明流出によって導入された可能性があるいかなる悪影響も含まない。
【0144】
本開示の範囲内で、捕捉される標的が遠視野画像センサの視野の中央領域以外の領域にある場合、最小サイズ領域は、撮像エンジンのオペレータ/管理者によって設定可能であり得ることが企図され得る。すなわち、最小サイズ領域は、遠視野画像センサの視野において捕捉される標的の位置に従って定義されてもよい。
【0145】
このようにして、
図14のちらつき低減プロセスの例示的な実施形態は、遠視野画像センサの露光期間と近視野照明源の照明期間との間の重複を確実にすることによって、オペレータに知覚可能なちらつきの効果的な低減を提供する。
【0146】
図7、
図8、
図9、
図10、
図12A、
図12B、
図12C、
図13及び
図14において上記に示されたフローチャートの各ブロック、及びフローチャート内のブロックの組み合わせは、ハードウェア、ファームウェア、プロセッサ、回路、及び/又は1つ以上のコンピュータプログラム命令を含むソフトウェアの実行と関連付けられた他の通信デバイスなどの様々な手段によって実装され得ることが理解されるだろう。例えば、上述の手順のうちの1つ以上は、コンピュータプログラム命令によって具現化されてもよい。この点に関して、上述の手順を具現化するコンピュータプログラム命令は、本発明の実施形態を用いる装置のメモリデバイスによって記憶され、撮像装置/システム内のプロセッサによって実行されてもよい。理解されるであろうように、任意のそのようなコンピュータプログラム命令は、マシンを生成するためにコンピュータ又は他のプログラム可能な装置(例えば、ハードウェア)上にロードされてもよく、結果として得られるコンピュータ又は他のプログラム可能な装置は、フローチャートのブロック内に指定された機能を実装する。コンピュータ又は他のプログラム可能な装置に対して特定の様式で機能するように指示し得るこれらのコンピュータプログラム命令はまた、コンピュータ可読メモリに記憶されてもよく、コンピュータ可読メモリに記憶された命令によって製品が生成され、その実行により、フローチャートのブロック内に指定された機能が実装される。コンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能な装置で実施される一連の動作を引き起こしてコンピュータ実装プロセスを生成するように、コンピュータ又は他のプログラム可能な装置にロードされてもよく、その結果、コンピュータ又は他のプログラム可能な装置で実行する命令は、フローチャートのブロック内に指定された機能を実装するための動作を提供する。
【0147】
したがって、フローチャートのブロックは、指定の機能を実施するための手段の組み合わせと、指定の機能/動作を実施するための指定の機能を実施する動作の組み合わせとを支持する。フローチャートの1つ以上のブロック、及びフローチャート内のブロックの組み合わせは、指定の機能を実施する専用のハードウェアベースコンピュータシステム、又は専用のハードウェア及びコンピュータ命令の組み合わせによって実装され得ることも理解されよう。
【0148】
例示的な処理システムについて上述してきたが、本明細書に記載される主題及び機能動作の実装は、他のタイプのデジタル電子回路で、又は本明細書に開示される構造及びそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらのうちの1つ以上の組み合わせで実装することができる。
【0149】
本明細書に記載される主題及び動作の実施形態は、デジタル電子回路で、又は本明細書に開示される構造及びそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらのうちの1つ以上の組み合わせで実装することができる。本明細書に記載される主題の実施形態は、1つ以上のコンピュータプログラム、すなわち、情報/データ処理装置による実行のための、又はその動作を制御するための、コンピュータ記憶媒体上に符号化された、コンピュータプログラム命令の1つ以上のモジュールとして、実装することができる。代替的又は追加的に、プログラム命令は、情報/データ処理装置による実行のために好適な受信機装置へと送信する情報/データを符号化するために生成される人工的に生成された伝播信号、例えば、マシン生成された電気信号、光学信号、又は電磁信号上に符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダム若しくはシリアルアクセスメモリアレイ若しくはデバイス、又はそれらのうちの1つ以上の組み合わせであるか、又はそれに含まれ得る。更に、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号で符号化されるコンピュータプログラム命令のソース又はデスティネーションとすることができる。コンピュータ記憶媒体はまた、1つ以上の別個の物理的構成要素又は媒体(例えば、複数のCD、ディスク、又は他の記憶デバイス)であるか、又はそれらに含まれ得る。
【0150】
本明細書に記載される動作は、1つ以上のコンピュータ可読記憶デバイス上に記憶された、又は他のソースから受信された、情報/データ上で情報/データ処理装置により実施される動作として実装することができる。
【0151】
「データ処理装置」という用語は、例えば、プログラム可能なプロセッサ、コンピュータ、チップ上のシステム、又は複数の前述のもの若しくは前述のものの組み合わせを含む、データを処理するための全ての種類の装置、デバイス、及びマシンを包含する。装置は、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、リポジトリ管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、又はそれらのうちの1つ以上の組み合わせを構成するコードを含むことができる。装置及び実行環境は、ウェブサービス、分散コンピューティング、及びグリッドコンピューティングインフラなど、様々なコンピューティングモデルインフラを実現することができる。
【0152】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイル型又はインタプリタ型言語、宣言型又は手続き型言語を含む、任意の形態のプログラミング言語で書くことができ、また、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、オブジェクト、若しくはコンピューティング環境内での使用に好適な他のユニットとしての形態を含む、任意の形態で展開することができる。コンピュータプログラムは、必ずしも必要ではないが、ファイルシステム内のファイルと一致してもよい。プログラムは、他のプログラム又は情報/データ(例えば、マークアップ言語文書内に記憶された1つ以上のスクリプト)を保持するファイルの部分内に、問題のプログラムに専用の単一のファイル内に、又は複数の協調ファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を記憶するファイル)内に記憶することができる。
【0153】
本明細書に記載されるプロセス及び論理フローは、入力情報/データ上で動作し、出力を生成することによってアクションを実施するように1つ以上のコンピュータプログラムを実行する1つ以上のプログラム可能なプロセッサによって実施することができる。コンピュータプログラムの実行に好適なプロセッサとしては、例えば、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが挙げられる。一般に、プロセッサは、読み取り専用メモリ又はランダムアクセスメモリ又はその両方から命令及び情報/データを受信する。コンピュータの必須要素は、命令に従ってアクションを実施するためのプロセッサ、並びに命令及びデータを記憶するための1つ以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスク、若しくは光ディスクを含むか、又はそれらから情報/データを受信する、若しくはそれらに情報/データを送信する、若しくは両方を行うように動作可能に連結される。しかしながら、コンピュータは、必ずしもそのようなデバイスを有する必要はない。コンピュータプログラム命令及び情報/データを記憶するのに好適なデバイスには、例示的な半導体メモリデバイス、例えば、EPROM、EEPROM、及びフラッシュメモリデバイスを含む、全ての形態の非揮発性メモリ、媒体、及びメモリデバイス、磁気ディスク、例えば、内部ハードディスク又は取り外し可能なディスク、磁気光学ディスク、並びにCD-ROM及びDVD-ROMディスクが含まれる。プロセッサ及びメモリは、専用論理回路によって補完されるか、又はその中に組み込まれ得る。
【0154】
ユーザとの相互作用を提供するために、本明細書に記載される主題の実施形態は、ユーザに情報/データを表示するためのディスプレイデバイス、例えば、CRT(cathode ray tube、陰極線管)又はLCD(liquid crystal display、液晶ディスプレイ)モニタ、並びにユーザがコンピュータに入力を提供することができる、キーボード及びポインティングデバイス、例えば、マウス又はトラックボールを有するコンピュータ上に実装することができる。他の種類のデバイスも、ユーザとの相互作用を提供するために使用することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックとすることができ、ユーザからの入力は、音響、音声、又は触覚入力を含む、任意の形態で受信することができる。更に、コンピュータは、ユーザによって使用されるデバイスに文書を送信及び受信することによって、例えば、ウェブブラウザから受信された要求に応答して、ウェブページをユーザのクライアントデバイス上のウェブブラウザに送信することによって、ユーザと相互作用することができる。
【0155】
本明細書は、多くの具体的な実装詳細を含むが、これらは、いかなる開示又は特許請求され得るものの範囲を制限するものとして解釈されるべきではなく、むしろ特定の開示の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態のコンテキストにおいて本明細書に記載される特定の特徴はまた、単一の実施形態で組み合わせて実装され得る。逆に、単一の実施形態の文脈で説明される様々な特徴はまた、多数の実施形態において別々に、又は任意の好適なサブコンビネーションで実装することができる。更に、特徴は、特定の組み合わせで作用するものとして上記で説明され、最初はそのように主張されていても、特許請求される組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから削除することができ、特許請求される組み合わせは、サブコンビネーション又はサブコンビネーションの変形を対象とし得る。
【0156】
同様に、動作は、図面に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作を示される特定の順序又は順番に実行すること、又は示される全ての動作を実行することを要求するものとして理解されるべきではない。特定の状況では、マルチタスキング及び並列処理が有利であり得る。更に、上述の実施形態における様々なシステム構成要素の分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、記載されるプログラム構成要素及びシステムは、一般に、単一のソフトウェア製品に一体化する、又は複数のソフトウェア製品にパッケージ化することができることを理解されたい。
【0157】
こうして、本主題の特定の実施形態が説明されてきた。他の実施形態は、以下の特許請求の範囲の範囲内である。場合によっては、特許請求の範囲に列挙されたアクションは、異なる順序で実行され得、依然として望ましい結果を達成することができる。加えて、添付の図面に示されたプロセスは、望ましい結果を達成するために、図示の特定の順序、又は連続的な順序を必ずしも必要としない。特定の実装形態では、マルチタスキング及び並列処理が有利であり得る。
【外国語明細書】