知財求人 - 知財ポータルサイト「IP Force」
▶ ハンド ヘルド プロダクツ インコーポレーティッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-18
(45)【発行日】2024-12-26
(54)【発明の名称】画像視差を使用する焦点選択のためのシステム、方法、及び装置
(51)【国際特許分類】
G02B 7/28 20210101AFI20241219BHJP
H04N 23/67 20230101ALI20241219BHJP
H04N 23/45 20230101ALI20241219BHJP
G03B 19/07 20210101ALI20241219BHJP
G02B 7/32 20210101ALI20241219BHJP
G06K 7/10 20060101ALI20241219BHJP
【ＦＩ】
G02B7/28 N
H04N23/67
H04N23/45
G03B19/07
G02B7/32
G06K7/10 408
【請求項の数】
8
(21)【出願番号】P 2023108370
(22)【出願日】2023-06-30
(62)【分割の表示】P 2022001725の分割
【原出願日】2022-01-07
(65)【公開番号】P2023145441
(43)【公開日】2023-10-11
【審査請求日】2023-06-30
(31)【優先権主張番号】17/145,269
(32)【優先日】2021-01-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503261948
【氏名又は名称】ハンド ヘルド プロダクツ インコーポレーティッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100162846
【弁理士】
【氏名又は名称】大牧 綾子
(72)【発明者】
【氏名】ポール・ポリニーウィクツ
(72)【発明者】
【氏名】タオ・シアン
(72)【発明者】
【氏名】チェン・フォン
【審査官】登丸 久寿
(56)【参考文献】
【文献】特開平０７－１６８０９０（ＪＰ，Ａ）
【文献】国際公開第２０２０／１３１２０４（ＷＯ，Ａ１）
【文献】特開平１１－３１２２１３（ＪＰ，Ａ）
【文献】特開２００７－０７４６９６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３２０１２０（ＵＳ，Ａ１）
【文献】特開２００１－２４９２６８（ＪＰ，Ａ）
【文献】米国特許第０５５８９９１０（ＵＳ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ７／２８
Ｈ０４Ｎ ２３／６７
Ｈ０４Ｎ ２３／４５
Ｇ０３Ｂ １９／０７
Ｇ０２Ｂ ７／３２
Ｇ０６Ｋ ７／１０
(57)【特許請求の範囲】
【請求項1】
撮像装置であって、第１の画像を捕捉するように構成され、近視野画像センサを備える第１の画像センサであって、前記第１の画像の背景には、被写体と、前記被写体の周りの視覚対象とが重畳されている、第１の画像センサと、
遠視野画像センサを備える第２の画像センサと、
コントローラであって、
前記第１の画像センサから前記第１の画像を取得することと、
前記第１の画像内の前記視覚対象と、前記第１の画像内の前記背景との間の特性差を判定することと、
前記判定された特性差に基づいて、第１のモード及び第２のモードの少なくとも一方から距離判定モードを選択することと、
前記選択された距離判定モードに基づいて、前記被写体への距離を判定することと、ここで、前記第１のモードにおいて、前記被写体への距離は、前記第１の画像センサにより捕捉される前記第１の画像内の前記視覚対象に基づいて判定され、
前記第２のモードにおいて、前記被写体への距離は、前記第１の画像センサによって捕捉される前記第１の画像内の前記被写体の場所と、前記第２の画像センサによって捕捉される第３の画像内の前記被写体の場所とに基づいて判定され、
計算された前記距離に基づいて、前記被写体の第２の画像を捕捉するように前記第２の画像センサの焦点位置を決定することと、
決定された焦点位置に基づいて、前記第２の画像センサの焦点位置を変更することと、
決定された前記焦点位置から前記被写体の前記第２の画像を捕捉することと、
を行うように構成されたコントローラと
を備える、装置。
【請求項2】
前記コントローラは、前記第１の画像内の前記視覚対象の第１の強度と前記第１の画像内の前記背景の第２の強度との間の強度差を判定することにより、前記特性差を判定するよう構成される、請求項１に記載の装置。
【請求項3】
前記コントローラは、前記強度差が閾値以上であることに応答して、前記距離判定モードとして前記第１のモードを選択することと、
前記強度差が前記閾値未満であることに応答して、前記距離判定モードとして前記第２のモードを選択することと
により、前記距離判定モードを選択するよう構成される、請求項２に記載の装置。
【請求項4】
前記第１のモードは、前記第１の画像内の前記視覚対象の深度を、前記被写体への距離として計算することを含む、請求項１に記載の装置。
【請求項5】
前記第２のモードは、前記第１の画像内の前記被写体の第１の場所を判定することと、
前記第２の画像センサによって、前記被写体の第３の画像を捕捉することと、
前記第３の画像内の前記被写体の第２の場所を判定することと、
前記第１の場所と前記第２の場所の関数として前記被写体への前記距離を計算することとを備える、請求項１に記載の装置。
【請求項6】
前記コントローラは、前記第１の場所に基づいて、前記第１の画像の第１の画像オフセットを計算することと、
前記第２の場所に基づいて、前記第３の画像の第２の画像オフセットを計算することと、
前記第１の画像オフセットと前記第２の画像オフセットとに基づいて、前記被写体までの前記距離を計算することと、
によって、前記被写体までの前記距離を前記第１の場所と前記第２の場所との関数として計算するように構成される、請求項５に記載の装置。
【請求項7】
前記コントローラは、前記被写体に符号化された情報を抽出するために前記第２の画像を復号化するようさらに構成される、請求項１に記載の装置。
【請求項8】
前記視覚対象は、エイマ投影であり、前記被写体は、情報標識を含む、請求項１に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、概して、複数の画像センサを使用して撮像するための方法及びシステムに関し、より具体的には、そのような方法及びシステムの画像視差を使用する焦点選択に関する。
【発明の概要】
【発明が解決しようとする課題】
【0002】
撮像装置において、レンズは、多くの場合、特定の所定の範囲にある対象がレンズを介して焦点が合って見えるように設計され、かつ配設される。画像センサは、レンズを介して視野を表す画像データを捕捉するために利用される。多くの場合、撮像される対象がレンズの焦点がはずれている場合、レンズを１つ以上の他の焦点位置に移動させて、対象を焦点に合わせる必要がある。焦点を変更する能力を提供するために、可変焦点の従来の実装は、かさばり、遅く、かつ／又は１つ以上の環境影響を受けやすい。これに関して、従来の可変焦点レンズは、制限された動作性を有し、異なる撮像条件に付随することができない。
【0003】
概して、本明細書で提供される本開示の実施形態は、マルチイメージャ（又はマルチ画像センサ）環境における自動焦点選択のために構成されている。本明細書に記載及び例示される例示的な実施形態は、複数の画像センサを有する撮像エンジンのための迅速及び自動焦点選択機構並びにスキームを提供する。いくつかの例示的な実施形態は、マルチイメージャ撮像エンジンの異なるセンサから取得された画像間の画像視差に基づく焦点選択推定に関する。代替焦点機構及び／又は代替焦点スキームのうちの１つ以上に対する他の実装形態は、以下の図面及び詳細な説明を検討すると当業者には明らかであるか、又は明らかになるであろう。そのような追加の実装形態は全て、本開示の範囲内にある本明細書内に含まれ、以下の特許請求の範囲によって保護されることが意図される。
【0004】
いくつかの例示的な実施形態によれば、撮像方法が本明細書で提供される。方法は、本明細書に記載のマルチセンサ撮像エンジン及び／又はマルチセンサ撮像装置のハードウェア、ソフトウェア、及び／又はファームウェアなどを介して、無数の実装形態のいずれかを使用して実装され得る。方法のいくつかの例示的な実装形態では、例示的な方法は、第１の画像センサによって、被写体と関連付けられた背景を有する視覚対象の第１の画像を捕捉することを含む。例示的な方法は、第１の画像内の視覚対象と第１の画像内の背景との間の特性差を判定することと、判定された特性差に基づいて、第１のモード及び第２のモードの間から距離判定モードを選択することと、を更に含む。例示的な方法は、選択された距離判定モードに基づいて、被写体への距離を計算することと、被写体への計算された距離に基づいて、被写体の第２の画像を捕捉するように、第２の画像センサを制御することと、を更に含む。
【0005】
追加的又は代替的に、方法のいくつかの実施形態では、特性差を判定することは、第１の画像内の視覚対象の第１の強度と第１の画像内の背景の第２の強度との間の強度差を判定することを含む。
【0006】
追加的又は代替的に、方法のいくつかの実施形態では、距離判定モードを選択することは、強度差が閾値以上であることに応答して、距離判定モードとして第１のモードを選択することと、強度差が閾値未満であることに応答して、第２のモードを距離判定モードとして選択することと、を含む。
【0007】
追加的又は代替的に、方法のいくつかの実施形態では、第１のモードは、被写体への距離として、第１の画像内の仮想対象の深度を計算することを含む。追加的又は代替的に、方法のいくつかの実施形態では、第２のモードは、第１の画像内の被写体の第１の場所を判定することと、被写体の第３の画像を第２の画像センサによって捕捉することと、第３の画像内の被写体の第２の場所を判定することと、第１の場所及び第２の場所の関数として、被写体への距離を計算することと、を含む。
【0008】
追加的又は代替的に、方法のいくつかの実施形態では、方法は、第１の画像センサ及び第２の画像センサの撮像距離に基づいて、被写体への距離を計算することを更に含む。
【0009】
追加的又は代替的に、方法のいくつかの実施形態では、第１の場所及び第２の場所の関数として被写体への距離を計算することは、第１の場所に基づいて、第１の画像の第１の画像オフセットを計算することと、第２の場所に基づいて、第２の画像の第２の画像オフセットを計算することと、第１の画像オフセット及び第２の画像オフセットに基づいて、被写体への距離を計算することと、を含む。
【0010】
追加的又は代替的に、方法のいくつかの実施形態では、方法は、被写体への計算された距離に基づいて、第２の画像センサの焦点位置を変更することを更に含む。
【0011】
追加的又は代替的に、方法のいくつかの実施形態では、方法は、第２の画像センサによって、変更された焦点位置から被写体の第２の画像を捕捉することと、被写体に符号化された情報を抽出するために、第２の画像を復号化することと、を更に含む。
【0012】
追加的又は代替的に、方法のいくつかの実施形態では、視覚対象は、エィマ投影であり、被写体は、情報標識を含み、第１の画像センサは、近視野画像センサを備え、第２の画像センサは、遠視野画像センサを備える。
【0013】
いくつかの例示的な実施形態によれば、撮像システムが本明細書で提供される。例示的な実施形態では、撮像システムは、実行可能命令を記憶するように構成されたメモリと、実行可能命令を実行するように構成された１つ以上のプロセッサと、を備える。いくつかの例示的な実施形態では、１つ又はプロセッサは、第１の画像センサから、被写体と関連付けられた背景を有する視覚対象の第１の画像を取得するように構成されている。いくつかの例示的な実施形態では、１つ以上のプロセッサは、第１の画像内の視覚対象と第１の画像内の背景との間の特性差を判定し、判定された特性差に基づいて、第１のモード及び第２のモードの間から距離判定モードを選択するように更に構成されている。いくつかの例示的な実施形態では、１つ以上のプロセッサは、選択された距離判定モードに基づいて、被写体への距離を計算し、被写体への計算された距離に基づいて、被写体の第２の画像を捕捉するように、第２の画像センサを制御するように更に構成されている。
【0014】
追加的又は代替的に、撮像システムのいくつかの実施形態では、特性差を判定するために、１つ以上のプロセッサは、視覚対象の第１の強度と背景の第２の強度との間の強度差を判定するように構成されている。
【0015】
追加的又は代替的に、撮像システムのいくつかの実施形態では、距離判定モードを選択するために、１つ以上のプロセッサは、強度差が閾値以上であることに応答して、距離判定モードとして第１のモードを選択するように構成されている。代替的に、撮像システムのいくつかの例示的な実施形態では、距離判定モードを選択するために、１つ以上のプロセッサは、強度差が閾値未満であることに応答して、距離判定モードとして第２のモードを選択するように構成されている。
【0016】
追加的又は代替的に、撮像システムのいくつかの実施形態では、第１のモードは、被写体への距離として、第１の画像内の仮想対象の深度を計算するための命令を含む。
【0017】
追加的又は代替的に、撮像システムのいくつかの実施形態では、第２のモードは、第１の画像内の被写体の第１の場所を判定し、第２の画像センサから、被写体の第３の画像を取得し、第３の画像内の被写体の第２の場所を判定し、第１の場所及び第２の場所の関数として、被写体への距離を計算するための命令を含む。
【0018】
追加的又は代替的に、撮像システムのいくつかの実施形態では、１つ以上のプロセッサは、第１の画像センサ及び第２の画像センサの撮像距離に基づいて、被写体の距離を計算するように更に構成されている。
【0019】
追加的又は代替的に、撮像システムのいくつかの実施形態では、第１の場所及び第２の場所の関数として被写体への距離を計算するために、１つ以上のプロセッサは、第１の場所に基づいて、第１の画像の第１の画像オフセットを計算することと、第２の場所に基づいて、第２の画像の第２の画像オフセットを計算することと、第１の画像オフセット及び第２の画像オフセットに基づいて、被写体の距離を計算することと、を行うように構成されている。
【0020】
追加的又は代替的に、撮像システムのいくつかの実施形態では、１つ以上のプロセッサは、被写体への計算された距離に基づいて、第２の画像センサの焦点位置を変更するように更に構成されている。
【0021】
追加的又は代替的に、撮像システムのいくつかの実施形態では、１つ以上のプロセッサは、第２の画像センサから、変更された焦点位置から被写体の第２の画像を取得することと、被写体に符号化された情報を抽出するために、第２の画像を復号化することと、を行うように更に構成されている。
【0022】
例示的な実施形態では、撮像装置が提供される。例示的な実施形態では、装置は、第１の画像センサと、第２の画像センサと、コントローラと、を備える。いくつかの例示的な実施形態では、第１の画像センサは、被写体と関連付けられた背景を有する視覚対象の第１の画像を捕捉するように構成されている。いくつかの例示的な実施形態では、コントローラは、第１の画像センサから第１の画像を取得することと、第１の画像内の視覚対象と第１の画像内の背景との間の特性差を判定することと、判定された特性差に基づいて、第１のモード及び第２のモードの間から距離判定モードを選択することと、を行うように構成されている。いくつかの例示的な実施形態では、コントローラは、選択された距離判定モードに基づいて、被写体への距離を計算することと、計算された距離に基づいて、被写体の第２の画像を捕捉するように、第２の画像センサを制御することと、を行うように更に構成されている。
【図面の簡単な説明】
【0023】
このように本開示の実施形態を一般的な用語で説明してきたが、ここで添付図面を参照し、これらは、必ずしも縮尺どおりに描かれていない。
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【発明を実施するための形態】
【0037】
ここで、本開示の様々な実施形態を、本開示の全てではなくいくつかの実施形態が示される添付図面を参照しながら以下により完全に記載する。実際に、本開示の実施形態は、多くの異なる形態で具現化されてもよく、本明細書に記載される実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が適用可能な法的要件を満たすように提供される。同様の数字は、全体を通して同様の要素を指す。
【0038】
撮像デバイス及びシステムは、単なる写真よりも複雑化し、かつ高度化しているエリアにおける適用を見出した。新しい能力を支持するための、これらのデバイス及びシステムの撮像能力の改善に対する一定の需要がある。いくつかの解決策は、既存の構成におけるエラー及びノイズを最小限に抑えることが提案されているが、他の解決策は、新しい能力を支持するためにより多くの構成要素を追加することを目的としている。１つのそのような解決策は、シーンの異なる態様を撮像するための複数の画像センサの使用を伴う。各画像センサは、好適な明瞭度で視野を捕捉するための異なる焦点機構を必要とする。適切な焦点選択は、捕捉される被写体の深度の推定を必要とする。しかしながら、撮像条件の変動により、あるタイプの撮像条件に好適な深度推定技術は、他のタイプの撮像条件で被写体の深度を推定するのに好適でない場合がある。したがって、１つのタイプの深度推定
技術のみに依存することは、異なる撮像条件における撮像要件を充填するには十分ではない場合がある。したがって、そのような撮像デバイス及びシステムは、画像捕捉のための制限された動作性を有する。
技術のみに依存することは、異なる撮像条件における撮像要件を充填するには十分ではない場合がある。したがって、そのような撮像デバイス及びシステムは、画像捕捉のための制限された動作性を有する。
【0039】
標識リーダなどの撮像装置は、各々が記号復号などの標識リーダと関連付けられた動作を連続的に実行することができるように、各々が撮像要件の特定のセットを充填することを必要とする様々なシナリオで使用される。撮像リーダのための多種多様な適用面積により、そのような装置が使用される多くの撮像条件がある。これらの装置の動作性は、捕捉された画像を良好に処理することができる撮像条件のタイプによって制限される。効果的な画像処理は、焦点、露光、照明などのいくつかの撮像要因によって次いで管理される効率的な画像捕捉を必要とする。また、そのような装置は、可能な限り短い時間内に画像捕捉及び画像処理を実施することが好ましい。この時間を短縮する１つの方式は、効率的なアルゴリズム及びハードウェアの使用によって、画像処理タスクを締結することである。しかしながら、そのような装置に利用可能な限定された形状因子、重量、及び電源を考慮すると、そのような改良には限界がある。したがって、形状因子及び／又はサイズ及び利用可能な電源によって制限されるデバイスに関して、画像処理に好適な画像を捕捉するために取られた時間は、可能な限り短くなることが望ましい。この目的に向かい、光学構成要素を調整するのに必要な時間が低いため、画像センサが追加の構成要素を必要とせずに被写体に迅速に合焦されることが望ましい。
【0040】
撮像装置及びシステムは、撮像されている被写体への距離を判定して、それに応じて、被写体への判定された距離に基づいて、被写体に合焦され得るように、エィマ投影などの視覚対象を利用する。高い周囲光環境で使用されている場合などの現在のシーン条件の時間は、エィマ投影が背景と区別できない場合がある状況につながり得る。したがって、撮像されている被写体に撮像装置を正しく合焦させることが課題となる。所定の焦点位置／ステップであっても、好適な焦点を直接探索することは、全体的な画像捕捉プロセスを遅延させ得る追加の時間及び処理を必要とし得るため、有益でない場合がある。
【0041】
本明細書に記載のいくつかの実施形態は、複数の画像センサを含むマルチ画像センサ環境における自動焦点選択に関する。本明細書に記載のいくつかの実施形態は、撮像システムから標的又は被写体への距離の計算のための手段を提供して、マルチ画像センサ環境の１つ以上の光学構成要素の自動焦点設定を判定する。いくつかの実施形態は、被写体又は標的を所望の軸に沿って中心に置くために、エィマ投影を利用する。エィマ投影は、撮像システムの光軸に沿って、シーン内の１つ以上の領域上にパターンを投影する構造光ビームに基づき得る。これにより、被写体又は標的が光軸を含む水平面に近い場合、被写体又は標的は焦点内にあることが可能になる。例えば、いくつかの例示的なエィマパターン形状には、光軸と一致するレーザビーム（スポット）、光軸を含む水平面と一致するレーザファン（ライン）、及び１つが光軸を含む水平面の上方に、１つが下方にある２つの（例えば）平行な離間したラインが含まれ得るが、これらに限定されない。被写体又は標的が２つのラインの間にあるとき、対応する画像センサ上のその結果として生じる画像は焦点内にある。
【0042】
本明細書に記載されるいくつかの実施形態は、撮像エンジンの近視野画像センサによって捕捉された画像を利用して、エィマ投影が背景と区別可能であるかどうかを判定し、近視野画像に捕捉されたときのエィマと近視野画像に捕捉されたときの背景との間の強度差に基づいて、距離判定モードの選択を実施する。実施形態は、選択されたモードに従って被写体又は標的への距離の推定を更に実施し、それにより、遠視野における撮像エンジンの焦点選択が、推定距離に基づいて実施される。実施形態は、焦点調整された遠視野画像センサを更に利用して、更なる処理のために被写体又は標的の画像を捕捉する。例えば、捕捉された画像は、被写体又は標的に符号化された情報を復号化するために使用されて
もよい。いくつかの例示的な実施形態では、焦点調整された遠視野画像センサによって捕捉された画像は、近視野画像によって捕捉された画像と組み合わせて、立体画像を生成してもよい。いくつかの実施形態は、複数の近視野画像センサ及び複数の遠視野画像センサを利用してもよく、距離推定のためのプロセスは、近視野画像センサ及び遠視野画像センサの各対の画像視差計算の累積として拡張されてもよい。いくつかの例示的な実施形態では、特性差を判定するための処理は、適切な距離判定モードの選択のためのトリガが正しく判定されるように、各近視野画像センサに対して平均化されてもよい。いくつかの例示的な実施形態では、画像視差の処理は、全ての近視野画像センサ及び遠視野画像センサについても平均化されてもよい。
もよい。いくつかの例示的な実施形態では、焦点調整された遠視野画像センサによって捕捉された画像は、近視野画像によって捕捉された画像と組み合わせて、立体画像を生成してもよい。いくつかの実施形態は、複数の近視野画像センサ及び複数の遠視野画像センサを利用してもよく、距離推定のためのプロセスは、近視野画像センサ及び遠視野画像センサの各対の画像視差計算の累積として拡張されてもよい。いくつかの例示的な実施形態では、特性差を判定するための処理は、適切な距離判定モードの選択のためのトリガが正しく判定されるように、各近視野画像センサに対して平均化されてもよい。いくつかの例示的な実施形態では、画像視差の処理は、全ての近視野画像センサ及び遠視野画像センサについても平均化されてもよい。
【0043】
いくつかの実施形態では、エィマ投影などの視覚対象を使用して距離推定が必要とされ得る状況を示す１つ以上のイベントがトリガされてもよい。これに関して、視覚対象とその背景との間の１つ以上の特性差を利用して、シーン内の照明条件を確認してもよい。視覚対象が背景から許容可能なレベルで区別可能であることを照明条件が示す場合、距離推定のより厳格でない方法は、被写体又は標的への距離を計算するために依拠され得る。例えば、近視野画像内の視覚対象に対応するピクセルと背景に対応するピクセルとの間の強度差、特に近視野画像における視覚対象の境界ピクセルの直近内のピクセルを判定して、照明条件を確認してもよい。同様に、視覚対象と背景との識別性を判定するのを支援する他のパラメータを利用してもよい。
【0044】
いくつかの例示的な実施形態では、視覚対象が許容可能なレベルによって背景と区別可能でないことを照明条件が示す場合、撮像エンジンの各画像センサの画像間の画像視差を判定するためのプロセスが利用されてもよい。この目的に向かって、近視野画像内の被写体又は標的の場所を判定するために、近視野画像が復号化されてもよい。遠視野画像センサからの別の画像は、遠視野画像内の被写体又は標的の位置を判定するために、捕捉され、かつ復号化されてもよい。次いで、画像視差は、２つの画像内の被写体又は標的の場所に関して表されてもよく、これは次いで、被写体又は標的への距離を判定するために利用されてもよい。したがって、遠視野画像センサの対応する焦点位置が判定されてもよく、被写体又は標的はその焦点位置から撮像され、被写体又は標的の復号化可能な画像を捕捉してもよい。
【0045】
そのような状況では、別の距離推定モードへの変化は、そうでなければ焦点位置の直接探索に必要とされるであろうかなりの時間及びリソースを節約するのに役立つ。これは、情報を復号化するための撮像装置の応答時間を改善する。また、例示的な実施形態は、焦点機構（焦点モータなど）の不必要な動きを必要としないため、例示的な実施形態は、捕捉された画像における大幅な電力節約及び／又はノイズの低減をもたらす。
【0046】
いくつかの実施形態は、マルチセンサ撮像エンジンのステレオカメラによって捕捉された画像間の視差を利用して、被写体への距離を計算する。画像視差から距離を取得することは、視差を判定する前に、ステレオカメラからの画像を補正する必要がある。これは、画像を正規化するため、それらの実際の付随的及び固有のパラメータに関係なく、平行で一致したカメラから取られるように見える。これにより、補正された画像間の水平特徴がシフトするときに、視差を単に測定することが可能になる。画像内の対象特徴のこの水平視差測定から、自明な三角測量動作などの好適な技術を利用して、被写体への距離を判定してもよい。次いで、判定された距離は、マルチセンサ撮像エンジンの１つ以上の画像センサの適切な焦点選択に使用されてもよい。
【0047】
そのような実施形態は、最小限の追加計算を使用して、効果的な焦点選択を提供する。そのような実施形態の動作は、標識又は記号スキャンなどの画像処理タスクを良好に完了する可能性が高い様式で画像を捕捉する一方で、処理の成功に十分なデータを含む所望
の動作時間枠内で画像が捕捉される可能性を増加させる。本明細書に記載の様々な例示的な実施形態の実装形態によって、複数のセンサの使用から生じる課題及び様々な撮像条件に対処しながら、撮像装置の動作効率が維持されるか、又は改善される。
の動作時間枠内で画像が捕捉される可能性を増加させる。本明細書に記載の様々な例示的な実施形態の実装形態によって、複数のセンサの使用から生じる課題及び様々な撮像条件に対処しながら、撮像装置の動作効率が維持されるか、又は改善される。
【0048】
いくつかの実施形態では、上記の動作のいくつかは、修正されても、又は更に増幅されてもよい。更に、いくつかの実施形態では、追加の任意選択的な動作が含まれてもよい。上記の動作に対する修正、増幅、又は追加は、任意の順序で、及び任意の組み合わせで実施されてもよい。
定義
定義
【0049】
「照明」という用語は、画定された視野内の照明源によって生成された１つ以上の光線を指す。少なくとも１つの例示的な文脈では、照明は、対応する照明源によって生成された１つ以上の照明パルスを含む。いくつかの実施形態では、照明は、照明パルスが照明源によって生成される速度を指す「定義されたパルス周波数」に基づいて、生成される。追加的又は代替的に、いくつかの実施形態では、照明は、照明源が対応する照明を生成している起動期間を指す「定義されたパルス相」に基づいて、生成される。したがって、照明期間は、照明源が照明パルスに対応して起動されたままである時間を指し得る。
【0050】
「照明源」（「照明器源」又は「照明器」とも称される）という用語は、所望の視野内で照明を生成するように構成された１つ以上の光生成ハードウェア、デバイス、及び／又は構成要素を指す。照明源の非限定的な例としては、１つ以上の発光ダイオード（light emitting diode、ＬＥＤ）、レーザなどが挙げられる。１つ以上の照明源は、マルチイメージセンサシステムの各画像センサ及び／又は投影光学系に対して専門的に、又は一般的に利用可能であり得る。
【0051】
「近視野照明源」という用語は、近視野画像センサと関連付けられた近視野を照明するための照明を生成するように構成された照明源を指す。少なくとも１つの例示的な文脈では、近視野照明源は、遠視野照明源と比較して、より広い視野で照明を生成するように構成されている。
【0052】
「遠視野照明源」という用語は、遠視野イメージャと関連付けられた視野を照明するための照明を生成するように構成された照明源を指す。少なくとも１つの例示的な文脈では、遠視野照明源は、近視野照明源と比較して、より狭い視野で照明を生成するように構成されている。
【0053】
「近視野照明」という用語は、近視野照明源によって生成される特定の照明を指す。いくつかの実施形態では、近視野照明は、近視野画像センサによって捕捉された近視野の照明と関連付けられている。
【0054】
「遠視野照明」という用語は、遠視野照明源によって生成される特定の照明を指す。いくつかの実施形態では、遠視野照明は、遠視野画像センサによって捕捉された遠視野の照明と関連付けられている。
【0055】
「イメージャ」又は「撮像モジュール」という用語は、特定の視野を表す画像を捕捉するように構成された１つ以上の構成要素を指す。少なくとも１つの例示的な文脈では、イメージャは、特定の視野を画定する少なくとも１つの光学構成要素（例えば、レンズ及び／又は関連するハウジング）を含む。追加的又は代替的に、少なくとも１つの例示的な文脈では、イメージャは、光学構成要素などを介して、画像センサと係合する光に基づいて画像を出力するように構成された画像センサを含む。
【0056】
「画像センサ」という用語は、画像センサに入射する光に基づいて、データオブジェクトによって表される画像を生成するように構成された１つ以上の構成要素を指す。いくつかのそのような例示的な文脈では、画像センサは、画像センサと相互作用する光波を、センサによって出力された画像を表す信号に変換する。
【0057】
「近視野画像センサ」という用語は、近視野の画像を捕捉するように構成された画像センサを指す。少なくとも１つの文脈において、近視野画像センサは、近視野を画定する少なくとも１つの近視野光学構成要素と、電子センサと、を備える。少なくとも１つの例示的な文脈では、近視野画像センサは、グローバルシャッターを含んでもよい。いくつかの例示的な状況では、近視野画像センサは、ローリングシャッターを含んでもよい。「近視野画像」という用語は、近視野内のシーンの捕捉された表現を具現化する近視野画像センサによって生成された電子データを指す。
【0058】
「遠視野画像センサ」という用語は、遠視野の画像を捕捉するように構成された画像センサを指す。少なくとも１つの文脈において、遠視野画像センサは、遠視野を画定する少なくとも１つの遠視野光学構成要素と、電子センサと、を備える。少なくとも１つの例示的な文脈では、遠視野画像センサは、ローリングシャッターを含んでもよい。いくつかの例示的な状況では、遠視野画像センサは、グローバルシャッターを含んでもよい。「遠視野画像」という用語は、遠視野内のシーンの捕捉された表現を具現化する遠視野画像センサによって生成された電子データを指す。
【0059】
「露光期間」又は単に「露光」という用語は、画像センサが対向光への露光のために構成されている時間の長さを表す電子データを指す。少なくとも１つの例示的な実施形態では、イメージャの画像センサは、特定の露光時間値に設定され得る可変露光時間を利用するように構成されている。
【0060】
「視覚対象」という用語は、画像捕捉を支援するためにイメージャによってシーンに投影される投影パターン又は対象を指す。少なくとも１つの例示的な実施形態では、視覚対象は、エィマ投影（以下、エィマとも称される）であってもよい。
【0061】
「被写体」又は「標的」という用語は、撮像されているシーンにおける１つ以上の関心領域を指す。いくつかの例示的な実施形態では、被写体は、撮像されているシーンの背景から光学的に区別可能であり得る。
【0062】
「特性差」という用語は、各領域の画像特性間の差として表される、画像内の２つの領域間の差を指す。そのような画像特性には、強度、鮮明度、ピクセルカウントなどが挙げられてもよいが、これらに限定されない。いくつかの例示的な実施形態では、画像内の２つの領域間の特性差は、画像内の２つの領域間の強度差に対応してもよい。いくつかの例示的な実施形態では、画像内の２つの領域間の特性差は、そのような各領域のピクセルごとの分析によって判定されてもよい。
【0063】
本明細書に記載される本開示の多くの修正例及び他の実施形態は、前述の説明及び関連する図面に提示される教示の利益を有する、本開示に関係がある当業者に着想されるであろう。したがって、実施形態は、開示される特定の実施形態に限定されるものではないこと、並びに修正例及び他の実施形態は、添付の特許請求の範囲の範囲内に含まれることが意図されることを理解されたい。更に、前述の説明及び関連する図面は、要素及び／又は機能の特定の例示的な組み合わせの文脈における例示的な実施形態を説明しているが、添付の特許請求の範囲の範囲から逸脱することなく、要素及び／又は機能の異なる組み合わせが代替的な実施形態によって提供されてもよいことを理解されたい。この点に関して、例えば、上に明記したものとは異なる要素及び／又は機能の組み合わせも、添付の特許
請求の範囲の一部に記載され得るものとして企図される。特定の用語が本明細書で用いられているが、これらは一般的かつ記述的な意味でのみ使用され、限定の目的では使用されない。
請求の範囲の一部に記載され得るものとして企図される。特定の用語が本明細書で用いられているが、これらは一般的かつ記述的な意味でのみ使用され、限定の目的では使用されない。
【0064】
図１Ａは、本開示の例示的な実施形態による、例示的なマルチセンサ撮像システム１０（以下、撮像システム１０とも称される）のブロック図を示す。マルチセンサ撮像システム１０は、コントローラ２０、通信インターフェース４０、起動構成要素６０、及び１つ以上の周辺構成要素８０と通信可能に結合された撮像エンジン１００を含む。いくつかの例示的な実施形態では、撮像システム１０は、図１Ａに示されるよりも少ない又は多い構成要素を含んでもよい。撮像システム１０は、１つ以上の照明源を使用して、１つ以上の視野内の標的の１つ以上の画像を捕捉するように構成されている。撮像システム１０は、１つ以上の画像を処理して、標識の読み取りなどの１つ以上の画像処理タスクを実行する。したがって、本開示のいくつかの例示的な実施形態では、撮像システム１０は、標識若しくは記号リーダ、又は標識及び同様の記号を読み取ることができるハンドヘルドデバイスとして部分的又は完全に具現化されてもよい。撮像システム１０の１つの例示的な実施形態が図２に示されており、その詳細は、本開示の後続の部分で説明される。
【0065】
コントローラ２０は、撮像システム１０と関連付けられた１つ以上の制御動作を実行するように構成されてもよい。例えば、コントローラ２０は、撮像エンジン１００を制御して、撮像エンジン１００の視野内の標的の画像捕捉を引き起こしてもよい。更に、コントローラ２０は、捕捉された画像を処理して、１つ以上の画像処理タスクを実行してもよい。コントローラ２０は、１つ以上のプロセッサ及びメモリを備える中央処理ユニット（central processing unit、ＣＰＵ）として具現化されてもよい。いくつかの例示的な実
施形態では、コントローラ２０は、コプロセッサ、マイクロプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、付随するＤＳＰの有無にかかわらず処理要素などの様々なハードウェア処理手段のうちの１つ以上、又は例えばＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、特定用途向け集積回路）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ハードウェア加速器、専用コンピュータチップなどの集積回路を含む様々な他の処理回路などの、１つ以上のマイクロコントローラユニット（microcontroller unit、ＭＣＵ）を使用して実現されてもよい。いくつかの実施形態では、コントローラ２０のプロセッサは、独立して動作するように構成された１つ以上の処理コアを含んでもよい。マルチコアプロセッサは、単一の物理的パッケージ内の多重処理を可能にし得る。追加的に又は代替的に、プロセッサは、命令、パイプライン、及び／又はマルチスレッドの独立した実行を可能にするためにバスを介してタンデム型に構成された１つ以上のプロセッサを含んでもよい。
施形態では、コントローラ２０は、コプロセッサ、マイクロプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、付随するＤＳＰの有無にかかわらず処理要素などの様々なハードウェア処理手段のうちの１つ以上、又は例えばＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、特定用途向け集積回路）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ハードウェア加速器、専用コンピュータチップなどの集積回路を含む様々な他の処理回路などの、１つ以上のマイクロコントローラユニット（microcontroller unit、ＭＣＵ）を使用して実現されてもよい。いくつかの実施形態では、コントローラ２０のプロセッサは、独立して動作するように構成された１つ以上の処理コアを含んでもよい。マルチコアプロセッサは、単一の物理的パッケージ内の多重処理を可能にし得る。追加的に又は代替的に、プロセッサは、命令、パイプライン、及び／又はマルチスレッドの独立した実行を可能にするためにバスを介してタンデム型に構成された１つ以上のプロセッサを含んでもよい。
【0066】
メモリは、非一時的であってもよく、例えば、１つ以上の揮発性及び／又は不揮発性メモリを含んでもよい。例えば、メモリは、マシン（例えば、プロセッサのようなコンピューティングデバイス）によって検索可能であり得るデータ（例えば、ビット）を記憶するように構成されたゲートを含む電子記憶デバイス（例えば、コンピュータ可読記憶媒体）であってもよい。メモリは、装置が、本発明の例示的な実施形態による様々な機能を実行することを可能にするために、情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成されてもよい。例えば、メモリは、プロセッサによる処理のためのデータをバッファするように構成され得る。追加的又は代替的に、メモリは、プロセッサによる実行のための命令を記憶するように構成され得る。
【0067】
いくつかの実施形態では、プロセッサ（及び／又はプロセッサを補助するか若しくはプロセッサと他の方法で関連付けられたコプロセッサ若しくは任意の他の処理回路）は、撮像システム１０の構成要素間で情報を渡すためのバスを介してメモリと通信してもよい
。プロセッサは、メモリに記憶された命令を実行するか、又は他の方法でプロセッサにアクセス可能な命令を実行するように構成されてもよい。追加的に又は代替的に、プロセッサは、ハードコードされた機能を実行するように構成されてもよい。したがって、ハードウェア方法又はソフトウェア方法によって構成されるか、又はそれらの組み合わせによって構成されるかにかかわらず、プロセッサは、それに応じて構成されている間、本発明の実施形態による動作を実施することができる（例えば、回路内で物理的に具現化された）エンティティを表してもよい。したがって、例えば、プロセッサがＡＳＩＣ、ＦＰＧＡなどとして具現化される場合、プロセッサは、本明細書に記載の動作を実施するためのハードウェアに具体的に構成されてもよい。は代替的に、別の例として、プロセッサがソフトウェア命令の実行体として具体化される場合、命令は、命令が実行されたときに本明細書に記載されるアルゴリズム及び／又は動作を実施するようにプロセッサを具体的に構成してもよい。プロセッサは、とりわけ、クロック、算術論理ユニット（arithmetic logic unit、ＡＬＵ）、及びコントローラ２０の動作を支持するように構成された論理ゲートを
含んでもよい。
。プロセッサは、メモリに記憶された命令を実行するか、又は他の方法でプロセッサにアクセス可能な命令を実行するように構成されてもよい。追加的に又は代替的に、プロセッサは、ハードコードされた機能を実行するように構成されてもよい。したがって、ハードウェア方法又はソフトウェア方法によって構成されるか、又はそれらの組み合わせによって構成されるかにかかわらず、プロセッサは、それに応じて構成されている間、本発明の実施形態による動作を実施することができる（例えば、回路内で物理的に具現化された）エンティティを表してもよい。したがって、例えば、プロセッサがＡＳＩＣ、ＦＰＧＡなどとして具現化される場合、プロセッサは、本明細書に記載の動作を実施するためのハードウェアに具体的に構成されてもよい。は代替的に、別の例として、プロセッサがソフトウェア命令の実行体として具体化される場合、命令は、命令が実行されたときに本明細書に記載されるアルゴリズム及び／又は動作を実施するようにプロセッサを具体的に構成してもよい。プロセッサは、とりわけ、クロック、算術論理ユニット（arithmetic logic unit、ＡＬＵ）、及びコントローラ２０の動作を支持するように構成された論理ゲートを
含んでもよい。
【0068】
通信インターフェース４０は、撮像システム１０との通信を支持するための入力インターフェース及び出力インターフェースを含んでもよい。通信インターフェース４０は、データを、撮像システム１０と通信する通信デバイスから受信し、かつ／又はそれらに送信するように構成されている、ハードウェア、又はハードウェアとソフトウェアとの組み合わせのいずれかで具現化されたデバイス又は回路などの任意の手段によって具現化されてもよい。これに関して、通信インターフェース４０は、例えば、アンテナ（又は複数のアンテナ）及び無線通信ネットワークとの通信を可能にするための支持ハードウェア及び／又はソフトウェアを含んでもよい。追加的に又は代替的に、通信インターフェース４０は、アンテナと相互作用して、アンテナを介した信号の送信を引き起こすため、又はアンテナを介して受信され信号の受信を処理するための回路を含んでもよい。いくつかの環境では、通信インターフェース４０は、有線通信を代替的に又は追加的に支持してもよい。したがって、例えば、通信インターフェース４０は、ケーブル、デジタル加入者ライン（digital subscriber line、ＤＳＬ）、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）、又は他の機構を介して通信を支持するための通信モデム及び／又は他のハ
ードウェア及び／又はソフトウェアを含んでもよい。
ードウェア及び／又はソフトウェアを含んでもよい。
【0069】
起動構成要素６０は、ユーザによる所望の機能の開始（及び／又は終了）を示すように構成されたハードウェア、ソフトウェア、ファームウェア、及び／又はそれらの組み合わせを含んでもよい。例えば、起動構成要素６０は、例えば、１つ以上の照明源による照明を開始するために、かつ／又は画像センサ、１つ以上の画像による捕捉を開始するために、コントローラ２０に撮像エンジン１００の動作を開始させるように、起動信号を送信してもよい。追加的又は代替的に、起動構成要素６０は、対応する機能を終了するために、例えば、画像センサを介したスキャンを停止するために、停止信号をコントローラ２０に送信してもよい。いくつかの実施形態では、起動構成要素６０は、シャーシの本体内又は本体上に提供される１つ以上のボタン、トリガ、及び／又は他の物理的構成要素によって具現化される。例えば、少なくとも１つの例示的な文脈では、起動構成要素６０は、オペレータによって係合されると（例えば、オペレータがトリガを引くとき）、対応する機能を開始するために信号をコントローラ２０に送信する、１つ以上の「トリガ」構成要素によって具現化される。いくつかのそのような実施形態では、起動構成要素は、構成要素がオペレータによって係合解除されるとき（例えば、オペレータがトリガを解放するとき）、そのような機能を停止するために、停止信号をコントローラ２０に送信してもよい。代替的又は追加的に、少なくともいくつかの実施形態では、起動構成要素６０は、オペレータによる直接係合のための構成要素なしで具現化される。例えば、撮像システム１０が撮像装置として具現化されるとき、起動構成要素６０は、撮像装置が、事前定義された「スキャン」位置に上昇し、かつ／又は位置決めされ、かつ／又はその位置から下降されて
休止をトリガすることを検出するために、ハードウェア及び／又はソフトウェア、又はそれらの組み合わせによって具現化されてもよい。代替的又は追加的に、起動構成要素６０は、撮像システム１０のユーザインターフェース要素として具現化されてもよい。そのような実施形態では、ユーザインターフェース要素として具現化された起動構成要素６０は、ユーザインターフェース上でユーザから入力を受信し、次に、対応するコマンドをコントローラ２０に送信するように構成されてもよい。
休止をトリガすることを検出するために、ハードウェア及び／又はソフトウェア、又はそれらの組み合わせによって具現化されてもよい。代替的又は追加的に、起動構成要素６０は、撮像システム１０のユーザインターフェース要素として具現化されてもよい。そのような実施形態では、ユーザインターフェース要素として具現化された起動構成要素６０は、ユーザインターフェース上でユーザから入力を受信し、次に、対応するコマンドをコントローラ２０に送信するように構成されてもよい。
【0070】
１つ以上の周辺構成要素８０は、例えば、表示デバイス、ユーザインターフェース、ハウジング、シャーシ、電源などのような撮像システム１０の他の構造的及び機能的要素を含む。周辺構成要素８０のうちの１つ以上は、コントローラによって制御されてもよく、コントローラ２０によって提供される命令又は制御に従って動作してもよい。
【0071】
図１Ｂは、本開示の例示的な実施形態による、例示的なマルチセンサ撮像エンジン（以下、「撮像エンジン」とも称される）を示す。具体的には、示されるように、例示的なマルチセンサ撮像エンジンは、マルチセンサ撮像エンジン１００によって具現化される。マルチセンサ撮像エンジン１００は、それぞれ、近視野画像センサと関連付けられた近視野及び遠視野画像センサと関連付けられた遠視野内の画像データオブジェクトを捕捉するように構成された、例えば、近視野画像センサ及び遠視野画像センサを含む。少なくとも１つの例示的な文脈では、マルチセンサ撮像エンジン１００は、近視野画像センサを使用する近範囲近及び遠視野画像センサを使用する遠範囲などの、異なる範囲での標識読み取りを目的として画像を捕捉するように構成されている。
【0072】
示されるように、マルチセンサ撮像エンジン１００は、近視野画像捕捉光学系１０４Ａを含む。近視野捕捉光学系１０４Ａは、光が対応する画像センサ、具体的には近視野画像センサ１０２Ａを横切って相互作用することを可能にするように構成された１つ以上のレンズ及び／又は他の光学構成要素によって具現化されてもよい。これに関して、近視野画像捕捉光学系１０４Ａは、近視野画像センサ１０２Ａによって捕捉されてもよい特定の視野を画定してもよい。いくつかの実施形態では、近視野画像捕捉光学系１０４Ａは、第１の焦点範囲と関連付けられた近接視野を画定し、その結果、第１の焦点範囲からの判定可能なオフセットに、かつ／又はその中に位置する対象は、近視野画像センサ１０２Ａによって捕捉された画像において明瞭であってもよい。
【0073】
更に示されるように、マルチセンサ撮像エンジン１００は、遠視野画像捕捉光学系１０４Ｂを含む。遠視野画像捕捉光学系１０４Ｂは、光が対応する画像センサ、具体的には遠視野画像センサ１０２Ｂを横切って相互作用することを可能にするように構成された１つ以上のレンズ及び／又は他の光学構成要素によって具現化されてもよい。これに関して、遠視野画像捕捉光学系１０４Ｂは、遠視野画像センサ１０２Ｂによって捕捉されてもよい第２の視野を画定してもよい。いくつかの実施形態では、遠視野画像捕捉光学系１０４Ｂは、第２の焦点範囲と関連付けられている遠視野を画定し、第２の焦点距離からの判定可能なオフセットに、かつ／又はその中に位置する対象は、遠視野画像センサ１０２Ｂによって捕捉された画像において明瞭であり得る。いくつかのそのような実施形態では、近視野は、遠視野よりも広いため、捕捉されたデータは、マルチセンサ撮像エンジン１００の視野内の環境のより多くを表す。遠視野は、近視野よりも狭く、更なる範囲に合焦されて、近視野に明瞭に捕捉され得る対象よりも大きな範囲に位置する対象のより明瞭な捕捉を可能にする。
【0074】
いくつかの例示的な実施形態では、近視野撮像センサ１０２Ａは、強化された運動耐性を提供するためのグローバルシャッターを含んでもよい。近視野撮像センサ１０２Ａは、大きな視野（Field of View、ＦＯＶ）を使用してもよく、大きなＦＯＶは、これらに
限定されないが、光学的文字認識（optical character recognition、ＯＣＲ）、画像再
構成、機械学習などの用途を可能にする。いくつかの実施形態では、遠視野センサ１０２Ｂは、ローリングシャッターを含んでもよい。遠視野画像センサ１０２Ｂは、遠視野のサンプリングを改善するために小さなＦＯＶを使用する。更に、近視野画像センサ１０２Ａ及び遠視野画像センサ１０２Ｂの各々は、関連付けられた焦点機構を有してもよい。焦点機構は、画像センサ（１０２Ａ又は１０２Ｂ）の光軸方向に沿った１つ以上の焦点レンズの動きを制御する焦点スキームを含んでもよい。この目的に向かって、いくつかの実施形態では、焦点スキームは、１つ以上の運動アクチュエータ、例えば、ステッパモータ又は圧電アクチュエータを含んでもよい。いくつかの例示的な実施形態では、焦点スキームは、例えば、可変（例えば、液体）レンズにおいて、レンズに内蔵されてもよい。
限定されないが、光学的文字認識（optical character recognition、ＯＣＲ）、画像再
構成、機械学習などの用途を可能にする。いくつかの実施形態では、遠視野センサ１０２Ｂは、ローリングシャッターを含んでもよい。遠視野画像センサ１０２Ｂは、遠視野のサンプリングを改善するために小さなＦＯＶを使用する。更に、近視野画像センサ１０２Ａ及び遠視野画像センサ１０２Ｂの各々は、関連付けられた焦点機構を有してもよい。焦点機構は、画像センサ（１０２Ａ又は１０２Ｂ）の光軸方向に沿った１つ以上の焦点レンズの動きを制御する焦点スキームを含んでもよい。この目的に向かって、いくつかの実施形態では、焦点スキームは、１つ以上の運動アクチュエータ、例えば、ステッパモータ又は圧電アクチュエータを含んでもよい。いくつかの例示的な実施形態では、焦点スキームは、例えば、可変（例えば、液体）レンズにおいて、レンズに内蔵されてもよい。
【0075】
焦点スキームは、各視野内に複数の別個の焦点位置を提供してもよく、モータは、特定の画像センサの焦点光学系を個別の焦点位置の各々に移動させて、焦点機構を呈してもよい。例えば、いくつかの例示的な実施形態では、遠視野画像センサ１０２Ｂの合焦を変更するために、対応するモータは、遠視野撮像センサ１０２Ｂの関連付けられた焦点光学系を遠視野の３つの別個の焦点位置に移動させてもよい。焦点機構の各々の動作は、図１Ａのコントローラ２０又はプロセッサ２０２などの処理構成要素によって制御されてもよい。レンズが焦点スキームを内蔵しているいくつかの例示的な実施形態では、処理構成要素は、推定距離データを使用してレンズの合焦を制御してもよい。
【0076】
いくつかの実施形態では、例えば、示されるように、各画像センサ（又はそのサブセット）は、画像センサによって画定された視野を照明するように構成された照明を生成するための１つ以上の構成要素と関連付けられる。例えば、示されるように、マルチセンサ撮像エンジン１００は、近視野照明源１０６Ａ及び対応する近視野投影光学系１０８Ａを更に備える。近視野照明源１０６Ａは、近視野投影光学系１０８Ａの光軸方向に光を生成するように構成されている。この光は、近視野投影光学系１０８Ａを通って屈折されて、近視野投影光学系１０８Ａの構成及び設計に基づいて、所望のパターンで生成されてもよい近視野照明を生成する。これに関して、近視野投影光学系１０８Ａを出る光によって生成される照明は、近視野画像センサ１０２Ａによって捕捉可能な近視野など、特定の視野を照明してもよい。
【0077】
同様に、マルチセンサ撮像エンジン１００は、遠視野照明源１０６Ｂ及び対応する遠視野投影光学系１０８Ｂを更に備える。遠視野照明源１０６Ｂは、遠視野投影光学系１０８Ｂの方向に光を生成するように構成されている。この光は、遠視野投光学系１０８Ｂを通って屈折されて、遠視野投影影光学系１０８Ｂの構成及び設計に基づいて、所望のパターンで生成されてもよい遠視野照明を生成する。これに関して、遠視野照明は、遠視野画像センサ１０２Ｂによって捕捉可能な遠視野など、特定の視野を照明してもよい。
【0078】
更に、いくつかの実施形態では、マルチセンサ撮像エンジン１００は、エィマ照明源１１０を更に備える。エィマ照明源１１０は、エィマ投影光学系１１２の方向に光を生成するように構成されている。例えば、エィマ照明源は、十分に強力な、かつ／又は集中した光を生成するように構成された１つ以上のレーザダイオード及び／又は高強度ＬＥＤを備える。光は、エィマ投影光学系１１２を通って屈折されて、エィマ投影光学系１１２の構成及び設計に基づいて、所望のパターンで生成されてもよいエィマ照明を生成する。１つの例示的な文脈では、例えば、バーコードスキャンの目的のために、エィマパターンは、レーザラインパターン、レーザドットパターンとして、間に有限領域を囲む２つの平行ラインとして生成されてもよい。
【0079】
マルチセンサ撮像エンジン１００は、保護窓１１４を更に備える。保護窓１１４は、生成光がエンジン１００を出て、入射光が、例えば、画像捕捉光学系１０４Ａ及び１０４Ｂを介して受信され、対応する画像センサ１０２Ａ及び１０２Ｂと相互作用することを可
能にするように構成された１つ以上の光学構成要素を備える。
能にするように構成された１つ以上の光学構成要素を備える。
【0080】
他の実施形態では、マルチセンサ撮像エンジンは、任意の数の画像捕捉光学系、画像センサ、照明源、及び／又はそれらの任意の組み合わせを含んでもよいことを理解されたい。これに関して、撮像エンジン１００は、任意の数の視野を捕捉するように拡張されてもよく、それは各々、対応する視野を特に照明するために設計された対応する照明器と関連付けられてもよい。１つ以上の照明源は、別の照明器の動作に悪影響を及ぼし得る。そのような状況では、１つのそのような照明源がアクティブである場合、悪影響を受ける画像センサは、本明細書に記載される照明源の照明パルス間で起動されてもよい。そのような動作は、照明源及び画像センサの任意の組み合わせに対して実装されてもよい。
【0081】
いくつかの実施形態では、マルチセンサ撮像エンジン１００は、マルチセンサ撮像エンジン１００の１つ以上の構成要素の起動を制御するための１つ以上の処理構成要素（例えば、プロセッサ及び／又は他の処理回路）を含む。例えば、少なくとも１つの例示的な実施形態では、マルチセンサ撮像エンジン１００は、近視野照明源１０６Ａ及び／又は遠視野照明源１０６Ｂの照明パルスを計時し、かつ／又は近視野画像センサ１０２Ｂ及び／又は遠視野画像センサ１０２Ａの露光を制御するように構成されたプロセッサを含む。いくつかのそのような状況では、プロセッサは、例えば、ＦＰＧＡ、ＡＳＩＣ、マイクロプロセッサ、ＣＰＵなどの無数の処理回路実装のうちのいずれか１つによって具現化される。少なくともいくつかの実施形態では、プロセッサは、プロセッサによって実行されるときに、そのような機能を可能にするコンピュータコード化命令を有する１つ以上のメモリデバイスと通信してもよい。いくつかの実施形態では、プロセッサは、１つ以上のサブプロセッサ、リモートプロセッサ（例えば、「クラウド」プロセッサ）などを含んでもよく、かつ／又はそのような機能を実施するための１つ以上の追加のプロセッサと通信してもよいことを理解されたい。例えば、少なくとも１つの実施形態では、プロセッサは、撮像装置内の別のプロセッサ、例えば図２に関して描写され、説明されるようなプロセッサ２０２と通信し、かつ／又は動作してもよい。
【0082】
図２は、本開示の例示的な実施形態による、例示的なマルチセンサ撮像装置２００を示す。示されるように、マルチセンサ撮像装置２００は、装置の様々な構成要素を収容するための装置シャーシ２１０を備える。これに関して、装置シャーシは、マルチセンサ撮像装置２００の様々な構成要素を動作のために位置決めするのに好適な、無数の材料のいずれか、かつ／又は同様のものを使用して、無数のシャーシ設計のいずれかで具現化されてもよいことを理解されたい。少なくとも１つの例示的な文脈では、装置シャーシ２１０は、ハンドヘルド装置シャーシ、ウェアラブルシャーシなどとして具現化されてもよい。
【0083】
マルチセンサ撮像装置２００は、図１Ｂに関して上述したように、マルチセンサ撮像エンジン１００を備える。マルチセンサ撮像装置２００は、プロセッサ２０２を更に備える。プロセッサ２０２（及び／又はプロセッサ２０２を支援し、かつ／又は別様に関連付けられた任意の他のコプロセッサ及び／又は処理回路）は、マルチセンサ撮像装置２００に処理機能を提供してもよい。これに関して、プロセッサ２０２は、図１Ａのコントローラ２０に関して考察されたように、無数の方式のうちのいずれか１つで具現化されてもよい。
【0084】
いくつかの例示的な実施形態では、プロセッサ２０２は、マルチセンサ撮像装置２００の１つ以上の構成要素を動作させるための機能を提供するように構成されている。例えば、プロセッサ２０２は、遠視野照明源１０６Ｂ、近視野照明源１０６Ａ、及び／又はエィマ照明源１１０を起動するように構成されてもよい。追加的又は代替的に、いくつかの実施形態では、プロセッサ２０２は、近視野画像センサ１０２Ａ及び／又は遠視野画像センサ１０２Ｂを起動して、対応する画像センサを露出させ、かつ／又は露光中に捕捉され
たデータに基づいて、画像を生成するために捕捉されたデータを読み取るように構成されている。追加的又は代替的に、いくつかの実施形態では、プロセッサ２０２は、例えば、１つ以上の画像処理タスクに基づいて、捕捉された画像を処理するように構成されている。１つのそのような例示的な文脈では、プロセッサ２０２は、捕捉された画像から、１Ｄ及び／又は２Ｄバーコードなどの視覚的な標識を検出し、かつ復号化する試みを実施するように構成されている。これに関して、プロセッサ２０２は、視覚的標識解析アルゴリズム及び／又は視覚的標識復号化アルゴリズムを利用して、そのような機能を提供するように構成されてもよい。
たデータに基づいて、画像を生成するために捕捉されたデータを読み取るように構成されている。追加的又は代替的に、いくつかの実施形態では、プロセッサ２０２は、例えば、１つ以上の画像処理タスクに基づいて、捕捉された画像を処理するように構成されている。１つのそのような例示的な文脈では、プロセッサ２０２は、捕捉された画像から、１Ｄ及び／又は２Ｄバーコードなどの視覚的な標識を検出し、かつ復号化する試みを実施するように構成されている。これに関して、プロセッサ２０２は、視覚的標識解析アルゴリズム及び／又は視覚的標識復号化アルゴリズムを利用して、そのような機能を提供するように構成されてもよい。
【0085】
追加的又は代替的に、任意選択的に、いくつかの実施形態では、マルチセンサ撮像装置２００は、起動構成要素２０６を更に含む。起動構成要素２０６は、図１Ａの起動構成要素６０に関して考察されたように、無数の方式で具現化されてもよい。
【0086】
追加的又は代替的に、任意選択的に、いくつかの実施形態では、撮像装置２００は、ディスプレイ２０８を更に含む。ディスプレイ２０８は、装置２００の１つ以上の構成要素によって提供されるデータのために構成されたＬＣＤ、ＬＥＤ、及び／又は他のスクリーンデバイスによって具現化されてもよい。例えば、いくつかの実施形態では、ディスプレイ２０８は、テキスト、画像、制御要素、及び／又はレンダリングのためにプロセッサ２０２によって提供される他のデータを含むユーザインターフェースをレンダリングするように構成されている。いくつかの実施形態では、例えば、ディスプレイ２０８は、ＬＣＤ及び／又は装置シャーシ２１０の表面と一体化され、オペレータに可視であるＬＥＤモニタによって具現化されて、例えば、バーコードから復号化され、かつ／又はバーコードから復号化されたそのような情報と関連付けられた情報を提供する。１つ以上の実施形態では、ディスプレイ２０８は、ユーザ相互作用を受信するように構成されてもよく、かつ／又はユーザ相互作用に基づいて機能をトリガするために、プロセッサ２０２に１つ以上の対応する信号を送信してもよい。いくつかのそのような実施形態では、ディスプレイ２０８は、例えば、オペレータがユーザインターフェースとの相互作用を介してスキャン機能を開始し、かつ／又は終了することを可能にするために、起動構成要素２０６を具現化するユーザインターフェース機能を提供する。
【0087】
追加的又は代替的に、任意選択的に、いくつかの実施形態では、撮像装置２００は、メモリ２０４を更に含む。メモリ２０４は、例えば、マルチセンサ撮像装置２００によって処理されたデータ及び／又は本明細書に記載の機能性を提供するための命令を記憶するための記憶機能を提供してもよい。いくつかの実施形態では、プロセッサ２０２は、装置の構成要素間で情報を通過させるために、かつ／又は実行のための命令を検索するために、バスを介して、メモリ２０４と通信してもよい。メモリ２０４は、図１Ａのコントローラ２０を参照して考察された無数の方式で具現化されてもよい。メモリ２０４は、撮像装置２００が、例示的な実施形態による様々な機能を実行することを可能にするために、情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成されてもよい。いくつかの実施形態では、メモリ２０４は、例えば、本明細書に記載の機能を実行するために、かつ／又はプロセッサ２０２を介して実行されるハードコード化機能と併せて、プロセッサ２０２による実行のためのコンピュータコード化命令を含む。例えば、プロセッサ２０２がソフトウェア命令の実行体として具現化される場合、命令は、命令が実施されたときに本明細書に記載されるアルゴリズム及び／又は動作を実施するようにプロセッサ２０２を特に構成してもよい。
【0088】
本開示のいくつかの例示的な実施形態では、プロセッサ２０２及びメモリ２０４は、一緒に撮像制御装置として具現化されてもよく、したがって、撮像装置２００と固定され、若しくは取り外し可能に結合されてもよいか、又は撮像装置２００の部分的に、又は完全に外側にあってもよい。いくつかの実施形態では、撮像制御装置は、撮像装置２００と
動作可能に結合された集積回路として具現化されてもよい。
動作可能に結合された集積回路として具現化されてもよい。
【0089】
図３は、例示的なマルチセンサ画像装置によって捕捉可能な視野の視覚化を示す。例えば、図３に示すように、図３は、マルチセンサ撮像装置２００によって捕捉可能な近視野３０２及び遠視野３０４を示す。示されるように、近視野３０２は、遠視野３０４よりも近視野３０２内に環境のより多くが捕捉されてもよいように、遠視野よりも広い。
【0090】
更に、示されるように、遠視野３０４は、近視野３０２よりも更に拡張する。これに関して、遠視野３０４の狭い性質は、近視野３０２と比較して、環境の特定の部分のより詳細な表現の捕捉を可能にし得る。いくつかの実施形態では、近視野３０２及び遠視野３０４は、マルチセンサ撮像装置２００の対応する近視野画像センサ及び対応する遠視野画像センサによって捕捉可能である。近視野３０２は、マルチセンサ撮像装置２００内の対応する画像センサから特定の距離で近い焦点範囲と関連付けられてもよい。追加的又は代替的に、遠視野３０４は、マルチセンサ撮像装置２００内の対応する画像センサから別の距離で遠焦点範囲と関連付けられてもよい。これに関して、近視野焦点範囲は、遠視野画像センサを介して捕捉されたときに、更にマルチセンサ撮像装置２００からの対象がより良好な焦点内にあり、近視野画像センサと比較して拡張された範囲を可能にするように、遠視野の焦点範囲よりも近くてもよい。
【0091】
マルチセンサ撮像装置２００は、視野３０２及び３０４の各々を照明するために特に照明を提供するように構成されてもよい。これに関して、照明源は、照明がオーバーフィル又はアンダーフィルなしで対応する視野を適切に照明するように、対応する画像センサの視野と一致するように具体的に設計されてもよい。照明中に非対応画像センサ中に照明及び捕捉を生成するために別の照明源を利用することは、照明が多すぎるため、かつ／又は説明されているように十分でないため、捕捉された画像内のデータの質に影響を及ぼし得る、オーバーフィル（例えば、近視野照明パルス中に遠視野画像センサを使用して捕捉するとき）、及び／又はアンダーフィル（例えば、遠視野照明パルス中に近視野画像センサを使用して捕捉するとき）をもたらし得る。これに関して、近視野照明は、近視野３０２を実質的に又は完全に照明するように生成されてもよい。近視野照明は、捕捉のために近視野３０２の全体を十分に照明する照明パターンに従って生成されてもよい。
【0092】
遠視野照明は、遠視野３０４を実質的に又は完全に照明するように生成されてもよい。遠視野照明は、対応する遠視野画像センサによって捕捉するために、遠視野３０４の全体を十分に照明する照明パターンに従って生成されてもよい。遠視野照明は、近視野３０２の中心パーセンテージ、例えば近視野３０２の中心パーセンテージ（例えば、２５％、５０％など）のみを照明してもよい。
【0093】
近視野照明、遠視野照明、及びエィマ照明は、関連付けられた画像センサ間のゼロ又は最小限の干渉を確実にするように互いに対して同期されてもよい。これに関して、対応する照明源は、効率的な画像捕捉を確実にするために、コントローラ２０／プロセッサ２０２によって好適に制御されてもよい。
【0094】
本明細書に記載のいくつかの例示的な実施形態は、装置の複数の画像センサの画像間の画像視差に基づく自動焦点選択機構を有するマルチイメージセンサ撮像装置（以下、装置とも称される）を提供する。図４Ａは、本開示の例示的な実施形態による、例示的なマルチ画像センサ撮像装置の斜視図を示す。マルチセンサ撮像装置４００は、複数の画像センサを有してもよく、装置４００の各画像センサは、関連付けられた光学素子を有してもよく、各画像センサは、その関連付けられた光学素子と共に個々の撮像アセンブリを構成してもよい。簡潔にするために、マルチセンサ撮像装置４００は、２つの画像センサアセンブリ４００Ａ及び４００Ｂを有することが示されている。しかしながら、本開示の範囲
内では、要件に応じて、マルチセンサ撮像装置４００内にそのような画像センサアセンブリが多くなってもよいことが企図され得る。装置４００は、画像センサ４００Ａ及び４００Ｂのそれぞれ１つのための一体型照明光学系４００Ａ１及び４００Ｂ１を更に備える。いくつかの例示的な実施形態では、画像センサアセンブリ４００Ａは、装置４００の近視野内での撮像に好適であり得るが、画像センサアセンブリ４００Ｂは、装置４００の遠視野での撮像に好適であり得る。１つ以上の構成要素は、センサアセンブリ４００Ａ及び４００Ｂの各々によって共有されてもよく、したがって、装置４００内の一体型構成要素として提供されてもよい。例えば、集積エィマ光学系は、センサアセンブリ４００Ａ及び４００Ｂの両方のために共同で提供されてもよい。そのような構成では、一体型構成要素は、画像センサアセンブリ４００Ａ及び４００Ｂのいずれかに対応する撮像アセンブリ上に提供されてもよい。
内では、要件に応じて、マルチセンサ撮像装置４００内にそのような画像センサアセンブリが多くなってもよいことが企図され得る。装置４００は、画像センサ４００Ａ及び４００Ｂのそれぞれ１つのための一体型照明光学系４００Ａ１及び４００Ｂ１を更に備える。いくつかの例示的な実施形態では、画像センサアセンブリ４００Ａは、装置４００の近視野内での撮像に好適であり得るが、画像センサアセンブリ４００Ｂは、装置４００の遠視野での撮像に好適であり得る。１つ以上の構成要素は、センサアセンブリ４００Ａ及び４００Ｂの各々によって共有されてもよく、したがって、装置４００内の一体型構成要素として提供されてもよい。例えば、集積エィマ光学系は、センサアセンブリ４００Ａ及び４００Ｂの両方のために共同で提供されてもよい。そのような構成では、一体型構成要素は、画像センサアセンブリ４００Ａ及び４００Ｂのいずれかに対応する撮像アセンブリ上に提供されてもよい。
【0095】
装置４００の各画像センサは、関連付けられた光学素子を有してもよく、各画像センサは、その関連付けられた光学素子と共に個々の撮像アセンブリを構成してもよい。図４Ｂは、本開示の例示的な実施形態による、例示的なマルチセンサ撮像装置４００の１つの画像センサの斜視組立図を示す。図４Ｂに示される例示的な撮像アセンブリ４００Ａは、略円筒形バレル４０４内に設置されるか、又は含まれた撮像光学系４０２を含んでもよい。撮像光学系４０２は、画像形成のために、入射放射線を画像センサ４１０上に合焦させるための１つ以上の光学レンズを含んでもよい。バレル４０４は、略円筒形スリーブ４０６内に摺動可能に設置されるか、又は含まれてもよい。スリーブ４０６は、他のアイテムの中でもとりわけ、画像センサ４１０のためのプラットフォームを提供してもよい撮像アセンブリ本体４０８に固定されてもよい。バレル４０４がスリーブ４０６内で軸方向に移動するとき、撮像光学系４０２は、画像センサ４１０と焦点内及び焦点外にもたらされてもよい。したがって、撮像光学系４０２は、標的を画像センサとの焦点に合わせるために、スリーブ４０６内の正確な所望の場所に位置決めされてもよい。撮像アセンブリ４００に対する標的の場所に応じて、標的を画像センサ４１０との焦点に合わせるための撮像光学系４０２の複数の焦点位置を画定されてもよい。前に考察されたように、コントローラは、撮像光学系４０２の動きを制御して、撮像アセンブリ４００に対する標的の場所に応じて、複数の焦点位置のうちの１つに位置決めしてもよい。バレル４０４は、スリーブ４０６に挿入され、回転して、光学軸ＯＡに沿って光学系４０２の位置を変更して、光学系４０２を画像センサ４１０に対して所望の場所に正確に位置決めする。バレル４０４は、画像光学コントローラ（図４には図示せず）を利用して、スリーブ４０６内で移動されてもよい。いくつかの例示的な実施形態では、撮像アセンブリ４００Ａは、撮像装置４００の近視野での撮像に好適であり得る。そのような構成では、バレル４０４の移動は、完全に又は部分的に制限され得、焦点機構は、存在しなくてもよい。いくつかのそのような構成では、バレル４０４が存在しなくてもよく、固定レンズがスリーブ４０６内に提供されてもよい。例示的な撮像アセンブリ４００は、標的を含むシーンの対応する視野を照明するための１つ以上の光源４１２を含んでもよい。追加的又は任意選択的に、いくつかの例示的な実施形態では、撮像アセンブリ４００は、撮像されているシーン上に視覚対象としてエィマを投影するためのエィマ照明器４１４Ａ及び関連付けられたエィマ光学系４１４Ｂを含んでもよい。エィマ照明器４１４Ａは、インジケータとしてエィマを投影するために必要な照明を生成するように、コントローラによって制御されてもよい１つ以上のエィマＬＥＤを含んでもよい。
【0096】
図５は、本開示の例示的な実施形態による、例示的なマルチセンサ撮像装置４００の画像センサの別の斜視組立図を示す。具体的には、図５は、照明モジュール、任意選択的なエィマモジュール、及び撮像モジュールを備える撮像アセンブリ４００Ｂの分解斜視図５００を示す。例示的なマルチセンサ撮像装置の他の画像センサは、図５に示される撮像アセンブリと同様の構造を有してもよいことが企図され得る。照明モジュールは、照明パターンを投影するように構成され、様々な例示的な実施形態による、１つ以上の光源を含
んでもよい撮像照明光源アセンブリ５１２Ａを含む。撮像照明光源アセンブリ５１２Ａは、例えば、１つ以上の光源を各々含む１つ以上の光源バンクを更に含んでもよい。そのような光源は、例示的な実施形態では、発光ダイオード（ＬＥＤ）を例示的に含むことができる。様々な実施形態では、多種多様な波長及びフィルタ、又は波長若しくはフィルタの組み合わせのいずれかを有するＬＥＤが使用されてもよい。他のタイプの光源もまた、他の実施形態で使用されてもよい。光源は、例示的に、プリント回路基板に取り付けられてもよい。これは、画像センサ５１０が例示的に取り付けられてもよい同じプリント回路基板であってもよい。
んでもよい撮像照明光源アセンブリ５１２Ａを含む。撮像照明光源アセンブリ５１２Ａは、例えば、１つ以上の光源を各々含む１つ以上の光源バンクを更に含んでもよい。そのような光源は、例示的な実施形態では、発光ダイオード（ＬＥＤ）を例示的に含むことができる。様々な実施形態では、多種多様な波長及びフィルタ、又は波長若しくはフィルタの組み合わせのいずれかを有するＬＥＤが使用されてもよい。他のタイプの光源もまた、他の実施形態で使用されてもよい。光源は、例示的に、プリント回路基板に取り付けられてもよい。これは、画像センサ５１０が例示的に取り付けられてもよい同じプリント回路基板であってもよい。
【0097】
様々な例示的な実施形態では、照明モジュールは、図５の実施形態に示されるように、撮像照明光学アセンブリ５１２Ｂを含んでもよい。撮像照明光学アセンブリ５１２Ｂ、又は照明モジュールの他の部分は、例示的な例として、１つ以上のレンズ、１つ以上のディフューザ、１つ以上のミラー、及び／又は１つ以上のプリズムなどの様々な光学素子のうちのいずれかを含んでもよい。それにより、撮像照明光学アセンブリ５１２Ｂは、標的面積に向かって照明を合焦し、拡散し、形成し、又は他の方法で投影してもよい。それにより、照明モジュールは、標的面積に向かって、又は標的面積上に照明パターンを揺曳してもよい。このように投影された照明パターンは、異なる実施形態における任意のタイプ又はパターンの照明を含んでもよい。
【0098】
特に、撮像アセンブリ４００Ａが１つのそのようなエィマモジュールを有さない場合、エィマモジュールは、任意選択的に提供されてもよい。エィマモジュールは、照準パターンを投影するように構成されてもよく、エィマ光源５１４Ａ及びエィマ光学素子５１４Ｂ及び５１４Ｃを含む。例えば、エィマ光源５１４Ａは、１つ以上の発光ダイオード（ＬＥＤ）及び／又は照準レーザを含んでもよく、一方、エィマ光学素子は、１つ以上の開口部５１４Ｃ、及び例えば、球面レンズ、非球面レンズ、円筒レンズ、又はアナモフィックレンズであってもよい１つ以上のレンズ５１４Ａを含んでもよい。エィマモジュールは、開口部５１４Ｃ及び光学系５１４Ｂを介して、エィマ光源５１４Ａからの光を投影して、標的の画像を画像センサ５１０で捕捉するのを支援するために標的に照準パターンを提供する。エィマ光源５１４Ａは、例えば、半球パターンに光を前方に投影してもよい。ＬＥＤ光源の前面は、ＬＥＤを出る光の角度偏差を低減するように設計された一体型凸レンズ表面を含んでもよい。可能な限り多くのこの光は、エィマ開口部５１４Ｃを通って方向付けられ、エィマ光学系５１４Ｂを更に通過するように方向付けられる。エィマ光学系５１４Ｃは、標的に位置する標識にエィマ開口部の画像を作成するように設計されてもよい。エィマモジュールは、別の実装形態では、例えば、レーザ及びレーザコリメータを含み得る。
【0099】
撮像モジュールは、画像捕捉のために構成され、画像センサ５１０及び画像センサ５１０に画像を合焦させるために動作可能な撮像光学系アセンブリ５０４を含む。画像センサ５１０は、グローバルシャッター又はフルフレームシャッターモードで動作するように、又はローリングシャッタモードで交互に動作するように適合されたピクセルのアレイを含んでもよい。ＣＣＤ、ＣＭＯＳ、ＮＭＯＳ、ＰＭＯＳ、ＣＩＤ、ＣＭＤ、裏面照明技術のいずれかで実装される色又はモノクローム２Ｄ固体画像センサであってもよい。画像センサは、プログレッシブ又はインターリーブイメージャのいずれかであってもよい。画像センサは、入射光エネルギーを電荷に変換する光感受性フォトダイオード（又はピクセル）のアレイを含んでもよい。例示的な画像センサは、モノクロームピクセルのアレイ全体に分散された色感受性ピクセル要素を画定するフィルタ要素を含んでもよいモノカラーイメージセンサを使用してもよい。例示的な画像センサデバイスは、画像センサプロセッサ、アナログ－デジタル変換器（analog to digital converter、ＡＤＣ）及び他の回路を
含んでもよい。撮像光学系アセンブリ５０４は、標的から画像センサ５１０上に光を合焦させるためのレンズなどの光学構成要素を含んでもよい。
含んでもよい。撮像光学系アセンブリ５０４は、標的から画像センサ５１０上に光を合焦させるためのレンズなどの光学構成要素を含んでもよい。
【0100】
撮像アセンブリ５００のモジュールは、画像処理タスクを実行するために同期された様式で動作してもよい。例えば、撮像照明モジュールは、照明された露光期間中に撮像モジュールが画像データの第１のフレームを露出させる間に照明パターンを投影してもよい。エィマモジュールは、効率的な画像捕捉のために、指示された領域内に標的を配置するために、マルチイメージセンサ装置のユーザにインジケータを提供してもよい。
【0101】
図６は、本開示の例示的な実施形態による、マルチセンサ撮像装置によるエィマ投影を示す。いくつかの例示的な実施形態では、マルチセンサ撮像装置は、撮像アセンブリ４００及び／又は５００などの複数の撮像アセンブリを有するスマートフォン６０２であってもよい。これに関して、スマートフォン６０３は、スマートフォンと一体型の、又はスキャンのための標的を標的とするのを助けるためのアドオンモジュールとして入手可能なエィマモジュールを有してもよい。
【0102】
エィマモジュールは、光源モジュールから照準パターン（すなわち、パターン）に光ビームを形成し、標的（例えば、復号化可能な標識）上にパターンを投影するための投影モジュールを含む。投影モジュールは、パターンを形成するのを助けるために、レンズ（又は複数のレンズ）、開口部、及び／又は回折光学素子（diffractive optical element
、ＤＯＥ）を含んでもよい。いくつかの実施形態では、投影モジュールは、光ビーム／パターンを方向転換し、かつ／又は形成するためのミラー（又は複数のミラー）を含んでもよい。エィマ投影モジュールによって作成されたパターンは、パターン６０４が標的（例えば、バーコード６０６）上に投影されるときに、ユーザが撮像されているもの及びどのように画像が整列されるかを理解し得るように、カメラの視野に関するフィードバックを提供する。この目的のために、パターンは、カメラの視野の中心、カメラの視野のエッジ、及び／又はカメラの視野の角を示してもよい。したがって、パターンは、例えば、クロス、ボックス、ライン、又は角であってもよいが、それらに限定されない。潜在的な実施形態では、好適な距離判定モードが撮像装置を合焦させるために選択されるように、パターンを利用して、シーンの照明条件を確認することができる。例えば、パターンの焦点は、バーコードを合焦させるカメラの能力に関する情報を提供してもよい。
、ＤＯＥ）を含んでもよい。いくつかの実施形態では、投影モジュールは、光ビーム／パターンを方向転換し、かつ／又は形成するためのミラー（又は複数のミラー）を含んでもよい。エィマ投影モジュールによって作成されたパターンは、パターン６０４が標的（例えば、バーコード６０６）上に投影されるときに、ユーザが撮像されているもの及びどのように画像が整列されるかを理解し得るように、カメラの視野に関するフィードバックを提供する。この目的のために、パターンは、カメラの視野の中心、カメラの視野のエッジ、及び／又はカメラの視野の角を示してもよい。したがって、パターンは、例えば、クロス、ボックス、ライン、又は角であってもよいが、それらに限定されない。潜在的な実施形態では、好適な距離判定モードが撮像装置を合焦させるために選択されるように、パターンを利用して、シーンの照明条件を確認することができる。例えば、パターンの焦点は、バーコードを合焦させるカメラの能力に関する情報を提供してもよい。
【0103】
図７は、本開示の例示的な実施形態による、撮像プロセス７００の例示的な動作を示すフローチャートを示す。プロセス７００は、図１Ａ及び図２を参照して説明された撮像システム１０又は撮像装置２００によって実装されてもよい。プロセス７００は、７０２において、第１の画像センサによって、被写体と関連付けられた背景を有する視覚対象の第１の画像を捕捉することを含む。被写体が撮像システムから距離をおいて配置されるいくつかの例示的な実施形態では、更なる画像処理のために復号化可能な画像が捕捉される前に、撮像条件を判定することが不可欠である。これに関して、第１の画像センサは、近視野での撮像に好適なセンサであってもよい。第１の画像センサは、投影装置、標的又は被写体、及び標的又は被写体の背景によって投影されたエィマなどの視覚対象を含む近視野を捕捉してもよい。図６に示すような例示的な文脈では、第１の画像センサは、標的バーコード６０６及び標的バーコード６０６の背景と共に、投影パターン６０４の画像を捕捉してもよい。
【0104】
プロセス７００は、７０４において、第１の画像内の視覚対象と第１の画像内の背景との間の特性差を判定することを更に含む。７０２で捕捉された画像は、視覚対象及びその背景を検出するために処理される。続いて、分析、例えば、捕捉された画像のピクセルごとの分析が実施されて、第１の画像に捕捉されたときの視覚対象と第１の画像に捕捉された背景との間の１つ以上の特性差を判定する。いくつかの例示的な実施形態では、１つ以上の特性差を判定することは、捕捉された画像内の視覚対象を構成するピクセルと、捕捉された画像内の背景を構成するピクセルとの間の強度差を判定することを含んでもよい
。１つ以上の特性差の他の例は、視覚対象の鮮明度と背景の鮮明度との間の差を含んでもよい。
。１つ以上の特性差の他の例は、視覚対象の鮮明度と背景の鮮明度との間の差を含んでもよい。
【0105】
プロセス７００は、７０６において、判定された特性差に基づいて、第１のモード及び第２のモードの中から距離判定モードを選択することを含んでもよい。７０４で判定された特性差が、例えば閾値以上である場合、それは、視覚対象が背景から撮像システムによって視覚的に区別可能であるシナリオを示す。そのような場合、シナリオは、被写体も視覚対象の助けを借りて合焦され得る可能性が高い。すなわち、視覚対象への距離は、三角測量法を使用して判定することができ、その距離を使用して、遠視野内の撮像システムの対応する焦点位置を判定することができる。視覚対象への距離としての被写体への距離の計算は、距離判定の第１のモードとみなすことができる。
【0106】
しかしながら、７０４で判定された特性差がわずかである、例えば閾値未満である場合、視覚対象を背景と視覚的に区別するために、シーンの撮像条件が好ましくないシナリオに対応する。例えば、撮像システムが屋外などの高い周囲光環境で使用される場合、撮像されているシーン内の高い周囲光は、関心領域と背景との間をあまり良好に区別しない捕捉画像をもたらし得る。そのようなシナリオでは、このような捕捉された画像が、遠視野で撮像システムを合焦させるために利用される場合、視覚対象が追跡不可能であるため、視覚対象への距離は判定されない可能性がある。したがって、７０４で判定された特性差は、好適な距離判定モードを選択するための重要なトリガである。視覚対象が背景（すなわち、特性差の大きさが閾値よりも小さい）と区別できないいくつかの例示的な実施形態では、被写体への距離は、第１の画像センサと撮像システムの別の画像センサとの間の画像視差を使用して判定される。画像視差を使用して被写体への距離を判定するこのようなモードは、距離判定の第２のモードとみなすことができ、その詳細な説明は、図８を参照して後で提供される。
【0107】
７０８でのプロセス７００は、選択された距離判定モードに基づいて、被写体への距離を計算することを含む。第１のモード及び第２のモードの間から好適な距離判定モードを選択したとき、それに応じて、選択されたモードごとに被写体への距離が計算される。距離計算の詳細な説明は、図８を参照して後に考察される。
【0108】
プロセス７００は、７１０において、被写体への計算された距離に基づいて、被写体の第２の画像を捕捉するように第２の画像センサを制御することを含む。被写体への判定された距離は、画像センサの焦点位置を判断するのに役立つ重要な要因である。したがって、遠視野画像センサなどの第２の画像センサの別個の焦点ステップは、被写体への判定された距離に対応して判定される。この目的に向かって、プロセス７００を実行するコントローラによって、ルックアップテーブルをフェッチすることができ、ルックアップテーブルは、被写体への対応する焦点ステップを提供する。第２の画像センサの焦点位置が判定されると、コントローラは、第２の画像センサの関連付けられた光学系を制御して、判定された焦点位置に移動し、第２の画像センサは、被写体を有するシーンの画像を捕捉する。したがって、第２の画像センサの焦点は、余分なステップ又はリソースを受けることなく判定される。更に、関連付けられた光学系の移動は、不必要なモータの移動を引き起こすことなく、必要とされる程度のみ実施され、したがって、貴重なオンボード電源を節約し、焦点調整により得られる画像におけるノイズの可能性を低減する。したがって、プロセス７００は、マルチセンサ撮像システム／装置を動作させるための効率的な尺度を提供する。したがって、プロセス７００を実行するか、又は利用する装置は、撮像及び／又はその後の画像処理タスクの改善をもたらす。
【0109】
図８は、本開示の少なくとも１つの例示的な実施形態による、マルチイメージャ環境における焦点制御のためのプロセス８００の例示的な動作を示すフローチャートを示す。
プロセス８００は、距離判定モードの選択及び距離の対応する計算を特別に強調するプロセス７００の一部とみなすことができる。プロセス８００は、近視野画像センサなどの第１の画像センサによる画像捕捉が完了し、かつ更なる処理の準備ができたときにトリガされる。例えば、図７のプロセス７００を参照すると、ステップ７０２での画像捕捉が完了したとき、プロセス７００を実行するコントローラは、被写体の背景がその上及び被写体の背景上に投影された被写体の画像を含む捕捉された第１の画像に対して更に処理するためのプロセス８００を呼び出してもよい。
プロセス８００は、距離判定モードの選択及び距離の対応する計算を特別に強調するプロセス７００の一部とみなすことができる。プロセス８００は、近視野画像センサなどの第１の画像センサによる画像捕捉が完了し、かつ更なる処理の準備ができたときにトリガされる。例えば、図７のプロセス７００を参照すると、ステップ７０２での画像捕捉が完了したとき、プロセス７００を実行するコントローラは、被写体の背景がその上及び被写体の背景上に投影された被写体の画像を含む捕捉された第１の画像に対して更に処理するためのプロセス８００を呼び出してもよい。
【0110】
プロセス８００は、８０２において、第１の画像内の視覚対象の第１の強度と第１の画像内の背景の第２の強度との間の強度差を判定することを含む。視覚対象と被写体の背景との間の特性差の一例として、視覚対象と背景との間の強度差が判定されてもよい。いくつかの例示的な実施形態では、強度差は、画像内の視覚対象に対応するピクセルのピクセル強度値と画像内の背景に対応するピクセルのピクセル強度値との間の差のインジケータであってもよい。各ピクセルの強度値は、グレーレベル画像の単一の値、又はカラー画像の３つの値であってもよい。第１の画像の一部又は全てのピクセルの強度値は、図９Ａを参照して次に説明されるように、強度差を判定するために利用されてもよい。
【0111】
図９Ａは、視覚対象９０４と被写体９０６の背景との間の強度差を判定するための近視野画像センサによって捕捉された例示的な画像９０２を示す。画像９０２は、ピクセルのｍ×ｎアレイを包含してもよい。図９Ａに示すように、座標（Ｍｐ，Ｎｉ）、（Ｍｑ Ｎｉ）、（Ｍｑ Ｎｊ）及び（Ｍｐ Ｎｊ）によって画定される領域内のピクセルは、エィマ投影として表される視覚対象９０４に対応する。したがって、位置指数を有するピクセル（Ｍｐ，Ｎｉ）から（Ｍｑ Ｎｉ）、（Ｍｑ Ｎｉ）から（Ｍｑ Ｎｊ）、（Ｍｑ Ｎｊ）から（Ｍｐ Ｎｊ）及び（Ｍｐ Ｎｊ）から（Ｍｐ Ｎｉ）は、視覚対象９０６の境界を画定し、したがって、視覚対象９０６の境界ピクセルとみなすことができる。位置指数を有するピクセル（Ｍｐ－１，Ｎｉ－１）から（Ｍｑ＋１，Ｎｉ－１）、（Ｍｑ＋１，Ｎｉ－１）から（Ｍｑ＋１，Ｎｊ＋１）、（Ｍｑ＋１，Ｎｊ＋１）から（Ｍｐ－１，Ｎｊ＋１）及び（Ｍｐ－１，Ｎｊ＋１）から（Ｍｐ－１，Ｎｉ－１）は、視覚対象９０４の境界ピクセルに直接近接している背景のピクセルに対応する。これらのピクセルは、背景ピクセルと称され得る。いくつかの例示的な実施形態では、境界ピクセルと背景ピクセルとの間の強度差は、各ピクセル対が１つの境界ピクセル及び境界ピクセルに直接近接する１つの背景ピクセルを含む、ピクセルごとに計算されてもよい。これに関して、各ピクセル対の強度差を判定することができ、各ピクセル対の強度差の平均は、視覚対象と背景との間の強度差を判定する。
【0112】
いくつかの例示的な実施形態では、視覚対象と背景との間の強度差を計算するために、画像内の視覚対象に対応する全てのピクセルのピクセル強度値の第１の平均及び画像内の背景に対応する全てのピクセルのピクセル強度値の第２の平均が計算されてもよい。次いで、強度差は、第１の平均と第２の平均との間の差として判定されてもよい。いくつかのシナリオでは、背景は、視覚対象の境界ピクセルから位置的に離れている多数のピクセルを包含してもよい。そのような場合、計算を簡素化するために、背景に対応するピクセルのみが、視覚対象の境界ピクセルからの閾値近接内にある、第２の平均を計算するために選択されてもよい。したがって、前述の様式のいずれかで計算された強度差を使用して、第１の画像内の視覚対象及び第１の画像の背景が許容可能なレベルの明瞭度と区別可能であるかどうかを判定してもよい。これに関して、強度差を閾値と比較して、視覚対象が背景と区別可能であるかどうかを確認してもよい。
【0113】
図８に戻って参照すると、プロセス８００は、８０４において、視覚対象と背景との間の強度差が閾値以上であるかどうかを判定することを含んでもよい。閾値は、例えば、オペレータの入力ごとに、又は撮像モードに基づいて、設定することができる構成可能な
値であってもよい。第１の画像の画像捕捉時の照明条件が、視覚対象が捕捉された画像内の背景と区別可能であるような場合、強度差は閾値以上であってもよい。そのようなシナリオでは、ステップ８０４での判定の結果は「はい」であり、制御はステップ８０６に進む。ステップ８０６において、プロセス８００は、第１の画像内の被写体の第１の場所を判定することを含む。被写体の場所は、任意の好適な画像処理技術及び／又は他の機械学習技術を使用して判定されてもよい。例えば、情報標識に関連する所定のパターンの識別は、画像内で実施されてもよい。そのような識別は、情報標識を復号化するためのワークフローの一部であってもよく、サブルーチンとして呼び出されてもよい。いくつかの例示的な実施形態では、被写体は、図９Ａに示されるバーコード９０６などの情報標識であってもよい。近視野画像９０２内のバーコード９０６の場所を判定するステップは、バーコードである候補場所として高濃度のエッジ及び高濃度の低強度値を同時に呈する近視野画像９０２内の場所を識別することを含んでもよい。
値であってもよい。第１の画像の画像捕捉時の照明条件が、視覚対象が捕捉された画像内の背景と区別可能であるような場合、強度差は閾値以上であってもよい。そのようなシナリオでは、ステップ８０４での判定の結果は「はい」であり、制御はステップ８０６に進む。ステップ８０６において、プロセス８００は、第１の画像内の被写体の第１の場所を判定することを含む。被写体の場所は、任意の好適な画像処理技術及び／又は他の機械学習技術を使用して判定されてもよい。例えば、情報標識に関連する所定のパターンの識別は、画像内で実施されてもよい。そのような識別は、情報標識を復号化するためのワークフローの一部であってもよく、サブルーチンとして呼び出されてもよい。いくつかの例示的な実施形態では、被写体は、図９Ａに示されるバーコード９０６などの情報標識であってもよい。近視野画像９０２内のバーコード９０６の場所を判定するステップは、バーコードである候補場所として高濃度のエッジ及び高濃度の低強度値を同時に呈する近視野画像９０２内の場所を識別することを含んでもよい。
【0114】
例えば、１つ又はプロセッサ、又はプロセス８００を実行するコントローラなどの好適な処理媒体は、画像９０２を処理して、デジタル画像９０２内のエッジを識別することができる。エッジは、強度において高いコントラスト遷移を呈するデジタル画像９０２の場所である。例えば、エッジは、低強度から高強度への、すなわち明から暗への、又は高強度から低強度への、すなわち暗から明への遷移を定義してもよい。バーコードの性質、すなわち黒色及び白色（又は他の暗及び明）パターンのため、バーコードは顕著で容易に検出可能なエッジを生成する。デジタル画像９０２内のエッジを識別するために、処理構成要素は、画像９０２を分析して、輝度値が大幅な変化を呈する場所を検出することができる。処理構成要素は、従来のエッジ検出技術を使用して、画像９０２内のエッジを識別することができる。例えば、処理構成要素は、カーネルマトリックス（例えば、重み又は乗算係数のマトリックス）をデジタル画像９０２に適用して、エッジを検出することができる。カーネルマトリックスは、典型的には、それが適用される実際の画像よりもはるかに小さい。３ピクセル×３ピクセル（３×３）カーネルマトリックスについて、実施例の目的で説明される。しかしながら、バーコード検出モジュール３４は、他の寸法のカーネルマトリックスを使用することができる。
【0115】
いくつかの例示的な実施形態では、３×３カーネルマトリックスは、画像９０２の各ピクセルを中心とすることができ、次に、中心ピクセルの周りの３×３領域のピクセル値にカーネルマトリックスの対応する重みを乗算して、重み付けされたピクセル値を生成することができる。次に、重み付けされたピクセル値を合計して、中心ピクセルの一次導関数を取得することができる。処理構成要素は、中心ピクセルの一次導関数を遷移閾値と比較し、一次導関数が遷移閾値以上であるときにエッジを検出することができる。一次導関数が遷移閾値以上である場合、ピクセルは、エッジ上に位置すると判定される。一態様では、処理構成要素は、エッジに位置するように判定されたピクセルを白色又は黒色と関連付けられた強度値に設定し、エッジに位置しないように判定されたピクセルを、反対の強度値、例えば、黒色又は白色に設定してもよい。したがって、エッジ検出の結果は、識別されたエッジを除いて全ての詳細が除去された元の画像９０２を表す２値画像であるエッジマップであってもよい。２値画像は、エッジが白色であり、画像の残りの部分が黒であるか、又はその逆であり、すなわち、エッジが黒色であり、残りの画像が白色である、白黒画像であってもよい。エッジの検出は、デジタル画像９０２の１次導関数を使用して説明されているが、任意の好適なエッジ検出技術を使用して、デジタル画像９０２の２次導関数を使用するなど、画像９０２内のエッジを検出してもよい。
【0116】
処理構成要素はまた、画像９０２を処理して、低強度を有する画像の領域（本明細書では「低強度領域」と称される）を識別してもよい。低強度領域は、画像９０２の暗い部分に対応する。バーコード検出モジュール３４は、閾値化を介して画像９０２の低強度領域を識別してもよい。特に、バーコード検出モジュール３４は、ピクセル強度値の各々を
強度閾値と比較し、強度閾値以上の任意のピクセル値を除去することによって、画像９０２の低強度領域を識別してもよい。したがって、低強度検出の結果は、高強度領域が除去された元の画像９０２を表す２値画像である低強度マップであってもよい。一例では、バーコード検出モジュール３４は、強度閾値以下のピクセル強度値を白色に設定し、強度閾値以上のピクセル強度値を黒に設定してもよい。この場合、画像９０２の低強度領域は白色領域として表され、画像９０２の非低強度領域は黒として表される。代替的に、低強度領域は、黒色領域として表されてもよく、他の領域は白色領域として表されてもよい。場合によっては、処理構成要素は、デジタル画像を処理して、画像９０２のエッジ及び低強度領域を並列に識別してもよい。
強度閾値と比較し、強度閾値以上の任意のピクセル値を除去することによって、画像９０２の低強度領域を識別してもよい。したがって、低強度検出の結果は、高強度領域が除去された元の画像９０２を表す２値画像である低強度マップであってもよい。一例では、バーコード検出モジュール３４は、強度閾値以下のピクセル強度値を白色に設定し、強度閾値以上のピクセル強度値を黒に設定してもよい。この場合、画像９０２の低強度領域は白色領域として表され、画像９０２の非低強度領域は黒として表される。代替的に、低強度領域は、黒色領域として表されてもよく、他の領域は白色領域として表されてもよい。場合によっては、処理構成要素は、デジタル画像を処理して、画像９０２のエッジ及び低強度領域を並列に識別してもよい。
【0117】
処理構成要素は、エッジマップ上の１つ以上の形態学的動作を実施して、高濃度のエッジを示す画像９０２内の場所を識別してもよい。同様に、処理構成要素は、低強度マップ上で１つ以上の形態学的動作を実施して、高濃度の低強度値を示す画像９０２内の場所を識別してもよい。形態学的動作は、エッジマップ及び低強度マップで同時に（すなわち、並列で）又は連続的に実施されてもよい。形態学的動作は、拡張動作、侵食動作、開放動作、閉鎖動作などのうちの１つ以上を含んでもよい。一例では、処理構成要素は、エッジマップ及び低強度マップ上で拡張を実施してもよい。拡張は、概して穴及び破断面積を充填し、拡張に使用される構造化要素のサイズよりも小さい空間によって分離された面積を接続する。２値画像の場合、構造化要素、例えば３×３の構造化要素は、ピクセルの各々の中心にある。構造化要素内のピクセルのいずれかが白色である場合、構造化要素が中心にあるピクセル値は、白色に設定される。グレースケール画像のために同様のアプローチが実施されてもよい。グレースケール画像では、例えば、構造化要素内のピクセル値の最大ピクセル値に等しいピクセル値を設定することによって、構造化要素を使用して、ピクセル値の各々を再計算することができる。このようにして、暗い領域によって囲まれた明るい領域はサイズが成長し、明るい領域に囲まれた暗い領域はサイズが収縮する。画像における小さい暗い斑点は、それらが周囲の強度値に「充填される」ときに消失する。効果は、例えば、バーコードが位置する領域において、強度が急速に変化するデジタル画像内の場所で最も顕著である。
【0118】
次いで、処理構成要素は、拡張されたエッジマップと拡張された低強度マップとを組み合わせ得る。例えば、処理構成要素は、拡張されたエッジマップと拡張された低強度マップとを組み合わせるために「ＡＮＤ」動作を実施してもよい。組み合わされた画像は、エッジ及び低強度領域として識別される画像９０２の部分を表す。言い換えれば、組み合わされた画像は、エッジ及び低強度領域が空間的に同時発生的である画像の部分を表す。
【0119】
必要に応じて、いくつかの例示的な実施形態では、処理構成要素は、組み合わされた画像に対して１つ以上の形態学的動作を再び実施してもよい。例えば、バーコード検出モジュール３４は、組み合わされた画像に対して別の拡張動作を実施して、穴及び破断面積を充填し、拡張に使用される構造化要素のサイズよりも小さい空間によって分離された面積を接続してもよい。処理構成要素はまた、組み合わされた拡張画像のフラッドフィル動作を実施して、組み合わされた拡張画像の領域内の任意の残りの穴を更に充填することができる。フラッドフィル動作は、対象の内部の穴を充填する。場合によっては、処理構成要素は、フラッドフィル動作の代わりに閉鎖動作を実施してもよい。閉鎖動作は、充填要素のサイズ内にあり得る小さな穴を閉鎖し、一方、フラッドフィル動作は、穴のサイズに関係なく、対象内の全ての穴を閉鎖する。このようにして、組み合わされた画像に対して実施される１つ以上の形態学的動作は、重複するエッジ及び低強度部分、固体、又はほぼ固体の白色領域を有する領域を作製する。
【0120】
次いで、処理構成要素は、潜在的にバーコードであり得るデジタル画像の場所を識別するために、１つ以上の形態学的動作後に組み合わされた画像内に残る場所を分析しても
よい。言い換えれば、処理構成要素は、場所がバーコードである候補であるかどうかを判定することができる。例えば、処理構成要素は、組み合わされた画像内に残っている各場所の各々を１つ以上のバーコード基準と比較して、場所がバーコードである候補であるかどうかを判定してもよい。処理構成要素は、例えば、場所のサイズをバーコードサイズ基準と比較して、場所がバーコードであるには小さすぎるか、又は大きすぎるかを判定してもよい。場所のサイズが閾値よりも小さい場合、処理構成要素は、場所がバーコードではないと判定することができる。場所がバーコードとして検出された場合でも、小さすぎる場所は、バーコードを解決するのに十分な詳細を備えていない場合があり、無視されてもよい。別の例として、処理構成要素は、場所の形状をバーコード形状基準と比較して、バーコード、例えば、長方形又は正方形の形状と実質的に同様ではない場所を排除してもよい。更に別の例では、処理構成要素は、場所の充填係数をバーコード充填係数基準と比較してもよい。特に、正方形又は長方形は、周囲の長方形面積に対してどれくらいのピクセルが白色でないかを判定するために、場所の周りに配置されてもよい。周囲の長方形面積に対して白色ではないピクセルのパーセンテージが閾値パーセンテージを超える場合、場所は、候補場所から排除されてもよい。
よい。言い換えれば、処理構成要素は、場所がバーコードである候補であるかどうかを判定することができる。例えば、処理構成要素は、組み合わされた画像内に残っている各場所の各々を１つ以上のバーコード基準と比較して、場所がバーコードである候補であるかどうかを判定してもよい。処理構成要素は、例えば、場所のサイズをバーコードサイズ基準と比較して、場所がバーコードであるには小さすぎるか、又は大きすぎるかを判定してもよい。場所のサイズが閾値よりも小さい場合、処理構成要素は、場所がバーコードではないと判定することができる。場所がバーコードとして検出された場合でも、小さすぎる場所は、バーコードを解決するのに十分な詳細を備えていない場合があり、無視されてもよい。別の例として、処理構成要素は、場所の形状をバーコード形状基準と比較して、バーコード、例えば、長方形又は正方形の形状と実質的に同様ではない場所を排除してもよい。更に別の例では、処理構成要素は、場所の充填係数をバーコード充填係数基準と比較してもよい。特に、正方形又は長方形は、周囲の長方形面積に対してどれくらいのピクセルが白色でないかを判定するために、場所の周りに配置されてもよい。周囲の長方形面積に対して白色ではないピクセルのパーセンテージが閾値パーセンテージを超える場合、場所は、候補場所から排除されてもよい。
【0121】
次いで、処理構成要素は、場所における残りのデジタル画像が固有のバーコード特徴を有するかどうかを確認することによって、残りの場所が実際にバーコードであるかどうかを判定してもよい。例えば、いくつかの２Ｄバーコードの場合、処理構成要素は、バーコードである候補として識別された画像の場所を分析し、識別された場所がバーコードファインダパターンを含むかどうかを判定してもよい。２Ｄデータマトリックスバーコードの場合、処理構成要素は、場所内の固有の周囲パターン、例えば、交互の黒色及び白色の正方形モジュールからなる２つの垂直なラインを探してもよい。２ＤＱＲバーコードの場合、処理構成要素は、識別された場所の３つの角で入れ子になった交互の暗い正方形及び明るい正方形のファインダパターンを探してもよい。しかしながら、処理構成要素は、他の固有のバーコードファインダパターン又は他のバーコード記号と関連付けられた他の固有の特徴の識別された場所を分析してもよい。更に、処理構成要素は、デジタル画像のグレースケールバージョン、生成されたエッジマップ、又は固有のバーコード特徴若しくはパターンの生成された低強度マップなどの元の画像９０２以外の画像を分析してもよい。このようにして、バーコード（すなわち、被写体）に対応する画像９０２内の場所は、ステップ８０６で処理構成要素によって判定され、かつ出力されてもよい。
【0122】
８０８でのプロセス８００は、被写体の第３の画像を第２の画像センサによって捕捉することを含んでもよい。処理構成要素は、第１の画像センサとは異なる第２の画像センサを呼び出して、被写体の別の画像を捕捉してもよい。いくつかの例示的な実施形態では、第２の画像センサは、撮像システムの遠視野内での撮像に好適な画像センサであってもよい。したがって、第２の画像センサは、ローリングシャッターを有してもよい。代替的に、いくつかのより集中的な用途では、第２の画像センサは、グローバルシャッターを有してもよい。第２の画像センサは、被写体を含むシーンの画像を捕捉してもよい。
【0123】
プロセス８００は、８１０において、第３の画像内の被写体の第２の場所を判定することを更に含んでもよい。第２の画像センサによって捕捉された画像は、処理構成要素によって好適に処理されて、捕捉された画像（すなわち、第３の画像）内の被写体の場所を判定してもよい。例えば、被写体がバーコードであってもよい例示的なシナリオでは、処理構成要素は、ステップ８０６を参照して説明したものと同様の様式で、捕捉された画像内のバーコードの場所を判定するためのサブプロセスを実施してもよい。したがって、ステップ８１０において、第３の画像（第２の画像センサによって捕捉された画像）における被写体の第２の場所を判定してもよい。
【0124】
プロセス８００は、８１２において、ステップ８０６で判定された第１の場所及びス
テップ８１０で判定された第２の場所の関数として被写体への距離を計算することを更に含んでもよい。被写体への距離の計算は、第１の画像センサと第２の画像センサとの間のベースライン、第１の画像センサ及び第２の画像センサの各々の撮像距離、並びに第１の画像センサ及び第２の画像センサのそれぞれの画像オフセットなどの様々なパラメータの計算を必要とする。いくつかの例示的な実施形態では、被写体への距離ｚ（撮像システム／装置から）は、以下の式から計算することができる。
式中、
Ｂは、第１の画像センサと第２の画像センサとの間のベースライン距離であり、
ｖ１及びｖ２は、それぞれ、第１の画像センサ及び第２の画像センサの撮像距離であり、
ｄ１及びｄ２は、被写体の第１の場所及び被写体の第２の場所から計算される第１の画像及び第３の画像における画像オフセットである。
テップ８１０で判定された第２の場所の関数として被写体への距離を計算することを更に含んでもよい。被写体への距離の計算は、第１の画像センサと第２の画像センサとの間のベースライン、第１の画像センサ及び第２の画像センサの各々の撮像距離、並びに第１の画像センサ及び第２の画像センサのそれぞれの画像オフセットなどの様々なパラメータの計算を必要とする。いくつかの例示的な実施形態では、被写体への距離ｚ（撮像システム／装置から）は、以下の式から計算することができる。
【数1】
Ｂは、第１の画像センサと第２の画像センサとの間のベースライン距離であり、
ｖ１及びｖ２は、それぞれ、第１の画像センサ及び第２の画像センサの撮像距離であり、
ｄ１及びｄ２は、被写体の第１の場所及び被写体の第２の場所から計算される第１の画像及び第３の画像における画像オフセットである。
【0125】
第１の画像センサ及び第２の画像センサのベースラインＢは、撮像装置／システムの設計から取得されてもよい。図９Ｂに示すように、２つの画像センサ間のベースライン距離Ｂは、光学的中心Ｏ１とＯ２間の直線距離に対応する。例えば。Ｏ１は、第１の画像センサの光学的中心に対応してもよく、Ｏ２は、第２の画像センサの光学的中心に対応してもよい。いくつかの例示的な実施形態では、画像センサの光学的中心は、捕捉される画像のシーンからの入射照明に露出される画像センサの面積の中心から考慮されてもよい。
【0126】
光学的中心と画像センサの光軸の開始点との間の距離は、その画像センサの撮像距離「ｖ」を画定してもよい。図９Ｂを参照すると、第１の画像センサの撮像距離ｖ１は、点Ｏ１とＣ１との間の直線距離に対応してもよい。同様に、第２の画像センサの撮像距離ｖ２は、点Ｏ２とＣ２との間の直線距離に対応してもよい。
【0127】
画像センサの光軸の開始点と画像センサ上の被写体形成の中心（すなわち、捕捉画像内の被写体の場所）との間の距離は、画像センサの画像オフセット「ｄ」及びその対応する捕捉された画像を画定してもよい。第１の画像及び第２の画像における画像オフセットは、それぞれの捕捉された画像における被写体の場所の関数である。例えば、第１の画像センサの画像オフセットは、被写体の第１の画像における被写体の第１の場所の関数であり、一方、第２の画像センサの画像オフセットは、第３の画像内の被写体の第２の場所の関数である。図９Ｂを参照すると、第１の画像の画像オフセットｄ１は、点Ｃ１とＡ１との間の直線距離に対応してもよい。同様に、第２の画像の画像オフセットｄ２は、点Ｃ２とＡ２との間の直線距離に対応してもよい。
【0128】
このようにして、本明細書に記載の例示的な実施形態は、撮像条件が効果的な画像捕捉に好適でない場合でも、被写体への距離を推定するための効果的なプロセスを提供する。
【0129】
ステップ８０４での判定に戻って参照すると、第１の画像の画像捕捉時の照明条件が、周囲光が非常に高いような場合、視覚対象は、捕捉された画像内の背景と融合するか、又は、捕捉された画像内の背景で抑えられてもよい。そのような状況では、強度差は閾値未満であってもよく、ステップ８０４で判定することの結果は「いいえ」であり、制御はステップ８１４に進む。
【0130】
プロセス８００は、８１４において、第１の画像内の視覚対象の深度を被写体への距離として計算することを含んでもよい。したがって、例えば、撮像条件が、図９Ａのエィマ９０４が背景から実質的に区別可能であることを示す場合、本発明の例示的な実施形態は、被写体への距離を計算するためのより集中的なプロセスを提供してもよい。そのようなシナリオでは、被写体への距離は、図７のステップ７０２で第１の画像センサによって捕捉された画像から判定された視覚対象に対する深度として推定されてもよい。これに関して、距離は、限定されないが三角測量などの任意の好適な手法によって判定することができる。
【0131】
このようにして、本明細書に記載の例示的な実施形態は、適切な距離判定モードを適切に選択することによって、被写体への距離を効果的に判定するための方法、装置、及びシステムを提供する。いくつかの例示的な実施形態では、プロセス７００及び／又は８００は、周囲照明が所定のレベルの明瞭度で被写体の捕捉を防止するシナリオでトリガされてもよい。
【0132】
距離判定モードのうちのいずれかによって被写体への距離を計算すると、８１６のプロセス８００は、被写体への計算された距離に基づいて、第２の画像センサの焦点位置を変更することを含む。被写体への推定距離は、被写体が撮像装置／システムからどれだけ離れているかの尺度である。したがって、被写体への推定距離を利用して、画像センサの光学系の対応する焦点位置を判定してもよい。被写体が撮像装置／システムの遠視野にある場合、遠視野画像センサは、撮像装置／システムの遠視野での撮像により好適であり得る。しかしながら、被写体が撮像装置／システムの近視野にある場合、近視野画像センサが、画像捕捉に好ましい選択肢であり得る。いくつかの例示的な実施形態では、被写体への推定距離を利用して、どの画像センサが更なる処理のための被写体の画像捕捉に好適であるかを判定してもよい。例えば、被写体への推定距離が閾値以下である場合、近視野画像センサが画像捕捉に利用されてもよいが、被写体への推定距離が閾値よりも多い場合、遠視野画像センサは、被写体の画像捕捉に利用されてもよい。したがって、選択された画像センサの推定距離に基づく焦点選択が実施されてもよい。これに関して、処理構成要素は、被写体への距離と画像センサの焦点ステップとの間の関係を説明するルックアップテーブルを参照してもよい。ルックアップテーブルを使用して、適切な焦点ステップを判定してもよく、特定の画像センサは、判定された焦点ステップに従って移動されてもよい。
【0133】
このようにして、本明細書に記載の例示的な実施形態は、被写体が焦点に合う場所からの位置に好適な画像センサを移動させるための方法及びマシンを提供する。いくつかの実施形態は、周囲照明が、被写体が画像センサとの焦点に合わせることを阻害するシナリオを対象とする。本明細書に記載の実施形態は、時間効率的かつエネルギー効率的な自動焦点選択を提供する。そのような実施形態は、１つ以上の撮像条件を考慮して、被写体の深度を判定するための最良適合モードを選択し、選択された最良適合モードに従って焦点選択を実施する。
【0134】
図１０は、本開示の少なくとも１つの例示的な実施形態による、例示的なマルチセンサ撮像システムによって実行される標識復号化プロセスの例示的なワークフローを示す。いくつかの例示的な実施形態では、撮像システム１０及び／又は撮像装置２００は、標識リーダなどの例示的な記号読み取りデバイスを含むか、又はその一部であってもよい。図１０に示されるようなプロセス１０００は、方法７００及び８００の様々な態様を含む記号復号化方法を提供する。複数の画像センサを有する記号リーダは、プロセス１０００を実装するときに、マルチイメージャ環境で自動焦点選択から生じる問題を軽減することができ、したがって、高速かつエネルギー効率的な自動焦点スキーム及び記号の画像のエラーのない、又は軽減されたエラーの捕捉を提供することができる。これにより、記号のより速く効率的な復号化がもたらされる。ワークフローの更なる利点は、以下の開示を通し
て明らかになるであろう。
て明らかになるであろう。
【0135】
プロセス１０００のいくつか又は全てのステップは、適切なデータ処理手段及び制御手段によって、実行されてもよい。例えば、いくつかの例示的な実施形態では、プロセス１０００は、記号リーダのコントローラ又は１つ以上のプロセッサによって実行されてもよい。いくつかの例示的な実施形態では、記号リーダのコントローラは、撮像システム１０のコントローラ２０を参照して説明したものと同様の様式で具現化されてもよい。
【0136】
プロセス１０００は、撮像装置２００の起動構成要素２０６上のユーザからの入力を受信するとトリガされる。これに応答して、プロセス１０００は、インジケータとしてエィマをオンにすることによって、１００２で開始する。図２を参照して説明したように、エィマ照明源１１０及びエィマ投影光学系１１２は一緒に、所望のパターンとしてエィマを生成してもよい。いくつかの例示的な実施形態では、エィマは、エィマ投影光学系を介してシーン上に投影される。次に、１００４において、プロセス１０００は、被写体としての標識を含むシーンの第１の画像を捕捉することを含む。第１の画像は、エィマがオンになった近視野画像センサによって捕捉されてもよい。したがって、第１の画像はまた、近視野画像と称され得る。いくつかの例示的な実施形態では、近視野画像は、好ましくは、近視野照明がオンになって捕捉されてもよい。しかしながら、周囲照明が近視野画像の捕捉に十分でない可能性がある場合、近視野画像センサは、近視野照明がオンになって近視野画像を捕捉してもよい。
【0137】
１００６において、投影されたエィマと背景との間の強度差が判定される。強度差は、例えば、図８を参照して前に考察されたような様式で、様々な方式で判定されてもよい。１００８において、判定された強度差のチェックが実施される。チェックは、判定された強度差が閾値以上であるかどうかを判定する。１００８において、チェックの結果が「はい」を示す場合、制御は、第１のモードが距離判定モードとして選択される１０１０に進む。しかしながら、１００８でのチェックの結果が「いいえ」を示す場合、制御は、第２のモードが距離判定モードとして選択される１０１２に進む。第１のモードは、近視野画像に捕捉されたように投影されたエィマの距離に基づいて、標識などの被写体への距離を判定するための一連のステップに対応する。第２のモードは、近視野画像における被写体の場所及び遠視野画像センサによって捕捉された遠視野画像に基づいて、標識などの被写体への距離を判定するための一連のステップに対応する。
【0138】
好適な距離判定モードを選択すると、プロセス１０００は、１０１４において、選択された距離判定モードに基づいて、標識への距離を計算することを含む。標識への距離は、場合によっては、図８のステップ８１２又は８１４に従って、選択されたモードに従って計算されてもよい。計算された距離は、撮像エンジンからの標識の距離の尺度である。したがって、１０１６では、プロセス１０００は、遠視野内の撮像エンジンを、標識への計算された距離に基づいて判定された焦点位置に移動させることを含む。図８のステップ８１６を参照して前に考察されたように、遠視野画像センサの対応する焦点位置は、標識への計算された距離に基づいて判定されてもよく、撮像エンジンの遠視野画像センサの撮像光学系は、判定された焦点位置／焦点ステップに従って移動されてもよい。これにより、標識が遠視野画像センサとの焦点に合わせることが確実になる。
【0139】
１０１８において、焦点内標識の画像は、設定焦点位置から遠視野画像センサによって捕捉される。画像は、標識の遠視野画像と称され得る。プロセス１０００は、１０２０において、標識に暗号化された情報を抽出するために、標識の捕捉された遠視野画像を復号化することを含む。復号化の結果は、その後の動作又は処理のために、標識リーダによって出力されてもよい。
【0140】
このようにして、図１０に示される例示的なワークフローは、好適なハードウェアによって記号／標識復号化を実施するために利用されてもよく、それにより、選択された距離判定モードによって提供される改善された焦点選択制御により、近視野画像及び／又は遠視野画像からの標的記号を良好に復号化する可能性が大幅に増加する。復号化プロセスにおけるそのような改善は、記号デコーダデバイス自体の全体的な機能の改善をもたらす。
【0141】
図１０に示す例示的なワークフローは、記号復号化としてエンドアプリケーションを考慮して説明されてきたが、本開示の範囲内では、デュアル又は複数の画像センサ（及びそれにより、複数の照明源）を利用する他のエンドアプリケーションタスクも、本明細書で提供される改善された照明制御及び同期フレームワークから利益を得るように修正されてもよいことが企図されてもよい。すなわち、本開示の範囲は記号デコーダのみに限定されるべきではなく、好適な修正が、照明制御フレームワークをマルチカメラベースの携帯電話などの同様の最終使用事例に拡張するために行われてもよい。いくつかの例示的な文脈では、マルチ画像センサデバイスは、少なくとも２つのカメラを有するスマートフォンとして具現化されてもよい。カメラは、それらの各々と関連付けられた同じ又は別個の照明源を有してもよい。スマートフォン内の少なくとも１つのカメラは、明るい、よく照らされた、及び低く照らされたシナリオにおける画像捕捉と関連付けられた一次カメラとみなされてもよい。そのようなカメラの画質は、メガピクセル（megapixel、ＭＰ）強度と
直接関連付けられてもよく、いくつかの例示的な実施形態では、一次カメラは、１２、２４、４８、又は６４ＭＰを有してもよい。スマートフォン内の１つ以上の他のカメラは、１つ以上の画像強化機能と関連付けられた二次カメラとみなされてもよい。例えば、スマートフォンは、超ズームオプションを支持する望遠レンズを有してもよい。いくつかの例示的な実施形態では、望遠レンズは、２倍～１０倍の範囲のズーム係数を支持してもよい。いくつかのより高度な実施形態では、スマートフォンは、スマートフォンの視野を強化するための超広角レンズを有してもよい。追加的又は任意選択的に、いくつかの例示的な実施形態では、スマートフォンは、視野内の一次被写体と比較して、背景対象の深度を測定するための深度センサを含んでもよい。スマートフォンは、方法７００、８００、及び１０００に示されるロジックに対応するプログラミング命令を記憶するメモリを備えてもよい。これらのプログラミング命令は、被写体の画像捕捉中に自動焦点選択を実行するためにスマートフォンのプロセッサによって実行可能であり得る。例示的な実施形態はまた、焦点選択のための適応プロセスも提供するため、提案された解決策は、多種多様な撮像シナリオ及び状況に適用される。
直接関連付けられてもよく、いくつかの例示的な実施形態では、一次カメラは、１２、２４、４８、又は６４ＭＰを有してもよい。スマートフォン内の１つ以上の他のカメラは、１つ以上の画像強化機能と関連付けられた二次カメラとみなされてもよい。例えば、スマートフォンは、超ズームオプションを支持する望遠レンズを有してもよい。いくつかの例示的な実施形態では、望遠レンズは、２倍～１０倍の範囲のズーム係数を支持してもよい。いくつかのより高度な実施形態では、スマートフォンは、スマートフォンの視野を強化するための超広角レンズを有してもよい。追加的又は任意選択的に、いくつかの例示的な実施形態では、スマートフォンは、視野内の一次被写体と比較して、背景対象の深度を測定するための深度センサを含んでもよい。スマートフォンは、方法７００、８００、及び１０００に示されるロジックに対応するプログラミング命令を記憶するメモリを備えてもよい。これらのプログラミング命令は、被写体の画像捕捉中に自動焦点選択を実行するためにスマートフォンのプロセッサによって実行可能であり得る。例示的な実施形態はまた、焦点選択のための適応プロセスも提供するため、提案された解決策は、多種多様な撮像シナリオ及び状況に適用される。
【0142】
図７、図８、及び図１０において上記に示されたフローチャートの各ブロック、及びフローチャート内のブロックの組み合わせは、ハードウェア、ファームウェア、プロセッサ、回路、及び／又は１つ以上のコンピュータプログラム命令を含むソフトウェアの実行と関連付けられた他の通信デバイスなどの様々な手段によって実装され得ることが理解されよう。例えば、上述の手順のうちの１つ以上は、コンピュータプログラム命令によって具現化されてもよい。この点に関して、上述の手順を具現化するコンピュータプログラム命令は、本発明の実施形態を用いる装置のメモリデバイスによって記憶され、撮像装置／システム内のプロセッサによって実行されてもよい。理解されるであろうように、任意のそのようなコンピュータプログラム命令は、マシンを生成するためにコンピュータ又は他のプログラム可能な装置（例えば、ハードウェア）上にロードされてもよく、結果として得られるコンピュータ又は他のプログラム可能な装置は、フローチャートのブロック内に指定された機能を実装する。コンピュータ又は他のプログラム可能な装置に対して特定の様式で機能するように指示し得るこれらのコンピュータプログラム命令はまた、コンピュータ可読メモリに記憶されてもよく、コンピュータ可読メモリに記憶された命令によって製品が生成され、その実行により、フローチャートのブロック内に指定された機能が実装される。コンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能な装
置で実施される一連の動作を引き起こしてコンピュータ実装プロセスを生成するように、コンピュータ又は他のプログラム可能な装置にロードされてもよく、それにより、コンピュータ又は他のプログラム可能な装置で実行する命令は、フローチャートのブロック内に指定された機能を実装するための動作を提供する。
置で実施される一連の動作を引き起こしてコンピュータ実装プロセスを生成するように、コンピュータ又は他のプログラム可能な装置にロードされてもよく、それにより、コンピュータ又は他のプログラム可能な装置で実行する命令は、フローチャートのブロック内に指定された機能を実装するための動作を提供する。
【0143】
したがって、フローチャートのブロックは、指定の機能を実施するための手段の組み合わせと、指定の機能／動作を実施するための指定の機能を実施する動作の組み合わせとを支持する。フローチャートの１つ以上のブロック、及びフローチャート内のブロックの組み合わせは、指定の機能を実施する専用のハードウェアベースコンピュータシステム、又は専用のハードウェア及びコンピュータ命令の組み合わせによって実装され得ることも理解されよう。
【0144】
例示的な処理システムについて上述してきたが、本明細書に記載される主題及び機能動作の実装は、他のタイプのデジタル電子回路で、又は本明細書に開示される構造及びそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらのうちの１つ以上の組み合わせで実装することができる。
【0145】
本明細書に記載される主題及び動作の実施形態は、デジタル電子回路で、又は本明細書に開示される構造及びそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらのうちの１つ以上の組み合わせで実装することができる。本明細書に記載される主題の実施形態は、１つ以上のコンピュータプログラム、すなわち、情報／データ処理装置による実行のための、又はその動作を制御するための、コンピュータ記憶媒体上に符号化された、コンピュータプログラム命令の１つ以上のモジュールとして、実装することができる。代替的又は追加的に、プログラム命令は、情報／データ処理装置による実行のために好適な受信機装置へと送信する情報／データを符号化するために生成される人工的に生成された伝播信号、例えば、マシン生成された電気信号、光学信号、又は電磁信号上に符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダム若しくはシリアルアクセスメモリアレイ若しくはデバイス、又はそれらのうちの１つ以上の組み合わせであるか、又はそれに含まれ得る。更に、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号で符号化されるコンピュータプログラム命令のソース又はデスティネーションとすることができる。コンピュータ記憶媒体はまた、１つ以上の別個の物理的構成要素又は媒体（例えば、複数のＣＤ、ディスク、又は他の記憶デバイス）であるか、又はそれらに含まれ得る。
【0146】
本明細書に記載される動作は、１つ以上のコンピュータ可読記憶デバイス上に記憶された、又は他のソースから受信された、情報／データ上で情報／データ処理装置により実施される動作として実装することができる。
【0147】
用語「データ処理装置」は、例えば、プログラム可能なプロセッサ、コンピュータ、チップ上のシステム、又は複数の前述のもの若しくは前述のものの組み合わせを含む、データを処理するための全ての種類の装置、デバイス、及びマシンを包含する。装置は、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、リポジトリ管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、視覚マシン、又はそれらのうちの１つ以上の組み合わせを構成するコードを含むことができる。装置及び実行環境は、ウェブサービス、分散コンピューティング、及びグリッドコンピューティングインフラなど、様々なコンピューティングモデルインフラを実現することができる。
【0148】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル型又はインタプリタ型言語、宣言型又は手続き型言語を含む、任意の形態のプログラミング言語で書くことができ、また、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、オブジェクト、若しくはコンピューティング環境内での使用に好適な他のユニットとしての形態を含む、任意の形態で展開することができる。コンピュータプログラムは、必ずしも必要ではないが、ファイルシステム内のファイルと一致してもよい。プログラムは、他のプログラム又は情報／データ（例えば、マークアップ言語文書内に記憶された１つ以上のスクリプト）を保持するファイルの部分内に、問題のプログラムに専用の単一のファイル内に、又は複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を記憶するファイル）内に記憶することができる。
【0149】
本明細書に記載されるプロセス及び論理フローは、入力情報／データ上で動作し、出力を生成することによってアクションを実施するように１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実施することができる。コンピュータプログラムの実行に好適なプロセッサとしては、例えば、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサが挙げられる。一般に、プロセッサは、読み取り専用メモリ又はランダムアクセスメモリ又はその両方から命令及び情報／データを受信する。コンピュータの必須要素は、命令に従ってアクションを実施するためのプロセッサ、並びに命令及びデータを記憶するための１つ以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスク、若しくは光ディスクを含むか、又はそれらから情報／データを受信する、若しくはそれらに情報／データを送信する、若しくは両方を行うように動作可能に連結される。しかしながら、コンピュータは、必ずしもそのようなデバイスを有する必要はない。コンピュータプログラム命令及び情報／データを記憶するのに好適なデバイスには、例示的な半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスを含む、全ての形態の非揮発性メモリ、媒体、及びメモリデバイス、磁気ディスク、例えば、内部ハードディスク又は取り外し可能なディスク、磁気光学ディスク、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクが含まれる。プロセッサ及びメモリは、専用論理回路によって補完されるか、又はその中に組み込まれ得る。
【0150】
ユーザとの相互作用を提供するために、本明細書に記載される主題の実施形態は、ユーザに情報／データを表示するためのディスプレイデバイス、例えば、ＣＲＴ（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ、陰極線管）又はＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、液晶ディスプレイ）モニタ、並びにユーザがコンピュータに入力を提供することができる、キーボード及びポインティングデバイス、例えば、マウス又はトラックボールを有するコンピュータ上に実装することができる。他の種類のデバイスも、ユーザとの相互作用を提供するために使用することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックとすることができ、ユーザからの入力は、音響、音声、又は触覚入力を含む、任意の形態で受信することができる。更に、コンピュータは、ユーザによって使用されるデバイスに文書を送信及び受信することによって、例えば、ウェブブラウザから受信された要求に応答して、ウェブページをユーザのクライアントデバイス上のウェブブラウザに送信することによって、ユーザと相互作用することができる。
【0151】
本明細書は、多くの具体的な実装詳細を含むが、これらは、いかなる開示又は特許請求され得るものの範囲を制限するものとして解釈されるべきではなく、むしろ特定の開示の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態のコ
ンテキストにおいて本明細書に記載される特定の特徴はまた、単一の実施形態で組み合わせて実装され得る。逆に、単一の実施形態の文脈で説明される様々な特徴はまた、多数の実施形態において別々に、又は任意の好適なサブコンビネーションで実装することができる。更に、特徴は、特定の組み合わせで作用するものとして上記で説明され、最初はそのように主張されていても、特許請求される組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから削除することができ、特許請求される組み合わせは、サブコンビネーション又はサブコンビネーションの変形を対象とし得る。
ンテキストにおいて本明細書に記載される特定の特徴はまた、単一の実施形態で組み合わせて実装され得る。逆に、単一の実施形態の文脈で説明される様々な特徴はまた、多数の実施形態において別々に、又は任意の好適なサブコンビネーションで実装することができる。更に、特徴は、特定の組み合わせで作用するものとして上記で説明され、最初はそのように主張されていても、特許請求される組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから削除することができ、特許請求される組み合わせは、サブコンビネーション又はサブコンビネーションの変形を対象とし得る。
【0152】
同様に、動作は、図面に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作を示される特定の順序又は順番に実行すること、又は示される全ての動作を実行することを要求するものとして理解されるべきではない。特定の状況では、マルチタスキング及び並列処理が有利であり得る。更に、上述の実施形態における様々なシステム構成要素の分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、記載されるプログラム構成要素及びシステムは、一般に、単一のソフトウェア製品に一体化する、又は複数のソフトウェア製品にパッケージ化することができることを理解されたい。
【0153】
こうして、本主題の特定の実施形態が説明されてきた。他の実施形態は、以下の特許請求の範囲の範囲内である。場合によっては、特許請求の範囲に列挙されたアクションは、異なる順序で実行され得、依然として望ましい結果を達成することができる。加えて、添付の図面に示されたプロセスは、望ましい結果を達成するために、図示の特定の順序、又は連続的な順序を必ずしも必要としない。特定の実装形態では、マルチタスキング及び並列処理が有利であり得る。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
