特開2023-159052イメージセンサからの読出し用の画素値を供給するための方法および機構
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023159052
(43)【公開日】2023-10-31
(54)【発明の名称】イメージセンサからの読出し用の画素値を供給するための方法および機構
(51)【国際特許分類】
H04N 25/40 20230101AFI20231024BHJP
H04N 25/70 20230101ALI20231024BHJP
G01B 11/25 20060101ALI20231024BHJP
【ＦＩ】
H04N25/40
H04N25/70
G01B11/25 H
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023067942
(22)【出願日】2023-04-18
(31)【優先権主張番号】22168918
(32)【優先日】2022-04-19
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】504048696
【氏名又は名称】シック アイヴィピー エービー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】マティアス・ヨハンネソン
(72)【発明者】
【氏名】ヨハン・メランデル
【テーマコード（参考）】
2F065
5C024
【Ｆターム（参考）】
2F065AA24
2F065AA52
2F065FF01
2F065FF09
2F065FF42
2F065GG04
2F065HH05
2F065HH13
2F065JJ03
2F065JJ08
2F065JJ26
2F065QQ24
5C024AX02
5C024CX51
5C024CY17
5C024CY45
5C024JX08
(57)【要約】 （修正有）
【課題】光三角測量に基づく３Ｄ撮像のスループットの向上および高速アプリケーションが可能なレーザ三角測量ベースの３Ｄ撮像システム、装置及び方法を提供する。
【解決手段】各列の画素値を閾画素値と比較することにより、光三角測量中に対象物が光ラインによって照光されたときの強度ライン２５１上の画素であって、各列における最高強度の画素のまわりのウィンドウ幅（ＷＡＭ幅）（例えばｍ列における画素Ｐｍ，ｎのまわりのＷＡＭ幅２５７）を識別し、ＷＡＭに包含される画素のみを読み出すことにより、読出しの回数を減少させる。
【選択図】図２Ａ
【解決手段】各列の画素値を閾画素値と比較することにより、光三角測量中に対象物が光ラインによって照光されたときの強度ライン２５１上の画素であって、各列における最高強度の画素のまわりのウィンドウ幅（ＷＡＭ幅）（例えばｍ列における画素Ｐｍ，ｎのまわりのＷＡＭ幅２５７）を識別し、ＷＡＭに包含される画素のみを読み出すことにより、読出しの回数を減少させる。
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
イメージセンサ（４３１）の画素の少なくとも１つの領域からの読出し用の画素値を供給するために１つまたは複数の装置（４３３、１０００）によって実行される方法であって、
－ 複数の画素に対応する最大値におけるウィンドウ（ＷＡＭ）幅（２５７、３５７、６５７）と閾画素値とを指示する情報を取得するステップ（５０１）と、
－ 前記イメージセンサ（４３１）の少なくとも前記領域の画素を露光するステップ（５０２）であって、それによって、露光された画素が、それぞれ前記露光中に感知された光に対応するアナログ画素値を達成する、ステップ（５０２）と、
－ 前記領域のそれぞれのイメージセンサ列（２５２、３５２）における１つまたは複数の画素（２５５、３５５、６５５）のそれぞれの画素群を識別するステップ（５０３）であって、前記露光中の前記それぞれの画素群のアナログ画素値が、前記それぞれの列（２５２、３５２）の中で最初に前記閾画素値に達するかまたは越える、ステップと、
－ 前記識別されたそれぞれの画素群（２５５、３５５、６５５）を、前記領域の前記それぞれのイメージセンサ列（２５２、３５２）における、前記ＷＡＭ幅（２５７、３５７、６５７）を有するそれぞれのＷＡＭ（２５８、３５８、６５８）のそれぞれの特定のＷＡＭ位置と関連付けるステップ（５０５）であって、それによって、前記それぞれのＷＡＭが、それぞれの列において、前記識別されたそれぞれの画素群および近隣の画素をカバーする前記ＷＡＭ幅に対応する複数の画素を識別する、ステップ（５０５）と、
－ ＷＡＭ位置ごとの並行読出しのために、前記露光に基づいて、前記それぞれのＷＡＭ（２５８、３５８、６５８）における同一のＷＡＭ位置（３６４、６６４）に関連する画素の画素値を供給するステップ（５０６）と
を含む方法。
－ 複数の画素に対応する最大値におけるウィンドウ（ＷＡＭ）幅（２５７、３５７、６５７）と閾画素値とを指示する情報を取得するステップ（５０１）と、
－ 前記イメージセンサ（４３１）の少なくとも前記領域の画素を露光するステップ（５０２）であって、それによって、露光された画素が、それぞれ前記露光中に感知された光に対応するアナログ画素値を達成する、ステップ（５０２）と、
－ 前記領域のそれぞれのイメージセンサ列（２５２、３５２）における１つまたは複数の画素（２５５、３５５、６５５）のそれぞれの画素群を識別するステップ（５０３）であって、前記露光中の前記それぞれの画素群のアナログ画素値が、前記それぞれの列（２５２、３５２）の中で最初に前記閾画素値に達するかまたは越える、ステップと、
－ 前記識別されたそれぞれの画素群（２５５、３５５、６５５）を、前記領域の前記それぞれのイメージセンサ列（２５２、３５２）における、前記ＷＡＭ幅（２５７、３５７、６５７）を有するそれぞれのＷＡＭ（２５８、３５８、６５８）のそれぞれの特定のＷＡＭ位置と関連付けるステップ（５０５）であって、それによって、前記それぞれのＷＡＭが、それぞれの列において、前記識別されたそれぞれの画素群および近隣の画素をカバーする前記ＷＡＭ幅に対応する複数の画素を識別する、ステップ（５０５）と、
－ ＷＡＭ位置ごとの並行読出しのために、前記露光に基づいて、前記それぞれのＷＡＭ（２５８、３５８、６５８）における同一のＷＡＭ位置（３６４、６６４）に関連する画素の画素値を供給するステップ（５０６）と
を含む方法。
【請求項2】
前記ＷＡＭ幅に対応する前記画素が、それぞれの列において前記識別されたそれぞれの画素群（２５５、３５５、６５５）のまわりに配置される、請求項１に記載の方法。
【請求項3】
前記識別されたそれぞれの画素群（２５５、３５５、６５５）が関連付けられている前記それぞれのＷＡＭ（２５８、３５８、６５８）の前記それぞれの特定のＷＡＭ位置が、前記それぞれのＷＡＭ（２５８、３５８、６５８）のそれぞれの中心位置である、請求項１または２に記載の方法。
【請求項4】
－ 前記識別されたそれぞれの画素群（２５５、３５５、６５５）に関連したイメージセンサ行位置（２５４、３５４）を識別するそれぞれのイメージセンサ行位置識別子を記憶するステップ（５０４）と、
－ それぞれのＷＡＭ（２５８、３５８、６５８）に関連した読出しのために、前記それぞれのＷＡＭ（２５８、３５８、６５８）に関連した、前記記憶されたそれぞれのセンサ行位置識別子を供給するステップ（５０７）であって、それによって、それぞれのＷＡＭ（２５８、３５８、６５８）の前記供給されたアナログ画素値が、センサ列位置（２５２、３５２）に加えて、イメージセンサ行位置（２５４、３５４）にマッピングされ得、関連付けられるようになる、ステップ（５０７）と
をさらに含む、請求項１から３のいずれか一項に記載の方法。
－ それぞれのＷＡＭ（２５８、３５８、６５８）に関連した読出しのために、前記それぞれのＷＡＭ（２５８、３５８、６５８）に関連した、前記記憶されたそれぞれのセンサ行位置識別子を供給するステップ（５０７）であって、それによって、それぞれのＷＡＭ（２５８、３５８、６５８）の前記供給されたアナログ画素値が、センサ列位置（２５２、３５２）に加えて、イメージセンサ行位置（２５４、３５４）にマッピングされ得、関連付けられるようになる、ステップ（５０７）と
をさらに含む、請求項１から３のいずれか一項に記載の方法。
【請求項5】
別々のＷＡＭ位置（３６４、６６４）に関する並行読出しがシーケンスにおいて順次に行われ、前記シーケンスの長さが前記ＷＡＭ幅（２５７、３５７、６５７）に対応し、それぞれのそのような並行読出しがそれぞれのＷＡＭ位置（３６４）に関連付けられる、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記並行読出しのシーケンスの実行後に、前記イメージセンサ（４３１）の前記少なくとも前記領域の前記画素がリセットされて、第２の露光中に２回目の露光が行われることにより、前記露光された画素が、それぞれ、前記第２の露光中に感知された光に対応する新規の第２のアナログ画素値を達成し、前記それぞれのＷＡＭ（２５８、３５８、６５８）はそれぞれの第１のＷＡＭ（２５８、３５８、６５８）であり、前記領域の前記それぞれのイメージセンサ列（２５２、３５２）の中のそれぞれの新規の第２のＷＡＭ（２５８、３５８、６５８）が、前記それぞれの第１のＷＡＭ（２５８、３５８、６５８）を基に供給され、並行読出しのために、および前記第２の露光に基づいて、それぞれの第２のＷＡＭ（２５８、３５８、６５８）における前記同一のＷＡＭ位置（３６４、６６４）に関連した画素の画素値が供給される、請求項５に記載の方法。
【請求項7】
それぞれの画素群が２つ以上の画素のビニング群に対応し、前記それぞれの画素群の前記アナログ画素値が、前記画素群の前記画素のビニングされた画素値である、請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記露光中に、前記画素が、光三角測量に基づく対象物（４２０）の部分３Ｄ撮像として、前記対象物（４２０）から反射された光に露光される、請求項１から７のいずれか一項に記載の方法。
【請求項9】
並行読出し用に供給された前記画素値を読み出すステップ（５０８）をさらに含む、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記領域の同一のイメージセンサ列（２５２、３５２）における複数の画素群が、前記閾画素値に同時に達したかまたはそれを上回ったことをそれぞれ示したアナログ画素値を有する場合には、事前に定義された１つまたは複数の基準によって、このイメージセンサ列（２５２、３５２）について前記識別されたそれぞれの画素群として選択されるのは、前記複数の画素群のうち１つだけである、請求項１から９のいずれか一項に記載の方法。
【請求項11】
イメージセンサ（４３１）の画素の少なくとも１つの領域からの読出し用の画素値を供給するための１つまたは複数の装置（４３３、１０００）であって、
閾画素値と、複数の画素に対応する最大値のまわりのウィンドウ（ＷＡＭ）幅（２５７、３５７、６５７）とを指示する情報を取得し（５０１）、
前記イメージセンサ（４３１）の少なくとも前記領域の画素を露光する（５０２）ことにより、前記露光された画素が、それぞれ前記露光中に感知された光に対応するアナログ画素値を達成し、
前記領域のそれぞれのイメージセンサ列（２５２、３５２）の中の１つまたは複数の画素の群（２５５、３５５、６５５）であって、前記露光中のアナログ画素値が、前記それぞれの列（２５２、３５２）の中で、最初に前記閾画素値に達するかまたは越える、１つまたは複数の画素の群を識別し（５０３）、
前記識別されたそれぞれの画素群（２５５、３５５、６５５）を、前記領域の前記それぞれのイメージセンサ列（２５２、３５２）における、前記ＷＡＭ幅（２５７、３５７、６５７）を有するそれぞれのＷＡＭ（２５８、３５８、６５８）のそれぞれの特定のＷＡＭ位置と関連付ける（５０５）ことにより、それぞれの列における前記それぞれのＷＡＭに、前記識別されたそれぞれの画素群をカバーする前記ＷＡＭ幅に対応する複数の画素および近隣の画素を識別させ、
ＷＡＭ位置ごとの並行読出しのために、前記露光に基づいて、前記それぞれのＷＡＭ（２５８、３５８、６５８）における同一のＷＡＭ位置（３６４、６６４）に関連した画素の画素値を供給する（５０６）
ように構成されている、１つまたは複数の装置（４３３、１０００）。
閾画素値と、複数の画素に対応する最大値のまわりのウィンドウ（ＷＡＭ）幅（２５７、３５７、６５７）とを指示する情報を取得し（５０１）、
前記イメージセンサ（４３１）の少なくとも前記領域の画素を露光する（５０２）ことにより、前記露光された画素が、それぞれ前記露光中に感知された光に対応するアナログ画素値を達成し、
前記領域のそれぞれのイメージセンサ列（２５２、３５２）の中の１つまたは複数の画素の群（２５５、３５５、６５５）であって、前記露光中のアナログ画素値が、前記それぞれの列（２５２、３５２）の中で、最初に前記閾画素値に達するかまたは越える、１つまたは複数の画素の群を識別し（５０３）、
前記識別されたそれぞれの画素群（２５５、３５５、６５５）を、前記領域の前記それぞれのイメージセンサ列（２５２、３５２）における、前記ＷＡＭ幅（２５７、３５７、６５７）を有するそれぞれのＷＡＭ（２５８、３５８、６５８）のそれぞれの特定のＷＡＭ位置と関連付ける（５０５）ことにより、それぞれの列における前記それぞれのＷＡＭに、前記識別されたそれぞれの画素群をカバーする前記ＷＡＭ幅に対応する複数の画素および近隣の画素を識別させ、
ＷＡＭ位置ごとの並行読出しのために、前記露光に基づいて、前記それぞれのＷＡＭ（２５８、３５８、６５８）における同一のＷＡＭ位置（３６４、６６４）に関連した画素の画素値を供給する（５０６）
ように構成されている、１つまたは複数の装置（４３３、１０００）。
【請求項12】
前記１つまたは複数の装置（４３３、１０００）が、
前記識別されたそれぞれの画素群（２５５、３５５、６５５）のイメージセンサ行位置（２５４、３５４）を識別するそれぞれのイメージセンサ行位置識別子を記憶し（５０４）、
それぞれのＷＡＭ（２５８、３５８、６５８）に関連した読出しのために、前記それぞれのＷＡＭ（２５８、３５８、６５８）に関連した、前記記憶されたそれぞれのセンサ行位置識別子を供給し（５０７）、それによって、それぞれのＷＡＭ（２５８、３５８、６５８）の前記供給されたアナログ画素値が、センサ列位置（２５２、３５２）に加えて、イメージセンサ行位置（２５４、３５４）にマッピングされ得、関連付けられるようになる
ようにさらに構成されている、請求項１１に記載の１つまたは複数の装置（４３３、１０００）。
前記識別されたそれぞれの画素群（２５５、３５５、６５５）のイメージセンサ行位置（２５４、３５４）を識別するそれぞれのイメージセンサ行位置識別子を記憶し（５０４）、
それぞれのＷＡＭ（２５８、３５８、６５８）に関連した読出しのために、前記それぞれのＷＡＭ（２５８、３５８、６５８）に関連した、前記記憶されたそれぞれのセンサ行位置識別子を供給し（５０７）、それによって、それぞれのＷＡＭ（２５８、３５８、６５８）の前記供給されたアナログ画素値が、センサ列位置（２５２、３５２）に加えて、イメージセンサ行位置（２５４、３５４）にマッピングされ得、関連付けられるようになる
ようにさらに構成されている、請求項１１に記載の１つまたは複数の装置（４３３、１０００）。
【請求項13】
１つまたは複数の装置（４３３、１０００）によって実行されるとき、前記１つまたは複数の装置（４３３、１０００）に、請求項１から１０のいずれか一項に記載の方法を実行させる命令、および／またはハードウェア合成装置（１１０１）によって実行されたとき、ハードウェアを、請求項１１または１２に記載の１つまたは複数の装置（４３３、１０００）として合成し、かつ／または構成する命令を含む、１つまたは複数のコンピュータプログラム（１００３、１１０３）。
【請求項14】
請求項１３に記載の１つまたは複数のコンピュータプログラム（１００３、１１０３）を含む１つまたは複数のキャリアであって、各々が、電子信号、光信号、無線信号またはコンピュータ可読記憶媒体（１２０１）のうちのいずれかである、１つまたは複数のキャリア。
【請求項15】
請求項１１または１２に記載の１つまたは複数の装置（４３３、１０００）と、対象物（４２０）を特定の光パターンの光（４１１）で照光するように構成された光源（４１０）とを備える撮像システム（４０５）であって、前記特定の光パターンの光（４１１）が、前記対象物（４２０）によって反射されるとき、前記画素が少なくとも部分的に露光されるときの前記イメージセンサ（４３１）の入射光になり、それによって、読出し用の前記画素値が、前記光（４１１）を反射して前記イメージセンサ（４３１）上に前記入射光をもたらした前記対象物（４２０）上の位置に関する前記対象物（４２０）の３次元特性の情報に変換可能な情報を含むように、前記光源（４１０）と前記イメージセンサ（４３１）とが、前記撮像システム（４０５）において互いに関連して構成されている、撮像システム（４０５）。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の実施形態は、イメージセンサからの読出し用の画素値、特に光三角測量に基づく対象物の３Ｄ撮像の一部として対象物から反射された光の露光に由来する画素値を供給するための方法および機構に関する。
【背景技術】
【0002】
工場および物流を自動化するための工業用視覚カメラおよびシステムは、光景および／または対象物の３Ｄ画像が取り込まれる３次元（３Ｄ）機械視覚に基づき得る。３Ｄ画像とは、たとえば通常の画像における２次元（２Ｄ）のみの画素に関する強度および／または色といった情報ではない、または少なくともそれだけではない、「高さ」または「深さ」の情報を含む画像を指す。すなわち、画像の各画素が、画素の位置に関連した情報を含み得、たとえば対象物といった、撮像されたものの位置にマッピングする。次いで、３Ｄ画像から対象物の特性すなわち対象物の３Ｄ特性に関する情報を抽出して、たとえば様々な３Ｄ画像フォーマットに変換するための処理が適用され得る。高さに関するそのような情報は範囲データと称されることがあり、したがって、範囲データは、撮像されている対象物の高さ測定からのデータに対応し得、言い換えれば対象物の範囲または距離の測定からのデータに対応し得る。代わりに、またはそれに加えて、画素は、たとえば撮像された領域における光の散乱または光の特定の波長の反射に関するものなどの材料特性に関する情報を含み得る。
【0003】
よって、画素値は、たとえば画素の強度、および／または範囲データ、および／または材料特性に関係し得る。
【0004】
たとえば一度に画素の１ラインを感知して画像データ供給するように構成されたセンサを用いるカメラによって、画像の画像データが一度に１ラインずつ走査または供給されるとき、ライン走査画像データがもたらされる。ライン走査画像の特殊なケースには、たとえばレーザラインの３Ｄ三角測量といった、いわゆる「光のシート」によってもたらされる画像データがある。レーザはしばしば好ましいが、たとえば合焦を保つことが可能であまり広がらない光、言い換えれば、たとえばレーザまたは発光ダイオード（ＬＥＤ）によって供給される光である「構造光」を供給する光源といった、「光のシート」を供給することができる他の光源も使用され得る。
【0005】
３Ｄ機械視覚システムは、しばしば、そのような光のシートの三角測量に基づくものである。そのようなシステムでは、光源が、特定の光パターンとして光のシートなどの特定の光パターンで対象物を照光して、たとえば対象物上に光またはレーザのラインを生じさせ、このラインに沿って、対象物のプロファイルに対応する対象物の３Ｄ特性が取り込まれ得る。そのようなラインで対象物を走査することにより、すなわちラインおよび／または対象物の動きを包含するライン走査を実行することにより、複数のプロファイルに対応する全体の対象物の３Ｄ特性を取り込むことができる。
【0006】
三角測量のために光のシートを使用する３Ｄ機械視覚システムまたは装置は、光または光のシートの三角測量、またはレーザ光線が使用されるときには簡単にレーザ三角測量に基づく、３Ｄ撮像のためのシステムまたは装置と称され得る。
【0007】
一般的には、光三角測量に基づく３Ｄ画像を生成するために、撮像される対象物からの反射光がカメラのイメージセンサによって取り込まれ、画像データにおいて強度ピークが検知される。ピークは、たとえば対象物から反射されたレーザラインに対応する、入射光を用いて撮像された対象物上の場所に対応する位置において生じる。検知されたピークの画像の位置は、ピークをもたらす光が反射された、対象物上の位置にマッピングすることになる。
【0008】
レーザ三角測量カメラシステム、すなわち光三角測量に基づく撮像システムは、対象物にレーザラインを投射して、目的の対象物の表面からの高さプロファイルを生成する。包含するカメラおよび光源に対して対象物を動かすことにより、対象物の種々の部分から高さプロファイルに関する情報が画像によって取り込まれ、次いで、組み合わされて、システムの関連するジオメトリの知見とともに使用され得、対象物の３次元表現をもたらし、すなわち３Ｄ画像データがもたらされる。この技術は、一般的にはレーザラインである光が対象物に投射されて反射されたとき画像を取り込み、次いで、画像において、反射されたレーザラインの位置を抽出することと説明され得る。これは、通常は、画像フレームにおいて、たとえば通常のピーク検出アルゴリズムを使用して強度ピークの位置を識別することによって達成される。一般的には、撮像システムは、反射光に関する強度ピークが、センサ列ごとに生じ、また推測され、列における位置を高さまたは深さにマッピングするように設定されるが、このことは必須ではない。
【0009】
ピーク検出アルゴリズムは、一般的にはデジタル領域で動作し、ピークの光分布の中心位置をサブ画素の分解能で検出することを目的とする。これは、イメージセンサの画素に対応するセンサ要素によって感知された光に対応するアナログ画素値を包含した、強度ピークを伴う画像を、最初にイメージセンサから読み出してアナログ－デジタル（Ａ／Ｄ）変換する必要があることを意味する。従来、同一行の画素値は、イメージセンサから同時に読み出され、すなわち同一行の画素が並行して読み出され、その後並行してＡ／Ｄ変換されて、次いで、デジタル的に処理され、かつ／または記憶される。ある行の画素が読み出されたら、たとえば次の行といった別の画素の読出しが実行される、などである。すなわち、同一行の画素が並行して読み出されることがあり、そのような画素行の読出しとＡ／Ｄ変換とは、順次に、すなわち逐次的に行われる。
【0010】
一般に、遅延を解消するかまたは短縮して、３Ｄ撮像システムからのより高いスループットを促進する、または可能にすることが望ましく、たとえば、光三角測量に基づく３Ｄ撮像システムが、対象物の３Ｄ画像をいかに高速で供給することができるか、および／または高速で供給できること、あるいは、より高速のアプリケーションをよりよくサポートすることが望ましい。
【0011】
米国特許出願公開第２０２１／０００６７３８Ａ１号が開示している解決策は、分離した高速の読出しチャネルを使用して、イメージセンサからの全体画像に対応する全体の画素アレイを低精度かつ高速で読み出すことによって実行される、第１の読出しステップを用いるものである。読み出した画像は、その後、画像のＲＯＩの位置を計算するために使用される。次いで、第２の読出しステップにおいて別の画像として読み出される画素を選別するために、ＲＯＩの位置が、イメージセンサの画像画素アレイにフィードバックされる。第２の読出しステップは、ＲＯＩの画素を、別の、より遅い読出しチャネルを使用して最高確度で読み出すステップを包含するので、そのチャネルによって読み出す画素は、より少なくする必要がある。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】米国特許出願公開第２０２１／０００６７３８号明細書
【発明の概要】
【発明が解決しようとする課題】
【0013】
上記の観点から、本発明の目的は、特に、そのようなレーザ三角測量ベースの３Ｄ撮像に基づく３Ｄ撮像システムもしくは同３Ｄ撮像用の３Ｄ撮像システム、および／またはイメージセンサの動作に包含される遅延を短縮することなど、従来技術に対する１つまたは複数の改善または代替案を提供することである。
【課題を解決するための手段】
【0014】
本明細書の実施形態の第１の態様によれば、この目的は、少なくともイメージセンサの画素の領域からの読出し用の画素値を供給するための１つまたは複数の装置によって実行される方法によって実現される。装置は、複数の画素に対応する、最大値における、または最大値のまわりのウィンドウ（ＷＡＭ）幅と、閾画素値とを指示する情報を取得する。装置が、イメージセンサの少なくとも前記領域の画素を露光することにより、露光された画素が、それぞれ露光中に感知された光に対応するアナログ画素値を達成する。装置は、前記露光中のアナログ画素値が、前記それぞれの列において最初に前記閾画素値に達したかまたはそれを越えた、前記領域のそれぞれのイメージセンサ列における１つまたは複数の画素のそれぞれの画素群を識別する。その上、装置は、前記識別されたそれぞれの画素群を、前記領域の前記それぞれのイメージセンサ列において前記ＷＡＭ幅を有するそれぞれのＷＡＭのそれぞれの特定のＷＡＭ位置に関連付け、それによって、それぞれの列におけるそれぞれのＷＡＭは、識別されたそれぞれの画素群をカバーするＷＡＭ幅に対応する複数の画素および近隣の画素を識別する。なおまた、装置は、ＷＡＭ位置ごとに並行して読み出し、前記露光を基に、画素の、それぞれのＷＡＭにおける同一のＷＡＭ位置に関連した画素値を供給する。
【0015】
本明細書の実施形態の第２の態様によれば、この目的は、少なくともイメージセンサの画素の領域からの読出し用の画素値を供給するための１つまたは複数の装置によって実現される。装置は、複数の画素に対応するＷＡＭ幅および閾画素値を指示する情報を取得するように構成されている。装置は、イメージセンサの少なくとも前記領域の画素を露光するように構成されており、それによって、露光された画素が、露光中に感知された光にそれぞれ対応するアナログ画素値を達成する。装置は、前記露光中のアナログ画素値が、前記それぞれの列において最初に前記閾画素値に達したかまたはそれを越えた、前記領域のそれぞれのイメージセンサ列の中の１つまたは複数の画素のそれぞれの画素群を識別するように構成されている。その上、装置は、前記識別されたそれぞれの画素群を、前記領域の前記それぞれのイメージセンサ列において前記ＷＡＭ幅を有するそれぞれのＷＡＭのそれぞれのある特定のＷＡＭ位置に関連付けるように構成されており、それによって、それぞれの列におけるそれぞれのＷＡＭは、識別されたそれぞれの画素群をカバーするＷＡＭ幅に対応する複数の画素および近隣の画素を識別する。なおまた、装置は、ＷＡＭ位置ごとに並行して読み出し、前記露光を基に、画素の、それぞれのＷＡＭにおける同一のＷＡＭ位置に関連した画素値を供給するように構成されている。
【0016】
本明細書の実施形態の第３の態様によれば、この目的は、命令を含むコンピュータプログラムによって達成され、これらの命令は、１つまたは複数の装置によって実行されたとき、この装置に第１の態様による方法を実行させるもの、および／または、ハードウェア合成装置によって実行されたとき、ハードウェアを、第２の態様による前記１つまたは複数の装置として合成し、かつ／または構成するものである。
【0017】
本明細書の実施形態の第４の態様によれば、この目的は、第３の態様によるコンピュータプログラムを含むキャリアによって達成される。
【0018】
本明細書の実施形態の第５の態様によれば、この目的は、第２の態様による１つまたは複数の装置を備える撮像システムと、特定のパターンの光で対象物を照光するように構成された光源とによって達成され、光源とイメージセンサとは、特定のパターンの光が対象物から反射されて前記画素が露光されるときには少なくとも部分的にイメージセンサ上の入射光になるように、撮像システムにおいて互いに関連して配置される。結果として、読出し用の前記画素値は、光を反射してイメージセンサ上の前記入射光をもたらした対象物の位置に関する対象物の３次元特性の情報に変換可能な情報を含む。
【0019】
したがって、本明細書の実施形態では、読出しのために並行して供給されるべき画素を決定するのは、それぞれのＷＡＭにおける画素位置やそれぞれのＷＡＭに対する画素位置であって、従来のような実イメージセンサ行位置ではない。言い換えれば、ここでの読出しは、実際の行位置ではなく、それぞれのＷＡＭにおける位置に対するものである。このように、イメージセンサの領域のすべての行またはすべての列のＷＡＭをカバーするために必要なすべての行の画素を読み出す必要はない。したがって、すべてのＷＡＭをカバーする、関連する画素値すなわち画像データを得るために実行されることが必要となる読出し回数を、従来いかにこれが処理されているかに比較して減少することができる。したがって、より高速の読出しおよびより高速の性能が可能になる。この方法は、光強度最大値のまわりからの読出しに関心を寄せるイメージセンサを包含する用途を実施することに特に関心があることが理解される。これは、たとえば、イメージセンサが、たとえば光三角測量に基づく３Ｄ撮像などのレーザ三角測量における光のイメージセンサとして使用されるとき、言い換えれば、イメージセンサが、たとえば光三角測量に基づく３Ｄ撮像システムのカメラのイメージセンサとして使用されるときのことである。
【0020】
本明細書の実施形態の例が、以下で概説される添付の概略図を参照しながらより詳細に説明される。
【図面の簡単な説明】
【0021】
【図1】本明細書のいくつかの実施形態がともに使用され得る、光三角測量に基づく従来技術の３Ｄ撮像システムの一例を示す概略図である。
【図2A】イメージセンサの露光に由来する画像の一例を示す概略図である。
【図2B】強度ピークのまわりの光分布の様子の例としての光分布を示す概略図である。
【図2C】最大値における、または最大値のまわりのウィンドウ（ＷＡＭ）の一例を示す概略図である。
【図3A】イメージセンサの画素上の強度ラインの一例を示す概略図である。
【図3C】列ｍで使用される５画素のＷＡＭ幅を有するＷＡＭを示す概略図である。
【図3E】同一のＷＡＭ位置を有する画素は並行して読み出されること、また、別々のＷＡＭ位置に関するそのような並行読出しは順次に実行されることを示す概略図である。
【図3F】並行読出し用の最初のＷＡＭ行の画素に対応する最初の同一のＷＡＭ位置の一部である例示の画素を示す概略図であり、ここで、インデックスｍ、ｎは列に関するものであり、行は画素Ｐを識別するために使用される。
【図4】本明細書の実施形態が実行され得、かつ／またはいくつかの実施形態を実行するように全体的もしくは部分的に構成され得る、撮像システムの一例を示す概略図である。
【図5】本明細書の実施形態による方法の実施形態を概略的に示す流れ図である。
【図6A】列ｍに用いる、２画素の画素群についてのＷＡＭおよび３画素群ＷＡＭ幅を示す概略図である。
【図7】本明細書の実施形態による二重露光を包含する方法のいくつかの実施形態を概略的に示す別の流れ図である。
【図8】本明細書のいくつかの実施形態をサポートし、かつ実行するために、イメージセンサのそれぞれの画素が実施され得る様子の一例を示す概略ブロック図である。
【図9】いくつかの実施形態に関するアービタ機能性がハードウェアで論理によって実施され得る様子を示すための概略ブロック図である。
【図11】コンピュータプログラムおよびそのキャリアに関するいくつかの実施形態を示す概略図である。
【図12】コンピュータプログラムおよびそのキャリアに関するいくつかの実施形態を示す概略図である。
【発明を実施するための形態】
【0022】
本明細書の実施形態は例示的な実施形態である。これらの実施形態は必ずしも相互排除ではないことに留意されたい。一実施形態の構成要素が別の実施形態に存在するように暗に想定されてよく、それらの構成要素を他の例示的な実施形態において使用する方法は、当業者には明白であろう。
【0023】
図１は、背景技術において言及されたそのようなタイプの撮像システムの一例、すなわち、光三角測量すなわち測定対象物の３Ｄ特性に関する情報を取り込むための撮像に基づく３Ｄ機械視覚または簡単に３Ｄ撮像のための撮像システム１０５を概略的に示す。図では、システム１０５は、通常動作の状態、すなわち、一般的には較正が実行され、システムが較正された後の状態で示されている。システム１０５は、光三角測量を、ここでは背景技術で言及されたような光のシートの三角測量の形で実行するように構成されている。システム１０５は、撮像される測定対象物を、図では光のシートとして例示されかつ示された特定の光パターン１１１で照光するための、たとえばレーザである光源１１０をさらに備える。光はレーザ光線でよいが、レーザ光線である必要はない。示された例では、目的の対象物は、自動車の形態の第１の測定対象物１２０、および歯車構造の形態の第２の測定対象物１２１によって例示されている。特定の光パターン１１１が対象物に入射するとき、これは、特定の光パターン１１１が対象物と交差するとき観察され得る、対象物に対する特定の光パターン１１１の投射に対応する。たとえば、示された例では、特定の光パターン１１１は光のシートとして例示され、第１の測定対象物１２０上に光ライン１１２をもたらす。特定の光パターン１１１は、対象物によって、より具体的には対象物の交差する部分、すなわち示された例では光ライン１１２の部分によって、反射される。システム１０５は、イメージセンサ（図１には示されていない）を備えるカメラ１３０をさらに備え、カメラおよびイメージセンサは、特定の光パターンが対象物によって反射されたときイメージセンサに対する入射光になるように、光源１１０および撮像される対象物に関連して配置される。イメージセンサは、一般的にはチップとして実施され、入射光を画像データに変換するための機構である。反射によってイメージセンサに対する前記入射光をもたらす対象物の前記部分が、それによって、カメラ１３０およびイメージセンサによって取り込まれてよく、対応する画像データが生成されて、さらなる用途に供給され得る。たとえば、示された例では、特定の光パターン１１１が、第１の測定対象物１２０の自動車屋根の一部における光ライン１１２においてカメラ１３０およびイメージセンサの方へ反射されることにより、自動車屋根の前記一部に関する情報を有する画像データが生成され、供給され得る。画像データは、システム１０５の、ジオメトリを含む、たとえばイメージセンサの座標が、たとえば直交座標である座標系１２３の座標などの現実世界の座標にどのように関わるかといった、撮像されている対象物およびその状況に関連する設定の知見を用いて、たとえば撮像されている対象物の３Ｄの形状またはプロファイルといった３Ｄ特性に関する情報に、適切なフォーマットで変換され得る。たとえば前記３Ｄの形状またはプロファイルといった前記３Ｄ特性に関する情報は、３Ｄ特性を任意の適切なフォーマットで記述するデータを含み得る。
【0024】
対象物の複数の部分を照光してイメージセンサに対する反射光をもたらすように、たとえば光源１１０および／または第１の測定対象物１２０もしくは第２の対象物１２１などの撮像される対象物を動かすことにより、実際には、通常は対象物を走査することによって、たとえば第１の測定対象物１２０の示されたプロファイル画像１４１－１～１４１－Ｎなどの、対象物の連続した複数のプロファイルに対応する、対象物のより完全な３Ｄ形状を説明する画像データが生成され得、各プロファイル画像が第１の対象物１２０の輪郭を示し、カメラユニット１３０のイメージセンサが光を感知してプロファイル画像をもたらすのは、特定の光パターン１１１が反射されたときである。図に指示されるように、特定の光パターン１１２を通して対象物を動かすのにコンベアベルト１２２または類似物が使用され得、光源１１０およびカメラユニット１３０は、通常は固定され、あるいは、特定の光パターン１１１および／またはカメラ１３０が対象物にわたって動かされてもよく、その結果、対象物のすべての部分または少なくとも光源１１０に面するすべての部分が照光されて、カメラは、撮像することが望ましい対象物の種々の部分から反射された光を受け取ることができる。
【0025】
上記のことから理解されるように、カメラ１３０およびそのイメージセンサによって供給される、たとえば第１の測定対象物１２０の画像フレームが、プロファイル画像１４１－１～１４１－Ｎのうちのいずれかをもたらし得る。背景技術で言及したように、プロファイル画像１４１－１～１４１－Ｎのうちのいずれかに示される第１の対象物の輪郭の各位置は、通常は、たとえば１つまたは複数の強度ピーク検出アルゴリズムによる、イメージセンサによって取り込まれた画像データにおける強度ピークの識別と、これらの強度ピークの位置の検出とを基に判定される。システム１０５および従来のピーク検出アルゴリズムは、通常は、各画像フレームにおいて画素列ごとに強度ピークを検索するように構成されている。センサ座標が図に指示されるようなｕ、ｖであれば、ｕはイメージセンサ行に沿ったものでよく、たとえばイメージセンサ行に対応する、そのような列における位置を指示するように使用され得る。対応して、ｖはイメージセンサ列に沿ったものでよく、たとえばイメージセンサ行に対応する、そのような列における位置を指示するように使用され得る。
【0026】
画像フレームの各位置ｕについて、たとえば前述のようにピーク検出アルゴリズムによって、ｖに沿ってピーク位置が検索されてよく、画像フレームにおいて識別されたピークが、図に示されるようなプロファイル画像１４１－１～１４１－Ｎをもたらし得る。プロファイル画像は、センサベースの座標系１４３における画像ポイントｕ、ｖ、ｔによって形成される。画像フレームおよびプロファイル画像の総体が、第１の対象物１２０の３Ｄ画像を生成するように使用され得る。
【0027】
本明細書の実施形態に向けた発展として、最初に、背景技術で指示された状況がさらに詳述される。
【0028】
イメージセンサから画素値を読み出す時点では、イメージセンサ領域における強度ピークの場所は未知である。強度ピークが確実に取り込まれるように、すなわち、イメージセンサのすべての行および列を包含する全体画像を読み出して、読み出した画素値をＡ／Ｄ変換する必要があり得る。これに対するオプションに、イメージセンサがそのような読出しをサポートする場合には部分読出しがあり得るが、通常は、強度ピークが、全体のイメージセンサ領域のうち、たとえばイメージセンサの関心領域（ＲＯＩ）に対応する部分領域といった所定の部分にしか生じ得ないことが既知である必要があり、既知であったとしても、前述のように、ＲＯＩの中のどこにピークが生じるのか、正確には分からない。そのような部分領域は、撮像システムの知見、設定および／または撮像される対象物を基に前もって定義され得る。しかしながら、部分読出しでも、強度ピークが生じ得る列におけるすべての位置を確実に取り込むためには、通常は、実質的にイメージセンサ行の総数を読み出す必要があることを意味する。
【0029】
識別された強度ピーク場所を基に、前述のようにプロファイル画像を供給することができる時間は、測定領域すなわち強度ピークが生じ得る領域であるイメージセンサ上で使用される行の数に対応する高さによって、さらにはそれに比例して、多大な影響を受ける可能性がある。よって、光三角測量に基づく３Ｄ撮像システムの性能は、この読出しに由来する遅延によって実質的に制限されてしまう。読出し遅延の短縮に関連した解決策は、３Ｄ撮像システムからのより高いスループットを容易にし、かつ／または可能にし、しかも高速アプリケーションをサポートするはずである。時間を節約することができれば、スループット自体の向上に関心があるばかりでなく、その時間は、たとえば撮像のダイナミックレンジを増大するために、たとえば種々の露光時間を用いて複数の露光を実行するためにも使用され得ることに留意されたい。
【0030】
ピーク検出アルゴリズムが強度ピークの位置を識別することができるためには、たとえばピーク検出アルゴリズムが光分布の中心位置をサブ画素の分解能で検出することを可能にするために、画素内の画像データが、強度ピークの場所のまわりに少なくともいくらかのマージンを伴って利用可能である必要がある。マージンは、強度ピークのまわりの光分布を実質的にカバーするべきである。
【0031】
たとえば、それより上には強度ピークが生じないことが分かっているイメージセンサの行であり、それより下には強度ピークが生じないことが分かっている別の行であれば、前記「境界の」行においてもピークを求めて光分布が取り込まれるように、好ましくは、前記マージンを用いて最上行と最下行との間のみ読み出せば十分であろう。イメージセンサが露光されて、画素が、画像に対応する読出し用の画素値を含有しているとき、それによって、イメージセンサには、たとえば閾値に基づいて、強度ピークに関連した画素の最上行および最下行を識別するための機能性が備わっている。これは、読出し部分を事前に決定しなければならない場合と比較して、いくらかの融通性をもたらすはずであるが、依然として、「最上行」と「最下行」との間の、強度値を有するすべての行を読み出す必要がある。強度値が単一の行に沿って一直線であるか、または変動が小さければ、これにより、読み出すべき行数が少なくなり得、最少にさえなり得る。しかしながら、画像よって取り込まれた高さまたは深さの変化量がより大きく、この点に関してダイナミックレンジがより大きい場合、すなわち強度値が多数の行にわたる場合には、読み出す必要のある強度ピークも多くの行をカバーすることになる。対象物に関して高さ情報および深さ情報を取り込むためには変化量自体が根本的なものであるため、そのような変化量は不可避である。
【0032】
図２Ａは、イメージセンサの露光に由来する画像の一例を概略的に示し、たとえば図１に関して上記で説明されたように、光三角測量中に対象物が光ラインによって照光されたときの各列における最高強度の画素の場所が、取り込まれた、対象物からの反射光に対応する強度ライン２５１として示されている。この画像はセンサ座標ｕ、ｖにおける画像であり、Ｎ行の画素行１、．．．、Ｎが、イメージセンサ行２５４－１、．．．、２５４－Ｎに対応し、Ｍ列の画素列１、．．．、Ｍが、イメージセンサ列２５２－１、．．．、２５２－Ｍに対応する。
【0033】
最大値における、または最大値のまわりのウィンドウ（ＷＡＭ）は、強度ピーク中心を、いくらかのマージンを伴ってカバーする、好ましくは強度ピークのまわりの光分布を実質的にかつ／または十分にカバーするウィンドウおよび／または強度ピーク中心のまわりのウィンドウである。アルゴリズムが、中心位置を望ましいサブ画素の精度で出力して、これが強度ピークの位置を表すのに使用され得るためには、使用されるピーク検出アルゴリズムに必要なものと、必要な、または好ましい光分布の大きさとが得られれば十分であろう。
【0034】
図２Ｂは、強度ピークのまわりの、この例では軸ｖすなわち列に沿った光分布の様子の例としての光分布２６１を概略的に示す。利用可能な実際の値は画素ごとに離散的であり、図には黒四角で描かれている。示された例は、図中の画素位置２５５に対応する、最高強度の画素Ｐｍ，ｎのまわりの強度ライン２５１の列ｍに沿った光の分布に関するものである。たとえば光分布のサブ画素分解能における実際の中心位置２６３は、最初は未知であり、たとえばＡ／Ｄ変換の後にピーク検出アルゴリズムによって判定される。中心位置は、この例では画素位置２５５の画素Ｐｍ，ｎである列における最高強度の画素の場所から、通常は（この例でも）オフセットしていることに留意されたい。したがって、ピーク検出アルゴリズムが実際の中心位置２６３を検出するために光分布２６１を利用することができるように、光分布２６１を十分にカバーするＷＡＭ幅２５７を有するＷＡＭを用いることが望ましいであろう。前述のように、これを達成するためのＷＡＭ幅は、使用されるピーク検出アルゴリズムと、たとえば精度上の要件とを基に、事前に決定されてよく、かつ／または事前に構成されてよい。実際には、強度ピークにおけるエネルギーの約７５％以上をカバーするＷＡＭ幅なら十分であり得、一般的なセンサおよび設定については、一般的なＷＡＭ幅は７～２５の画素でよい。しかしながら、７５％未満、および７個未満または２５個超も、もちろん、本明細書の実施形態とともに使用され得る。
【0035】
図２Ｃは、一般にＷＡＭ幅２５７を有するＷＡＭ２５８の一例を概略的に示す。この例では、ＷＡＭは、画素位置２５５の画素Ｐｍ，ｎのまわりに示されており、行ｎのまわりを中心に列ｍに沿って広がっている。ＷＡＭ２５８の場合には、ＷＡＭは好ましくは画素ウィンドウ、すなわち画素の整数に対応するウィンドウであり、たとえば画素位置２５５の最高強度の画素Ｐｍ，ｎなどの画素あたりを中心にして対称である。しかしながら、ＷＡＭは、もちろん、代わりに、ＷＡＭが示された例のような奇数の画素ではなく偶数の画素から構成されている場合などには、そのような画素に対していくらかオフセットされること、および／またはＷＡＭの中心画素のまわりで完全な対称ではないことがあり得る。
【0036】
上記で説明されたように、強度ライン２５１のそれぞれの最高強度の画素のまわりのそれぞれのＷＡＭが、図２Ａに見られるように、図２Ａの強度ライン２５１の上に示された点線および下に示された点線に対応する、強度ライン２５１の上方および下方のマージンをもたらす。
【0037】
よって、上記で既に指示されたように、ピーク検出アルゴリズムによって処理される、すべてのＷＡＭに包含される画素行すなわち取り込まれた光のすべての行を読み出すためには、通常はＷＡＭ幅２５７よりもはるかに大きい全幅２５９に対応する数の行が必要とされる。こうなる理由は、前述のように、また例示によって明確にされたように、列にわたって強度ラインが変化するためである。対象物に関する高さおよび深さの情報が取り込まれるので、そのような変化量自体が根本的なものであり、したがって、除去したり回避したりすることは望ましくない。しかしながら、同時に、すべてではないにしても少なくとも多数の画像について、イメージセンサからすべてまたは多数の行を読み出す必要があることを意味する。依然として、ＷＡＭの画素は、関心のある実情報すなわち光分布に関する情報を含有しているので、ＷＡＭの画素を各列において読み出せば十分であろう。
【0038】
本明細書の実施形態は、ＷＡＭ内の画素のみ読み出すという概念に基づくものであり、それによって他の方法で通常実行することが必要とされる読出しの回数を大幅に減少させる。結果として、特に光三角測量に基づく３Ｄ撮像のスループットの向上および高速アプリケーションが可能になり、かつ容易になる。
【0039】
以下で、方法の様々な実施形態がこれを可能にする様子が示されて論じられ、ハードウェアでこの方法を実施し得る様子の例も示される。
【0040】
次に、図３Ａ～図３Ｆを使用して、ＷＡＭの概念と、従来の画素読出しのようなイメージセンサの同一画素行にある画素の並行読出しではなく、同一のＷＡＭ位置を有するＷＡＭ内の画素すなわち同一のＷＡＭ行と見なされ得る画素の並行読出しとに基づく、本明細書の実施形態を説明する。
【0041】
図３Ａはイメージセンサ３３１の画素上の強度ライン３５１の一例を概略的に示すものであり、個々の画素は正方形で示されている。光感知素子に対応する画素は従来のタイプでよい。Ｎ＝１２行の画素行０、．．．、１１がイメージセンサ行３５４－１、．．．、３５４－１２に対応し、Ｍ列の画素列１、．．．、Ｍがイメージセンサ列３５２－１、．．．、３５２－Ｍに対応する。
【0042】
この例は、１回で１列の画素値が読み出される一般的な状態を示し、従来、これは１回でイメージセンサの１行の画素であり、すなわち、１行の画素値が並行して読み出され、次いでアナログ－デジタル（Ａ／Ｄ）変換され、すなわち、図に指示されるように、Ｍ列が、並行して動作するように構成されたＭ個のＡ／Ｄコンバータ３５６に接続され得る。
【0043】
ここに示された強度ライン３５１は、実際の強度ピークがどこにあるかを単に示すものであり、もちろん、画素は、示された分解能でラインを感知することはできないことに留意されたい。強度ラインは、たとえば図１に関連して上記で説明されたように、光三角測量中に対象物が光ラインによって照光されたときの対象物からの反射光であり得る。
【0044】
単に具体例として使用するために、いくつかの画素が個々に選択される。たとえば、画素３５５ａは列ｍ＝０、行ｎ＝５における画素Ｐであり、したがって画素Ｐｍ，ｎ＝Ｐ０，５と称され得る。画素３５５ｂは画素Ｐｍ，ｎ＝Ｐ５，８であり、画素３５５ｃはＰｍ，ｎ＝ＰＭ－１，８である。
【0045】
これらのすべてが、強度ライン３５１の大部分がその列にある画素の例でもある。
【0046】
読出しの行数を減少させるという概念には、図２に関連して上記で説明されたように、読出しの前には強度ピークの所在が既知でも自明でもないという問題がある。強度ライン３５１の場所は既知ではなく、ピーク検出アルゴリズムは読出しの後にデジタル領域で動作する。たとえば通常の画素分解能でピーク中心を概略的に識別して、そのまわりにＷＡＭを適用することができることが望ましいであろう。さらに複雑なことに、実際に光を感知するのは、１列につき１つの画素ばかりでなくいくつかの画素であるので、感知された光を有する画素だけを識別するだけでは不十分でなく、ほとんどの光を感知した列当たりの画素を識別することになる。
【0047】
本明細書の実施形態は、これの解決策である「勝者独り勝ち」と称され得るタイプの解決策に基づくものである。露光後を待つのではなく、露光中に、それぞれの列において最初に閾画素値に達したかまたはそれを越えた画素が検査され、この画素が、その列における「勝者」になって、たとえばその列のＷＡＭの中心位置になるか、または少なくともその列のＷＡＭによってカバーされることを意味する。列における閾値に最初に達するかまたはそれを越えることは、この画素が最初に十分に強くなった、すなわち特定の量の光を最初に感知したことを指示する。この概念は、露光中に列において最も強い光に露光した画素が、最初に閾値に達するかまたはそれを越えるはずであるという想定を利用する。たとえば、示された例では、画素３５５ａ～３５５ｃが、それぞれの列においてそのような閾値を最初に越える画素の例である。
【0048】
たとえば強度ライン３５１であるイメージセンサ上の光パターンは、露光中、実質的に静止していて、いくつかの画素にわたって移動することはないと想定される。いくらかの動きがあったとしても非常に小さいので、実際的な悪影響はないはずである。このことは、通常は、かなり移動した場合には画像が不明瞭になるはずであり、原理的に、すべての撮像に関して、少なくとも機械視覚および工業用途について、特に光三角測量に基づく３Ｄ撮像の場合には、すべてがくっきりした不明瞭でない画像を供給するように構成され、かつ動作するので、すなわち露光中の光パターンの位置の変化はないかまたはわずかであるので、実際の問題にはならない。
【0049】
閾値は、関心のあるすべての実際の強度ピークが列を識別することができるように、少なくとも１つの画素が閾値に達するかまたはそれを越えるように設定されるべきである。同時に、閾値が小さすぎると、他の光やノイズが生じて、他の「間違った」画素が何かの光をより早く登録する可能性があるので、あまり小さい閾値は使用しないことが望ましいであろう。たとえば、イメージセンサ、撮像システム、およびこれらの設定に対する定期試験および実験によって、使用するための適切な閾値を見いだすことは、当業者の能力の範囲内にある。
【0050】
図３Ｂは、先行段落で言及されたように、露光中に、図３Ａのそれぞれの列において最初に共通の閾画素値に達したかまたはそれを越えたそれぞれの画素の一例を概略的に示す。前記例の画素３５５ａ～３５５ｃは、そのような「勝者」の画素の例として選別されている。図３Ａから、各列の「勝者」は、露光中に、ほとんどの光を受け取るかまたは「見る」、たとえばほとんどの強度を受け取るただ１つの画素であり、この例では、その列における強度ライン３５１の位置によって判定されることが理解され得る。
【0051】
よって、露光中に閾値適用を利用することにより、各列の、ＷＡＭがカバーするべき画素と、好ましくはＷＡＭの中心画素とが識別され得る。閾値を使用して、イメージセンサの画素列の中で最初に閾値に達したかまたはそれを越えた画素を識別することは、当業者には理解されるように、いくつかの異なるやり方で達成され得る。具体例が以下で別個に示される。
【0052】
それぞれの列において識別された画素の行番号すなわち行アドレスは、たとえば識別された画素を有する１つの列につき、そのような行識別子が１つ記憶され得る。画素を識別するためには、各列において識別された画素の行を識別すれば十分である。行番号を記憶する理由は、以下でさらに説明されるように、後に、ＷＡＭの位置を実際のセンサ行位置に関連付けるかまたはマッピングすることを可能にし、それによって、たとえばピーク検出アルゴリズムによって検出された強度ピーク位置に関するセンサ上の実際位置が分かるようにするためである。
【0053】
図３ＣはＷＡＭ３５８－ｍを概略的に示し、ｍはｍ＝０、．．．、Ｍ－１のいずれかであり得、５画素のＷＡＭ幅を有する。したがって、図に示されるように、ＷＡＭごとに５つのＷＡＭ位置またはＷＡＭ行３６４－１、．．．、３６４－５がある。ＷＡＭ３５８－ｍは、列における「勝者」画素として識別された画素、すなわち露光中に列において最初に閾値に達したかまたはそれを越えた画素値を有する画素をカバーし、好ましくはそのあたりを中心とすることになる。言い換えれば、それぞれのＷＡＭの中心位置は、図３Ｂに関連して上記で説明されたような「勝者」画素として識別されたそれぞれの列の画素上に配置されてよい。「勝者」がイメージセンサの縁部にある場合には、これの処理は、たとえばアプリケーション、要件などの環境に基づいて当業者に委ねられ、その能力の範囲内にある。そのような場合の解決策の１つは、ＷＡＭを、縁部画素に始まって、そこから列に沿ってＷＡＭ幅に広がるように適合させるものでよい。そのような画素については、ＷＡＭは勝者のあたりを中心とすることはないが、少なくともできるだけうまくカバーし、次いで、これの処理はピーク検出アルゴリズムに委ねられ、ピーク位置を検出するために、そのようなＷＡＭからの画像データは、たとえば使用されるかまたは棄却される。いくつかの列では、閾値に達する画素がないこともあり得、そのような場合には、ＷＡＭの位置は、たとえば撮像装置の１つの縁部といった所定の位置に設定されてよい。こうすれば、列ごとにＷＡＭを用いる読出しなどの後続の処理が整合され得る。この場合、たとえばピーク検出アルゴリズムによる後続の処理は、いずれにせよ十分な強度を有する有効なピークがなく、したがって、その列に関してどの画素値を出力するかということは無意味になるので、有効なピーク位置を生成することはできない。
【0054】
図３Ｄは、図３ＣのＷＡＭが、図３Ｂのように検知された画素を中心とするときの例を概略的に示す。言い換えれば、図３Ｄは、列ごとに１つのＷＡＭ、すなわちｍ＝１、．．．、Ｍのそれぞれの列ｍにおいて識別された「勝者」画素を中心とするそれぞれのＷＡＭ３５８－ｍを示す。したがって、そのようなＷＡＭ３５８が１列ごとに１つ存在している。
【0055】
図３Ｅは、同一のＷＡＭ位置を有する画素は並行して読み出されること、また、別々のＷＡＭ位置に関するそのような並行の読出しは順次に実行されることを概略的に示す。たとえば、例におけるＷＡＭ幅は５画素であるため、ここの読取り時間は、５回の順次読出しから成り、たとえば、各ＷＡＭについて、最初の読出しは同一のＷＡＭ位置に対して行われ、したがって、列ごとにＷＡＭ位置は全く同一である。並行して読み出される画素については、ＷＡＭ位置もＷＡＭ行も同一であることに留意されたい。しかしながら、以下の記述から理解されるように、ＷＡＭ位置が同一であっても同一のイメージセンサ行にマッピングする必要はない。
【0056】
例では、全体の読取り時間のうち最初の１／５の間に、第１のＷＡＭ位置すなわち第１のＷＡＭ行３６４－１によってカバーされたそれぞれの列におけるすべての画素が並行して読み出される、などである。図３Ｄの例を参照して、これは、一番上のＷＡＭ位置すなわちＷＡＭ行３６４－１におけるすべての列３５２－１、．．．、３５２－Ｍの画素が並行読出し用に供給され、たとえばＡＤＣ３５６によってＡ／Ｄ変換されることを意味する。
【0057】
図３Ｆに、単なる例として、最初の同一のＷＡＭ位置すなわち第１のＷＡＭ行３６４－１の一部である例示の画素を概略的に示し、したがって、列３５２－１、．．．、３５２－Ｍからの並行読出し用の第１のＷＡＭ行の画素に対応する。それぞれのＷＡＭの第１のＷＡＭ位置が配置されている図３Ｄを検討することにより、図３Ｆにおけるイメージセンサの画素は、第１のＷＡＭ行３５６－１の画素であることが理解される。
【0058】
したがって、上記で説明された本明細書の実施形態は、露光中の「勝者」であるアナログ画素値、言い換えればそれぞれの列の中で最初に閾画素値に達したかまたはそれを越えたアナログ画素値を識別することを包含する。したがって、背景技術において言及されたそのような従来技術の解決策と比較して、最初に、個別の高速の読出しチャネルを使用して、センサから、高速かつ低精度で全体画像を（事前に）読み出したり、次に、読み出されデジタル画像を処理して、ＲＯＩを形成する画素の位置を検出し、その後、第２の読出しステップにおいて詳細な通常の精度で読み出したりする必要はない。本明細書の実施形態は、露光中にそれぞれの列の中で最初に閾画素値に達したかまたはそれを越えた、列ごとの１つまたは複数の画素のアナログ画素値を調べることにより、イメージセンサから同一の画素を２段階で読み出す必要性や、前記従来技術のような第１の読出しステップのための個別の読出しチャネルの必要性を解消するものである。アナログ画素値が最初に閾値に達したかまたはそれを越えたことは、ＷＡＭの位置を識別するために、閾値に達するかまたはそれを越える列ごとの画素または画素群のためにそれ以上時間を費やす必要はないことも意味する。ＷＡＭの合計は、前記従来技術ではＲＯＩに対応すると考えられることがあるが、このように別のやり方で判定される。
【0059】
図４は、本明細書の実施形態が実行され得、かつ／またはいくつかの実施形態を実行するように全体的もしくは部分的に構成され得る、撮像システム４０５の一例を概略的に示す。
【0060】
本明細書の実施形態を実行するように、すなわち本明細書の実施形態を実施するように構成され得る撮像システムが、簡潔に示されている。撮像システム４０５は、たとえば図に概略的に示されている測定対象物４２０である１つまたは複数の測定対象物の２Ｄ特性および３Ｄ特性に関する情報を取り込むための光三角測量に基づくものである。示されたシステムは、基本構成に対応するものと見なされ得、測定対象物４２０の３Ｄ撮像のための光三角測量の一部として、通常はレーザ光線である光４１１で測定対象物４２０を照光するための光源４１０を備える。カメラ４３０は、３Ｄ撮像のために前記光三角測量の一部として測定対象物４２０からの反射光を感知するように配置されたイメージセンサ４３１を有する。
【0061】
カメラ４３０、イメージセンサ４３１および光源４１０は、光三角測量のために、互いに関連して構成され、かつ位置決めされてる。システム４０５は光三角測量のために図１のシステム１０５に対応し得るが、その上に、以下でさらに説明されるように、本明細書の実施形態とともに動作し、かつ／または本明細書の実施形態によって動作するように構成され得る。
【0062】
よって、測定対象物４２０は、第１の測定対象物１２０または測定対象物２２０に対応し得、カメラ４３０の視野４３２の範囲内に少なくとも部分的に配置して示されている。光源４１０は、通常は、たとえば光のシートおよび／またはレーザなどの光線といった特定の光パターンなどの構造光の形態の光４１１で測定対象物４２０を照光するように構成されており、光４１１が測定対象物４２０によって反射され、反射された第１の光がカメラ４３０およびイメージセンサ４３１によって取り込まれる。第１の光として使用され得る構造光の別の例には、光縁部すなわち照射を伴う領域または部分の縁部がある。この例では、照射の方向は垂直であり、すなわちｚ軸に対して実質的に平行である。しかしながら、以下の記述から理解されるように、本明細書の実施形態とともに１つまたは複数の他の照射方向がもちろん使用可能であり、たとえば、カメラの視角に対応するがその反対側からの「鏡面」入射角で測定対象物に実質的に向けられた、たとえばレーザといった光源を用いる、いわゆる「鏡面」構成を含む。
【0063】
測定対象物４２０はこのように照光され得、画像は従来の光三角測量におけるものと同様に取り込まれ得る。したがって、前記光三角測量は、光源４１０および／または測定対象物４２０の、互いに関連した移動を包含し得、そのため、種々の連続した時刻において、測定対象物４２０の別々の連続した部分が光源４１０および光４１１によって照光される。測定対象物４２０から反射された後の光４１１はイメージセンサ４３１によって感知される。光三角測量では、通常はカメラ４３０と第１の光源４１０とが互いに関連して固定され、これらに関連して測定対象物４２０が動かされるが、このことは必須ではない。それぞれの画像フレームが、イメージセンサ４３１による前記感知によって、画像フレームがそれぞれ感知された時刻すなわち取り込まれた時刻と、それぞれの時刻においてイメージセンサ４３１が反射された第１の光４１１を感知した測定対象物４２０のそれぞれの部分とに関連付けられる。
【0064】
カメラ４３０およびイメージセンサ４３１によって供給される、画像フレームおよび／または画像フレームから導出される、たとえば強度ピーク位置といった情報は、カメラ４３０の外部のさらなる処理のために、たとえばコンピュータまたは類似物などのコンピューティング装置４３４に転送されてよい。そのようなさらなる処理は、付加的または代替的に、たとえばイメージセンサ４３１から分離されてたとえばカメラ３３０に組み込まれた個別のコンピューティングユニットもしくはコンピューティング装置（図示せず）、またはカメラ４３０を備えるユニットによって実行され得る。たとえばコンピュータまたは別の装置（図示せず）であるコンピューティング装置４３４は、光三角測量および関連するアクションを実行するように、光三角測量に包含される装置を制御するようにも構成され得る。なおまた、たとえばコンピュータである前記コンピューティング装置４３４または別の装置（図示せず）は、以下でさらに説明されるように、上記で説明されたアクションおよび／または本明細書の実施形態に関連するアクションのうちいくつかを実行し、かつ／またはそれに包含されるように構成され得る。なおまた、本明細書の実施形態を実行するために、図に概略的に示されるように、イメージセンサ４３１または従来のイメージセンサに対応し得るものが、さらなる機能性または追加の機能性を有する、たとえば回路といった画像感知装置または回路４３３とともに、たとえば組み込まれて備えられ得る。これの詳細例は、以下で別個に論じられる。画像感知回路４３３は、従来の画像感知回路よりもさらに進んだ機能性および回路を有するイメージセンサに対応し得、たとえばイメージセンサ４３１とともに、この回路およびイメージセンサが、全く同一のデバイスおよびユニット、たとえばチップに組み込まれたときには同様にイメージセンサと命名されてもよく、本明細書の実施形態によって動作するように構成され得ることに留意されたい。イメージセンサ４３１および／または画像感知装置４３３が、ハードウェアの観点から、たとえばチップとして実施された従来のイメージセンサに対応することができる場合には、ソフトウェアによって、本明細書の実施形態に応じて動作するように構成され、かつ／またはプログラムされることも可能である。
【0065】
図５は、本明細書の実施形態による方法の実施形態を概略的に示す流れ図である。この方法を形成し得る以下のアクションは、少なくとも、たとえばイメージセンサの画素のＲＯＩといった領域からの読出し用の画素値を供給するためのものである。
【0066】
本明細書の文脈で使用される、ＲＯＩである領域は、原理的に、たとえば、第１の数のイメージセンサ行、および第１の数と同一でも異なってもよい第２の数のイメージセンサ列を備える領域といった、イメージセンサ４３１の、任意の領域または画素の連続群に対応し得る。この領域は、イメージセンサ４３１の画素のうちすべてまたはいくつかを備え得る。したがって、領域がイメージセンサ４３１のすべての画素を含むときの特別なケースが、明示領域ではなく全体のイメージセンサ領域である暗示領域を適用する通常のケースに対応する。
【0067】
図５に指示される以下の方法および／またはアクションは、装置、すなわち、画像感知装置４３３、カメラ４３０、および／またはコンピューティング装置４３４などの１つまたは複数の装置、ならびに／あるいは撮像システム４０５および／または他の適切な装置によって実行され得る。方法を実行するための装置およびそのアクションが以下でさらに説明される。方法の説明を簡単にするために、以下では、方法およびアクションが画像感知装置４３３によって実行されるものとして例示される。
【0068】
以下のアクションは、任意の適切な順序で行われてよく、かつ／または、可能で適切なときには、時間において全体的または部分的にオーバーラップして実行されてもよいことに留意されたい。
【0069】
アクション５０１
画像感知装置４３３は、複数の画素に対応する閾画素値と、最大値における、または最大値のまわりのウィンドウ（すなわち、ＷＡＭ）幅とを指示する情報を取得する。ＷＡＭ幅は、上記の例と同様にＷＡＭ幅２５７または３５７に対応し得る。以下では、例としてＷＡＭ幅３５７が使用される。
画像感知装置４３３は、複数の画素に対応する閾画素値と、最大値における、または最大値のまわりのウィンドウ（すなわち、ＷＡＭ）幅とを指示する情報を取得する。ＷＡＭ幅は、上記の例と同様にＷＡＭ幅２５７または３５７に対応し得る。以下では、例としてＷＡＭ幅３５７が使用される。
【0070】
情報は、たとえば設定によって外部から受け取ること、および／またはアクションを実行する装置の入力に事前構成の値が供給されることによって、取得され得、あるいは、上方は、たとえばプログラムされた後の装置によって内部で取得され得、かつ／または装置のメモリに記憶され得る。いくつかの実施形態では、情報が事前決定されてよく、または事前定義されてもよい。ＷＡＭ幅と閾画素値とは、本明細書の様々な例と同様に、そのようなＷＡＭ幅と閾画素値とに対応し得る。
【0071】
アクション５０２
画像感知装置４３３が、たとえば光三角測量の一部として、イメージセンサ４３１の少なくとも前記領域の画素を露光し、すなわち、それらを光に露光し、それによって、露光された各画素が、露光中に感知された光にそれぞれ対応するアナログ画素値を達成する。
画像感知装置４３３が、たとえば光三角測量の一部として、イメージセンサ４３１の少なくとも前記領域の画素を露光し、すなわち、それらを光に露光し、それによって、露光された各画素が、露光中に感知された光にそれぞれ対応するアナログ画素値を達成する。
【0072】
いくつかの実施形態では、光三角測量に基づく対象物４２０の部分３Ｄ撮像として、露光中に、各画素が、たとえば対象物４２０といった対象物から反射された光に露光される。すなわち、たとえば図４に関連して論じられた前述の光三角測量の状況において、本明細書の実施形態が適用される。したがって、３Ｄ撮像は、たとえば方法を実行する画像感知装置４３３である装置を備える、たとえば３Ｄ撮像システム４０５といった３Ｄ撮像システムと、たとえば光４１１に対応し得る光またはレーザラインなどのレーザ光線といった特定の光パターンで対象物を照光するように構成された、たとえば光源４１０である光源とによって実行され得る。したがって、３Ｄ撮像システムは光三角測量に基づくので、特定の光パターンが対象物によって反射されたとき、少なくとも部分的に、たとえばイメージセンサ４３１といったイメージセンサ上の入射光になるように、または少なくともイメージセンサの前記領域上の入射光になるように、光源とイメージセンサとが互いに関連して配置され、その結果、露光中に前記画素値がもたらされる。これらの実施形態では、読出し用の画素値は、たとえば対象物４２０である対象物上の、たとえば光４１１である光を反射してイメージセンサ上に前記入射光をもたらした位置に関して、対象物の３次元特性の情報に変換可能な情報を含む。
【0073】
アクション５０３
画像感知装置４３３は、前記露光中のそのアナログ画素値が、それぞれの列の中で最初に前記閾画素値に達したかまたはそれを越えた、たとえば前記領域の列２５２－１、．．．、２５２－Ｍまたは３５２－１、．．．、３５２－Ｍのうちのそれぞれの１つである、それぞれのイメージセンサ列の中の１つまたは複数の画素のそれぞれの画素群を識別する。したがって、いくつかの実施形態では、その群は、上記の例における画素２５５または３５５のうちのいずれかに対応するただ１つの画素であり得るが、いくつかの他の実施形態ではいくつかの画素の群でもあり得、このことは個別の例において以下でさらに説明される。図５に関する記述の残りでは、それぞれの識別された画素群は、たとえば上記の例示の画素３５５－ｃのうちのいずれかである画素３５５によって例示される。
画像感知装置４３３は、前記露光中のそのアナログ画素値が、それぞれの列の中で最初に前記閾画素値に達したかまたはそれを越えた、たとえば前記領域の列２５２－１、．．．、２５２－Ｍまたは３５２－１、．．．、３５２－Ｍのうちのそれぞれの１つである、それぞれのイメージセンサ列の中の１つまたは複数の画素のそれぞれの画素群を識別する。したがって、いくつかの実施形態では、その群は、上記の例における画素２５５または３５５のうちのいずれかに対応するただ１つの画素であり得るが、いくつかの他の実施形態ではいくつかの画素の群でもあり得、このことは個別の例において以下でさらに説明される。図５に関する記述の残りでは、それぞれの識別された画素群は、たとえば上記の例示の画素３５５－ｃのうちのいずれかである画素３５５によって例示される。
【0074】
アクション５０４
いくつかの実施形態では、画像感知装置４３３は、たとえば画素２５５、３５５－１、．．．、３５５－Ｍのうちのいずれかである、たとえば識別されたそれぞれの画素群に関連する、たとえばイメージセンサ行２５４－１、．．．、２５４－Ｎまたは３５４－１、．．．、３５４－１２のうちのいずれかであるイメージセンサ行位置を識別するそれぞれのイメージセンサ行位置識別子を記憶する。
いくつかの実施形態では、画像感知装置４３３は、たとえば画素２５５、３５５－１、．．．、３５５－Ｍのうちのいずれかである、たとえば識別されたそれぞれの画素群に関連する、たとえばイメージセンサ行２５４－１、．．．、２５４－Ｎまたは３５４－１、．．．、３５４－１２のうちのいずれかであるイメージセンサ行位置を識別するそれぞれのイメージセンサ行位置識別子を記憶する。
【0075】
アクション５０５
画像感知装置４３３は、前記識別されたそれぞれの画素群を、たとえばそれぞれのイメージセンサ列３５２－１、．．．、３５２－Ｍである前記領域の前記それぞれのイメージセンサ列における、たとえばそれぞれのＷＡＭ３５８－１、．．．、３５８－ＭといったそれぞれのＷＡＭのそれぞれの特定のＷＡＭ位置に関連付ける。前記それぞれのＷＡＭは、たとえばＷＡＭ幅３５７である前記ＷＡＭ幅を有する。その結果、それぞれのＷＡＭが、それぞれの列において、識別されたそれぞれの画素群をカバーするＷＡＭ幅に対応する複数の画素および近隣の画素を識別する。すなわち、列におけるＷＡＭが、識別されたそれぞれの画素群と、たとえばその列における画素群といったその近隣の画素のうちいくつかをカバーして、識別されたそれぞれの画素群に関連したいくつかの光分布もカバーする。
画像感知装置４３３は、前記識別されたそれぞれの画素群を、たとえばそれぞれのイメージセンサ列３５２－１、．．．、３５２－Ｍである前記領域の前記それぞれのイメージセンサ列における、たとえばそれぞれのＷＡＭ３５８－１、．．．、３５８－ＭといったそれぞれのＷＡＭのそれぞれの特定のＷＡＭ位置に関連付ける。前記それぞれのＷＡＭは、たとえばＷＡＭ幅３５７である前記ＷＡＭ幅を有する。その結果、それぞれのＷＡＭが、それぞれの列において、識別されたそれぞれの画素群をカバーするＷＡＭ幅に対応する複数の画素および近隣の画素を識別する。すなわち、列におけるＷＡＭが、識別されたそれぞれの画素群と、たとえばその列における画素群といったその近隣の画素のうちいくつかをカバーして、識別されたそれぞれの画素群に関連したいくつかの光分布もカバーする。
【0076】
いくつかの実施形態では、ＷＡＭ幅に対応する画素は、それぞれの列において識別されたそれぞれの画素群のまわりに、すなわちその両側に配置される。
【0077】
いくつかの実施形態では、前記識別されたそれぞれの画素群が関連付けられているそれぞれのＷＡＭの前記それぞれの特定の位置は、それぞれのＷＡＭのＷＡＭ位置の、それぞれの同一の、たとえば中心である。
【0078】
本明細書で使用されるＷＡＭ位置は、ＷＡＭ自体の位置またはその中の位置を指し、すなわち、ＷＡＭがイメージセンサのどの画素に関連付けられているかということとは無関係なＷＡＭに対する位置であることを、例から理解されたい。たとえば、ＷＡＭ幅が７画素であるなら、７つの異なるＷＡＭ位置がある。したがって、前記識別されたそれぞれの画素群をそれぞれのＷＡＭのそれぞれの同一のＷＡＭ位置に関連付けることは、全く同一のＷＡＭ位置があるはずであることを意味し、たとえば、いくつか例を挙げると、識別されたそれぞれの画素群が関連付けられる、それぞれのＷＡＭにおける第１の位置または中心位置を意味する。
【0079】
上記の例でも説明されたように、アクション５０５における前記関連付けの結果、列ごとに、それぞれのＷＡＭが、列における画素の中で前記閾画素値に最初に達したかまたはそれを越えたもの（すなわち「勝者」）として識別された画素をカバーし、かつ／またはそのまわりにあることになる。したがって、各列の中の、ＷＡＭ幅に対応する複数の画素が、識別された画素すなわち「勝者」をカバーし、かつ／またはそのまわりにあることになる。したがって、「勝者」は、列のＷＡＭに関連付けられ、列のＷＡＭによってカバーされ、かつ／または列のＷＡＭに含まれることになり、そのため、ＷＡＭは、好ましくは「勝者」のまわりに、すなわち両側にあってこれをカバーする。
【0080】
アクション５０６
画像感知装置４３３は、ＷＡＭ位置ごとの並行読出しのために、前記露光に基づき、たとえばそれぞれのＷＡＭにおける同一のＷＡＭ位置または行３６４といった同一のＷＡＭ位置に関連した画素の画素値を供給し、たとえば、ＷＡＭ位置またはＷＡＭ３５８－１、．．．、３５８－Ｍの行３６４－１における画素の画素値が並行読出し用に供給される。
画像感知装置４３３は、ＷＡＭ位置ごとの並行読出しのために、前記露光に基づき、たとえばそれぞれのＷＡＭにおける同一のＷＡＭ位置または行３６４といった同一のＷＡＭ位置に関連した画素の画素値を供給し、たとえば、ＷＡＭ位置またはＷＡＭ３５８－１、．．．、３５８－Ｍの行３６４－１における画素の画素値が並行読出し用に供給される。
【0081】
したがって、包含されるイメージセンサ列、すなわち、前記領域の、または前記領域に含まれる、たとえばイメージセンサ列３５２－１、．．．、３５２－Ｍであるイメージセンサ列から、並行して読み出される。
【0082】
したがって、１つの画素の画素群の中の画素のＷＡＭ位置は、この画素自体の、ＷＡＭに対するＷＡＭ内の位置であり、たとえば、画素の第１の位置すなわち最上位の位置または列における最上位のＷＡＭの行であって、第１のＷＡＭ位置すなわち第１のＷＡＭ行と称され得る。群がいくつかの画素であるとき、群のＷＡＭ位置は群の分解能におけるものであり得、すなわち、読出し用に供給される画素値は、この場合、たとえば、ビニングされた単一画素の値である、同一のＷＡＭ位置に関連付けられた画素の群の値でよい。各群が２つ以上の画素である画素群およびビニングの使用法は、以下でさらに論じられる。
【0083】
別々のイメージセンサ列において、たとえば同一のＷＡＭ行位置といった同一のＷＡＭ位置を有する画素が、なお別々のイメージセンサ行にあり得ることに留意されたい。たとえば、第１のＷＡＭ位置などの同一位置における画素は、２つ以上の別々のイメージセンサ行に属している可能性がある。そのような状況は、上記で具体的に例示され、かつ論じられており、たとえば図３Ｆを参照されたい。
【0084】
したがって、読出し用に供給される画素値は、イメージセンサの露光すなわちアクション５０２に由来するものである。いくつかの実施形態では、上記の例のように、画素値および／またはアクション５０４におけるもののようなセンサ行位置がアナログ値として読出し用に供給され、その後Ａ／Ｄ変換され得る。他の実施形態では、最初にたとえばＡ／Ｄコンバータによって列ごとにＡ／Ｄ変換されてデジタル画素値がもたらされ、読出し用に供給される。いくつかの実施形態では、たとえば、近接センサ画像処理（ＮＳＩＰ）タイプのイメージセンサおよびイメージセンサ回路の場合には、画素ごとにＡ／Ｄ変換され、画素から読出し用にデジタル画素値が供給される。
【0085】
したがって、本明細書の実施形態では、本アクションから理解されるように、読出しのために並行して供給されるべき画素群および／または画素を決定するのは、それぞれのＷＡＭにおける群の位置および／または画素位置や、それぞれのＷＡＭに対する群の位置および／または画素位置であって、従来のような実イメージセンサ行位置ではない。言い換えれば、ここでの読出しは、実際の行位置ではなく、それぞれのＷＡＭにおける位置に対するものである。このように、上記で論じたいくつかの従来技術の解決策とは対照的に、イメージセンサの領域のすべての行またはすべての列のＷＡＭをカバーするために必要なすべての行の画素を読み出す必要はない。したがって、すべてのＷＡＭをカバーする画素値すなわち画像データを得るために実行しなければならない読出し回数を、従来いかにこれが処理されているかに比較して減少することができる。したがって、より高速の読出しおよびより高速の性能が可能になる。この方法は、光強度最大値のまわりからの読出しに関心を寄せる用途を実施することに特に関心があり得ることがさらに理解される。これは、たとえば、イメージセンサが、たとえば光三角測量に基づく３Ｄ撮像などのレーザ三角測量における光のイメージセンサとして使用されるとき、言い換えれば、イメージセンサが、光三角測量に基づく３Ｄ撮像システムのカメラのイメージセンサとして使用されるときのことである。
【0086】
アクション５０７
アクション５０４が実行されて、センサ行位置識別子が記憶される実施形態では、画像感知装置４３３は、たとえばそれぞれのＷＡＭ３５８であるそれぞれのＷＡＭに関連した読出しのために、それぞれのＷＡＭに関連する前記記憶されたそれぞれのセンサ行位置識別子をさらに供給し得る。このように、供給されたそれぞれのＷＡＭのアナログ画素値が、たとえば既にＷＡＭが関連付けられているイメージセンサ列３５２－１、．．．、３５２－Ｍまたは２５２－１、．．．、２５２－Ｍのうちのいずれかであるセンサ列位置に加えて、たとえばイメージセンサ行３５４－１、．．．、３５４－１２または２５４－１、．．．、２５４－Ｎのうちのいずれかであるイメージセンサ行位置に関連付けてマッピングされ得る。
アクション５０４が実行されて、センサ行位置識別子が記憶される実施形態では、画像感知装置４３３は、たとえばそれぞれのＷＡＭ３５８であるそれぞれのＷＡＭに関連した読出しのために、それぞれのＷＡＭに関連する前記記憶されたそれぞれのセンサ行位置識別子をさらに供給し得る。このように、供給されたそれぞれのＷＡＭのアナログ画素値が、たとえば既にＷＡＭが関連付けられているイメージセンサ列３５２－１、．．．、３５２－Ｍまたは２５２－１、．．．、２５２－Ｍのうちのいずれかであるセンサ列位置に加えて、たとえばイメージセンサ行３５４－１、．．．、３５４－１２または２５４－１、．．．、２５４－Ｎのうちのいずれかであるイメージセンサ行位置に関連付けてマッピングされ得る。
【0087】
アクション５０３から理解されるように、記憶されたそれぞれのイメージセンサ行位置は、領域のそれぞれのイメージセンサ列ごとであり、それぞれのイメージセンサ行位置が記憶され、アクション５０５によって、識別された行位置が、たとえばそれぞれのＷＡＭの中心位置といったそれぞれのＷＡＭのそれぞれの特定のＷＡＭ位置に関連付けられ、したがってそれぞれのＷＡＭに関連付けられる。
【0088】
記憶されるセンサ行位置識別子は、たとえば値といった情報の形態でよく、領域のそれぞれの列ごとに記憶される識別子など、センサ行位置を識別するものであり、言い換えれば、ＷＡＭごとの、したがって包含された列ごとの行位置識別子である。
【0089】
それぞれのＷＡＭに関連した読出し用の前記供給は、ＷＡＭごとに１つの識別子の供給でよく、たとえば包含されたイメージセンサ列ごとに１つの識別子または領域のイメージセンサ列ごとに１つの識別子の供給でよい。供給は、読出し用の、画素値の供給を伴う個別出力または共用出力によるものでよく、たとえばイメージセンサ列ごとの供給でよい。たとえば、共用出力の場合には、識別子の供給は、すべてのＷＡＭ行位置の画素値の実際の読出しの後、イメージセンサの次の露光に関連する画素値の読出しの前でよく、たとえばアクション５０８を参照されたい。いくつかの露光を包含する個別の例については以下を参照されたい。
【0090】
たとえば「ビットメモリ」または類似物などの関連するメモリに、たとえば各画素に関連したイメージセンサ行アドレスがあってよく、イメージセンサ行位置識別子として使用される。たとえば、以下で説明されるビニングの場合といった複数の画素の画素群の場合には、たとえば、その群を表すために使用されるのは常に群の最下位／最上位の画素である、といった具合に、事前に決定／定義されてよい。
【0091】
アクション５０８
いくつかの実施形態では、画像感知装置４３３または他の装置が、並行読出し用に供給された前記画素値を読み出し、すなわち、実施形態を実行する装置は、並行読出しを可能にするように画素値を供給するばかりでなく、実際の読出しも実行する。
いくつかの実施形態では、画像感知装置４３３または他の装置が、並行読出し用に供給された前記画素値を読み出し、すなわち、実施形態を実行する装置は、並行読出しを可能にするように画素値を供給するばかりでなく、実際の読出しも実行する。
【0092】
すなわち、並行読出し用に供給された前記画素値が、ここで並行して読み出される。この読出しは、すなわち、従来の読出しに関して、同一の物理的イメージセンサ行位置を有する画素の読出しに使用したものと同一の手段を使用する、イメージセンサ列を介したものでよい。
【0093】
本アクションを実行するのは、以前のアクションを実行した装置と同一のものでも別のものでもよい。前述のように、以前のアクションは、たとえばチップなどの単一のデバイスまたはユニットに組み込まれたイメージセンサ４３１といった、それ自体がイメージセンサを備える、たとえば画像感知装置４３３である画像感知装置もしくは回路またはイメージセンサデバイスもしくは回路によって実行され得る。本アクションは、たとえばチップであるそのようなイメージセンサデバイスを動作させるため、および／またはこのデバイスを用いて動作するための、同一の装置または分離した装置によって実行され得る。分離した装置はＡ／Ｄコンバータを備え得る。それ自体で、イメージセンサに加えてさらなる機能性を有する単一デバイスが、当技術分野では時には、なおイメージセンサと称され得ることに留意されたい。
【0094】
上記で指示されたように、並行読出しの前記シーケンスにおいて、ＷＡＭ位置または行を一度に１つずつ読み出す本アクションが繰り返されてよく、それによってすべてのＷＡＭの画素の画素値が読み出される。あらゆるＡ／Ｄ変換が順次にも実行され得、そのため、イメージセンサの列にある、全く同一の第１のＷＡＭ位置の画素値用のアナログ画素値が、並行して、対応するデジタル画素値にＡ／Ｄ変換され、次に、たとえば次のＷＡＭ位置の画素値である第２のＷＡＭ位置の画素値が並行して読み出される。これは、それぞれの並行読出しからの画素値がデジタル的に記憶され得、すべてのＷＡＭ幅の数の並行読出しが順次に実行されたとき、上記で説明されたような、ＷＡＭ幅の数の並行読出し後のみ、さらなる処理のために利用可能なすべてのＷＡＭ画素についてデジタル画素値が存在することを意味する。次いで、たとえばピーク検出アルゴリズムによって光強度中心位置をサブ画素分解能で識別するために、これに適するいくつかの従来技術の方法によって、デジタル画素値がさらに処理されてよい。
【0095】
いくつかの実施形態では、それぞれの画素群が２つ以上の画素のビニング群に対応し、それぞれの画素群の前記アナログ画素値は、画素群の画素のビニングされた画素値である。このことは、以下のいくつかのさらなる詳細において、図６Ａ～図６Ｂに関連して例示され、かつ説明される。
【0096】
２画素のビニング群であれば、３１のそのような群のＷＡＭ幅は６２の画素をカバーする。ビニングの場合のそれぞれのＷＡＭは「ビニング分解能」になる。ビニングと、それによる「組み合わせた画素」とを用いれば、ビニング群ごとに読み出されるので、同一の領域すなわち同一のイメージセンサカバレッジの読出しがより少なくなる。たとえば、ビニングなしの１１画素のＷＡＭがあると想定すると、１１回の順次読出しが必要になる。３画素のビニングを用いると、１１画素よりも大きいセンサ領域をカバーする５つのビニング群のＷＡＭ幅すなわち１５画素に必要な順次読出しがたった５回になる。
【0097】
ビニングを用いたそれぞれの画素群のアナログ画素値は、ビニングによって、より速く、前記閾画素値に達するかまたはそれを越えることができるので、ビニングは、それぞれの画素群の識別、すなわちそれぞれのイメージセンサ列における「勝者」の前記識別を、迅速化することもできる。
【0098】
実際には、関心があるのは２つ、４つ、および恐らく８つまでのビニング群であり、ビニング群をそれよりも大きくすると、有効な「勝者」群を識別するためには分解能があまりにも粗くなってしまう恐れがある。
【0099】
いくつかの実施形態では、アクション５０６におけるものなどの、たとえば別々のＷＡＭ行といった別々のＷＡＭ位置に対する並行読出しはシーケンスにおいて順次に行われ、シーケンスの長さは前記ＷＡＭ幅に対応し、それぞれのそのような並行読出しは、それぞれのＷＡＭ位置に関連付けられる。たとえば、図３Ｅに示されるように、すべての列３５２－１、．．．、３５２－Ｍからの第１の並行読出しは第１のＷＡＭ行３６４－１に対して行われ、次いで、すべての列３５２－１、．．．、３５２－Ｍからの第２の並行読出しは第２のＷＡＭ行３６４－２に対して行われる、などである。したがって、アクション５０８における実際の読出しは順次に実行され得る。
【0100】
いくつかの実施形態では、前記並行読出しのシーケンスの実行後に、イメージセンサ４３１の前記少なくとも前記領域の前記画素がリセットされ、第２の露光中に２回目の露光が行われる。結果として、露光された画素が、それぞれ、前記第２の露光中に感知された光に対応する新規の第２のアナログ画素値を達成する。たとえばそれぞれのＷＡＭ３５８である前記それぞれのＷＡＭを、それぞれの第１のＷＡＭと称する。これらの実施形態では、前記それぞれの第１のＷＡＭに基づいて、前記領域の前記それぞれのイメージセンサ列におけるそれぞれの新規の第２のＷＡＭが供給される。次いで、並行読出しのために、前記第２の露光に基づいて、それぞれの第２のＷＡＭの中の同一のＷＡＭ位置に関連した画素の画素値が供給される。このことは、以下のいくつかのさらなる詳細において、図７に関連して例示され、かつ説明される。
【0101】
したがって、これらの実施形態では２重露光があるが、第２のＷＡＭを新規の第１のＷＡＭとすることはなく、代わりに、ある程度まで、第１の露光の第１のＷＡＭが「再利用」され得る。これは、たとえば第１の露光中とは別の光を使用したとき、露光間の、たとえば対象物４２０である対象物の位置の変化が、なかったかもしくは十分に小さく、かつ／または既知であることが知られ、対象物上の、この、同一またはほぼ同一の位置に関する情報は、第２の露光から取得することが望ましいときには、時間を節約し、かつ／または適用することが興味深いものであり得る。
【0102】
前記それぞれの第２のＷＡＭは、いくつかの実施形態では、幅もイメージセンサ上の位置もそれぞれの第１のＷＡＭと同一であり、すなわち第１のＷＡＭと同一のイメージセンサ画素をカバーし、言い換えれば、この点に関して露光の間で変化しなくてよい。いくつかの実施形態では、その代わりに、それぞれの第１のＷＡＭと比較して、それぞれの第２のＷＡＭ用のイメージセンサ行の事前定義または所定のオフセット、および／またはＷＡＭ幅の事前定義または所定の変化がある。たとえば、第１の露光と第２の露光との間の対象物の移動を補償するために、第２のＷＡＭがオフセットされてよい。別の例では、より広いＷＡＭ幅を有する第２のＷＡＭが、第１のＷＡＭと同一の中心位置に配置され得、あらゆる新規のそれぞれの強度中心およびそのまわりの第１のＷＡＭ幅がそれぞれの第２のＷＡＭによって確実にカバーされる、またはカバーされる可能性が高いように、いくらかのマージンをもたらすものである。これは、読出しのためにさらにいくつかのＷＡＭ位置が与えられるが、アクション５０３におけるように露光中に最初に閾値に達する何らかの新規の画素または画素の群を識別する必要性や、アクション５０７におけるようにそれぞれの第２のＷＡＭと関連付けられた何らかの新規のセンサ行位置識別子（それぞれの第１のＷＡＭのものと同一である）を供給するかまたは読み出す必要性はないことを意味する。より広い第２のＷＡＭの列ごとの実際の中心画素は、後にデジタル的に識別され得、第１のＷＡＭ幅内の画素のデジタル画素値が、ピーク検出および識別のアルゴリズムによって実際のピーク位置をサブ画素分解能で検出するために使用され得る。
【0103】
もう１つの例は、第１のＷＡＭが第２のＷＡＭよりも多くのイメージセンサ行をカバーするものであり、したがって第２のＷＡＭのＷＡＭ幅がカバーするイメージセンサ行はより少ない。たとえば、第１のＷＡＭに対して上記で説明されたようなビニングが使用される場合には、たとえばビニングなしの第２のＷＡＭは、第１の露光中に最初に閾値に達した第１のＷＡＭのビニング群の位置に配置されてよい。
【0104】
いくつかの実施形態では、たとえば前記領域の列３５２－１、．．．、３５２－Ｍのうちいずれかである同一のイメージセンサ列における複数の画素群が、それぞれアナログ画素値を有し、前記閾画素値に同時に達したかまたはそれを上回ったことを示した場合には、事前に定義された１つまたは複数の基準によって、このイメージセンサ列について識別されたそれぞれの画素群として選択されるのは、複数の画素群のうち１つだけである。
【0105】
たとえば、イメージセンサ行位置が最下位または最上位のものが「勝者」に選択されることが所定であるかもしくは事前定義されていてよく、または、領域の１つの列ごとに「勝者」を１つだけもたらす何らかの他の基準が適用されてもよい。２つの画素が全く同時に同一の閾値に達することは、理論上あまりありそうもないが、本明細書の実施形態を、上記で説明されたように実際に実施すると、その実施により、２つ以上の画素が同時に閾値に達しこれを扱うことが必要になることが示されることが起こり得る。この問題が実現したときには、上記のように扱うことが簡単な解決策であり、実施するのも比較的簡単になり得る。これをハードウェアで実施し得る方法が、図９に関連して以下で例示される。
【0106】
図６Ａは、２画素の画素群、たとえばビニング群に対して使用するための列ｍ用のＷＡＭ６５８－ｍを概略的に示す。ＷＡＭ幅６５７は３画素群に対応する。図６Ａの例およびＷＡＭ６５８－ｍは、図３Ｃの例およびＷＡＭ３５８－ｍと比較され得る。したがって、相違は、１画素の画素群ではなく、ここでは２画素であって別のＷＡＭ幅であることである。群ごと２画素あるので、３つの群のＷＡＭ幅６５７は６画素の幅に対応する。
【0107】
ＷＡＭ位置は、たとえばビニングされた画素群の中にあり、分解能がここでは、２画素であるので、３つのＷＡＭ位置すなわちＷＡＭ行６６４－１、．．．、６６４－３がある。
【0108】
図３Ｃの例におけるものと同様に、ＷＡＭ６５８－ｍは、列ｍにおける「勝者」として識別された画素群、すなわち露光中に列ｍの中で最初に閾値に達したかまたはそれを越えた、ビニングされた画素値を有する画素群のあたりを中心とすることになる。言い換えれば、それぞれのＷＡＭの中心位置は、この例では、それぞれの列において「勝者」の画素群と識別された画素群に配置される。
【0109】
図６Ｂは、図６ＡのＷＡＭが、図３Ｂのように識別された画素群を中心とするときの例を概略的に示す。図６Ｂは、図３Ｄに対して、強度ライン３５１およびイメージセンサ３３１などは同一であってもＷＡＭにおいて相違を見い出すために比較され得る。図６Ｂにも、列ごとに１つのＷＡＭ、すなわちｍ＝１、．．．、ＭのそれぞれのＷＡＭ６５８－ｍが示されているが、それぞれの列ｍの画素ではなく識別された「勝者」の画素群を中心としている。この場合また、列ごとに１つのＷＡＭ６５８がある。
【0110】
図７は、本明細書のいくつか実施形態による二重露光を包含する方法の実施形態を概略的に示す別の流れ図である。上記で図５に関連して既に言及されかつ論じられたいくつかの実施形態の一例が示されている。この例は、図５に示された方法およびアクションの拡張と考えられてよく、いくつかの実施形態に適用可能であり得る。たとえば、アクション７０１～７０２は、アクション５０１～５０２でよく、またはアクション５０１～５０２に対応し得る。図７に関連する実施形態の状況では、アクション５０２に関連する露光は、第１の露光すなわち露光＃１と見なされる。アクション７０３は、全体的または部分的にアクション５０３、５０５に対応し得る。
【0111】
アクション５０３、５０５によるＷＡＭは、図７に関連する実施形態の状況では、第１のＷＡＭすなわちＷＡＭ＃１と見なされる。図７には示されていないが、アクション５０４、５０７、５０９のうち１つまたは複数に対応するアクションも存在し得る。アクション７０４～７０５は、それぞれアクション５０６、５０８でよく、またはアクション５０６、５０８に対応し得る。
【0112】
実際の拡張はアクション７０６～７０９に関連する。図５に関連して上記で論じられたいくつかの実施形態に関する事例と同様に、拡張の第１のアクションは、通常は、イメージセンサの第１の露光＃１に由来する画素値を削除してしまう第２の露光＃２に関するアクション７０６であるので、以下で説明されるようなアクションを伴う拡張を実行する前に、ＷＡＭ＃１の画素のすべての画素値を読み出すべきである。すなわち、最初に、たとえば３６４－１、．．．、３６４－５または６６４－１、．．．、６６４－３の各々といった別々のＷＡＭ位置について、それぞれがＷＡＭ＃１の位置に関連付けられた前記並行読出しが、そのような並行読出しのシーケンスにおいて順次に行われ、ＷＡＭ＃１にそれぞれ関連するすべての画素または画素群の値が読み出され得る。シーケンスの長さはＷＡＭ＃１の幅に対応し、たとえばＷＡＭ幅３５７の場合は５であり、ＷＡＭ幅６５７の場合は３である。したがって、それぞれのそのような並行読出しが、それぞれのＷＡＭ＃１の位置に関連付けられ、たとえば、第１の並行読出しはＷＡＭ＃１の位置３６４－１または６６４－１に、第２の並行読出しはＷＡＭ＃１の位置３６４－２または６６４－２に、それぞれ関連付けられる、などである。
【0113】
図７に関するアクションは、図５のアクションと同様に、任意の適切な順序で行われてよく、かつ／または、これが可能で適切なときには、時間において全体的または部分的にオーバーラップして実行されてもよいことに留意されたい。
【0114】
アクション７０６
前記並行読出しのシーケンスの実行後に、イメージセンサの前記少なくとも前記領域の前記画素がリセットされて、第２の露光すなわち露光＃２中に２回目の露光が行われることにより、露光された画素が、それぞれ、前記第２の露光中に感知された光に対応する新規の第２のアナログ画素値を達成する。第２の露光は第２の露光時間であり得、第２の露光時間は、第２の露光の環境および／または理由に依拠して、第１の露光時間と同一でよく、または第１の露光時間よりも長くても短くてもよい。
前記並行読出しのシーケンスの実行後に、イメージセンサの前記少なくとも前記領域の前記画素がリセットされて、第２の露光すなわち露光＃２中に２回目の露光が行われることにより、露光された画素が、それぞれ、前記第２の露光中に感知された光に対応する新規の第２のアナログ画素値を達成する。第２の露光は第２の露光時間であり得、第２の露光時間は、第２の露光の環境および／または理由に依拠して、第１の露光時間と同一でよく、または第１の露光時間よりも長くても短くてもよい。
【0115】
アクション７０７
前記それぞれの第１のＷＡＭに基づいて、前記領域の前記それぞれのイメージセンサ列、たとえば列３５２－１、．．．、３５２－Ｍの各々におけるそれぞれの第２のＷＡＭが供給される。
前記それぞれの第１のＷＡＭに基づいて、前記領域の前記それぞれのイメージセンサ列、たとえば列３５２－１、．．．、３５２－Ｍの各々におけるそれぞれの第２のＷＡＭが供給される。
【0116】
すなわち、この場合、第１のＷＡＭとして供給される第２のＷＡＭはなく、すなわち、「勝者」などと識別される新規の画素または画素群はなく、代わりに、ある程度まで第１の露光のＷＡＭが「再使用」される。上記で既に言及されたように、第２のＷＡＭは、第１のＷＡＭと同一でよく、あるいはＷＡＭ幅が変化してよく、かつ／または、たとえばイメージセンサ列におけるＷＡＭ中心の位置が変化してよい。
【0117】
アクション７０８～７０９
これらのアクションは、アクション５０６、５０８に対応し得、変化は、たとえば、ここで使用されるのは第１のＷＡＭではなく第２のＷＡＭであり、画素値をもたらすのは第１の露光ではなく第２の露光であるということのみである。よって、いくつかの実施形態では、たとえば第２のＷＡＭが少なくとも第１のＷＡＭ以上に広く、第１のＷＡＭはカバーするとき、センサの同一の画素は、別の第２の露光から読み出されてよい。第２の露光からの画素値は、たとえば対象物４２０である対象物上の、第１の露光中と同一または実質的に同一の場所からの光の反射に由来し得る。このように、対象物に関する他の光からの新規の付加情報も供給され得、本明細書の実施形態によって、必要な読出し回数が従来よりも少なくなるはずである。
これらのアクションは、アクション５０６、５０８に対応し得、変化は、たとえば、ここで使用されるのは第１のＷＡＭではなく第２のＷＡＭであり、画素値をもたらすのは第１の露光ではなく第２の露光であるということのみである。よって、いくつかの実施形態では、たとえば第２のＷＡＭが少なくとも第１のＷＡＭ以上に広く、第１のＷＡＭはカバーするとき、センサの同一の画素は、別の第２の露光から読み出されてよい。第２の露光からの画素値は、たとえば対象物４２０である対象物上の、第１の露光中と同一または実質的に同一の場所からの光の反射に由来し得る。このように、対象物に関する他の光からの新規の付加情報も供給され得、本明細書の実施形態によって、必要な読出し回数が従来よりも少なくなるはずである。
【0118】
図８は、たとえばイメージセンサ３３１または４３１であるイメージセンサのそれぞれの画素素子８７０が、本明細書のいくつかの実施形態をサポートして実行するように実施され得る様子の一例を示す概略ブロック図である。したがって、画素素子８７０は、たとえば図３に示されたイメージセンサ３３１の画素Ｐｍ，ｎのうちいずれか１つに対応し得る。
【0119】
画素素子８７０の光感知要素８７１が、関連する追加の回路とともに概略的に示されている。光感知要素８７１と、たとえばイメージセンサ３３１の列に対応する接続された画素バス８７４とは、従来技術のものでよい。以下では、追加の回路と、その機能性と、追加の回路が上記で論じられたアクションのサポートおよび／または実施に関与する様子とに的を絞る。
【0120】
追加の回路は比較器８７７を備え、比較器８７７の第１の入力には、他の画素素子と共有され得る閾値ライン８７５が接続されており、その第２の入力には、感知された光に対応するアナログ画素値を画素出力電圧の形態で出力する光感知要素８７１の出力が接続されている。前記閾値はアクション５０１で取得されたものであり、閾値ライン８７５を通じて供給されて利用可能になり得る。比較器は、露光中に画素値が閾値に達したかまたはそれを越えたことを検知して、比較器出力８８４をたとえばＨすなわち「１」へと反転させるやり方の一例であることを理解されたい。したがって、比較器８７７およびここでのその使用法は、アクション５０３に関連する実装形態の一例である。比較器８７７は、他の画素素子と共有され得る比較器リセットライン８７９に接続された入力も有し、リセットラインによってリセットするように制御される。比較器出力８８４は、図８では全体ＯＲライン８８５および全体ＯＲスイッチ８８６を備える全体ＯＲネットに接続する。全体ＯＲライン８８５は、同一列の他の画素素子と共有される。比較器出力８８４はＤフリップフロップ８８７のデータ入力にも接続し、これも以下でさらに説明される。
【0121】
追加の回路は、同一列における隣接した画素素子の対応するＤフリップフロップと相互接続されたＤフリップフロップ８８７をさらに備える。これらは、たとえばアクション５０５、５０６、５０８に関連したＷＡＭの配置および読出しの実装形態に包含される。これは以下でさらに説明される。Ｄフリップフロップ８８７のクロック入力には、Ｄフリップフロップ８８７にクロック信号を供給するためのＤフリップフロップクロックライン８８９が接続されており、これは他の画素素子のＤフリップフロップと共有され得る。なおまた、Ｄフリップフロップは、画素値が閾値に達したかまたはそれを越えたときＤフリップフロップをたとえば「１」に設定する値に、Ｄフリップフロップを設定するための比較器出力８８４に接続されたデータ入力を有する。さらに、Ｄフリップフロップ８８７は、列において画素素子８７０に隣接した２つの画素素子のうち１つの対応するＤフリップフロップ（図示せず）に接続された第１のデータ入力／出力８９１を有する。Ｄフリップフロップ８８７は、列における前記隣接した２つの画素素子のうちもう１つの第２のものに対応するＤフリップフロップ（図示せず）に接続された第２のデータ入力／出力８９２をさらに有する。第１のデータ入力／出力８９１および第２のデータ入力／出力８９２のうち一方が入力として動作しているときには他方が出力として動作し、逆もまた同様であることに留意されたい。これはＤフリップフロップシフト方向ライン８９５を介して制御され、Ｄフリップフロップ８８７がシフトレジスタとして動作しているときに使用される。
【0122】
Ｄフリップフロップ８８７のリセット入力には、Ｄフリップフロップ８８７をリセットするためのＤフリップフロップリセットライン８９３がさらに接続されている。Ｄフリップフロップリセットライン８９３は、他の画素素子の対応するＤフリップフロップと共有され得る。Ｄフリップフロップ８８７は、全体ＯＲネットに接続されたロック制御入力８９４も有し、そのため、全体ＯＲネットは、列における画素が閾値に達したかまたはそれを越えとき、Ｄフリップフロップ８８７がデータ入力に有する値すなわち比較器出力８８４を「ロック」になり、その後、Ｄフリップフロップ８８７は、たとえば次のリセットまで、データ入力の値による影響すなわち比較器出力８８４による影響を受けないことを意味する。
【0123】
Ｄフリップフロップ８８７に対して有効な、前記Ｄフリップフロップシフト方向のライン８９５も示されており、これは、たとえば同一列における他の画素素子と共有されてよく、列におけるＤフリップフロップがシフトレジスタとして動作するとき、それらがどのように動作するかというシフト方向、たとえば列におけるアップ方向またはダウン方向（図における左方向－右方向）を制御すること、すなわち入力－出力の方向を切り換えることを可能にし、それによって、ＷＡＭ内の位置をシフトして移動させ、そのときの読出しのための１つのＷＡＭ位置を指示することを可能にするためのものである。これは以下でさらに説明される。列におけるＤフリップフロップ８８７および対応する他の画素のＤフリップフロップは、以下の記述から理解されるように、列の全体ＯＲネットがＤフリップフロップのデータ入力をロックした後にシフトレジスタとして動作するためのものである。実際には、これは露光後のことであり、読出し用の画素値を供給するために使用される。
【0124】
基本的に、Ｄフリップフロップ８８７のデータ入力に接続された比較器出力８８４は、入力として動作して、露光中にＤフリップフロップ８８７の値を設定するためのものである。露光後に、Ｄフリップフロップ８８７は、比較器出力８８４とは無関係に、第１のデータ入力／出力８９１および第２のデータ入力／出力８９２を使用して、データを入力から出力までシフトするシフトレジスタとして動作する。
【0125】
アクション５０２の露光の開始において、光感知要素８７１、比較器８７７、Ｄフリップフロップ８８７がリセットされて、全体ＯＲネットが予充電され得る（予充電は示されていない）。露光中に、光感知要素８７１と同一の列における光感知要素から出力された画素電圧が、比較器８７７に対応する比較器によって監視される。以下では、列において閾値ライン８７５上の電圧に対応する閾値に最初に達した画素が、図に示された画素素子８７０に対応する画素であると想定され、比較器８７７を反転させて全体ＯＲネット上に「１」を生成し、それによって、全体ＯＲスイッチ８８６が、Ｄフリップフロップ８８７に対して、そのロック制御入力８９４を通じてロック信号を生成する。全体ＯＲネットは、すべての比較器のＤフリップフロップに対する現在の出力値をたとえば「０」または「１」に「ロックする」が、そこで、「１」になるのは、列ごとの１つの行位置に対応する１つだけにするべきであり、列において最初に閾値に達した画素の行を指示する。言い換えれば、これはアクション５０３の実装形態の例である。同一の列において「勝者」を指示する「１」が２つ以上生じた場合を受け持つための一例として、以下で論じられる図９の例も参照されたい。
【0126】
いくらか経つと、露光時間が終了して、光感知要素８７１を含むすべての光感知要素が露光後のそれぞれの画素値を達成する。したがって、このとき、各列におけるただ１つの「１」は、たとえば列の中で最初に閾値に達したかまたはそれを越えた画素素子８７０である画素素子におけるものであり、したがって、この画素の列における行位置を指示する。たとえば、Ｄフリップフロップの第１の入力／出力８９１は「１」を保持し得る。上記で説明されたように、最初に閾値に達したかまたはそれを越えた画素は、位置（たとえば使用されるＷＡＭの中心位置）にさらに関連付けられる。したがって、前記ただ１つの「１」は、列のＤフリップフロップによって、Ｄフリップフロップシフト方向ライン８９５と、Ｄフリップフロップクロックライン８８９と、第１のデータ入力／出力８９１および第２のデータ入力／出力８９２とを使用して、アップ方向へ、ＷＡＭ幅の「半分」すなわち列におけるＷＡＭサイズの半分だけ、適切にシフトされてよい。実際には、「半分」は、中心位置のまわりで対称のＷＡＭ幅が使用される場合には、実際に（ＷＡＭ幅－１）／２であるシフトを意味し得、したがってＷＡＭ幅が奇数であることを意味し得る。したがって、シフトした後には、「１」は、この列における、たとえばＷＡＭ位置すなわちＷＡＭ行３６４－１におけるＷＡＭの第１のＷＡＭ位置を指示し得る。
【0127】
示された例では、第２のデータ入力／出力８９２に接続されている伝送ゲート８９８は、第２のデータ入力／出力８９２が、そこに「１」がシフトされた後など、「１」であれば、画素素子８７０に関連したＷＡＭ位置の画素値を読み出すべきときであるので、光感知要素が制御信号を受け取って、その画素値が画素バス８７４に供給され得、読み出されて、次いでＡ／Ｄ変換され得る、などのように構成されている。光感知要素に対する制御ライン８７３のうち適切なものは、伝送ゲート８９８によって制御され得るが、通常は、たとえばリセット、読出しの起動などに関する全体的な他の制御ラインもある。
【0128】
列における第１のＷＡＭ位置に「１」がシフトされ、その位置の、画素素子８７０に類似の画素素子が、読出しのためにその画素値を画素バス８７４に供給したと想定する。次に、「１」が「ダウン」方向に１つ位置、再度シフトされてよく、そのため、次のＷＡＭ位置と、このＷＡＭ位置における画素の画素値とが読出し可能になって読み出されるなど、全体のＷＡＭの画素が読み出されるまで、すなわちＷＡＭのすべての位置について、ＷＡＭ幅に応じて、繰り返される。他の列についても類似のプロシージャが並行して継続され、その結果、本明細書の実施形態に関して説明されたように、異なるイメージセンサ列および異なるイメージセンサ行の、たとえば同一のＷＡＭ行である同一のＷＡＭ位置の画素値が並行して読み出され得る。
【0129】
上記のことから、ＷＡＭ幅が、Ｄフリップフロップシフト方向ライン８９５およびＤフリップフロップクロックライン８８９を用いて、Ｄフリップフロップを制御し、シフトするやり方を決定するべきであることを理解されたい。
【0130】
もちろん、上記の例のように、それぞれのＷＡＭの「最上位」から始めてシフトダウンする必要はなく、「最下位」から始めてシフトアップしてもよく、あるいは任意の他の順序でシフトされるＷＡＭ位置から読み出してもよいが、使用される順序は所定であるかまたは事前に定義されているべきである。
【0131】
なおまた、たとえばアクション５０４、５０７および５０９に関連して論じられたように、関心があるのは、各ＷＡＭについて、イメージセンサ行位置、実際には、中心位置など少なくとも１つの特定のＷＡＭ位置、すなわち列の中で最初に閾値に達したかまたはそれを越えた画素を識別して読み出すことである。図８は、これが画素素子８７０に対して達成され得る様子の一例を与えるものである。画素素子８７１は、行位置メモリ８９７または行位置メモリへのアクセスを備え、行位置メモリ８９７は、読出し専用メモリでよく、画素素子８７０のイメージセンサ行位置を識別する、ハードコードされた、たとえばＮビットのビット数に対応し得る。行位置メモリ８９７は行数ビットバス８８３に接続されており、ここで、ビット数が、ビットごとに出力され得、すなわち、他の画素素子と共有され得る行数クロック信号ライン８８１を介して行位置メモリ８９７に接続されたクロック信号を使用して連続的に出力され得る。ビット数の出力は、列の中で前記「１」によって指示された画素に関して行われるように、たとえば、それぞれのＷＡＭの、たとえば列の中で閾値に最初に達したかまたはそれを越えた画素である１つの画素に関して出力されるように、制御され得、したがって、その列におけるＷＡＭの中心位置に対応する。
【0132】
行位置メモリ８９７の代替の例は、行ラインから画素素子にアドレスビットを供給することに基づき得る。
【0133】
図９は、いくつかの実施形態に関するアービタ機能性がハードウェアで論理によって実施され得る様子を示すための概略ブロック図である。これは、たとえば、１つの列につき、図８の例のように、列の中でたとえば「１」によって「勝者」として指示された画素、すなわち同一の列の中で最初に閾値に達したかまたはそれ越えたものとして指示された複数の画素である、図８の画素素子８７０に対応する複数の画素があり得る場合の比例的な簡単な解決策の例である。図９もこの例も、示された論理素子および遷移によって全く自明であり、この解決策はシーケンスにおけるＡＮＤゲートの直列接続に基づくものである。この例に見られるように、想定されることは、左側の４つの入力ライン９９２ａ－１、．．．、９９２ａ－４のうち２つが「１」に設定されており、したがって、両方が、最初に閾値に達したかまたはそれを越えたものとして指示されている。入力ライン９９２ａ－１、．．．、９９２ａ－４における入力値は、この例では「０１０１」であり、たとえばＤフリップフロップ８８７などのＤフリップフロップによって、たとえばＤフリップフロップ出力ライン８９２であるＤフリップフロップ出力ライン上に出力された値に対応し得る。「１」に設定されることによって機能を作動させるために、制御ライン９９９は、露光の最後までに、たとえばトリガされた露光の後に使用され得る。図９に示されるように、制御ライン９９９が「０」から「１」へと切り換わった結果、シーケンスにおける第１のＡＮＤゲートの出力も、ここでは入力ライン９９２ａ－２である、入力ラインのうち「１」を有する最初のものに先行して「０」から「１」に切り換わることになり、結果として、シーケンスにその後に生じるあらゆる入力ラインが「０」以外の値を出力するのを防止する。結果として、入力ライン９９２ａ－１、．．．、９９２ａ－４はたった１つの「１」を有し、出力ライン９９２ｂ－１、．．．、９９２ｂ－４における出力値は、この例では「０１００」になって、たった１つの「勝者」を指示する。理解されるように、対応する機能性は、わずかな変更および／または他の論理素子によって達成され得、機能性をハードウェアで実施する必要がなければ、読出しが基づくものが１つだけであるように列における複数の行の指示のうちどれを選択するべきか選択するための可能性がさらに多くある。代替案は、たとえば、列における最初の「勝者」もしくは最後の「勝者」の指示または隣接した列の中で「勝者」の指示に最も近いものを選択すること、あるいは列における「勝者」の指示を無作為抽出することを含み得る。
【0134】
図１０は、１つまたは複数の装置１０００、すなわち装置１０００が、図５および／または図７に関連して論じられた方法およびアクションを実行するように構成され得るやり方の実施形態を示すための概略ブロック図である。装置１０００は、図５および図７に関連して上記で説明された方法および／またはアクションを実行するためなど、本明細書の実施形態を実行するための、上記で既に言及された装置に対応し得る。よって、装置１０００は、たとえばイメージセンサ４３１であるイメージセンサの画素の、少なくとも前記領域から読み出すための画素値の、前記供給のためのものである。
【0135】
装置１０００は、処理手段などの処理モジュール１００１、１つまたは複数の処理回路、たとえばプロセッサなどの回路を含む１つまたは複数のハードウェアモジュール、ならびに／あるいは前記方法および／またはアクションを実行するための１つまたは複数のソフトウェアモジュールを備え得る。
【0136】
装置１０００は、コンピュータプログラム１００３を含有するかまたは記憶するなどして含み得るメモリ１００２をさらに備え得る。コンピュータプログラム１００３は、前記方法および／またはアクションを実行する装置１０００によって直接的または間接的に実行可能な「命令」または「コード」を含む。メモリ１００２は、１つまたは複数のメモリユニットを備えてよく、本明細書の実施形態の機能およびアクションに包含される、またはこれらを実行するための、構成、データおよび／または値などのデータを記憶するようにさらに構成され得る。
【0137】
なおまた、装置１０００は、例示のハードウェアモジュールとしてデータの処理およびたとえば符号化に包含される処理回路１００４を含み得、１つもしくは複数のプロセッサまたは処理回路を含むかまたはこれらに対応し得る。処理モジュール１００１は、たとえば、処理回路１００４「の形態で具現され」てよく、または処理回路１００４「によって実現され」てもよい。これらの実施形態では、メモリ１００２は、処理回路１００４によって実行可能なコンピュータプログラム１００３を含み得、それにより、装置１０００は前記方法および／またはアクションを実行するように作動するかまたは構成される。
【0138】
装置１０００は、たとえば処理モジュール１００１が、たとえば他の装置との情報のやり取りなど他のユニットおよび／または装置との間の何らかの通信を実行することによって包含されるように構成された入力／出力（Ｉ／Ｏ）モジュール１００５を備え得る。Ｉ／Ｏモジュール１００５は、適用可能なとき、たとえば受信モジュールを取得すること、および／またはたとえば送信モジュールを設けることによって、具現され得る。
【0139】
さらに、いくつかの実施形態では、装置１０００は、たとえば処理モジュール１００１が、本明細書の実施形態のアクションを実行するための例示のハードウェアモジュールおよび／またはソフトウェアモジュールとして、取得モジュール、露光モジュール、識別モジュール、関連付けモジュール、供給モジュール、記憶モジュール、リセットモジュール、読取りモジュール、選択モジュールのうち１つまたは複数を備える。これらのモジュールは、処理回路１００４によって全体的にまたは部分的に実施され得る。よって、以下のようになる。
【0140】
装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／またはＩ／Ｏモジュール１００５、および／または取得モジュールは、閾画素値およびＷＡＭ幅を指示する前記情報を取得するように作動するかまたは構成される。
【0141】
装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／または露光モジュールは、イメージセンサの少なくとも前記領域の前記画素を露光するように作動するかまたは構成され、それによって露光された画素はそれぞれ前記アナログ画素値を達成する。
【0142】
装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／または識別モジュールは、前記露光中のそのアナログ画素値が、前記領域のそれぞれのイメージセンサ列の中で最初に前記それぞれの列の中に前記閾画素値に達したかまたはそれを越えた前記１つまたは複数の画素の前記それぞれの群を識別するように作動するかまたは構成される。
【0143】
装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／または関連付けモジュールは、前記識別されたそれぞれの画素群を、前記領域の前記それぞれのイメージセンサ列におけるそれぞれのＷＡＭの前記それぞれの特定のＷＡＭ位置に関連付けるように作動するかまたは構成される。
【0144】
装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／またはＩ／Ｏモジュール１００５、および／または供給モジュールは、ＷＡＭ位置ごとの並行読出しのために、前記露光に基づいて、画素のそれぞれのＷＡＭにおける同一のＷＡＭ位置に関連した前記画素値を供給するように作動するかまたは構成される。
【0145】
いくつかの実施形態では、装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／または記憶モジュールは、識別されたそれぞれの画素群のイメージセンサ行位置を識別する前記それぞれのイメージセンサ行位置識別子を記憶するように作動するかまたは構成される。
【0146】
いくつかの実施形態では、装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／またはＩ／Ｏモジュール１００５、および／または供給モジュールは、それぞれのＷＡＭに関連した読出しのために、前記記憶された、それぞれのＷＡＭに関連したそれぞれのセンサ行位置識別子を供給するように作動するかまたは構成される。
【0147】
いくつかの実施形態では、装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／またはＩ／Ｏモジュール１００５、および／または供給モジュールは、別々のＷＡＭ位置に関する前記並行読出しを前記シーケンスにおいて順次に行うように作動するかまたは構成され、シーケンスの長さは前記ＷＡＭ幅に対応し、それぞれのそのような並行読出しはそれぞれのＷＡＭ位置に関連する。
【0148】
いくつかの実施形態では、装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／またはリセットモジュール、および／または露光モジュールは、前記並行読出しのシーケンスの実行後に、イメージセンサの前記少なくとも前記領域の前記画素をリセットしてから、前記第２の露光中に前記２回目の露光を行うことにより、露光させた画素に、前記新規の第２のアナログ画素値をそれぞれ達成させるように作動するかまたは構成される。
【0149】
いくつかの実施形態では、装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／またはＩ／Ｏモジュール１００５、および／または供給モジュールは、前記それぞれの第１のＷＡＭを基に、前記領域の前記イメージセンサ列における前記それぞれの新規の第２のＷＡＭを供給し、また、並行読出しのために、前記第２の露光に基づいて、前記それぞれの第２のＷＡＭにおける同一のＷＡＭ位置に関連した画素の画素値を供給するように作動するかまたは構成される。
【0150】
いくつかの実施形態では、装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／または露光モジュールは、光三角測量に基づく対象物の３Ｄ撮像の一部として、前記対象物から反射された前記光に対する露光中に、画素を露光するように作動するかまたは構成される。
【0151】
いくつかの実施形態では、装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／またはＩ／Ｏモジュール１００５、および／または読出しモジュールは、並行読出し用に供給された前記画素値を読み出す（５０８）ように作動するかまたは構成される。
【0152】
いくつかの実施形態では、装置１０００、および／または処理モジュール１００１、および／または処理回路１００４、および／またはＩ／Ｏモジュール１００５、および／または選択モジュールは、前記領域の同一のイメージセンサ列における前記複数の画素群が有する前記アナログ画素値が、前記閾画素値に同時に達したかまたはそれを上回ったことをそれぞれ示した場合には、前記事前に定義された１つまたは複数の基準によって、このイメージセンサ列について識別されたそれぞれの画素群として複数の画素群のうち前記１つだけを選択するように作動するかまたは構成される。
【0153】
【0154】
図１１は、ハードウェア合成装置１１０１および第２のコンピュータプログラム１１０３を概略的に示すものであり、ハードウェア合成装置１１０１は、第２のコンピュータプログラム１１０３をロードして実行することにより、通常はチップであるハードウェアを、たとえば、すなわち、本明細書において上記で説明されたいくつかの実施形態のような装置１０００および／または画像感知装置もしくは回路４３３として合成し、かつ／または構成する。合成されるチップは、たとえばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）技術、もしくは類似物でよく、またはそれらに基づいてもよく、あるいは、たとえば特定用途向け集積回路（ＡＳＩＣ）でもよい。ハードウェア合成装置１１０１は、合成されるハードウェアのタイプのハードウェアを合成するための従来のものでよい。第２のコンピュータプログラム１１０３は、たとえば、超高速集積回路ハードウェア記述言語（ＶＨＤＬ）、または合成されるハードウェアのタイプに適するかもしくはそれに固有の何らかの他のプログラム言語などの適切なハードウェア記述言語（ＨＤＬ）といった、ハードウェア合成のためのいくつかの伝統的プログラミング言語に基づくものでよい。いくつかの実施形態では、たとえばＡＳＩＣが合成されるとき、第２のコンピュータプログラム１１０３は、その製造業者用に生成されてＡＳＩＣの製造において使用される、システムの装置の一部によって実行可能なＡＳＩＣの設計を記述するバイナリファイルおよび／または何かの著作権付きフォーマットのファイルであってよくまたはそれらを含み得る。そのような場合、第２のコンピュータプログラム１１０３は、コンピュータで実行される、たとえばＶＨＤＬのプログラムと、これによってＡＳＩＣ製造に使用するために生成されたファイルとの両方を含み得る。
【0155】
ハードウェア合成装置１１０１は、たとえば、第２のコンピュータプログラム１１０３を実行するコンピュータと、たとえばＦＰＧＡチップ上で動作することによってそれ自体でハードウェア合成を実行する、コンピュータに接続された１つまたは複数のコンピュータ制御の装置とを備え得る。
【0156】
本明細書で使用される、ハードウェアの合成は、物理的に形成もしくは生成することによって形成された、たとえば電子回路であるハードウェアが存在すること、および／またはたとえばＦＰＧＡチップである合成可能なハードウェアユニットまたは部品に、一般的には恒久的な物理的変化を生じさせることを指す。これは、たとえば既に実施されている電子回路を利用する既存のハードウェアで実行する、より慣例的なコンピュータプログラムとは明らかに異なる。そのようなコンピュータプログラムは、たとえば特定のアクションを実行するためにハードウェアを制御するが、ハードウェアを生成することはない。
【0157】
第１のコンピュータプログラム１００３は上記で説明され、したがって、命令を含み得、たとえば装置１０００、たとえば処理モジュール１００１、および／またはプロセッサ１００４、および／または画像感知装置４３３といった装置は、そのような命令を実行することにより、図５および／または図７に関連して上記で説明された方法などを実行する。言い換えれば、第１のコンピュータプログラム１００３は、ソフトウェアに関連する従来型のものでよい。
【0158】
図１２が概略的に示す、いくつかの実施形態において提供される１つまたは複数のキャリア、またはより具体的にはたとえばコンピュータプログラム製品であるデータキャリアは、以下ではコンピュータプログラム１００３および／または１１０３と称される第１のコンピュータプログラム１００３および／または第２のコンピュータプログラム１１０３を含む。キャリアまたは前記キャリアの各々は、電子信号、光信号、無線信号、および、たとえば図において概略的に示された１つまたは複数のコンピュータ可読記憶媒体１２０１といった１つまたは複数のコンピュータ可読記憶媒体のうちの１つでよい。したがって、コンピュータプログラム１００３および／または１１０３は、１つまたは複数のコンピュータ可読記憶媒体１２０１に記憶され得る。一時的な伝搬信号はキャリアから除外されてよく、データキャリアは、それに応じて非一時的データキャリアと命名され得る。コンピュータ可読記憶媒体であるデータキャリアの非限定的な例には、メモリスティックなどのメモリカードもしくはメモリユニット、ディスク記憶媒体、または、たとえばハードディスクもしくは半導体ドライブ（ＳＳＤ）に基づく大容量記憶装置がある。１つまたは複数のコンピュータ可読記憶媒体１２０１は、たとえばインターネット、またはローカルエリアネットワーク（ＬＡＮ）といったコンピュータネットワーク１２０２を通じてアクセス可能なデータを記憶するために使用され得る。コンピュータプログラム１００３および／または１１０３は、その上、純粋なコンピュータプログラムとして提供されてよく、または１つまたは複数のファイルに含まれてもよい。ファイルは、１つまたは複数のコンピュータ可読記憶媒体１２０１に記憶されてよく、図１２に指示されるように、たとえばサーバを介して、たとえばコンピュータネットワーク１２０２にダウンロードすることにより、たとえば利用可能になり得る。サーバは、たとえばウェブサーバまたはファイル転送プロトコル（ＦＴＰ）サーバでよい。１つまたは複数のファイルは、たとえば装置１０００、および／または画像感知装置４３３、および／またはハードウェア合成装置１１０１のうちいくつかまたはすべてを上記で説明されたように構成するかまたは作動させるために、たとえばこれらに直接的または間接的にダウンロードされて実行される実行可能ファイルでよい。１つまたは複数のファイルは、それ加えて、またはその代わりに、さらなるダウンロードおよび実行の前にこれらを実行可能にするために、同一または別のプロセッサを包含する中間のダウンロードおよびコンパイル向けのものでもよい。
【0159】
たとえば図１０に関連して上記で言及された任意の処理モジュールが、ソフトウェアならびに／あるいはたとえば既存のハードウェアおよび／またはＡＳＩＣもしくはＦＰＧＡまたは同種のものとしてのハードウェアモジュールとして実施され得ることに留意されたい。上記で言及された任意のハードウェアモジュールおよび／または回路は、たとえば単一のＡＳＩＣまたはＦＰＧＡに含まれてよく、個々にパッケージ化されるかまたはシステムオンチップ（ＳｏＣ）に組み立てられて、いくつかの個別のハードウェア構成要素の間に分散されてよいことにも留意されたい。
【0160】
上記で指示されたように、たとえば装置１０００および／または画像感知装置４３３は、たとえばイメージセンサと一体化されたＮＳＩＰタイププロセッサのチップの実装形態として、ＮＳＩＰアーキテクチャまたは類似物として実装されてよく、かつ／またはＮＳＩＰアーキテクチャまたは類似物の上に実装されてよい。本明細書の少なくともいくつかの実施形態は、コンピュータプログラム１００３を、たとえばＮＳＩＰチップであるプログラム可能イメージセンサチップにインストールすることなどのプログラミングによって、またはそのようなチップを制御することの実行のために、実現され得る。
【0161】
なおまた、実装を容易にするために、たとえばＡＳＩＣを基に、互いにスタッキングされた複数のシリコンチップに基づき、かつ／またはこれらを実施する、いくつかの最新鋭ＣＭＯＳ撮像装置技術をサポートする高速の画像感知装置４３３を実現するチップが作製されて使用され得る。これによって、有用な空間を占有するとともに、各画素の活性化領域を全体のピクセル領域と比較して小さくすることにより、画素の性能を損なうことなく画素の近くでより多くの論理回路が使用可能になる。そのようなスタッキングにより、１つのダイをアナログ画素設計用に最適化して１つのダイをデジタル動作用に最適化することが可能になり、効率が改善され、より小面積の２つのダイを使用することにより、コスト削減が可能になる。
【0162】
当業者なら、本明細書で論じられたモジュールおよび回路は、ハードウェアモジュール、ソフトウェアモジュール、アナログ回路およびデジタル回路、ならびに／あるいは、たとえばメモリに記憶されたソフトウェアおよび／またはファームウェアを用いて構成された１つもしくは複数のプロセッサの組合せを指し得、１つまたは複数のプロセッサがこれらのソフトウェアおよび／またはファームウェア実行することにより、たとえば装置１５００が、本明細書の実施形態の前述のアクションを実行するように構成され、かつ／または実行することも認識するであろう。
【0163】
本明細書では、あらゆる識別子によるあらゆる識別が、暗示的でも明示的でもよい。識別は、たとえば特定のコンピュータプログラムまたはプログラムプロバイダといった特定の状況では、固有のものになり得る。
【0164】
本明細書で使用される「メモリ」という用語は、デジタル情報を記憶するためのデータメモリを指し得、通常は、ハードディスク、磁気記憶装置、媒体、携帯型パソコンディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）または同種のものを指し得る。その上、メモリはプロセッサの内部レジスタメモリでよい。
【0165】
また、第１の値、第２の値、第１の装置、第２の装置などの、何らかの列挙する用語法は、それ自体が非限定的であると見なされるべきであり、用語法自体は特定の階層的関係を意味するものではないことにも留意されたい。それどころか、列挙による命名は、明示的情報がなければ、単に別々の名称を達成する方法と考えられたい。
【0166】
本明細書で使用される「数」、または「値」という用語は、一般にあらゆる種類の２進数、実数、虚数または有理数などを指すものである。なおまた、「数」または「値」は、文字または文字のストリングなどの１つまたは複数の文字でよい。また、「数」または「値」はビットストリングによって表され得る。
【0167】
本明細書で使用される「～ように構成される」という表現は、処理回路が、ソフトウェア構成またはハードウェア構成によって、本明細書で説明されたアクションのうち１つまたは複数を実行するように構成されるかまたは適合されることを意味し得る。
【0168】
本明細書で使用される「得る」や「いくつかの実施形態では」という表現は、通常は、記述された機能が、本明細書で開示された任意の他の実施形態と組み合わされ得ることを指示するように使用される。
【0169】
図では、いくつかの実施形態にしか存在し得ない機能は、通常は、点線または破線を使用して描かれている。
【0170】
「～を備える」または「～を備えている」という単語を使用するとき、非限定的な意味、すなわち「少なくとも～から成る」という意味に解釈されるものとする。
【0171】
本明細書の実施形態は、上記で説明された実施形態に限定されない。様々な代替形態、修正形態および等価物が使用され得る。したがって、上記の実施形態は、添付の特許請求の範囲によって定義される本開示の範囲を制限するように解釈されるべきではない。
【符号の説明】
【0172】
１０５ 撮像システム
１１０ 光源
１１１ 光パターン
１１２ 光ライン
１２０ 第１の測定対象物
１２１ 第２の測定対象物
１２２ コンベアベルト
１２３ 座標系
１３０ カメラ、カメラユニット
１４１－１～１４１－Ｎ プロファイル画像
１４３ センサベースの座標系
２５１ 強度ライン
２５２－１～２５２－Ｍ イメージセンサ列
２５４－１～２５４－Ｎ イメージセンサ行
２５５ 画素位置
２５７ ＷＡＭ幅
２５８ ＷＡＭ
２５９ 全幅
２６１ 光分布
２６３ 中心位置
３３１ イメージセンサ
３５１ 強度ライン
３５２－１～３５２－Ｍ イメージセンサ列
３５４－１～３５４－１２ イメージセンサ行
３５５ 画素
３５５－６ 画素
３５５ａ 画素
３５５ｂ 画素
３５５ｃ 画素
３５５－１～３５５－Ｍ 画素
３５６ Ａ／Ｄコンバータ、ＡＤＣ
３５６－１ 第１のＷＡＭ行
３５７ ＷＡＭ幅
３５８－１～３５８－Ｍ ＷＡＭ
３５８－６ ＷＡＭ
３５８－ｍ ＷＡＭ
３６４－１ ＷＡＭ位置
３６４－２ ＷＡＭ位置
３６４－３ ＷＡＭ位置
３６４－４ ＷＡＭ位置
３６４－５ ＷＡＭ位置
４０５ ３Ｄ撮像システム
４１０ 光源
４１１ 光
４２０ 対象物
４３０ カメラ
４３１ イメージセンサ
４３２ カメラ４３０の視野
４３３ 画像感知装置、画像感知回路
４３４ コンピューティング装置
６５７ ＷＡＭ幅
６５８ ＷＡＭ
６５８－ｍ ＷＡＭ
６６４－１ ＷＡＭ位置
６６４－２ ＷＡＭ位置
６６４－３ ＷＡＭ位置
８７０ 画素素子
８７１ 光感知要素
８７３ 制御ライン
８７４ 画素バス
８７５ 閾値ライン
８７７ 比較器
８７９ 比較器リセットライン
８８１ 行数クロック信号ライン
８８３ 行数ビットバス
８８４ 比較器出力
８８５ 全体ＯＲライン
８８６ 全体ＯＲスイッチ
８８７ Ｄフリップフロップ
８８９ Ｄフリップフロップクロックライン
８９１ 第１のデータ入力／出力
８９２ 第２のデータ入力／出力
８９３ Ｄフリップフロップリセットライン
８９４ ロック制御入力
８９５ Ｄフリップフロップシフト方向ライン
８９７ 行位置メモリ
８９８ 伝送ゲート
９９２ａ－１～９９２ａ－４ 入力ライン
９９２ｂ－１～９９２ｂ－４ 出力ライン
９９９ 制御ライン
１０００ 装置
１００１ 処理モジュール
１００２ メモリ
１００３ コンピュータプログラム
１００４ 処理回路
１００５ 入力／出力（Ｉ／Ｏ）モジュール
１１０１ ハードウェア合成装置
１１０３ 第２のコンピュータプログラム
１２０１ コンピュータ可読記憶媒体
１２０２ コンピュータネットワーク
１１０ 光源
１１１ 光パターン
１１２ 光ライン
１２０ 第１の測定対象物
１２１ 第２の測定対象物
１２２ コンベアベルト
１２３ 座標系
１３０ カメラ、カメラユニット
１４１－１～１４１－Ｎ プロファイル画像
１４３ センサベースの座標系
２５１ 強度ライン
２５２－１～２５２－Ｍ イメージセンサ列
２５４－１～２５４－Ｎ イメージセンサ行
２５５ 画素位置
２５７ ＷＡＭ幅
２５８ ＷＡＭ
２５９ 全幅
２６１ 光分布
２６３ 中心位置
３３１ イメージセンサ
３５１ 強度ライン
３５２－１～３５２－Ｍ イメージセンサ列
３５４－１～３５４－１２ イメージセンサ行
３５５ 画素
３５５－６ 画素
３５５ａ 画素
３５５ｂ 画素
３５５ｃ 画素
３５５－１～３５５－Ｍ 画素
３５６ Ａ／Ｄコンバータ、ＡＤＣ
３５６－１ 第１のＷＡＭ行
３５７ ＷＡＭ幅
３５８－１～３５８－Ｍ ＷＡＭ
３５８－６ ＷＡＭ
３５８－ｍ ＷＡＭ
３６４－１ ＷＡＭ位置
３６４－２ ＷＡＭ位置
３６４－３ ＷＡＭ位置
３６４－４ ＷＡＭ位置
３６４－５ ＷＡＭ位置
４０５ ３Ｄ撮像システム
４１０ 光源
４１１ 光
４２０ 対象物
４３０ カメラ
４３１ イメージセンサ
４３２ カメラ４３０の視野
４３３ 画像感知装置、画像感知回路
４３４ コンピューティング装置
６５７ ＷＡＭ幅
６５８ ＷＡＭ
６５８－ｍ ＷＡＭ
６６４－１ ＷＡＭ位置
６６４－２ ＷＡＭ位置
６６４－３ ＷＡＭ位置
８７０ 画素素子
８７１ 光感知要素
８７３ 制御ライン
８７４ 画素バス
８７５ 閾値ライン
８７７ 比較器
８７９ 比較器リセットライン
８８１ 行数クロック信号ライン
８８３ 行数ビットバス
８８４ 比較器出力
８８５ 全体ＯＲライン
８８６ 全体ＯＲスイッチ
８８７ Ｄフリップフロップ
８８９ Ｄフリップフロップクロックライン
８９１ 第１のデータ入力／出力
８９２ 第２のデータ入力／出力
８９３ Ｄフリップフロップリセットライン
８９４ ロック制御入力
８９５ Ｄフリップフロップシフト方向ライン
８９７ 行位置メモリ
８９８ 伝送ゲート
９９２ａ－１～９９２ａ－４ 入力ライン
９９２ｂ－１～９９２ｂ－４ 出力ライン
９９９ 制御ライン
１０００ 装置
１００１ 処理モジュール
１００２ メモリ
１００３ コンピュータプログラム
１００４ 処理回路
１００５ 入力／出力（Ｉ／Ｏ）モジュール
１１０１ ハードウェア合成装置
１１０３ 第２のコンピュータプログラム
１２０１ コンピュータ可読記憶媒体
１２０２ コンピュータネットワーク
【図1】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【外国語明細書】