(58)【調査した分野】(Int.Cl.,DB名)
前記制御部が、前記タイル配置画素パターンと前記軸方向に沿った移動との組み合わせによって与えられる前記複数の画像データセットを合成して、前記ボア表面セグメントに対応する、前記軸方向及び前記円周方向の各々の解像度が、その対応する方向の前記原データ解像度よりも精細である超解像度画像データセットを提供するように構成された、請求項6に記載の超解像度ボア撮像システム。
前記第1の画素セットが、前記第1方向に沿って前記第2の画素セットから0.5Cのオフセット量でオフセットされている、請求項9に記載の超解像度ボア撮像システム。
kが整数であり、条件(a)が満たされず、条件(b)が、前記第1方向に沿ったCよりも小さいオフセットでの前記第1の画素セットからの前記第2の画素セットのオフセットにより、前記条件Φi=Φ1+j(C/M)又はΦi=Φ1−j(C/M)(jは1.0未満の数)を満たす前記円周方向に沿った各撮像Φ座標Φiを与えるように、前記制御部が、各撮像Z座標Ziで前記第2の画素セットを用いるため、前記第1の取得画像データセットを取得した後に、前記軸方向に沿って前記超解像度ボア撮像システムを移動させるように構成され、
前記ボア表面セグメントの前記超解像度画像データセットの前記円周方向の解像度が前記円周方向の前記原データ解像度よりも精細である、請求項9に記載の超解像度ボア撮像システム。
kが1.0未満の数であり、条件(a)が満たされ、条件(b)が、前記第1方向に沿ったCよりも小さいオフセットでの前記第1の画素セットからの前記第2の画素セットのオフセットにより、前記条件Φi=Φ1+j(C/M)又はΦi=Φ1−j(C/M)(jは1.0未満の数)を満たす前記円周方向に沿った各撮像Φ座標Φiを与えるように、前記制御部が、各撮像Z座標Ziで前記第2の画素セットを用いるため、前記第1の取得画像データセットを取得した後に、前記軸方向に沿って前記超解像度ボア撮像システムを移動させるように構成され、
前記ボア表面セグメントの前記超解像度画像データセットの前記軸方向及び前記円周方向の各々の解像度がその対応する方向の前記原データ解像度よりも精細である、請求項9に記載の超解像度ボア撮像システム。
前記第1及び第2の画素セットが、前記第1及び第2方向のそれぞれに沿ったタイル配置画素パターン内に収まるような多角形状になっている、請求項12に記載の超解像度ボア撮像システム。
前記光検出器構成は、前記軸方向に直交する平面上において前記第1の画素セットが円又は弧を描くように配置された平面状であり、前記第1方向は前記ボアの前記円周方向に沿っている、請求項15に記載の超解像度ボア撮像システム。
【発明を実施するための形態】
【0008】
図1は、本明細書に開示する原理に従った、超解像度ボア撮像を達成する際に使用するのに適したボア撮像システム100の一実施形態の概略図である。この実施形態においてボア撮像システム100は、光検出器構成110(本明細書では単に光検出器とも称する)及びボア表面撮像機構120を備え、これらは双方とも、安定した形態にこれらを保持する湾曲キャリア170上に支持されている。ボア撮像システム100は、概略的に図示する筐体部材180上に支持され得る。筐体部材180は、全ての部分を適正な関係に保持すると共に、ボア撮像システム100を軸方向スキャニング方向SDに沿ってスキャンしてボア表面160の所望の軸方向断面を撮像するための(例えば
図1の「移動制御102」によって制御されるような)移動制御システム等に搭載されるか又はこれを含むことができる。いくつかの実施形態では、ボア撮像システム100は更に照明部185を備えることができる。様々な実施形態において、照明部185は、露光の持続時間及びタイミング(例えば特定の撮像位置でトリガされるタイミング)を決定するように制御可能なストロボ光源を備えることができる。
図1は、円筒形のボアと位置合わせされた円筒形座標Z、R、及びΦに従って配置されている。Zは軸方向に相当し、Φ(又は「P」)はボア表面160の円周方向に相当する。光検出器110は、撮像画素132a〜132nのアレイ及び画素基板134を備えている。いくつかの実施形態では、画素132a〜132n及び画素基板134は、一体化されている及び/又は区別できない場合がある(例えば、薄い半導体基板上の半導体光検出器アレイの形態)。他の実施形態では、それらは、相互接続部等も支持している可撓性材料に接合された、区別できるダイシング済み半導体光検出器要素であり得る。いずれの場合であっても、画素132a〜132nは、画像データ(例えば強度値)を与える光検出要素で形成されている。この画像データは、個別にもしくは並列に出力されるか、又は接続部133に出力される前に多重化、もしくはシリアル化、もしくは他の方法で処理することができる。すなわち、いくつかの実施形態では、光検出器110の一部として及び/又はキャリア170上に処理回路を設けることができる。他の実施形態では、制御部106に光検出器処理回路104を設け、光検出器110から接続部133を介して画像画素信号を受信することができる。
【0009】
ボア表面撮像機構120は、光学倍率Mを与えながらボア表面160を撮像画素132a〜132n上に結像するレンズ機構190を備えている。この実施形態において、レンズ機構190はレンズ要素190a〜190nのアレイの形態を取る。これについては
図2A及び
図2Bを参照して以下で更に詳しく説明する。照明部185は、照明/制御ライン186を介して、制御部106の一部として又は制御部106に接続して設けることができる照明電力及び制御要素に接続されている。動作において、照明部185は、ボア表面160上の撮像領域150に照明187を与えるように配置されている。代替的な実施形態では、照明部を省略するか、又はキャリア170上に設けるか、又は他の任意の好都合な形態とすることも可能である。いずれの場合であっても、ボア表面撮像機構120は、撮像領域150から生じる画像光140を光検出器110に、そして撮像画素132a〜132nに伝送するように構成されている。
【0010】
図1に示す実施形態では、ボア撮像システム100をスキャニング方向SDに沿ってボア表面160に対して移動させることで、軸方向Zに沿ってボア表面160をカバーする複数の画像を提供する。様々な実施形態において、ボア撮像システム100又はボア表面160の一方を静止状態として、他方を既知の方法に従ってボア撮像システム100により測定及び制御されるように移動させることができる。
【0011】
図1に示す実施形態において、光検出器110はキャリア170上でほぼ円形の形状に湾曲している。いくつかの実施形態において、キャリア170は筐体部材180の一部とすることができる。様々な実施形態において、基板134は、可撓性プリント基板、エラストマ、又は薄型半導体基板、又は湾曲撮像アレイを提供するため必要な特性を与える別の湾曲可能基板とすればよい。いくつかの実施形態において、湾曲光検出器110は、American Semiconductor(アイダホ州ボイシ)から入手可能なFlex(商標)Silicon−on−Polymer(商標)CMOSセンサ等の可撓性ICセンサ、又はAndanta(ドイツ、オルヒング)により提供される湾曲高解像度CCDセンサで形成することができる。湾曲光検出器構成を製造するために使用可能な様々な他の代替物は、米国特許第6,791,072号、第6,849,843号、第7,786,421号、第8,372,726号、第8,742,325号、及び米国特許公報2010/0264502号、及び第2012/0261551号に開示されている。
【0012】
いくつかの実施形態において、光検出器110は多数の光検出器要素アレイを備えることができ、それらの各々は限られた長さにわたって名目上平坦であるが、光検出器110の湾曲形状に沿って配置されている。例えば、複数の名目上平坦な光検出器アレイを、光検出器110の湾曲形状に沿った可撓性基板上に設けることができる。そのような実施形態において設計上考慮すべきことの1つは、光検出器アレイの各々が、撮像領域150の対応部分の許容できないほどピンぼけした画像を受信してはならないということである。このため、いかなるレンズ機構190及びこれと協働する光検出器110も、各光検出器又は画素を所望の焦点深度又は焦点範囲内に維持するために必要な程度の相補的な曲率を有するように設計しなければならない。
【0013】
図2A及び
図2Bは、本明細書に開示する原理に従って超解像度ボア撮像を達成するため
図1に示すボア撮像システム100において使用可能な、光検出器構成210及びレンズ機構290を用いるボア表面撮像機構220の1つの例示的な実施形態の概略図である。
図2Aは、撮像画素の各々232aと協働して動作するレンズ要素の各々290aを含む1つの典型的な画像チャネルIC230aの構成要素を示す。ボア表面撮像機構220及び光検出器210は、複数の同様の画像チャネルを備えている。当業者には明らかであろうが、
図2A及び
図2Bにおいて2XXと付番された多くの要素は、
図1において1XXと付番された要素と同様又は同一とすることができ、特に断りのない限り、前述の記載又は類似性に基づいて理解すればよい。
【0014】
図2Aは、画像チャネルIC230aのR−Z面に垂直な方向から見た側面図を示し、
図2Bは、軸方向Zに平行な方向から見た2つの隣接する画像チャネルIC230a及び画像チャネルIC230bの上面図を示す。画像チャネルIC230aに関連付けられたレンズ機構290の部分は290aと表され、マイクロレンズ293aの前方に位置付けられたアパーチャ291aと、マイクロレンズ293aの後焦点面に位置付けられたアパーチャ292aと、を備えている。画像チャネルIC230bに関連付けられたレンズ機構290の部分は290bと示されている。画像チャネルIC230aは更に、撮像画素(光検出器要素)232aを備えている。撮像画素232aは、キャリア270に取り付けた基板234上(又はその一部の上)に配置されている。撮像画素232aは、一実施形態においてボア撮像システム100の接続部133の個別の例の1つとして理解し得る接続部233aに結合されている。マイクロレンズ293a並びにアパーチャ291a及び292aは、ボア表面260の撮像領域250(
図2A)からの名目上平行光240を撮像画素232aに集束するように構成されている。いくつかの実施形態において、マイクロレンズ293aは−1の倍率(M)を有し得る。
図2Bに示すように、アパーチャ291a及びアパーチャ292aは、視野251aの外側から発する光線241等の非平行光が画像チャネルIC230aに入射するのを阻止するように構成されている。これにより、隣接する撮像画素によって名目上撮像されるはずである領域からの(例えば画像チャネルIC230bの視野251bの領域からの)光が撮像画素232aに入射することを防ぎ、従って隣接する撮像画素間の「画像クロストーク」が抑えられる。これは、システムの横方向の画像解像度を向上させるものとして理解することができる。隣接する画像チャネルIC230bは、上述の画像チャネルIC230aと同様に構成され、接続部233bに結合された撮像画素232bを含む。また、そのようなレンズ機構では被写界深度が深くなり、ある範囲にわたるボアサイズの計測用の撮像が可能となることは認められよう。
図2Aに示すように、撮像画素232a〜232nは軸方向(第2方向)に沿った寸法Aを有し、
図2Bに示すように、円周方向(第1方向)に沿った寸法Cを有する。
図2Bは、明確な図示のため、隣接する画像チャネルIC230a及びIC230bの構成要素を相互に分離した(距離をあけた)ものとして示すが、様々な実施形態では、それらは相互に名目上隣接して構成及び配置され得ることに留意すべきである。
【0015】
図3は、本明細書に開示する原理に従って超解像度撮像を達成するためボア撮像システム300において使用可能な検出器構成310及びボア表面撮像機構320の別の例示的な実施形態の概略図である。当業者によって認められるように、
図3において3XXと付番された多くの要素は、
図1において1XXと付番された要素と類似又は同様とすることができ(例えば310は110と類似)、特に断りのない限り、前述の記載又は類似性に基づいて理解すればよい。場合によってはサイズ又は形態が異なることがあるが、機能、製造、又は目的は同様であり得る。このことは本開示に基づいて当業者に理解されよう。
【0016】
いくつかの実施形態において、ボア撮像システム300は、図示しない照明部(例えば
図1に示す照明部185と類似のもの)を含むことができ、
図1のボア撮像システム100を参照して前述したように、筐体部材又はフレーム上に配置され、既知の方法に従った移動制御システムを含むことができる。光検出器310は、小型であるだけで、光検出器110(及び/又は210)と類似のものと理解すればよく、撮像画素332a〜332nのアレイ及び基板を含むように同様に製造され得る。撮像画素332a〜332nは、前述のように、画像データを光検出器処理回路304に出力するように構成された接続部333に結合されている。いくつかの実施形態では、この画像データは処理済み画像データであってもよい。ボア表面撮像機構320は、前述の図に示したボア表面撮像機構120及び220とは形態が異なっている。ボア表面撮像機構320は、約360のアジマス角度を反射する第1のリフレクタ要素321、レンズ機構325、及び約360のアジマス角度を反射する第2のリフレクタ要素322を含むパノラマ撮像機構を備え、これらは全て撮像領域350と光検出器310との間の光路に沿って位置付けられている。第1のリフレクタ要素321は、ボア表面360の撮像領域350から生じる画像光340を、パノラマ出力方向PODに沿ってレンズ機構325へ反射する。レンズ機構325は、画像光340を縮小する(M<1)と共にこれを第2のリフレクタ要素322に伝送するように構成されている。第2のリフレクタ要素322は、レンズ機構325からの画像光340を受光し、これを偏向させ、画像光340を、軸方向Zを横切る方向に沿って(例えばほぼ半径方向Rに沿って)光検出器310に伝送するように配置されている。このような実施形態において、光検出器構成310は円筒形状を含み(例えば部分的な円筒形又は完全な円筒形)、この円筒形状の円周は、ボアの円周(すなわち、ボア表面360)に沿う。
図3に示す実施形態において、第1のリフレクタ要素321及び第2のリフレクタ要素322は、ほぼ円錐形状を有するように見える。しかしながら、異なる形状のリフレクタ要素を用いることで、例えば画像ひずみを改善するか又は撮像解像度を向上させ得ることは認められよう。
【0017】
いくつかの実施形態では、動作の間、ボア撮像システム300をスキャニング方向SDに沿って移動させることで、軸方向に沿ってボア表面360をカバーする複数の画像を提供する。代替的な実施形態では、ボア表面撮像機構320は、スキャニング方向SDに沿って(Z方向又は軸方向に沿って)ボア表面撮像機構320全体を移動させる必要なく、ボア表面360に沿って軸方向にシステム300の視野及び焦点を曲げる変形可能及び/又は連動可動撮像要素を含む画像経路調節要素を備えてもよい。最新の光学設計シミュレーションソフトウェア及び/又は光線追跡プログラムを用いて、光学設計分野の当業者により、そのようなシステムのための様々な構成を実現することができる。
【0018】
いくつかの代替的な実施形態では、第2のリフレクタ要素322を省略すると共に、光検出器構成を、パノラマ出力方向PODに対して直交する平面に平行な平面状の構成としてもよい。すなわち、撮像画素332a〜332nの受光面をレンズ機構325側に向けて、かつパノラマ出力方向PODに直交する平面上において、撮像画素332a〜332nを円(完全な円でも部分的な円である弧でもよい)を描くように配置して、レンズ機構325から画像光340を直接受光してもよい。そのような実施形態では、光検出器構成の弧又は円周は、ボアの円周(すなわち、ボア表面360)に沿う。
【0019】
図4は、様々な実施形態に従った、超解像度ボア撮像を達成するために適用されるマルチフレーム超解像度撮像の概念を示す概略図である。マルチフレーム超解像度撮像は、信号処理技法を用いて、多数の低解像度(LR)画像データセットを合成して、1つの高解像度(HR)画像データセットを数学的に生成する。この超解像度撮像プロセスを説明する別の方法は、単位画像エリア当たりに提供する仮想HR撮像画素又は画像データロケーションの数を増大することで、元の原画素画像解像度よりも精細な画像解像度を与えるということである。慣例として本明細書では、原画像の低解像度(LR)画素に対して、これらの高解像度(HR)仮想画素ロケーションを「HR画素」又は「HRグリッド」と称する。
図4は撮像画素400の2×2アレイを示し、これは、時点T1において画像エリアI当たり2×2の解像度の第1のターゲット低解像度画像データセットを取得するために用いられる光検出器アレイの代表部分と見なすことができる。次いでこの撮像画素400の2×2アレイを、1つ以上の方向に沿って、この1つ以上の方向に沿ったサブ画素サイズに相当する距離だけ、ターゲットに対してシフトさせる。
図4の左側に、変位量を誇張した例示的なシフトを示す。これと同一方向に沿って例示的な0.5画素のサブ画素シフトで実際のシフトを行った撮像画素400の2×2アレイが
図4の右側に示され、時点T2において画像エリアI当たり2×2という同一の低解像度の第2のターゲット低解像度画像データセットを得ている。より一般的には、そのように取得された複数の画像データセット(例えば、追加のサブ画素オフセット量及び/又はオフセット方向から得られた追加の取得画像データを含む)を、適切なマルチフレーム超解像度アルゴリズムを用いて処理することで、取得された複数の低解像度画像データセットを合成して、共有の又は一致した画像データを含む1つの対応した超解像度画像データセット(例えば
図4に示すHR画素を含む)を算出することができる。これは、
図4にハッチングで示す重複エリアに相当し、図示する例では、ほぼ2倍高い解像度(すなわち、画像エリアI当たり4×4の密度)を有し得る。この2×2の例とは対照的に、大きい光検出器アレイではHR画素が連続した大きいエリアを有し得ることは理解されよう。当技術分野では様々なマルチフレーム超解像度アルゴリズムが既知であり、そのほとんどは、取得された複数の低解像度画像データセットから1つの超解像度画像データセットを数学的に構築する。高速かつロバストであり、様々な実施形態での利用に適した1つのそのようなアルゴリズムは、Farsiu等によって記載されている(Farsiu, S.、Robinson, M.D.、Elad, M.、Milanfar, P.、「Fast and robust multiframe super resolution」、Image Processing、IEEE Transactions on Image Processing、Vol. 13、no. 10、pp. 1327−1344、2004年10月)。当業者には認められるであろうが、他のアルゴリズムも様々な実施形態での利用に適切であり得る。
【0020】
以下で更に詳しく説明するように、様々な実施形態において、超解像度ボア撮像システムの軸方向移動スキャンモード又は位置決め調整を、この軸方向移動と効率的に相互作用するように構成された有利な幾何学的形状の画素を有する光検出器構成と組み合わせて用いることで、複数の合成可能画像データセットを提供し、高スループットで超解像度の(例えば顕微鏡的な)ボア検査画像を提供する。スキャンモードとは、このシステムを用いてボア表面160の様々なセグメントを撮像するためのスキャニングのモードを意味する。スキャンモードは、軸方向スキャニング方向SDに沿ったボア表面160に対するボア撮像システム100(又は300)の相対移動によって、及び/又はボア表面160に対するボア撮像システム100(又は300)の撮像経路の調整によって、制御することができる。いくつかの実施形態では、ボア撮像システム100(又は300)とボア表面160との間の円周方向に沿った相対的な移動を達成するため、適切な移動制御機構を設けてもよい。この代わりに又はこれに加えて、ボア表面160の様々なセグメントの選択的なスキャニングを達成するため、いくつかの市販の光検出器アレイを、光検出器画素のうち選択されたサブセット又はアドレス可能なサブセットを読み出すように制御又は構成してもよい。1つのそのようなデバイスは、Truesense Imaging, Inc.(ニューヨーク州ロチェスター)及びその他から入手可能な、高フレームレートの部分スキャン動作モードで動作するKodac KAI−0340イメージセンサである。
【0021】
図1に戻ると、ボア撮像システム100の制御部106は、ボア撮像システム100のスキャンモードを制御して、相互にサブ画素オフセットを有する複数の(「低解像度」)画像データセットを取得するため、光検出器処理回路104及び移動制御102等の必要な回路やプロセッサ等を含む。制御部106は更に、マルチフレーム超解像度アルゴリズムを実行して、取得された複数の画像データセットを合成することで、低解像度画像データの解像度よりも精細な解像度を有する対応した1つの超解像度画像データセットを与えるように構成されている。
【0022】
図5A〜
図5Eは、光検出器構成(例えば光検出器構成110)において使用可能な幾何学的形状の画素パターン又は配列の、5つの例示的な実施形態の概略図である。これらは、ボア撮像システムに適したスキャンモード(例えば軸方向位置測定を含む軸方向スキャンモード)と組み合わせて用いて、超解像度処理に適した多数の低解像度画像データセットを効率的に取得するためには特に好都合である。
【0023】
図5Aは、画素512Aの(第1の)セットを含む第1の幾何学的形状の画素500Aについて、画素パターンを「(a)」で示す。画素のサイズはCμm×Aμmであり、この図示する具体例においては4μm×4μmである。
図5Aは、光検出器構成の「円周方向」に沿って相互に隣接して配置された3つだけの画素512Aを示すが、
図5A〜
図5Eにおいて、図示する画素は、検出器構成の円周方向に沿って配置された画素の一部のみを表し得ることは理解されよう。いくつかの図では、円筒形状又は平面状の光検出器構成上の湾曲した又は円形の光検出器構成の円周方向を概略的に表すため、軸Φ及び特定の画素境界を湾曲させて図示する。本明細書に概略的に示される全ての幾何学的形状の画素がそのような光検出器構成と両立できることは理解されよう。様々な実施形態において、光検出器構成に含まれる各画素セットは、円周方向に相当する光検出器構成の方向に沿って比較的長く、軸方向に相当する光検出器構成の方向に沿って比較的短いことが有利であり得る。例えば、本明細書に開示する原理に従った1つの例示的な実施形態において、1つ以上の画素セット(例えば以下に記載する画素セット)は、円周方向に相当する円に沿って平面状の光検出器構成上に配置することができる。一実施形態では、この円は約10mmの直径を有し、約4000から8000の画素を含み得る。既知の画素読み出し技法及び本明細書に開示する他の技法を用いて、160mmの軸方向寸法のボア表面をそのような光検出器構成を用いて1kHzのフレームレートで8秒以下で撮像することができ、本明細書に開示する原理に従ってボア表面の超解像度画像を提供するため必要な原画像を与えることができる。
【0024】
図5Aの部分(b)及び(c)は、それぞれ、「通常」スキャンモード及び超解像度スキャンモードのボア壁の物体面における画素ロケーションを示す。
図5A〜
図5Eの例では、ボア表面撮像機構が0.1の光学倍率を与えることで、例えば
図5Aの部分(b)及び(c)に示すように、(ボア表面160における)物体面上のC/Mμm×A/Mμmの「表面画素単位サイズ」、又はこの具体例では40μm×40μmを、C=4μm×A=4μmのサイズの対応した画素上に結像することができる。
【0025】
通常スキャンモード(
図5Aの部分(b)に示す)において、スキャンモードは、連続フレーム(フレームiとフレームi+1)間の撮像Z座標の変化が画素の最大寸法Aとほぼ同じであるように構成されている。一方、超解像度スキャンモードでは、スキャンモードは、連続フレーム間の撮像Z座標の変化がサブ画素距離(例えば
図5Aの部分(c)に示す例では0.5画素)であるように構成されている。すなわち、画素512Aのセットは、撮像対象のボア表面セグメントに対して、軸方向Zに沿った第1の撮像Z座標Z1に位置決め又は調整されてフレーム1を取得し、次いで、撮像対象のボア表面セグメントに対して、第2の撮像Z座標Zi=Z1+k(A/M)又はZi=Z1−k(A/M)に位置決め又は調整されてフレームi=2を取得することができる。ここで、kは1.0未満であり(例えば、様々な望ましい実施形態においてkは最大でも0.3、又は0.5、又は0.7であり得る)、Mはボア表面撮像機構120の光学倍率である。いくつかのそのような実施形態において、フレーム1で表される第1の画像データセットは、第1の露光期間中に画素512Aのセットを用いて取得され、フレームi=2で表される第2の画像データセットは、第2の露光期間中に同じ画素512Aのセットを用いて取得される。次いで、これらの原画像フレーム(及び、いくつかの実施形態における追加の原画像)を、適切なマルチフレーム超解像度アルゴリズムを用いて合成して、C/Mμm×A/2Mμm、又はこの特定の例では40μm×20μmの表面単位画素サイズを有する超解像度画像データを生成することができる。表面単位画素サイズとは、上述のように、1つの画素に結像される物体面上の「画像単位」のことである。すなわち、この例では、超解像度(又は高解像度HR)画像データのスキャン方向(図示する例ではZ方向)に沿った解像度は、原フレーム(又は低解像度LR)画像データの解像度の約2倍の高さになる。従って、本明細書に開示する原理に従った超解像度ボア撮像システム及び方法は、この例では40μm×20μmの表面単位画素サイズを有する高解像度(HR)グリッド514Aを達成することができる。
【0026】
図5Bは、画素512Bの(第1の)セットを含む第2の幾何学的形状の画素500Bについて、画素パターンを「(a)」で示す。画素のサイズはCμm×Aμmであり、この具体例においては4μm×8μmである。画素最大寸法Aが異なることを除いて、
図5Bの要素は
図5Aのものと同じであり、画素512Bのセットでのスキャンモード動作は
図5Aを参照して説明したものによって理解することができる。すなわち、画素512Bのセットは、撮像対象のボア表面セグメントに対して、軸方向Zに沿った第1の撮像Z座標Z1に位置決め又は調整されてフレーム1を取得し、次いで、撮像対象のボア表面セグメントに対して、第2の撮像Z座標Zi=Z1+k(A/M)又はZi=Z1−k(A/M)に位置決め又は調整されてフレームi=2を取得することができる。ここで、
図5Aを参照して前述したように、kは1.0未満である。図示する例では、k=0.5である。次いで、これらの原画像フレーム(及び、いくつかの実施形態における追加の原画像)を、適切なマルチフレーム超解像度アルゴリズムを用いて合成することができる。従って、本明細書に開示する原理に従った超解像度ボア撮像システム及び方法は、4μm×8μm画素512Bのセットの幾何学的形状の画素を用いて、この例では40μm×40μmの表面単位画素サイズを有する高解像度(HR)グリッド514Bを達成することができる。
【0027】
前述の記載に基づき、他の実施形態又は実施においては、各撮像Z座標Zi=Z1、Z2等の間の異なるオフセット量を用いて、異なる表面単位画素サイズ又は解像度を有する異なる超解像度画像データを達成し得ることは理解されよう。例えば、Z
i+1=Z
i+0.25(A/M)で取得された複数の原画像を用いて、理想的には、約C/Mμm×A/4Mμmの表面単位画素サイズを有する超解像度画像データが取得され得る。従って、説明する例は例示であり、限定ではない。
【0028】
図5Cは、画素512Cの(第1の)セット及び画素512C’の(第2の)セットを含む第3の幾何学的形状の画素500Cについて、画素パターンを「(a)」で示す。
図5Aの実施形態に比べ、このセットの画素はスキャニング方向Zに直交する方向に長く、C=2Aであり、この具体例では8μm×4μmのサイズであり、これによってスキャニング方向Zに直交する表面単位画素サイズを2倍の80μm×40μmとする。更に、画素512C’のセットは画素512Cのセットに対して円周方向φに沿ってオフセットされており、オフセット量は円周方向に沿った画素サイズCの1.0倍未満である。
【0029】
図5Cの部分(b)及び(c)は、それぞれ、「通常」スキャンモード及び超解像度スキャンモードのボア壁の物体面における画素ロケーションを示す。
図5Cの部分(b)に示す通常スキャンモードでは、スキャンモードは、連続フレーム(フレームiとフレームi+1)間の撮像Z座標の変化が画素の最大寸法Aの2倍とほぼ同じであるように、すなわち、2つの画素セットの寸法Aを合わせたものと同じであるように構成されている。
【0030】
一方、
図5Cの部分(c)に示す超解像度スキャンモードでは、スキャンモードは、連続フレーム間の撮像Z座標の変化が、セット512C及び512C’の各々の画素の寸法Aと同じであるように構成されている。この場合、画素512Cのセットはフレームi+1において、フレームiで画素512C’のセットに用いたものと同じ撮像Z座標を用いてボアセグメントを撮像するように位置決め又は調整することができる。この場合、撮像ボアセグメントのフレームi=2を取得するため用いられる第2の撮像Z座標Zi=Z1+k(A/M)又はZi=Z1−k(A/M)は、kが1.0未満であるという条件を満たさない(軸方向のサブ画素オフセットは用いられない)。しかしながら、画素セット512C’が円周方向φに沿って画素セット512Cに対して画素サイズCの1.0倍未満のオフセット量でオフセットされているため、円周方向に沿った各撮像Φ座標Φiが条件Φi=Φ1+j(C/M)又はΦi=Φ1−j(C/M)(jは1.0未満の数である)を満たすという条件が満たされる。この結果、
図5Cの部分(c)に示されるHRグリッド514Cが表すボア表面セグメントの超解像度画像データセットは、円周方向に沿った解像度が、円周方向に沿った原データの解像度よりも精細である。図示する特定の実施形態では、このオフセットは約0.5*C又はC/2である。従ってこの具体例では、超解像度(又は高解像度HR)画像データの円周方向に沿った解像度は、原フレーム(又は低解像度LR)画像データの解像度の約2倍の高さになる。このため、
図5Cに開示する原理に従った超解像度ボア撮像システム及び方法は、4μm×8μm画素512C及び512C’の2つのセットから成る幾何学的形状の画素500Cを用いて、この例では40μm×40μmの表面単位画素サイズを有する高解像度(HR)グリッド514Cを達成することができる。
【0031】
前述の記載(N=2)に基づき、他の実施形態又は実施においては、円周方向に沿ってC/Nだけオフセットした異なる数のN個の画素セットを用い得ることは理解されよう。この場合、各画素セットについて同じ撮像Z座標を用いてボアセグメントを撮像した少なくともN個の複数の原画像を取得することで、理想的には、約A/Mμm×C/NMμmの表面単位画素サイズを有する超解像度画像データが取得され得る。従って、説明する例は例示であり、限定ではない。
【0032】
図5Dは、第4の幾何学的形状の画素500D1、第5の幾何学的形状の画素500D2、及び第6の幾何学的形状の画素500D3を示す。幾何学的形状の画素500D1の単一のZ型画素セットと、幾何学的形状の画素500D2の単一のT型画素セットは、軸方向Zに沿って最大寸法A=8μmを有し、円周方向φに沿って最大寸法C=12μmを有する画素を示す。幾何学的形状の画素500D1及び500D2の画素セットは四角形でない形状(例えば、多角形状)の画素を含み、これら複数の画素は、円周方向φに相当する方向に沿ったタイル配置(tiled)画素パターン内に収まるような形状となっている。
【0033】
図5Eの部分(a)は、
図5Dの幾何学的形状の画素500D1の追加の態様を示す。画素セット512D1における画素境界は寸法C/3だけ離間していることがわかる。これが、以下で更に説明するように、この処理の結果得られる超解像度画像のHRグリッドを画定する。
図5Eの部分(b)及び(c)は、それぞれ、「通常」スキャンモード及び超解像度スキャンモードのボア壁の物体面における画素ロケーションを示す。
図5Eの部分(b)に示す通常スキャンモードでは、スキャンモードは、連続フレーム(フレームiとフレームi+1)間の撮像Z座標の変化が、画素セット512D1の画素の最大寸法Aとほぼ同じであるように構成されている。
【0034】
一方、
図5Eの部分(c)に示す超解像度スキャンモードでは、スキャンモードは、連続フレーム間の撮像Z座標の変化が、画素セット512D1における画素の寸法Aの半分であるように構成されている。この場合、撮像ボアセグメントのフレームi=2を取得するため用いられる第2の撮像Z座標Zi=Z1+k(A/M)又はZi=Z1−k(A/M)は、kが1.0未満であるという条件を満たす(軸方向のサブ画素オフセットが用いられる)。更に、画素セット512D1内の画素の形状のため、特に、(
図5Eの部分(a)に示すように)画素セット512D1における境界が寸法C/3だけ離間しているため、この撮像Z座標の変化が画素形状と組み合わされるか又は相互作用することで、
図5Eの部分(c)に示すHRグリッド514D1を与えることは認められよう。HRグリッド514D1は、画素形状のため、円周方向に沿った原データ解像度よりも精細であるC/3M(又は40μm)の円周方向に沿った解像度を有し、更に、原画像に用いた撮像Z座標のため、軸方向に沿った原データ解像度よりも精細である0.5AM又はA/2M(又は40μm)の軸方向に沿った解像度を有する。従って、
図5Eに開示する原理に従った超解像度ボア撮像システム及び方法は、Z型の8μm×12μm画素のセット512D1から成る幾何学的形状の画素500D1を用いて、この例では40μm×40μmの表面単位画素サイズを有する高解像度HRグリッド514D1を達成することができる。
【0035】
幾何学的形状の画素500D1及びこれに関連した超解像度スキャンモード動作の前述の説明の基づき、類推によって、
図5Dに示す幾何学的形状の画素500D2は、T型の8μm×12μm画素のセット512D2を用いることを除いて、HRグリッド514D1と同じHR解像度を有する高解像度(HR)グリッドを与え得ることは理解されよう。
【0036】
図5Dに示す幾何学的形状の画素500D3は、L型画素512D3の(第1の)セット及びL型画素512D3’の(第2の)セットを備えている。幾何学的形状の画素500D3が示す1つの例示的な実施形態では、第1及び第2の画素セットは四角形でない形状の画素を複数含み、第1及び第2の画素セットは軸方向及び円周方向の双方に相当する方向に沿ったタイル配置画素パターン内に収まるような形状となっている。幾何学的形状の画素500D1及びこれに関連した超解像度スキャンモード動作の前述の説明に基づき、類推によって、
図5Dに示す幾何学的形状の画素500D3は、同様の撮像Z座標と共に用いてボアセグメントの複数の原画像を取得した場合、L型の8μm×8μm画素がタイル配置されたセット512D3及び512D3’を用いることを除いて、HRグリッド514D1と同じHR解像度を有する高解像度(HR)グリッドを与え得ることは理解されよう。
【0037】
幾何学的形状の画素500D3はL型画素の2つのセットを備えたタイル配置パターンを含むが、本明細書に開示する原理に従った様々な実施形態において、2つ又は3つのセットに配置された他の画素形状を同様に交互配置又はタイル配置して用い得ることは認められよう。従って、説明する例は例示であり、限定ではない。
【0038】
図6は、本明細書に開示する原理に従った、ボア表面を超解像度撮像する方法のフローチャートである。ステップ602では、既知の幾何学的形状の画素を有する光検出器構成とボア表面撮像機構とを備えた超解像度ボア撮像システムの構成要素をボア内に配置する。この場合、光検出器構成は、ボアの円周方向に相当する光検出器構成の方向に沿って配置された少なくとも第1の画素セットを備え、第1の画素セットの少なくともいくつかは、ボアの軸方向に相当する光検出器構成の方向に沿った最大寸法Aを有し、更に、第1の画素セットの少なくともいくつかは、ボアの円周方向に相当する光検出器構成の方向に沿った最大寸法Cを有する。ボア表面撮像機構は、ボア表面上の撮像領域から生じる画像光を光検出器構成に伝送し、光学倍率Mを与えるように構成されている。
【0039】
ステップ604では、超解像度ボア撮像システムの制御部は、ボア表面上のボア表面セグメントを含む複数の画像データセットを取得するように動作する。複数の画像データセットは、撮像対象のボア表面セグメントに対して軸方向に沿った第1の撮像Z座標Z1及び円周方向に沿った第1の撮像Φ座標Φ1に位置決めされた光検出器構成の第1の画素セットを用いて取得されたボア表面セグメントを含む第1の取得画像データセットであって、軸方向及び円周方向に沿って原データ解像度を有する第1の取得画像データセットと、撮像対象のボア表面セグメントに対して各撮像Z座標Zi及び円周方向に沿った各撮像Φ座標Φiに位置決めされた光検出器構成の画素セットを用いて取得されたボア表面セグメントを含む少なくとも1つの追加の取得画像データセットであって、iがインデクス整数(index integer)であり、各々が軸方向及び円周方向に沿って原データ解像度を有する、追加の取得画像データセットと、を備える。超解像度ボア撮像システム及び/又は制御部は、ボア表面セグメントの複数の画像データセットの少なくとも1つに用いられる各撮像座標Zi及びΦiの少なくとも1つが、対応する撮像座標Z1及びΦ1とは異なり、条件(a)Zi=Z1+k(A/M)又はZi=Z1−k(A/M)、ここでkは1.0未満の数である、又は条件(b)Φi=Φ1+j(C/M)又はΦi=Φ1−j(C/M)、ここでjは1.0未満の数である、の少なくとも1つを満たすように構成されている。前述のように、条件(b)の表現の形式は、撮像座標のサブ画素オフセットを与える原理を強調するため選択されている。しかしながら、この表現における寸法の一貫性のため、Cは、(例えば図に表現されるような)直線画素寸法から対応する適切な度数又はラジアン数に変換してもよいことは理解されよう。これらの条件は、取得画像データセット内の各画像間で少なくとも1つの方向に沿ったサブ画素オフセットを有する撮像座標又は画素位置に対応することは認められよう。
【0040】
ステップ606では、制御部は、既知の幾何学的形状の画素及び撮像座標に基づいて、ボア表面セグメントを含む複数の画像データセットを合成して、ボア表面セグメントの対応する超解像度画像データセットを提供するように動作し、この超解像度画像データセットの軸方向又は円周方向の少なくとも1つに沿った解像度は、その対応する方向に沿った原データ解像度よりも精細である。
【0041】
上述の図面及び関連した記載において、説明した画素パターン及び/又は幾何学的形状の画素は概して、1行又は数行の画素(1行は円周方向に沿う)を示す。これらは本明細書の基本原理を開示するために用いられる代表的な行と見なされ得ること、更に、様々な実施形態では、本発明に従った光検出器構成に含まれる画素の1つのセット(又は複数のセット)はそのような1行又は複数行の画素を含み得ることは認められよう。いくつかの実施形態では、軸方向に相当する方向に沿って多数行の画素を相互に隣接するように構成してもよい。ボア表面上の撮像領域のサイズは概ね、(任意の1つの画像データセットについての)画素セットのサイズに対応することは認められよう。従って、比較的大きい画素セットを用いる場合、比較的少数かつ大きい撮像領域を用いてボア全体を撮像することが可能となり得る。各撮像領域内で、本明細書に開示し特許請求する画像取得及び処理が適している。
【0042】
本明細書に開示する原理に従って、高解像度の計測用のボア撮像システムは、高解像度撮像を達成するため小さい画素サイズのみに頼らない。本明細書に開示する様々な実施形態は、以前から既知のボア撮像システムでは得られない解像度、経済性、画素SNR、及びスループットの有利な組み合わせを提供する。様々な実施形態を図示し記載したが、本開示に基づき、当業者には、図示し記載した要素の構成及び動作のシーケンスにおける多数の変形が明らかであろう。特に、各実施形態に関して詳細に記載した様々な要素を組み合わせるか又は置換して、本明細書に開示する原理に従った超解像度ボア撮像システム及び方法を達成するために要素の別の組み合わせを生成してもよい。従って、本発明の精神及び範囲から逸脱することなく様々な変更を実施できることは認められよう。