特許 7641325 マルチコアファイバイメージング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-26

(45)【発行日】2025-03-06

(54)【発明の名称】マルチコアファイバイメージング

(51)【国際特許分類】

   A61B 1/045 20060101AFI20250227BHJP

   A61B 1/00 20060101ALI20250227BHJP

   A61B 1/07 20060101ALI20250227BHJP

   G02B 23/24 20060101ALI20250227BHJP

   G02B 21/06 20060101ALN20250227BHJP

【ＦＩ】

A61B1/045 610

A61B1/00 730

A61B1/00 732

A61B1/07 730

G02B23/24 B

G02B21/06

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2023099751

(22)【出願日】2023-06-19

(62)【分割の表示】P 2020541380の分割

【原出願日】2019-01-25

(65)【公開番号】P2023134456

(43)【公開日】2023-09-27

【審査請求日】2023-07-18

(31)【優先権主張番号】2018900267

(32)【優先日】2018-01-29

(33)【優先権主張国・地域又は機関】AU

(73)【特許権者】

【識別番号】506018639

【氏名又は名称】ロイヤル・メルボルン・インスティテュート・オブ・テクノロジー

【氏名又は名称原語表記】ＲＯＹＡＬ ＭＥＬＢＯＵＲＮＥ ＩＮＳＴＩＴＵＴＥ ＯＦ ＴＥＣＨＮＯＬＯＧＹ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】オース，アントニー

【審査官】磯野 光司

(56)【参考文献】

【文献】特表２０１７－５２４５０５（ＪＰ，Ａ）

【文献】特表２０１５－５０８６８５（ＪＰ，Ａ）

【文献】米国特許第０５７５１３４０（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

多様な導波路を介して撮像装置が受けた光から１つ以上の画像を生成する画像処理システムを操作する方法であって、前記光が前記多様な導波路に入射する光照射野から生成され、前記画像処理システムが、
複数の画素を含み、それぞれが導波路コアに対応し複数の画素を含む複数の領域を含むデジタル画像を受け取ること、
前記領域のそれぞれにわたって画像強度パターンを処理して、その領域の光照射野角度次元量を決定すること、
前記角度次元量を各領域に含まれる１つ以上の画素に適用して、修正された画像データの１つ以上のセットを生成すること、
前記修正された画像データの１つ以上のセットを使用して１つ以上の画像を生成すること、を実行する、方法。

【請求項2】

前記領域のそれぞれにわたって画像強度パターンを処理することが、模擬開口技術によって各領域を解析することを含み、前記模擬開口技術は、各領域について、第１の計算開口下での画像強度と第２の計算開口下での画像強度との計算比較を伴う、請求項１に記載の方法。

【請求項3】

前記第１及び第２の計算開口の一方における画素が、前記第１及び第２の計算開口の他方における画素のサブセットを含む、請求項２に記載の方法。

【請求項4】

各計算開口における画素セットが異なっており、前記画素セットは、前記処理を行うステップから抽出される特定の前記光照射野角度次元量に従って選択される、請求項２に記載の方法。

【請求項5】

近位端から遠位端まで延在するマルチコア光ファイバ（ＭＯＦ）と、
前記ＭＯＦの前記遠位端にあるシーンを照明するための光源と、
前記ＭＯＦに沿って伝搬した光の画像を取り込むように前記ＭＯＦの前記近位端に対して配置された撮像装置と、
前記撮像装置が取り込んだ画像を受け取るように構成されたデータ処理システムであって、請求項１から４のいずれか一項に記載の方法を前記データ処理システムに実行させる命令を実行するように構成されたデータ処理システムと、を備えたイメージングシステム。

【請求項6】

近位端から遠位端まで延在するマルチコア光ファイバ（ＭＯＦ）であって、多様な導波路を提供するＭＯＦと、
前記ＭＯＦの前記遠位端にあるシーンを照明して、前記多様な導波路に入射する光照射野を生成するための光源と、
前記ＭＯＦに沿って伝搬した光のデジタル画像を取り込むように前記ＭＯＦの前記近位端に対して配置された撮像装置であって、前記デジタル画像が複数の領域を含み、前記領域のそれぞれが前記複数の導波路のうちの１つの導波路の導波路コアに対応し、かつ複数の画素を含む、撮像装置と、
データ処理システムと、を備え、
前記データ処理システムが、
前記撮像装置が取り込んだ前記デジタル画像を受け取り、前記領域のそれぞれにわたって画像強度パターンを処理して、その領域の光照射野角度次元量を決定し、
前記角度次元量を各領域に含まれる１つ以上の画素に適用して、修正された画像データの１つ以上のセットを生成し、
前記修正された画像データの１つ以上のセットを使用して１つ以上の画像を生成するように構成される、イメージングシステム。

【請求項7】

前記ＭＯＦが内視鏡を備える、請求項５又は請求項６に記載のイメージングシステム。

【請求項8】

少なくとも１つの処理ユニットと、前記少なくとも１つの処理ユニットにより実行される命令を記憶するための少なくとも１つのメモリとを備え、前記命令は、実行されると、請求項１から４のいずれか一項に記載の方法を実行する、画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本発明は、主に内視鏡検査で用いられるようなマルチコアファイバイメージングに関する。好適な形態において、このようなシステムで取り込んだ画像を処理して、追加の光学コンポーネントの付加を必要とすることなく、改善された被写界深度画像を得る、又は画像に関する３Ｄ情報を抽出する方法が説明される。

【背景技術】

【0002】

[0002] 体内を撮像するためのマイクロ内視鏡プローブとしてマルチコア光ファイバ（ＭＯＦ）が広く使用される。このようなＭＯＦは、それぞれ体内からの光を外部検出器として動作する撮像装置に中継する直径が２～３μｍの数千の導波路コアを含む。撮像装置はＭＯＦの遠位端の画像を生成する。生成された画像は複数の画素を含み、その中にそれぞれが導波路コアに対応する複数の領域を含む。各コアの撮像は画像内の複数の画素にわたって行われることになる。デジタル画像はまた、上記導波路コア間の間隙空間に対応する画素を含むことになる。図１はこのような画像の一部分を示す。図１の連続するブラック画像部分２は導波路コア間の間隙空間を撮像した画素に対応する。様々な階調レベルの明領域（例えば４）は個々の導波路コアに対応し、その照明レベルは各ファイバの遠位ファセットで受けた光に対応する。

【0003】

[0003] ＭＯＦ技術の発達には、可視グリッドやモアレ効果などの目をそらさせるパターンとして表現する可能性がある、ファイバコア間の間隙領域により生成された画像アーチファクトを処理するフィルタリング技術を含む、画質を改善するために受信データを処理することが含まれている。例えば、米国特許第５，７５１，３４０号は、各ファイバのより明るい中心から近傍の間隙領域に補間する拡張プロセスを適用することなどの適当なフィルタリングによって、グリッドパターン成分のコントラストを低下させることを開示する。

【0004】

[0004] マルチコア光ファイバは、光コヒーレンストモグラフィ、反射及び蛍光（共焦点、広視野、及び多光子）を含む幅広いマイクロ内視鏡イメージングモードを可能にする。

【0005】

[0005] ＭＯＦは、遠位ファセットにマイクロレンズが装着された場合、典型的には約５０～１００μｍの短い作動距離で動作する。イメージングは、裸のファイバファセットがサンプルと直接接触する接触モードでも可能である。この場合、ナイキスト限界解像度はコア間距離の２倍であるが、レンズ付きシステムでは、解像度は逆倍率によってスケーリングされる。

【0006】

[0006] レンズレスシステム及びレンズシステムはいずれも、焦点面から離れると解像度が急速に低下する。これは、サイズ制限により遠位端に繊細な焦点制御装置がないことが多いマイクロ内視鏡において特に困難な問題である。焦点外のヘイズを回避するために、収集された信号をＭＯＦファセット、すなわちＭＯＦの遠位面（レンズレスシステム）又は焦点面（レンズシステム）近くの薄片に制限する共焦点セクショニングを採用することができる。しかしながら、これによって信号が光学薄片の外側で焦点を共有して拒否されるために焦点合わせがより一層困難になる可能性がある。多くの例では、マイクロ内視鏡システムが、拡張された被写界深度にわたって、たとえ物体が焦点面又はＭＯＦファセットに正確に配置されていなくても鮮明に見える「全焦点」画像を収集することが理想である。

【0007】

[0007] 他のタイプのイメージングシステムでは、被写界深度は収集開口を次第に近軸光線に制限することによって拡張することができる。これは焦点外物体のボケ円のサイズを小さくし、それによって深度範囲にわたって画像を鮮明化する。しかしながら、ＭＯＦは調整可能な開口を備えていないため、この機構は被写界深度を制御することができない。

【0008】

[0008] 内視鏡の被写界深度を拡大するこれまでの試みは、遠位端により大きく複雑なプローブをもたらす機械工学に頼ってきた。

【0009】

[0009] 被写界深度が拡張されたシングルコアマルチモードファイバを用いた他のイメージング技術は、コヒーレント光の使用を必要とする。結果として、これらの技術はファイバ曲げに非常に敏感であり、実世界の状況への利用が困難である。さらに、ファイバ曲げに鈍感な、被写界深度が拡張されたコヒーレント光を使用するマルチコアファイバを用いたイメージング技術は、複雑な物体で失敗しがちな非常に高度な画像再構成アルゴリズムを必要とする。

【発明の概要】

【発明が解決しようとする課題】

【0010】

[0010] したがって、本発明の目的は、上記の１つ以上の欠点に少なくとも部分的に対処する、ＭＯＦを介して受けた光から画像を生成する方法を提供することである。

【0011】

[0011] 明細書におけるいかなる従来技術の参照も、この従来技術が任意の管轄区域における一般常識の一部を構成すること、又はこの従来技術が当業者によって他の従来技術と組み合わせ可能なことを認める又は示唆するものではない。

【課題を解決するための手段】

【0012】

[0012] 第１の態様では、本開示は、多様な導波路を介して撮像装置が受けた光から画像を生成する方法であって、方法が、
複数の画素を含むデジタル画像であって、その中にそれぞれが導波路コアに対応し複数の画素を含む複数の領域を含み、さらに上記導波路コア間の間隙空間に対応する画素を含むデジタル画像を受け取ること、
第１の空間的配置における対応するコアで受けた光と少なくとも部分的に相関する各領域内の第１の画素サブセットであって、領域内の全ての画素よりも少ない画素を含む第１の画素サブセットを定めること、及び
上記領域の第１の画素サブセットから第１の画像を生成すること、を含む方法を提供する。

【0013】

[0013] 第１の画像を生成することは、好ましくは
各領域について、第１のサブセットの上記画素の平均画素値を求め、上記第１の画素サブセット内の少なくとも１つの画素の画素値として上記平均画素値を割り当てることを含む。方法は、好ましくは上記少なくとも１つの画素でない画素の画素値を生成することを含む。
ある実施形態では、平均画素値は上記第１の画素サブセット内の１つの画素に割り当てられる。最も好ましくは、平均画素値は画像内の導波路コアの中心を表す所定の位置にある画素に割り当てられる。平均画素値はまた、上記導波路コア中心を表す上記所定の位置又はその周辺にある一群の画素の全ての画素に割り当てることができる。

【0014】

[0014] 第１の画像を生成することは、
上記少なくとも１つの画素（例えば、中心画素又は中心に位置する画素群）でない画素の画素値を生成することを含む。好ましくは、上記少なくとも１つの画素でない画素の画素値を生成することは、
上記少なくとも１つの画素を中心とする画素値分布関数に従って画素値を割り当てること、又は
隣接領域の上記少なくとも１つの画素間に補間することによって画素値を割り当てること、のいずれか１つを含む。

【0015】

[0015] したがって１つの変更例では、この方法は、領域内の上記第１の画素サブセットの画素の平均画素値を求めること、平均値を領域の導波路コア中心を表す位置にある指定された画素（又は指定された画素群）に割り当てること、及び互いに隣接する領域の指定された画素（又はそれぞれの指定された画素群）間に補間することによって（例えば、線形補間によって）値を残りの画素に割り当てることを含む。

【0016】

[0016] 第１の画素サブセットは、領域の中心から所定の半径内の全ての画素を含むことができる。半径は導波路コアの半径よりも実質的に小さくてよい。代替的に、サブセットは、必要に応じて任意の他の形状又は配置領域であってもよい。

【0017】

[0017] 方法はさらに、
上記受け取ったデジタル画像から第２の画像を生成すること、及び
第２の画像を第１の画像と合成して最終画像を生成することを含むことができる。

【0018】

[0018] 第２の画像は第１の画像と同じような方法で生成することができる。ここで、これは、
領域内の全ての画素よりも少ない画素を含み、第１の画素サブセットと異なる第２の画素サブセットを各領域内に定めること、及び
上記領域の第２の画素サブセットから第２の画像を生成すること、によって実行することができる。

【0019】

[0019] ある実施形態では、第１及び第２のサブセットの一方は、導波路コア間の間隙空間（すなわち、ファイバクラッド及び空隙）に部分的又は完全に対応する画素を除く、領域内の全ての画素のサブセットを含むことができる。この場合、第１及び第２のサブセットの他方は、領域のより小さいエリア、好ましくは大幅に小さいエリアを表す。

【0020】

[0020] 第２の画像を生成することは、
各領域について、第２のサブセットの上記画素の平均画素値を求めること、及び上記第２の画素サブセットの少なくとも１つの画素の画素値として上記平均画素値を割り当てることができる。第２の画像を生成することは、
第２の画素サブセット内の少なくとも１つの画素でない画素の画素値を生成することを含むことができる。

【0021】

[0021] 第２の画素サブセット内の上記少なくとも１つの画素でない画素の画素値を生成することはさらに、
各領域内の上記少なくとも１つの画素を中心とする画素値分布関数に従って画素値を割り当てること、又は
隣接領域の第２のサブセットの画素値間に補間することによって画素値を割り当てること、のいずれか１つを含むことができる。

【0022】

[0022] したがって１つの変更例では、この方法は、領域内の上記第２の画素サブセットの画素の平均画素値を求めること、平均値を領域の導波路コア中心を表す位置にある指定された画素（又は指定された画素群）に割り当てること、及び互いに隣接する領域の指定された画素（又はそれぞれの指定された画素群）間に補間することによって（例えば、線形補間によって）値を残りの画素に割り当てることを含む。

【0023】

[0023] 第２の画素サブセットは、領域の中心から第２の所定の半径内の全ての画素を含む。半径は導波路コアの半径よりも大幅に小さくてよい。第１の画素サブセットと同様に、第２の画素サブセットは任意の形状の画素サブセットを含むことができる。

【0024】

[0024] 第２の画像を第１の画像と合成することは、各領域について、第１及び第２の画像の一方を使用して第１及び第２の画像の他方を変調、重み付け又は修正することを含むことができる。次に、全ての領域についての修正画像を合成して、多様な導波路にわたる修正デジタル画像を生成する。

【0025】

[0025] 第２の画像を第１の画像と合成することは、必要に応じて一方又は両方の画像の輝度をスケーリングすること、及び前記第２の画像を前記第１の画像から減算することを含む。輝度スケーリングは、好ましくは両画像の全強度が等しくなるように実行される。第２の画像を第１の画像と合成する他の適切なアプローチを用いることもできることが理解されるであろう。

【0026】

[0026] 領域の適切な選択によって、このアプローチは、各コアの周辺近くの光を選択的に取り除き、この（第１の）画像の光レベルとフィルタリングされていない（第２の）画像の光レベルの差を計算することによって、各導波路の開口数を制限する効果を有する。

【0027】

[0027] 第１の画像は、好ましくは第２の画像よりも大きい有効被写界深度を有する。

【0028】

[0028] 好ましくは、第１の画像の生成は、第１の角度範囲内で導波路で受けた光線の選択に偏っており、第２の画像の生成は、第２の角度範囲内で導波路で受けた光線の選択に偏っている。

【0029】

[0029] 好ましくは、第２の角度範囲は第１の角度範囲よりも広い。

【0030】

[0030] 以上で定義した方法のいずれかの一部の実施形態では、方法はさらに、
対応する別の空間的配置における対応するコアで受けた光と少なくとも部分的に相関する各領域内の少なくとも１つの別の画素サブセットであって、領域内の全ての画素よりも少ない画素を含む別の画素サブセットを定めること、
上記受け取ったデジタル画像から少なくとも１つの対応する別の画像を生成すること、及び
重み付けに従って第１の画像と上記少なくとも１つの別の画像を合成して最終画像を生成すること、を含むことができる。少なくとも１つの別の画像は第２の画像を含むことができる。

【0031】

[0031] 予め定められた重み付けは、較正プロセスによって決定することができる。

【0032】

[0032] 別の態様では、本明細書にはさらに、マルチコア光ファイバ（ＭＯＦ）を介して取り込まれた画像の見かけの被写界深度を改善する方法であって、デジタル画像が複数の画素を含み、デジタル画像が、その中にそれぞれがＭＯＦのコアに対応し複数の画素を含む複数の領域を含み、さらに上記導波路コア間の間隙空間に対応する画素を含み、方法が、
第１の空間的配置における対応するコアで受けた光と少なくとも部分的に相関する各領域内の第１の画素サブセットであって、領域内の全ての画素よりも少ない画素を含む第１の画素サブセットを定めること、
各領域について、第１のサブセットの上記画素の平均画素値を求め、上記第１の画素サブセットの少なくとも１つの画素の画素値として上記平均画素値を割り当てること、及び
上記少なくとも１つの画素でない画素の画素値を生成すること、
によって、改善された被写界深度を有する第１の画像を生成することを含む方法が開示されている。

【0033】

[0033] 第１の画素サブセット内の上記少なくとも１つの画素でない画素の画素値を生成することは、
各第１の領域の上記少なくとも１つの画素を中心とする画素値分布関数に従って画素値を割り当てること、又は
隣接領域の第１のサブセットの画素値間に補間することによって画素値を割り当てること、のいずれか１つを含むことができる。

【0034】

[0034] 方法はさらに、上記受け取ったデジタル画像から第２の画像を生成すること、及び
第２の画像を第１の画像と合成して、改善された被写界深度を有する最終画像を生成すること、をさらに含むことができ、
第２の画像は、
領域内の全ての画素よりも少ない画素を含み、第１の画素サブセットと異なる第２の画素サブセットを各領域内に定めること、及び
上記領域の第２の画素サブセットから第２の画像を生成すること、によって生成される。

【0035】

[0035] 好適な実施形態では、第１の画像は第２の画像よりも大きい有効被写界深度を有する。

【0036】

[0036] 第１の画像の生成は、好ましくは第１の角度範囲内で導波路で受けた光線の選択に偏っており、第２の画像の生成は、第２の角度範囲内で導波路で受けた光線の選択に偏っている。

【0037】

[0037] 第２の角度範囲は、好ましくは第１の角度範囲よりも広い。

【0038】

[0038] これらの方法を実行するように構成されたシステム（例えば、イメージングシステム、及び画像処理システム）はまた、本開示のさらなる態様を構成する。

【0039】

[0039] 本開示のさらなる態様は光照射野イメージングに関する。

【0040】

[0040] 具体的にはさらなる態様において、本開示は、多様な導波路を介して撮像装置が受けた光から生成された１対の画像に対応する、画像処理に用いられる光照射野近似を決定する方法であって、方法が、
第１のメンバー画像が第１の被写界深度を有し、第２のメンバー画像が第２の被写界深度を有し、上記第１のメンバー画像及び前記第２のメンバー画像が同じ焦点位置を有する１対の画像を取得すること、
１対の画像から差分画像を生成すること、
上記差分画像から光照射野近似を計算すること、を含む方法を提供する。

【0041】

[0041] 差分画像を生成するプロセスは、初めに画像の少なくとも１つの強度スケーリングを含むことができる。この強度スケーリングは、好ましくは画像対の全強度が等しくなるように、各画素値をこの画像の平均画素値によって割ることを含む。

【0042】

[0042] 光照射野近似を計算するプロセスは、平均光線配向に関する光伝搬の仮定角度分布を使用することを含むことができる。

【0043】

[0043] 仮定角度分布はガウス分布であってよい。

【0044】

[0044] 第２のメンバー画像は、本開示の上記態様のいずれか１つの実施形態の方法を用いて取得することができる。

【0045】

[0045] 第１のメンバー画像は、本開示の第１の態様の実施形態を用いて取得することができ、第１のメンバー画像及び第２のメンバー画像は、各領域内の異なる第１の画素サブセットを使用する。

【0046】

[0046] 好ましくは、第１のメンバー画像は、第２のメンバー画像と同じデジタル画像から取得され、導波路コアに対応するデジタル画像の領域内の実質的に全ての画素から生成される。

【0047】

[0047] さらなる態様では、画像を生成する方法であって、
第１のメンバー画像が第１の被写界深度を有し、第２のメンバー画像が第２の被写界深度を有し、上記第１のメンバー画像及び第２のメンバー画像が同じ焦点位置を有する１対の画像を取得すること、
本開示の上記態様を具体化する方法を使用して光照射野近似を決定すること、
光照射野近似に従って画像を処理して最終画像を生成すること、を含む方法が開示される。

【0048】

[0048] 光照射野近似に従って画像を処理することは、
異なる焦点位置を有する画像を再構成すること、
受け取った画像と異なる視点を有する画像を再構成すること、
画像の３Ｄ視点を再構成すること、
の任意の１つ以上を含むことができる。

【0049】

[0049] 本明細書に開示された本発明のこの態様又は他の態様のいずれかの画像の処理は、光源から離れるにつれて光源の非線形のステレオ視差を仮定することを含むことができる。

【0050】

[0050] さらなる実施形態では、多様な導波路を介して撮像装置が受けた光から１つ以上の画像を生成する方法であって、光が上記多様な導波路に入射する光照射野から生成され、方法が、
複数の画素を含み、それぞれが導波路コアに対応し複数の画素を含む複数の領域を含むデジタル画像を受け取ること、
上記領域のそれぞれにわたって画像強度パターンを処理して、領域の光照射野角度次元測度を決定すること、
角度次元測度を各領域に含まれる１つ以上の画素に適用して、修正された画像データの１つ以上のセットを生成すること、
修正された画像データの１つ以上のセットを使用して１つ以上の画像を生成すること、を含む方法が提供される。

【0051】

[0051] 上記領域のそれぞれにわたり画像強度パターンを処理するステップは、各領域についての、第１の計算開口下での画像強度と第２の計算開口下での画像強度との計算比較を伴う模擬開口によって各領域を解析するステップを含むことができる。上記第１及び第２の計算開口の一方の画素は、上記第１及び第２の計算開口の他方の画素サブセットを含むことができる、又は各計算開口の画素セットは、処理ステップから抽出される特定の光照射野角度次元測度によって異なる可能性がある。

【0052】

[0052] 代替的又は付加的に、上記領域のそれぞれにわたる画像強度パターンの処理は、画像強度パターンと記憶されているパターンとを比較するパターンマッチングアルゴリズムを含むことができる。記憶されているパターンは、パターン較正プロセスによって上記多様な導波路のそれぞれについて生成することができる。

【0053】

[0053] 上記のように、さらなる態様において、本開示はイメージングシステムも提供する。イメージングシステムは、
近位端から遠位端まで延在するマルチコア光ファイバ（ＭＯＦ）と、
ＭＯＦの遠位端にあるシーンを照明するための光源と、
ＭＯＦに沿って伝搬した光の画像を取り込むようにＭＯＦの近位端に対して配置された撮像装置と、
撮像装置が取り込んだ画像を受け取るように構成されたデータ処理システムであって、本明細書に開示された態様のいずれかを具体化する方法を実行させる命令を実行するように構成されたデータ処理システムと、を備えることができる。

【0054】

[0054] 好ましくはＭＯＦは内視鏡を備える。

【0055】

[0055] 本開示は、撮像される物体又はシーンのための様々な照明ジオメトリの使用を説明する。１つ以上の実施形態では、説明される方法及びシステムは、反射、透過、蛍光又はこれらの組み合わせを利用する。

【0056】

[0056] 上記のように、さらなる態様では、本開示はまた、少なくとも１つの処理ユニットと、少なくとも１つの処理ユニットにより実行される命令を記憶するための少なくとも１つのメモリとを備え、命令が本明細書に開示された態様のいずれかを具体化する方法を実行するように実行される画像処理システムを提供する。

【0057】

[0057] 文脈上別段の要求がない限り、本明細書で使用されるとき、用語「含む（comprise）」、及び「含む（comprising）」、「含む（comprises）」及び「含んだ（comprised）」などのこの用語の変形は、さらなる追加物、構成要素、整数又はステップを除外することを意図しない。

【0058】

[0058] 本発明のさらなる態様及び先行の段落に記載した態様のさらなる実施形態は、例として与えられ、添付の図面を参照する以下の説明から明らかになるであろう。

【図面の簡単な説明】

【0059】

【図1】[0059] 図１は、ＭＯＦコア及び間隙エリアを示す、撮像装置によりＭＯＦから取得した原画像の一部分を表す。

【図2】[0060] 図２は、本発明の実施形態によって処理され得る画像を取り込む際に使用される概略的なＭＯＦイメージングシステムである。

【図3】[0061] 図３は、本発明の実施形態に係る第１の画像処理方法のフローチャートである。

【図4】[0062] 図４は、オリジナルの画像シリーズと比較した本発明の２つの実施形態からの出力を示す一連の画像を示す。この例では、画像はＵＳＡＦ１９５１ターゲットのグループ５の一部分を示す。

【図5A】[0063] 図５Ａは、本発明の実施形態に係る第２の画像処理方法のフローチャートである。

【図5B】[0063] 図５Ｂは、図５Ａの方法の別の実施形態のフローチャートである。

【図6】[0064] 図６は、図５Ａのプロセスの実施形態を用いて生成された画像シリーズ（「拡張被写界深度」画像を意味するｅＤＯＦとラベル表示されている）を示す。図６の画像シリーズを図４の画像シリーズと比較する一連のプロットも示す。

【図7】[0065] 図７ａは、入射角θ及びアジマス角φで記述された配向でファイバコアの入力ファセットに衝突する光線を示す。図７ｂは、角度（θ，φ）に配向された平面波から生じるシミュレートされた入力コア強度分布を示す（スケールバー：５μｍ）。図７ｃは、具体的には図７ｂの丸で囲まれたファイバコア入力についての全開口画像（Ｒ＝７ｐｘ）及びＲ＝３ｐｘ及び１ｐｘの２つの模擬開口内のシミュレートされた正規化強度をプロット表示する。図７ｄは、図２の装置を用いて平面波入力角（θ，φ）を変化させるシングルコアの出力ファセットからの実験的に記録された出力強度を示す。

【図7E】[0065] 図７Ｅは、開口面積に正規化されたシミュレートされた角度ＰＳＦを示す。

【図8】[0066] 図８は、本発明の例示的な実装形態の実験的試験に使用されたＵＳＡＦ１９５１ターゲットのグループ６及び７の一部分の画像シリーズを示す。

【図9】[0067] 図９ａは、１０倍及び２０倍の対物レンズの両方を使用した、本発明の実施形態（右欄）と比較した、標準的な全開口アプローチを用いて撮像された布繊維を示す。図９ｂは、図９ａの中央の行に示された線に沿った強度プロファイルを示す。

【図10】[0068] 図１０は、本発明の一態様の実施形態を用いて画像の光照射野を推定する方法のフローチャートである。

【図11】[0069] 図１１は、図１０の方法で使用された画像対の第１及び第２の画像、及びこららの画像の強度値の差を可視化したものを示す。最終行は図１１の画像から生成された光照射野近似から生成された合成画像を示す。

【図12】[0070] 図１２ａは、本発明の実施形態を用いて生成されたＵＳＡＦターゲット（グループ５）の一連の画像の深度マップを表す。図１２ｂは、本実施形態を生成するのに使用されたターゲットに対する既知のグラウンドトゥルース深度（ＭＯＦファイバファセットからＵＳＡＦターゲットまでの距離）の関数としての深度メトリックのプロットである。

【図13】[0071] 図１３ａ及び図１３ｂは、様々な距離におけるＵＳＡＦターゲット画像の計算によるリフォーカシングの結果を示す。

【図14】[0072] 図１４は、図２のシステムにより取り込まれた画像を処理するための画像処理システムとしての使用に適したコンピュータ処理システムを示すブロック図である。

【図15】[0073] 図１５は、本発明の実施形態により処理されたＭＯＦ画像への光モーメントイメージング（ＬＭＩ）の適用を示す。

【図16】[0074] 図１６は、本発明の実施形態の方法を適用した場合の（物体からの軸方向距離を大きくする）移動する視点のステレオ視差の関係を示す。

【発明を実施するための形態】

【0060】

[0075] 図２は、本発明の実施形態を示す用意されたサンプルを撮像するように配置されたイメージングシステム８内のＭＯＦの例示的な光学装置の概略図である。イメージングシステムは内視鏡システムであってよい。好ましくはイメージングシステムは、イメージングシステム８からの画像データを処理するためのデータ処理システム４００に結合される、又はこれを含む。

【0061】

[0076] ＭＯＦ１０（例えばFujikura FIGH-30-600S又はFIGH-10-350S）の近位ファセットは、ＬＥＤ１２（例えばThorlabs M565L3 LED、５６５ｎｍ中心波長）からのインコヒーレント光で照明される。ＭＯＦの遠位端における全照度はこの例では最大１０μＷである。ＬＥＤ１２からの光はコリメートレンズ（ＣＬ）によってコリメートされ、ミラー（Ｍ）、２００ｍｍレンズ（Ｌ）、ポラライザ（Ｐ１）、ビームスプリッタ（ＢＳ）及び２０倍対物レンズ（ＯＢＪ）を経由する。照明源１２は、ＭＯＦの近位ファセットから反射される光の除去を促進するために直線偏光される。ＭＯＦ１０の両端及びサンプル１４は、独立した３軸並進ステージ（ｘｙｚ）に取り付けられる。遠位ＭＯＦファセットとサンプルの間にレンズがないことが好ましいが、本発明の一部の実施形態はそのようなレンズ装置を使用することがある。

【0062】

[0077] ＭＯＦの遠位端に到達した光はサンプル１４を照明した後、反射光がＭＯＦ１０に再結合する。後方反射光は遠位ファイバファセットへの入射角に応じて様々なモードに結合する。複数のコア内の近位端における出力強度パターンは、顕微鏡対物系（例えばOlympus Plan Achromat 20x 0.4NA）、ビームスプリッタ（ＢＳ）、２００ｍｍチューブレンズ（ＴＬ）及び第２のポラライザ（Ｐ２）を介して撮像される。Ｐ１及びＰ２の偏光軸は直交して近位ファセットにおいて反射光をフィルタ除去する。画像はカメラ（ＣＡＭ）（例えば、積分時間が１０ｍｓの白黒カメラ、Thorlabs DCC3240M）によって取り込まれる。この例では、ＭＯＦのコア屈折率及びクラッド屈折率はそれぞれｎｃｏｒｅ＝１．５及びｎｃｌａｄ＝１．４４６であり、結果として、２０倍、０．４ＮＡの対物レンズ（ＯＢＪ）とほぼ一致する０．３９８のＮＡが得られる。

【0063】

[0078] 本発明者は、異なる方向からマルチコアファイバの遠位（受光）端に到達する光が近位端に伝搬され、撮像装置において異なる空間強度パターンで受光されるという特性を用いて特定方向から受光した光を処理画像中で強調する又は強調しないことができることに気付いた。したがって、本発明は、ＭＯＦが３Ｄ情報を光照射野情報（ＭＯＦの遠位端に入射する光線の空間角度分布）の形で伝送し、光照射野の角度次元がファイババンドルのこれまでは無視されてきたコア内強度パターンに変調されるという認識から生じる。以下においてさらに考察されるように、これらの強度パターンは角度依存のモード間結合が原因で生じ、本発明はこれらのパターンを光照射野の角度次元に関連付けることを含む。

【0064】

[0079] 重要な所見は、様々な角度でファイバコアに入射する光がファイバコアの出力において様々な強度分布を生成することになることである。具体的には、ファイバコアに真っすぐに衝突する光線（近軸光線）は、主にファイバの基本モードを励起する傾向があり、結果として光のほとんどがコアの真ん中に集中する出力パターンが生じる。一方、入射角が大きくなるにつれて、ファイバコアの出力における出力光密度光はコアの周辺に向かって移動する傾向がある。さらに発明者は、ファイバの遠位端の軸とほぼ平行に到達する光を強調することによって、被写界深度が大きい画像を生成できることに気付いた。

【0065】

[0080] 本発明によれば、角度依存のモード間結合が原因で生じるこれらの強度パターンは、光照射野の角度構造に定量的に関連する。

【0066】

[0081] 本発明の実施形態は、光ファイバの各コアに適用された「模擬開口」を使用して画像を生成する。模擬開口は、画像生成プロセスに重きを置いて、画像からの各コアの１つ以上の空間領域に対応する画素のサブセットを選択的に強調することによって適用される。一形態では、模擬開口は、各コアの中心の一定の半径内の画素だけを含む画素サブセットを選択することによって適用される。一部の実施形態では、各コアに対応する画素サブセットは、各コアの中心に集中していないこともある。誤解を避けるために、「模擬開口」を構成する画素サブセットは単一の空間的に連続したサブセットである必要はなく、サブサブセットから構成されてよい。さらに、画素サブセットは任意の適切な形状を成すことができる。

【0067】

[0082] 実施形態は、接触モード（レンズレス）又はレンズモードで使用されるマルチコア光ファイバに適用することができる。

【0068】

[0083] 図３は、取り込まれたオリジナルの画像２０２よりもＤＯＦが大きい画像を生成するのに用いられ得る本発明の例示的な方法を示しており、この方法は受け取った画像に模擬開口を適用することによって、大きい斜角で到達する光線からの寄与を取り除く。上記のように、近軸光線は主にファイバコアの真ん中の強度に寄与するが、斜光線はコアの周辺方向に強度が押されたパターンを生成する傾向がある。したがって、各コアの中心画素だけを使用して画像を再構成することによって、斜光線を少し取り除くこと、又はより大きい割合で近軸光線を含む方向に少なくとも画像生成を傾けることが可能である。これは各コアからの全ての画素を使用すること、又は生のファイバファセット画像をダウンサンプリングすることと比べてＤＯＦを大きくする効果があることが判明した。

【0069】

[0084] 方法２００は、例えば図２に示したような装置を使用してＭＯＦからオリジナル画像を受け取ることによって開始する。次にステップ２０６において、導波路コアに対応する画像内の領域（すなわち、間隙空間に関係する画像の部分は無視される）からの画素サブセットが選択され、ステップ２０８において画像を生成するのに使用される。これらの領域は、計算により適用される、ＭＯＦの遠位端において異なる到来角で受けた光に対して多かれ少なかれ選択的であるという効果がある模擬開口と概念的に考えられる。

【0070】

[0085] 一部の実施形態では、これは導波路コアに対応する画像内の領域を特定するために画素サブセットを選択することの前提条件であってよい。これは自動画像解析技術を用いて行うことができる、又は代替的に、導波路コアは既知のパターン、例えば規則的なグリッドに空間的に配置され、したがって、画像内の領域の位置が知られていると認めることができる。一部の実施形態では、コアを含む画像内の領域の特定は、サンプルの代わりにミラーを使って参照画像を撮影するプロセスによって決定することができる。この画像は画像内にコアとクラッドとの間に高いコントラストを有する可能性があり、この画像を用いてコアの位置をより容易に特定することができる。

【0071】

[0086] 当業者に理解されるように、本発明の実施形態では、画質を改善するために他の画像処理技術を採用することもできる。例えば、サンプルのない背景画像を取得した後に、さらなる処理の前に各生のカメラ画像から減算することができる。

【0072】

[0087] 次にステップ２０８において、模擬開口内の画素に基づいて画像を生成する。これは模擬開口にわたって画素値を平均化すること（２１０）、及びこの値をコアの中心にある画素に割り当てることを含むことができる。次に方法はコア中心間の画素値を生成すること（ステップ２１２）を含む。ステップ２１２は、画素値分布関数を適用することによって各コアの中心に集中した画素値を割り当てること、又は隣接するコアの中心の画素値間に補間することを含むことができる。

【0073】

[0088] 好適な形態では、各模擬開口内の強度を平均化した後、各領域の平均値は画像内のコアの中心を表すグリッド位置に割り当てられ、画像はリサンプルされる。リサンプルされた画像では、グリッド上の各領域（すなわちコア）の位置に対応する値はそのファイバファセット上の位置に対応する。画像は、グリッド間隔の２倍に等しい半値全幅（ＦＷＨＭ）を有するガウス強度プロファイルを使用してリサンプルされる。ガウシアンのＦＷＨＭは、信号対ノイズ比と解像度との間にバランスをもたらすように調整することができる。発明者は、グリッドサンプリングの２倍のＦＷＨＭは画像をわずかに低域フィルタリングするものの、不均一なコア間隔からの高い空間周波数ノイズを平均化することによって画像解像度を向上させることに気付いた。所与のコアを表すガウス分布のピーク値は、コア領域内の選択された画素サブセット（すなわち模擬開口）内の平均強度と等しくなる。

【0074】

[0089] 図４は、オリジナルの画像シリーズと比較した本発明の２つの実施形態からの出力を示す一連の画像を示している。この例では、画像の例はＵＳＡＦ１９５１ターゲットのグループ５の一部分を示す。各列の画像は所与の深度で取得された対応する画像を表示する。異なる列は異なる深度を表し、左から右へ１０～１００μｍまで１０μｍ単位で進む。

【0075】

[0090] 一番上の行はオリジナルの画像シリーズを示す。理解されるように、オリジナルの画像シリーズはファイバコア間の間隙空間の画素をフィルタ除去するように処理されている。これは上記したものと同様の方法を用いて行われる。オリジナルの画像シリーズは、（コア半径Ｒ＝７画素と仮定して）各コア内の信号の全てを積分し、その後コアをグリッド上にリサンプルすることによって構成される。これらは「全開口」画像と呼ばれる。

【0076】

[0091] 図４の第２行及び第３行の画像はファイバの全体幅よりも小さい模擬開口を使用して構成される。第２行は「中」開口を使用し、コアの中心のＲ＝３以内の画素の強度を平均化する。一番下の行は「小」開口を使用し、コアの中心のＲ＝１画素以内の画素の強度を平均化する。

【0077】

[0092] 図から分かるように、サイズが小さい模擬開口はより大きい深度でコントラストが高くなる。例えば、第３の要素格子（各画像の最上部）は、７０μｍでは小さい模擬開口を使用して解像可能であるが、全開口を使用して解像不能である。撮像された格子は６０μｍ超の深度の全開口画像で解像することはできない。実際、より高次のモードは少ない光量を中心画素に提供し、顕微鏡対物系により与えられた回折はまた、カメラ画像にコアのエッジと中心からの光を混合する傾向がある。結果として、全開口画像と小開口画像との間のコントラストの上昇はこれらの例において穏やかである。

【0078】

[0093] 図５Ａは、生成画像のＤＯＦをさらに向上させ得る本発明のさらなる実施形態を示している。図５Ａでは、図３の方法を用い、第１の模擬開口を使用して第１の画像３０２が生成される。また、第２の画像３０４、例えばオリジナル画像又は図３の方法を用いて生成された画像を、第１の画像３０２を生成するのに使用されたのとは異なる第２の模擬開口を使用して取得することができる。第１の画像３０２は第２の画像３０４と合成されて最終画像３０８が生成される。合成ステップ３０６は単純なぼけ修正ステップであり、画質をさらに向上させる。このステップでは、ファイバコア（又は第１の画像３０２のものと比べて不鮮明でＤＯＦが浅い画像を効果的に提供する模擬開口）内の全ての画素を使用して作成された画像を、中心画素のみを使用して作成された第１の画像３０２から減算する。そうすることで焦点外光を第１の画像３０２から減算する。

【0079】

[0094] 図６は、図５Ａのプロセスの実施形態を用いて生成された画像シリーズ（「拡張被写界深度」画像を表すｅＤＯＦとラベル表示される）を示している。より具体的には、図４の半径Ｒ＝１画素の画像シリーズから半径Ｒ＝３画素の画像シリーズを減算することによって取得されたものである（スケールバー：１００μｍ）。

【0080】

[0095] 本発明の背後にある基本原理に一時的に戻って、図２に示したような入力ファセットに向かって進む光線（又は平面波）で照明されたＭＯＦを検討する。ＭＯＦの各コア内の出力光強度プロファイルは励起平面波の配向に依存する。

【0081】

[0096] 図７ａは、入射角θ及びアジマス角φで記述された配向でファイバコアの入力ファセットに衝突する光線を示している。これらの角は光線の配向に関係し、コアの形状には関係しない。

【0082】

[0097] 図７ｂは、角度（θ，φ）に配向された平面波から生じるシミュレートされた入力コア強度分布を示している（スケールバー：５μｍ）。強度分布は、ファイバの直線偏光（ＬＰ）モードのインコヒーレントな重ね合わせを形成することによって計算される。重ね合わせにおける各ＬＰモードの振幅は、角度（θ，φ）で配向された平面波の結合効率によって与えられる。そして強度分布は、実験で使用された発光ダイオード（ＬＥＤ）（Thorlabs M565L3 LED、中心波長５６５ｎｍ、ＦＷＨＭ最大１００ｎｍ）の発光スペクトルにわたって積分される。中心画像は、法線入射平面波、すなわち近軸光線から生じる入力における強度パターンである。コーナ画像はθｃ＝ｓｉｎ－１（ＮＡｃ）に近い強度パターンである。

【0083】

[0098] 強度パターンは、照明の時間的にインコヒーレントな性質によって入力ファセットから出力ファセットまで不変であると仮定される。つまり、図７ｂでシミュレートされた強度分布は入力ファセットに位置する。コア内のフィールドは時間的にインコヒーレントであるため、出力強度パターンが入力から大きく変化しないことが予想される。これは様々な角度で入力された平面波励起を受けたファイバコアの出力を撮像することによって実験的に検証されている。図７ｄは、図２の装置を用いて平面波入力角（θ，φ）を変化させるシングルコアの出力ファセットからの実験的に記録された出力強度を示している（スケールバー：５μｍ）。平面波入力は、顕微鏡対物系の後方瞳面と共役に配置されたデジタルマイクロミラーデバイス（ＤＭＤ）によって小さい円形開口をデジタルラスタ走査することによって達成された。図７ｄの測定された出力強度分布は、入力ファセットについてのシミュレーション（図７ｂ）により生成された分布と良好な質的一致を示し、強度プロファイルは入力ファセットから出力ファセットまで比較的変わらないという見解を裏付ける。この所見を考慮すると、コア出力における強度パターンは、コア入力における光線の角度フィルタリングの代用として使用することができる。

【0084】

[0099] 入力平面波とコア内の出力強度パターンの関係は行列方程式Ａｘ＝ｂによって表すことができる。式中、列Ａは特定の平面波入力配向により作成された強度パターン（すなわち、ベクトルに配列し直された図７ｄのパターン）であり、ベクトルｘは所与の平面波配向における入力強度の割合であり、ベクトルｂは記録されたコア出力強度パターンである。つまり、コア内の出力強度パターンは、個々の平面波（すなわち光線）により作成された強度パターンの線形結合である。ｘについて解くことによって、低角度でコアの入力ファセットに結合された寄与を分離することが可能であり、したがって、収集開口が縮小し、被写界深度が大きくなる。しかしながら、結合行列Ａは、不均一な形状によってファイバのコアごとに異なる。

【0085】

[0100] したがって、各コア内の各光線方向に対する寄与（ｘ）について解くために、各コアについて角度結合行列Ａを測定し、その後コアごとに別々に行列反転を行う必要がある。これは慎重な較正又はシミュレーションによって達成される可能性がある。

【0086】

[0101] 本発明の好適な実施形態は、較正を追求するのではなく、較正を必要としないアプローチを用いる。好適な技術は、ファセット界面に垂直に進む光線（図７（ｂ）の中心画像、θ＝０）はコア中心でピークに達する強度で基本モードを励起する傾向があるという所見から始まる。斜光線（大きいθ）は、さらにコア／クラッド境界側に局所化された強度でモードを励起する。これによって、基本モード（Ｉ＝０）では最大励起効率はθ＝０で生じる。全ての入射パワーが法線入射において基本モードに結合されるが、θが大きくなると基本モード及び次第により高次のモード間に分配される。これにより、画像をファイバのコアとエッジの間の境界（コア／クラッド境界）側に重み付けすることによって、受けた光のより高次モードに関する情報を抽出することが可能である。

【0087】

[0102] 好適な実施形態では、本発明は、入力角の関数である結合効率、及び結合効率がコア出力のサブ領域によってどう変化するかに関する。図７ｃは、シミュレートされた入出力コア画像（図７ｂ）の異なるサブ領域内の正規化された全強度を入射角θの関数としてプロット表示する。図７ｃの差し込み図は、図７ｂの丸で囲まれた強度パターンに重ね合わせた、コアのフルサイズに対する各模擬開口のサイズを示す。図７では、１ｐｘ＝２３８．５ｎｍで、図４及び図６の実験と一致する。網掛けの背景は、ＭＯＦのＮＡ内の許容角度範囲を示す。

【0088】

[0103] 具体的には、図７ｃは、図７ｂの丸で囲まれたファイバコア入力についての全開口画像（Ｒ＝７ｐｘ）及びＲ＝３ｐｘ及びＲ＝１ｐｘの２つの模擬開口内のシミュレートされた正規化強度をプロット表示している。「ｅＤＯＦ」とラベル表示された曲線は、開口面積で正規化したＲ＝１ｐｘ曲線とＲ＝３ｐｘ曲線との差である。図７ｃの全ての曲線は、最大値１を有するように正規化される。面積正規化は図７Ｅに示すように行われる。図７Ｅは、開口面積に正規化されたシミュレートされた角度ＰＳＦを示している。ここで、コアを撮像する選択された各画素サブセット内の全強度は、面積（πＲ^２）、すなわち模擬開口で割られる。小開口角度ＰＳＦ（Ｒ＝１ｐｘ）は、平均画素値がこのサブ領域で最大であるため最大の大きさを有する。これに対して、全開口角度ＰＳＦ（Ｒ＝７ｐｘ）は、平均値を下げる多くの不鮮明な画素を含むために最低平均値を有する。ｅＤＯＦ曲線は、このプロットの曲線を直接使用して、Ｉｓｍａｌｌ－Ｉｍｅｄｉｕｍとして計算される。これはＲ＝１ｐｘ画像から残りの斜光線を除去することを助ける。曲線がどこでも正となるようにオフセットが加えられる。この曲線は図７Ｅでは「ｅＤＯＦ」とラベル表示される。

【0089】

[0104] 図７ｃ及び図７Ｅでは、コア中心から半径Ｒ＝１画素（１画素＝２３８．５ｎｍ）の小さい「模擬開口」内の強度は、「中」Ｒ＝３画像及び「全開口」Ｒ＝７画像よりもシャープな角度分布を有する。これは図４の例から定性的に明らかである。図７ｃ及び図７ｅのｅＤＯＦプロットに見られるように、角度ＰＳＦは、各曲線の全強度を図７Ｅに示されるそれぞれの開口面積で正規化した後にＲ＝１ｐｘ曲線からＲ＝３ｐｘ曲線を減算することによってさらに狭くすることができる。

【0090】

[0105] この減算プロセスにより形成された画像は、信号が低下し、ノイズが増加する（小開口画像及び中開口画像からのノイズが追加される）ことを犠牲にする小開口画像と比較して大きい解像度を有することになる。ｅＤＯＦ ＰＳＦはオフセットが加えられるために高い背景レベルを有することにも留意されたい。

【0091】

[0106] 一般に、シミュレートされた開口通過画像の他の線形結合を用いて、様々な特性、例えば異なる被写界深度、信号対ノイズ比（ＳＮＲ）と角度ＰＳＦ幅とのトレードオフを有する画像を生成することができる。より一般に、任意の所与の角度（θ，φ）に配向された平面波の撮像を選択的に標的にすることが可能である。図５Ｂはこのようなプロセスを示している。この例では、それぞれが図３と同様のプロセスから得られ得るが異なる模擬開口を有するｎ個の画像（３０２、３０３、３０４）がステップ３０６Ｂで合成される。つまり、ｎ個の画像のそれぞれは、各画像コアからの異なる画素サブセットから生成され、その結果、各画像は選択された空間的配置で受けた光と相関する。このようなプロセスで使用される画像は、前の例と同様に、必ずしもコア中心と同心でないコアの任意の画素サブセット内の平均値から生じる場合がある。

【0092】

[0107] ステップ３０６Ｂにおける合成は、所与の重み付けに従って実行されて最終画像３０８Ｂを生成することができる。合成に用いられる重み付けは、較正プロセスによって予め定めることができる、又は最適化プロセスにおいて導き出すことができる。例えば、与えられた状況で用いられる線形結合は、例えばコントラストや信号対ノイズ比などの任意の画像メトリックについて１セットの画像の合成を最適化することによって導き出される場合がある。この最適化は貪欲な方法で行うことができる。合成の前に、ｎ個の画像を図７ｅに示すように正規化することができる、又は画像の相対振幅をスケーリングするのに必要とされる適切な画像正規化係数を、画像の合成中に適用される重み付けに組み込むことができる。

【0093】

[0108] 図示されるように、図５Ａの特定のプロセスは、中心に位置する円形の模擬開口で生成された画像が合成され、角度弁別が低い画像に適用された重み付けが－１である図５Ｂのプロセスの特例である。

【0094】

[0109] 図６から分かるように、結果として生じるｅＤＯＦ画像は、一番上の２つの格子が連続する１００μｍの深度の全体で解像可能な非常に高い忠実度を示す。しかしながら、ｅＤＯＦ画像の追加のコントラストは、解像度に影響を及ぼす追加のノイズという代償を伴う。

【0095】

[0110] 図８は、ＵＳＡＦ１９５１ターゲットのグループ６及び７の一部分の画像シリーズを示す。各列は、ターゲットが１０～１００μｍの深度に置かれたときに取得された画像を表示する。一番上の行は、各コア領域（Ｒ＝７画素）内の全ての信号を積分し、グリッド上にリサンプルすることによって構成されたオリジナルの画像シリーズを示す。２番目及び３番目の行は、一番上の行と同じであるが、各コアを中心とする、それぞれＲ＝１及び３画素の半径を有する画素サブセットだけにわたり積分している。一番下の行は、半径Ｒ＝１画素の画像シリーズから半径Ｒ＝３画素の画像シリーズを減算することによって取得されたｅＤＯＦ画像である。これらの画像は、図４及び図６の画像に加えて使用されて、図６ｂ、図６ｃ、及び図６ｄのＳＮＲ曲線及び解像度曲線を作成する（スケールバー：１００μｍ）。

【0096】

[0111] 画質の真の利得を深度の関数として定量化するために、グループ５エレメント３～６及びグループ６エレメント１～６の格子線の変調度を図８に示すように抽出し、画像内のノイズに正規化する。ノイズ（Ｎ）は、画像の空白領域の１グループの画素の標準偏差を取ることによって計算され、変調度（Ｍ）は、格子線と、格子線間の空間との間の平均強度差である。MATLAB Findpeaks関数を使用して、各ピークの突出が≧Ｎ／２でなければならないという条件で格子線の位置を検出する。この基準で解像可能な格子線が３本未満の場合、格子は解像不能であるといわれ、Ｍは０に設定される。このノイズ正規化変調は、信号対ノイズ比（ＳＮＲ＝Ｍ／Ｎ）と呼ばれる。これは概念的に、ノイズ等価変調により正規化されたイメージングシステムの変調伝達関数（ＭＴＦ）と類似している。

【0097】

[0112] プロット６ｂは、図４及び図６の画像シリーズについての、深度１０、５０及び１００μｍにおける格子空間周波数の関数としてＳＮＲを示している。ＳＮＲは、画像内のノイズで正規化された所与の空間周波数を有する格子の変調度である。同じ焦点位置における点線曲線及び破線曲線は、それぞれオリジナルの全開口画像及び（図６の対応するｅＤＯＦシリーズの）最終画像を示す。深度１０μｍにおいて、全開口画像のＳＮＲは解像不能になる前に８１ｌｐ／ｍｍまでｅＤＯＦ画像のＳＮＲを上回る。低い空間周波数でＳＮＲが低いにもかかわらず、ｅＤＯＦ画像は９１ｌｐ／ｍｍで優れた解像力を有する。より大きい深度では、ｅＤＯＦ処理は全ての空間周波数にわたって非常に有利になる。５０μｍ及び１００μｍでは、ｅＤＯＦ画像のＳＮＲは全ての空間周波数で全開口画像のＳＮＲと同じかこれを上回る。５０μｍでは、４０ｌｐ／ｍｍのみが全開口を使用して解像可能であるが、ｅＤＯＦ画像では７２ｌｐ／ｍｍ以下の全ての格子が解像可能である。１００μｍでは、全開口を使用して解像することができる格子はないが、ｅＤＯＦ画像では、４０及び４５ｌｐ／ｍｍの格子が共に解像される。

【0098】

[0113] これらのデータは、図６ｃに示すように各空間周波数について深度の関数としてプロット表示することもできる。全開口画像では、８１ｌｐ／ｍｍの空間周波数が３０μｍの前に解像不能になる一方、ｅＤＯＦ画像では４０μｍを超えても依然として解像可能である。同じ傾向は、全開口画像及びｅＤＯＦ画像においてそれぞれ最大３０μｍ及び７０μｍの深度で解像可能な５７ｌｐ／ｍｍで見られる。この空間周波数では被写界深度は２．３倍大きくなる。撮像された最大格子周期（４０ｌｐ／ｍｍ）は、ｅＤＯＦ画像で考えられる全ての深度で解像可能であるが、全開口画像では６０μｍまでしか解像可能ではない。同様に、最高周波数格子（８１ｌｐ／ｍｍ）の被写界深度は、ｅＤＯＦの４０μｍと比較して全開口の２０μｍから２倍に改善される。

【0099】

[0114] 遠くの物体に対する解像度の利得は、図６ｄに示すように物体深度の関数として最小解像可能格子ピッチをプロット表示する場合にさらに一層明らかになる。この曲線の傾きは、幾何光学により予測されるボケ円の半径がＲｂｌｕｒ＝深度×ｔａｎθＮＡとして成長するため有効開口サイズを示す。ＭＯＦ（ＮＡ＝０．４０、図３（ｄ）の鎖線）の全開口の予想解像度に対応する線は、全開口データセットにほぼ等しい傾きを有する（図６ｄの破線）。ｅＤＯＦデータの最良適合線（図３（ｄ）の第２の鎖線）は、ＮＡ＝０．１５に対応する傾きを有する。したがって、採用されるｅＤＯＦ処理は、解像度目的で係数０．４０／０．１５＝２．６７によって効果的に開口を絞っている。

【0100】

[0115] 次に、本発明の実施形態が３Ｄ物体、つまり保護用のレンズポーチの布繊維で試験された。図９は、ＭＯＦを介して見られる布繊維の「全開口」画像及びｅＤＯＦ画像を示している。伝統的な「全開口」イメージングでは、ＭＯＦファセットと接触する布繊維のみが高い忠実度で撮像される。ファセットからさらに離れた残りの繊維はぼやけて見え、拡散背景に寄与し、コントラスト及び解像度が低くなる。図９ａは、１０倍及び２０倍の対物レンズの両方を使用した、標準的な全開口アプローチ（左欄）を用いて撮像した布繊維を、本発明によるｅＤＯＦ技術（右欄）と比較して示している。１０倍の対物レンズは、コア内の空間解像度が乏しくなること、ひいては開口フィルタリングが正確でなくなることを犠牲にして２０倍よりも大きな視野をもたらす。しかし、採用されたｅＤＯＦ技術は、直径７画素までしか測定しないコア領域でも著しく改善されたコントラストをもたらす。２０倍の対物系を使ってＭＯＦを介して撮像された、遠位のＭＯＦファセットの近傍に移動している布繊維の動画を作成した。一番下の２つの行は、２０倍の対物系を使用して取得したこの映像１からの静止画像を示す。（スケールバー：１００μｍ。）中心線（フレーム６９）は、それぞれ図９ｂに示す強度プロファイルの位置及び方向を示す。図９ｂは、図９ａの真ん中の行に示された線に沿った強度プロファイルを示している。実線曲線はｅＤＯＦ画像の強度プロファイルであり、点線曲線は全開口画像の強度プロファイルである。図９ａの点は、全開口画像で解像不能な３つの布繊維の位置を示す。

【0101】

[0116] ＭＯＦファセットと接触していない布繊維の多くが依然としてｅＤＯＦ画像の被写界深度内にあり、やはり解像可能である。特に、ｅＤＯＦ曲線の３つの離れたピーク（これも点で示す）をもたらすのは線プロファイルの真ん中の３本の繊維であるが、全開口曲線では分からない。これはこの方法の実施形態がコントラストを向上させるだけでなく、根本的に３Ｄ構造の大きい深度における解像限界も向上させることを示す。

【0102】

[0117] 好適な実施形態は、画像を再構成するための各ファイバコアを含む画像領域から画素サブセットを選択することによって、選ばれた角度でコアに結合された光を優先的に結像する。実施形態は、中心画素を選択することによってより多くの近軸光線を優先的に選択する。標準的なイメージングデバイスと同様に、この集光角の減少は対応する被写界深度及びノイズレベルの増加を伴う。低ノイズの全開口画像では完全に抑えられる大きい深度での高い空間周波数では、ｅＤＯＦ画像の高い解像度は追加ノイズを上回り、好適な実施形態において優れた画像をもたらす。特に好適な実施形態は、ほとんどの空間周波数で被写界深度が２倍になり、遠くの物体の場合のより高い空間周波数に対するＳＮＲが高くなる可能性がある。本発明の実施形態は、空間周波数を再スケーリングすることしかできず、光をその入力角に基づいて優先的にフィルタリングすることができないアンシャープマスキングなどの画像鮮明化技術とは根本的に異なることに留意されたい。

【0103】

[0118] また、例えば構造化照明で用いられるハイロー処理などの異なる模擬開口を使って画像を合成するためのより高度なアプローチを採用して、一部の実施形態では、ここで詳しく説明する例示的な実施形態をも超えて被写界深度及びコントラストをさらに向上させることができる。

【0104】

[0119] 本発明のこの態様の実施形態は、遠位ファセットにレンズ又は大きい走査装置のない非接触イメージングを可能にするＭＯＦイメージング、特にレンズレス顕微内視鏡プローブに利点を与える。これはＭＯＦプローブを体内の狭い狭窄に到達するようにスリムに保つことができることを意味する。遠位端のレンズアセンブリの必要性をなくすことは顕微内視鏡の製造コストも削減する。遠位ファセットレンズが（例えば倍率を高くするために）必要な場合も、本発明の実施形態は適用可能である。レンズ付きのＭＯＦ顕微内視鏡システムでは、被写界深度の拡張がＭＯＦファセットの前方だけではなく、焦点面の両側に生じる可能性がある。さらに、本技術の実施形態は完全にインコヒーレントであるため、広視野蛍光イメージングとともに用いることができる。この技術のインコヒーレントな性質はファイバ曲げに対する感度を鈍くし、これによって各ファイバパータベーション後の伝送行列補正の必要性がなくなる。

【0105】

[0120] 本明細書の他の部分で考察するように、本明細書に記載の方法を用いて生成される画像は、有利なことに光照射野イメージング又はプレノプティックイメージングの態様において採用することができる。換言すれば、本発明の適用例はＭＯＦを光照射野センサとして使用する。ＭＯＦにより中継される画像はもともとは２Ｄであるが、本発明は、スリムなＭＯＦベースの撮像装置がサンプルの３Ｄ構造の少なくともいくつかの側面を記録できるという所見を提供する。このことは、サンプルが顕微鏡スライドに載せられた薄く平らな組織切片ではなく複雑な起伏のある構造である現実世界の臨床環境において重要である。

【0106】

[0121] 本発明は、ＭＯＦが各コア内のモード構造によって３Ｄ画像情報を伝送し、この情報を利用してＭＯＦ内の各コアに衝突する光線の平均配光を推定することを示す。この光線角度情報は生の伝送画像とともに、光照射野として知られているものを記述する。シーンの光照射野を仮定すると、３Ｄ視点を再構成し、物体深度を計算することができ、シーンは取得後に部分的にリフォーカスすることができる。

【0107】

[0122] 光照射野データセットは、入射光線配向の完全な（θ，φ）パラメタリゼーションを含み、３Ｄ視点移動、深度マッピング及びリフォーカシングを可能にする。従来の光照射野イメージングでは一般に、画像全体の光強度データ及び方向（角度）データの両方を収集する必要がある。実際、これは典型的にはシーンの複数の画像を、例えば画像を同時に取り込むために撮像装置のマイクロレンズアレイを使用して、複数の視野又は焦点距離で撮影することが必要である。又は代替的に、２つの画像を異なる焦点位置で取得して、又は位相シフト情報を測定することによって光照射野推定を得ることができる。

【0108】

[0123] 理解されるように、本発明者は驚くべきことに、異なる焦点位置で画像を取り込むこと、又は位相シフト情報を追加的に測定することが、光照射野撮影の利点の少なくともいくつかを実現するうえで必要ではないと判断した。そして本発明は一形態において、単一の画像を使用してその画像に取り込まれたシーンの光照射野を推定できる方法を提供する。

【0109】

[0124] 本発明者は、上記の模擬開口を使用して、異なる有効被写界深度を有する（ただし焦点位置が同じ）複数の画像を単一の取込画像から作成できると判断した。次にこれらの画像を使用して単一の取込画像の光照射野を推定することができる。光照射野内で光線伝搬の平均方向しか決定できないため、各点における光線伝搬の角度分布の仮定を適用することが必要である。これらの制約にもかかわらず、結果として生じる推定光照射野は、他の光照射野画像と同じように、すなわち
異なる焦点距離で画像を生成すること、
異なる視点から画像を生成すること、
空間的に分離された視点を持つ２つの画像を合成することによって立体画像を生成すること、
画像内の物体までの距離を測定すること
などのプロセスで使用することができる。

【0110】

[0125] 本発明者はさらに、これらの技術は、画像がどのように作成されるかに関係なく（すなわち２つの画像は本明細書に記載の単一画像から模擬開口技術を使用して生成される必要はなく、異なる被写界深度を達成するための光学系を使用するより伝統的な方法で別々に取り込むことができる）、同じ焦点位置及び異なる被写界深度で取り込まれたシーンの複数の画像にも準用できることに気付いた。「焦点位置」はレンズを有する光学系に適用される場合に「焦点距離」という概念を含むことに留意されたい。

【0111】

[0126] 図１０は、本開示の実施形態に係る光照射野近似を決定する方法を示している。

【0112】

[0127] 方法１００は、それぞれが異なる被写界深度及び同じ焦点位置を有する、シーンの１対の画像を取得することによってステップ１００２から始まる。好適な形態では、画像は、例えば図３に関連して説明されたような本発明の態様に係る方法を用いて導出することができる。次にステップ１００４において、１対の画像から差分画像を生成する。この差分画像はステップ１００６において光照射野近似を計算するのに使用される。

【0113】

[0128] 当業者には知られるように、生のＭＯＦ画像は、コアの離散サンプリングによるピクシレーションアーチファクトを除去するためによくダウンサンプリングされる。このプロセスは、コア自体の内部に有用な情報が含まれていないと仮定する。しかしながら、本発明の画像生成の態様に関連させて以上で考察したように、ＭＯＦのコアは可視スペクトルに十数個のモードをサポートするのに十分なだけ大きい。このようなモードのインコヒーレントな重ね合わせがＭＯＦの出力ファセットに容易に観察される。入力光の入射角が大きくなると、より高次のモードが優先的に励起される。その結果、入力入射角が大きくなると、サブコア出力が中心のガウススポット（基本モード）から拡大リングに変換される。換言すれば、斜めの入力角で入射する光はコア周辺に局所化される出力光を生じさせる傾向がある。逆に、小さい角度で入射する光は優先的にコア中心にとどまる（図７ｄ参照）。画像の被写界深度（ＤＯＦ）は、上記の方法を用いて画像を生成することによって向上させることができる。これは３Ｄ光照射野イメージングに必要とされる光線の全配向を教示しない。この情報を抽出するために、画像の軸方向強度導関数を各画素における平均（第１モーメント）光線配向に関連付ける「光照射野モーメントイメージング」（ＬＭＩ）の技術が採用される。ＬＭＩはOrth.A.及びCrozier.K.B.,2013,Light field moment imaging. Optics letters,38(15),pp.2666-2668に記載され、その内容はあらゆる目的のために本明細書に組み込まれる。

【0114】

[0129] その中に記載されたＬＭＩは、入力としてわずかに焦点位置が異なる１対の画像を必要とする。しかしながら、上記のように、裸のＭＯＦイメージングプローブは繊細な焦点制御装置を有していない。その代わりに、本発明の実施形態は、例えば本明細書で説明される模擬開口を使用する異なる被写界深度の画像を使用する。本発明者は、大きい被写界深度を有する模擬開口サイズが小さい画像はファイバファセットから離れた位置にある物体の焦点画像と類似していることに気付いた。同様に、大きい模擬開口サイズにより作成された小さい被写界深度を有する大きく焦点がずれた画像は、ファイバファセットから離れた位置にある物体の焦点ずれ画像と直観的に類似している。大きい模擬開口の画像は全開口画像を含むことができる。これ以降、この近似は「開口‐焦点近似」と呼ばれる。次にＬＭＩアルゴリズムを用いて角光照射野モーメントを抽出し、以下の方程式によって光照射野推定を構築することができる。

【0115】

【数1】

【0116】

[0130] 式中、画像対を形成する２つの画像Ｉ_１及びＩ_２は、それぞれ小さい及び大きい模擬開口画像であり、Ｍ_ｘ及びＭ_ｙは、それぞれｚ軸からｘ軸及びｙ軸への光線の平均傾斜角である（光照射野モーメント）。ここでΔｚは、２つの画像が異なる焦点位置ではなく異なる有効開口で使用されているため明確に定義されていない。結果として、Δｚは後で調整される未知の倍率に設定される。定数Δｚの値は結果として生じる映像に影響を及ぼさないが、単に結果として生じる視差の絶対スケールを設定する。

【0117】

[0131] このアプローチの実験的な実現が図１１に示されている。まず、大きい模擬開口及び小さい模擬開口のターゲットの画像（それぞれＩ_１及びＩ_２）が得られる。Ｉ_２は上記の方法で取得される。しかしながら、大開口画像Ｉ_１（図１１の左上）では、コア領域Ｒの全体（＝５ｐｘ）が使用されて、図４の全開口画像が作成されるのと同じように画像生成される。小開口画像Ｉ_２（図１１の中上）は、領域の小さい中心部（Ｒ＝１ｐｘ）の画素サブセットから生成される。

【0118】

[0132] レンズレスＭＯＦが使用されるため、シーン全体は開口が制限されているためにＩ_１よりもＩ_２においてより焦点が合って見え、典型的にはＬＭＩと関連付けられたデフォーカスプロセスをエミュレートする。これらの２つの画像間の微妙な差ΔＩは図１１（右上）に直接視覚化されている。

【0119】

[0133] Ｉ_１及びＩ_２を用いて、∇Ｕ＝［Ｍ_ｘ，Ｍ_ｙ］を介して光照射野モーメントに関連付けられるスカラーポテンシャルＵによってフーリエ空間における方程式１のＭ_ｘ及びＭ_ｙについて解くことができる。次に、ガウス光照射野推定ＬがＭ_ｘ及びＭ_ｙを用いて次のように構築される。

【0120】

【数2】

【0121】

[0134] 式中、ｕ及びｖは、それぞれｚ軸からｘ軸及びｙ軸への傾斜角である。パラメータσは経験的にｔａｎθ’に設定され、光照射野モーメントは、ｍａｘ｛Ｍ_ｘ ^２＋Ｍ_ｙ ^２｝＝σ^２となるように定数係数によって再スケーリングされる。これは平均光照射野モーメントが収集開口の内側にあることを保証する。

【0122】

[0135] （ｕ，ｖ）空間におけるガウス形式Ｌは、光照射野が空間次元（ｘ，ｙ）で密にサンプリングされる場合、回折限界に起因して角度（ｕ，ｖ）次元で必ず低域フィルタリングされるという事実の証明である。最も極端な例では、これは、角度次元がシャックハルトマン波面センサと同様に、各空間位置における光線（すなわち波面）の傾きを効果的にレポートする単一の広いスポットを含む光照射野をもたらす可能性がある。

【0123】

[0136] 光照射野Ｌが本発明の実施形態に従って推定されると、必要に応じてさらなる画像処理を実行することができる。

【0124】

[0137] １つの例では、４Ｄ光照射野Ｌの２Ｄスライス（固定角（ｕ，ｖ）座標）を選ぶことによって３Ｄシーンの仮想視点を変化させることができる。例えば、水平に対向した視点から見たときのシーンの画像は、図１１（左下、中下）に示すＩ_Ｌ＝Ｌ（ｘ，ｙ，ｕ_０，０）及びＩ_Ｒ＝Ｌ（ｘ，ｙ，－ｕ_０，０）である。これらの画像は、次に図１１（右下）に示すような赤－シアンステレオアナグリフに合成され得るステレオ対を形成する。この画像は３Ｄ効果が得られる赤－シアン眼鏡を使って見ることができる。シーンを移動仮想視点から見る視差スキャニングアニメーションを構成することもできる。この方法は特に３Ｄ情報を運動視差を介して伝達するのに有用である。

【0125】

[0138] 視差は３Ｄシーンにおける深度変化（深度＝ファイバファセットから物体までの距離）の結果である。全ての角度方向の視差情報を含む光照射野Ｌを仮定すると、深度マップを計算することができる。これはAdelson E.H.及びWang,J.Y.,1992.Single lens stereo with a plenoptic camera.IEEE transactions on pattern analysis and machine intelligence,14(2),pp.99-106に記載された方法を用いて行うことができる。

【0126】

【数3】

【0127】

式中、ｄは位置（ｘ，ｙ）におけるファイバファセットから物体までの距離である。

【0128】

[0139] 以下でｄは前記開口‐焦点近似に起因して「深度メトリック」と呼ばれる。Ｌ_ｘ及びＬ_ｙは、それぞれｘ方向及びｙ方向のＬの（離散）偏導関数である（同様にＬ_ｕ及びＬ_ｖはｕ方向及びｖ方向のものである）。総和は、（ｘ，ｙ）に中心があり全ての（ｕ，ｖ）座標上を動く画像パッチＰにわたって行われる。画像パッチのサイズは、結果の望ましい滑らかさに応じて調整することができる。典型的なサイズは９×９画素以上である。白色光で透過照明されたＵＳＡＦターゲット（グループ５）の一連の画像の結果として生じる深度マップは図１２ａに示されている。図１２ｂは、ターゲットに対する既知のグラウンドトゥルース深度（ＭＯＦファイバファセットからＵＳＡＦターゲットまでの距離）の関数である深度メトリックのプロットである。深度メトリック値は各グラウンドトゥルース深度の全ての画素の全ての平均値である。エラーバーは各グラウンドトゥルース深度に対する測定された深度メトリックの１つの標準偏差を示す。

【0129】

[0140] 図１２ａのデータセットは、定数Δｚが各画像について同じになるようにその全体が同時に処理される。予想通り、色調分けされた深度メトリックｄは、（手動のマイクロメータ段階を介して適用された）グラウンドトゥルースが０から９０μｍに増加するにつれてＵＳＡＦターゲットがファイバファセットからより遠くへ移動することを示す。ＵＳＡＦターゲットに鉛直傾きが適用されると、深度変化は、上が下よりもファイバファセットに近い色調分けされた画像にはっきりと見ることができる。開口／焦点近似の結果として、深度メトリックとの関係は、図１２（ｂ）に示すように、特に短い距離においてわずかに直線でない。それにもかかわらず、シーン内での物体の相対深度レベルなどの有用な３Ｄ情報を依然として取得することができる。必要であれば、深度値は、既知の距離における試験体の測定値からの較正ルックアップテーブルを用いてその真の値にスケーリングし直すことができる。

【0130】

[0141] 光照射野イメージングの別のよく知られている用途は合成リフォーカシングである。光照射野に含まれたデータは、取込後の画像の焦点をデジタル処理で変更するために、光の空間－角度構造の再編成を可能にする。これは大抵、初めに（ｕ，ｖ）空間の全ての視点で３Ｄシーンを撮像することで容易に理解される。所与の深度に合成的にリフォーカスされた画像を作成するために、まずは上記深度の各視点における物体に対して発生され得る視差を補正する必要がある。これは、視点座標を記述する（ｕ，ｖ）ベクトルに比例する（ｘ，ｙ）空間における画像の並進シフトを意味する。一旦この視差が考慮されると、シフト画像は総加算されて合成的にリフォーカスされた画像が作成される（これは「シフト加算」法と呼ばれることがある）。開口－焦点近似であっても、本発明の実施形態を使用してＭＯＦ画像から取得された光照射野推定を用いた合成リフォーカシングが可能である。

【0131】

[0142] 図１３ａは、左から右に増加する様々な距離でリフォーカスされた、１５０μｍにおけるＵＳＡＦターゲット画像を示している。次に光照射野推定Ｌは、ファイバファセットから連続して大きくなる距離に計算によりリフォーカスされる（画像の順序は左から右に近い→遠いである）。初めに焦点がずれている画像（左端パネル（１３ａ））は、焦点（真ん中のパネル（１３ａ））に収束した後に過焦点になってボケる（右端パネル（１３ａ））。次に合成リフォーカシングはファイバファセットからターゲットまでの距離範囲について試験された。図１３ｂは、上の行に０～２５０μｍの距離にあるＵＳＡＦターゲットのオリジナル画像を示している（スケールバー：１００μｍ）。下の行は、各距離について目で判断される合成的にリフォーカスされた最も鮮明な画像を示している。ここでリフォーカシングは画像取込後に実行されるため、その効果を得るためにターゲットを移動させていないことに留意されたい。この結果は純粋に計算によるものである。また、図１３ａの左端画像及び図１３ｂの「オリジナルの」１５０μｍ画像間の相違は、光照射野推定を構築するのに使用されたガウス光照射野モデルに起因する。図１３ａはこの光照射野推定から生じるのに対し、図１３ｂの「オリジナル」画像は光照射野データの必要性がないために光照射野推定の前に又はこれを行わずに取得される。合成リフォーカシングが行われると５０μｍ及び１００μｍの距離の画像に明確な鮮明化を確認することができる。これらは適切なデコンボリューション又はアンシャープマスキングによって取得できるとの議論があるかもしれない。しかしながら、後者は、オリジナル画像では完全にぼやけている格子線が最適にリフォーカスされた画像では解像されている１５０～２５０μｍのリフォーカスされた画像については言えない。

【0132】

[0143] 上記のように、本発明により提供される画像を用いて、物体を３Ｄ視覚化するための様々なアプローチ。例えば、シーンの３Ｄ構造を、（例えば赤－シアンステレオ眼鏡又はＶＲゴーグルデバイスを用いる）立体写真及びステレオアナグリフや視点移動（視差）アニメーションなどの立体画像によって直接観察することができる。代替的に、例えばデコンボルブされた光照射野焦点スタックの最大強度投影により構築された深度マップを用いて深度マッピング技術を適用することができる。

【0133】

[0144] 以上から分かるように、本明細書に記載の画像処理方法はＭＯＦを光照射野イメージング素子として使用することを可能にする。ＭＯＦを光照射野イメージングに使用することは、ステレオデータを記録するために１対の分離した光学イメージングパスに頼る既存の硬性立体顕微内視鏡よりも著しくスリムな内視鏡の使用を可能にする。

【0134】

[0145] さらに好都合に、本明細書に開示された技術の好適な形態は、光照射野推定に必要な全てのデータが個々のコア内に含まれているため、ＭＯＦベースのシステムへのハードウェア変更を必要としない。

【0135】

[0146] 本発明を細胞構造（具体的には、ファイババンドルを介して撮像した、プロフラビンで染色されたマウス脳の５ｍｍ薄片）に用いて散在する動物組織を撮像することを含む試験が、本発明に係る光照射野アプローチにより測定されるプロフラビン深度分布と、卓上共焦点顕微鏡を使用して取得されたプロフラビン深度分布の非常に良好な定量的一致を示した。

【0136】

[0147] 図１４は、本明細書に記載の様々な態様及び実施形態のいずれかに係る、図２のシステムのカメラＣＡＭにより取り込まれた画像を処理するための画像処理システムとしての使用／構成に適した典型的なコンピュータ処理システム４００を示すブロック図である。画像処理システムは、別個のコンピュータシステム（イメージングコンポーネントから遠く離れたところに位置することもある）であってよい、又はＭＯＦイメージングシステムの制御システムの一部を構成してもよい。

【0137】

[0148] コンピュータ処理システム４００は処理ユニット４０２を備える。処理ユニット４０２は、単一のコンピュータ処理デバイス（例えば中央処理ユニット、グラフィックス処理ユニット、若しくはその他の計算デバイス）を備えることができる、又は複数のコンピュータ処理デバイスを備えることができる。一部の例では、処理は処理ユニット４０２だけで実行されるが、他の例では、処理はまた、代替的にコンピュータ処理システム４００で（共用又は専用に）アクセス可能かつ使用可能な遠隔処理デバイスによって実行することができる。

【0138】

[0149] 通信バス４０４を介して、処理ユニット４０２は、コンピュータ処理システム４００の動作を制御するための命令及び／又はデータを記憶する１つ以上の機械可読ストレージ（メモリ）デバイスとデータ通信する。この例では、コンピュータ処理システム４００は、システムメモリ４０６（例えば、ＢＩＯＳ又はフラッシュメモリ）、揮発性メモリ４０８（例えば、１つ以上のＤＲＡＭモジュールなどのランダムアクセスメモリ）、及び不揮発性／非一時的メモリ４１０（例えば、１つ以上のハードディスク又は半導体ドライブ）を備える。

【0139】

[0150] コンピュータ処理システム４００はまた、概して４１２で示される１つ以上のインターフェイスを備え、コンピュータ処理システム４００は、この１つ以上のインターフェイスを介して様々なコンポーネント、他のデバイス及び／又はネットワークとインターフェイスする。他のコンポーネント／デバイスがコンピュータ処理システム４００と物理的に一体化されていてよい、又は物理的に別個であってもよい。そのようなデバイスが物理的に別個である場合、コンピュータ処理システム４００との接続は、有線又は無線のハードウェア及び通信プロトコルを介してよく、また直接又は間接（例えばネットワーク化された）接続であってよい。

【0140】

[0151] 他のデバイス／ネットワークとの有線接続は、任意の標準的な又は独自のハードウェア及び接続プロトコルによるものであってよい。例えば、コンピュータ処理システム４００は、ＵＳＢ、ＦｉｒｅＷｉｒｅ、ｅＳＡＴＡ、サンダーボルト、イーサネット、パラレル、シリアル、ＨＤＭＩ、ＤＶＩ、ＶＧＡ、ＡｕｄｉｏＰｏｒｔの１つ以上により他のデバイス／通信ネットワークと有線接続するように構成可能である。その他の有線接続も可能である。

【0141】

[0152] 他のデバイス／ネットワークとの無線接続は、同様に任意の標準的な又は独自のハードウェア及び通信プロトコルによるものであってよい。例えば、コンピュータ処理システム４００は、赤外線、ブルートゥース（ブルートゥースの初期バージョン、ブルートゥース４．０／４．１／４．２（ブルートゥース低エネルギーとしても知られている）及びブルートゥースの将来バージョンを含む）、ＷｉＦｉ、近距離無線通信（ＮＦＣ）、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、ロング・ターム・エボリューション（ＬＴＥ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）の１つ以上を使用して他のデバイス／通信ネットワークと無線接続するように構成可能である。その他の無線接続も可能である。

【0142】

[0153] 一般的に言えば、コンピュータ処理システム４００が接続するデバイスは、有線手段によるものであれ、無線手段によるものであれ、処理ユニット４０２による処理のためのコンピュータ処理システム４００へのデータ入力／コンピュータ処理システム４００によるデータ受信、及びコンピュータ処理システム４００によるデータ出力を可能にする。例示的なデバイスが以下に記載されるが、全てのコンピュータ処理システムが記載される全てのデバイスを備えるわけではないこと、及び記載されたものに対する付加的及び代替的なデバイスも使用されるであろうことが理解されるだろう。

【0143】

[0154] 例えば、コンピュータ処理システム４００は、情報／データがコンピュータ処理システム４００に入力される（コンピュータ処理システム４００により受信される）１つ以上の入力デバイスを備える又はこれに接続することができる。このような入力デバイスは、物理的ボタン、英数字入力デバイス（例えばキーボード）、ポインティングデバイス（例えば、マウス、トラックパッドなど）、タッチスクリーン、タッチスクリーン・ディスプレイ、マイクロホン、加速度計、近接センサ、ＧＰＳ装置などを備えることができる。コンピュータ処理システム４００はまた、コンピュータ処理システム４００により制御されて情報を出力する１つ以上の出力デバイス４１４を備える又はこれに接続することができる。このような出力デバイスは、インジケータ（例えば、ＬＥＤ、ＬＣＤ又はその他のライト）、ディスプレイ（例えば、ＬＣＤディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、タッチスクリーンディスプレイ）、スピーカなどのオーディオ出力デバイス、振動モジュール、及びその他の出力デバイスを備えることができる。コンピュータ処理システム４００は、入力及び出力がともに可能なデバイス、例えばコンピュータ処理システム４００がデータを読み出すこと及び／又はデータを書き込むことができるメモリデバイス（ハードドライブ、半導体ドライブ、ディスクドライブ、コンパクトフラッシュカード、ＳＤカードなど）、及びデータを表示する（出力）こと及びタッチ信号を受信する（入力）ことがともに可能なタッチスクリーンディスプレイを備える又はこれらに接続することができる。

【0144】

[0155] コンピュータ処理システム４００はまた、通信ネットワーク（例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、パーソナルホットスポットなど）に接続して、他のコンピュータ処理システムであり得るネットワーク化されたデバイスとデータをやりとりすることができる。

【0145】

[0156] 図１４に示すアーキテクチャは、様々なコンピュータ処理システム、例えばラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、スマートフォン、デスクトップコンピュータ、サーバコンピュータに実装することができる。また、図１４はコンピュータ処理システムの全ての機能的又は物理的コンポーネントを示しているわけではないことが理解されるであろう。例えば、電源又は電源インターフェイスは示されていないが、コンピュータ処理システム４００は電源（例えば電池）を保持する及び／又は電源に接続可能である。特定のタイプのコンピュータ処理システムは適切なハードウェア及びアーキテクチャを決定すること、及び代替的なコンピュータ処理システムは、付加的コンポーネント、代替的コンポーネント、若しくは示されているよりも少ない数のコンポーネントを有すること、２つ以上のコンポーネントを結合すること、及び／又はコンポーネントの異なる構成若しくは配置を有することはさらに理解されるであろう。

【0146】

[0157] コンピュータ処理システム４００の動作はまた、データを受信、処理、及び出力するようにコンピュータ処理システム４００を設定する１つ以上のコンピュータプログラムモジュールによってもたらされる。

【0147】

[0158] 本明細書で用いられるとき、「モジュール」という用語は、コンピュータプログラム命令、及び特定の機能を提供するための他のロジックを指す。モジュールはハードウェア、ファームウェア、及び／又はソフトウェアに実装することができる。モジュールは、典型的にはストレージデバイス４０８に記憶され、メモリ４０６にロードされ、プロセッサ４０２によって実行される。

【0148】

[0159] モジュールは、１つ以上のプロセスを含むことができる、及び／又はプロセスの一部だけが提供することができる。本明細書に記載の実施形態は、ここに記載のものとは別の及び／又は異なるモジュールを含むことができる。また、モジュールに帰する機能は、他の実施形態では別の又は異なるモジュールによって実行することができる。さらに、この説明は時に便宜上かつ明確にするために「モジュール」という用語を省略することがある。

【0149】

[0160] 使用されるコンピュータ処理システム４００のタイプは、実施形態及びエンティティが使用する処理能力に応じて変わる可能性がある。例えば、サーバシステムは、本明細書に記載の機能を提供するために連携する複数のブレードサーバを含むことができる。

【0150】

[0161] 理解されるように、本発明のアプローチは、カメラフレーム速度が制限されており、較正を必要とせず、適度なファイバ曲げに動じず、潜在的な臨床応用に適している。

【0151】

[0162] 明視野イメージングなどの他のインコヒーレント画像診断法もこのアプローチに修正することができ、デジタルレンズを採用するファイババンドルとともに使用することもできる。

【0152】

[0163] 以上で考察したように、本発明の実施形態は、コア内強度パターンと、ファイババンドルの遠位端に入射する光照射野の角度次元との関係に関連する。付属書Ａに含まれる分析はこの関係の定量化を提供する。

【0153】

[0164] この関係の要点は、正規のＬＭＩ方程式（上記方程式２）を焦点位置が同じであるが収集開口が異なる画像対への適用に修正するという事実である。これは、点光源の重心移動（ステレオ視差、又は横方向移動）が標準的な光照射野の場合ならそうであるようにｚについて直線でないために生じる。

【0154】

[0165] 上記の開示は、ファイバコアに適用される「模擬開口」技術を用いて画像を生成又は修正する本発明の実施形態に関係するが、各コアにわたって画像強度パターンを処理又は解析する他の方法を、そのコアの光照射野角度情報を抽出するために用いることができることが理解されるであろう。例えば、画像強度パターンを、パターン較正プロセスによってＭＯＦ用に生成された記憶されているパターンと比較するパターンマッチングアルゴリズムを適用することができる。較正プロセスは、複数の角度のそれぞれで点光源用の参照画像を取得することを含む。次に、これらの参照画像は、標準的な計算パターンマッチングアルゴリズムを使用して受け取った画像と比較できる各コア用に記憶されるパターンを生成するのに使用される。

【0155】

[0166] この明細書に開示及び定義された発明が、本文又は図面に記述された又はこれから明らかな２つ以上の個々の特徴の全ての代替的な組み合わせにまで及ぶことは理解されるであろう。それらの異なる組み合わせの全ては本発明の様々な代替的な態様を構成する。

【0156】

付属書Ａ
動作原理
光ファイババンドルを用いて撮像された点光源、ファイバファセットからの距離ｚを考慮する。光線がファイババンドルの中心線からの位置ｘ，ｙにおいてファイバファセットと角度θを成し、θ_ｘ及びθ_ｙはそれぞれｙｚ平面及びｘｚ平面からの光線の傾斜角である。
これを示すために、ファイババンドルの近位端で受け取られる軸方向距離ｚ＝２６μｍにおける蛍光ビーズの生の出力画像を図１５ａに示す（スケールバー５μｍ）。ファイバモードの放射対称性パターンは、モード結合効率と入力光線角θとの関係から目に見える。この研究で使用されたファイババンドルは、外径が７５０μｍであり、平均中心間間隔が３．２μｍ、平均コア半径ａ＝１μｍ、及び開口数（ＮＡ）が０．３９の最大３０，０００個の実質的に円形のコアを含む。
平均して、このファイババンドルの各コアは、λ＝５５０ｎｍ（２４）でおよそ（２πａＮＡ／λ）^２／２≒１０個のモードをサポートする。
本明細書の他の部分で考察したように、画像データの後処理はファイバの開口数（ＮＡ）のデジタル操作を可能にする。このことは、より大きい入射角で優先的に励起される高次モードが低次モードよりも多くのコア／クラッド境界近くのエネルギーを担持するという事実に頼る。光は光線角度が大きくなるにつれて各コアのエッジ方向に効果的に向けられる。（各コアの周辺近くの光を選択的に取り除く）本発明の実施形態のデジタル開口フィルタリングアプローチによって、合成的に制限されたＮＡが達成される。これは図１５、特に図１５ｃ及び図１５ｄに示されている。
入力光の全配向は、コアのモードの方位角縮退が原因でこの観察のみから確認することはできない。これに対処するため、ＬＭＩが適用される。ＬＭＩでは、２つの像面間のエネルギーの保存を記述する連続方程式を用いて、画像Ｉの所与の点における（光照射野モーメントベクトル

【数4】

により表される）平均光線方向を計算することができる。

【数5】

式中、∇_⊥＝［∂／∂ｘ，∂／∂ｙ］。この情報から、光照射野Ｌ（ｘ，ｙ，ｕ，ｖ）は、この平均光線角度の周りの（角度）ｕｖ空間におけるガウス分布を仮定して次のように構築することができる。

【数6】

ここで、角度光線空間は、ｕ＝ｔａｎθ_ｘ及びｖ＝ｔａｎθ_ｙによってパラメータ化され、ｔａｎθ_ｘ，ｙはそれぞれ光線のｙｚ平面及びｘｚ平面からの傾斜角に関係する。この表記では、

【数7】

であり、σは以下で考察される調整可能なパラメータである。このガウス仮定は、微細に空間的にサンプリングされた光照射野はシャックハルトマン波面センサと同様に角領域の全ての構造を失うという事実に基づいている。結果として生じる光照射野は、視点を変更するときの物体の横移動によって深度情報を明らかにし、立体写真、フルパララックスアニメーション、リフォーカス画像及び深度マップに処理することができる。
従来のＬＭＩ（方程式６）は、焦点位置が異なる１対の入力画像を必要とする。しかしながら、細かい焦点制御はほとんどの内視顕微鏡で利用することができず、たとえできたとしても伝統的なＬＭＩはシングルショットではない。その代わり、焦点位置が同じで収集開口が異なる画像対で使用できるように方程式４を修正することが必要である。
イメージングモデル
裸のファイバファセットから距離ｚにある点光源を考慮すると、この光源は、ファイバファセット上に結像レンズがないために焦点がずれている。したがって、出力ファセットから見た点光源の見かけのサイズは、ファイバの受光角（すなわちＮＡ）が大きくなるにつれて大きくなる。ファイバＮＡがコアマスキングによって大（全）開口（図１５ｂの右側に示す領域）から小開口（図１５ｂの左側に示す領域）へと計算によって小さくなると、点広がり関数（ＰＳＦ）の幅も被写界深度が大きくなるために小さくなる。
図１５ｂでは、右及び左の円はそれぞれ大（全）開口画像及び小開口画像の例示的な平均化領域を示す。大開口画像は、各コアの全体領域を平均化し、次に線形補間によって残りのエリア（間隙領域）を埋めることによって作成される。小開口画像は、図の左側に示すように、より小さい領域の平均をとることによって同様に作成される。
図１５ｃ及び図１５ｄは、それぞれ補間後の蛍光ビーズの小開口画像（Ｉ_０）及び大開口画像（αＩ_１）を示している。スケーリング定数αは２つの画像の全強度が等しくなるように選ばれる。小開口及び大開口のＰＳＦ（半値全幅、ＦＷＨＭ）は、それぞれ図１５ｃ及び図１５ｄに示されており、すなわちＦＷＨＭ＝９．３及びＦＷＨＭ＝１３．８である。図１５ｅは、これらの画像間の差を示し、矢印は有効光照射野モーメントベクトル場

【数8】

を示す。
システムのＰＳＦは、ｔａｎθ（３０）に比例する幅を有する２Ｄガウス分布としてモデル化されており、θはファイバにより収集された（取込後に計算によって調整される）最大光線角度である。

【数9】

一群のｊ個の点光源を考慮することによって、２つの画像Ｉ_０及びＩ_１に依存し、最大集束角（開口）がθ_０及びθ_１である、次の修正されたＬＭＩ方程式にたどり着く。

【数10】

Ｉ＝（Ｉ_０＋αＩ_１）／２の場合、

【数11】

は、有効光照射野モーメントベクトルであり、ｚ_ｊは点光源ｊの深度であり、Ｂ_ｊＰＳＦ_ｊは点光源ｊに起因する位置（ｘ，ｙ）における強度であり、

【数12】

である。方程式６は、デジタル開口フィルタリングによってシングルショットでＩ_０及びＩ_１の両方を得ることができるため便利である。次に、フーリエ領域で

【数13】

について解くことができる。ｚ＝２６μｍにおける蛍光ビーズの結果として生じる

【数14】

は、図１５ｅの画像ΔＩ＝Ｉ_０－αＩ_１に重ね合わせられる。最後に、光照射野が方程式５のように構築され

【数15】

となる。この

【数16】

の置換は、点光源の重心移動

【数17】

が標準的な光照射野の場合ならそうであるようにｚについて直線にならないように光照射野のパララックス挙動を変える。

【数18】

式中、

【数19】

は調整可能な再構成パラメータであり、σ_０は、ｚ＝０におけるＰＳＦの半値全幅（ＦＷＨＭ）である。ｔａｎθ_０、ｔａｎθ_１、及びσ_０は、２Ｄガウス分布を大開口及び小開口の一連の深度での分離したビーズの画像にフィッティングすることによって実験的に得られる。
図１６ａは、視差の定量化、すなわちｈ＝７５、１００及び１５０μｍについてのビーズ深度ｚの関数としての蛍光ビーズの重心移動（視差）を表す。特に図は、シミュレート結果及び理論的結果とともに、ファイバファセットから１～１０１μｍにある蛍光ビーズの実験的に測定された

【数20】

値を示す。重心移動は、ｕｖ空間における単位変位あたりのｘｙ空間

【数21】

の重心移動の大きさに対応する。データポイントは実験的に測定された値であり、エラーバーは５個のビーズについての標準偏差を表す。
図から分かるように、シミュレーション及び理論はいずれも、ｈ値の範囲について実験データとの非常に良好な一致を示す（各ｈ値について、２つの曲線はそれぞれ、方程式８に基づいた理論的重心移動及びシミュレートされた重心移動を示す）。理論曲線は、既知の物理量（ｚ，ｔａｎθ）及び再構成量（ｕ，ｖ，ｈ）を使用し、フィッティングパラメータを使用しない。
図１６ｂは、蛍光ビーズの横移動をビーズ深度の関数として、つまり増加する深度における蛍光ビーズの極左視点画像及び極右視点画像を示し（色表示が赤―シアンステレオ眼鏡で視認可能な３Ｄイメージングを可能にする。赤は図では濃い灰色（左）で表され、シアンは図では薄い灰色（右）で表される。スケールバー２５μｍ）、一方、図１６ｃは、エピポーラ平面内の異なる深度における点光源の特徴のある斜線、すなわち、各ビーズ深度についての光照射野の中心ｙｖスライス（ｘ＝０，ｕ＝０）を示す（スケールバー２５μｍ）。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図7E】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】