特表 2022-530113 ハイブリッド撮像製品およびハイブリッド内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-27

(54)【発明の名称】ハイブリッド撮像製品およびハイブリッド内視鏡システム

(51)【国際特許分類】

   A61B 1/07 20060101AFI20220620BHJP

   A61B 1/00 20060101ALI20220620BHJP

【ＦＩ】

A61B1/07 730

A61B1/00 500

A61B1/00 522

A61B1/07 731

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021563295

(86)(22)【出願日】2020-04-27

(85)【翻訳文提出日】2021-12-15

(86)【国際出願番号】 US2020030118

(87)【国際公開番号】W WO2020220035

(87)【国際公開日】2020-10-29

(31)【優先権主張番号】62/839,220

(32)【優先日】2019-04-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507252100

【氏名又は名称】ケムイメージ コーポレーション

(74)【代理人】

【識別番号】100101890

【弁理士】

【氏名又は名称】押野 宏

(74)【代理人】

【識別番号】100098268

【弁理士】

【氏名又は名称】永田 豊

(72)【発明者】

【氏名】スチュアート・ショーナ

(72)【発明者】

【氏名】トレッド・パトリック・ジェイ

(72)【発明者】

【氏名】ズリムセック・アリッサ

(72)【発明者】

【氏名】ワン・ジハン

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161BB06

4C161BB08

4C161CC06

4C161DD04

4C161FF40

4C161FF46

4C161LL02

4C161LL08

4C161MM05

4C161QQ03

4C161QQ04

4C161QQ07

(57)【要約】

内視鏡は、カメラチップと共に、光源照明ファイバの第１の構成と第２の複数の光源照明ファイバとの両方を含む、改良されたチップオンチップ構成を有する。内視鏡の先端部におけるカメラチップと光源照明ファイバの組み合わせは、小型化および軽量化された内視鏡をもたらす。

【特許請求の範囲】

【請求項1】

内視鏡で使用するためのハイブリッド撮像製品であって、
第１の複数の変調光子を送信するように構成された第１の複数の光源照明ファイバと、
第２の複数の変調光子を送信するように構成された第２の複数の光源照明ファイバと、
複数のファイバアレイスペクトルトランスレータ（ＦＡＳＴ）ファイバと、
撮像ファイバまたはカメラセンサのうちの１つ以上を含む第１の画像コレクタと、
を含む、ハイブリッド撮像製品。

【請求項2】

第３の複数の非変調光子を送信するように構成された第３の複数の光源照明ファイバをさらに含む、請求項１に記載のハイブリッド撮像製品。

【請求項3】

第２の画像コレクタをさらに含み、前記第２の画像コレクタは、撮像ファイバまたはカメラセンサのうちの１つ以上を含む、請求項１に記載のハイブリッド撮像製品。

【請求項4】

内視鏡システムであって、
ハイブリッド撮像製品であって、
第１の複数の変調光子を送信するように構成された第１の複数の光源照明ファイバと、
第２の複数の変調光子を送信するように構成された第２の複数の光源照明ファイバと、
複数のファイバアレイスペクトルトランスレータ（ＦＡＳＴ）ファイバと、
撮像ファイバまたはカメラセンサのうちの１つ以上を含む第１の画像コレクタと、
を含む、ハイブリッド撮像製品と、
照明光源と、
前記第１の複数の光源照明ファイバのために少なくとも前記第１の複数の変調光子を変調する第１の変調器と、
前記第２の複数の光源照明ファイバのために少なくとも前記第２の複数の変調光子を変調する第２の変調器と、
を含む、内視鏡システム。

【請求項5】

前記ハイブリッド撮像製品は、第３の複数の非変調光子を送信するように構成された第３の複数の光源照明ファイバをさらに含む、請求項４に記載の内視鏡システム。

【請求項6】

前記ハイブリッド撮像製品は、第２の画像コレクタをさらに含み、前記第２の画像コレクタは、撮像ファイバまたはカメラセンサのうちの１つ以上を含む、請求項４に記載の内視鏡システム。

【請求項7】

前記照明光源が、白熱電球、ハロゲンランプ、発光ダイオード（ＬＥＤ）、量子カスケードレーザー、量子ドットレーザー、外部共振器レーザー、化学レーザー、固体レーザー、有機発光ダイオード（ＯＬＥＤ）、エレクトロルミネセントデバイス、蛍光灯、ガス放電灯、メタルハライドランプ、キセノンアークランプ、誘導ランプ、またはこれらの組み合わせを含む、請求項４に記載の内視鏡システム。

【請求項8】

前記第１の変調器または前記第２の変調器は、それぞれ独立して、音響光学チューナブルフィルタ（ＡＯＴＦ）、液晶チューナブルフィルタ（ＬＣＴＦ）、多変量光学素子（ＭＯＥ）、フィルタホイール、パターン化エタロンフィルタ、多重共役フィルタ（ＭＣＦ）、またはコンフォーマルフィルタ（ＣＦ）のうちの１つ以上である、請求項４に記載の内視鏡システム。

【請求項9】

第１の複数の変調光子を送信するように構成された第１の複数の光源照明ファイバ、第２の複数の変調光子を送信するように構成された第２の複数の光源照明ファイバ、複数のファイバアレイスペクトルトランスレータ（ＦＡＳＴ）ファイバ、および撮像ファイバまたはカメラセンサのうちの１つ以上を含む第１の画像コレクタを含むハイブリッド撮像製品と、照明光源と、前記第１の複数の光源照明ファイバのために少なくとも前記第１の複数の変調光子を変調する第１の変調器と、前記第２の複数の光源照明ファイバのために少なくとも前記第２の複数の変調光子を変調する第２の変調器と、を含む内視鏡システムを使用して融合画像を生成する方法であって、
第１の複数の変調光子から第１の画像を生成することと、
第２の複数の変調光子から第２の画像を生成することと、
前記第１の画像と前記第２の画像とを重ね合わせ、それによって、融合画像を生成することと、を含む、方法。

【請求項10】

第３の複数の非変調光子から第３の画像を生成することをさらに含む、請求項９に記載の方法。

【請求項11】

前記第３の複数の非変調光子は、ＮＩＲ光子、ＳＷＩＲ光子、ｅＳＷＩＲ光子、またはそれらの組み合わせである、請求項９に記載の方法。

【請求項12】

前記第１の複数の変調光子および前記第２の複数の変調光子のそれぞれは、独立してＶＩＳまたはＶＩＳ－ＮＩＲである、請求項９に記載の方法。

【発明の詳細な説明】

【開示の内容】

【0001】

〔関連出願の相互参照〕
本出願は、米国仮特許出願第６２／８３９，２２０号の優先権を主張し、その内容全体が参照により本明細書に組み込まれる。

【0002】

〔分野〕
本開示は、概して、内視鏡検査法のための様々なセンサおよび照明構成に関する。より具体的には、本開示は、チップオンチップ内視鏡検査法（chip-on-tip endoscopy）のための様々なセンサおよび照明構成に関する。

【0003】

〔背景〕
内視鏡は、医師が患者の内部解剖学的構造を見ることを可能にしながら、患者の外傷を最小限にして処置を行うことを可能にするので、医学界で広く受け入れられている。処置に応じて、内視鏡は、身体の自然開口部内に、または皮膚の切開部を通じて、挿入され得る。

【0004】

従来の内視鏡デザインは、典型的には、剛性レンズアセンブリまたは１つ以上の光ファイバストランドを介してカメラまたは他の同様の光センサに接続された、一端部に剛性レンズアセンブリまたは光ファイバレンズアセンブリを有する細長い管状シャフトを含む。シャフトは、処置中に操作するためにハンドルに接続される。観察は通常、ハンドル内の接眼レンズを介して、かつ／または外部スクリーンを介して可能である。種々の外科的処置を行うために、内視鏡内の作業チャネルを通して様々な外科ツールを挿入することができる。

【0005】

出願人は以前に、２０１８年１月１０日出願の、「ＴＩＭＥ ＣＯＲＲＥＬＡＴＥＤ ＳＯＵＲＣＥ ＭＯＤＵＬＡＴＩＯＮ ＦＯＲ ＥＮＤＯＳＣＯＰＹ」と題する米国特許出願第６１／６１５，７７７号、２０１９年１月１０日出願の、「ＴＩＭＥ ＣＯＲＲＥＬＡＴＥＤ ＳＯＵＲＣＥ ＭＯＤＵＬＡＴＩＯＮ ＦＯＲ ＥＮＤＯＳＣＯＰＹ」と題する米国特許出願第１６／２４４，８４５号、および、２０１９年１月１０日出願の、「ＴＩＭＥ ＣＯＲＲＥＬＡＴＥＤ ＳＯＵＲＣＥ ＭＯＤＵＬＡＴＩＯＮ ＦＯＲ ＥＮＤＯＳＣＯＰＹ」と題する世界知的所有権機関出願第ＰＣＴ／ＵＳ２０１９／０１３０６７号に、チップオンチップ内視鏡構成を開示しており、上述の出願の各々は、その全体が参照により本明細書に組み込まれる。

【0006】

チップオンチップ内視鏡構成は、カメラが基部ではなく内視鏡の先端部にあるため、従来の内視鏡構成とは異なる。チップオンチップ構成にはいくつかの利点がある。例えば、カメラを可能な限りサンプルの近くに配置することによって、信号のスループット損失が低減され、レンズアセンブリおよび光ファイバを通した画像歪みが最小化される。さらに、チップオンチップ内視鏡は、典型的な内視鏡よりも軽量で小型のシステムをもたらすことができる。信号は内視鏡の先端部にあるカメラチップ上に読み取られるため、内視鏡の後ろにあるカメラに画像を中継するために特別な光学機器または光ファイバは必要ない。そのため、内視鏡システム内の構成要素の総数が減少する。

【0007】

これにもかかわらず、従来の内視鏡はある特定の利点を保持している。例えば、複雑な撮像ハードウェアは、一般に、内視鏡先端部上に適合することができず、患者または組織サンプルにおける内視鏡の遠位端部から、撮像ハードウェアが配置された内視鏡の近位端部に画像を伝送するために、光ファイバが必要とされる。

【0008】

したがって、チップオンチップ内視鏡構成の利点と、従来の内視鏡デザインの利点とを、各デザインの種々の要素を新奇で相乗的な方法で組み合わせることによって、組み合わせる、ハイブリッド内視鏡が必要とされている。

【0009】

〔概要〕
本開示は、内視鏡と共に、または内視鏡内で使用されるチップオンチップ製品の様々な実施形態に向けられている。

【0010】

いくつかの実施形態では、内視鏡で使用するためのハイブリッド撮像製品が開示されており、このハイブリッド撮像製品は、第１の複数の変調光子を送信するように構成された第１の複数の光源照明ファイバと；第２の複数の変調光子を送信するように構成された第２の複数の光源照明ファイバと；複数のファイバアレイスペクトルトランスレータ（ＦＡＳＴ）ファイバと；撮像ファイバまたはカメラセンサのうちの１つ以上を含む第１の画像コレクタと、を含む。いくつかの実施形態では、ハイブリッド撮像製品は、第３の複数の非変調光子を送信するように構成された第３の複数の光源照明ファイバをさらに含む。いくつかの実施形態では、ハイブリッド撮像製品は、第２の画像コレクタをさらに含み、第２の画像コレクタは、撮像ファイバまたはカメラセンサのうちの１つ以上を含む。

【0011】

いくつかの実施形態では、内視鏡システムは、第１の複数の変調光子を送信するように構成された第１の複数の光源照明ファイバと、第２の複数の変調光子を送信するように構成された第２の複数の光源照明ファイバと、複数のファイバアレイスペクトルトランスレータ（ＦＡＳＴ）ファイバと、撮像ファイバまたはカメラセンサのうちの１つ以上を含む第１の画像コレクタと、を含む、ハイブリッド撮像製品と；照明光源と；第１の複数の光源照明ファイバのために少なくとも第１の複数の変調光子を変調する第１の変調器と；第２の複数の光源照明ファイバのために少なくとも第２の複数の変調光子を変調する第２の変調器と、を含む。いくつかの実施形態では、ハイブリッド撮像製品は、第３の複数の非変調光子を送信するように構成された第３の複数の光源照明ファイバをさらに含む。いくつかの実施形態では、ハイブリッド撮像製品は、第２の画像コレクタをさらに含み、第２の画像コレクタは、撮像ファイバまたはカメラセンサのうちの１つ以上を含む。いくつかの実施形態において、照明光源は、白熱電球、ハロゲンランプ、発光ダイオード（ＬＥＤ）、量子カスケードレーザー、量子ドットレーザー、外部共振器レーザー、化学レーザー、固体レーザー、有機発光ダイオード（ＯＬＥＤ）、エレクトロルミネセントデバイス、蛍光灯、ガス放電灯、メタルハライドランプ、キセノンアークランプ、誘導ランプまたはこれらの組み合わせを含む。いくつかの実施形態では、第１の変調器または第２の変調器は、それぞれ独立して、音響光学チューナブルフィルタ（ＡＯＴＦ）、液晶チューナブルフィルタ（ＬＣＴＦ）、多変量光学素子（ＭＯＥ）、フィルタホイール、パターン化エタロンフィルタ、多重共役フィルタ（multi-conjugate filter）（ＭＣＦ）、またはコンフォーマルフィルタ（ＣＦ）のうちの１つ以上である。

【0012】

いくつかの実施形態では、第１の複数の変調光子を送信するように構成された第１の複数の光源照明ファイバ、第２の複数の変調光子を送信するように構成された第２の複数の光源照明ファイバ、複数のファイバアレイスペクトルトランスレータ（ＦＡＳＴ）ファイバ、および撮像ファイバまたはカメラセンサのうちの１つ以上を含む第１の画像コレクタを含むハイブリッド撮像製品と；照明光源と；第１の複数の光源照明ファイバのために少なくとも第１の複数の変調光子を変調する第１の変調器と；第２の複数の光源照明ファイバのために少なくとも第２の複数の変調光子を変調する第２の変調器と、を含む内視鏡システムを使用して融合画像を生成する方法であって、この方法は、第１の複数の変調光子から第１の画像を生成することと；第２の複数の変調光子から第２の画像を生成することと；第１の画像と第２の画像とを重ね合わせ、それによって、融合画像を生成することと、を含む、方法。いくつかの実施形態において、本方法は、第３の複数の非変調光子から第３の画像を生成することをさらに含む。いくつかの実施形態では、第３の複数の非変調光子は、ＮＩＲ光子、ＳＷＩＲ光子、ｅＳＷＩＲ光子、またはそれらの組み合わせである。いくつかの実施形態では、第１の複数の変調光子および第２の複数の変調光子のそれぞれは、独立してＶＩＳまたはＶＩＳ－ＮＩＲである。

【0013】

明細書に組み込まれ、明細書の一部を構成する添付の図面は、本発明の実施形態を示し、書面による説明と共に、本発明の原理、特性、および特徴を説明するのに役立つ。

【図面の簡単な説明】

【0014】

【図1】本開示による内視鏡の第１の変形例を示す。

【図2】本開示による内視鏡の第２の変形例を示す。

【図3】本開示による内視鏡の第３の変形例を示す。

【図4】本開示による図１～図３に示されるような内視鏡変形例の１つと共に使用するための２つの光学構成オプションを示す。

【図5】本開示による内視鏡の第４の変形例を示す。

【図6】本開示による内視鏡の第５の変形例を示す。

【図7】本開示による内視鏡の第６の変形例を示す。

【図8】本開示によるファイバアレイスペクトルトランスレータデバイスの実施形態を示す。

【図9】本開示によるハイブリッド内視鏡の実施形態を示す。

【0015】

〔詳細な説明〕
本開示は、記載された特定のシステム、デバイス、および方法に限定されず、これらは変化し得る。本明細書で使用される用語は、特定のバージョンまたは実施形態を説明することのみを目的としており、範囲を限定することを意図していない。

【0016】

本文書で使用されているように、単数形「１つの（a）」、「１つの（an）」、および「その（the）」は、文脈で別段明確に規定されない限り、複数の参照物を含む。別段の定義がない限り、本明細書で使用される全ての技術的および科学的用語は、当業者によって一般的に理解されるのと同じ意味を有する。本開示のいかなる内容も、本開示に記載された実施形態が先行発明によりかかる開示に先行する権利を有しないことを認めるものと解釈されるべきではない。本文書で使用されるように、「含む」という用語は「含むがそれに限定されない」ことを意味する。

【0017】

以下に説明する実施形態は、網羅的であること、または教示を以下の詳細な説明に開示される正確な形態に限定することを意図していない。むしろ、実施形態は、当業者が本教示の原理および実践を認識し理解することができるように選択され、記述される。

【0018】

上述のように、従来の内視鏡は、１つ以上の光ファイバストランドを介してカメラまたは他の同様の光センサに接続された一端部に配置された光ファイバレンズアセンブリを含む。従来の内視鏡撮像システムからマルチスペクトルデータを取得するために、サンプルから取得された信号は、カメラに到達する前に、しばしば１つ以上のインラインフィルタによって、選択的に調整される。内視鏡の先端部にカメラ（またはチップ）を有する内視鏡システムでは、これは、サンプル画像をフィルタリングするフィルタリング技術の大幅な小型化なしには容易には可能でない。代わりに、サンプルに到達する前に光源照明がフィルタリングされる。その後、内視鏡の先端部にあるカメラによってサンプル信号が読み取られる。

【0019】

本開示は、いくつかの内視鏡撮像の変形例を説明する。これらの変形例は、サンプル撮像の前に光源照明をフィルタリングすることを含む。各変形例において、光源フィルタリングおよび／または変調は、例えば、音響光学チューナブルフィルタ（ＡＯＴＦ）、液晶チューナブルフィルタ（ＬＣＴＦ）、および／または、例えば、多重共役フィルタ（ＭＣＦ）またはコンフォーマルフィルタ（ＣＦ）を含む、順次走査チューナブルフィルタなどの、光学的な撮像フィルタによって行うことができる。しかしながら、ＭＣＦおよびＣＦは、本明細書ではほんの一例として説明されていることに留意されたい。多変量光学素子（ＭＯＥ）、ＭＯＥフィルタおよびフィルタホイール配列、パターン化エタロンフィルタ、ならびに他の同様のフィルタなどの追加のフィルタを使用して、光源照明をフィルタリングすることができる。光源照明処理およびフィルタリングのさらなる例は、米国特許出願公開第２０１８／０１１６４９４号として公開されている米国特許出願第１５／３７４，７６９号に見出すことができ、その内容はその全体が参照により本明細書に組み込まれる。上記の光源フィルタリングおよび／または変調は、いくつかの実施形態では、照明光源からの光子を変調するデバイスのうちのいずれかを指す「変調器」によって実行されるものとして示される。

【0020】

本明細書に記載するように、変形例は、内視鏡先端部の中央に配置され、光源照明ファイバによって取り囲まれたカメラチップを含む。しかしながら、この中央配置はほんの一例として提供されたものであり、カメラチップおよび光源照明ファイバの追加の配置が含まれ得ることに留意されたい。

【0021】

本明細書に記載されるような内視鏡変形例は、様々な照明光源を含むことができる。特定の実装形態では、単一の照明光源をビームスプリッタおよび／またはミラーの様々な構成と組み合わせて使用して、複数の光ビームを提供することができる。次いで、これらの複数の光ビームは、例えば、種々の光源照明ファイバまたは複数組の光源照明ファイバを用いて、内視鏡の先端部に向けられ得る。例えば、図１に示す変形例では、単一の照明光源を２つの別々のビームに分割し、２組の光源照明ファイバに向けることができる。図４に示されるオプションのような他の実装形態では、単一の照明光源を別々のビームに分割するか、または１つ以上のミラーを介して方向転換して、３組の光源照明ファイバのための光源照明を提供することができる。例えば図１および図４では単一の照明光源のみを示しているが、本開示は単一の照明光源に限定されるものではないことに留意されたい。追加の照明光源が、本明細書に記載されるような内視鏡変形例のうちの１つ以上に含まれ得ると考えられる。このような内視鏡変形例は、単独でまたは組み合わせて使用される複数の異なる別個の照明光源を含むことができる。

【0022】

照明ファイバの数に制限はない。いくつかの実施態様において、照明ファイバの数は、約５０、約６０、約７０、約８０、約９０、約１００、約１１０、約１２０、約１３０、約１４０、約１５０、約２００、約３００、約４００、約５００、約６００、約７００、約８００、約９００、約１０００、約１１００、約１２００、約１３００、約１４００、約１５００、またはこれらのうちの任意の２つの間の範囲内のファイバの数である。

【0023】

照明光源は、限定されるものではなく、電力消費、放射スペクトル、パッケージング、熱出力などのような、内視鏡の他の付随的要件のために必要な照明を提供するのに有用な任意の光源であり得る。いくつかの実施形態において、照明光源は、白熱電球、ハロゲンランプ、発光ダイオード（ＬＥＤ）、量子カスケードレーザー、量子ドットレーザー、外部共振器レーザー、化学レーザー、固体レーザー、有機発光ダイオード（ＯＬＥＤ）、エレクトロルミネセントデバイス、蛍光灯、ガス放電灯、メタルハライドランプ、キセノンアークランプ、誘導ランプ、またはこれらの照明光源の任意の組み合わせである。いくつかの実施形態では、照明光源は、調整可能な照明光源であり、これは、照明光源が単色であり、任意の所望の波長範囲内にあるように選択され得ることを意味する。調整可能な照明光源の選択された波長は限定されず、紫外（ＵＶ）、可視（ＶＩＳ）、近赤外（ＮＩＲ）、可視－近赤外（ＶＩＳ－ＮＩＲ）、短波赤外（ＳＷＩＲ）、拡張短波赤外（ｅＳＷＩＲ）、および近赤外－拡張短波赤外（ＮＩＲ－ｅＳＷＩＲ）範囲内の任意の通過帯域とすることができる。波長範囲を以下に説明する。

【0024】

内視鏡の開示された変形例は、入射光子を検出し、その情報を出力して画像を形成するための画像センサとして使用される少なくとも１つのカメラチップを含む。カメラチップの機能性および構造は限定されない。いくつかの実施形態では、カメラチップは、それが撮像することができる光の波長を特徴とする。カメラチップによって撮像され得る光の波長は、限定されず、紫外（ＵＶ）、可視（ＶＩＳ）、近赤外（ＮＩＲ）、可視－近赤外（ＶＩＳ－ＮＩＲ）、短波赤外（ＳＷＩＲ）、拡張短波赤外（ｅＳＷＩＲ）、近赤外－拡張短波赤外（ＮＩＲ－ｅＳＷＩＲ）を含む。これらの分類は、約１８０ｎｍ～約３８０ｎｍ（ＵＶ）、約３８０ｎｍ～約７２０ｎｍ（ＶＩＳ）、約４００ｎｍ～約１１００ｎｍ（ＶＩＳ－ＮＩＲ）、約８５０ｎｍ～約１８００ｎｍ（ＳＷＩＲ）、約１２００ｎｍ～約２４５０ｎｍ（ｅＳＷＩＲ）、および約７２０ｎｍ～約２５００ｎｍ（ＮＩＲ－ｅＳＷＩＲ）の波長に対応する。上記の範囲は、単独で使用することも、列挙された範囲のいずれかと組み合わせて使用することもできる。このような組み合わせには、隣接する（連続的な）範囲、重複する範囲、重複しない範囲が含まれる。範囲の組み合わせは、それぞれが特定の範囲に敏感な複数のカメラチップ、またはカラーフィルタアレイを含むことにより複数の異なる範囲を感知することができる単一のカメラチップを含むことによって達成することができる。

【0025】

いくつかの実施形態において、カメラチップは、それが作られる材料を特徴とする。カメラチップの材料は限定されず、カメラチップが検出すると予想される波長範囲に基づいて選択することができる。そのような実施形態では、カメラチップは、シリコン（Ｓｉ）、ゲルマニウム（Ｇｅ）、砒化インジウムガリウム（ＩｎＧａＡｓ）、珪化白金（ＰｔＳｉ）、テルル化カドミウム水銀（ＨｇＣｄＴｅ）、アンチモン化インジウム（ＩｎＳｂ）、コロイド量子ドット（ＣＱＤ）、またはこれらのいずれかの組み合わせを含む。

【0026】

いくつかの実施形態において、カメラチップは、その電気構造を特徴とする。電気構造は限定されない。いくつかの実施形態では、カメラチップは、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）画像センサを含む。上記に列挙した材料はそれぞれ、最終的なカメラチップを形成するために、いずれの電気構造でも使用できることに留意されたい。例としては、Ｓｉ ＣＣＤ、Ｓｉ ＣＭＯＳ、Ｇｅ ＣＣＤ、Ｇｅ ＣＭＯＳ、ＩｎＧａＡｓ ＣＣＤ、ＩｎＧａＡｓ ＣＭＯＳ、ＰｔＳｉ ＣＣＤ、ＰｔＳｉ ＣＭＯＳ、ＨｇＣｄＴｅ ＣＣＤ、ＨｇＣｄＴｅ ＣＭＯＳ、ＩｎＳｂ ＣＣＤ、ＩｎＳｂ ＣＭＯＳ、ＣＱＤ ＣＣＤ、およびＣＱＤ ＣＭＯＳが挙げられる。これらのセンサ構造は、単独で使用されてもよく、または同じ物理的カメラチップ内で、もしくは複数の別個のカメラチップ内で組み合わせて使用されてもよい。

【0027】

いくつかの実施形態では、カメラチップは、画像を生成するためにカラーフィルタアレイを備える。フィルタアレイのデザインは限定されない。カメラチップに関連して使用される場合の用語「フィルタ」は、参照光がフィルタを通過できることを意味することを理解されたい。例えば、「緑色フィルタ」は、可視色である緑色に対応する約５２０ｎｍ～約５６０ｎｍの波長を有する光のみを通過させることにより、人間の目には緑色に見えるフィルタである。同様の「ＮＩＲフィルタ」は、近赤外光（ＮＩＲ）のみを通過させる。いくつかの実施形態では、フィルタは、カメラチップ上に配置されたカラーフィルタアレイである。このようなカラーフィルタアレイは、デザインが様々であるが、全てオリジナルの「ベイヤー」フィルタのカラーモザイクフィルタに関連している。カラーフィルタアレイは、ＢＧＧＲ、ＲＧＢＧ、ＧＲＧＢ、ＲＧＧＢ、ＲＧＢＥ、ＣＹＹＭ、ＣＹＧＭ、ＲＧＢＷ（２×２）、ＲＧＢＷ（対角色で２×２）、ＲＧＢＷ（ペア色で２×２）、ＲＧＢＷ（垂直Ｗで２×２）、およびＸ－ＴＲＡＮＳ（日本の東京にあるＦｕｊｉｆｉｌｍ Ｃｏｒｐｏｒａｔｉｏｎが販売）を含む。Ｘ－ＴＲＡＮＳセンサは、大きな６×６ピクセルのパターンを有し、これは、全ての水平線および垂直線にＲＧＢタイルを含めることで、モアレ効果のアーティファクトを低減する。リストでは、Ｂは青、Ｇは緑、Ｒは赤、Ｅはエメラルド、Ｃはシアン、Ｙは黄、Ｍはマゼンタに対応する。Ｗは、以下でさらに説明する「白」またはモノクロタイルに対応する。

【0028】

Ｗまたは「白」タイル自体は、いくつかの構成を含む。いくつかの実施形態では、Ｗタイルはいかなる光もフィルタリングしないので、全ての光はカメラチップに到達する。これらの実施形態では、カメラチップは、所与の波長範囲内の光の全てを検出する。カメラチップに応じて、これは、ＵＶ、ＶＩＳ、ＮＩＲ、ＶＩＳ－ＮＩＲ、ＶＩＳ－ＮＩＲ、ＶＩＳ－ＳＷＩＲ、またはＶＩＳ－ｅＳＷＩＲであってよい。いくつかの実施形態では、Ｗタイルは、ＶＩＳ、ＶＩＳ－ＮＩＲ、ＮＩＲ、またはｅＳＷＩＲのためのフィルタであり、それぞれＶＩＳ、ＶＩＳ－ＮＩＲ、ＮＩＲ、またはｅＳＷＩＲのみがカメラチップに到達できるようにする。これは、有利には、上記に列挙したカメラチップ材料または電気構造のいずれかと組み合わせることができる。このようなフィルタアレイは、単一のカメラチップが可視光と近赤外光の両方を検出することを可能にするので有用であり、４バンドフィルタアレイと呼ばれることもある。

【0029】

さらに別の実施形態では、カラーフィルタアレイは省略され、カメラチップに備えられておらず、これにより単色画像を生成する。そのような実施形態では、生成された画像は、カメラチップを構成する材料のバンドギャップのみに基づいている。他の実施形態では、フィルタは依然としてカメラチップに適用されるが、モノリシックな単一のフィルタとしてであるに過ぎない。例えば、赤色フィルタの適用は、カメラチップが赤色スペクトルを表す単色画像を生成することを意味する。いくつかの実施形態では、異なるモノリシックな単一のフィルタカメラチップをそれぞれが有する複数のカメラチップが使用される。一例として、Ｒ、Ｇ、およびＢフィルタをそれぞれ有する３つのカメラチップを組み合わせることによって、ＶＩＳ画像を生成することができる。別の例では、Ｒ、Ｇ、Ｂ、およびＮＩＲフィルタをそれぞれ有する４つのカメラチップを組み合わせることによって、ＶＩＳ－ＮＩＲ画像を生成することができる。別の例では、ＶＩＳ－ｅＳＷＩＲ画像は、Ｒ、Ｇ、Ｂ、およびｅＳＷＩＲフィルタをそれぞれ有する４つのカメラチップを組み合わせることによって生成することができる。

【0030】

いくつかの実施形態では、カラーアレイは省略され、カメラチップは、ピクセルグリッドに編成された垂直に積み重ねられたフォトダイオードを利用する。積み重ねられたフォトダイオードの各々は、光の所望の波長に応答する。例えば、積み重ねられたフォトダイオードカメラチップは、ＶＩＳ画像を形成するためにＲ、Ｇ、およびＢ層を含む。別の実施形態では、積み重ねられたフォトダイオードカメラチップは、ＶＩＳ－ＮＩＲ画像を形成するためにＲ、Ｇ、Ｂ、およびＮＩＲ層を含む。別の実施形態では、積み重ねられたフォトダイオードカメラチップは、ＶＩＳ－ｅＳＷＩＲ画像を形成するためにＲ、Ｇ、Ｂ、およびｅＳＷＩＲ層を含む。

【0031】

２つ以上のカメラチップが含まれる実施形態では、２つ以上のカメラチップの各々からの画像に基づいて立体画像を生成することができる。立体画像は、観察者が画像内の深さを認識することを可能にし、その結果、平面画像よりも精度およびリアリズムが向上するので有用である。手術または他の同様の内視鏡作業の間、立体画像は、器具を操作し、タスクを行うために有用であり、単眼視内視鏡よりも安全性および正確性が高い。これは、１つのみのカメラチップ位置を有する単眼視内視鏡では深さの知覚を提供することができないためである。いくつかの実施形態では、立体画像は、同じ２つのカメラチップおよび２つのカラーフィルタアレイを使用することによって形成される。いくつかの実施形態では、立体画像は、同じであるが、それぞれが異なるカラーフィルタアレイを備えた２つのカメラチップによって形成される。いくつかの実施形態では、立体画像は、異なる２つのカラーフィルタアレイを備えた、異なる２つのカメラチップによって形成される。いくつかの実施形態では、立体画像は、異なる２つのカメラチップによって形成され、一方のカメラチップは、カラーフィルタアレイを備え、他方のカメラチップは、単色フィルタを備えるか、またはフィルタアレイを備えない。複数のカメラチップが設けられている場合には、各カメラチップの出力を用い、各カメラチップの出力を合成または融合することにより立体画像を生成することができる。

【0032】

さらに別の実施形態では、立体画像を得る方法が提供される。例えば、第１のカメラチップが第１の画像を生成し、異なる位置にある第２のカメラチップが第２の画像を生成し、第１の画像と第２の画像を合成（「融合」）して立体画像を形成する。これらの実施形態では２つのカメラチップについて説明したが、カメラチップの総数は限定されず、２より大きい総数に増やされ得ることが理解される。いくつかの実施形態では、第３、第４、第５または第６のカメラチップがある。

【0033】

図１は、本開示による第１の内視鏡変形例を示す。図１に示すように、内視鏡は、２組の光源照明ファイバＴ１およびＴ２によって囲まれた２つの赤－緑－青（ＲＧＢ）カメラＲＧＢ１およびＲＧＢ２を先端部に備えることができる。図１の端面図（end-on view）に示すように、光源照明ファイバＴ１、Ｔ２は内視鏡の円周の周囲に交互に配置することができる。このような配置は、内視鏡の円周の周囲に、より均一で一貫した照明を提供することができる。しかしながら、この交互配置はほんの一例として提供され、光源照明ファイバの追加の配置がデザインに含まれ得ることに留意されたい。

【0034】

いくつかの実装形態では、光源照明ファイバＴ１およびＴ２は、順次走査ＭＣＦによってフィルタリングされた２つの別個の波長、またはＣＦによってフィルタリングされた複数の波長を表すことができる。例えば、Ｔ１およびＴ２は、選択的に変調され得るか、またはサンプルに同時に送達され得る。図１に含まれる回路図に示すように、単一の照明光源をビームスプリッタに向けることができる。ビームスプリッタは、照明光源から受け取った光を２つのビームに分割するように構成することができる。第１のビームは、変調器およびフィルタ（例えば、ＭＣＦおよび／またはＣＦ）へＴ１光源照明経路を下方へと向けられ得る。同様に、第２のビームは、第２の変調器およびフィルタ（例えば、ＭＣＦおよび／またはＣＦ）へＴ２光源照明経路を下方へと向けられ得る。変調器の動作およびフィルタの構成を能動的に制御することによって、第１および第２の複数の光源照明ファイバＴ１またはＴ２の一方または両方が、それぞれの別個の波長でサンプル組織を照明することができる。

【0035】

いくつかの実装形態では、２つのカメラＲＧＢ１およびＲＧＢ２は、別個の撮像機能を実行するように構成することができる。例えば、ＲＧＢ１は、サンプル組織が光源照明ファイバＴ１を用いて照明されるときにサンプル画像を提供するように調整および構成することができる。逆に、ＲＧＢ２は、サンプル組織が光源照明ファイバＴ２を用いて照明されるときにサンプル画像を提供するように調整および構成することができる。他の実装形態では、ＲＧＢ１は低解像度カメラとして実装することができ、ＲＧＢ２は高解像度カメラとして実装することができる。このような例では、両方のカメラは、光源照明ファイバＴ１およびＴ２のいずれかを使用して画像を捕捉するように構成することができる。

【0036】

図２は、本開示による第２の内視鏡変形例を示す。図２に示すように、内視鏡は、１つのＲＧＢカメラと、１つの近赤外（ＮＩＲ）カメラと、を備えることができる。光源照明ファイバＴ１およびＴ２（上述されたようなＴ１およびＴ２に類似）ならびに第３の光源照明ファイバＥｘを含むいくつかのファイバは、２つのカメラチップを取り囲むように配置することができる。本明細書に記載するように、光源照明ファイバＥｘは、ＮＩＲ蛍光撮像のための励起波長を有する光を向けるように構成することができる。さらに他の実施形態では、第３の光源照明ファイバは、紫外（ＵＶ）、可視（ＶＩＳ）、近赤外（ＮＩＲ）、または可視－近赤外（ＶＩＳ－ＮＩＲ）光のうちの１つ以上を透過することができる。さらに他の実施形態では、透過される光は単色である。いくつかの実装形態では、照明ファイバは、３つからなる複数のグループ（multiple groups of three）に配置することができる。例えば、図２の端面図に示されるように、３つからなるグループは、Ｔ１と、Ｅｘと、Ｔ２とを交互にすることができる。しかしながら、図２に示される交互配置は、ほんの一例として提供されることに留意されたい。光源照明ファイバの代替および／または追加の配置をデザインに使用することができる。

【0037】

図１の上述の議論と同様に、Ｔ１およびＴ２は、順次走査ＭＣＦによってフィルタリングされた２つの別個の波長、またはＣＦによってフィルタリングされた複数の波長を表すことができる。いくつかの実装形態では、３つの照明光源Ｔ１、Ｔ２、およびＥｘの全てをサンプルに同時に提示することができる。いくつかの例では、照明光源Ｔ１およびＴ２は、照明光源Ｅｘから独立して送達され得る。

【0038】

いくつかの実装形態では、Ｔ１およびＴ２照明光源ファイバを用いて照明された組織サンプルの画像を、ＲＧＢカメラを用いて記録することができる。このような配置では、Ｅｘ光源照明ファイバを用いて照明された組織サンプルの蛍光画像を、ＮＩＲカメラを用いて記録することができる。しかしながら、このような配置はほんの一例として提供され、カメラの機能性は、変調、フィルタリング、および光源照明ファイバに関連する他の同様の要因に基づいて変更され得ることに留意されたい。

【0039】

図３は、本開示による第３の内視鏡変形例を示す。図３に示すように、内視鏡は、カメラチップ上に、赤、緑、青、およびＮＩＲフィルタを含む４バンドフィルタアレイを備えることができる。図２に関して上述したような配置と同様に、光源照明ファイバＴ１およびＴ２、ならびに第３の光源照明ファイバＥｘを含むいくつかのファイバがカメラチップを取り囲むことができる。いくつかの実装形態では、照明ファイバは、３つからなる複数のグループに配置することができる。例えば、図３の端面図に示されるように、３つからなるグループは、Ｔ１と、Ｅｘと、Ｔ２とを交互にすることができる。しかしながら、図３に示された交互配置は、ほんの一例として提供されていることに留意されたい。光源照明ファイバの代替および／または追加の配置をデザインに使用することができる。

【0040】

図１の上述の議論と同様に、Ｔ１およびＴ２は、順次走査ＭＣＦによってフィルタリングされた２つの別個の波長、またはＣＦによってフィルタリングされた複数の波長を表すことができる。いくつかの実装形態では、３つの照明光源Ｔ１、Ｔ２、およびＥｘの全てをサンプルに同時に提示することができる。いくつかの例では、照明光源Ｔ１およびＴ２は、照明光源Ｅｘから独立して送達され得る。

【0041】

いくつかの実装形態では、照明光源ファイバＴ１およびＴ２を用いて撮像された組織サンプルは、フィルタアレイの赤、緑、および／または青のフィルタリングされたピクセルを用いて記録することができる。このような構成において、照明光源ファイバＥｘを用いて生成された蛍光画像は、ＮＩＲフィルタリングされたピクセルを用いて記録することができる。

【0042】

図５は、本開示によるさらに別の内視鏡変形例を示す。図５に示すように、内視鏡は、２つのカメラチップに対応する２つの４バンドフィルタアレイを備える。各４バンドフィルタアレイは、赤、緑、青、および白（モノクロ）フィルタを含み、各４バンドフィルタアレイは、別個のカメラチップ上に配置される。図１に関して上述したような構成と同様に、Ｔ１およびＴ２は、順次走査ＭＣＦによってフィルタリングされた２つの別個の波長、またはＣＦによってフィルタリングされた複数の波長を表すことができる。２つの別個のカメラチップを使用することにより、立体画像が得られる。いくつかの実施形態（不図示）では、３つの照明光源Ｔ１、Ｔ２、およびＥｘの全てをサンプルに同時に提示することができる。いくつかの例では、照明光源Ｔ１およびＴ２は、照明光源Ｅｘから独立して送達され得る。

【0043】

図６は、本開示によるさらに別の内視鏡変形例を示す。図６に示すように、内視鏡は、単一のカメラチップに対応する単一の４バンドフィルタアレイを備える。４バンドフィルタアレイは、赤、緑、青、および白（モノクロ）フィルタを含む。図１に関して上述したような構成と同様に、Ｔ１およびＴ２は、順次走査ＭＣＦによってフィルタリングされた２つの別個の波長、またはＣＦによってフィルタリングされた複数の波長を表すことができる。いくつかの実施形態（不図示）では、３つの照明光源Ｔ１、Ｔ２、およびＥｘの全てをサンプルに同時に提示することができる。いくつかの例では、照明光源Ｔ１およびＴ２は、照明光源Ｅｘから独立して送達され得る。

【0044】

図７は、本開示によるさらに別の内視鏡変形例を示す。図７に示すように、内視鏡は、ＲＧＢ１として示され、第１のカメラチップ上に配置されたＲＧＢフィルタを含む。図７の内視鏡はまた、ＳＷＩＲフィルタを含み、ＳＷＩＲフィルタは第２のカメラチップ上に配置される。図１に関して上述した構成と同様に、Ｔ１およびＴ２は、順次走査ＭＣＦによってフィルタリングされた２つの別個の波長、またはＣＦによってフィルタリングされた複数の波長を表すことができる。いくつかの実施形態（不図示）では、３つの照明光源Ｔ１、Ｔ２、およびＥｘの全てをサンプルに同時に提示することができる。いくつかの例では、照明光源Ｔ１およびＴ２は、照明光源Ｅｘから独立して送達され得る。図７に関して、２つの物理的に別々のカメラチップが使用されているが、ＳＷＩＲフィルタは第２のカメラチップ上に配置され、立体画像の形成に寄与できないので、人間の目に見える白色光またはＲＧＢ光で二次元画像または非立体画像のみが生成されることが理解される。

【0045】

いくつかの実施形態では、内視鏡システムは、ファイバアレイスペクトルトランスレータ（ＦＡＳＴ）デバイスの一部である複数のファイバをさらに含む。ファイバアレイスペクトルトランスレータ（ＦＡＳＴ）デバイスの一部であるファイバは、本明細書では、「ＦＡＳＴファイバ」と呼ばれる。いくつかの実施形態では、ＦＡＳＴファイバは、内視鏡の本体内に含まれる。ＦＡＳＴファイバが内視鏡の本体内に含まれる場合、内視鏡は、カメラチップおよびＦＡＳＴファイバで同時に撮像することができる。

【0046】

図８は、ＦＡＳＴデバイス８５５の実施形態を示す。ＦＡＳＴデバイスは、ファイバを透過する光を発生するレーザー光源またはＥｘ照明光源などの少なくとも１つの照明光源８２５を含む。代替の実施形態では、照明光源８２５は、限定されるものではなく、本明細書に記載する代替の照明光源のいずれかを含むことができる。ＦＡＳＴデバイス８５５は、二次元端部８５６および一次元端部８５７を含む。一実施形態では、二次元端部８５６は、順序付け（ordering）を有する。二次元端部８５６の特定の順序付けは限定されない。いくつかの実施形態では、順序付けは蛇行順序付け（serpentine ordering）である。ＦＡＳＴデバイス８５５の二次元端部８５６は、一次元ファイバ端部へと配置される光ファイバの二次元アレイを含む。一実施形態では、二次元端部８６５は非線形である。このような非線形構成は、限定されるものではなく、円形、正方形、長方形、およびそれらの組み合わせのうちの１つ以上であり得る。さらに、一実施形態では、一次元端部８５７は線形であり、直線を形成する。

【0047】

サンプル組織からの相互作用光子の少なくとも一部は、二次元端部８６５である、ＦＡＳＴデバイス８５５の入力上に集束され得る。いくつかの実施形態では、ＦＡＳＴデバイスは、約５０、約６０、約７０、約８０、約９０、約１００、約１１０、約１２０、約１３０、約１４０、または約１５０のＦＡＳＴファイバを含む。一実施形態では、約１００未満のＦＡＳＴファイバがある。別の実施形態では、約９６のＦＡＳＴファイバがある。ＦＡＳＴファイバの数は、上記の数のいずれかを端点とする範囲内にすることができる。

【0048】

再び図８を参照すると、一次元ファイバ端部８５７は、分光計８６０の入口スリットに向けられている。分光計８６０は、一次元端部８５７からの複数の光子を複数の波長に分離し、各ファイバから別々の分散スペクトルを提供することによって機能する。複数のラマンスペクトル、したがって、サンプル領域の複数の問い合わせを単一の測定サイクルで得ることができる。ＦＡＳＴデバイスを含めることにより、内視鏡または内視鏡システムは、従来のラマンセンサが１つのスペクトルを収集するのに要する時間とほぼ同じ時間で複数のラマンスペクトルを捕捉することができる。したがって、ＦＡＳＴデバイスは、取得時間のかなりの減少を可能にする。光子を検出器８６５で検出して生成し、ラマンデータセットを生成することができる。一実施形態では、プロセッサ（不図示）は、検出器８６５によって生成される単一フレームに埋め込まれたスペクトルおよび／または空間情報を抽出する。検出器８６５はＣＣＤとして示されているが、上述の異なる種類のカメラチップおよび対応するカラーフィルタアレイを含む任意の適切な検出器を選択することができることが理解される。

【0049】

図８では、８６１は検出器８６５の出力を表し、８６２は例示的なスペクトル再構成を表し、８６３は例示的な画像再構成を表す。一実施形態では、収集ラマン効率を最大化するために、関心領域をＦＡＳＴデバイスによってレーザスポットの領域に光学的に一致させることができる。一実施形態では、本開示は、レーザビームのみが視野（ＦＯＶ）内を走査するために移動される構成を意図している。本開示はまた、サンプルが移動し、レーザビームが静止している実施形態を意図している。

【0050】

「走査」ＦＯＶをラマン収集ＦＯＶと光学的に一致させることが可能である。ＦＯＶは、各ＦＡＳＴファイバがＦＯＶの１つの領域から光を収集するように、長方形のＦＡＳＴデバイス上へと撮像される。最大空間分解能をもたらすファイバ当たりの面積は、全ＦＯＶの面積をファイバの数で割ることにより容易に計算できる。ラマン散乱は、レーザーがサンプルを励起するときにのみ発生するので、ラマンスペクトルは、収集領域がレーザビームによって走査されているファイバにおいてのみ得られる。レーザビームのみの走査は、市販のガルバノメータ駆動ミラーシステムを利用することができる迅速なプロセスである。

【0051】

ＦＡＳＴデバイス８５５の構造は、アレイの二次元端部８５６および一次元端部８５７の両方における各ファイバの位置の知識を必要とする。各ファイバは、二次元端部８５６内の固定位置から光を収集し、この光を検出器８６５上の固定位置に（そのファイバの一次元端部８５７を通じて）伝送する。

【0052】

各ファイバは、複数の検出器列にまたがることができ、再構成された画像においてファイバ当たり１ピクセルよりも高い解像度を可能にする。実際、この超解像は、ファイバピクセル（すなわち、それぞれのファイバに関連する検出器内のピクセル）間の補間と組み合わせて、他の状況で可能なものよりもはるかに高い空間分解能を達成する。したがって、空間較正は、撮像端部および遠位端部におけるファイバ外形（すなわち、ファイバ対応）の知識だけでなく、どの検出器列が所与のファイバに関連しているかの知識も含み得る。

【0053】

他の分光法と比較してＦＡＳＴデバイスを使用する基本的な利点の１つは、分析速度である。ＦＡＳＴデバイスは、数個から数千のフルスペクトル範囲の空間分解スペクトルを同時に取得できる。従来の手段を用いて所与の材料から単一のスペクトルを生成するのに要する時間で、特にレーザー誘起光損傷を受けやすい組織サンプルについて、完全な分光撮像データセットを取得することができる。ＦＡＳＴデバイスはまた、複数の検出器を用いて実装することができ、色分けされたＦＡＳＴ分光画像を他の高空間分解能グレースケール画像に重ねて、組織サンプルの状態および化学的性質についての有意な洞察を提供することができる。

【0054】

ＦＡＳＴデバイスの利用は、「多点」分析と呼ばれ得るもののための内視鏡システムを構成する１つの方法である。多点分析を行うために、組織サンプルの性質および所望の多点サンプリングのタイプに応じて、評価すべき組織サンプルおよび領域の全体または一部が照明される。照明野は、複数の隣接した点、隣接していない点、または重なり合った点に分割することができ、各点でスペクトルを生成することができる。一実施形態では、これらのスペクトルを平均化することができる。別の実施形態では、照明スポットサイズを十分に大きくして、サンプルの広い領域にわたって空間的にサンプリング／平均化することができる。これには、横断サンプリングも含まれ得る。

【0055】

例として、組織サンプル全体を照明することができ、選択された点で相互作用光子を評価することによって多点分析を行うことができる。あるいは、組織サンプルの複数の点を照明することができ、これらの点から放射される相互作用光子を評価することができる。これらの点は連続的に（すなわち、順次）評価され得る。この戦略を実行するために、取得時間と分光マップの空間分解能との間に固有のトレードオフがある。各フルスペクトルは、収集するのに一定の時間がかかる。サンプルの単位面積当たりにより多くのスペクトルが収集されると、分光マップの見かけの分解能とデータ収集時間の両方が増加する。別の実施形態では、相互作用光子は、画像フィールド内の選択された全ての点について並列に（すなわち、同時に）評価することができる。全ての点のこの並列処理は、指定された化学的撮像であり、非常に多数の空間点およびスペクトルチャネルが選択される場合、かなりのデータ取得時間、計算時間および容量を必要とし得る。しかしながら、化学的撮像は、比較的少数のスペクトルチャネルが評価される場合、より少ないデータ取得時間、計算時間および容量を必要とし得る。

【0056】

一実施形態では、相互作用光子は、ＦＯＶの領域の一部分のみを共に表すＦＯＶ（例えば、顕微鏡の倍率視野）内の複数の点（多点）で評価されてもよい。視野の総面積の少数を表す点（例えば、２、３、４、６、１０、５０、１００以上の点および／または合計で視野の２５％、５％、１％以下を表す点）でＦＯＶをサンプリングすることは、ＦＯＶの貴重な表現を提供し得ることが発見されている。これらの点は、ＦＯＶの画像の単独ピクセルであってもよく、または複数の隣接するピクセルもしくはグループ化されたピクセルによって画像内で表されるＦＯＶの領域であってもよい。個々の点として評価される領域またはピクセルの形状は重要ではない。例えば、円形、環状、正方形、または長方形の領域またはピクセルは、個々の点として評価することができる。ライン走査構成においてピクセルのラインを評価することもできる。

【0057】

多点分析の各点に対応する領域は、様々な既知の方法で選択または生成できる。一実施形態では、構造化照明を使用することができる。例として、照明または収集光路に配置された共焦点マスクまたは回折光学素子は、照明または収集を、規定された幾何学的関係を有するサンプルの特定の部分に制限することができる。

【0058】

ＦＯＶにおける複数の点の分光分析（多点分析）は、画像の全ての画素（ピクセル）でスペクトル撮像を行う必要なく、高品質のスペクトル感知および分析を可能にする。光学的撮像（例えば、ＲＧＢ撮像）をサンプル上で（例えば、同時にまたは別々に）行うことができ、光学的画像を選択されたスペクトル情報と組み合わせて、関心領域を規定し、位置特定することができる。この関心領域の十分に異なる位置から一度にスペクトルを迅速に取得することにより、高効率かつ正確なスペクトル分析およびサンプル中の成分の同定が可能となる。さらに、サンプルまたはＦＯＶ内の関心領域の同定は、サンプルまたはＦＯＶのその部分のより詳細なラマン散乱（または他の）分析を行うべき信号として使用され得る。

【0059】

ＦＡＳＴ分光および／または撮像応用に必要な多数の光ファイバは、撮像分光器に並外れた要求を出し、これに多点法が対処する。数百万のピクセルを有する代わりに、多点分析は、２から数千のファイバを含むバンドル内で直径の大きいファイバを使用できる。スペクトル感知および分析の多点法では、完全なスペクトル撮像（物理的画像を生成するために少なくとも数千の隣接ピクセルを必要とする）は必要とされない。代わりに、２から数千の点で同時に行われるスペクトル感知は、分析および同定に必要なサンプル上の広範囲の点からの高品質の空間分解スペクトルを迅速に（数秒で）提供することができる。したがって、ＦＯＶ内で分析された点の正確な幾何学的配置が知られていなくても、それらの点は、サンプルまたはＦＯＶにまたがることができる、規定された幾何学的配置を有する。分析された点は、組織サンプルの疾患状態に関して有益であり得る。

【0060】

ここで図９を参照すると、照明ファイバ、撮像ファイバ、およびＦＡＳＴファイバを単一の内視鏡において組み合わせる可撓性内視鏡を含む別の実施形態が説明される。図示されている内視鏡は、体腔および開口部への挿入に適した可撓性内視鏡である。しかしながら、切開部を通じた外科的手技に適した剛性内視鏡もまた考えられる。図９は、近位端部を含む可撓性内視鏡を示し、近位端部は、患者と相互作用せず、図８に関して上述したのと同じ方法で分光計に接続される。正確な部品および構成要素についてはここでは繰り返さない。可撓性内視鏡は、身体の開口部、体腔、切開部など、およびそれらの組み合わせのうちの１つ以上に挿入されることが意図された遠位端部も含む。近位端部には、ＦＡＳＴデバイスに加えて、石英タングステンハロゲンランプ、レーザー、またはその両方の形態のフィルタリングされた照明光源が設けられている。上記の開示を読むことによって当業者に理解されるように、照明光源は特に限定されず、照明光源の選択は上記で説明される。

【0061】

再び図９を参照すると、内視鏡は、外科的処置のために患者に挿入され、診断を補助し、かつそれらの組み合わせを行うように構成された遠位端部も含む。また、上述のように、いくつかの実施形態における遠位端部は、照明ファイバ、ＦＡＳＴファイバ、およびカメラチップのうちの１つ以上を含む。図９に記載され、本開示の内視鏡システムを形成する内視鏡は、構成が限定されるものではなく、本出願全体にわたって記載されている照明ファイバ、ＦＡＳＴファイバ、およびカメラチップの組み合わせのうちの任意のものを含み得ることが理解される。

【0062】

いくつかの実施形態において、内視鏡システムは、少なくとも約１フレーム／秒（ｆｐｓ）、少なくとも約２ｆｐｓ、少なくとも約３ｆｐｓ、少なくとも約４ｆｐｓ、少なくとも約５ｆｐｓ、少なくとも約６ｆｐｓ、少なくとも約７ｆｐｓ、少なくとも約８ｆｐｓ、少なくとも約９ｆｐｓ、少なくとも約１０ｆｐｓ、少なくとも約１１ｆｐｓ、少なくとも約１２ｆｐｓ、少なくとも約１３ｆｐｓ、少なくとも約１４ｆｐｓ、または少なくとも約１５ｆｐｓのリフレッシュレートを有する。

【0063】

上記の図１～図３および図５～図９を参照して説明した変形例は、図４に示す２つの光学構成オプションのうちの１つを使用して実施することができる。図４でオプション１とラベル付けされた第１の光学構成は、ビームスプリッタ４０２に向けられた照明光源４０１を含む。ビームスプリッタ４０２は、ビームを２つのビームに分割するように構成することができ、その結果、分割されたビームの各々は、照明光源４０１によって放射された元の光の約５０％を含む。第１の分割光ビームはＥｘ光源照明経路を通って導かれ、第２の分割光ビームはＴ１およびＴ２光源照明経路を通って導かれる。Ｅｘ光源照明経路をたどって、第１の分割光ビームは、変調器４０３を通して方向付けられ、ミラー４０４によって励起フィルタ４０５に反射される。励起フィルタ４０５の出力は、ファイバ結合レンズ４０６を通過し、Ｅｘ光源照明光ファイババンドル４０７を通って出力され得る。Ｔ１およびＴ２経路をたどって、第２の分割光ビームは、第２のビームスプリッタ４０８を通過することができる。第２のビームスプリッタ４０８の出力は、２つの等しいビームとすることができ、各々が照明光源４０１によって放射される全ての光の約２５％となる。第１のビームは、変調器４０９を通過し、ミラー４１０によって反射され、フィルタ４１１によってフィルタリングされ得る。フィルタリングされたビームは、ファイバ結合レンズ４１２を通過し、Ｔ１光源照明光ファイババンドル４１３を通って出力され得る。（ビームスプリッタ４０８からの）第２のビームは、変調器４１４を通過し、フィルタ４１５によってフィルタリングされ得る。フィルタリングされたビームは、ファイバ結合レンズ４１６を通過し、Ｔ２光源照明光ファイババンドル４１７を通って出力され得る。

【0064】

変調器４０３、４０９、４１４のうちの１つ以上の動作を能動的に制御することにより、オプション１に示すような構成の出力を正確に制御することができる。例えば、変調器４０９および４１４をアクティブにし、変調器４０３を非アクティブにすることによって、Ｔ１およびＴ２の両方が光源照明を能動的に出力することができる。同様に、変調器４０３をアクティブにし、変調器４０９および４１４を非アクティブにすることによって、Ｅｘは光源照明を能動的に出力することができる。

【0065】

図４でオプション２とラベル付けされた第２の光学構成は、可動ミラー４２２に向けられた照明光源４２１を含む。可動ミラー４２２の位置に応じて、照明光源４２１から放射される光は、Ｅｘ光源照明経路（オプション２で実線で示される）またはＴ１およびＴ２光源照明経路（オプション２で破線で示される）のいずれかを移動することができる。

【0066】

Ｅｘ光源照明経路をたどって、可動ミラー４２２によって反射された光は、ミラー４２３によって励起フィルタ４２４にさらに反射され得る。励起フィルタ４２４の出力は、ファイバ結合レンズ４２５を通過し、Ｅｘ光源照明光ファイババンドル４２６を通って出力され得る。

【0067】

照明光源４２１から放射された光が反射されないように可動ミラー４２２が配置されていれば、光はＴ１およびＴ２経路をたどることができる。光ビームはビームスプリッタ４２７を通過することができる。ビームスプリッタ４２７の出力は、２つの等しいビームとすることができ、各々が照明光源４２１によって放射される全ての光の約５０％となる。（ビームスプリッタ４２７からの）第１のビームは、変調器４２８を通過し、ミラー４２９によって反射され、フィルタ４３０によってフィルタリングされ得る。フィルタリングされたビームは、ファイバ結合レンズ４３１を通過し、Ｔ１光源照明光ファイババンドル４３２を通って出力され得る。（ビームスプリッタ４２７からの）第２のビームは、変調器４３３を通過し、フィルタ４３４によってフィルタリングされ得る。フィルタリングされたビームは、ファイバ結合レンズ４３５を通過し、Ｔ２光源照明光ファイババンドル４３６を通って出力され得る。

【0068】

可動ミラー４２２の位置を能動的に制御するとともに、変調器４２８、４３３の１つ以上の動作を能動的に制御することにより、オプション２に示すような構成の出力を正確に制御することができる。例えば、照明光源４２１によって放射された光を反射する位置に可動ミラー４２２を移動させることによって、放射された全ての光をＥｘ光ファイババンドル４２６に向けることができる。同様に、照明光源４２１により放射された光が反射されない位置に可動ミラー４２２を位置決めし、変調器４２８、４３３を能動的に制御することにより、Ｔ１光源照明光ファイババンドル４３２およびＴ２光源照明光ファイババンドル４３６のうちの１つ以上に光を出力することができる。

【0069】

図４の表は、構成オプション１および２の相対照明強度スループットおよび他の性能指標を比較する。ただし、表に記載されている特定の値は、ほんの一例として提供されている、オプション１および２に含まれる特定のデザインに関連していることに注意する必要がある。内視鏡システムのデザインおよび実施に応じて、オプション１および２に示されたデザインを適宜変更することができる。例えば、回路実装のための利用可能なスペースに応じて、構成内のミラーの数および／または位置が変更され得る。さらに、特定の実装形態では、オプション２の可動ミラー４２２の機能を変更することができる。例えば、光を反射するように配置された場合、可動ミラー４２２は、反射光をＴ１およびＴ２経路に向ける一方で、非反射光（すなわち、可動ミラー４２２は、照明光源４２１から放射された光が反射されないところに配置される）がＥｘ経路を進むように構成されてもよい。

【0070】

いくつかの実施形態において、チップオンチップ製品または内視鏡システムは、融合画像を生成する方法の一部として使用される。そのような実施形態では、第１の複数の変調光子を使用して第１の画像を生成し、第２の複数の変調光子を使用して第２の画像を生成する。第１の画像および第２の画像は、融合画像を生成するために使用される。いくつかの実施形態では、第１の画像および第２の画像以外の追加の画像が生成され、追加の画像は、変調光子および／または非変調光子から生成され得る。第１の画像、第２の画像および追加の画像のそれぞれは、紫外（ＵＶ）、可視（ＶＩＳ）、近赤外（ＮＩＲ）、可視－近赤外（ＶＩＳ－ＮＩＲ）、短波赤外（ＳＷＩＲ）、拡張短波赤外（ｅＳＷＩＲ）、近赤外－拡張短波赤外（ＮＩＲ－ｅＳＷＩＲ）の範囲の光子から生成され得る。いくつかの実施形態では、複数の非変調光子は、ＮＩＲ、ＳＷＩＲ、またはｅＳＷＩＲ光子である。他の実施形態では、第１の複数の変調光子はＶＩＳ光子であり、第２の複数の変調光子はＶＩＳ－ＮＩＲ光子である。

【0071】

以上の詳細な説明において、本明細書の一部を構成する添付図面を参照する。図面では、文脈上別段の規定がない限り、通常、類似の記号は類似の構成要素を示す。詳細な説明、図面、および特許請求の範囲に記載された例示的な実施形態は、限定することを意図するものではない。本明細書に提示される主題の趣旨または範囲から逸脱することなく、他の実施形態を使用することができ、他の変更を行うことができる。本明細書に一般的に記載され、図面に示されるような本開示の種々の特徴は、本明細書に明示的に企図されている広範な異なる構成で、配置され、置換され、組み合わせられ、分離され、設計され得ることが容易に理解されよう。

【0072】

本開示は、様々な特徴の例示として意図された、本出願に記載される特定の実施形態に関して限定されるものではない。当業者には明らかなように、その趣旨および範囲から逸脱することなく、多くの変更および変形を行うことができる。本明細書に列挙されたものに加えて、本開示の範囲内の機能的に等価な方法および装置は、前述の説明から当業者に明らかであろう。このような変更および変形は、添付の特許請求の範囲内に含まれることが意図されている。本開示は、特許請求の範囲が権利を有する等価物の全範囲と共に、添付の特許請求の範囲の表現のみによって限定される。本開示は、当然のことながら変化し得る、特定の方法、試薬、化合物、組成物または生物学的システムに限定されないことを理解されたい。また、本明細書で使用される用語は、特定の実施形態を説明する目的のみであり、限定することを意図していないことを理解されたい。

【0073】

本明細書における実質的に任意の複数形および／または単数形の用語の使用に関して、当業者は、文脈および／または適用に適切なように、複数形から単数形へ、および／または単数形から複数形へと変換することができる。様々な単数形／複数形の入れ替えは、明確にするために本明細書中に明示的に記載され得る。

【0074】

一般に、本明細書、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体）で使用される用語は、一般に、「制限のない」用語として意図されることが、当業者には理解されよう（例えば、「含む（including）」という用語は「含むがこれに限定されない」と解釈されるべきであり、「有する」という用語は「少なくとも有する」と解釈されるべきであり、「含む（includes）」という用語は「含むがこれに限定されない」と解釈されるべきである、等）。種々の組成物、方法、およびデバイスは、種々の構成要素または工程を「含む」（「含むがこれに限定されない」ことを意味するものとして解釈される）という観点から記載されるが、組成物、方法、およびデバイスは、種々の構成要素および工程から「本質的になる」または「からなる」こともでき、このような用語は、本質的に限定されたメンバー群を定義するものとして解釈されるべきである。導入された請求項記載の特定の数が意図される場合、そのような意図は請求項に明示的に記載され、そのような記載がない場合、そのような意図は存在しないことが、当業者によってさらに理解されるであろう。

【0075】

例えば、理解を助けるために、以下の添付の特許請求の範囲は、請求項記載を導入するための導入句「少なくとも１つ」および「１つ以上」の使用を含むことができる。しかし、そのような語句の使用は、不定冠詞「ａ」または「ａｎ」による請求項記載の導入が、そのような導入された請求項記載を含む任意の特定の請求項を、ただ１つのそのような記載を含む実施形態に限定するものであることを意味すると解釈すべきではなく、それは、同じ請求項が導入句「１つ以上」または「少なくとも１つ」と「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、である（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つ」または「１つ以上」を意味すると解釈されるべきである）。請求項記載を導入するために使用される定冠詞の使用についても同様である。

【0076】

さらに、導入された請求項記載の特定の数が明示的に記載されていたとしても、当業者は、そのような記載は、少なくとも記載された数を意味する（例えば、他の修飾語なしの「２つの記載（two recitations）」という単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）ように解釈されるべきであることを認識するであろう。さらに、「Ａ、Ｂ、およびＣなどのうちの少なくとも１つ」に類似した伝統的表現法（convention）が使用される場合、一般に、そのような構文は、当業者がその伝統的表現法を理解するであろう意味で意図される（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」には、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢを一緒に、ＡとＣを一緒に、ＢとＣを一緒に、および／またはＡとＢとＣを一緒に、などを有するシステムが含まれるが、これらに限定されない）。「Ａ、Ｂ、またはＣなどのうちの少なくとも１つ」に類似した伝統的表現法が使用される場合、一般に、そのような構文は、当業者がその伝統的表現法規約を理解するであろう意味で意図される（例えば、「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」には、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢを一緒に、ＡとＣを一緒に、ＢとＣを一緒に、および／またはＡとＢとＣを一緒に、などを有するシステムが含まれるが、これらに限定されない）。明細書、特許請求の範囲または図面のいずれに記載されているかにかかわらず、２つ以上の代替用語を提示する実質的に任意の選言的な語および／または句は、用語の１つ、用語のいずれか、または両方の用語を含む可能性を考慮するものと理解されるべきであることが、当業者によってさらに理解されるであろう。例えば、語句「ＡまたはＢ」は、「Ａ」または「Ｂ」または「ＡおよびＢ」の可能性を含むものと理解される。

【0077】

さらに、本開示の特徴がマーカッシュ群の観点から記載されている場合、当業者は、本開示が、これによってマーカッシュ群の任意の個々のメンバーまたはメンバーのサブグループの観点からも記載されていることを認識するであろう。

【0078】

当業者には理解されるように、書面による説明を提供するという観点など、あらゆる目的で、本明細書に開示された全ての範囲は、ありとあらゆる可能な部分範囲およびその部分範囲の組み合わせも包含する。列挙されたどの範囲も、同じ範囲を少なくとも等しい２等分、３等分、４等分、５等分、１０等分などに分解することを、十分に記述し、可能にすると容易に認識できる。非限定的な例として、本明細書に記載される各範囲は、容易に、下３分の１、中３分の１、および上３分の１などに分解することができる。当業者には理解されるように、「～まで」、「少なくとも」などの全ての言語は、列挙された数を含み、後に上述のように部分範囲に分割することができる範囲を指す。最後に、当業者に理解されるように、範囲は個々の個別メンバーを含む。したがって、例えば、１～３個のセルを有する群は、１個、２個、または３個のセルを有する群を指す。同様に、１～５個のセルを有する群とは、１個、２個、３個、４個、または５個のセルを有する群を指す、などである。

【0079】

上記に開示された特徴および機能、ならびに他の特徴および機能、またはそれらの代替物のうちのさまざまなものは、他の多くの異なるシステムまたはアプリケーションに組み合わせることができる。様々な現在予測または予期されていない代替、修正、変形または改良が、当業者によって後になされてもよく、その各々も開示された実施形態によって包含されることが意図されている。

【0080】

〔実施の態様〕
（１） 内視鏡で使用するためのハイブリッド撮像製品であって、
第１の複数の変調光子を送信するように構成された第１の複数の光源照明ファイバと、
第２の複数の変調光子を送信するように構成された第２の複数の光源照明ファイバと、
複数のファイバアレイスペクトルトランスレータ（ＦＡＳＴ）ファイバと、
撮像ファイバまたはカメラセンサのうちの１つ以上を含む第１の画像コレクタと、
を含む、ハイブリッド撮像製品。
（２） 第３の複数の非変調光子を送信するように構成された第３の複数の光源照明ファイバをさらに含む、実施態様１に記載のハイブリッド撮像製品。
（３） 第２の画像コレクタをさらに含み、前記第２の画像コレクタは、撮像ファイバまたはカメラセンサのうちの１つ以上を含む、実施態様１に記載のハイブリッド撮像製品。
（４） 内視鏡システムであって、
ハイブリッド撮像製品であって、
第１の複数の変調光子を送信するように構成された第１の複数の光源照明ファイバと、
第２の複数の変調光子を送信するように構成された第２の複数の光源照明ファイバと、
複数のファイバアレイスペクトルトランスレータ（ＦＡＳＴ）ファイバと、
撮像ファイバまたはカメラセンサのうちの１つ以上を含む第１の画像コレクタと、
を含む、ハイブリッド撮像製品と、
照明光源と、
前記第１の複数の光源照明ファイバのために少なくとも前記第１の複数の変調光子を変調する第１の変調器と、
前記第２の複数の光源照明ファイバのために少なくとも前記第２の複数の変調光子を変調する第２の変調器と、
を含む、内視鏡システム。
（５） 前記ハイブリッド撮像製品は、第３の複数の非変調光子を送信するように構成された第３の複数の光源照明ファイバをさらに含む、実施態様４に記載の内視鏡システム。

【0081】

（６） 前記ハイブリッド撮像製品は、第２の画像コレクタをさらに含み、前記第２の画像コレクタは、撮像ファイバまたはカメラセンサのうちの１つ以上を含む、実施態様４に記載の内視鏡システム。
（７） 前記照明光源が、白熱電球、ハロゲンランプ、発光ダイオード（ＬＥＤ）、量子カスケードレーザー、量子ドットレーザー、外部共振器レーザー、化学レーザー、固体レーザー、有機発光ダイオード（ＯＬＥＤ）、エレクトロルミネセントデバイス、蛍光灯、ガス放電灯、メタルハライドランプ、キセノンアークランプ、誘導ランプ、またはこれらの組み合わせを含む、実施態様４に記載の内視鏡システム。
（８） 前記第１の変調器または前記第２の変調器は、それぞれ独立して、音響光学チューナブルフィルタ（ＡＯＴＦ）、液晶チューナブルフィルタ（ＬＣＴＦ）、多変量光学素子（ＭＯＥ）、フィルタホイール、パターン化エタロンフィルタ、多重共役フィルタ（ＭＣＦ）、またはコンフォーマルフィルタ（ＣＦ）のうちの１つ以上である、実施態様４に記載の内視鏡システム。
（９） 第１の複数の変調光子を送信するように構成された第１の複数の光源照明ファイバ、第２の複数の変調光子を送信するように構成された第２の複数の光源照明ファイバ、複数のファイバアレイスペクトルトランスレータ（ＦＡＳＴ）ファイバ、および撮像ファイバまたはカメラセンサのうちの１つ以上を含む第１の画像コレクタを含むハイブリッド撮像製品と、照明光源と、前記第１の複数の光源照明ファイバのために少なくとも前記第１の複数の変調光子を変調する第１の変調器と、前記第２の複数の光源照明ファイバのために少なくとも前記第２の複数の変調光子を変調する第２の変調器と、を含む内視鏡システムを使用して融合画像を生成する方法であって、
第１の複数の変調光子から第１の画像を生成することと、
第２の複数の変調光子から第２の画像を生成することと、
前記第１の画像と前記第２の画像とを重ね合わせ、それによって、融合画像を生成することと、を含む、方法。
（１０） 第３の複数の非変調光子から第３の画像を生成することをさらに含む、実施態様９に記載の方法。

【0082】

（１１） 前記第３の複数の非変調光子は、ＮＩＲ光子、ＳＷＩＲ光子、ｅＳＷＩＲ光子、またはそれらの組み合わせである、実施態様９に記載の方法。
（１２） 前記第１の複数の変調光子および前記第２の複数の変調光子のそれぞれは、独立してＶＩＳまたはＶＩＳ－ＮＩＲである、実施態様９に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】