(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-22
(54)【発明の名称】分子ケミカルイメージングとＲＧＢイメージングの融合
(51)【国際特許分類】
G06T 5/00 20060101AFI20230215BHJP
G06T 7/00 20170101ALI20230215BHJP
G06T 1/40 20060101ALI20230215BHJP
【ＦＩ】
G06T5/00 730
G06T7/00 350C
G06T1/40
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022545109
(86)(22)【出願日】2020-10-02
(85)【翻訳文提出日】2022-07-25
(86)【国際出願番号】 US2020053914
(87)【国際公開番号】W WO2021067677
(87)【国際公開日】2021-04-08
(31)【優先権主張番号】62/909,525
(32)【優先日】2019-10-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507252100
【氏名又は名称】ケムイメージ コーポレーション
(74)【代理人】
【識別番号】100101890
【弁理士】
【氏名又は名称】押野 宏
(74)【代理人】
【識別番号】100098268
【弁理士】
【氏名又は名称】永田 豊
(72)【発明者】
【氏名】ゴマー・ヘザー
(72)【発明者】
【氏名】トレッド・パトリック
(72)【発明者】
【氏名】ワン・ジハン
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057AA07
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE08
5B057DA12
5B057DB02
5B057DB09
5B057DC22
5L096AA02
5L096AA06
5L096BA06
5L096BA13
5L096CA02
5L096DA01
5L096EA12
5L096EA39
5L096FA19
5L096GA10
5L096GA30
5L096GA32
5L096GA40
5L096GA41
5L096HA09
5L096HA11
(57)【要約】
分子ケミカルイメージング（ＭＣＩ）および赤緑青（ＲＧＢ）画像を融合する方法、システム、およびコンピュータプログラム製品が、本明細書に開示される。サンプルは、サンプルと相互作用し、ＭＣＩ画像およびＲＧＢ画像を形成するために使用される照明光子で照明される。ＭＣＩ画像とＲＧＢ画像は、数学演算によって融合され、検出オーバーレイを有するＲＧＢ画像を生成する。
【特許請求の範囲】
【請求項1】
画像を融合する方法であって、サンプルを照明光子で照明することと、
前記サンプルと相互作用し、第１のカメラチップに移動した相互作用光子から第１のサンプル画像を取得することと、
前記サンプルと相互作用し、第２のカメラチップに移動した相互作用光子から第２のサンプル画像を取得することと、
前記第１のサンプル画像および前記第２のサンプル画像に重み付けすることにより、前記第１のサンプル画像と前記第２のサンプル画像とを融合することと、
を含み、
前記第１のサンプル画像および前記第２のサンプル画像の前記重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する、方法。
【請求項2】
前記第１のサンプル画像および前記第２のサンプル画像のそれぞれにおいてグレアを検出することと、前記第１のサンプル画像および前記第２のサンプル画像のうちグレアと識別された部分を分類しないことと、をさらに含む、請求項１に記載の方法。
【請求項3】
前記第１のサンプル画像および前記第２のサンプル画像の強度を正規化することをさらに含む、請求項２に記載の方法。
【請求項4】
前記第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、前記第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される、請求項１に記載の方法。
【請求項5】
前記第１のサンプル画像はＲＧＢであり、前記第２のサンプル画像はＶｉｓ－ＮＩＲである、請求項４に記載の方法。
【請求項6】
前記第１のサンプル画像は、色相、彩度、明度（ＨＳＶ）に変換されるＲＧＢであり、前記第１のサンプル画像の明度次元は省略される、請求項１に記載の方法。
【請求項7】
前記第２のサンプル画像は、Ｖｉｓ－ＮＩＲである、請求項６に記載の方法。
【請求項8】
画像を融合するためのシステムであって、サンプルを照明光子で照明するように構成された照明源と、
前記サンプルと相互作用した相互作用光子から第１のサンプル画像を取得するように構成された第１のカメラチップと、
前記サンプルと相互作用した相互作用光子から第２のサンプル画像を取得するように構成された第２のカメラチップと、
動作中に、前記第１のサンプル画像および前記第２のサンプル画像に重み付けすることにより、前記第１のサンプル画像と前記第２のサンプル画像とを融合するプロセッサと、
を含み、
前記第１のサンプル画像および前記第２のサンプル画像の前記重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する、システム。
【請求項9】
前記プロセッサは、前記第１のサンプル画像および前記第２のサンプル画像のそれぞれにおいてグレアを検出し、前記第１のサンプル画像および前記第２のサンプル画像のうちグレアと識別された部分を分類しない、請求項８に記載のシステム。
【請求項10】
前記プロセッサは、前記第１のサンプル画像および前記第２のサンプル画像の強度を正規化する、請求項８に記載のシステム。
【請求項11】
前記第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、前記第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される、請求項８に記載のシステム。
【請求項12】
前記第１のサンプル画像はＲＧＢであり、前記第２のサンプル画像はＶｉｓ－ＮＩＲである、請求項１１に記載のシステム。
【請求項13】
前記第１のサンプル画像はＲＧＢであり、前記プロセッサは、前記第１のサンプル画像をＲＧＢから色相、彩度、明度（ＨＳＶ）に変換し、前記プロセッサは、前記第１のサンプル画像の明度次元を省略する、請求項８に記載のシステム。
【請求項14】
前記第２のサンプル画像は、Ｖｉｓ－ＮＩＲである、請求項１３に記載のシステム。
【請求項15】
非一時的コンピュータ可読記憶媒体上の命令によって具体化された画像を融合するためのコンピュータプログラム製品であって、前記命令がプロセッサによって実行されると、照明源が、照明光子でサンプルを照明し、
第１のカメラチップが、前記サンプルと相互作用した相互作用光子から第１のサンプル画像を取得し、
第２のカメラチップが、前記サンプルと相互作用した相互作用光子から第２のサンプル画像を取得し、
前記プロセッサが、前記第１のサンプル画像および前記第２のサンプル画像に重み付けすることにより、前記第１のサンプル画像と前記第２のサンプル画像とを融合し、
前記第１のサンプル画像および前記第２のサンプル画像の前記重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する、コンピュータプログラム製品。
【請求項16】
前記命令により、前記プロセッサが、前記第１のサンプル画像および前記第２のサンプル画像のそれぞれにおいてグレアを検出し、前記第１のサンプル画像および前記第２のサンプル画像のうちグレアと識別された部分を分類しない、請求項１５に記載のコンピュータプログラム製品。
【請求項17】
前記命令により、前記プロセッサが、前記第１のサンプル画像および前記第２のサンプル画像の強度を正規化する、請求項１５に記載のコンピュータプログラム製品。
【請求項18】
前記第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、前記第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される、請求項１５に記載のコンピュータプログラム製品。
【請求項19】
前記第１のサンプル画像はＲＧＢであり、前記第２のサンプル画像はＶｉｓ－ＮＩＲである、請求項１８に記載のコンピュータプログラム製品。
【請求項20】
前記第１のサンプル画像はＲＧＢであり、前記プロセッサは、前記第１のサンプル画像をＲＧＢから色相、彩度、明度（ＨＳＶ）に変換し、前記プロセッサは、前記第１のサンプル画像の明度次元を省略する、請求項１５に記載のコンピュータプログラム製品。
【請求項21】
前記第２のサンプル画像は、Ｖｉｓ－ＮＩＲである、請求項２０に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【開示の内容】
【0001】
〔関連出願の相互参照〕
本出願は、２０１９年１０月２日に出願された米国仮特許出願第６２／９０９，５２５号の優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれるものとする。
本出願は、２０１９年１０月２日に出願された米国仮特許出願第６２／９０９，５２５号の優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれるものとする。
【0002】
〔開示分野〕
分子ケミカルイメージング（ＭＣＩ）は、目的の有機、無機、生物学的サンプルを分析するための強力な技術であるが、欠点もある。１つの欠点は、イメージングハードウェアにおける制限により、多くの実装でリアルタイムまたはほぼリアルタイムのイメージングが達成されていないことである。もう１つの欠点は、生成されたＭＣＩ画像を単独で使用する場合、解釈が困難な場合があることである。これは、生物学的または医療的な適用において特に重要である。複数の画像からの情報を融合し、より大きな情報およびコントラストを含む単一の画像にすることが引き続き求められている。
分子ケミカルイメージング（ＭＣＩ）は、目的の有機、無機、生物学的サンプルを分析するための強力な技術であるが、欠点もある。１つの欠点は、イメージングハードウェアにおける制限により、多くの実装でリアルタイムまたはほぼリアルタイムのイメージングが達成されていないことである。もう１つの欠点は、生成されたＭＣＩ画像を単独で使用する場合、解釈が困難な場合があることである。これは、生物学的または医療的な適用において特に重要である。複数の画像からの情報を融合し、より大きな情報およびコントラストを含む単一の画像にすることが引き続き求められている。
【0003】
〔概要〕
本開示は、目的のサンプルから生成された２つ以上の画像を融合するイメージング技術の様々な実施形態を企図する。
本開示は、目的のサンプルから生成された２つ以上の画像を融合するイメージング技術の様々な実施形態を企図する。
【0004】
一実施形態では、画像を融合する方法があり、この方法は、サンプルを照明光子で照明することと；サンプルと相互作用し、第１のカメラチップに移動した相互作用光子から第１のサンプル画像を取得することと；サンプルと相互作用し、第２のカメラチップに移動した相互作用光子から第２のサンプル画像を取得することと；第１のサンプル画像および第２のサンプル画像に重み付けすることにより、第１のサンプル画像と第２のサンプル画像とを融合することと、を含み、第１のサンプル画像および第２のサンプル画像の重み付けは、画像重み付けベイズ融合（Image Weighted Bayesian Fusion）（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する。
【0005】
別の実施形態では、この方法はまた、第１のサンプル画像および第２のサンプル画像のそれぞれにおいてグレアを検出することと、第１のサンプル画像および第２のサンプル画像のうちグレアと識別された部分を分類しないことと、を含む。
【0006】
別の実施形態では、この方法は、第１のサンプル画像および第２のサンプル画像の強度を正規化することをさらに含む。
【0007】
別の実施形態では、第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される。
【0008】
別の実施形態では、第１のサンプル画像はＲＧＢであり、第２のサンプル画像はＶｉｓ－ＮＩＲである。
【0009】
別の実施形態では、第１のサンプル画像は、色相、彩度、明度（ＨＳＶ）に変換されるＲＧＢであり、第１のサンプル画像の明度次元は省略される。
【0010】
別の実施形態では、第２のサンプル画像は、Ｖｉｓ－ＮＩＲである。
【0011】
一実施形態では、画像を融合するためのシステムがあり、システムは、サンプルを照明光子で照明するように構成された照明源と；サンプルと相互作用した相互作用光子から第１のサンプル画像を取得するように構成された第１のカメラチップと；サンプルと相互作用した相互作用光子から第２のサンプル画像を取得するように構成された第２のカメラチップと；動作中に、第１のサンプル画像および第２のサンプル画像に重み付けすることにより、第１のサンプル画像と第２のサンプル画像とを融合するプロセッサと、を含み、第１のサンプル画像および第２のサンプル画像の重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する。
【0012】
別の実施形態では、プロセッサは、第１のサンプル画像および第２のサンプル画像のそれぞれにおいてグレアを検出し、第１のサンプル画像および第２のサンプル画像のうちグレアと識別された部分を分類しない。
【0013】
別の実施形態では、プロセッサは、第１のサンプル画像および第２のサンプル画像の強度を正規化する。
【0014】
別の実施形態では、第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される。
【0015】
別の実施形態では、第１のサンプル画像はＲＧＢであり、第２のサンプル画像はＶｉｓ－ＮＩＲである。
【0016】
別の実施形態では、第１のサンプル画像はＲＧＢであり、プロセッサは、第１のサンプル画像をＲＧＢから色相、彩度、明度（ＨＳＶ）に変換し、プロセッサは、第１のサンプル画像の明度次元を省略する。
【0017】
別の実施形態では、第２のサンプル画像は、Ｖｉｓ－ＮＩＲである。
【0018】
一実施形態では、非一時的コンピュータ可読記憶媒体上の命令によって具体化された画像を融合するためのコンピュータプログラム製品があり、命令がプロセッサによって実行されると、照明源が、照明光子でサンプルを照明し；第１のカメラチップが、サンプルと相互作用した相互作用光子から第１のサンプル画像を取得し；第２のカメラチップが、サンプルと相互作用した相互作用光子から第２のサンプル画像を取得し；プロセッサが、第１のサンプル画像および第２のサンプル画像に重み付けすることにより、第１のサンプル画像と第２のサンプル画像とを融合し、第１のサンプル画像および第２のサンプル画像の重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する。
【0019】
別の実施形態では、命令により、プロセッサが、第１のサンプル画像および第２のサンプル画像のそれぞれにおいてグレアを検出し、第１のサンプル画像および第２のサンプル画像のうちグレアと識別された部分を分類しない。
【0020】
別の実施形態では、命令により、プロセッサが、第１のサンプル画像および第２のサンプル画像の強度を正規化する。
【0021】
別の実施形態では、第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される。
【0022】
別の実施形態では、第１のサンプル画像はＲＧＢであり、第２のサンプル画像はＶｉｓ－ＮＩＲである。
【0023】
別の実施形態では、第１のサンプル画像はＲＧＢであり、プロセッサは、第１のサンプル画像をＲＧＢから色相、彩度、明度（ＨＳＶ）に変換し、プロセッサは、第１のサンプル画像の明度次元を省略する。
【0024】
別の実施形態では、第２のサンプル画像は、Ｖｉｓ－ＮＩＲである。
【0025】
添付の図面は、本明細書に組み込まれ、その一部を構成するものであり、本発明の実施形態を示し、書面の説明とともに、本発明の原理、特性、および特徴を説明するのに役立つ。
【図面の簡単な説明】
【0026】
【0027】
〔詳細な説明〕
本開示は、記述された特定のシステム、方法、およびコンピュータプログラム製品に限定されるものではない。これらは変化し得るためである。説明で使用される用語は、特定のバージョンまたは実施形態を説明する目的のみのものであり、範囲を限定することは意図していない。
本開示は、記述された特定のシステム、方法、およびコンピュータプログラム製品に限定されるものではない。これらは変化し得るためである。説明で使用される用語は、特定のバージョンまたは実施形態を説明する目的のみのものであり、範囲を限定することは意図していない。
【0028】
本文書で使用される単数形「１つの（a）」、「１つの（an）」、および「その（the）」は、文脈上明らかに別段の規定がない限り、複数形の参照物を含む。特に定義されない限り、本明細書で使用される全ての技術用語および科学用語は、当業者によって一般的に理解されるのと同じ意味を有する。本開示のいかなる内容も、本開示に記載された実施形態が、先行発明によりかかる開示に先行する権利を有しないことを認めるものとして解釈されるべきではない。本文書で使用される用語「含む」は、「含むが、それに限定されない」ことを意味する。
【0029】
以下に説明する実施形態は、網羅的であること、または、教示を、以下の詳細な説明に開示される正確な形態に限定することを意図していない。むしろ、実施形態は、当業者が本教示の原理および実践を認識し、理解できるように選択され、説明される。
【0030】
本開示は、照明光子でサンプルを照明し、カメラチップによってサンプルから相互作用光子を収集し、カメラチップによって収集および撮像された相互作用光子から２つ以上のサンプル画像を生成し、ターゲットスコア画像を生成するように２つ以上のサンプル画像を融合するように設計された、システム、方法、およびコンピュータプログラム製品を企図する。ターゲットスコア画像は、２つ以上のサンプル画像を融合するように、２つ以上のサンプル画像に数学演算を適用することによって生成される。ターゲットスコア画像は、相互作用光子から形成される２つ以上のサンプル画像のうちのいずれか１つで可能であるよりも大きなコントラストおよび情報を有する。本開示のさらなる詳細は、以下に提供される。
【0031】
照明源
照明源は、限定されず、消費電力、放出スペクトル、パッケージング、熱出力などの他の補助的要件を満たしながら、必要な照明を提供するのに有用な任意の供給源とすることができる。いくつかの実施形態では、照明源は、白熱灯、ハロゲンランプ、発光ダイオード（ＬＥＤ）、量子カスケードレーザー、量子ドットレーザー、外部共振器レーザー、化学レーザー、固体レーザー、有機発光ダイオード（ＯＬＥＤ）、エレクトロルミネセントデバイス、蛍光灯、ガス放電ランプ、メタルハライドランプ、キセノンアークランプ、誘導ランプ、またはこれらの照明源の任意の組み合わせである。いくつかの実施形態では、照明源は、調整可能照明源であり、これは、照明源が、単色であり、任意の所望の波長範囲内にあるように選択され得ることを意味する。調整可能照明源の選択された波長は、限定されず、紫外線（ＵＶ）、可視光（ＶＩＳ）、近赤外線（ＮＩＲ）、可視－近赤外線（ＶＩＳ－ＮＩＲ）、短波赤外線（ＳＷＩＲ）、拡張短波赤外線（ｅＳＷＩＲ）、近赤外線－拡張短波赤外線（ＮＩＲ－ｅＳＷＩＲ）、中波赤外線（ＭＩＲ）および長波赤外線（ＬＷＩＲ）範囲内の任意の通過帯域であってよい。
照明源は、限定されず、消費電力、放出スペクトル、パッケージング、熱出力などの他の補助的要件を満たしながら、必要な照明を提供するのに有用な任意の供給源とすることができる。いくつかの実施形態では、照明源は、白熱灯、ハロゲンランプ、発光ダイオード（ＬＥＤ）、量子カスケードレーザー、量子ドットレーザー、外部共振器レーザー、化学レーザー、固体レーザー、有機発光ダイオード（ＯＬＥＤ）、エレクトロルミネセントデバイス、蛍光灯、ガス放電ランプ、メタルハライドランプ、キセノンアークランプ、誘導ランプ、またはこれらの照明源の任意の組み合わせである。いくつかの実施形態では、照明源は、調整可能照明源であり、これは、照明源が、単色であり、任意の所望の波長範囲内にあるように選択され得ることを意味する。調整可能照明源の選択された波長は、限定されず、紫外線（ＵＶ）、可視光（ＶＩＳ）、近赤外線（ＮＩＲ）、可視－近赤外線（ＶＩＳ－ＮＩＲ）、短波赤外線（ＳＷＩＲ）、拡張短波赤外線（ｅＳＷＩＲ）、近赤外線－拡張短波赤外線（ＮＩＲ－ｅＳＷＩＲ）、中波赤外線（ＭＩＲ）および長波赤外線（ＬＷＩＲ）範囲内の任意の通過帯域であってよい。
【0032】
光の上記範囲は、約１８０ｎｍ～約３８０ｎｍ（ＵＶ）、約３８０ｎｍ～約７２０ｎｍ（ＶＩＳ）、約４００ｎｍ～約１１００ｎｍ（ＶＩＳ－ＮＩＲ）、約８５０ｎｍ～約１８００ｎｍ（ＳＷＩＲ）、約１２００ｎｍ～約２４５０ｎｍ（ｅＳＷＩＲ）、約７２０ｎｍ～約２５００ｎｍ（ＮＩＲ－ｅＳＷＩＲ）、約３０００ｎｍ～約５０００ｎｍ（ＭＩＲ）または約８０００ｎｍ～約１４０００ｎｍ（ＬＷＩＲ）の波長に対応する。上記の範囲は、単独で用いてもよいし、列挙した範囲のいずれかの組み合わせで用いてもよい。このような組み合わせには、隣接する（連続的な）範囲、重なり合う範囲、および重なり合わない範囲が含まれる。範囲の組み合わせは、複数の光源を含むことによって、光源をフィルタリングすることによって、またはＵＶもしくは青色光などの高エネルギー放出を、より長い波長を有する低エネルギー光に変換する蛍光体および／もしくは量子ドットなどの少なくとも１つの成分を加えることによって、達成され得る。
【0033】
サンプル
照明光子は、照明源から放出された後、サンプルと相互作用する。サンプルは、限定されるものではなく、サンプル全体に対して目的の領域の場所を知ることが望まれる、任意の化学的または生物学的サンプルであり得る。いくつかの実施形態では、サンプルは生物学的サンプルであり、照明光子は、腫瘍と周囲の非腫瘍細胞との間の境界を決定するために使用される。いくつかの実施形態では、サンプルは生物学的サンプルであり、光子は、血液制限を経験している組織と血液灌流を経験している組織との間の境界を決定するために使用される。いくつかの実施形態では、サンプルは生物学的構造物であり、照明光子は、１つの生物学的サンプルと別の生物学的サンプルとの間の境界を決定するために使用される。
照明光子は、照明源から放出された後、サンプルと相互作用する。サンプルは、限定されるものではなく、サンプル全体に対して目的の領域の場所を知ることが望まれる、任意の化学的または生物学的サンプルであり得る。いくつかの実施形態では、サンプルは生物学的サンプルであり、照明光子は、腫瘍と周囲の非腫瘍細胞との間の境界を決定するために使用される。いくつかの実施形態では、サンプルは生物学的サンプルであり、光子は、血液制限を経験している組織と血液灌流を経験している組織との間の境界を決定するために使用される。いくつかの実施形態では、サンプルは生物学的構造物であり、照明光子は、１つの生物学的サンプルと別の生物学的サンプルとの間の境界を決定するために使用される。
【0034】
生物学的サンプルの例としては、尿管、神経、血管、リンパ節、健常な臓器、血液制限を経験している臓器、血液灌流を経験している臓器、および腫瘍が挙げられる。いくつかの実施形態では、生物学的サンプルは、生存生物内に位置する、すなわち、「ｉｎ ｖｉｖｏ」生物学的サンプルである。いくつかの実施形態では、サンプルは、生存生物内に位置していない、すなわち、「ｉｎ ｖｉｔｒｏ」生物学的サンプルである。いくつかの実施形態では、照明光子は、生物学的サンプルを他の構造物と区別するために使用される。いくつかの実施形態では、照明光子は、１つの生物学的サンプルを別の生物学的サンプルから区別するために使用される。
【0035】
カメラチップ
本開示は、相互作用光子を収集および撮像する少なくとも１つのカメラチップが存在することを企図する。いくつかの実施形態では、少なくとも１つのカメラチップは、それが撮像することができる光の波長によって特徴付けられる。カメラチップによって撮像可能な光の波長は限定されず、紫外線（ＵＶ）、可視光（ＶＩＳ）、近赤外線（ＮＩＲ）、可視－近赤外線（ＶＩＳ－ＮＩＲ）、短波赤外線（ＳＷＩＲ）、拡張短波赤外線（ｅＳＷＩＲ）、近赤外線－拡張短波赤外線（ＮＩＲ－ｅＳＷＩＲ）が挙げられる。これらの分類は、約１８０ｎｍ～約３８０ｎｍ（ＵＶ）、約３８０ｎｍ～約７２０ｎｍ（ＶＩＳ）、約４００ｎｍ～約１１００ｎｍ（ＶＩＳ－ＮＩＲ）、約８５０ｎｍ～約１８００ｎｍ（ＳＷＩＲ）、約１２００ｎｍ～約２４５０ｎｍ（ｅＳＷＩＲ）、約７２０ｎｍ～約２５００ｎｍ（ＮＩＲ－ｅＳＷＩＲ）の波長に対応する。上記の範囲は、単独で用いてもよいし、列挙した範囲のいずれかの組み合わせで用いてもよい。このような組み合わせには、隣接する（連続的な）範囲、重なり合う範囲、および重なり合わない範囲が含まれる。範囲の組み合わせは、それぞれが特定の範囲に感度を有する複数のカメラチップ、またはカラーフィルタアレイを含めることにより複数の異なる範囲を感知することができる単一のカメラチップを含めることによって、達成され得る。
本開示は、相互作用光子を収集および撮像する少なくとも１つのカメラチップが存在することを企図する。いくつかの実施形態では、少なくとも１つのカメラチップは、それが撮像することができる光の波長によって特徴付けられる。カメラチップによって撮像可能な光の波長は限定されず、紫外線（ＵＶ）、可視光（ＶＩＳ）、近赤外線（ＮＩＲ）、可視－近赤外線（ＶＩＳ－ＮＩＲ）、短波赤外線（ＳＷＩＲ）、拡張短波赤外線（ｅＳＷＩＲ）、近赤外線－拡張短波赤外線（ＮＩＲ－ｅＳＷＩＲ）が挙げられる。これらの分類は、約１８０ｎｍ～約３８０ｎｍ（ＵＶ）、約３８０ｎｍ～約７２０ｎｍ（ＶＩＳ）、約４００ｎｍ～約１１００ｎｍ（ＶＩＳ－ＮＩＲ）、約８５０ｎｍ～約１８００ｎｍ（ＳＷＩＲ）、約１２００ｎｍ～約２４５０ｎｍ（ｅＳＷＩＲ）、約７２０ｎｍ～約２５００ｎｍ（ＮＩＲ－ｅＳＷＩＲ）の波長に対応する。上記の範囲は、単独で用いてもよいし、列挙した範囲のいずれかの組み合わせで用いてもよい。このような組み合わせには、隣接する（連続的な）範囲、重なり合う範囲、および重なり合わない範囲が含まれる。範囲の組み合わせは、それぞれが特定の範囲に感度を有する複数のカメラチップ、またはカラーフィルタアレイを含めることにより複数の異なる範囲を感知することができる単一のカメラチップを含めることによって、達成され得る。
【0036】
いくつかの実施形態において、少なくとも１つのカメラチップは、それが作られる材料によって特徴付けられる。カメラチップの材料は限定されず、カメラチップが検出することが予想される波長範囲に基づいて選択することができる。そのような実施形態において、カメラチップは、シリコン（Ｓｉ）、ゲルマニウム（Ｇｅ）、インジウムガリウム砒素（ＩｎＧａＡｓ）、プラチナシリサイド（ＰｔＳｉ）、テルル化カドミウム水銀（ＨｇＣｄＴｅ）、インジウムアンチモン（ＩｎＳｂ）、コロイド量子ドット（ＣＱＤ）、またはこれらのいずれかの組み合わせを含む。
【0037】
いくつかの実施形態では、カメラチップは、画像を生成するためのカラーフィルタアレイを備える。フィルタアレイの設計は限定されない。カメラチップの文脈で使用される場合、「フィルタ」という用語は、参照される光がフィルタを通過できることを意味することを理解されたい。例えば、「緑色フィルタ」は、可視色の緑に対応する約５２０ｎｍ～約５６０ｎｍの波長を有する光のみをフィルタに通すことによって、人間の目には緑色に見えるフィルタである。同様の「ＮＩＲフィルタ」は、近赤外光（ＮＩＲ）のみを通過させる。いくつかの実施形態では、フィルタは、カメラチップの上に位置付けられるカラーフィルタアレイである。このようなカラーフィルタアレイは、設計が多様であるが、すべて元の「ベイヤー」フィルタのカラーモザイクフィルタに関連している。カラーフィルタアレイには、ＢＧＧＲ、ＲＧＢＧ、ＧＲＧＢ、ＲＧＧＢ、ＲＧＢＥ、ＣＹＹＭ、ＣＹＧＭ、ＲＧＢＷ（２×２）、ＲＧＢＷ（対角色（diagonal colors）の２×２）、ＲＧＢＷ（対色（paired colors）の２×２）、ＲＧＢＷ（縦Ｗ（vertical W）の２×２）、Ｘ－ＴＲＡＮＳ（日本の東京の富士フィルム株式会社から販売）が含まれる。Ｘ－ＴＲＡＮＳセンサーは、６×６の大きなピクセルパターンを有し、これは、水平および垂直方向のラインすべてにＲＧＢタイルを含むことでモアレ効果のアーチファクトを軽減している。一覧表では、Ｂが青色、Ｇが緑色、Ｒが赤色、Ｅがエメラルド、Ｃがシアン、Ｙが黄色、Ｍがマゼンタに相当する。Ｗは「白色」または単色のタイルに対応し、これについては以下でさらに説明する。
【0038】
Ｗまたは「白色」タイル自体は、いくつかの構成を含む。いくつかの実施形態では、Ｗタイルはいかなる光もフィルタリングしないので、すべての光がカメラチップに到達する。これらの実施形態では、カメラチップは、所与の波長範囲内の光をすべて検出する。カメラチップに応じて、これは、ＵＶ、ＶＩＳ、ＮＩＲ、ＶＩＳ－ＮＩＲ、ＶＩＳ－ＮＩＲ、ＶＩＳ－ＳＷＩＲ、またはＶＩＳ－ｅＳＷＩＲであり得る。いくつかの実施形態では、Ｗタイルは、ＶＩＳ、ＶＩＳ－ＮＩＲ、ＮＩＲ、またはｅＳＷＩＲ用のフィルタであり、それぞれＶＩＳ、ＶＩＳ－ＮＩＲ、ＮＩＲ、またはｅＳＷＩＲのみがカメラチップに到達することを可能にする。これは、有利には、上に挙げたカメラチップの材料または電気構造のいずれかと組み合わせることができる。このようなフィルタアレイは、１つのカメラチップで可視光と近赤外光の両方を検出できるため有用となり得、４バンドフィルタアレイと呼ばれることもある。
【0039】
さらなる実施形態では、カラーフィルタアレイは省略され、カメラチップに備えられず、これにより、単色画像が生成される。このような実施形態では、生成される画像は、カメラチップを構成する材料のバンドギャップにのみ基づく。他の実施形態では、フィルタは、依然としてカメラチップに適用されるが、モノリシックな単一のフィルタとしてのみ適用される。例えば、赤色フィルタを適用することは、カメラチップが赤色スペクトルを表す単色画像を生成することを意味する。いくつかの実施形態では、異なるモノリシックな単一のフィルタカメラチップをそれぞれが有する複数のカメラチップが採用される。例として、ＶＩＳ画像は、Ｒ、Ｇ、およびＢフィルタをそれぞれ有する３つのカメラチップを組み合わせることによって生成することができる。別の例では、ＶＩＳ－ＮＩＲ画像は、Ｒ、Ｇ、Ｂ、およびＮＩＲフィルタをそれぞれ有する４つのカメラチップを組み合わせることによって生成することができる。別の例では、ＶＩＳ－ｅＳＷＩＲ画像は、Ｒ、Ｇ、Ｂ、およびｅＳＷＩＲフィルタをそれぞれ有する４つのカメラチップを組み合わせることによって生成することができる。
【0040】
いくつかの実施形態では、カラーアレイは省略され、カメラチップはピクセルグリッドに編成された垂直積層フォトダイオードを利用する。積層フォトダイオードの各々は、所望の波長の光に応答する。例えば、積層フォトダイオードカメラチップは、ＶＩＳ画像を形成するために、Ｒ、Ｇ、およびＢ層を含む。別の実施形態では、積層フォトダイオードカメラチップは、ＶＩＳ－ＮＩＲ画像を形成するために、Ｒ、Ｇ、Ｂ、およびＮＩＲ層を含む。別の実施形態では、積層フォトダイオードカメラチップは、ＶＩＳ－ｅＳＷＩＲ画像を形成するために、Ｒ、Ｇ、Ｂ、およびｅＳＷＩＲ層を含む。
【0041】
画像生成ステップ
本開示は、第１の画像生成ステップにおいて、様々なイメージング技術によって第１の画像が生成されることを企図する。第１の画像生成ステップでは、上述した１つ以上の照明源によって光子が生成され、光子はサンプルに移動する。光子がサンプルに到達すると、光子はサンプルと相互作用する。結果として生じる第１の相互作用光子は、それによってサンプルから放出され、少なくとも１つのカメラチップに移動する。それによって、カメラチップは第１の画像を生成し、その画像はプロセッサに伝達される。
本開示は、第１の画像生成ステップにおいて、様々なイメージング技術によって第１の画像が生成されることを企図する。第１の画像生成ステップでは、上述した１つ以上の照明源によって光子が生成され、光子はサンプルに移動する。光子がサンプルに到達すると、光子はサンプルと相互作用する。結果として生じる第１の相互作用光子は、それによってサンプルから放出され、少なくとも１つのカメラチップに移動する。それによって、カメラチップは第１の画像を生成し、その画像はプロセッサに伝達される。
【0042】
同様に、本開示は、第２の画像生成ステップにおいて、様々なイメージング技術によって第２の画像が生成されることも企図する。第２の画像生成ステップでは、上述した１つ以上の照明源によって光子が生成され、光子はサンプルに移動する。光子がサンプルに到達すると、光子はサンプルと相互作用する。結果として生じる第２の相互作用光子は、それによってサンプルから放出され、少なくとも１つのカメラチップに移動する。これにより、少なくともカメラチップは第２の画像を生成し、この画像は画像プロセッサに伝達される。
【0043】
生成される画像は、限定されず、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、またはｅＳＷＩＲの波長の少なくとも１つの画像を表すことが可能である。本明細書で使用されるように、光の上記範囲は、約１８０ｎｍ～約３８０ｎｍ（ＵＶ）、約３８０ｎｍ～約７２０ｎｍ（ＶＩＳ）、約４００ｎｍ～約１１００ｎｍ（ＶＩＳ－ＮＩＲ）、約８５０ｎｍ～約１８００ｎｍ（ＳＷＩＲ）、約１２００ｎｍ～約２４５０ｎｍ（ｅＳＷＩＲ）、約７２０ｎｍ～約２５００ｎｍ（ＮＩＲ－ｅＳＷＩＲ）の波長に対応する。一実施形態では、第１の画像は、ＲＧＢ画像であり、第２の画像は、Ｖｉｓ－ＮＩＲ画像である。
【0044】
画像生成技術は、限定されず、上述したものに加えて、画像生成は、レーザー誘起ブレークダウン分光法（ＬＩＢＳ）、刺激ラマン分光法、コヒーレント反ストークスラマン分光法（ＣＡＲＳ）、弾性散乱、光音響イメージング、固有蛍光イメージング（intrinsic fluorescence imaging）、標識蛍光イメージング、超音波イメージングのうちの１つ以上を含む。
【0045】
画像融合
上記光子とサンプルとの相互作用によって生成される少なくとも第１の画像および第２の画像を含む２つ以上の画像が、画像プロセッサによって融合される。上述したように、画像は限定されず、生成される画像は３つ以上であってもよい。一実施形態では、第１の画像はＲＧＢ画像であり、第２の画像はＶｉｓ－ＮＩＲレシオメトリック画像である。しかしながら、これらは唯一の可能性ではなく、画像融合は、波長範囲ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、またはｅＳＷＩＲの任意の２つの画像で行うことができ、その波長は本開示全体にわたり記載されている。このような組み合わせは、上記波長に基づくレシオメトリック画像を生成するために使用することができる。
上記光子とサンプルとの相互作用によって生成される少なくとも第１の画像および第２の画像を含む２つ以上の画像が、画像プロセッサによって融合される。上述したように、画像は限定されず、生成される画像は３つ以上であってもよい。一実施形態では、第１の画像はＲＧＢ画像であり、第２の画像はＶｉｓ－ＮＩＲレシオメトリック画像である。しかしながら、これらは唯一の可能性ではなく、画像融合は、波長範囲ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、またはｅＳＷＩＲの任意の２つの画像で行うことができ、その波長は本開示全体にわたり記載されている。このような組み合わせは、上記波長に基づくレシオメトリック画像を生成するために使用することができる。
【0046】
画像融合の一実施形態では、まずスコア画像を作成し、その後、検出またはセグメンテーションを行う。スコア画像を作成するために、ＲＧＢ画像とＶｉｓ－ＮＩＲ画像は、スコア画像を作成するための数学的アルゴリズムを用いて組み合わせられる。スコア画像は、ターゲットのコントラストを示す。例えば、いくつかの実施形態では、ターゲットは明るい「ハイライト」として現れ、背景は暗い「シャドウ」として現れる。画像融合に使用される数学的アルゴリズムは限定されず、アルゴリズムは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、線形判別分析（ＬＤＡ）、ニューラルネットワークを含む。
【0047】
数学的アルゴリズムがＩＷＢＦの場合、重み付け定数がそれぞれのセンサーからの確率画像を変調し、画像クロス項の異なる組み合わせで全体のターゲット確率が推定される。ＩＷＢＦアルゴリズムで複数のターゲットタイプを検出する場合、各センサーモダリティは、各ターゲットタイプに対して単一の重み付け定数を有する。各センサーモダリティに対する各重み付け定数の選択は、様々な技術によって達成され得る。そのような技術には、モンテカルロ法、受信者動作特性（ＲＯＣ）曲線、線形回帰、ニューラルネットワーク、ファジーロジック、ナイーブベイズ、デンプスター・シェーファー理論、および前述したものの組み合わせが含まれる。
【0048】
１つのターゲットタイプに対する各センサーモダリティの重み付けは、以下の式で表される。
【数1】
【0049】
複数のターゲットタイプに対する各センサーモダリティの重み付けは、以下の式で表される。
【数2】
【数3】
【数4】
【数5】
【0050】
上記式１～５において、ターゲットタイプをＴ、センサータイプをＳ、センサー数をｎ、白色画像（１のみからなるグレースケール）をＷで示し、各ターゲットの検出確率は、ＰＴ１、ＰＴ２、ＰＴ３であり、画像を組み合わせるための重みは、変数Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌである。
【0051】
結果として得られる融合スコア画像または確率画像は、ターゲットのコントラストの強調を示し、ピクセル強度が高いほど、そのピクセルがターゲットに属する可能性が高いことに対応する。同様に、低いピクセル強度は、そのピクセルがターゲットに属する可能性が低いことに対応する。適応的閾値処理（adaptive thresholding）および動的輪郭など、様々なコンピュータビジョンおよび機械学習法を用いた検出アルゴリズムが、融合スコア画像に適用されて、ターゲットを検出し、ターゲットの境界を見つける。
【0052】
いくつかの実施形態では、スコア画像は、上記の方程式を使用して生成されない。その代わりに、検出またはセグメンテーションアルゴリズムが、すべてのＮ個の画像で利用される。そのような技術は、複数の画像がハイパーキューブへと組み立てられるマルチスペクトル法を必要とする。ハイパーキューブはＮ個の画像を有し、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、またはｅＳＷＩＲのうちの１つ以上の任意の組み合わせを含み得る。このような実施形態では、スコア画像は生成されない。その代わりに、セグメンテーションアルゴリズムは、すべてのＮ個の画像を使用し、それによってターゲットを特定する。マルチスペクトル法は、特に限定されない。いくつかの実施形態において、マルチスペクトル法は、ｋ平均および平均シフト法のうちの１つ以上を含むスペクトルクラスタリング法である。他の実施形態では、マルチスペクトル検出またはセグメンテーション法は、Ｈａｒａｌｉｃｋテクスチャ特徴を使用してスペクトルバンドにわたって測定された類似のテクスチャに基づいてピクセルを一緒にグループ化する、テクスチャベースの方法である。
【0053】
いくつかの実施形態では、画像融合は、２つのカメラからの画像から生成される。他の実施形態では、画像融合は、３つのカメラから生成される。画像融合を生成するために３つのカメラが使用される実施形態では、第１のカメラは、第１の分子化学画像を形成する第１の同調状態を生成し、第２のカメラは、第２の分子画像を形成する第２の同調状態を生成し、第３のカメラは、ＲＧＢ画像を生成する。
【0054】
２つ以上のカメラチップが含まれるいくつかの実施形態では、２つ以上のカメラチップのそれぞれからの画像に基づいて、立体画像が生成される。立体画像は、見る人が画像内の奥行きを知覚することを可能にし、知覚の精度およびリアリズムを増加させるので、有用である。例えば、内視鏡を使って行う手術または他の類似の活動中、立体画像は、単眼視の内視鏡に比べてより安全かつ正確に、器具を操作し、タスクを実行するのに有用である。これは、１つのカメラチップ位置のみを有する単眼視の内視鏡が、奥行き知覚を提供できないからである。いくつかの実施形態では、立体画像は、少なくとも２つのカメラチップによって形成され、ここで、カメラチップは同じである。いくつかの実施形態では、立体画像は、少なくとも２つのカメラチップによって形成され、ここで、カメラチップは異なっている。上記実施形態のいずれにおいても、カメラチップは、同じカラーフィルタアレイを有していてもよく、あるいは、異なるカラーフィルタアレイを有していてもよい。いくつかの実施形態では、立体画像は、異なる２つのカメラチップによって形成され、１つのカメラチップのみがカラーフィルタアレイを提供され、他方のカメラチップは単色フィルタを提供されるか、または全くフィルタアレイが提供されない。複数のカメラチップが提供される場合はいつでも、各カメラチップの出力を使用し、各カメラチップの出力を組み合わせるかまたは融合することによって、立体画像を生成することができる。
【0055】
特定の実施形態では、画像の１つにおける照明が均一でない。これは、ＲＧＢ画像においてしばしば発生し、画像を他の画像と融合させる際に問題を引き起こす可能性がある。これらの問題を回避するために、画像はＲＧＢ色空間からＨＳＶ（色相、彩度、明度）色空間へ変換される。ＨＳＶ画像からは、Ｈ（色相）およびＳ（彩度）チャネルのみが考慮され、Ｖ（明度）は含まれない。したがって、本開示によれば、ＲＧＢ画像は、ＨＳ画像と表現することができ、代替的にＨＳチャネルと呼ばれ得る。
【0056】
上述したＶｉｓ－ＮＩＲ画像とＲＧＢとの組み合わせの代替として、Ｖｉｓ－ＮＩＲ画像は、代わりにＨＳチャネルと融合され得る。この融合によって、均一でない照明の問題が回避され、第１のサンプル画像と第２のサンプル画像とから形成される融合画像は、ターゲットのコントラストを示す。第１のサンプル画像と第２のサンプル画像の重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行される。
【0057】
一実施形態では、第１のサンプル画像と第２のサンプル画像の計量（weighing）は、Ｖｉｓ－ＮＩＲ画像またはＲＧＢと融合したＶｉｓ－ＮＩＲ画像の二項分類または多クラス分類のためのＰＬＳ－ＤＡによって行われる。
【0058】
図１によって示される１つの有用な実施形態において、検出オーバーレイを有するＲＧＢ画像１７を生成するための有用な方法１０が説明される。まず、サンプルは、ブロック１１において、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、またはｅＳＷＩＲ光を収集できる二重偏光ＭＣＩデバイスによって撮像され、サンプルはまた、ブロック１２においてＲＧＢ光を撮像できるカメラチップによって撮像される。ブロック１３では、スコア画像が形成され、スコア画像とＲＧＢ画像の組み合わせは、その後の画像位置合わせのために組み合わせられる。ブロック１４では、検出アルゴリズムがスコア画像に適用され、これらの検出アルゴリズムの出力は、オーバーレイ検出ブロック１５におけるＲＧＢおよびＭＣＩ位置合わせと、ブロック１６で組み合わせられ、それによってブロック１７で検出オーバーレイを有するＲＧＢ画像を生成する。
【0059】
図２によって示される別の有用な実施形態において、検出オーバーレイを有するＲＧＢ画像２８を生成するための有用な方法２０が説明される。まず、サンプルは、ブロック２１において、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、またはｅＳＷＩＲ光を収集できる二重偏光ＭＣＩデバイスによって撮像され、サンプルはまた、ブロック２２において、ＲＧＢ光を撮像できるカメラチップによって撮像される。ブロック２３では、スコア画像が形成され、スコア画像は、ブロック２４でスコア画像上の点をシーン内の点と位置合わせすることができるように、ＲＧＢ画像と共に入力される。また、ＲＧＢ画像はブロック２５でＭＣＩスコア画像と融合される。位置合わせおよびスコア画像の完成により、ＭＣＩスコア画像およびＲＧＢ画像からの情報を含む融合画像は、ブロック２６で検出アルゴリズムに入力される。検出が完了すると、検出を伴う融合画像はブロック２７に入力され、そこでブロック２４からの位置合わせ画像と組み合わせられ、それによってブロック２８の検出オーバーレイを有するＲＢＧ画像が形成される。
【0060】
〔実施例〕
実施例１
融合画像を生成するためのテストを行った。融合画像を得るために、分子化学画像を収集し、同時にＲＧＢ画像も収集した。分子化学画像とＲＧＢ画像の収集は、同じｉｎ ｖｉｖｏ外科処置内で行われた。分子化学画像は、内部で開発されたＭＣＩ内視鏡を使用して収集し、Ｋａｒｌ Ｓｔｏｒｚ ｅｎｄｏｓｃｏｐｅから入手可能なＨｏｐｋｉｎｓ（登録商標）Ｔｅｌｅｓｃｏｐｅ ０° ＮＩＲ／ＩＣＧ Φ １０ ｍｍが、ＲＧＢ内視鏡を収集し、ＲＧＢ画像を収集した。
実施例１
融合画像を生成するためのテストを行った。融合画像を得るために、分子化学画像を収集し、同時にＲＧＢ画像も収集した。分子化学画像とＲＧＢ画像の収集は、同じｉｎ ｖｉｖｏ外科処置内で行われた。分子化学画像は、内部で開発されたＭＣＩ内視鏡を使用して収集し、Ｋａｒｌ Ｓｔｏｒｚ ｅｎｄｏｓｃｏｐｅから入手可能なＨｏｐｋｉｎｓ（登録商標）Ｔｅｌｅｓｃｏｐｅ ０° ＮＩＲ／ＩＣＧ Φ １０ ｍｍが、ＲＧＢ内視鏡を収集し、ＲＧＢ画像を収集した。
【0061】
ＭＣＩ内視鏡で２つの波長画像を収集した。収集したＭＣＩ画像とＲＧＢ画像を融合するために、２つの波長画像を数学的に組み合わせて、ｉｎ ｖｉｖｏ外科処置内の目的のターゲットのレシオメトリックスコア画像を生成した。次に、ＭＣＩ画像の各ピクセルがＲＧＢ画像内の同じ物理的場所に対応するように、ＭＣＩ画像とＲＧＢ画像を互いに位置合わせした。この位置合わせは、特徴に基づく方法と強度に基づく方法を組み合わせたハイブリッドアプローチを用いて達成された。特徴に基づく方法は、ＭＣＩ画像とＲＧＢ画像との間の幾何学的変換を推定するために最初に適用される。これは、ＫＡＺＥ特徴をマッチングさせることで達成される。ＫＡＺＥは、マルチスケール２次元特徴検出器および記述子である。類似性メトリックとオプティマイザに基づいた、強度に基づく方法は、特徴に基づく方法の結果を洗練するために用いられる。位置合わせは、推定された幾何学的変換を用いて、ＭＣＩ画像をＲＧＢ画像に整列させることで達成される。
【0062】
次に、前処理を行う。まず、ＭＣＩ画像とＲＧＢ画像のそれぞれでグレアを検出することによって、グレアマスクを生成する。グレアと識別されたピクセルは、分類されない。次に、ＭＣＩ画像とＲＧＢ画像は、これら２つの画像からのピクセルの強度が等しい範囲上にあり、強度が融合画像への各画像モダリティの寄与に影響しないように、正規化される。
【0063】
前処理が行われた後、融合が実行される。事前のトレーニングステップで生成されたラベル付きデータを用いて、分類器は目的のターゲットに属するピクセルを検出する。融合を実行するために、ＲＧＢ画像およびＭＣＩレシオメトリックスコア画像の３つのフレームが、分類器に入力される。本実施例では、ＩＷＢＦが、トレーニングセットにおいて予測誤差を最小にする、画像の最適な重みを見つけるために使用された方法である。トレーニングセットにおいてＩＷＢＦによって決定された重みが、画像に適用され、重み付けされた画像は、これにより数学的に組み合わせられて融合スコア画像を作成する。次に、最終的な融合スコア画像が表示され、背景と比較してターゲットのコントラストの増加を示す。この増加したコントラストにより、背景からのターゲットの検出性能を向上させることができる。いくつかの実施形態では、コンピュータビジョンおよび機械学習法を使用する検出アルゴリズムが、融合スコア画像に適用されて、ターゲットの最終的な検出の場所を突き止めるか、または決定する。最終的な検出は、ＲＧＢ画像上にオーバーレイされる。ＲＧＢ画像上にオーバーレイされた最終的な検出は、ユーザが、別の状況では識別することが困難な特徴の場所を突き止めることを望む場合に、特に有用である。一実施形態では、ユーザは、臓器の視覚化の改善を望む外科医である。
【0064】
実施例２
二項分類または多クラス分類のためのＰＬＳ－ＤＡを用いて融合画像を生成するために、追加のテストを実施した。まず、サンプルからＲＧＢ画像とＶＩＳ－ＮＩＲ画像を生成する。具体的には、８つの画像を生成し、ＲＧＢ画像は神経複合シーンからのデータに位置合わせした。ＲＧＢ画像は、画像の照明ムラを避けるために画像の明度（輝度）部分を省略した、ＨＳＶに変換した。次に、３次元ハイパーキューブを生成した。ハイパーキューブの第１の次元は色相データであり、ハイパーキューブの第２の次元は彩度データであり、ハイパーキューブの第３の次元はスペクトル波長であった。本実施例では、スペクトル波長は、神経レシピ（nerve recipe）に相当する５００ｎｍおよび５８０ｎｍである。
二項分類または多クラス分類のためのＰＬＳ－ＤＡを用いて融合画像を生成するために、追加のテストを実施した。まず、サンプルからＲＧＢ画像とＶＩＳ－ＮＩＲ画像を生成する。具体的には、８つの画像を生成し、ＲＧＢ画像は神経複合シーンからのデータに位置合わせした。ＲＧＢ画像は、画像の照明ムラを避けるために画像の明度（輝度）部分を省略した、ＨＳＶに変換した。次に、３次元ハイパーキューブを生成した。ハイパーキューブの第１の次元は色相データであり、ハイパーキューブの第２の次元は彩度データであり、ハイパーキューブの第３の次元はスペクトル波長であった。本実施例では、スペクトル波長は、神経レシピ（nerve recipe）に相当する５００ｎｍおよび５８０ｎｍである。
【0065】
腸、脂肪、筋肉、神経という組織タイプを含むシーンについてハイパーキューブを収集し、ＰＬＳ－ＤＡを適用して種々の組織を互いから区別した。表１は、腸、脂肪、筋肉、神経に適用した場合の結果を示す。ＰＬＳ－ＤＡで、組織がシーン内の組織以外であると結論付けられた事象は、誤分類と示した。例えば、表１の１列目では、全６シーン中、５つが腸サンプルにおいて腸組織と正しく識別され、１つのシーンが腸サンプルにおいて脂肪組織と識別され、その結果、誤分類率は１６．７％であった。表１に示すように、複数のクラスを区別する必要がある場合でも、誤分類率は平均７．１％である。
【表1】
【0066】
先の実験と同様に、腸、脂肪、筋肉、神経、尿管の組織タイプを含むシーンについて追加のハイパーキューブを収集し、ＰＬＳ－ＤＡを適用して種々の組織を互いから区別した。表２は、腸、脂肪、筋肉、神経、尿管に適用した場合の結果を示す。表２に示すように、尿管を含めても２クラスの性能は低下せず、１００％の精度を維持した。
【表2】
【0067】
上記の詳細な説明において、その一部を構成する添付図面が参照される。図面において、同様の符号は、文脈で特に指示しない限り、典型的には、同様の構成要素を特定する。詳細な説明、図面、および特許請求の範囲に記載された例示的な実施形態は、限定することを意図していない。本明細書に提示された主題の趣旨または範囲から逸脱することなく、他の実施形態が使用され得、他の変更が行われ得る。本明細書で一般的に説明され、図に示されるような本開示の様々な特徴は、多種多様な異なる構成で配置、置換、組み合わせ、分離、および設計され得、そのすべてが本明細書で明示的に企図されることが容易に理解されるであろう。
【0068】
本開示は、様々な特徴の例示として意図されている、本出願に記載された特定の実施形態に関して限定されるものではない。当業者には明らかなように、その趣旨および範囲から逸脱することなく、多くの修正および変形を行うことができる。本明細書に列挙したものに加えて、本開示の範囲内の機能的に等価な方法および装置は、前述の説明から当業者には明らかであろう。そのような修正および変形は、添付の特許請求の範囲に含まれることが意図されている。本開示は、添付の特許請求の範囲の条件と、そのような特許請求の範囲が権利を有する等価物の全範囲によってのみ、制限されることになる。本開示は、特定の方法、試薬、化合物、組成物または生物系に限定されず、それらはもちろん変化し得ることが、理解される。また、本明細書で使用される用語は、特定の実施形態を説明する目的のためだけのものであり、限定することを意図していないことを理解されたい。
【0069】
本明細書における実質的に任意の複数形および／または単数形の用語の使用に関して、当業者は、文脈および／または用途に適切であるように、複数形から単数形へ、および／または単数形から複数形へ変換することができる。様々な単数形／複数形の入れ換えは、明瞭化のために本明細書に明示的に記載され得る。
【0070】
一般に、本明細書、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）において使用される用語は、概して「開放的な」用語として意図されることが当業者には理解されよう（例えば、用語「含む（including）」は「含むが、それに限定されない（including but not limited to）」と解釈されるべきであり、用語「有する」は「少なくとも有する」と解釈されるべきであり、用語「含む（includes）」は「含むが、それに限定されない（includes but is not limited to）」と解釈されるべきである、など）。様々な組成物、方法、および装置は、様々な構成要素またはステップを「含む」という観点から説明されているが（「含むが、それに限定されない」ことを意味すると解釈される）、組成物、方法、および装置は、様々な構成要素およびステップから「本質的になる」または「なる」こともでき、このような用語は、本質的に閉鎖的なメンバーグループを定義するものと解釈されるべきである。特定の数の導入された請求項記載が意図される場合、そのような意図は請求項に明示的に記載され、そのような記載がない場合、そのような意図は存在しないことが当業者にはさらに理解されよう。
【0071】
例えば、理解を助けるものとして、以下の添付の特許請求の範囲は、請求項記載を導入するための導入句「少なくとも１つ」および「１つ以上」の使用を含むことができる。しかしながら、このような語句の使用は、不定冠詞「ａ」または「ａｎ」による請求項記載の導入が、そのような導入された請求項記載を含む任意の特定の請求項を、１つのみのそのような記載を含む実施形態に制限することを意味すると解釈すべきではなく、これは、たとえ同じ請求項に、導入句「１つ以上」または「少なくとも１つ」および「ａ」または「ａｎ」等の不定冠詞が含まれていた場合であってもそのように解釈すべきでなく（例えば、「ａ」および／または「ａｎ」は「少なくとも１つ」または「１つ以上」を意味すると解釈すべきである）；請求項記載の導入に使用される定冠詞の使用についても同様である。
【0072】
さらに、特定の数の導入された請求項記載が明示的に記載されている場合でも、当業者は、かかる記載は少なくとも記載された数を意味すると解釈すべきであることを認識するであろう（例えば、他の修飾語を伴わない「２つの記載（two recitations）」という単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、Ｂ、およびＣなどの少なくとも１つ」に類似する慣例が使用される場合、一般に、そのような構造は、当業者がその慣例を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａ単独、Ｂ単独、Ｃ単独、ＡおよびＢを一緒に、ＡおよびＣを一緒に、ＢおよびＣを一緒に、かつ／またはＡ、Ｂ、およびＣを一緒に、などで有するシステムを含むがこれに限定されない）。「Ａ、Ｂ、またはＣなどの少なくとも１つ」に類似する慣例が使用される場合、一般に、そのような構成は、当業者がその慣例を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａ単独、Ｂ単独、Ｃ単独、ＡおよびＢを一緒に、ＡおよびＣを一緒に、ＢおよびＣを一緒に、かつ／またはＡ、ＢおよびＣを一緒に、などで有するシステムを含むがこれに限定されない）。説明、特許請求の範囲、または図面のいずれにおいても、２つ以上の代替的な用語を提示する実質的に任意の離接的な単語および／または語句は、用語の一方、用語のいずれか、または用語の両方を含む可能性を企図すると理解されるべきであることは、当業者にはさらに理解されるであろう。例えば、「ＡまたはＢ」という語句は、「Ａ」または「Ｂ」または「ＡおよびＢ」の可能性を含むと理解されるであろう。
【0073】
さらに、本開示の特徴がマーカッシュ群の観点から説明される場合、当業者は、本開示が、それによってマーカッシュ群の任意の個々のメンバーまたはメンバーのサブグループの観点からも説明されることを認識するであろう。
【0074】
当業者には理解されるように、書面による説明を提供するという観点など、あらゆる目的のために、本明細書に開示されるすべての範囲は、そのあらゆる可能なサブレンジおよびサブレンジの組み合わせも包含している。任意の列挙された範囲は、同じ範囲が少なくとも等しい半分、３分の１、４分の１、５分の１、１０分の１などに分解されることを十分に説明し、可能にすると容易に認識することができる。非限定的な例として、本明細書で議論される各範囲は、下位３分の１、中間３分の１、および上位３分の１、などに容易に分解することができる。また、当業者には理解されるように、「まで」、「少なくとも」などの全ての言語は、記載された数を含み、その後、上述したようにサブレンジに分解され得る範囲を指す。最後に、当業者には理解されるように、範囲は各個別のメンバーを含む。したがって、例えば、１～３つのセルを有するグループは、１つ、２つ、または３つのセルを有するグループを指す。同様に、１～５つのセルを有するグループは、１つ、２つ、３つ、４つ、または５つのセルを有するグループを指す、などである。
【0075】
上記に開示された特徴および機能、他の特徴および機能、またはその代替物の様々なものは、他の多くの異なるシステムまたはアプリケーションへと組み合わせられ得る。様々な現在予見されないかまたは予期されない代替案、修正、変形または改良が、その後、当業者によってなされ得るが、それらもそれぞれ、開示された実施形態によって包含されることが意図されている。
【0076】
〔実施の態様〕
（１） 画像を融合する方法であって、
サンプルを照明光子で照明することと、
前記サンプルと相互作用し、第１のカメラチップに移動した相互作用光子から第１のサンプル画像を取得することと、
前記サンプルと相互作用し、第２のカメラチップに移動した相互作用光子から第２のサンプル画像を取得することと、
前記第１のサンプル画像および前記第２のサンプル画像に重み付けすることにより、前記第１のサンプル画像と前記第２のサンプル画像とを融合することと、
を含み、
前記第１のサンプル画像および前記第２のサンプル画像の前記重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する、方法。
（２） 前記第１のサンプル画像および前記第２のサンプル画像のそれぞれにおいてグレアを検出することと、
前記第１のサンプル画像および前記第２のサンプル画像のうちグレアと識別された部分を分類しないことと、をさらに含む、実施態様１に記載の方法。
（３） 前記第１のサンプル画像および前記第２のサンプル画像の強度を正規化することをさらに含む、実施態様２に記載の方法。
（４） 前記第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、前記第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される、実施態様１に記載の方法。
（５） 前記第１のサンプル画像はＲＧＢであり、前記第２のサンプル画像はＶｉｓ－ＮＩＲである、実施態様４に記載の方法。
（１） 画像を融合する方法であって、
サンプルを照明光子で照明することと、
前記サンプルと相互作用し、第１のカメラチップに移動した相互作用光子から第１のサンプル画像を取得することと、
前記サンプルと相互作用し、第２のカメラチップに移動した相互作用光子から第２のサンプル画像を取得することと、
前記第１のサンプル画像および前記第２のサンプル画像に重み付けすることにより、前記第１のサンプル画像と前記第２のサンプル画像とを融合することと、
を含み、
前記第１のサンプル画像および前記第２のサンプル画像の前記重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する、方法。
（２） 前記第１のサンプル画像および前記第２のサンプル画像のそれぞれにおいてグレアを検出することと、
前記第１のサンプル画像および前記第２のサンプル画像のうちグレアと識別された部分を分類しないことと、をさらに含む、実施態様１に記載の方法。
（３） 前記第１のサンプル画像および前記第２のサンプル画像の強度を正規化することをさらに含む、実施態様２に記載の方法。
（４） 前記第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、前記第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される、実施態様１に記載の方法。
（５） 前記第１のサンプル画像はＲＧＢであり、前記第２のサンプル画像はＶｉｓ－ＮＩＲである、実施態様４に記載の方法。
【0077】
（６） 前記第１のサンプル画像は、色相、彩度、明度（ＨＳＶ）に変換されるＲＧＢであり、前記第１のサンプル画像の明度次元は省略される、実施態様１に記載の方法。
（７） 前記第２のサンプル画像は、Ｖｉｓ－ＮＩＲである、実施態様６に記載の方法。
（８） 画像を融合するためのシステムであって、
サンプルを照明光子で照明するように構成された照明源と、
前記サンプルと相互作用した相互作用光子から第１のサンプル画像を取得するように構成された第１のカメラチップと、
前記サンプルと相互作用した相互作用光子から第２のサンプル画像を取得するように構成された第２のカメラチップと、
動作中に、前記第１のサンプル画像および前記第２のサンプル画像に重み付けすることにより、前記第１のサンプル画像と前記第２のサンプル画像とを融合するプロセッサと、
を含み、
前記第１のサンプル画像および前記第２のサンプル画像の前記重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する、システム。
（９） 前記プロセッサは、前記第１のサンプル画像および前記第２のサンプル画像のそれぞれにおいてグレアを検出し、前記第１のサンプル画像および前記第２のサンプル画像のうちグレアと識別された部分を分類しない、実施態様８に記載のシステム。
（１０） 前記プロセッサは、前記第１のサンプル画像および前記第２のサンプル画像の強度を正規化する、実施態様８に記載のシステム。
（７） 前記第２のサンプル画像は、Ｖｉｓ－ＮＩＲである、実施態様６に記載の方法。
（８） 画像を融合するためのシステムであって、
サンプルを照明光子で照明するように構成された照明源と、
前記サンプルと相互作用した相互作用光子から第１のサンプル画像を取得するように構成された第１のカメラチップと、
前記サンプルと相互作用した相互作用光子から第２のサンプル画像を取得するように構成された第２のカメラチップと、
動作中に、前記第１のサンプル画像および前記第２のサンプル画像に重み付けすることにより、前記第１のサンプル画像と前記第２のサンプル画像とを融合するプロセッサと、
を含み、
前記第１のサンプル画像および前記第２のサンプル画像の前記重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する、システム。
（９） 前記プロセッサは、前記第１のサンプル画像および前記第２のサンプル画像のそれぞれにおいてグレアを検出し、前記第１のサンプル画像および前記第２のサンプル画像のうちグレアと識別された部分を分類しない、実施態様８に記載のシステム。
（１０） 前記プロセッサは、前記第１のサンプル画像および前記第２のサンプル画像の強度を正規化する、実施態様８に記載のシステム。
【0078】
（１１） 前記第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、前記第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される、実施態様８に記載のシステム。
（１２） 前記第１のサンプル画像はＲＧＢであり、前記第２のサンプル画像はＶｉｓ－ＮＩＲである、実施態様１１に記載のシステム。
（１３） 前記第１のサンプル画像はＲＧＢであり、前記プロセッサは、前記第１のサンプル画像をＲＧＢから色相、彩度、明度（ＨＳＶ）に変換し、前記プロセッサは、前記第１のサンプル画像の明度次元を省略する、実施態様８に記載のシステム。
（１４） 前記第２のサンプル画像は、Ｖｉｓ－ＮＩＲである、実施態様１３に記載のシステム。
（１５） 非一時的コンピュータ可読記憶媒体上の命令によって具体化された画像を融合するためのコンピュータプログラム製品であって、前記命令がプロセッサによって実行されると、
照明源が、照明光子でサンプルを照明し、
第１のカメラチップが、前記サンプルと相互作用した相互作用光子から第１のサンプル画像を取得し、
第２のカメラチップが、前記サンプルと相互作用した相互作用光子から第２のサンプル画像を取得し、
前記プロセッサが、前記第１のサンプル画像および前記第２のサンプル画像に重み付けすることにより、前記第１のサンプル画像と前記第２のサンプル画像とを融合し、
前記第１のサンプル画像および前記第２のサンプル画像の前記重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する、コンピュータプログラム製品。
（１２） 前記第１のサンプル画像はＲＧＢであり、前記第２のサンプル画像はＶｉｓ－ＮＩＲである、実施態様１１に記載のシステム。
（１３） 前記第１のサンプル画像はＲＧＢであり、前記プロセッサは、前記第１のサンプル画像をＲＧＢから色相、彩度、明度（ＨＳＶ）に変換し、前記プロセッサは、前記第１のサンプル画像の明度次元を省略する、実施態様８に記載のシステム。
（１４） 前記第２のサンプル画像は、Ｖｉｓ－ＮＩＲである、実施態様１３に記載のシステム。
（１５） 非一時的コンピュータ可読記憶媒体上の命令によって具体化された画像を融合するためのコンピュータプログラム製品であって、前記命令がプロセッサによって実行されると、
照明源が、照明光子でサンプルを照明し、
第１のカメラチップが、前記サンプルと相互作用した相互作用光子から第１のサンプル画像を取得し、
第２のカメラチップが、前記サンプルと相互作用した相互作用光子から第２のサンプル画像を取得し、
前記プロセッサが、前記第１のサンプル画像および前記第２のサンプル画像に重み付けすることにより、前記第１のサンプル画像と前記第２のサンプル画像とを融合し、
前記第１のサンプル画像および前記第２のサンプル画像の前記重み付けは、画像重み付けベイズ融合（ＩＷＢＦ）、部分最小二乗判別分析（ＰＬＳ－ＤＡ）、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、関連ベクターマシン（ＲＶＭ）、ナイーブベイズ、ニューラルネットワーク、または線形判別分析（ＬＤＡ）の１つ以上によって実行され、それによって融合スコア画像を生成する、コンピュータプログラム製品。
【0079】
（１６） 前記命令により、前記プロセッサが、前記第１のサンプル画像および前記第２のサンプル画像のそれぞれにおいてグレアを検出し、前記第１のサンプル画像および前記第２のサンプル画像のうちグレアと識別された部分を分類しない、実施態様１５に記載のコンピュータプログラム製品。
（１７） 前記命令により、前記プロセッサが、前記第１のサンプル画像および前記第２のサンプル画像の強度を正規化する、実施態様１５に記載のコンピュータプログラム製品。
（１８） 前記第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、前記第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される、実施態様１５に記載のコンピュータプログラム製品。
（１９） 前記第１のサンプル画像はＲＧＢであり、前記第２のサンプル画像はＶｉｓ－ＮＩＲである、実施態様１８に記載のコンピュータプログラム製品。
（２０） 前記第１のサンプル画像はＲＧＢであり、前記プロセッサは、前記第１のサンプル画像をＲＧＢから色相、彩度、明度（ＨＳＶ）に変換し、前記プロセッサは、前記第１のサンプル画像の明度次元を省略する、実施態様１５に記載のコンピュータプログラム製品。
（１７） 前記命令により、前記プロセッサが、前記第１のサンプル画像および前記第２のサンプル画像の強度を正規化する、実施態様１５に記載のコンピュータプログラム製品。
（１８） 前記第１のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択され、前記第２のサンプル画像は、ＵＶ、ＲＧＢ、Ｖｉｓ－ＮＩＲ、ＳＷＩＲ、ラマン、ＮＩＲ－ｅＳＷＩＲ、およびｅＳＷＩＲからなる群から選択される、実施態様１５に記載のコンピュータプログラム製品。
（１９） 前記第１のサンプル画像はＲＧＢであり、前記第２のサンプル画像はＶｉｓ－ＮＩＲである、実施態様１８に記載のコンピュータプログラム製品。
（２０） 前記第１のサンプル画像はＲＧＢであり、前記プロセッサは、前記第１のサンプル画像をＲＧＢから色相、彩度、明度（ＨＳＶ）に変換し、前記プロセッサは、前記第１のサンプル画像の明度次元を省略する、実施態様１５に記載のコンピュータプログラム製品。
【0080】
（２１） 前記第２のサンプル画像は、Ｖｉｓ－ＮＩＲである、実施態様２０に記載のコンピュータプログラム製品。
【図1】
【図2】
【国際調査報告】