知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-21
(54)【発明の名称】ポータブルハイパースペクトルシステム
(51)【国際特許分類】
A61B 1/00 20060101AFI20240313BHJP
【ＦＩ】
A61B1/00 513
A61B1/00 C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023558980
(86)(22)【出願日】2021-04-02
(85)【翻訳文提出日】2023-11-17
(86)【国際出願番号】 US2021025660
(87)【国際公開番号】W WO2022211820
(87)【国際公開日】2022-10-06
(31)【優先権主張番号】63/169,075
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523364379
【氏名又は名称】クリア ラブズ， インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】クトラレ， フランチェスコ
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA01
4C161AA04
4C161CC06
4C161DD07
4C161NN01
4C161NN05
4C161QQ02
4C161QQ07
4C161TT15
(57)【要約】
カプセルハイパースペクトルシステムは、撮像カプセルから複数の異なる照明光を放射するように構成された複数の発光体を有する照明システムと、少なくとも１つの撮像センサを有するハイパースペクトル撮像システムと、を有する撮像カプセルであって、照明システムおよびハイパースペクトル撮像システムは、異なる照明光のシーケンスで対象を照明し、シーケンス内の異なる照明光の各々の間に対象を協働して撮像するように構成されている、撮像カプセルと、少なくとも１つのプロセッサを有するハイパースペクトル処理システムであって、ハイパースペクトル処理システムは、ハイパースペクトル撮像システムと動作可能に結合され、そこから対象の画像を受信し、対象の受信画像から対象のマルチスペクトル反射率データキューブを生成するように構成されている、ハイパースペクトル処理システムと、を含むことができる。
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
カプセルハイパースペクトルシステムであって、撮像カプセルであって、
前記撮像カプセルから複数の異なる照明光を放射するように構成された複数の発光体を有する照明システムと、
少なくとも１つの撮像センサを有するハイパースペクトル撮像システムであって、前記照明システムおよび前記ハイパースペクトル撮像システムが、異なる照明光のシーケンスで対象を照明し、前記シーケンス内の前記異なる照明光の各々の間に前記対象を撮像するように協働して構成されている、ハイパースペクトル撮像システムと、
少なくとも１つのプロセッサを有するハイパースペクトル処理システムであって、前記ハイパースペクトル処理システムが、前記ハイパースペクトル撮像システムと動作可能に結合されており、前記ハイパースペクトル撮像システムから前記対象の画像を受信し、受信した前記対象の画像から前記対象のマルチスペクトル反射率データキューブを生成するように構成されている、ハイパースペクトル処理システムと、を備える撮像カプセルを備える、カプセルハイパースペクトルシステム。
【請求項2】
前記撮像カプセルに結合されたカプセル端部と、前記ハイパースペクトル処理システムに結合されたシステム端部と、を有するテザーをさらに備える、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項3】
前記テザーが、前記ハイパースペクトル撮像システムおよびハイパースペクトル処理システムと、これらの間でデータを渡すよう通信可能に接続されている、請求項２に記載のカプセルハイパースペクトルシステム。
【請求項4】
前記テザーと前記撮像カプセルとの間の半剛性接続をさらに含み、前記半剛性接続が、前記テザーを前記撮像カプセルから取り外すことなく前記カプセルを位置決めするための手動操作に耐えることができるように構成されている、請求項２に記載のカプセルハイパースペクトルシステム。
【請求項5】
前記テザーが非円形断面プロファイルを有する、請求項２に記載のカプセルハイパースペクトルシステム。
【請求項6】
前記テザーが、マーキングを有する外面を含み、前記マーキングが展開時に前記撮像カプセルからの距離を示すように構成されている、請求項２に記載のカプセルハイパースペクトルシステム。
【請求項7】
前記照明システムが、少なくとも３つの異なる色帯域を有する少なくとも３つのＬＥＤを備える、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項8】
少なくとも１つのＬＥＤが白色光ＬＥＤである、請求項７に記載のカプセルハイパースペクトルシステム。
【請求項9】
少なくとも２つのＬＥＤが、異なる色帯域を有する有色ＬＥＤである、請求項８に記載のカプセルハイパースペクトルシステム。
【請求項10】
前記照明システムが、複数のＬＥＤの均一に配置されたアレイを備える、請求項７に記載のカプセルハイパースペクトルシステム。
【請求項11】
前記照明システムが少なくとも６つのＬＥＤを備え、前記少なくとも６つのＬＥＤが、少なくとも２つの白色光ＬＥＤと、少なくとも２つの異なる色帯域を有する少なくとも４つの有色ＬＥＤと、を含む、請求項１０に記載のカプセルハイパースペクトルシステム。
【請求項12】
各ＬＥＤの発光波長が、健康な組織上の白色および／またはピンクがかった表面と、非健康な組織上の赤色表面と、を視認可能に識別し、互いに区別できるように選択される、請求項７に記載のカプセルハイパースペクトルシステム。
【請求項13】
前記少なくとも１つの撮像センサおよび複数の発光体が、プレート上に配置され、同じ方向に向けられている、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項14】
前記ハイパースペクトル撮像システムが、レンズシステムをさらに備え、前記レンズシステムが、固定レンズシステム、着脱可能なレンズシステム、取り換え可能なレンズシステム、または交換可能なレンズシステムである、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項15】
前記レンズシステムが、少なくとも約９０度から約３６０度未満の範囲の視野（ＦＯＶ）を有する少なくとも１つのレンズを有する、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項16】
前記レンズシステムが、約１２０度～約１８０度の範囲の視野（ＦＯＶ）を有する少なくとも１つのレンズを有する、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項17】
前記ハイパースペクトル撮像システムが、光学レンズ、光学フィルタ、分散光学系、またはそれらの組み合わせを備える、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項18】
前記ハイパースペクトル撮像システムが、第１の光学レンズと、第２の光学レンズと、ダイクロイックミラー／ビームスプリッタと、を備える、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項19】
前記ハイパースペクトル撮像システムが、光学レンズ、分散光学系を備え、前記少なくとも１つの撮像センサが光検出器アレイである、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項20】
前記少なくとも１つの撮像センサが、前記撮像カプセルの中心軸に対して偏心した位置に配置されている、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項21】
前記少なくとも１つの撮像センサが、前記中心軸から約１０度～約３５度離れて配置されている、請求項２０に記載のカプセルハイパースペクトルシステム。
【請求項22】
前記ハイパースペクトル撮像システムが、前記カプセルの光学入口と前記少なくとも１つの撮像センサとの間に配置された光学フィルタリングシステムをさらに備える、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項23】
前記光学フィルタシステムがノイズ除去フィルタを含む、請求項２２に記載のカプセルハイパースペクトルシステム。
【請求項24】
前記ノイズ除去フィルタがメディアンフィルタを含む、請求項２３に記載のカプセルハイパースペクトルシステム。
【請求項25】
前記撮像カプセルがカプセルカバーを備え、前記カプセルカバーが外面にテクスチャを有する、請求項２に記載のカプセルハイパースペクトルシステム。
【請求項26】
前記テクスチャが少なくとも１つのディンプルを含み、前記少なくとも１つのディンプルが、患者が繋がれた前記撮像カプセルを容易に嚥下することができるように構成されている、請求項２５に記載のカプセルハイパースペクトルシステム。
【請求項27】
前記テクスチャが、少なくとも１つのチャネルを含み、前記少なくとも１つのチャネルが、患者が繋がれた前記撮像カプセルを容易に嚥下することができるように構成されている、請求項２５に記載のカプセルハイパースペクトルシステム。
【請求項28】
前記ハイパースペクトル処理システムと動作可能に結合されたディスプレイをさらに備え、前記照明システムが、前記少なくとも１つの撮像センサが前記撮像された対象を前記ディスプレイ上に表示するように較正される、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項29】
前記カプセルが、前記少なくとも１つの撮像センサの異なる照明光および撮像の前記シーケンスを制御するように構成された制御システムを含む、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項30】
前記ハイパースペクトル処理システムが、制御システム、メモリ、およびディスプレイを含み、前記制御システムが、前記マルチスペクトル反射率データキューブの生成、前記メモリへの前記マルチスペクトル反射率データキューブの記憶、および前記マルチスペクトル反射率データキューブまたはその画像表現を前記ディスプレイへ表示させるように構成されている、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項31】
前記少なくとも１つの光検出器が、前記対象上の少なくとも１つの物理的点によって吸収、透過、屈折、反射、および／または放射された対象電磁放射を検出し、前記対象放射が少なくとも２つの対象波を含み、各対象波が強度および固有の波長を有し、
各対象波の強度および波長を検出し、
検出された対象電磁放射と、各対象波の検出された強度および波長と、をハイパースペクトル処理システムに送信する、構成を有する、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項32】
前記ハイパースペクトル処理システムが、前記検出された対象電磁放射を使用して前記対象の対象画像を形成し、前記対象画像が少なくとも２つの画素を含み、各画素が前記対象上の１つの物理的点に対応し、
検出された各対象波の強度および波長を使用して、各画素に対して少なくとも１つの強度スペクトルを形成し、
各画素について少なくとも１つの強度スペクトルからマルチスペクトル反射率データキューブを生成する、構成を有する、請求項３１に記載のカプセルハイパースペクトルシステム。
【請求項33】
前記ハイパースペクトル処理システムが、フーリエ変換を使用して、形成された各画素の強度スペクトルを、各画素の前記強度スペクトルに基づいて、複素値関数であって、各複素値関数が、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有する、複素値関数に変換し、
各画素についてノイズ除去された実数値およびノイズ除去された虚数値を生成するように、各複素値関数の前記実数成分および前記虚数成分の両方に少なくとも１回ノイズ除去フィルタを適用し、
各画素の前記ノイズ除去された虚数値に対して前記ノイズ除去された実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記フェーザ点を前記対象画像上の対応する画素にマップバックし、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、対応する画素に任意の色を割り当て、
前記割り当てられた任意の色に基づいて、前記対象の未混合カラー画像を生成する、構成を有する、請求項３２に記載のカプセルハイパースペクトルシステム。
【請求項34】
前記ハイパースペクトル処理システムが、前記ハイパースペクトル処理システムのディスプレイ上に前記対象の前記未混合カラー画像を表示する、構成を有する、請求項３３に記載のカプセルハイパースペクトルシステム。
【請求項35】
前記ハイパースペクトル処理システムが、前記フーリエ変換の第１の高調波のみまたは第２の高調波のみを使用して、前記対象の前記未混合カラー画像を生成する、請求項３３に記載のカプセルハイパースペクトルシステム。
【請求項36】
前記ハイパースペクトル処理システムが、前記フーリエ変換の第１の高調波および第２の高調波のみを使用して、前記対象の前記未混合カラー画像を生成する、請求項３３に記載のカプセルハイパースペクトルシステム。
【請求項37】
前記対象放射が、蛍光波長と、
少なくとも４つの波長と、のうちの少なくとも１つを含む、請求項３３に記載のカプセルハイパースペクトルシステム。
【請求項38】
前記ハイパースペクトル処理システムが、１．２から５０の範囲の前記少なくとも１つのスペクトルの信号対ノイズ比で前記対象の前記未混合カラー画像を形成するように構成されている、請求項３３に記載のカプセルハイパースペクトルシステム。
【請求項39】
前記ハイパースペクトル処理システムが、２から５０の範囲の前記少なくとも１つのスペクトルの信号対ノイズ比で前記対象の前記未混合カラー画像を形成するように構成されている、請求項３３に記載のカプセルハイパースペクトルシステム。
【請求項40】
前記ハイパースペクトル処理システムが、各画素に任意の色を割り当てるために参照物質を使用する構成を有する、請求項３３に記載のカプセルハイパースペクトルシステム。
【請求項41】
前記ハイパースペクトル処理システムが、参照物質を使用して各画素に任意の色を割り当て、前記参照物質の前記未混合カラー画像が、前記対象の未混合カラー画像の生成に先立って生成される、構成を有する、請求項３３に記載のカプセルハイパースペクトルシステム。
【請求項42】
前記ハイパースペクトル処理システムが、各画素に任意の色を割り当てるために参照物質を使用し、前記参照物質の前記未混合カラー画像が、前記対象の未混合カラー画像の生成に先立って生成され、前記参照物質が、物理構造、化学分子、生物学的分子、疾患によって引き起こされる物理的変化および／もしくは生物学的変化、またはそれらの任意の組み合わせを含む、構成を有する、請求項３３に記載のカプセルハイパースペクトルシステム。
【請求項43】
前記照明システムおよび前記ハイパースペクトル撮像システムが、第１の照明光で参照対象を照明し、
第１の照明光の間に前記参照対象を撮像し、
前記第１の照明光とは異なる第２の照明光で前記参照対象を照明し、
前記第２の照明光の間に前記参照対象を撮像し、
前記第１の照明光および前記第２の照明光とは異なる第３の照明光で前記参照対象を照明し、
前記第３の照明光の間に前記参照対象を撮像するように協働して構成されている、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項44】
前記第３の照明光が白色光照明である、請求項４３に記載のカプセルハイパースペクトルシステム。
【請求項45】
前記参照対象が色基準画像を含む、請求項４３に記載のカプセルハイパースペクトルシステム。
【請求項46】
前記第１の照明光、前記第２の照明光、および前記第３の照明光が各々、少なくとも２つのＬＥＤによる照明を含む、請求項４３に記載のカプセルハイパースペクトルシステム。
【請求項47】
前記ハイパースペクトル処理システムが、画像の各画素のスペクトルを取得し、
各画素のスペクトルから変換行列を生成する、構成を有する、請求項４３に記載のカプセルハイパースペクトルシステム。
【請求項48】
前記照明システムおよび前記ハイパースペクトル撮像システムが、前記第１の照明光で前記対象を照明し、
前記第１の照明光の間に前記対象を撮像し、
前記第２の照明光で前記対象を照明し、
前記第２の照明光の間に前記対象を撮像し、
前記第３の照明光で前記対象を照明し、
前記第３の照明光の間に前記参照対象を撮像するように協働して構成されている、請求項４７に記載のカプセルハイパースペクトルシステム。
【請求項49】
前記ハイパースペクトル処理システムが、前記変換行列と、前記第１の照明光、前記第２の照明光、および前記第３の照明光の間に取得された前記対象の画像とから前記マルチスペクトル反射率データキューブを生成する構成を有する、請求項４８に記載のカプセルハイパースペクトルシステム。
【請求項50】
前記マルチスペクトル反射率データキューブが、前記対象の前記画像を用いて擬似逆方法から得られる、請求項４９に記載のカプセルハイパースペクトルシステム。
【請求項51】
灌注源および灌注導管を有する灌注システムをさらに備え、前記灌注導管が前記カプセルに開口部を有する、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項52】
前記テザーが灌注システムに結合された灌注導管を含み、前記灌注導管が前記カプセルに開口部を有する、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項53】
前記ハイパースペクトル処理システムが、フーリエ変換を使用して、形成された各画素の強度スペクトルを、各画素の前記強度スペクトルに基づいて、複素値関数であって、各複素値関数が、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有する、複素値関数に変換し、
各画素の虚数値に対して実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、
フェーザ平面上のフェーザ点の幾何学的位置に基づいて、前記フェーザ点を前記対象画像上の対応する画素にマップバックし、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記対応する画素に任意の色を割り当て、
前記割り当てられた任意の色に基づいて、前記対象の未混合カラー画像を生成する、構成を有する、請求項３２に記載のカプセルハイパースペクトルシステム。
【請求項54】
前記ハイパースペクトル処理システムが、各複素値関数の前記実数成分および前記虚数成分の両方にノイズ除去フィルタを少なくとも１回適用して、各画素のノイズ除去された実数値およびノイズ除去された虚数値であって、前記ノイズ除去された実数値および前記ノイズ除去された虚数値が、各画素の前記フェーザ平面上に前記１つのフェーザ点を形成するために使用される、ノイズ除去された実数値およびノイズ除去された虚数値を生成することと、
前記強度スペクトルを形成する前に前記対象画像にノイズ除去フィルタを適用することと、
形成された各画素の強度スペクトルが変換される前にノイズ除去フィルタを適用することと、のうちの少なくとも１つをさらに含む、構成を有する、請求項５３に記載のカプセルハイパースペクトルシステム。
【請求項55】
前記ハイパースペクトル処理システムが、前記検出された対象電磁放射を使用して、前記対象の対象画像であって、前記対象画像が少なくとも２つの画素を含み、各画素が前記対象上の１つの物理的点に対応する、対象画像を形成し、
フーリエ変換を使用して、複素値関数であって、各複素値関数が、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有する、複素値関数を生成し、
各画素の前記虚数値に対して前記実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記フェーザ点を前記対象画像上の対応する画素にマップバックし、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記対応する画素に任意の色を割り当て、
前記割り当てられた任意の色に基づいて、前記対象の未混合カラー画像を生成する、構成を有する、請求項３１に記載のカプセルハイパースペクトルシステム。
【請求項56】
機械学習プロトコールを使用してマルチスペクトル反射率データキューブを取得することをさらに含む、請求項３１に記載のカプセルハイパースペクトルシステム。
【請求項57】
撮像カプセルの照明システムで対象を照明させることと、前記撮像カプセルの少なくとも１つの撮像センサから前記対象上の少なくとも１つの物理的点によって吸収、透過、屈折、反射、および／または放射された検出された対象電磁放射であって、前記対象放射が少なくとも２つの対象波を含み、各対象波が強度および固有の波長を有する、対象電磁放射を受信することと、
前記検出された対象電磁放射と、前記撮像カプセルから検出された各対象波の強度および波長と、をハイパースペクトル処理システムに送信することと、を含む、コンピュータ方法。
【請求項58】
前記ハイパースペクトル処理システムが、前記検出された対象電磁放射を使用して前記対象の対象画像であって、前記対象画像が少なくとも２つの画素を含み、各画素が前記対象上の１つの物理的点に対応する、対象画像を形成することと、
検出された各対象波の強度および波長を使用して、各画素に対して少なくとも１つの強度スペクトルを形成することと、
各画素の前記少なくとも１つの強度スペクトルから前記マルチスペクトル反射率データキューブを生成することと、を実行することをさらに含む、請求項５７に記載のコンピュータ方法。
【請求項59】
前記ハイパースペクトル処理システムが、フーリエ変換を使用して、形成された各画素の強度スペクトルを、各画素の前記強度スペクトルに基づいて複素値関数であって、各複素値関数が、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有する、複素値関数に変換することと、
各画素のノイズ除去された実数値およびノイズ除去された虚数値を生成するように、各複素値関数の前記実数成分および前記虚数成分の両方に少なくとも１回ノイズ除去フィルタを適用することと、
各画素の前記ノイズ除去された虚数値に対して前記ノイズ除去された実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成することと、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記フェーザ点を前記対象画像上の対応する画素にマップバックすることと、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて前記対応する画素に任意の色を割り当てることと、
前記割り当てられた任意の色に基づいて前記対象の未混合カラー画像を生成することと、実行することをさらに含む、請求項５８に記載のコンピュータ方法。
【請求項60】
前記ハイパースペクトル処理システムが、前記ハイパースペクトル処理システムのディスプレイ上に前記対象の前記未混合カラー画像を表示することをさらに含む、請求項５９に記載のコンピュータ方法。
【請求項61】
前記ハイパースペクトル処理システムが、前記フーリエ変換の第１の高調波のみ、または第２の高調波のみを使用して、前記対象の前記未混合カラー画像を生成する、請求項５９に記載のコンピュータ方法。
【請求項62】
前記ハイパースペクトル処理システムが、前記フーリエ変換の第１の高調波および第２の高調波のみを使用して、前記対象の前記未混合カラー画像を生成する、請求項５９に記載のコンピュータ方法。
【請求項63】
前記対象放射が、蛍光波長と、
少なくとも４つの波長と、のうちの少なくとも１つを含む、請求項５９に記載のコンピュータ方法。
【請求項64】
ハイパースペクトル撮像システムが、１．２から５０の範囲の前記少なくとも１つのスペクトルの信号対ノイズ比で前記対象の前記未混合カラー画像を形成するように構成されている、請求項５９に記載のコンピュータ方法。
【請求項65】
前記ハイパースペクトル撮像システムが、２から５０の範囲内の前記少なくとも１つのスペクトルの信号対ノイズ比で前記対象の前記未混合カラー画像を形成する、請求項５９に記載のコンピュータ方法。
【請求項66】
前記ハイパースペクトル処理システムが、各画素に任意の色を割り当てるために参照物質を使用する構成を有する、請求項５９に記載のコンピュータ方法。
【請求項67】
前記ハイパースペクトル処理システムが、参照物質を使用して各画素に任意の色を割り当て、前記参照物質の前記未混合カラー画像が、前記対象の未混合カラー画像の生成に先立って生成される、構成を有する、請求項５９に記載のコンピュータ方法。
【請求項68】
前記ハイパースペクトル処理システムが、参照物質を使用して任意の色を各画素に割り当て、前記参照物質の前記未混合カラー画像が、前記対象の未混合カラー画像の生成に先立って生成され、前記参照物質が、物理構造、化学分子、生物学的分子、疾患によって引き起こされる物理的変化および／もしくは生物学的変化、またはそれらの任意の組み合わせを含む、構成を有する、請求項５９に記載のコンピュータ方法。
【請求項69】
前記ハイパースペクトル処理システムが、フーリエ変換を使用して、形成された各画素の強度スペクトルを、各画素の前記強度スペクトルに基づいて、複素値関数であって、各複素値関数が、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有する、複素値関数に変換し、
各画素の前記虚数値に対して前記実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記フェーザ点を前記対象画像上の対応する画素にマップバックし、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記対応する画素に任意の色を割り当て、
前記割り当てられた任意の色に基づいて、前記対象の未混合カラー画像を生成する、構成を有する、請求項５８に記載のコンピュータ方法。
【請求項70】
前記ハイパースペクトル処理システムが、各複素値関数の前記実数成分および前記虚数成分の両方にノイズ除去フィルタを少なくとも１回適用して、各画素のノイズ除去された実数値およびノイズ除去された虚数値であって、前記ノイズ除去された実数値および前記ノイズ除去された虚数値が、各画素の前記フェーザ平面上に前記１つのフェーザ点を形成するために使用される、ノイズ除去された実数値およびノイズ除去された虚数値を生成することと、
前記強度スペクトルを形成する前に前記対象画像にノイズ除去フィルタを適用することと、
形成された各画素の強度スペクトルが変換される前にノイズ除去フィルタを適用することと、のうちの少なくとも１つをさらに含む、構成を有する、請求項６９に記載のコンピュータ方法。
【請求項71】
前記ハイパースペクトル処理システムが、前記検出された対象電磁放射を使用して、前記対象の対象画像であって、前記対象画像が少なくとも２つの画素を含み、各画素が前記対象上の１つの物理的点に対応する、対象画像を形成し、
フーリエ変換を使用して、複素値関数であって、各複素値関数が、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有する、複素値関数を生成し、
各画素の前記虚数値に対して前記実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記フェーザ点を対象画像上の対応する画素にマップバックし、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記対応する画素に任意の色を割り当て、
前記割り当てられた任意の色に基づいて、前記対象の未混合カラー画像を生成する、構成を有する、請求項５８に記載のコンピュータ方法。
【請求項72】
機械学習プロトコールを使用してマルチスペクトル反射率データキューブを取得することをさらに含む、請求項５８に記載のカプセルハイパースペクトルシステム。
【請求項73】
撮像カプセルから放射された第１の照明光で参照対象を照明させることと、前記第１の照明光の間に前記参照対象の画像を取得することと、
前記撮像カプセルから放射された第２の照明光で前記参照対象を照明させることと、
前記第２の照明光の間に前記参照対象の画像を取得することと、
前記撮像カプセルから放射された第３の照明光で前記参照対象を照明させることと、
前記第３の照明光の間に前記参照対象の画像を取得することと、を含む、コンピュータ方法。
【請求項74】
前記第３の照明光が白色光照明である、請求項７３に記載のコンピュータ方法。
【請求項75】
前記参照対象が色基準画像を含む、請求項７３に記載のコンピュータ方法。
【請求項76】
前記第１の照明光、前記第２の照明光、および前記第３の照明光が各々、少なくとも２つのＬＥＤによる照明を含む、請求項７３に記載のコンピュータ方法。
【請求項77】
画像の各画素についてスペクトルを取得することと、各画素のスペクトルから変換行列を生成することと、をさらに含む、請求項７３に記載のコンピュータ方法。
【請求項78】
前記第１の照明光で前記対象を照明させることと、前記第１の照明光の間に前記対象の画像を取得することと、
前記第２の照明光で前記対象を照明させることと、
前記第２の照明光の間に前記対象の画像を取得することと、
前記第３の照明光で前記対象を照明させることと、
前記第３の照明光の間に前記参照対象の画像を取得することと、をさらに含む、請求項７７に記載のコンピュータ方法。
【請求項79】
ハイパースペクトル処理システムが、前記第１の照明光、前記第２の照明光、および前記第３の照明光の間に取得された前記対象の画像からマルチスペクトル反射率データキューブを生成する、請求項７８に記載のコンピュータ方法。
【請求項80】
前記マルチスペクトル反射率データキューブが、前記対象の前記画像を用いて擬似逆方法から得られる、請求項７９に記載のカプセルハイパースペクトルシステム。
【請求項81】
前記ハイパースペクトル処理システムが、フーリエ変換を使用して、形成された各画素の強度スペクトルを、各画素の前記強度スペクトルに基づいて、複素値関数であって、各複素値関数が、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有する、複素値関数に変換し、
各画素の前記虚数値に対して前記実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記フェーザ点を前記対象画像上の対応する画素にマップバックし、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記対応する画素に任意の色を割り当て、
前記割り当てられた任意の色に基づいて、前記対象の未混合カラー画像を生成する、構成を有する、請求項７９に記載のコンピュータ方法。
【請求項82】
前記ハイパースペクトル処理システムが、各複素値関数の前記実数成分および前記虚数成分の両方にノイズ除去フィルタを少なくとも１回適用して、各画素のノイズ除去された実数値およびノイズ除去された虚数値であって、前記ノイズ除去された実数値および前記ノイズ除去された虚数値が、各画素の前記フェーザ平面上に前記１つのフェーザ点を形成するために使用される、ノイズ除去された実数値およびノイズ除去された虚数値を生成することと、
前記強度スペクトルを形成する前に前記対象画像にノイズ除去フィルタを適用することと、
形成された各画素の強度スペクトルが変換される前にノイズ除去フィルタを適用することと、のうちの少なくとも１つをさらに含む、構成を有する、請求項８１に記載のコンピュータ方法。
【請求項83】
前記ハイパースペクトル処理システムが、前記検出された対象電磁放射を使用して、前記対象の対象画像であって、前記対象画像が少なくとも２つの画素を含み、各画素が前記対象上の１つの物理的点に対応する、対象画像を形成し、
フーリエ変換を使用して、複素値関数であって、各複素値関数が、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有する、複素値関数を生成し、
各画素の前記虚数値に対して前記実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記フェーザ点を前記対象画像上の対応する画素にマップバックし、
前記フェーザ平面上の前記フェーザ点の幾何学的位置に基づいて、前記対応する画素に任意の色を割り当て、
前記割り当てられた任意の色に基づいて、前記対象の未混合カラー画像を生成する、構成を有する、請求項７９に記載のコンピュータ方法。
【請求項84】
機械学習プロトコールを使用して前記マルチスペクトル反射率データキューブを取得することをさらに含む、請求項７９に記載のカプセルハイパースペクトルシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ポータブルハイパースペクトルシステムに関する。本開示はまた、カプセルハイパースペクトルシステムに関する。本開示はまた、繋がれた撮像カプセルを有するカプセルハイパースペクトルシステムおよびハイパースペクトル撮像システムに関する。
【背景技術】
【0002】
従来、オブジェクト、サンプルまたは特徴の検査、特徴付け、および分類は、様々な分野で行われてきた。多くの場合、この動作は、人間の目に見えるスペクトル範囲において、赤、緑、および青（ＲＧＢ）チャネルを有するカラーカメラを利用して、対象を撮像することによって実行することができる。複数のアプリケーションは、ＲＧＢ値が類似しすぎる特徴の区別を必要とする場合がある。ハイパースペクトル撮像システムは、ＲＧＢ限界を超えて、いくつかのスペクトルチャネルに撮像を拡張する。この追加された次元は、オブジェクトを検査、特徴付け、および分類する能力を拡張する。
【0003】
典型的なハイパースペクトル撮像システムは、典型的には、長い分析（例えば、１画像あたり数分）および大きな計算能力と組み合わされたより大きなフットプリント（例えば、１立方インチから出発する）を有する高価な撮像デバイス（例えば、２０２０年時点では４万米ドル以上であることが多い撮像デバイス）を必要とする。そのようなシステムは、高電力、長い処理時間、および大きな空間要件を有する可能性がある。一方、携帯可能でリアルタイム動作を可能にする低電力デバイスは、アプリケーションの範囲を多数のアプリケーションに拡大し得る。
【0004】
ハイパースペクトル撮像システムのいくつかの例示的なユースケースは、以下を含む。ハイパースペクトル撮像システムは、農業検査を実行する際に使用することができ、農業検査は、現場で製品の健康、成熟または品質を評価し得る。ハイパースペクトル撮像システムを使用する風景マッピングおよびサーベイデバイスは、リアルタイムのハイパースペクトル評価のために無人航空機に装備されてもよい。環境監視用に構成されたハイパースペクトル撮像システムは、連続低エネルギー分析のために静的アセンブリに取り付けられてもよい。公衆および健康の安全性を研究するために、ハイパースペクトル撮像システムは、自動または手動のスクリーニングデバイス上に組み立てられ得る。法医学は、ハイパースペクトル撮像システムを使用して、紙幣などの品目の真正性を検出し得る。ロボット工学は、ハイパースペクトル撮像システムを使用して、視覚を必要とする自動化された動作の精度を高める。自律車両は、ハイパースペクトル撮像システムを使用することによって、道路、通り、色が厳密に一致するオブジェクトの検出を改善し得る。ヘッドアップディスプレイは、ハイパースペクトル撮像を用いて、低光条件で高速かつ高感度の視覚を向上させ得る。医療診断は、ハイパースペクトル撮像システムを使用して疾患の初期段階を検出し、患者の転帰を改善することができる。
【0005】
がんの検出のためのハイパースペクトル撮像システムの使用は、医療に大きな影響を及ぼす可能性がある。例えば、食道がん（ＥＣ）の発生率（１０万人当たり）が男性では１７．９、女性では６．８の東アジアは、がん検出にハイパースペクトル撮像システムを利用し得る最大の市場であり得る。食道スクリーニングは、中国で既に試験されており、スクリーニングされた患者とスクリーニングされなかった患者とで死亡リスク率が４７％低下したことが示されている。侵襲性が低く、迅速で安価なスクリーニングデバイスは、早期検出の可能性を高め、提供者にとってより良好な患者転帰およびより低いコストをもたらし得ると考えられる。
【0006】
食道疾患の一例として、ＥＣはしばしば疾患経過の後期まで無症候性のままであり、効率的なスクリーニング処置の重要性を強調する。内視鏡検査は、個人が高リスクまたは症候性でない限り、医師によって推奨されないことが多い。今日使用されている最も一般的なスクリーニング処置は、上部胃腸（ＧＩ）内視鏡検査である。この処置は、カメラを含む太い可撓性チューブを挿入し、患者の喉を照らすことを含む。ＦＤＡが承認した内視鏡は、（２０１５年には）約４万米ドルのコストがかかり、画像プロセッサユニットに関しては追加で２５，０００米ドルのコストがかかる。そして、医師は、食道の内壁を検査し、さらなる検査が必要か否かを評価することができる。内視鏡の大型で侵襲的な性質のために、スクリーニング全体の間に深い鎮静が必要とされ、したがって、この処置はスクリーニングにとって不便である。一部には、深い鎮静は呼吸不全のリスクを伴い、処置前後の精密検査および訓練された人員による観察を必要とするためである。したがって、この処置は、設備コストおよび必要な鎮静処置の点で高価である。
【0007】
さらに、例示的な低解像度ハードウェアがＰＣＴ出願ＷＯ／２０１５／１５７７２７に開示されており、本開示の内容はその全体が本明細書に組み込まれる。
【0008】
上記を考慮すると、食道疾患および／または肝疾患の診断ならびに他の用途のための安価で効率的な方法を提供し得る本開示のハイパースペクトル撮像システムを有することが有利であり得る。
【発明の概要】
【0009】
いくつかの実施形態では、本開示は内視鏡システムに関する。いくつかの態様では、内視鏡システムは、カプセルハイパースペクトルシステムに関する。いくつかの態様では、カプセルハイパースペクトルシステムは、繋がれた撮像カプセルおよびハイパースペクトル撮像システムを含むことができる。
【0010】
いくつかの実施形態では、カプセルハイパースペクトルシステムは、撮像カプセルから複数の異なる照明光を放射するように構成された複数の発光体を有する照明システムと、少なくとも１つの撮像センサを有するハイパースペクトル撮像システムと、を有する撮像カプセルであって、照明システムおよびハイパースペクトル撮像システムは、異なる照明光のシーケンスで対象を照明し、シーケンス内の異なる照明光の各々の間に対象を協働して撮像するように構成されている、撮像カプセルと、少なくとも１つのプロセッサを有するハイパースペクトル処理システムであって、ハイパースペクトル処理システムは、ハイパースペクトル撮像システムと動作可能に結合され、そこから対象の画像を受信し、対象の受信画像から対象のマルチスペクトル反射率データキューブを生成するように構成されている、ハイパースペクトル処理システムと、を含むことができる。いくつかの態様では、テザーは、撮像カプセルに結合されたカプセル端部と、ハイパースペクトル処理システムに結合されたシステム端部と、を有する。テザーは、ハイパースペクトル撮像システムおよびハイパースペクトル処理システムと、これらの間でデータを渡すように通信可能に接続することができる。いくつかの態様では、照明システムは、少なくとも１つのＬＥＤが白色光ＬＥＤである、および／または少なくとも２つのＬＥＤが異なる色帯域を有する有色ＬＥＤであるなど、少なくとも３つの異なる色帯域を有する少なくとも３つのＬＥＤを備える。これは、少なくとも２つの白色光ＬＥＤと、少なくとも２つの異なる色帯域を有する少なくとも４つの有色ＬＥＤと、を含む少なくとも６つのＬＥＤなどの、複数のＬＥＤの均一に配置されたアレイを含むことができる。
【0011】
いくつかの実施形態では、各ＬＥＤの発光波長は、健康な組織上の白色および／またはピンクがかった表面と、非健康な組織上の赤色表面と、を視認可能に識別し、互いに区別できるように選択される。
【0012】
いくつかの実施形態では、少なくとも１つの撮像センサおよび複数の発光体は、プレート上に配置され、同じ方向に向けられる。
【0013】
いくつかの実施形態では、ハイパースペクトル撮像システムは、固定レンズシステム、着脱可能なレンズシステム、取り換え可能なレンズシステム、または交換可能なレンズシステムであるレンズシステムを含む。いくつかの態様では、レンズシステムは、少なくとも約９０度から約３６０度未満または約１２０度から約１８０度の範囲の視野（ＦＯＶ）を有する少なくとも１つのレンズを有する。いくつかの態様では、ハイパースペクトル撮像システムは、光学レンズ、光学フィルタ、分散光学系、またはそれらの組み合わせを含む。いくつかの態様では、ハイパースペクトル撮像システムは、第１の光学レンズと、第２の光学レンズと、ダイクロイックミラー／ビームスプリッタと、を備える。いくつかの態様では、ハイパースペクトル撮像システムは、光学レンズ、分散光学系を備え、少なくとも１つの撮像センサは光検出器アレイである。
【0014】
いくつかの実施形態では、少なくとも１つの撮像センサは、撮像カプセルの中心軸に対して偏心した位置に配置される。いくつかの態様では、少なくとも１つの撮像センサは、中心軸から約１０度～約３５度離れて配置される。いくつかの態様のいくつかでは、ハイパースペクトル撮像システムは、カプセルの光学入口と少なくとも１つの撮像センサとの間に配置された光学フィルタリングシステムをさらに備える。いくつかの態様では、光学フィルタリングシステムは、メディアンフィルタなどのノイズ除去フィルタを含む。
【0015】
いくつかの実施形態では、撮像カプセルはカプセルカバーを含み、カプセルカバーは外面にテクスチャを有する。いくつかの態様では、テクスチャは少なくとも１つのディンプルを含み、少なくとも１つのディンプルは、患者が繋がれた撮像カプセルを容易に嚥下することができるように構成されている。いくつかの態様では、テクスチャは少なくとも１つのチャネルを含み、少なくとも１つのチャネルは、患者が繋がれた撮像カプセルを容易に嚥下することができるように構成されている。
【0016】
いくつかの実施形態では、ディスプレイは、ハイパースペクトル処理システムと動作可能に結合され、照明システムは、少なくとも１つの撮像センサがディスプレイ上に撮像された対象を表示するように較正される。
【0017】
いくつかの実施形態では、カプセルは、少なくとも１つの撮像センサの異なる照明光および撮像のシーケンスを制御するように構成された制御システム（例えば、照明システムまたはハイパースペクトル撮像システム内の制御システム）を含む。
【0018】
いくつかの実施形態では、ハイパースペクトル処理システムは、制御システム、メモリ、およびディスプレイを含み、制御システムは、マルチスペクトル反射率データキューブの生成、メモリへのマルチスペクトル反射率データキューブの記憶、およびディスプレイへマルチスペクトル反射率データキューブまたはその画像表現を表示させるように構成されている。
【0019】
いくつかの実施形態では、少なくとも１つの光検出器は、対象上の少なくとも１つの物理的点によって吸収、透過、屈折、反射、および／または放射された対象電磁放射であって、対象放射は少なくとも２つの対象波を含み、各対象波は強度および固有の波長を有する、対象電磁放射を検出し、各対象波の強度および波長を検出し、検出された対象電磁放射、ならびに各対象波の検出された強度および波長をハイパースペクトル処理システムに送信する、構成を有する。いくつかの態様では、ハイパースペクトル処理システムは、検出された対象電磁放射を使用して対象の対象画像であって、対象画像は少なくとも２つの画素を含み、各画素は対象上の１つの物理的点に対応する、対象画像を形成し、検出された各対象波の強度および波長を使用して、各画素に対して少なくとも１つの強度スペクトルを形成し、各画素について少なくとも１つの強度スペクトルからマルチスペクトル反射率データキューブを生成する、構成を有する。いくつかの態様では、ハイパースペクトル処理システムは、フーリエ変換を使用して形成された各画素の強度スペクトルを、各画素の強度スペクトルに基づいて複素値関数であって、各複素値関数は、少なくとも１つの実数成分と、少なくとも１つの虚数成分と、を有する、複素値関数に変換し、各画素についてノイズ除去された実数値およびノイズ除去された虚数値を生成するように、各複素値関数の実数成分および虚数成分の両方に少なくとも１回ノイズ除去フィルタを適用し、各画素のノイズ除去された虚数値に対してノイズ除去された実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、フェーザ点を対象画像上の対応する画素にマップバックし、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、対応する画素に任意の色を割り当し、割り当てられた任意の色に基づいて対象の未混合カラー画像を生成する、構成を有する。いくつかの態様では、ハイパースペクトル処理システムは、ハイパースペクトル処理システムのディスプレイ上に対象の未混合カラー画像を表示する構成を有する。いくつかの態様では、ハイパースペクトル処理システムは、対象の未混合カラー画像を生成するために、フーリエ変換の第１の高調波のみまたは第２の高調波のみを使用する。いくつかの態様では、ハイパースペクトル処理システムは、フーリエ変換の第１の高調波および第２の高調波のみを使用して、対象の未混合カラー画像を生成する。いくつかの態様では、対象放射は、蛍光波長、または少なくとも４つの波長のうちの少なくとも１つを含む。いくつかの態様では、ハイパースペクトル処理システムは、１．２から５０の範囲の少なくとも１つのスペクトルの信号対ノイズ比で対象の未混合カラー画像を形成するように構成されている。いくつかの態様では、ハイパースペクトル処理システムは、２から５０の範囲の少なくとも１つのスペクトルの信号対ノイズ比で対象の未混合カラー画像を形成する。いくつかの態様では、ハイパースペクトル処理システムは、各画素に任意の色を割り当てるために参照物質を使用する構成を有する。
【0020】
いくつかの実施形態では、ハイパースペクトル処理システムは、参照物質を使用して任意の色を各画素に割り当てる構成を有し、参照物質の未混合カラー画像は、対象の未混合カラー画像の生成に先立って生成される。いくつかの態様では、ハイパースペクトル処理システムは、参照物質を使用して任意の色を各画素に割り当てる構成を有し、参照物質の未混合カラー画像は、対象の未混合カラー画像の生成に先立って生成され、参照物質は、物理構造、化学分子、生物学的分子、疾患によって引き起こされる物理的変化および／もしくは生物学的変化、またはそれらの任意の組み合わせを含む。
【0021】
いくつかの実施形態では、照明システムおよびハイパースペクトル撮像システムは、第１の照明光で参照対象を照明し、第１の照明光の間に参照対象を撮像し、第１の照明光とは異なる第２の照明光で参照対象を照明し、第２の照明光の間に参照対象を撮像し、第１の照明光および第２の照明光とは異なる第３の照明光で参照対象を照明し、第３の照明光の間に参照対象を撮像するように協働して構成されている。いくつかの態様では、第３の照明光は白色光照明である。いくつかの態様では、参照対象は色基準画像を含む。いくつかの態様では、第１の照明光、第２の照明光、および第３の照明光は各々、少なくとも２つのＬＥＤによる照明を含む。
【0022】
いくつかの実施形態では、ハイパースペクトル処理システムは、画像の各画素についてスペクトルを取得し、各画素のスペクトルから変換行列を生成する、構成を有する。
【0023】
いくつかの実施形態では、照明システムおよびハイパースペクトル撮像システムは、第１の照明光で対象を照明し、第１の照明光の間に対象を撮像し、第２の照明光で対象を照明し、第２の照明光の間に対象を撮像し、第３の照明光で対象を照明し、第３の照明光の間に参照対象を撮像するように協働して構成されている。いくつかの態様では、ハイパースペクトル処理システムは、変換行列と、第１の照明光、第２の照明光、および第３の照明光の間に取得された対象の画像とからマルチスペクトル反射率データキューブを生成する構成を有する。いくつかの態様では、マルチスペクトル反射率データキューブは、対象の画像を用いた擬似逆方法から得られる。
【0024】
いくつかの実施形態では、コンピュータ方法は、撮像カプセルの照明システムで対象を照明させることと、撮像カプセルの少なくとも１つの撮像センサから対象上の少なくとも１つの物理的点によって吸収、透過、屈折、反射、および／または放射された検出された対象電磁放射であって、対象放射は少なくとも２つの対象波を含み、各対象波は強度および固有の波長を有する、対象電磁放射を受信することと、検出された対象電磁放射および各対象波検出された強度および波長を撮像カプセルからハイパースペクトル処理システムに送信することと、を含むことができる。
【0025】
いくつかの実施形態では、コンピュータ方法は、検出された対象電磁放射を使用して対象の対象画像であって、対象画像は少なくとも２つの画素を含み、各画素は対象上の１つの物理的点に対応する、対象画像を形成することと、検出された各対象波の強度および波長を使用して、各画素に対して少なくとも１つの強度スペクトルを形成することと、各画素の少なくとも１つの強度スペクトルからマルチスペクトル反射率データキューブを生成することと、を実行するハイパースペクトル処理システムを含むことができる。
【0026】
いくつかの実施形態では、コンピュータ方法は、各画素の強度スペクトルに基づいて、フーリエ変換を使用して各画素の形成された強度スペクトルを複素値関数であって、各複素値関数が少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有する、複素値関数に変換することと、各画素のノイズ除去された実数値およびノイズ除去された虚数値を生成するように、各複素値関数の実数成分および虚数成分の両方に少なくとも１回ノイズ除去フィルタを適用することと、各画素のノイズ除去された虚数値に対してノイズ除去された実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成することと、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、フェーザ点を対象画像上の対応する画素にマップバックすることと、フェーザ平面上のフェーザ点の幾何学的位置に基づいて対応する画素に任意の色を割り当てることと、割り当てられた任意の色に基づいて対象の未混合カラー画像を生成することと、を実行するハイパースペクトル処理システムを含む。いくつかの態様では、ハイパースペクトル処理システムは、ハイパースペクトル処理システムのディスプレイ上に対象の未混合カラー画像を表示させるように構成されている。
【0027】
いくつかの実施形態では、コンピュータ方法は、撮像カプセルから放射された第１の照明光で参照対象を照明させることと、第１の照明光の間に撮像カプセルを用いて参照対象の画像を取得することと、撮像カプセルから放射される第２の照明光で参照対象を照明することと、第２の照明光の間に撮像カプセルを用いて参照対象の画像を取得することと、撮像カプセルから放射される第３の照明光で参照対象照明することと、第３の照明光の間に撮像カプセルを用いて参照対象の画像を取得することと、を含むことができる。いくつかの態様では、コンピュータ方法は、画像の各画素についてスペクトルを取得することと、各画素のスペクトルから変換行列を生成することと、を含むことができる。いくつかの態様では、コンピュータ方法は、撮像カプセルから第１の照明光で対象を照明させることと、第１の照明光の間に撮像カプセルを用いて対象の画像を取得することと、撮像カプセルから第２の照明光で対象を照明することと、第２の照明光の間に撮像カプセルを用いて対象の画像を取得することと、撮像カプセルから第３の照明光で対象を照明することと、第３の照明光の間に撮像カプセルを用いて参照対象の画像を取得することと、を含むことができる。いくつかの態様では、ハイパースペクトル処理システムは、変換行列と、第１の照明光、第２の照明光、および第３の照明光の間に取得された対象の画像とからマルチスペクトル反射率データキューブを生成する構成を有する。いくつかの態様では、マルチスペクトル反射率データキューブは、対象の画像を用いた擬似逆方法から得られる。
【0028】
前述の概要は例示にすぎず、決して限定することを意図するものではない。上述の例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴が、図面および以下の詳細な説明を参照することによって明らかになるであろう。
【0029】
本開示の上記および以下の情報ならびに他の特徴は、添付の図面と併せて以下の説明および添付の特許請求の範囲からより完全に明らかになるであろう。これらの図面は、本開示によるいくつかの実施形態を示しているにすぎず、したがって、その範囲を限定するものと見なされるべきではないことを理解して、本開示は、添付の図面を使用することによってさらなる具体性および詳細を伴って説明される。
【図面の簡単な説明】
【0030】
【図1A】撮像カプセルおよびハイパースペクトル処理システムを含むカプセルハイパースペクトルシステムの概略図を含む。
【図1B】撮像カプセルの一実施形態の断面概略図を含む。
【図1C】撮像カプセルの一実施形態の断面概略図を含む。
【図1D】ドローンに繋がれた撮像カプセルの図を含む。
【図1E】地上車両として構成された撮像カプセルの図を含む。
【図1F】小型クレーンに繋がれた撮像カプセルの図を含む。
【図2A】撮像センサおよびＬＥＤのアレイを有するカプセルのフロントエンドプレートの概略図を含む。
【図2B】２つの撮像センサおよびＬＥＤのアレイを有するカプセルのフロントエンドプレートの概略図を含む。
【図2C】撮像センサおよびＬＥＤのアレイを有するカプセルの繋がれたエンドプレートの概略図を含む。
【図2D】２つの撮像センサおよびＬＥＤのアレイを有するカプセルの繋がれたエンドプレートの概略図を含む。
【図3A】撮像センサおよびＬＥＤのアレイを有するカプセルのサイドプレートの概略図を含む。
【図3B】２つの撮像センサおよびＬＥＤのアレイを有するカプセルのサイドプレートの概略図を含む。
【図4A】テクスチャ加工されたカバーにくぼみを有するカプセルの一実施形態のテザー端面図を含む。
【図4B】テクスチャ加工されたカバーにくぼみを有するカプセルの一実施形態の側面図を含む。
【図4C】テクスチャ加工されたカバー内にチャネルを有するカプセルの一実施形態のテザー端面図を含む。
【図4D】テクスチャ加工されたカバー内にチャネルを有するカプセルの一実施形態の側面図を含む。
【図5】画像をハイパースペクトル未混合カラー画像に変換するために撮像カプセルおよびハイパースペクトル処理システムを使用するためのプロトコールのフローチャートを含む。
【図6】マルチスペクトル反射率データキューブを生成するためのワークフローの概略図を含む。
【図7A】通常の白色光照明下での食道を示す画像（例えば、マルチスペクトル反射率データキューブの表現）を含む。
【図7B】偽色ハイパースペクトルフェーザ画像における食道を示す画像を含む。
【図7C】食道の対応するＧ－Ｓヒストグラム（例えば、フェーザプロット）を示すグラフを含む。
【図8A】通常の白色光照明下での腸を示す画像（例えば、マルチスペクトル反射率データキューブの表現）を含む。
【図8B】偽色ハイパースペクトルフェーザ画像における腸を示す画像を含む。
【図8C】腸の対応するＧ－Ｓヒストグラム（例えば、フェーザプロット）を示すグラフを含む。
【図9】本発明のシステムおよび方法で使用することができるコンピューティングデバイスの概略図を含む。
【発明を実施するための形態】
【0031】
図面の要素および構成要素は、本明細書に記載の実施形態の少なくとも１つに従って配置することができ、その配置は、当業者によって本明細書に提供される開示に従って変更され得る。
【0032】
以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照する。図面では、文脈上別段の指示がない限り、類似の記号は通常、類似の構成要素を識別する。詳細な説明、図面、および特許請求の範囲に記載された例示的な実施形態は、限定を意味するものではない。本明細書に提示される主題の趣旨または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で一般的に説明され、図に示されている本開示の態様は、様々な異なる構成で配置、置換、組み合わせ、分離、および設計することができ、そのすべてが本明細書で明示的に企図されていることが容易に理解されよう。
【0033】
本発明は、喉組織などの組織の有色光および白色光ならびにハイパースペクトルベースのスクリーニングのために開発された小型で低コストの繋がれた内視鏡に関する。繋がれた内視鏡は、食道疾患を視覚化および診断するために使用することができるように嚥下することができる。この繋がれた撮像カプセルは、単回使用または限られた数の使用のために設計され得り、専門家（例えば、胃腸科医による食道内視鏡検査）に紹介される前に、一次医療の状況で医療助手、看護師または医師による使用を意図し得る。この設計の技術的利点は、食道疾患のスクリーニングプロセスの改善された全体的な有効性を提供する。しかしながら、撮像カプセルは繋がれていなくてもよく、またはドローン、地上車両、もしくはクレーンなどの機械と結合されてもよい。カプセルのサイズは、嚥下するのに十分に小さく、それによって機械のサイズは、小さな空間に収まるように等しく小さくすることができる。
【0034】
例示的なカプセルハイパースペクトルシステムは、繋がれた撮像カプセル、テザー、光照明システム（例えば、有色光および白色光）、ハイパースペクトル撮像システム、およびハイパースペクトル処理システムを含み得る。例示的な光照明システムは、ＬＥＤ照明システムを備えてもよい。いくつかの態様では、カプセルは、対象を照明するための少なくとも３つの光源（「照明源」）を含むことができ、２つは有色とすることができ、３つ目は白色であり、照明源は、３つの光源の各々について少なくとも１つの波（「照明波」）または帯域を含む電磁放射（「照明源放射」）を生成する。カプセルハイパースペクトルシステムは、撮像センサ（例えば、カメラ）およびディスプレイをさらに含み得る。
【0035】
本発明の撮像カプセルは、低解像度（４００×４００画素）を有する第一世代デバイスよりも大幅に改善される。低解像度カメラは、食道の扁平上皮がんなどの食道疾患の疑わしい領域を撮像するための解像度および正確な位置決め能力を欠いていることが分かった。バレット食道として知られる状態は、この低解像度では明確に見えない場合がある。それにより、本撮像カプセルは、ハイパースペクトル画像処理からの高解像度を可能にするための改善を提供する。ここで、改良された撮像カプセルは、食道の扁平上皮がんなどの食道疾患の疑わしい領域を撮像するために、高解像度および正確な位置決め能力を提供することができる。バレット食道として知られている状態は、高解像度撮像カプセルで明確に見ることができる。
【0036】
ハイパースペクトル処理を有する本発明の高精細撮像カプセルは、３つの連続するステップで、好ましくは２つの色の照明、次いで白色光照明を用いて、視覚化および撮像のために少なくとも３つのＬＥＤを利用し得る統合カスタムハードウェア照明システムを提供し得る。ＬＥＤの少なくとも１つは白色である。カプセル内のＬＥＤの数は、３つのＬＥＤから６つ以上のＬＥＤに及ぶことができ、これは、非特殊化ＣＭＯＳベースの撮像センサを使用して高解像度画像（例えば、６０Ｈｚのフレームレートで最大１２８０×１０８０画素）のソフトウェアベースのハイパースペクトル分解を可能にし得る。画面キャプチャ中のモーションアーチファクトを最小限に抑えるために、６０Ｈｚ以上のフレームレートが使用される。撮像は、約１０ｎｍの波長帯域、約４１０ｎｍ～約７５０ｎｍの可視波長範囲、またはデバイスの有効スペクトル範囲の有効フィルタリングを有することができる。例えば、６つのＬＥＤは、可視光スペクトルの３２のスペクトル帯域の識別を可能にし得る。
【0037】
撮像センサは、既存の最上位の、ＦＤＡ承認の胃腸（ＧＩ）検査用の内視鏡（例えば、１０８０ｐ解像度を有するオリンパス内視鏡）に匹敵する解像度を有する高精細カメラとして構成されることができる。高フレームレート（６０＋ｆｐｓ）は、自動化された機械視覚ソフトウェアプログラムまたは医療専門家による詳細な分析のために、画面キャプチャ画像のモーションアーチファクトを大幅に低減し得る。
【0038】
テザー（例えば、ワイヤ、ガイドワイヤ、コード、データコードなど）をカプセルに結合することができる。テザーは、疑わしい疾患領域の撮像を改善するために、適度に経験豊富なユーザが食道内のカメラ位置を手動で正確に回転させることを可能にし得る。このテザーは、電力およびデータ転送リンクをカプセルに供給し得るだけでなく、ユーザが後のフォローアップ検査のために食道内の疑わしい疾患領域の位置を正確に測定し得るように、一定の間隔でその表面に可視マーキングでマークし得る。
【0039】
カプセルのケーシングの表面は、デバイスの前部から流体を除去し得り、嚥下およびスクリーニング検査後の回復を容易にし得るテクスチャ（例えば、表面ディンプル、およびカプセルの長手方向軸に平行でない溝またはチャネル）を有し得る。
【0040】
カプセルハイパースペクトルシステムは、例えば、テザーに取り付けられたカプセルを嚥下した後の胃腸管内の組織のスクリーニングに使用するために意図され得る。組織は、食道疾患の識別に有用であり得る、食道組織などの任意の胃腸管組織であり得る。繋がれたカプセルは、二次または三次ＧＩ専門家へのアクセスが制限された一次医療施設で使用することができる。
【0041】
カプセルハイパースペクトルシステムは、このシステムを使用して診断し得る食道疾患および状態を視覚化するために使用し得る。いくつかの例には、バレット食道、食道がん（ＥＣ）、胃がん、胃食道逆流症（ＧＥＲＤ）、消化性潰瘍疾患、嚥下障害、および食道静脈瘤が含まれるが、これらに限定されない。食道静脈瘤は、一般に肝疾患に関連する状態であるため、このカプセルハイパースペクトルシステムは、肝疾患の診断に使用され得る。
【0042】
いくつかの実施形態では、カプセルハイパースペクトルシステムは、低コストで使いやすいＨＤ－ＴＩＣシステムとして構成されることができる。ＨＤ－ＴＩＣシステムは、食道がん（腺がんおよび扁平上皮がん）および肝疾患の関連症状（例えば、食道静脈瘤、門脈圧亢進症の他の徴候）による異形成についての食道の毎年または定期的な医療スクリーニングを意図し得る。
【0043】
しかしながら、カプセルハイパースペクトルシステムは、クレバス、ウェル、小さなトンネルまたは導管、空気流経路、換気システムなどの他の環境、自然、または任意の他の場所または使用で使用されてもよい。対象は、照明および撮像のための任意の対象オブジェクトとすることができる。
【0044】
本明細書で提供されるカプセルハイパースペクトルシステムの説明は、説明したような照明および撮像のための任意の環境に適用することができる。
【0045】
図１Ａは、カプセルハイパースペクトルシステム１００の一実施形態を示す。カプセルハイパースペクトルシステム１００は、端部でテザー１０４に取り付けられた繋がれた撮像カプセル１０２を含むように示されている。カプセル１０２は、様々な色（例えば、赤色、青色、緑色、黄色、橙色、紫色など）ならびに白色光を放射するように構成された少なくとも３つの発光体１０７を有する光照明システム１０６を含む。カプセルハイパースペクトルシステム１００は、少なくとも１つの撮像センサ１０９を有するハイパースペクトル撮像システム１０８を有する撮像カプセル１０２を含むことができる。テザー１０４は、図９に示すように、１つ以上のコンピュータの少なくとも一部とすることができる少なくとも１つのプロセッサ１１１を有するハイパースペクトル処理システム１１０と動作可能に結合される。
【0046】
カプセル１０２は、ハイパースペクトル処理システム１００に繋がれていてもよいが、分離されていても、繋がれていなくてもよい。この場合、カプセル１０２は、ハイパースペクトル処理システム１００に差し込むことができるメモリカードを含むことができ、またはカプセル１０２は、ハイパースペクトル処理システム１００に直接差し込むことができる。
【0047】
照明システム１０６は、発光体１０７として３つ以上のＬＥＤを含むＬＥＤ照明システムを含むことができる。ＬＥＤは、撮像カプセル１０２のカメラ（例えば、撮像センサ１０９）用に較正されてもよい。また、ＬＥＤは、照明組織（例えば、食道）の画像がディスプレイ１１２を有する任意の表示システム上に自由に表示され得るように、ディスプレイ１１２に合わせて調整され得る。いくつかの態様では、撮像センサ１０９は、図示（例えば、図２Ａ）のように、繋がれた撮像カプセル１０２の軸上に中心付けられる。いくつかの態様では、撮像センサ１０９は、繋がれた撮像カプセルの軸１１４に対して偏心した位置を有し得る（例えば、図２Ｂ）。例えば、撮像センサ１０９は、繋がれた撮像カプセルの軸に対して角度１１６で偏心して配置されてもよく、カメラは、軸から３５度、＋／－１％、２％、５％、１０％、または２０％に配置される。すなわち、撮像センサ１０９から導かれる光は、軸１１４から角度１１６にあり得る。
【0048】
いくつかの実施形態では、カプセルハイパースペクトルシステム１００は、複数のＬＥＤの均一に配置されたアレイをさらに含み得る。例えば、設計は、撮像センサの周りに配置されるなど、均一な照明のために少なくともまたは最大６つのＬＥＤ（例えば、３対）を含むことができる。ＬＥＤの発光波長は、健康な食道上の白色／ピンクがかった表面および非健康な食道上の赤色表面を容易に識別できるように選択されてもよい。しかしながら、少なくとも３つのＬＥＤは、３つの異なる照明条件で本明細書に記載の動作を実行することができることを認識されたい。３つの異なる照明条件は、各条件に対して２つの光を使用することができ、それによって６つの光を使用する。各照明条件の光の対は、撮像を改善するために光カバレッジと共に改善することができる。３対のＬＥＤが良い例であるが、６つの異なる光の色が存在し得る。あるいは、少なくとも２つの異なる対の有色光および対の白色光が存在することができ、それらは同じ色の対（両方とも緑色）または異なる色の対（例えば、赤色および青色）を含み得る。ＬＥＤの数および異なる色は、本明細書では限定されない。
【0049】
いくつかの実施形態では、カプセル１０２は、任意のタイプの表示システムにカラー画像を提供することができる。発光体は、撮像中に任意の光の色の組み合わせで照明することができ、それは変化することができ、表示することができる。
【0050】
図１Ａはまた、部位を洗浄するために撮像されている部位に灌注流体（例えば、水）を供給するポンプを含むことができる灌注システム１６０を示す。洗浄は、撮像を改善するためにデブリまたは本体材料を除去することができる。灌注システム１６０は、カプセル１０２の周りに流体を放出するためにカプセル１０２またはその近くに開口部を有する灌注導管１６２を含むことができる。導管１６２は、テザー１０４の周りにあってもよく、そうでなければテザーに関連付けられてもよい。
【0051】
図１Ｂ～図１Ｃは、光学系１１８を含み得るハイパースペクトル撮像システム１０８を示す。光学系１１８は、少なくとも１つの光学部品を含み得る。少なくとも１つの光学部品は、撮像センサ１０９などの少なくとも１つの光検出器と、任意選択的に、撮像センサ１０９と光学的に結合されたレンズシステム１２０（例えば、１つ以上のレンズシステム）と、を備えてもよい。光検出器は、フォトダイオードまたは他の撮像センサとすることができる任意の光検出器とすることができる。検出器には、カメラ撮像デバイス（例えば、光電子増倍チューブ、光電子増倍チューブアレイ、デジタルカメラ、ハイパースペクトルカメラ、電子増倍電荷結合デバイス、ｓｃｉ－ＣＭＯＳ、またはそれらの組み合わせなど）が使用されてもよい。光検出器は、対象上の少なくとも１つの物理的点によって吸収、透過、屈折、反射、および／または放射された対象電磁放射（「対象放射」）であって、対象放射は少なくとも２つの対象波（「対象波」）を含み、各波は強度および異なる波長を有する、対象放射を検出し、各対象波の強度および波長を検出し、検出された対象放射、ならびに各対象波の検出された強度および波長をハイパースペクトル処理システム１１０に送信する、構成を有し得る。ハイパースペクトル処理システム１１０については、以下でより詳細に説明する。
【0052】
少なくとも１つの光学部品は、光学レンズ１２２、光学フィルタ１２４、分散光学系１３０、またはそれらの組み合わせを含むことができる。少なくとも１つの光学部品は、第１の光学レンズ１２６、第２の光学レンズ１２８、およびダイクロイックミラー／ビームスプリッタとして構成され得る光学フィルタ１２４をさらに備えてもよい。少なくとも１つの光学部品は、光学レンズ１２２、分散光学系１３０をさらに備えてもよく、少なくとも１つの撮像センサ１０９は光検出器アレイ１０９ａである。
【0053】
いくつかの実施形態では、少なくとも１つの光学部品は、撮像される対象と少なくとも１つの撮像センサ１０９との間に配置された少なくとも１つの光学フィルタ１２４を有する光学フィルタリングシステムを含み得る。対象から放出される対象放射は、対象によって放出される電磁放射を含み得る。いくつかの態様では、対象によって放出される電磁放射は蛍光を含む。いくつかの態様では、光学フィルタ１２４のノイズ除去フィルタは、メディアンフィルタを含み得る。
【0054】
図１Ｃに示されるように、カプセルハイパースペクトルシステム１００は、レンズシステムをさらに備えてもよい。１つ以上のレンズのレンズシステムは、約１２０度から１８０度を超える範囲、または約１２０度から約１９０度の範囲、または約１２０度から約１８０度の範囲の視野（ＦＯＶ）を有するレンズ１２２を含むことができる。レンズシステムは、胃食道括約筋の背面を撮像するように構成されてもよい。いくつかの態様では、レンズシステムは、取り換え可能なレンズシステムまたは交換可能なレンズシステムとして構成されることができる。また、レンズシステムは、カプセルなどのカプセルハイパースペクトルシステムの遠位端に配置されてもよい。レンズシステムは、２つ以上のレンズを含み得る。
【0055】
カプセル１０２は、国際公開第２０１８／０８９３８３号パンフレットに記載されているような照明システムおよび検出システムを含むことができ、これは図１４から２１などのその全体が特定の参照により本明細書に組み込まれる。
【0056】
図１Ｄは、ドローン１４０（例えば、無人航空機）から使用されるように構成された撮像カプセル１０２ａを示す。ドローン１４０は、テザー１０４ａ上でカプセル１０２ａを上昇または下降させるための機械部品１４４（例えば、プーリ、スピンドル、ウインチなど）を有するテザーシステム１０４を含む。テザー１０４ａは、撮像に使用するために必要または所望に応じて長くまたは短くすることができる。例えば、ドローン１４０は下降することができなくてもよいが、機械部品１４４はテザー１０４ａを下降させてカプセル１０２ａを下降させることができる。カプセル１０２ａおよび／またはドローン１４０は、ドローン１４０およびカプセル１０２ａを撮像目的で動作させることができる本明細書に記載のコントローラ（例えば、コンピュータ）を含むことができる。ドローン１４０および／またはカプセル１０２ａは、無線データ送信などのハイパースペクトル処理システム１１０にデータを送信し得るトランシーバを含み得る。テザー１０４ａは、ドローン１４０とカプセル１０２ａとの間のデータ通信のためのデータ線を提供し得り、または各々が無線データ通信のためのトランシーバを含み得る。また、リモートコントローラ１４６を使用してドローン１４０を制御することもでき、リモートコントローラ１４６はドローン１４０の動作を無線で制御し得る。リモートコントローラ１４６は、ドローン１４０と直接に、またはハイパースペクトル処理システム１１０のコンピュータの一部とすることができる制御モジュールを介して通信することができる。
【0057】
図１Ｅは、地上車両１４８（例えば、無人地上車両、リモート制御装置）から使用されるように構成された撮像カプセル１０２ｂを示す。カプセル１０２ｂは、任意の方法で車両１４８に取り付けられ、車両の本体として機能し得る。車両１４８は、通常のＲＣカーのサイズであってもよいし、嚥下可能なサイズであり得るカプセル１０２ｂの小さいサイズを利用するための小型であってもよい。小型地上車両１４８は、人間またはより大きな設備がアクセスできない小さな場所にアクセスするために使用することができる。カプセル１０２ｂおよび／または車両１４８は、撮像目的で車両１４８およびカプセル１０２ｂを動作させることができる本明細書に記載のコントローラ（例えば、コンピュータ）を含むことができる。車両１４８および／またはカプセル１０２ｂは、無線データ送信などのハイパースペクトル処理システム１１０にデータを送信し得るトランシーバを含み得る。また、リモートコントローラ１４６を使用して車両１４８を制御することもでき、リモートコントローラ１４６は、車両１４８の動作を無線で制御し得る。リモートコントローラ１４６は、車両１４８と直接通信することができ、またはハイパースペクトル処理システム１１０のコンピュータの一部とすることができる制御モジュールを介して通信することができる。あるいは、地上車両は、タンク、犬、昆虫、または蜘蛛のように構成されることができ、車輪、トレッド、脚部、および他の移動部材が車両を推進することができる。
【0058】
図１Ｆは、小型クレーン１５０（例えば、ウインチ）から使用できるように構成された撮像カプセル１０２ａを示す。クレーン１５０は、テザー１０４ｂ上のカプセル１０２ｃを上昇または下降させるための機械部品１５４（例えば、ウインチなど）を有するテザーシステム１５２を含む。テザー１０４ｂは、撮像に使用するために必要または所望に応じて長くまたは短くすることができる。例えば、クレーン１５０は、使用位置に配置された（例えば、ウェルに取り付けられた）ときに下降することができない可能性があるが、機械部品１５４は、テザー１０４ｂを下降させてカプセル１０２ｃを下降させることができる。カプセル１０２ｃおよび／またはクレーン１５０は、撮像目的でクレーン１５０およびカプセル１０２ｃを動作させることができる本明細書に記載のコントローラ（例えば、コンピュータ）を含むことができる。クレーン１５０および／またはカプセル１０２ｃは、無線データ送信などのハイパースペクトル処理システム１１０にデータを送信し得るトランシーバを含み得る。テザー１０４ｂは、クレーン１５０とカプセル１０２ｃとの間のデータ通信のためのデータ線を提供し得り、または各々が無線データ通信のためのトランシーバを含み得る。また、リモートコントローラ１４６を使用してクレーン１５０を制御し得り、リモートコントローラ１４６はクレーン１５０の動作を無線で制御し得る。リモートコントローラ１４６は、クレーン１５０と直接通信することができ、またはハイパースペクトル処理システム１１０のコンピュータの一部とすることができる制御モジュールを介して通信することができる。
【0059】
図２Ａは、撮像センサ１０９およびその周りに配置された６つのＬＥＤ発光体（例えば、発光体１０７）を有する撮像カプセル１０２の正面図を示す。この例では、正面図はカプセル１０２の軸１１４を見下ろす。発光体１０７は、パターンプレート１３０上に配置され、発光体１０７は、本明細書に記載の色および組み合わせのいずれかであり得る。発光体１０７は、白色光ＬＥＤと、狭帯域有色ＬＥＤの特定の組み合わせと、を含むことができる。製造中、プレート１３０上の撮像センサ１０９および発光体１０７の配置は、高精細撮像カプセルの特定の変形（例えば、白色光撮像用の変形および／またはハイパースペクトル撮像用の変形）が可能であるように変更することができる。このプレート１３０のピンアウト位置合わせは、テザーおよび／またはカプセルへの配線と一致する。発光体１０７は、ソフトウェア設定および電子制御スイッチングにおいてユーザによって選択されるように、一度に、対で、または順次（例えば、対の順序で）照明し得る。白色光照明の場合、白色ＬＥＤはすべて一度に照明される。ハイパースペクトル撮像の場合、有色ＬＥＤおよび任意選択的に白色ＬＥＤは、撮像センサ１０９のフレームレートと同期したシーケンスで照明される。一例では、この配置は、ハイパースペクトル分解法による後処理後に、色差（例えば、可能性のある前がん性病変またはがん性病変を示す食道の照明領域の応答波長のシフトまたは差）によって食道内の異形成領域を識別するために使用できるハイパースペクトルデータキューブの生成を可能にする。しかしながら、組織または任意の他のオブジェクトもしくは環境の任意の撮像使用が実行され得ることが認識されるべきである。図２ＡのイメージャおよびＬＥＤの概略図は、単一の撮像センサ１０９を示す。図２ＢのイメージャおよびＬＥＤの概略図は、中心軸から偏心した一対の撮像センサ１０９を示す。
【0060】
発光体１０７は各々、コヒーレント電磁放射源を含み得る。コヒーレント電磁放射源は、レーザ、ダイオード、２光子励起源、３光子励起源、またはそれらの組み合わせを含み得る。発光体放射は、３００ｎｍ～１，３００ｎｍの範囲の波長を有する照明波を含み得る。照明源放射は、３００ｎｍ～７００ｎｍの範囲の波長を有する照明波を含み得る。照明源放射は、６９０ｎｍ～１，３００ｎｍの範囲の波長を有する照明波を含み得る。
【0061】
一例では、ＬＥＤ１は青色、ＬＥＤ２は橙色、ＬＥＤ３は緑色、ＬＥＤ４は赤色、ＬＥＤ５およびＬＥＤ６は両方とも白色であり得る。撮像中、２つの有色光で照明し、これはこれら２つの光の任意の組み合わせであり得る。次に、次の撮像では、２つの異なる光を照明する。そして、３回目の撮像では、２つの白色ＬＥＤを使用する。これは、異なる光を有する光スペクトルの各部分を分析するのに役立つ。これは、対象の色を構築するのに役立つ。別の例では、３つのＬＥＤのみが使用される。２つの有色ＬＥＤおよび１つの白色ＬＥＤが存在し得る。
【0062】
図２Ｂは、プレート１３０上のアレイ内の発光体１０７によって囲まれた複数の撮像センサ１０９を有する繋がれた撮像カプセル１０２の一実施形態の正面図を示す。撮像センサ１０９は、中心軸から偏心している。撮像センサ１０９は、平行に向けられてもよく、またはその表面は、それらの両方が中心軸上の共通の点を指すような角度にあってもよい。
【0063】
図２Ｃは、ＬＥＤ発光体である発光体１０７によって囲まれた撮像センサ１０９を有する繋がれた撮像カプセル１０２の端面図を示す。発光体１０７は、パターンプレート１３０上に配置され、白色光ＬＥＤまたは狭帯域有色ＬＥＤの組み合わせを含むことができる。製造中、プレート１３０上の撮像センサ１０９および発光体１０７の構成またはパターン／配置は、高精細撮像カプセルの特定の変形（例えば、白色光撮像用またはハイパースペクトル撮像用の変形）が可能であるように変更することができる。このＬＥＤプレート１３０のピンアウト位置合わせは、カプセル１０２からテザー１０４への配線と一致する。発光体１０７は、ソフトウェア設定および電子制御スイッチングにおいてユーザによって選択されるように、一度に、対で、または順次に照明することができる。白色光照明の場合、白色ＬＥＤはすべて一度に照明される。ハイパースペクトル撮像の場合、ＬＥＤは、撮像センサ１０９のフレームレートと同期したシーケンスで照明される。これにより、ハイパースペクトル分解法による後処理の後に、色差（例えば、可能性のある前がん性病変またはがん性病変を示す食道の照明領域の応答波長のシフトまたは差）を介して食道内の異形成領域を識別するなど、オブジェクトを特徴付けることができるハイパースペクトルデータキューブの生成が可能になる。図２ＣのイメージャおよびＬＥＤの概略図は、テザー１０４からオフセットされた単一の撮像センサ１０９を示す。
【0064】
図２Ｄは、テザー１０４からオフセットされ、撮像センサ１０９によって囲まれた複数の撮像センサ１０７を有するプレート１３０を示す。
【0065】
図３Ａは、ＬＥＤ発光体である発光体１０７によって囲まれた撮像センサ１０９を有する繋がれた撮像カプセル１０２の側面図を示す。発光体１０７は、白色光ＬＥＤおよび狭帯域有色ＬＥＤの特定の組み合わせを有するなど、本明細書に記載の色または色の組み合わせのいずれかであり得るパターンプレート１３０上に配置される。製造中、このプレート１３０は、高精細撮像カプセルの特定の変形が可能であるように変更することができる。（例えば、白色光撮像またはハイパースペクトル撮像）。このＬＥＤプレート１３０のピンアウト位置合わせは、カプセルからのテザーへの配線と一致する。発光体１０７は、ソフトウェア設定および電子制御スイッチングにおいてユーザによって選択されるように、一度に、対で、または順次に照明することができる。白色光照明の場合、白色ＬＥＤはすべて一度に照明される。ハイパースペクトル撮像の場合、ＬＥＤは、撮像カメラのフレームレートと同期したシーケンスで照明される。図３ＡのイメージャおよびＬＥＤの概略図は、単一の撮像センサ１０９を示し、図３Ｂは、複数の撮像センサ１０９を示す。
【0066】
いくつかの実施形態では、テザー１０４は、カプセルデバイス１０２をシステムの残りの部分に取り付けるための任意のタイプの適切なテザーであり得る。テザー１０４は、いくつかの実施形態では、任意の断面形状を有することができる。図２Ｃは正方形の断面プロファイルを示し、図２Ｄは円形の断面プロファイルを示すが、他の断面形状を使用してもよい。テザー１０４は、体内のカプセルの位置に対する基準を提供するのに役立つ断面形状を有することができる。例えば、形状の各表面は、カプセル１０２およびそのカメラの向きを知るために観察および追跡することができる識別子を有することができる。テザー１０４の次の本体表面が上になるまで回転させることにより、正方形の場合は９０度などの辺の数に基づいて回転角度を提供することができる。いくつかの態様では、テザーは、三角形、長方形、正方形、五角形または他の多角形などの多角形であってもよい非円形テザー１０４であってもよく、正方形の断面プロファイルが示されている。非円形テザー１０４は、使用中にユーザがカプセルがどこにあるかを知るための角度基準を作成するように構成されることができ、例えば、各表面は上向きの表面を追跡および観察するためにラベル付けされる。次に、その角度基準を使用して、ユーザがフォローアップ研究のためにカメラを正確に回転させて同じ位置に配置できるようにすることができる。テザー１０４は、繋がれた撮像カプセルが展開されたときにテザー型撮像カプセル１０２の位置を判定するように構成されたマーキング１０４ａ（例えば、定規線、インチ、センチメートルなど）をその表面に含み得る。非円形テザー１０４は、食道の側壁に対するカプセルの正確な手動回転および位置決めを可能にする。
【0067】
いくつかの実施形態では、テザー１０４はカプセル１０２に繋がれている。テザー１０４のカプセル１０２への結合は、機械的結合を形成するための機械的部分を含むことができ、カプセルからシステムへの、またはその逆のデータ送信のための光学的および／または電子的結合を含むことができる。カプセルハイパースペクトルシステム１００は、カプセルを位置決めするための手動操作に耐えることができるようにテザー１０４とき繋がれた撮像カプセル１０２との間に半剛性接続１３２を形成する機械的結合を含み得る。半剛性接続は、エポキシ、または結合する場合は他の材料を介してもよい。また、シリコーン接続を使用して半剛性接続を提供することができる。半剛性は、テザーがカプセル１０２から破断しないように可撓性を提供する。
【0068】
いくつかの実施形態では、撮像カプセルはカプセルカバー（例えば、シリコーン）を含み得る。いくつかの態様では、カプセルカバーは、その表面にテクスチャを有する。いくつかの例では、テクスチャは、ディンプルおよび／またはチャネルまたは他の特徴を含む。テクスチャは、患者が繋がれた撮像カプセルを容易に嚥下することができるように構成し得る。すなわち、テクスチャは、患者がカプセルを嚥下するのを助けることができる。カバーは、患者が嚥下するように適合されたカプセルに適用し得るが、環境またはオブジェクト撮像のための他のタイプのカプセルはまた、カバーを有してもよい。
【0069】
図４Ａは、カプセル１０２の繋がれた端部の底面図を示し、図４Ｂは、繋がれたカプセル１０２の側面図を示し、カプセル１０２は、テクスチャ加工された表面１６２を有するカバー１６０を有する。カプセルカバー１６０のテクスチャ加工された表面１６２は、嚥下の容易さを促進し、液体排出をカプセル１０２のイメージャ端部から離れるように導くために使用することができる。テクスチャ加工された表面構造を戦略的に配置することによって、これは、液滴の蓄積を促進する親水性領域をカプセルカバー１６０上に効果的に作り出す。これは、カプセル１０２のイメージャ部分のレンズ（単数または複数）の方向から水を効果的に吸引するように作用する。この図は、例示的なテクスチャ、すなわち、小さいディンプル１６４および大きいディンプル１６６のアレイを示す。
【0070】
図４Ｃは、カプセル１０２の繋がれた端部の底面図を示し、図４Ｄは、繋がれたカプセル１０２の側面図を示し、カプセル１０２は、テクスチャ加工された表面１６２を有するカバー１６０を有する。カプセルカバー１６０のテクスチャ加工された表面１６２は、嚥下を容易にし、液体排出をカプセル１０２のイメージャ端部から離れるように導くために設けられる。テクスチャ加工された表面１６２構造を戦略的に配置することによって、これはカプセルカバー１６０上に液滴蓄積を促進する親水性領域を効果的に作り出す。これは、イメージャの１つ以上のレンズの方向から水を効果的に吸引するように作用する。この図は、例示的なテクスチャ、すなわち長いチャネル１６６および短い隆起したチャネル１６４のアレイを示す。
【0071】
カプセルシステムは、統合されたハードウェア構成要素およびソフトウェア構成要素を有し得る。ハードウェアは、例えば、カスタム照明（例えば、ＬＥＤなどの発光体）を備えた小型の高精細カメラ（例えば、撮像センサ）を含み得る。この照明は、食道疾患の徴候の早期検出において非ＧＩ医療専門家を支援するために、ハイパースペクトル後処理技術の使用を可能にし得る。
【0072】
カプセルシステムは、以下の設計された機能および利点を有し得る。カプセル撮像システムは、１００倍以上のコストがかかる最新世代のオリンパスおよびペンタックス内視鏡に匹敵する画像解像度を有する高精細ビデオを提供することができる。テザーは、円形または非円形のテザー（例えば、平坦な長方形などの多角形）にかかわらず、強く、可撓性があってもよい。この構成は、テザーを、（ｉ）患者がカプセルを嚥下するのを容易にする、（ｉｉ）使用後にカプセルを容易に回収する（例えば、１人の看護師のみによる検査、助手なし）、（ｉｉｉ）医療専門家が手動で、制御された機械的およびアナログ的な方法で、上部ＧＩ管内の正確な位置（例えば、食道および胃上部）でカプセルを回転および位置決めするようにさせ得る。カプセル撮像システムは、様々なタイプのがん、ならびにアクセスが困難なオブジェクトまたは環境を撮像するためなど、咽喉組織を最適にスクリーニングするための様々なレンズ（例えば、異なる倍率の１２０度ＦＯＶ～＋１７０度ＦＯＶまたは約１４０度ＦＯＶ）の選択肢を有し得る。異なる必要性が異なるレンズシステムを使用することができるように、異なるレンズシステムを交換可能とすることができる。カプセル照明システムは、通常の照明のために広帯域白色光を放射する適切な発光体を用いて、またはハイパースペクトル分析に適した照明のためのカスタムＬＥＤ構成を用いて構成し得る。これにより、ビデオ画像を既存のハイパースペクトル分析ソフトウェアと互換性を持たせ得る（例えば、組み込まれた参考文献を参照されたい。）。
【0073】
いくつかの実施形態では、カプセルの嚥下可能なバージョンは、カプセルを口当たりよくするために追加のコーンスターチ系食味増強剤を必要としないか、または使用しない。嚥下可能なカプセルは、嚥下を容易にするために、外側カプセルケーシング上にテクスチャ加工されたカバーを含むことができる。カプセルは、ディンプルまたはチャネルを付加しながら直径を大きくすることができ、任意選択的に、食味増強剤なしでカプセルをより容易に嚥下するためにカバーにテクスチャを追加することができる。
【0074】
ハイパースペクトル処理システムは、テザーまたは無線データ通信を介して撮像カプセルに動作可能に結合することができる。したがって、テザーは、光学的データ送信線および／または電気的データ送信線などのデータ送信線を含むことができる。しかしながら、一態様では、ハイパースペクトル撮像システムは、カプセル内の構成要素を動作させるためのバッテリを含むことができ、ハイパースペクトル処理システムとデータを送受信するためのトランシーバを含むことができる。また、カプセルは、使用中に取得された画像またはビデオを保存するためのメモリを有することができ、その後、ハイパースペクトル処理システムにダウンロードすることができる。
【0075】
ハイパースペクトル処理システムは、本明細書に記載の撮像を実行することができる専用ソフトウェアを備えたコンピュータであるか、またはそれを含むことができる。このように、図９は、ハイパースペクトル処理システムのハードウェア構成要素の一例を示している。ハイパースペクトル処理システムのメモリデバイスは、カプセルハイパースペクトルシステムを用いて組織を撮像するために、本明細書に記載の方法を実行させるコンピュータ実行可能コードを含むことができる。
【0076】
カプセルシステムのハードウェアは、医療助手または医療専門家によって分析され得る高品質の画像を生成するために最適化され得る。撮像ハードウェアはまた、ハイパースペクトル撮像および関連する自動機械学習アルゴリズムと互換性があるように最適化されてもよい。したがって、このハードウェアは、「ハイパースペクトル撮像システム（Ａ Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ）」（国際公開第２０１８／０８９３８３号パンフレット）という名称のＰＣＴ出願に開示されているハイパースペクトルシステムおよび方法で使用され得る。本出願の内容は、その全体が本明細書に組み込まれる。簡潔には、本開示のハイパースペクトル内視鏡システムと共に使用し得るハイパースペクトル分解システムおよび方法を本明細書で概説する。
【0077】
ハイパースペクトル撮像システムの別の例を図５に概略的に示す。この例では、ハイパースペクトル撮像システムは、少なくとも１つの検出器１０９または検出器アレイ１０９ａをさらに備える。この撮像システムは、検出器または検出器アレイを使用して対象４０１の画像を形成し得る（対象画像を形成する）。画像は、少なくとも２つの波および少なくとも２つの画素を含み得る。システムは、各波「強度スペクトル」４０２の強度を使用して対象の画像を形成し得る（スペクトル形成）。システムは、フーリエ変換４０３を使用することによって各画素の強度スペクトルを変換し、それによって各画素の検出された強度スペクトルに基づいて複素値関数を形成し得る。各複素値関数は、少なくとも１つの実数成分４０４と、少なくとも１つの虚数成分４０５と、を有してもよい。システムは、少なくとも一度、各複素値関数の実数成分と虚数成分の両方にノイズ除去フィルタ４０６を適用し得る。これにより、システムは、各画素のノイズ除去された実数値およびノイズ除去された虚数値を取得し得る。システムは、各画素についてノイズ除去された虚数値に対してノイズ除去された実数値をプロットし得り、それにより、システムは、フェーザ平面４０７上に点を形成し得る（フェーザ平面上にプロットする）。システムは、画像の少なくとも１つ以上の画素を使用することによってフェーザ平面上に少なくとも１つの追加の点を形成し得る。システムは、フェーザ平面上のその幾何学的位置に基づいて、フェーザ平面上の少なくとも１つの点を選択し得る。システムは、フェーザ平面上の選択された点を対象の画像上の対応する画素にマップバック４０８し得り、対応する画素に色を割り当て得り、色はフェーザ平面上の点の幾何学的位置に基づいて割り当てられる。結果として、システムは、それによって対象４０９の未混合カラー画像を生成し得る。
【0078】
画像形成システムは、光検出器に対象放射を検出させ、検出された各対象波の強度および波長を画像形成システムに送信させ、少なくとも２つの対象波を含む検出された対象放射を取得させ、検出された対象放射を使用して対象の画像を形成し（「対象画像」）、対象画像は少なくとも２つの画素を含み、各画素は対象上の１つの物理的点に対応し、検出された各対象波の強度および波長を使用して、各画素に対して少なくとも１つのスペクトル（「強度スペクトル」）を形成し、フーリエ変換を使用して、形成された各画素の強度スペクトルを、各画素の強度スペクトルに基づいて複素値関数に変換し、各複素値関数は、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有し、各画素についてノイズ除去された実数値およびノイズ除去された虚数値を生成するように、各複素値関数の実数成分および虚数成分の両方に少なくとも１回ノイズ除去フィルタを適用し、各画素のノイズ除去された虚数値に対してノイズ除去された実数値をプロットすることにより、各画素に対してフェーザ平面（「フェーザ点」）上に１つの点を形成し、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、フェーザ点を対象画像上の対応する画素にマップバックし、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、対応する画素に任意の色を割り当て、割り当てられた任意の色に基づいて対象の未混合カラー画像を生成する、構成を有し得る。また、画像形成システムは、対象物の未混合カラー画像を画像形成システムのディスプレイに表示する構成であってもよい。
【0079】
画像形成システムは、フーリエ変換の少なくとも１つの高調波を使用して対象物の未混合カラー画像を生成する構成であってもよい。画像形成システムは、対象の未混合カラー画像を生成するためにフーリエ変換の少なくとも第１の高調波を使用するように構成されてもよい。画像形成システムは、対象の未混合カラー画像を生成するためにフーリエ変換の少なくとも第２の高調波を使用するように構成されてもよい。画像形成システムは、対象物の未混合カラー画像を生成するために、フーリエ変換の少なくとも第１の高調波および第２の高調波を使用するように構成されてもよい。
【0080】
操作方法は、本明細書に記載の方法を含むことができる。撮像カプセルは、テザーを介してまたは無線でハイパースペクトル処理システムに結合することができる。いくつかの実施形態では、その後、撮像カプセルは、患者の喉の撮像のために患者によって嚥下され得る。ハイパースペクトル処理システムは、照明システムに複数の発光体を作動させて食道を照明することができる。ハイパースペクトル処理システムは、ハイパースペクトル撮像システムに、少なくとも１つのセンサに食道を撮像させ、画像データをハイパースペクトル処理システムに送信させることができる。次いで、ハイパースペクトル処理システムは、組織の画像を生成するために、本明細書および組み込まれた参考文献に記載されているように画像データを処理することができる。画像データは、一連の画像からマルチスペクトル反射率データキューブを生成するために使用することができる。
【0081】
いくつかの実施形態では、次いで、撮像カプセルを、人間がアクセスできない領域で撮像するために、クレバスもしくはウェルまたは他の小さな開口環境に下降することができる。ハイパースペクトル処理システムは、照明システムに複数の発光体を作動させて環境またはそのオブジェクトを照明することができる。ハイパースペクトル処理システムは、ハイパースペクトル撮像システムに、少なくとも１つのセンサに環境を撮像させ、画像データをハイパースペクトル処理システムに送信させることができる。次いで、ハイパースペクトル処理システムは、環境およびその中のオブジェクトの画像を生成するために、本明細書および組み込まれた参考文献に記載されているように画像データを処理することができる。画像データは、一連の画像からマルチスペクトル反射率データキューブを生成するために使用することができる。
【0082】
対象の未混合カラー画像は、１．２から５０の範囲の少なくとも１つのスペクトルの信号対ノイズ比で形成され得る。対象の未混合カラー画像は、２から５０の範囲の少なくとも１つのスペクトルの信号対ノイズ比で形成され得る。
【0083】
対象は任意の対象であってもよく、環境は、生体内にあるか無生物環境内にあるかにかかわらず、任意の環境であってもよい。対象は、色の特定のスペクトルを有する任意の対象であってもよい。例えば、対象は、組織、蛍光遺伝子ラベル、無機対象、またはそれらの組み合わせであり得る。環境において、対象は、植物の健康または栽培に対する作物の準備状態をチェックするための植物または葉とすることができる。
【0084】
ハイパースペクトル撮像システムは、各画素に任意の色を割り当てるために参照物質を使用することによって較正されてもよい。参照物質は、任意の既知の参照物質であってもよい。例えば、基準は、対象の未混合カラー画像の生成に先立って参照物質の未混合カラー画像が決定される任意の参照物質であってもよい。例えば、参照物質は、物理構造、化学分子、生物学的分子、物理的構造変化および／または疾患の結果としての生物活性（例えば、生理的変化）であり得る。
【0085】
図６は、２段階の撮像プロトコールを示す。段階１は、同じであっても異なっていてもよい（例えば、基準の異なる色）少なくとも２つの色基準５０２ａ、５０２ｂを撮像することを含む。各色基準５０２ａ、５０２ｂは、青色５０４、緑色５０６、および赤色５０８として示される一連の色で照明されるが、例えば赤色５０８が白色光照明に置き換えられるなど、他の色を使用することもできる。色基準５０２ａ、５０２ｂの両方は、同じ色シーケンスで同じ色で撮像される。各色の照明は、単色または単一のＬＥＤとすることができるが、同じ色または色の対（例えば、赤色および青色）とすることができる一対のＬＥＤによって、より良好な照明を得ることができる。照明している間、３つの連続画像は、２つのＬＥＤを照明し、次いで画像を撮影し、次いで２つのＬＥＤを照明し、次いで画像を撮影し、次いで２つのＬＥＤを照明し、次いで画像を撮影するなど、３つの連続照明に一致するように取得される。
【0086】
照明ごとに少なくとも一対のＬＥＤを使用することは、ＬＥＤのスペクトル特性のために役立ち得る。画像取得ごとに少なくとも一対のＬＥＤを使用することにより、サンプリングの範囲を拡張することができる。例えば、青色ＬＥＤは青色領域のみをサンプリングし、黄色領域または他の有色領域はあまりサンプリングしない。照明が青色ＬＥＤを黄色ＬＥＤで照明する場合、情報は青色ＬＥＤおよび黄色ＬＥＤからもたらされ、これはより良好である。第２の照明および撮像ステップは、撮像のために赤色ＬＥＤおよび緑色ＬＥＤを使用する。第３のステップでは、一対の白色ＬＥＤを使用する。ここで、データは、異なる照明に対する対象の色スペクトルを有する。システムは、位置対象（例えば、画素）の各々について、スペクトルが何であるかを知っている。画像内の画素ごとに、データは、３セットの照明および撮像からの３セットの符号化情報を含む。符号化データの３つの異なる照明撮像セットを用いて、システムは、特定の画素が対象の色の一点に対応し、対象の色の一点が、色基準上の固有の色対象の各グラフなど、画素スペクトルグラフ５１０によって示される特定のスペクトルを有すると判定することができる。そして、撮影された画像のセットの数にかかわらず、３つの行列が存在する。
【0087】
データは、変換行列５１２を取得するために提供される。プロトコールは、変換行列を見つけ、次いで、収集されたデータが何であれそれを乗算することによってそれを最大化することができる。これは、１のスペクトルまたは対象の色に最も近いものである。対象（色基準）の色には多くの異なる色があり、これは多くの異なるスペクトル５１０を提供する。プロセスは、取得されたスペクトル５１０の大部分に対して十分に機能する行列が見つかるまで、異なる色のすべてについて同じ動作を繰り返す。基本的に、行列は、ＬＥＤからの３つの異なる照明からの補正行列である。プロトコールがその行列を発見すると、その行列は、機器を変更する必要がない限り固定される。これは、変換行列を有するために使用される機器を使用してシステムを効果的に較正する。変換行列は、撮像された対象を再構成することを可能にする。
【0088】
一例では、システムが一連の画像を有すると、システムはスペクトルを知ることになる。色基準５０２ａ、５０２ｂの画素は、このスペクトルグラフ５１０に対応し、その後、プロトコールは変換行列を見つける。システムは、取得した３つの画像ごとに視覚的に変換行列を決定し、プロトコールは、画像画素波長データに変換行列を乗算してハイパースペクトルキューブを取得する。ハイパースペクトルキューブはＸ－Ｙを含み、第３の次元は波長である。したがって、すべての画素について、プロトコールは、変換から視覚的に利用可能なスペクトルを取得する。
【0089】
段階１は、擬似逆方法を利用して、デジタル画像からハイパースペクトルキューブを再構成することができる。段階１では、ＣＭＯＳカメラを使用して、ＣｏｌｏｒＣｈｅｃｋｅｒ（登録商標）規格（米国のＸ－Ｒｉｔｅ Ｐａｓｓｐｏｒｔ Ｍｏｄｅｌ＃ＭＳＣＣＰ（５０２ａ、５０２ｂ））の画像をキャプチャする。変換行列Ｔは、特異値分解（ＳＶＤ）に基づく一般化された偽逆法によって構築され、ここで、
【0090】
Ｔ＝ＲｘＰＩＮＶ（Ｄ）
【0091】
Ｔ＝ＲＤ＋（ＲＤ－Ｔの最小二乗解）
【0092】
Ｔ＝ＲＤ＋＝Ｒ（ＤＴＤ）－１ＤＴ、である。
【0093】
行列Ｒが較正サンプルのスペクトル反射率係数を含む場合、ＰＩＮＶ（Ｄ）は擬似逆関数であり、行列Ｄは較正サンプルの対応するカメラ信号である。
【0094】
次に、予測されたスペクトル反射率係数Ｒは、較正（段階１）および検証（段階２）の両方の対象（後述）について行列乗算を使用して計算することができる。
【0095】
Ｒ＝ＴｘＤ
【0096】
段階２のこの手法は、カメラのスペクトル感度を事前に知る必要がないという利点を有し得る。
【0097】
変換行列は、検出された強度を使用して、各画素について少なくとも１つのスペクトルを形成する部分である。
【0098】
段階２は、手として示される対象オブジェクトが、３つの照明および撮像の照明シーケンスにおいて低品質撮像５１４ａ（または信号の平均）および／または高品質撮像５１４ｂで撮像されることを示す。プロトコールは、信号を平均化して、最終的にデータの信号対ノイズ比を増加させることができる。この場合も、プロトコールは、対象を照明する２つのＬＥＤを用いて１つの画像を取得し、次いで２つのＬＥＤ（例えば、ＬＥＤの異なる組み合わせ）を用いて第２の画像を取得し、次いで白色ＬＥＤなどのＬＥＤの第３の照明パターンを用いて第３の画像を取得することを含むことができる。次いで、プロトコールは、これらの３つの画像を、マルチスペクトル反射率データキューブを生成するために以前に取得された変換行列と乗算される行列として乗算する。この動作は、ハイパースペクトルデータキューブに変換されることが望まれるすべての画像について繰り返される。
【0099】
【0100】
フーリエ変換は、図５のようにスペクトル形成後に行われる。以下の刊行物、Ｆ．Ｃｕｔｒａｌｅ、Ｖ．Ｔｒｉｖｅｄｉ、Ｌ．Ａ．Ｔｒｉｎｈ、Ｃ．Ｌ．Ｃｈｉｕ、Ｊ．Ｍ．Ｃｈｏｉ、Ｍ．Ｓ．Ａｒｔｉｇａ、Ｓ．Ｅ．Ｆｒａｓｅｒによる「Ｈｙｐｅｒｓｐｅｃｔｒａｌ ｐｈａｓｏｒ ａｎａｌｙｓｉｓ ｅｎａｂｌｅｓ ｍｕｌｔｉｐｌｅｘｅｄ ５ Ｄ ｉｎ ｖｉｖｏ ｉｍａｇｉｎｇ」（Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ １４，１４９－１５２（２０１７））、Ｗ．Ｓｈｉ、Ｅ．Ｓ．Ｋｏｏ、Ｍ．Ｋｉｔａｎｏ、Ｈ．Ｊ．Ｃｈｉａｎｇ、Ｌ．Ａ．Ｔｒｉｎｈ、Ｇ．Ｔｕｒｃａｔｅｌ、Ｂ．Ｓｔｅｖｅｎｔｏｎ、Ｃ．Ａｒｎｅｓａｎｏ、Ｄ．Ｗａｒｂｕｒｔｏｎ、Ｓ．Ｅ．Ｆｒａｓｅｒ、Ｆ．Ｃｕｔｒａｌｅ、「Ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｆｌｕｏｒｅｓｃｅｎｔ ｄａｔａ ｗｉｔｈ Ｓｐｅｃｔｒａｌｌｙ Ｅｎｃｏｄｅｄ Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ」（Ｎａｔｕｒｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ １１，７２６（２０２０））、に開示されているハイパースペクトル分解システムおよび方法を使用し得る。これらの刊行物の内容は、その全体が本明細書に組み込まれる。ハイパースペクトルデータは、以下の式を使用することによって、正規化されたスペクトルのフーリエ係数のＧ－Ｓプロットを介して迅速に分析し得る。
【0101】
ｚ（ｎ）＝Ｇ（ｎ）＋ｉＳ（ｎ）
【0102】
【0103】
【0104】
式中、λｓおよびλｆはそれぞれ、対象の帯域の開始波長および終了波長であり、Ｉは強度ω＝２π／τｓであり、式中、τｓはスペクトルチャネルの数（本例では３２）であり、ｎは高調波である（一貫して、ｎ＝１または２のいずれかであるように通常選択される）。
【0105】
図６は、一連のカメラ画像からマルチスペクトル反射率データキューブを再構成するために使用される２段階「擬似逆」方法の概略図を提供する。段階１では、色基準は、それらのスペクトル反射率係数を取得するために一連の異なる照明条件下で撮像され、それは次に変換行列Ｔを解くために使用され、段階２では、変換行列Ｔは、同じ照明シーケンス下で対象オブジェクト（例えば、人間の手）からのスペクトル情報を復元するために使用される。次に、マルチスペクトル反射率データキューブが上述のように生成される。
【0106】
ここで、本発明は、変換行列を考慮して対象オブジェクトからの光の反射率を使用する。反射光の加算は異なるタイプの信号であり、マルチスペクトル反射率データキューブを生成するためのハイパースペクトルシステムで使用することができる。例えば、プロトコールは、各対象波の検出された強度および波長（「強度スペクトル」）を使用して各画素に対して少なくとも１つのスペクトルを形成することによってマルチスペクトル反射率データキューブを取得して、マルチスペクトル反射率データキューブを生成する。したがって、図５において、スペクトル形成ステップ４０２は、マルチスペクトル反射率データキューブを提供する。
【0107】
次に、図５のデータ処理は、フーリエ変換４０３を実行することなどによって、マルチスペクトル反射率データキューブから動作する。この処理により、リアルタイムでのデータ抽出が可能になる。
【0108】
図７Ａ～７Ｃは、食道を含む例を示す。図７Ａは、通常の白色光照明下の食道（例えば、マルチスペクトル反射率データキューブの表現）を示す。図７Ｂは、偽色ハイパースペクトルフェーザ画像における食道を示す。図７Ｃは、対応するＧ－Ｓヒストグラム（例えば、フェーザプロット）を示す。段階２からのマルチスペクトル反射率データキューブが得られると、プロトコールは実数成分および虚数成分を作成することができる。このプロトコールは、フーリエ変換を使用して形成された各画素の強度スペクトル（例えば、マルチスペクトル反射率データキューブ）を、各画素の強度スペクトルに基づく複素値関数に変換し、各複素値関数は、少なくとも１つの実数成分４０４および少なくとも１つの虚数成分４０５を有する（例えば、図５を参照されたい。）。これらは基本的に実画像および虚画像であり、これらは次にヒストグラムに入れられる。次に、マルチスペクトル反射率データキューブの番号または符号化が取得される。プロセスは、高調波およびフーリエ変換を使用してスペクトル信号の符号化を実行する。この例では、プロトコールは第２の高調波を使用するので、１つの特定の高調波で１つの実数および１つの虚数の２つの値が得られる。そして、プロトコールは図７Ｃのようにヒストグラムを作成する。プロトコールは、各画素のノイズ除去された実数値およびノイズ除去された虚数値を生成するために、各複素値関数の実数成分と虚数成分の両方に少なくとも１回ノイズ除去フィルタを適用する。
【0109】
次いで、プロトコールは、各画素のノイズ除去された虚数値に対してノイズ除去された実数値をプロットすることによって、各画素のフェーザ平面（「フェーザ点」）上に１つの点を形成し、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、フェーザ点を対象画像上の対応する画素にマップバックする。プロトコールは、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、対応する画素に任意の色を割り当てる。割り当てられた任意の色に基づいて対象の未混合カラー画像を生成し、未混合カラー画像は図７Ｂである。未混合カラー画像が取得されると、プロトコールは、画像形成システムのディスプレイ上に対象の未混合カラー画像を表示する。
【0110】
図８Ａ～図８Ｃは、小腸模倣物を含む例を示す。図８Ａは、通常の白色光照明下の小腸（例えば、マルチスペクトル反射率データキューブの表現）を示す。図８Ｂは、偽色ハイパースペクトルフェーザ画像における表現を示す。図８Ｃは、対応するＧ－Ｓヒストグラム（例えば、フェーザプロット）を示す。図８Ｂは、図７Ｂに関連して説明したような処理によって得られる。
【0111】
図７Ａ～図７Ｃおよび図８Ａ～図８Ｃに示すように、食道および小腸の組織模倣物は視覚的に類似して見え、いかなる変色も訓練を受けていない医療助手によって照明の影または不均一性に起因する可能性がある。しかしながら、画像をハイパースペクトル処理し、Ｇ－Ｓチャートでグラフ化すると、スペクトル分布は明らかに異なっていた。したがって、この差を自動波長認識ソフトウェアアルゴリズム（例えば、「色」のスペクトル的に明確に定義された変化を探す）にプログラムして、異形成が生じている食道の領域を迅速に識別することができる。したがって、これは、バレット食道の迅速なスクリーニングおよび早期検出を容易にするであろう。この場合のバレット食道の検出の重要性は、食道腺がんのリスクの初期指標であることである。
【0112】
図５を参照すると、ステップは異なる順序で実行されてもよいことが認識されるべきである。例えば、ノイズ除去フィルタ４０６は、４０１から４０２の間、または４０２から４０３の間に適用することができる。したがって、図５はそれに応じて変更することができる。
【0113】
いくつかの実施形態では、ハイパースペクトル処理システムは、フーリエ変換を使用して形成された各画素の強度スペクトルを、各画素の強度スペクトルに基づいて複素値関数であって、各複素値関数は、少なくとも１つの実数成分と、少なくとも１つの虚数成分と、を有する、複素値関数に変換し、各画素の虚数値に対して実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、フェーザ点を対象画像上の対応する画素にマップバックし、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、対応する画素に任意の色を割り当て、割り当てられた任意の色に基づいて対象の未混合カラー画像を生成する、構成を有する。
【0114】
いくつかの実施形態では、ハイパースペクトル処理システムは、各複素値関数の実数成分と虚数成分の両方にノイズ除去フィルタを少なくとも１回適用して、各画素のノイズ除去された実数値およびノイズ除去された虚数値であって、ノイズ除去された実数値およびノイズ除去された虚数値が、各画素のフェーザ平面上に１つのフェーザ点を形成するために使用される、虚数値を生成することと、強度スペクトルを形成する前に対象画像にノイズ除去フィルタを適用することと、形成された各画素の強度スペクトルが変換される前にノイズ除去フィルタを適用することと、のうちの少なくとも１つをさらに含む構成を有する。
【0115】
いくつかの実施形態では、ハイパースペクトル処理システムは、検出された対象電磁放射を使用して対象の対象画像を形成し、対象画像は少なくとも２つの画素を含み、各画素は対象上の１つの物理的点に対応し、
【0116】
フーリエ変換を使用して複素値関数を生成し、各複素値関数は、少なくとも１つの実数成分と少なくとも１つの虚数成分と、を有し、各画素の虚数値に対して実数値をプロットすることによって、各画素に対してフェーザ平面上に１つのフェーザ点を形成し、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、フェーザ点を対象画像上の対応する画素にマップバックし、フェーザ平面上のフェーザ点の幾何学的位置に基づいて、対応する画素に任意の色を割り当て、割り当てられた任意の色に基づいて対象の未混合カラー画像を生成する、構成を有する。
【0117】
いくつかの実施形態では、本方法は、機械学習プロトコールを使用してマルチスペクトル反射率データキューブを取得することを含むことができる。
【0118】
本システムは、例えば、以下のように使用し得る。患者は、毎年の健康診断中に椅子に座る場合がある。医療助手または看護師は、咽頭反射を抑制し、患者への不快感を最小限に抑えるために、患者の喉の後ろに局所鎮痛剤を噴霧し得る。繋がれたカプセルは、カプセルに結合されたコイルテザーと共に投与することができ、カプセルは、患者が水を少しずつ飲むことによって嚥下され得る。食道における気泡形成を最小限に抑えるために、水を一般的な消化可能な界面活性剤と混合してもよい。重力はテザーをほどくことができ、カプセルは３秒～５秒以内に胃食道（ＧＥ）括約筋に到達し得る。医療助手は、胃の上部のＧＥ括約筋からカプセルを手動で引き込み始め、カプセルから咽喉の組織のリアルタイム画像を表示し得る外部表示画面（例えば、ＬＣＤ）を見ることができる。医療助手が食道の内壁の異常な構成に気付いた場合、医療助手は、テザー上の距離マーキングに関してビデオ上にそれを注釈付けし得る。交換可能なレンズの構成に応じて、より広い視野（ＦＯＶ）を有する低倍率レンズは、胃食道逆流症（ＧＥＲＤ）およびバレット食道に関連する食道の変化を明確に示し得る。また、より大きいＦＯＶまたはより高い倍率を有する専用レンズを使用する場合、初期ＥＣの疑わしい領域を検査するために、医療助手は手動で回転し、食道の壁の近くにカプセルを配置し得る。テザーの非円形形状を回転に使用することができる。例えば、正方形のテザー断面プロファイルは、テザーの各側面に対して９０度回転させることができる。レンズおよび撮像センサの数に応じて、胃食道逆流症（ＧＥＲＤ）およびバレット食道に関連する食道への変化を視覚化し得るように、組織を明確に示す複数の視野（正面、側面、および／または背面）を並行して取得し得る。このスクリーニングプロセス全体は、患者１人当たり５分未満かかる場合がある。テザーを介してカプセルを引き抜いた後、記録されたＨＤビデオ画像は、専門の医師によって、または各ビデオフレームの詳細な分析のためにハイパースペクトル分析方法を利用する自動化された機械視覚ソフトウェアによってレビューし得る。
【0119】
別の例では、ドローンは、自然環境の上を飛行し、本明細書で説明するように、撮像およびハイパースペクトル処理のためにカプセルを下降することができる。地上車両は、小さな経路を通って人々がフィットできない領域に到達することができ、次いで撮像およびハイパースペクトル処理を実行することができる。これは、自然の陥没した穴だけでなく、墓または他の人工の建物を探索するのに有用であり得る。小型クレーンをウェルに取り付けて、テザーを介してカプセルを下降させ、次いでウェルの壁、底部、または他のオブジェクトもしくは内容物を撮像することができる。
【0120】
当業者は、本明細書に開示されたプロセスおよび方法について、プロセスおよび方法で実行される機能が異なる順序で実装され得ることを理解するであろう。さらに、概説されたステップおよび動作は例としてのみ提供されており、ステップおよび動作のいくつかは、開示された実施形態の本質を損なうことなく、オプションであってもよく、より少ないステップおよび動作に組み合わされてもよく、または追加のステップおよび動作に拡張されてもよい。
【0121】
一実施形態では、本方法は、コンピューティングシステム上で実行される態様を含むことができる。したがって、コンピューティングシステムは、方法を実行するためのコンピュータ実行可能命令を有するメモリデバイスを含むことができる。コンピュータ実行可能命令は、請求項のいずれか一項に記載の方法のいずれかを実行するための１つ以上のアルゴリズムを含むコンピュータプログラム製品の一部とすることができる。
【0122】
一実施形態では、本明細書で説明される動作、プロセス、または方法のいずれかは、コンピュータ可読媒体に記憶され、１つ以上のプロセッサによって実行可能なコンピュータ可読命令の実行に応じて実行されるか、または実行されるようにすることができる。コンピュータ可読命令は、デスクトップコンピューティングシステム、ポータブルコンピューティングシステム、タブレットコンピューティングシステム、ハンドヘルドコンピューティングシステム、ならびにネットワーク要素、および／または任意の他のコンピューティングデバイスからの広範囲のコンピューティングシステムのプロセッサによって実行することができる。コンピュータ可読媒体は非一時的であってもよい。コンピュータ可読媒体は、コンピュータ／プロセッサによって物理媒体から物理的に読み取り可能であるように、コンピュータ可読命令が記憶された物理媒体である。
【0123】
本明細書に記載のプロセスおよび／またはシステムおよび／または他の技術を実行し得る様々な車両があり（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい車両は、プロセスおよび／またはシステムおよび／または他の技術が展開される状況によって異なり得る。例えば、速度および精度が最重要であると実施者が判断した場合、実施者は、主にハードウェアおよび／またはファームウェア車両を選択し得り、可撓性が最重要である場合、実装者は主にソフトウェア実装を選択し得る。あるいは、さらに代替的に、実施者は、ハードウェア、ソフトウェア、および／またはファームウェアの何らかの組み合わせを選択してもよい。
【0124】
本明細書に記載の様々な動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質的にそれらの任意の組み合わせによって、個別におよび／または集合的に実施することができる。一実施形態では、本明細書に記載の主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、または他の集積フォーマットを介して実装されてもよい。しかしながら、本明細書に開示された実施形態のいくつかの態様は、全体的または部分的に、１つ以上のコンピュータ上で実行される１つ以上のコンピュータプログラムとして（例えば、１つ以上のコンピュータシステム上で動作する１つ以上のプログラムとして、）、１つ以上のプロセッサ上で実行される１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサ上で動作する１つ以上のプログラムとして、）、ファームウェアとして、またはそれらの実質的に任意の組み合わせとして、集積回路に等価的に実装することができ、回路を設計すること、および／またはソフトウェアおよび／またはファームウェアのためのコードを書き込むことは、本開示に照らして可能である。さらに、本明細書に記載の主題の機構は、様々な形態のプログラム製品として配布することができ、本明細書に記載の主題の例示的な実施形態は、実際に配布を実行するために使用される特定のタイプの信号伝達媒体に関係なく適用される。物理信号保持媒体の例には、フロッピーディスク、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ、または非一時的、送信媒体である、任意の他の物理媒体などの記録可能なタイプの媒体が含まれるが、これらに限定されない。コンピュータ可読命令を有する物理媒体の例は、デジタルおよび／またはアナログ通信媒体など（例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど）の一時的または送信タイプの媒体を省略する。
【0125】
本明細書に記載された方法でデバイスおよび／またはプロセスを記載し、その後、そのような記載されたデバイスおよび／またはプロセスをデータ処理システムに統合するためにエンジニアリング慣行を使用することが一般的である。すなわち、本明細書に記載のデバイスおよび／またはプロセスの少なくとも一部は、妥当な量の実験によってデータ処理システムに統合することができる。典型的なデータ処理システムは、一般に、システムユニットハウジング、ビデオ表示デバイス、揮発性および不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステム、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムなどの計算エンティティ、タッチパッドまたは画面などの１つ以上の対話デバイス、ならびに／またはフィードバックループおよび制御モータ（例えば、位置および／または速度を感知するためのフィードバック、構成要素および／または量を移動および／または調整するためにモータを制御する）を含む制御システムのうちの１つ以上を含む。典型的なデータ処理システムは、データコンピューティング／通信および／またはネットワークコンピューティング／通信システムに一般的に見られるものなどの任意の適切な市販の構成要素を利用して実装されてもよい。
【0126】
本明細書に記載の主題は、異なる他の構成要素内に含まれるか、または異なる他の構成要素と接続される異なる構成要素を示す場合がある。そのように示されたアーキテクチャは単なる例示であり、実際には、同じ機能を達成する多くの他のアーキテクチャを実装することができる。概念的な意味では、同じ機能を達成するための構成要素の任意の配置は、所望の機能が達成されるように効果的に「関連付けられている」。したがって、特定の機能を達成するために組み合わされた本明細書の任意の２つの構成要素は、アーキテクチャまたは中間構成要素に関係なく、所望の機能が達成されるように互いに「関連付けられている」と見なすことができる。同様に、そのように関連付けられた任意の２つの構成要素はまた、所望の機能を達成するために互いに「動作可能に接続」または「動作可能に結合」されていると見なすことができ、そのように関連付けることができる任意の２つの構成要素はまた、所望の機能を達成するために互いに「動作可能に結合」されていると見なすことができる。動作可能に結合可能な具体例には、物理的に嵌合可能および／または物理的に相互作用する構成要素および／または無線で相互作用可能および／または無線で相互作用する構成要素および／または論理的に相互作用可能および／または論理的に相互作用可能な構成要素が含まれるが、これらに限定されない。
【0127】
図９は、本明細書に記載の方法（またはその一部）を実行するためにいくつかの実施形態において構成され得る例示的なコンピューティングデバイス６００（例えば、コンピュータ）を示す。非常に基本的な構成６０２では、コンピューティングデバイス６００は、一般に、１つ以上のプロセッサ６０４およびシステムメモリ６０６を含む。メモリバス６０８は、プロセッサ６０４とシステムメモリ６０６との間の通信に使用し得る。
【0128】
所望の構成に応じて、プロセッサ６０４は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組み合わせを含むがこれらに限定されない任意のタイプのものであってもよい。プロセッサ６０４は、レベル１のキャッシュ６１０およびレベル２のキャッシュ６１２などの１つ以上のレベルのキャッシュ、プロセッサコア６１４、ならびにレジスタ６１６を含み得る。例示的なプロセッサコア６１４は、算術論理演算ユニット（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）、デジタル信号処理コア（ＤＳＰ Ｃｏｒｅ）、またはそれらの任意の組み合わせを含み得る。例示的なメモリコントローラ６１８はまた、プロセッサ６０４と共に使用されてもよく、またはいくつかの実装形態では、メモリコントローラ６１８は、プロセッサ６０４の内部部分であってもよい。
【0129】
所望の構成に応じて、システムメモリ６０６は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（例えば、ＲＯＭ、フラッシュメモリなど）、またはそれらの任意の組み合わせを含むがこれらに限定されない任意のタイプのものであってもよい。システムメモリ６０６は、オペレーティングシステム６２０、１つ以上のアプリケーション６２２、およびプログラムデータ６２４を含み得る。アプリケーション６２２は、本明細書に記載の方法に関して記載されたものを含む、本明細書に記載の動作を実行するように構成された判定アプリケーション６２６を含み得る。判定アプリケーション６２６は、圧力、流量、および／または温度などのデータを取得し、次いで、圧力、流量、および／または温度を変更するためのシステムへの変更を判定することができる。
【0130】
コンピューティングデバイス６００は、基本構成６０２と任意の必要なデバイスおよびインターフェースとの間の通信を容易にするために、追加の特徴または機能、および追加のインターフェースを有し得る。例えば、バス／インターフェースコントローラ６３０を使用して、記憶インターフェースバス６３４を介した基本構成６０２と１つ以上のデータ記憶デバイス６３２との間の通信を容易にし得る。データ記憶デバイス６３２は、リムーバブル記憶デバイス６３６、非リムーバブル記憶デバイス６３８、またはそれらの組み合わせであってもよい。リムーバブル記憶デバイスおよび非リムーバブル記憶デバイスの例には、例えば、フレキシブルディスクドライブおよびハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）ドライブまたはデジタル多用途ディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、およびテープドライブが含まれる。例示的なコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実施される揮発性および不揮発性、リムーバブル媒体および非リムーバブル媒体を含み得る。
【0131】
システムメモリ６０６、リムーバブル記憶デバイス６３６、および非リムーバブル記憶デバイス６３８は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学記憶デバイス、磁気カセット、磁気テープ、磁気ディスク記憶デバイスもしくは他の磁気記憶デバイス、または所望の情報を記憶するために使用され得り、コンピューティングデバイス６００によってアクセスし得る任意の他の媒体を含むが、これらに限定されない。任意のそのようなコンピュータ記憶媒体は、コンピューティングデバイス６００の一部であってもよい。
【0132】
コンピューティングデバイス６００はまた、バス／インターフェースコントローラ６３０を介した様々なインターフェースデバイス（例えば、出力デバイス６４２、周辺機器インターフェース６４４、および通信デバイス６４６）から基本構成６０２への通信を容易にするためのインターフェースバス６４０を含み得る。例示的な出力デバイス６４２は、グラフィック処理ユニット６４８およびオーディオ処理ユニット６５０を含み、これらは、１つ以上のＡ／Ｖポート６５２を介してディスプレイまたはスピーカなどの様々な外部デバイスと通信するように構成されてもよい。例示的な周辺機器インターフェース６４４は、シリアルインターフェースコントローラ６５４またはパラレルインターフェースコントローラ６５６を含み、これらは、１つ以上のＩ／Ｏポート６５８を介して入力デバイス（例えば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなど）、または他の周辺機器（例えば、プリンタ、スキャナなど）などの外部デバイスと通信するように構成されてもよい。例示的な通信デバイス６４６は、ネットワークコントローラ６６０を含み、これは、１つ以上の通信ポート６６４を介したネットワーク通信リンクを介した１つ以上の他のコンピューティングデバイス６６２との通信を容易にするように構成し得る。
【0133】
ネットワーク通信リンクは、通信媒体の一例であってよい。通信媒体は、一般に、搬送波または他の送信機構などの変調データ信号内のコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータによって具現化され得り、任意の情報配信媒体を含み得る。「変調データ信号」は、信号内の情報を符号化するように設定または変更されたその特性の１つ以上を有する信号であってもよい。限定ではなく例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、および他の無線媒体などの無線媒体を含み得る。本明細書で使用されるコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含み得る。
【0134】
コンピューティングデバイス６００は、携帯電話、パーソナルデータアシスタント（ＰＤＡ）、パーソナルメディアプレーヤデバイス、無線ウェブウォッチデバイス、パーソナルヘッドセットデバイス、特定用途向けデバイス、または上記の機能のいずれかを含むハイブリッドデバイスなどのスモールフォームファクタのポータブル（またはモバイル）電子デバイスの一部として実装されてもよい。コンピューティングデバイス６００はまた、ラップトップコンピュータ構成と非ラップトップコンピュータ構成の両方を含むパーソナルコンピュータとして実装されてもよい。コンピューティングデバイス６００はまた、任意のタイプのネットワークコンピューティングデバイスであってもよい。コンピューティングデバイス６００はまた、本明細書に記載の自動化システムであってもよい。
【0135】
本明細書に記載の実施形態は、様々なコンピュータハードウェアまたはソフトウェアモジュールを含む専用または汎用コンピュータの使用を含み得る。
【0136】
本発明の範囲内の実施形態はまた、コンピュータ実行可能命令またはデータ構造を搬送または記憶するためのコンピュータ可読媒体を含む。そのようなコンピュータ可読媒体は、汎用または専用コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭもしくは他の光ディスク記憶デバイス、磁気ディスク記憶デバイスもしくは他の磁気記憶デバイス、またはコンピュータ実行可能命令もしくはデータ構造の形態で所望のプログラムコード手段を搬送もしくは記憶するために使用することができ、汎用もしくは専用コンピュータによってアクセスすることができる任意の他の媒体を含むことができる。情報がネットワークまたは別の通信接続（ハードワイヤード、無線、またはハードワイヤードもしくは無線の組み合わせのいずれか）を介してコンピュータに転送または提供されると、コンピュータは接続をコンピュータ可読媒体として適切に見る。したがって、そのような接続は、コンピュータ可読媒体と適切に呼ばれる。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【0137】
コンピュータ実行可能命令は、例えば、汎用コンピュータ、専用コンピュータ、または専用処理デバイスに特定の機能または機能のグループを実行させる命令およびデータを含む。構造上の特徴および／または方法論的動作に特有の言語で主題について説明してきたが、添付の特許請求の範囲で定義される主題が必ずしも上述される具体的な特徴または動作に限定されないことは理解されたい。上述される具体的な特徴および動作は、以下に続く特許請求の範囲を満たす例示の形態として開示される。
【0138】
いくつかの実施形態では、コンピュータプログラム製品は、方法であって、プロセッサによって実行されると、オブジェクトのオブジェクトデータおよび条件の条件データを有するデータセットを提供することと、オブジェクトエンコーダを用いて潜在オブジェクトデータおよび潜在オブジェクト条件データを取得するためにデータセットのオブジェクトデータを処理することと、データセットの条件データを処理して、条件エンコーダを用いて潜在条件データおよび潜在条件対象データを取得することと、潜在的オブジェクトデータおよび潜在的オブジェクト条件データを処理して、生成されたオブジェクトデータをオブジェクトデコーダで取得することと、潜在条件データおよび潜在条件対象データを処理して、条件復号器を用いて生成された条件データを取得することと、潜在的なオブジェクト条件データを潜在条件データと比較して差分を判定することと、潜在オブジェクトデータおよび潜在条件データと、潜在オブジェクト条件データまたは潜在条件オブジェクトデータのうちの一方とを識別器で処理して識別器値を取得することと、生成されたオブジェクトデータと、生成された条件データと、潜在的なオブジェクト条件データと潜在的な条件オブジェクトデータとの差分とに基づいて、生成されたオブジェクトデータから選択されたオブジェクトを選択することと、選択されたオブジェクトに、オブジェクトの物理的形態の検証のための推奨をレポート内で提供することと、を含むことができる方法、を実行させるコンピュータ実行可能命令を有する、非一時的有形メモリデバイスを含むことができる。非一時的有形メモリデバイスはまた、本明細書に記載の方法または方法ステップのいずれかのための他の実行可能命令を有し得る。また、命令は、分子の合成および／または分子を検証するための実験プロトコールなどの非計算タスクを実行するための命令であってもよい。他の実行可能な命令も提供され得る。
【0139】
本開示は、本出願に記載された特定の実施形態に関して限定されるものではなく、様々な態様の例示として意図されている。当業者には明らかであるように、その趣旨および範囲から逸脱することなく、多くの修正および変形を行うことができる。本明細書に列挙されたものに加えて、本開示の範囲内の機能的に等価な方法および装置は、前述の説明から当業者には明らかであろう。そのような修正および変形は、添付の特許請求の範囲内に含まれることが意図されている。本開示は、添付の特許請求の範囲の用語によってのみ限定されるべきであり、そのような特許請求の範囲が権利を与えられる均等物の全範囲を伴う。本開示は、特定の方法、試薬、化合物組成物または生物学的系に限定されず、当然のことながら変化し得ることを理解されたい。本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、限定することを意図していないことも理解されたい。
【0140】
本明細書における実質的に任意の複数形および／または単数形の用語の使用に関して、当業者は、文脈および／または用途に適切であるように、複数形から単数形へ、および／または単数形から複数形へと変換することができる。様々な単数／複数の置換は、明確にするために本明細書に明示的に記載され得る。
【0141】
一般に、本明細書、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体）で使用される用語は、一般に、（例えば、「含む（ｉｎｃｌｕｄｉｎｇ）」という用語は、「含むがこれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、「有する（ｈａｖｉｎｇ）」という用語は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、「含む（ｉｎｃｌｕｄｅｓ）」という用語は、「含むがこれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）「オープンな」用語として意図されることが当業者によって理解されよう。特定の数の導入された請求項の記載が意図される場合、そのような意図は請求項に明示的に記載され、そのような記載がない場合、そのような意図は存在しないことが当業者によってさらに理解されるであろう。例えば、理解を助けるために、以下の添付の特許請求の範囲は、特許請求の範囲の記載を導入するための導入句「少なくとも１つ」および「１つ以上」の使用を含み得る。しかしながら、そのような語句の使用は、不定冠詞「ａ」または「ａ」による請求項列挙の導入が、そのような導入された請求項列挙を含む任意の特定の請求項を、同じ請求項が導入句「１つ以上」または「少なくとも１つ」および「ａ」または「ａ」などの不定冠詞（例えば、「１つの（ａ）」および／または「１つの（ａｎ）」は、「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」または「１つ以上の（ｏｎｅ ｏｒ ｍｏｒｅ）」を意味すると解釈されるべきである、不定冠詞）を含む場合であっても、１つのそのような列挙のみを含む実施形態に限定することを意味すると解釈されるべきではない。特許請求の範囲の記載を導入するために使用される定冠詞の使用についても同じことが当てはまる。さらに、導入された請求項の記載の特定の数が明示的に記載されている場合でも、当業者は、そのような記載が少なくとも記載された数を意味する（例えば、他の修飾語を含まない「２つの記述、」の裸の列挙は、少なくとも２つの列挙、または２つ以上の列挙を意味する）と解釈されるべきであることを認識するであろう。さらに、「Ａ、Ｂ、およびＣなどのうちの少なくとも１つ」に類似した慣例が使用される場合、一般に、そのような構成は、当業者がその慣例を理解するであろう意味で意図される（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢとを一緒に、ＡとＣとを一緒に、ＢとＣとを一緒に、および／またはＡとＢとＣとを一緒に有するシステムなどを含むが、これらに限定されない。）。「Ａ、Ｂ、またはＣなどのうちの少なくとも１つ。」に類似した慣例が使用される場合、一般に、そのような構成は、当業者が慣例を理解するであろうという意味で意図される（例えば、「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢとを一緒に、ＡとＣとを一緒に、ＢとＣとを一緒に、および／またはＡとＢとＣとを一緒に有するシステムなどを含むが、これらに限定されない。）。２つ以上の代替的な用語を提示する実質的に任意の選言的な単語および／または句は、明細書、特許請求の範囲、または図面のいずれかにかかわらず、用語の１つ、用語のいずれか、または両方の用語を含む可能性を考慮すると理解されるべきであることが当業者によってさらに理解されるであろう。例えば、「ＡまたはＢ」という語句は、「Ａ」または「Ｂ」または「ＡおよびＢ」の可能性を含むと理解される。
【0142】
さらに、本開示の特徴または態様がマーカッシュグループに関して記載されている場合、当業者は、本開示がそれによってマーカッシュグループの任意の個々のメンバーまたはメンバーのサブグループに関しても記載されていることを認識するであろう。
【0143】
当業者によって理解されるように、任意のおよびすべての目的のために、例えば書面による説明を提供することに関して、本明細書に開示されるすべての範囲はまた、任意のおよびすべての可能な部分範囲およびその部分範囲の組み合わせを包含する。列挙された範囲はいずれも、同じ範囲を少なくとも等しい半分、３分の１、４分の１、５分の１、１０分の１などに分割することを十分に説明し、可能にするものとして容易に認識することができる。非限定的な例として、本明細書で論じられる各範囲は、下３分の１、中３分の１、上３分の１などに容易に分割することができる。また、当業者によって理解されるように、「最大」、「少なくとも」などのすべての文言は、列挙された数を含み、上で論じたように後で部分範囲に分割することができる範囲を指す。最後に、当業者によって理解されるように、範囲は個々のメンバーを含む。したがって、例えば、１～３つの細胞を有するグループは、１、２、または３つの細胞を有するグループを指す。同様に、１～５つの細胞を有するグループは、１、２、３、４または５つの細胞を有するグループなどを指す。
【0144】
上記から、本開示の様々な実施形態が例示の目的で本明細書に記載されており、本開示の範囲および趣旨から逸脱することなく様々な修正を行うことができることが理解されよう。したがって、本明細書に開示される様々な実施形態は限定することを意図するものではなく、真の範囲および趣旨は以下の特許請求の範囲によって示される。
【0145】
本明細書に列挙されるすべての参考文献は、その全体が特定の参照により本明細書に組み込まれる。
参考文献：ＰＣＴ／ＵＳ２０１５／０２５４６８、Ｆ．Ｃｕｔｒａｌｅ、Ｖ．Ｔｒｉｖｅｄｉ、Ｌ．Ａ．Ｔｒｉｎｈ、Ｃ．Ｌ．Ｃｈｉｕ、Ｊ．Ｍ．Ｃｈｏｉ、Ｍ．Ｓ．Ａｒｔｉｇａ、Ｓ．Ｅ．Ｆｒａｓｅｒによる「Ｈｙｐｅｒｓｐｅｃｔｒａｌ ｐｈａｓｏｒ ａｎａｌｙｓｉｓ ｅｎａｂｌｅｓ ｍｕｌｔｉｐｌｅｘｅｄ ５Ｄ ｉｎ ｖｉｖｏ ｉｍａｇｉｎｇ」（Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ １４，１４９－１５２（２０１７））、Ｗ．Ｓｈｉ、Ｅ．Ｓ．Ｋｏｏ、Ｍ．Ｋｉｔａｎｏ、Ｈ．Ｊ．Ｃｈｉａｎｇ、Ｌ．Ａ．Ｔｒｉｎｈ、Ｇ．Ｔｕｒｃａｔｅｌ、Ｂ．Ｓｔｅｖｅｎｔｏｎ、Ｃ．Ａｒｎｅｓａｎｏ、Ｄ．Ｗａｒｂｕｒｔｏｎ、Ｓ．Ｅ．Ｆｒａｓｅｒ、Ｆ．Ｃｕｔｒａｌｅによる「Ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｆｌｕｏｒｅｓｃｅｎｔ ｄａｔａ ｗｉｔｈ Ｓｐｅｃｔｒａｌｌｙ Ｅｎｃｏｄｅｄ Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ」（Ｎａｔｕｒｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ １１，７２６（２０２０））
参考文献：ＰＣＴ／ＵＳ２０１５／０２５４６８、Ｆ．Ｃｕｔｒａｌｅ、Ｖ．Ｔｒｉｖｅｄｉ、Ｌ．Ａ．Ｔｒｉｎｈ、Ｃ．Ｌ．Ｃｈｉｕ、Ｊ．Ｍ．Ｃｈｏｉ、Ｍ．Ｓ．Ａｒｔｉｇａ、Ｓ．Ｅ．Ｆｒａｓｅｒによる「Ｈｙｐｅｒｓｐｅｃｔｒａｌ ｐｈａｓｏｒ ａｎａｌｙｓｉｓ ｅｎａｂｌｅｓ ｍｕｌｔｉｐｌｅｘｅｄ ５Ｄ ｉｎ ｖｉｖｏ ｉｍａｇｉｎｇ」（Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ １４，１４９－１５２（２０１７））、Ｗ．Ｓｈｉ、Ｅ．Ｓ．Ｋｏｏ、Ｍ．Ｋｉｔａｎｏ、Ｈ．Ｊ．Ｃｈｉａｎｇ、Ｌ．Ａ．Ｔｒｉｎｈ、Ｇ．Ｔｕｒｃａｔｅｌ、Ｂ．Ｓｔｅｖｅｎｔｏｎ、Ｃ．Ａｒｎｅｓａｎｏ、Ｄ．Ｗａｒｂｕｒｔｏｎ、Ｓ．Ｅ．Ｆｒａｓｅｒ、Ｆ．Ｃｕｔｒａｌｅによる「Ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｆｌｕｏｒｅｓｃｅｎｔ ｄａｔａ ｗｉｔｈ Ｓｐｅｃｔｒａｌｌｙ Ｅｎｃｏｄｅｄ Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ」（Ｎａｔｕｒｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ １１，７２６（２０２０））
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図8C】
【図9】
【手続補正書】
【提出日】2024-01-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
カプセルハイパースペクトルシステムであって、撮像カプセルと、
少なくとも１つのプロセッサを有するハイパースペクトル処理システムと
を備え、前記撮像カプセルが、
前記撮像カプセルから複数の異なる照明光を放射するように構成された複数の発光体を有する照明システムと、
少なくとも１つの撮像センサを有するハイパースペクトル撮像システムと
を備え、前記照明システムおよび前記ハイパースペクトル撮像システムが、異なる照明光のシーケンスで対象を照明し、前記シーケンス内の前記異なる照明光の各々の間に前記対象を撮像するように協働して構成されており、
前記ハイパースペクトル処理システムが、前記ハイパースペクトル撮像システムと動作可能に結合されており、前記ハイパースペクトル撮像システムから前記対象の画像を受信し、受信した前記対象の画像から前記対象のマルチスペクトル反射率データキューブを生成するように構成されている、カプセルハイパースペクトルシステム。
【請求項2】
前記撮像カプセルに結合されたカプセル端部と、前記ハイパースペクトル処理システムに結合されたシステム端部と、を有するテザーをさらに備える、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項3】
前記テザーが、前記ハイパースペクトル撮像システムおよびハイパースペクトル処理システムと、これらの間でデータを渡すよう通信可能に接続されている、請求項２に記載のカプセルハイパースペクトルシステム。
【請求項4】
前記テザーと前記撮像カプセルとの間の半剛性接続をさらに含み、前記半剛性接続が、前記テザーを前記撮像カプセルから取り外すことなく前記撮像カプセルを位置決めするための手動操作に耐えることができるように構成されている、請求項２に記載のカプセルハイパースペクトルシステム。
【請求項5】
前記テザーが非円形断面プロファイルを有する、請求項２に記載のカプセルハイパースペクトルシステム。
【請求項6】
前記テザーが、マーキングを有する外面を含み、前記マーキングが展開時に前記撮像カプセルからの距離を示すように構成されている、請求項２に記載のカプセルハイパースペクトルシステム。
【請求項7】
前記照明システムが、少なくとも３つの異なる色帯域を有する少なくとも３つのＬＥＤを備える、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項8】
少なくとも１つのＬＥＤが白色光ＬＥＤである、請求項７に記載のカプセルハイパースペクトルシステム。
【請求項9】
少なくとも２つのＬＥＤが、異なる色帯域を有する有色ＬＥＤである、請求項８に記載のカプセルハイパースペクトルシステム。
【請求項10】
前記照明システムが、複数のＬＥＤの均一に配置されたアレイを備える、請求項７に記載のカプセルハイパースペクトルシステム。
【請求項11】
前記照明システムが少なくとも６つのＬＥＤを備え、前記少なくとも６つのＬＥＤが、少なくとも２つの白色光ＬＥＤと、少なくとも２つの異なる色帯域を有する少なくとも４つの有色ＬＥＤと、を含む、請求項１０に記載のカプセルハイパースペクトルシステム。
【請求項12】
各ＬＥＤの発光波長が、健康な組織上の白色および／またはピンクがかった表面と、非健康な組織上の赤色表面と、を視認可能に識別し、互いに区別できるように選択される、請求項７に記載のカプセルハイパースペクトルシステム。
【請求項13】
前記少なくとも１つの撮像センサおよび複数の発光体が、プレート上に配置され、同じ方向に向けられている、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項14】
前記ハイパースペクトル撮像システムが、レンズシステムをさらに備え、前記レンズシステムが、固定レンズシステム、着脱可能なレンズシステム、取り換え可能なレンズシステム、または交換可能なレンズシステムである、請求項１に記載のカプセルハイパースペクトルシステム。
【請求項15】
前記レンズシステムが、少なくとも約９０度から約３６０度未満の範囲の視野（ＦＯＶ）を有する少なくとも１つのレンズを有する、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項16】
前記レンズシステムが、約１２０度～約１８０度の範囲の視野（ＦＯＶ）を有する少なくとも１つのレンズを有する、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項17】
前記ハイパースペクトル撮像システムが、光学レンズ、光学フィルタ、分散光学系、またはそれらの組み合わせを備える、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項18】
前記ハイパースペクトル撮像システムが、第１の光学レンズと、第２の光学レンズと、ダイクロイックミラー／ビームスプリッタと、を備える、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項19】
前記ハイパースペクトル撮像システムが、光学レンズ、分散光学系を備え、前記少なくとも１つの撮像センサが光検出器アレイである、請求項１４に記載のカプセルハイパースペクトルシステム。
【請求項20】
前記少なくとも１つの撮像センサが、前記撮像カプセルの中心軸に対して偏心した位置に配置されている、請求項１に記載のカプセルハイパースペクトルシステム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【0014】
いくつかの実施形態では、少なくとも１つの撮像センサは、撮像カプセルの中心軸に対して偏心した位置に配置される。いくつかの態様では、少なくとも１つの撮像センサは、中心軸から約１０度～約３５度離れて配置される。いくつかの態様では、ハイパースペクトル撮像システムは、カプセルの光学入口と少なくとも１つの撮像センサとの間に配置された光学フィルタリングシステムをさらに備える。いくつかの態様では、光学フィルタリングシステムは、メディアンフィルタなどのノイズ除去フィルタを含む。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【0027】
いくつかの実施形態では、コンピュータ方法は、撮像カプセルから放射された第１の照明光で参照対象を照明させることと、第１の照明光の間に撮像カプセルを用いて参照対象の画像を取得することと、撮像カプセルから放射される第２の照明光で参照対象を照明することと、第２の照明光の間に撮像カプセルを用いて参照対象の画像を取得することと、撮像カプセルから放射される第３の照明光で参照対象を照明することと、第３の照明光の間に撮像カプセルを用いて参照対象の画像を取得することと、を含むことができる。いくつかの態様では、コンピュータ方法は、画像の各画素についてスペクトルを取得することと、各画素のスペクトルから変換行列を生成することと、を含むことができる。いくつかの態様では、コンピュータ方法は、撮像カプセルから第１の照明光で対象を照明させることと、第１の照明光の間に撮像カプセルを用いて対象の画像を取得することと、撮像カプセルから第２の照明光で対象を照明することと、第２の照明光の間に撮像カプセルを用いて対象の画像を取得することと、撮像カプセルから第３の照明光で対象を照明することと、第３の照明光の間に撮像カプセルを用いて参照対象の画像を取得することと、を含むことができる。いくつかの態様では、ハイパースペクトル処理システムは、変換行列と、第１の照明光、第２の照明光、および第３の照明光の間に取得された対象の画像とからマルチスペクトル反射率データキューブを生成する構成を有する。いくつかの態様では、マルチスペクトル反射率データキューブは、対象の画像を用いた擬似逆方法から得られる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【0046】
カプセル１０２は、ハイパースペクトル処理システム１１０に繋がれていてもよいが、分離されていても、繋がれていなくてもよい。この場合、カプセル１０２は、ハイパースペクトル処理システム１１０に差し込むことができるメモリカードを含むことができ、またはカプセル１０２は、ハイパースペクトル処理システム１１０に直接差し込むことができる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【0058】
図１Ｆは、小型クレーン１５０（例えば、ウインチ）から使用できるように構成された撮像カプセル１０２ｃを示す。クレーン１５０は、テザー１０４ｂ上のカプセル１０２ｃを上昇または下降させるための機械部品１５４（例えば、ウインチなど）を有するテザーシステム１５２を含む。テザー１０４ｂは、撮像に使用するために必要または所望に応じて長くまたは短くすることができる。例えば、クレーン１５０は、使用位置に配置された（例えば、ウェルに取り付けられた）ときに下降することができない可能性があるが、機械部品１５４は、テザー１０４ｂを下降させてカプセル１０２ｃを下降させることができる。カプセル１０２ｃおよび／またはクレーン１５０は、撮像目的でクレーン１５０およびカプセル１０２ｃを動作させることができる本明細書に記載のコントローラ（例えば、コンピュータ）を含むことができる。クレーン１５０および／またはカプセル１０２ｃは、無線データ送信などのハイパースペクトル処理システム１１０にデータを送信し得るトランシーバを含み得る。テザー１０４ｂは、クレーン１５０とカプセル１０２ｃとの間のデータ通信のためのデータ線を提供し得り、または各々が無線データ通信のためのトランシーバを含み得る。また、リモートコントローラ１４６を使用してクレーン１５０を制御し得り、リモートコントローラ１４６はクレーン１５０の動作を無線で制御し得る。リモートコントローラ１４６は、クレーン１５０と直接通信することができ、またはハイパースペクトル処理システム１１０のコンピュータの一部とすることができる制御モジュールを介して通信することができる。
【国際調査報告】