特表 2025-504857 組織の位相幾何学的特徴評価のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-02-19

(54)【発明の名称】組織の位相幾何学的特徴評価のためのシステムおよび方法

(51)【国際特許分類】

   A61B 5/00 20060101AFI20250212BHJP

   A61B 5/107 20060101ALI20250212BHJP

   A61B 10/00 20060101ALI20250212BHJP

   G01B 11/02 20060101ALI20250212BHJP

   G06T 7/593 20170101ALI20250212BHJP

   G06T 7/00 20170101ALI20250212BHJP

【ＦＩ】

A61B5/00 M

A61B5/107 800

A61B10/00 E

A61B10/00 H

A61B10/00 Q

G01B11/02 H

G06T7/593

G06T7/00 612

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024543074

(86)(22)【出願日】2023-01-19

(85)【翻訳文提出日】2024-09-19

(86)【国際出願番号】 US2023011157

(87)【国際公開番号】W WO2023141216

(87)【国際公開日】2023-07-27

(31)【優先権主張番号】63/301,958

(32)【優先日】2022-01-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】517151936

【氏名又は名称】スペクトラル エムディー，インコーポレイテッド

【氏名又は名称原語表記】ＳＰＥＣＴＲＡＬ ＭＤ， ＩＮＣ．

【住所又は居所原語表記】２５１５ ＭｃＫｉｎｎｅｙ Ａｖｅｎｕｅ，Ｓｕｉｔｅ １０００，Ｄａｌｌａｓ，ＴＸ ７５２０１ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100188499

【弁理士】

【氏名又は名称】勝又 政徳

(74)【代理人】

【識別番号】100127568

【弁理士】

【氏名又は名称】酒井 善典

(74)【代理人】

【識別番号】100171402

【弁理士】

【氏名又は名称】上田 ▲茂▼

(74)【代理人】

【識別番号】100213779

【弁理士】

【氏名又は名称】小川 有佳子

(74)【代理人】

【識別番号】100077012

【弁理士】

【氏名又は名称】岩谷 龍

(72)【発明者】

【氏名】サッチャー，ジェフリー イー．

(72)【発明者】

【氏名】マイヤー，ドミニク

(72)【発明者】

【氏名】クアン，ペイラン

(72)【発明者】

【氏名】イ，ファリュー

【テーマコード（参考）】

2F065

4C038

4C117

5L096

【Ｆターム（参考）】

2F065AA25

2F065AA53

2F065AA58

2F065AA59

2F065BB05

2F065CC16

2F065DD03

2F065FF05

2F065JJ03

2F065JJ05

2F065JJ26

2F065LL04

2F065LL22

2F065QQ31

2F065SS02

2F065SS13

4C038VA04

4C038VB22

4C038VC05

4C117XB01

4C117XB09

4C117XE42

4C117XJ01

4C117XJ13

4C117XJ17

4C117XJ34

4C117XK05

4C117XK19

5L096AA02

5L096AA06

5L096AA09

5L096BA06

5L096BA13

5L096CA04

5L096CA05

5L096DA01

5L096DA02

5L096EA14

5L096EA16

5L096FA02

5L096FA04

5L096FA06

5L096FA32

5L096FA59

5L096FA64

5L096FA66

5L096FA69

5L096GA03

5L096GA05

5L096GA32

5L096HA01

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

イメージングシステムは、組織領域によって反射された少なくとも第１の所定の周波数帯の光を受光するように構成された複数のイメージセンサと、１つ以上のプロセッサとを含むことができ、１つ以上のプロセッサが、イメージセンサが組織領域の画像を撮影して、撮影された画像中の画素の対応するセットを特定するように構成され、各セットは、第１のイメージセンサによって撮影された第１の画像の画素と、第２のイメージセンサによって撮影された第２の画像の画素を含む。プロセッサは、対応する画素のセットの画素に対する画素視差と、第１のイメージセンサと第２のイメージセンサ間のベースラインの距離に基づいて、個々の対応する画素のセットに関連する距離または深度値を決定し、少なくとも部分的に距離値に基づいて組織領域の3Dモデルを生成できる。

【特許請求の範囲】

【請求項1】

イメージングシステムであって、
組織領域によって反射された少なくとも第１の所定の周波数帯の光を受光するように構成された複数のイメージセンサと;
コンピュータ実行可能命令が格納されているメモリと;
１つ以上のプロセッサとを含み、前記１つ以上のプロセッサが、前記命令によって構成され、前記命令に従って少なくとも、
少なくとも2つのイメージセンサのそれぞれが組織領域の画像を撮影し;
前記撮影された画像中の画素の対応するセットを特定し、前記各セットは、前記複数のイメージセンサのうちの第１のイメージセンサによって撮影された第１の画像の画素と、前記複数のイメージセンサのうちの第２のイメージセンサによって撮影された第２の画像の画素とを含み;
対応する画素のセットの画素、好ましくは画素視差群または個々の画素視差に対する画素視差を決定し;
前記画素視差、および第１のイメージセンサと第２のイメージセンサ間のベースライン距離に少なくとも部分的に基づいて、個々の対応する画素のセットに関連する距離値を決定し;
少なくとも部分的に前記距離値に基づいて前記組織領域の３次元（３Ｄ）モデルを生成する、イメージングシステム。

【請求項2】

前記組織領域の３Ｄモデルが、３Ｄ点群、３Ｄテクスチャ付きメッシュ、３Ｄパラメトリック・サーフェス、または３Ｄボクセルグリッドの少なくとも１つを含む、請求項１に記載のイメージングシステム。

【請求項3】

前記１つ以上のプロセッサが、命令に従って、３Ｄモデルおよびイメージングシステムの事前キャリブレーションに少なくとも部分的に基づいて、さらに少なくとも前記組織領域の一部の１つ以上の測定値を決定するように構成されている、請求項１または２に記載のイメージングシステム。

【請求項4】

前記１つ以上の測定値が組織領域の一部の長さ測定値、面積測定値、および体積測定値の少なくとも１つを含む、請求項３に記載のイメージングシステム。

【請求項5】

前記１つ以上の測定値が組織領域の一部の断面プロファイルを含む、請求項３または４に記載のイメージングシステム。

【請求項6】

前記事前キャリブレーションが、標準化されたキャリブレーションターゲットをイメージングシステムでイメージングすることに基づいて行われる、請求項３～５のいずれか１項に記載のイメージングシステム。

【請求項7】

前記１つ以上の測定値が、イメージングシステムの視野内に含まれるマーカーに基づいて決定されたものではない、請求項３～６のいずれか１項に記載のイメージングシステム。

【請求項8】

前記１つ以上のプロセッサが、命令に従って、１つ以上の測定値に少なくとも部分的に基づいてさらに１つ以上の診断解析を行うように構成されている、請求項３～７のいずれか１項に記載のイメージングシステム。

【請求項9】

前記１つ以上のプロセッサが、命令に従って、１つ以上の測定値に少なくとも部分的に基づいて特定された医療費請求コードをさらに格納するように構成されている、請求項３～８のいずれか１項に記載のイメージングシステム。

【請求項10】

前記１つ以上のプロセッサが、命令に従って、さらに対応する画素のセットを特定する前に撮影された画像をセグメント化するように構成されている、請求項１～９のいずれか１項に記載のイメージングシステム。

【請求項11】

前記セグメント化が、少なくとも背景画素と組織領域画素を特定することを含む、請求項１０に記載のイメージングシステム。

【請求項12】

前記背景画素が、対応する画素のセットの特定から排除される、請求項１１に記載のイメージングシステム。

【請求項13】

前記少なくとも第１の所定の周波数帯の光で前記組織領域を照射するように構成された少なくとも１つの光源をさらに含む、請求項１～１２のいずれか１項に記載のイメージングシステム。

【請求項14】

前記複数のイメージセンサのうちの各イメージセンサが、少なくとも前記第１の所定の周波数帯と、前記複数のイメージセンサのうちの少なくとも１つの他のイメージセンサの第２の周波数帯とは異なる第２の周波数帯とにおける前記組織領域をイメージするように構成されている、請求項１～１３のいずれか１項に記載のイメージングシステム。

【請求項15】

前記１つ以上のプロセッサが、命令に従って、撮影された画像に基づいてさらに組織領域に関連するマルチスペクトル画像データを得るように構成されている、請求項１４に記載のイメージングシステム。

【請求項16】

前記１つ以上のプロセッサが、命令に従って、前記第１の所定の周波数帯に対応する画像データに基づいてさらにマルチスペクトル画像データをアライメントするように構成されている、請求項１５に記載のイメージングシステム。

【請求項17】

前記組織領域が、創傷、不均一な組織表面、色素沈着、病変の少なくとも一部を含み、前記病変が、特に制限はないが、扁平上皮癌、基底細胞癌、メルケル細胞癌、悪性黒色腫、および光線角化症を含むがん病変を含む、請求項１～１６のいずれか１項に記載のイメージングシステム。

【請求項18】

前記１つ以上のプロセッサが、命令に従って、３Ｄモデルに基づいて創傷のエッジ、不均一な組織表面、色素沈着、または病変の少なくとも一部をさらに検出するように構成されている、請求項１～１７のいずれか１項に記載のイメージングシステム。

【請求項19】

前記１つ以上のプロセッサが、命令に従って、創傷の表面、不均一な組織表面、色素沈着、または病変に対する、創傷のエッジ、不均一な組織表面、色素沈着、または病変の１つ以上の勾配をさらに算出するように構成されている、請求項１８に記載のイメージングシステム。

【請求項20】

前記１つ以上のプロセッサが、命令に従って、１つ以上の勾配と所定の勾配閾値との比較に基づいて、創傷、不均一な組織表面、色素沈着、または病変の状態をさらに決定するように構成されている、請求項１９に記載のイメージングシステム。

【請求項21】

前記１つ以上のプロセッサが、命令に従って、異なる時期にイメージングシステムにより生成された複数の３Ｄモデルに基づいて、創傷、不均一な組織表面、色素沈着、または病変の状態の変化をさらに評価するように構成されている、請求項２０に記載のイメージングシステム。

【請求項22】

前記１つ以上のプロセッサが、命令に従って、３Ｄモデルおよび検出された創傷のエッジ、不均一な組織表面、色素沈着、または病変の少なくとも一部に基づいて、創傷、不均一な組織表面、色素沈着、または病変の面積、リム高、体積、皮膚構成の少なくとも１つを含む特徴をさらに決定するように構成されている、請求項１８に記載のイメージングシステム。

【請求項23】

前記１つ以上のプロセッサが、命令に従って、異なる時期にイメージングシステムにより生成された複数の３Ｄモデルに基づいて特徴中の変化をさらに評価するように構成されている、請求項２２に記載のイメージングシステム。

【請求項24】

前記創傷が、熱傷、手術創、褥瘡、および糖尿病性足部潰瘍の少なくとも１つを含む、請求項１７に記載のイメージングシステム。

【請求項25】

前記１つ以上のプロセッサが、命令に従って、対応する画素のセットを特定する前にさらに画像修正または変換を行うように構成されている、請求項１～２４のいずれか１項に記載のイメージングシステム。

【請求項26】

前記画像修正または変換が、撮影された画像の大きさ、歪み、ゆがみ、パースペクティブ、または回転の少なくとも１つを補正することを含む、請求項２５に記載のイメージングシステム。

【請求項27】

前記１つ以上のプロセッサが、命令に従って、さらに組織領域の3Dモデルに基づいて組織領域のビジュアル表示を出力するように構成されている、請求項１～２６のいずれか１項に記載のイメージングシステム。

【請求項28】

前記ビジュアル表示が、３Ｄモデルに当てはめられた撮像画像の少なくとも１つからの２次元画像データを含む、請求項２７に記載のイメージングシステム。

【請求項29】

前記ビジュアル表示が、ヒートマップを含む、請求項２７に記載のイメージングシステム。

【請求項30】

前記ビジュアル表示が、少なくとも組織領域の一部の２次元断面プロファイルを含む、請求項２７に記載のイメージングシステム。

【請求項31】

前記複数のイメージセンサが少なくとも3つのイメージセンサを含み、前記各セットがさらに、前記複数のイメージセンサのうちの第３のイメージセンサにより撮影された第３の画像の画素を含む、請求項１～３０のいずれか１項に記載のイメージングシステム。

【請求項32】

前記１つ以上のプロセッサが、コンピュータが実行可能な命令に従って、さらに、個々の対応する画素セットに関連する距離値に対応する信頼値を決定するように構成されている、請求項３１に記載のイメージングシステム。

【請求項33】

前記個々の対応する画素セットに対して、前記距離値が第１の画像および第２の画像の画素に基づいて決定され、前記信頼値が第３の画像の画素に少なくとも部分的に基づいて決定される、請求項３２に記載のイメージングシステム。

【請求項34】

前記信頼値が、長さ等の寸法の単位で表された、不確実性値を含む、請求項３２に記載のイメージングシステム。

【請求項35】

前記１つ以上のプロセッサが、コンピュータが実行可能な命令に従って、3Dモデルおよび決定された信頼値に基づいてさらに組織領域の信頼度マップを生成するように構成されている、請求項３２に記載のイメージングシステム。

【請求項36】

前記１つ以上のプロセッサが、コンピュータが実行可能な命令に従って、さらに所定の閾値を満たす信頼値を有する画素を３Ｄモデルから排除するように構成されている、請求項３２に記載のイメージングシステム。

【請求項37】

前記撮影された画像中の画素の対応するセットを特定することが、第１の画像および第２の画像の面積または画素のマッチングを特定するコスト関数を評価することを含む、請求項３２に記載のイメージングシステム。

【請求項38】

前記マッチング面積または画素を特定することが、コスト関数を最小化することを含む、請求項３７に記載のイメージングシステム。

【請求項39】

創傷デブリードマン術における、請求項１～３８のいずれか１項に記載のイメージングシステムの使用であって、前記使用は、任意に、創傷の輪郭またはエッジを平らにする等の、創傷デブリードマン術の前、最中または後であってもよい、請求項１～３８のいずれか１項に記載のイメージングシステムの使用。

【請求項40】

創傷の治癒を改善する方法であって、請求項１～３８のいずれか１項に記載のイメージングシステムを使用して創傷の3Dモデルを生成すること、および、イメージングシステムにより生成された3Dモデルを参照して前記創傷のデブリードマン術を行うことを含み、前記創傷のデブリードマン術を行うことが、前記創傷の3Dモデルを、たとえば前記創傷の輪郭またはエッジを平らにする等のデブリードマン術の前、最中、または後に参照して行われる、創傷の治癒を改善する方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2022年1月21日に出願された「組織の位相幾何学的特徴評価のためのシステムおよび方法」という名称の米国仮特許出願第63/301958号の利益を主張するものであり、この出願は参照によりその全体があらゆる目的で本明細書に援用される。

【0002】

連邦政府の助成による研究開発に関する陳述
本開示に記載の発明の一部は、契約番号HHSO100201300022Cの下、米国保健福祉省の事前準備・対応担当次官補局内の米生物医学先端研究開発局（BARDA）により付与された米国政府の支援を受けてなされたものである。また、本開示に記載の発明の一部は、契約番号W81XWH-17-C-0170および／または契約番号W81XWH-18-C-0114の下、米国国防保健局（DHA）により付与された米国政府の支援を受けてなされたものである。米国政府は、本発明に関し一定の権利を保有する場合がある。

【0003】

本明細書で開示するシステムおよび方法は、スペクトルイメージングに関し、より具体的には、マルチアパーチャイメージングシステムによる高精度スペクトルイメージングに関する。

【背景技術】

【0004】

電磁スペクトルとは、電磁放射線（例えば光）の波長または周波数の帯域である。電磁スペクトルは、長い波長から短い波長の順に、電波、マイクロ波、赤外線光（IR）、可視光（すなわちヒトの眼の構造により検出可能な光）、紫外線光（UV）、Ｘ線、およびガンマ線を含む。また、スペクトルイメージングは、像平面の様々な位置においてスペクトル情報の一部または完全なスペクトルを収集する分光学および写真撮影術の一分野を指す。マルチスペクトルイメージングシステムは、複数のスペクトル帯域（通常、それぞれ異なるスペクトル領域にある十数個以下のスペクトル帯域）を撮影して、画素ごとにそのスペクトル帯域での測定値を収集することができ、１個のスペクトルチャネルあたり数十nmの帯域幅を参照することができる。一方、ハイパースペクトルイメージングシステムは、さらに多くのスペクトル帯域を測定することができ、例えば200個以上ものスペクトル帯域の測定が可能であり、いくつかの種類のハイパースペクトルイメージングシステムは、電磁スペクトルの一部に沿って狭帯域（例えば数nm以下のスペクトル帯域幅）を連続的にサンプリングすることができる。

【発明の概要】

【課題を解決するための手段】

【0005】

本明細書で開示するマルチスペクトルイメージングシステムおよびマルチスペクトルイメージング技術は、いくつかの特徴を有するが、このうちのどれが欠けても所望の特性を達成することはできない。本明細書で開示するスペクトルイメージングの特定の特徴を簡潔に説明するが、以下の説明は、後述の請求項で示す本発明の範囲を限定するものではない。当業者であれば、本明細書で開示するスペクトルイメージングの特徴が、従来のシステムや方法と比べてどのような利点を有するのかを十分に理解できるであろう。

【0006】

第１の態様において、イメージングシステムは、組織領域によって反射された少なくとも第１の所定の周波数帯の光を受光するように構成された複数のイメージセンサと;コンピュータ実行可能命令が格納されているメモリと;１つ以上のプロセッサとを含み、１つ以上のプロセッサが、命令によって構成され、命令に従って、少なくとも２つのイメージセンサのそれぞれが組織領域の画像を少なくとも撮影し;前記撮影された画像中の画素の対応するセットを特定し、各セットは、複数のイメージセンサのうちの第１のイメージセンサによって撮影された第１の画像の画素と、複数のイメージセンサのうちの第２のイメージセンサによって撮影された第２の画像の画素とを含み;対応する画素のセットの画素に対する画素視差、好ましくは画素視差群または個々の画素視差を決定し;画素視差および第１のイメージセンサと第２のイメージセンサ間のベースライン距離に少なくとも部分的に基づいて、個々の対応する画素のセットに関連する距離値を決定し;少なくとも部分的前記距離値に基づいて組織領域の３次元（３Ｄ）モデルを生成する。

【0007】

いくつかの実施形態において、組織領域の３Ｄモデルが３Ｄ点群、３Ｄテクスチャ付きメッシュ、３Ｄパラメトリック・サーフェス、または３Ｄボクセルグリッドの少なくとも１つを含む。

【0008】

いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、3Dモデルおよびイメージングシステムの事前キャリブレーションに少なくとも部分的に基づいて、さらに少なくとも組織領域の一部の１つ以上の測定値を決定するように構成されている。いくつかの実施形態において、１つ以上の測定値が組織領域の一部の長さ測定値、面積測定値、または体積測定値の少なくとも１つを含む。いくつかの実施形態において、１つ以上の測定値が組織領域の一部の断面プロファイルを含む。いくつかの実施形態において、事前キャリブレーションが、標準化されたキャリブレーションターゲットをイメージングシステムでイメージングすることに基づいて行われる。いくつかの実施形態において、１つ以上の測定値がイメージングシステムの視野内に含まれたマーカーに基づいて決定されたものではない。いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、さらに１つ以上の測定値に少なくとも部分的に基づいて１つ以上の診断解析を行うように構成されている。いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、１つ以上の測定値に少なくとも部分的に基づいて特定された医療費請求コードをさらに格納するように構成されている。

【0009】

いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、さらに対応する画素のセットを特定する前に撮影された画像をセグメント化するように構成されている。いくつかの実施形態において、セグメント化が、少なくとも背景画素と組織領域画素を特定することを含む。いくつかの実施形態において、背景画素が対応する画素のセットの特定から排除される。

【0010】

いくつかの実施形態において、イメージングシステムが、少なくとも第１の所定の周波数帯の光で組織領域を照射するように構成された少なくとも１つの光源をさらに含む。

【0011】

いくつかの実施形態において、複数のイメージセンサのうちの各イメージセンサが、少なくとも第１の所定の周波数帯と、複数のイメージセンサのうちの少なくとも１つの他のイメージセンサの第２の周波数帯とは異なる第２の周波数帯とにおける組織領域をイメージするように構成されている。いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、さらに撮影された画像に基づいて組織領域に関連するマルチスペクトル画像データを得るように構成されている。いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、さらに第１の所定の周波数帯に対応する画像データに基づいてマルチスペクトル画像データをアライメントするように構成されている。

【0012】

いくつかの実施形態において、組織領域が、創傷、不均一な組織表面、色素沈着、病変の少なくとも一部を含み、病変が、特に制限はないが、扁平上皮癌、基底細胞癌、メルケル細胞癌、悪性黒色腫、および光線角化症を含むがん病変等を含む。

【0013】

いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、３Ｄモデルに基づいて創傷のエッジ、不均一な組織表面、色素沈着、または病変の少なくとも一部をさらに検出するように構成されている。いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、創傷表面、不均一な組織表面、色素沈着、または病変に対する、創傷のエッジ、不均一な組織表面、色素沈着、または病変の１つ以上の勾配をさらに算出するように構成されている。いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、１つ以上の勾配と所定の勾配閾値との比較に基づいて、創傷、不均一な組織表面、色素沈着、または病変の状態をさらに決定するように構成されている。いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、異なる時期にイメージングシステムにより生成された複数の３Ｄモデルに基づいて、創傷、不均一な組織表面、色素沈着、または病変の状態の変化をさらに評価するように構成されている。いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、３Ｄモデルおよび検出された創傷のエッジ、不均一な組織表面、色素沈着、または病変の少なくとも一部に基づいて、創傷、不均一な組織表面、色素沈着、または病変の面積、リム高、体積、皮膚構成の少なくとも１つを含む特徴をさらに決定するように構成されている。いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、異なる時期にイメージングシステムにより生成された複数の３Ｄモデルに基づいて特徴中の変化をさらに評価するように構成されている。いくつかの実施形態において、創傷が、熱傷、手術創、褥瘡、および糖尿病性足部潰瘍の少なくとも１つを含む。

【0014】

いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、対応する画素のセットを特定する前にさらに画像修正または変換を行うように構成されている。いくつかの実施形態において、画像修正または変換が、撮影された画像の大きさ、歪み、ゆがみ、パースペクティブ、または回転の少なくとも１つを補正することを含む。

【0015】

いくつかの実施形態において、１つ以上のプロセッサが、命令に従って、さらに組織領域の３Ｄモデルに基づいて組織領域のビジュアル表示を出力するように構成されている。いくつかの実施形態において、ビジュアル表示が、３Ｄモデルに当てはめられた撮像画像の少なくとも１つからの２次元画像データを含む。いくつかの実施形態において、ビジュアル表示がヒートマップを含む。いくつかの実施形態において、ビジュアル表示が少なくとも組織領域の一部の２次元断面プロファイルを含む。

【0016】

いくつかの実施形態において、複数のイメージセンサが少なくとも３つのイメージセンサを含み、各セットがさらに、複数のイメージセンサのうちの第３のイメージセンサにより撮影された第３の画像の画素を含む。いくつかの実施形態において、１つ以上のプロセッサが、コンピュータが実行可能な命令に従って、さらに、個々の対応する画素セットに関連する距離値に対応する信頼値を決定するように構成されている。いくつかの実施形態において、個々の対応する画素セットに対して、距離値が第１の画像および第２の画像の画素に基づいて決定され、信頼値が第３の画像の画素に少なくとも部分的に基づいて決定される。いくつかの実施形態において、信頼値が、長さ等の寸法の単位で表された、不確実性値を含む。いくつかの実施形態において、１つ以上のプロセッサが、コンピュータが実行可能な命令に従って、さらに３Ｄモデルおよび決定された信頼値に基づいて組織領域の信頼度マップを生成するように構成されている。いくつかの実施形態において、１つ以上のプロセッサが、コンピュータが実行可能な命令に従って、さらに所定の閾値を満たす信頼値を有する画素を３Ｄモデルから排除するように構成されている。いくつかの実施形態において、撮影された画像中の画素の対応するセットを特定することが、第１の画像および第２の画像の面積または画素のマッチングを特定するコスト関数を評価することを含む。いくつかの実施形態において、マッチング面積または画素を特定することが、コスト関数を最小化することを含む。

【0017】

第２の態様において、前記のイメージングシステムの実施形態のいずれかを、創傷デブリードマン術に使用し、この使用は、任意に、創傷の輪郭またはエッジを平らにする等の創傷デブリードマン術の前、最中、後であってもよい。

【0018】

第３の態様において、創傷の治癒を改善する方法は、先行するイメージングシステムの実施形態のいずれか１つのイメージングシステムを使用して創傷の３Ｄモデルを生成すること、および、イメージングシステムにより生成された３Ｄモデルを参照して創傷のデブリードマン術を行うことを含み、創傷のデブリードマン術を行うことが、創傷の３Ｄモデルを、たとえば創傷の輪郭またはエッジを平らにする等のデブリードマン術の前、最中、または後に参照することである。

【図面の簡単な説明】

【0019】

【図1A】様々な主光線入射角でフィルタに入射する光の一例を示す。

【0020】

【図1B】様々な主光線入射角の光が透過した図１Ａのフィルタから得られた透過効率の一例を示すグラフである。

【0021】

【図2A】マルチスペクトル画像データキューブの一例を示す。

【0022】

【図2B】特定のマルチスペクトルイメージング技術が、どのようにして図２Ａのデータキューブを生成するのかを示した一例を示す。

【0023】

【図2C】図２Ａのデータキューブを生成することができるスナップショット型イメージングシステムの一例を示す。

【0024】

【図3A】本開示による、湾曲したマルチバンドパスフィルタを備えたマルチアパーチャイメージングシステムの一例の光学設計を示した断面概略図を示す。

【0025】

【図3B-3D】図３Ａに示したマルチアパーチャイメージングシステムの１つの光路を構成する光学部品の光学設計の一例を示す。

【0026】

【図4A-4E】図３Ａおよび図３Ｂに関連して述べた光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの一実施形態を示す。

【0027】

【図5】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0028】

【図6A-6C】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0029】

【図7A-7B】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0030】

【図8A-8B】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0031】

【図9A-9C】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0032】

【図10A-10B】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0033】

【図11A-11B】図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムのフィルタを通過することができる１組の周波数帯の一例を示す。

【0034】

【図12】図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムに使用することができるイメージングシステムの略ブロック図を示す。

【0035】

【図13】図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、画像データを撮影するプロセスの一例を示したフローチャートである。

【0036】

【図14】例えば、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセスを使用して撮影された画像データなどの画像データを処理するためのワークフローの略ブロック図を示す。

【0037】

【図15】例えば、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１3に示したプロセスを使用して撮影された画像データなどの画像データを処理するための視差および視差補正を図示する。

【0038】

【図16】例えば、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、かつ／または図１３に示したプロセスを使用して撮影した後、図１４および図１５に従って処理された画像データなどのマルチスペクトル画像データを画素単位で分類するためのワークフローを図示する。

【0039】

【図17】図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを含む分散コンピューティングシステムの一例の略ブロック図を示す。

【0040】

【図18A-18C】携帯型マルチスペクトル・マルチアパーチャイメージングシステムの実施形態の一例を示す。

【0041】

【図19A-19B】携帯型マルチスペクトル・マルチアパーチャイメージングシステムの実施形態の一例を示す。

【0042】

【図20A-20B】一般的なカメラのハウジングに収容された、小型ＵＳＢ３．０用のマルチスペクトル・マルチアパーチャイメージングシステムの一例を示す。

【0043】

【図21】画像の位置合わせを向上させるための追加の光源を含むマルチスペクトル・マルチアパーチャイメージングシステムの一例を示す。

【0044】

【図22A-22B】カメラで撮像された熱傷の画像と生成された3Dモデルの関係の一例を示す。

【0045】

【図23A-23C】義足の統合された３Ｃモデルを示す。

【0046】

【図24】マルチカメライメージングシステムにおける画素視差と深度または距離情報の関係の一例を示す。

【0047】

【図25】複数のカメラビューと推定された３Ｄ組織シーンの関係の一例を示す。

【0048】

【図26A-26D】空間的にオフセットされた複数の２Ｄ画像に基づいて３Ｄ組織モデルを生成するプロセスの一例を示す。

【0049】

【図27A】３Ｄイメージングシステムにおけるキーポイント抽出のためのキャリブレーションターゲットの一例を示す。

【0050】

【図27B】図２７Ａのキャリブレーションターゲット周辺の画像収集デバイス間の３Ｄ距離のキャリブレーション推定を示す特徴対応関係グラフのセットを示す。

【0051】

【図27C】図２７Ａのキャリブレーションターゲットを使用したキャリブレーションのためのカメラ位置のセット例を示す。

【0052】

【図28A-28B】画像中の背景の画素から組織の画素のセグメント化を示す。

【0053】

【図29A-29D】本発明の技術の組織の位相幾何学的特徴評価を使用した創傷エッジ形状寸法の評価を示す。

【0054】

【図30】ａ．治療期間、ｂ．創傷状態、ｃ．フィードバック構成要素、およびｄ．創傷進行モデルを含む、診断・治療タイムラインに対する創傷追跡を示す。

【0055】

【図31】創傷進行モデルで作成した隠れマルコフモデル（ＨＭＭ）の一例を示す。

【0056】

【図32A-32E】本発明の技術の組織の位相幾何学的特徴評価テクニックの適用の一例を示す。

【0057】

【図33】本発明の技術のテクニックにより生成された、創傷を特徴付ける点群の一例を示す。

【発明を実施するための形態】

【0058】

概して、本開示は２つ以上のイメージセンサを使用した組織の３Ｄイメージングおよび／または位相幾何学的特徴評価に関する。いくつかの態様において、本明細書で述べられる３Ｄイメージングおよび／または位相幾何学的特徴評価は、複数の異なる周波数帯において画像データを得るように構成されたスペクトルイメージングシステムにより行うことができる。本明細書に開示された所定のシステムは、既知の形状寸法を有する１つ以上の対象を使用して事前にキャリブレーションされることができ、キャリブレーションは、創傷、潰瘍、または他のあらゆるタイプの組織特徴の幅および／または深度等の組織の多様な態様の具体的な寸法測定値(たとえば長さ)を得るために使用できる。以下に本発明の技術の追加の態様を詳細に述べる。

【0059】

いくつかの実施形態において、本開示は、各アパーチャの上方に配置された湾曲したマルチバンドパスフィルタを備えたマルチアパーチャシステムを使用したスペクトルイメージングに関する。また、本開示は、そのようなイメージングシステムから受信した画像情報を使用して、スペクトルデータキューブを生成するために、スペクトルアンミキシングおよび画像の位置合わせを実装するための技術に関する。本開示の技術は、後述するように、画像化される物体から反射された波長帯域に関する正確な情報を示す画像データを得る際に、スペクトルイメージングにおいて通常見られる様々な課題に対処するものである。いくつかの実施形態において、本明細書に記載のシステムおよび方法は、短時間で（例えば６秒以内に）広範囲な組織（例えば５．９×７．９インチ）の画像を取得することができ、イメージング造影剤の注射を必要とせずに、これを達成することができる。いくつかの態様において、例えば、本明細書に記載のマルチスペクトル画像システムは、例えば５．９×７．９インチといった広範囲な組織から６秒以内に画像を取得するように構成されており、かつ複数の熱傷状態、複数の創傷状態もしくは治癒可能性の識別；または画像化された組織のがん状態もしくは非がん状態、創傷の深さ、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で提供するように構成されている。同様に、本明細書に記載の方法のいくつかにおいて、本発明のマルチスペクトル画像システムは、例えば５．９×７．９インチといった広範囲な組織から６秒以内に画像を取得し、かつ複数の熱傷状態、複数の創傷状態もしくは治癒可能性の識別；または画像化された組織のがん状態または非がん状態、創傷の深さ、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で出力することができる。

【0060】

既存の解決策における課題の１つとして、撮影した画像の色が歪んでしまい、画像データの品質が損なわれることがある。これは、特に、光学フィルタを使用して特定の波長の光を正確に検出し分析することに依存した用途において問題となりうる。より具体的には、色の濃淡は、イメージセンサ領域を通過する位置に応じた光の波長の変化であり、これは、カラーフィルタへの光の入射角が大きくなるほど、カラーフィルタを透過する光の波長が短くなることによって起こる。通常、このような効果は、干渉系フィルタにおいて観察され、干渉系フィルタは、透明な基材に様々な屈折率の薄層を複数重ねて製造される。したがって、長い波長（赤色光など）であるほど、光線入射角が大きくなることから、イメージセンサの端部において阻止されやすくなり、イメージセンサを通過する際に、同じ波長の入射光が空間的には不均一な色として検出される。画像補正をしない場合、色の濃淡は、撮影された画像の端部付近の色の変化として現れる。

【0061】

本開示の技術は、レンズおよび／またはイメージセンサの構成と、これらの視野またはアパーチャサイズが限定されないため、上市されているその他のマルチスペクトルイメージングシステムと比べて有利である。当業者であれば熟知しているように、本明細書で開示するイメージングシステムのレンズ、イメージセンサ、アパーチャサイズ、またはその他の部品の変更は、該イメージングシステムへのその他の調整を含んでいてもよいことを理解できるであろう。また、本開示の技術は、波長を分割する機能を有する部品、またはイメージングシステム全体を利用して波長を分割する機能を有する部品（例えば光学フィルタなど）を、光エネルギーをデジタル出力に変換する部品（例えばイメージセンサなど）から分離可能であるという点で、その他のマルチスペクトルイメージングシステムと比べて改良されている。これによって、コストを削減し、簡略化し、かつ／または異なるマルチスペクトル波長用のイメージングシステムを再構成するための開発時間を短縮することができる。また、本開示の技術は、より小さくより軽量のフォームファクタにおいて、上市されているその他のマルチスペクトルイメージングシステムと同等の撮像特性を達成可能であるという点で、その他のマルチスペクトルイメージングシステムよりも堅牢であると考えられる。また、本開示の技術は、スナップショット、ビデオレートまたは高速ビデオレートでマルチスペクトル画像を取得できるという点でも、その他のマルチスペクトルイメージングシステムと比べて有利である。また、本開示の技術は、いくつかのスペクトル帯域を各アパーチャに多重化することができるため、イメージングデータセット中の特定の数のスペクトル帯域を取得するのに必要とされるアパーチャの数を減らすことができ、アパーチャの数の削減と改良された光収集によりコストが削減できることから（例えば、市販のセンサアレイでは、固定されたサイズおよび寸法に収められる程度のさらに大きなアパーチャが使用されうる）、マルチアパーチャ技術に基づいたマルチスペクトルイメージングシステムのさらに堅牢な実装を提供することができる。さらに、本開示の技術は、解像度または画質に関して妥協することなく、これらの利点のすべてを提供することができる。

【0062】

図１Ａは、イメージセンサ110に向かう光路に沿って配置されたフィルタ108の一例と、様々な光線入射角でフィルタ108に入射する光を示す。光線102A、光線104A、光線106Aは、フィルタ108を通過した後、レンズ112により屈折されてセンサ110上に入射する線として示す。レンズ112は、ミラーおよび／またはアパーチャなどの（ただしこれらに限定されない）別の画像形成光学系と置き換えてもよい。図１Ａにおいて、各光線の光は広帯域であると見なされ、例えば、広い波長領域のスペクトル組成を有する光であり、フィルタ108により特定波長の光のみが選択的に透過される。３つの光線102A、104A、106Aは、互いに異なる入射角でフィルタ108に入射する。説明を目的として、光線102Aは、フィルタ108に対して実質的に垂直な入射として示され、光線104Aは、光線102Aよりも大きな入射角を有し、光線106Aは、光線104Aよりも大きい入射角を有する。フィルタを通過した各光線102B、104B、106Bは、入射角に依存したフィルタ108の透過特性により、特有のスペクトラムを示し、これらの特有のスペクトラムは、センサ110で検出される。この入射角度依存性という効果から、入射角が増加するほど波長が短くなるという、フィルタ108の帯域通過特性のシフトが起こる。さらに、入射角度依存性によって、フィルタ108の透過効率が低下することがあり、フィルタ108の帯域通過特性を示すスペクトル形状が変化することがある。このような複合効果は、入射角度依存性のスペクトル透過と呼ばれる。図１Ｂは、センサ110の位置に存在すると仮定した分光器で検出された図１Ａの各光線のスペクトラムを示し、入射角が増加するほど、フィルタ108の帯域通過特性を示すスペクトルがシフトすることを説明している。曲線102C、曲線104Cおよび曲線106Cは、帯域通過特性の中心波長が短くなっていることを示し、したがって、この例では、光学系から照射された光の波長が短縮していることが示されている。また、この図に示すように、帯域通過特性のスペクトル形状および透過率のピークも入射角により変化する。特定のコンシューマー向けの用途では、このような入射角度依存性のスペクトル透過による目に見える効果を除去するため、画像処理を行うことができる。しかし、このような後加工技術では、どの波長の光が実際にフィルタ108に入射したのかという正確な情報を回復することはできない。したがって、得られる画像データは、特定の高精密な用途には使用できない可能性がある。

【0063】

既存の特定のスペクトルイメージングシステムが直面している別の課題として、完全なスペクトル画像データセットの撮影に必要とされる時間が挙げられる。これについては、図２Ａおよび図２Ｂに関連して検討する。スペクトルイメージセンサは、特定のシーンのスペクトル放射照度Ｉ（x,y,λ）を取得し、データキューブと一般に呼ばれる三次元（3D）データセットを収集する。図２Ａは、スペクトル画像のデータキューブ120の一例を示す。この図に示すように、データキューブ120は、三次元の画像データを示し、このうち、２つの空間次元（xおよびy）は、イメージセンサの二次元（2D）表面に対応し、スペクトル次元（λ）は、特定の波長域に対応している。データキューブ120のサイズは、N_xN_yN_λで求めることができ、N_xおよびN_yは、各空間次元（x,y）方向の標本点の数であり、N_λは、スペクトル軸λ方向の標本点の数である。データキューブは、現在利用可能な2D検出器アレイ（例えばイメージセンサ）よりも次元が高いため、典型的なスペクトルイメージングシステムでは、データキューブ120の時系列2Dスライス（すなわち平面）（本明細書において「走査型」イメージングシステムと呼ぶ）を撮影するか、あるいは、演算過程でデータキューブ120を分割して、このデータキューブ120に再統合可能な複数の二次元データを得ることにより、データキューブ120のすべての標本点を同時に測定する（本明細書において「スナップショット型」イメージングシステムと呼ぶ）。

【0064】

図２は、特定の走査スペクトルイメージング技術が、どのようにしてデータキューブ120を生成するのかを示した一例を示す。具体的には、図２Ｂは、１回の検出器の積分時間に収集することができるデータキューブ120の部分132、134および136を示す。ポイントスキャン分光器は、例えば、１つの空間位置（x,y）においてスペクトル平面λの全体に延びる部分132を撮影することができる。ポイントスキャン分光器は、空間次元の各（x,y）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。フィルタホイールイメージングシステムは、例えば、空間次元ｘおよびｙの全体に延びるが、単一のスペクトル平面λのみに位置する部分134を撮影することができる。フィルタホイールイメージングシステムなどの波長走査イメージングシステムは、スペクトル平面λに対して積分を複数回行うことによってデータキューブ120を構築することができる。ラインスキャン分光器は、例えば、スペクトル次元λの全体と空間次元の一方（xまたはy）の全体に延びるが、もう一方の空間次元（yまたはx）の１つの点のみに位置する部分136を撮影することができる。ラインスキャン分光器は、この一方の空間次元（yまたはx）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。

【0065】

対象物体とイメージングシステムの両方が静止している（または露光時間において比較的静止した状態の）用途では、前述した走査型イメージングシステムは、高解像度のデータキューブ120が得られるという利点がある。ラインスキャンイメージングシステムおよび波長走査型イメージングシステムでは、イメージセンサの全域を使用して各スペクトルまたは各空間画像が撮影されることにより、このような利点が得られる場合がある。しかし、最初の露光と次の露光の間にイメージングシステムおよび／または物体に動きがあると、得られる画像データにアーチファクトが発生する場合がある。例えば、データキューブ120において同じ（x,y）位置であっても、実際には、スペクトル次元λにおいて、画像化した物体上の別の物理的位置が示される場合がある。このようなアーチファクトによって、後続の分析において誤差が生じることがあり、かつ／または位置合わせを行う必要性が出てくることがある（例えば、特定の（x,y）位置が物体上の同じ物理的位置に対応するように、スペクトル次元λの位置調整を行う必要性が出てくる）。

【0066】

これに対して、スナップショット型イメージングシステム140では、１つの積分時間または１回の露光でデータキューブ120の全体を撮影することができることから、前述のような動きが画質に与える影響を回避することができる。図２Ｃは、スナップショット型イメージングシステムの作製に使用可能なイメージセンサ142および光学フィルタアレイ144（カラーフィルタアレイ（CFA）など）の一例を示す。この一例でのカラーフィルタアレイ（CFA）144は、イメージセンサ142の表面にカラーフィルタユニット146の繰り返しパターンが配置されたものである。スペクトル情報を得るためのこの方法は、マルチスペクトルフィルタアレイ（MSFA）またはスペクトル分解検出器アレイ（SRDA）と呼ぶこともできる。この図に示した一例では、カラーフィルタユニット146は、５×５に配置された様々なカラーフィルタを含むことから、得られる画像データにおいて25個のスペクトルチャネルが生成される。CFAは、様々なカラーフィルタを使用することによって入射光を各カラーフィルタの帯域に分割し、分割した光をイメージセンサ上の各色の感光体へと導くことができる。このようにして実際には、所定の色148に対して、25個の感光体のうちの１個のみが、その色の波長の光を示すシグナルを検出する。したがって、このようなスナップショット型イメージングシステム140を使用した場合、１回の露光で25個のカラーチャネルが生成されうるが、各カラーチャネルの測定データ量は、イメージセンサ142の総出力よりも小さくなる。いくつかの実施形態において、CFAは、フィルタアレイ（MSFA）およびスペクトル分解検出器アレイ（SRDA）の一方または両方を含んでいてもよく、かつ／または従来のべイヤーフィルタ、CMYKフィルタもしくはその他の吸収系フィルタもしくは干渉系フィルタを含んでいてもよい。干渉系フィルタの一種として、薄膜フィルタアレイがグリッド状に配置され、各グリッドの素子が１つ以上のセンサ素子に対応しているものがある。別の種類の干渉系フィルタとして、ファブリ・ペローフィルタがある。ナノエッチングされたファブリ・ペロー干渉フィルタは、通常、半値全幅（FWHM）が約20～50nmの帯域通過特性を示すが、フィルタの通過帯域の中心波長から阻止帯域への移行部においてロールオフが小さいことから、いくつかの実施形態において使用することできるという点で有利である。さらに、このようなフィルタは、阻止帯域において低い光学濃度（OD）を示すことから、通過帯域外の光に対する感度を向上させることができる。このような複合効果を有することから、これらの特定のフィルタは、蒸着やイオンビームスパッタリングなどのコーティング蒸着法により多数の薄膜層で構成された同様のFWHMの高光学濃度干渉フィルタの高いロールオフにより阻止されてしまうスペクトル領域に対して感度を示す。色素系CMYKフィルタまたはRGB系（べイヤー）フィルタを使用する構成の実施形態では、スペクトルのロールオフが小さく、かつ個々のフィルタの通過帯域のFWHMが大きいことが好ましく、これにより、観察されるスペクトラム全体において各波長に対するスペクトル透過率を特有のものとすることができる。

【0067】

したがって、スナップショット型イメージングシステムにより得られるデータキューブ120は、高精度なイメージング用途において問題となりうる以下の２つの特性の一方を有する。１つ目の問題点として、スナップショット型イメージングシステムにより得られるデータキューブ120は、検出器アレイの（x,y）の大きさよりもN_xおよびN_yの大きさが小さくなりうることから、同じイメージセンサを有する走査型イメージングシステムにより得られるデータキューブ120よりも解像度が低くなる。２つ目の問題点として、スナップショット型イメージングシステムにより得られるデータキューブ120では、特定の（x,y）位置に対する数値補間により、N_xおよびN_yの大きさが検出器アレイの（x,y）の大きさと同じになることがある。しかし、データキューブの生成において補間が行われた場合、データキューブの特定の数値は、センサ上の入射光の波長の実測値ではなく、周辺値に基づいた実測の推定値であることを意味する。

【0068】

露光を１回のみ行うマルチスペクトルイメージングにおいて使用される別の既存の部材として、マルチスペクトルイメージング用ビームスプリッターがある。このようなイメージングシステムにおいて、ビームスプリッターキューブは、入射光を異なる色帯域へと分割し、各帯域は独立した複数のイメージセンサにより観測される。ビームスプリッターの設計を変更して、測定するスペクトル帯域を調整することができるが、イメージングシステムの性能を損なうことなく、４つを超えるビームに入射光を分割することは容易ではない。したがって、４個のスペクトルチャネルが、このアプローチでの実用限界であると見られる。これと密接に関連した方法では、かさ高いビームスプリッターキューブ／プリズムの代わりに、薄膜フィルタを使用して光を分割するが、連続した複数のフィルタによる累積的な透過率の減衰と空間的制限により、このアプローチでも、約６個のスペクトルチャネルに制限される。

【0069】

いくつかの実施形態において、とりわけ前述の課題は、各アパーチャを通って入射する光を選択的に透過する湾曲したマルチバンドパスフィルタを備えた、本明細書で開示するマルチアパーチャスペクトルイメージングシステムと、これに関連する画像データ処理技術により対処することができる。この特定の構成によって、速いイメージング速度、高解像度画像、および検出波長の高い忠実度という設計目標のすべてを達成することができる。したがって、本明細書で開示する光学設計および関連する画像データ処理技術は、ポータブルスペクトルイメージングシステムにおいて使用することができ、かつ／または移動している対象のイメージングに使用することができるとともに、高精度用途（例えば、臨床組織分析、生体認証、一時的な臨床徴候）に適したデータキューブを得ることができる。このような高精度用途として、転移前の悪性黒色腫の進行度（0～3）の診断、皮膚組織における熱傷の重症度の分類、または糖尿病性足部潰瘍の重症度の組織診断を挙げることができる。したがって、いくつかの実施形態で説明するスナップショットスペクトルの取得とスモールフォームファクタによって、様々な種類の網膜症（例えば、非増殖性糖尿病性網膜症、増殖性糖尿病性網膜症および加齢黄斑変性）の診断、ならびに動きが多い小児患者のイメージングを含む、一時的事象を扱う臨床環境において本発明を使用することができる。したがって、本明細書で開示する平坦または湾曲したマルチバンドパスフィルタを備えたマルチアパーチャシステムの使用は、従来のスペクトルイメージングの実装と比べて大幅な技術的進歩となることを当業者であれば十分に理解できるであろう。より具体的には、本発明のマルチアパーチャシステムは、各アパーチャ間における算出された遠近差に基づいて、物体の弯曲、深さ、体積および／または面積の3D空間画像またはこれらに関する3D空間画像の収集を可能にするものであってもよい。しかし、本明細書で開示するマルチアパーチャを用いた方法は、特定のフィルタには限定されず、干渉フィルタリングまたは吸収フィルタリングに基づいた平坦なフィルタおよび／または薄型フィルタを含んでいてもよい。本明細書で開示する本発明は、適切なレンズまたはアパーチャに対する入射角が小さいか、許容域である場合に、イメージングシステムの像空間に平坦なフィルタを備えるように変更することができる。結像レンズの入射瞳および／もしくは射出瞳またはアパーチャ絞りにフィルタを配置してもよく、光工学分野の当業者であれば、このような構成を容易に採用できるであろう。

【0070】

特定の例および実施形態に関連して、本開示の様々な態様について以下で述べる。これらの例および実施形態は説明を目的としたものであり、本開示を限定するものではない。本明細書で述べる例および実施形態は、説明を目的として、特定の計算およびアルゴリズムに焦点を当てているが、当業者であれば、これらの例が説明のみを目的としたものであり、本発明を限定するものではないことを十分に理解できるであろう。例えば、マルチスペクトルイメージングに関していくつかの例を挙げているが、本明細書で開示するマルチアパーチャイメージングシステムおよびこれに関連するフィルタは、その他の実装においてハイパースペクトルイメージングを実施できるように構成することができる。さらに、特定の例は、携帯型用途および／または移動している対象物体に対する用途において利点を達成するものとして提示されているが、本明細書で開示するイメージングシステムの設計およびこれに関連する処理技術により、固定されたイメージングシステムおよび／または比較的静止した状態の対象の分析に適した高精度なデータキューブを得ることができることは十分に理解できるであろう。

【0071】

電磁スペクトル範囲およびイメージセンサの概要
本明細書において、電磁スペクトルの特定の色または特定の部分に言及し、以下、ISO21348「放射照度スペクトルの種類の定義」による定義に従って、これらの波長を説明する。以下で詳述するように、特定のイメージング用途において、特定の色の波長領域を一括して特定のフィルタに通過させることができる。

【0072】

760nm～380nmまたは約760nm～約380nmの波長の範囲の電磁放射線は、通常、「可視」スペクトラム、すなわち、ヒトの眼の色受容体により認識可能なスペクトラム部分であると考えられている。可視スペクトルにおいて、赤色光は、通常、700nmもしくは約700nmの波長を有するか、または760nm～610nmもしくは約760nm～約610nmの範囲にあると考えられている。橙色光は、通常、600nmもしくは約600nmの波長を有するか、または610nm～591nmもしくは約610nm～約591nmの範囲にあると考えられている。黄色光は、通常、580nmもしくは約580nmの波長を有するか、または591nm～570nmもしくは約591nm～約570nmの範囲にあると考えられている。緑色光は、通常、550nmもしくは約550nmの波長を有するか、または570nm～500nmもしくは約570nm～約500nmの範囲にあると考えられている。青色光は、通常、475nmもしくは約475nmの波長を有するか、または500nm～450nmもしくは約500nm～約450nmの範囲にあると考えられている。紫色（赤紫色）光は、通常、400nmもしくは約400nmの波長を有するか、または450nm～360nmもしくは約450nm～約360nmの範囲にあると考えられている。

【0073】

可視スペクトル外の範囲に目を向けると、赤外線（IR）は、可視光よりも長い波長を有する電磁放射線を指し、通常、ヒトの眼には見えない。IRは、約760nmまたは760nmにある赤色の可視スペクトルの公称下限値から約1mmまたは1mmに及ぶ波長を有する。この範囲内において、近赤外線（NIR）は、赤色の範囲に隣接しているスペクトラムの一部を指し、約760nm～約1400nmまたは760nm～1400nmの波長範囲である。

【0074】

紫外線（UV）光は、可視光よりも短い波長の電磁放射線の一部を指し、通常、ヒトの眼には見えない。UVは、約40nmまたは40nmにある紫色の可視スペクトルの公称値下限値から約400mmに及ぶ波長を有する。この範囲内において、近紫外線（NUV）は、紫色の範囲に隣接しているスペクトラムの一部を指し、約400nm～約300nmまたは400nm～300nmの波長範囲であり、中間紫外線（MUV）は、約300nm～約200nmまたは300nm～200nmの波長範囲であり、遠紫外線（FUV）は、約200nm～約122nmまたは200nm～122nmの波長範囲である。

【0075】

本明細書に記載のイメージセンサは、特定の用途に適した特定の波長領域に応じて、上述の領域のうち、どの電磁放射線であっても検出できるように構成することができる。通常のシリコン電荷結合素子（CCD）または相補型金属酸化膜半導体（CMOS）センサのスペクトル感度は、可視スペクトルの全体に及ぶが、近赤外線（IR）スペクトラムの大半およびUVスペクトラムの一部にも及ぶ。いくつかの実装では、裏面入射型または表面入射型のCCDアレイまたはCMOSアレイを付加的または代替的に使用することができる。高いSN比および科学グレードの測定が必要とされる用途では、いくつかの実装において、科学用途の相補型金属酸化膜半導体（sCMOS）カメラまたは電子増幅CCDカメラ（EMCCD）を付加的または代替的に使用することができる。別の実装では、目的とする用途に応じて、特定の色の範囲（例えば、短波長赤外線（SWIR）、中波長赤外線（MWIR）、または長波長赤外線（LWIR））において動作することが知られているセンサと、これに対応する光学フィルタアレイを付加的または代替的に使用することができる。これらのセンサおよび光学フィルタアレイは、インジウム・ガリウム・ヒ素（InGaAs）やインジウム・アンチモン（InSb）などの検出器の材質に応じたカメラ、またはマイクロボロメータアレイに応じたカメラを付加的または代替的に備えていてもよい。

【0076】

本明細書で開示するマルチスペクトルイメージング技術において使用されるイメージセンサは、カラーフィルタアレイ（CFA）などの光学フィルタアレイに併用して使用してもよい。いくつかの種類のCFAは、入射光を赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の可視領域に分割し、分割した可視光をイメージセンサ上のそれぞれ専用の赤色、緑色または青色のフォトダイオード感光体に導くことができる。CFAの一般的な例として、ベイヤーパターンがあり、これは、光検出器の長方形のグリッド上にRGBカラーフィルタを特定のパターンで配置したカラーフィルタアレイである。ベイヤーパターンは、緑色50％、赤色25％および青色25％で構成されており、赤色のカラーフィルタと緑色のカラーフィルタが繰り返された列と、青色のカラーフィルタと緑色のカラーフィルタが繰り返された列とが交互に並んでいる。また、いくつかの種類のCFA（例えばRGB-NIRセンサ用のCFA）も、NIR光を分割し、分割したNIR光をイメージセンサ上のそれぞれ専用のフォトダイオード感光体に導くことができる。

【0077】

したがって、CFAのフィルタ部品の波長領域により、撮影された画像において各画像チャネルが示す波長領域が決まることがある。したがって、様々な実施形態において、画像の赤色のチャネルは、カラーフィルタの赤色の波長領域に対応してもよく、黄色光および橙色光の一部を含むことができ、約570nm～約760nmまたは570nm～760nmの範囲である。様々な実施形態において、画像の緑色のチャネルは、カラーフィルタの緑色の波長領域に対応してもよく、黄色光の一部を含むことができ、約570nm～約480nmまたは570nm～480nmの範囲である。様々な実施形態において、画像の青色のチャネルは、カラーフィルタの青色の波長領域に対応してもよく、紫色光の一部を含むことができ、約490nm～約400nmまたは490nm～400nmの範囲である。当業者であれば、CFAの色（例えば、赤色、緑色および青色）を定義する正確な開始波長と終了波長（または電磁スペクトルの一部）が、CFAの実装に応じて様々に異なることがあることを十分に理解できるであろう。

【0078】

さらに、通常の可視光用CFAは、可視スペクトル外の光を透過する。したがって、多くのイメージセンサでは、赤外線波長を阻止するが、可視光を通過させる薄膜赤外線反射フィルタをセンサの前面に配置することによって赤外線に対する感度を制限している。しかし、本明細書で開示するイメージングシステムのいくつかでは、薄膜赤外線反射フィルタを省略して、赤外線光を通過させてもよい。したがって、赤色のチャネル、緑色のチャネルおよび／または青色のチャネルを使用して、赤外線の波長帯域を収集してもよい。いくつかの実装において、青色のチャネルを使用して、特定のNUV波長帯域を収集してもよい。積み重ねたスペクトル画像の各波長において、赤色のチャネル、緑色のチャネルおよび青色のチャネルは、各チャネルが特有の透過効率を有することに関連して異なるスペクトル応答を示すことから、公知の透過プロファイルを使用して、アンミキシングを行う前の各スペクトル帯域に、特有の重み付け応答を提供してもよい。例えば、この重み付け応答には、赤外線波長領域および紫外線波長領域における赤色のチャネル、青色のチャネルおよび緑色のチャネルの公知の透過応答が含まれていてもよく、これによって、これらの波長領域からの帯域の収集に各チャネルを使用することが可能となる。

【0079】

以下でさらに詳述するように、イメージセンサに向かう光路に沿って、追加のカラーフィルタをCFAの前に配置することにより、イメージセンサ上に入射する光の特定の帯域を選択的に抽出することができる。本明細書で開示するカラーフィルタは、（薄膜の）ダイクロイックフィルタおよび／もしくは吸収フィルタの組み合わせ、または単独のダイクロイックフィルタ、および／もしくは単独の吸収フィルタである。本明細書で開示するカラーフィルタの一部は、（通過帯域の）特定の領域内の周波数を通すが、（阻止領域において）その領域外の周波数を遮断（減衰）するバンドパスフィルタであってもよい。本明細書で開示するカラーフィルタの一部は、不連続な複数の波長領域を通すマルチバンドパスフィルタであってもよい。これらの「周波数帯」は、CFAフィルタの広い色範囲と比べて、通過帯域が狭く、阻止領域における減衰量が大きく、かつスペクトルのロールオフが急峻であってもよい。なお、ロールオフは、フィルタの通過帯域から阻止領域への移行部におけるスペクトル応答の急峻さとして定義される。例えば、本明細書で開示するカラーフィルタは、約20nm～約40nmまたは20nm～40nmの通過帯域をカバーすることができる。カラーフィルタのこのような特定の構成によって、実際にセンサに入射する波長帯域が決まることがあり、これによって、本明細書で開示するイメージング技術の精度が向上する場合がある。本明細書に記載のカラーフィルタは、特定の用途に適した特定の波長帯域に応じて、上述の領域のうち、電磁放射線の特定の帯域を選択的に阻止または通過させるように構成することができる。

【0080】

本明細書において、「画素」という用語は、二次元検出器アレイの素子により生成された出力を説明する場合に使用される。これに対して、二次元検出器アレイのフォトダイオード、すなわち、１つの感光素子は、光電効果を介して光子を電子に変換し、次いでこの電子を画素値の決定に使用可能なシグナルに変換することができるトランスデューサとして挙動する。データキューブの１つの要素は、「ボクセル」（例えば、体積のある要素）と呼ぶことができる。「スペクトルのベクトル」は、データキューブの特定の（x,y）位置におけるスペクトルデータ（例えば、物体空間の特定の点から受光した光のスペクトラム）を示すベクトルを指す。本明細書において、データキューブの１つの水平面（例えば、１つのスペクトル次元を表す画像）は、「画像チャネル」と呼ばれる。本明細書に記載の特定の実施形態では、スペクトルのビデオ情報を撮影してもよく、得られるデータ次元は、N_xN_yN_λN_tで示される「ハイパーキューブ」の形態であると想定することができる（ここで、N_tは、ビデオシーケンス中に撮影されたフレームの数である）。

【0081】

湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステムの一例の概要
図３Ａは、本開示による、湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステム200の一例の概略図を示す。ここに示した概略図は、第１のイメージセンサ領域225A（フォトダイオードPD1～PD3）および第２のイメージセンサ領域225B（フォトダイオードPD4～PD6）を含む。フォトダイオードPD1～PD6は、例えば、半導体基板（例えばCMOSイメージセンサ）に形成されたフォトダイオードであってもよい。通常、各フォトダイオードPD1～PD6は、何らかの材質、半導体、センサ素子または入射光を電流に変換できるその他の装置からなる単一ユニットであってもよい。この図では、マルチアパーチャイメージングシステムの構造およびその作動を説明することを目的として、マルチアパーチャイメージングシステム全体のごく一部のみを示しており、実装では、イメージセンサ領域は、何百個または何千個ものフォトダイオード（およびこれに対応するカラーフィルタ）を備えることができることは十分に理解できるであろう。第１のイメージセンサ領域225Aと第２のイメージセンサ領域225Bは、実装に応じて、別々のセンサとして実装してもよく、同じイメージセンサ上の別々の領域として実装してもよい。図３Ａでは、２個のアパーチャとこれに対応する光路およびセンサ領域が示されているが、図３Ａに示した光学設計原理は、実装に応じて、３個以上のアパーチャとこれに対応する光路およびセンサ領域を含む設計に拡大することができることは十分に理解できるであろう。

【0082】

マルチアパーチャイメージングシステム200は、第１のセンサ領域225Aに向かう第１の光路を提供する第１の開口部210A、および第２のセンサ領域225Bに向かう第１の光路を提供する第２の開口部210Bを含む。これらのアパーチャは、画像に反映される光の明るさを増加さたり減少させたりするために調整可能であってもよく、あるいは、これらのアパーチャを調整することによって、特定の画像の露光時間を変更し、イメージセンサ領域に入射する光の明るさが変化しないようにしてもよい。これらのアパーチャは、光学設計分野の当業者が妥当であると判断可能であれば、このマルチアパーチャシステムの光軸に沿ったどの位置に配置してもよい。第１の光路に沿って配置した光学部品の光軸を破線230Aで示し、第２の光路に沿って配置した光学部品の光軸を破線230Bで示すが、これらの破線が、マルチアパーチャイメージングシステム200の物理構造を示すわけではないことは十分に理解できるであろう。光軸230Aと光軸230Bは距離Ｄにより隔てられており、この距離Ｄは、第１のセンサ領域225Aにより撮影される画像と第２のセンサ領域225Bにより撮影される画像の間の視差となりうる。「視差」は、立体写真画像の左側と右側（または上側と下側）において対応する２つの点の間の距離を指し、物体空間の同じ物理点が各画像の異なる位置に現われる。この視差を補正し、かつ利用した処理技術を以下でさらに詳細に述べる。

【0083】

光軸230Aおよび光軸230Bは、それぞれに対応するアパーチャの中心Ｃを通過する。その他の光学部品も、これらの光軸を中心として配置することができる（例えば、光学部品の回転対称点をこの光軸に沿って配置することができる）。例えば、第１の光軸230Aを中心として、第１の湾曲マルチバンドパスフィルタ205Aおよび第１の結像レンズ215Aを配置することができ、第２の光軸230Bを中心として、第２の湾曲マルチバンドパスフィルタ205Bおよび第２の結像レンズ215Bを配置することができる。

【0084】

本明細書において、光学素子の配置に関して述べる際に使用される「上」および「上方」という用語は、物体空間からイメージングシステム200に入った光が、別の構造に到達する（または入射する）前に通り抜ける特定の構造（例えばカラーフィルタまたはレンズ）の位置を指す。これを説明すると、第１の光路に沿って、湾曲マルチバンドパスフィルタ205Aが、アパーチャ210Aの上方に位置し、アパーチャ210Aが、結像レンズ215Aの上方に位置し、結像レンズ215Aが、CFA 220Aの上方に位置し、CFA 220Aが、第１のイメージセンサ領域225Aの上方に位置する。したがって、まず、物体空間（例えば、画像化の対象となる物理的空間）から入った光が、第１の湾曲マルチバンドパスフィルタ205Aを通過し、次にアパーチャ210Aを通過し、次に結像レンズ215Aを通過し、次にCFA 220Aを通過し、最後に、第１のイメージセンサ領域225Aに入射する。第２の光路（例えば、湾曲マルチバンドパスフィルタ205B、アパーチャ210B、結像レンズ215B、CFA 220B、第２のイメージセンサ領域225Bを含む光路）も同様の配置となる。別の実装では、アパーチャ210A，210Bおよび／または結像レンズ215A，215Bを、湾曲マルチバンドパスフィルタ205A，205Bの上方に配置することができる。さらに、別の実装では、物理的なアパーチャを使用しなくてもよく、光学部品のクリアアパーチャに依存して、センサ領域225A上およびセンサ領域225B上に結像される光の明るさを制御してもよい。したがって、レンズ215A，215Bは、アパーチャ210A，210Bと湾曲マルチバンドパスフィルタ205A，205Bの上方に配置してもよい。この実装では、光学設計分野の当業者が必要であると判断可能であれば、アパーチャ210A，210Bをレンズ215A，215Bの上方に配置してもよく、あるいはアパーチャ210A，210Bをレンズ215A，215Bの下方に配置してもよい。

【0085】

第１のセンサ領域225Aの上方に配置した第１のCFA 220Aと、第２のセンサ領域225Bの上方に配置した第２のCFA 220Bは、特定の波長を選択的に通過させるフィルタとして機能することができ、入射してきた可視領域の光を、赤色領域、緑色領域および青色領域（それぞれＲ、ＧおよびＢの記号で示す）に分割することができる。選択された特定の波長のみを、第１のCFA 220Aおよび第２のCFA 220Bの各カラーフィルタに通過させることによって、光が「分割」される。分割された光は、イメージセンサ上のそれぞれ専用の赤色ダイオード、緑色ダイオードまたは青色ダイオードにより受光される。赤色フィルタ、青色フィルタおよび緑色フィルタが一般に使用されているが、別の実施形態では、撮影された画像データに必要とされるカラーチャネルに応じて様々なカラーフィルタを使用することができ、例えば、RGB-IR CFAと同様に、紫外線、赤外線または近赤外線を選択的に通過させるフィルタを使用することができる。

【0086】

図３Ａに示すように、単一のフォトダイオードPD1～PD6の上方にCFAの各フィルタが配置されている。図３Ａでは、マイクロレンズ（MLで示す）の一例も示されており、これらのマイクロレンズは、各カラーフィルタ上に形成するか、それ以外の方法で各カラーフィルタ上に配置することができ、アクティブ検出器の領域上に入射光を集光することができる。別の実装では、単一のフィルタの下方に複数個のフォトダイオードを有していてもよい（例えば、２個、４個またはそれ以上の個数の互いに隣接したフォトダイオードの集合体であってもよい）。この図に示した一例において、フォトダイオードPD1とフォトダイオードPD4は、赤色フィルタの下方に位置することから、赤色のチャネルの画素情報を出力し、フォトダイオードPD2とフォトダイオードPD5は、緑色フィルタの下方に位置することから、緑色のチャネルの画素情報を出力し、フォトダイオードPD3とフォトダイオードPD6は、青色フィルタの下方に位置することから、青色のチャネルの画素情報を出力する。さらに、以下で詳述するように、所定のフォトダイオードによる特定の色のチャネル出力は、アクティブな光源および／またはマルチバンドパスフィルタ205A，205Bを通過した特定の周波数帯に基づいて、さらに狭い周波数帯とすることができ、これによって、所定のフォトダイオードから、様々な露光により様々な画像チャネル情報を出力できるようになる。

【0087】

結像レンズ215A，215Bは、センサ領域225A，225B上で物体シーンの画像の焦点が合うように成形することができる。各結像レンズ215A，215Bは、図3Aに示すような単一の凸面レンズに限定されず、画像形成に必要とされる数の光学素子および表面で構成されていてもよく、市販または特注設計による様々な種類の結像レンズまたはレンズアセンブリを使用することができる。各光学素子またはレンズアセンブリは、止め輪またはベゼルを備えた光学機械式鏡筒を使用して、直列に収容または積み重なるように形成または互いに結合されていてもよい。いくつかの実施形態において、光学素子またはレンズアセンブリは、１つ以上の結合レンズ群を含んでいてもよく、結合レンズ群として、２つ以上の光学部品が接合されたものや、それ以外の方法で２つ以上の光学部品が結合されたものを挙げることができる。様々な実施形態において、本明細書に記載のマルチバンドパスフィルタは、マルチスペクトル画像システムのレンズアセンブリの前面に配置してもよく、マルチスペクトル画像システムの単レンズの前面に配置してもよく、マルチスペクトル画像システムのレンズアセンブリの後ろに配置してもよく、マルチスペクトル画像システムの単レンズの後ろに配置してもよく、マルチスペクトル画像システムのレンズアセンブリの内部に配置してもよく、マルチスペクトル画像システムの結合レンズ群の内部に配置してもよく、マルチスペクトル画像システムの単レンズの表面上に直接配置してもよく、マルチスペクトル画像システムのレンズアセンブリの素子の表面上に直接配置してもよい。さらに、アパーチャ210Aおよびアパーチャ210Bを取り除き、デジタル一眼レフ（DSLR）カメラまたはミラーレスカメラによる写真撮影で通常使用される種類のレンズをレンズ215A，215Bに使用してもよい。さらに、レンズ215A，215Bは、ＣマウントスレッドまたはＳマウントスレッドを装着に使用したマシンビジョンに使用される種類のレンズであってもよい。ピント調整は、例えば、手動フォーカス、コントラスト方式オートフォーカスまたはその他の適切なオートフォーカス技術に基づいて、センサ領域225A，225Bに対して結像レンズ215A，215Bを移動させることによって、あるいは結像レンズ215A，215Bに対してセンサ領域225A，225Bを移動させることによって行うことができる。

【0088】

各マルチバンドパスフィルタ205A，205Bは、狭い周波数帯の複数の光を選択的に通過するように構成することができ、例えば、いくつかの実施形態では10～50nmの周波数帯の複数の光（別の実施形態では、これよりも広い周波数帯または狭い周波数帯の複数の光）を選択的に通過するように構成することができる。図3Aに示すように、マルチバンドパスフィルタ205A，205Bはいずれも周波数帯λc（「共通周波数帯」）を通過させることができる。３つ以上の光路を備えた実装では、各マルチバンドパスフィルタは、この共通周波数帯を通過させることができる。このような方法によって、各センサ領域は、同じ周波数帯（「共通チャネル」）の画像情報を撮影する。以下でさらに詳細に述べるように、この共通チャネルで得られたこの画像情報を使用して、各センサ領域により撮影された一組の画像の位置合わせを行うことができる。いくつかの実装では、１つの共通周波数帯と、これに対応する共通チャネルを有していてもよく、あるいは、複数の共通周波数帯と、これらに対応する共通チャネルを有していてもよい。

【0089】

各マルチバンドパスフィルタ205A，205Bは、共通周波数帯λcに加えて、１つ以上の特有周波数帯を選択的に通過させるように構成することができる。このような方法によって、イメージングシステム200は、センサ領域205A，205Bにより一括して撮影される異なるスペクトルチャネルの数を、単一のセンサ領域により撮影可能なスペクトルチャネル数よりも多くすることができる。この態様は、特有周波数帯λ_u1を通過させるマルチバンドパスフィルタ205Aと、特有周波数帯λ_u2を通過させるマルチバンドパスフィルタ205Bとして、図３Ａに示されており、ここでλ_u1およびλ_u2は、互いに異なる周波数帯を示す。この図では、２個の周波数帯の通過として示したが、本開示のマルチバンドパスフィルタは、それぞれ２個以上の周波数帯を一度に通過させることができる。例えば、図１１Ａおよび図１１Ｂに関連して後述するように、いくつかの実装では、各マルチバンドパスフィルタは、４個の周波数帯を通過させることができる。様々な実施形態において、これよりも多くの周波数帯を通過させてもよい。例えば、４台のカメラを使用した実装では、８個の周波数帯を通過させるように構成されたマルチバンドパスフィルタを備えていてもよい。いくつかの実施形態において、周波数帯の数は、例えば、4個、5個、6個、7個、8個、9個、10個、12個、15個、16個またはそれ以上であってもよい。

【0090】

マルチバンドパスフィルタ205A，205Bは、それぞれに対応するセンサ領域225A，225Bにおける入射角度依存性のスペクトル透過が低下するように選択された弯曲を有する。この結果、物体空間から狭帯域の照明を受光する場合、その波長に感度を有するセンサ領域225A，225Bの表面全体に配置された各フォトダイオード（例えば、センサ領域を覆い、その波長を通過させるカラーフィルタ）は、図１Ａに関連して前述したような、センサの端部近傍に配置されたフォトダイオードにおいて見られる波長のシフトは発生させず、実質的に同じ波長の光を受光すると考えられる。このような構成により、平坦なフィルタを使用した場合よりも正確なスペクトル画像データを生成することができる。

【0091】

図３Ｂは、図３Ａに示したマルチアパーチャイメージングシステムの１つの光路を構成する光学部品の光学設計の一例を示す。より具体的には、図３Ｂは、マルチバンドパスフィルタ205A，205Bとして使用することができる特注の色消しダブレット240を示す。この特注の色消しダブレット240は、ハウジング250を通して光を通過させ、イメージセンサ225へと送る。ハウジング250は、前述したような、開口部210A，210Bおよび結像レンズ215A，215Bを備えていてもよい。

【0092】

色消しダブレット240は、マルチバンドパスフィルタコーティング205A，205Bに必要とされる表面を組み込んで導入されることから、光学収差を補正するように構成される。この図に示した色消しダブレット240は、分散度と屈折率が異なるガラスまたはその他の光学材料から作製することが可能な２枚のレンズを含む。別の実装では、３枚以上のレンズを使用してもよい。これらの色消しダブレットレンズの設計は、湾曲した前面242上にマルチバンドパスフィルタコーティング205A，205Bが組み込まれ、フィルタコーティング205A，205Bを蒸着した湾曲単レンズの光学面を組み込むことにより光学収差を打ち消し、色消しダブレット240の湾曲した前面242と湾曲した裏面244の組み合わせ効果により屈折力または集光力を制限し、ハウジング250に収容されたこれらのレンズのみで、集光のための主要な素子を構成することができる。したがって、色消しダブレット240は、イメージングシステム200により撮影された画像データの精度の向上に寄与することができる。これらの個々のレンズは互いに隣接して装着することができ、例えば、個々のレンズを結合または接合することにより、一方のレンズの収差が他方のレンズの収差によって相殺されるように成形することができる。色消しダブレット240の湾曲した前面242または湾曲した後面244は、マルチバンドパスフィルタコーティング205A，205Bでコーティングすることができる。別のダブレット設計を本明細書に記載のシステムに実装してもよい。

【0093】

本明細書に記載の光学設計のさらなる変形例を実装してもよい。例えば、いくつかの実施形態において、図３Ｂに示すダブレット240の代わりに、図３Ａに示す凸レンズ（正レンズ）または凹レンズ（負レンズ）のような、単レンズまたはその他の光学単レンズが光路に含まれていてもよい。図3Cは、平坦なフィルタ252をレンズのハウジング250とセンサ225の間に配置した実装の一例を示す。複数帯域透過特性を備えた平坦なフィルタ252を組み込んで導入した図３Ｃの色消しダブレット240は、ハウジング250に収容された各レンズの屈折力に顕著に寄与することなく、光学収差を補正する。図３Ｄは、ハウジング250内に収容されたレンズアセンブリの前面にマルチバンドパスコーティング254を施すことにより、マルチバンドパスコーティングが実装された実装の別の一例を示す。このように、このマルチバンドパスコーティング254は、ハウジング250内に収容されたどの光学素子のどの曲面に施してもよい。

【0094】

図４Ａ～４Ｅは、図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム300の一実施形態を示す。図４Ａは、より具体的には、内部の部品を見せるために半透明で示したハウジング305を備えるイメージングシステム300の透視図を示す。実際のハウジング305は、例えば、所望とする組み込み用コンピュータリソースの大きさに応じて、この図に示したハウジング305よりも大きくてもよく、小さくてもよい。図４Ｂは、イメージングシステム300の正面図を示す。図４Ｃは、図４ＢのC-C線に沿って切断した、イメージングシステム300の破断側面図を示す。図４Ｄは、処理基板335を示した、イメージングシステム300の底面図を示す。以下、図４Ａ～４Ｄについて述べる。

【0095】

イメージングシステム300のハウジング305は、別のハウジングに収容されていてもよい。例えば、携帯型の実装では、イメージングシステム300を安定に保持できるように成形された１本以上のハンドルを備えていてもよいハウジングの内部に該イメージングシステムが収容されていてもよい。携帯型の実装の一例は、図１８Ａ～１８ＣCおよび図１９Ａ～１９Ｂにより詳細に示している。ハウジング305の上面には、４つの開口部320A～320Dを備えている。各開口部320A～320Dの上方に互いに異なるマルチバンドパスフィルタ325A～325Dが配置されており、フィルタキャップ330A～330Bにより適所に収容されている。マルチバンドパスフィルタ325A～325Dは湾曲していてもよく、本明細書で述べるように、各マルチバンドパスフィルタは、共通周波数帯と少なくとも１つの特有周波数帯を通過させることによって、カラーフィルタアレイで覆われたイメージセンサで通常撮影されるスペクトルチャネルよりも多くのスペクトルチャネルにおいて高精度マルチスペクトルイメージングを実施することができる。前述したイメージセンサ、結像レンズおよびカラーフィルタは、カメラハウジング345A～345Dの内部に配置される。いくつかの実施形態において、例えば、図２０Ａ～２０Ｂに示すように、前述したイメージセンサ、結像レンズおよびカラーフィルタは、単一のカメラハウジングに収容されていてもよい。このように、これらの図に示した実装では、別々の複数のセンサを使用する（例えば、カメラハウジング345A～345Dのそれぞれの内部に１個のセンサを収容する）が、別の実装では、開口部320A～320Dを介して露出した領域全体に配置された単一のイメージセンサを使用できることも十分に理解できるであろう。この実施形態では、支持材340を使用して、カメラハウジング345A～345Dが、前記イメージングシステムのハウジング305に固定されているが、様々な実装において、その他の適切な手段を使用して固定することもできる。

【0096】

ハウジング305の上面は、任意で設けられる照明基板310を支持しており、この照明基板310は光学拡散素子315で覆われている。照明基板310は、以下の図4Eに関連してより詳細に説明する。拡散素子315は、ガラス、プラスチックまたはその他の光学材料で構成することができ、照明基板310から発せられた光を拡散させて、物体空間が空間的に実質的に均一な照明を受けられるようにする。対象物体に均一な照明を当てると、各波長において、物体の表面全体に実質的に均一な量の照明を当てることができるため、例えば画像撮影による組織の臨床分析などの特定のイメージング用途において有益な場合がある。いくつかの実施形態において、本明細書で開示するイメージングシステムは、任意で設けられる照明基板からの光の代わりに、またはこの照明基板からの光に加えて、環境光を利用してもよい。

【0097】

使用中の照明基板310は熱を生じることから、イメージングシステム300は、放熱フィン355を多数備えたヒートシンク350を備える。放熱フィン355は、各カメラハウジング345A～345Dの間の空間内へと延伸することができ、ヒートシンク350の上部は、照明基板310からフィン355へと熱を逃がすことができる。ヒートシンク350は、適切な熱伝導性材料から作製することができる。ヒートシンク350は、その他の部品からの熱の放散を補助してもよく、これによって、イメージングシステムの実装のいくつかでは、ファンを設けなくてもよい。

【0098】

ハウジング305内の多数の支持材365によって、カメラ345A～345Dと通信を行う処理基板335が固定されている。処理基板335は、イメージングシステム300の作動を制御することができる。図４Ａ～４Ｄには示していないが、イメージングシステム300は、例えば該イメージングシステムを使用して作成されたデータの格納用メモリなどの、１つ以上のメモリ、および／またはコンピュータが実行可能な命令を出すシステム制御用モジュールを備えるように構成することもできる。処理基板335は、システム設計の目的に応じて様々に構成することができる。例えば、（例えば、コンピュータが実行可能な命令を出すモジュールにより）、照明基板310の特定のLEDの起動を制御するように処理基板を構成することができる。いくつかの実装では、高度に安定な同期整流降圧型LEDドライバを使用することができ、このドライバによって、ソフトウェアによるLEDのアナログ電流制御と、LEDの故障の検出が可能となる。いくつかの実装では、（例えば、コンピュータが実行可能な命令を出すモジュールにより）、処理基板335または別の処理基板に画像データ分析機能をさらに提供することができる。図４Ａ～４Ｄには示していないが、イメージングシステム300は、処理基板335がセンサからデータを受信し、そのデータを処理できるように、センサと処理基板335の間にデータインターコネクトを備えていてもよく、処理基板が照明基板310の特定のLEDを起動させることができるように、照明基板310と処理基板335の間にデータインターコネクトを備えていてもよい。

【0099】

図４Ｅは、イメージングシステム300に設けられていてもよい照明基板310の一例を示し、他の部品から照明基板310を分離して示している。照明基板310は、中央部から延びた４つのアームを備え、各アームに沿ってLEDが３列に配置されている。隣り合う列のLED間のスペースは、隣り合うLED同士が離れるように、横方向の中心が互いにずれるように配置されている。各LED列は、様々な色のLEDを有する行を多数含む。中央部の各角部に１個の緑色LEDが配置されるように、計４個の緑色LED 371が中央部に配置されている。最も内側の行（例えば、中心部に最も近い行）から説明すると、深紅色LED 372を２個含む行が各列に含まれている（合計８個の深紅色LED）。径方向外側に説明を続けると、各アームは、中心の列に、１個の琥珀色LED 374を含む行を有し、両側の列に、２個の短く点滅する青色LED 376を含む行を有し（合計８個の短く点滅する青色LEDを有し）、中心の列に、１個の琥珀色LED 374を含む行をもう１つ有し（合計８個の琥珀色LEDを有し）、両側の列に、１個の非PPG用NIR LED 373と１個の赤色LED 375を有する行を有し（合計４個の非PPG用NIR LEDと合計４個の赤色LEDを有し）、中心の列に、１個のPPG用NIR LED 377を有する（合計４個のPPG用NIR LEDを有する）。「PPG用」LEDとは、生体組織の拍動血流を表す光電容積脈波（PPG）情報を撮影するための連続した多数回の露光において起動されるLEDを指す。別の実施形態では、様々なその他の色および／または配置のLEDを照明基板において使用してもよいことを理解できるであろう。

【0100】

図５は、図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム300の別の一実施形態を示す。イメージングシステム300の設計と同様に、イメージングシステム400は、４つの光路を含み、この図では、止め輪430A～430Dでハウジング405に固定されたマルチバンドパスフィルタレンズ群425A～425Dを有する開口部420A～420Dとして示している。イメージングシステム400は、対象物体上への空間的に均一な光の照射を補助するため、止め輪430A～430Dの間の、ハウジング405の正面部に固定された照明基板410と、照明基板410上に配置された拡散板415とをさらに含む。

【0101】

イメージングシステム400の照明基板410は、十字形の４つの腕にLEDが配置されており、各腕には密集したLEDが２列に配置されている。このようにすれば、前述の照明基板310よりも照明基板410がコンパクトになり、より小さいフォームファクタ要件を有するイメージングシステムとの使用に適する場合がある。この一例としての構成において、各腕は、最外列に１個の緑色LEDと１個の青色LEDを有し、内側に向かって、黄色LEDを２行含み、橙色LEDを１行含み、１個の赤色LEDと１個の深紅色LEDを１行に含み、１個の琥珀色LEDと１個のNIR LEDを１行に含む。したがって、この実装では、より長い波長の光を発するLEDが照明基板410の中心部に位置し、より短い波長の光を発するLEDが照明基板410の端部に位置するように、各LEDが配置される。

【0102】

図６Ａ～６Ｃは、図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム500の別の一実施形態を示す。より具体的には、図６Ａは、イメージングシステム500の透視図を示し、図６Ｂは、イメージングシステム500の正面図を示し、図６Ｃは、図６ＢのC-C線に沿って切断した、イメージングシステム500の破断側面図を示す。イメージングシステム500は、イメージングシステム300に関連して前述したものと同様の部品（例えば、ハウジング505、照明基板510、拡散板515、止め輪530A～530Dにより開口部の上方に固定されたマルチバンドパスフィルタ525A～525Dなど）を含むが、短いフォームファクタとなっている（例えば、一実施形態において、組み込み用コンピュータ部品の数が少なくなっているか、かつ／または組み込み用コンピュータ部品の寸法が小さくなっている）。イメージングシステム500は、カメラアライメントの位置を強固かつ堅牢に固定するための直接カメラ－フレームマウント540をさらに含む。

【0103】

図７Ａ～７Ｂは、マルチスペクトル・マルチアパーチャイメージングシステム600の別の一実施形態を示す。図７Ａ～7Ｂは、マルチアパーチャイメージングシステム600の周辺光源610A～610Cの別の可能な配置を示す。この図に示すように、図３Ａ～３Ｄに関連して説明した光学設計を備えたマルチバンドパスフィルタ625A～625Dを備えた４つのレンズアセンブリは、長方形または正方形に配置して、（イメージセンサを含む）４台のカメラ630A～630Dに受光させることができる。３つの長方形発光素子610A～610Cは、マルチバンドパスフィルタ625A～625Dを備えた各レンズアセンブリの外部かつ該レンズアセンブリ間に、互いに平行になるように配置することができる。これらの長方形発光素子は、広域スペクトルの発光パネルであってもよく、それぞれ異なる周波数帯の光を発するLEDが配置されたものであってもよい。

【0104】

図８Ａ～８Ｂは、マルチスペクトル・マルチアパーチャイメージングシステム700の別の一実施形態を示す。図８Ａ～８Ｂは、マルチアパーチャイメージングシステム700の周辺光源710A～710Dの別の可能な配置を示す。この図に示すように、図３Ａ～３Ｄに関連して説明した光学設計を採用したマルチバンドパスフィルタ725A～725Dを備えた４つのレンズアセンブリは、長方形または正方形に配置して、（イメージセンサを含む）４台のカメラ730A～730Dに受光させることができる。４台のカメラ730A～730Dは、互いにより接近した構成の一例として示されており、これによって、レンズ間の遠近差を最小限に抑えてもよい。４つの長方形発光素子710A～710Dは、マルチバンドパスフィルタ725A～725Dを備えたレンズアセンブリを取り囲んだ正方形に配置することができる。これらの長方形発光素子は、広域スペクトルの発光パネルであってもよく、それぞれ異なる周波数帯の光を発するLEDが配置されたものであってもよい。

【0105】

図９Ａ～９Ｃは、マルチスペクトル・マルチアパーチャイメージングシステム800の別の一実施形態を示す。イメージングシステム800は、レンズ集合体前面フレーム830に接続されたフレーム805を含み、レンズ集合体前面フレームは、開口部820とマイクロビデオレンズ825用の支持構造を含み、マイクロビデオレンズ825は、図３Ａ～３Ｄに関して説明した光学設計を使用したマルチバンドパスフィルタを備えることができる。マイクロビデオレンズ825は、レンズ集合体後面フレーム840に装着された４台のカメラ845（結像レンズおよびイメージセンサ領域を含む）に受光させる。直線状に４列に配置されたLED 811は、レンズ集合体前面フレーム830の４つの辺に沿って配置されており、４つの辺のそれぞれには各LED用の拡散素子815が備えられている。図９Ｂおよび図９Ｃは、マルチアパーチャイメージングシステム800の可能な寸法の一例をインチ単位で示したものである。

【0106】

図１０Ａは、図３Ａ～３Ｄに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム900の別の一実施形態を示す。イメージングシステム900は、モバイル端末910のマルチアパーチャカメラ915に取り付け可能な１組のマルチバンドパスフィルタ905として実装することができる。例えば、スマートフォンなどの特定のモバイル端末910は、２つのイメージセンサ領域に通じる２つの開口部を有する立体イメージングシステムを装備することができる。本明細書で開示するマルチアパーチャスペクトルイメージング技術は、狭い周波数帯の複数の光をセンサ領域へと通過させる適切な１組のマルチバンドパスフィルタ905を提供することによって、このような装置に実装することができる。この１組のマルチバンドパスフィルタ905には、このような周波数帯の光を物体空間に照射する光源（LEDアレイと拡散板など）を装備してもよい。

【0107】

イメージングシステム900は、マルチスペクトルデータキューブを生成する処理と、（例えば、臨床組織分類用アプリケーション、生体認証用アプリケーション、材料分析用アプリケーションまたはその他のアプリケーションにおける）マルチスペクトルデータキューブの処理とを行うようにモバイル端末を構成するモバイルアプリケーションをさらに含むことができる。あるいは、このモバイルアプリケーションは、ネットワークを介して、離れた場所にある処理システムにマルチスペクトルデータキューブを送信し、その後、分析結果を受信して表示するようにモバイル端末910を構成するものであってもよい。このような用途のユーザインタフェース910の一例を図１０Ｂに示す。

【0108】

図１１Ａ～１１Ｂは、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムに４種のフィルタを実装した場合に、これらのフィルタを通過することができる１組の周波数帯の一例を示し、これらの１組の周波数帯は、例えば、べイヤーCFA（または別のRGB CFAまたはRGB-IR CFA）を備えたイメージセンサに入射する。

これらの透過曲線には、この例で使用したセンサによる量子効率の効果も含んでいる。これらの図に示すように、この４台１組のカメラ全体で、８個の特有チャネルすなわち８個の特有周波数帯が撮影される。各フィルタは、各カメラに対して２つの共通周波数帯（左端の２つのピーク）と、別の２つの周波数帯を通過させる。この実装では、第１のカメラおよび第３のカメラは、第１の共有NIR周波数帯の光（右端のピーク）を受光し、第２のカメラおよび第４のカメラは、第２の共有NIR周波数帯の光（右から２番目のピーク）を受光する。各カメラは、約550nm～約800nmまたは550nm～800nmの範囲の特有周波数帯をそれぞれ１つずつ受光する。したがって、これらのカメラは、コンパクトな構成を使用して、８個の特有のスペクトルチャネルを撮影することができる。図１１Ｂのグラフ1010は、図１１Ａに示した４台のカメラの照明として使用してもよい、図４Ｅに示したLEDボードの分光放射照度を示す。

【0109】

この実装では、臨床組織分類に適したスペクトルチャネルの生成に基づき、８個の周波数帯を選択したが、（イメージングシステム内に熱を伝える）LEDの数を制限しながら、シグナル／ノイズ比（SN比）およびフレームレートに関して最適化してもよい。組織（例えば、ヒト組織などの動物組織）は、緑色の波長や赤色の波長よりも青色の波長において高いコントラストを示すことから、この８個の周波数帯には、４枚のフィルタすべてを通過する青色光の共通周波数帯（グラフ1000の左端のピーク）を含めている。より具体的には、グラフ1000に示すように、ヒト組織は、約420nmを中心とする周波数帯で画像化した場合にコントラストが最も高くなる。この共通周波数帯に対応するチャネルは視差補正に使用されることから、コントラストを高くするほど、より正確な補正行うことができる。例えば、視差補正を行う際、画像処理プロセッサは、ローカル法またはグローバル法を使用して、ローカル画像パッチ間またはローカル画像間の類似性を示す性能指数が最大となるように、１組の視差を見出すことができる。あるいは、画像処理プロセッサは、同様の方法を使用して、相違性を示す性能指数を最小にすることができる。これらの性能指数は、エントロピー、相関性、絶対差または深層学習法に基づくものであってもよい。グローバル法による視差の計算は、反復して実行することができ、性能指数が安定になった時点で終了することができる。ローカル法は、画素ごとに視差を計算することができ、１つの画像中の固定されたパッチを性能指数の入力として使用し、試験中に、別の画像から切り出した多数のパッチに対してそれぞれ異なる視差の数値を求める。このような方法はいずれも、考慮される視差の範囲が拘束される場合がある。この拘束は、例えば、物体の深さおよび距離に関する知識に基づく場合がある。また、物体において予想される傾きの範囲に基づいて拘束される場合もある。計算された視差は、エピポーラ拘束などの射影幾何学により拘束される場合がある。低い解像度で計算された視差の出力を、次のレベルの解像度での視差の計算に対する初期値または拘束として使用して、様々な解像度で視差を計算することができる。例えば、１回目の計算において４画素の解像度で計算された視差を利用して、より高い解像度での次の視差の計算において±４画素の拘束を設定することができる。視差から計算されるあらゆるアルゴリズムは、コントラストが高いほど恩恵を受け、特に、そのコントラスト源がすべての視点と関連している場合に、高コントラストによる恩恵は顕著である。通常、共通周波数帯は、特定の用途において画像化されることが予想される材料の最も高いコントラストでの画像化に対応できるように選択することができる。

【0110】

画像の撮影後の、隣接したチャネル間の色分解は完全ではない場合があることから、この実装では、青色の周波数帯に隣接した緑色の周波数帯として、グラフ1000に示したすべてのフィルタを通過する追加の共通周波数帯をさらに設ける。このような周波数帯を利用する理由として、青色カラーフィルタの画素は、スペクトル通過帯域が広いことから、緑色のスペクトラム領域に感度を示すことが挙げられる。これは、通常、スペクトルの重複として示され、隣接したRGB画素間での意図的なクロストークと見なしてもよい。このスペクトルの重複によって、カラーカメラのスペクトル感度をヒト網膜のスペクトル感度に近づけることができ、最終的に得られる色空間をヒトの視覚に質的に似たものとすることができる。したがって、各フィルタに共通する緑色のチャネルを設けることにより、受光した青色光に真に相当する、青色のフォトダイオードによって生成されたシグナルの一部を分離することが可能になる。この分離は、マルチバンドパスフィルタの透過率（Ｔの凡例で示した黒色の実線で示す）と、これに対応するCFAカラーフィルタの透過率（それぞれＱの凡例で示した、赤色の破線、緑色の破線および青色の破線で示す）を要因に入れたスペクトルアンミキシングアルゴリズムを使用して達成することができる。いくつかの実装では、赤色光を共通周波数帯として使用してもよく、この場合、第２の共通チャネルは必要とされない場合もあることは十分に理解できるであろう。

【0111】

図12は、高解像度スペクトルイメージング能を備えたコンパクト型イメージングシステム1100の一例のハイレベルブロック図を示し、このイメージングシステム1100は、マルチアパーチャスペクトルカメラ1160と光源1165に連結されたプロセッサ1120を含む１組の部品を備える。ワーキングメモリ1105、記憶装置1110、電子ディスプレイ1125およびメモリ1130もプロセッサ1120と通信可能な状態である。本明細書で述べるように、このイメージングシステム1100は、マルチアパーチャスペクトルカメラ1160の開口部の上方にそれぞれに異なるマルチバンドパスフィルタを配置することによって、イメージセンサのCFAに異なるカラーフィルタを配置した場合よりも多くの画像チャネルを撮影可能であってもよい。

【0112】

コンパクト型イメージングシステム1100は、携帯電話、デジタルカメラ、タブレット型コンピュータ、パーソナルデジタルアシスタントなどの装置であってもよい。コンパクト型イメージングシステム1100は、画像撮影用の内部カメラまたは外部カメラを使用したデスクトップパソコンやテレビ会議ステーションなどの固定型デバイスであってもよい。コンパクト型イメージングシステム1100は、画像撮影装置と、これとは別個に設けられた、画像撮影装置からの画像データを受信する処理装置の組み合わせであってもよい。ユーザは、このコンパクト型イメージングシステム1100上で複数のアプリケーションを利用可能であってもよい。これらのアプリケーションには、従来の写真用アプリケーション、静止画像および動画の撮影用アプリケーション、動的色補正用アプリケーション、明度・濃淡の補正用アプリケーションなどが含まれていてもよい。

【0113】

この画像撮影システム1100は、画像撮影用のマルチアパーチャスペクトルカメラ1160を含む。マルチアパーチャスペクトルカメラ1160は、例えば、図3A～10Bに示す装置のいずれであってもよい。様々なスペクトルチャネルにおいて撮影された画像を、様々なセンサ領域から画像処理プロセッサ1120に送信できるように、マルチアパーチャスペクトルカメラ1160がプロセッサ1120に接続されていてもよい。また、以下で詳細に説明するように、単一または複数の光源1165をプロセッサで制御することによって、特定の露光中に特定の波長の光を発することができる。画像処理プロセッサ1120は、視差が補正された高品質なマルチスペクトルデータキューブを出力できるように、受信した撮影画像に対して様々な処理を行うように構成されていてもよい。

【0114】

プロセッサ1120は、汎用処理ユニットまたはイメージング用途に特別に設計されたプロセッサであってもよい。図１２に示すように、プロセッサ1120は、メモリ1130とワーキングメモリ1105に接続されている。この図に示した実施形態では、メモリ1130は、撮影制御モジュール1135、データキューブ作成モジュール1140、データキューブ分析モジュール1145およびオペレーティングシステム1150を格納している。これらのモジュールは、様々な画像処理および装置管理タスクを実行できるようにプロセッサを構成する命令を含む。プロセッサ1120は、ワーキングメモリ1105を使用して、メモリ1130の各モジュールに含まれるプロセッサ命令のワーキングセットを格納する。あるいは、プロセッサ1120は、ワーキングメモリ1105を使用して、画像撮影システム1100の作動中に作成された動的データを格納する。

【0115】

前述したように、プロセッサ1120は、メモリ1130に格納された数個のモジュールによって構成されている。いくつかの実装において、撮影制御モジュール1135は、マルチアパーチャスペクトルカメラ1160の焦点位置を調整できるようにプロセッサ1120を構成する命令を含む。撮影制御モジュール1135は、例えば、様々なスペクトルチャネルで撮影されるマルチスペクトル画像や、同じスペクトルチャネル（例えばNIRチャネル）で撮影されるPPG画像などの画像をマルチアパーチャスペクトルカメラ1160で撮影できるようにプロセッサ1120を構成する命令をさらに含む。非接触PPGイメージングでは、通常、近赤外線（NIR）波長を照明として使用し、この波長において組織への光子の透過が増加することを利用している。したがって、撮影制御モジュール1135、マルチアパーチャスペクトルカメラ1160およびワーキングメモリ1105を備えたプロセッサ1120は、一連のスペクトル画像および／または連続した画像を撮影する手段の１つである。

【0116】

データキューブ作成モジュール1140は、異なるセンサ領域にある各フォトダイオードから受信した強度シグナルに基づいてマルチスペクトルデータキューブを生成するようにプロセッサ1120を構成する命令を含む。例えば、データキューブ作成モジュール1140は、すべてのマルチバンドパスフィルタを通過した共通周波数帯に対応するスペクトルチャネルに基づいて、画像化された物体の同じ領域間の視差を推定することができ、この視差を使用して、撮影されたすべてのチャネルおけるすべてのスペクトル画像を互いに位置合わせすることができる（例えば、すべてのスペクトルチャネルにおいて、特定の物体上の同じ点が実質的に同じ画素位置（x,y）となるように位置合わせを行うことができる）。位置合わせした画像を統合してマルチスペクトルデータキューブを形成し、視差の情報を使用して、別々に画像化された物体の深さを測定してもよく、例えば、正常組織の深さと創傷部位の最も深い位置の深さとの差を測定してもよい。いくつかの実施形態において、データキューブ作成モジュール1140は、さらにスペクトルアンミキシングを行うことにより、例えば、フィルタの透過率およびセンサの量子効率を要因に入れたスペクトルアンミキシングアルゴリズムに基づいて、フォトダイオードの強度シグナルのどの部分が、フィルタを通過したどの周波数帯に対応するのかを特定してもよい。

【0117】

データキューブ分析モジュール1145は、データキューブ作成モジュール1140によって生成されたマルチスペクトルデータキューブを用途に応じて分析するために、様々な技術を実装することができる。例えば、データキューブ分析モジュール1145の実装のいくつかでは、特定の状態に応じて各画素を分類するように訓練された機械学習モデルに、（深さ情報が含まれていてもよい）マルチスペクトルデータキューブを提供することができる。この特定の状態は、組織イメージングを行う際の臨床状態であってもよく、例えば、熱傷の状態（例えば、Ｉ度熱傷、II度熱傷、III度熱傷または正常組織という種類）、創傷の状態（例えば、止血、炎症、増殖、リモデリングまたは正常な皮膚という種類）、治癒可能性（例えば、特定の治療法を行った場合あるいは特に治療法を行わなかった場合に、組織が創傷状態から治癒する可能性を反映したスコア）、潅流状態、がん状態、または創傷に関連したその他の組織状態であってもよい。また、データキューブ分析モジュール1145は、生体認証および／または材料分析を目的としてマルチスペクトルデータキューブを分析することもできる。

【0118】

オペレーティングシステムモジュール1150は、画像撮影システム1100のメモリおよび処理リソースを管理するようにプロセッサ1120を構成する。例えば、オペレーティングシステムモジュール1150は、電子ディスプレイ1125、記憶装置1110、マルチアパーチャスペクトルカメラ1160、光源1165などのハードウェアリソースを管理するデバイスドライバを含んでいてもよい。したがって、いくつかの実施形態において、前述の画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接的に相互作用しなくてもよく、その代わりに、オペレーティングシステムコンポーネント1150に含まれる標準サブルーチンまたはAPIを介して相互作用してもよい。次に、オペレーティングシステム1150内の命令は、これらのハードウェアコンポーネントと直接相互作用してもよい。

【0119】

さらに、プロセッサ1120は、ディスプレイ1125を制御して、撮影された画像および／またはマルチスペクトルデータキューブの分析結果（例えば、分類された画像）をユーザに対して表示するように構成されていてもよい。ディスプレイ1125は、マルチアパーチャスペクトルカメラ1160を含むイメージング装置の外部に設けられてもよく、イメージング装置の一部であってもよい。また、ディスプレイ1125は、画像の撮影前にビューファインダーをユーザに提供するように構成されていてもよい。さらに、ディスプレイ1125は、LCDスクリーンまたはLEDスクリーンを含んでいてもよく、タッチ感応技術を実装していてもよい。

【0120】

プロセッサ1120は、例えば、撮影された画像、マルチスペクトルデータキューブおよびデータキューブの分析結果を表すデータなどのデータを記憶装置モジュール1110に書き込んでもよい。この図において、記憶装置モジュール1110は、従来のディスク装置として示されているが、当業者であれば、記憶装置モジュール1110が、どのような種類の記憶媒体装置として構成されていてもよいことを理解できるであろう。例えば、記憶装置モジュール1110は、フロッピーディスクドライブ、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブなどのディスクドライブ、またはFLASHメモリ、RAM、ROMおよび／もしくはEEPROMなどのソリッドステートメモリを含んでいてもよい。記憶装置モジュール1110は、複数のメモリユニットをさらに含むことができ、メモリユニットのいずれか１つは、画像撮影装置1100の内部に配置されるように構成されていてもよく、画像撮影システム1100の外部に配置されていてもよい。例えば、記憶装置モジュール1110は、画像撮影システム1100内に格納されたシステムプログラム命令を含むROMメモリを含んでいてもよい。さらに、記憶装置モジュール1110は、カメラから取り外し可能な、撮影された画像を格納するように構成されたメモリカードまたは高速メモリを含んでいてもよい。

【0121】

図１２では、プロセッサ、イメージセンサおよびメモリを備えるように、別々の部品を含むシステムが示されているが、当業者であれば、これらの別々の部品を様々に組み合わせて特定の設計目標を達成できることを認識できるであろう。例えば、別の一実施形態において、コストの削減および性能の向上のために、メモリ部品をプロセッサ部品と組み合わせてもよい。

【0122】

さらに、図１２では、２つのメモリ部品として、いくつかのモジュールを含むメモリ部品1130と、ワーキングメモリを含む別個のメモリ1105が示されているが、当業者であれば、いくつかの実施形態において、別のメモリ構造を利用できることを認識できるであろう。例えば、メモリ1130に含まれる各モジュールを実装したプロセッサ命令の格納にROMまたはスタティックRAMメモリを利用した設計としてもよい。あるいは、画像撮影システム1100に一体化されたディスク記憶装置、または外部デバイスポートを介して接続されたディスク記憶装置からシステム起動する際に、プロセッサ命令を読み込んでもよい。次に、このプロセッサ命令をRAMにロードして、プロセッサによる命令の実行を促してもよい。例えば、ワーキングメモリ1105はRAMメモリであってもよく、プロセッサ1120により命令を実行する前に、ワーキングメモリ1105に命令をロードしてもよい。

【0123】

画像処理技術の一例の概要
図１３は、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、画像データを撮影するプロセス1200の一例を示したフローチャートである。図13は、本明細書に記載のマルチスペクトルデータキューブの生成に使用可能な４種の露光、すなわち、可視光露光1205、追加の可視光露光1210、非可視光露光1215および環境光露光1220の一例を示す。これら露光はどのような順序で撮影してもよく、これらの露光のうちのいくつかは、後述する特定のワークフローから省いてもよく、後述する特定のワークフローに追加してもよいことは十分に理解できるであろう。以下、図11Aおよび図11Bに示した周波数帯を参照しながらプロセス1200を説明するが、別の１組の周波数帯に基づいて生成した画像データを使用して同様のワークフローを実装することもできる。さらに、様々な実施形態において、公知の様々なフラットフィールド補正技術に従って、フラットフィールド補正をさらに実装することによって、画像収集および／または視差補正を向上させてもよい。

【0124】

可視光露光1205を得るため、照明基板に制御信号を送ることにより、最初の５つのピーク（図１１Ａのグラフ1000の可視光に対応する左側の５つのピーク）に対応する複数のLEDを点灯させることができる。特定の複数のLEDにおいて同時に光の出力波形を安定化させる必要がある場合がある（例えば10ミリ秒間）。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、例えば約30ミリ秒間にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（例えば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。このデータは、本明細書に記載の、視差補正に使用される共通スペクトルチャネルを含んでいてもよい。

【0125】

SN比を向上させるため、いくつかの実装では、可視光露光1205について述べたのと同じプロセスを使用して、追加の可視光露光1210を撮影することができる。同一またはほぼ同一の２つの露光を撮影してSN比を向上させることにより、画像データをより正確に分析することができる。しかし、単一の画像のSN比のみで許容可能な実装では、この２つ目の露光を省略してもよい。また、いくつかの実装では、共通スペクトルチャネルで２つの露光を撮影することにより、より正確な視差補正を行ってもよい。

【0126】

いくつかの実装では、NIR光またはIR光に対応する非可視光露光1215をさらに撮影することができる。例えば、撮影制御モジュール1135は、図11Aに示した２つのNIRチャネルに対応する２種のNIR LEDを起動することができる。特定の複数のLEDにおいて同時に光の出力波形を安定化させる必要がある場合がある（例えば10ミリ秒間）。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、例えば約30ミリ秒間にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（例えば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。この露光では、露光1205および露光1210に対する物体の形状または位置に変化はないと見なしても問題はないことから、前もって算出した視差値を使用して各NIRチャネルの位置合わせを行うことができるため、すべてのセンサ領域を通過する共通周波数帯は設けなくてもよい。

【0127】

いくつかの実装では、拍動血流による組織部位の変形を示すPPGデータを生成するために、多重露光を使用して連続撮影することができる。いくつかの実装では、このようなPPG用露光を非可視光波長で撮影してもよい。PPGデータとマルチスペクトルデータを組み合わせることによって、特定の医用イメージング分析の正確度を向上させてもよいが、PPGデータの撮影によって、画像撮影プロセスに要する時間が長くなる場合がある。いくつかの実装では、画像撮影プロセスに要する時間が長くなったことによって、その間に携帯型撮像装置および／または物体が移動し、誤差が生じることがある。したがって、特定の実装では、PPGデータの撮影を省略してもよい。

【0128】

いくつかの実装では、環境光露光1220をさらに撮影することができる。この露光では、すべてのLEDを消灯し、周囲の照明（例えば、日光やその他の光源からの光）を利用して画像を撮影することができる。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、所望の時間（例えば約30ミリ秒間）にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（例えば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。可視光露光1205（または第２の露光1210によりSN比を補正した可視光露光1205）の数値から環境光露光1220の強度値を差し引き、さらに非可視光露光1215の数値からも環境光露光1220の強度値を差し引くことによって、マルチスペクトルデータキューブから環境光の影響を除去することができる。このような処理により、光源により発せられた光および物体／組織部位から反射した光を示す生成信号の一部を分離して、下流の分析の正確度を向上させることができる。いくつかの実装では、可視光露光1205，1210と非可視光露光1215のみを使用するだけで十分な分析の正確度が得られる場合、この工程を省略してもよい。

【0129】

上に挙げた特定の露光時間は、一実装における一例であり、別の実装では、イメージセンサ、光源の強度および画像化される物体に応じて、露光時間は様々に異なりうることを十分に理解できるであろう。

【0130】

図１４は、例えば、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセス1200を使用して撮影された画像データなどの画像データを処理するためのワークフロー1300の略ブロック図を示す。ワークフロー1300は、２つのRGBセンサ領域1301A，1301Bの出力を示しているが、ワークフロー1300のセンサ領域の数はさらに増やすことができ、異なるCFAカラーチャネルに対応するセンサ領域を設けることもできる。

【0131】

２つのセンサ領域1301A，1301Bから出力されたRGBセンサ出力は、2Dセンサ出力モジュール1305A，1305Bにそれぞれ格納される。これらのセンサ領域の数値は、非線形マッピングモジュール1310A，1310Bに送信され、これらの非線形マッピングモジュール1310A，1310Bにおいて、共通チャネルを使用して撮影された画像間の視差を特定し、次に、この決定された視差をすべてのチャネルに対して適用してすべてのスペクトル画像を互いに位置合わせすることにより視差補正を行うことができる。

【0132】

次に、これらの非線形マッピングモジュール1310A，1310Bの出力は、深さ計算モジュール1335に提供され、深さ計算モジュール1335は、画像データ中の特定の目的領域の深さを算出することができる。例えば、深さは、物体とイメージセンサの間の距離を表してもよい。いくつかの実装では、複数の深さの値を算出し、これらを比較することによって、イメージセンサ以外の何らかの対象に対する物体の深さを測定することができる。例えば、創床の最も深い深さを測定することができ、この創床を取り囲む正常組織の深さ（最も深い深さ、最も浅い深さまたは平均の深さ）も測定することができる。創床の深さから正常組織の深さを差し引くことによって、創傷の最も深い深さを測定することができる。この深さの比較は、創床中のその他の箇所（例えば、所定のサンプリング点のすべてまたはその一部）でも行うことができ、これによって、様々な点（図14においてz（x,y）として示す（ここでｚは深さの値である））において創傷の深さの3Dマップを構築することができる。視差が大きくなるほど、前述のような深さの計算用のアルゴリズムによる計算の負荷が高くなるが、いくつかの実施形態では、視差が大きいほど深さの計算が向上する場合がある。

【0133】

次に、これらの非線形マッピングモジュール1310A，1310Bの出力は、線形方程式モジュール1320にも提供され、線形方程式モジュール1320は、検知された数値を、スペクトルアンミキシング用の１組の線形方程式として処理することができる。一実装では、少なくともセンサの量子効率およびフィルタの透過率値の関数としてムーア・ペンローズの擬似逆行式を使用することにより、実際のスペクトルの数値（例えば、各像点（x,y）に入射する特定の波長の光の強さ）を算出することができる。スペクトルアンミキシングは、臨床診断やその他の生物学的応用などの、高い正確度が要求される実装において使用することができる。スペクトルアンミキシングを適用することにより、光量子束およびSN比の推定値を提供することもできる。

【0134】

ワークフロー1300は、視差を補正したスペクトルチャネル画像およびスペクトルアンミキシングに基づいて、例えば、この図に示したF（x,y,λ）という形式（ここでFは、特定波長または周波数帯λにおける特定の結像位置（x,y）における光の強さを示す）などでスペクトルデータキューブ1325を生成することができる。

【0135】

図１５は、例えば、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセスを使用して撮影された画像データなどの画像データを処理するための視差および視差補正を図示する。第１の組の画像1410は、４種のセンサ領域で撮影した同じ物体上の同じ物理的位置の画像データを示す。この図に示すように、イメージセンサ領域のフォトダイオードグリッドの（x,y）座標フレームに基づくと、これらの生の画像において、物体位置は同じ位置にはない。第２の組の画像1420は、視差補正後に同じ物体位置にあることを示しており、これらの画像では、位置合わせした画像の座標フレームにおいて同じ（x,y）位置になっている。このような位置合わせは、互いに完全には重複していない画像の端部領域から特定のデータをトリミングすることを含んでいてもよいことは十分に理解できるであろう。

【0136】

図１６は、例えば、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、かつ／または図１３に示したプロセスを使用して撮影した後、図１４および図１５に従って処理された画像データなどのマルチスペクトル画像データを画素単位で分類するためのワークフロー1500を図示する。

【0137】

ブロック1510において、マルチスペクトル・マルチアパーチャイメージングシステム1513により、物体1511上の物理的な点1512を示す画像データを撮影することができる。この一例において、物体1511は、創傷を有する患者の組織を含む。創傷は、熱傷、糖尿病性潰瘍（例えば、糖尿病性足部潰瘍）、非糖尿病性潰瘍（例えば褥瘡または治癒の遅い創傷）、慢性潰瘍、術後切創、（切断術の前またはその後の）切断部位、がん性病変、または損傷を受けた組織を包含しうる。PPG情報が含まれている場合、本明細書で開示するイメージングシステムは、組織灌流；心血管の健康状態；潰瘍などの損傷；末梢動脈疾患；および呼吸器の健康状態を含む、組織の血流の変化および脈拍数の変化を伴う病態を評価する方法を提供する。

【0138】

ブロック1520において、マルチスペクトル・マルチアパーチャイメージングシステム1513により撮影されたデータを処理して、多数の異なる波長1523を有するマルチスペクトルデータキューブ1525を生成することができ、このマルチスペクトルデータキューブ1525は、異なる時間に対応する同じ波長の多数の異なる画像（PPGデータ1522）を含んでいてもよい。例えば、画像処理プロセッサ1120は、データキューブ作成モジュール1140を介して、ワークフロー1300に従ってマルチスペクトルデータキューブ1525を生成するように構成することができる。いくつかの実装は、前述したように、空間次元の様々な点における深さの値と関連していてもよい。

【0139】

ブロック1530において、マルチスペクトルデータキューブ1525は、機械学習モデル1532への入力データ1525として分析して、画像化された組織の分類マッピング1535を生成することができる。分類マッピングにより、画像データ中の各画素（各画素は、位置合わせ後の、画像化された物体1511上の特定の点を示す）を特定の組織分類または特定の治癒可能性スコアに割り当てることができる。分類された画像の出力において、視覚的に異なる色またはパターンを使用することにより、様々な分類または様々なスコアを示すことができる。したがって、物体1511の画像を数多く撮影したとしても、その出力は、画素単位で分類された複数の視覚表示を重ねた物体の単一の画像（例えば、通常のRGB画像）になりうる。

【0140】

いくつかの実装では、機械学習モデル1532は人工ニューラルネットワークであってもよい。人工ニューラルネットワークは、生物学的神経回路網に着想を得たものであるが、コンピュータ装置による実装を目的として改良された計算実体であるという意味で人工物である。入力と出力の間の依存性を見出すことは容易ではないが、人工ニューラルネットワークを使用することにより、入力と出力の間の複雑な関係をモデル化したり、データ中において一定のパターンを見つけたりすることができる。ニューラルネットワークは、通常、入力層、１層以上の中間層（「隠れ層」）および出力層を含み、各層には数多くのノードが含まれる。ノードの数は各層によって異なっていてもよい。２層以上の隠れ層を含むニューラルネットワークは、「深層」であると見なされる。各層のノードは、次の層のノードのすべてまたはその一部と結合しており、これらの結合の重みは、通常、訓練プロセス中のデータから学習され、例えば、ニューラルネットワークのパラメータを調整して、ラベルを付けた訓練データ中の対応する入力から予想される出力を生成するバックプロパゲーション（誤差逆伝播法）を使用して行われる。したがって、人工ニューラルネットワークは、人工ニューラルネットワークを通して流れる情報に基づいて、訓練中にその構造（例えば結合構成および／または重み）を変更するように構成された適応システムであり、隠れ層の重みは、データ中の意味のあるパターンをコードするものであると見なすことができる。

【0141】

全結合ニューラルネットワークとは、入力層の各ノードが次の層（第１の隠れ層）の各ノードに結合され、第１の隠れ層の各ノードが次の隠れ層の各ノードに結合され、このような結合が、最終的な隠れ層の各ノードが出力層の各ノードに結合されるまで継続するニューラルネットワークである。

【0142】

畳み込みニューラルネットワーク（CNN）は、人工ニューラルネットワークの１種であり、前述した人工ニューラルネットワークと同様に、複数のノードから構成され、学習可能な重みを有する。前述の人工ニューラルネットワークとは異なる点として、CNNの各層は、各ビデオフレームの２×２アレイの画素値（例えば幅と高さ）と、シーケンス中のビデオフレームの数（例えば深さ）に対応した、幅と高さと深さからなる三次元に配置されたノードを有することができる。各層のノードは、幅と高さからなるその前の層の小領域（受容野と呼ぶ）に局所結合されていてもよい。隠れ層の重みは、受容野に適用される畳み込みフィルタの形態を取ることができる。いくつかの実施形態において、畳み込みフィルタは二次元であってもよく、したがって、入力ボリュームの各フレームまたは指定されたフレームサブセットに対して同じフィルタを使用して畳み込み（または画像の畳み込み変換）を繰り返すことができる。別の実施形態では、畳み込みフィルタは三次元であってもよく、したがって、入力ボリュームの複数のノードの深さ全体に及ぶものであってもよい。CNNの各畳み込み層の各ノードは重みを共有して、入力ボリュームの幅と高さの全体に対して（例えば全フレームに対して）所定の層の畳み込みフィルタを複製することにより、訓練可能な重みの総数を減らし、訓練データ外のデータセットに対するCNNの適用性を向上させることができる。特定の層の数値をプールして、次の層の計算の回数を減らしてもよく（例えば、特定の画素を示す数値を次の層へと伝達してもよく、その他の数値は破棄する）、さらに、CNNの深さが進むに従って、廃棄された数値にプールマスクを再導入し、元の大きさに対してデータポイントの数を返してもよい。一部が全結合されていてもよい多数の層を積み重ねて、CNN構造を形成することができる。

【0143】

訓練中、人工ニューラルネットワークをその訓練データ中のペアデータに適用して、パラメータを変更し、入力が提供された場合に特定のペアの出力を予測することができる。例えば、訓練データは、マルチスペクトルデータキューブ（入力）と、例えば、特定の臨床状態に対応する創傷領域を臨床医が指定することなどによりラベル付けされた分類マッピング（予想される出力）とを含むことができ、このラベル付けされた分類マッピングには、最初に創傷のイメージングを行ってからしばらく経過した後に実際の治癒が確認されてから付与された治癒ラベル（１）または未治癒ラベル（０）が含まれていてもよい。機械学習モデル1532の別の実装では、その他の種類の予測を行うように訓練することもでき、例えば、特定の期間中に創傷が治癒して、創傷領域の割合が特定のパーセンテージまで減少する（例えば、30日以内に創傷領域が少なくとも50％減少する）可能性を予測したり、止血、炎症、増殖、リモデリング、正常な皮膚などに分類される創傷の状態を予測するように訓練することもできる。いくつかの実装では、分類の正解率をさらに向上させるため、患者の評価指標を入力データにさらに組み込んでもよく、あるいは、機械学習モデル1532に別の実例を訓練させるため、患者の評価指標に基づいて訓練データをセグメント化し、同じ評価指標を有する別の患者に使用してもよい。患者の評価指標には、患者の特性またはその患者の健康状態の特性を説明する文字情報または病歴またはそれらの態様が含まれていてもよく、患者の特性またはその患者の健康状態の特性としては、例えば、創傷、病変または潰瘍の面積；患者のBMI；患者の糖尿病の状態；患者における末梢血管疾患または慢性炎症の存在；患者が現在罹患しているその他の創傷の数または患者がこれまでに罹患した創傷の数；免疫抑制剤（例えば化学療法）または創傷治癒率に正もしくは負の影響を及ぼすその他の薬剤が患者に投与されているか否か、または最近投与されたか否か；HbA1c；慢性腎不全ステージIV；１型糖尿病または２型糖尿病のいずれであるか；慢性貧血；喘息；薬剤の使用；喫煙の有無；糖尿病性神経障害；深部静脈血栓症；過去の心筋梗塞症；一過性脳乏血発作；および睡眠時無呼吸；ならびにこれらの任意の組み合わせが挙げられる。これらの評価指標は、適切な処理によりベクトル表示に変換することができ、例えば、単語をベクトル表現化した埋め込み、患者が特定の評価指標を満たすか否か（例えば、１型糖尿病に罹患しているか否か）を示す２進値のベクトル、または患者における各評価指標の程度を示す数値などによって、ベクトル表示に変換することができる。

【0144】

ブロック1540では、ユーザに対して分類マッピング1535を出力することができる。この一例では、分類マッピング1535において、第１の色1541を使用して、第１の状態に従って分類された画素が示され、第２の色1542を使用して、第２の状態に従って分類された画素が示される。分類とその結果得られた分類マッピング1535は、例えば、物体認識、背景色の識別および／または深さの値に基づいたバックグラウンド画素が除外されていてもよい。図16に示したように、マルチスペクトル・マルチアパーチャイメージングシステム1513のいくつかの実装では、組織部位上に分類マッピング1535を投影することができる。このような態様は、推奨される切除マージンおよび／または切除する深さの視覚表示が分類マッピングに含まれる場合に、特に有益となる場合がある。

【0145】

このような方法およびシステムによって、熱傷の切除、切断レベル、病変除去および創傷のトリアージにおける判断などの、皮膚創傷の管理プロセスにおいて臨床医および外科医を補助してもよい。本明細書に記載の実施形態は、褥瘡性潰瘍、充血、四肢の悪化、レイノー現象、強皮症、慢性創傷、擦過創、裂創、出血、破裂損傷、穿刺創、穿通創、皮膚がん（基底細胞癌、扁平上皮癌、悪性黒色腫もしくは光線角化症）、または組織の特性および性質が正常状態とは異なる何らか種類の組織変化の重症度の特定および／または分類するために使用することができる。また、本明細書に記載の装置を使用して、正常組織のモニター；（例えば、デブリードマンを行う際のマージンを決定するための、より速く、より洗練されたアプローチが可能となるような）創傷治療法の補助および改善；ならびに（特に治療が適用された後の）創傷または疾患からの回復の進行の評価を行うことができる。本明細書に記載のいくつかの実施形態では、損傷を受けた組織に隣接した正常組織の識別、切除の際のマージンおよび／もしくは深さの決定、左室補助人工心臓などの人工装具を移植した後の回復過程のモニタリング、組織移植片または再生細胞移植片の生存能力の評価、または（特に再建術を行った後の）術後回復のモニタリングが可能な装置を提供する。さらに、本明細書に記載の実施形態を利用して、特に、ステロイド、肝細胞成長因子、線維芽細胞成長因子、抗生物質、再生細胞（幹細胞、内皮細胞および／または内皮前駆細胞を含む、単離または濃縮された細胞集団など）などの治療剤の投与後の、創傷の変化または創傷後の正常組織の発生を評価することができる。

【0146】

分散コンピューティング環境の一例の概要
図１７は、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムのいずれであってもよいマルチスペクトル・マルチアパーチャイメージングシステム1605を含む、分散コンピューティングシステム1600の一例の略ブロック図を示す。この図に示すように、データキューブ分析サーバ1615は、恐らくはサーバクラスタまたはサーバファームとして配置される１つ以上のコンピュータを含んでいてもよい。これらのコンピュータを構成するメモリおよびプロセッサは、１つのコンピュータ内に配置されていてもよく、（互いに離れて設置されたコンピュータを含む）数多くのコンピュータに分散されていてもよい。

【0147】

マルチスペクトル・マルチアパーチャイメージングシステム1605は、ネットワーク1610を介して、ユーザ装置1620およびデータキューブ分析サーバ1615と通信するためのネットワーキングハードウェア（例えば、無線のインターネット、衛星通信、ブルートゥースまたはその他の通信機）を含むことができる。例えば、いくつかの実装において、マルチスペクトル・マルチアパーチャイメージングシステム1605のプロセッサは、画像撮影を制御し、その後、生データをデータキューブ分析サーバ1615に送信するように構成されていてもよい。別の実装でのマルチスペクトル・マルチアパーチャイメージングシステム1605のプロセッサは、画像撮影を制御し、スペクトルアンミキシングおよび視差補正を行ってマルチスペクトルデータキューブを生成し、その後、マルチスペクトルデータキューブをデータキューブ分析サーバ1615に送信するように構成されていてもよい。いくつかの実装では、マルチスペクトル・マルチアパーチャイメージングシステム1605上においてすべての処理および分析を局所的に行うことができ、集計分析の実施および／または機械学習モデルの訓練もしくは再訓練での使用を目的として、マルチスペクトルデータキューブおよび得られた分析結果をデータキューブ分析サーバ1615に送信してもよい。したがって、データキューブ分析サーバ1615は、マルチスペクトル・マルチアパーチャイメージングシステム1605に最新の機械学習モデルを提供してもよい。マルチスペクトルデータキューブを分析した最終結果を得るための処理負荷は、マルチアパーチャイメージングシステム1605の処理能力に応じて、マルチアパーチャイメージングシステム1605とデータキューブ分析サーバ1615の間で様々な方法により分担してもよい。

【0148】

ネットワーク1610は、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、同様のその他のネットワーク、これらの組み合わせなどの、適切なネットワークを含むことができる。ユーザ装置1620には、ネットワークを装備したあらゆるコンピュータ装置が含まれ、例えば、デスクトップコンピュータ、ノートパソコン、スマートフォン、タブレット、電子書籍リーダー、テレビゲーム機などが挙げられる。例えば、組織分類が必要となった際に、マルチアパーチャイメージングシステム1605およびデータキューブ分析サーバ1615により測定された結果（例えば、分類された画像）を、患者もしくは医師の指定のユーザ装置、患者の電子的な医療記録を格納する病院情報システム、および／または（例えば、米国疾病対策予防センターなどが保有する）集中型公衆衛生データベースに送信してもよい。

【0149】

実装の結果の一例
背景：
負傷した戦闘員やその医療従事者にとって、熱傷による罹患および死亡は課題となっている。過去の戦闘死傷者における熱傷の受傷率は5～20％であり、これらの死傷者の約20％は、米国陸軍外科研究所（ISR）熱傷センターなどでの複雑な熱傷外科手術が必要であった。熱傷外科手術は専門的な訓練を必要とすることから、米国陸軍病院のスタッフではなく、ISRのスタッフにより熱傷外科手術が行われる。熱傷専門医の数が限られていることから、熱傷を負った兵士に医療を提供するための兵站業務が非常に複雑となる。したがって、術前および術中に熱傷の深さを検出する新規な客観的方法を利用することによって、戦闘継続中の熱傷患者に対する医療の提供への従事が可能な、（ISR以外の組織に所属する人員を含む）医療スタッフの数をより多く確保することができる。医療従事者の人員確保が増強されることによって、熱傷を負った戦闘員への医療的役割の進展に向けて、より複雑な熱傷ケアを拡充させることができる。

【0150】

このようなニーズへの対応を開始するため、術前における熱傷の治癒可能性の判定を補助することを目的として、マルチスペクトルイメージング（MSI）および人工知能（AI）アルゴリズムを使用した新規なカート用イメージング装置を開発した。この装置は、短時間で（例えば、６秒以内、５秒以内、４秒以内、３秒以内、２秒以内または１秒以内に）広範囲な組織（例えば、5.9×7.9平方インチ）の画像を取得することができ、イメージング造影剤の注射を必要としない。一般市民を対象としたこの研究では、この装置による熱傷の治癒可能性の判定の正解率は、熱傷の専門医師による臨床判断（例えば70～80％）よりも優れていることが示されている。

【0151】

方法：
様々な重症度の熱傷を負った一般市民の患者において、熱傷受傷の72時間以内に画像化を実施し、熱傷受傷後の最長で７日間にわたりいくつかの時点でも画像化を実施した。各画像における正確な熱傷の重症度は、３週間にわたる治癒評価またはパンチ生検を使用して判定した。このイメージング装置での、Ｉ度熱傷、II度熱傷およびIII度熱傷における治癒する熱傷組織と治癒しない熱傷組織の同定と判別の正解率は、画素単位で分析した。

【0152】

結果：
データは、38人の一般市民の患者から収集し、合計で58個の熱傷および393個の画像を取得した。AIアルゴリズムにより、治癒しない熱傷組織の予測において87.5％の感度と90.7％の特異度が達成された。

【0153】

結論：
新規なイメージング装置およびそのAIアルゴリズムによる熱傷の治癒可能性の判定の正解率は、熱傷の専門医の臨床判断の正解率よりも優れていることが示された。将来的には、携帯を可能にするための本装置の再設計と術中の状況下での使用の評価に焦点を当てて検討を行う予定である。携帯を可能にするための設計変更としては、本装置のサイズを携帯型システムのサイズまで小さくすること、視野を広くすること、１回のスナップショットの取得時間を短くすること、およびブタモデルを使用して、術中の状況下での使用において本装置を評価することが挙げられる。これらの開発は、基本的な画像検査において同等の機能を示すベンチトップ型のマルチスペクトルイメージング（MSI）サブシステムを使用して実施中である。

【0154】

画像の位置合わせ用の追加の光源
様々な実施形態において、本明細書で開示した実施形態のいずれかと１個以上の追加の光源とを併用して、画像の位置合わせの正確度を向上させてもよい。図21は、プロジェクター2105を含むマルチアパーチャスペクトル撮像装置2100の実施形態の一例を示す。いくつかの実施形態において、プロジェクター2105またはその他の適切な光源は、例えば、図12に関して前述した複数の光源1165のうちの１個であってもよい。位置合わせ用のプロジェクター2105などの追加の光源を含む実施形態において、前記方法は、追加の露光をさらに含んでいてもよい。プロジェクター2105などの追加の光源は、撮像装置2100のすべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域の、１つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の適切な空間パターンを、撮像装置2100の視野内に投影することができる。例えば、プロジェクター2105は、前述の共通帯域を利用したアプローチに基づいて計算された画像の位置合わせの正確度の確認に使用することが可能な、共有チャネルもしくは共通チャネルの光、広帯域照明または累積的に可視可能な照明を投影してもよい。本明細書において、「累積的に可視可能な照明」は、選択された複数の波長であり、マルチスペクトルイメージングシステムの各イメージセンサによりそのパターンが変換される波長を指す。例えば、累積的に可視可能な照明は、複数の波長を含み、すべてのチャネルに共通の波長がこの複数の波長に含まれていなくても、この複数の波長のうちの少なくとも１つが各チャネルにより変換されてもよい。いくつかの実施形態において、プロジェクター2105により投影されるパターンの種類は、そのパターンが画像化されるアパーチャの数に基づいて選択してもよい。例えば、１個のアパーチャのみでしかパターンを見ることができない場合、このパターンは比較的高密度であることが好ましい場合があり（例えば、約1～10画素、約20画素、約50画素未満、約100画素未満などの、比較的狭い自己相関を有していてもよい）、一方、複数個のアパーチャによりパターンが画像化される場合は、より低密度のパターンまたは自己相関がそれほど狭くないパターンが有用である場合がある。いくつかの実施形態において、投影された空間パターンとともに撮影される追加の露光は、投影された空間パターンを含めずに露光が撮影される実施形態よりも位置合わせの正確度が向上することを意図として、視差の計算に含められる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（例えば、共有チャネルもしくは共通チャネル、または広帯域照明など）の縞模様を撮像装置の視野内に投影し、これを利用することによって、縞模様の位相に基づいて画像の位置合わせを向上させることができる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（例えば、共有チャネルもしくは共通チャネル、または広帯域照明など）のドット、グリッドおよび／または斑点からなる複数の特有の空間配置を撮像装置の視野内に投影し、これを利用することによって、画像の位置合わせを向上させることができる。いくつかの実施形態において、前記方法は、１個のアパーチャまたは複数個のアパーチャを備えた追加のセンサをさらに含み、この追加のセンサによって、視野内の単一または複数の物体の形状を検出することができる。例えば、この追加のセンサは、LIDAR技術、ライトフィールド技術または超音波技術を使用して、前述の共通帯域を利用したアプローチによる画像の位置合わせの正確度をさらに向上させてもよい。この追加センサは、ライトフィールド情報を検知可能な１個のアパーチャまたはマルチアパーチャセンサであってもよく、超音波やパルスレーザなどのその他のシグナルを検知可能であってもよい。

【0155】

コンピュータビジョン方法を使用した組織の位相幾何学的特徴評価
組織構造の位相幾何学的特徴評価および／または3Dイメージングは、ヘルスケアやその他の状況で顕著な利点を提供し得る。たとえば、創傷の測定は、創傷ケアにおいて重要な態様の１つとなり得、ヘルスケアでの適用において多様な目的で使用される。創傷領域は、患者のアウトカムを推定し、トリアージ治療における判断、およびケアを与えるのに必要なリソースを推定するのに使用される。たとえば、約10cm²の小さな面積のIII度熱傷の場合、位置によっては標準創傷ケアで治療し得る。ところが、広い面積のIII度熱傷(たとえば1,000cm²)の場合、典型的には外科的切除および移植で治療する。熱傷の面積は、外科的治療の期間、移植のために採取される組織の量、および外科医の医療行為に対して支払われる費用を推定するために使用され得る。糖尿病性足部潰瘍の治療において、創傷の面積と体積は、治療プロセスを通じて潰瘍の増悪の追跡に使用される。さらに、創傷の幾何学的輪郭は、重症度の重要な指標であり、治癒率を予測し得る。たとえば、各潰瘍の創傷エッジのポケットを確認および測定して、組織内への創傷範囲全体を判断する。ポケットが広く形成されている領域は、治癒がより困難となる重度の潰瘍を示す。創傷エッジの輪郭はまた、糖尿病性足部潰瘍を適切に管理するのにも重要である。典型的には、医師はデブリードマンと呼ばれる技術でメスまたはその他の鋭利な器具を使用して糖尿病性足部潰瘍等の慢性創傷中および慢性創傷周辺の不健康な組織を除去する。デブリードマンの目的の1つは、たとえば切断、プレーニング、または掻爬で創傷のマージンから急勾配のエッジを有する創傷の輪郭を除去することにより、正常細胞が創傷へと遊走することを促進することであり、好ましくは、これにより創傷が平面または略平面へと近づくか、または皮膚と面一に近づくようにする。

【0156】

創傷領域測定は、臨床の場において定規とプローブを使用して日常的に行われる。これらの器具を使用して、創傷の長さ(l)、幅(w)、深度(d)、ポケット、および／またはトンネルが測定される。これらの基本的測定値から、創傷の形状寸法を推定できる。たとえば、創傷の面積は、典型的には創傷を面積=l×wの長方形としてモデル化することにより推定される。これに類似して、体積は創傷を体積=l×w×dの直方体としてモデル化することにより推定できる。体積=w×l×d×(π/6)の楕円体としてもモデル化できる。しかし、創傷は、これらのシンプルな幾何学的モデルには追随せず、よって創傷面積と体積を推定するために現在使用されている技術は、不正確であり誤差が生じ易い。

【0157】

これらの懸念に対処するため、創傷の面積を測定する多様なツールが紹介されている。これらのツールは、画像のフレームに定規を置くことにより写真をキャリブレーションすること、または創傷にパテやペーストを埋めて創傷の型または注型を作製することを含んでいる。ソフトウエアプログラムでユーザが作製した、キャリブレーションされた画像の線や面積等の注釈を、画像に描画して長さ、幅、および面積のより正確な測定を得るのに使用できる。しかし、深度はこの方法を使用して容易に推定できない。創傷の型を作製することは創傷の体積と深度を測定する上での1つの正確な方法ではあるが、治癒中の創傷のデリケートな組織に汚染または機械的破壊が起こるリスクから、臨床の場では使用できない。

【0158】

プロセスを簡略化し、これらの測定技術を改良すべく、デバイスが紹介されている。1つのデバイスでは、組織表面にレーザーのパターンを投影して組織の測定値を推定し、深度を推定する。他のデバイスでは、単色プロジェクターを使用して組織に構造化された光のパターンを投影する。他の方法では、キャリブレーションされたカメラまたはカメラアレイで撮像されたイメージから3Dサーフェスを構築するのに3D撮像を使用する。光学センサから現実世界の3D形状寸法を推定するのに、LiDAR等のその他の多様な技術が使用でき、この技術は、創傷測定と形状寸法の改良にも適用できる。たとえば、組織における腫瘍の検知のためにLiDARが研究されている。

【0159】

経時的に創傷の物理的寸法の変化を監視することが重要である。この監視により創傷の治癒についての情報が得られる。たとえば、創傷の治癒を評価する典型的な方法では、面積減少率(PAR)を測定する。PARは、現在の創傷面積を、事前に設定したベースラインでの創傷面積で除して100%を乗じたものである。治療30日後で50%以上のPARは、十分な比率で治癒されている創傷とされる。

【0160】

本発明の技術で作製した3Dモデルは、創傷の変化レートを改善するのに使用できる。たとえば、現在の3Dモデルをこれまでの3Dモデルと比較して体積減少率(PVR)を報告できる。また、定規とプローブを使用する方法に比較して、この技術を使用して体積の絶対的変化をより良く測定できる。

【0161】

患者の管理に使用し、創傷デブリードマンまたは切除術をガイドするための組織の位相幾何学的評価システムおよび方法を説明する。この方法では、対象組織からの１つ以上の画像を使用してキャリブレーションされた物理的単位を用いて現実世界座標システムにおける組織の3D形状寸法を再建する。単一撮像システムとマルチ撮像システムの場合の技術を説明する。局所勾配を得るための方法を示す。局所勾配を使用して、組織領域のサーフェス形状寸法を調査し、ヘルスケア提供者に対して治療プロトコルを調整するよう求めることができる。

【0162】

単一撮像システムにおいて、複数の対象画像(たとえば、動画または連射されたキャプチャ)を得てアライメントを行い、たとえば、図２２Ａおよび２２Ｂに示すように、対象の3Dモデルを推定できる。まず、各画像中のユニークで静的な画像特徴のセットを識別し、各特徴におけるいくつかの測光発見的方法に応じて、特徴同士をマッチさせる。これらのマッチを使用して、事前にキャリブレーションされたカメラレンズのパラメータをふまえて、またはマッチした特徴同士から動的に推定して、相対カメラ姿勢を得る。姿勢推定段階で、誤った画像特徴のマッチを排除するのにM-estimator Sample Consensus (MSAC)のアルゴリズムによる異常値除外を使用できる。

【0163】

対象に対する画像位置の特定を疎らに行うことに引き続いて、本発明の方法では、密なマルチビューステレオ再構成を行い、これにより画像ペアが選択され、ステレオ修正され、視差マッチが対象の統合された3Dモデルに逆投影される。この手法を図23A、23Bおよび23Cに示し、図中には表面の色と質感にバリエーションをもたせた義足の統合された3Dモデルの画像を示す。図23Bおよび図23Cの画像中の多角形は、本発明の技術による可視化テクニックの一例における、領域に注釈を付したサーフェスのリゲーションを示す。この単一撮像装置の方法における1つの限界は、3D形状寸法を「現実世界」の単位にキャリブレーションするのに、周知の寸法を有するマーカーを必要とすることである。

【0164】

いくつかの実施形態において、組織の位相幾何学的特徴評価に２つ以上のカメラを使用できる。(たとえば本明細書に開示されたマルチアパーチャイメージングシステムのいずれかを使用して)少なくとも２つの画像収集デバイスのそれぞれから、組織領域の画像のセットを収集できる。画像の全てを同時に得るか、順番に得て、組織の3Dモデル表示を推定するのに使用できる。２つ以上の画像収集デバイスでは、本発明の方法は、1つの画像中の全ての画素を他のデバイスからの画像の画素にマッチさせるサーチスペースを減少するのに幾何学的拘束を使用する。デバイス間の機械的スペースをふまえて、これらの対応関係を3D空間に三角測量でき、そのようなモデル表示が作製できる。複数のフレームを撮影するのに２つ以上のデバイスが共に移動する場合、組織に対する相対的動作が推定され、各位置に対し推定されたサブモデルを使用して3D投影をアライメントできる。

【0165】

図２４は、マルチカメライメージングシステムにおける画素視差と深度または距離情報の関係の一例を示す。画素視差と深度または距離の関係は、カメラ焦点距離と、イメージングセンサ同士の光学的中心のベースライン距離とに基づいて定義できる。したがって、個々の画素の深度または距離の値は、カメラの焦点距離にベースライン距離を乗じたものを、画素に対して決定された画素視差値で除したものに等しくなり得る。望ましい実装の一例において、ベースライン距離は、6mmの焦点距離と3.45μｍの画素ピッチとを組み合わせた55.837cmであり、各画像中の合計1.74×10^３の画素に対応する。

【0166】

図２５を参照すると、複数のカメラで同時に画像特徴x_i`の特徴が視認できる。カメラが理想的なものであるか、または事前に内部要因と外部要因(K, [R|t])のキャリブレーションが行われたと仮定して、観測D_i、カメラの焦点距離f、およびベースライン距離の間の画素視差のみを使用してこのような特徴X_iの現実世界3D座標を推定できる。

【0167】

図２６Ａ－２６Ｄは、複数の空間的にオフセットされた2Dイメージに基づいて3D組織モデルを生成するプロセスの一例を示す。図２６Ａに示すように、キャリブレーションされたカメラシステムによりRAW画像を撮影できる。

【0168】

図２６Ｂを参照して、あらゆる光学的歪を排除および／または製造欠陥を補償するために画像を修正し得る。たとえば、画像の歪みを無くしたり、および／または回転できる。いくつかの実施形態において、修正は画像同士のエピポーラアライメントを伴うことがある。

【0169】

図２６Ｃを参照して、密なマルチビューマッチングプロセスで２つ以上の修正されたフレームを使用して画素ごとの視差を推定する。いくつかの実施形態において、演算処理および／またはメモリ要件を減少するために、画素視差の決定前にホロプターシフトを実行できる。視差推定には、(たとえばエピポーラ線に拘束された領域をマッチングして)正規化された相互相関および／またはCENSUS変換コストからのハミング距離を使用した1次元の画素ごとのパッチベースの類似推定を含めて、選択されたビューのベスト視差コストを推定できる。いくつかの実施形態において、システムは、全てのビューと拘束形状寸法に合致する視差を選択するのに、最小融合コストを選択できる。いくつかの実施形態において、以下に画像セグメンテーションについて述べられるように、目的の組織とみなされる画素のみにマッチするようにマスクを使用できる。そして、画素ごとの視差を、ベースライン距離等の既知の外部要因に基づいて深度にマッピングして深度マップを生成する。いくつかの実施形態において、ローカルサーフェス再構成の質を改良するのに視差推定を選別できる。これはオリジナルの視差マップ、または深度マップ、もしくは3D投影された点に対して実行できる。3D点群の場合、サーフェスを3D点群にフィットさせるドロネー三角形分割により画素ごとの視差を選別できる。

【0170】

図２６Ｄを参照して、カメラ投影モデルを使用して3D空間に深度マップを投影できる。たとえば、上述の深度、焦点距離、ベースライン距離、および視差の数学的関係を使用して深度マップを3D空間に投影できる。この投影により3D点群が生成され、いくつかの実施形態においては、3D点群をサーフェスにメッシュとして表示できる。いくつかの実施形態において、3Dモデルを再テクスチャリングしてマルチスペクトル3Dモデルを出力するのに反対逆投影を使用できる。さらに、3つ以上のイメージセンサが使用される実施形態では、個々の画素について画素ごとの信頼値を計算してもよい。決定された信頼値に基づいて信頼度マップ等の可視化表示を生成してもよい。いくつかの実施形態において、たとえば、信頼度マージンの閾値を超える画素に基づいて、3Dモデルから画素を排除してもよい。

【0171】

統合された3Dモデルは、3D点群、3Dテクスチャ付きメッシュ、3Dパラメトリック・サーフェス、3Dボクセルグリッドおよび／または深度ヒートマップを含む、組織を複数の相互変換可能な形態で表したものとなり得るが、これらの形態に限られない。このようなモデル表現はさらに、統計学的正解率指標と関連付けでき、これにより全てのビュー観測を通じてモデルの一貫性を統合する。

【0172】

3D組織モデルは、現実世界の単位にキャリブレーションされ得る。3Dモデル中の点のサンプルは、現実世界中の組織の物理的単位と互いに関連しており、3Dパラメトリック・サーフェスにおいて1mmの距離を有する2点は、現実世界の組織で同じ1mmの距離を示す。現実世界の単位(たとえば、ミリメートル)を使用することにより、派生分析(たとえば、熱傷面積の測定)をデバイスで行える。ユーザまたはAIアルゴリズムは組織のどのような領域でも選択でき、組織モデルの面積をこの領域から算出してもよい。

【0173】

画像のみ(たとえば、画像中に既知の形状寸法のキャリブレーション対象が存在しない)から正確な現実世界の、尺度の測られた、形状寸法を得るために、マルチビュー幾何学的方法を使用してカメラを事前にキャリブレーションできる。キャリブレーションプロセスは、内部要素と外部要素に再分割できる。システムが2以上の画像収集デバイスを含む場合、キーポイント等の識別可能でユニークな特徴を含有する図２７Ａに示すように、キャリブレーション操作において標準化されたキャリブレーションターゲットを行うことができる。図２７Ｂに示すように、画像のセットを１つ以上の画像収集デバイスにより収集して特徴の対応関係セットのグラフに集約できる。カメラモデルの値を求めるために、パラメータとデバイス姿勢を同時に推定および最適化できる。

【0174】

いくつかの実施形態において、図２７Ｃに示すように、キャリブレーションターゲットの画像は、画像撮影中にシステムを移動させて、対象を全てのカメラの視野におさめながら、マルチ撮像システムにより得てもよい。いくつかの実施形態において、最適なキャリブレーションを与えるために、比較的多数の視点を使用できる。たとえば、複数の撮像装置からの画像を、10以上、20以上、30以上、40以上、50以上、またはそれ以上の個々の視点から得てもよい。既知の形状寸法を有するドット等のキャリブレーション対象の特徴を、得られたキャリブレーション画像の全てにおいて検出でき、画素より小さい単位の精度で検出してよ改良されたキャリブレーション性能を与えることができる。図27Aに示す例のように、いくつかの実施形態において、キャリブレーションターゲットは、キャリブレーション操作で使用されるドット中心を高い信頼度で位置特定するために白黒のドットのセットを含み、ドットは、ガウシアンラプラシアン（Laplacian of Gaussian (LoG)）２階微分勾配フィルタリング、輪郭に基づく楕円当てはめの最小二乗法、および黒のドットパターンに基づいてターゲットのオーダリングを実行することにより抽出することができる。個々のイメージングセンサおよび／またはレンズの光学性能等の内部要因は、個々の画像に基づいて推定してもよい。ベースライン距離および光軸のアライメントを含む外部要因をさらに決定できる。全体的キャリブレーション結果は、カメラ同士の内部要因一貫性、マルチ撮像装置デバイスの製造仕様で決定された外部要因の類似性、およびキャリブレーション再投影エラーを比較することにより検証できる。

【0175】

キャリブレーションの安定性も内部要因と外部要因を使用してテストまたは監視できる。内部要因と外部要因は、各カメラの部品位置に関係するため、カメラ部品に動き(たとえば、回転またはカメラの機械的耐性を超えた移動)があれば、動きが生じたことをこれらのパラメータが示すことがある。再投影におけるエラー、たとえば、キャリブレーションされた画像中で検出されたキーポイントと、同じ画像に投影された対応するワールドポイントの間の画素同士の距離差は、カメラのキャリブレーションの安定性判定に有用となり得る。再投影におけるエラーの経時的変化は、当初のキャリブレーション出力の質と再利用性を反映する場合がある。安定性テストの期間は、一例において、カメラの標準使用例または極端な使用例をシミュレートするように、テストイベント(たとえば、機械的衝撃テスト、熱衝撃テスト等)のセット間とすることができる。

【0176】

3Dモデルおよび異なる位置またはイメージングデバイスからの画像は、レンズパラメータ(カメラ内部パラメター)と3D剛体変換(外部パラメータ)でそれぞれ構成される、カメラ投影モデルを通じて関連付けできる。これにより結果として得られた3Dモデルは、このようなモデルを使用して、仮想カメラにより定義された2D画像空間のなんらかの任意の位置(物理的カメラと同じ位置とすることができる)、または合成されたオルソプレーン(ortho-plane)に逆投影できる。

【0177】

よって、本明細書中において述べたキャリブレーションプロセスを使用してキャリブレーションされた、本開示のシステムおよび方法は、既存のイメージング方法では典型的には必要とされた、特徴または組織領域に関して撮影された既知サイズの参照オブジェクトを要すること又は使用すること無しに、撮影された特徴または組織領域(たとえば、深度もしく最大深度、面積、外周、軌道長半径、軌道短半径、または創傷、熱傷等の、組織領域または特徴のその他の局面)の１つ以上の測定値(たとえば、mm、mm^２、mm^３等の長さ、面積、または体積等の具体的物理的寸法単位、またはその他の望ましい長さまたは面積単位)を判定できる。すなわち、キャリブレーションされたイメージングデバイスは、特徴または組織領域の画像のセットを撮影し、画像中に示された（あるいは示されていない）なんらかのタイプのマーカー(既知の長さまたは幅を有する参照オブジェクト等)に基づくのではなく、画像および画像から得た深度情報に基づいて、該特徴または組織領域の１つ以上の物理的測定値を判定できる。

【0178】

キャリブレーションまたは再キャリブレーションの改善は組織サンプルの撮影中に完了できる。このようなキャリブレーションおよび結果として得られた3Dモデル推定を改善するために、既知の寸法を有するオブジェクトを画像セットに含めることができる。

【0179】

本明細書に別記するように、システムは、イメージング統合性を改善するために、LEDまたはLEDアレイ等の、組織に発光するデバイスも含むことができる。

【0180】

組織および組織領域のセグメンテーション
3Dサーフェスの生成を改良するために、画像セット中の各画像に含まれる組織をさらに背景からセグメント化できる。セグメンテーションの一例を図28Aおよび図28Bに示す。図２８Ａは熱傷の画像を示し、図２８Ｂは図２８Ａの画像のセグメンテーションを示す。図28Bにおいて、白の領域は画像中の組織の領域に対応し、黒の領域は背景の画素に対応する。 セグメンテーションは、画像を描く人物から手動で、半自動化された方法で、または完全自動化された方法で得られる。半自動化された方法は、グラフカットを含む。完全に自動化された方法は、画素中の色値に閾値を適用するシンプルな手法や、チャネル率を含んでもよい。自動化された方法は、畳み込みニューラルネットワーク等を使用した教師あり及び教師なし機械学習および深層学習法を含んでもよい。

【0181】

いくつかの実施形態において、組織セグメンテーションの使用における3Dサーフェスの生成は、２つ以上の撮像装置間でステレオ対応関係判定工程を行うときに画像の背景領域を排除することにより改善できる。サーチスペースを減少することはステレオ対応関係のいくつかの局面を改善し得る。まず、背景を除去することにより、ステレオマッチング点の誤りの確率を減らす可能性がある。また、対応関係の判定に使用する画像面積が減ることから、ステレオ対応関係計算を完了するのに必要な演算の数が減る可能性もある。

【0182】

画像セグメンテーションは、複数の画像収集デバイスからの各画像を処理し、統合された3Dモデルに集約できる。3Dモデルの最終的な境界領域を計算するのに、3D空間中の重なりセグメンテーション領域を使用できる。画像セグメンテーションアルゴリズムの例について以下で述べる。

【0183】

U-Netは、非常に少ない数の訓練画像で学習可能な、エンコーダ・デコーダ型深層学習セマンティックセグメンテーション法である。U-Netのアルゴリズムでは、高解像度での特徴を維持し、位置の特定を向上させるため、スキップ接続という概念が使用されている。

【0184】

Unet++は、教師あり深層学習のエンコーダ・デコーダ型ネットワークであり、一連のネストされた、密なスキップパスウエイを通じてエンコーダとデコーダのサブネットワークを結合する。エンコーダは、異なる空間分解能の特徴を抽出し、デコーダ正確なセグメンテーションマスクを定義するために、この特徴を使用できる。

【0185】

LinkNetは画像セグメンテーションのための完全畳み込みニューラルネットワークである。LinkNetはエンコーダからの空間情報を対応するデコーダにバイパスして正解率を高め処理時間を有意に減少する。LinkNetは組み込まれたプラットフォームで利用可能な少ないリソースを効率的に使用できる。

【0186】

PSPNetは、画像セグメンテーションのための完全畳み込みニューラルネットワークであり、エンコーダと、デコーダに構築され細かい特徴を使用しない空間ピラミッドからなる。PSPNetは、高解像度画像のマルチクラスセグメンテーションに使用できる。

【0187】

DeepLabV3+は、画像セマンティックセグメンテーションに空間ピラミッドプーリングモジュールとエンコーダ・デコーダ型構造を合わせて使用する。また、特にオブジェクトの境界において、セグメンテーション結果の精度を上げるために、シンプルであるが効果的なデコーダモジュールを加える。深さ単位分離可能畳み込みを膨張空間ピラミッドプーリングとデコーダモジュール両方に適用する。

【0188】

上記リストのアルゴリズムの性能を本発明の技術の組織画像セグメンテーションに従って比較したものを以下の表1に示す。

【表1】

【0189】

上記表1に示すように、Unet++がテスト設定において最も高い正解率を示した。Unet++アルゴリズムにおける異なる重みづけの結果を下記表2に示す。

【表2】

【0190】

Unet++アルゴリズムにおける変数データ拡張結果を下記表3に示す。

【表3】

【0191】

異なる入力データセットサイズの結果を下記表4に示す。

【表4】

【0192】

マルチスペクトル3Dイメージング
いくつかの実施形態において、マルチスペクトル情報を得て3D画像データと組み合わせることに利点がある。各点を2以上のスペクトルチャネルで表示した3D画像をこの方法で多様に生成できる。一例において、マルチスペクトルイメージングデバイスをシステム中の撮像装置として使用できる。このようにして、3D再構成が、当初画像セットに含まれたマルチスペクトルデータを含む。

【0193】

別の例では、2以上の撮像装置のアレイにおける各撮像装置に異なるスペクトル反応(たとえば、各カメラがUV/可視/IRスペクトルの異なる部分または複数部分に敏感である)を持たせることができる。これらの撮像装置で撮影した少なくとも1対の画像から、幾何学的内部キャリブレーション、外部キャリブレーション、修正、ステレオ対応関係付け、および3D形状寸法のプロセスを得ることができる。ステレオ対応関係は、２つ以上の撮像装置のそれぞれから1つのチャネルを使用し、各撮像装置の全てのチャネルを組み合わせて、またはチャネルの特異なサブセットを使用して得ることができる。ステレオ対応関係を得ると、3D形状寸法が得られ、3D空間の各点が、システムで使用される２つ以上の撮像装置の全てのチャネルを含有する。このようにして、1つの撮像装置のみで達成できるものを超えて、より多くのスペクトルチャネルを組み合わせることができる。

【0194】

ステレオ対応関係工程の演算を改良する１つの方法としては、２つの撮像装置で少なくとも１つの共有のチャネルを持たせることである(たとえば、同じスペクトル反応を共有する１つのチャネル)。たとえば、２つの撮像装置(たとえば、各撮像装置がイメージセンサと本明細書に別記される対応するアパーチャの組み合わせに対応する)のそれぞれが、２つの撮像装置で共通の共有周波数帯と、他方の撮像装置が撮影しない少なくとも１つのユニークな周波数帯とを透過するように構成したマルチ帯域通過フィルタを有するように構成できる。

【0195】

創傷エッジの評価
創傷エッジの形状寸法は、創傷の治癒能力を予測するのに重要な要素である。創傷治癒において重要な工程は、創傷領域の再上皮形成である。この工程は、基底角化細胞が創傷エッジから創傷表面へと遊走し細胞分裂することにより起こる。基底角化細胞は、表皮の大部分を占める細胞のタイプであり、創傷中へと遊走すると、まず細胞外マトリックスの足場である基底板を分泌することにより再上皮形成を促進する。そして、これらの新たな細胞は約2～3週間をかけて角質化され防水性のコンフルエントな層を形成する。

【0196】

創傷ケアでは、創面環境の形成に多くの注意が注がれるが、これは、創面環境の形成がこの再上皮形成をサポートするためである。創面環境調整における1つの重要な見解は、創傷エッジの形成である。たとえば、平らであり創面環境の表面と面一である創傷のエッジは、再上皮形成に必要な細胞の遊走を促進する。しかし、創傷エッジが巻かれた状態であったり(たとえば、被覆（エピボール）)または創面環境の表面から角度をつけて離れている場合、細胞遊走を妨げる。創面環境から離れている創傷エッジは、「ポケット」と称される。創傷エッジのポケットは、ポケット領域が肉芽組織と呼ばれる血管の張り巡らされた組織で埋められ、創傷エッジが再度平たいか創傷表面とほとんど面一になり十分な細胞遊走をサポートするまで、再上皮形成を妨げるか抑制する。

【0197】

創傷の管理において、臨床医は、細胞遊走を促進するために手動で創傷のエッジを平らにすることができる。創傷エッジを平らにすることは、従来、創傷エッジをメスまたはブラシで切り取るか又は削り取ることにより、創傷の縁で皮膚表面に対して平らであるか又は平坦であると臨床医が目視で決定した程度までなされる。この処置はデブリードマンと呼ばれる。デブリードマンの目的は、創傷を平らにすると共に、エピボール、仮骨、老化細胞、または過剰肉芽組織を除去することである。創傷エッジの処理は従来臨床医により視覚情報のみに基づいて臨床医のスキル、経験、判断に基づいて行われた。

【0198】

創傷治癒を改善する、創傷エッジの処理を改良するために、本発明の技術により生成された3D 位相幾何学的マップを創傷エッジの形状寸法を評価するために、デブリードマンの前、途中、後に使用できる。評価された創傷エッジ形状寸法に基づいて、臨床医は、あらゆる望ましくないエッジ特徴を知ることができ、3D位相幾何学的マップを使用して正確に創傷のデブリードマンを行え、処置中にデブリードマンを監視でき、デブリードマンの効率を評価できる(たとえば、創傷の縁と平坦な形状寸法に達するための創傷の輪郭の平坦化の効率)。これを達成する１つの方法は、図２９Ａ～２９Ｄに示すように、創傷サーフェスに対する創傷エッジの傾きを算出することである。

【0199】

図２９Ａは、本明細書で述べた創傷の3D画像データから得た創傷の2D断面の例を示す。図２９Ｂは、組織の輪郭に沿って離散点で計算された組織表面に対する垂直ベクトルのセットを示す。 いくつかの実施形態において、図２９Ｃに概念的に示すように、垂直ベクトルは、1次元連続体に沿って分散および分析でき、創傷サーフェスの傾き

を図２９Ｄに示すように計算できる。閾値より大きい傾きは、注意を要するデブリードマンまたは追加のデブリードマンを要する望ましくないエッジを臨床医に知らせるのに使用できる。また、サーフェスに垂直なベクトルを識別し、これらのサーフェスに垂直なベクトルを近隣で比較して勾配を得ることができる。

【0200】

創傷進行モデルの例
本発明の技術のいくつかの方法において、測光的、分光的、および幾何学的観測可能状態のセットを通じて創傷治癒プロセスを革新的に評価することができる。図３０は、診断と治療のタイムラインを示し、タイムラインに沿った創傷進行モデルを共に示す。このモデルは上述の技術とデバイスで患者の創傷を経時的に記録して徐々に拡張できる。このようなモデルは、治療計画に必要な調整に対しフィードバックを与え、モデルは、将来に対する治癒率を予測し得る(たとえば、他の患者の類似した創傷の治癒率を予測し、類似した創傷は、末梢血管疾患、糖尿病、インスリン耐性、または肥満等の類似健康ケア指標を有するものであってもよい)。

【0201】

図３１に示すように、創傷進行モデルを隠れマルコフモデル(HMM)で表すことができ、画像デバイスを通じて収集した計測可能で観測可能な事項のセットが観測可能でない創傷状態を表す。たとえば、創傷の皮下の感染状態は、直接的に知り得ないが、現在と過去のイメージング観測を通じてモデルから推定できる。そのモデルは、いくつかの又は全ての観測されたタイムステップ間を接続できる。さらに、新たなデータが利用可能になれば各エッジを動的に調整して創傷の変化をより良くモデル化できる。外部手法、または前述のイメージング方法で、手動、半自動または完全自動で計測したいくつかの提案下の観測可能な事項と創傷状態のセットの、因果的で観測可能な関係の例を図31に示す。

【0202】

【0203】

これは患者または患者の保険提供者への請求に使用するレポートを作成する目的において特に有用である。たとえば、米国医師に対する支払いは小範囲熱傷の治療と大範囲熱傷の治療で異なる(たとえばCPTコード16025は顔全体または手足全体等、または全体表面積の5%～10%の中サイズ熱傷であり、CPTコード16030は、2以上の体肢、または全体表面積の10%より多い大範囲熱傷)。別の例では、機械を使用して熱傷面積をcm²で計測でき、次に、その後の皮膚移植術に適切な請求コードを推奨できる。この例では、CP15002を使用して熱傷の切除および皮膚移植による幼児および子供の体面積の最初の100cm²または1%までの熱傷部位の作成を行う。次に100cm²の増分で追加の面積に対し追加のCPTコード、+15003CPTと+15005CPTが適用される。

【0204】

糖尿病性足部潰瘍の3D特徴化の例
図３２Ａ～３２Ｅは、本発明の技術による糖尿病性足部潰瘍の3D特徴化の例を示す。 図32Aは、糖尿病性足部潰瘍を有する脚の写真であり、関心領域を破線で囲んでいる。図32Bは、関心領域を通る直線に沿う糖尿病性足部潰瘍のトポロジーを示した2D断面を示す。図32Cは、図32Aの画像中の関心領域を示す3Dマルチスペクトル画像データの視覚的表示を示す。図32Dは、図32Aの画像の関心領域に対応する画素ごとの深度情報を示すヒートマップを示す。図32Eは、関心領域中の組織の推定された3Dサーフェスを示す再テクスチャリングしたマルチスペクトルの例を示す。 図32Eの再テクスチャリングされた画像において、オリジナル画像の画素は、計算された糖尿病性足部潰瘍の形状寸法を使用して、生成された3Dモデルにアライメントされる。

【0205】

がん病巣の分類、検出、および／または診断への適用の例
本明細書中に述べた3D形状寸法および組織トポロジーを反射率測定値と組み合わせてまたは組み合わせ無しで使用することを、がん組織の検出、分類、および／または診断に適用できる。たとえば、悪性黒色腫では、医師は病変または黒子ががんであるか、またはがん組織へと転換する確率を一次評価する。典型的に、この一次評価は臨床医がダーマトスコープと呼ばれる小型器具を使用して病変を視覚検査した判断に基づく。ダーマトスコープによる評価は、65%の正確性しかないことが示されており、臨床医の経験に依存する。悪性黒色腫の検出において懸念する特徴は、非対称性、境目、色、直径、および変化である。これらの特徴は、「悪性黒色腫のABCDEルール」として知られる。

【0206】

異なるタイプの悪性黒色腫は、見かけが異なる。一般的な表面に広がる悪性黒色腫は、黒子から広がる褐色および黒の有色の外見を有する。時間経過と共に、皮膚のより深い層に浸潤する前に、ゆっくりと外面へと成長する。結節型黒色腫は、ドーム型の隆起として垂直に成長し青から黒の色を有する。悪性黒子型悪性黒色腫は、大きな黄褐色の着色した外見を有し、境界がいびつで、平らなものが後に隆起する。末端黒子型悪性黒色腫は、手のひら、足の裏、指関節、ひじ、ひざに現れる。爪甲下悪性黒色腫は末端黒子型黒色腫のサブタイプであり、手の爪と足の爪にできる。この悪性黒色腫は挫傷のような見かけを有するか、まれには、無色である(メラニン欠乏または無色素)。メラニン欠乏性悪性黒色腫は色素が無く、赤身がかった斑や皮膚色のしこりのような外見を有する。円形または卵形で通常の境目を有する。

【0207】

ABCDEルールの評価のための演算方法が開発されてきた。これらの方法は、皮膚病変の画像から得られた2D光学画像に適用される。悪性黒色腫の疑いがある黒子に対するABCDEルールのパラメータの定量化をさらに改良するために黒子のトポロジーの3Dメッシュを生成する方法が適用された。

【0208】

本適用において述べる方法における望ましい特徴は2段階に分かれる。第１に、病変、黒子、変色した皮膚、または創傷の3D画像を生成することは、たとえば、図３３に示すように、組織の反射率(色)を3Dメッシュ中の各点にマッピングすることを本質的に含む。生成された3D画像を使用することはまた、反射率値の均一化も可能にし、感知された光の強度への逆２乗法の効果が薄れることがあり、創傷評価能をより良くする。これまでの方法は、2Dカラー画像を3D組織マップに共局在化することを必要とし、マッピングエラーおよび3D空間における各点での色の推測のみを与えるという結果をもたらせた。第２に、本明細書中で述べた方法は、レンズの光学素子により決定されたサイズのスケールで3D形状寸法の生成を可能にする。よって、病変がセンサまたはセンサアレイのレンズパラメータにより決定された十分な解像度を有する場合、病変形態の顕微鏡画像を3Dで得ることができる。

【0209】

用語
本明細書に記載の方法およびタスクはすべてコンピュータシステムにより実行されてもよく、完全に自動化されていてもよい。場合によっては、このコンピュータシステムは、ネットワーク上で通信し相互運用して、本明細書で述べる機能を実行する別々の複数のコンピュータまたはコンピュータ装置（例えば、物理サーバ、ワークステーション、ストレージアレイ、クラウドコンピューティングリソースなど）を含む。このようなコンピュータ装置は、いずれも、通常、メモリまたはその他の非一時的なコンピュータ可読記憶媒体もしくは非一時的なコンピュータ可読記憶装置（例えば、ソリッドステート記憶装置、ディスクドライブなど）に格納されたプログラム命令またはプログラムモジュールを実行するプロセッサ（または複数のプロセッサ）を含む。本明細書で開示した様々な機能は、そのようなプログラム命令で具体化してもよく、コンピュータシステムの特定用途向け回路（例えば、ASICやFPGA）の形態で実装してもよい。コンピュータシステムが複数のコンピュータ装置を含む場合、これらの装置は、同じ場所に配置してもよいし、別の場所に配置してもよい。本明細書で開示した方法およびタスクによる結果は、ソリッドステートメモリチップや磁気ディスクなどの物理的記憶装置を様々な形態に変換することによって、永続的に保存してもよい。いくつかの実施形態において、コンピュータシステムは、複数の別個の企業体またはその他のユーザにより処理リソースが共有されるクラウドベースのコンピューティングシステムであってもよい。

【0210】

本明細書で開示したプロセスは、ユーザまたはシステムアドミニストレータによって要求が開始された際に、所定のスケジュールや動的に決定したスケジュールなどのイベントに応答して開始してもよく、その他のいくつかのイベントに応答して開始してもよい。前記プロセスが開始されたら、１つ以上の非一時的なコンピュータ可読媒体（例えば、ハードドライブ、フラッシュメモリ、取り外し可能な媒体など）に格納された実行可能プログラム命令群を、サーバまたはその他のコンピュータ装置のメモリ（例えばRAM）にロードしてもよい。次に、実行可能命令は、コンピュータ装置が備えるハードウェアベースのコンピュータプロセッサにより実行してもよい。いくつかの実施形態において、本明細書で開示したプロセスまたはその一部は、直列または並列に、複数のコンピュータ装置および／または複数のプロセッサ上に実装してもよい。

【0211】

実施形態に応じて、本明細書に記載のプロセスまたはアルゴリズムのいずれかによる特定の行為、イベントまたは機能は、異なる順序で行うことができ、互いに付加することができ、互いに合体することができ、すべてを省略することができる（例えば、本明細書に記載の作動およびイベントのすべてが、本明細書に記載のアルゴリズムの実行に必要とは限らない）。さらに、特定の実施形態において、複数の作動またはイベントは、例えば、マルチスレッド処理、割り込み処理、もしくは複数のプロセッサもしくは複数のプロセッサコアを使用して、またはその他の並列構造上で、順次ではなく同時に行うことができる。

【0212】

本明細書で開示した実施形態に関連して記載した、例示的な様々な論理ブロック、モジュール、ルーチン、およびアルゴリズムの工程は、電子機器（例えばASICまたはFPGA装置）、コンピュータハードウェア上で作動するコンピュータソフトウェア、またはこれらの組み合わせとして実装することができる。さらに、本明細書で開示した実施形態に関連して記載した、例示的な様々な論理ブロックおよびモジュールは、プロセッサ装置、デジタルシグナルプロセッサ（「DSP」）、特定用途向け集積回路（「ASIC」）、フィールドプログラマブルゲートアレイ（「FPGA」）もしくはその他のプログラマブルロジックデバイス、ディスクリートゲートロジックもしくはトランスファーロジック、ディスクリートハードウェアコンポーネント、または本明細書に記載の機能を実行するように設計された、これらの部品の組み合わせなどの機器により実装することができる。プロセッサ装置はマイクロプロセッサであってもよいが、別の態様において、プロセッサ装置は、制御装置、マイクロコントローラまたは状態機械、これらの組み合わせなどであってもよい。プロセッサ装置は、コンピュータ実行可能命令を処理するように構成された電気回路を含んでいてもよい。別の一実施形態において、プロセッサ装置は、FPGAを含むか、またはコンピュータ実行可能命令を処理することなく論理演算を行うその他のプログラマブルデバイスを含む。また、プロセッサ装置は、コンピュータ装置の組み合わせとして実装することができ、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSPコアと１個以上のマイクロプロセッサの組み合わせ、またはこのようなその他の構成として実装することができる。本明細書では、主にデジタル技術に関して説明をしてきたが、プロセッサ装置は、主にアナログ部品を含んでいてもよい。例えば、本明細書に記載のレンダリング技術のすべてまたはそのうちの一部は、アナログ回路を使用して、またはアナログ回路とデジタル回路を併用して実装してもよい。コンピューティング環境は、何らかの種類のコンピュータシステムを含むことができ、このコンピュータシステムとして、いくつか例を挙げれば、マイクロプロセッサに基づくコンピュータシステム、メインフレームコンピュータ、デジタルシグナルプロセッサ、携帯型コンピュータ装置、デバイスコントローラ、電気器具内のコンピュータエンジンなどがあるが、これらに限定されない。

【0213】

本明細書で開示した実施形態に関して述べた方法、プロセス、ルーチンまたはアルゴリズムの構成要素は、ハードウェアで直接具現化することができ、プロセッサ装置により実行されるソフトウェアモジュールで直接具現化することもでき、またはこれらのハードウェアとソフトウェアモジュールの組み合わせで直接具現化することもできる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、またはその他の形態の非一時的なコンピュータ可読記憶媒体に含まれていてもよい。典型的な記憶媒体は、プロセッサ装置がこのような記憶媒体から情報を読み取ったり、このような記憶媒体に情報を書き込んだりできるように、プロセッサ装置に接続することができる。この態様において、記憶媒体はプロセッサ装置にとって不可欠でありうる。このプロセッサ装置および記憶媒体は、ASICに含まれていてもよい。このASICは、ユーザ端末に含まれていてもよい。この態様において、このプロセッサ装置および記憶媒体は、ユーザ端末のディスクリート部品として存在していてもよい。

【0214】

本明細書で使用されている、「できる」、「場合がある」、「可能性がある」、「してもよい」、「例えば」などの、条件を示す用語は、別段の記載がない限り、あるいはこれらの用語が使用されている文脈上で別の意味に解釈されない限り、通常、特定の実施形態が特定の特徴、構成要素または工程を含み、別の実施形態には、これらの特徴、構成要素または工程が含まれないことを意味する。したがって、条件を示すこのような用語は、通常、特定の実施形態において特定の特徴、構成要素または工程が含まれるのか、あるいは実施されるのかにかかわらず、その他の入力やプロンプティングの存在下または非存在下において、１つ以上の実施形態が、これらの特徴、構成要素または工程を何らかの形で必要とすることや、１つ以上の実施形態が、決定のロジックを必然的に含むことを含意しない。また、「含む」、「備える」、「有する」などの用語は同義語であり、オープンエンド形式で包括的な意味で使用され、追加の構成要素、特徴、行為、作動などを除外するものではない。さらに、「または」という用語も、（排他的な意味ではなく）包括的な意味で使用され、例えば、「または」という用語が、構成要素を列記するために使用された場合、列記された構成要素のうちの１つ、その一部またはすべてを意味する。

【0215】

別段の記載がない限り、「Ｘ、ＹまたはＺの少なくとも１つ」などの選言的な用語は、本明細書中において、通常、特定の項目や用語などが、Ｘ、ＹもしくはＺ、またはこれらの任意の組み合わせ（例えば、Ｘ、ＹまたはＺ）であってもよいことを示すために使用されると理解される。したがって、このような選言的な用語は、通常、特定の実施形態において、Ｘの少なくとも１つと、Ｙの少なくとも１つと、Ｚの少なくとも１つのそれぞれの存在が必要であることを意味することを意図せず、そのように意図されるべきではない。

【0216】

前述の詳細な説明において、様々な実施形態として適用される新規な特徴を示し、説明し、指摘してきたが、前述の装置またはアルゴリズムの形態およびその細部は、本開示の範囲から逸脱することなく、様々に省略、置換および変更することができることを理解できるであろう。本明細書に示した特徴のいくつかは、その他の特徴とは別々に使用または実施できることから、本明細書に記載の特定の実施形態は、本明細書に示された特徴および利点のすべてを提供するわけではない形態として具体化することができることは容易に理解できるであろう。請求項の記載と等価の意味および範囲内のあらゆる変更は、これらの請求項の範囲内に包含される。

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B-C】

【図4D-E】

【図5】

【図6A】

【図6B-C】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32A-D】

【図32E】

【図33】

【国際調査報告】