特許 7529753 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法

(51)【国際特許分類】

   A61B 10/00 20060101AFI20240730BHJP

   G03B 15/00 20210101ALI20240730BHJP

   G03B 11/00 20210101ALI20240730BHJP

   G01J 3/51 20060101ALI20240730BHJP

   A61B 5/00 20060101ALI20240730BHJP

【ＦＩ】

A61B10/00 E

A61B10/00 Q

G03B15/00 T

G03B11/00

G01J3/51

A61B5/00 M

【請求項の数】 25

(21)【出願番号】P 2022188833

(22)【出願日】2022-11-28

(62)【分割の表示】P 2021533780の分割

【原出願日】2019-12-11

(65)【公開番号】P2023041063

(43)【公開日】2023-03-23

【審査請求日】2022-12-23

(31)【優先権主張番号】62/780,121

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/818,375

(32)【優先日】2019-03-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517151936

【氏名又は名称】スペクトラル エムディー，インコーポレイテッド

【氏名又は名称原語表記】ＳＰＥＣＴＲＡＬ ＭＤ， ＩＮＣ．

【住所又は居所原語表記】２５１５ ＭｃＫｉｎｎｅｙ Ａｖｅｎｕｅ，Ｓｕｉｔｅ １０００，Ｄａｌｌａｓ，ＴＸ ７５２０１ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100077012

【弁理士】

【氏名又は名称】岩谷 龍

(72)【発明者】

【氏名】マッコール，ブライアン

(72)【発明者】

【氏名】ファン，ウェンシェン

(72)【発明者】

【氏名】ドゥワイト，ジェイソン

(72)【発明者】

【氏名】ガオ，ジクン

(72)【発明者】

【氏名】サッチャー，ジェフリー イー．

(72)【発明者】

【氏名】ディマイオ，ジョン マイケル

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】特表２０１７－５２９５１４（ＪＰ，Ａ）

【文献】国際公開第２０１７／０７４５０５（ＷＯ，Ａ１）

【文献】特表２０１５－５２３１３５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１９３０６１（ＵＳ，Ａ１）

【文献】特表２０１６－５４０６２２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／０２９４０３２（ＵＳ，Ａ１）

【文献】国際公開第２００８／１０５３７０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００

Ａ６１Ｂ １０／００

(57)【特許請求の範囲】

【請求項1】

マルチスペクトルイメージングシステムの作動方法であって、
複数の発光体の中の個々の発光体の起動を制御することによって、３個以上の周波数帯の光で組織を同時に照明する第一の照明工程；
光の反射部分に基づいて少なくとも１つのイメージセンサによって生成された少なくとも１つのシグナルを受信し、前記反射部分は組織によって反射されて、組織と少なくとも１つのイメージセンサの間に配置されたマルチバンドパスフィルタを通過し、前記マルチバンドパスフィルタは前記３個以上の周波数帯の光を通過させるように構成されている工程；
前記少なくとも１つのシグナルを処理して組織の少なくとも一部を示す複数のマルチスペクトル画像を生成する工程；ならびに
前記組織の少なくとも一部を示す複数の周波数帯画像を生成するように前記第一の照明に基づいてスペクトルアンミキシングを行い、各周波数帯画像は前記３個以上の周波数帯の１つに対応している工程
を含む方法。

【請求項2】

少なくとも組織の一部は、損傷した組織の少なくとも一部を含む、請求項１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項3】

画像の生成に続く所定の期間で損傷した組織の少なくとも一部の治癒の予測量に対応するスカラー値を生成することを含む、請求項２に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項4】

スカラー値は、損傷した組織の少なくとも一部が、所定の期間で所定のパーセンテージ減少（ＰＡＲ）閾値を達成する可能性に対応している、請求項３に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項5】

組織を複数の組織の種類に分類することを含む、請求項１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項6】

複数の組織の種類は、止血、炎症、増殖、リモデリング及び正常皮膚からなるグループから選択された少なくとも２つの組織の状態を含む、請求項５に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項7】

組織内の損傷した組織に隣接する正常な組織を特定することを含む、請求項５に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項8】

切除の際のマージン及び／もしくは深さの決定、人口装具を移植した後の回復過程のモニタリング、組織移植片または再生細胞移植片の生存能力の評価、および術後回復のモニタリングを行うことからなるグループから選択された１つ以上の分析を行うことをさらに含む、請求項１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項9】

組織を有する患者に対応する、患者の少なくとも１つの測定値に少なくとも一部基づく１つ以上の分析を行うことをさらに含む、請求項１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項10】

患者の少なくとも１つの測定値は、複数の周波数帯画像または複数の周波数帯画像に基づいて生成されたマルチスペクトルデータキューブに加えて、少なくとも１つの機械学習アルゴリズムへの入力として提供される、請求項９に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項11】

患者の少なくとも１つの測定値は、複数の実例から少なくとも１つの機械学習アルゴリズムの実例を選択するために使用される、請求項９に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項12】

選択された実例は、患者の少なくとも１つの測定値と同じ測定値を有する患者に関係している訓練データで訓練される、請求項１１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項13】

患者の少なくとも１つの測定値は、患者の特性または患者の健康状態のベクトル表示を含む、請求項９に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項14】

患者の少なくとも１つの測定値は、創傷、病変または潰瘍の面積；患者のボディマス指数（ＢＭＩ）；患者の糖尿病の状態；患者における末梢血管疾患または慢性炎症の存在；患者が現在罹患しているその他の創傷の数または患者がこれまでに罹患した創傷の数；免疫抑制剤または創傷治癒率に正もしくは負の影響を及ぼすその他の薬剤が患者に投与されているか否か、または最近投与されたか否か；ＨｂＡ１ｃ；慢性腎不全ステージＩＶ；患者の糖尿病のタイプ；慢性貧血；喘息；薬剤の使用；喫煙の有無；糖尿病性神経障害；深部静脈血栓症；過去の心筋梗塞症；一過性脳乏血発作；および睡眠時無呼吸からなるグループから選択される、請求項９に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項15】

治療剤の投与後、損傷した組織における組織の変化または正常な組織の発生を評価することをさらに含む、請求項１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項16】

治療剤は、ステロイド、肝細胞成長因子、線維芽細胞成長因子、抗生物質、および再生細胞からなるグループから選択される、請求項１５に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項17】

少なくとも組織の一部は、褥瘡性潰瘍、充血、四肢の悪化、レイノー現象、強皮症、慢性創傷、擦過創、裂創、出血、破裂損傷、穿刺創、穿通創、皮膚がん、および異常な皮膚状態からなるグループから選択された少なくとも１つの状態による影響を受けた組織を含む、請求項１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項18】

少なくとも１つのイメージセンサはマルチチャネルイメージセンサを含む、請求項１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項19】

マルチチャネルイメージセンサはＲＧＢセンサを含む、請求項１８に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項20】

スペクトルアンミキシングは、さらにマルチチャネルイメージセンサで生成されたチャネル特定の画像データに少なくとも一部基づいている、請求項１８に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項21】

組織の特定の点を示す複数の画素の各々が、特定の組織分類または特定の治癒可能性スコアに割り当てられる、組織の少なくとも一部の分類マッピングを生成する工程を含む、請求項１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項22】

ユーザに分類マッピングを出力する工程を含む、請求項２１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項23】

分類マッピングを組織に投影する工程を含む、請求項２２に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項24】

組織の少なくとも一部の特性および性質が正常状態とは異なる、組織の少なくとも一部の変化を分類するか又はモニタリングする工程を含む、請求項１に記載のマルチスペクトルイメージングシステムの作動方法。

【請求項25】

組織の変化を分類するか又はモニタリングする工程は、褥瘡性潰瘍、充血、四肢の悪化、レイノー現象、強皮症、慢性創傷、擦過創、裂創、出血、破裂損傷、穿刺創、穿通創、皮膚がん、光線角化症、または何らか種類の組織変化の重症度を分類するか又はモニタリングすることを含む、請求項２４に記載のマルチスペクトルイメージングシステムの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、「高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法」という名称で2018年12月14日に出願された米国仮出願第62/780,121号および「高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法」という名称で2019年3月14日に出願された米国仮出願第62/818,375号の利益を主張するものであり、これらの文献は引用によりその全体があらゆる目的で本明細書に明示的に援用される。

【0002】

連邦政府の助成による研究開発に関する陳述
本開示に記載の発明の一部は、契約番号HHSO100201300022Cの下、米国保健福祉省の事前準備・対応担当次官補局内の米生物医学先端研究開発局（BARDA）により付与された米国政府の支援を受けてなされたものである。また、本開示に記載の発明の一部は、契約番号W81XWH-17-C-0170および／または契約番号W81XWH-18-C-0114の下、米国国防保健局（DHA）により付与された米国政府の支援を受けてなされたものである。米国政府は、本発明に関し一定の権利を保有する場合がある。

【0003】

本明細書で開示するシステムおよび方法は、スペクトルイメージングに関し、より具体的には、マルチアパーチャイメージングシステムによる高精度スペクトルイメージングに関する。

【背景技術】

【0004】

電磁スペクトルとは、電磁放射線（たとえば光）の波長または周波数の帯域である。電磁スペクトルは、長い波長から短い波長の順に、電波、マイクロ波、赤外線光（IR）、可視光（すなわちヒトの眼の構造により検出可能な光）、紫外線光（UV）、Ｘ線、およびガンマ線を含む。また、スペクトルイメージングは、像平面の様々な位置においてスペクトル情報の一部または完全なスペクトルを収集する分光学および写真撮影術の一分野を指す。マルチスペクトルイメージングシステムは、複数のスペクトル帯域（通常、それぞれ異なるスペクトル領域にある十数個以下のスペクトル帯域）を撮影して、画素ごとにそのスペクトル帯域での測定値を収集することができ、１個のスペクトルチャネルあたり数十nmの帯域幅を参照することができる。一方、ハイパースペクトルイメージングシステムは、さらに多くのスペクトル帯域を測定することができ、たとえば200個以上ものスペクトル帯域の測定が可能であり、いくつかの種類のハイパースペクトルイメージングシステムは、電磁スペクトルの一部に沿って狭帯域（たとえば数nm以下のスペクトル帯域幅）を連続的にサンプリングすることができる。

【発明の概要】

【課題を解決するための手段】

【0005】

本明細書で開示するマルチスペクトルイメージングシステムおよびマルチスペクトルイメージング技術は、いくつかの特徴を有するが、このうちのどれが欠けても所望の特性を達成することはできない。本明細書で開示するスペクトルイメージングの特定の特徴を簡潔に説明するが、以下の説明は、後述の請求項で示す本発明の範囲を限定するものではない。当業者であれば、本明細書で開示するスペクトルイメージングの特徴が、従来のシステムや方法と比べてどのような利点を有するのかを十分に理解できるであろう。

【0006】

一態様は、マルチスペクトル画像システムであって、
少なくとも１つのイメージセンサ；
前記少なくとも１つのイメージセンサの第１のセンサ領域へと入射光を通過させるように配置された第１のアパーチャ；
前記少なくとも１つのイメージセンサの第２のセンサ領域へと入射光を通過させるように配置された第２のアパーチャ；
第１のアパーチャの上方に配置され、少なくとも共通周波数帯の光および第１の特有周波数帯の光を通過させるように構成された第１のマルチバンドパスフィルタ；
第２のアパーチャの上方に配置され、少なくとも前記共通周波数帯の光および第２の特有周波数帯の光を通過させるように構成された第２のマルチバンドパスフィルタ；
マルチスペクトルデータキューブを生成させる命令を格納するメモリ；ならびに
前記命令に従って、少なくとも、第１のセンサ領域および第２のセンサ領域からシグナルを受信し、受信したこのシグナルを処理して、前記マルチスペクトルデータキューブを生成するように構成された少なくとも１つのプロセッサ
を含み、
前記マルチスペクトルデータキューブが、前記共通周波数帯に対応する第１のスペクトルチャネル、第１の特有周波数帯に対応する第２のスペクトルチャネル、および第２の特有周波数帯に対応する第３のスペクトルチャネルを含み；
前記シグナルの処理が、
少なくとも、前記共通周波数帯に対応する第１のスペクトルチャネルからの情報を利用して、第１のセンサ領域により撮影された第１の画像データと第２のセンサ領域により撮影された第２の画像データの間の視差を概算すること、ならびに
前記視差を利用して、第１のスペクトルチャネルの画像データ、第２のスペクトルチャネルの画像データおよび第３のスペクトルチャネルの画像データの位置調整を行い、マルチスペクトルデータキューブを生成することを含む、
マルチスペクトル画像システムに関する。

【0007】

いくつかの実施形態において、第１のマルチバンドパスフィルタは、前記マルチスペクトル画像システムのレンズの前面に配置されるか、前記マルチスペクトル画像システムのレンズの後ろに配置されるか、前記マルチスペクトル画像システムのレンズの内部に配置されるか、または前記マルチスペクトル画像システムのレンズの素子の表面上に直接配置される。いくつかの実施形態において、前記少なくとも１つのプロセッサは、前記命令に従って、少なくともスペクトルアンミキシングを行うことによって、第１のスペクトルチャネルの画像データ、第２のスペクトルチャネルの画像データおよび第３のスペクトルチャネルの画像データを生成するように構成されている。いくつかの実施形態において、前記マルチスペクトル画像システムは、第１のセンサ領域および第２のセンサ領域を覆うカラーフィルタアレイをさらに含み、該カラーフィルタアレイが、カラーフィルタの繰り返しパターンを含み；前記繰り返しパターンの第１のカラーフィルタが、前記共通周波数帯を含む第１の重み付け光波長分布を通過させるように構成されており；前記繰り返しパターンの第２のカラーフィルタが、第１の特有周波数帯を含む第２の重み付け光波長分布を通過させるように構成されており；前記繰り返しパターンの第３のカラーフィルタが、第２の特有周波数帯を含む第３の重み付け光波長分布を通過させるように構成されている。いくつかの実施形態において、前記共通周波数帯は、紫色光、青紫色光、青色光および青緑色光の少なくとも１つを含む。いくつかの実施形態において、前記共通周波数帯は、３８０ｎｍよりも長く４５０ｎｍよりも短い波長を有する光を含む。いくつかの実施形態において、前記共通周波数帯は緑色光を含む。いくつかの実施形態において、前記共通周波数帯は赤色光を含む。いくつかの実施形態において、第１のマルチバンドパスフィルタおよび第２のマルチバンドパスフィルタのそれぞれが、緑色光、青緑色光および青色光の少なくとも１つを含む第２の共通周波数帯を通過させるように構成されている。いくつかの実施形態において、第１のマルチバンドパスフィルタおよび第２のマルチバンドパスフィルタのそれぞれが、赤色光を含む第２の共通周波数帯を通過させるように構成されている。いくつかの実施形態において、第１のマルチバンドパスフィルタおよび第２のマルチバンドパスフィルタのそれぞれが、前記カラーフィルタアレイのパターンを構成するカラーフィルタのうち、第１の共通周波数帯を遮断しない少なくとも１枚のカラーフィルタにより遮断されない第２の共通周波数帯を通過させるように構成されている。いくつかの実施形態において、前記少なくとも１つのプロセッサは、前記命令に従って、少なくともスペクトルアンミキシングを行うことによって、撮影画像データの、前記共通周波数帯に対応する部分と第２の共通周波数帯に対応する部分を分離するように構成されている。いくつかの実施形態において、前記少なくとも１つのプロセッサは、前記命令に従って、前記マルチスペクトルデータキューブを使用して画像化組織を少なくとも分析するように構成されている。

【0008】

いくつかの実施形態において、前記マルチスペクトル画像システムは、
前記少なくとも１つのイメージセンサの第３のセンサ領域へと入射光を通過させるように配置された第３のアパーチャ；
前記少なくとも１つのイメージセンサの第４のセンサ領域へと入射光を通過させるように配置された第４のアパーチャ；
第３のアパーチャの上方に配置され、少なくとも共通周波数帯の光および第３の特有周波数帯の光を通過させるように構成された第３のマルチバンドパスフィルタ；ならびに
第４のアパーチャの上方に配置され、少なくとも前記共通周波数帯の光および第４の特有周波数帯の光を通過させるように構成された第４のマルチバンドパスフィルタ
をさらに含む。
いくつかの実施形態において、前記マルチスペクトル画像システムは、
前記少なくとも１つのイメージセンサの第５のセンサ領域へと入射光を通過させるように配置された第５のアパーチャ；および
第３のアパーチャの上方に配置された第５のマルチバンドパスフィルタ
をさらに含み、
該第５のマルチバンドパスフィルタが、第１のマルチバンドパスフィルタ、第２のマルチバンドパスフィルタ、第３のマルチバンドパスフィルタおよび第４のマルチバンドパスフィルタの少なくとも１つを通過する少なくとも１つの周波数帯の光を通過させるように構成されている。
いくつかの実施形態において、前記マルチスペクトル画像システムは、
前記少なくとも１つのイメージセンサの最大総数２５個のセンサ領域へと入射光を通過させるように配置された最大総数２５個のアパーチャ；および
前記最大総数２５個のアパーチャのそれぞれの上方に配置された最大総数２５枚のマルチバンドパスフィルタ
を含み、
各マルチバンドパスフィルタが、少なくとも共通周波数帯の光と、前記画像システム内の他のマルチバンドパスフィルタを通過しない特有周波数帯の光とを通過させるように構成されており；
通過する周波数帯の総数が、４個を超え、かつ５１個未満である。
いくつかの実施形態において、前記マルチスペクトル画像システムは、
前記少なくとも１つのイメージセンサの第３のセンサ領域へと入射光を通過させるように配置された第３のアパーチャ；および
第３のアパーチャの上方に配置された第３のマルチバンドパスフィルタ
をさらに含み、
該第３のマルチバンドパスフィルタが、第１のマルチバンドパスフィルタおよび第２のマルチバンドパスフィルタの少なくとも一方を通過する少なくとも１つの周波数帯の光を通過させるように構成されている。
いくつかの実施形態において、第１のマルチバンドパスフィルタ、第２のマルチバンドパスフィルタ、第３のマルチバンドパスフィルタおよび第４のマルチバンドパスフィルタは、これら全体で７個、８個、９個または１０個の異なる周波数帯を通過させ、これらの異なる周波数帯に、共通周波数帯、第１の特有周波数帯、第２の特有周波数帯、第３の特有周波数帯および第４の特有周波数帯が含まれている。いくつかの実施形態において、第１のマルチバンドパスフィルタ、第２のマルチバンドパスフィルタ、第３のマルチバンドパスフィルタおよび第４のマルチバンドパスフィルタのそれぞれは、青色光を含む共通周波数帯、緑色光を含む追加の共通周波数帯、および２個の追加の周波数帯を通過させるように構成されている。いくつかの実施形態において、前記少なくとも１つのプロセッサは、前記命令に従って、前記７個、８個、９個または１０個の異なる周波数帯に対応する１０個のスペクトルチャネルを含むマルチスペクトルデータキューブを少なくとも生成するように構成されている。

【0009】

いくつかの実施形態において、前記マルチスペクトル画像システムは、前記７個、８個、９個または１０個の異なる周波数帯の光を発するように構成された複数の発光ダイオード（LED）を含む照明基板をさらに含み、個々のLEDが、前記７個、８個、９個または１０個の異なる周波数帯のいずれかの光を発する。いくつかの実施形態において、前記少なくとも１つのイメージセンサは、該少なくとも１つのイメージセンサのフォトダイオードの上方に配置されたカラーフィルタアレイを含み、該カラーフィルタアレイが、少なくとも２枚の異なるカラーフィルタを有する。いくつかの実施形態において、前記カラーフィルタアレイは、３～２５枚の異なるカラーフィルタを有する。いくつかの実施形態において、前記７個、８個、９個または１０個の異なる周波数帯は、前記３枚の異なるカラーフィルタを通過する周波数帯よりも狭い周波数帯の光を含む。いくつかの実施形態において、前記マルチスペクトル画像システムは、前記共通周波数帯の光、第１の特有周波数帯の光および第２の特有周波数帯の光を発するように構成された少なくとも１つの光源をさらに含む。いくつかの実施形態において、前記マルチスペクトル画像システムは、前記少なくとも１つの光源の上方に配置された拡散光学素子をさらに含む。いくつかの実施形態において、少なくとも第１のマルチバンドパスフィルタは、湾曲したフィルタである。

【0010】

別の一態様は、本明細書に記載のマルチスペクトル画像システムを使用してマルチスペクトルデータキューブを生成する方法であって、
第１のスペクトルチャネル、第２のスペクトルチャネルおよび第３のスペクトルチャネルを含む第１の露光を撮影する工程；
第１のスペクトルチャネル、第２のスペクトルチャネルおよび第３のスペクトルチャネルを含む第２の露光を撮影する工程；ならびに
第１の露光のシグナル／ノイズ比を低下させるため、第２の露光の使用に少なくとも部分的に基づいてマルチスペクトルデータキューブを生成する工程
を含む方法に関する。
いくつかの実施形態において、前記方法は、第１の露光中および第２の露光中に、各光源が全体として、共通周波数帯の光、第１の特有周波数帯の光および第２の特有周波数帯の光を発する光源群を起動する工程をさらに含む。いくつかの実施形態において、第１の露光および第２の露光のそれぞれは少なくとも第４のスペクトルチャネルを含み、第１の露光および第２の露光のそれぞれに含まれるスペクトルチャネルの総数は１０個以下である。
いくつかの実施形態において、前記方法は、
環境光を使用して第３の露光を撮影する工程、ならびに
第１の露光および第２の露光から第３の露光を差し引く工程
をさらに含む。
いくつかの実施形態において、前記方法は、第１の露光および第２の露光から第３の露光を差し引いた結果に基づいて、前記マルチスペクトルデータキューブを生成する工程をさらに含む。いくつかの実施形態において、前記方法は、第１のスペクトルチャネルの情報に基づいて、第１のセンサ領域により撮影された画像と第２のセンサ領域により撮影された画像の位置合わせを行う工程をさらに含む。いくつかの実施形態において、前記方法は、第１のセンサ領域により撮影された画像と第２のセンサ領域により撮影された画像の位置合わせの結果に基づいて、前記マルチスペクトルデータキューブを生成する工程をさらに含む。
いくつかの実施形態において、前記画像のそれぞれは、第１のスペクトルチャネルにおいて第１のセンサ領域により撮影された情報および第１のスペクトルチャネルにおいて第２のセンサ領域により撮影された情報を示し、
前記方法は、
前記共通周波数帯に対応する第１のスペクトルチャネルにおいて、第１のセンサ領域により撮影された画像と第２のセンサ領域により撮影された画像の間の視差を特定する工程；
前記視差を使用して、第２のスペクトルチャネルにおいて第１のセンサ領域により撮影された情報を示す第１の追加の画像を前記複数の画像に位置合わせする工程；ならびに
前記視差を使用して、第３のスペクトルチャネルにおいて第２のセンサ領域により撮影された情報を示す第２の追加の画像を前記複数の画像に位置合わせする工程
をさらに含む。
いくつかの実施形態において、各露光は、４個以上のスペクトルチャネルを含み；
前記方法は、前記視差を使用して、第４のスペクトルチャネルにおいて第３のセンサ領域により撮影された情報を示す少なくとも第３の追加の画像を前記複数の画像に位置合わせする工程をさらに含み、
前記複数の画像に位置合わせされる追加の画像の総数が、スペクトルチャネルの総数よりも１つ少ない。
いくつかの実施形態において、前記マルチスペクトル画像システムは、１つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の空間パターンを投影するように構成された光源をさらに含み、
前記方法は、
前記光源によって、１つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の空間パターンを含む光を、前記少なくとも１つのイメージセンサの視野内に投影する工程；および
前記光源により投影された光を利用して、追加の露光を撮影する工程
をさらに含み、
前記位置合わせが、この追加の露光に少なくとも部分的に基づく。
いくつかの実施形態において、前記光源により投影された前記光は、前記共通周波数帯の波長を有する光、広帯域照明の波長を有する光および累積的に可視可能な照明の波長を有する光のうちの少なくとも１つを含む。いくつかの実施形態において、前記追加の露光は、前記画像の前記位置合わせの正確度の確認に使用される。いくつかの実施形態において、前記追加の露光は、前記位置合わせの正確度を向上させるために前記視差の計算に含まれる。いくつかの実施形態において、前記位置合わせの正確度をさらに向上させるため、前記光源は、前記共通周波数帯、広帯域照明または累積的に可視可能な照明からの、特有の構成の、複数の点、縞模様、グリッド、ランダムな斑点またはその他の空間パターンを投影する。いくつかの実施形態において、前記マルチスペクトル画像システムは、前記少なくとも１つのイメージセンサの視野内の物体の形状を検出するように構成された追加のセンサをさらに含み、前記位置合わせは、この追加のセンサにより検出された形状に少なくとも部分的に基づく。この追加センサは、ライトフィールド情報を検知可能な１個のアパーチャセンサまたはマルチアパーチャセンサであってもよく、超音波やパルスレーザなどのその他のシグナルを検知可能な１個のアパーチャまたはマルチアパーチャセンサであってもよい。いくつかの実施形態において、前記方法は、第１のスペクトルチャネル、第２のスペクトルチャネルおよび第３のスペクトルチャネルを分離するために、スペクトルアンミキシングを行う工程をさらに含む。いくつかの実施形態において、各露光は、４個以上のスペクトルチャネルを含み；前記方法は、これらのスペクトルチャネルのすべてを分離するために、スペクトルアンミキシングを行う工程をさらに含む。いくつかの実施形態において、前記方法は、前記視差を使用して、トポグラフィー情報および深さ情報の少なくとも一方を測定する工程をさらに含む。いくつかの実施形態において、前記視差を使用して、個々の画素の深さ情報を測定する。いくつかの実施形態において、前記方法は、前記深さ情報を使用して、画像化した創傷の体積を測定する工程をさらに含む。いくつかの実施形態において、前記方法は、非可視光を示す第４のスペクトルチャネルを少なくとも含む追加の露光を撮影する工程；および前記追加の露光に少なくとも部分的に基づいて前記マルチスペクトルデータキューブを生成する工程をさらに含む。いくつかの実施形態において、前記方法は、前記追加の露光中に前記非可視光を発する第３の光源群を起動する工程をさらに含む。

【0011】

別の一態様は、自動組織分析方法であって、
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、画像化された組織を示すマルチスペクトルデータキューブを生成する工程；
組織の少なくとも１つの臨床的特徴を予測するように訓練された機械学習システムへの入力として前記マルチスペクトルデータキューブを提供する工程；および
前記機械学習システムの出力に基づいて、前記画像化された組織の少なくとも１つの臨床的特徴を予測する工程
を含む方法に関する。

【0012】

いくつかの実施形態において、前記方法は、本明細書に記載のマルチスペクトルデータキューブ生成方法を使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む。いくつかの実施形態において、前記少なくとも１つの臨床的特徴は、複数の創傷状態または熱傷状態を含み、前記方法は、前記機械学習システムの前記出力を使用して、前記画像化された組織を、前記複数の創傷状態または熱傷状態の様々な種類ごとに分類した領域として示した画像を生成する工程をさらに含む。いくつかの実施形態において、たとえば、前記複数の熱傷状態は、少なくともＩ度熱傷、II度熱傷、III度熱傷または正常皮膚という種類を含み、前記方法は、前記画像化された組織を示す複数の画素のそれぞれを、Ｉ度熱傷、II度熱傷、III度熱傷または正常皮膚という種類に分類する工程をさらに含む。いくつかの実施形態において、たとえば、前記複数の創傷状態は、少なくとも止血、炎症、増殖、リモデリングまたは正常皮膚という種類を含み、前記方法は、前記画像化された組織を示す複数の画素のそれぞれを、止血、炎症、増殖、リモデリングまたは正常皮膚という種類に分類する工程をさらに含む。いくつかの実施形態において、前記少なくとも１つの臨床的特徴は治癒可能性を含み、前記方法は、前記機械学習システムの前記出力を使用して、前記画像化された組織の様々な領域において判定された治癒可能性を視覚的に示した、前記画像化された組織の画像を生成する工程をさらに含む。いくつかの実施形態において、前記少なくとも１つの臨床的特徴は、前記画像化された組織のがん状態または非がん状態を含み、前記方法は、前記画像化された組織を示す複数の画素のそれぞれを、がん状態または非がん状態として分類する工程をさらに含む。いくつかの実施形態において、前記少なくとも１つの臨床的特徴は、創傷の深さを含み、前記方法は、前記画像化された組織における創傷の深さを特定する情報を出力する工程をさらに含む。いくつかの実施形態において、前記少なくとも１つの臨床的特徴は、デブリードマンを行う際のマージンを含み、前記方法は、前記画像化された組織における創傷またはその周囲のデブリードマンを行う際のマージンを特定する情報を出力する工程をさらに含む。いくつかの実施形態において、前記少なくとも１つの臨床的特徴は、糖尿病性潰瘍、非糖尿病性潰瘍または慢性潰瘍を含む。いくつかの実施形態において、前記少なくとも１つの臨床的特徴は、糖尿病性足部潰瘍を含む。

【0013】

別の一態様は、自動生体認証方法であって、
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、ユーザの生体的特徴を示すマルチスペクトルデータキューブを生成する工程；
特定の生体的特徴を認証するように訓練された機械学習システムへの入力として前記マルチスペクトルデータキューブを提供する工程；および
前記機械学習システムの出力に基づいて、前記ユーザを認証または拒否する工程
を含む方法に関する。

【0014】

いくつかの実施形態において、前記方法は、本明細書に記載のマルチスペクトルデータキューブ生成方法のいずれかを使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む。

【0015】

別の一態様は、自動材料分析方法であって、
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、画像化された材料を示すマルチスペクトルデータキューブを生成する工程；
１つ以上の材料特性を測定するように訓練された機械学習システムへの入力として前記マルチスペクトルデータキューブを提供する工程；および
前記機械学習システムの出力に基づいて、前記画像化された材料の１つ以上の材料特性を測定する工程
を含む方法に関する。

【0016】

いくつかの実施形態において、前記方法は、本明細書に記載のマルチスペクトルデータキューブ生成方法のいずれかを使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む。

【0017】

別の一態様は、
カラーフィルタアレイを有する少なくとも１つのイメージセンサ領域を含む携帯型のマルチアパーチャイメージング装置を使用して、該カラーフィルタアレイ中のカラーフィルタの色の数よりもチャネルの数が多い画像情報を撮影する工程；および
前記画像情報を処理して、各チャネルが０ｎｍを超えかつ約４０ｎｍ以下の範囲のそれぞれ異なる周波数帯の光を示す、前記チャネル数を含むマルチスペクトルデータキューブを作成する工程
を含む方法に関する。

【0018】

いくつかの実施形態において、前記携帯型のマルチアパーチャイメージング装置は、本明細書に記載のマルチスペクトル画像システムのいずれかを含む。いくつかの実施形態において、前記方法は、本明細書に記載のマルチスペクトルデータキューブ生成方法のいずれかを使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む。

【0019】

別の一態様は、
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、マルチスペクトルデータキューブを生成する工程；および
前記マルチスペクトル画像システムの少なくとも１つのプロセッサを使用して、前記マルチスペクトルデータキューブを処理することによって、該マルチスペクトルデータキューブにより示される物体の少なくとも１つの特性を測定する工程
を含む方法に関する。

【0020】

いくつかの実施形態において、前記方法は、本明細書に記載のマルチスペクトルデータキューブ生成方法のいずれかを使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む。

【0021】

別の一態様は、
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、マルチスペクトルデータキューブを生成する工程；
ネットワーク上の少なくとも１つの遠隔プロセッサに前記マルチスペクトルデータキューブを送信する工程；および
前記少なくとも１つの遠隔プロセッサを使用して、前記マルチスペクトルデータキューブを処理することによって、該マルチスペクトルデータキューブにより示される物体の少なくとも１つの特性を測定する工程
を含む方法に関する。
いくつかの実施形態において、前記方法は、本明細書に記載のマルチスペクトルデータキューブ生成方法のいずれかを使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む。

【図面の簡単な説明】

【0022】

【図1A】様々な主光線入射角でフィルタに入射する光の一例を示す。

【0023】

【図1B】様々な主光線入射角の光が透過した図１Ａのフィルタから得られた透過効率の一例を示すグラフである。

【0024】

【図2A】マルチスペクトル画像データキューブの一例を示す。

【0025】

【図2B】特定のマルチスペクトルイメージング技術が、どのようにして図２Ａのデータキューブを生成するのかを示した一例を示す。

【0026】

【図2C】図２Ａのデータキューブを生成することができるスナップショットイメージングシステムの一例を示す。

【0027】

【図3A】本開示による、湾曲したマルチバンドパスフィルタを備えたマルチアパーチャイメージングシステムの一例の光学設計を示した断面概略図を示す。

【0028】

【図3B-3D】図３Ａに示したマルチアパーチャイメージングシステムの１つの光路を構成する光学部品の光学設計の一例を示す。

【0029】

【図4A-4E】図３Ａおよび図３Ｂに関連して述べた光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの一実施形態を示す。

【0030】

【図5】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0031】

【図6A-6C】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0032】

【図7A-7B】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0033】

【図8A-8B】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0034】

【図9A-9C】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0035】

【図10A-10B】図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。

【0036】

【図11A-11B】図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムのフィルタを通過することができる１組の周波数帯の一例を示す。

【0037】

【図12】図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムに使用することができるイメージングシステムの略ブロック図を示す。

【0038】

【図13】図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、画像データを撮影するプロセスの一例を示したフローチャートである。

【0039】

【図14】たとえば、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセスを使用して撮影された画像データなどの画像データを処理するためのワークフローの略ブロック図を示す。

【0040】

【図15】たとえば、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセスを使用して撮影された画像データなどの画像データを処理するための視差および視差補正を図示する。

【0041】

【図16】たとえば、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、かつ／または図１３に示したプロセスを使用して撮影した後、図１４および図１５に従って処理された画像データなどのマルチスペクトル画像データを画素単位で分類するためのワークフローを図示する。

【0042】

【図17】図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを含む分散コンピューティングシステムの一例の略ブロック図を示す。

【0043】

【図18A-18C】携帯型マルチスペクトル・マルチアパーチャイメージングシステムの実施形態の一例を示す。

【0044】

【図19A-19B】携帯型マルチスペクトル・マルチアパーチャイメージングシステムの実施形態の一例を示す。

【0045】

【図20A-20B】一般的なカメラのハウジングに収容された、小型USB3.0用のマルチスペクトル・マルチアパーチャイメージングシステムの一例を示す。

【0046】

【図21】画像の位置合わせを向上させるための追加の光源を含むマルチスペクトル・マルチアパーチャイメージングシステムの一例を示す。

【発明を実施するための形態】

【0047】

本明細書で概説するように、本開示は、各アパーチャの上方に配置された湾曲したマルチバンドパスフィルタを備えたマルチアパーチャシステムを使用したスペクトルイメージングに関する。また、本開示は、そのようなイメージングシステムから受信した画像情報を使用して、スペクトルデータキューブを生成するために、スペクトルアンミキシングおよび画像の位置合わせを実装するための技術に関する。本開示の技術は、後述するように、画像化される物体から反射された波長帯域に関する正確な情報を示す画像データを得る際に、スペクトルイメージングにおいて通常見られる様々な課題に対処するものである。いくつかの実施形態において、本明細書に記載のシステムおよび方法は、短時間で（たとえば６秒以内に）広範囲な組織（たとえば５．９×７．９インチ）の画像を取得することができ、イメージング造影剤の注射を必要とせずに、これを達成することができる。いくつかの態様において、たとえば、本明細書に記載のマルチスペクトル画像システムは、たとえば５．９×７．９インチといった広範囲な組織から６秒以内に画像を取得するように構成されており、かつ複数の熱傷状態、複数の創傷状態もしくは治癒可能性の識別；または画像化された組織のがん状態もしくは非がん状態、創傷の深さ、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で提供するように構成されている。同様に、本明細書に記載の方法のいくつかにおいて、本発明のマルチスペクトル画像システムは、たとえば５．９×７．９インチといった広範囲な組織から６秒以内に画像を取得し、かつ複数の熱傷状態、複数の創傷状態もしくは治癒可能性の識別；または画像化された組織のがん状態または非がん状態、創傷の深さ、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で出力することができる。

【0048】

既存の解決策における課題の１つとして、撮影した画像の色が歪んでしまい、画像データの品質が損なわれることがある。これは、特に、光学フィルタを使用して特定の波長の光を正確に検出し分析することに依存した用途において問題となりうる。より具体的には、色の濃淡は、イメージセンサ領域を通過する位置に応じた光の波長の変化であり、これは、カラーフィルタへの光の入射角が大きくなるほど、カラーフィルタを透過する光の波長が短くなることによって起こる。通常、このような効果は、干渉系フィルタにおいて観察され、干渉系フィルタは、透明な基材に様々な屈折率の薄層を複数重ねて製造される。したがって、長い波長（赤色光など）であるほど、光線入射角が大きくなることから、イメージセンサの端部において阻止されやすくなり、イメージセンサを通過する際に、同じ波長の入射光が空間的には不均一な色として検出される。画像補正をしない場合、色の濃淡は、撮影された画像の端部付近の色の変化として現れる。

【0049】

本開示の技術は、レンズおよび／またはイメージセンサの構成と、これらの視野またはアパーチャサイズが限定されないため、上市されているその他のマルチスペクトルイメージングシステムと比べて有利である。当業者であれば熟知しているように、本明細書で開示するイメージングシステムのレンズ、イメージセンサ、アパーチャサイズ、またはその他の部品の変更は、該イメージングシステムへのその他の調整を含んでいてもよいことを理解できるであろう。また、本開示の技術は、波長を分割する機能を有する部品、またはイメージングシステム全体を利用して波長を分割する機能を有する部品（たとえば光学フィルタなど）を、光エネルギーをデジタル出力に変換する部品（たとえばイメージセンサなど）から分離可能であるという点で、その他のマルチスペクトルイメージングシステムと比べて改良されている。これによって、コストを削減し、簡略化し、かつ／または異なるマルチスペクトル波長用のイメージングシステムを再構成するための開発時間を削減することができる。また、本開示の技術は、より小さくより軽量のフォームファクタにおいて、上市されているその他のマルチスペクトルイメージングシステムと同等の撮像特性を達成可能であるという点で、その他のマルチスペクトルイメージングシステムよりも堅牢であると考えられる。また、本開示の技術は、スナップショット、ビデオレートまたは高速ビデオレートでマルチスペクトル画像を取得できるという点でも、その他のマルチスペクトルイメージングシステムと比べて有利である。また、本開示の技術は、いくつかのスペクトル帯域を各アパーチャに多重化することができるため、イメージングデータセット中の特定の数のスペクトル帯域を取得するのに必要とされるアパーチャの数を減らすことができ、アパーチャの数の削減と改良された光収集によりコストが削減できることから（たとえば、市販のセンサアレイでは、固定されたサイズおよび寸法に収められる程度のさらに大きなアパーチャが使用されうる）、マルチアパーチャ技術に基づいたマルチスペクトルイメージングシステムのさらに堅牢な実装を提供することができる。さらに、本開示の技術は、解像度または画質に関して妥協することなく、これらの利点のすべてを提供することができる。

【0050】

図１Ａは、イメージセンサ110に向かう光路に沿って配置されたフィルタ108の一例と、様々な光線入射角でフィルタ108に入射する光を示す。光線102A、光線104A、光線106Aは、フィルタ108を通過した後、レンズ112により屈折されてセンサ110上に入射する線として示す。レンズ112は、ミラーおよび／またはアパーチャなどの（ただしこれらに限定されない）別の画像形成光学系と置き換えてもよい。図１Ａにおいて、各光線の光は広帯域であると見なされ、たとえば、広い波長領域のスペクトル組成を有する光であり、フィルタ108により特定波長の光のみが選択的に透過される。３つの光線102A、104A、106Aは、互いに異なる入射角でフィルタ108に入射する。説明を目的として、光線102Aは、フィルタ108に対して実質的に垂直な入射として示され、光線104Aは、光線102Aよりも大きな入射角を有し、光線106Aは、光線104Aよりも大きい入射角を有する。フィルタを通過した各光線102B、104B、106Bは、入射角に依存したフィルタ108の透過特性により、特有のスペクトラムを示し、これらの特有のスペクトラムは、センサ110で検出される。この入射角度依存性という効果から、入射角が増加するほど波長が短くなるという、フィルタ108の帯域通過特性のシフトが起こる。さらに、入射角度依存性によって、フィルタ108の透過効率が低下することがあり、フィルタ108の帯域通過特性を示すスペクトル形状が変化することがある。このような複合効果は、入射角度依存性のスペクトル透過と呼ばれる。図１Ｂは、センサ110の位置に存在すると仮定した分光器で検出された図１Ａの各光線のスペクトラムを示し、入射角が増加するほど、フィルタ108の帯域通過特性を示すスペクトルがシフトすることを説明している。曲線102C、曲線104Cおよび曲線106Cは、帯域通過特性の中心波長が短くなっていることを示し、したがって、この例では、光学系から照射された光の波長が短縮していることが示されている。また、この図に示すように、帯域通過特性のスペクトル形状および透過率のピークも入射角により変化する。特定のコンシューマー向けの用途では、このような入射角度依存性のスペクトル透過による目に見える効果を除去するため、画像処理を行うことができる。しかし、このような後加工技術では、どの波長の光が実際にフィルタ108に入射したのかという正確な情報を回復することはできない。したがって、得られる画像データは、特定の高精密な用途には使用できない可能性がある。

【0051】

既存の特定のスペクトルイメージングシステムが直面している別の課題として、完全なスペクトル画像データセットの撮影に必要とされる時間が挙げられる。これについては、図２Ａおよび図２Ｂに関連して検討する。スペクトルイメージセンサは、特定のシーンのスペクトル放射照度Ｉ（ｘ，ｙ，λ）を取得し、データキューブと一般に呼ばれる三次元（3D）データセットを収集する。図２Ａは、スペクトル画像のデータキューブ120の一例を示す。この図に示すように、データキューブ120は、三次元の画像データを示し、このうち、２つの空間次元（ｘおよびｙ）は、イメージセンサの二次元（2D）表面に対応し、スペクトル次元（λ）は、特定の波長域に対応している。データキューブ120のサイズは、N_xN_yN_λで求めることができ、N_xおよびN_yは、各空間次元（ｘ，ｙ）方向の標本点の数であり、N_λは、スペクトル軸λ方向の標本点の数である。データキューブは、現在利用可能な2D検出器アレイ（たとえばイメージセンサ）よりも次元が高いため、典型的なスペクトルイメージングシステムでは、データキューブ120の時系列2Dスライス（すなわち平面）（本明細書において「走査型」イメージングシステムと呼ぶ）を撮影するか、あるいは、演算過程でデータキューブ120を分割して、このデータキューブ120に再統合可能な複数の二次元データを得ることにより、データキューブ120のすべての標本点を同時に測定する（本明細書において「スナップショット型」イメージングシステムと呼ぶ）。

【0052】

図２Ｂは、特定の走査スペクトルイメージング技術が、どのようにしてデータキューブ120を生成するのかを示した一例を示す。具体的には、図２Ｂは、１回の検出器の積分時間に収集することができるデータキューブ120の部分132、134および136を示す。ポイントスキャン分光器は、たとえば、１つの空間位置（ｘ，ｙ）においてスペクトル平面λの全体に延びる部分132を撮影することができる。ポイントスキャン分光器は、空間次元の各（ｘ，ｙ）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。フィルタホイールイメージングシステムは、たとえば、空間次元ｘおよびｙの全体に延びるが、単一のスペクトル平面λのみに位置する部分134を撮影することができる。フィルタホイールイメージングシステムなどの波長走査イメージングシステムは、スペクトル平面λに対して積分を複数回行うことによってデータキューブ120を構築することができる。ラインスキャン分光器は、たとえば、スペクトル次元λの全体と空間次元の一方（ｘまたはｙ）の全体に延びるが、もう一方の空間次元（ｙまたはｘ）の１つの点のみに位置する部分136を撮影することができる。ラインスキャン分光器は、この一方の空間次元（ｙまたはｘ）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。

【0053】

対象物体とイメージングシステムの両方が静止している（または露光時間において比較的静止した状態の）用途では、前述した走査型イメージングシステムは、高解像度のデータキューブ120が得られるという利点がある。ラインスキャンイメージングシステムおよび波長走査型イメージングシステムは、イメージセンサの全域を使用して各スペクトルまたは各空間画像が撮影されることにより利点が得られる場合がある。しかし、最初の露光と次の露光の間にイメージングシステムおよび／または物体に動きがあると、得られる画像データにアーチファクトが発生する場合がある。たとえば、データキューブ120において同じ（ｘ，ｙ）位置であっても、実際には、スペクトル次元λにおいて、画像化した物体上の別の物理的位置が示される場合がある。このようなアーチファクトによって、後続の分析において誤差が生じることがあり、かつ／または位置合わせを行う必要性が出てくることがある（たとえば、特定の（ｘ，ｙ）位置が物体上の同じ物理的位置に対応するように、スペクトル次元λの位置調整を行う必要性が出てくる）。

【0054】

これに対して、スナップショットイメージングシステム140では、１つの積分時間または１回の露光でデータキューブ120の全体を撮影することができることから、前述のような動きが画質に与える影響を回避することができる。図２Ｃは、スナップショットイメージングシステムの作製に使用可能なイメージセンサ142および光学フィルタアレイ144（カラーフィルタアレイ（CFA）など）の一例を示す。この一例でのカラーフィルタアレイ（CFA）144は、イメージセンサ142の表面にカラーフィルタユニット146の繰り返しパターンが配置されたものである。スペクトル情報を得るためのこの方法は、マルチスペクトルフィルタアレイ（MSFA）またはスペクトル分解検出器アレイ（SRDA）と呼ぶこともできる。図に示した一例では、カラーフィルタユニット146は、５×５に配置された様々なカラーフィルタを含むことから、得られる画像データにおいて２５個のスペクトルチャネルが生成される。CFAは、様々なカラーフィルタを使用することによって入射光を各カラーフィルタの帯域に分割し、分割した光をイメージセンサ上の各色の感光体へと導くことができる。このようにして実際には、所定の色148に対して、２５個の感光体のうちの１個のみが、その色の波長の光を示すシグナルを検出する。したがって、このようなスナップショットイメージングシステム140を使用した場合、１回の露光で２５種のカラーチャネルが生成されうるが、各カラーチャネルの測定データ量は、イメージセンサ142の総出力よりも小さくなる。いくつかの実施形態において、CFAは、フィルタアレイ（MSFA）およびスペクトル分解検出器アレイ（SRDA）の一方または両方を含んでいてもよく、かつ／または従来のべイヤーフィルタ、CMYKフィルタもしくはその他の吸収系フィルタもしくは干渉系フィルタを含んでいてもよい。干渉系フィルタの一種として、薄膜フィルタアレイがグリッド状に配置され、各グリッドの素子が１つ以上のセンサ素子に対応しているものがある。別の種類の干渉系フィルタとして、ファブリ・ペローフィルタがある。ナノエッチングされたファブリ・ペロー干渉フィルタは、通常、半値全幅（FWHM）が約20～50nmの帯域通過特性を示すが、フィルタの通過帯域の中心波長から阻止帯域への移行部においてロールオフが小さいことから、いくつかの実施形態において使用することできるという点で有利である。さらに、このようなフィルタは、阻止帯域において低い光学濃度（OD）を示すことから、通過帯域外の光に対する感度を向上させることができる。このような複合効果を有することから、これらの特定のフィルタは、蒸着やイオンビームスパッタリングなどのコーティング蒸着法により多数の薄膜層で構成された同様のFWHMの高光学濃度干渉フィルタの高いロールオフにより阻止されてしまうスペクトル領域に対して感度を示す。色素系CMYKフィルタまたはRGB系（べイヤー）フィルタを使用する構成の実施形態では、スペクトルのロールオフが小さく、かつ個々のフィルタの通過帯域のFWHMが大きいことが好ましく、これにより、観察されるスペクトラム全体において各波長に対するスペクトル透過率を特有のものとすることができる。

【0055】

したがって、スナップショットイメージングシステムにより得られるデータキューブ120は、高精度なイメージング用途において問題となりうる以下の２つの特性の一方を有する。１つ目の問題点として、スナップショットイメージングシステムにより得られるデータキューブ120は、検出器アレイの（ｘ，ｙ）の大きさよりもN_xおよびN_yの大きさが小さくなりうることから、同じイメージセンサを有する走査型イメージングシステムにより得られる解像度と同程度までデータキューブ120の解像度が低くなる。２つ目の問題点として、スナップショットイメージングシステムにより得られるデータキューブ120では、特定の（ｘ，ｙ）位置に対する数値補間により、N_xおよびN_yの大きさが検出器アレイの（ｘ，ｙ）の大きさと同じになることがある。しかし、データキューブの生成において補間が行われた場合、データキューブの特定の数値は、センサ上の入射光の波長の実測値ではなく、周辺値に基づいた実測の推定値であることを意味する。

【0056】

露光を１回のみ行うマルチスペクトルイメージングにおいて使用される別の既存の部材として、マルチスペクトルイメージング用ビームスプリッターがある。このようなイメージングシステムにおいて、ビームスプリッターキューブは、入射光を異なる色帯域へと分割し、各帯域は独立した複数のイメージセンサにより観測される。ビームスプリッターの設計を変更して、測定するスペクトル帯域を調整することができるが、システムのパフォーマンスを損なうことなく、４つを超えるビームに入射光を分割することは容易ではない。したがって、４個のスペクトルチャネルが、このアプローチでの実用限界であると見られる。これと密接に関連した方法では、かさ高いビームスプリッターキューブ／プリズムの代わりに、薄膜フィルタを使用して光を分割するが、連続した複数のフィルタによる累積的な透過率の減衰と空間的制限により、このアプローチでも、約６個のスペクトルチャネルに制限される。

【0057】

いくつかの実施形態において、とりわけ前述の課題は、各アパーチャを通って入射する光を選択的に透過する湾曲したマルチバンドパスフィルタを備えた、本明細書で開示するマルチアパーチャスペクトルイメージングシステムと、これに関連する画像データ処理技術により対処することができる。この特定の構成によって、速いイメージング速度、高解像度画像、および検出波長の高い忠実度という設計目標のすべてを達成することができる。したがって、本明細書で開示する光学設計および関連する画像データ処理技術は、ポータブルスペクトルイメージングシステムにおいて使用することができ、かつ／または移動している対象のイメージングに使用することができるとともに、高精度用途（たとえば、臨床組織分析、生体認証、一時的な臨床徴候）に適したデータキューブを得ることができる。このような高精度用途として、転移前の悪性黒色腫の進行度（0～3）の診断、皮膚組織における熱傷の重症度の分類、または糖尿病性足部潰瘍の重症度の組織診断を挙げることができる。したがって、いくつかの実施形態で説明するスナップショットスペクトルの取得とスモールフォームファクタによって、様々な種類の網膜症（たとえば、非増殖性糖尿病性網膜症、増殖性糖尿病性網膜症および加齢黄斑変性）の診断、ならびに動きが多い小児患者のイメージングを含む、一時的事象を扱う臨床環境において本発明を使用することができる。したがって、本明細書で開示する平坦または湾曲したマルチバンドパスフィルタを備えたマルチアパーチャシステムの使用は、従来のスペクトルイメージングの実装と比べて大幅な技術的進歩となることを当業者であれば十分に理解できるであろう。より具体的には、本発明のマルチアパーチャシステムは、各アパーチャ間における算出された遠近差に基づいて、物体の弯曲、深さ、体積および／または面積の3D空間画像またはこれらに関する3D空間画像の収集を可能にするものであってもよい。しかし、本明細書で開示するマルチアパーチャを用いた方法は、特定のフィルタには限定されず、干渉フィルタリングまたは吸収フィルタリングに基づいた平坦なフィルタおよび／または薄型フィルタを含んでいてもよい。本明細書で開示する本発明は、適切なレンズまたはアパーチャに対する入射角が小さいか、許容域である場合に、イメージングシステムの像空間に平坦なフィルタを備えるように変更することができる。結像レンズの入射瞳および／もしくは射出瞳またはアパーチャ絞りにフィルタを配置してもよく、光工学分野の当業者であれば、このような構成を容易に採用できるであろう。

【0058】

特定の例および実施形態に関連して、本開示の様々な態様について以下で述べる。これらの例および実施形態は説明を目的としたものであり、本開示を限定するものではない。本明細書で述べる例および実施形態は、説明を目的として、特定の計算およびアルゴリズムに焦点を当てているが、当業者であれば、これらの例が説明のみを目的としたものであり、本発明を限定するものではないことを十分に理解できるであろう。たとえば、マルチスペクトルイメージングに関していくつかの例を挙げているが、本明細書で開示するマルチアパーチャイメージングシステムおよびこれに関連するフィルタは、その他の実装においてハイパースペクトルイメージングを実施できるように構成することができる。さらに、特定の例は、携帯型用途および／または移動している対象物体に対する用途において利点を達成するものとして提示されているが、本明細書で開示するイメージングシステムの設計およびこれに関連する処理技術により、固定されたイメージングシステムおよび／または比較的静止した状態の対象の分析に適した高精度なデータキューブを得ることができることは十分に理解できるであろう。

【0059】

電磁スペクトル範囲およびイメージセンサの概要
本明細書において、電磁スペクトルの特定の色または特定の部分に言及し、以下、ISO21348「放射照度スペクトルの種類の定義」による定義に従って、これらの波長を説明する。以下で詳述するように、特定のイメージング用途において、特定の色の波長領域を一括して特定のフィルタに通過させることができる。

【0060】

760nm～380nmまたは約760nm～約380nmの波長の範囲の電磁放射線は、通常、「可視」スペクトラム、すなわち、ヒトの眼の色受容体により認識可能なスペクトラム部分であると考えられている。可視スペクトルにおいて、赤色光は、通常、700nmもしくは約700nmの波長を有するか、または760nm～610nmもしくは約760nm～約610nmの範囲にあると考えられている。橙色光は、通常、600nmもしくは約600nmの波長を有するか、または610nm～591nmもしくは約610nm～約591nmの範囲にあると考えられている。黄色光は、通常、580nmもしくは約580nmの波長を有するか、または591nm～570nmもしくは約591nm～約570nmの範囲にあると考えられている。緑色光は、通常、550nmもしくは約550nmの波長を有するか、または570nm～500nmもしくは約570nm～約500nmの範囲にあると考えられている。青色光は、通常、475nmもしくは約475nmの波長を有するか、または500nm～450nmもしくは約500nm～約450nmの範囲にあると考えられている。紫色（赤紫色）光は、通常、400nmもしくは約400nmの波長を有するか、または450nm～360nmもしくは約450nm～約360nmの範囲にあると考えられている。

【0061】

可視スペクトル外の範囲に目を向けると、赤外線（IR）は、可視光よりも長い波長を有する電磁放射線を指し、通常、ヒトの眼には見えない。IRは、約760nmまたは760nmにある赤色の可視スペクトルの公称下限値から約1mmまたは1mmに及ぶ波長を有する。この範囲内において、近赤外線（NIR）は、赤色の範囲に隣接しているスペクトラムの一部を指し、約760nm～約1400nmまたは760nm～1400nmの波長範囲である。

【0062】

紫外線（UV）光は、可視光よりも短い波長の電磁放射線の一部を指し、通常、ヒトの眼には見えない。UVは、約40nmまたは40nmにある紫色の可視スペクトルの公称値下限値から約400mmに及ぶ波長を有する。この範囲内において、近紫外線（NUV）は、紫色の範囲に隣接しているスペクトラムの一部を指し、約400nm～約300nmまたは400nm～300nmの波長範囲であり、中間紫外線（MUV）は、約300nm～約200nmまたは300nm～200nmの波長範囲であり、遠紫外線（FUV）は、約200nm～約122nmまたは200nm～122nmの波長範囲である。

【0063】

本明細書に記載のイメージセンサは、特定の用途に適した特定の波長領域に応じて、上述の領域のうち、どの電磁放射線であっても検出できるように構成することができる。通常のシリコン電荷結合素子（CCD）または相補型金属酸化膜半導体（CMOS）センサのスペクトル感度は、可視スペクトルの全体に及ぶが、近赤外線（IR）スペクトラムの大半およびUVスペクトラムの一部にも及ぶ。いくつかの実装では、裏面入射型または表面入射型のCCDアレイまたはCMOSアレイを付加的または代替的に使用することができる。高いSN比および科学グレードの測定が必要とされる用途では、いくつかの実装において、科学用途の相補型金属酸化膜半導体（sCMOS）カメラまたは電子増幅CCDカメラ（EMCCD）を付加的または代替的に使用することができる。別の実装では、目的とする用途に応じて、特定の色の範囲（たとえば、短波長赤外線（SWIR）、中波長赤外線（MWIR）、または長波長赤外線（LWIR））において動作することが知られているセンサと、これに対応する光学フィルタアレイを付加的または代替的に使用することができる。これらのセンサおよび光学フィルタアレイは、インジウム・ガリウム・ヒ素（InGaAs）やインジウム・アンチモン（InSb）などの検出器の材質に応じたカメラ、またはマイクロボロメータアレイに応じたカメラを付加的または代替的に備えていてもよい。

【0064】

本明細書で開示するマルチスペクトルイメージング技術において使用されるイメージセンサは、カラーフィルタアレイ（CFA）などの光学フィルタアレイに併用して使用してもよい。いくつかの種類のCFAは、入射光を赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の可視領域に分割し、分割した可視光をイメージセンサ上のそれぞれ専用の赤色、緑色または青色のフォトダイオード感光体に導くことができる。CFAの一般的な例として、ベイヤーパターンがあり、これは、光検出器の長方形のグリッド上にRGBカラーフィルタを特定のパターンで配置したカラーフィルタアレイである。ベイヤーパターンは、緑色50％、赤色25％および青色25％で構成されており、赤色のカラーフィルタと緑色のカラーフィルタが繰り返された列と、青色のカラーフィルタと緑色のカラーフィルタが繰り返された列とが交互に並んでいる。また、いくつかの種類のCFA（たとえばRGB-NIRセンサ用のCFA）も、NIR光を分割し、分割したNIR光をイメージセンサ上のそれぞれ専用のフォトダイオード感光体に導くことができる。

【0065】

したがって、CFAのフィルタ部品の波長領域により、撮影された画像において各画像チャネルが示す波長領域が決まることがある。したがって、様々な実施形態において、画像の赤色のチャネルは、カラーフィルタの赤色の波長領域に対応してもよく、黄色光および橙色光の一部を含むことができ、約570nm～約760nmまたは570nm～760nmの範囲である。様々な実施形態において、画像の緑色のチャネルは、カラーフィルタの緑色の波長領域に対応してもよく、黄色光の一部を含むことができ、約570nm～約480nmまたは570nm～480nmの範囲である。様々な実施形態において、画像の青色のチャネルは、カラーフィルタの青色の波長領域に対応してもよく、紫色光の一部を含むことができ、約490nm～約400nmまたは490nm～400nmの範囲である。当業者であれば、CFAの色（たとえば、赤色、緑色および青色）を定義する正確な開始波長と終了波長（または電磁スペクトルの一部）が、CFAの実装に応じて様々に異なることがあることを十分に理解できるであろう。

【0066】

さらに、通常の可視光用CFAは、可視スペクトル外の光を透過する。したがって、多くのイメージセンサでは、赤外線波長を阻止するが、可視光を通過させる薄膜赤外線反射フィルタをセンサの前面に配置することによって赤外線に対する感度を制限している。しかし、本明細書で開示するイメージングシステムのいくつかでは、薄膜赤外線反射フィルタを省略して、赤外線光を通過させてもよい。したがって、赤色のチャネル、緑色のチャネルおよび／または青色のチャネルを使用して、赤外線の波長帯域を収集してもよい。いくつかの実装において、青色のチャネルを使用して、特定のNUV波長帯域を収集してもよい。スタックしたスペクトル画像の各波長において、赤色のチャネル、緑色のチャネルおよび青色のチャネルは、各チャネルが特有の透過効率を有することに関連して異なるスペクトル応答を示すことから、公知の透過プロファイルを使用して、アンミキシングを行う前の各スペクトル帯域に、特有の重み付け応答を提供してもよい。たとえば、この重み付け応答には、赤外線波長領域および紫外線波長領域における赤色のチャネル、青色のチャネルおよび緑色のチャネルの公知の透過応答が含まれていてもよく、これによって、これらの波長領域からの帯域の収集に各チャネルを使用することが可能となる。

【0067】

以下でさらに詳述するように、イメージセンサに向かう光路に沿って、追加のカラーフィルタをCFAの前に配置することにより、イメージセンサ上に入射する光の特定の帯域を選択的に抽出することができる。本明細書で開示するカラーフィルタは、（薄膜の）ダイクロイックフィルタおよび／もしくは吸収フィルタの組み合わせ、または単独のダイクロイックフィルタ、および／もしくは単独の吸収フィルタである。本明細書で開示するカラーフィルタの一部は、（通過帯域の）特定の領域内の周波数を通すが、（阻止領域において）その領域外の周波数を遮断（減衰）するバンドパスフィルタであってもよい。本明細書で開示するカラーフィルタの一部は、不連続な複数の波長領域を通すマルチバンドパスフィルタであってもよい。これらの「周波数帯」は、CFAフィルタの広い色範囲と比べて、通過帯域が狭く、阻止領域における減衰量が大きく、かつスペクトルのロールオフが急峻であってもよい。なお、ロールオフは、フィルタの通過帯域から阻止領域への移行部におけるスペクトル応答の急峻さとして定義される。たとえば、本明細書で開示するカラーフィルタは、約20nm～約40nmまたは20nm～40nmの通過帯域をカバーすることができる。カラーフィルタのこのような特定の構成によって、実際にセンサに入射する波長帯域が決まることがあり、これによって、本明細書で開示するイメージング技術の精度が向上する場合がある。本明細書に記載のカラーフィルタは、特定の用途に適した特定の波長帯域に応じて、上述の領域のうち、電磁放射線の特定の帯域を選択的に阻止または通過させるように構成することができる。

【0068】

本明細書において、「画素」という用語は、二次元検出器アレイの素子により生成された出力を説明する場合に使用される。これに対して、二次元検出器アレイのフォトダイオード、すなわち、１つの感光素子は、光電効果を介して光子を電子に変換し、次いでこの電子を画素値の決定に使用可能なシグナルに変換することができるトランスデューサとして挙動する。データキューブの１つの要素は、「ボクセル」（たとえば、体積のある要素）と呼ぶことができる。「スペクトルのベクトル」は、データキューブの特定の（ｘ，ｙ）位置におけるスペクトルデータ（たとえば、物体空間の特定の点から受光した光のスペクトラム）を示すベクトルを指す。本明細書において、データキューブの１つの水平面（たとえば、１つのスペクトル次元を表す画像）は、「画像チャネル」と呼ばれる。本明細書に記載の特定の実施形態では、スペクトルのビデオ情報を撮影してもよく、得られるデータ次元は、N_xN_yN_λN_tで示される「ハイパーキューブ」の形態であると想定することができる（ここで、N_tは、ビデオシーケンス中に撮影されたフレームの数である）。

【0069】

湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステムの一例の概要
図３Ａは、本開示による、湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステム200の一例の概略図を示す。ここに示した概略図は、第１のイメージセンサ領域225A（フォトダイオードPD1～PD3）および第２のイメージセンサ領域225B（フォトダイオードPD4～PD6）を含む。フォトダイオードPD1～PD6は、たとえば、半導体基板（たとえばCMOSイメージセンサ）に形成されたフォトダイオードであってもよい。通常、各フォトダイオードPD1～PD6は、何らかの材質、半導体、センサ素子または入射光を電流に変換できるその他の装置からなる単一ユニットであってもよい。この図では、マルチアパーチャイメージングシステムの構造およびその作動を説明することを目的として、マルチアパーチャイメージングシステム全体のごく一部のみを示しており、実装では、イメージセンサ領域は、何百個または何千個ものフォトダイオード（およびこれに対応するカラーフィルタ）を備えることができることは十分に理解できるであろう。第１のイメージセンサ領域225Aと第２のイメージセンサ領域225Bは、実装に応じて、別々のセンサとして実装してもよく、同じイメージセンサ上の別々の領域として実装してもよい。図３Ａでは、２個のアパーチャとこれに対応する光路およびセンサ領域が示されているが、図３Ａに示した光学設計原理は、実装に応じて、３個以上のアパーチャとこれに対応する光路およびセンサ領域を含む設計に拡大することができることは十分に理解できるであろう。

【0070】

マルチアパーチャイメージングシステム200は、第１のセンサ領域225Aに向かう第１の光路を提供する第１の開口部210A、および第２のセンサ領域225Bに向かう第１の光路を提供する第２の開口部210Bを含む。これらのアパーチャは、画像に反映される光の明るさを増加さたり減少させたりするために調整可能であってもよく、あるいは、これらのアパーチャを調整することによって、特定の画像の露光時間を変更し、イメージセンサ領域に入射する光の明るさが変化しないようにしてもよい。これらのアパーチャは、光学設計分野の当業者が妥当であると判断可能であれば、このマルチアパーチャシステムの光軸に沿ったどの位置に配置してもよい。第１の光路に沿って配置した光学部品の光軸を破線230Aで示し、第２の光路に沿って配置した光学部品の光軸を破線230Bで示すが、これらの破線が、マルチアパーチャイメージングシステム200の物理構造を示すわけではないことは十分に理解できるであろう。光軸230Aと光軸230Bは距離Ｄにより隔てられており、この距離Ｄは、第１のセンサ領域225Aにより撮影される画像と第２のセンサ領域225Bにより撮影される画像の間の視差となりうる。「視差」は、立体写真画像の左側と右側（または上側と下側）において対応する２つの点の間の距離を指し、物体空間の同じ物理点が各画像の異なる位置に現われる。この視差を補正し、かつ利用した処理技術を以下でさらに詳細に述べる。

【0071】

光軸230Aおよび光軸230Bは、それぞれに対応するアパーチャの中心Ｃを通過する。その他の光学部品も、これらの光軸を中心として配置することができる（たとえば、光学部品の回転対称点をこの光軸に沿って配置することができる）。たとえば、第１の光軸230Aを中心として、第１の湾曲マルチバンドパスフィルタ205Aおよび第１の結像レンズ215Aを配置することができ、第２の光軸230Bを中心として、第２の湾曲マルチバンドパスフィルタ205Bおよび第２の結像レンズ215Bを配置することができる。

【0072】

本明細書において、光学素子の配置に関して述べる際に使用される「上」および「上方」という用語は、物体空間からイメージングシステム200に入った光が、別の構造に到達する（または入射する）前に通り抜ける特定の構造（たとえばカラーフィルタまたはレンズ）の位置を指す。これを説明すると、第１の光路に沿って、湾曲マルチバンドパスフィルタ205Aが、アパーチャ210Aの上方に位置し、アパーチャ210Aが、結像レンズ215Aの上方に位置し、結像レンズ215Aが、CFA 220Aの上方に位置し、CFA 220Aが、第１のイメージセンサ領域225Aの上方に位置する。したがって、まず、物体空間（たとえば、画像化の対象となる物理的空間）から入った光が、第１の湾曲マルチバンドパスフィルタ205Aを通過し、次にアパーチャ210Aを通過し、次に結像レンズ215Aを通過し、次にCFA 220Aを通過し、最後に、第１のイメージセンサ領域225Aに入射する。第２の光路（たとえば、湾曲マルチバンドパスフィルタ205B、アパーチャ210B、結像レンズ215B、CFA 220B、第２のイメージセンサ領域225Bを含む光路）も同様の配置となる。別の実装では、アパーチャ210A，210Bおよび／または結像レンズ215A，215Bを、湾曲マルチバンドパスフィルタ205A，205Bの上方に配置することができる。さらに、別の実装では、物理的なアパーチャを使用しなくてもよく、光学部品のクリアアパーチャに依存して、センサ領域225A上およびセンサ領域225B上に結像される光の明るさを制御してもよい。したがって、レンズ215A，215Bは、アパーチャ210A，210Bと湾曲マルチバンドパスフィルタ205A，205Bの上方に配置してもよい。この実装では、光学設計分野の当業者が必要であると判断可能であれば、アパーチャ210A，210Bをレンズ215A，215Bの上方に配置してもよく、あるいはアパーチャ210A，210Bをレンズ215A，215Bの下方に配置してもよい。

【0073】

第１のセンサ領域225Aの上方に配置した第１のCFA 220Aと、第２のセンサ領域225Bの上方に配置した第２のCFA 220Bは、特定の波長を選択的に通過させるフィルタとして機能することができ、入射してきた可視領域の光を、赤色領域、緑色領域および青色領域（それぞれＲ、ＧおよびＢの記号で示す）に分割することができる。選択された特定の波長のみを、第１のCFA 220Aおよび第２のCFA 220Bの各カラーフィルタに通過させることによって、光が「分割」される。分割された光は、イメージセンサ上のそれぞれ専用の赤色ダイオード、緑色ダイオードまたは青色ダイオードにより受光される。赤色フィルタ、青色フィルタおよび緑色フィルタが一般に使用されているが、別の実施形態では、撮影された画像データに必要とされるカラーチャネルに応じて様々なカラーフィルタを使用することができ、たとえば、RGB-IR CFAと同様に、紫外線、赤外線または近赤外線を選択的に通過させるフィルタを使用することができる。

【0074】

図に示すように、単一のフォトダイオードPD1～PD6の上方にCFAの各フィルタが配置されている。図３Ａでは、マイクロレンズ（MLで示す）の一例も示されており、これらのマイクロレンズは、各カラーフィルタ上に形成するか、それ以外の方法で各カラーフィルタ上に配置することができ、アクティブ検出器の領域上に入射光を集光することができる。別の実装では、単一のフィルタの下方に複数個のフォトダイオードを有していてもよい（たとえば、２個、４個またはそれ以上の個数の互いに隣接したフォトダイオードの集合体であってもよい）。図に示した一例において、フォトダイオードPD1とフォトダイオードPD4は、赤色フィルタの下方に位置することから、赤色のチャネルの画素情報を出力し、フォトダイオードPD2とフォトダイオードPD5は、緑色フィルタの下方に位置することから、緑色のチャネルの画素情報を出力し、フォトダイオードPD3とフォトダイオードPD6は、青色フィルタの下方に位置することから、青色のチャネルの画素情報を出力する。さらに、以下で詳述するように、所定のフォトダイオードによる特定の色のチャネル出力は、アクティブな光源および／またはマルチバンドパスフィルタ205A，205Bを通過した特定の周波数帯に基づいて、さらに狭い周波数帯とすることができ、これによって、所定のフォトダイオードから、様々な露光により様々な画像チャネル情報を出力できるようになる。

【0075】

結像レンズ215A，215Bは、センサ領域225A，225B上で物体シーンの画像の焦点が合うように成形することができる。各結像レンズ215A，215Bは、図３Ａに示すような単一の凸面レンズに限定されず、画像形成に必要とされる数の光学素子および表面で構成されていてもよく、市販または特注設計による様々な種類の結像レンズまたはレンズアセンブリを使用することができる。各光学素子またはレンズアセンブリは、止め輪またはベゼルを備えた光学機械式鏡筒を使用して、直列に収容または積み重なるように形成または互いに結合されていてもよい。いくつかの実施形態において、光学素子またはレンズアセンブリは、１つ以上の結合レンズ群を含んでいてもよく、結合レンズ群として、２つ以上の光学部品が接合されたものや、それ以外の方法で２つ以上の光学部品が結合されたものを挙げることができる。様々な実施形態において、本明細書に記載のマルチバンドパスフィルタは、マルチスペクトル画像システムのレンズアセンブリの前面に配置してもよく、マルチスペクトル画像システムの単レンズの前面に配置してもよく、マルチスペクトル画像システムのレンズアセンブリの後ろに配置してもよく、マルチスペクトル画像システムの単レンズの後ろに配置してもよく、マルチスペクトル画像システムのレンズアセンブリの内部に配置してもよく、マルチスペクトル画像システムの結合レンズ群の内部に配置してもよく、マルチスペクトル画像システムの単レンズの表面上に直接配置してもよく、マルチスペクトル画像システムのレンズアセンブリの素子の表面上に直接配置してもよい。さらに、アパーチャ210Aおよびアパーチャ210Bを取り除き、デジタル一眼レフ（DSLR）カメラまたはミラーレスカメラによる写真撮影で通常使用される種類のレンズをレンズ215A，215Bに使用してもよい。さらに、レンズ215A，215Bは、ＣマウントスレッドまたはＳマウントスレッドを装着に使用したマシンビジョンに使用される種類のレンズであってもよい。ピント調整は、たとえば、手動フォーカス、コントラスト方式オートフォーカスまたはその他の適切なオートフォーカス技術に基づいて、センサ領域225A，225Bに対して結像レンズ215A，215Bを移動させることによって、あるいは結像レンズ215A，215Bに対してセンサ領域225A，225Bを移動させることによって行うことができる。

【0076】

各マルチバンドパスフィルタ205A，205Bは、狭い周波数帯の複数の光を選択的に通過するように構成することができ、たとえば、いくつかの実施形態では10～50nmの周波数帯の複数の光（別の実施形態では、これよりも広い周波数帯または狭い周波数帯の複数の光）を選択的に通過するように構成することができる。図３Ａに示すように、マルチバンドパスフィルタ205A，205Bはいずれも周波数帯λc（「共通周波数帯」）を通過させることができる。３つ以上の光路を備えた実装では、各マルチバンドパスフィルタは、この共通周波数帯を通過させることができる。このような方法によって、各センサ領域は、同じ周波数帯（「共通チャネル」）の画像情報を撮影する。以下でさらに詳細に述べるように、この共通チャネルで得られたこの画像情報を使用して、各センサ領域により撮影された一組の画像の位置合わせを行うことができる。いくつかの実装では、１つの共通周波数帯と、これに対応する共通チャネルを有していてもよく、あるいは、複数の共通周波数帯と、これらに対応する共通チャネルを有していてもよい。

【0077】

各マルチバンドパスフィルタ205A，205Bは、共通周波数帯λcに加えて、１つ以上の特有周波数帯を選択的に通過させるように構成することができる。このような方法によって、イメージングシステム200は、センサ領域205A，205Bにより一括して撮影される異なるスペクトルチャネルの数を、単一のセンサ領域により撮影可能なスペクトルチャネル数よりも多くすることができる。この態様は、特有周波数帯λ_u1を通過させるマルチバンドパスフィルタ205Aと、特有周波数帯λ_u2を通過させるマルチバンドパスフィルタ205Bとして、図３Ａに示されており、ここでλ_u1およびλ_u2は、互いに異なる周波数帯を示す。この図では、２個の周波数帯の通過として示したが、本開示のマルチバンドパスフィルタは、それぞれ２個以上の周波数帯を一度に通過させることができる。たとえば、図１１Ａおよび図１１Ｂに関連して後述するように、いくつかの実装では、各マルチバンドパスフィルタは、４個の周波数帯を通過させることができる。様々な実施形態において、これよりも多くの周波数帯を通過させてもよい。たとえば、４台のカメラを使用した実装では、８個の周波数帯を通過させるように構成されたマルチバンドパスフィルタを備えていてもよい。いくつかの実施形態において、周波数帯の数は、たとえば、４個、５個、６個、７個、８個、９個、１０個、１２個、１５個、１６個またはそれ以上であってもよい。

【0078】

マルチバンドパスフィルタ205A，205Bは、それぞれに対応するセンサ領域225A，225Bにおける入射角度依存性のスペクトル透過が低下するように選択された弯曲を有する。この結果、物体空間から狭帯域の照明を受光する場合、その波長に感度を有するセンサ領域225A，225Bの表面全体に配置された各フォトダイオード（たとえば、センサ領域を覆い、その波長を通過させるカラーフィルタ）は、図１Ａに関連して前述したような、センサの端部近傍に配置されたフォトダイオードにおいて見られる波長のシフトは発生させず、実質的に同じ波長の光を受光すると考えられる。このような構成により、平坦なフィルタを使用した場合よりも正確なスペクトル画像データを生成することができる。

【0079】

図３Ｂは、図３Ａに示したマルチアパーチャイメージングシステムの１つの光路を構成する光学部品の光学設計の一例を示す。より具体的には、図３Ｂは、マルチバンドパスフィルタ205A，205Bとして使用することができる特注の色消しダブレット240を示す。この特注の色消しダブレット240は、ハウジング250を通して光を通過させ、イメージセンサ225へと送る。ハウジング250は、前述したような、開口部210A，210Bおよび結像レンズ215A，215Bを備えていてもよい。

【0080】

色消しダブレット240は、マルチバンドパスフィルタコーティング205A，205Bに必要とされる表面を組み込んで導入されることから、光学収差を補正するように構成される。図に示した色消しダブレット240は、分散度と屈折率が異なるガラスまたはその他の光学材料から作製することが可能な２枚のレンズを含む。別の実装では、３枚以上のレンズを使用してもよい。これらの色消しダブレットレンズの設計は、湾曲した前面242上にマルチバンドパスフィルタコーティング205A，205Bが組み込まれ、フィルタコーティング205A，205Bを蒸着した湾曲単レンズの光学面を組み込むことにより光学収差を打ち消し、色消しダブレット240の湾曲した前面242と湾曲した裏面244の組み合わせ効果により屈折力または集光力を制限し、ハウジング250に収容されたこれらのレンズのみで、集光のための主要な素子を構成することができる。したがって、色消しダブレット240は、イメージングシステム200により撮影された画像データの精度の向上に寄与することができる。これらの個々のレンズは互いに隣接して装着することができ、たとえば、個々のレンズを結合または接合することにより、一方のレンズの収差が他方のレンズの収差によって相殺されるように成形することができる。色消しダブレット240の湾曲した前面242または湾曲した後面244は、マルチバンドパスフィルタコーティング205A，205Bでコーティングすることができる。別のダブレット設計を本明細書に記載のシステムに実装してもよい。

【0081】

本明細書に記載の光学設計のさらなる変形例を実装してもよい。たとえば、いくつかの実施形態において、図３Ｂに示すダブレット240の代わりに、図３Ａに示す凸レンズ（正レンズ）または凹レンズ（負レンズ）のような、単レンズまたはその他の光学単レンズが光路に含まれていてもよい。図３Ｃは、平坦なフィルタ252をレンズのハウジング250とセンサ225の間に配置した実装の一例を示す。複数帯域透過特性を備えた平坦なフィルタ252を組み込んで導入した図３Ｃの色消しダブレット240は、ハウジング250に収容された各レンズの屈折力に顕著に寄与することなく、光学収差を補正する。図３Ｄは、ハウジング250内に収容されたレンズアセンブリの前面にマルチバンドパスコーティング254を施すことにより、マルチバンドパスコーティングが実装された実装の別の一例を示す。このように、このマルチバンドパスコーティング254は、ハウジング250内に収容されたどの光学素子のどの曲面に施してもよい。

【0082】

図４Ａ～４Ｅは、図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム300の一実施形態を示す。図４Ａは、より具体的には、内部の部品を見せるために半透明で示したハウジング305を備えるイメージングシステム300の透視図を示す。実際のハウジング305は、たとえば、所望とする組み込み用コンピュータリソースの大きさに応じて、図に示したハウジング305よりも大きくてもよく、小さくてもよい。図４Ｂは、イメージングシステム300の正面図を示す。図４Ｃは、図４ＢのＣ－Ｃ線に沿って切断した、イメージングシステム300の破断側面図を示す。図４Ｄは、処理基板335を示した、イメージングシステム300の底面図を示す。以下、図４Ａ～４Ｄについて述べる。

【0083】

イメージングシステム300のハウジング305は、別のハウジングに収容されていてもよい。たとえば、携帯型の実装では、イメージングシステム300を安定に保持できるように成形された１本以上のハンドルを備えていてもよいハウジングの内部に該イメージングシステムが収容されていてもよい。携帯型の実装の一例は、図１８Ａ～１８Ｃおよび図１９Ａ～１９Ｂにより詳細に示している。ハウジング305の上面には、４つの開口部320A～320Dを備えている。各開口部320A～320Dの上方に互いに異なるマルチバンドパスフィルタ325A～325Dが配置されており、フィルタキャップ330A～330Bにより適所に収容されている。マルチバンドパスフィルタ325A～325Dは湾曲していてもよく、本明細書で述べるように、各マルチバンドパスフィルタは、共通周波数帯と少なくとも１つの特有周波数帯を通過させることによって、カラーフィルタアレイで覆われたイメージセンサで通常撮影されるスペクトルチャネルよりも多くのスペクトルチャネルにおいて高精度マルチスペクトルイメージングを実施することができる。前述したイメージセンサ、結像レンズおよびカラーフィルタは、カメラハウジング345A～345Dの内部に配置される。いくつかの実施形態において、たとえば、図２０Ａ～２０Ｂに示すように、前述したイメージセンサ、結像レンズおよびカラーフィルタは、単一のカメラハウジングに収容されていてもよい。このように、図に示した実装では、別々の複数のセンサを使用する（たとえば、カメラハウジング345A～345Dのそれぞれの内部に１個のセンサを収容する）が、別の実装では、開口部320A～320Dを介して露出した領域全体に配置された単一のイメージセンサを使用できることも十分に理解できるであろう。この実施形態では、支持材340を使用して、カメラハウジング345A～345Dが、前記イメージングシステムのハウジング305に固定されているが、様々な実装において、その他の適切な手段を使用して固定することもできる。

【0084】

ハウジング305の上面は、任意で設けられる照明基板310を支持しており、この照明基板310は光学拡散素子315で覆われている。照明基板310は、以下の図４Ｅに関連してより詳細に説明する。拡散素子315は、ガラス、プラスチックまたはその他の光学材料で構成することができ、照明基板310から発せられた光を拡散させて、物体空間が空間的に実質的に均一な照明を受けられるようにする。対象物体に均一な照明を当てると、各波長において、物体の表面全体に実質的に均一な量の照明を当てることができるため、たとえば画像撮影による組織の臨床分析などの特定のイメージング用途において有益な場合がある。いくつかの実施形態において、本明細書で開示するイメージングシステムは、任意で設けられる照明基板からの光の代わりに、またはこの照明基板からの光に加えて、環境光を利用してもよい。

【0085】

使用中の照明基板310は熱を生じることから、イメージングシステム300は、放熱フィン355を多数備えたヒートシンク350を備える。放熱フィン355は、各カメラハウジング345A～345Dの間の空間内へと延伸することができ、ヒートシンク350の上部は、照明基板310からフィン355へと熱を逃がすことができる。ヒートシンク350は、適切な熱伝導性材料から作製することができる。ヒートシンク350は、その他の部品からの熱の放散を補助してもよく、これによって、イメージングシステムの実装のいくつかでは、ファンを設けなくてもよい。

【0086】

ハウジング305内の多数の支持材365によって、カメラ345A～345Dと通信を行う処理基板335が固定されている。処理基板335は、イメージングシステム300の作動を制御することができる。図には示していないが、イメージングシステム300は、たとえば該イメージングシステムを使用して作成されたデータの格納用メモリなどの、１つ以上のメモリ、および／またはコンピュータが実行可能な命令を出すシステム制御用モジュールを備えるように構成することもできる。処理基板335は、システム設計の目的に応じて様々に構成することができる。たとえば、（たとえば、コンピュータが実行可能な命令を出すモジュールにより）、照明基板310の特定のLEDの起動を制御するように処理基板を構成することができる。いくつかの実装では、高度に安定な同期整流降圧型LEDドライバを使用することができ、このドライバによって、ソフトウェアによるLEDのアナログ電流制御と、LEDの故障の検出が可能となる。いくつかの実装では、（たとえば、コンピュータが実行可能な命令を出すモジュールにより）、処理基板335または別の処理基板に画像データ分析機能をさらに提供することができる。図には示していないが、イメージングシステム300は、処理基板335がセンサからデータを受信し、そのデータを処理できるように、センサと処理基板335の間にデータインターコネクトを備えていてもよく、処理基板が照明基板310の特定のLEDを起動させることができるように、照明基板310と処理基板335の間にデータインターコネクトを備えていてもよい。

【0087】

図４Ｅは、イメージングシステム300に設けられていてもよい照明基板310の一例を示し、他の部品から照明基板310を分離して示している。照明基板310は、中央部から延びた４つのアームを備え、各アームに沿ってLEDが３列に配置されている。隣り合う列のLED間のスペースは、隣り合うLED同士が離れるように、横方向の中心が互いにずれるように配置されている。各LED列は、様々な色のLEDを有する行を多数含む。中央部の各角部に１個の緑色LEDが配置されるように、計４個の緑色LED 371が中央部に配置されている。最も内側の行（たとえば、中心部に最も近い行）から説明すると、深紅色LED 372を２個含む行が各列に含まれている（合計８個の深紅色LED）。径方向外側に説明を続けると、各アームは、中心の列に、１個の琥珀色LED 374を含む行を有し、両側の列に、２個の短く点滅する青色LED 376を含む行を有し（合計８個の短く点滅する青色LEDを有し）、中心の列に、１個の琥珀色LED 374を含む行をもう１つ有し（合計８個の琥珀色LEDを有し）、両側の列に、１個の非PPG用NIR LED 373と１個の赤色LED 375を有する行を有し（合計４個の非PPG用NIR LEDと合計４個の赤色LEDを有し）、中心の列に、１個のPPG用NIR LED 377を有する（合計４個のPPG用NIR LEDを有する）。「PPG用」LEDとは、生体組織の拍動血流を表す光電容積脈波（PPG）情報を撮影するための連続した多数回の露光において起動されるLEDを指す。別の実施形態では、様々なその他の色および／または配置のLEDを照明基板において使用してもよいことを理解できるであろう。

【0088】

図５は、図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム300の別の一実施形態を示す。イメージングシステム300の設計と同様に、イメージングシステム400は、４つの光路を含み、この図では、止め輪430A～430Dでハウジング405に固定されたマルチバンドパスフィルタレンズ群425A～425Dを有する開口部420A～420Dとして示している。イメージングシステム400は、対象物体上への空間的に均一な光の照射を補助するため、止め輪430A～430Dの間の、ハウジング405の正面部に固定された照明基板410と、照明基板410上に配置された拡散板415とをさらに含む。

【0089】

イメージングシステム400の照明基板410は、十字形の４つの腕にLEDが配置されており、各腕には密集したLEDが２列に配置されている。このようにすれば、前述の照明基板310よりも照明基板410がコンパクトになり、より小さいフォームファクタ要件を有するイメージングシステムとの使用に適する場合がある。この一例としての構成において、各腕は、最外列に１個の緑色LEDと１個の青色LEDを有し、内側に向かって、黄色LEDを２行含み、橙色LEDを１行含み、１個の赤色LEDと１個の深紅色LEDを１行に含み、１個の琥珀色LEDと１個のNIR LEDを１行に含む。したがって、この実装では、より長い波長の光を発するLEDが照明基板410の中心部に位置し、より短い波長の光を発するLEDが照明基板410の端部に位置するように、各LEDが配置される。

【0090】

図６Ａ～６Ｃは、図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム500の別の一実施形態を示す。より具体的には、図６Ａは、イメージングシステム500の透視図を示し、図６Ｂは、イメージングシステム500の正面図を示し、図６Ｃは、図６ＢのＣ－Ｃ線に沿って切断した、イメージングシステム500の破断側面図を示す。イメージングシステム500は、イメージングシステム300に関連して前述したものと同様の部品（たとえば、ハウジング505、照明基板510、拡散板515、止め輪530A～530Dにより開口部の上方に固定されたマルチバンドパスフィルタ525A～525Dなど）を含むが、短いフォームファクタとなっている（たとえば、一実施形態において、組み込み用コンピュータ部品の数が少なくなっているか、かつ／または組み込み用コンピュータ部品の寸法が小さくなっている）。イメージングシステム500は、カメラアライメントの位置を強固かつ堅牢に固定するための直接カメラ－フレームマウント540をさらに含む。

【0091】

図７Ａ～７Ｂは、マルチスペクトル・マルチアパーチャイメージングシステム600の別の一実施形態を示す。図７Ａ～７Ｂは、マルチアパーチャイメージングシステム600の周辺光源610A～610Cの別の可能な配置を示す。図に示すように、図３Ａ～３Ｄに関連して説明した光学設計を備えたマルチバンドパスフィルタ625A～625Dを備えた４つのレンズアセンブリは、長方形または正方形に配置して、（イメージセンサを含む）４台のカメラ630A～630Dに受光させることができる。３つの長方形発光素子610A～610Cは、マルチバンドパスフィルタ625A～625Dを備えた各レンズアセンブリの外部かつ該レンズアセンブリ間に、互いに平行になるように配置することができる。これらの長方形発光素子は、広域スペクトルの発光パネルであってもよく、それぞれ異なる周波数帯の光を発するLEDが配置されたものであってもよい。

【0092】

図８Ａ～８Ｂは、マルチスペクトル・マルチアパーチャイメージングシステム700の別の一実施形態を示す。図８Ａ～８Ｂは、マルチアパーチャイメージングシステム700の周辺光源710A～710Dの別の可能な配置を示す。図に示すように、図３Ａ～３Ｄに関連して説明した光学設計を採用したマルチバンドパスフィルタ725A～725Dを備えた４つのレンズアセンブリは、長方形または正方形に配置して、（イメージセンサを含む）４台のカメラ730A～730Dに受光させることができる。４台のカメラ730A～730Dは、互いにより接近した構成の一例として示されており、これによって、レンズ間の遠近差を最小限に抑えてもよい。４つの長方形発光素子710A～710Dは、マルチバンドパスフィルタ725A～725Dを備えたレンズアセンブリを取り囲んだ正方形に配置することができる。これらの長方形発光素子は、広域スペクトルの発光パネルであってもよく、それぞれ異なる周波数帯の光を発するLEDが配置されたものであってもよい。

【0093】

図９Ａ～９Ｃは、マルチスペクトル・マルチアパーチャイメージングシステム800の別の一実施形態を示す。イメージングシステム800は、レンズ集合体前面フレーム830に接続されたフレーム805を含み、レンズ集合体前面フレームは、開口部820とマイクロビデオレンズ825用の支持構造を含み、マイクロビデオレンズ825は、図３Ａ～３Ｄに関して説明した光学設計を使用したマルチバンドパスフィルタを備えることができる。マイクロビデオレンズ825は、レンズ集合体後面フレーム840に装着された４台のカメラ845（結像レンズおよびイメージセンサ領域を含む）に受光させる。直線状に４列に配置されたLED 811は、レンズ集合体前面フレーム830の４つの辺に沿って配置されており、４つの辺のそれぞれには各LED用の拡散素子815が備えられている。図９Ｂおよび図９Ｃは、マルチアパーチャイメージングシステム800の可能な寸法の一例をインチ単位で示したものである。

【0094】

図１０Ａは、図３Ａ～３Ｄに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム900の別の一実施形態を示す。イメージングシステム900は、モバイル端末910のマルチアパーチャカメラ915に取り付け可能な１組のマルチバンドパスフィルタ905として実装することができる。たとえば、スマートフォンなどの特定のモバイル端末910は、２つのイメージセンサ領域に通じる２つの開口部を有する立体イメージングシステムを装備することができる。本明細書で開示するマルチアパーチャスペクトルイメージング技術は、狭い周波数帯の複数の光をセンサ領域へと通過させる適切な１組のマルチバンドパスフィルタ905を提供することによって、このような装置に実装することができる。この１組のマルチバンドパスフィルタ905には、このような周波数帯の光を物体空間に照射する光源（LEDアレイと拡散板など）を装備してもよい。

【0095】

イメージングシステム900は、マルチスペクトルデータキューブを生成する処理と、（たとえば、臨床組織分類用アプリケーション、生体認証用アプリケーション、材料分析用アプリケーションまたはその他のアプリケーションにおける）マルチスペクトルデータキューブの処理とを行うようにモバイル端末を構成するモバイルアプリケーションをさらに含むことができる。あるいは、このモバイルアプリケーションは、ネットワークを介して、離れた場所にある処理システムにマルチスペクトルデータキューブを送信し、その後、分析結果を受信して表示するようにモバイル端末910を構成するものであってもよい。このような用途のユーザインタフェース910の一例を図１０Ｂに示す。

【0096】

図１１Ａ～１１Ｂは、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムに４種のフィルタを実装した場合に、これらのフィルタを通過することができる１組の周波数帯の一例を示し、これらの１組の周波数帯は、たとえば、べイヤーCFA（または別のRGB CFAまたはRGB-IR CFA）を備えたイメージセンサに入射する。

これらの透過曲線には、この例で使用したセンサによる量子効率の効果も含んでいる。図に示すように、この４台１組のカメラ全体で、８個の特有チャネルすなわち８個の特有周波数帯が撮影される。各フィルタは、各カメラに対して２つの共通周波数帯（左端の２つのピーク）と、別の２つの周波数帯を通過させる。この実装では、第１のカメラおよび第３のカメラは、第１の共有NIR周波数帯の光（右端のピーク）を受光し、第２のカメラおよび第４のカメラは、第２の共有NIR周波数帯の光（右から２番目のピーク）を受光する。各カメラは、約550nm～約800nmまたは550nm～800nmの範囲の特有周波数帯をそれぞれ１つずつ受光する。したがって、これらのカメラは、コンパクトな構成を使用して、８個の特有のスペクトルチャネルを撮影することができる。図１１Ｂのグラフ1010は、図１１Ａに示した４台のカメラの照明として使用してもよい、図４Ｅに示したLEDボードの分光放射照度を示す。

【0097】

この実装では、臨床組織分類に適したスペクトルチャネルの生成に基づき、８個の周波数帯を選択したが、（イメージングシステム内に熱を伝える）LEDの数を制限しながら、シグナル／ノイズ比（SN比）およびフレームレートに関して最適化してもよい。組織（たとえば、ヒト組織などの動物組織）は、緑色の波長や赤色の波長よりも青色の波長において高いコントラストを示すことから、この８個の周波数帯には、４枚のフィルタすべてを通過する青色光の共通周波数帯（グラフ1000の左端のピーク）を含めている。より具体的には、グラフ1000に示すように、ヒト組織は、約420nmを中心とする周波数帯で画像化した場合にコントラストが最も高くなる。この共通周波数帯に対応するチャネルは視差補正に使用されることから、コントラストを高くするほど、より正確な補正行うことができる。たとえば、視差補正を行う際、画像処理プロセッサは、ローカル法またはグローバル法を使用して、ローカル画像パッチ間またはローカル画像間の類似性を示す性能指数が最大となるように、１組の視差を見出すことができる。あるいは、画像処理プロセッサは、同様の方法を使用して、相違性を示す性能指数を最小にすることができる。これらの性能指数は、エントロピー、相関性、絶対差または深層学習法に基づくものであってもよい。グローバル法による視差の計算は、反復して実行することができ、性能指数が安定になった時点で終了することができる。ローカル法は、画素ごとに視差を計算することができ、１つの画像中の固定されたパッチを性能指数の入力として使用し、試験中に、別の画像から切り出した多数のパッチに対してそれぞれ異なる視差の数値を求める。このような方法はいずれも、考慮される視差の範囲が拘束される場合がある。この拘束は、たとえば、物体の深さおよび距離に関する知識に基づく場合がある。また、物体において予想される傾きの範囲に基づいて拘束される場合もある。計算された視差は、エピポーラ拘束などの射影幾何学により拘束される場合がある。低い解像度で計算された視差の出力を、次のレベルの解像度での視差の計算に対する初期値または拘束として使用して、様々な解像度で視差を計算することができる。たとえば、１回目の計算において４画素の解像度で計算された視差を利用して、より高い解像度での次の視差の計算において±４画素の拘束を設定することができる。視差から計算されるあらゆるアルゴリズムは、コントラストが高いほど恩恵を受け、特に、そのコントラスト源がすべての視点と関連している場合に、高コントラストによる恩恵は顕著である。通常、共通周波数帯は、特定の用途において画像化されることが予想される材料の最も高いコントラストでの画像化に対応できるように選択することができる。

【0098】

画像の撮影後の、隣接したチャネル間の色分解は完全ではない場合があることから、この実装では、青色の周波数帯に隣接した緑色の周波数帯として、グラフ1000に示したすべてのフィルタを通過する追加の共通周波数帯をさらに設ける。このような周波数帯を利用する理由として、青色カラーフィルタの画素は、スペクトル通過帯域が広いことから、緑色のスペクトラム領域に感度を示すことが挙げられる。これは、通常、スペクトルの重複として示され、隣接したRGB画素間での意図的なクロストークと見なしてもよい。このスペクトルの重複によって、カラーカメラのスペクトル感度をヒト網膜のスペクトル感度に近づけることができ、最終的に得られる色空間をヒトの視覚に質的に似たものとすることができる。したがって、各フィルタに共通する緑色のチャネルを設けることにより、受光した青色光に真に相当する、青色のフォトダイオードによって生成されたシグナルの一部を分離することが可能になる。この分離は、マルチバンドパスフィルタの透過率（Ｔの凡例で示した黒色の実線で示す）と、これに対応するCFAカラーフィルタの透過率（それぞれＱの凡例で示した、赤色の破線、緑色の破線および青色の破線で示す）を要因に入れたスペクトルアンミキシングアルゴリズムを使用して達成することができる。いくつかの実装では、赤色光を共通周波数帯として使用してもよく、この場合、第２の共通チャネルは必要とされない場合もあることは十分に理解できるであろう。

【0099】

図１２は、高解像度スペクトルイメージング能を備えたコンパクト型イメージングシステム1100の一例のハイレベルブロック図を示し、このイメージングシステム1100は、マルチアパーチャスペクトルカメラ1160と光源1165に連結されたプロセッサ1120を含む１組の部品を備える。ワーキングメモリ1105、記憶装置1110、電子ディスプレイ1125およびメモリ1130もプロセッサ1120と通信可能な状態である。本明細書で述べるように、このイメージングシステム1100は、マルチアパーチャスペクトルカメラ1160の開口部の上方にそれぞれに異なるマルチバンドパスフィルタを配置することによって、イメージセンサのCFAに異なるカラーフィルタを配置した場合よりも多くの画像チャネルを撮影可能であってもよい。

【0100】

コンパクト型イメージングシステム1100は、携帯電話、デジタルカメラ、タブレット型コンピュータ、パーソナルデジタルアシスタントなどの装置であってもよい。コンパクト型イメージングシステム1100は、画像撮影用の内部カメラまたは外部カメラを使用したデスクトップパソコンやテレビ会議ステーションなどの固定型デバイスであってもよい。コンパクト型イメージングシステム1100は、画像撮影装置と、これとは別個に設けられた、画像撮影装置からの画像データを受信する処理装置の組み合わせであってもよい。ユーザは、このコンパクト型イメージングシステム1100上で複数のアプリケーションを利用可能であってもよい。これらのアプリケーションには、従来の写真用アプリケーション、静止画像および動画の撮影用アプリケーション、動的色補正用アプリケーション、明度・濃淡の補正用アプリケーションなどが含まれていてもよい。

【0101】

この画像撮影システム1100は、画像撮影用のマルチアパーチャスペクトルカメラ1160を含む。マルチアパーチャスペクトルカメラ1160は、たとえば、図３Ａ～１０Ｂに示す装置のいずれであってもよい。様々なスペクトルチャネルにおいて撮影された画像を、様々なセンサ領域から画像処理プロセッサ1120に送信できるように、マルチアパーチャスペクトルカメラ1160がプロセッサ1120に接続されていてもよい。また、以下で詳細に説明するように、単一または複数の光源1165をプロセッサで制御することによって、特定の露光中に特定の波長の光を発することができる。画像処理プロセッサ1120は、視差が補正された高品質なマルチスペクトルデータキューブを出力できるように、受信した撮影画像に対して様々な処理を行うように構成されていてもよい。

【0102】

プロセッサ1120は、汎用処理ユニットまたはイメージング用途に特別に設計されたプロセッサであってもよい。図に示すように、プロセッサ1120は、メモリ1130とワーキングメモリ1105に接続されている。この図に示した実施形態では、メモリ1130は、撮影制御モジュール1135、データキューブ作成モジュール1140、データキューブ分析モジュール1145およびオペレーティングシステム1150を格納している。これらのモジュールは、様々な画像処理および装置管理タスクを実行できるようにプロセッサを構成する命令を含む。プロセッサ1120は、ワーキングメモリ1105を使用して、メモリ1130の各モジュールに含まれるプロセッサ命令のワーキングセットを格納する。あるいは、プロセッサ1120は、ワーキングメモリ1105を使用して、画像撮影システム1100の作動中に作成された動的データを格納する。

【0103】

前述したように、プロセッサ1120は、メモリ1130に格納された数個のモジュールによって構成されている。いくつかの実装において、撮影制御モジュール1135は、マルチアパーチャスペクトルカメラ1160の焦点位置を調整できるようにプロセッサ1120を構成する命令を含む。撮影制御モジュール1135は、たとえば、様々なスペクトルチャネルで撮影されるマルチスペクトル画像や、同じスペクトルチャネル（たとえばNIRチャネル）で撮影されるPPG画像などの画像をマルチアパーチャスペクトルカメラ1160で撮影できるようにプロセッサ1120を構成する命令をさらに含む。非接触PPGイメージングでは、通常、近赤外線（NIR）波長を照明として使用し、この波長において組織への光子の透過が増加することを利用している。したがって、撮影制御モジュール1135、マルチアパーチャスペクトルカメラ1160およびワーキングメモリ1105を備えたプロセッサ1120は、一連のスペクトル画像および／または連続した画像を撮影する手段の１つである。

【0104】

データキューブ作成モジュール1140は、異なるセンサ領域にある各フォトダイオードから受信した強度シグナルに基づいてマルチスペクトルデータキューブを生成するようにプロセッサ1120を構成する命令を含む。たとえば、データキューブ作成モジュール1140は、すべてのマルチバンドパスフィルタを通過した共通周波数帯に対応するスペクトルチャネルに基づいて、画像化された物体の同じ領域間の視差を推定することができ、この視差を使用して、撮影されたすべてのチャネルおけるすべてのスペクトル画像を互いに位置合わせすることができる（たとえば、すべてのスペクトルチャネルにおいて、特定の物体上の同じ点が実質的に同じ画素位置（ｘ，ｙ）となるように位置合わせを行うことができる）。位置合わせした画像を統合してマルチスペクトルデータキューブを形成し、視差の情報を使用して、別々に画像化された物体の深さを測定してもよく、たとえば、正常組織の深さと創傷部位の最も深い位置の深さとの差を測定してもよい。いくつかの実施形態において、データキューブ作成モジュール1140は、さらにスペクトルアンミキシングを行うことにより、たとえば、フィルタの透過率およびセンサの量子効率を要因に入れたスペクトルアンミキシングアルゴリズムに基づいて、フォトダイオードの強度シグナルのどの部分が、フィルタを通過したどの周波数帯に対応するのかを特定してもよい。

【0105】

データキューブ分析モジュール1145は、データキューブ作成モジュール1140によって生成されたマルチスペクトルデータキューブを用途に応じて分析するために、様々な技術を実装することができる。たとえば、データキューブ分析モジュール1145の実装のいくつかでは、特定の状態に応じて各画素を分類するように訓練された機械学習モデルに、（深さ情報が含まれていてもよい）マルチスペクトルデータキューブを提供することができる。この特定の状態は、組織イメージングを行う際の臨床状態であってもよく、たとえば、熱傷の状態（たとえば、Ｉ度熱傷、II度熱傷、III度熱傷または正常組織という種類）、創傷の状態（たとえば、止血、炎症、増殖、リモデリングまたは正常な皮膚という種類）、治癒可能性（たとえば、特定の治療法を行った場合あるいは特に治療法を行わなかった場合に、組織が創傷状態から治癒する可能性を反映したスコア）、潅流状態、がん状態、または創傷に関連したその他の組織状態であってもよい。また、データキューブ分析モジュール1145は、生体認証および／または材料分析を目的としてマルチスペクトルデータキューブを分析することもできる。

【0106】

オペレーティングシステムモジュール1150は、画像撮影システム1100のメモリおよび処理リソースを管理するようにプロセッサ1120を構成する。たとえば、オペレーティングシステムモジュール1150は、電子ディスプレイ1125、記憶装置1110、マルチアパーチャスペクトルカメラ1160、光源1165などのハードウェアリソースを管理するデバイスドライバを含んでいてもよい。したがって、いくつかの実施形態において、前述の画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接的に相互作用しなくてもよく、その代わりに、オペレーティングシステムコンポーネント1150に含まれる標準サブルーチンまたはAPIを介して相互作用してもよい。次に、オペレーティングシステム1150内の命令は、これらのハードウェアコンポーネントと直接相互作用してもよい。

【0107】

さらに、プロセッサ1120は、ディスプレイ1125を制御して、撮影された画像および／またはマルチスペクトルデータキューブの分析結果（たとえば、分類された画像）をユーザに対して表示するように構成されていてもよい。ディスプレイ1125は、マルチアパーチャスペクトルカメラ1160を含むイメージング装置の外部に設けられてもよく、イメージング装置の一部であってもよい。また、ディスプレイ1125は、画像の撮影前にビューファインダーをユーザに提供するように構成されていてもよい。さらに、ディスプレイ1125は、LCDスクリーンまたはLEDスクリーンを含んでいてもよく、タッチ感応技術を実装していてもよい。

【0108】

プロセッサ1120は、たとえば、撮影された画像、マルチスペクトルデータキューブおよびデータキューブの分析結果を表すデータなどのデータを記憶装置モジュール1110に書き込んでもよい。この図において、記憶装置モジュール1110は、従来のディスク装置として示されているが、当業者であれば、記憶装置モジュール1110が、どのような種類の記憶媒体装置として構成されていてもよいことを理解できるであろう。たとえば、記憶装置モジュール1110は、フロッピーディスクドライブ、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブなどのディスクドライブ、またはFLASHメモリ、RAM、ROMおよび／もしくはEEPROMなどのソリッドステートメモリを含んでいてもよい。記憶装置モジュール1110は、複数のメモリユニットをさらに含むことができ、メモリユニットのいずれか１つは、画像撮影装置1100の内部に配置されるように構成されていてもよく、画像撮影システム1100の外部に配置されていてもよい。たとえば、記憶装置モジュール1110は、画像撮影システム1100内に格納されたシステムプログラム命令を含むROMメモリを含んでいてもよい。さらに、記憶装置モジュール1110は、カメラから取り外し可能な、撮影された画像を格納するように構成されたメモリカードまたは高速メモリを含んでいてもよい。

【0109】

図１２では、プロセッサ、イメージセンサおよびメモリを備えるように、別々の部品を含むシステムが示されているが、当業者であれば、これらの別々の部品を様々に組み合わせて特定の設計目標を達成できることを認識できるであろう。たとえば、別の一実施形態において、コストの削減および性能の向上のために、メモリ部品をプロセッサ部品と組み合わせてもよい。

【0110】

さらに、図１２では、２つのメモリ部品として、いくつかのモジュールを含むメモリ部品1130と、ワーキングメモリを含む別個のメモリ1105が示されているが、当業者であれば、いくつかの実施形態において、別のメモリ構造を利用できることを認識できるであろう。たとえば、メモリ1130に含まれる各モジュールを実装したプロセッサ命令の格納にROMまたはスタティックRAMメモリを利用した設計としてもよい。あるいは、画像撮影システム1100に一体化されたディスク記憶装置、または外部デバイスポートを介して接続されたディスク記憶装置からシステム起動する際に、プロセッサ命令を読み込んでもよい。次に、このプロセッサ命令をRAMにロードして、プロセッサによる命令の実行を促してもよい。たとえば、ワーキングメモリ1105はRAMメモリであってもよく、プロセッサ1120により命令を実行する前に、ワーキングメモリ1105に命令をロードしてもよい。

【0111】

画像処理技術の一例の概要
図１３は、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、画像データを撮影するプロセス1200の一例を示したフローチャートである。図１３は、本明細書に記載のマルチスペクトルデータキューブの生成に使用可能な４種の露光、すなわち、可視光露光1205、追加の可視光露光1210、非可視光露光1215および環境光露光1220の一例を示す。これら露光はどのような順序で撮影してもよく、これらの露光のうちのいくつかは、後述する特定のワークフローから省いてもよく、後述する特定のワークフローに追加してもよいことは十分に理解できるであろう。以下、図１１Ａおよび図１１Ｂに示した周波数帯を参照しながらプロセス1200を説明するが、別の１組の周波数帯に基づいて生成した画像データを使用して同様のワークフローを実装することもできる。さらに、様々な実施形態において、公知の様々なフラットフィールド補正技術に従って、フラットフィールド補正をさらに実装することによって、画像収集および／または視差補正を向上させてもよい。

【0112】

可視光露光1205を得るため、照明基板に制御信号を送ることにより、最初の５つのピーク（図１１Ａのグラフ1000の可視光に対応する左側の５つのピーク）に対応する複数のLEDを点灯させることができる。特定の複数のLEDにおいて同時に光の出力波形を安定化させる必要がある場合がある（たとえば10ミリ秒間）。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、たとえば約30ミリ秒間にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（たとえば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。このデータは、本明細書に記載の、視差補正に使用される共通スペクトルチャネルを含んでいてもよい。

【0113】

SN比を向上させるため、いくつかの実装では、可視光露光1205について述べたのと同じプロセスを使用して、追加の可視光露光1210を撮影することができる。同一またはほぼ同一の２つの露光を撮影してSN比を向上させることにより、画像データをより正確に分析することができる。しかし、単一の画像のSN比のみで許容可能な実装では、この２つ目の露光を省略してもよい。また、いくつかの実装では、共通スペクトルチャネルで２つの露光を撮影することにより、より正確な視差補正を行ってもよい。

【0114】

いくつかの実装では、NIR光またはIR光に対応する非可視光露光1215をさらに撮影することができる。たとえば、撮影制御モジュール1135は、図１１Ａに示した２つのNIRチャネルに対応する２種のNIR LEDを起動することができる。特定の複数のLEDにおいて同時に光の出力波形を安定化させる必要がある場合がある（たとえば10ミリ秒間）。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、たとえば約30ミリ秒間にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（たとえば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。この露光では、露光1205および露光1210に対する物体の形状または位置に変化はないと見なしても問題はないことから、前もって算出した視差値を使用して各NIRチャネルの位置合わせを行うことができるため、すべてのセンサ領域を通過する共通周波数帯は設けなくてもよい。

【0115】

いくつかの実装では、拍動血流による組織部位の変形を示すPPGデータを生成するために、多重露光を使用して連続撮影することができる。いくつかの実装では、このようなPPG用露光を非可視光波長で撮影してもよい。PPGデータとマルチスペクトルデータを組み合わせることによって、特定の医用イメージング分析の正確度を向上させてもよいが、PPGデータの撮影によって、画像撮影プロセスに要する時間が長くなる場合がある。いくつかの実装では、画像撮影プロセスに要する時間が長くなったことによって、その間に携帯型撮像装置および／または物体が移動し、誤差が生じることがある。したがって、特定の実装では、PPGデータの撮影を省略してもよい。

【0116】

いくつかの実装では、環境光露光1220をさらに撮影することができる。この露光では、すべてのLEDを消灯し、周囲の照明（たとえば、日光やその他の光源からの光）を利用して画像を撮影することができる。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、所望の時間（たとえば約30ミリ秒間）にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（たとえば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。可視光露光1205（または第２の露光1210によりSN比を補正した可視光露光1205）の数値から環境光露光1220の強度値を差し引き、さらに非可視光露光1215の数値からも環境光露光1220の強度値を差し引くことによって、マルチスペクトルデータキューブから環境光の影響を除去することができる。このような処理により、光源により発せられた光および物体／組織部位から反射した光を示す生成信号の一部を分離して、下流の分析の正確度を向上させることができる。いくつかの実装では、可視光露光1205，1210と非可視光露光1215のみを使用するだけで十分な分析正確度が得られる場合、この工程を省略してもよい。

【0117】

上に挙げた特定の露光時間は、一実装における一例であり、別の実装では、イメージセンサ、光源の強度および画像化される物体に応じて、露光時間は様々に異なりうることを十分に理解できるであろう。

【0118】

図１４は、たとえば、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセス1200を使用して撮影された画像データなどの画像データを処理するためのワークフロー1300の略ブロック図を示す。ワークフロー1300は、２つのRGBセンサ領域1301A，1301Bの出力を示しているが、ワークフロー1300のセンサ領域の数はさらに増やすことができ、異なるCFAカラーチャネルに対応するセンサ領域を設けることもできる。

【0119】

２つのセンサ領域1301A，1301Bから出力されたRGBセンサ出力は、2Dセンサ出力モジュール1305A，1305Bにそれぞれ格納される。これらのセンサ領域の数値は、非線形マッピングモジュール1310A，1310Bに送信され、これらの非線形マッピングモジュール1310A，1310Bにおいて、共通チャネルを使用して撮影された画像間の視差を特定し、次に、この決定された視差をすべてのチャネルに対して適用してすべてのスペクトル画像を互いに位置合わせすることにより視差補正を行うことができる。

【0120】

次に、これらの非線形マッピングモジュール1310A，1310Bの出力は、深さ計算モジュール1335に提供され、深さ計算モジュール1335は、画像データ中の特定の目的領域の深さを算出することができる。たとえば、深さは、物体とイメージセンサの間の距離を表してもよい。いくつかの実装では、複数の深さの値を算出し、これらを比較することによって、イメージセンサ以外の何らかの対象に対する物体の深さを測定することができる。たとえば、創床の最も深い深さを測定することができ、この創床を取り囲む正常組織の深さ（最も深い深さ、最も浅い深さまたは平均の深さ）も測定することができる。創床の深さから正常組織の深さを差し引くことによって、創傷の最も深い深さを測定することができる。この深さの比較は、創床中のその他の箇所（たとえば、所定のサンプリング点のすべてまたはその一部）でも行うことができ、これによって、様々な点（図１４においてｚ（ｘ，ｙ）として示す（ここでｚは深さの値である））において創傷の深さの3Dマップを構築することができる。視差が大きくなるほど、前述のような深さの計算用のアルゴリズムによる計算の負荷が高くなるが、いくつかの実施形態では、視差が大きいほど深さの計算が向上する場合がある。

【0121】

次に、これらの非線形マッピングモジュール1310A，1310Bの出力は、線形方程式モジュール1320にも提供され、線形方程式モジュール1320は、検知された数値を、スペクトルアンミキシング用の１組の線形方程式として処理することができる。一実装では、少なくともセンサの量子効率およびフィルタの透過率値の関数としてムーア・ペンローズの擬似逆行式を使用することにより、実際のスペクトルの数値（たとえば、各像点（ｘ，ｙ）に入射する特定の波長の光の強さ）を算出することができる。スペクトルアンミキシングは、臨床診断やその他の生物学的応用などの、高い正確度が要求される実装において使用することができる。スペクトルアンミキシングを適用することにより、光量子束およびSN比の推定値を提供することもできる。

【0122】

ワークフロー1300は、視差を補正したスペクトルチャネル画像およびスペクトルアンミキシングに基づいて、たとえば図に示したＦ（ｘ，ｙ，λ）という形式（ここでＦは、特定波長または周波数帯λにおける特定の結像位置（ｘ，ｙ）における光の強さを示す）などでスペクトルデータキューブ1325を生成することができる。

【0123】

図１５は、たとえば、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセスを使用して撮影された画像データなどの画像データを処理するための視差および視差補正を図示する。第１の組の画像1410は、４種のセンサ領域で撮影した同じ物体上の同じ物理的位置の画像データを示す。図に示すように、イメージセンサ領域のフォトダイオードグリッドの（ｘ，ｙ）座標フレームに基づくと、これらの生の画像において、物体位置は同じ位置にはない。第２の組の画像1420は、視差補正後に同じ物体位置にあることを示しており、これらの画像では、位置合わせした画像の座標フレームにおいて同じ（ｘ，ｙ）位置になっている。このような位置合わせは、互いに完全には重複していない画像の端部領域から特定のデータをトリミングすることを含んでいてもよいことは十分に理解できるであろう。

【0124】

図１６は、たとえば、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、かつ／または図１３に示したプロセスを使用して撮影した後、図１４および図１５に従って処理された画像データなどのマルチスペクトル画像データを画素単位で分類するためのワークフロー1500を図示する。

【0125】

ブロック1510において、マルチスペクトル・マルチアパーチャイメージングシステム1513により、物体1511上の物理的な点1512を示す画像データを撮影することができる。この一例において、物体1511は、創傷を有する患者の組織を含む。創傷は、熱傷、糖尿病性潰瘍（たとえば、糖尿病性足部潰瘍）、非糖尿病性潰瘍（たとえば褥瘡または治癒の遅い創傷）、慢性潰瘍、術後切創、（切断術の前またはその後の）切断部位、がん性病変、または損傷を受けた組織を包含しうる。PPG情報が含まれている場合、本明細書で開示するイメージングシステムは、組織灌流；心血管の健康状態；潰瘍などの損傷；末梢動脈疾患；および呼吸器の健康状態を含む、組織の血流の変化および脈拍数の変化を伴う病態を評価する方法を提供する。

【0126】

ブロック1520において、マルチスペクトル・マルチアパーチャイメージングシステム1513により撮影されたデータを処理して、多数の異なる波長1523を有するマルチスペクトルデータキューブ1525を生成することができ、このマルチスペクトルデータキューブ1525は、異なる時間に対応する同じ波長の多数の異なる画像（PPGデータ1522）を含んでいてもよい。たとえば、画像処理プロセッサ1120は、データキューブ作成モジュール1140を介して、ワークフロー1300に従ってマルチスペクトルデータキューブ1525を生成するように構成することができる。いくつかの実装は、前述したように、空間次元の様々な点における深さの値と関連していてもよい。

【0127】

ブロック1530において、マルチスペクトルデータキューブ1525は、機械学習モデル1532への入力データ1525として分析して、画像化された組織の分類マッピング1535を生成することができる。分類マッピングにより、画像データ中の各画素（各画素は、位置合わせ後の、画像化された物体1511上の特定の点を示す）を特定の組織分類または特定の治癒可能性スコアに割り当てることができる。分類された画像の出力において、視覚的に異なる色またはパターンを使用することにより、様々な分類または様々なスコアを示すことができる。したがって、物体1511の画像を数多く撮影したとしても、その出力は、画素単位で分類された複数の視覚表示を重ねた物体の単一の画像（たとえば、通常のRGB画像）になりうる。

【0128】

いくつかの実装では、機械学習モデル1532は人工ニューラルネットワークであってもよい。人工ニューラルネットワークは、生物学的神経回路網に着想を得たものであるが、コンピュータ装置による実装を目的として改良された計算実体であるという意味で人工物である。入力と出力の間の依存性を見出すことは容易ではないが、人工ニューラルネットワークを使用することにより、入力と出力の間の複雑な関係をモデル化したり、データ中において一定のパターンを見つけたりすることができる。ニューラルネットワークは、通常、入力層、１層以上の中間層（「隠れ層」）および出力層を含み、各層には数多くのノードが含まれる。ノードの数は各層によって異なっていてもよい。２層以上の隠れ層を含むニューラルネットワークは、「深層」であると見なされる。各層のノードは、次の層のノードのすべてまたはその一部と結合しており、これらの結合の重みは、通常、訓練プロセス中のデータから学習され、たとえば、ニューラルネットワークのパラメータを調整して、ラベルを付けた訓練データ中の対応する入力から予想される出力を生成するバックプロパゲーション（誤差逆伝播法）を使用して行われる。したがって、人工ニューラルネットワークは、人工ニューラルネットワークを通して流れる情報に基づいて、訓練中にその構造（たとえば結合構成および／または重み）を変更するように構成された適応システムであり、隠れ層の重みは、データ中の意味のあるパターンをコードするものであると見なすことができる。

【0129】

全結合ニューラルネットワークとは、入力層の各ノードが次の層（第１の隠れ層）の各ノードに結合され、第１の隠れ層の各ノードが次の隠れ層の各ノードに結合され、このような結合が、最終的な隠れ層の各ノードが出力層の各ノードに結合されるまで継続するニューラルネットワークである。

【0130】

CNNは、人工ニューラルネットワークの１種であり、前述した人工ニューラルネットワークと同様に、複数のノードから構成され、学習可能な重みを有する。前述の人工ニューラルネットワークとは異なる点として、CNNの各層は、各ビデオフレームの２×２アレイの画素値（たとえば幅と高さ）と、シーケンス中のビデオフレームの数（たとえば深さ）に対応した、幅と高さと深さからなる三次元に配置されたノードを有することができる。各層のノードは、幅と高さからなるその前の層の小領域（受容野と呼ぶ）に局所結合されていてもよい。隠れ層の重みは、受容野に適用される畳み込みフィルタの形態を取ることができる。いくつかの実施形態において、畳み込みフィルタは二次元であってもよく、したがって、入力ボリュームの各フレームまたは指定されたフレームサブセットに対して同じフィルタを使用して畳み込み（または画像の畳み込み変換）を繰り返すことができる。別の実施形態では、畳み込みフィルタは三次元であってもよく、したがって、入力ボリュームの複数のノードの深さ全体に及ぶものであってもよい。CNNの各畳み込み層の各ノードは重みを共有して、入力ボリュームの幅と高さの全体に対して（たとえば全フレームに対して）所定の層の畳み込みフィルタを複製することにより、訓練可能な重みの総数を減らし、訓練データ外のデータセットに対するCNNの適用性を向上させることができる。特定の層の数値をプールして、次の層の計算の回数を減らしてもよく（たとえば、特定の画素を示す数値を次の層へと伝達してもよく、その他の数値は破棄する）、さらに、CNNの深さが進むに従って、廃棄された数値にプールマスクを再導入し、元の大きさに対してデータポイントの数を返してもよい。一部が全結合されていてもよい多数の層を積み重ねて、CNN構造を形成することができる。

【0131】

訓練中、人工ニューラルネットワークをその訓練データ中のペアデータに適用して、パラメータを変更し、入力が提供された場合に特定のペアの出力を予測することができる。たとえば、訓練データは、マルチスペクトルデータキューブ（入力）と、たとえば、特定の臨床状態に対応する創傷領域を臨床医が指定することなどによりラベル付けされた分類マッピング（予想される出力）とを含むことができ、このラベル付けされた分類マッピングには、最初に創傷のイメージングを行ってからしばらく経過した後に実際の治癒が確認されてから付与された治癒ラベル（１）または未治癒ラベル（０）が含まれていてもよい。機械学習モデル1532の別の実装では、その他の種類の予測を行うように訓練することもでき、たとえば、特定の期間中に創傷が治癒して、創傷領域の割合が特定のパーセンテージまで減少する（たとえば、30日以内に創傷領域が少なくとも50％減少する）可能性を予測したり、止血、炎症、増殖、リモデリング、正常な皮膚などに分類される創傷の状態を予測するように訓練することもできる。いくつかの実装では、分類の正確度をさらに向上させるため、患者の測定値を入力データにさらに組み込んでもよく、あるいは、機械学習モデル1532に別の実例を訓練させるため、患者の測定値に基づいて訓練データをセグメント化し、同じ測定値を有する別の患者に使用してもよい。患者の測定値には、患者の特性またはその患者の健康状態の特性を説明する文字情報または病歴またはそれらの態様が含まれていてもよく、患者の特性またはその患者の健康状態の特性としては、たとえば、創傷、病変または潰瘍の面積；患者のBMI；患者の糖尿病の状態；患者における末梢血管疾患または慢性炎症の存在；患者が現在罹患しているその他の創傷の数または患者がこれまでに罹患した創傷の数；免疫抑制剤（たとえば化学療法）または創傷治癒率に正もしくは負の影響を及ぼすその他の薬剤が患者に投与されているか否か、または最近投与されたか否か；HbA1c；慢性腎不全ステージIV；１型糖尿病または２型糖尿病のいずれであるか；慢性貧血；喘息；薬剤の使用；喫煙の有無；糖尿病性神経障害；深部静脈血栓症；過去の心筋梗塞症；一過性脳乏血発作；および睡眠時無呼吸；ならびにこれらの任意の組み合わせが挙げられる。これらの測定値は、適切な処理によりベクトル表示に変換することができ、たとえば、単語をベクトル表現化した埋め込み、患者が特定の測定値を満たすか否か（たとえば、１型糖尿病に罹患しているか否か）を示す２進値のベクトル、または患者における各測定値の程度を示す数値などによって、ベクトル表示に変換することができる。

【0132】

ブロック1540では、ユーザに対して分類マッピング1535を出力することができる。この一例では、分類マッピング1535では、第１の色1541を使用して、第１の状態に従って分類された画素が示され、第２の色1542を使用して、第２の状態に従って分類された画素が示される。分類とその結果得られた分類マッピング1535は、たとえば、物体認識、背景色の識別および／または深さの値に基づいたバックグラウンド画素が除外されていてもよい。図に示したように、マルチスペクトル・マルチアパーチャイメージングシステム1513のいくつかの実装では、組織部位上に分類マッピング1535を投影することができる。このような態様は、推奨される切除マージンおよび／または切除する深さの視覚表示が分類マッピングに含まれる場合に、特に有益となる場合がある。

【0133】

このような方法およびシステムによって、熱傷の切除、切断レベル、病変除去および創傷のトリアージにおける判断などの、皮膚創傷の管理プロセスにおいて臨床医および外科医を補助してもよい。本明細書に記載の実施形態は、褥瘡性潰瘍、充血、四肢の悪化、レイノー現象、強皮症、慢性創傷、擦過創、裂創、出血、破裂損傷、穿刺創、穿通創、皮膚がん（基底細胞癌、扁平上皮癌、悪性黒色腫もしくは光線角化症）、または組織の特性および性質が正常状態とは異なる何らか種類の組織変化の重症度の特定および／または分類するために使用することができる。また、本明細書に記載の装置を使用して、正常組織のモニター；（たとえば、デブリードマンを行う際のマージンを決定するための、より速く、より洗練されたアプローチが可能となるような）創傷治療法の補助および改善；ならびに（特に治療が適用された後の）創傷または疾患からの回復の進行の評価を行うことができる。本明細書に記載のいくつかの実施形態では、損傷を受けた組織に隣接した正常組織の識別、切除の際のマージンおよび／もしくは深さの決定、左室補助人工心臓などの人工装具を移植した後の回復過程のモニタリング、組織移植片または再生細胞移植片の生存能力の評価、または（特に再建術を行った後の）術後回復のモニタリングが可能な装置を提供する。さらに、本明細書に記載の実施形態を利用して、特に、ステロイド、肝細胞成長因子、線維芽細胞成長因子、抗生物質、再生細胞（幹細胞、内皮細胞および／または内皮前駆細胞を含む、単離または濃縮された細胞集団など）などの治療剤の投与後の、創傷の変化または創傷後の正常組織の発生を評価することができる。

【0134】

分散コンピューティング環境の一例の概要
図１７は、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムのいずれであってもよいマルチスペクトル・マルチアパーチャイメージングシステム1605を含む、分散コンピューティングシステム1600の一例の略ブロック図を示す。図に示すように、データキューブ分析サーバ1615は、恐らくはサーバクラスタまたはサーバファームとして配置される１つ以上のコンピュータを含んでいてもよい。これらのコンピュータを構成するメモリおよびプロセッサは、１つのコンピュータ内に配置されていてもよく、（互いに離れて設置されたコンピュータを含む）数多くのコンピュータに分散されていてもよい。

【0135】

マルチスペクトル・マルチアパーチャイメージングシステム1605は、ネットワーク1610を介して、ユーザ装置1620およびデータキューブ分析サーバ1615と通信するためのネットワーキングハードウェア（たとえば、無線のインターネット、衛星通信、ブルートゥースまたはその他の通信機）を含むことができる。たとえば、いくつかの実装において、マルチスペクトル・マルチアパーチャイメージングシステム1605のプロセッサは、画像撮影を制御し、その後、生データをデータキューブ分析サーバ1615に送信するように構成されていてもよい。別の実装でのマルチスペクトル・マルチアパーチャイメージングシステム1605のプロセッサは、画像撮影を制御し、スペクトルアンミキシングおよび視差補正を行ってマルチスペクトルデータキューブを生成し、その後、マルチスペクトルデータキューブをデータキューブ分析サーバ1615に送信するように構成されていてもよい。いくつかの実装では、マルチスペクトル・マルチアパーチャイメージングシステム1605上においてすべての処理および分析を局所的に行うことができ、集計分析の実施および／または機械学習モデルの訓練もしくは再訓練での使用を目的として、マルチスペクトルデータキューブおよび得られた分析結果をデータキューブ分析サーバ1615に送信してもよい。したがって、データキューブ分析サーバ1615は、マルチスペクトル・マルチアパーチャイメージングシステム1605に最新の機械学習モデルを提供してもよい。マルチスペクトルデータキューブを分析した最終結果を得るための処理負荷は、マルチアパーチャイメージングシステム1605の処理能力に応じて、マルチアパーチャイメージングシステム1605とデータキューブ分析サーバ1615の間で様々な方法により分担してもよい。

【0136】

ネットワーク1610は、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、同様のその他のネットワーク、これらの組み合わせなどの、適切なネットワークを含むことができる。ユーザ装置1620には、ネットワークを装備したあらゆるコンピュータ装置が含まれ、たとえば、デスクトップコンピュータ、ノートパソコン、スマートフォン、タブレット、電子書籍リーダー、テレビゲーム機などが挙げられる。たとえば、組織分類が必要となった際に、マルチアパーチャイメージングシステム1605およびデータキューブ分析サーバ1615により測定された結果（たとえば、分類された画像）を、患者もしくは医師の指定のユーザ装置、患者の電子的な医療記録を格納する病院情報システム、および／または（たとえば、米国疾病対策予防センターなどが保有する）集中型公衆衛生データベースに送信してもよい。

【0137】

実装の結果の一例
背景：
負傷した戦闘員やその医療従事者にとって、熱傷による罹患および死亡は課題となっている。過去の戦闘死傷者における熱傷の受傷率は5～20％であり、これらの死傷者の約20％は、米国陸軍外科研究所（ISR）熱傷センターなどでの複雑な熱傷外科手術が必要であった。熱傷外科手術は専門的な訓練を必要とすることから、米国陸軍病院のスタッフではなく、ISRのスタッフにより熱傷外科手術が行われる。熱傷専門医の数が限られていることから、熱傷を負った兵士に医療を提供するための兵站業務が非常に複雑となる。したがって、術前および術中に熱傷の深さを検出する新規な客観的方法を利用することによって、戦闘継続中の熱傷患者に対する医療の提供への従事が可能な、（ISR以外の組織に所属する人員を含む）医療スタッフの数をより多く確保することができる。医療従事者の人員確保が増強されることによって、熱傷を負った戦闘員への医療的役割の進展に向けて、より複雑な熱傷治療を拡充させることができる。

【0138】

このようなニーズへの対応を開始するため、術前における熱傷の治癒可能性の判定を補助することを目的として、マルチスペクトルイメージング（MSI）および人工知能（AI）アルゴリズムを使用した新規なカート用イメージング装置を開発した。この装置は、短時間で（たとえば、６秒以内、５秒以内、４秒以内、３秒以内、２秒以内または１秒以内に）広範囲な組織（たとえば、５．９×７．９平方インチ）の画像を取得することができ、イメージング造影剤の注射を必要としない。一般市民を対象としたこの研究では、この装置による熱傷の治癒可能性の判定の正確度は、熱傷の専門医師による臨床判断よりも優れていること（たとえば70～80％に達する）が示されている。

【0139】

方法：
様々な重症度の熱傷を負った一般市民の患者において、熱傷受傷の72時間以内に画像化を実施し、熱傷受傷後の最長で７日間にわたりいくつかの時点でも画像化を実施した。各画像における正確な熱傷の重症度は、３週間にわたる治癒評価またはパンチ生検を使用して判定した。この装置での、Ｉ度熱傷、II度熱傷およびIII度熱傷における治癒過程の熱傷組織と非治癒熱傷組織の特定および判別の正確度は、画素単位で分析した。

【0140】

結果：
データは、38人の一般市民の患者から収集し、合計で58個の熱傷および393個の画像を取得した。AIアルゴリズムにより、非治癒熱傷組織の予測において87.5％の感度と90．7％の特異度が達成された。

【0141】

結論：
本発明の新規な装置およびそのAIアルゴリズムによる熱傷の治癒可能性の判定の正確度は、熱傷の専門医の臨床判断よりも優れていることが示された。将来的には、携帯を可能にするための本装置の再設計と術中の状況下での使用の評価に焦点を当てて検討を行う予定である。携帯を可能にするための設計変更としては、本装置のサイズを携帯型システムのサイズまで小さくすること、視野を広くすること、１回のスナップショットの取得時間を短くすること、およびブタモデルを使用して、術中の状況下での使用において本装置を評価することが挙げられる。これらの開発は、基本的な画像検査において同等の機能を示すベンチトップ型のマルチスペクトルイメージング（MSI）サブシステムを使用して実施した。

【0142】

画像の位置合わせ用の追加の光源
様々な実施形態において、本明細書で開示した実施形態のいずれかと１個以上の追加の光源とを併用して、画像の位置合わせの正確度を向上させてもよい。図２１は、プロジェクター2105を含むマルチアパーチャスペクトル撮像装置2100の実施形態の一例を示す。いくつかの実施形態において、プロジェクター2105またはその他の適切な光源は、たとえば、図１２に関して前述した複数の光源1165のうちの１個であってもよい。位置合わせ用のプロジェクター2105などの追加の光源を含む実施形態において、前記方法は、追加の露光をさらに含んでいてもよい。プロジェクター2105などの追加の光源は、撮像装置2100のすべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域の、１つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の適切な空間パターンを、撮像装置2100の視野内に投影することができる。たとえば、プロジェクター2105は、前述の共通帯域を利用したアプローチに基づいて計算された画像の位置合わせの正確度の確認に使用することが可能な、共有チャネルもしくは共通チャネルの光、広帯域照明または累積的に可視可能な照明を投影してもよい。本明細書において、「累積的に可視可能な照明」は、選択された複数の波長であり、マルチスペクトルイメージングシステムの各イメージセンサによりそのパターンが変換される波長を指す。たとえば、累積的に可視可能な照明として、複数の波長であって、すべてのチャネルに共通の波長がこの複数の波長に含まれていなくても、この複数の波長のうちの少なくとも１つが各チャネルにより変換される波長を挙げることができる。いくつかの実施形態において、プロジェクター2105により投影されるパターンの種類は、そのパターンが画像化されるアパーチャの数に基づいて選択してもよい。たとえば、１個のアパーチャのみでしかパターンを見ることができない場合、このパターンは比較的高密度であることが好ましい場合があり（たとえば、約1～10画素、約20画素、約50画素未満、約100画素未満などの、比較的狭い自己相関を有していてもよい）、一方、複数個のアパーチャによりパターンが画像化される場合は、より低密度のパターンまたは自己相関がそれほど狭くないパターンが有用である場合がある。いくつかの実施形態において、投影された空間パターンとともに撮影される追加の露光は、投影された空間パターンを含めずに露光が撮影される実施形態よりも位置合わせの正確度が向上されることを意図として、視差の計算に含められる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（たとえば、共有チャネルもしくは共通チャネル、または広帯域照明など）の縞模様を撮像装置の視野内に投影し、これを利用することによって、縞模様の位相に基づいて画像の位置合わせを向上させることができる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（たとえば、共有チャネルもしくは共通チャネル、または広帯域照明など）のドット、グリッドおよび／または斑点からなる複数の特有の空間配置を撮像装置の視野内に投影し、これを利用することによって、画像の位置合わせを向上させることができる。いくつかの実施形態において、前記方法は、１個のアパーチャまたは複数個のアパーチャを備えた追加のセンサをさらに含み、この追加のセンサによって、視野内の単一または複数の物体の形状を検出することができる。たとえば、この追加のセンサは、LIDAR技術、ライトフィールド技術または超音波技術を使用して、前述の共通帯域を利用したアプローチによる画像の位置合わせの正確度をさらに向上させてもよい。この追加センサは、ライトフィールド情報を検知可能な１個のアパーチャまたはマルチアパーチャセンサであってもよく、超音波やパルスレーザなどのその他のシグナルを検知可能であってもよい。

【0143】

用語
本明細書に記載の方法およびタスクはすべてコンピュータシステムにより実行されてもよく、完全に自動化されていてもよい。場合によっては、このコンピュータシステムは、ネットワーク上で通信し相互運用して、本明細書で述べる機能を実行する別々の複数のコンピュータまたはコンピュータ装置（たとえば、物理サーバ、ワークステーション、ストレージアレイ、クラウドコンピューティングリソースなど）を含む。このようなコンピュータ装置は、いずれも、通常、メモリまたはその他の非一時的なコンピュータ可読記憶媒体もしくは非一時的なコンピュータ可読記憶装置（たとえば、ソリッドステート記憶装置、ディスクドライブなど）に格納されたプログラム命令またはプログラムモジュールを実行するプロセッサ（または複数のプロセッサ）を含む。本明細書で開示した様々な機能は、そのようなプログラム命令で具体化してもよく、コンピュータシステムの特定用途向け回路（たとえば、ASICやFPGA）の形態で実装してもよい。コンピュータシステムが複数のコンピュータ装置を含む場合、これらの装置は、同じ場所に配置してもよいし、別の場所に配置してもよい。本明細書で開示した方法およびタスクによる結果は、ソリッドステートメモリチップや磁気ディスクなどの物理的記憶装置を様々な形態に変換することによって、永続的に保存してもよい。いくつかの実施形態において、コンピュータシステムは、複数の別個の企業体またはその他のユーザにより処理リソースが共有されるクラウドベースのコンピューティングシステムであってもよい。

【0144】

本明細書で開示したプロセスは、ユーザまたはシステムアドミニストレータによって要求が開始された際に、所定のスケジュールや動的に決定したスケジュールなどのイベントに応答して開始してもよく、その他のいくつかのイベントに応答して開始してもよい。前記プロセスが開始されたら、１つ以上の非一時的なコンピュータ可読媒体（たとえば、ハードドライブ、フラッシュメモリ、取り外し可能な媒体など）に格納された実行可能プログラム命令群を、サーバまたはその他のコンピュータ装置のメモリ（たとえばRAM）にロードしてもよい。次に、実行可能命令は、コンピュータ装置が備えるハードウェアベースのコンピュータプロセッサにより、実行してもよい。いくつかの実施形態において、本明細書で開示したプロセスまたはその一部は、直列または並列に、複数のコンピュータ装置および／または複数のプロセッサ上に実装してもよい。

【0145】

実施形態に応じて、本明細書に記載のプロセスまたはアルゴリズムのいずれかによる特定の行為、イベントまたは機能は、別の順序で行うことができ、互いに付加することができ、互いに合体することができ、すべてを省略することができる（たとえば、本明細書に記載の作動およびイベントのすべてが、本明細書に記載のアルゴリズムの実行に必要とは限らない）。さらに、特定の実施形態において、複数の作動またはイベントは、たとえば、マルチスレッド処理、割り込み処理、もしくは複数のプロセッサもしくは複数のプロセッサコアを使用して、またはその他の並列構造上で、順次ではなく同時に行うことができる。

【0146】

本明細書で開示した実施形態に関連して記載した、例示的な様々な論理ブロック、モジュール、ルーチン、およびアルゴリズムの工程は、電子機器（たとえばASICまたはFPGA装置）、コンピュータハードウェア上で作動するコンピュータソフトウェア、またはこれらの組み合わせとして実装することができる。さらに、本明細書で開示した実施形態に関連して記載した、例示的な様々な論理ブロックおよびモジュールは、プロセッサ装置、デジタルシグナルプロセッサ（「DSP」）、特定用途向け集積回路（「ASIC」）、フィールドプログラマブルゲートアレイ（「FPGA」）もしくはその他のプログラマブルロジックデバイス、ディスクリートゲートロジックもしくはトランスファーロジック、ディスクリートハードウェアコンポーネント、または本明細書に記載の機能を実行するように設計された、これらの部品の組み合わせなどの機器により実装することができる。プロセッサ装置はマイクロプロセッサであってもよいが、別の態様において、プロセッサ装置は、制御装置、マイクロコントローラまたは状態機械、これらの組み合わせなどであってもよい。プロセッサ装置は、コンピュータ実行可能命令を処理するように構成された電気回路を含んでいてもよい。別の一実施形態において、プロセッサ装置は、FPGAを含むか、またはコンピュータ実行可能命令を処理することなく論理演算を行うその他のプログラマブルデバイスを含む。また、プロセッサ装置は、コンピュータ装置の組み合わせとして実装することができ、たとえば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSPコアと１個以上のマイクロプロセッサの組み合わせ、またはこのようなその他の構成として実装することができる。本明細書では、主にデジタル技術に関して説明をしてきたが、プロセッサ装置は、主にアナログ部品を含んでいてもよい。たとえば、本明細書に記載のレンダリング技術のすべてまたはそのうちの一部は、アナログ回路を使用して、またはアナログ回路とデジタル回路を併用して実装してもよい。コンピューティング環境は、何らかの種類のコンピュータシステムを含むことができ、このコンピュータシステムとして、いくつか例を挙げれば、マイクロプロセッサに基づくコンピュータシステム、メインフレームコンピュータ、デジタルシグナルプロセッサ、携帯型コンピュータ装置、デバイスコントローラ、電気器具内のコンピュータエンジンなどがあるが、これらに限定されない。

【0147】

本明細書で開示した実施形態に関して述べた方法、プロセス、ルーチンまたはアルゴリズムの構成要素は、ハードウェアで直接具現化することができ、プロセッサ装置により実行されるソフトウェアモジュールで直接具現化することもでき、またはこれらのハードウェアとソフトウェアモジュールの組み合わせで直接具現化することもできる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、またはその他の形態の非一時的なコンピュータ可読記憶媒体に含まれていてもよい。典型的な記憶媒体は、プロセッサ装置がこのような記憶媒体から情報を読み取ったり、このような記憶媒体に情報を書き込んだりできるように、プロセッサ装置に接続することができる。この態様において、記憶媒体はプロセッサ装置にとって不可欠でありうる。このプロセッサ装置および記憶媒体は、ASICに含まれていてもよい。このASICは、ユーザ端末に含まれていてもよい。この態様において、このプロセッサ装置および記憶媒体は、ユーザ端末のディスクリート部品として存在していてもよい。

【0148】

本明細書で使用されている、「できる」、「場合がある」、「可能性がある」、「してもよい」、「たとえば」などの、条件を示す用語は、別段の記載がない限り、あるいはこれらの用語が使用されている文脈上で別の意味に解釈されない限り、通常、特定の実施形態が特定の特徴、構成要素または工程を含み、別の実施形態には、これらの特徴、構成要素または工程が含まれないことを意味する。したがって、条件を示すこのような用語は、通常、特定の実施形態において特定の特徴、構成要素または工程が含まれるのか、あるいは実施されるのかにかかわらず、その他の入力やプロンプティングの存在下または非存在下において、１つ以上の実施形態が、これらの特徴、構成要素または工程を何らかの形で必要とすることや、１つ以上の実施形態が、決定のロジックを必然的に含むことを含意しない。また、「含む」、「備える」、「有する」などの用語は同義語であり、オープンエンド形式で包括的な意味で使用され、追加の構成要素、特徴、行為、作動などを除外するものではない。さらに、「または」という用語も、（排他的な意味ではなく）包括的な意味で使用され、たとえば、「または」という用語が、構成要素を列記するために使用された場合、列記された構成要素のうちの１つ、その一部またはすべてを意味する。

【0149】

別段の記載がない限り、「Ｘ、ＹまたはＺの少なくとも１つ」などの選言的な用語は、本明細書中において、通常、特定の項目や用語などが、Ｘ、ＹもしくはＺ、またはこれらの任意の組み合わせ（たとえば、Ｘ、ＹまたはＺ）であってもよいことを示すために使用されると理解される。したがって、このような選言的な用語は、通常、特定の実施形態において、Ｘの少なくとも１つと、Ｙの少なくとも１つと、Ｚの少なくとも１つのそれぞれの存在が必要であることを意味することを意図せず、そのように意図されるべきではない。

【0150】

前述の詳細な説明において、様々な実施形態として適用される新規な特徴を示し、説明し、指摘してきたが、前述の装置またはアルゴリズムの形態およびその細部は、本開示の範囲から逸脱することなく、様々に省略、置換および変更することができることを理解できるであろう。本明細書に示した特徴のいくつかは、その他の特徴とは別々に使用または実施できることから、本明細書に記載の特定の実施形態は、本明細書に示された特徴および利点のすべてを提供するわけではない形態として具体化することができることは容易に理解できるであろう。請求項の記載と等価の意味および範囲内のあらゆる変更は、これらの請求項の範囲内に包含される。

【図1A-1B】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B-4C】

【図4D-4E】

【図5】

【図6A】

【図6B-6C】

【図7A-7B】

【図8A-8B】

【図9A-9C】

【図10A-10B】

【図11A-11B】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A-18C】

【図19A-19B】

【図20A-20B】

【図21】