知財求人 - 知財ポータルサイト「IP Force」
▶ スペクトラル エムディー，インコーポレイテッドの特許一覧
特表2024-514493多重化照明を利用したスナップショット型高精度マルチスペクトルイメージングシステムおよびその方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-02
(54)【発明の名称】多重化照明を利用したスナップショット型高精度マルチスペクトルイメージングシステムおよびその方法
(51)【国際特許分類】
G01J 3/36 20060101AFI20240326BHJP
G01J 3/10 20060101ALI20240326BHJP
A61B 10/00 20060101ALI20240326BHJP
【ＦＩ】
G01J3/36
G01J3/10
A61B10/00 E
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023560286
(86)(22)【出願日】2022-03-29
(85)【翻訳文提出日】2023-11-29
(86)【国際出願番号】 US2022022398
(87)【国際公開番号】W WO2022212413
(87)【国際公開日】2022-10-06
(31)【優先権主張番号】63/168,151
(32)【優先日】2021-03-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517151936
【氏名又は名称】スペクトラル エムディー，インコーポレイテッド
【氏名又は名称原語表記】ＳＰＥＣＴＲＡＬ ＭＤ， ＩＮＣ．
【住所又は居所原語表記】２５１５ ＭｃＫｉｎｎｅｙ Ａｖｅｎｕｅ，Ｓｕｉｔｅ １０００，Ｄａｌｌａｓ，ＴＸ ７５２０１ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100077012
【弁理士】
【氏名又は名称】岩谷 龍
(72)【発明者】
【氏名】イュ，シュァイ
(72)【発明者】
【氏名】ドゥワイト，ジェイソン
(72)【発明者】
【氏名】レー，ハン
(72)【発明者】
【氏名】サッチャー，ジェフリー イー．
(72)【発明者】
【氏名】ファン，ウェンシェン
【テーマコード（参考）】
2G020
【Ｆターム（参考）】
2G020AA03
2G020AA04
2G020BA20
2G020CB34
2G020CB42
2G020CB43
2G020CC26
2G020CC27
2G020CC63
2G020CD03
2G020CD24
(57)【要約】
本発明の技術は、概して、少なくともカラーカメラと、特注設計の８バンド光学フィルタと、電動ズームレンズと、８個の波長のマルチカラーLED照明システムからなるスナップショット型シングルアパーチャマルチスペクトルイメージング装置を含む。さらに、本発明の技術は、８枚のマルチスペクトルイメージング画像を得るための、LED照明の時系列とLED照明の組み合わせの設計およびアンミキシングアルゴリズムに関する方法を含む。本発明の装置および方法によれば、マルチスペクトル画像の取得速度の高速化（100ミリ秒未満）、シングルアパーチャシステムの採用による視差補正計算なしでの後処理速度の高速化、調整可能な視野、フォームファクタの低減、コストの削減およびスペクトル情報の高精度化を達成することができる。
【特許請求の範囲】
【請求項1】
マルチスペクトル画像システムであって、４個以上の所定の周波数帯のセットのうち１個以上の周波数帯を含む光を選択的に放射して物体を照射するように構成された光源；
前記放射された光のうち、前記物体によって反射された部分を受光するように構成されたイメージセンサ；
前記放射された光のうち、前記物体によって反射された部分を通過させて、前記イメージセンサに入射させるように配置されたアパーチャ；
前記アパーチャ上に配置され、前記４個以上の所定の周波数帯の光を通過させるように構成されたマルチバンドパスフィルタ；
マルチスペクトル画像を生成してアンミキシングを実行する命令が格納されているメモリ；および
少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサが、前記命令に従って、少なくとも、
前記所定の周波数帯のうち２個以上の周波数帯からなる第１のサブセットの光を前記光源から放射させ；
第１のサブセットの光の反射光に基づいて生成された第１の画像データを前記イメージセンサから受信し；
前記所定の周波数帯のうち２個以上の周波数帯からなる第２のサブセットの光を前記光源から放射させ；
第２のサブセットの光の反射光に基づいて生成された第２の画像データを前記イメージセンサから受信し；
第１の画像データと第２の画像データを処理して、少なくとも第１のマルチスペクトル画像と第２のマルチスペクトル画像を生成し；
スペクトルアンミキシングを実行して、前記４個以上の所定の周波数帯のうちのいずれか１個にそれぞれ対応する単一の周波数帯の前記物体の画像を複数枚生成する
ように構成されている、
マルチスペクトル画像システム。
【請求項2】
前記プロセッサが、前記所定の周波数帯のうち２個以上の周波数帯からなる第３のサブセットまたはそれ以上のサブセットの光を前記光源から放射させ；かつ
第３のサブセットまたはそれ以上のサブセットの光の反射光に基づいて生成された第３の画像データまたはそれ以上の画像データを前記イメージセンサから受信する
ようにさらに構成されている、請求項１に記載のマルチスペクトル画像システム。
【請求項3】
前記光源が複数の発光ダイオード（LED）を含み、各LEDが、前記４個以上の所定の周波数帯のうちのいずれか１個の周波数帯の光を放射するように構成されている、請求項１または２に記載のマルチスペクトル画像システム。
【請求項4】
前記少なくとも１つのプロセッサが、前記光源の個々のLEDの起動を制御することによって、該光源によって同時に放射される周波数帯を選択するようにさらに構成されている、請求項３に記載のマルチスペクトル画像システム。
【請求項5】
前記プロセッサが、各LEDにより放射される光の通過と遮断を選択的に行う電子切換シャッターを制御することによって個々のLEDの起動を制御する、請求項４に記載のマルチスペクトル画像システム。
【請求項6】
前記マルチバンドパスフィルタが、光を通過させる複数の周波数帯を備え、各周波数帯が、前記４個以上の所定の周波数帯のうちのいずれか１個にそれぞれ対応している、請求項１～５のいずれか１項に記載のマルチスペクトル画像システム。
【請求項7】
前記LEDと前記マルチバンドパスフィルタが、同じ数の周波数帯を備え、前記LEDの各周波数帯が、前記マルチバンドパスフィルタの対応する周波数帯と一致するように並んでいる、請求項３～６のいずれか１項に記載のマルチスペクトル画像システム。
【請求項8】
前記複数のLEDの個々のLED上に配置されたバンドパスフィルタをさらに含むことにより、個々のLEDにより放射される光が正確なスペクトルに閉じ込められる、請求項３～６のいずれか１項に記載のマルチスペクトル画像システム。
【請求項9】
前記４個以上の所定の周波数帯のセットが８個の所定の周波数帯を含み、前記光源が８個のLEDを含み、各LEDが、前記所定の周波数帯のうちのいずれか１個の周波数帯の光を放射するように構成されている、請求項３に記載のマルチスペクトル画像システム。
【請求項10】
前記マルチバンドパスフィルタが、前記８個の所定の周波数帯のそれぞれを通過させるように構成された８バンドフィルタを含む、請求項９に記載のマルチスペクトル画像システム。
【請求項11】
前記少なくとも１つのプロセッサが、前記命令に従って、前記所定の周波数帯の第３のサブセットの光を前記光源から放射させ、かつ第３のサブセットの光の反射光に基づいて生成された第３の画像データを前記イメージセンサから受信するようにさらに構成されている、請求項１０に記載のマルチスペクトル画像システム。
【請求項12】
第１のサブセット、第２のサブセットおよび第３のサブセットのそれぞれが、前記所定の周波数帯のうち３個の周波数帯を含む、請求項１１に記載のマルチスペクトル画像システム。
【請求項13】
前記所定の周波数帯が、紫外線（UV）から短波長赤外線の範囲の中心波長によって定義される、請求項９に記載のマルチスペクトル画像システム。
【請求項14】
前記所定の周波数帯の中心波長がそれぞれ420nm、525nm、581nm、620nm、660nm、726nm、820nm、855nmである、請求項１３に記載のマルチスペクトル画像システム。
【請求項15】
前記アパーチャ上に配置された電動の同焦点ズームレンズまたは電動の可変焦点ズームレンズをさらに含み、前記１つ以上のプロセッサが、前記電動ズームレンズを制御して、前記マルチスペクトル画像システムの視野（FOV）を調整するようにさらに構成されている、請求項１～１４のいずれか１項に記載のマルチスペクトル画像システム。
【請求項16】
前記同焦点ズームレンズまたは前記可変焦点ズームレンズが、該レンズの焦点距離（FL）を変更することによって焦点を自動調整または手動調整できるように構成されている、請求項１５に記載のマルチスペクトル画像システム。
【請求項17】
前記マルチスペクトル画像システムの視野を調整しても、前記物体と前記イメージセンサの間の撮影距離が変化しない、請求項１５または１６に記載のマルチスペクトル画像システム。
【請求項18】
前記１つ以上のプロセッサが、前記物体と前記イメージセンサの間の撮影距離を変更することによって、前記マルチスペクトル画像システムの視野を調整するようにさらに構成されている、請求項１５～１７のいずれか１項に記載のマルチスペクトル画像センサ。
【請求項19】
前記プロセッサが、前記ズームレンズによるコントラストの低下を補うようにさらに構成されている、請求項１８に記載のマルチスペクトル画像センサ。
【請求項20】
前記視野が、少なくとも8cm～23cmの範囲で調整可能である、請求項１５～１９のいずれか１項に記載のマルチスペクトル画像システム。
【請求項21】
前記マルチスペクトル画像システムが、分解能が犠牲になる後処理によるデジタルトリミング法とは異なって、前記視野内のサンプリング数を減少させることなく高い空間分解能を保持している、請求項２０に記載のマルチスペクトル画像システム。
【請求項22】
前記１つ以上のプロセッサが、前記マルチスペクトル画像に基づいて前記物体を自然な疑似カラーで可視化するようにさらに構成されている、請求項１～２１のいずれか１項に記載のマルチスペクトル画像システム。
【請求項23】
前記１つ以上のプロセッサが、行列演算式を用いて前記物体の反射係数を求めることによってスペクトルアンミキシングを実行するように構成されている、請求項１～２２のいずれか１項に記載のマルチスペクトル画像システム。
【請求項24】
前記反射係数が、各チャネルごとの、入射照度の値、前記マルチバンドパスフィルタの透過係数の値および前記イメージセンサの量子係数の値に少なくとも部分的に基づいて求められる、請求項２３に記載のマルチスペクトル画像システム。
【請求項25】
100ミリ秒未満で３枚以上のマルチスペクトル画像を撮影することができる、請求項１～２４のいずれか１項に記載のマルチスペクトル画像システム。
【請求項26】
前記物体が組織領域である、請求項１～２５のいずれか１項に記載のマルチスペクトル画像システム。
【請求項27】
前記組織が、創傷、がん、潰瘍または熱傷を含む、請求項２６に記載のマルチスペクトル画像システム。
【請求項28】
前記創傷が、糖尿病性潰瘍、非糖尿病性潰瘍、慢性潰瘍、術後創、切断部位、熱傷、がん性病変または損傷組織を含む、請求項２７に記載のマルチスペクトル画像システム。
【請求項29】
組織分類の同定または組織の治癒スコアの同定において使用するための、請求項２６に記載のマルチスペクトル画像システムであって、前記組織分類が、例えば、生きた組織もしくは健康な組織、死んだ組織もしくは壊死組織、灌流した組織もしくは灌流していない組織、または虚血組織もしくは非虚血組織であり、前記組織の治癒スコアが、例えば、30日間の標準的な創傷ケア治療の後に創傷の少なくとも50%が治癒する傾向、または30日間の標準的な創傷ケア治療の後に創傷の少なくとも50%が治癒しない傾向である、マルチスペクトル画像システム。
【請求項30】
創傷、がん、潰瘍または熱傷のイメージングに使用するための、請求項２６に記載のマルチスペクトル画像システムであって、前記創傷、がん、潰瘍または熱傷が、例えば、糖尿病性潰瘍、非糖尿病性潰瘍、慢性潰瘍、術後創、切断部位、熱傷、がん性病変または損傷組織である、マルチスペクトル画像システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2021年3月30日に出願された「多重化照明を利用したスナップショット型高精度マルチスペクトルイメージングシステムおよびその方法」という名称の米国仮特許出願第63/168,151号の利益を主張するものであり、この出願は、あらゆる目的で引用によりその全体が本明細書に明示的に援用される。
本出願は、2021年3月30日に出願された「多重化照明を利用したスナップショット型高精度マルチスペクトルイメージングシステムおよびその方法」という名称の米国仮特許出願第63/168,151号の利益を主張するものであり、この出願は、あらゆる目的で引用によりその全体が本明細書に明示的に援用される。
【0002】
連邦政府の助成による研究開発に関する陳述
本開示に記載の発明の一部は、契約番号HHSO100201300022Cの下、米国保健福祉省の事前準備・対応担当次官補局内の米生物医学先端研究開発局（BARDA）により付与された米国政府の支援を受けてなされたものである。また、本開示に記載の発明の一部は、契約番号W81XWH-17-C-0170および／または契約番号W81XWH-18-C-0114の下、米国国防保健局（DHA）により付与された米国政府の支援を受けてなされたものである。米国政府は、本発明に関し一定の権利を保有する場合がある。
本開示に記載の発明の一部は、契約番号HHSO100201300022Cの下、米国保健福祉省の事前準備・対応担当次官補局内の米生物医学先端研究開発局（BARDA）により付与された米国政府の支援を受けてなされたものである。また、本開示に記載の発明の一部は、契約番号W81XWH-17-C-0170および／または契約番号W81XWH-18-C-0114の下、米国国防保健局（DHA）により付与された米国政府の支援を受けてなされたものである。米国政府は、本発明に関し一定の権利を保有する場合がある。
【0003】
本明細書に開示されたシステムおよび方法は、スペクトルイメージングに関し、より具体的には、多重化照明を利用したマルチスペクトルイメージングシステムおよびその方法に関する。
【背景技術】
【0004】
電磁スペクトルとは、電磁放射線（例えば光）の波長または周波数の帯域である。電磁スペクトルは、長い波長から短い波長の順に、電波、マイクロ波、赤外線光（IR）、可視光（すなわちヒトの眼の構造により検出可能な光）、紫外線光（UV）、Ｘ線、およびガンマ線を含む。また、スペクトルイメージングは、像平面の様々な位置においてスペクトル情報の一部または完全なスペクトルを収集する分光学および写真撮影術の一分野を指す。マルチスペクトルイメージングシステムは、複数のスペクトル帯域（通常、それぞれ異なるスペクトル領域にある十数個以下のスペクトル帯域）を撮影して、画素ごとにそのスペクトル帯域での測定値を収集することができ、１個のスペクトルチャネルあたり数十nmの帯域幅を参照することができる。
【0005】
スペクトル帯域は、光学フィルタおよび／またはマルチチャネルイメージセンサ（例えばカラーカメラ）により分離してもよい。フィルタホイールを用いたシングルアパーチャマルチスペクトルイメージングシステムはスペクトルの精度が高いが、その一方で、フィルタ切り換え時のホイールの機械的回転が低速であることから、時間分解能が低い（数十秒）という制約がある。マルチアパーチャスペクトルイメージングシステムは、マルチバンドパス光学フィルタを備えた多色カメラを採用することによって、このような制約を克服しており、アンミキシングアルゴリズムを利用して、ある程度の時間分解能（100ミリ秒未満、いわゆるスナップショット）でマルチスペクトルイメージング（MSI）画像を得ることができる。しかし、このようなマルチアパーチャスペクトルイメージングシステムは、複数のアパーチャ間の視差補正が煩雑であるという問題が依然として残されていた。
【発明の概要】
【課題を解決するための手段】
【0006】
本明細書で開示するマルチスペクトルイメージングシステムおよびマルチスペクトルイメージング技術は、いくつかの特徴を有するが、このうちのいずれか１つのみでは所望の特性を達成することはできない。本明細書で開示するスペクトルイメージングの特定の特徴を簡潔に説明するが、以下の説明は、後述の請求項で示す本発明の範囲を限定するものではない。当業者であれば、本明細書で開示するスペクトルイメージングの特徴が、従来のシステムや方法と比べてどのような利点を有するのかを十分に理解できるであろう。
【0007】
本発明の技術の第１の態様において、マルチスペクトル画像システムは、
４個以上の所定の周波数帯のセットのうち１個以上の周波数帯を含む光を選択的に放射して物体を照射するように構成された光源；
前記放射された光のうち、前記物体によって反射された部分を受光するように構成されたイメージセンサ；
前記放射された光のうち、前記物体によって反射された部分を通過させて、前記イメージセンサに入射させるように配置されたアパーチャ；
前記アパーチャ上に配置され、前記４個以上の所定の周波数帯の光を通過させるように構成されたマルチバンドパスフィルタ；
マルチスペクトル画像を生成してアンミキシングを実行する命令が格納されているメモリ；および
少なくとも１つのプロセッサ
を含む。
前記少なくとも１つのプロセッサは、前記命令に従って、少なくとも、
前記所定の周波数帯のうち２個以上の周波数帯からなる第１のサブセットの光を前記光源から放射させ；
第１のサブセットの光の反射光に基づいて生成された第１の画像データを前記イメージセンサから受信し；
前記所定の周波数帯のうち２個以上の周波数帯からなる第２のサブセットの光を前記光源から放射させ；
第２のサブセットの光の反射光に基づいて生成された第２の画像データを前記イメージセンサから受信し；
第１の画像データと第２の画像データを処理して、少なくとも第１のマルチスペクトル画像と第２のマルチスペクトル画像を生成し；
スペクトルアンミキシングを実行して、前記４個以上の所定の周波数帯のうちのいずれか１個にそれぞれ対応する単一の周波数帯の前記物体の画像を複数枚生成する
ように構成されている。
４個以上の所定の周波数帯のセットのうち１個以上の周波数帯を含む光を選択的に放射して物体を照射するように構成された光源；
前記放射された光のうち、前記物体によって反射された部分を受光するように構成されたイメージセンサ；
前記放射された光のうち、前記物体によって反射された部分を通過させて、前記イメージセンサに入射させるように配置されたアパーチャ；
前記アパーチャ上に配置され、前記４個以上の所定の周波数帯の光を通過させるように構成されたマルチバンドパスフィルタ；
マルチスペクトル画像を生成してアンミキシングを実行する命令が格納されているメモリ；および
少なくとも１つのプロセッサ
を含む。
前記少なくとも１つのプロセッサは、前記命令に従って、少なくとも、
前記所定の周波数帯のうち２個以上の周波数帯からなる第１のサブセットの光を前記光源から放射させ；
第１のサブセットの光の反射光に基づいて生成された第１の画像データを前記イメージセンサから受信し；
前記所定の周波数帯のうち２個以上の周波数帯からなる第２のサブセットの光を前記光源から放射させ；
第２のサブセットの光の反射光に基づいて生成された第２の画像データを前記イメージセンサから受信し；
第１の画像データと第２の画像データを処理して、少なくとも第１のマルチスペクトル画像と第２のマルチスペクトル画像を生成し；
スペクトルアンミキシングを実行して、前記４個以上の所定の周波数帯のうちのいずれか１個にそれぞれ対応する単一の周波数帯の前記物体の画像を複数枚生成する
ように構成されている。
【0008】
いくつかの実施形態において、前記プロセッサは、前記所定の周波数帯のうち２個以上の周波数帯からなる第３のサブセットまたはそれ以上のサブセットの光を前記光源から放射させ；かつ第３のサブセットまたはそれ以上のサブセットの光の反射光に基づいて生成された第３の画像データまたはそれ以上の画像データを前記イメージセンサから受信するようにさらに構成されている。
【0009】
いくつかの実施形態において、前記光源は複数の発光ダイオード（LED）を含み、各LEDは、前記４個以上の所定の周波数帯のうちのいずれか１個の周波数帯の光を放射するように構成されている。いくつかの実施形態において、前記少なくとも１つのプロセッサは、前記光源の個々のLEDの起動を制御することによって、該光源によって同時に放射される周波数帯を選択するようにさらに構成されている。いくつかの実施形態において、前記プロセッサは、各LEDにより放射される光の通過と遮断を選択的に行う電子切換シャッターを制御することによって個々のLEDの起動を制御する。
【0010】
いくつかの実施形態において、前記マルチバンドパスフィルタは、光を通過させる複数の周波数帯を備え、各周波数帯は、前記４個以上の所定の周波数帯のうちのいずれか１個にそれぞれ対応している。いくつかの実施形態において、前記LEDと前記マルチバンドパスフィルタは、同じ数の周波数帯を備え、前記LEDの各周波数帯は、前記マルチバンドパスフィルタの対応する周波数帯と一致するように並んでいる。いくつかの実施形態において、前記マルチスペクトル画像システムは、前記複数のLEDの個々のLED上に配置されたバンドパスフィルタをさらに含むことにより、個々のLEDにより放射される光を正確なスペクトルに閉じ込める。いくつかの実施形態において、前記４個以上の所定の周波数帯のセットは８個の所定の周波数帯を含み、前記光源は８個のLEDを含み、各LEDは、前記所定の周波数帯のうちのいずれか１個の周波数帯の光を放射するように構成されている。いくつかの実施形態において、前記マルチバンドパスフィルタは、前記８個の所定の周波数帯のそれぞれを通過させるように構成された８バンドフィルタを含む。いくつかの実施形態において、前記少なくとも１つのプロセッサは、前記命令に従って、前記所定の周波数帯の第３のサブセットの光を前記光源から放射させ、かつ第３のサブセットの光の反射光に基づいて生成された第３の画像データを前記イメージセンサから受信するようにさらに構成されている。いくつかの実施形態において、第１のサブセット、第２のサブセットおよび第３のサブセットのそれぞれは、前記所定の周波数帯のうち３個の周波数帯を含む。いくつかの実施形態において、前記所定の周波数帯は、紫外線（UV）から短波長赤外線の範囲の中心波長によって定義される。いくつかの実施形態において、前記所定の周波数帯の中心波長は、それぞれ420nm、525nm、581nm、620nm、660nm、726nm、820nm、855nmである。
【0011】
いくつかの実施形態において、前記マルチスペクトル画像システムは、前記アパーチャ上に配置された電動の同焦点ズームレンズまたは電動の可変焦点ズームレンズをさらに含み、前記１つ以上のプロセッサは、前記電動ズームレンズを制御して、前記マルチスペクトル画像システムの視野（FOV）を調整するようにさらに構成されている。いくつかの実施形態において、前記同焦点ズームレンズまたは前記可変焦点ズームレンズは、該レンズの焦点距離（FL）を変更することによって焦点を自動調整または手動調整できるように構成されている。いくつかの実施形態において、前記マルチスペクトル画像システムの視野を調整しても、前記物体と前記イメージセンサの間の撮影距離は変化しない。いくつかの実施形態において、前記１つ以上のプロセッサは、前記物体と前記イメージセンサの間の撮影距離を変更することによって、前記マルチスペクトル画像システムの視野を調整するようにさらに構成されている。いくつかの実施形態において、前記プロセッサは、前記ズームレンズによるコントラストの低下を補うようにさらに構成されている。いくつかの実施形態において、前記視野は、少なくとも8cm～23cmの範囲で調整可能であり、例えば、8cm、9cm、10cm、11cm、12cm、13cm、14cm、15cm、16cm、17cm、18cm、19cm、20cm、21cm、22cmもしくは23cm、またはこれらの長さのいずれか２つを上下限とする範囲内の長さに調整可能である。いくつかの実施形態において、前記マルチスペクトル画像システムは、分解能が犠牲になる後処理によるデジタルトリミング法とは異なって、前記視野内のサンプリング数を減少させることなく高い空間分解能を保持している。
【0012】
いくつかの実施形態において、前記１つ以上のプロセッサは、前記マルチスペクトル画像に基づいて前記物体を自然な疑似カラーで可視化するようにさらに構成されている。
【0013】
いくつかの実施形態において、前記１つ以上のプロセッサは、行列演算式を用いて前記物体の反射係数を求めることによってスペクトルアンミキシングを実行するように構成されている。いくつかの実施形態において、前記反射係数は、各チャネルごとの、入射照度の値、前記マルチバンドパスフィルタの透過係数の値および前記イメージセンサの量子係数の値に少なくとも部分的に基づいて求められる。いくつかの実施形態において、前記マルチスペクトル画像システムは、100ミリ秒未満で３枚以上のマルチスペクトル画像を撮影することができる。
【0014】
いくつかの実施形態において、前記物体は組織領域である。いくつかの実施形態において、前記組織は創傷を含む。いくつかの実施形態において、前記創傷は、糖尿病性潰瘍、非糖尿病性潰瘍、慢性潰瘍、術後創、切断部位、熱傷、がん性病変または損傷組織を含む。いくつかの実施形態において、前記マルチスペクトル画像システムは、組織分類の同定または組織の治癒スコアの同定において使用するためのものであり、前記組織分類は、例えば、生きた組織もしくは健康な組織、死んだ組織もしくは壊死組織、灌流した組織もしくは灌流していない組織、または虚血組織もしくは非虚血組織であり、前記組織の治癒スコアは、例えば、30日間の標準的な創傷ケア治療の後に創傷の少なくとも50％が治癒する傾向、または30日間の標準的な創傷ケア治療の後に創傷の少なくとも50％が治癒しない傾向である。いくつかの実施形態において、前記マルチスペクトル画像システムは、創傷、がん、潰瘍または熱傷のイメージングに使用するためのものであり、前記創傷、がん、潰瘍または熱傷は、例えば、糖尿病性潰瘍、非糖尿病性潰瘍、慢性潰瘍、術後創、切断部位、熱傷、がん性病変または損傷組織である。
【図面の簡単な説明】
【0015】
【図1A】様々な主光線入射角でフィルタに入射する光の一例を示す。
【0016】
【0017】
【図2A】マルチスペクトル画像データキューブの一例を示す。
【0018】
【0019】
【0020】
【図3A】本開示による、湾曲したマルチバンドパスフィルタを備えたマルチアパーチャイメージングシステムの一例の光学設計を示した断面模式図を示す。
【0021】
【0022】
【図4】本発明の技術によるシングルアパーチャ・マルチスペクトルイメージングシステムの一例の模式図と、このマルチスペクトルイメージングシステムの各部品の性能を示したプロットを示す。
【0023】
【図5】本発明の技術によりマルチスペクトル画像を取得する際のLED照明の時系列の一例と、これに対応する各チャネルごとの検知係数を示す。
【0024】
【図6-7】本発明の技術によるシングルアパーチャ・マルチスペクトルイメージングシステムを具体化した実施形態の一例を示す。
【0025】
【図8-10】本発明の技術によるシングルアパーチャシステムによる試験の結果を示す。
【発明を実施するための形態】
【0026】
本明細書に概説するように、本開示は、速い画像取得速度（スナップショット、100ミリ秒未満）、高精度なスペクトルおよび調整可能な視野を特徴とするシングルアパーチャ・単レンズ・シングルカメラシステムを用いた二次元マルチスペクトルイメージング（MSI）に関する。さらに、本開示は、このようなカメラシステムからの画像取得速度を向上させるための、スペクトルアンミキシングの実装技術に関する。後述するように、本開示の技術は、現在のスペクトルイメージングに関する問題を克服するものである。
【0027】
多重化照明を利用したマルチスペクトルイメージングは、スペクトル帯域の分離が可能であり、高速な切り換え、堅牢性および費用対効果をもたらすことができる。現在、このような解決策では、重複した複数のスペクトルと限られたチャネルを用いた多重化照明を採用している。このような多重化照明によって、滑らかに変化し、良好に近似させることができる分光反射率（s（λ））を撮影状況において最も良好に取得することができる。しかし、生物医学的な用途では、生物組織の分光反射率（s（λ））がやや複雑であることから、高精度なスペクトル情報が望まれる。このような制約を取り除くため、スペクトル間のクロストークを大幅に減少させる必要がある。
【0028】
本明細書に開示する多重化照明を利用したスナップショット型高精度マルチスペクトルイメージングシステムおよびその方法には、いくつかの特徴がある。いくつかの実施形態において、本発明のマルチスペクトルイメージングシステムは、二次元マルチスペクトルセンシング用のシングルアパーチャ・単レンズ・シングルRGBカラーカメラを採用している。いくつかの実施形態において、本発明のマルチスペクトルイメージングシステムは、マルチスペクトルのフィルタリング用のマルチバンド光学フィルタを採用している。この設計におけるマルチバンド光学フィルタは、例えば、８バンドMSI用の８バンドフィルタであってもよい。しかし、本明細書に開示するシステムおよび方法は、本開示において規定する数に限定されず、本開示に規定の数よりも多い数または少ない数の波長帯域を用いたMSIにも等しく使用することができる。いくつかの実施形態において、本明細書に開示するマルチスペクトルイメージングシステムは、複数の発光ダイオード（LED）による８つの波長を照明に採用しており、各波長スペクトルは各MSI帯域と重複している。いくつかの実施形態において、各LEDの前面には、各LEDに一致したMSI帯域を持つバンドパス光学フィルタが配置されている。いくつかの実施形態において、本明細書に開示するマルチスペクトルイメージングシステムは電動ズームレンズを採用している。イメージング速度を加速させるために、LED照明の調節を利用したスペクトルアンミキシング法を利用してもよい。特定の組み合わせと時系列で複数のLEDの複数の波長を点灯または消灯することができ、これについては後で詳しく検討している。アンミキシング係数は、LEDの照度（I0）、フィルタの透過係数（T%）および／またはカラーカメラのRGBチャネルの検知量子効率（Q%）に基づいて計算してもよい。
【0029】
本開示のマルチスペクトルイメージングシステムおよびその方法の様々な実施形態は、改良された特徴を有するマルチスペクトルイメージングを提供することができ、その特徴として、以下のうちの１つ以上が挙げられるが、これらに限定されない。
（ａ）シングルアパーチャシステムを採用していることから、視差補正において複雑なアルゴリズムを使用する必要はなく、視差誤差も発生しない。
（ｂ）マルチアパーチャシステムと比較して、フォームファクタが小さく（例えば、小型化および軽量化されており）、低コストである。
（ｃ）速い画像取得速度（100ミリ秒未満）と速い後処理速度を有することから、モーションアーチファクトが少なく、リアルタイムイメージングに利用可能である。
（ｄ）狭い帯域のLED照明、LEDの前面に配置されたバンドパス光学フィルタ、およびマルチバンド光学フィルタによる閉じ込めにより、高精度なスペクトル情報が得られる。
（ｅ）電動ズームレンズを用いていることから、様々な用途に応じて視野を調整可能である。
（ｆ）MSI画像を元に天然の疑似カラーで可視化できる。
（ｇ）多機能な生物医学的イメージングを行うことができる。
（ａ）シングルアパーチャシステムを採用していることから、視差補正において複雑なアルゴリズムを使用する必要はなく、視差誤差も発生しない。
（ｂ）マルチアパーチャシステムと比較して、フォームファクタが小さく（例えば、小型化および軽量化されており）、低コストである。
（ｃ）速い画像取得速度（100ミリ秒未満）と速い後処理速度を有することから、モーションアーチファクトが少なく、リアルタイムイメージングに利用可能である。
（ｄ）狭い帯域のLED照明、LEDの前面に配置されたバンドパス光学フィルタ、およびマルチバンド光学フィルタによる閉じ込めにより、高精度なスペクトル情報が得られる。
（ｅ）電動ズームレンズを用いていることから、様々な用途に応じて視野を調整可能である。
（ｆ）MSI画像を元に天然の疑似カラーで可視化できる。
（ｇ）多機能な生物医学的イメージングを行うことができる。
【0030】
本発明のマルチスペクトルイメージングシステムは、機械的に回転するフィルタホイールを備えたフィルタホイールを用いたシングルアパーチャ・マルチスペクトルイメージングシステムと比べて、マルチバンドパスの光学フィルタリング用に８バンドフィルタを用いていることから速い画像取得速度を達成することができる。これと同時に、いくつかの実施形態では、所望のMSI帯域と近似したスペクトルまたは所望のMSI帯域に正確に重複するスペクトルを持つ複数のマルチカラーLEDを採用することによって、各MSI帯域（例えばチャネル）のスペクトル情報を取得する。正確なスペクトルの照明と、LEDフィルタおよび８バンドフィルタによるスペクトルの閉じ込めとを利用することによって、スペクトル帯域外への光の漏れやチャンネル間のクロストークを回避し、スペクトルの精度を有意に向上させることができる。各LEDは速やかに繰り返し点灯および消灯することができることから、時間で区切った系を用いて単色照明を得ることができる。
【0031】
いくつかの実施形態において、本発明のマルチスペクトルイメージングシステムは、（例えばLED照明なしで）背景画像を取得することによって、周囲環境または室内灯環境で作動させることができ、次に、（例えば、室内灯とLED照明に露出した）得られたMSI画像から背景画像を差し引くことができる。さらに、いくつかの実施形態では、マルチチャネルイメージセンサ（例えばRGBカメラ）を採用し、３つのチャネルのLEDを同時に点灯させ、この３つのチャネルから得られたスペクトル情報をアンミキシングアルゴリズムにより分離することによって、MSIの取得速度をさらに向上させてもよい。したがって、本開示の技術によるスナップショットイメージング速度により、非常に速いイメージングを行うことができ、ターゲットのモーションアーチファクトを有意に減少させることができることから、様々な生物医学的な用途において利点がある。
【0032】
いくつかの実施形態において、本発明のマルチスペクトルイメージングシステムおよびその方法は、マルチアパーチャMSIイメージングシステムと比べて、シングルアパーチャと単レンズとシングルカメラからなる構成を採用することができることから、画像の後処理速度が顕著に遅くなりうる複雑なアルゴリズムが必要とされうる視差補正計算は必要とされない。さらに、シングルアパーチャと単レンズとシングルカメラからなる構成を実装していることから、画素に基づくスペクトル情報の誤解釈を回避することができる。例えば、既存のマルチアパーチャMSIイメージングシステムでは、イメージセンサ（例えば複数のカメラからなる構成）の分離とアンミキシングアルゴリズムを利用してスペクトル帯域を分離することができる。一方、本開示のMSIシステムおよびその方法では、多重化照明（例えば、個別に制御可能な複数のマルチカラーLED）とアンミキシングアルゴリズムを利用してスペクトル帯域を分離することができる。本開示では、フィルタホイールシステムに組み込まれた単一バンドのバンドパスフィルタを複数備えた機械的回転ホイールと比べて非常に速い電子切換シャッターを用いて、LED照明の操作を時系列で制御することができるため、瞬時のバンドの切り換えとそのイメージング取得速度は、マルチアパーチャMSIイメージングシステムに近く、視差補正計算を行う必要がなく、後処理速度が速い。
【0033】
本開示のMSIシステムおよびその方法は、LED照明用にバンドパス光学フィルタを使用し、検出器用に８バンド光学フィルタを使用することができることから、検知スペクトルを所望の帯域に良好に閉じ込めることができ、各照明間のクロストークを回避することができ、スペクトル帯域外への光の漏れを排除し、スペクトルの精度を向上させることができる。本開示は、多重化照明を含む既存のシステムの改良された利点を単純な設計で提供するものである。
【0034】
スペクトルイメージングシステムの概要
図1Aは、イメージセンサ110に向かう光路に沿って配置されたフィルタ108の一例と、様々な光線入射角でフィルタ108に入射する光を示す。光線102A、光線104A、光線106Aは、フィルタ108を通過した後、レンズ112により屈折されてセンサ110上に入射する線として示す。レンズ112は、ミラーおよび／またはアパーチャなどの（ただしこれらに限定されない）別の画像形成光学系と置き換えてもよい。図1Aにおいて、各光線の光は広帯域であると見なされ、例えば、広い波長領域のスペクトル組成を有する光であり、フィルタ108により特定波長の光のみが選択的に透過される。３つの光線102A、104A、106Aは、互いに異なる入射角でフィルタ108に入射する。説明を目的として、光線102Aは、フィルタ108に対して実質的に垂直な入射として示され、光線104Aは、光線102Aよりも大きな入射角を有し、光線106Aは、光線104Aよりも大きい入射角を有する。フィルタを通過した各光線102B、104B、106Bは、入射角に依存したフィルタ108の透過特性により、特有のスペクトラムを示し、これらの特有のスペクトラムは、センサ110で検出される。この入射角度依存性という効果から、入射角が増加するほど波長が短くなるという、フィルタ108の帯域通過特性のシフトが起こる。さらに、入射角度依存性によって、フィルタ108の透過効率が低下することがあり、フィルタ108の帯域通過特性を示すスペクトル形状が変化することがある。このような複合効果は、入射角度依存性のスペクトル透過と呼ばれる。図1Bは、センサ110の位置に存在すると仮定した分光器で検出された図1Aの各光線のスペクトラムを示し、入射角が増加するほど、フィルタ108の帯域通過特性を示すスペクトルがシフトすることを説明している。曲線102C、曲線104Cおよび曲線106Cは、帯域通過特性の中心波長が短くなっていることを示し、したがって、この例では、光学系から照射された光の波長が短縮していることが示されている。また、この図に示すように、帯域通過特性のスペクトル形状および透過率のピークも入射角により変化する。特定のコンシューマー向けの用途では、このような入射角度依存性のスペクトル透過による目に見える効果を除去するため、画像処理を行うことができる。しかし、このような後加工技術では、どの波長の光が実際にフィルタ108に入射したのかという正確な情報を回復することはできない。したがって、得られる画像データは、特定の高精密な用途には使用できない可能性がある。
図1Aは、イメージセンサ110に向かう光路に沿って配置されたフィルタ108の一例と、様々な光線入射角でフィルタ108に入射する光を示す。光線102A、光線104A、光線106Aは、フィルタ108を通過した後、レンズ112により屈折されてセンサ110上に入射する線として示す。レンズ112は、ミラーおよび／またはアパーチャなどの（ただしこれらに限定されない）別の画像形成光学系と置き換えてもよい。図1Aにおいて、各光線の光は広帯域であると見なされ、例えば、広い波長領域のスペクトル組成を有する光であり、フィルタ108により特定波長の光のみが選択的に透過される。３つの光線102A、104A、106Aは、互いに異なる入射角でフィルタ108に入射する。説明を目的として、光線102Aは、フィルタ108に対して実質的に垂直な入射として示され、光線104Aは、光線102Aよりも大きな入射角を有し、光線106Aは、光線104Aよりも大きい入射角を有する。フィルタを通過した各光線102B、104B、106Bは、入射角に依存したフィルタ108の透過特性により、特有のスペクトラムを示し、これらの特有のスペクトラムは、センサ110で検出される。この入射角度依存性という効果から、入射角が増加するほど波長が短くなるという、フィルタ108の帯域通過特性のシフトが起こる。さらに、入射角度依存性によって、フィルタ108の透過効率が低下することがあり、フィルタ108の帯域通過特性を示すスペクトル形状が変化することがある。このような複合効果は、入射角度依存性のスペクトル透過と呼ばれる。図1Bは、センサ110の位置に存在すると仮定した分光器で検出された図1Aの各光線のスペクトラムを示し、入射角が増加するほど、フィルタ108の帯域通過特性を示すスペクトルがシフトすることを説明している。曲線102C、曲線104Cおよび曲線106Cは、帯域通過特性の中心波長が短くなっていることを示し、したがって、この例では、光学系から照射された光の波長が短縮していることが示されている。また、この図に示すように、帯域通過特性のスペクトル形状および透過率のピークも入射角により変化する。特定のコンシューマー向けの用途では、このような入射角度依存性のスペクトル透過による目に見える効果を除去するため、画像処理を行うことができる。しかし、このような後加工技術では、どの波長の光が実際にフィルタ108に入射したのかという正確な情報を回復することはできない。したがって、得られる画像データは、特定の高精密な用途には使用できない可能性がある。
【0035】
既存の特定のスペクトルイメージングシステムが直面している別の課題として、完全なスペクトル画像データセットの撮影に必要とされる時間が挙げられる。これについては、図2Aおよび図2Bに関連して検討する。スペクトルイメージセンサは、特定のシーンのスペクトル放射照度Ｉ（x,y,λ）を取得し、データキューブと一般に呼ばれる三次元（3D）データセットを収集する。図2Aは、スペクトル画像のデータキューブ120の一例を示す。この図に示すように、データキューブ120は、三次元の画像データを示し、このうち、２つの空間次元（xおよびy）は、イメージセンサの二次元（2D）表面に対応し、スペクトル次元（λ）は、特定の波長域に対応している。データキューブ120のサイズは、NxNyNλで求めることができ、NxおよびNyは、各空間次元（x,y）方向の標本点の数であり、Nλは、スペクトル軸λ方向の標本点の数である。データキューブは、現在利用可能な2D検出器アレイ（例えばイメージセンサ）よりも次元が高いため、典型的なスペクトルイメージングシステムでは、データキューブ120の時系列2Dスライス（すなわち平面）（本明細書において「走査型」イメージングシステムと呼ぶ）を撮影するか、あるいは、演算過程でデータキューブ120を分割して、このデータキューブ120に再統合可能な複数の二次元データを得ることにより、データキューブ120のすべての標本点を同時に測定する（本明細書において「スナップショット型」イメージングシステムと呼ぶ）。
【0036】
図2Bは、特定の走査スペクトルイメージング技術が、どのようにしてデータキューブ120を生成するのかを示した一例を示す。具体的には、図2Bは、１回の検出器の積分時間に収集することができるデータキューブ120の部分132、134および136を示す。ポイントスキャン分光器は、例えば、１つの空間位置（x,y）においてスペクトル平面λの全体に延びる部分132を撮影することができる。ポイントスキャン分光器は、空間次元の各（x,y）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。フィルタホイールイメージングシステムは、例えば、空間次元ｘおよびｙの全体に延びるが、単一のスペクトル平面λのみに位置する部分134を撮影することができる。フィルタホイールイメージングシステムなどの波長走査イメージングシステムは、スペクトル平面λに対して積分を複数回行うことによってデータキューブ120を構築することができる。ラインスキャン分光器は、例えば、スペクトル次元λの全体と空間次元の一方（xまたはy）の全体に延びるが、もう一方の空間次元（yまたはx）の１つの点のみに位置する部分136を撮影することができる。ラインスキャン分光器は、この一方の空間次元（yまたはx）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。
【0037】
対象物体とイメージングシステムの両方が静止している（または露光時間において比較的静止した状態の）用途では、前述した走査型イメージングシステムは、高分解能のデータキューブ120が得られるという利点がある。ラインスキャンイメージングシステムおよび波長走査型イメージングシステムでは、イメージセンサの全域を使用して各スペクトルまたは各空間画像が撮影されることにより、このような利点が得られる場合がある。しかし、最初の露光と次の露光の間にイメージングシステムおよび／または物体に動きがあると、得られる画像データにアーチファクトが発生する場合がある。例えば、データキューブ120において同じ（x,y）位置であっても、実際には、スペクトル次元λにおいて、画像化した物体上の別の物理的位置が示される場合がある。このようなアーチファクトによって、後続の分析において誤差が生じることがあり、かつ／または位置合わせを行う必要性が出てくることがある（例えば、特定の（x,y）位置が物体上の同じ物理的位置に対応するように、スペクトル次元λの位置調整を行う必要性が出てくる）。
【0038】
これに対して、スナップショット型イメージングシステム140では、１つの積分時間または１回の露光でデータキューブ120の全体を撮影することができることから、前述のような動きが画質に与える影響を回避することができる。図2Cは、スナップショット型イメージングシステムの作製に使用可能なイメージセンサ142および光学フィルタアレイ144（カラーフィルタアレイ（CFA）など）の一例を示す。この一例でのカラーフィルタアレイ（CFA）144は、イメージセンサ142の表面にカラーフィルタユニット146の繰り返しパターンが配置されたものである。スペクトル情報を得るためのこの方法は、マルチスペクトルフィルタアレイ（MSFA）またはスペクトル分解検出器アレイ（SRDA）と呼ぶこともできる。この図に示した一例では、カラーフィルタユニット146は、５×５に配置された様々なカラーフィルタを含むことから、得られる画像データにおいて25個のスペクトルチャネルが生成される。CFAは、様々なカラーフィルタを使用することによって入射光を各カラーフィルタの帯域に分割し、分割した光をイメージセンサ上の各色の感光体へと導くことができる。このようにして実際には、所定の色148に対して、25個の感光体のうちの１個のみが、その色の波長の光を示すシグナルを検出する。したがって、このようなスナップショット型イメージングシステム140を使用した場合、１回の露光で25個のカラーチャネルが生成されうるが、各カラーチャネルの測定データ量は、イメージセンサ142の総出力よりも小さくなる。いくつかの実施形態において、CFAは、フィルタアレイ（MSFA）およびスペクトル分解検出器アレイ（SRDA）の一方または両方を含んでいてもよく、かつ／または従来のべイヤーフィルタ、CMYKフィルタもしくはその他の吸収系フィルタもしくは干渉系フィルタを含んでいてもよい。干渉系フィルタの一種として、薄膜フィルタアレイがグリッド状に配置され、各グリッドの素子が１つ以上のセンサ素子に対応しているものがある。別の種類の干渉系フィルタとして、ファブリ・ペローフィルタがある。ナノエッチングされたファブリ・ペロー干渉フィルタは、通常、半値全幅（FWHM）が約20～50nmの帯域通過特性を示すが（例えば、20nm、21nm、22nm、23nm、24nm、25nm、26nm、27nm、28nm、29nm、30nm、31nm、32nm、33nm、34nm、35nm、36nm、37nm、38nm、39nm、40nm、41nm、52nm、53nm、44nm、45nm、46nm、47nm、48nm、49nmもしくは50nmの半値全幅、またはこれらの波長のいずれか２つを上下限とする範囲により定義される半値全幅を示すが）、フィルタの通過帯域の中心波長から阻止帯域への移行部においてロールオフが小さいことから、いくつかの実施形態において使用することできるという点で有利である。さらに、このようなフィルタは、阻止帯域において低い光学濃度（OD）を示すことから、通過帯域外の光に対する感度を向上させることができる。このような複合効果を有することから、これらの特定のフィルタは、蒸着やイオンビームスパッタリングなどのコーティング蒸着法により多数の薄膜層で構成された同様のFWHMの高光学濃度干渉フィルタの高いロールオフにより阻止されてしまうスペクトル領域に対して感度を示す。色素系CMYKフィルタまたはRGB系（べイヤー）フィルタを使用する構成の実施形態では、スペクトルのロールオフが小さく、かつ個々のフィルタの通過帯域のFWHMが大きいことが好ましく、これにより、観察されるスペクトラム全体において各波長に対するスペクトル透過率を特有のものとすることができる。
【0039】
したがって、スナップショット型イメージングシステムにより得られるデータキューブ120は、高精度なイメージング用途において問題となりうる以下の２つの特性の一方を有する。１つ目の問題点として、スナップショット型イメージングシステムにより得られるデータキューブ120は、検出器アレイの（x,y）の大きさよりもNxおよびNyの大きさが小さくなりうることから、同じイメージセンサを有する走査型イメージングシステムにより得られるデータキューブ120よりも分解能が低くなる。２つ目の問題点として、スナップショット型イメージングシステムにより得られるデータキューブ120では、特定の（x,y）位置に対する数値補間により、NxおよびNyの大きさが検出器アレイの（x,y）の大きさと同じになることがある。しかし、データキューブの生成において補間が行われた場合、データキューブの特定の数値は、センサ上の入射光の波長の実測値ではなく、周辺値に基づいた実測の推定値であることを意味する。
【0040】
露光を１回のみ行うマルチスペクトルイメージングにおいて使用される別の既存の部材として、マルチスペクトルイメージング用ビームスプリッターがある。このようなイメージングシステムにおいて、ビームスプリッターキューブは、入射光を異なる色帯域へと分割し、各帯域は独立した複数のイメージセンサにより観測される。ビームスプリッターの設計を変更して、測定するスペクトル帯域を調整することができるが、イメージングシステムの性能を損なうことなく、４つを超えるビームに入射光を分割することは容易ではない。したがって、４個のスペクトルチャネルが、このアプローチでの実用限界であると見られる。これと密接に関連した方法では、かさ高いビームスプリッターキューブ／プリズムの代わりに、薄膜フィルタを使用して光を分割するが、連続した複数のフィルタによる累積的な透過率の減衰と空間的制限により、このアプローチでも、約６個のスペクトルチャネルに制限される。
【0041】
いくつかの実施形態において、特に前述の課題は、多重化照明と、照明光線を選択的に透過させるマルチバンドパスフィルタと、RGBカメラのカラーチャネルとを利用した本明細書で開示するスペクトルイメージングシステムと、これに関連する画像データ処理技術によって対処することができる。この特定の構成によって、速いイメージング速度、高分解能画像、および検出波長の高い忠実度という設計目標のすべてを達成することができる。したがって、本明細書で開示する光学設計および関連する画像データ処理技術は、ポータブルスペクトルイメージングシステムにおいて使用することができ、かつ／または移動している対象のイメージングに使用することができるとともに、高精度用途（例えば、臨床組織分析、生体認証、一時的な臨床徴候）に適したデータキューブを得ることができる。本明細書に記載の１つ以上の実施形態を利用して達成することが可能なこのような高精度用途として、転移前の進行度（０～３）の基底細胞癌、扁平上皮細胞癌および悪性黒色腫の診断；皮膚組織の熱傷もしくは創傷の重症度の分類；例えば、健康な皮膚もしくは正常な皮膚との比較などによる壊死組織もしくは虚血組織の同定およびそのマージンの特定；または末梢血管疾患もしくは糖尿病性足部潰瘍の組織診断または重症度の判定を挙げることができる。したがって、いくつかの実施形態で説明するスナップショットスペクトルの取得とスモールフォームファクタによって、例えば、様々な種類の網膜症（例えば、非増殖性糖尿病性網膜症、増殖性糖尿病性網膜症および加齢黄斑変性）の診断、ならびに動きが多い小児患者のイメージングを含む、一時的事象を扱う臨床環境において本発明を使用することができる。したがって、本明細書で開示するシステムの使用は、従来のスペクトルイメージングの実装と比べて大幅な技術的進歩となることを当業者であれば十分に理解できるであろう。
【0042】
特定の例および実施形態に関連して、本開示の様々な態様について以下で述べる。これらの例および実施形態は説明を目的としたものであり、本開示を限定するものではない。本明細書で述べる例および実施形態は、説明を目的として、特定の計算およびアルゴリズムに焦点を当てているが、当業者であれば、これらの例が説明のみを目的としたものであり、本発明を限定するものではないことを十分に理解できるであろう。例えば、マルチスペクトルイメージングに関していくつかの例を挙げているが、本明細書で開示するシングルアパーチャイメージングシステムならびにこれに関連するフィルタおよび多重化照明は、その他の実装においてハイパースペクトルイメージングを実施できるように構成することができる。さらに、特定の例は、ハンドヘルド用途および／または移動している対象物体に対する用途において利点を達成するものとして提示されているが、本明細書で開示するイメージングシステムの設計およびこれに関連する処理技術により、固定されたイメージングシステムおよび／または比較的静止した状態の対象の分析に適した高精度なデータキューブを得ることができることは十分に理解できるであろう。
【0043】
電磁スペクトル範囲およびイメージセンサの概要
本明細書において、電磁スペクトルの特定の色または特定の部分に言及し、以下、ISO21348「放射照度スペクトルの種類の定義」による定義に従って、これらの波長を説明する。以下で詳述するように、特定のイメージング用途において、特定の色の波長領域を一括して特定のフィルタに通過させることができる。
本明細書において、電磁スペクトルの特定の色または特定の部分に言及し、以下、ISO21348「放射照度スペクトルの種類の定義」による定義に従って、これらの波長を説明する。以下で詳述するように、特定のイメージング用途において、特定の色の波長領域を一括して特定のフィルタに通過させることができる。
【0044】
760nm～380nmまたは約760nm～約380nmの波長の範囲の電磁放射線は、通常、「可視」スペクトラム、すなわち、ヒトの眼の色受容体により認識可能なスペクトラム部分であると考えられている。可視スペクトルにおいて、赤色光は、通常、700nmもしくは約700nmの波長を有するか、または760nm～610nmもしくは約760nm～約610nmの範囲にあると考えられている。橙色光は、通常、600nmもしくは約600nmの波長を有するか、または610nm～591nmもしくは約610nm～約591nmの範囲にあると考えられている。黄色光は、通常、580nmもしくは約580nmの波長を有するか、または591nm～570nmもしくは約591nm～約570nmの範囲にあると考えられている。緑色光は、通常、550nmもしくは約550nmの波長を有するか、または570nm～500nmもしくは約570nm～約500nmの範囲にあると考えられている。青色光は、通常、475nmもしくは約475nmの波長を有するか、または500nm～450nmもしくは約500nm～約450nmの範囲にあると考えられている。紫色（赤紫色）光は、通常、400nmもしくは約400nmの波長を有するか、または450nm～360nmもしくは約450nm～約360nmの範囲にあると考えられている。
【0045】
可視スペクトル外の範囲に目を向けると、赤外線（IR）は、可視光よりも長い波長を有する電磁放射線を指し、通常、ヒトの眼には見えない。IRは、約760nmまたは760nmにある赤色の可視スペクトルの公称下限値から約1mmまたは1mmに及ぶ波長を有する。この範囲内において、近赤外線（NIR）は、赤色の範囲に隣接しているスペクトラムの一部を指し、約760nm～約1400nmまたは760nm～1400nmの波長範囲である。
【0046】
紫外線（UV）光は、可視光よりも短い波長の電磁放射線の一部を指し、通常、ヒトの眼には見えない。UVは、約40nmまたは40nmにある紫色の可視スペクトルの公称値下限値から約400mmに及ぶ波長を有する。この範囲内において、近紫外線（NUV）は、紫色の範囲に隣接しているスペクトラムの一部を指し、約400nm～約300nmまたは400nm～300nmの波長範囲であり、中間紫外線（MUV）は、約300nm～約200nmまたは300nm～200nmの波長範囲であり、遠紫外線（FUV）は、約200nm～約122nmまたは200nm～122nmの波長範囲である。
【0047】
本明細書に記載のイメージセンサは、特定の用途に適した特定の波長領域に応じて、上述の領域のうち、どの電磁放射線であっても検出できるように構成することができる。通常のシリコン電荷結合素子（CCD）または相補型金属酸化膜半導体（CMOS）センサのスペクトル感度は、可視スペクトルの全体に及ぶが、近赤外線（IR）スペクトラムの大半およびUVスペクトラムの一部にも及ぶ。いくつかの実装では、裏面入射型または表面入射型のCCDアレイまたはCMOSアレイを付加的または代替的に使用することができる。高いSN比および科学グレードの測定が必要とされる用途では、いくつかの実装において、科学用途の相補型金属酸化膜半導体（sCMOS）カメラまたは電子増幅CCDカメラ（EMCCD）を付加的または代替的に使用することができる。別の実装では、目的とする用途に応じて、特定の色の範囲（例えば、短波長赤外線（SWIR）、中波長赤外線（MWIR）、または長波長赤外線（LWIR））において動作することが知られているセンサと、これに対応する光学フィルタアレイを付加的または代替的に使用することができる。これらのセンサおよび光学フィルタアレイは、インジウム・ガリウム・ヒ素（InGaAs）やインジウム・アンチモン（InSb）などの検出器の材質に応じたカメラ、またはマイクロボロメータアレイに応じたカメラを付加的または代替的に備えていてもよい。
【0048】
本明細書で開示するマルチスペクトルイメージング技術において使用されるイメージセンサは、カラーフィルタアレイ（CFA）などの光学フィルタアレイに併用して使用してもよい。いくつかの種類のCFAは、入射光を赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の可視領域に分割し、分割した可視光をイメージセンサ上のそれぞれ専用の赤色、緑色または青色のフォトダイオード感光体に導くことができる。CFAの一般的な例として、ベイヤーパターンがあり、これは、光検出器の長方形のグリッド上にRGBカラーフィルタを特定のパターンで配置したカラーフィルタアレイである。ベイヤーパターンは、緑色50％、赤色25％および青色25％で構成されており、赤色のカラーフィルタと緑色のカラーフィルタが繰り返された列と、青色のカラーフィルタと緑色のカラーフィルタが繰り返された列とが交互に並んでいる。また、いくつかの種類のCFA（例えばRGB-NIRセンサ用のCFA）も、NIR光を分割し、分割したNIR光をイメージセンサ上のそれぞれ専用のフォトダイオード感光体に導くことができる。
【0049】
したがって、CFAのフィルタ部品の波長領域により、撮影された画像において各画像チャネルが示す波長領域が決まることがある。したがって、様々な実施形態において、画像の赤色のチャネルは、カラーフィルタの赤色の波長領域に対応してもよく、黄色光および橙色光の一部を含むことができ、約570nm～約760nmまたは570nm～760nmの範囲である。様々な実施形態において、画像の緑色のチャネルは、カラーフィルタの緑色の波長領域に対応してもよく、黄色光の一部を含むことができ、約570nm～約480nmまたは570nm～480nmの範囲である。様々な実施形態において、画像の青色のチャネルは、カラーフィルタの青色の波長領域に対応してもよく、紫色光の一部を含むことができ、約490nm～約400nmまたは490nm～400nmの範囲である。当業者であれば、CFAの色（例えば、赤色、緑色および青色）を定義する正確な開始波長と終了波長（または電磁スペクトルの一部）が、CFAの実装に応じて様々に異なることがあることを十分に理解できるであろう。
【0050】
さらに、通常の可視光用CFAは、可視スペクトル外の光を透過する。したがって、多くのイメージセンサでは、赤外線波長を阻止するが、可視光を通過させる薄膜赤外線反射フィルタをセンサの前面に配置することによって赤外線に対する感度を制限している。しかし、本明細書で開示するイメージングシステムのいくつかでは、薄膜赤外線反射フィルタを省略して、赤外線光を通過させてもよい。したがって、赤色のチャネル、緑色のチャネルおよび／または青色のチャネルを使用して、赤外線の波長帯域を収集してもよい。いくつかの実装において、青色のチャネルを使用して、特定のNUV波長帯域を収集してもよい。積み重ねたスペクトル画像の各波長において、赤色のチャネル、緑色のチャネルおよび青色のチャネルは、各チャネルが特有の透過効率を有することに関連して異なるスペクトル応答を示すことから、公知の透過プロファイルを使用して、アンミキシングを行う前の各スペクトル帯域に、特有の重み付け応答を提供してもよい。例えば、この重み付け応答には、赤外線波長領域および紫外線波長領域における赤色のチャネル、青色のチャネルおよび緑色のチャネルの公知の透過応答が含まれていてもよく、これによって、これらの波長領域からの帯域の収集に各チャネルを使用することが可能となる。
【0051】
以下でさらに詳述するように、イメージセンサに向かう光路に沿って、追加のカラーフィルタをCFAの前に配置することにより、イメージセンサ上に入射する光の特定の帯域を選択的に抽出することができる。本明細書で開示するカラーフィルタは、（薄膜の）ダイクロイックフィルタおよび／もしくは吸収フィルタの組み合わせ、または単独のダイクロイックフィルタ、および／もしくは単独の吸収フィルタである。本明細書で開示するカラーフィルタの一部は、（通過帯域の）特定の領域内の周波数を通すが、（阻止領域において）その領域外の周波数を遮断（減衰）するバンドパスフィルタであってもよい。本明細書で開示するカラーフィルタの一部は、不連続な複数の波長領域を通すマルチバンドパスフィルタであってもよい。これらの「周波数帯」は、CFAフィルタの広い色範囲と比べて、通過帯域が狭く、阻止領域における減衰量が大きく、かつスペクトルのロールオフが急峻であってもよい。なお、ロールオフは、フィルタの通過帯域から阻止領域への移行部におけるスペクトル応答の急峻さとして定義される。例えば、本明細書で開示するカラーフィルタは、約20nm～約40nmまたは20nm～40nmの通過帯域をカバーすることができる。カラーフィルタのこのような特定の構成によって、実際にセンサに入射する波長帯域が決まることがあり、これによって、本明細書で開示するイメージング技術の精度が向上する場合がある。本明細書に記載のカラーフィルタは、特定の用途に適した特定の波長帯域に応じて、上述の領域のうち、電磁放射線の特定の帯域を選択的に阻止または通過させるように構成することができる。
【0052】
本明細書において、「画素」という用語は、二次元検出器アレイの素子により生成された出力を説明する場合に使用される。これに対して、二次元検出器アレイのフォトダイオード、すなわち、１つの感光素子は、光電効果を介して光子を電子に変換し、次いでこの電子を画素値の決定に使用可能なシグナルに変換することができるトランスデューサとして挙動する。データキューブの１つの要素は、「ボクセル」（例えば、体積のある要素）と呼ぶことができる。「スペクトルのベクトル」は、データキューブの特定の（x,y）位置におけるスペクトルデータ（例えば、物体空間の特定の点から受光した光のスペクトラム）を示すベクトルを指す。本明細書において、データキューブの１つの水平面（例えば、１つのスペクトル次元を表す画像）は、「画像チャネル」と呼ばれる。本明細書に記載の特定の実施形態では、スペクトルのビデオ情報を撮影してもよく、得られるデータ次元は、NxNyNλNtで示される「ハイパーキューブ」の形態であると想定することができる（ここで、Ntは、ビデオシーケンス中に撮影されたフレームの数である）。
【0053】
イメージングシステムの一例の概要
図3Aは、本開示による、湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステム200の一例の模式図を示す。ここに示した模式図は、第１のイメージセンサ領域225A（フォトダイオードPD1～PD3）および第２のイメージセンサ領域225B（フォトダイオードPD4～PD6）を含む。フォトダイオードPD1～PD6は、例えば、半導体基板（例えばCMOSイメージセンサ）に形成されたフォトダイオードであってもよい。通常、各フォトダイオードPD1～PD6は、何らかの材質、半導体、センサ素子または入射光を電流に変換できるその他の装置からなる単一ユニットであってもよい。この図では、マルチアパーチャイメージングシステムの構造およびその作動を説明することを目的として、マルチアパーチャイメージングシステム全体のごく一部のみを示しており、実装では、イメージセンサ領域は、何百個または何千個ものフォトダイオード（およびこれに対応するカラーフィルタ）を備えることができることは十分に理解できるであろう。第１のイメージセンサ領域225Aと第２のイメージセンサ領域225Bは、実装に応じて、別々のセンサとして実装してもよく、同じイメージセンサ上の別々の領域として実装してもよい。図3Aでは、２個のアパーチャとこれに対応する光路およびセンサ領域が示されているが、図3Aに示した光学設計原理は、実装に応じて、３個以上のアパーチャとこれに対応する光路およびセンサ領域を含む設計に拡大することができることは十分に理解できるであろう。
図3Aは、本開示による、湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステム200の一例の模式図を示す。ここに示した模式図は、第１のイメージセンサ領域225A（フォトダイオードPD1～PD3）および第２のイメージセンサ領域225B（フォトダイオードPD4～PD6）を含む。フォトダイオードPD1～PD6は、例えば、半導体基板（例えばCMOSイメージセンサ）に形成されたフォトダイオードであってもよい。通常、各フォトダイオードPD1～PD6は、何らかの材質、半導体、センサ素子または入射光を電流に変換できるその他の装置からなる単一ユニットであってもよい。この図では、マルチアパーチャイメージングシステムの構造およびその作動を説明することを目的として、マルチアパーチャイメージングシステム全体のごく一部のみを示しており、実装では、イメージセンサ領域は、何百個または何千個ものフォトダイオード（およびこれに対応するカラーフィルタ）を備えることができることは十分に理解できるであろう。第１のイメージセンサ領域225Aと第２のイメージセンサ領域225Bは、実装に応じて、別々のセンサとして実装してもよく、同じイメージセンサ上の別々の領域として実装してもよい。図3Aでは、２個のアパーチャとこれに対応する光路およびセンサ領域が示されているが、図3Aに示した光学設計原理は、実装に応じて、３個以上のアパーチャとこれに対応する光路およびセンサ領域を含む設計に拡大することができることは十分に理解できるであろう。
【0054】
マルチアパーチャイメージングシステム200は、第１のセンサ領域225Aに向かう第１の光路を提供する第１の開口部210A、および第２のセンサ領域225Bに向かう第１の光路を提供する第２の開口部210Bを含む。これらのアパーチャは、画像に反映される光の明るさを増加さたり減少させたりするために調整可能であってもよく、あるいは、これらのアパーチャを調整することによって、特定の画像の露光時間を変更し、イメージセンサ領域に入射する光の明るさが変化しないようにしてもよい。これらのアパーチャは、光学設計分野の当業者が妥当であると判断可能であれば、このマルチアパーチャシステムの光軸に沿ったどの位置に配置してもよい。第１の光路に沿って配置した光学部品の光軸を破線230Aで示し、第２の光路に沿って配置した光学部品の光軸を破線230Bで示すが、これらの破線が、マルチアパーチャイメージングシステム200の物理構造を示すわけではないことは十分に理解できるであろう。光軸230Aと光軸230Bは距離Ｄにより隔てられており、この距離Ｄは、第１のセンサ領域225Aにより撮影される画像と第２のセンサ領域225Bにより撮影される画像の間の視差となりうる。「視差」は、立体写真画像の左側と右側（または上側と下側）において対応する２つの点の間の距離を指し、物体空間の同じ物理点が各画像の異なる位置に現われる。この視差を補正し、かつ利用した処理技術を以下でさらに詳細に述べる。
【0055】
光軸230Aおよび光軸230Bは、それぞれに対応するアパーチャの中心Ｃを通過する。その他の光学部品も、これらの光軸を中心として配置することができる（例えば、光学部品の回転対称点をこの光軸に沿って配置することができる）。例えば、第１の光軸230Aを中心として、第１の湾曲マルチバンドパスフィルタ205Aおよび第１の結像レンズ215Aを配置することができ、第２の光軸230Bを中心として、第２の湾曲マルチバンドパスフィルタ205Bおよび第２の結像レンズ215Bを配置することができる。
【0056】
本明細書において、光学素子の配置に関して述べる際に使用される「上」および「上方」という用語は、物体空間からイメージングシステム200に入った光が、別の構造に到達する（または入射する）前に通り抜ける特定の構造（例えばカラーフィルタまたはレンズ）の位置を指す。これを説明すると、第１の光路に沿って、湾曲マルチバンドパスフィルタ205Aが、アパーチャ210Aの上方に位置し、アパーチャ210Aが、結像レンズ215Aの上方に位置し、結像レンズ215Aが、CFA 220Aの上方に位置し、CFA 220Aが、第１のイメージセンサ領域225Aの上方に位置する。したがって、まず、物体空間（例えば、画像化の対象となる物理的空間）から入った光が、第１の湾曲マルチバンドパスフィルタ205Aを通過し、次にアパーチャ210Aを通過し、次に結像レンズ215Aを通過し、次にCFA 220Aを通過し、最後に、第１のイメージセンサ領域225Aに入射する。第２の光路（例えば、湾曲マルチバンドパスフィルタ205B、アパーチャ210B、結像レンズ215B、CFA 220B、第２のイメージセンサ領域225Bを含む光路）も同様の配置となる。別の実装では、アパーチャ210A，210Bおよび／または結像レンズ215A，215Bを、湾曲マルチバンドパスフィルタ205A，205Bの上方に配置することができる。さらに、別の実装では、物理的なアパーチャを使用しなくてもよく、光学部品のクリアアパーチャに依存して、センサ領域225A上およびセンサ領域225B上に結像される光の明るさを制御してもよい。したがって、レンズ215A，215Bは、アパーチャ210A，210Bと湾曲マルチバンドパスフィルタ205A，205Bの上方に配置してもよい。この実装では、光学設計分野の当業者が必要であると判断可能であれば、アパーチャ210A，210Bをレンズ215A，215Bの上方に配置してもよく、あるいはアパーチャ210A，210Bをレンズ215A，215Bの下方に配置してもよい。
【0057】
第１のセンサ領域225Aの上方に配置した第１のCFA 220Aと、第２のセンサ領域225Bの上方に配置した第２のCFA 220Bは、特定の波長を選択的に通過させるフィルタとして機能することができ、入射してきた可視領域の光を、赤色領域、緑色領域および青色領域（それぞれＲ、ＧおよびＢの記号で示す）に分割することができる。選択された特定の波長のみを、第１のCFA 220Aおよび第２のCFA 220Bの各カラーフィルタに通過させることによって、光が「分割」される。分割された光は、イメージセンサ上のそれぞれ専用の赤色ダイオード、緑色ダイオードまたは青色ダイオードにより受光される。赤色フィルタ、青色フィルタおよび緑色フィルタが一般に使用されているが、別の実施形態では、撮影された画像データに必要とされるカラーチャネルに応じて様々なカラーフィルタを使用することができ、例えば、RGB-IR CFAと同様に、紫外線、赤外線または近赤外線を選択的に通過させるフィルタを使用することができる。
【0058】
図3Aに示すように、単一のフォトダイオードPD1～PD6の上方にCFAの各フィルタが配置されている。図3Aでは、マイクロレンズ（MLで示す）の一例も示されており、これらのマイクロレンズは、各カラーフィルタ上に形成するか、それ以外の方法で各カラーフィルタ上に配置することができ、アクティブ検出器の領域上に入射光を集光することができる。別の実装では、単一のフィルタの下方に複数個のフォトダイオードを有していてもよい（例えば、２個、４個またはそれ以上の個数の互いに隣接したフォトダイオードの集合体であってもよい）。この図に示した一例において、フォトダイオードPD1とフォトダイオードPD4は、赤色フィルタの下方に位置することから、赤色のチャネルの画素情報を出力し、フォトダイオードPD2とフォトダイオードPD5は、緑色フィルタの下方に位置することから、緑色のチャネルの画素情報を出力し、フォトダイオードPD3とフォトダイオードPD6は、青色フィルタの下方に位置することから、青色のチャネルの画素情報を出力する。さらに、以下で詳述するように、所定のフォトダイオードによる特定の色のチャネル出力は、アクティブな光源および／またはマルチバンドパスフィルタ205A，205Bを通過した特定の周波数帯に基づいて、さらに狭い周波数帯とすることができ、これによって、所定のフォトダイオードから、様々な露光により様々な画像チャネル情報を出力できるようになる。
【0059】
結像レンズ215A，215Bは、センサ領域225A，225B上で物体シーンの画像の焦点が合うように成形することができる。各結像レンズ215A，215Bは、図3Aに示すような単一の凸面レンズに限定されず、画像形成に必要とされる数の光学素子および表面で構成されていてもよく、市販または特注設計による様々な種類の結像レンズまたはレンズアセンブリを使用することができる。各光学素子またはレンズアセンブリは、止め輪またはベゼルを備えた光学機械式鏡筒を使用して、直列に収容または積み重なるように形成または互いに結合されていてもよい。いくつかの実施形態において、光学素子またはレンズアセンブリは、１つ以上の結合レンズ群を含んでいてもよく、結合レンズ群として、２つ以上の光学部品が接合されたものや、それ以外の方法で２つ以上の光学部品が結合されたものを挙げることができる。様々な実施形態において、本明細書に記載のマルチバンドパスフィルタは、マルチスペクトル画像システムのレンズアセンブリの前面に配置してもよく、マルチスペクトル画像システムの単レンズの前面に配置してもよく、マルチスペクトル画像システムのレンズアセンブリの後ろに配置してもよく、マルチスペクトル画像システムの単レンズの後ろに配置してもよく、マルチスペクトル画像システムのレンズアセンブリの内部に配置してもよく、マルチスペクトル画像システムの結合レンズ群の内部に配置してもよく、マルチスペクトル画像システムの単レンズの表面上に直接配置してもよく、マルチスペクトル画像システムのレンズアセンブリの素子の表面上に直接配置してもよい。さらに、アパーチャ210Aおよびアパーチャ210Bを取り除き、デジタル一眼レフ（DSLR）カメラまたはミラーレスカメラによる写真撮影で通常使用される種類のレンズをレンズ215A，215Bに使用してもよい。さらに、レンズ215A，215Bは、ＣマウントスレッドまたはＳマウントスレッドを装着に使用したマシンビジョンに使用される種類のレンズであってもよい。ピント調整は、例えば、手動フォーカス、コントラスト方式オートフォーカスまたはその他の適切なオートフォーカス技術に基づいて、センサ領域225A，225Bに対して結像レンズ215A，215Bを移動させることによって、あるいは結像レンズ215A，215Bに対してセンサ領域225A，225Bを移動させることによって行うことができる。
【0060】
各マルチバンドパスフィルタ205A，205Bは、狭い周波数帯の複数の光を選択的に通過するように構成することができ、例えば、いくつかの実施形態では10～50nmの周波数帯の複数の光（別の実施形態では、これよりも広い周波数帯または狭い周波数帯の複数の光）を選択的に通過するように構成することができる。図3Aに示すように、マルチバンドパスフィルタ205A，205Bはいずれも周波数帯λc（「共通周波数帯」）を通過させることができる。３つ以上の光路を備えた実装では、各マルチバンドパスフィルタは、この共通周波数帯を通過させることができる。このような方法によって、各センサ領域は、同じ周波数帯（「共通チャネル」）の画像情報を撮影する。以下でさらに詳細に述べるように、この共通チャネルで得られたこの画像情報を使用して、各センサ領域により撮影された一組の画像の位置合わせを行うことができる。いくつかの実装では、１つの共通周波数帯と、これに対応する共通チャネルを有していてもよく、あるいは、複数の共通周波数帯と、これらに対応する共通チャネルを有していてもよい。
【0061】
各マルチバンドパスフィルタ205A，205Bは、共通周波数帯λcに加えて、１つ以上の特有周波数帯を選択的に通過させるように構成することができる。このような方法によって、イメージングシステム200は、センサ領域205A，205Bにより一括して撮影される異なるスペクトルチャネルの数を、単一のセンサ領域により撮影可能なスペクトルチャネル数よりも多くすることができる。この態様は、特有周波数帯λu1を通過させるマルチバンドパスフィルタ205Aと、特有周波数帯λu2を通過させるマルチバンドパスフィルタ205Bとして、図3Aに示されており、ここでλu1およびλu2は、互いに異なる周波数帯を示す。この図では、２個の周波数帯の通過として示したが、本開示のマルチバンドパスフィルタは、それぞれ２個以上の周波数帯を一度に通過させることができる。例えば、図11Aおよび図11Bに関連して後述するように、いくつかの実装では、各マルチバンドパスフィルタは、４個の周波数帯を通過させることができる。様々な実施形態において、これよりも多くの周波数帯を通過させてもよい。例えば、４台のカメラを使用した実装では、８個の周波数帯を通過させるように構成されたマルチバンドパスフィルタを備えていてもよい。いくつかの実施形態において、周波数帯の数は、例えば、4個、5個、6個、7個、8個、9個、10個、12個、15個、16個またはそれ以上であってもよい。
【0062】
マルチバンドパスフィルタ205A，205Bは、それぞれに対応するセンサ領域225A，225Bにおける入射角度依存性のスペクトル透過が低下するように選択された湾曲を有する。この結果、物体空間から狭帯域の照明を受光する場合、その波長に感度を有するセンサ領域225A，225Bの表面全体に配置された各フォトダイオード（例えば、センサ領域を覆い、その波長を通過させるカラーフィルタ）は、図1Aに関連して前述したような、センサの端部近傍に配置されたフォトダイオードにおいて見られる波長のシフトは発生させず、実質的に同じ波長の光を受光すると考えられる。このような構成により、平坦なフィルタを使用した場合よりも正確なスペクトル画像データを生成することができる。
【0063】
図3Bは、図3Aに示したマルチアパーチャイメージングシステムの１つの光路を構成する光学部品の光学設計の一例を示す。より具体的には、図3Bは、マルチバンドパスフィルタ205A，205Bとして使用することができる特注の色消しダブレット240を示す。この特注の色消しダブレット240は、ハウジング250を通して光を通過させ、イメージセンサ225へと送る。ハウジング250は、前述したような、開口部210A，210Bおよび結像レンズ215A，215Bを備えていてもよい。
【0064】
色消しダブレット240は、マルチバンドパスフィルタコーティング205A，205Bに必要とされる表面を組み込んで導入されることから、光学収差を補正するように構成される。この図に示した色消しダブレット240は、分散度と屈折率が異なるガラスまたはその他の光学材料から作製することが可能な２枚のレンズを含む。別の実装では、３枚以上のレンズを使用してもよい。これらの色消しダブレットレンズの設計は、湾曲した前面242上にマルチバンドパスフィルタコーティング205A，205Bが組み込まれ、フィルタコーティング205A，205Bを蒸着した湾曲単レンズの光学面を組み込むことにより光学収差を打ち消し、色消しダブレット240の湾曲した前面242と湾曲した背面244の組み合わせ効果により屈折力または集光力を制限し、ハウジング250に収容されたこれらのレンズのみで、集光のための主要な素子を構成することができる。したがって、色消しダブレット240は、イメージングシステム200により撮影された画像データの精度の向上に寄与することができる。これらの個々のレンズは互いに隣接して装着することができ、例えば、個々のレンズを結合または接合することにより、一方のレンズの収差が他方のレンズの収差によって相殺されるように成形することができる。色消しダブレット240の湾曲した前面242または湾曲した背面244は、マルチバンドパスフィルタコーティング205A，205Bでコーティングすることができる。別のダブレット設計を本明細書に記載のシステムに実装してもよい。
【0065】
本明細書に記載の光学設計のさらなる変形例を実装してもよい。例えば、いくつかの実施形態において、図3Bに示すダブレット240の代わりに、図3Aに示す凸レンズ（正レンズ）または凹レンズ（負レンズ）のような、単レンズまたはその他の光学単レンズが光路に含まれていてもよい。図3Cは、平坦なフィルタ252をレンズのハウジング250とセンサ225の間に配置した実装の一例を示す。複数帯域透過特性を備えた平坦なフィルタ252を組み込んで導入した図3Cの色消しダブレット240は、ハウジング250に収容された各レンズの屈折力に顕著に寄与することなく、光学収差を補正する。図3Dは、ハウジング250内に収容されたレンズアセンブリの前面にマルチバンドパスコーティング254を施すことにより、マルチバンドパスコーティングが実装された実装の別の一例を示す。このように、このマルチバンドパスコーティング254は、ハウジング250内に収容されたどの光学素子のどの曲面に施してもよい。
【0066】
シングルアパーチャ・マルチスペクトルイメージングシステムおよびその方法
図４の（ａ）は、本開示によるマルチスペクトル画像システムの一例のシステムダイアグラムを示す。この設計において、カラーカメラはイメージセンサであるが、本発明の技術に従って、その他の種類の様々なイメージセンサを使用してもよい。このマルチスペクトル画像システムは、視野（FOV）を調整して画像を撮影できるように、電動ズームレンズを備えていてもよい。電動ズームレンズは、様々な撮影状況に応じて視野を調整することができるという点で有利な場合がある。例えば、創傷のイメージングにおける生物医学的な用途では、大きな面積の熱傷の撮像には、広い視野が望ましい場合があり、糖尿病性足部潰瘍（DFU）などの小さい面積の特徴の撮像には、狭い視野が望ましい場合がある。一例としての実施形態において、視野の直径は8cm～23cmの範囲であってもよいが、これに限定されない。電動ズームレンズとカラーカメラの間には、８バンド光学フィルタが配置され、この８個の周波数帯（バンド）は、マルチスペクトルイメージング帯域として設計されている。この特定の例において、８個の周波数帯（バンド）の中心波長は、それぞれ420nm、525nm、581nm、620nm、660nm、726nm、820nm、855nmであってもよい。同じスペクトル帯域を持つ８個の波長のLED光を照明用に提供することができる。いくつかの実施形態において、各周波数帯のLEDは、その他のLEDから独立して、選択的に点灯および消灯することができる。各LEDの前面には、各LEDに一致したスペクトル帯域を持つバンドパス光学フィルタが配置され、各LEDからの照明光のスペクトルの閉じ込めに利用される。
図４の（ａ）は、本開示によるマルチスペクトル画像システムの一例のシステムダイアグラムを示す。この設計において、カラーカメラはイメージセンサであるが、本発明の技術に従って、その他の種類の様々なイメージセンサを使用してもよい。このマルチスペクトル画像システムは、視野（FOV）を調整して画像を撮影できるように、電動ズームレンズを備えていてもよい。電動ズームレンズは、様々な撮影状況に応じて視野を調整することができるという点で有利な場合がある。例えば、創傷のイメージングにおける生物医学的な用途では、大きな面積の熱傷の撮像には、広い視野が望ましい場合があり、糖尿病性足部潰瘍（DFU）などの小さい面積の特徴の撮像には、狭い視野が望ましい場合がある。一例としての実施形態において、視野の直径は8cm～23cmの範囲であってもよいが、これに限定されない。電動ズームレンズとカラーカメラの間には、８バンド光学フィルタが配置され、この８個の周波数帯（バンド）は、マルチスペクトルイメージング帯域として設計されている。この特定の例において、８個の周波数帯（バンド）の中心波長は、それぞれ420nm、525nm、581nm、620nm、660nm、726nm、820nm、855nmであってもよい。同じスペクトル帯域を持つ８個の波長のLED光を照明用に提供することができる。いくつかの実施形態において、各周波数帯のLEDは、その他のLEDから独立して、選択的に点灯および消灯することができる。各LEDの前面には、各LEDに一致したスペクトル帯域を持つバンドパス光学フィルタが配置され、各LEDからの照明光のスペクトルの閉じ込めに利用される。
【0067】
図４の（ｂ）は、カラーカメラのRGBセンサの量子効率（Q%）を示す。青色の線、緑色の線および赤色の線は、それぞれカラーカメラの青色チャネル、緑色チャネルおよび赤色チャネルを示す。図４の（ｃ）は、８バンドフィルタの透過係数を示し、このスペクトルでは合計８個のバンドパス帯域が存在する。これらの８個のバンドパス帯域は、マルチスペクトルイメージング帯域として望ましいものである。これと同様に、図４の（ｄ）は、スペクトル上のそれぞれ独立した８個のLEDの照度（I0）を示す。これらのLEDの照明帯域は、８バンドフィルタ帯域と重ね合わせることができる。
【0068】
図５は、マルチスペクトルイメージング（MSI）の取得時のLED照明の時系列の一例と、この時系列に対応した各チャネルの検知係数を示す。このLED照明の時系列は、図４に示すマルチスペクトル画像システムを併用して実装してもよい。図５に示す時系列は、本発明の技術の範囲内で利用してもよい照明とスペクトルアンミキシングの実例の一例である。図４に示すマルチスペクトル画像システムは、本発明の技術の要旨または範囲から逸脱することなく、様々な時系列のLEDと組み合わせて使用してもよく、かつ／または図５に示す時系列は、様々なマルチスペクトル画像システムと組み合わせて使用してもよいと解釈される。
【0069】
第１段階において、図５の（Ｉ）のチャネル１、チャネル３およびチャネル５（420nm、581nmおよび660nm）のLED光を点灯する。この時間窓において、カラーカメラにより１枚の画像を取得する。３つの波長が光学フィルタを通過し、カラーカメラのRGBチャネルによって撮影され、これらの３つの波長は、（Ｉ）に示すようにフィルタ透過係数（T%）とRGB検知係数（Q%）が異なっている。次に、第２段階において、（II）に示すように、チャネル１、チャネル３およびチャネル５のLED光を消灯し、チャネル２、チャネル４およびチャネル６（525nm、620nmおよび726nm）のLED光を点灯する。上記と同様に、この時間窓においてカラーカメラにより１枚の画像を取得することによって、３つのカメラチャネルにより特定の係数を持つ３つの波長が撮影される。第３段階において、（III）に示すように、（726nmのチャネル６は点灯したまま）チャネル２およびチャネル４のLED光を消灯し、チャネル７およびチャネル８（820nmおよび855nm）のLED光を点灯して、カラーカメラにより、特定の係数を持つチャネル６、チャネル７およびチャネル８の波長に関する第３の画像を取得する。
【0070】
いくつかの実施形態において、最初の校正を実施することができる。まず、以下の順序で標準板（例えば白色のZenithターゲットなど）の３枚の画像をカラーカメラで取得する。すなわち、（１）LED照明を点灯していない時点；（２）チャネル１、チャネル３およびチャネル５（420nm、581nmおよび660nm）のLED光を点灯した時点（その他のLEDチャネルは消灯する）；（３）チャネル２、チャネル４およびチャネル６（525nm、620nmおよび726nm）のLED光を点灯した時点（その他のLEDチャネルは消灯する）；ならびに（４）チャネル６、チャネル７およびチャネル８（726nm、820nmおよび855nm）のLED光を点灯した時点（その他のLEDチャネルは消灯する）において、標準板の３枚の画像をカラーカメラで取得する。いくつかの実施形態において、標準板は、スペクトル全体の光子の約95%を反射する白色のZenithターゲットであってもよく、この標準板を用いて、照明のフラットフィールド補正を行うことができる。
【0071】
次に、同じ順序でイメージングターゲットの３枚の画像をカラーカメラで取得する（例えば、LED照明の点灯なし；次に、チャネル１、チャネル３およびチャネル５の点灯；次に、チャネル２、チャネル４およびチャネル６の点灯；最後に、チャネル６、チャネル７およびチャネル８の点灯）。背景差分とフラットフィールド補正を行うことによって、下記式を用いることができる。
式中、I0は、入射照度であり、R%は、イメージングターゲットの反射係数であり（この反射係数が、計算の対象となる未知のスペクトルに相当する）、T%は、LEDフィルタと８バンドフィルタの透過係数であり、Q%は、カラーカメラの量子係数である。カラーカメラの画像は、３つの既知量として３つのチャネル（青色、緑色、赤色）を有し、LED照明は、同時に３つの波長しか含んでおらず、３つのスペクトル帯域の反射係数（例えば、チャネル１、チャネル３およびチャネル５のR%）が、同時に計算される３つの未知量であることから、以下の行列演算式（一例として、チャネル１、チャネル３およびチャネル５を用いている）に基づくアンミキシング行列によって、３つのチャネルの未知量であるR%を求めることができる。
式中、［R%チャネル１ R%チャネル２ R%チャネル３］は３つの未知量であり、［画像青，画像緑，画像赤］は３つの既知量であり、［I0×T%×Q%］は、アンミキシング係数行列である。したがって、反射係数は以下の式で求めることができる。
【数1】
【数2】
【数3】
【0072】
同様に、特定の波長の組み合わせでLED照明を点灯した場合の、その他のチャネル、すなわち、チャネル２、チャネル４、チャネル６、チャネル７およびチャネル８（525nm、620nm、726nm、820nmおよび855nm）の反射係数も、対応するアンミキシング行列により求められる。したがって、３つのアンミキシング行列により得られた各チャネルごとの画像に基づいて、８枚のMSI画像が生成される。
【0073】
図５を参照して上記で述べた画像取得の時系列とLED照明の組み合わせは、８枚のMSI画像を取得する方法の一例である。実用に際しては、LED照明と画像取得の時系列は、様々な組み合わせおよび／または様々なタイミングで設計することができ、LED照明と画像取得の時系列の組み合わせは、ハードウェアの性能や経験則などに基づいて選択して使用してもよい。別の一方法として、各LED波長が個別に点灯するように設計する場合、モノクロカメラを使用することができ、したがって、アンミキシング行列は必要とされない。この場合、MSIの性能は、ターゲットを撮影し、MSI画像の品質をスペクトルの真値と比較すること（すなわち色校正）によって評価することができる。
【0074】
シングルアパーチャ・マルチスペクトルイメージングシステムの実装およびその結果の一例
図６および図７は、本明細書に開示されたMSIシステムおよびその方法を利用して実装してもよいシングルアパーチャ・シングルカメラ・マルチスペクトル画像取得装置を具体化した実施形態の一例を示す。図６は、前述の多重化照明を行うためのLEDアレイとカメラとを備えたハンドヘルド型装置の透視図である。図６に示すこのハンドヘルド型装置内には、１つ以上のプロセッサと、取得した画像データを格納するためのメモリとが含まれていてもよい。本明細書に開示したスペクトルアンミキシングおよび／または本明細書で後述する個々のスペクトル画像の生成などのさらなる画像データ処理は、図６に示すハンドヘルド型装置内で行ってもよく、あるいは本開示の範囲から逸脱することなく、１つ以上の遠隔演算装置の完全な制御または部分的な制御のみで行ってもよく、または図６に示すハンドヘルド装置を併用して１つ以上の遠隔演算装置の完全な制御または部分的な制御により行ってもよい。
図６および図７は、本明細書に開示されたMSIシステムおよびその方法を利用して実装してもよいシングルアパーチャ・シングルカメラ・マルチスペクトル画像取得装置を具体化した実施形態の一例を示す。図６は、前述の多重化照明を行うためのLEDアレイとカメラとを備えたハンドヘルド型装置の透視図である。図６に示すこのハンドヘルド型装置内には、１つ以上のプロセッサと、取得した画像データを格納するためのメモリとが含まれていてもよい。本明細書に開示したスペクトルアンミキシングおよび／または本明細書で後述する個々のスペクトル画像の生成などのさらなる画像データ処理は、図６に示すハンドヘルド型装置内で行ってもよく、あるいは本開示の範囲から逸脱することなく、１つ以上の遠隔演算装置の完全な制御または部分的な制御のみで行ってもよく、または図６に示すハンドヘルド装置を併用して１つ以上の遠隔演算装置の完全な制御または部分的な制御により行ってもよい。
【0075】
図７は、合計24個のLEDを含むLED構成の一例を示す。このLED構成では、波長帯域が異なる８種のLEDが３個ずつ、画像取得装置のシングルアパーチャを取り囲むように環状に配置されている。複雑さに起因するアンミキシングの誤差を減少させるため、LED照明の色の数を８つの波長に増やしている。個々のLEDは、所定のMSIスペクトル帯域をカバーし、その中心波長はそれぞれ約420nm、約525nm、約581nm、約620nm、約660nm、約726nm、約820nmおよび約880nmであってもよい。このイメージセンサは、シングルアパーチャ設計であることから、照明基板とイメージセンサの正面の大きさが小さくなるように、LEDの新たな空間配置を開発した。環状の設計であることから、LED照明から中心のカメラアパーチャへの光子の収集効率が望ましいものとなる。所望の作動距離（例えば、いくつかの実施形態では40cm）において均一な照射を得るため、照明基板上の各LEDの色は、最大で３個以上のLEDで構成されていてもよく、各LEDのビームの開きは120°であってもよい。照明基板上に拡散板を配置することができる。LEDと拡散板の間で十分な距離を確保して拡散板への熱損傷を防止するため、スペーサーを所定の位置に配置する。画像収集時系列の設計を最適化するために様々な色の組み合わせを試験できるように、イメージングヘッド（例えば、図６に示すハンドヘルド装置）に組み込まれた１つ以上のプロセッサを用いて、個々のLEDを制御することができる。さらに、このような構成とすることによって、個々の光源の照度の校正時間を調整して高いシグナル／ノイズ比を得ることができる。
【0076】
図８～10は、本発明の技術によるシングルアパーチャシステムによる試験の結果を示す。図８は、７種のカラーLEDで照明を照射した条件で、単レンズ・シングルアパーチャ・シングルカメラシステムを用いて撮影し、周囲の室内灯を背景として差分したマクベスターゲットとZenithターゲットのRGB画像を示す。この試験例では、照明基板上に７種のカラーLED（青色、緑色、ＰＣアンバー、深紅色、遠赤外線、NIR IおよびNIR II）を配置し、時系列に沿って個別に点灯および消灯させ、８種のMSI用バンドパス光学フィルタ（中心波長／全幅半値（FWHM）：420/10nm、520/10nm、580/10nm、620/10nm、660/10nm、730/10nm、810/10nmおよび850/10nm）を用いて、RGBカメラ上で合計7×8=56枚の画像を取得した。
【0077】
リニアな後処理方法により、同じ色のLEDを照射し８種のフィルタを通して取得した８枚の画像を加算すると、７種の照明条件により取得した７枚のRGB画像を８バンドフィルタに通したものと同じ値となった。分光分析用にマクベスターゲットを撮像し、フラットフィールド補正用に95%の反射率のZenithターゲットを撮像した。次に、アンミキシングアルゴリズムを用いて８枚のMSI画像を生成した。アンミキシングの原理は本明細書で概説している。検出されたシグナル（S）は、照度（I）と、ターゲットの反射率（R）と、レンズおよびバンドパスフィルタを含む光学系の透過係数（T）と、スペクトル帯域（λ）におけるセンサの量子効率（Q）とを掛けたものの積分値であり、以下の式で示される。
測定の目的はターゲットの反射率（R）であり、検出されたシグナル（S）が直接的な測定値である。８バンドフィルタは、８つの所定のMSIスペクトルウィンドウのみに光の透過を閉じ込めることから、Rの未知の測定値は８つのみである。７種のカラーLED照明（I）を調節し、量子効率（Q）が同じ３つのスペクトルセンサ（すなわちRGBチャネル）を用いることによって、十分な既知量（7×3=21）を用いたリニアなアンミキシング行列演算を行って、８つの未知量を求めることができる。このプロセスにより生成された８枚のMSI画像を図９に示す。
【数4】
【0078】
MSI画像を生成した後、マクベスターゲットの各パッチのMSIスペクトルと、校正した分光計で測定した真値とを比較することによって、スペクトルの正確性を分析した。比較結果を図10に示す。比較した結果、本発明の提案により改良されたシングルアパーチャMSIシステムの設計において、スペクトル測定の正確性が高いことが示された（平均相関係数＝0.97）。
【0079】
用語
本明細書に記載の方法およびタスクはすべてコンピュータシステムにより実行されてもよく、完全に自動化されていてもよい。場合によっては、このコンピュータシステムは、ネットワーク上で通信し相互運用して、本明細書で述べる機能を実行する別々の複数のコンピュータまたはコンピュータ装置（例えば、物理サーバ、ワークステーション、ストレージアレイ、クラウドコンピューティングリソースなど）を含む。このようなコンピュータ装置は、いずれも、通常、メモリまたはその他の非一時的なコンピュータ可読記憶媒体もしくは非一時的なコンピュータ可読記憶装置（例えば、ソリッドステート記憶装置、ディスクドライブなど）に格納されたプログラム命令またはプログラムモジュールを実行するプロセッサ（または複数のプロセッサ）を含む。本明細書で開示した様々な機能は、そのようなプログラム命令で具体化してもよく、コンピュータシステムの特定用途向け回路（例えば、ASICやFPGA）の形態で実装してもよい。コンピュータシステムが複数のコンピュータ装置を含む場合、これらの装置は、同じ場所に配置してもよいし、別の場所に配置してもよい。本明細書で開示した方法およびタスクによる結果は、ソリッドステートメモリチップや磁気ディスクなどの物理的記憶装置を様々な形態に変換することによって、永続的に保存してもよい。いくつかの実施形態において、コンピュータシステムは、複数の別個の企業体またはその他のユーザにより処理リソースが共有されるクラウドベースのコンピューティングシステムであってもよい。
本明細書に記載の方法およびタスクはすべてコンピュータシステムにより実行されてもよく、完全に自動化されていてもよい。場合によっては、このコンピュータシステムは、ネットワーク上で通信し相互運用して、本明細書で述べる機能を実行する別々の複数のコンピュータまたはコンピュータ装置（例えば、物理サーバ、ワークステーション、ストレージアレイ、クラウドコンピューティングリソースなど）を含む。このようなコンピュータ装置は、いずれも、通常、メモリまたはその他の非一時的なコンピュータ可読記憶媒体もしくは非一時的なコンピュータ可読記憶装置（例えば、ソリッドステート記憶装置、ディスクドライブなど）に格納されたプログラム命令またはプログラムモジュールを実行するプロセッサ（または複数のプロセッサ）を含む。本明細書で開示した様々な機能は、そのようなプログラム命令で具体化してもよく、コンピュータシステムの特定用途向け回路（例えば、ASICやFPGA）の形態で実装してもよい。コンピュータシステムが複数のコンピュータ装置を含む場合、これらの装置は、同じ場所に配置してもよいし、別の場所に配置してもよい。本明細書で開示した方法およびタスクによる結果は、ソリッドステートメモリチップや磁気ディスクなどの物理的記憶装置を様々な形態に変換することによって、永続的に保存してもよい。いくつかの実施形態において、コンピュータシステムは、複数の別個の企業体またはその他のユーザにより処理リソースが共有されるクラウドベースのコンピューティングシステムであってもよい。
【0080】
本明細書で開示したプロセスは、ユーザまたはシステムアドミニストレータによって要求が開始された際に、所定のスケジュールや動的に決定したスケジュールなどのイベントに応答して開始してもよく、その他のいくつかのイベントに応答して開始してもよい。前記プロセスが開始されたら、１つ以上の非一時的なコンピュータ可読媒体（例えば、ハードドライブ、フラッシュメモリ、取り外し可能な媒体など）に格納された実行可能プログラム命令群を、サーバまたはその他のコンピュータ装置のメモリ（例えばRAM）にロードしてもよい。次に、実行可能命令は、コンピュータ装置が備えるハードウェアベースのコンピュータプロセッサにより実行してもよい。いくつかの実施形態において、本明細書で開示したプロセスまたはその一部は、直列または並列に、複数のコンピュータ装置および／または複数のプロセッサ上に実装してもよい。
【0081】
実施形態に応じて、本明細書に記載のプロセスまたはアルゴリズムのいずれかによる特定の行為、イベントまたは機能は、異なる順序で行うことができ、互いに付加することができ、互いに合体することができ、すべてを省略することができる（例えば、本明細書に記載の作動およびイベントのすべてが、本明細書に記載のアルゴリズムの実行に必要とは限らない）。さらに、特定の実施形態において、複数の作動またはイベントは、例えば、マルチスレッド処理、割り込み処理、もしくは複数のプロセッサもしくは複数のプロセッサコアを使用して、またはその他の並列構造上で、順次ではなく同時に行うことができる。
【0082】
本明細書で開示した実施形態に関連して述べた例示的な様々な論理ブロック、モジュール、ルーチン、およびアルゴリズムの工程は、電子機器（例えばASICまたはFPGA装置）、コンピュータハードウェア上で作動するコンピュータソフトウェア、またはこれらの組み合わせとして実装することができる。さらに、本明細書で開示した実施形態に関連して述べた例示的な様々な論理ブロックおよびモジュールは、プロセッサ装置、デジタルシグナルプロセッサ（「DSP」）、特定用途向け集積回路（「ASIC」）、フィールドプログラマブルゲートアレイ（「FPGA」）もしくはその他のプログラマブルロジックデバイス、ディスクリートゲートロジックもしくはトランスファーロジック、ディスクリートハードウェアコンポーネント、または本明細書に記載の機能を実行するように設計された、これらの部品の組み合わせなどの機器により実装することができる。プロセッサ装置はマイクロプロセッサであってもよいが、別の態様において、プロセッサ装置は、制御装置、マイクロコントローラまたは状態機械、これらの組み合わせなどであってもよい。プロセッサ装置は、コンピュータ実行可能命令を処理するように構成された電気回路を含んでいてもよい。別の一実施形態において、プロセッサ装置は、FPGAを含むか、またはコンピュータ実行可能命令を処理することなく論理演算を行うその他のプログラマブルデバイスを含む。また、プロセッサ装置は、コンピュータ装置の組み合わせとして実装することができ、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSPコアと１個以上のマイクロプロセッサの組み合わせ、またはこのようなその他の構成として実装することができる。本明細書では、主にデジタル技術に関して説明をしてきたが、プロセッサ装置は、主にアナログ部品を含んでいてもよい。例えば、本明細書に記載のレンダリング技術のすべてまたはそのうちの一部は、アナログ回路を使用して、またはアナログ回路とデジタル回路を併用して実装してもよい。コンピューティング環境は、何らかの種類のコンピュータシステムを含むことができ、このコンピュータシステムとして、いくつか例を挙げれば、マイクロプロセッサに基づくコンピュータシステム、メインフレームコンピュータ、デジタルシグナルプロセッサ、携帯型コンピュータ装置、デバイスコントローラ、電気器具内のコンピュータエンジンなどがあるが、これらに限定されない。
【0083】
本明細書で開示した実施形態に関して述べた方法、プロセス、ルーチンまたはアルゴリズムの構成要素は、ハードウェアで直接具現化することができ、プロセッサ装置により実行されるソフトウェアモジュールで直接具現化することもでき、またはこれらのハードウェアとソフトウェアモジュールの組み合わせで直接具現化することもできる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、またはその他の形態の非一時的なコンピュータ可読記憶媒体に含まれていてもよい。典型的な記憶媒体は、プロセッサ装置がこのような記憶媒体から情報を読み取ったり、このような記憶媒体に情報を書き込んだりできるように、プロセッサ装置に接続することができる。この態様において、記憶媒体はプロセッサ装置にとって不可欠でありうる。このプロセッサ装置および記憶媒体は、ASICに含まれていてもよい。このASICは、ユーザ端末に含まれていてもよい。この態様において、このプロセッサ装置および記憶媒体は、ユーザ端末のディスクリート部品として存在していてもよい。
【0084】
本明細書で使用されている、「できる」、「場合がある」、「可能性がある」、「してもよい」、「例えば」などの、条件を示す用語は、別段の記載がない限り、あるいはこれらの用語が使用されている文脈上で別の意味に解釈されない限り、通常、特定の実施形態が特定の特徴、構成要素または工程を含み、別の実施形態には、これらの特徴、構成要素または工程が含まれないことを意味する。したがって、条件を示すこのような用語は、通常、特定の実施形態において特定の特徴、構成要素または工程が含まれるのか、あるいは実施されるのかにかかわらず、その他の入力やプロンプティングの存在下または非存在下において、１つ以上の実施形態が、これらの特徴、構成要素または工程を何らかの形で必要とすることや、１つ以上の実施形態が、決定のロジックを必然的に含むことを含意しない。また、「含む」、「備える」、「有する」などの用語は同義語であり、オープンエンド形式で包括的な意味で使用され、追加の構成要素、特徴、行為、作動などを除外するものではない。さらに、「または」という用語も、（排他的な意味ではなく）包括的な意味で使用され、例えば、「または」という用語が、構成要素を列記するために使用された場合、列記された構成要素のうちの１つ、その一部またはすべてを意味する。
【0085】
別段の記載がない限り、「Ｘ、ＹまたはＺの少なくとも１つ」などの選言的な用語は、本明細書中において、通常、特定の項目や用語などが、Ｘ、ＹもしくはＺ、またはこれらの任意の組み合わせ（例えば、Ｘ、ＹまたはＺ）であってもよいことを示すために使用されると理解される。したがって、このような選言的な用語は、通常、特定の実施形態において、Ｘの少なくとも１つと、Ｙの少なくとも１つと、Ｚの少なくとも１つのそれぞれの存在が必要であることを意味することを意図せず、そのように意図されるべきではない。
【0086】
前述の詳細な説明において、様々な実施形態として適用される新規な特徴を示し、説明し、指摘してきたが、前述の装置またはアルゴリズムの形態およびその細部は、本開示の範囲から逸脱することなく、様々に省略、置換および変更することができることを理解できるであろう。本明細書に示した特徴のいくつかは、その他の特徴とは別々に使用または実施できることから、本明細書に記載の特定の実施形態は、本明細書に示された特徴および利点のすべてを提供するわけではない形態として具体化することができることは容易に理解できるであろう。請求項の記載と等価の意味および範囲内のあらゆる変更は、これらの請求項の範囲内に包含される。
【図1A-B】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10-1】
【図10-2】
【国際調査報告】