(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-26
(45)【発行日】2023-07-04
(54)【発明の名称】個別の狭帯域同期照明によるカラー画像形成
(51)【国際特許分類】
A61B 1/045 20060101AFI20230627BHJP
A61B 1/06 20060101ALI20230627BHJP
A61B 1/00 20060101ALI20230627BHJP
G01N 21/27 20060101ALI20230627BHJP
【ＦＩ】
A61B1/045 610
A61B1/06 610
A61B1/045 632
A61B1/00 510
G01N21/27 A
【請求項の数】
8
(21)【出願番号】P 2018569100
(86)(22)【出願日】2017-06-27
(65)【公表番号】
(43)【公表日】2019-08-08
(86)【国際出願番号】 IL2017050715
(87)【国際公開番号】W WO2018002923
(87)【国際公開日】2018-01-04
【審査請求日】2020-06-23
(31)【優先権主張番号】62/354,821
(32)【優先日】2016-06-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518461621
【氏名又は名称】ウォシャブスキ，オムリ
【氏名又は名称原語表記】ＷＡＲＳＨＡＶＳＫＩ，Ｏｍｒｉ
【住所又は居所原語表記】１６ Ｈａ－Ｓｎｏｎｉｔ Ｓｔｒｅｅｔ，ＰＯ Ｂｏｘ ２０１７０，２０１７０００ Ａｔｚｍｏｎ Ｓｅｇｅｖ，Ｍ．Ｐ Ｍｉｓｇａｖ，ＩＳＲＡＥＬ
(74)【代理人】
【識別番号】100105946
【弁理士】
【氏名又は名称】磯野 富彦
(72)【発明者】
【氏名】ウォシャブスキ，オムリ
【審査官】牧尾 尚能
(56)【参考文献】
【文献】特開２００９－０９４８９５（ＪＰ，Ａ）
【文献】米国特許出願公開第２００２／０００１０８０（ＵＳ，Ａ１）
【文献】特開２００６－１８９２９１（ＪＰ，Ａ）
【文献】特開平０１－２８０４４８（ＪＰ，Ａ）
【文献】特開２００９－１３１３２４（ＪＰ，Ａ）
【文献】特開２０１６－０３２４９４（ＪＰ，Ａ）
【文献】特開２０１６－００７３５５（ＪＰ，Ａ）
【文献】特開２００６－３４１０２５（ＪＰ，Ａ）
【文献】国際公開第２００５／０７１３７２（ＷＯ，Ａ１）
【文献】特開２００６－１４０７６７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－ １／３２
Ｇ０２Ｂ ２３／２４－２３／２６
(57)【特許請求の範囲】
【請求項1】
照明源の数が４から５０の間であるそれぞれ異なる狭波長帯域を有する独立した狭帯域照明源（１０）と、単色イメージセンサ（１８）と、プロセッサ（１２）と、を備え、内腔を照明して前記内腔のカラー画像を形成するカラー画像形成システムの作動方法において、
前記プロセッサが、照明プロトコルサイクル（２０１、２０２）を実行するために前記狭帯域照明源を制御し、前記単色イメージセンサが前記狭帯域照明源の発光と同期して前記内腔の個別の狭帯域画像フレームを捕捉したら、前記プロセッサが、特定の色空間（３００）に対する前記狭帯域画像フレームのそれぞれの寄与を示す所定の重み係数を使用して（４３０）、前記重み係数を使用して異なる前記狭帯域画像フレームの重み付き合計として、対応する高忠実度カラー画像を生成し、前記高忠実度カラー画像を１００ミリ秒未満の待ち時間で出力し（４４０）、
前記重み係数の各々は、前記照明プロトコルサイクルにおける、生成された前記高忠実度カラー画像に対する捕捉された前記個別の狭帯域画像フレームの各々の寄与を表す、カラー画像形成システムの作動方法。
【請求項2】
前記プロセッサは、更に、前記個別の狭帯域画像フレームを使用して、前記個別の狭帯域画像フレームの分析により情報を抽出し（４５０）、
抽出された前記情報は、対応する前記高忠実度カラー画像を計算するために使用される追加の情報であると共に、前記高忠実度カラー画像の分析、前記高忠実度カラー画像の強調、及び／又は前記高忠実度カラー画像と並行して追加の情報の提供するために使用される、請求項１記載のカラー画像形成システムの作動方法。
【請求項3】
前記狭帯域照明源は、２０ｎｍ未満のスペクトルパワー分布を有する狭帯域照明源である、請求項１記載のカラー画像形成システムの作動方法。
【請求項4】
前記カラー画像形成システムは、外部コマンド又は所定の応答に従って、前記照明プロトコルサイクルの特性を制御するシステムコントローラを更に備え、前記システムコントローラは、
（i）前記照明プロトコルサイクルにおける照明波長帯域の数を変更する（２０１、２０２）、
（ii）前記狭帯域照明源の照明の順序を変更する（２０１、２０２）、
（iii）前記照明プロトコルサイクルにおける前記単色イメージセンサのフレームの個別の露光時間を制御する、
（iv）前記狭帯域照明源の個別の明るさのレベルを制御する、
（v）前記狭帯域照明源の個別の照明間隔の継続時間を制御する、
のうち少なくとも１つを実行し、
前記照明プロトコルサイクルは、単一のカラー画像フレームの構成用のデータを生成し、前記照明プロトコルサイクルは、向上した情報コンテンツを提供すると同時に低待ち時間及び高解像度で高忠実度カラー画像を提供するために動作する、反復照明プロトコルの１つのサイクルである、請求項３記載のカラー画像形成システムの作動方法。
【請求項5】
前記プロセッサは、更に、前記個別の狭帯域画像フレームを使用して、前記個別の狭帯域画像フレームの分析により情報を抽出し（４５０）、
抽出された前記情報は、対応する前記高忠実度カラー画像を計算するために使用される追加の情報であると共に、前記高忠実度カラー画像の分析、前記高忠実度カラー画像の強調、及び／又は前記高忠実度カラー画像と並行して追加の情報の提供するために使用される、請求項３記載のカラー画像形成システムの作動方法。
【請求項6】
抽出された前記情報は、（i）蛍光、（ii）自家蛍光、（iii）移動する物体、（iV）血流、（V）反射光のスペクトル分析により得られる他の適切なデータ、（Vi）深度情報のうち少なくとも１つを有する、請求項５記載のカラー画像形成システムの作動方法。
【請求項7】
前記プロセッサは、人間の可視領域外の波長での狭帯域照明フレームを更に使用し、前記狭帯域の波長は、前記人間の可視領域外であり、
前記照明スペクトルは、前記単色イメージセンサの検知範囲内である、請求項５記載のカラー画像形成システムの作動方法。
【請求項8】
前記照明プロトコルサイクルは、２つ以上の狭帯域照明源を動作させる照明間隔を含み（２０２）、又は、前記照明プロトコルサイクルは、特定の照明スペクトル帯域のための２つ以上の照明間隔を含む（２０２）、請求項５記載のカラー画像形成システムの作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、暗い中空環境に関する情報を取得するための方法に関し、より具体的には内視鏡検査及びロボット手術に関する。
【背景技術】
【0002】
カラー画像は、一般に、自然の広帯域光（「白色光」）及びイメージセンサ上に適用された３つのフィルタのセットを使用して取り込まれる。カラー画像は、通常、人間の目の錐体細胞の分光感度を模した３つの異なるカラー層（赤、緑、青）を含む。カラー画像内の各画素がこれらの３つの値又はそれらの派生物のうちの１つによって表される場合、異なるカラー層を組み合わせてカラー画像を作成する。いくつかの既知の内視鏡検査方法は、色を分離するために光源及び複数のフィルタを使用し、それにより光強度の大部分を失う。これは、イメージセンサの露光時間の延長及び／又は内視鏡の入力における非常に強くて扱いにくい照明光源の利用を必要とする。
【0003】
さらに、いくつかの画像形成方法は、スペクトル情報、例えばマルチスペクトル又はハイパースペクトル情報を記録すること、及び／又は高品質のカラー画像を生成するために大量のスペクトルチャネルを使用することを目的としている。いくつかの方法は、画像内の見えにくい特徴を強化ために、カラー画像から反射スペクトルを推定するために既知のスペクトルの大量の画像のセットを使用する。
【発明の概要】
【課題を解決するための手段】
【0004】
本発明のいくつかの実施形態の態様によれば、照明の複数の所定の波長帯域に対して、特定の色空間に対する各波長帯域の寄与を示す重み係数を計算し、それぞれが異なる所定の狭波長帯域における導波路を介して照明を提供するように構成された複数の照明源のそれぞれの照明間隔を個別的に制御し、イメージセンサを制御して、照明間隔と同期して一連の単色画像フレームを捕捉し、捕捉した一連の単色画像フレームを受取り、それぞれ対応する係数により重み付けられた一連の画像フレームの組み合わせを計算して、カラー画像を形成することを備えるカラー画像形成方法を提供する。
【0005】
任意選択的に、方法は、照明源の少なくとも１つを介して送られる照明と同期して単色のイメージセンサの露光時間を調整することを備える。
【0006】
任意選択的に、方法は、照明の１つ以上の所定のプログラムされた操作プロトコルに従って、照明源を操作することを備える。
【0007】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、各照明間隔にて、他の照明波長域の他の照明源が動作する。
【0008】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、少なくとも２つの照明間隔は異なる継続時間を有する。
【0009】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、所定の波長帯域は、１つの以上の照明間隔で動作する。
【0010】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、１つ以上の照明帯域は、少なくとも１つの照明間隔の間に同時に動作する。
【0011】
任意選択的に、方法は、一定の期間の間照明を提供しないように照明源を制御して、照明源により照明が提供されないときにイメージセンサにより画像データを捕捉することにより基本照明レベルを検出し、検出した基本照明レベルに基ついて、画像データ及び／又は生成されたカラー画像をキャリブレートすることを備える。
【0012】
任意選択的に、方法は、蛍光、自家蛍光、スペックルパターン及びストラクチャード・ライトを含むリストの少なくとも１つについての情報を受け取ったフレームから抽出することを備える。
【0013】
任意選択的に、方法は、人間の可視範囲外であるが、イメージセンサの検知範囲内である波長の照明を備える。
【0014】
任意選択的に、方法は、受け取ったフレームに含まれる検知された反射光のコヒーレンスから情報を抽出することを備える。
【0015】
任意選択的に、方法は、ストラクチャード・ライトパターンの変形から深度情報を抽出することを備える。
【0016】
任意選択的に、方法は、照明間隔の間にコヒーレント照明が適用されるとき、捕捉された光帯域のいくつかにおいて識別されたスペックルパターンにおける画像強度の標準偏差における時間的変化を抽出することを備える請求項１記載の方法。
【0017】
本発明のいくつかの実施形態の態様によれば、それぞれが異なる所定の狭波長帯域における導波路を介して照明を提供するように構成された複数の照明源と、コードを実行するように構成されたプロセッサと、を備え、コードは、複数の照明源のそれぞれの照明間隔を個別的に制御し、イメージセンサを制御して、照明間隔と同期して一連の単色画像フレームを捕捉し、捕捉した一連の単色画像フレームを受取り、受け取った捕捉した画像フレームからカラー画像を生成する、命令を含むカラー画像形成システムを提供する。
【0018】
任意選択的に、システムは、異なる照明源から照明を送るように構成された１つ以上の導波路と、単色イメージセンサとを備える検知モジュール備える。
【0019】
任意選択的に、プロセッサは、照明の所定のプログラムされた操作プロトコルに従って、照明源を動作させる。
【0020】
任意選択的に、プロセッサは、照明のダイナミック制御操作プロトコルに従って、照明源を動作させる。
【0021】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、各照明間隔にて、他の照明波長域の他の照明源が動作する。
【0022】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、少なくとも２つの照明間隔は異なる継続時間を有する。
【0023】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、所定の波長帯域は、１つの以上の照明間隔で動作する。
【0024】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、１つ以上の照明帯域は、少なくとも１つの照明間隔の間に動作する。
【0025】
任意選択的に、プロセッサは、一定の期間の間照明を提供しないように照明源を制御して、照明源により照明が提供されないときにイメージセンサにより画像データを捕捉することにより基本照明レベルを検出し、検出した基本照明レベルに基ついて、画像データ及び／又は生成されたカラー画像をキャリブレートするように構成される。
【0026】
任意選択的に、プロセッサは、蛍光、自家蛍光、スペックルパターン及びストラクチャード・ライトを含むリストの少なくとも１つについての情報を受け取ったフレームから抽出するように構成される。
【図面の簡単な説明】
【0027】
開示された主題のいくつかの非限定的な例示的実施形態又は特徴は、以下の図面に示されている。
【発明を実施するための形態】
【0028】
ここで詳細に図面を具体的に参照すると、示される詳細は例示であり、本発明の実施形態の例示的な説明の目的のためであることを強調する。この点に関して、図面と共に行われる説明は、本発明の実施形態がどのように実施され得るかを当業者に明らかにする。
【0029】
１つ又は複数の図面に現れる同一又は重複又は同等又は類似の構造、要素、又は部分は、全般的に、同一の符号、任意選択的に追加の文字、又は類似の物又は物の変形を区別するための文字を付し、繰り返し符号を付す及び／又は説明をしない。以前に示した要素の言及は、それらが現れる図面又は説明を更に引用する必要なく暗示されている。
【0030】
図面に示される構成要素及び特徴の寸法は、提示の便宜又は明確さのために選択されており、必ずしも一定の縮尺又は正確な視点で示されているわけではない。便宜上又は明確にするために、いくつかの要素又は構造は示されていないか、又は部分的に及び／又は異なる視点で又は異なる観点から示されている。
【0031】
本発明のいくつかの実施形態は、例えば人体の内部及び／又は別の閉じた中空空間等の空間光がない暗い非照明環境のカラー画像形成（color imaging）のためのシステム及び方法を提供する。
【0032】
本発明のいくつかの例示的な実施形態は、胃腸内視鏡検査及び／又は任意の他の体内の内腔の撮像に適用可能である。しかしながら、本発明はこれに関して限定されず、他の適切な用途に適用してもよい。
【0033】
例えば、色の分離のためのフィルタの使用及び／又は高品質のカラー画像の生成のための大量のカラーチャネルの使用により、情報の捕捉及び送信の限定された効率を可能にする画像化方法がある。上述のように、いくつかの画像形成方法は、スペクトル情報、例えばマルチスペクトル又はハイパースペクトル情報を記録することを目的としている。しかしながら、これらの方法は、スペクトル情報を捕捉するために、画像情報、例えば空間的又は時間的な画像の次元（dimensions）を失わせる。加えて、そのような方法は通常、低いフレームレート及び／又は劣化した空間解像度を有する画像及び／又は他のデータを提供し、リアルタイム用途には不適当になり、及び／又は一度に特定の領域の検査又はイメージセンサにより視野の交互の走査を必要とする。
【0034】
本発明のいくつかの実施形態は、効率の問題を解決し、撮像装置によって暗い環境で捕捉した向上した情報コンテンツを提供し、同時に低待ち時間及び高解像度で忠実度が高いカラー画像を提供する。解決には、カラーフィルタを使用せずに、さまざまなスペクトル帯域の照明間隔と同期して画像を捕捉するモノクロイメージセンサが含まれる。いくつかの実施形態では、単色画像は、各スペクトル帯域ごとに異なる間隔で、所定の別個のスペクトル帯域のセットのそれぞれで照明しながら捕捉される。さらに、いくつかの実施形態では、捕捉されたスペクトルデータのいくつかは、オブジェクトの反射スペクトルから追加の情報内容、例えば従来のカラー空間の赤、緑及び青（ＲＧＢ）画像で表現されない情報を得るために使用される。
【0035】
本発明のいくつかの実施形態は、システム、方法、及び／又はコンピュータプログラム製品を含むことができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有する有形の非一時的なコンピュータ可読記憶媒体（又は複数の媒体）を含むことができる。本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は任意のオブジェクト指向プログラミング言語及び／又は従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードのいずれかであることができる。
【0036】
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の説明及び／又は図面及び／又は実施例に示される、構成の詳細及び構成要素の配置及び／又は方法に必ずしも限定されないことを理解されたい。本発明は、他の実施形態も可能であり、又は様々な方法で実施又は実行することが可能である。
【0037】
ここで本発明のいくつかの実施形態によるカラー画像形成システム１００の概略図である図１を参照する。システム１００は、照明モジュール１０、内視鏡などの検知モジュール１１、及び少なくとも１つのハードウェアプロセッサ１２を含むことができる。プロセッサ１２は、非一時的なハードウェアメモリ１４を含む及び／又は通信することができる。メモリ１４は、プロセッサ１２によって実行可能なコード命令を格納することができる。いくつかの実施形態において、格納された命令を実行することは、プロセッサ１２に本明細書に記載された方法を実行させる。
【0038】
照明モジュール１０は、コントローラ１３と複数の照明源、例えば照明源１０ａ～１０ｆとを含むことができる。本発明は、特定の数の照明源に限定されない。いくつかの実施形態では、照明源の数は４から５０の間である。コントローラ１３はプロセッサ１２から命令を受け取り、及び／又はコントローラ１３及び／又はメモリ１４に格納されたコード命令のセットを実行することによって動作する。コントローラ１３は、照明源１０ａ～１０ｆを別々に制御することができ、例えば所定の照明パターンに従って、例えばそれぞれ異なる間隔で異なるスペクトル帯域で照明する。いくつかの実施形態では、コントローラ１３は、それぞれが特定の期間及び／又は特定の強度で照明するように制御される１つ又は複数の光源の組み合わせで、各間隔で照明するように構成することができる。
【0039】
照明源１０ａ～１０ｆはそれぞれ、例えば所定の波長域にわたって広がる２０ナノメートル（ｎｍ）未満の異なる狭波長域で照明を提供することができる。例えば、波長域は、光源１０ａ～１０ｆによって照明された物体から反射された光を捕捉するように指定された光センサの感度範囲に従って定義される。例えば、その範囲は、紫外線Ａ波（ＵＶＡ）から近赤外線（ＮＩＲ）の光、例えば３００ｎｍ～１１００ｎｍの範囲であってもよい。照明源１０ａ～１０ｆは、発光ダイオード（ＬＥＤ）、レーザ、レーザダイオード、又は他の任意の適切な狭帯域照明源を含むことができる。本明細書でより詳細に説明するように、いくつかの実施形態では、照明源１０ａ～１０ｆは、それぞれが検知モジュール１１の導波路１１ａ～１１ｆの対応する導波路とそれぞれ結合するためのサイズ及び形状において適切である。例えば、導波路は、長さ数メートルのガラス光ファイバで形成されていてもよく、約１０～６００マイクロメートルの幅を有していてもよい。例えば、直径約２００マイクロメートルの７本の光ファイバを直径約６００マイクロメートルの六角形に束ねることができる。同様に、同様の六角形状の束の中の１９本の同一の繊維は、約１ミリメートルの直径を有することができる。
【0040】
検知モジュール１１は、複数の導波路、例えば導波路１１ａ～１１ｆ、及び単色光センサ１８を含みことができる。本発明は、特定の数の導波路に限定されない。 例えば、導波路１１ａ～１ｆｆの数は照明源１０ａ～１０ｆの数に対応してもよく、各照明源はそれぞれの導波路に結合されてもよい。導波路１１ａ～１１ｆは、例えば、光ファイバ及び／又は任意の他の適切な光導波路を含むことができる。 いくつかの実施形態では、導波路１１ａ～１１ｆは、例えば、体内腔及び／又は他の暗い中空の空隙に中に平行して、導波路を一緒に通過させることを容易にするために、導波路の束又は導波路の複数の束に配置することができる。
【0041】
いくつかの例示的な実施形態では、導波路１０ａ～１０ｆから検知モジュール１１の先端までの間に、導波路のうちの少なくともいくつかがより小さなものに併合され、及び／又はより多数の導波路に分けられる。例えば、検知モジュール１１の先端のスペースを節約するために、及び／又は検知モジュール１１と照明モジュール１０とを接続及び切断する作業を単純化するために、導波路を併合することができる。 例えば、導波路を通過するエネルギーの量を減らす、又は検知モジュール１１の先端の異なる位置に複数の照明源を作るために、導波路を分けることができる。
【0042】
単色光センサ１８は、例えば、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）、Ｎ型金属酸化膜半導体（ＮＭＯＳ）、及び／又は任意の他の適切なものを含むことができる。単色光センサ１８は、プロセッサ１２及び／又はコントローラ１３によって制御されて、デジタル単色画像を捕捉する、すなわち、対応する導波路１１ａ～１０ｆを介して各光源１０ａ～１０ｆから発光される照明と同期して照射された物体から反射される光を捕捉する。例えば、センサ１８は、光源１０ａ～１０ｆの動作と同期して開閉するように構成され、プロセッサ１２及び／又はコントローラ１３によって制御可能なシャッタ、例えば電子シャッタを含むことができる。例えば、センサ１８は、光源１０ａ～１０ｆの動作と同期してセンサをオン及びオフにするように構成され、プロセッサ１２及び／又はコントローラ１３によって制御可能な電子スイッチを含むことができる。
【0043】
本発明のいくつかの実施形態では、プロセッサ１２は、照明プロトコルを開始するために同期信号をコントローラ１３に送信する。本発明のいくつかの実施形態では、コントローラ１３は、照明源の起動時に同期信号をプロセッサ１２及び／又はイメージセンサ１８に送信し、そして受信した同期信号に応答してイメージセンサ１８の同期動作を引き起こす。本発明のいくつかの他の実施形態では、同期信号は代替的にイメージセンサ１８又は照明源１０ａ～１０ｆのうちの少なくとも１つによって発生させることができ、したがってイメージセンサと照明間隔との間の同期動作を保証する。
【0044】
プロセッサ１２は、例えば直接又はコントローラ１３によって、例えば毎秒８０フレーム（ｆｐｓ）を超える高いフレームレートで、単色センサ１８を動作させることができる。プロセッサ１２は、センサ１８のフレームレートと同じレートで光源１０ａ～１０ｆを動作させるようにコントローラ１３に命令を生成及び／又は提供することができる。受信した命令に基づいて、例えば、各照明間隔において、コントローラ１３は導波路１１ａ～１１ｆを介して照明するように他の光源又は光源のグループを動作させ、一方センサ１８は照射された物体から反射された光を捕捉する。例えば、プロセッサ１２は、どの照明スペクトル帯域が各照明間隔で動作するかについてのデータを記憶し、一定の照明間隔でセンサ１８によって捕捉された単色画像と、同じ一定の照明間隔で動作するそれぞれの照明スペクトル帯域に関するデータとを一致させる。したがって、各単色画像は、それが捕捉された既知の照明スペクトル帯域、すなわち既知の狭い波長帯域、又はいくつかの同時照明スペクトル帯域と関連付けられる。
【0045】
本発明のいくつかの実施形態では、プロセッサ１２は、事前にプログラムされた照明及び撮像画像から抽出される特定のタイプの情報を指定される光捕捉の動作プロトコルに従ってセンサ１８及び／又は照明源１０ａ～１０ｆを動作させることができる。いくつかの実施形態では、プロセッサ１２は、例えばユーザインタフェースを介してコマンドを受信し、受信したコマンドに従って動作して、例えばメモリ１４に格納された照明及び捕捉のいくつかの事前プログラム動作プロトコルのうちの１つを実行することができる。例えば、事前にプログラムされる。
【0046】
ここで、 本発明のいくつかの実施形態に係る例示的な動作プロトコル２０１及び２０２を示す概略タイムテーブルである図２Ａ及び図２Ｂを参照する。例えば、図２Ａに示すように、反復照明プロトコルの１サイクルは照明間隔Ｔ１～Ｔ５を含むことができ、各間隔では別のそれぞれの照明スペクトル帯域の別の照明源が動作する。各照明間隔Ｔ１～Ｔ５の間に、単色センサ１８はその照明間隔内に反射光を捕捉することによって画像を取得する。本発明のいくつかの実施形態では、照明間隔Ｔ１～Ｔ５及び／又はこれらの照明間隔内の捕捉し（取り込み）時間は、異なる継続時間を有することができる。例えば、いくつかの照明スペクトル帯域は、例えば、あるスペクトル帯域の明るさを人間の目の特性及び／又は表示装置などの特定の機器の特性に適合させるために、センサ１８のより長い露光を必要とすることがある。
【0047】
例えば、図２Ｂに示されるように、反復照明プロトコルのサイクルは、特定の照明スペクトル帯域について複数の照明間隔をさらに含むことができる。例えば、照明源３は、照明間隔Ｔ２とＴ６の両方で動作させることができる。 追加的又は代替的に、サイクルは、例えば特定の種類の情報の抽出のために、照明間隔Ｔ７のように、複数の照明源が動作している間の照明間隔を含んでもよい。
【0048】
本発明のいくつかの実施形態では、コントローラ１３は、一定の期間中に照明を提供しないように照明源を制御し、プロセッサ１２は、照明源から照明が提供されないときにイメージセンサによって画像データを捕捉することによって基本照明レベルを検出する。プロセッサ１２は、検出された基本照明レベルに基づいてイメージセンサ及び／又は生成されたカラー画像を較正することができる。
【0049】
本発明のいくつかの実施形態によれば、プロセッサ１２は、画像が捕捉されるそれぞれ異なる照明スペクトル帯域に関連する一連の捕捉されたデジタル単色画像を組み合わせることによって、ＲＧＢカラー画像、例えば高忠実度ＲＧＢカラー画像を計算することができる。 いくつかの実施形態では、プロセッサ１２は、ＲＧＢ画像を計算し、例えば一連の画像内の最後の画像を捕捉した時点から１００ミリ秒未満の待ち時間で画像をディスプレイに出力する。
【0050】
例えば、プロセッサ１２は、各照明スペクトル帯に重み係数を割り当てることによって一連のデジタル単色画像を組み合わせ、各画像がその関連する１つ又は複数の照明スペクトル帯に応じて重み付けされるようにしてもよい。 例えば、係数は、各スペクトル帯域の人間の目によって知覚される強度を考慮して計算される。 例えば、より低い明るさとして知覚されるスペクトル帯域は、より低い知覚された輝度を反映するように、より低い重み係数を付与してもよい。 いくつかの実施形態では、係数は、ＸＹＺ色空間（ＣＩＥ １９３１ ＸＹＺ色空間）又は任意の他の適切な色空間などの特定の色空間に従って計算される。
【0051】
次に、本発明のいくつかの実施形態に係るＸＹＺ色空間に基づく、Ｒ、Ｇ、Ｂ係数の計算を示す概略グラフ３００である図３を参照する。グラフ３００は、異なる波長の照明に対する赤、緑、青の目の受容体のそれぞれの相対レスポンスの推定を示す。各波長ｘについて、赤の係数Ｒｘ、緑の係数Ｇｘ及び青の係数Ｂｘは、それぞれ赤、緑及び青の目の受容体の波長ｘの照明に対する相対リスポンスに従って決定される赤、緑及び青の明度である。例えば、図３に示すように、４５０ｎｍの照明のとき、係数はＲ４５０、Ｇ４５０及びＢ４５０である。 ４７０ｎｍの照明のとき、係数はＲ４７０、Ｇ４７０及びＢ４７０である。 ５３０ｎｍの照明のとき、係数はＲ５３０、Ｇ５３０及びＢ５３０である。 ５９０ｎｍの照明のとき、係数はＲ５９０、Ｇ５９０及びＢ５９０である。６３０ｎｍの照明のとき、係数はＲ６３０、Ｇ６３０及びＢ６３０である。 したがって、いくつかの実施形態では、係数は、隣接するスペクトル帯域間の不均一なサンプリングを補償するための追加のスカラー因子（scalar factor）を含んでもよい。
【0052】
次に、本発明のいくつかの実施形態に係る高忠実度ＲＧＢカラー画像を計算する方法４００を示す概略フローチャートである図４を参照する。 ブロック４１０に示すように、プロセッサ１２は、イメージセンサ１８によって捕捉されたデータを受信することができる。ブロック４２０に示すように、単色画像が捕捉される照明の色ごとに、プロセッサ１２は、 赤、緑、青のそれぞれの人間の目の色受容体の照明の色に対する反応を表す重み計数を計算することができる。
【0053】
ブロック４３０に示されるように、プロセッサ１２は、それぞれ対応するＲ係数によって重み付けされた一連の画像の組み合わせを計算することによって赤の画像データを計算し、それぞれに対応するＧ係数によって重み付けされた一連の画像の組み合わせを計算することによって緑の画像データを計算し、それぞれに対応するＢ係数によって重み付けされた一連の画像の組み合わせを係数計算することによって青の画像データを計算することができる。ブロック４４０に示すように、プロセッサ１２は、結果として得られる赤、緑及び青の画像データを高忠実度ＲＧＢ画像データとして出力することができる。 例えば、４５０ｎｍ、４７０ｎｍ、５３０ｎｍ、５９０ｎｍ及び６３０ｎｍを中心とする５つの狭い波長帯域の照明については、ＲＧＢ画像データは次の変換に従って計算することができる。
【0054】
【数1】
【0055】
ここで、Ｒ、Ｇ及びＢは、赤、緑及び青の画像データを表す行列であり、Ｉｘは、波長ｘでの照明中に捕捉された単色画像を表す行列である。 したがって、いくつかの実施形態では、係数は、隣接するスペクトル帯域間の不均一なサンプリング及び／又はイメージングセンサのスペクトル応答性を補償するための追加のスカラー因子を含むことができる。
【0056】
本発明のいくつかの実施形態では、プロセッサ１２は、例えば、画像データの計算に含まれるべきである照明の異なる波長帯域の数等スペクトル密度に依存するフレームレートでＲＧＢデータを出力することができることを理解されたい。 本発明のいくつかの実施形態では、動作プロトコルを適合させることによりフレームレートを適合させることが可能であり、例えば動作及び／又は計算に含まれる照明波長帯域の数を変更することにより、又は必要に応じてより遅いフレームレートを提供して、ＲＢＧ画像の色を改善することにより可能である。一般的に、ＲＧＢ画像データは以下によって計算される。
【0057】
【数2】
【0058】
本発明はＲＧＢ画像データの生成に限定されず、同様の方法は、色相、彩度及び輝度（ＨＳＬ）、色相、彩度及び明度（ＨＳＶ）、ＸＹＺ、Ｌａｂ等のような他の色空間の画像データを生成するために実行することができることに留意されたい。
【0059】
本明細書に記載されるように、本発明のいくつかの実施形態によって提供されるシステム及び方法は、狭帯域照明源を使用して高忠実度カラー画像の取得を可能にし、イメージセンサで有効スペクトルを個別的にカバーする。この方法は、画像解像度、画像システム効率を向上し、空間解像度を犠牲にすることなく、そして機械的走査を導入することなく、高フレームレートでマルチ／ハイパースペクトルデータへのアクセスを可能にする。
【0060】
ブロック４５０に示すように、本発明のいくつかの実施形態では、プロセッサ１２は、イメージセンサ１８によって捕捉されたデータから補助情報を抽出する。物体から反射された光でセンサ１８によって捕捉された画像は、ＲＧＢ画像データ以外の情報の抽出に使用することができる。例えば、蛍光、自家蛍光、スペックルパターン、ストラクチャード・ライト（structured light）、及び反射光のスペクトル分析によって得られる他の適切なデータなどのデータである。いくつかの実施形態では、情報は、人間の可視範囲外（すなわち、４００～６８０ナノメートル）であるが、依然としてセンサ１８の検知範囲内にある波長、例えば、３００ｎｍから１１５０ｎｍの間での照明によって抽出される。
【0061】
例えば、検知された反射光のコヒーレンス又は他のスペクトル特性から情報を抽出することができる。 抽出された情報は、カラー画像の分析、カラー画像の強調、及び／又はカラー画像と並行して追加の情報を提供するために使用されてもよい。例えば、プロセッサ１２は、捕捉された反射光において、人間の目及び／又は脳及び／又は知覚によって見えない及び／又は認識することが困難であり得るスペクトルパターン及び／又は特性を識別することができる 例えば、識別されたスペクトル特性は、ストラクチャード・ライトパターンの変形から識別され得る深さの解釈及び／又は推定を含むことができる。 例えば、識別されたスペクトル特性はスペックルパターンにおける標準偏差を含むことができ、いくつかの照明帯域等のいくつかの捕捉された画像レイヤにおいて識別されることができる。
【0062】
識別されたパターンは、対応する表示カラー画像上及び／又は対応する表示カラー画像以外の上にオーバーレイによって表示することができ、及び／又はカラー画像のさらなる処理及び／又は分類のための追加情報層としてプロセッサ１２によって使用することができ、及び／又は生データ又は次の処理のための部分処理データとして、システム内又はデジタルデータストレージの他の方法（例えば、クラウド内）により格納することができる。
【0063】
本発明のいくつかの実施形態では、いくつかの種類のスペクトル情報を取得するために、検知モジュール１１は、回折素子及び／又は導波路１１ａ～１１ｆの少なくともいくつかの遠位端を覆う他の形態の光学レンズを含むことができる。回折素子及び／又はレンズは、所定の角度で、及び／又は所定の回折関数及び／又は回折パターンに従って、例えば対応する波長の捕捉された反射光に対して実行される対応する特定のスペクトル分析に従って回折するように構成されてもよい。したがって、いくつかの実施形態は、特定の波長の照明に対して所定の回折構造を提供する。 例えば、いくつかの実施形態では、プロセッサ１２は、画像平面法線に対して既知の拡がり角でサンプル上を照らされた既知の光パターンの変形から、捕捉された画像についての深度情報を抽出することができる。
【0064】
本発明のいくつかの実施形態では、プロセッサ１２は、例えば、検知された反射光における強め合う及び弱め合う干渉パターン等のスペックルパターンを検出及び／又は分析することによって、移動する物体及び／又は血流などの検知された環境におけるダイナミクスを識別、解像及び／又は定量化することができる。 例えば、プロセッサ１２は、照明間隔の間にコヒーレント照明が適用されるとき、捕捉された光帯域のいくつかにおいて識別されたスペックルパターンにおける画像強度の標準偏差の時間的変化を抽出することができる。
【0065】
ある場合には、そこから捕捉された光が反射されるいくつかの照らされた物体は、反射された光の波長を変えるエネルギー伝達のプロセスを経ることがある。いくつかの場合、物体は自家蛍光又はある種の誘導蛍光を受けることがある。 プロセッサ１２は、照明と光の捕捉を同期させて、照明中の画像と付加的な画像とを照明と捕捉との間の遅延を伴って捕捉し、直接反射光を蛍光と比較し、それにより蛍光による波長の変化の付加的な情報層を作成できる。いくつかの実施形態では、プロセッサ１２は、例えば反射光の時間変調によって、及び光センサ１８の感度に従って、蛍光を識別し、及び／又は蛍光の時間応答を計算することができる。
【0066】
本開示のいくつかの実施形態の文脈において、限定ではなく例として、「動作中（operating）」又は「実行中(executing)」などの用語は、それぞれ「動作可能(operable)」又は「実行可能(executable)」などの可能性の意味も含まれる。
【0067】
例として、「物特性（a thing property）」のような接合語は、その文脈から明らかに明らかでない限り、その物の特性（a property of the thing）を意味する。
【0068】
本明細書では、「プロセッサ」又は「コンピュータ」、あるいはそれらのシステムという用語は、場合によりメモリ又は通信ポート等の追加のコンポーネントを含む、汎用プロセッサ、又はスマートフォン又はタブレットコンピュータなどの携帯機器、又はマイクロプロセッサ、又はＲＩＳＣプロセッサ、又はＤＳＰ等の技術の通常の文脈として使用される。任意選択的又は追加的に、「プロセッサ」又は「コンピュータ」又はその派生語は、提供された又は組み込まれたプログラムを実行することができ、及び／又はデータ記憶装置及び／又は入出力ポート等の他の装置を制御及び／又はアクセスできる装置を表す。 「プロセッサ」又は「コンピュータ」という用語はまた、接続されている、及び／又はリンクされている、及び／又は通信し、場合によりメモリ及び／又はクラウドベースのストレージなどの１つ又は複数の他のリソースを共有する複数のプロセッサ又はコンピュータを表す。
【0069】
「ソフトウェア」、「プログラム」、「ソフトウェアプロシージャ」又は「プロシージャ」又は「ソフトウェアコード」又は「コード」又は「アプリケーション」という用語は、その文脈に従って互換的に使用されてもよく、そして一般にアルゴリズム及び／又は他のプロセスもしくは方法を表す一連の動作を実行するための１つ又は複数の命令、又は指示又は電子回路を表す。プログラムは、ＲＡＭ、ＲＯＭ、又はディスク等の媒体、及び／又はクラウドストレージ、又は半導体ベースのディスク様ストレージ、又は任意の種類のＲＡＩＤストレージなどに格納されているか、又はプロセッサ又は他の回路等の装置によりアクセス可能で実行可能な回路に埋め込まれる。 プロセッサ及びプログラムは、プログラムされた一連の動作を実行するように設計されたＦＰＧＡ又はＡＳＩＣなどの電子ゲートのアレイなど、任意選択でプロセッサ又は他の回路を含むか又はそれらとリンクされた同じ装置を少なくとも部分的に構成してもよい。
【0070】
目的又はその変形のための「構成する」及び／又は「適応する」という用語は、目的を達成するために、設計及び／又は実装及び／又は動作可能な又は動作するソフトウェア及び／又は電子回路及び／又は補助装置を少なくとも使用することを意味する
【0071】
プログラム及び／又はデータを格納及び／又は含む装置は、製造品を構成する。 他に特定されない限り、プログラム及び／又はデータは、非一時的媒体の中又は上に格納される。
【0072】
電気又は電子機器が開示されている場合、その動作には適切な電源が使用されると想定される。
【0073】
フローチャート及びブロック図は、本開示の発明の主題の様々な実施形態に係るシステム、方法及びコンピュータプログラム製品の可能な構成のアーキテクチャ、機能性又は動作を示す。 これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実施するための１つ又は複数の実行可能命令を含むモジュール、セグメント、又はプログラムコードを表してもよい。 また、いくつかの代替実施形態では、図示又は説明された動作は、同じ又は同等の効果を達成するために、一連の動作の代わりに異なる順序で、あるいは組み合わせて、又は同時動作として行うこともできる。
【0074】
添付の特許請求の範囲における対応する構成、材料、動作、及び全てのミーンズプラスファンクション又はステップの要素の均等物は、請求項に記載された他の構成要素との組み合わせで機能を実行するための構成、材料又は動作を含むことを意図する。 本明細書で使用されるとき、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が明らかにそうでないと示さない限り、複数形も含むことを意図している。 本明細書で使用されるとき、「含む、備える（comprising）」、「含む（including）」及び／又は「有する（having）」という用語及びこれらの用語の他の活用形は、記述された特徴、整数、ステップ、動作、要素、及びコンポーネントの存在を特定するが、１つ又は複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、及び／又はそれらのグループの存在又は追加を除外するものではない
【0075】
本明細書で使用される用語は、他に特定されない限り、限定として理解されるべきではなく、特定の実施形態を説明する目的のためだけであり、開示された主題を限定することを意図しない。 開示された主題の特定の実施形態を例示し説明してきたが、本開示が本明細書に説明した実施形態に限定されないことは明らかである。 多数の修正、変更、変形、代替及び均等物は除外されない。
【図1】
【図2A】
【図2B】
【図3】
【図4】