特開 2024-109604 光不足環境におけるツール追跡を伴うハイパースペクトル撮像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024109604

(43)【公開日】2024-08-14

(54)【発明の名称】光不足環境におけるツール追跡を伴うハイパースペクトル撮像

(51)【国際特許分類】

   A61B 1/06 20060101AFI20240806BHJP

   A61B 1/00 20060101ALI20240806BHJP

【ＦＩ】

A61B1/06 613

A61B1/00 553

【審査請求】有

【請求項の数】21

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024072420

(22)【出願日】2024-04-26

(62)【分割の表示】P 2020536245の分割

【原出願日】2018-12-27

(31)【優先権主張番号】62/610,888

(32)【優先日】2017-12-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/723,989

(32)【優先日】2018-08-28

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】517076008

【氏名又は名称】エシコン エルエルシー

【氏名又は名称原語表記】Ｅｔｈｉｃｏｎ ＬＬＣ

【住所又は居所原語表記】＃４７５ Ｓｔｒｅｅｔ Ｃ， Ｓｕｉｔｅ ４０１， Ｌｏｓ Ｆｒａｉｌｅｓ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ， Ｇｕａｙｎａｂｏ， Ｐｕｅｒｔｏ Ｒｉｃｏ ００９６９， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】タルバート・ジョシュア・ディー

(72)【発明者】

【氏名】ウィヘルン・ドナルド・エム

(57)【要約】      （修正有）

【課題】医療用内視鏡は、必然的に小さくなり、複数の異なる撮像及び測距システムに適応させることができない。
【解決手段】光不足環境において使用するための内視鏡撮像システムは、チューブと、１つ以上の画像センサと、１つ以上の画像センサに対応する少なくとも１つの光学素子を含むレンズアセンブリと、を有する、撮像装置を含む。内視鏡システムは、ユーザがシーンを視覚化するためのディスプレイと、画像信号処理コントローラと、を含む。内視鏡システムは、電磁放射線の１つ以上のパルスを生成する照明源と、内視鏡の遠位先端に電磁放射線の１つ以上のパルスを伝達する管腔と、を有する、光エンジンを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

光不足環境で使用するための内視鏡システムであって、
撮像装置であって、
１つ以上の画像センサと、
前記画像センサに対応する少なくとも１つの光学素子を備えるレンズアセンブリと、を備える、撮像装置と、
ユーザがシーンを視覚化するためのディスプレイと、
画像信号処理コントローラと、
光エンジンであって、該光エンジンは、各々が１つ以上の電磁放射パルスを発生する複数の照明源を備える、光エンジンと、
前記光エンジン及び前記画像センサと電気的に通信するコントローラと、を備え、
前記複数の照明のうちの１つは、１つ以上の解剖学的構造及び１つ以上のツールに関する表面情報を含むレーザマッピング画像データを生成するためのレーザマッピングパルスを生成するように構成され、
前記コントローラは、前記画像センサが前記照明源によって放射された反射電磁放射線を感知して複数の露光フレームを生成するように前記画像センサ及び前記光エンジンの動作を同期させ、
前記複数の露光フレームの一部が複数のレーザマッピング露光フレームを構成し、前記レーザマッピング露光フレームが前記レーザマッピング画像データを構成する、内視鏡システム。

【請求項2】

二次元カメラを更に備える、請求項１に記載の内視鏡システム。

【請求項3】

三次元カメラを更に備える、請求項１に記載の内視鏡システム。

【請求項4】

ｎ次元カメラを更に備える、請求項１に記載の内視鏡システム。

【請求項5】

前記レーザマッピングパルスは、前記内視鏡システムの前記ユーザに見えないレーザマップパターンである、請求項１に記載の内視鏡システム。

【請求項6】

前記レーザマッピングパルスは、前記内視鏡システムの前記ユーザが見えるレーザマップパターンである、請求項１に記載の内視鏡システム。

【請求項7】

前記内視鏡システムは、内視鏡と、プロセッサとをさらに備え、前記プロセッサは、前記内視鏡システムの前記ユーザに対して、前記レーザマッピング画像データを解析して、前記内視鏡または前記複数のツールと物体との距離、前記内視鏡または前記複数のツールと前記物体との間の角度、または前記物体の表面積情報の少なくとも１つを決定する、請求項１に記載の内視鏡システム。

【請求項8】

前記内視鏡システムがさらに内視鏡を備え、
前記レーザマッピング画像データは、前記内視鏡の物体からの距離、前記内視鏡と前記物体との間の角度、前記物体に関する表面積情報、手術用具のサイズ、構造物のサイズ、解剖学的構造物のサイズ、前記物体の位置情報、前記物体の位置データおよびメトリックス、または前記手術用具の位置データおよびメトリックスのうちの少なくとも１つを前記内視鏡システムのユーザに対して決定するために、制御システムに出力される、請求項１に記載の内視鏡システム。

【請求項9】

前記レーザマッピングパルスは、レーザマップパターンであり、前記レーザマップパターンの表示を、前記内視鏡システムの前記ユーザによって起動又は停止させることができる、請求項１に記載の内視鏡システム。

【請求項10】

前記内視鏡システムがさらに内視鏡を備え、
前記ディスプレイは、前記レーザマッピング画像データに従って、物体からの前記内視鏡の距離、前記内視鏡と前記物体との間の角度、又は前記物体に関する表面積情報のうちの１つ以上のリアルタイム測定値を、前記内視鏡システムの前記ユーザに提供する、請求項１に記載の内視鏡システム。

【請求項11】

前記ディスプレイによって提供される前記リアルタイム測定値が、１０センチメートル未満の精度である、請求項１０に記載の内視鏡システム。

【請求項12】

前記ディスプレイによって提供される前記リアルタイム測定値が、１ミリメートル未満の精度である、請求項１０に記載の内視鏡システム。

【請求項13】

前記撮像装置が、三次元画像を生成するために、第１の画像センサと、第２の画像センサと、を備える、請求項１に記載の内視鏡システム。

【請求項14】

前記光エンジンが、互いに独立している第１の出力と、第２の出力と、を備え、前記第１の出力が、光照明用であり、前記第２の出力が、ツール追跡用である、請求項１に記載の内視鏡システム。

【請求項15】

前記電磁放射線の１つ以上のパルスのそれぞれが、前記画像センサによって作成された前記複数の露光フレームにおける露光フレームをもたらし、前記複数の露光フレームの１つ以上が、前記ディスプレイ上で単一画像として前記ユーザに表示される、請求項１に記載の内視鏡システム。

【請求項16】

前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項１５に記載の内視鏡システム。

【請求項17】

前記電磁放射線の１つ以上のパルスのそれぞれが、前記画像センサによって作成された前記複数の露光フレームにおける露光フレームをもたらし、前記複数の露光フレームにおける１つ以上が、前記ディスプレイ上でオーバーレイ画像として前記ユーザに表示される、請求項１に記載の内視鏡システム。

【請求項18】

前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項１７に記載の内視鏡システム。

【請求項19】

前記電磁放射線の１つ以上のパルスのそれぞれが、前記画像センサによって作成された前記複数の露光フレームにおける露光フレームをもたらし、前記複数の露光フレームの１つ以上が、１つ以上の組織構造の位置を提供する対応するシステムに供給される、請求項１に記載の内視鏡システム。

【請求項20】

前記組織構造の前記位置が、前記内視鏡システムによって受信され、前記ディスプレイ上で重ね合わせられ、前記組織構造が、アルゴリズム又は前記ユーザのいずれかによって選択された任意の色に符号化される、請求項１９に記載の内視鏡システム。

【請求項21】

前記内視鏡システムは、複数のツールを備え、前記レーザマッピングパルスは、レーザマップパターンであり、前記レーザマップパターンは、前記複数のツールの表面にも放出され、
前記レーザマップパターンは、前記複数のツールの前記表面を追跡するためのグリッドアレイを含み、
前記グリッドアレイはパルス化スケジュールに従ってパルス化され、
前記パルス化スケジュールは、前記グリッドアレイが前記ユーザに見えない速度でパルス化されること、および前記グリッドアレイが前記ユーザに見える速度でパルス化されることを含み、前記ユーザのニーズによって選択される、請求項１に記載の内視鏡システム。

【発明の詳細な説明】

【背景技術】

【0001】

技術の進歩によって、医療用撮像能力の進歩がもたらされている。内視鏡を使用して、身体の内部を見ること、及び身体の器官又は空洞の内部を診察することができる。内視鏡は、患者の症状を調査する、診断を確認する、又は医療処置を提供するために使用することができる。医療用内視鏡は、小切開によって、例えば消化管、気道、尿路、腹腔などの、様々な身体系及び身体部位を視認するために使用することができる。内視鏡は、更に、形成手術手技、関節又は骨に行われる手技、神経系に行われる手技、腹腔内に行われる手技などの、外科手技のために使用することができる。

【0002】

内視鏡はまた、アクセスできない、又は見ることが困難であり得る空間を視認及び検査するために、非医療分野においても使用されてきた。例えば、内視鏡は、提案される建物又は都市のスケールモデルを視覚化するために、プランナ又は建築家によって使用することができる。内視鏡は、コンピュータなどの複雑なシステムの内部空間を視覚化するために使用することができる。内視鏡は、狭い空間の監視を行うために、又は爆破装置を検査するために、法執行機関又は軍人によって使用することさえできる。更に、内視鏡撮像は、ロボット医療処置を実行するためのコンピュータ実装プログラムによって使用することができる。特に、かかる実装形態では、内視鏡撮像中に物体の位置を追跡することが有益であり得る。物体としては、内視鏡自体、医療用装置、身体内の組織又は構造などを挙げることができる。

【0003】

内視鏡の様々な用途の中でも、カラーで空間を視認することが有益であり得る。デジタルカラー画像は、画像の画素ごとに、少なくとも３つの層、すなわち「色チャネル」を含み得る。各色チャネルは、スペクトル帯域の光の強度及びクロミナンスを測定する。一般的に、デジタルカラー画像は、光の赤色、緑色、及び青色のスペクトル帯域の色チャネルを含む（これは、ＲＧＢ画像と称される場合がある）。赤色、緑色、及び青色の色チャネルのそれぞれは、光の赤色、緑色、又は青色スペクトル帯域の輝度情報を含む。別々の赤色、緑色、及び青色の層の輝度情報を組み合わせて、デジタルカラー画像を作成することができる。カラー画像は、別々の層で構成されているので、デジタルカメラ画像センサは、一般的に、赤色、緑色、及び青色の可視光波長が、選択された画素センサに衝突することを可能にする、カラーフィルタアレイを含む。個々の各画素センサ素子は、赤色波長、緑色波長、又は青色波長に感応性があり、その波長の画像データのみを返す。画素センサのアレイ全体からの画像データを組み合わせて、ＲＧＢ画像を生成する。

【0004】

医療的診断又は医療処置のための内視鏡撮像の場合、カラー画像によって体腔を視認することが有益であり得、必要でさえあり得る。例えば、内視鏡を使用して身体の腹腔を視認する場合、カラー画像は、腹部内の異なる器官若しくは組織の識別、又は空間内の特定の状態若しくは疾患の識別を補助するための有益な情報を提供することができる。上で論じたように、カラー画像を捕捉することができるデジタルカメラは、カラー画像の赤色、緑色、及び青色の層を個々に捕捉するために、少なくとも３つの異なる種類の画素センサを有し得る。少なくとも３つの異なる種類の画素センサは、（色非依存性（color agnostic）の画素アレイと比較したときに）比較的広い物理空間を消費する場合があり、よって、画素アレイ全体を、本体に嵌入される内視鏡の小さい遠位端に嵌合することができない。カラーデジタルカメラは、少なくとも３つの異なる種類の画素センサを含み得るので、画素アレイ全体（すなわち、画像センサ）は、一般的に、内視鏡オペレータによって保持され体腔内に配置されない、内視鏡のハンドピースユニット内に配置される。かかる内視鏡の場合、光は、ハンドピースユニットから、体腔内に配置された内視鏡の遠位端まで、内視鏡の長さに沿って伝達される。この内視鏡構成には、重大な限界がある。この構成を有する内視鏡は繊細であり、通常の使用中にぶつけたとき又は衝撃を与えたときに、位置ずれし易い又は損傷を受け易い可能性がある。これは、内視鏡によって生成された画像の質を大幅に劣化させ得、内視鏡を頻繁に修理又は交換する必要があり得る。

【0005】

内視鏡撮像は、診断撮像手技又は外科手技などの医療処置中に医療施術者を導くために使用することができる。更に、いくつかの実装形態では、内視鏡撮像及び内視鏡医療用装置を使用して、コンピュータ実装ロボット手術を実行することが望ましくなり得る。どちらの場合でも、例えば身体内の構造、体腔内の装置又はツール、及び身体内の重要な構造の間の距離及び／又は角度を示す正確な測定値を決定することが望ましくなり得る。かかる測定値は、内視鏡手技の結果を向上させることができ、また、ロボット内視鏡手技の場合に必要であり得る。

【0006】

当該技術分野では、考古学、地理学、大気物理学、自律車両などの用途のための様々な測定システム及び方法が存在する。１つのかかるシステムとしては、三次元レーザ走査システムである光検出及び測距（light detection and ranging、ＬＩＤＡＲ）が挙げられる。ＬＩＤＡＲは、他のシステム及びセンサと組み合わせてセンサの位置及び配向を決定するために、飛行機又は衛星などのナビゲーションシステムに適用されている。ＬＩＤＡＲは、物体を照明し、物体に反射してセンサに戻るエネルギーを検出するために、アクティブセンサを使用することができる。レーザ走査技術は、空中環境及び地上環境に適用されている。空中レーザ走査は、航空機の周囲の状況の三次元ポイントクラウドを生成するために、飛行中の航空機によって使用されている。地上レーザ走査は、地球表面上の静止物体又は移動物体を調査して、地形学、監視、及び位置決定に使用するために使用されている。

【0007】

しかしながら、当技術分野において既知のレーザ走査技術の用途は、典型的には、追加的な用途に有用でない場合がある高度に特殊化された機器を必要とする。更に、レーザ走査技術は、制限された環境の視野を提供し、典型的には、複数の別個のシステムと併せて使用しなければならない。例えば、自律車両は、複数の撮像カメラ、レーダーセンサ、超音波センサなどと併せてＬＩＤＡＲシステムを配備する。自律車両又は他のシステムによって必要とされる多くのセンサ及び撮像システムは、非常に高コストになり得、また、相当な物理的空間を消費する場合がある。医療用内視鏡撮像などの医療用撮像手技の状況では、全てのセンサを、体腔内の小さい物理的領域内に収まらなければならない。場合によっては、例えば関節又は器官の撮像では、地理的領域が例外的に小さい場合があり、内視鏡の非常に小さい先端部のみしか適応させることができない。したがって、医療用内視鏡は、必然的に小さくなり、複数の異なる撮像及び測距システムに適応させることができない。

【0008】

特定の実装形態では、体腔の画像を生成するための、更には、体腔内の測定値を決定するための内視鏡撮像システムを配備することが望ましくなり得る。かかる画像及び測定は、体腔を視認するためにユーザに提供することができ、及び／又はロボットシステムを実行するためのコンピュータ実装プログラムによって使用することができる。

【発明の概要】

【課題を解決するための手段】

【0009】

本開示は、概して、内視鏡撮像に適用することができる電磁気感知及びセンサに関する。本開示はまた、低エネルギー電磁入力条件、並びに低エネルギー電磁スループット条件にも関する。本開示は、より具体的には、しかしながら必ずしも全てではないが、光不足環境において画像を生成するためのシステム、並びに関連する構造、方法、及び特徴に関するものであり、本方法は、期間、強度、又は両方を通して光源を制御することと、画像センサのブランキング期間中に成分制御した光源をパルス化することと、ブランキング期間を最大にして最適な光を可能にすることと、カラーバランスを維持することと、を含み得る。

【0010】

本開示の特徴及び利点を以下の説明で述べるので、ある程度この説明から明らかとなるか、又は過度な実験なしに本開示の実践によって習得されるであろう。本開示の特徴及び利点は、特に添付の特許請求の範囲において具体的に指摘する器具及び組み合わせによって実現及び取得され得る。

【図面の簡単な説明】

【0011】

本開示の非制限的及び非網羅的な実装を以下の図を参照して説明するが、同様の参照番号は、特に指定がない限り様々な図を通して同様の部品を指す。本開示の利点は以下の説明及び添付の図面を参照してより理解されるであろう。

【図1】一実施形態による、光不足環境において画像を生成する際に使用するための、動作中における一対のセンサ及び電磁エミッタのシステムの一実施形態の概略図である。

【図2】相補的システムハードウェアの概略図である。

【図2A】本開示の実施形態による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの説明図である。

【図2B】本開示の実施形態による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの説明図である。

【図2C】本開示の実施形態による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの説明図である。

【図2D】本開示の実施形態による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの説明図である。

【図3】一実施形態による、電磁エミッタの一実施形態の動作のグラフ表現である。

【図4】一実施形態による、露光制御を提供するために放出電磁パルスの持続時間及び振幅を変動させたグラフ表現である。

【図5】一実施形態による、動作中の撮像システムを示す、図２Ａ～図４のセンサ、電磁エミッタ、及び放出電磁パルスの動作サイクルを組み合わせた、本開示の一実施形態のグラフ表現である。

【図6】一実施形態による、全スペクトル光及び分割スペクトル光のビデオフレームを記録するための、ｔ（０）～ｔ（１）の期間にわたる２つの異なるプロセスの概略図である。

【図7A】本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間的間隔にわたるプロセスの概略図である。

【図7B】本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間的間隔にわたるプロセスの概略図である。

【図7C】本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間的間隔にわたるプロセスの概略図である。

【図7D】本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間的間隔にわたるプロセスの概略図である。

【図7E】本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間的間隔にわたるプロセスの概略図である。

【図8】電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、いくつかの実施形態では、本開示の原理及び教示に従って同時に行うことができる。

【図9】電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、いくつかの実施形態では、本開示の原理及び教示に従って同時に行うことができる。

【図10】電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、いくつかの実施形態では、本開示の原理及び教示に従って同時に行うことができる。

【図11】電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、いくつかの実施形態では、本開示の原理及び教示に従って同時に行うことができる。

【図12】電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、いくつかの実施形態では、本開示の原理及び教示に従って同時に行うことができる。

【図13】本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。

【図14】本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。

【図15】本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。

【図16】本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。

【図17】本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。

【図18】本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。

【図19】本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。

【図20】本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。

【図21】本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。

【図22】本開示の実施形態による、閉鎖環境又は限定された光の環境内でダイナミックレンジを増大させるための方法及びハードウェアの概略図である。

【図23】本開示の実施形態による、閉鎖環境又は限定された光の環境内でダイナミックレンジを増大させるための方法及びハードウェアの概略図である。

【図24】色補正のないものと比較した、典型的なベイヤーベースのセンサの色補正の信号対ノイズ比に対する影響を例示する図である。

【図25】ｓＲＧＢの範囲と比較した３つのモノクロレーザの色度を例示する図である。

【図26】本開示の実施形態による、閉鎖環境又は限定された光の環境内でダイナミックレンジを増大させるための方法及びハードウェアの概略図である。

【図27A】本開示の実施形態による、閉鎖環境又は限定された光の環境内でダイナミックレンジを増大させるための方法及びハードウェアの概略図である。

【図27B】本開示の実施形態による、閉鎖環境又は限定された光の環境内でダイナミックレンジを増大させるための方法及びハードウェアの概略図である。

【図28A】本開示の実施形態による、対応する色センサによってパルス化及び／又は同期化される、白色発光の使用を例示する図である。

【図28B】本開示の実施形態による、対応する色センサによってパルス化及び／又は同期化される、白色発光の使用を例示する図である。

【図28C】本開示の実施形態による、対応する色センサによってパルス化及び／又は同期化される、白色発光の使用を例示する図である。

【図29A】本開示の実施形態による、三次元画像を生成するための複数の画素アレイを有する一実装形態を例示する図である。

【図29B】本開示の実施形態による、三次元画像を生成するための複数の画素アレイを有する一実装形態を例示する図である。

【図30A】複数の基板に構築された撮像センサの一実装形態の斜視図であり、画素アレイを形成する複数の画素列は第１の基板に位置し、複数の回路列は第２の基板に位置し、１つの画素列とその関連付けられた又は対応する回路列との間の電気接続及び通信を示す。

【図30B】複数の基板に構築された撮像センサの一実装形態の側面図であり、画素アレイを形成する複数の画素列は第１の基板に位置し、複数の回路列は第２の基板に位置し、１つの画素列とその関連付けられた又は対応する回路列との間の電気接続及び通信を示す。

【図31A】三次元画像を生成するための複数の画素アレイを有する撮像センサの一実装形態の斜視図であり、複数の画素アレイ及び画像センサが、複数の基板に構築されている。

【図31B】三次元画像を生成するための複数の画素アレイを有する撮像センサの一実装形態の側面図であり、複数の画素アレイ及び画像センサが、複数の基板に構築されている。

【図32】本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。

【図33】本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。

【図34】本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。

【図35】本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。

【図36】本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。

【図37】一実施形態による、照明を光不足環境に提供するためのシステムを例示する概略図である。

【図38】一実施形態による、複数のエミッタを有する光源を例示する概略ブロック図である。

【図39】別の実施形態による、複数のエミッタを有する光源を例示する概略ブロック図である。

【図40】更に別の実施形態による、複数のエミッタを有する光源を例示する概略ブロック図である。

【図41】一実施形態による、シーンを照明するために出力において拡散器を介して出力する単一の光ファイバを例示する概略図である。

【図42】一実施形態による、フィルタを使用してフィルタリングされた画像の生成を例示するブロック図である。

【図43】一実施形態による、光源のエミッタによって放出させることができる複数の異なるサブスペクトルに分けられた電磁スペクトルの一部分を例示する図である。

【図44】一実施形態による、マルチスペクトル画像又はハイパースペクトル画像を生成するための放出及び読み出しのタイミング図を例示する概略図である。

【図45】一実施形態による、フィルタを使用してフィルタリングされた画像の生成を例示するブロック図である。

【図46】一実施形態による、複数のフィルタを使用してフィルタリングされた画像の生成を例示するブロック図である。

【図47】一実施形態による、物体及び／又は表面を追跡するためのグリッドアレイを例示する概略図である。

【図48】一実施形態による、マルチスペクトル画像又はハイパースペクトル画像を生成するための放出及び読み出しの方法を例示する概略フローチャート図である。

【図49】一実施形態による、蛍光画像を生成するための放出及び読み出しの方法を例示する概略フローチャート図である。

【発明を実施するための形態】

【0012】

本開示は、主に医療用内視鏡撮像などの医療用途に適し得るデジタル撮像のための方法、システム、及びコンピュータベースの製品まで広がる。本明細書に開示されるかかる方法、システム、及びコンピュータベースの製品は、撮像手順、外科手技などを実行するためのロボット工学の使用などの、医療用ロボット工学用途で使用するための撮像能力又は診断能力を提供することができる。本開示の以下の説明では、本明細書の一部を成し、かつ、本開示を実践し得る特定の実装形態が例示として示される添付図面を参照する。他の実装形態が利用され得ること、及び構造上の変更が本開示の範囲から逸脱することなく行われ得ることが理解される。

【0013】

内視鏡は、多種多様な用途を有し、医療分野においてかなりの利益を提供し得る。内視鏡検査は、身体内を見るために医学分野で使用され、また、場合によっては、他の方法では見ることができないか、又は侵襲的な外科手技を必要とする撮像を提供することができる。内視鏡は、医学的診断、調査、又は研究のために使用することができ、更には、低侵襲様態で医療処置を実行するために使用することもできる。医療用内視鏡は、痛みを伴いかつ侵襲的な矯正又は試験的な手術の必要性を打ち消すことによって、かなりの利益を患者及び医療施術者に提供することができる。

【0014】

本明細書に開示されるように、身体の空洞などの光不足環境において使用するための内視鏡システムは、撮像装置と、光エンジンと、を含み得る。光エンジンは、電磁放射線のパルスを生成するための照明源を含むことができ、更に、電磁放射線のパルスを伝達するための管腔を内視鏡の遠位先端に含むことができる。管腔は、特定の波長又は波長の帯域の電磁スペクトルで、電磁放射線のパルスを伝達することができる。管腔は、時間調整されたシーケンスでかかるパルスを伝達することができ、撮像データは、各パルス中にセンサによって捕捉することができる。異なる波長のパルスと関連付けられた撮像データを使用して、赤色－緑色－青色（red green blue、ＲＧＢ）画像及び／又は蛍光画像を生成することができる。一実施形態では、蛍光撮像は、白黒画像又はＲＧＢ画像に重ね合わせることができる。

【0015】

本明細書に開示されるように、内視鏡画像システムのためのシステム、方法、及び装置は、光不足環境の特殊化した画像データを提供することができる。特殊化した画像データを使用して、蛍光撮像を生成すること、及び／又は光不足環境内での特定の材料、組織、構成要素、若しくはプロセスを識別することができる。特定の実施形態では、蛍光撮像は、施術者又はコンピュータ実装プログラムに提供されて、身体内の特定の構造又は組織の識別を可能にすることができる。かかる蛍光撮像データは、白黒画像又はＲＧＢ画像に重ね合わせて、追加的な情報及び状況を提供することができる。

【0016】

更に、内視鏡画像システムのかかるシステム、方法、及び装置は、特定の試薬又は染料と協調して使用することができる。医療用撮像の一実装形態では、特定の試薬又は染料を患者に投与することができ、そうした試薬又は染料は、特定の波長の電磁放射線に対して蛍光を発光すること又は反応することができる。本明細書に開示される内視鏡画像システムは、特定の波長の電磁放射線を伝達して、試薬又は染料に蛍光を発光させることができる。試薬又は染料の蛍光は、撮像を生成するために画像センサによって捕捉して、組織若しくは構造の識別を補助すること、及び／又は診断若しくは調査を補助することができる。一実装形態では、患者には、異なる波長で蛍光を発光するように、及び／又は異なる構造、組織、化学反応、生物学的プロセスなどの指示を提供するようにそれぞれが構成された、複数の試薬又は染料を投与することができる。かかる実装形態では、本明細書に開示される内視鏡システムは、適用可能な波長のそれぞれを放出させて、適用可能な試薬又は染料のそれぞれに蛍光を発光させることができる。これは、複数の試薬又は染料のそれぞれについて個々の撮像手技を行うといった過去の必要性を打ち消すことができる。

【0017】

医療用内視鏡は、内視鏡の遠位端が挿入される身体の内部空間の連続デジタル画像ストリームを提供することができる。様々な実装形態では、医療施術者が身体内の組織と構造とをより良好に区別することができるように、デジタル画像ストリームがフルカラー撮像を提供することが有益であり得るか、更には必要でさえあり得る。更なる実装形態では、ハイパースペクトル撮像データを提供して、高められた精度で構造、組織、プロセス、及び状態を区別することが有益であり得る。加えて、ハイパースペクトル撮像は、医療施術者又はコンピュータプログラムが、人の目では見ることができない、又はＲＧＢカラー画像では識別できない、人体内の状態に関する情報を受信することを可能にすることができる。

【0018】

内視鏡によってカラー画像データ及び／又は蛍光画像データを生成するためのシステム、方法、及び装置を本明細書で開示する。本開示のシステムは、チューブと、１つ以上の画像センサと、レンズアセンブリと、を有する、撮像装置を含む。レンズアセンブリは、１つ以上の画像センサのうちの少なくとも１つに対応する、少なくとも１つの光学素子を含むことができる。本システムは、シーンを視覚化するためのディスプレイと、画像信号処理コントローラと、を更に含む。本システムは、光エンジンを更に含むことができる。光エンジンは、電磁放射線の１つ以上のパルスを生成するように構成された照明源と、電磁放射線の１つ以上のパルスを内視鏡の遠位先端に伝達する管腔と、を含む。一実施形態では、電磁放射線の１つ以上のパルスの少なくとも一部分は、電磁放射線の１つ以上のパルスの一部分の励起波長と異なる波長で１つ以上の試薬に蛍光を発光させる、７７０ｎｍ～７９０ｎｍの電磁放射線の励起波長を含む。

【0019】

本開示の一実施形態では、内視鏡システムは供給源を照明し、試薬又は染料内の電子を励起するための特定の波長で電磁放射線をパルス化する。一実施形態では、試薬又は染料は、内視鏡システムによって放出された電磁放射線の特定の波長に応答して蛍光を発光するように構成されている。内視鏡システムの画像センサは、試薬又は染料を励起するためのパルス化された電磁放射線よりも低いエネルギーであり得る、試薬又は染料の蛍光緩和放出を読み出すことができる。試薬又は染料は、特定の組織、構造、生物学的プロセス、及び／又は化学過程を分類するように特殊化することができる。

【0020】

蛍光性試薬などの撮像試薬は、製薬業界、医療業界、バイオテクノロジー業界、診断業界、及び医療処置業界における撮像能力を高めることができる。Ｘ線、コンピュータ断層撮影（computer tomography、ＣＴ）、超音波、磁気共鳴撮像（magnetic resonance imaging、ＭＲＩ）、及び核医学などの数多くの撮像技術は、主に、解剖学及び形態学を解析するものであり、また、分子レベルでの変化を検出することができない。量子ドットナノ粒子及び蛍光タンパク質を含む、蛍光性試薬、染料、及びプローブは、撮像領域内に存在する特定の組織、構造、化学プロセス、及び／又は生物学的プロセスに関する追加的な情報を提供することによって、医療用撮像技術を支援することができる。蛍光性試薬を使用した撮像は、細胞の追跡及び／又は特定の分子バイオマーカーの追跡を可能にすることができる。蛍光性試薬は、癌、感染症、炎症、幹細胞生物学、及びその他を撮像するために適用することができる。非破壊的な方法で生物学的プロセスを視覚化し追跡するための多数の蛍光性試薬及び染料が開発及び適用されている。かかる蛍光性試薬は、特定の波長の又は波長の帯域の電磁放射線によって励起させることができる。同様に、そうした蛍光性試薬は、蛍光を発光するときに、特定の波長又は波長の帯域で緩和エネルギーを放出することができ、放出した緩和エネルギーは、センサによって読み出して、試薬又は染料の位置及び／又は境界を決定することができる。

【0021】

本開示の一実施形態では、内視鏡システムは、蛍光性試薬又は染料内の電子を励起するための電磁放射線をパルス化する。電磁放射線の波長又は波長の帯域は、特定の試薬又は染料が蛍光を発光するように具体的に選択することができる。一実施形態では、内視鏡システムは、単一の撮像セッション中に複数の異なる試薬又は染料が蛍光を発光するように、複数の異なる波長の電磁放射線をパルス化することができる。内視鏡システムのセンサは、試薬又は染料の緩和放出に基づいて、試薬又は染料の位置及び／又は境界線を決定することができる。内視鏡システムは、更に、赤色帯域、緑色帯域、及び青色帯域の可視光の電磁放射線をパルス化することができる。内視鏡システムは、電磁放射線のパルスのパルス化スケジュールに従って、ＲＧＢ画像及び蛍光画像のデータを決定することができる。

【0022】

本開示の一実施形態では、内視鏡システムは、スペクトル撮像又はハイパースペクトル撮像のための供給源を照明し、電磁放射線をパルス化する。スペクトル撮像は、電磁スペクトルにわたって複数の帯域を使用する。これは、ＲＧＢ画像を生成するための赤色波長、緑色波長、及び青色波長を含む、人の目によって識別可能である可視スペクトルに基づく３つの波長にわたって光を捕捉するのみである、従来のカメラとは異なる。スペクトル撮像は、赤外線波長、可視スペクトル、紫外スペクトル、Ｘ線波長、又は様々な波長帯域の任意の適切な組み合わせを含む、電磁スペクトル中の任意の波長帯域を使用することができる。スペクトル撮像は、可視帯域（例えば、標準的なＲＧＢ画像）に基づく撮像の上に、不可視帯域（例えば、赤外線）に基づいて生成される撮像を重ね合わせて、人又はコンピュータアルゴリズムによって容易に識別できる追加的な情報を提供することができる。

【0023】

ハイパースペクトル撮像は、スペクトル撮像のサブカテゴリである。ハイパースペクトル撮像は、分光学及びデジタル写真術を含む。ハイパースペクトル撮像の一実施形態では、完全スペクトル又は何らかのスペクトル情報が、画像平面内のあらゆる画素において収集される。ハイパースペクトルカメラは、特殊なハードウェアを使用して、完全スペクトルと解釈することができる、各画素に関する任意の好適な数の波長帯域を捕捉することができる。ハイパースペクトル撮像の目標は、異なる用途に対して異なり得る。１つの用途では、ハイパースペクトル撮像の目標は、画像シーン内の各画素の電磁スペクトル全体を得ることである。これは、その他の方法であれば可視光波長帯域の下では識別不可能であり得る、特定の物体を見つけることを可能にすることができる。これは、特定の材料又は組織が可視光波長帯域の下で識別不可能であり得る場合に、そうした材料又は組織を正確に識別することを可能にすることができる。更に、これは、全ての波長の電磁スペクトルにわたって画像を補足することによって、特定のプロセスを検出することを可能にすることができる。

【0024】

ハイパースペクトル撮像は、医療用途における従来の撮像に勝る、特定の利点を提供することができる。ハイパースペクトル撮像によって取得される情報は、医療施術者及び／又はコンピュータ実装プログラムが、ＲＧＢ撮像などの従来の撮像を使用した場合に不可能であり得るか、又は精度が低くなり得る診断につながり得る特定の組織又は状態を、正確に識別することを可能にすることができる。加えて、ハイパースペクトル撮像は、医療処置中に使用して、画像誘導手術を提供することができ、これは、医療施術者が、例えば、特定の組織又は流体の背後に位置する組織を視認すること、典型的な健康な細胞と対照的に非定型癌細胞を識別すること、特定の組織又は状態を識別すること、重要な構造を識別することなどを可能にすることができる。ハイパースペクトル撮像は、従来の撮像では生成することができない組織生理学、形態学、及び組成物に関する、特殊化した診断情報を提供することができる。

【0025】

内視鏡ハイパースペクトル撮像は、本開示の様々な用途及び実装形態において、従来の撮像に勝る利点を提示し得る。医療用の実装形態では、内視鏡ハイパースペクトル撮像は、施術者又はコンピュータ実装プログラムが、例えば、神経組織、筋組織、様々な脈管、血流の方向などを識別することを可能にする。ハイパースペクトル撮像は、非定型癌組織を、典型的な健常組織と厳密に区別することを可能にすることができ、したがって、施術者又はコンピュータ実装プログラムが、手術中又は調査撮像中に、癌性腫瘍の境界を識別することを可能にすることができる。加えて、本明細書に開示される光不足環境におけるハイパースペクトル撮像は、試薬又は染料の使用と組み合わせて、特定の組織又は物質の更なる区別を可能にすることができる。かかる一実施形態では、試薬又は染料は、電磁スペクトル内の特定の波長帯域によって蛍光を発光させることができ、したがって、その試薬又は染料の目的に特有の情報を提供することができる。本明細書に開示されるシステム、方法、及び装置は、１つ以上の試薬又は染料が異なる時間に蛍光を発光することができるように、任意の数の波長帯域をパルス化することを可能にすることができる。特定の実施形態では、これは、単一の撮像手技中に、多くの医学的状態の識別又は調査を可能にすることができる。

【0026】

医療用内視鏡は、可視光スペクトルの外側の波長帯域で電磁放射線をパルス化して、ハイパースペクトル画像の生成を可能にすることができる。内視鏡ハイパースペクトル撮像は、他の撮像方法においては一般的である有害な放射線露光を患者が受けることを必要としない、医療用撮像のための非接触かつ非侵襲性の手段である。

【0027】

例えば関節鏡検査及び腹腔鏡検査などのロボット内視鏡手技において使用される従来の内視鏡は、画像センサが、通常は内視鏡オペレータによって保持され空胴の中へ挿入されないハンドピースユニット内に配置されるように設計されている。かかる構成では、内視鏡ユニットは、複雑な一組の精密に連結された光学構成要素を介して、損失及び歪みを最小限に抑えながら、入射光を内視鏡チューブの長さに沿ってセンサに向かって伝達する。光学構成要素は高価であり、光学構成要素の製造プロセスは大きな労力を要するので、内視鏡ユニットのコストは、光学部品がその多くを占める。更に、この種類の内視鏡は機械的に繊細であり、比較的軽い衝撃が構成要素に容易に損傷を与えること、又はそれらの構成要素の相対的位置合わせを狂わせることがあり得る。内視鏡構成要素（精密に連結された光学構成要素など）に対する僅かな位置ずれによってさえ、画像品質の相当な低下を生じさせる、又は内視鏡を使用不可能にさせることがあり得る。構成要素の位置がずれた場合、内視鏡の長さに沿って進行する入射光は減少し、よって、内視鏡の遠位端には殆ど又は全く光が存在せず、内視鏡は使用不可能になる。従来の内視鏡は、かかる精密かつ複雑な光学構成要素を必要とし、そうした構成要素は、容易に位置がずれ得るので、かかる従来の内視鏡は、画像品質を維持するために、高頻度かつ高価な修理サイクルを必要とする。

【0028】

この課題に対する１つの解決策は、内視鏡自体内の遠位端に画像センサを配置することである。かかる解決策は、容易に位置がずれ得る及び／又は損傷を受け得る、複雑で精密な連結された光学構成要素の収集物に対する必要性を排除することができる。この解決策は、潜在的に、例えば携帯電話のカメラ内に普遍的に実現される、光学的単純さ、ロバスト性、及び経済性に取り組む。しかしながら、内視鏡によって提供される多くの利点は、内視鏡の遠位端のコンパクト化によって生じることが理解されるべきである。カラー撮像又はハイパースペクトル撮像に従来使用されている複数の異なる波長感応性の画素センサを収容するために内視鏡の遠位端が拡大された場合、画素アレイは大きくなり過ぎる可能性があり、内視鏡はもはや狭い空間に合わなくなり得るか、又は医療の実装形態で使用するときに妨害的若しくは侵襲的となり得る。内視鏡の遠位端は、非常に小さい状態を維持しなければならないので、遠位端に１つ以上の画像センサを配置することは困難である。この方法に対する許容可能な解決策は、決して些末なものではなく、それ自体の一連の工学的課題をもたらすが、とりわけ、カラー撮像及び／又はハイパースペクトル撮像のためのセンサを非常に制限された領域内に収めなければならないという事実である。これは、従来のカメラの画素アレイが、赤色、緑色、及び青色の可視光帯域のそれぞれについて別々の画素センサを、ハイパースペクトル撮像に使用される他の波長帯域の追加的な画素センサと共に含む場合に特に困難である。内視鏡の遠位先端の領域は、特にＸ次元及びＹ次元において左右に制限され得るが、Ｚ次元における内視鏡チューブの長さに沿ってより多くの空間が存在する。

【0029】

内視鏡の利点の多くは、内視鏡の遠位端の小型化によって生じるので、画像センサが遠位端に配置されるときには、挑戦的な制限を画像センサ領域に課さなければならない。センサ領域に課されるこうした挑戦的な制限は、必然的に、画素アレイ内のより少ない及び／又はより小さい画素をもたらす。画素数の低減は、空間解像度に直接影響を及ぼし得、一方で、画素領域の低減、並びに画像品質を最大にするような画素数、最低画素解像度、及び最大画素品質及びピッチを使用した画素の本来の数の最適化は、利用可能な信号容量及びそれによる画素の感度を低減させ得、その結果、解像度が問題にならなくなり、各画素の信号対ノイズ比（signal to noise ratio、ＳＮＲ）を小さくする。信号容量を低下させることは、ダイナミックレンジを、すなわち、広範囲の光度を有するシーンから全ての有用な情報を同時に捕捉する撮像装置又はカメラの能力を低下させる。撮像システムのダイナミックレンジを、画素自体のダイナミックレンジを越えて拡張する、様々な方法が存在する。しかしながら、それらは全て（例えば、解像度又はフレーム速度における）ある種類のペナルティを有し得、極端な例において問題となる、望ましくないアーチファクトを取り込む恐れがあり得る。感度を低減することは、シーンのより暗い領域を容認可能な信号レベルにするために、より高い光パワーを要する結果となる。Ｆ数を低くする（絞りを大きくする）ことで、感度の損失を補償することができるが、空間歪が犠牲になり、焦点深度が浅くなる。

【0030】

センサ業界では、相補型金属酸化膜半導体（complementary metal-oxide-semiconductor、「ＣＭＯＳ」）画像センサは、現代のカメラ用途において、従来の電荷結合素子（charge-coupled device、「ＣＣＤ」）画像センサの大部分を置き換えた。ＣＭＯＳ画像センサは、ＣＣＤ画像センサと比較して、統合性及び動作性がより容易であり、画像品質がより優れているか又は同等であり、多様性がより高く、コストがより低い。典型的には、ＣＭＯＳ画像センサは、画像情報をデジタルデータに変換するのに必要な回路を含むことができ、その後に様々なレベルのデジタル処理を組み込むことができる。これは、例えば増幅器挙動の変動から生じ得る非理想性を補正するための基礎アルゴリズムから、完全画像信号処理（image signal processing、ＩＳＰ）チェーンにまで及ぶことができ、例えば標準的な赤色－緑色－青色（「ＲＧＢ」）色空間でビデオデータを提供する（カメラオンチップ）。

【0031】

内視鏡又は画像センサの制御ユニットは、画像センサから遠隔に配置することができ、また、画像センサからかなり離れた物理的距離とすることができる。制御ユニットがセンサから遠隔にある場合は、アナログデータストリームを伝達することと比較したときに、干渉ノイズ及び信号劣化の影響をあまり受けないので、デジタルドメイン内でデータを伝達することが望ましくなり得る。様々な電気デジタルシグナリング規格（ＬＶＤＳ（low voltage differential signaling、低電圧差動シグナリング）、サブＬＶＤＳ、ＳＬＶＳ（scalable low voltage signaling、スケーラブル低電圧シグナリング））、又はその他の電気デジタルシグナリング規格を使用できることが理解されるであろう。

【0032】

電気導体の数を最小にして、センサ上の空間を消費しているパッドの数を低減させること、並びにセンサ製造の複雑さ及びコストを低減させることに対する強い願望が存在し得る。アナログ－デジタル変換をセンサに追加することが有利であり得るが、デジタル信号への初期の変換により必要とされるアナログバッファリング力の相当な低減のため、変換回路が占める追加的な領域が相殺される。

【0033】

領域の消費に関して、ＣＭＯＳ画像センサ（CMOS image sensor、ＣＩＳ）技術において利用可能な典型的な特徴サイズを考慮すると、いくつかの実装形態では、一組の制御レジスタ及び単純なコマンドインターフェースを介して、画素アレイと同じチップ上で全ての内部論理信号を生成させることが好ましくなり得る。

【0034】

本開示のいくつかの実装形態は、高度に制御された照明環境において画素数を低減させた高解像度の撮像を可能にする、組み合わせたセンサ及びシステム設計の態様を含むことができる。これは、単一色の波長をフレーム単位でパルス化することによって、及び高フレーム捕捉速度と併せて制御光源を使用する単一の異なる色波長と、特別に設計された対応するモノクロセンサと、の間で各フレームを切り替える又は交互にすることによって達成することができる。加えて、可視光スペクトルの外側の電磁放射線をパルス化して、ハイパースペクトル画像の生成を可能にすることができる。画素は、色非依存性であり得、よって、各画素は、ハイパースペクトル撮像に使用することができる他の波長と共に赤色、緑色、及び青色の可視光波長のパルスを含む、電磁放射線の各パルスのデータを生成することができる。

【0035】

本明細書で使用される場合、モノクロセンサは、フィルタリングされていない撮像センサを指す。画素は、色非依存性であるので、有効空間解像度は、従来の単一センサカメラにおけるそれらの色（通常、ベイヤーパターンでフィルタリングされる）相対物よりもかなり高い。それらの画素はまた、個々の画素間で無駄になる入射光子がはるかに少ないので、より高い量子効率も有し得る。更に、ベイヤーベースの空間色変調は、ベイヤーパターンと関連付けられた色アーチファクトをぼやけさせるために、付随する光学部品の変調伝達関数（ＭＴＦ）を単色の場合と比較して低下させることを必要とする。これは、色センサを用いて実現することができる、実際の空間分解能に対して悪影響がある。

【0036】

本開示はまた、画像センサが内視鏡の遠位端に存在する、内視鏡用途に対するシステムの解決策に関する。最小面積のセンサベースのシステムを追求する際に、画素数の低減以外に、開発することができる他の設計態様が存在する。チップのデジタル部分の領域を最小にすることができる。加えて、チップ（パッド）への接続数も最小にすることができる。本開示は、かかるシステムを実現するためのこれらの目標を達成する、新規な方法を記載する。このことは、いくつかの新規な特徴を備えたフルカスタムのＣＭＯＳ画像センサの設計に関与する。

【0037】

本開示による原理の理解を促進する目的で、図面に示される実施形態をここで参照し、特定の言語を使用してその実施形態を説明する。にもかかわらず、それにより、本開示の範囲の限定は意図されないことが理解されるであろう。本明細書に例示される本発明の特徴の任意の改変及び更なる修正、並びに本明細書に例示される本開示の原理の任意の追加の適用は、通常当業者であり本開示の所有者には考えられることであり、特許請求される開示の範囲内であると見なされる。

【0038】

光不足環境において画像を生成するための構造、システム、及び方法を開示及び説明する前に、本明細書で開示される特定の構造、構成、処理工程、及び材料はいくらか異なり得るので、本開示がそのような構造、構成、処理工程、及び材料に限定されないことを理解されたい。また、本開示の範囲は添付の「特許請求の範囲」及びその同等物によってのみ制限されるため、本明細書で用いられる専門用語は、特定の実施形態を記載する目的でのみ使用され、制限することは意図されないことも理解されたい。

【0039】

本開示の主題を説明及び特許請求する際に、以下の専門用語が以下に示される定義に従って使用される。

【0040】

本明細書及び添付の特許請求の範囲で使用する場合、単数形「ａ」、「ａｎ」、及び、「ｔｈｅ」は、そうでないことを文脈が明確に指定しない限り、複数の参照部分を含むことに留意しなければならない。

【0041】

本明細書で使用する場合、用語「含む（comprising）」、「包含する（including）」、「含有する（containing）」、「によって特徴づけられる（characterized by）」及びその文法上の同等物は、追加の記載されていない要素又は方法の工程を除外しない包括的、つまり、幅広い解釈ができる用語である。

【0042】

本明細書で使用される場合、「からなる」という語句及びその文法上の同等物は、「特許請求の範囲」で特定されていない任意の要素又は工程を除外する。

【0043】

本明細書で使用する場合、語句「から本質的になる」及びそれらの文法上の同等物は、特定される材料又は工程、及び特許請求される開示の基本の及び新しい特徴又は複数の特徴に実質的に影響しないものに、特許請求の範囲を制限する。

【0044】

本明細書で使用される場合、「近位」という用語は、原点に最も近い部分の概念を広範に指すものである。

【0045】

本明細書で使用される場合、「遠位」という用語は概して、近位の反対、故に、文脈により、原点からより遠い部分又は最も遠い部分の概念を指すものである。

【0046】

本明細書で使用される場合、色センサ又はマルチスペクトルセンサは、入射電磁放射線をその別々の構成要素内にフィルタリングするように、その上にカラーフィルタアレイ（color filter array、ＣＦＡ）を有することが知られているセンサである。電磁スペクトルの視界において、かかるＣＦＡは、ベイヤーパターン又はその上の修正物に構築されて、光の緑色、赤色、及び青色スペクトル構成要素に分離することができる。

【0047】

ここで図１～図５を参照して、光不足環境において画像を生成するためのシステム及び方法を以下に記載する。図１は、光不足環境において画像を生成する際に使用するための、動作中における一対のセンサ及び電磁エミッタの概略図を例示する。かかる構成は、光が制御された環境又は周囲光不足環境における機能性を高めることを可能にする。

【0048】

本明細書で使用されるとき、用語「光」は、粒子と波長の両方であり、画素アレイによって検出可能な電磁放射線を意味するものとし、電磁放射線の可視スペクトル及び非可視スペクトルの波長を含み得ることに留意されたい。用語「区画」は本明細書において、スペクトル全体未満である電磁スペクトルの所定の範囲の波長、換言すれば、電磁スペクトルの一部を構成する波長を意味するように使用される。本明細書で使用する場合、エミッタは、その構成要素の物理特性、放出の強度、若しくは放出の持続時間、若しくは上記の全てに関して放出される又は動作し得る電磁スペクトルの一部分に関して制御可能であり得る光源である。エミッタは、任意のディザ処理された、拡散された、又はコリメート化された放出で光を放出することができ、またデジタル方式で、又はアナログ方法若しくはアナログシステムを介して制御され得る。本明細書で使用する場合、電磁エミッタは、電磁エネルギーの爆発源であり、レーザ、ＬＥＤ、白熱光などの光源、又はデジタル制御され得る任意の光源を含む。

【0049】

画像センサの画素アレイは、エミッタと電気的に対にされてもよく、それにより、それらは、動作中、放出を受け取ることとシステム内部でなされる調整とに対して同期される。図１に見ることができるように、エミッタ１００は、レーザの形態で電磁放射線を放出するように調整することができ、これは、物体１１０を照明するためにパルス化され得る。エミッタ１００は、画素アレイ１２２の動作及び機能性に対応する間隔でパルス化することができる。エミッタ１００は、複数の電磁区画１０５において光をパルス化することができ、その結果、画素アレイは電磁エネルギーを受け取り、各特定の電磁区画１０５それぞれと（時間的に）対応するデータセットを生成する。例えば、図１は、画素アレイ（白黒）１２２及び支持回路を有するモノクロセンサ１２０を有するシステムを示し、画素アレイ１２２は、任意の波長の電磁放射線に対して感応性を有する。図に例示される光エミッタ１００は、赤色の電磁区画１０５ａ、青色の電磁区画１０５ｂ、及び緑色の電気区画１０５ｃを任意の所望の順序で放出することができる、レーザエミッタであってよい。ハイパースペクトル画像を生成することができる一実施形態では、光エミッタ１００は、電磁スペクトル内の任意の波長で電磁放射線をパルス化することができ、その結果、ハイパースペクトル画像を生成することができる。デジタル又はアナログベースのエミッタなど、他の光エミッタ１００が、本開示の範囲から逸脱することなく、図１において使用され得ることが理解されるであろう。

【0050】

動作中に、任意の個々のパルスについてモノクロセンサ１２０によって作成されたデータには、特定の色又は波長区画を割り当てることができ、この割り当ては、エミッタ１００からパルス化された色又は波長区画のタイミングに基づく。画素１２２が色専用でない場合であっても、そうした画素には、エミッタに関する事前情報に基づいて、任意の所与のデータセットの色を割り当てることができる。

【0051】

本開示の例示的な一実施形態では、エミッタ１００は、特殊化した波長で電磁放射線をパルス化する。かかるパルスは、特定の医療用途又は診断用途に特に適している特殊化した蛍光画像の生成を可能にすることができる。例示的な実施形態では、エミッタ１００によって放出される電磁放射線の少なくとも一部分は、１つ以上の試薬に、電磁放射線の一部分の励起波長と異なる波長で蛍光を発光させる、７７０ｎｍ～７９０ｎｍ及び７９５ｎｍ～８１５ｎｍの励起波長の電磁放射線を含む。

【0052】

一実施形態では、赤色、緑色、及び青色の電磁パルスを表す３つのデータセットが組み合わせられて、単一の画像フレームを形成し得る。他の波長区画を表す１つ以上の追加的なデータセットは、赤色、緑色、及び青色パルスに基づく単一の画像フレームに重ね合わせることができる。１つ以上の追加的なデータセットは、例えば、７７０ｎｍ～７９０ｎｍ及び７９５ｎｍ～８１５ｎｍの励起波長に応答する蛍光撮像を表すことができる。１つ以上の追加的なデータセットは、赤色、緑色、及び青色パルスに基づく単一の画像フレームに重ね合わせることができる蛍光撮像及び／又はハイパースペクトルを表し得る。

【0053】

本開示は、任意の特定の色の組み合わせ又は任意の特定の電磁区画に限定されず、任意の色の組み合わせ又は任意の電磁区画が、赤色、緑色及び青色の代わりに、シアン、マゼンタ、及びイエロー、紫外線、赤外線、前述の任意の組み合わせ、又は本開示の範囲から逸脱することなく全ての可視波長及び非可視波長を含む、任意のその他の色の組み合わせを使用し得ることが理解されよう。図では、撮像される物体１１０は、赤色部分１１０ａと、緑色部分１１０ｂと、青色部分１１０ｃと、を含む。図に示すように、電磁パルスからの反射光は、パルス化された色区画に対応する特定の色を有する物体の一部に対するデータのみを含む。次いで、１３０において、これらの別個の色（又は色間隔）データセットを使用して、データセットを組み合わせることによって、画像を再構築することができる。

【0054】

一実施形態では、電磁スペクトルに沿った追加的な波長区画と共に、赤色、緑色、及び青色電磁パルスを表す複数のデータセットを組み合わせて、ハイパースペクトル画像データがＲＧＢ画像に重ね合わせられた単一の画像フレームを形成することができる。用途又は場合に応じて、波長データセットの異なる組み合わせが望ましくなり得る。例えば、いくつかの実装形態では、特定の波長区画を表すデータセットを使用して特定の医学的状態の診断、特定の身体組織の調査、などを行うための、特殊化したハイパースペクトル画像を生成することができる。

【0055】

図２に例示されるように、本開示の実施態様では、以下で詳細に論じるように、例えば、１つ以上のプロセッサ及びシステムメモリなどのコンピュータハードウェアを含む、専用又は汎用コンピュータを備えること又は利用することができる。本開示の範囲内の実施態様はまた、コンピュータ実行可能な命令及び／又はデータ構造を支持つまり記憶するための、物理的媒体及びその他のコンピュータ可読媒体を含み得る。そのようなコンピュータ可読媒体は、汎用又は専用コンピュータシステムによりアクセス可能な、任意の入手可能な媒体であってよい。コンピュータ実行可能な命令を記憶するコンピュータ可読媒体は、コンピュータストレージ媒体（装置）である。コンピュータ実行可能な命令を支持するコンピュータ可読媒体は、伝送媒体である。したがって、限定されない例として、本開示の実装形態では、少なくとも２つの明確に異なる種類のコンピュータ可読媒体、すなわちコンピュータストレージ媒体（装置）と伝送媒体とを含むことができる。

【0056】

コンピュータストレージ媒体（装置）としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、ソリッドステートドライブ（「ＳＳＤ」）（例えば、ＲＡＭ対応）、フラッシュメモリ、相変化メモリ（「ＰＣＭ」）、その他の形式のメモリ、その他の光ディスクストレージ装置、磁気ディスクストレージ装置、若しくはその他の磁気ストレージ装置、又はコンピュータ実行可能な命令又はデータ構造の形態である所望のプログラムコード手段を記憶するために使用することができ、かつ、汎用又は専用コンピュータによりアクセス可能な任意のその他の媒体が挙げられる。

【0057】

「ネットワーク」は、コンピュータシステム及び／又はモジュール及び／又はその他の電子機器間の電子データの転送を可能にする１つ以上のデータリンクとして定義される。一実装態様では、センサ及びカメラ制御ユニットは、互いに、及びそれらが接続されたネットワークを通じて接続された他の構成要素と通信するようにネットワーク化することができる。情報がコンピュータにネットワーク上で又は別の通信接続（配線接続、無線、又は配線接続若しくは無線の組み合わせ）で転送、つまり提供される場合、コンピュータは、接続を伝送媒体として適切にとらえる。伝送媒体は、コンピュータ実行可能な命令又はデータ構造の形態の所望のプログラムコード手段を伝えるのに使用可能であり、かつ汎用又は専用コンピュータによりアクセス可能な、ネットワーク及び／又はデータリンクを含むことができる。上記の組み合わせはまた、コンピュータ可読媒体の範囲内に含まれるべきである。

【0058】

更に、コンピュータシステムの様々な構成要素に到達すると、コンピュータ実行可能な命令又はデータ構造の形態のプログラムコード手段は、伝送媒体からコンピュータストレージ媒体（装置）まで自動的に転送することができる（逆もまた同様）。例えば、ネットワーク又はデータリンク上で受信されたコンピュータ実行可能な命令又はデータ構造は、ネットワークインターフェースモジュール（例えば、「ＮＩＣ」）内でＲＡＭにおいてバッファリングされ、その後、最終的には、コンピュータシステムＲＡＭ及び／又はコンピュータシステムでの揮発性が小さいコンピュータストレージ媒体（装置）に転送することができる。また、ＲＡＭとしては、ソリッドステートドライブ（Ｆｕｓｉｏｎ ＩＯなど、ＳＳＤ又はＰＣＩｘ対応リアルタイムメモリ階層型ストレージ）を挙げることができる。したがって、コンピュータ記憶媒体（装置）は、伝送媒体も（又は更には主に）利用するコンピュータシステムの構成要素に含まれ得ると理解するべきである。

【0059】

コンピュータ実行可能な命令は、例えば、プロセッサにおいて実行された場合に、汎用コンピュータ、専用コンピュータ、又は専用処理装置に、特定の機能又は機能グループを実行させる命令及びデータを含む。コンピュータ実行可能な命令は、例えば、バイナリ、アセンブリ言語などの中間フォーマット命令、又は更にはソースコードであってよい。主題を構造上の特徴及び／又は方法の行為に特有の言語で記載してきたが、添付の特許請求の範囲内で定義される主題が必ずしも記載した特徴、又は先述した行為に限定されるというわけではないことを理解するべきである。むしろ、記載した特徴及び行為は、本開示を実行する代表的な形態として開示される。

【0060】

当業者であれは、本開示が、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、制御ユニット、カメラ制御ユニット、携帯用デバイス、ハンドピース、マルチプロセッサシステム、マイクロプロセッサ対応又はプログラマブル大衆消費電子製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話、ＰＤＡ、タブレット、ポケットベル、ルータ、スイッチ、種々のストレージ装置などを含め、多くの形式のコンピュータシステム構成を有するネットワークコンピューティング環境において実践され得ることを、理解するであろう。上述したコンピューティング装置のいずれかは、ブリックアンドモルタル（brick and mortar）位置により提供され得る、又はブリックアンドモルタル位置内に配置され得ることに留意されるべきである。本開示は、また、ネットワークを介して（配線接続データリンク、無線データリンク、又は配線接続データリンクと無線データリンクとの組み合わせにより）結び付けられるローカル及びリモートコンピュータシステムが、両方ともタスクを実行する分散システム環境において、実践され得る。分散システム環境では、プログラムモジュールは、ローカル及びリモートメモリストレージ装置の両方に配置されてよい。

【0061】

更に、適切な場合は、本明細書に記載される機能を、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、又はアナログ構成要素のうちの１つ以上で実行することができる。例えば、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）は、本明細書にて記載するシステム及び手技の１つ以上を実行するようにプログラムすることができる。特定の用語が、特定のシステム構成要素を指すために以下の明細書及び特許請求の範囲を通して使用される。当業者には理解されるように、構成要素を異なる名称により称している場合がある。本文書では、名称は異なるが機能は異ならない構成要素を区別することは意図していない。

【0062】

図２は、例示的なコンピューティング装置１５０を例示するブロック図である。コンピューティング装置１５０は、本明細書で論じられる手順などの、様々な手順を実行するために使用することができる。コンピューティング装置１５０は、サーバ、クライアント、又は任意のその他のコンピューティングエンティティとして機能することができる。コンピューティング装置１５０は、本明細書で論じられるような様々なモニタリング機能を行うことができ、本明細書に記載されるアプリケーションプログラムなどの１つ以上のアプリケーションプログラムを実行することができる。コンピューティング装置１５０は、デスクトップコンピュータ、ノートブックコンピュータ、サーバコンピュータ、携帯用コンピュータ、カメラ制御ユニット、タブレットコンピュータなどの、多種多様な種類のコンピューティング装置のいずれかとすることができる。

【0063】

コンピューティング装置１５０はと、１つ以上のプロセッサ１５２と、１つ以上の記憶装置１５４と、１つ以上のインターフェース１５６と、１つ以上の大容量ストレージ装置１５８と、１つ以上の入力／出力（Ｉ／Ｏ）装置１６０と、表示装置１８０と、を含み、これらは全てバス１６２に連結されている。プロセッサ（複数可）１５２は、記憶装置（複数可）１５４及び／又は大容量ストレージ装置（複数可）１５８に記憶された命令を実行する、１つ以上のプロセッサ又はコントローラを含む。プロセッサ（複数可）１５２はまた、キャッシュメモリなどの様々な種類のコンピュータ可読媒体も含むことができる。

【0064】

記憶装置（複数可）１５４としては、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）１６４）及び／又は不揮発性メモリ（例えば、リードオンリーメモリ（ＲＯＭ）１６６）などの、様々なコンピュータ可読媒体が挙げられる。記憶装置（複数可）１５４としては、フラッシュメモリなどのリライタブルＲＯＭも挙げることができる。

【0065】

大容量ストレージ装置（複数可）１５８としては、磁気テープ、磁気ディスク、光ディスク、ソリッドステートメモリ（例えば、フラッシュメモリ）などの、様々なコンピュータ可読媒体が挙げられる。図２に示されるように、特定の大容量ストレージ装置は、ハードディスクドライブ１７４である。様々なドライブもまた、様々なコンピュータ可読媒体からの読み出し、及び／又は様々なコンピュータ可読媒体への書き込みを可能にするために、大容量ストレージ装置（複数可）１５８に含まれ得る。大容量ストレージ装置（複数可）１５８は、取り外し可能な媒体１７６及び／又は取り外し不可能な媒体を含む。

【0066】

Ｉ／Ｏデバイス（複数可）１６０としては、コンピューティング装置１５０へのデータ及び／又はその他の情報の入力あるいはコンピューティング装置１５０からの検索を可能にする、様々な装置が挙げられる。例示的なＩ／Ｏデバイス（複数可）１６０としては、デジタル撮像装置、電磁センサ及びエミッタ、カーソル制御装置、キーボード、キーパッド、マイクロホン、モニタ若しくはその他の表示装置、スピーカ、プリンタ、ネットワークインターフェースカード、モデム、レンズ、ＣＣＤ、又はその他の画像捕捉装置などが挙げられる。

【0067】

表示装置１８０としては、情報をコンピューティング装置１５０の１人以上のユーザに表示することができる、任意の種類の装置が挙げられる。表示装置１８０の例としては、モニタ、ディスプレイ端末、映像投影装置、などが挙げられる。

【0068】

インターフェース（複数可）１０６としては、コンピューティング装置１５０が、他のシステム、装置、又はコンピューティング環境と相互作用することを可能にする、様々なインターフェースが挙げられる。例示的なインターフェース（複数可）１５６は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ネットワーク、及びインターネットに対するインターフェースなどの、任意の数の異なるネットワークインターフェース１７０を含み得る。他のインターフェース（複数可）としては、ユーザインターフェース１６８及び周辺装置インターフェース１７２が挙げられる。インターフェース（複数可）１５６はまた、１つ以上のユーザインターフェース要素１６８も含むことができる。インターフェース（複数可）１５６はまた、プリンタ、ポインティングデバイス（マウス、トラックパッド、など）、キーボードに対するインターフェースなどの、１つ以上の周辺機器インターフェースも含むことができる。

【0069】

バス１６２は、プロセッサ（複数可）１５２、記憶装置（複数可）１５４、インターフェース（複数可）１５６、大容量ストレージ装置（複数可）１５８、及びＩ／Ｏ装置（複数可）１６０が、互いに、並びにバス１６２に連結されたその他の装置又は構成要素と通信することを可能にする。バス１６２は、システムバス、ＰＣＩバス、ＩＥＥＥ１３９４バス、ＵＳＢバスなどの、いくつかの種類のバス構造のうちの１つ以上を表す。

【0070】

例示を目的として、プログラム及びその他の実行可能プログラム構成要素は、本明細書で個別のブロックとして示されているが、かかるプログラム及び構成要素は、コンピューティング装置１５０の異なるストレージ構成要素内の様々な時点に存在することができること、及びプロセッサ（複数可）１５２によって実行されることが理解される。あるいは、本明細書で記載するシステム及び手順は、ハードウェア、又はハードウェア、ソフトウェア及び／若しくはファームウェアの組み合わせで実装され得る。例えば、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）は、本明細書にて記載するシステム及び手順の１つ以上を実行するように、プログラムすることができる。

【0071】

図２Ａは、ローリング読み出しモードで、又はセンサ読み出し２００中に使用されるセンサの動作サイクルを例示する。フレーム読み出しは、垂直線２１０で開始され、それによって表され得る。読み出し期間は、対角線又は斜線２０２によって表される。センサは、行単位で読み出すことができ、下向きの斜縁の最上部は、センサ最上行２１２であり、下向きの斜縁の最下部は、センサ最下行２１４である。最後の行の読み出しと次の読み出しサイクルとの間の時間は、ブランキング時間２１６と称され得る。センサ画素行のうちのいくつかは、遮光体（例えば、金属コーティング又は任意のその他の、別の種類の材料の実質的黒の層）で覆われ得ることに留意されたい。これらの覆われた画素行は、光学的黒の行２１８及び２２０と称され得る。光学的黒の行２１８及び２２０は、補正アルゴリズムのための入力として使用することができる。図２Ａに示されるように、これらの光学的黒の行２１８及び２２０は、画素アレイの最上部、又は画素アレイの最下部、又は画素アレイの最上部及び最下部に配置することができる。図２Ｂは、画素に対して露光され、それにより、画素によって積分又は蓄積される電磁放射線、例えば光の量を制御するプロセスを例示する。光子は、電磁放射線の素粒子であることが理解されよう。光子は、各画素により積分、吸収、又は蓄積され、電荷又は電流に変換される。電子シャッタ又はローリングシャッタ（破線２２２で示される）は、画素をリセットすることによって積分時間を開始するために使用することができる。次に、光は、次の読み出し段階まで積分し得る。電子シャッタ２２２の位置は、光の所与の量に対する画素飽和を制御するために、２つの読み出しサイクル２０２の間で移動し得る。この技法は、２つの異なるラインの間で一定の積分時間を可能にするが、最上行から最下行に移動する場合に遅延を生じることに留意されたい。図２Ｃは、電子シャッタ２２２が取り外れた場合を例示する。この構成では、入射光の積分を読み出し２０２中に開始することができ、次の積分の開始も規定する次の読み出しサイクル２０２で終了することができる。図２Ｄは、電子シャッタ２２２を有さないが、ブランキング時間２１６中に制御及びパルス化された光２３０を有する構成を示す。これは、全ての行が、同じ光パルス２３０から発せられた同じ光を見ることを確実にする。換言すれば、各行は、最大光パルス幅の読み出しフレーム（ｍ）の光学的黒の後行２２０にあり得る、暗い環境においてその積分を開始し、次いで、光ストロボを受光し、そして、最大光パルス幅の、次に続く読み出しフレーム（ｍ＋１）の光学的黒の前行２１８にあり得る、暗い環境においてその積分を終了する。図２Ｄの実施例では、光パルスから生成された画像は、フレーム（ｍ）及び（ｍ＋２）とのいかなる干渉も伴うことなく、フレーム（ｍ＋１）の読み出し中にのみ利用可能である。１つのフレームにおいてのみ読み出され、かつ隣接するフレームと干渉しない光パルスを有する条件は、ブランキング時間２１６中に所与の光パルスの発射を有することであることに留意されたい。光学的黒の行２１８、２２０は、光に対して非感応性であるので、光学的黒の後行２２０のフレーム（ｍ）時間及び光学的黒の前行２１８のフレーム（ｍ＋１）時間をブランキング時間２１６に追加して、光パルス２３０の発射時間の最大範囲を決定することができる。図２Ａに例示されるように、センサは、各パルス化された色又は波長（例えば、電磁スペクトル上の赤色、緑色、青色、又はその他の波長）のデータを受信するために、何度もサイクルさせることができる。各サイクルは、時間調整され得る。ある実施形態では、サイクルは、１６．６７ｍｓの間隔内で動作するように時間調整され得る。別の実施形態では、サイクルは、８．３ｍｓの間隔内で動作するように時間調整され得る。その他の時間間隔が本開示で企図され、かつ本開示の範囲内であると意図されることが、理解されよう。

【0072】

図３は、電磁エミッタの一実施形態の動作をグラフ様式に例示する。エミッタは、センサのサイクルに対応するように時間を決めることができるので、電磁放射線はセンサ動作サイクル内及び／又はセンサ動作サイクルの一部の最中に放出される。図３は、３０２におけるパルス１、３０４におけるパルス２、及び３０６におけるパルス３を例示する。一実施形態では、エミッタは、センサ動作サイクルの読み出し部分２０２中にパルス化することができる。一実施形態では、エミッタは、センサ動作サイクルのブランキング部分２１６中にパルス化することができる。一実施形態では、エミッタは、２つ以上のセンサ動作サイクルの部分中の持続時間にパルス化することができる。一実施形態では、エミッタは、ブランキング部分２１６中に、又は読み出し部分２０２の光学的黒の部分２２０中に、パルスを開始することができ、また、読み出し部分２０２中に、又は次に続くサイクルの読み出し部分２０２の光学的黒の部分２１８中に、パルスを終了させることができる。上記の任意の組み合わせは、エミッタのパルスとセンサのサイクルが一致する限り、本開示の範囲内に該当することが意図される、と理解されるであろう。

【0073】

図４は、露光を制御するための、放出された電磁パルスの持続時間及び振幅の変動（例えば、４０２におけるパルス１、４０４におけるパルス２、及び４０６におけるパルス３）をグラフ様式に表す。一定の出力振幅を有するエミッタは、必要とされる電磁エネルギーを画素アレイに提供するための間隔で、図２Ｄ及び図３を関連して上述したサイクルのいずれかの間に、パルス化され得る。一定の出力振幅を有するエミッタは、より長い間隔でパルス化することにより、より大きな電磁エネルギーを画素に提供し得るか、又は本エミッタは、より短い間隔でパルス化することにより、より小さい電磁エネルギーを提供し得る。長い間隔が必要であるか短い間隔が必要であるかは、動作条件に依存する。

【0074】

エミッタが一定の出力振幅をパルス化する時間間隔を調整するのとは対照的に、放出自体の振幅は、より多くの電磁エネルギーを画素に提供するように増加させることができる。同様に、パルスの振幅を縮小させると、より小さい電磁エネルギーが画素に提供される。システムの一実施形態は、所望であれば、振幅及び持続時間の両方を同時に調整する能力を有することができることに、留意されたい。更に、センサは、最適な画像品質のために、所望するように感度及び持続時間を増加させるように調整され得る。図４は、パルスの振幅及び持続時間を変化させることを示す。図では、４０２におけるパルス１は、４０４におけるパルス２又は４０６におけるパルス３のいずれよりも大きい振幅又は強度を有する。加えて、４０２におけるパルス１は、４０４におけるパルス２又は４０６におけるパルス３よりも短い持続時間を有し、その結果、パルスによって提供される電磁エネルギーは、図に示されるパルスの下の領域によって例示される。図では、４０４におけるパルス２は、４０２におけるパルス１又は４０６におけるパルス３のいずれかと比較した場合に、比較的小さい振幅又は強度及びより長い持続時間を有する。最後に、図では、４０６におけるパルス３は、４０２におけるパルス１及び４０４におけるパルス２と比較した場合に、中間の振幅又は強度及び持続時間を有する。

【0075】

図５は、本開示の原理及び教示に従って、図２～図４の動作サイクル、電磁エミッタ、及び放出電磁パルスを組み合わせて、動作中の撮像システムを実証する、本開示の一実施形態のグラフ表現である。図に見られるように、電磁エミッタは、主にセンサのブランキング期間２１６中に放出をパルス化し、これにより、画素が充填され、センササイクルの読み出し部分２０２中の読み出し準備が整う。パルスにおける破線部分（図３から）は、電磁エネルギーをパルス化するために追加の時間が必要である、又は所望される場合の、読み取りサイクル（センササイクル）２００の光学的黒の部分２２０及び２１８中に電磁エネルギーを放出する潜在力又は能力を例示する。

【0076】

以下、図６～図９を参照すると、図６は、全スペクトル光及び分割スペクトル光のビデオフレームを記録するための、ｔ（０）～ｔ（１）の期間にわたる２つの異なるプロセスの概略図を示す。色センサは、全スペクトル光受信に一般的に使用される画素当たりの特定の波長の光をフィルタリングするための、カラーフィルタアレイ（ＣＦＡ）を有することに、留意されたい。ＣＦＡの例は、ベイヤーパターンである。色センサは全スペクトル内から単一の色に感応性であるように作られたアレイ内の画素を含み得る故に、画素配列が、全スペクトル内の単一の色の光のみに専用の画素空間を有するため、低解像度の画像結果が得られる。通常、そのような配列は、アレイ全体にわたって、チェッカーボード型パターンにて形成される。

【0077】

対照的に、光の分割スペクトルが使用される場合、全ての光エネルギーの振幅に感応性又は応答性のセンサを作製することができるが、これは、各サイクルにおける電磁エネルギーの全スペクトルの所定のから電磁エネルギーを感知していると画素アレイが指示されるからである区画。したがって、画像を形成するために、センサは、光の全スペクトル内からの複数の異なる区画でのみサイクルされ、次に、画像を再組み立てして、アレイ中の全ての画素に対する色値の所定の混合物を表示することが必要となる。したがって、カラーパルスのそれぞれについて、同じ色感度の画素中心間のベイヤーセンサと比較して、距離が低減されているため、より高解像度の画像も提供される。その結果、形成された有色画像は、より高い変調伝達関数（ＭＴＦ）を有する。各色分割フレームサイクルからの画像はより高い解像度を有するため、分割光フレームがフルカラーフレームに統合された場合に生成される結果として生じる画像もまた、より高い解像度を有する。換言すれば、アレイ内の全ての画素（多くても、カラーフィルタを伴うセンサ内の全ての第２の画素の代わりに）は、所与のパルス及び所与のシーンのためのエネルギーの振幅を、ほんの少しの時間だけ離れて感知しているので、導入される必要がある、より少なく得られた（正確性がより劣る）データを用いて各シーンに対し高い解像度の画像が作成される。

【0078】

例えば、白色光又は全スペクトル可視光は、赤色光、緑色光、及び青色光の組み合わせである。図６に示される実施形態では、分割スペクトルプロセス６２０及び全スペクトルプロセス６１０の両方において、画像を捕捉する時間がｔ（０）～ｔ（１）であることを見ることができる。全スペクトルプロセス６１０では、６１２において白色光又は全スペクトル電磁エネルギーが放出される。６１４では、白色又は全スペクトルの電磁エネルギーが感知される。６１６では、画像が処理され、表示される。したがって、時間ｔ（０）とｔ（１）との間で、画像が処理され、表示される。反対に、分割スペクトルプロセス６２０では、６２２において第１の区画が放出され、６２４において感知される。６２６では、第２の区画が放出され、次いで、６２８において感知される。６３０では、第３の区画が放出され、６３２において感知される。６３４では、画像が処理され、表示される。白色光サイクルよりも少なくとも２倍速い画像センササイクルを使用する任意のシステムは、本開示の範囲内に含まれることが意図される、と理解されよう。

【0079】

図６に示される実施形態において、時間ｔ（０）とｔ（１）との間でグラフ様式に見ることができるように、分割スペクトルシステム６２０のセンサは、全スペクトルシステム１つごとに３回サイクルしている。分割スペクトルシステム６２０では、３つのセンササイクルの第１は、緑色スペクトル６２２及び６２４に関するものであり、３つのうちの第２は、赤色スペクトル６２６及び６２８に関するものであり、第３は、青色スペクトル６３０及び６３２に関するものである。したがって、表示装置（ＬＣＤパネル）が毎秒５０～６０フレームで動作する一実施形態では、分割光システムは、表示された映像の連続性及び平滑性を維持するために、毎秒１５０～１８０フレームで動作するべきである。

【0080】

他の実施形態では、異なる捕捉及び表示フレーム速度が存在し得る。更に、平均捕捉速度は、表示速度の任意の倍数であってよい。

【0081】

一実施形態では、全ての区画がシステムフレーム速度内で等しく表されないことが望まれる場合がある。換言すれば、ユーザが望むなら、記録されたシーンの態様を強調する、及び強調を抑えるようにするために、全ての光源が同じ規則性でパルス化されなくてもよい。また、電磁スペクトルの非可視及び可視区画は、システム内で一緒にパルス化されてよく、それらのそれぞれのデータ値は、ユーザに表示するために所望される際に、映像出力に組み込まれていることも、理解されたい。

【0082】

一実施形態は、以下のようなパルスサイクルパターンを含み得る。
ｉ．緑色パルス、
ｉｉ．赤色パルス、
ｉｉｉ．青色パルス、
ｉｖ．緑色パルス、
ｖ．赤色パルス、
ｖｉ．青色パルス、
ｖｉｉ．赤外線（ＩＲ）パルス、
ｖｉｉｉ．（繰り返し）

【0083】

実施例に見ることができるように、赤外線区画又は特殊な波長区画（例えば、５１３～５４５ｎｍ、５６５～５８５ｎｍ、及び／又は９００～１００ｎｍ）は、他の区画パルスの速度と異なる速度でパルス化することができる。これは、シーンの特定の態様を強調するために行われてもよく、ＩＲデータは、単に映像出力におけるその他のデータと重ねられて、所望の強調を行うことができる。赤色、緑色、及び青色区画の頂部への電磁区画の追加は、全ての区画をパルスパターン内に等しく表す必要がないので、シリアル化されたシステムが、全スペクトルの非シリアルシステムの速度の４倍で動作することを必ずしも必要としないことに留意されたい。本実施形態に見られるように、パルスパターン（上記の実施例では赤外線）がより少なく表される区画パルスの追加は、不規則な区画サンプリングに対応するために、センサのサイクル速度の２０％未満の増加をもたらす。

【0084】

一実施形態では、シーンの態様を強調するために使用される染料又は材料に感応性の電磁区画が放出されてよい。本実施形態では、高解像度を必要とせずに、染料又は材料の位置を強調するのに十分であり得る。かかる一実施形態では、染料感応性の電磁区画は、強調されたデータを含めるために、システム内の他の区画よりもはるかに少ない頻度でサイクルさせてよい。

【0085】

様々な実施形態では、パルスサイクルパターンは、任意の好適な順序で以下の波長のいずれかを含むことができる。かかる波長は、マルチスペクトル画像データ若しくはハイパースペクトル画像データを判断するのに、又は蛍光性試薬緩和放出に基づいて画像データを判断するのに特に適し得る。
ｉ．４６５±５ｎｍ、
ｉｉ．５３３±４ｎｍ、
ｉｉｉ．６３８±５ｎｍ、
ｉｖ．７８０±５ｎｍ、
ｖ．８０５±５ｎｍ、
ｖｉ．９７５±５ｎｍ、
ｖｉｉ．５７７±２ｎｍ、又は
ｖｉｉｉ．５２３±４ｎｍ。

【0086】

区画サイクルは、種々の撮像及び映像基準に対応する、又は近似するように分割されてよい。一実施形態では、以下で図７Ａ～７Ｄにおいて最良に例示されるように、区画サイクルは、赤色、緑色、青色スペクトルの電磁エネルギーのパルスを含むことができる。図７Ａでは、灰色の垂直破線によって示される動作範囲内で光パルスの幅又は持続時間を調整することによって、異なる光強度が達成されている。図７Ｂでは、光電力又はレーザ若しくはＬＥＤエミッタであり得る電磁エミッタの電力は調整するが、パルス幅又は持続時間は一定に保つことによって、異なる光強度が達成されている。図７Ｃは、光電力及び光パルス幅がどちらも調整されている場合を示し、これは、より大きい適応性につながる。区画サイクルは、画像を生成するために、又は現在知られている、若しくは更に開発される所望の映像規格に近づけるために必要とされる、可視パルス源及び任意のその他の色空間と混合された不可視パルス源を使用するＣＭＹ、ＩＲ、及び紫外線を使用することができる。また、システムは、色空間の間を臨機応変に切り替えて、所望の画像出力品質を提供することが可能であり得ることが理解されるべきである。

【0087】

色空間、緑色－青色－緑色－赤色（図７Ｄに見られる）を使用する実施形態では、ユーザは通常、光の色の違いよりも光の振幅の違いに対して敏感であるので、クロミナンス構成要素よりも頻繁に輝度成分をパルス化することが望まれ得る。この原理は、図７Ｄに例示されるように、モノクロセンサを使用して利用することができる。図７Ｄでは、最も多くの輝度情報を含む緑色は、輝度データを得るために、（Ｇ－Ｂ－Ｇ－Ｒ－Ｇ－Ｂ－Ｇ－Ｒ．．．）スキームにおいて、より頻繁に又はより大きい強度でパルス化され得る。かかる構成は、感知できないデータを作成及び伝達することなく、感知できるほどより多くの詳細を有するビデオストリームを作製する。

【0088】

一実施形態では、より弱いパルスのために調整された出力を生成するために、より弱い区画のパルスを複製することが使用され得る。例えば、青色レーザ光は、シリコンベースの画素の感度と比較して弱いと考えられ、また、赤色光又は緑色光と比較して生成することが難しく、したがって、光の弱さを補償するために、フレームサイクル中により頻繁にパルス化され得る。これらの追加的なパルスは、連続して経時的に、又は所望の補償効果をもたらすために同時にパルス化する複数のレーザを使用することによって行うことができる。ブランキング期間（センサが画素アレイを読み出していない時間）中にパルス化することによって、センサは、同じ種類のレーザ間の違い／ミスマッチに対して非感応性であり、単に、所望の出力のための光を蓄積することに留意されたい。別の実施形態では、最大光パルス範囲は、フレーム間で異なり得る。これは図７Ｅに示されており、光パルスは、フレーム間で異なる。センサは、２つ、又は３つ、又は４つ、又はｎ個のフレームの繰り返しパターンで異なるブランキング時間をプログラムすることができるように構築することができる。図７Ｅでは、４つの異なる光パルスが例示されており、パルス１は、例えばパルス４の後に繰り返すことができ、異なるブランキング時間を有する４つのフレームのパターンを有することができる。この技法を使用して、最も小さいブランキング時間に対して最も強力な区画を配置し、したがって、最も弱い区画が、読み出し速度を高める必要なしに、次のフレームのうちの１つに、より広いパルスを有することを可能にすることができる。再構築されたフレームは、多くのパルス化されたフレームで構成されたときに、依然としてフレーム間に規則的なパターンを有することができる。

【0089】

図８に見ることができるように、光の各分割スペクトルは異なるエネルギー値を有し得るので、センサ及び／又は光エミッタは、エネルギー値の違いを補償するように調整することができる。８１０では、前フレームからのヒストグラムから取得したデータを解析することができる。８２０では、センサを下述するように調整することができる。加えて、８３０にでは、エミッタを調整することができる。８４０では、画像はセンサから調整されたサンプリング時間から得てもよく、又は画像は調整された（増加又は減少させた）放出光によって得てもよく、あるいは上記の組み合わせによって得てもよい。例えば、赤色光スペクトルは、システム内のセンサによって青色光スペクトルよりも容易に検出されるため、センサは、シリコンに関して青色区画が有する量子効率が低いので、赤色区画サイクル中には感度が低くなるように、及び青色区画サイクル中には感度がより高くなるように調整することができる（図９に最良に例示されている）。同様に、エミッタは、調整された区画（例えば、より高い又はより低い強度及び持続時間）を提供するように調整することができる。更に、調整は、センサレベル及びエミッタレベルの両方において行うことができる。エミッタはまた、特定の用途のために所望される場合は、１つの特定の周波数で放出するように設計することもでき、又は特定の区画の複数の周波数を放出して、放出されている光のスペクトルを広げるように変更することもできる。

【0090】

図１０は、非共有４Ｔ画素の概略図を示す。ＴＸ信号は、フォトダイオード（photo diode、ＰＰＤ）からフローティングディフュージョン（floating diffusion、ＦＤ）に蓄積電荷を転送するために使用される。リセット信号は、ＦＤをリセットバスにリセットするために使用される。リセット信号及びＴＸ信号が同時に「オン」になった場合は、ＰＰＤは常にリセットされ（ＰＰＤにおいて生成される各光電荷が、リセットバスにおいて直接収集される）、ＰＰＤは常に空である。通常の画素アレイの実装形態は、１つの行内の全ての画素のリセット信号を添付する水平リセットラインと、１つの行内の全ての画素のＴＸ信号を添付する水平ＴＸラインと、を含む。

【0091】

一実施形態では、センサ感度調整のタイミングが例示され、センサ感度の調整は、グローバルリセット機構（すなわち、同時に全ての画素アレイリセット信号を発射する手段）及びグローバルＴＸ機構（すなわち、同時に全ての画素アレイＴＸ信号を発射する手段）を使用して達成することができる。これを図１１に示す。この場合、光パルスは、持続時間及び振幅が一定であるが、全ての画素内で積分された光は、グローバルＴＸの「オン」から始まり、「オフ」に移行し、そして、光パルスで終了する。したがって、変調は、グローバルＴＸパルスの立ち下がりエッジを移動させることによって達成される。

【0092】

反対に、エミッタは、青色光よりも小さい強度で赤色光を放出して、適正に露光された画像（図１２に最もよく例示される）を生成することができる。１２１０では、前フレームからのヒストグラムから取得したデータを解析することができる。１２２０では、エミッタを調整することができる。１２３０では、調整された放出光から画像を取得することができる。加えて、一実施形態では、エミッタ及びセンサの両方を同時に調整することができる。

【0093】

いくつかの実施形態では、後の出力のために、分割スペクトルフレームを全スペクトルフレームに再構築することは、アレイ内の各画素について感知された値をブレンドするのと同程度に単純であり得る。加えて、値のブレンド及び混合は、単純な平均とすることができ、又は所望の出力のために、値の所定のルックアップテーブル（lookup table、ＬＵＴ）に合わせることができる。分割光スペクトルを使用したシステムの一実施形態では、感知された値は、後処理するか、又は画像若しくは二次プロセッサによって、及びディスプレイに出力される直前に、センサから遠隔で更に精緻化することができる。

【0094】

図１３は、モノクロＩＳＰの１３００における基本的な実施例、及びＩＳＰチェーンが、Ｇ－Ｒ－Ｇ－Ｂ光パルス化スキームの存在下で得られる生センサデータからｓＲＧＢ画像シーケンスを生成する目的で、どのように組み立てることができるか、を例示する。

【0095】

第１の段階は、補正を行って（図１３の１３０２、１３０４、及び１３０６を参照）、生データドメイン（図２１を参照）において機能するのに最も適切であるセンサ技術における任意の非理想性を補償することに関する。

【0096】

次の段階では、各最終フレームが３つの生フレームからデータを導出するため、２つのフレーム（図１３の１３０８及び１３１０を参照）をバッファリングする。１３１４では、現在のフレーム及び２つのバッファリングしたフレーム（１３０８及び／又は１３１０）からのデータをサンプリングすることによって、フレームの再構成を始める。再構築プロセスは、線形ＲＧＢ色空間のフルカラーフレームをもたらす。

【0097】

この実施例では、１３２４でのその後のエッジ強調のために、１３２２においてＹＣｂＣｒ空間に変換する前に、１３１８でのホワイトバランス係数及び１３２０での色補正マトリックスが適用される。該当する場合は、１３２４でのエッジ強調の後に、１３２８においてスケーリングするために、１３２６において画像が線形ＲＧＢに逆に変換される。

【0098】

最後に、１３３０においてガンマ伝達関数が適用されて、１３３２においてデータをｓＲＧＢドメインに翻訳する。

【0099】

図１４は、色融合ハードウェアの一実施形態の実施例である。１４０２では、色融合ハードウェアが、ＲＧＢＧＲＧＢＧＲＧＢＧビデオデータストリームを取り、１４０５において、それを並列ＲＧＢビデオデータストリームに変換する。入力側のビット幅は、例えば、１色あたり１２ビットであり得る。その実施例の出力幅は、１画素あたり３６ビットである。他の実施形態は、異なる初期ビット幅、及び出力幅はその３倍の数を有し得る。１４０２では、メモリライタブロックがその入力としてＲＧＢＧビデオストリームを取り、１４０４では、各フレームをその正しいフレームメモリバッファに書き込む（メモリライタは、レーザ光源を動作させる同じパルス発生器１４１０をトリガする）。１４０４に例示されるように、メモリへの書き込みは、赤色、緑色１、青色、緑色２、そして赤色で再度開始するパターンに従う。１４０６では、メモリリーダが３つのフレームを同時に読み出して、ＲＧＢ画素を構築する。各画素は、個々の色成分のビット幅の３倍である。１４１０では、リーダがレーザパルス発生器もトリガする。リーダは、赤色、緑色１、及び青色フレームが書き込まれるまで待機し、次いで、並行してそれらの読み出しに進み、一方で、ライタは、緑色２の書き込みを続け、そして赤色で再度開始する。赤色が完了すると、リーダは、青色、緑色２、及び赤色からの読み出しを開始する。このパターンは、無制限に続く。

【0100】

ここで図１５及び図１６を参照すると、一実施形態では、図１６に例示されるＲＧ１ＢＧ２ＲＧ１ＢＧ２パターンの再構築は、１２０ｆｐｓの入力と共に６０ｆｐｓの出力を可能にする。各連続するフレームは、前フレームからの赤色成分又は青色成分のいずれかを含む。図１６では、各色成分は、８．３ｍｓで利用することができ、結果として生じる再構築されたフレームは、１６．６７ｍｓの期間を有する。一般に、このパルス化スキームの場合、再構築されたフレームは、図１５に示されるように、入射カラーフレームの期間の２倍の期間を有する。他の実施形態では、異なるパルス化スキームを採用することができる。例えば、実施形態は、各色成分又はフレームのタイミング（Ｔ１）、及び入射カラーフレームの期間の２倍の期間（２×Ｔ１）を有する再構築されたフレームに基づくことができる。シーケンス内の異なるフレームは、異なるフレーム期間を有することができ、平均捕捉速度は、最終フレーム速度の任意の倍数になり得る。

【0101】

図１７～図２０は、分割光システムと共に使用するための色補正方法及びハードウェアの概略図を例示する。デジタル撮像では、画像データ内の値を操作して、ユーザの期待に応えるように、又は撮像物体の特定の態様を強調するように、出力を補正することが一般的である。最も一般的には、これは、一方のデータタイプを他方よりも強調するように同調及び調整される衛星画像において行われる。多くの場合、衛星取得データには、光源が制御されない、すなわち、太陽が光源であるので、利用可能な電磁エネルギーの全スペクトルが存在する。対照的に、光が制御され、更にはユーザによって提供される撮像状態が存在する。かかる状況では、較正を伴わなければ不適当な強調が他のデータよりも特定のデータに与えられ得るので、依然として画像データの較正が望ましい。光がユーザによって制御されるシステムでは、ユーザに既知であり、かつ電磁スペクトルの一部分のみ又は全電磁スペクトルの複数の部分であり得る光の放出を提供することが有利である。較正は、ユーザの期待に応えるために、及びシステム内の故障を確認するために依然として重要である。較正の１つの方法は、センサからのデータと比較することができる、所与の撮像状態について予想した値の表であり得る。一実施形態は、撮像装置によって出力されるべき既知の値を有する色中立シーンを含むことができ、装置が色中立シーンをサンプリングするときに、そうした既知の値を満たすように装置を調整することができる。

【0102】

使用中に、及び始動の際に、システムは、１７０２において複数の電磁スペクトル区画の全サイクルを動作させることによって、（図１７に例示されるように）１７１０において色中立シーンをサンプリングすることができる。１７０４では、フレームのヒストグラムを生成するために値の表１７０８を形成することができる。１７０６では、フレームの値を、色中立シーンからの既知の又は予想した値と比較することができる。次いで、１７１２において、所望の出力を満たすように撮像装置を調整することができる。図１７に例示される一実施形態では、システムは、撮像装置を色補正するように調整することができる、画像信号プロセッサ（image signal processor、ＩＳＰ）を備えることができる。

【0103】

光の各分割スペクトルは異なるエネルギー値を有し得るので、センサ及び／又は光エミッタは、エネルギー値の違いを補償するように調整され得ることに留意されたい。例えば、一実施形態では、シリコンベースの撮像装置に関して、青色光スペクトルが赤色光スペクトルよりも低い量子効率を有するので、赤色サイクル中にはあまり応答しないように、及び青色サイクルにはより応答するように、センサの反応を調整することができる。反対に、エミッタは、適切に露光した画像を生成するために赤色光よりも青色光の量子効率が低いので、より高い強度で青色光を放出することができる。

【0104】

光源の放出が提供され、システムによって制御可能である、図１８に例示される一実施形態では、１８００において、そうした光の放出の調整を行って、画像の色補正を行うことができる。調整は、振幅、持続時間（すなわち、オン時間）、又はスペクトル区画内の範囲などの、放出光の任意の態様に対して行うことができる。加えて、図１９に示されるようないくつかの実施形態では、エミッタ及びセンサの両方を同時に調整することができる。

【0105】

図２０に見ることができるように、出力された画像ストリーム又は映像のノイズ及びアーチファクトの量を低減させるために、細分化した調整をシステム内のセンサ又はエミッタに行うことができる。図２０には、エミッタ２００６及びセンサ２００８の両方を調整することができるシステム２０００が例示されているが、使用中に又は使用の一部分にわたってエミッタ又はセンサのいずれかが調整される撮像装置もまた想到され、それは本開示の範囲内である。使用の一部分の間にエミッタのみを調整し、使用の別の部分の間にセンサのみを調整すること、一方で、更に使用の一部分の間に両方を同時に調整することが有利であり得る。上記の実施形態のいずれかでは、システムがフレームサイクル間に行うことができる全体的な調整を制限することによって、向上した画像品質を得ることができる。換言すれば、一実施形態は、エミッタがフレーム間の任意の時点にその動作範囲の一部のみを調整することができるように、制限することができる。同様に、センサは、フレーム間の任意の時点にその動作範囲の一部のみを調整することができるように制限することができる。更に、一実施形態では、エミッタ及びセンサの両方を、フレーム間の任意の時点にそれらのそれぞれの動作範囲の一部のみを共に調整することができるように制限することができる。

【0106】

例示的な一実施形態では、システム内の構成要素の一部の調整は、例えば、前のフレームの露光を補正するために、構成要素の動作範囲の約０．１ｄＢで実行することができる。この０．１ｄＢは、単なる一例にすぎず、他の実施形態では、構成要素の可能な調整が、それらのそれぞれの動作範囲の任意の部分であり得ることに留意されたい。システムの構成要素は、通常は構成要素によって出力されるビット数（解像度）によって管理される、強度又は持続時間の調整によって変更することができる。構成要素の解像度は、典型的には、約１０～２４ビットの範囲とすることができるが、現在利用可能であるものに加えてこれから開発される構成要素の解像度を含むことを意図するので、この範囲に限定されるべきでない。例えば、第１のフレームの後に、観察したときにシーンが青過ぎると判断された場合には、約０．１ｄＢなどの、上で論じたような一部分の調整によって、システムの青色サイクル中に、青色光のパルスの振幅又は持続時間を減少させるようにエミッタを調整することができる。

【0107】

この例示的な実施形態では、１０パーセントを超えることが必要であり得たが、本システムは、それ自体を１システムサイクルあたりの動作範囲の０．１ｄＢの調整に制限している。したがって、次いで、次のシステムサイクル中に必要に応じて、青色光を再度調整することができる。サイクル間の細分化した調整は、出力された画像の減衰効果を有し得、それらの動作極値でエミッタ及びセンサを動作させるときにノイズ及びアーチファクトを低減させる。任意の僅かな量の構成要素の動作の調整範囲を制限因子として使用することができると判断することができ、又はシステムの特定の実施形態が、動作範囲の全体にわたって調整することができる構成要素を備えることができると判断することができる。

【0108】

加えて、任意の画像センサの光学的黒の領域を使用して、画像補正及びノイズ除去を補助することができる。一実施形態では、光学的黒の領域から読み出した値は、センサのアクティブ画素領域の値と比較して、画像データを処理する際に使用するための基準点を確立することができる。図２１は、カラーパルス化されたシステムに採用され得る種類のセンサ補正プロセスを示す。ＣＭＯＳ画像センサは、典型的には、特に少ない光における画像品質に悪影響を及ぼす、複数の非理想性を有する。その主なものは、固定パターンノイズ及びラインノイズである。固定パターンノイズ（fixed pattern noise、ＦＰＮ）は、感知要素のオフセットのばらつきである。典型的には、大部分のＦＰＮは、他のソースの中でもとりわけフォトダイオード間の暗電流のランダムな変動によって生じる、画素間のばらつきである。これは、見る人にとって非常に不自然に見える。更に甚だしいのは、特定の画素列と関連付けられた読み出しチェーンのオフセットによってもたらされる列ＦＰＮである。これは、画像内の垂直ストライプの知覚をもたらす。

【0109】

照明を完全に制御することは、暗データのフレーム全体を定期的に取得し、画素及び列のオフセットを補正するために使用することができるという利点を有する。例示される実施例では、単一のフレームバッファを使用して、例えば単純な指数平滑化法を使用した光を伴うことなく、フレーム全体の動作平均を行うことができる。この暗平均フレームは、通常動作中に全ての照明されたフレームから減算される。

【0110】

ラインノイズは、各行内の画素のオフセットの確率時間変動である。これは一時的であるので、各ライン及び各フレームついて補正を新たに計算しなければならない。この目的のために、通常は、多数の光学的に見えない（optically blind、ＯＢ）画素がアレイ内の各行内に存在し、これは、光感応性画素をサンプリングする前に、最初にサンプリングして、ラインオフセットを評価しなければならない。次いで、ラインノイズ補正プロセス中に、単にラインオフセットを減算する。

【0111】

図２１の実施例では、データを適切な順序に取得すること、アナログドメイン（黒のクランプ）における電圧のオフセットを監視及び制御すること、並びに個々の不良画素を識別／補正することに関する他の補正が存在する。

【0112】

図２２及び図２３は、閉じた又は制限された光環境内でダイナミックレンジを増大させるための方法及びハードウェアの概略を例示する。一実施形態では、露光入力は、経時的に異なるレベルで入力され得、また、組み合わせて、より大きいダイナミックレンジを生成することができる。図２２に見ることができるように、撮像システムは、より大きいダイナミックレンジを達成することができるように、２２０２において第１のサイクルに関して第１の強度でサイクルさせ、次いでその後に、２２０４において第２のサイクルに関して第２の強度でサイクルさせ、次いで、２２０６において第１及び第２のサイクルを単一のフレームに組み合わせることによってサイクルさせることができる。撮像装置が使用される空間環境が制限されるため、より大きいダイナミックレンジが特に望ましくなり得る。光源によって提供される光を除いて、光不足又は暗所である制限された空間環境では、及び光源が光エミッタの近くにある場合、露光は、距離との指数関係を有する。例えば、撮像装置の光源及び光学的開口部の近くの物体は、過剰に露光される傾向があり、一方で、遠く離れた物体は、周囲光が存在するとしても殆ど存在しないので、露光不足になる傾向がある。

【0113】

図２３に見ることができるように、２３００では、複数の区画における電磁エネルギーの放出を有するシステムのサイクルは、電磁スペクトルの区画に従って、連続的にサイクルさせることができる。例えば、エミッタが独特な赤色区画、独特な青色区画、及び独特な緑色区画のレーザを放出する一実施形態では、組み合わせられる二組のサイクルデータは、以下の形態であり得る。
ｉ．２３０２で強度１の赤色、
ｉｉ．２３０４で強度２の赤色、
ｉｉｉ．２３０２で強度１の青色、
ｉｖ．２３０４で強度２の青色、
ｖ．２３０２で強度１の緑色、
ｖｉ．２３０４で強度２の緑色。

【0114】

代替的に、システムは、以下の形態でサイクルさせることができる。
ｉ．２３０２で強度１の赤色、
ｉｉ．２３０２で強度１の青色、
ｉｉｉ．２３０２で強度１の緑色、
ｉｖ．２３０４で強度２の赤色、
ｖ．２３０４で強度２の青色、
ｖｉ．２３０４で強度２の緑色。

【0115】

かかる一実施形態では、第１の画像は、強度１の値から導出することができ、第２の画像は、強度２の値から導出することができ、次いで、２３１０において、それらの構成部分ではなく、完全な画像データセットとして組み合わせる又は処理することができる。

【0116】

任意の数の放出区画が任意の順序で使用され得ることが、本開示の範囲内であると想到される。図２３に見られるように、「ｎ」は、任意の数の電磁区画を表すための変数として使用され、「ｍ」は、「ｎ」個の区画の任意のレベルの強度を表すために使用される。かかるシステムは、以下のようにサイクルさせることができる。
ｉ．２３０６で強度ｍのｎ、
ｉｉ．強度ｍ＋１のｎ＋１、
ｉｉｉ．強度ｍ＋２のｎ＋２、
ｉｖ．２３０８で強度ｍ＋ｊのｎ＋ｉ。

【0117】

したがって、シリアル化されたサイクルの任意のパターンを使用して、所望の画像補正を生成することができ、「ｉ」及び「ｊ」は、撮像システムの動作範囲内の追加的な値である。

【0118】

デジタルカラーカメラは、色再現の忠実度を最大にするための画像処理段階を組み込んでいる。これは、色補正マトリックス（Color Correction Matrix、ＣＣＭ）として知られている３×３マトリックスによって達成される。

【0119】

【数1】

【0120】

ＣＣＭにおける項は、最良の全体的な一致をｓＲＧＢの標準色空間に提供するために、（例えば、Ｍａｃｂｅｔｈチャートからの）一組の基準色を使用して調整される。対角項、ａ、ｅ、及びｉは、実質的にホワイトバランスゲインである。しかしながら、典型的に、ホワイトバランスは別々に適用され、水平行の合計は、ネットゲインがＣＣＭ自体によって適用されないように、単一的であるように制約される。非対角項は、入力チャネル内のカラークロストークに効果的に対処する。したがって、カラーファイラ（filer）アレイがチャネル間に多くの応答の重なりを有するので、ベイヤーセンサは、３チップカメラよりも高い非対角を有する。

【0121】

非対角項の振幅に依存する、色補正に対する信号対ノイズ比ペナルティが存在する。ｓＲＧＢ構成要素に完全に一致したチャネルを有する仮想センサは、以下の単位行列ＣＣＭを有する。

【0122】

【数2】

【0123】

緑色チャネルにおいて評価される信号対ノイズ比は、この場合の１０，０００ｅ／画素（読み出しノイズを無視する）の完全な白色光信号について、以下のようになる。

【0124】

【数3】

【0125】

これからの逸脱はどれもＳＮＲを低下させる。例えば、ベイヤーＣＭＯＳセンサに対して異常でない値を有するＣＣＭを考えると、以下のようになる。

【0126】

【数4】

【0127】

この場合、緑色のＳＮＲは、以下のようになる。

【0128】

【数5】

【0129】

図２４は、調整したＣＣＭと比べて単位行列を使用した場合の、典型的なベイヤーセンサのＣＣＭに対してＤ６５照明を使用した、全ＳＮＲシミュレーションの結果を示す。輝度成分について評価したＳＮＲは、色補正の結果として約６ｄＢ悪化している。

【0130】

本開示に記載されるシステムは、複数の個別の波長のモノクロ照明を使用するので、本質的にいかなるカラークロストークも存在しない。図２５のＸ印は、三角形によって示されるｓＲＧＢの範囲と比較した、レーザダイオード源（４６５、５３２、及び６３９ｎｍ）を介して利用可能である３つの波長の位置を示す。

【0131】

この場合、ベイヤーセンサと比較して、ＣＣＭの非対角項が大幅に低減され、かなりのＳＮＲの利点を提供する。

【0132】

図２６は、画像センサの画素アレイの画素構成によって提供される、ダイナミックレンジを増大させた撮像システムを例示する。図に見ることができるように、隣接する画素２６０２及び２６０４は、異なる感度に設定することができ、それにより、各サイクルは、互いに対して感応性がより多い及びより少ない画素によって生成されるデータを含む。複数の感度は、単一サイクルのアレイに記録することができるので、並列に記録した場合は、他の実施形態の時間に依存する一連の性質とは対照的に、ダイナミックレンジを増大させることができる。

【0133】

一実施形態では、アレイは、それらの感度に基づいて行内に配置することができる画素の行を含むことができる。一実施形態では、異なる感度の画素は、それらの感度に基づいてアレイ全体にわたって、その最も近くの隣接する画素に対して行又は列内で交互させて、チェッカーボードパターンを形成することができる。上記は、任意の画素回路を共有した配設を通して、又は任意の独立した画素回路の配設で達成することができる。

【0134】

広いダイナミックレンジは、複数のグローバルＴＸを有することによって達成することができ、各ＴＸは、異なる組の画素に対してのみ発射する。例えば、グローバルモードで、グローバルＴＸ１信号は、第１組の画素を点灯させており、グローバルＴＸ２信号は、第２組の画素を点灯させており、．．．、グローバルＴＸｎ信号は、第ｎ組の画素を点灯させている。

【0135】

図１１に基づいて、図２７Ａは、画素アレイ内の２つの異なる画素の感度（二重画素感度）のためのタイミングの実施例を示す。この場合、グローバルＴＸ１信号がアレイの画素の半分を点灯させ、グローバルＴＸ２がもう半分の画素を点灯させる。グローバルＴＸ１及びグローバルＴＸ２は異なる「オン」から「オフ」へのエッジ位置を有するので、積分光は、ＴＸ１画素とＴＸ２画素との間で異なる。図２７Ｂは、二重画素感度のタイミングの異なる実施形態を示す。この場合、光パルスは、２回変調される（パルス持続期間及び／又は振幅）。ＴＸ１画素は、Ｐ１パルスを積分し、ＴＸ２画素は、Ｐ１＋Ｐ２パルスを積分する。グローバルＴＸ信号の分離は、数多くの方法で行うことができる。以下は、実施例である。
ｉ．ＴＸラインを各行と区別する、
ｉｉ．１行あたり複数のＴＸラインを送信し、それぞれが異なる一組の画素に対応する。

【0136】

一実装形態では、本開示に記載されるカラーパルス化システムを利用する、広いダイナミックレンジの映像を提供する手段が記載されている。この手段の基礎は、同じフレーム内の異なる持続時間にわたって入射光を積分することができる同じモノクロアレイ内で、複数のフレーバーの画素、又は異なって調整することができる画素を有することである。かかるセンサのアレイ内の画素配置の一例は、独立して可変である２つの積分時間を有する、全体を通して均一なチェッカーボードパターンである。そのような場合、赤色情報及び青色情報の両方を同じフレーム内に提供することができる。実際には、２つの積分時間はフレーム単位で調整することができるので、これは、最も必要である場合に、緑色フレームのダイナミックレンジを拡張するのと同時に行うことが可能である。その利点は、全てのデータが３つに対して２つのフレームから導出される場合に、カラーモーションアーチファクトがあまり問題にならないことである。当然ながら、赤色及び青色データの空間解像度のその後の損失が存在するが、緑色データが輝度成分を占めるので、緑色と比較して、画像品質にあまり影響を及ぼさない。

【0137】

モノクロワイドダイナミックレンジ（wide-dynamic range、ＷＤＲ）アレイの固有の特性は、長い積分時間を有する画素が、短い積分時間の画素によって見られる光の上位集合を積分しなければならないことである。これは、緑色フレームにおける標準的なワイドダイナミックレンジ動作に望ましい。赤色及び青色フレームの場合、これは、パルス化が露光期間と連動して制御されて、例えば、長い露光の開始から青色光を提供し、短い露光画素がオンにされた時点で赤色に切り替えなければならないことを意味する（どちらの画素の種類も、それらの電荷が同時に転送される）。

【0138】

色融合段階で、２つのフレーバーの画素を２つのバッファに分離する。次いで、例えば線形補間を使用の際に、空の画素を満たす。この時点で、一方のバッファが青色データの全画像を含み、他方が赤色＋青色の全画像を含む。青色バッファを第２のバッファから減算して、純粋な赤色データを得ることができる。

【0139】

図２８Ａ～２８Ｃは、対応する色センサによってパルス化及び／又は同期される、又は一定の状態に保たれる、白色発光の使用を例示する。図２８Ａに見ることができるように、白色光エミッタは、対応するセンサのブランキング期間中に光のビームを放出して、制御された光源を制御された光環境内に提供するように構成することができる。図２８Ａに見られるように、光源は、一定の振幅でビームを放出し、かつパルスの持続時間を変動させることができ、又は図２８Ｂに例示されるように、振幅を変動させながらパルスを一定の状態に保って、正しく露光されたデータを達成することができる。図２８Ｃには、センサによって制御されかつそれと同期される電流を変動させながら調整することができる一定の光源のグラフ表現が例示されている。

【0140】

一実施形態では、白色光又は多重スペクトル光は、所望に応じて、パルスとして放出して、システム内で使用するためのデータを提供することができる（図２８Ａ～２８Ｃに最良に例示される）。電磁スペクトルの区画と組み合わせた白色発光は、シーン内の特定の態様を強調する、及び強調を抑えるために有用であり得る。かかる実施形態は、以下のパルス化パターンを使用することができる。
ｉ．緑色パルス、
ｉｉ．赤色パルス、
ｉｉｉ．青色パルス、
ｉｖ．緑色パルス、
ｖ．赤色パルス、
ｖｉ．青色パルス、
ｖｉｉ．白色光（多重スペクトル）パルス、
ｖｉｉｉ．（繰り返し）

【0141】

白色光サイクルよりも少なくとも２倍速い画像センササイクルを使用するシステムはいずれも、本開示の範囲内に含まれることが意図される。全電磁スペクトルの可視スペクトルからのものであるか不可視スペクトルからのものであるかにかかわらず、電磁スペクトルの区画の任意の組み合わせが本明細書で想到されることが理解されよう。

【0142】

図２９Ａ及び２９Ｂは、それぞれ、本開示の教示及び原理に従う、三次元画像を生成するための複数の画素アレイを有するモノリシックセンサ２９００の一実装形態の斜視図及び側面図を例示する。かかる実装形態は、三次元画像捕捉に望ましいものであり得、２つの画素アレイ２９０２及び２９０４は、使用中にオフセットされ得る。別の実装形態では、第１の画素アレイ２９０２及び第２の画素アレイ２９０４は、所定の範囲の波長の電磁放射線の受信専用とすることができ、第１の画素アレイは、第２の画素アレイと異なる範囲の波長の電磁放射線専用である。

【0143】

図３０Ａ及び３０Ｂは、それぞれ、複数の基板上に構築された撮像センサ３０００の一実装形態の斜視図及び側面図を例示する。例示されるように、画素アレイを形成する複数の画素列３００４が、第１の基板３００２上に配置され、複数の回路列３００８が、第２の基板３００６上に配置されている。また、１つの画素列とその関連の又は対応する回路列との間の電気的接続及び通信も、図に例示されている。１つの実装形態では、他の方法であれば画素アレイ及び支援回路が単一のモノリシック基板／チップ上にある状態で製造されることがあり得る画像センサの画素アレイは、支援回路の全て又は大部分から分離され得る。本開示は、三次元スタッキング技術を使用して一緒に積み重ねられる、少なくとも２つの基板／チップを使用してもよい。２つの基板／チップのうちの第１の３００２は、画像ＣＭＯＳプロセスを使用して処理することができる。第１の基板／チップ３００２は、もっぱら画素アレイ、又は限られた回路によって取り囲まれた画素アレイのいずれかで構成されることができる。第２の又はそれ以降の基板／チップ３００６は、任意のプロセスを使用して処理することができ、画像ＣＭＯＳプロセスによるものである必要はない。第２の基板／チップ３００６は、様々な及び多くの機能を基板／チップ上の非常に限られた空間又は領域内に一体化するために、高密度なデジタルプロセスであり得るか、又は例えば正確なアナログ機能を一体化するために、混合モード若しくはアナログプロセスであり得るか、又は無線能力を実装するために、ＲＦプロセスであり得るか、又はＭＥＭＳ（Micro-Electro-Mechanical Systems、微小電気機械システム）装置を一体化するために、ＭＥＭＳであり得るが、これらに限定されない。画像ＣＭＯＳ基板／チップ３００２は、任意の三次元技法を使用して第２の又はそれ以降の基板／チップ３００６と積み重ねられることができる。第２の基板／チップ３００６は、他の方法であれば（モノリシック基板／チップ上に実装された場合には）周辺回路として第１の画像ＣＭＯＳチップ３００２内に実装されていたはずの回路の殆ど又は大部分を支持することができ、したがって、全体的なシステム領域が増大され、同時に、画素アレイサイズを一定に保ち、かつ、可能な限りの範囲まで最適化された状態に保ち得る。２つの基板／チップ間の電気的接続は、ワイヤボンド、バンプ及び／又はＴＳＶ（Through Silicon Via、シリコン貫通電極）であり得る相互接続３００３及び３００５を通して行うことができる。

【0144】

図３１Ａ及び３１Ｂは、それぞれ、三次元画像を生成するための複数の画素アレイを有する撮像センサ３１００の一実装形態の斜視図及び側面図を例示する。三次元画像センサは、複数の基板上に構築することができ、また、複数の画素アレイ及び他の関連する回路を備えることができ、第１の画素アレイを形成する複数の画素列３１０４ａ及び第２の画素アレイを形成する複数の画素列３１０４ｂは、それぞれ、対応する基板３１０２ａ及び３１０２ｂ上に配置され、複数の回路列３１０８ａ及び３１０８ｂは、別個の基板３１０６上に配置されている。また、画素列と関連又は対応する回路の列との間の電気的接続及び通信も例示されている。

【0145】

本開示の教示及び原理は、本開示の範囲から逸脱することなく再使用可能装置プラットフォーム、限定用途装置プラットフォーム、リポーザブル用途装置プラットフォーム、又は単回使用／使い捨て装置プラットフォームにおいて使用され得ることが認識されるであろう。再使用可能装置プラットフォームでは、エンドユーザが、装置の洗浄及び滅菌を担当することが認識されるであろう。限定用途装置プラットフォームでは、装置は、動作不可能になる前に、指定された回数にわたって使用することができる。典型的な新しい装置は無菌で供給され、更なる使用の前にエンドユーザが洗浄及び殺菌することを必要する。リポーザブル用途装置プラットフォームでは、第三者が、新しいユニットよりも低コストでの更なる使用のために、単回使用の装置を再処理する（例えば、洗浄、包装、及び殺菌する）ことができる。単回使用／使い捨て装置プラットフォームでは、装置は無菌で手術室に提供され、１回のみ使用されてから廃棄される。

【0146】

エミッタの一実施形態は、パルス化されたカラー光を作製するために、機械的シャッタ及びフィルタの使用を採用することができる。図３２に例示されるように、パルス化されたカラー光を生成するための代替の方法は、白色光源、機械的カラーフィルタ、及びシャッタのシステム３２００を使用する。ホイールは、シャッタリング（shuttering）のためのあるパターンの半透明のカラーフィルタウインドウ及び不透明セクションを含み得る。不透明セクションは、光を通過させず、センサの読み出しが生じる暗期間を作り出す。白色光源は、任意の技術、すなわちレーザ、ＬＥＤ、キセノン、ハロゲン、ハロゲン化金属、又はその他のものに基づき得る。白色光は、所望のパターンの有色光パルスの一連のカラーフィルタ３２０７、３２０９、及び３２１１を通して投影することができる。一実施形態のパターンは、赤色フィルタ３２０７、緑色フィルタ３２０９、青色フィルタ３２１１、緑色フィルタ３２０９であり得る。フィルタ及びシャッタシステム３２００は、機械的カラーフィルタ３２０７、３２０９、及び３２１１、並びにシャッタ３２０５のシステムのアーチ長さ及び回転速度の知識が、対応するモノクロ画像センサの動作のためのタイミング情報を提供するように、センサと同期させるために必要な周波数で回転するホイール上に配置することができる。

【0147】

図３３に例示される実施形態は、フィルタホイール３３００上に、半透明カラーフィルタ３３０７、３３０９、及び３３１１のみのパターンを含むことができる。本構成では、異なるシャッタを使用することができる。シャッタは、機械的とすることができ、また、サイズを変動させることによって「パルス」持続時間を動的に調整することができる。代替的に、シャッタは、電子的であり、センサ設計に組み込むことができる。機械的カラーフィルタ３３０７、３３０９、及び３３１１のシステムのアーチ長さ及び回転速度の知識が、対応するモノクロ画像センサの動作のためのタイミング情報を提供するように、フィルタホイール３３００を回転させるモータは、センサと通信すること、又はセンサと連動して制御されることを必要とする。制御システムは、フルカラー画像をＩＳＰ内で適切に再構築することができるように、センサによって捕捉された各フレームの適切なカラーフィルタを知っていることが必要になる。ＲＧＢＧのカラーパターンが示されているが、有利である場合には、他の色及び／又はパターンを使用することができる。カラーセクションの相対的サイズは、等しいように示されているが、有利である場合は、調整することができる。フィルタの機械的構造は、回転して移動する円として示されているが、線形移動を伴う長方形、又は異なる移動パターンを伴う異なる形状とすることができる。

【0148】

図３４に例示されるように、カラー光をパルス化するための実施形態は、赤色、緑色、青色、又は白色のＬＥＤのための電子機器及びヒートシンクを保持する機械的ホイール又はバレルから成り得る。ＬＥＤは、本特許内の他の実施形態と一致する光パルス化の時間調整を可能にするためにバレル又はホイールの回転又はねじり速度に関連する距離に離間される。ホイール又はバレルは、電気モータ及びホイール又はバレルを電気モータに取り付ける機械的ブラケットを使用して回転させる。モータは、本特許に記載されているような適切なタイミングのための制御アルゴリズムを含む、マイクロコントローラ、ＦＰＧＡ、ＤＳＰ、その他のプログラム可能な装置を使用して制御される。一方の側部には、本特許に記載されている方法によってファイバをスコープの端部まで輸送するために光ファイバに光学的に連結される機械的開口部が存在する。この連結はまた、光ファイバケーブルを下ることが許可される光の量を制御するために開く及び閉じることができる、機械的開口も有することができる。これは、機械的シャッタ装置であり、代替的に、ＣＭＯＳ型又はＣＣＤ型センサに設計された電子シャッタを使用することができる。この装置は、製造時の制御及び較正が困難であるが、パルス化された光を本システムに得ることができるもう１つの方法である。

【0149】

図３５には、パルス化された電磁放射線を提供するために線形フィルタ３５０４及びシャッタ機構を備えるエミッタ３５０２の一実施形態が例示されている。線形フィルタ３５０４及びシャッタ機構は、必要な周波数で水平に移動して、適切な波長の光をフィルタリングする。

【0150】

図３６には、パルス化された電磁放射線を提供するためにプリズムフィルタ３６０４及びシャッタ機構を備えるエミッタ３６０２の一実施形態が例示されている。プリズムフィルタ３６０４は光をフィルタリングし、シャッタを含むことができる出力を送達する。プリズムフィルタ３６０４は、必要な周波数で移動して、正しい色出力パターンを提供する。

【0151】

更に、本開示の教示及び原理は、赤外線（ＩＲ）、紫外線（ＵＶ）、及びＸ線など、可視及び非可視スペクトルを含む電磁エネルギーのありとあらゆる波長を含み得る。

【0152】

図３７は、内視鏡撮像などのための、照明を光不足環境に提供するためのシステム３７００を例示する概略図である。システム３７００は、本明細書で開示されるシステム、方法、又は装置のうちのいずれかと組み合わせて使用することができる。システム３７００は、光源３７０２と、コントローラ３７０４と、ジャンパ導波管３７０６と、導波管コネクタ３７０８と、管腔導波管３７１０と、管腔３７１２と、付随する（レンズなどの）光学構成要素を有する画像センサ３７１４と、を含む。光源３７０２は、ジャンパ導波管３７０６及び管腔導波管３７１０を通って進行する光を生成して、管腔３７１２の遠位端においてシーンを照明する。光源３７００は、可視波長、赤外線、紫外線、その他の波長を含む任意の波長の電磁エネルギーを放出するために使用することができる。管腔３７１２は、手技中又は検査中などに、撮像のために患者の身体に挿入され得る。光は、破線３７１６によって例示されるように出力される。光によって照明されたシーンは、画像センサ３７１４を使用して捕捉され、医師又は他の何らかの医療関係者に表示することができる。いつ照明がシーンに提供されるかを制御するために、コントローラ３７０４は、制御信号を光源３７０２に提供することができる。一実施形態では、光源３７０２及びコントローラ３７０４は、内視鏡が接続されるカメラ制御ユニット（camera control unit、ＣＣＵ）又は外部コンソール内に配置される。画像センサ３７１４がＣＭＯＳセンサを含む場合、ブランキング期間として既知である期間の最中に、画像センサ３７１４の読み出し期間の間に、一連の照明パルスで、光をシーンに定期的に提供することができる。したがって、光は、画像センサ３７１４の画素アレイ内の画像画素の読み出し期間への重ね合わせを回避するために、制御された様態でパルス化することができる。

【0153】

一実施形態では、管腔導波管３７１０は、１つ又は複数の光ファイバを含む。光ファイバは、管腔導波管３７１０、及び／又は内視鏡の他の部分の廃棄を可能にするために、プラスチックなどの低コストの材料で作製することができる。一実施形態では、５００マイクロメートルの直径を有する単一のガラスファイバを使用することができる。ジャンパ導波管３７０６は、光源３７０２に恒久的に取り付けることができる。例えば、ジャンパ導波管３７０６は、光源３７０２内のエミッタから光を受光し、その光をコネクタ３７０８の位置で管腔導波管３７１０に提供することができる。一実施形態では、ジャンパ導波管１０６は、１つ以上のガラスファイバを含むことができる。ジャンパ導波管は、光を管腔導波管３７１０に案内するための任意のその他の種類の導波管を含むことができる。コネクタ３７０８は、ジャンパ導波管３７０６を管腔導波管３７１０に選択的に連結し、ジャンパ導波管３７０６内の光を管腔導波管３７１０に通過させることができる。一実施形態では、管腔導波管３７１０は、いかなる介在するジャンパ導波管３７０６も伴わずに、光源に直接連結することができる。

【0154】

図３８～図４０は、複数のエミッタを有する光源３８００を例示する概略ブロック図である。図３８に関して、エミッタは、第１のエミッタ３８０２と、第２のエミッタ３８０４と、第３のエミッタ３８０６と、を含む。下で更に論じるように、更なるエミッタを含んでもよい。エミッタ３８０２、３８０４、及び３８０６は、異なる波長を有する光を放出する１つ以上のレーザエミッタを含むことができる。例えば、第１のエミッタ３８０２は、青色レーザと一致する波長を放出することができ、第２のエミッタ３８０４は、緑色レーザと一致する波長を放出することができ、第３のエミッタ３８０６は、赤色レーザと一致する波長を放出することができる。例えば、第１のエミッタ３８０２は、１つ以上の青色レーザを含むことができ、第２のエミッタ３８０４は、１つ以上の緑色レーザを含むことができ、第３のエミッタ３８０６は、１つ以上の赤色レーザを含むことができる。エミッタ３８０２、３８０４、３８０６は、収集領域３８０８に向かってレーザビームを放出し、収集領域は、図３７のジャンパ導波管３７０６又は管腔導波管３７１０などの導波管に光を収集及び／又は提供するための導波管、レンズ、又はその他の光学構成要素の位置であり得る。

【0155】

特定の組織、構造、化学反応、生物学的プロセス、などの識別を助けるために患者が試薬又は染料を投与されている一実装形態では、エミッタ３８０２、３８０４、及び３８０６は、試薬又は染料に蛍光を発光させるための波長（複数可）を放出することができる。かかる波長（複数可）は、患者に投与された試薬又は染料に基づいて決定することができる。かかる一実施形態では、エミッタは、所望の波長（複数可）を放出して特定の試薬若しくは染料に蛍光を発光させる、又はそれらを活性化するために、非常に正確であることが必要とされ得る。

【0156】

図３８の実施形態では、エミッタ３８０２、３８０４、３８０６は、それぞれ、レーザ光を異なる角度で収集領域３８０８に送達する。角度の変動は、電磁エネルギーが出力導波管内に配置されている場合に変動をもたらし得る。例えば、光が、収集領域３８０８でファイバ束（ガラス又はプラスチック）に直ちに入る場合、角度の変動は、異なる量の光を異なるファイバに進入させ得る。例えば、この角度は、収集領域３８０８にわたって強度の変動をもたらし得る。更に、異なるエミッタからの光は、均一に混合することができないので、いくつかのファイバは、異なる色の異なる量の光を受光する場合がある。異なるファイバにおける光の色又は強度の変動は、シーンの最適でない照明につながり得る。例えば、送達される光又は光強度の変動は、シーン及び捕捉された画像において生じる可能性がある。

【0157】

一実施形態では、介在する光学素子をファイバ束とエミッタ３８０２、３８０４、３８０６との間に配置して、ファイバ又はその他の導波管に進入する前に、異なる色（波長）の光を混合することができる。例示的な介在する光学素子は、拡散器、混合ロッド、１つ以上のレンズ、又は所与のファイバが同量の各色（波長）を受け取るように光を混合するその他の光学構成要素を含む。例えば、ファイバ束中の各ファイバは同じ色を有してよい。この混合は、各ファイバに同じ色をもたらし得るが、いくつかの実施形態では、異なるファイバに送達される異なる総輝度が依然としてもたらされる可能性がある。一実施形態では、介在する光学素子はまた、各ファイバが同じ総量の光を搬送するように、収集領域の上で光を拡散させる、又は一様にすることもできる（例えば、光は、トップハットプロファイルで拡散させることができる）。拡散器又は混合ロッドは、光の損失につながり得る。

【0158】

収集領域３８０８は、図３８では物理的構成要素として表されているが、収集領域３８０８は、単に、エミッタ３８０２、３８０４、及び３８０６からの光が送達される領域であり得る。場合によっては、収集領域３８０８は、拡散器、混合ロッド、レンズ、又はエミッタ３８０２、３８０４、３８０６と出力導波管との間の任意のその他の介在する光学構成要素などの、光学構成要素を含むことができる。

【0159】

図３９は、同じ又は実質的に同じ角度で光を収集領域３８０８に提供するエミッタ３８０２、３８０４、３８０６を有する光源３８００の一実施形態を例示する。光は、収集領域３８０８に対して実質的に垂直な角度で提供される。光源３８００は、第１のダイクロイックミラー３９０２、第２のダイクロイックミラー３９０４、及び第３のダイクロイックミラー３９０６を含む、複数のダイクロイックミラーを含む。ダイクロイックミラー３９０２、３９０４、３９０６は、第１の波長の光は反射するが、第２の波長の光は伝達する（すなわち透過性である）ミラーを含む。例えば、第３のダイクロイックミラー３９０６は、第３のエミッタによって提供される青色レーザ光を反射し、一方で、第１のエミッタ３８０２及び第２のエミッタ３８０４によってそれぞれ提供される赤色光及び緑色光を透過させることができる。第２のダイクロイックミラー３９０４は、第１のエミッタ３８０２からの赤色光は透過するが、第２のエミッタ３８０４からの緑色光は反射することができる。他の色又は波長が含まれている場合、ダイクロイックミラーは、少なくとも１つのエミッタに対応する光を反射し、かつ他のエミッタに対応する光を透過するように選択することができる。例えば、第３のダイクロイックミラー３９０６は、第３のエミッタ３８０６からの光は反射するが、その光を、第１のエミッタ３８０２及び第２のエミッタ３８０４などの「後方」のエミッタに反射する。数十又は数百のエミッタが存在する実施形態では、各ダイクロイックミラーは、前方にある対応する１つ又は複数のエミッタに反射させ、一方で、その背後のエミッタには透過させることができる。これは、数十又は数百のエミッタが、実質的に同じ角度で電磁エネルギーを収集領域３８０８に放出することを可能にする。

【0160】

ダイクロイックミラーは、他の波長を透過又は通過させることを可能にするので、波長のそれぞれは、同じ角度から、及び／又は同じ中心点若しくは焦点で、収集領域３８０８に到達することができる。同じ角度及び／又は同じ焦点／中心点からの光を提供することは、収集領域３８０８における受光及び色の混合を著しく向上させることができる。例えば、特定のファイバは、エミッタ３８０２、３８０４、３８０６及びミラー３９０２、３９０４、３９０６による透過／反射と同じ比率で、異なる色を受光することができる。光の混合は、図３８の実施形態と比較して、収集領域において著しく向上させることができる。一実施形態では、本明細書で論じる任意の光学構成要素を収集領域３８０８において使用して、光をファイバ又はファイバ束に提供する前に光を収集することができる。

【0161】

図４０は、同様に、同じ又は実質的に同じ角度で光を収集領域３８０８に提供するエミッタ３８０２、３８０４、３８０６を有する、光源３８００の一実施形態を例示する。しかしながら、収集領域３８０８に入射する光は、垂直からオフセットされている。角度４００２は、垂直からの角度オフセットを示す。一実施形態では、レーザエミッタ３８０２、３８０４、３８０６は、ガウス分布である断面強度プロファイルを有し得る。前述したように、ファイバ間の光エネルギーの分布の改善は、より平坦な又はトップハット形状の強度プロファイルを作り出すことによって達成され得る。一実施形態では、角度４００２が増加すると、収集領域３８０８にわたる強度は、トップハットプロファイルに近づく。例えば、プロファイルが十分に平坦になるまで角度４００２を増加させることによって、平坦でない出力ビームでも、トップハットプロファイルに近似させることができる。

【0162】

トップハットプロファイルはまた、１つ以上のレンズ、拡散器、混合ロッド、又はエミッタ３８０２、３８０４、３８０６と出力導波管、ファイバ、若しくは光ファイバ束との間の任意のその他の介在する光学構成要素を使用して達成することもできる。

【0163】

図４１は、出力において拡散器４１０４を介して出力する単一の光ファイバ４１０２を例示する概略図である。一実施形態では、光ファイバ４１０２は、５００マイクロメートルの直径を有し、０．６５の開口数を有し、拡散器４１０４を伴わずに約７０度又は８０度の光円錐４１０６を放出することができる。拡散器４１０４によって、光円錐４１０６は、約１１０度又は１２０度の角度を有することができる。光円錐４１０６は、全ての光が進みかつ均一に分布する場所の大部分であり得る。拡散器４１０４は、画像センサによって観察されるシーンの電磁エネルギーのより均一な分布を可能にすることができる。

【0164】

一実施形態では、管腔導波管４１０２は、約５００マイクロメートルの単一のプラスチック又はガラスの光ファイバを含むことができる。プラスチックファイバは低コストであり得るが、その幅は、連結器、拡散器、又はその他の損失によって、ファイバがシーンに十分な量の光を搬送することを可能にすることができる。例えば、より小さいファイバは、より大きいファイバと同程度の光又は電力を搬送することができない場合がある。管腔導波管３７１０は、単一又は複数の光ファイバを含むことができる。管腔導波管３７０２は、光源から直接又はジャンパ導波管（例えば、図３７のジャンパ導波管３７０６を参照されたい）を介して、光を受光することができる。拡散器を使用して、画像センサ３７１４又はその他の光学構成要素の所望の視野のために光出力３７０６を広げることができる。

【0165】

図３８～図４０には３つのエミッタが示されているが、いくつかの実施形態では、１から数百以上の数になるエミッタを使用することができる。エミッタは、エミッタが放出する異なる波長又はスペクトルの光を有することができ、これを使用して、電磁スペクトル（例えば、可視スペクトル並びに赤外及び紫外スペクトル）の所望の部分を連続的にカバーすることができる。

【0166】

一実施形態では、複数のエミッタを有する光源は、光不足環境におけるマルチスペクトル撮像又はハイパースペクトル撮像に使用することができる。例えば、異なる化学薬品、材料、又は組織は、異なる色又は波長の電磁エネルギーに対して異なる応答を有し得る。いくつかの組織は、それら独特のスペクトルシグネチャ（組織が電磁放射線の波長の反射においてどのように反応又は変動するか）を有する。一実施形態では、特定の種類の組織は、組織が特定の波長又は波長の特定の組み合わせにどのように反応するかに基づいて検出することができる。例えば、血管組織は、それを体内の筋肉、脂肪、骨、神経、尿管、又はその他の組織若しくは材料と区別するために、独特な方法で、異なる波長又はスペクトルの電磁エネルギーを吸収及び反射することができる。更に、特定の種類の筋肉又は他の種類の組織は、それらのスペクトル応答に基づいて区別することができる。組織の疾病状態もまた、スペクトル情報に基づいて判断することができる。米国特許第８，２８９，５０３号を参照されたい。また、米国特許第８，１５８，９５７号も参照されたい。

【0167】

一実施形態では、蛍光画像データ及び／又はマルチスペクトル画像データ若しくはハイパースペクトル画像データは、１つ以上のフィルタを使用して、所望の波長又はスペクトルのものを除いて全ての光又は電磁エネルギーをフィルタリングして取得することができる。図４２は、光４２０８（又はその他の電磁放射線）が撮像センサ４２０４又はその他の撮像媒体（例えば、フィルム）に遭遇する前に、不要な波長をフィルタリングするためのフィルタ４２０２を例示するブロック図である。一実施形態では、白色光４２０８は、フィルタ４２０２を通過して、フィルタリングした光４２１０は、画像の捕捉及び読み出しのために撮像センサ４２０４上へ集束させるレンズ４２０６を通過する。フィルタは、システム内の任意の場所に配置することができ、又はレンズ４２０６若しくは画像センサ４２０４の付属物とすることができる。

【0168】

光不足環境において、光４２０８は、光不足環境においてエミッタによって放出される白色光を含むことができる。フィルタ４２０２は、所望の検査のために選択することができる。例えば、特定の組織を検出又は強調することが所望される場合、フィルタ４２０２は、特定の組織のスペクトル応答又は特定の試薬の蛍光放出に対応する波長を通過させるように選択することができる。モノクロ画像センサを含むことができる画像センサ４２０４は、画像を生成することができる。次いで、閾値を超える、又は閾値未満の捕捉した画像の画素を、特定の組織に対応するとして特徴づけることができる。次いで、このデータを使用して、特定の組織の位置を示す画像を生成することができる。

【0169】

別の実施形態では、蛍光を発光する染料又は試薬を、身体内の特定の組織の種類、経路、などを撮像するために使用することができる。例えば、蛍光を発光する染料を患者に投与し、次いで、染料の画像を捕捉することができる。一実施形態では、染料に蛍光を発光させることは、特定の波長の電磁エネルギーを使用してトリガすることができる。例えば、染料は、電磁エネルギーが存在するときにのみ蛍光を発光することができる。

【0170】

しかしながら、フィルタ及び蛍光を発光する染料はどちらも、検査を大幅に制限する。例えば、フィルタを使用する場合、検出され得る所望のスペクトル応答、したがって検出され得る材料又は組織は、利用できるフィルタによって制限される。更に、フィルタは、取り替えること又は交換することが必要であり得る。染料に関して、染料は、撮像する前に投与しなければならず、同じ検査中に異なる目的に対して異なる染料の投与間に競合が存在する場合がある。したがって、フィルタ及び染料を使用する検査は、所望の情報を得るために、長い時間がかかる場合があり、また、多くの異なる検査を必要する場合がある。

【0171】

一実施形態では、光不足環境におけるマルチスペクトル撮像又はハイパースペクトル撮像は、モノクロ画像センサ及び複数の異なる波長又はスペクトルの電磁エネルギーを放出するエミッタを使用して達成することができる。一実施形態では、光源又はその他の電磁源（図３８～図４０のいずれかの光源３８００など）は、所望のスペクトルをカバーするために、複数のエミッタを含むことができる。

【0172】

図４３は、２０個の異なるサブスペクトルに分けた電磁スペクトル４３００の一部分を例示する。サブスペクトルの数は、例示的なものにすぎない。少なくとも１つの実施形態では、スペクトル４３００は、それぞれが小さい波長帯を有する数百のサブスペクトルに分けることができる。スペクトルは、赤外スペクトル４３０２から、可視スペクトル４３０４を通って、紫外スペクトル４３０６まで及び得る。サブスペクトルは、それぞれがスペクトル４３００の一部分をカバーする波長帯４３０８を有する。各波長帯は、上部波長及び下部波長によって画定することができる。

【0173】

一実施形態では、スペクトル４３００全体の完全かつ連続したカバレージを提供するために、少なくとも１つの（レーザエミッタなどの）エミッタを、サブスペクトルごとに（図３７～図４０の光源３７０２、３８００などの）光源内に含むことができる。例えば、例示されるサブスペクトルのカバレージを提供するための光源は、サブスペクトルごとに少なくとも１つの、少なくとも２０個の異なるエミッタを含むことができる。一実施形態では、各エミッタは、４０ナノメートルをカバーするスペクトルをカバーすることができる。例えば、あるエミッタは、５００ｎｍ～５４０ｎｍの波長帯内の光を放出することができ、一方で、別のエミッタは、５４０ｎｍ～５８０ｎｍの波長帯内の光を放出することができる。別の実施形態では、エミッタは、利用可能なエミッタの種類又は撮像のニーズに応じて、他のサイズの波長帯をカバーすることができる。例えば、複数のエミッタは、５００～５４０ｎｍの波長帯をカバーする第１のエミッタと、５４０ｎｍ～６４０ｎｍの波長帯をカバーする第２のエミッタと、６４０ｎｍ～６５０ｎｍの波長帯をカバーする第３のエミッタと、を含むことができる。各エミッタは、遠赤外線、中赤外線、近赤外線、可視光線、近紫外線、及び／又は極紫外線にわたる異なる切片の電磁スペクトルをカバーすることができる。場合によっては、撮像のための十分な出力を提供するために、同じ種類又は波長の複数のエミッタを含むことができる。特定の波長帯に必要とされるエミッタの数は、その波長帯に対するモノクロセンサの感度及び／又はその波長帯におけるエミッタの電力出力能力に依存し得る。

【0174】

エミッタによって提供される波長帯の幅及びカバレージは、スペクトルの任意の所望の組み合わせを提供するように選択することができる。例えば、非常に狭い波長帯幅（例えば、１０ｎｍ以下）を使用するスペクトルの連続カバレージは、高選択性のハイパースペクトル撮像を可能にすることができる。波長は、選択的に作動させることができるエミッタに由来するので、検査中に材料のスペクトル応答を決定する際に、最高の適応性を達成することができる。したがって、複数の検査を必要とする、染料又は染色剤の投与により遅延する、などとなり得る、スペクトル応答に関する更なる情報を、より少ない時間かつ単一の検査で達成することができる。一実施形態では、システムは、ハイパースペクトル画像データを捕捉し、そのデータを処理して、各画素にどのような種類の組織が存在しているのかを識別することができる。

【0175】

図４４は、一実施形態による、マルチスペクトル画像又はハイパースペクトル画像を生成するために放出及び読み出しを行うためのタイミング図４４００を例示する概略図である。実線は、一連のフレーム４４０４～４４１４を捕捉するための読み出し（ピーク４４０２）及びブランキング期間（谷）を表す。一連のフレーム４４０４～４４１４は、ビデオフィードのためのハイパースペクトルデータを生成するために使用することができる、繰り返す一連のフレームを含み得る。一連のフレームは、第１のフレーム４０４と、第２のフレーム４４０６と、第３のフレーム４４０８と、第４のフレーム４４１０と、第５のフレーム４４１２と、第ｎのフレーム４４２６と、を含む。

【0176】

一実施形態では、各フレームは、電磁エネルギーの少なくとも１つのパルスに基づいて生成される。電磁エネルギーのパルスは、反射され、画像センサによって検出され、次いで、その後の読み出し（４４０２）において読み出される。したがって、各ブランキング期間及び読み出しは、特定の範囲の電磁エネルギーの画像フレームをもたらす。例えば、第１のフレーム４０４は、第１の１つ以上のパルス４４１６のスペクトルに基づいて生成することができ、第２のフレーム４４０６は、第２の１つ以上のパルス４４１８のスペクトルに基づいて生成することができ、第３のフレーム４４０８は、第３の１つ以上のパルス４４２０のスペクトルに基づいて生成することができ、第４のフレーム４４１０は、第４の１つ以上のパルス４４２２のスペクトルに基づいて生成することができ、第５のフレーム４４１２は、第５の１つ以上のパルス４４２４のスペクトルに基づいて生成することができ、第ｎのフレーム４４２６は、第ｎの１つ以上のパルス４４２６のスペクトルに基づいて生成することができる。

【0177】

パルス４４１６～４４２６は、単一のエミッタからの、又は２つ以上のエミッタの組み合わせからのエネルギーを含むことができる。例えば、単一の読み出し期間又は複数のフレーム４４０４～４４１４内に含まれるスペクトルは、特定の組織又は状態の所望の検査又は検出のために選択することができる。一実施形態によれば、１つ以上のパルスは、カラー又は白黒の画像を生成するための可視スペクトル光を含むことができ、一方で、１つ以上の追加的なパルスは、スペクトル応答を取得して組織の種類を分類するために使用される。例えば、パルス４４１６は、赤色光を含むことができ、パルス４４１８は、青色光を含むことができ、パルス４４２０は、緑色光を含むことができ、一方で、残りのパルス４４２２～４４２６は、特定の組織の種類を検出するための波長及びスペクトルを含むことができる。更なる一例として、単一の読み出し期間のパルスは、特定の組織の種類を検出するのに使用することができる複数の異なるエミッタから生成されるスペクトル（例えば、異なる切片の電磁スペクトル）を含むことができる。例えば、波長の組み合わせが閾値を超える、又は閾値未満の値を有する画素をもたらす場合、その画素は、組織の特定の種類に対応するものとして分類することができる。各フレームは、その画素（例えば、画像内の各画素）に存在する組織の種類を更に絞って、スペクトル応答に基づいて、組織の非常に具体的な分類及び／又は組織の状態（病変／健康）を提供するのに使用することができる。

【0178】

複数のフレーム４４０４～４４１４は、様々な長さの読み出し期間、及び異なる長さ又は強度を有するパルスを有するように示されている。ブランキング期間、パルスの長さ又は強度などは、特定の波長に対するモノクロセンサの感度、エミッタ（複数可）の電力出力能力、及び／又は導波管の搬送能力に基づいて選択することができる。

【0179】

図４４に例示される様態で取得されるハイパースペクトル画像又はハイパースペクトル画像データは、それぞれが異なるスペクトル又はスペクトルの組み合わせに基づく複数のフレームをもたらすことができる。場合によっては、数十又は数百の異なるフレームを取得することができる。別の場合では、ビデオストリームなどについて、いくつかのフレームは、視認可能なフレーム速度を提供するように制限され得る。異なるスペクトルの組み合わせを単一の読み出し期間内に提供することができるので、ビデオストリームであっても、依然として有用かつ動的なスペクトル情報を取得することができる。

【0180】

一実施形態では、映像又はその他の画像は、各画素のスペクトル応答から導出された情報と重ね合わせられた白黒画像又はカラー画像を含むことができる。例えば、検査中に、特定の組織又は状態に対応する画素を明緑色又は他の色で示して、医師又はその他の医療専門家を補助することができる。

【0181】

一実施形態では、三次元画像又はビデオフィードを取得するために、二重画像センサを使用することができる。三次元検査は、診察される領域の三次元構造並びにその領域内の異なる組織又は材料の種類のマッピングの向上した理解を可能にすることができる。

【0182】

一実施形態では、材料又は物質を透かして見るために、マルチスペクトル撮像又はハイパースペクトル撮像を使用することができる。例えば、赤外線波長は、筋肉又は脂肪などのいくつかの組織を通過し、一方で、血管に反射することができる。一実施形態では、赤外線波は、５、８、又は１０ｍｍ以上、組織の中へ浸透することができる。少なくとも１つの赤外線フレームを含む一連のフレームを取得することで、検査が、表面の下の血管の位置に関する情報を提供することを可能にすることができる。これは、血管を回避する切開を実行することが望ましくなり得る外科手技に極めて有用であり得る。一実施形態では、カラー画像又はグレースケール画像を、表面の下の血管の位置を示す緑色と重ね合わせることができる。同様に、血液の既知のスペクトル応答を使用して、検査時に血液を透かして対象の組織又は構造を見ることができる。

【0183】

モニタ又は他の表示装置に表示するための、サブフレームの単一のフレームへの組み立ては、一連のフレーム４４０４～４４１４を捕捉した後に行うことができる。カラー画像又はグレースケール画像は、フレームの１つ以上から生成することができ、画素のオーバーレイ情報は、全ての又は残りのフレームに基づいて決定することができる。カラー画像又はグレースケール画像は、オーバーレイ情報と組み合わせて、単一のフレームを生成することができる。単一のフレームは、単一の画像として、又はビデオストリーム内の画像として表示することができる。

【0184】

一実施形態では、図４４に例示されるように取得されたハイパースペクトルデータは、第三者のアルゴリズムによる解析のために提供されて、画像内に捕捉された組織又は材料を分類することができる。一実施形態では、第三者のアルゴリズムは、所望のスペクトル応答解析を実行することができるように、撮像中に使用されるスペクトル又は波長帯を選択するために使用することができる。一実施形態では、スペクトル応答解析は、医療用撮像手技又は他の医療処置中にリアルタイムで実行することができる。スペクトルデータは、ＲＧＢ又は白黒の画像に重ね合わせることができ、その結果、ユーザは、特定の種類の組織、器官、化学プロセス、疾患などを容易に区別することができる。一実施形態では、スペクトルデータは、医療用撮像又は医療処置を自動化するためのロボットシステムなどのコンピュータ動作のシステムに提供することができる。

【0185】

図４５は、シングルカットフィルタを有する撮像システム４５００の概略図である。システム４５００は、光不足環境において使用するための光源４５０８を有する内視鏡４５０６又はその他の好適な撮像装置を含む。内視鏡４５０６は、画像センサ４５０４と、画像センサ４５０４に到達する前に不要な波長の光又はその他の電磁放射線をフィルタリングするためのフィルタ４５０２と、を含む。光源４５０８は、体腔などの光不足環境における表面４５１２を照明することができる光を伝達する。光４５１０は、表面４５１２に反射し、画像センサ４５０４に当たる前にフィルタ４５０２を通過する。

【0186】

フィルタ４５０２は、蛍光性試薬又は染料が投与された一実装形態で使用することができる。かかる一実施形態では、フィルタ４５０２は、１つ以上の所望の波長若しくはスペクトル帯域の光以外の全ての光、又はその他の電磁放射線をフィルタリングするように構成されている。一実施形態では、フィルタ４５０２は、試薬又は染料に蛍光を発光させる励起波長の電磁放射線をフィルタリングするように構成されており、その結果、蛍光を発光した試薬又は染料の予想緩和波長のみがフィルタ４５０２を通過し、画像センサ４５０４に到達することが可能である。一実施形態では、フィルタ４５０２は、少なくとも７７０ｎｍ～７９０ｎｍの蛍光性試薬励起波長をフィルタリングする。一実施形態では、フィルタ４５０２は、少なくとも７９５ｎｍ～８１５ｎｍの蛍光性試薬励起波長をフィルタリングする。一実施形態では、フィルタ４５０２は、少なくとも７７０ｎｍ～７９０ｎｍ及び７９５ｎｍ～８１５ｎｍの蛍光性試薬励起波長をフィルタリングする。これらの実施形態では、フィルタ４５０２は、試薬の励起波長をフィルタリングし、蛍光を発光した試薬の緩和波長のみが画像センサ４５０４によって読み出されることを可能にする。画像センサ４５０４は、波長非依存性画像センサとすることができ、フィルタ４５０２は、画像センサ４５０４が、蛍光を発光した試薬の緩和波長のみを受信し、試薬の放出励起波長は受信しないことを可能にするように構成することができる。次いで、画像センサ４５０４によって決定されたデータは、試薬又は染料の位置によって決定される重要な身体の構造、組織、生物学的プロセス、又は化学プロセスの存在を示すことができる。

【0187】

フィルタ４５０２は、蛍光性試薬又は染料が投与されていない一実装形態において更に使用されることができる。フィルタ４５０２は、所望のスペクトル応答に対応する波長が通過し、画像センサ４５０４によって読み出されることを可能にするように選択することができる。画像センサ４５０４は、閾値を超える又は閾値未満の捕捉した画像の画素を、特定のスペクトル応答又は蛍光放出に対応するように特徴づけることができるように、モノクロ画像センサとすることができる。画像センサ４５０４によって捕捉された画素によって決定されるスペクトル応答又は蛍光放出は、特定の身体組織又は構造、特定の状態、特定の化学プロセスなどの存在を示すことができる。

【0188】

一実施形態では、光源４５０８は、表面４５１２に接触する白色光を伝達し、白色光は画像センサ４５０４に当たる前に、フィルタ４５０２によってフィルタリングされた場所に戻り反射する。一実施形態では、光源４５０８は、フィルタ４５０２を通過する白色光を伝達し、その結果、１つ以上の所望の波長のみのフィルタリングされた光がフィルタ４５０２から現れて、表面４５１２に反射され、画像センサ４５０４によって読み出される。例えば、一実施形態では、フィルタ４５０２によって、７９５ｎｍの波長を有する光のみがフィルタ４５０２を通過し、画像センサ４５０４に接触することが可能になる。更に、一実施形態では、フィルタ４５０２は、特定の波長の光のみが、内視鏡４５０６又はその他の撮像装置の画像センサ４５０４に戻り反射することを可能にする。フィルタ４５０２は、システム４５００内の任意の場所に配置することができ、又はレンズ若しくは画像センサ４５０４の付属物とすることができる。フィルタ４５０２は、画像センサ４５０４の前及び／又は後ろに配置することができる。一実施形態では、光源４５０８によって放出された光は、それが表面４５１２に到達する前にフィルタリングされ、反射光は、それが画像センサ４５０４によって使用可能になる前に、追加のフィルタによってフィルタリングされる。

【0189】

光源４５０８は、１つ以上の特定の波長の白色光又は電磁放射線を放出するように構成されることができるエミッタとすることができる。光源４５０８は、指定した波長の光を放出又はパルス化するように構成された複数のレーザを含むことができる。一実施形態では、光源４５０８は白色光を放出し、フィルタ４５０２は、１つ以上の所望の波長の光以外の全ての不要な光、又は他の電磁放射線をフィルタリングするように選択される。フィルタ４５０２は、特定の検査又は目的のために、例えば、ある種類の身体組織若しくは構造を強調するために、又は特定の状態若しくは化学プロセスを強調するために選択することができる。

【0190】

図４６は、複数のカットフィルタを有する撮像システム４６００の概略図である。システム４６００は、光不足環境において使用するための光源４６０８を有する内視鏡４６０６又はその他の好適な撮像装置を含む。内視鏡４６０６は、画像センサ４６０４と、２つのフィルタ４６０２ａ、４６０２ｂと、を含む。代替の実施形態では、システム４６００は任意の数のフィルタを含むことができること、並びにフィルタの数及びフィルタの種類を、特定の目的のために、例えば、特定の身体組織、身体状態、化学プロセスなどの撮像情報を収集するために選択することができることが理解されるべきである。フィルタ４６０２ａ、４６０２ｂは、光又はその他の電磁放射線の不要な波長をフィルタリングするように構成されている。フィルタ４６０２ａ、４６０２ｂは、光源４６０８によって放出し得る白色光又はその他の電磁放射線から不要な波長をフィルタリングするように構成することができる。フィルタリングされた光は、表面４６１２（例えば、身体組織）に当たり、画像センサ４６０４に戻り反射することができる。

【0191】

図４５に関する本開示を続けると、フィルタ４６０２ａ、４６０２ｂは、蛍光性試薬又は染料が投与された一実装形態で使用することができる。フィルタ４６０２ａ、４６０２ｂは、試薬又は染料の放出励起波長を妨害し、画像センサ４６０４が試薬又は染料の緩和波長のみを読み出すことを可能にするように構成することができる。更に、フィルタ４６０２ａ、４６０２ｂは、蛍光性試薬又は染料が投与されていない一実装形態において使用されてもよい。かかる実装形態では、フィルタ４６０２ａ、４６０２ｂは、所望のスペクトル応答に対応する波長が通過し、画像センサ４６０４によって読み出されることを可能にするように選択することができる。

【0192】

複数のフィルタ４６０２ａ、４６０２ｂはそれぞれ、電磁スペクトルの異なる波長範囲をフィルタリングするように構成することができる。例えば、１つのフィルタは、所望の波長範囲を超える波長をフィルタリングするように構成することができ、追加的なフィルタは、所望の波長範囲よりも短い波長をフィルタリングするように構成することができる。２つ以上のフィルタの組み合わせは、画像センサ４６０４によって読み出されている特定の波長又は波長の帯域のみをもたらすことができる。

【0193】

一実施形態では、フィルタ４６０２ａ、４６０２ｂは、５１３ｎｍ～５４５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、５６５ｎｍ～５８５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、９００ｎｍ～１０００ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、４２５ｎｍ～４７５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、５２０ｎｍ～５４５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、６２５ｎｍ～６４５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、７６０ｎｍ～７９５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、７９５ｎｍ～８１５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、３７０ｎｍ～４２０ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、６００ｎｍ～６７０ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズされている。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、特定の蛍光緩和放出のみが、フィルタ４６０２ａ、４６０２ｂを通過し、画像センサ４６０４に接触することを可能にするように構成されている。

【0194】

一実施形態では、システム４６００は、複数の画像センサ４６０４を含み、特に、三次元画像を生成する際に使用するための２つの画像センサを含むことができる。画像センサ（複数可）４６０４は、色／波長非依存性とすることができ、また、表面４６１２から反射される電磁放射線の任意の波長を読み出すように構成することができる。一実施形態では、画像センサ４６０４は、それぞれ、色依存又は波長依存であり、また、表面４６１２から反射して画像センサ４６０４に戻る特定の波長の電磁放射線を読み出すように構成されている。代替的に、画像センサ４６０４は、ベイヤーフィルタのカラーフィルタアレイなどの、光の異なる波長又は色を読み出すように構成された複数の異なる画素センサを有する、単一の画像センサを含むことができる。代替的に、画像センサ４６０４は、例えば図５～図７Ｅ及び図１５～図１６に例示されるものなどのパルス化スケジュールに従って電磁放射線の異なる波長を読み出すように構成することができる、１つ以上の色非依存性画像センサを含むことができる。

【0195】

図４７は、光不足環境において表面をマッピングするための及び／又は物体を追跡するためのシステム４７００を例示する概略図である。一実施形態では、光不足環境における内視鏡４７０２は、表面４７０４のグリッドアレイ４７０６（レーザマップパターンとも称され得る）をパルス化する。グリッドアレイ４７０６は、図４７に例示される一実施形態では、垂直ハッシング４７０８と、水平ハッシング４７１０と、を含むことができる。グリッドアレイ４７０６は、例えば個別の位置のラスタグリッド、占有グリッドマップ、ドットアレイ、などを含む表面４７０４をマッピングするための、任意の好適なアレイを含むことができることが理解されるべきである。加えて、内視鏡４７０２は、複数のグリッドアレイ４７０６をパルス化することができ、また、例えば、光不足環境内の複数の物体又は構造のそれぞれの１つ以上の個々のグリッドアレイをパルス化することができる。

【0196】

一実施形態では、システム４７００は、グリッドアレイ４７０６をパルス化し、これは、三次元表面を決定するために、及び／又は光不足環境内のツール若しくは別の装置などの物体の位置を追跡するために使用することができる。一実施形態では、システム４７００は、光検出及び測距（light detection and ranging、ＬＩＤＡＲ）マッピングによって表面の寸法及び構成を決定するために、データを第三者のシステム又はコンピュータアルゴリズムに提供することができる。システム４７００は、例えば紫外線、可視光線、及び／又は赤外線若しくは近赤外線を含む、グリッドアレイ４７０６内の任意の好適な光の波長又は電磁放射線をパルス化することができる。環境内の表面４７０４及び／又は物体は、非常に高い解像度で、かつ非常に高い正確さ及び精密さでマッピング及び追跡することができる。

【0197】

一実施形態では、システム４７００は、チューブと、１つ以上の画像センサと、１つ以上の画像センサに対応する光学素子を有するレンズアセンブリと、を有する、撮像装置を含む。システム４７００は、電磁放射線の１つ以上のパルスを生成する照明源と、電磁放射線の１つ以上のパルスを体腔などの光不足環境内の内視鏡の遠位先端に伝達する管腔と、を有する、光エンジンを含むことができる。一実施形態では、電磁放射線の１つ以上のパルスの少なくとも一部分は、体組織の表面及び／又は体腔内のツール若しくはその他の装置の表面などの、光不足環境内の表面に放出されるレーザマップパターンを含む。内視鏡４７０２は、光不足環境内の表面、寸法、及び構成をマッピング及び／又は追跡するための二次元、三次元、又はｎ次元のカメラを含むことができる。

【0198】

一実施形態では、システム４７００は、表面４７０４などの物体からの内視鏡又はツールの距離を決定するためのプロセッサを含む。プロセッサは、内視鏡又はツールと物体との間の角度を更に決定することができる。プロセッサは、例えば手術用具のサイズ、構造のサイズ、解剖学的構造のサイズ、位置情報、並びにその他の位置データ及びメトリックを含む、物体に関する表面積情報を更に決定することができる。システム４７００は、内視鏡又はツールから表面４７０４などの物体までの距離を決定するために制御システムに出力される画像データを提供する、１つ以上の画像センサを含むことができる。画像センサは、内視鏡又はツールと物体との間の角度を決定するための情報を制御システムに出力することができる。加えて、画像センサは、物体に関する表面積情報、手術用具のサイズ、構造のサイズ、解剖学的構造のサイズ、位置情報、並びにその他の位置データ及びメトリックを決定するための情報を制御システムに出力することができる。

【0199】

一実施形態では、グリッドアレイ４７０６は、グリッドアレイ４７０６をユーザが見ることができないように、内視鏡４７０２の照明源によって十分な速度でパルス化される。様々な実装形態では、内視鏡撮像手技及び／又は内視鏡外科手技中に、ユーザがグリッドアレイ４７０６を見ることで気が散る場合がある。グリッドアレイ４７０６は、グリッドアレイ４７０６が人の目によって検知できないように、十分に短い期間にわたってパルス化されてもよい。代替的な実施形態では、内視鏡４７０２は、グリッドアレイ４７０６がユーザによって見ることができるように、十分な繰り返し頻度でグリッドアレイ４７０６をパルス化する。かかる一実施形態では、グリッドアレイ４７０６は、ディスプレイ上の表面４７０４の画像に重ね合わせることができる。グリッドアレイ４７０６は、システム４７００の使用中にグリッドアレイ４７０６がユーザによって見ることができるように、表面４７０４の白黒画像又はＲＧＢ画像に重ね合わせることができる。システム４７００のユーザは、グリッドアレイ４７０６を表面４７０４の画像に重ね合わせるべきであるか、及び／又はグリッドアレイ４７０６をユーザが見ることができるべきであるかを指示することができる。システム４７００は、光不足環境内で内視鏡４７０２から表面４７０４又は別の物体までの距離のリアルタイム測定値を提供するディスプレイを含むことができる。ディスプレイは、光不足環境内の表面４７０４及び／又は任意の物体、構造、若しくはツールに関するリアルタイムの表面積情報を更に提供することができる。測定値の精度は、１ミリメートル未満の精度とすることができる。

【0200】

内視鏡４７０２は、例えば図５～図７Ｅ及び図１５～図１６に例示されるものなどのパルス化スケジュールに従って電磁放射線をパルス化することができ、これは、ＲＧＢ画像を生成するために赤色光、緑色光、及び青色光をパルス化することと共にグリッドアレイ４７０６をパルス化することと、ＲＧＢ画像に重ね合わせることができる及び／又は光不足環境内で表面４７０４及び物体をマッピング及び追跡するために使用することができるグリッドアレイ４７０６を更に生成することとを更に含み得る。

【0201】

一実施形態では、内視鏡４７０２は、１つ以上の色非依存性画像センサを含む。一実施形態では、内視鏡４７０２は、光不足環境の三次元画像又はマップを生成するための、２つの色非依存性画像センサを含む。画像センサは、本明細書に開示されるパルス化スケジュールに従って光不足環境のＲＧＢ画像を生成することができる。加えて、画像センサは、グリッドアレイ４７０６がパルス化されるときに決定されるデータに基づいて、光不足環境をマッピングしかつ光不足環境内の１つ以上の物体を追跡するためのデータを決定することができる。加えて、画像センサは、撮像手技の特定のニーズを満たすためにユーザによって修正することができるパルス化スケジュールに従って、蛍光撮像データと共に、スペクトルデータ又はハイパースペクトルデータを決定することができる。一実施形態では、パルス化スケジュールは、グリッドアレイ４７０６のパルス化、並びに／又はハイパースペクトル画像データ及び／若しくは蛍光画像データを生成するためのパルス化と共に、赤色パルス、緑色パルス、及び青色パルスを含む。様々な実装形態では、パルス化スケジュールは、ユーザのニーズによって、電磁放射線のパルスの任意の適切な組み合わせを含むことができる。異なる波長の電磁放射線の繰り返し頻度は、例えば、特定のパルスのエネルギー、ユーザのニーズ、特定のデータ（例えば、ハイパースペクトルデータ及び／又は蛍光撮像データ）を連続的に更新する必要があるか、又はあまり頻繁に更新しなくてもよいか、などに基づいて決定することができる。

【0202】

パルス化スケジュールは、任意の好適な様態で修正することができ、電磁放射線の特定のパルスは、ユーザのニーズ又は特定の撮像手技のためのコンピュータ実装プログラムに従って、任意の好適な頻度で繰り返すことができる。例えば、グリッドアレイ４７０６に基づいて生成される表面追跡データが、例えばロボット外科手技で使用するためのコンピュータ実装プログラムに提供される一実施形態では、グリッドアレイ４７０６は、表面追跡データが撮像手技中にシーンを視覚化しているユーザに提供される場合よりも頻繁にパルス化することができる。表面追跡データがロボット外科手技に使用されるかかる一実施形態では、表面追跡データは、より頻繁に更新することが必要な場合があり、又はコンピュータ実装プログラムが精密かつ正確にロボット外科手技を実行することができるように極めて正確であることが必要な場合がある。

【0203】

一実施形態では、システム４７００は、グリッドに分けられたセルのアレイを備える占有グリッドマップを生成するように構成されている。システム４７００は、それぞれのグリッドセルのそれぞれの高さ値を記憶して、光不足環境内の三次元環境の表面マッピングを決定するように構成されている。

【0204】

図４８は、光不足環境におけるハイパースペクトル撮像のための方法４８００の概略的なフローチャート図である。方法４８００は、図３７に例示される内視鏡撮像システムなどの撮像システムによって実行することができる。

【0205】

方法４８００は、４８０２において、モノクロ画像センサの読み出し期間中に複数の狭帯域パルスを放出することを含む。４８０２において、パルスは、狭周波数帯域内の電磁エネルギーを放出する複数のエミッタを含む光源を使用して放出することができる。例えば、光源は、所望のスペクトルをカバーする複数の周波数帯域のための少なくとも１つのエミッタを含むことができる。４８０４において、モノクロ画像センサは、モノクロ画像センサから画素データを読み出し、読み出し期間の後に複数のフレームを生成する。各フレームは、異なるスペクトル成分を含むことができる。これらのフレームは、デジタルビデオストリームを生成するために使用することができる複数の繰り返しフレームを含むことができる。各フレームは、光源の１つ以上のエミッタによって放出されるエネルギーに基づくことができる。一実施形態では、フレームは、所望の組織又は物質の周波数応答に一致するように周波数の組み合わせを生成するために、光源によって放出される光の組み合わせに基づくことができる。４８０６において、コントローラ、ＣＣＵ、又はその他のシステムは、複数のフレームに基づいて、１つ以上の画素について組織のスペクトル応答を決定する。例えば、複数のフレーム内の画素の値に基づいて、各フレームごとに放出される光の周波数に関する画素値及び知識を使用して、特定の画素の周波数応答を決定することができる。４８０８において、システムは、複数のフレームに基づく合成画像を生成することができ、この合成画像は、１つ以上の画素のスペクトル応答を示すオーバーレイを含む。例えば、合成画像は、グレースケールであってもよいし、又は特定の組織又は分類に対応する画素が明緑色で示されるカラー画像であってもよい。

【0206】

図４９は、光不足環境における蛍光撮像のための方法４９００の概略的なフローチャート図である。方法４９００は、図３７に例示される内視鏡撮像システムなどの撮像システムによって実行することができる。

【0207】

方法４９００は、４９０２において、モノクロ画像センサの読み出し期間中に複数の狭帯域パルスを放出することを含む。４９０２において、パルスは、狭周波数帯域内の電磁エネルギーを放出する複数のエミッタを含む光源を使用して放出することができる。例えば、光源は、所望のスペクトルをカバーする複数の周波数帯域のための少なくとも１つのエミッタを含むことができる。４９０４において、モノクロ画像センサは、モノクロ画像センサから画素データを読み出し、読み出し期間の後に複数のフレームを生成する。各フレームは、異なるスペクトル成分を含むことができる。これらのフレームは、デジタルビデオストリームを生成するために使用することができる複数の繰り返しフレームを含むことができる。各フレームは、光源の１つ以上のエミッタによって放出されるエネルギーに基づくことができる。一実施形態では、フレームは、所望の組織又は物質の周波数応答に一致するように周波数の組み合わせを生成するために、光源によって放出される光の組み合わせに基づくことができる。４９０６において、コントローラ、ＣＣＵ、又はその他のシステムは、複数のフレームに基づいて、１つ以上の画素について試薬の蛍光緩和放出を決定する。例えば、複数のフレーム内の画素の値に基づいて、各フレームごとに放出される光の周波数に関する画素値及び知識を使用して、特定の画素の周波数応答を決定することができる。４９０８において、システムは、複数のフレームに基づく合成画像を生成することができ、この合成画像は、１つ以上の画素の蛍光緩和放出を示すオーバーレイを含む。例えば、合成画像は、グレースケールであってもよいし、又は特定の組織又は分類に対応する画素が明緑色で示されるカラー画像であってもよい。

【実施例0208】

以下の実施例は、更なる実施形態に関する。
実施例１は、光不足環境において使用するための内視鏡システムである。システムは、撮像装置を含む。撮像装置は、チューブと、１つ以上の画像センサと、画像センサに対応する少なくとも１つの光学素子を備えるレンズアセンブリと、を含む。システムは、ユーザがシーンを視覚化するためのディスプレイと、画像信号処理コントローラと、を含む。システムは、光エンジンを含む。光エンジンは、電磁放射線の１つ以上のパルスを生成する照明源を含む。光エンジンは、電磁放射線の１つ以上のパルスを内視鏡の遠位先端に伝達する管腔を更に含み、電磁放射線の１つ以上のパルスの少なくとも一部分は、体組織の表面に放出されるレーザマップパターンを含む。

【0209】

実施例２は、二次元カメラを更に備える、実施例１に記載の内視鏡システムである。

【0210】

実施例３は、三次元カメラを更に備える、実施例１～２のいずれかに記載の内視鏡システムである。

【0211】

実施例４は、ｎ次元カメラを更に備える、実施例１～３のいずれかに記載の内視鏡システムである。

【0212】

実施例５は、レーザマップパターンが、内視鏡システムのユーザに見えない、実施例１～４のいずれかに記載の内視鏡システムである。

【0213】

実施例６は、レーザマップパターンが、内視鏡システムのユーザに見える、実施例１～５のいずれかに記載の内視鏡システムである。

【0214】

実施例７は、システムが、内視鏡システムのユーザに対して、物体からの内視鏡又はツールの距離、内視鏡若しくはツールと物体との間の角度、又は物体に関する表面積情報のうちの少なくとも１つを決定するプロセッサを更に備える、実施例１～６のいずれかに記載の内視鏡システムである。

【0215】

実施例８は、画像センサが、物体からの内視鏡の距離、内視鏡と物体との間の角度、物体に関する表面積情報、手術用具のサイズ、構造のサイズ、解剖学的構造のサイズ、位置情報、並びにその他の位置データ及びメトリックスのうちの少なくとも１つを決定する制御システムに出力される画像データを、内視鏡システムのユーザに提供する、実施例１～７のいずれかに記載の内視鏡システムである。

【0216】

実施例９は、レーザマップパターンの表示を、内視鏡システムのユーザによって起動又は停止させることができる、実施例１～８のいずれかに記載の内視鏡システムである。

【0217】

実施例１０は、ディスプレイが、物体からの内視鏡の距離、内視鏡と物体との間の角度、又は物体に関する表面積情報のうちの１つ以上のリアルタイム測定値を、内視鏡システムのユーザに提供する、実施例１～９のいずれかに記載の内視鏡システムである。

【0218】

実施例１１は、ディスプレイによって提供されるリアルタイム測定値が、１０センチメートル未満の精度である、実施例１～１０のいずれかに記載の内視鏡システムである。

【0219】

実施例１２は、ディスプレイによって提供されるリアルタイム測定値が、１ミリメートル未満の精度である、実施例１～１１のいずれかに記載の内視鏡システムである。

【0220】

実施例１３は、撮像装置が、三次元画像を生成するために、第１の画像センサと、第２の画像センサと、を備える、実施例１～１２のいずれかに記載の内視鏡システムである。

【0221】

実施例１４は、システムは、各ツールが１つ以上のレーザマップパターンを有する、複数のツールを備える、実施例１～１３のいずれかに記載の内視鏡システムである。

【0222】

実施例１５は、光エンジンが、互いに独立している第１の出力と、第２の出力と、を備え、第１の出力が、光照明用であり、第２の出力が、ツールの追跡用である、実施例１～１４のいずれかに記載の内視鏡システムである。

【0223】

実施例１６は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ以上の露光フレームが、ディスプレイ上で単一画像としてユーザに表示される、実施例１～１５のいずれかに記載の内視鏡システムである。

【0224】

実施例１７は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１～１６のいずれかに記載の内視鏡システムである。

【0225】

実施例１８は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ以上の露光フレームが、ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１～１７のいずれかに記載の内視鏡システムである。

【0226】

実施例１９は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１～１８のいずれかに記載の内視鏡システムである。

【0227】

実施例２０は、光エンジンが、偏光フィルタを備える、実施例１～１９のいずれかに記載の内視鏡システムである。

【0228】

実施例２１は、偏光フィルタが、電磁放射線の経路内に配置されている、実施例１～２０のいずれかに記載の内視鏡システムである。

【0229】

実施例２２は、偏光フィルタが、管腔の近位端に配置されている、実施例１～２１のいずれかに記載のような内視鏡システムである。

【0230】

実施例２３は、偏光フィルタが、管腔の遠位端に配置されている、実施例１～２２のいずれかに記載の内視鏡システムである。

【0231】

実施例２４は、レンズアセンブリが、電磁放射線フィルタを備える、実施例１～２３のいずれかに記載の内視鏡システムである。

【0232】

実施例２５は、レンズアセンブリが、偏光フィルタを備える、実施例１～２４のいずれかに記載の内視鏡システムである。

【0233】

実施例２６は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ以上の露光フレームが、重要な組織構造の位置を提供する対応するシステムに供給される、実施例１～２５のいずれかに記載の内視鏡システムである。

【0234】

実施例２７は、重要な構造の位置が、内視鏡システムによって受信され、ディスプレイ上で重ね合わせられ、重要な構造が、アルゴリズム又はユーザのいずれかによって選択された任意の色に符合化される、実施例１～２６のいずれかに記載の内視鏡システムである。

【0235】

本明細書に記載された種々の特徴は、当該技術分野において重要な利点及び進歩をもたらすことが理解されよう。以下の特許請求の範囲は、これらの特徴の一部を例示する。

【0236】

前述の「発明を実施するための形態」では、本開示の種々の特徴は、本開示の合理化の目的のために単一の実施形態に一緒にグループ化される。本開示の方法は、主張する主題には、各請求項において明示的に記載されるものより多い特徴が必要であるという意図を反映するとは、解釈されないものとする。むしろ、発明の態様は、前述の開示の単一の実施形態の全ての特徴より少ない特徴にある。

【0237】

上述の構成は、本開示の原理の適用を例示したにすぎないことを理解されたい。多数の変形形態及び代替構成が、本開示の趣旨及び範囲から逸脱することなく当業者により考案され得、添付の請求項は、そのような変形形態及び構成を包含することが意図されている。

【0238】

したがって、本開示を具体的かつ詳細に図面に示して上述してきたが、大きさ、材料、形状、形態、機能及び動作の方法、組み立て並びに用途の変形を含むがこれらに限定されない多数の変形形態を、本明細書で記載する原理及び概念を逸脱することなく行うことができることが、当業者には明らかであろう。

【0239】

更に、適切な場合は、本明細書に記載される機能を、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、又はアナログ構成要素のうちの１つ以上で実行することができる。例えば、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）は、本明細書にて記載するシステム及び手順の１つ以上を実行するように、プログラムすることができる。特定の用語が、特定のシステム構成要素を指すために以下の記載及び請求項を通して使用される。当業者には理解されるように、構成要素を異なる名称で称している場合がある。本文書では、名称が異なるが機能は異ならない構成要素を区別することは意図していない。

【0240】

前述の記載は、例示及び説明を目的として提示したものである。網羅的であること、及び開示した正確な形態に本開示を制限することを目的とするものではない。上記の教示に照らして、多くの変形形態及び変形が可能である。更に、上述した代替実施態様のいずれか又は全ては、本開示の更なる混成の実施態様を形成するために望まれる任意の組み合わせで使用され得るという点に留意すべきである。

【0241】

更に、本開示の特定の実施態様を記載及び例示してきたが、本開示はそのように記載及び例示した部分の特定の形態並びに構成に限定されるべきではない。本開示の範囲は、本明細書に添付した特許請求の範囲、本明細書で提起する任意の今後の特許請求の範囲によって、並びに異なる出願及びその均等物において定義されるべきである。

【0242】

〔実施の態様〕
（１） 光不足環境で使用するための内視鏡システムであって、
撮像装置であって、
チューブと、
１つ以上の画像センサと、
前記画像センサに対応する少なくとも１つの光学素子を備えるレンズアセンブリと、を備える、撮像装置と、
ユーザがシーンを視覚化するためのディスプレイと、
画像信号処理コントローラと、
光エンジンであって、
電磁放射線の１つ以上のパルスを生成する照明源と、
電磁放射線の１つ以上のパルスを内視鏡の遠位先端に伝達する管腔と、を備える、光エンジンと、を備え、前記電磁放射線の１つ以上のパルスの少なくとも一部分が、体組織の表面に放出されるレーザマップパターンを含む、内視鏡システム。
（２） 二次元カメラを更に備える、実施態様１に記載の内視鏡システム。
（３） 三次元カメラを更に備える、実施態様１に記載の内視鏡システム。
（４） ｎ次元カメラを更に備える、実施態様１に記載の内視鏡システム。
（５） 前記レーザマップパターンが、前記内視鏡システムのユーザに見えない、実施態様１に記載の内視鏡システム。

【0243】

（６） 前記レーザマップパターンが、前記内視鏡システムのユーザに見える、実施態様１に記載の内視鏡システム。
（７） 前記システムが、前記内視鏡システムの前記ユーザに対して、物体からの内視鏡若しくはツールの距離、内視鏡若しくはツールと前記物体との間の角度、又は前記物体に関する表面積情報のうちの少なくとも１つを決定するプロセッサを更に備える、実施態様１に記載の内視鏡システム。
（８） 前記画像センサが、物体からの内視鏡の距離、内視鏡と前記物体との間の角度、前記物体に関する表面積情報、手術用具のサイズ、構造のサイズ、解剖学的構造のサイズ、位置情報、並びにその他の位置データ及びメトリックスのうちの少なくとも１つを決定する制御システムに出力される画像データを、前記内視鏡システムの前記ユーザに提供する、実施態様１に記載の内視鏡システム。
（９） 前記レーザマップパターンの表示を、前記内視鏡システムの前記ユーザによって起動又は停止させることができる、実施態様１に記載の内視鏡システム。
（１０） 前記ディスプレイが、物体からの内視鏡の距離、内視鏡と前記物体との間の角度、又は前記物体に関する表面積情報のうちの１つ以上のリアルタイム測定値を、前記内視鏡システムの前記ユーザに提供する、実施態様１に記載の内視鏡システム。

【0244】

（１１） 前記ディスプレイによって提供される前記リアルタイム測定値が、１０センチメートル未満の精度である、実施態様１０に記載の内視鏡システム。
（１２） 前記ディスプレイによって提供される前記リアルタイム測定値が、１ミリメートル未満の精度である、実施態様１０に記載の内視鏡システム。
（１３） 前記撮像装置が、三次元画像を生成するために、第１の画像センサと、第２の画像センサと、を備える、実施態様１に記載の内視鏡システム。
（１４） 前記システムは、各ツールが１つ以上のレーザマップパターンを有する、複数のツールを備える、実施態様１に記載の内視鏡システム。
（１５） 前記光エンジンが、互いに独立している第１の出力と、第２の出力と、を備え、前記第１の出力が、光照明用であり、前記第２の出力が、ツール追跡用である、実施態様１に記載の内視鏡システム。

【0245】

（１６） 電磁放射線の各パルスが、前記画像センサによって作成された露光フレームをもたらし、１つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様１に記載の内視鏡システム。
（１７） 前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様１６に記載の内視鏡システム。
（１８） 電磁放射線の各パルスが、前記画像センサによって作成された露光フレームをもたらし、１つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様１に記載の内視鏡システム。
（１９） 前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様１８に記載の内視鏡システム。
（２０） 前記光エンジンが、偏光フィルタを備える、実施態様１に記載の内視鏡システム。

【0246】

（２１） 前記偏光フィルタが、前記電磁放射線の経路内に配置されている、実施態様２０に記載の内視鏡システム。
（２２） 前記偏光フィルタが、前記管腔の近位端に配置されている、実施態様２１に記載の内視鏡システム。
（２３） 前記偏光フィルタが、前記管腔の遠位端に配置されている、実施態様２１に記載の内視鏡システム。
（２４） 前記レンズアセンブリが、電磁放射線フィルタを備える、実施態様１に記載の内視鏡システム。
（２５） 前記レンズアセンブリが、偏光フィルタを備える、実施態様１に記載の内視鏡システム。

【0247】

（２６） 電磁放射線の各パルスが、前記画像センサによって作成された露光フレームをもたらし、１つ以上の露光フレームが、重要な組織構造の位置を提供する対応するシステムに供給される、実施態様１に記載の内視鏡システム。
（２７） 前記重要な構造の位置が、前記内視鏡システムによって受信され、ディスプレイ上で重ね合わせられ、前記重要な構造が、アルゴリズム又はユーザのいずれかによって選択された任意の色に符号化される、実施態様２６に記載の内視鏡システム。

【図1】

【図2】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27A】

【図27B】

【図28A】

【図28B】

【図28C】

【図29A】

【図29B】

【図30A】

【図30B】

【図31A】

【図31B】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【外国語明細書】