(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-31
(45)【発行日】2024-06-10
(54)【発明の名称】医療用撮像データを表示するためのシステム及び方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20240603BHJP
G06T 1/20 20060101ALI20240603BHJP
G06T 1/00 20060101ALI20240603BHJP
【ＦＩ】
A61B1/045 622
A61B1/045 618
G06T1/20 C
G06T1/00 290Z
【請求項の数】
39
(21)【出願番号】P 2021532225
(86)(22)【出願日】2019-12-04
(65)【公表番号】
(43)【公表日】2022-02-03
(86)【国際出願番号】 US2019064478
(87)【国際公開番号】W WO2020117941
(87)【国際公開日】2020-06-11
【審査請求日】2022-12-02
(31)【優先権主張番号】62/775,622
(32)【優先日】2018-12-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】595148888
【氏名又は名称】ストライカー コーポレイション
【氏名又は名称原語表記】Ｓｔｒｙｋｅｒ Ｃｏｒｐｏｒａｔｉｏｎ
【住所又は居所原語表記】２８２５ Ａｉｒｖｉｅｗ Ｂｏｕｌｅｖａｒｄ Ｋａｌａｍａｚｏｏ ＭＩ ４９００２ （ＵＳ）
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】マハディク， エイミット
(72)【発明者】
【氏名】シェン， ジョン
(72)【発明者】
【氏名】パラマシヴァン， ラマナン
(72)【発明者】
【氏名】フェインゴールド， ベン
(72)【発明者】
【氏名】ジョーンズ， ロバート
(72)【発明者】
【氏名】ハンター， ブランドン
【審査官】渡戸 正義
(56)【参考文献】
【文献】特開２０１６－０７３５７２（ＪＰ，Ａ）
【文献】特開２０１８－１３８１４３（ＪＰ，Ａ）
【文献】特開２０１８－１３８１４１（ＪＰ，Ａ）
【文献】特開２０１５－２０５１２６（ＪＰ，Ａ）
【文献】特開平０４－３４１２３２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０２５３８３９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
Ｇ０２Ｂ ２３／２４ ー ２３／２６
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ５／５０
(57)【特許請求の範囲】
【請求項1】
医療用撮像データを表示する方法であって、第１の医療用撮像デバイスにより生成された第１の画像データを受信することであって、前記第１の画像データが、視野（ＦＯＶ）部分及び非ＦＯＶ部分を含むことと、
前記第１の画像データの非ＦＯＶ部分を識別することと、
前記第１の画像データの非ＦＯＶ部分の少なくとも一部を除去することにより、クロップされた第１の画像データを生成することと、
前記クロップされた第１の画像データをディスプレイの第１の部分に表示し、追加情報を前記ディスプレイの第２の部分に表示すること、を含む
ことを特徴とする方法。
【請求項2】
前記非ＦＯＶ部分は、エッジ検出を用いて識別されることを特徴とする請求項１に記載の方法。
【請求項3】
前記第１の画像データは、一連の映像フレームを含み、前記エッジ検出は、複数のフレームで実行される
ことを特徴とする請求項２に記載の方法。
【請求項4】
前記非ＦＯＶ部分は、前記ＦＯＶ部分の中心の位置及び前記ＦＯＶ部分の寸法に関連する測定値のうちの１以上を用いて識別されることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項5】
前記ＦＯＶ部分の中心の前記位置及び前記ＦＯＶ部分の寸法に関連する前記測定値は、撮像セッションの初期化処理中に決定されることを特徴とする請求項４に記載の方法。
【請求項6】
前記撮像セッションの初期化処理は、ホワイトバランス処理であることを特徴とする請求項５に記載の方法。
【請求項7】
前記第１の画像データは、矩形画像または映像フレームを含み、前記ＦＯＶ部分は、前記矩形画像または映像フレームの円形部分である
ことを特徴とする請求項１乃至６のいずれか１項に記載の方法。
【請求項8】
前記第１の画像データは、映像フレームを含むことを特徴とする請求項１乃至７のいずれか１項に記載の方法。
【請求項9】
前記第１の画像データは、医療用撮像処理システムの第１の入力において受信され、前記追加情報は、前記医療用撮像処理システムの第２の入力において受信されたデータに基づく
ことを特徴とする請求項１乃至８のいずれか１項に記載の方法。
【請求項10】
前記医療用撮像処理システムから前記ディスプレイに表示フィードを送信することを含み、前記表示フィードは、前記クロップされた第１の画像データと前記追加情報との組合せを含む
ことを特徴とする請求項９に記載の方法。
【請求項11】
第２の医療用撮像装置によって生成された第２の画像データを受信することと、前記第２の画像データの非ＦＯＶ部分を識別することと、
前記第２の画像データの前記非ＦＯＶ部分の少なくとも一部を除去することにより、クロップされた第２の画像データを生成することと、
前記クロップされた第２の画像データを、前記ディスプレイの前記第２の部分に表示することと、をさらに含む
ことを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項12】
前記第１の画像データは、医療用撮像処理システムの第１の入力において受信され、前記第２の画像データは、前記医療用撮像処理システムの第２の入力において受信される
ことを特徴とする請求項１１に記載の方法。
【請求項13】
前記医療用撮像処理システムから前記ディスプレイに表示フィードを送信することを含み、前記表示フィードは、前記クロップされた第１の画像データと前記クロップされた第２の画像データとの組合せを含む
ことを特徴とする請求項１２に記載の方法。
【請求項14】
前記クロップされた第１の画像データ及び前記追加情報は、メモリに格納された構成データに基づいて前記ディスプレイ上に配置されることを特徴とする請求項１乃至１３のいずれか１項に記載の方法。
【請求項15】
前記構成データは、ユーザ指定の構成データを含むことを特徴とする請求項１４に記載の方法。
【請求項16】
前記構成データは、ネットワーク接続を介して受信されることを特徴とする請求項１５に記載の方法。
【請求項17】
前記第１の画像データは、内視鏡撮像システム、術中Ｃアーム撮像システム、または超音波システムから受信されることを特徴とする請求項１乃至１６のいずれか１項に記載の方法。
【請求項18】
前記第１の画像データは、カメラ制御ユニットから受信されることを特徴とする請求項１７に記載の方法。
【請求項19】
前記追加情報は、患者データ、メトリクス、グラフ、画像、デバイスステータス、及び映像フィードのうちの１以上を含むことを特徴とする請求項１乃至１８のいずれか１項に記載の方法。
【請求項20】
医療用撮像データを表示するシステムであって、１以上のデータ入力と、
１以上のプロセッサと、
１以上のディスプレイと、を有し、
１以上のデータ入力は、第１の医療用撮像デバイスによって生成された第１の画像データを受信するように構成され、
前記第１の画像データは、視野（ＦＯＶ）部分及び非ＦＯＶ部分を含み、
前記１以上のプロセッサは、
第１の画像データの非ＦＯＶ部分を識別し、
第１の画像データの非ＦＯＶ部分の少なくとも一部を除去することにより、クロップされた第１の画像データを生成し、
前記ディスプレイの第１の部分に表示するための前記クロップされた第１の画像データと、前記１以上のディスプレイの第２の部分に表示するための追加情報と、を送信する
ように構成されることを特徴とするシステム。
【請求項21】
前記１以上のプロセッサは、エッジ検出を用いて前記非ＦＯＶ部分を識別するように構成されることを特徴とする請求項２０に記載のシステム。
【請求項22】
前記第１の画像データは、一連の映像フレームを含み、前記１以上のプロセッサは、複数のフレームに対して実行されるエッジ検出を用いて、前記非ＦＯＶ部分を識別するように構成される
ことを特徴とする請求項２１に記載のシステム。
【請求項23】
前記１以上のプロセッサは、前記ＦＯＶ部分の中心の位置及び前記ＦＯＶ部分の寸法に関連する測定値のうちの１以上を用いて、前記非ＦＯＶ部分を識別するように構成されることを特徴とする請求項２０乃至２２のいずれか１項に記載のシステム。
【請求項24】
前記１以上のプロセッサは、前記ＦＯＶ部分の中心の前記位置及び前記ＦＯＶ部分の寸法に関連する前記測定値を、撮像セッションの初期化処理中に決定するように構成されることを特徴とする請求項２３に記載のシステム。
【請求項25】
前記撮像セッションの初期化処理は、ホワイトバランス処理であることを特徴とする請求項２４に記載のシステム。
【請求項26】
前記第１の画像データは、矩形画像または映像フレームを含み、前記ＦＯＶ部分は、前記矩形画像または映像フレームの円形部分である
ことを特徴とする請求項２０乃至２５のいずれか１項に記載のシステム。
【請求項27】
前記第１の画像データは、映像フレームを含むことを特徴とする請求項２０乃至２６のいずれか１項に記載のシステム。
【請求項28】
前記１以上のデータ入力は、医療用撮像処理システムの第１の入力における前記第１の画像データを受信するように構成され、前記追加の医療用撮像データは、前記医療用撮像処理システムの第２の入力において受信されたデータに基づく
ことを特徴とする請求項２０乃至２６のいずれか１項に記載のシステム。
【請求項29】
前記医療用撮像処理システムは、前記医療用撮像処理システムから前記ディスプレイに表示フィードを送信するように構成され、前記表示フィードは、前記クロップされた第１の画像データと前記追加の医療用撮像データとの組合せを含む
ことを特徴とする請求項２８に記載のシステム。
【請求項30】
前記１以上のデータ入力は、第２の医療用撮像デバイスによって生成された第２の画像データを受信するように構成され、前記１以上のプロセッサは、
前記第２の画像データの非ＦＯＶ部分を識別し、
前記第２の画像データの前記非ＦＯＶ部分の少なくとも一部を除去することにより、クロップされた第２の画像データを生成し、
前記１以上のディスプレイの第２の部分に表示するために、前記クロップされた第２の画像データを送信する
ように構成されることを特徴とする請求項２０乃至２９のいずれか１項に記載のシステム。
【請求項31】
前記１以上のデータ入力は、医療用撮像処理システムの第１の入力における前記第１の画像データを受信し、前記医療用撮像処理システムの第２の入力における前記第２の画像データを受信するように構成されることを特徴とする請求項３０に記載のシステム。
【請求項32】
前記医療用撮像処理システムは、前記医療用撮像処理システムから前記ディスプレイに表示フィードを送信するように構成され、前記表示フィードは、前記クロップされた第１の画像データと前記クロップされた第２の画像データとの組合せを含む
ことを特徴とする請求項３１に記載のシステム。
【請求項33】
前記クロップされた第１の画像データ及び前記追加の医療用撮像データは、メモリに格納された構成データに基づいて前記ディスプレイ上に配置されることを特徴とする請求項２０乃至３２のいずれか１項に記載のシステム。
【請求項34】
前記構成データは、ユーザ指定の構成データを含むことを特徴とする請求項３３に記載のシステム。
【請求項35】
前記システムは、ネットワーク接続を介して前記構成データを受信するように構成されることを特徴とする請求項３４に記載のシステム。
【請求項36】
前記１以上のデータ入力は、内視鏡撮像システム、術中Ｃアーム撮像システム、または超音波システムから前記第１の画像データを受信するように構成されることを特徴とする請求項２０乃至３５のいずれか１項に記載のシステム。
【請求項37】
前記１以上のデータ入力は、カメラ制御ユニットから前記第１の画像データを受信するように構成されることを特徴とする請求項３６に記載のシステム。
【請求項38】
前記追加情報は、患者データ、メトリクス、グラフ、画像、デバイスステータス、及び映像フィードのうちの１以上を含むことを特徴とする請求項２０乃至３７のいずれか１項に記載のシステム。
【請求項39】
請求項１乃至１９のいずれか１項に記載の方法を実行するための、コンピュータ実行可能プログラムコードが埋め込まれた、非一時的な有形のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般には、医療用撮像に関し、より詳しくは、組織の可視化のための医療用撮像の処理に関する。
【背景技術】
【0002】
（関連出願へのクロスリファレンス）
本出願は２０１８年１２月５日に出願された米国仮出願第６２／７７５６２２号の利益を主張し、その内容全体は、参照により本明細書に組み込まれる。
本出願は２０１８年１２月５日に出願された米国仮出願第６２／７７５６２２号の利益を主張し、その内容全体は、参照により本明細書に組み込まれる。
【0003】
外科的視覚化における高精細（ＨＤ）及びＵｌｔｒａ ＨＤ／４Ｋ解像度の出現により、１６：９アスペクト比の外科的ディスプレイがますます一般的になってきている。しかしながら、多くの低侵襲外科処置は、依然として、撮像素子における視野が撮像素子のセンシング領域よりも小さくなる光学スコープに依存している。これにより、画像及び映像は、黒画素の実質的な領域内に円形の視野領域が存在することになる。多くの場合、例えば、使用可能な撮像エリアの４４％しか利用できず、その結果、使用可能な表示領域の４４％しか利用することができないことがある。これは、典型的には関節鏡検査や耳鼻咽喉／神経科（ＥＮＴ／Ｎｅｕｒｏ）の処置に使用される４ｍｍ径のスコープのような、より小径のスコープに特に当てはまる。
【0004】
外科医が複数の低使用率の光学スコープ画像等の複数の情報源を見る必要がある場合、外科医は、様々な撮像フィードの間でプライマリ外科的ディスプレイ上の入力を切り替えるか、外科的ディスプレイ上でピクチャ・イン・ピクチャモードまたはピクチャ・バイ・ピクチャモードを使用するか、または手術室内の２つの異なる位置にあり得る２つの異なるモニタを見なければならない場合がある。これらのオプションはいずれも、外科的ディスプレイの可視領域を最適に使用できない、または外科医に一方のディスプレイから他方のディスプレイに焦点を切り替えさせる状況を引き起こし得る。
【発明の概要】
【0005】
いくつかの実施形態によれば、医療用撮像処理システムは、医療用撮像データを処理して結合し、医療用撮像の強化された表示を提供する表示フィードを生成するよう構成される。いくつかの実施形態によれば、医療用撮像処理システムは複数の撮像ソース及び他の撮像セッション関連情報ソースからのデータを単一の表示レイアウトで一緒に表示するために、複数の撮像データストリームを１以上の表示ストリームに結合することができる。いくつかの実施形態によれば、撮像画角の外側にある撮像素子の一部により生成されたデータ等、撮像データの未使用部を削除することにより、表示レイアウトの利用は最適化できる。いくつかの実施形態では、表示フィードは、特定の種類の撮像セッション及び／または特定の撮像システムのユーザに合わせた、撮像セッション固有の優先傾向に従って生成することができる。いくつかの実施形態では、医療用撮像処理システムの再構成可能なハードウェアプロセッサは、１つの撮像セッションから別の撮像セッションに再構成され、次の撮像セッションに合わせて調整された撮像データ処理を提供してもよい。これらの能力のうちの１つ以上を介して、撮像処理システムは、ユーザの優先傾向に合わせて調整された、強化された医療用撮像の視覚化を提供することができる。
【0006】
いくつかの実施形態によれば、医療用撮像処理システムを構成する方法は、メモリに格納された第１の構成データに基づいて、医療用画像処理システムの再構成可能なハードウェアプロセッサを、第１の医療用撮像セッションのための第１の構成に構成することであって、第１の構成は、少なくとも第１の医療用撮像セッションのための第１の構成に医療用撮像処理アルゴリズムを実装することと、第１の医療用撮像セッションの間に生成された第１の医療用撮像データを受信することと、第１の構成で実装された第１の医療用撮像処理アルゴリズムを用いて第１の医療用撮像データを少なくとも部分的に処理することによって、強化された第１の医療用撮像データを生成することと、第１の医療用撮像セッション中の観察のために、強化された第１の医療用撮像データを表示することと、メモリに格納された第２の構成データに基づいて、再構成可能なハードウェアプロセッサを、第２の医療用撮像セッションのための第２の構成に再構成することであって、第２の構成は、第１の構成では実装されない少なくとも第２の医療用撮像処理アルゴリズムを実装することと、第２の医療用撮像セッションの間に生成された第２の医療用撮像データを受信することと、第２の構成で実装された第２の医療用撮像処理アルゴリズムを用いて第２の医療用撮像データを少なくとも部分的に処理することによって、強化された第２の医療用撮像データを生成することと、第２の医療用撮像セッション中の観察のために、強化された第２の医療用撮像データをディスプレイに表示することと、を含む。
【0007】
これらの実施形態のいずれにおいても、方法は、前記第２の医療用撮像セッションを示す入力を受信することと、当該入力を受信したことに応答して、前記再構成可能なハードウェアプロセッサを前記第２の構成に自動的に再構成することと、を含み得る。
【0008】
これらの実施形態のいずれにおいても、入力は、医療処置のタイプの選択を含み得る。
【0009】
これらの実施形態のいずれにおいても、入力は、ユーザプロファイルの選択を含み得る。
【0010】
これらの実施形態のいずれにおいても、入力は、デフォルト構成プロファイルの選択を含み得る。
【0011】
これらの実施形態のいずれにおいても、デフォルト構成プロファイルは、１以上の外部デバイスから前記医療用撮像処理システムへの１以上の接続に基づき得る。
【0012】
これらの実施形態のいずれにおいても、デフォルト構成プロファイルは、接続された外部デバイスの視野に基づき得る。
【0013】
これらの実施形態のいずれにおいても、第１の構成は、第１のタイプの医療処置に関連付けられ、第２の構成は、第２のタイプの医療処置に関連付けられ得る。
【0014】
これらの実施形態のいずれにおいても、第１の医療用撮像セッションは、患者に対する第１のタイプの医療処置の実行を含み、第２の医療用撮像セッションは、患者に対する第２のタイプの医療処置の実行を含み得る。
【0015】
これらの実施形態のいずれにおいても、第１の構成は、第１のユーザプロファイルに関連付けられ、第２の構成は、第２のユーザプロファイルに関連付けられ得る。
【0016】
これらの実施形態のいずれにおいても、第１の医療用撮像セッションは、患者を撮像することを含み、第２の医療用撮像セッションは、患者を撮像することを含み得る。
【0017】
これらの実施形態のいずれにおいても、第１の構成データ及び第２の構成データの双方は、同一のタイプの医療処置に関連付けられ得る。
【0018】
これらの実施形態のいずれにおいても、第１の医療用撮像セッションは、第１の外科的セッションであり、第２の医療用撮像セッションは、第２の外科的セッションであり得る。
【0019】
これらの実施形態のいずれにおいても、第２の構成において実装される少なくとも１つの医療用撮像処理アルゴリズムは、煙検出アルゴリズムを含み、強化された第２の医療用撮像データの生成は、煙に関連する１以上の画像の１以上の部分の明瞭性を強化することを含み得る。
【0020】
これらの実施形態のいずれにおいても、第１の医療用撮像処理アルゴリズムは、撮像された組織の特徴を検出し得る。
【0021】
これらの実施形態のいずれにおいても、撮像された組織の特徴は、組織灌流、血管の位置、血流量、撮像された組織の寸法、またはそれらの組み合わせであり得る。
【0022】
これらの実施形態のいずれにおいても、強化された第２の医療用撮像データが、第２の医療用撮像データの少なくとも一部へのオーバーレイを含み得る。
【0023】
これらの実施形態のいずれにおいても、再構成可能なハードウェアプロセッサは、撮像の開始前に再構成され得る。
【0024】
これらの実施形態のいずれにおいても、１以上の医療用撮像処理アルゴリズムは、第１及び第２の構成の双方で実装され得る。
【0025】
これらの実施形態のいずれにおいても、第２の医療用撮像データは、映像フレーム及び画像の少なくともいずれかを含み得る。
【0026】
これらの実施形態のいずれにおいても、第２の医療用撮像データは、内視鏡撮像システムから受信され得る。
【0027】
これらの実施形態のいずれにおいても、第２の医療用撮像データは、カメラ制御ユニットから受信され得る。
【0028】
これらの実施形態のいずれにおいても、再構成可能なハードウェアプロセッサは、ＦＰＧＡまたはＧＰＵであり得る。
【0029】
これらの実施形態のいずれにおいても、本方法は、第１のデバイスからの第２の医療用撮像データを受信することと、第２の医療用デバイスからデータを受信することと、ディスプレイに表示フィードを出力することと、を含み、表示フィードは、強化された第２の医療用撮像データと、第２の医療用デバイスからのデータの少なくとも一部と、を含み得る。
【0030】
これらの実施形態のいずれにおいても、本方法は、第１のプロセッサにおいて、第２の医療用撮像データ及び第２の医療用デバイスからのデータを受信することと、第１のプロセッサから再構成可能なハードウェアプロセッサに、第２の医療用撮像データを送信することと、第１のプロセッサにおいて、再構成可能なハードウェアプロセッサからの強化された第２の医療用撮像データを受信することと、強化された第２の医療用撮像データと第２の医療用デバイスに関連するデータの少なくとも一部とを組み合わせることで、第１のプロセッサによって、表示フィードを生成することと、を含み得る。
【0031】
これらの実施形態のいずれにおいても、第１の構成データは、遠隔メモリに格納され、ネットワーク接続を介して受信され得る。
【0032】
いくつかの実施形態によれば、医療用撮像データを表示する方法であって、第１の医療用撮像デバイスにより生成された第１の画像データを受信することであって、第１の画像データが、視野（ＦＯＶ）部分及び非ＦＯＶ部分を含むことと、第１の画像データの非ＦＯＶ部分を識別することと、第１の画像データの非ＦＯＶ部分の少なくとも一部を除去することにより、クロップされた第１の画像データを生成することと、クロップされた第１の画像データをディスプレイの第１の部分に表示し、追加情報をディスプレイの第２の部分に表示すること、を含み得る。
【0033】
これらの実施形態のいずれにおいても、非ＦＯＶ部分は、エッジ検出を用いて識別され得る。
【0034】
これらの実施形態のいずれにおいても、第１の画像データは、一連の映像フレームを含み、エッジ検出は、複数のフレームで実行され得る。
【0035】
これらの実施形態のいずれにおいても、非ＦＯＶ部分は、ＦＯＶ部分の中心の位置及びＦＯＶ部分の寸法に関連する測定値のうちの１以上を用いて識別され得る。
【0036】
これらの実施形態のいずれにおいても、ＦＯＶ部分の中心の位置及びＦＯＶ部分の寸法に関連する測定値は、撮像セッションの初期化処理中に決定され得る。
【0037】
これらの実施形態のいずれにおいても、撮像セッションの初期化処理は、ホワイトバランス処理であり得る。
【0038】
これらの実施形態のいずれにおいても、第１の画像データは、矩形画像または映像フレームを含み、ＦＯＶ部分は、矩形画像または映像フレームの円形部分であり得る。
【0039】
これらの実施形態のいずれにおいても、第１の画像データは、映像フレームを含み得る。
【0040】
これらの実施形態のいずれにおいても、第１の画像データは、医療用撮像処理システムの第１の入力において受信され、追加情報は、医療用撮像処理システムの第２の入力において受信されたデータに基づき得る。
【0041】
これらの実施形態のいずれにおいても、本方法は、医療用撮像処理システムからディスプレイに表示フィードを送信することを含み、表示フィードは、クロップされた第１の画像データと追加情報との組合せを含み得る。
【0042】
これらの実施形態のいずれかにおいて、本方法は、第２の医療用撮像装置によって生成された第２の画像データを受信することと、第２の画像データの非ＦＯＶ部分を識別することと、第２の画像データの非ＦＯＶ部分の少なくとも一部を除去することにより、クロップされた第２の画像データを生成することと、クロップされた第２の画像データを、ディスプレイの第２の部分に表示することと、を含み得る。
【0043】
これらの実施形態のいずれにおいても、第１の画像データは、医療用撮像処理システムの第１の入力において受信され、第２の画像データは、医療用撮像処理システムの第２の入力において受信され得る。
【0044】
これらの実施形態のいずれにおいても、本方法は、医療用撮像処理システムからディスプレイに表示フィードを送信することを含み、表示フィードは、クロップされた第１の画像データとクロップされた第２の画像データとの組合せを含み得る。
【0045】
これらの実施形態のいずれにおいても、クロップされた第１の画像データ及び追加情報は、メモリに格納された構成データに基づいてディスプレイ上に配置され得る。
【0046】
これらの実施形態のいずれにおいても、構成データは、ユーザ指定の構成データを含み得る。
【0047】
これらの実施形態のいずれにおいても、構成データは、ネットワーク接続を介して受信され得る。
【0048】
これらの実施形態のいずれにおいても、第１の画像データは、内視鏡撮像システム、術中Ｃアーム撮像システム、または超音波システムから受信され得る。
【0049】
これらの実施形態のいずれにおいても、第１の画像データは、カメラ制御ユニットから受信され得る。
【0050】
これらの実施形態のいずれにおいても、追加情報は、患者データ、メトリクス、グラフ、画像、デバイスステータス、及び映像フィードのうちの１以上を含み得る。
【0051】
いくつかの実施形態によれば、再構成可能な医療用撮像処理システムであって、ディスプレイと、メモリと、再構成可能なハードウェアプロセッサと、以下のように構成された第２のプロセッサと、を含み得る：メモリに格納された第１の構成データに基づいて、再構成可能なハードウェアプロセッサを第１の医療用撮像セッションのための第１の構成に構成し、ここで、第１の構成における再構成可能なハードウェアプロセッサは、少なくとも第１の医療用撮像処理アルゴリズムを実装し、第１の医療用撮像処理アルゴリズムを用いて第１の医療用撮像データを少なくとも部分的に処理することによって、ディスプレイに表示するための強化された第１の医療用撮像データを生成するように構成され、メモリに格納された第２の構成データに基づいて、再構成可能なハードウェアプロセッサを第２の医療用撮像セッションのための第２の構成に再構成し、ここで、第２の構成における再構成可能なハードウェアプロセッサは、少なくとも第２の医療用撮像処理アルゴリズムを実装し、第２の医療用撮像処理アルゴリズムを用いて第２の医療用撮像データを少なくとも部分的に処理することによって、ディスプレイに表示するための強化された第２の医療用撮像データを生成するように構成される。
【0052】
これらの実施形態のいずれにおいても、第２のプロセッサは、第２の医療用撮像セッションを示す入力を受信し、当該入力を受信したことに応答して、再構成可能なハードウェアプロセッサを第２の構成に自動的に再構成するように構成され得る。
【0053】
これらの実施形態のいずれにおいても、入力は、医療処置のタイプの選択を含み得る。
【0054】
これらの実施形態のいずれにおいても、入力は、ユーザプロファイルの選択を含み得る。
【0055】
これらの実施形態のいずれにおいても、入力は、デフォルト構成プロファイルの選択を含み得る。
【0056】
これらの実施形態のいずれにおいても、デフォルト構成プロファイルは、１以上の外部デバイスから医療用撮像処理システムへの１以上の接続に基づき得る。
【0057】
これらの実施形態のいずれにおいても、デフォルト構成プロファイルは、接続された外部デバイスの視野に基づき得る。
【0058】
これらの実施形態のいずれにおいても、第１の構成は、第１のタイプの医療処置に関連付けられ、第２の構成は、第２のタイプの医療処置に関連付けられ得る。
【0059】
これらの実施形態のいずれにおいても、第１の医療用撮像セッションは、患者に対する第１のタイプの医療処置の実行を含み、第２の医療用撮像セッションは、患者に対する第２のタイプの医療処置の実行を含み得る。
【0060】
これらの実施形態のいずれにおいても、第１の構成は、第１のユーザプロファイルに関連付けられ、第２の構成は、第２のユーザプロファイルに関連付けられ得る。
【0061】
これらの実施形態のいずれにおいても、第１の医療用撮像セッションは、患者を撮像することを含み、第２の医療用撮像セッションは、患者を撮像することを含み得る。
【0062】
これらの実施形態のいずれにおいても、第１の構成データ及び第２の構成データの双方は、同一のタイプの医療処置に関連付けられ得る。
【0063】
これらの実施形態のいずれにおいても、第１の医療用撮像セッションは、第１の外科的セッションであり、第２の医療用撮像セッションは、第２の外科的セッションであり得る。
【0064】
これらの実施形態のいずれにおいても、第２の構成において実装される少なくとも１つの医療用撮像処理アルゴリズムは、煙検出アルゴリズムを含み、強化された第２の医療用撮像データの生成は、煙に関連する１以上の画像の１以上の部分の明瞭性を強化することを含み得る。
【0065】
これらの実施形態のいずれにおいても、第１の医療用撮像処理アルゴリズムは、撮像された組織の特徴を検出するように構成され得る。
【0066】
これらの実施形態のいずれにおいても、撮像された組織の特徴は、組織灌流、血管の位置、血流量、撮像された組織の寸法、またはそれらの組み合わせであり得る。
【0067】
これらの実施形態のいずれにおいても、強化された第２の医療用撮像データが、第２の医療用撮像データの少なくとも一部へのオーバーレイを含み得る。
【0068】
これらの実施形態のいずれにおいても、システムは、システムは、撮像の開始前に再構成可能なハードウェアプロセッサを再構成するように構成され得る。
【0069】
これらの実施形態のいずれにおいても、１以上の医療用撮像処理アルゴリズムは、第１及び第２の構成の双方で実装され得る。
【0070】
これらの実施形態のいずれにおいても、第２の医療用撮像データは、映像フレーム及び画像の少なくともいずれかを含み得る。
【0071】
これらの実施形態のいずれにおいても、システムは、内視鏡撮像システムから第２の医療用撮像データを受信するように構成され得る。
【0072】
これらの実施形態のいずれにおいても、システムは、カメラ制御ユニットから第２の医療用撮像データを受信するように構成され得る。
【0073】
これらの実施形態のいずれにおいても、再構成可能なハードウェアプロセッサは、ＦＰＧＡまたはＧＰＵであり得る。
【0074】
これらの実施形態のいずれにおいても、システムは、第１のデバイスから第２の医療用撮像データを受信し、第２の医療用デバイスからデータを受信し、強化された第２の医療用撮像データと、第２の医療用デバイスからのデータの少なくとも一部とを表示するように構成され得る。
【0075】
これらの実施形態のいずれにおいても、システムは、第２のプロセッサにおいて、第２の医療画像データ及び第２の医療用デバイスからのデータを受信し、第２のプロセッサから再構成可能なハードウェアプロセッサに第２の医療用撮像データを送信し、第２のプロセッサにおいて、再構成可能なハードウェアプロセッサからの強化された第２の医療用撮像データを受信し、強化された第２の医療用撮像データと第２の医療用デバイスに関連するデータの少なくとも一部とを組み合わせることで、第２のプロセッサによって、ディスプレイのための表示フィードを生成するように構成され得る。
【0076】
これらの実施形態のいずれにおいても、第１の構成データは、遠隔メモリに格納され、ネットワーク接続を介して受信され得る。
【0077】
いくつかの実施形態によれば、医療用撮像データを表示するシステムは、１以上のデータ入力と、１以上のプロセッサと、１以上のディスプレイと、を含み、１以上のデータ入力は、第１の医療用撮像デバイスによって生成された第１の画像データを受信するように構成され、第１の画像データは、視野（ＦＯＶ）部分及び非ＦＯＶ部分を含み、１以上のプロセッサは、第１の画像データの非ＦＯＶ部分を識別し、第１の画像データの非ＦＯＶ部分の少なくとも一部を除去することにより、クロップされた第１の画像データを生成し、ディスプレイの第１の部分に表示するためのクロップされた第１の画像データと、１以上のディスプレイの第２の部分に表示するための追加情報と、を送信するように構成される。
【0078】
これらの実施形態のいずれにおいても、１以上のプロセッサは、エッジ検出を用いて非ＦＯＶ部分を識別するように構成され得る。
【0079】
これらの実施形態のいずれにおいても、第１の画像データは、一連の映像フレームを含み、１以上のプロセッサは、複数のフレームに対して実行されるエッジ検出を用いて、非ＦＯＶ部分を識別するように構成され得る。
【0080】
これらの実施形態のいずれにおいても、１以上のプロセッサは、ＦＯＶ部分の中心の位置及びＦＯＶ部分の寸法に関連する測定値のうちの１以上を用いて、非ＦＯＶ部分を識別するように構成され得る。
【0081】
これらの実施形態のいずれにおいても、１以上のプロセッサは、ＦＯＶ部分の中心の位置及びＦＯＶ部分の寸法に関連する測定値を、撮像セッションの初期化処理中に決定するように構成され得る。
【0082】
これらの実施形態のいずれにおいても、撮像セッションの初期化処理は、ホワイトバランス処理であり得る。
【0083】
これらの実施形態のいずれにおいても、第１の画像データは、矩形画像または映像フレームを含み、ＦＯＶ部分は、矩形画像または映像フレームの円形部分であり得る。
【0084】
これらの実施形態のいずれにおいても、第１の画像データは、映像フレームを含み得る。
【0085】
これらの実施形態のいずれにおいても、１以上のデータ入力は、医療用撮像処理システムの第１の入力における第１の画像データを受信するように構成され、追加の医療用撮像データは、医療用撮像処理システムの第２の入力において受信されたデータに基づき得る。
【0086】
これらの実施形態のいずれにおいても、医療用撮像処理システムは、医療用撮像処理システムからディスプレイに表示フィードを送信するように構成され、表示フィードは、クロップされた第１の画像データと追加の医療用撮像データとの組合せを含み得る。
【0087】
これらの実施形態のいずれにおいても、１以上のデータ入力は、第２の医療用撮像デバイスによって生成された第２の画像データを受信するように構成され、１以上のプロセッサは、第２の画像データの非ＦＯＶ部分を識別し、第２の画像データの非ＦＯＶ部分の少なくとも一部を除去することにより、クロップされた第２の画像データを生成し、１以上のディスプレイの第２の部分に表示するために、クロップされた第２の画像データを送信するように構成され得る。
【0088】
これらの実施形態のいずれにおいても、１以上のデータ入力は、医療用撮像処理システムの第１の入力における第１の画像データを受信し、医療用撮像処理システムの第２の入力における第２の画像データを受信するように構成され得る。
【0089】
これらの実施形態のいずれにおいても、医療用撮像処理システムは、医療用撮像処理システムからディスプレイに表示フィードを送信するように構成され、表示フィードは、クロップされた第１の画像データとクロップされた第２の画像データとの組合せを含み得る。
【0090】
これらの実施形態のいずれにおいても、クロップされた第１の画像データ及び追加の医療用撮像データは、メモリに格納された構成データに基づいてディスプレイ上に配置され得る。
【0091】
これらの実施形態のいずれにおいても、構成データは、ユーザ指定の構成データを含み得る。
【0092】
これらの実施形態のいずれにおいても、システムは、ネットワーク接続を介して構成データを受信するように構成される。
【0093】
これらの実施形態のいずれにおいても、１以上のデータ入力は、内視鏡撮像システム、術中Ｃアーム撮像システム、または超音波システムから第１の画像データを受信するように構成され得る。
【0094】
これらの実施形態のいずれにおいても、１以上のデータ入力は、カメラ制御ユニットから第１の画像データを受信し得る。
【0095】
これらの実施形態のいずれにおいても、追加情報は、患者データ、メトリクス、グラフ、画像、デバイスステータス、及び映像フィードのうちの１以上を含み得る。
【0096】
いくつかの実施形態によれば、非一時的な有形のコンピュータ可読媒体は、上記のいずれかの方法を実行するために埋め込まれた、コンピュータ実行可能プログラムコードを含む。
【0097】
いくつかの実施形態によれば、被験者の組織の時系列の蛍光画像を処理するためのキットは、上記のシステムのいずれか、及び／または上記の非一時的な有形のコンピュータ可読媒体のいずれか、ならびに蛍光造影剤を含む。
【0098】
いくつかの実施形態によれば、蛍光造影剤は、上記の方法のいずれか、上記のシステムのいずれかに、またはオブジェクトを撮像するための上記のキットのいずれかにおいて使用するために提供される。
【0099】
これらの実施形態のいずれにおいても、オブジェクトの撮像は、血流撮像、組織灌流撮像、リンパ撮像、またはそれらの組合せにおけるオブジェクトの撮像を含み得る。
【0100】
これらの実施形態のいずれにおいても、血流撮像、組織灌流撮像、及び／またはリンパ撮像は、侵襲外科的処置、低侵襲性外科的処置、または非侵襲外科的処置における血流撮像、組織灌流撮像、及び／またはリンパ撮像を含み得る。
【0101】
これらの実施形態のいずれにおいても、侵襲外科的処置は、心臓関連の外科的処置または再建外科的処置を含み得る。
【0102】
これらの実施形態のいずれにおいても、心臓関連の外科的処置は、心臓冠状動脈バイパス移植（ＣＡＢＧ）処置を含み得る。
【0103】
これらの実施形態のいずれにおいても、ＣＡＢＧ処置は、オンポンプまたはオフポンプであってもよい。
【0104】
これらの実施形態のいずれにおいても、非侵襲外科的処置は、創傷ケア処置を含み得る。
【0105】
これらの実施形態のいずれにおいても、リンパ撮像は、リンパ節、リンパ節ドレナージ、リンパマッピング、またはそれらの組合せの識別を含み得る。
【0106】
これらの実施形態のいずれにおいても、リンパ撮像は、女性生殖系に関連し得る。
【0107】
いくつかの実施形態は、リンパ撮像におけるオブジェクトを撮像するための、上記の方法のいずれかの使用、上記のシステムのいずれかにおける使用、または上記のキットのいずれかにおける使用を含む。
【0108】
いくつかの実施形態は、血流撮像、組織灌流撮像、またはそれらの組合せにおけるオブジェクトの撮像するための、上記の方法のいずれかの使用、上記のシステムのいずれかにおける使用、または上記のキットのいずれかにおける使用を含む。
【0109】
本開示の方法、システム、キット、及び他の態様に関連して本明細書で開示される任意の変形例が組み合わせる得ることは、理解されよう。
【図面の簡単な説明】
【0110】
【発明を実施するための形態】
【0111】
ここで、本明細書に記載されるシステム及び方法の様々な態様及び変形例の実装及び実施形態について、詳細に説明する。本明細書では、システム及び方法のいくつかの例示的なバリエーションが説明されるが、システム及び方法の他のバリエーションは、説明された全てまたはいくつかの態様の組み合わせを有する、任意の適切な方式で組み合わせられた、本明細書に記載のシステム及び方法の態様を含み得る。本明細書では、医療用撮像セッションに関連して（例えば、医療用撮像セッション中に）表示するための強化された医療用撮像画像を生成するためのシステムお及び方法について説明する。システム及び方法は、複数の撮像システムからのデータを処理して強化された撮像画像を生成したり、複数の撮像データセットを、単一のディスプレイに複数のソースからの情報を表示するための単一の表示フィードにつなぎ合わせたりできる。画像データは、撮像セッション中により関連性のある情報を施術者に提示することを可能にすべく、ディスプレイを最大限に利用するように処理できる。
【0112】
いくつかの実施形態によれば、システム及び方法は、各撮像セッションのニーズに基づいて、撮像データを異なる方法で処理及び組み合わせることができる。施術者のデータ表示の調整に要する時間を低減し得る、施術者に適した方法でデータを確実に提示されるよう、施術者は撮像セッション中に表示される情報を定義することができる。
【0113】
ある実施形態では、１以上の再構成可能なハードウェアプロセッサが、撮像セッションごとに再構成され、各撮像セッションに合わせて調整された撮像処理を提供する。フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等の再構成可能なハードウェアプロセッサは、リアルタイム映像処理に必要とされる低遅延及び高帯域幅を提供し、また、撮像セッションごとに必要とされる異なるデータ入力またはデータ入力の組合せに対して、異なるアルゴリズムまたはアルゴリズムの異なる組合せを実装する能力を提供し、異なる撮像セッションの異なるニーズに合わせて調整された撮像処理を提供する。異なる入力データを処理及び結合する能力における当該構成可能性及び柔軟性は、本明細書に記載される実施形態に係る単一の撮像処理システムが、多種多様な外科処置を含む多種多様な撮像セッションをサポートすることを可能にする。
【0114】
様々な実施形態の以下の説明では、例示として、実施可能な特定の実施形態が示される、添付の図面が参照される。他の実施形態及び例が実施可能であり、本開示の範囲から逸脱することなく変更が可能であることは理解されるべきである。
【0115】
さらに、以下の説明で使用される単数形の「a」、「an」、及び「the」は、文脈上明らかに別の意味を持つ場合を除き、複数形も含むことが意図されていることも理解されるべきである。また、本明細書で使用される「及び／または」との文言は、関連する列挙された項目の１以上及び全ての組み合わせを意味し、包含していることも理解されるべきである。さらに、「含む（includes）」、「含むこと（including）」、「有する（comprises）」、及び／または「有すること（comprising）」との文言は、本明細書で使用される場合、言及される特徴、整数、工程、動作、要素、構成要素、及び／またはユニットの存在を特定するが、１以上の他の特徴、整数、工程、動作、要素、構成要素、ユニット、及び／またはそれらのグループの存在または追加を排除するものではないことも理解されるべきである。
【0116】
本開示の特定の態様は、本明細書に記載される処理工程及び命令をアルゴリズムの形で含む。本開示の処理工程及び命令は、ソフトウェア、ファームウェア、またはハードウェアで実施することができ、ソフトウェアで実施される場合、様々なオペレーティングシステムにより使用される異なるプラットフォーム上に存在し、当該異なるプラットフォームから動作されるようにダウンロードすることができることに留意されるべきである。以下の説明から明らかなように、特に明記しない限り、本明細書の全体を通して、「処理（processing）」、「演算（computing）」、「計算（calculating）」、「判断（determining）」、「表示（displaying）」、「生成（generating）」等の文言を使用する説明は、コンピュータシステムメモリまたはレジスタ、あるいは、他のそのような情報記録装置、送信装置または表示装置内の、物理的（電子的）量として表されるデータを操作及び変換する、コンピュータシステムまたは同様の電子演算装置の動作および処理を指すことが理解される。
【0117】
いくつかの実施形態における本開示は、本明細書で述べる動作を実行するための装置にも関する。当該装置は、必要な目的のために特別に構成されたものであってもよいし、コンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含むものであってもよい。このようなコンピュータプログラムは、フロッピー（登録商標）ディスク、ＵＳＢフラッシュドライブ、外付けハードドライブ、光ディスク、ＣＤ－ＲＯＭ、光磁気ディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、特定用途向け集積回路（ＡＳＩＣ）を含む任意のタイプのディスク、または電子命令の格納に適した任意のタイプの媒体等（これらに限定されない）の、非一時的なコンピュータ可読記録媒体に格納され、それぞれがコンピュータシステムバスに結合されていてもよい。さらに、本明細書で言及されるコンピュータは、単一のプロセッサを含むものであってもよいし、演算能力を向上させるべく、複数のプロセッサを採用したアーキテクチャであってもよい。
【0118】
本明細書に記載される方法、装置及びシステムは、特定のコンピュータまたは他の装置に本質的に関連するものではない。また、種々の汎用システムが、本明細書の教示に従ったプログラムに使用されるものであってもよいし、必要な方法工程を実行するために、より特殊な装置を構築することが便利であることが証明され得る。これらの様々なシステムに必要な構造は、以下の説明から明らかになる。さらに、本発明は、任意の特定のプログラミング言語を参照して説明されるものではない。本明細書に記載される本発明の教示を実施するために、種々のプログラミング言語が使用され得ることは理解されよう。
【0119】
図１は医療用撮像セッション中に医療用撮像データを生成及び表示するためのシステム１００を示している。システム１００は、１以上の撮像モダリティ１０４から受信したデータを処理して、強化された医療用撮像画像を１以上のディスプレイ１０６に表示するための１以上の表示フィードを生成する医療用データ処理ハブ１０２を含む。１以上の撮像モダリティ１０４は、患者の治療に関連する画像データを生成してもよい。画像データは、患者に対する内視鏡処置中に内視鏡カメラによって撮像された映像等、１以上の医療処置を支援する、患者の治療中に生成された画像または映像であり得る。医療用撮像モダリティの例には、内視鏡システム、オープンフィールド撮像システム、術中Ｃアームシステム等のＸ線システム、コンピュータ断層撮影システム、超音波システム、磁気共鳴撮像システム、及び核医学システムが含まれるが、これらに限定されるものではない。
【0120】
いくつかの実施形態では、ハブ１０２は、医療用撮像セッションに関連して（例えば、医療用撮像セッション中に）使用され、医療用撮像セッション中の表示に関連し得る情報を提供し得る、１以上の非撮像装置１２０からデータを受信してもよい。非撮像装置の非限定的な例には、気腹装置、照明コントローラ、及び音声制御システムが含まれる。
【0121】
ハブ１０２は、１以上の入力ポート１０８を介して、１以上の撮像モダリティ１０４から画像データを受信してもよい。ハブ１０２は、受信した撮像データを使用して１以上の表示フィードを生成し、１以上の出力ポート１１０を介して１以上のディスプレイ１０６に１以上の表示フィードを送信する。例えば、ハブ１０２は、１以上の撮像モダリティ１０４により生成された撮像画像に基づいて、患者の組織の強化された撮像画像を含む表示フィードを生成してもよく、強化された撮像画像は、患者の治療中に施術者を支援すべく、１以上のディスプレイ１０６に表示されてもよい。ハブ１０２はまた、後の検索のために強化された撮像画像を記録するために、１以上の記録装置１１２に表示フィードを送信してもよい。入力ポート１０８及び出力ポート１１０は、ＤＶＩポート、ＨＤＭＩポート、ＲＳ２３２ポート、ＩＰポート等、任意の適切なタイプのデータ伝送ポートであってよい。
【0122】
ハブ１０２は、１以上のネットワーク接続１１８を介して、１以上のネットワーク１１６に接続されてもよい。１以上のネットワークは、病院情報システムのようなローカルネットワークであってもよいし、広域ネットワークやインターネットのような、より広いネットワークであってもよい。ネットワーク接続１１８は、イーサネット接続のような有線接続であってもよいし、Ｗｉ－Ｆｉ接続のような無線ネットワーク接続であってもよい。いくつかの実施形態では、ハブ１０２は、１以上のネットワーク１１６にアクセスし、撮像セッションのためにハブを構成すべく、ネットワークロケーションに格納された構成データを取得する、及び／または、１以上のネットワークにアクセスし、撮像データを処理するために、更新されたソフトウェア及び／または更新されたハードウェアファイルを受信するものであってもよい。
【0123】
ユーザがハブ１０２に入力を提供するために、１以上のユーザインタフェース１１４がハブ１０２に接続されてもよい。ユーザは、撮像セッションのために、ハブ１０２の構成に関連するデータを入力してもよい。ユーザ入力は、例えば、今後の撮像セッションに関連する施術者プロファイルの選択、撮像セッションのタイプまたは撮像セッション中に実行されるべき処置のタイプの選択、またはその他の関連情報を含み得る。１以上のユーザインタフェース１１４は、タブレット、キーボード、マウス、音声制御システム、キーパッド、タッチスクリーン、またはそれらの任意の組合せを含むものであってよい。
【0124】
以下で詳細を説明するように、ハブ１０２は、受信した医療用撮像データ及び任意の他の関連データを処理し、撮像セッション中に１以上のディスプレイ１０６上に表示するための強化された表示フィードを生成する。いくつかの実施形態によれば、ハブ１０２は、複数の撮像ソースを単一の表示フィードに結合する、受信した撮像データを処理してよりリッチな撮像データを生成する、表示スペースをより好適に利用すべく撮像データを修正する、及び／または撮像セッションから撮像セッションへのユーザのニーズ及び優先傾向に応じて撮像データの処理を再構成することができる。
【0125】
図２は、いくつかの実施形態による、医療用撮像データを表示するための方法２００を示している。方法２００は、システム１００の医療用撮像データ処理ハブ１０２のような医療用撮像データ処理ハブによって実行されるものであってよい。方法２００は、表示スペースをより好適に利用すべく、受信した撮像データの未利用部分の除去のために実行され、これにより、撮像セッション中にユーザに対して、より関連性の高い情報を表示する機能を提供することができる。
【0126】
例えば、内視鏡撮像システムを含む、スコープベースの撮像システムのような多くの従来の撮像システムでは、シーンからの概ね円形領域の光が１以上の撮像センサの感光部に投影される。これは、撮像素子の１以上のセンサが、一般的に、スコープの光学系が提供する光の領域よりも大きい面積を有するためである。故に、１以上のセンサによりキャプチャされた撮像画像は、視野から受けた光を表す視野（ＦＯＶ）部と、シーンからの光を受けない１以上のセンサの部分（即ち、ピクセル）により生成された非ＦＯＶ部とを含み、しばしば、黒色の非ＦＯＶ部（またはセンサノイズによるほぼ黒色）によって囲まれた、撮像シーンを示す円形のＦＯＶ部を中央に有する矩形の画像をもたらす。内視鏡撮像画像が従来の方法で表示される場合、ディスプレイの大部分が非ＦＯＶ部で占有され、有用な情報を提供しない黒い画素を表示する。
【0127】
この概念を説明するために、例示的な内視鏡画像３００のような撮像システムを図３Ａに示す。画像３００は、撮像されたシーンから光を受けるセンサの部分によって生成されたＦＯＶ部３０２と、シーンから光を受けないセンサの部分によって生成された非ＦＯＶ部３０４とを含む。図２Ｂは、例示的なディスプレイ３５０上に並べて表示された２つの画像３００を示している。図示されるように、２つの画像の非ＦＯＶ部のために、比較的大きな表示スペースが無駄になっている。いくつかの実施形態では、ハブ１０２は、受信した画像データの非ＦＯＶ部の一部または全部をクロップすることができる。
【0128】
図２に戻り、ステップ２０２で、第１の医療用撮像装置によって生成された第１の画像データが、医療用撮像データ処理ハブにより受信される。第１の画像データは、画像または映像フレームであってよく、ＦＯＶ部及び非ＦＯＶ部を含む。例えば、第１の画像データは、図３Ａの画像３００のような内視鏡カメラによって生成された映像フレームであってもよい。フレームは、１以上のカメラセンサに入射する撮像されたシーンからの光を受ける１以上のセンサの画素により生成されたＦＯＶ部分を含み、当該撮像されたシーンからの光を受けない１以上のカメラセンサの画素により生成された非ＦＯＶ部を含むものであってよい。
【0129】
ステップ２０４で、第１の画像データの非ＦＯＶ部が識別される。いくつかの実施形態によれば、非ＦＯＶ部は、ＦＯＶ部に関連する１以上の所定のパラメータに基づいて識別され得る。所定のパラメータの例には、ＦＯＶ部の中心、ＦＯＶ部の半径または直径、及びＦＯＶ部または非ＦＯＶ部に関連する画素位置が含まれる。所定のパラメータにより定義される領域の外側にある画素は、非ＦＯＶ部として識別され得る。
【0130】
いくつかの実施形態では、接続された装置から受信したデータのＦＯＶ部に関連するパラメータは、当該接続された装置から受信したデータの非ＦＯＶ部を識別するために、一度決定され、当該装置から新しい画像データが受信されると繰り返し使用されるものであってよい。例えば、ＦＯＶ部の中心及び直径（または半径）は、接続された装置から受信した画像データに基づいて決定され、この中心及び直径（または半径）が、当該装置から受信した将来の画像データにおける非ＦＯＶ部を識別するために使用されるものであってもよい。いくつかの実施形態では、１以上のエッジ検出アルゴリズムがＦＯＶ部のエッジを検出するために使用され、エッジデータは、画像の非ＦＯＶ部を識別するために使用される、または、ＦＯＶ部の中心及び直径（または半径）を決定するために使用されるものであってよく、ひいては、画像の非ＦＯＶ部を識別するために使用される。
【0131】
いくつかの実施形態では、接続された装置から受信した画像データのＦＯＶ部に関連する１以上のパラメータは、ＦＯＶ部と非ＦＯＶ部との間にシャープな境界を有する画像が撮像される、当該接続された装置の撮像セッション初期化フェーズ中に決定される。この初期化フェーズは、例えば撮像素子が白色面に向けられ、撮像素子及び／または関連する光源が、当該白色面から受けた光の量に基づいてゲイン及び光強度のような１以上の撮像パラメータを調整することを可能にするホワイトバランスフェーズであってもよい。ホワイトバランスフェーズ中、白色背景に向けられた撮像素子により生成された画像データのＦＯＶ部は、比較的明るく、そのため、黒である非ＦＯＶ部とのコントラストが高く、１以上のエッジ検出アルゴリズムを使用して容易に検出可能なシャープなエッジを示す。
【0132】
いくつかの実施形態では、医療用撮像データ処理ハブは、接続された装置がホワイトバランスフェーズ等の初期化フェーズにあるという指示を、接続された装置から受信する。この指示の受信に応じて、医療用撮像データ処理ハブは、エッジ検出処理を実行して、接続されたデバイスから受信した画像データのＦＯＶ部の位置を決定する。決定されたＦＯＶ部の位置（例えば、中心、直径、画素位置等）は、その後に受信される画像データの非ＦＯＶ部を識別するために使用されるものであってよい。
【0133】
いくつかの実施形態では、非ＦＯＶ部は、受信した画像またはフレームごとにＦＯＶ部の外周位置を検出することによって識別されてもよい。いくつかの実施形態では、第１の画像データ内のＦＯＶ部の外周は、例えば、１以上のエッジ検出アルゴリズムを使用して検出されてもよい。
【0134】
ステップ２０６で、第１の画像データの非ＦＯＶ部の少なくとも一部を除去することにより、クロップされた第１の画像データが生成される。除去される１以上の非ＦＯＶ部は、クロップされた画像の所望のアスペクト比またはクロップされた画像の事前定義されたサイズを含む、任意の適切なクロップ基準に基づいて選択されてもよい。例えば、クロップ基準は、クロップされた画像が正方形であるべきであることを指定してもよく、この基準に基づいて、ＦＯＶ部を包含する正方形の外側にある非ＦＯＶ部が除去され、正方形にクロップされた画像が得られる。あるいは、クロップ基準は、アスペクト比を指定してもよく、この基準に基づいて、ＦＯＶ部を包含する矩形の非ＦＯＶ部が除去され、その結果、指定されたアスペクト比を有するクロップされた画像が得られるものであってもよい。
【0135】
いくつかの実施形態では、ステップ２０６で使用される１以上のクロップ基準は、接続されたディスプレイの１以上のプロパティに基づくものであってもよい。例えば、ディスプレイの寸法が、クロップされた画像の境界を決定するために使用されてもよい。ディスプレイ寸法は、表示セクションに分割されてもよく、表示セクションの寸法は、クロップされた画像の境界を決定してもよい。例えば、図２Ｄの例示的なディスプレイにおいて、第１の表示セクション２２０は、セクション２２０に表示するための画像が、セクション２２０に表示するための画像のＦＯＶ部の幅にクロップされるようなサイズであってもよく、一方、第２のセクション２２２に表示するための画像は、セクション２２２に表示するための画像のＦＯＶ部の高さにクロップされるものであってもよい。
【0136】
いくつかの実施形態では、医療用撮像データ処理ハブは、接続されたディスプレイから、表示領域に関する情報（即ち、画素寸法、空間寸法等）を受信してもよい。他の実施形態では、１以上の表示領域パラメータはユーザ定義される。
【0137】
ステップ２０８で、クロップされた第１の画像データに基づいて表示フィードが生成される。表示フィードは、１以上のディスプレイ接続を介して、システム１００のディスプレイ１０６等の１以上の接続されたディスプレイに送信され、クロップされた第１の画像データがディスプレイに表示される。いくつかの実施形態では、クロップされた第１の画像はディスプレイの第１の部分に表示されてもよく、追加の情報はディスプレイの第２の部分に表示されてもよい。表示され得る追加情報の例には、１以上の画像、映像、患者データ及び／または患者メタデータ、接続された装置の状態、撮像に関連するメトリック、または任意の他の接続された装置関連情報、１以上のグラフ等が含まれる。いくつかの実施形態によれば、第１の画像データをクロップすることにより、ディスプレイの第１の部分が占める空間が少なくなり、追加情報の表示に利用可能な表示スペースの量が増加し得る。いくつかの実施形態によれば、クロップされた画像データは、クロップされていない画像データを示す部分と同じ高さ及び／または幅を有する、画面の一部に示されるものであってもよいが、画像データをクロップすることで、ディスプレイ上でのＦＯＶ部を大きくすることができる。
【0138】
いくつかの実施形態では、画像データは複数の接続された装置から受信されてもよく、各接続された装置からの画像データは上述の方法２００に従ってクロップされてもよい。表示フィードは、１以上の接続されたディスプレイに複数のクロップされた画像を表示するために生成され得る。いくつかの実施形態では、１以上のクロップされた画像と共に追加の情報が表示されてもよい。追加情報は、１以上の接続された装置から受信したデータに基づくものであってよい。例えば、医療用撮像データ処理ハブに接続された気腹システムは、気腹圧力読取値をシステムに送信してもよく、当該圧力読取値は、クロップされた内視鏡画像と並べてディスプレイ上に表示するために、表示フィード内でクロップされた内視鏡画像と組み合わせられてもよい。
【0139】
図３Ｃは、方法２００に従って生成された２つのクロップされた画像３１０を有する、図３Ｂの例示的なディスプレイ３５０を示す。クロップされた画像３１０は、非ＦＯＶ部の部分が除去された、図３Ｂの画像３００のＦＯＶ部３０２を含む。図示されるように、画像をクロップすることで、画像をより大きく表示することができる。また画像のクロップにより、表示されるべき追加情報のためのスペースをもたらすことができる。例えば、図３Ｃにおいて、クロップされた画像３１０がディスプレイ３５０の第１の部分３２０を占め、第２のクロップされた画像３２６がディスプレイ３５０の第２の部分３２２を占め、例示的なグラフ３２８が表示画面の第３の部分３２４を占める。従って、ハブ１０２のような医療用撮像処理システムは、医療用撮像データ及び他の情報を表示するための表示画面を最大限に利用することができる。
【0140】
図４は、図１のシステム１００のような医療用撮像システムにおいて使用され得る、一実施形態に係る医療用撮像データ処理ハブ４００のブロック図であり、撮像装置のような接続された医療用装置からの複数のデータストリームを処理し、医療処置中に外科医等のユーザに有用な情報を表示するための、最適化された表示レイアウトを生成するためのものである。ハブ４００は、接続された装置からデータを受信するための１以上の入力接続４０２を含む。ハブ４００は、１以上の表示装置に接続するための１以上の出力４０４を含む。ハブ４００は、接続された装置から受信したデータの少なくとも一部を処理し、１以上の接続されたディスプレイに出力するための表示フィードを生成するプライマリプロセッシングユニット４０６を含む。
【0141】
ハブ４００は、撮像データの処理を管理し、処理されたデータを用いて表示フィードを生成するためのプライマリプロセッシングユニット４０６と、撮像データストリームを処理するための再構成可能なハードウェアプロセッサ４０８と、撮像データ及び他のデータのソフトウェアベースの処理を提供するための補助プロセッシングユニット４１０を含む。
【0142】
再構成可能なハードウェアプロセッサ４０８は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）内の回路接続を定義するハードウェア論理ファイルをロードすることにより再構成可能なＦＰＧＡであってもよい。再構成可能なハードウェアプロセッサ４０８は、撮像データの低遅延かつ高帯域幅の処理を提供し、異なる撮像セッションに対して撮像データの異なる処理を提供するために、繰り返し再構成することができる。再構成可能なハードウェアプロセッサを活用することにより、ハブ４００は、撮像セッション中、撮像のキャプチャと接続されたディスプレイにおける強化された撮像画像の表示との間の遅延をほとんどまたは全く伴わずに、映像等の強化された撮像データをリアルタイムに提供することができる。いくつかの実施形態では、再構成可能なハードウェアプロセッサ４０８は、再構成可能なＧＰＵである。プライマリプロセッシングユニット４０６及び補助プロセッシングユニット４１０はそれぞれ、中央演算処理装置、グラフィックス処理装置、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡ、またはこれらの任意の組合せ等、任意の適切なプロセッサまたはプロセッサの組合せであってもよい。
【0143】
ハブ４００は、ハブ４００内に配置されたローカルメモリであってもよいし、ハブ４００がネットワーク接続を介してアクセス可能な遠隔地のリモートメモリであってもよいメモリ４１２を含む。メモリ４１２の１以上の部分はローカルであってもよく、１以上の部分が遠隔地にあってもよい。メモリ４１２は、異なる撮像セッションのためのハブ４００の構成を指定する１以上の構成ファイル４１４、プライマリプロセッシングユニット４０６及び／または補助プロセッシングユニット４１０により実行される１以上のソフトウェアプログラム、及び再構成可能なハードウェアプロセッサ４０８を再構成するための１以上のハードウェア論理ファイル４１８を含んでいてもよい。プライマリプロセッシングユニット４０６は、構成ファイル４１４にアクセスして当該構成ファイルで指定される処理要件を決定してもよいし、当該構成ファイルにより定義されるようにハードウェア論理ファイル４１８を再構成可能なハードウェアプロセッサ４０８にロードしてもよいし、当該構成ファイル４１４で指定されるように補助プロセッシングユニット４１０にソフトウェアプログラム４１６をロードしてもよい。従って、メモリ４１２に格納されたデータは、異なる撮像セッションのためのハブ４００の構成に使用することができる。
【0144】
再構成可能なハードウェアプロセッサ４０８は、プライマリプロセッシングユニット４０６に通信可能に接続される。プライマリプロセッシングユニット４０６は、処理のために、再構成可能なハードウェアプロセッサ４０８に映像データストリームを送信し、表示フィードに含めるために、再構成可能なハードウェアプロセッサ４０８から処理された映像を受信してもよい。プライマリプロセッシングユニットは、再構成可能なハードウェアプロセッサ４０８を再構成するために、再構成可能なハードウェアプロセッサ４０８にハードウェア論理ファイルをロードしてもよい。
【0145】
補助プロセッシングユニット４１０は、プライマリプロセッシングユニット４０６に通信可能に結合される。プライマリプロセッシングユニット４０６は、処理のために補助プロセッシングユニット４１０にデータを送信し、表示フィードに含めるために処理の結果を受信してもよい。プライマリプロセッシングユニット４０６は、撮像データを処理するために、補助プロセッシングユニット４１０にソフトウェアをロードしてもよい。
【0146】
ハブ４００は、複数の接続された装置から受信した情報を、接続されたディスプレイに表示するための表示フィードに結合するように構成される。従って、接続されたディスプレイに、複数の情報ソースを同時に表示することができる。ハブ４００は、事前定義されたレイアウトに従って、接続された装置から受信した情報をつなぎ合わせるように構成される。例えば、ハブ４００は、第１の映像ストリームが第１の表示セクションに表示され、第２の映像ストリームが第２の表示セクションに表示され、データ、アラート、装置ステータス、メトリクス等の追加情報が第３の表示セクションに表示される表示フィードを生成してもよい。
【0147】
いくつかの実施形態によれば、プライマリプロセッシングユニット４０６は、接続された装置からデータを受信し、データをつなぎ合わせて合成表示フィードにする役割を担う。プライマリプロセッシングユニット４０６は、再構成可能なハードウェアプロセッサ４０８及び／または補助プロセッシングユニット４１０を活用して、データの表示を強化するために受信データを処理してもよい。
【0148】
プライマリプロセッシングユニット４０６は、表示される撮像情報のタイプと、表示用の撮像情報及び他の情報の相対的なサイズ及び位置とを指定する１以上の事前定義された表示レイアウトに従って、情報ソースを表示フィードに結合する。事前定義された表示レイアウトは、異なるタイプの外科的セッション、あるいは、異なるタイプの外科的または他の医療処置等、異なるタイプの撮像セッションに関連付けられてもよい。異なるタイプの処置は、異なるタイプの撮像装置及び／または異なるタイプの撮像処理アルゴリズムを含み得、事前定義された表示レイアウトは、所定の処置に係る表示のための情報のタイプを指定するものであってもよい。事前定義された表示レイアウトは、施術者の優先傾向に応じて、異なる施術者と関連付けられてもよい。例えば、同一の処置を行う２人の異なる施術者に対して、同一の情報が異なる方法で表示されてもよい。事前定義された表示レイアウトは、構成データファイル４１４としてメモリ４１２に格納されてもよい。
【0149】
図５Ａは、第１の事前定義された表示レイアウト５００の一例を示し、図５Ｂは、第２の事前定義された表示レイアウト５２０の一例を示している。第１のレイアウト５００は、３つの異なるソース５０２、５０４及び５０６のための３つのセクションを含む。ソースとの文言は、ハブ４００により生成された明確なデータ出力を指す。ソースは、１以上の接続された装置から受信したデータ、１以上の接続された装置から受信したデータを処理することで生成された強化データ、またはそれらの任意の組合せを含み得る。複数のソースは、接続された装置から受信した同一のデータを含む、またはそれに基づくものであってよい。例えば、第１のソースは接続された装置から受信した映像ストリームを含むことができ、第２のソースは当該映像ストリームから抽出された情報または別の接続された装置から受信した情報で強化された、同一の映像ストリームを含むことができる。
【0150】
事前定義された表示レイアウトは、表示されるソースの定義に加え、ディスプレイ上の異なるソースの相対的な位置と、ディスプレイ上の異なるソースの相対的なサイズを定義する。例えば、第１のレイアウト５００では、ディスプレイの左半分において第１のソース５０２が第２のソース５０４の上に配置され、ソース５０２と５０４の双方が等しいサイズである。第３のソース５０６は、ディスプレイの右半分に配置され、第１及び第２のソースよりも大きい。対照的に、レイアウト５２０は、３列の２行に配置された等しいサイズの６つの異なるソースを含む。レイアウト５２０は、他の３つのソースに加えて、第１、第２及び第３のソース５０２、５０４及び５０６を含む。第１及び第２のソース５０２及び５０４は、レイアウト５００に対して異なる位置にあり、第３のソース５０６は、レイアウト５００に対して異なるサイズである。レイアウト５００は、自分の優先傾向に従ってレイアウト５００を構成した第１の施術者に関連付けられ、レイアウト５２０は第２の施術者に関連付けられてもよい。レイアウト５００及び５２０は、異なるタイプの外科処置等の異なるタイプの撮像セッションに関連付けられてもよいし、同一のタイプの外科処置に関連付けられてもよい。いくつかの実施形態では、両方のレイアウトが同一の撮像セッションで使用される。例えば、レイアウト５００は撮像システムの第１のディスプレイのためのレイアウトを定義し、レイアウト５２０は撮像システムの第２のディスプレイのためのレイアウトを定義してもよい。
【0151】
ハブ４００は、撮像セッションに関連する１以上のパラメータに従って表示フィードを構成してもよい。ハブ４００は、複数の異なるタイプの医療処置のために、及び／または複数の異なる施術者によって使用されてもよい。本明細書で使用されるように、医療処置は、施術者（例えば、外科医）によって実行される様々なタスクを伴う単一の処置（例えば、手術）、または患者との単一のセッション（例えば、患者に対する単一の手術セッション）で実行される複数の処置を指し得る。例えば、整形外科的処置（例えば穿孔及び／または医療機器の移植）を、（例えば、組織空間及び／または血流／組織灌流を視覚化するために）撮像手順とともに行う整形外科手術セッションは、単一の医療処置であってもよいし、複数の医療処置であってもよい。異なるタイプの医療処置は、異なるタイプの撮像素子及び他の機器を利用し得る。１つのタイプの処置のために設計された表示レイアウトは、別のタイプの処置のためにそれほど適していない可能性がある。さらに、異なる施術者は、どのタイプの情報を表示すべきか、及び、どのように情報を表示すべきかに関して、異なる優先傾向を持ち得る。従って、ハブ４００は、各医療用撮像セッションの固有の要件や優先傾向に基づいて、受信したデータを処理して表示フィードを別々に生成してもよい。
【0152】
ハブ４００は、１以上の事前定義された構成に基づいて、入力データの処理及び表示フィードの生成を構成してもよい。事前定義された構成は、撮像セッションの１以上のパラメータに関連付けられ得る。撮像セッションパラメータの例は、ユーザ（例えば、施術者）、処置タイプ、１以上の接続された入力装置に関連する情報、及び１以上の接続された出力装置に関連する情報を含むものであってよい。
【0153】
ハブ４００は、１以上のパラメータ値を指定する（図１のユーザインタフェース１１４を介するような）ユーザ入力を受信し、当該１以上のパラメータ値に基づいて、事前定義された構成を選択してもよい。ハブ４００は、選択された事前定義された構成に基づいて、１以上の入力の処理及び１以上の表示フィードの生成を再構成する。
【0154】
事前定義された構成は、事前定義された表示レイアウトを定義してもよく、また、１以上のデータ処理アルゴリズムを定義してもよい。アルゴリズムは、例えば、再構成可能なハードウェアプロセッサ４０８及び／または補助プロセッシングユニット４１０に実装されてもよい。いくつかの実施形態では、再構成可能なハードウェアプロセッサ４０８は、事前定義された構成によって指定される撮像データ処理を実行するために、事前定義された構成に従って再構成されてもよい。
【0155】
上述したように、異なるソースを異なるレイアウトに含めることができる。異なるソースは、異なる接続装置からのデータであってよいが、同一の接続された装置から抽出された異なる情報であってもよい。接続された装置やレイアウト優先傾向に応じて、撮像セッションごとの異なるデータの生成を容易にすべく、ハブ４００は、撮像セッションに関連付けられた構成データで指定された要件に従って、接続された装置から受信したデータの処理を自動的に再構成してもよい。
【0156】
ハブ４００は、事前定義された構成に関連付けられた撮像セッションの指示を受信し、それに応じて入力データの処理及び表示フィードの生成を自動的に構成してもよい。例えば、外科的セッションの準備において、看護師はキーボード、マウス、タッチスクリーン、または他の入力装置を介してなど、ハブ４００に外科的セッションに関連する１以上のパラメータを入力してもよく、ハブ４００は、それに応じて自身を構成してもよく、これは、メモリ４１２に格納された１以上のハードウェア論理ファイルをロードすることによって再構成可能なハードウェアプロセッサを再構成すること、及び補助プロセッシングユニット４１０上に１以上のソフトウェアプログラムまたはモジュールをロードすることを含んでもよい。パラメータは、実行される外科手術のタイプ、及び当該外科手術を実行する施術者を含むことができる。１以上の事前定義されたレイアウトは、外科手術のタイプ及び／または施術者に関連付けられてもよく、ハブ４００は、当該事前定義されたレイアウトに従って表示フィードを生成するよう、自身を再構成してもよい。
【0157】
図６は、第１の撮像セッションのために構成されたハブ４００等の医療用撮像処理ハブの一例を示している。構成されたハブ６００は、プライマリプロセッサ６０２、再構成可能なハードウェアプロセッサ６０４、及び補助プロセッサ６０６を含む。ハブ６００は、複数のデータ入力６０８を含み、そのうちの３つは、３つの異なる装置（６３０、６３２及び６３４）に接続されており、これらの装置はカメラ、カメラ制御ユニット、計器制御ユニット、照明制御ユニット、気腹器、焼灼器、または撮像セッションに関連するデータを生成する、撮像セッション中に使用される任意の他の装置またはシステムであり得る。ハブ６００は、複数の映像出力６１０を含む。図示された実施形態では、２つのディスプレイ６４０及び６４２が映像出力６１０のうちの２つに接続されている。
【0158】
第１の構成では、装置６３２から受信した撮像データを処理するために、１以上のアルゴリズムが再構成可能なハードウェアプロセッサ６０４にロードされている。再構成可能なハードウェアプロセッサ６０４は、装置６３２から受信したデータを処理し、処理されたデータをプライマリプロセッサ６０２に送信する。再構成可能なハードウェアプロセッサ６０４は、入力６０８から直接撮像データを受信してもよいし、プライマリプロセッサ６０２を介してデータを受信してもよい。いくつかの実施形態では、プライマリプロセッサ６０２は、図２の方法２００に関して上述した原理に従って画像データをクロップし、クロップされた画像データを再構成可能なハードウェアプロセッサ６０４及び／または補助プロセッサ６０６に提供してもよい。これは、処理を必要とする撮像データの量を低減するのに有利であり得る。
【0159】
補助プロセッサ６０６は、第３の接続された装置６３４からのデータを処理するためのソフトウェアベースのプログラムを実行する。補助プロセッサ６０６は、処理の結果を、例えば、ＣＰＵ用のマザーボード上の映像出力のような映像出力６１２を介して、プライマリプロセッサ６０２に出力してもよい。
【0160】
プライマリプロセッサ６０２は、異なるデータソースを、接続されたディスプレイ６４０に送信するための表示フィードに結合する役割を担う。プライマリプロセッサは、再構成可能なハードウェアプロセッサ６０４から、補助プロセッサ６０６から、及び第１の接続された装置６３０から直接の、処理されたデータをつなぎ合わせる。例えば、プライマリプロセッサは、これらの３つのソースをディスプレイの異なるセクションに配置する表示フィードを生成し得る。
【0161】
いくつかの実施形態では、プライマリプロセッサ６０２は、複数の異なる表示ストリームを提供するように構成されてもよい。図示された実施形態では、プライマリプロセッサ６０２は、例えばメモリに格納された構成データに従って、２つの異なる表示フィードを生成することができる２つのコンポジタ６１４及び６１６を含む。第１のコンポジタ６１４は、第１の接続された装置、再構成可能なハードウェアプロセッサ６０４、及び補助プロセッサ６０６からのデータを、ディスプレイ６４０に送信するための第１の表示フィードに結合するよう構成される。第２のコンポジタ６１６は、装置６３４からのデータ入力（例えば、映像入力）を受信し、ディスプレイ６４２に送信するための第２の表示フィードを生成する。
【0162】
コンポジタは、撮像セッションごとに、データソースの結合及び表示フィードの生成を異ならせてもよい。コンポジタによるデータの取り扱いは、メモリに格納された構成データに基づいて変更されてもよい。例えば、図６Ａに示されるデータ処理は、第１の構成ファイルによって定義されてもよい。第２の構成ファイルは、例えば、第１のディスプレイ６４０上の表示のために、第１のコンポジタ６１４が第１の装置６３０のみからのデータに基づいて表示フィードを生成し、第２のディスプレイ６４２上の表示のために、第２のコンポジタ６１６が装置６３２及び装置６３４からのデータに基づいて表示フィードを生成することを指定することによって、このデータ処理の変更を指定してもよい。異なる構成は、例えば、異なる撮像セッションをサポートするために、異なるタイプの処置及び／または異なる施術者に関連付けられてもよい。
【0163】
図７は、いくつかの実施形態による、ハブ４００等の医療用撮像処理システムを構成するための方法７００を示している。以下でさらに説明されるように、方法７００は、ハブ４００の再構成可能なハードウェアプロセッサ等の再構成可能なハードウェアプロセッサを、医療撮像セッションに関連付けた、事前定義された構成データに従って再構成することを含む。再構成可能なハードウェアプロセッサは、構成データにより定義される撮像データ処理アルゴリズムを実装するように構成される。撮像処理アルゴリズムを実装するために再構成可能なハードウェアプロセッサを活用することで、指定されたアルゴリズムに従った撮像データの処理に合わせて調整されたハードウェアプロセッサ構成が可能になり、異なる撮像入力及び／または表示要件を有する異なる撮像セッションに対して、異なるアルゴリズムを実装することができる。従って、再構成可能なハードウェアプロセッサは、ソフトウェアベースのアルゴリズムを実行する汎用プロセッサに勝る利点を提供することができ、この汎用プロセッサは、医療処置中の表示のための映像のリアルタイム処理を提供する上で重要な、再構成可能なプロセッサが提供可能な低遅延及び高帯域幅を提供できない可能性がある。
【0164】
ステップ７０２で、ハブ４００の再構成可能なハードウェアプロセッサ４０８等の再構成可能なハードウェアプロセッサが、第１の医療用撮像セッションのための第１の構成に構成される。ハードウェアプロセッサの構成は、メモリに格納された第１の構成データに基づいてもよい。第１の構成データは、再構成可能なハードウェアプロセッサが実装するための１以上の医療用撮像処理アルゴリズムを定義してもよい。第１の構成に構成されると、再構成可能なハードウェアプロセッサは、構成データで定義されているような１以上の医療用撮像処理アルゴリズムを実装する。再構成可能なハードウェアプロセッサは、１以上のハードウェア論理ファイルをメモリから再構成可能なハードウェアプロセッサにロードする（これは、ハブ４００のプライマリプロセッシングユニット４０６等の第２のプロセッサによって処理されてもよい）ことによって構成されてもよい。
【0165】
第１の撮像セッションは、患者に対する外科的処置等の１以上の医療処置の実行を含むものであってよい。第１の画像セッションは、患者に対する医療処置または一連の医療処置のために、看護師または他のユーザが医療用撮像システムを初期化することから始まるものであってよい。第１の医療用撮像セッションは、患者に対する医療処置または一連の医療処置の全てが完了したときに完了してもよいし、患者に対する一連の処置の最初のものが完了したときに完了してもよい。当該後者のシナリオの例として、第１の外科的処置等の患者に対する第１の医療処置が完了し、これにより第１の撮像セッションが完了し、続いて、同一または異なる外科医による異なる外科的処置等の第２の医療処置が行われてもよい。第２の医療処置は、第２の撮像セッションを含んでもよい。
【0166】
再構成可能なハードウェアプロセッサは、その第１の構成において、医療用撮像データを受信し、第１の撮像処理アルゴリズムを使用してデータの少なくとも一部を処理するように構成される。いくつかの実施形態では、第１の構成は、１以上の追加の処理アルゴリズムを使用して、受信したデータを処理する能力を含んでもよい。第１の構成における再構成可能なハードウェアプロセッサは、第１の撮像処理アルゴリズム及び／または追加の撮像処理アルゴリズムを使用して、（例えば、異なるデバイスによって生成された）複数の異なる撮像データのセットを処理する能力を有するものであってもよい。例えば、第１の構成における再構成可能なハードウェアプロセッサは、第１の接続された機器によって生成された第１のデータセットを受信し、第１の医療用撮像処理アルゴリズムを使用して第１のデータセットを処理してもよく、また、第２の接続された機器によって生成された第２のデータセットを受信し、第２の医療用撮像処理アルゴリズムを使用して第２のデータセットを処理してもよい。
【0167】
いくつかの実施形態では、再構成可能なハードウェアプロセッサは、第１の医療用撮像セッションを示す入力に応答して構成される。例えば、手術室の看護師等のユーザは、医療処置のタイプ及び／または施術者の身分等、撮像セッションに関連するパラメータを指定する情報を、医療用撮像処理システムに提供してもよい。１以上のパラメータは、第１の構成データに関連付けられてもよく、システムは、第１の構成データにアクセスし、第１の構成データの仕様に従って再構成可能なハードウェアプロセッサを構成してもよい。第１の医療用撮像セッションを示すユーザ入力は、プロファイルのユーザ選択を含んでもよい。プロファイルは、１以上のタイプの医療処置に関連付けられ、１以上のタイプの医療処置に合わせて調整されたデータ処理及び表示レイアウトを定義してもよい。医療処置の種類には、内視鏡検査、大腸内視鏡検査、Ｓ状結腸鏡検査、直腸鏡検査、鼻鏡検査、耳鏡検査、膀胱鏡検査、膣鏡検査、関節鏡検査、胸腔鏡検査等の内視鏡医療処置と、生検、頸動脈内膜切除術、胆嚢摘出術、冠動脈バイパス術、皮膚移植術、子宮摘出術、乳房切除術等の外科的処置が含まれ得る。
【0168】
プロファイルは、施術者が好みのレイアウトで、見たいデータのタイプを定義する施術者プロファイルであってもよい。プロファイルは、事前定義されたレイアウト及び事前定義されたデータ処理を含むデフォルトプロファイルであってもよい。デフォルトプロファイルは、処理システムへの入力の数及びタイプ、処理システムからの表示出力の数及びタイプ等、医療用撮像処理システムにより検出される医療用撮像システムの１以上のパラメータに基づいていてもよい。いくつかの実施形態では、デフォルトプロファイルは、撮像素子のタイプ（例えば、内視鏡サイズ）に関連付けられ得るＦＯＶの半径や直径等の、受信した画像データから検出された１以上のパラメータに基づいてもよい。
【0169】
ステップ７０４で、システムは、第１の医療用撮像セッション中に生成された第１の医療用撮像データを受信する。第１の医療用画像データは、システムの１以上の入力に接続された１以上の装置から受信される。例えば、第１の医療用撮像データは、内視鏡撮像素子等の撮像素子から受信した一連の映像フレームであってもよい。第１の医療用画像データは、複数の撮像素子からの複数の映像フィード等、システムに接続された複数の装置からのデータを含んでもよい。
【0170】
ステップ７０６で、強化された第１の医療用撮像データは、第１の構成で再構成可能なハードウェアプロセッサにより実装される第１の医療用撮像処理アルゴリズムを使用して第１の医療用撮像データ少なくとも部分的に処理することによって生成される。再構成可能なハードウェアプロセッサは、第１の構成データにより定義されるように、第１の医療用撮像処理アルゴリズムと、再構成可能なハードウェアプロセッサが実装するように構成される任意の他のアルゴリズムとを使用して、第１の医療用撮像データの少なくとも一部を処理する。例えば、第１の構成では、再構成可能なハードウェアプロセッサは、視野内の煙に関連する受信画像の部分を検出し、受信画像を強化して煙の外観を低減する煙検出アルゴリズムを実装してもよい。
【0171】
第１の医療用撮像データの一部または全部は、例えば、ハブ４００のプライマリプロセッシングユニット４０６のようなプライマリプロセッサにより、再構成可能なハードウェアプロセッサにルーティングされてもよい。プライマリプロセッサは、第１の医療用撮像データを受信し、第１の構成データに従って、データを再構成可能なプロセッサにルーティングしてもよい。第１の構成データは、接続された機器から受信したデータが、少なくとも第１の医療用撮像処理アルゴリズムを使用して処理されるべきであることを指定してもよい。この要件に従って、プライマリプロセッサは、接続された機器から受信したデータを再構成可能なハードウェアプロセッサに向けてもよい。いくつかの実施形態では、再構成可能なプロセッサは、接続された機器への入力接続から直接、即ち、データが最初に１以上の追加のプロセッシングユニットを介してルーティングされることなく、第１の医療用撮像データを受信する。
【0172】
再構成可能なハードウェアプロセッサによるデータの処理は、システムの他のプロセッシングユニットによる処理に基づいてもよい。例えば、第１の医療用撮像処理アルゴリズムによる第１の医療用撮像データの処理は、第２のプロセッシングユニットから受信した情報に基づいてもよい。第２のプロセッシングユニットは、第１の医療用撮像データの一部または全部を解析してもよく、当該解析結果は、第１の医療用撮像処理アルゴリズムの実装において再構成可能なハードウェアプロセッサによって使用されてもよい。例えば、上述した再構成可能なプロセッサに煙検出アルゴリズムを実装する実施形態では、ハブ４００の補助プロセッシングユニット４１０等の補助プロセッシングユニットが、第１の撮像データの一部または全部を受信して、撮像された視野内に煙が存在するか否かを判定してもよい。煙を検出すると、補助プロセッシングユニットは、再構成可能なハードウェアプロセッサに（直接、またはプライマリプロセッシングユニット４０６等の別のプロセッシングユニットを介して）通知してもよく、これに応答して、再構成可能なハードウェアプロセッサが、データにおける煙の寄与を低減するよう、第１の撮像データの処理を開始してもよい。
【0173】
ステップ７０８で、再構成可能なハードウェアプロセッサにより生成された強化された第１の医療用撮像データが、第１の医療用撮像セッション中の観察のために表示される。例えば、第１の医療用撮像セッションは、焼灼ツールの使用を伴う内視鏡処置を含んでいてもよく、強化された第１の医療用画像データは、焼灼ツールによって生成された煙の外観が低減される、内視鏡カメラにより生成された映像フィードの強化であってもよい。この強化された撮像画像は、外科医が手術野をよりよく視覚化できるように、リアルタイムで外科医に表示されてもよい。
【0174】
いくつかの実施形態では、強化された第１の医療用撮像データは、ハブ４００のプライマリプロセッシングユニット４０６等の別のプロセッシングユニットによって再構成可能なハードウェアプロセッサから受信される。プライマリプロセッサは、強化された第１の医療用撮像データを含む１以上の表示フィードを生成してもよい。プライマリプロセッサは、第１の構成データに少なくとも部分的に基づいて、１以上の表示フィードを生成してもよい。例えば、プライマリプロセッサは、第１の構成データによって定義されるディスプレイの異なる部分に表示するために、強化された第１の医療用撮像データを、別の接続された装置から受信した追加の撮像画像等の追加の情報と組み合わせてもよい。
【0175】
いくつかの実施形態では、表示フィードは、他のデータと組み合わされた強化された第１の医療用撮像データを含む。例えば、表示フィードは、接続されたディスプレイの第１の部分に表示するための強化された第１の医療用撮像データを含み、接続されたディスプレイの第２の部分に表示するための追加情報を含んでもよい。いくつかの実施形態では、システムは、強化された撮像データを表示するための異なるディスプレイ構成を有する複数の表示フィードを生成し、異なるディスプレイに異なる表示フィードを提供する。
【0176】
図８Ａは、一実施形態に係る、方法７００のステップ７０２～７０８を示した医療用撮像処理システム８００のブロック図である。再構成可能なハードウェアプロセッサ８０４は、煙の検出及び除去のアルゴリズム等の第１の撮像処理アルゴリズムを使用して、第１の入力ポート８０８を介して白色光撮像素子８１０から受信した撮像データを処理するように構成される。第１の撮像セッションに関連するユーザ入力に応答して、プライマリプロセッサ８０２は、メモリ８１２に格納された第１の構成データにアクセスし、第１の構成データの仕様に基づいて、プライマリプロセッサ８０２は、煙低減アルゴリズムのためのハードウェア論理構成ファイルをロードすることによって、再構成可能なハードウェアプロセッサ８０４を再構成した。さらに、プライマリプロセッサ８０２は、煙検出ソフトウェアプログラムまたはモジュールを、メモリ８１２から補助プロセッサ８０６にロードした。煙検出ソフトウェアプログラムまたはモジュールを実行している補助プロセッサ８０６は、受信した撮像データ内の煙の存在を検出することができ、再構成可能なハードウェアプロセッサ８０４に、撮像データ内の煙の影響を低減するために撮像データを処理するよう指示することができる。補助プロセッサ８０６による煙の検出の前に、再構成可能なハードウェアプロセッサは、煙除去のためにデータを最初に処理することなく、表示のために撮像データを単に通過させてもよい。プライマリプロセッサは、煙を検出して再構成可能なハードウェアプロセッサ８０４の煙除去処理をトリガするために、周期的に等、受信した撮像データの１以上の部分（１以上のフレーム等）を補助プロセッサ８０６に提供してもよい。システム８００は、撮像データに煙が検出された場合に、煙からの寄与を除去することにより強化された、白色光撮像素子８１０から受信した撮像データを含む表示フィードを、ディスプレイ８１６に出力する。
【0177】
方法７００に戻ると、ステップ７１０で、再構成可能なハードウェアプロセッサは、メモリに記憶された第２の構成データに基づいて、第２の医療用撮像セッションのための第２の構成に再構成される。第２の構成は、第１の構成では実装されない少なくとも１つの医療用撮像処理アルゴリズムを実装する。
【0178】
いくつかの実施形態では、再構成可能なハードウェアプロセッサは、第２の医療用撮像セッションを示す入力に応答して再構成される。例えば、手術室看護師のようなユーザは、医療処置の種類及び／または施術者のアイデンティティ等、第２の撮像セッションに関連するパラメータを指定する情報を医療用撮像処理システムに提供してもよい。１以上のパラメータは、第２の構成データに関連付けられてもよく、システムは、第２の構成データにアクセスし、第２の構成データの仕様に従って再構成可能なハードウェアプロセッサを構成してもよい。第２の医療用撮像セッションを示すユーザ入力は、上述したように、プロファイルのユーザ選択を含んでもよい。選択されたプロファイルに応じて、第２の撮像セッションは第１の撮像セッションと同じ施術者に関連付けられてもよい－例えば、同じ施術者が、１つのタイプの医療処置から、医療用撮像処理システムに接続された異なる機器または異なる拡張アルゴリズム等により、異なる表示レイアウトを必要とし得る、別のタイプの医療処置に移行する場合である。第２の撮像セッションは、同じタイプの医療処置であっても、異なる施術者に関連し得る。例えば、第１の外科医が、第１の撮像セッションで第１の患者に対してあるタイプの外科手術（例えば、胆嚢摘出術）を行い、第２の外科医が、第２の患者に対して同じタイプの手術（例えば、胆嚢摘出術）を行ってもよい（例えば、その日のうちに、または翌日に）。
【0179】
第１の撮像セッションは完了し（例えば、第１の撮像セッションに関連する手術または処置が完了し）、撮像システムは、後続の第２の撮像セッションで使用するためにセットアップされてもよい。第２の撮像セッションは、１以上の異なるタイプの処置を含んでいてもよい、及び／または異なる撮像処理が有益であり得る１以上の異なるユーザを含んでいてもよい。従って、第２の構成は、第１の撮像セッションでは実装されなかった１以上の画像処理アルゴリズムを実装する。再構成可能なハードウェアプロセッサは、第２の構成データによって定義されるように、第２の撮像セッションに必要とされる１以上の画像処理アルゴリズムを実装するように再構成される。
【0180】
いくつかの実施形態では、第２の撮像セッションは、撮像システムが使用されるべき第２の外科的セッションであってもよい。第１の撮像セッションの完了後、手術室は、第２の外科的セッションのためにセットアップされてもよい。第２の外科的セッションは、異なるタイプの手術、異なる施術者、異なる患者等を含んでもよい。第２の外科的セッションのセットアップ中、撮像処理システムは、第２の外科的セッションを示す入力を受信してもよい。入力は、例えば、外科的処置のタイプの選択、または画像処理システムへのユーザインタフェースを介して行われるプロファイル（例えば、施術者プロファイル）の選択であり得る。この選択に基づいて、システムは、第２の外科的セッションに関連付けられた構成データに基づいて、再構成可能なプロセッサを自動的に再構成してもよい。
【0181】
ステップ７１２で、医療用撮像処理システムは、第２の医療用撮像セッション中に生成された第２の医療用撮像データを受信する。この第２の医療用撮像データは、第１の医療用撮像データと同一の接続された装置または装置群から、または異なる接続された装置または装置群から受信され得る。
【0182】
ステップ７１４で、強化された第２の医療用撮像データは、再構成可能なハードウェアプロセッサの第２の構成で実施された第２の医療用撮像処理アルゴリズムを用いて第２の医療用撮像データを少なくとも部分的に処理することによって生成される。再構成可能なハードウェアプロセッサは、（第１の構成では実装されていなかった）第２の医療用撮像処理アルゴリズムと、第２の構成データにより定義される、第１の構成で実装されていてもいなくてもよい、再構成可能なハードウェアプロセッサが実装するように構成された他のアルゴリズムとを使用して、第１の医療用撮像データの少なくとも一部を処理する。例えば、第２の構成では、再構成可能なハードウェアプロセッサは、蛍光画像（例えば、ビデオフレーム）を処理して、組織灌流、血管位置、血流の量または速度、撮像された組織の寸法、またはそれらの任意の組合せ等、組織を通る血流の１以上の特徴を決定し、決定された特徴に応じて蛍光画像を修正する（画像の着色を修正する、画像にデータを重ねる、画像に輪郭を重ねる等）、強化された撮像画像を生成するアルゴリズムを実装してもよい。
【0183】
上述の第１の構成と同様に、第２の医療用撮像データの一部または全部は、例えば、ハブ４００のプライマリプロセッシングユニット４０６等のプライマリプロセッサによって再構成可能なハードウェアプロセッサにルーティングされてもよい。プライマリプロセッサは、第２の医療用撮像データを受信してもよく、第２の構成データに従ってデータを再構成可能なプロセッサにルーティングしてもよい。第２の構成データは、接続されたデバイスから受信したデータが、少なくとも第２の医療用撮像処理アルゴリズムを用いて処理されるべきであることを指定してもよい。この要件に従って、プライマリプロセッサは、接続された機器から受信したデータを再構成可能なハードウェアプロセッサに向けてもよい。いくつかの実施形態では、再構成可能なプロセッサは、入力から直接、即ち、データが最初に１以上の追加のプロセッシングユニットを介してルーティングされることなく、第１の医療用撮像データを受信する。
【0184】
ステップ７１６で、再構成可能なハードウェアプロセッサによって生成された強化された第２の医療用撮像データが、第２の医療用撮像セッション中の観察のために表示される。強化された第２の医療用撮像データの表示は、第２の医療用撮像セッション中に実行される１以上の処置の間、外科医等の施術者を支援することができる。再構成可能なプロセッサの低遅延及び高帯域幅を活用することにより、強化された第２の医療用撮像データをリアルタイムで表示することができる。
【0185】
いくつかの実施形態では、強化された第２の医療用画像データは、再構成可能なハードウェアプロセッサから、強化された第２の医療用撮像データを含む表示フィードを生成し得る、図４のプライマリプロセッシングユニット４０６等の別のプロセッシングユニットに送信されてもよい。表示フィードは、プライマリプロセッサによって１以上の接続されたディスプレイに送信されてもよい。いくつかの実施形態では、再構成可能なハードウェアプロセッサは、強化された第２の医療用撮像データを、１以上の接続されたディスプレイとの出力接続に直接送信してもよい。
【0186】
図８Ａは、一実施形態による、方法７００のステップ７１０～７１６を示す医療用撮像処理システム８００のブロック図である。再構成可能なハードウェアプロセッサ８０４は、例えば、組織の健康状態、組織内の血流の程度、または組織内の灌流の程度に応じて組織の一部を特徴付けるために蛍光撮像画像を解析し、その特徴付けを白色光撮像画像上に重畳する第２の撮像処理アルゴリズムを用いて、白色光撮像素子８１０及び蛍光撮像素子８１８（これらは、同じ撮像システムの一部であってもよいし、同一または異なる入力ポートにおいて受信されてもよい）から受信した撮像データを処理するように再構成される。第２の撮像セッションに関連するユーザ入力（例えば、新たな患者に対する外科的セッションを示す入力、または第１の撮像セッションと同一の患者に対する新たな処置を示す入力）に応答して、プライマリプロセッサ８０２は、メモリ８１２に格納された第２の構成データにアクセスし、第１の構成データの仕様に基づいて、組織特徴付けアルゴリズムのためのハードウェア論理構成ファイルをロードすることによって、再構成可能なハードウェアプロセッサ８０４を再構成した。さらに、プライマリプロセッサ８０２は、参照マーカソフトウェアプログラムまたはモジュールを、メモリ８１２から補助プロセッサ８０６にロードした。参照マーカプログラムまたはモジュールを実行する補助プロセッサ８０６は、蛍光撮像データにおいて、例えば最大及び／または最小灌流の位置を決定することができる。補助プロセッサ８０６によって生成された参照マーカは、再構成可能なハードウェアプロセッサによって生成されたオーバーレイに追加される（これは、再構成可能なハードウェアプロセッサ８０４、プライマリプロセッサ８０２、またはシステムの異なるプロセッサによって行われてもよい）。結果として得られる強化された画像データは、第２の撮像セッション中に視覚化するためにディスプレイ８１６に出力される。
【0187】
いくつかの実施形態によれば、再構成可能なハードウェアプロセッサに実施された組織特性評価アルゴリズムは、データ表現に関してより正確であり、臨床医が臨床上の意思決定の使用に直感的であり得る、被験者の組織の強化された視覚的表現を提供してもよい。生成された、組織の強化された視覚的表現は、様々なタイプの組織（例えば、慢性、急性、褥瘡、癌組織を含む様々な創傷）に適用可能であり、組織（例えば、創傷組織、癌組織）を自動的に分類し、及び／または臨床結果（例えば、創傷組織の治癒タイムライン、癌組織の治癒）を予測するためのフレームワークを提供してもよい。
【0188】
組織特性評価アルゴリズムは、機械学習または深層学習を利用してもよい。機械学習ベースの方法及びシステムは、アルゴリズム解を有さない、または複雑すぎて解が見つけられない問題の解決を容易にする。組織の撮像に基づく医療診断及び組織特性評価は、人体で起こる生理的プロセスの複雑な性質のため、特に機械学習アルゴリズムに適したタスクである。機械学習は、大規模なデータセットのうちから医療に関連する特徴及びパターンを発見し、臨床医の経験有無にかかわらず、より正確、より迅速かつ一貫性のある医療診断を下すのに役立ち得る。いくつかの実施形態では、組織特性評価アルゴリズムは、組織の臨床的特性評価に関連するデータの１以上の属性を識別することと、同一のクラスタ内のデータが異なるクラスタ内のデータよりも互いに類似するよう、データの１以上の属性に基づいてデータを複数のクラスタに分類することとを含み、クラスタが組織の特性を示す。いくつかの変形例では、アルゴリズムは、例えば蛍光画像等の時系列の画像における複数のサブ領域のそれぞれに対し、クラスタのそれぞれを関連付けることと、被験者時系列の蛍光画像における複数のサブ領域に対して関連付けられたクラスタに基づいて、被写体空間（クラスタ）マップを生成することとをさらに含んでもよい。アルゴリズムは、複数の被写体空間マップを受信すること、各被写体空間マップに関連付けられたメタデータを受信すること、各被写体空間マップ及びその関連付けられた臨床データをデータベースのレコードに格納することと、及び、予測モデルを生成するための教師付き機械学習アルゴリズムの入力としてデータベースのレコードを使用すること、をさらに含んでもよい。予測モデルは、被験者の時系列の蛍光画像に関連する臨床データを予測するために使用されてもよい。
【0189】
図９Ａ及び９Ｂは、新たな撮像セッションのために、ハブ４００等の医療用撮像処理システムを構成するためのグラフィカルユーザインタフェースを示している。ユーザインタフェースは、例えば、システムに接続されたタブレット上や、システムのタッチスクリーン上に提供されてもよい。図９Ａのユーザインタフェース９００により、ユーザは専門分野９０２、手順９０４、及び／または施術者９０６を選択することで、画像処理システムを構成することができる。各選択は異なる構成に関連付けられてもよく、または選択の組合せが構成に関連付けられてもよい。例えば、各施術者の選択は、施術者によって以前に指定された異なる構成に関連付けられてもよく、一方、構成を選択するためには専門分野と手順の両方の選択が必要とされてもよい。構成は、システムのメモリに、ローカルに格納されてもよいし、例えばネットワーク接続を介してアクセスされる、病院情報システム内に遠隔的に格納されてもよい。
【0190】
図９Ｂは、データソース及びデータソースレイアウトを定義するためのユーザインタフェース９１０を示している。２つの表示レイアウト（９１２及び９１４）は、図示された構成に関連付けられている。各表示レイアウトは、データソースとデータソースのサイズ及び位置とを定義する。第１の表示レイアウト９１２は、３つの異なるソースを含む。上述したように、ソースは、表示されるデータのタイプを定義することができ、これは、データを生成するシステムと、例えば再構成可能なプロセッサ及び／または他のシステムモジュールによって実行されるデータに対する処理のタイプとの両方に基づくことができる。このように、異なるソースは、同一の撮像システムまたは他のデバイスからのデータに基づいていてもよい。例えば、ソース１は、（例えば施術者からの音声コマンドを介して選択された）入力映像ストリームからの静止画像であってよく、ソース３は、映像ストリームであってよい。ユーザインタフェース９１０は、ユーザが異なるソースを選択、配置、サイズ変更することを可能にしてもよい。例えば、ユーザは、システムが生成可能な全てのソース、またはシステムへの入力を受けてシステムが生成可能な全てのソースを指定するドロップダウンリストから、利用可能なソースを選択できる。ユーザは、画面の周囲のソースアイコンをドラッグしてソースを再配置したり、例えばジェスチャ、マウス入力、キーボード入力、あるいはその他の適切な入力を使用してソースのサイズを変更したりできる。
【0191】
ユーザが構成プロファイルの選択を完了すると、医療用撮像処理システムは、上述の方法に従って、選択された構成プロファイルで定義された要件に従って、自動的に自身を構成することができる。
【0192】
図１のシステム１００のような医療用撮像データを収集、強化、及び表示するためのシステムは、組織の時系列の画像（例えば、時系列の蛍光画像、時系列の白色光画像等）を取得するための１以上の撮像システムを含み得る。いくつかの実施形態では、撮像システムは蛍光撮像システムである。図１０は、一実施形態に係る蛍光撮像システム１０１０の概略例である。蛍光撮像システム１０１０は、被験者の組織内（例えば、血液中、尿中、リンパ液中、髄液中、または他の体液もしくは組織中）に蛍光造影剤１０１４からの蛍光発光を誘導するために被験者の組織を照射する光源１０１２、蛍光発光から時系列及び／または被験者時系列の蛍光画像を生成するように構成された画像取得アセンブリ１０１６、及び本明細書に記載の方法の変形のいずれかに従って、生成された時系列／被験者時系列の蛍光画像を処理するように構成されたプロセッサアセンブリ１０１８を備える。プロセッサアセンブリ１０１８は、その上に命令を有するメモリ１０６８と、メモリ１０６８上の命令を実行して時系列及び／または被験者時系列の蛍光画像を処理するように構成されたプロセッサモジュール１０６２と、未処理及び／または処理済みの、時系列及び／または被験者時系列の蛍光画像を格納するためのデータ格納モジュール１０６４とを含んでもよい。いくつかの変形例では、メモリ１０６８及びデータ格納モジュール１０６４は、同一の記録媒体に具現化されてもよく、一方、他の変形例では、メモリ１０６８及びデータ格納モジュール１０６４は、異なる記録媒体に具現化されてもよい。システム１０１０は、上述したシステム及び方法に従って、図１の撮像データ処理ハブ１０２等の撮像データ処理ハブに、時系列／被験者時系列の蛍光画像または他の入力データの一部または全部、空間マップ、被写体空間マップ、及び／または組織数値（quantifier）等の、画像及び他のデータを送信するための通信モジュール１０６６をさらに含んでもよい。
【0193】
いくつかの変形例では、光源１０１２は例えば照明モジュール１０２０を含む。照明モジュール１０２０は、蛍光造影剤１０１４を励起するための適切な強度及び適切な波長を有する励起光を生成するように構成された蛍光励起源を含んでもよい。図１１に示されるように、照明モジュール１０２０は、被験者の組織内の蛍光造影剤（不図示）を励起するための励起光を提供するように構成されたレーザダイオード１０２２（例えば、１以上のファイバ結合ダイオードレーザを含み得る）を含んでもよい。様々な実施形態で使用され得る励起光の他の光源の例としては、組織内の蛍光造影剤を励起するのに十分な強度及び適切な波長を有する、１以上のＬＥＤ、アークランプ、または他の証明技術が挙げられる。例えば、血液中の蛍光造影剤の励起（ここで、蛍光造影剤は、近赤外励起及び発光特性を有する蛍光色素である）は、ドイツのDILAS Diode Laser Co.の１以上の７９３ｎｍ、伝導冷却、単一バー、ファイバ結合レーザダイオードモジュールを使用して行実行され得る。
【0194】
いくつかの変形例では、光源１０１２から出力された光は、関心のある組織領域を照射するために使用される出力を形成及び誘導すべく、１以上の光学素子を介して投影されてもよい。光学素子は、画像取得アセンブリ１０１６の実質的に全視野にわたってフラットフィールドを確保するように、１以上のレンズ、光ガイド及び／または回折素子を含んでもよい。蛍光励起源は、蛍光造影剤１０１４（例えば、インドシアニングリーン（ＩＣＧ）等）の吸収極大に近い波長で発光するように選択されてもよい。例えば、図１１に示されるように、レーザダイオード１０２２からの出力１０２４は、１以上の集束レンズ１０２６を通過し、次いで、例えば、米国Newport Corporationから一般的に入手可能なライトパイプ等の均質化ライトパイプ１０２８を通過してもよい。最後に、光は、例えば米国Newport Corporationから入手可能なグラウンドガラス回折素子等の光学回折素子１０３２（即ち、１以上の光拡散器）を通過してもよい。レーザダイオード１０２２への電力は、例えば米国Lumina Power Inc.から入手可能なもの等、大電流レーザドライバによって供給されてもよい。レーザは、任意に、画像取得プロセス中にパルスモードで動作されてもよい。ソリッドステートフォトダイオード１０３０のような光学センサは、照明モジュール１０２０に組み込まれてもよく、様々な光学素子からの散乱反射または拡散反射を介して照明モジュール１０２０によって生成された照明強度をサンプリングしてもよい。いくつかの変形例では、追加の照明源を使用して、関心領域の上でモジュールを整列及び位置決めする際のガイダンスを提供してもよい。
【0195】
再び図１０を参照すると、いくつかの変形例では、画像取得アセンブリ１０１６は、蛍光造影剤１０１４からの蛍光発光から時系列及び／または被験者時系列の蛍光画像を取得するように構成された蛍光撮像システム１０１０の構成要素であってもよい。画像取得アセンブリ１０１６は、カメラモジュール１０４０を含んでもよい。図１２に示されるように、カメラモジュール１０４０は、撮像光学系（例えば、１０４６ａ、１０４６ｂ、１０４８及び１０５０）のシステムを用いて、蛍光発光を収集してイメージセンサアセンブリ１０４４上に集束させることにより、組織中の蛍光造影剤からの蛍光発光１０４２の画像を取得してもよい。撮像センサアセンブリ１０４４は、少なくとも１つの２Ｄソリッドステートイメージセンサを含んでもよい。ソリッドステートイメージセンサは、電荷結合素子（ＣＣＤ）、ＣＭＯＳセンサ、ＣＩＤまたは同様の２Ｄセンサ技術であってもよい。撮像センサアセンブリ１０４４によって変換された光信号から生じる電荷は、カメラモジュール１０４０内の適切な読み出し及び増幅電子機器によって、デジタル及びアナログ映像信号の両方を含む電気映像信号に変換される。
【0196】
蛍光撮像システムの例示的な変形例によれば、光源は、約８００ｎｍ＋／－１０ｎｍの励起波長を提供してもよく、画像取得アセンブリは、例えばＩＣＧ蛍光撮像のために、ＮＩＲ互換光学系を用いて８２０ｎｍ超の発光波長を使用する。例示的な実施形態では、ＮＩＲ互換光学系は、ＧｉｇＥ規格インタフェースを有するＣＣＤモノクロ撮像センサと、光学フォーマット及びマウントフォーマット（例えば、Ｃ／ＣＳマウント）に関してセンサと互換性のあるレンズと、を含んでもよい。
【0197】
いくつかの変形例では、プロセッサモジュール１０６２は、例えばタブレット、ラップトップ、デスクトップ、ネットワークコンピュータ、または専用のスタンドアロンマイクロプロセッサ等の任意のコンピュータまたは演算手段を含む。例えば、プロセッサモジュール１０６２は、１以上の中央処理装置（ＣＰＵ）を含んでもよい。例示的な実施形態では、プロセッサモジュール１０６２は、４つのＣＰＵを有するクワッドコアの２．５ＧＨｚプロセッサであり、各ＣＰＵは、６４ビットマイクロプロセッサ（例えば、INTEL Core i3、i5、またはi7として、またはAMD Core FXシリーズで市販されている）等のマイクロプロセッサである。しかしながら、他の実施形態では、プロセッサモジュール１０６２は、任意の適切な数のＣＰＵ及び／または他の適切なクロック速度を有する任意の適切なプロセッサであってもよい。
【0198】
プロセッサモジュール１０６２のための入力は、例えば、図１２に示すカメラモジュール１０４０の撮像センサ１０４４から、図１１の照明モジュール１０２０のソリッドステートフォトダイオード１０３０から、及び／またはフットスイッチやリモートコントロール等の任意の外部制御ハードウェアから取得されてもよい。出力は、レーザダイオードドライバ及び光学式アライメントエイドに提供される。図１０に示されるように、いくつかの変形例では、プロセッサアセンブリ１０１８は、取得したデータの記録及び処理を可能にすべく、例えば内部メモリ（例えばハードディスクまたはフラッシュメモリ）等の有形の非一時的なコンピュータ可読媒体に、時系列／被験者時系列の画像、またはそれらを示すデータ、または他の入力データを保存する機能を有するデータ保存モジュール１０６４を有していてもよい。いくつかの変形例では、プロセッサモジュール１０６２は、様々な要素の制御を可能にし、照明及びセンサシャッタの正確なタイミングを保証するために、内部クロックを有していてもよい。いくつかの変形例において、プロセッサモジュール１０６２は、ユーザ入力及びグラフィック表示も提供してもよい。蛍光撮像システムは、任意に、時系列の蛍光画像を取得しているとき、または記録後に再生するときに送信するための、有線または無線ネットワーク接続や映像出力接続等の通信ユニット１０６６を備えて構成されてもよい。通信ユニット１０６６は、追加的または代替的に、空間マップ、被写体空間マップ、及び／または組織数値等の処理済みデータを送信してもよい。
【0199】
図１０～１２に記載の例示的なシステムの動作において、被験者は、関心領域（例えば、標的組織領域）が光源１０１２及び取得アセンブリ１０１６の下方に位置するように、光源１０１２の照明もジュール１０２０が関心領域の実質的な全体にわたって実質的に均一な照明のフィールドを生成するように、蛍光撮像システム１０１０に対して相対的に配置される。いくつかの変形例では、蛍光造影剤１０１４を被験者に投与する前に、背景控除（background deduction）の目的で関心領域の画像が取得されてもよい。蛍光画像／被験者蛍光画像を取得するために、蛍光撮像システム１０１０のオペレータは、遠隔スイッチまたはフットコントロールを押すことによって、またはプロセッサアセンブリ１０１８に接続されたキーボード（不図示）を介して、時系列／被験者時系列の蛍光画像の取得を開始してもよい。その結果、光源１０１２がオンになり、プロセッサアセンブリ１０１８は、画像取得アセンブリ１０１６によって提供された蛍光画像データ／被験者蛍光画像データの記録を開始する。本実施形態のパルスモードで動作する場合、カメラモジュール１０４０内の撮像センサ１０４４は、照明モジュール１０２０内のダイオードレーザ８２２によって生成されたレーザパルスに続く蛍光発光を収集するように同期される。このようにして、最大の蛍光発光強度が記録され、信号対ノイズ比が最適化される。この実施形態では、蛍光造影剤１０１４は被験者に投与され、動脈流を介して関心領域に送出される。時系列／非検体時系列の蛍光画像の取得は、例えば、蛍光造影剤１０１４の投与直後に開始され、蛍光造影剤の浸入中、実質的に関心領域全体からの時系列の蛍光画像が取得される。関心領域からの蛍光発光は、カメラモジュール１０４０の収集光学系によって収集される。残留する周辺光及び反射された励起光は、カメラモジュール１０４０の後続の光学素子（例えば、フィルタであってもよい図１２の光学素子１０５０）によって減衰され、その結果、他の光源からの光による干渉を最小限にして、撮像センサアセンブリ１０４４によって蛍光発光が取得され得る。
【0200】
いくつかの変形例では、時系列／被験者時系列の蛍光画像の取得または生成に続いて、プロセッサアセンブリ１０１８（例えば、プロセッサモジュール１０６２または他のプロセッサ）は、次いで、メモリ１０６８に格納された命令を実行し、撮像データ処理システム（例えば、システム１００のハブ１０２）への送信前に撮像データを処理するように開始されてもよい。システム１０１０は、接続１０６６を介して、空間マップ／被写体空間マップ及び／またはそれらから導出される任意の臨床的相関または診断、あるいはその両方を、例えばグレースケールまたは着色画像として合成表示フィードでユーザに表示するため、及び／またはその後の使用のために格納すべく、送信してもよい。
【0201】
図１３は、図１のシステム１００の内視鏡手術用カートの実施形態を示す。カート１０は、例えば、内視鏡手術中の内視鏡撮像及び表示のために手術室で使用されてもよい。カート１０は、図１０の蛍光撮像システム１０１０のような撮像システムを含む。撮像システムは、内視鏡処置に利用され得るスコープアセンブリ１１を含む。スコープアセンブリ１１は、カメラヘッド１６の遠位端に配置されたカプラ１３によってカメラヘッド１６に結合された、内視鏡またはスコープ１２を内蔵している。光は、光ファイバケーブルのような光ガイド２６を介して、光源１４によってスコープに供給される。カメラヘッド１６は、電気ケーブル１５によってカメラ制御ユニット（ＣＣＵ）１８に結合されている。ＣＣＵ１８は、好ましくは光源１４に接続され、通信する。カメラ１６の動作は、ＣＣＵ１８により部分的に制御される。ケーブル１５は、カメラヘッド１６からＣＣＵ１８に映像データを伝送し、カメラヘッド１６とＣＣＵ１８との間で種々の制御信号を双方向に伝送する。一実施形態では、カメラヘッド１６により出力される画像データはデジタルである。
【0202】
カメラヘッド１６には制御またはスイッチ配置１７が設けられており、ユーザがカート１０の様々な機能を手動で制御することができる。音声コマンドは、外科医によって装着されるヘッドセットに２７に取り付けられ、音声制御ユニット２３に結合されたマイクロフォン２５に入力されてもよい。カート１０は、さらなる制御インタフェースとしてカート１０に結合され得る、タッチスクリーンユーザインタフェースを有するタブレットまたはＰＤＡ等のハンドヘルド制御デバイス２１を含んでもよい。カート１０はまた、図１のハブ１０２または図４のハブ４００のような撮像データ処理ハブ３１を含み、これは撮像システムから画像及び／または映像を受信し、画像及び／または映像を処理し、本明細書に記載の方法に従ってディスプレイ２０に表示するための表示フィードを生成すべく、１以上のケーブル接続を介して撮像システムに結合される。撮像データ処理ハブは、音声制御ユニットを介して、及び／またはハンドヘルド制御デバイスを通して、ユーザ入力を受信してもよい。
【0203】
カート１０は、撮像データ処理ハブに結合され得る、撮像記録デバイスまたは手術ツール制御装置等の１以上の追加デバイス３３を含んでもよい。撮像データ処理ハブ３１は、装置警告、装置状態及び装置設定等の情報を、１以上の追加デバイス３３から受信してもよい。いくつかの実施形態では、追加デバイス３３は映像レコーダであり、撮像データ処理ハブ３１は、記録のために１以上の表示フィードを映像レコーダに送信してもよい。
【0204】
コンピュータ実行可能（読み取り可能）プログラムコードが埋め込まれた有形の非一時的なコンピュータ可読媒体は、命令を実行する際に、本明細書に記載の１以上の方法を実行させるための命令を、１以上のプロセッサに提供することができる。プログラムコードは、任意の適切なプログラミング言語で書かれ、例えば、書き込み不可能な記憶媒体（例えば、ＲＯＭ、ＣＤ－ＲＯＭディスク等の読み取り専用メモリデバイス）に永続的に格納された情報、書き込み可能な記憶媒体（例えばハードドライブ等）に変更可能に格納された情報、ローカルエリアネットワーク、インターネットのような公衆ネットワーク等の通信媒体を介してプロセッサに伝達された情報、または電子命令の格納に適した任意のタイプの媒体を含むが、これに限られるものではない多くの形態でプロセッサに配信されることができる。本明細書に記載された方法の様々な実施形態を実装するコンピュータ可読命令を運ぶ場合、そのようなコンピュータ可読媒体は、様々な実施形態の例を表す。様々な実施形態において、有形の非一時的なコンピュータ可読媒体は、すべてのコンピュータ可読媒体を含み、本発明の範囲は、媒体が有形及び非一時的の両方であるコンピュータ可読媒体に限定される。
【0205】
キットは、本明細書に記載されたシステムの任意の部分と、例えばＩＣＧのような蛍光色素または任意の適切な蛍光造影剤等の蛍光造影剤を含んでもよい。更なる態様では、キットは、コンピュータ実行可能（読み取り可能）プログラムコードが埋め込まれた有形の非一時的なコンピュータ可読媒体であって、命令を実行する際に、本明細書に記載された、組織の特性評価及び／または臨床データの予測のための１以上の方法を実行させるための命令を、１以上のプロセッサに提供することができるコンピュータ可読媒体を含んでもよい。キットは、その構成要素の少なくともいくつかの使用するための命令（例えば、蛍光造影剤を使用するためのもの、命令が埋め込まれたコンピュータ実行可能（可読）なプログラムコードをインストールするためのもの等）を含んでもよい。さらに別の態様では、本明細書に記載された方法及びシステムで使用するための蛍光色素等の蛍光造影剤が提供される。さらなる変形例では、キットは、本明細書に記載されたシステムの任意の部分または全体、及び、例えばＩＣＧ等の蛍光色素、または任意の他の適切な蛍光剤、または蛍光剤の組合せのような蛍光剤を含んでもよい。
【0206】
撮像データの生成に使用する造影剤の例
いくつかの実施形態によれば、蛍光医療用撮像アプリケーションでは、造影剤は、例えばＩＣＧ色素等の蛍光造影剤である。ＩＣＧは、被験者に投与されると、血液タンパク質と結合し、血液と共に組織内を循環する。蛍光造影剤（例えば、ＩＣＧ）は、ボーラス注射（例えば、静脈または動脈への注射）として、ボーラスが血管系を循環し、微小血管系を通過するように、撮像に適した濃度で被験者に投与されてもよい。複数の蛍光造影剤が使用される他の実施形態では、このような薬剤は、例えば単一のボーラスで同時に投与されてもよいし、または別々のボーラスで順次投与されてもよい。いくつかの実施形態では、蛍光造影剤は、カテーテルによって投与されてもよい。特定の実施形態では、蛍光造影剤は、蛍光造影剤から生じる信号強度の測定を行う１時間未満前に投与されてもよい。例えば、蛍光造影剤は、測定の３０分未満前に被験者に投与されてもよい。さらに他の実施形態では、蛍光造影剤は、測定の実施の少なくとも３０秒前に投与されてもよい。さらに他の実施形態では、蛍光造影剤は、測定の実施と同時に投与されてもよい。
いくつかの実施形態によれば、蛍光医療用撮像アプリケーションでは、造影剤は、例えばＩＣＧ色素等の蛍光造影剤である。ＩＣＧは、被験者に投与されると、血液タンパク質と結合し、血液と共に組織内を循環する。蛍光造影剤（例えば、ＩＣＧ）は、ボーラス注射（例えば、静脈または動脈への注射）として、ボーラスが血管系を循環し、微小血管系を通過するように、撮像に適した濃度で被験者に投与されてもよい。複数の蛍光造影剤が使用される他の実施形態では、このような薬剤は、例えば単一のボーラスで同時に投与されてもよいし、または別々のボーラスで順次投与されてもよい。いくつかの実施形態では、蛍光造影剤は、カテーテルによって投与されてもよい。特定の実施形態では、蛍光造影剤は、蛍光造影剤から生じる信号強度の測定を行う１時間未満前に投与されてもよい。例えば、蛍光造影剤は、測定の３０分未満前に被験者に投与されてもよい。さらに他の実施形態では、蛍光造影剤は、測定の実施の少なくとも３０秒前に投与されてもよい。さらに他の実施形態では、蛍光造影剤は、測定の実施と同時に投与されてもよい。
【0207】
いくつかの実施形態によれば、蛍光造影剤は、血液中の所望の循環濃度を達成するために、種々の濃度で投与されてもよい。例えば、蛍光造影剤がＩＣＧである実施形態では、血液中で約５μＭ～約１０μＭの循環濃度を達成するために、約２．５ｍｇ／ｍＬの濃度で投与してもよい。様々な実施形態において、蛍光造影剤の投与のための上限濃度は、蛍光造影剤が循環血液中で臨床的に毒性を持つようになる濃度であり、下限濃度は、蛍光造影剤を検出するために、血液と共に循環する蛍光造影剤から生じる信号強度データを取得するための機器限界である。様々な他の実施形態では、蛍光造影剤の投与の上限濃度は、蛍光造影剤が自己消光する濃度である。例えば、ＩＣＧの循環濃度は、約２μＭ～約１０ｍＭの範囲であってもよい。故に、一態様において本方法は、様々な実施形態による信号強度データを処理する前に、造影剤（例えば、蛍光造影剤）を被験者に投与するステップと、信号強度データ（例えば、映像）を取得するステップとを含む。別の態様では、本方法は、造影剤を被験者に投与する任意のステップを除外する。
【0208】
いくつかの実施形態によれば、蛍光画像データを生成するための蛍光撮像アプリケーションでの使用に適した蛍光造影剤は、血液と共に循環し（例えば、血液中のリポタンパク質または血清血漿等の血液成分と共に循環可能な蛍光色素）、組織の血管系（即ち、大血管及び微小血管系）を通過することができる造影剤であり、当該造影剤が適切な光エネルギ（例えば、励起光エネルギまたは吸収光エネルギ）に曝されたときに信号強度が生じる造影剤である。様々な実施形態において、蛍光造影剤は、蛍光色素、その類似体、その誘導体、またはこれらの組合せを含む。蛍光色素は、任意の非毒性の蛍光色素を含む。特定の実施形態では、蛍光色素は、近赤外スペクトルの蛍光を最適に放出する。特定の実施形態では、蛍光色素は、トリカルボシアニン色素であるか、またはこれを含む。特定の実施形態では、蛍光色素は、ＩＣＧ、メチレンブルー、またはそれらの組み合わせであるか、またはそれらを含む。他の実施形態では、蛍光色素は、各色素に適切な励起光の波長を使用して励起可能な、フルオレセインイソチオシアネート、ローダミン、フィコエリスリン、フィコシアニン、アロフィコシアニン、ｏ－フタルアルデヒド、フルオレスカミン、ローズベンガル、トリパンブルー、フルオロゴールド、またはこれらの組合せであるか、またはこれらを含む。いくつかの実施形態では、蛍光色素の類似体または誘導体を使用してもよい。例えば、蛍光色素類似体または誘導体は、化学的に修飾されているが、適切な波長の光エネルギに曝された場合に蛍光を発する能力を保持している蛍光色素を含む。
【0209】
様々な実施形態では、蛍光造影剤は、凍結乾燥された粉末、固体、または液体として提供されてもよい。特定の実施形態では、蛍光造影剤は、バイアル（例えば、無菌バイアル）で提供されてもよく、これは無菌シリンジで無菌流体を投与することにより、適切な濃度に再構成することができる。再構成は、任意の適切なキャリアまたは希釈剤を使用して行うことができる。例えば、蛍光造影剤は、投与の直前に水性希釈剤で再構成されてもよい。様々な実施形態では、蛍光造影剤を溶液中に維持する任意の希釈剤またはキャリアを使用することができる。一例として、ＩＣＧは、水で再構成されてもよい。いくつかの実施形態では、蛍光造影剤が再構成されると、それは追加の希釈剤及びキャリアと混合されてもよい。ある実施形態において、蛍光造影剤は、例えば溶解性、安定性、撮像特性、またはそれらの組合せを高めるために、タンパク質、ペプチド、アミノ酸、合成ポリマー、または糖等の別の分子に結合されてもよい。Ｔｒｉｓ、ＨＣｌ、ＮａＯＨ、リン酸緩衝液、及び／またはＨＥＰＥＳを含む追加の緩衝剤を任意に添加してもよい。
【0210】
蛍光造影剤の詳細を上述したが、当業者であれば、光学撮像モダリティに応じて、本明細書で説明するシステム、方法、及び技術に関連して他の造影剤を使用してもよいことを理解するだろう。このような蛍光剤は、体液（例えば、リンパ液、脊髄液）または体組織に投与されてもよい。
【0211】
いくつかの変形例において、本明細書中に記載された方法、システム及びキットと組み合わせて使用される蛍光造影剤は、侵襲外科的処置、低侵襲性外科的処置、非侵襲外科的処置、またはそれらの組み合わせの間に実行され得る、血流撮像、組織灌流撮像、リンパ撮像、またはそれらの組み合わせに使用されてもよい。血流及び組織灌流を伴う侵襲外科的処置の例は、心臓関連の外科的処置（例えば、オンポンプやオフポンプのＣＡＢＧ）や再建外科的処置を含む。非侵襲または低侵襲処置の例は、創傷（例えば、褥瘡などの慢性創傷）の治療及び／または管理を含む。この点に関して、例えば、創傷の寸法（例えば、直径、面積）の変化、または創傷及び／または創傷周囲の組織灌流の変化等の創傷の経時的な変化が、方法及びシステムの適用によって経時的に追跡され得る。リンパ撮像の例は、１以上のリンパ節の識別、リンパ節ドレナージ、リンパ系マッピング（lymphatic mapping）、またはそれらの組み合わせを含む。いくつかの変形例では、このようなリンパ系撮像は、女性生殖系（例えば、子宮、子宮頸部、外陰部）に関連し得る。
【0212】
心臓への適用に関する変形例では、造影剤（例えば、ＩＣＧ単独または他の造影剤との組み合わせ）は、例えば、中心静脈回路、バイパスポンプ及び／または心筋保護回路を通して静脈内に注入して、冠状血管系、微小血管系及び／または移植片を流動及び／または灌流させてもよい。ＩＣＧは、冠動脈中のＩＣＧの最終濃度が、約２．５ｍｇ(即ち、２．５ｍｇ／ｍｌの１ｍｌ）を中心回路またはバイパスポンプに注入した場合と略同一かそれ以下になるように、希釈されたＩＣＧ／血液／生理食塩水として移植された血管の下方に投与され得る。ＩＣＧは、例えば、２５ｍｇの固体を、製造業者によってＩＣＧと共に提供され得る無菌水性溶媒１０ｍｌに溶解することによって調製されてもよい。１ｍｌのＩＣＧ溶液を５００ｍｌの無菌生理食塩水と混合（例えば、１ｍｌのＩＣＧを５００ｍｌの生理食塩水バッグに注入する）してもよい。希釈されたＩＣＧ／生理食塩水の３０ミリリットルが、中心動脈回路またはバイパスポンプから無菌的に得られた被験者の血液１０ｍｌに添加されてもよい。血中のＩＣＧは、血漿蛋白質と結合し、血管外への漏出を防ぐ働きをする。ＩＣＧと血液の混合は、標準的な無菌技術を用いて、無菌の術野内で行うことができる。各移植片に対して、ＩＣＧ／生理食塩水／血液の混合液を１０ｍｌ投与することができる。ＩＣＧは、ニードルを使用して移植片の壁面を通して注入することによって投与するのではなく、移植片の（開放した）近位端に取り付けられたシリンジを使って投与することができる。移植片が採取される際、生理食塩水で満たされたシリンジを取り付け、移植片の遠位端を封鎖し、移植片の下方に生理食塩水を注入することで、移植片を加圧し、第１の吻合を実施する前に（漏出、側枝等に関して）導管の完全性を評価することができるように、外科医は日常的に移植片の近位端にアダプタを取り付ける。他の変形例では、心臓撮像に関連して本明細書に記載された方法、投与量、またはそれらの組合せは、任意の血管及び／または組織灌流撮像アプリケーションにおいて使用され得る。
【0213】
リンパ系マッピングは、リンパ系を介して拡がる癌（例えば、乳癌、胃癌、婦人科癌）に対する効果的な外科的病期分類の重要な部分である。特定の節流域から複数の節を切除すると、急性または慢性のリンパ浮腫、知覚障害、及び／または血清腫形成を含深刻な合併症を来し得るが、実際には、センチネルリンパ節の転移が陰性であれば、周囲のリンパ節も陰性である可能性が最も高い。例えば乳癌手術では、腫瘍排出リンパ節（ＬＮ）の識別が、リンパ系を介して広がる癌の病期分類の重要なステップとなっている。ＬＮマッピングは、生検または切除のいずれかに係るＬＮの識別のための色素及び／または放射性トレーサの使用、及びその後の転移の病理学的評価を含む。外科的病期分類時のリンパ節切除の目標は、癌が局所的に拡がるリスクが高いＬＮを識別して切除することである。センチネルリンパ節（ＳＬＮ）マッピングは、乳癌の治療における有効な外科的戦略として浮上している。一般に、転移（腋窩ＬＮへの癌の拡がり）が認められる場合、ＳＬＮに位置すべきであるという概念に基づいており、ＳＬＮは当技術分野では最初のＬＮまたは原発腫瘍から癌細胞が最も拡がる可能性が高い節群と定義されている。ＳＬＮが転移に対し陰性であれば、周囲の二次及び三次ＬＮも陰性であるはずである。ＳＬＮマッピングの主な利点は、従来の部分的または完全なリンパ節切除を受ける被験者の数を減少させ、その結果、リンパ浮腫やリンパ嚢胞等の付随する病的状態に苦しむ被験者の数を減少させることである。
【0214】
ＳＬＮマッピングの現在の標準的な治療は、原発腫瘍からのリンパ排液経路を識別するトレーサの注入を含む。使用されるトレーサは、ガンマプローブを用いた術中局在化のための放射性同位元素（例えば、テクネチウム－９９またはＴｃ－９９ｍ）であってもよい。放射性トレーサ技術（シンチグラフィとして知られる）は、放射性同位元素を利用できる病院に限られており、核医学の医師の関与が必要であり、リアルタイムの視覚的ガイダンスは得られない。有色色素であるイソスルファンブルーも使用されているが、この色素は皮膚及び脂肪組織を通して見ることができない。また、青色染色の結果、乳房の刺青が数カ月続き、皮下注射で皮膚壊死が生じ得、まれにアナフィラキシーを伴うアレルギ反応も報告されている。重篤なアナフィラキシー反応は、イソスルファンブルーの注射後に生じている（患者の約２％）。その症状は、呼吸困難、ショック、血管浮腫、蕁麻疹及びそう痒を含む。反応は、気管支喘息の既往歴がある被験者や、トリフェニルメタン色素に対するアレルギまたは薬物反応がある被験者に起こりやすい。イソスルファンブルーは、パルスオキシメトリによる酸素飽和度の測定や、ガス分析器によるメトヘモグロビンの測定を妨害することが知られている。イソスルファンブルーを使用すると、一過性または長期間の（刺青のような）青色の着色が生じる可能性がある。
【0215】
対照的に、ＳＬＮの視覚化、マッピングに使用するための様々な実施形態に係る蛍光撮像は、術中にＬＮ及び／または求心性リンパ管の直接的なリアルタイムの視覚的識別を容易にし、皮膚及び脂肪組織、血流の組織化、組織灌流またはそれらの組み合わせを通じた、リアルタイムで高解像度の光学的誘導を容易にする。
【0216】
いくつかの変形例において、蛍光撮像中のリンパ節の可視化、分類、またはその両方は、１以上の造影剤の撮像に基づいてもよく、これはさらに、ガンマプローブ（例えば、テクネチウムＴｃ－９９ｍは無色透明の水溶液であり、標準的なケアとして典型的に乳輪周囲領域に注入される）、別の従来使用されている着色造影剤（イソスルファンブルー）、及び／または例えば組織学等の他の評価を用いて、視覚化及び／または分類に基づいてもよい。被験者の乳房には、例えば、（比較のために）約１％イソスルファンブルーを２回注入し、約２．５ｍｇ／ｍｌの濃度を有するＩＣＧ溶液を２回注入してもよい。イソスルファンブルーの注入は、ＩＣＧの注入に先行して行われてもよいし、またはその逆でもよい。例えば、ＴＢシリンジ及び３０Ｇ針を用いて、麻酔下の被験者に、乳房の乳輪周囲領域に０．４ｍｌ(各部位に０．２ｍｌ）のイソスルファンブルーを注入することができる。被験者は、右乳房については１２時及び９時の位置、左乳房については１２時及び３時の位置に注射され得る。各乳房へのイソスルファンブルーの皮内注入の総用量は、約４．０ｍｇ(０．４ｍｌの１％溶液：１０ｍｇ／ｍｌ）でよい。別の例示的な変形例では、被験者は、最初にＩＣＧ注入を受け、続いてイソスルファンブルーを受けてもよい（比較のため）。ＩＣＧの２５ｍｇバイアル１本は、ＩＣＧ投与の直前に２．５ｍｇ／ｍｌの溶液を得るために、１０ｍｌの注入用無菌水で再構成され得る。ＴＢシリンジと３０Ｇ針を用いて、例えば被験者は、乳房の乳輪周囲領域にＩＣＧを約０．１ｍｌ(各部位０．０５ｍｌ）が注入され得る（右乳房については１２時及び９時の位置、左乳房については１２時及び３時の位置に注入が実施され得る）。各乳房へのイソスルファンブルーの皮内注入の総用量は、乳房あたり約０．２５ｍｇ(２．５ｍｇ／ｍｌ溶液０．１ｍｌ）でよい。ＩＣＧは、例えば、注入あたり５～１０秒の速度で注入され得る。ＩＣＧを皮内に注入すると、ＩＣＧのタンパク質結合特性により、ＩＣＧがリンパに速やかに取り込まれ、導管を通ってＬＮに移動する。いくつかの変形例では、ＩＣＧは、５％以下のヨウ化ナトリウムと２５ｍｇのＩＣＧを含む、無菌の凍結乾燥粉末の形で提供されてもよい。ＩＣＧは、ＩＣＧを再構成するために使用される、注射用無菌水からなる水性溶媒と共にパッケージされてもよい。いくつかの変形例では、乳癌センチネルリンパマッピングにおけるＩＣＧ投与量（ｍｇ）は、投与経路に応じて、約０．５ｍｇから約１０ｍｇの範囲であってもよい。いくつかの変形例では、ＩＣＧ投与量は、約０．６ｍｇから約０．７５ｍｇ、約０．７５ｍｇから約５ｍｇ、約５ｍｇから約１０ｍｇであってもよい。投与経路は、例えば、皮下、皮内（例えば、乳輪周囲へ）、乳輪下、腫瘍に重なる皮膚、腫瘍に最も近い乳輪内への皮内、乳輪内への皮下、腫瘍の上の皮内、乳房全体の乳輪周囲、またはそれらの組み合わせであってもよい。ＮＩＲ蛍光陽性ＬＮ（例えば、ＩＣＧを使用）は、例えば、白黒ＮＩＲ蛍光画像、及び／またはフルもしくは部分的なカラー（白色光）画像、フルまたは部分的に非飽和の白色光画像、強化されたカラー画像、オーバーレイ（例えば、任意の他の画像と蛍光）、様々な色、様々な非飽和レベル、または関心のある特定の特徴を強調／視覚化するための様々な範囲の色を有してもよい合成画像（例えば、他の画像に蛍光が組み込まれる）、として表されてもよい。更なる視覚化及び／または他の分析（例えば、定量化）のために、画像の処理がさらに実行されてもよい。乳癌患者におけるＳＬＮ生検のための米国乳腺外科学会（ＡＳＢｒＳ：American Society of Breast Surgeons）の診療ガイドラインに従って、ＩＣＧ及びＳＬＮを単独で、またはガンマプローブ（Ｔｃ－９９ｍ）と組み合わせて、様々な実施形態に係る蛍光撮像システム及び方法を使用して、リンパ節及びリンパ管が（例えば、手術中に、リアルタイムで）視覚化されてもよい。ＬＮの蛍光撮像は、腋窩のＬＮに至るリンパ管をたどって注入部位から始めることができる。ＬＮの視覚画像が識別されると、皮膚を切開してＬＮマッピング及びＬＮの特定が行われ、ＩＣＧで視覚化されたノードが特定されるまでＬＮマッピングが実施されてもよい。比較のために、イソスルファンブルーを用いたマッピングは、「青色」の節が識別されるまで実行されてもよい。ＩＣＧ単独または別の撮像技術（例えば、イソスルファンブルー、及び／またはＴｃ－９９ｍ）と組み合わせて識別されたＬＮは、切除されるようにラベリングされてもよい。被験者は、様々なステージの乳癌（例えば、ＩＡ、ＩＢ、ＩＩＡ）を有し得る。
【0217】
いくつかの変形例では、例えば、婦人科癌（例えば、子宮、子宮内膜、外陰及び子宮頸部の悪性腫瘍）において、ＩＣＧは、リンパ節、リンパ管、またはそれらの組合せの視覚化のために、細胞間に投与されてもよい。細胞間に注入すると、ＩＣＧの蛋白質結合特性により、リンパ液に速やかに取り込まれ、導管を通ってＳＬＮに移動する。ＩＣＧは、２５ｍｇのＩＣＧ(例えば、２５ｍｇ／バイアル）と５．０％以下のヨウ化ナトリウムを含む無菌の凍結乾燥粉末の形で注入のために提供され得る。次いで、ＩＣＧは、使用前に市販の注入用水（無菌）で再構成されてもよい。一実施形態によれば、２５ｍｇのＩＣＧを含むバイアルを２０ｍｌの注入用水で再構成してもよく、１．２５ｍｇ／ｍｌの溶液を得てもよい。この１．２５ｍｇ／ｍｌ溶液がトータルで４ｍｌ被験者に注入され（４×１ｍｌ注入）、被験者あたりのＩＣＧの総投与量を５ｍｇとする。また、１％イソスルファンブルー１０ｍｇ/ｍｌの１ｍｌ溶液(比較目的のため）を子宮頸部に４回注入し、総投与量を４０ｍｇとすることもできる。当該注入は、手術室において被験者が麻酔状態にある間に行われてもよい。いくつかの変形例では、婦人科癌のセンチネルリンパ節の検出及び／またはマッピングにおけるＩＣＧの投与量（ｍｇ）は、投与経路に応じて約０．１ｍｇから約５ｍｇの範囲であり得る。いくつかのバリエーションにおいて、ＩＣＧ用量は、約０．１ｍｇから約０．７５ｍｇ、約０．７５ｍｇから約１．５ｍｇ、約１．５ｍｇから約２．５ｍｇ、約２．５ｍｇから約５ｍｇであり得る。投与経路は、例えば、子宮頸部注入、外陰部周囲注入、子宮鏡検査下子宮内膜注入、またはそれらの組み合わせであってもよい。ＬＮを切除する際にマッピング手順を妨害するイソスルファンブルーまたはＩＣＧの流出を最小限に抑えるために、マッピングは半骨盤上で行われてもよく、イソスルファンブルー及びＩＣＧの両方を用いたマッピングは、任意のＬＮの切除の前に行われてもよい。臨床ステージＩの子宮内膜癌に対するＬＮマッピングは、子宮腫瘍に関するＮＣＣＮガイドライン、子宮内膜癌の外科的病期分類のためのＳＬＮアルゴリズムに従って行われてもよく、臨床ステージＩの子宮頸癌のＳＬＮマッピングは、子宮頸部腫瘍に関するＮＣＣＮガイドライン、早期子宮頸癌の外科的／ＳＬＮマッピングアルゴリズムに従って行われてもよい。従って、ＬＮの識別は、ＩＣＧ蛍光撮像単独、または比色色素（イソスルファンブルー）及び／または放射性追跡子との組合せまたは同時投与に基づいてもよい。
【0218】
リンパ節の視覚化は、定性的及び／または定量的であってもよい。このような視覚化は、例えば、リンパ節の検出、検出率、リンパ節の解剖学的分布を含み得る。様々な実施形態によるリンパ節の視覚化は、単独で、または他の変数（例えば、バイタルサイン、身長、体重、人口統計、外科的予測因子、関連する病歴及び基礎状態、組織学的視覚化及び／または評価、Ｔｃ－９９ｍ視覚化及び／または評価、併用薬）と組み合わせて使用されてもよい。フォローアップ訪問は、退院日及びその以降の日（例えば、１ヶ月）に行われ得る。
【0219】
リンパ液は高レベルの蛋白質を含むため、ＩＣＧは、リンパ系に入ると、内因性蛋白質に結合し得る。本明細書に記載された方法及びシステムに従って使用される場合、リンパマッピングのための蛍光撮像（例えば、ＩＣＧ撮像）は、以下の例示的な利点を提供する：ＮＩＲが有意な自家蛍光を生成しないため、高い信号対背景比（または腫瘍対背景比）、リンパマッピングのためのリアルタイム視覚化特徴、組織定義（即ち、構造的な視覚化）、血管系に入った後の迅速な排泄及び除去、ならびに非イオン化放射線の回避。さらに、ＮＩＲ撮像は、可視光（１～３ｍｍの組織）よりも優れた、組織への浸透性（約５～１０ｍｍの組織）を有する。また、例えばＩＣＧの使用は、傍大動脈節を覆う腹膜を通しての視覚化を容易にする。組織蛍光は、ＮＩＲ光では長期間観察できるが、可視光では観察することができず、結果的に病理学的評価やＬＮの処理に影響を及ぼさない。また、蛍光は、リンパ節の青色染色（イソスルファンブルー）よりも術中に検出しやすい。他の変形例では、リンパ管撮像に関連して本明細書に記載された方法、投与量、またはそれらの組合せは、任意の血管及び／または組織灌流撮像アプリケーションにおいて使用され得る。
【0220】
組織灌流は、酸素及び栄養素が供給され、灌流される組織の毛細血管床から老廃物が除去される、単位組織体積あたりの血液の微小循環流に関連する。組織灌流は血管内の血流に関係するが、それとは異なるものである。定量化された血管を通る血流は、流れを定義する文言（即ち、体積／時間）、または速度を定義する文言（即ち、距離／時間）で表され得る。組織血液灌流は、組織体積内の細動脈、毛細血管、または細静脈等の、微小血管系を通る血液の動きを定義する。定量化された組織血液灌流は、組織体積を通る血流、即ち、血液体積／時間／組織体積（または組織質量）の血流で表され得る。灌流は、より大きな直径の非栄養血管ではなく、血液と組織の間の代謝物の交換に関連する血管を含む栄養血管（例えば、毛細血管として知られる微小血管）に関連する。いくつかの実施形態では、対象組織の定量化は、速度、サイズ、体積、時間、距離／時間、及び／または体積／時間、及び／または前述のパラメータまたは量のうちの任意の１以上に関連する変化量等の、対象組織に関連するパラメータまたは量を計算または決定することを含み得る。しかしながら、より太い直径の血管を通る血液の動きと比較して、個々の毛細血管を通る血液の動きは、主に血管運動に起因する非常に不規則なものであり、血管緊張の自発的振動は、赤血球の動きの脈動として現れる。いくつかの実施形態では、システム及び方法に関連して本明細書で説明された血流及び組織灌流撮像は、腫瘍組織を撮像し、そのような組織を他の組織から区別するために使用され得る。
【0221】
前述の開示は、説明の目的で、特定の実施形態を参照して開示された。しかしながら、上記の例示的な議論は、網羅的であることや、本発明を開示された正確な形態に限定することを意図するものではない。上記の教示に鑑みて、多くの修正及び変形が可能である。実施形態は、技術の原理とそれらの実用的な応用を最もよく説明するために選択され、開示されたものである。これにより、当業者であれば、考えられる特定の用途に適した様々な変更を加えて、本技術及び種々の実施形態を最良に利用することができる。
【0222】
本開示及び例示は、添付の図面を参照して十分に説明されたが、種々の変更及び修正が当業者には明らかになることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義される開示及び例示の範囲内に含まれるものとして理解されるべきである。最後に、本出願において参照された特許及び刊行物の開示全体は、参照により本明細書に組み込まれる。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】