知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024127780
(43)【公開日】2024-09-20
(54)【発明の名称】医用撮像のためのデバイスおよび方法
(51)【国際特許分類】
A61B 1/00 20060101AFI20240912BHJP
A61B 1/045 20060101ALI20240912BHJP
【ＦＩ】
A61B1/00 511
A61B1/045 622
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024020847
(22)【出願日】2024-02-15
(31)【優先権主張番号】23160518
(32)【優先日】2023-03-07
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】522411739
【氏名又は名称】エルベ ビジョン ゲーエムベーハー
【氏名又は名称原語表記】Ｅｒｂｅ Ｖｉｓｉｏｎ ＧｍｂＨ
【住所又は居所原語表記】Ｅｉｓｅｎｂａｈｎｓｔｒａｓｓｅ １０２， ７８５７３ Ｗｕｒｍｌｉｎｇｅｎ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】シリシュ・ジョシ
(72)【発明者】
【氏名】ファイサル・カリム
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA24
4C161CC06
4C161NN05
4C161QQ02
4C161QQ04
4C161WW17
(57)【要約】 （修正有）
【課題】蛍光特徴部の表示が向上した医用撮像のための改良されたデバイスおよび方法を提供すること。
【解決手段】観察対象エリアの蛍光画像およびライブ画像が撮像部によって取得され、画像が、静止している動き状態で取得されている場合、処理部が１以上の画像取込パラメータまたは画像処理パラメータを適合させる。これによって、蛍光画像の画像ノイズが低減され、処理部は、蛍光画像内で対象領域を検出することができる。処理部は、蛍光画像内で検出された対象領域をライブ画像にマッピングする。画像が、動いている動き状態で取得されている場合、対象領域は、ライブ画像内で処理部によって追跡され、蛍光画像に逆にマッピングされる。動いている状態では、処理部は、対象領域と残りの領域とを区別する空間選択的ノイズフィルタを適用し、蛍光画像のノイズフィルタリングにより詳細を消去することなく、蛍光画像の品質を向上させる。
【選択図】図１
【解決手段】観察対象エリアの蛍光画像およびライブ画像が撮像部によって取得され、画像が、静止している動き状態で取得されている場合、処理部が１以上の画像取込パラメータまたは画像処理パラメータを適合させる。これによって、蛍光画像の画像ノイズが低減され、処理部は、蛍光画像内で対象領域を検出することができる。処理部は、蛍光画像内で検出された対象領域をライブ画像にマッピングする。画像が、動いている動き状態で取得されている場合、対象領域は、ライブ画像内で処理部によって追跡され、蛍光画像に逆にマッピングされる。動いている状態では、処理部は、対象領域と残りの領域とを区別する空間選択的ノイズフィルタを適用し、蛍光画像のノイズフィルタリングにより詳細を消去することなく、蛍光画像の品質を向上させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
観察対象エリア（Ａ）の医用撮像、特に術中撮像のためのデバイス（１）であって、
前記観察対象エリア（Ａ）を照明光（ｗ）および／または励起光（ｅ）で照らすための少なくとも１つの光源（２）と、
照らされた前記エリア（Ａ）のライブ画像（７）および蛍光画像（８）を撮影する撮像部（３）と、
前記撮像部（３）に通信可能に接続された処理部（４）であって、
前記ライブ画像（７）および／または前記蛍光画像（８）が、静止している動き状態で撮影されているかどうかを判定し、
１以上の画像取込パラメータまたは１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像（８）に適合させ、
静止している動き状態で撮影されている前記蛍光画像（８）に基づいて対象領域（９）を検出し、前記蛍光画像（８）の前記対象領域（９）を対応する前記ライブ画像（７）にマッピングする処理部（４）と、
前記対象領域（９）がマッピングされている、前記ライブ画像（７）または前記ライブ画像（７）のコピーを表示する表示部（５）とを備える
デバイス（１）。
前記観察対象エリア（Ａ）を照明光（ｗ）および／または励起光（ｅ）で照らすための少なくとも１つの光源（２）と、
照らされた前記エリア（Ａ）のライブ画像（７）および蛍光画像（８）を撮影する撮像部（３）と、
前記撮像部（３）に通信可能に接続された処理部（４）であって、
前記ライブ画像（７）および／または前記蛍光画像（８）が、静止している動き状態で撮影されているかどうかを判定し、
１以上の画像取込パラメータまたは１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像（８）に適合させ、
静止している動き状態で撮影されている前記蛍光画像（８）に基づいて対象領域（９）を検出し、前記蛍光画像（８）の前記対象領域（９）を対応する前記ライブ画像（７）にマッピングする処理部（４）と、
前記対象領域（９）がマッピングされている、前記ライブ画像（７）または前記ライブ画像（７）のコピーを表示する表示部（５）とを備える
デバイス（１）。
【請求項2】
前記処理部（４）は、前記撮像部（３）が、動いている動き状態にある場合、先に検出された対象領域（９）を後続のライブ画像（７）内で追跡し、追跡された前記対象領域（９）を、後続の蛍光画像（８）に逆にマッピングする
請求項１に記載のデバイス（１）。
請求項１に記載のデバイス（１）。
【請求項3】
前記処理部（４）は、前記蛍光画像（８）を空間選択的ノイズフィルタリングし、前記対象領域（９）は、前記蛍光画像（８）の残りの領域（１０）とは異なるようにフィルタリングされる
請求項１に記載のデバイス（１）。
請求項１に記載のデバイス（１）。
【請求項4】
前記処理部（４）は、前記空間選択的ノイズフィルタリングにおいて、前記蛍光画像（８）の前記残りの領域（１０）に第１ノイズフィルタを適用し、前記蛍光画像（８）の前記対象領域（９）に別個の第２ノイズフィルタを適用する
請求項３に記載のデバイス（１）。
請求項３に記載のデバイス（１）。
【請求項5】
前記第１ノイズフィルタ（１１）は、前記蛍光画像（８）の１以上の先行のフレームにおける前記残りの領域（１０）のみが含まれる移動平均フィルタである
請求項４に記載のデバイス（１）。
請求項４に記載のデバイス（１）。
【請求項6】
前記第１ノイズフィルタ（１１）は、前記蛍光画像（８）の１以上の先行のフレームのメディアン平均フィルタおよび／または加重移動平均フィルタである
請求項４に記載のデバイス（１）。
請求項４に記載のデバイス（１）。
【請求項7】
前記処理部（４）は、後続のライブ画像（７）の飽和レベルを判定し、前記飽和レベルが所定の閾値を越える場合、
前記１以上の画像取込パラメータまたは前記１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像（８）に適合させるステップと、
静止している動き状態で撮影されている前記蛍光画像（８）に基づいて前記対象領域（９）を検出し、前記蛍光画像（８）の前記対象領域（９）を対応する前記ライブ画像（７）にマッピングするステップとを行う
請求項１～６のいずれか１項に記載のデバイス（１）。
前記１以上の画像取込パラメータまたは前記１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像（８）に適合させるステップと、
静止している動き状態で撮影されている前記蛍光画像（８）に基づいて前記対象領域（９）を検出し、前記蛍光画像（８）の前記対象領域（９）を対応する前記ライブ画像（７）にマッピングするステップとを行う
請求項１～６のいずれか１項に記載のデバイス（１）。
【請求項8】
前記処理部（４）は、前記撮像部（３）から受信した前記画像データを評価することによって、および／または、前記撮像部（３）に含まれる動きセンサ（２１）の動きデータを評価することによって、前記撮像部（３）が、静止している動き状態にあるかどうかを判定する
請求項１～６のいずれか１項に記載のデバイス（１）。
請求項１～６のいずれか１項に記載のデバイス（１）。
【請求項9】
前記第２ノイズフィルタは、現在の前記蛍光画像（８）からのデータのみを含む
請求項１～６のいずれか１項に記載のデバイス（１）。
請求項１～６のいずれか１項に記載のデバイス（１）。
【請求項10】
前記第２ノイズフィルタ（１１）は、前記蛍光画像（８）の前記残りの領域（１０）に適用される空間メディアンベースフィルタであり、かつ／または、前記第２ノイズフィルタ（１２）は、前記蛍光画像（８）の前記対象領域（９）に適用される空間ガウスベースフィルタである
請求項１～６のいずれか１項に記載のデバイス（１）。
請求項１～６のいずれか１項に記載のデバイス（１）。
【請求項11】
前記第１ノイズフィルタに含まれる先行のフレームの数は、前記第２ノイズフィルタに含まれる先行のフレームの数よりも大きい
請求項１～６のいずれか１項に記載のデバイス（１）。
請求項１～６のいずれか１項に記載のデバイス（１）。
【請求項12】
前記１以上の画像取込パラメータまたは前記１以上の画像処理パラメータは、前記撮像部（３）の蛍光カメラセンサのシャッタ速度、前記蛍光画像（８）の増幅率、および／または、フレーム平均化による前記蛍光画像（８）のノイズフィルタリングに用いられる先行のフレームの数を含む
請求項１～６のいずれか１項に記載のデバイス（１）。
請求項１～６のいずれか１項に記載のデバイス（１）。
【請求項13】
前記処理部（４）は、
前記撮像部（３）が、静止している動き状態にある場合、前記増幅率および／もしくは前記撮像部の前記シャッタ速度を下げ、かつ／または
前記撮像部（３）が、動いている動き状態にある場合、前記増幅率および／もしくは前記撮像部の前記シャッタ速度を上げることによって、
前記１以上の画像取込パラメータまたは前記１以上の画像処理パラメータ（１３）を１以上の蛍光画像（８）に適合させる
請求項１２に記載のデバイス（１）。
前記撮像部（３）が、静止している動き状態にある場合、前記増幅率および／もしくは前記撮像部の前記シャッタ速度を下げ、かつ／または
前記撮像部（３）が、動いている動き状態にある場合、前記増幅率および／もしくは前記撮像部の前記シャッタ速度を上げることによって、
前記１以上の画像取込パラメータまたは前記１以上の画像処理パラメータ（１３）を１以上の蛍光画像（８）に適合させる
請求項１２に記載のデバイス（１）。
【請求項14】
さらに、遠位端部（１３）と近位端部（１４）との間に長尺シャフト（１５）が延在する内視鏡（６）を備え、
前記内視鏡（６）の遠位端部（１３）には、慣性測定部（２１）が配置され、
前記光源（２）は、前記内視鏡（６）の遠位端部（１３）または近位端部（１４）に配置され、前記光源（２）が前記近位端部（１４）に配置されている場合、前記長尺シャフト（１５）は、少なくとも１つの光チャネル（１６）を含み、前記照明光（ｗ）および／または前記励起光（ｅ）は、前記光チャネル（１６）を通って前記近位端部（１４）の前記光源（２）から前記遠位端部（１３）まで導かれ、
前記撮像部（３）は、前記内視鏡（６）の遠位端部（１３）または近位端部（１４）に配置され、前記撮像部（３）が前記近位端部（１３）に配置されている場合、前記長尺シャフト（１５）は、少なくとも１つの光チャネル（１７）を含み、前記観察対象エリア（Ａ）から反射および／または出射された光は、前記光チャネル（１７）を通って前記遠位端部（１３）から前記近位端部（１４）まで導かれる
請求項１～６のいずれか１項に記載のデバイス（１）。
前記内視鏡（６）の遠位端部（１３）には、慣性測定部（２１）が配置され、
前記光源（２）は、前記内視鏡（６）の遠位端部（１３）または近位端部（１４）に配置され、前記光源（２）が前記近位端部（１４）に配置されている場合、前記長尺シャフト（１５）は、少なくとも１つの光チャネル（１６）を含み、前記照明光（ｗ）および／または前記励起光（ｅ）は、前記光チャネル（１６）を通って前記近位端部（１４）の前記光源（２）から前記遠位端部（１３）まで導かれ、
前記撮像部（３）は、前記内視鏡（６）の遠位端部（１３）または近位端部（１４）に配置され、前記撮像部（３）が前記近位端部（１３）に配置されている場合、前記長尺シャフト（１５）は、少なくとも１つの光チャネル（１７）を含み、前記観察対象エリア（Ａ）から反射および／または出射された光は、前記光チャネル（１７）を通って前記遠位端部（１３）から前記近位端部（１４）まで導かれる
請求項１～６のいずれか１項に記載のデバイス（１）。
【請求項15】
請求項１～６のいずれか１項に記載のデバイスを用いることが好ましい、観察対象エリアの医用撮像、特に術中撮像のための方法であって、
前記観察対象エリア（Ａ）を照明光（ｗ）および／または励起光（ｅ）で照らすステップ（Ｖ１）と、
照らされた前記エリア（Ａ）のライブ画像（７）および蛍光画像（８）を撮影するステップ（Ｖ２）と、
前記撮像部（３）が、静止している動き状態にあるかどうかを判定するステップ（Ｑ１）と、
１以上の画像取込パラメータまたは１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像（８）に適合させるステップ（Ｖ３）と、
静止している動き状態で撮影されている前記蛍光画像（８）に基づいて対象領域（９）を検出するステップ（Ｖ４）と、
前記蛍光画像（８）の前記対象領域（９）を対応する前記ライブ画像（７）にマッピングするステップ（Ｖ６）と、
前記対象領域（９）がマッピングされている前記ライブ画像（４）を表示するステップ（Ｖ７）とを含む
方法。
前記観察対象エリア（Ａ）を照明光（ｗ）および／または励起光（ｅ）で照らすステップ（Ｖ１）と、
照らされた前記エリア（Ａ）のライブ画像（７）および蛍光画像（８）を撮影するステップ（Ｖ２）と、
前記撮像部（３）が、静止している動き状態にあるかどうかを判定するステップ（Ｑ１）と、
１以上の画像取込パラメータまたは１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像（８）に適合させるステップ（Ｖ３）と、
静止している動き状態で撮影されている前記蛍光画像（８）に基づいて対象領域（９）を検出するステップ（Ｖ４）と、
前記蛍光画像（８）の前記対象領域（９）を対応する前記ライブ画像（７）にマッピングするステップ（Ｖ６）と、
前記対象領域（９）がマッピングされている前記ライブ画像（４）を表示するステップ（Ｖ７）とを含む
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、患者の体における観察対象エリアの医用撮像、特に術中撮像のための方法、デバイス、システム、および装置に関する。
【背景技術】
【0002】
内視鏡または腹腔鏡の撮像システムなどの術中医用撮像システムは、典型的には、医学的介入中または手術中にライブ画像を撮影するために患者の体の近くに、または患者の体内に配置されるように適合されたカメラシステムを備える。通常、ライブ画像は、４００ｎｍ～７８０ｎｍの範囲の波長を有するような可視光領域で撮影される。患者の体の組織内には、励起光で励起されると蛍光を出射する蛍光特徴部が存在し得る。蛍光特徴部が出射した蛍光は、ライブ画像に取り込まれ得るが、通常、ライブ画像では弱い。したがって、術中医用撮像システムは、典型的には、蛍光特徴部がよりはっきりと見えるように、蛍光特徴部が出射した光の少なくとも大部分が存在すると予想される波長領域で蛍光画像を撮影するための蛍光カメラセンサを備える。蛍光の波長は、少なくとも一部が可視領域に、また、少なくとも一部が７８０ｎｍ～１０００ｎｍの波長範囲などの赤外光領域にあり得る。
【0003】
特許文献１には、蛍光撮像およびカラー撮像のための単一のカラー画像センサを含むカメラを備え、蛍光画像およびカラー画像が同時に表示される内視鏡ビデオシステムが記載されている。検査中の組織は、蛍光励起光で連続的に照らされ、さらに、蛍光励起波長範囲外の可視光で周期的に照らされる。
【0004】
特許文献２には、蛍光薬剤を励起させるための励起光と、照明光とを出射する光源装置を含む内視鏡システムが記載されている。内視鏡システムは、さらに、励起光に応じて蛍光薬剤から出射される蛍光の画像と、照明光の照射に応じて出射される反射光の画像とを取得する画像センサを含む。反射光の第１画像と、蛍光の第２画像とを、相互に重複せずかつそれぞれ周期性を有する１組の画素配列で混合することによって、混合画像が生成される。
【0005】
特許文献３には、動きに対する赤外画像の信号対ノイズ比をとりわけ改善する面順次式撮像装置が記載されている。動き検出回路は、画像信号の動きを検出する。画像内で動きが検出されない場合、ノイズ低減動作が実行される。一方、動きが検出される場合、ノイズ低減動作が解除される。
【0006】
特許文献４には、複数の蛍光画像フレームのフレーム加算によって蛍光画像を高画質化するための方法が記載されている。結果として得られる蛍光画像を形成するために加算されるフレームの数は、検出された動きに依存する。
【0007】
さらに、特許文献５、特許文献６および特許文献７には、蛍光画像の品質向上やノイズ低減のためのさらなる方法が記載されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許第１０６９４１５２号明細書
【特許文献2】米国特許出願公開第２０１９／１６７０８３号明細書
【特許文献3】米国特許第５６６７４７４号明細書
【特許文献4】特開２０１２－０８５９１７号公報
【特許文献5】特開２００２－３３６１８７号公報
【特許文献6】特開平０７－２５０８０４号公報
【特許文献7】特開２０１２－０８５９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
依然として、術中ライブ画像内の蛍光信号は、通常、可視光信号よりも弱い。したがって、蛍光画像と、可視光画像とを、１つのオーバーレイ画像で視覚化する場合、蛍光信号の比較的高い増幅が必要となる。しかしながら、蛍光信号の比較的高い増幅は、蛍光信号に含まれるノイズの増幅ももたらす。
【0010】
したがって、本発明の目的は、蛍光特徴部の表示が向上した医用撮像のための改良されたデバイスおよび方法を提供することである。
【課題を解決するための手段】
【0011】
その目的は、請求項１に記載の医用撮像のためのデバイスと、請求項１５に記載の医用撮像のための方法とによって達成される。
【0012】
患者の体における観察対象エリアの医用撮像、特に術中撮像のための本発明のデバイスは、観察対象エリアを照らすための少なくとも１つの照明源と、照らされたエリアのライブ画像および蛍光画像を撮影する撮像部と、撮像部および表示部に通信可能に接続された処理部とを備える。少なくとも１つの照明源は、照明光および／または励起光で観察対象エリアを照らす。
【0013】
照明光は、光の可視領域にあってもよく、一方、励起光は、可視光の領域、または、紫外光もしくは赤外光などの不可視光の領域にあってもよい。励起光は、例えば、５００ナノメートルよりも大きく、または６００ナノメートルよりも大きい、例えば６００ナノメートル～８００ナノメートル、６００ナノメートル～９００ナノメートル、または６５０ナノメートル～１３５０ナノメートルの範囲（近蛍光領域を意味する）の波長を有してもよい。励起光は、さらに、例えば、少なくとも１４００ナノメートル、少なくとも３０００ナノメートル、少なくとも８０００ナノメートル、または少なくとも１５０００ナノメートルの波長を有してもよい。
【0014】
撮像部は、特に全可視光領域のライブ画像を撮影する可視光画像センサと、照らされたエリアにおける特に特定光領域の蛍光画像を撮影する蛍光画像センサとを有してもよい。撮像部は、例えば、撮像部に入射する光を、可視光画像センサによって撮影される可視光画像と、蛍光画像センサによって撮影される蛍光画像とに分割するダイクロイックプリズムを含んでもよい。
【0015】
処理部は、ライブ画像および／または蛍光画像が、静止している動き状態にあるかどうかを判定する。処理部は、ライブ画像および／または蛍光画像の動き状態を判定する動き状態モジュールを含んでもよい。動き状態を判定するために、処理部は、例えば、オプティカルフローを適用および評価するか、またはフレーム間で特に重要な画像特徴部を比較することによって、撮像部の画像データの変化を評価してもよい。さらに、または代替として、処理部は、カメラヘッドに配置し得る慣性測定部（ＩＭＵ）からの動きデータを受信および評価してもよい。処理部は、さらに、１以上の画像取込パラメータまたは１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像に適合させる。例えば、処理部は、１以上の画像取込パラメータまたは１以上の画像処理パラメータを１以上の蛍光画像に適合させるためのパラメータ適合モジュールを含んでもよい。
【0016】
ライブ画像および／または蛍光画像の動きは、組織に対する撮像部の動き、撮像部に対する組織の動き、または、それら両方の組合せにより生じ得る。静止している動き状態は、撮像部から受信した画像データおよび／またはＩＭＵから受信した動きデータの評価において演算可能な動きの絶対値で定義することができる。動きの絶対値が少なくとも１つの所定の閾値未満である場合、処理部は、撮像部の動き状態は静止していると判定し得る。動きの絶対値が所定の閾値よりも大きい場合、処理部は、撮像部は動いている動き状態にあると判定し得る。画像取込パラメータは、例えば、画像センサのシャッタ速度、画像センサの増幅率、および／または画像センサの露光時間である。画像処理パラメータは、例えば、画像ノイズを低減するために先行のフレームを平均化するのに用いられるフレームの数である。処理部は、静止している動き状態で撮影されている蛍光画像内で対象領域を検出し、その対象領域を対応するライブ画像にマッピングする。対象領域がマッピングされている、ライブ画像またはライブ画像のコピーは、表示部によって表示される。
【0017】
本発明の態様は、画像ノイズを低減できるように、ライブ画像、またはライブ画像および蛍光画像が、静止している動き状態にある場合、処理部は、１以上の画像取込パラメータまたは１以上の画像処理パラメータを一時的に適合させることができるという考えに基づく。例えば、処理部は、露光時間が長く、ノイズが少なく、信号対ノイズ比が大きい蛍光画像を取得できるように、シャッタ速度および／または増幅率を下げることができる。この状況では、撮像部が、静止している動き状態を保つことが重要であり、そうでなければ、蛍光画像はぼやける。それぞれノイズが少なく、信号対ノイズ比が大きいこれらの画像では、画像ノイズが大幅に低減され、蛍光画像内の重要な特徴部のぼやけが著しく少なくなるため、処理部は、蛍光画像内で対象領域を検出することができる。蛍光画像と、対応するライブ画像とは、同じ景色を示し、その結果、対象領域は、対応するライブ画像に比較的簡単にマッピングされる。照明光および／または励起光で観察対象エリアを照らした後に蛍光を出射する、観察対象エリアにおける患者の体の蛍光特徴部は、生体組織の他の層の後ろに隠れていても、または血液もしくは他の体液によってよく見えなくても、蛍光画像内にはっきり見ることができる。
【0018】
蛍光画像は、所定の、好ましくは狭帯域波長範囲の光のみを集める画像にすることができる。蛍光画像内に集められた波長は、可視光領域および／または不可視光領域にあってもよい。蛍光画像が可視光領域にある場合、それらは、例えば、５００ｎｍよりも大きい波長を有し得る。蛍光画像が赤外光領域にある場合、それらは、例えば、６００ｎｍよりも大きい、例えば６００ｎｍ～８００ｎｍ、６００ｎｍ～９００ｎｍ、または６５０ｎｍ～１３５０ｎｍの範囲（すなわち近赤外（ＮＩＲ）領域）の波長を有し得る。赤外光は、例えば、少なくとも１４００ｎｍ、少なくとも３０００ｎｍ、少なくとも８０００ｎｍ、または少なくとも１５０００ｎｍの波長をさらに有し得る。
【0019】
処理部は、例えば特徴部検出によって、蛍光画像内で対象領域を検出する検出モジュールを含んでもよい。検出モジュールは、例えば、特定の強度値、形状などを見つけることによって蛍光画像内で蛍光性物体を検出し、その蛍光性物体を対象領域として定義してもよい。対象領域は、例えば、蛍光画像内の検出された物体の周りにぴったり嵌まる境界ボックスとして表すことができる。
【0020】
さらに、処理部は、撮像部が、動いている動き状態にある場合、先に検出された対象領域と、後続のライブ画像とを追跡することができる。処理部は、さらに、追跡された対象領域を、後続の蛍光画像に逆にマッピングする。例えば、処理部は、ライブ画像内で対象領域を追跡する追跡モジュールを含むことができる。撮像部が、動いている動き状態にある場合、処理部は、それに応じて、蛍光画像の１以上の画像取込パラメータまたは１以上の画像処理パラメータを適合させる。例えば、シャッタ速度または増幅率をそれぞれ上げることができる。これにより、蛍光画像内のノイズが増加する。したがって、ノイズ低減アルゴリズムを蛍光画像に適用する必要がある。追跡された対象領域を、後続の蛍光画像に再マッピングすることにより、ノイズ低減アルゴリズムのノイズ低減能力が高まる。
【0021】
特に、処理部は、蛍光画像を空間選択的ノイズフィルタリングし、対象領域は、蛍光画像の残りの領域とは異なるようにフィルタリングされる。これにより、ノイズ低減結果がより良好になり得る。
【0022】
例えば、処理部は、空間選択的ノイズフィルタリングにおいて、蛍光画像の残りの領域に第１ノイズフィルタを適用し、蛍光画像の対象領域に別個の第２ノイズフィルタを適用する。例えば、第１ノイズフィルタは、蛍光画像の１以上の先行のフレームにおける残りの領域のみが含まれる移動平均フィルタである。これにより、いくつかの先行のフレームを平均化するときに、検出された対象領域がぼやけるのを避けることができる。例えば、残りの領域に第１ノイズフィルタを適用する際、対象領域をマスクすることができる。
【0023】
さらに、第１ノイズフィルタは、蛍光画像の１以上の先行のフレームのメディアン平均フィルタおよび／または加重移動平均フィルタにすることができる。検出または追跡された対象領域を蛍光画像のノイズフィルタリングに用いることは、ノイズフィルタリング中に蛍光画像内の重要な詳細が失われることを避ける助けとなる。
【0024】
処理部は、特にライブ画像および／またはＩＭＵからの動きデータを評価することによって、動き状態を連続的に判定し得ることが好ましい。静止している動き状態が検出される場合、処理部は、これらの蛍光画像のノイズを有効に低減することができるように、例えば、シャッタ時間、蛍光画像の増幅、および／またはノイズ低減のために追加された蛍光画像のフレームの数を増加させることによって、１以上の画像取込パラメータまたは１以上の画像処理パラメータを１以上の蛍光画像に適合させてもよい。対象領域は、これらの蛍光画像内において再検出され、再検出されると、対象領域は、対応するライブ画像または対応するライブ画像のコピーに逆にマッピングされ、後続のライブ画像および／または蛍光画像内で追跡される。
【0025】
さらに、処理部は、後続のライブ画像の飽和レベルを判定することができる。飽和レベルが所定の閾値を越える場合、処理部は、１以上の画像取込パラメータまたは１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像に適合させるステップと、静止している動き状態で撮影されている蛍光画像に基づいて対象領域を検出し、蛍光画像の対象領域を対応するライブ画像にマッピングするステップとを行うことができる。これにより、処理部は、ノイズの少ない高品質の蛍光画像を取得できる状態、および、対象領域を再度検出して、対応するライブ画像にマッピングできる状態に戻ることができる。
【0026】
特に、処理部は、撮像部から受信した画像データを評価することによって、および／または、撮像部に含まれる動きセンサの動きデータを評価することによって、撮像部が、静止している動き状態にあるかどうかを判定する。
【0027】
一実施形態において、第２ノイズフィルタは、現在の蛍光画像からのデータのみを含む。これは、第２ノイズフィルタは、対象領域のトレイリング効果が生じないように先行の蛍光画像のいずれの履歴データも含まないことを意味する。例えば、第１ノイズフィルタは、蛍光画像の残りの領域に適用される空間メディアンフィルタであり、かつ／または、第２ノイズフィルタは、蛍光画像の対象領域に適用される空間ガウスフィルタである。空間ノイズフィルタリングでは、ノイズフィルタが適用される画像領域上を、所定のサイズのウィンドウがスライドする。第１ノイズフィルタおよび第２ノイズフィルタは、共にガウスフィルタおよびメディアンフィルタであってもよく、第１ノイズフィルタおよび第２ノイズフィルタのウィンドウの所定のサイズは、互いに異なる。例えば、第１ノイズフィルタのウィンドウサイズは、第２ノイズフィルタのウィンドウサイズよりも大きくてもよい。
【0028】
あるいは、第１ノイズフィルタおよび第２ノイズフィルタが平均化のために先行のフレームを含む場合、第１ノイズフィルタに含まれる先行のフレームの数は、第２ノイズフィルタに含まれる先行のフレームの数よりも大きい。これにより、第２ノイズフィルタに考慮される先行のフレームが少ないため、対象領域の周りのトレイリング効果が低下する。
【0029】
さらに、１以上の画像取込パラメータまたは１以上の画像処理パラメータは、撮像部の蛍光カメラセンサのシャッタ速度、蛍光画像の増幅率、および／または、フレーム平均化による蛍光画像のノイズフィルタリングに用いられる先行のフレームの数を含む。
【0030】
さらに、処理部は、撮像部が、静止している動き状態にある場合、増幅率および／もしくは撮像部のシャッタ速度を下げ、かつ／または撮像部が、動いている動き状態にある場合、増幅率および／もしくは撮像部のシャッタ速度を上げることによって、１以上の画像取込パラメータまたは１以上の画像処理パラメータを１以上の蛍光画像に適合させることができる。これにより、画像取込パラメータまたは画像処理パラメータを、撮像部の動き状態に応じて適合するように変更することができる。
【0031】
好ましい実施形態において、本発明のデバイスは、さらに、遠位端部と近位端部との間に長尺シャフトが延在する内視鏡または腹腔鏡を備える。内視鏡または腹腔鏡の遠位端部には、慣性測定部が配置されてもよい。内視鏡または腹腔鏡において、照明源は、内視鏡の遠位端部または近位端部に配置することができ、光源が近位端部に配置されている場合、長尺シャフトは、少なくとも１つの光チャネルを含み、照明光および／または励起光は、その光チャネルを通って近位端部の光源から遠位端部まで導かれる。さらに、撮像部は、内視鏡の遠位端部または近位端部に配置することができ、撮像部が近位端部に配置されている場合、長尺シャフトは、少なくとも１つの光チャネルを含み、観察対象エリアから反射および／または出射された光は、その光チャネルを通って遠位端部から近位端部まで導かれる。
【0032】
観察対象エリアの医用撮像、特に術中撮像のための本発明の方法は、観察対象エリアを照明光および／または励起光で照らすステップと、照らされたエリアのライブ画像および蛍光画像を撮影するステップと、撮像部が、静止している動き状態にあるかどうかを判定するステップと、１以上の画像取込パラメータまたは１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像に適合させるステップと、静止している動き状態で撮影されている蛍光画像に基づいて対象領域を検出するステップと、蛍光画像の対象領域を対応するライブ画像にマッピングするステップと、対象領域がマッピングされている、ライブ画像またはライブ画像のコピーを表示するステップとを含む。表示されたライブ画像は、元のライブ画像の修正されたコピー、例えば、ライブ画像またはライブ画像のコピーに混合された処理済み蛍光画像にすることができる。
【0033】
本発明のデバイスに関して説明する特徴および利点はすべて、本発明の方法に等しく適用可能である。
【0034】
さらなる詳細および利点は、図面、それぞれの説明、および特許請求の範囲から得ることができる。本発明の実施の形態を図面に示す。
【図面の簡単な説明】
【0035】
【発明を実施するための形態】
【0036】
図１は、医用撮像のための、特に術中撮像のためのデバイス１の例を示す。デバイス１は、照明源２と、撮像部３と、処理部４と、表示部５とを備える。
【0037】
この例は、さらに、患者の体の内部の画像を撮影することを可能にするための内視鏡６を備える。内視鏡６の代わりに腹腔鏡を備えた例も可能である。
【0038】
図１は、また、患者の体、すなわち生体組織の観察対象エリアＡを示す。観察対象エリアＡは、白色光ｗおよび／または励起光ｅが照射されると蛍光を出射する領域１１を含む。内視鏡６は、遠位端部１３および近位端部１４を含み、それらの間に長尺シャフト１５が延在する。
【0039】
撮像部３は、図１において内視鏡６の近位端部１４に配置されている。照明源２もまた、内視鏡６の近位端部１４に配置されている。照明源２は、白色光ｗおよび／または励起光ｅを出射する。内視鏡６の近位端部１４に配置された照明源２として、内視鏡６は、白色光ｗおよび／または励起光ｅを内視鏡６の近位端部１４から遠位端部１３に導く光チャネル１６を提供する。白色光ｗおよび／または励起光ｅは、遠位端部１３から観察対象エリアＡに向かって出射され、その結果、エリアＡは、可視光およびさらに蛍光１２を反射する。蛍光は、蛍光の範囲の波長を有することが好ましい。可視光および蛍光１２は、共に内視鏡６の遠位端部１３の対物レンズ１７によって撮影され、内視鏡６の近位端部１４に配置されている撮像部３に導かれる。
【0040】
撮像部３において、反射された可視光および蛍光１２は、ダイクロイックプリズム１８によって可視光部分と蛍光部分とに分割される。ダイクロイックプリズム１８には、可視光部分のライブ画像７を撮影するためのカメラセンサ１９と、蛍光画像８を撮影するための蛍光カメラセンサ２０とがダイクロイックプリズムに配置されている。カメラセンサ１９とダイクロイックプリズム１８と蛍光カメラセンサ２０との間には、各カメラセンサ１９、２０が撮影するべきではない光の部分を除去するためにフィルタを配置してもよい。
【0041】
処理部４は、ライブ画像７および蛍光画像８が撮像部３から処理部４に送信されるように、撮像部３に通信可能に結合されている。さらに、処理部４から撮像部３に画像取込パラメータを送信することができる。例えば、処理部４は、シャッタ速度、増幅率および／または露光時間などの画像取込パラメータを適合させることができる。処理部４は、また、ライブ画像７および／または蛍光画像８を操作者に表示する表示部５に接続されている。
【0042】
さらに、内視鏡６の近位端部１４に慣性測定部（ＩＭＵ）２１を配置することができる。慣性測定部２１は、慣性測定部２１の加速度値と向きの変化とを測定することができる。
【0043】
処理部４は、ライブ画像７および／または蛍光画像８が、静止している動き状態で撮影されているかどうかを判定する。ライブ画像および／または蛍光画像が撮影される動き状態を判定するために、処理部４は、撮像部３から処理部４に送信された画像データ、または慣性測定部２１の測定データを用いてもよい。
【0044】
処理部４は、さらに、１以上の画像取込パラメータまたは１以上の画像処理パラメータを、静止している動き状態で撮影されている１以上の蛍光画像に適合させる。処理部４は、また、静止している動き状態で撮影されている蛍光画像８に基づいて対象領域９を検出し、蛍光画像の対象領域９を対応するライブ画像７にマッピングする。
【0045】
図２は、医用撮像のためのデバイス１の別の例を示す。図２に示す例は、照明源２および撮像部３が共に内視鏡６の遠位端部１３に配置されている点で図１に示す例と異なる。図２に示す例については、参照符号に基づいて図１に関して説明したのと同じことが当てはまる。
【0046】
【0047】
図３ａは、撮像部３から収集されたライブ画像７の時間Ｔにおけるフレーム２２を示す。フレーム２２では、蛍光を出射する領域１１のみ信号強度が弱く、その結果、蛍光を出射する領域１１は、フレーム２２内でかろうじて観察できるか、または観察できない。したがって、デバイス１を操作する人は、ライブ画像７内に蛍光領域１１を見ることができない。この状況において、処理部４は、ライブ画像７および／または蛍光画像８が、静止している動き状態で撮影されているかどうかを判定する。動き状態を判定するために、処理部は、オプティカルフロー法、ブロックマッチング法、または慣性測定部２１などからのデータを用いてもよい。
【0048】
処理部４が、ライブ画像７および／または蛍光画像８が、静止している動き状態で撮影されていると判定した場合、処理部４は、１以上の画像取込パラメータまたは１以上の画像処理パラメータを１以上の蛍光画像８に適合させる。
【0049】
この例において、処理部４は、蛍光カメラのシャッタ速度を下げ、かつ、図３ｂに示す蛍光カメラセンサ２０の複数のフレーム２５を平均化する。あるいは、処理部４は、蛍光カメラのシャッタ速度を下げ、または、蛍光カメラセンサ２０の複数のフレーム２５を平均化してもよい。処理部４が蛍光カメラのシャッタ速度を下げ、かつ／または、蛍光カメラセンサ２０の複数のフレーム２５を平均化するかどうかにかかわらず、これにより、得られた蛍光画像２３の品質は向上し、その結果、蛍光を出射する領域１１が、得られた蛍光画像２３内に明確に示される。したがって、処理部４は、得られた蛍光画像２３内で対象領域９を検出することができる。処理部４は、例えば、対象領域９を検出するための特徴部検出アルゴリズムを用いてもよい。対象領域９を検出した後、処理部４は、対象領域９を対応するライブ画像７にマッピングする。
【0050】
図３ｃは、対象領域９がマッピングされているライブ画像７の対応するフレーム２４を示す。表示部５は、蛍光画像８から収集された対象領域９がマッピングされているライブ画像７を少なくとも表示する。
【0051】
図４ａ～図４ｃは、ライブ画像７が、動いている動き状態にある場合の、ライブ画像７の時間Ｔ＋ｍにおける後続のフレーム２６と、蛍光画像８の対応するフレーム２７と、蛍光画像８の対応するフレーム２７の空間選択的ノイズフィルタ適用後のフレーム２８とを示す。
【0052】
図４ａのライブ画像７の後続のフレーム２６では、処理部４は、例えば対象領域９の先行の位置２９に近い領域内で対象領域９を追跡する。対象領域９を追跡した後、処理部４は、その対象領域９を、図４ｂに示す蛍光画像８の対応する現在のフレーム２７に逆にマッピングする。
【0053】
続いて、処理部４は、蛍光画像８に空間選択的ノイズフィルタを適用する。空間選択的ノイズフィルタリングでは、対象領域９は、蛍光画像８の残りの領域１０とは異なるようにフィルタリングされる。
【0054】
図４ｂにおいて、所定のウィンドウサイズのフィルタウィンドウ３０を有する第１ノイズフィルタが、蛍光画像８の残りの領域１０上をスライドし、一方、第１ノイズフィルタのウィンドウサイズよりも小さい所定のウィンドウサイズの第２ウィンドウ３１を有する第２ノイズフィルタが、対象領域９上のみをスライドする。
【0055】
さらに、または代替として、第１ノイズフィルタは、蛍光画像８の複数の先行のフレーム２５における残りの領域１０を含むフレーム平均化フィルタである。
【0056】
図４ｃには、空間選択的ノイズフィルタを適用した後の蛍光画像７の得られたフレーム２８を示す。
【0057】
【0058】
図５ａでは、ライブ画像７の現在のフレーム３２の飽和レベルが特定の閾値を越えているため、ライブ画像７の現在のフレーム内で処理部４によって対象領域９を追跡することはできない。
【0059】
したがって、処理部４は、今すぐ撮像部３を静止している動き状態にすべきであることを操作者に指示してもよい。処理部４は、例えば、表示部５の画面にサインまたはメッセージを示すことによって、撮像部３を静止状態に保つよう操作者に伝えてもよい。処理部４は、蛍光画像またはライブ画像が、静止している動き状態で撮影されているかどうかを判定する。静止している動き状態で撮影されている場合、処理部４は、蛍光カメラセンサ２０のシャッタ速度を再度下げ、その結果、蛍光画像８の品質が向上し、蛍光画像８の複数のフレーム３４を平均化することによって生成されたフレーム３３内で対象領域９を検出することができる。蛍光画像８内で対象領域９を検出した後、処理部４は、対象領域をライブ画像７の対応するフレーム３２にマッピングし、図５ｃに示す、蛍光性物体に関する追加情報を有するフレーム３５を生成する。
【0060】
図６は、医用撮像のための、特に術中撮像のための方法のフロー図を示す。
【0061】
本方法は、観察対象エリアＡが照明光ｗおよび／または励起光ｅで照らされる方法ステップＶ１で始まる。その後、方法ステップＶ２にて、照らされたエリアＡのライブ画像７および蛍光画像８が撮影される。
【0062】
その後、ステップＱ１において、ライブ画像７および／または蛍光画像８が、静止している動き状態で撮影されているかどうかが判定される。静止している動き状態で撮影されている場合、方法ステップＶ３において、１以上の画像取込パラメータまたは１以上の画像処理パラメータが１以上の蛍光画像８に適合される。画像取込パラメータまたは画像処理パラメータを適合させた後、方法ステップＶ４において、静止している動き状態で撮影されている蛍光画像８内で対象領域９が検出され、その検出された対象領域９は、対応するライブ画像７にマッピングされる。方法ステップＶ５では、対象領域９がマッピングされているライブ画像７が操作者に表示される。
【0063】
ステップＱ１で蛍光画像８またはライブ画像７が、静止している動き状態で撮影されていないと判定された場合、ステップＱ２にて、対象領域９が先行のフレーム内で検出されたかどうかが判定される。先行のフレーム内で検出されなかった場合、アルゴリズムは方法ステップＶ１を続ける。対象領域９が先行のフレーム内で検出された場合、方法ステップＶ６において、アルゴリズムは、ライブ画像の現在のフレーム内で対象領域９を追跡し、蛍光画像にマッピングする。また、方法ステップＶ７において、アルゴリズムは、蛍光画像８に空間選択的ノイズフィルタを適用する。その後、アルゴリズムは続いて、方法ステップＶ５にて、対象領域がマッピングまたは追跡されているライブ画像８を少なくとも表示する。
【0064】
本発明は、患者の体における観察対象エリアの医用撮像、特に術中撮像のための方法およびデバイスに関する。本発明において、観察対象エリアの蛍光画像およびライブ画像が撮像部によって取得される。画像が、静止している動き状態で取得されている場合、処理部が１以上の画像取込パラメータまたは１以上の画像処理パラメータを適合させる。これによって、蛍光画像の画像ノイズが低減され、その結果、処理部は、蛍光画像内で対象領域を検出することができる。蛍光画像と、対応するライブ画像とは、同じ景色を示す。処理部は、蛍光画像内で検出された対象領域をライブ画像にマッピングする。画像が、動いている動き状態で取得されている場合、対象領域は、ライブ画像内で処理部によって追跡され、蛍光画像に逆にマッピングされ得る。動いている状態では、処理部は、対象領域と、残りの領域とを区別する空間選択的ノイズフィルタを適用し、蛍光画像のノイズフィルタリングにより詳細を消去することなく、蛍光画像の品質を向上させる。
【符号の説明】
【0065】
１ デバイス
２ 光源
３ 撮像部
４ 処理部
５ 表示部
６ 内視鏡
７ ライブ画像
８ 蛍光画像
９ 対象領域（ＲＯＩ）
１０ 残りの領域
１１ 蛍光を出射する領域
１２ 蛍光
１３ 内視鏡の遠位端部
１４ 内視鏡の近位端部
１５ 長尺シャフト
１６ 光チャネル
１７ 光チャネル（対物レンズ）
１８ ダイクロイックプリズム
１９ カメラセンサ
２０ 蛍光カメラセンサ
２１ 慣性測定部（ＩＭＵ）
２２ ライブ画像の時間Ｔにおけるフレーム
２３ 得られた蛍光画像
２４ ＲＯＩがマッピングされているライブ画像のフレーム
２５ 蛍光画像の先行のフレーム
２６ ライブ画像の後続のフレーム
２７ 蛍光画像の対応する現在のフレーム
２８ 空間選択的ノイズフィルタリング後の得られたフレーム
２９ ＲＯＩの先行の位置
３０ 第１ノイズフィルタのフィルタウィンドウ
３１ 第２ノイズフィルタのフィルタウィンドウ
３２ ライブ画像のフレーム
３３ 蛍光画像の複数のフレームを平均化することによって生成されたフレーム
３４ 蛍光画像の複数のフレーム
３５ 追加情報を有する生成されたフレーム
Ａ 観察対象エリア
ｅ 励起光
Ｎ いいえ
Ｑ１ ライブ画像が、静止している動き状態にあるかどうかをリクエストする
Ｑ２ ＲＯＩが先行のフレーム内で検出されたかどうかをリクエストする
Ｖ１ 観察対象エリアを照らす
Ｖ２ ライブ画像およびと蛍光画像を撮影する
Ｖ３ 画像取込パラメータまたは画像処理パラメータを適合させる
Ｖ４ ＲＯＩを検出し、ライブ画像にマッピングする
Ｖ５ ＲＯＩがマッピングされているライブ画像を表示する
Ｖ６ ＲＯＩを追跡し、蛍光画像にマッピングする
Ｖ７ 空間選択的ノイズフィルタリングする
ｗ 照明光
Ｙ はい
２ 光源
３ 撮像部
４ 処理部
５ 表示部
６ 内視鏡
７ ライブ画像
８ 蛍光画像
９ 対象領域（ＲＯＩ）
１０ 残りの領域
１１ 蛍光を出射する領域
１２ 蛍光
１３ 内視鏡の遠位端部
１４ 内視鏡の近位端部
１５ 長尺シャフト
１６ 光チャネル
１７ 光チャネル（対物レンズ）
１８ ダイクロイックプリズム
１９ カメラセンサ
２０ 蛍光カメラセンサ
２１ 慣性測定部（ＩＭＵ）
２２ ライブ画像の時間Ｔにおけるフレーム
２３ 得られた蛍光画像
２４ ＲＯＩがマッピングされているライブ画像のフレーム
２５ 蛍光画像の先行のフレーム
２６ ライブ画像の後続のフレーム
２７ 蛍光画像の対応する現在のフレーム
２８ 空間選択的ノイズフィルタリング後の得られたフレーム
２９ ＲＯＩの先行の位置
３０ 第１ノイズフィルタのフィルタウィンドウ
３１ 第２ノイズフィルタのフィルタウィンドウ
３２ ライブ画像のフレーム
３３ 蛍光画像の複数のフレームを平均化することによって生成されたフレーム
３４ 蛍光画像の複数のフレーム
３５ 追加情報を有する生成されたフレーム
Ａ 観察対象エリア
ｅ 励起光
Ｎ いいえ
Ｑ１ ライブ画像が、静止している動き状態にあるかどうかをリクエストする
Ｑ２ ＲＯＩが先行のフレーム内で検出されたかどうかをリクエストする
Ｖ１ 観察対象エリアを照らす
Ｖ２ ライブ画像およびと蛍光画像を撮影する
Ｖ３ 画像取込パラメータまたは画像処理パラメータを適合させる
Ｖ４ ＲＯＩを検出し、ライブ画像にマッピングする
Ｖ５ ＲＯＩがマッピングされているライブ画像を表示する
Ｖ６ ＲＯＩを追跡し、蛍光画像にマッピングする
Ｖ７ 空間選択的ノイズフィルタリングする
ｗ 照明光
Ｙ はい
【図1】
【図2】
【図3a】
【図3b】
【図3c】
【図4a】
【図4b】
【図4c】
【図5a】
【図5b】
【図5c】
【図6】
【外国語明細書】
