IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エルベ ビジョン ゲーエムベーハーの特許一覧

特開2024-127780医用撮像のためのデバイスおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024127780
(43)【公開日】2024-09-20
(54)【発明の名称】医用撮像のためのデバイスおよび方法
(51)【国際特許分類】
   A61B 1/00 20060101AFI20240912BHJP
   A61B 1/045 20060101ALI20240912BHJP
【FI】
A61B1/00 511
A61B1/045 622
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024020847
(22)【出願日】2024-02-15
(31)【優先権主張番号】23160518
(32)【優先日】2023-03-07
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】522411739
【氏名又は名称】エルベ ビジョン ゲーエムベーハー
【氏名又は名称原語表記】Erbe Vision GmbH
【住所又は居所原語表記】Eisenbahnstrasse 102, 78573 Wurmlingen, Germany
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】シリシュ・ジョシ
(72)【発明者】
【氏名】ファイサル・カリム
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161AA24
4C161CC06
4C161NN05
4C161QQ02
4C161QQ04
4C161WW17
(57)【要約】      (修正有)
【課題】蛍光特徴部の表示が向上した医用撮像のための改良されたデバイスおよび方法を提供すること。
【解決手段】観察対象エリアの蛍光画像およびライブ画像が撮像部によって取得され、画像が、静止している動き状態で取得されている場合、処理部が1以上の画像取込パラメータまたは画像処理パラメータを適合させる。これによって、蛍光画像の画像ノイズが低減され、処理部は、蛍光画像内で対象領域を検出することができる。処理部は、蛍光画像内で検出された対象領域をライブ画像にマッピングする。画像が、動いている動き状態で取得されている場合、対象領域は、ライブ画像内で処理部によって追跡され、蛍光画像に逆にマッピングされる。動いている状態では、処理部は、対象領域と残りの領域とを区別する空間選択的ノイズフィルタを適用し、蛍光画像のノイズフィルタリングにより詳細を消去することなく、蛍光画像の品質を向上させる。
【選択図】図1
【特許請求の範囲】
【請求項1】
観察対象エリア(A)の医用撮像、特に術中撮像のためのデバイス(1)であって、
前記観察対象エリア(A)を照明光(w)および/または励起光(e)で照らすための少なくとも1つの光源(2)と、
照らされた前記エリア(A)のライブ画像(7)および蛍光画像(8)を撮影する撮像部(3)と、
前記撮像部(3)に通信可能に接続された処理部(4)であって、
前記ライブ画像(7)および/または前記蛍光画像(8)が、静止している動き状態で撮影されているかどうかを判定し、
1以上の画像取込パラメータまたは1以上の画像処理パラメータを、静止している動き状態で撮影されている1以上の蛍光画像(8)に適合させ、
静止している動き状態で撮影されている前記蛍光画像(8)に基づいて対象領域(9)を検出し、前記蛍光画像(8)の前記対象領域(9)を対応する前記ライブ画像(7)にマッピングする処理部(4)と、
前記対象領域(9)がマッピングされている、前記ライブ画像(7)または前記ライブ画像(7)のコピーを表示する表示部(5)とを備える
デバイス(1)。
【請求項2】
前記処理部(4)は、前記撮像部(3)が、動いている動き状態にある場合、先に検出された対象領域(9)を後続のライブ画像(7)内で追跡し、追跡された前記対象領域(9)を、後続の蛍光画像(8)に逆にマッピングする
請求項1に記載のデバイス(1)。
【請求項3】
前記処理部(4)は、前記蛍光画像(8)を空間選択的ノイズフィルタリングし、前記対象領域(9)は、前記蛍光画像(8)の残りの領域(10)とは異なるようにフィルタリングされる
請求項1に記載のデバイス(1)。
【請求項4】
前記処理部(4)は、前記空間選択的ノイズフィルタリングにおいて、前記蛍光画像(8)の前記残りの領域(10)に第1ノイズフィルタを適用し、前記蛍光画像(8)の前記対象領域(9)に別個の第2ノイズフィルタを適用する
請求項3に記載のデバイス(1)。
【請求項5】
前記第1ノイズフィルタ(11)は、前記蛍光画像(8)の1以上の先行のフレームにおける前記残りの領域(10)のみが含まれる移動平均フィルタである
請求項4に記載のデバイス(1)。
【請求項6】
前記第1ノイズフィルタ(11)は、前記蛍光画像(8)の1以上の先行のフレームのメディアン平均フィルタおよび/または加重移動平均フィルタである
請求項4に記載のデバイス(1)。
【請求項7】
前記処理部(4)は、後続のライブ画像(7)の飽和レベルを判定し、前記飽和レベルが所定の閾値を越える場合、
前記1以上の画像取込パラメータまたは前記1以上の画像処理パラメータを、静止している動き状態で撮影されている1以上の蛍光画像(8)に適合させるステップと、
静止している動き状態で撮影されている前記蛍光画像(8)に基づいて前記対象領域(9)を検出し、前記蛍光画像(8)の前記対象領域(9)を対応する前記ライブ画像(7)にマッピングするステップとを行う
請求項1~6のいずれか1項に記載のデバイス(1)。
【請求項8】
前記処理部(4)は、前記撮像部(3)から受信した前記画像データを評価することによって、および/または、前記撮像部(3)に含まれる動きセンサ(21)の動きデータを評価することによって、前記撮像部(3)が、静止している動き状態にあるかどうかを判定する
請求項1~6のいずれか1項に記載のデバイス(1)。
【請求項9】
前記第2ノイズフィルタは、現在の前記蛍光画像(8)からのデータのみを含む
請求項1~6のいずれか1項に記載のデバイス(1)。
【請求項10】
前記第2ノイズフィルタ(11)は、前記蛍光画像(8)の前記残りの領域(10)に適用される空間メディアンベースフィルタであり、かつ/または、前記第2ノイズフィルタ(12)は、前記蛍光画像(8)の前記対象領域(9)に適用される空間ガウスベースフィルタである
請求項1~6のいずれか1項に記載のデバイス(1)。
【請求項11】
前記第1ノイズフィルタに含まれる先行のフレームの数は、前記第2ノイズフィルタに含まれる先行のフレームの数よりも大きい
請求項1~6のいずれか1項に記載のデバイス(1)。
【請求項12】
前記1以上の画像取込パラメータまたは前記1以上の画像処理パラメータは、前記撮像部(3)の蛍光カメラセンサのシャッタ速度、前記蛍光画像(8)の増幅率、および/または、フレーム平均化による前記蛍光画像(8)のノイズフィルタリングに用いられる先行のフレームの数を含む
請求項1~6のいずれか1項に記載のデバイス(1)。
【請求項13】
前記処理部(4)は、
前記撮像部(3)が、静止している動き状態にある場合、前記増幅率および/もしくは前記撮像部の前記シャッタ速度を下げ、かつ/または
前記撮像部(3)が、動いている動き状態にある場合、前記増幅率および/もしくは前記撮像部の前記シャッタ速度を上げることによって、
前記1以上の画像取込パラメータまたは前記1以上の画像処理パラメータ(13)を1以上の蛍光画像(8)に適合させる
請求項12に記載のデバイス(1)。
【請求項14】
さらに、遠位端部(13)と近位端部(14)との間に長尺シャフト(15)が延在する内視鏡(6)を備え、
前記内視鏡(6)の遠位端部(13)には、慣性測定部(21)が配置され、
前記光源(2)は、前記内視鏡(6)の遠位端部(13)または近位端部(14)に配置され、前記光源(2)が前記近位端部(14)に配置されている場合、前記長尺シャフト(15)は、少なくとも1つの光チャネル(16)を含み、前記照明光(w)および/または前記励起光(e)は、前記光チャネル(16)を通って前記近位端部(14)の前記光源(2)から前記遠位端部(13)まで導かれ、
前記撮像部(3)は、前記内視鏡(6)の遠位端部(13)または近位端部(14)に配置され、前記撮像部(3)が前記近位端部(13)に配置されている場合、前記長尺シャフト(15)は、少なくとも1つの光チャネル(17)を含み、前記観察対象エリア(A)から反射および/または出射された光は、前記光チャネル(17)を通って前記遠位端部(13)から前記近位端部(14)まで導かれる
請求項1~6のいずれか1項に記載のデバイス(1)。
【請求項15】
請求項1~6のいずれか1項に記載のデバイスを用いることが好ましい、観察対象エリアの医用撮像、特に術中撮像のための方法であって、
前記観察対象エリア(A)を照明光(w)および/または励起光(e)で照らすステップ(V1)と、
照らされた前記エリア(A)のライブ画像(7)および蛍光画像(8)を撮影するステップ(V2)と、
前記撮像部(3)が、静止している動き状態にあるかどうかを判定するステップ(Q1)と、
1以上の画像取込パラメータまたは1以上の画像処理パラメータを、静止している動き状態で撮影されている1以上の蛍光画像(8)に適合させるステップ(V3)と、
静止している動き状態で撮影されている前記蛍光画像(8)に基づいて対象領域(9)を検出するステップ(V4)と、
前記蛍光画像(8)の前記対象領域(9)を対応する前記ライブ画像(7)にマッピングするステップ(V6)と、
前記対象領域(9)がマッピングされている前記ライブ画像(4)を表示するステップ(V7)とを含む
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、患者の体における観察対象エリアの医用撮像、特に術中撮像のための方法、デバイス、システム、および装置に関する。
【背景技術】
【0002】
内視鏡または腹腔鏡の撮像システムなどの術中医用撮像システムは、典型的には、医学的介入中または手術中にライブ画像を撮影するために患者の体の近くに、または患者の体内に配置されるように適合されたカメラシステムを備える。通常、ライブ画像は、400nm~780nmの範囲の波長を有するような可視光領域で撮影される。患者の体の組織内には、励起光で励起されると蛍光を出射する蛍光特徴部が存在し得る。蛍光特徴部が出射した蛍光は、ライブ画像に取り込まれ得るが、通常、ライブ画像では弱い。したがって、術中医用撮像システムは、典型的には、蛍光特徴部がよりはっきりと見えるように、蛍光特徴部が出射した光の少なくとも大部分が存在すると予想される波長領域で蛍光画像を撮影するための蛍光カメラセンサを備える。蛍光の波長は、少なくとも一部が可視領域に、また、少なくとも一部が780nm~1000nmの波長範囲などの赤外光領域にあり得る。
【0003】
特許文献1には、蛍光撮像およびカラー撮像のための単一のカラー画像センサを含むカメラを備え、蛍光画像およびカラー画像が同時に表示される内視鏡ビデオシステムが記載されている。検査中の組織は、蛍光励起光で連続的に照らされ、さらに、蛍光励起波長範囲外の可視光で周期的に照らされる。
【0004】
特許文献2には、蛍光薬剤を励起させるための励起光と、照明光とを出射する光源装置を含む内視鏡システムが記載されている。内視鏡システムは、さらに、励起光に応じて蛍光薬剤から出射される蛍光の画像と、照明光の照射に応じて出射される反射光の画像とを取得する画像センサを含む。反射光の第1画像と、蛍光の第2画像とを、相互に重複せずかつそれぞれ周期性を有する1組の画素配列で混合することによって、混合画像が生成される。
【0005】
特許文献3には、動きに対する赤外画像の信号対ノイズ比をとりわけ改善する面順次式撮像装置が記載されている。動き検出回路は、画像信号の動きを検出する。画像内で動きが検出されない場合、ノイズ低減動作が実行される。一方、動きが検出される場合、ノイズ低減動作が解除される。
【0006】
特許文献4には、複数の蛍光画像フレームのフレーム加算によって蛍光画像を高画質化するための方法が記載されている。結果として得られる蛍光画像を形成するために加算されるフレームの数は、検出された動きに依存する。
【0007】
さらに、特許文献5、特許文献6および特許文献7には、蛍光画像の品質向上やノイズ低減のためのさらなる方法が記載されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許第10694152号明細書
【特許文献2】米国特許出願公開第2019/167083号明細書
【特許文献3】米国特許第5667474号明細書
【特許文献4】特開2012-085917号公報
【特許文献5】特開2002-336187号公報
【特許文献6】特開平07-250804号公報
【特許文献7】特開2012-085916号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
依然として、術中ライブ画像内の蛍光信号は、通常、可視光信号よりも弱い。したがって、蛍光画像と、可視光画像とを、1つのオーバーレイ画像で視覚化する場合、蛍光信号の比較的高い増幅が必要となる。しかしながら、蛍光信号の比較的高い増幅は、蛍光信号に含まれるノイズの増幅ももたらす。
【0010】
したがって、本発明の目的は、蛍光特徴部の表示が向上した医用撮像のための改良されたデバイスおよび方法を提供することである。
【課題を解決するための手段】
【0011】
その目的は、請求項1に記載の医用撮像のためのデバイスと、請求項15に記載の医用撮像のための方法とによって達成される。
【0012】
患者の体における観察対象エリアの医用撮像、特に術中撮像のための本発明のデバイスは、観察対象エリアを照らすための少なくとも1つの照明源と、照らされたエリアのライブ画像および蛍光画像を撮影する撮像部と、撮像部および表示部に通信可能に接続された処理部とを備える。少なくとも1つの照明源は、照明光および/または励起光で観察対象エリアを照らす。
【0013】
照明光は、光の可視領域にあってもよく、一方、励起光は、可視光の領域、または、紫外光もしくは赤外光などの不可視光の領域にあってもよい。励起光は、例えば、500ナノメートルよりも大きく、または600ナノメートルよりも大きい、例えば600ナノメートル~800ナノメートル、600ナノメートル~900ナノメートル、または650ナノメートル~1350ナノメートルの範囲(近蛍光領域を意味する)の波長を有してもよい。励起光は、さらに、例えば、少なくとも1400ナノメートル、少なくとも3000ナノメートル、少なくとも8000ナノメートル、または少なくとも15000ナノメートルの波長を有してもよい。
【0014】
撮像部は、特に全可視光領域のライブ画像を撮影する可視光画像センサと、照らされたエリアにおける特に特定光領域の蛍光画像を撮影する蛍光画像センサとを有してもよい。撮像部は、例えば、撮像部に入射する光を、可視光画像センサによって撮影される可視光画像と、蛍光画像センサによって撮影される蛍光画像とに分割するダイクロイックプリズムを含んでもよい。
【0015】
処理部は、ライブ画像および/または蛍光画像が、静止している動き状態にあるかどうかを判定する。処理部は、ライブ画像および/または蛍光画像の動き状態を判定する動き状態モジュールを含んでもよい。動き状態を判定するために、処理部は、例えば、オプティカルフローを適用および評価するか、またはフレーム間で特に重要な画像特徴部を比較することによって、撮像部の画像データの変化を評価してもよい。さらに、または代替として、処理部は、カメラヘッドに配置し得る慣性測定部(IMU)からの動きデータを受信および評価してもよい。処理部は、さらに、1以上の画像取込パラメータまたは1以上の画像処理パラメータを、静止している動き状態で撮影されている1以上の蛍光画像に適合させる。例えば、処理部は、1以上の画像取込パラメータまたは1以上の画像処理パラメータを1以上の蛍光画像に適合させるためのパラメータ適合モジュールを含んでもよい。
【0016】
ライブ画像および/または蛍光画像の動きは、組織に対する撮像部の動き、撮像部に対する組織の動き、または、それら両方の組合せにより生じ得る。静止している動き状態は、撮像部から受信した画像データおよび/またはIMUから受信した動きデータの評価において演算可能な動きの絶対値で定義することができる。動きの絶対値が少なくとも1つの所定の閾値未満である場合、処理部は、撮像部の動き状態は静止していると判定し得る。動きの絶対値が所定の閾値よりも大きい場合、処理部は、撮像部は動いている動き状態にあると判定し得る。画像取込パラメータは、例えば、画像センサのシャッタ速度、画像センサの増幅率、および/または画像センサの露光時間である。画像処理パラメータは、例えば、画像ノイズを低減するために先行のフレームを平均化するのに用いられるフレームの数である。処理部は、静止している動き状態で撮影されている蛍光画像内で対象領域を検出し、その対象領域を対応するライブ画像にマッピングする。対象領域がマッピングされている、ライブ画像またはライブ画像のコピーは、表示部によって表示される。
【0017】
本発明の態様は、画像ノイズを低減できるように、ライブ画像、またはライブ画像および蛍光画像が、静止している動き状態にある場合、処理部は、1以上の画像取込パラメータまたは1以上の画像処理パラメータを一時的に適合させることができるという考えに基づく。例えば、処理部は、露光時間が長く、ノイズが少なく、信号対ノイズ比が大きい蛍光画像を取得できるように、シャッタ速度および/または増幅率を下げることができる。この状況では、撮像部が、静止している動き状態を保つことが重要であり、そうでなければ、蛍光画像はぼやける。それぞれノイズが少なく、信号対ノイズ比が大きいこれらの画像では、画像ノイズが大幅に低減され、蛍光画像内の重要な特徴部のぼやけが著しく少なくなるため、処理部は、蛍光画像内で対象領域を検出することができる。蛍光画像と、対応するライブ画像とは、同じ景色を示し、その結果、対象領域は、対応するライブ画像に比較的簡単にマッピングされる。照明光および/または励起光で観察対象エリアを照らした後に蛍光を出射する、観察対象エリアにおける患者の体の蛍光特徴部は、生体組織の他の層の後ろに隠れていても、または血液もしくは他の体液によってよく見えなくても、蛍光画像内にはっきり見ることができる。
【0018】
蛍光画像は、所定の、好ましくは狭帯域波長範囲の光のみを集める画像にすることができる。蛍光画像内に集められた波長は、可視光領域および/または不可視光領域にあってもよい。蛍光画像が可視光領域にある場合、それらは、例えば、500nmよりも大きい波長を有し得る。蛍光画像が赤外光領域にある場合、それらは、例えば、600nmよりも大きい、例えば600nm~800nm、600nm~900nm、または650nm~1350nmの範囲(すなわち近赤外(NIR)領域)の波長を有し得る。赤外光は、例えば、少なくとも1400nm、少なくとも3000nm、少なくとも8000nm、または少なくとも15000nmの波長をさらに有し得る。
【0019】
処理部は、例えば特徴部検出によって、蛍光画像内で対象領域を検出する検出モジュールを含んでもよい。検出モジュールは、例えば、特定の強度値、形状などを見つけることによって蛍光画像内で蛍光性物体を検出し、その蛍光性物体を対象領域として定義してもよい。対象領域は、例えば、蛍光画像内の検出された物体の周りにぴったり嵌まる境界ボックスとして表すことができる。
【0020】
さらに、処理部は、撮像部が、動いている動き状態にある場合、先に検出された対象領域と、後続のライブ画像とを追跡することができる。処理部は、さらに、追跡された対象領域を、後続の蛍光画像に逆にマッピングする。例えば、処理部は、ライブ画像内で対象領域を追跡する追跡モジュールを含むことができる。撮像部が、動いている動き状態にある場合、処理部は、それに応じて、蛍光画像の1以上の画像取込パラメータまたは1以上の画像処理パラメータを適合させる。例えば、シャッタ速度または増幅率をそれぞれ上げることができる。これにより、蛍光画像内のノイズが増加する。したがって、ノイズ低減アルゴリズムを蛍光画像に適用する必要がある。追跡された対象領域を、後続の蛍光画像に再マッピングすることにより、ノイズ低減アルゴリズムのノイズ低減能力が高まる。
【0021】
特に、処理部は、蛍光画像を空間選択的ノイズフィルタリングし、対象領域は、蛍光画像の残りの領域とは異なるようにフィルタリングされる。これにより、ノイズ低減結果がより良好になり得る。
【0022】
例えば、処理部は、空間選択的ノイズフィルタリングにおいて、蛍光画像の残りの領域に第1ノイズフィルタを適用し、蛍光画像の対象領域に別個の第2ノイズフィルタを適用する。例えば、第1ノイズフィルタは、蛍光画像の1以上の先行のフレームにおける残りの領域のみが含まれる移動平均フィルタである。これにより、いくつかの先行のフレームを平均化するときに、検出された対象領域がぼやけるのを避けることができる。例えば、残りの領域に第1ノイズフィルタを適用する際、対象領域をマスクすることができる。
【0023】
さらに、第1ノイズフィルタは、蛍光画像の1以上の先行のフレームのメディアン平均フィルタおよび/または加重移動平均フィルタにすることができる。検出または追跡された対象領域を蛍光画像のノイズフィルタリングに用いることは、ノイズフィルタリング中に蛍光画像内の重要な詳細が失われることを避ける助けとなる。
【0024】
処理部は、特にライブ画像および/またはIMUからの動きデータを評価することによって、動き状態を連続的に判定し得ることが好ましい。静止している動き状態が検出される場合、処理部は、これらの蛍光画像のノイズを有効に低減することができるように、例えば、シャッタ時間、蛍光画像の増幅、および/またはノイズ低減のために追加された蛍光画像のフレームの数を増加させることによって、1以上の画像取込パラメータまたは1以上の画像処理パラメータを1以上の蛍光画像に適合させてもよい。対象領域は、これらの蛍光画像内において再検出され、再検出されると、対象領域は、対応するライブ画像または対応するライブ画像のコピーに逆にマッピングされ、後続のライブ画像および/または蛍光画像内で追跡される。
【0025】
さらに、処理部は、後続のライブ画像の飽和レベルを判定することができる。飽和レベルが所定の閾値を越える場合、処理部は、1以上の画像取込パラメータまたは1以上の画像処理パラメータを、静止している動き状態で撮影されている1以上の蛍光画像に適合させるステップと、静止している動き状態で撮影されている蛍光画像に基づいて対象領域を検出し、蛍光画像の対象領域を対応するライブ画像にマッピングするステップとを行うことができる。これにより、処理部は、ノイズの少ない高品質の蛍光画像を取得できる状態、および、対象領域を再度検出して、対応するライブ画像にマッピングできる状態に戻ることができる。
【0026】
特に、処理部は、撮像部から受信した画像データを評価することによって、および/または、撮像部に含まれる動きセンサの動きデータを評価することによって、撮像部が、静止している動き状態にあるかどうかを判定する。
【0027】
一実施形態において、第2ノイズフィルタは、現在の蛍光画像からのデータのみを含む。これは、第2ノイズフィルタは、対象領域のトレイリング効果が生じないように先行の蛍光画像のいずれの履歴データも含まないことを意味する。例えば、第1ノイズフィルタは、蛍光画像の残りの領域に適用される空間メディアンフィルタであり、かつ/または、第2ノイズフィルタは、蛍光画像の対象領域に適用される空間ガウスフィルタである。空間ノイズフィルタリングでは、ノイズフィルタが適用される画像領域上を、所定のサイズのウィンドウがスライドする。第1ノイズフィルタおよび第2ノイズフィルタは、共にガウスフィルタおよびメディアンフィルタであってもよく、第1ノイズフィルタおよび第2ノイズフィルタのウィンドウの所定のサイズは、互いに異なる。例えば、第1ノイズフィルタのウィンドウサイズは、第2ノイズフィルタのウィンドウサイズよりも大きくてもよい。
【0028】
あるいは、第1ノイズフィルタおよび第2ノイズフィルタが平均化のために先行のフレームを含む場合、第1ノイズフィルタに含まれる先行のフレームの数は、第2ノイズフィルタに含まれる先行のフレームの数よりも大きい。これにより、第2ノイズフィルタに考慮される先行のフレームが少ないため、対象領域の周りのトレイリング効果が低下する。
【0029】
さらに、1以上の画像取込パラメータまたは1以上の画像処理パラメータは、撮像部の蛍光カメラセンサのシャッタ速度、蛍光画像の増幅率、および/または、フレーム平均化による蛍光画像のノイズフィルタリングに用いられる先行のフレームの数を含む。
【0030】
さらに、処理部は、撮像部が、静止している動き状態にある場合、増幅率および/もしくは撮像部のシャッタ速度を下げ、かつ/または撮像部が、動いている動き状態にある場合、増幅率および/もしくは撮像部のシャッタ速度を上げることによって、1以上の画像取込パラメータまたは1以上の画像処理パラメータを1以上の蛍光画像に適合させることができる。これにより、画像取込パラメータまたは画像処理パラメータを、撮像部の動き状態に応じて適合するように変更することができる。
【0031】
好ましい実施形態において、本発明のデバイスは、さらに、遠位端部と近位端部との間に長尺シャフトが延在する内視鏡または腹腔鏡を備える。内視鏡または腹腔鏡の遠位端部には、慣性測定部が配置されてもよい。内視鏡または腹腔鏡において、照明源は、内視鏡の遠位端部または近位端部に配置することができ、光源が近位端部に配置されている場合、長尺シャフトは、少なくとも1つの光チャネルを含み、照明光および/または励起光は、その光チャネルを通って近位端部の光源から遠位端部まで導かれる。さらに、撮像部は、内視鏡の遠位端部または近位端部に配置することができ、撮像部が近位端部に配置されている場合、長尺シャフトは、少なくとも1つの光チャネルを含み、観察対象エリアから反射および/または出射された光は、その光チャネルを通って遠位端部から近位端部まで導かれる。
【0032】
観察対象エリアの医用撮像、特に術中撮像のための本発明の方法は、観察対象エリアを照明光および/または励起光で照らすステップと、照らされたエリアのライブ画像および蛍光画像を撮影するステップと、撮像部が、静止している動き状態にあるかどうかを判定するステップと、1以上の画像取込パラメータまたは1以上の画像処理パラメータを、静止している動き状態で撮影されている1以上の蛍光画像に適合させるステップと、静止している動き状態で撮影されている蛍光画像に基づいて対象領域を検出するステップと、蛍光画像の対象領域を対応するライブ画像にマッピングするステップと、対象領域がマッピングされている、ライブ画像またはライブ画像のコピーを表示するステップとを含む。表示されたライブ画像は、元のライブ画像の修正されたコピー、例えば、ライブ画像またはライブ画像のコピーに混合された処理済み蛍光画像にすることができる。
【0033】
本発明のデバイスに関して説明する特徴および利点はすべて、本発明の方法に等しく適用可能である。
【0034】
さらなる詳細および利点は、図面、それぞれの説明、および特許請求の範囲から得ることができる。本発明の実施の形態を図面に示す。
【図面の簡単な説明】
【0035】
図1図1は、医用撮像のためのデバイスの第1例と、観察対象エリアとを示す図である。
図2図2は、医用撮像のためのデバイスの別の例と、観察対象エリアとを示す図である。
図3a図3aは、撮像部によって取得されたライブ画像の例を示す図である。
図3b図3bは、撮像部によって取得された蛍光画像の例を示す図である。
図3c図3cは、処理部によって処理された処理済みライブ画像の例を示す図である。
図4a図4aは、撮像部によって取得されたライブ画像の例を示す図である。
図4b図4bは、撮像部によって取得された蛍光画像の例を示す図である。
図4c図4cは、処理部によって処理された処理済みライブ画像の例を示す図である。
図5a図5aは、撮像部によって取得されたライブ画像の例を示す図である。
図5b図5bは、撮像部によって取得された蛍光画像の例を示す図である。
図5c図5cは、処理部によって処理された処理済みライブ画像の例を示す図である。
図6図6は、医用撮像のための方法のフロー図である。
【発明を実施するための形態】
【0036】
図1は、医用撮像のための、特に術中撮像のためのデバイス1の例を示す。デバイス1は、照明源2と、撮像部3と、処理部4と、表示部5とを備える。
【0037】
この例は、さらに、患者の体の内部の画像を撮影することを可能にするための内視鏡6を備える。内視鏡6の代わりに腹腔鏡を備えた例も可能である。
【0038】
図1は、また、患者の体、すなわち生体組織の観察対象エリアAを示す。観察対象エリアAは、白色光wおよび/または励起光eが照射されると蛍光を出射する領域11を含む。内視鏡6は、遠位端部13および近位端部14を含み、それらの間に長尺シャフト15が延在する。
【0039】
撮像部3は、図1において内視鏡6の近位端部14に配置されている。照明源2もまた、内視鏡6の近位端部14に配置されている。照明源2は、白色光wおよび/または励起光eを出射する。内視鏡6の近位端部14に配置された照明源2として、内視鏡6は、白色光wおよび/または励起光eを内視鏡6の近位端部14から遠位端部13に導く光チャネル16を提供する。白色光wおよび/または励起光eは、遠位端部13から観察対象エリアAに向かって出射され、その結果、エリアAは、可視光およびさらに蛍光12を反射する。蛍光は、蛍光の範囲の波長を有することが好ましい。可視光および蛍光12は、共に内視鏡6の遠位端部13の対物レンズ17によって撮影され、内視鏡6の近位端部14に配置されている撮像部3に導かれる。
【0040】
撮像部3において、反射された可視光および蛍光12は、ダイクロイックプリズム18によって可視光部分と蛍光部分とに分割される。ダイクロイックプリズム18には、可視光部分のライブ画像7を撮影するためのカメラセンサ19と、蛍光画像8を撮影するための蛍光カメラセンサ20とがダイクロイックプリズムに配置されている。カメラセンサ19とダイクロイックプリズム18と蛍光カメラセンサ20との間には、各カメラセンサ19、20が撮影するべきではない光の部分を除去するためにフィルタを配置してもよい。
【0041】
処理部4は、ライブ画像7および蛍光画像8が撮像部3から処理部4に送信されるように、撮像部3に通信可能に結合されている。さらに、処理部4から撮像部3に画像取込パラメータを送信することができる。例えば、処理部4は、シャッタ速度、増幅率および/または露光時間などの画像取込パラメータを適合させることができる。処理部4は、また、ライブ画像7および/または蛍光画像8を操作者に表示する表示部5に接続されている。
【0042】
さらに、内視鏡6の近位端部14に慣性測定部(IMU)21を配置することができる。慣性測定部21は、慣性測定部21の加速度値と向きの変化とを測定することができる。
【0043】
処理部4は、ライブ画像7および/または蛍光画像8が、静止している動き状態で撮影されているかどうかを判定する。ライブ画像および/または蛍光画像が撮影される動き状態を判定するために、処理部4は、撮像部3から処理部4に送信された画像データ、または慣性測定部21の測定データを用いてもよい。
【0044】
処理部4は、さらに、1以上の画像取込パラメータまたは1以上の画像処理パラメータを、静止している動き状態で撮影されている1以上の蛍光画像に適合させる。処理部4は、また、静止している動き状態で撮影されている蛍光画像8に基づいて対象領域9を検出し、蛍光画像の対象領域9を対応するライブ画像7にマッピングする。
【0045】
図2は、医用撮像のためのデバイス1の別の例を示す。図2に示す例は、照明源2および撮像部3が共に内視鏡6の遠位端部13に配置されている点で図1に示す例と異なる。図2に示す例については、参照符号に基づいて図1に関して説明したのと同じことが当てはまる。
【0046】
図3a~図3cは、ライブ画像7の時間Tにおけるフレーム22と、複数の蛍光画像25のフレーム23と、対象領域9がマッピングされている、ライブ画像7の得られたフレーム24とを示す。
【0047】
図3aは、撮像部3から収集されたライブ画像7の時間Tにおけるフレーム22を示す。フレーム22では、蛍光を出射する領域11のみ信号強度が弱く、その結果、蛍光を出射する領域11は、フレーム22内でかろうじて観察できるか、または観察できない。したがって、デバイス1を操作する人は、ライブ画像7内に蛍光領域11を見ることができない。この状況において、処理部4は、ライブ画像7および/または蛍光画像8が、静止している動き状態で撮影されているかどうかを判定する。動き状態を判定するために、処理部は、オプティカルフロー法、ブロックマッチング法、または慣性測定部21などからのデータを用いてもよい。
【0048】
処理部4が、ライブ画像7および/または蛍光画像8が、静止している動き状態で撮影されていると判定した場合、処理部4は、1以上の画像取込パラメータまたは1以上の画像処理パラメータを1以上の蛍光画像8に適合させる。
【0049】
この例において、処理部4は、蛍光カメラのシャッタ速度を下げ、かつ、図3bに示す蛍光カメラセンサ20の複数のフレーム25を平均化する。あるいは、処理部4は、蛍光カメラのシャッタ速度を下げ、または、蛍光カメラセンサ20の複数のフレーム25を平均化してもよい。処理部4が蛍光カメラのシャッタ速度を下げ、かつ/または、蛍光カメラセンサ20の複数のフレーム25を平均化するかどうかにかかわらず、これにより、得られた蛍光画像23の品質は向上し、その結果、蛍光を出射する領域11が、得られた蛍光画像23内に明確に示される。したがって、処理部4は、得られた蛍光画像23内で対象領域9を検出することができる。処理部4は、例えば、対象領域9を検出するための特徴部検出アルゴリズムを用いてもよい。対象領域9を検出した後、処理部4は、対象領域9を対応するライブ画像7にマッピングする。
【0050】
図3cは、対象領域9がマッピングされているライブ画像7の対応するフレーム24を示す。表示部5は、蛍光画像8から収集された対象領域9がマッピングされているライブ画像7を少なくとも表示する。
【0051】
図4a~図4cは、ライブ画像7が、動いている動き状態にある場合の、ライブ画像7の時間T+mにおける後続のフレーム26と、蛍光画像8の対応するフレーム27と、蛍光画像8の対応するフレーム27の空間選択的ノイズフィルタ適用後のフレーム28とを示す。
【0052】
図4aのライブ画像7の後続のフレーム26では、処理部4は、例えば対象領域9の先行の位置29に近い領域内で対象領域9を追跡する。対象領域9を追跡した後、処理部4は、その対象領域9を、図4bに示す蛍光画像8の対応する現在のフレーム27に逆にマッピングする。
【0053】
続いて、処理部4は、蛍光画像8に空間選択的ノイズフィルタを適用する。空間選択的ノイズフィルタリングでは、対象領域9は、蛍光画像8の残りの領域10とは異なるようにフィルタリングされる。
【0054】
図4bにおいて、所定のウィンドウサイズのフィルタウィンドウ30を有する第1ノイズフィルタが、蛍光画像8の残りの領域10上をスライドし、一方、第1ノイズフィルタのウィンドウサイズよりも小さい所定のウィンドウサイズの第2ウィンドウ31を有する第2ノイズフィルタが、対象領域9上のみをスライドする。
【0055】
さらに、または代替として、第1ノイズフィルタは、蛍光画像8の複数の先行のフレーム25における残りの領域10を含むフレーム平均化フィルタである。
【0056】
図4cには、空間選択的ノイズフィルタを適用した後の蛍光画像7の得られたフレーム28を示す。
【0057】
図5a~図5cは、ライブ画像7の時間T+nにおけるさらに後続のフレーム32と、蛍光画像8の複数のフレーム34の平均化によって生成されたフレーム33とを示し、nは、mよりも大きい。
【0058】
図5aでは、ライブ画像7の現在のフレーム32の飽和レベルが特定の閾値を越えているため、ライブ画像7の現在のフレーム内で処理部4によって対象領域9を追跡することはできない。
【0059】
したがって、処理部4は、今すぐ撮像部3を静止している動き状態にすべきであることを操作者に指示してもよい。処理部4は、例えば、表示部5の画面にサインまたはメッセージを示すことによって、撮像部3を静止状態に保つよう操作者に伝えてもよい。処理部4は、蛍光画像またはライブ画像が、静止している動き状態で撮影されているかどうかを判定する。静止している動き状態で撮影されている場合、処理部4は、蛍光カメラセンサ20のシャッタ速度を再度下げ、その結果、蛍光画像8の品質が向上し、蛍光画像8の複数のフレーム34を平均化することによって生成されたフレーム33内で対象領域9を検出することができる。蛍光画像8内で対象領域9を検出した後、処理部4は、対象領域をライブ画像7の対応するフレーム32にマッピングし、図5cに示す、蛍光性物体に関する追加情報を有するフレーム35を生成する。
【0060】
図6は、医用撮像のための、特に術中撮像のための方法のフロー図を示す。
【0061】
本方法は、観察対象エリアAが照明光wおよび/または励起光eで照らされる方法ステップV1で始まる。その後、方法ステップV2にて、照らされたエリアAのライブ画像7および蛍光画像8が撮影される。
【0062】
その後、ステップQ1において、ライブ画像7および/または蛍光画像8が、静止している動き状態で撮影されているかどうかが判定される。静止している動き状態で撮影されている場合、方法ステップV3において、1以上の画像取込パラメータまたは1以上の画像処理パラメータが1以上の蛍光画像8に適合される。画像取込パラメータまたは画像処理パラメータを適合させた後、方法ステップV4において、静止している動き状態で撮影されている蛍光画像8内で対象領域9が検出され、その検出された対象領域9は、対応するライブ画像7にマッピングされる。方法ステップV5では、対象領域9がマッピングされているライブ画像7が操作者に表示される。
【0063】
ステップQ1で蛍光画像8またはライブ画像7が、静止している動き状態で撮影されていないと判定された場合、ステップQ2にて、対象領域9が先行のフレーム内で検出されたかどうかが判定される。先行のフレーム内で検出されなかった場合、アルゴリズムは方法ステップV1を続ける。対象領域9が先行のフレーム内で検出された場合、方法ステップV6において、アルゴリズムは、ライブ画像の現在のフレーム内で対象領域9を追跡し、蛍光画像にマッピングする。また、方法ステップV7において、アルゴリズムは、蛍光画像8に空間選択的ノイズフィルタを適用する。その後、アルゴリズムは続いて、方法ステップV5にて、対象領域がマッピングまたは追跡されているライブ画像8を少なくとも表示する。
【0064】
本発明は、患者の体における観察対象エリアの医用撮像、特に術中撮像のための方法およびデバイスに関する。本発明において、観察対象エリアの蛍光画像およびライブ画像が撮像部によって取得される。画像が、静止している動き状態で取得されている場合、処理部が1以上の画像取込パラメータまたは1以上の画像処理パラメータを適合させる。これによって、蛍光画像の画像ノイズが低減され、その結果、処理部は、蛍光画像内で対象領域を検出することができる。蛍光画像と、対応するライブ画像とは、同じ景色を示す。処理部は、蛍光画像内で検出された対象領域をライブ画像にマッピングする。画像が、動いている動き状態で取得されている場合、対象領域は、ライブ画像内で処理部によって追跡され、蛍光画像に逆にマッピングされ得る。動いている状態では、処理部は、対象領域と、残りの領域とを区別する空間選択的ノイズフィルタを適用し、蛍光画像のノイズフィルタリングにより詳細を消去することなく、蛍光画像の品質を向上させる。
【符号の説明】
【0065】
1 デバイス
2 光源
3 撮像部
4 処理部
5 表示部
6 内視鏡
7 ライブ画像
8 蛍光画像
9 対象領域(ROI)
10 残りの領域
11 蛍光を出射する領域
12 蛍光
13 内視鏡の遠位端部
14 内視鏡の近位端部
15 長尺シャフト
16 光チャネル
17 光チャネル(対物レンズ)
18 ダイクロイックプリズム
19 カメラセンサ
20 蛍光カメラセンサ
21 慣性測定部(IMU)
22 ライブ画像の時間Tにおけるフレーム
23 得られた蛍光画像
24 ROIがマッピングされているライブ画像のフレーム
25 蛍光画像の先行のフレーム
26 ライブ画像の後続のフレーム
27 蛍光画像の対応する現在のフレーム
28 空間選択的ノイズフィルタリング後の得られたフレーム
29 ROIの先行の位置
30 第1ノイズフィルタのフィルタウィンドウ
31 第2ノイズフィルタのフィルタウィンドウ
32 ライブ画像のフレーム
33 蛍光画像の複数のフレームを平均化することによって生成されたフレーム
34 蛍光画像の複数のフレーム
35 追加情報を有する生成されたフレーム
A 観察対象エリア
e 励起光
N いいえ
Q1 ライブ画像が、静止している動き状態にあるかどうかをリクエストする
Q2 ROIが先行のフレーム内で検出されたかどうかをリクエストする
V1 観察対象エリアを照らす
V2 ライブ画像およびと蛍光画像を撮影する
V3 画像取込パラメータまたは画像処理パラメータを適合させる
V4 ROIを検出し、ライブ画像にマッピングする
V5 ROIがマッピングされているライブ画像を表示する
V6 ROIを追跡し、蛍光画像にマッピングする
V7 空間選択的ノイズフィルタリングする
w 照明光
Y はい
図1
図2
図3a
図3b
図3c
図4a
図4b
図4c
図5a
図5b
図5c
図6
【外国語明細書】
図1
図2
図3a】
図3b】
図3c】
図4a】
図4b】
図4c】
図5a】
図5b】
図5c】
図6