【課題を解決するための手段】
【0006】
なお、以下に記載される本発明の例示実施形態は、方法、装置、グログラム要素及びコンピュータ読み取り可能媒体にも適用される。
【0007】
本発明の例示的な一実施形態によれば、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための方法は、解剖学的状況の第1の画像を撮影することと、解剖学的状況の第2の画像を撮影することと、第1の画像と第2の画像とを比較して第1の画像と第2の画像との間の相違を決定することと、第1の画像と第2の画像との間の相違が局所タイプの相違及び大域タイプの相違のうちの少なくとも一方を有するかを決定することであり、局所タイプの相違は第1の画像と第2の画像との局所的な相違であり、大域タイプの相違は第1の画像と第2の画像との大域的な相違である、ことと、第1の画像と第2の画像との間の相違が局所タイプの相違を有することが決定された場合に、第2の画像を臨床的意義を有するものとして決定することとを有する。
【0008】
手術において、臨床的な意義/意味を有する画像とは、例えば術中の外科医に新たな情報又は追加の情報を提供する画像である。特に、一連の画像(画像シーケンス)を提供するとき、後続の画像は、シーケンス内の介在画像又は直前の画像に対して追加情報又は新情報を有する場合に、臨床的意義を有するものと見なされる。この追加情報は、例えば、それぞれの先行画像に対する、追加された埋設物、埋設物の変更された位置、骨若しくは組織の変更されたコンステレーションとし得る。この方法はまた、局所タイプの相違を検出する前に、大域タイプの相違を検出することを含み得る。具体的には、大域的な相違が所定の閾値を上回る場合に臨床的意義が決定されてもよい。大域的な相違が所定の閾値を超えていない場合に、局所タイプの相違を検出してもよい。局所的な相違が該当する閾値を上回る場合、臨床的意義が決定され得る。換言すれば、例示的な一実施形態によれば、大域的な相違が所定の閾値を上回る場合に臨床的意義が検出され得るが、大域的な相違が所定の閾値を上回らない場合にも、局所的な相違が別の所定の閾値を上回る場合に臨床的意義が検出され得る。
【0009】
故に、装置は、新たな画像の存在を検査するだけでなく、新たな画像コンテンツが存在するかを検査することをも可能にする。ナビゲーションシステム又はコンピュータ支援手術システムが、例えば埋設物及び該当する生体構造の実際の状態及び位置を再計算するとき、新たな画像の各々は、ナビゲーション状況が更新されるまでに有意な遅延を生じさせる。しかしながら、新たな画像が提供されなければ更新も必要ない。この目的のため、本発明による装置は、画像のコンテンツを比較して相違を決定する。一般に、大域的な相違は、例えば、ノイズが追加あるいは除去される場合や、コントラストが再計算される場合などに発生し得る。このような計算又はノイズ抑制は、X線Cアーム又はMRTのような撮像装置によって実行され得る。大域的な相違は必ずしも、臨床的に意義のある画像コンテンツの変化に起因するものではない。故に、本発明は、或る特定の画像セクション内での変化のような局所的な相違をも考慮する。有意な変化が或る特定の位置でのみ起こり、その他の位置では起こらない場合、これは、画像コンテンツの臨床的意義のある変化の検出をもたらし得る。例えば埋設物が骨に対して移動された場合、埋設物の位置を除く全ての位置は変化しないままである。故に、局所的な相違から、臨床的意義のある変化が検出され得る。
【0010】
本発明の例示的な一実施形態によれば、第1の画像と第2の画像との相違は、所定の閾値を上回るときの相違として決定される。
【0011】
故に、僅かなノイズ又は小さい強度変化のような、より小さい相違は、有意な意義を検出することなく排除され得る。閾値未満の相違は無視されることになる。故に、例えば画素の誤差などは局所的な相違又は大域的な相違の検出にはつながらない。
【0012】
本発明の例示的な一実施形態によれば、第1の画像と第2の画像とを比較して第1の画像と第2の画像との間の相違を決定することは、第1の画像及び第2の画像の各々を、各々が複数の画素を有する対応し合う複数の画像ブロックに分離することと、対応し合う画像ブロックを比較することとを含む。
【0013】
故に、画像ブロックに基づいて自動検出が実行され得る。これらの画像ブロックは、複数の画素を含み且つ全体画像より小さいとし得る。画像ブロックは、局所タイプの相違と大域タイプの相違とを区別することを可能にする。
【0014】
本発明の例示的な一実施形態によれば、局所タイプの相違は、第1の画像と第2の画像との相違が所定の第1の閾値を上回る場合に検出され、大域タイプの相違は、第1の画像と第2の画像との相違が所定の第2の閾値を上回る場合に検出され、第2の閾値は第1の閾値より大きい。
【0015】
故に、或る特定の位置での小規模な相違は、臨床的に意義のある相違の検出をもたらし得るが、画像全体上での強度変化のような大域タイプの相違は臨床的に意義のあるものではなさそうなので、局所タイプの相違の方が検出感度を高くされる。
【0016】
本発明の例示的な一実施形態によれば、前記閾値及び前記第1の閾値のうちの少なくとも一方は局所的に可変の閾値である。
【0017】
故に、例えば外縁部で、特に一定の効果は排除され得る。また、より関連する画像内の位置にあり得る意義のある臨床的側面は、コンピュータ支援手術システムによって実行され得るものである画像認識によって特定されることが想定される。画像認識は、第2の画像を検討する前に関連画像部分を特定することができるよう、第1の画像に基づいて実行され得る。そのような画像部分は、ネジの先端やKワイヤの先端などと認識され得る。
【0018】
本発明の例示的な一実施形態によれば、前記閾値、前記第1の閾値及び前記第2の閾値のうちの少なくとも1つは動的な閾値である。
【0019】
故に、動的な変化を考慮に入れて画像を比較することができる。閾値は、特定の領域がアーチファクトを含むことなどが検出される特定の状況の検出を受けて変化され得る。また、閾値は、最大の局所的な相違と大域的な相違との比に基づいて動的に適応され得る。換言すれば、最大の局所的な相違と大域的な相違との比が或る特定の閾値を上回る場合、これは臨床的意義を指し示すものと見なされ得る。
【0020】
本発明の例示的な一実施形態によれば、この方法は更に、最大の局所的な相違を有する画像ブロックを決定し、最大の局所的な相違を有する画像ブロックを残りの画像ブロックと比較し、且つ、最大の局所的な相違を有する画像ブロックと残りの画像ブロックとの比較に基づいて局所タイプの相違を決定することを有する。
【0021】
故に、最大の相違が有意差であることを決定あるいは確認することができる。換言すれば、これは、その相違が比較的大きい相違であるか、すなわち、残りのブロックがもっと小さい相違を有するか、それとも、その相違が比較的小さい相違であるか、すなわち、残りのブロックが最大差のブロックと同等の相違を有するか、を決定することを可能にする。
【0022】
本発明の例示的な一実施形態によれば、この方法は更に、有意に大きい局所的な相違を有する画像ブロックを決定し、有意に大きい局所的な相違を有する画像ブロックを、有意に大きい局所的な相違を有する画像ブロックに隣接あるいは近接する画像ブロックと比較し、且つ、有意に大きい局所的な相違を有する画像ブロックと、有意に大きい局所的な相違を有する画像ブロックに隣接あるいは近接する画像ブロックと、の比較に基づいて局所タイプの相違を決定することを有する。
【0023】
故に、相違の勾配を決定することができるので、或るブロックと隣接ブロック若しくは近接ブロックとの間で強い勾配の局所的な相違を有するとき、その勾配を臨床的意義の指標として使用することができる。
【0024】
本発明の例示的な一実施形態によれば、この方法は更に、第1の画像内の関連物を認識し、且つ、認識された関連物を含む第1の画像の画像ブロックと第2の画像の対応する画像ブロックとの相違に基づいて局所タイプの相違を決定することを有する。
【0025】
故に、画像の関連部分を使用して、局所的な相違の決定、及び臨床的意義が生じたか否かの決定を行うことができる。関連部分は、臨床的意義を有すると決定されたコンピュータ支援手術システムの画像情報に基づいて決定され得る。これは、画像認識又はオブジェクト認識によって実行され得る。
【0026】
本発明の例示的な一実施形態によれば、第1の画像と第2の画像とを比較して第1の画像と第2の画像との間の相違を決定することは、第1の画像及び第2の画像の対応し合う画像ブロックの少なくとも一部の平均及び分散を決定することと、対応し合う画像ブロックを平均及び/又は分散に関して比較することとを含む。
【0027】
故に、平均値や分散を決定する形態の非常に単純な計算手順を適用して、その画像ブロック全体又は複数の画像ブロックの統合的な値を取得することができる。また、画像ブロックの形態の複数の画素が一緒になって、平均値及び/又は分散の形態の1つ又は2つの代表値を有するので、計算集約的な画素の一対一割当てを回避することができる。
【0028】
本発明の例示的な一実施形態によれば、画像の特定された物体の検出サイズに基づいて、全ての画像ブロックに対して固有の1つのサイズが動的に適応される。
【0029】
故に、複数の画像ブロックがこの典型的な物体サイズに適応され得る。多数の小さい物体は、より小さいサイズを有する多数の画像ブロックをもたらし、少数の大きい物体は、より少ない大きい画像ブロックをもたらし得る。前者は、後者よりも大きい計算能力を必要とする。関連物体のサイズの検出は、臨床的意義があると決定されたコンピュータ支援手術システムの画像情報に基づいて実行され得る。
【0030】
本発明の例示的な一実施形態によれば、第1の画像と第2の画像とを比較して第1の画像と第2の画像との間の相違を決定することは、複数の画像ブロックを画像ブロッククラスタへと結合することと、対応し合う画像ブロッククラスタを比較することとを含む。
【0031】
故に、複数の画像ブロックを結合して、分析のために行われる処理の数を削減することができる。複数の画像ブロックの画像ブロッククラスタへの結合は、動的に、且つ/或いは局所的に分散されて行われ得る。
【0032】
本発明の例示的な一実施形態によれば、局所タイプの相違は、第1の画像の或る画像ブロックと第2の画像の対応する画像ブロックとの間の相違、及び第1の画像の或る画像ブロッククラスタと第2の画像の対応する画像ブロッククラスタとの間の相違、のうちの少なくとも一方が第1の閾値を上回る場合に決定される。
【0033】
故に、臨床的に意義のある
イベントを検出することができるとともに、閾値より小さい変化をもたらす効果を意義がないものと見なすことができる。これは、画像ブロック及び画像ブロッククラスタに基づいて行われ得る。
【0034】
本発明の例示的な一実施形態によれば、この方法は更に、撮像された物体を有する関連画像範囲を検出することを有し、第1の画像と第2の画像とを比較して第1の画像と第2の画像との間の相違を決定することは専ら、検出された関連画像範囲に基づいて実行される。
【0035】
故に、画像に関連しないブラックマスクを無用に計算することなく、計算を関連画像範囲に制限することができる。特に、マスク領域内の付加的な書込情報を無視することができ、関連画像範囲内の変化を検出したときにのみ新たな画像が提供されるようになる。
【0036】
本発明の例示的な一実施形態によれば、検出された関連画像範囲は後続画像の基礎として使用される。
【0037】
故に、先行する検出が現在の検出の開始点として機能するので、計算能力を低減することができる。
【0038】
本発明の例示的な一実施形態によれば、この方法は更に、第1の画像及び第2の画像のうちの少なくとも一方の所定の特性を検出することを有し、該所定の特性は、撮像装置の種類及び撮像装置の製造者のうちの少なくとも一方を指し示す。
【0039】
故に、製造者のロゴ若しくは印章、又は型番情報が認識され、撮像装置の種類又は製造者を決定するために使用され得る。これは、この方法を装置の種類又は製造者に特有の特性に適応させることを可能にする。認識される所定の特性は、例えば、特徴的なアーチファクト、ロゴ若しくは商標、透かしなどとし得る。
【0040】
本発明の例示的な一実施形態によれば、第1の画像及び第2の画像は、撮像装置の連続的なビデオ信号出力から生成される。
【0041】
故に、全ての撮像装置、特に、トリガーによる撮像手順及びトリガーされる画像転送を有する撮像装置、並びにビデオ信号の形態での連続的な画像転送を有する装置で、本発明に係る装置を動作させることができる。
【0042】
本発明の例示的な一実施形態によれば、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための装置は、画像入力インタフェースと、画像入力インタフェースから取得される解剖学的状況の第1の画像用の第1の記憶ユニットと、画像入力インタフェースから取得される解剖学的状況の第2の画像用の第2の記憶ユニットと、第1の画像と第2の画像とを比較して第1の画像と第2の画像との間の相違を決定する比較部と、第1の画像と第2の画像との相違タイプを評価する相違タイプ評価ユニットであり、該相違タイプ評価ユニットは局所タイプの相違及び大域タイプの相違のうちの少なくとも一方を決定するように適応され、局所タイプの相違は第1の画像と第2の画像との局所的な相違であり、大域タイプの相違は第1の画像と第2の画像との大域的な相違である、相違タイプ評価ユニットと、第1の画像と第2の画像との間の相違が局所タイプの相違を有することが決定された場合に、第2の画像を、臨床的意義を有するものとして選択する画像選択ユニットとを有する。
【0043】
この装置の効果は、方法の効果と同様である。故に、上述の方法の効果は装置にも当てはまる。
【0044】
本発明の例示的な一実施形態によれば、この装置は更に、第1の画像及び第2の画像の各々を、各々が複数の画素を有する複数の画像ブロックに分離する分離ユニットを有する。
【0045】
本発明の例示的な一実施形態によれば、この装置は更に、関連画像範囲を特定する関連画像範囲検出ユニットを有する。
【0046】
本発明の例示的な一実施形態によれば、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のためのシステムは、連続的なビデオ出力を有する撮像装置と、臨床的意義のある画像を受信する画像インタフェースを有するコンピュータ支援手術システムと、上述の、解剖学的状況の画像の臨床的意義の自動検出のための、本発明に係る装置とを有し、上述の画像入力インタフェースは、撮像装置の連続的なビデオ出力に動作的に接続され、臨床的意義のある画像を受信する上記画像インタフェースは、上述の画像選択ユニットに動作的に接続される。
【0047】
本発明の例示的な一実施形態によれば、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための上述の装置及びシステムを制御するためのコンピュータプログラムが提供される。このコンピュータプログラムは、処理ユニットによって実行されるときに、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための方法の上述の方法ステップを実行するように適応される。
【0048】
本発明の例示的な一実施形態によれば、上述のコンピュータプログラムを格納したコンピュータ読み取り可能媒体が提供される。
【0049】
なお、以上の特徴は組み合わされ得るものである。以上の特徴の組合せはまた、たとえ明示的に詳述されないとしても、相乗効果をもたらすことがある。
【0050】
以下に記載の実施形態を参照することで、本発明のこれら及びその他の態様が明らかになる。