特許 6018216 対話型画像注釈付けのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6018216

(24)【登録日】2016年10月7日

(45)【発行日】2016年11月2日

(54)【発明の名称】対話型画像注釈付けのシステムおよび方法

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20161020BHJP

   A61B 5/00 20060101ALI20161020BHJP

   A61B 6/03 20060101ALI20161020BHJP

   A61B 5/055 20060101ALN20161020BHJP

   A61B 8/00 20060101ALN20161020BHJP

【ＦＩ】

   G06F3/0481 120

   A61B5/00 F

   A61B6/03 360M

   !A61B5/05 380

   !A61B8/00

【請求項の数】15

【全頁数】18

(21)【出願番号】特願2014-540582(P2014-540582)

(86)(22)【出願日】2012年10月30日

(65)【公表番号】特表2015-502601(P2015-502601A)

(43)【公表日】2015年1月22日

(86)【国際出願番号】IB2012055997

(87)【国際公開番号】WO2013068881

(87)【国際公開日】20130516

【審査請求日】2015年10月28日

(31)【優先権主張番号】61/557,008

(32)【優先日】2011年11月8日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ビューロウ，トーマス

(72)【発明者】

【氏名】メーツ，キルステン

(72)【発明者】

【氏名】ベルクトールト，マルティン

【審査官】 原 秀人

(56)【参考文献】

【文献】 国際公開第２００７／１３５９１３（ＷＯ，Ａ１）

【文献】 特開２００７−３０７３５８（ＪＰ，Ａ）

【文献】 特表２００７−５３６６６６（ＪＰ，Ａ）

【文献】 特開２００４−１８０９８７（ＪＰ，Ａ）

【文献】 米国特許第０６４８０８１３（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２００９／０３２４０４９（ＵＳ，Ａ１）

【文献】 特表２００３−５３４０８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８

Ａ６１Ｂ ５／００

Ａ６１Ｂ ６／０３

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ８／００

(57)【特許請求の範囲】

【請求項1】

画像の対話型注釈付けを可能にするシステムであって、
前記画像内のマーカーの第１の配置位置を示し、前記画像の上で前記マーカーを移動させるためにユーザインターフェース機器を使用してユーザによって取得される配置コマンドを前記ユーザから受け取るユーザ入力と、
（ｉ）前記マーカーに視覚的に対応する画像部分に関して別々の出力を提供する画像処理アルゴリズムに基づいて確定される複数の一致度を、一方で前記マーカーと他方で領域内部の複数の画像部分との間で確定するように構成されている前記画像処理アルゴリズムを前記第１の配置位置に基づく前記画像内の領域に適用し、
（ｉｉ）前記マーカーを前記画像内の前記領域に一致させるために前記複数の一致度と前記それぞれの複数の画像部分とに依存して第２の配置位置を確定し、
（ｉｉｉ）前記マーカーを前記画像内の前記第２の配置位置に配置するように構成されているプロセッサと
を備えるシステム。

【請求項2】

前記ユーザ入力は、複数の異なるマーカーのうちの前記マーカーの選択を示す選択コマンドを前記ユーザから受け取るように構成されており、
前記プロセッサは、前記選択されたマーカーに視覚的に対応する画像部分に応答するように前記選択されたマーカーに依存して前記画像処理アルゴリズムを構成するように構成されている、
請求項１に記載のシステム。

【請求項3】

前記選択コマンドは、前記ユーザによって決定されたとおりに前記選択されたマーカーの方位をさらに示し、前記プロセッサは、前記方位を有する前記選択されたマーカーに視覚的に対応する画像部分に応答するように前記方位に依存して前記画像処理アルゴリズムを構成するようにさらに構成されている、請求項２に記載のシステム。

【請求項4】

前記ユーザ入力は、前記画像内で注釈付けされる画像部分のタイプを示すタイプデータを受け取るように構成されており、
前記プロセッサは、画像部分の前記タイプおよび前記マーカーに視覚的に対応する画像部分に応答するように前記タイプデータに依存して前記画像処理アルゴリズムを構成するようにさらに構成されている、
請求項１に記載のシステム。

【請求項5】

前記マーカーの前記配置は、前記マーカーを前記第２の配置位置にある画像部分に一致させるために前記マーカーの形状、方位およびサイズのうちの少なくとも１つを調整することを備える、請求項１に記載のシステム。

【請求項6】

前記プロセッサは、
一方で前記第１の配置位置と他方で前記それぞれの複数の画像部分との間で複数の距離を確定し、
前記第１の配置位置により近接して位置している画像部分を強化するために前記複数の一致度を前記複数の距離で重み付けすること
によって前記複数の一致度を確定するように構成されている、請求項１に記載のシステム。

【請求項7】

前記プロセッサは、
一方で前記第１の配置位置と他方で前記それぞれの複数の画像部分との間で前記画像内に存在する画像ディテールを示す複数のディテール尺度を確定し、
画像部分と前記第１の配置位置との間で前記画像内により少ない画像ディテールを有する前記画像部分を強化するために前記複数の一致度を前記複数のディテール尺度で重み付けすること
によって前記複数の一致度を確定するように構成されている、請求項１に記載のシステム。

【請求項8】

前記プロセッサは、引力として前記複数の一致度を備える力に基づくモデルを使用することにより前記第２の配置位置を確定するように構成されている、請求項１に記載のシステム。

【請求項9】

前記ユーザ入力は、前記領域のサイズを示す範囲データを前記ユーザから受け取るように構成されており、前記プロセッサは、前記範囲データに依存して前記領域の前記サイズを確定するように構成されている、請求項１に記載のシステム。

【請求項10】

前記配置コマンドは、前記配置コマンドを提供するときの配置方向をさらに示し、前記プロセッサは、前記配置方向に依存して前記第１の配置位置に対して前記領域の形状を確定するように構成されている、請求項１に記載のシステム。

【請求項11】

前記配置コマンドは、前記配置コマンドを提供するときの配置速度をさらに示し、前記プロセッサは、前記配置速度に依存して前記領域のサイズを確定するようにさらに構成されている、請求項１０に記載のシステム。

【請求項12】

請求項１に記載のシステムを備えるワークステーション。

【請求項13】

請求項１に記載のシステムを備えるイメージング装置。

【請求項14】

画像の対話型注釈付けを可能にする方法であって、
前記画像内のマーカーの第１の配置位置を示し、前記画像の上で前記マーカーを移動させるためにユーザインターフェース機器を使用してユーザによって取得される配置コマンドを前記ユーザから受け取るステップと、
前記マーカーに視覚的に対応する画像部分に関して別々の出力を提供する画像処理アルゴリズムに基づいて確定される複数の一致度を、一方で前記マーカーと他方で領域内部の複数の画像部分との間で確定するように構成されている前記画像処理アルゴリズムを前記第１の配置位置に基づく前記画像内の領域に適用するステップと、
前記マーカーを前記画像内の前記領域に一致させるために前記複数の一致度と前記それぞれの複数の画像部分とに依存して第２の配置位置を確定するステップと、
前記マーカーを前記画像内の前記第２の配置位置に配置するステップと
を備える方法。

【請求項15】

プロセッサシステムに請求項１４に記載の方法を実行させる命令を備えるコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の対話型（インタラクティブな）注釈付けを可能にするシステムおよび方法に関する。本発明は、上記システムを備えるワークステーションおよびイメージング装置と、プロセッサシステムに上記方法を実行させる命令を備えるコンピュータ・プログラム・プロダクトとにさらに関する。

【背景技術】

【0002】

画像注釈付けは、画像の特定エリアがテキスト、カラーオーバーレイなどを追加することによりマークされるプロセスのことを指す。詳しくは、これ以降、マーカーと呼ばれる曲線、線、シンボルなどのようなグラフィカル注釈が追加されることがある。手動で、たとえば、ペンまたは鉛筆を使用して画像に注釈付けすることが知られている。さらに、対話型方式で画像に注釈付けするためにシステムを使用することが知られている。このようなシステムでは、ユーザは、表示された画像上にマーカーを描画またはドラッグするためにマウスのようなユーザインターフェース機器を操作することがあり、それに応答して、システムは、表示された画像上にそれに従ってマーカーを描画または配置する。

【0003】

国際公開第２００８／０５２３１２号は、超音波画像のような医療用画像から前立腺を区分けすることについて記載する。ユーザが画像上に自動的に描画される初期点を選択する手動初期化が初期外形を取得するために使用される。自動改良段階は、その後、予め記憶された解剖アトラスと画像から取得されたエッジ情報とに基づいて画像内の前立腺境界までの外形をスナップする。
Ａｐｐｌｅ Ｃｏｍｕｔｅｒ，ＩｎｃのＭｉｃｈａｅｌ Ｇｌｅｉｃｈｅｒによる刊行物：「Ｉｍａｇｅ Ｓｎａｐｐｉｎｇ」、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ，Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ、１９９５は、ペイントシステムのような画像に基づくプログラムにおけるカーソルのスナッピングについて記載する。画像スナッピングは、エッジのような画像内の近隣の特徴までカーソル位置を移動させる。それは、画像から作成された特徴マップの不鮮明バージョンに勾配降下法を使用することにより実施される。画像セグメンテーションおよび曲線追跡のためにカーソルスナッピングを使用する対話技術が提示されている。
米国特許出願公開第２００７／０１７４７６９号明細書は、手術前計画および診断のための医療用画像の配信および表示を向上させるシステムおよび方法について記載する。ユーザは、初期注釈を選択し、解剖学的特徴と関連して表示された画像に従って初期注釈を修正するためにシステムを操作し、その後、後で参照するために表示された画像上の所望の位置に適切な注釈を固定することができるといわれている。

【0004】

さらに、脊椎標識化に関連して、システムは、自動的に脊椎を標識化するために使用されてもよいことが開示されている。具体的には、ユーザは、初期注釈を選択し、それを脊椎と関連付けることができる。これが終了すると、システムは、機械読み取り装置によって予めマッピングされているので初期基準脊椎から上方および下方に延びる残りの脊椎を自動的に標識化することになる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第２００７／０１７４７６９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記システムの問題は、ユーザが注釈を表示された画像内の所望の位置に正確に配置するのに簡便ではないことである。

【0007】

ユーザが一層簡便な方式で画像内の所望の位置にマーカーを正確に配置することを可能にするシステムおよび方法を有することは有利になり得る。

【課題を解決するための手段】

【0008】

この問題により良く対処するために、本発明の第１の態様は、画像の対話型注釈付けを可能にするシステムであって、
画像内のマーカーの第１の配置位置を示す配置コマンドをユーザから受け取るユーザ入力と、
（ｉ）マーカーに視覚的に対応する画像部分に応答して、一方でマーカーと他方で領域内部の複数の画像部分との間で複数の一致度を確定する画像処理アルゴリズムを第１の配置位置に基づく画像内の領域に適用し、（ｉｉ）マーカーを画像内の領域に一致させるために複数の一致度とそれぞれの複数の画像部分とに依存して第２の配置位置を確定し、（ｉｉｉ）マーカーを画像内の第２の配置位置に配置するように構成されているプロセッサと、
を備えるシステムを提供する。

【0009】

本発明のさらなる態様では、上記システムを備えるワークステーションおよびイメージング装置が提供される。

【0010】

本発明のさらなる態様では、画像の対話型注釈付けを可能にする方法であって、
画像内のマーカーの第１の配置位置を示す配置コマンドをユーザから受け取り、
マーカーに視覚的に対応する画像部分に応答して、一方でマーカーと他方で領域内部の複数の画像部分との間で複数の一致度を確定する画像処理アルゴリズムを第１の配置位置に基づく画像内の領域に適用し、
マーカーを画像内の領域に一致させるために複数の一致度とそれぞれの複数の画像部分とに依存して第２の配置位置を確定し、
マーカーを画像内の第２の配置位置に配置すること
を備える方法が提供される。

【0011】

本発明のさらなる態様では、プロセッサシステムに上記方法を実行させる命令を備えるコンピュータ・プログラム・プロダクトが提供される。

【0012】

上記対策は、ユーザが対話形式で画像に注釈付けすることを可能にする。この目的のために、配置コマンドがユーザから受け取られる。配置コマンドは、位置、すなわち、ユーザが画像内でマーカーを配置する第１の配置位置を示す。その後、第１の配置位置に基づく領域内部の複数の画像部分のそれぞれに関して、一致度がマーカーとそれぞれの画像部分との間で決定される。一致度は、マーカーがそれぞれの画像部分にどの程度良く類似するかを示し、したがって、それらの視覚的対応を表す。一致度を決定するために、マーカーに視覚的に対応する画像部分に応答する画像処理アルゴリズムが使用され、すなわち、画像処理アルゴリズムは、上記画像部分に関して別々の出力を提供し、したがって、上記画像部分が識別されることを可能にする。第２の配置位置がその後にマーカーを画像内の領域に一致させるために複数の一致度および複数の画像部分を使用して決定される。最後に、マーカーは、第１の配置位置にではなく、画像内部の第２の配置位置に配置される。

【0013】

上記対策は、ユーザが画像内のマーカーの第１または初期の配置位置を示したとき、第１の配置位置が、第１の配置位置に基づく領域内部で、複数の画像部分をマーカーに一致させることにより改良され、第２または最後の配置位置が前記一致の結果に基づいて決定される、という効果を有する。したがって、マーカーがある特定の画像部分にどの程度良く一致するかについての情報が領域内部でマーカーを配置すべき場所を決定するのに使用される。

【0014】

本発明は、マーカーが多くの場合に画像部分に視覚的に類似するので、マーカーは、注釈付けされる画像部分を高い頻度で予測する、という認識に部分的に基づいている。この理由は、マーカーが用途に特有であることがあり、すなわち、マーカーの外観が注釈付けされている画像のタイプに合わせて調整されることがある、ということである。たとえば、２Ｄ乳房撮影像において解剖学的目印に注釈付けするとき、乳頭または乳房下溝線は、典型的には、点を使用してマークされるが、胸筋は、典型的には、直線分を使用してマークされる。マーカーの外観は、このように、多くの場合に注釈付けされる画像部分を予測する。その結果、マーカーの外観は、マーカーが画像内部で配置される場所についての暗黙的な情報、たとえば、マーカーに類似する画像部分の近接またはその上についての情報を提供する。本発明は、ユーザがマーカーの第１の配置位置を示すことを可能にすることにより前記認識を利用し、その後、前記第１の配置位置がマーカーを複数の画像部分に一致させるために使用され、最後に、一致の結果がマーカーの第２の配置位置を決定するために使用される。

【0015】

有利には、配置位置が自動的に改良され、マーカーの一層正確な配置位置をもたらす結果になるので、ユーザは、高度の正確さで画像内にマーカーを配置する必要がない。その結果、ユーザは、マーカーが高度の正確さで配置される必要がないことが分かっているので、一層素早くマーカーを配置することができる。

【0016】

任意選択で、ユーザ入力は、複数の異なるマーカーのうちのマーカーの選択を示す選択コマンドをユーザから受け取るように構成されており、プロセッサは、選択されたマーカーに視覚的に対応する画像部分に応答するように選択されたマーカーに依存して画像処理アルゴリズムを構成するように構成されている。

【0017】

ユーザが複数の異なるマーカーのうちのマーカーを選択できるとき、ユーザは、典型的には、自分の選択を注釈付けされる画像部分に合わせて調整することになる。選択コマンドをユーザから受け取ることにより、複数の異なるマーカーのうちのどのマーカーが選択されたかが分かる。それに応答して、プロセッサは、選択されたマーカーに視覚的に対応する画像部分に応答するように画像処理アルゴリズムを構成する。それ故に、マーカーの選択は、画像処理アルゴリズムを選択されたマーカーに合わせてカスタマイズすることによって配置位置の改良に自動的に考慮される。

【0018】

任意選択で、選択コマンドは、ユーザによって決定されたとおりに選択されたマーカーの方位をさらに示し、プロセッサは、前記方位を有する選択されたマーカーに視覚的に対応する画像部分に応答するように方位に依存して画像処理アルゴリズムを構成するようにさらに構成されている。

【0019】

ユーザがマーカーの方位を決定できるとき、ユーザは、典型的には、注釈付けされる画像部分の予想方位に対応するように方位を選択または調整することになる。前記選択コマンドをユーザから受け取ることにより、ユーザによって決定されたとおりに、選択されたマーカーの方位が分かる。それに応答して、プロセッサは、特定の方位を有する選択されたマーカーに視覚的に対応する画像部分に応答するように画像処理アルゴリズムを構成する。それ故に、マーカーの方位は、それに従って画像処理アルゴリズムをカスタマイズすることによってマーカーの配置位置の改良に自動的に考慮される。

【0020】

任意選択で、ユーザ入力は、画像内の注釈付けされる画像部分のタイプを示すタイプデータを受け取るように構成されており、プロセッサは、画像部分のタイプおよびマーカーに視覚的に対応する画像部分に応答するようにタイプデータに依存して画像処理アルゴリズムを構成するようにさらに構成されている。

【0021】

ユーザが画像内の注釈付けされる画像部分のタイプ、たとえば、胸筋を明示的に示すことができるとき、この情報は、マーカーの配置位置を決定するときにマーカーの外観に加えて使用されてもよい。注釈付けされる画像部分のタイプを示すタイプデータを受け取り、画像部分のタイプに応答するように画像処理アルゴリズムを構成することにより、画像部分のタイプは、マーカー自体に加えて、マーカーの配置位置の改良に考慮される。

【0022】

任意選択で、マーカーの前記配置は、マーカーを第２の配置位置にある画像部分に一致させるためにマーカーの形状、方位、およびサイズのうちの少なくとも１つを調整することを備える。マーカーの外観は、典型的には、注釈付けされる画像部分の予想外観に対応する。実際には、画像部分の現実の外観は、予想外観から逸脱することがある。このような場合、改善された注釈は、マーカーの配置位置を決定した後、第２の配置位置にある画像部分に対してマーカーの外観を調整し、前記調整後にマーカーを配置することにより取得される。

【0023】

任意選択で、プロセッサは、一方で第１の配置位置と他方でそれぞれの複数の画像部分との間で複数の距離を確定し、第１の配置位置により近接して位置している画像部分を強化するために複数の一致度を複数の距離で重み付けすることによって複数の一致度を確定するように構成されている。

【0024】

第１の配置位置は、ユーザによって提供されたとおりに、注釈付けされる画像部分が位置しているとユーザが分かっているまたは予想する場所を示す。それ故に、配置位置を改良するとき、前記画像部分を見つける可能性は、第１の配置位置からの距離の増加に伴って減少するので、第１の配置位置から過剰に逸脱しないことが望ましい。第１の配置位置までのそれぞれの画像部分の距離で各一致度を重み付けすることにより、上記認識が考慮される。したがって、マーカーへの画像部分の類似性と第１の配置位置までの画像部分の距離との間にトレードオフが得られる。

【0025】

任意選択で、プロセッサは、一方で第１の配置位置と他方でそれぞれの複数の画像部分との間で画像内に存在する画像ディテール（ｉｍａｇｅ ｄｅｔａｉｌ）を示す複数のディテール尺度（ｄｅｔａｉｌ ｍｅａｓｕｒｅ）を確定し、画像部分と第１の配置位置との間で画像内により少ない画像ディテールを有する画像部分を強化するために複数の一致度を複数のディテール尺度で重み付けすることにより複数の一致度を確定するように構成されている。

【0026】

画像ディテールが注釈付けされる画像部分に近接して存在するとき、ユーザは、画像ディテールに対してマーカーを正しく配置するように注意しなければならない。このことの理由は、画像ディテールが基準の点を提供する、ということである。したがって、第１の配置位置は、画像ディテールに対して正確であること、それ故に、画像ディテールの方向で正確であることが予想される。この認識は、上記尺度によって考慮され、結果として、第１の配置位置と、画像部分の一致度が低下するまたは切り下げられるという点で一種のバリアとしての役目を果たす前記画像部分との間にディテールが存在することになる。その結果、第２の配置位置は、第１の配置位置が正確であると予想される方向で第１の配置位置からより少なく逸脱し、上記位置が不正確であり得る方向で第１の配置位置からより多く逸脱する可能性が高い。

【0027】

任意選択で、プロセッサは、引力として複数の一致度を備える力に基づくモデルを使用することにより第２の配置位置を確定するように構成されている。力に基づくモデルは、複数の一致度に依存して第２の配置位置を確定する効率的な方式を構成する。

【0028】

任意選択で、ユーザ入力は、領域のサイズを示す範囲データをユーザから受け取るように構成されており、プロセッサは、範囲データに依存して領域のサイズを確定するように構成されている。ユーザは、このようにして、たとえば、第１の配置位置が正確であると予想されるときに領域のサイズを縮小するために、または、第１の配置位置が正確であると予想されないときに領域のサイズを増大するために領域のサイズに影響を与えることができる。

【0029】

任意選択で、配置コマンドは、配置コマンドを提供するときの配置方向をさらに示し、プロセッサは、配置方向に依存して第１の配置位置に対して領域の形状を確定するように構成されている。ユーザは、このようにして、配置コマンドを提供するときに配置方向を介して第１の配置位置に対して領域の形状に影響を与えることができる。配置方向は、たとえば、ユーザインターフェース機器、たとえば、マウスの物理的移動に対応する方向、または、ディスプレイ上に表示されたカーソルの移動の方向などであってもよい。有利には、意図された配置位置に到達する前にユーザが配置コマンドを提供するとき、システムは、配置方向で領域を主に成形することにより前記事実を補償してもよい。

【0030】

任意選択で、配置コマンドは、配置コマンドを提供するときの配置速度をさらに示し、プロセッサは、配置速度に依存して領域のサイズを確定するようにさらに構成されている。ユーザは、このようにして、配置コマンドを提供するときに配置速度を用いて領域のサイズに影響を与えることができる。配置速度は、たとえば、ユーザインターフェース機器の物理的移動に対応する速度、または、ディスプレイ上に表示されたカーソルの移動の速度などであってもよい。有利には、配置方向および配置速度は、領域の形状およびサイズに影響を与える直観的な方式をユーザに提供するためにユーザインターフェース機器またはカーソルの慣性をシミュレートするように組み合わされてもよい。

【0031】

本発明の上記実施形態、実施態様、および／または態様のうちの２つ以上は、有用であると思われる如何なる形で組み合わされてもよいことが当業者には理解されよう。

【0032】

システムの上記変更形態および変形形態に対応するイメージング装置、ワークステーション、方法、および／またはコンピュータ・プログラム・プロダクトの変更形態および変形形態は、本明細書に基づいて当業者によって行うことができる。

【0033】

当業者には、この方法が多次元画像データ、たとえば、２次元（２Ｄ）、３次元（３Ｄ）、または４次元（４Ｄ）画像に適用されてもよいことが理解されよう。多次元画像データの次元は、時間に関係してもよい。たとえば、３次元画像は、２次元画像の時間ドメイン系列を備えてもよい。画像は、たとえば、限定されることなく、標準的なＸ線イメージング、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、磁気共鳴イメージング（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、超音波（ＵＳ：Ｕｌｔｒａｓｏｕｎｄ）、陽電子放射断層撮影（ＰＥＴ：Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ：Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、および核医学（ＮＭ：Ｎｕｃｌｅａｒ Ｍｅｄｉｃｉｎｅ）のような様々な撮影法によって撮影された医療用画像であってもよい。しかし、画像は、ユーザが注釈付けをしたいと望む他のタイプのもの、たとえば、地図製作または地震学的画像であってもよい。

【0034】

本発明は、独立請求項に定義されている。有利な実施形態は、従属請求項に定義されている。

【0035】

本発明の上記および他の態様は、以下に記載された実施形態から明白であり、これらの実施形態を参照して解明されよう。

【図面の簡単な説明】

【0036】

【図1】本発明によるシステムおよびディスプレイを示す図である。

【図2】本発明による方法を示す図である。

【図3a】ユーザが画像の上でマーカーを移動させることを示す図である。

【図3b】ユーザが第１の配置位置にマーカーを配置することを示す図である。

【図3c】領域と領域内部の複数の画像部分とを示す図である。

【図3d】システムが第２の配置位置にマーカーを配置することを示す図である。

【図4】異なるマーカーのうちのマーカーの選択を示す図である。

【図5】ユーザがマーカーの方位を決定することを示す図である。

【図6a】マーカーを配置するときの配置速度および配置方向を有するカーソルを用いてマーカーが配置されることを示す図である。

【図6b】マーカーが画像部分に調整されることを示す図である。

【発明を実施するための形態】

【0037】

図１は、画像１０２の対話型注釈付けを可能にするシステム１００を示す。システム１００は、配置コマンド１６２をユーザから受け取るユーザ入力１６０を備え、配置コマンド１６２は、ユーザが画像１０２内にマーカーを配置することを可能にする画像１０２内のマーカーの第１の配置位置を示す。図１に示されていないが、ユーザ入力１６０は、ユーザによって操作されるマウス、キーボードまたはタッチスクリーンのようなユーザインターフェース機器に接続されてもよい。システム１００は、プロセッサ１８０をさらに備える。プロセッサ１８０は、第１の配置位置に依存して画像内の領域を確定するように構成されていてもよい。この目的のために、プロセッサ１８０は、配置コマンド１６２を受け取るユーザ入力１６０に接続されるように図示されている。プロセッサ１８０は、マーカーに視覚的に対応する画像部分に応答して、一方でマーカーと他方で領域内部の複数の画像部分との間で複数の一致度を確定する画像処理アルゴリズムを領域に適用するようにさらに構成されている。また、プロセッサ１８０は、画像１０２内の第２の配置位置にマーカーを配置するように構成されている。図１は、画像１０２内の第２の配置位置にマーカーを表示するディスプレイ１８４に接続されることによってマーカーを配置するように構成されているプロセッサ１８０を示す。この目的のために、プロセッサ１８０は、表示データ１８２をディスプレイ１８４に提供する。代替的に、または付加的に、プロセッサ１８０は、たとえば、画像１０２内の第２の配置位置にマーカーを表示するために画像ディスプレイ機器によって使用され得る関連付けデータを作成することによりマーカーを配置してもよい。

【0038】

図２は、画像内のマーカーの第１の配置位置を示す配置コマンドをユーザから受け取ることを備える「第１の配置位置を取得する」という表題が付けられている第１のステップ２１０を備える、画像の対話型注釈付けを可能にする方法２００を示す。この方法は、マーカーに視覚的に対応する画像部分に応答して、一方でマーカーと他方で領域内部の複数の画像部分との間で複数の一致度を確定する画像処理アルゴリズムを第１の配置位置に基づく画像内の領域に適用することを備える「マーカーを領域内部の画像部分に一致させる」という表題が付けられている第２のステップ２２０をさらに備える。この方法は、マーカーを画像内の領域に一致させるために複数の一致度とそれぞれの複数の画像部分とに依存して第２の配置位置を確定することを備える「第２の配置位置を確定する」という表題が付けられている第３のステップ２３０をさらに備える。この方法は、マーカーを画像内の第２の配置位置に配置することを備える「マーカーを第２の配置位置に配置する」という表題が付けられている第４のステップ２４０をさらに備える。

【0039】

この方法２００は、システム１００の動作に対応してもよく、システム１００を参照してさらに説明される。しかし、この方法は、たとえば、別のシステムまたは機器によって、前記システムから独立して実行されてもよいことが理解されよう。

【0040】

図３ａおよびさらなる図は、ディスプレイ１８４上の画像１０２およびマーカー１４０の例示的な表示を示すことによりシステム１００の動作を示す。図３ａは、医療用画像である画像１０２を示し、医療用画像は、胸筋１０４および乳房の外形を表す乳房撮影像である。乳房撮影像は、数ある中でも、乳房撮影中の患者位置決めの質を評価するために使用されることがある。この目的のために、放射線医師または技術者のようなユーザは、点または線のような簡単な幾何学的プリミティブを乳房撮影像内の解剖学的目印上に配置することにより乳房撮影像に注釈付けする必要があることがある。図３ａの実施例では、ユーザは、胸筋１０４に注釈付けする、または、それをマークするために線分であるマーカー１４０を胸筋１０４上に配置したいと望む。

【0041】

システム１００は、ユーザがマーカー１４０を移動させるために画像の上に表示されたカーソル１６６を制御することを可能にするように構成されていてもよい。しかし、この機能は、システム１００の代わりに別のシステムまたは機器によって提供されてもよいことが理解されよう。また、マーカーを配置するとき、カーソル１６６だけが、すなわち、マーカー１４０なしで、表示されてもよく、または、マーカー１４０だけが、すなわち、カーソル１６６なしで、表示されてもよい。

【0042】

図３ａは、ユーザがマーカー１４０を配置したいと望む位置である第１の配置位置１２４をさらに示し、第１の配置位置１２４は、胸筋１０４に注釈付けする、または、それをマークするために胸筋１０４に近接している。この目的のために、ユーザは、たとえば、上記ユーザインターフェース機器を使用してカーソル１６６を移動させてもよく、たとえば上記ユーザインターフェース機器のボタンを押下または解除し、それによって、マーカー１４０をカーソル１６６の現在位置に配置したいという望みを示すことにより配置位置を提供してもよい。図３ｂは、ユーザの上記行為の結果、すなわち、ユーザがカーソル１６６、したがって、マーカー１４０を第１の配置位置１２４まで移動させたことを示す。ユーザは、この時点で、または、この状況で、配置コマンドを提供し、それによって、マーカー１４０を第１の配置位置１２４に配置したいという望みを指示してもよい。

【0043】

図３ａおよび３ｂは共に、配置位置１２４が胸筋１０４に隣接しているが、それにもかかわらず、胸筋１０４の傍らにあることを示す。このように、マーカー１４０を第１の配置位置１２４に配置することは、マーカー１４０と胸筋１０４との間に位置合わせ誤差を生じさせる結果になり得る。これは、胸筋１０４の不完全な、おそらく、不適切でもある注釈付けを生じさせる結果になることがある。ユーザは、位置合わせ誤差について気付いていることがあるが、それにもかかわらず、たとえば、時間制約、または、マーカーを正確に配置することの難しさのため前記配置位置を選ぶことがある。ユーザは、たとえば、ユーザが位置合わせ誤差を容易に知覚することができないため、前記位置合わせ誤差について気付いていないこともある。

【0044】

図３ｃは、典型的には、ユーザには見えない可能性があるシステム１００の動作中の中間ステップを例示的に表している。例示を簡単にするため、カーソル１６６およびマーカー１４０は、胸筋１０４を示す参照符号と共に図３ｃにおいて省略されている。図３ｃは、プロセッサ１８０が第１の配置位置１２４に依存して、画像１０２内の領域１３０を確定したことを示す。図３ｂを図３ｃと比較すると、領域１３０は、ほぼ第１の配置位置１２４の周りに位置していることが分かる。さらに、領域１３０の内部の複数の画像部分１３２、１３４、１３６、１３８が図示されており、画像部分は、個々の線の下にある画像１０２の部分であり、すなわち、個々の線によって輪郭が描かれている。これらの画像部分１３２、１３４、１３６、１３８は、マーカー１４０と同じ形状を有し、マーカー１４０の複数の配置位置候補を表し、配置位置は、画像部分と同じ場所に位置しているので、明示的に図示されていない。図３ｃに示されているように、複数の画像部分１３４のうちの１つは、第１の配置位置１２４にある画像１０２の部分に対応する。

【0045】

明瞭にするために、図３ｃに示された画像部分１３２、１３４、１３５、１３８は、個数が制限され、別々であり、重なり合わないことに留意されたい。しかし、画像部分は、直接隣接してもよく、および／または、部分的に重なり合ってもよいことが理解されよう。特に、画像部分１３２、１３４、１３６、１３８は、領域１３０内部の全てのまたは実質的に全ての配置位置候補により構成されていてもよい。

【0046】

その結果、プロセッサ１８０は、第１の配置位置１２４に基づいて領域１３０を明示的に確定するように構成されていなくともよいことに留意されたい。領域１３０は、むしろ、たとえば、複数の画像部分が画像内に位置した画像処理アルゴリズムの暗黙的な結果であってもよい。領域１３０は、たとえば、画像処理アルゴリズムを最大反復回数まで制限または制約することにより、画像処理アルゴリズムの１つ以上のパラメータを変更するプロセッサ１８０の暗黙的な結果であってもよい。プロセッサ１８０は、画像内の領域１３０を明示的に確定するように構成されていてもよい。たとえば、プロセッサ１８０は、第１の配置位置１２４への近接性に依存して領域１３０を決定するように構成されていてもよい。したがって、領域は、第１の配置位置１２４への少なくとも所与の近接性を有する全ての画像部分により構成されていてもよい。領域１３０は、第１の配置位置１２４の周りに円形、矩形または他の幾何学的形状を単に形成することによって確定されてもよい。領域１３０の形状は、ある方向でより大きくなるように選ばれてもよい。たとえば、マーカー１４０がある主な方位を有するとき、領域１３０の形状は、主な方位に対して垂直な方向で他の方向より大きくなってもよい。

【0047】

画像内の領域１３０を確定した後、プロセッサ１８０は、一方でマーカー１４０と他方で領域内部の複数の画像部分１３２、１３４、１３６、１３８との間で一致度を確定するために画像処理アルゴリズムを領域１３０に適用する。一致度は、マーカー１４０がそれぞれの画像部分の上に、すなわち、対応する配置位置に配置された場合にマーカー１４０が画像部分１３２、１３４、１３６、１３８のそれぞれにどの程度良く一致することになるかを決定するために確定される。この特定の実施例では、マーカー１４０が線分であるとすると、画像処理アルゴリズムは、画像部分１３２、１３４、１３６、１３８のそれぞれがマーカー１４０により構成されているような線分にどの程度類似するかを確定することになる。

【0048】

画像処理アルゴリズムは、画像処理の分野で知られた、マーカー１４０と画像部分１３２、１３４、１３６、１３８との間の一致度または視覚的対応を決定するのに適している如何なる画像処理アルゴリズムであってもよい。画像処理アルゴリズムは、複数の画像部分１３２、１３４、１３６、１３８のそれぞれとマーカー１４０の画像表現との間の輝度差を決定することを備えてもよい。輝度差は、画像部分１３２、１３４、１３６、１３８の画素とマーカー１４０の画像表現の対応する画素との間の差であってもよい。画素間の小さい輝度差は、高い一致度、すなわち、高い視覚的対応を示してもよく、大きい輝度差は、低い一致度、すなわち、低い視覚的対応を示してもよい。しかし、画像処理の分野は、前記目的のために使用され得る多くの他のアルゴリズムを備えることが理解されよう。

【0049】

たとえば、マーカー１４０と領域内部の画像部分１３２、１３４、１３６、１３８のそれぞれとの間の一致度を示すいわゆる特徴強調画像は、画像１０２およびマーカー１４０から計算されてもよい。たとえば、マーカー１４０が点ラベルであるとき、画像処理アルゴリズムは、点状または塊状の特徴が強調される特徴強調画像を計算してもよい。強調は、様々な方式で実行されてもよい。たとえば、塊特徴強調画像は、領域１３０内部の各画素に関して計算されたヘッセ行列（Ｈｅｓｓｉａｎ ｍａｔｒｉｘ）から導出されてもよい。ここで、絶対値の観点から最小であるヘッセ行列の固有値の大きさは、前記一致度を示すいわゆる塊特徴として解釈されてもよい。同様に、マーカー１４０が線分であるとき、画像処理アルゴリズムは、たとえば、前記ヘッセ行列の２番目に小さい固有値および最も小さい固有値を直線またはエッジ特徴として解釈することにより直線またはエッジ特徴が強調される特徴強調画像を計算してもよい。代替的に、または付加的に、ガボール・フィルタ（Ｇａｂｏｒ ｆｉｌｔｅｒ）、ハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）、または他の適当な技術が使用されてもよい。

【0050】

一方でマーカー１４０と他方で領域１３０内部の複数の画像部分１３２、１３４、１３６、１３８との間で一致度を確定した後、プロセッサ１８０は、複数の一致度とそれぞれの複数の画像部分とに依存して第２の配置位置１２６を確定してもよい。たとえば、プロセッサ１８０は、複数の一致度のうちの最高一致度を有する複数の画像部分のうちの１つの画像部分１３６の位置として第２の配置位置１２６を確定してもよい。

【0051】

図３ｃは、胸筋１０４によりほぼ構成されており、複数の一致度のうちの最高一致度を有する画像部分１３６の実施例を示す。また、この実施例では、前記画像部分１３６の位置は、第２の配置位置１２６として確定される。この動作の結果は図３ｄに示されており、図３ｄにおいてマーカー１４０が第２の配置位置１２６に配置されることが示されている。

【0052】

前掲のいずれの図にも示されていないが、プロセッサは、一方で第１の配置位置と他方でそれぞれの複数の画像部分との間で複数の距離を確定し、第１の配置位置により近接して位置している画像部分を強化するために複数の距離で複数の一致度を複数の距離で重み付けすることにより複数の一致度を確定するように構成されていてもよい。したがって、プロセッサは、第２の配置位置として、必ずしも複数の画像部分のうちマーカーに最も類似する１つの画像部分の位置を選択するのではなく、むしろ、マーカーに合理的に類似し、かつ、マーカーに最も類似する前記画像部分より第１の配置位置に近接して位置している画像部分の位置を選択する。重み付けは、一致度を距離に従った重み付け係数で乗じることを備えてもよい。重み付けは、一致度に距離を加算すること、または、一致度から距離を減算することをさらに備えてもよい。様々な他の機構が第１の配置位置から遠く離れて位置している画像部分より第１の配置位置に近接して位置している画像部分を強化するために使用されてもよいことが理解されよう。

【0053】

また、プロセッサは、引力として複数の一致度を備える力に基づくモデルを使用することにより第２の配置位置を確定するように構成されていてもよい。さらに、複数の距離は、反発力として力に基づくモデルに含まれてもよい。平衡状態にある、または、平衡状態に最も近い正味の力を受けている画像部分の位置は、その後、第２の配置位置として選択されてもよい。

【0054】

図４は、システム１００の動作の別の実施例を示す。ここでは、システム１００は、ユーザが複数の異なるマーカー１４２、１４４、１４６のうちのマーカー１４０を選択することを可能にするように構成されている。図４は、幾何学的プリミティブ、すなわち、線分１４２、円形１４４およびコーナー部分１４６であるマーカーを示す。しかし、マーカーは、他のタイプのグラフィカルマーカーであってもよいことが理解されよう。図４は、ユーザがマーカー１４０として円形を選択した結果を示す。ユーザ入力１６０は、複数の異なるマーカー１４２、１４４、１４６のうちのマーカー１４０の選択を示す選択コマンド１６３をユーザから受け取るように構成されていてもよい。ユーザは、たとえば、複数のマーカーのうちの特定の１つ、たとえば、円形１４４上をカーソル１６６でクリックすることにより、選択コマンド１６３を提供してもよい。また、プロセッサ１８０は、選択されたマーカー１４４に視覚的に対応する画像部分に応答するために選択されたマーカーに依存して画像処理アルゴリズムを構成するように構成されていてもよい。したがって、図３ａ〜３ｄに既に示されているように、線分に視覚的に対応する画像部分に応答する代わりに、画像処理アルゴリズムは、マーカー１４０のような特定の直径の円形に類似する画像部分に応答するように構成されていてもよい。これに関連して、画像処理アルゴリズムを構成することは、たとえば、画像処理アルゴリズムの１つ以上のパラメータを変更すること、または、複数の画像処理アルゴリズムのうちの画像処理アルゴリズムを選択することを備えてもよいことに留意されたい。

【0055】

図５は、システム１００の動作の別の実施例を示す。ここでは、システム１００は、ユーザがマーカー１４０の方位を決定することを可能にするように構成されている。これは、ユーザがマーカーの複数の方位１４１、１４２、１４３のうちのマーカー１４０の方位を選択することにより例示的に図示されている。たとえば、システム１００は、ユーザがマーカー１４０の中心点の周りでマーカーを回転させることを可能にすることにより、ユーザがマーカー１４０の方位を決定することを可能にするように構成されていてもよい。また、選択コマンド１６３は、ユーザによって決定されたとおりにマーカー１４０の方位をさらに示し、プロセッサ１８０は、方位を有する選択されたマーカー１４０に視覚的に対応する画像部分に応答するように、前記方位に依存して画像処理アルゴリズムを構成するようにさらに構成されていてもよい。マーカーの方位のいずれの変化も、このようにして、画像処理アルゴリズムをそれに従って構成するプロセッサ１８０によって考慮される。たとえば、画像処理アルゴリズムがエッジ検出フィルタを備える場合、そのフィルタ係数は、マーカーの方位と同じ方向で延びるエッジに応答するように変更されてもよい。同様に、画像処理アルゴリズムがテンプレートマッチングを実行するテンプレートを備える場合、テンプレートは、マーカー１４０の回転に従って回転させられてもよい。

【0056】

図６ａは、システム１００の動作の別の実施例を示す。ここでは、マーカー１４０は、カーソル１６８が以下で配置速度と呼ばれるマーカーを配置するときの速度を有し、以下では配置方向と呼ばれる方向と共に有する間に配置される。配置速度および配置方向は、カーソル１６８の後を追う点線カーソルによって例示的に図示されている。この実施例では、ユーザ入力１６０は、ユーザによって動作可能であるユーザインターフェース機器から配置コマンドを受け取るように構成されていてもよい。ユーザインターフェース機器は、たとえば、マウス、ジョイスティック、タッチスクリーンなどであってもよい。配置コマンドは、配置コマンドを提供するときのユーザインターフェース機器またはカーソル１６８と関連付けられている配置方向をさらに示してもよい。配置コマンドは、たとえば、ユーザが画像１０２の上でカーソル１６８を移動させるためにマウスを操作している間にマウスボタンを解除することによって提供されてもよい。図６ａに示されるように、配置方向は、ユーザインターフェース機器によって制御される、カーソル１６８のようなユーザインターフェース要素のオンスクリーン方向（スクリーン上の方向）であってもよい。代替的に、配置方向は、ユーザインターフェース機器の移動の物理的な方向に対応してもよい。

【0057】

プロセッサ１８０は、配置方向に依存して第１の配置位置１２４に対して領域１３０の形状を確定するように構成されていてもよい。図６ａでは、これは、たとえば、第１の配置位置１２４の周りに中心が配置される代わりに、第１の配置位置１２４に対して主に配置方向で延びるように成形されている領域１３０によって示されている。その結果、領域１３０内部の描かれていない複数の画像部分に対応する複数の配置位置候補１２２、１２３、１２４、１２５は、第１の配置位置１２４に対して主に配置方向で位置している。領域１３０の形状は、ボックス状であってもよい。同様に、領域１３０の形状は、たとえば、第１の配置位置１２４からの距離が増加するのにつれて領域１３０の幅を広げるために、三角形状または台形状であってもよい。

【0058】

配置方向を示す配置コマンドの代替としてまたはそれに加えて、配置コマンドは、配置コマンドを提供するときのユーザインターフェース機器またはカーソル１６８の配置速度を示してもよい。この実施例では、プロセッサ１８０は、配置速度に依存して領域１３０のサイズを確定するようにさらに構成されていてもよい。たとえば、領域１３０のサイズは、高い配置速度が結果として領域１３０の大きいサイズをもたらし、低い配置速度が結果として領域１３０の小さいサイズをもたらすように、配置速度に比例してもよい。上記の結果として、ユーザは、注釈付けされる画像部分の方向でマーカー１４０を「スロー（ｔｈｒｏｗ）」するためにユーザインターフェース機器またはカーソル１６８を使用してもよく、マーカー１４０は、その後、システム１００の動作のため前記画像部分に「スナップ（ｓｎａｐ）」する。

【0059】

プロセッサ１８０は、さらに、一方で第１の配置位置１２４と他方でそれぞれの複数の画像部分との間で画像１０２内に存在する画像ディテールを示す複数のディテール尺度を確定し、画像部分と第１の配置位置との間で画像内により少ない画像ディテールを有する画像部分を強化するために複数の一致度を複数のディテール尺度で重み付けすることにより複数の一致度を確定するように構成されていてもよい。その結果として、マーカー１４０は、画像部分と第１の配置位置１２４との間により少ない画像ディテールを有する、すなわち、画像ディテールの観点から第１の配置位置１２４に向かう障害物のない経路（ｃｌｅａｒ ｐａｔｈ）を有する画像部分に一層容易に「スナップ」する。システム１００のこの動作の物理的類推は、マーカー１４０の配置候補のバリアまたはしきいとしての役目を果たす画像ディテールの類推であってもよい。

【0060】

領域１３０のサイズを決定するために使用される配置速度の代替としてまたはそれに加えて、ユーザ入力１６０は、領域１３０のサイズを示す範囲データ１６５をユーザから受け取るように構成されていてもよい。範囲データ１６５は、たとえば、サイズを示すためにスライダをドラッグすることにより、領域１３０の前記サイズを示すユーザの選択から取得されてもよい。また、プロセッサ１８０は、範囲データ１６５に依存して領域１３０のサイズを確定するように構成されていてもよい。したがって、ユーザは、前記範囲データを提供することにより領域１３０のサイズに影響を与えてもよい。

【0061】

図６ｂは、システム１００の動作の別の実施例を示す。第２の配置位置１２５の選択は、図６ａに示されそれを参照して説明されたシステム１００の動作に従ってもよい。ここでは、選択された第２の配置位置１２５が、図６ａに示されているように複数の配置位置１２２、１２３、１２４、１２５のうち、マーカー１４０に最も類似している、対応するがまだ描かれていない画像部分を有することが図示されている。しかし、第２の配置位置１２５は、胸筋１０４と完全には位置合わせされていない。プロセッサ１８０は、マーカー１４０を注釈付けされる画像部分、すなわち、第２の配置位置１２５に部分的にのみ位置している胸筋１０４に一致させるために、配置するステップの途中または前のいずれかで、マーカー１４０の形状、方位もしくはサイズ、またはこれらの組合せを調整することによりマーカー１４０を配置するように構成されていてもよい。この特定の実施例では、マーカー１４０は、胸筋１０４の方位により良く一致させるために回転させられ、引き続き、前記回転後に配置される。実際、これは、結果として、マーカー１４０の調整に従って調整された第２の配置位置１２５をもたらし、結果として第２の配置位置１２５に対して回転した第２の配置位置１２６をもたらす。

【0062】

第２の配置位置にある画像部分に対してマーカー１４０を調整するために、画像処理および画像解析の分野からの様々な技術が使用されてもよい。たとえば、ハフ変換は、胸筋１０４の方位を決定するために使用されてもよく、マーカー１４０がその後にそれに従って回転させられる。マーカー１４０が、たとえば、頂点および面を備えるコンピュータグラフィックモデルである場合、画像部分のある特徴が、たとえば、画像セグメンテーションまたは画像解析アルゴリズムを使用して検出されてもよく、マーカー１４０は、画像部分の検出された特徴に適合するように変形されてもよく、すなわち、マーカー１４０は、変形可能なマーカーであってもよい。

【0063】

一般に、そして、図１に示されているように、ユーザ入力１６０は、画像内の注釈付けされる画像部分のタイプを示すタイプデータ１６３を受け取るように構成されていてもよく、プロセッサは、画像部分のタイプおよびマーカーに視覚的に対応する画像部分に応答するようにタイプデータに依存して画像処理アルゴリズムを構成するようにさらに構成されていてもよい。したがって、ユーザは、たとえば、画像部分の例またはテンプレート上をクリックすることにより、画像内の注釈付けをしたいと望む画像部分のタイプを選択してもよい。画像処理アルゴリズムは、その後、画像部分の選択されたタイプおよびマーカーに均等に応答するが、画像部分の選択されたタイプおよびマーカーの両方に類似する画像部分に一層応答するように構成されていてもよい。画像部分のタイプは、たとえば、どのようなタイプの画像部分に注釈付けされるかが分かっているとき、システムによって自動的に選択されてもよい。たとえば、２Ｄ乳房撮影像において解剖学的目印に注釈付けするとき、画像部分のタイプは、典型的には、乳頭または乳房下溝線であることが分かっている。それ故に、画像処理アルゴリズムは、いずれかのタイプに応答するように構成されていてもよい。

【0064】

プロセッサは、数学的最適化の分野からの技術を使用して第２の配置位置を確定するようにさらに構成されていてもよい。特に、注釈付けされる画像部分は、領域または画像全体の内部の全てまたは実質的に全ての画像部分のうちのいずれか１つであってもよい。画像部分の全てに関して一致度を決定することは、高い計算複雑性をもたらすことがある。この高い計算複雑性を回避するために、プロセッサは、たとえば、一致度が最適化される関数として使用され、前記関数の中の変数が領域内部の位置である勾配降下または類似の最適化法を適用するように構成されていてもよい。したがって、プロセッサは、第２の配置位置に反復的に到達することができ、この位置が最適化法によって取得された結果である。したがって、画像部分の全てに関する一致度の網羅的な計算が回避される。この場合、領域は、たとえば、反復の回数または第１の配置位置までの距離に関連する最適化法における１つ以上のパラメータを設定または調整することにより確定されてもよいことが理解されよう。

【0065】

一般に、システムは、第２の配置位置が意図された位置に不注意で対応しない場合、すなわち、注釈付けされる画像部分に対応しない場合、ユーザがシステムに第２の配置位置を再び確定することを要求する新しい配置コマンドを提供することにより、または、システムにマーカーの配置をさらに改良することを要求することなく、マーカーを手動で配置することにより、第２の配置位置を補正することができるように構成されていてもよいことに留意されたい。

【0066】

複数の画像部分が第１の配置位置に位置している第１の画像部分と、さらなる配置位置に位置しているさらなる画像部分とにより構成されていてもよく、システムは、このようにして、マーカーと前記画像部分との間の一致度を比較し、両方の画像部分のうちの一方に、すなわち、最高一致度をもたらす画像部分にマーカーを配置することにさらに留意されたい。第２の配置位置は、さらなる配置位置であってもよいが、マーカーと第１の画像部分との間の一致度が最高一致度である場合、均等に第１の配置位置であってもよい。

【0067】

本発明は、本発明を実施するように適合なされたコンピュータプログラム、特に、担体上または担体内のコンピュータプログラムにもあてはまることが理解されよう。プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形のようなコード中間ソースおよびオブジェクトコードの形、または、本発明による方法の実施で用いるのに適した他の形であってもよい。このようなプログラムは、多くの異なるアーキテクチャ設計を有してもよいことがさらに理解されよう。たとえば、本発明による方法またはシステムの機能を実施するプログラムコードは、１つ以上のサブルーチンに細分化されてもよい。これらのサブルーチンの間に機能を分散させる多くの異なる方式は、当業者に明白であろう。サブルーチンは、内蔵プログラムを形成するために１つの実行可能なファイルに一緒に記憶されてもよい。このような実行可能なファイルは、コンピュータ実行可能な命令、たとえば、プロセッサ命令および／またはインタープリタ命令（たとえば、Ｊａｖａ（登録商標）インタープリタ命令）を備えてもよい。代替的に、サブルーチンのうちの１つ以上または全ては、少なくとも１つの外部ライブラリファイルに記憶され、静的または動的に、たとえば、ランタイムでメインプログラムとリンクされてもよい。メインプログラムは、サブルーチンのうちの少なくとも１つへの少なくとも１回の呼び出しを含む。サブルーチンは、互いへの関数呼び出しをさらに備えてもよい。コンピュータ・プログラム・プロダクトに関する実施形態は、本明細書に記載された方法のうちの少なくとも１つの各処理ステップに対応するコンピュータ実行可能な命令を備える。これらの命令は、サブルーチンに細分化されてもよく、および／または、静的もしくは動的にリンクされ得る１つ以上のファイルに記憶されてもよい。コンピュータ・プログラム・プロダクトに関する別の実施形態は、本明細書に記載されたシステムおよび／またはプロダクトのうちの少なくとも１つの各手段に対応するコンピュータ実行可能な命令を備える。これらの命令は、サブルーチンに細分化されてもよく、および／または、静的もしくは動的にリンクされ得る１つ以上のファイルに記憶されてもよい。

【0068】

コンピュータプログラムの担体は、プログラムを担持する能力をもつ如何なる実体または機器であってもよい。たとえば、担体は、ＲＯＭ、たとえば、ＣＤ ＲＯＭもしくは半導体ＲＯＭ、または、磁気記録媒体、たとえば、ハードディスクのような記憶媒体を含んでもよい。さらに、担体は、電気もしくは光ケーブルを介して、または、無線もしくはその他の手段によって伝送され得る電気または光信号のような伝送可能な担体であってもよい。プログラムがこのような信号で具現化されるとき、担体は、このようなケーブルまたはその他の機器もしくは手段により構成されていてもよい。代替的に、担体は、プログラムが組み込まれた集積回路であってもよく、集積回路は、当該方法を実行するように、または、当該方法の実行で使用されるように適合されている。

【0069】

上記実施形態は、本発明を限定するのではなく、例示すること、および、当業者は、添付の特許請求の範囲から逸脱することなく、多くの代替的な実施形態を設計することができることに留意されたい。特許請求の範囲では、括弧付きの参照符号は、請求項を限定するものとして解釈されるべきではない。動詞「備える」およびその活用形の使用は、請求項に記載された要素またはステップ以外の要素またはステップの存在を排除しない。単数の要素は、複数のこのような要素が存在することを排除しない。本発明は、いくつかの別々の要素を備えるハードウェアを用いて、かつ、適当にプログラムされたコンピュータを用いて実施され得る。いくつかの手段を挙げる装置請求項では、これらの手段のうちのいくつかは、ハードウェアの全くの同一物によって具現化されてもよい。ある対策が互いに異なる従属請求項に挙げられているという単なる事実は、これらの対策の組合せが有利になるように使用できないということを示唆するものではない。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図3d】

【図4】

【図5】

【図6a】

【図6b】