特許 6971544 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971544

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   A61B 8/13 20060101AFI20211111BHJP

   A61B 5/055 20060101ALI20211111BHJP

【ＦＩ】

   A61B8/13

   A61B5/055 380

   A61B5/055 390

【請求項の数】17

【全頁数】19

(21)【出願番号】特願2016-147779(P2016-147779)

(22)【出願日】2016年7月27日

(65)【公開番号】特開2017-35469(P2017-35469A)

(43)【公開日】2017年2月16日

【審査請求日】2019年7月12日

(31)【優先権主張番号】特願2015-156241(P2015-156241)

(32)【優先日】2015年8月6日

(33)【優先権主張国】JP

【前置審査】

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】特許業務法人大塚国際特許事務所

(72)【発明者】

【氏名】遠藤 隆明

(72)【発明者】

【氏名】佐藤 清秀

【審査官】 ▲高▼ 芳徳

(56)【参考文献】

【文献】 特開２００９−０２２４５９（ＪＰ，Ａ）

【文献】 特開２０１４−０５４３６２（ＪＰ，Ａ）

【文献】 特開平０９−０５６７１５（ＪＰ，Ａ）

【文献】 特開２００９−２７３５９７（ＪＰ，Ａ）

【文献】 特開２０１４−１２８３２０（ＪＰ，Ａ）

【文献】 国際公開第２０１３／００８４１７（ＷＯ，Ａ１）

【文献】 特開２０１５−０００１３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／００ − ８／１５

Ａ６１Ｂ ５／００， ５／０５５

Ａ６１Ｂ ６／００ − ６／１４

(57)【特許請求の範囲】

【請求項1】

第１装置により撮像された被写体の第１画像の撮像時における指向性の向きを表す方向情報を取得する取得手段と、
第２装置により撮像された前記被写体の第２画像から注目組織の画像を抽出する抽出手段と、
前記第２画像から前記第１画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記被写体の注目組織の向きを表す方向情報を取得する組織方向取得手段と、
前記指向性の向きを表す方向情報と前記被写体の注目組織の向きを表す方向情報とからなる角度情報に基づいて、前記第１画像における前記注目組織の各画素位置に対応する明瞭度を算出し、当該明瞭度に基づいて、前記第１画像における前記注目組織の画像描出態様を推定する推定手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記第２画像から前記第１画像への変換規則を取得し、前記変換規則を用いて前記第２画像を第１画像に合わせて変形させて前記第２画像の変形画像を生成する位置合わせ手段を更に有し、
前記組織方向取得手段は、前記注目組織を表す画像と前記変換規則に基づいて、前記被写体の注目組織の向きを表す方向情報を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記抽出手段は、前記注目組織を表す画像として、該注目組織の画素値が所定の値で、該注目組織以外の画素値が該所定の値以外の値となるラベル画像を生成し、
前記組織方向取得手段は、前記変換規則を用いて該ラベル画像を変換して変形ラベル画像を生成し、該変形ラベル画像における前記所定の値を有する画素位置に基づいて、前記被写体の注目組織の向きを表す方向情報を算出することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記推定手段は、前記変形ラベル画像における前記所定の画素値を有する画素位置において、前記指向性を表す情報と前記被写体の注目組織の向きを表す方向情報に基づいて前記注目組織の描出の明瞭度を算出し、該明瞭度と前記第２画像の変形画像に基づいて、前記第１画像における前記注目組織の各画素位置に対応する前記注目組織の画像描出態様を推定することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記位置合わせ手段は、推定された前記第１画像における前記注目組織の各画素位置に対応する画素値に基づいて前記変換規則を更新することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第２画像の変形画像に、推定された前記第１画像における前記注目組織の各画素位置に対応する画素値で前記注目組織を重畳表示した画像を表示画像として生成する表示画像生成手段を更に有することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記注目組織と周辺組織との判別しやすさを調整するように、前記第２画像の変形画像における前記注目組織の画素値を調整するための第１パラメータと、該第１パラメータによる調整後の前記第２画像の変形画像上に重畳表示する際の透過度を調整するための第２パラメータを設定する設定手段を更に有し、
前記表示画像生成手段は、前記第１パラメータと前記第２パラメータに基づいて前記表示画像を生成することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記表示画像生成手段は、推定された前記第１画像における前記注目組織の各画素位置に対応する画素値に基づいて、前記第１画像における前記注目組織に対応する部位の画素値を補正し、該補正した画像を前記表示画像として生成することを特徴とする請求項６または７に記載の画像処理装置。

【請求項9】

推定された前記第１画像における前記注目組織の各画素位置に対応する画素値に基づいて、前記第１画像の診断を支援する情報を求める導出手段を更に有することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。

【請求項10】

前記第１装置はＰＡＴ（ＰｈｏｔｏＡｃｏｕｓｔｉｃ Ｔｏｍｏｇｒａｐｈｙ）装置であり、前記第２装置はＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置であることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。

【請求項11】

前記注目組織は血管であることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。

【請求項12】

第１装置により撮像された被写体の第１画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得手段と、
第２装置により撮像された前記被写体の第２画像から注目組織の画像を抽出する抽出手段と、
前記第２画像から前記第１画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出手段と、
前記変換された注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第１画像における前記注目組織の画像描出態様を推定する推定手段と、
を有することを特徴とする画像処理装置。

【請求項13】

第１装置により撮像された被写体の第１画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得手段と、
第２装置により撮像された前記被写体の第２画像から注目組織の画像を抽出する抽出手段であって、前記第１画像と前記第２画像が予め位置合わせされている、抽出手段と、
前記注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出手段と、
前記注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第１画像における前記注目組織の画像描出態様を推定する推定手段と、
を有することを特徴とする画像処理装置。

【請求項14】

第１装置により撮像された被写体の第１画像の撮像時における指向性の向きを表す方向情報を取得する取得工程と、
第２装置により撮像された前記被写体の第２画像から注目組織の画像を抽出する抽出工程と、
前記第２画像から前記第１画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記被写体の注目組織の向きを表す方向情報を取得する組織方向取得工程と、
前記指向性の向きを表す方向情報と前記被写体の注目組織の向きを表す方向情報とからなる角度情報に基づいて、前記第１画像における前記注目組織の各画素位置に対応する明瞭度を算出し、当該明瞭度に基づいて、前記第１画像における前記注目組織の画像描出態様を推定する推定工程と、
を有することを特徴とする画像処理方法。

【請求項15】

第１装置により撮像された被写体の第１画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得工程と、
第２装置により撮像された前記被写体の第２画像から注目組織の画像を抽出する抽出工程と、
前記第２画像から前記第１画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出工程と、
前記変換された注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第１画像における前記注目組織の画像描出態様を推定する推定工程と、
を有することを特徴とする画像処理方法。

【請求項16】

第１装置により撮像された被写体の第１画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得工程と、
第２装置により撮像された前記被写体の第２画像から注目組織の画像を抽出する抽出工程であって、前記第１画像と前記第２画像が予め位置合わせされている、抽出工程と、
前記注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出工程と、
前記注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第１画像における前記注目組織の画像描出態様を推定する推定工程と、
を有することを特徴とする画像処理方法。

【請求項17】

コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元断層画像を提示するための画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

医療の分野において、医師は、磁気共鳴映像装置（以下、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置と呼ぶ）、超音波診断装置、光音響撮像装置（以下、ＰＡＴ（ＰｈｏｔｏＡｃｏｕｓｔｉｃ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）、コンピュータ断層撮像装置（以下、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）等の様々なモダリティによって撮像された医用画像を用いた診断を行う。使用するモダリティや撮像モードによっては、注目組織が実際には欠損していないにも関わらず、あたかも欠損しているかのように描出される場合がある（すなわち、偽欠損箇所）。特許文献１には、医用画像の撮像において発生する注目組織の偽欠損箇所を抽出し、注目組織の向きを表す情報に基づいて補間して表示する手法が開示されている。

【0003】

また、医師は、様々なモダリティによって撮像された医用画像を併用した診断を行う場合や、撮像モードや撮影体位、時相、撮影日時等の異なる同一モダリティの画像を比較した診断を行う場合がある。このような場合においても、撮像時における指向性の影響により、同じ組織の描出態様が対象画像（比較される一方の画像）と参照画像（比較される他方の画像）で異なる場合がある。非特許文献１には、参照画像に基づいて、撮像時における指向性がある対象画像の描出態様を推定し提示する手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−２６８７４１号公報

【非特許文献】

【0005】

【非特許文献1】Ｗ．Ｗｅｉｎ，Ａ．Ｋｈａｍｅｎｅ，Ｄ−Ａ. Ｃｌｅｖｅｒｔ，Ｏ．Ｋｕｔｔｅｒ，ａｎｄ Ｎ．Ｎａｖａｂ，“Ｓｉｍｕｌａｔｉｏｎ ａｎｄ ｆｕｌｌｙ ａｕｔｏｍａｔｉｃ ｍｕｌｔｉｍｏｄａｌ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｍｅｄｉｃａｌ ｕｌｔｒａｓｏｕｎｄ，”Ｐｒｏｃ．ＭＩＣＣＡＩ’０７，ｖｏｌ．１，ｐｐ．１３６−１４３，２００７．

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、特許文献１に記載の方法は、注目組織が描出されない偽欠損箇所が広範囲に及ぶ場合には、補間が必ずしもうまくいくとは限らないという課題がある。一方、非特許文献１に記載の方法は、注目組織に基づく処理を行っていないので、対象画像における注目組織の描出態様を適切に推定することができないという課題がある。

【0007】

本発明はかかる課題を解決するためになされたものであり、対象画像における注目組織の画像描出態様を適切に推定することを目的とする。

【課題を解決するための手段】

【0008】

上記の目的を達成するための本発明の一様態による画像処理装置は、以下の構成を有する。すなわち、第１装置により撮像された被写体の第１画像の撮像時における指向性の向きを表す方向情報を取得する取得手段と、第２装置により撮像された前記被写体の第２画像から注目組織の画像を抽出する抽出手段と、前記第２画像から前記第１画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記被写体の注目組織の向きを表す方向情報を取得する組織方向取得手段と、前記指向性の向きを表す方向情報と前記被写体の注目組織の向きを表す方向情報とからなる角度情報に基づいて、前記第１画像における前記注目組織の各画素位置に対応する明瞭度を算出し、当該明瞭度に基づいて、前記第１画像における前記注目組織の画像描出態様を推定する推定手段と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、対象画像における注目組織の画像描出態様を適切に推定することが可能となる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態における画像処理システムおよび画像処理装置の機能構成を示す図。

【図2】第１実施形態における画像処理装置の処理手順を示すフローチャート。

【図3】第１実施形態における組織方向算出部１１８の処理手順を示すフローチャート。

【図4】第１実施形態における第２画像の変形画像の例を示す模式図。

【図5】第１実施形態における描出態様推定部１２０の処理手順を示すフローチャート。

【図6】第１実施形態における画像処理装置が生成する画像の例を示す模式図。

【図7】第１実施形態における画像処理装置が生成する画像の別の例を示す模式図。

【図8】第２実施形態における画像処理装置が生成する画像の例を示す模式図。

【図9】第３実施形態における画像処理システムおよび画像処理装置の機能構成を示す図。

【図10】第３実施形態における画像処理装置の処理手順を示すフローチャート。

【図11】第１実施形態における撮像装置の例を示す図。

【図12】第１実施形態における撮像装置の別の例を示す図。

【発明を実施するための形態】

【0011】

以下、添付の図面を参照しながら、本発明の実施の形態について詳説する。ただし、本発明の範囲は図示例に限定されるものではない。

【0012】

（第１実施形態）
本実施形態における画像処理装置は、被検体の参照画像における注目組織の向きを表す情報に基づいて、対象画像（比較される一方の画像）における注目組織の画像描出態様を推定する。画像描出態様とは、画像として描き出されるありさまを表す。そして、画像処理装置は、推定された画像描出態様に基づいて、注目組織の参照画像（比較される他方の画像）における表示態様を変更する。表示態様は、視覚的に表現されるありさまを表す。なお、本実施形態では、被検体は異なるモダリティによって撮像され、それぞれ対象画像（以下、第１画像とも呼ぶ）と参照画像（以下、第２画像とも呼ぶ）と称される。また、本実施形態では、被検体は乳房であり、対象画像（第１画像）がＰＡＴ画像（ＰＡＴ装置によって撮像された画像）、参照画像（第２画像）がＭＲＩ画像（ＭＲＩ装置によって撮像された画像）、注目組織が血管であるとして、以下の説明を行う。

【0013】

図１は、本実施形態における画像処理システム１の構成を示す。同図に示すように、本実施形態における画像処理システム１は、データサーバ１８０、画像処理装置１００、表示部１９０を有している。ただし、画像処理システム１の構成要素はこれらの装置等に限定されるものではなく、さらに別の構成要素を含んでもよいし、その一部が含まれないように構成してもよい。

【0014】

データサーバ１８０は、観察対象である被検体の第１画像と第２画像を保持している。また、データサーバ１８０は、第１画像と第２画像の間の位置合わせ情報を保持している。データサーバ１８０は、画像処理装置１００からの要求に応じて、これらの情報を画像処理装置１００へと出力する。

【0015】

なお、第１画像と第２画像の間の位置合わせ情報とは、位置合わせの手掛かりとなる情報、あるいは、位置合わせの結果である。例えば前者（位置合わせの手掛かりとなる情報）として、データサーバ１８０は、第１画像と第２画像の両方に共通して描出される血管構造の分岐部等の対応点群の３次元座標を保持している。対応点は予め医師や技師によって手作業で入力された点であってもよいし、画像処理によって取得した点であってもよい。また、例えば後者（位置合わせの結果）として、データサーバ１８０は、画像間の剛体変換パラメータ，アフィン変換パラメータ，非線形変形モデルのパラメータ，変形場等を保持している。これらの情報は、画像間の対応付けや位置合わせを行う不図示の他の画像処理装置を用いて事前に導出される。表示部１９０は、画像処理装置１００から出力される画像を表示する。

【0016】

画像処理装置１００は、画像取得部１１０、指向性情報取得部１１２、注目組織抽出部１１４、位置合わせ部１１６、組織方向算出部１１８、描出態様推定部１２０、パラメータ設定部１２２、表示画像生成部１２４、および表示制御部１２６を備えている。画像処理装置１００は、データサーバ１８０と表示部１９０に接続されている。

【0017】

画像取得部１１０は、被検体の第１画像と第２画像をデータサーバ１８０から取得する。指向性情報取得部１１２は、第１装置により撮像された被写体の第１画像の撮像時における指向性を表す情報を取得する。注目組織抽出部１１４は、第２装置により撮像された該被写体の第２画像から注目組織（本実施形態では血管）の画像を抽出する。なお、本実施形態では、第１装置はＰＡＴ装置であり、第２装置はＭＲＩ装置である。位置合わせ部１１６は、第２画像から第１画像への変換規則を取得し、該変形規則を用いて第２画像を第１画像に合わせて変形させて、第２画像の変形画像を生成する。組織方向算出部１１８は、注目組織の画像に基づいて注目組織の向きを表す情報（本実施形態では血管の走行情報）を算出する。描出態様推定部１２０は、指向性を表す情報と注目組織の画像との関係に基づいて、第１画像における注目組織の画像描出態様を推定する。パラメータ設定部１２２は、表示画像生成のための表示パラメータを設定する。表示画像生成部１２４は、パラメータ設定部１２２が設定したパラメータに基づいて、第１画像と第２画像から表示画像を生成する。表示制御部１２６は、生成された表示画像を表示部１９０に表示する制御を行う。

【0018】

次に、図２のフローチャートを参照して、本実施形態における画像処理装置１００が実施する処理の手順について説明する。

【0019】

（Ｓ２０００：画像の取得）
ステップＳ２０００において、画像取得部１１０は、被検体の第１画像と第２画像をデータサーバ１８０から取得する。

【0020】

（Ｓ２０１０：指向性情報の取得）
ステップＳ２０１０において、指向性情報取得部１１２は、第１画像の撮像時における指向性を表す情報（指向性情報）をデータサーバ１８０から取得する。本実施形態では、指向性情報取得部１１２は、指向性を表す情報として、指向性の向きを表す方向情報（方向ベクトル）と、指向性の高さを表す角度情報（角度のスカラー値）を取得する。

【0021】

ここで、図１１と図１２を用いて、指向性を表す情報の例を説明する。図１１は、本実施形態における撮像装置の例を示す図であり、図１２は、本実施形態における撮像装置の別の例を示す図である。図１１に示すＰＡＴ装置１１１０は、開口部１１１２に挿入された被験者１１００の乳房１１０１が２つの保持部材１１１３及び１１１４に挟まれることにより保持される平行平板型の装置である。図１２に示すＰＡＴ装置１２１０は、開口部１２０３に挿入された乳房１２０１が保持膜１２０４により保持される保持膜型の装置である。図１２に示すＰＡＴ装置１２１０においては、照射部１２０８が乳房１２０１に対して光照射を行い、当該光照射により発生する音響波を超音波探触子１２０５で検出する。図１２に示すＰＡＴ装置１２１０においては、超音波探触子１２０５及び照射部１２０８を含む撮像ユニット１２０９が可動ステージ１２０７により移動させられる。図１２に示すＰＡＴ装置１２１０においては、形状計測装置１２０６により乳房１２０１の形状が計測されている。第１画像（ＰＡＴ画像）を撮像する撮像装置が図１１に示すような平行平板型のＰＡＴ装置１１１０である場合には、指向性情報取得部１１２は、指向性の向きを表す方向情報として、保持版１１１４の法線方向を設定すればよい。そして、指向性情報取得部１１２は、指向性の高さを表す角度情報としては、例えば３０度という値を設定すればよい。また、第１画像（ＰＡＴ画像）を撮像する撮像装置が図１２に示すような保持膜型のＰＡＴ装置１２１０である場合には、指向性情報取得部１１２は、指向性の向きを表す方向情報（方向ベクトル）として、ＰＡＴ装置１２１０の上面１２０２の法線方向（あるいは、撮像ユニット１２０９の回転軸の方向）を設定すればよい。そして、指向性情報取得部１１２は、指向性の高さを表す角度情報としては、例えば６０度という値を設定すればよい。

【0022】

なお、指向性情報取得部１１２は、指向性の高さを表す角度情報として、前述のように固定値ではなく、第１画像中の画素の位置に応じた値を取得してもよい。例えば、第１画像（ＰＡＴ画像）の撮像装置が図１２に示すようなＰＡＴ装置１２１０である場合には、指向性情報取得部１１２は、乳房１２０１の大胸筋付近の画素の位置における角度を、乳頭付近の画素の位置における角度よりも小さく設定すればよい。なお、指向性情報取得部１１２は、指向性の高さを表す角度情報を、必ずしもデータサーバ１８０から取得する必要はない。例えば、指向性情報取得部１１２は、画像処理装置１００の操作者により不図示のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を介して入力された角度情報を取得するようにしてもよい。

【0023】

（Ｓ２０２０：注目組織の抽出）
ステップＳ２０２０において、注目組織抽出部１１４は、第２画像から注目組織（本実施形態では血管）の画像を抽出する画像処理を実行する。例えば、周辺の組織と比較して注目組織の画素値が高い場合には、注目組織抽出部１１４は、判別分析法等によって高画素値の領域と低画素値の領域とに領域分割する。この場合、高画素値の領域が注目組織に相当する領域となる。なお、第２画像から注目組織の画像を抽出する処理は、判別分析法に限らず、例えばｐ−タイル法や公知の機械学習の手法等を用いてもよい。あるいは、画像処理装置１００の操作者が、表示部１９０に表示された第２画像の断面画像を観察しながら、画像処理装置１００へ注目組織の画像の情報を入力するようにしてもよい。本実施形態では、注目組織抽出部１１４は、注目組織の画像として、注目組織の画素値が所定の値（例えば、１）で、該注目組織以外の画素値が該所定の値以外の値（例えば、０）となるラベル画像を生成して保持するものとする。なお、データサーバ１８０が注目組織の画像を表す情報を保持している場合には、注目組織抽出部１１４は、本ステップの処理として、データサーバ１８０からその情報を取得する。

【0024】

（Ｓ２０３０：位置合わせ）
ステップＳ２０３０において、位置合わせ部１１６は、第１画像と第２画像の間の位置合わせ処理（第２画像から第１画像への変換規則を算出する処理）を行う。位置合わせには、例えば、特徴点の対応付けや画像類似度に基づくＦＦＤ（Ｆｒｅｅ−ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）法や、ＬＤＤＭＭ（Ｌａｒｇｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｏｍｏｒｐｈｉｃ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇ）法等の公知の方法が用いられる。また、画像間の変形が小さい場合や無視できる場合（画像処理装置１００の操作者が指示した場合）には、位置合わせ部１１６は、アフィン変換や剛体変換等の線形変換による画像間の座標変換を変換規則として算出する。

【0025】

なお、データサーバ１８０が第２画像から第１画像への変換規則の情報を保持している場合には、位置合わせ部１１６は、データサーバ１８０からその情報を取得する。また、データサーバ１８０が位置合わせの手掛かりとなる情報を保持している場合には、位置合わせ部１１６は、データサーバ１８０からその情報を取得して、該情報に基づいて変換規則を算出する。例えば、位置合わせ部１１６は、位置合わせの手掛かりとなる情報として対応点の情報を取得した場合、該対応点に基づいて変換規則を算出する。

【0026】

次に、位置合わせ部１１６は、上記のようにして得た変換規則を用いて、第２画像を第１画像に合わせて変形させて、第２画像の変形画像（本実施形態では変形ＭＲＩ画像）を生成する。図４は、以上の処理によって生成される第２画像の変形画像（変形ＭＲＩ画像４００）の例を示す図である。図４に示す変形ＭＲＩ画像４００には、血管４０１及び腫瘍４０２が表されている。

【0027】

（Ｓ２０４０：注目組織の向きの算出）
ステップＳ２０４０において、組織方向算出部１１８は、ステップＳ２０２０で抽出されたラベル画像と、ステップＳ２０３０で算出された変換規則に基づいて、注目組織の向きを表す情報を算出する。本実施形態では、注目組織の向きを表す情報として、組織方向算出部１１８は、血管の走行方向を算出するものとする。以下、図３のフローチャートを用いて、本ステップにおける処理の詳細を説明する。図３は、組織方向算出部１１８の処理手順を示すフローチャートである。組織方向算出部１１８は、該変換規則を用いて該ラベル画像を変換して変形ラベル画像を生成し、該変形ラベル画像における所定の値を有する画素位置に基づいて、注目組織の向きを表す情報を算出する。

【0028】

（Ｓ３０００：変形ラベル画像の生成）
ステップＳ３０００において、組織方向算出部１１８は、ステップＳ２０２０で第２画像から抽出された注目組織を表すラベル画像を第１画像に合わせて変換して、変形ラベル画像を生成する。

【0029】

（Ｓ３０１０：細線化）
ステップＳ３０１０において、組織方向算出部１１８は、注目組織の変形ラベル画像に対して、公知の細線化処理を施して、細線化された画素列を算出する。あるいは、画像処理装置１００の操作者が、表示部１９０に表示した第２画像の変形画像または変形ラベル画像の断面画像を観察しながら、画像処理装置１００へ注目組織の芯線を表す曲線を入力するようにしてもよい。

【0030】

（Ｓ３０２０：折線近似）
ステップＳ３０２０において、組織方向算出部１１８は、ステップＳ３０１０で細線化された画素列に対して２分割法等の公知のベクトル化処理を施して、画素列を近似する折線を算出する。あるいは、ステップＳ３０１０およびＳ３０２０の代わりに、画像処理装置１００の操作者が、表示部１９０に表示した第２画像の変形画像または変形ラベル画像の断面画像を観察しながら、画像処理装置１００へ注目組織の芯線を表す折線を入力するようにしてもよい。

【0031】

（Ｓ３０３０：方向ベクトルの算出）
ステップＳ３０３０において、組織方向算出部１１８は、ステップＳ３０１０で細線化された画素毎に、ステップＳ３０２０で算出した折線の向きを表す方向ベクトルを算出する。

【0032】

（Ｓ３０４０：折線方向画像の生成）
ステップＳ３０４０において、組織方向算出部１１８は、ステップＳ３０３０で算出した方向ベクトルの各成分を画素値とする折線方向画像（Ｘ方向折線画像、Ｙ方向折線画像、およびＺ方向折線画像）を生成する。

【0033】

（Ｓ３０５０：組織方向画像の生成）
ステップＳ３０５０において、組織方向算出部１１８は、変形ラベル画像の画素値が所定の値（例えば、１）である画素位置で、かつ、折線方向画像に画素値が設定されていない画素について、折線方向画像に画素値が設定されている最近傍の画素位置の画素値を設定する。本ステップの処理により生成される組織方向画像（Ｘ方向画像、Ｙ方向画像、およびＺ方向画像）が、注目組織の向きを表す情報となる。以上のようにして、組織方向算出部１１８によるステップＳ２０４０の処理が実行される。

【0034】

（Ｓ２０５０：描出態様の推定）
図２に戻り、ステップＳ２０５０において、画像処理装置１００は、描出態様推定部１２０の処理として、ステップＳ２０１０で取得された指向性を表す情報と、ステップＳ２０４０で算出された注目組織の向きを表す情報との関係に基づいて、第１画像における注目組織の画像描出態様を推定する。以下、図５のフローチャートを用いて、本ステップにおける処理の詳細を説明する。図５は、本実施形態における描出態様推定部１２０の処理手順を示すフローチャートである。描出態様推定部１２０は、変形ラベル画像における所定の画素値を有する画素位置において、指向性を表す情報と注目組織の向きを表す情報に基づいて注目組織の描出の明瞭度を算出し、該明瞭度と前記第２画像の変形画像に基づいて画像描出態様を推定する。

【0035】

（Ｓ５０００：角度の算出）
ステップＳ５０００において、描出態様推定部１２０は、変形ラベル画像の画素値が所定の値（例えば、１）である各画素位置において、指向性の向きを表す方向ベクトルと注目組織の向きを表す方向ベクトルとのなす角度θを算出する。ここで、注目組織の向きを表す方向ベクトルは、ステップＳ２０４０で生成された組織方向画像から取得される。

【0036】

（Ｓ５０１０：明瞭度の算出）
ステップＳ５０１０において、描出態様推定部１２０は、変形ラベル画像の画素値が１である各画素位置において、ステップＳ５０００で算出した角度θと指向性の高さを表す角度φとの関係に基づいて、注目組織の描出の明瞭度を算出する。すなわち、描出態様推定部１２０は、各画素位置における明瞭度が設定された明瞭度画像を生成する。例えば、９０度からθを引いた角度がφよりも小さい場合には、注目組織が描出されることが期待されるので、描出態様推定部１２０は、明瞭度（注目組織が明瞭に描出される度合い）を１に設定する。そして、それ以外の場合には、注目組織が描出されないと推定されるので、描出態様推定部１２０は、明瞭度を０に設定する。

【0037】

なお、明瞭度は０と１の２値に限らず、０から１までの連続的な値として設定してもよい。その場合、９０度からθを引いた角度がφと等しい場合に、明瞭度が０．５となるように設定することが望ましい。あるいは、明瞭度と、９０度からθを引いた角度とφとの間の角度差との関係を表すテーブルが予め作成してデータサーバ１８０に保持され、ステップＳ２０１０において、指向性情報取得部１１２が指向性の高さに関する情報として取得するようにしてもよい。その場合、本ステップにおいて、描出態様推定部１２０は、当該テーブルに基づいて明瞭度を設定すればよい。なお、変形ラベル画像の画素値が０である各画素位置については、描出態様推定部１２０は、明瞭度画像の画素値を０に設定する。

【0038】

（Ｓ５０２０：描出態様の推定画像の生成）
ステップＳ５０２０において、描出態様推定部１２０は、第２画像の変形画像の画素値に対して対応する明瞭度画像の画素値（明瞭度）を掛け合わせることによって、注目組織の画像描出態様の推定画像を生成する。以上のようにして、描出態様推定部１２０によるステップＳ２０５０の処理が実行される。

【0039】

（Ｓ２０６０：表示パラメータの設定）
図２に戻り、ステップＳ２０６０において、パラメータ設定部１２２は、表示画像生成のための表示パラメータとして、第２画像の変形画像における注目組織の画素値を調整するための第１パラメータと、該第１パラメータによる調整後の第２画像の変形画像上に重畳表示する際の透過度を調整するための第２パラメータを、不図示のＵＩを介した操作者の入力に基づいて設定する。具体的には、パラメータ設定部１２２は、第２画像の変形画像における注目組織の画素値を調整する（注目組織と周辺組織との判別しやすさを調整する）ためのパラメータＬ（０≦Ｌ≦１）を、第１のパラメータとして、操作者の入力に基づいて設定する。また、パラメータ設定部１２２は、ステップＳ２０５０で生成された推定画像を、前記調整後の第２画像の変形画像上に重畳表示する際の透過度を調整するパラメータＴ（０≦Ｔ≦１）を、第２のパラメータとして設定する。これらのパラメータに基づいて画素値を算出する処理については、後述のステップＳ２０７０で説明する。

【0040】

（Ｓ２０７０：表示画像の生成）
ステップＳ２０７０において、表示画像生成部１２４は、第２画像の変形画像に、推定された画像描出態様で注目組織を重畳表示した画像を表示画像として生成する。具体的には、表示画像生成部１２４は、操作者が設定した切断面によって切り取られる第２画像の変形画像の断面画像上に、ステップＳ２０５０で推定された画像描出態様で注目組織を重畳表示した画像を表示画像として生成する。このとき、表示画像生成部１２４は、ステップＳ２０６０で求められた第１のパラメータ（Ｌ）と第２のパラメータ（Ｔ）に基づいて表示画像を生成する。具体的には、まず、ステップＳ２０６０で設定されたパラメータＬに基づいて、表示画像生成部１２４は、以下の式によって、第２画像の変形画像における注目組織の画素値Ｉ２を画素値Ｉ２’に変更する。
（数１）
Ｉ２’ ＝ ＩＳ ＋ Ｌ・（Ｉ２−ＩＳ）
ただし、ＩＳは、注目組織の周辺に存在する組織（以下、周辺組織と呼ぶ）の代表的な画素値であり、例えば、注目組織の輪郭に外接する画素値の平均値を用いることができる。ここで、パラメータＬが１の時は注目組織の画素値はＩ２から変更されないことになる。一方、パラメータＬが０の時は、注目組織の画素値Ｉ２’は周辺組織の代表的な画素値ＩＳと一致する（注目組織が周辺組織と判別できない態様で表示される）ことになる。

【0041】

次に、ステップＳ２０６０で設定されたパラメータＴに基づいて、変形ラベル画像の画素値が１である各画素位置において、表示画像生成部１２４は、以下の式によって、表示画像の画素値Ｉ２”を算出する。なお、変形ラベル画像の画素値が０である各画素位置については、表示画像生成部１２４は、第２画像の変形画像における画素値Ｉ２をそのまま表示画像の画素値Ｉ２”とすればよい。
（数２）
Ｉ２” ＝ Ｔ・ＩＥ ＋ （１−Ｔ）・Ｉ２’
ここで、ＩＥは、ステップＳ２０５０で生成された推定画像における画素値を表す。この式によって、推定画像における画素値ＩＥと、上述の変更を施した第２画像の変形画像における画素値Ｉ２’とが合成される。ここで、パラメータＴが１の時は、第２画像の変形画像における注目組織の画素値Ｉ２’が、推定画像の画素値ＩＥにより上書きされることになる。一方、パラメータＴが０の時は、推定画像における画素値ＩＥは表示されないことになる。

【0042】

なお、表示画像生成部１２４は、注目組織の描出態様の推定画像を生成して第２画像の変形画像に重畳表示する代わりに、ステップＳ５０１０で算出された明瞭度に基づいて表示画像の画素値Ｉ２”を算出してもよい。例えば、表示画像生成部１２４は、変形ラベル画像の画素値が１である各画素位置について、ステップＳ５０１０で算出された明瞭度を、第２画像の変形画像における画素値Ｉ２に掛け合わせることによって、表示画像の画素値Ｉ２”を算出してもよい。その場合、ステップＳ５０２０およびステップＳ２０６０の処理は実行する必要はない。

【0043】

（Ｓ２０８０：画像の表示）
図２に戻り、ステップＳ２０８０において、表示制御部１２６は、ステップＳ２０７０で生成された表示画像を表示部１９０に表示する制御を行う。以上の処理によって表示される画像の例を図６および図７に示す。

【0044】

図６は、パラメータＬが１、パラメータＴが０．５の場合の表示画像を図示している。この場合、変形ＭＲＩ画像（第２画像の変形画像）４００の断面画像上に、推定された画像描出態様で血管（注目組織）が半透明で重畳表示される（重畳表示された血管６０１）。また、図６は、対応するＰＡＴ画像（第１画像）６００を並べて表示する表示例を示している。

【0045】

一方、図７は、パラメータＬが０、パラメータＴが１の場合の表示画像を図示している。この場合、変形ＭＲＩ画像（第２画像の変形画像）４００の断面画像における血管（注目組織）が周辺組織と判別できない態様で表示される（抽出された血管４０１）。さらに当該断面画像上に、推定された画像描出態様で血管（注目組織）が上書き表示される（推定された画像描出態様の血管７０１）。また、図７においても、対応するＰＡＴ画像（第１画像）６００を並べて表示する表示例を示している。

【0046】

（Ｓ２０９０：表示態様の変更の判定）
ステップＳ２０９０において、画像処理装置１００は、表示態様を変更（表示パラメータを再設定）する指示を不図示のＵＩを介して操作者により入力されたか否かを判定する。例えば、画像処理装置１００は、キーボードの所定のキーを操作者が押すなどして入力した変更の指示を取得する。そして、画像処理装置１００は、表示態様を変更すると判定した場合には、ステップＳ２０６０へと処理を戻して、表示パラメータの再設定処理を実行する。一方、表示態様を変更しないと判定した場合には、画像処理装置１００は、ステップＳ２１００へと処理を進める。

【0047】

（Ｓ２１００：終了の判定）
ステップＳ２１００において、画像処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、画像処理装置１００は、キーボードの所定のキー（終了キー）を操作者が押すなどして入力された終了の指示を取得する。画像処理装置１００は、全体の処理を終了すると判定した場合には、画像処理装置１００の処理を終了させる。一方、画像処理装置１００は、全体の処理を終了すると判定しなかった場合には、ステップＳ２０７０へと処理を戻し、操作者が設定した新たな切断面に応じて表示画像を表示する処理を繰り返し実行する。以上によって、画像処理装置１００の処理が実行される。

【0048】

以上のように、本実施形態における画像処理装置は、第２画像（参照画像）における注目組織の向きを表す情報に基づいて、第１画像（対象画像）における注目組織の画像描出態様を推定し、推定された画像描出態様で注目組織を第２画像（参照画像）上に表示する。このように、注目組織に基づく推定処理および表示処理を行うことで、第１画像（対象画像）における注目組織の画像描出態様を適切に推定し、第２画像（参照画像）上に分かりやすく表示することができる。

【0049】

（変形例１）
第１実施形態では、注目組織が血管である例について説明したが、注目組織は血管に限らない。例えば、注目組織は被検体の乳腺や体表であってもよい。注目組織が被検体の乳腺である場合には、血管と同様の処理を行えばよい。一方、注目組織が被検体の体表である場合には、ステップＳ２０４０において、組織方向算出部１１８は、注目組織の向きを表す情報として、体表の法線方向を算出すればよい。そして、ステップＳ５０１０において、描出態様推定部１２０は、θがφよりも小さい場合に推定値を１に設定し、それ以外の場合に推定値を０に設定すればよい。

【0050】

（変形例２）
第１実施形態では、被検体が乳房である例について説明したが、被検体は乳房に限らず、心臓、肝臓、肺、脳等の任意の臓器であってもよい。

【0051】

（変形例３）
第１実施形態では、対象画像（第１画像）がＰＡＴ画像（ＰＡＴ装置によって撮像された画像）である例について説明したが、対象画像はＰＡＴ画像に限らない。例えば、超音波診断装置によって撮像された画像であってもよいし、Ｘ線マンモグラフィ装置によって撮像された画像であってもよい。

【0052】

（変形例４）
第１実施形態では、参照画像（第２画像）がＭＲＩ画像（ＭＲＩ装置によって撮像された画像）である例について説明したが、参照画像はＭＲＩ画像に限らない。例えば、参照画像（第２画像）は、ＣＴ画像（Ｘ線ＣＴ装置によって撮像された画像）であってもよいし、超音波診断装置によって撮像された３次元超音波画像であってもよい。あるいは、参照画像（第２画像）は、トモシンセシス装置によって撮像された画像であってもよい。

【0053】

（変形例５）
第１画像と第２画像が予め位置合わせされている（画像間に座標系の違いや変形状態の違いが無く、同じ座標は同じ場所を表すように予め画像が揃えられている）場合には、ステップＳ２０３０の処理を省略できる。例えば、超音波画像とＰＡＴ画像を同時撮像可能なハイブリッド装置で撮像した３次元超音波画像とＰＡＴ画像を表示する場合がそれに相当する。この場合、３次元超音波画像で得た注目組織の位置を、そのままＰＡＴ画像における注目組織の位置とみることができる。そして、ステップＳ２０４０以降における、第２画像の変形画像に対する処理は、第２画像に対する処理に置き換えることができる。

【0054】

（第２実施形態）
第２実施形態における画像処理装置は、対象画像（ＰＡＴ画像）における注目組織の画像描出態様を推定した結果に基づいて、対象画像（ＰＡＴ画像）を補正することを特徴とする。以下、本実施形態に係る画像処理装置について、第１実施形態と異なる部分について説明する。

【0055】

本実施形態における画像処理システム１の構成、画像処理装置１００の各部の動作、処理手順は、第１実施形態と概ね同様である。ただし、ステップＳ２０６０からＳ２０８０までの処理が、第１実施形態と異なっている。以下に、ステップＳ２０６０からＳ２０８０までの処理について説明する。

【0056】

（Ｓ２０６０：表示パラメータの設定）
ステップＳ２０６０において、パラメータ設定部１２２は、表示画像生成のための表示パラメータを、不図示のＵＩを介した操作者の入力に基づいて設定する。具体的には、パラメータ設定部１２２は、ステップＳ２０５０で生成された推定画像に基づいて、第１画像における注目組織に対応する部位の画素値を補正するためのパラメータＣ（０≦Ｃ≦１）を、操作者の入力に基づいて設定する。このパラメータは、補正度合いを調整するためのものである。このパラメータに基づいて画素値を変更する処理については、後述のステップＳ２０７０で説明する。

【0057】

（Ｓ２０７０：表示画像の生成）
ステップＳ２０７０において、表示画像生成部１２４は、推定された画像描出態様に基づいて、第１画像における注目組織に対応する部位の画素値を補正し、該補正した画像を表示画像として生成する。具体的には、表示画像生成部１２４は、操作者が設定した切断面によって切り取られる第１画像の断面画像における注目組織に対応する部位の画素値を、ステップＳ２０５０で生成した推定画像に基づいて補正し、該補正した画像を表示画像として生成する。このとき、表示画像生成部１２４は、ステップＳ２０６０で求めた表示パラメータを適用する。具体的には、表示画像生成部１２４は、ステップＳ２０６０で設定したパラメータＣに基づいて、以下の式によって、第１画像の断面画像における注目組織に対応する部位の画素値Ｉ１を変更して、表示画像の画素値Ｉ１’を算出する。
（数３）
Ｉ１’ ＝ ＩＥ ＋ Ｃ・（Ｉ１−ＩＥ）
ここで、パラメータＣが１の時は、注目組織の画素値はＩ１から変更されないことになる。また、パラメータＣが０の時は、注目組織の画素値は注目組織の推定画像の画素値ＩＥと一致する（注目組織の画素値が推定画像の画素値ＩＥで置き換えられる）ことになる。

【0058】

なお、表示画像生成部１２４は、注目組織の画像描出態様の推定画像を生成して第１画像における注目組織に対応する部位を補正する代わりに、ステップＳ５０１０で算出された明瞭度に基づいて表示画像の画素値Ｉ１’を算出してもよい。例えば、表示画像生成部１２４は、変形ラベル画像の画素値が１である各画素位置について、明瞭度の逆数を第１画像における注目組織に対応する部位の画素値Ｉ１に掛け合わせる（画素値Ｉ１を持ち上げる）ことによって、表示画像の画素値Ｉ１’を算出してもよい。ここで、明瞭度が閾値以下の場合には、表示画像生成部１２４は、明瞭度の逆数の代わりに閾値の逆数を掛け合わせればよい。この場合、ステップＳ５０２０およびステップＳ２０６０の処理は実行する必要はない。

【0059】

（Ｓ２０８０：画像の表示）
ステップＳ２０８０において、表示制御部１２６は、ステップＳ２０７０で生成された表示画像を表示部１９０に表示する制御を行う。以上の処理によって表示される画像の例を図８に示す。図８は、パラメータＣが０．５の場合の第１画像（ＰＡＴ画像）の断面画像を図示している。図８におけるＰＡＴ画像８００において、補正された血管８０１が表されていることがわかる。

【0060】

以上説明したように、本実施形態における画像処理装置は、第２画像（参照画像）における注目組織の向きを表す情報に基づいて、第１画像（対象画像）における注目組織の画像描出態様を推定する。そして、画像処理装置は、推定された画像描出態様に基づいて、第１画像（対象画像）における注目組織に対応する部位の画素値を補正する。このような処理を行うことで、第１画像（対象画像）における注目組織の偽欠損箇所を適切に補正して表示することができる。また、当該補正により、ＰＡＴ画像における注目組織（血管）の画像描出態様のばらつきを抑制することができるため、ＰＡＴ画像の定量性を向上させることができる。

【0061】

なお、本実施形態では、画像処理装置は、推定された画像描出態様に基づいて、第１画像（対象画像）における注目組織に対応する部位の画素値を補正する例について説明したが、例えば、不図示の導出部が、推定された画像描出態様に基づいて診断を支援する情報を求めてもよい。例えば、画像処理装置は、推定された画像描出態様で注目組織を第１画像上に重畳した画像を生成して、操作者に提示することによって、第１画像上に描出されている組織が注目組織かノイズかを操作者が判断しやすいように支援してもよい。

【0062】

（第３実施形態）
第３実施形態に係る画像処理装置は、対象画像（ＰＡＴ画像）における注目組織の画像描出態様の推定と、その結果に基づく第２画像から第１画像への変換規則の更新を繰り返して、位置合わせを高精度化することを特徴とする。以下、本実施形態に係る画像処理装置について、第１実施形態と異なる部分について説明する。

【0063】

図９は、本実施形態における画像処理システム９の構成を示す。なお、図１と同じ部分については同じ番号、記号を付けており、その説明を省略する。

【0064】

画像処理装置９００は、画像取得部１１０、指向性情報取得部１１２、注目組織抽出部１１４、位置合わせ部９１６、組織方向算出部１１８、および描出態様推定部９２０を備えている。そして、データサーバ１８０に接続されている。位置合わせ部９１６は、注目組織の画像描出態様の推定結果に基づいて、第２画像から第１画像への変換規則を算出する（位置合わせを行う）。描出態様推定部９２０は、位置合わせの結果と、注目組織の向きを表す情報と指向性を表す情報との関係に基づいて、描出された注目組織の表示態様を推定する。

【0065】

図１０は、本実施形態における画像処理装置１００が実施する処理の手順を示すフローチャートである。ステップＳ１００００、Ｓ１００１０、Ｓ１００２０、Ｓ１００４０、Ｓ１００５０の処理は、第１実施形態におけるステップＳ２０００、Ｓ２０１０、Ｓ２０２０、Ｓ２０４０、Ｓ２０５０の処理と重複するため、説明を省略する。以下に、ステップＳ１００３０とＳ１００６０の処理について説明する。

【0066】

（Ｓ１００３０：位置合わせ）
ステップＳ１００３０において、位置合わせ部９１６は、第１画像と第２画像の間の位置合わせ処理（第２画像から第１画像への変換規則を算出する処理）を行う。本実施形態の位置合わせ処理においては、位置合わせ部９１６は、位置合わせの手掛かりとなる情報として対応点の情報を取得して、対応点に基づく位置合わせ処理を実行する。ここで、ステップＳ１００６０の後に本ステップの処理を実行する場合には、位置合わせ部９１６は、ステップＳ１００５０で推定された注目組織の画像描出態様に基づいて、第２画像から第１画像への変換規則を更新する。例えば、位置合わせ部９１６は、ステップＳ１００５０におけるステップＳ５０１０で算出された明瞭度を、位置合わせの手掛かりとなる情報の信頼度として扱う。そして、位置合わせ部９１６は、対応点に基づく位置合わせ処理を実行する際に、該信頼度に応じた重み付けを行うことによって、第２画像から第１画像への変換規則を更新する。

【0067】

ここで、位置合わせの繰り返し回数が少ない段階では、指向性情報取得部１１２が、指向性の高さを表す角度情報を実際よりも小さな値に設定して、確実に対応付けられる情報に基づく位置合わせが位置合わせ部９１６で行われるようにしてもよい。この場合、指向性情報取得部１１２は、位置合わせの繰り返しの回数に応じて、指向性の高さを表す角度情報を実際の値に近付けていき、最終的にはより高精度な位置合わせが位置合わせ部９１６で行われるようにすることができる。

【0068】

（Ｓ１０１００：終了の判定）
ステップＳ１０１００において、画像処理装置９００は、全体の処理を終了するか否かの判定を行う。画像処理装置９００は、全体の処理を終了すると判定した場合には、画像処理装置１００の処理を終了させる。一方、画像処理装置１００は、終了すると判定しなかった場合には、ステップＳ１００３０へと処理を戻し、第２画像から第１画像への変換規則を更新する。以上によって、画像処理装置９００の処理が実行される。

【0069】

以上のように、本実施形態における画像処理装置は、対象画像（ＰＡＴ画像）における注目組織の画像描出態様の推定と、その結果に基づく第２画像から第１画像への変換規則の更新を繰り返す。このような処理を行うことで、位置合わせを高精度化することができる。

【0070】

（変形例１）
第３実施形態では、表示画像の生成までは行わない例について説明したが、第１実施形態と同様に表示画像の生成まで行ってもよい。本変形例では、画像処理装置９００は、画像処理装置１００と同様に、パラメータ設定部１２２、表示画像生成部１２４、および表示制御部１２６も備える。また、ステップＳ２０６０からＳ２０９０の処理も実行する。この場合、ステップＳ１００３０において、ステップＳ１００５０で推定した注目組織の画像描出態様に基づいて操作者が対応点の情報を更新することができる。そして、位置合わせ部９１６は、更新された対応点に基いて位置合わせ処理を実行する。あるいは、位置合わせ部９１６は、表示画像に基づく公知の画像ベースの位置合わせ処理を実行することもできる。

【0071】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0072】

１ 画像処理システム、１００ 画像処理装置、１１０ 画像取得部、１１２ 指向性情報取得部、１１４ 注目組織抽出部、１１６ 位置合わせ部、１１８ 組織方向算出部、１２０ 描出態様推定部、１２２ パラメータ設定部、１２４ 表示画像生成部、１２６ 表示制御部、１８０ データサーバ、１９０ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】