特開 2023-109739 画像レジストレーションシステム及び画像レジストレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023109739

(43)【公開日】2023-08-08

(54)【発明の名称】画像レジストレーションシステム及び画像レジストレーション方法

(51)【国際特許分類】

   G06T 7/30 20170101AFI20230801BHJP

   G06T 7/00 20170101ALI20230801BHJP

【ＦＩ】

G06T7/30

G06T7/00 612

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023010745

(22)【出願日】2023-01-27

(31)【優先権主張番号】202210099774.9

(32)【優先日】2022-01-27

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】イャオ ヂョンイー

(72)【発明者】

【氏名】シャオ チリン

(72)【発明者】

【氏名】ゴォ パンジェ

(72)【発明者】

【氏名】ザォウ スゥン

(72)【発明者】

【氏名】ザォウ リィンリィン

(72)【発明者】

【氏名】ワン ヤンホア

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096DA01

5L096DA02

5L096EA03

5L096EA05

5L096EA15

5L096EA16

5L096FA06

5L096FA32

5L096FA34

(57)【要約】

【課題】信頼性の高いレジストレーション案を生成すること。
【解決手段】実施形態に係る画像レジストレーション方法は、被スキャン体に対する複数のスキャン画像から選択されたリファレンス画像に対して、前記複数のスキャン画像から選択された、前記リファレンス画像とは異なるフローティング画像を変換して位置合わせするためのレジストレーション案を複数算出するレジストレーション案算出ステップと、前記レジストレーション案毎に、当該レジストレーション案により変換された前記フローティング画像と前記リファレンス画像との相似度に基づくレジストレーション相似度と、外乱を加えた当該レジストレーション案により変換された前記フローティング画像と前記リファレンス画像との相似度に基づく外乱レジストレーション相似度とを算出し、前記レジストレーション相似度と前記外乱レジストレーション相似度とに基づく信頼性指標を算出する信頼性指標算出ステップとを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

被スキャン体に対する複数のスキャン画像から選択されたリファレンス画像に対して、前記複数のスキャン画像から選択された、前記リファレンス画像とは異なるフローティング画像を変換して位置合わせするためのレジストレーション案を複数算出するレジストレーション案算出ステップと、
前記レジストレーション案毎に、当該レジストレーション案により変換された前記フローティング画像と前記リファレンス画像との相似度に基づくレジストレーション相似度と、外乱を加えた当該レジストレーション案により変換された前記フローティング画像と前記リファレンス画像との相似度に基づく外乱レジストレーション相似度とを算出し、前記レジストレーション相似度と前記外乱レジストレーション相似度とに基づく信頼性指標を算出する信頼性指標算出ステップと
を含む、画像レジストレーション方法。

【請求項2】

前記信頼性指標に基づいて前記レジストレーション案にフィルタリングを行なうレジストレーション案フィルタリングステップと、
フィルタリングされた前記レジストレーション案に基づいてレジストレーションを行なうレジストレーションステップとを含む、請求項１に記載の画像レジストレーション方法。

【請求項3】

前記信頼性指標は、前記レジストレーション相似度と前記外乱レジストレーション相似度との差異値である、請求項１に記載の画像レジストレーション方法。

【請求項4】

前記レジストレーション案算出ステップにおいて、前記フローティング画像の変換許容範囲内で前記レジストレーション案を算出し、
前記レジストレーション案フィルタリングステップにおいて、前記変換許容範囲を更新し、前記変換許容範囲から、フィルタリングから取り除かれた前記レジストレーション案に対応する範囲を取り除く、請求項２に記載の画像レジストレーション方法。

【請求項5】

前記信頼性指標算出ステップにおいて、前記レジストレーション案毎に、複数の異なる外乱を生成し、各前記異なる外乱を加えた該当レジストレーション案により変換された前記フローティング画像と前記リファレンス画像の複数の相似度の平均値を前記外乱レジストレーション相似度として算出する、請求項１に記載の画像レジストレーション方法。

【請求項6】

前記差異値は差値、商値、標準偏差の何れかである、請求項３に記載の画像レジストレーション方法。

【請求項7】

前記相似度は相互相関、正規化された相互相関、合計平方差である、請求項１に記載の画像レジストレーション方法。

【請求項8】

前記外乱は、平行移動変換、回転変換、拡大縮小変換の少なくとも一つを含む、請求項１に記載の画像レジストレーション方法。

【請求項9】

前記被スキャン体は、膵臓であり、
前記外乱は、回転変換を含む、請求項８に記載の画像レジストレーション方法。

【請求項10】

前記被スキャン体は、前立腺であり、
前記外乱は、平行移動変換を含む、請求項８に記載の画像レジストレーション方法。

【請求項11】

前記被スキャン体は、肝臓であり、
前記外乱は、平行移動変換と回転変換を含む、請求項８に記載の画像レジストレーション方法。

【請求項12】

前記フローティング画像は、超音波イメージングにより生成される、請求項１～１１の何れか一項に記載の画像レジストレーション方法。

【請求項13】

前記リファレンス画像は、超音波イメージング、核磁気共鳴画像法、コンピュータ断層撮影の何れか一つにより生成される、請求項１～１１の何れか一項に記載の画像レジストレーション方法。

【請求項14】

前記リファレンス画像と前記フローティング画像は異なるモダリティのスキャン画像である、請求項１～１１の何れか一項に記載の画像レジストレーション方法。

【請求項15】

被スキャン体に対する複数のスキャン画像から選択されたリファレンス画像に対して、前記複数のスキャン画像から選択された、前記リファレンス画像とは異なるフローティング画像を変換して位置合わせするためのレジストレーション案を複数算出するレジストレーション案算出部と、
前記レジストレーション案毎に、当該レジストレーション案により変換された前記フローティング画像と前記リファレンス画像との相似度に基づくレジストレーション相似度と、外乱を加えた当該レジストレーション案により変換された前記フローティング画像と前記リファレンス画像との相似度に基づく外乱レジストレーション相似度とを算出し、前記レジストレーション相似度と前記外乱レジストレーション相似度とに基づく信頼性指標を算出する信頼性指標算出部と
を備える、画像レジストレーションシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、画像レジストレーションシステム及び画像レジストレーション方法に関する。

【背景技術】

【0002】

現在、物体（非生体及び生体を含む）をスキャンすることにより物体の内部構造を画像化する内部構造イメージング技術が多数知られている。例えば、ＣＴ（コンピュータ断層スキャン）イメージング、超音波イメージング、ＭＲＩ（核磁気共鳴画像法）等の技術が挙げられる。一般的に、各内部構造イメージング技術の特徴は異なり、イメージング効果も異なるため、物体の内部構造の詳しい情報が必要な場合、複数の内部構造イメージング技術を同時に用いてイメージングを行なう。この際に、複数の内部構造イメージング技術により生成された物体のスキャン画像に対し、各スキャン画像における物体の空間座標を互いにマッチングするようにレジストレーションを行なう必要がある。

【0003】

複数のスキャン画像のうちのいずれか一つのスキャン画像をリファレンス画像とし、他の同一または異なるモダリティのスキャン画像を変換して当該リファレンス画像と位置合わせする画像レジストレーション方法は既知である。特許文献１には、変換後のスキャン画像とリファレンス画像との相似度を算出することにより、各スキャン画像に対して幾何的変換を行なうレジストレーション案を確定してレジストレーションを行なう画像レジストレーションシステムが記載されている。特許文献１の画像レジストレーションシステムは、正規化相互相関関数を用いて異なるスキャン画像間の相似度を算出するため、スキャン画像に含まれるノイズ及びアーチファクトの影響で不正確なレジストレーション案を生成しやすい。特許文献２には、異なるスキャン画像間の対応画素の組み合わせの確実性に基づいて相似度を算出し、算出したレジストレーション案の信頼性を高めることができる画像レジストレーションシステムが記載されている。しかしながら、特許文献２の技術案においても、ノイズ及びアーチファクトの影響で、不正確なレジストレーション案が生成されることがある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許出願公開第２０１６／０１３３０１６号明細書

【特許文献2】特開２０１３－１４６５４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、信頼性の高いレジストレーション案を生成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。

【課題を解決するための手段】

【0006】

実施形態に係る画像レジストレーション方法は、被スキャン体に対する複数のスキャン画像から選択されたリファレンス画像に対して、前記複数のスキャン画像から選択された、前記リファレンス画像とは異なるフローティング画像を変換して位置合わせするためのレジストレーション案を複数算出するレジストレーション案算出ステップと、前記レジストレーション案毎に、当該レジストレーション案により変換された前記フローティング画像と前記リファレンス画像との相似度に基づくレジストレーション相似度と、外乱を加えた当該レジストレーション案により変換された前記フローティング画像と前記リファレンス画像との相似度に基づく外乱レジストレーション相似度とを算出し、前記レジストレーション相似度と前記外乱レジストレーション相似度とに基づく信頼性指標を算出する信頼性指標算出ステップとを含む。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る画像レジストレーションシステムの構成の一例を示す図である。

【図2】図２は、第１の実施形態に係る画像レジストレーション方法の一例のフローチャートである。

【図3】図３は、第１の実施形態に係るリファレンス処理画像及びフローティング処理画像の一例を示す模式図である。

【図4】図４は、第１の実施形態に係る相似度に基づくレジストレーション案の評価について説明するための図である。

【図5】図５は、第１の実施形態に係るレジストレーション案のレジストレーション相似度に対する外乱の影響を説明するための図である。

【図6】図６は、第１の実施形態に係る肝臓の異なるモダリティのスキャン画像を示す図である。

【図7】図７は、第１の実施形態に係るレジストレーション後の肝臓の異なるモダリティのスキャン画像を重ねて示す図である。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して、画像レジストレーションシステム及び画像レジストレーション方法の実施形態について詳細に説明する。

【0009】

（第１の実施形態）
図１は、第１の実施形態における画像レジストレーションシステム１００の構成の一例を示す図である。第１の実施形態における画像レジストレーションシステム１００は、表示部１１０、入力部１２０、記憶部１３０、レジストレーション案生成部１４０、信頼性指標算出部１５０、レジストレーション案フィルタリング部１６０、画像レジストレーション部１７０を備える。表示部１１０、入力部１２０、記憶部１３０、レジストレーション案生成部１４０、信頼性指標算出部１５０、レジストレーション案フィルタリング部１６０、画像レジストレーション部１７０は、互いに通信可能に接続されている。

【0010】

表示部１１０は各情報を表示する。例えば、表示部１１０は画像レジストレーションに用いられるリファレンス画像（ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）、及びフローティング画像（ｆｌｏａｔｉｎｇ ｉｍａｇｅ）を表示するとともに、ユーザからの入力操作を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、グラフィカル・ユーザー・インターフェース）等を表示する。例えば、表示部１１０はＬＣＤ（Ｌｉｑｕｉｄ ＣｒＹｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ、エレクトロルミネッセンス）ディスプレイ等である。

【0011】

入力部１２０はユーザの入力操作を受け付け、受け付けた入力操作に基づく信号をレジストレーション案生成部１４０へ出力する。例えば、入力部１２０はマウス及びキーボード、トラックボール、スイッチ、ボタン、ジョイステック、タッチパネル等により実現される。入力部１２０は例えばマイク等の音声入力を受け付けるユーザインタフェース等により実現される。入力部１２０がタッチパネルである場合に、表示部１１０は入力部１２０と一体に形成されることができる。

【0012】

記憶部１３０はＲＯＭ、フラッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ＭｅｍｏｒＹ、ランダム・アクセス・メモリ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ、ハードディスクドライブ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ソリッドステートドライブ）、レジスター等の記憶装置により実現される。フラッシュメモリ、ＨＤＤ、ＳＳＤ等は非一過性の記憶媒体である。これらの非一過性の記憶媒体は、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ、ネットワーク接続ストレージ）及び外部記憶サーバ等によりネットワークを介して接続された他の記憶装置により実現される。ここで、前記ネットワークは例えばインターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ワイド・エリア・ネットワーク）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカル・エリア・ネットワーク）、通信事業者端末、無線通信ネット、無線基地局、専用線等を含む。

【0013】

記憶部１３０には複数のスキャン画像セットが記憶されており、それぞれのスキャン画像セットには、同一の被スキャン体の同一の領域を異なるパラメータの同一スキャン方式或いは異なるスキャン方式でスキャンして得られた複数のスキャン画像が含まれている。以下、異なるスキャン方式によるスキャン画像を異なるモダリティのスキャン画像と称する。また以下、スキャン画像を三次元のグレースケール画像として説明するが、スキャン画像は二次元の画像であってもよいし、ＲＧＢ等のカラー画像であってもよく、ただし、同一のスキャン画像セットに含まれる複数のスキャン画像の次元または色等のタイプは同一である。本実施形態において、スキャン画像は、「幅Ｗ×高さＨ×深さＤ」の三次元画像であり、各ボクセルはグレースケールを通して被スキャン体の特定の位置上の構造情報を示す。スキャン画像における各ボクセルの位置は、例えば、互いに直交するＸ軸、Ｙ軸及びＺ軸により特定される直角座標系により表される。ここで、Ｘ軸、Ｙ軸及びＺ軸のそれぞれは、例えばスキャン画像の幅Ｗ、高さＨ及び深さＤの方向に対応する。同一のスキャン画像セットに含まれる各スキャン画像は、同一の被スキャン体の同一の領域を表すが、異なるスキャン画像は異なるスキャンパラメータ或いは異なるスキャン方式で得られたものであるため、スキャン画像同士間の座標はマッチしておらず、レジストレーションを行なう必要がある。実際に、異なるスキャン方式は、スキャン技術の制限により異なる検出範囲及び異なるスキャン範囲を有する場合がある。例えば、ＭＲＩ技術は、通常、大きい検出範囲及びスキャン範囲を有する。一方、超音波イメージング技術の検出範囲及びスキャン範囲は、一般的には小さい。このように、異なるモダリティのスキャン画像において、スキャン範囲に対応する部分が占める割合は異なる。三次元画像において、スキャンで覆われていない領域に対応する部分に対しては、例えば、ゼロ充填処理を行なう。

【0014】

レジストレーション案生成部１４０は、記憶部１３０に記憶されたスキャン画像セットを読み取り、スキャン画像セットに含まれたいずれか１つのスキャン画像をリファレンス画像とし、他の画像をフローティング画像とし、リファレンス画像に基づき各フローティング画像のレジストレーション案を算出する。ここで、リファレンス画像は、位置リファレンスを提供する画像である。レジストレーション案生成部１４０は、各フローティング画像およびリファレンス画像の座標と対応する被スキャン体の内部構造の位置を一致させるために、各フローティング画像に平行移動、回転を含む幾何的変換を行ない、当該幾何的変換を表す変換案を当該フローティング画像のレジストレーション案とする。

【0015】

信頼性指標算出部１５０は、レジストレーション案生成部１４０により生成されたレジストレーション案の信頼性を評価し、信頼性指標ＲＩを算出する。信頼性指標ＲＩは、画像のノイズ、超音波スキャンの小さい検出範囲（field of view）、異なるモダリティ間のイメージング効果の相違等により、レジストレーション案生成部１４０がミスマッチのレジストレーション案を生成したか否かを確認するためのものである。

【0016】

レジストレーション案フィルタリング部１６０はフローティング画像に対し、当該フローティング画像に対して生成された複数のレジストレーション案から、各レジストレーション案により変換されたフローティング画像とリファレンス画像との相似度及び信頼性指標算出部１５０により算出された各レジストレーション案の信頼性指標ＲＩに基づき、ミスマッチのレジストレーション案にフィルタリングをする。

【0017】

画像レジストレーション部１７０はレジストレーション案フィルタリング部１６０によりフィルタリングされたレジストレーション案に基づいてフローティング画像を変換し、変換されたフローティング画像をリファレンス画像とともに表示部１１０に表示する。

【0018】

レジストレーション案生成部１４０、信頼性指標算出部１５０、レジストレーション案フィルタリング部１６０、画像レジストレーション部１７０は、例えばＣＰＵやＧＰＵ等のハードウェアプロセッサ、記憶部１３０に記憶されているプログラム（ソフトウェア）などにより実現される。これらの複数の構成要素の一部または全部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等のハードウェア（回路部：ｃｉｒｃｕｉｔｒｙ）により実現されてもよいし、ソフトウェアとハードウェアとの協力動作により実現されてもよい。上述したプログラムは、記憶部１３０に予め記憶されてもよく、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に記憶し、記憶媒体を画像レジストレーションシステム１００の駆動装置に取り付けることで記憶媒体から記憶部１３０にインストールされてもよい。

【0019】

図２は、第１の実施形態に係る画像レジストレーション方法の一例のフローチャートである。以下、図２を参照して本実施形態の画像レジストレーション方法を説明する。

【0020】

ステップＳ１０１では、ユーザは表示部１１０に表示されるユーザインタフェースに基づき、入力部１２０を介して、記憶部１３０に記憶されたスキャン画像セットの中から、レジストレーションが必要なスキャン画像セットを選択する。

【0021】

ステップＳ１０２では、レジストレーション案生成部１４０は、記憶部１３０からユーザにより選択されたスキャン画像セットを読み取り、そのうちの１つのスキャン画像をリファレンス画像Ｒとし、残りのスキャン画像をフローティング画像Ｆとする。好ましくは、レジストレーション案生成部１４０は、各スキャン画像のうち、スキャン範囲が最も大きく、ゼロ充填の部分が占める割合が最も小さいスキャン画像をリファレンス画像とする。以下、説明の便宜上、スキャン画像セットが２つのスキャン画像を含むことを仮定する。そのうちのスキャン範囲が大きいスキャン画像をリファレンス画像Ｒとし、もう１つのスキャン画像をフローティング画像Ｆとする。

【0022】

ステップＳ１０３では、レジストレーション案生成部１４０は、リファレンス画像Ｒとフローティング画像Ｆに前処理を行なう。前処理は、画質向上、ノイズ除去、特徴抽出等の処理を含む。特徴抽出は、平面抽出、境界抽出、勾配抽出等を含み、被スキャン体が生体の器官である場合、勾配抽出が好ましい。以下、画像前処理が行われたリファレンス画像Ｒ及びフローティング画像Ｆをそれぞれリファレンス処理画像ＲＰとフローティング処理画像ＦＰと称する。以下、説明の便宜上、リファレンス処理画像ＲＰとフローティング処理画像ＦＰの二次元断面を用いて、三次元のリファレンス処理画像ＲＰ及びフローティング処理画像ＦＰを表す場合がある。

【0023】

図３はリファレンス処理画像ＲＰ及びフローティング処理画像ＦＰの一例を示す模式図である。図３の注釈を参照しながら図３を説明する。図３において、実線は血管を表し、中空円は腫瘍を表し、破線は腫瘍の遮蔽効果によるシャドウを表し、中実円は病理組織を表し、ドットが存在する領域はノイズ／アーチファクト領域を表す。アーチファクト（Ａｒｔｉｆａｃｔｓ）とは、被スキャン体にもともと存在しないながらも画像に出現した各形態の影像のことである。ノイズ／アーチファクト領域では、ノイズまたはアーチファクトの影響で、当該領域における画素の画素値がランダムに変化し、当該領域がぼやけたり粒状になったりする。図３の左図はリファレンス処理画像ＲＰの一例を示し、図３の右図はフローティング処理画像ＦＰの一例を示す。図３に示されるように、リファレンス処理画像ＲＰとフローティング処理画像ＦＰとは異なるスキャン技術による異なるモダリティの画像であるため、それらのスキャン範囲及び各構造が呈する効果は異なる。リファレンス処理画像ＲＰは、スキャン範囲が大きく、遮蔽効果からの影響を受けていないが、ノイズ／アーチファクト領域を有する。リファレンス処理画像ＲＰは、例えば核磁気共鳴画像法技術により得られたスキャン画像である。フローティング処理画像ＦＰは、スキャン範囲が小さく、遮蔽効果からの影響を受けている。フローティング処理画像ＦＰは、例えば超音波スキャン技術により得られたスキャン画像である。図３において、リファレンス処理画像ＲＰとフローティング処理画像ＦＰにおける血管と腫瘍は互いに対応するが、リファレンス画像Ｒのスキャン範囲がフローティング画像Ｆよりも広いため、リファレンス処理画像ＲＰには、フローティング処理画像ＦＰに表示されていない血管及び病理組織が含まれる。また、リファレンス処理画像ＲＰとフローティング処理画像ＦＰとに対してノイズ除去処理を行なったが、ノイズの影響を完全に除去することができず、リファレンス処理画像ＲＰには、ノイズまたはアーチファクトの影響で、ドットで標記されるノイズ／アーチファクト領域が出現している。また、フローティング処理画像ＦＰには腫瘍のシャドウが出現しているが、リファレンス処理画像ＲＰには腫瘍のシャドウが出現していない。

【0024】

ステップＳ１０４では、レジストレーション案生成部１４０は、予め決められたレジストレーションアルゴリズムに基づき、フローティング処理画像ＦＰの変換可能範囲内で複数の初期レジストレーション案を生成する。本実施の形態において、フローティング処理画像ＦＰに対してｎ個のレジストレーション案を生成し、フローティング処理画像ＦＰのレジストレーション案をそれぞれレジストレーション案Ｓ１～レジストレーション案Ｓｎとする（ただし、ｎは自然数である）。以下、レジストレーション案Ｓ１～レジストレーション案Ｓｎを区別しない場合に、単にレジストレーション案Ｓと称する。レジストレーション案Ｓは例えば三次元画像に対して平行移動、回転、拡大縮小等幾何的変換を行なう変換マトリックスである。本実施形態におけるレジストレーション案Ｓは、互いに直交するＸ軸、Ｙ軸及びＺ軸により特定された直角座標系において、スキャン画像に対してＸ軸、Ｙ軸及びＺ軸上の平行移動変換、及び、Ｘ軸、Ｙ軸及びＺ軸まわりの回転変換を行なう。レジストレーション案ＳのＸ軸、Ｙ軸及びＺ軸上の平行移動量を、それぞれｔＸ、ｔＹ、ｔＺとし、レジストレーション案ＳのＸ軸、Ｙ軸及びＺ軸まわりの回転量を、それぞれｒＸ、ｒＹ、ｒＺとする。

【0025】

フローティング処理画像ＦＰの変換可能範囲とは、レジストレーション案生成部１４０により算出されたレジストレーション案Ｓの平行移動量ｔＸ、ｔＹ、ｔＺ及び回転量ｒＸ、ｒＹ、ｒＺの許容最大範囲である。当該変換可能範囲は、例えば、被スキャン体に基づいて設定すればよい。例えば、器官の大きさ及び空間形状等に応じて、フローティング処理画像ＦＰの変換可能範囲を設定してもよい。例えば、体積の大きい器官に大きい範囲を設定し、体積の小さい器官に小さい範囲を設定してもよい。例えば、被スキャン体が肝臓である場合、平行移動量ｔＸ、ｔＹ、ｔＺの範囲をそれぞれ（－４０ｃｍ，４０ｃｍ）、（－４０ｃｍ，４０ｃｍ）、（－４０ｃｍ，４０ｃｍ）とし、回転量ｒＸ、ｒＹ、ｒＺをそれぞれ（－５０°，４０°）、（－８０°，３０°）、（－３０°，１５０°）とすることができる。例えば、被スキャン体が前立腺である場合、平行移動量ｔＸ、ｔＹ、ｔＺの範囲をそれぞれ（－１０ｃｍ，１０ｃｍ）、（－１０ｃｍ，１０ｃｍ）、（－１０ｃｍ，１０ｃｍ）とし、回転量ｒＸ、ｒＹ、ｒＺの範囲をそれぞれ（０°，８０°）、（－１０°，１０°）、（－１０°，１０°）とすることができる。例えば、被スキャン体が膵臓である場合、平行移動量ｔＸ、ｔＹ、ｔＺの範囲をそれぞれ（－１０ｃｍ，１０ｃｍ）、（－１０ｃｍ，１０ｃｍ）、（－２５ｃｍ，２５ｃｍ）とし、回転量ｒＸ、ｒＹ、ｒＺの範囲をそれぞれ（－８０°，２０°）、（－２０°，２０°）、（－２０°，２０°）とすることができる。

【0026】

レジストレーション案生成部１４０は、フローティング処理画像ＦＰの変換可能範囲で、複数の初期レジストレーション案をランダム又は一定の間隔を置いて生成してもよいし、当該変換可能範囲を複数のサブ範囲に分けて、各サブ範囲で初期レジストレーション案をそれぞれ生成してもよい。単一のレジストレーション案は、画像のノイズ、異なるモダリティ間のイメージング効果の相違及びレジストレーションのランダム性の影響で、レジストレーションの精度要求を満せなかったり、ミスマッチが発生したりする場合があるため、複数の異なるレジストレーション案を生成し、その中からレジストレーションの精度が高いレジストレーション案を選択することにより、レジストレーションの精度を高めることができる。

【0027】

ステップＳ１０５では、レジストレーション案生成部１４０は、予め設定されたイテレーションに基づく最適化アルゴリズムに基づき、変換されたリファレンス処理画像ＲＰとフローティング処理画像ＦＰの相似度が高くなるように、フローティング処理画像ＦＰの変換可能範囲内で、レジストレーション案Ｓ１～レジストレーション案Ｓｎに対して最適化を一定のイテレーション回数で行なう。各イテレーションにおいて、最適化アルゴリズムはレジストレーション案Ｓの平行移動量ｔＸ、ｔＹ、ｔＺ及び回転量ｒＸ、ｒＹ、ｒＺを軽く修正する。例えば、当該最適化アルゴリズムは、確率的勾配降下法、粒子群最適化アルゴリズム、擬似焼きなまし法等であってもよい。当該相似度は、例えば相互相関（Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、または合計平方差（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等であってもよい。

【0028】

以下、図４を参照して相似度に基づくレジストレーション案の評価について説明する。図４（ａ）に、正確なレジストレーション案によりレジストレーションを行なったリファレンス処理画像ＲＰ及びフローティング処理画像ＦＰを重ねて示している。図４（ｂ）に、不正確なレジストレーション案によりレジストレーションを行なったリファレンス処理画像ＲＰ及びフローティング処理画像ＦＰを重ねて示している。正確なレジストレーション案によりレジストレーションを行なった図４（ａ）において、リファレンス処理画像ＲＰ及びフローティング処理画像ＦＰにおける腫瘍と血管は互いに重畳してマッチしているが、フローティング処理画像ＦＰにはリファレンス処理画像ＲＰにおけるノイズ／アーチファクト領域及び病理組織とマッチする部分がなく、且つ、リファレンス処理画像ＲＰにはフローティング処理画像ＦＰにおける腫瘍のシャドウとマッチする部分がないため、レジストレーション後のリファレンス処理画像ＲＰ及びフローティング処理画像ＦＰの相似度が高くはない。逆に、不正確なレジストレーション案によりレジストレーションを行なった図４（ｂ）において、リファレンス処理画像ＲＰ及びフローティング処理画像ＦＰにおける関心領域である腫瘍は互いにマッチしていないが、リファレンス処理画像ＲＰ及びフローティング処理画像ＦＰにおける血管部分が部分的にマッチしており、且つ、リファレンス処理画像ＲＰにおけるノイズ／アーチファクト領域及び病理組織とフローティング処理画像ＦＰにおける血管とが画素値の相似に起因してミスマッチしており、フローティング処理画像ＦＰにおける腫瘍のシャドウとリファレンス処理画像ＲＰにおけるもう一部の血管とも画素値の相似に起因してミスマッチしているため、レジストレーション後のリファレンス処理画像ＲＰ及びフローティング処理画像ＦＰのレジストレーション相似度が高い。

【0029】

してみると、レジストレーション後のリファレンス処理画像ＲＰ及びフローティング処理画像ＦＰの相似度のみに基づいてレジストレーション案を評価すると、正確なレジストレーション案の評価が低く、不正確なレジストレーション案の評価が高い場合があり、評価結果はレジストレーション案の信頼性を正しく反映できない可能性がある。

【0030】

これに対し、本発明の画像レジストレーション方法のステップＳ１０６～ステップＳ１０８において、信頼性指標算出部１５０は、ステップＳ１０５においてレジストレーション案生成部１４０により算出された最適化された複数のレジストレーション案Ｓのそれぞれに対して、レジストレーション案Ｓの信頼性を表す信頼性指標ＲＩを算出する。本発明の画像レジストレーション方法は信頼性指標ＲＩによりレジストレーション案の信頼性を評価することにより、信頼性の低い不正確なレジストレーション案の生成を避けることができる。

【0031】

本発明の画像レジストレーション方法における信頼性指標ＲＩを算出するプロセスを説明する。

【0032】

まず、ステップＳ１０６では、信頼性指標算出部１５０はレジストレーション案Ｓ１～レジストレーション案Ｓｎのそれぞれによりフローティング処理画像ＦＰを変換し、変換したフローティング処理画像ＦＰとリファレンス処理画像ＲＰとの相似度を各レジストレーション案Ｓのレジストレーション相似度として算出する。具体的には、信頼性指標算出部１５０の相似度算出部１５１は、レジストレーション案Ｓ１～レジストレーション案Ｓｎのレジストレーション案Ｓ毎に、当該レジストレーション案Ｓと対応する変換マトリックスをフローティング処理画像ＦＰに適用して、フローティング処理画像ＦＰをＸ軸、Ｙ軸及びＺ軸に平行移動させ、Ｘ軸、Ｙ軸及びＺ軸まわりに回転させる。そして、相似度算出部１５１はレジストレーション案Ｓ１～レジストレーション案Ｓｎのレジストレーション案Ｓ毎に、当該レジストレーション案により変換されたフローティング処理画像ＦＰとリファレンス処理画像ＲＰとの相似度を算出する。当該相似度は、例えば相互相関（Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、または合計平方差（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等であってもよい。ステップＳ１０５とステップＳ１０６で用いられる相似度は同一であってもよいし、異なってもよい。

【0033】

ステップＳ１０７では、信頼性指標算出部１５０は各レジストレーション案Ｓ１～レジストレーション案Ｓｎのそれぞれに外乱を加え、外乱を加えた各レジストレーション案Ｓ１～レジストレーション案Ｓｎのレジストレーション相似度に基づいて各レジストレーション案Ｓ１～レジストレーション案Ｓｎの外乱レジストレーション相似度を算出する。

【0034】

具体的には、信頼性指標算出部１５０の外乱部１５２は、レジストレーション案Ｓ１～レジストレーション案Ｓｎの各レジストレーション案Ｓについて、まず、記憶部１３０から現在のスキャン画像セットのサーチ空間Ωを読み取り、サーチ空間Ωから一個以上の外乱Ｄを選出する。本実施の形態において、外乱部１５２がサーチ空間Ωからｋ個の外乱Ｄを選択し、当該ｋ個の外乱Ｄを外乱Ｄ１～外乱Ｄｋとする。そして、外乱部１５２は外乱Ｄ１～外乱Ｄｋの各外乱Ｄについて、当該レジストレーション案Ｓに当該外乱Ｄを適用し、当該外乱Ｄを加えた当該レジストレーション案Ｓのレジストレーション相似度を算出する。ここで、当該外乱Ｄが加えられた当該レジストレーション案Ｓのレジストレーション相似度の算出方法は、ステップＳ１０６におけるレジストレーション案Ｓのレジストレーション相似度の算出方法と同一であるため、詳しい説明を省略する。そして、相似度算出部１５１は当該レジストレーション案Ｓに対し、各外乱Ｄ１～外乱Ｄｋをそれぞれ加えた当該レジストレーション案Ｓのレジストレーション相似度の平均値を算出し、当該平均値を、外乱を加えた当該レジストレーション案Ｓの外乱レジストレーション相似度とする。また、各外乱Ｄ１～外乱Ｄｋを加えたレジストレーション案Ｓのレジストレーション相似度の中央値、モードなどを外乱レジストレーション相似度として算出してもよい。

【0035】

サーチ空間Ωは外乱Ｄの集合であり、複数の外乱値が異なった外乱Ｄを含む。外乱Ｄは、レジストレーション案Ｓの変換量をわずかに調整するためのものである。本実施形態の外乱Ｄは平行移動量及び回転量を調整するものであり、Ｘ軸、Ｙ軸及びＺ軸上の平行移動量に対する外乱Ｄの外乱値をΔｔＸ、ΔｔＹ、ΔｔＺとし、Ｘ軸、Ｙ軸及びＺ軸まわりの回転量に対する外乱Ｄの外乱値をΔｒＸ、ΔｒＹ、ΔｒＺとする。この場合、外乱Ｄが応用されたレジストレーション案Ｓの、Ｘ軸、Ｙ軸及びＺ軸上の平行移動量はそれぞれ「ｔＸ＋ΔｔＸ」、「ｔＹ＋ΔｔＹ」、「ｔＺ＋ΔｔＺ」となり、Ｘ軸、Ｙ軸及びＺ軸まわりの回転量はそれぞれ「ｒＸ＋ΔｒＸ」、「ｒＹ＋ΔｒＹ」、「ｒＺ＋ΔｒＺ」となる。

【0036】

以下、図５を参照してレジストレーション案のレジストレーション相似度に対する外乱の影響を説明する。図５（ａ）に、外乱が加えられた正確なレジストレーション案によりレジストレーションを行なったリファレンス処理画像ＲＰ及びフローティング処理画像ＦＰを重なって示している。図５（ｂ）に、外乱が加えられた不正確なレジストレーション案によりレジストレーションを行なったリファレンス処理画像ＲＰ及びフローティング処理画像ＦＰを重なって示している。図５に用いられるレジストレーション案は図４と同一である。図５（ａ）において、外乱を加えた後、リファレンス処理画像ＲＰ及びフローティング処理画像ＦＰにおいて重畳していた腫瘍と血管は外乱の影響でわずかにずれてしまい、マッチ度が低くなる一方、リファレンス処理画像ＲＰにおけるノイズ／アーチファクト及び病理組織は依然としてフローティング処理画像ＦＰとマッチできず、且つ、フローティング処理画像ＦＰにおける腫瘍のシャドウは依然としてリファレンス処理画像ＲＰとマッチできないため、当該レジストレーション案のレジストレーション相似度は外乱を加えた前と比べて変化が小さい。図５（ｂ）において、外乱を加えた後、リファレンス処理画像ＲＰ及びフローティング処理画像ＦＰにおいて重畳していた血管が外乱の影響でわずかにずれてしまい、マッチ度が低くなり、且つ、フローティング処理画像ＦＰにおいて元々ノイズ／アーチファクト及び病理組織とマッチしていた血管が外乱の影響で変位し、その画素値はリファレンス処理画像ＲＰの対応位置の画素値とマッチしなくなるため、当該レジストレーション案のレジストレーション相似度は外乱を加えた前と比べて変化が大きい。

【0037】

ステップＳ１０８において、信頼性指標算出部１５０の差異値算出部は、レジストレーション案Ｓ１～レジストレーション案Ｓｎの各レジストレーション案Ｓについて、ステップＳ１０６で算出された当該レジストレーション案Ｓのレジストレーション相似度とステップＳ１０７で算出された外乱レジストレーション相似度との差異値を、信頼性指標ＲＩとして算出する。例えば、レジストレーション案Ｓのレジストレーション相似度と、外乱レジストレーション相似度との差値、商値、標準偏差等の差異値を信頼性指標ＲＩとして算出してもよい。本実施形態において、レジストレーション案Ｓのレジストレーション相似度を、外乱レジストレーション相似度で除算した商値を信頼性指標ＲＩとする。この場合、信頼性指標ＲＩが１に近いほど、レジストレーション案Ｓのレジストレーション相似度と、外乱レジストレーション相似度との差異が小さく、レジストレーション案Ｓの信頼性が高いことを示し、信頼性指標ＲＩが１に遠いほど、レジストレーション案Ｓのレジストレーション相似度と、外乱レジストレーション相似度との差異が大きく、レジストレーション案Ｓの信頼性が低いことを示す。

【0038】

以下、肝臓の核磁気共鳴スキャン画像及び超音波スキャン画像のレジストレーション案に対して信頼性指標ＲＩを算出する例を説明する。図６は、肝臓の異なるモダリティのスキャン画像を示す図であり、図６（a）は、肝臓の核磁気共鳴スキャン画像を示す図であり、図６（ｂ）は、肝臓の超音波スキャン画像を示す図である。図７は、レジストレーション後の肝臓の異なるモダリティのスキャン画像を重なって示す図であり、図７（a）は、正確なレジストレーション案によりレジストレーションを行なった核磁気共鳴スキャン画像及び超音波スキャン画像を示し、図７（ｂ）は、不正確なレジストレーション案によりレジストレーションを行なった核磁気共鳴スキャン画像及び超音波スキャン画像を示す。図７（a）に示めされた正確なレジストレーション案は、レジストレーション相似度が－４３．４８４、信頼性指標ＲＩが１である。図７（ｂ）に示された不正確なレジストレーション案は、レジストレーション相似度が「－４４．０００４」で、信頼性指標ＲＩが「０．４５５１９６」である。不正確なレジストレーション案のレジストレーション相似度が高いが、信頼性指標ＲＩが低いため、当該レジストレーション案の信頼は低いと評価される。

【0039】

正確なレジストレーション案の信頼性指標ＲＩと不正確なレジストレーション案の信頼性指標ＲＩとの差異を大きくするために、異なる被スキャン体に対して異なるサーチ空間Ωを設定してもよい。被スキャン体が膵臓である場合、膵臓及びその下方にある主動脈が長尺状であり、回転外乱を加えれば正確なレジストレーション案の信頼性指標ＲＩと不正確なレジストレーション案の信頼性指標ＲＩとの差異を大きくすることができるため、膵臓のサーチ空間Ωに含まれる外乱Ｄの回転量を増大してもよい。被スキャン体が前立腺である場合、前立腺が略楕円状であり、平行移動外乱を加えれば正確なレジストレーション案の信頼性指標ＲＩと不正確なレジストレーション案の信頼性指標ＲＩ数との差異を大きくすることができるため、前立腺のサーチ空間Ωに含まれる外乱Ｄの平行移動量を増大してもよい。被スキャン体が肝臓である場合、肝臓の構造が複雑であり、平行移動外乱と回転外乱を同時に加える必要があるため、肝臓のサーチ空間Ωに含まれる外乱Ｄの平行移動量と回転量を増大してもよい。よって、本発明は、被スキャン体の大きさ及び空間的形状等特徴に基づきサーチ空間の変動を決める。

【0040】

ステップＳ１０９では、レジストレーション案フィルタリング部１６０は、信頼性指標ＲＩに基づいてレジストレーション案にフィルタリングを行ない、フローティング処理画像ＦＰの変換可能範囲を更新する。具体的に、レジストレーション案フィルタリング部１６０は、複数のレジストレーション案Ｓ１～レジストレーション案Ｓｎを信頼性指標ＲＩの高い順に順位付け、順位が低い予め決められた比率のレジストレーション案を取り除き、また、フローティング処理画像ＦＰの変換可能範囲から、取り除かれたレジストレーション案に対応する変換量の周囲の一定範囲を取り除く。例えば、レジストレーション案Ｓ１～レジストレーション案Ｓｎのうち、信頼性指標ＲＩの高い前半部分（前５０％）のレジストレーション案Ｓを保留し、後半部分（後５０％）のレジストレーション案Ｓを取り除く。また、例えば、平行移動量がｔＸ０、ｔＹ０、ｔＺ０であり、回転量がｒＸ０、ｒＹ０、ｒＺ０であるレジストレーション案を取り除いた場合、フローティング処理画像ＦＰの変換可能範囲から、（ｔＸ０，ｔＹ０，ｔＺ０，ｒＸ０，ｒＹ０，ｒＺ０）の周囲の一定の範囲を取り除く。取り除かれた範囲のサイズはフローティング処理画像ＦＰの変換可能範囲のサイズに応じて適当に設定すればよく、例えば、被スキャン体が人体器官の場合、平行移動量ｔＸ０、ｔＹ０、ｔＺ０の周囲の５ｍｍの範囲を取り除き、回転量ｒＸ０、ｒＹ０、ｒＺ０の周囲の５°の範囲を取り除く。レジストレーション案フィルタリング部１６０がフローティング処理画像ＦＰの変換可能範囲を更新すると、その後のステップ１０５において、更新された変換可能範囲内に各レジストレーション案を最適化し、取り除かれた範囲内にレジストレーション案を修正しなくなる。これにより、ステップ１０５において再び信頼性指標ＲＩが低い不正確なレジストレーション案を生成することを抑制できる。

【0041】

ステップＳ１１０では、レジストレーション案生成部１４０は、残りのレジストレーション案の数が１であるか否かを判定する。残りのレジストレーション案の数が１である場合（ステップＳ１１０：「ｙｅｓ」）、レジストレーション案生成部１４０は、当該レジストレーション案をレジストレーション部１７０へ送信し、ステップＳ１１１に進む。残りのレジストレーション案の数が１でない場合（ステップＳ１１０：「ｎｏ」）、ステップＳ１０５に戻り、引き続き残された複数のレジストレーション案をイテレーションにより最適化する。

【0042】

ステップＳ１１１では、画像レジストレーション部１７０は、レジストレーション案生成部１４０から出力されたレジストレーション案に基づき、スキャン画像に対しレジストレーションを行ない、レジストレーション後の各スキャン画像を表示部１１０に表示させる。

【0043】

本実施形態における画像レジストレーションシステム及び画像レジストレーション方法によれば、レジストレーション案の生成過程において、ノイズまたはアーチファクトに影響された信頼度が低い不正確なレジストレーション案を除去することができるため、無駄な演算を避け、レジストレーションの効率を高めることができるとともに、信頼性が高いレジストレーション案を生成することができる。

【0044】

なお、上記実施形態において、異なるモダリティのスキャン画像に対してレジストレーションを行なうことを例に説明したが、本発明は同一モダリティのスキャン画像に対してジストレーションを行ってもよい。

【0045】

また、上記実施形態では、ステップＳ１０８において各レジストレーション案の信頼性指標を算出した後、レジストレーション案についてフィルタリングを行ない、残りのレジストレーション案の数が１になっているか否か判定を行なう例について説明した。しかしながら実施形態はこれに限定されるものではない。即ち、ステップＳ１１１のレジストレーションに用いるレジストレーション案を信頼性指標に基づいて選択する具体的な手法については、種々の変形が可能である。例えば、複数のレジストレーション案Ｓ１～レジストレーション案Ｓｎのうち信頼性指標ＲＩの最も高いレジストレーション案を特定して、ステップＳ１１１のレジストレーションに用いてもよい。

【0046】

以上説明した少なくとも１つの実施形態によれば、信頼性の高いレジストレーション案を生成することができる。

【0047】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0048】

１００：画像レジストレーションシステム
１１０：表示部
１２０：入力部
１３０：記憶部
１４０：レジストレーション案生成部
１５０：信頼性指標算出部
１６０：レジストレーション案フィルタリング部
１７０：画像レジストレーション部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】