特開2019-33960(P2019-33960A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人電気通信大学の特許一覧
特開2019-33960生体内運動追跡装置、生体内運動追跡方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-33960(P2019-33960A)
(43)【公開日】2019年3月7日
(54)【発明の名称】生体内運動追跡装置、生体内運動追跡方法およびプログラム
(51)【国際特許分類】
   A61B 8/08 20060101AFI20190208BHJP
   G06T 1/00 20060101ALI20190208BHJP
   G06T 7/00 20170101ALI20190208BHJP
【FI】
   A61B8/08
   G06T1/00 290D
   G06T7/00 300D
【審査請求】未請求
【請求項の数】9
【出願形態】OL
【全頁数】38
(21)【出願番号】特願2017-158071(P2017-158071)
(22)【出願日】2017年8月18日
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り ▲1▼集会名:2016年度電気通信大学卒業論文発表会 開催日:平成29年2月11日 ▲2▼刊行物:2017年ロボティクス・メカトロニクス講演会予稿集 発行者:一般社団法人 日本機械学会 ロボティクス・メカトロニクス部門 発行日:平成29年5月10日 ▲3▼集会名:2017年ロボティクス・メカトロニクス講演会 開催日:平成29年5月11日 ▲4▼刊行物:14th International Conference on Ubiquitous Robots and Ambient Intelligence(URAI 2017)予稿集 発行者:韓国ロボット学会(Korea Robotics Society) 発行日:平成29年6月28日 ▲5▼集会名:URAI 2017 開催日:平成29年6月30日
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(71)【出願人】
【識別番号】505155528
【氏名又は名称】公立大学法人横浜市立大学
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(72)【発明者】
【氏名】小泉 憲裕
(72)【発明者】
【氏名】西山 悠
(72)【発明者】
【氏名】近藤 亮祐
(72)【発明者】
【氏名】冨田 恭平
(72)【発明者】
【氏名】江浦 史生
(72)【発明者】
【氏名】沼田 和司
【テーマコード(参考)】
4C601
5B057
5L096
【Fターム(参考)】
4C601EE11
4C601JB45
4C601JB49
4C601JC07
4C601JC08
4C601JC16
4C601JC37
5B057AA07
5B057BA05
5B057CE06
5B057DA08
5B057DA16
5B057DC01
5B057DC17
5B057DC40
5L096BA06
5L096BA13
5L096FA34
5L096FA46
5L096FA66
5L096FA69
5L096GA55
5L096HA05
5L096HA08
5L096JA09
5L096JA11
5L096KA04
(57)【要約】      (修正有)
【課題】手動による追跡対象位置のマッピング作業を必要とすることなく、大量のデータに対する追跡対象位置決定処理を迅速に行うことができる超音波診断装置を提供する。
【解決手段】生体内運動追跡装置1は、学習用データの超音波画像を用いて事前学習を行い、超音波画像上の追跡対象位置を追跡する。事前学習部12Aは、超音波画像を用いてテンプレート処理12A1を行い、超音波画像中の領域を抽出12A2し、抽出した領域に対するテクスチャ解析12A3を行い、その結果に対する主成分分析12A4を行う。追跡部12Bは、超音波画像のテクスチャ解析12B1を行い、その結果と事前学習結果とに基づき追跡対象に適した画像領域をテンプレートとして選択12B2し、逐次的に選択された複数のテンプレートの各々について更新型テンプレート処理12B3を行い、処理結果に基づき相関度が最も大きい位置を追跡対象位置として決定12B4する。
【選択図】図13
【特許請求の範囲】
【請求項1】
超音波画像に含まれる追跡対象である生体内運動を追跡する生体内運動追跡装置であって、
超音波画像を取得する画像取得部と、
学習用データとしての超音波画像を用いることによって事前学習を行う事前学習部と、
前記事前学習部による事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡部とを備え、
前記事前学習部は、
前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理部と、
前記学習用データの超音波画像に含まれる領域を抽出する領域抽出部と、
前記領域抽出部によって抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析部と、
前記学習用テクスチャ解析部によるテクスチャ解析の結果に対する主成分分析を行う主成分分析部とを備え、
前記追跡部は、
前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析部と、
前記追跡用テクスチャ解析部によるテクスチャ解析の結果と、前記事前学習部による学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択部と、
前記テンプレート自動選択部によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理部と、
前記追跡用テンプレート処理部による複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定部とを備える、
生体内運動追跡装置。
【請求項2】
前記追跡部は、
蓄積誤差を有さない初期テンプレートに基づく位置修正を行う位置修正部を更に備え、
前記位置修正部は、前記初期テンプレートでのマッチングが一定以上の相関度である場合に、前記追跡対象の位置を、その時点の前記追跡対象の位置に修正する、
請求項1に記載の生体内運動追跡装置。
【請求項3】
前記追跡部は、
関心領域を常に監視する監視部を更に備え、
前記監視部は、
初期関心領域テンプレートを設定する領域設定部と、
追跡後に、前記領域設定部によって設定された初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する計算部と、
前記計算部によって計算された距離が所定の閾値を超えるか否かを判定する判定部と、
前記計算部によって計算された距離が前記所定の閾値を超える場合にアラームを通知する通知部とを備える、
請求項1または請求項2に記載の生体内運動追跡装置。
【請求項4】
前記通知部は、前記計算部によって計算された距離が前記所定の閾値を超える場合にアラームを通知すると同時に対応する関心領域の画像をデータベースに保存し、閲覧可能とする、
請求項3に記載の生体内運動追跡装置。
【請求項5】
前記学習用テンプレート処理部は、前記学習用データの超音波画像を用いることによってテンプレートマッチングを行い、
前記追跡用テンプレート処理部は、更新型テンプレートマッチングを行う、
請求項1から請求項4のいずれか一項に記載の生体内運動追跡装置。
【請求項6】
前記学習用テンプレート処理部は、前記学習用データの超音波画像を用いることによってKCF(Kernelized Correlation Filters)トラッキングを行い、
前記追跡用テンプレート処理部は、KCFトラッキングを行う、
請求項1から請求項4のいずれか一項に記載の生体内運動追跡装置。
【請求項7】
超音波ガイド下RFA(Radio Frequency Ablation)治療またはHIFU(High Intensity Focused Ultrasound)治療を支援するためのものである、
請求項1から請求項6のいずれか一項に記載の生体内運動追跡装置。
【請求項8】
超音波画像に含まれる追跡対象である生体内運動を追跡する生体内運動追跡方法であって、
超音波画像を取得する画像取得ステップと、
学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、
前記事前学習ステップにおける事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップとを含み、
前記事前学習ステップは、
前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、
前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、
前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、
前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、
前記追跡ステップは、
前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、
前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、
前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、
前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む、
生体内運動追跡方法。
【請求項9】
コンピュータに、
超音波画像を取得する画像取得ステップと、
学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、
前記事前学習ステップにおける事前学習が行われた後に、生体内運動である追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップと
を実行させるためのプログラムであって、
前記事前学習ステップは、
前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、
前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、
前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、
前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、
前記追跡ステップは、
前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、
前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、
前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、
前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体内を運動する注目部分を追跡する生体内運動追跡装置、生体内運動追跡方法およびプログラムに関する。
【背景技術】
【0002】
従来、生体内を概周期的に運動する注目部位を、生体構造を撮影した生体像において追跡する生体内運動追跡装置が知られている(例えば特許文献1参照)。特許文献1に記載された生体内運動追跡装置では、特徴情報学習部が、本追跡処理に先行する注目部位の運動周期における生体像を用い、注目部位に対応する注目領域内の生体像の特徴を表す特徴情報について学習し追跡用特徴情報を生成する。本追跡処理部は、時間的に変化する生体像にて、追跡用特徴情報に基づいて注目領域を探索し注目部位の位置を求める。また、基準設定手段は、注目部位の軌道上の基準位置とする位置にて基準注目領域を設定する。特徴情報生成手段は、基準注目領域内の特徴情報である基準特徴情報を抽出し、基準特徴情報に基づき注目領域を追跡して軌道を求めると共に、追跡した注目領域から抽出した特徴情報を用いて、軌道上の位置に対応づけて追跡用特徴情報を求める。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016−158890号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献1に記載された生体内運動追跡装置が用いられる場合には、例えば医師、検査技師等の操作者が、注目部位(追跡対象)の追跡を行う際に、例えば表示部に表示される生体像を見て入力部(例えばキーボード、ポインティングデバイス等)を操作し、基準注目領域を生体像上に指定する必要がある。その場合に、操作者は、注目部位の特徴が好適に現れ追跡に適した基準特徴情報を選ぶ必要がある。詳細には、操作者は、注目部位の追跡に好適な画像パターンが超音波画像に現れるタイミングにて、その画像パターンを含む画像領域を基準注目領域として設定する必要がある。
つまり、特許文献1に記載された生体内運動追跡装置が用いられる場合、操作者は、追跡対象位置のマッピング作業を手動で行う必要がある。また、特許文献1に記載された生体内運動追跡装置が用いられる場合には、追跡対象位置のマッピング作業が操作者によって手動で行われるため、操作者は、少量のデータに対する追跡対象位置決定処理しか行うことができず、大量のデータに対する迅速な追跡対象位置決定処理を行うことができない。
【0005】
本発明は、上述の事情を勘案したものであって、手動による追跡対象位置のマッピング作業を必要とすることなく、大量のデータに対する追跡対象位置決定処理を迅速に行うことができる生体内運動追跡装置、生体内運動追跡方法およびプログラムを提供する。
【課題を解決するための手段】
【0006】
本発明の生体内運動追跡装置は、超音波画像に含まれる追跡対象である生体内運動を追跡する生体内運動追跡装置であって、超音波画像を取得する画像取得部と、学習用データとしての超音波画像を用いることによって事前学習を行う事前学習部と、前記事前学習部による事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡部とを備え、前記事前学習部は、前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理部と、前記学習用データの超音波画像に含まれる領域を抽出する領域抽出部と、前記領域抽出部によって抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析部と、前記学習用テクスチャ解析部によるテクスチャ解析の結果に対する主成分分析を行う主成分分析部とを備え、前記追跡部は、前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析部と、前記追跡用テクスチャ解析部によるテクスチャ解析の結果と、前記事前学習部による学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択部と、前記テンプレート自動選択部によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理部と、前記追跡用テンプレート処理部による複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定部とを備える。
【0007】
本発明の生体内運動追跡装置では、前記追跡部は、蓄積誤差を有さない初期テンプレートに基づく位置修正を行う位置修正部を更に備え、前記位置修正部は、前記初期テンプレートでのマッチングが一定以上の相関度である場合に、前記追跡対象の位置を、その時点の前記追跡対象の位置に修正してもよい。
【0008】
本発明の生体内運動追跡装置では、前記追跡部は、関心領域を常に監視する監視部を更に備え、前記監視部は、初期関心領域テンプレートを設定する領域設定部と、追跡後に、前記領域設定部によって設定された初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する計算部と、前記計算部によって計算された距離が所定の閾値を超えるか否かを判定する判定部と、前記計算部によって計算された距離が前記所定の閾値を超える場合にアラームを通知する通知部とを備えてもよい。
【0009】
本発明の生体内運動追跡装置では、前記通知部は、前記計算部によって計算された距離が前記所定の閾値を超える場合にアラームを通知すると同時に対応する関心領域の画像をデータベースに保存し、閲覧可能としてもよい。
【0010】
本発明の生体内運動追跡装置では、前記学習用テンプレート処理部は、前記学習用データの超音波画像を用いることによってテンプレートマッチングを行い、前記追跡用テンプレート処理部は、更新型テンプレートマッチングを行ってもよい。
【0011】
本発明の生体内運動追跡装置では、前記学習用テンプレート処理部は、前記学習用データの超音波画像を用いることによってKCF(Kernelized Correlation Filters)トラッキングを行い、前記追跡用テンプレート処理部は、KCFトラッキングを行ってもよい。
【0012】
本発明の生体内運動追跡装置は、超音波ガイド下RFA(Radio Frequency Ablation)治療またはHIFU(High Intensity Focused Ultrasound)治療を支援するためのものであってもよい。
【0013】
本発明の生体内運動追跡方法は、超音波画像に含まれる追跡対象である生体内運動を追跡する生体内運動追跡方法であって、超音波画像を取得する画像取得ステップと、学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、前記事前学習ステップにおける事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップとを含み、前記事前学習ステップは、前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、前記追跡ステップは、前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む。
【0014】
本発明のプログラムは、コンピュータに、超音波画像を取得する画像取得ステップと、学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、前記事前学習ステップにおける事前学習が行われた後に、生体内運動である追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップとを実行させるためのプログラムであって、前記事前学習ステップは、前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、前記追跡ステップは、前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む。
【発明の効果】
【0015】
本発明によれば、手動による追跡対象位置のマッピング作業を必要とすることなく、大量のデータに対する追跡対象位置決定処理を迅速に行うことができる生体内運動追跡装置、生体内運動追跡方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0016】
図1】RFA(Radio Frequency Ablation)を説明するための図である。
図2】RFA焼灼療法における超音波画像の一例を示す図である。
図3】テンプレートマッチングの原理を説明するための図である。
図4】テンプレートおよび検索画像の座標系を説明するための図である。
図5】超音波ガイド下RFA治療を説明するための図である。
図6】焼灼によって生じる高エコー領域(Hyper Echoic Region)を説明するための図である。
図7】血管を正解位置としてテンプレートマッチングを超音波画像内の各位置において行った結果を示す図である。
図8】HLAC(higher order local Autocorrelation)マスクパターンを説明するための図である。
図9】HLAC関心領域サイズを説明するための図である。
図10】更新型テンプレートマッチングにおける誤差の蓄積の問題を説明するための図である。
図11】ドリフトの問題が実際の超音波動画の追跡において生じている事例(リセットを行わない場合の誤差)を説明するための図である。
図12】実際に超音波動画においてテンプレートを更新しない場合とテンプレートを更新している場合における正解座標からの誤差を示した図である。
図13】第1実施形態の生体内運動追跡装置の構成の一例を示す図である。
図14】第1実施形態の生体内運動追跡装置による処理の流れを概略的に説明するためのフローチャートである。
図15図14のステップS11を実現する具体例を説明するためのフローチャートである。
図16図14のステップS22等を実現する具体例を説明するためのフローチャートである。
図17図16におけるHLACによる解析(ステップS201、S210、S213)と、部分空間法を用いたテンプレートの選択(ステップS202、S211、S214)との関係を説明するための図である。
図18】テンプレートマッチングによる追跡対象の追跡と各テンプレートの相関係数とを示す図である。
図19】第1または第2実施形態の生体内運動追跡装置が適用されたシステムの一例を示す図である。
図20】追跡実験に用いられた動画像の1フレームを示した図である。
図21】各更新タイミングにおける誤差[mm]を示した図である。
図22】手動でのテンプレート選択を説明するための図である。
図23】手動でのテンプレート選択を説明するための図である。
図24】手動でのテンプレート選択を説明するための図である。
図25】部分空間法によるテンプレートの自動選択とランダムでのテンプレート選択とを比較した図である。
図26】動画における追跡誤差を示す図である。
図27】動画における追跡誤差を示す図である。
図28】動画における追跡誤差を示す図である。
図29】動画における追跡誤差を示す図である。
図30】リセットを用いた場合と用いていない場合の様子を示す図である。
図31】超音波画像における精度(1mmの誤差、2mmの誤差および3mmの誤差)を説明するための図である。
図32】第1または第2実施形態の生体内運動追跡装置を適用した手法における精度などを説明するための図である。
【発明を実施するための形態】
【0017】
本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態を説明する前に、本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムを適用可能な治療などについて説明する。
【0018】
近年、低侵襲治療としてRFA(Radio Frequency Ablation)治療が肝臓癌における治療方法として広く活用されている。RFA治療とは、腫瘍に穿刺を行い、針先からラジオ波を放出することで腫瘍の焼灼を行う治療方法である。RFA治療は開腹手術と比べて低侵襲であり、癌での死亡数は部位別で5位、罹患率では6位となっている肝臓がんにおいて極めて有効な手術の手段である。
図1はRFAを説明するための図である。図1に示すように、RFA治療では、腫瘍に対して穿刺が行われ、ラジオ波が放出され、腫瘍及びその周辺の焼灼マージン領域が焼灼される。また、RFA治療を行う際に腫瘍周辺部の様子を観察するために超音波ガイド下RFA、MRガイド下RFAなどが行われている。また、腫瘍が観察しにくい位置に存在する場合は造影超音波ガイド下RFA治療なども行われている。
【0019】
RFA治療は低侵襲治療として肝臓癌に対して広く使用されている。低侵襲性において欠かすことができない要素として腫瘍のモニタリングがある。腫瘍の位置関係を正しく把握し続けることで、正確に腫瘍に対してのみに治療を行うことが可能となる。腫瘍の位置関係を正しく把握し続けることで、腫瘍部の完全焼灼と非腫瘍部への侵襲を減らすことができる。
本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態がRFA治療支援システムに適用される場合、RFA治療支援システムは、腫瘍への重畳表示、腫瘍・腫瘍周辺部の輝度情報の解析を行う。このRFA治療支援システムが運用される場合には、腫瘍を常に正しく追うことができる。本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、実手術環境を念頭に入れた条件下での腫瘍などの生体内運動への追跡性度向上を目指した。本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態の特徴は以下のとおりである。
・取得した画像上において生体内運動を高精度に追跡する。
・テクスチャ解析による事前学習に基づき追跡に最適な画像領域を選択する。
・随時、テクスチャ解析を行い追跡に最適なテンプレート画像を更新する。
【0020】
<RFA治療における問題点>
RFA治療における局所再発の割合は2.1%〜16.5%であり、これを向上させるためには肝癌を完全に焼灼する必要がある。そのため、腫瘍および焼灼マージン部を含めた焼灼が必要である。
完全に焼灼をするうえでRFAの治療範囲を把握することが必要となる。一方で治療範囲が広い場合一度の穿刺では焼灼範囲が足らず、一つの腫瘍部に対して複数回穿刺を行い治療する必要がある。この時一度焼灼を行うと腫瘍を覆うように焼灼による高輝度部(Hyperechoic region)が発生し、超音波画像からの次に刺すべき位置の判断を阻害する問題が存在する。再発を防ぐための完全な焼灼には正しい腫瘍部の位置を常に把握し、その治療効果範囲を把握することが求められる。
【0021】
<RFA治療支援における従来研究>
RFA治療支援における関連研究として2例挙げる。一方はRFA治療中の治療支援に関連した研究で他方はRFA手術ロボット関連の研究である。
【0022】
[4D超音波画像を用いたRFA治療の観測に関する研究]
文献「T. KIHARA, “Registration of 4D Ultrasound Images and its Applications,” The Japanese Society of Medical Imaging Technology, 2010.」において、嶺らは電気的、機械的に超音波画像を3次元情報として取得する4D超音波を用いたRFA治療の観察を行う手法を提案した。4D超音波画像によって病変部と穿刺針の相互位置を高い精度で取得することが治療成績の向上につながることが期待されている。そのため、手動にて選択した解剖学的に特徴的な部位のボリュームデータの類似度をもとに位置合わせを行った。ここで特徴的な位置として横隔膜や血管を利用している。精度に関しては医師の支援を目的としていることから正解座標との差分などをもとにした計測による精度ではなく医師にずれがあるかどうか判断してもらいそれをもとにシステムの性能を評価している。
この研究ではボリュームデータにおける時間解像度が1秒間に5個であった。そのため、時間解像度において劣っていることから、それに起因した誤差が生じると考えられる。そのことからなるべく時間解像度の高い方法で超音波動画像を取得することが必要であると考える。また、加えてボリュームデータに対して類似度をもとに追跡をする手法をとっているがこれは計算量が長大な問題がある。
また、文献「木原 朝彦、“GPUによる三次元局所統計量に基づく特徴量計算の高速化” MEDICAL IMAGING TECHNOLOGY Vol. 31 No. 5 November, 2013.」において、木原らは本手法の計算速度の高速化のためにGPUを用いた高速化を提案している。これによって、約16倍から210倍の性能向上を達成しているもののリアルタイムでのトラッキングには現在至っていない。また、空間解像度が現在低い問題も存在する。そこで今後さらなる計算速度の向上、空間解像度の上昇が必要である。
【0023】
[MR画像による穿刺支援に関する研究]
文献「岸 宏亮、“MR画像誘導機能を有する小型穿刺マニピュレータシステム” 日本コンピュータ外科学会 2011.」において、岸らはMRガイド下でのRFA手術支援ロボットの研究およびMR画像上での腫瘍追跡に関する研究を行った。体動が大きい肝臓を対象としていることから、臓器の動きに対して穿刺針の姿勢をリアルタイムで調節することが可能なロボットシステムを構築した。MRI下で動作を行うことため、磁場を乱しにくい材質によってロボットを作成している。トラッキングに関しては外部からの光学式3次元位置計測器をもとに穿刺張りの位置姿勢のトラッキングを行っている。また、腫瘍に対してのトラッキングは手動にて行うことを想定している。
ここで腫瘍に対してのトラッキングについてはMR画像をもとに医師が腫瘍位置を判断し行う。ここでMR画像の撮像に1断面4秒必要とすることから呼吸周期よりも長い時間を要することがわかる。このため、呼吸による臓器の運動などに対する補償としては時間分解能が不足していると考えられる。
ここで超音波では20FPS以上というリアルタイムでの撮像を可能としていることから呼吸などによる臓器の運動への補償にも対応しうる時間分解能を持つ。
【0024】
<RFA治療支援システムにおける運動追跡>
RFA治療において先に述べたような医師の治療を阻害する要因が存在している。また、「RFA治療支援における従来研究」において述べた従来研究では追跡に関しては医師が取得画像をもとに判断する形となっている。
一方、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、超音波動画像上において生体内運動を追跡することでその位置を提示する。
【0025】
図2はRFA焼灼療法における超音波画像の一例を示す図である。詳細には、図2の左図は、肝臓領域の境界が明瞭な例を示している。図2の中図は、肝臓領域の境界が明瞭であり、横隔膜が見える例を示している。図2の右図は、肝臓領域の境界が不明瞭であり、横隔膜が見えていない例を示している。RFAの実際の手術環境は以下のような特徴がある。
・様々なスケールにおいて超音波動画の撮影を行う。
・見える部位が異なり、横隔膜が見える場合と見えない場合とが存在する。また、肝臓領域の境界が明瞭な場合と不明瞭な場合とが存在する。
・医師の把持するプローブをもとに映していることから、体表から離したり、大きく動いたりする場合がある。
これらのことから、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、超音波動画毎に特徴を選択することができ、処理中に保存することができ、短期間超音波動画像が乱れたり、消えてしまうといったことに対応することが可能なテンプレートマッチングをもとに追跡を行っている。
次に、テンプレートマッチングの原理について説明する。
【0026】
図3はテンプレートマッチングの原理を説明するための図である。
図3に示すように、テンプレートマッチングは、追跡対象の画像を予めテンプレートとして取得しておき、テンプレートと検索画像とを重ね合わせることにより比較照合し、両者の類似度を調べる手法である。テンプレートを検索画像上の領域を移動させながら類似度を調べ、最も類似度の高い位置を検出する。類似度の評価尺度としては、輝度値の差の絶対値の和(Sum of Absolute Difference:SAD)や輝度値の差の2乗和(Sum of Squared Difference:SSD)、正規化相関係数などが用いられる。後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態の一例では、画像の輝度値の線形変換に対してロバストな正規化相関係数を採用する。
【0027】
図4はテンプレートおよび検索画像の座標系を説明するための図である。
図4に示す例では、テンプレートをt(m,n)(m=0〜M−1、n=0〜N−1)、検索画像をf(x,y)(x=0〜X−1、y=0〜Y−1)とする。検索画像において点(u,v)を始点とするテンプレートと同サイズ(M×N)の部分画像をfu,vとする。このときの正規化相関係数をRu,vとすると、Ru,vは式(1)により与えられる。
但し、t、fはそれぞれ、テンプレートの平均輝度値、検索画像の平均輝度値であり、それぞれ、式(2)、式(3)により与えられる。
【0028】
【数1】
【0029】
【数2】
【0030】
【数3】
【0031】
画像の輝度値をM+N次元空間におけるベクトルとしてとらえると、正規化相関係数は、M+N次元空間における2つのベクトルの内積に相当する。そのため、画像の相関度が最も高いときに1、最も低いときに−1の値となる。
【0032】
<超音波動画に対する運動補償・動画追跡>
近年、超音波動画に対する追跡による運動補償に関する研究が広く行われている。超音波診断と他の医療画像技術であるMRやCTと比較したとき以下のような特徴があげられる。
・時間空間・分解能において優れている。
・被曝をしないので非侵襲である。
・価格が安く導入が容易である。
・専用の部屋や大きな機械を必要としないので導入が容易である。
・機械が小さいことから様々なケースの手術環境に導入ができる。
・軟組織や血管の様子、血流の様子などをリアルタイムで確認できる。
・一方で超音波画像においてはホワイトノイズや組織特有のスペックルノイズと呼ばれるノイズの存在や断面の画像であることから断面の変化に伴うテクスチャの変化といった追跡を妨げる要因が存在している。
・ 骨などの硬組織に対しては超音波が通らないので音響シャドウと呼ばれる描画されない領域が生じる。
また超音波画像でモニタリングを行う際に人の臓器は呼吸や心拍、腸の蠕動運動、任意体動などによって運動をしている。肝臓の最大変位は24.4±16.4mmとなっており、大きく移動することがわかっている。このように導入が容易であり、診断・治療との親和性が高いことが利点として挙げられる。
【0033】
<追跡誤差の要因と従来の研究>
[オプティカルフローに基づく超音波画像の動態解析に関する研究]
文献「Y. Ryo, “Motion Analysis of Ultrasound Image Based on Optical Flow and Texture Information,” 電子情報通信学会技術研究報告. IMQ, イメージ・メディア・クオリティ 113(468), 2014.」において、横山らは格子点を追従することによる超音波画像上での高密度な動態解析法を提案した。
これは超音波画像上に格子点を設定し、テクスチャ情報についてバイナリ特徴量に基づいた格子点検出を行いその結果をもとにオプティカルフローに基づく追跡を行った。ここで各点同士にマルチスプリングモデルを導入することで一部のノイズに左右されにくく、ロバスト性を向上させている。
【0034】
[超音波画像上でのパーティクルフィルタを用いた患部追跡に関する研究]
文献「S.C.Davies, A.L.Hill, R.B.Holmes, M.Halliwell, and P.C.Jackson, “Ultrasound quantitation of respiratory organ motion in the upper abdomen,” The British Journal of Radiology, 1994.」において、Marco Carlettiらは同一断面上での肝臓上の血管の追跡においてパーティクルフィルタを用いた更新テンプレートマッチングによる追跡手法を提案した。テンプレートの更新に伴う誤差の蓄積に対してはパーティクルフィルタを用いること、およびその際の尤度をもとに基準となるテンプレートの更新を行い、突発的な体動などによる追跡対象の大きな変位に対しては変位時におけるパーティクルの散布範囲を変更することによって追跡を行った.これはMICCAIにおけるCLUST2015のデータセットを用いている。このデータセットでは超音波画像上での肝臓における血管の追跡を目的としており、同一断面における肝臓の呼吸によって運動している様子が収められている。
【0035】
<超音波ガイド下RFA治療>
図5は超音波ガイド下RFA治療を説明するための図である。詳細には、図5の左図は、RFAの穿刺を実際にしている様子を示している。図5の右図は、特に超音波ガイド下で穿刺を行っている様子を示している。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態が適用可能な図5に示すシステムでは、医師がプローブを把持してRFA治療を行う。図5に示すように、超音波ガイド下RFA治療では、一般的に超音波プローブ部に針を刺すためのガイドを取り付け、超音波プローブに沿った形でRFA用の針を穿刺する。
従来の追跡手法では、医師によって追跡対象以外の部位以外において選択された複数枚のテンプレートと移動コストをもとにしたエネルギー関数を用いてそのエネルギーが最小となる点を求めることで追跡を行っていた。
従来手法における追跡精度の低下要因として、臓器の変形や超音波画像における断面の変化やテンプレートの手動選択に伴う不安定さがあげられる。臓器は自身の運動によって変形、見えている断面の変化、回転などを伴う。これらによってテンプレート選択時とマッチング時において臓器の見え方に差異が生じ、テンプレートマッチングによる追跡の精度を下げる要因となっている。
そのため、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、これらの問題を解決するために自動テンプレート選択、テンプレートの更新によるテンプレートの時間経過に伴うずれの解消を行った。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、追跡精度の向上のために事前学習に基づく更新型テンプレートによる追跡を行った。事前に正解位置がわかる学習用データを用意した。それに対してHLAC(higher order local Autocorrelation)によるテクスチャ解析を行った。HLACによるテクスチャ解析結果をもとに部分空間法を用いて、追跡精度の高いテクスチャに類似した領域を検出し、検出結果をもとに自動テンプレート選択を行った。そして、このテクスチャ類似度を一定間隔ごとに行うことで更新型テンプレートマッチングをおこなった。
【0036】
<臓器運動の特徴>
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、超音波画像に含まれる追跡対象である生体内運動が、例えば肝臓の腫瘍である。そこで肝臓を中心とした、体動に関する研究について取り上げる。
文献「S.C.Davies, A.L.Hill, R.B.Holmes, M.Halliwell, and P.C.Jackson, “Ultrasound quantitation of respiratory organ motion in the upper abdomen,” The British Journal of Radiology, 1994.」において、S. C. Daviesらは腹部上部の内臓の運動を計測し、文献「M.A.Clifford, F.Banovac, E.Levy, and K.Cleary, “Assessment of hepatic motion secondary to respiration for computer assisted interventions,” Computer Aided Surgery, 2002.」において、M. A. Cliffordらは肝臓の運動を調査した。これらの研究により、肝臓は呼吸に伴い、最大15〜20mm/sの速度で10mm〜20mm以上移動することが示された。
さらに、文献「D.R.Daum, N.B.Smith, and et al, “In vivo demonstration of noninvasive thermal surgery of the liver and kidney using an ultrasonic phased array,” The British Journal of Radiology, 1999.」において、D. R. Daumらは深呼吸により、肝臓が100mm以上動くことを報告した。
文献「C.E.Kleynen, B.J.Slotman, F.J.Lagerwaard, J.R.v.S.d.Koste, S.Senan, “Renal mobility during uncoached quiet respiration: an analysis of 4dct scans,” International Journal of Radiation Oncology & Biology & Physics, 2006.」および文献「M.Feron, B.Bussels and L.Goethal, “Respiration-induced movement of the upper abdominal organs: a pitfall for the three-dimensional conformal radiation treatment of pancreatic cancer,” Radiotherapy and Oncology, 2003.」において、腎臓の呼吸性移動に関する研究もされており,腎臓は呼吸により平均で5〜9mm移動すると報告されている。
また、文献「D. Pham, T. Kron, F. Foroudi, M. Schneider, S. Siva, “A Review of Kidney Motion Under Free, Deep and Forced-shallow Breathing Conditions: Implications for Stereotactic Ablative Body Radiotherapy Treatment,” Technology in Cancer Research & Treatment 2013, 2013. 」において、深呼吸の場合10〜40mm移動するという報告もある。
これらのことより、肝臓は腎臓と比較をしたときにより呼吸によって運動を行うことがわかる。
【0037】
<RFA治療時における超音波画像の特徴>
本発明の生体内運動追跡装置は、実際のRFA治療時に使用することが求められる。そのため、肋間、助弓下においての使用が想定される。また、縮尺がその時々によって異なり肝臓内のどの部位が見えるかがいくつか存在しうる。肝臓の輪郭全体が見えている場合と一部しか見えていない場合などが想定される。また、治療時において追跡する腫瘍そのものは焼灼によって白く変化をしていくことから、腫瘍をもとに追跡を行うことは適していないと考えられる。このことから追跡において多く用いられる手法である輪郭を用いた追跡や追跡対象そのものの情報をもとにした追跡はRFA治療支援システムへの適用には適していないと考えられる。このことから、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、生体内運動以外の超音波画像上の組織の動きをもとにトラッキングを行う。
ここで以下に腫瘍を直接追跡する場合のメリットとデメリットを上げる。
【0038】
[メリット]
・臓器が変形して臓器内の距離関係が変化したとしても、腫瘍を追跡し続けることができる。
・腫瘍は他の組織と比べた時に特徴的な構造である。
・腫瘍が見えているときは追跡でき、腫瘍が見えてないときは追跡できないとその良否がはっきりとしている。
・追跡が容易である。
【0039】
[デメリット]
図6は焼灼によって生じる高エコー領域(Hyper Echoic Region)を説明するための図である。
・腫瘍は焼灼によって、図6に示すような高エコー領域(Hyper Echoic Region)と呼ばれる白い領域が生じる。これは焼灼に伴う水蒸気によって生じる。手術中に見た目が大きく変化する領域である。
・腫瘍の領域は狭い。肋骨に遮蔽されることで生じる音響シャドウの影響を大きく受ける。
・腫瘍と似ている組織として血管が挙げられる。狭い領域の情報のみで追跡を行う場合、似ている組織への誤追跡をする恐れがある。
【0040】
<追跡における最適なテンプレート及びその学習>
腫瘍の追跡を行う際に腫瘍自身は焼灼に伴う変化及び断面の変化によってその姿を大きく変化させる。そのことから腫瘍自身をテンプレートとして使用することは実際の手術への適用を考慮すると避けることが望ましいと考える。そのことから、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、生体内運動周辺部を追跡し、それと生体内運動の位置関係をもとにして生体内運動の位置を間接的に求める手法を採用した。
【0041】
図7は血管を正解位置としてテンプレートマッチングを超音波画像内の各位置において行った結果を示す図である。
図7では、相関度の高さを色温度で表している。図7の中央の丸い白色領域は、相関度の値が高いことを表している。この白色領域は、血管部を示しており、追跡対象である。図7は、各フレームにおける正解点の位置におけるテンプレートマッチングによる相関度の平均を求めたものである。
図7において相関が高くなっている、つまり高い追跡スコアを出すことができているエリアは、横隔膜と肋骨のシャドウ部との境目、別の血管部であることがわかる。よってこのことからこれらの領域を自動的に選出することができれば高い追跡精度を実現することができると考えられる。これは肝臓の動き自体が横隔膜に大きく影響を受けていること、横隔膜が多少の断層のずれで見た目が変化しにくく、特徴的な見た目であることから横隔膜を含んだテンプレートが追跡に適していると考えられる。また、音響シャドウ周辺はシャドウの影響で特に白い組織のみが見え、それ以外が見えにくくなる。このことが特徴的な組織を強調することとなり、追跡の成績が高くなっていると考える。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、部分空間法を用い、テンプレートマッチング結果が好成績な領域のHLACによるテクスチャ情報を部分空間によって表現し、作成した部分空間との類似度を計測することによってテクスチャ情報からテンプレートとして使用することに適した領域であるかどうかを推測する。
【0042】
[正解データ取得方法]
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、正解データ取得方法としてテンプレートマッチングを画面全体に対して行い、追跡成績がよい部分に関してテンプレートマッチングにおいてよい成績を残すことのできる正解データとして採用した。この手法を用いることによって正解データを取得する際に通常必要になる手動での正解位置のマッピング作業を必要とせず自動的に大量のデータに対して教師あり学習を行うことを可能にした。
これはテンプレート画像そのものを学習させた場合、超音波画像内では様々な部位の組織が存在し、人によって差も存在している。一方テクスチャ情報にそれを落とし込むことで情報を一般化し、様々な学習用のデータから共通する特徴の抽出を図った。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、追跡精度の高い位置として抽出した部位を事前データとして用いる。追跡精度について未知のフレームにおいて追跡精度の高い位置におけるテクスチャの特徴と似ている部位を選択し、それを追跡することによって追跡精度の向上を目指した。
テクスチャ情報に基づいて追跡を行う手法として、文献「Y. Ryo, “Motion Analysis of Ultrasound Image Based on Optical Flow and Texture Information,” 電子情報通信学会技術研究報告. IMQ, イメージ・メディア・クオリティ 113(468), 2014.」において、横山らは格子状に配置した関心点について周辺におけるバイナリ特徴量に着目して追跡を行いオプティカルフローによって超音波動画上において動態解析を行っている。
一方、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、よりテクスチャを詳しく解析してその結果をもとに画像全体から追跡に用いる部分の抽出を行った。テクスチャ解析手法としては、文献「T. Toyoda, “Texture Classification Using Extended Higher Order Local Autocorrelation Features,” Proceedings of the 4th International Workshop on Texture Analysis and Synthesis, 2005.」に記載されているHLAC(higher order local Autocorrelation)を用いた。HLACは高次局所自己相関特徴と呼ばれ、下記の式(4)に示すように、グレースケールの入力画像をfとしたとき、変位方向(a,a,…,a)に対してN次自己相関関数によって定義される。
【0043】
【数4】
【0044】
ここで次数Nに関しては0、1、2とする。
図8はHLACマスクパターンを説明するための図である。そしてr=1としたときにHLAC特徴は図8に示すようなマスクパターンとなる。黒いブロックは1乗、2と書かれたブロックは2乗、3と書かれたブロックに関しては3乗を意味するものとする。関心範囲全体に対してこれらのマスクパターンに沿って順々に操作していくことによって求める積分特徴である。HLACは自己相関関数を用いていることからノイズに頑強であり、超音波画像のようなノイズがのった画像の特徴解析においても効果を発揮すると考える。関心範囲は3×3のほかに5×5のように距離を変化させて計算を行う場合も存在する。
【0045】
文献「山崎 優大、岩田 昌也、“高次局所自己相関特徴に基づくAdaBoostを用いた乳腺超音波画像からの異常検出,” 研究報告数理モデル化と問題解決(MPS),Information Processing Society of Japan, 2012.」において、HLACの超音波画像への応用として、山崎らは乳腺超音波画像上から腫瘍部の検出においてHLACによってテクスチャ解析を行い、取得した特徴量について判別分析及びAdaboostによって正常な乳腺組織と病変部の識別を行った。累積寄与率99%、99.9%、99.99%、99.999%でそれぞれ主成分分析を行い、それぞれのパターンを組み合わせて130通りの特徴空間を形成し、これによる弱識別器に対してAdaboostによって識別を行った。
また、文献「岩田健司, “高次局所自己相関特徴法(HLAC)によるがん病理画像診断支援システムの構築に向けて,” 日本医用画像工学会大会予稿集, 2009.」において、HLACは輝度の大きい部位の特徴をより強く反映させてしまう特徴があるので、そのままの画像と白黒反転させた画像の2種類の画像を使用した。
【0046】
図9はHLAC関心領域サイズを説明するための図である。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、図9に示すように、3×3、5×5の関心領域を設定して、白黒反転画像と反転していない画像の合計4種類の特徴量、合計140個の特徴量を使用した。
【0047】
<部分空間法による学習について>
部分空間法とは学習過程によって得ることのできた、ベクトルによって構成される部分空間の直交補正空間への射影成分の距離を用いる。これを部分空間からの逸脱度とする。距離が近いほど、学習時の特徴と似ている。距離が離れているほど学習時の特徴とは異なる特徴である。学習データに対して主成分分析を行い、これによって求めた固有ベクトルで張られる空間である。実際の部分空間法は以下の式のようにあらわされる。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、入力特徴ベクトルx(i=1…N)の分散共分散行列を求める。この行列に関して、主成分分析をおこなう。
【0048】
【数5】
【0049】
【数6】
【0050】
主成分分析によって累積寄与率kまでの固有ベクトルu(k=0…n)による主成分直交基底U、これによって構成された部分空間をテンプレートマッチングに適したテクスチャの部分空間とする。
次に逸脱度である距離を計算する。Xsrcを入力画像におけるテクスチャのベクトルとする。
このとき距離dは下のように求めることができる。
【0051】
【数7】
【0052】
これより、このdが小さいものから事前学習でのテクスチャベクトルに近いものとしてテンプレートとして選択をする。
【0053】
<テンプレートの逐次更新に伴う誤差の解消>
[テンプレートマッチングを用いた追跡による誤差としてマッチング]
更新型テンプレートマッチングにおいては誤差の蓄積の問題が存在する。一般的に更新テンプレートマッチングにおける誤差として単純なマッチングによる誤差と蓄積誤差が存在する。蓄積誤差とはテンプレートを更新する際に直前の誤差が存在する位置関係をもとにしてテンプレートを更新するために生じるためである。
【0054】
図10は更新型テンプレートマッチングにおける誤差の蓄積の問題を説明するための図である。
図10の上の図はテンプレートマッチングによる誤差が存在する状態でテンプレートの更新を行ってしまった場合の様子を表している。下の図の誤差がない状態で更新している場合と比べた時に更新する瞬間において、基準位置がずれてしまっていることがわかる。このように更新型テンプレートマッチングでは誤差の蓄積に伴い少しずつ追跡位置がずれていってしまうドリフトの問題がある。
【0055】
図11はドリフトの問題が実際の超音波動画の追跡において生じている事例(リセットを行わない場合の誤差)を説明するための図である。
図12は実際に超音波動画においてテンプレートを更新しない場合とテンプレートを更新している場合における正解座標からの誤差を示した図である。
更新型テンプレートマッチングでは更新しない場合と比較して初期は誤差が少ないが時間の経過とともに誤差が蓄積されて誤差が上昇していく様子が伺える。それによって更新しない場合と比較して後半においては更新型テンプレートマッチングの方に誤差の方が大きくなってしまっていることがわかる。
【0056】
以下、図面を参照し、本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態について説明する。
【0057】
<第1実施形態>
図13は第1実施形態の生体内運動追跡装置1の構成の一例を示す図である。第1実施形態の生体内運動追跡装置1は、超音波画像に含まれる追跡対象である生体内運動を追跡する。
詳細には、生体内運動追跡装置1は、生体内を概周期的に運動する臓器と連動する注目部分を、生体構造を撮影した生体像において追跡する。ここでは、観察や追跡の対象として関心を持つ臓器(関心臓器)は例えば腎臓や肝臓であるとする。腎臓や肝臓は、患者等、生体の呼吸に応じて概周期的に運動する。また、注目部分は典型的には患部であり、例えば、結石、癌、腫瘍などである。
生体内運動追跡装置1は、例えば、超音波ガイド下RFA治療を支援するために用いられる。他の例では、生体内運動追跡装置1が、例えば、HIFU(High Intensity Focused Ultrasound)治療を支援するために用いられてもよい。
図13に示す例では、生体内運動追跡装置1が、画像取得部11と、処理部12とを備えている。画像取得部11は、例えばプローブなどによって撮像された超音波画像を取得する。処理部12は、事前学習部12Aと、追跡部12Bとを備えている。事前学習部12Aは、学習用データとして、例えば予め準備された超音波画像を用いることによって事前学習を行う。追跡部12Bは、事前学習部12Aによる事前学習が行われた後に、追跡対象を含む超音波画像上の追跡対象の位置を追跡する。
【0058】
図13に示す例では、事前学習部12Aが、学習用テンプレート処理部12A1と、領域抽出部12A2と、学習用テクスチャ解析部12A3と、主成分分析部12A4とを備えている。
学習用テンプレート処理部12A1は、学習用データの超音波画像を用いることによってテンプレート処理を行う。詳細には、学習用テンプレート処理部12A1は、学習用データの超音波画像を用いることにより、図3を参照して説明したテンプレートマッチングを行う。
領域抽出部12A2は、学習用データの超音波画像に含まれる領域を抽出する。学習用テクスチャ解析部12A3は、領域抽出部12A2によって抽出された領域に対するテクスチャ解析を行う。主成分分析部12A4は、学習用テクスチャ解析部12A3によるテクスチャ解析の結果に対する主成分分析を行う。
【0059】
図13に示す例では、追跡部12Bは、追跡用テクスチャ解析部12B1と、テンプレート自動選択部12B2と、追跡用テンプレート処理部12B3と、追跡対象位置決定部12B4と、位置修正部12B5と、監視部12B6とを備えている。
追跡用テクスチャ解析部12B1は、追跡対象を含む超音波画像のテクスチャ解析を行う。テンプレート自動選択部12B2は、追跡用テクスチャ解析部12B1によるテクスチャ解析の結果と、事前学習部12Aによる学習の結果とに基づいて、追跡対象の追跡に適した画像領域をテンプレートとして選択する。
追跡用テンプレート処理部12B3は、テンプレート自動選択部12B2によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う。詳細には、追跡用テンプレート処理部12B3は、更新型テンプレートマッチングを行う。
追跡対象位置決定部12B4は、追跡用テンプレート処理部12B3による複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を追跡対象の位置として決定する。
位置修正部12B5は、蓄積誤差を有さない初期テンプレートに基づく位置修正を行う。詳細には、位置修正部12B5は、初期テンプレートでのマッチングが一定以上の相関度である場合に、追跡対象の位置を、その時点の追跡対象の位置に修正する。
監視部12B6は、関心領域(ROI:Region of Interest)を常に監視する。監視部12B6は、領域設定部12B6Aと、計算部12B6Bと、判定部12B6Cと、通知部12B6Dとを備えている。領域設定部12B6Aは、初期関心領域テンプレートを設定する。計算部12B6Bは、追跡後に、領域設定部12B6Aによって設定された初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する。判定部12B6Cは、計算部12B6Bによって計算された距離が所定の閾値を超えるか否かを判定する。通知部12B6Dは、計算部12B6Bによって計算された距離が所定の閾値を超える場合にアラームを通知する。通知部12B6Dは、計算部12B6Bによって計算された距離が所定の閾値を超える場合にアラームを通知すると同時に対応する関心領域の画像をデータベース(図示せず)に保存し、閲覧可能としてもよい。このデータベースはローカルにあってもよいし、ネットワーク上にあってもよい。
【0060】
図14は第1実施形態の生体内運動追跡装置1による処理の流れを概略的に説明するためのフローチャートである。
図14に示す例では、ステップS10において、画像取得部11が、学習用データとしての超音波画像を取得する。
次いで、ステップS11において、事前学習部12Aが、学習用データとしての超音波画像を用いることによって事前学習を行う。ステップS11には、ステップS11Aと、ステップS11Bと、ステップS11Cと、ステップS11Dとが含まれる。
まず、ステップS11Aでは、学習用テンプレート処理部12A1が、学習用データの超音波画像を用いることによってテンプレート処理を行う。
次いで、ステップS11Bでは、領域抽出部12A2が、学習用データの超音波画像に含まれる領域を抽出する。
次いで、ステップS11Cでは、学習用テクスチャ解析部12A3が、ステップS11Bにおいて抽出された領域に対するテクスチャ解析を行う。
次いで、ステップS11Dでは、主成分分析部12A4が、ステップS11Cにおけるテクスチャ解析の結果に対する主成分分析を行う。
ステップS11A〜S11Dが、事前学習部12Aによって実行される処理である。
【0061】
次いで、ステップS20において、画像取得部11が、追跡対象を含む超音波画像を取得する。
次いで、ステップS21Aにおいて、領域設定部12B6Aは、初期関心領域テンプレートを設定する。図14に示す例では、領域設定部12B6Aが、自動で抽出した複数枚のテンプレートを用いて自動設定する。自動で選択した追跡に適したテンプレート領域は生体構造のテクスチャが比較的はっきり現れているものといえるので、初期テンプレートからの変化(異常)を検出することにも同様に適した領域のテンプレートであると考えられるからである。他の例では、領域設定部12B6Aが、同じ人の過去の診療画像データベースから初期関心領域テンプレートを抽出、設定してもよい。さらに他の例では、医師が初期関心領域テンプレートを設定してもよい。
次いで、ステップS22において、追跡部12Bが、追跡対象を含む超音波画像上の追跡対象の位置を追跡する。ステップS22には、ステップS22Aと、ステップS22Bと、ステップS22Cと、ステップS22Dとが含まれる。
まず、ステップS22Aでは、追跡用テクスチャ解析部12B1が、追跡対象を含む超音波画像のテクスチャ解析を行う。
次いで、ステップS22Bでは、テンプレート自動選択部12B2が、ステップS22Aにおけるテクスチャ解析の結果と、ステップS11における学習の結果とに基づいて、追跡対象の追跡に適した画像領域をテンプレートとして選択する。
次いで、ステップS22Cでは、追跡用テンプレート処理部12B3が、ステップS22Bにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う。
次いで、ステップS22Dでは、追跡対象位置決定部12B4が、ステップS22Cにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を追跡対象の位置として決定する。
また、ステップS22では、必要に応じて、位置修正部12B5が、蓄積誤差を有さない初期テンプレートに基づく位置修正を行う。
次いで、ステップS21Bでは、計算部12B6Bが、追跡後に、領域設定部12B6Aによって設定された初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する。
次いで、ステップS21Cでは、判定部12B6Cが、計算部12B6Bによって計算された距離が所定の閾値を超えるか否かを判定する。
次いで、ステップS21Dでは、通知部12B6Dが、計算部12B6Bによって計算された距離が所定の閾値を超える場合にアラームを通知する。
ステップS21A〜ステップS21Dが、追跡部12Bによって実行される処理である。
【0062】
上述したように、図13および図14に示す例では、学習用テンプレート処理部12A1が、学習用データの超音波画像を用いることによってテンプレート処理を行い、追跡用テンプレート処理部12B3が、テンプレート自動選択部12B2によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う。
他の例では、代わりに、1つのテンプレート処理部が、学習用データの超音波画像を用いることによってテンプレート処理を行うと共に、テンプレート自動選択部12B2によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行ってもよい。
【0063】
ステップS21Bにおける距離とは、テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域との画像特徴量の距離(差)である。個別には、以下の4つに大別される。
(1)テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域との相互相関係数
距離とは、例えばSSD(Sum of Squared Difference)である。SSDは、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の2乗の合計が用いられる。SSDの値が小さいほど、似ている位置となる。
また、距離とは、例えばSAD(Sum of Absolute Difference)である。SADは、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の絶対値の合計が用いられる。SADの値が小さいほど、似ている位置となる。
また、距離とは、例えば正規化相互相関(NCC:Normalized Cross-Correlation)である。テンプレートと画像との類似度として、正規化相互相関が用いられる場合もある。類似度が1に近いほど、似ている位置となる。
【0064】
(2)テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域とのテクスチャ特徴量の差
上述したHLACは、これに含まれる。
具体的には、距離とは、例えばHough変換を用いたテクスチャ特徴量である。
また、距離とは、例えば濃度ヒストグラムを用いたテクスチャ特徴量である。
また、距離とは、例えばフーリエ・スペクトルを用いたテクスチャ特徴量である。
また、距離とは、例えば差分統計量を用いたテクスチャ特徴量である。
また、距離とは、例えば濃度共起行列を用いたテクスチャ特徴量である。
また、距離とは、例えばランレングス行列を用いたテクスチャ特徴量である。
また、距離とは、例えばフラクタルを用いたテクスチャ特徴量である。
(3)テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域内の臓器の(輪郭)形状(扁平度、曲率、輪郭長、直径、面積)の差
(4)下記の11枚目に挙げられている画像特徴量
http://www.vision.cs.chubu.ac.jp/features/PPT/SSII2009/090610_SSII2009_Tutorial.pdf
【0065】
テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域との画像特徴量の距離(差)に関し、テンプレート画像は次元が異なっても(例えば、テンプレートは3次元、関心領域は2次元)であってもよい。画像診断モダリティ(CT、MRI)が異なってもよい。データベース化したものからとってきた整形された(もはや画像ではない)特徴量を用いてもよい。
【0066】
上述したように、図13および図14に示す例では、学習用テクスチャ解析部12A3が、領域抽出部12A2によって抽出された領域に対するテクスチャ解析を行い、追跡用テクスチャ解析部12B1が、追跡対象を含む超音波画像のテクスチャ解析を行う。
他の例では、代わりに、1つのテクスチャ解析部が、領域抽出部12A2によって抽出された領域に対するテクスチャ解析を行うと共に、追跡対象を含む超音波画像のテクスチャ解析を行ってもよい。
【0067】
上述したように、第1実施形態の生体内運動追跡装置1による追跡手法は、事前学習と実際の追跡のふたつで構成される。
事前学習においては、テンプレートマッチングを学習用データで行い、そこで成績の良かった領域を抽出する。これに対してテクスチャ解析を行う。これによってテンプレートマッチングに適しているテクスチャ特徴を得る。これに対して主成分分析を行うことで学習結果のデータを得る。
実際の追跡においては、入力画像に対してテクスチャ解析を行う。この結果と先の学習結果のデータをもとに部分空間法によってテンプレートマッチングに適したテクスチャであるかを類似度で表す。その中で類似度が高い領域をテンプレートとして選択することで自動選択を行う。また、テンプレートの選択を逐次的に行い、テンプレートを変えながら追跡する更新型テンプレートマッチングによって追跡を行う。また、複数枚のテンプレートについてそれぞれマッチングを行う。そしてそれらの結果を下記式のように足し合わせたうえで最も相関度が大きい座標を追跡対象の位置とする。
【0068】
【数8】
【0069】
また、実際の追跡においては、更新型テンプレートマッチングにおいて蓄積誤差が生じる問題があることから、これを防ぐために位置修正を行う。位置の修正は蓄積誤差が一切存在しない初期テンプレートをもとに行う。初期テンプレートでのマッチングが一定以上の相関度のときにその時の位置関係は信頼度が高いとして、その時の生体内運動位置へと修正する。これらを逐次的に行う更新型テンプレートマッチングを実際の追跡においては用いた。
【0070】
図15図14のステップS11を実現する具体例を説明するためのフローチャートである。
図15に示す例では、ステップS100において、第1フレームの入力が行われる。第1フレームとは、例えば、事前学習用の超音波動画像の一部を構成する、例えば時刻t1における超音波静止画像である。
次いで、ステップS110では、第1フレームに含まれるすべてのテンプレートブロックが抽出される。テンプレートブロックとは、例えば、第1フレームを複数の矩形の区画に分割することによって得られるブロックである。
次いで、ステップS120では、すべてのブロックの検索が行われる。具体的には、ステップS121において、フレームの入力が行われる。次いで、ステップS122では、テンプレートマッチングが行われる。次いで、ステップS123では、動画像の最後であるか否かの判定が行われる。動画像の最後である場合には、ステップS124に進み、動画像の最後でない場合には、ステップS121に戻る。
ステップS124では、平均相関係数R_aveの算出が行われる。次いで、ステップS125では、平均相関係数R_aveが閾値R_thrより大きいか否かの判定が行われる。平均相関係数R_aveが閾値R_thrより大きい場合には、ステップS126に進み、平均相関係数R_aveが閾値R_thr以下の場合には、ステップS128に進む。
ステップS126では、HLAC解析が行われる。次いで、ステップS127では、HLACベクトルの加算が行われ、次いで、ステップS128に進む。
ステップS128では、すべてのブロックの検索が完了したか否かが判定される。すべてのブロックの検索が完了した場合には、ステップS130に進み、すべてのブロックの検索が完了していない場合には、ステップS120に戻る。
ステップS130では、HLACベクトルの主成分分析が行われる。
次いで、ステップS140では、部分空間の作成が行われる。
【0071】
図16図14のステップS22等を実現する具体例を説明するためのフローチャートである。
図16に示す例では、ステップS200において、第1フレームの入力が行われる。第1フレームとは、例えば、追跡用の超音波動画像の一部を構成する、例えば時刻t01における超音波静止画像である。
次いで、ステップS201では、HLACによる解析が行われる。
次いで、ステップS202では、部分空間法を用いて初期テンプレートの選択が行われる。
次いで、ステップS21Aでは、領域設定部12B6Aが、初期関心領域テンプレートを設定する。
次いで、ステップS203では、テンプレートマッチングによる追跡が行われる。
次いで、ステップS204では、フレームの入力が行われる。
次いで、ステップS205では、カウンタ値Countが所定値Numより小さいか否かが判定される。カウンタ値Countが所定値Numより小さい場合には、ステップS206に進み、カウンタ値Countが所定値Num以上である場合には、ステップS207に進む。
ステップS206では、カウンタ値Countのインクリメントが行われ、ステップS203に戻る。
ステップS207では、カウンタ値Countがゼロにされ、ステップS208に進む。
ステップS208では、初期テンプレートマッチングによる追跡が行われる。
次いで、ステップS209では、初期相関係数R_firstが閾値R_thrより小さいか否かの判定が行われる。初期相関係数R_firstが閾値R_thrより小さい(つまり、蓄積誤差が小さい)場合には、ステップS210に進む。初期相関係数R_firstが閾値R_thr以上である(つまり、蓄積誤差が大きい)場合には、ステップS212に進む。
ステップS210では、HLACによる解析が行われる。
次いで、ステップS211では、部分空間法を用いてテンプレートの選択が行われ、ステップS215に進む。
ステップS212では、初期テンプレートマッチングの結果による誤差のリセットが行われる。
次いで、ステップS213では、HLACによる解析が行われる。
次いで、ステップS214では、部分空間法を用いてテンプレートの選択が行われ、ステップS215に進む。
ステップS215では、追跡対象の位置が決定され、追跡が行われる。
次いで、ステップS21Bでは、計算部12B6Bが、追跡後に、初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する。
次いで、ステップS21Cでは、判定部12B6Cが、計算部12B6Bによって計算された距離が所定の閾値を超えるか否かを判定する。
次いで、ステップS21Dでは、通知部12B6Dが、計算部12B6Bによって計算された距離が所定の閾値を超える場合にアラームを通知し、計算部12B6Bによって計算された距離が所定の閾値以下の場合にアラームを通知しない。次いで、ステップS202に戻る。
【0072】
図17図16におけるHLACによる解析(ステップS201、S210、S213)と、部分空間法を用いたテンプレートの選択(ステップS202、S211、S214)との関係を説明するための図である。
図17に示すように、追跡部12Bは、部分空間法によって事前学習によって得たHLACによるテクスチャ特徴量との類似度の高いテクスチャ特徴量をもつ領域を複数テンプレートとして選択する。また、追跡部12Bは、これをもとに式7のように各テンプレートでのマッチング結果を照合する。また、追跡部12Bは、式8に示すsumRの値が最大となる座標を求める。式8においてNはテンプレート枚数、Ru,vは各座標における相関度を表す。追跡部12Bは、求めた座標をそのフレームにおける生体内運動であるとして追跡を行う。
【0073】
図18はテンプレートマッチングによる追跡対象の追跡と各テンプレートの相関係数とを示す図である。図18の左図中の白線の四角で囲まれた部分がテンプレートを示している。図18の右図の例えば右端および左下の四角で囲まれた部分の中の大きい白い領域は、相関係数が大きい(相関度が強い)領域を示している。
【0074】
<第2実施形態>
上述したように、第1実施形態の生体内運動追跡装置1では、学習用テンプレート処理部12A1が、学習用データの超音波画像を用いることにより、テンプレートマッチングを行う。
一方、第2実施形態の生体内運動追跡装置1では、学習用テンプレート処理部12A1が、学習用データの超音波画像を用いることによってKCF(Kernelized Correlation Filters)トラッキングを行う。詳細には、学習用テンプレート処理部12A1は、文献「Henriques, J., Caseiro, R., Martins, P., & Batista, J. High-Speed Tracking with Kernelized Correlation Filters. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 37 (3), 583-596」に記載された技術を用いることによって、KCFトラッキングを行う。
また、上述したように、第1実施形態の生体内運動追跡装置1では、追跡用テンプレート処理部12B3が、更新型テンプレートマッチングを行う。
一方、第2実施形態の生体内運動追跡装置1では、追跡用テンプレート処理部12B3は、KCFトラッキングを行う。
【0075】
<モニタリング手法>
第1または第2実施形態の生体内運動追跡装置1が適用されるシステムでは、焼灼中の腫瘍への真の腫瘍位置の重畳表示による医師への治療支援のほかに、追跡している腫瘍範囲の画像の輝度情報の観察による腫瘍焼灼状況のモニタリングも可能である。
医師による焼灼状況の評価方法として、現在、超音波動画での目視評価、造影剤による目視評価、CTやMRによる術後の評価などが行われている。第1または第2実施形態の生体内運動追跡装置1が適用されるシステムでは、リアルタイムでの焼灼状況のモニタリング手法として超音波動画への目視評価の支援のため焼灼状況の定量的表示が行われる。
焼灼を行っていくと腫瘍周辺は白く変化していく。これは高エコー領域(hyper echoic region)と呼ばれており焼灼の熱によって発生した水蒸気によるものである。医師はこの白く変化した領域の広がり具合などから現在の焼灼状況の判断などを行っている。
第1または第2実施形態の生体内運動追跡装置1が適用されるシステムでは、追跡によって取得した腫瘍の現在の位置に基づき腫瘍部の平均輝度、焼灼マージンの平均輝度の時間変化をそれぞれ計測およびリアルタイムでの変化量表示による焼灼状況の定量的提示が行われる。
このモニタリング手法において初期からの腫瘍の輝度の変化の様子を観察するということから腫瘍の位置を正しくトラッキングすることが重要になってくる。このことから重畳表示による生体内運動位置の提示、生体内運動の輝度値のモニタリングの二つの観点から精度の高い生体内運動トラッキングが求められる。
【0076】
<適用例>
図19は第1または第2実施形態の生体内運動追跡装置1が適用されたシステムの一例を示す図である。
図19に示す例では、システムに対して超音波画像の入力が行われ、図16を参照して説明した追跡が行われ、追跡結果の表示およびモニタリングが行われる。
【0077】
<更新フレームを変更した場合の正常な肝臓における追跡実験>
更新型テンプレートマッチングにおいてフレームの更新タイミングはその追跡精度に大きくかかわる。そこで、本発明者等は、同一の正常肝での超音波動画に対して複数の更新タイミングで追跡精度を計測し、更新タイミングがテンプレートマッチングにおける追跡精度に及ぼす影響および最適な更新タイミングを求める実験を行った。
正常肝での1種類の超音波動画において更新タイミングをフレーム数2枚〜10枚まで行った。これはfps18である本動画において秒数としてあらわすと0.11秒〜0.83秒となる。そして各フレームにおける平均追跡誤差、標準偏差を求めこれらを比較した。
図20は追跡実験に用いられた動画像の1フレームを示した図である。追跡実験に用いられた動画像は助弓下から撮影したものである。
【0078】
[学習用動画]
本実験においては学習用動画として正常な肝臓における4種類の動画を20フレーム間隔で取得して200フレームの間での追跡精度を各フレームで計測した。これより合計97枚の画像をもとに学習を行った.
【0079】
図21は各更新タイミングにおける誤差[mm]を示した図である。
図21に示すように、更新フレーム数2、3、4、7において平均追跡誤差が低くなっており、追跡精度が高いことがわかる。つまり、更新フレーム数が低い時に追跡精度が高い傾向があった。この理由としてはいくつか考えられる。
1.時間経過によって呼吸に伴う臓器の変形や断面の変化が生じる。これによってテンプレートとマッチング時の超音波動画像の間に差異が発生する。これはテンプレートマッチングの精度が低下する問題である。テンプレートと超音波画像の間での差が大きくなっていくとテンプレートの候補となる領域が正解周辺に広く存在したり、正解位置とは別の領域に候補領域が存在したりするなどといったことが生じる。これらによってテンプレートマッチング自体の精度が低下する恐れがある。
2.次に時間経過によって呼吸に伴う臓器の変形や断面の変化が生じることによってもたらされるもうひとつの問題がある。それは周辺の組織と追跡対象との位置関係が変化してしまうことである。第1または第2実施形態の生体内運動追跡装置1は実際のRFA手術環境に適用されることを想定している。そのため、焼灼によって変化する腫瘍ではなく、その周辺の組織情報から追跡する必要がある。このため、時間経過に伴う臓器の変形などによってテンプレートに用いている組織と追跡対象である腫瘍との位置関係が変化してしまい、テンプレートマッチング結果にかかわらず追跡誤差が生じると考える。
これらの理由から更新する間隔が短ければ誤差が生じにくいと考える。これらの結果をもとに次に従来手法と第1または第2実施形態の生体内運動追跡装置1を適用した手法とについて、実際に複数の超音波動画像において追跡比較をし、有効性の検証を行った。
【0080】
<第1または第2実施形態の生体内運動追跡装置1を適用した手法を用いた正常な肝臓における追跡実験>
第1または第2実施形態の生体内運動追跡装置1を適用した手法において対象とする臓器が肝臓であることから正常な肝臓を対象として追跡誤差を求めた。これにより第1または第2実施形態の生体内運動追跡装置1を適用した手法の追跡精度およびロバスト性の計測を行った。従来手法との比較を行い第1または第2実施形態の生体内運動追跡装置1を適用した手法の有効性を検証した。
超音波動画上での追跡実験において目印を決めて追跡することは難しい。それは断面の変化によって目印の正確な位置を把握し続けることが困難な場合が存在するためである。そのことから断面が変化しないように撮影した超音波動画に対して正解座標を手動にてプロットし追跡誤差を求める。断面が変化しないように超音波画像を取得するために運動方向に対して平行になるようにプローブをあてた。肝臓は呼吸によって大きく運動をすることから横隔の上下運動に大きく影響を受ける。そのため横隔の上下運動方向に対して平行になるようにして撮影している。
追跡対象として血管の断面を使用した。血管は断面変化が起こらない条件においては常に一定の形であり目印として適していることからこれを用いた。
第1または第2実施形態の生体内運動追跡装置1を適用した手法に加えて手動にて選択をした単一のテンプレート、ランダムに選択した複数枚テンプレートマッチング、部分空間法によって求めた自動選択テンプレートによるテンプレートマッチング、第1または第2実施形態の生体内運動追跡装置1を適用した手法である更新型テンプレートマッチングの4種類についての追跡による誤差をそれぞれ計測した。
【0081】
[学習用動画と精度計測動画について]
追跡実験における学習用動画はパラメータ同定用実験と同様のものを利用した。正常な肝臓における4種類の動画を20フレーム間隔で取得して200フレームの間での追跡精度を各フレームで計測した。これより合計97枚の画像をもとに学習を行った。
精度計測動画は6種類の動画によって行った。正常肝における肋間、助弓下から撮影した超音波動画を用いた。各動画は10秒間の誤差について計測した。また、特に4種類の動画については加えて30秒、60秒における誤差についても計測した。
【0082】
[第1または第2実施形態の生体内運動追跡装置1を適用した手法]
更新型テンプレートマッチングにおいては更新するタイミングに関してはパラメータ同定用実験において追跡成績の高かった2、3、4、7フレームでのフレーム間隔の計4種類を適応した。また、テンプレートマッチングにおいて腫瘍の位置をリセットする閾値については初期テンプレートによるテンプレートマッチングでの相関度が0.25を上回った時とした。テンプレートの枚数は20枚とし、テンプレートのサイズは30ピクセル×30ピクセル(9mm×9mm)とした。ここで、これはHLACによるテクスチャ解析における各ブロックのサイズと同じサイズである。また、20枚でのテンプレートの総面積は次に述べる手動でのテンプレート選択におけるテンプレートの面積の中で最小のテンプレートの面積と同じである。テンプレートは多い方がより多くの特徴をもとに追跡出来る反面、計算量が増加する問題がある。そのため、手動でのテンプレートと同等での条件かつ計算量を減らすためこの枚数とした。
【0083】
[手動でのテンプレート選択]
図22は手動でのテンプレート選択を説明するための図である。
従来手法である手動でのテンプレート選択による追跡実験においては選択するテンプレートは以下のような点を考慮して選択した。また、それぞれを考慮したテンプレートについては図22図24のようになる。
・解剖学的に特徴的である横隔膜や血管を選択する(図22参照)。
・肝臓の境界部、特に曲率が高い特徴的な部分を選択する(図23参照)。
・肝臓の境界において皮膚側と横隔膜側を横断するように選択する(図24参照)。
・追跡対象とする血管を含まないようにする。
これらに注意して手動選択のテンプレートによる追跡を各動画4つのテンプレートで行った。
【0084】
[ランダムでのテンプレート選択]
提案手法(第1または第2実施形態の生体内運動追跡装置1を適用した手法)にテンプレートの自動選択の有効性があるかどうかを確認するために、提案手法と同じ枚数、同じ大きさのテンプレートをランダムで選択し、追跡を行った。提案手法と同様に20枚、30ピクセル×30ピクセル(9mm×9mm)である。また、提案手法と同様にテンプレートの更新に関してもランダムにテンプレートを選択して行った。
【0085】
[結果]
まず、10秒における追跡誤差は以下の表1のようになった。ここで10秒での追跡誤差は6種類の動画における追跡誤差である。ここで「自動」は部分空間法によるテンプレートの自動選択を表し、「手動」は手動選択を表す。そのなかでも全体の平均を「平均」とし特によかった成績のものを集めた場合を「チャンピオン」とした。「ランダム」は部分空間法の代わりにランダムでテンプレートの選択を行った場合である。また、「Ada」は更新をすることを表す。
【0086】
【表1】
【0087】
次に30秒における追跡誤差は以下の表2のようになった。ここで30秒での追跡誤差は6種類の動画における追跡誤差である。
【0088】
【表2】
【0089】
次に60秒における追跡誤差は以下の表3のようになった。ここで60秒での追跡誤差は6種類の動画における追跡誤差である。
【0090】
【表3】
【0091】
また、提案手法(第1または第2実施形態の生体内運動追跡装置1を適用した手法)について特にこの中でも2、3、4、7フレームで更新したときの様子はそれぞれ表4のようになる。ここでフレーム間隔を変更して比較する際には4種類の動画において追跡誤差を計測比較した。
【0092】
【表4】
【0093】
実験によって以上のようになった.
また、提案手法における各動画での追跡精度は表5のようになった.まず、10秒における追跡結果は以下のようになった.
【0094】
【表5】
【0095】
30秒においては表6のようになった。
【0096】
【表6】
【0097】
そして60秒においては表7のようになった。
【0098】
【表7】
【0099】
ここで、目標精度は2mmである。一方で、10秒の追跡結果においては6種類の動画で3.30mm、4種類の動画で2.69mmとなった。また、30秒においては3.05mm、6秒においては4.88mmとなった。また、2、3、4、7フレームの中では更新間隔2、3フレームにおいて高い追跡精度となった。
【0100】
[考察]
追跡結果についてテンプレートを更新しない場合について考える。この時、部分空間法による自動選択をしたテンプレートとランダムに選択したテンプレートを比べる。10秒においてはランダムにテンプレートを選択した時と比べて精度が高い。一方で30秒追跡した場合はランダムと同等程度、60秒間追跡した場合はランダムの場合の精度の方が高かった。
このことから短時間において、部分空間法による追跡に適したテンプレートの選択は有効に機能していることがわかる。これは学習時において10秒間動画を追跡し、その時平均相関度の高い領域を用いているためであると考える。つまり、10秒程度の追跡に最適なテンプレートを学習し、これを選択しているためと考える。これより、部分空間法による追跡に適したテンプレートの選択に関して有効性を確認することができた。
【0101】
図25は部分空間法によるテンプレートの自動選択とランダムでのテンプレート選択とを比較した図である。詳細には、図25は実際にランダムで更新した際の各フレームでの誤差を表している。
部分空間法によるテンプレートの自動選択による更新型テンプレートマッチング、つまり提案手法(第1または第2実施形態の生体内運動追跡装置1を適用した手法)とランダムにテンプレートを更新した場合を比較したところ、図25に示すように、提案手法の方が10秒、30秒、60秒のすべての間隔において精度が高かった。これは短時間ごとに更新することから、常に最適なテンプレートを提案手法では選択することができるためであると考える。これより、更新時のような10フレーム以内の場合においても同様に部分空間法による追跡に最適なテンプレートの選択が有効に機能していることがわかる。
ランダムでのテンプレート選択とこれの更新を行う場合について比較をしたときに10秒と30秒においては更新が有効であり更新した時の精度の方が高い。一方で60秒では更新をしない場合の精度の方が高い。これは更新を行った際に蓄積誤差によってドリフトが生じているためであると考える。図25からわかる通り、時間の経過とともに誤差が増加していっていることがわかる。蓄積誤差の解消がランダム選択時にうまく機能していない原因に関してはリセットの条件が挙げられる。生体内運動位置の修正を行う条件を提案手法に合わせて設定し、それと同じ設定を利用したためうまく修正する条件が一致しなかったと考える。
【0102】
次に提案手法(第1または第2実施形態の生体内運動追跡装置1を適用した手法)における更新の有効性について以下のように考える。提案手法と部分空間法による自動選択の精度を比較した。この時、提案手法の精度が更新しない場合と比較して高かった。このことから提案手法におけるテンプレートの更新の有効性を確認することができた。
【0103】
図26は動画1における追跡誤差を示す図である。図27は動画2における追跡誤差を示す図である。図28は動画3における追跡誤差を示す図である。図29は動画4における追跡誤差を示す図である。
【0104】
4種類の動画についてそれぞれの60秒間の誤差は、図26図27図28および図29のようなグラフになった。これらのグラフより各動画についてドリフトをしている場合としていない場合が存在することがわかる。ドリフトをしていない事例といて動画3が存在する。ここでは他の超音波動画像と比較したとき誤差が少ないことがわかる。また、この時2、3、4、7フレームすべてにおいて誤差が低いことがわかる。一方で動画1ではドリフトをしていることがわかる。3、4、7フレームにおいては15秒ほどから、2フレームにおいては30秒ほどからドリフトが生じている。また、60秒周辺においては更新間隔が大きいほど誤差が大きくなっていることがわかる。このことから更新間隔が大きいほどより蓄積誤差が生じると考える。この理由としては更新間隔が長いほどテンプレートと追跡対象の間の位置関係に変化が生じることで誤差が大きくなる。これによって誤差が生じている中でテンプレートの更新を行うことを繰り返すため、蓄積誤差が大きくなっていくと考える。
【0105】
動画2、動画4に関しては図27図29に示す通りである。動画2の全般と動画4における35秒、40秒付近において誤差が急激に上昇し、その後急激に下降する様子が確認できる。これは蓄積誤差解消のための位置修正処理がうまく機能していないことによるものである。蓄積誤差解消のための位置修正処理として蓄積誤差が存在しない初期テンプレートによる追跡結果を用いる手法が、第1または第2実施形態の生体内運動追跡装置1では用いられる。一方でこれらの超音波動画像においては初期テンプレートにおいて追跡がうまくいっていない場合にこれをもとに位置の修正をしてしまっている。これによって大きく誤差が生じてしまっていると考える。テンプレートのリセットのタイミングが適切でないためにこの問題が生じている。第1または第2実施形態の生体内運動追跡装置1では、テンプレートの位置修正のタイミングは初期テンプレートにおける相関度をもとに決定している。そして、閾値はあらかじめ定めた固定値を採用している。
【0106】
図30はリセットを用いた場合と用いていない場合の様子を示す図である。
1秒、5秒、7秒周辺では初期テンプレートと蓄積誤差修正を行う場合の誤差が高い。この時においては蓄積誤差に対して修正を行わない場合の誤差が小さい。一方で3、6、9秒周辺では蓄積誤差修正を行う場合の誤差の方が修正しない場合よりも低い。前者においては蓄積誤差修正が誤って機能していることがわかる。後者においては蓄積誤差修正が有効に機能し、このことによって精度の向上につながっていることがわかる。
これらのことより、追跡精度の向上という観点において追跡誤差修正が大きく依存していることがわかる。これがうまく機能せず初期テンプレートに誤差がある状態でその位置に修正を行うと大きく精度が劣化する。この誤差が追跡において大きく精度を低下させていることがわかる。他方で蓄積誤差修正が有効に機能した際には、修正しない場合にくらべ精度が向上する。蓄積誤差修正を行うタイミングをより精密にすることで精度の向上が見込めると考える。
【0107】
第1または第2実施形態の生体内運動追跡装置1を適用した手法では、二つの実験を通して人の肝臓の臓器追跡において有効性を確認することができた。一方で誤差の要因として、蓄積誤差解消のための初期テンプレートによる生体内運動位置関係補正が有効に機能していない部分で発生していることを確認することができた。これはテンプレートマッチングの相関度が正しく追跡しているときのみが高いわけではないこと、必ずしも相関度の高さが追跡の良否と一致していないことが原因として挙げられる。このことから、よりロバストな追跡の良否を観測する手段によって生体内運動位置関係補正を行うタイミングを決定していくことが今後必須となってくる。
また、テンプレートの更新するタイミングは概ね短期的な更新を繰り返すことが良いことも分かった。短期でテンプレートの更新を繰り返すことは呼吸によって変形する臓器の追跡において適していると考える。また、本実験においてテンプレートの更新するタイミングが短期間の方の追跡精度が高かった要因として別の理由が一つ挙げられる。生体内運動の位置関係のリセットを行うタイミングはテンプレートの更新時のみであったことである。先の実験を通して生体内運動の位置関係の補正が追跡精度に大きく左右していることがわかった。このことから更新フレームの間隔の違いによる誤差の変化には生体内運動位置関係の補正の間隔の違いも要因として大きく関与していると考える。
【0108】
従来手法である手動でのテンプレートの選択と比べた時、提案手法(第1または第2実施形態の生体内運動追跡装置1を適用した手法)では精度・ロバスト性どちらの面でも従来手法を上回ることができた。これはテンプレートの自動選択によって安定した追跡を可能とし、テンプレートを適宜更新することで精度を向上することができたものと考える。テンプレートの更新はテンプレートを自動的に選択できるようになったことから逐次的にテンプレートの選択ができた。
また、第1または第2実施形態の生体内運動追跡装置1を適用した一例において精度が下がった要因として学習動画も挙げられる。学習用のデータが今回4つの動画から作成した96フレームとなっており、似たような場面を多く学習していたと考えられる。より学習用動画にバリエーションを持たせることでより一層の自動選択における制度の向上が望める。精度の計測用の動画においても本発明者等による研究では実際のRFA治療環境を想定した断面の変化や急な動きを伴った超音波動画像を採用した。これは断面が均一な超音波動画像と比較したとき精度が劣化しやすいと考えられ、このことも数字上の精度の低下を招いていると考える。
【0109】
図31は超音波画像における精度(1mmの誤差、2mmの誤差および3mmの誤差)を説明するための図である。図32は第1または第2実施形態の生体内運動追跡装置1を適用した手法における精度などを説明するための図である。
図32に示す例では、最も良かった精度は2.26mmとなった。求められる要求精度は最低でも2mm、理想的には1mmとなっている。また、10秒6種類の動画に対して提案手法(第1または第2実施形態の生体内運動追跡装置1を適用した手法)を用いた時の精度は3.5mmとなっている。10秒の動画では断面が大きく変化する動画を新たに加えていることから精度が低下したと考える。このとき要求精度以内に収まっている時間当たりの割合は34%であった。
【0110】
要求精度で追跡を行うためには生体内運動位置修正のタイミングが重要であると考える。アルゴリズムの改善によって追跡精度の向上が見込まれる。
初期テンプレートによって修正を行う観点から初期テンプレートは頑強である必要がある。そのことから初期テンプレートに関しては学習用の動画を別に用意し、短期間の追跡精度より長期間でも追跡精度が低下しにくいような領域を選択することによって初期テンプレートによる修正がより効果的になると考える。
提案手法(第1または第2実施形態の生体内運動追跡装置1を適用した手法)ではテンプレートの枚数、更新のタイミング、修正のタイミング、テンプレートのサイズなど様々なパラメータが存在する。そこで、入力した画像をもとに現在どのような状況であるかを判断し、それに適した形でパラメータを決定し追跡するような強化学習による更新型テンプレートマッチングを行うことでより最適な形で追跡を行うことができると考える。
【0111】
上述したように、第1または第2実施形態の生体内運動追跡装置1では、テクスチャ解析を用いた事前学習を行い、それに基づいて部分空間法によってテンプレートの自動選択をし、合わせて自動選択したテンプレートを逐次更新するによる更新型テンプレートマッチングを行う。
第1または第2実施形態の生体内運動追跡装置1によれば、従来手法である手動にて選択をしたテンプレートによるテンプレートマッチングと比べて精度の向上、安定性の向上を達成することができる。これより、テクスチャに基づいたテンプレートの自動選択および更新型テンプレートマッチングそれぞれの有効性を確認することができる。
つまり、第1または第2実施形態の生体内運動追跡装置1によれば、RFA治療支援システムにおける生体内運動追跡精度向上を達成することができる。
【符号の説明】
【0112】
1…生体内運動追跡装置、11…画像取得部、12…処理部、12A…事前学習部、12A1…学習用テンプレート処理部、12A2…領域抽出部、12A3…学習用テクスチャ解析部、12A4…主成分分析部、12B…追跡部、12B1…追跡用テクスチャ解析部、12B2…テンプレート自動選択部、12B3…追跡用テンプレート処理部、12B4…追跡対象位置決定部、12B5…位置修正部、12B6…監視部、12B6A…領域設定部、12B6B…計算部、12B6C…判定部、12B6D…通知部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32