ホーム > 特許ランキング > 国立大学法人電気通信大学
知財求人 - 知財ポータルサイト「IP Force」
特開2019-33960生体内運動追跡装置、生体内運動追跡方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-33960(P2019-33960A)
(43)【公開日】2019年3月7日
(54)【発明の名称】生体内運動追跡装置、生体内運動追跡方法およびプログラム
(51)【国際特許分類】
A61B 8/08 20060101AFI20190208BHJP
G06T 1/00 20060101ALI20190208BHJP
G06T 7/00 20170101ALI20190208BHJP
【ＦＩ】
A61B8/08
G06T1/00 290D
G06T7/00 300D
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
【全頁数】38
(21)【出願番号】特願2017-158071(P2017-158071)
(22)【出願日】2017年8月18日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ▲１▼集会名：２０１６年度電気通信大学卒業論文発表会 開催日：平成２９年２月１１日 ▲２▼刊行物：２０１７年ロボティクス・メカトロニクス講演会予稿集 発行者：一般社団法人 日本機械学会 ロボティクス・メカトロニクス部門 発行日：平成２９年５月１０日 ▲３▼集会名：２０１７年ロボティクス・メカトロニクス講演会 開催日：平成２９年５月１１日 ▲４▼刊行物：１４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｕｂｉｑｕｉｔｏｕｓ Ｒｏｂｏｔｓ ａｎｄ Ａｍｂｉｅｎｔ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＵＲＡＩ ２０１７）予稿集 発行者：韓国ロボット学会（Ｋｏｒｅａ Ｒｏｂｏｔｉｃｓ Ｓｏｃｉｅｔｙ） 発行日：平成２９年６月２８日 ▲５▼集会名：ＵＲＡＩ ２０１７ 開催日：平成２９年６月３０日
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(71)【出願人】
【識別番号】505155528
【氏名又は名称】公立大学法人横浜市立大学
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(72)【発明者】
【氏名】小泉 憲裕
(72)【発明者】
【氏名】西山 悠
(72)【発明者】
【氏名】近藤 亮祐
(72)【発明者】
【氏名】冨田 恭平
(72)【発明者】
【氏名】江浦 史生
(72)【発明者】
【氏名】沼田 和司
【テーマコード（参考）】
4C601
5B057
5L096
【Ｆターム（参考）】
4C601EE11
4C601JB45
4C601JB49
4C601JC07
4C601JC08
4C601JC16
4C601JC37
5B057AA07
5B057BA05
5B057CE06
5B057DA08
5B057DA16
5B057DC01
5B057DC17
5B057DC40
5L096BA06
5L096BA13
5L096FA34
5L096FA46
5L096FA66
5L096FA69
5L096GA55
5L096HA05
5L096HA08
5L096JA09
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】手動による追跡対象位置のマッピング作業を必要とすることなく、大量のデータに対する追跡対象位置決定処理を迅速に行うことができる超音波診断装置を提供する。【解決手段】生体内運動追跡装置１は、学習用データの超音波画像を用いて事前学習を行い、超音波画像上の追跡対象位置を追跡する。事前学習部１２Ａは、超音波画像を用いてテンプレート処理１２Ａ１を行い、超音波画像中の領域を抽出１２Ａ２し、抽出した領域に対するテクスチャ解析１２Ａ３を行い、その結果に対する主成分分析１２Ａ４を行う。追跡部１２Ｂは、超音波画像のテクスチャ解析１２Ｂ１を行い、その結果と事前学習結果とに基づき追跡対象に適した画像領域をテンプレートとして選択１２Ｂ２し、逐次的に選択された複数のテンプレートの各々について更新型テンプレート処理１２Ｂ３を行い、処理結果に基づき相関度が最も大きい位置を追跡対象位置として決定１２Ｂ４する。
【選択図】図１３
【特許請求の範囲】
【請求項1】
超音波画像に含まれる追跡対象である生体内運動を追跡する生体内運動追跡装置であって、
超音波画像を取得する画像取得部と、
学習用データとしての超音波画像を用いることによって事前学習を行う事前学習部と、
前記事前学習部による事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡部とを備え、
前記事前学習部は、
前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理部と、
前記学習用データの超音波画像に含まれる領域を抽出する領域抽出部と、
前記領域抽出部によって抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析部と、
前記学習用テクスチャ解析部によるテクスチャ解析の結果に対する主成分分析を行う主成分分析部とを備え、
前記追跡部は、
前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析部と、
前記追跡用テクスチャ解析部によるテクスチャ解析の結果と、前記事前学習部による学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択部と、
前記テンプレート自動選択部によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理部と、
前記追跡用テンプレート処理部による複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定部とを備える、
生体内運動追跡装置。
超音波画像を取得する画像取得部と、
学習用データとしての超音波画像を用いることによって事前学習を行う事前学習部と、
前記事前学習部による事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡部とを備え、
前記事前学習部は、
前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理部と、
前記学習用データの超音波画像に含まれる領域を抽出する領域抽出部と、
前記領域抽出部によって抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析部と、
前記学習用テクスチャ解析部によるテクスチャ解析の結果に対する主成分分析を行う主成分分析部とを備え、
前記追跡部は、
前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析部と、
前記追跡用テクスチャ解析部によるテクスチャ解析の結果と、前記事前学習部による学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択部と、
前記テンプレート自動選択部によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理部と、
前記追跡用テンプレート処理部による複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定部とを備える、
生体内運動追跡装置。
【請求項2】
前記追跡部は、
蓄積誤差を有さない初期テンプレートに基づく位置修正を行う位置修正部を更に備え、
前記位置修正部は、前記初期テンプレートでのマッチングが一定以上の相関度である場合に、前記追跡対象の位置を、その時点の前記追跡対象の位置に修正する、
請求項１に記載の生体内運動追跡装置。
蓄積誤差を有さない初期テンプレートに基づく位置修正を行う位置修正部を更に備え、
前記位置修正部は、前記初期テンプレートでのマッチングが一定以上の相関度である場合に、前記追跡対象の位置を、その時点の前記追跡対象の位置に修正する、
請求項１に記載の生体内運動追跡装置。
【請求項3】
前記追跡部は、
関心領域を常に監視する監視部を更に備え、
前記監視部は、
初期関心領域テンプレートを設定する領域設定部と、
追跡後に、前記領域設定部によって設定された初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する計算部と、
前記計算部によって計算された距離が所定の閾値を超えるか否かを判定する判定部と、
前記計算部によって計算された距離が前記所定の閾値を超える場合にアラームを通知する通知部とを備える、
請求項１または請求項２に記載の生体内運動追跡装置。
関心領域を常に監視する監視部を更に備え、
前記監視部は、
初期関心領域テンプレートを設定する領域設定部と、
追跡後に、前記領域設定部によって設定された初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する計算部と、
前記計算部によって計算された距離が所定の閾値を超えるか否かを判定する判定部と、
前記計算部によって計算された距離が前記所定の閾値を超える場合にアラームを通知する通知部とを備える、
請求項１または請求項２に記載の生体内運動追跡装置。
【請求項4】
前記通知部は、前記計算部によって計算された距離が前記所定の閾値を超える場合にアラームを通知すると同時に対応する関心領域の画像をデータベースに保存し、閲覧可能とする、
請求項３に記載の生体内運動追跡装置。
請求項３に記載の生体内運動追跡装置。
【請求項5】
前記学習用テンプレート処理部は、前記学習用データの超音波画像を用いることによってテンプレートマッチングを行い、
前記追跡用テンプレート処理部は、更新型テンプレートマッチングを行う、
請求項１から請求項４のいずれか一項に記載の生体内運動追跡装置。
前記追跡用テンプレート処理部は、更新型テンプレートマッチングを行う、
請求項１から請求項４のいずれか一項に記載の生体内運動追跡装置。
【請求項6】
前記学習用テンプレート処理部は、前記学習用データの超音波画像を用いることによってＫＣＦ（Kernelized Correlation Filters）トラッキングを行い、
前記追跡用テンプレート処理部は、ＫＣＦトラッキングを行う、
請求項１から請求項４のいずれか一項に記載の生体内運動追跡装置。
前記追跡用テンプレート処理部は、ＫＣＦトラッキングを行う、
請求項１から請求項４のいずれか一項に記載の生体内運動追跡装置。
【請求項7】
超音波ガイド下ＲＦＡ（Radio Frequency Ablation）治療またはＨＩＦＵ（High Intensity Focused Ultrasound）治療を支援するためのものである、
請求項１から請求項６のいずれか一項に記載の生体内運動追跡装置。
請求項１から請求項６のいずれか一項に記載の生体内運動追跡装置。
【請求項8】
超音波画像に含まれる追跡対象である生体内運動を追跡する生体内運動追跡方法であって、
超音波画像を取得する画像取得ステップと、
学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、
前記事前学習ステップにおける事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップとを含み、
前記事前学習ステップは、
前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、
前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、
前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、
前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、
前記追跡ステップは、
前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、
前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、
前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、
前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む、
生体内運動追跡方法。
超音波画像を取得する画像取得ステップと、
学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、
前記事前学習ステップにおける事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップとを含み、
前記事前学習ステップは、
前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、
前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、
前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、
前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、
前記追跡ステップは、
前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、
前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、
前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、
前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む、
生体内運動追跡方法。
【請求項9】
コンピュータに、
超音波画像を取得する画像取得ステップと、
学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、
前記事前学習ステップにおける事前学習が行われた後に、生体内運動である追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップと
を実行させるためのプログラムであって、
前記事前学習ステップは、
前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、
前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、
前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、
前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、
前記追跡ステップは、
前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、
前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、
前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、
前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む、
プログラム。
超音波画像を取得する画像取得ステップと、
学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、
前記事前学習ステップにおける事前学習が行われた後に、生体内運動である追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップと
を実行させるためのプログラムであって、
前記事前学習ステップは、
前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、
前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、
前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、
前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、
前記追跡ステップは、
前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、
前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、
前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、
前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体内を運動する注目部分を追跡する生体内運動追跡装置、生体内運動追跡方法およびプログラムに関する。
【背景技術】
【0002】
従来、生体内を概周期的に運動する注目部位を、生体構造を撮影した生体像において追跡する生体内運動追跡装置が知られている（例えば特許文献１参照）。特許文献１に記載された生体内運動追跡装置では、特徴情報学習部が、本追跡処理に先行する注目部位の運動周期における生体像を用い、注目部位に対応する注目領域内の生体像の特徴を表す特徴情報について学習し追跡用特徴情報を生成する。本追跡処理部は、時間的に変化する生体像にて、追跡用特徴情報に基づいて注目領域を探索し注目部位の位置を求める。また、基準設定手段は、注目部位の軌道上の基準位置とする位置にて基準注目領域を設定する。特徴情報生成手段は、基準注目領域内の特徴情報である基準特徴情報を抽出し、基準特徴情報に基づき注目領域を追跡して軌道を求めると共に、追跡した注目領域から抽出した特徴情報を用いて、軌道上の位置に対応づけて追跡用特徴情報を求める。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６−１５８８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献１に記載された生体内運動追跡装置が用いられる場合には、例えば医師、検査技師等の操作者が、注目部位（追跡対象）の追跡を行う際に、例えば表示部に表示される生体像を見て入力部（例えばキーボード、ポインティングデバイス等）を操作し、基準注目領域を生体像上に指定する必要がある。その場合に、操作者は、注目部位の特徴が好適に現れ追跡に適した基準特徴情報を選ぶ必要がある。詳細には、操作者は、注目部位の追跡に好適な画像パターンが超音波画像に現れるタイミングにて、その画像パターンを含む画像領域を基準注目領域として設定する必要がある。つまり、特許文献１に記載された生体内運動追跡装置が用いられる場合、操作者は、追跡対象位置のマッピング作業を手動で行う必要がある。また、特許文献１に記載された生体内運動追跡装置が用いられる場合には、追跡対象位置のマッピング作業が操作者によって手動で行われるため、操作者は、少量のデータに対する追跡対象位置決定処理しか行うことができず、大量のデータに対する迅速な追跡対象位置決定処理を行うことができない。
【0005】
本発明は、上述の事情を勘案したものであって、手動による追跡対象位置のマッピング作業を必要とすることなく、大量のデータに対する追跡対象位置決定処理を迅速に行うことができる生体内運動追跡装置、生体内運動追跡方法およびプログラムを提供する。
【課題を解決するための手段】
【0006】
本発明の生体内運動追跡装置は、超音波画像に含まれる追跡対象である生体内運動を追跡する生体内運動追跡装置であって、超音波画像を取得する画像取得部と、学習用データとしての超音波画像を用いることによって事前学習を行う事前学習部と、前記事前学習部による事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡部とを備え、前記事前学習部は、前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理部と、前記学習用データの超音波画像に含まれる領域を抽出する領域抽出部と、前記領域抽出部によって抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析部と、前記学習用テクスチャ解析部によるテクスチャ解析の結果に対する主成分分析を行う主成分分析部とを備え、前記追跡部は、前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析部と、前記追跡用テクスチャ解析部によるテクスチャ解析の結果と、前記事前学習部による学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択部と、前記テンプレート自動選択部によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理部と、前記追跡用テンプレート処理部による複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定部とを備える。
【0007】
本発明の生体内運動追跡装置では、前記追跡部は、蓄積誤差を有さない初期テンプレートに基づく位置修正を行う位置修正部を更に備え、前記位置修正部は、前記初期テンプレートでのマッチングが一定以上の相関度である場合に、前記追跡対象の位置を、その時点の前記追跡対象の位置に修正してもよい。
【0008】
本発明の生体内運動追跡装置では、前記追跡部は、関心領域を常に監視する監視部を更に備え、前記監視部は、初期関心領域テンプレートを設定する領域設定部と、追跡後に、前記領域設定部によって設定された初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する計算部と、前記計算部によって計算された距離が所定の閾値を超えるか否かを判定する判定部と、前記計算部によって計算された距離が前記所定の閾値を超える場合にアラームを通知する通知部とを備えてもよい。
【0009】
本発明の生体内運動追跡装置では、前記通知部は、前記計算部によって計算された距離が前記所定の閾値を超える場合にアラームを通知すると同時に対応する関心領域の画像をデータベースに保存し、閲覧可能としてもよい。
【0010】
本発明の生体内運動追跡装置では、前記学習用テンプレート処理部は、前記学習用データの超音波画像を用いることによってテンプレートマッチングを行い、前記追跡用テンプレート処理部は、更新型テンプレートマッチングを行ってもよい。
【0011】
本発明の生体内運動追跡装置では、前記学習用テンプレート処理部は、前記学習用データの超音波画像を用いることによってＫＣＦ（Kernelized Correlation Filters）トラッキングを行い、前記追跡用テンプレート処理部は、ＫＣＦトラッキングを行ってもよい。
【0012】
本発明の生体内運動追跡装置は、超音波ガイド下ＲＦＡ（Radio Frequency Ablation）治療またはＨＩＦＵ（High Intensity Focused Ultrasound）治療を支援するためのものであってもよい。
【0013】
本発明の生体内運動追跡方法は、超音波画像に含まれる追跡対象である生体内運動を追跡する生体内運動追跡方法であって、超音波画像を取得する画像取得ステップと、学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、前記事前学習ステップにおける事前学習が行われた後に、前記追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップとを含み、前記事前学習ステップは、前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、前記追跡ステップは、前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む。
【0014】
本発明のプログラムは、コンピュータに、超音波画像を取得する画像取得ステップと、学習用データとしての超音波画像を用いることによって事前学習を行う事前学習ステップと、前記事前学習ステップにおける事前学習が行われた後に、生体内運動である追跡対象を含む超音波画像上の前記追跡対象の位置を追跡する追跡ステップとを実行させるためのプログラムであって、前記事前学習ステップは、前記学習用データの超音波画像を用いることによってテンプレート処理を行う学習用テンプレート処理ステップと、前記学習用データの超音波画像に含まれる領域を抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出された領域に対するテクスチャ解析を行う学習用テクスチャ解析ステップと、前記学習用テクスチャ解析ステップにおけるテクスチャ解析の結果に対する主成分分析を行う主成分分析ステップとを含み、前記追跡ステップは、前記追跡対象を含む超音波画像のテクスチャ解析を行う追跡用テクスチャ解析ステップと、前記追跡用テクスチャ解析ステップにおけるテクスチャ解析の結果と、前記事前学習ステップにおける学習の結果とに基づいて、前記追跡対象の追跡に適した画像領域をテンプレートとして選択するテンプレート自動選択ステップと、前記テンプレート自動選択ステップにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う追跡用テンプレート処理ステップと、前記追跡用テンプレート処理ステップにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を前記追跡対象の位置として決定する追跡対象位置決定ステップとを含む。
【発明の効果】
【0015】
本発明によれば、手動による追跡対象位置のマッピング作業を必要とすることなく、大量のデータに対する追跡対象位置決定処理を迅速に行うことができる生体内運動追跡装置、生体内運動追跡方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0016】
【図1】ＲＦＡ（Radio Frequency Ablation）を説明するための図である。
【図2】ＲＦＡ焼灼療法における超音波画像の一例を示す図である。
【図3】テンプレートマッチングの原理を説明するための図である。
【図4】テンプレートおよび検索画像の座標系を説明するための図である。
【図5】超音波ガイド下ＲＦＡ治療を説明するための図である。
【図6】焼灼によって生じる高エコー領域（Hyper Echoic Region）を説明するための図である。
【図7】血管を正解位置としてテンプレートマッチングを超音波画像内の各位置において行った結果を示す図である。
【図8】ＨＬＡＣ（higher order local Autocorrelation）マスクパターンを説明するための図である。
【図9】ＨＬＡＣ関心領域サイズを説明するための図である。
【図10】更新型テンプレートマッチングにおける誤差の蓄積の問題を説明するための図である。
【図11】ドリフトの問題が実際の超音波動画の追跡において生じている事例（リセットを行わない場合の誤差）を説明するための図である。
【図12】実際に超音波動画においてテンプレートを更新しない場合とテンプレートを更新している場合における正解座標からの誤差を示した図である。
【図13】第１実施形態の生体内運動追跡装置の構成の一例を示す図である。
【図14】第１実施形態の生体内運動追跡装置による処理の流れを概略的に説明するためのフローチャートである。
【図18】テンプレートマッチングによる追跡対象の追跡と各テンプレートの相関係数とを示す図である。
【図19】第１または第２実施形態の生体内運動追跡装置が適用されたシステムの一例を示す図である。
【図20】追跡実験に用いられた動画像の１フレームを示した図である。
【図21】各更新タイミングにおける誤差［ｍｍ］を示した図である。
【図22】手動でのテンプレート選択を説明するための図である。
【図23】手動でのテンプレート選択を説明するための図である。
【図24】手動でのテンプレート選択を説明するための図である。
【図25】部分空間法によるテンプレートの自動選択とランダムでのテンプレート選択とを比較した図である。
【図26】動画における追跡誤差を示す図である。
【図27】動画における追跡誤差を示す図である。
【図28】動画における追跡誤差を示す図である。
【図29】動画における追跡誤差を示す図である。
【図30】リセットを用いた場合と用いていない場合の様子を示す図である。
【図31】超音波画像における精度（１ｍｍの誤差、２ｍｍの誤差および３ｍｍの誤差）を説明するための図である。
【図32】第１または第２実施形態の生体内運動追跡装置を適用した手法における精度などを説明するための図である。
【発明を実施するための形態】
【0017】
本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態を説明する前に、本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムを適用可能な治療などについて説明する。
【0018】
近年、低侵襲治療としてＲＦＡ（Radio Frequency Ablation）治療が肝臓癌における治療方法として広く活用されている。ＲＦＡ治療とは、腫瘍に穿刺を行い、針先からラジオ波を放出することで腫瘍の焼灼を行う治療方法である。ＲＦＡ治療は開腹手術と比べて低侵襲であり、癌での死亡数は部位別で５位、罹患率では６位となっている肝臓がんにおいて極めて有効な手術の手段である。図１はＲＦＡを説明するための図である。図１に示すように、ＲＦＡ治療では、腫瘍に対して穿刺が行われ、ラジオ波が放出され、腫瘍及びその周辺の焼灼マージン領域が焼灼される。また、ＲＦＡ治療を行う際に腫瘍周辺部の様子を観察するために超音波ガイド下ＲＦＡ、ＭＲガイド下ＲＦＡなどが行われている。また、腫瘍が観察しにくい位置に存在する場合は造影超音波ガイド下ＲＦＡ治療なども行われている。
【0019】
ＲＦＡ治療は低侵襲治療として肝臓癌に対して広く使用されている。低侵襲性において欠かすことができない要素として腫瘍のモニタリングがある。腫瘍の位置関係を正しく把握し続けることで、正確に腫瘍に対してのみに治療を行うことが可能となる。腫瘍の位置関係を正しく把握し続けることで、腫瘍部の完全焼灼と非腫瘍部への侵襲を減らすことができる。本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態がＲＦＡ治療支援システムに適用される場合、ＲＦＡ治療支援システムは、腫瘍への重畳表示、腫瘍・腫瘍周辺部の輝度情報の解析を行う。このＲＦＡ治療支援システムが運用される場合には、腫瘍を常に正しく追うことができる。本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、実手術環境を念頭に入れた条件下での腫瘍などの生体内運動への追跡性度向上を目指した。本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態の特徴は以下のとおりである。
・取得した画像上において生体内運動を高精度に追跡する。
・テクスチャ解析による事前学習に基づき追跡に最適な画像領域を選択する。
・随時、テクスチャ解析を行い追跡に最適なテンプレート画像を更新する。
【0020】
＜ＲＦＡ治療における問題点＞ＲＦＡ治療における局所再発の割合は２．１％〜１６．５％であり、これを向上させるためには肝癌を完全に焼灼する必要がある。そのため、腫瘍および焼灼マージン部を含めた焼灼が必要である。
完全に焼灼をするうえでＲＦＡの治療範囲を把握することが必要となる。一方で治療範囲が広い場合一度の穿刺では焼灼範囲が足らず、一つの腫瘍部に対して複数回穿刺を行い治療する必要がある。この時一度焼灼を行うと腫瘍を覆うように焼灼による高輝度部（Hyperechoic region）が発生し、超音波画像からの次に刺すべき位置の判断を阻害する問題が存在する。再発を防ぐための完全な焼灼には正しい腫瘍部の位置を常に把握し、その治療効果範囲を把握することが求められる。
【0021】
＜ＲＦＡ治療支援における従来研究＞ＲＦＡ治療支援における関連研究として２例挙げる。一方はＲＦＡ治療中の治療支援に関連した研究で他方はＲＦＡ手術ロボット関連の研究である。
【0022】
［４Ｄ超音波画像を用いたＲＦＡ治療の観測に関する研究］文献「T. KIHARA, “Registration of 4D Ultrasound Images and its Applications,” The Japanese Society of Medical Imaging Technology, 2010.」において、嶺らは電気的、機械的に超音波画像を３次元情報として取得する４Ｄ超音波を用いたＲＦＡ治療の観察を行う手法を提案した。４Ｄ超音波画像によって病変部と穿刺針の相互位置を高い精度で取得することが治療成績の向上につながることが期待されている。そのため、手動にて選択した解剖学的に特徴的な部位のボリュームデータの類似度をもとに位置合わせを行った。ここで特徴的な位置として横隔膜や血管を利用している。精度に関しては医師の支援を目的としていることから正解座標との差分などをもとにした計測による精度ではなく医師にずれがあるかどうか判断してもらいそれをもとにシステムの性能を評価している。
この研究ではボリュームデータにおける時間解像度が１秒間に５個であった。そのため、時間解像度において劣っていることから、それに起因した誤差が生じると考えられる。そのことからなるべく時間解像度の高い方法で超音波動画像を取得することが必要であると考える。また、加えてボリュームデータに対して類似度をもとに追跡をする手法をとっているがこれは計算量が長大な問題がある。
また、文献「木原 朝彦、“ＧＰＵによる三次元局所統計量に基づく特徴量計算の高速化” MEDICAL IMAGING TECHNOLOGY Vol. 31 No. 5 November, 2013.」において、木原らは本手法の計算速度の高速化のためにＧＰＵを用いた高速化を提案している。これによって、約１６倍から２１０倍の性能向上を達成しているもののリアルタイムでのトラッキングには現在至っていない。また、空間解像度が現在低い問題も存在する。そこで今後さらなる計算速度の向上、空間解像度の上昇が必要である。
【0023】
［ＭＲ画像による穿刺支援に関する研究］文献「岸 宏亮、“ＭＲ画像誘導機能を有する小型穿刺マニピュレータシステム” 日本コンピュータ外科学会 2011.」において、岸らはＭＲガイド下でのＲＦＡ手術支援ロボットの研究およびＭＲ画像上での腫瘍追跡に関する研究を行った。体動が大きい肝臓を対象としていることから、臓器の動きに対して穿刺針の姿勢をリアルタイムで調節することが可能なロボットシステムを構築した。ＭＲＩ下で動作を行うことため、磁場を乱しにくい材質によってロボットを作成している。トラッキングに関しては外部からの光学式３次元位置計測器をもとに穿刺張りの位置姿勢のトラッキングを行っている。また、腫瘍に対してのトラッキングは手動にて行うことを想定している。
ここで腫瘍に対してのトラッキングについてはＭＲ画像をもとに医師が腫瘍位置を判断し行う。ここでＭＲ画像の撮像に１断面４秒必要とすることから呼吸周期よりも長い時間を要することがわかる。このため、呼吸による臓器の運動などに対する補償としては時間分解能が不足していると考えられる。
ここで超音波では２０ＦＰＳ以上というリアルタイムでの撮像を可能としていることから呼吸などによる臓器の運動への補償にも対応しうる時間分解能を持つ。
【0024】
＜ＲＦＡ治療支援システムにおける運動追跡＞ＲＦＡ治療において先に述べたような医師の治療を阻害する要因が存在している。また、「ＲＦＡ治療支援における従来研究」において述べた従来研究では追跡に関しては医師が取得画像をもとに判断する形となっている。
一方、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、超音波動画像上において生体内運動を追跡することでその位置を提示する。
【0025】
図２はＲＦＡ焼灼療法における超音波画像の一例を示す図である。詳細には、図２の左図は、肝臓領域の境界が明瞭な例を示している。図２の中図は、肝臓領域の境界が明瞭であり、横隔膜が見える例を示している。図２の右図は、肝臓領域の境界が不明瞭であり、横隔膜が見えていない例を示している。ＲＦＡの実際の手術環境は以下のような特徴がある。・様々なスケールにおいて超音波動画の撮影を行う。
・見える部位が異なり、横隔膜が見える場合と見えない場合とが存在する。また、肝臓領域の境界が明瞭な場合と不明瞭な場合とが存在する。
・医師の把持するプローブをもとに映していることから、体表から離したり、大きく動いたりする場合がある。
これらのことから、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、超音波動画毎に特徴を選択することができ、処理中に保存することができ、短期間超音波動画像が乱れたり、消えてしまうといったことに対応することが可能なテンプレートマッチングをもとに追跡を行っている。
次に、テンプレートマッチングの原理について説明する。
【0026】
図３はテンプレートマッチングの原理を説明するための図である。図３に示すように、テンプレートマッチングは、追跡対象の画像を予めテンプレートとして取得しておき、テンプレートと検索画像とを重ね合わせることにより比較照合し、両者の類似度を調べる手法である。テンプレートを検索画像上の領域を移動させながら類似度を調べ、最も類似度の高い位置を検出する。類似度の評価尺度としては、輝度値の差の絶対値の和（Sum of Absolute Difference：ＳＡＤ）や輝度値の差の２乗和（Sum of Squared Difference：ＳＳＤ）、正規化相関係数などが用いられる。後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態の一例では、画像の輝度値の線形変換に対してロバストな正規化相関係数を採用する。
【0027】
図４はテンプレートおよび検索画像の座標系を説明するための図である。図４に示す例では、テンプレートをｔ（ｍ，ｎ）（ｍ＝０〜Ｍ−１、ｎ＝０〜Ｎ−１）、検索画像をｆ（ｘ，ｙ）（ｘ＝０〜Ｘ−１、ｙ＝０〜Ｙ−１）とする。検索画像において点（ｕ，ｖ）を始点とするテンプレートと同サイズ（Ｍ×Ｎ）の部分画像をｆｕ，ｖとする。このときの正規化相関係数をＲｕ，ｖとすると、Ｒｕ，ｖは式（１）により与えられる。
但し、ｔ、ｆはそれぞれ、テンプレートの平均輝度値、検索画像の平均輝度値であり、それぞれ、式（２）、式（３）により与えられる。
【0028】
【数1】
【0029】
【数2】
【0030】
【数3】
【0031】
画像の輝度値をＭ＋Ｎ次元空間におけるベクトルとしてとらえると、正規化相関係数は、Ｍ＋Ｎ次元空間における２つのベクトルの内積に相当する。そのため、画像の相関度が最も高いときに１、最も低いときに−１の値となる。
【0032】
＜超音波動画に対する運動補償・動画追跡＞近年、超音波動画に対する追跡による運動補償に関する研究が広く行われている。超音波診断と他の医療画像技術であるＭＲやＣＴと比較したとき以下のような特徴があげられる。
・時間空間・分解能において優れている。
・被曝をしないので非侵襲である。
・価格が安く導入が容易である。
・専用の部屋や大きな機械を必要としないので導入が容易である。
・機械が小さいことから様々なケースの手術環境に導入ができる。
・軟組織や血管の様子、血流の様子などをリアルタイムで確認できる。
・一方で超音波画像においてはホワイトノイズや組織特有のスペックルノイズと呼ばれるノイズの存在や断面の画像であることから断面の変化に伴うテクスチャの変化といった追跡を妨げる要因が存在している。
・ 骨などの硬組織に対しては超音波が通らないので音響シャドウと呼ばれる描画されない領域が生じる。
また超音波画像でモニタリングを行う際に人の臓器は呼吸や心拍、腸の蠕動運動、任意体動などによって運動をしている。肝臓の最大変位は２４．４±１６．４ｍｍとなっており、大きく移動することがわかっている。このように導入が容易であり、診断・治療との親和性が高いことが利点として挙げられる。
【0033】
＜追跡誤差の要因と従来の研究＞［オプティカルフローに基づく超音波画像の動態解析に関する研究］
文献「Y. Ryo, “Motion Analysis of Ultrasound Image Based on Optical Flow and Texture Information,” 電子情報通信学会技術研究報告. IMQ, イメージ・メディア・クオリティ 113（468）, 2014.」において、横山らは格子点を追従することによる超音波画像上での高密度な動態解析法を提案した。
これは超音波画像上に格子点を設定し、テクスチャ情報についてバイナリ特徴量に基づいた格子点検出を行いその結果をもとにオプティカルフローに基づく追跡を行った。ここで各点同士にマルチスプリングモデルを導入することで一部のノイズに左右されにくく、ロバスト性を向上させている。
【0034】
［超音波画像上でのパーティクルフィルタを用いた患部追跡に関する研究］文献「S.C.Davies, A.L.Hill, R.B.Holmes, M.Halliwell, and P.C.Jackson, “Ultrasound quantitation of respiratory organ motion in the upper abdomen,” The British Journal of Radiology, 1994.」において、Marco Carlettiらは同一断面上での肝臓上の血管の追跡においてパーティクルフィルタを用いた更新テンプレートマッチングによる追跡手法を提案した。テンプレートの更新に伴う誤差の蓄積に対してはパーティクルフィルタを用いること、およびその際の尤度をもとに基準となるテンプレートの更新を行い、突発的な体動などによる追跡対象の大きな変位に対しては変位時におけるパーティクルの散布範囲を変更することによって追跡を行った．これはMICCAIにおけるCLUST2015のデータセットを用いている。このデータセットでは超音波画像上での肝臓における血管の追跡を目的としており、同一断面における肝臓の呼吸によって運動している様子が収められている。
【0035】
＜超音波ガイド下ＲＦＡ治療＞図５は超音波ガイド下ＲＦＡ治療を説明するための図である。詳細には、図５の左図は、ＲＦＡの穿刺を実際にしている様子を示している。図５の右図は、特に超音波ガイド下で穿刺を行っている様子を示している。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態が適用可能な図５に示すシステムでは、医師がプローブを把持してＲＦＡ治療を行う。図５に示すように、超音波ガイド下ＲＦＡ治療では、一般的に超音波プローブ部に針を刺すためのガイドを取り付け、超音波プローブに沿った形でＲＦＡ用の針を穿刺する。
従来の追跡手法では、医師によって追跡対象以外の部位以外において選択された複数枚のテンプレートと移動コストをもとにしたエネルギー関数を用いてそのエネルギーが最小となる点を求めることで追跡を行っていた。
従来手法における追跡精度の低下要因として、臓器の変形や超音波画像における断面の変化やテンプレートの手動選択に伴う不安定さがあげられる。臓器は自身の運動によって変形、見えている断面の変化、回転などを伴う。これらによってテンプレート選択時とマッチング時において臓器の見え方に差異が生じ、テンプレートマッチングによる追跡の精度を下げる要因となっている。
そのため、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、これらの問題を解決するために自動テンプレート選択、テンプレートの更新によるテンプレートの時間経過に伴うずれの解消を行った。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、追跡精度の向上のために事前学習に基づく更新型テンプレートによる追跡を行った。事前に正解位置がわかる学習用データを用意した。それに対してＨＬＡＣ（higher order local Autocorrelation）によるテクスチャ解析を行った。ＨＬＡＣによるテクスチャ解析結果をもとに部分空間法を用いて、追跡精度の高いテクスチャに類似した領域を検出し、検出結果をもとに自動テンプレート選択を行った。そして、このテクスチャ類似度を一定間隔ごとに行うことで更新型テンプレートマッチングをおこなった。
【0036】
＜臓器運動の特徴＞後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、超音波画像に含まれる追跡対象である生体内運動が、例えば肝臓の腫瘍である。そこで肝臓を中心とした、体動に関する研究について取り上げる。
文献「S.C.Davies, A.L.Hill, R.B.Holmes, M.Halliwell, and P.C.Jackson, “Ultrasound quantitation of respiratory organ motion in the upper abdomen,” The British Journal of Radiology, 1994.」において、S. C. Daviesらは腹部上部の内臓の運動を計測し、文献「M.A.Clifford, F.Banovac, E.Levy, and K.Cleary, “Assessment of hepatic motion secondary to respiration for computer assisted interventions,” Computer Aided Surgery, 2002.」において、M. A. Cliffordらは肝臓の運動を調査した。これらの研究により、肝臓は呼吸に伴い、最大１５〜２０ｍｍ／ｓの速度で１０ｍｍ〜２０ｍｍ以上移動することが示された。
さらに、文献「D.R.Daum, N.B.Smith, and et al, “In vivo demonstration of noninvasive thermal surgery of the liver and kidney using an ultrasonic phased array,” The British Journal of Radiology, 1999.」において、D. R. Daumらは深呼吸により、肝臓が１００ｍｍ以上動くことを報告した。
文献「C.E.Kleynen, B.J.Slotman, F.J.Lagerwaard, J.R.v.S.d.Koste, S.Senan, “Renal mobility during uncoached quiet respiration: an analysis of 4dct scans,” International Journal of Radiation Oncology & Biology & Physics, 2006.」および文献「M.Feron, B.Bussels and L.Goethal, “Respiration-induced movement of the upper abdominal organs: a pitfall for the three-dimensional conformal radiation treatment of pancreatic cancer,” Radiotherapy and Oncology, 2003.」において、腎臓の呼吸性移動に関する研究もされており，腎臓は呼吸により平均で５〜９ｍｍ移動すると報告されている。
また、文献「D. Pham, T. Kron, F. Foroudi, M. Schneider, S. Siva, “A Review of Kidney Motion Under Free, Deep and Forced-shallow Breathing Conditions: Implications for Stereotactic Ablative Body Radiotherapy Treatment,” Technology in Cancer Research & Treatment 2013, 2013. 」において、深呼吸の場合１０〜４０ｍｍ移動するという報告もある。
これらのことより、肝臓は腎臓と比較をしたときにより呼吸によって運動を行うことがわかる。
【0037】
＜ＲＦＡ治療時における超音波画像の特徴＞本発明の生体内運動追跡装置は、実際のＲＦＡ治療時に使用することが求められる。そのため、肋間、助弓下においての使用が想定される。また、縮尺がその時々によって異なり肝臓内のどの部位が見えるかがいくつか存在しうる。肝臓の輪郭全体が見えている場合と一部しか見えていない場合などが想定される。また、治療時において追跡する腫瘍そのものは焼灼によって白く変化をしていくことから、腫瘍をもとに追跡を行うことは適していないと考えられる。このことから追跡において多く用いられる手法である輪郭を用いた追跡や追跡対象そのものの情報をもとにした追跡はＲＦＡ治療支援システムへの適用には適していないと考えられる。このことから、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、生体内運動以外の超音波画像上の組織の動きをもとにトラッキングを行う。
ここで以下に腫瘍を直接追跡する場合のメリットとデメリットを上げる。
【0038】
［メリット］・臓器が変形して臓器内の距離関係が変化したとしても、腫瘍を追跡し続けることができる。
・腫瘍は他の組織と比べた時に特徴的な構造である。
・腫瘍が見えているときは追跡でき、腫瘍が見えてないときは追跡できないとその良否がはっきりとしている。
・追跡が容易である。
【0039】
［デメリット］図６は焼灼によって生じる高エコー領域（Hyper Echoic Region）を説明するための図である。
・腫瘍は焼灼によって、図６に示すような高エコー領域（Hyper Echoic Region）と呼ばれる白い領域が生じる。これは焼灼に伴う水蒸気によって生じる。手術中に見た目が大きく変化する領域である。
・腫瘍の領域は狭い。肋骨に遮蔽されることで生じる音響シャドウの影響を大きく受ける。
・腫瘍と似ている組織として血管が挙げられる。狭い領域の情報のみで追跡を行う場合、似ている組織への誤追跡をする恐れがある。
【0040】
＜追跡における最適なテンプレート及びその学習＞腫瘍の追跡を行う際に腫瘍自身は焼灼に伴う変化及び断面の変化によってその姿を大きく変化させる。そのことから腫瘍自身をテンプレートとして使用することは実際の手術への適用を考慮すると避けることが望ましいと考える。そのことから、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、生体内運動周辺部を追跡し、それと生体内運動の位置関係をもとにして生体内運動の位置を間接的に求める手法を採用した。
【0041】
図７は血管を正解位置としてテンプレートマッチングを超音波画像内の各位置において行った結果を示す図である。図７では、相関度の高さを色温度で表している。図７の中央の丸い白色領域は、相関度の値が高いことを表している。この白色領域は、血管部を示しており、追跡対象である。図７は、各フレームにおける正解点の位置におけるテンプレートマッチングによる相関度の平均を求めたものである。
図７において相関が高くなっている、つまり高い追跡スコアを出すことができているエリアは、横隔膜と肋骨のシャドウ部との境目、別の血管部であることがわかる。よってこのことからこれらの領域を自動的に選出することができれば高い追跡精度を実現することができると考えられる。これは肝臓の動き自体が横隔膜に大きく影響を受けていること、横隔膜が多少の断層のずれで見た目が変化しにくく、特徴的な見た目であることから横隔膜を含んだテンプレートが追跡に適していると考えられる。また、音響シャドウ周辺はシャドウの影響で特に白い組織のみが見え、それ以外が見えにくくなる。このことが特徴的な組織を強調することとなり、追跡の成績が高くなっていると考える。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、部分空間法を用い、テンプレートマッチング結果が好成績な領域のＨＬＡＣによるテクスチャ情報を部分空間によって表現し、作成した部分空間との類似度を計測することによってテクスチャ情報からテンプレートとして使用することに適した領域であるかどうかを推測する。
【0042】
［正解データ取得方法］後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、正解データ取得方法としてテンプレートマッチングを画面全体に対して行い、追跡成績がよい部分に関してテンプレートマッチングにおいてよい成績を残すことのできる正解データとして採用した。この手法を用いることによって正解データを取得する際に通常必要になる手動での正解位置のマッピング作業を必要とせず自動的に大量のデータに対して教師あり学習を行うことを可能にした。
これはテンプレート画像そのものを学習させた場合、超音波画像内では様々な部位の組織が存在し、人によって差も存在している。一方テクスチャ情報にそれを落とし込むことで情報を一般化し、様々な学習用のデータから共通する特徴の抽出を図った。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、追跡精度の高い位置として抽出した部位を事前データとして用いる。追跡精度について未知のフレームにおいて追跡精度の高い位置におけるテクスチャの特徴と似ている部位を選択し、それを追跡することによって追跡精度の向上を目指した。
テクスチャ情報に基づいて追跡を行う手法として、文献「Y. Ryo, “Motion Analysis of Ultrasound Image Based on Optical Flow and Texture Information,” 電子情報通信学会技術研究報告. IMQ, イメージ・メディア・クオリティ 113（468）, 2014.」において、横山らは格子状に配置した関心点について周辺におけるバイナリ特徴量に着目して追跡を行いオプティカルフローによって超音波動画上において動態解析を行っている。
一方、後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、よりテクスチャを詳しく解析してその結果をもとに画像全体から追跡に用いる部分の抽出を行った。テクスチャ解析手法としては、文献「T. Toyoda, “Texture Classification Using Extended Higher Order Local Autocorrelation Features,” Proceedings of the 4th International Workshop on Texture Analysis and Synthesis, 2005.」に記載されているＨＬＡＣ（higher order local Autocorrelation）を用いた。ＨＬＡＣは高次局所自己相関特徴と呼ばれ、下記の式（４）に示すように、グレースケールの入力画像をｆとしたとき、変位方向（ａ１，ａ２，…，ａＮ）に対してＮ次自己相関関数によって定義される。
【0043】
【数4】
【0044】
ここで次数Ｎに関しては０、１、２とする。図８はＨＬＡＣマスクパターンを説明するための図である。そしてｒ＝１としたときにＨＬＡＣ特徴は図８に示すようなマスクパターンとなる。黒いブロックは１乗、２と書かれたブロックは２乗、３と書かれたブロックに関しては３乗を意味するものとする。関心範囲全体に対してこれらのマスクパターンに沿って順々に操作していくことによって求める積分特徴である。ＨＬＡＣは自己相関関数を用いていることからノイズに頑強であり、超音波画像のようなノイズがのった画像の特徴解析においても効果を発揮すると考える。関心範囲は３×３のほかに５×５のように距離を変化させて計算を行う場合も存在する。
【0045】
文献「山崎 優大、岩田 昌也、“高次局所自己相関特徴に基づくAdaBoostを用いた乳腺超音波画像からの異常検出,” 研究報告数理モデル化と問題解決（ＭＰＳ）,Information Processing Society of Japan, 2012.」において、ＨＬＡＣの超音波画像への応用として、山崎らは乳腺超音波画像上から腫瘍部の検出においてＨＬＡＣによってテクスチャ解析を行い、取得した特徴量について判別分析及びAdaboostによって正常な乳腺組織と病変部の識別を行った。累積寄与率９９％、９９．９％、９９．９９％、９９．９９９％でそれぞれ主成分分析を行い、それぞれのパターンを組み合わせて１３０通りの特徴空間を形成し、これによる弱識別器に対してAdaboostによって識別を行った。また、文献「岩田健司, “高次局所自己相関特徴法（ＨＬＡＣ）によるがん病理画像診断支援システムの構築に向けて,” 日本医用画像工学会大会予稿集, 2009.」において、ＨＬＡＣは輝度の大きい部位の特徴をより強く反映させてしまう特徴があるので、そのままの画像と白黒反転させた画像の２種類の画像を使用した。
【0046】
図９はＨＬＡＣ関心領域サイズを説明するための図である。後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、図９に示すように、３×３、５×５の関心領域を設定して、白黒反転画像と反転していない画像の合計４種類の特徴量、合計１４０個の特徴量を使用した。
【0047】
＜部分空間法による学習について＞部分空間法とは学習過程によって得ることのできた、ベクトルによって構成される部分空間の直交補正空間への射影成分の距離を用いる。これを部分空間からの逸脱度とする。距離が近いほど、学習時の特徴と似ている。距離が離れているほど学習時の特徴とは異なる特徴である。学習データに対して主成分分析を行い、これによって求めた固有ベクトルで張られる空間である。実際の部分空間法は以下の式のようにあらわされる。
後述する本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態では、入力特徴ベクトルｘｉ（ｉ＝１…Ｎ）の分散共分散行列を求める。この行列に関して、主成分分析をおこなう。
【0048】
【数5】
【0049】
【数6】
【0050】
主成分分析によって累積寄与率ｋまでの固有ベクトルｕｋ（ｋ＝０…ｎ）による主成分直交基底Ｕｎ、これによって構成された部分空間をテンプレートマッチングに適したテクスチャの部分空間とする。次に逸脱度である距離を計算する。Ｘｓｒｃを入力画像におけるテクスチャのベクトルとする。
このとき距離ｄは下のように求めることができる。
【0051】
【数7】
【0052】
これより、このｄが小さいものから事前学習でのテクスチャベクトルに近いものとしてテンプレートとして選択をする。
【0053】
＜テンプレートの逐次更新に伴う誤差の解消＞［テンプレートマッチングを用いた追跡による誤差としてマッチング］
更新型テンプレートマッチングにおいては誤差の蓄積の問題が存在する。一般的に更新テンプレートマッチングにおける誤差として単純なマッチングによる誤差と蓄積誤差が存在する。蓄積誤差とはテンプレートを更新する際に直前の誤差が存在する位置関係をもとにしてテンプレートを更新するために生じるためである。
【0054】
図１０は更新型テンプレートマッチングにおける誤差の蓄積の問題を説明するための図である。図１０の上の図はテンプレートマッチングによる誤差が存在する状態でテンプレートの更新を行ってしまった場合の様子を表している。下の図の誤差がない状態で更新している場合と比べた時に更新する瞬間において、基準位置がずれてしまっていることがわかる。このように更新型テンプレートマッチングでは誤差の蓄積に伴い少しずつ追跡位置がずれていってしまうドリフトの問題がある。
【0055】
図１１はドリフトの問題が実際の超音波動画の追跡において生じている事例（リセットを行わない場合の誤差）を説明するための図である。図１２は実際に超音波動画においてテンプレートを更新しない場合とテンプレートを更新している場合における正解座標からの誤差を示した図である。
更新型テンプレートマッチングでは更新しない場合と比較して初期は誤差が少ないが時間の経過とともに誤差が蓄積されて誤差が上昇していく様子が伺える。それによって更新しない場合と比較して後半においては更新型テンプレートマッチングの方に誤差の方が大きくなってしまっていることがわかる。
【0056】
以下、図面を参照し、本発明の生体内運動追跡装置、生体内運動追跡方法およびプログラムの実施形態について説明する。
【0057】
＜第１実施形態＞図１３は第１実施形態の生体内運動追跡装置１の構成の一例を示す図である。第１実施形態の生体内運動追跡装置１は、超音波画像に含まれる追跡対象である生体内運動を追跡する。
詳細には、生体内運動追跡装置１は、生体内を概周期的に運動する臓器と連動する注目部分を、生体構造を撮影した生体像において追跡する。ここでは、観察や追跡の対象として関心を持つ臓器（関心臓器）は例えば腎臓や肝臓であるとする。腎臓や肝臓は、患者等、生体の呼吸に応じて概周期的に運動する。また、注目部分は典型的には患部であり、例えば、結石、癌、腫瘍などである。
生体内運動追跡装置１は、例えば、超音波ガイド下ＲＦＡ治療を支援するために用いられる。他の例では、生体内運動追跡装置１が、例えば、ＨＩＦＵ（High Intensity Focused Ultrasound）治療を支援するために用いられてもよい。
図１３に示す例では、生体内運動追跡装置１が、画像取得部１１と、処理部１２とを備えている。画像取得部１１は、例えばプローブなどによって撮像された超音波画像を取得する。処理部１２は、事前学習部１２Ａと、追跡部１２Ｂとを備えている。事前学習部１２Ａは、学習用データとして、例えば予め準備された超音波画像を用いることによって事前学習を行う。追跡部１２Ｂは、事前学習部１２Ａによる事前学習が行われた後に、追跡対象を含む超音波画像上の追跡対象の位置を追跡する。
【0058】
図１３に示す例では、事前学習部１２Ａが、学習用テンプレート処理部１２Ａ１と、領域抽出部１２Ａ２と、学習用テクスチャ解析部１２Ａ３と、主成分分析部１２Ａ４とを備えている。学習用テンプレート処理部１２Ａ１は、学習用データの超音波画像を用いることによってテンプレート処理を行う。詳細には、学習用テンプレート処理部１２Ａ１は、学習用データの超音波画像を用いることにより、図３を参照して説明したテンプレートマッチングを行う。
領域抽出部１２Ａ２は、学習用データの超音波画像に含まれる領域を抽出する。学習用テクスチャ解析部１２Ａ３は、領域抽出部１２Ａ２によって抽出された領域に対するテクスチャ解析を行う。主成分分析部１２Ａ４は、学習用テクスチャ解析部１２Ａ３によるテクスチャ解析の結果に対する主成分分析を行う。
【0059】
図１３に示す例では、追跡部１２Ｂは、追跡用テクスチャ解析部１２Ｂ１と、テンプレート自動選択部１２Ｂ２と、追跡用テンプレート処理部１２Ｂ３と、追跡対象位置決定部１２Ｂ４と、位置修正部１２Ｂ５と、監視部１２Ｂ６とを備えている。追跡用テクスチャ解析部１２Ｂ１は、追跡対象を含む超音波画像のテクスチャ解析を行う。テンプレート自動選択部１２Ｂ２は、追跡用テクスチャ解析部１２Ｂ１によるテクスチャ解析の結果と、事前学習部１２Ａによる学習の結果とに基づいて、追跡対象の追跡に適した画像領域をテンプレートとして選択する。
追跡用テンプレート処理部１２Ｂ３は、テンプレート自動選択部１２Ｂ２によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う。詳細には、追跡用テンプレート処理部１２Ｂ３は、更新型テンプレートマッチングを行う。
追跡対象位置決定部１２Ｂ４は、追跡用テンプレート処理部１２Ｂ３による複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を追跡対象の位置として決定する。
位置修正部１２Ｂ５は、蓄積誤差を有さない初期テンプレートに基づく位置修正を行う。詳細には、位置修正部１２Ｂ５は、初期テンプレートでのマッチングが一定以上の相関度である場合に、追跡対象の位置を、その時点の追跡対象の位置に修正する。
監視部１２Ｂ６は、関心領域（ＲＯＩ：Region of Interest）を常に監視する。監視部１２Ｂ６は、領域設定部１２Ｂ６Ａと、計算部１２Ｂ６Ｂと、判定部１２Ｂ６Ｃと、通知部１２Ｂ６Ｄとを備えている。領域設定部１２Ｂ６Ａは、初期関心領域テンプレートを設定する。計算部１２Ｂ６Ｂは、追跡後に、領域設定部１２Ｂ６Ａによって設定された初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する。判定部１２Ｂ６Ｃは、計算部１２Ｂ６Ｂによって計算された距離が所定の閾値を超えるか否かを判定する。通知部１２Ｂ６Ｄは、計算部１２Ｂ６Ｂによって計算された距離が所定の閾値を超える場合にアラームを通知する。通知部１２Ｂ６Ｄは、計算部１２Ｂ６Ｂによって計算された距離が所定の閾値を超える場合にアラームを通知すると同時に対応する関心領域の画像をデータベース（図示せず）に保存し、閲覧可能としてもよい。このデータベースはローカルにあってもよいし、ネットワーク上にあってもよい。
【0060】
図１４は第１実施形態の生体内運動追跡装置１による処理の流れを概略的に説明するためのフローチャートである。図１４に示す例では、ステップＳ１０において、画像取得部１１が、学習用データとしての超音波画像を取得する。
次いで、ステップＳ１１において、事前学習部１２Ａが、学習用データとしての超音波画像を用いることによって事前学習を行う。ステップＳ１１には、ステップＳ１１Ａと、ステップＳ１１Ｂと、ステップＳ１１Ｃと、ステップＳ１１Ｄとが含まれる。
まず、ステップＳ１１Ａでは、学習用テンプレート処理部１２Ａ１が、学習用データの超音波画像を用いることによってテンプレート処理を行う。
次いで、ステップＳ１１Ｂでは、領域抽出部１２Ａ２が、学習用データの超音波画像に含まれる領域を抽出する。
次いで、ステップＳ１１Ｃでは、学習用テクスチャ解析部１２Ａ３が、ステップＳ１１Ｂにおいて抽出された領域に対するテクスチャ解析を行う。
次いで、ステップＳ１１Ｄでは、主成分分析部１２Ａ４が、ステップＳ１１Ｃにおけるテクスチャ解析の結果に対する主成分分析を行う。
ステップＳ１１Ａ〜Ｓ１１Ｄが、事前学習部１２Ａによって実行される処理である。
【0061】
次いで、ステップＳ２０において、画像取得部１１が、追跡対象を含む超音波画像を取得する。次いで、ステップＳ２１Ａにおいて、領域設定部１２Ｂ６Ａは、初期関心領域テンプレートを設定する。図１４に示す例では、領域設定部１２Ｂ６Ａが、自動で抽出した複数枚のテンプレートを用いて自動設定する。自動で選択した追跡に適したテンプレート領域は生体構造のテクスチャが比較的はっきり現れているものといえるので、初期テンプレートからの変化（異常）を検出することにも同様に適した領域のテンプレートであると考えられるからである。他の例では、領域設定部１２Ｂ６Ａが、同じ人の過去の診療画像データベースから初期関心領域テンプレートを抽出、設定してもよい。さらに他の例では、医師が初期関心領域テンプレートを設定してもよい。
次いで、ステップＳ２２において、追跡部１２Ｂが、追跡対象を含む超音波画像上の追跡対象の位置を追跡する。ステップＳ２２には、ステップＳ２２Ａと、ステップＳ２２Ｂと、ステップＳ２２Ｃと、ステップＳ２２Ｄとが含まれる。
まず、ステップＳ２２Ａでは、追跡用テクスチャ解析部１２Ｂ１が、追跡対象を含む超音波画像のテクスチャ解析を行う。
次いで、ステップＳ２２Ｂでは、テンプレート自動選択部１２Ｂ２が、ステップＳ２２Ａにおけるテクスチャ解析の結果と、ステップＳ１１における学習の結果とに基づいて、追跡対象の追跡に適した画像領域をテンプレートとして選択する。
次いで、ステップＳ２２Ｃでは、追跡用テンプレート処理部１２Ｂ３が、ステップＳ２２Ｂにおいて逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う。
次いで、ステップＳ２２Ｄでは、追跡対象位置決定部１２Ｂ４が、ステップＳ２２Ｃにおける複数のテンプレートについてのテンプレート処理の結果に基づいて、相関度が最も大きい位置を追跡対象の位置として決定する。
また、ステップＳ２２では、必要に応じて、位置修正部１２Ｂ５が、蓄積誤差を有さない初期テンプレートに基づく位置修正を行う。
次いで、ステップＳ２１Ｂでは、計算部１２Ｂ６Ｂが、追跡後に、領域設定部１２Ｂ６Ａによって設定された初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する。
次いで、ステップＳ２１Ｃでは、判定部１２Ｂ６Ｃが、計算部１２Ｂ６Ｂによって計算された距離が所定の閾値を超えるか否かを判定する。
次いで、ステップＳ２１Ｄでは、通知部１２Ｂ６Ｄが、計算部１２Ｂ６Ｂによって計算された距離が所定の閾値を超える場合にアラームを通知する。
ステップＳ２１Ａ〜ステップＳ２１Ｄが、追跡部１２Ｂによって実行される処理である。
【0062】
上述したように、図１３および図１４に示す例では、学習用テンプレート処理部１２Ａ１が、学習用データの超音波画像を用いることによってテンプレート処理を行い、追跡用テンプレート処理部１２Ｂ３が、テンプレート自動選択部１２Ｂ２によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行う。他の例では、代わりに、１つのテンプレート処理部が、学習用データの超音波画像を用いることによってテンプレート処理を行うと共に、テンプレート自動選択部１２Ｂ２によって逐次的に選択された複数のテンプレートのそれぞれについて更新型テンプレート処理を行ってもよい。
【0063】
ステップＳ２１Ｂにおける距離とは、テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域との画像特徴量の距離（差）である。個別には、以下の４つに大別される。（１）テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域との相互相関係数
距離とは、例えばＳＳＤ（Sum of Squared Difference）である。ＳＳＤは、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の２乗の合計が用いられる。ＳＳＤの値が小さいほど、似ている位置となる。
また、距離とは、例えばＳＡＤ（Sum of Absolute Difference）である。ＳＡＤは、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の絶対値の合計が用いられる。ＳＡＤの値が小さいほど、似ている位置となる。
また、距離とは、例えば正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）である。テンプレートと画像との類似度として、正規化相互相関が用いられる場合もある。類似度が１に近いほど、似ている位置となる。
【0064】
（２）テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域とのテクスチャ特徴量の差上述したＨＬＡＣは、これに含まれる。
具体的には、距離とは、例えばＨｏｕｇｈ変換を用いたテクスチャ特徴量である。
また、距離とは、例えば濃度ヒストグラムを用いたテクスチャ特徴量である。
また、距離とは、例えばフーリエ・スペクトルを用いたテクスチャ特徴量である。
また、距離とは、例えば差分統計量を用いたテクスチャ特徴量である。
また、距離とは、例えば濃度共起行列を用いたテクスチャ特徴量である。
また、距離とは、例えばランレングス行列を用いたテクスチャ特徴量である。
また、距離とは、例えばフラクタルを用いたテクスチャ特徴量である。
（３）テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域内の臓器の（輪郭）形状（扁平度、曲率、輪郭長、直径、面積）の差
（４）下記の１１枚目に挙げられている画像特徴量
http://www.vision.cs.chubu.ac.jp/features/PPT/SSII2009/090610_SSII2009_Tutorial.pdf
【0065】
テンプレートマッチングにおける初期関心領域テンプレートと、現在追跡中の関心領域との画像特徴量の距離（差）に関し、テンプレート画像は次元が異なっても（例えば、テンプレートは３次元、関心領域は２次元）であってもよい。画像診断モダリティ（ＣＴ、ＭＲＩ）が異なってもよい。データベース化したものからとってきた整形された（もはや画像ではない）特徴量を用いてもよい。
【0066】
上述したように、図１３および図１４に示す例では、学習用テクスチャ解析部１２Ａ３が、領域抽出部１２Ａ２によって抽出された領域に対するテクスチャ解析を行い、追跡用テクスチャ解析部１２Ｂ１が、追跡対象を含む超音波画像のテクスチャ解析を行う。他の例では、代わりに、１つのテクスチャ解析部が、領域抽出部１２Ａ２によって抽出された領域に対するテクスチャ解析を行うと共に、追跡対象を含む超音波画像のテクスチャ解析を行ってもよい。
【0067】
上述したように、第１実施形態の生体内運動追跡装置１による追跡手法は、事前学習と実際の追跡のふたつで構成される。事前学習においては、テンプレートマッチングを学習用データで行い、そこで成績の良かった領域を抽出する。これに対してテクスチャ解析を行う。これによってテンプレートマッチングに適しているテクスチャ特徴を得る。これに対して主成分分析を行うことで学習結果のデータを得る。
実際の追跡においては、入力画像に対してテクスチャ解析を行う。この結果と先の学習結果のデータをもとに部分空間法によってテンプレートマッチングに適したテクスチャであるかを類似度で表す。その中で類似度が高い領域をテンプレートとして選択することで自動選択を行う。また、テンプレートの選択を逐次的に行い、テンプレートを変えながら追跡する更新型テンプレートマッチングによって追跡を行う。また、複数枚のテンプレートについてそれぞれマッチングを行う。そしてそれらの結果を下記式のように足し合わせたうえで最も相関度が大きい座標を追跡対象の位置とする。
【0068】
【数8】
【0069】
また、実際の追跡においては、更新型テンプレートマッチングにおいて蓄積誤差が生じる問題があることから、これを防ぐために位置修正を行う。位置の修正は蓄積誤差が一切存在しない初期テンプレートをもとに行う。初期テンプレートでのマッチングが一定以上の相関度のときにその時の位置関係は信頼度が高いとして、その時の生体内運動位置へと修正する。これらを逐次的に行う更新型テンプレートマッチングを実際の追跡においては用いた。
【0070】
図１５は図１４のステップＳ１１を実現する具体例を説明するためのフローチャートである。図１５に示す例では、ステップＳ１００において、第１フレームの入力が行われる。第１フレームとは、例えば、事前学習用の超音波動画像の一部を構成する、例えば時刻ｔ１における超音波静止画像である。
次いで、ステップＳ１１０では、第１フレームに含まれるすべてのテンプレートブロックが抽出される。テンプレートブロックとは、例えば、第１フレームを複数の矩形の区画に分割することによって得られるブロックである。
次いで、ステップＳ１２０では、すべてのブロックの検索が行われる。具体的には、ステップＳ１２１において、フレームの入力が行われる。次いで、ステップＳ１２２では、テンプレートマッチングが行われる。次いで、ステップＳ１２３では、動画像の最後であるか否かの判定が行われる。動画像の最後である場合には、ステップＳ１２４に進み、動画像の最後でない場合には、ステップＳ１２１に戻る。
ステップＳ１２４では、平均相関係数Ｒ＿ａｖｅの算出が行われる。次いで、ステップＳ１２５では、平均相関係数Ｒ＿ａｖｅが閾値Ｒ＿ｔｈｒより大きいか否かの判定が行われる。平均相関係数Ｒ＿ａｖｅが閾値Ｒ＿ｔｈｒより大きい場合には、ステップＳ１２６に進み、平均相関係数Ｒ＿ａｖｅが閾値Ｒ＿ｔｈｒ以下の場合には、ステップＳ１２８に進む。
ステップＳ１２６では、ＨＬＡＣ解析が行われる。次いで、ステップＳ１２７では、ＨＬＡＣベクトルの加算が行われ、次いで、ステップＳ１２８に進む。
ステップＳ１２８では、すべてのブロックの検索が完了したか否かが判定される。すべてのブロックの検索が完了した場合には、ステップＳ１３０に進み、すべてのブロックの検索が完了していない場合には、ステップＳ１２０に戻る。
ステップＳ１３０では、ＨＬＡＣベクトルの主成分分析が行われる。
次いで、ステップＳ１４０では、部分空間の作成が行われる。
【0071】
図１６は図１４のステップＳ２２等を実現する具体例を説明するためのフローチャートである。図１６に示す例では、ステップＳ２００において、第１フレームの入力が行われる。第１フレームとは、例えば、追跡用の超音波動画像の一部を構成する、例えば時刻ｔ０１における超音波静止画像である。
次いで、ステップＳ２０１では、ＨＬＡＣによる解析が行われる。
次いで、ステップＳ２０２では、部分空間法を用いて初期テンプレートの選択が行われる。
次いで、ステップＳ２１Ａでは、領域設定部１２Ｂ６Ａが、初期関心領域テンプレートを設定する。
次いで、ステップＳ２０３では、テンプレートマッチングによる追跡が行われる。
次いで、ステップＳ２０４では、フレームの入力が行われる。
次いで、ステップＳ２０５では、カウンタ値Ｃｏｕｎｔが所定値Ｎｕｍより小さいか否かが判定される。カウンタ値Ｃｏｕｎｔが所定値Ｎｕｍより小さい場合には、ステップＳ２０６に進み、カウンタ値Ｃｏｕｎｔが所定値Ｎｕｍ以上である場合には、ステップＳ２０７に進む。
ステップＳ２０６では、カウンタ値Ｃｏｕｎｔのインクリメントが行われ、ステップＳ２０３に戻る。
ステップＳ２０７では、カウンタ値Ｃｏｕｎｔがゼロにされ、ステップＳ２０８に進む。
ステップＳ２０８では、初期テンプレートマッチングによる追跡が行われる。
次いで、ステップＳ２０９では、初期相関係数Ｒ＿ｆｉｒｓｔが閾値Ｒ＿ｔｈｒより小さいか否かの判定が行われる。初期相関係数Ｒ＿ｆｉｒｓｔが閾値Ｒ＿ｔｈｒより小さい（つまり、蓄積誤差が小さい）場合には、ステップＳ２１０に進む。初期相関係数Ｒ＿ｆｉｒｓｔが閾値Ｒ＿ｔｈｒ以上である（つまり、蓄積誤差が大きい）場合には、ステップＳ２１２に進む。
ステップＳ２１０では、ＨＬＡＣによる解析が行われる。
次いで、ステップＳ２１１では、部分空間法を用いてテンプレートの選択が行われ、ステップＳ２１５に進む。
ステップＳ２１２では、初期テンプレートマッチングの結果による誤差のリセットが行われる。
次いで、ステップＳ２１３では、ＨＬＡＣによる解析が行われる。
次いで、ステップＳ２１４では、部分空間法を用いてテンプレートの選択が行われ、ステップＳ２１５に進む。
ステップＳ２１５では、追跡対象の位置が決定され、追跡が行われる。
次いで、ステップＳ２１Ｂでは、計算部１２Ｂ６Ｂが、追跡後に、初期関心領域テンプレートと、現在追跡中の関心領域との距離を計算する。
次いで、ステップＳ２１Ｃでは、判定部１２Ｂ６Ｃが、計算部１２Ｂ６Ｂによって計算された距離が所定の閾値を超えるか否かを判定する。
次いで、ステップＳ２１Ｄでは、通知部１２Ｂ６Ｄが、計算部１２Ｂ６Ｂによって計算された距離が所定の閾値を超える場合にアラームを通知し、計算部１２Ｂ６Ｂによって計算された距離が所定の閾値以下の場合にアラームを通知しない。次いで、ステップＳ２０２に戻る。
【0072】
図１７は図１６におけるＨＬＡＣによる解析（ステップＳ２０１、Ｓ２１０、Ｓ２１３）と、部分空間法を用いたテンプレートの選択（ステップＳ２０２、Ｓ２１１、Ｓ２１４）との関係を説明するための図である。図１７に示すように、追跡部１２Ｂは、部分空間法によって事前学習によって得たＨＬＡＣによるテクスチャ特徴量との類似度の高いテクスチャ特徴量をもつ領域を複数テンプレートとして選択する。また、追跡部１２Ｂは、これをもとに式７のように各テンプレートでのマッチング結果を照合する。また、追跡部１２Ｂは、式８に示すｓｕｍＲｔの値が最大となる座標を求める。式８においてＮはテンプレート枚数、Ｒｕ，ｖは各座標における相関度を表す。追跡部１２Ｂは、求めた座標をそのフレームにおける生体内運動であるとして追跡を行う。
【0073】
図１８はテンプレートマッチングによる追跡対象の追跡と各テンプレートの相関係数とを示す図である。図１８の左図中の白線の四角で囲まれた部分がテンプレートを示している。図１８の右図の例えば右端および左下の四角で囲まれた部分の中の大きい白い領域は、相関係数が大きい（相関度が強い）領域を示している。
【0074】
＜第２実施形態＞上述したように、第１実施形態の生体内運動追跡装置１では、学習用テンプレート処理部１２Ａ１が、学習用データの超音波画像を用いることにより、テンプレートマッチングを行う。
一方、第２実施形態の生体内運動追跡装置１では、学習用テンプレート処理部１２Ａ１が、学習用データの超音波画像を用いることによってＫＣＦ（Kernelized Correlation Filters）トラッキングを行う。詳細には、学習用テンプレート処理部１２Ａ１は、文献「Henriques, J., Caseiro, R., Martins, P., & Batista, J. High-Speed Tracking with Kernelized Correlation Filters. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 37 (3), 583-596」に記載された技術を用いることによって、ＫＣＦトラッキングを行う。
また、上述したように、第１実施形態の生体内運動追跡装置１では、追跡用テンプレート処理部１２Ｂ３が、更新型テンプレートマッチングを行う。
一方、第２実施形態の生体内運動追跡装置１では、追跡用テンプレート処理部１２Ｂ３は、ＫＣＦトラッキングを行う。
【0075】
＜モニタリング手法＞第１または第２実施形態の生体内運動追跡装置１が適用されるシステムでは、焼灼中の腫瘍への真の腫瘍位置の重畳表示による医師への治療支援のほかに、追跡している腫瘍範囲の画像の輝度情報の観察による腫瘍焼灼状況のモニタリングも可能である。
医師による焼灼状況の評価方法として、現在、超音波動画での目視評価、造影剤による目視評価、ＣＴやＭＲによる術後の評価などが行われている。第１または第２実施形態の生体内運動追跡装置１が適用されるシステムでは、リアルタイムでの焼灼状況のモニタリング手法として超音波動画への目視評価の支援のため焼灼状況の定量的表示が行われる。
焼灼を行っていくと腫瘍周辺は白く変化していく。これは高エコー領域（hyper echoic region）と呼ばれており焼灼の熱によって発生した水蒸気によるものである。医師はこの白く変化した領域の広がり具合などから現在の焼灼状況の判断などを行っている。
第１または第２実施形態の生体内運動追跡装置１が適用されるシステムでは、追跡によって取得した腫瘍の現在の位置に基づき腫瘍部の平均輝度、焼灼マージンの平均輝度の時間変化をそれぞれ計測およびリアルタイムでの変化量表示による焼灼状況の定量的提示が行われる。
このモニタリング手法において初期からの腫瘍の輝度の変化の様子を観察するということから腫瘍の位置を正しくトラッキングすることが重要になってくる。このことから重畳表示による生体内運動位置の提示、生体内運動の輝度値のモニタリングの二つの観点から精度の高い生体内運動トラッキングが求められる。
【0076】
＜適用例＞図１９は第１または第２実施形態の生体内運動追跡装置１が適用されたシステムの一例を示す図である。
図１９に示す例では、システムに対して超音波画像の入力が行われ、図１６を参照して説明した追跡が行われ、追跡結果の表示およびモニタリングが行われる。
【0077】
＜更新フレームを変更した場合の正常な肝臓における追跡実験＞更新型テンプレートマッチングにおいてフレームの更新タイミングはその追跡精度に大きくかかわる。そこで、本発明者等は、同一の正常肝での超音波動画に対して複数の更新タイミングで追跡精度を計測し、更新タイミングがテンプレートマッチングにおける追跡精度に及ぼす影響および最適な更新タイミングを求める実験を行った。
正常肝での１種類の超音波動画において更新タイミングをフレーム数２枚〜１０枚まで行った。これはｆｐｓ１８である本動画において秒数としてあらわすと０．１１秒〜０．８３秒となる。そして各フレームにおける平均追跡誤差、標準偏差を求めこれらを比較した。
図２０は追跡実験に用いられた動画像の１フレームを示した図である。追跡実験に用いられた動画像は助弓下から撮影したものである。
【0078】
［学習用動画］本実験においては学習用動画として正常な肝臓における４種類の動画を２０フレーム間隔で取得して２００フレームの間での追跡精度を各フレームで計測した。これより合計９７枚の画像をもとに学習を行った．
【0079】
図２１は各更新タイミングにおける誤差［ｍｍ］を示した図である。図２１に示すように、更新フレーム数２、３、４、７において平均追跡誤差が低くなっており、追跡精度が高いことがわかる。つまり、更新フレーム数が低い時に追跡精度が高い傾向があった。この理由としてはいくつか考えられる。
１．時間経過によって呼吸に伴う臓器の変形や断面の変化が生じる。これによってテンプレートとマッチング時の超音波動画像の間に差異が発生する。これはテンプレートマッチングの精度が低下する問題である。テンプレートと超音波画像の間での差が大きくなっていくとテンプレートの候補となる領域が正解周辺に広く存在したり、正解位置とは別の領域に候補領域が存在したりするなどといったことが生じる。これらによってテンプレートマッチング自体の精度が低下する恐れがある。
２．次に時間経過によって呼吸に伴う臓器の変形や断面の変化が生じることによってもたらされるもうひとつの問題がある。それは周辺の組織と追跡対象との位置関係が変化してしまうことである。第１または第２実施形態の生体内運動追跡装置１は実際のＲＦＡ手術環境に適用されることを想定している。そのため、焼灼によって変化する腫瘍ではなく、その周辺の組織情報から追跡する必要がある。このため、時間経過に伴う臓器の変形などによってテンプレートに用いている組織と追跡対象である腫瘍との位置関係が変化してしまい、テンプレートマッチング結果にかかわらず追跡誤差が生じると考える。
これらの理由から更新する間隔が短ければ誤差が生じにくいと考える。これらの結果をもとに次に従来手法と第１または第２実施形態の生体内運動追跡装置１を適用した手法とについて、実際に複数の超音波動画像において追跡比較をし、有効性の検証を行った。
【0080】
＜第１または第２実施形態の生体内運動追跡装置１を適用した手法を用いた正常な肝臓における追跡実験＞第１または第２実施形態の生体内運動追跡装置１を適用した手法において対象とする臓器が肝臓であることから正常な肝臓を対象として追跡誤差を求めた。これにより第１または第２実施形態の生体内運動追跡装置１を適用した手法の追跡精度およびロバスト性の計測を行った。従来手法との比較を行い第１または第２実施形態の生体内運動追跡装置１を適用した手法の有効性を検証した。
超音波動画上での追跡実験において目印を決めて追跡することは難しい。それは断面の変化によって目印の正確な位置を把握し続けることが困難な場合が存在するためである。そのことから断面が変化しないように撮影した超音波動画に対して正解座標を手動にてプロットし追跡誤差を求める。断面が変化しないように超音波画像を取得するために運動方向に対して平行になるようにプローブをあてた。肝臓は呼吸によって大きく運動をすることから横隔の上下運動に大きく影響を受ける。そのため横隔の上下運動方向に対して平行になるようにして撮影している。
追跡対象として血管の断面を使用した。血管は断面変化が起こらない条件においては常に一定の形であり目印として適していることからこれを用いた。
第１または第２実施形態の生体内運動追跡装置１を適用した手法に加えて手動にて選択をした単一のテンプレート、ランダムに選択した複数枚テンプレートマッチング、部分空間法によって求めた自動選択テンプレートによるテンプレートマッチング、第１または第２実施形態の生体内運動追跡装置１を適用した手法である更新型テンプレートマッチングの４種類についての追跡による誤差をそれぞれ計測した。
【0081】
［学習用動画と精度計測動画について］追跡実験における学習用動画はパラメータ同定用実験と同様のものを利用した。正常な肝臓における４種類の動画を２０フレーム間隔で取得して２００フレームの間での追跡精度を各フレームで計測した。これより合計９７枚の画像をもとに学習を行った。
精度計測動画は６種類の動画によって行った。正常肝における肋間、助弓下から撮影した超音波動画を用いた。各動画は１０秒間の誤差について計測した。また、特に４種類の動画については加えて３０秒、６０秒における誤差についても計測した。
【0082】
［第１または第２実施形態の生体内運動追跡装置１を適用した手法］更新型テンプレートマッチングにおいては更新するタイミングに関してはパラメータ同定用実験において追跡成績の高かった２、３、４、７フレームでのフレーム間隔の計４種類を適応した。また、テンプレートマッチングにおいて腫瘍の位置をリセットする閾値については初期テンプレートによるテンプレートマッチングでの相関度が０．２５を上回った時とした。テンプレートの枚数は２０枚とし、テンプレートのサイズは３０ピクセル×３０ピクセル（９ｍｍ×９ｍｍ）とした。ここで、これはＨＬＡＣによるテクスチャ解析における各ブロックのサイズと同じサイズである。また、２０枚でのテンプレートの総面積は次に述べる手動でのテンプレート選択におけるテンプレートの面積の中で最小のテンプレートの面積と同じである。テンプレートは多い方がより多くの特徴をもとに追跡出来る反面、計算量が増加する問題がある。そのため、手動でのテンプレートと同等での条件かつ計算量を減らすためこの枚数とした。
【0083】
［手動でのテンプレート選択］図２２は手動でのテンプレート選択を説明するための図である。
従来手法である手動でのテンプレート選択による追跡実験においては選択するテンプレートは以下のような点を考慮して選択した。また、それぞれを考慮したテンプレートについては図２２〜図２４のようになる。
・解剖学的に特徴的である横隔膜や血管を選択する（図２２参照）。
・肝臓の境界部、特に曲率が高い特徴的な部分を選択する（図２３参照）。
・肝臓の境界において皮膚側と横隔膜側を横断するように選択する（図２４参照）。
・追跡対象とする血管を含まないようにする。
これらに注意して手動選択のテンプレートによる追跡を各動画４つのテンプレートで行った。
【0084】
［ランダムでのテンプレート選択］提案手法（第１または第２実施形態の生体内運動追跡装置１を適用した手法）にテンプレートの自動選択の有効性があるかどうかを確認するために、提案手法と同じ枚数、同じ大きさのテンプレートをランダムで選択し、追跡を行った。提案手法と同様に２０枚、３０ピクセル×３０ピクセル（９ｍｍ×９ｍｍ）である。また、提案手法と同様にテンプレートの更新に関してもランダムにテンプレートを選択して行った。
【0085】
［結果］まず、１０秒における追跡誤差は以下の表１のようになった。ここで１０秒での追跡誤差は６種類の動画における追跡誤差である。ここで「自動」は部分空間法によるテンプレートの自動選択を表し、「手動」は手動選択を表す。そのなかでも全体の平均を「平均」とし特によかった成績のものを集めた場合を「チャンピオン」とした。「ランダム」は部分空間法の代わりにランダムでテンプレートの選択を行った場合である。また、「Ａｄａ」は更新をすることを表す。
【0086】
【表1】
【0087】
次に３０秒における追跡誤差は以下の表２のようになった。ここで３０秒での追跡誤差は６種類の動画における追跡誤差である。
【0088】
【表2】
【0089】
次に６０秒における追跡誤差は以下の表３のようになった。ここで６０秒での追跡誤差は６種類の動画における追跡誤差である。
【0090】
【表3】
【0091】
また、提案手法（第１または第２実施形態の生体内運動追跡装置１を適用した手法）について特にこの中でも２、３、４、７フレームで更新したときの様子はそれぞれ表４のようになる。ここでフレーム間隔を変更して比較する際には４種類の動画において追跡誤差を計測比較した。
【0092】
【表4】
【0093】
実験によって以上のようになった．また、提案手法における各動画での追跡精度は表５のようになった．まず、１０秒における追跡結果は以下のようになった．
【0094】
【表5】
【0095】
３０秒においては表６のようになった。
【0096】
【表6】
【0097】
そして６０秒においては表７のようになった。
【0098】
【表7】
【0099】
ここで、目標精度は２ｍｍである。一方で、１０秒の追跡結果においては６種類の動画で３．３０ｍｍ、４種類の動画で２．６９ｍｍとなった。また、３０秒においては３．０５ｍｍ、６秒においては４．８８ｍｍとなった。また、２、３、４、７フレームの中では更新間隔２、３フレームにおいて高い追跡精度となった。
【0100】
［考察］追跡結果についてテンプレートを更新しない場合について考える。この時、部分空間法による自動選択をしたテンプレートとランダムに選択したテンプレートを比べる。１０秒においてはランダムにテンプレートを選択した時と比べて精度が高い。一方で３０秒追跡した場合はランダムと同等程度、６０秒間追跡した場合はランダムの場合の精度の方が高かった。
このことから短時間において、部分空間法による追跡に適したテンプレートの選択は有効に機能していることがわかる。これは学習時において１０秒間動画を追跡し、その時平均相関度の高い領域を用いているためであると考える。つまり、１０秒程度の追跡に最適なテンプレートを学習し、これを選択しているためと考える。これより、部分空間法による追跡に適したテンプレートの選択に関して有効性を確認することができた。
【0101】
図２５は部分空間法によるテンプレートの自動選択とランダムでのテンプレート選択とを比較した図である。詳細には、図２５は実際にランダムで更新した際の各フレームでの誤差を表している。部分空間法によるテンプレートの自動選択による更新型テンプレートマッチング、つまり提案手法（第１または第２実施形態の生体内運動追跡装置１を適用した手法）とランダムにテンプレートを更新した場合を比較したところ、図２５に示すように、提案手法の方が１０秒、３０秒、６０秒のすべての間隔において精度が高かった。これは短時間ごとに更新することから、常に最適なテンプレートを提案手法では選択することができるためであると考える。これより、更新時のような１０フレーム以内の場合においても同様に部分空間法による追跡に最適なテンプレートの選択が有効に機能していることがわかる。
ランダムでのテンプレート選択とこれの更新を行う場合について比較をしたときに１０秒と３０秒においては更新が有効であり更新した時の精度の方が高い。一方で６０秒では更新をしない場合の精度の方が高い。これは更新を行った際に蓄積誤差によってドリフトが生じているためであると考える。図２５からわかる通り、時間の経過とともに誤差が増加していっていることがわかる。蓄積誤差の解消がランダム選択時にうまく機能していない原因に関してはリセットの条件が挙げられる。生体内運動位置の修正を行う条件を提案手法に合わせて設定し、それと同じ設定を利用したためうまく修正する条件が一致しなかったと考える。
【0102】
次に提案手法（第１または第２実施形態の生体内運動追跡装置１を適用した手法）における更新の有効性について以下のように考える。提案手法と部分空間法による自動選択の精度を比較した。この時、提案手法の精度が更新しない場合と比較して高かった。このことから提案手法におけるテンプレートの更新の有効性を確認することができた。
【0104】
４種類の動画についてそれぞれの６０秒間の誤差は、図２６、図２７、図２８および図２９のようなグラフになった。これらのグラフより各動画についてドリフトをしている場合としていない場合が存在することがわかる。ドリフトをしていない事例といて動画３が存在する。ここでは他の超音波動画像と比較したとき誤差が少ないことがわかる。また、この時２、３、４、７フレームすべてにおいて誤差が低いことがわかる。一方で動画１ではドリフトをしていることがわかる。３、４、７フレームにおいては１５秒ほどから、２フレームにおいては３０秒ほどからドリフトが生じている。また、６０秒周辺においては更新間隔が大きいほど誤差が大きくなっていることがわかる。このことから更新間隔が大きいほどより蓄積誤差が生じると考える。この理由としては更新間隔が長いほどテンプレートと追跡対象の間の位置関係に変化が生じることで誤差が大きくなる。これによって誤差が生じている中でテンプレートの更新を行うことを繰り返すため、蓄積誤差が大きくなっていくと考える。
【0105】
動画２、動画４に関しては図２７、図２９に示す通りである。動画２の全般と動画４における３５秒、４０秒付近において誤差が急激に上昇し、その後急激に下降する様子が確認できる。これは蓄積誤差解消のための位置修正処理がうまく機能していないことによるものである。蓄積誤差解消のための位置修正処理として蓄積誤差が存在しない初期テンプレートによる追跡結果を用いる手法が、第１または第２実施形態の生体内運動追跡装置１では用いられる。一方でこれらの超音波動画像においては初期テンプレートにおいて追跡がうまくいっていない場合にこれをもとに位置の修正をしてしまっている。これによって大きく誤差が生じてしまっていると考える。テンプレートのリセットのタイミングが適切でないためにこの問題が生じている。第１または第２実施形態の生体内運動追跡装置１では、テンプレートの位置修正のタイミングは初期テンプレートにおける相関度をもとに決定している。そして、閾値はあらかじめ定めた固定値を採用している。
【0106】
図３０はリセットを用いた場合と用いていない場合の様子を示す図である。１秒、５秒、７秒周辺では初期テンプレートと蓄積誤差修正を行う場合の誤差が高い。この時においては蓄積誤差に対して修正を行わない場合の誤差が小さい。一方で３、６、９秒周辺では蓄積誤差修正を行う場合の誤差の方が修正しない場合よりも低い。前者においては蓄積誤差修正が誤って機能していることがわかる。後者においては蓄積誤差修正が有効に機能し、このことによって精度の向上につながっていることがわかる。
これらのことより、追跡精度の向上という観点において追跡誤差修正が大きく依存していることがわかる。これがうまく機能せず初期テンプレートに誤差がある状態でその位置に修正を行うと大きく精度が劣化する。この誤差が追跡において大きく精度を低下させていることがわかる。他方で蓄積誤差修正が有効に機能した際には、修正しない場合にくらべ精度が向上する。蓄積誤差修正を行うタイミングをより精密にすることで精度の向上が見込めると考える。
【0107】
第１または第２実施形態の生体内運動追跡装置１を適用した手法では、二つの実験を通して人の肝臓の臓器追跡において有効性を確認することができた。一方で誤差の要因として、蓄積誤差解消のための初期テンプレートによる生体内運動位置関係補正が有効に機能していない部分で発生していることを確認することができた。これはテンプレートマッチングの相関度が正しく追跡しているときのみが高いわけではないこと、必ずしも相関度の高さが追跡の良否と一致していないことが原因として挙げられる。このことから、よりロバストな追跡の良否を観測する手段によって生体内運動位置関係補正を行うタイミングを決定していくことが今後必須となってくる。また、テンプレートの更新するタイミングは概ね短期的な更新を繰り返すことが良いことも分かった。短期でテンプレートの更新を繰り返すことは呼吸によって変形する臓器の追跡において適していると考える。また、本実験においてテンプレートの更新するタイミングが短期間の方の追跡精度が高かった要因として別の理由が一つ挙げられる。生体内運動の位置関係のリセットを行うタイミングはテンプレートの更新時のみであったことである。先の実験を通して生体内運動の位置関係の補正が追跡精度に大きく左右していることがわかった。このことから更新フレームの間隔の違いによる誤差の変化には生体内運動位置関係の補正の間隔の違いも要因として大きく関与していると考える。
【0108】
従来手法である手動でのテンプレートの選択と比べた時、提案手法（第１または第２実施形態の生体内運動追跡装置１を適用した手法）では精度・ロバスト性どちらの面でも従来手法を上回ることができた。これはテンプレートの自動選択によって安定した追跡を可能とし、テンプレートを適宜更新することで精度を向上することができたものと考える。テンプレートの更新はテンプレートを自動的に選択できるようになったことから逐次的にテンプレートの選択ができた。また、第１または第２実施形態の生体内運動追跡装置１を適用した一例において精度が下がった要因として学習動画も挙げられる。学習用のデータが今回４つの動画から作成した９６フレームとなっており、似たような場面を多く学習していたと考えられる。より学習用動画にバリエーションを持たせることでより一層の自動選択における制度の向上が望める。精度の計測用の動画においても本発明者等による研究では実際のＲＦＡ治療環境を想定した断面の変化や急な動きを伴った超音波動画像を採用した。これは断面が均一な超音波動画像と比較したとき精度が劣化しやすいと考えられ、このことも数字上の精度の低下を招いていると考える。
【0109】
図３１は超音波画像における精度（１ｍｍの誤差、２ｍｍの誤差および３ｍｍの誤差）を説明するための図である。図３２は第１または第２実施形態の生体内運動追跡装置１を適用した手法における精度などを説明するための図である。図３２に示す例では、最も良かった精度は２．２６ｍｍとなった。求められる要求精度は最低でも２ｍｍ、理想的には１ｍｍとなっている。また、１０秒６種類の動画に対して提案手法（第１または第２実施形態の生体内運動追跡装置１を適用した手法）を用いた時の精度は３．５ｍｍとなっている。１０秒の動画では断面が大きく変化する動画を新たに加えていることから精度が低下したと考える。このとき要求精度以内に収まっている時間当たりの割合は３４％であった。
【0110】
要求精度で追跡を行うためには生体内運動位置修正のタイミングが重要であると考える。アルゴリズムの改善によって追跡精度の向上が見込まれる。初期テンプレートによって修正を行う観点から初期テンプレートは頑強である必要がある。そのことから初期テンプレートに関しては学習用の動画を別に用意し、短期間の追跡精度より長期間でも追跡精度が低下しにくいような領域を選択することによって初期テンプレートによる修正がより効果的になると考える。
提案手法（第１または第２実施形態の生体内運動追跡装置１を適用した手法）ではテンプレートの枚数、更新のタイミング、修正のタイミング、テンプレートのサイズなど様々なパラメータが存在する。そこで、入力した画像をもとに現在どのような状況であるかを判断し、それに適した形でパラメータを決定し追跡するような強化学習による更新型テンプレートマッチングを行うことでより最適な形で追跡を行うことができると考える。
【0111】
上述したように、第１または第２実施形態の生体内運動追跡装置１では、テクスチャ解析を用いた事前学習を行い、それに基づいて部分空間法によってテンプレートの自動選択をし、合わせて自動選択したテンプレートを逐次更新するによる更新型テンプレートマッチングを行う。第１または第２実施形態の生体内運動追跡装置１によれば、従来手法である手動にて選択をしたテンプレートによるテンプレートマッチングと比べて精度の向上、安定性の向上を達成することができる。これより、テクスチャに基づいたテンプレートの自動選択および更新型テンプレートマッチングそれぞれの有効性を確認することができる。
つまり、第１または第２実施形態の生体内運動追跡装置１によれば、ＲＦＡ治療支援システムにおける生体内運動追跡精度向上を達成することができる。
【符号の説明】
【0112】
１…生体内運動追跡装置、１１…画像取得部、１２…処理部、１２Ａ…事前学習部、１２Ａ１…学習用テンプレート処理部、１２Ａ２…領域抽出部、１２Ａ３…学習用テクスチャ解析部、１２Ａ４…主成分分析部、１２Ｂ…追跡部、１２Ｂ１…追跡用テクスチャ解析部、１２Ｂ２…テンプレート自動選択部、１２Ｂ３…追跡用テンプレート処理部、１２Ｂ４…追跡対象位置決定部、１２Ｂ５…位置修正部、１２Ｂ６…監視部、１２Ｂ６Ａ…領域設定部、１２Ｂ６Ｂ…計算部、１２Ｂ６Ｃ…判定部、１２Ｂ６Ｄ…通知部