【実施例1】
【0025】
図1は本発明の実施例1の対象追跡装置が適用された放射線治療機の説明図である。
図1において、本発明の実施例1の対象追跡装置が適用された放射線治療機1は、治療の被検体である患者2が寝るベッド3を有する。ベッド3の上方には、透視撮影用X線照射装置4が配置されている。透視撮影用X線照射装置4は、X線透視画像(CT画像)を撮影するためのX線を患者に向けて照射可能に構成されている。患者2を挟んで透視撮影用X線照射装置4の反対側には、撮像装置6が配置されている。撮像装置6は、患者を透過したX線を受けてX線透視画像を撮像する。撮像装置6で撮影した画像は画像生成器7で電気信号に変換され、コントロールシステム8に入力される。なお、透視撮影用X線照射装置4や撮像装置6、画像生成器7は、従来公知の任意の構成を採用可能であり、例えば、特許文献2〜4等に記載のような3次元のCT画像を作成可能な構成を採用することが望ましい。
【0026】
また、ベッド3の側方には、治療用放射線照射器(治療装置)11が配置されている。治療用放射線照射器11は、コントロールシステム8から制御信号が入力可能に構成されている。治療用放射線照射器11は、制御信号の入力に応じて、予め設定された位置(患者2の患部)に向けて治療用の放射線を照射可能に構成されている。
【0027】
(実施例1のコントロールシステム(制御部)の説明)
図2は実施例1の放射線治療機の制御部が備えている各機能をブロック図で示した図である。
図2において、コントロールシステム8の制御部Cは、外部との信号の入出力等を行う入出力インターフェースI/Oを有する。また、制御部Cは、必要な処理を行うためのプログラムおよび情報等が記憶されたROM:リードオンリーメモリを有する。また、制御部Cは、必要なデータを一時的に記憶するためのRAM:ランダムアクセスメモリを有する。また、制御部Cは、ROM等に記憶されたプログラムに応じた処理を行うCPU:中央演算処理装置を有する。したがって、実施例1の制御部Cは、小型の情報処理装置、いわゆるマイクロコンピュータにより構成されている。よって、制御部Cは、ROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
【0028】
(制御部Cに接続された信号出力要素)
制御部Cは、操作部UIや、画像生成器7、図示しないセンサ等の信号出力要素からの出力信号が入力されている。
操作部(ユーザインタフェース)UIは、表示部の一例であって入力部の一例としてのタッチパネルUI0を有する。また、操作部UIは、学習処理開始用のボタンUI1や、教師データ入力用のボタンUI2、治療開始用のボタンUI3等の各種入力部材を有する。
画像生成器7は、撮像装置6で撮影されたCT画像を制御部Cに入力する。なお、画像生成器7は、一例として、1秒間に15枚の画像(15フレーム:66[ms/f])を入力する。
【0029】
(制御部Cに接続された被制御要素)
制御部Cは、透視撮影用X線照射装置4や治療用放射線照射器11、その他の図示しない制御要素に接続されている。制御部Cは、透視撮影用X線照射装置4や治療用放射線照射器11等へ、それらの制御信号を出力している。
透視撮影用X線照射装置4は、学習時や治療時にX線透視画像を撮影するためのX線を患者2に向けて照射する。
治療用放射線照射器11は、治療時に治療用の放射線(X線)を患者2に向けて照射する。
【0030】
(制御部Cの機能)
制御部Cは、前記信号出力要素からの入力信号に応じた処理を実行して、前記各制御要素に制御信号を出力する機能を有している。すなわち、制御部Cは次の機能を有している。
【0031】
図3は実施例1の制御部における処理の一例の説明図である。
C1:学習画像読み取り部
学習画像読み取り部C1は、画像生成器7から入力されたCT画像を読み取る(読み込む)。実施例1の学習画像読み取り部C1は、学習処理開始用のボタンUI1が入力された場合に、画像生成器7から入力された画像を読み取る。なお、実施例1では、学習処理開始用のボタンUI1の入力が開始されてから、予め設定された学習期間の間、CT画像の読み取りが行われる。なお、実施例1の学習画像読み取り部C1は、
図3に示す追跡対象画像特徴21(追跡対象である腫瘍の特徴を示す画素値の配置パターン及び画像領域)を含む学習用の元画像(複数の横断面画像)22から、縦断面画像(図示せず)を構成して、以下の作業を行う。よって、実施例1では、学習に関連する各部C2〜C10は、学習画像読み取り部C1が読み取り、記憶した時系列に沿った各画像それぞれに基づいて、画像分離や編集、重畳等を実行する。すなわち、実施例1では、CT画像の撮影に対して、リアルタイムでの学習処理は行わないが、CPUの高速化等で処理速度が向上し、リアルタイムでも処理が可能になれば、リアルタイムで行うことも可能である。
【0032】
C2:画像分離部
画像分離部C2は、追跡対象画像特徴21を含む学習用の元画像22に基づいて、追跡対象画像特徴21を含む追跡対象部画像23の一例としての軟部組織DRR(Digitally Reconstructed Radiography)画像と、追跡対象画像特徴21という追跡対象の特徴を示す領域を含まない分離背景画像(非追跡対象画像、分離非追跡対象画像)24の一例としての骨構造の画像特徴を含む骨構造DRR画像(骨画像)とに分離抽出する。実施例1の画像分離部C2は、CT画像のコントラスト情報であるCT値に基づいて、追跡対象部画像23(第1の画像、軟部組織DRR画像)と分離背景画像24(骨構造DRR画像)とに分離する。実施例1では、一例として、CT値が200以上の領域を骨構造DRR画像として分離背景画像24を構成し、CT値が200未満の領域を軟部組織DRR画像として追跡対象部画像23を構成する。
【0033】
なお、実施例1では、一例として、肺に発生した腫瘍(追跡対象)すなわち治療の標的対象が軟部組織DRR画像として追跡対象部画像23に写る場合の実施例であるが、例えば、追跡対象が骨の異常部分等である場合は、追跡対象部画像23として骨構造DRR画像を選択し、分離背景画像24として軟部組織DRR画像を選択する。このように、追跡対象部画像と背景画像(非追跡対象画像)の選択は、追跡対象および障害物を含む背景画像に応じて、適切に選択される。
腫瘍(追跡対象)の指定は、画面上で手動で腫瘍の領域を指定したりするような手動での指定とすることも可能である。また、複数の元画像22に共通で写り込んでいるものを自動的に抽出するような腫瘍の自動判別を行う構成とすることも可能である。
【0034】
C3:障害物画像取得部
障害物画像取得部C3は、治療用放射線照射器11において被追跡画像28を取得する場合に含まれ、且つ、分離背景画像24とは異なる障害物の画像25を取得する。実施例1では、障害物画像25として、ベッド3のフレーム(カウチフレーム)や患者をベッド3に固定する固定具のX線画像が予め記憶媒体に記憶されており、障害物画像取得部C3は、記憶媒体に記憶されたカウチフレームや固定具の画像(障害物画像25)を読み取って取得する。
C4:乱数発生部
乱数発生部C4は乱数を発生させる。
【0035】
C5:背景画像編集部(非追跡対象画像編集部、非追跡対象画像作成部)
背景画像編集部C5は、分離背景画像24や障害物画像25の追跡対象部画像23に対する位置、拡縮、回転および明暗の少なくとも一つを編集して、背景画像(非追跡対象画像)29を作成する一例である。実施例1の背景画像編集部C5は乱数に基づいて、位置、拡縮、回転および明暗の少なくとも一つを編集する。実施例1では、具体的には、アフィン変換を行って分離背景画像24や障害物画像25を平行移動させたり、線形変換(回転、せん断、拡大、縮小)させており、乱数に基づいてアフィン変換の行列の各値を変化させることで、分離背景画像24等を編集し背景画像29を作成する。なお、明暗(コントラスト)についても、分離背景画像24等の明暗を、明または暗の方向に、乱数に応じた量変化させる。実施例1では、背景画像編集部C5は、1つの分離背景画像24等に対して、予め設定された数の一例としての100枚の編集された背景画像を作成する。すなわち、分離背景画像24等の位置等が乱数によりランダムに編集された100枚の背景画像29が作成される。
【0036】
なお、作成される背景画像29の枚数Nは、追跡対象部画像23の画像の領域の大きさと、画像の分解能と、予め設定された追跡精度とに基づいて、設定することが望ましい。一例として、追跡対象部画像23の画像が10cm×10cmで、分解能が1mm、要求される追跡精度が分解能の10倍の場合には、{10(cm)/1(mm)}×10(倍)=1000(枚)として、1000枚の背景画像29を作成するようにすることも可能である。
【0037】
C6:重畳画像作成部
重畳画像作成部C6は、追跡対象部画像23に、背景画像29(分離背景画像24や障害物画像25に回転等の編集がされた画像)をそれぞれ重畳した重畳画像26を作成する。
C7:教師画像の入力受付部
教師画像の入力受付部C7は、タッチパネルUI0への入力や教師データ入力用のボタンUI2への入力に応じて、追跡すべき対象を教師する画像の一例としての教師画像特徴27を含む教師画像30の入力を受け付ける。なお、実施例1では、タッチパネルUI0に学習用の元画像(CT画像)22を表示し、医師が治療の標的対象である追跡対象の画像特徴を囲むように画面上にて入力して、教師画像特徴27を決定することが可能なように構成されている。
C8:教師画像付加部
教師画像付加部C8は、入力された教師画像特徴27を含む教師画像30を重畳画像26に付加する(さらに重畳する)。
【0038】
図4は追跡対象の位置の学習の一例の説明図であり、
図4Aは複数の重畳画像の一例の説明図、
図4Bは重畳画像が重ねられた場合の説明図である。
C9:学習部(識別器作成部)
学習部C9は、複数の重畳画像26に教師画像30が付加された複数の学習画像51に基づいて、画像における追跡対象画像特徴21の領域情報および位置情報の少なくとも一方を学習して、識別器を作成する。なお、実施例1では、追跡対象画像特徴21の領域と位置の両方を学習する。また、実施例1では、追跡対象画像特徴21の領域の重心の位置を追跡対象画像特徴21の位置としているが、領域の上端、下端、右端、左端等、設計や仕様等に応じて任意の位置に変更可能である。
【0039】
図4において、実施例1の学習部C9では、ランダムに位置等が編集された障害物画像特徴31の画像が追跡対象画像特徴32に重畳された複数の重畳画像(
図4A参照)において、各画像を更に重畳すると、
図4Bに示すように、位置が編集されていない追跡対象画像特徴32が相対的に強調(増幅)され、且つ、位置等がランダムな障害物画像特徴31が相対的に抑制(減衰)されることとなる。したがって、CT画像における追跡対象画像特徴32の位置や外形を学習することが可能である。なお、学習部C9としては、従来公知の任意の構成を採用可能であるが、いわゆるディープラーニング(多層構造のニューラルネットワーク)を使用することが好ましく、特に、CNN(Convolutional Neural Network:畳込みニューラルネットワーク)を使用することが好ましい。実施例1では、ディープラーニングの一例としてのCaffeを使用したが、これに限定されず、任意の学習部(フレームワーク、アルゴリズム、ソフトウェア)を採用可能である。
【0040】
C10:学習結果記憶部
学習結果記憶部C10は、学習部C9の学習結果を記憶する。すなわち、学習で最適化されたCNNを識別器として記憶する。
C11:X線透視画像読み取り部
X線透視画像読み取り部C11は、画像生成器7から入力されたCT画像(第3の画像)を読み取る。実施例1のX線透視画像読み取り部C11は、治療開始用のボタンUI3が入力された場合に、画像生成器7から入力された被追跡画像28を読み取る。
【0041】
C12:対象特定部
対象特定部C12は、学習部C9の学習結果と、追跡対象である標的対象を含む被追跡画像28とに基づいて、被追跡画像28における追跡対象の位置を特定する。実施例1の対象特定部C12は、学習で最適化された識別器(CNN)を使用して、被追跡画像28(この場合はX線透視画像)における追跡対象画像特徴21の領域情報および位置情報を特定し、その領域情報および位置情報を出力する。
C13:放射線照射部
放射線照射部C13は、治療用放射線照射器11を制御して、対象特定部C12で特定された追跡対象画像特徴21の領域および位置が、治療用X線の照射範囲に含まれる場合に、治療用X線を照射させる。
【0042】
C14:追跡精度評価部
追跡精度評価部C14は、追跡対象の領域および位置の少なくとも一方が予め設定された評価用の画像(テスト画像)と、識別器とに基づいて、追跡対象の追跡の精度を評価する。実施例1では、テスト画像として、追跡対象の領域および位置が既知の画像を使用して、識別器で追跡対象の追跡を行い、識別器で特定した追跡対象の領域および位置と、既知の領域および位置とのズレを評価する。評価は、領域については、例えば、識別器で特定した領域の外縁の各画素(ピクセル)と、テスト画像における追跡対象の外縁の画素で、(位置が一致するピクセル数)/(外縁の総ピクセル数)を演算し、それが、閾値(例えば90%)を超えていれば、識別器の精度が領域の特定については十分と評価することが可能である。同様に、位置についても、識別器で特定した追跡対象の位置(重心位置)が、テスト画像における追跡対象の位置に対して、ズレが、閾値(例えば、5ピクセル)以内であれば、識別器の精度が位置の特定については十分と評価することが可能である。なお、評価方法は、上記に限定されず、例えば、領域は外形の形状同士の相関係数を導出して評価をする等、任意の評価方法を採用可能である。
【0043】
なお、実施例1では、追跡精度評価部C14で精度が不十分と評価された場合には、背景画像編集部C5でそれまでの枚数Nの2倍の枚数(2N)の編集画像を作成して、追加された編集画像を使用して重畳画像を追加で作成し、増えた重畳画像を使用して学習部C9で識別器を再作成する。したがって、再作成された識別器の精度は向上される。なお、識別器の精度が、予め設定された閾値に達するまで、自動的に編集画像を増やして、識別器を再作成し続けるように構成することも可能であるし、手動で編集画像の増加や識別器の再作成を行うようにすることも可能である。
なお、透視撮影用X線照射装置4や撮像装置6、画像生成器7、コントロールシステム8、前記各部C1〜C14により実施例1の対象追跡装置が構成されている。
【0044】
(実施例1の流れ図の説明)
次に、実施例1の放射線治療機1における制御の流れを流れ図、いわゆるフローチャートを使用して説明する。
【0045】
(学習処理のフローチャートの説明)
図5は実施例1の学習処理のフローチャートの説明図である。
図5のフローチャートの各ステップSTの処理は、放射線治療機1の制御部Cに記憶されたプログラムに従って行われる。また、この処理は放射線治療機1の他の各種処理と並行して実行される。なお、ユーザの入力に応じて、作成された識別器の追跡精度を評価する処理については、フローチャートが簡単なため、図示および詳細な説明は省略する。
図5に示すフローチャートは学習処理開始用のボタンUI1の入力により開始される。
【0046】
図5のST1において、CT画像(元画像22)の読み取りを実行する。そして、ST2に進む。
ST2において、元画像22からCT値200未満の追跡対象部画像23と、CT値200以上の分離背景画像24とを作成する。そして、ST3に進む。
ST3において、乱数と分離背景画像24から平行移動等を編集した編集画像を所定数N作成する。そして、ST4に進む。
ST4において、追跡対象部画像23と、各編集画像を重畳した重畳画像26を作成する。そして、ST5に進む。
【0047】
ST5において、タッチパネルUI0に教師データ(教師画像特徴27)を入力するための画像を表示する。そして、ST6に進む。
ST6において、教師データ(教師画像特徴27)の入力がされたか否かを判別する。イエス(Y)の場合はST7に進み、ノー(N)の場合はST6を繰り返す。
ST7において、各重畳画像26に教師データ(教師画像特徴27)を付加する。そして、ST8に進む。
【0048】
ST8において、学習期間が終了したか否かを判別する。ノー(N)の場合はST9に進み、イエス(Y)の場合はST10に進む。
ST9において、次のCT画像(元画像22)を読み取る。そして、ST2に戻る。
ST10において、CNNで学習を実行して、識別器(最適化されたCNN)を出力し、記憶する。そして、学習処理を終了する。
【0049】
(追跡処理のフローチャートの説明)
図6は実施例1の追跡処理のフローチャートの説明図である。
図6のフローチャートの各ステップSTの処理は、放射線治療機1の制御部Cに記憶されたプログラムに従って行われる。また、この処理は放射線治療機1の他の各種処理と並行して実行される。なお、X線の照射処理については、追跡対象の位置が予め設定された照射位置に到達している場合にX線を照射し、それ以外の場合は照射しないという処理であるため、図示および詳細な説明は省略する。なお、X線の照射処理については、特許文献1〜4に記載の従来公知の技術を採用することも可能である。
図6に示すフローチャートは治療開始用のボタンUI3の入力により開始される。
【0050】
図6のST21において、識別器(最適化されたCNN)を読み込む。そして、ST22に進む。
ST22において、X線透視画像の入力がされたか否かを判別する。イエス(Y)の場合はST23に進み、ノー(N)の場合はST22を繰り返す。
ST23において、入力画像(X線透視画像)と識別器から追跡対象(治療の標的対象)の位置を特定し、出力する。そして、ST24に進む。
ST24において、追跡処理、すなわち、治療用X線の照射処理が終了したか否かを判別する。ノー(N)の場合はST22に戻り、イエス(Y)の場合は追跡処理を終了する。
【0051】
(実施例1の作用)
図7は実施例1の放射線治療機における腫瘍の追跡結果の説明図である。
前記構成を備えた実施例1の放射線治療機1では、元画像22から、追跡対象画像特徴21を含む追跡対象部画像23として軟部組織DRR画像、追跡対象を含まない分離背景画像24として骨構造DRR画像を分離し、分離背景画像24(骨構造DRR画像)をランダムに編集(加工)して、追跡対象部画像23(軟部組織DRR画像)と重ねている。したがって、学習時に、追跡対象画像特徴21の位置と形状を明確に認識しやすい。元画像22にカウチフレーム等の障害物が写り込んでいる場合には、その画像特徴は、元画像22から分離されて分離背景画像(骨構造DRR画像)24に含まれた状態で学習されるため、学習時にカウチフレーム等の障害物の影響も抑制される。また、学習される障害物が、カテーテル等の体内に入る手術器具等であっても、体内に入って写り込んだカテーテル等を障害物と判断し、追跡対象から分離しやすくなる。よって、カテーテル等の障害物が体内に入った状況で対象を追跡する際の、体内障害物の影響も抑制可能である。
【0052】
したがって、実施例1の放射線治療機1では、骨等の影響で外形が不明確になる恐れのある従来技術のテンプレート画像の作成方法に比べて、追跡対象(治療の標的対象)の位置や外形(領域)を特定しやすくすることができる。したがって、
図7に示すように、透視画像に骨(非追跡対象、障害物)が映り込んでいたり、呼吸に伴って呼気位相、中間位相、吸気位相で腫瘍の位置や外形が変化しても、精度良く追跡することが可能である。すなわち、腫瘍の位置の追跡だけでなく、腫瘍の形状もリアルタイムで追跡可能である。
【0053】
また、元画像22、すなわち、特定の患者の画像に基づいて、その患者に応じた識別器が作成されているので、多くの患者のデータに基づいて作成された汎用的な技術(テンプレート画像)を使用する場合に比べて、その患者に応じた精度の高い識別器を作成できる。骨の形状は個人差が少ないが、軟部組織(血管の走行や腫瘍の形状など)は個人差があるために、他人の画像を使用しても学習が効果的ではない場合がある。すなわち、多くの患者の画像を無作為に使用して学習した場合は、各患者の特徴は無視されるように学習が進むため、精度が低下する可能性が高い。これに対して、実施例1では、特定の患者に対して識別機が作成されており、精度が向上する。
【0054】
図8は実施例1の実験結果の説明図である。
図8において、テストデータを使用して追跡対象の追跡について実験を行った。実験例1は、実施例1の構成を採用した。比較例1は、軟部組織DRR画像のみを使用し、従来のテンプレート法で実験を行った。比較例2は、一般的なDRR画像(軟部組織DRR画像+骨構造DRR画像)を使用して従来のテンプレート法で実験を行った。実験結果を
図8に示す。
図8において、実験例1では、追跡対象の追跡においてエラーとなった画素の平均が0.22[ピクセル]で、標準偏差が1.7、相関係数が0.997、ジャッカード係数が平均0.918(最大0.995、最小0.764)となり、追跡対象の追跡精度が高く、良好な結果が得られた。これに対して、比較例1では、エラーとなった画素の平均が4.4[ピクセル]で、標準偏差が10、相関係数が0.113となった。比較例2では、エラーとなった画素の平均が3.9[ピクセル]で、標準偏差が9.1、相関係数が0.256となった。したがって、実施例1の構成(実験例1)で、従来(比較例1,2)に比べて、追跡の精度が向上していることが確認された。仮に、1ピクセルが1mmであれば、従来技術では平均誤差が4ピクセル程度であるため平均追跡誤差が4mm以上であったが、実施例1では平均誤差が0.22ピクセルであるため平均追跡誤差が0.22mm以下に改善する。
【0055】
また、実施例1では、教師データ(教師画像特徴27)を使用しているため、学習に必要な重畳画像26のデータが2000枚程度で十分な精度で学習が可能である。なお、教師データ無しでも学習(ディープラーニング)が可能であるが、学習に必要な重畳画像26の枚数が多く必要になる。よって、教師データなしの場合は、教師データありの場合よりも重畳画像26を作成する時間や学習にかかる時間が長くなるが、実施例1では教師データ(教師画像特徴27)を使用しているため、処理を短時間で行うことが可能である。なお、実施例1では、画像の分離、乱数に基づいて編集、2000枚の重畳画像の作成は、1分程度で処理が可能であった。また、ディープラーニングは90分程度で処理が可能であった。また、X線治療時に標的対象の位置を特定(追跡)する処理も、実施例1では、1画像につき25msで可能であった。なお、従来技術で前述したBone Suppress法を追跡処理で行ったところ、1画像につき15秒かかった。したがって、従来技術に比べて、追跡時の処理速度が600倍高速化された。
【0056】
さらに、実施例1では、追跡対象部画像23(軟部組織DRR画像)と分離背景画像24(骨構造DRR画像)をCT値に基づいて元画像22から分離して、編集、加工しているので、患者に応じた学習が可能である。
また、実施例1では、分離背景画像24を編集する際に明暗(コントラスト)も編集している。したがって、学習用の元画像22の撮影時と治療用のX線透視画像を撮影する時でコントラストが異なっても、コントラストが異なる状況についても学習済みであり、追跡し易い。なお、分離背景画像24のコントラストだけでなく元画像22の全体のコントラストを変えたものを使用して学習すれば、追跡の精度がさらに向上させることが可能である。
【0057】
さらに、実施例1では、分離背景画像24や障害物画像25をランダムに編集している。精度の高い学習には、均一に分散された十分なデータがあればよいが、ランダムに編集せずに予め準備しておく場合は面倒で手間がかかる。これに対して、実施例1では、元画像22から分離した分離背景画像24や、治療用放射線照射器11に応じて追加された障害物画像25を乱数でランダムに編集しており、均一に分散された十分な数のデータを容易に揃えることが可能である。
【0058】
一般的に、元画像の輝度変換、幾何学変換などによって学習画像数を増加させることは「データ拡張」と呼ばれる。データ拡張は、過学習(オーバーフィッティング)を防ぐために用いられる。これは、過学習により細かな特徴を学習しすぎてしまい汎化性能が落ちることを防ぐ目的である。しかし、これら線形変換は単純な変換によって元の画像に復元可能なため、せいぜい、数十倍程度までの画像増加が限界である。つまり、数百倍以上のデータ拡張には非線形変換の効果が必須になる。実施例1では、重畳画像26は、全体として非線形変換となっている。したがって、数百倍以上のデータ拡張でも汎化性能の低下はないと考えられる。
【0059】
また、実施例1では、学習を行う際に、所定の学習期間のCT画像に対して学習を行う。すなわち、空間(3次元)の要素に加えて、時間(4次元目)の要素も加わったCT画像、いわゆる4DCTに対して学習が行われる。したがって、呼吸により時間的に変動する追跡対象の位置や外形に対しても精度良く追跡可能である。
【0060】
図9は時間経過に対して追跡対象が移動する範囲の説明図であり、
図9Aは従来のテンプレート法の説明図、
図9Bは実施例1の学習方法の説明図である。
従来のテンプレート法では、
図9Aに示すように、各時刻におけるCT画像における障害物(骨)と追跡対象の位置について学習するので、全体として追跡対象が移動する範囲は、CT画像で写った範囲、すなわち、呼吸で変動する範囲でしか学習が行われない。これに対して、実施例1では、各時刻におけるCT画像において、分離背景画像24等がランダムに編集され、骨やカウチフレーム等の非追跡対象、障害物に対する追跡対象の相対位置が様々異なる状況について学習される。すなわち、骨等を基準に見ると、追跡対象が色々な位置にある状況(位置的に幅を持った状況)について学習が行われ、この学習が、各時刻に対して行われる。したがって、
図9Bに示すように、全体として追跡対象が移動する範囲は、CT画像に写った範囲を超えた範囲、すなわち、呼吸で移動する範囲を超えた範囲についても学習が行われることとなる。よって、実施例1では、学習を行う際に、相対的に骨等に対して追跡対象がずれている状況を学習するので、4DCTで取得した呼吸移動の範囲を超えた予想外の動きの状況(咳やくしゃみ)に対応することもできる。
【0061】
さらに、実施例1では、追跡精度評価部C14によって、作成された識別器の評価が行われる。したがって、実際に放射線を照射する治療を行う前に、作成された識別器の精度の評価を行うことができ、識別器の精度が十分かどうかを治療前に事前に確認することができる。そして、精度が不十分な場合には、識別器の再作成を実行することが可能である。したがって、十分な精度を有する識別器を使用して治療を行うことができ、治療の精度が向上し、不十分な識別器を使用する場合に比べて、患者が余計な放射線被曝をすることも低減できる。
【0062】
図10はEPIDにより撮像した画像を用いて治療の標的対象である腫瘍の追跡を行った場合の説明図であり、
図10Aはコリメータに追跡対象が隠れていない状態の説明図、
図10Bはコリメータに追跡対象が一部隠れた状態の説明図である。
図10において、EPIDに適用した場合、追跡対象画像特徴41に対して、コリメータ42が障害物として写り込むことがある。そして、患者の呼吸等の体動に応じて、追跡対象画像特徴41がコリメータ42に隠れていない状態(
図10A)と、一部隠れた状態(
図10B)との間で変化する場合がある。このような場合、従来のテンプレートを使用して追跡を行うと、隠れた状態で追跡対象画像特徴41の外形を推定する精度が低下する。これに対して、実施例1では、コリメータ等の障害物画像25を追加して学習しており、コリメータ42のような障害物があっても、追跡対象画像特徴41の外形を精度良く追跡することが可能であった。
【0063】
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H012)を下記に例示する。
(H01)前記実施例において、元画像や軟部組織DRR画像、骨構造DRR画像としてCT画像を使用する構成を例示したがこれに限定されない。例えば、超音波画像、MRI画像、PET画像等を使用することも可能である。すなわち、X線で撮影した画像に限定されず、MRI(Magnetic Resonance Imaging)装置や超音波検査(エコー)で撮影した画像を使用することも可能である。
また、軟部組織DRR画像と骨構造DRR画像との分離は、CT値に応じて分離する構成を例示したが、CT画像を使用しない場合は、各画像において追跡対象が写る画像と、追跡対象が写らない画像とを分離できるパラメータに対して適切な閾値を設定可能である。
【0064】
(H02)前記実施例において、画像を使用して、追跡対象(重要とする部位)として腫瘍を例示し、重要でない部位として骨やカウチフレーム等を例示したが、これに限定されない。例えば、過去の監視カメラの複数の撮影画像において、人物(重要、追跡対象)を背景(非重要、非追跡対象)に対して学習させることで、人物の追跡を行う構成とすることも可能である。
(H03)前記実施例において、教師データ(教師画像特徴27)を使用することが好ましいが、使用しない構成とすることも可能である。この場合は、重畳画像の数を増やすことで、重畳画像でほとんど同じ位置に登場するものを腫瘍(重要なもの)として、識別器を作成することが可能である。
【0065】
(H04)前記実施例において、平行移動や拡大縮小、回転、せん断、明暗の編集を行う構成を例示したがこれに限定されない。編集を行う内容(平行移動、拡縮等)を減らしたり、増やしたりすることも可能である。
(H05)前記実施例において、乱数に基づいて編集を行う構成を採用することが望ましいが、予め重畳させる画像(骨構造DRR画像相当)を準備しておく構成とすることも可能である。
(H06)前記実施例において、追跡対象(腫瘍)の領域および位置の両方を追跡する構成を例示したが、これに限定されない。例えば、領域のみまたは位置のみを追跡する構成とすることも可能である。また、領域と位置以外の要素、例えば、明るさや色等を追跡するように学習等をすることも可能である。
【0066】
(H07)前記実施例において、追跡精度を評価する機能を備えることが望ましいが、備えない構成とすることも可能である。
(H08)前記実施例において、追跡対象としての腫瘍と、障害物として骨を例示したが、これに限定されない。例えば、治療時の患者の姿勢を確認する場合には、逆に、骨を追跡対象とし、軟部組織を障害物とすることも可能である。
(H09)前記実施例において、DRR画像は、実施例に例示した投影角度に限定されず、任意の角度方向の投影を選択することが可能である。
【0067】
(H010)前記実施例において、マーカを使用せずに追跡を行う構成を例示したが、これに限定されない。マーカを埋め込んだX線画像等を使用してマーカの位置を学習して、障害物に隠れた場合でも、位置や外形を精度良く判別、追跡する構成とすることも可能である。
(H011)前記実施例において、追跡対象である腫瘍等が1つの場合について説明を行ったが、追跡対象が複数の場合にも適用可能である。例えば、教師画像として階調が2bit(2
2=4階調)以上のものを使用すれば、第1の追跡対象と第2の追跡対象で階調を変えて区別した1つの教師画像を使用して学習することで、追跡対象が複数の場合に対応可能である。すなわち、通常、教師画像とは領域分割を示すラベリングされた画像であり、画素値(階調)をラベル値としている。単なる2値化画像の場合は1ビット(0,1)で表現可能だが、複数領域をラベリングして区別するためには2ビット以上の階調が必要となる。また、例えば、2つの追跡対象のうち一方をマーカが無い追跡対象画像特徴とし、他方をマーカが埋め込まれた追跡対象画像特徴として、個別に追跡させることも可能である。
【0068】
(H012)前記実施例において、本発明の追跡対象装置を放射線治療機1に適用する構成を例示したがこれに限定されない。例えば、胆石を超音波で破砕する治療装置において、胆石の位置を追跡するために使用したり、光線力学療法(PDT : Photodynamic Therapy)で光感受性物質の追跡に使用する等、精度が必要な追跡が必要な任意の装置に適用可能である。