【実施例1】
【0018】
実施例1は、医用画像を処理する画像処理装置であって、医用画像内の複数の病変疑い領域と、病変疑い領域の複数の特徴量を表示する病変疑い情報表示部と、表示された複数の特徴量から選択された特徴量により、病変疑い領域を分類する病変疑い領域分類部と、を備える構成の画像処理装置の実施例であり、参考にする過去の医用画像の量が不十分である場合にも、高精度な病変の疑わしさの定義式の設定が可能とし、高精度な病変疑い箇所を検出することができる医用画像処理装置、及びその方法、プログラムの実施例である。
【0019】
本実施例においては、CT医用画像撮影装置により得られる再構成三次元医用画像について述べるが、本技術は他の医用画像撮影装置により得られるデータについても応用可能である。例えばMRI撮影装置等により得られるデータであっても、複数の二次元断面の積み重ねとして表現できる三次元画像を得るもので、画素分布に病変特徴が現れるとされているものであれば適用することができる。
【0020】
上述したように、本実施例における病変疑い領域とは、読影医の医学的知識や当該疾病診断に対する医学的根拠(エビデンス)等に基づいて判断される、病変の疑いが高い点、および領域、部位を指す。ここで対象となる病変とは、医用画像上に現れた場合に、周囲即ち病変の疑いが低い領域との輝度の違いや、分布の違いから判断できる可能性が高いものとする。例えば肺結節の場合は一般に、そのCT値が周辺の空気領域よりも高い画素を多く含む領域としてCT画像上に現れることが知られている。胸部CT画像上で高輝度画素を多く含む他のオブジェクトとしては、血管や骨があるが、高輝度値の分布形状に応じて、それらと区別し、病変すなわちこの例における肺結節である疑いの高さを判別できると言われている。
【0021】
図1に、本実施例に係る医用画像処理装置を含むシステム構成の一例を示す。同図に示すように本実施例のシステムは、医用画像処理装置11と、操作者の入力等を受診し医用画像処理装置11に送信する入力装置10と、医用画像処表示装置11から得られる医用画像と病変疑い情報を表示するモニタ12とから構成されている。本システム構成は、通常のコンピュータで構成可能であり、医用画像処理装置は種々の処理プログラムを実行する中央処理部(CPU)とそれらの処理プログラムやデータを記憶するメモリで実現できる。
【0022】
医用画像処理装置11は、医用画像を記憶する医用画像記憶部20と、各医用画像に対応する病変疑い情報を記憶する病変疑い情報記憶部21と、複数の医用画像と病変疑い情報を一度にモニタ12に表示する病変疑い情報表示部22と、病変疑い領域を分類する病変疑い領域分類部23と、分類した病変疑い領域について病変尤度を設定する病変尤度設定部24とから構成されている。
【0023】
図2は、病変疑い領域分類部23と病変尤度設定部24のシステム構成の一例を示す。同図の上部に示すように病変疑い領域分類部23は、入力装置10からの入力を受けて病変疑い領域分類式を定義する病変疑い領域分類式定義部30と、その式を記憶する病変疑い領域分類式記憶部31、病変疑い領域分類式に従って入力病変疑い領域を分類する病変疑い領域分類実行部32とから構成されている。
【0024】
図2の下部に示すように病変尤度設定部24は、分類された病変疑い領域の情報から、分類された群ごとに病変尤度算出式を定義する病変尤度算出式定義部33と、その式を記憶する病変尤度算出式記憶部34と、病変尤度算出式に従って入力病変疑い領域の病変尤度を算出する病変尤度算出部35とから構成されている。
【0025】
次に、
図1、
図2に示したシステム構成を持つ本実施例の医用画像処理装置による処理の流れを説明する。ここでは、システムからの入力もしくはユーザからの指示を受けた医用画像処理装置11が、病変疑い領域分類式記憶部31に病変疑い領域分類式を記憶する病変疑い領域分類式定義処理と、システムからの入力もしくはユーザからの指示を受けた医用画像処理装置11が、病変尤度算出式記憶部34に病変尤度算出式を記憶する病変尤度算出式定義処理と、に分割してそれぞれ説明する。
【0026】
まず、
図3の処理フローを用いて、病変疑い領域分類式定義処理について説明する。病変疑い情報表示部22は、システムからの入力もしくはユーザからの指示により、医用画像記憶部20と病変疑い情報記憶部21から、複数の医用画像とそれらに対応する病変疑い情報を取得し、医用画像中の病変疑い領域の複数の特徴量を各々算出し、それを直感的にわかりやすい形でモニタ12に表示する(ステップ101)。
【0027】
次に病変疑い領域分類部23の病変疑い領域分類式定義部30は、入力装置10に対するユーザからの入力により、複数の特徴量各々に対する分類の必要性の有無を取得し(ステップ102)、それを元に病変疑い領域分類式を定義し(ステップ103)、病変疑い領域分類式記憶部31に記憶する(ステップ104)。
【0028】
次に、
図4、
図5を用いて、病変疑い情報表示部22による病変疑い領域、及び特徴量の表示の方法の一例について説明する。
図4の(a)は、各病変疑い領域の輝度、同図の(b)は各病変疑い領域の大きさを特徴量として計算し、これら特徴量である輝度もしくは大きさのヒストグラムと、ヒストグラムの値に対応する代表的な病変疑い領域の画像を重畳表示したものである。
【0029】
また
図5の(a)は、各病変疑い領域と画像内の二次元位置、同図の(b)は各病変疑い領域と被検体である人体のボリュームデータ内の体軸方向位置を特徴量として計算し、人体モデルの断面画像上にそれぞれ重畳表示したものである。
図4、
図5のような表示画面により、ユーザは特徴量ごとに、どのような特徴を持つ病変疑い領域が、どのくらいの割合で存在するのかを把握することが可能となる。なお、
図4、
図5中の点線は、後で説明する病変疑い領域を分類するための閾値(thresold)を示している。
【0030】
図6は、医用画像処理装置11の病変疑い情報表示部22によるモニタ12への表示から、ユーザが分類の必要性を判断するための表示画面例を示す図である。
図6の(a)、(b)、(c)、(d)に示すように、モニタ12の表示画面上で、
図4、
図5で図示した重畳表示画像の横に、例えばチェックボックス34を表示する。そして、分類が必要と判断される特徴量には、ユーザによりユーザ入力35がなされる。病変疑い領域分類部23の病変疑い領域分類式定義部30は特徴量のチェックの有無を取得し、
図6の(e)にその一例を示す分類必要性判断表にその情報を反映することで、分類の必要の有無の情報を取得して病変疑い領域分類式を定義する。
【0031】
ここで、病変疑い領域分類式定義部30の病変疑い領域分類式について、具体例を用いて説明する。この病変疑い領域分類式は、複数の病変疑い領域を、その特徴量によって複数の群に分類するための式である。例えば、複数の病変疑い領域ROI[n](n=0〜N)が、領域の中心位置(Cx[n]、Cy[n])と半径R[n]で表すことができる場合で、
図3のステップ102において分類の必要性があると判断された特徴量が、
図6の(e) の分類必要性判断表に示すように画像内の二次元位置である場合で、病変疑い領域をG0とG1の二つの群に分類する場合について述べる。
【0032】
図7にこの場合に定義され、病変疑い領域分類式記憶部31に記憶される病変疑い領域分類式の一例を式1として示した。この式1は、二次元画像内の縦軸が画像下に向かって増加する場合で、病変疑い領域分類実行部32が、画像内で中心位置が閾値(threshold)より上にある病変疑い領域はG0に、閾値(thresold)と同じまたは下にある病変疑い領域はG1に分類することを意味する。この閾値は事前に決めておいてもよいし、病変疑い領域から算出する特徴量(ここではCx[n])の平均値や中央値、もしくは判別分析法などの手法で自動的に求めてもよいし、ユーザが調整して決定するものとしてもよい。
図4、5では閾値を点線で示しているが、この点線をユーザが画面上で動かせるようなユーザインタフェース(UI)にしておけば、ユーザがモニタ12の表示画面を使って簡便に調整することができる。
【0033】
次に、
図8を用いて、病変尤度設定部24の病変尤度算出式定義部33における病変尤度算出式定義処理について説明する。医用画像処理装置11は、システムからの入力もしくはユーザからの指示により、病変疑い情報記憶部21と医用画像記憶部20とから、一つ以上の病変疑い領域とその領域に対応する医用画像を取得して、画像情報付き病変疑い領域を生成する(ステップ201)。
【0034】
病変疑い領域分類実行部32は、
図7に示したような病変疑い領域分類式に従って、これらの医用画像情報付き病変疑い領域を複数の群に分類する(ステップ202)。
【0035】
次に病変尤度算出式定義部33は、群に分類された医用画像情報付き病変疑い領域について画像特徴を示す特徴量を把握し, 分類された群ごとに病変尤度算出式を定義し(ステップ203),病変尤度算出式記憶部32に記憶する(ステップ204)。
【0036】
病変尤度算出式定義部33が定義する病変尤度算出式について、具体例を用いて説明する。病変尤度算出式は、予め病変尤度が判明している病変疑い領域を用いて、病変疑い領域分類処理にて分類された複数の群ごとに、疑い領域の病変尤度Lprev[n]を算出する式である。複数の病変疑い領域ROI[n]が、G0、G1の二つの群に分類されている場合で、群G0について説明する。
【0037】
ここでG0に分類された病変疑い領域をROI_0[n(0〜N_0)]とし、ROI_0[n]は予め病変尤度が判明しており、その確定病変尤度L[n]は0か1かの2値で表されている場合とする。確定病変尤度L[n]は、L[n]=1が医師の診断により病変であった病変疑い領域、L[n]=0がそれ以外、即ち病変ではなかった病変疑い領域を表す。
【0038】
図9にこの場合の病変尤度算出式の一例を式2として示す。式2でπは円周率、R[n]は病変疑い領域ROI[n]の半径、P[n]は病変疑い領域ROI[n]の平均輝度、AmaxはROI[n]がとり得る面積の最大値、PmaxはROI[n]がとり得る平均輝度の最大値を示す。この式2に従うと、病変疑い領域は、面積が大きく、輝度が高い方が病変らしいという結果となる。
【0039】
この式2では病変尤度Lprev[n]は連続値を取るが、閾値を用いて多値化したものを最終的な病変尤度とすることもできる。ここでは説明のため、単純な病変尤度算出式を例に挙げたが、この式の設計は所謂ルールベースにより、真に病変であった病変尤度疑い領域とそうでなかった病変尤度疑い領域の特徴量等の違いを判断し、それぞれのとり得る範囲から人手で設計することもできるし、SVM(Support Vector Machine)やDeepLearning等、機械学習を用いて設計することもできる。
【0040】
以上説明した医用画像処理装置11の処理により、参考にする過去の画像の量が不十分である場合にも、高精度な病変の疑わしさの定義式すなわち、病変尤度算出式の設定が可能になる。
【0041】
次に、
図10の病変尤度算出処理フローを用いて、こうして設定され、病変尤度算出式記憶部34に記憶された病変尤度算出式により病変尤度を算出する場合の処理、すなわちシステムからの入力もしくはユーザからの指示を受けた医用画像処理装置11が、病変尤度設定部24により病変尤度を算出する病変尤度算出処理について説明する。
【0042】
医用画像処理装置11は、システムからの入力もしくはユーザからの指示により、病変疑い情報記憶部21と医用画像記憶部20とから、処理対象となる病変疑い領域とその領域に対応する医用画像を取得して、画像情報付き病変疑い領域とする(ステップ301)。
【0043】
次に病変疑い領域分類実行部32が、あらかじめ設定された医用画像分類式に従って、処理対象の画像情報付き病変疑い領域が属する郡を決定する(ステップ302)。
【0044】
次に病変尤度算出部35は、画像情報付き病変疑い領域が所属する群に対応する病変尤度算出式に従い、病変尤度を算出する(ステップ303)。なお、
図9に例示した病変尤度算出式は、病変疑い領域分類部23で分類する群の数だけ存在する。ステップ303では、これら複数の算出式により得られる複数の病変尤度を、論理和もしくは論理積等により1つの病変尤度とした後に出力するものとする。
【0045】
ここで、上述した本実施例の医用画像処理装置11を利用することで解決される課題の具体例について説明する。まず、
図11を用いて、現状の医用画像処理装置に発生する課題を説明する。
【0046】
同図において、丸や三角、四角などの図形は、学習データや評価データの病変疑い領域を模式的に示している。
図11の(a)に示す学習データにおいて、点線の丸で示す病変疑い領域が,真に病変である領域とする。この学習データにおいて点線の丸で示された領域とそうでない領域の違いを考えると、“形状は丸で、色は黒”である領域のみが、真に病変であると捉えることができる。従って、形状は丸で、色は黒である領域の結節尤度が高い領域であるとする式が設計されると考えられる。
【0047】
この病変尤度算出式を用い、
図11の(b)に示す評価データの病変尤度を算出した場合、“形状は丸で色は黒”となる領域の病変尤度が高いという結果となる。この結果を、識別器による評価として示す。一方で、医師による評価として示した図は、同じ評価データを医師が評価した場合を想定した結果である。このように、識別器による評価とは結果が異なり、“形状は丸で色は黒”以外の領域にも点線の丸で示される領域がある。このように、現状の技術では、学習データのバリエーションが十分でない場合、結節の特徴を正しく捉えた病変尤度算出式が設計できない可能性が高い。
【0048】
次に
図12を用い、本実施例の医用画像処理装置11を利用した場合について説明する。
図12の(a)、(b)は、
図11の場合と同じ学習データ、評価データを用いているものとする。また、ここで説明する例は、
図7の式1で説明した病変疑い領域分類式を用いるものとする。
図12の(a)の学習データにある点線は、
図7で説明した閾値(thresold)を示す。従って、G0は閾値より上の病変疑い領域の集合、G1は閾値より下の病変疑い領域の集合となる。G0、G1それぞれに病変尤度算出式を設計すると、G0の場合は“形状が丸”、G1の場合は“色は黒”の病変疑い領域の病変尤度が高いという結果となると考えられる。
【0049】
ここで、G0により設計された病変尤度算出式を用いる病変尤度算出部35を識別器0、G1により設計された病変尤度算出式を用いる病変尤度算出部35を識別器1とする。
図12の(b)の左部に識別部0、識別器1それぞれで想定される評価データに対する評価結果を示す。ここでは、複数の識別器による結果の論理和を、最終的な出力とする。最終的な識別結果を
図12の(b)の右部に示す。こうして、本実施例の医用画像処理装置により、病変疑い領域の画像内二次元位置、ここでは画像の上部と下部とで別の病変尤度算出式を設定すべきというユーザの知見を取り入れることで、ユーザによる識別結果と一致する精度の高い識別結果を取得することができる。
【0050】
以上詳述した実施例1の医用画像処理装置によれば、病変疑い陰影の自動検出において、病変であると既に診断を受けている過去の画像の情報を参考にする場合に,参考にする過去の画像の量が不十分である場合にも、高精度な病変の疑わしさの定義式の設定が可能な医用画像処理装置、方法、及びプログラムを提供することができる。特に、従来の技術による定義式の設定では病変の検出率が低い場合、例えば放射線科医が読影した場合の結節検出率6割程度を下回る場合に有効な技術を提供することができる。
【0051】
実施例1の医用画像処理装置11の処理技術は、CADの稼動前に精度の初期調整として利用することもできる。この場合、病変疑い領域分類式および病変尤度算出式は、経験的に妥当と考えられる精度に予め設定しておき、CAD納入時に、そのときの利用者のニーズや施設の読影方針等に応じて調整するという使い方を想定している。初期値となる病変疑い領域分類式および病変尤度算出式の設定方法は、手動で式を設定することもできるし、利用可能な医用画像データベースを用いて、病変疑い領域分類式定義処理および病変尤度算出式定義処理を実行して設定することもできる。
【0052】
ここで調整前、即ち出荷時に設定する病変疑い領域分類式定義処理および病変尤度算出式定義処理は、納入先の施設にて取得された医用画像データベースを用いて実施することもできるし、もしくは納入先の施設に近い読影方針を持つ別の施設にて取得された医用画像データベースの利用が可能であれば、それを利用してもよい。もしくは、納入先の施設に近い読影方針を持つ別の施設にて調整された結果、病変疑い領域分類式およびの病変尤度算出式を利用することとしてもよい。
【0053】
このように上述してきた処理技術を初期調整として利用する場合、確信度の提示や調整に用いられる医用画像としては、過去に撮影された臨床データを利用することができる。この場合、病変疑い領域情報の種類によって予め分類しておき、確信度算出式に用いる特徴量が顕著に異なるような病変疑い陰影を示すことで、より効率的な調整が行うことも可能である。もしくは、ここで用いる医用画像は、必ずしも実際の臨床画像でなくてもよく、例えば人体に近い形状と素材を持つファントムを撮影したファントムデータを用いることや、臨床画像から模擬的に病変疑い位置を複製・生成した模擬データを利用することもできる。
【0054】
また、CADの稼動前の初期調整のみではなく、CAD稼働中に、随時実施する調整に利用することも可能である。上記のように初期調整を実施する場合、利用するデータとしては過去画像、ファントム画像、模擬画像等を利用するが、稼働中に随時実施する調整に利用する場合、当該施設の撮影装置や撮影方針に従って撮影した画像を用いた調整が可能となり、よりユーザの希望に近い精度での検出が可能になるという効果がある。
【0055】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。先に述べたように、本発明はCT医用画像撮影装置により得られる再構成三次元医用画像のみならず、MRI撮影装置等により得られ他の医用画像データに対しても応用可能である。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。実施例1には、医用画像処理装置11に医用画像撮影装置(図示せず)を含まなかったが、医用画像処理装置11は医用画像撮影装置を含んでもよく、また医用画像処理装置11は医用画像撮影装置の一部として機能してもよい。
【0056】
更に、上述した各構成、機能、医用画像処理装置等は、それらの一部又は全部を実現する処理プログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。すなわち、画像処理装置の全部または一部の機能は、プログラムに代え、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などの集積回路などにより実現してもよい。
【0057】
以上詳述した明細書の記載から明らかなように、本明細書中には特許請求の範囲に規定した発明以外に、数多くの発明が含まれている。それらの一部を下記に列記する。
【0058】
[列記1]
画像処理装置により医用画像を処理する画像処理方法であって、
前記画像処理装置は、
前記医用画像内の複数の病変疑い領域と、前記病変疑い領域の複数の特徴量をモニタに表示し、
表示された前記複数の特徴量から選択された特徴量により、前記病変疑い領域を分類し、
前記特徴量は、前記病変疑い領域の輝度と大きさを含む、
ことを特徴とする画像処理方法。
【0059】
[列記2]
列記1に記載の画像処理方法であって、
前記画像処理装置は、
前記モニタに前記特徴量のヒストグラムを表示する、
ことを特徴とする画像処理方法。
【0060】
[列記3]
列記1に記載の画像処理方法であって、
前記特徴量は、前記病変疑い領域の前記医用画像内の二次元位置を含む、
ことを特徴とする画像処理方法。
【0061】
[列記4]
列記1に記載の画像処理方法であって、
前記特徴量は、前記病変疑い領域のボリュームデータ内の被検体の体軸方向位置を含む、
ことを特徴とする画像処理方法。
【0062】
[列記5]
画像処理装置に医用画像を処理させる画像処理プログラムであって、
前記画像処理装置が、
前記医用画像内の複数の病変疑い領域と、前記病変疑い領域の複数の特徴量をモニタに表示し、
表示された前記複数の特徴量から選択された特徴量により、前記病変疑い領域を分類する、よう動作させ、
前記特徴量に、前記病変疑い領域の輝度と大きさを含む、
ことを特徴とする画像処理プログラム。
【0063】
[列記6]
列記5に記載の画像処理プログラムであって、
前記画像処理装置が、
前記モニタに前記特徴量のヒストグラムを表示する、よう動作させる、
ことを特徴とする画像処理プログラム。
【0064】
[列記7]
列記5に記載の画像処理プログラムであって、
前記特徴量は、前記病変疑い領域の前記医用画像内の二次元位置を含む、
ことを特徴とする画像処理プログラム。
【0065】
[列記8]
列記5に記載の画像処理プログラムであって、
前記特徴量は、前記病変疑い領域のボリュームデータ内の被検体の体軸方向位置を含む、
ことを特徴とする画像処理プログラム。
【0066】
[列記8]
列記5に記載の画像処理プログラムであって、
前記画像処理装置が、
分類された前記病変疑い領域の群ごとに、当該群に属する前記病変疑い領域の病変尤度を算出する、よう動作させる
ことを特徴とする画像処理プログラム。
【0067】
[列記9]
列記8に記載の画像処理プログラムであって、
前記画像処理装置が、
選択された前記特徴量を用いて病変疑い領域分類式を定義し、当該病変疑い領域分類式に基づき、複数の前記病変疑い領域を前記群に分類する、よう動作させる
ことを特徴とする画像処理プログラム。
【0068】
[列記10]
列記8に記載の画像処理プログラムであって、
前記画像処理装置が、、
前記群に分類された前記病変疑い領域の前記特徴量に基づき、前記群ごとに病変尤度算出式を定義し、当該病変尤度算出式に基づき、前記病変疑い領域の病変尤度を算出する、よう動作させる
ことを特徴とする画像処理プログラム。