(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-09
(45)【発行日】2022-09-20
(54)【発明の名称】画像処理装置、医用画像診断装置、及びプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20220912BHJP
G06T 7/00 20170101ALI20220912BHJP
【ＦＩ】
A61B6/03 360J
A61B6/03 360D
A61B6/03 360T
G06T7/00 612
【請求項の数】
13
(21)【出願番号】P 2021063994
(22)【出願日】2021-04-05
(62)【分割の表示】P 2017129423の分割
【原出願日】2017-06-30
(65)【公開番号】P2021106901
(43)【公開日】2021-07-29
【審査請求日】2021-04-05
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】谷口 敦司
(72)【発明者】
【氏名】岡崎 智也
(72)【発明者】
【氏名】田口 安則
【審査官】遠藤 直恵
(56)【参考文献】
【文献】国際公開第２０１７／０８６４３３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００－６／１４、５／０５５、８／００－８／１５
Ｇ０６Ｔ ７／００ー７／９０
(57)【特許請求の範囲】
【請求項1】
医用画像データを取得する画像取得部と、前記医用画像データに基づく医用画像に含まれる要素が体内の物質及び構造に対応する分類項目のうち少なくともいずれかに分類される尤もらしさを表す複数の尤度値を、前記医用画像の画素毎に取得する尤度取得部と、
前記複数の尤度値を用いて複数の特徴量を算出する特徴量算出部と、
前記複数の特徴量を用いて病変、体組織又は臓器の領域を識別する識別部と、
を具備し、
前記特徴量算出部は、前記画素毎に取得された前記複数の尤度値と予め設定した重み係数を掛け合わせることにより前記複数の特徴量を算出し、前記複数の特徴量を画像全体にわたって足し合わせることで、１つの画像に対して１つの特徴ベクトルを生成し、
前記識別部は、前記特徴ベクトルを用いて、病変、体組織、又は臓器に対応するテクスチャパターンを識別し、
前記体内の物質及び構造は、識別したいテクスチャパターンに含まれる物質又は構造である、
画像処理装置。
【請求項2】
前記尤度取得部は、前記画素の画素値に応じて前記尤度値を取得する請求項１に記載の画像処理装置。
【請求項3】
前記尤度取得部は、各画素、及びその画素の周囲の画素の画素値に応じて前記尤度値を取得する請求項２に記載の画像処理装置。
【請求項4】
前記尤度取得部は、前記各画素と、その画素の周囲の画素との間の距離を複数設定し、前記距離毎に、前記各画素と、その画素の周囲の画素の画素値に応じて前記尤度値を取得する請求項３に記載の画像処理装置。
【請求項5】
前記尤度取得部は、前記画素値と対応している、体内の物質及び構造の頻度分布に基づいて前記尤度値を取得する請求項２乃至４のいずれかに記載の画像処理装置。
【請求項6】
前記頻度分布は、一次元ヒストグラム、又は多次元共起ヒストグラムを含む請求項５記載の画像処理装置。
【請求項7】
前記医用画像は、ＣＴ画像を含む請求項１乃至６のいずれかに記載の画像処理装置。
【請求項8】
前記体内の物質は、ＣＴ画像の画素値に基づいて分類可能な、空気、ガス、脂肪組織、水、軟組織、及び石灰化組織のうち少なくともいずれかを含む請求項７に記載の画像処理装置。
【請求項9】
前記体内の構造は、体組織の塊構造、管又は線構造、及び、板又は膜構造のうち少なくともいずれかを含む請求項１乃至８のいずれかに記載の画像処理装置。
【請求項10】
前記医用画像は、肺を撮像した画像を含む請求項７記載の画像処理装置。
【請求項11】
前記体内の物質は、空気、肺実質、すりガラス陰影、充実性陰影、血管、及び結節のうち少なくともいずれかを含む請求項１０記載の画像処理装置。
【請求項12】
医用画像データを取得する撮影部と、前記医用画像データに基づく医用画像に含まれる要素が体内の物質及び構造に対応する分類項目のうち少なくともいずれかに分類される尤もらしさを表す複数の尤度値を、前記医用画像の画素毎に取得する尤度取得部と、
前記複数の尤度値を用いて複数の特徴量を算出する特徴量算出部と、
前記複数の特徴量を用いて病変、体組織又は臓器の領域を識別する識別部と、
を具備し、
前記特徴量算出部は、前記画素毎に取得された前記複数の尤度値と予め設定した重み係数を掛け合わせることにより前記複数の特徴量を算出し、前記複数の特徴量を画像全体にわたって足し合わせることで、１つの画像に対して１つの特徴ベクトルを生成し、
前記識別部は、前記特徴ベクトルを用いて、病変、体組織、又は臓器に対応するテクスチャパターンを識別し、
前記体内の物質及び構造は、識別したいテクスチャパターンに含まれる物質又は構造である、
医用画像診断装置。
【請求項13】
医用画像データを取得する処理と、前記医用画像データに基づく医用画像に含まれる要素が体内の物質及び構造に対応する分類項目のうち少なくともいずれかに分類される尤もらしさを表す複数の尤度値を、前記医用画像の画素毎に取得する処理と、
前記複数の尤度値を用いて複数の特徴量を算出する処理と、
前記複数の特徴量を用いて、病変、体組織、又は臓器に対応するテクスチャパターンを識別することにより、病変、体組織又は臓器の領域を識別する処理と、
をプロセッサに実行させるプログラムであって、
前記特徴量を算出する処理は、前記画素毎に取得された前記複数の尤度値と予め設定した重み係数を掛け合わせることにより前記複数の特徴量を算出し、前記複数の特徴量を画像全体にわたって足し合わせることで、１つの画像に対して１つの特徴ベクトルを生成し、
前記識別する処理は、前記特徴ベクトルを用いて、病変、体組織、又は臓器に対応するテクスチャパターンを識別し、
前記体内の物質及び構造は、識別したいテクスチャパターンに含まれる物質又は構造である、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、医用画像診断装置、及びプログラムに関する。
【背景技術】
【0002】
Ｘ線ＣＴ（Computed Tomography）装置等の医用画像診断装置によって収集された画像のテクスチャパターンを自動で識別する技術が知られている。この種の技術は、ＣＴ画像上で特徴的なテクスチャパターンを示す、例えば、びまん性肺疾患等の疾患の診断に有用である（例えば、非特許文献１参照。）。そのため、この種の技術は、所定の疾患等の診断への活用が期待されている。
【0003】
ところで、医師は、患者のＣＴ画像から特徴的なテクスチャパターンを抽出することで読影を行う。近年のＸ線ＣＴ装置の高精細化等に伴い、病変の詳細な読影が可能とはなってはいるものの、目視での読影は医師にとって負担が大きい。また、特徴的なテクスチャパターンを抽出するには経験が必要なため、医師によって診断結果にばらつきが生じる場合がある。
【0004】
このような問題を解決するため、コンピュータ支援診断が近年注目されている。例えば、ＣＴ画像の肺野に属する関心領域から特徴量を抽出し、抽出した特徴量に基づいて機械学習によってテクスチャパターンを自動で識別する方法が知られている。識別精度を向上させるためには、特徴抽出方法の設計が重要である。しかしながら、従来はＣＴ画像から直接特徴量を抽出しているため、識別に有効な特徴量を抽出することが難しく、識別制度を向上させることが困難な場合があった。
【先行技術文献】
【特許文献】
【0005】
【文献】米国特許第７２３６６１９号明細書
【非特許文献】
【0006】
【文献】D. M. Hansell著、「Fleischner Society: glossary of terms for thoracic imaging」、Radiology、Ｖｏｌ．２４６、Ｎｏ．３、ｐ．６９７－７２２、２００８年
【文献】V. Lepetit著、「Keypoint Recognition using Randomized Trees」、IEEE Transactions on Pattern Analysis and Machine Intelligence、Ｖｏｌ．２８、Ｎｏ．９、ｐ．１４６５－１４７９、２００６年
【文献】A. F. Frangi著、「Multiscale Vessel Enhancement Filtering」、Medical Image Computing and Computer-Assisted Intervention (MICCAI)、LNCS、ｖｏｌ．１４９６、ｐ．１３０－１３７、１９９８年
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、目的は、医用画像のテクスチャパターンの識別精度を向上させることである。
【課題を解決するための手段】
【0008】
実施形態によれば、画像処理装置は、画像取得部、尤度取得部、及び特徴量算出部を具備する。画像取得部は、医用画像データを取得する。尤度取得部は、前記医用画像データに基づく医用画像に含まれる要素が体内の物質及び構造に対応する分類項目のうち少なくともいずれかに分類される尤もらしさを表す複数の尤度値を、前記医用画像の画素毎に取得する。特徴量算出部は、前記複数の尤度値を用いて複数の特徴量を算出する。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、実施の形態について、図面を参照して説明する。
【0011】
図１は、本実施形態に係る画像処理装置１０を含む医用情報システム１の例を示す図である。図１に示される医用情報システム１は、画像処理装置１０、医用画像診断装置２０、及び画像保管装置３０を具備する。画像処理装置１０、医用画像診断装置２０、及び画像保管装置３０は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）により、直接的、又は間接的に相互に通信可能に接続されている。例えば、画像保管装置３０がＰＡＣＳ（Picture Archiving and Communication System）を構成する場合、画像処理装置１０、医用画像診断装置２０、及び画像保管装置３０は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、例えば、医用画像データを相互に送受信する。
【0012】
医用画像診断装置２０は、被検体を撮影することにより医用画像データを発生する装置である。医用画像診断装置２０は、例えば、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ－ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ－ＣＴ装置、ＰＥＴ装置とＭＲＩ装置とが一体化されたＰＥＴ－ＭＲＩ装置、又はこれらの装置群等である。
【0013】
画像保管装置３０は、医用画像データを保管するデータベースである。画像保管装置３０は、例えば、画像処理装置１０、及び医用画像診断装置２０で発生された医用画像データを、内部に設けられている記憶回路に記憶する。
【0014】
画像処理装置１０は、医用画像診断装置２０で発生された医用画像データ、及び画像保管装置３０から読み出された医用画像データに対して画像処理を施す装置である。図２は、本実施形態に係る画像処理装置１０の機能構成の例を示す図である。図２に示される画像処理装置１０は、処理回路１１、入力インタフェース１２、出力インタフェース１３、通信インタフェース１４、及び記憶回路１５を有する。
【0015】
処理回路１１は、画像処理装置１０の中枢として機能するプロセッサである。処理回路１１は、記憶回路１５に記憶されているプログラムを実行することで、実行したプログラムに対応する機能を実現する。なお、処理回路１１は、記憶回路１５で記憶されているデータの少なくとも一部を記憶する記憶領域を備えても構わない。
【0016】
入力インタフェース１２は、画像処理装置１０に対して操作者から入力される各種操作を受け付ける。入力インタフェース１２は、例えば、マウス、キーボード、及び操作面へ触れることで指示が入力されるタッチパネル等により実現される。入力インタフェース１２は、処理回路１１に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を処理回路１１へ出力する。なお、本明細書において入力インタフェース１２はマウス、及びキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、画像処理装置１０とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を受け取り、この電気信号を処理回路１１へ出力する電気信号の処理回路も入力インタフェース１２の例に含まれる。
【0017】
出力インタフェース１３は、処理回路１１に接続され、処理回路１１から供給される信号を出力する。出力インタフェース１３は、例えば、表示回路であり、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、及びプラズマディスプレイ等により実現される。表示回路は、例えば、医用画像データに基づく医用画像を表示する。なお、表示対象を表すデータをビデオ信号に変換し、ビデオ信号を外部へ出力する処理回路も出力インタフェース１３に含まれる。
【0018】
通信インタフェース１４は、例えば、病院内ネットワークと接続する。通信インタフェース１４は、例えば、病院内ネットワークを介して医用画像診断装置２０、及び画像保管装置３０から、医用画像データを受信する。
【0019】
記憶回路１５は、磁気的、若しくは光学的記録媒体、又は半導体メモリ等の、プロセッサにより読み取り可能な記録媒体等を含む。また、記憶回路１５は、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であっても良い。なお、記憶回路１５は、必ずしも単一の記憶装置により実現される必要は無い。例えば、記憶回路１５は、複数の記憶装置により実現されても構わない。
【0020】
記憶回路１５は、処理回路１１からの制御に応じ、受信したデータを記憶する。例えば、記憶回路１５は、医用画像診断装置２０、及び画像保管装置３０から出力された医用画像データを記憶する。
【0021】
また、記憶回路１５は、処理回路１１からの制御に応じ、記憶しているデータを読み出す。例えば、記憶回路１５は、処理回路１１からの制御に応じ、記憶している医用画像データを読み出す。また、例えば、記憶回路１５は、本実施形態に係るプログラムを記憶している。記憶回路１５は、処理回路１１からの制御に応じ、記憶しているプログラムを読み出す。また、記憶回路１５は、例えば、体内の物質及び構造の頻度分布に関するデータ、決定木学習に関するデータ、構造強調フィルタに関するデータ、並びに、重み係数に関するデータ等を記憶している。記憶回路１５は、処理回路１１からの制御に応じ、記憶している各種データを読み出す。
【0022】
本実施形態に係る処理回路１１は、本実施形態に係るプログラムを実行することにより、医用画像に含まれる要素が所定の構成に対応する分類項目に分類される尤もらしさを用いて特徴量を算出する。具体的には、処理回路１１は、記憶回路１５に記憶されるプログラムを実行することで、画像取得機能１１０、尤度取得機能１１１、及び特徴量算出機能１１２を有する。
【0023】
画像取得機能１１０は、所望の医用画像データを取得する機能である。例えば、画像取得機能１１０を実行すると処理回路１１は、記憶回路１５に記憶されている医用画像データを読み出す。なお、画像取得機能１１０は、医用画像診断装置２０、及び画像保管装置３０から、所望の医用画像データを取得するようにしても構わない。
尤度取得機能１１１は、医用画像に含まれる要素が所定の構成に対応する分類項目に分類される尤もらしさを表す尤度を取得する機能である。例えば、尤度取得機能１１１を実行すると、処理回路１１は、医用画像の各画素についてＮ個の尤度値を取得することで、多チャンネルの画像を生成する。図３は、本実施形態に係わる処理回路１１の動作を模式的に説明する図である。図３によれば、処理回路１１は、医用画像の各画素について尤度値を取得することで、尤度１～尤度Ｎの尤度画像を発生する。
尤度取得機能１１１は、医用画像に含まれる要素が所定の構成に対応する分類項目に分類される尤もらしさを表す尤度を取得する機能である。例えば、尤度取得機能１１１を実行すると、処理回路１１は、医用画像の各画素についてＮ個の尤度値を取得することで、多チャンネルの画像を生成する。図３は、本実施形態に係わる処理回路１１の動作を模式的に説明する図である。図３によれば、処理回路１１は、医用画像の各画素について尤度値を取得することで、尤度１～尤度Ｎの尤度画像を発生する。
【0024】
特徴量算出機能１１２は、尤度取得機能１１１で取得された尤度値に基づいて特徴量を算出する機能である。例えば、特徴量算出機能１１２を実行すると、処理回路１１は、取得された複数の尤度値を用いて複数の特徴量を算出し、算出した複数の特徴量から特徴ベクトルを生成する。図３によれば、処理回路１１は、尤度１～尤度Ｎの尤度画像に基づき、特徴ベクトルを生成する。
【0025】
次に、図２に示される尤度取得機能１１１の処理について具体的に説明する。なお、以下では、医用画像診断装置２０がＣＴ画像データを発生するＸ線ＣＴ装置であり、画像処理装置１０が、医用画像データとして、医用画像診断装置２０で発生されたＣＴ画像データを受信する場合を例に説明する。
【0026】
まず、Ｘ線ＣＴ装置である医用画像診断装置２０は、被検体の撮像領域をＸ線で撮像する。具体的には、医用画像診断装置２０は、Ｘ線管とＸ線検出器とが取り付けられた回転フレームを回転しながら、Ｘ線管からＸ線を発生する。Ｘ線検出器は、Ｘ線管から発生され被検体を透過したＸ線を検出する。医用画像診断装置２０は、Ｘ線検出器により検出されたＸ線に応じた生データを、データ収集回路（Data Acquisition System：ＤＡＳ）により収集し、収集された生データに基づいてＣＴ画像データを画像再構成装置により再構成する。
【0027】
本実施形態に係るＣＴ画像データは、ＣＴ値の２次元の空間分布を示すスライス画像を表すデータであるとする。スライス画像は、２次元状に配列された複数のピクセルにより構成される。各ピクセルにはＣＴ値が割り当てられる。また、ＣＴ画像データに基づくＣＴ画像は、対象臓器全体を撮像した画像でもよく、注目する局所領域に限定した画像であってもよい。なお、ＣＴ画像データは、ＣＴ値の３次元の空間分布を示すボリューム画像を表すデータであっても構わない。ボリューム画像は、３次元状に配列された複数のボクセルにより構成される。各ボクセルにはＣＴ値が割り当てられる。
【0028】
医用画像診断装置２０は、発生したＣＴ画像データを、病院内ネットワークを介して画像処理装置１０へ送信する。画像処理装置１０は、医用画像診断装置２０から送信されたＣＴ画像データを受信すると、受信したＣＴ画像データを記憶回路１５に記憶する。
【0029】
画像処理装置１０の処理回路１１は、例えば、入力インタフェース１２を介して操作者から画像処理の開始指示が入力されると、画像取得機能１１０を実行する。画像取得機能１１０を実行すると処理回路１１は、記憶回路１５から操作者が所望するＣＴ画像データを読み出す。処理回路１１は、ＣＴ画像データが読み出されると、尤度取得機能１１１を実行する。尤度取得機能１１１を実行すると処理回路１１は、ＣＴ画像データに含まれる画素の画素値（輝度値）に基づき、その画素で表される体内の物質、及び構造それぞれについて尤度値を取得する。
【0030】
具体的には、例えば、処理回路１１は、体内の物質、及び構造の頻度分布を表す一次元ヒストグラムを用いて尤度値を取得する。図４は、図２に示される尤度取得機能１１１により尤度値が取得される処理の例を模式的に示す図である。図４は、肺野に属する関心領域についてのＣＴ画像に関し、尤度値を算出する場合を例に説明している。
【0031】
ＣＴ画像の画素値は、空気－１０００ＨＵ、水０ＨＵを基準として体内の物質及び構造毎に設定されるヒストグラムにおける特定の範囲に分布する。特に、空気は－９５０ＨＵ以下、肺野（肺実質）は－９５０ＨＵ～－８５０ＨＵ、すりガラス状構造は－８５０ＨＵ～－３００ＨＵ、血管等は－３００ＨＵ以上の範囲に分布する場合が多い。テクスチャパターンの画素値も疾患の種類によって変化するため、画素値がどの範囲に分布しているかは識別において重要な特徴である。
【0032】
記憶回路１５は、図４に示されるようなヒストグラムを予め記憶している。処理回路１１は、記憶回路１５からヒストグラムを読み出し、読み出したヒストグラムに基づき、一つの画素値から４つの尤度値を算出する。具体的には、図４に示される４つの物質の分布はそれぞれ確率密度関数ｐ（Ｉ（ｘ）｜ｃｋ），（ｋ＝１：空気、２：肺実質、３：すりガラス状構造、４：血管等）であることから、画素位置ｘにおける画素値をＩ（ｘ）とすると、ベイズの定理を用いて事後確率を以下のように算出できる。
【0033】
【数1】
【0034】
ここで、ｐ（ｃｋ）は事前確率を表し、一様（＝１／４）としてもよい。処理回路１１は、式（１）により求められる、画素値がそれぞれの分布に属する確率（０～１）を、尤度値として用いる。処理回路１１は、例えば、式（１）に示される計算を、ＣＴ画像データに含まれる全ての画素に対して実施し、画素毎に複数の尤度値を取得する。
【0035】
また、例えば、処理回路１１は、二次元共起ヒストグラムを用いて尤度値を取得しても構わない。式（１）の尤度値は、一つの画素値から計算されているため、空間的な情報を含んでいない。そのため、テクスチャパターンの形状を表現することが困難な場合がある。そこで、空間的に近い位置にある画素値ペアの共起ヒストグラムを用いるようにしてもよい。
【0036】
図５は、共起ヒストグラムを用いて尤度値を取得する処理の例を模式的に示す図である。図５は、肺野に属する関心領域についてのＣＴ画像に関し、尤度値を算出する場合を例に説明している。記憶回路１５は、図５に示されるような共起ヒストグラムを予め記憶している。処理回路１１は、尤度取得機能１１１において、記憶回路１５から共起ヒストグラムを読み出し、読み出した共起ヒストグラムに基づき、一つの画素値から複数の尤度値を算出する。具体的には、処理回路１１は、画素位置ｘにおける画素値をＩ（ｘ）とし、ｘから距離ｒだけ離れた位置ｙにおける画素値をＩ（ｙ）として同時確率密度関数ｐ（Ｉ（ｘ），Ｉ（ｙ）｜ｃｋ，ｒ），（ｋ＝１：空気、２：肺実質、３：すりガラス状構造、４：血管等）を求める。そして、処理回路１１は、式（２）に示されるように事後確率を算出し、算出した事後確率を尤度値として用いる。
【0037】
【数2】
【0038】
なおｒ＝０の場合、ｘ＝ｙとなるため、式（２）により求められる事後確率は、式（１）により求められる事後確率と同値となる。ここで、画素位置ｙには複数の候補が考えられるが、例えば、図６に示されるように、ｘから同一距離にある円周上の点から取得した複数の尤度値の平均値を用いるとよい。図５では、ｒをパラメータ（ｒ＝１～５）として算出した結果例が示されている。距離ｒ毎に４つの尤度値が取得でき、ｒ＝１～５の５つのｒを全て用いた場合、取得される尤度値の数は、合計２０（＝４×５）個となる。処理回路１１は、例えば、式（２）に示される計算を、ＣＴ画像データに含まれる全ての画素に対して実施し、画素毎に複数の尤度値を取得する。
【0039】
複数の距離を用いることで、異なるスケールの構造を捉えることが可能となる。また、空間的な情報を加味しながら、テクスチャパターンの形状を識別することが可能となる。なお、処理回路１１は、二次元共起ヒストグラムを用いた処理を、３つ以上の画素値を用いた多次元共起ヒストグラムを用いた処理へ拡張することも可能である。
【0040】
また、例えば、処理回路１１は、決定木学習を用いて尤度値を取得しても構わない。図７は、決定木学習を用いて尤度値を取得する処理の例を模式的に示す図である。図７は、肺野に属する関心領域についてのＣＴ画像に関し、尤度値を算出する場合を例に説明している。図７によれば、処理回路１１は、決定木の末端ノードで設定されている頻度分布に基づいて尤度値を決定する（例えば、非特許文献２参照）。
【0041】
具体的には、例えば、図７に示されるような、所定の広さの局所領域内におけるランダムな２点の画素間の画素値差の大小関係に基づいて分岐を行う木構造を予め複数（Ｍ個）学習しておく。入力する領域として、例えば、空気、肺実質、すりガラス、及び血管の４つのパターンを用いれば、末端ノードに到達した学習サンプルの頻度分布により、空気、肺実質、すりガラス、及び血管についての尤度を算出することが可能となる。なお、局所領域は複数の広さが設定されており、木構造は設定されている広さの局所領域毎に学習されている。木構造学習についての情報は、記憶回路１５に記憶されている。
【0042】
処理回路１１は、尤度取得機能１１１において、所定の広さの局所領域が入力されると、学習済みの決定木に従って領域内のランダムな２点の画素ペアを選択する。処理回路１１は、局所領域内における２点の画素の大小関係に基づく分岐を繰り返し、末端ノードで設定されている学習サンプルの頻度分布を取得する。処理回路１１は、取得した頻度分布に基づき、例えば、空気、肺実質、すりガラス、及び血管についての尤度値を算出する。例えば、処理回路１１は、複数（Ｍ個）の木毎の尤度値の平均値を、空気、肺実質、すりガラス、及び血管についての尤度値とするとよい。
【0043】
処理回路１１は、入力された所定の局所領域をスライドさせながら、ＣＴ画像データに含まれる全ての画素について複数の尤度値を取得する。また、処理回路１１は、記憶回路１５に記憶されている複数の広さの局所領域について同様の処理を実施し、記憶されている局所領域毎に複数の尤度値を取得する。
【0044】
また、例えば、処理回路１１は、強調フィルタを用いて尤度値を取得しても構わない。図８は、強調フィルタを用いて尤度値を取得する処理の例を模式的に示す図である。図８は、肺野に属する関心領域についてのＣＴ画像に関し、尤度値を算出する場合を例に説明している。肺内には結節等の塊構造、血管等の管構造、及び葉間膜等の膜構造が含まれる。そのため、塊構造、管構造、及び膜構造の尤度値を取得することはテクスチャパターンの識別において重要な情報となる。図８によれば、処理回路１１は、体内の物質、及び構造の強調フィルタに基づいて尤度値を取得する（例えば、非特許文献３参照）。
【0045】
なお、処理回路１１は、例えば、構造についての尤度値を取得するための学習済みのニューラルネットワーク等を利用した識別機能を有していても構わない。このとき、記憶回路１５には、例えば、学習済みの機械学習に関するデータが予め記憶されている。処理回路１１は、識別機能において、記憶回路１５に記憶されているデータに基づく学習済みのニューラルネットワークを利用し、構造についての尤度値を取得する。
【0046】
なお、図４乃至図８を用いた尤度取得機能１１１の説明では、処理回路１１は、ＣＴ画像に含まれる１つの画素から、空気、肺実質、すりガラス陰影、血管、塊構造、管構造、及び膜構造の７種類の物質及び構造についての尤度値を取得する場合を例に説明した。しかしながら、これに限定されない。処理回路１１は、他の物質及び構造についての尤度値を取得しても構わない。例えば、ＣＴ画像には、充実性陰影、及び結節が含まれていてもよい。また、ＣＴ画像には、管構造に代えて線構造が含まれていてもよく、さらに、膜構造に代えて板構造が含まれていてもよい。また、ＣＴ画像に肺以外の領域が含まれている場合には、ＣＴ画像に、画素値に基づいて分類可能な、ガス、脂肪組織、水、軟組織、及び石灰化組織等が含まれていてもよい。処理回路１１は、空気、肺実質、すりガラス陰影、充実性陰影、血管、結節、ガス、脂肪組織、水、軟組織、石灰化組織、塊構造、管又は線構造、並びに、膜又は板構造についての尤度値のうち、少なくともいずれかを取得しても構わない。
【0047】
次に、図２に示される特徴量算出機能１１２の処理について具体的に説明する。処理回路１１は、例えば、ＣＴ画像に含まれる各画素についての尤度値を取得すると、特徴量算出機能１１２を実行する。図９は、図２に示される特徴量算出機能１１２により特徴ベクトルが作成される処理の例を模式的に示す図である。特徴量算出機能１１２において処理回路１１は、尤度取得機能１１１によりＣＴ画像の各画素で取得されたＮ個の尤度値に対し、適当な重み係数をかける。処理回路１１は、重み係数をかけた尤度値を画像全体にわたって足し合わせることで１つの特徴ベクトルを作成する。
【0048】
具体的には、処理回路１１は、チャンネルｉ（ｉ＝１～Ｎ）の尤度値を並べたベクトルをベクトルｖｉとすると、ベクトルｖｉと同じ長さの重み係数を並べたベクトルｗｉをＫｉ個用意する。処理回路１１は、Ｋｉ個のベクトルｗｉを並べ、以下に示される行列Ｗｉとする。
【0049】
【数3】
【0050】
数（３）において、Ｖは画素数を表す。
【0051】
処理回路１１は、行列Ｗｉを用いて、特徴量を並べたベクトルｕを、以下のように算出する。
【0052】
【数4】
【0053】
数（４）において、Ｐは特徴量の総数を表す。処理回路１１は、算出したベクトルｕを、画像全体にわたって足し合わせることで、特徴ベクトルを作成する。
【0054】
なお、処理回路１１は、ベクトルｕを、バイアスベクトルｂを加えて以下のように算出してもよい。
【0055】
【数5】
【0056】
また、数（３）～（５）を用いた説明では、チャンネル毎に重み係数を設定した。しかしながら、これに限定されない。重み係数は、同一であっても構わない。
【0057】
尤度値にかけられる重み係数は、種々の手法により決定される。例えば、重み係数は、ガウシアンフィルタ、ガボールフィルタ、平均値フィルタ、及びボックスフィルタ等の決められた値を用いてもよい。また、重み係数は、機械学習により最適な値を決定してもよい。図１０は、ニューラルネットワークを用いて重み係数を学習する処理の例を模式的に示す図である。例えば、予め識別したいテクスチャパターンの数にあわせた出力ユニットと、重み係数との掛け合わせによって得られた特徴量とを全結合層でつなぐネットワークを用意する。なお、重み係数の初期値は、ガウス分布、及び一様分布等からランダムに設定するとよい。そして、例えば、誤差逆伝播法を用いて重み係数を繰り返し更新する。機械学習を用いる場合、識別したい問題に合わせて自動的に重み係数が決定される。そのため、ガウシアンフィルタ等の予め決められた重み係数を用いるよりも識別精度が向上する場合がある。
【0058】
以上のように、本実施形態では、処理回路１１は、画像取得機能１１０により、所望の医用画像データを取得する。処理回路１１は、尤度取得機能１１１により、医用画像の各画素について、画素値に応じ、複数種類の体内の物質及び構造に関する尤度値をそれぞれ取得する。そして、処理回路１１は、特徴量算出機能１１２により、取得した複数の尤度値を用いて複数の特徴量を算出する。このように、処理回路１１は、画像から直接特徴抽出するのではなく、識別すべきテクスチャパターンに関連のある体内の物質及び構造の尤度を用いて特徴抽出を実施するようにしている。これにより、処理回路１１は、識別能力の高い特徴量を求めることが可能となる。
【0059】
したがって、本実施形態に係る画像処理装置１０によれば、医用画像のテクスチャパターンの識別精度を向上できる。
【0060】
なお、上記実施形態では、処理回路１１が画像取得機能１１０、尤度取得機能１１１、及び特徴量算出機能１１２を有する場合を例に説明した。しかしながら、これに限定されない。例えば、図１１に示されるように、処理回路１１ａは、識別機能１１３を有しても構わない。処理回路１１ａは、記憶回路１５に記憶されているプログラムを実行することで、画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３を有する。
【0061】
識別機能１１３は、特徴量算出機能１１２により取得された特徴ベクトルを用いて学習した機械学習を利用し、予め設定した病変、体組織、又は臓器等のテクスチャパターンを識別する。このとき、例えば、記憶回路１５には、所定のテクスチャパターンを識別するための学習済みの機械学習に関するデータが予め記憶されている。識別機能１１３により識別されるパターンの数は任意であるが、取得した尤度値の種類よりも多くてもよいし、少なくても構わない。識別されるパターンの数は、例えば、良性と悪性とを識別する場合には２となる。図１２は、図１１に示される処理回路１１ａの動作を模式的に説明する図である。図１２によれば、処理回路１１ａは、医用画像の各画素について尤度値を取得することで、尤度１～尤度Ｎの尤度画像を発生する。処理回路１１ａは、尤度１～尤度Ｎの尤度画像に基づき、特徴ベクトルを生成する。そして、処理回路１１ａは、サンプルとして取得した特徴ベクトルを用いて学習した機械学習を利用し、取得した特徴ベクトルに基づき、予め設定した病変、体組織、又は臓器等のテクスチャパターンを識別する。
【0062】
識別機能１１３において用いられる機械学習のアルゴリズムは、判別分析、ロジスティック回帰、サポートベクターマシン、ニューラルネットワーク、Randomized Trees、部分空間法等が挙げられる。なお、これらのうちいずれかと、条件付き確立場、及びグラフカットとを組み合わせることで、画素の隣接関係を考慮してテクスチャパターンを識別するようにしてもよい。
【0063】
また、本実施形態では、画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３が画像処理装置１０に設けられる場合を例に説明した。しかしながら、これに限定されない。画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３は、医用画像診断装置２０に設けられていても構わない。図１３は、医用画像診断装置２０の一例であるＸ線ＣＴ装置が、画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３を有する場合のＸ線ＣＴ装置の機能構成の例を示す図である。図１３によれば、医用画像診断装置２０の処理回路２１は、記憶回路２２に記憶されているプログラムを実行することで、画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３を実現する。なお、処理回路２１は、画像再構成処理により発生したＣＴ画像データに対して尤度取得機能１１１を実施しても構わない。この場合、必ずしも処理回路２１は、画像取得機能１１０を実施する必要はない。
【0064】
本実施形態に係る画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、画像処理装置１０、及び医用画像診断装置２０は、コンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３を実現することができる。このとき、画像処理装置１０、及び医用画像診断装置２０は、上記プログラムを予めインストールすることで、画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３を実現してもよい。また、画像処理装置１０、及び医用画像診断装置２０は、上記プログラムをＣＤ－ＲＯＭ等の記憶媒体から読み込んで、又はネットワークを介して受信して適宜インストールすることで、画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３を実現してもよい。また、画像処理装置１０に入力される３次元ＣＴ画像、及び抽出対象の構造を特定する位置情報は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスク、又はＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＡＭ、及びＤＶＤ－Ｒ等の記憶媒体等に記憶されていても構わない。
【0065】
また、上記実施形態では医用画像の例として、ＣＴ画像を挙げた。しかしながら、医用画像はＣＴ画像に限定されない。ＭＲＩ装置により取得されるＭＲ画像等、他の画像であっても構わない。処理回路１１は、例えば、ＭＲ画像に含まれる構造に基づいて尤度値を取得する。そして、処理回路１１は、取得した尤度値に重み係数をかけることで特徴量を算出し、特徴ベクトルを取得する。
【0066】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）等の回路を意味する。プロセッサは記憶回路１５に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路１５にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、上記実施形態に記載のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。
【0067】
本実施形態における画像取得機能１１０、尤度取得機能１１１、特徴量算出機能１１２、及び識別機能１１３は、それぞれ対応する画像取得部、尤度取得部、特徴量算出部、及び識別部によって実現されるものであってもよい。なお、本実施形態において「部」として説明した構成要素は、その動作がハードウェアによって実現されるものであってもよいし、ソフトウェアによって実現されるものであってもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されるものであってもよい。
【0068】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0069】
１…医用情報システム、１０…画像処理装置、１１，１１ａ…処理回路、１１０…画像取得機能、１１１…尤度取得機能、１１２…特徴量算出機能、１１３…識別機能、１２…入力インタフェース、１３…出力インタフェース、１４…通信インタフェース、１５…記憶回路、２０…医用画像診断装置、２１…処理回路、２２…記憶回路、３０…画像保管装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
