特許 7360651 医用画像処理装置、医用画像処理プログラム、及び医用画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-04

(45)【発行日】2023-10-13

(54)【発明の名称】医用画像処理装置、医用画像処理プログラム、及び医用画像処理方法

(51)【国際特許分類】

   A61B 6/00 20060101AFI20231005BHJP

   G06T 7/00 20170101ALI20231005BHJP

【ＦＩ】

A61B6/00 350D

G06T7/00 612

G06T7/00 350B

【請求項の数】 9

(21)【出願番号】P 2019180231

(22)【出願日】2019-09-30

(65)【公開番号】P2021053213

(43)【公開日】2021-04-08

【審査請求日】2022-08-05

(73)【特許権者】

【識別番号】519313172

【氏名又は名称】中原 龍一

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】中原 龍一

(72)【発明者】

【氏名】西田 圭一郎

(72)【発明者】

【氏名】尾崎 敏文

(72)【発明者】

【氏名】那須 義久

(72)【発明者】

【氏名】前田 達郎

【審査官】蔵田 真彦

(56)【参考文献】

【文献】特開２００７－０１４４３５（ＪＰ，Ａ）

【文献】特開２０１５－１４４９２９（ＪＰ，Ａ）

【文献】特開２０１７－１８９３９４（ＪＰ，Ａ）

【文献】特開２０１３－０８５９６７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２２１２０１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００９／００８７０７０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／１４

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

医用画像を入力データとし、前記医用画像に含まれる複数の組織種別の混合率を正解データとして学習させた学習済みモデルを処理対象の医用画像に適用することで、前記処理対象の医用画像に含まれる前記複数の組織種別の混合率を計算する適用部、
を具備する医用画像処理装置。

【請求項2】

前記正解データは、前記医用画像に含まれる複数の組織領域の画素値と前記複数の組織領域のうち二種以上の組織領域が重複する混合領域の画素値とに基づいて、前記混合領域に含まれる前記複数の組織種別の混合率が計算されることにより設定される、
請求項１に記載の医用画像処理装置。

【請求項3】

前記正解データは、前記医用画像のうち、位置決め画像と、前記位置決め画像に対応する再構成画像とに基づいて設定されるものであって、
前記位置決め画像に含まれる複数の組織領域のうち二種以上の組織領域が重複する混合領域の画素に対応する、前記再構成画像の画素を通る、前記位置決め画像の投影方向を向く直線に含まれる前記二種以上の組織領域それぞれの体積に基づいて、前記混合領域に含まれる前記二種以上の組織領域の組織種別の混合率を計算することにより設定される、
請求項１又は請求項２に記載の医用画像処理装置。

【請求項4】

前記混合率は、前記処理対象の医用画像上でグラデーションにより表示される、
請求項１から請求項３のいずれか１項に記載の医用画像処理装置。

【請求項5】

前記混合率は、前記処理対象の医用画像上でポップアップにより表示される、
請求項１から請求項４のいずれか１項に記載の医用画像処理装置。

【請求項6】

前記適用部は、前記混合率に基づいて組織の体積を計算する、
請求項１から請求項５のいずれか１項に記載の医用画像処理装置。

【請求項7】

前記複数の組織種別の混合率をユーザ入力に基づいて変更する変更部、をさらに具備する、
請求項１から請求項６のいずれか１項に記載の医用画像処理装置。

【請求項8】

コンピュータに、
医用画像を入力データとし、前記医用画像に含まれる複数の組織種別の混合率を正解データとして学習させた学習済みモデルを処理対象の医用画像に適用することで、前記処理対象の医用画像に含まれる前記複数の組織種別の混合率を計算する適用機能、
を実現させる医用画像処理プログラム。

【請求項9】

医用画像を入力データとし、前記医用画像に含まれる複数の組織種別の混合率を正解データとして学習させた学習済みモデルを処理対象の医用画像に適用し、
前記処理対象の医用画像に含まれる前記複数の組織種別の混合率を計算する、
医用画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、医用画像処理装置、医用画像処理プログラム、及び教師データ作成方法に関する。

【背景技術】

【0002】

被検体を撮影して得た医用画像を入力データとし、当該医用画像に含まれる組織境界を正解データとして与えて学習させることで、処理対象の医用画像に含まれる組織境界を自動で抽出する学習済みモデルが存在する。

【0003】

しかし、例えば医用画像の解像度が低い場合、組織境界が不明瞭であるため境界付近で組織どうしが重複して描出されることが多く、正解データ作成時に正確な組織境界を定義しにくい。よって、組織境界が不明瞭な医用画像を入力データとし、当該医用画像に含まれる不正確な組織境界を正解データとして与えて学習させた学習済みモデルでは、処理対象の医用画像に含まれる組織境界を不正確に抽出する可能性がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１７４０３９号公報

【文献】特開２０１９－１０４１１号公報

【文献】特開２０１９－７６５４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、組織境界を正確に定義することである。

【課題を解決するための手段】

【0006】

本実施形態に係る医用画像処理装置は、適用部を具備する。適用部は、医用画像を入力データとし、前記医用画像に含まれる複数の組織種別の混合率を正解データとして学習させた学習済みモデルを処理対象の医用画像に適用することで、前記処理対象の医用画像に含まれる前記複数の組織種別の混合率を計算する。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る医用画像処理装置の構成の一例を示す図である。

【図2】学習済みモデルの適用の一例を示す図である。

【図3】学習済みモデルの生成の一例を示す図である。

【図4】第１の実施形態に係る医用画像処理装置の動作の一例を示す図である。

【図5】第１の実施形態に係る医用画像処理装置の処理結果の一例を示す図である。

【図6】第２の実施形態に係る医用画像処理装置の構成の一例を示す図である。

【図7】第２の実施形態に係る医用画像処理装置の動作の一例を示す図である。

【図8】第２の実施形態に係る医用画像処理装置の処理結果の一例を示す図である。

【図9】第２の実施形態に係る医用画像処理装置の処理結果の別の例を示す図である。

【図10】第３の実施形態に係る医用画像処理装置の動作の一例を示す図である。

【図11】第３の実施形態に係る医用画像処理装置の処理結果の一例を示す図である。

【図12】第３の実施形態に係る医用画像処理装置の処理結果の一例を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら本実施形態に係る医用画像処理装置、医用画像処理プログラム、及び教師データ作成方法について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜、省略する。以下、一実施形態について図面を用いて説明する。

【0009】

（第１の実施形態）
第１の実施形態に係る医用画像処理装置の構成の一例について図１を参照して説明する。
図１に示す医用画像処理装置１は、処理回路２、メモリ３、ディスプレイ４、入力インターフェース５、及び通信インターフェース６から構成される。処理回路２、メモリ３、ディスプレイ４、入力インターフェース５、及び通信インターフェース６は、例えばバスを介して互いに通信可能に接続されている。

【0010】

処理回路２は、入力インターフェース５から出力された入力操作の電気信号に応じて医用画像処理装置１全体の動作を制御する。例えば、処理回路２は、ハードウェア資源としてＣＰＵ、ＧＰＵ等のプロセッサを有する。処理回路２は、プロセッサを介してメモリ３に展開されたプログラムを実行することで、各機能（取得機能２１、適用機能２２、表示機能２３）を実現する。なお、各機能は単一のプロセッサによる処理回路で実現される場合に限らない。例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現してもよい。

【0011】

取得機能２１は、医用画像を取得する。医用画像としては、Ｘ線画像やＸ線ＣＴ（Computed Tomography）画像、ＭＲ（Magnetic Resonance）画像、超音波画像、核医学画像等の各種医用画像診断装置により生成される如何なる画像でもよい。また、医用画像としては、上記のオリジナルの医用画像にボリュームレンダリング処理や画素値投影処理（ＭＩＰ（Maximum Intensity Projection）やＭｉｎＩＰ（Minimum Intensity Projection）、画素値加算処理等）を施すことにより生成されるレンダリング画像でもよい。また、医用画像としては、上記の医用画像に各種の解析処理を施すことにより生成される解析画像でもよい。また、医用画像としては、各種医用画像診断装置が行う位置決めスキャンにより生成される位置決め画像でもよい。

【0012】

適用機能２２は、医用画像を入力データとし、医用画像に含まれる複数の組織種別の混合率を正解データとして学習させた学習済みモデルを処理対象の医用画像に適用することで、処理対象の医用画像に含まれる複数の組織種別の混合率を計算する。なお、混合率とは、複数の組織種それぞれの含有率又は含有確率の総称を指す。混合率は、例えば医用画像の全体領域又は関心領域の各画素について計算される。混合率の空間的な分布を示す画像、換言すれば、各画素又は各解剖学的領域に混合率が割り当てられた画像を混合率マップと呼ぶことにする。

【0013】

表示機能２３は、種々の情報を表示する。例えば、表示機能２３は、混合率マップをディスプレイ４上に表示する。

【0014】

メモリ３は、種々の情報を記憶する。メモリ３は、例えばハードウェア資源としてＲＡＭ（Random Access Memory）等の半導体メモリ素子を有する。また、メモリ３は、ハードディスク、光学ディスク（ＣＤ、ＤＶＤ、Blu-ray（登録商標） Disc、Ultra HD Blu-ray（登録商標））、フラッシュメモリ（ＵＳＢフラッシュメモリ、メモリカード、ＳＳＤ）、磁気テープ等の外部記憶媒体との間で情報を読み書きする駆動装置であってもよい。さらに、メモリ３の記憶領域は、医用画像処理装置１にあってもよいし、外部記憶媒体にあってもよい。

【0015】

ディスプレイ４は、種々の情報を表示する。ディスプレイ４としては、ブラウン管（ＣＲＴ：Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、プラズマディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro-Luminescence Display）、タブレット端末等の任意のディスプレイが使用可能である。

【0016】

入力インターフェース５は、操作者からの各種入力を受け付け、受け付けた入力を電気信号に変換して処理回路２に出力する。入力インターフェース５として、例えばマウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド、タッチパネルディスプレイ等の物理的な操作部品が使用可能である。これらに限らず、医用画像処理装置１とは別体に設けられた外部の入力装置から入力を受け付け、受け付けた入力を電気信号に変換して処理回路２に出力する装置も、入力インターフェース５の例に含まれる。なお、入力インターフェース５の種類としては、ＧＵＩ及びＣＵＩが使用可能である。

【0017】

通信インターフェース６は、有線又は無線により医用画像処理装置１とは別体に設けられた外部の装置及びシステムと情報を送受信する。通信インターフェース６と外部の装置及びシステムとの間では任意の通信規格が使用可能であるが、例えば、ＨＬ７（Health Level 7）及びＤＩＣＯＭ（Digital Imaging and COmmunications in Medicine）が適宜、使用可能である。

【0018】

学習済みモデルの適用の一例について図２を参照して説明する。
学習済みモデルは、複数の調整可能な関数及びパラメータ（重み付け行列又はバイアス）の組合せにより定義されるパラメータ付き合成関数を含む。学習済みモデルのネットワーク構成は、入力層、中間層、及び出力層を有する多層のネットワークモデル（ＤＮＮ：Deep Neural Network）により実現されるとよい。学習済みモデルは、プログラムとして実装されてもよいし、ＡＳＩＣ等のプロセッサに物理的に実装されてもよい。

【0019】

図２に示す学習済みモデルは、医用画像を入力として、当該医用画像に含まれる複数の組織種別の混合率を出力する。具体的には、当該医用画像に含まれる各画素について、当該画素に含まれると推定される人体組織の混合率が出力される。なお、人体組織の混合率とは一例であり、例えば人体組織と薬剤との混合率であったり、人体組織である骨と人工的な注入物である骨セメントとの混合率であってもよい。あるいは、右室心筋と左室心筋との境界面における、右室心筋と左室心筋との混合率のような、組織種別の種別としては同一ではあるものの当該組織内で属する部位が異なる場合の混合率であってもよい。本実施形態において対象領域におけるＡとＢとの混合率と呼ぶとき、この混合率は、対象領域中にある体積（もしくは面積）のうちどの程度Ａが占有し、どの程度Ｂが占有しているかの比率を示す数値である。あるいは、対象領域中をＡが占める確からしさと、Ｂが占める確からしさとの比率を示す数値であっても良い。以降本実施形態では、これらの種々の人体組織や薬剤、注入物どうしの混合率を総称して単に「混合率」と呼ぶ。出力の形態としては、画素ごとの混合率が数列として出力されてもよいし、医用画像に混合率が割り当てられた混合率マップが出力されてもよい。なお、混合率の計算対象となる領域は、医用画像の全ての領域でなくともよい。例えば、ユーザにより医用画像の一部範囲が指定された場合、当該範囲内に限定して混合率が計算されてもよい。

【0020】

学習済みモデルの生成の一例について図３を参照して説明する。
図３に示す学習済みモデルは、医用画像処理装置１又は他のコンピュータにより生成される。学習済みモデルを生成する装置をモデル学習装置と呼ぶことにする。モデル学習装置は、多数の学習サンプルに基づいて多層ネットワークを学習させることにより学習済みモデルを生成する。図３に示すように、各学習サンプルは、入力データとしての医用画像と正解データとしての混合率とを含む。正解データとしての混合率は、出力の形態に応じて、画素ごとの混合率を示す数列でもよいし、医用画像に混合率が割り当てられた混合率マップでもよい。ここでは、正解データとしての混合率は混合率マップであるとする。

【0021】

モデル学習装置は、入力データとなる医用画像に多層ネットワークを適用して順伝播処理を行い、推定正解データとなる推定混合率マップを出力する。次に、推定混合率マップと正解データとなる混合率マップとの差分（誤差）に対して当該多層ネットワークを適用して逆伝播処理を行い、勾配ベクトルを計算する。続いて、勾配ベクトルに基づいて当該多層ネットワークの重み付け行列やバイアス等のパラメータを更新する。上記のように、入力データ及び正解データから成る多数の学習サンプルについて順伝播処理及び逆伝播処理を繰り返してパラメータを更新することで、学習済みモデルが生成される。本実施形態において、学習済みモデルはメモリ３に記憶される。

【0022】

第１の実施形態に係る医用画像処理装置の動作の一例について図４を参照して説明する。
ステップＳ４０１では、取得機能２１が、医用画像を取得する。取得方法としては、通信インターフェース６を介して外部システムである医用画像管理システム（ＰＡＣＳ：Picture Archiving and Communication Systems）から取得してもよい。

【0023】

ステップＳ４０２では、適用機能２２が、メモリ３に記憶された学習済みモデルを当該医用画像に対して適用し、当該医用画像の画素ごとの混合率を計算する。上記の通り、学習済みモデルから、混合率が数列として出力されてもよいし、混合率マップが出力されてもよい。学習済みモデルから混合率が数列として出力される場合、適用機能２２は、出力された混合率を対応する画素に割り当てることにより混合率マップを生成する。

【0024】

ステップＳ４０３では、表示機能２３が、混合率マップをディスプレイ４上に表示する。混合率マップでは、例えば医用画像上に含まれる領域が、当該領域の混合率に濃淡を対応させたグラデーションにより表示される。あるいは、医用画像中の特定の位置にカーソルを配置することで、カーソルが配置された領域における混合率を数値として割り当てたポップアップにより表示される。

【0025】

第１の実施形態に係る医用画像処理装置の処理結果の一例について図５を参照して説明する。
図５は、医用画像の一例である位置決め画像に対して混合率を定義した混合率マップ５００を示す図である。一般的に、位置決め画像は低線量で撮影されるため、組織境界が不明瞭である。さらに、被検体内部の器官や組織といった立体構造が平面に投射されるため、位置決め画像上では組織どうしが重複した混合領域が生じる。以下、説明の便宜上、心臓の下部と肝臓の上部が重複した混合領域を有する位置決め画像に対して処理を施した例を示す。また、図５に示す混合率マップ５００の混合率の計算対象となる組織は、心臓及び肝臓であるとする。

【0026】

混合率マップ５００の各画素には、組織種別の混合率及び混合率に応じた色値が割り当てられている。各画素の色値は、混合率と色値とを関連付けたカラーバーにより決定される。例えば、心臓と肝臓との二組織の混合が想定される画素に適用されるカラーバーについては、心臓「１００％」かつ肝臓「０％」を表す画素の色値は「赤」、心臓「０％」かつ肝臓「１００％」を表す画素の色値は「青」で定義され、その間は色値「赤」と色値「青」とのグラデーションで表される。この場合、混合率マップ５００に含まれる心臓領域が赤、肝臓領域が青、両者の混合領域が紫で表示される。このように、各領域の混合率はグラデーションにより表示され、例えば混合領域のうち心臓領域に近い領域は赤寄りの紫で、肝臓領域に近い領域は青寄りの紫で表示される。

【0027】

さらに、混合率マップ５００の各画素がカーソル５０１により指定されると、当該画素に割り当てられた混合率が数値で表示される。例えば、カーソル５０１により指定された画素の近傍にポップアップウィンドウ５０２が表示され、ポップアップウィンドウ５０２内に心臓及び肝臓の混合率が「心臓２５％、肝臓７５％」のように定量的に表示される。

【0028】

なお、上記の混合率の表示形態は一例である。例えば、上記のグラデーション表示とポップアップ表示との何れか一方により混合率が表示されてもよい。また、混合率マップに並列して元の医用画像が同一のディスプレイ又は他のディスプレイに表示されてもよい。

【0029】

なお、学習済みモデルを適用することで出力された混合率マップに対して、適用機能２２が、混合率に基づいて組織の体積を計算してもよい。このとき、混合率に含まれる各組織の含有率又は含有確率を加味して計算する。例えば、肝臓中にがんがある場合に、がん組織と肝臓組織との混合率マップを作成して体積を計算する場合を想定する。この場合、切除対象となるがん細胞の体積を計算する際には、混合率を求めた結果、少しでもがん細胞が含まれる領域であれば当該領域を加えて切除対象の体積を算出してもよい。

【0030】

以上示した第１の実施形態によれば、混合率を使用することにより組織境界を正確に定義することができる。さらに、混合率を使用することで、例えば注釈者が組織境界付近の画素の混合率を参照することができる。これにより、境界付近の画素について、画像解像度の限界で画素値によっては組織の区分が明確でない場合であっても、各画素についてどの組織がどの程度含まれているかを判断でき、セグメンテーションの精度が向上する。

【0031】

（第２の実施形態）
第１の実施形態に係る医用画像処理装置は、学習済みモデルを適用することで医用画像に含まれる混合率を計算した。第２の実施形態に係る医用画像処理装置は、学習済みモデルの生成に用いる正解データを生成する。以下、第２の実施形態に係る医用画像処理装置について説明する。

【0032】

第２の実施形態に係る医用画像処理装置の構成の一例について図６を参照して説明する。
図６に示す医用画像処理装置６１は、処理回路６２、メモリ６３、ディスプレイ６４、入力インターフェース６５、及び通信インターフェース６６から構成される。なお、以下の説明において、第１の実施形態と略同一の機能を有する構成要素については、必要な場合にのみ重複説明する。

【0033】

処理回路６２は、取得機能６２１、設定機能６２２、計算機能６２３、及び表示機能６２４を有する。なお、取得機能６２１及び表示機能６２４は、第１の実施形態に係る取得機能２１及び表示機能２４と同様の動作を行うため、説明は省略する。

【0034】

設定機能６２２は、医用画像に含まれる複数の組織領域と複数の組織領域が重複する混合領域とを設定する。

【0035】

計算機能６２３は、複数の組織領域の画素値に基づいて、混合領域に含まれる複数の組織種別の混合率を計算する。

【0036】

第２の実施形態に係る医用画像処理装置の動作の一例について図７を参照して説明する。
ステップＳ７０１では、取得機能６２１が、医用画像を取得する。ここで取得される医用画像は、正解データである混合率の計算対象となる医用画像である。

【0037】

ステップＳ７０２では、設定機能６２２が、医用画像に含まれる複数の組織領域と複数の組織領域が重複する混合領域とを設定する。このとき、医用画像処理装置６１を利用するユーザである、例えば医療従事者が入力インターフェース５を介して入力した指示を受け付けて設定する。ユーザは取得された医用画像をディスプレイ４で確認することで、任意の組織が含まれると判断した組織領域をそれぞれ着色する。着色された領域はアノテーションとも呼ばれる。続けて、ユーザは任意の組織領域どうしが重複していると判断した混合領域を着色する。なお、着色することに限らず、組織領域を囲むなど、複数の組織領域及び混合領域それぞれの領域が医用画像上で明確に区別して定義される態様であればよい。

【0038】

なお、上記のように組織領域及び混合領域を手動で設定する場合に限らない。例えば、組織領域を手動で着色し、組織領域どうしが重複した領域を処理回路６２が判定することで、自動で混合領域を設定してもよい。あるいは、任意の領域を抽出する学習済みモデルを利用することで、組織領域及び混合領域を自動で設定してもよい。また、着色には医用画像上に上書きできる限り、任意のペイントソフトウェアが使用可能である。

【0039】

ステップＳ７０３では、計算機能６２３が、複数の組織領域及び混合領域それぞれの画素値を計算する。画素値としては、各画素に割り当てられたＣＴ値や階調値、不透明度等の如何なる値でもよい。ここでは、例えば画素値としてＣＴ値が使用されるとする。例えば、計算機能６２３は着色した複数の組織領域及び混合領域それぞれに含まれるＣＴ値の平均値を計算する。計算には、例えば当該領域に含まれる全ての画素が持つ合計のＣＴ値を、画素数で除すればよい。

【0040】

これに限らず、当該領域に含まれる画素値のうち最大値、中央値、最小値等を適宜、使用してもよい。例えば、組織領域と混合領域とが接する境界領域にある複数の画素について、当該複数の画素が持つ画素値のうち最大値、中央値、最小値等を当該領域における代表の画素値として使用してもよい。

【0041】

ステップＳ７０４では、計算機能６２３が、複数の組織領域の画素値に基づいて、混合領域に含まれる複数の組織種別の混合率を計算する。すなわち、複数の組織領域それぞれの画素値を重み付けとして、混合領域の混合率を計算する。例えば、混合領域の画素値と組織領域の画素値との差分が小さい当該組織の混合率を高くする一方、当該差分が大きい組織の混合率を低くすればよい。

【0042】

なお、混合領域でない組織領域についても、混合率を計算してもよい。このとき、組織領域の混合率は、当該組織については１００％、他の組織については０％のようにすればよい。

【0043】

ステップＳ７０５では、表示機能６２４が、混合率マップを表示する。なお、混合領域でない組織領域についても混合率を計算した場合は、当該組織領域の混合率も含めて表示してもよい。ここで、医用画像と混合率とは互いに関連付けて管理される。医用画像と混合率との組み合わせは学習サンプルとしてモデル学習装置に供給される。

【0044】

第２の実施形態に係る医用画像処理装置による処理結果の一例について図８を参照して説明する。
図８は、医用画像の一例である位置決め画像に対して混合率を定義した混合率マップ８００を示す図である。以下、混合率マップ８００の作成に至るまでの処理を示す。

【0045】

まず、設定機能６２２が、組織領域の一例として心臓領域８０１及び肝臓領域８０２を、混合領域８０３をそれぞれ設定する。ここでは、説明の便宜上、心臓領域８０１、肝臓領域８０２、混合領域８０３の順に濃度が濃くなるように着色している。なお、濃度により領域を区別することに限らず、赤、青等で着色することにより領域を区別してもよい。

【0046】

次に、計算機能６２３が、着色された各領域の画素値をそれぞれ計算する。計算の結果、例えば心臓領域８０１の平均の画素値が３０、肝臓領域８０２の平均の画素値が５０、混合領域８０３の平均の画素値が４５であるとする。続いて、計算された各領域の画素値に基づいて、混合領域の混合率を計算する。例えば、混合領域の混合率は以下の数式で計算される。

【0047】

Ｘ＝１００（ｃ－ｂ）／（ａ－ｂ）、Ｙ＝１００－Ｘ ・・・（１）

【0048】

数式（１）において、ａは組織領域Ａの平均の画素値、ｂは組織領域Ｂの平均の画素値、ｃは混合領域Ｃの平均の画素値、Ｘは混合領域Ｃにおける組織Ａの含有率（％）、Ｙは混合領域Ｃにおける組織Ｂの含有率（％）である。なお、ａ≠ｂかつｃはａとｂとの間の値とする。

【0049】

上式に代入すると、混合領域８０３の混合率は、心臓＝２５％、肝臓＝７５％と計算される。

【0050】

次に、表示機能６２４が、計算された混合領域８０３の混合率「心臓２５％、肝臓７５％」を混合率マップ８００上に表示する。ここでは、混合領域８０３を実線で参照したポップアップウィンドウ８０４内に混合率を数値で表示している。

【0051】

以上、第２の実施形態に係る医用画像処理装置による医用画像の処理結果を示したが、これに限らない。別の例では、ユーザが混合領域の混合率を手動で設定することも可能である。

【0052】

第２の実施形態に係る医用画像処理装置の処理結果の別の例について図９を参照して説明する。
図９は、医用画像の一例である位置決め画像に対して混合率を定義した混合率マップ９００を示す図である。以下、混合率マップ９００の作成に至るまでの処理を示す。

【0053】

まず、設定機能６２２が、任意の組織全体が含まれる領域を設定する。ここでは、組織の一例として心臓に着目し、心臓全体を含む領域である心臓領域マスク９０１を設定する。続いて、心臓領域マスク９０１内部に複数の小領域を設定する。ここでは、心臓のみが含まれる心臓領域９０２と、心臓及び肝臓が含まれる混合領域９０３とを設定する。

【0054】

次に、設定機能６２２が複数の小領域それぞれについて組織の含有率を設定する。このとき、ユーザである、例えば医師からの手動入力を受け付けて設定する。各小領域がどれだけ組織を含有しているかは、例えば医師が医用画像を確認することで目視により判断する。例えば、心臓領域９０２については心臓が１００％、混合領域９０３については心臓が２５％含まれると判断し、設定する。

【0055】

最後に、表示機能６２４が、設定された含有率を混合率マップ９００上に表示する。ここでは、心臓領域９０２を実線で参照したポップアップウィンドウ９０４内に「心臓１００％」、混合領域９０３を実線で参照したポップアップウィンドウ９０５内に「心臓２５％」のように表示される。

【0056】

以上の動作を他の組織に対しても同様に行うことで、当該組織内の複数の小領域についても含有率を設定する。このとき、任意の組織の小領域と他の組織の小領域とが重複した混合領域について、各組織の含有率をまとめて混合率として扱うことができる。

【0057】

なお、本手法では各組織種に着目して含有率をそれぞれ定義するため、各組織種が重複した混合領域では含有率を足し合わせても１００％に相当しない場合が想定される。このとき、含有率が１００％を超える場合は、それぞれの含有率を１００％に相当するように等倍することで１００％に規格化するように計算してもよい。一方、含有率が１００％に満たない場合は、それぞれの含有率の他に、他の組織が含まれると想定すればよい。

【0058】

また、手動で混合率を設定する場合、上記のように任意の組織領域のマスク内で当該組織の含有率を設定する方法に限られない。例えば、心臓領域、肝臓領域、及び混合領域のように３つの領域を設定した後に、混合領域について混合率を手動で設定してもよい。あるいは、医用画像上に存在する全ての領域についてそれぞれ混合率を手動で設定してもよい。さらに、設定された混合率は、ユーザ入力に基づいて変更されてもよい。

【0059】

以上示した第２の実施形態によれば、複数の組織が混在すると推定される画素について、当該画素に混在すると推定される複数の組織の混合率を、画素値等に基づいて計算することができる。換言すれば、第１の実施形態に係る学習済みモデルの生成に使用する正解データを生成することができる。

【0060】

（第３の実施形態）
第２の実施形態に係る医用画像処理装置は、医用画像に含まれる混合領域の混合率を当該医用画像の画素値を利用して計算した。第３の実施形態に係る医用画像処理装置は、位置決め画像に含まれる混合領域の混合率を、当該位置決め画像に交差する断面に関する断層画像（再構成画像）を利用して計算する。以下、第３の実施形態に係る医用画像処理装置について説明する。なお、以下の説明において、第２の実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。

【0061】

第３の実施形態に係る医用画像処理装置の動作の一例について図１０を参照して説明する。
ステップＳ１００１では、取得機能６２１が、位置決め画像及び位置決め画像に対応する再構成画像を取得する。位置決め画像としては、Ｘ線画像やＸ線ＣＴ画像、ＭＲ画像、核医学画像等の各種医用画像診断装置により生成される画像が利用される。再構成画像としては、例えば、位置決め画像の生成後に行われる本撮像により得られる画像が用いられる。再構成画像の断面は、位置決め画像の投影面に対して交差する位置関係にある。

【0062】

ステップＳ１００２では、設定機能６２２が、位置決め画像上において、混合率の計算対象となる画素を設定する。このとき、例えば医用画像処理装置１を利用するユーザが入力インターフェース５を介して入力した指示を受け付けて設定する。ユーザは、取得された位置決め画像をディスプレイ４で確認することで、位置決め画像上の混合領域内における任意の座標を設定する。このとき、例えば入力インターフェース５の一例であるマウスを介してディスプレイ４上でカーソルを動かし、任意の座標をクリックすることで設定してもよい。なお、任意の座標とは、１画素単位で設定できるようにしてもよいし、隣接する複数の画素をまとめたものであってもよい。

【0063】

ステップＳ１００３では、設定機能６２２が、設定された座標に対応する再構成画像上の点を起点として、位置決め画像の投影方向に向かう投影線を設定する。具体的には、設定した位置決め画像上の座標を含むアキシャル断面に対応する再構成画像を取得する。次に、位置決め画像上の断面方向に沿った軸上にある座標の位置に対応する、再構成画像上の対応する軸上の座標の位置を起点に設定する。最後に、当該起点を通り、位置決め画像の投影方向（深さ方向）に向かう投影線を設定する。

【0064】

ステップＳ１００４では、計算機能６２３が、投影線上に含まれる複数の組織領域それぞれの体積比を計算する。具体的には、再構成画像における混合率の計算対象の組織領域を、閾値処理や機械学習等の画像処理により抽出する。次に、投影線上に含まれる、抽出された組織領域それぞれの体積比を計算する。体積比としては、例えば投影線上に存在する複数の組織領域それぞれの画素数の比を利用してもよい。

【0065】

ステップＳ１００５では、計算機能６２３が、複数の組織領域が重複する混合領域に含まれる複数の組織種別の混合率を計算する。例えば、計算された体積比を１００％に規格化するように計算してもよい。また、当該体積比をそのまま混合率として使用してもよい。

【0066】

ステップＳ１００６では、表示機能６２４が、混合率マップを表示する。ここでは、位置決め画像上の一座標について混合率が定義された混合率マップが表示される。なお、実際には、ステップＳ１００１からステップＳ１００６の処理を繰り返すことで位置決め画像上の複数の座標について混合率が定義された混合率マップが生成される。

【0067】

第３の実施形態に係る医用画像処理装置の処理結果の一例について図１１及び図１２を参照して説明する。なお、図１１及び図１２では各画像の空間軸上の対応関係を示すため、Ｘ軸（左右方向）、Ｙ軸（上下方向）、Ｚ軸（前後方向）を適宜、参照する。以下、混合率の計算対象となる組織は、心臓及び肝臓であるとする。

【0068】

図１１は、医用画像の一例である位置決め画像に対して混合率を定義した混合率マップ１１００を示す図である。図１２は、図１１上で指定された座標に関する位置決め画像の断面の再構成画像である。以下、混合率マップ１１００の作成に至るまでの処理を示す。

【0069】

まず、設定機能６２２が、心臓及び肝臓の混合領域における座標１１０１を設定する。ここでは、座標１１０１を星印で示し、混合領域の略中央に設定している。

【0070】

次に、設定機能６２２が、再構成画像１２００上で、座標１１０１を通りＸ軸に垂直な投影線１２０１を設定する。図１２では、再構成画像１２００として、座標１１０１を通りＸ軸に平行な切断線１１０２における位置決め画像の断面（Ａ－Ａ’面）が示される。ここでは、投影線１２０１上に心臓領域及び肝臓領域が含まれている。

【0071】

続いて、計算機能６２３が、投影線１２０１上の心臓領域及び肝臓領域それぞれの体積比１２０２を計算する。例えば心臓領域の画素数が１００、肝臓領域の画素数が３００である場合、体積比１２０２は心臓：肝臓＝１：３と表される。よって、座標１１０１における混合率は、心臓＝２５％、肝臓＝７５％と計算される。

【0072】

最後に、表示機能６２４が、計算された座標１１０１における混合率「心臓２５％、肝臓７５％」を混合率マップ１１００上に表示する。ここでは、座標１１０１を実線で参照したポップアップウィンドウ１１０３内に混合率を数値で表示している。さらに、設定された混合率は、ユーザ入力に基づいて変更されてもよい。

【0073】

以上示した第３の実施形態によれば、複数の組織が混在すると推定される画素について、当該画素に混在すると推定される複数の組織の混合率を、位置決め画像及び再構成画像に基づいて計算することができる。さらに、複数の組織の領域について体積比を考慮することで、より正確に混合率を計算することができる。換言すれば、第１の実施形態に係る学習済みモデルの生成に使用する正解データを生成することができる。

【0074】

以上に示した少なくとも１つの実施形態によれば、組織境界を正確に定義することができる。

【0075】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、各省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0076】

１、６１ 医用画像処理装置
２、６２ 処理回路
３、６３ メモリ
４、６４ ディスプレイ
５、６５ 入力インターフェース
６、６６ 通信インターフェース
２１、６２１ 取得機能
２２ 適用機能
２３、６２４ 表示機能
５００ 混合率マップ
５０１ カーソル
５０２、８０４、９０４、９０５、１１０３ ポップアップウィンドウ
６２２ 設定機能
６２３ 計算機能
８００、９００、１１００ 混合率マップ
８０１、９０２ 心臓領域
８０２ 肝臓領域
８０３、９０３ 混合領域
９０１ 心臓領域マスク
１１０１ 座標
１１０２ 切断線
１２００ 再構成画像
１２０１ 投影線
１２０２ 体積比

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】