▶ キヤノン株式会社の特許一覧 ▶ 東芝メディカルシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023131461
(43)【公開日】2023-09-22
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20230914BHJP
G06T 1/00 20060101ALI20230914BHJP
G06T 7/11 20170101ALI20230914BHJP
G06T 7/00 20170101ALI20230914BHJP
G06V 10/22 20220101ALI20230914BHJP
G06V 10/34 20220101ALI20230914BHJP
【ＦＩ】
A61B6/03 360J
A61B6/03 360Z
G06T1/00 290B
G06T7/11
G06T7/00 612
G06V10/22
G06V10/34
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2022036241
(22)【出願日】2022-03-09
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】生清 雄太
(72)【発明者】
【氏名】山嵜 深
【テーマコード（参考）】
4C093
5B057
5L096
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA18
4C093DA01
4C093FD05
4C093FF16
4C093FF17
4C093FF19
4C093FF20
4C093FF28
5B057AA09
5B057BA03
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE04
5B057CE05
5B057CE06
5B057DA08
5B057DB02
5B057DB09
5B057DC40
5L096BA06
5L096BA13
5L096CA02
5L096EA02
5L096EA06
5L096FA02
5L096FA54
5L096GA10
5L096GA30
5L096GA55
5L096HA07
5L096KA04
(57)【要約】
【課題】推論精度を向上させること。
【解決手段】実施形態に係る画像処理装置は、取得部と、第１の推論部と、補正部と、第２の推論部とを備える。取得部は、入力画像を取得する。第１の推論部は、前記入力画像に含まれる第１の領域に関する第１の領域画像を推論する。補正部は、前記第１の領域画像から、前記第１の領域を補正した補正画像を生成する。第２の推論部は、前記入力画像と前記補正画像とに基づいて、前記入力画像に含まれる第２の領域に関する推論を行う。
【選択図】図１
【解決手段】実施形態に係る画像処理装置は、取得部と、第１の推論部と、補正部と、第２の推論部とを備える。取得部は、入力画像を取得する。第１の推論部は、前記入力画像に含まれる第１の領域に関する第１の領域画像を推論する。補正部は、前記第１の領域画像から、前記第１の領域を補正した補正画像を生成する。第２の推論部は、前記入力画像と前記補正画像とに基づいて、前記入力画像に含まれる第２の領域に関する推論を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力画像を取得する取得部と、
前記入力画像に含まれる第１の領域に関する第１の領域画像を推論する第１の推論部と、
前記第１の領域画像から、前記第１の領域を補正した補正画像を生成する補正部と、
前記入力画像と前記補正画像とに基づいて、前記入力画像に含まれる第２の領域に関する推論を行う第２の推論部と、
を備える画像処理装置。
前記入力画像に含まれる第１の領域に関する第１の領域画像を推論する第１の推論部と、
前記第１の領域画像から、前記第１の領域を補正した補正画像を生成する補正部と、
前記入力画像と前記補正画像とに基づいて、前記入力画像に含まれる第２の領域に関する推論を行う第２の推論部と、
を備える画像処理装置。
【請求項2】
前記補正部は、前記第１の領域画像から、前記第１の領域の形状または分布を補正した補正画像を生成する、請求項１に記載の画像処理装置。
【請求項3】
前記補正部が実行する補正処理は、前記第２の推論部における、前記第１の領域画像の推論誤差の影響を緩和する処理である、請求項１に記載の画像処理装置。
【請求項4】
前記補正部が実行する補正処理は、前記第１の領域画像の形状または分布の曖昧さを増大させる処理である、請求項１に記載の画像処理装置。
【請求項5】
前記補正部が実行する補正処理は、前記第１の領域画像を平滑化する処理である、請求項１～４のいずれか一つに記載の画像処理装置。
【請求項6】
前記補正の処理にて使用される補正パラメータを取得する補正パラメータ取得部を更に備え、
前記補正部は、前記補正パラメータを用いて、前記補正画像を生成する、請求項１に記載の画像処理装置。
前記補正部は、前記補正パラメータを用いて、前記補正画像を生成する、請求項１に記載の画像処理装置。
【請求項7】
前記補正の処理にて使用される補正パラメータを決定する補正パラメータ決定部を更に備え、
前記補正部は、前記補正パラメータを用いて、前記補正画像を生成する、請求項１に記載の画像処理装置。
前記補正部は、前記補正パラメータを用いて、前記補正画像を生成する、請求項１に記載の画像処理装置。
【請求項8】
前記補正パラメータは、前記第２の推論部で使用される学習済みモデルに対応付けられた値である、請求項７に記載の画像処理装置。
【請求項9】
前記第１の推論部の行う推論に用いられる学習済みモデルの学習を行う学習部を更に備える、請求項１に記載の画像処理装置。
【請求項10】
前記補正パラメータ決定部は、前記第１の領域を構成する画素数に基づいて、前記補正パラメータを決定する、請求項７に記載の画像処理装置。
【請求項11】
前記補正パラメータ決定部は、前記第１の領域を構成する複数の部分領域に応じて複数の前記補正パラメータを決定する、請求項７に記載の画像処理装置。
【請求項12】
前記補正パラメータ決定部は、前記第２の領域に関する推論の精度の事前確率に応じて、前記部分領域ごとの前記補正パラメータを決定する、請求項１１に記載の画像処理装置。
【請求項13】
前記補正部が実行する補正処理は、前記第１の領域画像を膨張させる処理である、請求項１に記載の画像処理装置。
【請求項14】
前記第１の領域は臓器であり、前記第２の領域は腫瘍又は病変である、請求項１に記載の画像処理装置。
【請求項15】
前記第２の推論部は、前記第２の領域の画像である第２の領域画像を推論する、請求項１に記載の画像処理装置。
【請求項16】
前記第２の推論部は、前記第２の領域の存在有無に関して推論する、請求項１に記載の画像処理装置。
【請求項17】
前記補正部は、前記第１の領域の境界を明確化する第１の補正を行ったのちに、前記第１の領域の境界をぼかす第２の補正を行って前記補正画像を生成する、請求項１に記載の画像処理装置。
【請求項18】
入力画像を取得し、
前記入力画像に含まれる第１の領域に関する第１の領域画像を推論し、
前記第１の領域画像から、前記第１の領域を補正した補正画像を生成し、
前記入力画像と前記補正画像とに基づいて、前記入力画像に含まれる第２の領域に関する推論を行う、画像処理方法。
前記入力画像に含まれる第１の領域に関する第１の領域画像を推論し、
前記第１の領域画像から、前記第１の領域を補正した補正画像を生成し、
前記入力画像と前記補正画像とに基づいて、前記入力画像に含まれる第２の領域に関する推論を行う、画像処理方法。
【請求項19】
コンピュータに、
入力画像を取得し、
前記入力画像に含まれる第１の領域に関する第１の領域画像を推論し、
前記第１の領域画像から、前記第１の領域を補正した補正画像を生成し、
前記入力画像と前記補正画像とに基づいて、前記入力画像に含まれる第２の領域に関する推論を行う処理を実行させる、
プログラム。
入力画像を取得し、
前記入力画像に含まれる第１の領域に関する第１の領域画像を推論し、
前記第１の領域画像から、前記第１の領域を補正した補正画像を生成し、
前記入力画像と前記補正画像とに基づいて、前記入力画像に含まれる第２の領域に関する推論を行う処理を実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
機械学習などにより医用画像から所定の領域を抽出する場合に、二段階抽出を行う場合がある。例えば、一段階目の抽出において注目物体に関連する領域を推論してから、二段階目の抽出において、目的の領域を高精度に推論する方法がある。例えば、膵癌領域を推論する場合、一段階目の抽出において画像中から膵臓領域を推論し、二段階目の抽出において、膵癌領域を推論する場合がある。これにより、探索・計算範囲を削減し、また機械学習における学習処理の複雑化を回避することができる。
【0003】
しかしながら、一段階目の抽出において、領域の欠損や境界の誤認識等により、誤差が生じた場合、この誤差が二段階目の抽出に影響し、目的の領域の抽出がうまくいかない場合があった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－３９５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面の開示の実施形態が解決しようとする課題の一つは、推論精度を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0006】
実施形態に係る画像処理装置は、取得部と、第１の推論部と、補正部と、第２の推論部とを備える。取得部は、入力画像を取得する。第１の推論部は、前記入力画像に含まれる第１の領域に関する第１の領域画像を推論する。補正部は、前記第１の領域画像から、前記第１の領域を補正した補正画像を生成する。第２の推論部は、前記入力画像と前記補正画像とに基づいて、前記入力画像に含まれる第２の領域に関する推論を行う。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、画像処理装置、画像処理方法及びプログラムの実施形態について詳細に説明する。
【0009】
（第１の実施形態）
はじめに、図１及び図２を用いて、実施形態に係る医用画像処理装置及びＸ線ＣＴ装置の構成例について説明する。図１は、実施形態に係る医用画像処理装置１００を示した図である。また、図２は、実施形態に係る医用画像処理装置１００を組み込んだ医用画像診断装置の一例を示した図である。なお、図２においては、医用画像処理装置１００を組み込んだ医用画像診断装置が、Ｘ線ＣＴ装置２００である場合について説明している。ただし、実施形態は、医用画像診断装置がＸ線ＣＴ装置２００である場合に限られず、医用画像診断装置は、例えば超音波診断装置、磁気共鳴イメージング装置、ＰＥＴ診断装置など、その他の医用画像診断装置であってもよい。また、実施形態に係る医用画像処理装置は、医用画像診断装置に組み込まれていない場合でもよく、医用画像処理装置として単独で機能してもよい。
はじめに、図１及び図２を用いて、実施形態に係る医用画像処理装置及びＸ線ＣＴ装置の構成例について説明する。図１は、実施形態に係る医用画像処理装置１００を示した図である。また、図２は、実施形態に係る医用画像処理装置１００を組み込んだ医用画像診断装置の一例を示した図である。なお、図２においては、医用画像処理装置１００を組み込んだ医用画像診断装置が、Ｘ線ＣＴ装置２００である場合について説明している。ただし、実施形態は、医用画像診断装置がＸ線ＣＴ装置２００である場合に限られず、医用画像診断装置は、例えば超音波診断装置、磁気共鳴イメージング装置、ＰＥＴ診断装置など、その他の医用画像診断装置であってもよい。また、実施形態に係る医用画像処理装置は、医用画像診断装置に組み込まれていない場合でもよく、医用画像処理装置として単独で機能してもよい。
【0010】
図１において、医用画像処理装置１００は、メモリ１３２、入力装置１３４、ディスプレイ１３５、処理回路１５０を備える。処理回路１５０は、取得機能１５０ａ、第１の推論機能１５０ｂ、補正機能１５０ｃ、第２の推論機能１５０ｄ、補正パラメータ取得機能１５０ｅ、補正パラメータ決定機能１５０ｆ、学習機能１５０ｇ、設定機能１５０ｈ、表示制御機能１５０ｉ、受付機能１５０ｊを備える。
【0011】
実施形態では、取得機能１５０ａ、第１の推論機能１５０ｂ、補正機能１５０ｃ、第２の推論機能１５０ｄ、補正パラメータ取得機能１５０ｅ、補正パラメータ決定機能１５０ｆ、学習機能１５０ｇ、設定機能１５０ｈ、表示制御機能１５０ｉ、受付機能１５０ｊにて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ１３２へ記憶されている。処理回路１５０はプログラムをメモリ１３２から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１５０は、処理回路１５０内に示された各機能を有することになる。
【0012】
なお、図１においては単一の処理回路１５０にて、取得機能１５０ａ、第１の推論機能１５０ｂ、補正機能１５０ｃ、第２の推論機能１５０ｄ、補正パラメータ取得機能１５０ｅ、補正パラメータ決定機能１５０ｆ、学習機能１５０ｇ、設定機能１５０ｈ、表示制御機能１５０ｉ、受付機能１５０ｊにて行われる処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせて処理回路１５０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、１つの処理回路１５０が各プログラムを実行する場合であってもよい。別の例として、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。なお、図１において、取得機能１５０ａ、第１の推論機能１５０ｂ、補正機能１５０ｃ、第２の推論機能１５０ｄ、補正パラメータ取得機能１５０ｅ、補正パラメータ決定機能１５０ｆ、学習機能１５０ｇ、設定機能１５０ｈ、表示制御機能１５０ｉ、受付機能１５０ｊは、それぞれ取得部、第１の推論部、補正部、第２の推論部、補正パラメータ取得部、補正パラメータ決定部、学習部、設定部、表示制御部、受付部の一例である。また、ディスプレイ１３５は、表示部の一例である。
【0013】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリ１３２に保存されたプログラムを読み出し実行することで機能を実現する。
【0014】
また、メモリ１３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
【0015】
処理回路１５０は、取得機能１５０ａにより、医用画像診断装置から様々な情報を取得する。また、処理回路１５０は、第１の推論機能１５０ｂ、補正機能１５０ｃ、第２の推論機能１５０ｄ、補正パラメータ取得機能１５０ｅ、補正パラメータ決定機能１５０ｆ、設定機能１５０ｈにより、後述する種々の処理を行う。
【0016】
処理回路１５０は、学習機能１５０ｇにより、機械学習を行い、学習済みモデルを生成する。処理回路１５０は、表示制御機能１５０ｉにより、画像の生成、表示等を制御する。一例として、処理回路１５０は、表示制御機能１５０ｉにより、生成された様々な画像を、ディスプレイ１３５に表示させる。加えて、処理回路１５０は、表示制御機能１５０ｉにより、医用画像処理装置１００がデータを取得する医用画像診断装置の全体制御を行ってもよい。
【0017】
処理回路１５０は、受付機能１５０ｊにより、例えば入力装置１３４を通じてユーザからの各種処理を受け付ける。
【0018】
なお、上述の機能は、一例を示したものに過ぎず、処理回路１５０は、ここに列挙したすべての機能を有することを要しない。
【0019】
メモリ１３２は、医用画像診断装置から取得したデータや、処理回路１５０によって生成された画像データ等を記憶する。例えば、メモリ１３２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。
【0020】
入力装置１３４は、操作者からの各種指示や情報入力を受け付ける。入力装置１３４は、例えば、マウスやトラックボール等のポインティングデバイス、モード切替スイッチ等の選択デバイス、あるいはキーボード等の入力デバイスである。ディスプレイ１３５は、表示制御機能１５０ｉを有する処理回路１５０による制御の下、撮像条件の入力を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、処理回路１５０によって生成された画像等を表示する。ディスプレイ１３５は、例えば、液晶表示器等の表示デバイスである。
【0021】
図２は、本実施形態に係る医用画像処理装置１００を組み込んだＸ線ＣＴ装置２００の例を示している。
【0022】
例えば、図２に示すように、Ｘ線ＣＴ装置２００は、架台装置１０と、寝台装置３０と、医用画像処理装置１００とを備える。
【0023】
図２では、非チルト状態での回転フレーム１３の回転軸又は寝台装置３０の天板３３の長手方向をＺ軸方向と定義する。また、Ｚ軸方向に直交し、床面に対し水平である軸方向をＸ軸方向と定義する。また、Ｚ軸方向に直交し、床面に対し垂直である軸方向をＹ軸方向と定義する。
【0024】
架台装置１０は、患者等である被検体ＰにＸ線を照射し、被検体Ｐを透過したＸ線を検出して、医用画像処理装置１００に出力する装置である。具体的には、架台装置１０は、Ｘ線管１１と、Ｘ線検出器１２と、回転フレーム１３と、Ｘ線高電圧装置１４と、制御装置１５と、ウェッジ１６と、Ｘ線絞り１７と、ＤＡＳ（Data Acquisition System）１８とを備える。なお、図２では、図示の便宜上、Ｘ軸方向から見た架台装置１０とＺ軸方向から見た架台装置１０とを示しているが、実際には、Ｘ線ＣＴ装置は一つの架台装置１０を備えている。
【0025】
Ｘ線管１１は、熱電子を発生する陰極（フィラメント）と、当該熱電子の衝突を受けてＸ線を発生する陽極（ターゲット）とを有する真空管である。具体的には、Ｘ線管１１は、Ｘ線高電圧装置１４からの高電圧の印加により、陰極から陽極に向けて熱電子を照射することによってＸ線を発生する。例えば、Ｘ線管１１は、回転する陽極に熱電子を照射することによってＸ線を発生させる回転陽極型のＸ線管である。
【0026】
Ｘ線検出器１２は、Ｘ線管１１から照射されて被検体Ｐを通過したＸ線を検出する複数の検出素子を有し、各検出素子が、検出したＸ線の線量に応じた電気信号をＤＡＳ１８へ出力する。具体的には、Ｘ線検出器１２は、Ｘ線管１１の焦点を中心とした円弧の周方向に沿ったチャネル方向に複数の検出素子が並べられた検出素子列を複数有し、各検出素子列がスライス方向（列方向、ｒｏｗ方向とも呼ばれる）に複数配列された構造を有する。
【0027】
例えば、Ｘ線検出器１２は、コリメータと、シンチレータアレイと、検出素子アレイとを有する間接変換型の検出器である。コリメータは、シンチレータアレイのＸ線入射側の面に配置されており、散乱Ｘ線を吸収するＸ線遮蔽板を有する。例えば、コリメータは、１次元コリメータ又は２次元コリメータである。なお、コリメータは、グリッドとも呼ばれる。シンチレータアレイは、検出素子アレイのＸ線入射側の面に配置されており、複数のシンチレータを有する。各シンチレータは、入射したＸ線の線量に応じた光子量の光を出力するシンチレータ結晶を有する。検出素子アレイは、複数の検出素子を有し、各検出素子が、シンチレータから出力される光の光量に応じた電気信号に変換する。例えば、検出素子アレイは、複数の検出素子が同一平面上で１次元（ｎ行×１列）又は２次元（ｎ行×ｍ列）に配列されたサブアレイをチャネル方向及びスライス方向に複数並べて配置することによって構成される。また、例えば、検出素子は、フォトダイオード（Photo Diode：ＰＤ）や光電子増倍管（Photo Multiplier Tube：ＰＭＴ）等の受光素子である。
【0028】
回転フレーム１３は、Ｘ線管１１とＸ線検出器１２とを回転軸（Ｚ軸）回りに回転させる円環状のフレームである。具体的には、回転フレーム１３は、Ｘ線管１１とＸ線検出器１２とを対向支持した状態で、固定フレーム（図示は省略）に回転軸回りに回転可能に支持されている。そして、回転フレーム１３は、制御装置１５による制御によって回転軸回りに回転することで、Ｘ線管１１とＸ線検出器１２とを回転軸回りに回転させる。また、回転フレーム１３は、Ｘ線管１１及びＸ線検出器１２に加えて、Ｘ線高電圧装置１４及びＤＡＳ１８をさらに備えて支持する。
【0029】
Ｘ線高電圧装置１４は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管１１に印加する高電圧を発生する機能を有する高電圧発生装置と、Ｘ線管１１が照射するＸ線出力に応じた出力電圧の制御を行うＸ線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。なお、Ｘ線高電圧装置１４は、架台装置１０内で、回転フレーム１３に設けられてもよいし、回転フレーム１３を回転可能に支持する固定フレーム（図示は省略）に設けられてもよい。
【0030】
ウェッジ１６は、Ｘ線管１１から照射されたＸ線の線量を調節するためのフィルターである。具体的には、ウェッジ１６は、Ｘ線管１１から被検体Ｐへ照射されるＸ線が、予め定められた分布になるように、Ｘ線管１１から照射されたＸ線を透過して減衰するフィルターである。例えば、ウェッジ１６は、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したフィルターである。なお、ウェッジ１６は、ウェッジフィルター（wedge filter）や、ボウタイフィルター（bow-tie filter）とも呼ばれる。
【0031】
Ｘ線絞り１７は、ウェッジ１６を透過したＸ線の照射範囲を絞り込むための鉛板等を含み、複数の鉛板等を組み合わせることによってスリットを形成している。
【0032】
ＤＡＳ１８は、Ｘ線検出器１２の各検出素子から出力される電気信号に基づいて、検出データを生成する処理回路である。具体的には、ＤＡＳ１８は、Ｘ線検出器１２の各検出素子から出力される電気信号を増幅し、増幅された電気信号をアナログ信号からデジタル信号に変換することによって、検出データを生成する。ここで、ＤＡＳ１８によって生成された検出データは、回転フレーム１３に設けられた発光ダイオード（Light Emitting Diode：ＬＥＤ）を有する送信機から光通信によって架台装置１０の非回転部分（例えば、支持フレーム等）に設けられたフォトダイオードを有する受信機に送信され、医用画像処理装置１００へ転送される。なお、回転フレーム１３から架台装置１０の非回転部分への検出データの送信方法は、光通信に限らず、非接触型のデータ伝送であれば如何なる方式が採用されても構わない。
【0033】
制御装置１５は、モータ及びアクチュエータ等の駆動機構と、当該駆動機構を制御する処理回路とを有する。制御装置１５は、医用画像処理装置１００若しくは架台装置１０に取り付けられた、入力インターフェースからの入力信号を受けて、架台装置１０及び寝台装置３０の動作制御を行う機能を有する。例えば、制御装置１５は、入力信号を受けて回転フレーム１３を回転させる制御や、架台装置１０をチルトさせる制御、及び寝台装置３０及び天板３３を動作させる制御を行う。
【0034】
寝台装置３０は、スキャン対象である被検体Ｐを載置、移動させる装置であり、基台３１と、寝台駆動装置３２と、天板３３と、支持フレーム３４とを備える。基台３１は、支持フレーム３４を鉛直方向に移動可能に支持する筐体である。寝台駆動装置３２は、被検体Ｐが載置された天板３３を天板３３の長軸方向に移動するモータあるいはアクチュエータである。支持フレーム３４の上面に設けられた天板３３は、被検体Ｐが載置される板である。なお、寝台駆動装置３２は、天板３３に加え、支持フレーム３４を天板３３の長軸方向に移動してもよい。
【0035】
続いて、実施形態に係る背景について簡単に説明する。
【0036】
機械学習などにより医用画像から所定の領域を抽出する場合に、二段階抽出を行う場合がある。例えば、一段階目の抽出において注目物体に関連する領域を推論してから、二段階目の抽出において、目的の領域を高精度に推論する方法がある。例えば、膵癌領域を推論する場合、一段階目の抽出において画像中から膵臓領域を推論し、二段階目の抽出において、膵癌領域を推論する場合がある。これにより、探索・計算範囲を削減し、また学習の複雑化を回避することができる。
【0037】
しかしながら、一段階目の抽出において、領域の欠損や境界の誤認識等により、誤差が生じた場合、この誤差が二段階目の抽出に影響し、目的の領域の抽出がうまくいかない場合があった。
【0038】
実施形態に係る医用画像処理装置は、かかる背景に鑑みたものであって、実施形態に係る医用画像処理装置は、取得部と、第１の推論部と、補正部と、第２の推論部とを備える。取得部は、入力画像を取得する。第１の推論部は、入力画像に含まれる第１の領域に関する第１の領域画像を推論する。補正部は、第１の領域画像から、第１の領域を補正した補正画像を生成する。第２の推論部は、入力画像と補正画像とに基づいて、入力画像に含まれる第２の領域に関する推論を行う。
【0039】
これにより、一段階目の抽出における推論誤差の影響を緩和することができ、推論精度を向上させることができる。
【0040】
【0041】
【0042】
ステップＳ１００において、処理回路１５０は、取得機能１５０ａにより、医用画像処理装置、外部データベース、記憶装置等から、入力画像を取得する。一例として、当該医用画像処理装置がＸ線ＣＴ装置２００である場合、処理回路１５０は、取得機能１５０ａにより、Ｘ線ＣＴ装置２００から、ＣＴ画像を、図４に示される入力画像１として取得する。撮像対象が膵臓である場合、処理回路１５０は、取得機能１５０ａにより、Ｘ線ＣＴ装置２００より、例えば膵臓付近をクロップした３次元のＣＴ画像を、入力画像１として取得する。また、別の例として、処理回路１５０は、取得機能１５０ａにより、Ｘ線ＣＴ装置２００より、例えば膵臓付近を撮像した原画像を、入力画像１として取得する。入力画像１は、例えば、スライス数をＮとして、５１２×５１２×Ｎの画素を有する３次元ＣＴ画像である。
【0043】
また、入力画像１は、解像度変換や階調変換などの前処理が施された画像であってもよい。前処理として解像度変換を行った場合、入力画像１は、例えば１６０×９６×１２８の画素を有する３次元ＣＴ画像である。
【0044】
以下の式（１）に、階調変換の一例が示されている。すなわち、処理回路１５０は、図示しない前処理機能により、前処理前のＣＴ画像に対して、例えば以下の式（１）に示されるように、Ｗｉｎｄｏｗ Ｌｅｖｅｌ＝６０,Ｗｉｎｄｏｗ Ｗｉｄｔｈ＝３５０ で表される濃度値レンジ（－１１５～＋２３５ＨＵ）が，０．０～１．０ になるような階調変換を実行する。なお、これらの値は観察部位や対象、観察時相などによって異なる。
【0045】
【数1】
【0046】
ここで、Ｉ変換後、I変換前はそれぞれ階調変換後及び階調変換前のＣＴ画像の信号強度であり、ｉ、ｊ、ｋは画素のインデックスであり、ＷＬ及びＷＷはそれぞれウィンドウレベル及びウィンドウ幅を表す。
【0047】
なお、ここでの階調変換は、階調変換後のデータが、例えば後述のステップＳ１４０において処理回路１５０が第２の推論機能１５０ｄにより第２の推論を行う際と同等の階調となるようなものであってもよい。これにより、処理回路１５０は効率的なデータ処理を行うことができる。
【0048】
続いて、ステップＳ１１０において、処理回路１５０は、取得機能１５０ａにより、第１の推論及び第２の推論で用いる辞書を取得する。すなわち、処理回路１５０は、取得機能１５０ａにより、後述する第１の推論及び第２の推論で用いるモデル構造やパラメータを取得する。ここで、処理回路１５０は、取得機能１５０ａにより、モデル構造そのものを取得してもよいし、また、別の例として、モデル構造そのものは推論機能１５０ｃ等により実装されていて処理回路１５０は取得機能１５０ａによりパラメータのみを取得してもよい。第１の推論で用いるモデル構造及び第２の推論で用いるモデル構造及びパラメータは、一般に異なる。ここで、モデルとは、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や決定木を用いるランダムフォレストなどに代表される、画像の輝度や輝度差、輝度分布などの特徴量等によって境界を決定できる推論器である。ステップＳ１００で処理回路１５０が取得するモデル構造とは、ＣＮＮであれば畳み込みの回数やフィルターの数、各レイヤーのチャネル数やダウンサンプリングの回数、レイヤーの接続情報などであり、ランダムフォレストであれば、決定木の数やノードの位置、深さ情報などである。次に、ステップＳ１００で処理回路１５０が取得するパラメータの例として、例えばモデル構造がＣＮＮの場合はフィルターやバイアス値、モデル構造がランダムフォレスト（ＲＦ）の場合、決定木の分岐の閾値などが挙げられる。
【0049】
続いて、ステップＳ１２０において、処理回路１５０は、第１の推論機能１５０ｂにより、第１の領域を推論する。すなわち、処理回路１５０は、第１の推論機能１５０ｂにより、図４に示されるように、入力画像１に対して第１の推論であるステップＳ１２０の処理を行い、入力画像１に含まれる第１の領域に関する第１の領域画像３を推論する。ここで、第１の領域画像３とは、例えば、入力画像１から、第１の領域を抽出するための画像である領域マスク画像である。例えば、第１の領域画像３は、第１の領域に対して値が１となり、その他の領域に対して値が０となるような二値化処理が実行された画像である。
【0050】
すなわち、処理回路１５０は、第１の推論機能１５０ｂにより、入力画像１に基づいて、第１の領域を抽出するための画像である領域マスク画像を、第１の領域画像３として推論する。第１の領域とは、検出対象である第２の領域の探索範囲を絞り込む情報となる。
【0051】
ここで、例えば第２の推論の目的が、膵癌の領域を抽出することにある場合、すなわち検出対象である第２の領域が膵癌の領域である場合、第１の領域は、例えば膵臓の領域である。また、第１の領域画像３は、例えば膵臓の領域のマスク領域を３次元的に示した推論膵臓マスク画像である。膵臓の領域のマスク領域である第１の領域は、検出対象である膵癌の領域である第２の領域を絞り込むために有用な領域となる。
【0052】
なお、第１の領域は、第２の領域を含まないことが既知である領域を含んでもよい。一例として、第２の領域が膵癌の領域である場合、膵臓領域の特定に寄与する可能性がある領域であって、膵臓以外の領域、例えば十二指腸、脾臓、胃等の領域を含む領域を、処理回路１５０は、第１の推論機能１５０ｂにより、第１の領域として推定し、第１の領域画像３を推論してもよい。すなわち、膵臓以外の領域は膵癌を含まないが、膵癌を特定するために有用となる場合もありうるので、実施形態によっては、処理回路１５０は、これらの領域についても第１の領域に含めてもよい。
【0053】
ステップＳ１２０の具体的な処理として、処理回路１５０は、第１の推論機能１５０ｂにより、入力画像１から、例えば３次元ＣＮＮの学習済みモデルを用いてもよい。処理回路１５０は、第１の推論機能１５０ｂにより、入力画像１から、例えば、Ｕ－ｎｅｔ等のＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ形式のネットワークモデルを用いて、第１の領域画像３を推論する。この場合、一般にＥｎｃｏｄｅｒ側では入力画像が徐々に縮小し、画像特徴が抽出されるとともに、Ｄｅｃｏｄｅｒ側では、抽出された画像特徴から、所望の領域画像が生成される。なお、学習済みモデルの実行前に、処理回路１５０は、学習機能１５０ｇにより、第１の推論に用いられる学習済みモデルの学習をあらかじめ実行している。
【0054】
なお、入力画像１が３次元画像である場合には、処理回路１５０は、第１の推論機能１５０ｂにより、Ｕ－ｎｅｔをベースとした３次元ＣＮＮを用いてもよいが、実施形態は、入力画像１が３次元画像である場合に限られない。入力画像１が２次元画像である場合でも、処理回路１５０は、第１の推論機能１５０ｂにより、同様の処理を行うことにより、第１の領域画像３を推論することができる。
【0055】
続いて、ステップＳ１３０において、処理回路１５０は、補正機能１５０ｃにより、ステップＳ１２０で推論した第１の領域を補正した補正画像を生成する。図４に示されるように、処理回路１５０は、補正機能１５０ｃにより、第１の領域画像３に対して、ステップＳ１３０の処理を行い、第１の領域を補正した補正画像４を生成する。一例として、処理回路１５０は、補正機能１５０ｃにより、第１の領域画像３から、第１の領域の形状または分布を補正した補正画像４を生成する。
【0056】
一例として、処理回路１５０は、補正機能１５０ｃにより、第１の領域画像３をぼかす処理、すなわち第１の領域画像３の形状または分布の曖昧さを増大させる処理をステップＳ１３０において行い、補正画像４を生成する。例えば、図５に示されているように、処理回路１５０は、補正機能１５０ｃにより、ステップＳ１２０で推論した膵臓マスク画像である第１の領域画像３に対してぼかし処理を行い、３次元の補正膵臓マスク画像を補正画像４として生成する。
【0057】
ここで、ステップＳ１３０において処理回路１５０が例えばぼかし処理等を行って補正画像４を生成する意味を説明すると、ＣＮＮなど勾配法を用いる機械学習では、入力画像以外の付加情報を与えると、付加情報に大きく依存する方向に学習が進む。従って、例えば図４において、入力画像１と第１の領域画像３とを基に、膵癌の領域の画像であるマスク画像５を生成しようとすると、第１の領域画像３の情報に大きく依存した形で当該学習が行われる傾向にある。しかしながら、正しい膵臓の領域を表した画像である正解画像２と、第１の領域画像３とは、一般に異なる。例えば、第１の領域画像３と正解画像２とを比較すると、第１の領域画像３においては膵臓の領域が一部欠落している。このような状況で、正解画像２とは異なる第１の領域画像３の情報に過度に依存した学習が行われると、結果として出力されるマスク画像５の品質が低下することになる。
【0058】
従って、ステップＳ１３０において、処理回路１５０は補正機能１５０ｃにより、第１の領域画像３に対してあえてぼかし処理を行い、補正画像４を生成する。ここで、入力画像１と補正画像４とを基にマスク画像５を生成すると、補正画像４は第１の領域画像３と比較して曖昧さが残る。従来の２値によるマスク画像では、第１の領域の境界位置の画素値が不連続となる。また、ＣＮＮの学習では、一般に正解画像と出力画像の差分を取り、差分を減らす方向に学習が進むため、境界が明瞭な位置で大きな差分が発生する。従って、学習時に境界上で過度な勾配が発生する可能性があり、境界領域を強く認識することに繋がり、結果的に学習が不安定化する恐れがある。しかしながら、ぼかし処理を施した補正画像４を利用した場合、第１の領域の境界位置の画素値が滑らかな連続値となるため過度な勾配が抑制されることが期待される。従って、マスク画像５の生成の過程で、付加情報はある程度利用されるものの、大まかに探索範囲を絞るといった程度の利用のされ方にとどまる。この結果、第１の領域画像３の誤差がマスク画像５の品質に影響しにくくなり、マスク画像５の品質が安定する。加えて、ステップＳ１２０で行われる補正処理は、付加情報の領域拡張にもなるため、欠損部のデータを補完する役割をも有する。
【0059】
従って、このような目的で、ステップＳ１３０において、処理回路１５０は補正機能１５０ｃにより、第１の領域を補正した補正画像４を生成する。
【0060】
続いて、ステップＳ１３０におけるぼかし処理の詳細について述べる。一例として、処理回路１５０は、補正機能１５０ｃにより、ガウシアンフィルタを第１の領域画像３に対して適用することによりぼかし処理を行い、補正画像４を生成する。
【0061】
具体的には、処理回路１５０は、例えば以下の式（２）で与えられるガウシアンフィルタを用いてぼかし処理を行い、補正画像４を生成する。
【0062】
【数2】
【0063】
ここで、式（２）は３次元フィルターであり、ｘ、ｙ、ｚは、フィルターにおけるフィルター中心からの位置を表し、σはフィルターのぼかし量を表すパラメータであり、ｆ（ｘ、ｙ、ｚ）は、位置がｘ、ｙ及びｚにおけるフィルターの各要素値を表す。
【0064】
ここで、例えばぼかし量σが３の場合を考えると、フィルターは正規分布の３σ区間を利用するため、当該ガウシアンフィルタのサイズＮは、Ｎ＝3×σ×2＋１、すなわち、フィルターの中心点から左右３σ区間に広がるフィルターとなる。すなわち、ぼかし量σ＝３の場合、ガウシアンフィルタは、注目画素から、前後左右上下の各９画素に対して、その要素値が式（２）で与えられるフィルターとなる。処理回路１５０は、第１の領域画像３の各要素点に対して、式（２）で与えられる、フィルタサイズがＮ×Ｎ×Ｎのガウシアンフィルタを適用し、適用した結果を加算することにより、補正画像４を生成する。
【0065】
なお、上述の例では、ぼかし量σ＝３として説明したが、実施例はこれに限られず、処理回路１５０は、補正機能１５０ｃにより、ぼかし量σの値を、σ＝３と異なる値として補正画像４を生成してもよい。また、x,y及びzの各軸方向のぼかし量は必ずしも同一である必要はなく、軸方向毎に異なるぼかし量を用いて補正画像４を生成しても良い。
【0066】
また、ガウシアンフィルタの次元は、上述の３次元フィルターに限られず、例えば２次元フィルターや、１次元フィルターであってもよい。２次元フィルターの場合、処理回路１５０は、例えば以下の式（３）で示される２次元ガウシアンフィルタを用いて補正画像４を生成する。
【0067】
【数3】
【0068】
なお、フィルターの次元は、第１の領域画像３の次元と一致しなくてもよい。一例として、処理回路１５０は、補正機能１５０ｃにより、３次元画像である第１の領域画像３に対して、１次元ガウシアンフィルタを、ｘ、ｙ、ｚの各方向にそれぞれ順に適用することにより補正画像４を生成してもよい。
【0069】
これらの補正処理は、後述する第２の推論機能１５０ｄによる、第１の領域画像３の推論誤差の影響を緩和する処理となる。
【0070】
続いて、ステップＳ１４０において、処理回路１５０は、第２の推論機能１５０ｄにより、入力画像に含まれる第２の領域の画像である第２の領域画像を推論する。すなわち、処理回路１５０は、第２の推論機能１５０ｄにより、第２の推論を行う。
【0071】
一例として、図４及び図６に示されているように、処理回路１５０は、第２の推論機能１５０ｄにより、入力画像１と、ステップＳ１３０において生成された補正画像４とに対してステップＳ１４０の処理を行い、学習済みモデルに基づいて、入力画像１に含まれる第２の領域に関する推論を行い、推論結果として例えばマスク画像５を生成する。
【0072】
一例として、第１の領域が膵臓の領域であり、第２の領域が膵癌の領域である場合、処理回路１５０は、第２の推論機能１５０ｄにより、Ｘ線ＣＴ画像である入力画像１と、ステップＳ１３０において生成された膵臓領域補正マスクである補正画像４とを学習済みモデルに入力することにより、入力画像１に含まれる第２の領域である膵癌領域を推論する。例えば、処理回路１５０は、第２の推論機能１５０ｄにより、例えばＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を含む所定のニューラルネットワークにより構成された学習済みモデルにより、入力画像１と補正画像４とから、入力画像１に含まれる第２の領域である膵癌領域を推論する。
【0073】
一例として、例えば、処理回路１５０は、第２の推論機能１５０ｄにより、膵癌領域と推論される画素を１、膵癌領域でないと推論される画素を０として、入力画像１と補正画像４とから、データが０か１かで２値化された２値化画像であるマスク画像５を生成する。
【0074】
続いて、ステップＳ１５０において、処理回路１５０は、表示制御機能１５０ｉにより、ステップＳ１４０において行った推論の結果得られたデータを、表示部としてのディスプレイ１３５に表示させる。
【0075】
一例として、処理回路１５０は、表示制御機能１５０ｉにより、ステップＳ１４０で生成された２値化画像であるマスク画像５を、表示部としてのディスプレイ１３５に表示させる。
【0076】
図７に、実施形態に係る医用画像処理装置１００が行った推論結果の一例が示されている。画像６ｃはＣＴ画像であり、膵臓９を含む領域である。実施形態のステップＳ１３０の補正処理なしの場合と補正処理ありの場合とで、膵癌領域の抽出が行われた。画像６ａは、ステップＳ１３０の補正処理なしの場合において、膵癌領域の抽出を行った画像である。領域８が、低確率で膵癌である領域として抽出され、膵癌の抽出は成功しなかった。一方、画像６ｂは、ステップＳ１３０の補正処理ありの場合において、膵癌領域の抽出を行ったものである。領域８が、低確率で膵癌である領域として抽出されたのに加え、領域７が、高確率で膵癌である領域として抽出され、膵癌の抽出に成功した。
【0077】
以上のように、第１の実施形態では、処理回路１５０が、第１の推論機能１５０ｂにより、入力画像に含まれる第１の領域に関する第１の領域画像を推論したのち、補正機能１５０ｃにより、第１の領域画像から、第１の領域を補正した補正画像を生成し、第２の推論機能１５０ｄにより、入力画像と補正画像とに基づいて、入力画像に含まれる第２の領域に関する推論を行う。これにより、二段階推論における一段階目の推論の誤差の影響を緩和することができ、推論精度が向上する。
【0078】
（第１の実施形態の第１の変形例）
実施形態は上述の例に限られない。上述の実施例では、ステップＳ１２０において処理回路１５０が第１の推論機能１５０ｂにより推論する第１の領域画像３が、二値化画像である場合について説明したが、実施形態はこれに限られない。一例として、ステップＳ１２０において処理回路１５０は、第１の推論機能１５０ｂにより、各画素が、膵臓領域である確率を表す値を示す尤度画像を、第１の領域画像３として推論してもよい。
実施形態は上述の例に限られない。上述の実施例では、ステップＳ１２０において処理回路１５０が第１の推論機能１５０ｂにより推論する第１の領域画像３が、二値化画像である場合について説明したが、実施形態はこれに限られない。一例として、ステップＳ１２０において処理回路１５０は、第１の推論機能１５０ｂにより、各画素が、膵臓領域である確率を表す値を示す尤度画像を、第１の領域画像３として推論してもよい。
【0079】
また、ステップＳ１４０において、処理回路１５０は、第２の推論機能１５０ｄにより、各画素が、膵癌領域である確率を表す値を示す尤度画像を、マスク画像５として生成してもよい。この場合、マスク画像５の各要素は、０から１までの間の連続値をとることになる。なお、実施形態はこれに限られず、マスク画像５の各要素は、０から１までの間の値以外であってもよい。
【0080】
また、ステップＳ１５０において、処理回路１５０は、表示制御機能１５０ｉにより、ステップＳ１４０で生成された尤度画像であるマスク画像５に対して２値化処理を行ったのち、２値化処理後のデータを、表示部としてのディスプレイ１３５に表示させてもよい。例えば、処理回路１５０は、表示制御機能１５０ｉにより、閾値を０．５として、尤度画像であるマスク画像５において、閾値以上の画素値を１、閾値未満の画素値を０として２値化処理を行い、２値化処理後の画像を表示部としてのディスプレイ１３５に表示させる。
【0081】
（第１の実施形態の第２の変形例）
また、ステップＳ１３０において、処理回路１５０は、補正機能１５０ｃにより、第１の領域画像３を膨張させる処理を行って補正画像４を生成してもよい。一例として、処理回路１５０は、補正機能１５０ｃにより、例えば公知の処理であるモルフォロジ(morphology)処理を行って、第１の領域画像３である膵臓マスク画像を生成する。
また、ステップＳ１３０において、処理回路１５０は、補正機能１５０ｃにより、第１の領域画像３を膨張させる処理を行って補正画像４を生成してもよい。一例として、処理回路１５０は、補正機能１５０ｃにより、例えば公知の処理であるモルフォロジ(morphology)処理を行って、第１の領域画像３である膵臓マスク画像を生成する。
【0082】
また、別の例として、ステップＳ１３０において、処理回路１５０は、補正機能１５０ｃにより、第１の領域画像３に対して公知の処理である領域拡張法(region growing)により処理を行って、第１の領域画像３から補正画像４を生成してもよい。この場合、処理回路１５０は、補正機能１５０ｃにより、例えば第１の領域画像３の中心を起点として領域拡張法を用いて、第１の領域画像３から補正画像４を生成してもよい。
【0083】
また、別の例として、処理回路１５０は、補正機能１５０ｃにより、第１の領域画像３を平滑化する処理を行って補正画像４を生成してもよい。
【0084】
（第１の実施形態の第３の変形例）
第１の実施形態では、ステップＳ１３０において、処理回路１５０は、補正機能１５０ｃにより、第１の領域画像３に対してぼかす処理を行って補正画像４を生成する場合について説明した。しかしながら、実施形態はこれに限られない。実施形態においては、例えば、処理回路１５０は、補正機能１５０ｃにより、ステップＳ１３０の処理の前に、第１の領域画像３に対して第１の領域の境界を明確化する第１の補正を行ったのちに、ステップＳ１３０の処理を行い第１の領域の境界をぼかす第２の補正を行って補正画像４を生成してもよい。
第１の実施形態では、ステップＳ１３０において、処理回路１５０は、補正機能１５０ｃにより、第１の領域画像３に対してぼかす処理を行って補正画像４を生成する場合について説明した。しかしながら、実施形態はこれに限られない。実施形態においては、例えば、処理回路１５０は、補正機能１５０ｃにより、ステップＳ１３０の処理の前に、第１の領域画像３に対して第１の領域の境界を明確化する第１の補正を行ったのちに、ステップＳ１３０の処理を行い第１の領域の境界をぼかす第２の補正を行って補正画像４を生成してもよい。
【0085】
ここで、第１の領域の境界を明確化する第１の補正とは、例えば第１の領域の輪郭付近に対して領域補正を行う方法が挙げられる。ここで、領域補正の方法としては、例えばグラフカットセグメンテーションなどの画像処理が挙げられる。グラフカットセグメンテーションとは、前景シードと背景シードに基づいてグラフを構築し、設計したエネルギー関数を最小化することで領域を分割する手法である。また、例えば、第１の領域の境界を明確化する方法として、第１の領域の輪郭付近に対して領域補正を行ってもよい。
【0086】
また、別の例として、ステップＳ１３０の処理が終了後、処理回路１５０は、補正機能１５０ｃにより、補正画像４に対して、２値化、小領域除去などのノイズ除去等を後処理として更に行ってもよい。例えば、第２の推論機能１５０ｄによって生成された第２の領域において、各画素を連結し、最大連結領域のみを取り出してもよいし、領域から体積・面積などを計算し、所定値以下の領域を削除してもよい。また、生成される第２の領域画像の辺縁部やそれに繋がる領域を除去してもよい。
【0087】
（第１の実施形態の第４の変形例）
ステップS１４０において、処理回路１５０は、第２の推論機能１５０ｄにより、第２の領域の画像を推論する場合について説明した。しかしながら、実施形態はこれに限られない。一例として、ステップＳ１４０において、すでに述べたステップＳ１４０の処理に加えて、あるいはステップＳ１４０の処理に代えて、処理回路１５０は、第２の推論機能１５０ｄにより、第２の領域の存在有無について推論してもよい。すなわち、処理回路１５０は、第２の推論機能１５０ｄにより、推論の結果として、入力画像１の中に第２の領域が含まれていれば１を、入力画像１の中に第２の領域が含まれている場合は０を出力する。
ステップS１４０において、処理回路１５０は、第２の推論機能１５０ｄにより、第２の領域の画像を推論する場合について説明した。しかしながら、実施形態はこれに限られない。一例として、ステップＳ１４０において、すでに述べたステップＳ１４０の処理に加えて、あるいはステップＳ１４０の処理に代えて、処理回路１５０は、第２の推論機能１５０ｄにより、第２の領域の存在有無について推論してもよい。すなわち、処理回路１５０は、第２の推論機能１５０ｄにより、推論の結果として、入力画像１の中に第２の領域が含まれていれば１を、入力画像１の中に第２の領域が含まれている場合は０を出力する。
【0088】
また、別の例として、ステップＳ１４０において、処理回路１５０は、第２の推論機能１５０ｄにより、推論の結果として、入力画像１の中に第２の領域が含まれている確率を出力してもよい。
【0089】
また、ステップＳ１２０において、処理回路１５０は、膵臓領域の画像である第１の領域画像３の生成に加えて、例えば、第１の領域を囲むバウンディングボックスの生成処理や、第１の領域をクロップする処理を行うことにより、第１の領域の推論を行ってもよい。
【0090】
（第２の実施形態）
第１の実施形態では、ステップＳ１３０において処理回路１５０が補正機能１５０ｃにより補正画像を生成する処理において使用されるパラメータについては、入力画像１によらず固定したものを使用していた。しかしながら、実施形態はこれに限られない。第２の実施形態においては、処理回路１５０は、入力画像１に応じて、補正画像を生成する処理において使用されるパラメータの変更を行う。
第１の実施形態では、ステップＳ１３０において処理回路１５０が補正機能１５０ｃにより補正画像を生成する処理において使用されるパラメータについては、入力画像１によらず固定したものを使用していた。しかしながら、実施形態はこれに限られない。第２の実施形態においては、処理回路１５０は、入力画像１に応じて、補正画像を生成する処理において使用されるパラメータの変更を行う。
【0091】
図８に、第２の実施形態における医用画像処理装置１００が行う処理の流れを示すフローチャートが示されている。ここで、ステップＳ１２５及びステップＳ１３０以外の処理については、第１の実施形態と共通の処理であるので、繰り返しての処理については割愛する。
【0092】
ステップＳ１２５において、処理回路１５０は、補正パラメータ取得機能１５０ｅにより、ステップＳ１３０において補正画像４を生成する際に使用させる補正パラメータを取得する、または補正パラメータ決定機能１５０ｆにより、当該補正パラメータを決定する。
【0093】
ここで、補正パラメータの例としては、例えば第１の実施形態においてすでに説明した、ガウシアンフィルタにおけるぼかし量σが挙げられる。
【0094】
処理回路１５０が補正パラメータ取得機能１５０ｅにより補正パラメータを取得する場合、処理回路１５０は、補正パラメータ取得機能１５０ｅにより、例えばメモリ１３２、入力装置１３４または外部の記憶装置等から、当該補正パラメータを取得する。例えば、処理回路１５０は、補正パラメータ取得機能１５０ｅにより、メモリ１３２、入力装置１３４または外部の記憶装置等から、当該補正パラメータを取得する。
【0095】
また、別の例として、処理回路１５０が補正パラメータ決定機能１５０ｆにより補正パラメータを決定する場合、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、ステップＳ１２０で推論された第１の領域の大きさに応じて、補正パラメータの値を決定する。
【0096】
例えば、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、第１の領域である膵臓領域の体積に応じて、補正パラメータであるガウシアンフィルタのぼかし量σの値を決定する。ここで、第１の領域である膵臓領域の体積は、第１の領域を構成する画素数に基づいて算出することができるから、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、第１の領域を構成する画素数に基づいて、補正パラメータであるガウシアンフィルタのぼかし量σを決定する。
【0097】
一例として、入力画像１のサイズが同じである場合、第１の領域の大きさである膵臓の体積が小さいほど、膵臓領域の全画素数が少なくなり、膵臓領域の画素欠損の影響が大きくなる。従って、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、膵臓の体積が小さいほど、ガウシアンフィルタのぼかし量σ'が大きくなるように補正パラメータを決定する。これにより、補正画像４が第１の領域画像３と比較して広がりをもった画像となり、ステップＳ１４０において行われる推論の誤差の影響を緩和することができる。
【0098】
例えば、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、以下の式（４）で定めるガウシアンフィルタのぼかし量σ’の値を、補正パラメータの値として決定する。
【0099】
【数4】
【0100】
ここで、Ｖは対象データセットの膵臓体積であり、Ｖｍａｘは、データセットの中での膵臓体積の最大値、Ｖmｉｎはデータセットの中での膵臓体積の最小値であり、σmａｘはぼかし量の設定値の最大値、σmｉｎはぼかし量の設定値の最小値である。例えばＶ＝７０ｃｍ3、Ｖmａｘ=１２０ｃｍ3、Ｖmｉｎ=２０ｃｍ3、σmａｘ=４、σmｉｎ=２の場合、σ’＝３となる。
【0101】
また、別の例として、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、推定膵臓マスクである第１の領域画像３における領域欠損の大きさの上限値（領域欠損をカバーすると考えられる値）に基づいて、ぼかし量σの値を決定してもよい。領域欠損の大きさは、例えば実際の領域境界である正解画像２と、第１の領域画像３とを比較することにより算出することができる。
【0102】
また、補正パラメータの例としては、上述のガウシアンフィルタのぼかし量σに限られず、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、フィルタサイズやカーネル値を、補正パラメータとして決定してもよい。
【0103】
なお、処理回路１５０が補正パラメータ決定機能１５０ｆによりステップＳ１２５において決定する補正パラメータは、ステップＳ１４０において第２の推論機能１５０ｄにより第２の推論に使用される学習済みモデルに対応付けられた値であってもよい。もっとも、この場合、かかる補正パラメータは、第２の推論に使用される学習済みモデルにおいて使用される値を完全に一致する必要はなく、多少の差異はあってもよい。
【0104】
このように、ステップＳ１２５において設定された補正パラメータは、ステップＳ１３０において処理回路１５０が補正機能１５０ｃにより補正画像４を生成されるのに使用させる。
【0105】
ステップＳ１３０において、処理回路１５０は、第１の実施形態と同様に、補正機能１５０ｃにより、補正画像４を生成してもよい。加えて、第２の実施形態では、例えば補正パラメータの値が特定の値の場合、更なる補正処理を行ってもよい。一例として、処理回路１５０は、補正機能１５０ｃにより、膵臓の体積が所定の閾値を下回る場合、ぼかし処理に加えて、第１の領域画像３を膨張させる膨張処理を追加的に行ってもよい。
【0106】
このように、第２の実施形態においては、処理回路１５０は、ステップＳ１３０において行う補正処理に用いられるパラメータの値を調整することができる。これにより、推論精度を向上することができる。
【0107】
（第３の実施形態）
第２の実施形態においては、第１の領域画像３に応じて、処理回路１５０が補正パラメータ決定機能１５０ｆ等により、ステップＳ１３０において補正処理に用いられる補正パラメータ値を決定する場合について説明した。しかしながら、実施形態はこれに限られない。第３の実施形態では、処理回路１５０は、第１の領域のうち、場所に応じて、補正処理に用いられるパラメータを決定する。換言すると、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、第１の領域を構成する複数の部分領域に応じて複数の補正パラメータを決定する。
第２の実施形態においては、第１の領域画像３に応じて、処理回路１５０が補正パラメータ決定機能１５０ｆ等により、ステップＳ１３０において補正処理に用いられる補正パラメータ値を決定する場合について説明した。しかしながら、実施形態はこれに限られない。第３の実施形態では、処理回路１５０は、第１の領域のうち、場所に応じて、補正処理に用いられるパラメータを決定する。換言すると、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、第１の領域を構成する複数の部分領域に応じて複数の補正パラメータを決定する。
【0108】
図９を用いて、第３の実施形態において処理回路１５０が行う処理の流れについて説明する。ステップＳ１２２以外の処理については、図３または図８においてすでに説明した、第１の実施形態または第２の実施形態と同様の処理であるので、繰り返しての説明は省略する。
【0109】
ステップＳ１２２において、処理回路１５０は、設定機能１５０ｈにより、第１の領域に対して、複数の部分領域を設定する。
【0110】
一例として、第１の領域が膵臓領域である場合、処理回路１５０は、設定機能１５０ｈにより、第１の領域である膵臓領域を、複数の部分領域に分割する。例えば、処理回路１５０は、設定機能１５０ｈにより、第１の領域である膵臓領域を、膵頭領域・膵体領域・膵尾領域の３つの部分領域に分割する。膵頭領域は十二指腸に繋がる領域であり、解剖学的には、膵頭部と膵体部の境界は上腸間膜静脈・門脈左側縁となる。また、膵尾部は、脾臓に接する領域であり、大動脈の左側縁が、膵体部と膵尾部の境界となる。
【0111】
一例として、処理回路１５０は、設定機能１５０ｈにより、例えば第１の領域画像３である膵臓マスク画像のうち、アキシャル面における横方向からみたときの左半分を膵頭領域と、残り半分の領域のうち右側の７０％の領域を膵尾領域と、残りの領域を膵体領域と設定する。また、別の例として、処理回路１５０は、設定機能１５０ｈにより、ＣＴ画像から血管を抽出することにより、複数の部分領域を抽出してもよい。また、別の例として、処理回路１５０は、設定機能１５０ｈにより、第１の領域画像３を単純に３分割することにより、複数の部分領域を設定してもよい。
【0112】
続いて、ステップＳ１２５において、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、第１の領域を構成する複数の部分領域に応じて複数の補正パラメータを決定する。
【0113】
例えば、一般に、膵癌の75％は膵頭部に存在し、膵癌は正常な領域とテクスチャが異なる。また、膵頭側は鉤状になっており複雑であるため、膵臓領域推論における膵頭部に推論誤差が発生しやすい。したがって、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、膵頭領域のぼかし量を、膵体領域および膵尾領域のぼかし量より大きくするように、補正パラメータを決定する。このように、ステップＳ１３０において、処理回路１５０は、補正機能１５０ｃにより、複数の部分領域に応じて定められた補正パラメータに基づいて、補正処理を行う。
【0114】
以上、第３の実施形態では、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、領域ごとに補正パラメータを決定する。これにより、処理回路１５０は、きめ細かな補正処理を行うことができ、画質が向上する。
【0115】
（第３の実施形態の変形例）
実施形態は、上述の例に限られない。一例として、ステップＳ１２５において、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、部分領域ごとの、第２の領域に関する推論の精度の大きさに応じて、補正パラメータを決定してもよい。換言すると、ステップＳ１２５において、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、第２の領域に関する推論の精度の事前確率に応じて、部分領域ごとの補正パラメータを決定してもよい。
実施形態は、上述の例に限られない。一例として、ステップＳ１２５において、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、部分領域ごとの、第２の領域に関する推論の精度の大きさに応じて、補正パラメータを決定してもよい。換言すると、ステップＳ１２５において、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、第２の領域に関する推論の精度の事前確率に応じて、部分領域ごとの補正パラメータを決定してもよい。
【0116】
一例として、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、部分領域それぞれの、ステップＳ１４０における第２の領域に関する推論の精度の推定値（事前確率）に、一定のぼかし量σを掛け合わせた値を、部分領域ごとの補正パラメータとして決定する。すなわち、処理回路１５０は、補正パラメータ決定機能１５０ｆにより、膵頭領域・膵体領域・膵尾領域それぞれの、ステップＳ１４０における第２の領域に関する推論の精度を示す分散値に、一定のぼかし量σを掛け合わせた値を、部分領域ごとの補正パラメータとして決定する。これにより、推定の精度が悪い、すなわち分散が大きいと期待される部分領域についてはぼかし量を大きくし、推定の精度が良い、すなわち分散が小さいと期待される部分領域についてはぼかし量を小さくすることにより、各部分領域の推定精度に応じた補正を行うことができる。
【0117】
また、別の例として、処理回路１５０は、部分領域ごとに、四分位範囲を計算し、四分位範囲の所定の値、例えば、範囲の１．５倍以上に存在する値を超えた外れ値の分散を計算することで、補正パラメータであるぼかし量σを決定してもよい。
【0118】
以上説明した少なくとも１つの実施形態によれば、推論精度を向上させることができる。
【0119】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0120】
１５０ 処理回路
１５０ａ 取得機能
１５０ｂ 第１の推論機能
１５０ｃ 補正機能
１５０ｄ 第２の推論機能
１５０ｅ 補正パラメータ取得機能
１５０ｆ 補正パラメータ決定機能
１５０ｇ 学習機能
１５０ｈ 設定機能
１５０ｉ 表示制御機能
１５０ｊ 受付機能
１５０ａ 取得機能
１５０ｂ 第１の推論機能
１５０ｃ 補正機能
１５０ｄ 第２の推論機能
１５０ｅ 補正パラメータ取得機能
１５０ｆ 補正パラメータ決定機能
１５０ｇ 学習機能
１５０ｈ 設定機能
１５０ｉ 表示制御機能
１５０ｊ 受付機能
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】