特許 7163168 医用画像処理装置、システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-21

(45)【発行日】2022-10-31

(54)【発明の名称】医用画像処理装置、システム及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221024BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 10

(21)【出願番号】P 2018237696

(22)【出願日】2018-12-19

(65)【公開番号】P2020101860

(43)【公開日】2020-07-02

【審査請求日】2021-09-21

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】西岡 昂彦

【審査官】伊知地 和之

(56)【参考文献】

【文献】特表２０１７－５１９２８２（ＪＰ，Ａ）

【文献】特開平０９－１４７０９９（ＪＰ，Ａ）

【文献】国際公開第２０１８／０２４５５５（ＷＯ，Ａ１）

【文献】特表２０１９－５２２２９９（ＪＰ，Ａ）

【文献】鈴木 藍雅 外３名，２段階転移学習を用いた深層畳み込みニューラルネットによるびまん性肺疾患の識別と特徴表現の解析，情報処理学会 研究報告 数理モデル化と問題解決（ＭＰＳ） ２０１８－ＭＰＳ－１１７ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2018年02月22日，pp.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００ － ５／０１

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００ － ６／１４

Ａ６１Ｂ ８／００ － ８／１５

Ｇ０６Ｔ ７／００ － ７／９０

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

入力データおよび出力データを用いて学習した第１学習済みモデルを取得する取得部と、
前処理が施された前処理データと前記出力データとを用いて、前記第１学習済みモデルを再学習させ、前記第１学習済みモデルから前記前処理に対応する処理が除かれた第２学習済みモデルを生成する学習部と、
を具備する医用画像処理装置。

【請求項2】

選択部をさらに具備し、
前記第２学習済みモデルは、前記第２学習済みモデルの処理内容および入出力に関する付帯情報が付帯され、
前記選択部は、前記付帯情報に基づき、目的処理を達成するための第２学習済みモデルの組合せを選択する、請求項１に記載の医用画像処理装置。

【請求項3】

複数の第２学習済みモデルに関する第１リストと、前記第１リストから選択された第２学習済みモデルを含む学習済みモデルの組合せ作業を行う作業領域と、を表示するＧＵＩ（Graphical User Interface）を制御する表示制御部をさらに具備する、請求項２に記載の医用画像処理装置。

【請求項4】

前記第１リストは、前記複数の第２学習済みモデルを処理内容のカテゴリごとにソートして表示される、請求項３に記載の医用画像処理装置。

【請求項5】

前記表示制御部は、前記第１リストから第２学習済みモデルが選択され、当該第２学習済みモデルが前記作業領域に配置された場合、配置された第２学習済みモデルと組合せ可能な学習済みモデルの候補を表示する、請求項３または請求項４に記載の医用画像処理装置。

【請求項6】

前記表示制御部は、ルールベースで設計された処理モデルであるルールモデルに関する第２リストを前記ＧＵＩに表示する、請求項３から請求項５のいずれか１項に記載の医用画像処理装置。

【請求項7】

前記第２学習済みモデルおよび前記ルールモデルはアイコンとして表示され、
前記アイコンは、前記第２学習済みモデルの処理内容を記載したブロックと、前記ブロックの一端に接続され、入力データを表現した記号と、前記ブロックの他端に接続され、出力データを表現した記号とを含む、請求項６に記載の医用画像処理装置。

【請求項8】

前記表示制御部は、前記第２学習済みモデル間、前記ルールモデル間、および前記第２学習済みモデルと前記ルールモデルとの間の入出力関係を整合させるデータ変換を示すコネクタに関する第３リストを前記ＧＵＩに表示する、請求項６または請求項７に記載の医用画像処理装置。

【請求項9】

１以上の医用画像処理装置とサーバとを含む医用画像処理システムであって、
前記サーバは、
入力データおよび出力データを用いて学習した第１学習済みモデルを取得する取得部と、
前処理が施された前処理データと前記出力データとを用いて、前記第１学習済みモデルを再学習させ、前記第１学習済みモデルから前記前処理に対応する処理が除かれた第２学習済みモデルを生成する学習部と、
前記入力データ、前記出力データ、前記前処理データおよび前記第２学習済みモデルを含む複数の学習済みモデルを格納する格納部と、
を具備し、
前記１以上の医用画像処理装置はそれぞれ、
前記複数の学習済みモデルに関する第１リストと、前記第１リストから選択された学習済みモデルの組合せ作業を行う作業領域と、を表示するＧＵＩ（Graphical User Interface）を制御する表示制御部を具備する、医用画像処理システム。

【請求項10】

コンピュータに、
入力データおよび出力データを用いて学習した第１学習済みモデルを取得する取得機能と、
前処理が施された前処理データと前記出力データとを用いて、前記第１学習済みモデルを再学習させ、前記第１学習済みモデルから前記前処理に対応する処理が除かれた第２学習済みモデルを生成する学習機能と、を実現させる医用画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、医用画像処理装置、システム及びプログラムに関する。

【背景技術】

【0002】

機械学習の発展に伴い、医用分野においても機械学習の適用が進みつつある。医用データを用いてモデルを機械学習して学習済みモデルを作成する場合、学習用の医用データを大量に用意する必要がある。
ある目的の処理のために一度作成された学習済みモデルは、基本的に異なる目的の処理のために利用することは難しい。例えば、脳腫瘍を検出するための学習済みモデルは、脳の医用画像の中から腫瘍を検出することに特化している。よって、肝腫瘍など別の部位から腫瘍を検出することに当該学習済みモデルを利用したとしても、肝臓の医用画像に対する処理能力は低いと考えられる。

【0003】

そのため、例えば脳の医用画像から腫瘍を検出する学習済みモデルを生成または購入したユーザが、今度は肝腫瘍を検出する学習済みモデルを利用したいと考えたとする。この場合、新たに肝腫瘍の医用データを用意して肝腫瘍の学習済みモデルを生成するか、別途肝腫瘍の学習済みモデルを購入する必要がある。結果、以前に用いた医用データや学習済みモデルを再利用することができず、ユーザにとって労力およびコストの観点からも非常に負担がかかる。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許出願公開第２０１０／０１２１１７８号明細書

【文献】米国特許第９２０８４０５号明細書

【文献】米国特許出願公開第２０１８／００６０７２２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、ユーザビリティを向上させることである。

【課題を解決するための手段】

【0006】

本実施形態に係る医用画像処理装置は、取得部と、学習部とを含む。取得部は、入力データおよび出力データを用いて学習した第１学習済みモデルを取得する。生成部は、前処理が施された前処理データと前記出力データとを用いて、前記第１学習済みモデルを再学習させ、前記第１学習済みモデルから前記前処理に対応する処理が除かれた第２学習済みモデルを生成する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る医用画像処理装置を示すブロック図である。

【図2A】図２Ａは、学習機能による学習済みモデルの細分化の具体例を示す図である。

【図2B】図２Ｂは、学習機能による学習済みモデルの細分化の具体例を示す図である。

【図3】図３は、第２の実施形態に係る医用画像処理装置を示すブロック図である。

【図4】図４は、第２の実施形態に係る医用画像処理装置の動作例を示す図である。

【図5】図５は、モデル選択機能による細分化候補を判定する一例を示す図である。

【図6】図６は、第３の実施形態に係る医用画像処理装置によるＧＵＩ（Graphical User Interface）の一例を示す図である。

【図7】図７は、ＧＵＩにおけるモデルの検索処理の第１例を示す図である。

【図8】図８は、ＧＵＩにおけるモデルの検索処理の第２例を示す図である。

【図9】図９は、ＧＵＩにおけるモデルの検索処理の第２例を示す図である。

【図10】図１０は、第４の実施形態に係る医用画像診断システムを示すブロック図である。

【図11】図１１は、第４の実施形態に係る医用画像診断システムにおける医用画像処理装置の動作例を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら本実施形態に係わる医用画像処理装置、システムおよびプログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。以下、一実施形態について図面を用いて説明する。

【0009】

なお、以下の本実施形態に係る医用画像処理装置は、Ｘ線ＣＴ（Computed Tomography）装置またはＭＲ（Magnetic Resonance)などの各医用画像診断装置のコンソールに含まれてもよいし、ワークステーションに含まれてもよいし、クラウドサーバなどのサーバに含まれてもよい。

【0010】

（第１の実施形態）
第１の実施形態に係る医用画像処理装置は、学習済みモデルにより実行される処理内容を細分化し、ある処理内容に特化した学習済みモデルへ変更する。
第１の実施形態に係る医用画像処理装置について図１のブロック図を参照して説明する。
第１の実施形態に係る医用画像処理装置１０は、処理回路１１と、データ格納部１２と、通信インタフェース１３とを含む。処理回路１１は、モデル取得機能１１１と、処理分割機能１１３と、学習機能１１５と、表示制御機能１１７とを含む。

【0011】

モデル取得機能１１１により処理回路１１は、処理対象の学習済みモデルを取得する。処理対象の学習済みモデルは、ある入力データおよび出力データの組を学習用データとして用いて学習させることで生成されたモデルである。処理対象の学習済みモデルは、外部から取得されてもよいし、後述するデータ格納部１２に予め格納される学習済みモデルを処理対象の学習済みモデルとして取得してもよい。また、処理対象の学習済みモデルは、後述する学習機能１１５によりモデルを学習させることで生成される学習済みモデルであってもよい。

【0012】

処理分割機能１１３により処理回路１１は、処理対象の学習済みモデルで実行される処理内容を細分化し、処理内容がどのような処理の組合せにより実現されるかを示す細分化情報を得る。具体的には、ＣＴの生データが入力され、肺結節がセグメンテーションされた画像を出力する学習済みモデルを想定する。当該学習済みモデルにおいて生データから肺結節がセグメンテーションされた画像を出力するまでの過程は、例えば、生データをＣＴ画像再構成する処理と、ＣＴ画像から肺野をセグメンテーションする処理と、肺野内の結節をセグメンテーションする処理とに細分化できる。よって、処理分割機能１１３により処理回路１１は、細分化された処理に関する情報を細分化情報として得ればよい。
なお、処理内容の細分化方法は、ユーザがどのような処理に細分化するかを医用画像処理装置１０に入力する方法を想定する。なお、細分化方法は、外部から処理内容の細分化例を得たり、または過去に医用画像処理装置１０で実行された処理内容の細分化例を得たりして、当該細分化例をルックアップテーブルとしてデータ格納部１２に格納しておく。処理分割機能１１３により処理回路１１は、当該ルックアップテーブルを参照する方法でもよい。

【0013】

学習機能１１５により処理回路１１は、細分化情報に基づいて、学習済みモデルを生成した際の入力データとは異なる前処理が施された前処理データと、学習済みモデルを生成した際の出力データとを学習用データとして、当該学習済みモデルを再学習させる。再学習の結果、学習機能１１５により処理回路１１は、元の学習済みモデルから前処理に対応する処理が除かれた再学習済みモデルを生成する。
表示制御機能１１７により処理回路１１は、学習済みモデル、学習済みモデルの細分化情報などをディスプレイに表示させる。

【0014】

データ格納部１２は、種々の情報を記憶するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、集積回路記憶装置等の記憶装置である。データ格納部１２は、ＨＤＤやＳＳＤ等以外にも、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリ等の可搬性記憶媒体や、ＲＡＭ（Random Access Memory）等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリの保存領域は、医用画像処理装置１０内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。
データ格納部１２は、例えば、学習済みモデルを再学習させるための、入力データおよび正解データ（出力データ）となる学習用データ、細分化情報を格納する。入力データとしては、例えば生データ、サイノグラムデータ、ボリュームデータ、画像データが挙げられる。正解データとしては、例えばサイノグラムデータ、ボリュームデータ、画像データ、判定スコア（病変スコアなど）、分析結果が挙げられる。学習用データは、入力データと正解データとの組の場合もあるし、前処理データと正解データとの組の場合もある。データ格納部１２はさらに、入力されるデータに対し前処理を行う学習済みモデルである前処理モデルを格納してもよい。前処理モデルを用いることで、入力データから前処理データを生成することができる。

【0015】

通信インタフェース１３は、外部と通信するためのインタフェースであり、一般的なインタフェースを用いればよいため、ここでの説明は省略する。

【0016】

次に、学習機能１１５による学習済みモデルの細分化の具体例について図２Ａおよび図２Ｂを参照して説明する。
学習済みモデルは、入力データと出力データとの組である学習用データに基づいて、モデル学習プログラムに従い、例えば多層ネットワークなどのモデルを機械学習することで生成される。機械学習のアルゴリズムとしては、ニューラルネットワーク、ディープラーニング、Random Forest等を想定するが、サポートベクタマシン、カーネル回帰など他の機械学習アルゴリズムを用いてもよい。なお、学習済みモデルは、複数の関数が合成されたパラメータ付き合成関数ともいえる。パラメータ付き合成関数は、複数の調整可能な関数およびパラメータの組合せにより定義される。学習済みモデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。

【0017】

ここで図２Ａに示すように、（ａ）処理対象の学習済みモデルとして、処理内容が「肺の腫瘍をセグメンテーション」である学習済みモデル２０を想定する。学習済みモデル２０は、入力データ２１としてボリュームデータが入力されると、出力データ２２として肺の腫瘍がセグメンテーションされた画像データを出力する。

【0018】

処理分割機能１１３により処理回路１１は、細分化情報に基づき、ボリュームデータから肺の腫瘍をセグメンテーションするまでの学習済みモデル２０の処理内容を細分化する。処理内容の細分化は、上述したようなユーザが適宜入力する方法でも、ルックアップテーブルを参照する方法でもよい。さらには、処理対象の学習済みモデル２０の処理途中の状態を確認できる場合は、処理途中でどのような処理が行われているかを検出し、検出された処理に応じて処理内容を細分化してもよい。

【0019】

ここでは、ボリュームデータから肺をセグメンテーションする第１ステップと、セグメンテーションされた肺を肺葉ごとに分割する第２ステップと、腫瘍をセグメンテーションする第３ステップとに処理内容が細分化された場合を想定する。ここで、ユーザが第３ステップの処理を実行する学習済みモデルを生成したいと考える場合、第１ステップおよび第２ステップは前処理と呼ばれる。

【0020】

学習機能１１５により処理回路１１は、入力データ２１に対する前処理として、入力データ２１に第１ステップが実行されたデータを入力データ２３とし、肺の腫瘍がセグメンテーションされたデータを出力データ２２とする学習用データに基づいて、学習済みモデル２０を再学習（例えば強化学習）させる（図２Ａ中、（ｂ））。入力データ２３としては、予め肺がセグメンテーションされたボリュームデータをデータ格納部１２に用意し、肺がセグメンテーションされたボリュームデータが用いられてもよい。または、外部から取得した肺がセグメンテーションされたボリュームデータが用いられてもよい。または、データ格納部１２に格納されるボリュームデータに対して一般的なセグメンテーション処理を実行することで、肺がセグメンテーションされたボリュームデータが生成され用いられてもよい。または、ボリュームデータが入力され、肺がセグメンテーションされたデータを出力する学習済みモデルの出力が用いてもよい。

【0021】

再学習の結果として得られる再学習済みモデル２４は、ボリュームデータから肺がセグメンテーションされた後のデータが入力データとして用いられるため、第１前処理済みデータを処理する学習済みモデルに変更される。つまり、再学習済みモデル２４は、学習済みモデル２０から第１前処理機能を除いたモデルに変更される（図２Ａ中、（ｃ））。再学習済みモデル２４は、ボリュームデータから肺がセグメンテーションされたデータが入力され、肺の腫瘍がセグメンテーションされたデータを出力する。

【0022】

同様に、第２ステップに関する前処理済みのデータと出力データ２２を用いて、再学習済みモデル２４を再学習する例を図２Ｂに示す。
ここでは、第２ステップ、すなわち肺を肺葉ごとに分割したデータを入力データ２５とし、肺の腫瘍がセグメンテーションされたデータを出力データ２２とする学習用データに基づいて、再学習済みモデル２４を再学習させる（図２Ｂ中、（ｄ））。入力データ２５は、入力データ２３の場合と同様に取得されればよい。例えば、入力データ２５として、予め肺葉ごとに分割されたデータが用いられてもよいし、肺がセグメンテーションされたデータが入力され、肺葉ごとに分割されたデータを出力する学習済みモデルの出力が用いられてもよい。

【0023】

再学習の結果として得られる再学習済みモデル２６は、肺葉ごとに分割されたデータが入力データとして用いられるため、第２前処理済みデータを処理する学習済みモデルに変更される。つまり、再学習済みモデル２６は、再学習済みモデル２４から第２前処理機能を除いたモデルに変更される（図２Ａ中、（ｅ））。再学習済みモデル２６は、肺葉ごとに分割されたデータが入力され、肺の腫瘍がセグメンテーションされたデータを出力する。

【0024】

なお、図２Ａおよび図２Ｂの（ｂ）および（ｄ）に示す再学習の段階で、学習機能１１５により処理回路１１が、学習済みモデル２０の多層ネットワークの中で前処理に相当する処理を実行している層を検出できる場合は、当該前処理に相当する処理を実行している層を削減したモデルに対して、再学習を実行し、再学習済みモデルを生成してもよい。

【0025】

さらに、図２Ａおよび図２Ｂでは、細分化された処理ごとに学習済みモデルを再学習しているが、これに限らず、図２Ａの（ｂ）の再学習を実行せずに、第２前処理済みデータを入力データとし、（ｄ）の再学習を実行してもよい。

【0026】

以上に示した第１の実施形態によれば、学習済みモデルの処理内容を細分化し、汎用性の高い学習済みモデルとなるように再学習（強化学習）させることで、汎用性の高い学習済みモデルに学習済みモデルを変更することができる。つまり、例えば肺の腫瘍をセグメンテーションした画像を出力する学習済みモデルを再学習し、腫瘍をセグメンテーションする処理に特化した学習済みモデルに変更する。当該変更された学習済みモデルに、肝臓がセグメンテーションされたデータを入力すると、当該変更された学習済みモデルでは、何らかのセグメンテーションが実行されたデータに対して腫瘍をセグメンテーションした画像を出力するので、肺の医用データに限らず、肝臓など他の臓器の医用データから腫瘍をセグメンテーションできる。
すなわち、第１の実施形態によれば、より汎用性の高い学習済みモデルを生成でき、ユーザビリティを向上させることができる。

【0027】

（第２の実施形態）
第２の実施形態では、所望の処理を１つの学習済みモデルで実現するのではなく、複数の汎用的な学習済みモデルを組み合わせることで所望の処理を実現する。

【0028】

第２の実施形態に係る医用画像処理装置１０について図３のブロック図を参照して説明する。
第２の実施形態に係る医用画像処理装置１０は、第１の実施形態に係る医用画像処理装置１０に加え、処理回路１１にモデル選択機能１１９をさらに含む。また、データ格納部１２および処理回路１１の処理分割機能１１３の構成が第１の実施形態と異なる。

【0029】

データ格納部１２は、複数の学習済みモデルを格納する。複数の学習済みモデルはそれぞれ、処理内容が異なる。例えば、腫瘍を抽出する学習済みモデル、肺をセグメンテーションする学習済みモデルなど、各用途に応じた学習済みモデルを格納する。なお、同じ処理内容であっても入力するデータの違いに応じて複数の学習済みモデルが格納されてもよい。例えば、ＣＴ画像から腫瘍をセグメンテーションする学習済みモデルと、ＭＲ画像から腫瘍をセグメンテーションする学習済みモデルとをそれぞれ格納する。

【0030】

また、学習済みモデルには、付帯情報が付帯される。付帯情報は、学習済みモデルの処理内容、学習済みモデルから出力されるデータの正答率、学習済みモデルの入力データおよび出力データ、学習済みモデルの処理内容を実行するのに要する処理時間などを含む。

【0031】

また、データ格納部１２は、学習済みモデルに加え、ルールベースで設計された処理モデル（以下、ルールモデルという）を格納してもよい。ルールモデルにも付帯情報が付帯される。

【0032】

処理分割機能１１３により処理回路１１は、ユーザの所望の処理（以下、目的処理と呼ぶ）を複数の処理に細分化する。言い換えれば、目的処理を複数の処理（ステップ）の組み合わせに変換する。目的処理を細分化する場合は、第１の実施形態に係る学習済みモデルの処理内容を細分化する場合と同様の方法を用いればよい。
モデル選択機能１１９により処理回路１１は、付帯情報に基づき、目的処理を達成するための学習済みモデルの組合せを選択する。

【0033】

次に、第２の実施形態に係る医用画像処理装置１０の具体的な動作例について図４を参照して説明する。
目的処理４０として、「Ｘ線ＣＴ装置により取得した生データから肺結節をセグメンテーションする」場合を想定する。以下、Ｘ線ＣＴ装置により取得した生データをＣＴ生データという。

【0034】

処理分割機能１１３により処理回路１１は、目的処理４０を、ＣＴ生データからの画像再構成処理、肺野セグメンテーション処理、及び肺野内の結節セグメンテーション処理に細分化する。結果として、第１学習済みモデル４１、第２学習済みモデル４３および第３学習済みモデル４５の組合せが得られる。

【0035】

目的処理の細分化の粒度（例えば、組み合わされる処理の数）は、ユーザが所有している（データ格納部１２に格納される）学習済みモデルを優先的に利用するように決定されてもよい。例えば、目的処理を第１の処理から第５の処理までの５つの処理に細分化できる場合、ユーザが既に第４および第５の処理をまとめた学習済みモデルを所有していれば、当該学習済みモデルを利用すべく、目的処理を３つの処理に細分化すればよい。なお、細分化の粒度は、なるべく細分化数が少なくなるような学習済みモデルの組合せに決定されてもよいし、反対に、なるべく細分化数が多くなるような学習済みモデルの組合せに決定されてもよい。

【0036】

モデル選択機能１１９により処理回路１１は、目的処理が細分化された、画像再構成処理、肺野セグメンテーション処理および結節セグメンテーションに対応する各学習済みモデルを、データ格納部１２から選択する。なお、モデル選択機能１１９により処理回路１１は、自動的に学習モデルを選択することに限らずユーザが手動でモデルを選択してもよい。

【0037】

なお、目的処理を細分化する際には、目的処理が１つのパターンに細分化されず、複数のパターンが細分化候補として想定される場合もある。この場合、モデル選択機能１１９により処理回路１１が、どの細分化候補が最も適切かを判定してもよい。

【0038】

モデル選択機能１１９による細分化候補の判定例について図５を参照して説明する。
図５の例では、図４に示す目的処理４０「Ｘ線ＣＴ装置により取得した生データから肺結節をセグメンテーションする」について、２つの細分化候補５１，５３が生成される場合を示す。細分化候補５１は「画像再構成処理→肺のセグメンテーション→肺葉のセグメンテーション→腫瘍のセグメンテーション」で示される順序の学習済みモデル５１１の組合せであり、細分化候補５３は「肺のセグメンテーション→ＴＤＣ取得処理→ＴＤＣに基づく腫瘍のセグメンテーション」で示される順序の学習済みモデル５３１の組合せである場合を想定する。

【0039】

学習済みモデル５１１には付帯情報５１３が付帯され、学習済みモデル５３１には付帯情報５３３が付帯される。また、細分化候補５１には全体的な付帯情報５２が付帯され、細分化候補５３にも全体的な付帯情報５４が付与される。なお、図５の例では、説明の便宜上、付帯情報５１３のみ内容を図示しているが、他の付帯情報にも同様の情報が含まれる。

【0040】

全体的な付帯情報５２および付帯情報５４に含まれるデータの正答率は、細分化候補に含まれる各学習済みモデルの正答率の平均であってもよいし、細分化候補５１または細分化候補５３によりサンプルデータを処理させることで得られる正答率でもよい。または、第三者により実際に利用されたときの正答率のフィードバックデータを利用してもよい。全体的な付帯情報に含まれる処理時間は、各学習済みモデルの処理時間を積算した時間を用いればよい。

【0041】

モデル選択機能１１９により処理回路１１は、付帯情報に基づき、最適な細分化候補（組合せ候補）を処理モデルとして選択する。図５の例では、正答率が優先されるように設定してあれば、細分化候補５３が処理モデルとして選択され、処理時間が優先される設定であれば、細分化候補５１が処理モデルとして選択される。なお、提示される正答率または処理時間を考慮して、ユーザが手動で最適な細分化候補を処理モデルとして選択してもよい。

【0042】

以上に示した第２の実施形態によれば、目的処理を複数の処理に細分化し、モデル選択機能１１９により処理回路１１が、処理ごとの学習済みモデルを組み合わせることで、目的処理を実現する。これにより、例えばユーザが、目的処理を処理内容とする学習済みモデルを所有していなくとも、手持ちの学習済みモデルを組み合わせることで同様の目的処理を実現できると共に、既に購入または作成された、手持ちの学習済みモデルを有効に利用することができる。

【0043】

（第３の実施形態）
第３の実施形態では、学習済みモデルの組合せを支援するＧＵＩ（Graphical User Interface）を提供する医用画像処理装置を示す。

【0044】

第３の実施形態に係るＧＵＩの一例について図６を参照して説明する。
図６は、ユーザによる学習済みモデルの組合せを支援するＧＵＩであり、表示制御機能１１７により処理回路１１が、例えばコンソール装置またはワークステーションのディスプレイへの当該ＧＵＩの表示を制御する。

【0045】

ユーザは、キーボード、マウス、トラックボールなどの外部入力装置、または、タッチパネル式のディスプレイであれば直接触れることにより、ＧＵＩへの入力またはカーソル６８の移動を実現し、目的処理を実現するための学習済みモデルの組合せ作業を含む設計を行うことができる。

【0046】

図６では、ある目的処理に対して、入力データと出力データとが決定されているとする。表示制御機能１１７により処理回路１１は、目的処理に関する複数の学習済みモデルの組合せ作業を行う作業領域６０、複数の学習済みモデル６０１を表示するＡＩモデルリスト６２、ルールモデル６４０を表示するルールベースリスト６４、および後述するコネクタ６６０を表示するコネクタリスト６６を含むＧＵＩの表示を制御する。ＡＩモデルリスト６２には、第２の実施形態に示すデータ格納部１２に格納される複数の学習済みモデルが含まれることを想定する、第１の実施形態で生成された再学習済みモデルをＡＩモデルリスト６２に含めてもよい。

【0047】

ユーザは、目的処理を実現するように、ＡＩモデルリスト６２から複数の学習済みモデル６０１を選択し、ルールベースリスト６４からルールモデル６４０を選択して、学習済みモデル６０１およびルールモデル６４０の組合せ作業を実行する。また、図示しないが、学習済みモデル６０１を選択することで、学習済みモデル６０１に付帯される付帯情報を表示するようにしてもよい。また、ルールモデル６４０に対しても付帯情報が付帯されてもよい。以下、便宜上、学習済みモデル６０１およびルールモデル６４０をまとめて単に「モデル」と呼ぶ。

【0048】

ＡＩモデルリスト６２、ルールベースリスト６４、およびコネクタリスト６６は、モデルの処理内容のカテゴリごとにソートして表示されてもよい。例えば、「セグメンテーション」のカテゴリ、「腫瘍判定」のカテゴリといったように区別してモデルを表示することで、ユーザの視認性を向上させることができる。

【0049】

なお、第２の実施形態で示した細分化候補をデフォルトで作業領域６０に表示させておき、ユーザが、細分化候補をそのまま利用するか、細分化候補を組み替えるかを判断してもよい。

【0050】

ＧＵＩで表示される学習済みモデル６０１は、説明ブロック６０１１と、入力端子６０１３と出力端子６０１５とを含む。説明ブロック６０１１は、学習済みモデル６０１の処理内容を記載したブロックである。入力端子６０１３は、入力データの形式が記号で示され、当該記号が説明ブロック６０１１の一端に枝を介して接続される。出力端子６０１５は、出力データの形式が記号で示され、当該記号が説明ブロック６０１１の他端に枝を介して接続される。

【0051】

入力端子６０１３および出力端子６０１５の各データの形式としては、例えば、ピクセルデータ、ボクセルデータ、生データ、中間データ（例えば、サイノグラム）などが想定される。入力各データの形式を一意に識別するため、各データに異なる記号が割り当てられる。

【0052】

ユーザは、入力端子６０１３および出力端子６０１５の形状を見れば、入出力のデータ形式が一致するか否かを容易に判断できる。図６の例では、入力データがボリュームデータで記号が「○」であると想定すると、肺のセグメンテーション処理に関する学習済みモデル６０１の入力端子６０１３が「○」の記号であるので、ユーザは学習済みモデル６０１を入力に接続可能であると判断できる。なお、ルールモデル６４０については、学習済みモデル６０１と同様の表示形式であるので説明を省略する。

【0053】

ここで、モデルの組合せ作業において、目的処理の入力および出力の間で入出力関係が揃わない場合も考えられる。例えば、先のモデルからの出力がボリュームデータで、接続したい学習済みモデル６０１の入力が画像データである場合、ボリュームデータから画像データへの変換が必要となる。また、入出力が同じ画像データでも、画像のマトリクスサイズが異なる場合は、入力先のマトリクスサイズに合わせて出力元のマトリクスサイズを変換する必要がある。

【0054】

よって、データ形式の変換およびマトリクスサイズの変換など、モデル間の入出力関係を整合させるデータ変換を示すコネクタ６６０をコネクタリスト６６に複数格納する。コネクタ６６０は、マトリクスサイズ変換であればマスク画像を用いればよく、データ変換であれば一般的なデータ変換式を用いればよい。
コネクタ６６０を用意することで、ユーザが視覚的かつ容易に学習済みモデル間のデータの入出力関係を合わせることができる。

【0055】

次に、ＧＵＩにおけるモデルの検索処理の第１例について図７を参照して説明する。
図７は、作業領域６０に学習済みモデル６０１を１つ配置した状態を示す。表示制御機能１１７により処理回路１１は、候補領域７０をＧＵＩ上に表示する。候補領域７０には、モデル候補７０１と必要コネクタ７０３とが対応付けられて表示される。
モデル候補７０１は、作業領域６０に配置されたモデルに対し組合せ可能なモデルを示す。モデル候補は、例えば処理分割機能１１３により処理回路１１が、細分化情報に基づいて、配置された学習済みモデル６０１に接続されたモデルを抽出すればよい。
必要コネクタ７０３は、作業領域６０に配置されたモデルに対してモデル候補７０１を接続する際に必要となるコネクタを示す。必要コネクタは、例えば表示制御機能１１７により処理回路１１が、付帯情報を参照して、作業領域６０に配置されたモデルの出力と、組合せ可能なモデルの入力とに関する情報から、入出力関係が一致していなければ、入出力関係が一致するような変換、つまりコネクタを選択して表示させればよい。なお、コネクタが必要ない場合には、「なし」と記載されるか、空欄とすればよい。

【0056】

表示制御機能１１７により処理回路１１は、作業領域６０に、モデルが配置されると、配置されたモデルを参照して、モデル候補をＡＩモデルリスト６２、ルールベースリスト６４およびコネクタリスト６６から、対象となるモデルまたはコネクタを抽出し、候補領域７０に表示する。

【0057】

次に、ＧＵＩにおけるモデルの検索処理の第２例について図８および図９を参照して説明する。図８および図９は、いわゆるインクリメンタルサーチを想定する。
図８は、ユーザがモデルの組合せに用いたいと考えるモデルについて、ユーザが検索ウィンドウ８０に文字を入力する例である。「は」と入力すると、「は」から始まる学習済みモデル６０１およびルールモデル６４０の候補が候補欄８１に表示される。なお、コネクタ６６０に名称を付与しておけば、学習済みモデル６０１およびルールモデル６４０と併せて、コネクタ６６０も検索対象に設定されてもよい。続けてユーザが検索ウィンドウ８０に「はい」と入力すると、候補欄８１に表示されるモデルが、「はい」から始まる学習済みモデル６０１およびルールモデル６４０に限定される。このような学習済みモデル６０１として、例えば、肺のセグメンテーションのモデルが表示される。

【0058】

以上に示した第３の実施形態によれば、学習済みモデルの組合せを支援するＧＵＩを提供することで、ユーザが目的処理を実現可能な範囲で自由にモデルを組合せることができ、目的処理の設計に関するユーザビリティを向上させることができる。

【0059】

（第４の実施形態）
次に、第４の実施形態として、クラウドを利用してモデルの購入および販売を行う例について説明する。
第４の実施形態に係る医用画像診断装置を含む医用画像診断システムについて図１０を参照して説明する。

【0060】

図１０に示す医用画像診断システム１は、１以上の医用画像処理装置１０と、クラウドサーバ３とを含む。１以上の医用画像処理装置１０は、医用画像処理装置１０が病院ごとに配置される場合を想定する。各医用画像処理装置１０は、ネットワーク５を介してクラウドサーバ３と接続される。

【0061】

医用画像処理装置１０は、第１の実施形態または第２の実施形態に係る医用画像処理装置１０の構成でもよいが、ここでは、処理回路１１は表示制御機能１１７を含むとする。

【0062】

クラウドサーバ３は、データ格納部１２と、処理回路１１と、通信インタフェース１３を含む。処理回路１１は、モデル取得機能１１１、学習機能１１５および処理分割機能１１３を含む。このように、処理負荷が多いと想定される学習機能１１５や、メモリに対する負荷が多いデータ格納部１２などの構成をクラウドサーバ３に含み、その他の構成を医用画像処理装置１０に含むように構成を分散させてもよい。構成を分散させる際は、医用画像処理装置１０ごとにアクセス権限を付与し、クラウドサーバ３に格納される学習用データおよび各種モデル（学習済みモデル、ルールモデル）のうち、アクセス権限を有するデータのみにアクセスを許可するようにアクセスを制限してもよい。

【0063】

クラウドサーバ３は、医用画像処理装置１０からの学習用データおよび各種モデルについてのダウンロード要求に応じて、医用画像処理装置１０にデータをダウンロードさせてもよい。または、クラウドサーバ３は、医用画像処理装置１０からの学習用データおよび各種モデルについてのアップロード要求に応じて、医用画像処理装置１０にデータをアップロードさせてもよい。

【0064】

図１０に示すような構成とすることで、各医用画像処理装置１０側では、処理回路１１を実現するプロセッサやメモリの負荷を減らしつつ、スループットを向上させることができる。また、クラウドサーバ３側で学習処理などを行うことで、学習時間を短縮でき、データの一元管理を実現することができる。

【0065】

次に、第４の実施形態に係る医用画像処理装置１０の動作例を図１１に示す。
図１１は、図７と同様に作業領域６０と候補領域７２とを示すＧＵＩの一例である。

【0066】

表示制御機能１１７により処理回路１１は、候補領域７２をＧＵＩ上に表示する。候補領域７２は、モデル候補７０１とユーザが当該モデル候補７０１を所有しているか否かを示す所有フラグ７０５とを対応付けて表示する。モデル候補に自身が所有していないモデル（以下、未所持モデル７２１という）は、所有フラグ７０５を「×」として表示させる。未所持モデル７２１は、図１０のように、アイコンを破線で表示してもよいし、色を薄く表示してもよいし、マークを付けるなどしてもよい。すなわち、自身が所有しているモデルと区別して表示される態様で未所持モデル７２１が表示されればよい。

【0067】

さらに、表示制御機能１１７により処理回路１１は、未所持モデル７２１を購入するための購入ボタン７２３を表示してもよい。ユーザは、購入ボタン７２３にカーソル６８を合わせクリックすることで、モデルおよび金額の確認画面（図示せず）を表示させ、さらに確認ボタンを押下すれば未所持モデル７２１を購入可能とする。未所持モデル７２１の購入方法は、例えばクラウドサーバ３に、多数の学習済みモデル、ルールモデルおよびコネクタを格納しておき、ユーザが利用する医用画像処理装置１０からクラウドサーバ３にアクセスして未所持モデル７２１を購入可能とすればよい。

【0068】

また、ユーザが作成した学習済みモデル、ルールモデルおよびコネクタをクラウドサーバ３に登録できるようにし、登録したモデルを第三者に販売できるようにしてもよい。

【0069】

以上に示した第４の実施形態によれば、クラウドサーバに学習用データおよび各種モデルを格納し、ユーザが各種モデルをクラウドサーバから購入及び販売できることで、ユーザビリティを向上させることができる。

【0070】

本実施形態に係る処理回路１１は、例えば、ハードウェア資源として、ＣＰＵ（Central Processing Unit）やＭＰＵ(Micro Processing Unit)、ＧＰＵ（Graphics Processing Unit）等のプロセッサとＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリとを含む。また処理回路１１は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）やフィールド・プログラマブル・ゲート・アレイ（Field Programmable Gate Array：ＦＰＧＡ）、他の複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）により実現されてもよい。処理回路１１は、メモリに展開されたプログラムを実行するプロセッサにより、モデル取得機能１１１、処理分割機能１１３、学習機能１１５、表示制御機能１１７およびモデル選択機能１１９を実行する。なお、各機能（モデル取得機能１１１、処理分割機能１１３、学習機能１１５、表示制御機能１１７およびモデル選択機能１１９）は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路１１を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。

【0071】

なお、上述した実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク（ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）ディスクなど）、半導体メモリなどの記憶媒体に格納して頒布することも可能である。

【0072】

上述の第１の実施形態から第３の実施形態に係る医用画像処理装置および第４の実施形態に係る医用画像処理システムによれば、ユーザビリティを向上させることができる。

【0073】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0074】

１ 医用画像診断システム
３ クラウドサーバ
５ ネットワーク
１０ 医用画像処理装置
１１ 処理回路
１２ データ格納部
１３ 通信インタフェース
２０ 学習済みモデル
２１，２３，２５ 入力データ
２２ 出力データ
２４，２６ 再学習済みモデル
４０ 目的処理
４１，４３，４５，５１１，５３１，６０１ 学習済みモデル
５１，５３ 細分化候補
５２，５４，５１３，５３３ 付帯情報
６０ 作業領域
６２ ＡＩモデルリスト
６４ ルールベースリスト
６６ コネクタリスト
６８ カーソル
７０，７２ 候補領域
８０ 検索ウィンドウ
１１１ モデル取得機能
１１３ 処理分割機能
１１５ 学習機能
１１７ 表示制御機能
１１９ モデル選択機能
６４０ ルールモデル
６６０ コネクタ
７０１ モデル候補
７０３ 必要コネクタ
７０５ 所有フラグ
７２１ 未所持モデル
７２３ 購入ボタン
６０１１ 説明ブロック
６０１３ 入力端子
６０１５ 出力端子

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】