特許 7361818 コンピュータプログラム、学習モデル生成方法、画像処理装置、画像処理システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-05

(45)【発行日】2023-10-16

(54)【発明の名称】コンピュータプログラム、学習モデル生成方法、画像処理装置、画像処理システム及び画像処理方法

(51)【国際特許分類】

   A61B 5/055 20060101AFI20231006BHJP

   G06T 1/00 20060101ALI20231006BHJP

   G06T 7/00 20170101ALI20231006BHJP

【ＦＩ】

A61B5/055 380

G06T1/00 290

G06T7/00 350B

【請求項の数】 11

(21)【出願番号】P 2022033763

(22)【出願日】2022-03-04

(65)【公開番号】P2023129024

(43)【公開日】2023-09-14

【審査請求日】2023-02-01

(73)【特許権者】

【識別番号】000166247

【氏名又は名称】古野電気株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】小泉 憲裕

(72)【発明者】

【氏名】近藤 亮祐

(72)【発明者】

【氏名】今泉 飛翔

(72)【発明者】

【氏名】草原 健太

(72)【発明者】

【氏名】井芹 健介

【審査官】永田 浩司

(56)【参考文献】

【文献】米国特許出願公開第２０２１／０１２５３３３（ＵＳ，Ａ１）

【文献】特表２０２０－５２６８４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
筋肉部を含む医用画像を取得し、
医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第２学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、
出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、
医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第１学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力し、
筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第３学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力し、
出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出し、
前記第２学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する、
処理を実行させるコンピュータプログラム。

【請求項2】

コンピュータに、
アルゴリズムが異なる複数の前記第２学習モデルそれぞれに、取得した医用画像を入力して、前記第２学習モデルそれぞれが出力する筋肉部全体の領域情報の一致度合いを算出し、
算出した一致度合いが所定の閾値以上である場合、出力した前記筋肉部全体の領域情報に基づいて前記筋肉部全体画像を生成する、
処理を実行させる請求項１に記載のコンピュータプログラム。

【請求項3】

コンピュータに、
出力した前記各筋肉部位それぞれの領域情報に対する修正を受け付け、
修正を受け付けた領域情報と共に前記医用画像及び筋肉部全体画像に基づいて前記第１学習モデルを再学習する、
処理を実行させる請求項１又は請求項２に記載のコンピュータプログラム。

【請求項4】

コンピュータに、
前記各筋肉部位それぞれの領域情報に基づいて、各筋肉部位の間隔が所定範囲であるか否を判定し、
前記筋肉部位間の間隔が前記所定範囲以内である場合、前記筋肉部位の少なくとも一方を縮小して領域情報を補正し、
前記筋肉部全体画像及び補正した領域情報を含む前記筋肉部位それぞれの領域情報に基づいて筋膜の領域情報を出力する、
処理を実行させる請求項１から請求項３のいずれか一項に記載のコンピュータプログラム。

【請求項5】

コンピュータに、
前記筋肉部位間の間隔が前記所定範囲より広い場合、前記筋肉部位の少なくとも一方を拡大して領域情報を補正し、
前記筋肉部全体画像及び補正した領域情報を含む前記筋肉部位それぞれの領域情報に基づいて筋膜の領域情報を出力する、
処理を実行させる請求項４に記載のコンピュータプログラム。

【請求項6】

コンピュータに、
出力した筋膜の領域情報に対する修正を受け付け、
修正を受け付けた領域情報と共に前記医用画像及び筋肉部全体画像に基づいて前記第１学習モデルを再学習する、
処理を実行させる請求項１から請求項５のいずれか一項に記載のコンピュータプログラム。

【請求項7】

前記筋肉部は、大腿部を含み、
前記筋肉部全体は、四頭筋全体を含み、
前記筋肉部位は、四頭筋を含む、
請求項１から請求項６のいずれか一項に記載のコンピュータプログラム。

【請求項8】

筋肉部を含む医用画像、筋肉部全体の領域情報、前記筋肉部の近傍の所定の骨の領域情報及び前記筋肉部の各筋肉部位それぞれの領域情報を含む第１訓練データを取得し、
前記第１訓練データに基づいて、医用画像を入力した場合に、筋肉部全体の領域情報を出力するように第２学習モデルを生成し、
前記第１訓練データに基づいて、筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するよう第３学習モデルを生成し、
前記所定の骨の領域情報に基づいて、前記骨の輪郭を抽出し、
筋肉部全体の領域情報及び前記骨の輪郭に基づいて筋肉部全体画像を生成し、
前記第１訓練データに基づいて、前記医用画像及び生成した筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように第１学習モデルを生成する、
学習モデル生成方法。

【請求項9】

筋肉部を含む医用画像を取得する取得部と、
医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第２学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力する第１出力部と、
出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成する画像生成部と、
医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第１学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する第２出力部と、
筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第３学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力する第３出力部と、
出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出する抽出部と、
前記第２学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する生成部と
を備える、
画像処理装置。

【請求項10】

筋肉部を含む医用画像を取得する取得部と、
医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第２学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力する第１出力部と、
出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成する画像生成部と、
医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第１学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する第２出力部と、
筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第３学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力する第３出力部と、
出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出する抽出部と、
前記第２学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する生成部と
を備える、
画像処理システム。

【請求項11】

筋肉部を含む医用画像を取得し、
医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第２学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、
出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、
医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第１学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力し、
筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第３学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力し、
出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出し、
前記第２学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータプログラム、学習モデル生成方法、画像処理装置、画像処理システム及び画像処理方法に関する。

【背景技術】

【0002】

前腕や下腿などの筋肉に比べて大腿部の筋肉は大きく、筋肉量を増やすことで基礎代謝を上げることができる。また、大腿部は、骨盤のバランスを維持し、膝関節を支えるためにも重要な部位であり、これら筋肉の状態を把握することが健康維持に不可欠である。

【0003】

特許文献１には、測定対象筋肉に超音波を照射して得られる超音波エコー画像に対してテクスチャ解析を行って測定対象筋肉の筋力低下を導出する超音波診断装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１３０５９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

筋肉は複数の部位で構成され、それぞれの部位が重要な役割を有しており、各部位を精度よく特定することが望まれる。

【0006】

本発明は、斯かる事情に鑑みてなされたものであり、筋肉の部位を精度よく特定できるコンピュータプログラム、学習モデル生成方法、画像処理装置、画像処理システム及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、コンピュータプログラムは、コンピュータに、筋肉部を含む医用画像を取得し、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第２学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第１学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する、処理を実行させる。

【発明の効果】

【0008】

本発明によれば、筋肉の部位を精度よく特定できる。

【図面の簡単な説明】

【0009】

【図1】本実施形態の画像処理装置の構成の一例を示す図である。

【図2】制御部の構成の一例を示す図である。

【図3】画像処理装置による部位検出の一例を示す図である。

【図4】第１学習モデル及び第２学習モデルの生成方法の一例を示す図である。

【図5】画像処理装置による大腿骨の輪郭検出の一例を示す図である。

【図6】四頭筋全体画像の生成方法の一例を示す図である。

【図7】筋膜画像の生成方法の第１例を示す図である。

【図8】筋膜画像の生成方法の第２例を示す図である。

【図9】各四頭筋画像（領域情報）の領域修正画面の一例を示す図である。

【図10】筋膜画像（領域情報）の領域修正画面の一例を示す図である。

【図11】異なるアルゴリズムを用いた第２学習モデルが出力した四頭筋全体の領域情報の一例を示す図である。

【図12】本実施形態の画像処理装置の構成の他の例を示す図である。

【図13】画像処理装置による各四頭筋の検出処理の一例を示す図である。

【図14】画像処理装置による学習モデルの生成処理の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について説明する。図１は本実施形態の画像処理装置１００の構成の一例を示す図である。画像処理装置１００は、装置全体を制御する制御部１０、通信部１１、メモリ１２、表示部１３、操作部１４、及び記憶部１９を備える。記憶部１９は、コンピュータプログラム２０、第１学習モデル２１、第２学習モデル２２、及び第３学習モデル２３などを記憶する。なお、画像処理装置１００は、各機能部を複数の装置に分散し、当該複数の装置で構成して、画像処理システムとしてもよく、あるいは１又は複数のクラウド（サーバ）で構成してもよい。例えば、本システムは、一つのコンピュータのプロセッサに各部が実装してもよく、あるいは、各部を分散させて、複数のコンピュータやクラウド（サーバ）で実装してもよい。すなわち、本実施形態を１又は複数のプロセッサで実現してもよい。

【0011】

図２は制御部１０の構成の一例を示す図である。制御部１０は、取得部３１、出力部３２、縮小・拡大処理部１５、輪郭抽出部１６、画像生成部２４、再学習処理部１７、信頼性指標算出部１８、及び一致度算出部３３を備える。縮小・拡大処理部１５は、間隔判定部１５１を備える。なお、本明細書では、取得部３１、出力部３２、縮小・拡大処理部１５、輪郭抽出部１６、画像生成部２４、再学習処理部１７、信頼性指標算出部１８、及び一致度算出部３３をまとめて制御部１０とも称する。

【0012】

制御部１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等が所要数組み込まれて構成されている。また、制御部１０は、コンピュータプログラム２０を実行することにより、取得部３１、出力部３２、縮小・拡大処理部１５、輪郭抽出部１６、画像生成部２４、再学習処理部１７、信頼性指標算出部１８、及び一致度算出部３３の少なくとも１つの機能をハードウエアに代えてソフトウエアで実現することができる。制御部１０は、第１学習モデル２１、第２学習モデル２２、及び第３学習モデル２３を用いた処理を行う。また、制御部１０は、コンピュータプログラム２０で定められた処理を実行することができる。すなわち、制御部１０による処理は、コンピュータプログラム２０による処理でもある。

【0013】

通信部１１は、例えば、通信モジュールを備え、通信ネットワークを介して外部の装置との間の通信機能を有する。通信部１１は、例えば、超音波診断装置、コンピュータ断層撮影装置、磁気共鳴診断装置、Ｘ線撮影装置、血管造影Ｘ線診断装置、ＰＥＴ検査装置又は電子顕微鏡などの装置から医用画像を取得できる。通信部１１は、取得した医用画像を記憶部１９に記憶し、制御部１０へ出力する。なお、本明細書では、医用画像として超音波画像を例として説明する。また、筋肉部として大腿四頭筋を例とし、筋肉部位として各四頭筋を例とし、筋肉部の近傍の所定の骨として大腿骨を例として説明する。

【0014】

メモリ１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の半導体メモリで構成することができる。コンピュータプログラム２０をメモリ１２に展開することにより、制御部１０は、コンピュータプログラム２０を実行することができる。

【0015】

表示部１３は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディスプレイ等で構成することができる。

【0016】

操作部１４は、例えば、ハードウェアキーボード、マウスなどで構成され、表示部１３に表示されたアイコンなどの操作、カーソルの移動や操作、文字等の入力などを行うことができる。なお、操作部１４は、タッチパネルで構成してもよい。

【0017】

制御部１０の取得部３１は、大腿部を含む大腿部画像を取得する。大腿部画像は、通信部１１を介して外部の装置（例えば、超音波診断装置など）から取得してもよく、記憶部１９から取得してもよい。大腿部画像は、大腿四頭筋（大腿直筋、内側広筋、中間広筋、外側広筋）を含む画像である。

【0018】

図３は画像処理装置１００による部位検出の一例を示す図である。図３の例では、部位として各大腿四頭筋（大腿直筋、内側広筋、中間広筋、外側広筋）を検出する。制御部１０は、大腿部画像を第２学習モデル２２に入力する。第２学習モデル２２は、大腿部画像を入力した場合に、四頭筋全体の領域情報を出力するように学習されている。制御部１０の出力部３２は、第２学習モデル２２から四頭筋全体の領域情報を取得して、画像生成部２４へ出力することができる。

【0019】

より具体的には、第２学習モデル２２は、大腿部画像が入力されると、セグメンテーションデータ（領域情報）を出力することができる。セグメンテーションデータは、大腿部画像の各ピクセルをクラスに分類したものである。第２学習モデル２２は、入力された大腿部画像それぞれのピクセルを、例えば、クラス０、１の２つのクラスに分類することができる。クラス０は背景を示し、大腿四頭筋の外側の領域を示す。クラス１は大腿四頭筋を示す。

【0020】

画像生成部２４は、第２学習モデル２２が出力した四頭筋全体の領域情報に基づいて四頭筋全体画像を生成する。四頭筋全体画像は、例えば、クラス０に分類された領域を黒に設定し、クラス１に分類された領域を黒以外の特定の色に設定した画像である。

【0021】

次に、制御部１０は、大腿部画像及び生成した四頭筋全体画像を第１学習モデル２１に入力する。第１学習モデル２１は、大腿部画像及び四頭筋全体画像を入力した場合に、四頭筋それぞれ（大腿直筋、内側広筋、中間広筋、外側広筋）の領域情報を出力するように学習されている。制御部１０の出力部３２は、第１学習モデル２１から四頭筋それぞれの領域情報を取得して、画像生成部２４へ出力することができる。

【0022】

より具体的には、第１学習モデル２１は、大腿部画像及び四頭筋全体画像が入力されると、セグメンテーションデータ（領域情報）を出力することができる。セグメンテーションデータは、大腿部画像の各ピクセルをクラスに分類したものである。第１学習モデル２１は、入力された大腿部画像それぞれのピクセルを、四頭筋全体画像が示す四頭筋全体領域の範囲内で、例えば、クラス０、２、３、４、５の５つのクラスに分類することができる。クラス０は背景を示し、大腿四頭筋の外側の領域を示す。クラス２～５は、各部位を示す。たとえば、クラス２は大腿直筋を示し、クラス３は中間広筋を示し、クラス４は外側広筋を示し、クラス５は内側広筋を示す。

【0023】

第１学習モデル２１には、大腿部画像だけでなく、四頭筋全体画像も入力されるため、四頭筋全体画像で示す四頭筋全体領域の外側にはみ出すことなく、各四頭筋の領域情報を出力できるように学習させることができる。これにより、筋肉の部位（各四頭筋の領域）を精度よく特定できる。

【0024】

画像生成部２４は、第１学習モデル２１が出力した各四頭筋の領域情報に基づいて各四頭筋画像を生成する。各四頭筋画像は、例えば、クラス０に分類された領域を黒に設定し、クラス２～５に分類された領域（部位）を黒以外であって、それぞれ異なる表示態様（例えば、色が異なる）に設定した画像である（図７、図８参照）。筋肉量は、各部位の大きさ等に基づいて算出すればよい。各四頭筋の領域を精度よく検出することにより、各四頭筋の大きさを正確に求めることができ、筋肉量を精度よく算出できる。

【0025】

第１学習モデル２１、第２学習モデル２２それぞれは、例えば、Ｕ－Ｎｅｔ、Ａｔｔｅｎｔｉｏｎ－Ｕｎｅｔ、ＳｅｇＮｅｔ等のセマンティック・セグメンテーションを用いるものでもよく、あるいは、Ｍａｓｋ Ｒ－ＣＮＮ、ＤｅｅｐＭａｓｋ、ＦＣＩＳ等のインスタンス・セグメンテーションを用いるものでもよく、ＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）でもよい。

【0026】

図４は第１学習モデル２１及び第２学習モデル２２の生成方法の一例を示す図である。第２学習モデル２２の生成方法は、例えば、以下のようにすればよい。制御部１０は、大腿部画像及び四頭筋全体の領域情報を含む訓練データを取得する。訓練データは、例えば、外部のサーバ等で収集して記憶しておき、当該サーバから取得すればよい。制御部１０は、訓練データに含まれる大腿部画像を第２学習モデル２２に入力し、第２学習モデル２２が出力する四頭筋全体の領域情報と、訓練データに含まれる教師データとしての四頭筋全体の領域情報とに基づく損失関数の値が最小になるように、第２学習モデル２２のパラメータを調整すればよい。

【0027】

また、第１学習モデル２１の生成方法は、例えば、以下のようにすればよい。制御部１０は、大腿部画像、四頭筋全体画像及び各四頭筋の領域情報を含む訓練データを取得する。訓練データは、例えば、外部のサーバ等で収集して記憶しておき、当該サーバから取得すればよい。制御部１０は、訓練データに含まれる大腿部画像及び四頭筋全体画像を第１学習モデル２１に入力し、第１学習モデル２１が出力する各四頭筋の領域情報と、訓練データに含まれる教師データとしての各四頭筋の領域情報とに基づく損失関数の値が最小になるように、第１学習モデル２１のパラメータを調整すればよい。

【0028】

図５は画像処理装置１００による大腿骨の輪郭検出の一例を示す図である。制御部１０は、大腿部画像を第３学習モデル２３に入力する。第３学習モデル２３は、大腿部画像を入力した場合に、大腿骨の領域情報を出力するように学習されている。制御部１０の出力部３２は、第３学習モデル２３から大腿骨の領域情報を取得して、画像生成部２４へ出力することができる。

【0029】

より具体的には、第３学習モデル２３は、大腿部画像が入力されると、セグメンテーションデータ（領域情報）を出力することができる。セグメンテーションデータは、大腿部画像の各ピクセルをクラスに分類したものである。第３学習モデル２３は、入力された大腿部画像それぞれのピクセルを、例えば、クラス１０、１１の２つのクラスに分類することができる。クラス１０は背景を示し、大腿骨の外側の領域を示す。クラス１１は大腿骨を示す。

【0030】

画像生成部２４は、第３学習モデル２３が出力した大腿骨の領域情報に基づいて大腿骨画像を生成する。大腿骨画像は、例えば、クラス１０に分類された領域を黒に設定し、クラス１１に分類された領域を黒以外の特定の色に設定した画像である。

【0031】

輪郭抽出部１６は、画像生成部２４が生成した大腿骨画像に基づいて大腿骨の輪郭線を抽出し、大腿骨の輪郭線が描かれた輪郭画像を生成する。輪郭抽出は、例えば、以下のように行うことができる。大腿部画像を二値化画像（０：背景、１：図形画素）に変換し、二値化画像をラスタ走査して、最初に検出した図形画素を開始点（第１画素）とする。開始点の画素の周囲８近傍の画素を、例えば、反時計周りに調べて図形画素があれば第２画素とする。第２画素の周囲８近傍の画素を調べて図形画素があれば第３画素とする。以降、同様の処理を繰り返すことで輪郭線を構成する画素を抽出できる。また、輪郭抽出は、OpenCVなどのライブラリを用いてもよい。

【0032】

第３学習モデル２３の生成方法は、例えば、以下のようにすればよい。制御部１０は、大腿部画像及び大腿骨の領域情報を含む訓練データを取得する。大腿骨の領域情報は、例えば、大腿骨の領域全体をラベリングすればよい。大腿骨の輪郭線をラベリングしてもよいが、輪郭線をラベリングして学習させた場合、大腿骨の輪郭を検出するときに輪郭の一部が途切れる場合がある。大腿骨全体の領域をラベリングすることにより、第３学習モデル２３は、特定の領域を検出するので、検出された領域から輪郭を抽出すれば輪郭の一部が途切れることを防止できる。制御部１０は、訓練データに含まれる大腿部画像を第３学習モデル２３に入力し、第３学習モデル２３が出力する大腿骨の領域情報と、訓練データに含まれる教師データとしての大腿骨の領域情報とに基づく損失関数の値が最小になるように、第３学習モデル２３のパラメータを調整すればよい。

【0033】

第３学習モデル２３は、例えば、Ｕ－Ｎｅｔ、Ａｔｔｅｎｔｉｏｎ－Ｕｎｅｔ、ＳｅｇＮｅｔ等のセマンティック・セグメンテーションを用いるものでもよく、あるいは、Ｍａｓｋ Ｒ－ＣＮＮ、ＤｅｅｐＭａｓｋ、ＦＣＩＳ等のインスタンス・セグメンテーションを用いるものでもよく、ＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）でもよい。

【0034】

第１学習モデル２１、第２学習モデル２２、及び第３学習モデル２３の生成は、画像処理装置１００が行ってもよく、あるいは外部の学習処理装置が各学習モデルを生成し、画像処理装置１００が、当該学習処理装置から各学習モデルを取得するようにしてもよい。

【0035】

図６は四頭筋全体画像の生成方法の一例を示す図である。図３の場合には、画像生成部２４は、四頭筋全体の領域情報に基づいて四頭筋全体画像を生成する構成であった。図６の場合は、画像生成部２４は、更に大腿骨の輪郭画像を考慮して四頭筋全体画像を生成する。この場合、画像生成部２４は、以下のようにして四頭筋全体画像を生成する。すなわち、第３学習モデル２３が出力する大腿骨の領域情報に基づいて生成された大腿骨の輪郭画像に描かれている大腿骨の輪郭線をランドマークとして四頭筋全体画像を生成する。例えば、大腿骨の輪郭線の内側に四頭筋全体の領域の一部が含まれる場合、当該部分は四頭筋全体の領域から除去する。また、輪郭線と四頭筋全体の領域との間隔が所定の閾値（ピクセル数）より大きい場合には、輪郭線と四頭筋全体の領域との間隔が閾値以内になるように、四頭筋全体の領域のうち輪郭線に対向する部分を膨張（拡大）してもよい。四頭筋全体画像は、各四頭筋の領域情報を検出する際の基準（四頭筋全体の範囲をはみ出さないように各四頭筋それぞれを検出する）となるので、四頭筋全体の領域は適切な範囲において、広い（面積が大きい）方が好ましい。

【0036】

上述のように、制御部１０は、大腿部画像を入力した場合に、大腿骨の領域情報を出力するように学習された第３学習モデル２３に、取得した大腿部画像を入力して、大腿骨の領域情報を出力し、出力した大腿骨の領域情報に基づいて、大腿骨の輪郭を抽出し、出力した四頭筋全体の領域情報及び抽出した輪郭に基づいて四頭筋全体画像を生成することができる。

【0037】

図７は筋膜画像の生成方法の第１例を示す図である。筋膜画像は、大腿部画像又は四頭筋全体画像から各四頭筋（筋肉）を除去した画像である。各四頭筋画像の部位をＡ、Ｂ、Ｃ、Ｄとする。大腿四頭筋の場合、部位Ａ～Ｄは、それぞれ大腿直筋、内側広筋、中間広筋、及び外側広筋である。図７の例では、部位Ａと部位Ｂの間隔Ｇが所定範囲（所定のピクセル数）よりも狭い場合を示し、例えば、部位Ａの一部と部位Ｂの一部が接触している。この場合には、本来、部位Ａと部位Ｂとの間に存在する筋膜が存在しないことになってしまう。そこで、縮小・拡大処理部１５は、部位Ａと部位Ｂの少なくとも一方を縮小する処理を行うことにより、部位Ａと部位Ｂの間隔Ｇが所定範囲になるようにする。縮小処理は、例えば、部位の外側のピクセルを、１～２ピクセル程度減らすことにより行える。なお、縮小処理の際に減らすピクセル数を、部位の位置に応じて所要数に設定できるようにしてもよい。

【0038】

画像生成部２４は、大腿部画像又は四頭筋全体画像から縮小処理が施された各四頭筋画像を除去して筋膜画像を生成することができる。これにより、医師などのユーザが画像を見ながら適切な筋膜画像を生成できる。

【0039】

上述のように、縮小・拡大処理部１５の間隔判定部１５１は、四頭筋それぞれの領域情報に基づいて、各四頭筋間の間隔が所定範囲であるか否を判定する。縮小・拡大処理部１５は、四頭筋間の間隔が所定範囲より狭い場合、四頭筋の少なくとも一方を縮小して領域情報を補正する。出力部３２は、四頭筋全体画像及び補正した領域情報を含む四頭筋それぞれの領域情報に基づいて筋膜の領域情報を出力することができる。

【0040】

図８は筋膜画像の生成方法の第２例を示す図である。図８の例では、部位Ａと部位Ｄの間隔Ｇが所定範囲（所定のピクセル数）よりも広い場合を示す。この場合には、部位Ａと部位Ｄとの間に存在する筋膜の面積が大きくなってしまう。そこで、縮小・拡大処理部１５は、部位Ａと部位Ｄの少なくとも一方を拡大（膨張）する処理を行うことにより、部位Ａと部位Ｄの間隔Ｇが所定範囲になるようにする。拡大処理は、例えば、部位の外側のピクセルを、１～２ピクセル程度増やすことにより行える。なお、拡大処理の際に増やすピクセル数を、部位の位置に応じて所要数に設定できるようにしてもよい。

【0041】

画像生成部２４は、大腿部画像又は四頭筋全体画像から拡大処理が施された各四頭筋画像を除去して筋膜画像を生成することができる。これにより、医師などのユーザが画像を見ながら適切な筋膜画像を生成できる。

【0042】

上述のように、縮小・拡大処理部１５の間隔判定部１５１は、四頭筋それぞれの領域情報に基づいて、各四頭筋間の間隔が所定範囲であるか否を判定する。縮小・拡大処理部１５は、四頭筋間の間隔が所定範囲より広い場合、四頭筋の少なくとも一方を拡大（膨張）して領域情報を補正する。出力部３２は、四頭筋全体画像及び補正した領域情報を含む四頭筋それぞれの領域情報に基づいて筋膜の領域情報を出力することができる。

【0043】

図９は各四頭筋画像（領域情報）の領域修正画面２１０の一例を示す図である。表示部１３に表示される領域修正画面２１０には、画像表示欄２１４、編集用ツール２１１、「編集」アイコン２１２、「保存」アイコン２１３が表示される。画像表示欄２１４には、第１学習モデル２１が出力した各四頭筋の領域情報（図３参照）に基づいて、画像生成部２４が生成した各四頭筋画像が表示される。各四頭筋の部位をＡ～Ｄで表している。部位Ａ～Ｄは、それぞれ大腿直筋、内側広筋、中間広筋、及び外側広筋である。

【0044】

医師などのユーザが「編集」アイコン２１２を操作し、カーソル２１５を所望の部位の位置に移動させ、編集用ツール２１１内の編集用ツールを使って、部位の領域に対する修正を行う。編集用ツールは、例えば、画像の上でドラッグして自由なラインを描くためのブラシ、画像に線、カーブ、四角、円又は矢印などを描くための図形選択アイコン、ペン先の大きさ、模様又は色を変更するためのパレットアイコン、画像の所要箇所を消去する消しゴムなどの各種ツール用のアイコンを有する。

【0045】

図９に示すように、例えば、部位Ｄと部位Ｃの境界２１６が境界２１７になるように修正することができる。修正が終了した場合、ユーザが「保存」アイコン２１３を操作することにより、修正後の各四頭筋画像を保存することができる。保存先は、記憶部１９でもよく、外部のデータサーバ等でもよい。修正後の各四頭筋の領域情報は、第１学習モデル２１の再学習用の訓練データとして用いることができる。再学習処理部１７は、修正後の各四頭筋の領域情報を取得して、第１学習モデル２１を再学習することができる。

【0046】

上述のように、制御部１０は、表示部１３に表示した四頭筋それぞれの領域情報に対する修正を受け付け、修正を受け付けた領域情報と共に大腿部画像及び四頭筋全体画像に基づいて第１学習モデル２１を再学習することができる。これにより、第１学習モデル２１による各四頭筋の領域の検出精度をさらに高めることができる。

【0047】

図１０は筋膜画像（領域情報）の領域修正画面２２０の一例を示す図である。表示部１３に表示される領域修正画面２２０には、画像表示欄２２１、編集用ツール２１１、「編集」アイコン２１２、「保存」アイコン２１３が表示される。画像表示欄２２１には、画像生成部２４が生成した筋膜画像が表示される（図７、図８参照）。医師などのユーザが「編集」アイコン２１２を操作し、カーソル２１５を所望の位置に移動させ、編集用ツール２１１内の編集用ツールを使って、筋膜画像に対する修正を行う。

【0048】

図１０に示すように、例えば、筋膜の一部２２２を符号２２３で示すように修正することができる。これにより、筋膜の領域を修正できる。修正が終了した場合、ユーザが「保存」アイコン２１３を操作することにより、修正後の筋膜画像（領域情報）を保存することができる。保存先は、記憶部１９でもよく、外部のデータサーバ等でもよい。修正後の筋膜の領域情報は、第１学習モデル２１の再学習用の訓練データとして用いることができる。再学習処理部１７は、修正後の筋膜の領域情報を取得して、筋膜の領域情報も考慮して第１学習モデル２１を再学習することができる。この場合、修正後の筋膜の領域情報に基づいて各四頭筋の領域情報を更新することができる。

【0049】

上述のように、制御部１０は、表示部１３に表示した筋膜の領域情報に対する修正を受け付け、修正を受け付けた領域情報（更新された各四頭筋の領域情報）と共に大腿部画像及び四頭筋全体画像に基づいて第１学習モデル２１を再学習することができる。これにより、第１学習モデル２１による各四頭筋の領域の検出精度をさらに高めることができる。

【0050】

次に、画像処理装置１００による筋肉の部位の検出結果の信頼性指標について説明する。

【0051】

図１１は異なるアルゴリズムを用いた第２学習モデル２２が出力した四頭筋全体の領域情報の一例を示す図である。異なるアルゴリズムを符号Ｐ１、Ｐ２、Ｐ３で示す。アルゴリズムは、例えば、Ｕ－Ｎｅｔ、Ａｔｔｅｎｔｉｏｎ－Ｕｎｅｔ、ＳｅｇＮｅｔ、Ｍａｓｋ Ｒ－ＣＮＮ、ＤｅｅｐＭａｓｋ、ＦＣＩＳ、ＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）等を含む。図１１Ａに示すように、アルゴリズムＰ１及びＰ２を用いた第２学習モデル２２が出力する四頭筋全体の領域情報の一致度合い（一致率）が高い。一方、図１１Ｂに示すように、アルゴリズムＰ１及びＰ３を用いた第２学習モデル２２が出力する四頭筋全体の領域情報の一致度合い（一致率）は低い。信頼性指標算出部１８は、アルゴリズムＰ１、Ｐ２を用いた第２学習モデル２２それぞれが出力する四頭筋全体の領域を占めるピクセル数に対する、共通する四頭筋全体の領域を占めるピクセル数の割合を一致度合いとして算出できる。両方の領域が完全に一致した場合、一致度合いは１００％となる。

【0052】

制御部１０の一致度算出部３３は、アルゴリズムが異なる複数種類の第２学習モデル２２それぞれに、取得した大腿部画像を入力して、第２学習モデル２２それぞれが出力する四頭筋全体の領域情報の一致度合いを算出する。画像生成部２４は、算出した一致度合いが所定の閾値以上である場合、出力した四頭筋全体の領域情報に基づいて四頭筋全体画像を生成してもよい。

【0053】

また、複数種類の第２学習モデル２２それぞれが出力する四頭筋全体の領域情報の一致度合いが所定の閾値（例えば、８５％、９０％、９５％など）以上である場合、最も一致度合いの高い四頭筋全体の領域情報を用いるようにしてもよい。また、複数種類の第２学習モデル２２それぞれが出力する四頭筋全体の領域情報の一致度合いのうち、最も一致度合いが低い領域情報は除外し、残りの領域情報全てを含む領域情報を用いるようにしてもよい。

【0054】

また、第２学習モデル２２が出力する四頭筋全体の領域情報の確信度（各ピクセルの信頼性）を平均化し、平均化した確信度が所定の閾値より低い場合には、別のアルゴリズムを用いた第２学習モデル２２に切り替えて、四頭筋全体の領域情報を出力するようにしてもよい。また、複数種類の第２学習モデル２２毎に各ピクセルの信頼性に重み付けを行って平均化し、平均化した確信度の高いものを用いてもよい。

【0055】

図１２は本実施形態の画像処理装置５０の構成の他の例を示す図である。図１２に示すように、画像処理装置５０は、例えば、パーソナルコンピュータ等を用いることができる。画像処理装置５０は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、入力部５４、出力部５５、及び記録媒体読取部５６などで構成することができる。記録媒体１（例えば、ＣＤ－ＲＯＭ等の光学可読ディスク記憶媒体）に記録されたコンピュータプログラム（コンピュータプログラム製品）を記録媒体読取部５６（例えば、光学ディスクドライブ）で読み取ってハードディスク（図示しない）に格納することができる。ここで、コンピュータプログラムは、後述の図１３、図１４に記載された処理手順を含む。コンピュータプログラムをＲＡＭ５３に展開し、ＣＰＵ５１により実行することができる。

【0056】

図１３は画像処理装置１００による各四頭筋の検出処理の一例を示す図である。以下では便宜上、処理の主体を制御部１０として説明する。制御部１０は、大腿部画像を取得し（Ｓ１１）、大腿部画像を第２学習モデル２２に入力して、第２学習モデル２２が出力する四頭筋全体の領域情報を取得する（図３参照）（Ｓ１２）。

【0057】

制御部１０は、大腿部画像を第３学習モデル２３に入力して、第３学習モデル２３が出力する大腿骨の領域情報を取得し（Ｓ１３）、取得した大腿骨の領域情報に基づいて大腿骨の輪郭画像を生成する（図５参照）（Ｓ１４）。

【0058】

制御部１０は、四頭筋全体の領域情報及び大腿骨の輪郭画像に基づいて四頭筋全体画像を生成する（図６参照）（Ｓ１５）。なお、ステップＳ１３～Ｓ１５の処理は必須ではない。この場合、ステップＳ１５の処理は、四頭筋全体の領域情報に基づいて四頭筋全体画像を生成するように変更すればよい。

【0059】

制御部１０は、大腿部画像及び四頭筋全体画像を第１学習モデル２１に入力して、第１学習モデル２１が出力する各四頭筋の領域情報を取得する（図３参照）（Ｓ１６）。

【0060】

制御部１０は、各四頭筋画像を生成し（Ｓ１７）、各四頭筋間の間隔が所定範囲であるか否かを判定する（Ｓ１８）。各四頭筋間の間隔が所定範囲である場合（Ｓ１８でＹＥＳ）、筋膜画像を生成し（Ｓ１９）、後述のステップＳ２１の処理を行う。

【0061】

各四頭筋間の間隔が所定範囲でない場合（Ｓ１８でＮＯ）、制御部１０は、隣接する四頭筋の少なくとも一方を縮小又は拡大し（図７、図８参照）（Ｓ２０）、ステップＳ１９の処理を行う。制御部１０は、各四頭筋画像、筋膜画像を表示部１３に表示し（Ｓ２１）、処理を終了する。

【0062】

図１４は画像処理装置１００による学習モデルの生成処理の一例を示す図である。図１４では、第１学習モデル２１及び第２学習モデル２２の生成方法について説明する。制御部１０は、大腿部画像、四頭筋全体の領域情報、及び各四頭筋の領域情報を含む訓練データを取得する（Ｓ３１）。

【0063】

制御部１０は、大腿部画像を入力した場合、第２学習モデル２２が出力する四頭筋全体の領域情報が教師データに近づくように第２学習モデル２２の内部パラメータを更新する（図４参照）（Ｓ３２）。制御部１０は、損失関数の値が許容範囲内であるか否かを判定し（Ｓ３３）、損失関数の値が許容範囲内でない場合（Ｓ３３でＮＯ）、ステップＳ３２以降の処理を行う。

【0064】

損失関数の値が許容範囲内である場合（Ｓ３３でＹＥＳ）、制御部１０は、四頭筋全体の領域情報に基づいて四頭筋全体画像を生成し（Ｓ３４）、大腿部画像及び四頭筋全体画像を入力した場合、第１学習モデル２１が出力する各四頭筋の領域情報が教師データに近づくように第１学習モデル２１の内部パラメータを更新する（図４参照）（Ｓ３５）。

【0065】

制御部１０は、損失関数の値が許容範囲内であるか否かを判定し（Ｓ３６）、損失関数の値が許容範囲内でない場合（Ｓ３６でＮＯ）、ステップＳ３５以降の処理を行う。損失関数の値が許容範囲内である場合（Ｓ３６でＹＥＳ）、制御部１０は、生成した第１学習モデル２１、及び第２学習モデル２２を記憶部１９に記憶し（Ｓ３７）、処理を終了する。

【0066】

本実施形態のコンピュータプログラムは、コンピュータに、筋肉部を含む医用画像を取得し、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第２学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第１学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する、処理を実行させる。

【0067】

本実施形態のコンピュータプログラムは、コンピュータに、筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第３学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力し、出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出し、前記第２学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する、処理を実行させる。

【0068】

本実施形態のコンピュータプログラムは、コンピュータに、アルゴリズムが異なる複数の前記第２学習モデルそれぞれに、取得した医用画像を入力して、前記第２学習モデルそれぞれが出力する筋肉部全体の領域情報の一致度合いを算出し、算出した一致度合いが所定の閾値以上である場合、出力した前記筋肉部全体の領域情報に基づいて前記筋肉部全体画像を生成する、処理を実行させる。

【0069】

本実施形態のコンピュータプログラムは、コンピュータに、出力した前記各筋肉部位それぞれの領域情報に対する修正を受け付け、修正を受け付けた領域情報と共に前記医用画像及び筋肉部全体画像に基づいて前記第１学習モデルを再学習する、処理を実行させる。

【0070】

本実施形態のコンピュータプログラムは、コンピュータに、前記各筋肉部位それぞれの領域情報に基づいて、各筋肉部位の間隔が所定範囲であるか否を判定し、前記筋肉部位間の間隔が前記所定範囲以内である場合、前記筋肉部位の少なくとも一方を縮小して領域情報を補正し、前記筋肉部全体画像及び補正した領域情報を含む前記筋肉部位それぞれの領域情報に基づいて筋膜の領域情報を出力する、処理を実行させる。

【0071】

本実施形態のコンピュータプログラムは、コンピュータに、前記筋肉部位間の間隔が前記所定範囲より広い場合、前記筋肉部位の少なくとも一方を拡大して領域情報を補正し、前記筋肉部全体画像及び補正した領域情報を含む前記筋肉部位それぞれの領域情報に基づいて筋膜の領域情報を出力する、処理を実行させる。

【0072】

本実施形態のコンピュータプログラムは、コンピュータに、出力した筋膜の領域情報に対する修正を受け付け、修正を受け付けた領域情報と共に前記医用画像及び筋肉部全体画像に基づいて前記第１学習モデルを再学習する、処理を実行させる。

【0073】

本実施形態のコンピュータプログラムにおいて、前記筋肉部は、大腿部を含み、前記筋肉部全体は、四頭筋全体を含み、前記筋肉部位は、四頭筋を含む。

【0074】

本実施形態の学習モデル生成方法は、筋肉部を含む医用画像、筋肉部全体を示す筋肉部全体画像及び前記筋肉部の各筋肉部位それぞれの領域情報を含む第１訓練データを取得し、前記第１訓練データに基づいて、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように第１学習モデルを生成する。

【0075】

本実施形態の学習モデル生成方法は、筋肉部を含む医用画像、筋肉部全体の領域情報及び前記筋肉部の各筋肉部位それぞれの領域情報を含む第１訓練データを取得し、前記第１訓練データに基づいて、医用画像を入力した場合に、筋肉部全体の領域情報を出力するように第２学習モデルを生成し、筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、前記第１訓練データに基づいて、前記医用画像及び生成した筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように第１学習モデルを生成する。

【0076】

本実施形態の画像処理装置は、筋肉部を含む医用画像を取得する取得部と、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第２学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力する第１出力部と、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成する画像生成部と、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第１学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する第２出力部とを備える。

【0077】

本実施形態の画像処理システムは、筋肉部を含む医用画像を取得する取得部と、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第２学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力する第１出力部と、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成する画像生成部と、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第１学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する第２出力部とを備える。

【0078】

本実施形態の画像処理方法は、筋肉部を含む医用画像を取得し、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第２学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第１学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する。

【0079】

本実施形態では、筋肉部として大腿部の大腿四頭筋、筋肉部位として各四頭筋について説明したが、筋肉部は大腿部の筋肉に限定されるものではない。例えば、筋肉部は、上腕部、腹部、前腕又は下腿であってもよく、筋肉部位は、それぞれの筋肉部を構成する各筋肉であってもよく、筋肉部の近傍の所定の骨は、それぞれの筋肉部の近傍の骨であってもよい。

【符号の説明】

【0080】

１ 記録媒体
１０ 制御部
１１ 通信部
１２ メモリ
１３ 表示部
１４ 操作部
１５ 縮小・拡大処理部
１５１ 間隔判定部
１６ 輪郭抽出部
１７ 再学習処理部
１８ 信頼性指標算出部
１９ 記憶部
２０ コンピュータプログラム
２１ 第１学習モデル
２２ 第２学習モデル
２３ 第３学習モデル
２４ 画像生成部
３１ 取得部
３２ 出力部
３３ 一致度算出部
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 入力部
５５ 出力部
５６ 記録媒体読取部
１００、５０ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】