知財求人 - 知財ポータルサイト「IP Force」
特開2024-152600医用画像処理方法、医用画像処理装置、記憶媒体及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024152600
(43)【公開日】2024-10-25
(54)【発明の名称】医用画像処理方法、医用画像処理装置、記憶媒体及びプログラム
(51)【国際特許分類】
A61B 5/00 20060101AFI20241018BHJP
A61B 6/03 20060101ALI20241018BHJP
G06Q 50/10 20120101ALI20241018BHJP
G06Q 50/20 20120101ALI20241018BHJP
【ＦＩ】
A61B5/00 G
A61B6/03 560T
A61B6/03 560J
G06Q50/10
G06Q50/20
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2024006733
(22)【出願日】2024-01-19
(31)【優先権主張番号】202310390508.6
(32)【優先日】2023-04-12
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】ワン フーユェ
(72)【発明者】
【氏名】ハン ビン
(72)【発明者】
【氏名】シュ チチ
【テーマコード（参考）】
4C093
4C117
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA32
4C093CA35
4C093FF16
4C093FH09
4C117XB09
4C117XD27
4C117XE44
4C117XE45
4C117XE46
4C117XK04
4C117XK05
4C117XR07
4C117XR08
4C117XR09
(57)【要約】
【課題】医用画像処理の正確度を向上させること。
【解決手段】本実施形態に係る医用画像処理方法は、まず、入力されたラベル付き画像データを用いて、医用画像処理を行うためのディープニューラルネットワークを訓練する。次に、入力されたラベルなし画像データに対して弱いデータ拡張を施して第１拡張画像を得る。次に、ディープニューラルネットワークを用いて第１拡張画像を予測し、第１拡張画像中の各画素の予測情報に基づいて各画素が疑似ラベルになり得るか否かを決定する。また、第１拡張画像に対して強いデータ拡張を施して第２拡張画像を得る。次に、第２拡張画像と、決定された疑似ラベルとを用いてディープニューラルネットワークを訓練する。次に、ラベル付き画像データ及びラベルなし画像データの訓練結果に基づいてディープニューラルネットワークを更新し、更新されたディープニューラルネットワークを用いて、入力された医用画像を処理する。
【選択図】図３
【解決手段】本実施形態に係る医用画像処理方法は、まず、入力されたラベル付き画像データを用いて、医用画像処理を行うためのディープニューラルネットワークを訓練する。次に、入力されたラベルなし画像データに対して弱いデータ拡張を施して第１拡張画像を得る。次に、ディープニューラルネットワークを用いて第１拡張画像を予測し、第１拡張画像中の各画素の予測情報に基づいて各画素が疑似ラベルになり得るか否かを決定する。また、第１拡張画像に対して強いデータ拡張を施して第２拡張画像を得る。次に、第２拡張画像と、決定された疑似ラベルとを用いてディープニューラルネットワークを訓練する。次に、ラベル付き画像データ及びラベルなし画像データの訓練結果に基づいてディープニューラルネットワークを更新し、更新されたディープニューラルネットワークを用いて、入力された医用画像を処理する。
【選択図】図３
【特許請求の範囲】
【請求項1】
入力されたラベル付き画像データを用いて、医用画像処理を行うためのディープニューラルネットワークを訓練するラベル付き画像データ訓練ステップと、
入力されたラベルなし画像データに対して弱いデータ拡張を施して第１拡張画像を得る第１拡張ステップと、
前記ディープニューラルネットワークを用いて前記第１拡張画像を予測し、前記第１拡張画像中の各画素の予測情報に基づいて各画素が疑似ラベルになり得るか否かを決定するアテンション設定ステップと、
前記第１拡張画像に対して強いデータ拡張を施して第２拡張画像を得る第２拡張ステップと、
前記第２拡張画像と前記アテンション設定ステップで決定された前記疑似ラベルとを用いて、前記ディープニューラルネットワークを訓練するラベルなし画像データ訓練ステップと、
前記ラベル付き画像データの訓練結果及び前記ラベルなし画像データの訓練結果に基づいて更新された前記ディープニューラルネットワークを用いて、入力された医用画像を処理する画像処理ステップと、
を含む医用画像処理方法。
入力されたラベルなし画像データに対して弱いデータ拡張を施して第１拡張画像を得る第１拡張ステップと、
前記ディープニューラルネットワークを用いて前記第１拡張画像を予測し、前記第１拡張画像中の各画素の予測情報に基づいて各画素が疑似ラベルになり得るか否かを決定するアテンション設定ステップと、
前記第１拡張画像に対して強いデータ拡張を施して第２拡張画像を得る第２拡張ステップと、
前記第２拡張画像と前記アテンション設定ステップで決定された前記疑似ラベルとを用いて、前記ディープニューラルネットワークを訓練するラベルなし画像データ訓練ステップと、
前記ラベル付き画像データの訓練結果及び前記ラベルなし画像データの訓練結果に基づいて更新された前記ディープニューラルネットワークを用いて、入力された医用画像を処理する画像処理ステップと、
を含む医用画像処理方法。
【請求項2】
前記アテンション設定ステップは、
前記ディープニューラルネットワークを用いて前記第１拡張画像を予測して確率マップを取得し、前記第１拡張画像の確率マップ平均値を求める確率マップ平均値取得ステップと、
前記第１拡張画像中の各画素に対応する前記確率マップ平均値が所定の閾値より大きいか否かを判定し、前記所定の閾値より大きい画素の確率マップ平均値を前記疑似ラベルとして決定する疑似ラベル決定ステップと、
を含む請求項１に記載の医用画像処理方法。
前記ディープニューラルネットワークを用いて前記第１拡張画像を予測して確率マップを取得し、前記第１拡張画像の確率マップ平均値を求める確率マップ平均値取得ステップと、
前記第１拡張画像中の各画素に対応する前記確率マップ平均値が所定の閾値より大きいか否かを判定し、前記所定の閾値より大きい画素の確率マップ平均値を前記疑似ラベルとして決定する疑似ラベル決定ステップと、
を含む請求項１に記載の医用画像処理方法。
【請求項3】
前記アテンション設定ステップは、
前記第１拡張画像中の各画素の前記確率マップ平均値の大きさに対して、各画素の信頼度の重みをそれぞれに設定する信頼度重み決定ステップをさらに含み、
前記ラベルなし画像データ訓練ステップにおいて、前記第２拡張画像、前記疑似ラベル及び前記信頼度の重みを用いて、前記ディープニューラルネットワークを訓練する
請求項２に記載の医用画像処理方法。
前記第１拡張画像中の各画素の前記確率マップ平均値の大きさに対して、各画素の信頼度の重みをそれぞれに設定する信頼度重み決定ステップをさらに含み、
前記ラベルなし画像データ訓練ステップにおいて、前記第２拡張画像、前記疑似ラベル及び前記信頼度の重みを用いて、前記ディープニューラルネットワークを訓練する
請求項２に記載の医用画像処理方法。
【請求項4】
前記ラベルなし画像データ訓練ステップにおいて、前記ディープニューラルネットワークに前記第２拡張画像を入力し、前記ディープニューラルネットワークに基づいて前記第２拡張画像の確率マップを予測し、前記第２拡張画像の確率マップ、前記疑似ラベル及び各画素の信頼度の重みに基づいて、当該信頼度の重みを考慮した訓練結果を得る
請求項３に記載の医用画像処理方法。
請求項３に記載の医用画像処理方法。
【請求項5】
前記第１拡張ステップの前に、入力されたラベルなし画像データに対して、前記ディープニューラルネットワークの予測結果に基づいて、当該ラベルなし画像データにおける関心領域を含む一部のデータを関心領域データとして抽出する関心領域抽出ステップをさらに含み、
前記第１拡張ステップにおいて、前記関心領域データに対して弱いデータ拡張を施して前記第１拡張画像を得る
請求項１に記載の医用画像処理方法。
前記第１拡張ステップにおいて、前記関心領域データに対して弱いデータ拡張を施して前記第１拡張画像を得る
請求項１に記載の医用画像処理方法。
【請求項6】
前記確率マップ平均値取得ステップは、
前記ディープニューラルネットワークを用いて一回以上の位置変換後に得られた前記第１拡張画像を予測して一つ以上の確率マップを取得する確率マップ取得ステップと、
一つ以上の前記確率マップに対してそれぞれに前記位置変換とは逆の逆位置変換を行い、逆位置変換後の一つ以上の前記確率マップの確率マップ平均値を求める確率マップ平均値計算ステップと、
を含む請求項２に記載の医用画像処理方法。
前記ディープニューラルネットワークを用いて一回以上の位置変換後に得られた前記第１拡張画像を予測して一つ以上の確率マップを取得する確率マップ取得ステップと、
一つ以上の前記確率マップに対してそれぞれに前記位置変換とは逆の逆位置変換を行い、逆位置変換後の一つ以上の前記確率マップの確率マップ平均値を求める確率マップ平均値計算ステップと、
を含む請求項２に記載の医用画像処理方法。
【請求項7】
前記確率マップ平均値取得ステップは、
複数回の訓練に対応する複数の前記ディープニューラルネットワークを用いて前記第１拡張画像をそれぞれに予測し、複数の確率マップを取得する確率マップ取得ステップと、
複数の前記確率マップの平均値を確率マップ平均値として求める確率マップ平均値計算ステップと、
を含む請求項２に記載の医用画像処理方法。
複数回の訓練に対応する複数の前記ディープニューラルネットワークを用いて前記第１拡張画像をそれぞれに予測し、複数の確率マップを取得する確率マップ取得ステップと、
複数の前記確率マップの平均値を確率マップ平均値として求める確率マップ平均値計算ステップと、
を含む請求項２に記載の医用画像処理方法。
【請求項8】
前記画像処理ステップにおいて、入力された医用画像に対して、医学解剖学的構造のセグメンテーション及び器官機能単位のセグメンテーションのうちの少なくとも一方の処理を行う
請求項１に記載の医用画像処理方法。
請求項１に記載の医用画像処理方法。
【請求項9】
入力されたラベル付き画像データを用いて、医用画像処理を行うためのディープニューラルネットワークを訓練するラベル付き画像データ訓練部と、
入力されたラベルなし画像データに対して弱いデータ拡張を施して第１拡張画像を得る第１拡張部と、
前記ディープニューラルネットワークを用いて前記第１拡張画像を予測し、前記第１拡張画像中の各画素の予測情報に基づいて各画素が疑似ラベルになり得るか否かを決定するアテンション設定部と、
前記第１拡張画像に対して強いデータ拡張を施して第２拡張画像を得る第２拡張部と、
前記第２拡張画像と、前記アテンション設定部で決定された前記疑似ラベルとを用いて、前記ディープニューラルネットワークを訓練するラベルなし画像データ訓練部と、
前記ラベル付き画像データの訓練結果及び前記ラベルなし画像データの訓練結果に基づいて更新された前記ディープニューラルネットワークを用いて、入力された医用画像を処理する画像処理部と、
を備える医用画像処理装置。
入力されたラベルなし画像データに対して弱いデータ拡張を施して第１拡張画像を得る第１拡張部と、
前記ディープニューラルネットワークを用いて前記第１拡張画像を予測し、前記第１拡張画像中の各画素の予測情報に基づいて各画素が疑似ラベルになり得るか否かを決定するアテンション設定部と、
前記第１拡張画像に対して強いデータ拡張を施して第２拡張画像を得る第２拡張部と、
前記第２拡張画像と、前記アテンション設定部で決定された前記疑似ラベルとを用いて、前記ディープニューラルネットワークを訓練するラベルなし画像データ訓練部と、
前記ラベル付き画像データの訓練結果及び前記ラベルなし画像データの訓練結果に基づいて更新された前記ディープニューラルネットワークを用いて、入力された医用画像を処理する画像処理部と、
を備える医用画像処理装置。
【請求項10】
請求項１に記載の医用画像処理方法の各ステップをコンピュータに実行させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項11】
請求項１に記載の医用画像処理方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用画像処理方法、医用画像処理装置、記憶媒体及びプログラムに関する。
【背景技術】
【0002】
現在、医用画像セグメンテーションを行う方法としては、主に、教師ありの深層学習を用いる方法と、階調値解析に基づく方法とに分けられる。
【0003】
教師ありの深層学習を用いる方法は、ディープニューラルネットワーク（Deep Neural Network；ＤＮＮ）とラベル付きの医用画像データとを用いて、教師ありの画像セグメンテーションなどの訓練を行うものである。このように訓練されたディープニューラルネットワークは、通常、高い正確度を得ることができる。しかし、教師ありの深層学習を用いる方法は、大量のラベル付きの医用画像データを用いる必要があることである。このため、医学解剖学的構造のセグメンテーション及び器官機能単位のセグメンテーションなどのタスクでは、医用画像を画素レベルでラベリングすることは困難であり、時間がかかるだけではなく、コストが高い。
【0004】
一方、階調値解析に基づくセグメンテーション方法は、医用画像の階調値を解析し、ヘッセ行列を求めることによって特定の部位や器官のセグメンテーションを行うものである。しかし、階調値解析に基づくセグメンテーション方法は、通常、パラメータの調整（Parameter Tuning）が必要であり、汎用性が悪く、結果のロバスト性が低いなどの問題がある。
【0005】
また、医用画像セグメンテーションを行う方法としては、更に、半教師ありの深層学習を用いる方法が挙げられる。半教師ありの深層学習を用いる方法では、ディープニューラルネットワークを訓練する際に、ラベル付きの医用画像データと大量のラベルなしの医用画像データとの両方を用いることで、ラベル付きの医用画像データ量が少ない場合にも高い正確度を得ることができる。半教師ありの深層学習は、一般に、一貫性正則化（Consistency Regularization）及び疑似ラベル（Pseudo－Label）等の法則を含み、一貫性正則化と疑似ラベルとの両方の法則を組み合わせた結合方法も含む。
【0006】
一貫性正則化法則の主な思想は、同一の入力された医用画像に対して、その医用画像が微小な摂動（例えば、医用画像に対してデータ拡張（Data Augmentation）などの処理）を受けたとしても、その予測結果（Predicted Mask）も一致するはずである。しかし、一貫性正則化の法則を使用することは、一般的に、いくつかのニューラルネットワーク構造やプレテキストタスク（pretext task）の設計が必要となる。これにより、ネットワークの汎用性及び安定性が低く、さらに、ディープニューラルネットワークの予測正確度に影響を与えてしまう。
【0007】
疑似ラベル法則の原理としては、まず、少量のラベル付きデータを用いて一つの基本モデル（例えば、畳み込みニューラルネットワークを用いたディープネットワークモデル）を訓練する。続いて、大量のラベルなしデータを予測して疑似ラベルを得て、大量の疑似ラベル付きのラベルなしデータ及び少量のラベル付きデータの両方を用いて一緒に当該モデルを訓練する。そして、訓練された新たなモデルを用いて大量のラベルなしデータを再び予測して疑似ラベルを得て、続いてモデルを再び訓練し、循環して最終的に収束に達する。しかし、半教師ありの深層学習を用いる方法の疑似ラベルの法則では、単純にモデルを用いてラベルなしデータを予測して疑似ラベルを得ると、通常、疑似ラベルの品質は高くないため、ディープネットワークモデルの訓練結果及び予測結果の正確度が高くならない。
【0008】
半教師ありの深層学習を用いる方法では、どのように訓練結果及び予測結果の正確度を向上させるか、特にラベル付きのデータ量が少ない場合にどのようにラベルなしのデータを用いて予測結果の正確度を改善するかは、解決すべき課題となっている。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】Pratima Upretee, Bishesh Khanal 著、「Fixing FixMatch for Semi-Supervised Semantic Segmentation」arXiv preprint arXiv:2208.00400, 2022.
【発明の概要】
【発明が解決しようとする課題】
【0010】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、医用画像処理の正確度を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0011】
本実施形態に係る医用画像処理方法は、ラベル付き画像データ訓練ステップと、第１拡張ステップと、アテンション（Attention）設定ステップと、第２拡張ステップと、ラベルなし画像データ訓練ステップと、画像処理ステップと、を含む。前記ラベル付き画像データ訓練ステップは、入力されたラベル付き画像データを用いて、医用画像処理を行うためのディープニューラルネットワークを訓練する。前記第１拡張ステップは、入力されたラベルなし画像データに対して弱いデータ拡張を施して第１拡張画像を得る。前記アテンション設定ステップは、前記ディープニューラルネットワークを用いて前記第１拡張画像を予測し、前記第１拡張画像中の各画素の予測情報に基づいて各画素が疑似ラベルになり得るか否かを決定する。前記第２拡張ステップは、前記第１拡張画像に対して強いデータ拡張を施して第２拡張画像を得る。前記ラベルなし画像データ訓練ステップは、前記第２拡張画像と前記アテンション設定ステップで決定された前記疑似ラベルとを用いて、前記ディープニューラルネットワークを訓練する。前記画像処理ステップは、前記ラベル付き画像データの訓練結果及び前記ラベルなし画像データの訓練結果に基づいて更新された前記ディープニューラルネットワークを用いて、入力された医用画像を処理する。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下、図面を参照して、医用画像処理方法、医用画像処理装置、記憶媒体及びプログラムの実施形態について詳細に説明する。
【0014】
（第１の実施形態）
図１は、第１の実施形態に係る医用画像処理装置１０の機能構成を示すブロック図である。図１に示すように、医用画像処理装置１０は、入力インターフェース１０１と、通信インターフェース１０２と、ディスプレイ１０３と、記憶回路１０４と、処理回路１０５と、を備える。
図１は、第１の実施形態に係る医用画像処理装置１０の機能構成を示すブロック図である。図１に示すように、医用画像処理装置１０は、入力インターフェース１０１と、通信インターフェース１０２と、ディスプレイ１０３と、記憶回路１０４と、処理回路１０５と、を備える。
【0015】
入力インターフェース１０１は、種々の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インターフェース１０１は、処理回路１０５に接続されており、医師などのユーザから受け付けた入力操作を電気信号に変換して処理回路１０５に出力する。なお、図１において、入力インターフェース１０１は、医用画像処理装置１０内に設けられているが、外部に設けられてもよい。
【0016】
通信インターフェース１０２は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。例えば、通信インターフェース１０２は、処理回路１０５に接続されており、超音波システムである超音波診断装置や、超音波システム以外の他のモダリティーであるＸ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置から、医用画像を収集して処理回路１０５に出力する。
【0017】
ディスプレイ１０３は、処理回路１０５に接続され、処理回路１０５から出力される各種情報及び各種画像を表示する。例えば、ディスプレイ１０３は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。例えば、ディスプレイ１０３は、ユーザの指示を受け付けるためのＧＵＩ（Graphical User Interface）や、種々の表示画像、処理回路１０５による種々の処理結果を表示する。なお、図１において、ディスプレイ１０３は、医用画像処理装置１０内に設けられているが、外部に設けられてもよい。
【0018】
記憶回路１０４は、処理回路１０５に接続され、各種データを記憶する。具体的には、記憶回路１０４は、少なくとも画像レジストレーション用の各種の医用画像及びレジストレーション後に得られた融合画像等を記憶する。例えば、記憶回路１０４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。また、記憶回路１０４は、処理回路１０５によって実行される各処理機能に対応するプログラムを記憶する。なお、図１において、記憶回路１０４は、医用画像処理装置１０内に設けられているが、外部に設けられてもよい。
【0019】
例えば、処理回路１０５は、プロセッサによって実現される。図１に示すように、処理回路１０５は、ラベル付き画像データ訓練機能１１と、第１拡張機能１２と、アテンション（Attention）設定機能１３と、第２拡張機能１４と、ラベルなし画像データ訓練機能１５と、ニューラルネットワーク更新機能１６と、画像処理機能１７とを備える。図２は、第１の実施形態におけるアテンション設定機能１３の構成を示すブロック図である。図２に示すように、アテンション設定機能１３は、確率マップ平均値取得機能１３１と疑似ラベル決定機能１３２とを備える。
【0020】
ここで、図１に示す処理回路１０５の構成要素が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で医用画像処理装置１０の記憶回路１０４に記録されている。処理回路１０５は、各プログラムを記憶回路１０４から読み出し、実行することで各プログラムに対応する処理機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１０５は、図１の処理回路１０５内に示された各機能を有することとなる。
【0021】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路１０４に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路１０４にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0022】
なお、コンピュータによって実行可能なプログラムの形態で記憶回路１０４に記録されている処理回路１０５の各機能については、後述するフローチャートを用いて詳細に説明する。
【0023】
また、記憶回路１０４には、画像処理を行うためのディープニューラルネットワーク（「深層学習モデル」ともいう）、及び、ディープニューラルネットワークを訓練するための訓練データが記憶されている。本実施形態におけるディープニューラルネットワークは、半教師あり学習の方式により訓練されたものであり、訓練データは、ラベルが付いたラベル付き画像データと、ラベルが付かないラベルなし画像データと、を含んでいる。ディープニューラルネットワークとしては、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network；ＣＮＮ）、Ｔｒａｎｓｆｏｒｍｅｒなどの任意の種類のニューラルネットワークであってもよい。
【0024】
また、本実施形態では、ディープニューラルネットワークを用いて、入力された医用画像に対して、医学解剖学的構造のセグメンテーション及び器官機能単位のセグメンテーションのうちの少なくとも一方の処理を行うことができる。医学解剖学的構造のセグメンテーションには、例えば、膵臓のセグメンテーション、肺葉のセグメンテーション、肝臓のセグメンテーションなどが含まれ、器官機能単位のセグメンテーションには、例えば、肝区域（hepatic sement）セグメンテーションなどが含まれる。各種のセグメンテーション処理は、それぞれ、当該ディープニューラルネットワークの一つの予測種別である。
【0025】
また、本実施形態では、ディープニューラルネットワークを訓練するために、データ拡張が行われる。データ拡張（Data Augmentation）とは、学習用の画像データ（医用画像）に対して「変換」を施すことでデータを水増しする手法であり、この「変換」には様々な種類が存在する。例えば、データ拡張としては、「弱いデータ拡張」と「強いデータ拡張」との２通りが挙げられる。弱いデータ拡張とは、例えば、画像データである医用画像に対して、単純な処理として、当該画像の平行移動、鏡像などの位置変換のみを行い、当該画素の解像度やコントラストを変えず、ノイズも増加させないことである。強いデータ拡張とは、例えば、画像データである医用画像に対して、当該画像の鮮鋭度（解像度）やコントラストの変更、当該画像におけるガウスノイズの増加、当該画像の部分領域のランダムな除去などの大きな歪み処理を行うことである。
【0026】
図３は、第１の実施形態に係る医用画像処理装置１０による処理（医用画像処理方法）の手順を示すフローチャートである。以下、本実施形態における医用画像処理方法について詳細に説明する。
【0027】
まず、ステップＳ１１（ラベル付き画像データ訓練ステップ）において、ラベル付き画像データ訓練機能１１は、記憶回路１０４に記憶されている訓練データであるラベル付き画像データを用いて、ディープニューラルネットワークを訓練する。ラベル付き画像データ訓練機能１１は、「ラベル付き画像データ訓練部」の一例である。
【0028】
図４Ａは、入力されたラベル付き画像データの一例を示す図である。図４Ｂは、ディープニューラルネットワークによりラベル付き画像データを予測した予測結果（セグメンテーション結果）の一例を示す図である。図４Ｃは、ラベル付き画像データのＧＴ（Ground Truth）の一例を示す図である。
【0029】
ラベル付き画像データ訓練機能１１は、ラベル付き画像データを用いてディープニューラルネットワークを訓練する場合、以下の処理を行う。
【0030】
例えば、ディープニューラルネットワークの一つの予測種別が膵臓のセグメンテーションである場合、ラベル付き画像データ訓練機能１１は、まず、当該ディープニューラルネットワークに、ラベル付き画像データとして、例えば、図４Ａに示すような被検体の腹部の医用画像を入力する。次に、ラベル付き画像データ訓練機能１１は、ディープニューラルネットワークに基づいてラベル付き画像データを予測し、当該ラベル付き画像データを予測した予測結果として、例えば、図４Ｂに示す予測結果を出力する。そして、ラベル付き画像データ訓練機能１１は、ラベル付き画像データを予測した予測結果（図４Ｂ）とラベル付き画像データのＧＴ（図４Ｃ）との差分に基づいて、ラベル付き画像データの損失関数Ｌ１を訓練結果として得る。ここで、損失関数Ｌ１は、「ラベル付き画像データの訓練結果」の一例である。
【0031】
損失関数Ｌ１の一例を下記式に示す。ここで、下記式において、ＣＥ ｌｏｓｓは、交差エントロピー（クロスエントロピー）損失を示し、Ｄｉｃｅ ｌｏｓｓは、Ｄｉｃｅ損失を示す。Ｎは、医用画像における画素の数を示し、Ｍは、予測種別の数を示し、Ｐｉ，ｃは、画素ｉが予測種別ｃであると予測される確率を示し、ｙ１ｉ,ｃは、画素ｉが予測種別ｃである実ラベル（ＧＴ）を示す。
【0032】
【数1】
【数2】
【数3】
【0033】
一方、ステップＳ１２（第１拡張ステップ）において、第１拡張機能１２は、訓練毎に、記憶回路１０４に記憶されている訓練データである全てのラベルなし画像データから任意のラベルなし画像データを入力データとしてランダムに選び出す。そして、第１拡張機能１２は、入力されたラベルなし画像データに対して弱いデータ拡張を施して第１拡張画像を得る。第１拡張機能１２は、「第１拡張部」の一例である。
【0034】
図５Ａは、入力されたラベルなし画像データの一例を示す図である。上述のように、弱いデータ拡張とは、例えば、画像データである医用画像に対して、単純な処理として、当該画像の平行移動、鏡像などの位置変換のみを行い、当該画素の解像度やコントラストを変えず、ノイズも増加させないことである。ステップＳ１２では、例えば、第１拡張機能１２は、画像データである医用画像に対して、２回の平行移動（左方向への平行移動と下方向への平行移動）の位置変換、及び、１回の鏡像（左右鏡像）の位置変換を行う。
【0035】
次に、アテンション設定機能１３は、ディープニューラルネットワークを用いて前記第１拡張画像を予測し、第１拡張画像中の各画素の予測情報に基づいて各画素が疑似ラベルになり得るか否かを決定する。アテンション設定機能１３は、「アテンション設定部」の一例である。
【0036】
まず、ステップＳ１３（確率マップ取得ステップ）において、アテンション設定機能１３は、ディープニューラルネットワークを用いて第１拡張画像を予測して確率マップを取得する。具体的には、アテンション設定機能１３は、ディープニューラルネットワークを用いて一回以上の位置変換後に得られた第１拡張画像を予測して一つ以上の確率マップを取得する。例えば、アテンション設定機能１３は、ディープニューラルネットワークを用いて、２回の平行移動の位置変換、及び、１回の鏡像の位置変換の後に得られた３つの第１拡張画像を予測して、３つの第１拡張画像に対して、それぞれ３つの確率マップを得る。
【0037】
次に、ステップＳ１４（確率マップ平均値計算ステップ）において、アテンション設定機能１３は、第１拡張画像の確率マップ平均値を求める。アテンション設定機能１３は、一つ以上の確率マップに対して、ステップＳ１２における一回以上の位置変換とは逆の逆位置変換をそれぞれに行い、逆位置変換後の一つ以上の確率マップを用いて、ラベルなし画像データ中の各画素の確率マップ平均値を求める。確率マップ平均値は、「第１拡張画像中の各画素の予測情報」の一例である。
【0038】
図５Ｂは、ラベルなし画像データの確率マップ平均値を示す図である。確率とは、確からしさの程度を「０」と「１」との間の数値で表したものであり、確からしさの程度が高い場合は「１」に近く、確からしさの程度が低い場合は「０」に近い。
【0039】
図５Ｂに示す例では、図中の黒色領域は、確率マップ平均値が「０」の領域であることを示す。ディープニューラルネットワークの一つの予測種別が膵臓のセグメンテーションである場合、黒色領域において、確率マップ平均値が「０」であることは、当該領域が膵臓であると予測される確率が「０」であることを示す。図中の白色領域は、確率マップ平均値が「１」の領域であることを示す。ディープニューラルネットワークの一つの予測種別が膵臓のセグメンテーションである場合、白色領域において、確率マップ平均値が「１」であることは、当該領域が膵臓であると予測される確率が「１」であることを示す。図中の白色領域の左下方には、さらに、階調が不均一な灰色領域があり、当該灰色領域は、確率マップ平均値が「０」より大きく「１」より小さい領域であり、当該灰色領域が膵臓であると予測される確率が「０」～「１」の間の数値であることを示す。
【0040】
なお、ステップＳ１３（確率マップ取得ステップ）及びステップＳ１４（確率マップ平均値計算ステップ）は、「確率マップ平均値取得ステップ」の一例である。
【0041】
次に、ステップＳ１５（疑似ラベル決定ステップ）において、アテンション設定機能１３は、第１拡張画像中の画素毎に、各画素に対応する確率マップ平均値が所定の閾値より大きいか否かを判定する。そして、アテンション設定機能１３は、所定の閾値より大きい画素の確率マップ平均値を疑似ラベルとして決定する。所定の閾値は、一般的に、確率マップ階調値の分布に応じて設定されるものである。
【0042】
例えば、ディープニューラルネットワークの一つの予測種別が膵臓のセグメンテーションである場合、階調値の具体的な分布状況に応じて、確率マップ平均値の所定の閾値を「０．５」とすることができる。この場合、アテンション設定機能１３は、画素毎に確率マップ平均値が所定の閾値「０．５」より大きいか否かを判定する。そして、アテンション設定機能１３は、所定の閾値「０．５」より大きい場合、当該画素の確率マップ平均値を疑似ラベルとして決定し、所定の閾値「０．５」以下である場合、当該画素の確率マップ平均値を疑似ラベルとして決定しない。なお、本実施形態では、所定の閾値「０．５」以下である画素の確率マップ平均値は、後続のディープニューラルネットワークの訓練に用いられないことにする。
【0043】
【0044】
なお、ステップＳ１３（確率マップ取得ステップ）、ステップＳ１４（確率マップ平均値計算ステップ）及びステップＳ１５（疑似ラベル決定ステップ）は、「アテンション設定ステップ」の一例である。
【0045】
次に、ステップＳ１６（第２拡張ステップ）において、第２拡張機能１４は、ステップＳ１２で得られた第１拡張画像に対して強いデータ拡張を施して第２拡張画像を得る。強いデータ拡張とは、上述のように、例えば、画像データである医用画像に対して、当該画像の鮮鋭度（解像度）やコントラストの変更、当該画像におけるガウスノイズの増加、当該画像の部分領域のランダムな除去などの大きな歪み処理を行うことである。第２拡張機能１４は、「第２拡張部」の一例である。
【0046】
なお、ステップＳ１６は、ステップＳ１５の後に実行されなくてもよく、例えば、ステップＳ１２の後に実行されてもよい。
【0047】
次に、ステップＳ１７（ラベルなし画像データ訓練ステップ）において、ラベルなし画像データ訓練機能１５は、ステップＳ１６で得られた第２拡張画像、及び、ステップＳ１５で決定された疑似ラベルを用いて、ディープニューラルネットワークを訓練する。ラベルなし画像データ訓練機能１５は、「ラベルなし画像データ訓練部」の一例である。
【0048】
ラベルなし画像データ訓練機能１５は、ラベルなし画像データを用いてディープニューラルネットワークを訓練する場合、以下の処理を行う。
【0049】
例えば、ディープニューラルネットワークの一つの予測種別が膵臓のセグメンテーションである場合、ラベルなし画像データ訓練機能１５は、まず、当該ディープニューラルネットワークに、ステップＳ１６で得られた第２拡張画像を入力する。次に、ラベルなし画像データ訓練機能１５は、ディープニューラルネットワークに基づいて第２拡張画像の確率マップを予測し、予測結果（図示せず）を出力する。そして、ラベルなし画像データ訓練機能１５は、第２拡張画像の確率マップを予測した予測結果（Predicted Mask）とステップＳ１５で得られた疑似ラベル（図５Ｃ）との差分に基づいて、ラベルなし画像データの損失関数Ｌ２を訓練結果として得る。ここで、損失関数Ｌ２は、「ラベルなし画像データの訓練結果」の一例である。
【0050】
損失関数Ｌ２の一例を下記式に示す。ここで、下記式において、ＣＥ ｌｏｓｓは、交差エントロピー（クロスエントロピー）損失を示し、Ｄｉｃｅ ｌｏｓｓは、Ｄｉｃｅ損失を示す。Ｎは、医用画像中画素の数を示し、Ｍは、予測種別の数を示し、Ｐｉ，ｃは、画素ｉが予測種別ｃであると予測される確率を示し、ｙ２ｉ，ｃは、画素ｉが予測種別ｃである疑似ラベル（疑似ＧＴ）を示す。
【0051】
【数4】
【数5】
【数6】
【0052】
次に、ステップＳ１８（ニューラルネットワーク更新ステップ）において、ニューラルネットワーク更新機能１６は、ラベル付き画像データの訓練結果（損失関数Ｌ１）及びラベルなし画像データの訓練結果（損失関数Ｌ２）に基づいて、ディープニューラルネットワークの更新を行う。
【0053】
なお、上記ステップＳ１１～Ｓ１８は、半教師あり学習に基づくディープニューラルネットワークの訓練過程を示しており、図示しないが、通常、訓練過程は複数回（数十回～数百回）を繰り返し実行する必要がある。
【0054】
所定回の訓練が実行された後、ステップＳ１９（画像処理ステップ）において、画像処理機能１７はステップＳ１８で更新されたディープニューラルネットワークを用いて、ディープニューラルネットワークに入力された被予測医用画像を処理する。画像処理機能１７は、損失関数Ｌ１及び損失関数Ｌ２に基づいて更新されたディープニューラルネットワークを用いて、入力された医用画像を処理する。
【0055】
具体的には、画像処理機能１７は、ディープニューラルネットワークを用いて、入力された医用画像に対して、医学解剖学的構造のセグメンテーション及び器官機能単位のセグメンテーションのうちの少なくとも一方の処理を行う。例えば、ディープニューラルネットワークの一つの予測種別が膵臓のセグメンテーションである場合、画像処理機能１７は、ディープニューラルネットワークに入力された被検体の腹部の医用画像に対して、更新されたディープニューラルネットワークに基づいて膵臓のセグメンテーションを予測した後に、膵臓のセグメンテーション結果を出力する。画像処理機能１７は、「画像処理部」の一例である。
【0056】
以上の説明により、本実施形態に係る医用画像処理装置１０では、まず、ラベル付き画像データ訓練機能１１は、入力されたラベル付き画像データを用いて、医用画像処理を行うためのディープニューラルネットワークを訓練する。次に、第１拡張機能１２は、入力されたラベルなし画像データに対して弱いデータ拡張を施して第１拡張画像を得る。次に、アテンション設定機能１３は、ディープニューラルネットワークを用いて第１拡張画像を予測し、第１拡張画像中の各画素の予測情報（確率マップ平均値）に基づいて各画素が疑似ラベルになり得るか否かを決定する。また、第２拡張機能１４は、第１拡張画像に対して強いデータ拡張を施して第２拡張画像を得る。次に、ラベルなし画像データ訓練機能１５は、第２拡張画像と、アテンション設定機能１３で決定された疑似ラベルとを用いて、ディープニューラルネットワークを訓練する。画像処理機能１７は、ラベル付き画像データの訓練結果（損失関数Ｌ１）及びラベルなし画像データの訓練結果（損失関数Ｌ２）に基づいて更新されたディープニューラルネットワークを用いて、入力された医用画像を処理する。これにより、第１の実施形態に係る医用画像処理装置１０によれば、医用画像処理の正確度を向上させることができる。
【0057】
例えば、第１の実施形態に係る医用画像処理装置１０による処理（医用画像処理方法）では、一部の予測情報（確率マップ平均値）が正確な画素のみは疑似ラベルになり得るが、予測情報が不良な画素は疑似ラベルになり得ない。これにより、本実施形態では、疑似ラベルは画素レベルで最適化され、予測情報が正確な画素のネットワーク最適化への寄与率を増加するとともに、予測情報が不良な画素のネットワーク最適化に対する影響を抑制する。その結果、本実施形態では、ラベルなし画像データを用いてディープニューラルネットワークを訓練する際の訓練結果が最適化される。さらに、本実施形態では、当該ディープニューラルネットワークを用いて医用画像に対して医学解剖学的構造や器官機能単位のセグメンテーションなどの予測を行う場合、より高い医用画像処理の予測正確度を得ることができる。
【0058】
また、第１の実施形態に係る医用画像処理装置１０による処理（医用画像処理方法）では、確率マップ平均値を取得する際に複数の位置変換を経て確率マップ平均値を求める方式を採用している。これにより、本実施形態では、位置変換を行わない場合に比べ、より正確かつ確実な確率マップ平均値を得ることができ、さらに、確率マップ平均値に基づいて疑似ラベルを決定する際に、疑似ラベルの正確度を向上させることができる。
【0059】
このように、第１の実施形態に係る医用画像処理装置１０では、半教師あり学習に基づく医用画像処理方法（ステップＳ１１～Ｓ１９）により、ラベル付きの画像データの数が少ない場合でも医用画像のセグメンテーションの品質を大幅に改善することができる。
【0060】
（第２の実施形態）
次に、第２の実施形態に係る医用画像処理装置１０Ａ及び医用画像処理方法について説明する。
次に、第２の実施形態に係る医用画像処理装置１０Ａ及び医用画像処理方法について説明する。
【0061】
【0062】
図６に示すように、第２の実施形態に係る医用画像処理装置１０Ａの処理回路１０５は、ラベル付き画像データ訓練機能１１、第１拡張機能１２、アテンション設定機能１３Ａ、第２拡張機能１４、ラベルなし画像データ訓練機能１５Ａ、ニューラルネットワーク更新機能１６、画像処理機能１７を備える。即ち、第２の実施形態における処理回路１０５は、図１に示した医用画像処理装置１０の処理回路１０５のアテンション設定機能１３及びラベルなし画像データ訓練機能１５に代えて、アテンション設定機能１３Ａ及びラベルなし画像データ訓練機能１５Ａを備える点で、第１の実施形態と異なる。
【0063】
図７に示すように、第２の実施形態におけるアテンション設定機能１３Ａは、確率マップ平均値取得機能１３１、疑似ラベル決定機能１３２、信頼度重み決定機能１３３を備える。即ち、第２の実施形態におけるアテンション設定機能１３Ａは、図２に示した確率マップ平均値取得機能１３１及び疑似ラベル決定機能１３２に加えて、信頼度重み決定機能１３３を更に備える点で、第１の実施形態と異なる。
【0064】
図８は、第２の実施形態に係る医用画像処理装置１０Ａによる処理（医用画像処理方法）の手順を示すフローチャートである。以下の説明では、第１の実施形態と同様の説明を省略し、相違点についてのみ説明する。
【0065】
図８に示すように、第２の実施形態に係る医用画像処理装置１０Ａによる処理（医用画像処理方法）では、ステップＳ１５の後にステップＳ２０（信頼度重み決定ステップ）が追加されている。
【0066】
ステップＳ２０（信頼度重み決定ステップ）において、信頼度重み決定機能１３３は、第１拡張画像中の各画素の確率マップ平均値の大きさに対して、各画素の信頼度の重みをそれぞれに設定する。確率マップ平均値が大きい画素ほど、決定される信頼度の重みが大きくなり、確率マップ平均値が小さい画素ほど、決定される信頼度の重みが小さくなる。例えば、図５Ｂに示す確率マップ平均値の場合、確率マップ平均値が、それぞれ、「１」、「０．９」、「０．６」、「０」である画素については、その画素の信頼度の重みを、それぞれ、「１」、「０．９」、「０．６」、「０」とすることができる。
【0067】
また、確率マップ平均値の大きさに基づいて信頼度の重みを二値化する方式を採用してもよい。例えば、第１拡張画像中の確率マップ平均値が「０．５」より大きい画素については、当該画素の信頼度の重みを「１」とし、第１拡張画像中の確率マップ平均値が「０．５」以下の画素については、当該画素の信頼度の重みを「０」とすることができる。
【0068】
信頼度重み決定機能１３３は、第１拡張画像中の画素毎に信頼度の重みを決定するのではなく、ステップＳ１５において疑似ラベルとして決定された各画素についてのみ信頼度の重みを設定するようにしてもよい。これは、疑似ラベルとして決定されなかった他の画素は、後続の訓練において訓練結果に影響を与えないからである。
【0069】
また、図８に示すように、第２の実施形態に係る医用画像処理装置１０Ａによる処理（医用画像処理方法）では、図３に示したステップＳ１７に代えて、ステップＳ１７Ａ（ラベルなし画像データ訓練ステップ）の処理を行う。
【0070】
ステップＳ１７Ａ（ラベルなし画像データ訓練ステップ）において、ラベルなし画像データ訓練機能１５Ａは、ステップＳ１６で得られた第２拡張画像、ステップＳ１５で得られた疑似ラベル、及び、ステップＳ２０で得られた信頼度の重みを用いて、ディープニューラルネットワークを訓練する。
【0071】
ラベルなし画像データ訓練機能１５Ａは、ラベルなし画像データを用いてディープニューラルネットワークを訓練する場合、以下の処理を行う。
【0072】
例えば、ディープニューラルネットワークの一つの予測種別が膵臓のセグメンテーションである場合、ラベルなし画像データ訓練機能１５Ａは、まず、当該ディープニューラルネットワークに、ステップＳ１６で得られた第２拡張画像を入力する。次に、ラベルなし画像データ訓練機能１５Ａは、ディープニューラルネットワークに基づいて第２拡張画像の確率マップを予測し、予測結果を出力する。そして、ラベルなし画像データ訓練機能１５Ａは、第２拡張画像の確率マップを予測した予測結果、ステップＳ１５で得られた疑似ラベル、及び、ステップＳ２０で得られた各画素の信頼度の重みに基づいて、当該信頼度の重みを考慮した訓練結果として、ラベルなし画像データの損失関数Ｌ２’を得る。
【0073】
損失関数Ｌ２’の一例を下記式に示す。ここで、下記式において、ＣＥ ｌｏｓｓ’は、信頼度の重みを考慮した交差エントロピー（クロスエントロピー）損失を示し、Ｄｉｃｅ ｌｏｓｓは、Ｄｉｃｅ損失を示す。Ｎは、医用画像における画素の数を示し、Ｍは、予測種別の数を示し、ｗｉ，ｃは、画素ｉが予測種別ｃであると予測される信頼度の重みを示し、Ｐｉ，ｃは、画素ｉが予測種別ｃであると予測される確率を示し、ｙ２ｉ，ｃは、画素ｉが予測種別ｃである疑似ラベル（疑似ＧＴ）を示す。
【0074】
【数7】
【数8】
【数9】
【0075】
第２の実施形態に係る医用画像処理装置１０Ａによる処理（医用画像処理方法）では、ラベルなし画像データの訓練結果に画素レベルの信頼度の重みを導入することにより、予測情報（確率マップ平均値）が正確な画素は、より高い信頼度の重みが付与される。その結果、本実施形態では、予測情報が正確な画素のディープニューラルネットワーク最適化への寄与率をさらに強化させることができ、ディープニューラルネットワークの画像処理の正確度をさらに向上させることができる。
【0076】
このように、第２の実施形態に係る医用画像処理装置１０Ａでは、半教師あり学習に基づく医用画像処理方法（ステップＳ１１～Ｓ２０）により、ラベル付きの画像データの数が少ない場合でも医用画像のセグメンテーションの品質を大幅に改善することができる。
【0077】
（第３の実施形態）
次に、第３の実施形態に係る医用画像処理装置１０Ｂ及び医用画像処理方法について説明する。
次に、第３の実施形態に係る医用画像処理装置１０Ｂ及び医用画像処理方法について説明する。
【0078】
図９は、第３の実施形態に係る医用画像処理装置１０Ｂの機能構成を示すブロック図である。
【0079】
図９に示すように、第３の実施形態に係る医用画像処理装置１０Ｂの処理回路１０５は、ラベル付き画像データ訓練機能１１、第１拡張機能１２Ｂ、アテンション設定機能１３Ａ、第２拡張機能１４、ラベルなし画像データ訓練機能１５Ａ、ニューラルネットワーク更新機能１６、画像処理機能１７、関心領域抽出機能１８を備える。即ち、第３の実施形態における処理回路１０５は、図６に示した医用画像処理装置１０Ａの処理回路１０５の各機能に加えて、関心領域抽出機能１８を更に備える点で、第２の実施形態と異なる。また、第３の実施形態における処理回路１０５は、図６に示した医用画像処理装置１０Ａの処理回路１０５の第１拡張機能１２に代えて、第１拡張機能１２Ｂを備える点で、第２の実施形態と異なる。
【0080】
図１０は、第３の実施形態に係る医用画像処理装置１０Ｂによる処理（医用画像処理方法）の手順を示すフローチャートである。以下の説明では、第１の実施形態及び第２の実施形態と同様の説明を省略し、相違点についてのみ説明する。
【0081】
図１０に示すように、第３の実施形態に係る医用画像処理装置１０Ｂによる処理（医用画像処理方法）は、第２の実施形態に比べ、ステップＳ１２の前にステップＳ２１（関心領域抽出ステップ）が追加されている。
【0082】
ステップＳ２１（関心領域抽出ステップ）において、関心領域抽出機能１８は、訓練毎に、記憶回路１０４に記憶されている訓練データである全てのラベルなし画像データから任意のラベルなし画像データを入力データとしてランダムに選び出す。そして、関心領域抽出機能１８は、入力されたラベルなし画像データに対して、前記ディープニューラルネットワークの予測結果に基づいて、当該ラベルなし画像データにおける関心領域を含む一部のデータを関心領域データとして抽出する。
【0083】
図１１Ａは、関心領域抽出機能１８に入力されたラベルなし画像データの一例を示す図である。図１１Ｂは、ラベルなし画像データに対するディープニューラルネットワークの予測結果を示す図である。図１１Ｂでは、破線で囲まれた領域は、セグメンテーション対象（膵臓）に対するセグメンテーション結果である。図１１Ｃは、抽出された関心領域データの一例を示す図である。関心領域は、予測されたセグメンテーション対象（膵臓）の全部又は大部分の領域を含むものであれば、ランダムに選択することができる。
【0084】
次に、ステップＳ１２（第１拡張ステップ）において、第１拡張機能１２Ｂは、抽出された関心領域データに対して弱いデータ拡張を施して第１拡張画像を得る。
【0085】
第３の実施形態に係る医用画像処理装置１０Ｂによる処理（医用画像処理方法）では、関心領域データを抽出することにより、後続の画像処理及び後続の訓練に用いられるデータ量を低減して、訓練効率を向上させることができる。さらに、本実施形態では、抽出の過程は、寄与率が低いデータの一部を除去し、寄与率が高いデータの割合を比較的に高めることに相当するので、ディープニューラルネットワークの画像処理の正確度をある程度向上させることができる。
【0086】
また、発明者は、第３の実施形態に係る医用画像処理装置１０Ｂによる処理（医用画像処理方法）と、比較例として教師あり技術及び半教師あり技術とを比較するテストを実施した。その結果、本実施形態では、ラベル付きのデータ量が少ない場合でも医用画像のセグメンテーションの品質を大幅に改善することができることが分かった。
【0087】
例えば、表１は、ディープニューラルネットワークの一つの予測種別が膵臓のセグメンテーションである場合のテスト結果を示す。なお、表１の例では、テスト結果の評価指標として、Ｄｉｃｅ係数が用いられる。以下、テスト結果の評価指標を、「Ｄｉｃｅ指標」と記載する。
【0088】
表１の「比較例１（教師あり技術）」は、少量のラベル付き画像データ（訓練数７）のみを用いた教師あり技術のテスト結果（Ｄｉｃｅ指標）を示す。表１の「比較例２（半教師あり技術）」は、少量のラベル付き画像データ（訓練数７）とラベルなし画像データ（訓練数４５７）とを用いた半教師あり技術のテスト結果（Ｄｉｃｅ指標）を示す。表１の「比較例３（教師あり技術）」は、比較例１より多くのラベル付き画像データ（訓練数４３）のみを用いた教師あり技術のテスト結果（Ｄｉｃｅ指標）を示す。表１の「第３の実施形態（半教師あり技術）」は、少量のラベル付き画像データ（訓練数７）とラベルなし画像データ（訓練数４５７）とを用いた半教師あり技術のテスト結果（Ｄｉｃｅ指標）を示す。ここで、比較例２における半教師あり技術は、本実施形態におけるアテンション設定機能１３、１３Ａ、ラベルなし画像データ訓練機能１５Ａ及び関心領域抽出機能１８に対応する機能を少なくとも含まない点で、本実施形態と相違する。
【0089】
表１によれば、本実施形態が取得したＤｉｃｅ指標は、少量のラベル付き画像データのみを用いた教師あり技術（比較例１）より高く、半教師あり技術（比較例２）よりも高く、さらには、より多くのラベル付き画像データのみを用いた教師あり技術（比較例３）の訓練結果を超えている。表１に示すＤｉｃｅ指標は、医用画像における画像セグメンテーションアルゴリズムの良否を評価するために慣用されたものである。Ｄｉｃｅ値が大きいほど、そのディープニューラルネットワークのセグメンテーション品質が良くなることを示す。
【0090】
【表1】
【0091】
このように、第３の実施形態に係る医用画像処理装置１０Ｂでは、半教師あり学習に基づく医用画像処理方法（ステップＳ１１～Ｓ２１）により、ラベル付きの画像データの数が少ない場合でも医用画像のセグメンテーションの品質を大幅に改善することができる。
【0092】
（他の実施形態）
これまで実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。
これまで実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。
【0093】
例えば、確率マップ平均値を算出する際に、第１の実施形態におけるステップＳ１３（確率マップ取得ステップ）及びステップＳ１４（確率マップ平均値計算ステップ）については、他の方式を採用してもよい。例えば、他の方式として、ステップＳ１３（確率マップ取得ステップ）では、アテンション設定機能１３が、複数回の訓練に対応する複数のディープニューラルネットワークを用いて第１拡張画像をそれぞれに予測し、複数の確率マップを取得する。そして、ステップＳ１４（確率マップ平均値計算ステップ）では、アテンション設定機能１３が、複数の確率マップの平均値を確率マップ平均値として求める。他の方式では、複数の確率マップの確率マップ平均値を算出しない場合に比べ、より正確かつ確実な確率マップ平均値を得ることができ、さらに、確率マップ平均値に基づいて疑似ラベルを決定する際に、疑似ラベルの正確度を向上させることができる。
【0094】
なお、本実施形態で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0095】
また、本実施形態で説明した方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0096】
以上説明した少なくとも１つの実施形態によれば、医用画像処理の正確度を向上させることができる。
【0097】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0098】
１０、１０Ａ、１０Ｂ 医用画像処理装置
１１ ラベル付き画像データ訓練機能
１２ 第１拡張機能
１３ アテンション設定機能
１４ 第２拡張機能
１５ ラベルなし画像データ訓練機能
１７ 画像処理機能
１１ ラベル付き画像データ訓練機能
１２ 第１拡張機能
１３ アテンション設定機能
１４ 第２拡張機能
１５ ラベルなし画像データ訓練機能
１７ 画像処理機能
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】