知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024072818
(43)【公開日】2024-05-28
(54)【発明の名称】マルチラベル分類方法及びマルチラベル分類システム
(51)【国際特許分類】
G16H 30/00 20180101AFI20240521BHJP
A61B 5/055 20060101ALI20240521BHJP
A61B 6/00 20240101ALI20240521BHJP
G06T 7/00 20170101ALI20240521BHJP
G06V 10/82 20220101ALI20240521BHJP
G06T 7/60 20170101ALI20240521BHJP
【ＦＩ】
G16H30/00
A61B5/055 380
A61B6/00 550Z
G06T7/00 350C
G06V10/82
G06T7/00 612
G06T7/60 110
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023195264
(22)【出願日】2023-11-16
(31)【優先権主張番号】63/383,918
(32)【優先日】2022-11-16
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502160992
【氏名又は名称】宏達國際電子股▲ふん▼有限公司
(74)【代理人】
【識別番号】100206335
【弁理士】
【氏名又は名称】太田 和宏
(72)【発明者】
【氏名】リャオ チェ－ティン
(72)【発明者】
【氏名】彭 宇劭
【テーマコード（参考）】
4C093
4C096
5L096
5L099
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA18
4C093CA35
4C093DA04
4C093FF21
4C093FG18
4C096AA11
4C096AC01
4C096AD14
4C096DC22
4C096DD18
5L096BA06
5L096BA13
5L096GA34
5L096HA11
5L096KA04
5L096KA15
5L096MA07
5L099AA26
(57)【要約】 （修正有）
【課題】医療画像のマーキングラベルを生成するためのマルチラベル分類方法を提供する。
【解決手段】方法は、医療画像と医療画像における複数の異常特徴のうちのマーク済み部分をマークする局所入力ラベルとを含む初期データセットを取得するステップ、初期データセットを用いて第１マルチラベル分類モデルを訓練するステップ、第１マルチラベル分類モデルが生成した予測に基づいて初期データセットにおける医療画像の難易度レベルを推定するステップ、医療画像の難易度レベルによって初期データセットを異なるサブセットに分けるステップ、第２マルチラベル分類モデルを異なる複数のコース学習ラウンドにおいて難易度レベルが次第に逓増するサブセットによって訓練するステップ及び第２マルチラベル分類モデルに基づいて医療画像における複数の異常特徴のそれぞれをマークする予測ラベルを生成することで全ての異常特徴を完全にマークするステップを含む。
【選択図】図１
【解決手段】方法は、医療画像と医療画像における複数の異常特徴のうちのマーク済み部分をマークする局所入力ラベルとを含む初期データセットを取得するステップ、初期データセットを用いて第１マルチラベル分類モデルを訓練するステップ、第１マルチラベル分類モデルが生成した予測に基づいて初期データセットにおける医療画像の難易度レベルを推定するステップ、医療画像の難易度レベルによって初期データセットを異なるサブセットに分けるステップ、第２マルチラベル分類モデルを異なる複数のコース学習ラウンドにおいて難易度レベルが次第に逓増するサブセットによって訓練するステップ及び第２マルチラベル分類モデルに基づいて医療画像における複数の異常特徴のそれぞれをマークする予測ラベルを生成することで全ての異常特徴を完全にマークするステップを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の医療画像と、前記医療画像における複数の異常特徴のうちのマーク済み部分をマークする複数の局所入力ラベルとを含む初期データセットを取得するステップと、
前記初期データセットに基づいて第１マルチラベル分類モデルを訓練するステップと、
前記第１マルチラベル分類モデルが生成した予測に基づいて、前記初期データセットにおける前記医療画像の複数の難易度レベルを推定するステップと、
前記医療画像の前記難易度レベルによって、前記初期データセットを少なくとも第１サブセットと、前記第１サブセットに比べて難易度レベルが高い第２サブセットとに分けるステップと、
第１コース学習ラウンドにおいて、前記第１サブセットに基づいて第２マルチラベル分類モデルを訓練するステップと、
第２コース学習ラウンドにおいて、前記第１サブセット及び前記第２サブセットに基づいて前記第２マルチラベル分類モデルを訓練するステップと、
前記第２マルチラベル分類モデルを用いて、前記医療画像における前記異常特徴のそれぞれをマークする複数の予測ラベルを生成するステップと、
を含むマルチラベル分類方法。
前記初期データセットに基づいて第１マルチラベル分類モデルを訓練するステップと、
前記第１マルチラベル分類モデルが生成した予測に基づいて、前記初期データセットにおける前記医療画像の複数の難易度レベルを推定するステップと、
前記医療画像の前記難易度レベルによって、前記初期データセットを少なくとも第１サブセットと、前記第１サブセットに比べて難易度レベルが高い第２サブセットとに分けるステップと、
第１コース学習ラウンドにおいて、前記第１サブセットに基づいて第２マルチラベル分類モデルを訓練するステップと、
第２コース学習ラウンドにおいて、前記第１サブセット及び前記第２サブセットに基づいて前記第２マルチラベル分類モデルを訓練するステップと、
前記第２マルチラベル分類モデルを用いて、前記医療画像における前記異常特徴のそれぞれをマークする複数の予測ラベルを生成するステップと、
を含むマルチラベル分類方法。
【請求項2】
前記第１マルチラベル分類モデルを訓練する前に、前記マルチラベル分類方法は、
前記初期データセットにおける前記複数の医療画像に対して、画像背景除去、画像ウィンドウサンプリング及びシーケンス画像スタッキングのうちの少なくとも１つを含む画像前処理を行うステップを更に含む請求項１に記載のマルチラベル分類方法。
前記初期データセットにおける前記複数の医療画像に対して、画像背景除去、画像ウィンドウサンプリング及びシーケンス画像スタッキングのうちの少なくとも１つを含む画像前処理を行うステップを更に含む請求項１に記載のマルチラベル分類方法。
【請求項3】
前記医療画像にはそれぞれＭ種類の異常特徴が潜在的に存在し、前記局所入力ラベルには、Ｎ種類の異常特徴に関する順方向予測又は逆方向予測が示され、ＭとＮは正の整数で、且つＭ＞Ｎであり、前記初期データセットにおける前記医療画像に対応する前記異常特徴のうちの１つのマークなし部分は未知状態であり、前記第１マルチラベル分類モデルは畳み込みニューラルネットワークを含み、前記第１マルチラベル分類モデルは、前記局所入力ラベルによって、マスクされたバイナリクロスエントロピー損失関数に基づいて訓練し、且つ前記異常特徴のうちの前記マークなし部分を考慮しない請求項１に記載のマルチラベル分類方法。
【請求項4】
前記初期データセットにおける前記医療画像の複数の難易度レベルを推定するステップは、
前記第１マルチラベル分類モデルで前記医療画像における前記異常特徴のそれぞれの複数の確率値を生成するステップと、
前記確率値及び前記局所入力ラベルによって、難易度評価関数に従って前記難易度レベルを推定するステップと、を含む請求項１に記載のマルチラベル分類方法。
前記第１マルチラベル分類モデルで前記医療画像における前記異常特徴のそれぞれの複数の確率値を生成するステップと、
前記確率値及び前記局所入力ラベルによって、難易度評価関数に従って前記難易度レベルを推定するステップと、を含む請求項１に記載のマルチラベル分類方法。
【請求項5】
前記第２マルチラベル分類モデルは、畳み込みニューラルネットワークを含み、前記第２マルチラベル分類モデルは、前記局所入力ラベルによって、マスクされたバイナリクロスエントロピー損失関数に基づいて訓練する請求項１に記載のマルチラベル分類方法。
【請求項6】
前記医療画像は、複数の頭部コンピュータ断層撮影画像を含み、前記異常特徴は、脳実質出血、脳室内出血、くも膜下腔出血、硬膜下頭蓋内出血、及び硬膜外出血を含む請求項１に記載のマルチラベル分類方法。
【請求項7】
前記第２マルチラベル分類モデルは、１枚の医療画像に対して、脳実質出血、脳室内出血、くも膜下腔出血、硬膜下頭蓋内出血、及び硬膜外出血に関する順方向予測又は逆方向予測の５つの予測ラベルを生成するために用いられる請求項６に記載のマルチラベル分類方法。
【請求項8】
前記第２マルチラベル分類モデルで前記予測ラベルに対応する複数の信頼値を生成するステップと、
前記信頼値及び前記局所入力ラベルに基づいて絶対誤差を計算するステップと、
前記予測ラベルを前記絶対誤差の順序に基づいて表示するステップと、
を更に含む請求項１に記載のマルチラベル分類方法。
前記信頼値及び前記局所入力ラベルに基づいて絶対誤差を計算するステップと、
前記予測ラベルを前記絶対誤差の順序に基づいて表示するステップと、
を更に含む請求項１に記載のマルチラベル分類方法。
【請求項9】
前記予測ラベルの修正に関する修正命令を収集するステップと、
前記修正命令によって複数の修正後の入力ラベルを取得するステップと、
複数のコース学習ラウンドにおいて前記修正後の入力ラベルを参照して第３マルチラベル分類モデルを訓練するステップと、
を更に含む請求項８に記載のマルチラベル分類方法。
前記修正命令によって複数の修正後の入力ラベルを取得するステップと、
複数のコース学習ラウンドにおいて前記修正後の入力ラベルを参照して第３マルチラベル分類モデルを訓練するステップと、
を更に含む請求項８に記載のマルチラベル分類方法。
【請求項10】
複数のコンピュータ実行可能命令を記憶するための記憶ユニットと、
前記記憶ユニットに結合され、前記コンピュータ実行可能命令を実行して第１マルチラベル分類モデル及び第２マルチラベル分類モデルを構築するための処理ユニットと、を備え、
前記処理ユニットは、
複数の医療画像と、前記医療画像における複数の異常特徴のうちのマーク済み部分をマークする複数の局所入力ラベルとを含む初期データセットを取得することと、
前記初期データセットに基づいて前記第１マルチラベル分類モデルを訓練することと、
前記第１マルチラベル分類モデルが生成した予測に基づいて、前記初期データセットにおける前記医療画像の複数の難易度レベルを推定することと、
前記医療画像の前記難易度レベルによって、前記初期データセットを少なくとも第１サブセットと、前記第１サブセットに比べて難易度レベルが高い第２サブセットとに分けることと、
第１コース学習ラウンドにおいて、前記第１サブセットに基づいて第２マルチラベル分類モデルを訓練することと、
第２コース学習ラウンドにおいて、前記第１サブセット及び前記第２サブセットに基づいて前記第２マルチラベル分類モデルを訓練することと、
前記第２マルチラベル分類モデルを用いて、前記医療画像における前記異常特徴のそれぞれをマークする複数の予測ラベルを生成すること、に用いられるマルチラベル分類システム。
前記記憶ユニットに結合され、前記コンピュータ実行可能命令を実行して第１マルチラベル分類モデル及び第２マルチラベル分類モデルを構築するための処理ユニットと、を備え、
前記処理ユニットは、
複数の医療画像と、前記医療画像における複数の異常特徴のうちのマーク済み部分をマークする複数の局所入力ラベルとを含む初期データセットを取得することと、
前記初期データセットに基づいて前記第１マルチラベル分類モデルを訓練することと、
前記第１マルチラベル分類モデルが生成した予測に基づいて、前記初期データセットにおける前記医療画像の複数の難易度レベルを推定することと、
前記医療画像の前記難易度レベルによって、前記初期データセットを少なくとも第１サブセットと、前記第１サブセットに比べて難易度レベルが高い第２サブセットとに分けることと、
第１コース学習ラウンドにおいて、前記第１サブセットに基づいて第２マルチラベル分類モデルを訓練することと、
第２コース学習ラウンドにおいて、前記第１サブセット及び前記第２サブセットに基づいて前記第２マルチラベル分類モデルを訓練することと、
前記第２マルチラベル分類モデルを用いて、前記医療画像における前記異常特徴のそれぞれをマークする複数の予測ラベルを生成すること、に用いられるマルチラベル分類システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療画像の分類方法に関し、特に、１枚の医療画像に対して複数のラベル付きマークを生成するための分類方法に関する。
【背景技術】
【0002】
Ｘ線スキャン、磁気共鳴画像、コンピュータ断層撮影スキャン等の医療画像検査は、患者の状況を評価するための重要なツールである。医療画像に現れる異常を正確に識別するには、通常、経験豊富な医療スタッフが必要である。したがって、医療画像検査の実行効率を向上させ、人件費を削減するために、医療画像における異常状況を検出や区分できる機械学習モデルの構築が望まれている。
【発明の概要】
【0003】
本開示の一態様は、マルチラベル分類方法であって、複数の医療画像と、前記医療画像における複数の異常特徴のうちのマーク済み部分をマークする複数の局所入力ラベルとを含む初期データセットを取得するステップと、前記初期データセットに基づいて第１マルチラベル分類モデルを訓練するステップと、前記第１マルチラベル分類モデルが生成した予測に基づいて、前記初期データセットにおける前記医療画像の複数の難易度レベルを推定するステップと、前記医療画像の前記難易度レベルによって、前記初期データセットを少なくとも第１サブセットと、前記第１サブセットに比べて難易度レベルが高い第２サブセットとに分けるステップと、第１コース学習ラウンドにおいて、前記第１サブセットに基づいて第２マルチラベル分類モデルを訓練するステップと、第２コース学習ラウンドにおいて、前記第１サブセット及び前記第２サブセットに基づいて前記第２マルチラベル分類モデルを訓練するステップと、前記第２マルチラベル分類モデルを用いて、前記医療画像における前記異常特徴のそれぞれをマークする複数の予測ラベルを生成するステップと、を含むマルチラベル分類方法を開示する。
【0004】
幾つかの実施例において、前記第１マルチラベル分類モデルを訓練する前に、前記マルチラベル分類方法は、前記初期データセットにおける前記複数の医療画像に対して、画像背景除去、画像ウィンドウサンプリング及びシーケンス画像スタッキングのうちの少なくとも１つを含む画像前処理を行うステップを更に含む。
【0005】
幾つかの実施例において、前記医療画像にはそれぞれＭ種類の異常特徴が潜在的に存在し、前記局所入力ラベルには、Ｎ種類の異常特徴に関する順方向予測又は逆方向予測が示され、ＭとＮは正の整数で、且つＭ＞Ｎであり、前記初期データセットにおける前記医療画像に対応する前記異常特徴のうちの１つのマークなし部分は未知状態であり、前記第１マルチラベル分類モデルは畳み込みニューラルネットワークを含み、前記第１マルチラベル分類モデルは、前記局所入力ラベルによって、マスクされたバイナリクロスエントロピー損失関数に基づいて訓練し、且つ前記異常特徴のうちの前記マークなし部分を考慮しない。
【0006】
幾つかの実施例において、前記初期データセットにおける前記医療画像の複数の難易度レベルを推定するステップは、前記第１マルチラベル分類モデルで前記医療画像における前記異常特徴のそれぞれの複数の確率値を生成するステップと、前記確率値及び前記局所入力ラベルによって、難易度評価関数に従って前記難易度レベルを推定するステップと、を含む。
【0007】
幾つかの実施例において、前記第２マルチラベル分類モデルは、畳み込みニューラルネットワークを含み、前記第２マルチラベル分類モデルは、前記局所入力ラベルによって、マスクされたバイナリクロスエントロピー損失関数に基づいて訓練する。
【0008】
幾つかの実施例において、前記医療画像は、複数の頭部コンピュータ断層撮影画像を含み、前記異常特徴は、脳実質出血、脳室内出血、くも膜下腔出血、硬膜下頭蓋内出血、及び硬膜外出血を含む。
【0009】
幾つかの実施例において、前記第２マルチラベル分類モデルは、１枚の医療画像に対して、脳実質出血、脳室内出血、くも膜下腔出血、硬膜下頭蓋内出血、及び硬膜外出血に関する順方向予測又は逆方向予測の５つの予測ラベルを生成するために用いられる。
【0010】
幾つかの実施例において、マルチラベル分類方法は、前記第２マルチラベル分類モデルで前記予測ラベルに対応する複数の信頼値を生成するステップと、前記信頼値及び前記局所入力ラベルに基づいて絶対誤差を計算するステップと、前記予測ラベルを前記絶対誤差の順序に基づいて表示するステップと、を更に含む。
【0011】
幾つかの実施例において、マルチラベル分類方法は、前記予測ラベルの修正に関する修正命令を収集するステップと、前記修正命令によって複数の修正後の入力ラベルを取得するステップと、複数のコース学習ラウンドにおいて前記修正後の入力ラベルを参照して第３マルチラベル分類モデルを訓練するステップと、を更に含む。
【0012】
本開示の別の態様は、マルチラベル分類システムであって、複数のコンピュータ実行可能命令を記憶するための記憶ユニットと、前記記憶ユニットに結合され、前記コンピュータ実行可能命令を実行して第１マルチラベル分類モデル及び第２マルチラベル分類モデルを構築するための処理ユニットと、を備え、前記処理ユニットは、複数の医療画像と、前記医療画像における複数の異常特徴のうちのマーク済み部分をマークする複数の局所入力ラベルとを含む初期データセットを取得することと、前記初期データセットに基づいて前記第１マルチラベル分類モデルを訓練することと、前記第１マルチラベル分類モデルが生成した予測に基づいて、前記初期データセットにおける前記医療画像の複数の難易度レベルを推定することと、前記医療画像の前記難易度レベルによって、前記初期データセットを少なくとも第１サブセットと、前記第１サブセットに比べて難易度レベルが高い第２サブセットとに分けることと、第１コース学習ラウンドにおいて、前記第１サブセットに基づいて第２マルチラベル分類モデルを訓練することと、第２コース学習ラウンドにおいて、前記第１サブセット及び前記第２サブセットに基づいて前記第２マルチラベル分類モデルを訓練することと、前記第２マルチラベル分類モデルを用いて、前記医療画像における前記異常特徴のそれぞれをマークする複数の予測ラベルを生成すること、に用いられる。
【0013】
これにより、第２マルチラベル分類モデルが生成した予測ラベルは、各医療画像における全ての異常特徴を完全にマークし、予測ラベルに欠落／未知ラベルがない。また、第２マルチラベル分類モデルが生成した予測ラベルが状況に該当しない場合、医療スタッフは、少ない時間と労力で検証と検査を完了することができる。この場合、マルチラベル分類方法は、比較的低コストで精度の高いマルチラベル分類モデルを効率的に得るために用いられる。
【0014】
なお、上記説明及び後続の詳細な説明は、実施例として本開示を例示的に説明するものであり、本開示が特許請求する発明の内容の解釈及び理解を補助するためのものである。
【図面の簡単な説明】
【0015】
本開示の上記及び他の目的、特徴及び実施例をより明確且つ理解しやすくするために、添付図面を以下に説明する。
【図1】本開示の幾つかの実施例によるマルチラベル分類方法を示すフローチャートである。
【図2】本開示の幾つかの実施例におけるマルチラベル分類システムを示す機能ブロック図である。
【図3】オリジナル医療画像に対して画像背景除去ステップを行って前処理後の医療画像を生成する模式図である。
【図4】オリジナル医療画像に対して画像ウィンドウサンプリングステップを行って前処理後の医療画像を生成する模式図である。
【図5】一連のオリジナル医療画像に対してシーケンス画像スタッキングステップを行って前処理後の医療画像を生成する模式図である。
【図8】幾つかの実施例によるディスプレイに該当しない予測ラベルに関する関連情報を表示する模式図である。
【発明を実施するための形態】
【0016】
以下、本開示の様々な特徴を実施するための様々な実施例又は例を開示する。以下の説明では、特殊な例において本開示を簡略化するための部品や配置が以下の議論で使用される。議論されるいかなる例は解釈のためのものに過ぎず、本開示又は例の範囲及び意義をいかなる方式で限定するものではない。適切な状況では、図面の間及び対応する文字の記載において同じ又は類似の部品を表すために同じ参照番号が使用される。
【0017】
図１を参照されたい。それは本開示の幾つかの実施例によるマルチラベル分類方法１００を示すフローチャートである。マルチラベル分類方法１００は、各医療画像に対応して、画像に潜在的に現れる可能性のある複数の異常特徴の複数のラベルを生成するために用いられる。
【0018】
図２を併せて参照されたい。それは本開示の幾つかの実施例におけるマルチラベル分類システム２００の機能ブロック図を示し、マルチラベル分類システム２００は、図１に示すマルチラベル分類方法１００を実行するために用いられてよい。図２に示すように、マルチラベル分類システム２００は、入力インターフェース２２０、処理ユニット２４０、記憶ユニット２６０、及びディスプレイ２８０を含む。幾つかの実施例において、マルチラベル分類システム２００は、コンピュータ、スマートフォン、タブレットコンピュータ、画像処理サーバ、データ記憶サーバ、テンソル演算サーバ、又は他の同等の演算装置であってよい。
【0019】
記憶ユニット２６０は、コンピュータ実行可能命令を記憶するために用いられる。処理ユニット２４０は、入力インターフェース２２０、記憶ユニット２６０、及びディスプレイ２８０に結合される。処理ユニット２４０は、コンピュータ実行可能命令を実行して後続の実施例に議論されるマルチラベル分類モデルを実現するために用いられる。
【0020】
図１及び図２に示すように、マルチラベル分類システム２００の入力インターフェース２２０は、データソース（図示せず）から初期データセットＤｉｎｉを受信／取得するためのステップＳ１１０を実行する。幾つかの実施例において、データソースは、病院内のカルテレポートを記憶するデータサーバであってよい。幾つかの実施例において、初期データセットＤｉｎｉは、複数の医療画像ＩＭＧ及び複数の局所入力ラベルＰＬＢを含む。
【0021】
入力インターフェース２２０は初期データセットＤｉｎｉを受信するために用いられ、入力インターフェース２２０は、データ伝送インターフェース、無線通信回路、キーボード、マウス、マイクロフォン、又は任意の同等の入力機器を含んでよい。処理ユニット２４０は、入力インターフェース２２０、記憶ユニット２６０及びディスプレイ２８０に接続される。記憶ユニット２６０は、プログラムコードを記憶するために用いられる。記憶ユニット２６０に記憶されたプログラムコードは、処理ユニット２４０を図１に示すマルチラベル分類方法１００を実行するように駆動するために用いられる。幾つかの実施例において、処理ユニット２４０は、プロセッサ、グラフィックスプロセッサ、特定用途向け集積回路、又は任意の同等の処理回路であってよい。ディスプレイ２８０は、表示パネル、監視スクリーン、投影機、タッチパネル、又は任意の同等のディスプレイであってよい。
【0022】
幾つかの実施例において、複数の医療画像ＩＭＧは、頭蓋内出血を患っている患者を撮影して得られる頭部コンピュータ断層撮影画像を含む。実際の状況では、複数の医療画像ＩＭＧに異なる異常特徴が存在する可能性があり、それらはそれぞれ異なるタイプの頭蓋内出血、例えば脳実質出血、脳室内出血、くも膜下腔出血、硬膜下頭蓋内出血、及び硬膜外出血等に対応する。
【0023】
医療画像（例えば、コンピュータ断層撮影又は磁気造影撮影）において頭蓋内出血の異なる異常特徴を正確にマークするために、各タイプの頭蓋内出血の特性を詳細に分析して理解する必要がある。頭蓋内出血の５つのタイプの概要は以下の表１に示す。
【表1】
【0024】
頭蓋内出血の医療画像を正確にマークすることは、後続の治療及び予後にとって非常に重要であり、つまり、ＩＰＨ、ＩＶＨ、ＳＡＨ、ＳＤＨ及びＥＤＨ等の異なるタイプの頭蓋内出血を識別することは、後続の正確な治療計画を提供するために非常に重要である。各出血タイプには、その位置及び特徴に応じて、例えば手術、ドレナージ、又は保存治療等、異なる治療戦略を採用する必要がある。正確な診断は、医療スタッフが頭蓋内圧の上昇及び脳ヘルニア等の合併症を予防することを確保し、患者の進行の観察にも役立ち、必要に応じて治療手段を直ちに調整することを確保することができる。本質的に、正確な頭蓋内出血マークは、カスタマイズされた効果的な医療介護にとって非常に重要であり、患者の治療効果に大きな影響を与える可能性がある。幾つかの実施例において、マルチラベル分類方法１００は、マルチラベル分類モデルを効率的に訓練する方法を提供し、それは異なるタイプの頭蓋内出血を識別して対応するラベルを生成することができる。
【0025】
幾つかの場合、マルチラベル分類モデルを訓練するために大量のマークデータが必要である。訓練データセットにおける各医療画像にＩＰＨ、ＩＶＨ、ＳＡＨ、ＳＤＨ及びＥＤＨ等の様々な異常特徴を手動でマークするために、大量の医療人的資源及び大量の時間がかかる。マーク速度を速めるために、医療スタッフは、キーワードを用いて該当するカルテレポートを検索し、キーワードに該当するカルテレポートから関連する医療画像を取得することができる。例えば、「ＥＤＨ」の特徴を有する医療画像を取得しようとする場合、医療スタッフは、「ＥＤＨ」、「硬膜外出血」等のキーワードを入力し、対応するカルテレポートにおいてこれらのキーワードを有する医療画像を検索し、医療画像を「ＥＤＨ」という異常特徴を有するものとして直接マークしたり、医療スタッフが更なる確認過程を行ってマークしたりすることができる。しかし、上記方法で行われる自動化処理による迅速なマークには、ある程度のデータの誤りや漏れが存在する可能性がある。
【0026】
まず、マークデータには一部のラベルが欠けており、例えば、１枚の頭蓋内出血の医療画像には、１つの異常特徴のラベル、例えば「ＥＤＨ」がマークされているが、実際には、この頭蓋内出血の医療画像には、他のタイプの異常特徴（例えば、ＩＰＨ、ＩＶＨ、ＳＡＨ又はＳＤＨ等の異常特徴）が更に存在する可能性があり、これらの他の異常特徴がカルテレポートに記録されていない場合、カルテレポートによって自動的に生成されたラベルは、これらの医療画像の実際のマーク情報を正確且つ完全に反映することができない。次に、カルテレポートによって自動的に生成されたラベルには、幾つかの誤った解釈が存在する可能性があり、例えば、カルテレポートに「検査結果にＥＤＨがない」又は「患者にＥＤＨがない」と記載されている場合、「ＥＤＨ」の異常特徴に対応する正しいラベルは「負」であるべきである。場合によっては、キーワード「ＥＤＨ」が検出され、且つコンテキスト解釈が考慮されていないため、自動的に生成されたラベルを誤って「正」とマークすることがある。
【0027】
幾つかの実施例において、初期データセットＤｉｎｉにおける局所入力ラベルＰＬＢは、医療レポートによって自動的に生成することができる（例えば、カルテレポートからのキーワード比較）。局所入力ラベルＰＬＢには、医療画像ＩＭＧにおける複数の異常特徴のマーク済み部分がマークされている。表２を参照されたい。それは局所入力ラベルＰＬＢのリストであり、１つの例示的な例において、初期データセットＤｉｎｉにおける複数枚の医療画像ＩＭＧ１～ＩＭＧｋのうちのマーク済み部分を表示するために用いられる。
【表2】
【0028】
表２に示すように、第１医療画像ＩＭＧ１に対応する局所入力ラベルＰＬＢは、第１医療画像ＩＭＧ１上の１番目の異常特徴ＩＰＨに対する「正」の入力ラベルと、３番目の異常特徴ＳＡＨに対する「負」の入力ラベルとを含む。つまり、局所入力ラベルＰＬＢは、第１医療画像ＩＭＧ１に第１異常特徴ＩＰＨが存在し、且つ第１医療画像ＩＭＧ１に第３異常特徴ＳＡＨが存在しないことを表す。第１医療画像ＩＭＧ１に関する局所入力ラベルＰＬＢのうちの他の一部の異常特徴（ＩＶＨ、ＳＤＨ、ＥＤＨに対する）が現在マークされていないことに注意すべきである。第１医療画像ＩＭＧ１にこれらのマークされていない異常特徴が存在するか否かは、局所入力ラベルＰＬＢにとって未知である。つまり、初期データセットＤｉｎｉの情報により、第１医療画像ＩＭＧ１に異常特徴ＩＶＨ、ＳＤＨ、ＥＤＨが存在するか否かは確定されていない。この場合、第１医療画像ＩＭＧ１に関する局所入力ラベルＰＬＢは、２つの確認済みラベルを含む。
【0029】
同様に、表２に示すように、第２医療画像ＩＭＧ２に対応する局所入力ラベルＰＬＢは、第２医療画像ＩＭＧ２における第２異常特徴ＩＶＨの「正」の入力ラベルと、第４異常特徴ＳＤＨに対する「負」の入力ラベルとを含む。つまり、第２医療画像ＩＭＧ２に関する局所入力ラベルＰＬＢのうちの一部に対する異常特徴（ＩＰＨ、ＳＡＨ、ＥＤＨに対する）はマークされていない。言い換えれば、初期データセットＤｉｎｉの情報により、第２医療画像ＩＭＧ２に以下の異常特徴ＩＰＨ、ＳＡＨ及びＥＤＨが存在するか否かは確定されていない。
【0030】
言い換えれば、医療画像ＩＭＧ１～ＩＭＧｋのそれぞれには、Ｍ種類の異常特徴が潜在的に存在する可能性があり、局所入力ラベルＰＬＢは、医療画像ＩＭＧ１～ＩＭＧｋのそれぞれに対して、Ｎ種類の異常特徴に関する順方向予測又は逆方向予測を示し、ＭとＮは正の整数で、且つＭ＞Ｎである。
【0031】
幾つかの実施例において、図１及び図２に示すように、処理ユニット２４０は、ステップＳ１２０を実行して、初期データセットＤｉｎｉにおける各医療画像ＩＭＧに画像前処理を行う。幾つかの実施例において、画像前処理は、画像背景除去、画像ウィンドウサンプリング、及びシーケンス画像スタッキングのうちの少なくとも１種を含む。
【0032】
更に図３を参照されたい。それはオリジナル医療画像ＩＭＧａに対して画像背景除去ステップＳ１２１を行って前処理後の医療画像ＩＭＧｐ１を生成する模式図である。図３に示すように、画像背景除去ステップＳ１２１では、オリジナル医療画像ＩＭＧａの黒い背景から脳領域を切り取り、前処理で切り取った脳領域を医療画像ＩＭＧｐ１のサイズまで拡大する。この場合、画像背景除去ステップＳ１２１の後、脳領域の画像情報をできるだけ保留し、且つ医療画像ＩＭＧｐ１に拡大して表示してよく、それによりモデル訓練に役立つキー情報は、抽出されて前処理後の医療画像ＩＭＧｐ１に保留されてよい。
【0033】
更に図４を参照されたい。それはオリジナル医療画像ＩＭＧａに対して画像ウィンドウサンプリングステップＳ１２２を行って前処理後の医療画像ＩＭＧｐ２及びＩＭＧｐ３を生成する模式図である。図４に示すように、画像ウィンドウサンプリングステップＳ１２２において、オリジナル医療画像ＩＭＧｂの画素値にコントラスト画像調整を行う。この場合、オリジナル医療画像ＩＭＧｂに硬膜下のウィンドウ範囲サンプリングを行って前処理後の医療画像ＩＭＧｐ２を生成し、且つオリジナル医療画像ＩＭＧｂに骨格ウィンドウ数値範囲サンプリングを行って前処理後の別の医療画像ＩＭＧｐ３を生成する。この場合、前処理を経た医療画像ＩＭＧｐ２及びＩＭＧｐ３における硬膜下（ｓｕｂｄｕｒａｌ）又は骨格に関する画像特徴はよりはっきりと見える。
【0034】
図５を併せて参照されたい。それは一連のオリジナル医療画像ＩＭＧｃ、ＩＭＧｄ、ＩＭＧｅ、ＩＭＧｆ及びＩＭＧｇに対してシーケンス画像スタッキングステップＳ１２３を行って前処理後の医療画像ＩＭＧｐ４を生成する模式図である。図５に示すように、複数枚のオリジナル医療画像ＩＭＧｃ、ＩＭＧｄ、ＩＭＧｅ、ＩＭＧｆ及びＩＭＧｇは、患者の頭部コンピュータ断層撮影検査で撮影された一連のシーケンス画像であってよい。シーケンス画像スタッキングステップＳ１２３において、前後順で隣接する複数枚のオリジナル医療画像を前処理後の医療画像として統合／スタッキングしてよい。例えば、前処理後、隣接する３枚の医療画像ＩＭＧｄ、ＩＭＧｅ及びＩＭＧｆは、医療画像ＩＭＧｐ４にスタッキングされてよい。同様に、他の位置に隣接する複数枚の医療画像を同様な前処理医療画像としてスタッキングしてもよい。この場合、走査順序で隣接する複数の医療画像における特徴は、前処理を経た後、同一の医療画像ＩＭＧｐ４に記憶／統合されてよい。
【0035】
幾つかの実施例において、マルチラベル分類方法１００の後続のステップＳ１３０～Ｓ１７０において、オリジナル医療画像の代わりに、これらの前処理後の医療画像を用いることができる。別の実施例において、画像前処理ステップＳ１２０をスキップし、マルチラベル分類方法１００の後続のステップＳ１３０～Ｓ１７０においてオリジナル医療画像を直接採用してもよい。
【0036】
更に図６を参照されたい。それは図１のマルチラベル分類方法１００を示す模式図である。図１及び図５に示すように、ステップＳ１２０によって初期データセットＤｉｎｉにおける複数の医療画像ＩＭＧを前処理した後、初期データセットＤｉｎｉは、前処理後の複数枚の医療画像ＩＭＧｐ及び複数の局所入力ラベルＰＬＢを含む。
【0037】
幾つかの実施例において、図１、図２及び図６に示すように、処理ユニット２４０はステップＳ１３０を実行し、初期データセットＤｉｎｉに基づいて第１マルチラベル分類モデルＭＤ１を訓練する。初期データセットＤｉｎｉは、前処理後の医療画像ＩＭＧｐ及び局所入力ラベルＰＬＢを含む。幾つかの実施例において、第１マルチラベル分類モデルＭＤ１は、畳み込みニューラルネットワークを含む。この畳み込みニューラルネットワークは、分類するための畳み込み層、活性化層、プーリング層及び／又は全接続層を含んでよい。第１マルチラベル分類モデルＭＤ１は、報酬ポリシーによって逆伝播アルゴリズムで訓練することができる。報酬ポリシーは、損失関数によって定義される。幾つかの実施例において、第１マルチラベル分類モデルＭＤ１は、局所入力ラベルＰＬＢによって、マスクされたバイナリクロスエントロピー損失関数に基づいて訓練し、この損失関数は、異常特徴のマークなし部分を考慮しない。
【0038】
ステップＳ１３０において、第１マルチラベル分類モデルＭＤ１を用いて医療画像ＩＭＧｐにおける様々な異常特徴に対応する予測を生成し、且つ各異常特徴の予測結果を局所入力ラベルＰＬＢと比較して損失値を計算することで、第１マルチラベル分類モデルＭＤ１の畳み込みニューラルネットワークにおける重み／パラメータを調整する。
【0039】
幾つかの実施例において、処理ユニット２４０がマスクされたバイナリクロスエントロピー損失関数を以下の式によって計算する。
【数1】
【0040】
上記式（１）において、yiは、初期データセットＤｉｎｉにおける医療画像の実際のラベル（局所入力ラベルＰＬＢに基づく）であり、
は、第１マルチラベル分類モデルＭＤ１が生成した予測ラベルである。マスクされたバイナリクロスエントロピー損失関数によれば、yiが初期データセットＤｉｎｉにおける未知ラベルである場合、損失値の計算に影響を与えない。
【数2】
【0041】
図１、図２及び図６に示すように、処理ユニット２４０は、ステップＳ１４０を実行して、第１マルチラベル分類モデルＭＤ１が生成した予測に基づいて、初期データセットにおける各医療画像ＩＭＧｐの難易度レベルを推定する。
【0042】
第１マルチラベル分類モデルＭＤ１の訓練が完了した後、第１マルチラベル分類モデルＭＤ１は、表３に示すように、各医療画像における各異常特徴に対応する確率値を生成することができる。
【表3】
【0043】
表３において、第１医療画像ＩＭＧ１における異常特徴「ＩＰＨ」に対応する確率値は「０．８２」で、１に近く、これは、第１マルチラベル分類モデルＭＤ１が第１医療画像ＩＭＧ１に異常特徴「ＩＰＨ」が存在する可能性がより高いと予測することを意味する。第１医療画像ＩＭＧ１における異常特徴「ＩＶＨ」に対応する確率値は「０．２２」で、より０に近く、これは、第１マルチラベル分類モデルＭＤ１が第１医療画像ＩＭＧ１に異常特徴「ＩＶＨ」が存在する可能性が低いと予測することを意味する。幾つかの実施例において、上記確率値は、第１マルチラベル分類モデルＭＤ１における畳み込みニューラルネットワークによって生成されることができる。
【0044】
ステップＳ１４０において、処理ユニット２４０は、下記の難易度評価関数に従って各医療画像の難易度レベルを推定する。
【数3】
【0045】
式（２）では、ｙは、初期データセットＤｉｎｉにおける医療画像（局所入力ラベルＰＬＢに基づく）の１つの異常特徴に関する実際のラベルである。ラベルが「正」の場合、ｙ＝１である。ラベルが「負」の場合、ｙ＝０である。式（２）では、
は、第１マルチラベル分類モデルＭＤ１が生成した異常特徴に対応する確率値である。ｙと
との差が大きいほど、第１マルチラベル分類モデルＭＤ１による予測と実際のラベルとの差が大きいことを意味し、対応する医療画像をより予測しにくいことも示す。ｙと
の間の差が小さい場合、第１マルチラベル分類モデルＭＤ１による予測が実際のラベルにより近いことを意味し、対応する医療画像をより予測しやすいことも示す。
【数4】
【数5】
【数6】
【0046】
幾つかの実施例において、ステップＳ１４０では、各医療画像ＩＭＧｐに対応する５つの異常特徴はそれぞれ５つの難易度値を推定することができる。推定された５つの難易度値のうちの最大値は、この１枚の目標医療画像の難易度レベルと見なされる。更に表４を参照されたい。それは、難易度レベルのリストであり、例示的な例における各医療画像ＩＭＧ１～ＩＭＧｋの難易度レベルを示すために用いられる。
【表4】
【0047】
処理ユニット２４０は、ステップＳ１５０を実行し、上記各医療画像ＩＭＧ１～ＩＭＧｋのそれぞれから推定された難易度レベルによって、初期データセットＤｉｎｉにおける（前処理を経た）医療画像ＩＭＧ１～ＩＭＧｋを異なるサブセットＧ１～Ｇ３に分ける。
【0048】
例えば、難易度レベルが最も低い医療画像ＩＭＧ１及びＩＭＧ２は、第１サブセットＧ１に分けられてよく、難易度レベルが次に低い医療画像ＩＭＧ３及びＩＭＧｋは、第２サブセットＧ２に分けられてよく、難易度レベルが高い医療画像ＩＭＧ４は、第３サブセットＧ３に分けられてよい。
【0049】
幾つかの実施例において、医療画像ＩＭＧ１～ＩＭＧｋは、難易度レベルに基づいて１０個の異なるサブセットに分けられてよい。本開示では、サブセットは特定の数に限定されず、実際の応用及びデータの特性に応じて、分けた後のサブセットの総数を調整してよい。
【0050】
図１及び図２に示すように、処理ユニット２４０は、ステップＳ１６０を実行して、異なるコース学習ラウンドにおいて難易度が次第に逓増するサブセットＧ１～Ｇ３を用いて第２マルチラベル分類モデルＭＤ２を訓練する。
【0051】
図６に示す例示的な例では、ステップＳ１６０の第１コース学習ラウンドＲ１において、まず、難易度レベルが最も低い第１サブセットＧ１（医療画像ＩＭＧ１とＩＭＧ２及びそれに対応する局所入力ラベルＰＬＢを含む）に基づいて、第２マルチラベル分類モデルＭＤ２を訓練する。幾つかの実施例において、第１コース学習ラウンドＲ１の時間長さは、１つのエポック（ｅｐｏｃｈ）計算時間に設定されてよい。
【0052】
その後、ステップＳ１６０の第２コース学習ラウンドＲ２において、第１サブセットＧ１及び第２サブセットＧ２（医療画像ＩＭＧ３とＩＭＧｋ及びそれに対応する局所入力ラベルＰＬＢを含む）に基づいて、第２マルチラベル分類モデルＭＤ２を再び訓練し、ここで、第２サブセットＧ２の難易度レベルは第１サブセットＧ１より高い。幾つかの実施例において、第２コース学習ラウンドＲ２の時間長さは、１つのエポック計算時間に設定されてよい。
【0053】
その後、ステップＳ１６０の第３コース学習ラウンドＲ３において、第１サブセットＧ１、第２サブセットＧ２及び第３サブセットＧ３（医療画像ＩＭＧ４及びそれに対応する局所入力ラベルＰＬＢを含む）に基づいて、第２マルチラベル分類モデルＭＤ２を再び訓練する。ここで、第３サブセットＧ３の難易度レベルは、第１サブセットＧ１及び第２サブセットＧ２より高い。幾つかの実施例において、第３コース学習ラウンドＲ３の時間長さは、１つのエポック計算時間に設定されてよい。
【0054】
上記実施例に示すように、第２マルチラベル分類モデルＭＤ２は、まず、難易度レベルが最も低い第１サブセットＧ１によって初回訓練し、それにより第２マルチラベル分類モデルＭＤ２は、難易度が低い訓練データによって一定の予測正確度を予め確立することができる。次に、異なるコース学習ラウンドにおいて、難易度レベルが逓増する訓練データサブセットＧ１～Ｇ３によって第２マルチラベル分類モデルＭＤ２を繰り返し訓練する。この場合、第２マルチラベル分類モデルＭＤ２は、複数のコース学習ラウンドから難易度が逓増する訓練データの処理能力を順次取得することができる。
【0055】
図６に示す３つのコース学習ラウンドＲ１～Ｒ３は例として説明するものであり、本開示はそれに限定されない。幾つかの実施例において、初期データセットＤｉｎｉにおける医療画像が２つのサブセットに分けられると、第２マルチラベル分類モデルＭＤ２を順次訓練する２つのコース学習ラウンドがある。他の幾つかの実施例において、初期データセットＤｉｎｉにおける医療画像が１０個のサブセットに分けられると、第２マルチラベル分類モデルＭＤ２を順次訓練するために１０回のコース学習ラウンドを行う。
【0056】
幾つかの実施例において、第２マルチラベル分類モデルＭＤ２は、畳み込みニューラルネットワーク（ＣＮＮ）を含む。畳み込みニューラルネットワークは、分類するための畳み込み層、活性化層、プーリング層及び／又は全接続層を含んでよい。第２マルチラベル分類モデルＭＤ２は、逆伝播アルゴリズムを用いて報酬ポリシーによって訓練することができる。報酬ポリシーは、損失関数によって定義される。幾つかの実施例において、第２マルチラベル分類モデルＭＤ２は、マスクされたバイナリクロスエントロピー損失関数に基づいて、各コース学習ラウンドにおいて順次選択されたサブセット及び対応する局所入力ラベルＰＬＢによって訓練する。
【0057】
図１及び図２に示すように、処理ユニット２４０は、ステップＳ１７０を実行して、第２マルチラベル分類モデルＭＤ２に基づいて各医療画像にマークされた予測ラベルＦＬＢを生成する。予測ラベルＦＬＢは、医療画像における全ての異常特徴のそれぞれをカバーする。
【0058】
例示的な例において、第２マルチラベル分類モデルＭＤ２は、１枚の医療画像ごとに５つの予測ラベルを対応的に生成することができ、それらはそれぞれ５つの異常特徴ＩＰＨ、ＩＶＨ、ＳＡＨ、ＳＤＨ及びＥＤＨに関する正又は負の予測ラベルである。表５に示すように、それは例示的な例において各医療画像に対応して全ての異常特徴をマークした予測ラベルＦＬＢを生成するリストを示す。
【表5】
【0059】
表５に示すように、第２マルチラベル分類モデルＭＤ２が生成した予測ラベルＦＬＢは、各医療画像における全ての異常特徴ＩＰＨ、ＩＶＨ、ＳＡＨ、ＳＤＨ及びＥＤＨに対して完全にマークする。この場合、予測ラベルＦＬＢに欠落／未知ラベルは存在しない。
【0060】
第２マルチラベル分類モデルＭＤ２が生成した完全な予測ラベルＦＬＢは、医師又は医療スタッフの医療診断の支援又は補助的な参照として使用することができ、患者への効果的な治療の提供に役立つ。図２に示すように、予測ラベルＦＬＢ（表５に示す）はディスプレイ２８０に表示することができる。幾つかの場合、医療スタッフ（又は患者）は、頭部コンピュータ断層撮影（ＣＴ）で患者を撮影した医療画像に様々な異常特徴ＩＰＨ、ＩＶＨ、ＳＡＨ、ＳＤＨ及びＥＤＨが存在するか否かをこれにより迅速に知ることができる。それにより医療スタッフは、検出された異常特徴によって迅速且つ正確に対応できる（例えば、治療を行ったり、治療計画を提案したりする）。
【0061】
第２マルチラベル分類モデルＭＤ２は、予測ラベルＦＬＢを生成する過程において依然として誤って予測する可能性があるため、幾つかの実施例において、予測ラベルＦＬＢは、依然として医師、医療スタッフ又は臨床科学者によって検査確認される必要がある可能性がある。
【0062】
更に図７を参照されたい。それは本開示の幾つかの実施例による図１に示すマルチラベル分類方法１００に更に含まれる後続のステップを示すフローチャートである。図７に示すように、マルチラベル分類方法１００が上記実施例で説明したステップＳ１１０～Ｓ１７０を完了した後、マルチラベル分類方法１００は、予測ラベルの検査及び修正のステップＳ１８１～Ｓ１８５を更に含む。
【0063】
【0064】
これらの信頼値は、第２マルチラベル分類モデルＭＤ２の予測ラベルＦＬＢに対する確信度である。幾つかの実施例において、信頼値は、第２マルチラベル分類モデルＭＤ２における畳み込みニューラルネットワークによって生成されることができる。第２マルチラベル分類モデルＭＤ２が目標予測ラベルに対して確信である場合、目標予測ラベルに関する信頼値はより１に近い。一方、第２マルチラベル分類モデルＭＤ２が目標予測ラベルに対して確信でない場合、目標予測ラベルの信頼値はより０に近い。例えば、異常特徴「ＩＰＨ」の信頼値が「０．８２」で、より１に近い場合、第２マルチラベル分類モデルＭＤ２は、この医療画像に異常特徴「ＩＰＨ」が存在する可能性が高いと予測することを意味する。一方、医療画像において異常特徴「ＩＶＨ」に対して計算した信頼値が「０．２２」で、０に近い場合、第２マルチラベル分類モデルＭＤ２がこの医療画像に異常特徴「ＩＶＨ」が存在する可能性が低いと予測することを意味する。
【0065】
この場合、処理ユニット２４０は、予測ラベルＦＬＢごとに信頼値を生成するために用いられる。処理ユニット２４０は、第２マルチラベル分類モデルＭＤ２が生成した予測ラベルＦＬＢを入力ラベル（初期データセットＤｉｎｉにおける局所入力ラベルＰＬＢに基づく）と比較するために用いられる。ここで、一部の予測ラベルＦＬＢが入力ラベルと異なる機会があるかもしれない。予測ラベルＦＬＢが入力ラベルに該当しない場合、ステップＳ１８２において、該当しない予測ラベルＦＬＢは、信頼値と局所入力ラベルＰＬＢの両方に基づいて絶対誤差を計算し、且つ該当しない予測ラベルＦＬＢを絶対誤差の順序に従ってディスプレイ２８０に表示することができる。幾つかの実施例において、式（２）に示す難易度評価関数と同様に絶対誤差を計算してよく、つまり、信頼値及び局所入力ラベルＰＬＢに基づいて絶対誤差を計算する。例えば、絶対誤差は、以下の式（３）によって計算する。
【数7】
【0066】
式（３）に示すように、ｙは、初期データセットＤｉｎｉにおける医療画像の異常特徴に関する実際のラベル（局所入力ラベルＰＬＢに基づく）である。入力ラベルが正の場合、ｙ＝１である。入力ラベルが負の場合、ｙ＝０である。式（３）では、
は、第２マルチラベル分類モデルＭＤ２が生成した異常特徴に対応する信頼値である。ｙと
の間の差が大きいほど、第２マルチラベル分類モデルＭＤ２による予測と実際のラベルとの差が大きいことを意味する。ｙと
の間の差が小さい場合、第２マルチラベル分類モデルＭＤ２による予測が実際のラベルにより近いことを示す。
【数8】
【数9】
【数10】
【0067】
更に図８を参照されたい。それは幾つかの実施例によるディスプレイ２８０に該当しない予測ラベルに関する関連情報ＩＮＦＯを表示する模式図である。
【0068】
第２医療画像ＩＭＧ２の予測ラベルＦＬＢが局所入力ラベルＰＬＢに該当せず、且つ第２医療画像ＩＭＧ２の絶対誤差の計算結果が「０．９５」であると仮定する。これは、第２マルチラベル分類モデルＭＤ２が生成した第２医療画像ＩＭＧ２に関する予測ラベルＦＬＢが局所入力ラベルＰＬＢにおける初期ラベルと異なり、同時に第２マルチラベル分類モデルＭＤ２自体がその予測に対して信頼値が高いことを意味する。このような状況を引き起こす潜在的な原因は２つあり、まず、第２医療画像ＩＭＧ２に関する局所入力ラベルＰＬＢ自体が誤っているか、もしくは、予測ラベルＦＬＢの予測結果が誤っている。この場合、医療スタッフは、第２医療画像ＩＭＧ２にマークしたラベルが正しいか否かを時間を割り当てて注意し確認する必要がある。図８に示すように、表示される情報ＩＮＦＯは、第２医療画像ＩＭＧ２に関する完全な予測ラベルＦＬＢを含み、且つ最優先順位の一番上に表示される。
【0069】
第４医療画像ＩＭＧ４の予測ラベルＦＬＢも局所入力ラベルＰＬＢに該当せず、且つ第４医療画像ＩＭＧ４の絶対誤差の計算結果が「０．７７」であると仮定する。この場合も、医療スタッフは、第４医療画像ＩＭＧ４にマークしたラベルが正しいか否かを時間を割り当てて注意し確認する必要がある。図８に示すように、表示される情報ＩＮＦＯは、第４医療画像ＩＭＧ４に関する完全な予測ラベルＦＬＢを含み、且つ順序の二番目の位置に表示され、第２医療画像ＩＭＧ２の完全な予測ラベルＦＬＢの下に位置する。
【0070】
同様に、局所入力ラベルＰＬＢに該当しない予測ラベルを有する医療画像がより多く存在する場合、それらの医療画像はそれぞれの絶対誤差の順序に従ってディスプレイ２８０に表示されることができる。
【0071】
この場合、医療スタッフ（例えば、医師、医療スタッフ、又は臨床科学者）は、絶対誤差の順序に従って該当しない予測ラベルを効率的に検査することができる。医療スタッフが予測ラベルＦＬＢに誤りがあるのを発見した場合、医療スタッフは、入力インターフェース２２０を介して修正命令を入力することができる。この修正命令は、医療スタッフが予測ラベルＦＬＢの入力に同意するか同意しないかを含んでよい。
【0072】
ステップＳ１８３において、入力インターフェース２２０は、各予測ラベルＦＬＢを修正するための修正命令ＣＭＤを収集するために用いられる。修正命令ＣＭＤは、予測ラベルＦＬＢに対して同意又は同意しないことを含む。
【0073】
ステップＳ１８４において、処理ユニット２４０は、修正命令ＣＭＤによって修正後の入力ラベルを取得し、局所入力ラベルＰＬＢと修正命令ＣＭＤの両方を統合して修正後の入力ラベルを生成することができる。幾つかの実施例において、上記統合において、修正命令ＣＭＤ（医療スタッフの手動入力に基づいて収集される）の優先度は、局所入力ラベルＰＬＢよりも高い。
【0074】
ステップＳ１８５において、処理ユニット２４０は、修正後の入力ラベルによって複数のコース学習ラウンドで第３マルチラベル分類モデルを繰り返し訓練するために用いられる。この場合、修正後の入力ラベルは、医療スタッフの検査及び検証を経たため、カルテによって自動的に生成された局所入力ラベルＰＬＢよりも信頼度が高い。これにより、修正後の入力ラベルを参照すれば、第３マルチラベル分類モデルは、複数のコース学習ラウンドを経て、第２マルチラベル分類モデルＭＤ２よりも高い正確率に達することができる。ここで、ステップＳ１８５において修正後の入力ラベルによって複数のコース学習ラウンドで第３マルチラベル分類モデルを繰り返し訓練する実行の詳細は、ステップＳ１６０において局所入力ラベルＰＬＢによって第２マルチラベル分類モデルＭＤ２を繰り返し訓練するステップＳ１６０と同様であるため、ここでは再び説明しない。
【0075】
上記実施例に基づき、第２マルチラベル分類モデルＭＤ２で生成された予測ラベルに該当しない状況が発生する場合、医療スタッフは、少ない時間と労力で検証と検査を完了することができる。また、マルチラベル分類方法１００は、修正後の入力ラベルを自動的に生成し、且つ第３マルチラベル分類モデルを訓練することで、より高い正確率を達成することができる。この場合、マルチラベル分類方法１００は、比較的低コストで精度の高いマルチラベル分類モデルを効率的に得るために用いられる。
【0076】
本開示の特定の実施例は、上記実施例を開示したが、これらの実施例は、本開示を限定することを意図するものではない。当業者は、本開示の原理及び精神から逸脱することなく、様々な代替や改良を本開示において実施することができる。したがって、本開示の保護範囲は、添付の特許請求の範囲によって決定される。
【符号の説明】
【0077】
１００ マルチラベル分類方法
２００ マルチラベル分類システム
２２０ 入力インターフェース
２４０ 処理ユニット
２６０ 記憶ユニット
２８０ ディスプレイ
Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０ ステップ
Ｓ１５０、Ｓ１６０、Ｓ１７０ ステップ
Ｓ１８１、Ｓ１８２、Ｓ１８３、Ｓ１８４、Ｓ１８５ ステップ
Ｄｉｎｉ 初期データセット
ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、ＩＭＧ４、ＩＭＧｋ 医療画像
ＩＭＧ、ＩＭＧａ、ＩＭＧｂ、ＩＭＧｃ、ＩＭＧｄ、ＩＭＧｅ 医療画像
ＩＭＧｆ、ＩＭＧｇ 医療画像
ＩＭＧｐ、ＩＭＧｐ１、ＩＭＧｐ２、ＩＭＧｐ３、ＩＭＧｐ４ 医療画像
ＭＤ１ 第１マルチラベル分類モデル
ＭＤ２ 第２マルチラベル分類モデル
ＰＬＢ 局所入力ラベル
ＦＬＢ 予測ラベル
ＣＭＤ 修正命令
Ｇ１、Ｇ２、Ｇ３ サブセット
Ｒ１ 第１コース学習ラウンド
Ｒ２ 第２コース学習ラウンド
Ｒ３ 第３コース学習ラウンド
ＩＮＦＯ 情報
２００ マルチラベル分類システム
２２０ 入力インターフェース
２４０ 処理ユニット
２６０ 記憶ユニット
２８０ ディスプレイ
Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０ ステップ
Ｓ１５０、Ｓ１６０、Ｓ１７０ ステップ
Ｓ１８１、Ｓ１８２、Ｓ１８３、Ｓ１８４、Ｓ１８５ ステップ
Ｄｉｎｉ 初期データセット
ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、ＩＭＧ４、ＩＭＧｋ 医療画像
ＩＭＧ、ＩＭＧａ、ＩＭＧｂ、ＩＭＧｃ、ＩＭＧｄ、ＩＭＧｅ 医療画像
ＩＭＧｆ、ＩＭＧｇ 医療画像
ＩＭＧｐ、ＩＭＧｐ１、ＩＭＧｐ２、ＩＭＧｐ３、ＩＭＧｐ４ 医療画像
ＭＤ１ 第１マルチラベル分類モデル
ＭＤ２ 第２マルチラベル分類モデル
ＰＬＢ 局所入力ラベル
ＦＬＢ 予測ラベル
ＣＭＤ 修正命令
Ｇ１、Ｇ２、Ｇ３ サブセット
Ｒ１ 第１コース学習ラウンド
Ｒ２ 第２コース学習ラウンド
Ｒ３ 第３コース学習ラウンド
ＩＮＦＯ 情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【外国語明細書】