(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024000482
(43)【公開日】2024-01-05
(54)【発明の名称】医療画像の処理方法及び医療画像処理用コンピュータ装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20231225BHJP
A61B 6/00 20240101ALI20231225BHJP
G06V 10/70 20220101ALI20231225BHJP
【ＦＩ】
G06T7/00 612
A61B6/00 360Z
A61B6/00 350D
A61B6/00 330Z
G06T7/00 350B
G06V10/70
【審査請求】有
【請求項の数】5
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022167260
(22)【出願日】2022-10-19
(31)【優先権主張番号】111122823
(32)【優先日】2022-06-20
(33)【優先権主張国・地域又は機関】TW
(71)【出願人】
【識別番号】504429600
【氏名又は名称】緯創資通股▲ふん▼有限公司
【氏名又は名称原語表記】ＷＩＳＴＲＯＮ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100169823
【弁理士】
【氏名又は名称】吉澤 雄郎
(72)【発明者】
【氏名】錢 冠邑
(72)【発明者】
【氏名】鍾 冠毅
【テーマコード（参考）】
4C093
5L096
【Ｆターム（参考）】
4C093AA07
4C093AA22
4C093AA26
4C093CA18
4C093DA06
4C093FD03
4C093FF12
4C093FF13
4C093FF17
4C093FF20
4C093FF21
4C093FG13
5L096BA06
5L096CA18
5L096CA24
5L096DA02
5L096HA08
5L096HA11
5L096KA04
(57)【要約】
【課題】アピアランス学習モデルに基づいて腫瘍の画像認識を改善する、医療画像の処理方法及び処理用コンピュータ装置を提供する。
【解決手段】本発明の好適例は、医療画像の処理方法及び医療画像処理用コンピュータ装置を提供する。この方法では、１つ以上の画像サンプルを取得し、画像サンプル中の腫瘍領域及びその外見特徴にマークを付け、画像サンプル、その腫瘍領域、及び第１の腫瘍の外見特徴により画像認識モデルを学習させる。画像サンプルは動物体を撮影することによって得られた画像である。外見特徴は、腫瘍領域に対応する第１の腫瘍の外見を表す。画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと識別する。第１の種類は第１の腫瘍の腫瘍領域及び外見特徴に関係する。その結果、予測精度を改善することができる。
【選択図】図２
【解決手段】本発明の好適例は、医療画像の処理方法及び医療画像処理用コンピュータ装置を提供する。この方法では、１つ以上の画像サンプルを取得し、画像サンプル中の腫瘍領域及びその外見特徴にマークを付け、画像サンプル、その腫瘍領域、及び第１の腫瘍の外見特徴により画像認識モデルを学習させる。画像サンプルは動物体を撮影することによって得られた画像である。外見特徴は、腫瘍領域に対応する第１の腫瘍の外見を表す。画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと識別する。第１の種類は第１の腫瘍の腫瘍領域及び外見特徴に関係する。その結果、予測精度を改善することができる。
【選択図】図２
【特許請求の範囲】
【請求項1】
少なくとも１つの画像サンプルを取得するステップであって、該少なくとも１つの画像サンプルは少なくとも１つの動物体を撮影することによって得られた画像であるステップと、
前記少なくとも１つの画像サンプル中の腫瘍領域及び当該腫瘍領域の外見特徴にマークを付けるステップであって、前記外見特徴は前記腫瘍領域に対応する第１の腫瘍の外見を表すステップと、
画像認識モデルを、前記少なくとも１つの画像サンプル、当該画像サンプルの前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴により学習させるステップであって、前記画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと認識し、該第１の種類は、前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴に関係するステップと
を含む医療画像の処理方法。
前記少なくとも１つの画像サンプル中の腫瘍領域及び当該腫瘍領域の外見特徴にマークを付けるステップであって、前記外見特徴は前記腫瘍領域に対応する第１の腫瘍の外見を表すステップと、
画像認識モデルを、前記少なくとも１つの画像サンプル、当該画像サンプルの前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴により学習させるステップであって、前記画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと認識し、該第１の種類は、前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴に関係するステップと
を含む医療画像の処理方法。
【請求項2】
前記画像認識モデルが、前記第２の腫瘍の外見特徴を認識し、
前記画像認識モデルを学習させるステップが、
前記第２の腫瘍が前記第１の種類であるものと認識することを、第１タスクとして指定するステップと、
前記第２の腫瘍の前記外見特徴を認識することを、第２タスクとして指定するステップであって、前記外見特徴が、石灰化、腫瘤、局所的非対称性、異形過形成、及び特徴の非存在のうちの少なくとも１つを含むステップと、
前記第１タスク及び前記第２タスクによる前記画像認識モデル上でのマルチタスク学習を実行するステップとを含み、あるいは、
前記医療画像の処理方法が、
前記腫瘍領域を前記画像サンプルのうちの１つから区分するステップと、
前記腫瘍領域の画像を均一なサイズに調整するステップであって、他の前記画像サンプル中の腫瘍領域の画像の全部を前記均一なサイズに調整するステップと
をさらに含む、請求項１に記載の医療画像の処理方法。
前記画像認識モデルを学習させるステップが、
前記第２の腫瘍が前記第１の種類であるものと認識することを、第１タスクとして指定するステップと、
前記第２の腫瘍の前記外見特徴を認識することを、第２タスクとして指定するステップであって、前記外見特徴が、石灰化、腫瘤、局所的非対称性、異形過形成、及び特徴の非存在のうちの少なくとも１つを含むステップと、
前記第１タスク及び前記第２タスクによる前記画像認識モデル上でのマルチタスク学習を実行するステップとを含み、あるいは、
前記医療画像の処理方法が、
前記腫瘍領域を前記画像サンプルのうちの１つから区分するステップと、
前記腫瘍領域の画像を均一なサイズに調整するステップであって、他の前記画像サンプル中の腫瘍領域の画像の全部を前記均一なサイズに調整するステップと
をさらに含む、請求項１に記載の医療画像の処理方法。
【請求項3】
前記少なくとも１つの画像サンプルが第１サンプル及び第２サンプルを含み、前記医療画像の処理方法が、前記第１サンプルを回転、反転、及び／または平行移動させて前記第２サンプルを生成するステップをさらに含み、あるいは、
前記少なくとも１つの画像サンプルが第３サンプル及び第４サンプルを含み、該第３サンプルは、前記少なくとも１つの動物体に対する第１の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、該第４サンプルは、前記少なくとも１つの動物体に対する第２の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、あるいは、
前記少なくとも１つの画像サンプルが第５サンプル及び第６サンプルを含み、該第５サンプル及び該第６サンプルは共に同じ動物体の画像であり、前記医療画像の処理方法が、前記第５サンプル及び前記第６サンプルを同時に、前記画像認識モデルの学習サンプル、検証サンプル、及びテストサンプルのうちの１つとして用いるステップを更に含み、あるいは、
前記画像認識モデルを学習させるステップが、前記画像認識モデルを混合損失関数により学習させるステップをさらに含み、該混合損失関数は次式の通りであり、
ｘは前記少なくとも１つの画像サンプルであり、Ｗf、ＷT1、ＷT2は前記画像認識モデルが学習する必要がある重みであり、ｙ1は前記第１の腫瘍が前記第１の種類であることを認識した第１の真の結果であり、ｙ2jは前記第１の腫瘍の前記外見特徴を認識した第２の真の結果であり、α1、α2は前記画像認識モデルのハイパーパラメータであり、ｆ(ｘ, Ｗf)は前記少なくとも１つの画像サンプルの特徴エンコーダであり、Ｔ1(ｘ, Ｗf)及びＴ2(ｘ, Ｗf)は、それぞれｙ1及びｙ2の分類子であり、
は交差エントロピー損失であり、ｙは真の結果であり、
（外１）
は分類子に対応する予測結果であり、あるいは
前記医療画像の処理方法が、
評価される第１画像及び評価される第２画像を学習済みの前記画像認識モデルに入力して、それぞれ第１予測結果及び第２予測結果を得るステップであって、前記評価される第１の画像は前記少なくとも１つの動物体に対する第３の角度で撮影され、前記画像認識モデルに入力される前記評価される第１の画像は、前記第２の腫瘍の腫瘍領域のマークを付けられ、前記評価される第２の画像は同じ前記動物体に対する第４の角度で撮影されているステップと、
前記評価される第１画像または前記評価される第２画像中の前記第２の腫瘍が前記第１の種類であることを、前記第１予測結果及び前記第２予測結果の統計結果により認識するステップと
をさらに含む、請求項１に記載の医療画像の処理方法。
前記少なくとも１つの画像サンプルが第３サンプル及び第４サンプルを含み、該第３サンプルは、前記少なくとも１つの動物体に対する第１の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、該第４サンプルは、前記少なくとも１つの動物体に対する第２の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、あるいは、
前記少なくとも１つの画像サンプルが第５サンプル及び第６サンプルを含み、該第５サンプル及び該第６サンプルは共に同じ動物体の画像であり、前記医療画像の処理方法が、前記第５サンプル及び前記第６サンプルを同時に、前記画像認識モデルの学習サンプル、検証サンプル、及びテストサンプルのうちの１つとして用いるステップを更に含み、あるいは、
前記画像認識モデルを学習させるステップが、前記画像認識モデルを混合損失関数により学習させるステップをさらに含み、該混合損失関数は次式の通りであり、
【数1】
【数2】
（外１）
前記医療画像の処理方法が、
評価される第１画像及び評価される第２画像を学習済みの前記画像認識モデルに入力して、それぞれ第１予測結果及び第２予測結果を得るステップであって、前記評価される第１の画像は前記少なくとも１つの動物体に対する第３の角度で撮影され、前記画像認識モデルに入力される前記評価される第１の画像は、前記第２の腫瘍の腫瘍領域のマークを付けられ、前記評価される第２の画像は同じ前記動物体に対する第４の角度で撮影されているステップと、
前記評価される第１画像または前記評価される第２画像中の前記第２の腫瘍が前記第１の種類であることを、前記第１予測結果及び前記第２予測結果の統計結果により認識するステップと
をさらに含む、請求項１に記載の医療画像の処理方法。
【請求項4】
医療画像を処理するコンピュータ装置であって、
コードを記憶するメモリと、
前記メモリに結合されたプロセッサとを具え、
前記プロセッサは、前記コードをロードし実行して、
少なくとも１つの画像サンプルを取得し、該少なくとも１つの画像サンプルは、少なくとも１つの動物体を撮影することによって得られた画像であり、
前記少なくとも１つの画像サンプル中の腫瘍領域及び当該腫瘍領域の外見特徴にマークを付け、前記外見特徴は前記腫瘍領域に対応する第１の腫瘍の外見を表し、
画像認識モデルを、前記少なくとも１つの画像サンプル、当該画像サンプルの前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴により学習させ、前記画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと認識し、該第１の種類は、前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴に関係する
ように構成されている医療画像処理用コンピュータ装置。
コードを記憶するメモリと、
前記メモリに結合されたプロセッサとを具え、
前記プロセッサは、前記コードをロードし実行して、
少なくとも１つの画像サンプルを取得し、該少なくとも１つの画像サンプルは、少なくとも１つの動物体を撮影することによって得られた画像であり、
前記少なくとも１つの画像サンプル中の腫瘍領域及び当該腫瘍領域の外見特徴にマークを付け、前記外見特徴は前記腫瘍領域に対応する第１の腫瘍の外見を表し、
画像認識モデルを、前記少なくとも１つの画像サンプル、当該画像サンプルの前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴により学習させ、前記画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと認識し、該第１の種類は、前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴に関係する
ように構成されている医療画像処理用コンピュータ装置。
【請求項5】
前記画像認識モデルが、前記第２の腫瘍の外見特徴をさらに認識し、前記プロセッサが、
前記第２の腫瘍が前記第１の種類であるものと認識することを第１タスクとして指定し、
前記第２の腫瘍の前記外見特徴を認識することを第２タスクとして指定し、前記外見特徴は、石灰化、腫瘤、局所的非対称性、異形過形成、及び特徴の非存在のうちの少なくとも１つを含み、前記第１の種類は乳管内進展を伴う浸潤性乳癌に関係し、
前記第１タスク及び前記第２タスクによる前記画像認識モデル上でのマルチタスク学習を実行するようにさらに構成され、あるいは、
前記プロセッサが、
前記腫瘍領域を前記画像サンプルのうちの１つから区分し、
前記腫瘍領域の画像を均一なサイズに調整し、他の前記画像サンプル中の腫瘍領域の画像の全部を前記均一なサイズに調整するようにさらに構成され、あるいは、
前記少なくとも１つの画像サンプルが第１サンプル及び第２サンプルを含み、前記プロセッサが、前記第１サンプルを回転、反転、及び／または平行移動させて前記第２サンプルを生成するようにさらに構成され、あるいは
前記少なくとも１つの画像サンプルが第３サンプル及び第４サンプルを含み、該第３サンプルは、前記少なくとも１つの動物体に対する第１の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、該第４サンプルは、前記少なくとも１つの動物体に対する第２の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、あるいは、
前記少なくとも１つの画像サンプルが第５サンプル及び第６サンプルを含み、該第５サンプル及び該第６サンプルは共に同じ動物体の画像であり、前記プロセッサが、前記第５サンプル及び前記第６サンプルを同時に、前記画像認識モデルの学習サンプル、検証サンプル、及びテストサンプルのうちの１つとして用いるようにさらに構成され、あるいは、
前記プロセッサが、前記画像認識モデルを混合損失関数により学習させるようにさらに構成され、該混合損失関数は次式の通りであり、
ｘは前記少なくとも１つの画像サンプルであり、Ｗf、ＷT1、ＷT2は前記画像認識モデルが学習する必要がある重みであり、ｙ1は前記第１の腫瘍が前記第１の種類であることを認識した第１の真の結果であり、ｙ2jは前記第１の腫瘍の前記外見特徴を認識した第２の真の結果であり、α1、α2は前記画像認識モデルのハイパーパラメータであり、ｆ(ｘ, Ｗf)は前記少なくとも１つの画像サンプルの特徴エンコーダであり、Ｔ1(ｘ, Ｗf)及びＴ2(ｘ, Ｗf)は、それぞれｙ1及びｙ2の分類子であり、
は交差エントロピー損失であり、ｙは真の結果であり、
（外２）
は分類子に対応する予測結果であり、あるいは、
前記プロセッサが、
評価される第１画像及び評価される第２画像を学習済みの前記画像認識モデルに入力して、それぞれ第１予測結果及び第２予測結果を取得し、前記評価される第１の画像は前記少なくとも１つの動物体に対する第３の角度で撮影され、前記画像認識モデルに入力される前記評価される第１の画像は、前記第２の腫瘍の腫瘍領域のマークを付けられ、前記評価される第２の画像は同じ前記動物体に対する第４の角度で撮影され、
前記評価される第１画像及び前記評価される第２画像中の前記第２の腫瘍が前記第１の種類であることを、前記第１予測結果及び前記第２予測結果の統計結果により認識する
ようにさらに構成されている、
請求項４に記載の医療画像処理用コンピュータ装置。
前記第２の腫瘍が前記第１の種類であるものと認識することを第１タスクとして指定し、
前記第２の腫瘍の前記外見特徴を認識することを第２タスクとして指定し、前記外見特徴は、石灰化、腫瘤、局所的非対称性、異形過形成、及び特徴の非存在のうちの少なくとも１つを含み、前記第１の種類は乳管内進展を伴う浸潤性乳癌に関係し、
前記第１タスク及び前記第２タスクによる前記画像認識モデル上でのマルチタスク学習を実行するようにさらに構成され、あるいは、
前記プロセッサが、
前記腫瘍領域を前記画像サンプルのうちの１つから区分し、
前記腫瘍領域の画像を均一なサイズに調整し、他の前記画像サンプル中の腫瘍領域の画像の全部を前記均一なサイズに調整するようにさらに構成され、あるいは、
前記少なくとも１つの画像サンプルが第１サンプル及び第２サンプルを含み、前記プロセッサが、前記第１サンプルを回転、反転、及び／または平行移動させて前記第２サンプルを生成するようにさらに構成され、あるいは
前記少なくとも１つの画像サンプルが第３サンプル及び第４サンプルを含み、該第３サンプルは、前記少なくとも１つの動物体に対する第１の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、該第４サンプルは、前記少なくとも１つの動物体に対する第２の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、あるいは、
前記少なくとも１つの画像サンプルが第５サンプル及び第６サンプルを含み、該第５サンプル及び該第６サンプルは共に同じ動物体の画像であり、前記プロセッサが、前記第５サンプル及び前記第６サンプルを同時に、前記画像認識モデルの学習サンプル、検証サンプル、及びテストサンプルのうちの１つとして用いるようにさらに構成され、あるいは、
前記プロセッサが、前記画像認識モデルを混合損失関数により学習させるようにさらに構成され、該混合損失関数は次式の通りであり、
【数3】
【数4】
（外２）
前記プロセッサが、
評価される第１画像及び評価される第２画像を学習済みの前記画像認識モデルに入力して、それぞれ第１予測結果及び第２予測結果を取得し、前記評価される第１の画像は前記少なくとも１つの動物体に対する第３の角度で撮影され、前記画像認識モデルに入力される前記評価される第１の画像は、前記第２の腫瘍の腫瘍領域のマークを付けられ、前記評価される第２の画像は同じ前記動物体に対する第４の角度で撮影され、
前記評価される第１画像及び前記評価される第２画像中の前記第２の腫瘍が前記第１の種類であることを、前記第１予測結果及び前記第２予測結果の統計結果により認識する
ようにさらに構成されている、
請求項４に記載の医療画像処理用コンピュータ装置。
【発明の詳細な説明】
【技術分野】
【0001】
発明の背景
発明の分野
本発明は医療画像処理に関するものであり、特に、医療画像の処理方法及び医療画像処理用コンピュータ装置に関するものである。
発明の分野
本発明は医療画像処理に関するものであり、特に、医療画像の処理方法及び医療画像処理用コンピュータ装置に関するものである。
【背景技術】
【0002】
関連技術の説明
腫瘍によって発生する癌は生命を脅かす。例えば、乳癌は国内の女性が最もかかりやすい第１位の癌であり、死亡率は４番目である。早期の乳癌は、スクリーニング（発症前検査）される症例のより高い割合を占める。それに加えて、早期の乳癌が適切に治療されれば、ステージ０及びステージ１の５年生存率は、９７．５％及び９５．６％にもなる。乳癌治療の中心は乳房温存手術であり、患者の乳房の外見に与える影響を最小にする。
腫瘍によって発生する癌は生命を脅かす。例えば、乳癌は国内の女性が最もかかりやすい第１位の癌であり、死亡率は４番目である。早期の乳癌は、スクリーニング（発症前検査）される症例のより高い割合を占める。それに加えて、早期の乳癌が適切に治療されれば、ステージ０及びステージ１の５年生存率は、９７．５％及び９５．６％にもなる。乳癌治療の中心は乳房温存手術であり、患者の乳房の外見に与える影響を最小にする。
【0003】
乳管内進展を伴う浸潤癌はマンモグラフィー（乳房Ｘ線撮影）によって直接確認することが困難であり、切除後の腫瘍の病理学検査によってしか解明することができない、と言うべきである。腫瘍が手術の時点で完全に除去されていなければ、患者は手術後に再発する傾向があり、追加的手術が必要になる。研究によれば、乳管内成分を伴う腫瘍は、乳管内成分を伴わない腫瘍の２倍も再手術になりやすい。従って、手術前に乳管内進展の位置に明確なマーク（標識）を付けて除去することができれば、術後再発の確率を低減することができ、更なる手術の必要性を回避することができる。
【0004】
現在、乳管内進展を併発した浸潤性乳癌のスクリーニング、発見、及び治療は、主に次のステップに従う：
ステップ１：患者がマンモグラフィーを受ける。
ステップ２：術者がマンモグラフィー画像を検討し、術前検査を行って手術計画を立てる。
ステップ３：医師が乳癌腫瘍切除を実行する。
ステップ４：病理学検査を実行する。
ステップ５：成分の組成を算出する。２５％を超えれば、乳管内進展を含むものと判定する。
ステップ１：患者がマンモグラフィーを受ける。
ステップ２：術者がマンモグラフィー画像を検討し、術前検査を行って手術計画を立てる。
ステップ３：医師が乳癌腫瘍切除を実行する。
ステップ４：病理学検査を実行する。
ステップ５：成分の組成を算出する。２５％を超えれば、乳管内進展を含むものと判定する。
【0005】
現在の臨床プロセスでは、乳癌腫瘍が乳管内進展を含むか否かを手術前に評価する場合、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像法）スキャンが最も正確な評価方法である。しかし、ＭＲＩスキャンは定型の術前検査ではない。従って、従来の方法は、患者の手術後に病理学検査を実行して成分を算出することをまだ必要とする。それに加えて、分析結果が乳管内進展を含む場合、患者は罹患部を完全に除去するためにもう１回の手術を必要とする。
【0006】
乳管内進展に加えて、他の種類の腫瘍も、マンモグラフィー画像上で直接識別することが困難である。
【発明の概要】
【発明が解決しようとする課題】
【0007】
技術課題
従って、本発明の好適例は、医療画像の処理方法及び医療画像を処理するコンピュータ装置を提供し、これらの方法及び装置もアピアランス（外見）学習モデルに基づいて腫瘍の画像認識を相応に改善する。
従って、本発明の好適例は、医療画像の処理方法及び医療画像を処理するコンピュータ装置を提供し、これらの方法及び装置もアピアランス（外見）学習モデルに基づいて腫瘍の画像認識を相応に改善する。
【課題を解決するための手段】
【0008】
課題の解決策
本発明の好適例の医療画像の処理方法は次のステップを含む、但しこれらのステップに限定されない：
１つ以上の画像サンプルを取得するステップと、画像サンプル中の腫瘍領域及びその外見特徴にマークを付けるステップと、画像サンプル、その腫瘍領域、及び第１の腫瘍の外見特徴により画像認識モデルを学習させるステップ。画像サンプルは動物体を撮影することによって得られた画像である。外見特徴は、腫瘍領域に対応する第１の腫瘍の外見を表す。画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと識別する。第１の種類は第１の腫瘍の腫瘍領域及び外見特徴に関係する。
本発明の好適例の医療画像の処理方法は次のステップを含む、但しこれらのステップに限定されない：
１つ以上の画像サンプルを取得するステップと、画像サンプル中の腫瘍領域及びその外見特徴にマークを付けるステップと、画像サンプル、その腫瘍領域、及び第１の腫瘍の外見特徴により画像認識モデルを学習させるステップ。画像サンプルは動物体を撮影することによって得られた画像である。外見特徴は、腫瘍領域に対応する第１の腫瘍の外見を表す。画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと識別する。第１の種類は第１の腫瘍の腫瘍領域及び外見特徴に関係する。
【0009】
本発明の好適例の、医療画像を処理するコンピュータ装置は、メモリ及びプロセッサを含む、但しこれらに限定されない。メモリはコードを記憶する。プロセッサはメモリに結合されている。プロセッサは、コードをロードし実行して、１つ以上の画像サンプルを取得し、画像サンプル中の腫瘍領域及びその外見特徴にマークを付け、画像サンプル、その画像領域、及び第１の腫瘍の外見特徴により画像認識モデルを学習させるように構成されている。画像サンプルは動物体を撮影することによって得られた画像である。外見特徴は腫瘍領域に対応する第１の腫瘍の外見を表す。画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと識別する。第１の種類は第１の腫瘍の腫瘍領域及び外見特徴に関係する。
【発明の効果】
【0010】
以上のことに基づいて、本発明の好適例による、医療画像の処理方法及び医療画像を処理するコンピュータ装置によれば、画像認識モデルを腫瘍の位置及び外見の両方により学習させる。これにより特定種類の腫瘍の認識精度を改善することができる。
【0011】
本開示の前述した特徴及び利点をより分かり易くするために、図面を伴う実施形態を以下に詳細に説明する。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態によるコンピュータ装置の装置ブロック図である。
【図2】本発明の一実施形態による医療画像の処理方法のフローチャートである。
【図3】本発明の一実施形態による腫瘍領域にマークを付けることの概略図である。
【図4】本発明の一実施形態による画像セグメンテーションの概略図である。
【図7】本発明の一実施形態による推論過程の概略図である。
【発明を実施するための形態】
【0013】
実施形態の説明
図１は、本発明の一実施形態による装置ブロック図である。図１を参照すれば、コンピュータ装置１０が１つ以上のメモリ１１及び１つ以上のプロセッサ１２を含む（但しこれらに限定されない）。コンピュータ装置１０は、１つ以上のデスクトップ・コンピュータ、ノート型コンピュータ、スマートホン、タブレット型コンピュータ、サーバー、または他の電子機器とすることができる。
図１は、本発明の一実施形態による装置ブロック図である。図１を参照すれば、コンピュータ装置１０が１つ以上のメモリ１１及び１つ以上のプロセッサ１２を含む（但しこれらに限定されない）。コンピュータ装置１０は、１つ以上のデスクトップ・コンピュータ、ノート型コンピュータ、スマートホン、タブレット型コンピュータ、サーバー、または他の電子機器とすることができる。
【0014】
メモリ１１は、あらゆる形態の固定または可動のランダムアクセスメモリ（ＲＡＭ：Random Access Memory）、読出し専用メモリ（ＲＯＭ：Read Only Memory）、フラッシュメモリ、従来型ハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）、半導体ドライブ（ＳＳＤ：Solid State Drive）、または同様なデバイスとすることができる。一実施形態では、メモリ１１が、コード、ソフトウェア・モジュール、設定、データ、またはファイル（例えば、サンプル、モデル・パラメータ、または画像）を記憶する。
【0015】
プロセッサ１２はメモリ１１に結合されている。プロセッサ１２は、中央処理装置（ＣＰＵ：Central Processing Unit）、グラフィック処理装置（ＧＰＵ：Graphics Processing Unit）、または他のプログラマブルな汎用または専用のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ：Digital Signal Processor）、プログラマブル・コントローラ、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、ニューラルネットワーク・アクセレレータ、または他の同様なデバイス、あるいは上記のデバイスの組合せとすることができる。一実施形態では、プロセッサ１２が、コンピュータ装置１０の動作の全部または一部を実行するように構成され、メモリ１１に記憶されているプログラムコード、ソフトウェア・モジュール、ファイル、及びデータの各々をロードして実行することができる。一部の実施形態では、本発明の実施形態の方法中の動作を、異なるプロセッサ１２または同じプロセッサ１２によって実現することができる。
【0016】
以下、本発明の実施形態中に記載する方法を、コンピュータ装置１０内の種々の装置、デバイス、及びモジュールで説明する。本発明の方法の工程の各々は、実施形態の条件に応じて調整することができ、これらの工程に限定されない。一部の実施形態では、工程の一部を異なるプロセッサ１２によって実現することができる。
【0017】
図２は、本発明の一実施形態による医療画像の処理方法のフローチャートである。図２を参照すれば、プロセッサ１２が１つ以上の画像サンプルを取得する（ステップＳ２１０）。具体的には、各画像サンプルは１つ以上の動物体を撮影することによって得られた画像である。動物体は、例えば人体、犬の体、または他の動物の体である。それに加えて、画像サンプルは、動物体の単一または複数の部位及び／または器官についてのものとすることができる。その例は、胸部、肺、及び下腹部を含む。異なる用途の要求に応じて、画像サンプルは、超音波画像、トモシンセシス（tomosynthesis）画像、磁気共鳴画像法の（ＭＲＩ）画像、または他の医療画像とすることができる。
【0018】
一実施形態では、プロセッサ１２が複数の初期サンプルのうち１つ以上を画像サンプルとして選択することができる。例えば、初期サンプルは９５１人の患者であり、その２００６枚のマンモグラフィー画像に相当する。プロセッサ１２は、初期サンプルから、腫瘍摘出手術を受けており、かつ手術前の半年以内のマンモグラフィー画像を有する患者に属するサンプルを選択して、乳管内進展を伴って切除された腫瘍の割合を決定する。収集したサンプルは第１サンプル及び第２サンプルを含むことができる。第１サンプルは、動物体に対する第１の角度／視点で、第２サンプルは、動物体に対する第２の角度／視点で、拡大写真撮影により、または圧縮写真撮影により撮影されている。その例は、異なる角度の内外斜位（ＭＬＯ：Medial Lateral Oblique）図、頭尾（ＣＣ：Cranio-Caudal）図、拡大写真撮影、及び圧縮写真撮影を含む。第１または第２の角度は、動物体の側部、前部、斜め、または他の角度に対する角度とすることができる。
【0019】
一部の実施形態では、プロセッサ１２がインプラント、注入された異物、あるいは動物体内に異物を含む他の撮像サンプルを除外することができる。
【0020】
なお、画像サンプルのスクリーニング条件は上記の胸部の腫瘍関係の写真撮影に限定されず、他の部位または種類の腫瘍を含むことができる。
【0021】
プロセッサ１２は、画像サンプル中の腫瘍領域及びその外見特徴にマークを付ける（ステップＳ２２０）。具体的には、腫瘍領域は、画像中の腫瘍に相当する領域であり、腫瘍の位置を表す。腫瘍領域の輪郭は腫瘍の輪郭とほぼ同じ、あるいは全く同じにすることができる。その代わりに、腫瘍領域は、腫瘍が位置する領域内の少なくとも１点、あるいは任意形状の領域とすることができる。さらにその代わりに、腫瘍領域は、腫瘍が位置する領域を完全に、あるいは部分的に覆うことができ、腫瘍の形状に限定されない。さらに、外見特徴は、腫瘍領域に対応する第１の腫瘍の外見を表す。
【0022】
一実施形態では、外見特徴が、石灰化、腫瘤、局所的非対称性、異形（非定型）過形成、特徴の非存在、及び／または他の特徴を含む。例えば、乳管内進展の量は、石灰化、局所的非対称性、及び腫瘤の存在または非存在のような腫瘍の外見特徴に関係することが多い。これらの腫瘍の外見特徴を乳管内進展の根拠として臨床的に識別することは困難であるが、これらの腫瘍の外見特徴はそれでも重要な決定因子である。
【0023】
一実施形態では、ディスプレイ（図示せず）上に表示される画像サンプル中の第１の腫瘍上にユーザがマークを付ける操作を入力装置（図示せず、例えば、キーボード、マウス、またはタッチパネル）を介して受信することによって、腫瘍領域及び／またはその外見特徴のマーク付け結果を得ることができる。例えば、医師が、正方形または不規則な形状のユーザ・インタフェース上で各マンモグラフィー画像中の腫瘍の疑いのある領域に事前にマークを付けて、腫瘍の外見特徴を選択する。
【0024】
一実施形態では、プロセッサ１２が、画像サンプル中の腫瘍領域及び／またはその外見特徴を、物体検出により認識することができる。例えば、プロセッサ１２は、ニューラルネットワークベースのアルゴリズム（例えば、ＹＯＬＯ（You Only Look Once：一目見て画像中の物体の種類、位置、相互作用を理解する））、領域ベースの畳み込みニューラルネットワーク（Ｒ－ＣＮＮ：Region Based Convolutional Neural Networks）、または高速Ｒ－ＣＮＮ（高速ＣＮＮ）、または特徴点マッチングベースのアルゴリズム（例えば、配向勾配のヒストグラム（ＨＯＧ：Histogram of Oriented Gradient）、ハール（Ｈａｒｒ）、または高速化ロバスト特徴（ＳＵＲＦ：Speeded Up Robust Features：頑健な特徴量の高速化）の特徴アライメント）を適用することによって実現する。なお、本発明の実施形態は物体検出に用いるアルゴリズムを限定しない。一実施形態では、物体検出を外部装置によって実行することもでき、マーク付け結果はコンピュータ装置１０に提供される。
【0025】
マンモグラフィー画像を一例として挙げ、図３は、本発明の一実施形態による、腫瘍領域３０１にマークを付けることの概略図である。図３を参照すれば、斜線の領域が腫瘍領域３０１である。腫瘍領域３０１は腫瘍をほぼ覆う。
【0026】
一実施形態では、プロセッサ１２が腫瘍領域を画像サンプルから区分することができる。例えば、腫瘍領域外の画像は消去され、腫瘍領域内の画像のみが保たれる。他の例として、腫瘍領域の最大長及び最大幅に応じた切り出し（クロッピング）の長方形を形成し、画像サンプルを切り出しの長方形によって区分して、切り出しの長方形が腫瘍領域を覆うようにすることができる。プロセッサ１２は、腫瘍領域の画像を、１０２４×７６８画素のような均一なサイズに調整することができる。プロセッサ１２は、他の画像サンプル中の腫瘍領域の画像をこの均一なサイズに調整して、その後のモデル学習及び推論用に用いるデータ分布をより均一にすることもできる。
【0027】
【0028】
他の実施形態では、プロセッサ１２が画像サンプルを区分しないこともでき、あるいは画像サンプルを特定形状により直接区分することもできる。
【0029】
一実施形態では、プロセッサ１２が画像補正（データ拡張）によりサンプルの多様性を増加させることができる。画像サンプルは第３サンプル及び第４サンプルを含む。プロセッサ１２は、第３サンプルを回転、反転、及び／または平行移動させて、１つ以上の第４サンプルを生成することができる。
【0030】
例えば、図５Ａ～図５Ｄは、本発明の一実施形態による画像補正の概略図である。図５Ａ～図５Ｄを参照されたい、これらの図は、プロセッサ１２が図４の画像サンプルを、それぞれランダムに縦方向に反転させ、ランダムに横方向に反転させ、ランダムに１０％の距離だけ上下に平行移動させ、あるいはランダムに４５度だけ回転させることによって生成した画像サンプルである。
【0031】
なお、プロセッサ１２は、明度、コントラスト、または尺度を調整することのような画像処理により、画像サンプルを増幅することもでき、画像処理の種類は限定されない。
【0032】
図２を参照すれば、プロセッサ１２が画像認識モデルを、画像サンプル、その腫瘍領域、及び第１の腫瘍の外見特徴により学習させる（ステップＳ２３０）。具体的には、画像認識モデルを機械学習アルゴリズム（例えば、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network：深層神経回路網）、多層パーセプトロン（ＭＬＰ：Multi-Layer Perceptron）、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、エフィシェントネットＢ０（EfficientNetB0）、または他の機械学習モデル）に基づいて学習させる。一実施形態では、画像認識モデルを画像推論用に用いることができる。機械学習アルゴリズムは学習サンプルを分析して、学習サンプルからパターンを取得して、これらのパターンにより未知のデータを予測することができる。画像認識モデルは学習後に構成される機械学習モデルであり、評価データに基づいて推論を行うことができる。
【0033】
画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと識別する。第１の種類は第１の腫瘍の腫瘍領域（第１の腫瘍の位置を表す）及び外見特徴に関係する。種類１の腫瘍は、その位置及び外見特徴の違いで他の腫瘍と異なる。例えば、第１の種類は、乳管内進展を伴う浸潤性乳癌に関係し、あるいは、第１の種類の腫瘍は乳管内進展の腫瘍である。他の例として、第１の種類の腫瘍は肝腫瘍である。しかし、第１の種類は上記の範囲に限定されず、ユーザは必要に応じて変更を行うことができる。従って、学習過程中には、学習サンプル、テストサンプル、及び／または検証サンプルが第１の種類であるという実際の結果を割り当てることによって、画像認識モデルが、入力サンプルと第１の種類との相関を立証することを可能にすることができる。評価される画像を学習済み画像認識モデルに入力して、評価される画像中の第２の腫瘍が第１の種類の腫瘍であることを予測する。一実施形態では、第１の種類についての画像認識モデルの予測結果を確率とすることができる。他の実施形態では、第１の種類についての画像認識モデルの予測結果を「はい」及び「いいえ」の一方とすることができる。例えば、予測された確率が閾値（例えば、８５％、９０％、または９５％）を超える。他の実施形態では、画像認識モデルを、第２の種類または他の種類の腫瘍を認識するように学習させることもできる。
【0034】
一実施形態では、画像認識モデルが、評価される画像中の第２の腫瘍の外見特徴を認識する。画像サンプルに、その実際の外見特徴のマークを付ける。従って、画像認識モデルは、入力サンプルとその外見特徴との相関を立証する。評価される画像を学習済み画像認識モデルに入力して、評価される画像中の第２の腫瘍の外見特徴を予測する。一実施形態では、外見の種類についての画像認識モデルの予測結果を、１つ以上の特定の外見の種類の確率とすることができる。他の実施形態では、第１の種類についての画像認識モデルの予測結果を、１つ以上の特定の外見の種類について「はい」または「いいえ」とすることができる。
【0035】
一実施形態では、プロセッサ１２が、第２の腫瘍が第１の種類であるものと認識することを第１タスクとして指定し、第２の腫瘍の外見特徴を認識することを第２タスクとして指定し、第１タスク及び第２タスクによる画像認識モデル上でのマルチタスク学習を実行する。即ち、第１及び第２タスクを単一の画像認識モデルにより処理する。こうしたマルチタスク学習の共有メカニズムは、複数のタスクがパラメータを共有することを可能にして、マルチタスク予測の効率及び精度を改善することができる。例えば、第１の種類及び外見特徴は、それぞれ自身の全結合層を確立し、これにより画像認識モデルが画像を認識する方法を対話的に学習することができる。このようにして、第１の種類を学習することに加えて、画像認識モデルは腫瘍の外見特徴を決定することを学習することもできる。それに加えて、このモデル設計方法は、ユーザがその後のモデル推論において腫瘍の外見特徴に手作業でマークを付ける必要性を回避し、これにより使用の負担を低減することができる。
【0036】
データ集合の分類のために、一実施形態では、画像サンプルが第５サンプル及び第６サンプルを含む。第５サンプル及び第６サンプルは共に同じ動物体に指向している。プロセッサ１２は、第５サンプル及び第６サンプルを同時に、画像認識モデルの学習サンプル、検証サンプル、及びテストサンプルのうちの１つとして用いることができる。例えば、プロセッサ１２は、画像サンプルが属する患者を、６５：１０：２５の比率により、学習の患者の集合、検証の患者の集合、及びテストの患者の集合に分類し（即ち、画像サンプルを学習サンプル、検証サンプル、及びテストサンプルに分類し）、同じ患者の集合の画像サンプルをまとめて分類して、上記モデルの精度を、それぞれ学習、検証、及びテストする。例えば、ユーザＡの画像サンプルは学習サンプルのみとして用い、ユーザＢの画像サンプルはテストサンプルのみとして用いる。この分類メカニズムは、同じ患者の画像が異なる集合中に同時に出現すること、及びモデルを検証及びテストする際にモデル検証の信頼性に影響を与えることを防止することができる。さらに、各集合は、異なる角度のＭＬＯ図、ＣＣ図、拡大写真撮影、及び圧縮写真撮影を同時に含むことができるので、画像認識モデルは、異なるシューティング（撮影）角度または異なるシューティング方法から同時に画像を予測する能力も有する。推論段階では、画像認識モデルが、複数の角度からの、及び／または複数のシューティング方法による単一の患者の画像を同時に参照し、統合予測を実行して、モデルの予測精度を最適化することができる。
【0037】
学習パラメータの設定のために、一実施形態では、プロセッサ１２が画像認識モデルをハイブリッド損失関数により学習させることができる。このハイブリッド損失関数は次式の通りである：
ｘは画像サンプルであり、Ｗf、ＷT1、ＷT2は画像認識モデルが学習する必要がある重みであり、ｙ1は第１の腫瘍が第１の種類であることを認識した第１の真の結果であり、ｙ2jは第１の腫瘍の外見特徴を認識した第２の真の結果であり、α1、α2は画像認識モデルのハイパーパラメータであり、ｆ(ｘ, Ｗf)は画像サンプルの特徴エンコーダであり、Ｔ1(ｘ, Ｗf)及びＴ2(ｘ, Ｗf)は、それぞれｙ1及びｙ2の分類子であり、
は交差（クロス）エントロピー損失であり、ｙは真の結果であり、
（外１）
は分類子に対応する予測結果である。
【数1】
【数2】
（外１）
【0038】
最適化器は例えばアダム（Adam）を採用し、学習率は例えば０．００１に設定することになる。画像サンプルの各バッチの入力は４であり、但しこの値に限定されない。学習過程中には、学習集合データ（即ち、画像サンプル中の学習サンプル）を用いて、検証集合データ（即ち、画像サンプル中の検証サンプル）により画像認識モデルを学習させた後に、混合損失関数中の最低のエポックを選択して画像認識モデルを生成し、画像認識モデルの信頼性をテスト集合データ（即ち、画像サンプル中のテストサンプル）で検証する。
【0039】
さらに、モデル推論のために、一実施形態では、プロセッサ１２が、ディスプレイ（図示せず）上に表示された評価される画像中の第２の腫瘍上にユーザがマークを付ける操作を、入力装置（図示せず、例えば、キーボード、マウス、またはタッチパネル）を介して受信して、腫瘍領域を取得することができる。他の実施形態では、プロセッサ１２が、評価される画像中の第２の腫瘍に相当する腫瘍領域を物体検出により検出することができる。物体検出技術については、上記の説明を参照することができ、ここではその説明を繰り返さない。学習段階とは異なり、推論段階は腫瘍領域にマークを付けることしか必要とせず、腫瘍の外見特徴にマークを付ける必要はないことは注目に値する。
【0040】
例えば、図６Ａ及び図６Ｂは、本発明の一実施形態による、腫瘍領域にマークを付けることの概略図である。図６ＡはＭＬＯ図中の腫瘍領域６０１（斜線によって示す）である。図６ＢはＣＣ図中の腫瘍領域６０２（斜線によって示す）である。
【0041】
一実施形態では、プロセッサ１２が、評価される第１画像及び評価される第２画像を学習済み画像認識モデルに入力して、それぞれ、評価される第１画像に対応する第１予測結果及び評価される第２画像に対応する第２予測結果を得る。評価される第１画像は、特定の動物体の第３角度／第３方向に関連して撮影され、評価される第２画像は、同じ動物体の第４角度／第４方向に関連して撮影されている。第１及び第２予測結果は、評価される画像中の第２の腫瘍が第１の種類であること及び／または第２の腫瘍の外見特徴とすることができる。画像認識モデルに入力される、評価される第１及び第２画像に、第２の腫瘍の腫瘍領域のマークを付ける。
【0042】
例えば、図７は、本発明の一実施形態による推論過程の概略図である。図７を参照すれば、プロセッサ１２が、画像処理を、例えば図６Ａ及び図６Ｂにおける異なる角度で撮影することによって得られた評価される２つの画像に対して実行する（ステップＳ７１０）。例は、腫瘍領域のマーク付け、画像区分、コントラストを増加させること、及び／または明度を増加させることを含む。プロセッサ１２は、評価される２つの画像のそれぞれの予測結果を、画像認識モデルにより得ることができる（ステップＳ７２０）。
【0043】
評価される２つの画像は共に同じ動物体についてのものであるので、プロセッサ１２は、評価される第１画像または評価される第２画像中の第２の腫瘍が第１の種類であることを、第１予測結果及び第２予測結果の統計結果により認識することができる。この統計結果は、例えば、第１予測結果と第２予測結果との平均値、加重平均値、または特定の式によって計算した値である。最終的に、この統計結果を、この単一の動物体についての画像認識モデルの予測結果として用いることができる。
【0044】
一部の応用のシナリオでは、画像認識モデルが、手術計画を作成するに当たり医師を支援することができる。例えば、乳管内進展に属する患者の乳癌腫瘍の危険水準（リスクレベル）についての情報を提供して、術前検査及び手術計画のための参考情報を医師に提供する。これにより、再手術の機会及び再発率を低減することができ、乳房温存手術の負の切除マージン（切除縁、切除端、切除断端）を改善することができる。画像認識を用いて術前評価を支援することは、患者の物理的及び精神的ストレスを低減するだけでなく、医療費を低減することもできる。
【0045】
以上のことに基づいて、本発明の実施形態による医療画像の処理方法及び医療画像処理用コンピュータ装置では、画像認識モデルが、画像サンプル中の腫瘍と第１の種類との相関及び画像サンプル中の腫瘍と外見特徴との相関を同時に学習する。第１の種類及び外見特徴を認識するタスク用のパラメータを共有することによって、認識の精度及び効率を改善することができる。それに加えて、本発明の実施形態は、異なるシューティング角度またはシューティング方法で取得した画像も参照し、こうして予測精度を改善することに役立つ。
【0046】
本発明は以上の実施形態を参照しながら説明してきたが、本発明の精神から逸脱することなしに、説明した実施形態に変更を加えることができることは、通常の当業者にとって明らかである。従って、本発明の範囲は、以上の詳細な説明ではなく、添付した特許請求の範囲によって規定される。
【産業上の利用可能性】
【0047】
本発明の医療画像の処理方法及び医療画像処理用コンピュータ装置は、画像処理に適用することができる。
【符号の説明】
【0048】
１０ コンピュータ装置
１１ メモリ
１２ プロセッサ
Ｓ２１０～２３０、Ｓ７１０～７２０ ステップ
３０１、６０１、６０２ 腫瘍領域
１１ メモリ
１２ プロセッサ
Ｓ２１０～２３０、Ｓ７１０～７２０ ステップ
３０１、６０１、６０２ 腫瘍領域
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6A】
【図6B】
【図7】
【手続補正書】
【提出日】2023-09-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも１つの画像サンプルを取得するステップであって、該少なくとも１つの画像サンプルは少なくとも１つの動物体を撮影することによって得られた画像であるステップと、
前記少なくとも１つの画像サンプル中の腫瘍領域及び当該腫瘍領域の外見特徴にマークを付けるステップであって、前記外見特徴は前記腫瘍領域に対応する第１の腫瘍の外見を表すステップと、
画像認識モデルを、前記少なくとも１つの画像サンプル、当該画像サンプルの前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴により学習させるステップであって、前記画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと認識し、該第１の種類は、前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴に関係するステップと
を含み、
前記少なくとも１つの画像サンプルが第１サンプル及び第２サンプルを含み、
前記医療画像の処理方法が、前記第１サンプルを回転、反転、及び／または平行移動させて前記第２サンプルを生成するステップ
をさらに含む医療画像の処理方法。
前記少なくとも１つの画像サンプル中の腫瘍領域及び当該腫瘍領域の外見特徴にマークを付けるステップであって、前記外見特徴は前記腫瘍領域に対応する第１の腫瘍の外見を表すステップと、
画像認識モデルを、前記少なくとも１つの画像サンプル、当該画像サンプルの前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴により学習させるステップであって、前記画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと認識し、該第１の種類は、前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴に関係するステップと
を含み、
前記少なくとも１つの画像サンプルが第１サンプル及び第２サンプルを含み、
前記医療画像の処理方法が、前記第１サンプルを回転、反転、及び／または平行移動させて前記第２サンプルを生成するステップ
をさらに含む医療画像の処理方法。
【請求項2】
前記画像認識モデルが、前記第２の腫瘍の外見特徴を認識し、
前記画像認識モデルを学習させるステップが、
前記第２の腫瘍が前記第１の種類であるものと認識することを、第１タスクとして指定するステップと、
前記第２の腫瘍の前記外見特徴を認識することを、第２タスクとして指定するステップであって、前記外見特徴が、石灰化、腫瘤、局所的非対称性、異形過形成、及び特徴の非存在のうちの少なくとも１つを含むステップと、
前記第１タスク及び前記第２タスクによる前記画像認識モデル上でのマルチタスク学習を実行するステップとを含み、あるいは、
前記医療画像の処理方法が、
前記腫瘍領域を前記画像サンプルのうちの１つから区分するステップと、
前記腫瘍領域の画像を均一なサイズに調整するステップであって、他の前記画像サンプル中の腫瘍領域の画像の全部を前記均一なサイズに調整するステップと
をさらに含む、請求項１に記載の医療画像の処理方法。
前記画像認識モデルを学習させるステップが、
前記第２の腫瘍が前記第１の種類であるものと認識することを、第１タスクとして指定するステップと、
前記第２の腫瘍の前記外見特徴を認識することを、第２タスクとして指定するステップであって、前記外見特徴が、石灰化、腫瘤、局所的非対称性、異形過形成、及び特徴の非存在のうちの少なくとも１つを含むステップと、
前記第１タスク及び前記第２タスクによる前記画像認識モデル上でのマルチタスク学習を実行するステップとを含み、あるいは、
前記医療画像の処理方法が、
前記腫瘍領域を前記画像サンプルのうちの１つから区分するステップと、
前記腫瘍領域の画像を均一なサイズに調整するステップであって、他の前記画像サンプル中の腫瘍領域の画像の全部を前記均一なサイズに調整するステップと
をさらに含む、請求項１に記載の医療画像の処理方法。
【請求項3】
前記少なくとも１つの画像サンプルが第３サンプル及び第４サンプルを含み、該第３サンプルは、前記少なくとも１つの動物体に対する第１の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、該第４サンプルは、前記少なくとも１つの動物体に対する第２の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、あるいは、
前記少なくとも１つの画像サンプルが第５サンプル及び第６サンプルを含み、該第５サンプル及び該第６サンプルは共に同じ動物体の画像であり、前記医療画像の処理方法が、前記第５サンプル及び前記第６サンプルを同時に、前記画像認識モデルの学習サンプル、検証サンプル、及びテストサンプルのうちの１つとして用いるステップを更に含み、あるいは、
前記画像認識モデルを学習させるステップが、前記画像認識モデルを混合損失関数により学習させるステップをさらに含み、該混合損失関数は次式の通りであり、
ｘは前記少なくとも１つの画像サンプルであり、Ｗf、ＷT1、ＷT2は前記画像認識モデルが学習する必要がある重みであり、ｙ1は前記第１の腫瘍が前記第１の種類であることを認識した第１の真の結果であり、ｙ2jは前記第１の腫瘍の前記外見特徴を認識した第２の真の結果であり、α1、α2は前記画像認識モデルのハイパーパラメータであり、ｆ(ｘ, Ｗf)は前記少なくとも１つの画像サンプルの特徴エンコーダであり、Ｔ1(ｘ, Ｗf)及びＴ2(ｘ, Ｗf)は、それぞれｙ1及びｙ2の分類子であり、
は交差エントロピー損失であり、ｙは真の結果であり、
は分類子に対応する予測結果であり、あるいは
前記医療画像の処理方法が、
評価される第１画像及び評価される第２画像を学習済みの前記画像認識モデルに入力して、それぞれ第１予測結果及び第２予測結果を得るステップであって、前記評価される第１の画像は前記少なくとも１つの動物体に対する第３の角度で撮影され、前記画像認識モデルに入力される前記評価される第１の画像は、前記第２の腫瘍の腫瘍領域のマークを付けられ、前記評価される第２の画像は同じ前記動物体に対する第４の角度で撮影されているステップと、
前記評価される第１画像または前記評価される第２画像中の前記第２の腫瘍が前記第１の種類であることを、前記第１予測結果及び前記第２予測結果の統計結果により認識するステップと
をさらに含む、請求項１に記載の医療画像の処理方法。
前記少なくとも１つの画像サンプルが第５サンプル及び第６サンプルを含み、該第５サンプル及び該第６サンプルは共に同じ動物体の画像であり、前記医療画像の処理方法が、前記第５サンプル及び前記第６サンプルを同時に、前記画像認識モデルの学習サンプル、検証サンプル、及びテストサンプルのうちの１つとして用いるステップを更に含み、あるいは、
前記画像認識モデルを学習させるステップが、前記画像認識モデルを混合損失関数により学習させるステップをさらに含み、該混合損失関数は次式の通りであり、
【数1】
【数2】
前記医療画像の処理方法が、
評価される第１画像及び評価される第２画像を学習済みの前記画像認識モデルに入力して、それぞれ第１予測結果及び第２予測結果を得るステップであって、前記評価される第１の画像は前記少なくとも１つの動物体に対する第３の角度で撮影され、前記画像認識モデルに入力される前記評価される第１の画像は、前記第２の腫瘍の腫瘍領域のマークを付けられ、前記評価される第２の画像は同じ前記動物体に対する第４の角度で撮影されているステップと、
前記評価される第１画像または前記評価される第２画像中の前記第２の腫瘍が前記第１の種類であることを、前記第１予測結果及び前記第２予測結果の統計結果により認識するステップと
をさらに含む、請求項１に記載の医療画像の処理方法。
【請求項4】
医療画像を処理するコンピュータ装置であって、
コードを記憶するメモリと、
前記メモリに結合されたプロセッサとを具え、
前記プロセッサは、前記コードをロードし実行して、
少なくとも１つの画像サンプルを取得し、該少なくとも１つの画像サンプルは、少なくとも１つの動物体を撮影することによって得られた画像であり、
前記少なくとも１つの画像サンプル中の腫瘍領域及び当該腫瘍領域の外見特徴にマークを付け、前記外見特徴は前記腫瘍領域に対応する第１の腫瘍の外見を表し、
画像認識モデルを、前記少なくとも１つの画像サンプル、当該画像サンプルの前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴により学習させ、前記画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと認識し、該第１の種類は、前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴に関係する
ように構成され、
前記少なくとも１つの画像サンプルが第１サンプル及び第２サンプルを含み、
前記プロセッサが、前記第１サンプルを回転、反転、及び／または平行移動させて前記第２サンプルを生成する
ようにさらに構成されている医療画像処理用コンピュータ装置。
コードを記憶するメモリと、
前記メモリに結合されたプロセッサとを具え、
前記プロセッサは、前記コードをロードし実行して、
少なくとも１つの画像サンプルを取得し、該少なくとも１つの画像サンプルは、少なくとも１つの動物体を撮影することによって得られた画像であり、
前記少なくとも１つの画像サンプル中の腫瘍領域及び当該腫瘍領域の外見特徴にマークを付け、前記外見特徴は前記腫瘍領域に対応する第１の腫瘍の外見を表し、
画像認識モデルを、前記少なくとも１つの画像サンプル、当該画像サンプルの前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴により学習させ、前記画像認識モデルは、評価される画像中の第２の腫瘍が第１の種類であるものと認識し、該第１の種類は、前記腫瘍領域、及び前記第１の腫瘍の前記外見特徴に関係する
ように構成され、
前記少なくとも１つの画像サンプルが第１サンプル及び第２サンプルを含み、
前記プロセッサが、前記第１サンプルを回転、反転、及び／または平行移動させて前記第２サンプルを生成する
ようにさらに構成されている医療画像処理用コンピュータ装置。
【請求項5】
前記画像認識モデルが、前記第２の腫瘍の外見特徴をさらに認識し、前記プロセッサが、
前記第２の腫瘍が前記第１の種類であるものと認識することを第１タスクとして指定し、
前記第２の腫瘍の前記外見特徴を認識することを第２タスクとして指定し、前記外見特徴は、石灰化、腫瘤、局所的非対称性、異形過形成、及び特徴の非存在のうちの少なくとも１つを含み、前記第１の種類は乳管内進展を伴う浸潤性乳癌に関係し、
前記第１タスク及び前記第２タスクによる前記画像認識モデル上でのマルチタスク学習を実行するようにさらに構成され、あるいは、
前記プロセッサが、
前記腫瘍領域を前記画像サンプルのうちの１つから区分し、
前記腫瘍領域の画像を均一なサイズに調整し、他の前記画像サンプル中の腫瘍領域の画像の全部を前記均一なサイズに調整するようにさらに構成され、あるいは、
前記少なくとも１つの画像サンプルが第３サンプル及び第４サンプルを含み、該第３サンプルは、前記少なくとも１つの動物体に対する第１の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、該第４サンプルは、前記少なくとも１つの動物体に対する第２の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、あるいは、
前記少なくとも１つの画像サンプルが第５サンプル及び第６サンプルを含み、該第５サンプル及び該第６サンプルは共に同じ動物体の画像であり、前記プロセッサが、前記第５サンプル及び前記第６サンプルを同時に、前記画像認識モデルの学習サンプル、検証サンプル、及びテストサンプルのうちの１つとして用いるようにさらに構成され、あるいは、
前記プロセッサが、前記画像認識モデルを混合損失関数により学習させるようにさらに構成され、該混合損失関数は次式の通りであり、
ｘは前記少なくとも１つの画像サンプルであり、Ｗf、ＷT1、ＷT2は前記画像認識モデルが学習する必要がある重みであり、ｙ1は前記第１の腫瘍が前記第１の種類であることを認識した第１の真の結果であり、ｙ2jは前記第１の腫瘍の前記外見特徴を認識した第２の真の結果であり、α1、α2は前記画像認識モデルのハイパーパラメータであり、ｆ(ｘ, Ｗf)は前記少なくとも１つの画像サンプルの特徴エンコーダであり、Ｔ1(ｘ, Ｗf)及びＴ2(ｘ, Ｗf)は、それぞれｙ1及びｙ2の分類子であり、
は交差エントロピー損失であり、ｙは真の結果であり、
は分類子に対応する予測結果であり、あるいは、
前記プロセッサが、
評価される第１画像及び評価される第２画像を学習済みの前記画像認識モデルに入力して、それぞれ第１予測結果及び第２予測結果を取得し、前記評価される第１の画像は前記少なくとも１つの動物体に対する第３の角度で撮影され、前記画像認識モデルに入力される前記評価される第１の画像は、前記第２の腫瘍の腫瘍領域のマークを付けられ、前記評価される第２の画像は同じ前記動物体に対する第４の角度で撮影され、
前記評価される第１画像及び前記評価される第２画像中の前記第２の腫瘍が前記第１の種類であることを、前記第１予測結果及び前記第２予測結果の統計結果により認識する
ようにさらに構成されている、
請求項４に記載の医療画像処理用コンピュータ装置。
前記第２の腫瘍が前記第１の種類であるものと認識することを第１タスクとして指定し、
前記第２の腫瘍の前記外見特徴を認識することを第２タスクとして指定し、前記外見特徴は、石灰化、腫瘤、局所的非対称性、異形過形成、及び特徴の非存在のうちの少なくとも１つを含み、前記第１の種類は乳管内進展を伴う浸潤性乳癌に関係し、
前記第１タスク及び前記第２タスクによる前記画像認識モデル上でのマルチタスク学習を実行するようにさらに構成され、あるいは、
前記プロセッサが、
前記腫瘍領域を前記画像サンプルのうちの１つから区分し、
前記腫瘍領域の画像を均一なサイズに調整し、他の前記画像サンプル中の腫瘍領域の画像の全部を前記均一なサイズに調整するようにさらに構成され、あるいは、
前記少なくとも１つの画像サンプルが第３サンプル及び第４サンプルを含み、該第３サンプルは、前記少なくとも１つの動物体に対する第１の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、該第４サンプルは、前記少なくとも１つの動物体に対する第２の角度で、拡大写真撮影により、または圧縮写真撮影により撮影され、あるいは、
前記少なくとも１つの画像サンプルが第５サンプル及び第６サンプルを含み、該第５サンプル及び該第６サンプルは共に同じ動物体の画像であり、前記プロセッサが、前記第５サンプル及び前記第６サンプルを同時に、前記画像認識モデルの学習サンプル、検証サンプル、及びテストサンプルのうちの１つとして用いるようにさらに構成され、あるいは、
前記プロセッサが、前記画像認識モデルを混合損失関数により学習させるようにさらに構成され、該混合損失関数は次式の通りであり、
【数3】
【数4】
前記プロセッサが、
評価される第１画像及び評価される第２画像を学習済みの前記画像認識モデルに入力して、それぞれ第１予測結果及び第２予測結果を取得し、前記評価される第１の画像は前記少なくとも１つの動物体に対する第３の角度で撮影され、前記画像認識モデルに入力される前記評価される第１の画像は、前記第２の腫瘍の腫瘍領域のマークを付けられ、前記評価される第２の画像は同じ前記動物体に対する第４の角度で撮影され、
前記評価される第１画像及び前記評価される第２画像中の前記第２の腫瘍が前記第１の種類であることを、前記第１予測結果及び前記第２予測結果の統計結果により認識する
ようにさらに構成されている、
請求項４に記載の医療画像処理用コンピュータ装置。
【外国語明細書】