IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 平安科技(深▲せん▼)有限公司の特許一覧

特許7064050画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体
<>
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図1
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図2
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図3
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図4
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図5
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図6
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図7
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図8
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図9
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図10
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図11
  • 特許-画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-25
(45)【発行日】2022-05-09
(54)【発明の名称】画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220426BHJP
   G06T 1/00 20060101ALI20220426BHJP
   A61B 3/10 20060101ALN20220426BHJP
【FI】
G06T7/00 612
G06T7/00 350B
G06T1/00 290Z
A61B3/10 100
【請求項の数】 20
(21)【出願番号】P 2021500419
(86)(22)【出願日】2019-08-29
(65)【公表番号】
(43)【公表日】2021-11-11
(86)【国際出願番号】 CN2019103337
(87)【国際公開番号】W WO2020224118
(87)【国際公開日】2020-11-12
【審査請求日】2021-01-07
(31)【優先権主張番号】201910367767.0
(32)【優先日】2019-05-05
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517406065
【氏名又は名称】平安科技(深▲せん▼)有限公司
【氏名又は名称原語表記】PING AN TECHNOLOGY (SHENZHEN) CO.,LTD.
【住所又は居所原語表記】23F,Ping’an Financial Center,No.5033 Yitian Road,Fu’an Community of Futian Street,Futian District Shenzhen,Guangdong 518000 China
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】楊 蘇輝
(72)【発明者】
【氏名】高 鵬
(72)【発明者】
【氏名】謝 国▲トン▼
【審査官】粕谷 満成
(56)【参考文献】
【文献】中国特許出願公開第109166087(CN,A)
【文献】特開2002-159477(JP,A)
【文献】特開2001-258044(JP,A)
【文献】特表2020-533660(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 1/00
A61B 3/10
(57)【特許請求の範囲】
【請求項1】
画像変換に基づく病巣判定方法であって、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を備える画像変換に基づく病巣判定方法。
【請求項2】
前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える請求項1に記載の画像変換に基づく病巣判定方法。
【請求項3】
前記トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える請求項1に記載の画像変換に基づく病巣判定方法。
【請求項4】
病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える請求項1に記載の画像変換に基づく病巣判定方法。
【請求項5】
前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える請求項4に記載の画像変換に基づく病巣判定方法。
【請求項6】
前記第1画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第2画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える請求項1に記載の画像変換に基づく病巣判定方法。
【請求項7】
前記第1信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第2信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える請求項1に記載の画像変換に基づく病巣判定方法。
【請求項8】
画像変換に基づく病巣の判定装置であって、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することに用いられ、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる変換モデル構築ユニットと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる計算モデル生成ユニットと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うための変換モデルトレーニングユニットと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するための撮画機器確定ユニットと、
前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するための病巣判定結果取得ユニットと、を備える画像変換に基づく病巣判定装置。
【請求項9】
前記変換モデル構築ユニットは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築することに用いられ、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第1画像変換モデル構築ユニットと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築することに用いられ、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第2画像変換モデル構築ユニットと、を備える請求項8に記載の画像変換に基づく病巣判定装置。
【請求項10】
前記変換モデルトレーニングユニットは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得することに用いられ、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像集であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合である画像取得ユニットと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算するためのトレーニング損失値計算ユニットと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うためのパラメータ値調整ユニットと、を備える請求項8に記載の画像変換に基づく病巣判定装置。
【請求項11】
メモリ、プロセッサ及び前記メモリに記憶され、且つ前記プロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、前記プロセッサは、前記コンピュータプログラムを実行する際、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられるステップと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられるステップと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うステップと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するステップと、
判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するステップと、を実行する画像変換に基づくコンピュータ機器。
【請求項12】
前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える請求項11に記載の画像変換に基づくコンピュータ機器。
【請求項13】
前記トレーニング後の第2画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える請求項11に記載の画像変換に基づくコンピュータ機器。
【請求項14】
病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える請求項11に記載の画像変換に基づくコンピュータ機器。
【請求項15】
前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える請求項14に記載の画像変換に基づくコンピュータ機器。
【請求項16】
前記第1画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第2画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える請求項11に記載の画像変換に基づくコンピュータ機器。
【請求項17】
前記第1信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第2信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える請求項11に記載の画像変換に基づくコンピュータ機器。
【請求項18】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される際、前記プロセッサは、予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を実行する画像変換に基づく記憶媒体。
【請求項19】
前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える請求項18に記載の画像変換に基づく記憶媒体。
【請求項20】
前記トレーニング後の第2画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える請求項18に記載の画像変換に基づく記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、出願番号201910367767.0(出願日:2019年05月05日)の中国特許出願を基礎としてその優先権を主張するが、当該出願のすべての内容は、ここで全体的に本願に取り込まれる。
【0002】
(技術分野)
本出願はコンピュータ技術分野に関し、特に画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体に関する。
【背景技術】
【0003】
病巣の判定を行う過程において、撮画機器で画像を撮るが、色の分布、明るさ、コントラスト、ノイズなどが含まれる撮られた画像のスタイルは機器によってそれぞれ異なる。一部の重要な情報は、撮られた画像から直接取得できず、病巣が存在するか否かを判断することに役に立つように、画像を、撮画機器のスタイルに一致する画像に変換しないと取得できない。従来の病巣判定方法は、画像のスタイルを変換した後に取得した画像を、期待されるスタイルに完全に一致させることができず、撮られた画像に病巣が存在するか否かを正確に判断することもできない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本出願の実施例は、画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体を提供し、従来技術の方法において、撮られた画像に病巣が存在するか否かを判断できないという問題を解決することを旨とする。
【課題を解決するための手段】
【0005】
第1の態様で、本出願の実施例は、画像変換に基づく病巣判定方法を提供し、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を含む。
【0006】
第2の態様で、本出願の実施例は、画像変換に基づく病巣判定装置を提供し、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することに用いられ、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる変換モデル構築ユニットと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる計算モデル生成ユニットと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うための変換モデルトレーニングユニットと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するための撮画機器確定ユニットと、
前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するための病巣判定結果取得ユニットと、を備える。
【0007】
第3の態様で、本出願の実施例はコンピュータ機器をさらに提供し、それはメモリ、プロセッサ及び前記メモリに記憶され、且つ前記プロセッサで実行可能なコンピュータプログラムを備え、前記プロセッサは、前記コンピュータプログラムを実行する際、上記第1態様に記載の画像変換に基づく病巣判定方法を実現する。
【0008】
第4の態様で、本出願の実施例はコンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行される際、前記プロセッサは上記第1態様に記載の画像変換に基づく病巣判定方法を実行する。
【発明の効果】
【0009】
本出願の実施例は画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体を提供し、変換して取得した目標画像とほかの撮画機器によって撮られた画像とのスタイルを完全に一致させ、画像変換の効率と品質を高める。したがって、病巣を判断する正確率を大幅に高め、実際の適用過程中における技術的効果が優れる。
【図面の簡単な説明】
【0010】
本発明の実施例に係る技術的解決手段をより明確に説明するために、以下の実施例の説明で使用する図面を簡単に説明するが、以下の説明における図面は、本発明の実施例の一部であり、当業者にとって、創造的な作業を伴うことなくこれらの図面から他の図面を得ることができることは明らかである。
【0011】
図1】本出願の実施例によって提供される画像変換に基づく病巣判定方法のフローチャートである。
図2】本出願の実施例によって提供される画像変換に基づく病巣判定方法の効果図である。
図3】本出願の実施例によって提供される画像変換に基づく病巣判定方法のサブフローチャートである。
図4】本出願の実施例によって提供される画像変換に基づく病巣判定方法のほかのサブフローチャートである。
図5】本出願の実施例によって提供される画像変換に基づく病巣判定方法のほかのサブフローチャートである。
図6】本出願の実施例によって提供される画像変換に基づく病巣判定方法のほかのサブフローチャートである。
図7】本出願の実施例によって提供される画像変換に基づく病巣判定装置のブロック図である。
図8】本出願の実施例によって提供される画像変換に基づく病巣判定装置のサブユニットの示唆的なブロック図である。
図9】本出願の実施例によって提供される画像変換に基づく病巣判定装置のほかのサブユニットの示唆的なブロック図である。
図10】本出願の実施例によって提供される画像変換に基づく病巣判定装置のほかのサブユニットの示唆的なブロック図である。
図11】図本出願の実施例によって提供される画像変換に基づく病巣判定装置のほかのサブユニットの示唆的なブロック図である。
図12】本出願の実施例によって提供されるコンピュータ機器の示唆的なブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施例の図面とともに、本発明の実施例の技術手段を明確且つ完全的に記載する。明らかに、記載する実施例は、本発明の実施例の一部であり、全てではない。本発明の実施例に基づき、当業者が創造性のある作業をしなくても為しえる全ての他の実施例は、いずれも本発明の保護範囲に属するものである。
本明細書及び添付の特許請求の範囲で使用される場合、用語「備える」及び「含む」は、記載された特徴、全体、ステップ、動作、要素及び/又は構成要素の存在を示すが、1つ又は複数の他の特徴、全体、ステップ、動作、要素、構成要素及び/又はそれらの集合の存在又は追加を排除するものではないことを理解されたい。
本発明の明細書で使用される用語は、特定の実施例を説明する目的のためのものにすぎず、本発明を限定することを意図していないことを更に理解されたい。本発明の明細書及び添付の特許請求の範囲で使用されるように、単数形の「一」、「1つ」、及び「該」は、文脈が明らかに他のことを示さない限り、複数形を含むことが意図される。
本発明の明細書及び添付の特許請求の範囲で使用される「及び/又は」という用語は、関連付けて列挙された要素のうちの1つ以上の任意の組み合わせ、及び全ての可能な組み合わせを指し、これらの組み合わせを含むことを更に理解されたい。
【0013】
図1に示されるように、図1は、本出願の実施例によって提供される画像変換に基づく病巣判定方法のフローチャートである。該画像変換に基づく病巣判定方法はユーザ端末に適用され、該方法は、ユーザ端末の中にインストールされたアプリケーションソフトウェアを通して実行され、ユーザ端末は、卓上パソコン、ノードパソコン、タブレットパソコン又は携帯電話などが含まれる病巣を判断するように画像変換に基づく病巣判定方法を実行する端末機器である。
【0014】
図1に示されるように、該方法はステップS110~S150を備える。
【0015】
S110では、予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる。
【0016】
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築する。具体的に、前記変換テンプレートは、ステップ長さ付きのコンボリューションレイヤとデコンボリューションレイヤとからなる複数のテンプレートであり、変換テンプレート、第1撮画機器及び第2撮画機器を通して、第1画像変換モデル及び第2画像変換モデルを構築することができる。第1撮画機器及び第2撮画機器はいずれも画像を撮るための機器であり、機器によって撮られた画像のスタイルが異なり、例えば、上記スタイルは画像における色の分布、明るさ、コントラスト、ノイズなどが含まれるが、それらに限定されない。第1画像変換モデルのコンボリューションとデコンボリューション作用を通して、第1撮画機器のスタイルに一致する画像を、第2撮画機器のスタイルに一致する画像に変換し、第2画像変換モデルは第2撮画機器のスタイルに一致する画像を、第1撮画機器のスタイルに一致する画像に変換することができる。
【0017】
1つの実施例において、図3に示されるように、ステップS110はサブステップS111とS112とを含む。
【0018】
S111では、前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。
【0019】
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築する。第1撮画機器の第1フォーマット情報を取得し、それぞれの撮画機器により撮られた画像のスタイルはそれぞれであり、第1フォーマット情報は第1撮画機器により撮られた画像のフォーマット情報であり、即ち、画像の具体的なサイズ情報である。第1画像変換モデルは、1つのズーミング処理レイヤ、ステップ長さが2である2つのコンボリューションレイヤ及びステップ長さが0.5である2つのデコンボリューションレイヤを備え、ズーミング処理レイヤは対応する画素サイズの画像を取得するように第1フォーマット情報の画像に対してズーミング処理を行うレイヤであり、各コンボリューションレイヤに1つのコンボリューションカーネルが含まれ、コンボリューションカーネルの各素子はいずれも1つの重み係数と1つのオフセット量とに対応し、それと同じように、1つのデコンボリューションレイヤにも1つのデコンボリューションカーネルが含まれ、デコンボリューションレイヤの各素子はいずれも1つの重み係数と1つのオフセット量とに対応する。
【0020】
例えば、第1機器により撮られた画像を受信した後、まず、ズーミング処理レイヤを通して該画像を画素256×256の画像に変換し、コンボリューション処理を通して画素256×256の画像を1つの多次元ベクトルに変換し、デコンボリューション処理を通して多次元ベクトルをほかの1つの画素256×256の画像に変換する。
【0021】
S112では、前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。
【0022】
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築する。第2フォーマット情報は第2撮画機器により撮られた画像のフォーマット情報であり、即ち、画像の具体的なサイズ情報であり、第2画像変換モデルは、1つのズーミング処理レイヤ、ステップ長さが2である2つのコンボリューションレイヤ及びステップ長さが0.5である2つのデコンボリューションレイヤを備え、ズーミング処理レイヤは対応する画素サイズの画像を取得するように第2フォーマット情報の画像に対してズーミング処理を行うレイヤであり、各コンボリューションレイヤには1つのコンボリューションカーネルが含まれ、コンボリューションカーネルの各素子はいずれも1つの重み係数と1つのオフセット量とに対応し、それと同じように、1つのデコンボリューションレイヤにも1つのデコンボリューションカーネルが含まれ、デコンボリューションレイヤの各素子はいずれも1つの重み係数と1つのオフセット量とに対応する。
【0023】
S120では、予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる。
【0024】
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成する。計算テンプレートをコピーして、第1信頼値計算モデル及び第2信頼値計算モデルを取得でき、各計算モデルにいずれもステップ長さが2である2つのコンボリューションレイヤ、1つの完全接続レイヤ、1つの出力ノードが含まれ、各計算モデルはいずれも計算モデルに入力された画像を処理し、且つ該画像の信頼値を計算して取得できる。具体的に、一定の画素サイズの画像を1つの計算モデルに入力する場合、該計算モデルを通して、入力された画像に対してコンボリューション処理を行い、1つの多次元ベクトルを取得し、多次元ベクトルにおける各次元は計算モデルにおける1つの入力ノードであり、各次元のベクトル値も入力ノードに対応する入力ノード値であり、完全接続レイヤに予め設定された複数の特徴ユニットが含まれ、各特徴ユニットはいずれもすべての入力ノードと出力ノードとに関連し、特徴ユニットは多次元ベクトルと出力ノードとの関係を反映することに用いられ、特徴ユニットは完全接続レイヤにおける特徴ユニットの計算値である。
【0025】
計算モデルには、すべての入力ノードからすべての特徴ユニットまでの式と、すべての特徴ユニットから出力ノードまでの式がさらに含まれ、入力ノードから特徴ユニットまでの式は入力ノード値xを入力値、特徴ユニットyを出力値とする計算式であり、例えば、y=i×x+j、i及びjはいずれも該式の中のパラメータ値であり、特徴ユニットから出力ノードまでの式は特徴ユニット値を入力値とし、出力ノード値を出力値とする計算式であり、式の具体的な形式は上記例に示されるように、計算モデルを通して入力された画像に対して計算処理を行い、該計算モデルの出力ノード値を取得でき、即ち、該画像に対応する信頼値を取得できる。信頼値の具体的な数値範囲は[0,1]であり、第1信頼値計算モデルを用いて信頼値を取得し、入力された画像と第2撮画機器により撮られた画像とのスタイルの類似度を数量化することに用いることができ、第1信頼値計算モデル入力された画像は第1撮画機器により取られ、且つ第1画像変換モデルで変換された画像である場合、第1信頼値計算モデルを通して、第1画像変換モデルにより変換された該画像と第2撮画機器により撮られた画像とのスタイルの類似度を計算し、類似度は信頼値で示される。具体的に、第1信頼値計算モデルにより計算して、信頼値の1を取得すれば、入力された画像と第2撮画機器により撮られた画像のスタイルが類似することが示され、第1信頼値計算モデルにより計算して、信頼値の0を取得すれば、入力された画像と第2撮画機器により撮られた画像とのスタイルが類似していないことが示される。第2信頼値計算モデルにより計算して得られた信頼値は、入力された画像と第1撮画機器により撮られた画像とのスタイルを数量化することに用いられ、具体的に、第2信頼値計算モデルにより計算して、信頼値の1を取得すれば、入力された画像と第1撮画機器により撮られた画像とのスタイルが類似することが示され、第2信頼値計算モデルにより計算して信頼値の0を取得すれば、入力された画像と撮画機器により撮られた画像とのスタイルが類似していないことが示される。
【0026】
第1信頼値計算モデル及び第2信頼値計算モデルを構築した後、予め設定されたトレーニングデータを通して第1信頼値計算モデル及び第2信頼値計算モデルに対してトレーニングをさらに行うことにより、第1信頼値計算モデル及び第2信頼値計算モデルにおける式のパラメータ値を調整することができ、それにより、トレーニング後の第1信頼値計算モデル及び第2信頼値計算モデルは実用的な需要を満すことができる。
【0027】
S130では、トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルール及び予め設定された画像ギャラリによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行う。
【0028】
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行う。具体的に、画像ギャラリに第1画像集及び第2画像集が含まれ、第1画像集は、第1撮画機器によって撮られた画像からなる画像の集合であり、第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であり、第1画像集に数枚の第1画像が含まれ、第2画像集に数枚の第2画像が含まれる。モデルトレーニングルールは、第1画像変換モデル及び第2画像変換モデルに対してトレーニングを行うルール情報であり、モデルトレーニングルールに損失関数及びパラメータ調整ルールが含まれる。
【0029】
1つの実施例において、図4に示されるように、ステップS130にはサブステップS131、S132及びS133が含まれる。
【0030】
S131では、前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合である。
【0031】
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像をランダムに取得する。第1画像はaで示され、第1画像は第1撮画機器のスタイルに一致する画像であり、第2画像はbで示され、第2画像も第2撮画機器のスタイルに一致する画像である。
【0032】
S132では、トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算する。
【0033】
具体的に、損失関数はL=λ×(||G_X(b)-b||+||G_Y(a)-a||+||G_Y(G_X(a))-a||+||G_X(G_Y(b))-b||)+logD_X(b)+log(1-D_X(G_X(a)))+logD_Y(a)+log(1-D_Y(G_Y(b)))である。第1画像変換モデルを通して第1画像を変換した後に第1変換画像を取得することができ、第2画像変換モデルを通して第2画像を変換した後に第2変換画像を取得することができ、第2変換画像と第1撮画機器とのスタイルをもっと高く一致させ、且つ第1変換画像と第2撮画機器とのスタイルをもっと高く一致させるように、第1画像変換モデル及び第2画像変換モデルに対してトレーニングを行うことができ、トレーニングの速度を高めるように、上記損失関数を通して第1画像変換モデル及び第2画像変換モデルに対して同時にトレーニングを行うことができる。Lは計算して取得したトレーニング損失値であり、第1画像はaで示され、第2画像はbで示され、第1信頼値計算モデルはD_Xで示され、第2信頼値計算モデルはD_Yで示され、第1画像変換モデルはG_Xで示され、第2画像変換モデルはG_Yで示される。第1変換画像はG_X(a)で示され、第2変換画像はG_Y(b)で示され、λは損失関数における比重値であり、例えば、比重値λ=0.1を設定することができる。そのほか、画像a及び画像bに対してズーミング処理を行った後、第1画像変換モデルを用いて第2画像を変換して取得した画像をG_X(b)で示し、第2画像変換モデルを用いて第1画像を変換して取得した画像をG_Y(a)で示し、第1信頼値計算モデルを用いて計算して取得した第1画像の信頼値をG_X(a)で示し、計算して取得した第2画像の信頼値をD_X(b)で示し、第2信頼値計算モデルを用いて計算して取得した第1画像の信頼値をD_Y(a)で示し、計算して取得した第2画像の信頼値をD_Y(b)で示す。||G_X(b)-b||はG_X(b)と画像bとのノルムであり、ノルムの計算は具体的に、画像G_X(b)及び画像bをunit8の数値に変換し、即ち画像における各画素の画素値を取得し、画像G_X(b)の数値と画像bの数値とを減算し、ノルムを取得でき、ノルムが小さければ小さいほど、2枚の画像が類似する。
【0034】
S133では、前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行う。
【0035】
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行う。トレーニング損失値を計算して取得した後、パラメータ調整ルール及びトレーニング損失値によってパラメータアップデート勾配値を確定し、トレーニング損失値が大きければ大きいほど、対応するアップデート勾配値が大きくなり、トレーニング損失値が小さくなり、対応するアップデート勾配値が小さくなる。第2画像変換モデルにおけるパラメータ値は該モデルにおけるコンボリューションカーネル及びデコンボリューションカーネルに含まれる重み係数であり、パラメータ調整ルールに調整方向がさらに含まれ、調整方向及びアップデート勾配値を合わせて第2画像変換モデルに含まれる重み係数を調整することができ、即ち、第2画像変換モデルに対する一次トレーニングを完成することができる。
【0036】
上記重み係数調整方法を通して、第2画像変換モデルに対して反復トレーニングを行い、反復トレーニングの回数はユーザにより設定され、反復トレーニングを行った後にトレーニング後の第2画像変換モデルを最終的に取得することができる。
【0037】
S140では、ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定する。
【0038】
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定する。判定対象画像は、ユーザが入力した病巣判断を行うべき画像であり、具体的に、判定対象画像に収集ソース情報が含まれ、収集ソース情報によって該判定対象画像の撮画機器が第1撮画機器であるか否かを確定でき、ここで、判定対象画像の撮画機器は第1撮画機器又は第2撮画機器であってもよい。
【0039】
例えば、ユーザが入力した判定対象画像はハイデルベルク機器又はOptovue機器であり、判定対象画像の収集ソース情報が「H」である場合、該画像の撮画機器はハイデルベルク機器であり、即ち、該判定対象画像の撮画機器は第1撮画機器であり、判定対象画像の収集ソース情報が「0」である場合、該画像の撮画機器はOptovue機器であり、即ち、該判定対象画像の撮画機器は第1撮画機器ではない。
【0040】
S150では、前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断する。
【0041】
前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断する。画像判断ルールは、判定対象画像を判断するルール情報であり、画像判断ルールに画像分割モデル及び病巣判定ルールが含まれ、画像分割処理モデルは第1撮画機器だけに適用され、ほかの撮画機器に適用されない。目標画像を取得するように、第2画像変換モデル及び画像分割モデルによって判定対象画像を処理することにより、目標画像から判定対象画像に含まれない情報を取得でき、この技術は、網膜内出血が存在するか否かという部分的な病巣への判断に最適である。
【0042】
図2は本出願の実施例により提供される画像変換に基づく病巣判定方法の効果図であり、図2に示されるように、図2(a)は上記第2撮画機器により撮られた画像であり、図2(b)は画像判定ルールにおける画像分割モデルによって図2(a)に対して分割処理を行った後の画像であり、図2(c)は第2画像変換モデルによって図2(a)に対して変換を行った後に取得した画像であり、図2(d)は画像判定ルールにおける画像分割モデルによって図2(c)に対して分割処理を行った後の画像である。
【0043】
1つの実施例において、図5に示されるように、ステップS150にはサブステップS151、S152及びS153が含まれる。
【0044】
S151では、分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像に対して変換を行う。
【0045】
分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換する。トレーニング後の第2画像変換モデルを通して、第2撮画機器により撮られた判定対象画像を、第1撮画機器のスタイルに一致する分割対象画像に変換することができる。撮画機器によって撮られた画像のスタイルが異なり、上記スタイルは画像における色の分布、明るさ、コントラスト、ノイズなどが含まれるが、これらに限定されず、判定対象画像の撮画機器は第1撮画機器ではないため、判定対象画像に対して画像分割処理を直接的に行った後、図2(b)に示されるように、分割処理後の画像から一部の重要な情報を取得できない。判定対象画像における一部の重要な情報を取得するように、第2画像変換モデルを通して第2撮画機器により撮られた画像を、第1撮画機器のスタイルに一致する画像に変換することができ、図2(c)に示されるように、その後、画像分割処理モデルを通して、スタイル変換後の画像に対して分割処理を行い、目標画像を取得する。
【0046】
S152では、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。
【0047】
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。画像分割処理モデルを通して、スタイル変換が行われた画像に対して分割処理を行い、目標画像を取得した後、目標画像に含まれる一部の重要な情報をその中から取得することができる。具体的に、画像分割モデルは画像に対して分割処理を行うモデルであり、図2(d)に示されるように、画像分割モデルを通して、画像における画素のコントラスト、明るさ、色の分布などの情報によって、部分的な病巣の画素情報を画像から分割することができる。
【0048】
S153では、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。
【0049】
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。ここで、病巣判定ルールは、目標画像に対して判断分析を行うルールであり、病巣判定ルールによって目標画像に病巣が含まれるか否かの病巣判定結果を取得することができる。
【0050】
例えば、病巣判定ルールは、画像におけるハイライトエリアが50ピクセルを超えると、画像に病巣が含まれることが示され、目標画像に対してコントラスト分析を行うことにより、目標画像におけるハイライトエリアを取得でき、ハイライトエリアが50ピクセルを超えた場合、該目標画像に病巣が含まれるという病巣判定結果を取得でき、そうではない場合、該目標画像に病巣が含まれていないという病巣判定結果を取得する。
【0051】
1つの実施例において、図6に示されるように、ステップS140の後にサブステップS141とS142とが含まれる。
【0052】
S141では、前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。
【0053】
前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。画像分割処理モデルは第1撮画機器のみに適用され、ほかの撮画機器に適用されないため、判定対象画像の撮画機器が第1撮画機器である場合、目標画像を取得するように、画像分割モデルを通して判定対象画像を直接的に分割処理することができる。
【0054】
S142では、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。
【0055】
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。病巣判定ルールによって目標画像に病巣が含まれるか否かの病巣判定結果を取得することができる。
【0056】
本出願の実施例により提供される画像変換に基づく病巣判定方法において、変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、計算テンプレートによってそれぞれ第1信頼値計算モデル及び第2信頼値計算モデルを生成し、モデルトレーニングルール及び画像ギャラリ並びに第1画像変換モデルを通して第2画像変換モデルに対してトレーニングを行い、且つトレーニング後の第2画像変換モデル及び画像判定ルールによって、病巣が含まれるか否かという病巣判定結果を取得するように、ユーザが入力した判定対象画像を判断し、変換して取得した目標画像とほかの撮画機器のスタイルとを完全に一致させ、画像の変換効率と品質を高める。したがって、病巣の判断の正確率を大幅に高め、実施の適用過程中に優れた技術的効果を取得できる。
【0057】
本出願の実施例は、画像変換に基づく病巣判定装置をさらに提供し、該画像変換に基づく病巣判定装置は前述画像変換に基づく病巣判定方法のいずれか1つの実施例を実行することに用いられる。具体的に、図7に示されるように、図7は、本出願の実施例によって提供される画像変換に基づく病巣判定装置の示唆的なブロック図である。画像変換に基づく病巣判定装置は卓上パソコン、ノートパソコン、タブレットパソコン又は携帯電話などのユーザ端末の中に組み立てられる。
【0058】
図7に示されるように、画像変換に基づく病巣判定装置100は変換モデル構築ユニット110、計算モデル生成ユニット120、変換モデルトレーニングユニット130、撮画機器確定ユニット140及び病巣判定結果取得ユニット150を備える。
【0059】
変換モデル構築ユニット110は、予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することに用いられ、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる。
【0060】
ほかの出願の実施例において、図8に示されるように、前記変換モデル構築ユニット110は、第1画像変換モデル構築ユニット111及び第2画像変換モデル構築ユニット112というサブユニットを備える。
【0061】
第1画像変換モデル構築ユニット111は、前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築することに用いられ、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。
【0062】
第2画像変換モデル構築ユニット112は、前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築することに用いられ、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。
【0063】
計算モデル生成ユニット120は、予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成することに用いられ、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行う。
【0064】
変換モデルトレーニングユニット130は、トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことに用いられる。
【0065】
ほかの出願の実施例において、図9に示されるように、前記変換モデルトレーニングユニット130は、画像取得ユニット131、トレーニング損失値計算ユニット132及びパラメータ値調整ユニット133というサブユニットを備える。
【0066】
画像取得ユニット131は、前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得することに用いられ、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像集であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合である。トレーニング損失値計算ユニット132は、トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することに用いられる。パラメータ値調整ユニット133は、前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことに用いられる。
【0067】
撮画機器確定ユニット140は、ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することに用いられる。
【0068】
病巣判定結果取得ユニット150は、前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することに用いられる。
【0069】
ほかの出願の実施例において、図10に示されるように、前記病巣判定結果取得ユニット150は、画像変換ユニット151、第1分割処理ユニット152及び第1病巣判定ユニット153というサブユニットを備える。
【0070】
画像変換ユニット151は、分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することに用いられる。第1分割処理ユニット152は、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことに用いられる。第1病巣判定ユニット153は、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することに用いられる。
【0071】
ほかの出願の実施例において、図11に示されるように、前記画像変換に基づく病巣判定装置100は、第2分割処理ユニット141及び第2病巣判定ユニット142というサブユニットを備える。
【0072】
第2分割処理ユニット141は、前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記判定対象画像に対して分割処理を行うことに用いられる。第2病巣判定ユニット142は、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することに用いられる。
【0073】
本出願の実施例により提供される画像変換に基づく病巣判定装置は、上記画像変換に基づく病巣判定方法を用い、変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、計算テンプレートによってそれぞれ第1信頼値計算モデル及び第2信頼値計算モデルを生成し、モデルトレーニングルール、画像ギャラリ並びに第1画像変換モデルを通して第2画像変換モデルに対してトレーニングを行い、且つユーザが入力した判定対象画像の撮画機器を確定し、画像判定ルール及びトレーニング後の第2画像変換モデルによって、病巣判定結果を取得するように、ユーザが入力した判定対象画像を判断し、変換して取得した目標画像とほかの撮画機器のスタイルとを完全に一致させ、画像の変換効率と品質を高める。したがって、病巣の判断の正確率を大幅に高め、実施の適用過程中に優れた技術的効果を取得できる。
【0074】
上記画像変換に基づく病巣判定装置はコンピュータプログラムの形式で実現され、該コンピュータプログラムは図12に示されるコンピュータ機器で実行可能である。
図12に示されるように、図12は、本出願の実施例によって提供されるコンピュータ機器の示唆的なブロック図である。
【0075】
図12に示されるように、該コンピュータ機器500は、システムバス501で接続されるプロセッサ502、メモリ及びネットワークインターフェース505を備え、メモリは不揮発性記憶媒体503と内部メモリ504とを備えることができる。
【0076】
該不揮発性記憶媒体503は、オペレーティングシステム5031とコンピュータプログラム5032とを記憶することができる。該コンピュータプログラム5032は実行される際、プロセッサ502が画像変換に基づく病巣判定方法を実行する。
【0077】
該プロセッサ502は計算と制御能力とを提供し、コンピュータ機器500全体の実行をサポートすることに用いられる。
【0078】
該内部メモリ504は不揮発性記憶媒体503におけるコンピュータプログラム5032の実行に環境を提供し、該コンピュータプログラム5032はプロセッサにより実行される際、プロセッサ502が画像変換に基づく病巣判定方法を実行する。
【0079】
該ネットワークインターフェース505は、データ情報を伝送するなどのネットワーク通信を行うことに用いられる。当業者であれば、図12に示される構造は、本出願の解決手段に関連する一部の構造のブロック図のみであり、本出願の解決手段が提供されるコンピュータ機器500への限定ではなく、具体的なコンピュータ機器500は図に示される部材よりも多いか少ない部材を備えてもよく、或いは一部の部材を組み合わせ、或いは異なる部材の配置を備えてもよいことが理解される。
【0080】
ここで、前記プロセッサ502は、本出願の実施例の画像変換に基づく病巣判定方法を実現するように、メモリに記憶されるコンピュータプログラム5032を実行することに用いられる。
【0081】
当業者であれば、図12に示されるコンピュータ機器の実施例は、コンピュータ機器に対する具体的な限定を構成せず、ほかの実施例において、コンピュータ機器は、図に示される部材よりも多いか少ない部材を備えてもよく、或いは一部の部材を組み合わせ、或いは異なる部材の配置を備えてもよいことが理解される。例えば、一部の実施例において、コンピュータ機器はメモリ及びプロセッサのみを備えてもよく、これらの実施例において、メモリ及びプロセッサの構造並びに機能は図12に示される実施例に一致し、ここで贅言しない。
【0082】
本出願の実施例において、プロセッサ502は中央処理装置(Central Processing Unit,CPU)であってもよく、該プロセッサ502はさらにほかの汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor,DSP)、特定用途向け集積回路(Application Specific Integrated Circuit,ASIC)、現場でプログラム可能なゲートアレイ(Field-Programmable Gate Array,FPGA)又はほかのプログラム可能なロジックデバイス、ディスクリートコンポーネントゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよいことが理解すべきである。ここで、汎用プロセッサはマイクロプロセッサであってもよく、該プロセッサはいずれかの一般的なプロセッサなどでもよい。
【0083】
本出願のほかの実施例において、コンピュータ可読記憶媒体が提供される。該コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。該コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行される際、本出願の実施例の画像変換に基づく病巣判定方法を実現する。
【0084】
前記記憶媒体は物理的、非一時的な記憶媒体であり、例えば、Uフラッシュディスク、モバイルハードディスク、読み取り専用メモリ(Read-Only Memory,ROM)、ディスク又はCDなどのようなプログラムコード記憶可能な物理的な記憶媒体であってもよい。
なお、当業者であれば、上記設備、装置及びユニットの具体的な実現過程は、前述実施例における対応する説明を参考にすることができ、説明の簡潔さのため、ここで省略することははっきり了解される。
以上は、本発明の好適な実施例であり、発明に対しあらゆる形式上の限定をしない。当業者が上記実施例に基づいて様々な同等な変更や改良を加えることができ、特許請求の範囲内に為す同等な変化や修飾は、いずれも本発明の範囲内に含まれる。
【0085】
(付記)
(付記1)
画像変換に基づく病巣判定方法であって、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を備える画像変換に基づく病巣判定方法。
【0086】
(付記2)
前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える付記1に記載の画像変換に基づく病巣判定方法。
【0087】
(付記3)
前記トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える付記1に記載の画像変換に基づく病巣判定方法。
【0088】
(付記4)
病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える付記1に記載の画像変換に基づく病巣判定方法。
【0089】
(付記5)
前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える付記4に記載の画像変換に基づく病巣判定方法。
【0090】
(付記6)
前記第1画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第2画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える付記1に記載の画像変換に基づく病巣判定方法。
【0091】
(付記7)
前記第1信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第2信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える付記1に記載の画像変換に基づく病巣判定方法。
【0092】
(付記8)
画像変換に基づく病巣の判定装置であって、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することに用いられ、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる変換モデル構築ユニットと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる計算モデル生成ユニットと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うための変換モデルトレーニングユニットと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するための撮画機器確定ユニットと、
前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するための病巣判定結果取得ユニットと、を備える画像変換に基づく病巣判定装置。
【0093】
(付記9)
前記変換モデル構築ユニットは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築することに用いられ、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第1画像変換モデル構築ユニットと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築することに用いられ、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第2画像変換モデル構築ユニットと、を備える付記8に記載の画像変換に基づく病巣判定装置。
【0094】
(付記10)
前記変換モデルトレーニングユニットは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得することに用いられ、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像集であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合である画像取得ユニットと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算するためのトレーニング損失値計算ユニットと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うためのパラメータ値調整ユニットと、を備える付記8に記載の画像変換に基づく病巣判定装置。
【0095】
(付記11)
メモリ、プロセッサ及び前記メモリに記憶され、且つ前記プロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、前記プロセッサは、前記コンピュータプログラムを実行する際、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられるステップと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられるステップと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うステップと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するステップと、
判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するステップと、を実行する画像変換に基づくコンピュータ機器。
【0096】
(付記12)
前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える付記11に記載の画像変換に基づくコンピュータ機器。
【0097】
(付記13)
前記トレーニング後の第2画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える付記11に記載の画像変換に基づくコンピュータ機器。
【0098】
(付記14)
病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える付記11に記載の画像変換に基づくコンピュータ機器。
【0099】
(付記15)
前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える付記14に記載の画像変換に基づくコンピュータ機器。
【0100】
(付記16)
前記第1画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第2画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える付記11に記載の画像変換に基づくコンピュータ機器。
【0101】
(付記17)
前記第1信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第2信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える付記11に記載の画像変換に基づくコンピュータ機器。
【0102】
(付記18)
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される際、前記プロセッサは、予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を実行する画像変換に基づく記憶媒体。
【0103】
(付記19)
前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える付記18に記載の画像変換に基づく記憶媒体。
【0104】
(付記20)
前記トレーニング後の第2画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える付記18に記載の画像変換に基づく記憶媒体。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12