IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ▲騰▼▲訊▼科技(深▲セン▼)有限公司の特許一覧

特許7214291コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム
<>
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図1
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図2
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図3
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図4
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図5
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図6
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図7
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図8
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図9
  • 特許-コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-20
(45)【発行日】2023-01-30
(54)【発明の名称】コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20230123BHJP
   G06T 7/00 20170101ALI20230123BHJP
【FI】
A61B1/045 614
G06T7/00 350C
G06T7/00 612
【請求項の数】 14
(21)【出願番号】P 2020560333
(86)(22)【出願日】2019-10-21
(65)【公表番号】
(43)【公表日】2021-08-12
(86)【国際出願番号】 CN2019112202
(87)【国際公開番号】W WO2020088288
(87)【国際公開日】2020-05-07
【審査請求日】2020-10-27
(31)【優先権主張番号】201811276885.2
(32)【優先日】2018-10-30
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技(深▲セン▼)有限公司
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】付 星▲輝▼
(72)【発明者】
【氏名】▲孫▼ ▲鐘▼前
(72)【発明者】
【氏名】▲楊▼ 巍
【審査官】増渕 俊仁
(56)【参考文献】
【文献】国際公開第2017/175282(WO,A1)
【文献】特開2017-045341(JP,A)
【文献】国際公開第2018/008593(WO,A1)
【文献】国際公開第2018/225448(WO,A1)
【文献】米国特許出願公開第2018/0225820(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
取得モジュールと、予測モジュールとを有するコンピュータデバイスの作動方法であって、
前記取得モジュールが、検査対象ユーザーの現在の内視鏡画像を取得するステップと、
前記予測モジュールが、入力レイヤー、処理レイヤー、及び分類レイヤーを含むディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測するステップであって、前記トレーニングパラメータが少なくとも1つの第1の内視鏡画像、及び、前記少なくとも1つの第1の内視鏡画像を回転変換と色変換とによって変換した少なくとも1つの第2の内視鏡画像によって決定され、前記少なくとも1つの第1の内視鏡画像が人体部位に対応するステップと、
前記予測モジュールが、前記現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、
を含むことを特徴とするコンピュータデバイスの作動方法
【請求項2】
前記コンピュータデバイスが確立モジュールを更に含み、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測する前に、
前記取得モジュールが、人体部位の少なくとも1つの第1の内視鏡画像を取得するステップと、
前記確立モジュールが、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、前記少なくとも1つの第1の内視鏡画像、及び、前記少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定するステップと、
をさらに含むことを特徴とする請求項1に記載のコンピュータデバイスの作動方法
【請求項3】
前記コンピュータデバイスが決定モジュールを更に含み、
前記決定モジュールが、前記人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも1つの候補器官カテゴリーを決定するステップと、
前記決定モジュールが、各候補器官カテゴリーに対応するラベル画像を取得するステップと、
をさらに含み、
前記少なくとも1つの第1の内視鏡画像、及び、前記少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定する前記ステップは、
前記確立モジュールが、前記少なくとも1つの第1の内視鏡画像及び前記少なくとも1つの第2の内視鏡画像を入力サンプルとし、各ラベル画像をターゲット出力サンプルとしてトレーニングして、前記トレーニングパラメータを得るステップ、を含むことを特徴とする請求項2に記載のコンピュータデバイスの作動方法
【請求項4】
内視鏡画像を予測するためのディープ畳み込みネットワークを確立する前記ステップは、
前記確立モジュールが、前記処理レイヤーに少なくとも1つの密集接続レイヤーを追加するステップであって、前記密集接続レイヤーが複数の接続サブレイヤーを含むステップと、
前記確立モジュールが、前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力とするステップと、
を含むことを特徴とする請求項2に記載のコンピュータデバイスの作動方法
【請求項5】
前記処理レイヤーに少なくとも1つの密集接続レイヤーを追加する前記ステップは、
前記確立モジュールが、2つの隣接する密集接続レイヤーの間に遷移レイヤーを追加し、予め設定された予測精度に基づき、当該遷移レイヤーの特徴圧縮率を設置するステップ、を含むことを特徴とする請求項4に記載のコンピュータデバイスの作動方法
【請求項6】
前記コンピュータデバイスが構築モジュールを更に含み、
前記ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、
前記コンピュータデバイスの作動方法は、
前記構築モジュールが、前記ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築するステップをさらに含み、
前記少なくとも1つの第1の内視鏡画像、及び、前記少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定する前記ステップは、
前記ディープ畳み込みネットワークをトレーニングする場合、
前記確立モジュールが、前記処理レイヤーが前記少なくとも1つの第1の内視鏡画像を処理することによって得られた少なくとも1つの処理済み特徴を取得するステップと、
前記確立モジュールが、前記少なくとも1つの処理済み特徴及び前記少なくとも1つの第2の内視鏡画像の特徴に基づき、今回の反復における前記損失関数の値を算出するステップと、
前記確立モジュールが、前記損失関数の値に基づき、トレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、前記トレーニングパラメータを取得するステップと、
を反復して実行することを特徴とする請求項2に記載のコンピュータデバイスの作動方法
【請求項7】
前記ディープ畳み込みネットワークをトレーニングする場合、前記コンピュータデバイスの作動方法は、
前記確立モジュールが、前記少なくとも1つの第1の内視鏡画像が属する器官カテゴリーの中心特徴を初期化するステップ、をさらに含み、
前記少なくとも1つの処理済み特徴及び前記少なくとも1つの第2の内視鏡画像の特徴に基づき、今回の反復における前記損失関数の値を算出する前記ステップは、
前記確立モジュールが、各前記処理済み特徴と各前記第2の内視鏡画像の特徴との間の複数の第1の距離をそれぞれ算出するステップと、
前記確立モジュールが、各前記第1の内視鏡画像の特徴と各前記第1の内視鏡画像に対応する中心特徴との間の複数の第2の距離を算出するステップと、
前記確立モジュールが、前記複数の第1の距離と前記複数の第2の距離に基づき、前記損失関数の値を算出するステップと、
を含むことを特徴とする請求項6に記載のコンピュータデバイスの作動方法
【請求項8】
前記少なくとも1つの第1の内視鏡画像に対して実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、又はコントラストジッターのうちの少なくとも1つを含むことを特徴とする請求項1に記載のコンピュータデバイスの作動方法
【請求項9】
内視鏡画像処理システムであって、
人体検知デバイスと、内視鏡画像処理装置とを含み、
前記人体検知デバイスは、人体部位を検知し、検知した少なくとも1つの第1の内視鏡画像を前記内視鏡画像処理装置に送信するために用いられ、
前記内視鏡画像処理装置は、前記人体検知デバイスから前記少なくとも1つの第1の内視鏡画像を取得し、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、前記少なくとも1つの第1の内視鏡画像及び前記少なくとも1つの第1の内視鏡画像を回転変換と色変換とによって変換した少なくとも1つの第2の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定し、検査対象ユーザーの現在の内視鏡画像を取得し、前記ディープ畳み込みネットワークを使用し前記トレーニングパラメータに基づいて前記現在の内視鏡画像を予測し、前記現在の内視鏡画像に対応する器官カテゴリーを決定するために用いられる、ことを特徴とするシステムであって、
前記ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含む、
システム。
【請求項10】
前記内視鏡画像処理装置はさらに、
前記人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも1つの候補器官カテゴリーを決定し、各候補器官カテゴリーに対応するラベル画像を取得し、前記少なくとも1つの第1の内視鏡画像及び前記少なくとも1つの第2の内視鏡画像を入力サンプルとし、各前記ラベル画像をターゲット出力サンプルとしてトレーニングして、前記トレーニングパラメータを得るために用いられることを特徴とする請求項9に記載のシステム。
【請求項11】
前記内視鏡画像処理装置は、さらに、
前記ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築し、
前記ディープ畳み込みネットワークをトレーニングする場合、
前記処理レイヤーが前記少なくとも1つの第1の内視鏡画像を処理することによって得られた少なくとも1つの処理済み特徴を取得するステップと、
前記少なくとも1つの処理済み特徴及び前記少なくとも1つの第2の内視鏡画像の特徴に基づき、今回の反復における前記損失関数の値を算出するステップと、
前記損失関数の値に基づき、トレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、前記トレーニングパラメータを取得するステップと、を反復して実行する、ために用いられることを特徴とする請求項9に記載のシステム。
【請求項12】
前記ディープ畳み込みネットワークをトレーニングする場合、前記内視鏡画像処理装置は、さらに、
前記少なくとも1つの第1の内視鏡画像が属する器官カテゴリーの中心特徴を初期化し、
各前記処理済み特徴と各前記第2の内視鏡画像の特徴との間の複数の第1の距離をそれぞれ算出し、
各前記第1の内視鏡画像の特徴と各前記第1の内視鏡画像に対応する中心特徴との間の複数の第2の距離を算出し、
前記複数の第1の距離と前記複数の第2の距離に基づき、前記損失関数の値を算出する、ために用いられることを特徴とする請求項11に記載のシステム。
【請求項13】
コンピュータデバイスであって、
少なくとも1つのメモリ及び少なくとも1つのプロセッサーを含み、
前記少なくとも1つのメモリに少なくとも1つのプログラムコードが記憶されており、
前記少なくとも1つのプログラムコードは、前記少なくとも1つのプロセッサーによってロードされて実行されることで、請求項1乃至8のいずれか1項に記載の方法を前記少なくとも1つのプロセッサーに実行させることを特徴とするコンピュータデバイス。
【請求項14】
請求項1乃至8のいずれか1項に記載の方法をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2018年10月30日に中国特許庁に提出された、出願番号が201811276885.2であって、出願の名称が「内視鏡画像の処理方法、装置、システム及び記憶媒体」である中国特許出願の優先権を主張するものであり、その全内容を本出願に参照により援用する。
【0002】
本発明は、画像処理技術の分野に関し、特に、内視鏡画像の処理方法、システム及びコンピュータデバイスに関する。
【背景技術】
【0003】
現在、胃がん、食道がんは、中国及び世界で発生率の高い悪性腫瘍の上位5種類にランクされている。胃がんと食道がんは、どちらも上部消化管部位の悪性腫瘍である。実際の診療では、医師は内視鏡によって電子検査を行い、内視鏡を口腔から被験者の上部消化管部位に入り、光源から発せられた強い光が光ファイバを介して光を回すことによって、医師が上部消化管内の各器官の健康状態を観察できるようにする。
【0004】
しかしながら、内視鏡によって撮影された医療画像は、収集環境、検知デバイス、及び、医師の撮影習慣の違いにより、同じ器官の内視鏡画像の視覚的なパフォーマンスが大きく異なり、異なる器官の局所パフォーマンスが非常に似ている場合がある。従って、医師による病気の診断に深刻な影響を与える。
【0005】
関連技術では、医療画像における異なる器官を認識するために、一般的に、コンピュータビジョン技術を使用して、例えば、色、テクスチャ、勾配、ローカルバイナリパターン(Local Binary Patterns、LBP)などの特徴を抽出し、そして、サポートベクターマシン(Support Vector Machine、SVM)分類方法によって、器官の分類認識を行う。しかし、このような技術では、画像の固有の特点に基づいて、利用可能な特徴抽出案を策定するために、研究者が医療画像を深く理解する必要があり、技術的なしきい値が高くなる。なお、抽出された特徴は、診断される特定の身体部位に対して意図的に抽出された特定の器官特徴ではなく、より一般的な特徴に偏るので、カバレッジが不完全になり、解決策のロバスト性が十分ではない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、本発明の実施例は、内視鏡画像の処理方法、システム及びコンピュータデバイスを提供し、予測プロセスをよりインテリジェントかつロバストにし、処理装置のリソース使用率を向上させる。
【課題を解決するための手段】
【0007】
具体的に、本発明の実施例の技術的解決策は、以下のように実現される。
本発明は、内視鏡画像の処理方法を提供し、この方法は、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測するステップであって、前記トレーニングパラメータが少なくとも1つの第1の内視鏡画像、及び、前記少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像によって決定され、前記少なくとも1つの第1の内視鏡画像が人体部位に対応するステップと、
前記現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を含む。
【0008】
本発明は、内視鏡画像処理システムをさらに提供し、当該内視鏡画像処理システムは人体検知デバイスと、内視鏡画像処理装置とを含み、
前記人体検知デバイスは、人体部位を検知し、検知した少なくとも1つの第1の内視鏡画像を前記内視鏡画像処理装置に送信するために用いられ、
前記内視鏡画像処理装置は、前記人体検知デバイスから前記少なくとも1つの第1の内視鏡画像を取得し、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、前記少なくとも1つの第1の内視鏡画像、及び前記少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定し、検査対象ユーザーの現在の内視鏡画像を取得し、前記ディープ畳み込みネットワークを使用して前記トレーニングパラメータに基づいて前記現在の内視鏡画像を予測し、前記現在の内視鏡画像に対応する器官カテゴリーを決定するために用いられる。
【0009】
なお、本発明は、コンピュータ可読記憶媒体をさらに提供し、コンピュータ可読記憶媒体にコンピュータ可読指令が記憶されており、前記コンピュータ可読指令が少なくとも1つのプロセッサーによって実行される場合、次のステップを実現するように、前記少なくとも1つのプロセッサーによってロードされて実行される。即ち、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測するステップであって、前記トレーニングパラメータが少なくとも1つの第1の内視鏡画像、及び、前記少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像によって決定され、前記少なくとも1つの第1の内視鏡画像が人体部位に対応するステップと、
前記現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を含む。
【0010】
また、本発明は、少なくとも1つのメモリ及び少なくとも1つのプロセッサーを含むコンピュータデバイスをさらに提供し、前記少なくとも1つのメモリに少なくとも1つのプログラムコードが記憶されており、前記少なくとも1つのプログラムコードは、次のステップを実現するように、前記少なくとも1つのプロセッサーによってロードされて実行される。即ち、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測するステップであって、前記トレーニングパラメータが少なくとも1つの第1の内視鏡画像、及び、前記少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像によって決定され、前記少なくとも1つの第1の内視鏡画像が人体部位に対応するステップと、
前記現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を含む。
【0011】
上記の技術的解決策から、本発明の実施例によって提供される方法によれば、研究者が医療画像を深く理解する必要なく、ディープ畳み込みネットワークのモデルによって特徴抽出プロセスを完全に自主的に学習できるようにし、医師の専門レベルへの依存を減らし、予測プロセス全体がよりインテリジェントになる。同時に、トレーニングプロセスで使用されるラベル付きデータの数を減らし、トレーニングの収束速度を向上させ、次の疾患診断にクリーンで利用可能なデータを提供し、異なる器官での疾患診断に利用可能な統合モジュールを提供し、処理装置のリソース使用率を向上させることができる。
【図面の簡単な説明】
【0012】
図1】本発明の一実施例に係る内視鏡画像処理システムの構成概略図である。
図2】本発明の一実施例における内視鏡画像の処理方法のフローチャート概略図である。
図3】本発明の一実施例におけるディープ畳み込みネットワークの構成概略図である。
図4】本発明の他の実施例におけるディープ畳み込みネットワークの構成概略図である。
図5】本発明のさらに他の実施例における処理レイヤーの構成概略図である。
図6】本発明の他の実施例における内視鏡画像の処理方法のフローチャート概略図である。
図7】本発明の一実施例におけるラベル画像の概略図である。
図8】本発明の一実施例におけるディープ畳み込みネットワークをトレーニングするフローチャート概略図である。
図9】本発明の一実施例における内視鏡画像の処理装置の構成概略図である。
図10】本発明の他の実施例における内視鏡画像の処理装置の構成概略図である。
【発明を実施するための形態】
【0013】
本発明の目的、技術的解決策及び利点をより明確にするために、以下は、添付の図面を参照して実施例を挙げて、本発明をさらに詳細に説明する。
【0014】
図1は、本発明の一実施例に係る内視鏡画像処理システムの構成概略図である。図1に示すように、内視鏡画像処理システム100には、検査対象ユーザー101と、内視鏡1021が含まれる人体検知デバイス102と、内視鏡画像処理装置103と、医師104を含む。その中、内視鏡画像処理装置103は、リアルタイム予測サブ装置1031、オフライントレーニングサブ装置1032、及び内視鏡画像データベース1033を含み得る。
【0015】
本発明の実施例によれば、人体検知デバイス102は、内視鏡1021を介して、検査対象ユーザー101のある人体部位を検知する。人体検知デバイス102は、収集した内視鏡画像を内視鏡画像処理装置103に送信する。具体的には、それを予測対象となる現在の内視鏡画像としてリアルタイム予測サブ装置1031に送信してもよく、内視鏡画像データベース1033に送信して記憶してもよく、内視鏡画像データベース1033に記憶された画像は、オフライントレーニングに使用される。
【0016】
本発明の実施例によれば、医師104が予測対象となる現在の内視鏡画像を疾患診断したい場合、リアルタイム予測サブ装置1031は、まず、オフライントレーニングサブ装置1032からトレーニングパラメータを取得する必要があり、そして、当該トレーニングパラメータ及び作成されたディープ畳み込みネットワークに基づいて現在の内視鏡画像を予測し、当該現在の内視鏡画像に対応する器官カテゴリーを決定し、例えば、当該器官カテゴリーは上部消化管における十二指腸であり得る。オフライントレーニングサブ装置1032はトレーニングパラメータを生成する場合、リアルタイム予測サブ装置1031と同じディープ畳み込みネットワークを使用して、内視鏡画像データベース1033から内視鏡を介して収集された画像及びラベル付けされたラベル画像を取得し、内視鏡によって収集された画像及び各ラベル付けされたラベル画像に基づき、オフライントレーニングを実行し、ディープ畳み込みネットワークのトレーニングパラメータを出力する。
【0017】
ここで、上記の人体検知デバイス102とは、内視鏡1021が取り付けられ、画像収集機能を持つ医学端末デバイスをいう。さらに、内視鏡1021は、画像センサー、光学レンズ、光源照明、機械装置などを含み得る。内視鏡画像処理装置103は、サーバー、又はクラウドサーバーであってもよく、画像記憶及び処理機能を備える。これらの端末デバイスには、オペレーティングシステムがインストールされ、当該オペレーティングシステムは、Androidオペレーティングシステム、Symbianオペレーティングシステム、Windows mobileオペレーティングシステム、及びApple iPhone(登録商標) OSオペレーティングシステムなどを含むが、これらに限定されない。人体検知デバイス102と内視鏡画像処理装置103との間は、有線又は無線ネットワークを介して通信してもよい。
【0018】
図2は、本発明の一実施例における内視鏡画像の処理方法のフローチャート概略図である。当該方法は、コンピュータデバイスに適用され、コンピュータデバイスがサーバーである例を説明する。当該実施例は、以下のステップを含む。
【0019】
ステップ201、サーバーは、人体部位の少なくとも1つの第1の内視鏡画像を取得する。
つまり、前記少なくとも1つの第1の内視鏡画像は人体部位に対応する。
【0020】
ステップ202、サーバーは、内視鏡画像を予測するためのディープ畳み込みネットワークを確立する。
【0021】
ステップ203、サーバーは、少なくとも1つの第1の内視鏡画像、及び、少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定する。
【0022】
ステップ204、サーバーは、検査対象ユーザーの現在の内視鏡画像を取得し、ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定する。
つまり、上記のトレーニングパラメータは少なくとも1つの第1の内視鏡画像、及び、少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像によって決定される。
【0023】
次に、実施例に基づいて、上記のステップを詳細に説明する。
【0024】
上記のステップ201では、内視鏡が含まれる検知デバイスを使用して人体部位を検知することによって、少なくとも1枚の第1の内視鏡画像を取得してもよい。人体部位には1つ又は複数の器官を含み、例えば、人体部位が上部消化管部位であり、上部消化管部位に咽頭、食道、胃、噴門、十二指腸などの、5個の器官を含む。検知デバイスによって撮影されたものは写真又はビデオであってもよく、取得された第1の内視鏡画像は白色光RGB画像であってもよい。
【0025】
上記のステップ202では、内視鏡画像への分類に使用されるディープ畳み込みネットワークは、深い学習に基づく畳み込みニューラルネットワークである。具体的に、ディープ畳み込みネットワークに、入力レイヤー、処理レイヤー、及び分類レイヤーを含む。図3は、本発明の一実施例におけるディープ畳み込みネットワークの構成概略図である。図3に示すように、ディープ畳み込みネットワークでは、入力レイヤー301は、入力として使用される少なくとも1つの内視鏡画像を決定し、処理レイヤー302は、入力された各内視鏡画像に対して特徴抽出を行い、分類レイヤー303は、入力された各内視鏡画像を予測することによって得られる器官カテゴリーを出力する。ただし、上記の少なくとも1つの内視鏡画像は、検知デバイスによって撮影された各第1の内視鏡画像を含んでもよく、勿論、各第1の内視鏡画像を変換することによって得られる各第2の内視鏡画像を含んでもよい。このように、サンプル容量を増やすことができる。
【0026】
さらに、処理レイヤー302では、畳み込みレイヤー3021は、畳み込み行列をフィルタとして内視鏡画像に対して特徴抽出を行い、特徴画像を取得し、プーリングレイヤー3022は、畳み込みレイヤーから出力された情報を簡略化し、データの次元を減らし、算出オーバーヘッドを減らし、オーバーフィッティングを制御する。
【0027】
分類レイヤー303では、完全接続レイヤー3031は、取得された特徴画像がどの器官カテゴリーに最も類似しているかを検出する。softmax層3032は1つの1×M次元の分類ベクトルを出力し、当該softmax層は指数正規化に使用される。ただし、Mは候補器官カテゴリーの数であり、例えば、候補器官カテゴリーには、非器官マップ、咽頭、食道、胃、噴門、十二指腸の6つのカテゴリーがある。分類ベクトルにおける要素の値は[0,1]であり、i番目の要素は、入力である内視鏡画像がi番目の候補器官カテゴリーに属する確率を表す。
【0028】
本発明の一実施例では、サーバーがディープ畳み込みネットワークを確立する場合、処理レイヤーに少なくとも1つの密集接続レイヤーを追加し、当該密集接続レイヤーは複数の接続サブレイヤーを含み、前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力としてもよい。
【0029】
図4は、本発明の他の実施例におけるディープ畳み込みネットワークの構成概略図である。図4に示すように、処理レイヤー312に、Y個の密集接続レイヤー3121~312Yを含む。図のブロック3121~312Y内の黒丸で示されるように、密集接続レイヤーのそれぞれは、複数の接続サブレイヤーを含む。出力層313では、ブロック3131内に示すような6つのカテゴリの確率を出力する。
【0030】
図5は、本発明のさらに他の実施例における処理レイヤーの構成概略図である。図5に示すように、処理レイヤー400の構造では、畳み込みレイヤー401とプーリングレイヤー404の間にK個の密集接続レイヤー4021~402Kがあり、同じ密集接続レイヤーでは、各接続サブレイヤーから出力された特徴がその後の他の接続サブレイヤーに入力される。
【0031】
密集接続レイヤーがJ個の接続サブレイヤーを含み、j番目の接続サブレイヤーの処理関数がH、j=1,・・・,Jであると仮定すると、j番目の接続サブレイヤーから出力された特徴zは、次の式で算出されることができる。
=H([z,z1,・・・,zj-1]) (1)
ただし、[z,z1,・・・,zj-1]は、番号が0からj-1である接続サブレイヤーから出力された特徴をカスケードすることを示す。Hは、ブロック正規化(Batch Normalization、BN、バッチ正規化とも呼ばれる)、ReLU励起及び3×3畳み込みなどの動作であってもよい。当該密集接続レイヤーに入力されるチャネルの数がkであると、j番目のレイヤーのチャネルの数はk+(j―1)×kであり、ただし、kは成長率であり、接続サブレイヤーの数が増えると、チャネルの数がkとともに線形に増加する。
【0032】
本発明の一実施例では、処理レイヤーに少なくとも1つの密集接続レイヤーを追加する場合、パラメータをさらにコンパクトするために、2つの隣接する密集接続レイヤーの間に遷移レイヤーを追加してもよい。図5に示すように、密集接続レイヤー4021と密集接続レイヤー4022との間に遷移レイヤー403が追加される。K個の密集接続レイヤーがあると、遷移レイヤーの数がK-1である。そして、予め設定された予測精度に基づき、当該遷移レイヤーの特徴圧縮率を設置してもよい。圧縮率はパラメータの数及び予測精度に影響を与えるため、内視鏡画像に対して予め設定された予測精度に基づき、特徴圧縮率に採用される値を設置する。例えば、0.5に設置される。
【0033】
本発明の他の実施例では、サーバーは、予測対象となる内視鏡画像の数、予測精度、及びトレーニングプロセス中のハイパーパラメーターへの調整に基づき、ディープ畳み込みネットワークのうち処理レイヤー及び分類レイヤーの具体的なパラメータを決定する。表1は、1つのディープ畳み込みネットワークの構造及びパラメータの例であり、合計で4つの密集接続レイヤー及び3つの遷移レイヤーを含む。その中、各密集接続レイヤーの成長率を24に設置し、3×3畳み込み動作の前に、1つの1×1畳み込み動作をさらに実行してもよい。これにより、入力される特徴画像の数が削減され、各チャネルの特徴を融合することもできる。遷移レイヤーにおける1×1畳み込み動作では、入力チャネルの数を半分にすることができる。
【0034】
【表1】
【0035】
ステップ203では、ディープ畳み込みネットワークをトレーニングする場合、サーバーは、少なくとも1つの第1の内視鏡画像、及び、少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定する。
【0036】
具体的には、サーバーは、まず、少なくとも1つの第1の内視鏡画像を変換して、変換された少なくとも1つの第2の内視鏡画像を取得し、少なくとも1つの第1の内視鏡画像と少なくとも1つの第2の内視鏡画像をディープ畳み込みネットワークに同時に入力してトレーニングし、ディープ畳み込みネットワークのトレーニングパラメータを得る。
【0037】
本発明の実施例では、当該少なくとも1つの第1の内視鏡画像に対してサーバーによって実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、又はコントラストジッターのうちの少なくとも1つを含む。このような変換操作は、データ拡張役割を果たす。実際に適用する場合、変換される数は、候補器官カテゴリーの数及び/又は予め設定された予測精度によって決定されることができる。
【0038】
例えば、図3に示すように、入力レイヤー301において、3011は検知デバイスから取得された第1の内視鏡画像であり、3011に対して、変換された第2の内視鏡画像3012を得る回転変換と、変換された第2の内視鏡画像3013を得る色変換と、を含む2つのタイプの変換を行い、3011、3012、3013を処理レイヤー302に同時に入力し、特徴を抽出する。
【0039】
ステップ203で得られたトレーニングパラメータ、及びステップ202で確立されたディープ畳み込みネットワークは、後続のリアルタイム予測に使用される。ステップ204では、サーバーは検査対象ユーザーの現在の内視鏡画像を取得し、ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定する。
【0040】
例えば、入力レイヤー301に入力される現在の内視鏡画像は、予測されることによって、例えば「食道」のカテゴリに分類されるか、又は、当該画像が無効な医療画像であり、どの器官にも対応せず、「非器官画像」のカテゴリーに属する。これにより、医師は、病気を診断するときに当該画像を参照する必要がなくなる。
【0041】
上記の実施例により、少なくとも1つの第1の内視鏡画像、及び、少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定し、変換された各第2の内視鏡画像を補助データとして、各第1の内視鏡画像に対する分類トレーニングに使用してもよい。全体的な解決策から、次の技術的効果を得ることができる。
1)研究者が医療画像を深く理解する必要なく、特徴抽出プロセスをディープ畳み込みネットワークのモデルによって完全に自主的に学習できるようにし、医師の専門レベルへの依存を減らし、予測プロセス全体がよりインテリジェントになる。
2)トレーニングプロセスで使用されるラベル付きデータの数を減らし、トレーニングの収束速度を改善し、画像分類を高速化し、処理装置のリソース使用率を向上させる。
3)反復されたトレーニングパラメータはより正確になり、ひいては当該トレーニングパラメータによってリアルタイムで予測した分類結果がより正確になり、次の疾患診断に、クリーンで利用可能なデータを提供する。
4)このようなディープ畳み込みネットワークによって、色やテクスチャなどの低レベルの画像特徴だけでなく、粘膜が滑らかかどうか、しわがたくさんあるかどうかなどのより抽象的な語義特徴も抽出でき、強いロバスト性を持ち、異なる病院で異なる医師により撮影された、同一部位に対する異なる角度及び撮影手段などによって引き起こされる干渉に適応できる。
5)正確な分類結果が得られたら、異なる器官での疾患診断に対して、利用可能な統合モジュールを提供でき、例えば、食道器官の場合、分類された後に食道カテゴリーに属する全ての内視鏡画像を食道がんのスクリーニングと診断に使用し、胃器官の場合、分類された後に胃カテゴリーに属する全ての内視鏡画像を胃炎や胃がんなどの疾患のスクリーニングに使用する。
また、ディープ畳み込みネットワークを確立する場合、少なくとも1つの密集接続レイヤーを追加することによって、ネットワークにおけるすべてのレイヤー間の情報フローを最大化し、トレーニングプロセスにおける勾配散逸の問題をある程度軽減でき、そして、大量の特徴が再利用されるため、少量の畳み込みカーネルを使用して大量の特徴を生成でき、最終的なモデルのサイズも比較的小さくなり、パラメータの数が削減される。
【0042】
図6は、本発明の他の実施例における内視鏡画像処理方法のフローチャート概略図である。図6に示すように、次のステップを含む。
【0043】
ステップ501、サーバーは、人体部位に対する少なくとも1つの第1の内視鏡画像を取得する。
【0044】
ステップ502、サーバーは、少なくとも1つの第1の内視鏡画像を変換して、変換された少なくとも1つの第2の内視鏡画像を得る。
【0045】
ステップ503、サーバーは、内視鏡画像を予測するためのディープ畳み込みネットワークを確立する。
【0046】
ここで、ステップ501-503は、上記のステップ201、203、202を参照できる。ここで、繰り返さない。
【0047】
ステップ504、サーバーは、人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも1つの候補器官カテゴリーを決定する。
【0048】
このステップでは、人体部位に複数の器官が含まれ、ディープ畳み込みネットワークを利用して内視鏡画像を予測する場合、複数の候補器官カテゴリーを事前に決定する必要がある。具体的には、人体部位を分割する場合、予め設定された診断ターゲットを参照して、複数の領域を分割し、ひいては複数の候補器官カテゴリーを決定することができる。例えば、胃がん、食道がんは、現在発生率の高い悪性腫瘍の種類の中で最も一般的であり、診断ターゲットがこれらの2つの器官を診断するように設定される場合、候補器官カテゴリーは胃、食道、及びその他という3つのカテゴリに設定されることができる。
【0049】
ステップ505、サーバーは、各候補器官カテゴリーに対応するラベル画像を取得する。
【0050】
本発明の実施例では、これらのラベル画像は、医療画像データベースから取得され、手動でラベル付けされてもよく、又は、収集された第1の内視鏡画像から候補器官の典型的な特徴を持つ画像がフィルタリングされてもよい。図7は、本発明の一実施例におけるラベル画像の概略図である。図7に示すように、十二指腸、食道、胃、及び目の複数のラベル画像がそれぞれ与えられる。
【0051】
ステップ506、ディープ畳み込みネットワークをトレーニングする場合、サーバーは、少なくとも1つの第1の内視鏡画像及び少なくとも1つの第2の内視鏡画像を入力サンプルとして、各ラベル画像を理想的な出力サンプル(即ち、ターゲット出力サンプル)としてトレーニングし、ディープ畳み込みネットワークのトレーニングパラメータを得る。
【0052】
本発明の実施例では、ディープニューラルネットワークは、トレーニングのプロセスでは、入力された画像サンプル及び理想的な出力サンプルに基づき、収束するまで、重みを反復的に徐々に調整する。
【0053】
ステップ507、サーバーは、検査対象ユーザーの現在の内視鏡画像を取得し、ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定する。
【0054】
このステップは上記のステップ204と同じであるので、ここで、繰り返さない。
【0055】
上記の実施例によって、同じ器官の医療画像が大きく異なる可能性があることを考慮して、候補器官カテゴリーは合理的に設計され、入力サンプルに各第1の内視鏡画像を変換することによって歪められた各第2の内視鏡画像が含まれることによって、ラベル画像の数を大幅に削減し、ディープ畳み込みネットワークをトレーニングする場合にラベル付きデータとするラベル画像の数が限られるという問題を解決できる。
【0056】
図8は、本発明の一実施例におけるディープ畳み込みネットワークをトレーニングするフローチャート概略図である。図8に示すように、次のステップを含む。
【0057】
ステップ701、サーバーは、人体部位に対する少なくとも1つの第1の内視鏡画像を取得する。
【0058】
ステップ702、サーバーは、少なくとも1つの第1の内視鏡画像を変換して、変換された少なくとも1つの第2の内視鏡画像を得る。
【0059】
ステップ703、サーバーは、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含む。
【0060】
ディープ畳み込みネットワークをトレーニングする場合、収束するまで、反復的に逆伝播アルゴリズムによってパラメータを調整してもよい。逆伝播アルゴリズムは、4つの異なる部分、即ち、順方向伝送、損失関数の計算、逆方向伝送、及びパラメータ更新に分けてもよい。順方向伝送のプロセスでは、少なくとも1つの第1の内視鏡画像及び変換された少なくとも1つの第2の内視鏡画像を含む初期サンプルデータを入力し、処理レイヤーにおいて伝送する。損失関数を構築することにより、収束するまで、ディープ畳み込みネットワークがトレーニングパラメータを更新するのに役立つ。
【0061】
ステップ704、サーバーは、ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築する。
【0062】
このステップでは、予め設定された収束戦略に従って損失関数を構築する。
【0063】
本発明の一実施例では、入力された第1の内視鏡画像及び変換された第2の内視鏡画像に対して、具体的に、収束戦略は整合性制約戦略であり、即ち、異なる変換を介した同一の内視鏡画像について、モデルによって抽出された特徴は非常に接近すべきである。
【0064】
本発明の他の実施例では、入力された第1の内視鏡画像及びそれが属する器官カテゴリーの中心特徴に対して、具体的に、収束戦略は中心アグリゲーション戦略であり、即ち、同じ器官カテゴリーに属する第1の内視鏡画像の間の距離が減少され、つまり、クラスタ間距離が短くなり、同時に、異なる器官カテゴリーの間の内視鏡画像の間の距離が大きくなり、つまり、クラスタ間距離が長くなる。
【0065】
ステップ705、サーバーは、少なくとも1つの第1の内視鏡画像、及び、少なくとも1つの第2の内視鏡画像を入力し、ディープ畳み込みネットワークを初期化する。
【0066】
このステップでは、ディープ畳み込みネットワークを初期化することは、次の2つの初期化プロセスを含む。
1) 処理レイヤーと出力レイヤーにおける各サブレイヤーの重みを含むディープ畳み込みネットワークのトレーニングパラメータwを初期化する。例えば、ランダムな初期化方式を採用して、トレーニングパラメータの初期値をランダム値[0.3,0.1, 0.4,0.2,0.3・・・]として決定する。
2)第1の内視鏡画像に対応する中心特徴を初期化し、例えば、各カテゴリーのラベル画像の平均値を中心特徴の初期値とする。
【0067】
トレーニングの開始時に、初期化されたトレーニングパラメータと中心特徴により、損失関数の値が高くなる。ディープニューラルネットワークをトレーニングする目的は、予測値が実際値と同じであることを期待することである。このため、損失関数の値をなるべく減少する必要があり、損失値が小さいほど、予測結果が実際値に近いことを示す。このプロセスでは、トレーニングパラメータと中心特徴を反復して調整し、各反復において損失関数の値を算出し、最終的にネットワーク全体の損失を最小限に抑える。
【0068】
損失関数を算出する場合、次のステップ706、707は上記の整合性制約戦略に対応し、次のステップ708は上記の中心アグリゲーション戦略に対応する。
【0069】
ステップ706、サーバーは、処理レイヤーが少なくとも1つの第1の内視鏡画像を処理することによって得られた少なくとも1つの処理済み特徴を取得する。
【0070】
ステップ707、サーバーは、少なくとも1つの処理済み特徴及び少なくとも1つの第2の内視鏡画像の特徴に基づき、今回の反復における損失関数の値を算出する。
【0071】
上記の整合性制約戦略は、損失関数では、各第1の内視鏡画像の処理済み特徴と各第2の内視鏡画像の特徴との間の複数の第1の距離をそれぞれ算出し、複数の第1の距離によって第1の内視鏡画像と第2の内視鏡画像との間の整合性を制約するように表現される。
【0072】
具体的には、トレーニングパラメータをw、入力されたi番目の第1の内視鏡画像の特徴ベクトルをx、i番目のラベル画像の特徴ベクトルをyとすると、損失関数L(w)は、次の式で反復して計算されることができる。
【数1】
ただし、nは入力された第1の内視鏡画像の数であり、mは第1の内視鏡画像を変換して得られた第2の内視鏡画像の数であり、
【数2】
は分類クロスエントロピー損失を示し、
【数3】
はL2正則化パラメータを示し、hは第1の内視鏡画像に基づき処理レイヤーによって出力された特徴ベクトル、即ち、処理済み特徴のベクトルであり、hはk番目の第2の内視鏡画像の特徴ベクトルであり、rとλはハイパーパラメーターであり、どちらも0より大きい値である。
【0073】
また、iは、1以上かつn以下の整数で、kは、1以上かつm以下の整数である。
【0074】
以上から、上記の式(2)において、第1の距離はh-hであり、表現式
【数4】
は変換前後の内視鏡画像の間の整合性の制約を反映している。
【0075】
ステップ708、サーバーは、各第1の内視鏡画像の特徴と各第1の内視鏡画像に対応する中心特徴との間の複数の第2の距離を算出する。
第1の内視鏡画像に対応する中心特徴を
【数5】
中心損失を
【数6】
として定義すると、中心損失を表すための第2の距離は
【数7】
である。
【0076】
ステップ709、サーバーは、当該複数の第1の距離と当該複数の第2の距離に基づき、損失関数の値を算出する。
【0077】
整合性制約のみを考慮すると、損失関数の値は、上記の式(2)を参照して算出されることができる。
【0078】
整合性制約と中心アグリゲーション戦略を同時に考慮すると、第1の距離と第2の距離に基づき損失関数の値を算出する。具体的に、次のように算出する。
【数8】
ただし、
【数9】
【0079】
ステップ710、サーバーは、損失関数の値に基づき、トレーニングプロセスが終了したかどうかを決定する。そうである場合は、ステップ713を実行し、そうではない場合は、ステップ711及び712を実行する。
【0080】
連続する反復のプロセスでは、損失関数を最小化し、即ち、minL(w)である。損失関数の値が許容しきい値に達したかどうかを判断することで、反復を停止するかどうかを判断する。反復を停止した後、トレーニングプロセス全体が終了する。
【0081】
ステップ711、サーバーはトレーニングパラメータを更新する。そして、さらにステップ706を実行して、次の反復プロセスを実行する。
【0082】
ステップ712、サーバーは、中心特徴を更新する。そして、さらにステップ708を実行し、次の反復プロセスを実行する。
【0083】
ステップ713、サーバーは、トレーニングが終了した後、ディープ畳み込みネットワークのトレーニングパラメータを得る。
【0084】
上記の実施例によって、ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築し、第1の内視鏡画像の処理済み特徴及び各第2の内視鏡画像の特徴に基づき、各反復における損失関数の値を算出し、整合性制約が導入されることで、より安定した特徴を優先的に見つけて、最適な解が得られるまでトレーニングプロセスの収束速度を加速することができる。また、損失関数では中心アグリゲーション戦略を考慮することで、各カテゴリーに対してモデルにより学習された特徴がより安定してまとまりがあり、実際環境でのモデルの汎化能力をさらに向上させる。
【0085】
図9は、本発明の一実施例における内視鏡画像の処理装置の構成概略図である。図9に示すように、装置800は、
内視鏡が含まれる検知デバイスを介して、人体部位に対する第1の内視鏡画像を取得し、検査対象ユーザーの現在の内視鏡画像を取得する取得モジュール810と、
内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、取得モジュール810によって取得された第1の内視鏡画像、及び、第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定する確立モジュール820と、
確立モジュール820によって確立されたディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定する予測モジュール830と、を含む。
【0086】
本発明の一実施例では、装置800は、
人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも1つの候補器官カテゴリーを決定し、各候補器官カテゴリーに対応するラベル画像を取得する決定モジュール840と、
第1の内視鏡画像及び少なくとも1つの第2の内視鏡画像を入力サンプルとし、決定モジュール840によって決定された各ラベル画像を理想的な出力サンプルとして、トレーニングパラメータを得る確立モジュール820をさらに含む。
【0087】
本発明の一実施例では、ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、確立モジュール820は、処理レイヤーに、複数の接続サブレイヤーを含む少なくとも1つの密集接続レイヤーを追加し、前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力とするために用いられる。
【0088】
本発明の一実施例では、確立モジュール820は、2つの隣接する密集接続レイヤーの間に遷移レイヤーを追加し、予め設定された予測精度に基づき当該遷移レイヤーの特徴圧縮率の値を設置するために用いられる。
【0089】
本発明の一実施例では、ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、装置800は、
ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築する構築モジュール850と、
ディープ畳み込みネットワークをトレーニングする場合、処理レイヤーが第1の内視鏡画像を処理することによって得られた処理済み特徴を取得することと、処理済み特徴と各第2の内視鏡画像の特徴に基づき、今回の反復における損失関数の値を算出することと、損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、トレーニングパラメータを取得することとを反復して実行する確立モジュール820と、をさらに含む。
【0090】
本発明の一実施例では、確立モジュール820は、さらに、第1の内視鏡画像が属する器官カテゴリーの中心特徴を初期化し、処理済み特徴と各第2の内視鏡画像の特徴との間の第1の距離をそれぞれ算出し、第1の内視鏡画像の特徴と第1の内視鏡画像に対応する中心特徴との間の第2の距離を算出し、第1の距離及び第2の距離に基づき値を算出するために用いられる。
【0091】
本発明の一実施例では、第1の内視鏡画像に対して実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、コントラストジッターのうちの少なくとも1つを含む。
【0092】
図10は、本発明の他の実施例における内視鏡画像の処理装置の構成概略図である。図10に示すように、装置900は、プロセッサー910、メモリ920、ポート930、及びバス940を含む。プロセッサー910とメモリ920は、バス940を介してお互いに接続される。プロセッサー910は、ポート930を介してデータを送受信することができる。
【0093】
プロセッサー910は、メモリ920に記憶された機械可読指令モジュールを実行する。
【0094】
メモリ920に、プロセッサー910によって実行可能な機械可読指令モジュールが記憶される。プロセッサー910によって実行可能な指令モジュールは、取得モジュール921、確立モジュール922、及び予測モジュール923を含む。
取得モジュール921は、プロセッサー910によって実行される場合、内視鏡が含まれる検知デバイスを介して、人体部位に対する第1の内視鏡画像を取得し、検査対象ユーザーの現在の内視鏡画像を取得するためのものであってもよい。
確立モジュール922は、プロセッサー910によって実行される場合、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、取得モジュール921によって取得された第1の内視鏡画像、及び第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定するためのものであってもよい。
予測モジュール923は、プロセッサー910によって実行される場合、確立モジュール922によって確立されるディープ畳み込みネットワークを使用してトレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定するためのものであってもよい。
【0095】
本発明の一実施例では、プロセッサー910によって実行可能な指令モジュールは、決定モジュール924をさらに含む。決定モジュール924は、プロセッサー910によって実行される場合、人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも1つの候補器官カテゴリーを決定し、ディープ畳み込みネットワークをトレーニングする前に、各候補器官カテゴリーに対応するラベル画像を取得するためのものであってもよい。
確立モジュール922は、プロセッサー910によって実行される場合、第1の内視鏡画像及び少なくとも1つの第2の内視鏡画像を入力サンプルとし、決定モジュール924によって決定された各ラベル画像を理想的な出力サンプルとして、トレーニングパラメータを得るためのものであってもよい。
【0096】
本発明の一実施例では、プロセッサー910によって実行可能な指令モジュールは、構築モジュール925をさらに含む。構築モジュール925は、プロセッサー910によって実行される場合、ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築するためのものであってもよい。
確立モジュール922は、プロセッサー910によって実行される場合、ディープ畳み込みネットワークをトレーニングする場合、処理レイヤーが第1の内視鏡画像を処理することによって得られた処理済み特徴を取得することと、処理済み特徴と各第2の内視鏡画像の特徴に基づき、今回の反復における損失関数の値を算出することと、損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、トレーニングパラメータを取得することと、を反復して実行するためのものであってもよい。
【0097】
このことから、メモリ920に記憶された指令モジュールがプロセッサー910によって実行される場合、上記の各実施例における取得モジュール、確立モジュール、予測モジュール、決定モジュール、及び構築モジュールの各機能を実現できることがわかる。
【0098】
上記の装置の実施例では、各モジュール及びユニットのその自体の機能を実現するための具体的な方法はいずれも方法実施例で説明されており、ここで繰り返さない。
【0099】
また、本発明の各実施例における各機能モジュールは、1つの処理ユニットに統合されてもよく、物理的に単独で存在してもよく、2つ又は2つ以上のモジュールが1つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形で実現されてもよく、ソフトウェア機能ユニットの形で実現されてもよい。
【0100】
一実施例では、人体検知デバイスと、内視鏡画像処理装置とを含む内視鏡画像処理システムを提供し、
当該人体検知デバイスは、人体部位を検知し、検知した少なくとも1つの第1の内視鏡画像を当該内視鏡画像処理装置に送信するために用いられ、
当該内視鏡画像処理装置は、当該人体検知デバイスから当該少なくとも1つの第1の内視鏡画像を取得し、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、当該少なくとも1つの第1の内視鏡画像及び当該少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、当該ディープ畳み込みネットワークのトレーニングパラメータを決定し、検査対象ユーザーの現在の内視鏡画像を取得し、当該ディープ畳み込みネットワークを使用して当該トレーニングパラメータに基づいて当該現在の内視鏡画像を予測し、当該現在の内視鏡画像に対応する器官カテゴリーを決定するために用いられる。
【0101】
一実施例では、当該内視鏡画像処理装置は、さらに、人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも1つの候補器官カテゴリーを決定し、各候補器官カテゴリーに対応するラベル画像を取得し、当該少なくとも1つの第1の内視鏡画像と当該少なくとも1つ第2の内視鏡画像を入力サンプルとし、各ラベル画像をターゲット出力サンプルとしてトレーニングして、当該トレーニングパラメータを得るために用いられる。
【0102】
一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、当該内視鏡画像処理装置は、さらに、当該ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築し、当該ディープ畳み込みネットワークをトレーニングする場合、当該処理レイヤーが当該少なくとも1つの第1の内視鏡画像を処理することによって得られた少なくとも1つの処理済み特徴を取得することと、当該少なくとも1つの処理済み特徴及び当該少なくとも1つの第2の内視鏡画像の特徴に基づき、今回の反復における当該損失関数の値を算出することと、当該損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、当該トレーニングパラメータを得ることと、を反復して実行するために用いられる。
【0103】
一実施例では、当該ディープ畳み込みネットワークをトレーニングする場合、当該内視鏡画像処理装置は、さらに、当該少なくとも1つの第1の内視鏡画像が属する器官カテゴリーの中心特徴を初期化し、各処理済み特徴と各第2の内視鏡画像の特徴との間の複数の第1の距離をそれぞれ算出し、各第1の内視鏡画像の特徴と各第1の内視鏡画像に対応する中心特徴との間の複数の第2の距離を算出し、当該複数の第1の距離と当該複数の第2の距離に基づき、当該損失関数の値を算出するために用いられる。
【0104】
一実施例では、コンピュータデバイスを提供し、当該コンピュータデバイスは少なくとも1つのメモリ及び少なくとも1つのプロセッサーを含み、当該少なくとも1つのメモリに少なくとも1つのプログラムコードが記憶されており、当該少なくとも1つのプログラムコードは、当該少なくとも1つのプロセッサーによってロードされて実行されることで、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて当該現在の内視鏡画像を予測するステップであって、当該トレーニングパラメータが少なくとも1つの第1の内視鏡画像及び当該少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像によって決定され、当該少なくとも1つの第1の内視鏡画像が人体部位に対応するステップと、
当該現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を実行する。
【0105】
一実施例では、当該少なくとも1つのプロセッサーは、
人体部位に対する少なくとも1つの第1の内視鏡画像を取得するステップと、
内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、当該少なくとも1つの第1の内視鏡画像及び当該少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、当該ディープ畳み込みネットワークのトレーニングパラメータを決定するステップと、を実行する。
【0106】
一実施例では、当該少なくとも1つのプロセッサーは、
人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも1つの候補器官カテゴリーを決定するステップと、
各候補器官カテゴリーに対応するラベル画像を取得するステップと、
当該少なくとも1つの第1の内視鏡画像と当該少なくとも1つ第2の内視鏡画像を入力サンプルとし、各ラベル画像をターゲット出力サンプルとしてトレーニングして、当該トレーニングパラメータを得るテップと、を実行する。
【0107】
一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、
当該少なくとも1つのプロセッサーは、
当該処理レイヤーに少なくとも1つの密集接続レイヤーを追加するステップであって、当該密集接続レイヤーに複数の接続サブレイヤーが含まれるステップと、
前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力とするステップと、を実行する。
【0108】
一実施例では、当該少なくとも1つのプロセッサーは、
2つの隣接する密集接続レイヤーの間に遷移レイヤーを追加し、予め設定された予測精度に基づき、当該遷移レイヤーの特徴圧縮率を設置するステップを実行する。
【0109】
一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、当該少なくとも1つのプロセッサーは、
当該ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築するステップと、
当該ディープ畳み込みネットワークをトレーニングする場合、
当該処理レイヤーが当該少なくとも1つの第1の内視鏡画像を処理することによって得られた少なくとも1つの処理済み特徴を取得することと、
当該少なくとも1つの処理済み特徴及び当該少なくとも1つの第2の内視鏡画像の特徴に基づき、今回の反復における当該損失関数の値を算出することと、
当該損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、当該トレーニングパラメータを得ることと、を反復して実行するステップと、を実行する。
【0110】
一実施例では、当該ディープ畳み込みネットワークをトレーニングする場合、当該少なくとも1つのプロセッサーは、
当該少なくとも1つの第1の内視鏡画像が属する器官カテゴリーの中心特徴を初期化するステップと、
各処理済み特徴と各第2の内視鏡画像の特徴との間の複数の第1の距離をそれぞれ算出するステップと、
各第1の内視鏡画像の特徴と各第1の内視鏡画像に対応する中心特徴との間の複数の第2の距離を算出するステップと、
当該複数の第1の距離と当該複数の第2の距離に基づき、当該損失関数の値を算出するステップと、を実行する。
【0111】
一実施例では、当該少なくとも1つの第1の内視鏡画像に対して実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、又はコントラストジッターのうちの少なくとも1つを含む。
【0112】
また、本発明の各実施例は、コンピュータなどのデータ処理デバイスで実行されるデータ処理プログラムによって実現することができる。明らかに、データ処理プログラムは本発明を構成する。また、一般的に、1つの記憶媒体に記憶されたデータ処理プログラムは、記憶媒体から直接読み取られたり、データ処理デバイスの記憶デバイス(例えば、ハードディスク及び/又はメモリ)にインストール又はコピーされたりすることによって実行される。これにより、このような記憶媒体も本発明を構成する。記憶媒体は、例えば、紙の記憶媒体(例えば、紙テープなど)、磁気記憶媒体(例えば、フレキシブルディスク、ハードディスク、フラッシュメモリなど)、光記憶媒体(例えば、CD-ROMなど)、光磁気記憶媒体(例えば、MOなど)などの、任意のカテゴリーの記録形態を使用することができる。
【0113】
従って、本発明は、さらに、データ処理プログラムが記憶される記憶媒体も開示し、当該データ処理プログラムは、本発明の上記の方法実施例のいずれかを実行するために使用される。
【0114】
いくつかの実施例では、当該記憶媒体は、コンピュータ可読指令が記憶されるコンピュータ可読記憶媒体であってもよく、当該コンピュータ可読指令は、少なくとも1つのプロセッサーによって実行される場合、当該少なくとも1つのプロセッサーによってロードされて実行されることで、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて当該現在の内視鏡画像を予測するステップであって、当該トレーニングパラメータが少なくとも1つの第1の内視鏡画像及び当該少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像によって決定され、当該少なくとも1つの第1の内視鏡画像が人体部位に対応するステップと、
当該現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を実現する。
【0115】
一実施例では、当該少なくとも1つのプロセッサーは、
人体部位に対する少なくとも1つの第1の内視鏡画像を取得するステップと、
内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、当該少なくとも1つの第1の内視鏡画像、及び当該少なくとも1つの第1の内視鏡画像を変換した少なくとも1つの第2の内視鏡画像に基づき、当該ディープ畳み込みネットワークのトレーニングパラメータを決定するステップと、を実行する。
【0116】
一実施例では、当該少なくとも1つのプロセッサーは、
人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも1つの候補器官カテゴリーを決定するステップと、
各候補器官カテゴリーに対応するラベル画像を取得するステップと、
当該少なくとも1つの第1の内視鏡画像と当該少なくとも1つ第2の内視鏡画像を入力サンプルとし、各ラベル画像をターゲット出力サンプルとしてトレーニングして、当該トレーニングパラメータを得るステップと、を実行する。
【0117】
一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、当該少なくとも1つのプロセッサーは、
当該処理レイヤーに、少なくとも1つの密集接続レイヤーを追加するステップであって、当該密集接続レイヤーに複数の接続サブレイヤーが含まれるステップと、
前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力とするステップと、を実行する。
【0118】
一実施例では、当該少なくとも1つのプロセッサーは、
2つの隣接する密集接続レイヤーの間に遷移レイヤーを追加し、予め設定された予測精度に基づき当該遷移レイヤーの特徴圧縮率を設置するステップを実行する。
【0119】
一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、当該少なくとも1つのプロセッサーは、
当該ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築するステップと、
当該ディープ畳み込みネットワークをトレーニングする場合、
当該処理レイヤーが当該少なくとも1つの第1の内視鏡画像を処理することによって得られた少なくとも1つの処理済み特徴を取得することと、
当該少なくとも1つの処理済み特徴及び当該少なくとも1つの第2の内視鏡画像の特徴に基づき、今回の反復における当該損失関数の値を算出することと、
当該損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、当該トレーニングパラメータを得ることと、を反復して実行するステップと、を実行する。
【0120】
一実施例では、当該ディープ畳み込みネットワークをトレーニングする場合、当該少なくとも1つのプロセッサーは、
当該少なくとも1つの第1の内視鏡画像が属する器官カテゴリーの中心特徴を初期化するステップと、
各処理済み特徴と各第2の内視鏡画像の特徴との間の複数の第1の距離をそれぞれ算出するステップと、
各第1の内視鏡画像の特徴と各第1の内視鏡画像に対応する中心特徴との間の複数の第2の距離を算出するステップと、
当該複数の第1の距離と当該複数の第2の距離に基づき、当該損失関数の値を算出するステップと、を実行する。
【0121】
一実施例では、当該少なくとも1つの第1の内視鏡画像に対して実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、又はコントラストジッターのうちの少なくとも1つを含む。
【0122】
以上は、本発明の好ましい実施例に過ぎず、本発明を限定することを意図しない。本発明の精神及び原則の範囲で行われた任意の補正、均等な置換、改善などは、いずれも本発明の保護範囲に含まれるべきである。
【符号の説明】
【0123】
100 内視鏡画像処理システム
101 検査対象ユーザー
102 人体検知デバイス
103 内視鏡画像処理装置
104 医師
301 入力レイヤー
302 処理レイヤー
303 分類レイヤー
312 処理レイヤー
313 出力層
400 処理レイヤー
401 畳み込みレイヤー
402 密集接続レイヤー
403 遷移レイヤー
404 プーリングレイヤー
800 装置
810 取得モジュール
820 確立モジュール
830 予測モジュール
840 決定モジュール
850 構築モジュール
900 装置
910 プロセッサー
920 メモリ
921 取得モジュール
922 確立モジュール
923 予測モジュール
924 決定モジュール
925 構築モジュール
930 ポート
940 バス
1021 内視鏡
1031 リアルタイム予測サブ装置
1032 オフライントレーニングサブ装置
1033 内視鏡画像データベース
3012 第2の内視鏡画像
3013 第2の内視鏡画像
3021 畳み込みレイヤー
3022 プーリングレイヤー
3031 完全接続レイヤー
3032 softmax層
3121 密集接続レイヤー
4021 密集接続レイヤー
4022 密集接続レイヤー
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10