(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022132072
(43)【公開日】2022-09-07
(54)【発明の名称】画像処理方法、装置、電子デバイス及び記憶媒体
(51)【国際特許分類】
A61B 3/117 20060101AFI20220831BHJP
G06T 7/00 20170101ALI20220831BHJP
G16H 30/20 20180101ALI20220831BHJP
【FI】
A61B3/117
G06T7/00 350B
G06T7/00 612
G16H30/20
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021200306
(22)【出願日】2021-12-09
(31)【優先権主張番号】202110221152.4
(32)【優先日】2021-02-26
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】519154623
【氏名又は名称】南方科技大学
【氏名又は名称原語表記】SOUTH UNIVERSITY OF SCIENCE AND TECHNOLOGY OF CHINA
【住所又は居所原語表記】No.1088,Xueyuan Blvd.,Xili,Nanshan District Shenzhen,Guangdong 518055,China
(74)【代理人】
【識別番号】100110423
【弁理士】
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【弁理士】
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100221729
【弁理士】
【氏名又は名称】中尾 圭介
(72)【発明者】
【氏名】劉江
(72)【発明者】
【氏名】劉鵬
(72)【発明者】
【氏名】東田 理沙
【テーマコード(参考)】
4C316
5L096
5L099
【Fターム(参考)】
4C316AA01
4C316AA07
4C316AA24
4C316AB11
4C316FB05
4C316FB21
4C316FB26
5L096BA06
5L096BA13
5L096DA02
5L096EA13
5L096EA35
5L096FA69
5L096GA51
5L096KA04
5L099AA04
5L099AA26
(57)【要約】 (修正有)
【課題】画像処理技術に関し、特に画像処理方法、装置、電子デバイス及び記憶媒体に関する。目標対象の目標カテゴリを効率的で精度よく決定する。
【解決手段】本発明の実施例は画像処理方法、装置、電子デバイス及び記憶媒体を開示する。そのうち、前記方法は、目標対象の元画像を取得することと、前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得ることと、前記目標組織の位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定することと、各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定することとを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
目標対象の元画像を取得することと、
前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得ることと、
前記目標組織の位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定することと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定することとを含む、ことを特徴とする画像処理方法。
【請求項2】
前記画像識別ネットワークモデルは、複数群の履歴画像に基づいてトレーニングして得られたものであり、
前記画像識別ネットワークモデルのトレーニング方法は、
少なくとも1群の履歴画像を取得することであって、各群の前記履歴画像は前記目標対象の履歴走査画像及び前記履歴走査画像における前記目標組織の履歴位置情報を含むことと、
各群の前記履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、前記画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における前記目標組織の予測位置情報を決定することと、
各前記予測位置情報と各前記履歴走査画像が対応する前記履歴位置情報に基づいて、第1の損失関数を決定することと、
前記第1の損失関数に基づいて、前記画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの前記第1の損失関数が第1の所定損失関数閾値より小さくなると、前記画像識別ネットワークモデルのトレーニングが完了したと決定することとを含む、ことを特徴とする請求項1に記載の方法。
【請求項3】
前記した各前記履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力する前に、前記方法は、
各前記履歴走査画像をグレースケール画像に変換し、グレースケール画像に変換された後の各前記履歴走査画像のサイズをサンプリングし、目標サイズの各前記履歴走査画像を得ることをさらに含む、ことを特徴とする請求項2に記載の方法。
【請求項4】
前記した前記画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における前記目標組織の予測位置情報を決定することは、
各前記履歴走査画像のいずれか1つの履歴走査画像の出力結果に対して、前記出力結果における前記目標組織の元位置情報を決定することであって、前記出力結果は前記元位置情報マークを含む出力画像であることと、
前記目標組織の元位置情報に基づいて、前記出力画像をトリミングし、トリミング走査画像を得ることであって、前記トリミング走査画像に前記目標組織が含まれることと、
前記トリミング走査画像における前記目標組織の中間位置情報に基づいて、前記中間位置情報を前記出力画像にマッピングし、前記目標組織の予測位置情報を決定することとを含む、ことを特徴とする請求項2に記載の方法。
【請求項5】
前記指標パラメータは、少なくとも小柱網虹彩角度と小柱網虹彩間面積との1つを含み、
前記した前記位置情報に基づいて、前記目標組織の指標パラメータを決定することは、
前記目標組織の位置情報及び外界から入力された隅角開放距離に基づいて、前記小柱網虹彩角度を決定することと、
前記目標組織の位置情報及び前記隅角開放距離に基づいて、前記小柱網虹彩間面積を決定することとを含む、ことを特徴とする請求項1に記載の方法。
【請求項6】
前記カテゴリ識別ネットワークモデルは、複数群の履歴パラメータ情報に基づいてトレーニングして得られたものであり、
前記カテゴリ識別ネットワークモデルのトレーニング方法は、
複数群の履歴パラメータ情報を取得することであって、各群の前記履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する前記対象組織の履歴タグとを含み、前記履歴タグは、前記目標対象が前記目標カテゴリに属することと、前記対象組織が前記目標カテゴリに属しないこととを含むことと、
各群の前記履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する前記目標対象が前記目標カテゴリである計算確率値を決定することと、
前記計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定することと、
各前記計算履歴タグと各前記履歴指令パラメータが対応する履歴タグに基づいて、第2の損失関数を決定することと、
前記第2の損失関数に基づいて、前記カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの前記第2の損失関数が第2の所定損失関数閾値より小さくなると、前記カテゴリ識別ネットワークモデルのトレーニングが完了したと決定することとを含む、ことを特徴とする請求項1に記載の方法。
【請求項7】
前記した前記確率値に基づいて、前記目標対象が目標カテゴリに属するか否かを決定することは、
前記確率値が所定確率閾値以上である場合、前記目標対象が目標カテゴリに属すると決定することと、
前記確率値が前記所定確率閾値よりも小さい場合、前記目標対象が目標カテゴリに属しないと決定することとを含む、ことを特徴とする請求項1に記載の方法。
【請求項8】
目標対象の元画像を取得するために用いられる元画像取得モジュールと、
前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得るために用いられる目標位置情報決定モジュールと、
前記位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定するために用いられる指標パラメータ決定モジュールと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定するために用いられる確率値決定モジュールとを含む、ことを特徴とする画像処理装置。
【請求項9】
1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するための記憶装置とを含み、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサは請求項1~7のいずれか一項に記載の画像処理方法が実現される、ことを特徴とする電子デバイス。
【請求項10】
コンピュータ実行可能指令を含む記憶媒体であって、
前記コンピュータ実行可能指令がコンピュータプロセッサにより実行されるときに、請求項1~7のいずれか一項に記載の画像処理方法を実行するために用いられる、ことを特徴とするコンピュータ実行可能指令を含む記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施例は画像処理技術に関し、特に画像処理方法、装置、電子デバイス及び記憶媒体に関する。
【背景技術】
【0002】
緑内障は、人間の目の失明を引き起こす一番主要な原因の1つである。緑内障は、主に児童性、続発性及び原発性の3種類に分けられ、原発性緑内障は、原発性開放隅角緑内障と原発性閉塞隅角緑内障に分けられる。原発性閉塞隅角疾患(primary angle closure disease,PACD)は、(1)原発性閉塞隅角緑内障疑い症(primary angle closure suspect,PACS)と、(2)原発性閉塞隅角症(primary angle closure,PAC)と、(3)原発性閉塞隅角緑内障(primary angle closure glaucoma,PACG)とを含む。PACGは不可逆的な疾患であり、その臨床症状は、眼圧の上昇、視野の減少及び視神経の損傷である。その発症の初期(PACS及びPAC段階)では、適時の対症療法により、PACGに進化することを予防又は遅延させることができる。したがって、PACDの早期診断は非常に重要である。
【0003】
現在、臨床的なPACDの診断は主にゴニオスコピー(gonioscopy)を使用しており、この方法は、患者の眼部を麻酔して接触し、眼部の画像を取得した後、医師の主観的な経験に依存して診断される必要がある。
【0004】
上記のPACDの診断方法は、医師の主観的な経験に依存しすぎ、且つ再現性が悪い。
【発明の概要】
【0005】
本発明の実施例は、目標対象の目標カテゴリを効率的で精度よく決定する効果を実現するために、画像処理方法、装置、電子デバイス及び記憶媒体を提供する。
【0006】
第1の態様では、本発明の実施例は画像処理方法を提供しており、該方法は、
目標対象の元画像を取得することと、
前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得ることと、
前記目標組織の位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定することと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定することとを含む。
【0007】
第2の態様では、本発明の実施例は画像処理装置をさらに提供しており、該装置は、
目標対象の元画像を取得するために用いられる元画像取得モジュールと、
前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得るために用いられる目標位置情報決定モジュールと、
前記位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定するために用いられる指標パラメータ決定モジュールと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定するために用いられる確率値決定モジュールとを含む。
【0008】
第3の態様では、本発明の実施例は電子デバイスをさらに提供しており、該電子デバイスは、
1つ又は複数のプロセッサと
1つ又は複数のプログラムを記憶するための記憶装置とを含み、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサは本発明の実施例のいずれか一項に記載の画像処理方法が実現される。
【0009】
第4の態様では、本発明の実施例はコンピュータ実行可能指令を含む記憶媒体をさらに提供しており、前記コンピュータ実行可能指令がコンピュータプロセッサにより実行されるときに、本発明の実施例のいずれか一項に記載の画像処理方法を実行するために用いられる。
【0010】
本発明の実施例の技術案では、取得された目標対象の元画像をトレーニングされた画像識別ネットワークモデルに入力し、このような設定は、目標対象における目標組織の位置情報を精度よく取得し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる利点を有する。次に、目標組織の位置情報に基づいて、元画像において目標組織の指標パラメータを決定して各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、カテゴリ識別ネットワークモデルにより出力された目標対象が目標カテゴリに属する確率値に基づいて、目標対象が目標カテゴリに属する否かを決定し、これにより、目標対象の目標カテゴリを効率的で精度よく決定する効果を実現し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避する。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施例1における画像処理方法のフローチャートである。
【
図2】本発明の実施例2における画像処理方法のフローチャートである。
【
図3】本発明の実施例2における画像識別ネットワークモデルの処理フローの模式図である。
【
図4】本発明の実施例3における画像処理方法のフローチャートである。
【
図5】本発明の実施例3における眼球の一部の構造模式図である。
【
図6】本発明の実施例3における目標組織の指標パラメータ決定の模式図である。
【
図7】本発明の実施例3における目標組織の各指標パラメータの概略図である。
【
図8】本発明の実施例3における目標組織の各指標パラメータのAS-OCT図である。
【
図9】本発明の実施例4における画像処理方法のフローチャートである。
【
図10】本発明の実施例5における画像処理装置の構造模式図である。
【
図11】本発明の実施例6における電子デバイスの構造模式図である。
【発明を実施するための形態】
【0012】
以下、図面及び実施例を参照しながら、本発明についてさらに詳細に説明する。本明細書に説明される具体的な実施例は、本発明を説明するためのものにすぎず、本発明を限定するものではないことを理解できる。また、なお、説明を容易にするために、図面に示しているのは本発明に関連する一部だけであり、すべての構造ではない。
【0013】
実施例1
図1は、本発明の実施例1に係る画像処理方法のフローチャートであり、本実施例は目標組織のカテゴリを決定する場合に適用可能であり、該方法は画像処理装置により実行可能であり、該画像処理装置はソフトウェア及び/又はハードウェアにより実現可能であり、該画像処理装置は電子計算デバイスに配置可能であり、具体的には、次のステップを含む。
【0014】
S110は、目標対象の元画像を取得することである。
【0015】
例示的に、目標対象は画像走査を行う対象、例えば、人間であってもよい。
【0016】
本発明の実施例において、好ましい目標対象は具体的な走査対象であり、例えば、腹部、胸部などのある部位であってもよい。
【0017】
本発明の実施例において、目標対象は人間の眼球であってもよい。
【0018】
元画像は目標対象を走査した後に取得された目標対象の画像であってもよい。例えば、目標対象が眼球であれば、元画像は眼球の走査画像であり、具体的には、例えば、前眼部光コヒーレンストモグラフィー(Optical coherence tomography of anterior segment,AS-OCT)画像であってもよい。
【0019】
本発明の実施例において、元画像は3次元画像であっても2次元画像であってもよいがこれらに限定されない。
【0020】
S120は、元画像をトレーニングされた画像識別ネットワークモデルに入力し、目標対象における目標組織の位置情報を得ることである。
【0021】
例示的に、画像識別ネットワークモデルは入力された画像における目標を識別するためのモデルであってもよく、例えば、畳み込みニューラルネットワークなどのディープラーニングに基づくニューラルネットワークモデルであってもよい。
【0022】
本発明の実施例において、画像識別ネットワークモデルは限定されず、それに入力された画像における目標を識別するためのいずれのモデルは本発明の実施例の保護範囲に属する。
【0023】
目標組織は識別される組織であってもよい。
【0024】
本発明の実施例において、目標対象が眼球であれば、目標組織は眼球中の強膜岬(Scleral Spur,SS)であってもよい。
【0025】
現在の眼科検査では、主に緑内障に対する検査、即ち、患者が緑内障を患っているか否かを確認し、AS-OCT画像を用いてPACD検査を行うときに、主に眼球中の強膜岬の位置を取得する必要があり、強膜岬の位置に従って、臨床指標(例えば、AOD250、AOD500、AOD750、TISA250、TISA500及びTISA750などであってもよく、そのうち、AODは隅角開放距離であり、TISは小柱網虹彩間面積である)を得て、得られた臨床指標に従って、患者がPACDを患っているか否かを決定することができる。したがって、PACDの検査過程において、強膜岬は非常に重要な構造である。そして、患者がPACDを患っているか否かを判断する主要な参照指標の1つは、上記の臨床指標、即ち、AOD250、AOD500、AOD750、TISA250、TISA500及びTISA750などである。
【0026】
元画像をトレーニングされた画像識別ネットワークモデルに入力した後に、画像識別ネットワークモデルに基づいて、目標対象における目標組織の位置情報を得ることができる。
【0027】
本発明の実施例の技術案において、元画像をトレーニングされた画像識別ネットワークモデルに入力し、このような設定は、目標対象における目標組織の位置情報を精度よく取得し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる利点を有する。
【0028】
S130は、目標組織の位置情報に基づいて、元画像において目標組織の指標パラメータを決定することである。
【0029】
例示的に、指標パラメータは目標組織が対応する指標パラメータであってもよい。
【0030】
本発明の実施例において、目標組織が強膜岬であることを例とすると、ここでの目標組織の指標パラメータは隅角開放距離、小柱網虹彩角度及び小柱網虹彩間面積などであってもよい。
【0031】
目標組織の位置情報を決定した後に、目標組織の位置情報を事前に研究開発された前眼部パラメータ自動計算プログラムに入力し、前眼部パラメータ自動計算プログラムに基づいて、目標組織の位置情報に基づいて目標組織の指標パラメータを自動的に得ることができる。
【0032】
本発明の実施例において、前眼部パラメータ自動計算プログラムは、オペレータによって事前に研究開発されたものであってもよく、具体的な前眼部パラメータ自動計算プログラムは、ここで示されず、目標組織の位置情報を用いて目標組織の指標パラメータを得ることができるいずれのプログラムは本発明の実施例の保護範囲に属する。
【0033】
S140は、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、目標対象が目標カテゴリに属する確率値を決定し、確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することである。
【0034】
例示的に、カテゴリ識別ネットワークモデルは目標対象のカテゴリを識別するためのモデルであってもよい。例えば、畳み込みニューラルネットワーク、分類器及び多層パーセプトロンなどの、ディープラーニングに基づくニューラルネットワークモデルであってもよい。
【0035】
本発明の実施例において、カテゴリ識別ネットワークモデルは限定されず、目標組織の指標パラメータに従って目標対象のカテゴリを識別できるいずれのモデルは本発明の実施例の保護範囲に属する。
【0036】
目標カテゴリは目標対象が所属するカテゴリであってもよい。例えば、目標対象が眼球、目標組織が強膜岬であれば、ここでの目標カテゴリはPACDであってもよい。
【0037】
目標組織の指標パラメータを決定した後に、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、トレーニングされたカテゴリ識別ネットワークモデルに基づいて、目標対象が目標カテゴリに属する確率値を決定し、該確率値に基づいて目標対象が該目標カテゴリに属するか否かを決定することができる。
【0038】
元画像をトレーニングされたカテゴリ識別ネットワークモデルに入力した後に、画像カテゴリ識別ネットワークモデルに基づいて、目標対象が目標カテゴリに属する確率値を得て、確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することができる。
【0039】
本発明の実施例の技術案において、元画像をトレーニングされた画像カテゴリ識別ネットワークモデルに入力し、このような設定は、目標対象が目標カテゴリに属するか否かを精度よく決定し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる利点を有する。
【0040】
本発明の実施例の技術案では、取得された目標対象の元画像をトレーニングされた画像識別ネットワークモデルに入力し、このような設定は、目標対象における目標組織の位置情報を精度よく取得し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる利点を有する。次に、目標組織の位置情報に基づいて、元画像において目標組織の指標パラメータを決定して各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、カテゴリ識別ネットワークモデルにより出力された目標対象が目標カテゴリに属する確率値に基づいて、目標対象が目標カテゴリに属する否かを決定し、これにより、目標対象の目標カテゴリを効率的で精度よく決定する効果を実現し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避する。
【0041】
実施例2
図2は本発明の実施例2に係る画像処理方法のフローチャートであり、本発明の実施例は、上記の実施例におけるそれぞれの好ましい技術案と組み合わせることができる。本発明の実施例において、好ましくは、前記画像識別ネットワークモデルのトレーニング方法は、少なくとも1群の履歴画像を取得することであって、各群の履歴画像は目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報を含むことと、各群の履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における目標組織の予測位置情報を決定することと、各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて、第1の損失関数を決定することと、第1の損失関数に基づいて、画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの第1の損失関数が第1の所定損失関数閾値より小さくなると、画像識別ネットワークモデルのトレーニングが完了したと決定することとを含む。
【0042】
図2に示すように、本発明の実施例の方法は具体的に以下のステップを含む。
【0043】
S210は、少なくとも1群の履歴画像を取得することであって、各群の履歴画像は目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報を含むことである。
【0044】
例示的に、画像識別ネットワークモデルは複数群の履歴画像に基づいてトレーニングして得られたものである。
【0045】
履歴画像は事前に走査して取得された目標対象の画像及び事前に走査して取得された目標対象の画像に基づいて得られた目標組織の位置情報であってもよい。
【0046】
即ち、各群の履歴画像のいずれにも目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報が含まれる。
【0047】
具体的には、1群の履歴画像を例として説明し、ここでは目標対象が眼球であることを例とし、ここでの目標対象の履歴走査画像は取得された事前の目標対象の走査画像であってもよい。例えば、事前に取得された各患者の眼球のAS-OCT画像であってもよい。
【0048】
履歴位置情報は履歴走査画像に従って決定された履歴走査画像における目標組織の位置情報であってもよい。例えば、医師は、履歴走査画像を観察してから、履歴走査画像における目標組織の位置をマークすると、履歴走査画像における目標組織の履歴位置情報を得てもよい。例えば、目標対象が眼球であることを例とすると、ここでの目標組織は強膜岬である。
【0049】
画像識別ネットワークモデルをトレーニングするときに、まずは、複数群の履歴画像を用いて画像識別ネットワークモデルに対してトレーニングするために、複数群の履歴画像を取得する必要がある。
【0050】
S220は、各群の履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における目標組織の予測位置情報を決定することである。
【0051】
例示的に、いずれの履歴走査画像について、所定位置情報は、トレーニングされる画像識別ネットワークモデルに基づいて予測された該履歴走査画像における目標組織の位置であってもよい。
【0052】
本発明の実施例において、
図3に係る画像識別ネットワークモデルの処理フローの模式図を参照する。いずれの履歴走査画像について、画像識別ネットワークモデルの出力結果は、画像識別ネットワークモデルにより出力された該履歴走査画像でマークされた目標組織の画像、即ち、
図3のステージ1における最も右の図であってもよく、
図3のステージ1における最も右の図において、ボックスAで囲まれているのは目標組織である。
【0053】
なお、本発明の実施例において、すべて目標対象が眼球、目標組織が強膜岬であることを例として説明し、眼球では、眼球の解剖学的構造に応じて、左右2辺にそれぞれ1つの強膜岬がある。具体的な眼球の解剖学的構造は従来の技術であり、ここで詳細な説明を省略する。強膜岬を識別する具体的な方法は、角膜内皮を1本の線と見なし、強膜内層を1本の線と見なすれば、2本の線の交点を強膜岬と見なしてもよい。
【0054】
複数群の履歴画像を取得した後に、各群履歴画像における履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、
図3の最も左の図はいずれの履歴走査画像であり、
図3の最も左の図におけるボックスで囲まれているのは目標組織である。
【0055】
なお、本発明の実施例において、複数群の履歴走査画像を取得した後に、履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力する前に、履歴走査画像に対して前処理することができる。具体的な前処理は、コンピュータの処理圧力を軽減するために履歴走査画像をダウンサンプリングすることであってもよい。
【0056】
好ましくは、前処理は各履歴走査画像をグレースケール画像に変換し、グレースケール画像に変換された後の各履歴走査画像のサイズをサンプリングし、目標サイズの各履歴走査画像を得る。
【0057】
例示的に、目標サイズはユーザの要件(又は、後続のトレーニングされる画像識別ネットワークモデルの要求)に従って、グレースケール画像に変換された後の各履歴走査画像のサイズをサンプリングしたサイズであってもよい。
【0058】
本発明の実施例において、履歴走査画像は、21232*1866の3チャネルのAS-OCT画像であり、コンピュータの処理圧力を低減するために、データの量を低減する必要がある。具体的な方法は、各履歴走査画像をグレースケール画像に変換し、これにより後続で1つだけのチャネルのデータを取得してもよく、次にグレースケール画像に変換された後の各履歴走査画像のサイズを一定の画素にダウンサンプリングし、例えば、800*800画素であってもよい。
【0059】
本発明の実施例において、より高精度の目標組織の予測位置情報を得て、目標組織の位置決めの量子化誤差を低減するために、一定の策略を使用することができる。具体的な策略は次のとおりである。
【0060】
好ましくは、画像識別ネットワークモデルの出力結果に従って、各履歴走査画像における目標組織の予測位置情報を決定することは、具体的に、各履歴走査画像のうちのいずれか1つの履歴走査画像の出力結果について、出力結果における目標組織の元位置情報を決定し、目標組織の元位置情報に基づいて、出力画像に対してトリミングし、トリミング走査画像を得て、トリミング走査画像における目標組織の中間位置情報に基づいて、中間位置情報を出力画像にマッピングし、目標組織の予測位置情報を決定することであってもよい。
【0061】
例示的に、元位置情報は画像識別ネットワークモデルにより出力された結果により決定された履歴走査画像における目標組織の位置情報であってもよい。
【0062】
本発明の実施例において、出力結果は元位置情報マークを含む出力画像である。即ち、画像識別ネットワークモデルにより出力された結果は、
図3のステージ1における最も右の図のように、元位置情報マークを含む画像である。
【0063】
トリミング走査画像は、画像識別ネットワークモデルにより出力された画像に対してトリミングした後に得られた画像であってもよい。
【0064】
本発明の実施例において、トリミング走査画像は画像識別ネットワークモデルにより出力された画像をトリミングした後に得られたものであるため、画像識別ネットワークモデルにより出力された画像に目標組織が有し、対応的にトリミング走査画像にも目標組織が有する。
【0065】
中間位置情報はトリミング走査画像における目標組織の位置情報であってもよい。
【0066】
図3に示すように、ステージ1における最も右の図(出力画像)を得た後に、該画像をトリミングし、トリミング走査画像を得る。具体的なトリミング方法は、それぞれ出力画像における左右2辺の目標組織を基準としてそれぞれ収集し、即ち、出力画像における左の目標組織と右の目標組織をそれぞれトリミングし、トリミング走査画像を得る(即ち、
図3のステージ2における最も左の図であり、そのうち、上下の2つの図はそれぞれ左の目標組織のトリミング走査画像と右の目標組織のトリミング走査画像である)。
【0067】
トリミング走査画像を得た後に、トリミング走査画像から、トリミング走査画像における目標組織の位置情報、即ち、中間位置情報を得ると、
図3のステージ2における最も右の図を得る。
図3のステージ2における最も右の図において、上の図は左の目標組織のトリミング走査画像における左の目標組織の位置情報であり、下の図は右の目標組織のトリミング走査画像における右の目標組織の位置情報である。
【0068】
目標組織の中間位置情報を得た後に、目標組織の中間位置情報を画像識別ネットワークモデルにより出力された最初の画像にマッピングすると、目標組織の予測位置情報を得ることができ、これにより得られた目標組織の予測位置情報は精度がより高い。
【0069】
上記の目標組織の予測位置情報の決定は、2つの段階(ステージ1とステージ2)に分けられることが理解できる。そのうち、ステージ1は、履歴走査画像における目標組織の大まかな位置情報を得ることであり、そして、ステージ1で得された目標組織の位置情報に従って、出力画像上で目標組織に対してトリミングし、出力画像よりも小さい画像、即ち、トリミング走査画像(例えば、出力画像は800*800画素の画像であってもよく、トリミング走査画像は400*400画素の画像であってもよい)を得る。これにより、元の解像度を保留し、目標組織の位置を精度よく位置決め、且つグラフィックカードのメモリを節約することができる。次に、トリミング走査画像における目標組織の位置情報、即ち、中間位置情報を決定し、最後に中間位置情報を出力画像にマッピングし、高精度の目標組織の予測位置情報を得る。
【0070】
なお、実際の操作過程において、ユーザはステージ1とステージ2により得られた目標組織の予測位置情報の精度がまだ十分でないと感じると、ステージ2で得られた中間位置情報を繰り返し校正することができ、具体的な校正過程は、ユーザが満足する目標組織の予測位置情報を得るまでステージ2の過程を繰り返す(即ち、トリミング走査画像を再度トリミングしてから、トリミングされたトリミング走査画像よりも小さい画像を得て、このより小さいトリミング走査画像における目標組織の位置情報を決定する)ことである。
【0071】
本発明の実施例において、ステージ2で得られた中間位置情報に従って、目標組織の予測位置情報を決定することは、具体的には、下記の式に基づいて決定されてもよい。
【数1】
ただし、Pは予測位置情報であり、P
S1はステージ1で得られた元位置情報であり、P
S2はステージ2で得られた中間位置情報であり、sizeはトリミング走査画像の画素の大きさである。
【0072】
本発明の実施例において、ステージ1とステージ2のネットワークモデルはいずれも分割ネットワークUNETである。UNETのネットワーク構造は4回の畳み込み-プーリング層によってエンコーダ(Encoder)を構成し、4回のアップサンプリング層によってデコーダ(Decoder)を構成する。同じ層のエンコーダ層とデコーダ層について、ジャンプ接続方式を使用して画像の情報を深層ネットワークに転送する。
【0073】
本発明の実施例において、ステージ1とステージ2のタグは目標組織の位置に従ってガウス分布を使用して生成される。
【0074】
S230は、各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて、第1の損失関数を決定することである。
【0075】
例示的に、第1の損失関数は各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて決定された、トレーニングされる画像識別ネットワークモデルの損失関数であってもよい。
【0076】
各履歴走査画像が対応する予測位置情報を得た後に、各履歴走査画像が対応する予測位置情報と各履歴走査画像が対応する履歴位置情報とを比較して、比較結果に従ってトレーニングされる画像識別ネットワークモデルの損失関数、即ち、第1の損失関数を決定することができる。
【0077】
S240は、第1の損失関数に基づいて、画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの第1の損失関数が第1の所定損失関数閾値より小さくなると、画像識別ネットワークモデルのトレーニングが完了したと決定することである。
【0078】
例示的に、第1の所定損失関数閾値は事前に設定された第1の損失関数の閾値であってもよい。第1の損失関数が該閾値よりも小さい場合、トレーニングされる画像識別ネットワークモデルのトレーニングが完了したと証明する。
【0079】
得られた第1の損失関数に従って、トレーニングされる画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションにより得られた第1の損失関数が第1の所定損失関数閾値よりも小さくなると、トレーニングされる画像識別ネットワークモデルのトレーニングが完了したと決定する。
【0080】
このようにして、トレーニングが完了した画像識別ネットワークモデルに基づいて、後続の目標対象の元画像を処理し、迅速的で精度よく目標対象における目標組織の位置情報を得ることができる。
【0081】
S250は、目標対象の元画像を取得することである。
【0082】
S260は、元画像をトレーニングされた画像識別ネットワークモデルに入力し、目標対象における目標組織の位置情報を得ることである。
【0083】
S270は、目標組織の位置情報に基づいて、元画像において目標組織の指標パラメータを決定することである。
【0084】
S280は、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、目標対象が目標カテゴリに属する確率値を決定し、確率値に基づいて目標対象が目標カテゴリ属するか否かを決定することである。
【0085】
本発明の実施例の技術案では、複数群の履歴画像を用いて画像識別ネットワークモデルに対してトレーニングすることにより、トレーニングされた画像識別ネットワークモデルを得て、その結果、後続でトレーニングが完了した画像識別ネットワークモデルに基づいて、後続の目標対象の元画像を処理し、迅速的で精度よく目標対象における目標組織の位置情報を得て、画像識別の時間を節約し、作動効率を向上させると同時に、画像識別ネットワークモデルを用いて目標組織の位置情報を得て、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる。
【0086】
実施例3
図4は本発明の実施例3に係る画像処理方法のフローチャートであり、本発明の実施例は、上記の実施例におけるそれぞれの好ましい技術案と組み合わせることができる。本発明の実施例において、好ましくは、前記した位置情報に基づいて前記目標組織の指標パラメータを決定することは、目標組織の位置情報及び参照組織の位置情報に基づいて、小柱網虹彩角度を決定することと、目標組織の位置情報及び目標組織の位置情報が小柱網虹彩の頂角に達する距離に基づいて、隅角開放距離及び小柱網虹彩間面積を決定することと、目標組織の位置情報及び小柱網虹彩間面積に基づいて、隅角開放距離を決定することとを含む。
【0087】
図4に示すように、本発明の実施例の方法は、具体的に次のステップを有する。
【0088】
S310は、少なくとも1群の履歴画像を取得することであって、各群の履歴画像は目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報を含むことである。
【0089】
S320は、各群の履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における目標組織の予測位置情報を決定することである。
【0090】
S330は、各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて、第1の損失関数を決定することである。
【0091】
S340は、第1の損失関数に基づいて、画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの第1の損失関数が第1の所定損失関数閾値より小さくなると、画像識別ネットワークモデルのトレーニングが完了したと決定することである。
【0092】
S350は、目標対象の元画像を取得することである。
【0093】
S360は、元画像をトレーニングされた画像識別ネットワークモデルに入力し、目標対象における目標組織の位置情報を得ることである。
【0094】
S370は、目標組織の位置情報及び外界から入力された隅角開放距離に基づいて、小柱網虹彩角度を決定し、目標組織の位置情報及び隅角開放距離に基づいて、小柱網虹彩間面積を決定することである。
【0095】
例示的に、本発明の実施例において、目標組織の指標パラメータは小柱網虹彩角度と小柱網虹彩間面積の少なくとも一項であってもよいがこれらに限定されない。
【0096】
本発明の実施例において、目標組織は強膜岬であることを例とする。
【0097】
図5に係る眼球の一部の構造模式図を参照し、
図5において、1は角膜、2は強膜岬、3は強膜、4は毛様体、5は虹彩である。
【0098】
図5の眼球の構造に従って、
図6に係る目標組織の指標パラメータ決定の模式図を参照し、
図6において、点2は強膜岬、3は強膜、4は毛様体である。
図6の(a)図において、隅角開放距離(angle opening distance,AOD)はユーザの要件に応じて自分に選択可能であり、例えば、500umを選択しても750umを選択してもよいがここでは限定されない。
【0099】
図6の(a)図に示すように、AODは強膜岬から外向きにNum(ここでのNは強膜岬に達する距離である)延伸し、例えば、Nは500であれば、AOD500である。ここでの外向きに延伸するとは
図6の(a)図の右に延伸することを指す。
【0100】
図6の(b)図に示すように、AODの値に応じて、角膜内層と虹彩内層に延長線を引き、これら2本の延長線(
図6の(b)図における延長線Pと延長線Q)は1点で交差し、延長線Pと延長線Qとの間の角度は、小柱網虹彩角度(trabecular iris angle,TIA)である。
【0101】
図6の(c)図に示すように、AODの値及び目標組織の位置情報に応じて、目標組織からAODの境界までの領域の面積を小柱網虹彩間面積(trabecular-iris space area,TIAS)とする。
【0102】
上記の計算方法に従って、目標組織の各指標パラメータを得ることができる。そのうち、
図7は目標組織の各指標パラメータの概略図であり、
図8は目標組織の各指標パラメータのAS-OCT図であり、
図8において、SSは強膜岬である。
【0103】
このようにして、後続で目標組織の指標パラメータに基づいて、目標組織が目標カテゴリに属するか否かを判断するように、目標組織の位置情報から、目標組織の指標パラメータを計算することができる。また、断隅角の開閉状況を大まかに判断することもできる。
【0104】
S380は、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、目標対象が目標カテゴリに属する確率値を決定し、確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することである。
【0105】
本発明の実施例の技術案では、目標組織の位置情報及び外界から入力された隅角開放距離に従って、小柱網虹彩角度を決定し、目標組織の位置情報及び隅角開放距離に基づいて、小柱網虹彩間面積を決定し、これにより、後続で目標組織の指標パラメータに基づいて目標組織が目標カテゴリに属するか否かを判断するように、目標組織の位置情報から、目標組織の指標パラメータを計算することができる。
【0106】
実施例4
図9は本発明の実施例4に係る画像処理方法のフローチャートであり、本発明の実施例は、上記の実施例におけるそれぞれの好ましい技術案と組み合わせることができる。本発明の実施例において、好ましくは、前記カテゴリ識別ネットワークモデルのトレーニング方法は、複数群の履歴パラメータ情報を取得することであって、各群の履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する目標対象の履歴タグとを含み、履歴タグは、目標対象が目標カテゴリに属することと、目標対象が目標カテゴリに属しないこととを含むことと、各群履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する目標対象は目標カテゴリである計算確率値を決定することと、計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定することと、各計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて、第2の損失関数を決定することと、第2の損失関数に基づいて、カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの第2の損失関数が第2の所定損失関数閾値より小さくなると、カテゴリ識別ネットワークモデルのトレーニングが完了したと決定することとを含む。
【0107】
図9に示すように、本発明の実施例の方法は具体的に以下のステップを含む。
【0108】
S401は、少なくとも1群の履歴画像を取得することであって、各群の履歴画像は目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報を含むことである。
【0109】
S402は、各群の履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における目標組織の予測位置情報を決定することである。
【0110】
S403は、各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて、第1の損失関数を決定することである。
【0111】
S404は、第1の損失関数に基づいて、画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの第1の損失関数が第1の所定損失関数閾値より小さくなると、画像識別ネットワークモデルのトレーニングが完了したと決定することである。
【0112】
S405は、複数群の履歴パラメータ情報を取得することであって、各群の履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する目標対象の履歴タグとを含み、履歴タグは、目標対象が目標カテゴリに属することと、目標対象が目標カテゴリに属しないこととを含むことである。
【0113】
例示的に、カテゴリ識別ネットワークモデルを用いて目標対象が目標カテゴリに属する確率値を決定する前に、まずは、トレーニングされたカテゴリ識別ネットワークモデルを用いて目標対象が目標カテゴリに属する確率値を決定するように、カテゴリ識別ネットワークモデルに対してトレーニングする必要がある。
【0114】
履歴パラメータ情報は目標組織の指標パラメータに関する情報を取得することであってもよい。
【0115】
具体的には、いずれか1群の履歴パラメータ情報を例とし、各群の履歴パラメータ情報は履歴指令パラメータと履歴指令パラメータに対応する目標対象の履歴タグとを含む。
【0116】
ここでの履歴指令パラメータは事前に取得された目標組織の各指標パラメータであってもよい。具体的には、例えば、前記履歴走査画像における目標組織の位置情報に従って得られた目標組織の指標パラメータであってもよい。
【0117】
履歴タグは履歴指令パラメータに対応する目標対象のタグであってもよく、ここでのタグは目標対象が目標カテゴリに属することと、目標対象が目標カテゴリに属しないこととの2種類のタグであってもよい。
【0118】
S406は、各群履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する目標対象は目標カテゴリである計算確率値を決定することである。
【0119】
例示的に、計算確率値はカテゴリ識別ネットワークモデルに基づいて予測して得られた履歴指令パラメータが対応する目標対象が目標カテゴリである確率値であってもよい。
【0120】
取得された複数群の履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、カテゴリ識別ネットワークモデルに基づいて、各履歴指令パラメータが対応する目標対象が目標カテゴリである計算確率値を決定することができる。
【0121】
S407は、計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定することである。
【0122】
例示的に、計算履歴タグは計算確率値に基づいて決定された履歴指令パラメータが対応するタグであってもよい。
【0123】
上記の得られた計算確率値に従って、各履歴指令パラメータが対応する計算履歴タグを決定することができる。
【0124】
具体的には、計算確率値の閾値を事前に設定し、得られた計算確率値が該閾値より大きい場合、該履歴指令パラメータが対応するタグは、目標対象が目標カテゴリに属することであると決定し、得られた計算確率値が該閾値よりも小さい場合、該履歴指令パラメータが対応するタグは、目標対象が目標カテゴリに属しないことであると決定してもよい。
【0125】
具体的には、例えば、トレーニングされるカテゴリ識別ネットワークモデルに基づいて、ある履歴指令パラメータの計算確率値は0.8、事前に設定された計算確率値の閾値は0.5、目標対象は眼球、目標組織は強膜岬、目標カテゴリはPACDであることを得る。そうすると、0.8>0.5であり、該履歴指令パラメータが対応する目標対象(眼球)はPACD疾患を患っていると証明する。
【0126】
S408は、各計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて、第2の損失関数を決定することである。
【0127】
例示的に、第2の損失関数は各履歴指令パラメータが対応する計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて決定された、トレーニングされるカテゴリ識別ネットワークモデルの損失関数であってもよい。
【0128】
各履歴指令パラメータが対応する計算履歴タグを得た後に、各履歴指令パラメータが対応する計算履歴タグと各履歴指令パラメータが対応する履歴タグとを比較し、比較結果に従って、トレーニングされるカテゴリ識別ネットワークモデルの損失関数、即ち、第2の損失関数を決定することができる。
【0129】
S409は、第2の損失関数に基づいて、カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの第2の損失関数が第2の所定損失関数閾値より小さくなると、カテゴリ識別ネットワークモデルのトレーニングが完了したと決定することである。
【0130】
例示的に、第2の所定損失関数閾値は事前に設定された第2の損失関数の閾値であってもよい。第2の損失関数が該閾値よりも小さい場合、トレーニングされるカテゴリ識別ネットワークモデルのトレーニングが完了したと証明する。
【0131】
得られた第2の損失関数に従って、トレーニングされるカテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションにより得られた第2の損失関数が第2の所定損失関数閾値よりも小さくなると、トレーニングされるカテゴリ識別ネットワークモデルのトレーニングが完了したと決定する。
【0132】
これにより、トレーニングが完了したカテゴリ識別ネットワークモデルに基づいて、目標対象が目標カテゴリに属するか否かを決定するように、後続の目標対象の指標パラメータを処理し、迅速的で精度よく目標対象が目標カテゴリに属する確率値を得ることができる。
【0133】
S410は、目標対象の元画像を取得することである。
【0134】
S411は、元画像をトレーニングされた画像識別ネットワークモデルに入力し、目標対象における目標組織の位置情報を得ることである。
【0135】
S412は、目標組織の位置情報及び外界から入力された隅角開放距離に基づいて、小柱網虹彩角度を決定し、目標組織の位置情報及び隅角開放距離に基づいて、小柱網虹彩間面積を決定することである。
【0136】
S413は、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、目標対象が目標カテゴリに属する確率値を決定し、確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することである。
【0137】
好ましくは、前記した確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することは、確率値が所定確率閾値以上である場合、目標対象が目標カテゴリに属すると決定することと、確率値が所定確率閾値よりも小さい場合、目標対象が目標カテゴリに属しないと決定することとを含む。
【0138】
例示的に、所定確率閾値は事前に設定された目標対象が目標カテゴリに属する確率値の閾値であってもよい。
【0139】
得られた目標対象が目標カテゴリに属する確率値が所定確率閾値以上である場合、目標対象が目標カテゴリに属すると決定し、得られた目標対象が目標カテゴリに属する確率値が所定確率閾値よりも小さい場合、目標対象が目標カテゴリに属しないと決定する。
【0140】
本発明の実施例の技術案では、複数群の履歴パラメータ情報を用いてカテゴリ識別ネットワークモデルに対してトレーニングすることにより、トレーニングされたカテゴリ識別ネットワークモデルを得て、その結果、後続でトレーニングが完了したカテゴリ識別ネットワークモデルに基づいて、後続の目標対象の指標パラメータを処理し、迅速的で精度よく目標対象が目標カテゴリに属する確率値を得て、それにより、該確率値に従って、目標対象が目標カテゴリに属するか否かを決定し、目標カテゴリの決定時間を節約し、作動効率を向上させると同時に、カテゴリ識別ネットワークモデルを用いて目標対象が目標カテゴリに属するか否かを決定し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避する。
【0141】
実施例5
図10は本発明の実施例5に係る画像処理装置の構造模式図であり、
図10に示すように、該装置は、元画像取得モジュール31、目標位置情報決定モジュール32、指標パラメータ決定モジュール33及び確率値決定モジュール34を含む。
【0142】
そのうち、元画像取得モジュール31は、目標対象の元画像を取得するために用いられ、
目標位置情報決定モジュール32は、前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得るために用いられ、
指標パラメータ決定モジュール33は、前記位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定するために用いられ、
確率値決定モジュール34は、各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定するために用いられる。
【0143】
本発明の実施例の技術案に加えて、該装置は、
少なくとも1群の履歴画像を取得するために用いられる履歴画像取得モジュールであって、各群の前記履歴画像は前記目標対象の履歴走査画像及び前記履歴走査画像における前記目標組織の履歴位置情報を含む履歴画像取得モジュールと、
各群の前記履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、前記画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における前記目標組織の予測位置情報を決定するために用いられる予測位置情報決定モジュールと、
各前記予測位置情報と各前記履歴走査画像が対応する各前記履歴位置情報に基づいて、第1の損失関数を決定するために用いられる第1の損失関数決定モジュールと、
前記第1の損失関数に基づいて、前記画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの前記第1の損失関数が第1の所定損失関数閾値より小さくなると、前記画像識別ネットワークモデルのトレーニングが完了したと決定するために用いられる画像識別ネットワークモデルトレーニング完了決定モジュールとをさらに含む。
【0144】
本発明の実施例の技術案に加えて、該装置は、
各前記履歴走査画像をグレースケール画像に変換し、グレースケール画像に変換された後の各前記履歴走査画像のサイズをサンプリングし、目標サイズの各前記履歴走査画像を得るために用いられる画像前処理モジュールをさらに含む。
【0145】
本発明の実施例の技術案に加えて、予測位置情報決定モジュールは、
各前記履歴走査画像のいずれか1つの履歴走査画像の出力結果に対して、前記出力結果における前記目標組織の元位置情報を決定するために用いられる元位置情報決定ユニットであって、前記出力結果は前記元位置情報マークを含む出力画像である元位置情報決定ユニットと、
前記目標組織の元位置情報に基づいて前記出力画像をトリミングし、トリミング走査画像を得るために用いられるトリミング走査画像決定ユニットであって、前記トリミング走査画像に前記目標組織が含まれるトリミング走査画像決定ユニットと、
前記トリミング走査画像における前記目標組織の中間位置情報に基づいて、前記中間位置情報を前記出力画像にマッピングし、前記目標組織の予測位置情報を決定するために用いられる予測位置情報決定ユニットとを含む。
【0146】
好ましくは、前記指標パラメータは、少なくとも小柱網虹彩角度と小柱網虹彩間面積との1つを含む。
【0147】
本発明の実施例の技術案に加えて、指標パラメータ決定モジュール33は、具体的に、
前記目標組織の位置情報及び外界から入力された隅角開放距離に基づいて、前記小柱網虹彩角度を決定し、前記目標組織の位置情報及び前記隅角開放距離に基づいて、前記小柱網虹彩間面積を決定するために用いられる。
【0148】
本発明の実施例の技術案に加えて、該装置は、
複数群の履歴パラメータ情報を取得するために用いられる履歴パラメータ取得モジュールであって、各群の前記履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する前記目標対象の履歴タグとを含み、前記履歴タグは、前記目標対象が前記目標カテゴリに属することと、前記目標対象が前記目標カテゴリに属しないこととを含む履歴パラメータ取得モジュールと、
各群の前記履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する前記目標対象は前記目標カテゴリである計算確率値を決定するために用いられる計算確率値決定モジュールと、
前記計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定するために用いられる計算履歴タグ決定モジュールと、
各前記計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて、第2の損失関数を決定するために用いられる第2の損失関数決定モジュールと、
前記第2の損失関数に基づいて、前記カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか1回のイタレーションの前記第2の損失関数が第2の所定損失関数閾値より小さくなると、前記カテゴリ識別ネットワークモデルのトレーニングが完了したと決定するために用いられるカテゴリ識別ネットワークモデルトレーニング完了決定モジュールとをさらに含む。
【0149】
本発明の実施例の技術案に加えて、確率値決定モジュール34は、
前記確率値が所定確率閾値以上である場合、前記目標対象が目標カテゴリに属すると決定するために用いられる第1の判断ユニットと、
前記確率値が前記所定確率閾値よりも小さい場合、前記目標対象が目標カテゴリに属しないと決定するために用いられる第1の判断ユニットとを含む。
【0150】
本発明の実施例に係る画像処理装置は、本発明のいずれの実施例に係る画像処理方法を実行可能であり、実行方法に応じた機能モジュールと有益な効果を備える。
【0151】
実施例6
図11は本発明の実施例6に係る電子デバイスの構造模式図であり、
図11に示すように、該電子デバイスは、プロセッサ70、メモリ71、入力装置72及び出力装置73を含み、電子デバイスにおけるプロセッサ70の数は1つ又は複数であってもよく、
図11では1つのプロセッサ70を例とし、電子デバイスにおけるプロセッサ70、メモリ71、入力装置72及び出力装置73は、バス又は他の方法で接続可能であり、
図11ではバスでの接続を例とする。
【0152】
メモリ71は、コンピュータ可読記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能プログラム、及び本発明の実施例における画像処理方法に対応するプログラム指令/モジュールなどのモジュール(例えば、元画像取得モジュール31、目標位置情報決定モジュール32、指標パラメータ決定モジュール33及び確率値決定モジュール34)に使用可能である。プロセッサ70は、メモリ71に記憶されたソフトウェアプログラム、指令及びモジュールを実行することにより、電子デバイスの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の画像処理方法を実現する。
【0153】
メモリ71は、主にプログラム記憶領域及びデータ記憶領域を含んでもよく、そのうち、プログラム記憶領域は、オペレーティングシステムと少なくとも1つの機能に必要なアプリケーションプログラムとを記憶可能であり、データ記憶領域は、端末の使用に従って作成されたデータなどを記憶可能である。また、メモリ71は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば、少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートストレージデバイスを含んでもよい。いくつかの実例において、メモリ71は、プロセッサ70に対して遠隔的に設定されたメモリをさらに含んでもよく、これらの遠隔メモリは、ネットワークを介して電子デバイスに接続可能である。上記のネットワークの実例は、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク、及びそれらの組み合わせを含むがこれらに限定されない。
【0154】
入力デバイス72は、入力された数字又は文字情報を受信し、電子デバイスのユーザ設定及び機能制御に関するキー信号入力を生成するために使用可能である。出力装置73は、表示画面などの表示デバイスを含んでもよい。
【0155】
実施例7
本発明の実施例7はコンピュータ実行可能指令を含む記憶媒体をさらに提供しており、前記コンピュータ実行可能指令がコンピュータプロセッサにより実行されるときに、画像処理方法を実行するために用いられる。
【0156】
勿論、本発明の実施例に係るコンピュータ実行可能指令を含む記憶媒体は、そのコンピュータ実行可能指令は上記のような方法で操作することに限定されず、本発明のいずれの実施例に係る画像処理方法における関連する操作を実行してもよい。
【0157】
上記の実施形態に関する説明を通じて、当業者は、本発明がソフトウェア及び必要な汎用ハードウェアにより実現してもよく、勿論、ハードウェアにより実現してもよいことを明確に理解することができるが、多くの場合、前者はより好ましい実施形態である。このような理解に基づいて、本発明の技術案は本質的に、又は従来の技術に寄与する部分は、ソフトウェア製品の形で具体化でき、該コンピュータソフトウェア製品はコンピュータ可読記憶媒体、例えば、コンピュータフロッピーディスク、読み取り専用メモリ(Read-Only Memory,ROM)、ランダムアクセスメモリ(Random Access Memory,RAM)、フラッシュメモリ(FLASH(登録商標))、ハードディスク又は光ディスクなどに記憶可能であり、いくつかの指令を含むことにより、1台のコンピュータ電子デバイス(パーソナルコンピュータ、サーバ、又はネットワークデバイスなどであってもよい)は、本発明の各実施例に係る方法を実行させる。
【0158】
上記の画像処理装置の実施例では、含まれる各ユニット及びモジュールは、機能論理に従って分割されるものにすぎず、対応する機能が実現可能である限り、上記の分割に限定されず、また、各機能ユニットの具体的な名称は、互いに区別するための便宜のためのものにすぎず、本発明の保護範囲を制限するために使用されるものではないことに注意されたい。
【0159】
上記は、本発明の好ましい実施例及び適用される技術原理にすぎないことに注意されたい。当業者は、本発明が本明細書に記載の特定の実施例に限定されず、当業者にとって本発明の保護範囲から逸脱することなく、様々な明らかな変更、再調整及び置換を行うことができることを理解することができる。したがって、本発明は上記の実施例を通じてより詳細に説明したが、本発明は上記の実施例に限定されず、本発明の構想から逸脱しない場合、より多くの他の同等の実施例を含むこともでき、本発明の範囲は添付の特許請求の範囲により決定される。