(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-06
(45)【発行日】2023-04-14
(54)【発明の名称】画像処理方法、装置、電子デバイス及び記憶媒体
(51)【国際特許分類】
A61B 3/117 20060101AFI20230407BHJP
G06T 7/00 20170101ALI20230407BHJP
G16H 30/20 20180101ALI20230407BHJP
【ＦＩ】
A61B3/117
G06T7/00 350B
G06T7/00 612
G16H30/20
A61B3/117 ZDM
【請求項の数】
9
(21)【出願番号】P 2021200306
(22)【出願日】2021-12-09
(65)【公開番号】P2022132072
(43)【公開日】2022-09-07
【審査請求日】2021-12-09
(31)【優先権主張番号】202110221152.4
(32)【優先日】2021-02-26
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】519154623
【氏名又は名称】南方科技大学
【氏名又は名称原語表記】ＳＯＵＴＨ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＳＣＩＥＮＣＥ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ ＯＦ ＣＨＩＮＡ
【住所又は居所原語表記】Ｎｏ．１０８８，Ｘｕｅｙｕａｎ Ｂｌｖｄ．，Ｘｉｌｉ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５５，Ｃｈｉｎａ
(74)【代理人】
【識別番号】100110423
【弁理士】
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【弁理士】
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100221729
【弁理士】
【氏名又は名称】中尾 圭介
(72)【発明者】
【氏名】劉江
(72)【発明者】
【氏名】劉鵬
(72)【発明者】
【氏名】東田 理沙
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】米国特許第１０１２３６９１（ＵＳ，Ｂ１）
【文献】特開２０１９－１７７０３２（ＪＰ，Ａ）
【文献】特開２０２０－１０３８８０（ＪＰ，Ａ）
【文献】中国特許出願公開第１１２２３３１３５（ＣＮ，Ａ）
【文献】米国特許出願公開第２０２０／００１５７８９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－３／１８
Ｇ０６Ｔ ７／００
Ｇ１６Ｈ ３０／２０
(57)【特許請求の範囲】
【請求項1】
目標対象の元画像を取得することと、前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得ることと、
前記目標組織の位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定することと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定することとを含み、
前記カテゴリ識別ネットワークモデルは、複数群の履歴パラメータ情報に基づいてトレーニングして得られたものであり、
前記カテゴリ識別ネットワークモデルのトレーニング方法は、
複数群の履歴パラメータ情報を取得することであって、各群の前記履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する前記対象組織の履歴タグとを含み、前記履歴タグは、前記目標対象が前記目標カテゴリに属することと、前記対象組織が前記目標カテゴリに属しないこととを含むことと、
各群の前記履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する前記目標対象が前記目標カテゴリである計算確率値を決定することと、
前記計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定することと、
各前記計算履歴タグと各前記履歴指令パラメータが対応する履歴タグに基づいて、第２の損失関数を決定することと、
前記第２の損失関数に基づいて、前記カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの前記第２の損失関数が第２の所定損失関数閾値より小さくなると、前記カテゴリ識別ネットワークモデルのトレーニングが完了したと決定することとを含む、ことを特徴とする画像処理方法。
【請求項2】
前記画像識別ネットワークモデルは、複数群の履歴画像に基づいてトレーニングして得られたものであり、前記画像識別ネットワークモデルのトレーニング方法は、
少なくとも１群の履歴画像を取得することであって、各群の前記履歴画像は前記目標対象の履歴走査画像及び前記履歴走査画像における前記目標組織の履歴位置情報を含むことと、
各群の前記履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、前記画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における前記目標組織の予測位置情報を決定することと、
各前記予測位置情報と各前記履歴走査画像が対応する前記履歴位置情報に基づいて、第１の損失関数を決定することと、
前記第１の損失関数に基づいて、前記画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの前記第１の損失関数が第１の所定損失関数閾値より小さくなると、前記画像識別ネットワークモデルのトレーニングが完了したと決定することとを含む、ことを特徴とする請求項１に記載の方法。
【請求項3】
前記した各前記履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力する前に、前記方法は、各前記履歴走査画像をグレースケール画像に変換し、グレースケール画像に変換された後の各前記履歴走査画像のサイズをサンプリングし、目標サイズの各前記履歴走査画像を得ることをさらに含む、ことを特徴とする請求項２に記載の方法。
【請求項4】
前記した前記画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における前記目標組織の予測位置情報を決定することは、各前記履歴走査画像のいずれか１つの履歴走査画像の出力結果に対して、前記出力結果における前記目標組織の元位置情報を決定することであって、前記出力結果は前記元位置情報マークを含む出力画像であることと、
前記目標組織の元位置情報に基づいて、前記出力画像をトリミングし、トリミング走査画像を得ることであって、前記トリミング走査画像に前記目標組織が含まれることと、
前記トリミング走査画像における前記目標組織の中間位置情報に基づいて、前記中間位置情報を前記出力画像にマッピングし、前記目標組織の予測位置情報を決定することとを含む、ことを特徴とする請求項２に記載の方法。
【請求項5】
前記指標パラメータは、少なくとも小柱網虹彩角度と小柱網虹彩間面積との１つを含み、前記した前記位置情報に基づいて、前記目標組織の指標パラメータを決定することは、
前記目標組織の位置情報及び外界から入力された隅角開放距離に基づいて、前記小柱網虹彩角度を決定することと、
前記目標組織の位置情報及び前記隅角開放距離に基づいて、前記小柱網虹彩間面積を決定することとを含む、ことを特徴とする請求項１に記載の方法。
【請求項6】
前記した前記確率値に基づいて、前記目標対象が目標カテゴリに属するか否かを決定することは、前記確率値が所定確率閾値以上である場合、前記目標対象が目標カテゴリに属すると決定することと、
前記確率値が前記所定確率閾値よりも小さい場合、前記目標対象が目標カテゴリに属しないと決定することとを含む、ことを特徴とする請求項１に記載の方法。
【請求項7】
目標対象の元画像を取得するために用いられる元画像取得モジュールと、前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得るために用いられる目標位置情報決定モジュールと、
前記位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定するために用いられる指標パラメータ決定モジュールと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定するために用いられる確率値決定モジュールとを含む画像処理装置であって、
前記カテゴリ識別ネットワークモデルは、複数群の履歴パラメータ情報に基づいてトレーニングして得られたものであり、
前記装置は、
複数群の履歴パラメータ情報を取得することであって、各群の前記履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する前記対象組織の履歴タグとを含み、前記履歴タグは、前記目標対象が前記目標カテゴリに属することと、前記対象組織が前記目標カテゴリに属しないこととを含むように構成される履歴パラメータ取得モジュールと、
各群の前記履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する前記目標対象が前記目標カテゴリである計算確率値を決定するように構成される計算確率値決定モジュールと、
前記計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定するように構成される計算履歴タグ決定モジュールと、
各前記計算履歴タグと各前記履歴指令パラメータが対応する履歴タグに基づいて、第２の損失関数を決定するように構成される第２の損失関数決定モジュールと、
前記第２の損失関数に基づいて、前記カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの前記第２の損失関数が第２の所定損失関数閾値より小さくなると、前記カテゴリ識別ネットワークモデルのトレーニングが完了したと決定するように構成されるカテゴリ識別ネットワークモデルのトレーニング完了決定モジュールとを含む、ことを特徴とする画像処理装置。
【請求項8】
１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するための記憶装置とを含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサは請求項１～６のいずれか一項に記載の画像処理方法が実現される、ことを特徴とする電子デバイス。
【請求項9】
コンピュータ実行可能指令を含む記憶媒体であって、前記コンピュータ実行可能指令がコンピュータプロセッサにより実行されるときに、請求項１～６のいずれか一項に記載の画像処理方法を実行するために用いられる、ことを特徴とするコンピュータ実行可能指令を含む記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施例は画像処理技術に関し、特に画像処理方法、装置、電子デバイス及び記憶媒体に関する。
【背景技術】
【0002】
緑内障は、人間の目の失明を引き起こす一番主要な原因の１つである。緑内障は、主に児童性、続発性及び原発性の３種類に分けられ、原発性緑内障は、原発性開放隅角緑内障と原発性閉塞隅角緑内障に分けられる。原発性閉塞隅角疾患（ｐｒｉｍａｒｙ ａｎｇｌｅ ｃｌｏｓｕｒｅ ｄｉｓｅａｓｅ，ＰＡＣＤ）は、（１）原発性閉塞隅角緑内障疑い症（ｐｒｉｍａｒｙ ａｎｇｌｅ ｃｌｏｓｕｒｅ ｓｕｓｐｅｃｔ，ＰＡＣＳ）と、（２）原発性閉塞隅角症（ｐｒｉｍａｒｙ ａｎｇｌｅ ｃｌｏｓｕｒｅ，ＰＡＣ）と、（３）原発性閉塞隅角緑内障（ｐｒｉｍａｒｙ ａｎｇｌｅ ｃｌｏｓｕｒｅ ｇｌａｕｃｏｍａ，ＰＡＣＧ）とを含む。ＰＡＣＧは不可逆的な疾患であり、その臨床症状は、眼圧の上昇、視野の減少及び視神経の損傷である。その発症の初期（ＰＡＣＳ及びＰＡＣ段階）では、適時の対症療法により、ＰＡＣＧに進化することを予防又は遅延させることができる。したがって、ＰＡＣＤの早期診断は非常に重要である。
【0003】
現在、臨床的なＰＡＣＤの診断は主にゴニオスコピー（ｇｏｎｉｏｓｃｏｐｙ）を使用しており、この方法は、患者の眼部を麻酔して接触し、眼部の画像を取得した後、医師の主観的な経験に依存して診断される必要がある。
【0004】
上記のＰＡＣＤの診断方法は、医師の主観的な経験に依存しすぎ、且つ再現性が悪い。
【発明の概要】
【0005】
本発明の実施例は、目標対象の目標カテゴリを効率的で精度よく決定する効果を実現するために、画像処理方法、装置、電子デバイス及び記憶媒体を提供する。
【0006】
第１の態様では、本発明の実施例は画像処理方法を提供しており、該方法は、
目標対象の元画像を取得することと、
前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得ることと、
前記目標組織の位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定することと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定することとを含む。
目標対象の元画像を取得することと、
前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得ることと、
前記目標組織の位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定することと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定することとを含む。
【0007】
第２の態様では、本発明の実施例は画像処理装置をさらに提供しており、該装置は、
目標対象の元画像を取得するために用いられる元画像取得モジュールと、
前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得るために用いられる目標位置情報決定モジュールと、
前記位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定するために用いられる指標パラメータ決定モジュールと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定するために用いられる確率値決定モジュールとを含む。
目標対象の元画像を取得するために用いられる元画像取得モジュールと、
前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得るために用いられる目標位置情報決定モジュールと、
前記位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定するために用いられる指標パラメータ決定モジュールと、
各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定するために用いられる確率値決定モジュールとを含む。
【0008】
第３の態様では、本発明の実施例は電子デバイスをさらに提供しており、該電子デバイスは、
１つ又は複数のプロセッサと
１つ又は複数のプログラムを記憶するための記憶装置とを含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサは本発明の実施例のいずれか一項に記載の画像処理方法が実現される。
１つ又は複数のプロセッサと
１つ又は複数のプログラムを記憶するための記憶装置とを含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサは本発明の実施例のいずれか一項に記載の画像処理方法が実現される。
【0009】
第４の態様では、本発明の実施例はコンピュータ実行可能指令を含む記憶媒体をさらに提供しており、前記コンピュータ実行可能指令がコンピュータプロセッサにより実行されるときに、本発明の実施例のいずれか一項に記載の画像処理方法を実行するために用いられる。
【0010】
本発明の実施例の技術案では、取得された目標対象の元画像をトレーニングされた画像識別ネットワークモデルに入力し、このような設定は、目標対象における目標組織の位置情報を精度よく取得し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる利点を有する。次に、目標組織の位置情報に基づいて、元画像において目標組織の指標パラメータを決定して各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、カテゴリ識別ネットワークモデルにより出力された目標対象が目標カテゴリに属する確率値に基づいて、目標対象が目標カテゴリに属する否かを決定し、これにより、目標対象の目標カテゴリを効率的で精度よく決定する効果を実現し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避する。
【図面の簡単な説明】
【0011】
【図1】本発明の実施例１における画像処理方法のフローチャートである。
【図2】本発明の実施例２における画像処理方法のフローチャートである。
【図3】本発明の実施例２における画像識別ネットワークモデルの処理フローの模式図である。
【図4】本発明の実施例３における画像処理方法のフローチャートである。
【図5】本発明の実施例３における眼球の一部の構造模式図である。
【図6】本発明の実施例３における目標組織の指標パラメータ決定の模式図である。
【図7】本発明の実施例３における目標組織の各指標パラメータの概略図である。
【図8】本発明の実施例３における目標組織の各指標パラメータのＡＳ－ＯＣＴ図である。
【図9】本発明の実施例４における画像処理方法のフローチャートである。
【図10】本発明の実施例５における画像処理装置の構造模式図である。
【図11】本発明の実施例６における電子デバイスの構造模式図である。
【発明を実施するための形態】
【0012】
以下、図面及び実施例を参照しながら、本発明についてさらに詳細に説明する。本明細書に説明される具体的な実施例は、本発明を説明するためのものにすぎず、本発明を限定するものではないことを理解できる。また、なお、説明を容易にするために、図面に示しているのは本発明に関連する一部だけであり、すべての構造ではない。
【0013】
実施例１
図１は、本発明の実施例１に係る画像処理方法のフローチャートであり、本実施例は目標組織のカテゴリを決定する場合に適用可能であり、該方法は画像処理装置により実行可能であり、該画像処理装置はソフトウェア及び／又はハードウェアにより実現可能であり、該画像処理装置は電子計算デバイスに配置可能であり、具体的には、次のステップを含む。
図１は、本発明の実施例１に係る画像処理方法のフローチャートであり、本実施例は目標組織のカテゴリを決定する場合に適用可能であり、該方法は画像処理装置により実行可能であり、該画像処理装置はソフトウェア及び／又はハードウェアにより実現可能であり、該画像処理装置は電子計算デバイスに配置可能であり、具体的には、次のステップを含む。
【0014】
Ｓ１１０は、目標対象の元画像を取得することである。
【0015】
例示的に、目標対象は画像走査を行う対象、例えば、人間であってもよい。
【0016】
本発明の実施例において、好ましい目標対象は具体的な走査対象であり、例えば、腹部、胸部などのある部位であってもよい。
【0017】
本発明の実施例において、目標対象は人間の眼球であってもよい。
【0018】
元画像は目標対象を走査した後に取得された目標対象の画像であってもよい。例えば、目標対象が眼球であれば、元画像は眼球の走査画像であり、具体的には、例えば、前眼部光コヒーレンストモグラフィー（Ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ ｏｆ ａｎｔｅｒｉｏｒ ｓｅｇｍｅｎｔ，ＡＳ－ＯＣＴ）画像であってもよい。
【0019】
本発明の実施例において、元画像は３次元画像であっても２次元画像であってもよいがこれらに限定されない。
【0020】
Ｓ１２０は、元画像をトレーニングされた画像識別ネットワークモデルに入力し、目標対象における目標組織の位置情報を得ることである。
【0021】
例示的に、画像識別ネットワークモデルは入力された画像における目標を識別するためのモデルであってもよく、例えば、畳み込みニューラルネットワークなどのディープラーニングに基づくニューラルネットワークモデルであってもよい。
【0022】
本発明の実施例において、画像識別ネットワークモデルは限定されず、それに入力された画像における目標を識別するためのいずれのモデルは本発明の実施例の保護範囲に属する。
【0023】
目標組織は識別される組織であってもよい。
【0024】
本発明の実施例において、目標対象が眼球であれば、目標組織は眼球中の強膜岬（Ｓｃｌｅｒａｌ Ｓｐｕｒ，ＳＳ）であってもよい。
【0025】
現在の眼科検査では、主に緑内障に対する検査、即ち、患者が緑内障を患っているか否かを確認し、ＡＳ－ＯＣＴ画像を用いてＰＡＣＤ検査を行うときに、主に眼球中の強膜岬の位置を取得する必要があり、強膜岬の位置に従って、臨床指標（例えば、ＡＯＤ２５０、ＡＯＤ５００、ＡＯＤ７５０、ＴＩＳＡ２５０、ＴＩＳＡ５００及びＴＩＳＡ７５０などであってもよく、そのうち、ＡＯＤは隅角開放距離であり、ＴＩＳは小柱網虹彩間面積である）を得て、得られた臨床指標に従って、患者がＰＡＣＤを患っているか否かを決定することができる。したがって、ＰＡＣＤの検査過程において、強膜岬は非常に重要な構造である。そして、患者がＰＡＣＤを患っているか否かを判断する主要な参照指標の１つは、上記の臨床指標、即ち、ＡＯＤ２５０、ＡＯＤ５００、ＡＯＤ７５０、ＴＩＳＡ２５０、ＴＩＳＡ５００及びＴＩＳＡ７５０などである。
【0026】
元画像をトレーニングされた画像識別ネットワークモデルに入力した後に、画像識別ネットワークモデルに基づいて、目標対象における目標組織の位置情報を得ることができる。
【0027】
本発明の実施例の技術案において、元画像をトレーニングされた画像識別ネットワークモデルに入力し、このような設定は、目標対象における目標組織の位置情報を精度よく取得し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる利点を有する。
【0028】
Ｓ１３０は、目標組織の位置情報に基づいて、元画像において目標組織の指標パラメータを決定することである。
【0029】
例示的に、指標パラメータは目標組織が対応する指標パラメータであってもよい。
【0030】
本発明の実施例において、目標組織が強膜岬であることを例とすると、ここでの目標組織の指標パラメータは隅角開放距離、小柱網虹彩角度及び小柱網虹彩間面積などであってもよい。
【0031】
目標組織の位置情報を決定した後に、目標組織の位置情報を事前に研究開発された前眼部パラメータ自動計算プログラムに入力し、前眼部パラメータ自動計算プログラムに基づいて、目標組織の位置情報に基づいて目標組織の指標パラメータを自動的に得ることができる。
【0032】
本発明の実施例において、前眼部パラメータ自動計算プログラムは、オペレータによって事前に研究開発されたものであってもよく、具体的な前眼部パラメータ自動計算プログラムは、ここで示されず、目標組織の位置情報を用いて目標組織の指標パラメータを得ることができるいずれのプログラムは本発明の実施例の保護範囲に属する。
【0033】
Ｓ１４０は、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、目標対象が目標カテゴリに属する確率値を決定し、確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することである。
【0034】
例示的に、カテゴリ識別ネットワークモデルは目標対象のカテゴリを識別するためのモデルであってもよい。例えば、畳み込みニューラルネットワーク、分類器及び多層パーセプトロンなどの、ディープラーニングに基づくニューラルネットワークモデルであってもよい。
【0035】
本発明の実施例において、カテゴリ識別ネットワークモデルは限定されず、目標組織の指標パラメータに従って目標対象のカテゴリを識別できるいずれのモデルは本発明の実施例の保護範囲に属する。
【0036】
目標カテゴリは目標対象が所属するカテゴリであってもよい。例えば、目標対象が眼球、目標組織が強膜岬であれば、ここでの目標カテゴリはＰＡＣＤであってもよい。
【0037】
目標組織の指標パラメータを決定した後に、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、トレーニングされたカテゴリ識別ネットワークモデルに基づいて、目標対象が目標カテゴリに属する確率値を決定し、該確率値に基づいて目標対象が該目標カテゴリに属するか否かを決定することができる。
【0038】
元画像をトレーニングされたカテゴリ識別ネットワークモデルに入力した後に、画像カテゴリ識別ネットワークモデルに基づいて、目標対象が目標カテゴリに属する確率値を得て、確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することができる。
【0039】
本発明の実施例の技術案において、元画像をトレーニングされた画像カテゴリ識別ネットワークモデルに入力し、このような設定は、目標対象が目標カテゴリに属するか否かを精度よく決定し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる利点を有する。
【0040】
本発明の実施例の技術案では、取得された目標対象の元画像をトレーニングされた画像識別ネットワークモデルに入力し、このような設定は、目標対象における目標組織の位置情報を精度よく取得し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる利点を有する。次に、目標組織の位置情報に基づいて、元画像において目標組織の指標パラメータを決定して各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、カテゴリ識別ネットワークモデルにより出力された目標対象が目標カテゴリに属する確率値に基づいて、目標対象が目標カテゴリに属する否かを決定し、これにより、目標対象の目標カテゴリを効率的で精度よく決定する効果を実現し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避する。
【0041】
実施例２
図２は本発明の実施例２に係る画像処理方法のフローチャートであり、本発明の実施例は、上記の実施例におけるそれぞれの好ましい技術案と組み合わせることができる。本発明の実施例において、好ましくは、前記画像識別ネットワークモデルのトレーニング方法は、少なくとも１群の履歴画像を取得することであって、各群の履歴画像は目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報を含むことと、各群の履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における目標組織の予測位置情報を決定することと、各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて、第１の損失関数を決定することと、第１の損失関数に基づいて、画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの第１の損失関数が第１の所定損失関数閾値より小さくなると、画像識別ネットワークモデルのトレーニングが完了したと決定することとを含む。
図２は本発明の実施例２に係る画像処理方法のフローチャートであり、本発明の実施例は、上記の実施例におけるそれぞれの好ましい技術案と組み合わせることができる。本発明の実施例において、好ましくは、前記画像識別ネットワークモデルのトレーニング方法は、少なくとも１群の履歴画像を取得することであって、各群の履歴画像は目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報を含むことと、各群の履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における目標組織の予測位置情報を決定することと、各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて、第１の損失関数を決定することと、第１の損失関数に基づいて、画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの第１の損失関数が第１の所定損失関数閾値より小さくなると、画像識別ネットワークモデルのトレーニングが完了したと決定することとを含む。
【0042】
図２に示すように、本発明の実施例の方法は具体的に以下のステップを含む。
【0043】
Ｓ２１０は、少なくとも１群の履歴画像を取得することであって、各群の履歴画像は目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報を含むことである。
【0044】
例示的に、画像識別ネットワークモデルは複数群の履歴画像に基づいてトレーニングして得られたものである。
【0045】
履歴画像は事前に走査して取得された目標対象の画像及び事前に走査して取得された目標対象の画像に基づいて得られた目標組織の位置情報であってもよい。
【0046】
即ち、各群の履歴画像のいずれにも目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報が含まれる。
【0047】
具体的には、１群の履歴画像を例として説明し、ここでは目標対象が眼球であることを例とし、ここでの目標対象の履歴走査画像は取得された事前の目標対象の走査画像であってもよい。例えば、事前に取得された各患者の眼球のＡＳ－ＯＣＴ画像であってもよい。
【0048】
履歴位置情報は履歴走査画像に従って決定された履歴走査画像における目標組織の位置情報であってもよい。例えば、医師は、履歴走査画像を観察してから、履歴走査画像における目標組織の位置をマークすると、履歴走査画像における目標組織の履歴位置情報を得てもよい。例えば、目標対象が眼球であることを例とすると、ここでの目標組織は強膜岬である。
【0049】
画像識別ネットワークモデルをトレーニングするときに、まずは、複数群の履歴画像を用いて画像識別ネットワークモデルに対してトレーニングするために、複数群の履歴画像を取得する必要がある。
【0050】
Ｓ２２０は、各群の履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における目標組織の予測位置情報を決定することである。
【0051】
例示的に、いずれの履歴走査画像について、所定位置情報は、トレーニングされる画像識別ネットワークモデルに基づいて予測された該履歴走査画像における目標組織の位置であってもよい。
【0052】
本発明の実施例において、図３に係る画像識別ネットワークモデルの処理フローの模式図を参照する。いずれの履歴走査画像について、画像識別ネットワークモデルの出力結果は、画像識別ネットワークモデルにより出力された該履歴走査画像でマークされた目標組織の画像、即ち、図３のステージ１における最も右の図であってもよく、図３のステージ１における最も右の図において、ボックスＡで囲まれているのは目標組織である。
【0053】
なお、本発明の実施例において、すべて目標対象が眼球、目標組織が強膜岬であることを例として説明し、眼球では、眼球の解剖学的構造に応じて、左右２辺にそれぞれ１つの強膜岬がある。具体的な眼球の解剖学的構造は従来の技術であり、ここで詳細な説明を省略する。強膜岬を識別する具体的な方法は、角膜内皮を１本の線と見なし、強膜内層を１本の線と見なすれば、２本の線の交点を強膜岬と見なしてもよい。
【0054】
複数群の履歴画像を取得した後に、各群履歴画像における履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、図３の最も左の図はいずれの履歴走査画像であり、図３の最も左の図におけるボックスで囲まれているのは目標組織である。
【0055】
なお、本発明の実施例において、複数群の履歴走査画像を取得した後に、履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力する前に、履歴走査画像に対して前処理することができる。具体的な前処理は、コンピュータの処理圧力を軽減するために履歴走査画像をダウンサンプリングすることであってもよい。
【0056】
好ましくは、前処理は各履歴走査画像をグレースケール画像に変換し、グレースケール画像に変換された後の各履歴走査画像のサイズをサンプリングし、目標サイズの各履歴走査画像を得る。
【0057】
例示的に、目標サイズはユーザの要件（又は、後続のトレーニングされる画像識別ネットワークモデルの要求）に従って、グレースケール画像に変換された後の各履歴走査画像のサイズをサンプリングしたサイズであってもよい。
【0058】
本発明の実施例において、履歴走査画像は、２１２３２＊１８６６の３チャネルのＡＳ－ＯＣＴ画像であり、コンピュータの処理圧力を低減するために、データの量を低減する必要がある。具体的な方法は、各履歴走査画像をグレースケール画像に変換し、これにより後続で１つだけのチャネルのデータを取得してもよく、次にグレースケール画像に変換された後の各履歴走査画像のサイズを一定の画素にダウンサンプリングし、例えば、８００＊８００画素であってもよい。
【0059】
本発明の実施例において、より高精度の目標組織の予測位置情報を得て、目標組織の位置決めの量子化誤差を低減するために、一定の策略を使用することができる。具体的な策略は次のとおりである。
【0060】
好ましくは、画像識別ネットワークモデルの出力結果に従って、各履歴走査画像における目標組織の予測位置情報を決定することは、具体的に、各履歴走査画像のうちのいずれか１つの履歴走査画像の出力結果について、出力結果における目標組織の元位置情報を決定し、目標組織の元位置情報に基づいて、出力画像に対してトリミングし、トリミング走査画像を得て、トリミング走査画像における目標組織の中間位置情報に基づいて、中間位置情報を出力画像にマッピングし、目標組織の予測位置情報を決定することであってもよい。
【0061】
例示的に、元位置情報は画像識別ネットワークモデルにより出力された結果により決定された履歴走査画像における目標組織の位置情報であってもよい。
【0062】
本発明の実施例において、出力結果は元位置情報マークを含む出力画像である。即ち、画像識別ネットワークモデルにより出力された結果は、図３のステージ１における最も右の図のように、元位置情報マークを含む画像である。
【0063】
トリミング走査画像は、画像識別ネットワークモデルにより出力された画像に対してトリミングした後に得られた画像であってもよい。
【0064】
本発明の実施例において、トリミング走査画像は画像識別ネットワークモデルにより出力された画像をトリミングした後に得られたものであるため、画像識別ネットワークモデルにより出力された画像に目標組織が有し、対応的にトリミング走査画像にも目標組織が有する。
【0065】
中間位置情報はトリミング走査画像における目標組織の位置情報であってもよい。
【0066】
図３に示すように、ステージ１における最も右の図（出力画像）を得た後に、該画像をトリミングし、トリミング走査画像を得る。具体的なトリミング方法は、それぞれ出力画像における左右２辺の目標組織を基準としてそれぞれ収集し、即ち、出力画像における左の目標組織と右の目標組織をそれぞれトリミングし、トリミング走査画像を得る（即ち、図３のステージ２における最も左の図であり、そのうち、上下の２つの図はそれぞれ左の目標組織のトリミング走査画像と右の目標組織のトリミング走査画像である）。
【0067】
トリミング走査画像を得た後に、トリミング走査画像から、トリミング走査画像における目標組織の位置情報、即ち、中間位置情報を得ると、図３のステージ２における最も右の図を得る。図３のステージ２における最も右の図において、上の図は左の目標組織のトリミング走査画像における左の目標組織の位置情報であり、下の図は右の目標組織のトリミング走査画像における右の目標組織の位置情報である。
【0068】
目標組織の中間位置情報を得た後に、目標組織の中間位置情報を画像識別ネットワークモデルにより出力された最初の画像にマッピングすると、目標組織の予測位置情報を得ることができ、これにより得られた目標組織の予測位置情報は精度がより高い。
【0069】
上記の目標組織の予測位置情報の決定は、２つの段階（ステージ１とステージ２）に分けられることが理解できる。そのうち、ステージ１は、履歴走査画像における目標組織の大まかな位置情報を得ることであり、そして、ステージ１で得された目標組織の位置情報に従って、出力画像上で目標組織に対してトリミングし、出力画像よりも小さい画像、即ち、トリミング走査画像（例えば、出力画像は８００＊８００画素の画像であってもよく、トリミング走査画像は４００＊４００画素の画像であってもよい）を得る。これにより、元の解像度を保留し、目標組織の位置を精度よく位置決め、且つグラフィックカードのメモリを節約することができる。次に、トリミング走査画像における目標組織の位置情報、即ち、中間位置情報を決定し、最後に中間位置情報を出力画像にマッピングし、高精度の目標組織の予測位置情報を得る。
【0070】
なお、実際の操作過程において、ユーザはステージ１とステージ２により得られた目標組織の予測位置情報の精度がまだ十分でないと感じると、ステージ２で得られた中間位置情報を繰り返し校正することができ、具体的な校正過程は、ユーザが満足する目標組織の予測位置情報を得るまでステージ２の過程を繰り返す（即ち、トリミング走査画像を再度トリミングしてから、トリミングされたトリミング走査画像よりも小さい画像を得て、このより小さいトリミング走査画像における目標組織の位置情報を決定する）ことである。
【0071】
本発明の実施例において、ステージ２で得られた中間位置情報に従って、目標組織の予測位置情報を決定することは、具体的には、下記の式に基づいて決定されてもよい。
ただし、Ｐは予測位置情報であり、ＰＳ１はステージ１で得られた元位置情報であり、ＰＳ２はステージ２で得られた中間位置情報であり、ｓｉｚｅはトリミング走査画像の画素の大きさである。
【数1】
【0072】
本発明の実施例において、ステージ１とステージ２のネットワークモデルはいずれも分割ネットワークＵＮＥＴである。ＵＮＥＴのネットワーク構造は４回の畳み込み－プーリング層によってエンコーダ（Ｅｎｃｏｄｅｒ）を構成し、４回のアップサンプリング層によってデコーダ（Ｄｅｃｏｄｅｒ）を構成する。同じ層のエンコーダ層とデコーダ層について、ジャンプ接続方式を使用して画像の情報を深層ネットワークに転送する。
【0073】
本発明の実施例において、ステージ１とステージ２のタグは目標組織の位置に従ってガウス分布を使用して生成される。
【0074】
Ｓ２３０は、各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて、第１の損失関数を決定することである。
【0075】
例示的に、第１の損失関数は各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて決定された、トレーニングされる画像識別ネットワークモデルの損失関数であってもよい。
【0076】
各履歴走査画像が対応する予測位置情報を得た後に、各履歴走査画像が対応する予測位置情報と各履歴走査画像が対応する履歴位置情報とを比較して、比較結果に従ってトレーニングされる画像識別ネットワークモデルの損失関数、即ち、第１の損失関数を決定することができる。
【0077】
Ｓ２４０は、第１の損失関数に基づいて、画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの第１の損失関数が第１の所定損失関数閾値より小さくなると、画像識別ネットワークモデルのトレーニングが完了したと決定することである。
【0078】
例示的に、第１の所定損失関数閾値は事前に設定された第１の損失関数の閾値であってもよい。第１の損失関数が該閾値よりも小さい場合、トレーニングされる画像識別ネットワークモデルのトレーニングが完了したと証明する。
【0079】
得られた第１の損失関数に従って、トレーニングされる画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションにより得られた第１の損失関数が第１の所定損失関数閾値よりも小さくなると、トレーニングされる画像識別ネットワークモデルのトレーニングが完了したと決定する。
【0080】
このようにして、トレーニングが完了した画像識別ネットワークモデルに基づいて、後続の目標対象の元画像を処理し、迅速的で精度よく目標対象における目標組織の位置情報を得ることができる。
【0081】
Ｓ２５０は、目標対象の元画像を取得することである。
【0082】
Ｓ２６０は、元画像をトレーニングされた画像識別ネットワークモデルに入力し、目標対象における目標組織の位置情報を得ることである。
【0083】
Ｓ２７０は、目標組織の位置情報に基づいて、元画像において目標組織の指標パラメータを決定することである。
【0084】
Ｓ２８０は、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、目標対象が目標カテゴリに属する確率値を決定し、確率値に基づいて目標対象が目標カテゴリ属するか否かを決定することである。
【0085】
本発明の実施例の技術案では、複数群の履歴画像を用いて画像識別ネットワークモデルに対してトレーニングすることにより、トレーニングされた画像識別ネットワークモデルを得て、その結果、後続でトレーニングが完了した画像識別ネットワークモデルに基づいて、後続の目標対象の元画像を処理し、迅速的で精度よく目標対象における目標組織の位置情報を得て、画像識別の時間を節約し、作動効率を向上させると同時に、画像識別ネットワークモデルを用いて目標組織の位置情報を得て、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避することができる。
【0086】
実施例３
図４は本発明の実施例３に係る画像処理方法のフローチャートであり、本発明の実施例は、上記の実施例におけるそれぞれの好ましい技術案と組み合わせることができる。本発明の実施例において、好ましくは、前記した位置情報に基づいて前記目標組織の指標パラメータを決定することは、目標組織の位置情報及び参照組織の位置情報に基づいて、小柱網虹彩角度を決定することと、目標組織の位置情報及び目標組織の位置情報が小柱網虹彩の頂角に達する距離に基づいて、隅角開放距離及び小柱網虹彩間面積を決定することと、目標組織の位置情報及び小柱網虹彩間面積に基づいて、隅角開放距離を決定することとを含む。
図４は本発明の実施例３に係る画像処理方法のフローチャートであり、本発明の実施例は、上記の実施例におけるそれぞれの好ましい技術案と組み合わせることができる。本発明の実施例において、好ましくは、前記した位置情報に基づいて前記目標組織の指標パラメータを決定することは、目標組織の位置情報及び参照組織の位置情報に基づいて、小柱網虹彩角度を決定することと、目標組織の位置情報及び目標組織の位置情報が小柱網虹彩の頂角に達する距離に基づいて、隅角開放距離及び小柱網虹彩間面積を決定することと、目標組織の位置情報及び小柱網虹彩間面積に基づいて、隅角開放距離を決定することとを含む。
【0087】
図４に示すように、本発明の実施例の方法は、具体的に次のステップを有する。
【0088】
Ｓ３１０は、少なくとも１群の履歴画像を取得することであって、各群の履歴画像は目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報を含むことである。
【0089】
Ｓ３２０は、各群の履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における目標組織の予測位置情報を決定することである。
【0090】
Ｓ３３０は、各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて、第１の損失関数を決定することである。
【0091】
Ｓ３４０は、第１の損失関数に基づいて、画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの第１の損失関数が第１の所定損失関数閾値より小さくなると、画像識別ネットワークモデルのトレーニングが完了したと決定することである。
【0092】
Ｓ３５０は、目標対象の元画像を取得することである。
【0093】
Ｓ３６０は、元画像をトレーニングされた画像識別ネットワークモデルに入力し、目標対象における目標組織の位置情報を得ることである。
【0094】
Ｓ３７０は、目標組織の位置情報及び外界から入力された隅角開放距離に基づいて、小柱網虹彩角度を決定し、目標組織の位置情報及び隅角開放距離に基づいて、小柱網虹彩間面積を決定することである。
【0095】
例示的に、本発明の実施例において、目標組織の指標パラメータは小柱網虹彩角度と小柱網虹彩間面積の少なくとも一項であってもよいがこれらに限定されない。
【0096】
本発明の実施例において、目標組織は強膜岬であることを例とする。
【0097】
【0098】
図５の眼球の構造に従って、図６に係る目標組織の指標パラメータ決定の模式図を参照し、図６において、点２は強膜岬、３は強膜、４は毛様体である。図６の（ａ）図において、隅角開放距離（ａｎｇｌｅ ｏｐｅｎｉｎｇ ｄｉｓｔａｎｃｅ，ＡＯＤ）はユーザの要件に応じて自分に選択可能であり、例えば、５００ｕｍを選択しても７５０ｕｍを選択してもよいがここでは限定されない。
【0099】
図６の（ａ）図に示すように、ＡＯＤは強膜岬から外向きにＮｕｍ（ここでのＮは強膜岬に達する距離である）延伸し、例えば、Ｎは５００であれば、ＡＯＤ５００である。ここでの外向きに延伸するとは図６の（ａ）図の右に延伸することを指す。
【0100】
図６の（ｂ）図に示すように、ＡＯＤの値に応じて、角膜内層と虹彩内層に延長線を引き、これら２本の延長線（図６の（ｂ）図における延長線Ｐと延長線Ｑ）は１点で交差し、延長線Ｐと延長線Ｑとの間の角度は、小柱網虹彩角度（ｔｒａｂｅｃｕｌａｒ ｉｒｉｓ ａｎｇｌｅ，ＴＩＡ）である。
【0101】
図６の（ｃ）図に示すように、ＡＯＤの値及び目標組織の位置情報に応じて、目標組織からＡＯＤの境界までの領域の面積を小柱網虹彩間面積（ｔｒａｂｅｃｕｌａｒ－ｉｒｉｓ ｓｐａｃｅ ａｒｅａ，ＴＩＡＳ）とする。
【0102】
上記の計算方法に従って、目標組織の各指標パラメータを得ることができる。そのうち、図７は目標組織の各指標パラメータの概略図であり、図８は目標組織の各指標パラメータのＡＳ－ＯＣＴ図であり、図８において、ＳＳは強膜岬である。
【0103】
このようにして、後続で目標組織の指標パラメータに基づいて、目標組織が目標カテゴリに属するか否かを判断するように、目標組織の位置情報から、目標組織の指標パラメータを計算することができる。また、断隅角の開閉状況を大まかに判断することもできる。
【0104】
Ｓ３８０は、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、目標対象が目標カテゴリに属する確率値を決定し、確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することである。
【0105】
本発明の実施例の技術案では、目標組織の位置情報及び外界から入力された隅角開放距離に従って、小柱網虹彩角度を決定し、目標組織の位置情報及び隅角開放距離に基づいて、小柱網虹彩間面積を決定し、これにより、後続で目標組織の指標パラメータに基づいて目標組織が目標カテゴリに属するか否かを判断するように、目標組織の位置情報から、目標組織の指標パラメータを計算することができる。
【0106】
実施例４
図９は本発明の実施例４に係る画像処理方法のフローチャートであり、本発明の実施例は、上記の実施例におけるそれぞれの好ましい技術案と組み合わせることができる。本発明の実施例において、好ましくは、前記カテゴリ識別ネットワークモデルのトレーニング方法は、複数群の履歴パラメータ情報を取得することであって、各群の履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する目標対象の履歴タグとを含み、履歴タグは、目標対象が目標カテゴリに属することと、目標対象が目標カテゴリに属しないこととを含むことと、各群履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する目標対象は目標カテゴリである計算確率値を決定することと、計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定することと、各計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて、第２の損失関数を決定することと、第２の損失関数に基づいて、カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの第２の損失関数が第２の所定損失関数閾値より小さくなると、カテゴリ識別ネットワークモデルのトレーニングが完了したと決定することとを含む。
図９は本発明の実施例４に係る画像処理方法のフローチャートであり、本発明の実施例は、上記の実施例におけるそれぞれの好ましい技術案と組み合わせることができる。本発明の実施例において、好ましくは、前記カテゴリ識別ネットワークモデルのトレーニング方法は、複数群の履歴パラメータ情報を取得することであって、各群の履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する目標対象の履歴タグとを含み、履歴タグは、目標対象が目標カテゴリに属することと、目標対象が目標カテゴリに属しないこととを含むことと、各群履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する目標対象は目標カテゴリである計算確率値を決定することと、計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定することと、各計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて、第２の損失関数を決定することと、第２の損失関数に基づいて、カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの第２の損失関数が第２の所定損失関数閾値より小さくなると、カテゴリ識別ネットワークモデルのトレーニングが完了したと決定することとを含む。
【0107】
図９に示すように、本発明の実施例の方法は具体的に以下のステップを含む。
【0108】
Ｓ４０１は、少なくとも１群の履歴画像を取得することであって、各群の履歴画像は目標対象の履歴走査画像及び履歴走査画像における目標組織の履歴位置情報を含むことである。
【0109】
Ｓ４０２は、各群の履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における目標組織の予測位置情報を決定することである。
【0110】
Ｓ４０３は、各予測位置情報と各履歴走査画像が対応する各履歴位置情報に基づいて、第１の損失関数を決定することである。
【0111】
Ｓ４０４は、第１の損失関数に基づいて、画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの第１の損失関数が第１の所定損失関数閾値より小さくなると、画像識別ネットワークモデルのトレーニングが完了したと決定することである。
【0112】
Ｓ４０５は、複数群の履歴パラメータ情報を取得することであって、各群の履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する目標対象の履歴タグとを含み、履歴タグは、目標対象が目標カテゴリに属することと、目標対象が目標カテゴリに属しないこととを含むことである。
【0113】
例示的に、カテゴリ識別ネットワークモデルを用いて目標対象が目標カテゴリに属する確率値を決定する前に、まずは、トレーニングされたカテゴリ識別ネットワークモデルを用いて目標対象が目標カテゴリに属する確率値を決定するように、カテゴリ識別ネットワークモデルに対してトレーニングする必要がある。
【0114】
履歴パラメータ情報は目標組織の指標パラメータに関する情報を取得することであってもよい。
【0115】
具体的には、いずれか１群の履歴パラメータ情報を例とし、各群の履歴パラメータ情報は履歴指令パラメータと履歴指令パラメータに対応する目標対象の履歴タグとを含む。
【0116】
ここでの履歴指令パラメータは事前に取得された目標組織の各指標パラメータであってもよい。具体的には、例えば、前記履歴走査画像における目標組織の位置情報に従って得られた目標組織の指標パラメータであってもよい。
【0117】
履歴タグは履歴指令パラメータに対応する目標対象のタグであってもよく、ここでのタグは目標対象が目標カテゴリに属することと、目標対象が目標カテゴリに属しないこととの２種類のタグであってもよい。
【0118】
Ｓ４０６は、各群履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する目標対象は目標カテゴリである計算確率値を決定することである。
【0119】
例示的に、計算確率値はカテゴリ識別ネットワークモデルに基づいて予測して得られた履歴指令パラメータが対応する目標対象が目標カテゴリである確率値であってもよい。
【0120】
取得された複数群の履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、カテゴリ識別ネットワークモデルに基づいて、各履歴指令パラメータが対応する目標対象が目標カテゴリである計算確率値を決定することができる。
【0121】
Ｓ４０７は、計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定することである。
【0122】
例示的に、計算履歴タグは計算確率値に基づいて決定された履歴指令パラメータが対応するタグであってもよい。
【0123】
上記の得られた計算確率値に従って、各履歴指令パラメータが対応する計算履歴タグを決定することができる。
【0124】
具体的には、計算確率値の閾値を事前に設定し、得られた計算確率値が該閾値より大きい場合、該履歴指令パラメータが対応するタグは、目標対象が目標カテゴリに属することであると決定し、得られた計算確率値が該閾値よりも小さい場合、該履歴指令パラメータが対応するタグは、目標対象が目標カテゴリに属しないことであると決定してもよい。
【0125】
具体的には、例えば、トレーニングされるカテゴリ識別ネットワークモデルに基づいて、ある履歴指令パラメータの計算確率値は０．８、事前に設定された計算確率値の閾値は０．５、目標対象は眼球、目標組織は強膜岬、目標カテゴリはＰＡＣＤであることを得る。そうすると、０．８＞０．５であり、該履歴指令パラメータが対応する目標対象（眼球）はＰＡＣＤ疾患を患っていると証明する。
【0126】
Ｓ４０８は、各計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて、第２の損失関数を決定することである。
【0127】
例示的に、第２の損失関数は各履歴指令パラメータが対応する計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて決定された、トレーニングされるカテゴリ識別ネットワークモデルの損失関数であってもよい。
【0128】
各履歴指令パラメータが対応する計算履歴タグを得た後に、各履歴指令パラメータが対応する計算履歴タグと各履歴指令パラメータが対応する履歴タグとを比較し、比較結果に従って、トレーニングされるカテゴリ識別ネットワークモデルの損失関数、即ち、第２の損失関数を決定することができる。
【0129】
Ｓ４０９は、第２の損失関数に基づいて、カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの第２の損失関数が第２の所定損失関数閾値より小さくなると、カテゴリ識別ネットワークモデルのトレーニングが完了したと決定することである。
【0130】
例示的に、第２の所定損失関数閾値は事前に設定された第２の損失関数の閾値であってもよい。第２の損失関数が該閾値よりも小さい場合、トレーニングされるカテゴリ識別ネットワークモデルのトレーニングが完了したと証明する。
【0131】
得られた第２の損失関数に従って、トレーニングされるカテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションにより得られた第２の損失関数が第２の所定損失関数閾値よりも小さくなると、トレーニングされるカテゴリ識別ネットワークモデルのトレーニングが完了したと決定する。
【0132】
これにより、トレーニングが完了したカテゴリ識別ネットワークモデルに基づいて、目標対象が目標カテゴリに属するか否かを決定するように、後続の目標対象の指標パラメータを処理し、迅速的で精度よく目標対象が目標カテゴリに属する確率値を得ることができる。
【0133】
Ｓ４１０は、目標対象の元画像を取得することである。
【0134】
Ｓ４１１は、元画像をトレーニングされた画像識別ネットワークモデルに入力し、目標対象における目標組織の位置情報を得ることである。
【0135】
Ｓ４１２は、目標組織の位置情報及び外界から入力された隅角開放距離に基づいて、小柱網虹彩角度を決定し、目標組織の位置情報及び隅角開放距離に基づいて、小柱網虹彩間面積を決定することである。
【0136】
Ｓ４１３は、各指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、目標対象が目標カテゴリに属する確率値を決定し、確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することである。
【0137】
好ましくは、前記した確率値に基づいて目標対象が目標カテゴリに属するか否かを決定することは、確率値が所定確率閾値以上である場合、目標対象が目標カテゴリに属すると決定することと、確率値が所定確率閾値よりも小さい場合、目標対象が目標カテゴリに属しないと決定することとを含む。
【0138】
例示的に、所定確率閾値は事前に設定された目標対象が目標カテゴリに属する確率値の閾値であってもよい。
【0139】
得られた目標対象が目標カテゴリに属する確率値が所定確率閾値以上である場合、目標対象が目標カテゴリに属すると決定し、得られた目標対象が目標カテゴリに属する確率値が所定確率閾値よりも小さい場合、目標対象が目標カテゴリに属しないと決定する。
【0140】
本発明の実施例の技術案では、複数群の履歴パラメータ情報を用いてカテゴリ識別ネットワークモデルに対してトレーニングすることにより、トレーニングされたカテゴリ識別ネットワークモデルを得て、その結果、後続でトレーニングが完了したカテゴリ識別ネットワークモデルに基づいて、後続の目標対象の指標パラメータを処理し、迅速的で精度よく目標対象が目標カテゴリに属する確率値を得て、それにより、該確率値に従って、目標対象が目標カテゴリに属するか否かを決定し、目標カテゴリの決定時間を節約し、作動効率を向上させると同時に、カテゴリ識別ネットワークモデルを用いて目標対象が目標カテゴリに属するか否かを決定し、医師の経験値に従って決定する必要がなく、誤判断と主観的要因の影響を回避する。
【0141】
実施例５
図１０は本発明の実施例５に係る画像処理装置の構造模式図であり、図１０に示すように、該装置は、元画像取得モジュール３１、目標位置情報決定モジュール３２、指標パラメータ決定モジュール３３及び確率値決定モジュール３４を含む。
図１０は本発明の実施例５に係る画像処理装置の構造模式図であり、図１０に示すように、該装置は、元画像取得モジュール３１、目標位置情報決定モジュール３２、指標パラメータ決定モジュール３３及び確率値決定モジュール３４を含む。
【0142】
そのうち、元画像取得モジュール３１は、目標対象の元画像を取得するために用いられ、
目標位置情報決定モジュール３２は、前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得るために用いられ、
指標パラメータ決定モジュール３３は、前記位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定するために用いられ、
確率値決定モジュール３４は、各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定するために用いられる。
目標位置情報決定モジュール３２は、前記元画像をトレーニングされた画像識別ネットワークモデルに入力し、前記目標対象における目標組織の位置情報を得るために用いられ、
指標パラメータ決定モジュール３３は、前記位置情報に基づいて、前記元画像において前記目標組織の指標パラメータを決定するために用いられ、
確率値決定モジュール３４は、各前記指標パラメータをトレーニングされたカテゴリ識別ネットワークモデルに入力し、前記目標対象が目標カテゴリに属する確率値を決定し、前記確率値に基づいて前記目標対象が目標カテゴリに属するか否かを決定するために用いられる。
【0143】
本発明の実施例の技術案に加えて、該装置は、
少なくとも１群の履歴画像を取得するために用いられる履歴画像取得モジュールであって、各群の前記履歴画像は前記目標対象の履歴走査画像及び前記履歴走査画像における前記目標組織の履歴位置情報を含む履歴画像取得モジュールと、
各群の前記履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、前記画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における前記目標組織の予測位置情報を決定するために用いられる予測位置情報決定モジュールと、
各前記予測位置情報と各前記履歴走査画像が対応する各前記履歴位置情報に基づいて、第１の損失関数を決定するために用いられる第１の損失関数決定モジュールと、
前記第１の損失関数に基づいて、前記画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの前記第１の損失関数が第１の所定損失関数閾値より小さくなると、前記画像識別ネットワークモデルのトレーニングが完了したと決定するために用いられる画像識別ネットワークモデルトレーニング完了決定モジュールとをさらに含む。
少なくとも１群の履歴画像を取得するために用いられる履歴画像取得モジュールであって、各群の前記履歴画像は前記目標対象の履歴走査画像及び前記履歴走査画像における前記目標組織の履歴位置情報を含む履歴画像取得モジュールと、
各群の前記履歴走査画像をトレーニングされる画像識別ネットワークモデルに入力し、前記画像識別ネットワークモデルの出力結果に従って、各前記履歴走査画像における前記目標組織の予測位置情報を決定するために用いられる予測位置情報決定モジュールと、
各前記予測位置情報と各前記履歴走査画像が対応する各前記履歴位置情報に基づいて、第１の損失関数を決定するために用いられる第１の損失関数決定モジュールと、
前記第１の損失関数に基づいて、前記画像識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの前記第１の損失関数が第１の所定損失関数閾値より小さくなると、前記画像識別ネットワークモデルのトレーニングが完了したと決定するために用いられる画像識別ネットワークモデルトレーニング完了決定モジュールとをさらに含む。
【0144】
本発明の実施例の技術案に加えて、該装置は、
各前記履歴走査画像をグレースケール画像に変換し、グレースケール画像に変換された後の各前記履歴走査画像のサイズをサンプリングし、目標サイズの各前記履歴走査画像を得るために用いられる画像前処理モジュールをさらに含む。
各前記履歴走査画像をグレースケール画像に変換し、グレースケール画像に変換された後の各前記履歴走査画像のサイズをサンプリングし、目標サイズの各前記履歴走査画像を得るために用いられる画像前処理モジュールをさらに含む。
【0145】
本発明の実施例の技術案に加えて、予測位置情報決定モジュールは、
各前記履歴走査画像のいずれか１つの履歴走査画像の出力結果に対して、前記出力結果における前記目標組織の元位置情報を決定するために用いられる元位置情報決定ユニットであって、前記出力結果は前記元位置情報マークを含む出力画像である元位置情報決定ユニットと、
前記目標組織の元位置情報に基づいて前記出力画像をトリミングし、トリミング走査画像を得るために用いられるトリミング走査画像決定ユニットであって、前記トリミング走査画像に前記目標組織が含まれるトリミング走査画像決定ユニットと、
前記トリミング走査画像における前記目標組織の中間位置情報に基づいて、前記中間位置情報を前記出力画像にマッピングし、前記目標組織の予測位置情報を決定するために用いられる予測位置情報決定ユニットとを含む。
各前記履歴走査画像のいずれか１つの履歴走査画像の出力結果に対して、前記出力結果における前記目標組織の元位置情報を決定するために用いられる元位置情報決定ユニットであって、前記出力結果は前記元位置情報マークを含む出力画像である元位置情報決定ユニットと、
前記目標組織の元位置情報に基づいて前記出力画像をトリミングし、トリミング走査画像を得るために用いられるトリミング走査画像決定ユニットであって、前記トリミング走査画像に前記目標組織が含まれるトリミング走査画像決定ユニットと、
前記トリミング走査画像における前記目標組織の中間位置情報に基づいて、前記中間位置情報を前記出力画像にマッピングし、前記目標組織の予測位置情報を決定するために用いられる予測位置情報決定ユニットとを含む。
【0146】
好ましくは、前記指標パラメータは、少なくとも小柱網虹彩角度と小柱網虹彩間面積との１つを含む。
【0147】
本発明の実施例の技術案に加えて、指標パラメータ決定モジュール３３は、具体的に、
前記目標組織の位置情報及び外界から入力された隅角開放距離に基づいて、前記小柱網虹彩角度を決定し、前記目標組織の位置情報及び前記隅角開放距離に基づいて、前記小柱網虹彩間面積を決定するために用いられる。
前記目標組織の位置情報及び外界から入力された隅角開放距離に基づいて、前記小柱網虹彩角度を決定し、前記目標組織の位置情報及び前記隅角開放距離に基づいて、前記小柱網虹彩間面積を決定するために用いられる。
【0148】
本発明の実施例の技術案に加えて、該装置は、
複数群の履歴パラメータ情報を取得するために用いられる履歴パラメータ取得モジュールであって、各群の前記履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する前記目標対象の履歴タグとを含み、前記履歴タグは、前記目標対象が前記目標カテゴリに属することと、前記目標対象が前記目標カテゴリに属しないこととを含む履歴パラメータ取得モジュールと、
各群の前記履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する前記目標対象は前記目標カテゴリである計算確率値を決定するために用いられる計算確率値決定モジュールと、
前記計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定するために用いられる計算履歴タグ決定モジュールと、
各前記計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて、第２の損失関数を決定するために用いられる第２の損失関数決定モジュールと、
前記第２の損失関数に基づいて、前記カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの前記第２の損失関数が第２の所定損失関数閾値より小さくなると、前記カテゴリ識別ネットワークモデルのトレーニングが完了したと決定するために用いられるカテゴリ識別ネットワークモデルトレーニング完了決定モジュールとをさらに含む。
複数群の履歴パラメータ情報を取得するために用いられる履歴パラメータ取得モジュールであって、各群の前記履歴パラメータ情報は、履歴指令パラメータと履歴指令パラメータに対応する前記目標対象の履歴タグとを含み、前記履歴タグは、前記目標対象が前記目標カテゴリに属することと、前記目標対象が前記目標カテゴリに属しないこととを含む履歴パラメータ取得モジュールと、
各群の前記履歴パラメータ情報をトレーニングされるカテゴリ識別ネットワークモデルに入力し、各履歴指令パラメータが対応する前記目標対象は前記目標カテゴリである計算確率値を決定するために用いられる計算確率値決定モジュールと、
前記計算確率値に基づいて、各履歴指令パラメータが対応する計算履歴タグを決定するために用いられる計算履歴タグ決定モジュールと、
各前記計算履歴タグと各履歴指令パラメータが対応する履歴タグに基づいて、第２の損失関数を決定するために用いられる第２の損失関数決定モジュールと、
前記第２の損失関数に基づいて、前記カテゴリ識別ネットワークモデルに対してパラメータ調整を行い、いずれか１回のイタレーションの前記第２の損失関数が第２の所定損失関数閾値より小さくなると、前記カテゴリ識別ネットワークモデルのトレーニングが完了したと決定するために用いられるカテゴリ識別ネットワークモデルトレーニング完了決定モジュールとをさらに含む。
【0149】
本発明の実施例の技術案に加えて、確率値決定モジュール３４は、
前記確率値が所定確率閾値以上である場合、前記目標対象が目標カテゴリに属すると決定するために用いられる第１の判断ユニットと、
前記確率値が前記所定確率閾値よりも小さい場合、前記目標対象が目標カテゴリに属しないと決定するために用いられる第１の判断ユニットとを含む。
前記確率値が所定確率閾値以上である場合、前記目標対象が目標カテゴリに属すると決定するために用いられる第１の判断ユニットと、
前記確率値が前記所定確率閾値よりも小さい場合、前記目標対象が目標カテゴリに属しないと決定するために用いられる第１の判断ユニットとを含む。
【0150】
本発明の実施例に係る画像処理装置は、本発明のいずれの実施例に係る画像処理方法を実行可能であり、実行方法に応じた機能モジュールと有益な効果を備える。
【0151】
実施例６
図１１は本発明の実施例６に係る電子デバイスの構造模式図であり、図１１に示すように、該電子デバイスは、プロセッサ７０、メモリ７１、入力装置７２及び出力装置７３を含み、電子デバイスにおけるプロセッサ７０の数は１つ又は複数であってもよく、図１１では１つのプロセッサ７０を例とし、電子デバイスにおけるプロセッサ７０、メモリ７１、入力装置７２及び出力装置７３は、バス又は他の方法で接続可能であり、図１１ではバスでの接続を例とする。
図１１は本発明の実施例６に係る電子デバイスの構造模式図であり、図１１に示すように、該電子デバイスは、プロセッサ７０、メモリ７１、入力装置７２及び出力装置７３を含み、電子デバイスにおけるプロセッサ７０の数は１つ又は複数であってもよく、図１１では１つのプロセッサ７０を例とし、電子デバイスにおけるプロセッサ７０、メモリ７１、入力装置７２及び出力装置７３は、バス又は他の方法で接続可能であり、図１１ではバスでの接続を例とする。
【0152】
メモリ７１は、コンピュータ可読記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能プログラム、及び本発明の実施例における画像処理方法に対応するプログラム指令／モジュールなどのモジュール（例えば、元画像取得モジュール３１、目標位置情報決定モジュール３２、指標パラメータ決定モジュール３３及び確率値決定モジュール３４）に使用可能である。プロセッサ７０は、メモリ７１に記憶されたソフトウェアプログラム、指令及びモジュールを実行することにより、電子デバイスの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の画像処理方法を実現する。
【0153】
メモリ７１は、主にプログラム記憶領域及びデータ記憶領域を含んでもよく、そのうち、プログラム記憶領域は、オペレーティングシステムと少なくとも１つの機能に必要なアプリケーションプログラムとを記憶可能であり、データ記憶領域は、端末の使用に従って作成されたデータなどを記憶可能である。また、メモリ７１は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートストレージデバイスを含んでもよい。いくつかの実例において、メモリ７１は、プロセッサ７０に対して遠隔的に設定されたメモリをさらに含んでもよく、これらの遠隔メモリは、ネットワークを介して電子デバイスに接続可能である。上記のネットワークの実例は、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク、及びそれらの組み合わせを含むがこれらに限定されない。
【0154】
入力デバイス７２は、入力された数字又は文字情報を受信し、電子デバイスのユーザ設定及び機能制御に関するキー信号入力を生成するために使用可能である。出力装置７３は、表示画面などの表示デバイスを含んでもよい。
【0155】
実施例７
本発明の実施例７はコンピュータ実行可能指令を含む記憶媒体をさらに提供しており、前記コンピュータ実行可能指令がコンピュータプロセッサにより実行されるときに、画像処理方法を実行するために用いられる。
本発明の実施例７はコンピュータ実行可能指令を含む記憶媒体をさらに提供しており、前記コンピュータ実行可能指令がコンピュータプロセッサにより実行されるときに、画像処理方法を実行するために用いられる。
【0156】
勿論、本発明の実施例に係るコンピュータ実行可能指令を含む記憶媒体は、そのコンピュータ実行可能指令は上記のような方法で操作することに限定されず、本発明のいずれの実施例に係る画像処理方法における関連する操作を実行してもよい。
【0157】
上記の実施形態に関する説明を通じて、当業者は、本発明がソフトウェア及び必要な汎用ハードウェアにより実現してもよく、勿論、ハードウェアにより実現してもよいことを明確に理解することができるが、多くの場合、前者はより好ましい実施形態である。このような理解に基づいて、本発明の技術案は本質的に、又は従来の技術に寄与する部分は、ソフトウェア製品の形で具体化でき、該コンピュータソフトウェア製品はコンピュータ可読記憶媒体、例えば、コンピュータフロッピーディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、フラッシュメモリ（ＦＬＡＳＨ（登録商標））、ハードディスク又は光ディスクなどに記憶可能であり、いくつかの指令を含むことにより、１台のコンピュータ電子デバイス（パーソナルコンピュータ、サーバ、又はネットワークデバイスなどであってもよい）は、本発明の各実施例に係る方法を実行させる。
【0158】
上記の画像処理装置の実施例では、含まれる各ユニット及びモジュールは、機能論理に従って分割されるものにすぎず、対応する機能が実現可能である限り、上記の分割に限定されず、また、各機能ユニットの具体的な名称は、互いに区別するための便宜のためのものにすぎず、本発明の保護範囲を制限するために使用されるものではないことに注意されたい。
【0159】
上記は、本発明の好ましい実施例及び適用される技術原理にすぎないことに注意されたい。当業者は、本発明が本明細書に記載の特定の実施例に限定されず、当業者にとって本発明の保護範囲から逸脱することなく、様々な明らかな変更、再調整及び置換を行うことができることを理解することができる。したがって、本発明は上記の実施例を通じてより詳細に説明したが、本発明は上記の実施例に限定されず、本発明の構想から逸脱しない場合、より多くの他の同等の実施例を含むこともでき、本発明の範囲は添付の特許請求の範囲により決定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
