特許 7441830 画像評価デバイスを構成するための方法、ならびにまた画像評価方法および画像評価デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-21

(45)【発行日】2024-03-01

(54)【発明の名称】画像評価デバイスを構成するための方法、ならびにまた画像評価方法および画像評価デバイス

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240222BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 14

(21)【出願番号】P 2021517208

(86)(22)【出願日】2019-09-16

(65)【公表番号】

(43)【公表日】2022-01-11

(86)【国際出願番号】 IB2019057772

(87)【国際公開番号】W WO2020065436

(87)【国際公開日】2020-04-02

【審査請求日】2021-06-18

(31)【優先権主張番号】18197650.7

(32)【優先日】2018-09-28

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】508147326

【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド

(74)【代理人】

【識別番号】100127926

【弁理士】

【氏名又は名称】結田 純次

(74)【代理人】

【識別番号】100140132

【弁理士】

【氏名又は名称】竹林 則幸

(72)【発明者】

【氏名】フロリアン・ビュットナー

(72)【発明者】

【氏名】マルクス・ミヒャエル・ガイペル

(72)【発明者】

【氏名】ガビー・マルクアルト

(72)【発明者】

【氏名】ダニエラ・ザイデル

(72)【発明者】

【氏名】クリストフ・ティーツ

【審査官】大塚 俊範

(56)【参考文献】

【文献】カナダ国特許出願公開第０２９４８４９９（ＣＡ，Ａ１）

【文献】米国特許出願公開第２０１６／００８６０７８（ＵＳ，Ａ１）

【文献】国際公開第２０１８／０５２５８７（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１４００１４（ＷＯ，Ａ１）

【文献】国際公開第２０１８／００１６８９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０２６３５６８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像化された物体（ＯＢＪ）の物体型（ＯＴ）および物体部分型（ＯＳＴ）を決定するための画像評価デバイス（ＢＡ）を構成するための方法であって、
ａ）物体型（ＯＴ）および物体部分型（ＯＳＴ）の両方に割り当てられた多数の訓練画像（ＴＰＩＣ）が、画像フィーチャを認識するために第１のニューラルネットワークモジュール（ＣＮＮ）に供給され、
ｂ）第１のニューラルネットワークモジュール（ＣＮＮ）の訓練出力データセット（ＦＥＡ）が、画像フィーチャに基づいて物体型を認識するために、第２のニューラルネットワークモジュール（ＭＬＰ）に供給され、
ｃ）第１および第２のニューラルネットワークモジュール（ＣＮＮ、ＭＬＰ）は、該第２のニューラルネットワークモジュール（ＭＬＰ）の訓練出力データセット（ＯＯＴ）が、訓練画像（ＴＰＩＣ）に割り当てられた物体型（ＯＴ）を少なくともほぼ再生するように、一緒に訓練され、
ｄ）それぞれの物体型（ＯＴ）に対し：
該物体型（ＯＴ）に割り当てられた訓練画像（ＴＰＩＣ）は、訓練された第１のニューラルネットワークモジュール（ＣＮＮ）に供給され、
それぞれの訓練画像（ＴＰＩＣ）に対して生成された後者の訓練出力データセット（ＦＥＡ１、ＦＥＡ２）は、それぞれの訓練画像（ＴＰＩＣ）の物体部分型（ＯＳＴ）に割り当てられ、
これらの部分型割り当ては、画像評価デバイス（ＢＡ）が画像フィーチャに基づいて物体部分型（ＯＳＴ）を認識するための、部分型認識モジュール（ＢＭＬＰ１、ＢＭＬＰ２）を構成する基礎として使用される、前記方法。

【請求項2】

部分型割り当ては、画像フィーチャと物体部分型（ＯＳＴ）の間の相関の相関パラメータ（ＣＰ１、ＣＰ２）を得るための基礎として使用されること、および
部分型認識モジュール（ＢＭＬＰ１、ＢＭＬＰ２）は、相関パラメータ（ＣＰ１、ＣＰ２）に基づいて構成されることを特徴とする、請求項１に記載の方法。

【請求項3】

確率的分類器が、部分型認識モジュール（ＢＭＬＰ１、ＢＭＬＰ２）として使用される
ことを特徴とする、請求項１または２に記載の方法。

【請求項4】

部分型認識モジュール（ＢＭＬＰ１、ＢＭＬＰ２）は、第２のニューラルネットワークモジュール（ＭＬＰ）に対応する結合構造を有することを特徴とする、請求項１～３のいずれか１項に記載の方法。

【請求項5】

物体型（ＯＴ）に対して認識されるべき物体部分型（ＯＳＴ）は、所定の順序情報によって指定された秩序ある順序を形成すること、および
部分型認識モジュール（ＢＭＬＰ１、ＢＭＬＰ２）は、順序情報に基づいて構成されることを特徴とする、請求項１～４のいずれか１項に記載の方法。

【請求項6】

部分型認識モジュール（ＢＭＬＰ１、ＢＭＬＰ２）の構成中に、順序回帰が順序情報に基づいて実行されることを特徴とする、請求項５に記載の方法。

【請求項7】

確率的分類器（ＢＭＬＰ１、ＢＭＬＰ２）の構成パラメータの事前分布は、訓練された第２のニューラルネットワークモジュール（ＭＬＰ）の学習パラメータに基づいて決定されることを特徴とする、請求項３～６のいずれか１項に記載の方法。

【請求項8】

部分型認識モジュール（ＢＭＬＰ１、ＢＭＬＰ２）の構成パラメータは、第１（ＣＮＮ）および／または第２（ＭＬＰ）のニューラルネットワークモジュールの訓練パラメータに応じて設定されることを特徴とする、請求項１～７のいずれか１項に記載の方法。

【請求項9】

画像化された物体（ＯＢＪ）の物体型（ＯＴ）および物体部分型（ＯＳＴ）を決定するための画像評価方法であって、
ａ）評価されるべき画像（ＰＩＣ）が、請求項１～８のいずれか１項に記載のように訓練された第１のニューラルネットワークモジュール（ＣＮＮ）に供給され、
ｂ）訓練された第１のニューラルネットワークモジュール（ＣＮＮ）からもたらされた出力データセット（ＦＥＡ）が、請求項１～８のいずれか１項に記載のように訓練された第２のニューラルネットワークモジュール（ＭＬＰ）に供給され、
ｃ）物体型（ＯＴ）が、訓練された第２のニューラルネットワークモジュール（ＭＬＰ）からもたらされた出力データセットから得られ、
ｄ）得られた物体型（ＯＴ）の専用であり、請求項１～８のいずれか１項に記載のように構成されている、部分型認識モジュール（ＢＭＬＰ１）が選択され、
ｅ）訓練された第１のニューラルネットワークモジュール（ＣＮＮ）の出力データセット（ＦＥＡ）と相関的に関連している物体部分型（ＯＳＴ）が、選択された部分型認識モジュール（ＢＭＬＰ１）によって決定され、
ｆ）得られた物体型（ＯＴ）、およびまた決定された物体部分型（ＯＳＴ）が出力される、前記画像評価方法。

【請求項10】

相関的に関連している物体部分型（ＯＳＴ）を決定することが、訓練された第１のニューラルネットワークモジュール（ＣＮＮ）の出力データセット（ＦＥＡ）と、第１のニューラルネットワークモジュール（ＣＮＮ）の複数の記憶された訓練出力データセットとの間のそれぞれの距離を決定することを含むこと、
他の訓練出力データセットよりも距離が小さい訓練出力データセットが選択されること、および
選択された訓練出力データセットに割り当てられた物体部分型が、相関的に関連している物体部分型（ＯＳＴ）として決定されることを特徴とする、請求項９に記載の画像評価方法。

【請求項11】

第１のニューラルネットワークモジュール（ＣＮＮ）、第２のニューラルネットワーク
モジュール（ＭＬＰ）および／または部分型認識モジュール（ＢＭＬＰ１、ＢＭＬＰ２）は、人工ニューラルネットワーク、回帰ニューラルネットワーク、畳み込みニューラルネットワーク、多層パーセプトロン、ベイズニューラルネットワーク、オートエンコーダ、ディープラーニングアーキテクチャ、サポートベクタマシン、データ駆動型の訓練可能回帰モデル、ｋ最近傍分類器、物理モデルおよび／または決定木を含むことを特徴とする、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

請求項１～１１のいずれか１項に記載の方法を実行するように設計された、画像化された物体（ＯＢＪ）の物体型（ＯＴ）および物体部分型（ＯＳＴ）を決定するための画像評価デバイス（ＢＡ）。

【請求項13】

請求項１～１１のいずれか１項に記載の方法を実行するように設計されたコンピュータプログラム。

【請求項14】

請求項１３に記載のコンピュータプログラムを有するコンピュータ可読記憶媒体。

【発明の詳細な説明】

【背景技術】

【0001】

たとえば医療診断の際の画像記録の自動評価では、技術システムまたは非技術システムを監視する場合に、および／または自律システムの視覚センサ装置との関連で、機械学習法がますます使用されるようになっている。これらの方法を用いて、学習ベースの画像評価デバイスは、画像に表示された物体を自動的に認識するように、またはその物体を１つの物体型に割り当てるように訓練することができる。

【0002】

この関連で、例として、医療診断装置の画像評価デバイスは、顕微鏡写真の細胞型もしくは組織型を明確に認識するように、または顕微鏡写真をそれぞれ１つの細胞型もしくは組織型に割り当てるように訓練される。特に、画像評価デバイスは、生物細胞、たとえば血液細胞の複数の画像記録をそれぞれ、物体型として１つの細胞型に、および物体部分型としてこの細胞型の１つの発生段階に割り当てるように訓練される。

【0003】

物体型および場合により物体部分型がすでに割り当てられている非常に多くの所定の画像が、このような訓練に使用されることが多い。このような訓練画像によって、学習ベースの画像評価デバイスは、所定の物体型および場合により物体部分型を可能な限り適切に再生するように、すなわちたとえば、所定の物体型および物体部分型に関してあり得る偏差が最も少なく細胞型およびその発生段階を認識するように訓練することができる。多数の知られている学習法、特に教師あり学習法が、このような訓練を実行するために利用可能である。

【0004】

しかし、実際には、認識されるべき物体型の一部は、他の物体型よりも発生する頻度がかなり低いということがしばしば起こる。この関連で、一部の生物細胞型、特に病理的細胞型は、全細胞型の０．００５％未満の割合を占めるにすぎない。したがって、まれな物体型の利用可能な訓練画像の数は一般に、より普通の物体型のものの利用可能数よりもかなり少ない。しかし、訓練に利用可能な訓練画像が少数しかない場合には、訓練の成功すなわち認識精度が、従来の訓練法ではかなり低下する可能性がある。さらに、まれな物体型の部分型は、困難を伴ってようやく認識または差別化されることが多い。

【0005】

しかし、まさに医療分野では、いっそうまれな病理学的パターンおよび発生段階を可能な限り正確に特定することが重要であることが多い。まれな物体型をより適切に分類するために、特定の画像フィーチャが専門家によって個々に決定され、訓練がその画像フィーチャに適合されることが知られている。別法として、または加えて、訓練は、まれな物体型の十分な数の訓練画像が評価されるまで継続される。しかし、上述の手順の結果として、必要な訓練費用が、特にまれな物体型が含まれる場合に、大幅に増加することがある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、画像評価デバイスを構成するための方法、画像評価方法、およびまたより効率的な訓練を可能にする画像評価デバイスを明示することである。

【課題を解決するための手段】

【0007】

この目的は、請求項１に記載の構成を有する構成方法によって、請求項９に記載の構成を有する画像評価方法によって、請求項１２に記載の構成を有する画像評価デバイスによって、請求項１３に記載の構成を有するコンピュータプログラム製品によって、およびまた請求項１４に記載の構成を有するコンピュータ可読記憶媒体によって、達成される。

【0008】

画像化された物体の物体型および物体部分型を決定するための画像評価デバイスを構成するために、物体型および物体部分型にそれぞれ割り当てられた多数の訓練画像が、画像フィーチャを認識するために第１のニューラルネットワークモジュールに供給される。生物細胞が特に、物体として機能することができ、そのそれぞれの細胞型が物体型として決定され、そのそれぞれの発生段階または細胞状態が物体部分型として決定される。さらに、第１のニューラルネットワークモジュールの訓練出力データセットが、画像フィーチャに基づいて物体型を認識するために、第２のニューラルネットワークモジュールに供給される。本発明によれば、第１および第２のニューラルネットワークモジュールは、第２のニューラルネットワークモジュールの訓練出力データセットが、訓練画像に割り当てられた物体型を少なくともほぼ再生するように、一緒に訓練される。さらに、それぞれの物体型に対し：
－ この物体型に割り当てられた訓練画像が、訓練された第１のニューラルネットワークモジュールに供給され、
－ それぞれの訓練画像に対して生成された後者の訓練出力データセットは、それぞれの訓練画像の物体部分型に割り当てられ、
－ これらの部分型割り当ては、画像評価デバイスが画像フィーチャに基づいて物体部分型を認識するための、部分型認識モジュールを構成する基礎として使用される。

【0009】

構成をデータ駆動型訓練と物体型専用構成に分割すると、物体型専用の訓練データの不足によって生じる従来の訓練方法の多くの不都合を軽減することが可能になる。結果として、本発明による構成方法は、まれな物体型の物体部分型を決定する場合に、また一般に物体頻度の非常に不均一な分布がある場合に、特に効率的であると判明することが多い。

【0010】

本発明による、画像化された物体の物体型および物体部分型を決定するための画像評価方法が、上記のように訓練された第１および第２のニューラルネットワークモジュールによって、ならびにまた上記のように構成された部分型認識モジュールによって実現される。この場合、評価されるべき画像が、訓練された第１のニューラルネットワークモジュールに供給され、訓練された第１のニューラルネットワークモジュールからもたらされた出力データセットが、訓練された第２のニューラルネットワークモジュールに供給される。次に、物体型が、訓練された第２のニューラルネットワークモジュールからもたらされた出力データセットから得られる。さらに、得られた物体型に専用に構成された部分型認識モジュールが選択され、訓練された第１のニューラルネットワークモジュールの出力データセットと相関的に関連している物体部分型が決定される。最後に、得られた物体型、およびまた決定された物体部分型が出力される。

【0011】

本発明による構成方法に対応する、本発明による画像評価方法における分割の故に、この画像評価方法は一般に、まれな物体型の物体部分型をより確実に決定することを、特に物体頻度の非常に不均一な分布がある場合に、可能にする。

【0012】

対応する画像評価デバイス、コンピュータプログラム製品、およびまたコンピュータ可読記憶媒体が、本発明による構成方法および／または本発明による画像評価方法を実行するために提供される。

【0013】

本発明による構成方法、本発明による画像評価方法、本発明による画像評価デバイス、およびまた本発明によるコンピュータプログラム製品は、たとえば、１つまたはそれ以上のプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、および／またはいわゆる「フィールドプログラマブルゲートアレイ」（ＦＰＧＡ）によって、実行または実現される。

【0014】

本発明の有利な実施形態および展開は、従属請求項に明記されている。

【0015】

好ましくは、部分型割り当ては、画像フィーチャと物体部分型の間の相関の相関パラメータを得るための基礎として使用される。部分型認識モジュールは、相関パラメータに基づいて構成される。このような相関または相関パラメータは、まだ分類されていない所与の画像フィーチャに対して統計的標準方法を用いて、その画像フィーチャと最もよく、または十分によく相互に関連づける物体部分型を決定することを可能にする。

【0016】

本発明の１つの有利な実施形態によれば、確率的分類器、特にいわゆるベイズ分類器が、部分型認識モジュールとして使用される。この場合、推定確率および／または条件付き確率、および不確かさが相関パラメータとして使用される。確率的分類器、特にいわゆるベイズ分類器が、所与の画像フィーチャまたは他のフィーチャを、これらが所属する確率が最も高い集合に割り当てることができる。

【0017】

有利なことに、部分型認識モジュールは、第２のニューラルネットワークモジュールに対応する結合構造を有することができる。多層パーセプトロンが第２のニューラルネットワークモジュールとして使用される場合、この意味で対応する部分型認識モジュールは、多層ベイズパーセプトロンとして具現化される。対応する結合構造の場合では、第２のニューラルネットワークモジュールの学習パラメータおよびハイパーパラメータは、有利には部分型認識モジュールの構成で再使用される。

【0018】

さらに、物体型に対して認識されるべき物体部分型が、所定の順序情報によって指定された秩序ある順序を形成するという仮定のもとに、部分型認識モジュールは、順序情報に基づいて構成される。このような順序は、たとえば、諸細胞型の発生段階の時間的順序によって与えられる。

【0019】

部分型認識モジュールの構成中に、好ましくは、いわゆる順序回帰がそのような順序情報に基づいて実行される。特に、部分型認識モジュールのニューラル最終層の起動機能が適合され、かつ／またはいわゆるプロビットモデルが使用される。さらに、起動機能の起動閾値が学習される。

【0020】

本発明の別の実施形態によれば、確率的分類器の構成パラメータの事前分布が、訓練された第２のニューラルネットワークモジュールの学習パラメータに基づいて決定される。この場合では、特に、訓練によって設定または最適化されている第２のニューラルネットワークモジュールのパラメータが、学習パラメータとして指定される。特に、マルコフ連鎖モンテカルロ法、および変動ベースの、または他のベイズ導出法が、確率的分類器の構成パラメータを得るために使用される。このようにして、学習パラメータおよび学習パラメータの値分散に関する訓練によって得られた情報が、有利には部分型認識モジュールを構成するために再使用される。

【0021】

さらに、部分型認識モジュールの構成パラメータは、第１および／または第２のニューラルネットワークモジュールの訓練パラメータに応じて設定される。訓練パラメータは、訓練を制御するハイパーパラメータおよび他のパラメータとすることができ、かつ／または訓練によって取得される。

【0022】

さらに、本発明による構成方法、およびまた本発明による画像評価方法では、第１のニューラルネットワークモジュール、第２のニューラルネットワークモジュールおよび／または部分型認識モジュールは、人工ニューラルネットワーク、回帰ニューラルネットワーク、畳み込みニューラルネットワーク、多層パーセプトロン、ベイズニューラルネットワーク、オートエンコーダ、ディープラーニングアーキテクチャ、サポートベクタマシン、データ駆動型の訓練可能回帰モデル、ｋ最近傍分類器、物理モデルおよび／または決定木を含み得る。

【0023】

本発明の例示的な一実施形態について、以下で図面を参照してより詳細に説明する。ここでは、それぞれの場合で以下の概略的な図を参照する。

【図面の簡単な説明】

【0024】

【図1】本発明による画像評価デバイスの構成を示す図である。

【図2】構成された画像評価デバイスによる画像の評価を示す図である。

【発明を実施するための形態】

【0025】

図１は、評価されるべき画像上に画像化された物体を認識するための、および特に、それぞれに画像化された物体の物体型およびまた物体部分型を決定するための、本発明による画像評価デバイスＢＡの構成を示す。

【0026】

画像評価デバイスＢＡは、画像評価デバイスＢＡの方法工程を実行するための１つまたはそれ以上のプロセッサＰＲＯＣと、画像評価デバイスＢＡによって処理されるべきデータを記憶するための、プロセッサＰＲＯＣに連結された１つまたはそれ以上のメモリＭＥＭとを有する。

【0027】

この例示的な実施形態では、認識されるべき物体としての生物細胞の顕微鏡画像記録を評価するための医療画像評価デバイスＢＡが、本発明の例示的な適用例として説明される。細胞の１つまたはそれ以上の画像に基づいて、細胞の細胞型は物体型として決定されるものであり、前記細胞型の発生段階または細胞状態は、物体部分型として決定されるものである。この目的のために、画像評価デバイスＢＡは、以下で説明するように、機械学習法を用いて構成される。

【0028】

この構成の文脈では、非常に多数の以前に分類された訓練画像ＴＰＩＣ、ここでは生物細胞の顕微鏡画像記録が、画像評価デバイスＢＡによってデータベースＤＢから読み込まれる。分類されたとは、本明細書では訓練画像ＴＰＩＣが、たとえば専門家によって以前に、１つの物体型ＯＴ、すなわちたとえば細胞型に、および１つの物体部分型ＯＳＴ、すなわち発生段階または細胞状態に、それぞれ割り当てられていることを意味する。それぞれの物体型ＯＴおよび物体部分型ＯＳＴはそれぞれ、型および部分型の識別子の形で指定され、また画像評価デバイスＢＡによってデータベースＤＢから、関連した訓練画像ＴＰＩＣに割り当てられたように読み込まれる。

【0029】

読み込まれた訓練画像ＴＰＩＣは、画像評価デバイスＢＡの第１のニューラルネットワークモジュールＣＮＮに供給される。訓練画像ＴＰＩＣはここで、画像データセットによってその都度表示される。第１のニューラルネットワークモジュールＣＮＮは、好ましくは、ディープ畳み込みニューラルネットワークを形成する畳み込みニューラル層を含む。このような畳み込みニューラルネットワークは、供給画像内の画像フィーチャを効率的に認識するのに特に適している。このような画像フィーチャは、画像に含まれた縁部、角部、領域もしくは他の、特に局部的、幾何学的特性、または画像要素間の関係を特に明示することができる。

【0030】

第１のニューラルネットワークモジュールＣＮＮは、物体型認識に特に適している供給画像の画像フィーチャを抽出するように、またはその画像フィーチャを出力データとして生成するように訓練されるものである。この場合、それぞれに供給された画像の画像フィーチャは、その画像フィーチャからそれぞれ得られる、第１のニューラルネットワークモジュールＣＮＮの出力データセットによって表示される。それゆえに、前記第１のニューラルネットワークモジュールの出力データセットは、物体型認識に必須の画像フィーチャに変えられた画像データとみなすことができる。このような画像フィーチャは、フィーチャと呼ばれることも多い。

【0031】

この訓練のために、第１のニューラルネットワークモジュールＣＮＮによって訓練画像ＴＰＩＣから生成された訓練出力データセットＦＥＡは、画像評価デバイスＢＡの第２のニューラルネットワークモジュールＭＬＰに供給される。この場合、それぞれの訓練出力データセットＦＥＡは、それぞれの訓練画像ＴＰＩＣを処理することにより、その都度得られる。

【0032】

第２のニューラルネットワークモジュールＭＬＰは、好ましくは多層パーセプトロン（ＭＬＰ）を含む。このようなパーセプトロンＭＬＰは、分類タスク、ここでは画像フィーチャに基づく物体の分類、に特に適している。

【0033】

第１および第２のニューラルネットワークモジュールＣＮＮおよびＭＬＰは、ディープニューラルネットワークＤＮＮを一緒に形成する。したがって、ニューラルネットワークＣＮＮおよびＭＬＰは特に、上位ディープニューラルネットワークＤＮＮのサブネットワークとみなすこともできる。

【0034】

本発明によれば、第２のニューラルネットワークモジュールＭＬＰは、適切な画像フィーチャに基づいて所定の物体型ＯＴを認識するように訓練されるものである。

【0035】

第１のニューラルネットワークモジュールＣＮＮおよび第２のニューラルネットワークモジュールＭＬＰの両方の上記の訓練目的を達成するために、両方のネットワークモジュールＣＮＮおよびＭＬＰが一緒に訓練される。ここで試みるのは、供給された訓練出力データセットＦＥＡから第２のニューラルネットワークモジュールＭＬＰによって生成された訓練出力データセットＯＯＴが、供給された訓練画像ＴＰＩＣに以前に割り当てられた物体型ＯＴを可能な限り正確に再生することを確実にすることである。第２のニューラルネットワークモジュールＭＬＰのそれぞれの訓練出力データセットＯＯＴが、それぞれの訓練画像ＴＰＩＣを処理することにより、その都度ここで得られる。

【0036】

訓練とは一般に、たとえばニューラルネットワークのパラメータ化システムモデルの入力データセット（ここではＴＰＩＣ）をニューラルネットワークの出力データセット（ここでは訓練出力データセットＯＯＴ）にマッピングすることの最適化を意味すると理解されたい。このマッピングは、訓練段階中に、所定の基準、学習された基準および／または学習されるべき基準、によって最適化される。分類モデルでは、たとえば、分類誤り、分析誤りおよび／または予測誤りが基準として使用される。この場合、ネットワークモジュールＣＮＮおよびＭＬＰの共同訓練では、訓練出力データセットＯＯＴが、以前に割り当てられた物体型ＯＴに可能な限り頻繁に、および／または可能な限り適切に対応することを確実にしようと試みる。

【0037】

この目的のために、ネットワークモジュールＣＮＮおよびＭＬＰの学習パラメータは、第２のニューラルネットワークモジュールＭＬＰによって物体型として出力される訓練出力データセットＯＯＴが、この訓練画像ＴＰＩＣの所定の物体型ＯＴを可能な限り適切に再生するように、訓練によって設定される。この場合、学習パラメータは、たとえば、ネットワークモジュールＣＮＮおよびＭＬＰのニューロンのネットワーキング構造、ならびに／またはこれらのニューロン間の接続の重みを含み得る。

【0038】

試みられる学習パラメータの最適化は、たとえば、訓練出力データセットＯＯＴと、これに対応する所定の物体型ＯＴとの間の偏差Ｄを適切な測定法で決定することによって達成される。この場合、偏差Ｄは、ディープニューラルネットワークＤＮＮの分類誤りを表す。訓練出力データセットＯＯＴおよび所定の物体型がベクトルで表される場合、偏差Ｄは、たとえば前記ベクトルの多次元ユークリッド距離または重み付き距離として決定される。決定された偏差Ｄは、ディープニューラルネットワークＤＮＮへ、すなわち、図１の破線矢印で示されているように、ネットワークモジュールＣＮＮおよびＭＬＰの共同訓練へフィードバックされる。

【0039】

フィードバックされた偏差Ｄに基づいて、ディープニューラルネットワークＤＮＮは、この偏差Ｄを最小にするように、すなわち、所定の物体型ＯＴを出力物体型ＯＯＴによって可能な限り適切に再生するように訓練される。この目的のために、学習パラメータは、偏差Ｄが最小になるまで、または最小値に近くなるまで、標準最適化法を用いて変えられる。例として、最急降下法が最小化のために使用される。多数の標準的な機械学習法が、上記の最適化を実行するために利用可能である。

【0040】

上述の共同訓練によって、最初に第１のネットワークモジュールＣＮＮが、物体型認識に特によく適している画像フィーチャを認識または生成するように訓練され、次に第２のネットワークモジュールＭＬＰが、これらの画像フィーチャに基づいて関連物体型を決定するように同時に訓練される。

【0041】

ネットワークモジュールＣＮＮおよびＭＬＰのデータ駆動型の訓練のこの形は一般に、非常に多数の訓練画像が利用可能である分類問題に非常に成功裏に適用される。しかし、導入部ですでに述べたように、まれな物体型の物体部分型を認識する場合は特に、ディープニューラルネットワークを効率的に訓練するために利用可能な関連する訓練画像があまりに少ないということが起こるのがまれではない。

【0042】

このため、本発明によれば、物体部分型を突き止めるために、第２のニューラルネットワークモジュールＭＬＰの代わりに、確率的分類器が物体型専用の部分型認識モジュールとして使用される。このような確率的分類器は一般に、比較的少量の参照データに基づいてさえ分類を実行することができる。たとえば、その参照データは基礎として使用されて、存在するそれぞれの物体部分型のそれぞれの確率が決定され、確率が高いか最も高い物体部分型が分類結果として出力される。

【0043】

それぞれの部分型認識モジュールによる画像の部分型分類は、この画像の分類関連の画像フィーチャに基づいて実行され、それによって、訓練された第１のニューラルネットワークモジュールＣＮＮが言わば再使用されて画像フィーチャが生成される。訓練された第１のニューラルネットワークモジュールＣＮＮのこの再使用は、図１の破線矢印で示されている。

【0044】

有利なことに、いずれの場合にも物体型ごとに、専用の部分型認識モジュールが特に、画像フィーチャに基づいて物体部分型を認識するために構成される。

【0045】

この目的のために、訓練画像ＴＰＩＣ（ＯＴ、ＯＳＴ）が画像評価デバイスＢＡの分配モジュールＳＰＬに供給され、それぞれ割り当てられた物体型、ここではＯＴ１、ＯＴ２、．．．に応じて、前記モジュールによって物体型専用の構成パイプラインの間で分配される。２つの物体型ＯＴ１およびＯＴ２だけが、理解しやすいように図１に明示されている。

【0046】

この関連で、物体型ＯＴ１に割り当てられた訓練画像ＴＰＩＣ（ＯＴ１、ＯＳＴ）が、訓練された第１のニューラルネットワークモジュールＣＮＮに供給され、このＣＮＮは、ＴＰＩＣ（ＯＴ１、ＯＳＴ）から物体型ＯＴ１に専用の画像フィーチャＦＥＡ１を訓練出力データセットとして生成する。それぞれの訓練画像ＴＰＩＣ（ＯＴ１、ＯＳＴ）の画像フィーチャＦＥＡ１は、この訓練画像の物体部分型ＯＳＴに割り当てられ、この割り当てによって、物体型ＯＴ１に専用の部分型認識モジュールとしての確率的分類器ＢＭＬＰ１に伝達される。これらの物体割り当ては、この物体型ＯＴ１の物体部分型を認識するための確率的分類器ＢＭＬＰ１を構成する基礎として使用される。

【0047】

確率的分類器ＢＭＬＰ１は、好ましくはベイズニューラルネットワークとして具現化される。後者は、有利には第２のニューラルネットワークモジュールＭＬＰに対応するニューロン間の結合構造、または対応するアーキテクチャを有する。この例示的な実施形態では、確率的分類器ＢＭＬＰ１は、このように多層ベイズパーセプトロンとして実施される。

【0048】

確率的分類器ＢＭＬＰ１は、たとえば、物体型ＯＴ１の全部またはほとんど全部の訓練画像ＴＰＩＣ（ＯＴ１、ＯＳＴ）の物体型専用の画像フィーチャＦＥＡ１が、確率的分類器ＢＭＬＰ１内のそれぞれの訓練画像のそれぞれの物体部分型ＯＳＴに割り当てられたように記憶されるようにして構成される。この構成では、まれな物体型ＯＴ１の場合に必要な記憶費用が比較的少ない。さらに、結果として、ニューラルネットワークの従来の訓練の場合とは異なり、画像フィーチャおよび物体部分型の割り当てに関する全訓練情報が実質的に維持される。

【0049】

このように構成された確率的分類器ＢＭＬＰ１を用いて、ある物体部分型を認識する場合、たとえば、分類されるべき画像の画像フィーチャが、この物体型の全記憶画像フィーチャと簡単に比較され、偏差が最小であるか小さい物体部分型が分類結果として決定される。対照的に、このような比較を全訓練画像にわたって、すなわち、共通の物体型にもわたって広げることは一般に、訓練画像がしばしば非常に大量であるために、受け入れ可能な費用で実施することができない。

【0050】

別法として、または加えて、画像フィーチャＦＥＡ１を物体部分型ＯＳＴに割り当てることに基づいて、画像フィーチャＦＥＡ１と物体部分型ＯＳＴの間の統計的相関が決定され、物体専用の相関パラメータＣＰ１によって明示または表示される。確率的分類器ＢＭＬＰ１は、これらの相関または相関パラメータＣＰ１に基づいて構成される。この目的のために、多数の知られている標準的な方法を使用することが可能であり、この方法によって、ベイズニューラルネットワークの構成に必要な条件付き確率、不確かさおよび／または確率的グラフが、構成パラメータとして相関から決定される。

【0051】

さらに、特に細胞型の発生段階の分類中に、必要な、またはあり得る発生段階の順序についての順序情報が、確率的分類器ＢＭＬＰ１によって、部分型認識中の追加情報または制約として評価される。好ましくは、順序情報に基づいて、いわゆる順序回帰が、確率的分類器ＢＭＬＰ１の構成中に実行される。

【0052】

さらに、確率的分類器ＢＭＬＰ１の相関パラメータＣＰ１についてのいわゆる事前分布ＡＤが、第２のニューラルネットワークモジュールＭＬＰの学習パラメータから得られ、この学習パラメータは訓練によって、すなわち、ここではニューラル接続の最適化重みから、および／またはその重みの統計的分布から設定される。このようにして、第２のニューラルネットワークモジュールＭＬＰの学習パラメータおよび他の訓練パラメータを、図１の破線矢印で示されるように、確率的分類器ＢＭＬＰ１を構成するためのハイパーパラメータＨＰとして使用することが可能である。

【0053】

特に物体型ＯＴ１に関する上述の手順は、関連した物体型内の物体部分型を認識するための画像評価デバイスＢＡの、１つまたはそれ以上の別の物体型専用の部分型認識モジュールＢＭＬＰ２、．．．をこのように構成するために物体型ＯＴ２にも同様に実行され、場合により別の物体型にも実行される。

【0054】

新たに記録された、および／またはまだ分類されていない画像が次に、上述のように訓練および構成された画像評価デバイスＢＡによって評価されることが意図されている。

【0055】

図２は、訓練および構成された画像評価デバイスＢＡによる、物体ＯＢＪの画像ＰＩＣについてのこのような評価を示す。図１と同じ参照符号が図２に使用されている限り、同一の構成要素が示されている。

【0056】

この例示的な実施形態では、記録された物体ＯＢＪは生物細胞であり、構成された画像評価デバイスＢＡによって、その細胞型は物体型として認識されるものであり、また、その発生段階は物体部分型として認識されるものである。評価されるべき画像ＰＩＣは、カメラを備えた顕微鏡ＭＩＣによって記録される。

【0057】

記録された画像ＰＩＣは、画像評価デバイスＢＡによって読み込まれ、訓練された第１のニューラルネットワークモジュールＣＮＮに供給される。訓練された第１のニューラルネットワークモジュールＣＮＮは、画像ＰＩＣから出力データセットＦＥＡを生成し、前記出力データセットは、上述の訓練目的に応じて、好ましくは、物体型認識に特によく適している画像フィーチャを含む。訓練された第１のニューラルネットワークモジュールＣＮＮによって生成された出力データセットＦＥＡは、訓練された第１のニューラルネットワークモジュールＣＮＮによって、訓練された第２のニューラルネットワークモジュールＭＬＰへ供給される。第１のニューラルネットワークモジュールＣＮＮの出力データセットＦＥＡから、訓練された第２のニューラルネットワークモジュールＭＬＰは、上述の訓練目的に応じて、記録された物体ＯＢＪの物体型を可能な限り正確に明示するものである出力データセットを得る。この例示的な実施形態では、訓練された第２のニューラルネットワークモジュールＭＬＰの出力データセットは、物体ＯＢＪの物体型ＯＴ１を明示すると仮定されるものとする。

【0058】

訓練された第１のニューラルネットワークモジュールＣＮＮによって生成された画像フィーチャＦＥＡ、およびまた決定された物体型ＯＴ１は、画像評価デバイスＢＡの選択モジュールＳＥＬへ伝達される。選択モジュールＳＥＬは、物体型に専用にそれぞれ構成されている確率的分類器ＢＭＬＰ１、ＢＭＬＰ２、．．．に連結されており、確率的分類器ＢＭＬＰ１、ＢＭＬＰ２、．．．のうちの１つを、それぞれ得られた物体型に応じて選択する働きをする。この例示的な実施形態では、ＯＴ１は、物体型ＯＴ１に専用の確率的分類器ＢＭＬＰ１が選択モジュールＳＥＬによって選択されているので、物体型として決定された。

【0059】

さらに、画像フィーチャＦＥＡが、選択モジュールＳＥＬから、図２の点線矢印で示されているように、選択された確率的分類器ＢＭＬＰ１へ特に伝達される。選択された分類器ＢＭＬＰ１は、その相関パラメータＣＰ１に基づいて、および／または第１のニューラルネットワークモジュールＣＮＮの記憶された訓練出力データセットもしくは画像フィーチャと比較することによって、画像フィーチャＦＥＡと相互に関連づける。この場合、好ましくは、相関パラメータＣＰ１に応じて、すなわち相関性が最大であるか十分に大きい最良のものを画像フィーチャＦＥＡと相互に関連づける物体部分型が決定される。別法として、または加えて、画像フィーチャＦＥＡと、第１のニューラルネットワークモジュールＣＮＮの記憶された訓練出力データセットまたは画像フィーチャとの間の距離を突き止めることも可能である。この場合、割り当てられた訓練出力データセットが最小または十分に小さい距離を有する物体部分型が決定される。上記のように決定された物体部分型は、物体ＯＢＪの最も確からしい物体部分型ＯＳＴとみなすことができる。

【0060】

訓練された第２のニューラルネットワークモジュールＭＬＰによって決定された物体型ＯＴ１と、分類器ＢＭＬＰ１によってここで決定された物体部分型ＯＳＴとは最終的に、物体ＯＢＪの分類結果として画像評価デバイスＢＡによって出力される。

【0061】

データ駆動型の物体型認識（ビッグデータ手法と呼ばれることも多い）と、少量の訓練データ（スモールデータ）にも適している確率的な物体部分型認識とに分割される分類タスクの結果として、認識確実性が著しく改善されることが多い。このことは特に、まれな物体型の物体部分型を認識することに当てはまる。

【0062】

上述の医療診断における適用に加えて、本発明による構成方法および／または画像評価方法は、多くのさらなる技術分野で、画像化された物体を効率的に分類するために、したがってたとえば、光学的に監視する技術的もしくは非技術的システム、たとえば生産設備もしくは農業用の肥沃な土地、自律システムの光学センサ装置、または一般的な光学分類タスクなどに使用することができる。

【図1】

【図2】