知財求人 - 知財ポータルサイト「IP Force」
▶ エフ ホフマン−ラ ロッシュ アクチェン ゲゼルシャフトの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-30
(54)【発明の名称】デジタル画像を分析する方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240723BHJP
G06V 10/82 20220101ALI20240723BHJP
G06T 7/11 20170101ALI20240723BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06T7/00 630
G06T7/11
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024500663
(86)(22)【出願日】2022-07-14
(85)【翻訳文提出日】2024-03-08
(86)【国際出願番号】 EP2022069710
(87)【国際公開番号】W WO2023285584
(87)【国際公開日】2023-01-19
(31)【優先権主張番号】21185844.4
(32)【優先日】2021-07-15
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】501205108
【氏名又は名称】エフ ホフマン－ラ ロッシュ アクチェン ゲゼルシャフト
(74)【代理人】
【識別番号】110000408
【氏名又は名称】弁理士法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】アーカドゥ，フィリッポ
(72)【発明者】
【氏名】デ ヴェラ マドリー，マリア クリスティナ
(72)【発明者】
【氏名】ガメス セルナ，シトラリ
(72)【発明者】
【氏名】テシーラ，マルコ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA06
5L096BA13
5L096DA01
5L096DA02
5L096FA02
5L096FA16
5L096GA10
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
本明細書に開示されるシステムおよび方法は一般的に、胃腸障害を有する患者からの組織学的画像における陰窩の検出、セグメンテーション、および特徴付けに適用可能な、デジタル画像における孤立したまたは重畳する関心オブジェクトの検出、セグメンテーション、および特徴付けのためのシステムおよび方法に関する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ａ）少なくとも１つの関心オブジェクト（１１２）を含む入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）と、ｂ）ステップを実行するように構成されたプロセッサ（２０４）と、を含み、前記ステップは、
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を前記入力画像から取得することと、
（ｉｉ）第２の深層ニューラルネットワークＤＮＮ２（３０６）を使用して、前記第１のＲｏＩにおける前記少なくとも１つの関心オブジェクトを分類することと、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、前記第１のＲｏＩにおける前記少なくとも１つの関心オブジェクトを検出することと、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、前記少なくとも１つの分類および検出された関心オブジェクトをセグメント化することと、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）を含む、システム。
【請求項2】
前記入力画像が、複数の孤立したまたは重畳する関心オブジェクトを含む、請求項１に記載のシステム。
【請求項3】
前記入力画像が、デジタル胃腸組織学的画像である、請求項１～２のいずれか一項に記載のシステム。
【請求項4】
前記１つまたは複数の関心オブジェクトが、胃腸障害に関連する病変である、請求項１～３のいずれか一項に記載のシステム。
【請求項5】
異なる時点に関連する画像中の同じ物体の抽出された特徴の比較が、バイオマーカーの時間的発達を評価することを可能にする、請求項１～４のいずれか一項に記載のシステム。【請求項6】
前記プロセッサは、第５の深層ニューラルネットワークＤＮＮ５（５０６）によって、前記関心オブジェクトの前記分類および検知のステップを実行するように設計される、請求項１～５のいずれか一項に記載の装置。
【請求項7】
前記プロセッサは、前記少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、前記少なくとも１つの関心オブジェクトの前記分類および検出のステップを実行するように設計され、前記分類および検出のステップは１つまたは２つのＤＮＮｓを使用して実行される、請求項１～６のいずれか一項に記載のシステム。
【請求項8】
前記セグメンテーションのステップは、前記関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（６０８）を使用して実行される、請求項１～７のいずれか一項に記載のシステム。
【請求項9】
前記プロセッサが、前記入力画像上の第７の深層ニューラルネットワークＤＮＮ７（７０４）を使用して、前記少なくとも１つの関心オブジェクトの前記分類、検出、およびセグメンテーションのステップを実行する、請求項１～８のいずれか一項に記載のシステム。
【請求項10】
前記オブジェクト特徴を抽出するステップはデータ処理装置（１０２）と通信可能に結合されたデータ駆動型決定装置（１０４）によって実行され、前記データ処理装置（１０２）は前記プロセッサ（２０４）を備える、請求項１～９のいずれか一項に記載のシステム。
【請求項11】
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信することと、（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、前記入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得することと、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、前記第１のＲｏＩにおける前記少なくとも１つの関心オブジェクトを分類することと、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、前記第１のＲｏＩにおける前記少なくとも１つの関心オブジェクトを検出することと、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、前記少なくとも１つの、分類および検出された関心オブジェクトをセグメント化することと、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）を含む、コンピュータ実装方法。
【請求項12】
前記入力画像が、複数の孤立したおよび／または重畳する関心オブジェクトを含む、請求項１１に記載の方法。
【請求項13】
前記入力画像が、デジタル胃腸組織学的画像である、請求項１１～１２のいずれか一項に記載の方法。
【請求項14】
前記１つまたは複数の関心オブジェクトが、胃腸障害に関連する病変である、請求項１１～１３のいずれか一項に記載の方法。
【請求項15】
異なる時点に関連する画像中の同じ物体の抽出された特徴の比較が、バイオマーカーの時間的発達を評価することを可能にする、請求項１１～１３のいずれか一項に記載の方法。
【請求項16】
前記少なくとも１つの関心オブジェクトの前記分類および検出のステップが、第５の深層ニューラルネットワークＤＮＮ５（９０６）を使用して実行される、請求項１１～１５のいずれか一項に記載の方法。
【請求項17】
前記少なくとも１つの関心オブジェクトの前記分類および検出のステップが前記少なくとも１つの関心オブジェクトの前記セグメンテーションのステップと並行して実行され、それによって、前記分類および検出のステップが２つのＤＮＮｓを使用して実行され、それによって、前記セグメンテーションのステップが前記関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（１００８）を使用して実行される、請求項１１～１６のいずれか一項に記載の方法。
【請求項18】
前記少なくとも１つの関心オブジェクトの前記分類、検出、およびセグメンテーションのステップは前記入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行され、任意選択的に、前記深層ニューラルネットワークＤＮＮ７（１１０４）が、マスクＲ－ＣＮＮを含む、請求項１１～１７のいずれか一項に記載の方法。
【請求項19】
前記少なくとも１つの、検出され、セグメント化された関心オブジェクトの後処理（１２０６）のステップが実行される、請求項１１～１８のいずれか一項に記載の方法。
【請求項20】
前述した発明。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル画像におけるオブジェクト検出、セグメンテーション、および特徴付けに関する。本発明の様々な実施形態は、臨床生検からの撮像データにおけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムおよび方法に関し、より具体的には炎症性腸疾患（ＩＢＤ）における疾患重症度を評価するための、孤立した、重畳する陰窩の検出、セグメンテーションおよび特徴付けのためのシステムおよび方法に関するが、これらに限定されない。
【背景技術】
【0002】
デジタル画像処理はコンピュータアルゴリズムを介したデジタル画像の処理であり、産業用、環境用、および医療用撮像を含む広範な用途を有する。デジタル画像処理はハードウェア資源の改善およびソフトウェアの開発により、急速に進歩している分野である。特に、クラウドコンピューティングは、データストレージおよび計算能力の可用性を高め、標準的なコンピュータネットワークシステムに革命をもたらした。急速に成長するデジタル画像のデータセットの利用可能性は、画像処理のための機械学習（ＭＬ）アルゴリズムの実装の道を開いている。ＭＬアルゴリズムは、コンピュータが、細部の強調、画像品質の向上、またはフィルタの適用のような、様々なタスクにおける到達可能な能力を高めた結果を伴って、入力値のセットを１つまたは複数の出力特徴にマッピングする決定論的関数を学習することを可能にする。最も成功した画像処理技術は深層ラーニング（ＤＬ）アーキテクチャに代表され、これはデータセットから深層ニューラルネットワーク（ＤＮＮｓ）として表される関数を学習することができるＭＬアルゴリズムのサブセットである。
【0003】
デジタル病理学は例えば、ラジオグラフィ、磁気共鳴撮像法、トモグラフィなどの他の医療撮像モダリティとともに、デジタル画像処理の進歩から利益を得ている。ホールスライドイメージング（ＷＳＩ）の技術を駆使したデジタル病理学は、組織病理学的変化を可視化し、診断を定式化するために、スライドガラス上のヘマトキシリン・エオジン（Ｈ＆Ｅ）または他の染色物で染色された組織切片のデジタル化された画像を分析することからなる。計算病理学は、典型的には機械学習（ＭＬ）アルゴリズムの適用によって、デジタル化された組織病理学画像を分析するステップを包含する。ＭＬモデルの使用は細胞、細胞核、または腺などのより複雑な構造の正確かつ自動化されたセグメンテーションを提供することによって、組織学的診断および予後、例えば、疾患の進行または処置に対する応答における効率的な支援を可能にする。そのようなモデルは、典型的には手動で注釈を付けられた組織学的画像の大きなデータセット上で訓練される。正確で高速なセグメンテーションを達成するために、最新の深層ラーニング（ＤＬ）モデルは様々なサイズおよび形状のオブジェクトを検出し、複数のオブジェクトのセグメンテーションならびにセグメンテーション上の不確実性の推定を可能にするために、特にオブジェクト境界において、情報を最大化するために、異なる処理ユニットの組合せを使用する。既知のモデルは、結腸腺癌において非常に近接した腫瘍性腺のセグメント化に成功しているが（“MILD-Net: Minimal information loss dilated network for gland instance segmentation in colon histology images”, Graham. S. et al, Medical Image Analysis, Vol. 52, pp. 199-211 (2019); “Glandular Morphometrics for Objective Grading of Colorectal Adenocarcinoma Histology Images”, Awan R. et al, Scientific Reports 7, Art. Nr. 16852 (2017)）、マクロ腺とも呼ばれる、腺が物理的に接触または重畳する場合、個々の腺をセグメント化することができない。さらに、腺の組織学的特徴は、Ｇｅｂｏｅｓスコア（“Histopathology of Crohn’s disease and ulcerative colitis”, Geboes K., Inflammatory bowel disease 4 (2003): 210-28）およびＮａｎｃｙ Ｈｉｓｔｏｌｏｇｉｃａｌ Ｉｎｄｅｘ（ＮＨＩ）などの、ＩＢＤにおける炎症、進行、および治療に対する応答の複雑さを攻略するために広く使用されている組織学的グレーディングシステムではほとんど利用されていない。炎症に加えて、ＩＢＤおよび他の胃腸障害は、粘膜構造の歪み、陰窩密度の減少、陰窩脱落、陰窩分岐などの変化を特徴とする。したがって、既知のＤＬモデルおよびグレーディングシステムの限界を克服することが極めて重要であると考えられる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、デジタル画像における物体の検出、セグメント化、および特徴付けのための改善されたシステムおよび方法、特に、消化管炎症性疾患の重症度を評価するために、デジタル化された組織病理学画像における孤立した、重畳する腺の検出、セグメンテーション、および特徴付けに適用可能なシステムおよび方法が必要とされている。公知のモデルのさらなる制限および欠点は、図面を参照して本発明の残りの部分で説明するように、先行技術の特徴を本発明のいくつかの態様と比較することによって、当業者に明らかになるであろう。
【図面の簡単な説明】
【0005】
【図1】本発明の一実施形態による、少なくとも１つの訓練された深層ニューラルネットワークを使用した画像におけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムの例示的な例を示す図である。
【図2】本発明の一実施形態による、少なくとも１つの深層ニューラルネットワークを使用したオブジェクト検出、セグメンテーション、および特徴付けのための例示的なデータ処理装置を示すブロック図である。
【図3】本発明の実施形態による、例えば、４つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類のためのもの、１つはオブジェクト検出のためのもの、および１つはオブジェクトセグメンテーションのためのものを使用する、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムの動作のための例示的なワークフローを示す図である。
【図4】本発明の実施形態による、例えば、３つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類およびオブジェクト検出のためのもの、および１つはオブジェクトセグメンテーションのためのものを使用する、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムの動作のための例示的なワークフローを示す図である。
【図5】本発明の実施形態による、例えば、３つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類およびオブジェクト検出のためのもの、および１つはオブジェクトセグメンテーションのためのものを使用する、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムの動作のための例示的なワークフローを示す図であり、オブジェクト分類および検出は、オブジェクトセグメンテーションと並行して実行される。
【図6】本発明の実施形態による、例えば、少なくとも１つの関心領域（ＲｏＩ）を取得のため、オブジェクト分類およびオブジェクト検出のため、ならびにオブジェクト分類および検出がオブジェクトセグメンテーションと並行して実行されるオブジェクトセグメンテーションのための１つの訓練された深層ニューラルネットワークを使用する、画像におけるオブジェクト検出、セグメンテーションおよび特徴付けのためのシステムの動作のための例示的なワークフローを示す図である。
【図7】本発明の一実施形態による、例えば、４つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類のためのもの、１つはオブジェクト検出のためのもの、１つはオブジェクトセグメンテーションのためのもの、１つはオブジェクトセグメンテーションのためのものを使用して、画像におけるオブジェクト検出、セグメンテーション、および特徴化のための例示的な方法を示すフローチャートを示す図である。
【図8】本発明の実施形態による、例えば、３つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類およびオブジェクト検出のためのもの、および１つはオブジェクトセグメンテーションのためのものを使用する、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのための例示的な方法を図示するフローチャートである。
【図9】本発明の一実施形態による、例えば、３つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類およびオブジェクト検出のためのもの、および１つはオブジェクトセグメンテーションのためのものを使用して、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのための例示的な方法を図示するフローチャートである。
【図10】本発明の実施形態による、例えば、少なくとも１つの関心領域（ＲｏＩ）を取得するため、オブジェクト分類およびオブジェクト検出のため、ならびにオブジェクト分類および検出がオブジェクトセグメンテーションと並行して実行されるオブジェクトセグメンテーションのための１つの訓練された深層ニューラルネットワークを使用する、画像におけるオブジェクト検出、セグメンテーションおよび特徴付けのための例示的な方法を図示するフローチャートである。
【図11】例えば、少なくとも１つの関心領域（ＲｏＩ）を取得するため、オブジェクト分類およびオブジェクト検出のため、ならびにオブジェクトセグメンテーションのための１つの訓練された深層ニューラルネットワークを使用する、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのための例示的な方法と、それに続く、検出およびセグメント化されたオブジェクトに対する後処理ステップとを図示するフローチャートである。
【発明を実施するための形態】
【0006】
本発明は、デジタル撮像におけるオブジェクト検出、セグメンテーション、および特徴付けに関する。本発明の様々な実施形態は臨床生検からの画像データにおけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムおよび方法に関し、より具体的には炎症性腸疾患（ＩＢＤ）における炎症のレベルを評価するための、孤立した、重畳する陰窩の検出、セグメンテーション、および特徴付けのためのシステムおよび方法に関するが、これらに限定されない。
【0007】
以下で説明する実装形態は１つまたは複数の訓練された人工ニューラルネットワーク（ＡＮＮ）または教師ありニューラルネットワークの適用によって、画像内の１つまたは複数の孤立したまたは重畳する関心オブジェクトを検出およびセグメント化するために使用される、開示されたシステムおよび方法の態様を参照し、それによって、ネットワークは、ラベル付けされたメタデータを伴う１つまたは複数の関心オブジェクトを含む画像で訓練される。臨床生検からの撮像データに適用される場合、これらのネットワークは、病理学者が手動で事前に注釈を付けた組織学的画像に基づいて訓練される。開示されたシステムおよび方法が、教師なしニューラルネットワークの実装に適合されることができ、したがって、画像の大きなトレーニングデータセットの事前注釈を実行する必要がなくなることが、当業者には明らかであり得る。開示されたシステムおよび方法はさらに、関心オブジェクトを特徴づけ、それらの特徴を抽出し、それらを通してバイオマーカーの時間的発達を評価するように設計されることができる。臨床生検からの撮像データに適用される場合、抽出された腺の特徴、例えば、限定されないが、サイズ、形状および分布は、バイオマーカーの時間的発達への洞察を示すことができ、潰瘍性大腸炎およびクローン病を含む、結腸直腸腺癌、虚血性大腸炎、持続性感染性大腸炎、またはＩＢＤなどの疾患の臨床評価を改善する。
【0008】
本発明の実施形態のいくつかでは、深層ニューラルネットワーク（ＤＮＮｓ）を使用することができる。ＤＮＮｓは、入力層と、１つまたは複数の隠れ層と、出力層とを備えるネットワークである。ＤＮＮｓは低レベルのＲＡＷデータから有用な特徴を学習する能力を有し、大きなデータセット上で訓練されたとき、他の機械学習（ＭＬ）アプローチよりも優れている。
【0009】
既存のＤＮＮｓの中で、畳み込みニューラルネットワーク（ＣＮＮｓ）は、画像認識タスクに特に適している。ＣＮＮｓは、初期層内の処理ユニットが単純な局所的特徴、例えば、特定の配向またはエッジにおるパターンに応答して活性化することを学習する一方で、より深い層内のユニットが低レベル特徴をより複雑なパターンに組み合わせるように構築される。特に、領域ベースのＣＮＮｓ（Ｒ－ＣＮＮｓ）は関心オブジェクトがどこに位置することができるかを識別する領域提案を抽出し、次いで、ＣＮＮｓを適用して、オブジェクトを分類し、その周りにバウンディングボックスを定義することによって、そのオブジェクトを領域提案内に位置付ける。Ｒ－ＣＮＮｓの改善されたバージョンは領域提案を抽出する前に特徴マップを作成するために入力画像をＣＮＮに供給するＦａｓｔ Ｒ－ＣＮＮまたはＦａｓｔｅｒ Ｒ－ＣＮＮであり、適用された領域提案検索システムのみが異なる。本発明による実施形態のいくつかでは、単純な畳み込みニューラルネットワーク（ＣＮＮ）がワークフロー全体のために使用され得る。別の実施形態では、提案された関心領域（ＲｏＩ）の識別のために、ならびにオブジェクト検出のために、高速領域ベース畳み込みニューラルネットワーク（Ｆａｓｔｅｒ Ｒ－ＣＮＮ）を使用することができる。使用されるＲ－ＣＮＮはセルを検出し、それらをデカルト平面内で追跡するように指定されたセルトラッカーＲ－ＣＣではない。
【0010】
オブジェクトセグメンテーション技術における最近の進歩は、画像内のオブジェクトの単一のインスタンスを検出し分類することを可能にするインスタンスセグメンテーションモデル（ＩＳＭ）の開発につながった。ＩＳＭは２つの主要な部分、すなわち、分類およびバウンディングボックス予測を含むオブジェクト検出と、画像内の各オブジェクトについてピクセルワイズマスクを作成するオブジェクトセグメンテーションとを含む。ＩＳＭは、あらゆるピクセルをクラスのインスタンスではなくクラスに関連付けるセマンティックセグメンテーションモデルなどの他のモデルとは対照的に、複数のインスタンスの検出およびセグメンテーションに特に適している。一実施形態では、高速領域ベース畳み込みニューラルネットワーク（Ｆａｓｔｅｒ Ｒ－ＣＮＮ）が、提案された関心領域（ＲｏＩ）の識別のために、ならびにオブジェクト検出のために使用されることができ、一方、２つのＣＮＮｓを備えるマスクＣＮＮはバイナリマスクを出力するためにオブジェクトセグメンテーションのために使用することができる。
【0011】
マスクＲ－ＣＮＮは、ＩＳＭで使用されるＲ－ＣＮＮに基づく技術である。マスクＲ－ＣＮＮｓは、オブジェクト検出のための分岐と並行してオブジェクトマスクを予測するための分岐を追加することによって、より高速なＲ－ＣＮＮｓを拡張する。分類およびバウンディングボックス予測を含むオブジェクト検出を、マスク予測を含むオブジェクトセグメンテーションから切り離すことによって、マスクＲ－ＣＮＮｓ技術は、重畳するインスタンスを検出およびセグメンテーションする際に特に性能がある。一実施形態では、マスクＲ－ＣＮＮはオブジェクト検出と並行してオブジェクトセグメンテーションを実行する能力を備え、Ｆａｓｔｅｒ Ｒ－ＣＮＮおよびマスクＣＮＮを置き換えることができ、その結果、処理速度が改善され、特に重畳するオブジェクトを検出する際の精度が改善される。
【0012】
本発明で使用されるように、入力画像という用語は、デジタル画像および／またはアナログ画像のデジタル化されたバージョンを指す。
【0013】
さらに、関心オブジェクトという用語は、手動注釈付きホールスライドイメージ（ＷＳＩ）を含むがこれに限定されない様々な手段によって得られるデジタル病理画像における臨床的に関連のあるアーチファクトとして定義される。特に、これらの臨床的に関連のあるアーチファクトは腺、陰窩または核のような組織学的に関連のあるアーチファクトであり、一般的な用語である病変または構造または物体と互換的に置き換え可能である。
【0014】
さらに、孤立したという用語は他のオブジェクトから、それらの周辺ピクセルのすべてから少なくとも１つのピクセルによって孤立した、デジタル画像内のオブジェクトを指すことに留意されたい。反対に、重畳するという用語は他のオブジェクトから、その周辺ピクセルの少なくとも１つからどのピクセルによっても孤立していないデジタル画像内のオブジェクトを指し、したがって、それは、隣接するエリアを有するオブジェクトの場合を含む。本発明における腺またはその等価物のいずれかという用語に関連するマクロという用語は、重畳する腺によって覆われる領域を指す。
【0015】
さらに、本発明における分類、検出およびセグメンテーションという用語は、以下の特定の技術的意味を有することに留意されたい。分類とは、物体が例えば、花、人、車、陰窩、または任意の他のクラスのような、あるクラスに属するか否かを確立することを指す。検出は例えば、画像の周りのバウンディングボックスを予測することによって、画像内のオブジェクト位置を特定することを指す。本発明では、バウンディングボックス予測技術は、限定されないが、バウンディングボックス回帰、非最大抑制、シングルショット検出器（ＳＳＤ）を含む。セグメンテーションは上記で定義されたオブジェクトレベルで実行される分類とは対照的に、ピクセルレベルで実行される分類を指す。セグメンテーションは、ピクセルがオブジェクトのあるクラスに属するか否かに従って画像の各ピクセルを分類することからなる。セグメンテーションは、典型的には画像に適用されるバイナリフィルタであり得るマスクを使用して実行され、信号とも呼ばれる関心オブジェクトに属するピクセルと、背景とも呼ばれる関心オブジェクトに属しないピクセルとを分類する。
【0016】
本発明のいくつかの実施形態によれば、検出という用語は、本明細書で定義されるオブジェクト分類およびオブジェクト検出を含むことができる。
【0017】
本発明は本明細書に記載の実施例を参照することにより、より完全に理解されるのであろう。しかしながら、請求の範囲は、実施例の範囲に限定されると解釈されるべきではない。
【0018】
図１は本発明の一実施形態による、少なくとも１つの深層ニューラルネットワークを使用した画像におけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムの例示的な例を示す図である。図１を参照すると、システム１００は、データ処理装置１０２、データ駆動型決定装置１０４、サーバ１０６、および通信ネットワーク１０８を含むことができる。データ処理装置１０２は、通信ネットワーク１０８を介して、サーバ１０６およびデータ駆動型決定装置１０４に通信可能に結合することができる。他の実施形態では、データ処理装置１０２およびデータ駆動型決定装置１０４は単一の装置に組み込まれることができる。データ処理装置１０２は、少なくとも１つの関心オブジェクト１１２を含む画像１１０を入力として受け取ることができる。他の実施形態では、画像１１０がサーバ１０６に記憶され、サーバ１０６から通信ネットワーク１０８を介してデータ処理装置１０２に送信され得る。
【0019】
データ処理装置１０２は入力画像１１０を受信し、少なくとも１つの訓練された深層ニューラルネットワーク（ＤＮＮ）を介して、入力画像１１０内の少なくとも１つの関心オブジェクト１１２の検出およびセグメンテーションを順次実行するように設計することができる。別の実施形態では、データ処理装置１０２が単一の訓練された深層ニューラルネットワーク（ＤＮＮ）を介して、入力画像１１０内の少なくとも１つの関心オブジェクト１１２の検出およびセグメンテーションを並行して実行するように構成することができる。データ処理装置１０２は、入力画像１１０内の２つ以上の孤立した、重畳する関心オブジェクトの検出およびセグメンテーションを可能にすることができる。データ処理装置１０２は、関心オブジェクトの形状、サイズ、分布を含むがこれらに限定されない特徴の抽出を可能にすることができる。データ処理装置１０２の例としてはコンピュータワークステーション、ハンドヘルドコンピュータ、携帯電話、スマート機器が挙げられるが、これらに限定されない。
【0020】
データ駆動型決定装置１０４は、ソフトウェア、ハードウェア、またはこれらの様々な組合せを備えることができる。データ駆動型決定装置１０４はデータ処理装置１０２によって出力された入力オブジェクトおよび特徴を受け取り、例えば臨床組織学的デジタル画像において、検出されたおよびセグメント化された陰窩の前記特徴に基づいてバイオマーカーの状態を評価するように設計することができる。一実施形態では、データ駆動型決定装置１０４がサーバ１０６から、オブジェクトを含む異なる画像を処理しながら抽出された１つのオブジェクトの記憶された特徴にアクセスすることができ、それによって、これらの異なる画像は異なる時点で記録され、ラベル付けされ得る。したがって、前記実施形態では、データ駆動型決定装置１０４がオブジェクト特徴の時間的発達の評価を可能にすることができる。臨床組織学的デジタル画像の場合、オブジェクト特徴の時間的発達の評価は、バイオマーカーの時間的発達の評価に変換することができる。データ駆動型決定装置１０４の例としてはコンピュータワークステーション、ハンドヘルドコンピュータ、携帯電話、スマート機器が挙げられるが、これらに限定されない。
【0021】
サーバ１０６は、データ処理装置１０２に実装された少なくとも１つの訓練されたＤＮＮのための訓練撮像データセットを記憶するように構成され得る。いくつかの実施形態では、サーバ１０６はまた、訓練データに関連するメタデータを記憶することができる。サーバ１０６はまた、入力画像１１０、ならびに入力画像１１０に関連するいくつかのメタデータを記憶することができる。サーバ１０６は入力画像１１０を、通信ネットワーク１０８を介してデータ処理装置１０２に送信し、および／または通信ネットワーク１０８を介してデータ処理装置１０２から入力画像１１０の出力オブジェクトおよび特徴を受信するように設計することができる。サーバ１０６はまた、通信ネットワーク１０８を介してデータ駆動型決定装置１０４からオブジェクト特徴に関連付けられたスコアを受信し、記憶するように構成され得る。サーバ１０６の例はアプリケーションサーバ、クラウドサーバ、データベースサーバ、ファイルサーバ、および／または他のタイプのサーバを含むが、これらに限定されない。
【0022】
通信ネットワーク１０８は、データ処理装置１０２、データ駆動型判定装置１０４、およびサーバを通信可能に結合することができる手段を備えることができる。通信ネットワーク１０８の例はインターネット、クラウドネットワーク、Ｗｉ－Ｆｉネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、またはメトロポリタンエリアネットワーク（ＭＡＮ）を含むが、これらに限定されない。システム１００の様々なデバイスは、有線および／または無線プロトコルで通信ネットワーク１０８と接続するように構成され得る。プロトコルの例は伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ブルートゥース（登録商標）（ＢＴ）を含むが、これらに限定されない。
【0023】
少なくとも１つの訓練されたＤＮＮはデータ処理装置１０２上に展開することができ、訓練されたＤＮＮに供給された入力画像から各オブジェクトのクラス、バウンディングボックス、およびマスク、ならびに前記オブジェクトの抽出された特徴を出力するように構成することができる。少なくとも１つの訓練されたＤＮＮは、少なくとも１つの隠れ層に加えて入力層および出力層に配置された、ニューロンとも呼ばれる複数の相互接続された処理ユニットを含むことができる。各ニューロンは、重みによって調整された接続を用いて、他のニューロンに接続することができる。
【0024】
少なくとも１つの訓練されたＤＮＮは、データ処理装置１０２上に展開する前に、ランダムな重みで初期化されたＤＮＮアーキテクチャ上の訓練プロセスを通して取得され得る。訓練データセットは画像の対およびそれらのメタデータ、例えば、臨床組織学的デジタル画像の場合、事前注釈付き画像を含むことができる。メタデータは、画像内のオブジェクトの数および位置、並びに浅いまたは詳細なオブジェクト分類を含むことができる。一実施形態では、注釈が病理学者によって手動で実行されることができる。別の実施形態では、訓練プロセスがラベル付けされていない画像の訓練データセットを用いてＤＮＮアーキテクチャ上で実行される。ラベル付けされていない画像は、関連付けられたメタデータなしの画像とすることができる。ＤＮＮアーキテクチャは、教師なし学習プロセスを介して前記ラベル付けされていない画像の出力特徴を学習することができる。例示的な実施形態では、サーバ１０６は訓練データセットを記憶することができ、および／または訓練プロセスがサーバ１０６によって実行されることができる。
【0025】
いくつかの実施形態では、訓練されたＤＮＮは訓練された畳み込みニューラルネットワーク（ＣＮＮ）であり得る。ＣＮＮｓの初期層における処理ユニットは単純な局所的特徴、例えば、特定の配向またはエッジにおけるパターンに応答して活性化することを学習し、一方、より深い層におけるユニットは、低レベルの特徴をより複雑なパターンに組み合わせる。領域ベースのＣＮＮｓ（Ｒ－ＣＮＮｓ）は関心オブジェクトが位置することができる領域提案を抽出し、次いで、ＣＮＮｓを適用して、オブジェクトを分類し、その周りにバウンディングボックスを定義することによって、そのオブジェクトを領域提案内に位置付ける。
【0026】
他の実施形態では、高速領域ベース型畳み込みニューラルネットワーク（Ｆａｓｔｅｒ Ｒ－ＣＮＮ）が提案された関心領域（ＲｏＩ）の識別のために、ならびにオブジェクト検出のために使用することができ、一方、２つのＣＮＮｓを備えるマスクＣＮＮはバイナリマスクを出力するためにオブジェクトセグメンテーションのために使用することができる。別の実施形態では、マスクＲ－ＣＮＮがＦａｓｔｅｒ Ｒ－ＣＮＮおよびマスクＣＮＮを、オブジェクト検出と並行してオブジェクトセグメンテーションを実行する能力で置き換えることができ、その結果、処理速度が改善され、特に重畳するオブジェクトを検出する際の精度が改善される。マスクＲ－ＣＮＮアーキテクチャを用いて設計された実施形態における画像検出およびセグメンテーションのプロセスは例えば、図６に記載されている。
【0027】
データ駆動型決定装置１０４によって生成された画像のセットおよび関連するスコアは、ネットワークのさらなる訓練プロセスのために訓練データセットに追加されるようにサーバ１０６上に展開され得る。データ駆動型決定装置１０４によって提供される関連メタデータとしてスコアを有する画像は、教師あり学習プロセスのための代替訓練データセットとして使用することができる。いくつかの他の実施形態では、データ駆動型決定装置１０４のすべての機能がデータ処理装置１０２に実装される。
【0028】
図２は、本発明の一実施形態による、少なくとも１つの深層ニューラルネットワークを使用したオブジェクト検出、セグメンテーション、および特徴付けのための例示的なデータ処理装置を示すブロック図である。図２は、図１の要素に関連して説明される。図２を参照すると、データ処理装置１０２のブロック図２００が示される。データ処理装置１０２は、グラフィカルユーザインタフェース（ＧＵＩ）２０２Ａと、プロセッサ２０４と、メモリ２０６と、ネットワークインターフェース２０８とをさらに備える入力／出力（Ｉ／Ｏ）ユニット２０２を含むことができる。プロセッサ２０４は、メモリ２０６、Ｉ／Ｏユニット２０２、ネットワークインターフェース２０８と通信可能に結合することができる。１つまたは複数の実施形態では、データ処理装置１０２は、データ処理の結果を１つまたは複数のスコアリングシステムと相関させるための設備を含むこともできる。
【0029】
Ｉ／Ｏユニット２０２は、ユーザとデータ処理装置１０２との間のインターフェースとして機能することができる適切なロジック、回路、およびインターフェースを備えることができる。Ｉ／Ｏユニット２０２は、少なくとも１つの関心オブジェクト１１２を含む入力画像１１０を受信するように構成することができる。Ｉ／Ｏユニット２０２は、データ処理装置１０２の異なる動作構成要素を含むことができる。Ｉ／Ｏユニット２０２は、ユーザインターフェースのためのＧＵＩ２０２Ａを提供するようにプログラムすることができる。Ｉ／Ｏユニット２０２の例は限定されないが、タッチスクリーン、キーボード、マウス、ジョイスティック、マイクロフォン、および例えばＧＵＩ２０２Ａを表示するスクリーンのような表示スクリーンを含むことができる。
【0030】
ＧＵＩ２０２Ａは、ユーザとデータ処理装置１０２との間の通信を提供するように構成され得る適切なロジック、回路、およびインターフェースを備えることができる。いくつかの実施形態では、ＧＵＩがデータ処理装置１０２に通信可能にまたは機械的に結合された外部スクリーン上に表示することができる。ＧＵＩ２０２Ａを表示する画面はタッチスクリーンであってもよいし、通常の画面であってもよい。
【0031】
プロセッサ２０４は、メモリ２０６に記憶されたプログラムを実行するように構成され得る適切なロジック、回路、およびインターフェースを備えることができる。プログラムは限定されないが、オブジェクト検出およびセグメンテーションを含む、画像処理動作のための命令のセットに対応することができる。いくつかの実施形態では、命令のセットはまた、特徴抽出を含むがこれに限定されない、オブジェクト特徴付け動作を含む。プロセッサ２０４は、当技術分野で知られているいくつかのプロセッサ技術に基づいて構築することができる。プロセッサ２０４の例はグラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、マザーボード、ネットワークカードを含むことができるが、これらに限定されない。
【0032】
メモリ２０６は、プロセッサ２０４によって実行されるプログラムを記憶するように構成され得る適切なロジック、回路、およびインターフェースを備えることができる。さらに、メモリ２０６は、入力画像１１０および／またはその関連メタデータを記憶するように構成され得る。別の実施形態では、メモリはトレーニングデータセットのサブセットまたは全体を記憶することができ、いくつかの実施形態では画像の対およびそれらの関連するメタデータを含む。メモリ２０６の実装の例はランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＤＤ）、および／または他のメモリシステムを含むことができるが、これらに限定されない。
【0033】
ネットワークインターフェース２０８は、通信ネットワーク１０８を介してデータ処理装置１０２、データ駆動型決定装置１０４、およびサーバ１０６の間の通信を可能にするように構成され得る適切な論理、回路、およびインターフェースを備えることができる。ネットワークインターフェース２０８は、通信ネットワーク１０８との有線または無線通信をサポートするいくつかの既知の技術で実装することができる。ネットワークインターフェース２０８はコンピュータポート、ネットワークインターフェースコントローラ、ネットワークソケット、または任意の他のネットワークインターフェースシステムを含むことができるが、これらに限定されない。
【0034】
図３は本発明の実施形態による、例えば、４つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類のためのもの、１つはオブジェクト検出のためのもの、１つはオブジェクトセグメンテーションのためのものを使用する、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムの動作のための例示的なワークフローを図示する。図３を参照すると、例示的なワークフロー３００が示されている。ここで、例示的なニューラルネットワークはＤＮＮｎとして命名され、ｎは図３内のニューラルネットワークのいくつかの事例を区別するために使用される数である。番号付けは、異なる図の間でニューラルネットワークの事例を比較するために使用されないことに留意されたい。
【0035】
入力画像３０２は、少なくとも１つの関心オブジェクト３０２Ａを含むことができる。いくつかの実施形態では、関心オブジェクト３０２Ａがいくつかの孤立したまたは重畳するオブジェクトによって形成することができる。
【0036】
３０４において、第１の深層ニューラルネットワークＤＮＮ１が実行されることができる。訓練されたＤＮＮ１に入力画像３０２を供給して、少なくとも１つの関心オブジェクト３０２Ａが位置することができる画像内に領域提案３０４Ａを生成することができる。訓練されたＤＮＮ１は画像内にいくつかの領域提案を生成することができ、関心オブジェクトごとに１つの領域提案が、孤立したまたは重畳するいくつかの関心オブジェクトが入力画像内に存在する場合、生成することができる。いくつかの実施形態では、ＤＮＮ１アーキテクチャが領域提案ネットワーク（ＲＰＮ）などのアルゴリズムを実装することができ、このアルゴリズムは入力画像からの特徴マップ抽出のためのＣＮＮと、次いで、特徴マップ上をスライドし、関心領域（ＲｏＩ）を生成するための小型ネットワークとを備えることができる。３０６において、第２の深層ニューラルネットワークＤＮＮ２は、３０４において定義された少なくとも１つの関心領域（ＲｏＩ）３０４Ａ上で実行され得る。訓練されたＤＮＮ２は各関心領域（ＲｏＩ）における１つまたは複数の関心オブジェクトの分類を実行することができ、関心オブジェクトのクラス３０６Ａを返すことができる。いくつかの実施形態では、訓練されたＤＮＮ２がタスクを順次または並行して実行するために、いくつかの訓練されたＤＮＮｓのチェーンを備えることができる。３０８において、少なくとも１つの、分類されたオブジェクト３０６Ａに対して第３の深層ニューラルネットワークＤＮＮ３が実行されることができる。訓練されたＤＮＮ３は、３０６において分類された１つまたは複数の関心オブジェクトの検出が実行されることができる。これらの実施形態のいくつかでは、オブジェクト検出３０８を実行する訓練されたＤＮＮ３が少なくとも１つの関心オブジェクトの周りにバウンディングボックス３０８Ａを返すことができる。いくつかの実施形態では、訓練されたＤＮＮ３がタスクを順次または並行して実行するために、いくつかの訓練されたＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、ＤＮＮ３アーキテクチャがＦａｓｔ Ｒ－ＣＮＮまたはＦａｓｔｅｒ Ｒ－ＣＮＮを含むことができるが、これらに限定されない。
【0037】
３１０において、第４の深層ニューラルネットワークＤＮＮ４は、３０８において定義されたバウンディングボックス３０８Ａ内の少なくとも１つの検出されたオブジェクト上で実行され得る。訓練されたＤＮＮ４は、各バウンディングボックス内の１つまたは複数の関心オブジェクトのセグメンテーションが実行されることができる。いくつかの実施形態では、オブジェクトセグメンテーション３１０を実行するＤＮＮ４がバイナリマスク３１０Ａを返すことができ、これを介して、バウンディングボックス３０８Ａ内の各ピクセルを、関心オブジェクトまたは背景に属するものとして分類することができる。いくつかの実施形態では、ＤＮＮ４がタスクを順次または並行して実行するために、いくつかの訓練されたＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、訓練されたＤＮＮ４はＣＮＮまたはＣＮＮｓの鎖であり得る。
【0038】
３１２において、特徴３１２Ａは、１つまたは複数の、分類され、検出され、セグメント化された関心オブジェクトから抽出され得る。いくつかの実施形態では、特徴が物体の形状、サイズ、および分布を含むことができるが、これらに限定されない。いくつかの実施形態では、特徴抽出ステップ３１２がタスクを順次または並列に実行するために、１つのＤＮＮまたはＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、ＤＮＮはＣＮＮまたはＣＮＮｓの鎖であり得る。
【0039】
図４は本発明の実施形態による、例えば、３つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類およびオブジェクト検出のためのもの、および１つはオブジェクトセグメンテーションのためのものを使用する、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムの動作のための例示的なワークフローを図示する。図４を参照すると、図３に示されるワークフロー上に展開する例示的なワークフロー４００が示されている。ここで、例示的なニューラルネットワークはＤＮＮｎとして命名され、ｎは図４内のニューラルネットワークのいくつかの事例を区別するために使用される数である。番号付けは、異なる図の間でニューラルネットワークの事例を比較するために使用されないことに留意されたい。
【0040】
入力画像４０２は、少なくとも１つの関心オブジェクト４０２Ａを含むことができる。いくつかの実施形態では、関心オブジェクト４０２Ａがいくつかの孤立したまたは重畳するオブジェクトによって形成することができる。
【0041】
４０４において、第１の深層ニューラルネットワークＤＮＮ１が実行されることができる。訓練されたＤＮＮ１に入力画像４０２を供給して、少なくとも１つの関心オブジェクト４０２Ａが位置することができる画像内に領域提案４０４Ａを生成することができる。訓練されたＤＮＮ１は画像内にいくつかの領域提案を生成することができ、関心オブジェクトごとに１つの領域提案が、孤立したまたは重畳するいくつかの関心オブジェクトが入力画像内に存在する場合、生成することができる。いくつかの実施形態では、ＤＮＮ１アーキテクチャが領域提案ネットワーク（ＲＰＮ）などのアルゴリズムを実装することができ、このアルゴリズムは入力画像からの特徴マップ抽出のためのＣＮＮと、次いで、特徴マップ上をスライドし、関心領域（ＲｏＩ）を生成するための小型ネットワークとを備えることができる。
【0042】
４０６において、別の深層ニューラルネットワークＤＮＮ５が、４０４において定義された少なくとも１つの関心領域（ＲｏＩ）４０４Ａ上で実行され得る。訓練されたＤＮＮ５は各関心領域（ＲｏＩ）における１つまたは複数の関心オブジェクトの分類を実行することができ、関心オブジェクトのクラス４０６Ａを返すことができる。訓練されたＤＮＮ５は各関心領域（ＲｏＩ）内の１つまたは複数の分類された関心オブジェクトの検出を実行することができ、少なくとも１つの関心オブジェクトの周りにバウンディングボックス４０６Ｂを返すことができる。いくつかの実施形態では、訓練されたＤＮＮ５がタスクを順次または並行して実行するために、いくつかの訓練されたＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、ＤＮＮ５アーキテクチャがＦａｓｔ Ｒ－ＣＮＮまたはＦａｓｔｅｒ Ｒ－ＣＮＮを含むことができるが、これらに限定されない。
【0043】
４０８において、別の深層ニューラルネットワークＤＮＮ４が、４０６において定義されたバウンディングボックス４０６Ｂ内の少なくとも１つの検出されたオブジェクトに対して実行され得る。訓練されたＤＮＮ４は、各バウンディングボックス内の１つまたは複数の関心オブジェクトのセグメンテーションが実行されることができる。いくつかの実施形態では、オブジェクトセグメンテーション４０８を実行するＤＮＮ４がバイナリマスク４０８Ａを返すことができ、それを通して、バウンディングボックス４０６Ｂ内の各ピクセルを、関心オブジェクトまたは背景に属するものとして分類することができる。いくつかの実施形態では、ＤＮＮ４がタスクを順次または並行して実行するために、いくつかの訓練されたＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、訓練されたＤＮＮ４はＣＮＮまたはＣＮＮｓの鎖であり得る。
【0044】
４１０において、特徴４１０Ａは、１つまたは複数の、分類され、検出され、セグメント化された関心オブジェクトから抽出され得る。いくつかの実施形態では特徴が物体の形状、サイズ、および分布を含むことができるが、これらに限定されない。いくつかの実施形態では、特徴抽出ステップ４１０がタスクを順次または並列に実行するために、１つのＤＮＮまたはＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、ＤＮＮはＣＮＮまたはＣＮＮｓの鎖であり得る。
【0045】
図５は本発明の実施形態による、例えば、３つの訓練された深層ニューラルネットワーク、すなわち、１つの少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つのオブジェクト分類およびオブジェクト検出のためのもの、および１つのオブジェクトセグメンテーションのためのものを使用して、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのためのシステムの動作のための例示的なワークフローを図示し、オブジェクト分類および検出は、オブジェクトセグメンテーションと並行して実行される。図５を参照すると、例示的なワークフロー５００が示されている。ここで、例示的なニューラルネットワークはＤＮＮｎとして命名され、ｎは図５内のニューラルネットワークのいくつかの事例を区別するために使用される数である。番号付けは、異なる図の間でニューラルネットワークの事例を比較するために使用されないことに留意されたい。
【0046】
入力画像５０２は、少なくとも１つの関心オブジェクト５０２Ａを含むことができる。いくつかの実施形態では、関心オブジェクト５０２Ａがいくつかの孤立したまたは重畳するオブジェクトによって形成することができる。
【0047】
５０４において、第１の深層ニューラルネットワークＤＮＮ１が実行されることができる。訓練されたＤＮＮ１に入力画像５０２を供給して、少なくとも１つの関心オブジェクト５０２Ａが位置することができる画像内に領域提案５０４Ａを生成することができる。訓練されたＤＮＮ１は画像内にいくつかの領域提案を生成することができ、関心オブジェクトごとに１つの領域提案が、孤立したまたは重畳するいくつかの関心オブジェクトが入力画像内に存在する場合、生成することができる。いくつかの実施形態では、ＤＮＮ１アーキテクチャが領域提案ネットワーク（ＲＰＮ）などのアルゴリズムを実装することができ、このアルゴリズムは入力画像からの特徴マップ抽出のためのＣＮＮと、次いで、特徴マップ上をスライドし、関心領域（ＲｏＩ）を生成するための小型ネットワークとを備えることができる。
【0048】
５０６において、別の深層ニューラルネットワークＤＮＮ５が、５０４において定義された少なくとも１つの関心領域（ＲｏＩ）５０４Ａ上で実行され得る。訓練されたＤＮＮ５は各関心領域（ＲｏＩ）における１つまたは複数の関心オブジェクトの分類を実行することができ、関心オブジェクトのクラス５０６Ａを返すことができる。訓練されたＤＮＮ５は各関心領域（ＲｏＩ）内の１つまたは複数の分類された関心オブジェクトの検出を実行することができ、少なくとも１つの関心オブジェクトの周りにバウンディングボックス５０６Ｂを返すことができる。いくつかの実施形態では、訓練されたＤＮＮ５がタスクを順次または並行して実行するために、いくつかの訓練されたＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、ＤＮＮ５アーキテクチャがＦａｓｔ Ｒ－ＣＮＮまたはＦａｓｔｅｒ Ｒ－ＣＮＮを含むことができるが、これらに限定されない。
【0049】
５０８において、別の深層ニューラルネットワークＤＮＮ６が、５０６において定義されたバウンディングボックス５０６Ｂ内の少なくとも１つの検出されたオブジェクトに対して実行され得る。訓練されたＤＮＮ６は、各関心領域（ＲｏＩ）における１つまたは複数の関心オブジェクトのセグメンテーションが実行されることができる。いくつかの実施形態では、オブジェクトセグメンテーション５０８を実行するＤＮＮ６がバイナリマスク５０８Ａを返すことができ、それを通して、バウンディングボックス５０６Ｂ内の各ピクセルを、関心オブジェクトまたは背景に属するものとして分類することができる。いくつかの実施形態では、ＤＮＮ６がタスクを順次または並行して実行するために、いくつかの訓練されたＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、訓練されたＤＮＮ６アーキテクチャはＣＮＮ、Ｒ－ＣＮＮ、またはＣＮＮもしくはＲ－ＣＮＮｓのチェーンを含むことができる。
【0050】
５１０において、特徴５１０Ａは、１つまたは複数の、分類され、検出され、セグメント化された関心オブジェクトから抽出され得る。いくつかの実施形態では、特徴が物体の形状、サイズ、および分布を含むことができるが、これらに限定されない。いくつかの実施形態では、特徴抽出ステップ５１０はタスクを順次または並列に実行するために、１つのＤＮＮまたはＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、ＤＮＮはＣＮＮまたはＣＮＮｓの鎖であり得る。
【0051】
図６は、本発明の実施形態による、オブジェクト分類および検出がオブジェクトセグメンテーションと並行して実行される、例えば少なくとも１つの関心領域（ＲｏＩ）を取得するため、オブジェクト分類およびオブジェクト検出のため、ならびにオブジェクトセグメンテーションのための、例えば１つの訓練された深層ニューラルネットワークを使用する画像におけるオブジェクト検出、セグメンテーションおよび特徴付けのためのシステムの動作の例示的なワークフローを示す。図６を参照すると、例示的なワークフロー６００が示されている。ここで、例示的なニューラルネットワークはＤＮＮｎとして命名され、ｎは図６内のニューラルネットワークのいくつかの事例を区別するために使用される数である。番号付けは、異なる図の間でニューラルネットワークの事例を比較するために使用されないことに留意されたい。
【0052】
入力画像６０２は、少なくとも１つの関心オブジェクト６０２Ａを含むことができる。いくつかの実施形態では、関心オブジェクト６０２Ａがいくつかの孤立したまたは重畳するオブジェクトによって形成することができる。
【0053】
６０４において、深層ニューラルネットワークＤＮＮ７が実行されることができる。訓練されたＤＮＮ７は、少なくとも１つの関心オブジェクト６０２Ａが位置することができる画像内に領域提案６０４Ａを生成することができる。訓練されたＤＮＮ７は画像内にいくつかの領域提案を生成することができ、関心オブジェクトごとに１つの領域提案が、孤立したまたは重畳するいくつかの関心オブジェクトが入力画像内に存在する場合、生成することができる。いくつかの実施形態では、ＤＮＮ７アーキテクチャが領域提案ネットワーク（ＲＰＮ）などのアルゴリズムを実装することができ、このアルゴリズムは入力画像からの特徴マップ抽出のためのＣＮＮと、次いで、特徴マップ上をスライドし、関心領域（ＲｏＩ）を生成するための小型ネットワークとを備えることができる。さらに、訓練されたＤＮＮ７は各関心領域（ＲｏＩ）における１つまたは複数の関心オブジェクトの分類を実行することができ、関心オブジェクトのクラス６０４Ｂを返すことができる。訓練されたＤＮＮ７は各関心領域（ＲｏＩ）内の１つまたは複数の分類された関心オブジェクトの検出を実行することができ、少なくとも１つの関心オブジェクトの周りにバウンディングボックス６０４Ｃを返すことができる。いくつかの実施形態では、訓練されたＤＮＮ７はタスクを順次または並行して実行するために、いくつかの訓練されたＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、ＤＮＮ５アーキテクチャがＦａｓｔ Ｒ－ＣＮＮまたはＦａｓｔｅｒ Ｒ－ＣＮＮを含むことができるが、これらに限定されない。
【0054】
さらに、訓練されたＤＮＮ７は、各関心領域（ＲｏＩ）における１つまたは複数の関心オブジェクトのセグメンテーションが実行されることができる。いくつかの実施形態では、オブジェクトセグメンテーションを実行するＤＮＮ７がバイナリマスク６０４Ｄを返すことができ、それを通して、バウンディングボックス６０４Ｃ内の各ピクセルは関心オブジェクトまたは背景に属するものとして分類され得る。いくつかの実施形態では、ＤＮＮ７はタスクを順次または並行して実行するために、いくつかの訓練されたＤＮＮｓのチェーンを備えることができる。いくつかの実施形態では、訓練されたＤＮＮ７アーキテクチャがＣＮＮ、Ｒ－ＣＮＮ、またはＣＮＮｓもしくはＲ－ＣＮＮｓの連鎖を含むことができる。別の実施形態では、訓練されたＤＮＮ７アーキテクチャがＦａｓｔ Ｒ－ＣＮＮまたはＦａｓｔｅｒ Ｒ－ＣＮＮおよび／またはマスクＲ－ＣＮＮを含むことができる。
【0055】
図７は、本発明の一実施形態による、例えば、４つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類のためのもの、１つはオブジェクト検出のためのもの、１つはオブジェクトセグメンテーションのためのものを使用して、画像におけるオブジェクト検出、セグメンテーション、および特徴化のための例示的な方法を示すフローチャートである。図７を参照すると、例示的なフローチャート７００が示されている。ここで、例示的なニューラルネットワークはＤＮＮｎとして命名され、ｎは図７内のニューラルネットワークのいくつかの事例を区別するために使用される数である。番号付けは、異なる図の間でニューラルネットワークの事例を比較するために使用されないことに留意されたい。７０２から７１２までの動作、またはその中のサブセットは任意のコンピューティングシステム、例えば、データ処理装置１０２および／またはデータ駆動型決定装置１０４上で実装され得る。
【0056】
７０２において、入力画像を受信することができる。いくつかの実施形態では、入力画像がいくつかのデータベースから受信することができる。入力画像は、少なくとも１つの関心オブジェクトを含むことができる。
【0057】
７０４において、少なくとも１つの関心領域（ＲｏＩ）は、入力画像上の訓練された深層ニューラルネットワークＤＮＮ１を介して、少なくとも１つの関心オブジェクトのために取得され得る。
【0058】
７０６において、少なくとも１つの関心領域（ＲｏＩ）上の訓練された深層ニューラルネットワークＤＮＮ２を介して、少なくとも１つの関心オブジェクトを分類することができる。
【0059】
７０８において、少なくとも１つの関心オブジェクトは、少なくとも１つの、分類されたオブジェクト上の訓練された深層ニューラルネットワークＤＮＮ３を介して検出され得る。訓練されたＤＮＮ３は、バウンディングボックス回帰のステップを含むことができる。
【0060】
７１０において、少なくとも１つの検出された関心オブジェクトは、少なくとも１つの、分類されたオブジェクト上の訓練された深層ニューラルネットワークＤＮＮ４を介してセグメント化され得る。訓練されたＤＮＮ４は、バイナリマスクを生成することができる。
【0061】
７１２において、少なくとも１つのセグメント化された関心オブジェクトから特徴を抽出することができる。いくつかの実施形態では、特徴抽出ステップが訓練されたＤＮＮを介して実行され得る。
【0062】
図８は本発明の実施形態による、例えば、３つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類およびオブジェクト検出のためのもの、および１つはオブジェクトセグメンテーションのためのものを使用する画像におけるオブジェクト検出、セグメンテーション、および特徴付けのための例示的な方法を示すフローチャートである。図８を参照すると、例示的なフローチャート８００が示されている。ここで、例示的なニューラルネットワークはＤＮＮｎとして命名され、ｎは図８内のニューラルネットワークのいくつかの事例を区別するために使用される数である。番号付けは、異なる図の間でニューラルネットワークの事例を比較するために使用されないことに留意されたい。８０２から８１０までの動作、またはその中のサブセットは任意のコンピューティングシステム、例えば、データ処理装置１０２および／またはデータ駆動型決定装置１０４上で実装され得る。
【0063】
８０２において、入力画像を受信することができる。いくつかの実施形態では、入力画像がいくつかのデータベースから受信することができる。入力画像は、少なくとも１つの関心オブジェクトを含むことができる。
【0064】
８０４において、少なくとも１つの関心領域（ＲｏＩ）は、入力画像上の訓練された深層ニューラルネットワークＤＮＮ１を介して、少なくとも１つの関心オブジェクトのために取得され得る。
【0065】
８０６において、少なくとも１つの関心領域（ＲｏＩ）上の訓練された深層ニューラルネットワークＤＮＮ５を介して、少なくとも１つの関心オブジェクトを分類および検出することができる。訓練されたＤＮＮ５は、バウンディングボックス回帰のステップを含むことができる。
【0066】
８０８において、少なくとも１つの検出された関心オブジェクトは、少なくとも１つの、分類されたオブジェクト上の訓練された深層ニューラルネットワークＤＮＮ４を介してセグメント化され得る。訓練されたＤＮＮ４は、バイナリマスクを生成することができる。
【0067】
８１０において、少なくとも１つのセグメント化された関心オブジェクトから特徴を抽出することができる。いくつかの実施形態では、特徴抽出ステップが訓練されたＤＮＮを介して実行され得る。
【0068】
図９は本発明の一実施形態による、例えば、３つの訓練された深層ニューラルネットワーク、すなわち、１つは少なくとも１つの関心領域（ＲｏＩ）を取得するためのもの、１つはオブジェクト分類およびオブジェクト検出のためのもの、および１つはオブジェクトセグメンテーションのためのものを使用して、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのための例示的な方法を示すフローチャートである。図９を参照すると、例示的なフローチャート９００が示されている。ここで、例示的なニューラルネットワークはＤＮＮｎとして命名され、ｎは図９内のニューラルネットワークのいくつかの事例を区別するために使用される数である。番号付けは、異なる図の間でニューラルネットワークの事例を比較するために使用されないことに留意されたい。９０２から９１０までの動作、またはその中のサブセットは任意のコンピューティングシステム、例えば、データ処理装置１０２および／またはデータ駆動型決定装置１０４上で実装され得る。
【0069】
９０２において、入力画像を受信することができる。いくつかの実施形態では、入力画像がいくつかのデータベースから受信することができる。入力画像は、少なくとも１つの関心オブジェクトを含むことができる。
【0070】
９０４において、少なくとも１つの関心領域（ＲｏＩ）は、入力画像上の訓練された深層ニューラルネットワークＤＮＮ１を介して、少なくとも１つの関心オブジェクトのために取得され得る。
【0071】
９０６において、少なくとも１つの関心領域（ＲｏＩ）上の訓練された深層ニューラルネットワークＤＮＮ５を介して、少なくとも１つの関心オブジェクトを分類および検出することができる。訓練されたＤＮＮ５は、バウンディングボックス回帰のステップを含むことができる。
【0072】
９０８において、少なくとも１つの関心領域（ＲｏＩ）上の訓練された深層ニューラルネットワークＤＮＮ６を介して、少なくとも１つの関心オブジェクトをセグメント化することができる。訓練されたＤＮＮ６は、バイナリマスクを生成することができる。いくつかの実施形態では、訓練されたＤＮＮ５およびＤＮＮ６が少なくとも１つの関心領域（ＲｏＩ）上で並列に実行される。
【0073】
９１０において、少なくとも１つの、検出され、セグメント化された関心オブジェクトから特徴を抽出することができる。いくつかの実施形態では、特徴抽出ステップが訓練されたＤＮＮを介して実行され得る。
【0074】
図１０は、本発明の実施形態による、少なくとも１つの関心領域（ＲｏＩ）を取得するため、オブジェクト分類およびオブジェクト検出のため、ならびにオブジェクト分類および検出がオブジェクトセグメンテーションと並行して実行されるオブジェクトセグメンテーションのための、例えば１つの訓練された深層ニューラルネットワークを使用する、画像におけるオブジェクト検出、セグメンテーションおよび特徴付けのための例示的な方法を示すフローチャートである。図１０を参照すると、例示的なフローチャート１０００が示されている。ここで、例示的なニューラルネットワークはＤＮＮｎとして命名され、ｎは図１０内のニューラルネットワークのいくつかの事例を区別するために使用される数である。番号付けは、異なる図の間でニューラルネットワークの事例を比較するために使用されないことに留意されたい。１００２から１００６までの動作、またはその中のサブセットは任意のコンピューティングシステム、例えば、データ処理装置１０２および／またはデータ駆動型決定装置１０４上で実装され得る。
【0075】
１００２において、入力画像を受信することができる。いくつかの実施形態では、入力画像がいくつかのデータベースから受信することができる。入力画像は、少なくとも１つの関心オブジェクトを含むことができる。
【0076】
１００４において、少なくとも１つの関心領域（ＲｏＩ）は、入力画像上の訓練された深層ニューラルネットワークＤＮＮ７を介して、少なくとも１つの関心オブジェクトのために取得され得る。さらに、少なくとも１つの関心オブジェクトは、少なくとも１つの関心領域（ＲｏＩ）において分類され、検出され得る。オブジェクト検出は、バウンディングボックス回帰のステップを含むことができる。さらに、少なくとも１つの関心オブジェクトは、少なくとも１つの関心領域（ＲｏＩ）においてセグメント化され得る。オブジェクトセグメンテーションは、バイナリマスクを生成するステップを含むことができる。いくつかの実施形態では、オブジェクト分類および検出のステップがオブジェクトセグメンテーションのステップと並行して実行される。
【0077】
１００６において、少なくとも１つの、検出され、セグメント化された関心オブジェクトから特徴を抽出することができる。いくつかの実施形態では、特徴抽出ステップが訓練されたＤＮＮを介して実行され得る。
【0078】
図１１は、少なくとも１つの関心領域（ＲｏＩ）を取得するため、オブジェクト分類およびオブジェクト検出のため、ならびにオブジェクトセグメンテーションのための、例えば１つの訓練された深層ニューラルネットワークを使用する、画像におけるオブジェクト検出、セグメンテーション、および特徴付けのための例示的な方法と、それに続く、検出およびセグメント化されたオブジェクトに対する後処理ステップとを図示する、フローチャートである。図１１を参照すると、例示的なフローチャート１１００が示されている。ここで、例示的なニューラルネットワークはＤＮＮｎとして命名され、ｎは図１１内のニューラルネットワークのいくつかの事例を区別するために使用される数である。番号付けは、異なる図の間でニューラルネットワークの事例を比較するために使用されないことに留意されたい。１１０２から１１０８までの動作、またはその中のサブセットは任意のコンピューティングシステム、例えば、データ処理装置１０２および／またはデータ駆動型決定装置１０４上で実装され得る。
【0079】
１１０２において、入力画像を受信することができる。いくつかの実施形態では、入力画像がいくつかのデータベースから受信することができる。入力画像は、少なくとも１つの関心オブジェクトを含むことができる。
【0080】
１１０４において、少なくとも１つの関心領域（ＲｏＩ）は、入力画像上の訓練された深層ニューラルネットワークＤＮＮ７を介して、少なくとも１つの関心オブジェクトのために取得され得る。さらに、少なくとも１つの関心オブジェクトは、少なくとも１つの関心領域（ＲｏＩ）において分類され、検出され得る。オブジェクト検出は、バウンディングボックス回帰のステップを含むことができる。さらに、少なくとも１つの関心オブジェクトは、少なくとも１つの関心領域（ＲｏＩ）においてセグメント化され得る。オブジェクトセグメンテーションは、バイナリマスクを生成するステップを含むことができる。いくつかの実施形態では、オブジェクト分類および検出のステップがオブジェクトセグメンテーションのステップと並行して実行される。
【0081】
１１０６において、検出され、セグメント化されたオブジェクトに対する後処理ステップが実行されることができる。一実施形態では、セグメンテーションパフォーマンスに関連する不確実性が推定することができ、したがって、前記不確実性に基づいて、オブジェクトはこの段階で、将来の処理から除外することができる。
【0082】
１１０８において、少なくとも１つの、検出され、セグメント化された関心オブジェクトから特徴を抽出することができる。いくつかの実施形態では、特徴抽出ステップが訓練されたＤＮＮを介して実行され得る。
【0083】
以下に、本発明のさらなる特定の実施形態を列挙する。
１．一実施形態では、システムが開示され、システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）を含む入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）、および／または、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）含む。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および／または、
（ｉｉ）第２の深層ニューラルネットワークＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
２．一実施形態では、システムが開示され、システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）を含む入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）、および／または、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）から構成される。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および／または、
（ｉｉ）第２の深層ニューラルネットワークＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
３．一実施形態では、システムが開示され、システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）からなる入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）、および／または、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）を含む。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および／または、
（ｉｉ）第２の深層ニューラルネットワークＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
４．一実施形態では、システムが開示され、システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）からなる入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）、および／または、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）から構成される。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および／または、
（ｉｉ）第２の深層ニューラルネットワーク、ＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
５．システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）を含む入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）と、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）とを含む。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および、
（ｉｉ）第２の深層ニューラルネットワークＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
６．別の実施形態では、実施形態１～５のいずれかによるシステムが開示され、プロセッサ（２０４）は実施形態１～５のステップ（ｉ）～（ｖ）を順次実行するように構成される。
７．別の実施形態では、実施形態１～４のいずれかによるシステムが開示され、プロセッサ（２０４）は実施形態１～４のステップ（ｉ）～（ｖ）のサブセットを順次実行するように構成される。
８．別の実施形態では、実施形態１～７のいずれかによるシステムが開示され、入力画像は複数の孤立したおよび／または重畳する関心オブジェクトを含む。
９．別の実施形態では、実施形態１～４のいずれかによるシステムが開示され、入力画像は複数の孤立したまたは重畳する関心オブジェクトを含み、および／またはプロセッサは各関心オブジェクトについて実施形態１～４のいずれかの全てのステップを実行するように構成される。
１０．別の実施形態では、実施形態１～９のいずれかによるシステムが開示され、入力画像は複数の孤立したまたは重畳する関心オブジェクトを含む。
１１．別の実施形態では、実施形態１～１０のいずれかによるシステムが開示され、入力画像は複数の孤立した関心オブジェクトを含む。
１２．別の実施形態では、実施形態１～１０のいずれかによるシステムが開示され、入力画像は複数の重畳する関心オブジェクトを含む。
１３．別の実施形態では、実施形態１～１２のいずれかによるシステムが開示され、入力画像はデジタル胃腸組織学的画像である。
１４．別の実施形態では、実施形態１～１３のいずれかによるシステムが開示され、入力画像はデジタル胃腸組織学的画像であり、および／または１つまたは複数の関心オブジェクトは胃腸障害に関連する病変である。
１５．別の実施形態では、実施形態１～１４のいずれかによるシステムが開示され、入力画像はデジタル胃腸組織学的画像であり、および／または１つまたは複数の関心オブジェクトは胃腸障害に関連する病変であり、および／または異なる時点に関連する画像中の同じオブジェクトの抽出された特徴の比較はバイオマーカーの時間的発達を評価することを可能にする。
１６．別の実施形態では、実施形態１～１５のいずれかによるシステムが開示され、入力画像はデジタル胃腸組織学的画像である。
１７．別の実施形態では、実施形態１～１６のいずれかによるシステムが開示され、１つまたは複数の関心オブジェクトが胃腸障害に関連する病変である。
１８．別の実施形態では、実施形態１～１７のいずれかに記載のシステムが開示され、異なる時点に関連する画像中の同じ物体の抽出された特徴の比較がバイオマーカーの時間的発達を評価することを可能にする。
１９．別の実施形態では、実施形態１～１８のいずれかに記載の装置が開示され、プロセッサが第５の深層ニューラルネットワークＤＮＮ５（５０６）の手段によって関心オブジェクトの分類および検知のステップを実行するように設計される。
２０．別の実施形態では、実施形態１～１９のいずれかによるシステムが開示され、プロセッサは少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計される。
２１．別の実施形態では、実施形態１～２０のいずれかによるシステムが開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行される。
２２．別の実施形態では、実施形態１～２０のいずれかによるシステムが開示され、プロセッサは少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップは１つのＤＮＮを使用して実行される。
２３．別の実施形態では、実施形態１～２０のいずれかによるシステムが開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが２つのＤＮＮｓを使用して実行される。
２４．別の実施形態では、実施形態１～２３のいずれかによるシステムが開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行され、および／またはセグメンテーションのステップが関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（６０８）を使用して実行される。
２５．別の実施形態では、実施形態１～２４のいずれかによるシステムが開示され、プロセッサは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（７０４）を使用して、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップを実行する。
２６．別の実施形態では、実施形態１～２５のいずれかによるシステムが開示され、オブジェクト特徴を抽出するステップはデータ処理装置（１０２）と通信可能に結合されたデータ駆動型決定装置（１０４）によって実行され、データ処理装置（１０２）はプロセッサ（２０４）を備える。
２７．一実施形態では、以下のステップを含むコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を得ること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
２８．一実施形態では、以下のステップを含むコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
２９．一実施形態では、以下のステップからなるコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
３０．一実施形態では、以下のステップを含むコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
３１．一実施形態では、以下のステップからなるコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６を使用して）、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
３２．別の実施形態では、実施形態２７～３１のいずれかに記載の方法が開示され、実施形態１８～２１のステップが順次実行される。
３３．別の実施形態では、実施形態２７～３１のいずれかによる方法が開示され、実施形態１～４のステップのサブセットが順次実行される。
３４．別の実施形態では、実施形態２７～３３のいずれかによる方法が開示され、入力画像は複数の孤立したおよび／または重畳する関心オブジェクトを含む。
３５．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の孤立したおよび／または重畳する関心オブジェクトを含み、および／またはプロセッサは関心オブジェクトのそれぞれについて、実施形態２７～３４のいずれかの全てのステップを実行するように構成される。
３６．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の孤立した重畳する関心オブジェクトを含む。
３７．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の孤立したまたは重畳する関心オブジェクトを含む。
３８．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の孤立した関心オブジェクトを含む。
３９．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の重畳する関心オブジェクトを含む。
４０．別の実施形態では、実施形態２７～３９のいずれかによる方法が開示され、入力画像がデジタル胃腸組織画像である。
４１．別の実施形態では、実施形態２７～４０のいずれかによる方法が開示され、入力画像はデジタル胃腸組織学的画像であり、および／または１つ以上の関心オブジェクトは胃腸障害に関連する病変である。
４２．別の実施形態では、実施形態２７～４１のいずれかに記載の方法が開示され、１つ以上の関心オブジェクトが胃腸障害に関連する病変である。
４３．別の実施形態では、実施形態２７～４２のいずれかによる方法が開示され、入力画像はデジタル胃腸組織学的画像であり、および／または１つまたは複数の関心オブジェクトは胃腸障害に関連する病変であり、および／または異なる時点に関連する画像における同じ物体の抽出された特徴の比較はバイオマーカーの時間的発達を評価することを可能にする。
４４．別の実施形態では、実施形態２７～４３のいずれかによる方法が開示され、異なる時点に関連する画像における同じ物体の抽出された特徴の比較はバイオマーカーの時間的発達を評価することを可能にする。
４５．別の実施形態では、実施形態２７～４４のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類および検出のステップが第５の深層ニューラルネットワークＤＮＮ５（９０６）を使用して実行される。
４６．別の実施形態では、実施形態２７～４５のいずれかに記載の方法が開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行される。
４７．別の実施形態では、実施形態２７～４６のいずれかによる方法が開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行され、および／またはセグメンテーションのステップが関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（１００８）を使用して実行される。
４８．別の実施形態では、実施形態２７～４７のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類および検出のステップが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して実行され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行され、セグメンテーションのステップが関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（１００８）を使用して実行される。
４９．別の実施形態では、実施形態２７～４８のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類および検出のステップが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して実行され、それによって、分類および検出のステップが２つのＤＮＮｓを使用して実行され、それによって、セグメンテーションのステップが関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（１００８）を使用して実行される。
５０．別の実施形態では、実施形態２７～４９のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行される。
５１．別の実施形態では、実施形態２７～５０のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行され、および／または任意選択で、深層ニューラルネットワークＤＮＮ７（１１０４）がマスクＲ－ＣＮＮを含む。
５２．別の実施形態では、実施形態２７～５１のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行され、および／または任意選択で、深層ニューラルネットワークＤＮＮ７（１１０４）がマスクＲ－ＣＮＮを含む。
５３．別の実施形態では、実施形態２７～５２のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行され、任意選択で、深層ニューラルネットワークＤＮＮ７（１１０４）がマスクＲ－ＣＮＮを含む。
５４．別の実施形態では、実施形態２７～５３のいずれかによる方法が開示され、関心オブジェクトの少なくとも１つのオブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行され、深層ニューラルネットワークＤＮＮ７（１１０４）がマスクＲ－ＣＮＮを含む。
５５．別の実施形態では、実施形態１８～３５のいずれかによる方法が開示され、少なくとも１つの、検出され、セグメント化された関心オブジェクトの後処理（１２０６）のステップが実行される。
５６．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令を含むコンピュータプログラム製品が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
５７．さらなる実施形態では、コンピュータによってプログラムが実行されると、コンピュータに、以下のステップを実行させる命令からなるコンピュータプログラム製品が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
５８．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令を含むコンピュータプログラム製品が開示される。
（ｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
５９．さらなる実施形態では、コンピュータによってプログラムが実行されると、コンピュータに、以下のステップを実行させる命令からなるコンピュータプログラム製品が開示される。
（ｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉｉｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
６０．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令を含むコンピュータ可読［記憶］媒体／データキャリアが開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｉｘ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
６１．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令からなる、コンピュータ可読［記憶］媒体／データキャリアが開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトオブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｘ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
６２．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令を含むコンピュータ可読［記憶］媒体／データキャリアが開示される。
（ｖｉ）少なくとも１つの関心オブジェクトからなるデータベースからの入力画像を受信すること、および／または、
（ｖｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｖｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｘ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｘ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｘｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
６３．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令からなる、コンピュータ可読［記憶］媒体／データキャリアが開示される。
（ｘｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｘｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｘｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｘｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｘｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｘｉｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
１．一実施形態では、システムが開示され、システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）を含む入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）、および／または、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）含む。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および／または、
（ｉｉ）第２の深層ニューラルネットワークＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
２．一実施形態では、システムが開示され、システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）を含む入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）、および／または、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）から構成される。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および／または、
（ｉｉ）第２の深層ニューラルネットワークＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
３．一実施形態では、システムが開示され、システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）からなる入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）、および／または、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）を含む。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および／または、
（ｉｉ）第２の深層ニューラルネットワークＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
４．一実施形態では、システムが開示され、システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）からなる入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）、および／または、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）から構成される。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および／または、
（ｉｉ）第２の深層ニューラルネットワーク、ＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
５．システムは、
ａ）少なくとも１つの関心オブジェクト（１１２）を含む入力画像（１１０）を受信するように構成された入力／出力（Ｉ／Ｏ）ユニット（２０２）と、
ｂ）以下のステップを実行するように構成されたプロセッサ（２０４）とを含む。
（ｉ）第１の深層ニューラルネットワークＤＮＮ１（３０４）を使用して、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）（３０４Ａ）を入力画像から取得すること、および、
（ｉｉ）第２の深層ニューラルネットワークＤＮＮ２（３０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および、
（ｉｉｉ）第３の深層ニューラルネットワークＤＮＮ３（３０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および、
（ｉｖ）第４の深層ニューラルネットワークＤＮＮ４（３１０）によって生成されたバイナリマスク（３１０Ａ）を使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および、
（ｖ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（３１２）。
６．別の実施形態では、実施形態１～５のいずれかによるシステムが開示され、プロセッサ（２０４）は実施形態１～５のステップ（ｉ）～（ｖ）を順次実行するように構成される。
７．別の実施形態では、実施形態１～４のいずれかによるシステムが開示され、プロセッサ（２０４）は実施形態１～４のステップ（ｉ）～（ｖ）のサブセットを順次実行するように構成される。
８．別の実施形態では、実施形態１～７のいずれかによるシステムが開示され、入力画像は複数の孤立したおよび／または重畳する関心オブジェクトを含む。
９．別の実施形態では、実施形態１～４のいずれかによるシステムが開示され、入力画像は複数の孤立したまたは重畳する関心オブジェクトを含み、および／またはプロセッサは各関心オブジェクトについて実施形態１～４のいずれかの全てのステップを実行するように構成される。
１０．別の実施形態では、実施形態１～９のいずれかによるシステムが開示され、入力画像は複数の孤立したまたは重畳する関心オブジェクトを含む。
１１．別の実施形態では、実施形態１～１０のいずれかによるシステムが開示され、入力画像は複数の孤立した関心オブジェクトを含む。
１２．別の実施形態では、実施形態１～１０のいずれかによるシステムが開示され、入力画像は複数の重畳する関心オブジェクトを含む。
１３．別の実施形態では、実施形態１～１２のいずれかによるシステムが開示され、入力画像はデジタル胃腸組織学的画像である。
１４．別の実施形態では、実施形態１～１３のいずれかによるシステムが開示され、入力画像はデジタル胃腸組織学的画像であり、および／または１つまたは複数の関心オブジェクトは胃腸障害に関連する病変である。
１５．別の実施形態では、実施形態１～１４のいずれかによるシステムが開示され、入力画像はデジタル胃腸組織学的画像であり、および／または１つまたは複数の関心オブジェクトは胃腸障害に関連する病変であり、および／または異なる時点に関連する画像中の同じオブジェクトの抽出された特徴の比較はバイオマーカーの時間的発達を評価することを可能にする。
１６．別の実施形態では、実施形態１～１５のいずれかによるシステムが開示され、入力画像はデジタル胃腸組織学的画像である。
１７．別の実施形態では、実施形態１～１６のいずれかによるシステムが開示され、１つまたは複数の関心オブジェクトが胃腸障害に関連する病変である。
１８．別の実施形態では、実施形態１～１７のいずれかに記載のシステムが開示され、異なる時点に関連する画像中の同じ物体の抽出された特徴の比較がバイオマーカーの時間的発達を評価することを可能にする。
１９．別の実施形態では、実施形態１～１８のいずれかに記載の装置が開示され、プロセッサが第５の深層ニューラルネットワークＤＮＮ５（５０６）の手段によって関心オブジェクトの分類および検知のステップを実行するように設計される。
２０．別の実施形態では、実施形態１～１９のいずれかによるシステムが開示され、プロセッサは少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計される。
２１．別の実施形態では、実施形態１～２０のいずれかによるシステムが開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行される。
２２．別の実施形態では、実施形態１～２０のいずれかによるシステムが開示され、プロセッサは少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップは１つのＤＮＮを使用して実行される。
２３．別の実施形態では、実施形態１～２０のいずれかによるシステムが開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが２つのＤＮＮｓを使用して実行される。
２４．別の実施形態では、実施形態１～２３のいずれかによるシステムが開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行され、および／またはセグメンテーションのステップが関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（６０８）を使用して実行される。
２５．別の実施形態では、実施形態１～２４のいずれかによるシステムが開示され、プロセッサは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（７０４）を使用して、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップを実行する。
２６．別の実施形態では、実施形態１～２５のいずれかによるシステムが開示され、オブジェクト特徴を抽出するステップはデータ処理装置（１０２）と通信可能に結合されたデータ駆動型決定装置（１０４）によって実行され、データ処理装置（１０２）はプロセッサ（２０４）を備える。
２７．一実施形態では、以下のステップを含むコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を得ること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
２８．一実施形態では、以下のステップを含むコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
２９．一実施形態では、以下のステップからなるコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
３０．一実施形態では、以下のステップを含むコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
３１．一実施形態では、以下のステップからなるコンピュータ実装方法が開示される。
（ｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６を使用して）、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
３２．別の実施形態では、実施形態２７～３１のいずれかに記載の方法が開示され、実施形態１８～２１のステップが順次実行される。
３３．別の実施形態では、実施形態２７～３１のいずれかによる方法が開示され、実施形態１～４のステップのサブセットが順次実行される。
３４．別の実施形態では、実施形態２７～３３のいずれかによる方法が開示され、入力画像は複数の孤立したおよび／または重畳する関心オブジェクトを含む。
３５．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の孤立したおよび／または重畳する関心オブジェクトを含み、および／またはプロセッサは関心オブジェクトのそれぞれについて、実施形態２７～３４のいずれかの全てのステップを実行するように構成される。
３６．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の孤立した重畳する関心オブジェクトを含む。
３７．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の孤立したまたは重畳する関心オブジェクトを含む。
３８．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の孤立した関心オブジェクトを含む。
３９．別の実施形態では、実施形態２７～３４のいずれかによる方法が開示され、入力画像は複数の重畳する関心オブジェクトを含む。
４０．別の実施形態では、実施形態２７～３９のいずれかによる方法が開示され、入力画像がデジタル胃腸組織画像である。
４１．別の実施形態では、実施形態２７～４０のいずれかによる方法が開示され、入力画像はデジタル胃腸組織学的画像であり、および／または１つ以上の関心オブジェクトは胃腸障害に関連する病変である。
４２．別の実施形態では、実施形態２７～４１のいずれかに記載の方法が開示され、１つ以上の関心オブジェクトが胃腸障害に関連する病変である。
４３．別の実施形態では、実施形態２７～４２のいずれかによる方法が開示され、入力画像はデジタル胃腸組織学的画像であり、および／または１つまたは複数の関心オブジェクトは胃腸障害に関連する病変であり、および／または異なる時点に関連する画像における同じ物体の抽出された特徴の比較はバイオマーカーの時間的発達を評価することを可能にする。
４４．別の実施形態では、実施形態２７～４３のいずれかによる方法が開示され、異なる時点に関連する画像における同じ物体の抽出された特徴の比較はバイオマーカーの時間的発達を評価することを可能にする。
４５．別の実施形態では、実施形態２７～４４のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類および検出のステップが第５の深層ニューラルネットワークＤＮＮ５（９０６）を使用して実行される。
４６．別の実施形態では、実施形態２７～４５のいずれかに記載の方法が開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行される。
４７．別の実施形態では、実施形態２７～４６のいずれかによる方法が開示され、プロセッサが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して、少なくとも１つの関心オブジェクトの分類および検出のステップを実行するように設計され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行され、および／またはセグメンテーションのステップが関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（１００８）を使用して実行される。
４８．別の実施形態では、実施形態２７～４７のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類および検出のステップが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して実行され、それによって、分類および検出のステップが１つまたは２つのＤＮＮｓを使用して実行され、セグメンテーションのステップが関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（１００８）を使用して実行される。
４９．別の実施形態では、実施形態２７～４８のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類および検出のステップが少なくとも１つの関心オブジェクトのセグメンテーションのステップと並行して実行され、それによって、分類および検出のステップが２つのＤＮＮｓを使用して実行され、それによって、セグメンテーションのステップが関心領域（ＲｏＩ）上の第６の深層ニューラルネットワークＤＮＮ６（１００８）を使用して実行される。
５０．別の実施形態では、実施形態２７～４９のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行される。
５１．別の実施形態では、実施形態２７～５０のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行され、および／または任意選択で、深層ニューラルネットワークＤＮＮ７（１１０４）がマスクＲ－ＣＮＮを含む。
５２．別の実施形態では、実施形態２７～５１のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行され、および／または任意選択で、深層ニューラルネットワークＤＮＮ７（１１０４）がマスクＲ－ＣＮＮを含む。
５３．別の実施形態では、実施形態２７～５２のいずれかによる方法が開示され、少なくとも１つの関心オブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行され、任意選択で、深層ニューラルネットワークＤＮＮ７（１１０４）がマスクＲ－ＣＮＮを含む。
５４．別の実施形態では、実施形態２７～５３のいずれかによる方法が開示され、関心オブジェクトの少なくとも１つのオブジェクトの分類、検出、およびセグメンテーションのステップは入力画像上の第７の深層ニューラルネットワークＤＮＮ７（１１０４）を使用して実行され、深層ニューラルネットワークＤＮＮ７（１１０４）がマスクＲ－ＣＮＮを含む。
５５．別の実施形態では、実施形態１８～３５のいずれかによる方法が開示され、少なくとも１つの、検出され、セグメント化された関心オブジェクトの後処理（１２０６）のステップが実行される。
５６．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令を含むコンピュータプログラム製品が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
５７．さらなる実施形態では、コンピュータによってプログラムが実行されると、コンピュータに、以下のステップを実行させる命令からなるコンピュータプログラム製品が開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
５８．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令を含むコンピュータプログラム製品が開示される。
（ｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
５９．さらなる実施形態では、コンピュータによってプログラムが実行されると、コンピュータに、以下のステップを実行させる命令からなるコンピュータプログラム製品が開示される。
（ｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｖｉｉｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
６０．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令を含むコンピュータ可読［記憶］媒体／データキャリアが開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｉｘ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
６１．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令からなる、コンピュータ可読［記憶］媒体／データキャリアが開示される。
（ｉ）少なくとも１つの関心オブジェクトを含むデータベースから入力画像を受信すること、および／または、
（ｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトオブジェクトを分類すること、および／または、
（ｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｘ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
６２．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令を含むコンピュータ可読［記憶］媒体／データキャリアが開示される。
（ｖｉ）少なくとも１つの関心オブジェクトからなるデータベースからの入力画像を受信すること、および／または、
（ｖｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｖｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｉｘ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｘ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｘｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
６３．さらなる実施形態では、コンピュータによって実行されると、コンピュータに、以下のステップを実行させる命令からなる、コンピュータ可読［記憶］媒体／データキャリアが開示される。
（ｘｉ）少なくとも１つの関心オブジェクトからなるデータベースから入力画像を受信すること、および／または、
（ｘｉｉ）第１の深層ニューラルネットワークＤＮＮ１（８０４）を使用して、入力画像から、前記少なくとも１つの関心オブジェクトを含む少なくとも第１の関心領域（ＲｏＩ）を取得すること、および／または、
（ｘｉｉｉ）第２の深層ニューラルネットワークＤＮＮ２（８０６）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを分類すること、および／または、
（ｘｉｖ）第３の深層ニューラルネットワークＤＮＮ３（８０８）を使用して、第１のＲｏＩにおける少なくとも１つの関心オブジェクトを検出すること、および／または、
（ｘｖ）第４の深層ニューラルネットワークＤＮＮ４（８１０）によって生成されたバイナリマスクを使用して、少なくとも１つの、分類および検出された関心オブジェクトをセグメント化すること、および／または、
（ｘｉｉ）前記少なくとも１つの、分類され、検出され、セグメント化された関心オブジェクトから特徴を抽出すること（８１２）。
【0084】
特定の実施形態を参照して本発明を説明するが、本発明の範囲から逸脱することなく、様々な変更を行うことができ、等価物を置き換えることができることが、当業者によって理解されるのであろう。さらに、本発明の範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために、多くの修正を行うことができる。したがって、本発明は開示された特定の実施形態に限定されるものではなく、本発明は添付の特許請求の範囲内に入るすべての実施形態を含むことが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】