特許 6965343 制御フィードバックを用いる画像セグメンテーションの方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6965343

(24)【登録日】2021年10月22日

(45)【発行日】2021年11月10日

(54)【発明の名称】制御フィードバックを用いる画像セグメンテーションの方法及びシステム

(51)【国際特許分類】

   G06T 7/10 20170101AFI20211028BHJP

   G06T 7/00 20170101ALI20211028BHJP

   G06N 3/04 20060101ALI20211028BHJP

【ＦＩ】

   G06T7/10

   G06T7/00 350C

   G06N3/04 145

【請求項の数】16

【全頁数】12

(21)【出願番号】特願2019-522760(P2019-522760)

(86)(22)【出願日】2017年10月27日

(65)【公表番号】特表2019-533866(P2019-533866A)

(43)【公表日】2019年11月21日

(86)【国際出願番号】US2017058726

(87)【国際公開番号】WO2018081537

(87)【国際公開日】20180503

【審査請求日】2020年6月18日

(31)【優先権主張番号】62/415,418

(32)【優先日】2016年10月31日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507031918

【氏名又は名称】コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】メフタ， サチェン

(72)【発明者】

【氏名】グ， ハイソン

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開平０８−０６３５５４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０３２２４８９（ＵＳ，Ａ１）

【文献】 清水 育, 鮫島 正樹, 菅野 裕介, 松下 康之，ラベル尤度を大域的特徴として用いたセマンティックセグメンテーション，電子情報通信学会技術研究報告，日本，電子情報通信学会，2018年03月11日，PRMU2017-190 (2018-03)，pp. 109-114

【文献】 Wei Liu, Andrew Rabinovich, Alexander C. Berg，ParseNet: Looking Wider to See Better，arXiv preprint，米国，2015年11月19日，arXiv:1506.04579v2，pp. 1-11，https://arxiv.org/abs/1506.04579

【文献】 Hyeonwoo Noh, Seunghoon Hong, Bohyung Han，Learning Deconvolution Network for Semantic Segmentation，arXiv preprint，arXiv:1505.04366v1，米国，2015年05月17日，10 pages in total，https://arxiv.org/abs/1505.04366

【文献】 Evan Shelhamer, Jonathan Long, Trevor Darrell，Fully Convolutional Networks for Semantic Segmentation，IEEE Transactions on Pattern Analysis and Machine Intelligence，米国，IEEE，2016年05月24日，Vol. 39, No. 4 (April 2017)，pp. 640-651，https://ieeexplore.ieee.org/document/7478072/

【文献】 岡谷 貴之，画像認識のための深層学習の研究動向 ―畳込みニューラルネットワークとその利用法の発展―，人工知能，日本，人工知能学会，2016年03月01日，第31巻第2号，pp. 169-179

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／００

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションの方法であって、
画像から画像データを抽出する工程、
前記抽出した画像データに一以上のセマンティックセグメンテーションを実行する工程、
それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入する工程、及び
前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成する工程を含む、方法。

【請求項2】

前記一以上の分類器を前記一以上のセマンティックセグメンテーションのそれぞれにフィードバックとして割り当てる工程を含む、請求項１に記載の方法。

【請求項3】

不正確に分類されたフィードバックの少なくとも一部に手動で注釈をつける工程を含む、請求項１又は２に記載の方法。

【請求項4】

前記一以上の分類器は、前記一以上のセマンティックセグメンテーションのそれぞれに対して同じである、請求項１〜３のいずれか一項に記載の方法。

【請求項5】

前記一以上の分類器のうちの少なくとも１つは、前記一以上のセマンティックセグメンテーションのうちの少なくとも１つで異なる、請求項１〜４のいずれか一項に記載の方法。

【請求項6】

前記一以上の分類器を結合演算により導入する工程を含む、請求項１〜５のいずれか一項に記載の方法。

【請求項7】

前記一以上の分類器は、前記画像内の２つ以上の対象のクラスに関する、請求項１〜６のいずれか一項に記載の方法。

【請求項8】

前記画像内の前記一以上の対象のクラスに確率を割り当てる工程は
前記画像内の一以上の対象のクラスを強調する工程、及び／又は
前記画像内の一以上の対象のクラスの強調を解除する工程を含む、請求項１〜７のいずれか一項に記載の方法。

【請求項9】

コンピューターに、ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのための処理を実行させるプログラムであって、
前記処理は、
画像から画像データを抽出すること、
前記抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、
それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び
前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを含むプログラム。

【請求項10】

前記処理は、前記一以上の分類器を前記一以上のセマンティックセグメンテーションのそれぞれにフィードバックとして割り当てることを含む、請求項９に記載のプログラム。

【請求項11】

前記一以上の分類器は、前記一以上のセマンティックセグメンテーションのそれぞれに対して同じであり、及び／又は
前記一以上の分類器のうちの少なくとも１つは、前記一以上のセマンティックセグメンテーションのうちの少なくとも１つで異なる、請求項９又は１０に記載のプログラム。

【請求項12】

前記処理は、前記一以上の分類器を結合演算により導入することを含む、請求項９〜１１のいずれか一項に記載のプログラム。

【請求項13】

ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのシステムであって、
プロセッサー、及び
メモリーを含み、
前記メモリーは、実行されると前記システムに、
画像から画像データを抽出すること、
前記抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、
それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び
前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを行わせる命令を格納する、システム。

【請求項14】

前記一以上の分類器を前記一以上のセマンティックセグメンテーションのそれぞれにフィードバックとして割り当てることを含む、請求項１３に記載のシステム。

【請求項15】

前記一以上の分類器は、前記一以上のセマンティックセグメンテーションのそれぞれに対して同じであり、及び／又は
前記一以上の分類器のうちの少なくとも１つは、前記一以上のセマンティックセグメンテーションのうちの少なくとも１つで異なる、請求項１３又は１４に記載のシステム。

【請求項16】

前記一以上の分類器を結合演算により導入することを含む、請求項１３〜１５のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１６年１０月３１日に出願された米国特許仮出願第６２／４１５，４１８号に対する優先権を主張し、その内容全体が参照により本明細書に組み込まれる。

【0002】

本開示は、制御フィードバックを用いる画像セグメンテーションの方法及びシステムに関し、より詳細には、制御フィードバックを用いる画像セグメンテーションのためのニューラルネットワークに基づく方法及びシステムに関する。この制御フィードバックにより、不均衡クラス情報を伴う画像セグメンテーションが可能になり、ニューラルネットワークで重みを適切に初期化することも可能になる。

【背景技術】

【0003】

例えば医療画像中の対象を検出、細分化し、かつ分類することが疾病の発見と診断に重要である場合がある。畳み込みニューラルネットワーク（ＣＮＮ）を含む深層ニューラルネットワーク（ＮＮｓ）及び他の種類の多層ニューラルネットワークが、特徴学習、分類、及び検出を向上させる既存の方法である。

【0004】

ピクセルごとの分類、つまりセマンティックセグメンテーションは、所属するクラスの分類を各ピクセルに割り当てる処理である。例えば、セグメンテーションがなされた画像は、ある画像中の、例えば人に対応する全ピクセルで同じ分類を持つ。しかし、現在の畳み込みニューラルネットワークに関する１つの問題は、ニューラルネットワークが重みの初期化を必要とすることである。しかも、重みは無作為に初期化できるが、重みが収束するには長い時間がかかることがある。

【0005】

例えば、畳み込みニューラルネットワークの最終段階（損失演算）でのクラス不均衡情報を考慮する方法が提案されているが、この方法でもニューラルネットワークが収束するのに長い時間を必要とする。また、領域移動情報（domain transfer knowledge）により畳み込み層の重みを大きくするという研究もある。しかし、これらの方法は予め訓練したニューラルネットワークの出力に依存しており、一般にエッジ情報を増加させやすい。

【発明の概要】

【課題を解決するための手段】

【0006】

例示的な実施形態では、エッジ及び領域全体の重みを大きくすることができるシステム及び方法を開示する。さらに、開示された方法は、制御された性質を持っており、このモデルは特定のクラスの重みを大きくすることができる。これは領域移動情報のような技術では可能ではなく、例えば、領域変換に基づくモデルを経て検出されるエッジは、画像全体に対するものである。このようなシステムは、どのエッジがどの対象に属するかを分類することができない場合があるので、特定のクラスに適用することは困難となる。

【0007】

例えば、正確な細胞体抽出は、癌細胞のさらなる病理学的分析のために細胞特性を定量化するのに大きく資することができる。実際的状況では、例えば細胞画像データは、多くの場合、次のような問題を有する。すなわち、組織の種類、ブロックの切断、染色処理、設備と病院及び細胞画像が異なることから生じる多種多様な外観は、時間をかけて段階的に収集され、収集されたデータは通常不均衡である。例えばある種の細胞画像は、他種の細胞画像よりも数が多い。

【0008】

本開示では、ニューラルネットワークが大きい重み（又は確率）を初期化してより早期に収束できるようにニューラルネットワーク内でフィードバックを早期に提供し、それにより訓練時間を低減し、例えば細胞体の抽出又は特定のための学習を向上させることができる方法を開示する。

【0009】

上述の問題を考慮すれば、フィードバックによりニューラルネットワークの重みを制御するシステム及び方法があることが望ましい。例示的な実施形態によれば、この方法及びシステムは、重要な重みを強調し、あまり重要でない重みの強調を解除する（あるいは強調しない）。処理中に重み（又は確率）をより早期に強調することでニューラルネットワークの重みを適切に初期化する一助となり、これによりニューラルネットワークがより早期に収束し、ニューラルネットワークの学習を向上させるのに資することができる。

【0010】

ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションの方法が開示される。この方法は、画像から画像データを抽出する工程、抽出した画像データに一以上のセマンティックセグメンテーションを実行する工程、それぞれが画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、一以上のセマンティックセグメンテーションのそれぞれに導入する工程、及び一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成する工程を含む。

【0011】

コンピューターに、ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのための処理を実行させるプログラムが開示される。このプログラムは、コンピューターに、画像から画像データを抽出すること、抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、それぞれが画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを含む処理を実行させるようになっている。

【0012】

ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのシステムが開示される。このシステムは、プロセッサー、及びメモリーを含み、メモリーは、実行されるとシステムに画像から画像データを抽出すること、抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、それぞれが画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを行わせる命令を格納する。

【0013】

当然のことであるが、上述の一般的な説明と以下の詳細な説明は例示と説明を目的としており、特許請求する本発明のさらなる説明を提供することを意図している。

【図面の簡単な説明】

【0014】

本発明をさらに理解できるように添付の図面を提供する。これらの図面は、本明細書に組み込まれてその一部を構成する。図面は本発明の実施形態を図示し、本明細書とともに本発明の原理を説明する一助となる。

【0015】

【図1】例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。

【0016】

【図2】例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの別の図である。

【0017】

【図3】フィードバックとして細胞領域を用いる例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。

【0018】

【図4】フィードバックとして細胞境界を用いる例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。

【0019】

【図5】フィードバックを用いる試験段階中の例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。

【0020】

【図6】フィードバックとして複数の画像クラス領域を用いる例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。

【発明を実施するための形態】

【0021】

本発明の好ましい実施形態を示す添付の図面を参照して本実施形態を詳細に説明する。可能な場合には、図面及び本明細書で同一の符号を用いて同一の部品に言及する。

【0022】

例示的な実施形態では、畳み込みニューラルネットワークに特定の複数のニューロンが重要であると指示（又は伝達）し、これらのニューロンに対応する重みを強調する方法及びシステムを開示する。例えば、例示的な実施形態によれば、この方法及びシステムによりニューラルネットワークは、回路網の重みを強調し、重みの強調を解除し、あるいは重みを保持することができる。ニューラルネットワークが収束するために、重みの初期化は非常に重要な手順である場合があり、重み初期化のためのいくつかの方法が提案されている。異なる層の重みが初期化されると、ニューラルネットワークにデータが数回送信され、その結果、ニューラルネットワークは収束することができる。しかし、通常はニューラルネットワークが収束するには長い時間がかかる。

【0023】

例示的な実施形態では、フィードバックによりニューラルネットワークにこれらのニューロンが重要であると指示する（又は伝達する）ことで、対応するニューロンの重みを強調する方法及びシステムを開示する。さらに、開示された方法は、制御された性質を持っており、このモデルは特定のクラスの重みを大きくすることができる。これは、例えば領域移動情報のような技術では不可能である。

【0024】

周期的学習では、ニューラルネットワークは今のところ段階的に訓練することができる。この場合、最初は簡単なデータを用いてモデルを訓練した後、難解なデータを用いて微調整する。この種の学習に加えて、開示の方法では、同じデータ（容易に学習できるデータ）又は異なるデータ（学習するのが難しいデータ）について、システム又は方法により周期的にニューラルネットワークを学習させることができる。例えば、最初の２つのエポック（訓練可能符号器及び／又は訓練可能復号器）をフィードバックを用いて学習させ、次の例えば５つのエポック（訓練可能符号器及び／又は訓練可能復号器）をニューラルネットワークが収束するまでフィードバックを用いずに学習させてもよい。これにより、モデルが極小値を比較的早期に見つけることができるように学習を支援することができる。

【0025】

例示的な実施形態によれば、制御された性質であるため、開示のシステム及び方法を半指導付き学習又は指導無し学習に用いてもよい。例示的な実施形態によれば、予測段階で、方法及びシステムは、例えば現在のモデルを周期的に向上させるために、フィードバックを行うマスクとして以前の結果を用いてもよい。

【0026】

例えば、細胞画像は不均衡クラス画像であり、前景（例えば細胞）と比較して背景の情報は一般に多い（又はより広範に広がっている）。例示的な実施形態によれば、例えば開示の方法で細胞の重みを強調する一方、例えば背景の重みの強調を解除してもよい。

【0027】

図１は、フィードバックを用いない例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム１００を示す。図１に示すように、符号器・復号器システム１００は、入力画像１１０、複数の訓練可能符号器ブロック１２０、１２２、１２４、複数の訓練可能復号器ブロック１３０、１３２、１３４、及びセグメンテーションマスク１４０を含む。例示的な実施形態によれば、複数の符号器ブロック１２０、１２２、及び１２４、又は非線形処理層は、例えば畳み込み、有効化、バッチ正規化、及びダウンサンプリングなどの演算からなるものとすることができる。対応する複数の復号器ブロック１３０、１３２、及び１３４は、例えば逆畳み込み、有効化、バッチ正規化、及びアップサンプリングなどの演算からなるものとすることができる。

【0028】

例示的な実施形態によれば、複数の訓練可能符号器ブロック１２０、１２２、１２４、及び複数の訓練可能復号器ブロック１３０、１３２、１３４は、コンピューターシステム又は処理部１５０の下位にあってもよい。コンピューターシステム又は処理部１５０は、ソフトウェアプログラム及びデータを格納するプロセッサー又は中央処理装置（ＣＰＵ）と一以上のメモリーを含んでもよい。プロセッサー又はＣＰＵは、コンピュータープログラムの命令を実行する。コンピュータープログラムは、コンピューターシステム又は処理部１５０の機能の少なくとも一部を操作及び／又は制御する。コンピューターシステム又は処理部１５０は、入力部、表示部又はグラフィック・ユーザー・インターフェース（ＧＵＩ）、及びネットワーク通信手段（又はネットワーク）に接続されているネットワークインターフェース（Ｉ／Ｆ）も含んでもよい。コンピューターシステム又は処理部１５０は、コンピューターハードウェアを管理し、様々なソフトウェアプログラムを効率的に実行するために共通のサービスを提供するオペレーティングシステム（ＯＳ）も含んでもよい。例えば、実施形態によっては、さらなるあるいはより少ないコンピューターシステム若しくは処理部１５０、サービス、及び／又はネットワークを含んでもよく、装置内又は遠隔の他の装置（図示せず）で様々な機能を実行してもよい。さらに、様々な実体を統合して単一の演算システム又は処理部１５０にしてもよく、あるいは追加の演算装置又はシステム１５０全体に分散してもよい。

【0029】

図２は、例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム２００を示す。図２に示すように、システム２００は、入力画像１１０、複数の訓練可能符号器ブロック１２０、１２２、１２４、複数の訓練可能復号器ブロック１３０、１３２、１３４、セグメンテーションマスク１４０、符号器２２０、２２２、２２４用の複数の訓練不可能フィードバックブロック、復号器２３０、２３２、２３４用の複数の訓練不可能フィードバックブロック、複数の重み関数２４０、２４１、２４２、２４３、２４４、２４５（つまり（α＊ａ，α＊ｂ）の間で重みに境界をつける）、及び複数の結合演算２５０、２５１、２５２、２５３、２５４、２５５を含んでもよい。例示的な実施形態によれば、複数の訓練不可能符号器ブロック２２０、２２２、及び２２４は、例えば畳み込み及びダウンサンプリングなどの演算からなるものとすることができる。対応する複数の訓練不可能復号器ブロック２３０、２３２、及び２３４は、例えば逆畳み込み及びアップサンプリングなどの演算からなるものとすることができる。

【0030】

例示的な実施形態によれば、システム２００はフィードバック制御部２６０も含む。フィードバック制御部２６０は、画像１１０内の一以上のクラスのそれぞれに重みを割り当てることで一以上のクラスのそれぞれの重みを変更又は調整するようになっていてもよい。例示的な実施形態によれば、複数のピクセルのそれぞれが特定のピクセルのクラスに属する場合に、複数の重み関数２４０、２４１、２４２、２４３、２４４、及び２４５は、入力画像１１０の複数のピクセルのそれぞれに確率を割り当ててもよい。例えば、細胞の検出時に、細胞領域又は細胞領域間の境界を含み得る前景の分類重みは、背景や、例えば染色の分類重みよりも大きくなることがある。さらに、フィードバック制御部２６０は、各分類重みが等しくなり、又は例えば１などの設定値に設定されるように、「オン」又は「オフ」とされ得る。

【0031】

例示的な実施形態によれば、フィードバック制御部２６０は、図２に示すようにコンピューターシステム又は処理部１５０の下位にあってもよく、あるいは別のコンピューターシステム又は処理装置２７０の下位にあってもよい。例えば、別のコンピューターシステム又は処理装置２７０は、プロセッサー又は中央処理装置（ＣＰＵ）、及びソフトウェアプログラムとデータを格納する一以上のメモリーを含んでもよい。プロセッサー又はＣＰＵは、コンピューターシステム又は処理部１５０の機能の少なくとも一部を操作及び／又は制御するコンピュータープログラムの命令を実行する。コンピューターシステム又は処理装置２７０は、入力部、データ入力のための表示部又はグラフィック・ユーザー・インターフェース（ＧＵＩ）、及びネットワーク通信手段（又はネットワーク）に接続されているネットワークインターフェース（Ｉ／Ｆ）も含んでもよい。コンピューターシステム又は処理装置２７０は、コンピューターハードウェアを管理し、様々なソフトウェアプログラムを効率的に実行するために共通のサービスを提供するオペレーティングシステム（ＯＳ）も含んでもよい。例えば、実施形態によっては、さらなるあるいはより少ないコンピューターシステム若しくは処理部１５０、２７０、及び／又はネットワークを含んでもよく、装置内又は遠隔の他の装置（図示せず）で様々な機能を実行してもよい。さらに、様々な実体を統合して単一の演算システム又は処理部１５０、２７０にしてもよく、あるいは追加の演算装置又は処理部１５０、２７０全体に分散してもよい。例示的な実施形態によれば、例えば表示部又はＧＵＩを用いて画像１１０をシステム又は処理部１５０、２７０に入力してセグメンテーションマスク１４０を視覚化し、あるいはフィードバックマップによりクラスに関する情報を入力することができる。

【0032】

例示的な実施形態によれば、セマンティックセグメンテーションのシステム及び方法は、Ｓ＝｛（Ｘ_ｎ；Ｙ_ｎ），ｎ＝１…Ｎ｝で表される入力訓練データ集合を持つ訓練段階を含むことができる。式中、標本

【数1】

は元の入力画像を表し、

【数2】

は画像Ｘ_ｎの対応するグラウンドトゥルースラベルを表す。下付文字ｎは、標記を簡略にするために以降では削除されている。例示的な実施形態によれば、Ｗ_ｅ及びＷ_ｄは、符号器と復号器の層パラメーターをそれぞれ示す。

【0033】

例示的な実施形態では、特定の（又は背景を除くすべての）クラスの重みを強調し、他のクラスの重みの強調を解除する（又は初期化したのと同じままである）ようにすることができるニューラルネットワークを開示する。例えば、例示的な実施形態によれば、背景など他の情報に対して重要なクラス情報を強調するためにクラス選択の重みγをクラスごとに導入することができる。次に、フィードバックマップを

【数3】

として生成する。式中、Ｃはクラスの数を表す。例示的な実施形態によれば、次にフィードバックマップをフィードバックネットワークに送信して重みｗ_ｅ及びｗ_ｄを生成する。フィードバック層の重みは

【数4】

として表される。例示的な実施形態では、ｗの値は１を超えてもよいが、ｗの値が１を超えると、この値によりニューラルネットワークが極小値に収束しない場合がある。例示的な実施形態によれば、フィードバックネットワーク層の重みを以下のように更新することができる。

【数5】

式中、

【数6】

は、フィードバックネットワークの符号器及び復号器をそれぞれ表す。

【0034】

例示的な実施形態によれば、符号器及び復号器の重み強調関数又は結合演算は次式で規定することができる。

【数7】

【数8】

式中、＊は任意の要素ごとの演算（加算、乗算、減算など）であってもよく、α及びβはそれぞれ符号化段階及び復号化段階のスケーリングパラメーターである。

【0035】

例示的な実施形態によれば、本明細書に開示するフィードバックネットワーク２２０、２２２、２２４、２３０、２３２、及び２３４の複数の重み関数２４０、２４１、２４２、２４３、２４４、及び２４５のそれぞれは、フィードバックネットワーク２２０、２２２、２２４、２３０、２３２、及び２３４のそれぞれと同じあってもよく、あるいは本明細書に開示する複数の重み関数２４０、２４１、２４２、２４３、２４４、及び２４５のうちの１つ以上は異なっていてもよい。例えば図２に示すように、最初の２つのフィードバックネットワーク（又はエポック）２２０及び２２２は、フィードバックを用いて学習する一方、次の例えば４つのフィードバックネットワーク（又はエポック）２２４、２３０、２３２、及び２３４は、ニューラルネットワークが収束するまでフィードバックを用いずに学習してもよい。これによりモデルが極小値をより早期に見つけることができるように学習を支援することができる。

【0036】

例示的な実施形態によれば、画像対画像の訓練中に、例えば訓練画像Ｘ及びグラウンドトゥルースラベル画像Ｙ中のすべてのピクセルに対して例えば損失関数を演算することができる。例えば、所与の画像Ｘの試験段階中には、例えば次式のようにセグメンテーション予測が得られる。

【数9】

【0037】

例示的な実施形態では、いくつかの対象クラスは異なっていてもよい。例えば、細胞画像内で背景ピクセルは境界ピクセル及び細胞ピクセルと比べてより広範に広がっていることがある。したがって、開示のシステム及び方法では、異なるクラス、例えば細胞境界又は細胞領域の重みを背景ピクセルに対して強調することができる。

【0038】

図３は、フィードバックとして用いられる細胞領域３１０を含む例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム３００を示す。図３に示すように、例えばこのシステム３００は、フィードバック制御部２６０を用いて、例えばそれぞれ細胞領域及び非細胞領域を表すことができる前景ピクセル及び背景ピクセルの各々に確率を割り当てることで、例えば癌細胞の分析から、入力画像１１０の細胞領域（又は細胞領域マスク）３１０を強調するようになっていてもよい。

【0039】

図４は、フィードバックとして用いられる細胞境界４１０を含む例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムを示す。図４に示すように、例えばこのシステム４００は、フィードバック制御部２６０を用いて、例えば細胞境界及び非細胞境界又は非細胞領域を表すことができる前景ピクセル及び背景ピクセルの各々に確率を割り当てることで、例えば癌細胞の分析から、入力画像１１０の細胞境界（又は細胞境界マスク）４１０を強調するようになっていてもよい。

【0040】

図５は、例えばフィードバックを用いる試験段階中の例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム５００を示す。例えば、画像に手動で注釈をつけるのは困難で時間がかかることがある。例示的な実施形態によれば、医療データに関するニューラルネットワークの訓練に利用可能なデータは、一般画像ほどには大きくない（一般に、医療画像のデータ集合は二〜三千の画像を含むが、一般画像のデータ集合は数千の画像を含むことがある）。したがって、良好なセグメンテーション結果を生成することは困難な場合がある。

【0041】

例示的な実施形態によれば、開示された方法のフィードバック特性により、方法及びシステム５００では、試験（又は訓練）時間の間であってもニューラルネットワークは学習することができる。例えば、開示の方法は、ユーザーが不正確な分類を破棄し、又は分類を訂正した後、ユーザー入力５２０により重みを微調整するためにニューラルネットワークに出力を提供するという柔軟性を与えることができる。ユーザー入力５２０は、画像１１０を処理するコンピューターシステム又は処理部１５０及び２７０による入力であってもよく、あるいはユーザー入力５２０を遠隔のコンピューターシステム又は処理装置５３０で行ってもよい。例示的な実施形態によれば、遠隔のコンピューターシステム又は処理装置５３０は通信ネットワーク経由でコンピューターシステム又は処理部１５０と通信してもよい。

【0042】

図６は、フィードバックとしての複数の画像クラス領域を含む例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム６００を示す。図６に示すように、開示のシステム及び方法を、例えば人々、車両、原動機付き自転車、木などを含むか示す一般画像６４０にも用いることができる。図６では、例えば本明細書に開示するシステム及び方法が、人及び／又は原動機付き自転車を木や道路などの他のすべてのクラスの代わりに強調するのに用いることができるように、入力画像６１０は複数のクラスを含んでもよい。例示的な実施形態によれば、例えば図６に示すように、フィードバック経路は人及び／又は原動機付き自転車を前景クラスとして扱い、人及び／又は原動機付き自転車からマスク６１０を生成することができる。

【0043】

例示的な実施形態では、ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのためにコンピューター可読プログラムコードを格納した非一時的コンピューター可読記録媒体を開示する。処理を実行するようになっているコンピューター可読プログラムコードは、画像から画像データを抽出すること、抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、それぞれが画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを含む。

【0044】

非一時的コンピューター可読媒体は、磁気記録媒体、磁気光学記録媒体、又は将来開発される任意の他の記録媒体であってもよく、これらのすべてが同じように本発明に適用可能と考えられる。一次的複製物及び二次的複製物などを含むそのような媒体の複製物は上記媒体の均等物とみなされることに疑いの余地はない。さらに、本発明の実施形態がソフトウェア及びハードウェアの組み合わせであったとしても、本発明の原理から全く逸脱するものではない。本発明は、そのソフトウェア部分を予め記録媒体に書き込み、動作中に必要に応じて読み出すように実装してもよい。

【0045】

当業者には本発明の範囲又は趣旨を逸脱することなく本発明の構造に様々な変更や改変を行うことができることが明らかである。以上から、本発明の変更例及び変形例が以下の特許請求の範囲及びその均等物にあたる限り、本発明は変更例及び変形例を包含することを意図する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】