特許 7096360 ミニバッチ学習装置とその作動プログラムおよび作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-27

(45)【発行日】2022-07-05

(54)【発明の名称】ミニバッチ学習装置とその作動プログラムおよび作動方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220628BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 6

(21)【出願番号】P 2020559790

(86)(22)【出願日】2019-10-29

(86)【国際出願番号】 JP2019042385

(87)【国際公開番号】W WO2020121668

(87)【国際公開日】2020-06-18

【審査請求日】2021-03-30

(31)【優先権主張番号】P 2018234883

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】涌井 隆史

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１７－１６２４５６（ＪＰ，Ａ）

【文献】国際公開第２０１８／０８１５３７（ＷＯ，Ａ１）

【文献】平松侑樹, 外4名，“複数ＣＮＮの統合による細胞画像のセグメンテーション”，第24回 画像センシングシンポジウム，日本，画像センシング技術研究会，2018年06月13日

【文献】相澤宏旭, 外2名，“多重解像度性を取り入れたＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ ＣＮＮによるパーツセグメンテーション”，第23回 画像センシングシンポジウム，日本，画像センシング技術研究会，2017年06月07日

【文献】相澤宏旭, 外1名，“航空機画像セグメンテーションへのＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ ＣＮＮの適用とその改良”，映像情報メディア学会技術報告，日本，（一社）映像情報メディア学会，2016年08月24日，第40巻, 第28号，p.9-10

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置であり、
前記ミニバッチデータの元となる学習用入力画像およびアノテーション画像のうちの、前記アノテーション画像全体の面積に対する、前記複数のクラスの各々の第１面積割合を算出する算出部と、
前記第１面積割合が第１設定値よりも低い稀少クラスを特定する特定部と、
前記学習用入力画像および前記アノテーション画像から前記ミニバッチデータを生成する生成部であり、前記ミニバッチデータにおける前記稀少クラスの第２面積割合が、前記算出部において算出した前記第１面積割合よりも大きい第２設定値以上である前記ミニバッチデータを生成する生成部と、
を備えるミニバッチ学習装置。

【請求項2】

前記生成部に、前記第２面積割合が前記第２設定値以上である前記ミニバッチデータを生成する処理を行わせるか否かの選択指示を受け付ける受付部を備える請求項１に記載のミニバッチ学習装置。

【請求項3】

前記生成部は、一定の規則にしたがって前記ミニバッチデータを複数生成し、かつ、前記一定の規則にしたがって生成した複数の前記ミニバッチデータのうち、前記第２面積割合が前記第２設定値以上である前記ミニバッチデータを、前記学習に用いるために選択する請求項１または２に記載のミニバッチ学習装置。

【請求項4】

前記生成部は、前記アノテーション画像内の前記稀少クラスの偏在領域と非偏在領域とを検出し、前記偏在領域の前記ミニバッチデータの元となる画像の切り取り数を、前記非偏在領域の前記切り取り数よりも多くする請求項１～３のいずれか１項に記載のミニバッチ学習装置。

【請求項5】

画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置の作動プログラムであり、
前記ミニバッチデータの元となる学習用入力画像およびアノテーション画像のうちの、前記アノテーション画像全体の面積に対する、前記複数のクラスの各々の第１面積割合を算出する算出部と、
前記第１面積割合が第１設定値よりも低い稀少クラスを特定する特定部と、
前記学習用入力画像および前記アノテーション画像から前記ミニバッチデータを生成する生成部であり、前記ミニバッチデータにおける前記稀少クラスの第２面積割合が、前記算出部において算出した前記第１面積割合よりも大きい第２設定値以上である前記ミニバッチデータを生成する生成部として、
コンピュータを機能させるミニバッチ学習装置の作動プログラム。

【請求項6】

画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置の作動方法であり、
前記ミニバッチデータの元となる学習用入力画像およびアノテーション画像のうちの、前記アノテーション画像全体の面積に対する、前記複数のクラスの各々の第１面積割合を算出する算出ステップと、
前記第１面積割合が第１設定値よりも低い稀少クラスを特定する特定ステップと、
前記学習用入力画像および前記アノテーション画像から前記ミニバッチデータを生成する生成ステップであり、前記ミニバッチデータにおける前記稀少クラスの第２面積割合が、前記算出ステップにおいて算出した前記第１面積割合よりも大きい第２設定値以上である前記ミニバッチデータを生成する生成ステップと、
を備えるミニバッチ学習装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、ミニバッチ学習装置とその作動プログラムおよび作動方法に関する。

【背景技術】

【0002】

画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションが知られている。セマンティックセグメンテーションは、Ｕ字型の畳み込みニューラルネットワーク（Ｕ－Ｎｅｔ；U-Shaped Neural Network）等の機械学習モデル（以下、単にモデル）で実現される。

【0003】

モデルの判別精度を高めるためには、モデルに学習データを与えて学習させ、モデルを更新していくことが必要である。学習データは、学習用入力画像と、学習用入力画像内のクラスが手動で指定されたアノテーション画像とで構成される。特開２０１７－１０７３８６号公報では、複数の学習用入力画像の中から、アノテーション画像の元となる１つの学習用入力画像を抽出している。

【発明の概要】

【発明が解決しようとする課題】

【0004】

学習には、ミニバッチ学習という手法がある。ミニバッチ学習では、学習データとしてミニバッチデータをモデルに与える。ミニバッチデータは、学習用入力画像とアノテーション画像とを分割した複数の分割画像（例えば元の画像の１／１００のサイズの枠で分割した１万枚の分割画像）のうちの一部（例えば１００枚）で構成される。ミニバッチデータは複数組（例えば１００組）生成され、各組が順次モデルに与えられる。

【0005】

ここで、学習用入力画像およびアノテーション画像にクラスの偏りがある場合を考える。例えば、学習用入力画像は細胞培養の様子を位相差顕微鏡で映した画像であって、クラス１が分化細胞、クラス２が未分化細胞、クラス３が培地、クラス４が死細胞に分類される画像である。そして、学習用入力画像およびアノテーション画像全体における各クラスの面積割合が、分化細胞３８％、未分化細胞２％、培地４０％、死細胞２０％で、未分化細胞の面積割合が比較的低い場合である。

【0006】

このように学習用入力画像およびアノテーション画像にクラスの偏りがあると、学習用入力画像およびアノテーション画像から構成されるミニバッチデータにも、クラスの偏りが生じる可能性が高くなる。ミニバッチデータにクラスの偏りが生じた場合は、面積割合が比較的低い稀少クラスが加味されずに学習が行われる。結果として、稀少クラスの判別精度が低いモデルができあがってしまう。

【0007】

特開２０１７－１０７３８６号公報では、前述のように、複数の学習用入力画像の中から、アノテーション画像の元となる１つの学習用入力画像を抽出している。しかしながら、この手法では、複数の学習用入力画像の全てにクラスの偏りがあった場合は、結局は稀少クラスの判別精度が低いモデルができあがってしまう。したがって、特開２０１７－１０７３８６号公報に記載の手法では、稀少クラスの判別精度が低いモデルができあがってしまう、という問題を解決することはできない。

【0008】

本開示の技術は、セマンティックセグメンテーションを実施するための機械学習モデルのクラスの判別精度の低下を抑制することが可能なミニバッチ学習装置とその作動プログラムおよび作動方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本開示のミニバッチ学習装置は、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置であり、ミニバッチデータの元となる学習用入力画像およびアノテーション画像のうちの、アノテーション画像全体の面積に対する、複数のクラスの各々の第１面積割合を算出する算出部と、第１面積割合が第１設定値よりも低い稀少クラスを特定する特定部と、学習用入力画像およびアノテーション画像からミニバッチデータを生成する生成部であり、ミニバッチデータにおける稀少クラスの第２面積割合が、算出部において算出した第１面積割合よりも大きい第２設定値以上であるミニバッチデータを生成する生成部と、を備える。

【0010】

生成部に、第２面積割合が第２設定値以上であるミニバッチデータを生成する処理を行わせるか否かの選択指示を受け付ける受付部を備えることが好ましい。

【0011】

生成部は、一定の規則にしたがってミニバッチデータを複数生成し、かつ、一定の規則にしたがって生成した複数のミニバッチデータのうち、第２面積割合が第２設定値以上であるミニバッチデータを、学習に用いるために選択することが好ましい。

【0012】

生成部は、アノテーション画像内の稀少クラスの偏在領域と非偏在領域とを検出し、偏在領域のミニバッチデータの元となる画像の切り取り数を、非偏在領域の切り取り数よりも多くすることが好ましい。

【0013】

本開示のミニバッチ学習装置の作動プログラムは、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置の作動プログラムであり、ミニバッチデータの元となる学習用入力画像およびアノテーション画像のうちの、アノテーション画像全体の面積に対する、複数のクラスの各々の第１面積割合を算出する算出部と、第１面積割合が第１設定値よりも低い稀少クラスを特定する特定部と、学習用入力画像およびアノテーション画像からミニバッチデータを生成する生成部であり、ミニバッチデータにおける稀少クラスの第２面積割合が、算出部において算出した第１面積割合よりも大きい第２設定値以上であるミニバッチデータを生成する生成部として、コンピュータを機能させる。

【0014】

本開示のミニバッチ学習装置の作動方法は、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置の作動方法であり、ミニバッチデータの元となる学習用入力画像およびアノテーション画像のうちの、アノテーション画像全体の面積に対する、複数のクラスの各々の第１面積割合を算出する算出ステップと、第１面積割合が第１設定値よりも低い稀少クラスを特定する特定ステップと、学習用入力画像およびアノテーション画像からミニバッチデータを生成する生成ステップであり、ミニバッチデータにおける稀少クラスの第２面積割合が、算出ステップにおいて算出した第１面積割合よりも大きい第２設定値以上であるミニバッチデータを生成する生成ステップと、を備える。

【発明の効果】

【0015】

本開示の技術によれば、セマンティックセグメンテーションを実施するための機械学習モデルのクラスの判別精度の低下を抑制することが可能なミニバッチ学習装置とその作動プログラムおよび作動方法を提供することができる。

【図面の簡単な説明】

【0016】

【図1】ミニバッチ学習装置とその処理の概要を示す図である。

【図2】運用装置とその処理の概要を示す図である。

【図3】画像を示す図であり、図３Ａは学習用入力画像、図３Ｂはアノテーション画像をそれぞれ示す。

【図4】学習用入力画像から分割学習用入力画像を生成する様子を示す図である。

【図5】アノテーション画像から分割アノテーション画像を生成する様子を示す図である。

【図6】複数の分割学習用入力画像の一部で、分割学習用入力画像群を構成することを示す図である。

【図7】複数の分割アノテーション画像の一部で、分割アノテーション画像群を構成することを示す図である。

【図8】ミニバッチ学習装置を構成するコンピュータを示すブロック図である。

【図9】ミニバッチ学習装置のＣＰＵの処理部を示すブロック図である。

【図10】算出部および特定部の処理の具体例を示す図である。

【図11】生成部の処理の具体例を示す図である。

【図12】ミニバッチ学習装置の処理手順を示すフローチャートである。

【図13】生成部に、第２面積割合が第２設定値以上であるミニバッチデータを生成する処理を行わせるか否かを問う第２実施形態を示す図である。

【図14】一定の規則にしたがって生成した複数のミニバッチデータのうち、第２面積割合が第２設定値以上であるミニバッチデータを、学習に用いるために選択する第３実施形態を示す図である。

【図15】アノテーション画像内の稀少クラスの偏在領域のミニバッチデータの元となる画像の切り取り数を、非偏在領域の切り取り数よりも多くする第４実施形態を示す図である。

【発明を実施するための形態】

【0017】

［第１実施形態］
図１において、ミニバッチ学習装置２は、入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するためのモデル１０の判別精度を高めるために、モデル１０にミニバッチデータ１１を用いたミニバッチ学習を行わせる。ミニバッチ学習装置２は、例えばデスクトップ型のパーソナルコンピュータである。また、モデル１０は、例えばＵ－Ｎｅｔである。

【0018】

クラスは、入力画像に映る物体の種類と言い換えてもよい。また、セマンティックセグメンテーションは、端的に言えば、入力画像に映る物体のクラスとその輪郭を判別するもので、その判別結果を、モデル１０は出力画像として出力する。例えば入力画像にコップ、本、携帯電話の３つの物体が映っていた場合、出力画像は、理想的には、コップ、本、携帯電話が各々クラスとして判別され、かつこれら物体の輪郭を忠実に辿った輪郭線がそれぞれの物体に描かれたものとなる。

【0019】

モデル１０のクラスの判別精度は、モデル１０に学習データを与えて学習させ、モデル１０を更新することで高められる。学習データは、モデル１０に入力する学習用入力画像と、学習用入力画像内のクラスが手動で指定されたアノテーション画像との組で構成される。アノテーション画像は、学習用入力画像に応じてモデル１０から出力された学習用出力画像とのいわば答え合わせを行うための画像で、学習用出力画像と比較される。モデル１０のクラスの判別精度が高いほど、アノテーション画像と学習用出力画像との差異は小さくなる。

【0020】

ミニバッチ学習装置２では、前述のように、学習データとしてミニバッチデータ１１を用いる。ミニバッチデータ１１は、分割学習用入力画像群１２と分割アノテーション画像群１３とで構成される。

【0021】

ミニバッチ学習においては、分割学習用入力画像群１２がモデル１０に与えられる。これにより、モデル１０から、分割学習用入力画像群１２の分割学習用入力画像２０Ｓ（図４参照）毎に学習用出力画像が出力される。こうしてモデル１０から出力された学習用出力画像の集合である学習用出力画像群１４と、分割アノテーション画像群１３とが比較され、モデル１０のクラスの判別精度が評価される。そして、このクラスの判別精度の評価結果に応じて、モデル１０が更新される。ミニバッチ学習装置２は、これらの分割学習用入力画像群１２のモデル１０への入力と学習用出力画像群１４のモデル１０からの出力、モデル１０のクラスの判別精度の評価、およびモデル１０の更新を、ミニバッチデータ１１を代えつつ行い、モデル１０のクラスの判別精度が所望のレベルとなるまで繰り返す。

【0022】

図２に示すように、上記のようにしてクラスの判別精度が所望のレベルまで引き上げられたモデル１０は、学習済み機械学習モデル（以下、学習済みモデル）１０Ｔとして運用装置１５に組み込まれる。学習済みモデル１０Ｔには、映った物体のクラスおよびその輪郭が未だ判別されていない入力画像１６が与えられる。学習済みモデル１０Ｔは、入力画像１６に映る物体のクラスとその輪郭を判別し、その判別結果として出力画像１７を出力する。運用装置１５は、ミニバッチ学習装置２と同様、例えばデスクトップ型のパーソナルコンピュータであり、入力画像１６と出力画像１７とを、ディスプレイに並べて表示したりする。なお、運用装置１５は、ミニバッチ学習装置２とは別の装置でもよいし、ミニバッチ学習装置２と同じ装置でもよい。また、運用装置１５に学習済みモデル１０Ｔを組み込んだ後も、学習済みモデル１０Ｔにミニバッチデータ１１を与えて学習させてもよい。

【0023】

図３Ａに示すように、学習用入力画像２０は、本例においては、細胞培養の様子を位相差顕微鏡で映した１枚の画像である。学習用入力画像２０には、分化細胞、未分化細胞、培地、死細胞が物体として映っている。この場合のアノテーション画像２１は、図３Ｂに示すように、クラス１の分化細胞、クラス２の未分化細胞、クラス３の培地、クラス４の死細胞が、各々手動で指定されたものとなる。なお、学習済みモデル１０Ｔに与えられる入力画像１６も、学習用入力画像２０と同じく、細胞培養の様子を位相差顕微鏡で映した画像である。

【0024】

図４に示すように、分割学習用入力画像２０Ｓは、学習用入力画像２０内において、横方向にＤＸずつ、かつ縦方向にＤＹずつ順次移動される矩形状の枠２５で囲われた領域を、その都度切り取ったものである。枠２５の横方向の移動量ＤＸは、例えば、枠２５の横方向のサイズの１／２である。同様に、枠２５の縦方向の移動量ＤＹは、例えば、枠２５の縦方向のサイズの１／２である。枠２５は、例えば、学習用入力画像２０の１／５０のサイズである。この場合、分割学習用入力画像２０Ｓは、２０Ｓ＿１～２０Ｓ＿１００００の計１万枚ある。

【0025】

同様にして、図５に示すように、分割アノテーション画像２１Ｓは、アノテーション画像２１内において、横方向にＤＸずつ、かつ縦方向にＤＹずつ順次移動される矩形状の枠２５で囲われた領域を、その都度切り取ったものである。分割アノテーション画像２１Ｓは、２１Ｓ＿１～２１Ｓ＿１００００の計１万枚ある。なお、以下では、ミニバッチ学習装置２内に学習用入力画像２０およびアノテーション画像２１が既に用意されており、かつ分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓも既に生成されているとして話を進める。

【0026】

図６に示すように、分割学習用入力画像群１２は、図４で示したように生成された複数の分割学習用入力画像２０Ｓのうちの一部（例えば１万枚の分割学習用入力画像２０Ｓのうちの１００枚）で構成される。同様に図７に示すように、分割アノテーション画像群１３は、図５で示したように生成された複数の分割アノテーション画像２１Ｓのうちの一部（例えば１万枚の分割アノテーション画像２１Ｓのうちの１００枚）で構成される。分割学習用入力画像群１２を構成する分割学習用入力画像２０Ｓと、分割アノテーション画像群１３を構成する分割アノテーション画像２１Ｓとは、枠２５で切り取った領域が同じもの同士である。

【0027】

図８において、ミニバッチ学習装置２を構成するコンピュータは、ストレージデバイス３０、メモリ３１、ＣＰＵ（Central Processing Unit）３２、通信部３３、ディスプレイ３４、および入力デバイス３５を備えている。これらはデータバス３６を介して相互接続されている。

【0028】

ストレージデバイス３０は、ミニバッチ学習装置２を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。

【0029】

メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。

【0030】

通信部３３は、インターネットあるいは公衆通信網等のＷＡＮ（Wide Area Network）といったネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。各種画面にはＧＵＩ(Graphical User Interface)による操作機能が備えられる。ミニバッチ学習装置２を構成するコンピュータは、各種画面を通じて、入力デバイス３５からの操作指示の入力を受け付ける。入力デバイス３５は、キーボード、マウス、タッチパネル等である。

【0031】

図９において、ストレージデバイス３０には、学習用入力画像２０、アノテーション画像２１、分割学習用入力画像２０Ｓ、分割アノテーション画像２１Ｓ、およびモデル１０が記憶されている。また、ストレージデバイス３０には、アプリケーションプログラムとして作動プログラム４０が記憶されている。作動プログラム４０は、コンピュータをミニバッチ学習装置２として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム４０は、本開示の技術に係る「ミニバッチ学習装置の作動プログラム」の一例である。

【0032】

作動プログラム４０が起動されると、ミニバッチ学習装置２を構成するコンピュータのＣＰＵ３２は、メモリ３１等と協働して、算出部５０、特定部５１、生成部５２、学習部５３、評価部５４、および更新部５５として機能する。

【0033】

算出部５０は、アノテーション画像２１全体の面積に対する、複数のクラスの各々の第１面積割合を算出する。より詳しくは、算出部５０は、ストレージデバイス３０からアノテーション画像２１を読み出す。そして、アノテーション画像２１において手動で指定された領域の画素数を、クラス毎に加算する。次いで、加算した画素数をアノテーション画像２１の全画素数で除算することで、第１面積割合を算出する。例えば、クラス１の分化細胞と指定された領域の、加算した画素数が１００００で、全画素数が５００００であった場合、クラス１の分化細胞の第１面積割合は、（１００００／５００００）×１００＝２０％である。算出部５０は、算出した第１面積割合を特定部５１に出力する。

【0034】

特定部５１は、第１面積割合が第１設定値よりも低い稀少クラスを特定する。特定部５１は、特定した稀少クラスを生成部５２に出力する。

【0035】

生成部５２は、図４および図５で示したように学習用入力画像２０およびアノテーション画像２１から生成された分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓから、図６および図７で示したようにその一部を選択することで、ミニバッチデータ１１を生成する。生成部５２は、ミニバッチデータ１１を複数組（例えば１００組）生成する。特定部５１において稀少クラスが特定された場合、生成部５２は、分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓの選択方法を工夫することで、第２面積割合が、第１面積割合よりも大きい第２設定値以上であるミニバッチデータ１１を生成する。一方、特定部５１において稀少クラスが特定されなかった場合、生成部５２は、上記のような制約なくミニバッチデータ１１を生成する。生成部５２は、生成したミニバッチデータ１１を、学習部５３および評価部５４に出力する。

【0036】

ここで、第２面積割合は、１組のミニバッチデータ１１における稀少クラスの面積割合である。また、特定部５１において稀少クラスが特定された場合の分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓの選択方法の工夫とは、例えば、稀少クラスの物体が比較的大きく映った分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓを優先的に選択する等である。ミニバッチデータ１１の稀少クラスの第２面積割合を第２設定値以上とするための分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓの選択肢を増やす手法を実行してもよい。具体的には、稀少クラスの物体が比較的大きく映った分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓに、トリミング、左右反転、回転といった画像処理を施して別の画像に仕立て、ミニバッチデータ１１の新たな選択肢とする。こうした手法は、データオーギュメンテーションと呼ばれる。

【0037】

学習部５３は、生成部５２からのミニバッチデータ１１の分割学習用入力画像群１２をモデル１０に与えて学習させる。これによりモデル１０から出力された学習用出力画像群１４を、学習部５３は評価部５４に出力する。

【0038】

評価部５４は、生成部５２からのミニバッチデータ１１の分割アノテーション画像群１３と、学習部５３からの学習用出力画像群１４とを比較し、モデル１０のクラスの判別精度を評価する。評価部５４は、評価結果を更新部５５に出力する。

【0039】

評価部５４は、損失関数を用いて、モデル１０のクラスの判別精度を評価する。損失関数は、分割アノテーション画像群１３と学習用出力画像群１４との差異の程度を表す関数である。損失関数の算出値が０に近いほど、モデル１０のクラスの判別精度が高いことを示す。

【0040】

更新部５５は、評価部５４からの評価結果に応じて、モデル１０を更新する。より具体的には、更新部５５は、学習係数を伴う確率的勾配降下法等により、モデル１０の各種パラメータの値を変化させる。学習係数は、モデル１０の各種パラメータの値の変化幅を示す。すなわち、学習係数が比較的大きい値であるほど、各種パラメータの値の変化幅は大きくなり、モデル１０の更新度合いも大きくなる。

【0041】

図１０および図１１は、算出部５０、特定部５１、生成部５２の各部の処理の具体例を示す。まず、図１０において、算出部５０は、表６０に示すように、各クラスの第１面積割合を算出する。図１０では、クラス１の分化細胞の第１面積割合を３８％、クラス２の未分化細胞の第１面積割合を２％、クラス３の培地の第１面積割合を４０％、クラス４の死細胞の第１面積割合を２０％とそれぞれ算出した場合を例示している。

【0042】

特定部５１は、第１面積割合が第１設定値よりも低い稀少クラスを特定する。図１０では、第１設定値が５％以下であるため、第１面積割合が２％と第１設定値よりも低い、クラス２の未分化細胞を稀少クラスとして特定した場合を例示している。なお、ここでは稀少クラスが１つだけ特定された場合を例示しているが、第１面積割合が第１設定値よりも低いクラスが複数あった場合は、当然ながら複数のクラスが稀少クラスとして特定される。

【0043】

続いて図１１において、生成部５２は、表６１に示すように、稀少クラスの第２面積割合が、算出部５０において算出した第１面積割合よりも大きい第２設定値以上であるミニバッチデータ１１を生成する。図１１では、第２設定値が２５％以上であるため、各ミニバッチデータ１１において、稀少クラスであるクラス２の未分化細胞の第２面積割合が２５％とされている。また、稀少クラスであるクラス２の未分化細胞以外の他のクラスの第２面積割合も一律２５％とされている。なお、図１０で示した第１設定値、および図１１で示した第２設定値は、あくまでも一例である。第２設定値は、少なくとも稀少クラスの第１面積割合よりも大きければよく、上記の例でいえば２％よりも大きければよい。また、稀少クラス以外の他のクラスの第２面積割合に関しては特に制約はないので、上記のように値を一律２５％とする必要はない。

【0044】

次に、上記構成による作用について、図１２に示すフローチャートを参照して説明する。まず、作動プログラム４０が起動されて、図９で示したように、ミニバッチ学習装置２を構成するコンピュータのＣＰＵ３２が、各処理部５０～５５として機能する。

【0045】

図１０の表６０で示したように、算出部５０により、各クラスの第１面積割合が算出される（ステップＳＴ１００、算出ステップ）。続いて、これも図１０で示したように、特定部５１において、第１面積割合が第１設定値よりも低い稀少クラスが特定される（ステップＳＴ１１０、特定ステップ）。

【0046】

特定部５１において稀少クラスが特定された場合（ステップＳＴ１２０でＹＥＳ）、図１１の表６１で示したように、生成部５２により、稀少クラスの第２面積割合が第２設定値以上であるミニバッチデータ１１が生成される（ステップＳＴ１３０、生成ステップ）。

【0047】

特定部５１において稀少クラスが特定された場合とは、すなわち学習用入力画像２０およびアノテーション画像２１にクラスの偏りがあった場合である。学習用入力画像２０およびアノテーション画像２１にクラスの偏りがあると、何の制約もなくミニバッチデータ１１を生成した場合は、ミニバッチデータ１１にも、クラスの偏りが生じる可能性が高くなる。そうすると、結果として、稀少クラスの判別精度が低いモデル１０ができあがってしまう。

【0048】

しかしながら、本実施形態では、上述のように、特定部５１において稀少クラスが特定された場合、生成部５２において、稀少クラスの第２面積割合が第２設定値以上であるミニバッチデータ１１を生成している。こうすることで、学習用入力画像２０およびアノテーション画像２１にクラスの偏りがあった場合においても、ミニバッチデータ１１にはクラスの偏りは生じない。したがって、稀少クラスの判別精度が低いモデル１０ができあがってしまう、という事態が避けられ、モデル１０のクラスの判別精度の低下を抑制することが可能となる。

【0049】

一方、特定部５１において稀少クラスが特定されなかった場合は、生成部５２において、特に制約なくミニバッチデータ１１が生成される（ステップＳＴ１４０、生成ステップ）。

【0050】

学習部５３において、生成部５２からのミニバッチデータ１１の分割学習用入力画像群１２がモデル１０に与えられて学習が行われる（ステップＳＴ１５０）。そして、これによりモデル１０から出力された学習用出力画像群１４と、生成部５２からのミニバッチデータ１１の分割アノテーション画像群１３とが、評価部５４において比較され、モデル１０のクラスの判別精度が評価される（ステップＳＴ１６０）。

【0051】

評価部５４による評価結果に基づき、モデル１０のクラスの判別精度が所望のレベルに達したと判定された場合（ＳＴ１７０でＹＥＳ）、ミニバッチ学習が終了される。一方、モデル１０のクラスの判別精度が所望のレベルに達していないと判定された場合（ステップＳＴ１７０でＮＯ）は、更新部５５によりモデル１０が更新（ステップＳＴ１８０）される。そのうえで、ステップＳＴ１５０に処理が戻され、別の組のミニバッチデータ１１がモデル１０に与えられて以降のステップが繰り返される。

【0052】

［第２実施形態］
図１３に示す第２実施形態では、生成部５２に、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成する処理を行わせるか否かを問う。

【0053】

図１３において、第２実施形態のミニバッチ学習装置のＣＰＵは、第１実施形態の各処理部５０～５５に加えて、受付部６５として機能する。受付部６５は、特定部５２において稀少クラスを特定した場合に、生成部５２に、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成する処理を行わせるか否かの選択指示を受け付ける。

【0054】

第２実施形態においては、特定部５２において稀少クラスが特定された場合、ディスプレイ３４に問い合わせ画面６６が表示される。問い合わせ画面６６には、稀少クラスが特定された旨と、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成してよいか否かを問う旨のメッセージ６７、はいボタン６８、いいえボタン６９が表示される。受付部６５は、はいボタン６８といいえボタン６９の選択指示を、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成する処理を行わせるか否かの選択指示として受け付ける。はいボタン６８が選択された場合は、生成部５２において、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成する処理が行われる。一方、いいえボタン６９が選択された場合は、生成部５２において、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成する処理は行われない。

【0055】

アノテーション画像の生成に際しては、クラスの指定は手動であるため、クラスの指定を間違えたりすることがある。また、モデル１０の開発当初はクラスとして指定していたが、開発が進むにつれてあまり重要視しなくなったクラスが出てくることもある。こうした場合は、特定部５２において稀少クラスが特定されたが、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成しなくても構わない場合がある。

【0056】

そこで、第２実施形態では、受付部６５により、生成部５２に、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成する処理を行わせるか否かの選択指示を受け付けている。したがって、特定部５２において稀少クラスが特定されたが、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成しなくても構わない場合に対応することができる。

【0057】

［第３実施形態］
図１４に示す第３実施形態では、一定の規則にしたがってミニバッチデータ１１を複数生成する。そして、一定の規則にしたがって生成した複数のミニバッチデータ１１のうち、第２面積割合が第２設定値以上であるミニバッチデータ１１を、学習に用いるために選択する。

【0058】

図１４において、第３実施形態の生成部７５は、図４および図５で示したように、枠２５を一定の規則にしたがって移動（横方向にＤＸずつ、かつ縦方向のＤＹずつ順次移動）させ、分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓを生成する。また、生成部７５は、分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓから、一定の規則にしたがって分割学習用入力画像群１２および分割アノテーション画像群１３を生成する。第１実施形態では、分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓの選択方法を工夫することで、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成しているが、第３実施形態では、そうした選択方法の工夫はせず、取り敢えずは一定の規則にしたがってミニバッチデータ１１を生成する。

【0059】

生成部７５は、こうして一定の規則にしたがって生成した複数のミニバッチデータ１１のうち、第２面積割合が第２設定値以上であるミニバッチデータ１１を、学習に用いるために選択する。

【0060】

表７６は、生成部７５が一定の規則にしたがって生成した複数のミニバッチデータ１１の各クラスの第２面積割合を示す。ここでは、図１０等と同じく、クラス２の未分化細胞が稀少クラスとして特定された場合を例示する。また、第２設定値も、第１実施形態と同じく２５％以上である場合を例示する。この場合、稀少クラスであるクラス２の未分化細胞の第２面積割合が第２設定値以上であるのは、Ｎｏ．２のミニバッチデータ１１である。このため、生成部７５は、表７７に示すように、Ｎｏ．２のミニバッチデータ１１を、学習部５３に与えるミニバッチデータ１１として選択する。

【0061】

このように、第３実施形態では、生成部７５が、一定の規則にしたがってミニバッチデータ１１を複数生成し、かつ、一定の規則にしたがって生成した複数のミニバッチデータ１１のうち、第２面積割合が第２設定値以上であるミニバッチデータ１１を、学習に用いるために選択する。したがって、分割学習用入力画像２０Ｓおよび分割アノテーション画像２１Ｓの選択方法を工夫して、第２面積割合が第２設定値以上であるミニバッチデータ１１を生成する手間が省ける。

【0062】

［第４実施形態］
図１５に示す第４実施形態では、アノテーション画像２１内の稀少クラスの偏在領域と非偏在領域とを検出する。そして、偏在領域のミニバッチデータ１１の元となる画像の切り取り数を、非偏在領域の切り取り数よりも多くする。ここで、ミニバッチデータ１１の元となる画像とは、分割アノテーション画像２１Ｓのことである。

【0063】

図１５において、第４実施形態の生成部は、アノテーション画像２１内の稀少クラスの偏在領域８０と非偏在領域８１とを検出する。偏在領域８０の検出方法としては、まず、アノテーション画像２１を複数の領域に分割し、各領域における稀少クラスの面積割合を算出する。続いて、算出した各領域の面積割合の平均ＡＶＥと標準偏差σとを求める。そして、稀少クラスの面積割合が、例えばＡＶＥ＋３σを超える領域を、偏在領域８０として検出する。

【0064】

生成部は、上記のようにして検出した偏在領域８０の、分割アノテーション画像２１Ｓの切り取り数を、非偏在領域８１の切り取り数よりも多くする。図１５では、図４および図５で示した枠２５の移動量を、非偏在領域８１の移動量ＤＸ＿Ｂ、ＤＹ＿Ｂよりも、偏在領域８０の移動量ＤＸ＿Ａ、ＤＹ＿Ａを小さくすることで、偏在領域８０の分割アノテーション画像２１Ｓの切り取り数を、非偏在領域８１の切り取り数よりも多くしている。

【0065】

このように、第４実施形態では、生成部が、アノテーション画像２１内の稀少クラスの偏在領域８０と非偏在領域８１とを検出し、偏在領域８０のミニバッチデータ１１の元となる画像の切り取り数を、非偏在領域８１の切り取り数よりも多くしている。したがって、第２面積割合が第２設定値以上であるミニバッチデータ１１を簡単に生成することができる。

【0066】

上記各実施形態では、入力画像１６および学習用入力画像２０として、細胞培養の様子を位相差顕微鏡で映した画像を例示し、クラスとして分化細胞、培地等を例示したが、これに限定されない。例えばＭＲＩ（Magnetic Resonance Imaging）画像を入力画像１６および学習用入力画像２０とし、肝臓、腎臓といった臓器をクラスとしてもよい。

【0067】

モデル１０はＵ－Ｎｅｔに限らず、他の畳み込みニューラルネットワーク、例えばＳｅｇＮｅｔでもよい。

【0068】

ミニバッチ学習装置２を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、ミニバッチ学習装置２を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。具体的には、算出部５０および特定部５１の機能と、生成部５２および学習部５３の機能と、評価部５４および更新部５５の機能とを、３台のコンピュータに分散して担わせる。この場合は３台のコンピュータでミニバッチ学習装置２を構成する。

【0069】

このように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４０等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

【0070】

上記各実施形態において、例えば、算出部５０、特定部５１、生成部５２、７５、学習部５３、評価部５４、更新部５５、受付部６５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ３２に加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0071】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0072】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0073】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0074】

以上の記載から、以下の付記項１に記載の発明を把握することができる。

【0075】

［付記項１］
画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに、ミニバッチデータを与えて学習させるミニバッチ学習装置であり、
前記ミニバッチデータの元となる学習用入力画像およびアノテーション画像のうちの、前記アノテーション画像全体の面積に対する、前記複数のクラスの各々の第１面積割合を算出する算出プロセッサと、
前記第１面積割合が第１設定値よりも低い稀少クラスを特定する特定プロセッサと、
前記学習用入力画像および前記アノテーション画像から前記ミニバッチデータを生成する生成プロセッサであり、前記ミニバッチデータにおける前記稀少クラスの第２面積割合が、前記算出プロセッサにおいて算出した前記第１面積割合よりも大きい第２設定値以上である前記ミニバッチデータを生成する生成プロセッサと、
を備えるミニバッチ学習装置。

【0076】

本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0077】

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0078】

本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

【0079】

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】