特開 2022-137657 学習データ生成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022137657

(43)【公開日】2022-09-22

(54)【発明の名称】学習データ生成システム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20220914BHJP

   G06T 7/90 20170101ALI20220914BHJP

【ＦＩ】

G06T7/11

G06T7/90 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021037243

(22)【出願日】2021-03-09

(71)【出願人】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(71)【出願人】

【識別番号】000001063

【氏名又は名称】栗田工業株式会社

(74)【代理人】

【識別番号】100087398

【弁理士】

【氏名又は名称】水野 勝文

(74)【代理人】

【識別番号】100128783

【弁理士】

【氏名又は名称】井出 真

(74)【代理人】

【識別番号】100128473

【弁理士】

【氏名又は名称】須澤 洋

(72)【発明者】

【氏名】工藤 翔平

(72)【発明者】

【氏名】梅津 正人

(72)【発明者】

【氏名】岸根 義尚

(72)【発明者】

【氏名】伊東 忠佑

(72)【発明者】

【氏名】永野 和俊

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA01

5L096EA45

5L096FA06

5L096FA35

5L096GA40

5L096GA41

5L096GA51

5L096JA03

5L096JA11

(57)【要約】      （修正有）

【課題】ＡＩなどの学習モデルに使用される画像データのセグメンテーションを効率、かつ、短時間で行うことができる学習データ生成システム、学習データ生成装置およびプログラムを提供する。
【解決手段】学習データ生成装置は、学習対象を撮影した画像データの色特徴分布に基づいて画像データ間の色類似度を算出する色類似度算出部１１２と、色類似度を用いて画像データを複数のパターンに分類するパターン分類部１１３と、撮影環境を考慮してパターン分類別に設定される色調整パラメータを用いて、画像データの色調を補正する色調整部１２２と、色調補正された画像データをグレースケール変換するグレースケール変換部１３１と、パターン分類別に設定される輝度閾値に基づいて、グレースケール変換された画像データ内の領域を区画して領域指定を行う領域指定部１３３と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

学習対象を撮影した画像データの色特徴分布に基づいて前記画像データ間の色類似度を算出する色類似度算出部と、
前記色類似度を用いて前記画像データを複数のパターンに分類するパターン分類部と、
撮影環境を考慮してパターン分類別に設定される色調整パラメータを用いて、画像データの色調を補正する色調整部と、
色調補正された画像データをグレースケール変換する変換部と、
パターン分類別に設定される輝度閾値に基づいて、グレースケール変換された画像データ内の領域を区画して領域指定を行う領域設定部と、
を有することを特徴とする学習データ生成システム。

【請求項2】

学習対象を撮影した画像データは、撮影環境における自然光又は／及び人工光を含む光環境に応じて異なる色特徴量を有しており、
前記色特徴分布は、色相、彩度、明度の各出現頻度分布であり、
前記色類似度算出部は、色相、彩度、明度の各出現頻度分布を算出し、画像データ間で前記出現頻度分布を比較して前記色類似度を算出することを特徴とする請求項１に記載の学習データ生成システム。

【請求項3】

前記色調整パラメータは、撮影環境における自然光又は／及び人工光を含む光環境に応じた波長に基づくＲＧＢ色空間の色度の強さ、又はＨＳＶ色空間の違いを補正するパラメータであり、
前記領域指定部は、前記輝度閾値に基づいて画像データ内おける学習対象範囲の輪郭を形成し、前記輝度閾値以上の領域と輝度閾値未満の領域とに区画、又は輪郭内の領域と輪郭外の領域とに区画して領域指定を行うことを特徴とする請求項１又は２に記載の学習データ生成装置。

【請求項4】

コンピュータによって実行されるプログラムであって、
学習対象を撮影した画像データの色特徴分布に基づいて前記画像データ間の色類似度を算出する第１機能と、
前記色類似度を用いて前記画像データを複数のパターンに分類する第２機能と、
撮影環境を考慮してパターン分類別に設定される色調整パラメータを用いて、画像データの色調を補正する第３機能と、
色調補正された画像データをグレースケール変換する第４機能と、
パターン分類別に設定される輝度閾値に基づいて、グレースケール変換された画像データ内の領域を区画して領域指定を行う第５機能と、
を前記コンピュータに実現させるためのプログラム。

【請求項5】

学習対象を撮影した画像データの入力を受け付ける画像データ受付部と、
画像データの色特徴分布に基づいて画像データ間の色類似度を算出する色類似度算出部と、
前記色類似度を用いて前記画像データを複数のパターンに分類するパターン分類部と、
パターン分類毎に、撮影環境を考慮して設定される色調整パラメータの入力を受け付け、設定された色調整パラメータを用いて画像データの色調を補正する色調整部と、
色調補正された画像データをグレースケール変換する変換部と、
パターン分類別に設定される輝度閾値の入力を受け付け、前記輝度閾値に基づいてグレースケール変換された画像データ内の領域を区画して領域指定を行う領域設定部と、
領域指定された画像データを出力する学習データ出力部と、
を有することを特徴とする学習データ生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、ＡＩ、機械学習、ディープラーニング（深層学習）に用いられる学習データ技術に関する。

【背景技術】

【0002】

ＡＩは、大量の関連する画像データについてセグメンテーションを行うことにより、精度の高い分析を行うことができるようになる。セグメンテーション（画像セグメンテーション（segmentation）は、その画像における意味があると思われる領域を識別する処理である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１０１５３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＡＩなどの学習モデルに使用される画像データのセグメンテーションを効率かつ短時間で行うことができる学習データ生成システムを提供する。

【課題を解決するための手段】

【0005】

実施形態の学習データ生成システムは、学習対象を撮影した画像データの色特徴分布に基づいて前記画像データ間の色類似度を算出し、前記色類似度を用いて前記画像データを複数のパターンに分類するパターン分類部と、撮影環境を考慮してパターン分類別に設定される色調整パラメータを用いて、画像データの色調を補正する色調整部と、色調補正された画像データをグレースケール変換する変換部と、パターン分類別に設定される輝度閾値に基づいて、グレースケール変換された画像データ内の領域を区画して領域指定を行う領域設定部と、を有する。

【図面の簡単な説明】

【0006】

【図1】第１実施形態の学習データ生成装置によるセグメンテーション機能の説明図である。

【図2】第１実施形態の学習データ生成装置の機能ブロック図である。

【図3】第１実施形態の第１機能における色類似度の算出方法と色類似度を用いたパターン分類を説明するための図である。

【図4】第１実施形態の第２機能における領域指定を説明するための図である。

【図5】第１実施形態の学習データ生成処理の処理フローを示す図である。

【発明を実施するための最良の形態】

【0007】

以下、実施形態につき、図面を参照して説明する。

【0008】

（第１実施形態）
図１から図５は、第１実施形態の学習データ生成装置１００を説明するための図であり、図１は、本実施形態のセグメンテーション機能を説明するための図である。

【0009】

本実施形態の学習データ生成装置１００は、ＡＩ、機械学習、深層学習（ディープラーニング）などに用いられる学習データを生成する。学習データ生成装置１００は、教師ラベル（答え）のあり／なしにかかわらず、画像データ内のどこに何があるのかを判別し、その画像において意味があると思われる領域を識別するセグメンテーション処理を行う。セグメンテーションが実施された学習データを教師データとして用いることで、ＡＩや機械学習、深層学習の精度が向上する。

【0010】

しかしながら、「セグメンテーション」は、自動的に行うことはできず、一つ一つの画像データに対して手作業で範囲指定を行い、領域を指定していた。例えば、教師データ作成の際に、画像内の対象部分を人が特定し、対象部分の領域を点で囲むなどの操作が必要であり、特に、雲や泡のように形が変化するものについて、細かい縁取りを行う必要があった。このため、セグメンテーション処理は、膨大な時間と人的労力が必要とされていた。

【0011】

上述のように、ＡＩや機械学習、深層学習の精度向上には、大量の教師データが必要になる。しかしながら、精度の高い学習に必要なセグメンテーションが施された学習データ（教師データ）を生成するには、膨大な時間と人的労力を要することから、教師データの供給が間に合わず、ＡＩや機械学習、深層学習などの「学習」に時間がかかる問題があった。

【0012】

一例として、水処理作業において、微生物を用いて浄化を行う段階があり、微生物の状態を管理することは非常に重要である。薬品と空気を投入し微生物を活性化させるが、微生物の状態により水面の泡の面積、量、色、形などに変化が発生し、その変化に応じて薬や空気の投入をコントールする必要がある。これらをＡＩで分析して自動でコントロールすることも可能であるが、画像のセグメンテーション処理に多くの時間が割かれるので学習に必要な教師データを十分に用意することができない。このため、学習に手間取り、ＡＩで分析して自動でコントロールすることを断念せざるを得ないケースもあった。

【0013】

また、セグメンテーション処理が、人手で行われる要因としては、撮影環境、すなわち、自然光又は／及び人工光を含む光環境の影響も大きい。光環境が変化すると、学習対象の見え方（色）が異なり、輪郭が不鮮明となって学習対象とそれ以外を区画することが難しくなる。例えば、太陽光が強く全体的に白く見える画像と、太陽光が遮られ全体的に暗く見える画像とでは、同じ対象の見え方が相違すると共に、そこに対象の面積、量、色、形などの変化が加わると、セグメンテーション処理を自動化することがさらに難しくなる。つまり、精度向上のために必要なセグメンテーション処理は、逆に、人による領域識別及び領域指定への依存が高くなる傾向を生じさせている。

【0014】

そこで、本実施形態の学習データ生成装置１００は、セグメンテーション処理を自動化し、迅速かつ短時間で精度の高い学習データを生成する。

【0015】

図１に示すように、本実施形態の学習データ生成処理は、大きく２つの機能から構成されている。第１機能は、撮影された各画像データが有する色特徴量を分析して色特徴分布を算出し、色特徴分布を画像データ間で比較することで、色類似度を算出する。そして、色類似度が近い画像同士を、グループ化するパターン分類を行う。

【0016】

第２機能は、パターン分類された画像群別に、撮影環境に応じた色調整処理を施す。そして、色調整処理が施された画像をグレースケール変換し、パターン分類された画像群毎に設定される輝度閾値（明るさ閾値）を用いて、画像データ内の領域を区画して領域指定を行う。

【0017】

第１機能は、各画像の色特徴分布に基づく類似性を用いてパターン分類することで、撮影環境（自然光又は／及び人工光を含む光環境）の影響を考慮した学習対象の見え方（色調）を同じ類似群にまとめることができる。したがって、パターン分類それぞれに適した処理を一括して行うことができる。

【0018】

次に、第２機能は、撮影環境に応じた色調整をパターン分類毎に一括して行いつつ、グレースケール変換することで、画像内の特定範囲の色（学習対象の領域として取り得る色範囲）を識別し、パターン分類別に設定された輝度閾値（明るさ閾値）を用いて、領域指定する範囲を浮き彫りにする。

【0019】

つまり、本実施形態の第２機能は、画像データをグレースケール変換することで、色による明るさの違いから、学習対象の領域として取り得る色範囲を絞り込み、絞り込まれた色範囲に対し、輝度閾値に基づいて領域範囲の輪郭を浮き彫りする。このように、輝度閾値に基づいて画像データ内おける学習対象範囲の輪郭を形成し、輝度閾値以上の領域と輝度閾値未満の領域とに区画したり、輪郭内の領域と輪郭外の領域とに区画したりして、領域指定（領域抽出）を行う。

【0020】

これをパターン分類された画像群毎に一括して行うので、セグメンテーション処理が施された画像データ、すなわち、学習データを短時間でかつ大量に生成することができる。

【0021】

図２は、本実施形態の学習データ生成装置１００の機能ブロック図である。撮影装置は、学習対象（監視対象）を少なくとも一部に含む画像を撮影する。撮影装置によって撮影された画像は、学習データ生成装置１００に入力される。このとき、撮影装置と学習データ生成装置１００を無線又は有線の通信網で結び、撮影装置から撮影画像データを直接取り込めるようにしたり、撮影装置から外部記憶装置に撮影画像データを蓄積し、その外部記憶装置を学習データ生成装置１００に接続して撮影画像データを取り込めるようにしたりしてもよい。

【0022】

学習データ生成装置１００は、第１制御装置１１０、第２制御装置１２０、第３制御装置１３０、セグメンテーション画像出力部１４０、及び記憶装置１５０を備えている。

【0023】

第１制御装置１１０は、学習対象を撮影した画像データの入力を受け付け、記憶部１５０に記憶する画像データ受付部１１１、色類似度算出部１１２、パターン分類部１１３を備えている。第１制御装置１１０は、上述した本実施形態の第１機能に相当する。

【0024】

図３は、色類似度の算出方法と色類似度を用いたパターン分類を説明するための図である。色類似度算出部１１２は、画像データの色特徴分布に基づいて画像データ間の色類似度を算出する。色特徴分布は、ＨＳＶ色空間における色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ）、明度（Ｖａｌｕｅ・Ｂｒｉｇｈｔｎｅｓｓ）の各出現頻度分布である。画像データは、撮影環境における自然光又は／及び人工光を含む光環境に応じて異なる色特徴量を有している。例えば、各画素の色相、彩度、明度の各出現頻度を算出してヒストグラムを作成し、そのヒストグラム（分布状況）を比較することで、画像データ間の色類似度を算出することができる。

【0025】

ＨＳＶ色空間は、色相、彩度、明度の３つの成分からなる色空間であり、色相は、色の種類（例えば赤、青、黄）で、０～３６０の色相に分割されている。彩度は、色の鮮やかさであり、色の彩度の低下につれて、灰色さが顕著になり、くすんだ色となる。明度は、色の明るさである。ＨＳＶ色空間の色相は、彩度（０～１００）及び明度（０～１００）をパラメータとした情報であり、１つの画素は、例えば、色相「３６」、彩度「８０」、明度「１００」の色情報（ピクセル値）を有する。

【0026】

色相、彩度、明度の各出現頻度を算出してヒストグラムを生成することで、色特徴分布を把握し、既知のヒストグラム類似度算出手法を用いて、画像データの色特徴分布の類似性を把握することができる。

【0027】

パターン分類部１１３は、算出された色類似度に基づいて、近しい画像同士をグループ化（パターン化）し、パターン毎の画像データ群を形成する。色類似度が近しい画像データ群は、例えば、撮影環境における光環境が似ているなどの共通した色特徴分布を備えていることになる。本実施形態のパターン化による自動分類で、色特徴分布が互いに類似する画像データの集まりを形成することができる。

【0028】

一度形成された各パターン分類は、互いに一定の非類似性を有する個別のグループとなり、その後入力される画像データは、一定範囲内の類似性を有するグループに仕分けされたり、どのグループに対しても一定範囲の類似性が存在しない場合は、新たなパターンとして仕分けされたりする。

【0029】

次に、第２制御装置１２０は、色調整パラメータ設定部１２１及び色調整部１２２を備えている。色調整パラメータ設定部１２１は、パターン分類毎に、撮影環境を考慮して設定される色調整パラメータの入力を受け付ける。

【0030】

色調整パラメータは、撮影環境における自然光又は／及び人工光を含む光環境に応じた波長に基づくＲＧＢ色空間の色度の強さ、又はＨＳＶ色空間の違いを補正するパラメータである。例えば、太陽光が当たっている部分と当たっていない部分とでは、太陽光が当たっている部分の方が、ＲＧＢのＧ（緑）とＢ（青）の要素が強く出る。そこで、Ｒ（赤）を強調する色調整パラメータを設定して画像データ全体の色調整を行うことで、光環境による影響を低減させることができる。

【0031】

色調整パラメータは、パターン分類毎に、画像データ群内の各画像を参照し、ユーザが任意の値を設定することができる。色調整パラメータ設定部１２１は、画像閲覧画面や色調整パラメータ入力画面などを所定のディスプレイに表示させ、画面を通じて色調整パラメータをパターン分類毎に受け付けることができる。

【0032】

第３制御装置１３０は、グレースケール変換部１３１、輝度閾値設定部１３２及び領域指定部１３３を備えている。グレースケール変換部１３１は、色調補正された画像データをグレースケール変換する。輝度閾値設定部１３２は、パターン分類別に輝度閾値の入力を受け付ける。領域指定部１３３は、輝度閾値に基づいてグレースケール変換された画像データ内の領域を区画して領域指定を行う。

【0033】

図４は、領域指定を説明するための図であり、第２制御装置１２０及び第３制御装置１３０が、上述した第２機能を担う。

【0034】

図４に示すように、画像データをグレースケール変換し、輝度閾値に基づいて領域範囲の輪郭を形成することができる。そして、例えば、輝度閾値によって作成された輪郭で囲まれる領域とそれ以外の領域とを異なる色で表現し、領域指定された（セグメンテーション処理が施された）学習データを生成する。図４の例において、濃い部分が輝度閾値によって輪郭が形成された抽出領域であり、薄い部分がそれ以外の領域となる。

【0035】

なお、抽出領域が例えば、白色傾向が強い場合は、輝度閾値以上の画素で構成される輪郭を形成することができ、黒色傾向が強い場合は、輝度閾値以下の画素で構成される輪郭を形成することができる。つまり、輝度閾値は、学習対象（監視対象）及びその周囲の色味の関係に応じて使い分けが行われ、閾値以上の輪郭又は閾値未満の輪郭を形成して領域指定を行う。

【0036】

図５は、学習データ生成処理の処理フローを示す図である。撮影装置によって撮影された撮影画像データが入力されると（Ｓ１０１）、色類似度が算出され（Ｓ１０２）、色特徴分布に基づいて一定範囲の類似性を有するパターン群に仕分けされる（Ｓ１０３）。

【0037】

色調整パラメータは、仕分けされたパターン分類別に設定することができ（Ｓ１０４）、設定された色調整パラメータを用いて、パターン分類毎に一括して色調整処理を行う（Ｓ１０５）。色調整された画像データは、グレースケール変換され（Ｓ１０６）、グレースケール画像を用いて、領域指定処理が行われる。具体的には、領域指定処理に用いられる輝度閾値をパターン分類別に一括して設定することができ（Ｓ１０７）、同じパターン分類の各画像に対して同値の輝度閾値が適用される。

【0038】

輝度閾値に基づいて画像データ内における学習対象範囲の輪郭を形成し、輝度閾値以上の領域と輝度閾値未満の領域とに区画したり、輪郭内の領域と輪郭外の領域とに区画したりして、領域指定（領域抽出）を行う（Ｓ１０８）。パターン分類別に異なる輝度閾値が設定されるので、パターン分類毎に領域指定を一括して行うことができる。

【0039】

このようにセグメンテーション処理が施された学習データは、記憶部１５０に蓄積される。蓄積された学習データは、セグメンテーション画像出力部１４０を通じて、教師データを作成するための装置等に出力される（Ｓ１０９）。

【0040】

本実施形態によれば、撮影画像データそれぞれの色特徴分布に基づいて画像間の類似性をパターン分類することで、自動的に撮影環境（光環境）を考慮した仕分けを行うことができる。そして、仕分けされたパターン分類別に、撮影環境を考慮した色調整処理を一括して行いつつ、グレースケール変換することで色による明るさの違いから、学習対象の領域として取り得る色範囲を絞り込む。

【0041】

絞り込まれた色範囲に対し、パターン分類別に設定される輝度閾値に基づいて領域範囲の輪郭を浮き彫りにして領域指定を行うので、人手による範囲指定を行う必要がなく、精度の高いセグメンテーションを自動的に行うことができる。

【0042】

このように、セグメンテーション処理が施された精度の高い学習データを短時間でかつ大量に生成することができる。

【0043】

以上、実施形態について説明したが、学習データ生成装置１００は、ＡＩ、機械学習、深層学習等の学習モデルを備える学習システムの一部として構成したり、学習システムに教師データを提供するための教師データ生成システムの一部として構成したりすることができる。例えば、本学習データ生成装置１００は、セグメンテーション処理済の画像データを選別したり、教師ラベルを付与したりする機能を備えるように構成すれば、教師データ生成システムとなる。

【0044】

また、学習データ生成装置１００は、サーバ装置等の演算機能、記憶機能、通信機能などを備えるコンピュータ装置である。また、ハードウェア構成としては、メモリ（主記憶装置）、マウス、キーボード、タッチパネル、スキャナー等の操作入力手段、プリンタなどの出力手段、補助記憶装置（ハードディスク等）等を備えることができる。

【0045】

また、本発明の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行して、コンピュータに本発明の各部の機能を動作させることができる。他方、学習データ生成装置１００の各機能は、各々個別の装置で構成することもでき、複数の装置を直接に又はネットワークを介して接続してコンピュータシステムを構成することもできる。

【0046】

また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。

【0047】

なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0048】

１００ 学習データ生成装置
１１０ 第１制御装置
１１１ 画像データ受付部
１１２ 色類似度算出部
１１３ パターン分類部
１２０ 第２制御装置
１２１ 色調整パラメータ設定部
１２２ 色調整部
１３０ 第３制御装置
１３１ グレースケール変換部
１３２ 輝度閾値設定部
１３３ 領域指定部
１４０ セグメンテーション画像出力部
１５０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】