特開 2023-65028 教師データ生成方法、画像解析モデル生成方法、画像解析方法、教師データ生成プログラム、画像解析プログラムおよび教師データ生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023065028

(43)【公開日】2023-05-12

(54)【発明の名称】教師データ生成方法、画像解析モデル生成方法、画像解析方法、教師データ生成プログラム、画像解析プログラムおよび教師データ生成装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230502BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021175579

(22)【出願日】2021-10-27

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その１） ウェブサイトの掲載日 ２０２０年３月１０日 ウェブサイトのアドレス ｈｔｔｐ：／／ｗｗｗ．ｓａｋａｉ－ｃｈｅｍ．ｃｏ．ｊｐ／ｊｐ／ ｈｔｔｐ：／／ｗｗｗ．ｓａｋａｉ－ｃｈｅｍ．ｃｏ．ｊｐ／ｊｐ／ｋａｉｓｅｋｉ／ｉｎｄｅｘ．ｈｔｍｌ

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その２） ウェブサイトの掲載日 ２０２０年３月１２日 ウェブサイトのアドレス ｈｔｔｐ：／／ｗｗｗ．ｓａｋａｉ－ｃｈｅｍ．ｃｏ．ｊｐ／ｊｐ／ ｈｔｔｐ：／／ｗｗｗ．ｓａｋａｉ－ｃｈｅｍ．ｃｏ．ｊｐ／ｊｐ／ｋａｉｓｅｋｉ／ｉｎｄｅｘ．ｈｔｍｌ

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その３） ウェブサイトの掲載日 ２０２０年３月１０日 ウェブサイトのアドレス ｈｔｔｐ：／／ｗｗｗ．ｓａｋａｉ－ｃｈｅｍ．ｃｏ．ｊｐ／ｊｐ／ ｈｔｔｐ：／／ｗｗｗ．ｓａｋａｉ－ｃｈｅｍ．ｃｏ．ｊｐ／ｊｐ／ｋａｉｓｅｋｉ／ｉｎｄｅｘ．ｈｔｍｌ ｈｔｔｐ：／／ｗｗｗ．ｓａｋａｉ－ｃｈｅｍ．ｃｏ．ｊｐ／ｊｐ／ｋａｉｓｅｋｉ／ｐｄｆ／ｋａｉｓｅｋｉ＿ｐｄｆ０１．ｐｄｆ

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その４） ウェブサイトの掲載日 ２０２１年６月１４日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ＧＰＹｂＡＶＥＱｒＵＩ

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その５） 展示日 ２０２１年５月１９日～２０２１年５月２１日 展示会名 ＣＩＴＥ ＪＡＰＡＮ第１０回化粧品産業技術展 開催場所 パシフィコ横浜（神奈川県横浜市西区みなとみらい１－１－１）

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その６） ウェブサイトの掲載日 ２０２１年６月１６日～２０２１年６月１８日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｊａｐａｎ－ｉｔ－ｏｎｌｉｎｅ．ｊｐ／ｊａ－ｊｐ．ｈｔｍｌ ｈｔｔｐｓ：／／ｗｗｗ．ｊａｐａｎ－ｉｔ－ｏｎｌｉｎｅ．ｊｐ／ｊａ－ｊｐ／ａｂｏｕｔ／ａｉ．ｈｔｍｌ

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その７） ウェブサイトの掲載日 ２０２１年８月４日～２０２１年９月３日 （再公開）２０２１年１０月２２日～２０２１年１１月２６日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｓｕｍｏｔｏ－ｔｒｄ．ｃｏ．ｊｐ／ ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｓｕｍｏｔｏ－ｔｒｄ．ｃｏ．ｊｐ／２０２１ｅｘｈｉｂｉｔｉｏｎ／ｅｎｔｒｙ／ ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｓｕｍｏｔｏ－ｔｒｄ．ｃｏ．ｊｐ／２０２１ｅｘｈｉｂｉｔｉｏｎ／ｇｒｅｅｔｉｎｇ／ ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｓｕｍｏｔｏ－ｔｒｄ．ｃｏ．ｊｐ／２０２１－ｅｘｈｉｂｉｔｉｏｎ／ｓａｋ．ｈｔｍｌ

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その８） ウェブサイトの掲載日 ２０２１年８月４日～２０２１年９月３日 （再公開）２０２１年１０月２２日～２０２１年１１月２６日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｓｕｍｏｔｏ－ｔｒｄ．ｃｏ．ｊｐ／ ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｓｕｍｏｔｏ－ｔｒｄ．ｃｏ．ｊｐ／２０２１ｅｘｈｉｂｉｔｉｏｎ／ｅｎｔｒｙ／ ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｓｕｍｏｔｏ－ｔｒｄ．ｃｏ．ｊｐ／２０２１ｅｘｈｉｂｉｔｉｏｎ／ｇｒｅｅｔｉｎｇ／ ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｓｕｍｏｔｏ－ｔｒｄ．ｃｏ．ｊｐ／２０２１ｅｘｈｉｂｉｔｉｏｎ／ｆｒｅｅｐｒｅｓｅｎｔａｔｉｏｎ／

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その９） 展示日 ２０２１年１０月６日～２０２１年１０月８日 展示会名 食品開発展２０２１ 開催場所 東京ビッグサイト（東京都江東区有明３－１０－１）

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その１０） ウェブサイトの掲載日 ２０２１年９月２９日～２０２１年１１月１２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｐｏｗｔｅｘ．ｃｏｍ／ｏｎｌｉｎｅ／ ｈｔｔｐｓ：／／ｐｏｗｔｅｘ．ｃｏｍ／ｏｎｌｉｎｅ／ｅｘｐｏ／ｅｘｈｉｂｉｔｏｒ／５－ｂ１３／

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その１１） 展示日 ２０２１年１０月１３日～２０２１年１０月１５日 展示会名 国際粉体工業展大阪２０２１ 開催場所 インテックス大阪（大阪府大阪市住之江区南港北１－５－１０２）

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その１２） ウェブサイトの掲載日 ２０２１年１０月１８日～２０２１年１０月２９日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｅｍｍａｔｅ．ｊｐ／ｏｎｌｉｎｅ ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｅｍｍａｔｅ．ｊｐ／ｏｎｌｉｎｅ／ｅｘｈｉｂｉｔｏｒ ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｅｍｍａｔｅ．ｊｐ／ｏｎｌｉｎｅ／ｅｘｈｉｂｉｔｏｒ／ｌｉｓｔ／５ ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｅｍｍａｔｅ．ｊｐ／ｏｎｌｉｎｅ／ｅｘｈｉｂｉｔｏｒ／ｂｏｏｔｈ／４７２

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （その１３） ウェブサイトの掲載日 ２０２１年１０月１８日～２０２１年１０月２９日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｅｍｍａｔｅ．ｊｐ／ｏｎｌｉｎｅ ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｅｍｍａｔｅ．ｊｐ／ｅｂｏｏｋ／ｇｕｉｄｅｂｏｏｋ２０２１／ｂｏｏｋ／＃ｔａｒｇｅｔ／ｐａｇｅ＿ｎｏ＝１ ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｅｍｍａｔｅ．ｊｐ／ｅｂｏｏｋ／ｇｕｉｄｅｂｏｏｋ２０２１／ｂｏｏｋ／＃ｔａｒｇｅｔ／ｐａｇｅ＿ｎｏ＝２５ ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｅｍｍａｔｅ．ｊｐ／ｏｎｌｉｎｅ／ｅｘｈｉｂｉｔｏｒ／ｂｏｏｔｈ／４７２

(71)【出願人】

【識別番号】000174541

【氏名又は名称】堺化学工業株式会社

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】窪内 将隆

(72)【発明者】

【氏名】西本 拓磨

(72)【発明者】

【氏名】齋藤 晴信

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA01

5L096EA02

5L096EA12

5L096EA13

5L096KA04

(57)【要約】

【課題】画像解析モデルの解析精度を向上させる。
【解決手段】画像内の領域の境界を判別するための画像解析モデルＭの機械学習に用いる教師データＤ２を生成する教師データ生成方法であって、学習用画像Ｄ１を取得する取得ステップＳ１と、学習用画像Ｄ１にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与ステップＳ３と、前記ノイズ画像と学習用画像Ｄ１内の領域の境界を示す境界データとを対応付けて教師データＤ２を生成する教師データ生成ステップＳ４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像内の領域の境界を判別するための画像解析モデルの機械学習に用いる教師データを生成する教師データ生成方法であって、
学習用画像を取得する取得ステップと、
前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与ステップと、
前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成ステップと、
を備える、教師データ生成方法。

【請求項2】

前記処理は、ぼかし処理、リサイズ処理、クロップ処理、ブライトネス処理、コントラスト処理および左右反転処理の少なくともいずれかである、請求項１に記載の教師データ生成方法。

【請求項3】

前記処理は、ぼかし処理である、請求項２に記載の教師データ生成方法。

【請求項4】

前記処理は、ブライトネス処理である、請求項２に記載の教師データ生成方法。

【請求項5】

前記処理は、ぼかし処理およびブライトネス処理である、請求項２に記載の教師データ生成方法。

【請求項6】

前記処理は、ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理である、請求項２に記載の教師データ生成方法。

【請求項7】

前記ノイズ付与ステップでは、各学習用画像に付与する前記ノイズの強さがランダムである、請求項１～６のいずれかに記載の教師データ生成方法。

【請求項8】

請求項１～７のいずれかに記載の教師データ生成方法によって生成された教師データを用いて機械学習を行うことにより、解析対象画像を入力した場合に、前記解析対象画像内の領域の境界を示すデータを出力する画像解析モデルを生成する学習ステップを備える、画像解析モデル生成方法。

【請求項9】

解析対象画像を取得する取得ステップと、
請求項８に記載の画像解析モデル生成方法によって生成された画像解析モデルを用いて、前記解析対象画像内の領域の境界を判別する判別ステップと、
を備える、画像解析方法。

【請求項10】

コンピュータに請求項１～７のいずれかに記載の教師データ生成方法の各ステップを実行させる、教師データ生成プログラム。

【請求項11】

コンピュータに請求項１０に記載の画像解析方法の各ステップを実行させる、画像解析プログラム。

【請求項12】

画像内の領域の境界を判別するための画像解析モデルの学習に用いる教師データを生成する教師データ生成装置であって、
学習用画像を取得する取得部と、
前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与部と、
前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成部と、
を備える、教師データ生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を解析する技術に関し、特に、画像内の領域の境界を判別する技術に関する。

【背景技術】

【0002】

商品や製品の品質や等級を判断するのに、しばしば画像解析の手法が用いられるが、対象物を認識するために、画像内の領域の境界を判別して、色などで対象領域を区別する二値化（セグメンテーション）という処理が行われている。従来の二値化は、主にグレースケールとエッジ検出に基づくルールベースで行われていたが、ピクセル単位で生じるノイズや領域の破れなどに弱く、自動的に二値化できる画像は限られていた。そのため、自動的に二値化できない画像に関しては、人の手で二値化を行っており、膨大な労力と時間がかかっていた。このことが原因で、統計的に信頼性を担保できるデータ量の確保が難しく、また画像データを数値化して信頼性あるデータとして活用することはできなかった。

【0003】

これに対し、ルールベースのアルゴリズムの代わりに、人工知能によって二値化を行う方法が提案されている。

【0004】

例えば、特許文献１には、機械学習を用いて、細胞の数と位置を検出する方法が記載されている。特許文献２には、ニューラルネットワークを用いて、処理対象の画像から複数の融合特徴マップを予測することで、物体検出を行う方法が記載されている。特許文献３には、道路と非道路の画像を第一ネットワークで学習し、道路部分を予想させて弱セグメンテーションを出力し、その後第二ネットワークで弱セグメンテーションを学習することで道路の予想を行うという方法が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－９１３０７号公報

【特許文献2】特表２０２０－５０９４８８号公報

【特許文献3】特開２０１９－６１６５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１～３に記載の方法では、いずれも機械学習のための教師データをカスタマイズしていないため、十分な量の教師データを用意していたとしても、学習した教師データに対して解析対象となる画像の画質にバラツキがある場合は、二値化の精度向上が困難であるという問題がある。

【0007】

本発明は、上記問題を解決するためになされたものであって、画像解析モデルの解析精度を向上させることを課題とする。

【課題を解決するための手段】

【0008】

本発明に係る教師データ生成方法は、画像内の領域の境界を判別するための画像解析モデルの機械学習に用いる教師データを生成する教師データ生成方法であって、学習用画像を取得する取得ステップと、前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与ステップと、前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成ステップと、を備える。

【0009】

好ましい実施形態によれば、前記処理は、ぼかし処理、リサイズ処理、クロップ処理、ブライトネス処理、コントラスト処理および左右反転処理の少なくともいずれかである。

【0010】

好ましい実施形態によれば、前記処理は、ぼかし処理である。

【0011】

好ましい実施形態によれば、前記処理は、ブライトネス処理である。

【0012】

好ましい実施形態によれば、前記処理は、ぼかし処理およびブライトネス処理である。

【0013】

好ましい実施形態によれば、前記処理は、ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理である。

【0014】

好ましい実施形態によれば、前記ノイズ付与ステップでは、各学習用画像に付与する前記ノイズの強さがランダムである。

【0015】

本発明に係る画像解析モデル生成方法は、上記の教師データ生成方法によって生成された教師データを用いて機械学習を行うことにより、解析対象画像を入力した場合に、前記解析対象画像内の領域の境界を示すデータを出力する画像解析モデルを生成する学習ステップを備える。

【0016】

本発明に係る画像解析方法は、解析対象画像を取得する取得ステップと、上記の画像解析モデル生成方法によって生成された画像解析モデルを用いて、前記解析対象画像内の領域の境界を判別する判別ステップと、を備える。

【0017】

本発明に係る教師データ生成プログラムは、コンピュータに上記の教師データ生成方法の各ステップを実行させる。

【0018】

本発明に係る画像解析プログラムは、コンピュータに上記の画像解析方法の各ステップを実行させる。

【0019】

本発明に係る教師データ生成装置は、画像内の領域の境界を判別するための画像解析モデルの学習に用いる教師データを生成する教師データ生成装置であって、学習用画像を取得する取得部と、前記学習用画像にノイズを付与する処理を行うことによりノイズ画像を生成するノイズ付与部と、前記ノイズ画像と前記学習用画像内の領域の境界を示す境界データとを対応付けて教師データを生成する教師データ生成部と、を備える。

【発明の効果】

【0020】

本発明によれば、画像解析モデルの解析精度を向上させることができる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態に係る画像解析モデル生成システムの概略構成を示すブロック図である。

【図2】（ａ）～（ｃ）は、学習用画像の一例である。

【図3】（ａ）～（ｃ）はそれぞれ、図２（ａ）～（ｃ）に示す学習用画像から生成された境界データの一例である。

【図4】本発明の一実施形態に係る画像解析装置のブロック図である。

【図5】解析対象画像の一例である。

【図6】二値化画像の一例である。

【図7】ノイズ画像の一例である。

【図8】本発明の一実施形態に係る画像解析モデル生成方法の処理手順を示すフローチャートである。

【図9】（ａ）～（ｊ）は、本発明の実施例において用いた解析対象画像である。

【図10】本発明の実施例において生成された二値化画像である。

【図11】本発明の実施例において生成された二値化画像である。

【図12】本発明の実施例において生成された二値化画像である。

【図13】本発明の実施例において生成された二値化画像である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。

【0023】

（全体構成）
図１は、本発明の一実施形態に係る画像解析モデル生成システム１の概略構成を示すブロック図である。画像解析モデル生成システム１は、本実施形態に係る画像解析モデル生成方法によって、画像内の領域の境界を判別するための画像解析モデルを生成するシステムであり、教師データ生成装置２と、機械学習装置３とを備える。

【0024】

（教師データ生成）
教師データ生成装置２は、本実施形態に係る教師データ生成方法によって、画像内の領域の境界を判別するための画像解析モデルの機械学習に用いる教師データを生成する装置である。教師データ生成装置２は、汎用のコンピュータで構成することができ、ハードウェア構成として、ＣＰＵやＧＰＵなどのプロセッサ、ＤＲＡＭやＳＲＡＭなどの主記憶装置（図示省略）、および、ＨＤＤやＳＳＤなどの補助記憶装置２０を備えている。補助記憶装置２０には、複数の学習用画像Ｄ１や、教師データ生成プログラムなどの教師データ生成装置２を動作させるための各種プログラムが格納されている。

【0025】

学習用画像Ｄ１は、教師データを生成するためのサンプルとなる画像であり、画像内に複数の領域を含む画像であればよい。図２（ａ）～（ｃ）は、学習用画像Ｄ１の一例である。各画像内には多数の微粒子が含まれている。学習用画像Ｄ１の個数は特に限定されないが、機械学習が十分に実行可能な数であることが好ましい。

【0026】

また、教師データ生成装置２は、機能ブロックとして、取得部２１と、境界データ生成部２２と、ノイズ付与部２３と、ラベリング部２４とを備えている。本実施形態において、これらの各部は、教師データ生成装置２のプロセッサが教師データ生成プログラムを主記憶装置に読み出して実行することによってソフトウェア的に実現される。

【0027】

取得部２１は、学習用画像Ｄ１を取得する機能ブロックである。本実施形態では、取得部２１は、補助記憶装置２０から学習用画像Ｄ１を読み出すことにより取得するが、外部との通信回線や記録媒体を介して学習用画像Ｄ１を取得してもよい。

【0028】

境界データ生成部２２は、学習用画像Ｄ１内の領域の境界を示す境界データを生成する機能ブロックである。本実施形態では、境界データ生成部２２は、図示しない入力装置を介したユーザの操作により、学習用画像Ｄ１内の各領域を白で表示し、それ以外の部分を黒で表示することにより、境界データを作成する。境界データは、学習用画像Ｄ１における領域の境界を示す正解データとなる。

【0029】

図３（ａ）～（ｃ）はそれぞれ、図２（ａ）～（ｃ）に示す学習用画像Ｄ１から生成された境界データの一例である。図３（ａ）に示す境界データでは、比較的輝度の高い表層部の微粒子によって画定される部分が白で表示され、それ以外の部分（領域の境界、表層部以外の微粒子）は黒で表示される。図３（ｂ）に示す境界データでは、矩形の粒子に該当する部分が白で表示され、それ以外の部分は黒で表示される。図３（ｃ）に示す境界データでは、一定以上の大きさの粒子に該当する部分が白で表示され、それ以外の部分は黒で表示される。なお、境界データの態様はこれに限定されず、例えば、領域の境界のみを線で表示し、その他の部分を白等で塗りつぶしたようなデータであってもよい。

【0030】

図１に示すノイズ付与部２３は、学習用画像Ｄ１にノイズを付与する処理を行うことによりノイズ画像を生成する機能ブロックである。ノイズを付与する処理の詳細については、後述する。

【0031】

ラベリング部２４は、ノイズ付与部２３によってノイズを付与されたノイズ画像と、境界データ生成部２２によって生成された境界データとを対応付けて教師データＤ２を生成する機能ブロックである。教師データＤ２は、補助記憶装置２０に蓄積され、その後、学習データセットとして機械学習装置３に転送される。

【0032】

（機械学習）
機械学習装置３は、機械学習によって画像解析モデルＭを生成する装置である。機械学習装置３は、汎用のコンピュータで構成することができ、教師データ生成装置２と同様に、ＣＰＵやＧＰＵなどのプロセッサ、ＤＲＡＭやＳＲＡＭなどの主記憶装置（図示省略）、および、ＨＤＤやＳＳＤなどの補助記憶装置３０を備えている。補助記憶装置３０には、教師データ生成装置２から転送された教師データＤ２や、機械学習装置３を動作させるための各種プログラム等が格納されている。

【0033】

なお、本実施形態では、機械学習装置３はクラウド上に設けられているが、教師データ生成装置２と同じ場所に設置してもよいし、あるいは、教師データ生成装置２と機械学習装置３とを一体的に構成してもよい。

【0034】

機械学習装置３は、機能ブロックとして学習部３１を備えている。学習部３１は、教師データＤ２に基づいて機械学習を行うことにより、解析対象画像を入力した場合に、前記解析対象画像内の領域の境界を示すデータを出力する画像解析モデルＭを生成する。学習法は特に限定されないが、例えば、ディープラーニング、サポートベクターマシン、ランダムフォレストなどを用いることができる。生成された画像解析モデルＭは、補助記憶装置３０に格納され、その後、画像解析のために用いられる。

【0035】

（画像解析）
図４は、本実施形態に係る画像解析装置４のブロック図である。画像解析装置４は、解析対象画像を解析する画像解析方法を実行するために用いられる装置であり、汎用のコンピュータで構成することができる。画像解析装置４は、ハードウェア構成として、ＣＰＵやＧＰＵなどのプロセッサ、ＤＲＡＭやＳＲＡＭなどの主記憶装置（図示省略）、および、ＨＤＤやＳＳＤなどの補助記憶装置４０を備えている。

【0036】

補助記憶装置４０には、図１に示す画像解析モデル生成システム１（本実施形態に係る画像解析モデル生成方法）によって生成された画像解析モデルＭおよび解析対象画像Ｄ３の他、画像解析プログラムなどの画像解析装置４を動作させるための各種プログラムが格納されている。解析対象画像Ｄ３は、例えば画像解析の依頼者から画像解析装置４に送信されたものである。

【0037】

画像解析装置４は、機能ブロックとして、画像解析部４１と、二値化処理部４２とを備えている。本実施形態において、これらの各部は、画像解析装置４のプロセッサが画像解析プログラムを主記憶装置に読み出して実行することによってソフトウェア的に実現される。

【0038】

画像解析部４１は、画像解析モデルＭを用いて、解析対象画像Ｄ３内の領域の境界を判別する機能ブロックである。本実施形態では、画像解析部４１は、補助記憶装置４０から解析対象画像Ｄ３および画像解析モデルＭを主記憶装置に読み出す。図５は、解析対象画像Ｄ３の一例である。

【0039】

続いて、画像解析部４１は、解析対象画像Ｄ３を画像解析モデルＭに入力し、これに対して、画像解析モデルＭは、解析対象画像Ｄ３内の領域の境界を示すデータを出力する。当該データは、図３に示すような、領域に該当する部分が白で表示され、それ以外の部分が黒で表示された画像である。なお、当該データは白黒という色に限定されず、また画像ではなくバイナリデータであってもよい。画像解析部４１は、画像解析モデルＭの出力データを二値化処理部４２に入力する。

【0040】

二値化処理部４２は、画像解析部４１が出力したデータに基づき、解析対象画像Ｄ３において、判別された境界によって区分される領域を認識し、認識した領域を着色やラベル付け、またはこれらを同時に表示することにより、二値化画像Ｄ４を生成する。二値化画像Ｄ４は、補助記憶装置４０に格納され、その後、解析結果として画像解析の依頼者に送信される。

【0041】

また、画像解析部４１の境界データは二値化のみならず、三値化やそれ以上の境界データであってもよく、二値化処理部４２では、境界数に応じた着色やラベル付けが可能である。

【0042】

図６は、二値化画像Ｄ４の一例である。二値化画像Ｄ４では、認識された領域が着色されている。なお、画像解析装置４において、二値化処理部４２は必須構成ではなく、画像解析モデルＭの出力データ、すなわち、図３に示す境界データと同様のデータを解析結果としてもよい。

【0043】

（ノイズ付与処理）
従来の方法では、教師データを生成する際に、学習用画像にノイズを付与することなく、境界データとラベリングしていた。そのため、例えば、学習した教師データに対して解析対象となる画像の画質にバラツキがある場合は、画像解析モデルによって解析対象画像内の領域を認識する精度が低いという問題があった。そこで、本実施形態では、二値化画像Ｄ４における領域の認識率を向上させるために、教師データ生成装置２において、ノイズ付与部２３が学習用画像Ｄ１にノイズを付与している。

【0044】

以下、教師データ生成装置２のノイズ付与部２３によるノイズ付与処理について説明する。本実施形態におけるノイズ付与処理は、ぼかし処理（Ｂｌｕｒ）、リサイズ処理（Ｒｉｓｉｚｅ）、クロップ処理（Ｃｒｏｐ）、ブライトネス処理（Ｂｒｉｇｈｔｎｅｓｓ）、コントラスト処理（Ｃｏｎｔｒａｓｔ）、左右反転処理（Ｈｆｌｉｐ）の６種類であるが、本発明ではこれらに限定されない。

【0045】

ぼかし処理は、学習用画像Ｄ１にぼかしフィルターをかけることにより、画像の解像度を低下させる処理である。リサイズ処理は、画像のサイズを縮小する処理である。クロップ処理は、画像の一部を切り取る処理である。ブライトネス処理は、画像の輝度を変更（低下または上昇）する処理である。コントラスト処理は、画像のコントラストを変更（低下または上昇）する処理である。左右反転処理は、画像の向きを左右反転させる処理である。ノイズ付与部２３は、１つの学習用画像Ｄ１に対し、これらの処理の少なくともいずれかを行うことにより、ノイズ画像を生成する。

【0046】

図７は、ノイズ画像の一例である。このノイズ画像は、図２（ａ）に示す学習用画像Ｄ１に対し、左右反転処理、ぼかし処理、コントラスト処理（コントラスト低下）、ブライトネス処理（ブライトネス上昇）、クロップ処理およびリサイズ処理をこの順で行うことにより生成されたものである。

【0047】

ノイズ画像はラベリング部２４によって境界データと対応付けられることにより、教師データＤ２が生成され、機械学習装置３における学習により、画像解析モデルＭが生成される。このようにして生成された画像解析モデルＭは、ノイズが付与されたノイズ画像を用いて学習されたものであるため、学習した教師データに対して解析対象となる画像の画質にバラツキがある場合であっても、高精度で解析対象画像を解析することができる。

【0048】

なお、１つの学習用画像Ｄ１に対し、上記６種類のノイズ処理を全て行ってもよいが、単独のノイズまたは複数のノイズの組み合わせに係るノイズ処理を行ってもよい。例えば、後述する実施例に示すように、
・ぼかし処理のみ
・ブライトネス処理のみ
・ぼかし処理およびブライトネス処理のみ
・ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理のみ
であっても、十分に高精度な画像解析モデルを生成することができる。

【0049】

また、各学習用画像Ｄ１に付与するノイズの強さをランダムに変化させるのが好ましい。すなわち、ノイズ付与部２３は、付与するノイズの強さを学習用画像Ｄ１ごとにランダムに変化させてもよい。このようにして生成されたノイズ画像を用いて画像解析モデルＭを学習されることにより、画質にバラツキのある解析対象画像に対しても、高精度に解析できる画像解析モデルを生成することができる。

【0050】

（処理手順）
以下、本実施形態に係る画像解析モデル生成方法の処理手順について、図８に示すフローチャートを用いて説明する。画像解析モデル生成方法は、図１に示す画像解析モデル生成システム１によって実行される。

【0051】

ステップＳ１（取得ステップ）では、教師データ生成装置２の取得部２１が補助記憶装置２０から学習用画像Ｄ１を取得する。続いて、ステップＳ２において、境界データ生成部２２が学習用画像Ｄ１内の領域の境界を示す境界データを生成し、ステップＳ３（ノイズ付与ステップ）において、ノイズ付与部２３が学習用画像Ｄ１にノイズを付与する処理を行うことによりノイズ画像を生成する。なお、ステップＳ２とステップＳ３の順序は特に限定されない。

【0052】

続いて、ステップＳ４（教師データ生成ステップ）において、ラベリング部２４がノイズ画像と境界データとを対応付けて教師データＤ２を生成する。

【0053】

ステップＳ１～Ｓ４によって、１つの学習用画像Ｄ１から１つの教師データＤ２が生成される。全ての学習用画像Ｄ１が処理されるまでステップＳ１～Ｓ４を繰り返し（ステップＳ５においてＹＥＳ）、その後、ステップＳ６（学習ステップ）に移行する。

【0054】

ステップＳ６では、機械学習装置３の学習部３１が教師データＤ２に基づいて機械学習を行うことにより、画像解析モデルＭを生成する。

【0055】

（付記事項）
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、上記実施形態では、ノイズ付与部２３によるノイズ付与処理は、ぼかし処理などの６種類であったが、これらに限らず、直線ノイズ処理（画像内に任意の長さ、幅の直線を任意数与える処理）、ドロップ処理（画像の任意のサイズと数の部分を欠落させる処理）、回転処理（画像を任意角度回転させる処理）、色処理（画像の色を任意の範囲で変更する処理）などを含んでもよい。

【実施例0056】

本発明を詳細に説明するために以下に具体例を挙げるが、本発明はこれに限定されるものではない。

【0057】

（画像解析モデルの生成）
本実施例では、各モデルで共通する９７枚の学習用画像に異なるノイズ処理（ぼかし処理、リサイズ処理、クロップ処理、ブライトネス処理、コントラスト処理および左右反転処理の少なくともいずれか）を施すことによりノイズ画像を生成し、あらかじめ用意した境界データと対応付けることにより教師データを生成し、さらに、当該教師データを用いて機械学習（ディープラーニング）を行い、１５の画像解析モデルＭ１～Ｍ１５を生成した。また、比較例として、ノイズ処理を施していない上記の学習用画像に境界データを対応付けることにより教師データを生成し、当該教師データを用いて機械学習（ディープラーニング）を行い、画像解析モデルＭ０を生成した。

【0058】

画像解析モデルＭ１～Ｍ１５、Ｍ０の学習に用いた学習用画像Ｄ１に付与されたノイズの有無または強弱を、表１および表２に示す。

【0059】

【表1】

【0060】

【表2】

【0061】

上記各表において、リサイズ、クロップおよび左右反転の各ノイズについては、付与の有無（Ｙｅｓ／Ｎｏ）のみ示しており、リサイズ、クロップの各ノイズの強さは一定とした。リサイズ処理では、画像の縦横をいずれも０．５倍に縮小した。クロップ処理では、縦横０．５×０．５のサイズで切り取った。

【0062】

ぼかし、ブライトネスおよびコントラストの各ノイズは、モデル毎に強弱を変えて付与した。

【0063】

ぼかしの強さは、学習用画像に、ぼかしフィルターをかける回数によって制御した。「Ｌｏｗ」は１回、「Ｍｉｄｄｌｅ」は２回を意味する。ぼかしフィルターには平均化フィルターを使用し、カーネル（平均化する際の値を取る範囲）は５×５であった。また、「Ａｒｂｉｔｒａｒｉｌｙ」は、学習用画像によってぼかしフィルターをかける回数を１～２回の範囲で任意に異ならせたことを意味する。

【0064】

ブライトネスについて、元の学習用画像を１とすると、「Ｌｏｗ」は、０．８～１．２の範囲で、「Ｍｉｄｄｌｅ」は、０．５～１．５の範囲で、「Ｈｉｇｈ」は、０．３～１．７の範囲で、「Ｈｉｇｈｅｒ」は、０．１～２．０の範囲で、各画像ごとにブライトネスをランダムに変えることを意味する。

【0065】

コントラストについて、元の学習用画像を１とすると、「Ｍｉｄｄｌｅ」は、０．５～１．５の範囲で、「Ｈｉｇｈ」は、０．３～１．７の範囲で、「Ｈｉｇｈｅｒ」は、０．１～２．０の範囲で、画像ごとにコントラストをランダムに変えることを意味する。

【0066】

（画像解析）
続いて、図９（ａ）～（ｊ）に示す１０の解析対象画像Ａ～Ｊを画像解析モデルＭ１～Ｍ１５、Ｍ０に入力し、各画像解析モデルからの出力データに対し二値化処理を行うことにより、二値化画像を生成した。

【0067】

図１０～図１３に、画像解析モデルＭ１～Ｍ１５およびＭ０が解析対象画像Ａ～Ｊを解析したデータを二値化した二値化画像を示す。各二値化画像では、領域として認識された部分が着色されている。

【0068】

画像解析モデルＭ１～Ｍ１５およびＭ０に対応する二値化画像における、領域の認識数を表３および表４に示す。

【0069】

【表3】

【0070】

【表4】

【0071】

さらに、画像解析モデルＭ１～Ｍ１５の認識数の、画像解析モデルＭ０の認識数に対する比率を、表５および表６に示す。

【0072】

【表5】

【0073】

【表6】

【0074】

本実施例に係る画像解析モデルＭ１～Ｍ１５はいずれも、比較例に係る画像解析モデルＭ０に比べ、認識数が向上する傾向にあった。よって、学習用画像へのノイズ処理によって、画像解析モデルの解析精度を向上させることができることが分かる。特に、画像解析モデルＭ１１～１４の結果から、ノイズ処理が、
・ぼかし処理のみ
・ブライトネス処理のみ
・ぼかし処理およびブライトネス処理のみ
・ぼかし処理、ブライトネス処理、リサイズ処理、およびコントラスト処理のみ
であっても、十分に高精度な画像解析モデルを生成することができることが分かる。

【0075】

また、画像解析モデルＭ１～Ｍ３を比較すると、ぼかしの強さは、ＬｏｗまたはＡｒｂｉｔｒａｒｉｌｙが有効であり、画像解析モデルＭ４～Ｍ６を比較すると、ブライトネスはＬｏｗまたはＨｉｇｈｅｒが有効であり、画像解析モデルＭ７～Ｍ９を比較すると、コントラストはＮｏまたはＨｉｇｈｅｒが有効であることがわかる。

【0076】

また、汎化性能（画像の種類による解析の得手／不得手）については、画像解析モデルＭ１～Ｍ４、Ｍ６、Ｍ７、Ｍ９、Ｍ１２～Ｍ１５が高いと認められる。

【符号の説明】

【0077】

１ 画像解析モデル生成システム
２ 教師データ生成装置
２０ 補助記憶装置
２１ 取得部
２２ 境界データ生成部
２３ ノイズ付与部
２４ ラベリング部
３ 機械学習装置
３０ 補助記憶装置
３１ 学習部
４ 画像解析装置
４０ 補助記憶装置
４１ 画像解析部
４２ 二値化処理部
Ｄ１ 学習用画像
Ｄ２ 教師データ
Ｄ３ 解析対象画像
Ｄ４ 二値化画像
Ｍ 画像解析モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】