特開 2023-184114 データ処理装置、画像診断装置およびデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023184114

(43)【公開日】2023-12-28

(54)【発明の名称】データ処理装置、画像診断装置およびデータ処理方法

(51)【国際特許分類】

   G06V 10/774 20220101AFI20231221BHJP

   G06T 7/00 20170101ALI20231221BHJP

   G06T 7/90 20170101ALI20231221BHJP

【ＦＩ】

G06V10/774

G06T7/00 350B

G06T7/90 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022098070

(22)【出願日】2022-06-17

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】山嵜 勇哉

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096CA02

5L096DA02

5L096FA35

5L096GA01

5L096GA40

5L096GA41

5L096GA51

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】複数の対象物の撮影により得られた撮影画像から対象物に関する教師データを自動作成する。
【解決手段】データ処理装置１１００は、複数の対象物を撮影して得られた入力画像から、複数の対象物のそれぞれが存在する複数の画像領域を抽出し、複数の画像領域のそれぞれに含まれる複数の画素を画素値に基づいて並び替え、並び替えられた複数の画素に対して、該複数の画素に含まれる対象物に対応する既知の正解ラベルを付与することで教師データを作成する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

複数の対象物を撮影して得られた入力画像から、前記複数の対象物のそれぞれが存在する複数の画像領域を抽出する抽出手段と、
前記複数の画像領域のそれぞれに含まれる複数の画素を画素値に基づいて並び替える並び替え手段と、
並び替えられた前記複数の画素に対して、該複数の画素に含まれる前記対象物に対応する既知の正解ラベルを付与することで教師データを作成する作成手段とを有することを特徴とするデータ処理装置。

【請求項2】

前記抽出手段は、インスタンスセグメンテーションを行う機械学習により作成された学習済みモデルを用いて前記複数の画像領域を抽出することを特徴とする請求項１に記載のデータ処理装置。

【請求項3】

前記抽出手段は、画像分割によるデータ拡張を行い、
前記画像分割において、前記複数の対象物のそれぞれの全体が分割されたいずれかの画像内に収まるように分割サイズとストライド量を設定することを特徴とする請求項１に記載のデータ処理装置。

【請求項4】

前記入力画像は、前記複数の対象物の色特徴とは異なる背景色を有し、
前記抽出手段は、前記色特徴に基づいて前記複数の画像領域を抽出することを特徴とする請求項１に記載のデータ処理装置。

【請求項5】

前記入力画像における前記複数の対象物の色特徴が互いに異なり、
前記作成手段は、撮影された対象物の色を判定するための機械学習に用いられる前記教師データを作成することを特徴とする請求項１に記載のデータ処理装置。

【請求項6】

前記入力画像における前記複数の対象物の色特徴が互いに異なり、
前記抽出手段は、前記色特徴に基づいて作成された抽出用教師データを用いた機械学習により学習した学習済みモデルを用いて前記複数の画像領域を抽出することをとする請求項１に記載のデータ処理装置。

【請求項7】

前記抽出手段は、抽出された前記複数の画像領域のそれぞれにおける所定範囲の画素値を相互に比較した結果を用いて、同一の対象物が存在する画像領域を重複して抽出しないようにすることを特徴とする請求項１に記載のデータ処理装置。

【請求項8】

請求項１から７のいずれか一項に記載のデータ処理装置を有し、
前記教師データを用いた機械学習により作成された学習済みモデルを用いて、撮影により得られた画像に含まれる対象物に関する判定を行うことを特徴とする画像判定装置。

【請求項9】

複数の対象物を撮影して得られた入力画像から、前記複数の対象物のそれぞれが存在する複数の画像領域を抽出するステップと、
前記複数の画像領域のそれぞれに含まれる複数の画素を画素値に基づいて並び替えるステップと、
並び替えられた前記複数の画素に対して、該複数の画素に含まれる前記対象物に対応する既知の正解ラベルを付与することで教師データを作成するステップとを有することを特徴とするデータ処理方法。

【請求項10】

コンピュータに、請求項９に記載のデータ処理方法に従う処理を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像から対象物に関する学習用データを作成するデータ処理技術に関する。

【背景技術】

【0002】

撮影装置による撮影により生成された画像から対象物に関する情報を取得する際に、何万パターンもの大量の学習用データ（教師データ）を用いて事前にディープラーニング等の機械学習を行うことで高精度な推定が可能となる。ただし、大量の教師データを人が作成するには膨大な工数を要する。このため、大量の教師データをコンピュータ等で自動作成できることが望ましい。

【0003】

特許文献１には、対象物の撮影により生成されたマルチスペクトル画像を使用して、対象物を認識し、認識結果を同じ対象物の撮像により生成されたカラー画像に付与することで、カラー画像に対応する教師データを自動的に作成する手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６９１０７９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された手法で自動作成できる教師データは、は、マルチスペクトル画像において明確に認識可能な対象物に関する教師データ限られる。また、同じ対象物の撮影により得られたマルチスペクトル画像とカラー画像の組が何万組も必要になる。

【0006】

本発明は、複数の対象物の撮影により得られた撮影画像から対象物に関する教師データを自動作成できるようにしたデータ処理装置およびデータ処理方法を提供する。

【課題を解決するための手段】

【0007】

本発明の一側面としてのデータ処理装置は、複数の対象物を撮影して得られた入力画像から、前記複数の対象物のそれぞれが存在する複数の画像領域を抽出する抽出手段と、複数の画像領域のそれぞれに含まれる複数の画素を画素値に基づいて並び替える並び替え手段と、並び替えられた複数の画素に対して、該複数の画素に含まれる対象物に対応する既知の正解ラベルを付与することで教師データを作成する作成手段とを有することを特徴とする。
なお、上記データ処理装置により生成された教師データを用いた機械学習により作成された学習済みモデルを用いて、撮影により得られた画像に含まれる対象物に関する判定を行う画像判定装置も本発明の他の一側面を構成する。

【0008】

また、本発明の一側面としてのデータ処理方法は、複数の対象物を撮影して得られた入力画像から、複数の対象物のそれぞれが存在する複数の画像領域を抽出するステップと、複数の画像領域のそれぞれに含まれる複数の画素を画素値に基づいて並び替えるステップと、 並び替えられた複数の画素に対して、該複数の画素に含まれる対象物に対応する既知の正解ラベルを付与することで教師データを作成する作成手段とを有することを特徴とする。なお、上記データ処理方法に従う処理をコンピュータに実行させるプログラムも、本発明の他の一側面を構成する。

【発明の効果】

【0009】

本発明によれば、複数の対象物の撮影により得られた入力画像から対象物に関する教師データを自動作成することができる。

【図面の簡単な説明】

【0010】

【図1】実施例のデータ処理方法を示すフローチャートと各ステップでの出力を示す図。

【図2】実施例における入力画像の例を示す図。

【図3】MASK R-CNNの入出力例を示す図。

【図4】図１のフローチャートのステップＳ２０における教師データの作成方法を示す図。

【図5】上記教師データの拡張例を示す図。

【図6】上記教師データの作成方法を示すフローチャート。

【図7】図１のフローチャートのステップＳ２１における処理を示す図。

【図8】図１のフローチャートのステップＳ２２における処理対象を示す図。

【図9】図１のフローチャートのステップＳ２５における処理対象を示す図。

【図10】図１のフローチャートのステップＳ３０～Ｓ５０における処理を示す図。

【図11】実施例のデータ処理装置１１００のハードウェア構成を示す図。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について図面を参照しながら説明する。本実施例では、撮影画像から水稲の籾熟色を判定する画像判定装置に用いられ、該判定に使用される教師データを作成するデータ処理装置について説明する。

【0012】

図１１は、本発明の実施例のデータ処理装置１１００の構成を示している。データ処理装置１１００は、パーソナルコンピュータ等のコンピュータにより構成され、システムバス１１０１、ＣＰＵ１１０２、ＲＯＭ１１０３、ＲＡＭ１１０４、ＨＤＤ１１０５、ＮＩＣ１１０６、入力部１１０７、表示部１１０８およびＧＰＵ１１０９を有する。ＣＰＵはCentral Processing Unit、ＲＯＭはRead Only Memory、ＲＡＭはRandom Access Memory、ＨＤＤはHard Disk Drive、ＮＩＣはNetwork Interface Controller、ＧＰＵは Graphics Processing Unitの略である。

【0013】

入力部１１０７は、不図示のデジタルスチルカメラやビデオカメラ等の撮影装置で対象物を撮影することで得られた撮影画像が入力される。本実施例では、後述するように複数の対象物としての複数の籾を撮影して得られた撮影画像が入力される。

【0014】

ＲＯＭ１１０３は、入力画像としての撮影画像を保存する記憶手段である。なお、撮影画像は、ＲＯＭ１１０３とは別に設けられた記憶手段としてのＨＤＤ１１０５に保存されてもよく、さらにＮＩＣ１１０６を介したネットワーク１１１０経由で接続された外部記憶装置１１１１に保存されもよい。ＲＯＭ１１０３、ＨＤＤ１１０５および外部記憶装置は、撮影画像の他に、後述する学習済みモデルの構造や結合重み付け係数等の各種パラメータに関する情報、入力画像に対応した正解ラベルおよび作成された教師データも保存される。

【0015】

ＲＡＭ１１０４は、ＲＯＭ１１０３やＨＤＤ１１０５に保存された撮影画像を読み込んだり、外部記憶装置１１１１に保存された撮影画像をＮＩＣ１１０６を介して読み込んだりする。

【0016】

ＣＰＵ１１０２は、撮影画像に対する処理をプログラムに従って実行する。撮影画像に対する処理内での後述するＣＮＮ(Convolutional Neural Network)の計算処理についてはＧＰＵ１１０９が実行する。また、撮影画像から複数の対象物（籾）のそれぞれが存在する複数の画像領域を抽出する後述の処理については、ＣＰＵ１１０２とＧＰＵ１１０９が実行する。ＧＰＵ１１０９はデータをより多く並列処理することで効率的な演算を行うことができるので、ＣＮＮの計算処理や画像領域の抽出処理をＧＰＵ１１０９が行うことが好ましい。ＣＰＵ１１０２とＧＰＵ１１０９は、抽出手段、並べ替え手段および作成手段に相当する。

【0017】

表示部１１０８は、作成された教師データの数等の情報を表示する。表示部１１０８は、図３に示すように教師データに使用した対象物の抽出領域等を表示してもよい。

【0018】

図１のフローチャートは、本実施例においてＣＰＵ１１０２およびＧＰＵ１１０９がプログラムに従って実行する処理（データ処理方法）を示している。また図１には、該処理におけるステップＳ１０～Ｓ５０での出力例（ａ）～（ｅ）も併せて示している。

【0019】

ステップＳ１０において、ＣＰＵ１１０２又はＧＰＵ１１０９は、対象物である籾を複数含む撮影画像（入力画像）１０１を読み込む。撮影画像１０１には、図２に示す緑籾画像２０１および黄籾画像２０２のように既に正解ラベル１０２ごとに仕分けられたものが用いられる。緑籾画像２０１に対する既知の正解ラベルは「緑」であり、黄籾画像２０２に対する既知の正解ラベルは「黄」である。

【0020】

次にステップＳ２０では、ＣＰＵ１１０２又はＧＰＵ１１０９は、入力された撮影画像から籾がそれぞれ存在する複数の画像領域（以下、対象物領域という）１０３を抽出する。

【0021】

次にステップＳ３０では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳ２０にて抽出された複数の対象物領域１０３のそれぞれに対して既定の数（所定数）の画素１０４を抽出する。

【0022】

次にステップＳ４０では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳ３０にて抽出された既定の数の画素１０４をそれらの画素値（輝度値）に基づいて並び替える（ソートする）。ここでは、例えば、画像値が小さいものから大きいものへの順またはその逆の順に画素１０４をソートする。

【0023】

次にステップＳ５０では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳ４０にてソートされた既定の数の画素１０５に対して対応する既知の正解ラベルを付与することで、水稲の籾熟色を診断するための診断用教師データ１０６を作成する。そして本処理を終了する。

【0024】

図２に示すように、本実施例で使用する撮影画像（緑籾画像２０１および黄籾画像２０２）は、対象物の色特徴（RGBやHSV等の色空間のヒストグラムを用いた特徴量：以下、単に色という）とは明確に異なる背景色のもとでの撮影により生成される。このような背景色を用いることで、ステップＳ２０における対象物領域の抽出を容易にすることができる。

【0025】

なお、図２では撮影画像をモノクロ画像として表示しているが、実際の撮影画像はカラー（ＲＧＢ）画像である。また、図２に示している撮影画像は、黄と緑の籾をこれらとは明確に色が異なる黒背景のもとで撮影して得られた画像である。籾熟色を診断する際には、波長７００ｎｍ等、葉緑体の吸収波長帯のモノクロ画像を用いてもよいが、ＲＧＢ等の色情報を用いることで診断精度が向上するため、２バンド以上の波長の色情報が含まれる撮影画像を用いることが望ましい。モノクロ画像を用いる場合は、対象物と背景との画素値が明確に異なるようにするとよい。

【0026】

ステップＳ２０における対象物領域の抽出には、抽出用教師データを用いた機械学習により作成された学習モデル（学習済みモデル）を用いる。一般に、機械学習には大量の教師データを必要とするが、本実施例での対象物領域の抽出には上述したように対象物と明確に色が異なる背景色の撮影画像が用いられるため、機械学習で解く対象となる問題が限定される。この結果、少量の教師データでの実装が可能である。本実施例では、ステップＳ２０で用いる学習モデルを、下記の文献に記載されたMASK R-CNNのようなインスタンスセグメンテーション(Instance Segmentation)を行う機械学習を用いて作成する。

【0027】

“Mask R-CNN, Kaiming He,Georgia Gkioxari,Piotr Dollar,Ross Girshick,ICCV2017”
MASK R-CNNは、複数の物体のそれぞれを識別し、各物体をクラス分類する手法であるため、黄籾と緑籾のクラス分類も原理上は同時に行える。しかし、MASK R-CNNのような畳み込みニューラルネットワーク（CNN）を用いた手法では、判断基準が物体の形状に大きく依存する。すなわち、黄籾と緑籾のような形状の似通った物体のクラス分類は、背景等の不要物の影響や、籾の配置および大きさ等の微細な変化によって判断基準が容易に揺らぐ。このため、黄籾と緑籾のクラス分類をMASK R-CNNで行うことは難しい。

【0028】

これに対して、本実施例では、黄籾と緑籾のクラス分類が撮影時点で行われており、複数の籾のそれぞれの各個体（色や形状）の識別のみという単純な問題を解けばよい。

【0029】

図３に示すように、ステップＳ２０にて用いられる学習モデルの学習に用いる抽出用教師データは撮影画像３０１から生成される。一般に、MASK R-CNN等のインスタンスセグメンテーションを行う機械学習には教師データとして撮影画像３０１と各対象物領域３０２と、各対象物が含まれる矩形領域３０３と、各対象物のクラス３０４とを必要とする。

【0030】

図４は、ステップＳ２０にて用いられる学習モデルの学習に用いる抽出用教師データの作成方法を示している。撮影画像４０１には、対象物とこれとは明確に色が異なる背景色を含むため、撮影画像４０１に対して閾値処理を行うことで対象物領域（３０２）の外形を示す画像４０２が生成される。また、互いに隣接する対象物領域は、エッジ検出処理により検出されたエッジ部分４０４をそれら対象物領域から除去することで分離することができる。このため、エッジ部分４０４の除去後の画像４０３に対して人が微調整をすることで、簡易に対象物領域（３０２）と矩形領域（３０３）を生成することができる。また、対象物のクラス３０４は撮影時点で既知である。

【0031】

さらに、一般に、MASK R-CNN等の画像を入力とする機械学習では、教師データの水増しのために入力画像に人工的な操作を加えるデータ拡張 (Data Augmentation) を行う。本実施例では、対象物のサイズを考慮した画像分割によるデータ拡張を行う。図５は、例として、分割サイズを元画像（撮影画像）５０１の１／２とし、ストライド量（ネットワークに入力するための分割画像を作成する際に画像をずらす間隔））を１／３としたときのデータ拡張を示している。画像分割を行うと、同一の対象物５０２が複数の分割画像に分断される場合がある。このため、各対象物の全体がいずれかの分割画像内に収まるように分割サイズとストライド量を設定することで、ステップＳ２０での対象物領域の抽出精度が向上する。また、このような画像分割によるデータ拡張方法の他に、移動、回転、反転、拡大／縮小および色変換等の他のデータ拡張手法を用いたり、これらを組み合わせて用いたりしてもよい。

【0032】

図６のフローチャートは、ステップＳ２０での領域抽出処理を示している。ステップＳ２０では、入力された撮影画像から複数の対象物である籾のそれぞれが存在する複数の対象物領域を抽出するために、ステップＳ２１～Ｓ２９の処理を実行する。

【0033】

ステップＳ２１では、ＣＰＵ１１０２又はＧＰＵ１１０９は、図７に示すように入力画像７０１を上述した学習済みモデルを用いて複数の対象物領域７０３を抽出する。この際、入力画像７０１を学習に際してのデータ拡張時に決定した分割サイズおよびストライド量で分割することで得られる分割画像７０２を学習モデルに入力し、分割した画像それぞれに対して各対象物領域７０３と各対象物が含まれる矩形領域７０４を抽出する。

【0034】

次にステップＳ２２では、ＣＰＵ１１０２又はＧＰＵ１１０９は、図８に示すようにステップＳ２１にて抽出された複数の対象物領域（７０３）のうち１つの対象物領域の所定範囲（ここでは例として中央部とする）の画素値の二次元配列８０１を抽出する。ここで抽出される二次元配列は、ステップＳ２１にて抽出された対象物の矩形領域（７０４）の中央部の二次元配列でもよい。

【0035】

次にステップＳ２３では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳ２２で抽出された二次元配列８０１と、その二次元配列８０１が存在する分割画像の周囲の分割画像（以下、比較画像という）にて抽出された全ての対象物の矩形領域８０２の中央部から抽出された二次元配列とを相互に比較する。図８では、比較画像が１４ある。

【0036】

次にステップＳ２４では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳ２３での相互比較の結果、二次元配列８０１が比較画像における全ての矩形領域８０２に存在しない場合はステップＳ２７に進み、存在する場合はステップＳ２５に進む。ステップＳ２３とステップＳ２４の処理によって、ステップＳ２２で抽出した二次元配列８０１を含む対象物が、他の分割画像（比較画像）に存在するか否かを確認することができる。

【0037】

次にステップＳ２５では、ＣＰＵ１１０２は、図９に示すように二次元配列８０１が存在する矩形領域９０１のサイズと比較画像における同じ二次元配列が存在する矩形領域９０２（図９では３つの比較画像における矩形領域）のサイズとを比較する。このとき、矩形領域のサイズではなく、対象物領域のサイズを比較してもよい。

【0038】

次にステップＳ２６では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳＳ２５での比較により二次元配列８０１が存在する矩形領域９０１のサイズが全ての比較画像における同じ二次元配列が存在する矩形領域９０２のサイズよりも大きい場合はステップＳ２７に進む。そうでない場合はステップＳ２８に進む。ステップＳ２５とステップＳ２６の処理により、ステップＳ２２で抽出された二次元配列８０１が存在する対象物が分割によって欠けていないことを確認することができる。

【0039】

ステップＳ２７では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳ２２にて抽出した二次元配列が存在する対象物領域７０３をこれ以後の処理に使用するために、該対象物領域７０３に対してフラグを立ててステップＳ２９に進む。一方、ステップＳ２８では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳ２２にて抽出した二次元配列が存在する対象物領域７０３をこれ以後の処理に使用しないために、該対象物領域７０３に対してフラグを立てずにステップＳ２９に進む。このフラグが立てられた対象物領域７０３のみが図１に示したステップＳ３０以降の処理の対象となる。

【0040】

ステップＳ２９では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳ２１にて抽出された全ての対象物領域７０３において二次元配列を抽出したか否かを確認し、そうでなければステップＳ２２～ステップＳ２８の処理を繰り返す。全ての対象物領域７０３において二次元配列を抽出した場合はステップＳ３０に進む。

【0041】

以上のステップＳ２１～ステップＳ２９の処理を行うことにより、データ拡張のための画像分割を行った際に同一対象物が複数の分割画像に存在する場合においても、同一対象物に対して重複した対象物領域を抽出することなく、対象物ごとの対象物領域の抽出が可能となる。

【0042】

ステップＳ３０では、ＣＰＵ１１０２又はＧＰＵ１１０９は、図１０に示すように緑籾画像２０１および黄籾画像２０２から抽出されてステップＳ２７にてフラグが立てられた対象物領域１００１に対して既定の数の画素を抽出する。このとき１つの対象物領域１００１から抽出される画素の数は、後に作成される教師データを用いて学習する学習モデルにおける入力数に合わせる。本実施例では、１つの対象物領域１００１に対して無作為に３００画素を抽出する。

【0043】

ステップＳ４０では、ＣＰＵ１１０２又はＧＰＵ１１０９は、図１０に示すように抽出された３００画素を画素値の大きさに応じてソートする。本実施例では、取得した全ての波長での画素値で規格化された緑（Ｇ）の値を用いる。この際、規格化されたＧの値を用いるのは、籾の熟色の変化を捉えるためである。

【0044】

ステップＳ５０では、ＣＰＵ１１０２又はＧＰＵ１１０９は、ステップＳ４０にてソートされた３００画素の画素値に対して緑籾画像２０１および黄籾画像２０２のそれぞれに対応した正解ラベル（「緑」および「黄」）を付与して教師データ１００２を作成する。

【0045】

なお、ステップＳ３０～ステップＳ５０の処理は、作成する教師データに合わせてより適切なものを選択するとよい。

【0046】

以上説明した実施例によれば、複数の対象物の撮影により得られた撮影画像から多くの教師データを自動作成することができる。

【0047】

なお、上記実施例では対象物としての水稲の籾熟色を診断するための教師データを作成する場合について説明したが、対象物は水稲の籾以外の植物、例えばイチゴやトマトでもよい。トマトやイチゴの場合も、水稲の籾と同様に、対象物の熟色が育成指標となるため、上記実施例の処理を応用することで熟色判定のための教師データを作成することができる。さらに対象物は、植物に限られない。

【0048】

また上記実施例では、籾熟色を診断するために無作為に３００画素を抽出し、これらの画素を規格化されたＧの値に応じてソートした。しかし、実の先端から色付くイチゴやトマトの完熟判定のように対象物の分布が判定基準になり得る場合は、実の根元から先端の画素値を抽出して正解ラベルを付与する等、対象物に合わせた処理を行うことが望ましい。

【0049】

以上の実施の形態は、以下の構成を含む。
（構成１）
複数の対象物を撮影して得られた入力画像から、前記複数の対象物のそれぞれが存在する複数の画像領域を抽出する抽出手段と、
前記複数の画像領域のそれぞれに含まれる複数の画素を画素値に基づいて並び替える並び替え手段と、
並び替えられた前記複数の画素に対して、該複数の画素に含まれる前記対象物に対応する既知の正解ラベルを付与することで教師データを作成する作成手段とを有することを特徴とするデータ処理装置。
（構成２）
前記抽出手段は、インスタンスセグメンテーションを行う機械学習により作成された学習済みモデルを用いて前記複数の画像領域を抽出することを特徴とする構成１に記載のデータ処理装置。
（構成３）
前記抽出手段は、画像分割によるデータ拡張を行い、
前記画像分割において、前記複数の対象物のそれぞれの全体が分割されたいずれかの画像内に収まるように分割サイズとストライド量を設定することを特徴とする構成１または２に記載のデータ処理装置。
（構成４）
前記入力画像は、前記複数の対象物の色特徴とは異なる背景色を有し、
前記抽出手段は、前記色特徴に基づいて前記複数の画像領域を抽出することを特徴とする構成１から３のいずれか１つに記載のデータ処理装置。
（構成５）
前記入力画像における前記複数の対象物の色特徴が互いに異なり、
前記作成手段は、撮影された対象物の色を判定するための機械学習に用いられる前記教師データを作成することを特徴とする構成１から４のいずれか１つに記載のデータ処理装置。
（構成６）
前記入力画像における前記複数の対象物の色特徴が互いに異なり、
前記抽出手段は、前記色特徴に基づいて作成された抽出用教師データを用いた機械学習により学習した学習済みモデルを用いて前記複数の画像領域を抽出することをとする構成１から５のいずれか１つに記載のデータ処理装置。
（構成７）
前記抽出手段は、抽出された前記複数の画像領域のそれぞれにおける所定範囲の画素値を相互に比較した結果を用いて、同一の対象物が存在する画像領域を重複して抽出しないようにすることを特徴とする構成１から６のいずれか１つに記載のデータ処理装置。
（構成８）
構成１から７のいずれか一項に記載のデータ処理装置を有し、
前記教師データを用いた機械学習により作成された学習済みモデルを用いて、撮影により得られた画像に含まれる対象物に関する判定を行うことを特徴とする画像判定装置。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0050】

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

【符号の説明】

【0051】

１１００ データ処理装置
１１０２ ＣＰＵ
１１０９ ＧＰＵ
１１０７ 入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】