特開 2024-137330 アノテーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024137330

(43)【公開日】2024-10-07

(54)【発明の名称】アノテーション装置

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20240927BHJP

   G06T 7/00 20170101ALI20240927BHJP

   G06T 7/12 20170101ALI20240927BHJP

   A01G 7/00 20060101ALI20240927BHJP

【ＦＩ】

G06F3/04845

G06T7/00 U

G06T7/12

A01G7/00 603

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023048812

(22)【出願日】2023-03-24

(71)【出願人】

【識別番号】000102717

【氏名又は名称】ＮＴＴテクノクロス株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】佐藤 隆

(72)【発明者】

【氏名】今村 龍太

(72)【発明者】

【氏名】伊藤 浩平

(72)【発明者】

【氏名】大庭 宏明

【テーマコード（参考）】

5E555

5L096

【Ｆターム（参考）】

5E555AA09

5E555AA30

5E555BA02

5E555BA82

5E555BB02

5E555BC01

5E555CA02

5E555CA12

5E555CA14

5E555CA42

5E555CC16

5E555DB41

5E555DB51

5E555DC40

5E555EA22

5E555EA26

5E555FA00

5L096CA24

5L096FA06

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】効率的なアノテーション作業を実現できる技術を提供すること。
【解決手段】本開示の一態様によるアノテーション装置は、１つ以上の種子を撮影した撮影画像が含まれるアノテーション画面を表示させる表示制御部と、前記アノテーション画面において、前記種子を表す画像領域に対して操作対象領域と前記操作対象領域以外の領域とを区別する操作が行われた場合、前記区別する操作によって区別された領域の輪郭を、前記種子の輪郭として抽出する抽出部と、を有する。
【選択図】図６

【特許請求の範囲】

【請求項1】

１つ以上の種子を撮影した撮影画像が含まれるアノテーション画面を表示させる表示制御部と、
前記アノテーション画面において、前記種子を表す画像領域に対して操作対象領域と前記操作対象領域以外の領域とを区別する操作が行われた場合、前記区別する操作によって区別された領域の輪郭を、前記種子の輪郭として抽出する抽出部と、
を有するアノテーション装置。

【請求項2】

前記撮影画像にはｘｙ座標平面が設定されており、
前記抽出部は、
前記区別する操作によって区別された領域と前記撮影画像の背景との差分から前記区別された領域を抽出し、
抽出した前記区別された領域の輪郭を表すｘｙ座標値の集合を、前記種子の輪郭として抽出する、請求項１に記載のアノテーション装置。

【請求項3】

前記抽出部によって抽出された１つ以上の前記種子の輪郭に対して所定の順に識別子を付与する付与部を更に有する請求項１又は２に記載のアノテーション装置。

【請求項4】

前記区別する操作は、タッチペン、スタイラスペン、マウスを含む入力デバイスを利用した塗りつぶし操作である、請求項３に記載のアノテーション装置。

【請求項5】

前記区別する操作は、前記撮影画像の背景色とは異なる色を利用して前記操作対象領域を色付ける操作である、請求項４に記載のアノテーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、アノテーション装置に関する。

【背景技術】

【0002】

機械学習技術を利用して学習された分類モデルにより、撮影画像中の種子の発芽状態を判定する技術が知られている（例えば、特許文献１等）。このような分類モデルを学習するためには、撮影画像中の種子領域に対してその発芽状態をラベル付けした画像を学習用データとして準備する必要がある。

【0003】

撮影画像中の種子領域を指定する作業はアノテーション作業等と呼ばれ、一般に、アノテーションツール（例えば、非特許文献１等）が利用される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１５７５４８号公報

【非特許文献】

【0005】

【非特許文献1】Visual Geometry Group - University of Oxford, インターネット＜ＵＲＬ：https://www.robots.ox.ac.uk/~vgg/software/via/＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、種子領域を指定するためには、撮影画像中で種子の輪郭に対応する画素を一点一点手作業でプロットする必要がある。このため、種子領域の指定に多くの時間と労力を要している。

【0007】

本開示は、上記の点に鑑みてなされたもので、効率的なアノテーション作業を実現できる技術を提供する。

【課題を解決するための手段】

【0008】

本開示の一態様によるアノテーション装置は、１つ以上の種子を撮影した撮影画像が含まれるアノテーション画面を表示させる表示制御部と、前記アノテーション画面において、前記種子を表す画像領域に対して操作対象領域と前記操作対象領域以外の領域とを区別する操作が行われた場合、前記区別する操作によって区別された領域の輪郭を、前記種子の輪郭として抽出する抽出部と、を有する。

【発明の効果】

【0009】

効率的なアノテーション作業を実現できる技術が提供される。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係るデータ作成システムの全体構成の一例を示す図である。

【図2】本実施形態に係るアノテーション処理部の詳細な機能構成の一例を示す図である。

【図3】本実施形態に係るアノテーション処理の一例を示すフローチャートである。

【図4】アノテーション画面の一例を示す図（その１）である。

【図5】アノテーション画面の一例を示す図（その２）である。

【図6】領域抽出画像の一例を示す図である。

【図7】本実施形態に係る領域抽出処理部の詳細な機能構成の一例を示す図である。

【図8】本実施形態に係る領域抽出処理の一例を示すフローチャート（実施例１）である。

【図9】本実施形態に係る領域抽出処理の一例を示すフローチャート（実施例２）である。

【図10】本実施形態に係る領域抽出処理の一例を示すフローチャート（実施例３）である。

【図11】修正画面の一例を示す図である。

【図12】本実施形態に係るラベル付け処理部の詳細な機能構成の一例を示す図である。

【図13】本実施形態に係るラベル付け処理の一例を示すフローチャートである。

【図14】本実施形態に係るラベル変更処理部の詳細な機能構成の一例を示す図である。

【図15】本実施形態に係るラベル変更処理の一例を示すフローチャートである。

【図16】ラベル変更画面の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態について説明する。以下では、撮影画像中の種子の発芽状態を判定する分類モデルの学習に用いられる学習用データとして、画像中の種子領域に対して発芽状態を表すラベルを付与した画像（以下、ラベル付き領域抽出画像ともいう。）を作成できるデータ作成システム１について説明する。

【0012】

＜データ作成システム１の全体構成例＞
本実施形態に係るデータ作成システム１の全体構成例を図１に示す。図１に示すように、本実施形態に係るデータ作成システム１には、データ作成装置１０と、１以上の第１のユーザ端末２０と、１以上の第２のユーザ端末３０とが含まれる。また、データ作成装置１０と各第１のユーザ端末２０と各第２のユーザ端末３０は、例えば、インターネット等を含む通信ネットワーク４０を介して通信可能に接続される。

【0013】

データ作成装置１０は、シャーレや育成トレイ等に配置された１以上の種子を撮影した撮影画像からラベル付き領域抽出画像を作成する。データ作成装置１０としては、例えば、ＰＣ（パーソナルコンピュータ）や汎用サーバ等を用いることができる。なお、撮影画像は、例えば、種苗会社等からデータ作成装置１０に与えられる。

【0014】

第１のユーザ端末２０は、撮影画像に対してアノテーションを行って種子領域を抽出したり、その種子領域に対してラベルを付与したりする者（以下、第１のユーザともいう。）が利用する各種端末である。第１のユーザ端末２０としては、例えば、ＰＣ、スマートフォン、タブレット端末、ウェアラブルデバイス等を用いることができる。なお、第１のユーザとしては、例えば、学習用データを作成する企業の担当者等が挙げられる。

【0015】

第２のユーザ端末３０は、ラベル付き領域抽出画像のラベルを確認し、必要に応じてその変更をする者（以下、第２のユーザともいう。）が利用する各種端末である。第２のユーザ端末３０としては、例えば、ＰＣ、スマートフォン、タブレット端末、ウェアラブルデバイス等を用いることができる。なお、第２のユーザとしては、例えば、撮影画像を提供する種苗会社の担当者等が挙げられる。

【0016】

ここで、本実施形態に係るデータ作成装置１０は、アノテーション処理部１１０と、領域抽出処理部１２０と、ラベル付け処理部１３０と、ラベル変更処理部１４０とを有する。これら各部は、例えば、データ作成装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。また、本実施形態に係るデータ作成装置１０は、記憶部１５０を有する。記憶部１５０は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の記憶装置により実現される。

【0017】

アノテーション処理部１１０は、第１のユーザが撮影画像に対してアノテーションを行ってその撮影画像から種子領域を抽出した領域抽出画像（以下、第１の領域抽出画像ともいう。）を作成するためのアノテーション処理を実行する。なお、アノテーションとは、撮影画像中の種子領域を指定することを意味する。また、領域抽出画像とは、撮影画像に対して、その撮影画像から抽出された種子領域の輪郭を表す座標群（撮影画像上に設定されたｘｙ座標平面におけるｘｙ座標の集合）を対応付けたデータのことである。

【0018】

領域抽出処理部１２０は、与えられた領域抽出モデルを少なくとも第１の領域抽出画像を利用して再学習した上で、この再学習後の領域抽出モデルにより、領域抽出対象の撮影画像（以下、対象画像ともいう。）から種子領域を抽出した領域抽出画像（以下、第２の領域抽出画像ともいう。）を作成するための領域抽出処理を実行する。ここで、領域抽出モデルとは、画像を入力としてその画像中の物体領域を抽出する機械学習モデルのである。領域抽出モデルとしては、例えば、他品種の種子に関する種子領域を撮影画像から抽出するモデル等といった既存の学習済みモデルが用いられる。

【0019】

ラベル付け処理部１３０は、領域抽出画像中の種子領域に対してその発芽状態を表すラベルを付与したラベル付き領域抽出画像を作成するためのラベル付け処理を実行する。

【0020】

ラベル変更処理部１４０は、ラベル付き領域抽出画像中のラベルを変更するためのラベル変更処理を実行する。

【0021】

記憶部１５０は、アノテーション処理、領域抽出処理、ラベル付け処理、ラベル変更処理等の実行に必要に各種データ（例えば、撮影画像、領域抽出画像、ラベル付き領域抽出画像、領域抽出モデル等）を記憶する。

【0022】

また、本実施形態に係る第１のユーザ端末２０は、ＵＩ部２１０を有する。ＵＩ部２１０は、例えば、第１のユーザ端末２０にインストールされた１以上のプログラム（例えば、Ｗｅｂブラウザ等）が、ＣＰＵ等のプロセッサに実行させる処理により実現される。

【0023】

ＵＩ部２１０は、各種画面（例えば、後述するアノテーション画面や修正画面等）をディスプレイ等といった表示装置上に表示する。また、ＵＩ部２１０は、これらの各種画面上での各種ユーザ操作を受け付ける。

【0024】

また、本実施形態に係る第２のユーザ端末３０は、ＵＩ部３１０を有する。ＵＩ部３１０は、例えば、第２のユーザ端末３０にインストールされた１以上のプログラム（例えば、Ｗｅｂブラウザ等）が、ＣＰＵ等のプロセッサに実行させる処理により実現される。

【0025】

ＵＩ部３１０は、各種画面（例えば、後述するラベル変更画面等）をディスプレイ等といった表示装置上に表示する。また、ＵＩ部３１０は、これらの各種画面上での各種ユーザ操作を受け付ける。

【0026】

なお、図１に示すデータ作成システム１の全体構成は一例であって、これに限られるものではない。例えば、図１に示すデータ作成システム１には、１台の第１のユーザ端末２０と、１台の第２のユーザ端末３０とが図示されているが、これらは複数台存在してもよい。また、例えば、データ作成装置１０は、複数台の汎用サーバ等で構成されていてもよい。

【0027】

以下、アノテーション処理、領域抽出処理、ラベル付け処理、ラベル変更処理について説明する。

【0028】

［アノテーション処理］
以下、アノテーション処理について説明する。

【0029】

＜アノテーション処理部１１０の詳細な機能構成例＞
本実施形態に係るアノテーション処理部１１０の詳細な機能構成例を図２に示す。図２に示すように、本実施形態に係るアノテーション処理部１１０には、ＵＩ提供部１１１と、操作受付部１１２と、画像作成部１１３と、データ保存部１１４とが含まれる。

【0030】

ＵＩ提供部１１１は、後述するアノテーション画面を第１のユーザ端末２０に提供する。操作受付部１１２は、アノテーション画面上での第１の領域抽出画像の作成操作を受け付ける。画像作成部１１３は、第１の領域抽出画像の作成操作に応じて、撮影画像に対するアノテーションから第１の領域抽出画像を作成する。データ保存部１１４は、第１の領域抽出画像を記憶部１５０に保存する。

【0031】

＜アノテーション処理の流れ＞
以下、本実施形態に係るアノテーション処理の流れについて、図３を参照しながら説明する。

【0032】

まず、アノテーション処理部１１０のＵＩ提供部１１１は、アノテーション画面を第１のユーザ端末２０に提供する（ステップＳ１０１）。これにより、第１のユーザ端末２０のＵＩ部２１０によってアノテーション画面が表示される。

【0033】

ここで、アノテーション画面の一例を図４に示す。図４に示すアノテーション画面１０００には、撮影画像１１００と、作成ボタン１２００とが含まれる。撮影画像１１００は、例えば、アノテーション対象として第１のユーザによって指定された撮影画像である。図４に示す撮影画像１１００には、種子１１０１～１１０９が含まれている。作成ボタン１２００は、第１の領域抽出画像の作成を開始するためのボタンである。

【0034】

第１のユーザは、図４に示すアノテーション画面１０００に含まれる撮影画像１１００中の種子１１０１～１１０９に対応する領域を塗りつぶすことで、種子１１０１～１１０９に対するアノテーション操作を行うことができる。このような塗りつぶし操作（アノテーション操作）は、例えば、スタイラスペンやタッチペン等により効率的に行うことができる。なお、これらのアノテーション操作はＵＩ部２１０によって受け付けられ、アノテーション画面上に塗りつぶされた領域が反映される。アノテーション操作は、操作対象の領域をそれ以外の領域と区別するための操作であればよく、必ずしも塗りつぶし操作に限られるものではない。

【0035】

一例として、図４に示す撮影画像１１００中の種子１１０１～１１０７に対して塗りつぶし操作が行われた場合のアノテーション画面１０００を図５に示す。図５に示すアノテーション画面１０００に含まれる撮影画像１１００には、種子１１０１～１１０７がそれぞれ塗りつぶされた塗りつぶし領域１１１１～１１１７が含まれている。なお、図５に示す例では、種子１１０８～１１０９は未だアノテーション操作が行われておらず、塗りつぶされていない。

【0036】

第１のユーザは、撮影画像１１００中の種子１１０１～１１０９に対応する領域を塗りつぶした上で、作成ボタン１２００を押下することで、第１の領域抽出画像の作成操作を行うことができる。以下、撮影画像１１００中の種子１１０１～１１０９に対応する領域が塗りつぶされた上で、第１の領域抽出画像の作成操作が行われたものとして説明を続ける。なお、塗りつぶし操作では、種子に対応する領域を完全に塗りつぶす必要はなく、例えば、種子に対応する領域の内部等が塗られていなくてもよい。また、塗りつぶし操作は、例えば、ペイント操作や色付け操作等と呼ばれてもよい。更に、塗りつぶし操作に用いられる色は限定されないが、背景色と異なる色であることが好ましい。

【0037】

アノテーション処理部１１０の操作受付部１１２は、第１の領域抽出画像の作成操作を受け付ける（ステップＳ１０２）。

【0038】

次に、アノテーション処理部１１０の画像作成部１１３は、アノテーション操作が行われた撮影画像から第１の領域抽出画像を作成する（ステップＳ１０３）。ここで、画像作成部１１３は、例えば、以下の手順１１～手順１３により第１の領域抽出画像を作成する。

【0039】

手順１１：画像作成部１１３は、撮影画像中の塗りつぶし領域と、当該撮影画像の背景との差分を抽出する処理を行って、当該塗りつぶし領域を抽出する。なお、これは既存の画像処理技術により実現可能である。

【0040】

手順１２：次に、画像作成部１１３は、手順１１で抽出された各塗りつぶし領域の輪郭を表すｘｙ座標群を抽出する。

【0041】

手順１３：そして、画像作成部１１３は、撮影画像と、手順１２で抽出した各ｘｙ座標群とを対応付けたデータを第１の領域抽出画像とする。なお、画像作成部１１３は、ｘｙ座標群が表す輪郭に対して順に番号（識別子）を付与した上で、これらの番号を更に対応付けたデータを第１の領域抽出画像としてもよい。また、例えば、各塗りつぶし領域を更に対応付けたデータを第１の領域抽出画像としてもよい。

【0042】

ここで、第１の領域抽出画像の一例を図６に示す。図６に示す第１の領域抽出画像２０００には種子１１０１～１１０９が含まれており、各種子１１０１～１１０９に対応する領域の輪郭１１３１～１１３９がそれぞれ含まれている。これらの輪郭１１３１～１１３９の各々が、上記の手順１２で抽出されたｘｙ座標群で表される輪郭である。また、図６に示す第１の領域抽出画像２０００には、更に、各輪郭１１３１～１１３９に対して左上から右下に向かって順に付与された番号１１４１～１１４９がそれぞれ含まれている。なお、これらの番号１１４１～１１４９は、上記の手順１３で付与されてもよいし、例えば、アノテーション画面上で第１のユーザによって手作業で付与されてもよい。

【0043】

そして、アノテーション処理部１１０のデータ保存部１１４は、上記のステップＳ１０３で作成された第１の領域抽出画像を記憶部１５０に保存する（ステップＳ１０４）。

【0044】

なお、複数の第１の領域抽出画像を作成及び保存する場合、上記のステップＳ１０１～ステップＳ１０４を繰り返せばよい。

【0045】

以上のように、本実施形態に係るアノテーション処理では、第１のユーザは、撮影画像中の各種子に対応する領域をタッチペンやスタイラスペン等で塗りつぶすだけで、その領域の輪郭を抽出するためのアノテーション操作を行うことができる。このため、例えば、撮影画像中の各種子の輪郭に対応する画素を一点一点手作業でプロットする場合と比較して、効率的なアノテーションを行うことが可能となる。また、例えば、撮影画像中の各種子の輪郭に対応する画素を一点一点手作業でプロットする場合と比較して、器用さ等といった属人性を排除することが可能となり、画一的に高品質な第１の領域抽出画像を作成することが可能となる。

【0046】

［領域抽出処理］
以下、領域抽出処理について説明する。

【0047】

＜領域抽出処理部１２０の詳細な機能構成例＞
本実施形態に係る領域抽出処理部１２０の詳細な機能構成例を図７に示す。図７に示すように、本実施形態に係る領域抽出処理部１２０には、ＵＩ提供部１２１と、操作受付部１２２と、データ取得部１２３と、再学習部１２４と、領域抽出部１２５と、データ保存部１２６と、修正画像作成部１２７とが含まれる。

【0048】

ＵＩ提供部１２１は、後述する修正画面を第１のユーザ端末２０に提供する。操作受付部１２２は、修正画面上での第３の領域抽出画像（後述）の作成操作を受け付ける。データ取得部１２３は、与えられた領域抽出モデルの再学習用の領域抽出画像を取得したり、与えられた対象画像を取得したりする。再学習部１２４は、与えられた領域抽出モデルを再学習用の領域抽出画像を利用して再学習する。領域抽出部１２５は、再学習後の領域抽出モデルにより、対象画像から第２の領域抽出画像を作成する。データ保存部１２６は、第２の領域抽出画像を記憶部１５０に保存する。修正画像作成部１２７は、第３の領域抽出画像の作成操作に応じて、修正対象の領域抽出画像を修正した領域抽出画像（以下、第３の領域抽出画像ともいう。）を作成する。ここで、修正画面とは、再学習後の領域抽出モデルによる種子領域の抽出結果を修正（例えば、抽出漏れや誤抽出を修正）するための画面である。

【0049】

＜領域抽出処理の流れ（実施例１）＞
本実施形態に係る領域抽出処理の実施例１の流れについて、図８を参照しながら説明する。

【0050】

まず、領域抽出処理部１２０のデータ取得部１２３は、与えられた領域抽出モデルの再学習用の領域抽出画像として、第１の領域抽出画像を記憶部１５０から取得する（ステップＳ２０１）。

【0051】

次に、領域抽出処理部１２０の再学習部１２４は、上記のステップＳ２０１で取得された第１の領域抽出画像を用いて、既知の教師あり学習の手法により、当該領域抽出モデルを再学習する（ステップＳ２０２）。すなわち、再学習部１２４は、第１の領域抽出画像に含まれる撮影画像を入力として、当該撮影画像に対応付けられた各種子領域の輪郭（を表すｘｙ座標群）を精度良く抽出できるように、当該領域抽出モデルを再学習する。これにより、再学習後の領域抽出モデルが得られる。なお、再学習は、例えば、モデル補正（又は、単に補正）と呼ばれてもよい、また、例えば、再学習前の領域抽出モデルが種子以外の何等かの物品の領域抽出モデルである場合や今回の抽出対象とは異なる種類又は種別の種子の領域抽出モデルである場合等には転移学習等と呼ばれてもよい。

【0052】

領域抽出処理部１２０のデータ取得部１２３は、与えられた対象画像を取得する（ステップＳ２０３）。

【0053】

次に、領域抽出処理部１２０の領域抽出部１２５は、再学習後の領域抽出モデルにより、上記のステップＳ２０２で取得された対象画像から第２の領域抽出画像を作成する（ステップＳ２０４）。すなわち、領域抽出部１２５は、対象画像中の種子領域の輪郭（を表すｘｙ座標群）を当該領域抽出モデルにより抽出した上で、当該対象画像に対して、当該輪郭を表すｘｙ座標群を対応付けることで、第２の領域抽出画像を作成する。

【0054】

そして、領域抽出処理部１２０のデータ保存部１２６は、上記のステップＳ２０４で作成された第２の領域抽出画像を記憶部１５０に保存する（ステップＳ２０５）。

【0055】

なお、上記のステップＳ２０３～ステップＳ２０５は、与えられた対象画像毎に繰り返し実行される。

【0056】

＜領域抽出処理の流れ（実施例２）＞
本実施形態に係る領域抽出処理の実施例２の流れについて、図９を参照しながら説明する。なお、図９のステップＳ３０１～ステップＳ３０５は、図８のステップＳ２０１～ステップＳ２０５とそれぞれ同様であるため、その説明を省略する。

【0057】

ステップＳ３０５に続いて、領域抽出処理部１２０の再学習部１２４は、領域抽出モデルの再学習を行うか否かを判定する（ステップＳ３０６）。ここで、再学習部１２４は、例えば、再学習を行うことを示す指示が第１のユーザから行われた場合に再学習を行うと判定すればよい。ただし、これは一例であって、これ以外にも、例えば、無条件で再学習を行うと判定してもよいし、何等かの条件を満たした場合に再学習を行うと判定してもよい。

【0058】

上記のステップＳ３０６で再学習を行うと判定されなかった場合、領域抽出処理部１２０は、領域抽出処理を終了する。一方で、上記のステップＳ３０６で再学習を行うと判定された場合、領域抽出処理部１２０のデータ取得部１２３は、領域抽出モデルの再学習用の領域抽出画像として、第２の領域抽出画像を記憶部１５０から取得する（ステップＳ３０７）。これにより、ステップＳ３０２において、これらの第２の領域抽出画像を利用して領域抽出モデルが再学習される。この再学習により、実施例１よりも精度の良い領域抽出モデルの獲得が期待できる。

【0059】

＜領域抽出処理の流れ（実施例３）＞
本実施形態に係る領域抽出処理の実施例３の流れについて、図１０を参照しながら説明する。なお、図１９のステップＳ４０１～ステップＳ４０５は、図８のステップＳ２０１～ステップＳ２０５とそれぞれ同様であるため、その説明を省略する。

【0060】

ステップＳ４０５に続いて、領域抽出処理部１２０の再学習部１２４は、領域抽出モデルの再学習を行うか否かを判定する（ステップＳ４０６）。ここで、再学習部１２４は、例えば、再学習を行うことを示す指示が第１のユーザから行われた場合に再学習を行うと判定してもよいし、領域抽出モデルの精度が所定の閾値以下である場合に再学習を行うと判定してもよい。ただし、これは一例であって、これ以外にも、例えば、無条件で再学習を行うと判定してもよいし、何等かの条件を満たした場合に再学習を行うと判定してもよい。

【0061】

上記のステップＳ４０６で再学習を行うと判定されなかった場合、領域抽出処理部１２０は、領域抽出処理を終了する。一方で、上記のステップＳ４０６で再学習を行うと判定された場合、領域抽出処理部１２０のＵＩ提供部１２１は、第２の領域抽出画像の抽出漏れや誤抽出を修正するための修正画面を第１のユーザ端末２０に提供する（ステップＳ４０７）。これにより、第１のユーザ端末２０のＵＩ部２１０によって修正画面が表示される。

【0062】

ここで、修正画面の一例を図１１に示す。図１１に示す修正画面３０００には、第２の領域抽出画像３１００と、作成ボタン３２００とが含まれる。第２の領域抽出画像３１００は、上記のステップＳ４０３～ステップＳ４０４で作成及び保存された領域抽出画像である。図１１に示す第２の領域抽出画像３１００には、種子３１０１～３１０９が含まれている。また、種子３１０１、３１０３～３１０９に対応する輪郭３１１１、３１１３～３１１９がそれぞれ含まれていると共に、輪郭３１１１、３１１３～３１１９に付与された番号３１２１、３１２３～３１２９がそれぞれ含まれている。一方で、種子３１０２の輪郭は抽出されておらず、抽出漏れが発生している。また、ごみや埃等といった種子以外の物体３５０１の輪郭３５１１が抽出されており、その番号３５２１も付与されており、誤抽出が発生している。作成ボタン３２００は、第３の領域抽出画像の作成を開始するためのボタンである。

【0063】

第１のユーザは、例えば、種子３１０２に対してアノテーション操作（塗りつぶし操作）を行うことで、抽出漏れを修正することができる。また、第１のユーザは、輪郭３５１１や番号３５２１を削除する操作（削除）を行うことで、誤抽出を修正することができる。これらの抽出漏れの修正や誤抽出の修正が行われた上で、作成ボタン３２００を押下することで、第２の領域抽出画像を修正した第３の領域抽出画像を作成するための操作（第３の領域抽出画像の作成操作）を行うことができる。以下、抽出漏れの修正や誤抽出の修正が行われた上で、第３の領域抽出画像の作成操作が行われたものとして説明を続ける。なお、アノテーション操作や削除操作はＵＩ部２１０によって受け付けられ、修正画面上に塗りつぶされた領域や削除が反映される。

【0064】

なお、抽出漏れの修正の際には、ＵＩ部２１０は、例えば、輪郭及びその内部の画像領域の表示を抑止してもよい。例えば、図１１に示す例では、輪郭３１１１、３１１３～３１１９、３５１１とそれらの輪郭の内部の画像領域の表示を抑止（つまり、非表示）としてもよい。これにより、抽出漏れの種子（図１１に示す例では、種子３１０２）のみを表示させることが可能となり、第１のユーザが抽出漏れの種子を容易に把握することができるようになる。

【0065】

一方で、誤抽出の修正の際には、ＵＩ部２１０は、例えば、輪郭及びその内部以外の画像領域の表示を抑止してもよい。例えば、図１１に示す例では、輪郭３１１１、３１１３～３１１９、３５１１とそれらの輪郭の内部の画像領域以外の画像領域の表示を抑止（つまり、非表示）としてもよい。これにより、誤抽出された物体（図１１に示す例では物体３５０１とその輪郭３５１１及び番号３５２１）を第１のユーザが容易に把握することができるようになる。なお、このとき、更に、抽出漏れの修正によって修正された種子の表示を抑止してもよい。

【0066】

領域抽出処理部１２０の操作受付部１２２は、第３の領域抽出画像の作成操作を受け付ける（ステップＳ４０８）。

【0067】

次に、領域抽出処理部１２０の修正画像作成部１２７は、アノテーション操作や削除操作（つまり、抽出漏れや誤抽出の修正操作）が行われた第２の領域抽出画像から第３の領域抽出画像を作成する（ステップＳ４０９）。ここで、修正画像作成部１２７は、抽出漏れの修正操作が行われた場合は以下の（１）、誤抽出の修正操作が行われた場合は以下の（２）、抽出漏れの修正操作と誤抽出の修正操作の両方が行われた場合は以下の（１）及び（２）の両方を実行することで、第３の領域抽出画像を作成すればよい。

【0068】

（１）修正画像作成部１２７は、上記の手順１１～手順１２と同様に、修正操作が行われた種子の輪郭を表すｘｙ座標群を抽出し、このｘｙ座標群を第２の領域抽出画像に新たに対応付ける。

【0069】

（２）修正画像作成部１２７は、修正操作が行われた物体の輪郭を表すｘｙ座標群とその番号を第２の領域抽出画像から削除する。

【0070】

なお、上記の（１）若しくは（２）又はその両方を実行した後、修正画像作成部１２７は、第３の領域抽出画像に含まれる各輪郭（を表すｘｙ座標群）の番号（識別子）を付与し直してもよい。

【0071】

次に、領域抽出処理部１２０のデータ取得部１２３は、領域抽出モデルの再学習用の領域抽出画像として、第３の領域抽出画像を取得する（ステップＳ４１０）。これにより、ステップＳ４０２において、これらの第３の領域抽出画像を利用して領域抽出モデルが再学習される。この再学習により、実施例２よりも精度の良い領域抽出モデルの獲得が期待できる。

【0072】

［ラベル付け処理］
以下、ラベル付け処理について説明する。

【0073】

＜ラベル付け処理部１３０の詳細な機能構成例＞
本実施形態に係るラベル付け処理部１３０の詳細な機能構成例を図１２に示す。図１２に示すように、本実施形態に係るラベル付け処理部１３０には、ＵＩ提供部１３１と、操作受付部１３２と、データ取得部１３３と、ラベル付け部１３４と、データ保存部１３５とが含まれる。

【0074】

ＵＩ提供部１３１は、領域抽出画像中の種子領域に対してその発芽状態を表すラベルを付与するためのラベル付け画面を第１のユーザ端末２０に提供する。操作受付部１３２は、ラベル付け画面上でのラベル付き領域抽出画像の作成操作を受け付ける。データ取得部１３３は、ラベル付け対象の領域抽出画像を記憶部１５０から取得する。ラベル付け部１３４は、ラベル付け対象の領域抽出画像からラベル付き領域抽出画像を作成する。データ保存部１３５は、ラベル付き領域抽出画像を記憶部１５０に保存する。

【0075】

＜ラベル付け処理の流れ＞
本実施形態に係るラベル付け処理の流れについて、図１３を参照しながら説明する。

【0076】

まず、ラベル付け処理部１３０のデータ取得部１３３は、ラベル付け対象の領域抽出画像を記憶部１５０から取得する（ステップＳ５０１）。例えば、ラベル付け処理部１３０は、ラベル付け対象の領域抽出画像として、第２の領域抽出画像を取得すればよい。ただし、これに限られず、ラベル付け処理部１３０は、任意の領域抽出画像をラベル付け対象として取得してもよい。

【0077】

次に、ラベル付け処理部１３０のラベル付け部１３４は、上記のステップＳ５０１で取得された領域抽出画像中の各種子領域に対してその発芽状態を表すラベルを付与する（ステップＳ５０２）。ここで、ラベル付け処理部１３０は、例えば、以下の（ａ）又は（ｂ）によりラベルの付与を行えばよい。なお、発芽状態は、例えば、「正常／異常／その他」の３値であってもよいし、「正常／異常」や「発芽／その他」、「発芽／発芽でない」等といった２値であってもよいし、これら以外の任意の分類を表すものであってもよい。

【0078】

（ａ）人によるラベル付与
ラベル付け処理部１３０のＵＩ提供部１３１は、ラベル付け画面を第１のユーザ端末２０に提供する。これにより、第１のユーザ端末２０のＵＩ部２１０によってラベル付け画面が表示される。その後、第１のユーザは、このラベル付け画面上で種子領域とそのラベルを指定する指定操作を行った上で、ラベル付き領域抽出画像の作成操作を行う。そして、ラベル付け部１３４は、ラベル付き領域抽出画像の作成操作が操作受付部１３２によって受け付けられた場合、種子領域とそのラベルの指定操作によって指定された種子領域及びラベルを用いて、当該種子領域の輪郭を表すｘｙ座標群と当該ラベルとを対応付ける。これにより、領域抽出画像に含まれる各輪郭に対してラベルが対応付けられたラベル付き領域抽出画像が得られる。

【0079】

なお、ラベル付け画面上では、既にラベルが付与されている種子領域に関してそのラベルの値の変更ができてもよい。

【0080】

（ｂ）自動ラベル付与
種子領域を表す画像を入力として発芽状態を表すラベルを出力する分類モデルが存在する場合、ラベル付け部１３４は、この分類モデルを用いて、ラベル付け対象の領域抽出画像中の各種子領域に対してラベル付け（例えば、種子領域の輪郭に付与された番号順にその種子領域をラベル付け）を行う。このとき、ラベル付け部１３４は、例えば、領域抽出画像から各種子領域を含む画像領域を抽出する等といった画像処理を行った上で、この画像領域を１つの画像として分類モデルに入力してもよい。これにより、当該領域抽出画像に含まれる各輪郭に対してラベルが対応付けられたラベル付き領域抽出画像が得られる。なお、上記の分類モデルは必ずしも精度の良い分類モデルでなくてもよく、例えば、他品種の種子の発芽状態を分類するための分類モデルを転用してもよい。

【0081】

なお、（ｂ）を行った後に、（ａ）を行ってもよい。これにより、特に、（ｂ）で利用される分類モデルの精度が低い場合に、人手でラベルの値を修正することができる。

【0082】

そして、ラベル付け処理部１３０のデータ保存部１３５は、上記のステップＳ５０２で作成されたラベル付き領域抽出画像を記憶部１５０に保存する（ステップＳ５０３）。

【0083】

［ラベル変更処理］
以下、ラベル変更処理について説明する。

【0084】

＜ラベル変更処理部１４０の詳細な機能構成例＞
本実施形態に係るラベル変更処理部１４０の詳細な機能構成例を図１４に示す。図１４に示すように、本実施形態に係るラベル変更処理部１４０には、ＵＩ提供部１４１と、操作受付部１４２と、ラベル変更部１４３と、データ保存部１４４とが含まれる。

【0085】

ＵＩ提供部１４１は、後述するラベル変更画面を第２のユーザ端末３０に提供する。操作受付部１４２は、ラベル変更画面上でのラベル変更後のラベル付き領域抽出画像の作成操作を受け付ける。ラベル変更部１４３は、ラベル変更対象のラベル付き領域抽出画像のラベルを変更したラベル付き領域抽出画像を作成する。データ保存部１４４は、ラベル変更後のラベル付き領域抽出画像を記憶部１５０に保存する。

【0086】

＜ラベル変更処理の流れ＞
本実施形態に係るラベル変更処理の流れについて、図１５を参照しながら説明する。

【0087】

まず、ラベル変更処理部１４０のＵＩ提供部１４１は、ラベル変更画面を第２のユーザ端末３０に提供する（ステップＳ６０１）。これにより、第２のユーザ端末３０のＵＩ部３１０によってラベル変更画面が表示される。

【0088】

ここで、ラベル変更画面の一例を図１６に示す。図１６に示すラベル変更画面４０００には、ラベル付き領域抽出画像４１００と、ラベル情報表示欄４２００と、作成ボタン４３００とが含まれる。ラベル付き領域抽出画像４１００は、ラベル変更対象のラベル付き領域抽出画像である。図１６に示すラベル付き領域抽出画像４１００には種子４１０１～４１０９が含まれており、これらの種子４１０１～４１０９に対応する領域にラベルが付与されている。ラベル情報表示欄４２００は、種子４１０１～４１０９に対応する領域に付与されているラベルの情報（各ラベル値の数とその総数）が表示される表示欄である。図１６に示すラベル情報表示欄４２００には、ラベル値「正常」の数「９」と、ラベル値「異常」の数「０」と、ラベル値「その他」の数「０」と、ラベル値「正常」の数と「異常」の数と「その他」の数の合計「９」とが表示されている。作成ボタン４３００は、ラベル変更後のラベル付き領域抽出画像の作成を開始するためのボタンである。

【0089】

第２のユーザは、図１６に示すラベル変更画面４０００に含まれるラベル付き領域抽出画像４１００中の種子４１０１～４１０９に対応する領域を選択することで、その領域に付与されているラベルの値の変更操作を行うことができる。例えば、種子に対応する領域をマウス等のポインティングデバイスで利用してクリックすることで、その領域に付与されているラベルの値が「正常」である場合は「異常」に、「異常」である場合は「正常」に変更することができる。これにより、第２のユーザは、容易にラベルの値を変更することが可能となる。特に、例えば、撮影画像中の種子はその向きが種子毎に異なっていたり、種子同士に重なりがあったりするため、ラベル付け処理では、正確なラベル付けができない場合がある。このため、第２のユーザは、ラベル付き処理による誤ったラベルの値を正しい値に容易に変更することが可能となる。

【0090】

なお、上記のラベル値変更方法は一例であって、これに限られるものではない。例えば、種子に対応する領域に対して変更操作が行われるたびに、「正常」→「異常」→「その他」→「正常」等とラベル値が遷移してもよい。

【0091】

また、例えば、各種子に関して、その種子に対応する領域に付与されているラベルの値を固定するためのボタンが存在してもよい。これにより、第２のユーザは、種子に対応する領域に付与されているラベルの値を確定することが可能となる。

【0092】

第２のユーザは、適宜ラベルの値の変更操作を行った上で、作成ボタン３２００を押下することで、ラベル変更後のラベル付き領域抽出画像の作成操作を行うことができる。以下、ラベル付き領域抽出画像４１００中の少なくとも一部の種子に対応する領域に対してラベルの値の変更操作が行われた上で、ラベル変更後のラベル付き領域抽出画像の作成操作が行われたものとして説明を続ける。

【0093】

ラベル変更処理部１４０の操作受付部１４２は、ラベル変更後のラベル付き領域抽出画像の作成操作を受け付ける（ステップＳ６０２）。

【0094】

次に、ラベル変更処理部１４０のラベル変更部１４３は、ラベル変更対象のラベル付き領域抽出画像のラベルを変更したラベル付き領域抽出画像を作成する（ステップＳ６０３）。

【0095】

そして、ラベル変更処理部１４０のデータ保存部１４４は、上記のステップＳ６０３で作成されたラベル付き領域抽出画像を記憶部１５０に保存（上書き保存）する（ステップＳ６０４）。これにより、元のラベル付き領域抽出画像に含まれる種子領域に付与されているラベルの値が変更されたラベル付き領域抽出画像が得られる。

【0096】

［変形例］
以下、本実施形態の変形例について説明する。

【0097】

・変形例１
上記のアノテーション処理では、種子領域（の輪郭）を抽出するためにアノテーション操作を行ったが、例えば、発芽領域（の輪郭）を抽出するためにアノテーション操作が行われてもよい。この場合、上記の領域抽出処理でも同様に発芽領域（の輪郭）を抽出してもよい。更に、上記の領域抽出処理で発芽領域（の輪郭）を抽出する場合、ラベル付け処理も同時に行って、種子領域の抽出と発芽状態の組み合わせにより抽出されてもよい。

【0098】

・変形例２
上記の領域抽出処理で種子領域（の輪郭）が抽出された後、例えば、画像処理技術等に未検出の物体領域を検出してもよい。また、この場合、検出された物体領域毎に、その物体領域が種子領域であるか否か判定を第１のユーザに問い合わせてもよい。

【0099】

・変形例３
例えば、図１１に示す修正画面３０００上で抽出漏れを修正する際には、修正対象の種子領域に対する一部の輪郭座標の入力に基づいて、その種子領域の輪郭を表すｘｙ座標群が抽出されてもよい。すなわち、当該種子領域に対する一部の輪郭座標の入力に基づいて、その輪郭を構成する他のｘｙ座標が補完されてもよい。また、このとき、修正対象の種子領域（対象領域）と背景とを区別する情報の一部又は全部に基づいて、当該種子領域の輪郭を表すｘｙ座標群が抽出されてもよい。

【0100】

・変形例４
例えば、図１１に示す修正画面３０００上で抽出漏れや誤抽出が修正された領域抽出画像のみを再学習用の領域抽出画像として、領域抽出モデルが再学習されてもよい。

【0101】

・変形例５
アノテーション操作は、スタイラスペンやタッチペン等による操作に限られず、例えば、マウスによる操作やその他の入力デバイスを利用した操作等であってもよい。

【0102】

・変形例６
対象画像は、２次元の画像に限られず、例えば、３次元の座標情報を有する３次元画像（例えば、ｘｙ座標に加えて、深度や距離等を表すｚ座標を持つ画像等）であってもよい。この場合、奥行きの情報（つまり、種子の高さを表すｚ座標）を考慮して種子領域の抽出が行われてもよい。種子領域に対応するｘｙ座標群は、奥行き情報を持った３次元座標をそのまま使用してもよいし、３次元座標を平面に射影した２次元座標をｘｙ座標群としてもよい。

【0103】

・変形例７
モデル学習のためのアノテーション作業に限られず、これ以外の用途に適用することも可能である。例えば、図１０に示す領域抽出処理から再学習に関する部分の除いた処理を行ってもよい。これにより、種子領域（又は、変形例１を更に適用して発芽領域でもよい。）の抽出結果から抽出漏れや誤抽出を確認することができる。

【0104】

［まとめ］
以上のように、本実施形態に係るデータ作成システム１は、アノテーション処理、領域抽出処理、ラベル付け処理、ラベル変更処理により、撮影画像中の種子の発芽状態を精度良く分類する分類モデルを学習するための学習用データを効率的に作成することが可能となる。このため、本実施形態に係るデータ作成システム１を用いることで、撮影画像中の種子の発芽状態を精度良く分類する分類モデルを低コストで構築することが可能となる。

【0105】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【符号の説明】

【0106】

１ データ作成システム
１０ データ作成装置
２０ 第１のユーザ端末
３０ 第２のユーザ端末
４０ 通信ネットワーク
１１０ アノテーション処理部
１１１ ＵＩ提供部
１１２ 操作受付部
１１３ 画像作成部
１１４ データ保存部
１２０ 領域抽出処理部
１２１ ＵＩ提供部
１２２ 操作受付部
１２３ データ取得部
１２４ 再学習部
１２５ 領域抽出部
１２６ データ保存部
１２７ 修正画像作成部
１３０ ラベル付け処理部
１３１ ＵＩ提供部
１３２ 操作受付部
１３３ データ取得部
１３４ ラベル付け部
１３５ データ保存部
１４０ ラベル変更処理部
１４１ ＵＩ提供部
１４２ 操作受付部
１４３ ラベル変更部
１４４ データ保存部
１５０ 記憶部
２１０ ＵＩ部
３１０ ＵＩ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】