特開 2024-106986 物体検出モデルの学習装置、学習方法、学習データの生成方法、学習プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024106986

(43)【公開日】2024-08-08

(54)【発明の名称】物体検出モデルの学習装置、学習方法、学習データの生成方法、学習プログラム及び記録媒体

(51)【国際特許分類】

   G06V 10/778 20220101AFI20240801BHJP

   G06V 10/762 20220101ALI20240801BHJP

   G06T 7/00 20170101ALI20240801BHJP

   A01G 7/00 20060101ALI20240801BHJP

【ＦＩ】

G06V10/778

G06V10/762

G06T7/00 350B

A01G7/00 603

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2024010440

(22)【出願日】2024-01-26

(31)【優先権主張番号】P 2023011334

(32)【優先日】2023-01-27

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】イ ウンソク

(72)【発明者】

【氏名】河崎 靖

(72)【発明者】

【氏名】内藤 裕貴

(72)【発明者】

【氏名】太田 智彦

(72)【発明者】

【氏名】高橋 正明

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096EA03

5L096FA16

5L096FA32

5L096FA64

5L096FA67

5L096FA69

5L096GA51

5L096HA11

5L096JA09

5L096KA04

5L096MA07

(57)【要約】

【課題】成長過程の農作物の特定対象部分を検出する人工知能に機械学習を行わせるための学習データを容易に生成する。
【解決手段】複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションする人力アノテーション工程（Ｓ４１）と、アノテーションされた前記画像から１次学習のための学習データを生成する１次学習データ生成工程（Ｓ４２）と、学習データを用いて物体検出モデルを１次学習させる１次学習工程（Ｓ４３）と、１次学習した物体検出モデルに複数の別の画像を入力して特定対象部分を検出させる機械検出工程（Ｓ４４）と、１次学習した物体検出モデルが検出ミスした別の画像の特定対象部分をユーザが修正する修正工程（Ｓ４５）と、検出ミスが修正された別の画像を用いて物体検出モデルを２次学習させる２次学習工程（Ｓ４６）と、を含む、物体検出モデルの学習方法。
【選択図】図２

【特許請求の範囲】

【請求項1】

物体検出モデルの学習方法であって、
複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションする人力アノテーション工程と、
アノテーションされた前記画像から１次学習のための学習データを生成する１次学習データ生成工程と、
前記学習データを用いて物体検出モデルを１次学習させる１次学習工程と、
１次学習した前記物体検出モデルに複数の別の画像を入力して前記特定対象部分を検出させる機械検出工程と、
１次学習した前記物体検出モデルが検出ミスした前記別の画像の前記特定対象部分をユーザが修正する修正工程と、
前記検出ミスが修正された前記別の画像を用いて前記物体検出モデルを２次学習させる２次学習工程と、
を含む、学習方法。

【請求項2】

前記１次学習のための学習データは、アノテーションされた前記特定対象部分の画像、又はアノテーションされた前記特定対象部分が他の特定対象部分又は人工物によって部分的に隠された画像である、請求項１に記載の学習方法。

【請求項3】

前記機械検出工程において、前記特定対象部分を含む画像をピクセル化し、類似するピクセルのクラスタリングを行い、重なった特定対象部分を分離する、請求項１に記載の学習方法。

【請求項4】

前記重なった特定対象部分を含む注目領域を変換処理して前記重なった特定対象部分を検出する、請求項３に記載の学習方法。

【請求項5】

前記変換処理は、前記注目領域のサイズを拡大する処理、前記注目領域の明るさを変更する処理、前記注目領域の色を変更する処理、及び前記注目領域に含まれる前記重なった特定対象部分の輪郭を強調する処理のうちの少なくともいずれかである、請求項４に記載の学習方法。

【請求項6】

前記機械検出工程で１次学習した前記物体検出モデルに前記特定対象部分を検出させた前記複数の別の画像の数は、前記人力アノテーション工程で前記ユーザが手動でアノテーションした前記複数の画像の数よりも多い、請求項１から５のいずれか一項に記載の学習方法。

【請求項7】

予め定めた検出精度が得られるまで前記機械検出工程から前記２次学習工程までを繰り返す、請求項１から５のいずれか一項に記載の学習方法。

【請求項8】

請求項１から５のいずれか一項に記載の学習方法を用いて学習させた前記物体検出モデルを用いて画像中の前記特定対象部分をアノテーションすることにより得られる、農作物検出モデルの学習データ。

【請求項9】

物体検出モデルの学習データの生成方法であって、
複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションする人力アノテーション工程と、
アノテーションされた前記画像から１次学習のための学習データを生成する１次学習データ生成工程と、
前記学習データを用いて物体検出モデルを１次学習させる１次学習工程と、
１次学習した前記物体検出モデルに複数の別の画像を入力して前記特定対象部分を検出させる機械検出工程と、
１次学習した前記物体検出モデルが検出ミスした前記別の画像の前記特定対象部分をユーザが修正する修正工程と、
前記検出ミスが修正された前記別の画像を用いて前記物体検出モデルを２次学習させる２次学習工程と、
所定の精度を有するまで学習した前記物体検出モデルを用いて複数の画像中の指定された特定対象部分をアノテーションする学習データ生成工程と、
を含む、生成方法。

【請求項10】

物体検出モデルの学習装置であって、
複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションした前記画像から生成した１次学習のための学習データを用いて物体検出モデルを１次学習させる１次学習部と、
１次学習した前記物体検出モデルに複数の別の画像を入力して前記特定対象部分を検出させる検出部と、
１次学習した前記物体検出モデルの検出ミスをユーザが修正した後の前記別の画像を用いて前記物体検出モデルを２次学習させる２次学習部と、
を備える、学習装置。

【請求項11】

請求項１０に記載の学習装置としてコンピュータを機能させるための学習プログラムであって、上記１次学習部、上記検出部、および上記２次学習部としてコンピュータを機能させるための学習プログラム。

【請求項12】

請求項１１に記載の学習プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出モデルの学習装置、学習方法、学習データの生成方法、学習プログラム及び記録媒体に関する。

【背景技術】

【0002】

画像の中から特定の対象物を抽出する物体検出技術、特に人工知能（Artificial Intelligence）を用いた物体検出技術の発展は目覚ましいものがある。人工知能に物体検出を行わせるためには、人工知能に学習データ（教師データ）を入力して機械学習させる必要がある。学習データは、検出したい物体の画像である。多くの学習データを用いて学習させるほど、能力の高い物体検出装置が得られるため、学習データは多いほど良い。しかし、学習データを作成するためには、画像から目的の物体を特定し、それに物体の名称を関連付ける大量のアノテーション作業が必要となる。しかし、アノテーション作業を人が行うには多大な時間と労力が必要である。

【0003】

例えば、特許文献１には、工場における複数の物体を対象として、機械学習に用いる学習データセットを効率的に作製できる方法及び装置が開示されている。また、特許文献２には、容易に、且つ、短時間で、対象物の認識方法における深層学習のための大量の教師データを作成する教師データの作成方法及び装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2019-29021号公報

【特許文献2】特開2022-124739号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された技術は、マーカを取り付けた対象物をいろいろな方向から撮像して多視点画像群を取得し、この画像群の対象物にバウンディングボックスを設定して学習データセットを生成する。しかし、果実などの農作物の特定対象部分を検出するためのアノテーション済の学習データは、このような手法では生成できない。

【0006】

また、特許文献２に開示された技術は、対象物画像を背景画像に貼り付け、貼り付けた座標位置をアノテーション情報として付与するものであり、任意の画像の中から対象物を抽出するものではない。そのため、果実などの農作物の特定対象部分を検出するためのアノテーション済の学習データは、このような手法では生成できない。

【0007】

本発明の一態様は、成長過程の農作物の特定対象部分を検出する人工知能に機械学習を行わせるための学習データを容易に生成するための技術を実現することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本発明の一態様に係る学習方法は、物体検出モデルの学習方法であって、複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションする人力アノテーション工程と、アノテーションされた前記画像を用いて物体検出モデルを１次学習させる１次学習工程と、前記１次学習した前記物体検出モデルに複数の別の画像を入力して前記特定対象部分を検出させる機械検出工程と、前記１次学習した前記物体検出モデルが検出ミスした前記別の画像の前記特定対象部分をユーザが修正する修正工程と、前記検出ミスが修正された前記別の画像を用いて前記物体検出モデルを２次学習させる２次学習工程と、を含む。

【0009】

本発明の一態様に係る物体検出モデルの学習データの生成方法は、複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションする人力アノテーション工程と、アノテーションされた前記画像を用いて物体検出モデルを１次学習させる１次学習工程と、前記１次学習した前記物体検出モデルに複数の別の画像を入力して前記特定対象部分を検出させる機械検出工程と、前記１次学習した前記物体検出モデルが検出ミスした前記別の画像の前記特定対象部分をユーザが修正する修正工程と、前記検出ミスが修正された前記別の画像を用いて前記物体検出モデルを２次学習させる２次学習工程と、所定の精度を有するまで学習した前記物体検出モデルを用いて複数の画像中の指定された特定対象部分をアノテーションする学習データ生成工程と、を含む。

【0010】

本発明の一態様に係る物体検出モデルの学習装置は、複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションした前記画像を用いて物体検出モデルを１次学習させる１次学習部と、前記１次学習した前記物体検出モデルに複数の別の画像を入力して前記特定対象部分を検出させる検出部と、前記１次学習した物体検出モデルが検出した前記別の画像の検出ミスをユーザが修正した後の前記別の画像を用いて前記物体検出モデルを２次学習させる２次学習部と、を備える。

【0011】

本発明の一態様に係る学習装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記学習装置が備える各部（ソフトウェア要素）として動作させることにより前記学習装置をコンピュータにて実現させる学習装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0012】

本発明の一態様によれば、成長過程の農作物の特定対象部分を検出する人工知能に機械学習を行わせるための学習データを容易に生成することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態１に係る物体検出モデルの学習装置１の構成を示すブロック図である。

【図2】実施形態１に係る物体検出モデルの学習方法の流れを示すフローチャートである。

【図3】ユーザが対象であるイチゴの果実と花についてアノテーションした模式図である。

【図4】１次学習した物体検出モデルがアノテーションした画像の一例を示す模式図である。

【図5】物体検出モデルがアノテーションしたイチゴと、ユーザが追加してアノテーションしたイチゴを示す模式図である。

【図6】本発明の実施形態２に係る画像処理方法Ｓ２の流れを示すフローチャートである。

【図7】画像をスーパーピクセル化して対象を分離する方法を示す模式図である。

【図8】注目領域を生成してそのサイズを拡大する処理を示す模式図である。

【図9】注目領域の対象の色を変える処理、又は対象の輪郭を強調する処理を示す模式図である。

【図10】物体検出モデルで検出させた対象の画像の座標からバウンディングボックスを付す処理を示す模式図である。

【図11】学習データを生成方法Ｓ３の流れを示すフローチャートである。

【図12】特定対象部分が部分的に隠されている場合の画像例を示す模式図である。

【図13】実施形態４に係る学習装置１Ａの構成を示すブロック図である。

【図14】実施形態４に係る学習方法Ｓ４の流れを示すフローチャートである。

【図15】１次学習データ生成部が取得するテンプレートの例を示す模式図である。

【図16】１次学習データ生成部が取得する第１の特定対象部分の例を示す模式図である。

【図17】図１６の１６０６に示す画像の上に、図１５に示すテンプレートを重ねて生成した学習データの例を示す模式図である。

【発明を実施するための形態】

【0014】

〔実施形態１〕
（学習装置１）
以下、本発明の一実施形態について、図面を参照して詳細に説明する。図１は、本実施形態１に係る学習装置１の構成を示すブロック図である。図示するように、学習装置１は、制御装置１０，及び通信部２０を備える。学習装置１は、通信部２０を介して、ディスプレイ４０及び物体検出モデル５０と情報通信可能に接続されている。学習装置１は、形状、大きさ、色などが経時的に変化する対象を画像から検出（認識）してアノテーションする物体検出モデル５０を学習させる装置である。対象とは、物体検出モデル５０が検出すべき物体としてユーザによって指定された物体である。物体検出モデル５０は、画像中の対象にバウンディングボックスを付し、バウンディングボックスを付した対象の名称をそのバウンディングボックスと関連付けて記録するアノテーション処理を実行する。これは、他の物体検出モデルを学習させるための学習データを生成することでもある。そのため、物体検出モデル５０は、画像から学習データを生成する生成モデル、又は画像中の対象をアノテーションするアノテーションモデルと称してもよい。

【0015】

制御装置１０は、主制御部１１とメモリ１２を備える。主制御部１１は、取得部１１１，１次学習部１１２，検出部１１３，及び２次学習部１１４を備える。制御装置１０は、画像処理部１１５をさらに備えてもよい。制御装置１０は、学習装置１全体の制御を行う。主制御部１１は、例えば、少なくとも１つのＭＰＵ（Micro Processing Unit）、ＣＰＵ（Central Processing Unit）等の汎用プロセッサを用いて構成することができる。また、主制御部１１は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）又はＰＬＤ（Programmable Logic Device）等で構成される専用プロセッサを含んでいてもよい。メモリ１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の複数種類のメモリを備えていてもよい。一例として、主制御部１１は、メモリ１２のＲＯＭに記録された各種の制御プログラムをＲＡＭに展開して実行することにより、取得部１１１，１次学習部１１２，検出部１１３，２次学習部１１４，及び画像処理部１１５としての機能を実現する。

【0016】

なお、主制御部１１の各部，メモリ１２，物体検出モデル５０は、少なくともその一部が異なる場所に配置され、互いに情報通信可能に接続されていてもよい。また、これらは、少なくともその一部がクラウド上に配置され、互いに情報通信可能に接続されていてもよい。

【0017】

取得部１１１は、検出する対象が含まれる画像を複数取得する。ただし、この画像は、ユーザが予め特定対象部分をアノテーションした１次画像である。特定対象部分は、形状、大きさ、色などが経時的に変化する部分であり、農作物の生育の程度を判断可能な部分である。農作物の種類は限定されない。以下、「特定対象部分」を単に「対象」とも称する場合がある。このような特定対象部分は、例えば、農作物の花、果実又は葉等が挙げられる。例えば、果実は、花が咲いて受粉後に実ができ、実が成熟した後に収穫される。このように、果実は成長過程において、花から実へと形状がさまざまに変化し、さらに実の大きさや色も変化するため、画像から検出することが難しい。物体検出モデル５０は、このような特定対象部分を検出する、ニューラルネットワークモデルなどのＡＩ（Artificial Intelligence、人工知能）を用いた機械モデルである。取得部１１１は、予めユーザが１次画像を保存したデータベース６０から１次画像を取得してもよい。あるいは、取得部１１１がデータベースに記録された画像をディスプレイ４０に表示し、表示された画像にユーザがバウンディングボックスを付し、対象の名称と関連付けてアノテーションしてもよい。取得部１１１は、ユーザがアノテーションした１次画像をデータベース６０に保存しておき、保存された１次画像を取得してもよい。

【0018】

１次学習部１１２は、取得部１１１が取得した複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションした画像（１次画像）を学習データとして用いて物体検出モデル５０を１次学習させる。１次画像の数はそれほど多くなくてもよい。１次画像の数は、例えば数十枚から数百枚程度でもよい。例えば、１次画像の数は、５０枚から２００枚程度であってもよい。そのため、１次学習した段階の物体検出モデル５０の検出精度は問わない。

【0019】

検出部１１３は、１次学習した物体検出モデル５０に複数の別の画像を入力して特定対象部分を検出させる。物体検出モデル５０は、検出した対象にバウンディングボックスを付して、対象の名称と関連付けて記録する。バウンディングボックスは、花、果実等は方形のバウンディングボックスでよく、葉などの不定形の対象はポリゴンで囲ってもよい。別の画像（２次画像）とは、１次画像とは異なり、アノテーションされていない対象を含む画像である。別の画像は、例えば異なる栽培場で撮影された同じ対象の画像であっても良い。取得部１１１は、予めユーザがデータベース６０に保存した別の画像を取得してもよく、ユーザが学習装置１に直接入力した別の画像を取得してもよい。検出部１１３は、その別の画像を物体検出モデル５０に入力し、対象を検出させアノテーションさせた結果を取得する。別の画像の数は、物体検出モデル５０の学習に十分な程度の数である。例えば、別の画像の数は、数千枚から数万枚である。

【0020】

２次学習部１１４は、１次学習した物体検出モデル５０の検出ミスをユーザが修正した後のその２次画像を学習データとして用いて物体検出モデルを２次学習させる。つまり、物体検出モデル５０にアノテーションさせた別の画像のアノテーション画像（２次画像）を、ユーザが修正する必要がある。ユーザは、ディスプレイ４０に表示された２次画像を見て、物体検出モデル５０が間違ってアノテーションした対象のバウンディングボックスを消去するなどして検出ミスを削除する。また、ユーザは、２次画像中の検出されなかった対象にバウンディングボックスを付し、対象の名称と関連付けて記録させる。

【0021】

画像処理部１１５は、物体検出モデル５０に対象の検出処理をさせた２次画像の一部を必要に応じて画像処理する。画像処理部１１５が実行する画像処理の詳細については後述する。

【0022】

なお、図１では、１次学習部１１２と２次学習部１１４とが異なる処理部であるように記載している。しかし、１次学習部１１２と２次学習部１１４とは同じ機能を有しているので、同じ処理部でもよい。つまり、１次学習部１１２が２次学習部１１４を兼ねていてもよい。

【0023】

取得部１１１は、ユーザが修正した２次画像を取得し、２次学習部１１４に送信する。２次学習部１１４は、ユーザが修正した２次画像を学習データとして用いて物体検出モデル５０を２次学習させる。ユーザは、２次学習した物体検出モデル５０に、さらに別の画像を入力して対象を検出させ、アノテーションさせる。ユーザは、物体検出モデル５０の検出結果を確認して検出精度が所定の精度に達するまで、物体検出モデル５０がアノテーションした結果の修正と、修正した画像を学習データとして再学習を繰り返す。つまり、２次学習した物体検出モデル５０の検出精度が所定の精度に達していなかった場合は、物体検出モデル５０を３次学習させる。以下同様に、所定の検出精度に達するまで、物体検出モデル５０をｎ次学習させる。そのため、２次学習からｎ次学習までを含めて２次学習と称する。

【0024】

上述の実施形態では、ユーザが、物体検出モデル５０の検出結果を確認して検出精度が所定の精度に達したか否かを判定する。しかし、物体検出モデル５０の検出結果を、すでに所定の検出精度を有するように学習されている学習済物体検出モデル（図示せず）を用いて判定させる、判定部を備えていてもよい（図示せず）。つまり、学習装置１は、物体検出モデル５０のアノテーション結果を他の学習済物体検出モデルに確認させ、精度を導出する判定部を備えていてもよい。このように構成することで、ユーザの負担がさらに減少する。

【0025】

以上のようにして、ユーザは、成長過程の農作物の特定対象部分を検出する人工知能に機械学習を行わせるための学習データを、物体検出モデル５０に容易に生成させることができる。つまり、従来技術においては、このような対象を検出する物体検出モデル５０を学習させるためには、ユーザが予め大量の画像中の対象をアノテーションする必要があった。その枚数は場合によっては数万枚に達するため、ユーザの膨大な作業量を必要としていた。しかし、上述の学習装置１を用いる方法によれば、最初に数十枚から数百枚の画像にアノテーションする作業が生じるものの、その後は物体検出モデル５０の検出結果をユーザが修正することにより、物体検出モデル５０を十分な精度を有するまで学習させることが容易となる。従来技術では、ユーザが数万枚以上の画像にアノテーションする必要があったが、本実施形態の学習装置を用いることにより、ユーザがアノテーションする画像の数を大幅に減らすことができる。また、物体検出モデル５０のアノテーション結果を他の学習済物体検出モデルに確認させ、精度を導出する判定部を備えることにより、ユーザの負担がさらに減少する。

【0026】

（学習方法）
次に、本実施例に係る物体検出モデル５０の学習方法について、図面を参照して説明する。図２は、物体検出モデル５０の学習方法Ｓ１の流れを示すフローチャートである。

【0027】

図２に示すように、学習方法Ｓ１は、ステップＳ１１からステップＳ１５を含む。まず、ステップＳ１１は、ユーザが、複数の画像中の指定された農作物の特定対象部分を手動でアノテーションする人力アノテーション工程である。これは、前述の１次画像をユーザが生成する工程である。以下では、指定された特定対象部分がイチゴの果実又は花である場合を例にとって説明する。図３は、ユーザが対象であるイチゴの果実についてアノテーションした模式図（３０１）と、イチゴの花についてアノテーションした模式図（３０２）である。なお、図示していないが、図３の３０１のバウンディングボックスにはそれぞれイチゴの果実という情報が関連付けられて（アノテーションされて）おり、図３の３０２のバウンディングボックスにはそれぞれイチゴの花という情報が関連付けられている。

【0028】

ステップＳ１２は、プロセッサ（１次学習部１１２）が、アノテーションされた画像（１次画像）を用いて物体検出モデル５０を１次学習させる１次学習工程である。前述のとおり、１次画像の数は、例えば数十枚から数百枚程度でもよい。

【0029】

ステップＳ１３は、プロセッサ（検出部１１３）が、１次学習した物体検出モデル５０に複数の別の画像（２次画像）を入力して特定対象部分を検出させる機械検出工程である。機械検出工程において１次学習した物体検出モデル５０に特定対象部分を検出させた複数の別の画像の数は、人力アノテーション工程においてユーザが手動でアノテーションした複数の画像の数よりも多い。図４は、１次学習した物体検出モデル５０が、２次画像のイチゴの花と果実をアノテーションした一例を示す模式図である。

【0030】

ステップＳ１４は、ユーザが、１次学習した物体検出モデル５０が検出ミスした２次画像の特定対象部分を修正する修正工程である。これにより、修正された２次画像が得られる。図５は、物体検出モデル５０がアノテーションしたイチゴと、ユーザが追加してアノテーションしたイチゴを示す模式図である。物体検出モデル５０がアノテーションしたイチゴは、実線のバウンディングボックスが付されている。ユーザが追加してアノテーションしたイチゴには、点線のバウンディングボックスが付されている。点線のバウンディングボックスで囲まれた対象は、１次学習した物体検出モデル５０が検出すべきであった特定対象部分である。

【0031】

ステップＳ１５は、プロセッサ（２次学習部１１４）が、検出ミスが修正された２次画像を用いて物体検出モデル５０を２次学習させる２次学習工程である。つまり、図５の点線で示したバウンディングボックスも含めた画像を用いて、物体検出モデル５０を２次学習させる。これにより、物体検出モデル５０の検出精度が向上する。なお、１次学習部１１２が２次学習部１１４を兼ねてよいのは前述のとおりである。

【0032】

ステップＳ１６は、ユーザが、所定の検出精度を達成したか否かを判定する判定工程である。まず、ユーザが、２次学習させた物体検出モデル５０を用いて、さらに別の画像をアノテーションさせる。そして、ユーザは、物体検出モデル５０にアノテーションさせた結果を解析して検出精度を導出する。ユーザが、所定の検出精度を達成したと判定した場合（ステップＳ１６：ＹＥＳ）は、学習プロセスは終了する。一方、ユーザが、所定の検出精度を達成していないと判定した場合（ステップＳ１６：ＮＯ）は、ステップＳ１３に戻る。ここで、ステップＳ１３の「１次学習」を「２次学習」と読み替える。同様に次にステップＳ１４の「１次学習」を「２次学習」と読み替え、ステップＳ１５の「２次学習」を「３次学習」と読み替える。以下、ステップＳ１６でＮＯと判定されるごとに、ステップＳ１３～ステップＳ１５までの「ｎ次学習」を「（ｎ＋１）次学習」と読み替えて処理する。ここで、ステップＳ１６を、ユーザが行う代わりに学習済物体検出モデルを用いて行ってもよいことは上述のとおりである。

【0033】

つまり、予め定めた検出精度が得られるまで、機械検出工程（Ｓ１３）から２次学習工程（Ｓ１５）までが繰り返される。そして、ユーザ、又は所定の精度を有する学習済物体検出モデルによって所定の精度に達していると判定された場合は、物体検出モデル５０の学習を終了する。所定の精度に達していないと判定された場合は、物体検出モデル５０の学習を別の画像を用いて行うことを繰り返す。以上のようにして、所定の検出精度を有する物体検出モデル５０を生成することができる。

【0034】

以上の学習方法Ｓ１によれば、ユーザは、成長過程の農作物の特定対象部分を検出する人工知能に機械学習を行わせるための学習データを、物体検出モデル５０に容易に生成させることができる。つまり、最初に数十枚から数百枚の画像にアノテーションする作業が生じるものの、その後は物体検出モデル５０の検出結果をユーザが修正することにより、物体検出モデル５０を十分な精度を有するまで学習させることが容易となる。従来技術では、ユーザが数万枚以上の画像にアノテーションする必要があったが、本実施形態の学習方法Ｓ１を用いることにより、ユーザがアノテーションする画像の数を大幅に減らすことができる。また、１次画像と２次画像の作成を同一のユーザが行うことで、学習データの一貫性を確保することができる。また、物体検出モデル５０のアノテーション結果を他の学習済物体検出モデルに確認させ、精度を判定する判定ステップを行うことにより、ユーザの負担がさらに減少する。

【0035】

上述の学習方法Ｓ１を、学習装置１を用いて実行して学習済の農作物検出モデルを作成した。そして、この農作物検出モデルにイチゴの花と果実が約１１０個含まれている１枚の画像を入力してアノテーションさせた。その結果、数秒でアノテーションが終了した。一方、同じ画像をアノテーションの熟練者がアノテーションした結果、１０分以上の時間を要した。このように、本実施形態の学習装置１と学習方法Ｓ１の効果を確認することができた。

【0036】

〔実施形態２〕
次に、本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0037】

本実施形態では、学習装置１は、特定対象部分の画像を変換処理して特定対象部分を検出する画像処理部１１５を備える。１次学習した段階の物体検出モデル５０は、重なった果実や花を含めて学習してもよいが、学習データの数が少ないため、検出ミスが発生する可能性が高い。特に検出ミスが発生する可能性が高い対象は、重なった対象（特に重なりやすい対象は、イチゴの花や果実など）である。そこで、検出部１１３が行う機械検出工程において、画像処理部１１５は、重なっていたために、１次学習した物体検出モデル５０が検出できなかった２次画像中の対象を検出できるようにするために、画像を変換（画像処理）する。そして、変換画像を物体検出モデル５０に入力して検出させ、物体検出モデル５０が検出した対象にバウンディングボックスを付す役割を有する。このような処理により、物体検出モデル５０の検出ミスが減少するため、その後のユーザの修正作業を減少させることができる。このような変換処理によっても検出されなかった対象は、ユーザが修正工程において修正する。

【0038】

（画像処理方法）
以下に、画像処理部１１５が行う画像処理方法について説明する。画像処理部１１５は、機械検出工程において、特定対象部分を含む画像をピクセル化し、類似するピクセルのクラスタリングを行い、重なった特定対象部分を分離する。図６は、画像処理部１１５が実行する画像処理方法Ｓ２の流れを示すフローチャートである。図示するように、画像処理方法Ｓ２は、ステップＳ２１からステップＳ２５を含む。

【0039】

ステップＳ２１は、画像処理部１１５が、２次画像に対して物体検出モデル５０が付したバウンディングボックス内に、他の対象が含まれていないかを解析する解析工程である。画像処理部１１５は、例えば、クラスタリングアルゴリズムを用いて他の対象が含まれていないかを解析することができる。このような方法として、例えば、ＳＬＩＣ（Simple
Linear Iterative Clustering）を用いてクラスタリングする方法を用いてもよい。図７は、画像をスーパーピクセル化して対象を分離する方法を示す模式図である。図７の９０１に示すように、画像をスーパーピクセルに分割する。次いで、９０２に示すように、検出した対象に隣接する、類似するスーパーピクセルの領域をクラスタリングし、１つの果実の背後にある別の果実を分離することができる。

【0040】

ステップＳ２２は、画像処理部１１５が、他の対象を含むように新たな注目領域を生成する生成工程である。例えば、図８に示すように、画像処理部１１５は、他の対象が含まれていると判定されたバウンディングボックス７０から注目領域７１を生成する。具体的には、バウンディングボックス７０に含まれる対象の右側に別の対象があると判定された場合には、画像処理部１１５は、バウンディングボックス７０の上辺と底辺からそれぞれ例えば４５度の角度で広げた注目領域７１を生成する。注目領域７１のバウンディングボックスの左辺は、別の対象の左端部に対応するように配置される。バウンディングボックス７０の上辺と底辺から広げる角度は対象により異なる。この角度により、注目領域のおよその大きさが決まる。この角度は、別の対象の全体が注目領域に含まれるように設定される。

【0041】

ステップＳ２３は、画像処理部１１５が、生成した注目領域７１の画像を変換処理する変換処理工程である。例えば、変換処理は、注目領域のサイズを拡大する処理、注目領域の明るさを変更する処理、注目領域の色を変更する処理、及び注目領域に含まれる重なった特定対象部分の輪郭を強調する処理のうちの少なくともいずれかであってもよい。

【0042】

図８の７１１と７１２は、画像処理部１１５が画像中の注目領域７１のサイズを拡大する処理を示す模式図である。図８の７１１は、注目領域７１を左右方向に拡大した変換画像の一例である。図８の７１２は、注目領域７１を均等に拡大した変換画像の一例である。

【0043】

図９の７１３と７１４は、画像処理部１１５が注目領域７１の対象の色を変える変換処理をした画像であり、７１３は、対象の色を暖色系に変換処理した画像、７１４は対象の色を寒色系に変換処理した画像である。また、図９の７１５は、対象の輪郭を強調する変換処理をした変換画像である。このような処理を施すことにより、物体検出モデル５０が対象を検出しやすくなる。

【0044】

次のステップＳ２４は、以上のように変換した画像を、画像処理部１１５が物体検出モデル５０に入力して対象を検出させる工程である。つまり、画像処理部１１５は、重なった特定対象部分を含む注目領域を変換処理して、物体検出モデル５０に重なった特定対象部分を検出させる。さらに、次のステップＳ２５は、画像処理部１１５は、検出に成功した対象の座標位置の平均をとり、その座標を有するバウンディングボックスを元の画像に追加する工程である。図１０は、画像処理部１１５が、物体検出モデル５０で検出させた対象の画像の座標からバウンディングボックスを付す処理を示す模式図である。

【0045】

図１０の７１１Ａは、物体検出モデル５０が、変換画像７１１の画像から対象を検出して付したバウンディングボックスである。７１２Ａは、物体検出モデル５０が、変換画像７１２の画像から対象を検出して付したバウンディングボックスである。バウンディングボックス７１３Ａ，７１４Ａ，７１５Ａも同様である。画像処理部１１５は、これらのバウンディングボックス７１１Ａ～７１５Ａの座標の平均値を計算し、元の画像のその座標位置にバウンディングボックス９０を付す。図１０は、変換画像７１１～７１５のすべてから対象が検出された場合を説明している。しかし、必ずしもすべての変換画像から対象が検出されるとは限らない。画像処理部１１５は、対象が検出された変換画像だけを用いて平均座標位置を計算する。

【0046】

以上のように、画像処理部１１５は、物体検出モデル５０が検出できなかった対象を画像処理により探索し、物体検出モデル５０が検出しやすいように画像変換して再度物体検出モデル５０に検出させることにより、物体検出モデル５０が検出できなかった対象にバウンディングボックスを付すことができる、つまり、物体検出モデル５０が検出できなかった対象をアノテーションすることができる。これにより、ユーザの修正作業を低減することができる。

【0047】

〔実施形態３〕
次に、本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１，２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0048】

実施形態１では、物体検出モデル５０を学習させる学習装置１と学習方法Ｓ１について説明した。また、実施形態２では、物体検出モデル５０をより精度良く学習させるための画像処理方法について説明した。本実施形態では、学習済の物体検出モデル５０を用いて、新たな物体検出モデルの学習データを生成する方法について説明する。

【0049】

学習済の物体検出モデル５０は、新たな物体検出モデルの学習のための学習データを生成することができる。例えば、上述の学習方法を用いて学習させた学習済の物体検出モデル５０を用いて画像中の特定対象部分をアノテーションすることにより、新たな農作物検出モデルの学習データを生成することができる。図１０は、学習データの生成方法Ｓ３の流れを示すフローチャートである。図示するように、生成方法Ｓ３はステップＳ３１からステップＳ３６を含む。

【0050】

ステップＳ３１は、複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションする人力アノテーション工程である。この工程は、実施形態１で説明した学習方法Ｓ１のステップＳ１１と同じである。

【0051】

ステップＳ３２は、アノテーションされた画像を用いて物体検出モデル５０を１次学習させる１次学習工程である。この工程は、学習方法Ｓ１のステップＳ１２と同じである。

【0052】

ステップＳ３３は、１次学習した物体検出モデル５０に複数の別の画像（２次画像）を入力して特定対象部分を検出させる機械検出工程である。この工程は、学習方法Ｓ１のステップＳ１３と同じである。

【0053】

ステップＳ３４は、１次学習した物体検出モデル５０が検出ミスした２次画像の特定対象部分をユーザが修正する修正工程である。この工程は、学習方法Ｓ１のステップＳ１４と同じである。

【0054】

ステップＳ３５は、検出ミスが修正された２次画像を用いて物体検出モデル５０を２次学習させる２次学習工程である。この工程は、学習方法Ｓ１のステップＳ１５と同じである。

【0055】

ステップＳ３６は、所定の精度を有するまで学習した物体検出モデル５０を用いて複数の画像中の指定された特定対象部分をアノテーションする学習データ生成工程である。つまり、図１０では省略しているが、物体検出モデル５０が所定の検出精度を達成するまでステップＳ３３からステップＳ３５までを繰り返す。その後、学習済の物体検出モデル５０を用いて、複数の画像中の指定された特定対象部分をアノテーションする。物体検出モデル５０は、アノテーションした箇所とその画像の対象名を関連付けて出力する。そのため、アノテーションされた画像は、農作物検出モデルの学習データとして用いることができる。

【0056】

以上の方法により、農作物検出モデルの学習データを生成するにあたり、従来技術に比べて、ユーザのアノテーション作業を大幅に低減することができる。なお、物体検出モデル５０の学習対象を変更することにより、所望の対象の検出モデルの学習データを生成することができる。

【0057】

〔実施形態４〕
次に、本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１～３にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0058】

実施形態１では、物体検出モデル５０を学習させる方法として、ユーザが予め特定対象部分をアノテーションした１次画像を用いて物体検出モデル５０を１次学習させる方法を説明した。この場合、図１２に示すように、特定対象部分が部分的に隠されている場合の物体検出があまり学習できない場合がある。図１２の１２０１は、後方にある果実がその手前にある果実によって部分的に隠されている例である。図１２の１２０２は、果実が葉によって部分的に隠されている例である。図１２の１２０３は、果実が左上に見えるクリップによって部分的に隠されている例である。このように、１次学習では検出したい特定対象部分が部分的に隠されている場合の物体検出能力が低い場合がある。

【0059】

（物体検出モデル５０の学習装置）
本実施形態では、特定対象部分が部分的に隠されている場合の検出能力を高めるための１次学習を行う方法とその方法を用いた学習装置を説明する。図１３は、本実施形態４に係る学習装置１Ａの構成を示すブロック図である。学習装置１Ａは、図示するように、制御装置１０Ａ及び通信部２０を備える。学習装置１Ａは、通信部２０を介して、ディスプレイ４０及び物体検出モデル５０と情報通信可能に接続されている。学習装置１Ａの構成及び機能は、基本的に実施形態１で説明した学習装置１と同様であるので、ここでは学習装置１の構成又は機能と異なる部分について説明する。

【0060】

制御装置１０Ａは、主制御部１１Ａとメモリ１２を備える。主制御部１１Ａは、取得部１１１，１次学習部１１２，検出部１１３，２次学習部１１４に加え、１次学習データ生成部１１６を備える点で、学習装置１の主制御部１１と異なる。１次学習データ生成部１１６は、特定対象部分の画像であって、第１の特定対象部分が第２の特定対象部分又は人工物によって部分的に隠された画像である１次学習データを複数生成する。１次学習データとは、物体検出モデル５０を１次学習させるための学習データである。第１の特定対象部分及び第２の特定対象部分は、それぞれ例えば、農作物の花、果実又は葉等が挙げられる。１次学習データの生成方法については後述する。

【0061】

学習装置１Ａの１次学習部１１２は、１次学習データ生成部１１６が生成した１次学習のための学習データ（１次学習データ）を用いて物体検出モデルを１次学習させるという点で、実施形態１で説明した学習装置１の１次学習部１１２と異なっている。

【0062】

実施形態１では、１次学習部１１２が、アノテーションされた特定対象部分の画像を用いて物体検出モデルを１次学習させる例を説明した。一方、本実施形態４では、特定対象部分の画像であって、第１の特定対象部分が第２の特定対象部分又は人工物によって部分的に隠された画像を用いて物体検出モデル５０を１次学習させる。つまり、１次学習データは、ユーザによってアノテーションされた特定対象部分の画像そのものであってもよい。あるいは、１次学習データは、アノテーションされた特定対象部分（第１の特定対象部分）が他の特定対象部分（第２の特定対象部分）又は人工物によって部分的に隠された画像であってもよい。

【0063】

（１次学習データの生成）
次に、１次学習データを生成する方法について説明する。１次学習データは、検出したい特定対象部分（第１の特定対象部分）の画像の上に、第２の特定対象部分又は人工物の画像を配置して生成する。第２の特定対象部分は、第１の特定対象部分と同じであってもよく、異なる特定対象部分であってもよい。例えば、特定の種類の果実を検出する物体検出モデルを学習させたい場合は、その種類の果実を第１の特定対象部分とする。第２の特定対象部分は、その種類の花でもよく、葉でもよく、果実でもよく、人工的な構造物であってもよい。

【0064】

１次学習データ生成部１１６は、特定対象部分又は人工的な構造物を１つだけ含むテンプレート画像（以下、単に「テンプレート」とも称する。）を取得する。テンプレートは、主として１つの花を含む画像、１つの果実を含む画像、１つの葉を含む画像など、１つの特定対象部分のみを含む画像である。ただし、花、果実、葉等は作物の種類、成長段階によって異なる。そこで、テンプレートとして、できるだけ多くの種類の作物の、できるだけ多くの成長段階の花、果実、葉等の画像を取得する。つまり、大きさ、色、形状、色つや等のバリエーションができるだけ多くなるようにテンプレートを取得する。テンプレートは、背景を除去した画像であってもよい。背景がない画像は、後述するように１次学習データを生成することが容易になる。また、１次学習データ生成部１１６は、人工的な構造物（人工物）のテンプレートを取得してもよい。人工物とは、実際の農業現場で用いられるクリップ、支持構造物、留め紐などである。

【0065】

テンプレートは、既存のさまざまな画像から１次学習データ生成部１１６が切り出して取得してもよい。又は、テンプレートはユーザがさまざまな画像にアノテーションして切り出された画像であってもよい。さまざまな画像は、予めメモリ１２又はデータベース６０に記憶されている。あるいは、１次学習データ生成部１１６は、特定対象部分の既存の画像データベースがあればそれにアクセスしてテンプレートを取得してもよい。

【0066】

図１５は、１次学習データ生成部１１６が取得するテンプレートの例である。図１５の１５０１，１５０２はトマトの葉のテンプレート、１５０３から１５０５はトマトの果実のテンプレート、１５０６,１５０７は人工物（この場合はクリップ）のテンプレートである。このようにテンプレートは形状、大きさ、色等が異なるものをできるだけ多く用意する。

【0067】

図１６は、１次学習データ生成部１１６が取得する、第１の特定対象部分の取得方法を示す模式図である。図１６の１６０１，１６０２は、特定対象部分を含む農作物の画像である。１次学習データ生成部１１６は、これらの画像から、１６０３から１６０７に示す第１の特定対象部分の画像を取得することができる。さらに、１次学習データ生成部１１６は、実施形態２で説明したように、これらの画像のサイズを拡大する処理、明るさを変更する処理、色を変更する処理、及び輪郭を強調する処理などの変換処理を行って、テンプレートを増やしてもよい。

【0068】

次に、１次学習データ生成部１１６は、テンプレートを用いて１次学習データを生成する。具体的には、１次学習データ生成部１１６は、第１の特定対象部分の上にテンプレートを重ね合わせて１次学習データを生成する。これは、特定対象部分が部分的に隠されて存在する状況を模擬した学習データである。つまり、背後にある第１の特定対象部分が手前にある特定対象部分又は人工物によって部分的に隠されている画像を、テンプレートを用いることによって１次学習データとして生成することができる。

【0069】

図１７は、図１６の１６０６に示す第１の特定対象部分の画像の上に、図１５に示すテンプレートを重ねて生成した１次学習データの例を示す模式図である。図１７の１７０１から１７０３は、葉のテンプレートを重ねている。１７０４から１７０６は、果実のテンプレートを重ねている。１７０７から１７０９は、人工物のテンプレートを重ねている。

【0070】

このように、第１の特定対象部分の画像は、実施形態１で説明したように、取得部１１１が取得した複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションした画像（１次画像）であってもよい。この場合、１次学習データ生成部１１６は、アノテーションされた画像にテンプレートを重ねて１次学習データを生成する。あるいは、第１の特定対象部分の画像は、１次学習データ生成部１１６が取得したテンプレートの画像であってもよい。この場合、１次学習データ生成部１１６は、テンプレートの画像に他のテンプレートを重ねて１次学習データを生成する。

【0071】

以上のように、１次学習データ生成部１１６は、検出したい第１の特定対象部分が部分的に隠された１次学習データを機械的に生成する。こうして生成した１次学習データを用いて物体検出モデル５０を１次学習させる。これにより、検出したい特定対象部分が他の特定対象部分又は人工物によって部分的に隠されている場合でも、検出したい特定対象部分を物体検出モデル５０が検出する能力が向上する。以降は、実施形態１から３で説明したように、２次学習部１１４が、１次学習した物体検出モデル５０に新たな画像に含まれる特定対象部分の検出を実行させ、ミスした箇所をユーザが修正する工程を繰り返し、所定の検出精度が得られるまで学習させる。基本的に、一次学習モデルを生成する際に多くの学習データを生成して学習させることが重要であるため、１次学習データ生成部１１６によって生成された学習データを用いる。しかし、２次学習、３次学習、・・・ｎ次学習をさせる際にも、１次学習データ生成部１１６を用いて生成した学習データを用いて学習させてもよい。これにより、各学習段階での学習データを多くすることができ、学習効果が向上する。つまり、物体検出モデル５０の、隠された物体の認識能力をより向上させることができる。

【0072】

次に、本実施形態に係る物体検出モデルの学習方法Ｓ４について説明する。図１４は、学習装置１Ａが実行する学習方法Ｓ４の流れを示すフローチャートである。学習方法Ｓ４はステップＳ４１からステップＳ４７を含む。学習方法Ｓ４は、ステップＳ４２とステップＳ４３が学習方法Ｓ１と異なる。

【0073】

ステップＳ４１は、ユーザが、複数の画像中の指定された農作物の特定対象部分を手動でアノテーションする人力アノテーション工程である。これは、学習方法Ｓ１のステップＳ１１と同じである。

【0074】

ステップＳ４２は、プロセッサ（１次学習データ生成部１１６）が、アノテーションされた画像から１次学習のための学習データ（１次学習データ）を生成する１次学習データ生成工程である。１次学習データの数は、例えば数十枚から数百枚程度でもよい。前述のように、１次学習データは、ユーザが手動でアノテーションした画像とテンプレートとを用いて生成した学習データでもよく、テンプレートだけを用いて生成した学習データでもよい。

【0075】

ステップＳ４３は、プロセッサ（１次学習部１１２）が、１次学習データを用いて物体検出モデル５０を１次学習させる１次学習工程である。

【0076】

ステップＳ４４は、プロセッサ（検出部１１３）が、１次学習した物体検出モデル５０に複数の別の画像（２次画像）を入力して特定対象部分を検出させる機械検出工程である。このステップＳ４４は、実施形態１で説明したステップＳ１３と同じである。

【0077】

ステップＳ４５は、ユーザが、１次学習した物体検出モデル５０が検出ミスした２次画像の特定対象部分を修正する修正工程である。これにより、修正された２次画像が得られる。このステップＳ４５は、実施形態１で説明したステップＳ１４と同じである。

【0078】

ステップＳ４６は、プロセッサ（２次学習部１１４）が、検出ミスが修正された２次画像を用いて物体検出モデル５０を２次学習させる２次学習工程である。このステップＳ４６は、実施形態１で説明したステップＳ１５と同じである。

【0079】

ステップＳ４７は、ユーザが、所定の検出精度を達成したか否かを判定する判定工程である。まず、ユーザが、２次学習させた物体検出モデル５０を用いて、さらに別の画像をアノテーションさせる。そして、ユーザは、物体検出モデル５０にアノテーションさせた結果を解析して検出精度を導出する。ユーザが、所定の検出精度を達成したと判定した場合（ステップＳ４７：ＹＥＳ）は、学習プロセスは終了する。一方、ユーザが、所定の検出精度を達成していないと判定した場合（ステップＳ４７：ＮＯ）は、ステップＳ４４に戻る。ここで、ステップＳ４４の「１次学習」を「２次学習」と読み替える。同様に次にステップＳ４５の「１次学習」を「２次学習」と読み替え、ステップＳ４６の「２次学習」を「３次学習」と読み替える。以下、ステップＳ４７でＮＯと判定されるごとに、ステップＳ４４～ステップＳ４７までの「ｎ次学習」を「（ｎ＋１）次学習」と読み替えて処理する。ここで、ステップＳ４７の判定を、ユーザが行う代わりに学習済物体検出モデルを用いて行ってもよいことは上述のとおりである。

【0080】

学習済の物体検出モデル５０は、新たな物体検出モデルの学習のための学習データを生成することができる。例えば、上述の学習方法を用いて学習させた学習済の物体検出モデル５０を用いて画像中の特定対象部分をアノテーションすることにより、新たな農作物検出モデルの学習データを生成することができる。この生成方法は、実施形態３で説明した学習データの生成方法Ｓ３と同様であるので、ここでの説明は省略する。

【0081】

〔ソフトウェアによる実現例〕
学習装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に主制御部１１に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0082】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0083】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0084】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0085】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0086】

〔まとめ〕
（態様１）
物体検出モデルの学習方法であって、
複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションする人力アノテーション工程と、
アノテーションされた前記画像から１次学習のための学習データを生成する１次学習データ生成工程と、
前記学習データを用いて物体検出モデルを１次学習させる１次学習工程と、
１次学習した前記物体検出モデルに複数の別の画像を入力して前記特定対象部分を検出させる機械検出工程と、
１次学習した前記物体検出モデルが検出ミスした前記別の画像の前記特定対象部分をユーザが修正する修正工程と、
前記検出ミスが修正された前記別の画像を用いて前記物体検出モデルを２次学習させる２次学習工程と、
を含む、学習方法。

【0087】

（態様２）
前記１次学習のための学習データは、アノテーションされた前記特定対象部分の画像、又はアノテーションされた前記特定対象部分が他の特定対象部分又は人工物によって部分的に隠された画像である、態様１に記載の学習方法。

【0088】

（態様３）
前記機械検出工程において、前記特定対象部分を含む画像をピクセル化し、類似するピクセルのクラスタリングを行い、重なった特定対象部分を分離する、態様１又は２に記載の学習方法。

【0089】

（態様４）
前記重なった特定対象部分を含む注目領域を変換処理して前記重なった特定対象部分を検出する、態様３に記載の学習方法。

【0090】

（態様５）
前記変換処理は、前記注目領域のサイズを拡大する処理、前記注目領域の明るさを変更する処理、前記注目領域の色を変更する処理、及び前記注目領域に含まれる前記重なった特定対象部分の輪郭を強調する処理のうちの少なくともいずれかである、態様４に記載の学習方法。

【0091】

（態様６）
前記機械検出工程で１次学習した前記物体検出モデルに前記特定対象部分を検出させた前記複数の別の画像の数は、前記人力アノテーション工程で前記ユーザが手動でアノテーションした前記複数の画像の数よりも多い、態様１から５のいずれか一つに記載の学習方法。

【0092】

（態様７）
予め定めた検出精度が得られるまで前記機械検出工程から前記２次学習工程までを繰り返す、態様１から６のいずれか一つに記載の学習方法。

【0093】

（態様８）
態様１から７のいずれか一つに記載の学習方法を用いて学習させた前記物体検出モデルを用いて画像中の前記特定対象部分をアノテーションすることにより得られる、農作物検出モデルの学習データ。

【0094】

（態様９）
物体検出モデルの学習データの生成方法であって、
複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションする人力アノテーション工程と、
アノテーションされた前記画像から１次学習のための学習データを生成する１次学習データ生成工程と、
前記学習データを用いて物体検出モデルを１次学習させる１次学習工程と、
１次学習した前記物体検出モデルに複数の別の画像を入力して前記特定対象部分を検出させる機械検出工程と、
１次学習した前記物体検出モデルがした前記別の画像の前記特定対象部分をユーザが修正する修正工程と、
前記が修正された前記別の画像を用いて前記物体検出モデルを２次学習させる２次学習工程と、
所定の精度を有するまで学習した前記物体検出モデルを用いて複数の画像中の指定された特定対象部分をアノテーションする学習データ生成工程と、
を含む、生成方法。

【0095】

（態様１０）
物体検出モデルの学習装置であって、
複数の画像中の指定された農作物の特定対象部分をユーザが手動でアノテーションした前記画像から生成した１次学習のための学習データを用いて物体検出モデルを１次学習させる１次学習部と、
１次学習した前記物体検出モデルに複数の別の画像を入力して前記特定対象部分を検出させる検出部と、
１次学習した前記物体検出モデルの検出ミスをユーザが修正した後の前記別の画像を用いて前記物体検出モデルを２次学習させる２次学習部と、
を備える、学習装置。

【0096】

（態様１１）
態様１０に記載の学習装置としてコンピュータを機能させるための学習プログラムであって、上記１次学習部、上記検出部、および上記２次学習部としてコンピュータを機能させるための学習プログラム。

【0097】

（態様１２）
態様１１に記載の学習プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

【符号の説明】

【0098】

１・・・学習装置
１０・・・制御部
１１・・・主制御部
１１１・・・取得部
１１２・・・１次学習部
１１３・・・検出部
１１４・・・２次学習部
１１５・・・画像処理部
１１６・・・１次学習データ生成部
２０・・・通信部
４０・・・ディスプレイ
５０・・・物体検出モデル
６０・・・データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】