特許 7049636 情報処理装置、プログラム、システム、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-03-30

(45)【発行日】2022-04-07

(54)【発明の名称】情報処理装置、プログラム、システム、及び情報処理方法

(51)【国際特許分類】

   A01G 17/02 20060101AFI20220331BHJP

   G06T 7/60 20170101ALI20220331BHJP

【ＦＩ】

A01G17/02

G06T7/60 150D

【請求項の数】 9

(21)【出願番号】P 2021203363

(22)【出願日】2021-12-15

【審査請求日】2022-01-04

【新規性喪失の例外の表示】特許法第３０条第２項適用 １．刊行物：ＣＹＢＥＲＷＯＲＬＤ ２０２１講演予稿集、発行日：２０２１年９月３０日 ２．集会名：ＣＹＢＥＲＷＯＲＬＤ ２０２１、開催日：２０２１年９月３０日

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人農業・食品産業技術総合研究機構、「スマート農業技術の開発・実証プロジェクト」、産業技術力強化法第１７条の適用を受ける特許出願

【早期審査対象出願】

(73)【特許権者】

【識別番号】304023994

【氏名又は名称】国立大学法人山梨大学

(73)【特許権者】

【識別番号】507225595

【氏名又は名称】株式会社 ＹＳＫ ｅ－ｃｏｍ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ特許業務法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】茅 暁陽

(72)【発明者】

【氏名】ブアヤイ プラウィット

(72)【発明者】

【氏名】横澤 浩樹

(72)【発明者】

【氏名】根本 陽平

【審査官】田辺 義拓

(56)【参考文献】

【文献】特開２０１８－１４３２１４（ＪＰ，Ａ）

【文献】特開２０１６－４７０１０（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１６６６８８３（ＣＮ，Ａ）

【文献】中国実用新案第２０７２６９４３２（ＣＮ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｇ １７／００ － １７／１８

Ａ０１Ｄ ４６／００ － ４６／３０

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

情報処理装置であって、
花穂領域検出部と、主軸特定部と、円形パーツ検出部と、境界位置推定部とを備え、
前記花穂領域検出部は、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、
前記主軸特定部は、前記花穂領域の主軸である花穂主軸を特定し、
前記円形パーツ検出部は、前記画像に含まれる円形パーツを検出し、
前記境界位置推定部は、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記円形パーツは前記ぶどうの花穂を切断するはさみの支点部分に設けられる円形の留め具であり、
前記円形パーツ検出部は、はさみ検出部と留め具検出部とを備えており、
前記はさみ検出部は、第１学習モデルに基づいて、前記画像上におけるはさみ領域を検出し、
前記留め具検出部は、前記第１学習モデルと異なる第２学習モデルに基づいて、前記はさみ領域から前記留め具の外接矩形領域を検出し、
前記境界位置推定部は、前記外接矩形領域の長辺の長さを前記留め具の大きさとする、情報処理装置。

【請求項3】

請求項２に記載の情報処理装置であって、
前記花穂領域検出部は、前記第１学習モデルに基づいて前記花穂領域を検出する、情報処理装置。

【請求項4】

請求項１～請求項３のいずれかに記載の情報処理装置であって、
前記主軸特定部は、前記花穂領域の凸包を求めるとともに凸包領域の主軸を前記花穂主軸とし、
前記境界位置推定部は、前記花穂主軸と前記凸包領域の交点を基準として前記境界位置を推定する、情報処理装置。

【請求項5】

請求項１～請求項４のいずれかに記載の情報処理装置であって、
出力画像生成部をさらに備え、
前記出力画像生成部は、前記境界位置を示す出力画像を生成する、情報処理装置。

【請求項6】

システムであって、
画像撮影部と、画像処理部とを備え、
前記画像撮影部は、ぶどうの複数の花穂及び円形パーツを含む画像を撮影し、
前記画像処理部は、花穂領域検出部と、主軸特定部と、円形パーツ検出部と、境界位置推定部とを備え、
前記花穂領域検出部は、前記画像に含まれる前記複数の花穂の前記画像上における領域である花穂領域を検出し、
前記主軸特定部は、前記花穂領域の主軸である花穂主軸を特定し、
前記円形パーツ検出部は、前記画像に含まれる前記円形パーツを検出し、
前記境界位置推定部は、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、システム。

【請求項7】

請求項６に記載のシステムであって、
ユーザ端末と、情報処理装置とを備え、
前記ユーザ端末は、前記画像撮影部と、出力画像表示部を備え、
前記情報処理装置は、前記画像処理部と、出力画像生成部とを備えており、
前記出力画像生成部は、前記境界位置を示す出力画像を生成し、
前記出力画像表示部は、前記出力画像を表示する、システム。

【請求項8】

プログラムであって、
コンピュータに、花穂領域検出工程と、主軸特定工程と、円形パーツ検出工程と、境界位置推定工程とを実行させ、
前記花穂領域検出工程では、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、
前記主軸特定工程では、前記花穂領域の主軸である花穂主軸を特定し、
前記円形パーツ検出工程では、前記画像に含まれる円形パーツを検出し、
前記境界位置推定工程では、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、プログラム。

【請求項9】

情報処理方法であって、
花穂領域検出工程と、主軸特定工程と、円形パーツ検出工程と、境界位置推定工程とを備え、
前記花穂領域検出工程では、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、
前記主軸特定工程では、前記花穂領域の主軸である花穂主軸を特定し、
前記円形パーツ検出工程では、前記画像に含まれる円形パーツを検出し、
前記境界位置推定工程では、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ぶどうの房づくりを支援するための情報処理装置、プログラム、システム、及び情報処理方法に関する。

【背景技術】

【0002】

ぶどうの栽培においては、収穫時の果房の形や大きさを整えるため、開花期に房から不要な花穂を取り除く「房づくり」が行われる。房づくりでは通常、図１１に示すように、一つの房Ｇ（すなわち、花穂全体）における先端から所定の長さ（目標長さＬｒ）の位置（数ｃｍ）を境界位置Ｘｒとし、境界位置Ｘｒの先端側の範囲の花穂Ｈ１を残し、境界位置Ｘｒの基端側の他の花穂Ｈ２（副穂）を切断する。また、特許文献１には、はさみを入れる回数を少なくして労働作業を軽減できる房づくり方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第３５８８７５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ぶどうの房づくりにおいて、残すべき花穂Ｈ１と切断すべき花穂Ｈ２とを瞬時に判断し、実際に不要な花穂をはさみで切断することは、熟練者でない限り困難であった。

【0005】

本発明はこのような事情に鑑みてなされたものであり、ぶどうの房づくりを支援するための、情報処理装置、プログラム、システム、及び情報処理方法を提供するものである。

【課題を解決するための手段】

【0006】

本発明によれば、情報処理装置であって、花穂領域検出部と、主軸特定部と、円形パーツ検出部と、境界位置推定部とを備え、前記花穂領域検出部は、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、前記主軸特定部は、前記花穂領域の主軸である花穂主軸を特定し、前記円形パーツ検出部は、前記画像に含まれる円形パーツを検出し、前記境界位置推定部は、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、情報処理装置が提供される。

【0007】

本発明では、ぶどうの花穂及びはさみが撮影された画像において、円形パーツの直径の実寸法と円形パーツの画像上の大きさとを用いてキャリブレーションを行うことにより、画像上における花穂領域の主軸上において、複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する。これにより、熟練者でなくとも切断すべき花穂を知ることができ、ぶどうの房づくりを支援することが可能となっている。

【0008】

以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。

【0009】

好ましくは、前記円形パーツは前記ぶどうの花穂を切断するはさみの支点部分に設けられる円形の留め具であり、前記円形パーツ検出部は、はさみ検出部と留め具検出部とを備えており、前記はさみ検出部は、第１学習モデルに基づいて、前記画像上におけるはさみ領域を検出し、前記留め具検出部は、前記第１学習モデルと異なる第２学習モデルに基づいて、前記はさみ領域から前記留め具の外接矩形領域を検出し、前記境界位置推定部は、前記外接矩形領域の長辺の長さを前記留め具の大きさとする。

【0010】

好ましくは、前記花穂領域検出部は、前記第１学習モデルに基づいて前記花穂領域を検出する。

【0011】

好ましくは、前記主軸特定部は、前記花穂領域の凸包を求めるとともに凸包領域の主軸を前記花穂主軸とし、前記境界位置推定部は、前記花穂主軸と前記凸包領域の交点を基準として前記境界位置を推定する。

【0012】

好ましくは、出力画像生成部をさらに備え、前記出力画像生成部は、前記境界位置を示す出力画像を生成する。

【0013】

また、本発明によれば、システムであって、画像撮影部と、画像処理部とを備え、前記画像撮影部は、ぶどうの複数の花穂及び円形パーツを含む画像を撮影し、前記画像処理部は、花穂領域検出部と、主軸特定部と、円形パーツ検出部と、境界位置推定部とを備え、前記花穂領域検出部は、前記画像に含まれる前記複数の花穂の前記画像上における領域である花穂領域を検出し、前記主軸特定部は、前記花穂領域の主軸である花穂主軸を特定し、前記円形パーツ検出部は、前記画像に含まれる前記円形パーツを検出し、前記境界位置推定部は、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、システムが提供される。

【0014】

好ましくは、ユーザ端末と、情報処理装置とを備え、前記ユーザ端末は、前記画像撮影部と、出力画像表示部を備え、前記情報処理装置は、前記画像処理部と、出力画像生成部とを備えており、前記出力画像生成部は、前記境界位置を示す出力画像を生成し、前記出力画像表示部は、前記出力画像を表示する。

【0015】

また、本発明によれば、プログラムであって、コンピュータに、花穂領域検出工程と、主軸特定工程と、円形パーツ検出工程と、境界位置推定工程とを実行させ、前記花穂領域検出工程では、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、前記主軸特定工程では、前記花穂領域の主軸である花穂主軸を特定し、前記円形パーツ検出工程では、前記画像に含まれる円形パーツを検出し、前記境界位置推定工程では、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、プログラムが提供される。

【0016】

また、本発明によれば、情報処理方法であって、花穂領域検出工程と、主軸特定工程と、円形パーツ検出工程と、境界位置推定工程とを備え、前記花穂領域検出工程では、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、前記主軸特定工程では、前記花穂領域の主軸である花穂主軸を特定し、前記円形パーツ検出工程では、前記画像に含まれる円形パーツを検出し、前記境界位置推定工程では、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、情報処理方法が提供される。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る房づくり支援システム１の概要を示す図である。

【図2】図１の房づくり支援システム１のユーザ端末３が撮影した画像Ｐ１の例を模式的に示す説明図である。

【図3】ユーザ端末３が表示する出力画像Ｐ６の例を模式的に示す説明図である。

【図4】図４Ａは、図１の情報処理装置２のハードウェア構成を示すブロック図であり、図４Ｂは、図１のユーザ端末３のハードウェア構成を示すブロック図である。

【図5】図５Ａは、図１の情報処理装置２の機能構成を示すブロック図であり、図５Ｂは、図１のユーザ端末３機能構成を示すブロック図である。

【図6】花穂領域検出部４１ａによる花穂領域Ａ１の検出について示す説明図である。

【図7】主軸特定部４１ｂによる花穂主軸Ｍの特定について示す説明図である。

【図8】図８Ａ及び図８Ｂは、円形パーツ検出部４１ｃによる留め具６０の検出について示す説明図である。

【図9】境界位置推定部４１ｄによる境界位置Ｘｐの推定について示す説明図である。

【図10】図１の情報処理装置２による情報処理の各工程を示すフローチャートである。

【図11】ぶどうの房づくりにおいて、花穂Ｈ２の切断の前後の様子を示す説明図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴について独立して発明が成立する。

【0019】

１．房づくり支援システム１
本発明の一実施形態に係る房づくり支援システム１は、図１に示すように、情報処理装置２と、ユーザ端末３とを備える。

【0020】

情報処理装置２とユーザ端末３は、通信回線４を介して通信可能に構成される。ユーザ端末３は、ぶどうの複数の花穂５（花穂５の全体を花穂群５Ｅとする）及びはさみ６が含まれる画像Ｐ１（図２参照）を撮影し、通信回線４を介して情報処理装置２へ送信する。情報処理装置２は、ユーザ端末３から受信した画像Ｐ１を処理し、当該画像Ｐ１における複数の花穂５のうちの残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界である境界位置Ｘｐ（図３参照）を推定する。推定した境界位置Ｘｐは通信回線４を介してユーザ端末３に送られ、ユーザ端末３は、境界位置Ｘｐを示す出力画像Ｐ６（図１及び図３参照）を表示することで、ユーザの房づくりを支援する。なお、図１及び図３には、境界位置Ｘｐを示す画像に加えてぶどうの花穂５、はさみ６及び作業者Ｗが含まれているが、実際の出力画像Ｐ６としては境界位置Ｘｐを示す画像のみが表示されていれば良く、その他の要素は画像ではなく透過された実際の視界を示している。ただし、その他の要素を透明な画像として表示することも可能である。以下、このような機能を実現する情報処理装置２及びユーザ端末３の各構成について説明する。

【0021】

２．房づくり支援システム１のハードウェア構成
２－１．情報処理装置２のハードウェア構成
本実施形態に係る情報処理装置２は、図４Ａのブロック図に示すように、制御部２０と、記憶部２１と、通信部２２とを備える。また、情報処理装置２は、キーボード及びマウス等で構成された各種操作の入力を受け付ける操作入力部２３と、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ２４とを備えていてもよい。

【0022】

制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等であり、情報処理装置２の全体の動作を制御する。

【0023】

記憶部２１の一部は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されており、制御部２０による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。また、記憶部２１の一部は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、各種データ及び制御部２０の処理に利用されるプログラム等を保存する。

【0024】

記憶部２１に記憶されるプログラムは、例えば、情報処理装置２の基本的な機能を実現するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種ハードウェア制御するためのドライバ、各種機能を実現するためのプログラム等であって、本実施形態に係るコンピュータプログラムを含む。

【0025】

通信部２２は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）であり、通信回線４に接続する機能を有する。なお、通信部２２は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離の無線通信や赤外線通信等を可能とする機能を有してもよい。情報処理装置２は、通信回線４を介してユーザ端末３等の他の情報処理装置等と接続され、他の情報処理装置等との間で各種データの送受信を行うことができる。なお、通信回線４には、高速通信及び低遅延を可能にするため、例えば、ローカル５Ｇシステムが用いられる。ただし、パブリック５Ｇシステムを用いることや、他の通信システムを用いても良い。

【0026】

これら制御部２０、記憶部２１、通信部２２、操作入力部２３、及びモニタ２４は、システムバス２５を介して相互に電気的に接続されている。従って、制御部２０は、記憶部２１へのアクセス、モニタ２４に対する画像の表示、ユーザによる操作入力部２３に対する操作状態の把握、及び通信部２２を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。

【0027】

２－２．ユーザ端末３のハードウェア構成
ユーザ端末３は、実際にぶどうの房づくりを行うユーザである作業者Ｗが使用する情報処理端末である。ユーザ端末３は、好ましくは、光学透過型ヘッドマウントディスプレイ（ＯＳＴＨＭＤ）あるいはＡＲ（拡張現実）グラス／ＭＲ（複合現実）グラスとされる。ただし、ユーザ端末３は、その他のスマートグラス、スマートフォンやタブレット端末等であっても良い。本実施形態のユーザ端末３は、図４Ｂのブロック図に示すように、制御部３０と、記憶部３１と、通信部３２と、撮影部３３と、表示部３４とを備える。また、ユーザ端末３は、音を出力するスピーカや、電源ボタンその他の操作ボタン等により構成される操作部（図示せず）等を備えていてもよい。以下、情報処理装置２との相違点を中心に説明する。

【0028】

撮影部３３は、静止画、動画等を撮影できるカメラを備える。表示部３４は、眼鏡のレンズに相当する部位と投影等の機能を有する部位との組み合わせによるディスプレイを備えうる。また、ユーザ端末３は、網膜に直接映像を照射する部位を備えていてもよい。ただし、ユーザ端末３がスマートフォンやタブレット端末等である場合には、表示部３４は、画像等を表示し操作を受け付け可能なタッチパネルディスプレイ等であってもよい。

【0029】

これら制御部３０、記憶部３１、通信部３２、撮影部３３及び表示部３４は、システムバス２５を介して相互に電気的に接続されている。従って、制御部３０は、記憶部３１へのアクセス、撮影部３３に対する制御、表示部３４による画像の表示、作業者Ｗによる操作状態の把握及び通信部３２を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。

【0030】

３．房づくり支援システム１の機能構成
３－１．情報処理装置２の機能構成
情報処理装置２の機能構成として、情報処理装置２の制御部２０は、図５Ａに示すように、画像取得部４０と、画像処理部４１と、出力画像生成部４２とを備える。画像取得部４０は、ユーザ端末３から送信された画像Ｐ１（図１，２参照）を取得する。画像処理部４１は、画像取得部４０が取得した画像Ｐ１を処理し、画像Ｐ１上における複数の花穂５（花穂群５Ｅ）のうち残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界である境界位置Ｘｐ（図３参照）を推定する。また、出力画像生成部４２は、画像処理部４１が推定した境界位置Ｘｐを示す画像である出力画像Ｐ６を生成する（図１，３参照）。

【0031】

画像処理部４１は、具体的には、花穂領域検出部４１ａと、主軸特定部４１ｂと、円形パーツ検出部４１ｃと、境界位置推定部４１ｄとを備える。また、円形パーツ検出部４１ｃには、はさみ検出部４１ｃ１と留め具検出部４１ｃ２とが含まれる。画像処理部４１の各機能の詳細については、後述する。

【0032】

３－２．ユーザ端末３の機能構成
ユーザ端末３の機能構成として、ユーザ端末３の制御部３０は、図５Ｂに示すように、画像撮影部５０と、出力画像表示部５１とを備える。画像撮影部５０は、撮影部３３により画像Ｐ１を撮影する。ここで、画像Ｐ１に映る範囲には、略同一平面上にぶどうの花穂群５Ｅ及びはさみ６が含まれ（図２参照）、ユーザ端末３が光学透過型ヘッドマウントディスプレイ等である場合には、ユーザである房づくりの作業者Ｗの視野に近い範囲となりうる。

【0033】

出力画像表示部５１は、情報処理装置２から送信された境界位置Ｘｐを示す出力画像Ｐ６（結果）を表示部３４に表示する。表示部３４に出力画像Ｐ６が表示されることで、作業者Ｗは、現実の花穂全体のうち残すべき花穂Ｈ１の範囲と切断すべき花穂Ｈ２の範囲の境界位置Ｘｒ（図１１参照）を把握することができる。特に、ユーザ端末３が光学透過型ヘッドマウントディスプレイ等であれば、作業者Ｗの視界に含まれる実際のぶどうの花穂に、境界位置Ｘｐを重畳表示することができる（図３参照）。

【0034】

３－３．機能構成の実現方法
上述したように、本実施形態の房づくり支援システム１は、機能構成として、画像撮影部５０と、画像取得部４０と、画像処理部４１と、出力画像生成部４２と、出力画像表示部５１とを備える。

【0035】

上述した機能構成は、情報処理装置２又はユーザ端末３に適宜インストールされるソフトウェア（いわゆるアプリを含む）によって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、制御部２０又は制御部３０がソフトウェアを構成するプログラムを実行することによって各種機能を実現することができる。

【0036】

プログラムを実行することで実現される場合、当該プログラムは、情報処理装置２又はユーザ端末３が内蔵する記憶部２１又は記憶部３１に格納してもよく、コンピュータが読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶装置に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。もしくは、ハードウェアによって実現する場合、ＡＳＩＣ、ＳＯＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。

【0037】

また、情報処理装置２の機能として説明した一部の機能構成は、ソフトウェア又はハードウェアによってユーザ端末３等で処理されるようにしてもよい。反対に、ユーザ端末３の機能として説明した一部の機能構成は、ソフトウェア又はハードウェアによって情報処理装置２等で処理されるようにしてもよい。

【0038】

３－４．花穂領域検出部４１ａの機能
花穂領域検出部４１ａは、図６に示すように、画像取得部４０が取得した画像Ｐ１からぶどうの花穂５が存在する領域である花穂領域Ａ１を検出する。花穂領域検出部４１ａによる花穂領域Ａ１の検出は、第１学習モデルに基づいて行われる。すなわち、花穂領域検出部４１ａは、機械学習、深層学習（ディープラーニング）等に基づく画像認識処理を行い、物体の検出や分類等を行う。ここで、第１学習モデルは、花穂領域Ａ１及び後述するはさみ６を検出することができる学習モデルであれば特に制限されないが、例えば、多数の教師データ（既知の入力データと正解データの組）を用いてモデルを訓練し、将来の出力を予測可能にする学習モデルである。

【0039】

第１学習モデルとしては、検出する物体のバウンディングボックスに加え、ピクセルマスクを得ることが可能なモデルを用いることが好ましい。このようなモデルとしては、例えば、再帰的特徴ピラミッド（Ｒｅｃｕｒｓｉｖｅ Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ）と切り替え可能なアトラスコンボリューション（Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ）を用いたインスタンス・セグメンテーション・ネットワーク・モデルである「ＤｅｔｅｃｔｏＲＳ」を用いることができる。「ＤｅｔｅｃｔｏＲＳ」は、マルチステージモデルアーキテクチャを採用し、出力を次の学習セットとして使用することで検出精度の向上を図ったモデルである。

【0040】

花穂領域検出部４１ａが適用する第１学習モデルは、図１及び図２の画像Ｐ１に示すような、作業者Ｗが花穂の上方を保持した状態の画像を用いて学習される。これにより、第１学習モデルは、作業者Ｗが保持する位置よりも下方の花穂を検出できるよう学習される。

【0041】

以上のような第１学習モデルにより、花穂領域検出部４１ａは、画像Ｐ１から花穂領域Ａ１を検出し、図６に示す、花穂領域Ａ１以外の領域がマスクされたマスク画像Ｐ２を得ることができる。画像Ｐ２は、具体的には例えば、花穂領域Ａ１以外の領域が黒く塗りつぶされ、花穂領域Ａ１が白抜きされている。

【0042】

３－５．主軸特定部４１ｂの機能
主軸特定部４１ｂは、図７に示すように、まず、花穂領域検出部４１ａが検出した花穂領域Ａ１の凸包領域Ａ２を求め、次いで、凸包領域Ａ２の主軸を求める。具体的には、主軸特定部４１ｂは、花穂領域Ａ１が複数の連結成分を有している場合、当該連結成分の凸包を算出し、１つの結合領域としての凸包領域Ａ２を得る。次に、主軸特定部４１ｂは、得られた凸包領域Ａ２の主軸を算出し、花穂主軸Ｍとする。なお、凸包の算出及び主軸の算出には、従来既知の任意のアルゴリズムを用いることができるため、その詳細な説明は省略する。

【0043】

以上のように、主軸特定部４１ｂは、画像Ｐ２から凸包領域Ａ２を得ることができ（画像Ｐ３参照）、凸包領域Ａ２の主軸として花穂主軸Ｍを得ることができる（画像Ｐ４参照）。なお、上記で説明した画像Ｐ２～画像Ｐ４（図６～図７）は、各機能の説明のために示した画像にすぎず、撮影された画像は適宜拡大されており、また、ユーザ（作業者Ｗ）に対して実際に表示させる必要はない。

【0044】

３－６．円形パーツ検出部４１ｃの機能
円形パーツ検出部４１ｃは、図８Ａ又は図８Ｂに示すように、画像Ｐ１に含まれるはさみ６の支点部分に設けられる円形の留め具６０（かしめ）を検出する。本実施形態において、円形パーツ検出部４１ｃは、図５Ａに示すように、はさみ検出部４１ｃ１と留め具検出部４１ｃ２とから構成される。

【0045】

はさみ検出部４１ｃ１は、画像取得部４０が取得した画像Ｐ１からはさみ６を検出する。はさみ検出部４１ｃ１によるはさみ６の検出は、上述した花穂領域検出部４１ａと同様、第１学習モデルに基づいて行われる。はさみ検出部４１ｃ１が適用する第１学習モデルは、図１及び図２の画像Ｐ１に示すような、はさみ６が含まれる画像を用いて学習される。以上のような第１学習モデルにより、はさみ検出部４１ｃ１は、画像Ｐ１からはさみ領域Ａ３を検出し、図８Ａ及び図８Ｂに示すような、はさみ領域Ａ３以外の部分をマスクしたマスク画像Ｐ５を得ることができる。画像Ｐ５は、具体的には例えば、はさみ領域Ａ３以外の部分が黒く塗りつぶされ、はさみ領域Ａ３が白抜きされている。なお、図８Ａは、元の画像Ｐ１のはさみ６が正面を向いている場合のはさみ領域Ａ３を示し、図８Ｂは、画像Ｐ１のはさみ６が回転して斜めを向いている場合のはさみ領域Ａ３を示している。

【0046】

留め具検出部４１ｃ２は、はさみ検出部４１ｃ１が取得した画像Ｐ５のはさみ領域Ａ３から留め具６０を検出する。留め具検出部４１ｃ２による留め具６０の検出は、上述した第１学習モデルとは異なる第２学習モデルに基づいて行われる。

【0047】

第２学習モデルとしては、高速で検出する物体のバウンディングボックス（外接矩形領域）を得ることができるモデルを用いることが好ましい。このようなモデルとしては、例えば、リアルタイムでの実行が可能な高速な物体検出手法である「ＹｏｌｏＶ５」を用いることができる。「ＹｏｌｏＶ５」は、出力として検出する物体のマスク画像を提供することはできないものの、物体検出モデルとしては最も高速であることが知られている。

【0048】

以上のような第２学習モデルにより、留め具検出部４１ｃ２は、画像Ｐ５のはさみ領域Ａ３から留め具６０のバウンディングボックスＢを得ることができる。

【0049】

３－７．境界位置推定部４１ｄの機能
境界位置推定部４１ｄは、既知であるはさみ６の留め具６０の直径の実寸法と留め具６０の画像Ｐ１上の大きさとを用いてキャリブレーションを行うことにより、花穂主軸Ｍ上において、画像Ｐ１上における境界位置Ｘｐ（花穂群５Ｅのうちの残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界）を推定する。ここで、現実の目標となる所望の（正しい）境界位置Ｘｒは、図１１に示すように、ぶどうの一つの房Ｇの先端からあらかじめ定めた目標長さＬｒ（例えば、４ｃｍ）だけ離れた位置として定められる。

【0050】

境界位置推定部４１ｄは、具体的には、まず、留め具６０の画像Ｐ１上の大きさを、円形パーツ検出部４１ｃにより得られた留め具６０のバウンディングボックスＢの長辺の長さ（幅又は高さの大きい方）と近似する。これは、はさみ６の留め具６０が略正円形状をしていることで、はさみ６の角度に依存せず、バウンディングボックスＢの長辺の長さが留め具６０の直径となることに基づいている。

【0051】

そして、境界位置推定部４１ｄは、下記式（１）～（４）により、画像Ｐ１上における境界位置Ｘｐの座標を求める。

【0052】

【数1】

【数2】

【数3】

【数4】

【0053】

ここで、数式（１）におけるＤｅｔｅｃｔｅｄＬｅｎ_ｃｍは、推定される花穂全体の長さ（単位：ｃｍ）であり、ＳｃｒｅｗＤｉｍ_ｃｍは、留め具６０の直径の実寸法（単位：ｃｍ）である。また、ＤｅｔｅｃｔｅｄＬｅｎ_ｐｘは、画像Ｐ１上の花穂群５Ｅの長さであり、図９に示すように、画像Ｐ４上における花穂主軸Ｍに沿った花穂領域Ａ１の長さ（単位：画素（ｐｘ））、すなわち、凸包領域Ａ２と花穂主軸Ｍの２つの交点Ｎ１，Ｎ２間の距離により近似される。また、ＳｃｒｅｗＷｉｄｔｈ_ｐｘとＳｃｒｅｗＨｅｉｇｈｔ_ｐｘはそれぞれ、画像Ｐ１（Ｐ５）上の留め具６０の幅と長さ（単位：ｐｘ）である。

【0054】

一方、数式（２）におけるＴａｒｇｅｔＬｅｎ_ｐｘは、交点Ｎ１を基準とした、画像Ｐ１（Ｐ４）上の目標長さＬｐ（単位：ｐｘ）であり、ＴａｒｇｅｔＬｅｎ_ｃｍは、あらかじめ定めた残すべき花穂Ｈ１全体の目標長さＬｒ（単位：ｃｍ）（図１１参照）である。さらに、数式（３）及び数式（４）におけるＴａｒｇｅｔＢｏｔＸ_ｐｘとＴａｒｇｅｔＢｏｔＹ_ｐｘは、花穂群５Ｅの先端位置（穂先）の画像Ｐ１（Ｐ４）上（ＸＹ平面上）の座標であり、凸包領域Ａ２と花穂主軸Ｍの下側の交点Ｎ１の座標により近似される。加えて、ＴａｒｇｅｔＴｏｐＸ_ｐｘとＴａｒｇｅｔＴｏｐＹ_ｐｘは、推定される画像Ｐ１（Ｐ４）上の境界位置Ｘｐの座標であり、θは花穂主軸ＭとＹ軸の間の角度である。

【0055】

そして、式（１）により、画像Ｐ１（Ｐ４）上の花穂群５Ｅの長さ（花穂領域Ａ１の長さ）を、留め具６０の直径の実寸法と留め具６０の長辺の長さとによりキャリブレーションすることで、実際の花穂全体の長さが推定される。また、式（２）により、予め定めた残すべき花穂Ｈ１全体の目標長さＬｒ（図１１参照）を、式（１）により推定された実際の花穂全体の長さと画像Ｐ１（Ｐ４）上の花穂領域Ａ１の長さとによりキャリブレーションすることで、画像Ｐ１（Ｐ４）上における残すべき花穂５全体の目標長さＬｐが推定される。また、式（３）及び式（４）により、画像Ｐ１（Ｐ４）上における残すべき花穂５全体の目標長さＬｐと、凸包領域Ａ２と花穂主軸Ｍの下側の交点Ｎ１の座標及び花穂主軸ＭのＹ軸に対する傾きとから、画像Ｐ１上における境界位置Ｘｐの座標を求めることができる。

【0056】

なお、実際の花穂全体の長さを推定することは必須ではなく、予め定めた残すべき花穂Ｈ１の目標長さＬｒ（図１１参照）を留め具６０の直径の実寸法と留め具６０の長辺の長さとによりキャリブレーションをすることで、画像Ｐ１上における花穂５の目標長さＬｐを推定し、画像Ｐ１上における境界位置Ｘｐの座標を求めることも可能である。

【0057】

以上のようにして境界位置推定部４１ｄが推定した画像Ｐ１（Ｐ４）上の境界位置Ｘｐは、出力画像生成部４２により出力画像Ｐ６として出力される。出力画像Ｐ６は、境界位置Ｘｐが把握できればどのような表示のしかたでも良いが、例えば、図１及び図３に示すように、花穂主軸Ｍを直線で示すとともに、花穂群５Ｅの先端位置と境界位置Ｘｐを互いに平行な直線で表すことが考えられる。なお、出力画像Ｐ６には、境界位置Ｘｐを示す表示に加えて、残すべき花穂全体の目標長さＬｒ（図１１参照）及び推定される花穂全体の長さ（図９におけるＤｅｔｅｃｔｅｄＬｅｎ_ｐｘ参照）の表示を含めることも好適である。

【0058】

４．房づくり支援システム１による処理の流れ
次に、房づくり支援システム１による処理の流れについて説明する。まず、ユーザ端末３の制御部３０が画像撮影工程を実行する。画像撮影工程では、ユーザ端末３の画像撮影部５０により画像Ｐ１が撮影され、撮影された画像Ｐ１は、通信回線４を介してユーザ端末３から情報処理装置２へ送信される。

【0059】

次に、情報処理装置２の制御部２０は、図１０に示す情報処理の各工程、すなわち、画像取得工程Ｓ１、花穂領域検出工程Ｓ２、主軸特定工程Ｓ３、円形パーツ検出工程Ｓ４、境界位置推定工程Ｓ５、及び出力画像生成工程Ｓ６を順次実行する。なお、花穂領域検出工程Ｓ２及び主軸特定工程Ｓ３と円形パーツ検出工程Ｓ４とは、順序を入れ替えて実行してもよく、並列的に実行しても良い。

【0060】

具体的には、画像取得工程Ｓ１では、画像取得部４０が画像Ｐ１を取得する。花穂領域検出工程Ｓ２では、画像処理部４１の花穂領域検出部４１ａが画像Ｐ１から花穂領域Ａ１を検出する。また、主軸特定工程Ｓ３では、主軸特定部４１ｂが花穂領域Ａ１から花穂主軸Ｍを推定する。さらに、円形パーツ検出工程Ｓ４では、まずはさみ検出部４１ｃ１が画像Ｐ１からはさみ領域Ａ３を検出し、次いで留め具検出部４１ｃ２がはさみ領域Ａ３から留め具６０のバウンディングボックスＢを取得する。そして、境界位置推定工程Ｓ５では、境界位置推定部４１ｄが花穂主軸Ｍ上において、画像Ｐ１（Ｐ４）上における残すべき花穂５と切断すべき花穂５の境界位置Ｘｐを推定する。最後に、出力画像生成工程Ｓ６では、出力画像生成部４２が出力画像Ｐ６を生成する。

【0061】

次に、情報処理装置２の制御部２０は、出力画像送信工程を実行する。出力画像送信工程では、出力画像Ｐ６が通信回線４を介して情報処理装置２からユーザ端末３へ送信される。その後、ユーザ端末３の制御部３０は、出力画像表示工程を実行する。出力画像表示工程では、ユーザ端末３の出力画像表示部５１に出力画像Ｐ６が表示される。

【0062】

５．推定される境界位置Ｘｐの検証
実際の食用ぶどう農園における７７房の花穂（花穂群）について、上述した房づくり支援システム１により推定した花穂領域Ａ１の長さ（式（１）参照）と定規で測定した花穂群の長さを比較したところ、平均誤差は０．１９ｃｍであった。これは、実際に使用するのに十分な精度である。そして、推定した花穂領域の長さの推定精度が高ければ、境界位置Ｘｐの推定精度も高いと考えられる。従って、上述した房づくり支援システム１により境界位置Ｘｐをユーザに提示することで、ぶどうの房づくりを好適に支援することができる。

【0063】

６．作用効果
以上のように、本実施形態の房づくり支援システム１は、情報処理装置２の境界位置推定部４１ｄが、ユーザ端末３の撮影部３３によって撮影された画像Ｐ１上における複数の花穂５（花穂群５Ｅ）のうちの残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界である境界位置Ｘｐ（図３参照）を推定し、ユーザ端末３の表示部３４に表示するよう構成されている。これにより、熟練者でなくとも、切断すべき花穂を知ることができ、ぶどうの房づくりを支援することが可能となっている。

【0064】

また、本実施形態の境界位置推定部４１ｄは、花穂の切断に必要な道具である実際のはさみの留め具の直径と画像Ｐ１上における留め具６０の大きさとを用いてキャリブレーションを行うようになっている。これにより、特別の参照物を必要とすることなく境界位置Ｘｐを推定することが可能となっている。さらに、円形の形状であるはさみの留め具を用いることにより、撮影距離やはさみの角度に依存せずに留め具の直径を得ることができ、キャリブレーションに好適に利用することが可能となっている。

【0065】

また、円形パーツ検出部４１ｃは、第１学習モデルを用いるはさみ検出部４１ｃ１と第２学習モデルを用いる留め具検出部４１ｃ２を備え、２段階で留め具６０を検出するアプローチをとっている。これにより、不要な情報を捨て、関心のある領域だけに焦点を当てることができ、円形パーツである留め具６０の検出を高速で行い、且つ、その検出精度を向上させることが可能となっている。また、このような画像処理部４１の処理の高速化に加え、情報処理装置２とユーザ端末３の間の通信回線４としてローカル５Ｇシステムを使用すれば、ユーザ端末３の撮影部３３による画像Ｐ１の撮影から表示部３４による境界位置Ｘｐ（結果）の表示までを高速で行うことができる。そして、ユーザ端末３として光学透過型ヘッドマウントディスプレイを用いることにより、作業者Ｗの視界に含まれる実際のぶどうの花穂に境界位置Ｘｐを重畳表示することで、作業者Ｗの房づくりをリアルタイムで支援することが可能となっている。

【0066】

７．変形例
なお、本発明は、以下の態様でも実施可能である。

【0067】

上記実施形態では、房づくり支援システム１が通信回線４を介して接続された情報処理装置２及びユーザ端末３を備えた構成であった。しかしながら、ユーザ端末３に情報処理装置２を組み込んで、通信回線４を介さずに処理する構成とすることも可能である。

【0068】

上記実施形態では、キャリブレーションに用いる円形パーツとしてはさみの留め具を用いていたが、画像に含ませる円形パーツとして、円形シール、指輪、円形パーツ付のブレスレット等を用いることも可能である。

【0069】

上記実施形態では、情報処理装置２がぶどうの房づくり支援のための房づくり支援システム１として用いられたが、本発明は、ぶどうの房づくり以外の用途にも用いることが可能である。例えば、本発明は、はさみを用いる必要のある果樹の選定や摘果作業における対象物の寸法を計測する場面において広く使用することができる。このような場面においても、はさみの留め具を画像上の寸法と実寸法とのキャリブレーションに用いることで、特別の参照物を必要とせず、また、撮影距離や角度に依存せず、実寸法を推定することが可能である。さらに、農作業以外の業態においても、はさみを用いる場面において本発明を用いることで、実寸法を推定することが可能である。

【符号の説明】

【0070】

１ ：支援システム
２ ：情報処理装置
３ ：ユーザ端末
４ ：通信回線
５ ：花穂
５ ：花穂群
６ ：はさみ
２０ ：制御部
２１ ：記憶部
２２ ：通信部
２３ ：操作入力部
２４ ：モニタ
２５ ：システムバス
３０ ：制御部
３１ ：記憶部
３２ ：通信部
３３ ：撮影部
３４ ：表示部
４０ ：画像取得部
４１ ：画像処理部
４１ａ ：花穂領域検出部
４１ｂ ：主軸特定部
４１ｃ ：円形パーツ検出部
４１ｃ１ ：検出部
４１ｃ２ ：留め具検出部
４１ｄ ：境界位置推定部
４２ ：出力画像生成部
５０ ：画像撮影部
５１ ：出力画像表示部
６０ ：留め具
Ａ１ ：花穂領域
Ａ２ ：凸包領域
Ａ３ ：はさみ領域
Ｂ ：バウンディングボックス
Ｇ ：房
Ｈ１ ：残すべき花穂
Ｈ２ ：切断すべき花穂
Ｌｒ ：現実の目標長さ
Ｌｐ ：画像上の目標長さ
Ｍ ：花穂主軸
Ｎ１，Ｎ２ ：交点
Ｐ１～Ｐ５ ：画像
Ｐ６ ：出力画像
Ｓ１ ：画像取得工程
Ｓ２ ：花穂領域検出工程
Ｓ３ ：主軸特定工程
Ｓ４ ：円形パーツ検出工程
Ｓ５ ：境界位置推定工程
Ｓ６ ：出力画像生成工程
Ｗ ：作業者
Ｗ１ ：範囲
Ｗ２ ：範囲
Ｘｐ ：現実の境界位置
Ｘｒ ：画像上の境界位置

【要約】      （修正有）

【課題】ぶどうの房づくりを支援するための情報処理装置及び方法、プログラム並びにシステムを提供する。
【解決手段】房づくり支援システムを構成する情報処理装置は、花穂領域検出部４１ａと、主軸特定部４１ｂと、円形パーツ検出部４１ｃと、境界位置推定部４１ｄとを制御部２０に備える。花穂領域検出部４１ａは、画像に含まれるぶどうの複数の花穂の画像上における領域である花穂領域を検出する。主軸特定部４１ｂは、花穂領域の主軸である花穂主軸を特定する。円形パーツ検出部４１ｃは、画像に含まれる円形パーツを検出する。境界位置推定部４１ｄは、円形パーツの直径の実寸法と円形パーツの画像上の大きさとを用いてキャリブレーションを行うことにより、花穂主軸上において、画像上における複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】