特許第6744898号(P6744898)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

<>
  • 特許6744898-計測装置、計測方法、プログラム 図000002
  • 特許6744898-計測装置、計測方法、プログラム 図000003
  • 特許6744898-計測装置、計測方法、プログラム 図000004
  • 特許6744898-計測装置、計測方法、プログラム 図000005
  • 特許6744898-計測装置、計測方法、プログラム 図000006
  • 特許6744898-計測装置、計測方法、プログラム 図000007
  • 特許6744898-計測装置、計測方法、プログラム 図000008
  • 特許6744898-計測装置、計測方法、プログラム 図000009
  • 特許6744898-計測装置、計測方法、プログラム 図000010
  • 特許6744898-計測装置、計測方法、プログラム 図000011
  • 特許6744898-計測装置、計測方法、プログラム 図000012
  • 特許6744898-計測装置、計測方法、プログラム 図000013
  • 特許6744898-計測装置、計測方法、プログラム 図000014
  • 特許6744898-計測装置、計測方法、プログラム 図000015
  • 特許6744898-計測装置、計測方法、プログラム 図000016
  • 特許6744898-計測装置、計測方法、プログラム 図000017
  • 特許6744898-計測装置、計測方法、プログラム 図000018
  • 特許6744898-計測装置、計測方法、プログラム 図000019
  • 特許6744898-計測装置、計測方法、プログラム 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6744898
(24)【登録日】2020年8月4日
(45)【発行日】2020年8月19日
(54)【発明の名称】計測装置、計測方法、プログラム
(51)【国際特許分類】
   G01N 21/27 20060101AFI20200806BHJP
   G06T 7/00 20170101ALI20200806BHJP
   G06M 15/00 20110101ALI20200806BHJP
   A01G 3/02 20060101ALN20200806BHJP
【FI】
   G01N21/27 A
   G06T7/00 Z
   G06M15/00
   !A01G3/02 501F
【請求項の数】27
【全頁数】40
(21)【出願番号】特願2018-193178(P2018-193178)
(22)【出願日】2018年10月12日
(65)【公開番号】特開2020-60505(P2020-60505A)
(43)【公開日】2020年4月16日
【審査請求日】2020年1月22日
【早期審査対象出願】
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】磯部 裕史
(72)【発明者】
【氏名】椛澤 秀年
(72)【発明者】
【氏名】氏家 一朗
(72)【発明者】
【氏名】増野 智経
【審査官】 小野寺 麻美子
(56)【参考文献】
【文献】 特開2016−057738(JP,A)
【文献】 特開2012−133665(JP,A)
【文献】 特開2003−143960(JP,A)
【文献】 米国特許出願公開第2015/0173297(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00 − G01N 21/01
G01N 21/17 − G01N 21/61
G01D 18/00 − G01D 21/02
G06M 7/00 − G06M 15/00
G06T 1/00 − G06T 9/40
A01G 2/00 − A01G 7/06
A01G 9/28
A01G 17/00 − A01G 17/02
A01G 17/18
A01G 20/00 − A01G 22/67
A01G 24/00 − A01G 24/60
A01D 3/08 − A01D 46/30
A01D 51/00
G01B 3/00 − G01B 3/08
G01B 3/11 − G01B 3/56
G01B 5/00 − G01B 7/34
G01B 11/00 − G01B 11/30
G01B 15/00 − G01B 21/32
JSTPlus/JST7580/JSTChina(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備え、
前記計測処理は、
前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行される
計測装置。
【請求項2】
把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備え、
前記計測処理は、
前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される
計測装置。
【請求項3】
把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備え、
前記計測対象特定部は、
前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行う
計測装置。
【請求項4】
把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備え、
前記計測対象特定部は、前記把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、
前記計測処理では、計測対象物とされたブドウの房の特徴量として粒数を計測する
計測装置。
【請求項5】
前記計測結果に基づく提示のための処理を行う提示制御部を備えた
請求項1から請求項4のいずれかに記載の計測装置。
【請求項6】
前記計測処理は、撮像された画像を用いて行われる
請求項1から請求項4のいずれかに記載の計測装置。
【請求項7】
前記計測処理は、
前記把持体による物体の把持が行われたことの検出に基づいて実行される
請求項1から請求項4のいずれかに記載の計測装置。
【請求項8】
前記計測処理は、計測対象物が移動されている期間に撮像された複数のフレームの画像を用いて行われる
請求項1から請求項4のいずれかに記載の計測装置。
【請求項9】
特徴量の目標値を設定する目標設定部を有し、
前記目標設定部は、前記計測処理で計測される特徴量と前記目標値の差分値を求める
請求項1から請求項4のいずれかに記載の計測装置。
【請求項10】
前記差分値を提示するための処理を行う提示制御部を備えた
請求項9に記載の計測装置。
【請求項11】
前記移動は回転移動である
請求項に記載の計測装置。
【請求項12】
前記把持体は、人の手、人により操作される器具、又は自動動作するロボットアームのいずれかである
請求項1から請求項4のいずれかに記載の計測装置。
【請求項13】
計測対象物とされる物体は農作物である
請求項1から請求項4のいずれかに記載の計測装置。
【請求項14】
前記計測処理に用いる画像の撮像を行う撮像部を備えた
請求項に記載の計測装置。
【請求項15】
前記計測処理に用いる画像の撮像を行う撮像部と、
前記計測結果の提示を行う提示部と、を有し、
前記撮像部と前記提示部が身体装着型ユニットに配置されている
請求項1から請求項4のいずれかに記載の計測装置。
【請求項16】
前記提示部は、ユーザの眼前に配置される表示面に情報表示が行われる表示部とされた
請求項15に記載の計測装置。
【請求項17】
前記把持体による物体の把持を検出するセンサ部が設けられた
請求項1から請求項4のいずれかに記載の計測装置。
【請求項18】
把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置が行い、
前記第2の処理は、
前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行される
計測方法。
【請求項19】
把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置が行い、
前記第2の処理は、
前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される
計測方法。
【請求項20】
把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置が行い、
前記第1の処理は、
前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行う
計測方法。
【請求項21】
把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置が行い、
前記第1の処理は、前記把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、
前記第2の処理は、計測対象物とされたブドウの房の特徴量として粒数を計測する
計測方法。
【請求項22】
把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置に実行させ、
前記第2の処理は、
前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行される
プログラム。
【請求項23】
把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置に実行させ、
前記第2の処理は、
前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される
プログラム。
【請求項24】
把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置に実行させ、
前記第1の処理は、
前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行う
プログラム。
【請求項25】
把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置に実行させ、
前記第1の処理は、前記把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、
前記第2の処理は、計測対象物とされたブドウの房の特徴量として粒数を計測する
プログラム。
【請求項26】
把持体によるブドウの房の把持の検出に基づいて計測対象となるブドウの房を特定する処理と、
前記特定されたブドウの房の粒数の計測を開始する処理と、
を情報処理装置が行う計測方法。
【請求項27】
把持体により把持されたブドウの房を特定する処理と、
前記特定されたブドウの房の回転に伴い前記特定されたブドウの房の粒数を計測する処理と
を情報処理装置が行う計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は計測装置、計測方法、プログラムに関し、特に各種の作業過程において計測対象物の特徴量の計測に用いることができる技術に関する。
【背景技術】
【0002】
物体の計測に関しては各種の技術が知られている。
例えば下記特許文献には、ベルトコンベア上に流れる米粒に対してリニアイメージセンサによる走査を行い、品位判定を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平1−312447号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば計測対象とした物体に関する数やサイズなどを計測する場合を考えると、まず計測対象物を特定することが重要である。
ところが計測対象の特定のためだけに作業者に何らかの余分な行為を課することは好ましくない。
そこで本技術は、計測装置による計測を伴う作業過程でユーザ(作業者)に余分な行為負担や操作負担を求めずに、適切に計測対象を特定できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
本技術に係る計測装置は、把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部とを備え、前記計測処理は、前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行される。
前記計測処理は、例えば把持された状態で物体に何らかの動きが加えられたことを検知して計測対象物の特徴量の計測を開始する。
把持体とは、例えば作業者の手や指、手袋や所定器具を装着した状態の作業者の手や指、人の操作により物体を把持することのできる器具、自動的に物体を把持できる器具、ロボットアームなど、物体を把持することのできるものをいう。
物体とは、ブドウ、バナナ、トマト等の農作物、樹木や動物等の自然物、工業製品など各種の物体を指し、計測対象物は、これらの物体のうちで、把持によって特定される物体の全部又は一部となる。
特徴量とは、個数、大きさ(サイズ)、色、成分含有量、成分比率、糖度、含水率、推定価格等など、数値化したり比較評価できるものを指す。
移動とは、揺らされたり、つままれて上下左右前後に移動されたり、回転されたりすることなどが想定される。
【0006】
上記した本技術に係る計測装置においては、前記計測結果に基づく提示のための処理を行う提示制御部を備えることが考えられる。
即ち提示制御部は、計測部によって計測した特徴量や、特徴量に基づく情報を、表示、音声、振動等により提示を実行させるようにするための制御を行う。例えば計測情報やそれに基づく判定情報等を提示させる処理を行う。
【0007】
上記した本技術に係る計測装置においては、前記計測処理は、撮像された画像を用いて行われることが考えられる。
例えば一体又は別体の撮像装置により物体を撮像した撮像画像を入力する。この撮像画像を用いて画像から判定できる特徴量の計測を行う。
【0008】
上記した本技術に係る計測装置においては、前記計測処理は、前記把持体による物体の把持が行われたことの検出に基づいて実行されるようにすることが考えられる。
即ち把持体による物体の把持が検出されたことにより、計測対象物の特徴量の計測を開始する。
【0010】
本技術に係る計測装置は、把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部とを備え、前記計測処理は、前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される。
前記計測処理は、例えば把持体が物体を把持した状態で、所定行為が行われることを検知して計測対象物の特徴量の計測を開始する。所定行為とは、作業者の発声や、所定音を発生させるなどの音的な行為、作業者の手や用具(ハサミ等)によるジェスチャ的な行為などが想定される。
【0011】
上記した本技術に係る計測装置においては、前記計測処理は、計測対象物が移動されている期間に撮像された複数のフレームの画像を用いて行われることが考えられる。
例えば一体又は別体の撮像装置により物体を撮像した撮像画像を入力するが、例えば動画として得られる画像の複数フレームを用いて計測を行う。
【0012】
本技術に係る計測装置は、把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部とを備え、前記計測対象特定部は、前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする。
前記計測対象特定部は、例えば把持された状態で何らかの動きが加えられた物体又は物体の一部を計測対象物とする。移動とは、つままれて上下左右前後に移動されたり、揺らされたり、回転されたりすることなどが想定される。
【0013】
上記した本技術に係る計測装置においては、特徴量の目標値を設定する目標設定部を有し、前記目標設定部は、前記計測処理で計測される特徴量と前記目標値の差分値を求めることが考えられる。
例えばユーザ設定や自動設定などにより、特徴量の目標値を設定して記憶しておき、計測値と比較できるようにする。
【0014】
上記した本技術に係る計測装置においては、前記差分値を提示するための処理を行う提示制御部を備えることが考えられる。
提示制御部により、表示や音声などの手法で、現状の特徴量と目標値の差分を提示する。
【0015】
上記した本技術に係る計測装置においては、前記移動は回転移動であることが考えられる。
例えば把持された状態で物体が回転されることを検知して計測を開始する。
【0016】
上記した本技術に係る計測装置においては、前記把持体は、人の手、人により操作される器具、又は自動動作するロボットアームのいずれかであることが考えられる。
計測対象特定部は、把持体としての人の手、器具、ロボットアームのいずれかによる把持を検出して計測対象物を特定する。人の手とは、素手、手袋等をした手を含む。器具とは人が手で操作する器具、手以外で操作する器具、手に装着して用いる器具、遠隔操作する器具など、どのような態様であれ人の意思で把持が可能なあらゆる器具を指す。ロボットアームは自動制御により把持が可能なものを指す。
【0017】
上記した本技術に係る計測装置においては、計測対象物とされる物体は農作物であることが考えられる。
即ち計測対象特定部は、農作物のうちで、把持された農作物の個体を計測対象物と特定する。ここでいう農作物とは広義の農作物で、果物、野菜、穀物、樹木、草花、キノコ類、肥料、飼料、園芸作物、工芸作物、などを含む。
【0018】
本技術に係る計測装置は、把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部とを備え、前記計測対象特定部は、前記把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、前記計測処理では、計測対象物とされたブドウの房の特徴量として粒数を計測する。
前記計測対象特定部は、枝が摘まれたブドウの房を計測対象物とし、前記計測処理ではその房の粒数の計測を行うようにする。
【0019】
上記した本技術に係る計測装置においては、前記計測処理に用いる画像の撮像を行う撮像部を備えることが考えられる。
例えば一体又は別体の撮像部を備えるようにする。
【0020】
上記した本技術に係る計測装置においては、前記計測処理に用いる画像の撮像を行う撮像部と、前記計測結果の提示を行う提示部と、を有し、前記撮像部と前記提示部が身体装着型ユニットに配置されていることが考えられる。
身体装着型ユニットとは、人の身体や衣服に装着できるユニットであり、例えばヘッドマウント型、眼鏡型、イヤホン型、リストバンド型、衣服型、クリップ型、ポケット収納型、ペンダント型などの形態が想定される。このような身体装着型ユニットに撮像部と提示部が配置される。
提示部とは、ユーザに計測結果を提示できるもので、例えば表示部、音声出力部、振動部など、ユーザの五感に対して何らかの情報提示ができるものを指す。
【0021】
上記した本技術に係る計測装置においては、前記提示部は、ユーザの眼前に配置される表示面に情報表示が行われる表示部とされることが考えられる。
例えばヘッドマウント型、眼鏡型などとされて、使用者の眼前に配置される表示部に、計測結果等の情報が表示されるようにする。
【0022】
上記した本技術に係る計測装置においては、前記把持体による物体の把持を検出するセンサ部が設けられるようにすることが考えられる。
例えば人の手、器具、ロボットアーム等の把持体による物体の把持を検出するセンサ部としては、画像、圧力、温度情報、測距情報などを検出する撮像装置、圧力センサ、サーモトレーサ、測距センサ等が想定される。
【0023】
本技術に係る計測方法は、把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理とを情報処理装置が行うものである。即ち情報処理装置によって計測対象物の適切な特定処理を実現する。
前記第1の処理は、前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行い、前記第2の処理は、前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出、または、前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される。
本技術に係るプログラムは、上記の計測対象物を特定する処理と計測結果を得る処理とを情報処理装置に実行させるプログラムである。これにより計測対象物を特定できる情報処理装置を実現する。
また本技術に係る計測方法は、把持体によるブドウの房の把持の検出に基づいて計測対象となるブドウの房を特定する第1の処理と、前記特定されたブドウの房の粒数の計測を開始する第2の処理とを情報処理装置が行う。
或いは把持体により把持されたブドウの房を特定する第1の処理と、前記特定されたブドウの房の回転に伴い前記特定されたブドウの房の粒数を計測する第2の処理とを情報処理装置が行う。
【図面の簡単な説明】
【0024】
図1】本技術の実施の形態の計測装置のブロック図である。
図2】実施の形態の計測装置の機能構成の説明図である。
図3】実施の形態の計測装置の形態例の説明図である。
図4】実施の形態の計測装置の使用状態の説明図である。
図5】実施の形態の表示状態の説明図である。
図6】第1の実施の形態の処理例のフローチャートである。
図7】実施の形態で使用できる判別パターン例の説明図である。
図8】実施の形態の計測処理のフローチャートである。
図9】第2の実施の形態の処理例のフローチャートである。
図10】第3の実施の形態の処理例のフローチャートである。
図11】第4の実施の形態の処理例のフローチャートである。
図12】第5の実施の形態の処理例のフローチャートである。
図13】第5の実施の形態の表示例の説明図である。
図14】実施の形態の摘粒支援のための表示例の説明図である。
図15】実施の形態の各種の計測装置及びシステム構成例の説明図である。
図16】実施の形態の計測端末の構成例のブロック図である。
図17】実施の形態の情報処理装置の構成例のブロック図である。
図18】実施の形態の携帯端末を用いた計測装置の態様及び表示例の説明図である。
図19】実施の形態のネットワーク通信を用いた計測システム態様の説明図である。
【発明を実施するための形態】
【0025】
以下、実施の形態を次の順序で説明する。
<1.計測装置の構成例>
<2.第1の実施の形態の処理例>
<3.第2の実施の形態の処理例>
<4.第3の実施の形態の処理例>
<5.第4の実施の形態の処理例>
<6.第5の実施の形態の処理例>
<7.装置・システム構成例>
<8.まとめ及び変形例>
【0026】
<1.計測装置の構成例>
実施の形態では、ブドウ農家において用いられる計測装置として、後述するようにブドウの房の粒数などを計測できる計測装置を例に挙げる。但しもちろんそのような用途に限られるものではない。
図1に実施の形態の計測装置1の構成例を示す。
この例における計測装置1は撮像部2、画像信号処理部3、画像解析部4、制御部5、操作部6、センサ部7、表示制御部8、表示部9、記憶部10を有する。
【0027】
撮像部2は計測対象となる物体、例えばブドウ農園において栽培中のブドウを撮像することができるものとされる。
この撮像部2は具体的には、少なくとも物体画像を得る通常の可視光カメラであったり、被写体との距離を測定する測距機能を備えたカメラが考えられる。測距機能を備えたカメラとしては、画像撮像用のイメージセンサとともに例えばSTL(Structured Light:構造化光)方式やToF(Time of Flight:光飛行時間)方式による測距手法の検出のためのイメージセンサを搭載したカメラであったり、或いはステレオカメラとして構成することが考えられる。
また計測する特徴量や用途にもよるが、撮像部2としては近赤外線カメラ、マルチスペクトルカメラ、特定波長撮像カメラなど、波長を特化して計測のための画像を撮像するイメージセンサを搭載したカメラも考えられる。
さらには撮像部2はサーモトレーサとしての温度分布画像を撮像するものとされてもよい。
【0028】
撮像部2に搭載されるイメージセンサは、例えばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子とされ、撮像部2における撮像光学系を介して入射する被写体からの光を受光し、電気信号に変換して出力する。このイメージセンサとしてはグローバルシャッタ方式やローリングシャッタ方式で駆動されるものが考えられる。
イメージセンサは、受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての画像信号を、後段の画像信号処理部3に出力する。
【0029】
画像信号処理部3は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。画像信号処理部3は、撮像部2から入力されるデジタルデータとしての画像信号に対して、各種の処理を施す。
例えば画像信号処理部3は、通常の可視光画像として画像信号を想定した場合、R(赤),G(緑),B(青)の黒レベルを所定のレベルにクランプするクランプ処理、R,G,Bの色チャンネル間の補正処理、各画素についての画像データが、R,G,B全ての色成分を有するようにするデモザイク処理、輝度(Y)信号および色(C)信号を生成(分離)する処理等を施す。
さらに画像信号処理部3は、各種の信号処理が施された画像信号に対して、必要な解像度変換処理、例えば記録用や通信出力用、或いはモニタ画像用の解像度変換を実行する場合もある。
また画像信号処理部3は、解像度変換された画像データについて、例えば記録用や通信用の圧縮処理、符号化処理等を行う場合もある。
【0030】
画像解析部4は、画像信号処理部3での所定の処理が行われた画像信号のフレームを抽出し、計測のための画像解析処理を行う。例えばパターンマッチング等の手法により被写体としての物体の種別や動作状態を判定したり、特徴量の計測のための物体の領域や属性の判定、或いはそれ基づく計測等を行う。
この画像解析部4は動画撮像中においての各フレーム(又は間欠的なフレーム)を処理対象として解析し、被写体側の状況の判定又は判定のための情報を求める処理を行う。例えば把持体や物体に関する状況を判定したり、把持などの状態を判定するための情報を算出する。さらに撮像中のフレームから特徴量の計測をおこなう場合もある。
また画像解析部4は撮像部2で撮像され記憶部10に記憶された画像データを読み出して処理対象とし、被写体となっている物体に関する解析、例えば特徴量の計測や計測のための情報算出を行うことができる。
画像解析部4で判定した情報は制御部5に供給され、計測のための一連の処理に用いられる。
なお画像解析部4はAI(artificial intelligence)エンジンとして構成され、機械学習、ディープラーニング等に基づく画像認識処理を行い、例えば物体の判定や把持体の状態等を認識できるようにしたり、特徴量の計測に関する部分の認識ができるようにしてもよい。
【0031】
制御部5は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを備えたマイクロコンピュータ(演算処理装置)により構成される。
CPUがROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この計測装置1の全体を統括的に制御する。
RAMは、CPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
【0032】
このような制御部5は、撮像部2におけるシャッタースピード、露光調整、フレームレート等の撮像動作に関する制御や、画像信号処理部3における各種信号処理のパラメータ制御、画像解析部4による解析処理の制御を行う。また制御部5は、ユーザの操作に応じた設定処理、撮像動作制御、計測処理、表示動作制御等を行う。
なお、制御部5は画像解析部4の機能を含むものであってもよい。
【0033】
操作部6は、装置筐体に設けられるキー、スイッチ、ダイヤル等の操作子、或いはタッチパネルなどが想定される。この操作部6によっては、例えば電源オン/オフ操作、各種設定操作、目標値の入力操作、プログラムの起動等がユーザによって行われることを想定している。操作部6は入力された操作に応じた信号を制御部5へ送る。
なお本実施の形態では、後述するように計測対象物(例えば計測対象としてのブドウの房の特定)の特定のための操作や、計測開始トリガとしての操作(粒数の計測開始操作)は、ユーザの直接的な操作としては行われないようにするため、この操作部6の操作によるものとはされない。但し、操作部6によってもこれらの操作が可能としてもよい。
【0034】
センサ部7は、必要に応じて設けられる各種センサを包括的に示している。例えば圧力センサ、音声センサ、位置センサ、照度センサ、接触センサ、温度センサ、測距センサ、加速度センサ、角速度センサ、気圧センサ、高度センサ、重量センサ、脈拍や体温等を検出する身体状況センサなど、各種のセンサが考えられ、採用する計測のための処理に必要なセンサが搭載されればよい。
各種センサによっては、特徴量の計測のためのセンシング、計測対象物の特定のためのセンシング、計測開始の判定のためのセンシング(例えば把持体による物体の把持の検出)などが行われる。
【0035】
なおセンサ部7を設けず、撮像部2による撮像画像のみにより計測対象物の特定や特徴量の計測が行われるようにすることもできる。
さらには、特徴量によっては撮像部2を設けず、センサ部7の検出情報により計測対象物の特定や特徴量の計測が行われるようにすることもできる。
また、センサ部7の各種センサ、或いは撮像部2によって撮像される画像から、ユーザの操作を認識することもできる。例えば音声による操作、身体動作(ジェスチャ)による操作などを検出可能であり、その場合、キー等の物理的な操作子やタッチパネル等としての操作部6を設けない例も想定される。
【0036】
表示部9はユーザ(撮像者等)に対して各種表示を行う表示部であり、例えば計測装置1に装備されるLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスを有して形成される。
表示制御部8は表示部9における表示動作を実行させる処理を行う。例えばキャラクタジェネレータや表示ドライバ等を有し、制御部5の制御に基づいて、表示部9に各種の表示を実行させる。
また表示制御部8は表示部9において、撮像部2によって撮像されている画像をモニタリング画像(いわゆるスルー画)として表示させたり、記録媒体に記録した静止画や動画を再生表示させたりするようにしてもよい。
また表示制御部8は制御部5の指示に基づいて、表示部9において各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させるようにしてもよい。
表示部9は計測装置1に備える構成の他、別体の表示デバイスが用いられて表示部9として機能するようにしてもよい。
【0037】
記憶部10は、例えば不揮発性メモリからなり、例えば撮像部2で撮像された静止画データや動画データ等の画像ファイルや、画像ファイルの属性情報、サムネイル画像等を記憶する。また記憶部10には、計測結果の情報、計測に応じた各種の付随的な情報、計測の際にセンサ部7によって得られた各種検出情報を記憶する領域としても用いられる。また記憶部10は作業の目標値などの設定情報を記憶する領域としても用いられる。
記憶部10の実際の態様は多様に考えられる。例えば記憶部10は、計測装置1に内蔵されるフラッシュメモリでもよいし、計測装置1に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また計測装置1に内蔵されている形態として記憶部10はHDD(Hard Disk Drive)などとして実現されることもある。
【0038】
本実施の形態の場合、以上のような構成を備えるとともに、制御部5にはソフトウエアプログラムにより図2に示す機能構成が実装される。
即ち制御部5は、計測対象特定部5a、計測部5b、提示制御部5c、目標設定部5dとしての機能を有するものとされる。
なお、図2では制御部5が備えるものとして示しているが、これら計測対象特定部5a、計測部5b、提示制御部5c、目標設定部5dの一部又は全部は、例えば画像解析部4が備えるようにしてもよい。実際には、計測装置1に搭載されるマイクロコンピュータ、プロセッサ等における性能、処理能力、必要な機能などは、個々の装置の設計事情等によるものであり、例えば図1の画像信号処理部3、画像解析部4、制御部5、表示制御部8等の機能を備えた演算処理装置の具体的な搭載形態は多様である。例えばこれらが1つのマイクロコンピュータで形成される場合もあれば、2つのマイクロコンピュータにより適宜振り分けられる状態で搭載される構成もある。
従って、図2に示した機能構成は、制御部5内に設けられることに限らず、少なくとも計測装置1内に設けられればよいものである。
【0039】
計測対象特定部5aは、把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う。計測対象物を特定する処理とは、例えば制御部5が画像解析部4に計測対象物としての条件(把持体による把持)を指示して計測対象物としての画素範囲を特定させる処理であったり、実際に計測対象物としての画素範囲を特定する処理などとされる。
把持体とは、例えば作業者の手や指、手袋や所定器具を装着した状態の作業者の手や指、人の操作により物体を把持することのできる器具、自動的に物体を把持できる器具、ロボットアームなど、物体を把持することのできるものをいう。
物体とは、ブドウ、バナナ、トマト等の農作物、樹木や動物等の自然物、工業製品など各種の物体を指し、計測対象物は、これらの物体のうちで、把持によって特定される物体の全部又は一部となる。
計測対象特定部5aは、実際の把持体による物体に対する把持は、画像解析部による画像解析結果や、センサ部7による検出結果により認識することができる。例えば「手がブドウの房の枝を摘んだ」というような特定の事象が画像解析部による画像解析結果として得られた場合、計測対象特定部5aは「把持体による物体の把持」として認識する。或いは、手がブドウの房の枝の近辺にある状態が画像解析部の解析結果により判定され、センサ部7の圧力センサ(作業者の指に装着した圧力センサ)により所定以上の圧力が検知されたときに、計測対象特定部5aは「手がブドウの房の枝を摘んだ」というような特定の事象が生じたと認識し、「把持体による物体の把持」と判定する。
これらの例のように、計測対象特定部5aは、画像解析部4の判定処理やセンサ部7としての何らかのセンサの検出情報に基づいて、「把持体による物体の把持」を認識する。そしてそれに応じて計測対象物を特定するものである。
【0040】
計測部5bは、計測対象特定部5aが特定した計測対象物の特徴量の計測結果を取得する処理を行う。例えば計測対象物とされたブドウの房における粒数の計測結果を取得するための必要な処理を行う。
実際の計測としてのカウント処理は画像解析部による画像解析によるものとし、計測部5bは、その計測結果を取得するものとしてもよいし、画像解析部がブドウの粒として認識した画像領域の数を計測部5bが計数するものとしてもよい。さらには計測すべき特徴量によっては、計測部5bは、センサ部7の検出情報として数量を取得するものでもよいし、検出情報に基づく計数を行って計測結果を算出するものでもよい。つまり計測部5b(制御部5)は計測処理としては、自ら計測を実行するか否かにかかわらず、少なくとも計測結果を取得するものであればよい。
従って本開示の計測部とは、少なくとも計測結果を取得するという意味で、実施の形態の計測部5bを指すものとしてもよいし、計測処理自体も行うことを含めて、計測部5bと画像解析部4を含む概念、或いは計測部5bとセンサ部7を含む概念、さらには計測部5bと画像解析部4とセンサ部7を含む概念としてもとらえることができる。
【0041】
なお計測部5bが計測結果として取得しようとする特徴量とは、ブドウの粒数のような個数に限らず、計測対象物の大きさ(サイズ)、色、成分含有量、成分比率、糖度、含水率、推定価格等など、数値化したり比較評価できるものが考えられる。
【0042】
提示制御部5cは、計測処理の結果として計測部5bが得た計測結果に基づく提示のための処理を行う。
具体的には、例えばブドウの房における粒数の情報を表示部9において表示させるように表示制御部8を制御する処理となる。或いは計測結果の数値そのものではなく、計測結果から判定された情報、例えば「適」「否」「適正数」「不足」「過大」などの判定情報、や、以降の作業のためのガイド内容を提示させるようにしてもよい。
【0043】
なお、実施の形態では表示により計測結果提示が行われる例で説明していくが、ユーザに対する計測結果としての数値や計測結果に基づく提示は、音声によって行われたり、振動によって行われるようにしてもよい。このために図1には示していないが、音声出力部や振動部等を設けるようにしてもよい。
例えば「計測結果は38個です」「適正数です」という音声メッセージを出力したり、「適」「否」であることを振動パターンの違いで提示することなどが考えられる。
【0044】
目標設定部5dは、例えばユーザの入力や選択に応じて計測される特徴量の目標値を設定する処理を行う。例えばブドウ農家としてのユーザが、ブドウの一房の粒数を35個にしようとする場合、目標値として「35」を入力することで、目標設定部5dはこの「35」を目標値として例えば記憶部10に記憶する処理を行う。計測処理の際には、現在の計測値と記憶された目標値の比較処理が行われてユーザに適切な提示が行われるようにする。
この目標設定部5dは、第5の実施の形態の処理を行う場合に設けられる機能となる。
また目標設定部5dの機能が設けられる場合、提示制御部5cは現在の計測値と記憶された目標値の比較処理の結果に基づく提示も行われるようにしている。
【0045】
以上の機能構成は制御部5が備えるものとしたが、例えば制御部5と画像解析部4が一つのマイクロコンピュータ、プロセッサ等により構成される場合もあり、その場合、そのマイクロコンピュータ等において、図2の機能構成が採られればよい。
【0046】
実施の形態の計測装置1は以上の図1図2のような構成を備えるが、以下では、このような構成の計測装置1を用いてブドウの粒数を計測する用途としての具体的な態様を説明する。
【0047】
農業従事者の減少と高齢化が進む中、若手農業従事者による収益性の高い効率的な農業経営に期待がかけられている。
特に、生食ブドウの生産においては効率を高める必要がある作業の1つとして“摘粒”と呼ばれる作業である。
一般的な生食ブドウは自然な状態で生育すると1房に50〜70個の粒がつくが、この粒数のままで生育すると小粒で糖度の低い商品価値の低いブドウになってしまう。そこで、適正な粒数に間引くことが必須であり、この作業を“摘粒”と呼んでいる。
また、ブドウの粒は花が枯れてから徐々に生育するが、数週間も経つと隣り合う粒同士がこすれ合うため、この短時間に農園内のすべての房の摘粒作業を完了しなくてはならない。そして摘粒作業は非常に短期間に行わなければならない作業のため、効率化が重要である。具体的には2週間程度の期間に、農園内の全てのブドウの房について摘粒を行わなければならず、効率化が強く求められる。
【0048】
摘粒で重要なポイントは
・形の悪い粒を除去する
・粒の密度が一定になるようにする
・粒の数を適正にする
といったことであるが、この中で最も効率化が困難なのは粒の数を適正にするということである。
なお、粒数の適正値は種類により異なる。例えば品種Aでは30〜35粒、品種Bでは40〜45粒、品種Cでは50粒などとされている。また、どのような商品価値のブドウを生産するかによっても異なり、基本的に粒数を減らすと大粒で美味で高価なブドウとなる。
【0049】
上記のように摘粒作業は非常に短時間に実施する必要があるため、作業者は各房の粒の数を毎回数えるということはできない。
これまで農家において行われていた摘粒作業は、ある作業者によると、
1.作業開始の早朝、1房のみ粒の数を数え適正値になるように摘粒する。
2.その房をじっくり観察し頭の中に摘粒完成状態のイメージを作る。
3.そのイメージになるようにひたすら摘粒作業を繰り返す。
というやり方であった。
しかし、体調、時間(日が陰る夕方は見えにくい)等の理由により粒の数を適正にすることが困難であった。
【0050】
このような事情から、ブドウの房の粒数を計測する計測装置が求められている。
この場合に、例えばスマートフォンのカメラで撮影した画像に基づき、粒の数を計数して表示するアプリケーションが考えられる。
例えば作業者がスマートフォンのシャッターボタンを押し、房の写真を撮影する。スマートフォンにおいて機能するアプリケーションは、その画像を解析して粒の数を計測し、表示する。これにより作業者は粒数を知ることができる。
【0051】
しかしながら摘粒作業中にスマートフォンで撮影する操作を行うこと(例えば画面上の撮影ボタンを押すという行為)は、摘粒作業に馴染まない動作であり、作業者に操作負担を与えることになる。この点で摘粒作業の効率化が進みにくい。
また、スマートフォンに限らず、カメラで撮像して粒数を計測するという態様の場合、必ずしも計測目的の房だけでなく、他の房も撮像画像内に表れる。特に農園であれば、房が密集している。このため、特定の房のみを指定して計測させるためには、作業者の撮影のコツが生じたり、或いは他の房が映り込んで計数が不正確になるということもある。
また撮影により一方向から撮影した場合に、裏側の粒数は画像からは不明なため、例えば画像に表れる表側の粒数に係数を掛けて全体の推定粒数を算出するが、この場合も係数によって誤差が大きく正確性に問題が生ずる場合もある。
【0052】
これらのことから本実施の形態では、まず計測対象物の特定が明確に行われるようにすることで、計測の精度を高める。
さらには適切なタイミングで計測を行って計測結果を得るようにするが、このために作業者に操作負担をかけないようにする。
【0053】
このような考え方に適した計測装置1の一形態としては、例えば図3のようなグラスユニット11を有する形態が考えられる。
図3の例では計測装置1は、グラスユニット11とコントロールユニット15がコード14で連結されている形態とされている。
グラスユニット11は眼鏡型とされ、図4のように摘粒作業中に作業者がサングラスのように装着できるものとされる。
コントロールユニット15は、小型の筐体を持ち、作業者が衣服のポケットなどに収納されるようなものとされる。
【0054】
グラスユニット11には作業者の前方を撮影できるようにカメラ12が搭載される。
また眼鏡型のグラスユニット11の前面はオングラス表示部13とされる。オングラス表示部13は例えば通常は透明又は半透明の液晶パネルなどとされ、ユーザには単にガラスとして見えて前方を確認できるが、そのグラス上に必要な表示を行うことができるものである。
例えば図5では、ユーザが図4のようにグラスユニット11を装着している状態でオングラス表示部13上での表示の様子を示している。
ユーザはオングラス表示部13としての透明板を介してブドウ22,23,24が見えている状態で、例えば図示の「粒数 45」のような粒数表示25が行われ、これによって計測された粒数を確認できる。
なお、オングラス表示部13は透明又は半透明の状態ではなく、カメラ12の撮像画像をそのままスルー画として表示させるものでもよい。
コントロールユニット15には操作ボタン15aが設けられており、例えば電源オン/オフ操作などが可能とされる。
なお、以上のカメラ12、オングラス表示部13、操作ボタン15aは、それぞれ図1の撮像部2、表示部9、操作部6の一態様である。
【0055】
このようなグラスユニット11とコントロールユニット15において、例えば図1の構成の各部が搭載されることで、計測装置1として機能する。
上記例では、撮像部2としてのカメラ12、表示部9の一例としてのオングラス表示部13がグラスユニット11に搭載され、操作部6の一例としての操作ボタン15aがコントロールユニット15に搭載された例としているが、図1に示した各部は、グラスユニット11とコントロールユニット15のいずれに搭載されてもよい。
また、グラスユニット11内に図1の全ての構成が配備され、コントロールユニット15が設けられないような形態も考えられる。
なお、計測装置1の形態は、図3のグラスユニット11とコントロールユニット15による形態に限定されるものではなく、他の形態も後述するが、以下では図3の形態を例にして説明していく。
【0056】
<2.第1の実施の形態の処理例>
以上の計測装置1をブドウの摘粒作業の際に使用することに好適な第1の実施の形態としての処理例を図6で説明する。図6は制御部5が図2の計測対象特定部5a、計測部5b、提示制御部5cの機能により実行する処理例となる。
【0057】
計測装置1の制御部5は電源オンとされた状態で図6の処理を実行する。
ステップS101で制御部5は待機中処理を行う。
待機中処理とは、撮像部2による撮像を行い、画像解析部4による撮像画像の解析結果やセンサ部7による検出結果、操作部6による操作を監視する処理となる。
より具体的には、制御部5は操作部6による計測の終了を意味する操作が行われたか否かを監視する。計測の終了を意味する操作とは、例えば計測を停止して各種の設定を行うための操作、他のモードに移行する操作、電源オフ操作などである。このような操作を検知した場合は、制御部5はステップS102から当該図6の処理を終え、他の必要な処理に移行する。
【0058】
また制御部5は待機中処理としては、撮像部2による画角内に作業者の手が入ったか否かの検知も行っている。画角内に手が入るということは、撮像部2で撮像された撮像画像に作業者の手が写されている状態ということである。
手の判別手法としては、
・画像解析により肌色を判別することで画角内の手の存在を判定する
・サーモトレーサで捉えた画像を用いて温度で人の手を判別する
・イメージセンサで捉えた画像を用いて機械学習やディープラーニングで実現した人の手の判別手法を用いて判別する
・TOFセンサ、ステレオカメラで捉えた画像を用いて機械学習やディープラーニングで実現した人の手の判別手法を用いて判別する
・特定の色、模様の手袋を作業者が身につけた手袋を判別する手法を用いて判別する
といった方法がある。
上記の作業者が身につけた手袋を判別する手法としては例えば、図7のようなチェック状の柄の手袋を作業者が身につけるようにし、この模様を画像認識で判別するような処理が考えられる。また手袋の色を農園内に無い色(たとえば紫色)などとして、画像内の色判定により画角内に手が入ったことを判別するようにしてもよい。
【0059】
撮像部2の画角内、つまり撮像画像内に手が入ったことを検出したら、制御部5は計測実行のタイミングを監視する。即ち制御部5はステップS104で、その手がブドウの房の枝を把持し、さらに把持した状態で房を回転させることを監視する。
【0060】
手が枝を掴んだことの判別手段としては次のような例が考えられる。
・作業者の指先もしくは手袋に圧力センサを設置し、圧力の変化で枝を掴んだことを判別する。
・サーモトレーサで指の血流変化による温度変化をとらえる。つまり枝をつかむことで血流が変わることを利用して検出する。
・撮像画像から判別する。例えば機械学習で実現した手が枝を掴むという状態の判別アルゴリズムを用いて判別する。
【0061】
また、房を回転させる動作の判別手法としては、撮像画像に対する解析処理でブドウの粒を認識し、撮像画像のフレームの進行に応じて粒の位置が移動することで、房が回転されたと判定することが考えられる。
【0062】
制御部5は、撮像画像内に手が入った作業者の手が、一旦、ブドウの房の枝を把持したとしても、回転させずに離してしまったことを検出した場合、或いはさらに画角からも出てしまったことを検出した場合は、ステップS105からS101に戻る。
【0063】
画角内に入った手によって、房の枝を摘んで回転させることが検出されたら、制御部5はこれを発端として自動的に粒数の計測を開始する。即ち制御部5はステップS104からS106に進み、摘んだ枝の先の房の粒数計測処理を実行する。
粒数の計測としては、房の回転により房の複数の方向からの撮像画像を取得し、房の裏側に存在する粒の数も含めて立体的に存在する粒の数を計測するようにする。
【0064】
ステップS106の粒数計測処理を図8に詳しく示す。
図8のステップS120として制御部5は撮像画像必要数(N個)のフレームを指定する。例えば作業者が房の枝を摘んで回転させている期間における所要数のフレームを、計測に用いるフレームとする。
なお、ブドウの粒数の観測のために、作業者はブドウの房を120度から150度位回すことができる。通常、その程度の角度を回しても枝は切れないためである。
そして120度から150度くらいの回したときのフレーム画像には、だいたい、最初に裏側であった粒も表れている。そこで、作業者が120度から150度くらい回す期間における複数フレームを抽出し、そこから粒数の計測を行うようにする。
ここで、作業者がブドウの房を回すスピードは、1秒で360度であると仮定する。この程度の速度を想定した場合、例えばフレームレートは120fps程度で撮像するのが適切となる。制御部5は、このようなフレームレートで得られた撮像画像のフレームの内で、所要数(N個)のフレーム画像データを処理対象として指定する。
N個のフレームは、フレームレートと回転速度にもよるが、連続したフレームでもよいし、間欠的に抽出されるフレームでもよい。これらは実際の回転期間によって可変してもよい。
【0065】
制御部5はステップS121で変数nをn=1にセットし、ステップS122に進む。ステップS122では指定されたうちの第nのフレームについて、計測対象物を特定する。まずは変数n=1であるため、処理対象として指定されたN個のフレームの内の第1のフレームについて計測対象物を特定する処理を行う。例えば画像解析部4に対して、作業者の手によって枝が摘まれているブドウの房を計測対象物として特定するように指示する。
つまり画像解析部4によって認識される、作業者の手によって枝が摘まれているブドウの房が計測対象物として特定されるようにする。具体的には画像内で、作業者の手の下方に位置する房としての領域(画素領域)を、画像解析、輝度エッジ検出、色判定などにより判定する。これにより処理対象としたフレームの画像内において計測対象物であるブドウの房の画素範囲を特定する。
【0066】
ステップS123で制御部5(又は画像解析部4)はフレーム内でのブドウの粒数の計測を行い、制御部5は計測結果を得る。
即ち計測対象物として特定した画素範囲内で、粒の画像を判定し、その数を計測する。
【0067】
1つのフレームにおいて粒数の計測を行ったら、制御部5はステップS124で変数nが指定したフレーム数Nに達しているか否かを確認し、達していなければステップS125で変数nをインクリメントしてステップS122に戻る。
従って、処理対象として選択したN個のフレームについて、順次、画像内での計測対象物としての画素範囲の特定と、その画素範囲での粒数の計測が行われていくことになる。
【0068】
なお、このような処理は、ブドウの房が作業者によって回転されている期間に撮像された複数フレームの画像を対象とするものとなる。
この際に、画像内での粒の移動量から房の回転角を把握し、最初に計測した粒が回転により別の場所に移動しても、この粒を再カウントすることがないようにすることで、正確に粒数を把握することが可能となる。
また或るフレームにおいて、例えば最初に計数した第1のフレームからの回転角度から、第1のフレームにおいてカウントした粒が、1周回って表れた場合も、それをカウントしないようにすることで、粒数の計数を正確化する。
これにより、一方向(1フレーム)からでは見えないブドウの粒も正確に認識するとともに、重複カウントが起こらないように計測することができる。
【0069】
また、掴んだ枝の先の房の粒の計測手法としては次のような例が考えられる。
・TOFで手の位置を計測し、それと同じ奥行にある粒の数を計測する
・ステレオカメラもしくはデフォーカスの手法で奥行を計測し、それにより各粒を認識して粒の数を計測する
・水が吸収する波長としない波長の複数のIR(infrared)光を用いて粒を検出して計数する。なおIR以外に可視光その他の波長を用いてもよい。ブドウの粒には枝より水が多く含まれており、水分含有率の違いから赤外光の特定波長だけ粒に対応してピークが立つ。従って水分量の多い粒の部分を検出することができ、これにより粒数の計数が可能となる。
【0070】
図8の処理では、各フレームについて粒数計測を終えることで、ステップS124で変数nが指定したフレーム数Nに達し、制御部5の処理はステップS126に進む。制御部5はステップS126で、各フレームから計数した粒数を合計して、一房全体での粒数を算出する。つまり作業者が摘むことで特定された計測対象物としての特定のブドウの房における粒数の計測結果が得られる。
【0071】
図6のステップS106として以上の図8の処理が行われ、粒数の計測が完了したら、制御部5はステップS107からステップS108に進み、粒数提示を行う。例えば制御部5は、表示制御部8に指示して表示部9(例えばオングラス表示部13)において図5のように粒数表示25を実行させる。
この場合制御部5は、粒数だけでなく、計測から得られる所定の判定結果等を生成し、表示させるようにしてもよい。
また計測結果は表示により提示するだけでなく音声や振動などによって提示してもよい。
このような提示のための処理を行ったら、制御部5はステップS101の待機中処理に戻る。
【0072】
以上のような処理により、作業者が手で枝を把持することで計測対象が特定され、また房を回転させることで計測が実行される。
把持した枝により計測対象物として特定することで、例えば図5のように複数のブドウ22,23,24が画角内に存在しても、摘んでいる枝22Aの下方となっているブドウ22の房22Bのみが計測対象物として特定される。これにより画角内のブドウの映り込みにかかわらず、それぞれのブドウについて正確な計測ができることになる。
また、例えば撮像のためにシャッターボタンを押すなどの余分な操作の必要がないため、摘粒作業の妨げにならない。
また複数のフレームの画像情報と房の回転角の情報から最初に計測した粒の再計測を防止することで正確な粒数を計測できる。
【0073】
<3.第2の実施の形態の処理例>
図9により第2の実施の形態の処理例を説明する。図9は制御部5が図2の計測対象特定部5a、計測部5b、提示制御部5cの機能により実行する処理例となる。なお以降、既説明の処理と同一の処理は同一のステップ番号を付し、重複説明を避ける。
【0074】
制御部5はステップS101で待機中処理を行い、ステップS102で処理終了を監視し、ステップS103で画角内に作業者の手が入ったか否かを監視している。
この例では、画角内に手が入ったことを検出したら制御部5はステップS150に進み、手が枝を摘んだか否かを判定する。
【0075】
そして画角内に表れている手が枝を摘むに至っていないときはステップS101に戻るが、手が枝を摘む(把持する)ことを検知したら、制御部5は、それを計測開始のトリガとして、ステップS106に進み、粒数計測処理を開始する。この処理は例えば上記図8のように行う。この場合、作業者がブドウの房を回転させることで、複数フレームの画像から精度よく粒数を計測できる。
粒数計測処理が完了したら、制御部5はステップS107からS108に進み、計測結果としての粒数等の提示制御を行う。
【0076】
以上のように図9の処理は、手が枝を摘んだことを判別して計測を開始するようにした例である。
なお、この例では手が枝を摘んだことを検出して計測を開始するが、作業者が房を回さないことも有り得る。そこで、所定時間以上、房の回転が検出されなかった場合は、計測をエラー終了させることも考えられる。
或いは、房を回転させるかさせないかに関わらず計測を行うようにしてもよい。例えば回転させたことを検出した場合は、上記図8の処理で、ブドウの房を異なる方向から見た複数フレームの画像を用いて粒数を計測する。一方、回転させなかった場合は、各フレームの画像はほぼ同じ画像となる。そこで1フレームの画像(一方向から見た画像)からブドウの粒数を計測し、後述する第4の実施の形態のように係数を掛けて、裏側(画像に表れていない)粒数の推定値を得、それらから房全体の粒数を算出するようにする。
【0077】
また、計測対象物を回転させるか否かにかかわらずに精度のよい計測ができる物体や特徴量も有り得る。そのような場合、物体を把持することを契機として計測を開始し、例えば一方向からの画像、或いはセンシング情報により、適切に計測対象物を特定して特徴量の計測を行うことができる。
【0078】
<4.第3の実施の形態の処理例>
図10により第3の実施の形態の処理例を説明する。図10の処理も制御部5が図2の計測対象特定部5a、計測部5b、提示制御部5cの機能により実行する処理例となり、図9と異なるのは、ステップS150で手が枝を摘んだことを検出した状態で、ステップS151,S152の処理を行う点である。
【0079】
制御部5はステップS150で手が枝を摘んだと判定した場合、直ぐに計測開始とは判断せずに、ステップS151で計測開始のトリガが検知されたか否かの監視と、ステップS152で手が離れたか否かの監視を行う。
制御部5は計測開始のトリガについては、画像解析部4による画像からの判定結果や、センサ部7による検出情報に基づいて検知する。
【0080】
制御部5は、作業者の手が、一旦ブドウの房の枝を把持したとしても、トリガが検知されないまま離してしまったことを検出した場合、或いはさらに画角からも出てしまったことを検出した場合は、ステップS152からS101に戻る。
【0081】
また制御部5は、作業者の手が房の枝をつかんだ状態で、所定のトリガを検知した場合は、ステップS151からS106に進み、粒数計測処理を開始する。この処理は例えば上記図8のように行う。この場合、作業者がブドウの房を回転させることで、複数フレームの画像から精度よく粒数を計測できる。
粒数計測処理が完了したら、制御部5はステップS107からS108に進み、計測結果としての粒数等の提示制御を行う。
【0082】
以上のようにこの例は、作業者が手で枝を把持した状態で、トリガとなる所定行為が行われることを検知して計測対象物の特徴量の計測を開始するものである。トリガとなる所定行為とは、作業者の発声や、所定音を発生させるなどの音的な行為、作業者の手や用具(ハサミ等)によるジェスチャ的な行為などが想定される
例えば具体的には次のような例がある。
・手で枝を摘んだ状態で発声する
・手で枝を摘んだ状態で所定の言葉を発声する。
・手で枝を摘んだ状態で所定の音を発声させる(木を叩く音、摘粒用のハサミをならす音など)。
・手で枝を摘んだ状態で撮像画像により認識できる所定のジェスチャを行う(他方の手を画角に入れる、ハサミを画角に入れるなど)。
・手で枝を摘んだ状態でセンサ部7により検出できる所定のジェスチャを行う(足で地面を叩く、他方の手を振る(振動や圧力により検出)など)。
【0083】
なお、作業者がブドウの房を回転させるかさせないかによっては、第2の実施の形態と同様の処理が考えられる。
【0084】
<5.第4の実施の形態の処理例>
ブドウの粒は枝の周囲に立体的に配置されており、1方向からの撮影像だけでは正確な数を把握できないため、第1の実施の形態では、ブドウの房を回転させたときの複数フレームの画像から計測を行うものとした。
但し、1方向からの撮像により計測を行う場合もある。その場合、1方向の画像から計測した粒数とあらかじめ決めておいた係数値の積を算出することにより房の粒数を推定計測することが考えられる。このような例を第4の実施の形態として図11に処理例を示す。
【0085】
制御部5は図11のステップS101で待機中処理を行い、ステップS102で処理終了を監視し、ステップS103で画角内に作業者の手が入ったか否かを監視している。
さらに画角内に手が入ったことを検出したら制御部5はステップS150に進み、手が枝を摘んだか否かを判定する。
【0086】
そして画角内に表れている手が枝を摘むに至っていないときはステップS101に戻るが、手が枝を摘む(把持する)ことを検知したら、制御部5は、それを計測開始のトリガとして、ステップS170以降の粒数計測処理を実行する。
【0087】
ステップS170で制御部5は撮像された或るフレームの画像を指定し、ステップS171で当該画像において計測対象物を特定する処理を行う。例えば画像解析部4に対して、作業者の手によって枝が摘まれているブドウの房を計測対象物として特定するように指示する。画像解析部4は、当該1フレームの画像内で、作業者の手の下方に位置する房としての領域(画素領域)を、画像解析、輝度エッジ検出、色判定などにより判定し、計測対象物であるブドウの房の画素範囲を特定する。
【0088】
ステップS172で制御部5(又は画像解析部4)は計測対象とした画素範囲内でブドウの粒数の計測を行い、制御部5は計測結果を得る。
即ち計測対象物として特定した画素範囲内で、粒の画像を判定し、その数を計測する。
ステップS173で制御部5は、取得した計測結果に対して予め設定しておいた係数を乗算する。画像から計測された粒数は、撮像時に撮像部2の被写体として表れる表側の粒の数である。これに対して、係数は例えば裏側であって撮像画像に写っていない粒数を推定するための係数とする。従って計測した粒数に係数を乗算することで、裏側の粒数が推定される。
ステップS174で制御部は、計測した表側の粒数と、係数乗算で推定した裏側の粒数から、房の全体の粒数を算出する。これにより、計測対象物としたブドウの房の計測結果が得られることになる。
そしてステップS175で制御部5は、粒数提示処理を行う。例えば制御部5は、表示制御部8に指示して表示部9(例えばオングラス表示部13)において図5のように粒数表示25を実行させる。
【0089】
このようにすることで、作業者がブドウの房を回転させない場合でも、ある程度精度のよい粒数計測が可能となる。
但し裏面側の粒数は推定値となり、係数によっては誤差が大きくなる。そこで係数を品種、時期、場所、気候条件などにより最適なものが選択されるようにすることが考えられる。
【0090】
<6.第5の実施の形態の処理例>
第5の実施の形態は、粒数の目標値を設定する機能を有し、目標値との差分情報や目標値に到達したことを作業者に伝えたりする機能を備えるようにするものである。図12は第5の実施の形態の処理例を示す。この図12は制御部5が図2の計測対象特定部5a、計測部5b、提示制御部5c、及び目標設定部5dの機能により実行する処理例となる。
【0091】
ステップS100で制御部5は粒数の目標値を設定する。例えば作業者による目標とする粒数の入力操作に基づいて目標値を決定し、それを記憶部10に記憶する。例えば「35粒」などとしての目標値を設定する。
【0092】
制御部5はステップS101で待機中処理を行い、ステップS102で処理終了を監視し、ステップS103で画角内に作業者の手が入ったか否かを監視している。
画角内に手が入ったことを検出したら制御部5はステップS150に進み、手が枝を摘んだか否かを判定する。
【0093】
そして画角内に表れている手が枝を摘むに至っていないときはステップS101に戻るが、手が枝を摘む(把持する)ことを検知したら、制御部5は、それを計測開始のトリガとして、ステップS106に進み、粒数計測処理を開始する。この処理は例えば上記図8のように行う。この場合も、作業者がブドウの房を回転させることで、複数フレームの画像から精度よく粒数を計測できるが、作業者が回転させるかさせないかにより計測アルゴリズムを切り換えてもよい。例えば回転させるか否かにより、複数フレームを用いる計測アルゴリズムと、1フレーム及び裏側粒数推定のための係数を用いるアルゴリズムを切り換えるなどである。
【0094】
なお計測中には、例えば図13Aのように表示を行うことも考えられる。
例えば、粒数表示25としては、まだ計測中であるため数値は非表示とする。
目標表示26として、設定されている目標値(例えば「35」)を表示する。
ステータス表示27として、「計測中」と表示する。
このように表示を行うことで作業者が目標値を明確に認識できる。
【0095】
粒数計測処理が完了したら、制御部5はステップS107からS180に進む。
ステップS180で制御部5は、粒数計測処理によって得られた粒数と、記憶した目標値を比較し、その差が6個以上であるか否かを判定する。
【0096】
差が6個以上であれば、制御部5はステップS181に進み、作業者に粒数等を提示する処理を行う。例えば制御部5は粒数、目標値、ステータス、状況等の情報を生成して表示制御部8に送信し、表示部9に表示させる。
例えば図13Bに表示部9の表示例を示す。粒数表示25として計測値(例えば「45」)を表示する。目標表示26として、設定されている目標値(例えば「35」)を表示する。ステータス表示27として「計測完了」と表示する。状況表示28として現在の状況を表示する。この場合、まだ粒数が多い状態であるため「多い」と表示する。
このように表示を行うことで作業者が現在の粒数と目標値と状況を明確に認識できる。
【0097】
そして制御部5はステップS106に戻り、再び粒数計測処理を行う。即ち作業者が摘粒作業を開始した後、繰り返し粒数計測処理が実行されることになる。
【0098】
粒数計測が完了する毎に、ステップS180以降の処理が行われる。
そしてステップS180で目標値との差分が6個以上ではない(つまり5個以下)とされた場合は、制御部5はステップS182に進み、差分が5個である場合はステップS184に進む。
この場合、制御部5は表示制御部8に指示して、作業者に対しての表示として、目標まで後5個である旨の表示を実行させる。例えば図13Cのような内容の表示を実行させる(なお図13C図13Dでは計測に基づく提示内容部分のみを示している)。
即ち粒数表示25として計測値「40」を表示させ、目標表示26として目標値「35」を表示させ、ステータス表示27として「計測完了」と表示させる。そして状況表示28として「あと5個」というような表示を実行させる。
制御部8の処理はステップS106に戻って、粒数計測処理を繰り返す。
【0099】
このように、目標に近づいたある時点で、残り数を表示することで、作業者に対して好適なガイドを実現できる。
なお、ここでは、目標までの残りが5個というタイミングで表示を行うようにしているが、もちろんタイミングは多様であり、残りが3個というタイミングで「あと3個」などと表示するようにしてもよい。
【0100】
図の例の場合、差分が4個、3個、2個、1個となった各場合は、ステップS182,S183の判定に該当しないため、特に通知を行わずにステップS106に戻る。
ただし、このようにステップS180で差分が5個以下と判定された場合は、差分が何個であっても残り数を表示していくことで、例えばカウントダウン表示のように残り数が変化していくようにしてもよい。
【0101】
計測を完了して差分を求めたときに差分が0個、即ち粒数が目標値に達した時点では、制御部5の処理はステップS183からS185に進み、制御部5は目標到達を通知するように表示制御部8を制御する。例えば表示部9において図13Dのように、粒数表示25として計測値「35」、目標表示26として目標値「35」、ステータス表示27として「計測完了」、状況表示28として「目標数到達」というような表示を実行させる。
そしてこれにより、この房への摘粒作業が終わることになるため、制御部8の処理はステップS101の待機中処理に戻るようにする。
【0102】
以上の図12の処理により、作業者は目標の粒数までの摘粒を正確に実行できるようになる。これにより熟練者でなくても、或いは体調によらずに適切な摘粒作業ができる。
【0103】
ところで、この例のように摘粒作業中に継続して計測処理を行うことで、残り数に応じた摘粒する箇所のガイドを行うことも考えられる。
例えば差分値を把握しつつ、現状の画像の解析により、ある程度均等な密度となるように、間引きする粒をガイドすることが考えられる。
図14はガイドのための摘粒箇所表示30として、摘粒する粒を指定している例である。 例えば粒が密集しているところを優先的に摘粒させるように選択するアルゴリズムを設け、残りの摘粒数と粒の密度によって、間引きすべき粒が選択され、選択された粒が摘粒箇所表示30により提示される。
このように切り落とす粒を示すことで、不慣れな作業者でも、摘粒後に、ある程度均等な密度で粒がついている状態とすることができる。
【0104】
<7.装置・システム構成例>
ここまでは、図1図2の構成例に従って実施の形態を説明してきたが、計測装置1としての装置やシステムの構成例は多様に考えられる。以下例示する。
【0105】
図15Aは、グラスユニット11Aと情報処理装置50により計測システムを構成した例である。情報処理装置50としてはスマートフォン、タブレットなどの携帯端末を想定している。
図15Bもグラスユニット11Aと情報処理装置50により計測システムを構成した例であるが、情報処理装置50としてノート型やデスクトップ型のパーソナルコンピュータを想定している。
例えばこの図15A図15Bの構成の場合、画像の撮像動作、計測対象物の特定処理、計測処理、計測結果やその他の情報の提示動作については、次のような動作態様(M1)から(M10)が考えられる。
なお各場合においてセンサ部7としての各種センサは、グラスユニット11A側、情報処理装置50側のいずれにも搭載される場合もある。センサの種類によって搭載場所が分かれることもある。各種センサの検出情報は、計測対象物の特定の処理や計測処理を行う装置側で取得(検出又は検出情報の受信)されるようにすればよい。
【0106】
(M1)
グラスユニット11Aで画像撮像を行い、画像を情報処理装置50に送信する。
情報処理装置50で計測対象物の特定や計測処理を行い、さらに計測結果等の提示を行う。
(M2)
グラスユニット11Aで画像撮像を行い、画像を情報処理装置50に送信する。
情報処理装置50で計測対象物の特定や計測処理を行い、計測結果等の情報をグラスユニット11Aに送信する。
グラスユニット11A側で計測結果等の提示を行う。
(M3)
グラスユニット11Aで画像撮像を行い、計測対象物の特定や計測処理を行う。そして計測結果等の情報を情報処理装置50に送信する。
情報処理装置50で計測結果等の提示を行う。
(M4)
グラスユニット11Aで画像撮像を行い、計測対象物の特定を行い、撮像画像と、特定した計測対象物を示す情報を情報処理装置50に送信する。
情報処理装置50で計測処理を行い、さらに計測結果等の提示を行う。
(M5)
グラスユニット11Aで画像撮像を行い、計測対象物の特定を行い、撮像画像と、特定した計測対象物を示す情報を情報処理装置50に送信する。
情報処理装置50で計測処理を行い、計測結果をグラスユニット11Aに送信する。
グラスユニット11A側で計測結果等の提示を行う。
【0107】
(M6)
情報処理装置50で画像撮像を行い、画像をグラスユニット11Aに送信する。
グラスユニット11Aで計測対象物の特定や計測処理を行い、さらに計測結果等の提示を行う。
(M7)
情報処理装置50で画像撮像を行い、画像をグラスユニット11Aに送信する。
グラスユニット11Aで計測対象物の特定や計測処理を行い、計測結果等の情報を情報処理装置50に送信する。
情報処理装置50側で計測結果等の提示を行う。
(M8)
情報処理装置50で画像撮像を行い、計測対象物の特定や計測処理を行い、計測結果等の情報をグラスユニット11Aに送信する。
グラスユニット11A側で計測結果等の提示を行う。
(M9)
情報処理装置50で画像撮像を行い、計測対象物の特定を行い、撮像画像と、特定した計測対象物を示す情報をグラスユニット11Aに送信する。
グラスユニット11Aで計測処理を行い、さらに計測結果等の提示を行う。
(M10)
情報処理装置50で画像撮像を行い、計測対象物の特定を行い、撮像画像と、特定した計測対象物を示す情報をグラスユニット11Aに送信する。
グラスユニット11Aで計測処理を行い、計測結果等を情報処理装置50に送信する。
情報処理装置50側で計測結果等の提示を行う。
【0108】
以上、例を挙げたが、このようにグラスユニット11Aのようなユーザ装着型のデバイスと情報処理装置50を組み合わせることで可能な動作例は多様に考えられる。
もちろん以上は一例である。例えばセンサ部7としての情報の取得や処理での扱い、操作部6の形態などを考えれば更に多様な例が考えられる。
【0109】
例えば上記の各態様を想定する場合、グラスユニット11Aと情報処理装置50で計測システムを構成し、グラスユニット11Aは計測端末として機能するが、上記(M1)の動作態様を想定すると、その計測端末1Aとしての構成例は図16のように考えられる。
【0110】
計測端末1Aは撮像部2、画像信号処理部3、制御部5、操作部6、センサ部7、記憶部10、通信部16を有する。
即ち図1の構成における画像解析部4、表示制御部8、表示部9を備えず、通信部16を備える。
【0111】
撮像部2、画像信号処理部3、制御部5、操作部6、センサ部7、記憶部10については図1で説明したものと同様である。但し、上記(M1)の態様を想定する場合、制御部5は、図2のような機能構成を備えなくてもよい。
【0112】
通信部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。上記(M1)から(M10)の態様の場合、通信部16は情報処理装置50と通信を行うために設けられる。例えばブルートゥース(登録商標)等の近距離無線通信部などとされる例が考えられる。
なお通信部16は、ネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
【0113】
(M1)の動作態様の場合、グラスユニット11Aは図16の構成でよい。
(M2)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が提示制御部5cの機能を持ち、図1の表示制御部8、表示部9が加えられればよい。
(M3)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測対象特定部5a、計測部5bの機能を持ち、また画像解析部4を備えればよい。
(M4)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測対象特定部5aの機能を持ち、また画像解析部4を備えればよい。
(M5)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測対象特定部5a、提示制御部5cの機能を持ち、また画像解析部4、表示制御部8、表示部9を備えればよい。
【0114】
(M6)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測対象特定部5a、計測部5bの機能を持ち、また画像解析部4、表示制御部8、表示部9が加えられればよい。撮像部2、画像信号処理部3は不要となる。
(M7)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測対象特定部5a、計測部5bの機能を持ち、また画像解析部4が加えられればよい。撮像部2、画像信号処理部3は不要となる。
(M8)の動作態様の場合、グラスユニット11Aは図16の構成に表示制御部8、表示部9が加えられればよい。撮像部2、画像信号処理部3は不要となる。
(M9)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測部5bの機能を持ち、また画像解析部4、表示制御部8、表示部9を備えればよい。
(M10)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測部5bの機能を持ち、また画像解析部4を備えればよい。
【0115】
一方、情報処理装置50のハードウエア構成としては、例えば図17のようなコンピュータ装置としての構成により実現できる。
図17において、CPU171は、ROM172に記憶されているプログラム、または記憶部178からRAM173にロードされたプログラムに従って各種の処理を実行する。RAM173にはまた、CPU171が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU171、ROM172、およびRAM173は、バス174を介して相互に接続されている。このバス174にはまた、入出力インタフェース175も接続されている。
【0116】
入出力インタフェース175には、キーボード、マウス、タッチパネルなどよりなる入力部176、LCD或いは有機ELパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部177、ハードディスクなどより構成される記憶部178、モデムなどより構成される通信部179が接続されている。
【0117】
通信部179は、インターネット等のネットワークを介しての通信処理を行ったり、周辺装置との有線/無線通信、バス通信などによる通信を行う。
また通信部179は、上記(M1)から(M10)の態様の場合、グラスユニット11Aと通信を行うために設けられるものとなり、その場合、例えばブルートゥース等の近距離無線通信部などとされる例が考えられる。
【0118】
入出力インタフェース175にはまた、必要に応じてドライブ180が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア181が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部178にインストールされる。
【0119】
入出力インタフェース175にはまた、センサ部184が接続されることがある。センサ部184は図1のセンサ部7と同様に各種のセンサが考えられる。
【0120】
上記(M6)から(M10)の態様の場合、情報処理装置50は撮像を行うために、撮像部182,画像信号処理部183を備え、画像信号処理部183は入出力インタフェース175に接続される。これにより撮像画像に対してCPU171が各種解析処理等を行うことができるようにされる。撮像部182,画像信号処理部183は図1の撮像部2、画像信号処理部3と同様の部位である。
なお撮像部182,画像信号処理部183は上記(M6)から(M10)の態様の場合は不要である。つまり搭載されなくてもよいし、搭載されていても使用しなければよい。ただ撮像部182をセンサとして使用することは有り得る。
【0121】
この図17の情報処理装置50において、各動作態様に応じた構成は次のようになる。
(M1)の動作態様の場合、情報処理装置50は図17の構成でよく、特にはCPU171は計測対象特定部5a、計測部5b、提示制御部5cの機能を備えるようにする。
(M2)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測対象特定部5a、計測部5bの機能を備えるようにすればよい。
(M3)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が提示制御部5cの機能を備えるようにすればよい。
(M4)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測部5b、提示制御部5cの機能を備えるようにすればよい。
(M5)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測部5bの機能を備えるようにすればよい。
【0122】
(M6)の動作態様の場合、情報処理装置50は図17の構成でよい。
(M7)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が提示制御部5cの機能を備えるようにすればよい。
(M8)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測対象特定部5a、計測部5bの機能を備えるようにすればよい。
(M9)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測対象特定部5aの機能を備えるようにすればよい。
(M10)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測対象特定部5a、提示制御部5cの機能を備えるようにすればよい。
【0123】
このように、CPU171が、計測対象特定部5a、計測部5b、提示制御部5cとしての機能を備えるようにする場合がある。なお、言及しなかったが、目標設定部5dとしての機能を備える場合もある。
これらの機能をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリなどよりなるリムーバブルメディア181により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM172や、記憶部178に含まれるハードディスクなどでも構成される。
【0124】
以上は、図15A図15Bのようにグラスユニット11Aと情報処理装置50による計測システムとした場合の構成例であるが、これはウエアラブル(身体装着型)ユニットとしての計測端末1Aと、情報処理装置50によるシステムとみることができる。身体装着型ユニットとは、人の身体や衣服に装着できるユニットである。
その意味では眼鏡型であるグラスユニット11Aに代えて、多様な身体装着型ユニットが想定される。例えばヘッドマウント型、イヤホン型、リストバンド型、衣服型、クリップ型、ポケット収納型、ペンダント型などの形態が想定される。
【0125】
図15Cは、例えばスマートフォン等の携帯端末としての情報処理装置50が実施の形態の計測装置1とされる場合を示している。
例えば情報処理装置50は図1と同様の構成を備え、作業者は情報処理装置50(スマートフォン)を用いてブドウの撮像を行う。そして第1から第4の実施の形態のような処理が行われることで計測が行われ、図18Aのように計測結果としての粒数表示25が行われるようにする。
図18Bのように撮像画像表示29と計測結果としての粒数表示25の両方の表示が行われるようにしてもよい。
【0126】
図15Dは撮像装置60と情報処理装置50により計測システムが構成される場合を示している。ただし撮像装置60は通常のビデオカメラであり、実質的には情報処理装置50が計測装置1として機能する。
つまり情報処理装置50は、通信により伝送されてきた撮像画像を用いて、計測装置1としての動作(第1から第4の実施の形態の処理)を行うものである。
このように撮像装置60と情報処理装置50を組み合わせて計測システムとすることも想定される。
【0127】
図19はネットワーク通信を介した計測システム構成を示している。
図19Aはグラスユニット11A、通信端末51、ネットワーク52、クラウドサーバ53を示している。
ネットワーク52としては、インターネット、LAN、VPN(Virtual Private Network:仮想専用網)、イントラネット、エキストラネット、衛星通信網、CATV(Community Antenna Tele Vision)通信網、電話回線網、移動体通信網等の各種の形態が想定される。
クラウドサーバ53は情報処理装置により構成される。クラウドサーバ53や通信端末51は例えば図17のようなコンピュータ装置として実現できる。
【0128】
グラスユニット11Aは撮像画像やセンサ情報を通信端末51に送信する。通信端末51は例えばスマートフォン、タブレット、或いは専用端末などとされ、ネットワーク接続が可能な情報処理装置である。グラスユニット11Aからの撮像画像やセンサ情報等は、通信端末51からネットワーク52を介してクラウドサーバ53に送信される。
この場合、クラウドサーバ53が計測対象特定部5a、計測部5bとしての機能を備えることで、粒数計測を行い、その計測結果を返信する。グラスユニット11Aは、ネットワーク52、通信端末51を介して計測結果を受信することで、計測結果を表示する。
このように、いわゆるクラウドサービスにより計測システムを構築することもできる。
【0129】
図19Bは、図19Aの構成にAIエンジン54を追加したものである。AIエンジン54により画像解析に基づく計測対象特定処理や計測処理を行う。
これにより高精度の計測処理、計測実行の判定などを行うことができる。
【0130】
なお、身体装着型ユニットであるグラスユニット11Aが、直接ネットワーク通信できるようにして通信端末51を不要としてもよい。
【0131】
<8.まとめ及び変形例>
以上、実施の形態について説明してきたが、実施の形態によれば次の効果が得られる。
実施の形態の計測装置1は、作業者の手(把持体)によるブドウの枝(物体)の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部5aと、計測対象特定部5aが特定した計測対象物の特徴量の計測処理による計測結果を得る計測部5bとを備える。
つまり実施の形態では、作業者の手などの把持体によって枝をつかむという行為の検出により、計測対象物を特定する。即ち、ブドウの一房の枝をつまむことで、そのブドウの房を計測対象物として特定し、特徴量、例えば粒数の計測を行う。
これにより、物体を把持する機会が生ずる作業の過程で計測対象物が明確に特定できる。例えば撮像した画像内で計測すべき範囲が明確になる。
また、手で枝を把持するという行為は、実行しようとする作業(例えば摘粒)の一部、又は作業につながる行為であるため、作業の自然な流れの中で正確に計測対象物を特定できることになる。これにより作業者に何らかの余分な行為、操作等を要求することはなしに、作業者に必要な情報を提供するための計測対象物を正しく設定して計測できる。従って使用性が向上し、摘粒作業の効率化にも寄与し、かつ計測精度も向上する。
またブドウの房は、撮像画像内に多数入り込む。このような場合、画像内のどの部分の粒数を計測するかという点で処理が不安定になることが考えられるが、本実施の形態では、作業の過程で枝をつまむことで、計測すべき房が特定されることになるため、作業者が通常の作業を行う過程で、作業者が望む房の粒数を正しく計測対象物とすることができる。特にブドウやバナナといった果実が房状に成る農作物の場合、把持によって計測対象となる房が特定されるということは非常に有用となる。
実施の形態では、計測対象の物体としては、ブドウを例に挙げたが、バナナ、トマト等の農作物、樹木や動物等の自然物、工業製品など各種の物体を対象とする計測に、本技術は適用できる。計測対象物は、これらの各種の物体のうちで、把持によって特定される物体の全部又は一部となる。
また特徴量としては、粒の個数としたが、個数の他に、大きさ(サイズ)、色、成分含有量、成分比率、糖度、含水率、推定価格等など、数値化したり比較評価できるものが考えられ、それらの計測装置としても本技術は広く適用できる。
【0132】
実施の形態の計測装置1は、計測結果に基づく提示のための処理を行う提示制御部5cを備える。
これにより作業者は例えば枝をつまんだブドウの房の粒数などの情報を知ることができる。つまり計測装置1は作業者の作業過程で適切な情報提供を行うことができる。
なお計測結果に基づく提示としては、例えば特徴量の計測結果そのものの値に限らず、計測結果に応じた適否判定情報やガイド情報などでもよい。例えば計測結果としての数値に代えて、「適」「否」「適正数」「不足」「過大」などの判定情報、或いは、以降の作業のためのガイド内容を提示させるようにすることでも、的確な作業支援が可能となる。
また提示デバイスとしては、表示部9に限らず、音声出力部、振動部などを挙げたが、提示制御部5cは、計測された特徴量を、これらの提示デバイスに応じた提示態様で提示が行われるように制御すればよい。
【0133】
実施の形態では、計測処理を撮像された画像を用いて行う例を挙げた。例えば一体又は別体の撮像部2により物体を撮像した撮像画像を入力する。そして入力された撮像画像を用いて画像から判定できる特徴量の計測を行う。
撮像画像の解析により、例えばブドウの粒数などの特徴量を計測することができる。撮像画像の1又は複数のフレームを用いることで、安定した計測が可能となり計測精度を向上させることができる。
なお撮像画像だけでなく、センサ部7による検出情報によって計測を行うこともできる。
【0134】
実施の形態では、計測処理を把持体による物体の把持が行われたことの検出に基づいて実行する例を述べた(図9図11参照)。即ち把持体による物体の把持が検出されたことにより、計測対象物の特徴量の計測を開始する。
把持に基づいて計測対象物が特定された場合に、その計測対象物の特徴量の計測を実行することで作業者が特別な操作(計測開始を指示する操作)を行うことなく、作業者が求める計測が実行されることになる。
特にブドウの摘粒作業では、房の枝をつまむ動作は、通常の作業の流れの中の動作であるため、作業者は計測操作を全く意識しなくとも適切なタイミングで計測が実行されることになり、使用性は大きく向上する。
また、計測対象物となる物体や計測する特徴量によっては、把持した状態で回転や上下動の移動をさせなくてもよいものもある。このような場合に、把持によって適切な計測開始タイミングが得られることにもなる。
【0135】
実施の形態では、計測処理を、把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行する例を述べた(図8参照)。
例えば把持された状態で物体に何らかの動きが加えられたことで計測対象物の特徴量の計測を開始する。移動とは、揺らされたり、つままれて上下左右前後に移動されたり、揺らされたり、回転されたりすることなどが想定される。
計測対象物の計測には、その計測対象物の動きが必要な場合がある。例えばブドウの粒数を計測する場合、作業者から見て表側に見える粒だけでなく裏側の粒もカウントしなければならないため、回転させることが必要となる。従って把持に加えて移動(例えば房の回転など)が行われることが作業中の自然な動作となることもある。そのような場合も、つまむ動作と移動させることが検出されたことにより計測を行うことで、計測が必要時に的確に実行される。また作業者の特別な操作(計測開始を指示する操作)を必要としないため操作負担が生じない。
さらには、把持した状態で物体を移動させること(例えばつまんだ状態で上下左右前後に移動させたり、揺らしたり、回転させたりすること)を、作業者による意識的な計測開始操作として位置づけることもできる。その場合は、把持から連続する簡易な操作として、計測開始を装置に対して指示することができるようにもなる。例えば摘んだだけではなく、何らかのトリガにより計測を実行させたいようにする場合に好適となる。
【0136】
実施の形態では、計測処理を、把持体により物体の把持が行われ、かつ、その把持以外の所定行為の検出に基づいて実行する例を述べた(図10参照)。
例えば把持体が物体を把持した状態で、所定行為が行われることを検知して計測対象物の特徴量の計測を開始する。所定行為とは、作業者の発声や、所定音を発生させるなどの音的な行為、作業者の手な用具(ハサミ等)によるジェスチャ的な行為などが想定される。
把持した状態で作業者が所定行為を行うことを、計測開始の操作とする。これにより作業者は、把持した状態で適切なタイミングで計測開始を装置に対して指示することができる。特に把持体以外の所定行為であることで、把持した(ブドウの枝を摘んだ)状態のまま、容易に指示できる。具体的には、作業者の発声、作業者の所定の言葉の発声、音の発生(摘んだ手の他方の手や手に持つもので何らかの音を発生させる行為)などとすれば、作業に支障はない。また枝を摘んだ手とは他方の手を画像内に入れて所定のジェスチャをすること、他方の手に持つハサミを撮像部2の画角内に入れたり、所定のジェスチャをすることなどとしてもよく、この場合も作業中に負担のならない操作となる。
【0137】
実施の形態では、計測処理は、計測対象物が移動されている期間に撮像された複数のフレームの画像を用いて行われる例を挙げた(図8参照)。
例えば撮像部2により物体を撮像した撮像画像を入力するが、動画として得られる画像の複数フレームを用いて計測を行う。計測対象物の移動過程の複数フレームの画像を用いることで、表裏がある場合などでも的確に特徴量を検出できる。ブドウの粒数の場合、回転させているときに撮像した画像により、表側の粒も裏側の粒も計測できる。これにより計測精度を向上させることができる。
【0138】
実施の形態では、計測対象特定部5aは、把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行う例を述べた(図6参照)。
例えば把持された状態で何らかの動きが加えられた物体又は物体の一部を計測対象物とする。移動とは、つままれて上下左右前後に移動されたり、揺らされたり、回転されたりすることなどである。
把持に加えて移動(例えば房の回転など)が行われることで計測対象物を特定することで、その移動が行われている物体又は物体の一部などとして、より正確に計測すべき物体又は物体の一部(或いは範囲)を特定できるようになる。
ブドウであれば、回転されている房、つまみ上げられた房、などとして、計測対象がより限定されて正確に特定できる。
【0139】
実施の形態では、特徴量の目標値を設定する目標設定部5dを有し、目標設定部5dは、計測処理で計測される特徴量と目標値の差分値を求めるようにした(図12参照)。
例えばユーザ設定や自動設定などにより、特徴量の目標値を設定して記憶しておき、計測値と比較できるようにする。例えば摘粒作業時の目標値としての粒数を設定する場合、これを計測された粒数と比較すれば、あとどのくらい摘粒すればよいかという差分情報を得ることができる。
【0140】
実施の形態では、計測処理で計測される特徴量と目標値の差分値を提示するための処理を行う提示制御部5cを備えている(図12図13参照)。提示制御部5cにより、表示や音声などの手法で、現状の特徴量と目標値の差分を提示する。
例えばあとどのくらい摘粒すればよいかという差分情報を得ることができた場合に、これを作業者に伝えることで、作業支援として適切な提示ができる。
なお、この場合に、さらに図14のように摘粒すべき粒を提示するなどして支援をすることで、不慣れな作業者でも的確な摘粒作業が実行できるようにすることができる。
【0141】
実施の形態では、計測処理のトリガとしての移動としては、ブドウの房の回転移動であるとした例を挙げた(図6参照)。
例えばブドウの粒数を計測する場合、作業者から見て表側に見える粒だけでなく裏側の粒もカウントしなければならないため、回転させることが必要となる。従って把持に加えて房を回転させることが作業中の自然な動作となるが、この回転を検知したら計測を開始することで、作業者に余計な操作負担を生じさせないものとなる。
なお、計測対象物の特定のために回転移動の検知を用いてもよい。ブドウであれば、回転されている房として、計測対象をより限定して正確に特定できる。
【0142】
実施の形態では、計測対象物を特定する把持を行う把持体として人の手を挙げたが、人により操作される器具、又は自動動作するロボットアームであってもよい。
人の手とは、素手、手袋等をした手を含む。実施の形態の場合、作業者の手による把持を監視するものであるため、特別な把持装置を用いずに、自然な摘粒作業中の動作の過程を検出することになる。このため作業者に負担をかけないものとなる。
把持体としては器具でもよいが、器具とは人が手で操作する器具、手以外で操作する器具、手に装着して用いる器具、遠隔操作する器具など、どのような態様であれ人の意思で把持が可能なあらゆる器具を指す。摘粒作業中の場合、逆の手にはハサミを持つため、ハサミによる把持を検出するようにすることも考えられる。
またブドウの摘粒に限らずにいえば、作業において多様な器具が用いられることもある。器具を用いる作業に関する計測装置としては、器具による把持を検出して計測対象物を特定することは有効である。
またファクトリーオートメーション等として用いられるロボットアームによる把持も、計測対象物の特定のために検出することが有用な場合がある。農作物の栽培過程、出荷時の作業過程、流通ラインにおける計測、加工食品の製造ライン等における計測、工業製品の製造ライン等における計測の場合など、ロボットアームによる把持によって計測対象物を特定することで、精度のよい計測が可能となる場合が想定される。
このように把持体として人の手、器具、ロボットアームが想定されるが、つまり把持可能なものであれば、それによる把持が行われた物体を計測対象物とすることができる。これにより多様な作業に対応し、その作業で行われる把持行為を検出して計測対象物の特定が可能となる。
【0143】
実施の形態では、計測対象物とされる物体はブドウとし、つまり農作物とする例を挙げた。計測対象特定部は、農作物のうちで、把持された農作物の個体を計測対象物と特定する。農作物とは広義の農作物で、果物、野菜、穀物、樹木、草花、キノコ類、肥料、飼料、園芸作物、工芸作物、などを含む。
実施の形態の技術によれば、このような各種の農作物を対象とした計測装置1を広く提供できる。
【0144】
実施の形態では、計測対象特定部5aは、把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、計測処理では、計測対象物とされたブドウの房の特徴量として粒数を計測する例を挙げた。
つまり枝が摘まれたブドウの房を計測対象物とし、その房の粒数の計測を行うようにする。
農園内に多数存在するブドウの房の1つ1つについて、枝を摘むことで計測対象となる房を特定し、その粒数を計測する。これにより、1つの房毎の粒数の自動計測が正確に可能となり、ブドウの摘粒作業に必要な粒数情報を作業者に正確に提供できることになる。これにより、非常に面倒で、かつ短期間(2週間程度)でおこなわなければならない摘粒作業の効率を大きく向上させることができる。
また摘粒の際にブドウの粒数を一見して判断するには長年の経験が必要であり、また体調によっても判断が不安定になるといわれるが、粒数が計測され提示されることで、経験や体調によらなくとも、適切な摘粒作業ができるようになる。
【0145】
実施の形態の計測装置1は、計測処理に用いる画像の撮像を行う撮像部2を備えるものとした。
計測部5bは撮像部2により撮像された画像を解析して粒数の計測を行うが、この撮像部2が計測装置1に設けられていることで、別途撮像装置を用意したり設置したりすることは不要となり、摘粒作業等に過程で使用性のよい計測装置を提供できることになる。
なお、図1図3では撮像部(カメラ12)が一体に内蔵される例を述べたが、撮像部が別体装置として設けられてもよい。
【0146】
実施の形態では、計測処理に用いる画像の撮像を行う撮像部(カメラ12)と、計測結果の提示を行う提示部(オングラス表示部13)と、を有し、撮像部と提示部が身体装着型ユニット(グラスユニット11、11B)に配置されている例を述べた(図3図15参照)。
身体装着型ユニットに撮像部と提示部が配置されることで、作業者は単に当該身体装着型ユニットを装着していれば、計測対象物の撮像や計測結果表示のための機器の配置などに気を遣わなくてもよい。具体的には例えば図3のように眼鏡型でカメラ12やオングラス表示部13を備えたグラスユニット11を装着していれば、特に機器配置や撮影方向を気にすることなく、作業中に的確に粒数表示を確認できる。これにより作業性は著しく向上する。
なお提示部とは、ユーザに計測結果を提示できるもので、例えば表示部、音声出力部、振動部など、ユーザの五感に対して何らかの情報提示ができるものを指すとした。音声出力部としてのスピーカ及びアンプ回路や、振動部としてのアクチュエータ等がグラスユニット11などの身体装着型ユニットに設けられることも当然考えられる。
【0147】
実施の形態では提示部として、ユーザの眼前に配置された表示面に情報表示が行われるオングラス表示部13を例に挙げた。
これにより作業者は作業のための視界上で計測結果を確認できる。つまり計測結果を一々意識して見るという行為をすることなく、作業過程で自然に計測情報を見ることができ、作業効率上、非常に好適なものとなる。
【0148】
実施の形態では、把持体による物体の把持を検出するセンサ部7が設けられる例を述べた。例えば人の手、器具、ロボットアーム等の把持体による物体の把持を検出するセンサ部7としては、画像、圧力、温度情報、測距情報などを検出する撮像装置、圧力センサ、サーモトレーサ、測距センサ等が想定される。
センサ部7又は撮像部2により得られる情報により、例えば人の手、器具、ロボットアーム等の把持体による物体の把持を検出することができ、これにより計測対象物の特定や計測開始タイミングの判定を適切に実行できる。
【0149】
実施の形態の計測装置1は以下のような構成を備えてもよい。
摘粒作業中の作業姿勢によっては、撮像部2が逆光の状態になることもあるため、撮像部内のイメージセンサはISO10000以上のダイナミックレンジを有することが望ましい。
また、撮像部には、自動露出機能(Automatic Exposure)や減光フィルタを自動切換え出来る機能(液晶可変NDフィルタなど)を具備してもよい。
このような撮像部によって撮像した画像を用いることで計測精度を向上させることができる。
【0150】
また、動画像をぶれなく撮像するには、撮像部には、ハイフレームレートのイメージセンサを用いたり、グローバルシャッタ方式のイメージセンサを用いることも望ましい。
【0151】
また、雨の中で作業する場合も想定されるため、計測装置1には防水構造を持たせることが望ましい。
加えて撮像部の先玉レンズ又はカバーガラスに撥水加工を施してもよい。
さらには雨滴による収差を画像補正する機能があるとなおよい。
農作業を想定する場合、これらの雨対策を施すことは、実用上、重要な要素となる。
【0152】
また、把持する物体が手振れすることにより農作物が揺れて、画像がブレてしまう時に、ブレ量を計測し、そのブレ量に対応したシャッタースピードに自動的に設定することが考えられる。
また、シャッタースピードを変更した時に、露光量を揃える為に、対応したISO感度に自動調整する機能も望ましい。
計測装置1が振動した際に、ジャイロセンサ(角速度センサ)や加速度センサ等により、その動きを検出し、その検出量に応じて電子的に画素移動をし、ブレを補正する手段、又はレンズやイメージセンサやカメラモジュールを機構的に移動させてブレを補正する手段を有してもよい。
【0153】
計測装置1は、粒数以外にも、糖度、出荷時推定価格、単位領域あたりの粒数、間引くべき粒を計測して、作業者に伝えてもよい。
特徴量は粒の数に限らない
また房毎、農場内のエリア毎などに適正粒数を設定し、作業者に伝えるなどの作業支援を行うことも考えられる。
【0154】
また、計測装置1の移動軌跡をジャイロセンサ、加速度センサ、GPS受信器、地磁気センサ等により位置検出し、且つ、計測装置1で得られた特徴量を関連させマッピングすることにより、農園経営の効率化を図ることも考えられる。
【0155】
また、ロボットを活用し、農園内を自動的に移動しながら各房の粒数を計測して、摘粒までおこなったり、夜間に粒数を計測して、翌朝作業者にどの房を何粒摘粒する、もしくは摘粒すべき粒を伝えるといったシステムも有効である。
【0156】
計測開始タイミング及び計測結果を音声や映像により作業者に伝えるようにしてもよい。例えば計測開始のタイミングを電子音等で通知する。これによりユーザは計測装置1の計測動作を把握できる。
【0157】
なお、制御部5の処理として説明した図6図8図9図10図11図12の処理は、それらの処理ステップの全部又は一部が画像解析部4において実行されるものとしてもよい。換言すれば、計測装置1には、これらの処理を行うマイクロコンピュータ、プロセッサとしての部位が設けられればよく、それは制御部としての部位でも画像解析部としての部位、或いは他の部位でもかまわない。
【0158】
実施の形態のプログラムは、図6図8図9図10図11図12の処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、把持体による物体の把持の検出に基づいて計測対象物を特定する処理と、特定した計測対象物の特徴量の計測処理による計測結果を得る処理とを情報処理装置に実行させるプログラムである。このようなプログラムにより、上述した計測装置1や情報処理装置50を実現できる。
【0159】
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0160】
またこのようなプログラムによれば、実施の形態の情報処理装置50の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の計測装置1又は計測システムとして機能する情報処理装置50とすることができる。
【0161】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0162】
なお本技術は以下のような構成も採ることができる。
(1)
把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備えた
計測装置。
(2)
前記計測結果に基づく提示のための処理を行う提示制御部を備えた
上記(1)に記載の計測装置。
(3)
前記計測処理は、撮像された画像を用いて行われる
上記(1)又は(2)に記載の計測装置。
(4)
前記計測処理は、
前記把持体による物体の把持が行われたことの検出に基づいて実行される
上記(1)から(3)のいずれかに記載の計測装置。
(5)
前記計測処理は、
前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行される
上記(1)から(3)のいずれかに記載の計測装置。
(6)
前記計測処理は、
前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される
上記(1)から(3)のいずれかに記載の計測装置。
(7)
前記計測処理は、計測対象物が移動されている期間に撮像された複数のフレームの画像を用いて行われる
上記(1)から(6)のいずれかに記載の計測装置。
(8)
前記計測対象特定部は、
前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行う
上記(1)から(7)のいずれかに記載の計測装置。
(9)
特徴量の目標値を設定する目標設定部を有し、
前記目標設定部は、前記計測処理で計測される特徴量と前記目標値の差分値を求める
上記(1)から(8)のいずれかに記載の計測装置。
(10)
前記差分値を提示するための処理を行う提示制御部を備えた
上記(9)に記載の計測装置。
(11)
前記移動は回転移動である
上記(5)又は(8)に記載の計測装置。
(12)
前記把持体は、人の手、人により操作される器具、又は自動動作するロボットアームのいずれかである
上記(1)から(11)のいずれかに記載の計測装置。
(13)
計測対象物とされる物体は農作物である
上記(1)から(12)のいずれかに記載の計測装置。
(14)
前記計測対象特定部は、前記把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、
前記計測処理では、計測対象物とされたブドウの房の特徴量として粒数を計測する
上記(1)から(13)のいずれかに記載の計測装置。
(15)
前記計測処理に用いる画像の撮像を行う撮像部を備えた
上記(3)又は(7)に記載の計測装置。
(16)
前記計測処理に用いる画像の撮像を行う撮像部と、
前記計測結果の提示を行う提示部と、を有し、
前記撮像部と前記提示部が身体装着型ユニットに配置されている
上記(1)から(15)のいずれかに記載の計測装置。
(17)
前記提示部は、ユーザの眼前に配置される表示面に情報表示が行われる表示部とされた
上記(16)に記載の計測装置。
(18)
前記把持体による物体の把持を検出するセンサ部が設けられた
上記(1)から(17)のいずれかに記載の計測装置。
(19)
把持体による物体の把持の検出に基づいて計測対象物を特定する処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る処理と、
を情報処理装置が行う計測方法。
(20)
把持体による物体の把持の検出に基づいて計測対象物を特定する処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る処理と、
を情報処理装置に実行させるプログラム。
(21)
把持体によるブドウの房の把持の検出に基づいて計測対象となるブドウの房を特定する処理と、
前記特定されたブドウの房の粒数の計測を開始する処理と、
を情報処理装置が行う計測方法。
(22)
把持体により把持されたブドウの房を特定する処理と、
前記特定されたブドウの房の回転に伴い前記特定されたブドウの房の粒数を計測する処理と
を情報処理装置が行う計測方法。
【符号の説明】
【0163】
1 計測装置、1A 計測端末、2 撮像部、3 画像信号処理部、4 画像解析部、5 制御部、5a 計測対象特定部、5b 計測部、5c 提示制御部、5d 目標設定部、6 操作部、7 センサ部、8 表示制御部、9 表示部、10 記憶部、11 グラスユニット、12 カメラ、13 オングラス表示部、14 コード、15 コントロールユニット、16 通信部、21 手、22,23,24 ぶどう、22A 枝、22B 房、25 粒数表示、26 目標表示、27 ステータス表示、28 状況表示、29 撮像画像表示、30 摘粒箇所表示、50 情報処理装置、51 通信端末、52 ネットワーク、53 クラウドサーバ、54 AIエンジン、60 撮像装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19