IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社エヌ・クラフトの特許一覧

<>
  • 特許-物品取得システム 図1
  • 特許-物品取得システム 図2
  • 特許-物品取得システム 図3
  • 特許-物品取得システム 図4
  • 特許-物品取得システム 図5
  • 特許-物品取得システム 図6
  • 特許-物品取得システム 図7
  • 特許-物品取得システム 図8
  • 特許-物品取得システム 図9
  • 特許-物品取得システム 図10
  • 特許-物品取得システム 図11
  • 特許-物品取得システム 図12
  • 特許-物品取得システム 図13
  • 特許-物品取得システム 図14
  • 特許-物品取得システム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-27
(45)【発行日】2023-03-07
(54)【発明の名称】物品取得システム
(51)【国際特許分類】
   A01D 46/30 20060101AFI20230228BHJP
   B25J 13/08 20060101ALI20230228BHJP
   B25J 3/00 20060101ALI20230228BHJP
   G06Q 50/02 20120101ALI20230228BHJP
   A01G 7/00 20060101ALI20230228BHJP
【FI】
A01D46/30
B25J13/08 A
B25J3/00 Z
G06Q50/02
A01G7/00 603
【請求項の数】 6
(21)【出願番号】P 2022093473
(22)【出願日】2022-06-09
(62)【分割の表示】P 2022529862の分割
【原出願日】2022-02-24
(65)【公開番号】P2023014437
(43)【公開日】2023-01-30
【審査請求日】2022-06-09
(31)【優先権主張番号】P 2021028082
(32)【優先日】2021-02-25
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2021073544
(32)【優先日】2021-04-23
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】519205361
【氏名又は名称】株式会社エヌ・クラフト
(74)【代理人】
【識別番号】110002424
【氏名又は名称】ケー・ティー・アンド・エス弁理士法人
(72)【発明者】
【氏名】林 憲昌
【審査官】田辺 義拓
(56)【参考文献】
【文献】特開昭59-34817(JP,A)
【文献】特開2020-195335(JP,A)
【文献】特開2013-5726(JP,A)
【文献】国際公開第2020/158248(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
A01D 46/30
B25J 13/08
B25J 3/00
G06Q 50/02
(57)【特許請求の範囲】
【請求項1】
物品を撮像する撮像部と、
選択画面を表示する表示部と、
前記物品と前記物品に対応する種別の組み合わせが入力される入力装置と、
前記撮像部で撮像した画像データから前記物品の形状を判断する制御部と、
前記撮像部と、前記表示部と、前記入力装置と、それぞれ通信可能な制御部と、
を備え、
前記制御部は、前記撮像部で撮像された映像に含まれる前記物品のうち第1の物品に対応する画面表示である物品選択部を前記映像に合成した画像情報である選択画面を生成するとともに、前記入力装置を介して入力された前記組み合わせに基づいて、前記組み合わせの入力に対応した所定の評価を決定する処理部を有する、
物品取得システム。
【請求項2】
前記制御部は、
前記組み合わせを記憶する記憶部と、
を有し、
前記処理部は、前記映像に含まれる前記物品のうち、前記記憶部に記憶された前記組み合わせに基づいて、前記評価を決定する、
請求項1に記載の物品取得システム。
【請求項3】
前記処理部は、
前記入力装置への前記組み合わせの入力回数と、前記評価と、に基づいて報酬を決定する、
請求項1または2に記載の物品選別システム。
【請求項4】
前記記憶部は、
前記組み合わせと前記評価を紐づけて記憶する、
請求項2または3に記載の物品選別システム。
【請求項5】
前記処理部は、前記記憶部に記憶された前記組み合わせに基づいて、前記物品の種別を選別可能な第2の物品を選別し、前記第2の物品を除いた他の物品を前記第1の物品として選別する、
請求項2から4のいずれか1項に記載の物品取得システム。
【請求項6】
前記物品を把持する把持装置を更に備え、
前記制御部は、前記入力装置を介して入力された前記組み合わせに基づいて、前記把持装置を制御して、前記物品を前記種別に対応する所定の位置へ移動させる、
請求項1から5のいずれか1項に記載の物品取得システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、物品取得システムに関する。
【背景技術】
【0002】
従来、農作物などの物品を取得するための物品取得システムが知られている(例えば特許文献1参照)。特許文献1の農作物管理システムでは、ガントリー型のロボットを用いて農作物を取得している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-89345号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、農作物は、生育状況を判断し必要に応じて農作物を選別し、収穫または間引き等を行う必要がある。このような農作物の収穫または間引きを行うか否かの選別は、収穫高に影響を与えるため、ロボット等を用いて一律に選別することが困難である。また、農作物を収穫、または間引きするために、農作物のどの位置を把持する、あるいは切り落として、農作物を取得するかも、一律に決定することが困難である。
【0005】
本開示の課題は、物品の取得を遠隔で行うことができる物品取得システムを提供することにある。
【課題を解決するための手段】
【0006】
本開示に係る物品取得システムは、物品を撮像する撮像部と、選択画面を表示する表示部と、前記物品と前記物品に対応する種別の組み合わせが入力される入力装置と、前記撮像部で撮像した画像データから前記物品の形状を判断する制御部と、前記撮像部と、前記表示部と、前記入力装置と、それぞれ通信可能な制御部と、を備える。前記制御部は、前記撮像部で撮像された映像に含まれる前記物品のうち第1の物品に対応する画面表示である物品選択部を前記映像に合成した画像情報である選択画面を生成するとともに、前記入力装置を介して入力された前記組み合わせに基づいて、前記組み合わせの入力に対応した所定の評価を決定する処理部を有する。
【発明の効果】
【0007】
本開示によれば、物品の選別を遠隔で行うことができる物品取得システムを提供できる。
【図面の簡単な説明】
【0008】
図1】本開示の第1実施形態による農作物管理システムを示すシステム図。
図2】本開示の第1実施形態による農作物管理システムの配置状態を示す側面図。
図3】本開示の第1実施形態による農作物管理システムの配置状態を示す上面図。
図4】本開示の第1実施形態による制御装置が行う処理を示すフローチャート。
図5】本開示の第1実施形態による制御部が行う画像処理のうちイチゴの例を示す図。
図6】本開示の第1実施形態による制御部が行う画像処理のうちキュウリの例を示す図。
図7】本開示の第1実施形態による表示部に表示する画面の一例を示す図。
図8】本開示の第1実施形態による表示部に枝の間引きを行う場合に表示する画面の一例を示す図。
図9】本開示の第1実施形態による制御部で取得する画像データの一例を示す図。
図10】本開示の第2実施形態による物品選別システムを示す
図11】本開示の第2実施形態による制御装置が行う処理を示すフローチャート。
図12】本開示の第2実施形態による選択画面の一例を示す概略図。
図13】本開示の第1実施形態および第2実施形態による取得位置を制御するためのフローチャート。
図14】本開示の第2実施形態による選択画面に取得位置を表示する例を示す図。
図15】本開示の第2実施形態による選択画面に取得位置を表示する他の例を示す図。
【発明を実施するための形態】
【0009】
<第1実施形態>
以下、本開示の第1実施形態について、図面を参照しながら説明する。第1実施形態による物品取得システムは、農作物管理システムである。なお、本実施形態では、図2および図3において示すビニールハウス(ハウスの一例)10の長手方向をY方向、短手方向をX方向、および上下方向をZ方向と明細書および図面に記す。
【0010】
図1に示すように、本開示の農作物管理システム1は、ロボット2と、カメラ(撮像部の一例)4と、制御装置6(制御部の一例)と、表示部8と、を備える。
【0011】
ロボット2は、ブーム2aと、カメラアーム2bと、収穫用アーム2cと、収穫用アーム2cの先端に設けられる収穫用チャック2dと、を有する。ブーム2a、カメラアーム2b、収穫用アーム2c、および収穫用チャック2dは、それぞれ移動させるための第1アクチュエータ2e、第2アクチュエータ2f、第3アクチュエータ2g、および第4アクチュエータ2hを有する。
【0012】
図2および図3に示すように、本実施形態では、ロボット2は、農作物Aを育てるビニールハウス10の中に設置されるガントリー型である。このようなガントリー型のロボット2は、農作物Aが植えられた畝を跨いだ上部に設置される。
【0013】
ロボット2は、複数の支柱21と、少なくとも2本のレール22と、を有する。レール22は、ビニールハウス10の長手方向にのび、複数の支柱21の上部に固定される。ブーム2aは、この2本のレール22の間にブーム2aがかけ渡される。ブーム2aは第1アクチュエータ2eによって駆動され、レール22上をY方向に自在に動く。
【0014】
カメラアーム2bは、ブーム2aに取り付けられる。カメラアーム2bは、第2アクチュエータ2fによって駆動されブーム2aに対してX方向およびZ方向に自在に動き、農作物Aに向かって移動する。カメラアーム2bの先端にはカメラ4が取り付けられる。
【0015】
収穫用アーム2cは、ブーム2aに取り付けられる。収穫用アーム2cは、図1に示す第3アクチュエータ2gによって駆動されブーム2aに対してX方向およびZ方向に自在に動き、農作物Aに向かって移動する。収穫用アーム2cの先端には、収穫用チャック2dが取り付けられる。収穫用チャック2dは、農作物Aの切り取りおよび掴取りが可能である。本実施形態では収穫用チャック2dは、収穫用アーム2c対して例えばX軸回りに回転するとともに、爪が開閉するエンドフェクタである。爪の先に刃が取り付けられてもよい。収穫用チャック2dは、農作物Aの両側方及び上方から農作物Aにアクセス可能である。収穫用チャック2dは、第4アクチュエータ2hによって駆動され、爪の開閉および回転が行われる。収穫用チャック2dは、このように回転と爪および刃を用いて農作物Aを刈り取る。なお、カメラアーム2b、および収穫用アーム2cは、農作物Aに向けて移動する一つのアームであってもよい。
【0016】
カメラ4は、農作物Aを撮像するための装置である。カメラ4は、農作物Aの色彩・形状などを詳細に撮像できる、例えば高解像度カメラなどである。カメラ4は、制御装置6と電気的に接続され農作物Aを撮像し、画像データを制御装置6に送信する。カメラ4は、農作物Aの両側方及び上方を撮影可能である。
【0017】
図1に示すように、制御装置6は、第1アクチュエータ2eから第4アクチュエータ2hと、カメラ4などと、接続され、これら装置を制御する。また、制御装置6は、少なくとも農作物Aをカメラ4で取得した画像データを用いて、農作物Aの生育状態を管理するための制御を行う。制御装置6は、実際には、演算装置(演算部の一例)6aと、メモリ(記憶部の一例)6bと、通信インターフェース(通信部の一例)6cと、入出力バッファ等と、を含むマイクロコンピュータによって構成される。制御装置6は、メモリ6bに記憶されたソフトフェアによって各種制御を実行する。制御装置6は、農作物Aの植えられた土壌のPH値、水分、および温度を検知する土壌センサ6f、日照度を検知する日照センサ6g、およびビニールハウス10内の温度管理システム6hなどのセンサおよびシステムに電気的に接続されてもよい。
【0018】
制御装置6は、画像処理部6dと、アクチュエータ制御部6eと、を有する。画像処理部6d、およびアクチュエータ制御部6eは、メモリ6bに記憶されるソフトウェアによって実現される機能構成である。画像処理部6dはカメラ4で取得した画像データから、農作物Aの大きさ、色、形状を取得する。アクチュエータ制御部6eは、各アクチュエータを制御し、ブーム2aおよび各アームをビニールハウス10の所定の位置まで移動させる。
【0019】
制御装置6は、メモリ6bに収穫予想データを記録している。より具体的には、制御装置6は、農作物Aの種や苗の植え込み数、日照数、土壌の状態、生育日数などのデータから、農作物Aが収穫可能な数を記録している。制御装置6は、これらの情報と、現在までの日照数、土壌の状態の変化を照らし合わせて、収穫予想数を増減させた収穫予想データを作成し、記録している。
【0020】
表示部8は、農作物Aを収穫または間引き対象とするか否かを選択可能な画面を表示する。また、表示部8は、間引きが選択された場合、ユーザに枝の間引きを行うか否かの判断を求める画面を表示する。表示部8は、ユーザが枝の間引きを行う場合、枝を切り落とすラインを決めるための画面を表示する。すなわち、農作物Aの間引きは、果実等の収穫物のみならず、収穫物の周囲にある枝等を選別し切り落とすことを含む。表示部8は、このほか、農作物管理システム1を操作する管理ユーザが必要とする画面を表示してもよい。表示部8は、例えば、スマートフォン、タブレットなどのタッチスクリーン式液晶パネル、またはデスクトップパソコンなどの液晶画面である。表示部8は、制御装置6と有線または無線通信によって電気的に接続される。本実施形態では、表示部8は、インターネット9によって制御装置6と無線接続される。
【0021】
次に図4のフローチャートを用いて、制御装置6が実行する制御手順について説明する。
【0022】
図4に示すように、制御装置6は、カメラアーム2bを移動させて、カメラ4によって農作物Aを撮像する(ステップS1)。制御装置6は撮像した画像データを取得する(ステップS2)。制御装置6は、定期的にビニールハウス10内のすべての農作物Aの画像を取得することによって、農作物Aの大きさ、色、形状を監視し続ける。制御装置6は、画像データを取得すると、画像データを取得した位置をメモリ6bに画像データともに記録する(ステップS3)。
【0023】
制御装置6は、画像データを画像処理し、生育状況を判断する(ステップS4)。より具体的には、制御装置6は、撮像した農作物Aの画像データを画像処理し、生育日数に応じた理想的な農作物Aの大きさ、色、形状のデータである基準データと比較し、例えば、生育状況が「良い」、「要観察」、「悪い」の順に3段階で判断する。判断は、3段階に限らず、複数の段階であればよい。制御装置6は、生育状態を判断すると、間引きの要否を判断する(ステップS5)。
【0024】
具体的には、図5に示すように、例えば、農作物Aがイチゴである場合、制御装置6は、収穫予想データに記録されている、生育日数に応じたイチゴの大きさ、色、形状を定めた基準データと、画像データのイチゴと比較する。制御装置6は、基準データと比較し、画像データのイチゴが、基準データに対し所定割合以上(本実施形態では90%以上)で一致するか否かを判断する。例えば、図5の一番左側のイチゴの色彩がやや青色であり、この青色の色彩の割合が、基準データの赤色に対して70%程度しか一致しないとする。この場合、制御装置6は、図5の一番左側のイチゴの生育状態が「悪い」と判断する。
【0025】
一方、図5の一番中央のイチゴの色彩は基準データと略一致するものの、大きさが基準データに対し80%程度しか一致しないとする。この場合、制御装置6は、図5の中央のイチゴの生育状態を「要観察」と判断する。図6に示す農作物Aはキュウリである。図6の右側のキュウリの形状が基準データに対し80%程度しか一致しないとする。この場合、制御装置6は、図6の右側のキュウリを「要観察」と判断する。
【0026】
制御装置6は、間引きの必要があると判断する場合(ステップS5 YES)、ステップS13に処理を進める。本実施形態では、制御装置6がステップS5において、生育状態が「要観察」または「悪い」と判断した場合、間引きの必要があると判断する。一方、制御装置6は、間引きの必要がないと判断した場合(ステップS5 NO)、ステップS6に処理を進める。本実施形態では、制御装置6は、画像を取得した農作物Aの生育状態が「良い」の場合、間引きが必要ないと判断する。
【0027】
制御装置6は、収穫が必要か否か判断する(ステップS6)。制御装置6は、大きさ、色、形状のすべての項目が基準データと90%以上一致する場合、かつ、生育日数が所定日数に達している場合、収穫が必要と判断する。
【0028】
一方、大きさ、色、形状のすべての項目が基準データと90%以上一致する場合であっても、より熟成させる方が好ましい場合もある。このような判断は、農作物管理システム1の管理ユーザによって判断されることが望ましい。このため、このような場合、制御装置6は、収穫が必要か否かの判断を管理ユーザが行う必要があると判断することが好ましい。そこで、制御装置6は、収穫容認確認が必要か否か判断する(ステップS7)。本実施形態では、制御装置6は、例えば、大きさ、色、形状のすべての項目が基準データと90%一致するものの、大きさ、色、および形状の少なくともいずれか一つ90%から95%の間にある農作物Aについて、収穫容認確認が必要と判断する。
【0029】
制御装置6は、収穫容認確認が必要と判断した場合(ステップS7 Yes)、収穫可否画面12を表示部8に表示する(ステップS8)。より具体的には、制御装置6は、収穫可否画面12を生成し、通信インターフェース6cを介して表示部8に送信し表示させる。図7は、収穫可否画面12の一例である。収穫可否画面12は、例えば、カメラ4が撮像した農作物Aの画像データの情報13、基準データの情報を表示する枠14、収穫を容認するボタン15、間引きを容認するボタン16、および画像データを取得した位置を表示する情報17を含む。農作物管理システム1の管理ユーザは、表示部8に表示された収穫可否画面12のボタン15またはボタン16をタッチもしくはクリックすることによって、収穫可否を選択できる。
【0030】
制御装置6は、管理ユーザによって収穫が容認されたか否か判断する(ステップS9)。制御装置6は、管理ユーザによって収穫が容認されたと判断した場合(ステップS9 Yes)、農作物Aの画像が取得された位置に収穫用アーム2cを移動させて、農作物Aを収穫する(ステップS10)。制御装置6は、収穫した位置を記録し(ステップS11)、収穫予想データから収穫数を減産するとともに、収穫した農作物Aを監視対象から外す(ステップS12)し、処理をステップS1の前に戻す。
【0031】
制御装置6は、管理ユーザによって収穫の必要がないと判断された場合(ステップS6 NO)、および収穫が容認されなかった場合(ステップS9 NO)、処理をステップS1の前に戻す。制御装置6は、収穫容認確認が必要ないと判断した場合(ステップS7 NO)、処理をステップS10に進め、収穫用アーム2cを移動させる。
【0032】
次に、ステップS5において、間引きが必要と判断した場合について説明する。制御装置6は、間引きが必要と判断した場合(ステップS5 YES)、間引き容認確認が必要か否か判断する(ステップS13)。
【0033】
農作物Aを制御装置6で判断して一律に間引く場合、収穫量が減少し、農作物Aの生産性が悪化する。そこで、制御装置6は、農作物Aのうち管理ユーザが判断を行う必要があると判断する場合、間引き容認確認が必要であると判断する。本実施形態では、例えば、ステップS4における生育状況判断において、「要観察」とした農作物Aについて、間引き容認確認が必要と判断する。
【0034】
制御装置6は、間引き容認確認が必要と判断した場合(ステップS13 Yes)、間引き可否画面を表示部8に表示する(ステップS14)。より具体的には、制御装置6は、間引き可否画面を生成し、通信インターフェース6cを介して表示部8に送信し表示させる。本実施形態では、間引き可否画面は収穫可否画面12と同じである。しかし、間引き可否画面を収穫可否画面12と別の画面で表示してもよい。農作物管理システム1のユーザは、ボタン16をタッチもしくはクリックすることによって、間引きの可否を選択できる。
【0035】
制御装置6は、管理ユーザによって間引きが容認された場合、管理ユーザに枝を間引くか否かの判断を求める画面を表示してもよい。本実施形態では、制御装置6は、収穫可否画面12に枝の間引き位置を指定するボタン8を表示することによって、枝を間引くか否かの判断を求める。制御装置6は、管理ユーザによってボタン18がタッチもしくはクリックされると、枝の間引き位置を指定する画面19を表示する。画面19では、管理ユーザが枝の間引き位置を指定する。例えば、管理ユーザは、間引きたい枝の位置(取得位置)をタッチしてなぞることで指定する(図8のXからYに向けた矢印参照)。制御装置6は、管理ユーザがなぞった線を画像処理によって座標に変換する。取得位置の制御については、第2実施形態と纏めて説明する。
【0036】
制御装置6は、間引きが容認されたか否か判断する(ステップS15)。制御装置6は、間引きが容認された場合(ステップS15 Yes)、農作物Aの画像が取得された位置に収穫用アーム2cを移動させて、農作物Aを間引く(ステップS15)。制御装置6は、枝を間引く場合は、枝に向けて収穫用アーム2cを移動させて、枝を切り落とす。制御装置6は、間引きした位置を記録し(ステップS16)、収穫予想データから収穫数を減産し、処理をステップS1の前に戻す。
【0037】
制御装置6は、間引きが容認されなかった場合(ステップS15 NO)、処理をステップS1の前に戻す。制御装置6は、間引き容認確認が必要ないと判断した場合(ステップS13 NO)、処理をステップS16に進め、収穫用アーム2cを移動させる。
【0038】
本実施形態では、制御装置6は、カメラ4によって撮像した農作物Aの画像を、撮像した画像ごとに画像処理し収穫可否画面12を生成したが、本開示はこれに限定されない。すなわち、図9に示すように、制御装置6は、カメラアーム2bを移動させながらカメラ4によって画像データf1からf10までを撮像してもよい。さらに、制御装置6は、画像データf1からf10までを予め合成して、1つの画像データFとして取得してもよい。制御装置6は、農作物Aの植えられた1つの畝に対して1つの画像データFを取得してもよいし、これに限らず任意の区間で1つまたは複数の画像データFを取得してもよい。
【0039】
さらに、制御装置6は、生成した収穫可否画面12をただちに表示部8に表示したが、本開示はこれに限定されない。すなわち、制御装置6は、予め決められた時刻にカメラ4によって農作物Aを撮像し、収穫可否画面12を生成した後、任意の時間を空けて表示部8に収穫可否画面12を表示させてもよい。例えば、制御装置6は、カメラ4による撮像条件が有利な時間帯に予め画像データFを取得し、収穫可否画面12を生成する。その後、任意の時間を空けて、管理ユーザは、表示部8に表示された収穫可否画面12を見ながら、収穫可否を選択してもよい。すなわち、管理ユーザは、予め生成された収穫可否画面12を任意の時刻に表示部8に表示させて、収穫可否を選択してもよい。
【0040】
これにより、管理ユーザは、カメラ4が撮像する間隔や撮像時間に関わらず、予め作成された1の画像データFに基づいて収穫可否を選択することができる。このため、管理ユーザは、任意の時刻に、農作物Aの収穫可否を選択することができる。この結果、農作物管理システム1は、管理ユーザの任意の時刻や時間に、遠隔で作業を行うことができる。
【0041】
<第2実施形態>
図10に示すように、本開示の第2実施形態に係る物品取得システムは、物品選別システム101である。物品選別システム101は、把持装置102と、カメラ104と、制御装置106と、ディスプレイ108と、入力装置1010と、選別エリア1012と、を備える。本実施形態では、物品選別システム101は、廃棄物処理場に搬入された、木材、金属、ゴム、ガラス、樹脂など、種々の材料および種々の形状の廃棄物が混在した複数の廃棄物X(物品の一例)を選別する廃棄物選別システムである。このような廃棄物Xは、廃棄物処理場に搬入されると、廃棄物Xの種別に関わらず材質または材料Y(物品の種別の一例)が混在した状態で、一旦積み置かれ、荒選別(選別工程の一例)が行われる。物品選別システム1は、荒選別において、複数の廃棄物Xを、予め定められた材質または材料Yごとに選別する。
【0042】
把持装置102は、図示しないアクチュエータと、アーム(把持部の一例)102aと、を有する。本実施形態では、把持装置102は、ガントリー型のロボットである。このようなガントリー型のロボットでは、ブーム102bが一対のレール102c上をアクチュエータによって前後方向に移動するとともに、ブーム102bに取り付けられたアーム2aが左右方向および上下方向に移動する。なお、レール102cは、複数の廃棄物Xを搬入する廃棄物処理場の建屋の構造部材に取り付けてもよい。搬送装置は、後述する制御装置106と電気的に接続され、制御装置106によってアクチュエータが制御されて、複数の廃棄物Xをアーム102aで把持して、所定の位置まで移動させる。なお、把持装置102は、ガントリー型のロボットに限らず、例えばロボットアームなどの装置であってもよい。また、把持装置102は、複数設けられてもよい。
【0043】
カメラ104は、廃棄物Xを撮像する。本実施形態では、カメラ104は、把持装置102のブーム102bに取り付けられる。また、カメラ104は、選別工程を行う工場の天井や梁などに取り付けられてもよい。しかし、カメラ104は、把持装置102のブーム102b以外の場所に取り付けられてもよい。カメラ104は、撮像エリアAに含まれる廃棄物Xを撮像する。カメラ104は、ブーム102bの移動に伴って移動し、一定の間隔で静止画像の撮像を繰り返してもよい。カメラ104は、後述する制御装置106に電気的に接続され、撮像した動画または静止画である画像データ(映像の一例)Dを制御装置106に送信する。
【0044】
制御装置106は、物品選別システム101を制御するために設けられる。制御装置106は、カメラ104と、後述するディスプレイ108と、入力装置1010と、電気的に接続され、それぞれ通信可能である。制御装置106は、処理部106aと、記憶部106bと、を有する。制御装置106は、実際には、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などを含む処理部106aと、HDD(Hard Disk Drive)やRAM(Random Access Memory)などを含む記憶部106bと、入出力バッファ等と、を有するマイクロコンピュータによって構成される。処理部106aは、カメラ104で撮像された映像に基づいて後述する選択画面Sを生成する。記憶部106bは、廃棄物Xと当該廃棄物Xの材質または材料Yの組み合わせデータ(組み合わせの一例)Zを記憶する。
【0045】
ディスプレイ108は、選択画面Sを表示する。本実施形態では、ディスプレイ108は、後述する入力装置1010と一体に構成された携帯可能な通信端末である。また、ディスプレイ108は、入力装置1010と一体に構成されたスマートフォン、タブレットであってもよい。しかし、ディスプレイ108は、入力装置1010と別体に構成されてもよい。また、ディスプレイ108は、入力装置1010とともに使用されるタワー型のパソコンであってもよい。
【0046】
入力装置1010は、廃棄物Xと当該廃棄物Xに対応する材質または材料Yの組み合わせデータZが入力される。入力装置1010は、インターネットやVPN(Virtual Private Network)等の回線を介して、有線または無線で制御装置106と通信可能に接続されてもよい。本実施形態では、入力装置1010は、ディスプレイ108とともに設置され、廃棄物Xの材質または材料Yに対応したキーを有する入力端末である。また、入力装置1010は、ディスプレイ8に一体に構成された物理キーとして構成されてもよい。しかし、入力装置1010は、ディスプレイ108に選択画面Sとともに表示される入力アイコンとして構成されてもよい。入力装置1010は、カメラ104、把持装置102、選別エリア1012が配置された場所とは異なる部屋または建屋に配され、オペレータHにより操作される。このため、廃棄物Xが積み置きされた把持装置102付近にオペレータHを配することなく、入力装置1010を介して、物品選別システム101による荒選別を実施することができる。これによって、物品選別システム101は、オペレータHが、廃棄物Xの匂いや選別によって生じる粉塵等の作業環境の制約を受けることなく、荒選別を実施することができる。
【0047】
選別エリア1012は、複数の選別エリア1012aから1012fを有する。本実施形態では、選別エリア1012は、材質または材料Yが木材である廃棄物Xが選別される第1選別エリア1012a、材質または材料Yが金属である廃棄物Xが選別される第2選別エリア1012b、材質または材料Yが樹脂である廃棄物Xが選別される第3選別エリア1012c、材質または材料Yがゴムである廃棄物Xが選別される第4選別エリア1012d、材質または材料Yがガラスである廃棄物Xが選別される第5選別エリア12e、および材質または材料Yがその他の材料である廃棄物Xが選別される第6選別エリア1012fの6つの選別エリアが設けられる。しかし、選別エリア1012は複数あればよく、例えば、材質または材料のみならず、廃棄物の大きさや、形状によって異なる選別エリアを設けてもよい。また、本実施形態では、第1選別エリア1012aから第3選別エリア1012cは、廃棄物Xが搬入される位置の右側に設けられ、第4選別エリア1012dから第6選別エリア1012fは廃棄物Xを挟んで反対側の左側に設けられる。このように選別エリア1012を配置することで、把持装置102が廃棄物Xを効率的に搬送できる。しかし、選別エリア1012は、把持装置102が搬送できる範囲に設けられればよい。各選別エリア1012aから1012fには図示しないベルトコンベアが設けられ、把持装置102によって移動された廃棄物Xは、ベルトコンベアに載せられて後工程である詳細選別工程に送られる。
【0048】
次に、図11のフローチャートおよび図12を用いて、制御装置106が行う制御手順を説明する。制御装置106は、図示しないスタートボタンが押されると、制御手順を開始する。
【0049】
制御装置106は、カメラ104で撮像された画像データDを取得する(ステップ S201)。制御装置106の処理部106aは、取得した画像データDに基づいて物品領域xを生成する(ステップ S102)。物品領域xは、画像データDを、画像データDに含まれる廃棄物Xごとに区画した領域である。画像データDに含まれる廃棄物Xが1個である場合、画像データDは、1つの物品領域x1と、当該物品領域を除く領域xsと、に区画される。図12(a)に示すように、画像データDに3個の廃棄物X1からX3が含まれる場合、画像データDは、3つの物品領域x1からx3と、これらの物品領域を除く領域xsと、に区画される。
【0050】
制御装置106の処理部6aは、物品領域xの物品区分Cを指定する(ステップ S203)。制御装置106の記憶部106bは、廃棄物Xと当該廃棄物Xの材質または材料Yとの組み合わせである組み合わせデータZを予め記憶している。物品区分Cは、第1の物品C1と第2の物品C2を含む。第1の物品C1は、第2の物品C2を除いた他の物品である。制御装置106の記憶部106bに予め記憶された既存の組み合わせデータZに基づいて、廃棄物Xの材質または材料Yを特定不可能な廃棄物Xの物品区分Cが、第1の物品C1に指定される。制御装置106の記憶部106bに予め記憶された既存の組み合わせデータZに基づいて、廃棄物Xの材質または材料Yを特定可能な廃棄物Xの物品区分Cが、第2の物品C2に指定される。処理部106aは、それぞれの物品領域xに、第1の物品C1または第2の物品C2のいずれかを、物品区分Cとして指定する。本実施形態では、画像データDに含まれる廃棄物X1からX3のうち、廃棄物X3については、制御装置106の記憶部106bに記憶された既存の組み合わせデータZに基づいて、材質または材料Yが金属であると特定可能であるため、廃棄物X3の物品区分Cは、第2の物品C2が指定される。また、廃棄物X1および廃棄物X2の物品区分Cは、既存の組み合わせデータZに基づいて材質または材料Yが特定不可能であるため、第1の物品C1が指定される。
【0051】
制御装置106の処理部106aは、物品領域x1からx3の物品区分Cが、第1の物品C1に該当するか否かを判定する(ステップ S204)。物品領域xが第1の物品C1に該当する場合(ステップS204 Yes)、制御装置106の処理部106aは、第1の物品C1に対応する画面表示である物品選択部xcを生成する(ステップ S205)。制御装置106の処理部106aは、ステップS203において物品区分Cが第1の物品C1である指定された廃棄物X1およびX2に対応する物品領域x1およびx2について、画像処理を施し物品選択部xcを生成する。本実施形態では、制御装置106の処理部106aは、ステップS202において生成した物品領域x1およびx2に対して、物品領域x3および物品領域を除く領域xsと異なる画像表示として、斜線のパターンによる塗りつぶしの画像表示を生成する。すなわち、本実施形態では、物品選択部xcは、物品区分Cが第1の物品C1である廃棄物Xの物品領域xに対応した形状の、斜線のパターンによる塗りつぶしとして生成された画像表示である。物品選択部xcは、物品区分Cが第1の物品C1である廃棄物Xの物品領域xと、それ以外の物品領域xとを区別できればよく、斜線のパターンによる塗りつぶしの他、物品領域xの境界を示す太線や、半透明の塗りつぶし領域などの画像表示であってもよい。
【0052】
一方、そうでない場合(ステップS204 No)、処理部106aは、当該物品領域xについて選択済み領域xuを生成する(ステップ S206)。本実施形態では、制御装置106の処理部106aは、ステップS202において生成した物品領域x3に対して、当該物品領域x3の境界を示す太線の画像表示として選択済み領域xuを生成する。選択済み領域xuは、物品選択部xcではないことが後述するオペレータHに認識されればよく、物品選択部xcと異なるパターンによる塗りつぶしの画像表示であってもよい。また、選択済み領域xuは、選択済み領域xuに対応する画像表示が生成されなくてもよい。
【0053】
制御装置106の処理部106aは、選択画面Sを生成する(ステップ S207)。図12(b)に示すように、選択画面Sは、画像データDに、ステップS205において生成した物品選択部xcの画像表示をオーバーラップして合成した画面データである。すなわち、選択画面Sは、画像データDに含まれる廃棄物Xに対応する物品領域xのうち、ステップS204において第1の物品C1であると判定された廃棄物Xに対応する物品領域xのみが、物品選択部xcとして画像データDに合成される。図12(b)に示すように、処理部106aは、さらに、画像データDに、ステップS206において生成した選択済み領域xuをオーバーラップしてもよい。本実施形態では、物品区分Cが第1の物品C1である廃棄物X1およびX2に対応する物品領域x1およびx2について生成された物品選択部xcと画像データDが合成された画像情報が、選択画面Sとして生成される。すなわち、選択画面Sは、物品区分Cが第1の物品C1である廃棄物X1およびX2が、物品区分Cが第2の物品C2である他の廃棄物X3と明確に区別されて、表示される。
【0054】
制御装置106は、選択画面Sをディスプレイ8に送信する(ステップ S208)。制御装置106は、選択画面Sをディスプレイ108に表示させる(ステップ S209)。ここで、オペレータHは、ディスプレイ108に表示された選択画面Sを見ながら、物品選択部xcが表示されている廃棄物Xについて、当該廃棄物Xの材質または材料Yを推測して物品選択部xcと物品選択部xcに対応する廃棄物Xの材質または材料Yを選択して入力装置1010に入力する。制御装置106の処理部106aは、入力装置1010によって入力された物品選択部xcに対応する廃棄物Xを取得する(ステップ S210)。制御装置106の処理部106aは、入力装置1010によって、入力された材質または材料Yを取得する(ステップ S211)。さらに、制御装置106の処理部106aは、ステップS209において取得した廃棄物Xと、ステップS210において取得した材質または材料Yと、を組み合わせて組み合わせデータZを生成する(ステップ S212)。制御装置106の記憶部106bは、組み合わせデータZを記憶する(ステップ S213)。
【0055】
制御装置106の処理部106aは、ステップS212において生成された組み合わせデータZに対応した評価データrを生成する(ステップ S214)。本実施形態では、制御装置106の処理部106aは、評価データrとして、予め設定された所定の評価段階の内の一つを選択して生成する。
【0056】
処理部106aは、ステップS209において選択画面Sがディスプレイ108に表示されてからステップS212において組み合わせデータZが生成されるまでの所要時間に基づいて、評価データrを生成してもよい。処理部106aは、組み合わせデータZが生成されるまでの所用時間が短い場合、すなわち、オペレータHが、短時間で廃棄物Xと材質または材料Yの入力を完了した場合は、高い評価段階を選択して評価データrを生成してもよい。このように、処理部106aは、組み合わせデータZが生成されるまでの所要時間に応じて、評価段階を選択して評価データrを生成してもよい。
【0057】
また、制御装置106の処理部106aは、予め制御装置106の記憶部106bに記憶された組み合わせデータZとステップS212において生成された組み合わせデータZとの差分に基づいて、評価データrを生成してもよい。具体的には、制御装置106の処理部106aは、オペレータHが入力装置1010に入力した廃棄物Xの材質または材料Yの組み合わせデータZが、予め制御装置106の記憶部106bに記憶された組み合わせデータZと比較して、所定の範囲内で近似していると判断した場合、すなわち、廃棄物Xの材質または材料Yが適切に選択され入力されたと判断した場合、高い評価段階を選択して評価データrを生成してもよい。このように、処理部106baは、ステップS212において生成された組み合わせデータZの確度に応じて、評価段階を選択して評価データrを生成してもよい。
【0058】
また、評価データrは、入力装置1010を介して廃棄物Xと当該廃棄物Xの材質または材料Yが入力された時間帯や、予め制御装置106の記憶部106bに記憶されたオペレータHの識別情報など、種々の条件に応じて変更されてもよい。具体的には、処理部106aは、予め設定された時間帯や作業時間中に、入力装置1010に対して入力があった場合は、高い評価段階を選択して評価データrを生成してもよい。また、処理部106aは、オペレータHの熟練度に応じて、評価段階を選択して評価データrを生成してもよい。
【0059】
制御装置106の記憶部106bは、ステップS213において生成された評価データrを、ステップS212において生成された組み合わせデータZに紐づけて記憶する(ステップ S215)。これにより、組み合わせデータZに紐づけられた評価データrを、記憶部106bに蓄積することができる。この結果、物品選別システム101は、記憶部106bに記憶された組み合わせデータZおよび評価データrに基づいて、荒選別の実施速度および精度を向上させることができる。
【0060】
制御装置106の処理部106aは、ステップS210において取得された廃棄物Xに対応する物品選択部xcを選択済み領域xuに変更する(ステップ S216)。これにより、入力装置1010を介して、同一の廃棄物Xについて、重複して繰り返し材質または材料Yが入力されることを防止することができる。この結果、物品選別システム101は、荒選別の実施速度を向上させることができる。
【0061】
制御装置106の処理部106aは、選択画面Sに物品選択部xcが含まれるか否かを判定する(ステップ S217)。制御装置106の処理部106aは、選択画面Sに物品選択部xcが含まれないと判定した場合(ステップS217 Yes)、記憶部106bに記憶された評価rに基づいて報酬Rを決定する(ステップ S218)。本実施形態では、制御装置106の処理部106aは、報酬Rを、入力装置1010を介して廃棄物Xと廃棄物Xの材質または材料Yを入力するオペレータHに付与する金銭報酬として計算し決定する。報酬Rは、ステップS214で生成された評価データrおよびオペレータHが入力装置1010に対して行った廃棄物Xと材質または材料Yの入力回数によって決定される。具体的には、評価データrの評価段階が高いほど、入力回数が多いほど、オペレータHに付与される報酬Rは多くなる。このため、入力装置1010に入力した廃棄物Xと材質または材料Yの組み合わせデータZの精度および入力回数に応じて、オペレータHに対して適切な報酬Rを付与することができる。これにより、オペレータHが入力装置1010に対して入力作業を行う意欲を高めることができる。この結果、廃棄物Xの荒選別に従事する人材を、広く確保することができる。
【0062】
一方そうでない場合(ステップS217 No)、制御装置106の処理部106aは、処理をステップS208の前に戻す。
【0063】
制御装置106の処理部106aは、把持装置102を制御して、廃棄物Xを選別エリア1012へ移動させ、処理をステップS201の前に戻す(ステップ S219)。本実施形態では、制御装置106の処理部106aは、画像データDとステップS211において生成した組み合わせデータZに基づいて、廃棄物Xの材質または材料Yに対応した選別エリア1012への移動経路を生成し、把持装置102を制御して廃棄物Xを所定の選別エリア1012へ移動させる。
【0064】
次に第1実施形態における取得位置、および第2実施形態における取得位置の表示方法について図13から図15を用いて説明する。以下の説明では、第2実施形態において、把持装置102が、廃棄物Xを把持し移動させる場合について説明する。
【0065】
制御装置106は、オペレータHがディスプレイ108をタッチ操作した位置を取得する(ステップ S301)。具体的には、オペレータHは、ディスプレイ108に表示された選択画面Sを見て、把持装置102で把持すべき廃棄物X1をタッチ操作により選択する。制御装置106は、タッチ操作されたディスプレイ108上の位置を取得する。
【0066】
制御装置106は、ステップS301で取得したタッチ位置を、取得位置と決定する(ステップ S302)。さらに、制御装置106は、ステップS302で決定した取得位置に基づいて、選択画面Sにおける画面上の座標を取得する(ステップS303)。
【0067】
制御装置106は、ステップS303において取得した画面上の座標を、実際の配置位置に変換する(ステップ S304)。すなわち、制御装置106は、選択画面S上における取得位置を、実際に把持装置102が作業する環境における座標に変換し、当該座標を配置位置とする。
【0068】
最後に、制御装置106は、ステップS304で変換し取得した座標である配置位置を、把持装置102のアーム102aへと送信する(ステップ S305)。
【0069】
これに限らず、本実施形態は、第1実施形態における制御装置6についても適用することができる。すなわち、制御装置6は、表示部8に表示された収穫可否画面12を見ながら管理ユーザがタッチ操作することで、収穫用アーム2cが枝を間引く位置を取得位置として取得し、収穫用アーム2cを制御してもよい(例えば、図8参照)。
【0070】
図14(a)は、オペレータHが操作するディスプレイ108の選択画面S上に、選択可能な複数の物品X1からX3が表示されている状態を示した概略図である。図14(b)は、複数の物品X1からX3のうち、物品X1が選択された状態を示す概略図である。オペレータHは、選択画面Sに表示された複数の物品X1からX3の内、一の物品X1をなぞることで選択する。オペレータHが、ディスプレイ108をなぞりながらタッチ操作すると、図14(b)に示すように、制御装置106は、タッチ操作により選択された物品X1の画像上に、指でなぞった位置を直線に近似して、直線L1を重ねて表示させる。制御装置6は、この直線L1の位置と向きに基づいて、把持装置102が物品X1を取得するための取得位置を決定する。
【0071】
また、図14に示すように、制御装置6は、選択された物品X1に回転するカーソルXRを重ねて表示させてもよい。オペレータHは、カーソルXRをディスプレイ108上で任意の角度に回転させることで、直線L1の角度を変更することができる。これにより、オペレータHは、ディスプレイ108をなぞることで選択した物品X1に重ねて表示された直線L1の向きを、選択された状態を解除することなく任意の角度に変更することができる。この結果、制御装置106は、オペレータHの簡易な操作で、把持装置102が選択された物品X1を把持するための位置情報を取得することができる。
【0072】
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々に変更が可能である。
【0073】
(a)上記第1実施形態では、ガントリー型のロボット2を例に説明したが、本発明はこれに限定されるものではない。ロボット2は、レールがない自走式のガントリー型ロボット、またはロボットアームが自走するロボットであってもよい。いずれにせよ、農作物Aを撮像でき、刈り取りできるロボットであればよい。
【0074】
(b)上記第2実施形態では、廃棄物Xを選別する物品選別システム1を例に説明したが、本開示はこれに限定されない。物品選別システム1は、搬送するための物品を選別するためのシステムであればよく、積み置きされた複数の形状や色彩の異なる物品(例えば、農作物など)を選別して搬送するシステムであってもよい。
【0075】
(c)上記第2実施形態では、制御装置6の処理部6aは、評価データrとして、予め設定された所定の評価段階の内の一つを選択して生成したが、本開示はこれに限定されない。評価データrは、数値や変数など、報酬Rを決定するための種々の形態を選択することができる。
【0076】
(d)上記第2実施形態では、報酬Rは、オペレータHに付与する金銭報酬として計算し決定されたが、本開示はこれに限定されない。すなわち、報酬Rは、換金または他のサービスと交換可能なポイントや、種々の褒賞であってもよい。
【符号の説明】
【0077】
1 :農作物管理システム 2a :ブーム(移動部材の一例)
2b :カメラアーム(アームの一例) 2c :収穫用アーム(アームの一例)
2d :収穫用チャック 4(104):カメラ(撮像部の一例)
6(106):制御装置(制御部の一例) 8(108):ディスプレイ(表示部)
21 :支柱 22 :レール A :農作物
101:物品選別システム 102:把持装置 106a:処理部
106b:記憶部 1010:入力装置 S:選択画面
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15