(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022062294
(43)【公開日】2022-04-20
(54)【発明の名称】農場用自走式車両を含むシステム、プログラム、又は方法
(51)【国際特許分類】
A01B 69/00 20060101AFI20220331BHJP
G05D 1/02 20200101ALI20220331BHJP
A01G 7/00 20060101ALI20220331BHJP
G06Q 50/02 20120101ALI20220331BHJP
G16Y 10/05 20200101ALI20220331BHJP
G16Y 20/10 20200101ALI20220331BHJP
G16Y 20/20 20200101ALI20220331BHJP
G16Y 40/10 20200101ALI20220331BHJP
G16Y 40/30 20200101ALI20220331BHJP
【ＦＩ】
A01B69/00 303D
G05D1/02 N
A01B69/00 303M
A01G7/00 603
G06Q50/02
G16Y10/05
G16Y20/10
G16Y20/20
G16Y40/10
G16Y40/30
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2020162390
(22)【出願日】2020-09-28
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１） 公開１ 公開日 ２０１９年１０月１日 公開の場所（又はウェブアドレス）ｈｔｔｐｓ：／／ｓｍａｒｔ．ｇｉｎｚａｆａｒｍ．ｃｏ．ｊｐ／ｆａｒｂｏｔ－２／ 公開者 銀座農園株式会社 公開された内容 上記ウェブサイトにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （２） 公開２ 公開日 ２０１９年１０月１日 公開の場所（又はウェブアドレス）「第２回次世代農林水産フォーラム」（主催：福島イノベーションコースト構想推進協議会） コラッセふくしま４０１会議室（福島県福島市三河南町１－２０） 公開者 銀座農園株式会社 公開された内容 上記フォーラムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （３） 公開３ 公開日 ２０１９年１０月９日 公開の場所（又はウェブアドレス）「第９回農業ＷＥＥＫ」（主催：リードエグジビションジャパン株式会社） 幕張メッセ（千葉県千葉市美浜区中瀬２－１） 公開者 銀座農園株式会社 公開された内容 上記「第９回農業ＷＥＥＫ」において、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （４） 公開４ 公開日 ２０１９年１０月２１日 公開の場所（又はウェブアドレス）「地方創生アライアンス研修会」（主催：三井住友海上火災保険株式会社） 三井住友海上駿河台ビル本館１階（東京都千代田区神田駿河台３－１１－１） 公開者 銀座農園株式会社 公開された内容 上記研修会において、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （５） 公開５ 公開日 ２０１９年１０月２５日 公開の場所（又はウェブアドレス）「会津ＩＴ秋フォーラム２０１９」（主催：公立大学法人会津大学） 会津大学ＬＩＣＴｉＡ内（福島県会津若松市一箕町鶴賀） 公開者 銀座農園株式会社 公開された内容 上記フォーラムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （６） 公開６ 公開日 ２０１９年１１月２６日 公開の場所（又はウェブアドレス）「栃木県農業ロボット研究ミーティング」（主催：栃木県） 栃木県庁研修館４０１研修室（宇都宮市塙田１－１－２０） 公開者 銀座農園株式会社 公開された内容 上記ミーティングにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （７） 公開７ 公開日 ２０１９年１２月１６日 公開の場所（又はウェブアドレス）「農業者シンポジウム」（主催：境町） 茨城県境町役場（茨城県猿島郡境町３９１－１） 公開者 銀座農園株式会社 公開された内容 上記シンポジウムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （８） 公開８ 公開日 ２０２０年２月７日 公開の場所（又はウェブアドレス）「企業の農業参入セミナー」（主催：茨城県） 常陽つくばビル１０Ｆ大会議室（つくば市吾妻１－１４－２） 公開者 銀座農園株式会社 公開された内容 上記セミナーにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （９） 公開９ 公開日 ２０２０年２月１３日 公開の場所（又はウェブアドレス）「野村グローバルフード＆アグリフォーラム２０２０」（主催：野村アグリプランニング＆アドバイザリー株式会社） 神田明神 文化交流館ＥＤＯＣＣＯ（東京都千代田区外神田２－１６－２） 公開者 銀座農園株式会社 公開された内容 上記フォーラムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１０） 公開１０ 公開日 ２０２０年２月１５日 公開の場所（又はウェブアドレス）「福島イノベーションコースト構想シンポジウム」（主催：公益財団法人福島イノベーションコースト推進機構） 小高生涯学習センター「浮舟文化会館」（福島県南相馬市小高区本町２－８９－１） 公開者 銀座農園株式会社 公開された内容 上記シンポジウムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１１） 公開１１ 公開日 ２０２０年２月２１日 公開の場所（又はウェブアドレス）「埼玉県ロボットフォーラム」（主催：公益財団法人埼玉県産業振興公社） 埼玉県産業振興公社会議室Ａ（さいたま市中央区上落合２－３－２） 公開者 銀座農園株式会社 公開された内容 上記フォーラムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．アイパッド
２．ＱＲコード
(71)【出願人】
【識別番号】510058313
【氏名又は名称】銀座農園株式会社
(74)【代理人】
【識別番号】100114188
【弁理士】
【氏名又は名称】小野 誠
(74)【代理人】
【識別番号】100160255
【弁理士】
【氏名又は名称】市川 祐輔
(72)【発明者】
【氏名】小薗 裕通
(72)【発明者】
【氏名】飯村 一樹
(72)【発明者】
【氏名】山田 周作
(72)【発明者】
【氏名】秋山 寛裕
【テーマコード（参考）】
2B043
5H301
5L049
【Ｆターム（参考）】
2B043AA04
2B043AB20
2B043BA09
2B043BB12
2B043DC03
2B043EA08
2B043EA12
2B043EA22
2B043EA23
2B043EA40
2B043EB04
2B043EB05
2B043EB15
2B043EB17
2B043EB18
2B043EB22
2B043EB30
2B043EC02
2B043EC12
2B043EC13
2B043EC14
2B043EC19
2B043EC20
2B043ED12
5H301AA01
5H301BB01
5H301CC03
5H301CC06
5H301CC10
5H301FF07
5H301GG09
5H301KK18
5L049CC01
(57)【要約】 （修正有）
【課題】農場用自走式車両を含むシステム、情報処理システム、情報処理装置、サーバー装置、プログラム、携帯端末装置、又は方法を提供する。
【解決手段】農場用自走式車両として、車両の進行方向上の対象と車両との距離を測定する距離測定センサー２０１と、駆動輪を動作させるホイールモータ２０２と、ホイールモータ２０２を制御するスピードコントローラ２０３と、車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置２０４で、互いに相反する方向を撮像方向として、撮像する２つの撮像装置２０４と、車両絶対位置情報を取得するアンテナ２０５と、距離測定センサー２０１から得た情報を用いて車両の両側に平行な仮想壁を生成し、仮想壁と平行に車両が走行するようにスピードコントローラ２０３を制御し、撮像装置２０４によって撮像された画像の処理をして、車両内情報処理装置と電源を供給する電源装置２０８とを備える。
【選択図】図２
【解決手段】農場用自走式車両として、車両の進行方向上の対象と車両との距離を測定する距離測定センサー２０１と、駆動輪を動作させるホイールモータ２０２と、ホイールモータ２０２を制御するスピードコントローラ２０３と、車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置２０４で、互いに相反する方向を撮像方向として、撮像する２つの撮像装置２０４と、車両絶対位置情報を取得するアンテナ２０５と、距離測定センサー２０１から得た情報を用いて車両の両側に平行な仮想壁を生成し、仮想壁と平行に車両が走行するようにスピードコントローラ２０３を制御し、撮像装置２０４によって撮像された画像の処理をして、車両内情報処理装置と電源を供給する電源装置２０８とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
農場用自走式車両及び車両外情報処理装置を含むシステムであって、
前記農場用自走式車両は、
前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサーと、
駆動輪と、
前記駆動輪を動作させるホイールモータと、
前記ホイールモータを制御するスピードコントローラと、
前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置と、
車両絶対位置情報を取得するアンテナと、
前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置と、
前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給する電源装置と、
を備える農場用自走式車両であって、
前記車両内情報処理装置は、
前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付ける関連付け部と、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部であって、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部と、
前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定する絶対位置特定部と、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信する送信部と、
を備え、
前記車両外情報処理装置は、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信する受信部と、
前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成する生成部と、
を備える、
システム。
前記農場用自走式車両は、
前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサーと、
駆動輪と、
前記駆動輪を動作させるホイールモータと、
前記ホイールモータを制御するスピードコントローラと、
前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置と、
車両絶対位置情報を取得するアンテナと、
前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置と、
前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給する電源装置と、
を備える農場用自走式車両であって、
前記車両内情報処理装置は、
前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付ける関連付け部と、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部であって、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部と、
前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定する絶対位置特定部と、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信する送信部と、
を備え、
前記車両外情報処理装置は、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信する受信部と、
前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成する生成部と、
を備える、
システム。
【請求項2】
前記車両内情報処理装置は、前記機械学習部による処理と、前記スピードコントローラの制御と、を異なるタイミングで実行する、
請求項１に記載のシステム。
請求項１に記載のシステム。
【請求項3】
前記予想収穫可能時期を生成する生成部は、前記分類と、過去の分類とを用いて、前記予想収穫可能時期を特定し、
前記過去の分類は、前記絶対位置情報と、過去に受信した絶対位置情報とが照合されることによって判明した、前記過去に受信した絶対位置情報と関連付けられた分類である、
請求項１乃至２のいずれか１項に記載のシステム。
前記過去の分類は、前記絶対位置情報と、過去に受信した絶対位置情報とが照合されることによって判明した、前記過去に受信した絶対位置情報と関連付けられた分類である、
請求項１乃至２のいずれか１項に記載のシステム。
【請求項4】
前記農作物は、いちごである、
請求項１乃至３のいずれか１項に記載のシステム。
請求項１乃至３のいずれか１項に記載のシステム。
【請求項5】
前記車両は、温度、湿度、及び二酸化炭素量を測定する環境センサーを備え、
前記送信部は、測定された、前記温度、前記湿度、及び前記二酸化炭素量を、前記車両外情報処理装置に送信し、
前記車両外情報処理装置内の前記受信部は、前記温度、前記湿度、及び前記二酸化炭素量を受信する、
請求項１乃至４のいずれか１項に記載のシステム。
前記送信部は、測定された、前記温度、前記湿度、及び前記二酸化炭素量を、前記車両外情報処理装置に送信し、
前記車両外情報処理装置内の前記受信部は、前記温度、前記湿度、及び前記二酸化炭素量を受信する、
請求項１乃至４のいずれか１項に記載のシステム。
【請求項6】
前記予想収穫可能時期、前記温度、前記湿度、及び前記二酸化炭素量は、携帯端末から前記車両外情報処理装置にアクセスした場合に、前記車両外情報処理装置から前記携帯端末に送信される、
請求項５のいずれか１項に記載のシステム。
請求項５のいずれか１項に記載のシステム。
【請求項7】
前記車両内情報処理装置内の記憶装置は、前記撮像された画像を記憶する、
請求項１乃至６のいずれか１項に記載のシステム。
請求項１乃至６のいずれか１項に記載のシステム。
【請求項8】
農場用自走式車両及び車両外情報処理装置を含むシステムを用いた方法であって、
前記農場用自走式車両は、距離測定センサー、駆動輪、ホイールモータ、スピードコントローラ、２つの撮像装置、アンテナ、車両内情報処理装置、電源装置を備え、
前記距離測定センサーが、前記車両の進行方向上の対象と前記車両との距離を測定し、
前記ホイールモータが、前記駆動輪を動作させ、
前記スピードコントローラが、前記ホイールモータを制御し、
前記２つの撮像装置が、前記車両の進行方向に対して直角方向であり地上に対して水平方向であって、互いに相反する方向を撮像方向として、撮像し、
前記アンテナが、車両絶対位置情報を取得し、
前記車両内情報処理装置が、前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能であり、
前記電源装置が、前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給し、
更に、前記車両内情報処理装置は、
関連付け部が、前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付けるステップと、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部が、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定するステップと、
絶対位置特定部が、前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定し、
送信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信するステップと、
を実行し、
前記車両外情報処理装置は、
受信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信するステップと、
生成部が、前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成するステップと、
を実行する、
方法。
前記農場用自走式車両は、距離測定センサー、駆動輪、ホイールモータ、スピードコントローラ、２つの撮像装置、アンテナ、車両内情報処理装置、電源装置を備え、
前記距離測定センサーが、前記車両の進行方向上の対象と前記車両との距離を測定し、
前記ホイールモータが、前記駆動輪を動作させ、
前記スピードコントローラが、前記ホイールモータを制御し、
前記２つの撮像装置が、前記車両の進行方向に対して直角方向であり地上に対して水平方向であって、互いに相反する方向を撮像方向として、撮像し、
前記アンテナが、車両絶対位置情報を取得し、
前記車両内情報処理装置が、前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能であり、
前記電源装置が、前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給し、
更に、前記車両内情報処理装置は、
関連付け部が、前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付けるステップと、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部が、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定するステップと、
絶対位置特定部が、前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定し、
送信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信するステップと、
を実行し、
前記車両外情報処理装置は、
受信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信するステップと、
生成部が、前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成するステップと、
を実行する、
方法。
【請求項9】
前記農作物はいちごである、
請求項８に記載の方法。
請求項８に記載の方法。
【請求項10】
前記車両内情報処理装置内の記憶装置は、前記撮像された画像を記憶する、
請求項８又は９に記載の方法。
請求項８又は９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願において開示された技術は、農場用自走式車両を含むシステム、プログラム、又は方法に関する。
【背景技術】
【0002】
農業関連技術の向上が望まれている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－２４３３４１号公報
【特許文献2】特開２０１９－２１３５５７号公報
【特許文献3】特開２０１７－１２７２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、現在の技術において、農業関連技術が不十分な部分がある。そこで、本発明の様々な実施形態は、上記の課題を解決するために、農場用自走式車両を含むシステム、情報処理システム、情報処理装置、サーバー装置、プログラム、携帯端末装置、又は方法を提供する。
【課題を解決するための手段】
【0005】
本願の第１の実施形態にかかわるシステムは、
農場用自走式車両及び車両外情報処理装置を含むシステムであって、
前記農場用自走式車両は、
前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサーと、
駆動輪と、
前記駆動輪を動作させるホイールモータと、
前記ホイールモータを制御するスピードコントローラと、
前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置と、
車両絶対位置情報を取得するアンテナと、
前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置と、
前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給する電源装置と、
を備える農場用自走式車両であって、
前記車両内情報処理装置は、
前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付ける関連付け部と、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部であって、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部と、
前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定する絶対位置特定部と、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信する送信部と、
を備え、
前記車両外情報処理装置は、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信する受信部と、
前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成する生成部と、
を備える、システムであってよい。システムが上述の構成を備える場合、後述のとおり車両が蛇行せずに略農場内通路の略中央を走行し、いわゆるサイドカメラが農作物を再現性高く撮像でき、かかる再現性の高い画像内において過去に撮像した画像内の農作物の位置と現在撮像した画像内の農作物の位置の照合が可能となり、もって、予想収穫可能時期を生成できるという利点を有する。
農場用自走式車両及び車両外情報処理装置を含むシステムであって、
前記農場用自走式車両は、
前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサーと、
駆動輪と、
前記駆動輪を動作させるホイールモータと、
前記ホイールモータを制御するスピードコントローラと、
前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置と、
車両絶対位置情報を取得するアンテナと、
前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置と、
前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給する電源装置と、
を備える農場用自走式車両であって、
前記車両内情報処理装置は、
前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付ける関連付け部と、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部であって、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部と、
前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定する絶対位置特定部と、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信する送信部と、
を備え、
前記車両外情報処理装置は、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信する受信部と、
前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成する生成部と、
を備える、システムであってよい。システムが上述の構成を備える場合、後述のとおり車両が蛇行せずに略農場内通路の略中央を走行し、いわゆるサイドカメラが農作物を再現性高く撮像でき、かかる再現性の高い画像内において過去に撮像した画像内の農作物の位置と現在撮像した画像内の農作物の位置の照合が可能となり、もって、予想収穫可能時期を生成できるという利点を有する。
【0006】
ここで、前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサーは、車両の前方方向の対象の距離が測定可能であり、特に、車両の前方両側にある農作物との距離を測定可能であって、それらの農作物と車両との距離を測定し、後述の仮想壁の生成に必要な距離情報を収集可能である。
また、前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置は、いわゆる、サイドカメラであり、車両の両側にある農作物を撮像可能とし、これらの農作物を撮像するものである。
車両絶対位置情報を取得するアンテナは、後述するとおり、例えば、GPSなどの絶対位置情報を取得するために使用されるものである。
前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置は、車両を自走させたり蛇行させたりする技術は従来技術であることに対し、車両の前方両側に平行な仮想壁を生成し、かかる弊酷な仮想壁と平行に車両を進行させるよう制御することを一つの特徴としている。
また、前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置は、いわゆる、サイドカメラであり、車両の両側にある農作物を撮像可能とし、これらの農作物を撮像するものである。
車両絶対位置情報を取得するアンテナは、後述するとおり、例えば、GPSなどの絶対位置情報を取得するために使用されるものである。
前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置は、車両を自走させたり蛇行させたりする技術は従来技術であることに対し、車両の前方両側に平行な仮想壁を生成し、かかる弊酷な仮想壁と平行に車両を進行させるよう制御することを一つの特徴としている。
【0007】
本願の第２の実施形態にかかわるシステムは、第１のシステムにおいて、前記車両内情報処理装置は、前記機械学習部による処理と、前記スピードコントローラの制御と、を異なるタイミングで実行する、ものである。
【0008】
本願の第３の実施形態にかかわるシステムは、第１又は第２のシステムにおいて、
前記予想収穫可能時期を生成する生成部は、前記分類と、過去の分類とを用いて、前記予想収穫可能時期を特定し、
前記過去の分類は、前記絶対位置情報と、過去に受信した絶対位置情報とが照合されることによって判明した、前記過去に受信した絶対位置情報と関連付けられた分類である、
ものである。
前記予想収穫可能時期を生成する生成部は、前記分類と、過去の分類とを用いて、前記予想収穫可能時期を特定し、
前記過去の分類は、前記絶対位置情報と、過去に受信した絶対位置情報とが照合されることによって判明した、前記過去に受信した絶対位置情報と関連付けられた分類である、
ものである。
【0009】
本願の第４の実施形態にかかわるシステムは、第１乃至第３のいずれか一のシステムにおいて、
前記農作物は、いちごである、
ものである。
前記農作物は、いちごである、
ものである。
【0010】
本願の第５の実施形態にかかわるシステムは、第１乃至第４のいずれか一のシステムにおいて、
前記車両は、温度、湿度、及び二酸化炭素量を測定する環境センサーを備え、
前記送信部は、測定された、前記温度、前記湿度、及び前記二酸化炭素量を、前記車両外情報処理装置に送信し、
前記車両外情報処理装置内の前記受信部は、前記温度、前記湿度、及び前記二酸化炭素量を受信する、
ものである。
前記車両は、温度、湿度、及び二酸化炭素量を測定する環境センサーを備え、
前記送信部は、測定された、前記温度、前記湿度、及び前記二酸化炭素量を、前記車両外情報処理装置に送信し、
前記車両外情報処理装置内の前記受信部は、前記温度、前記湿度、及び前記二酸化炭素量を受信する、
ものである。
【0011】
本願の第６の実施形態にかかわるシステムは、第１乃至第５のいずれか一のシステムにおいて、
前記予想収穫可能時期、前記温度、前記湿度、及び前記二酸化炭素量は、携帯端末から前記車両外情報処理装置にアクセスした場合に、前記車両外情報処理装置から前記携帯端末に送信される、
ものである。
前記予想収穫可能時期、前記温度、前記湿度、及び前記二酸化炭素量は、携帯端末から前記車両外情報処理装置にアクセスした場合に、前記車両外情報処理装置から前記携帯端末に送信される、
ものである。
【0012】
本願の第７の実施形態にかかわるシステムは、第１乃至第６のいずれか一のシステムにおいて、
前記車両内情報処理装置内の記憶装置は、前記撮像された画像を記憶する、
ものである。
前記車両内情報処理装置内の記憶装置は、前記撮像された画像を記憶する、
ものである。
【0013】
本願の第８の実施形態にかかわる方法は、
農場用自走式車両及び車両外情報処理装置を含むシステムを用いた方法であって、
前記農場用自走式車両は、距離測定センサー、駆動輪、ホイールモータ、スピードコントローラ、２つの撮像装置、アンテナ、車両内情報処理装置、電源装置を備え、
前記距離測定センサーが、前記車両の進行方向上の対象と前記車両との距離を測定し、
前記ホイールモータが、前記駆動輪を動作させ、
前記スピードコントローラが、前記ホイールモータを制御し、
前記２つの撮像装置が、前記車両の進行方向に対して直角方向であり地上に対して水平方向であって、互いに相反する方向を撮像方向として、撮像し、
前記アンテナが、車両絶対位置情報を取得し、
前記車両内情報処理装置が、前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能であり、
前記電源装置が、前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給し、
更に、前記車両内情報処理装置は、
関連付け部が、前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付けるステップと、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部が、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定するステップと、
絶対位置特定部が、前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定し、
送信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信するステップと、
を実行し、
前記車両外情報処理装置は、
受信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信するステップと、
生成部が、前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成するステップと、
を実行する、
ものである。
農場用自走式車両及び車両外情報処理装置を含むシステムを用いた方法であって、
前記農場用自走式車両は、距離測定センサー、駆動輪、ホイールモータ、スピードコントローラ、２つの撮像装置、アンテナ、車両内情報処理装置、電源装置を備え、
前記距離測定センサーが、前記車両の進行方向上の対象と前記車両との距離を測定し、
前記ホイールモータが、前記駆動輪を動作させ、
前記スピードコントローラが、前記ホイールモータを制御し、
前記２つの撮像装置が、前記車両の進行方向に対して直角方向であり地上に対して水平方向であって、互いに相反する方向を撮像方向として、撮像し、
前記アンテナが、車両絶対位置情報を取得し、
前記車両内情報処理装置が、前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能であり、
前記電源装置が、前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給し、
更に、前記車両内情報処理装置は、
関連付け部が、前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付けるステップと、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部が、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定するステップと、
絶対位置特定部が、前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定し、
送信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信するステップと、
を実行し、
前記車両外情報処理装置は、
受信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信するステップと、
生成部が、前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成するステップと、
を実行する、
ものである。
【0014】
本願の第９の実施形態にかかわる方法は、第８の方法において、
前記農作物はいちごである、
ものである。
前記農作物はいちごである、
ものである。
【0015】
本願の第１０の実施形態にかかわる方法は、第８又は９の方法において、
前記車両内情報処理装置内の記憶装置は、前記撮像された画像を記憶する、
ものである。
前記車両内情報処理装置内の記憶装置は、前記撮像された画像を記憶する、
ものである。
【発明の効果】
【0016】
本願発明の一実施形態により、農業関連技術を高度化できる。
【図面の簡単な説明】
【0017】
【0018】
本願発明に係る一実施形態のシステムは、農業用自走式車両に関連し、農業に係る情報を収集するものである。
【0019】
図１は、かかる一実施形態のシステムの一態様を図示したものである。本願発明に係る一実施形態のシステムは、農場用自走式車両及び車両外情報処理装置を含むシステムであってよい。本図において、農場用自走式車両と、車両外情報処理装置と、は互いに直接又は間接的に接続可能であってよい。車両外情報処理装置は、車両の外にある情報処理装置であり、記憶装置及び演算装置を備え、他の情報処理装置と直接又は間接的に情報をやり取り可能な一般的なコンピュータであってよく、その態様は、サーバー、クラウド、などであってよい。
【0020】
図２は、本願発明に係る一実施形態のシステム内の農場用自走式車両の一態様を図示したものである。本願発明に係る一実施形態のシステム内の農場用自走式車両は、前記農場用自走式車両は、前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサー（２０１）と、駆動輪と、前記駆動輪を動作させるホイールモータ（２０２）と、前記ホイールモータを制御するスピードコントローラ（２０３）と、前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置（２０４）と、車両絶対位置情報を取得するアンテナ（２０５）と、前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置（２０７）と、前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給する電源装置（２０８）と、を備える農場用自走式車両であってよい。
【0021】
ここで、距離測定センサー２０１と、ホイールモータ２０２と、スピードコントローラ２０３と、サイドカメラ（２０４）と、環境センサー（２０６）と、車両内情報処理装置（２０７）と、電源装置（２０８）、の各々の、各構成要素自体は、市場で購入可能なものであってよく、公知の技術であってよい。本願発明は、後述するとおり、これらの各構成要素の組み合わせ及びその制御について特徴があるものである。車両内情報処理装置は、車両に設置されている情報処理装置であり、記憶装置及び演算装置を備える一般的なコンピュータであってよい。
【0022】
また、農場用自走式車両は、農場用自走式車両を支えるキャスター（２０９）を備えてよい。また、農場用自走式車両は、農場用自走式車両外の情報処理装置と、直接又は間接的に情報の送信及び受信が可能な、ネットワークアンテナ２１０を備えてよい。かかるキャスター及びかかるネットワークアンテナは、情報処理装置と情報の送信及び受信が可能な公知の技術が用いられてよい。
【0023】
また、位置情報を取得可能なアンテナ２０５は、GPSを測定可能なGNSSアンテナであってよい。また、その他のアンテナの態様として、RTK（Real TIME Kinematic）を用いたアンテナであってもよい。これらのアンテナを用いて位置情報を取得する機能は、公知の技術を用いてよい。
【0024】
ただし、従来、ほ場では高設架台や作物が視界を遮るため、走行している車体を発見しにくいという課題があった。そこで、自走機構にマーカーが設置されてよい。マーカーは高設架台や作物より高い位置に設置されてよい。例えば、GNSSアンテナを使用する場合、アンテナは高設架台や作物より高い場所にある事が望ましい。また、例えば、高設架台や作物より高い位置に走行位置を示すマーカーと、その上にGNSSアンテナを設置されてよい。
【0025】
図３は、本願発明に係る一実施形態のシステム内の自走式車両の走行イメージを図示したものである。本願書類において、自走とは、壁から一定の距離を保ちつつ、障害物の回避などを含めたルート走行を行う機能である。
【0026】
かかる自走を行うにあたり、従来技術における通路を走行する自走式車両では、深度カメラ等を用い、凹凸の少ない壁からの距離情報を取得し自走式車両と壁との距離、角度を算出するものがあった。その結果、自走式車両は壁から一定の距離と角度を保ちながら走行できる場合もある。
【0027】
しかしながら、従来技術においては、農場用の場合において自走する場合、両側の作物は生育により凹凸が生じうる。そのため、深度カメラから取得される距離データを元に作物との距離と角度を一定に保ちながら走行すると、自走式車両は蛇行しながら走行するという問題が生じる。
【0028】
そこで、本願発明に係る一実施形態のシステムが、深度カメラ等を用い、進行方向にある物体との距離を計測、計測結果から凹凸の少ない両側の仮想壁を構築し、かかる両側の仮想壁との距離と角度を一定に保ちながら自走式車両を走行させることが可能となる。両側の仮想壁の構築には、進行方向にある物体の凹凸の平均等を用いる。より具体的には、自機と仮想壁との角度を一定に保つため、自機の中心位置から進行方向へ一定間隔で仮想壁との距離を測定し、自機と壁との角度が平行となるようにスピードモーターを制御し、かかるスピードモーターの制御によって、ホイールモータを制御する。なお、壁の間隔が狭い場合や、走行面に障害物がある場合は停止もしくは回避、迂回等の行動を行ってよい。なお、距離測定センサー（深度カメラ）の方向の角度は、進行方向に向いてもよいし多少下方方向を向けてもよい。例えば、深度カメラは、地上に対して水平方向乃至前記水平方向から下方向に２０度の範囲のうちの一の方向に向けられてよい。かかる深度センサーの角度は、かかる深度センサーの垂直視野角に依存してよい。例えば、垂直視野角40°であれば、例えば、好ましくは、地上に対して水平方向から下方向に１０度の方向に向けられてよく、最大で、地上に対して水平方向から下方向に２０度程度まで下方に向けてよい。かかる深度カメラは、仮想壁構築のために必要な水平方向の視野を確保できる範囲で、カメラを斜め下に向けられてよい。
【0029】
このように、本願発明に係る一実施形態のシステムが、上述の構成を備える場合、蛇行走行ではなく、両側の仮想壁に対して平行に走行できるという利点がある。特に、後述のとおり、本願発明に係る一実施形態のシステムが、サイドカメラを備えて農作物を撮像し、かかる農作物の形状等に基づいて位置情報を特定し、その位置情報によって農作物を照合して成長状況のデータを収集する場合、蛇行走行では撮像画像の再現性が向上する、という利点がある。ここで、撮像画像の再現性とは、異なるタイミングで、同一撮像位置から撮像が可能になることを意味する。
【0030】
図４は、本願発明に係る一実施形態のシステムにおけるフローの一態様を図示したものである。開始すると（４０１）、まず時刻を同期させ（４０２）、時刻の同期が成功すると、現在位置の特定（４０３）を行う。現在位置の特定が成功すると、センサー情報を取得する（４０４）。これらのステップにおいては、情報が取得できない場合は、情報を取得できるまで繰り返してよい。次に、日時、位置、センサー情報を記録し（４０５）、移動する（４０６）。移動後に現在位置を特定し（４０７）、現在位置が特定できた場合には、日時、位置、センサー情報を記録し（４０８）、位置が特定できない場合には、日時、センサー情報を記録する（４０９）。終了していない場合には、再度、移動して、上述を繰り返す。このように、移動のたびに、位置の取得を試みつつ、日時、センサー情報を取得して記録することにより、移動後の位置を可能な限り情報として取得し、後述のとおり、かかる位置情報（絶対位置情報）を用いて、車両の撮像装置から撮像された画像内の農作物の相対位置を特定し、これらを用いて、農作物の絶対位置を特定可能となる。なお、図４における現在位置の特定は、上述のGNSSアンテナを用いた位置情報であってよく、GPSを用いた位置情報であってよい。
【0031】
図５は、本願発明に係る一実施形態のシステム内において利用される農作物（いちご）の分類の一態様を図示したものである。
【0032】
本願発明に係る一実施形態のシステム内における情報処理装置は、画像の処理が可能であってよい。かかる前記前記撮像された画像の処理が可能な車両内情報処理装置は、
前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付ける関連付け部と、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部であって、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部と、
前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定する絶対位置特定部と、
を備えてよい。かかる車両内情報処理装置は、上述のように記憶装置と演算装置とを有する一般的な情報処理装置によって実現されてよい。
前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付ける関連付け部と、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部であって、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部と、
前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定する絶対位置特定部と、
を備えてよい。かかる車両内情報処理装置は、上述のように記憶装置と演算装置とを有する一般的な情報処理装置によって実現されてよい。
【0033】
まず、かかる車両内情報処理装置は、前記撮像された画像と、前記撮像された日時と、前記アンテナによって取得された位置情報と、を関連付ける関連付け部を有してよい。例えば、かかる車両内情報処理装置は、撮像された画像と、前記撮像された日時と、前記画像が撮像された絶対的位置情報を示す前記アンテナによって取得された位置情報と、を関連付けて記憶装置に記憶してよい。かかるアンテナによって取得された位置情報は、上述のとおり、絶対的な位置を示すものであってよい。
【0034】
また、かかる車両内情報処理装置は、画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の前記農作物の位置と、の関係を機械学習済みの機械学習部を有してよい。かかる機械学習が可能である機械学習部自体は、オープンソースなどでインターネット上から入手可能な、公知なソフトウェアによって実現されてよい。機械学習を実現可能なオープンソースとしては、例えば、オープンソースニューラルネットワークのDarknetと物体検出アルゴリズムYOLOが挙げられる。車両内情報処理装置におけるかかる機械学習部は、予め、画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の前記農作物の位置と、の関係を機械学習しておいてよい。これにより、かかる機械学習部は、画像を入力とすることにより、画像内の画像内の色及び形状で分類可能な農作物の分類及び画像内の前記農作物の位置を出力可能な機能を有する。
【0035】
色及び形状で分類可能な農作物としては、たとえば、本図のいちごが挙げられる。いちごでは、成長に伴い、緑色から、白、赤、と色が変化し、かつ、形状も、少しずつ大きくなっていく。そこで、これらの成長を、本図の項の２乃至８にあるとおりに、分類することが可能となる。なお、各分類は、成長の日数が実験的に求められていてよい。これにより、あるいちごが、特定の分類に分類された場合、対応して累計日数を、一定の幅で、特定可能である。また、いちごが、成熟して、収穫可能な類型日数も２８日と予め明らかであることから、いちごの分類に応じて、何時頃の収穫が可能であるかという予測も可能となる。
【0036】
以上のとおり、車両内情報処理装置におけるかかる機械学習部が、予め、画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の前記農作物の位置と、の関係を機械学習しておくことにより、ある撮像された画像がかかる機械学習部に適用されることによって、かかる画像内の色と形状で分類可能な農作物（例えば、いちご）に対応する分類（例えば、本図における「項」の２乃至８のいずれか）及び画像内の前記農作物の位置を特定することが可能となる。
【0037】
また、画像内の農作物の位置は、機械学習の物体検出によって、可能である。かかる物体検出の技術自体は、公知技術を用いてよい。
【0038】
図６は、本願発明に係る一実施形態のシステムに係る農作物の位置を特定する一態様を図示したものである。
【0039】
従来、同一の作物に対し、連続的に生育状況を把握するには、定点（位置を固定した状態）で作物を撮影する必要があった。しかしながら、位置を固定した撮像装置によって撮像可能な範囲は限られるため、広範囲で多数の対象に対して連続的に生育状況を把握することが出来ないという課題があった。
【0040】
そこで、農作物を撮像する撮像装置に係る絶対座標と、かかる撮像された画像内の農作物の相対座標と、を組み合わせることによって、農作物の絶対座標の位置を特定してよい。
【0041】
まず、本願発明に係る一実施形態のシステムに係る農場用自走式車両に固定した撮像装置によって撮像された場合、撮像された画像（映像）の記録と同時に、記録した映像に以下で述べる位置情報（絶対座標であり、相対座標を含まない）を付加する仕組みを持ってよい。映像は１秒間に３０フレームであってよく、フレームごとに、位置情報を取得し、撮像された画像と、撮像された車両の絶対座標の位置情報とを関連付けて記憶してよい。また、同様に、撮像された日時も、かかる画像及び位置情報と関連付けて、記憶してよい。位置情報は、映像のメタ情報として記録してもよいし、撮影したフレーム番号と関連付けてログデータとして記録しても良い。すなわち、本願発明に係る一実施形態のシステムに係る農場用自走式車両に係る車両内情報処理装置は、撮像された画像と、前記アンテナによって取得された位置情報と、を関連付ける関連付け部を備えてよい。かかる構成により、画像が撮像された場合に、かかる画像が撮像された、絶対座標の位置座標を記憶できる利点がある。
【0042】
また、撮像された画像内において、物体検出によって特定された農作物（いちご）の相対座標を特定する。図６の上部の破線で囲まれた部分が、撮像された画像を正面から見たものであり、本図の下部の二点鎖線で囲まれた部分が、撮像装置と撮像対象とを上方から見たものであり、互いに関連付けて、図示している。上部の破線内のように、機械学習済み機械学習部の物体検出によって検出されたいちごの位置を、画像内のデカルト座標のＸ、Ｙ座標で特定可能となる。ここで図示されたＹ座標は高さ方向に対応することから、撮像装置の高さとＹ座標とを利用することで、いちごの絶対的な高さの位置が判明する。また、図示されたＸ座標と撮像装置（農場用自走式車両、又はアンテナ）の絶対位置を用いることでかかるＸ座標方向における絶対位置が判明する。なお、かかるＸ座標と直角関係にある方向の座標（要するに画像から見て奥行き方向の座標）は、画像内から特定されなくてもよい。画像内におけるデカルト座標に基づく相対位置座標と、車両に固定された撮像装置（又は定数の距離の際の関係にある農場用自走式車両）の車両絶対位置座標が判明すれば、撮像装置が上述の仮想壁に平行に移動するに伴い撮像する画像の平面と平行な面における各いちごの位置は特定可能であることから、後述のイチゴの位置の照合が可能であるためである。
【0043】
また、本願発明に係る一実施形態のシステムに係る車両内情報処理装置は、前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信する送信部を有してよい。かかる構成を備える場合、農作物に関する情報などを、車両外情報処理装置に伝達できる利点がある。
【0044】
また、本願発明に係る一実施形態のシステムに係る車両内情報処理装置は、前記車両内情報処理装置は、前記機械学習部による処理と、前記スピードコントローラの制御と、を異なるタイミングで実行する機能を有してよい。
【0045】
機械学習部による物体認識の処理は、高い計算能力が必要である。そのため、農場用自走式車両内に備えるような車両内情報処理装置を、機械学習部による処理と、その他の車両の制御と、を同時に行うような高機能の処理を可能とするために、高い電力を提供可能な電源や高機能な情報処理装置を備える必要があるという問題があった。
【0046】
そこで、本願発明に係る一実施形態のシステムに係る車両内情報処理装置は、前記車両内情報処理装置は、前記機械学習部による処理と、前記スピードコントローラの制御と、を異なるタイミングで実行する機能を有してよい。より具体的には、自走時に撮像した画像を一時的に保存し、自走していない時間帯（アイドルタイム）に、機械学習部による処理を行うよう構成してよい。かかる構成により、ハードウェアの演算資産を効率的に運用する利点がある。すなわち、本願発明に係る一実施形態のシステムに係る車両内情報処理装置は、前記機械学習部による処理を行っている間は、前記スピードコントローラの制御を停止してよく、他方、かかる車両内情報処理装置が、前記スピードコントローラの制御を行っている間は、前記機械学習部による処理を停止してよい。
【0047】
本願発明に係る一実施形態のシステムに係る車両外情報処理装置は、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信する受信部と、
前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成する生成部と、を備えてよい。
前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信する受信部と、
前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成する生成部と、を備えてよい。
【0048】
例えば、車両外情報処理装置は、図７のように、各農作物について、IDと、絶対位置座標と、画像の撮像された日時と、を関連付けて、記憶してよい。このように、各農作物の絶対位置座標による絶対位置情報が特定されることから、農場用自走式車両が異なるタイミング（例えば、翌日、２日後、３日後など）において撮像された画像において、成長によって色や形状が変化した場合であっても、各農作物の絶対位置情報を照合し、同一の絶対位置情報におけるものとして、同一の農作物であることを判定することが可能となる。同一の農作物であることが判定できれば、その場合の分類情報を用いて、現在の生育状況を特定することができる。
【0049】
これは、例えば、図５のように、色と形状からいちごを分類できるとしても、同一の分類において生育状況にはばらつきがある。例えば、分類２においては7日であるが、次の分類３においては１４日であり、７日の幅がある。そのため、画像内のいちごを、色と形状を用いて分類できたとしても、その分類に対応する経過日数の幅があるため、現在の生育状況を正確に特定できず、将来の収穫時期の予測精度も低下する課題があった。
【0050】
かかる課題に対し、上述のように、農場用自走式車両が異なるタイミング（例えば、翌日、２日後、３日後など）において撮像された画像において、各同一と判定される農作物の分類を特定することにより、分類が変更された日時（例えば、分類２から分類３への変更など）を用いることで、農作物の生育の累計日数をより正確に特定することが可能であり、かかる生育情報に基づいて、かかる農作物の収穫時期を、より正確に特定できる利点がある。すなわち、願発明に係る一実施形態のシステムに係る車両外情報処理装置が、各農作物について、少なくとも、絶対位置座標と、画像の撮像された日時と、を関連付けて記憶し、同一の絶対値座標を有する農作物について、画像の撮像された日時が異なるものを使用することで、かかる農作物の累計日数を、分類の幅内の情報よりもより特定することが可能となり、かかる農作物の収穫予測時期を、より精度を高く、特定できる利点がある。
【0051】
なお、各農作物についての、各分類、および、各分類に対応付けられる農作物の生育の累計日数、及び、かかる農作物の収穫時期の累計日数は、予め実験などにより特定され、準備され、車両外情報処理装置内の記憶装置内に記憶されてよい。
【0052】
また、車両外情報処理装置は、かかる、各農作物の予測収穫時期を用いて、特定の時期（期間又は日）における、農作物の収穫予測個数を算出可能であってよい。かかる収穫予測個数は、特定の時期に収穫時期となる、一定の農場内の農作物の個数の合計によって算出できてよい。
【0053】
例えば、図８は、各農作物（例えば、いちごの種類１、いちごの種類２、いちごの種類３など）と関連付けて、各収穫時期と関連付けられた収穫予測個数、を一覧にした一例である。このように収穫予測時期と、対応付けられた、各農作物の、収穫予測個数が判明することにより、農作業の予定が容易になり、また、出荷の予定の計画なども容易になる利点がある。
【0054】
上述の一覧の情報は、車両外情報処理装置内に記憶されてよく、また、利用者が、かかる車両外情報処理装置に対してアクセスすることで、閲覧できてよい。例えば、車両外情報処理装置が、サーバー、又は、クラウドであり、かかる車両外情報処理装置に対して、携帯端末からアクセスすることにより、各農作物と関連付けて、各収穫時期と関連付けられた収穫予測個数が、表示されてよい。携帯端末装置は、スマートフォン、アイパッド、携帯電話、などであってよく、かかる構成により、利用者は、気軽にアクセス可能であってよい。また、かかるアクセスは、利用者のＩＤとパスワードの入力によって、可能であってよい。この場合、農場内という一定のプライバシーのある環境内における情報を用いたものであってよい。
【0055】
また、本願発明に係る一実施形態のシステムにおいて、自走式車両が収集したセンシングデータや作物数や生育状況は、自走式車両に搭載されたアンテナから、クラウドのサーバーもしくは、ローカルサーバーに送信され、サーバーでデータを整理した後、ユーザー側へ提示されてよい。ユーザーには地点毎のセンサー情報や生育情報が提示されてよい。また、上述のサーバーでは地点毎のセンシングデータと、同地点での作物の生育状況を紐づけて管理されており、地点毎の品質の違いや収穫時期等を把握できるようになってよい。また、天気予報などの外部データと紐づけ、正確な収穫時期の算出することにより、必要な作業量の見通しを立てることが出来るようになってよい。
【0056】
また、本願発明に係る一実施形態のシステムにおいては、進入禁止サインや方向転換サインを設置することで、自律走行車がサインを認識、指定された行動をとるよう、ユーザーが現場で走行ルートを用意に変更できるようにされてよい。これは、従来のルート走行では、ルート設計を変更する場合、PCによるルートの再設定が必要であったことに対し、簡易に設定できる利点がある。
【0057】
また、本願発明に係る一実施形態の自走式車両は、駆動輪を動作させるホイールモータと、ホイールモータを制御するスピードコントローラと、車両を支えるキャスターと、位置情報を取得するGNSSアンテナと、障害物を検知する距離測定センサー（深度カメラ）と、作物を撮影するためのサイドカメラと、温度・湿度・二酸化炭素量を測定する環境センサーと、車両のコントロール及び各種センサーのデータを取得する演算装置と、各ユニットの電源となる電源装置と、ネットワーク通信を行うためのアンテナ、で構成されてよい。
【0058】
自走式車両は距離センサーから周囲の物体との実距離を測定し、演算装置により障害物との実距離と、目標とする物体との目標距離の差を計算し、実距離が目標距離に近づくようにスピードコントローラに制御命令を送信し、スピードコントローラはホイールモータを駆動させてよい。また、電源装置はスピードコントローラ、ホイールモータ、演算装置に電源を供給してよい。演算装置は、GNSSアンテナ、距離センサー、サイドカメラ、環境センサー、ネットワークアンテナに電源を供給してよい。また、演算装置はGNSSアンテナから位置情報を取得する機能と、距離センサーから周囲の物体までの距離情報と、サイドカメラから作物の映像と、環境センサーから温度、湿度、二酸化炭素などの数値を取得し、それらをネットワークアンテナを通して外部へ取得情報を送信する機能を有してよい。
【0059】
自走式車両からネットワークを介してGNSSアンテナから取得した位置情報を元に、位置情報毎の環境センサーの値と、位置情報毎のサイドカメラから取得した作物数、個体毎の作物の生育情報を外部システムへ送信してよい。外部システムは今後の天気予報等と受信した情報を元に、個体毎に作物の生育予測を行う。生育予測には過去の生育情報（個体毎の生育情報とセンサー値、天気情報等を元にディープラーニングで回帰分析したデータ等）を用いる。生育予測の結果はユーザーに提示されてよい。
【0060】
入力は次のものでよい。
作物A：温度、湿度、二酸化炭素量、生育情報
作物B：温度、湿度、二酸化炭素量、生育情報
作物C：温度、湿度、二酸化炭素量、生育情報
…
作物A：温度、湿度、二酸化炭素量、生育情報
作物B：温度、湿度、二酸化炭素量、生育情報
作物C：温度、湿度、二酸化炭素量、生育情報
…
【0061】
分析の結果は次のものでよい。
作物A：3日後
作物B：10日後
作物C：6日後
…
作物A：3日後
作物B：10日後
作物C：6日後
…
【0062】
出力としては次のものでよい。
1日後：100個
2日後：90個
3日後：80個
4日後：130個
1日後：100個
2日後：90個
3日後：80個
4日後：130個
【0063】
また、本願発明に係る他の一実施形態のシステムにおいては、リモートセンシングの機能を有してよい。ここで、リモートセンシングとは、特定の位置に設置したセンサーから取得したデータを利用者へ提供する機能の事を示してよい。
【0064】
従来技術におけるセンシングは定点で実施されていた。すなわち、複数の地点でセンシングする場合、地点毎にセンサーが必要となるものである。
【0065】
そこで、本願発明に係る他の一実施形態のシステムにおいては、センサーを移動体に搭載し、移動時にデータを取得した位置と時刻を記録してよい。記録する情報には、農作物の状態、数、環境情報などが挙げられる。位置の測定手段は以下の態様のものが想定される。これらは、複合してもよい。
【0066】
態様１。GNSSアンテナから取得した位置情報を元に位置情報を特定する。位置情報にはRTK(基準局からの位置情報をもとにした高精度な位置情報データ）等を用いてよい。
【0067】
態様２。所定の位置からの移動距離（タイヤの回転数や画像から）から現在位置を特定してよい。
【0068】
態様３。所定のオブジェクトとの関係（QRコード、ID）などから現在位置を特定してよい。1.計測日時、2.計測座標、3.測定したセンサーの設置高、4.気温/湿度/CO2濃度/照度が記録されている。計測日時を合わせるため、計測開始時にはGNSSアンテナから取得した情報に付加されている時刻情報などを元に内部時計を調整し、時刻合わせ完了後、内部時計で計測日時を記録してよい。
【0069】
本願書類において、システム、という用語は、農業用自走式車両及び前記農業用自走式車両とネットワークを介して直接又は間接的に接続された一又は複数の車両外情報処理装置を含むものであってよい。また、かかる構成に代えて、システム、という用語は、農業用自走式車両のみを含み、ネットワークを介した一又は複数の車両外情報処理装置を含まないものであってもよい。また、かかる構成に代えて、システム、という用語は、農業用自走式車両を含まず、一又は複数の車両外情報処理装置から構成されるものであってもよい。また、各種図面内の〇、△、□などの表示は、各文脈に沿った適宜の値が入ってよく、同じ値でもよいし、異なる値でもよい。
【0070】
また、本願書類において、農場用自走式車両は、農場内を自走する車両であってよい。特に、農場は、ほ場の上位概念であってよい。ほ場は、農作物を育てる場所であってよい。例えば、ほ場は、農業用ハウス内であってよい。
【0071】
また、上述において、農作物としては、いちごを取り上げたが、いちごに限られず、色と形状によって農作物の分類が可能なものであれば、公知の機械学習技術を用いることによって、画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部を構成することは可能であり、撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部を構成することも可能である。なお、色と形状によって農作物の分類が可能なものとしては、例えば、いちごの他、ピーマン、なす、トマト、キュウリなどが挙げられる。
【0072】
本願書類の実施例において述べた発明例は、本願書類で説明されたものに限らず、その技術的思想の範囲内で、種々の例に適用できることはいうまでもない。
【0073】
また、本願書類で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものであってよい。また、本願書類で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能であってよい。またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
【0074】
符号の説明
２０１ 距離測定センサー
２０２ ホイールモータ
２０３ スピードコントローラ
２０４ サイドカメラ
２０５ GNSSアンテナ
２０６ 環境センサー
２０７ 演算装置
２０８ 電源装置
２０９ キャスター
２１０ ネットワークアンテナ
２０１ 距離測定センサー
２０２ ホイールモータ
２０３ スピードコントローラ
２０４ サイドカメラ
２０５ GNSSアンテナ
２０６ 環境センサー
２０７ 演算装置
２０８ 電源装置
２０９ キャスター
２１０ ネットワークアンテナ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
