知財求人 - 知財ポータルサイト「IP Force」
特開2019-204500ガイドロープを指標に走行する自走式作業車や各種作業車・ドローン等及び自走式作業車等の制御方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-204500(P2019-204500A)
(43)【公開日】2019年11月28日
(54)【発明の名称】ガイドロープを指標に走行する自走式作業車や各種作業車・ドローン等及び自走式作業車等の制御方法
(51)【国際特許分類】
G05D 1/02 20060101AFI20191101BHJP
A01B 69/00 20060101ALI20191101BHJP
G06T 7/60 20170101ALI20191101BHJP
G06T 7/00 20170101ALI20191101BHJP
G06Q 50/10 20120101ALI20191101BHJP
【ＦＩ】
G05D1/02 K
A01B69/00 303L
G06T7/60 200J
G06T7/00 350C
G06Q50/10
【審査請求】未請求
【請求項の数】25
【出願形態】ＯＬ
【全頁数】35
(21)【出願番号】特願2019-76035(P2019-76035)
(22)【出願日】2019年4月12日
(31)【優先権主張番号】特願2018-95800(P2018-95800)
(32)【優先日】2018年5月18日
(33)【優先権主張国】JP
(71)【出願人】
【識別番号】518177009
【氏名又は名称】株式会社サティス
(74)【代理人】
【識別番号】100148851
【弁理士】
【氏名又は名称】鎌田 和弘
(72)【発明者】
【氏名】鈴木 毅
(72)【発明者】
【氏名】小倉 光貴
【テーマコード（参考）】
2B043
5H301
5L049
5L096
【Ｆターム（参考）】
2B043AA04
2B043AB19
2B043BA02
2B043BA08
2B043BB01
2B043BB11
2B043EB05
2B043EB08
2B043EB09
2B043EB17
2B043EB18
2B043EB23
2B043EC13
2B043EC14
2B043EC16
2B043EC20
2B043ED03
2B043ED12
5H301AA09
5H301BB12
5H301CC03
5H301CC06
5H301EE08
5H301FF06
5H301FF13
5H301FF18
5H301FF26
5H301GG07
5H301GG09
5L049CC12
5L096AA02
5L096AA06
5L096BA04
5L096CA04
5L096FA06
5L096FA15
5L096FA54
5L096GA10
5L096GA41
5L096GA55
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】作業対象となる敷地の上部空間に張架されたガイドロープを画像認識して、当該ガイドロープに基づく所望の敷地に対して所望作業を遂行することが可能な、自走式作業車や各種作業車・ドローン等を提供することを目的とする。また、設置と撤収が極めて容易なガイドロープの張架となるので、好ましくは作業地が順次に移動していく場合であっても、その事前準備等が容易な自走式作業車や各種作業車・ドローン等を提供することを目的とする。【解決手段】空中に張架されたガイドロープを含む画像を取得する撮像部と、当該取得した画像に含まれるガイドロープを識別する検出部と、識別されたガイドロープに基づいて、進行方向を制御する制御部と、を備える自走式作業車等とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
空中に張架されたガイドロープを含む画像を取得する撮像部と、
当該取得した画像に含まれる前記ガイドロープを識別する検出部と、
識別された前記ガイドロープに基づいて、進行方向を制御する制御部と、を備える
ことを特徴とする自動進行作業装置。
当該取得した画像に含まれる前記ガイドロープを識別する検出部と、
識別された前記ガイドロープに基づいて、進行方向を制御する制御部と、を備える
ことを特徴とする自動進行作業装置。
【請求項2】
請求項１に記載の自動進行作業装置において、
前記自動進行作業装置は、自走式作業車である
ことを特徴とする自走式作業車。
前記自動進行作業装置は、自走式作業車である
ことを特徴とする自走式作業車。
【請求項3】
請求項２に記載の自走式作業車において、
前記制御部は、前記ガイドロープに沿った進行方向に制御する
ことを特徴とする自走式作業車。
前記制御部は、前記ガイドロープに沿った進行方向に制御する
ことを特徴とする自走式作業車。
【請求項4】
請求項２に記載の自走式作業車において、
前記制御部は、前記ガイドロープで囲まれた範囲内から逸脱しないように進行方向を制御する
ことを特徴とする自走式作業車。
前記制御部は、前記ガイドロープで囲まれた範囲内から逸脱しないように進行方向を制御する
ことを特徴とする自走式作業車。
【請求項5】
請求項２または請求項３に記載の自走式作業車において、
前記制御部は、前記ガイドロープに基づいて初回に進行する場合にＧＰＳデータを取得し、第２回目以降の走行時には前記ＧＰＳデータに基づいて進行方向を制御する
ことを特徴とする自走式作業車。
前記制御部は、前記ガイドロープに基づいて初回に進行する場合にＧＰＳデータを取得し、第２回目以降の走行時には前記ＧＰＳデータに基づいて進行方向を制御する
ことを特徴とする自走式作業車。
【請求項6】
請求項２または請求項３に記載の自走式作業車において、
前記制御部は、前記ガイドロープに基づいて進行する場合に、過去のデータを参照して当該データに基づいて進行方向を修正してフィードバック制御する
ことを特徴とする自走式作業車。
前記制御部は、前記ガイドロープに基づいて進行する場合に、過去のデータを参照して当該データに基づいて進行方向を修正してフィードバック制御する
ことを特徴とする自走式作業車。
【請求項7】
請求項２乃至請求項６のいずれか一項に記載の自走式作業車において、
前記ガイドロープは屋外に設置された太陽光パネルの間隙に直線状に配置されたものであり、前記自走式作業車は前記太陽光パネルの間隙に生える雑草を除去する自走式草刈機である
ことを特徴とする自走式作業車。
前記ガイドロープは屋外に設置された太陽光パネルの間隙に直線状に配置されたものであり、前記自走式作業車は前記太陽光パネルの間隙に生える雑草を除去する自走式草刈機である
ことを特徴とする自走式作業車。
【請求項8】
請求項２乃至請求項７のいずれか一項に記載に自走式作業車において、
前記撮像部は、前記自走式作業車の上部に搭載されて前記自走式作業車の上方を撮影する
ことを特徴とする自走式作業車。
前記撮像部は、前記自走式作業車の上部に搭載されて前記自走式作業車の上方を撮影する
ことを特徴とする自走式作業車。
【請求項9】
請求項５に記載の自走式作業車において、
前記取得したＧＰＳデータは前記自走式作業車からサーバに送信されて前記サーバで記録され、
第２回目以降の走行時には前記サーバからダウンロードした前記ＧＰＳデータに基づいて、前記制御部が進行方向を制御する
ことを特徴とする自走式作業車。
前記取得したＧＰＳデータは前記自走式作業車からサーバに送信されて前記サーバで記録され、
第２回目以降の走行時には前記サーバからダウンロードした前記ＧＰＳデータに基づいて、前記制御部が進行方向を制御する
ことを特徴とする自走式作業車。
【請求項10】
請求項６に記載の自走式作業車において、
前記過去のデータはサーバに記録されており、前記制御部は、前記サーバからダウンロードした前記過去のデータに基づいてフィードバック制御する
ことを特徴とする自走式作業車。
前記過去のデータはサーバに記録されており、前記制御部は、前記サーバからダウンロードした前記過去のデータに基づいてフィードバック制御する
ことを特徴とする自走式作業車。
【請求項11】
請求項２乃至請求項１０のいずれか一項に記載の自走式作業車において、
前期検出部は、
前記ガイドロープの色をＨＳＶ色空間で表現した場合の各ＨＳＶの値の範囲を定義し、当該範囲外の色のピクセルをマスクするカラーフィルタリングと、
前記カラーフィルタリング後の画像をグレースケールに変換してから、前記グレースケール変換後の画像からエッジを抽出し、
前記エッジ抽出後の画像に対して直線を構成する要素を抽出する直線検出を遂行する
ことを特徴とする自走式作業車。
前期検出部は、
前記ガイドロープの色をＨＳＶ色空間で表現した場合の各ＨＳＶの値の範囲を定義し、当該範囲外の色のピクセルをマスクするカラーフィルタリングと、
前記カラーフィルタリング後の画像をグレースケールに変換してから、前記グレースケール変換後の画像からエッジを抽出し、
前記エッジ抽出後の画像に対して直線を構成する要素を抽出する直線検出を遂行する
ことを特徴とする自走式作業車。
【請求項12】
請求項１１に記載の自走式作業車において、
前記直線検出において、複数の直線が検出された場合にはガイドロープ色のピクセル数が最も多い直線を選択する
ことを特徴とする自走式作業車。
前記直線検出において、複数の直線が検出された場合にはガイドロープ色のピクセル数が最も多い直線を選択する
ことを特徴とする自走式作業車。
【請求項13】
空中に張架されたガイドロープを含む画像を撮像部で取得する工程と、
当該取得した画像に含まれる前記ガイドロープを検出部で識別する工程と、
識別された前記ガイドロープに基づいて制御部が進行方向を制御する工程と、を有する
ことを特徴とする自走式作業車の制御方法。
当該取得した画像に含まれる前記ガイドロープを検出部で識別する工程と、
識別された前記ガイドロープに基づいて制御部が進行方向を制御する工程と、を有する
ことを特徴とする自走式作業車の制御方法。
【請求項14】
請求項１３に記載の自走式作業車の制御方法において、
検出部で識別する工程は、
前記ガイドロープの色をＨＳＶ色空間で表現した場合の各ＨＳＶの値の範囲を定義し、当該範囲外の色のピクセルをマスクするカラーフィルタリング工程と、
前記カラーフィルタリング後の画像をグレースケールに変換してから、前記グレースケール変換後の画像からエッジを抽出するエッジ抽出工程と、
前記エッジ抽出後の画像に対して直線を構成する要素を抽出する直線検出工程と、を含む
ことを特徴とする自走式作業車の制御方法。
検出部で識別する工程は、
前記ガイドロープの色をＨＳＶ色空間で表現した場合の各ＨＳＶの値の範囲を定義し、当該範囲外の色のピクセルをマスクするカラーフィルタリング工程と、
前記カラーフィルタリング後の画像をグレースケールに変換してから、前記グレースケール変換後の画像からエッジを抽出するエッジ抽出工程と、
前記エッジ抽出後の画像に対して直線を構成する要素を抽出する直線検出工程と、を含む
ことを特徴とする自走式作業車の制御方法。
【請求項15】
請求項１１に記載の自走式作業車において、
前記ガイドロープの色はピンク色である
ことを特徴とする自走式作業車。
前記ガイドロープの色はピンク色である
ことを特徴とする自走式作業車。
【請求項16】
請求項１４に記載の自走式作業車の制御方法において、
前記ガイドロープの色はピンク色である
ことを特徴とする自走式作業車の制御方法。
前記ガイドロープの色はピンク色である
ことを特徴とする自走式作業車の制御方法。
【請求項17】
請求項１に記載の自動進行作業装置において、
前記検出部は、
ｎ×ｎ（但し、ｎは任意の整数）の画像分割による、少なくとも１回の畳み込みニューラルネットワーク処理をし、
前記処理後の画像に基づき、予め事前学習して記憶しているガイドロープを示す色に関する画素特徴に基づいて、ガイドロープであるか否かを判断する
ことを特徴とする自動進行作業装置。
前記検出部は、
ｎ×ｎ（但し、ｎは任意の整数）の画像分割による、少なくとも１回の畳み込みニューラルネットワーク処理をし、
前記処理後の画像に基づき、予め事前学習して記憶しているガイドロープを示す色に関する画素特徴に基づいて、ガイドロープであるか否かを判断する
ことを特徴とする自動進行作業装置。
【請求項18】
請求項１７に記載の自動進行作業装置において、
前記検出部は、
５×５の画像分割による第一段の畳み込みニューラルネットワーク処理で、際の画素を処理せずに、３×３の画像を作成し、
３×３の画像分割による第二段の畳み込みニューラルネットワーク処理で、際の画素を処理せずに、１×１の画像を作成し、
予め事前学習して記憶しているガイドロープを示す色に関する画素特徴に基づいて、ガイドロープであるか否かを判断する
ことを特徴とする自動進行作業装置。
前記検出部は、
５×５の画像分割による第一段の畳み込みニューラルネットワーク処理で、際の画素を処理せずに、３×３の画像を作成し、
３×３の画像分割による第二段の畳み込みニューラルネットワーク処理で、際の画素を処理せずに、１×１の画像を作成し、
予め事前学習して記憶しているガイドロープを示す色に関する画素特徴に基づいて、ガイドロープであるか否かを判断する
ことを特徴とする自動進行作業装置。
【請求項19】
請求項１８に記載の自動進行作業装置において、
前記検出部は、
前記１×１の画像を作成した後に、少なくとも一回の全結合工程を遂行することにより、前記ガイドロープであるか否かを判断する
ことを特徴とする自動進行作業装置。
前記検出部は、
前記１×１の画像を作成した後に、少なくとも一回の全結合工程を遂行することにより、前記ガイドロープであるか否かを判断する
ことを特徴とする自動進行作業装置。
【請求項20】
請求項１に記載の自動進行作業装置において、
前記検出部は、
取得画像を５×５の全結合処理することによって、予め事前学習して記憶しているガイドロープを示す色に関する画素特徴に基づいて、ガイドロープであるか否かを判断する
ことを特徴とする自動進行作業装置。
前記検出部は、
取得画像を５×５の全結合処理することによって、予め事前学習して記憶しているガイドロープを示す色に関する画素特徴に基づいて、ガイドロープであるか否かを判断する
ことを特徴とする自動進行作業装置。
【請求項21】
請求項２０に記載の自動進行作業装置において、
前記検出部は、
前記全結合による処理の前に、
一段目の畳み込みニューラルネットワーク処理で５×５の画像を処理して、３×３のフィルタサイズで際の処理もして、５×５のデータを生成し、
二段目の畳み込みニューラルネットワーク処理で５×５の画像を処理して、３×３のフィルタサイズで際の処理もして、５×５のデータを生成する
ことを特徴とする自動進行作業装置。
前記検出部は、
前記全結合による処理の前に、
一段目の畳み込みニューラルネットワーク処理で５×５の画像を処理して、３×３のフィルタサイズで際の処理もして、５×５のデータを生成し、
二段目の畳み込みニューラルネットワーク処理で５×５の画像を処理して、３×３のフィルタサイズで際の処理もして、５×５のデータを生成する
ことを特徴とする自動進行作業装置。
【請求項22】
請求項２０または請求項２１に記載の自動進行作業装置において、
前記予め事前学習は、５×５の画像に分割して処理する
ことを特徴とする自動進行作業装置。
前記予め事前学習は、５×５の画像に分割して処理する
ことを特徴とする自動進行作業装置。
【請求項23】
請求項１、または請求項１７乃至請求項２２のいずれか一項、に記載の自動進行作業装置において、
前記制御部は、張架された前記ガイドロープの角においては、前記取得した画像の底辺中央部から最も遠い端点を含むガイドロープを進行方向を示すガイドロープであると認識する
ことを特徴とする自動進行作業装置。
前記制御部は、張架された前記ガイドロープの角においては、前記取得した画像の底辺中央部から最も遠い端点を含むガイドロープを進行方向を示すガイドロープであると認識する
ことを特徴とする自動進行作業装置。
【請求項24】
自動進行作業装置のガイドロープ検出方法において、
ガイドロープを示す色に関する画素特徴を予め事前学習する工程と、
取得された画像に対して、５×５の画像分割による第一段の畳み込みニューラルネットワーク処理で、際の画素を処理せずに、３×３の画像を作成する工程と、
さらに、３×３の画像分割による第二段の畳み込みニューラルネットワーク処理で、際の画素を処理せずに、１×１の画像を作成する工程と、
得られた前記１×１の画像と、前記事前学習した画素特徴とに基づいて、前記画像がガイドロープであるか否かを判断する工程と、を有する
ことを特徴とするガイドロープ検出方法。
ガイドロープを示す色に関する画素特徴を予め事前学習する工程と、
取得された画像に対して、５×５の画像分割による第一段の畳み込みニューラルネットワーク処理で、際の画素を処理せずに、３×３の画像を作成する工程と、
さらに、３×３の画像分割による第二段の畳み込みニューラルネットワーク処理で、際の画素を処理せずに、１×１の画像を作成する工程と、
得られた前記１×１の画像と、前記事前学習した画素特徴とに基づいて、前記画像がガイドロープであるか否かを判断する工程と、を有する
ことを特徴とするガイドロープ検出方法。
【請求項25】
自動進行作業装置のガイドロープ検出方法において、
ガイドロープを示す色に関する画素特徴を予め事前学習する工程と、
取得画像を５×５の全結合処理する工程と、
前記全結合処理の結果と、予め事前学習して記憶しているガイドロープを示す色に関する前記画素特徴とに基づいて、ガイドロープであるか否かを判断する工程と、を有する
ことを特徴とするガイドロープ検出方法。
ガイドロープを示す色に関する画素特徴を予め事前学習する工程と、
取得画像を５×５の全結合処理する工程と、
前記全結合処理の結果と、予め事前学習して記憶しているガイドロープを示す色に関する前記画素特徴とに基づいて、ガイドロープであるか否かを判断する工程と、を有する
ことを特徴とするガイドロープ検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ガイドロープを指標に走行する自走式作業車や各種作業車・ドローン等及び自走式作業車等の制御方法等に関する。
【背景技術】
【0002】
広大な大規模農場から小規模な棚田・棚畑に至るまで、目印やマーキングのない屋外での農作業や各種屋外作業においては、その自動化が長い間の課題となっている。工場や屋内作業工程とは異なり、屋外では日々の天候や気候四季変動、動物の存在等によって、その環境状態が著しく変化するものであり、自動化する対象作業に求められる器具も種々の調整等が必要となるものであって、容易に達成できるものではない。しかし、工場における量産工程にならって、各種屋外作業においても自動化を進めることが、その低コスト化や生産性の向上には大きく寄与するものとされる。
【0003】
下記特許文献１には、圃場農作業の自動化のための農作業装置に関する発明であって、圃場の両サイドにほぼ平行に立てられた支柱列と、それぞれの支柱列に取付けられたガイドと、これらのガイドに支えられてスライドするスライダと、この両サイドのスライダの間に張力をかけて空中に張られた２本のロープ及びその張力調整装置と、この２本のロープに乗り各種農機具が装着される作業車と、この作業車を移動させるけん引装置により構成され、両サイドのスライダが自走またはけん引によりガイドに支えられながら横方向に同期してスライドし、両サイドのスライダの間に張られた２本のロープに乗り、農作業に応じた農機具が装着された作業車が、２本のロープ上をけん引装置により縦方向に移動することにより、農機具が装着された作業車が圃場全面を自由に移動して農作業を行なうことを特徴とする圃場農作業装置とすることが記載されている。
【0004】
また、下記特許文献２には、従来の指標は、円盤状のものをそのまま採用したり、あるいは平面に円形状の模様を描いたりした単純なものに過ぎず、この結果、指標認識が不正確となって精度の高い自動走行制御を行うことができないという欠点がある実情に鑑み、これらの欠点を一掃することができる作業用走行車の指標構造を提供することを目的として発明されたものであって、圃場に配した指標を走行機体に設けたカメラで撮影し、これを画像認識処理して自助制御、を行うよう構成してなる作業用走行車において、当該指標を球形状としたことを特徴とする発明が開示されている。この文献によれば、球形状の指標は、いかなる角度から撮影しても常に球形となることから、その指標までの距離の判別精度が向上する等、作業車の傾き等に依存しない精度の高い指標認識が可能となることが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平０２−１００６０３号公報
【特許文献2】特開平０３−０７１３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来、屋外の所望のライン状の敷地または所望範囲の敷地に対して張架されたガイドロープを画像認識して、認識した当該ガイドロープに基づく所望の敷地に対して草刈り等の各種作業を行う自走式作業車は知られていない。例えば、上記特許文献１には、屋外の所望の圃場に対してガイドロープを二本張架するものが開示されているが、農機具は当該ガイドロープ上を滑車で移動する作業車（作業台）の上に実装されるものであって、自らガイドロープを画像識別するものでもなく、自走するものではない。このような構成では、農機具を作業台に実装する手間や台から落下した場合の損傷等も考慮する必要があって、空中に保持されて作業する引用文献１の農機具は、地面上を自走することを前提とする自走式農機具等とは一線を画するものである。
【0007】
また、上記特許文献２には、圃場に配した球状の指標を画像認識して自走する作業用走行車が開示されているが、球状の指標を圃場で支持するための支持部材を別途に個々設ける必要がある等、相当の手間や作業工数を必要とするものでユーザフレンドリーとは言い難い。また、複数の敷地箇所に対して当該指標を順次に移動させながら、順次に屋外作業を遂行していく場合等においては、指標の配置と撤収は、重量的にも重くなり、空間的にも嵩張るものであり、配置と撤収とを繰り返す場合には相当な労力と手間を要するものとなる。また、特許文献２に記載の発明では、球状の指標はそれが吊り下げられるロープ上を任意に移動可能とされており、その位置決めが現実には困難である。この点、簡易なガイドロープを空間に張架するだけで、当該ガイドロープを画像認識して当該ガイドロープに基づいた所望の敷地に対して所望の作業を遂行する作業車が求められるところである。
【0008】
本発明は上述の問題点に鑑み為されたものであり、作業対象となる敷地の上部空間に張架されたガイドロープを画像認識して、当該ガイドロープに基づく所望の敷地に対して所望作業を遂行することが可能な、自走式作業車等を提供することを目的とする。また、設置と撤収が極めて容易なガイドロープの張架となるので、好ましくは作業地が順次に移動していく場合であっても、その事前準備等が容易な自走式作業車等を提供することを目的とする。自走式作業車の他にも種々の作業車やドローン等に対しても適用可能である。
【課題を解決するための手段】
【0009】
本発明の自走式作業車等は、空中に張架されたガイドロープを含む画像を取得する撮像部と、当該取得した画像に含まれるガイドロープを識別する検出部と、識別されたガイドロープに基づいて、進行方向を制御する制御部と、を備えることを特徴とする。また、好ましくは制御部がガイドロープに沿った進行方向に制御するものとし、さらに好ましくは制御部がガイドロープに基づいて初回に進行する場合にＧＰＳデータを取得し、第２回目以降の走行時にはＧＰＳデータに基づいて進行方向を制御するものとする。
【0010】
また、本発明の自走式作業車等の制御方法は、空中に張架されたガイドロープを含む画像を撮像部で取得する工程と、当該取得した画像に含まれるガイドロープを検出部で識別する工程と、識別されたガイドロープに基づいて制御部が進行方向を制御する工程と、を有することを特徴とする。
【発明の効果】
【0011】
作業対象となる敷地の上部空間に張架されたガイドロープを画像認識して、当該ガイドロープに基づく所望の敷地に対して所望作業を遂行することが可能な、自走式作業車等を提供することを目的とする。また、設置と撤収が極めて容易なガイドロープの張架となるので、好ましくは作業地が順次に移動していく場合であっても、その事前準備等が容易な自走式作業車等を提供することを目的とする。自走式作業車の他にも種々の作業車やドローン等に対してもガイドロープの認識装置や方法として適用可能である。
【図面の簡単な説明】
【0012】
【図1】自走式草刈機のハードウェア構成及びソフトウェア処理構成概要について説明する図であり、（ａ）が自走式草刈機のハードウェア構成概要を説明し、（ｂ）が自走式草刈機の備えるマイクロコンピュータのプログラム機能概要を説明する図であり、（ｃ）が自走式草刈機の走行制御処理等の流れを説明するフローチャートである。
【図2】自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図3】自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である
【図4】自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である
【図5】自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である
【図6】自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である
【図7】自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である
【図8】自走式草刈機の一例を示す全体図である。
【図9】過度な旋回による蛇行走行を抑制する制御のロジックを説明する図である。
【図10】ガイドロープで囲まれた敷地内を自走式草刈機がランダムに自由走行する場合の制御について説明する図である。
【図11】ガイドロープで囲まれた敷地内を自走式草刈機がランダムに自由走行する場合の制御について説明する図である。
【図12】ガイドロープで囲まれた敷地内を自走式草刈機がランダムに自由走行する場合の制御について説明する図である。
【図13】第二の実施形態の自走式草刈機の走行制御処理等の流れを説明するフローチャートである。
【図14】畳み込みニューラルネットワークを用いて、画像上の各ピクセルが紐を構成する画素かどうか推論を行う紐ピクセル推論について説明する図である。
【図15】第二の実施形態の特徴を説明する図である。
【図16】畳み込みニューラルネットワークについてさらの詳細に説明する図である。
【図17】畳み込みニューラルネットワークについてさらの詳細に説明する図である。
【図18】畳み込みニューラルネットワークについてさらの詳細に説明する図である。
【図19】畳み込みニューラルネットワークについてさらの詳細に説明する図である。
【図20】畳み込みニューラルネットワークについてさらの詳細に説明する図である。
【図21】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図22】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図23】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図24】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図25】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図26】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図27】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図28】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図29】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図30】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図31】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図32】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図33】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図34】第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【図35】ガイドロープ曲がり角付近における作業車の進行方向制御について詳細に説明する図である。
【発明を実施するための形態】
【0013】
本実施形態で説明する自走式作業車は、典型的には自走式草刈機であって例えば太陽電池パネルが配置された敷設地等において、設置パネル間の比較的狭い線状（ライン状）の隙間地面に生えた雑草等を的確に除去することができるものである。当該設置パネル間の隙間地面は間隔が狭いので大型の指標や大型の機械・器具類を投入することはできないが、本実施形態ではガイドロープを張架するのみでよく、あとはガイドロープに沿って自走式の小型の草刈機が自ら走行しながら効率的に無駄なく草刈りを遂行することができる。なお、以下の説明においてガイドロープを適宜紐と称する場合もある。また、本実施形態で説明する自走式作業車は、典型例として自走式草刈機を示しているが自走式除雪作業機なども構成することもできる。本実施形態は、自走式作業車を典型例とする、各種作業車・ドローン等を含む自動進行作業装置に広く適用できるものとする。
【0014】
ガイドロープは、例えば測量用の軽量でピンク色蛍光ロープを利用することができ、軽量故に両端に支柱を立てるのみで長い間隔・距離であっても張架することが可能であるので張架作業の労力が少なくて済む。また、ピンク色の蛍光色のガイドロープは、当該ガイドロープを下方から撮像した場合の背景となる空の色、例えば快晴時の薄青色や雲の白灰色等、とは、画像処理（エッジ検出等）により比較的区別や識別が容易である。
【0015】
また、ガイドロープで一定の範囲を囲んでその中で自走式草刈機をランダムに走行させて、いわゆる自走式掃除機のように、くまなく除草作業させることも可能である。さらには、１回目の走行時にはガイドロープに沿ってこれを画像認識して自走させながらその時のＧＰＳデータをその場取得して学習させておき、２回目以降からは学習したＧＰＳデータに基づいて、例えばトレース走行・軌跡を走行させることも可能である。除草作業は必要に応じて年に数回程度は行う必要がある場合も多いので、このような場合には２回目以降のガイドロープ張架作業は不要とすることもできる。もちろん、ガイドロープと以前のＧＰＳデータとを併用して、より精確な位置特定に基づいて除草作業を遂行してもよい。
【0016】
自動車において昨今はＧＰＳの利用が普及しているが、上述のように本実施形態ではＧＰＳをあくまで二次的に使用することでＧＰＳ精度の精度不足を補うことができる。自動車用ＧＰＳにおいては、その精度不足を道路地図と整合させることで（自動車は道路上以外を走行しないという基本的な前提のもとで）、位置特定を補正している。一方、自走式作業車は圃場や牧場、田畑、遊休地等を含めたいわゆる道路の存在しない場所を走行するので、自動車の場合のような地図整合による補正は不可能である。しかし、上述のように現実の除草位置においてその場で取得された初回ＧＰＳデータに基づいて、２回目以降のＧＰＳ座標指標として初回の軌跡を走行すればその精度は向上するものとなる。このような対応は、同一箇所を年に複数回（繁茂期では月に１回程度）自走草刈り等させる作業特有の環境から特に好ましいものとなる。例えばＲＴＫ（Real-Time Kinematic）を利用することによりＧＰＳ精度を向上させることもできる。
【0017】
さらに、本実施形態で説明する自走式作業車においては、好ましくは過去の動きをフィードバックして進行方向の判定制御を行うことで、曲がりすぎないように早めに曲がりを戻す等の修正制御を行うことが可能である。自走行制御に関する制御データや取得したＧＰＳデータ等の走行データ蓄積は、自走式作業車自身に記憶しても良いし別途に設けたサーバに送信して記録しても良い。サーバに記録した場合には、自走式除草機は除草作業するＧＰＳ座標データや以前の走行制御データ、または、以前の当該データに基づいて修正された走行制御データを、必要に応じてサーバから受信したり指示を受けたりすることも可能である。そこで、以下図面に基づいてさらに詳細に説明する。以下の説明において典型例として自走式草刈機について説明しているが、自走式作業車の他にも種々の作業車やドローン等に対しても適用可能である。
【0018】
図１は本実施形態で説明する自走式草刈機１００のハードウェア構成及びソフトウェア処理構成概要について説明する図であり、図１（ａ）が自走式草刈機１００のハードウェア構成概要を説明し、図１（ｂ）が自走式草刈機１００の備えるマイクロコンピュータのプログラム機能概要を説明する図であり、図１（ｃ）が自走式草刈機１００の走行制御処理等の流れを説明するフローチャートである。
【0019】
図１（ａ）において、自走式草刈機１００は、右ハンドル１４０（１）と左ハンドル１４０（２）と、右ハンドル１４０（１）のレバー指示に基づいて制御される右モータ１３０（１）と左ハンドル１４０（２）のレバー指示に基づいて制御される左モータ１３０（２）と、を備える。（自走式草刈機１００は元来レバーを握ると握った方向に進行（握った側の車輪の駆動が抑制される（または当該車輪に対し制動ブレーキがかかる））仕様の草刈機である）なお、自走式草刈機１００を自走走行させるための駆動モータや駆動モータの出力を調整するアクセル等は図示していない。
【0020】
また、自走式草刈機１００は、その前方上方に実装され、頭上方向を撮像可能なカメラモジュール１１０を備えており、カメラモジュール１１０により取得された画像はマイクロコンピュータ１２０で処理されて、自走制御の場合にはマイクロコンピュータ１２０から右モータ１３０（１）及び左モータ１３０（２）を制御するように指示される。ここで、作業者による右ハンドル１４０（１）と左ハンドル１４０（２）の操舵は、自走式草刈機１００を自走走行させる場合には必要ないが、張架されたガイドロープの下の所定の作業開始位置にまでは、作業者が自走式草刈機１００を操舵して移動してもよい。なお、マイクロコンピュータは、例えば画像処理用と、モータや通信等のその他制御用等と、で機能別等に分けて別途に二つ以上設ける構成としてもよい。
【0021】
また、カメラモジュール１１０は、自走式草刈機１００上のガイドロープを撮影するためのカメラであって、マイクロコンピュータ１２０のプログラムから制御可能であり、撮影したカラー画像をマイクロコンピュータにて画像処理可能である。また、カメラモジュール１１０は、その取得画像中に当初は存在しなかったガイドロープであっても、自走式草刈機１００の移動に伴ってその上方にガイドロープがきた場合には、ガイドロープを含む上方の新たな映像を取得することができる。また、マイクロコンピュータ１２０は、カメラモジュール１１０や右モータ１３０（１）及び左モータ１３０（２）を制御するように指示することができる。
【0022】
また、右モータ１３０（１）及び左モータ１３０（２）は、それぞれ右ハンドル１４０（１）と左ハンドル１４０（２）との各レバーを握ったのと同一の効果を得られるように、それぞれ右ハンドル１４０（１）と左ハンドル１４０（２）とに実装されるモータである。換言すれば、作業者がハンドルのレバーを握る操作で草刈機を任意方向に走行させることの代わりに、マイクロコンピュータ１２０の指示に基づいた右モータ１３０（１）及び左モータ１３０（２）の駆動によりレバー操作が為されるので、自走式草刈機１００が指示された方向に自走するものとなる。
【0023】
また、図１（ｂ）において、マイクロコンピュータ１２０は、カメラモジュール１１０を制御するカメラ制御機能と、カメラモジュール１１０で取得された画像中からガイドロープを検出する紐検出機能と、右モータ１３０（１）及び左モータ１３０（２）を制御するモータ制御機能と、をプログラム制御によって備えるものとする。カメラ制御機能は、カメラモジュール１１０の各種設定変更や撮影処理を遂行するものであり、撮影は反芻して繰り返して例えば周期的に行われるものとする。また、取得された画像は紐検出機能で使用される。そして、紐検出機能では、取得された画像中からガイドロープを直線として例えばエッジ検出し、そのガイドロープの状態を数値化する。数値化されたガイドロープの状態は、モータ制御機能で使用される。また、モータ制御機能では、ガイドロープの状態を数値で受領して進行方向を判定し、右モータ１３０（１）及び左モータ１３０（２）へ指示を行うものとする。現実に張架されたガイドロープは一定程度の間隔に亘っているのである程度緩んで下方に凸の弧を描いていることもあるが、取得する画像ではその極一部のみであるため、処理上においては疑似直線として扱える。
【0024】
また、図１（ｃ）に示すように、上述のカメラ制御機能に基づいてＳ２００のカメラ設定において、カメラモジュール１１０に対して撮影時の各種設定を行った上で、Ｓ２１０で撮影して画像を取得して取得した画像をメモリに保持する。また、上述の紐検出機能に基づいてＳ３００の画像取得においてカメラモジュール１１０で取得されてメモリに保持された画像を受け取り、Ｓ３１０のカラーフィルタリングにおいて、ガイドロープの色をＨＳＶ色空間で表現した場合の各ＨＳＶの値の範囲を定義し、当該範囲外の色のピクセルをマスクする。
【0025】
また、Ｓ３２０のグレースケール変換において、直線（紐）検出の前処理として、カラーフィルタリング後の画像をグレースケールに変換する。次に、Ｓ３３０のエッジ抽出において、直線（紐）検出の前処理として、グレースケール変換後の画像からエッジを抽出する。続いて、Ｓ３４０の直線検出において、エッジ抽出後の画像に対して、直線を構成する要素を抽出する。例えば、ハフ変換のアルゴリズムを利用して直線を構成していると推測される要素群を抽出することにより、直線検出をすることもできる。仮に、直線が複数検出された場合には、直線の構成要素ピクセル数が最も多い直線を採用するものとする。そして、Ｓ３５０の直線（紐）情報計算において、検出した直線の状態を表現（数値化）するための直線（紐）情報として、例えば傾き、水平方向距離、垂直方向距離を算出する。ここで、数値化情報の各要素については後述において詳細に述べるものとしここでは説明を省略する。最後に、Ｓ３６０のモータ制御機能への情報伝達において、直線（紐）情報をモータ制御機能で利用できるように受け渡す。
【0026】
また、上述のモータ制御機能に基づいて、Ｓ４００で取得した直線（紐）情報と、フィードバック情報とに基づいて、Ｓ４１０の進行方向判定において進行方向を判定する。Ｓ４２０のフィードバックでは、過去の進行方向判定の履歴をもとに蛇行を是正するための情報をＳ４１０の進行方向判定へフィードバックするものとする。そして、Ｓ４３０のモータ制御命令において、判定した進行方向へ進むために右モータ１３０（１）及び左モータ１３０（２）へ指示をする。
【0027】
ここで、本実施形態における特徴的技術事項として、紐色カラーフィルタリングと、直線（紐）情報を基にした進行方向判定と、蛇行抑制のための進行方向フィードバックと、を挙げることができる。まず、紐色カラーフィルタリングについて説明すると、紐検知機能にて撮影画像からトレースするガイドロープを直線として検出を行うものであるが、屋外で撮影した画像の場合、現実には電線などの画像内においてガイドロープと同形状の物体が存在する。これに対してエッジを基にした直線検知のみでは、トレースすべきガイドロープを検知できない懸念がある。
【0028】
このため、エッジを基にした直線検出を行う前処理として、紐の色（例えば蛍光ピンク色）をＨＳＶ色空間での値の範囲を定義し、その定義した紐の色と異なる色のピクセルをマスクする処理（紐色カラーフィルタリング）を行うことが好ましい。これにより紐の色で構成された直線を検知することの精度向上を実現することができる。また、取得した画像に太陽が映り込み、カメラモジュールに強い光が入射されると、シャッタースピードが高速になることで、画像上の紐の色が見かけ上変化することがある。そのため、画像のExif（デジタルカメラで撮影した画像データに、撮影条件に関する情報（メタデータ）を追加して保存できる画像ファイル形式の規格）から輝度値やホワイトバランスのゲイン値を取得し、その取得値次第で、カラーフィルタリングする際のＨＳＶ色空間の値の範囲を分ける処理をして、紐色カラーフィルタリングの精度が落ちないようにすることが好ましい。
【0029】
また、直線（紐）情報を基にした進行方向判定では、紐検知機能にて画像上の紐を直線として検知し、直線の状態を表現するための直線（紐）情報を計算する。直線（紐）情報は、傾き・水平方向距離・垂直方向距離の３つの値で構成されることができる。この情報を基に、モータ制御機能にて進行方向を判定するものとする。画像における直線（紐）・直線（紐）情報・自己位置・アクションを以下に説明する。
【0030】
図２乃至図７は、自走式草刈機１００と張架されたガイドロープ５００との相対的位置関係に対する取得画像６００中のガイドロープ５１０の検出位置、及びその場合の制御アクションの一例を説明する図である。
【0031】
図２（ａ）は、上空から見て張架されたガイドロープ５００の左側から自走式草刈機１００がガイドロープ５００へ進行して接近する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図２（ａ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角−ｎ（但しｎは数値）であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離はｎ（但しｎは数値）であり、画像上辺におけるガイドロープ５１０と基準点との距離は−ｎ（但しｎは数値）である。ここで、上記直線情報の各ｎは単なる数字（ｎｕｍｂｅｒ）を意味しそれぞれ互いに異なる数値であり得るものであり、同一数値を意味するものではない（以下同様）。そして、図２（ａ）の直線情報に基づいて、この場合にはアクションとして前方への進行（Ｓｔｒａｉｇｈｔ）となるように自走式草刈機１００を自走制御する。
【0032】
また、図２（ｂ）は、上空から見て張架されたガイドロープ５００の直下中央において自走式草刈機１００がガイドロープ５００と並行進行する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図２（ｂ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角０であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離は０であり、画像上辺におけるガイドロープ５１０と基準点との距離は０である。そして、図２（ｂ）の直線情報に基づいて、この場合にはアクションとして前方への進行（Ｓｔｒａｉｇｈｔ）となるように自走式草刈機１００を自走制御する。
【0033】
また、図３（ａ）は、上空から見て張架されたガイドロープ５００の右側から自走式草刈機１００がガイドロープ５００へ進行して逸脱する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図３（ａ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角ｎ（但しｎは数値）であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離はＮｏｎｅであり、画像上辺におけるガイドロープ５１０と基準点との距離は−ｎ（但しｎは数値）である。そして、図３（ａ）の直線情報に基づいて、この場合にはアクションとして右方向への進行（Ｒｉｇｈｔ）となるように自走式草刈機１００を自走制御する。
【0034】
また、図３（ｂ）は、上空から見て張架されたガイドロープ５００の左側において自走式草刈機１００がガイドロープ５００と並行進行する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図３（ｂ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角０であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離は∞であり、画像上辺におけるガイドロープ５１０と基準点との距離は−ｎ（但しｎは数値）である。そして、図３（ｂ）の直線情報に基づいて、この場合にはアクションとして右方向への進行（Ｒｉｇｈｔ）となるように自走式草刈機１００を自走制御する。
【0035】
また、図４（ａ）は、上空から見て張架されたガイドロープ５００の右側から自走式草刈機１００がガイドロープ５００下に侵入しようとする場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図４（ａ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角−ｎ（但しｎは数値）であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離はｎ（但しｎは数値）であり、画像上辺におけるガイドロープ５１０と基準点との距離は−ｎ（但しｎは数値）である。そして、図４（ａ）の直線情報に基づいて、この場合にはアクションとして前方への前進進行（Ｓｔｒａｉｇｈｔ）となるように自走式草刈機１００を自走制御する。
【0036】
また、図４（ｂ）は、上空から見て張架されたガイドロープ５００の右側から自走式草刈機１００がガイドロープ５００に到達した場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図４（ｂ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角−ｎ（但しｎは数値）であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離は０であり、画像上辺におけるガイドロープ５１０と基準点との距離は０である。そして、図４（ｂ）の直線情報に基づいて、この場合にはアクションとして左側方向への進行（Ｌｅｆｔ）となるように自走式草刈機１００を自走制御する。ここで、直線情報とは、取得画像６００中に検知される直線の情報すなわちガイドロープ５１０の情報という意味である。
【0037】
また、図５（ａ）は、上空から見て張架されたガイドロープ５００の右側から自走式草刈機１００がガイドロープ５００を超えようとした場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図５（ａ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角−ｎ（但しｎは数値）であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離はＮｏｎｅであり、画像上辺におけるガイドロープ５１０と基準点との距離はｎ（但しｎは数値）である。そして、図５（ａ）の直線情報に基づいて、この場合にはアクションとして左側方向への進行（Ｌｅｆｔ）となるように自走式草刈機１００を自走制御する。
【0038】
また、図５（ｂ）は、上空から見て張架されたガイドロープ５００の右側において自走式草刈機１００がガイドロープ５００と並進する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図５（ｂ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角０であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離は∞であり、画像上辺におけるガイドロープ５１０と基準点との距離はｎ（但しｎは数値）である。そして、図５（ｂ）の直線情報に基づいて、この場合にはアクションとして左側方向への進行（Ｌｅｆｔ）となるように自走式草刈機１００を自走制御する。
【0039】
また、図６（ａ）は、上空から見て張架されたガイドロープ５００の右側から自走式草刈機１００がガイドロープ５００へと接近する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図６（ａ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角ｎ（但しｎは数値）であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離はｎ（但しｎは数値）であり、画像上辺におけるガイドロープ５１０と基準点との距離はｎ（但しｎは数値）である（但し、上述のように各直線情報のｎは便宜上同一のアルファベットｎを用いているが互いに相異なる数値であってよい、本書面において全て同様）。そして、図６（ａ）の直線情報に基づいて、この場合にはアクションとして前方方向への進行（Ｓｔｒａｉｇｈｔ）となるように自走式草刈機１００を自走制御する。
【0040】
また、図６（ｂ）は、上空から見て張架されたガイドロープ５００の右側から自走式草刈機１００がガイドロープ５００へと到達する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図６（ｂ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角ｎ（但しｎは数値）であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離はｎ（但しｎは数値）であり、画像上辺におけるガイドロープ５１０と基準点との距離は０である。そして、図６（ｂ）の直線情報に基づいて、この場合にはアクションとして右側方向への進行（Ｒｉｇｈｔ）となるように自走式草刈機１００を自走制御する。
【0041】
また、図７（ａ）は、上空から見て張架されたガイドロープ５００の右側から自走式草刈機１００がガイドロープ５００の右折張架地点へと到達する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図７（ａ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角Ｎｏｎｅであり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離はＮｏｎｅであり、画像上辺におけるガイドロープ５１０と基準点との距離は−ｎ（但しｎは数値）である。そして、図７（ａ）の直線情報に基づいて、この場合にはアクションとして右側方向への進行（Ｒｉｇｈｔ）となるように自走式草刈機１００を自走制御する。
【0042】
また、図７（ｂ）は、上空から見て張架されたガイドロープ５００の右側から自走式草刈機１００がガイドロープ５００の左折張架地点へと到達する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図７（ｂ）から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角Ｎｏｎｅであり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離はＮｏｎｅであり、画像上辺におけるガイドロープ５１０と基準点との距離はｎ（但しｎは数値）である。そして、図７（ｂ）の直線情報に基づいて、この場合にはアクションとして左側方向への進行（Ｌｅｆｔ）となるように自走式草刈機１００を自走制御する。
【0043】
図２乃至図７を用いた上述の説明においては、典型的なアクションとしてガイドロープの直下を自走するように制御する場合について説明しているが、これに限定されるものではなく、所定範囲を囲むように閉ループで設置されたガイドロープ内を任意ランダムに自走するように制御することもできる。また、過去の走行データや制御データ及びＧＰＳデータ等を利用してフィードバックすることにより、蛇行を低減してより精確なトレース自走が可能となる。このように、自走式草刈機１００または別途設けられたサーバを用いた学習機能を用いることで、同一箇所を複数回走行作業する場合等には、回を重ねるごとに精確さが増すものとでき、典型的にはＡＩ（人口知能）を用いて経験則を用いた制御をすることもできる。例えば、地面の状況は平地に限られず斜面や凹凸がある場合もあるので、直進制御している場合でも自然に曲線走行してしまう場合もあるが、過去のデータをトレースした経験則等を用いることで、このような場合においても精確な直進制御が可能となる。また、図８は、自走式草刈機１００の一例を示す全体図である。
【0044】
（蛇行抑制のための進行方向フィードバック）図２乃至図７を用いた上述の説明において、アクションがＲｉｇｎｔ（右旋回）やＬｅｆｔ（左旋回）となった場合に、操舵に関するモータ制御機能は、次の紐（ガイドロープ）検知機能からの直線情報が来るまでの間、旋回する制御を継続するものとなる。現実の作業場における旋回する程度は、自走式作業車の個体差や走行環境によっても都度異なるものとなるので、過度に旋回されるものとなって、紐に対して意図とは逆方向へ逸脱してしまう場合も想定される。このようなことが複数回繰り返し発生すれば、意図するガイドロープに沿った走行とは異なり、蛇行走行となる懸念が生じる。このため、図９に示すようなロジックで、一回の旋回指示により自走式作業車が旋回する度合いをその場で旋回しながら学習し、その情報を進行方向の判定にフィードバックすることで、過度な旋回による蛇行走行を回避・抑制することが好ましい。図９は、過度な旋回による蛇行走行を抑制する制御のロジックを説明する図である。
【0045】
図９において、ステップＳ９１０の「学習」では、紐検知機能から直線（紐）情報が届く時間と、時間当たりの旋回する傾きについて、実測値からそれぞれの平均値を計算して学習データとして保存する。また、ステップＳ９２０の「蛇行抑制判定」では、右旋回や左旋回を示す直線（紐）情報を受け取った際に、その旋回を行うことを紐の逆方向へ逸脱する可能性があるか否かを学習データを基に判定する。さらに、ステップＳ９３０の「フィードバック」では、逆方向へ逸れる可能性があると判断された場合に、Ｒｉｇｈｔ（右旋回）やＬｅｆｔ（左旋回）は取りやめて、Ｓｔｒａｉｇｈｔ（直進）するように、モータ制御機能の進行方向判定に指示をする。ここで、上記実測値とは、カメラで取得した実測データ（定期的に取得した紐の角度情報）である。例えば、こちらの判定ロジックにて右と判定し、右に旋回中にカメラから取得された紐の角度情報から現実にどれくらい右に旋回できたかを、ここでの実測値と称する。また、右に旋回と判断し右旋回中にカメラから受信した紐の角度情報から旋回できてない（紐との角度が開く）と判断した場合は逸脱と判断する。例えばカメラからは非同期で、次々に画像が撮影されているものとできる。
【0046】
図１０乃至図１２は、ガイドロープで囲まれた敷地内を自走式草刈機がランダムに自由走行する場合の制御について説明する図である。図１０（ａ）に示すように、ガイドロープ内をランダムに自走行する場合の方向制御は、取得画像中に直線（ガイドロープ）を検出したら当該画像中の直線の傾きから旋回方向を判断して旋回を開始する。ここで、仮に直線の傾きが無い場合には、ランダムで乱数的にまたは算出した方向に旋回方向を決定する。そして、旋回開始後は、取得画像中に直線を検出しなくなった時点で当該旋回走行を終了する。また、直線を飛び出して自走行しそうな場合には、取得画像中に検出される直線の座標を「線外飛び出し領域」として定義し、当該定義をその後の線外飛び出し判定に使用するものとする。直線内部の走行パターンは図１０（ｂ）以降で説明するものとし、「線外飛び出し領域」については薄いグレーで示すものとする。また、自走行開始時のスタート地点は、ガイドロープ枠内（線内）であるものとし、撮像装置（カメラ）は自走式草刈機の真上ではなくやや前方に配向することにより、前方に存在するガイドロープの検出も可能にするものとする。
【0047】
まず、図１０（ｂ）に示すように、ガイドロープ５００に向かって垂直に自走式草刈機１００が自走行している場合には、自走式草刈機１００Ａの位置における取得画像６００Ａ中にガイドロープ５１０を検出するので旋回を開始するものとし、旋回方向は左右どちらでも良いのでランダムに決定する。但し、図１０（ｂ）では左旋回の場合を典型例として示している。そして、自走式草刈機１００Ｂの位置及び１００Ｃの位置において取得画像６００Ｂ乃至６００Ｃ中にガイドロープ５１０を検出するのでいずれも旋回を継続し、自走式草刈機１００Ｄの位置において取得画像中にガイドロープ（直線）が検出されなくなったために旋回を終了する。なお、以下の図１１乃至図１２では、図中の符号は煩雑になるので記載を省略しているが図１０と同様である。
【0048】
また、図１１（ａ）に示すように、ガイドロープに対して斜めに向かって自走式草刈機が自走行している場合には、自走式草刈機がＡの位置においてガイドロープを検出するので旋回を開始するものとし、旋回方向は検出された直線の傾きに基づいて旋回コストが低い方向に決定する。図１１（ａ）では左旋回のほうが旋回コストが低い（旋回が容易である）。そして、自走式草刈機がＢの位置においても旋回を継続し、自走式草刈機がＣの位置において取得画像中にガイドロープ（直線）が検出されなくなったために旋回を終了する。
【0049】
また、図１１（ｂ）に示すように、ガイドロープの角部位に向かって自走式草刈機が自走行している場合には、自走式草刈機がＡの位置においてガイドロープを検出するので旋回を開始するものとし、この場合には取得画像中に二本の直線が検出されるので長い方の直線を旋回方向の決定方向の判定に選択使用するものとし、選択した直線の傾きから旋回コストの低い方に旋回する。また、自走式草刈機がＢの位置及びＣの位置及びＤの位置及びＥの位置においていずれも旋回を継続するが、Ｃの位置及びＤの位置では薄いグレーで示す線外飛び出し領域と直線が交差しているので、次の取得画像において仮に直線が検出されなかった場合には強制停止するものとする。また、自走式草刈機がＦの位置において取得画像中にガイドロープ（直線）が検出されなくなったために旋回を終了する。
【0050】
また、図１２（ａ）に示すように、ガイドロープに向かって垂直方向から自走式草刈機が旋回しながら自走行しているが、旋回角度が浅くてガイドロープから逸脱する場合には強制停止するものとする。すなわち、自走式草刈機がＡの位置においてガイドロープを検出するので旋回を開始するものとし、旋回方向は左右どちらでも良いのでランダムに決定する。但し、図１２（ａ）では左旋回の場合を典型例として示している。そして、自走式草刈機がＢの位置において旋回を継続するが、薄いグレーで示す線外飛び出し領域と直線が交差しているので、次の取得画像において仮に直線が検出されなかった場合には強制停止するものとする。そして、自走式草刈機がＣの位置において取得画像中にガイドロープ（直線）が検出されなくなったために強制停止する。
【0051】
また、図１２（ｂ）に示すように、ガイドロープに向かって垂直方向から自走式草刈機が旋回しながら自走行しているが、旋回開始が遅れたためにガイドロープから逸脱する場合にも強制停止するものとする。すなわち、自走式草刈機がＡの位置においてガイドロープを検出するので旋回を開始するものとするが、薄いグレーで示す線外飛び出し領域と直線が交差しているので、次の取得画像において仮に直線が検出されなかった場合には強制停止するものとする。そして、自走式草刈機がＢの位置において取得画像中にガイドロープ（直線）が検出されなくなったために強制停止する。上述したような図１０乃至図１２で説明した自走行の制御ロジックは、あくまで具体的な一例であってこれに限定されるものではない。
【0052】
本発明の自走式作業車は、空中に張架されたガイドロープを含む画像を取得する撮像部と、当該取得した画像に含まれるガイドロープを識別する検出部と、識別されたガイドロープに基づいて、進行方向を制御する制御部と、を備えることを特徴とする。これにより、任意の屋外の圃場等であっても空中にガイドロープを張るのみにより、ロープを頼りに走行しながら自走式の作業車が作業を遂行するものとできる。
【0053】
草が生い茂っている圃場や太陽電池の敷設地等においては、それらが障害となって当該敷地内の自由な移動や指標の運搬は困難なことが多い。しかし、ガイドロープを張るのみであれば、ロープの支持棒とガイドロープとがあれば足り、支持棒は細い棒状体であるので比較的軽量かつ嵩張らないので運搬が容易である。ガイドロープは測量等でも利用される蛍光ピンクの細い軽量の紐を利用可能である。自走式作業車は、例えば自走式草刈機であってもよく、この場合には草を刈りたいライン状に沿ってガイドロープを張架することで、自走式草刈機が当該ガイドロープ直下を自ら走行しながら草刈りすることとなる。
【0054】
例えば、太陽光パネルの敷設地においてはパネル間に一定の隙間が形成されているが、当該隙間には太陽光が差し込むことから、時間の経過とともに雑草が生い茂る。生い茂った雑草は、そのまま成長すればいずれパネルをも覆い太陽光発電の発電効率を低下させることから定期的な草刈りが必要となる。しかし、当該隙間は、作業者が手作業や機械工具を用いて草刈り作業するにはかなり狭い場合もあり、また対象面積も大きいなど困難な作業となることも多い。
【0055】
このような場合であっても、当該隙間はライン状であることからガイドロープを空中に張架することは比較的容易であって、自走式草刈機をガイドロープ下に自走させることで容易に草刈りが可能となる。また、田畑等の所定面積の圃場周囲にガイドロープで囲った上で、その囲われた内部の圃場を自走式作業車で自走させて作業させることも可能である。この場合には、取得した画像中に認識されたガイドロープから逸脱しないように自走式作業車を制御（プログラムやシーケンス、アルゴリズム等で調整）するものとする。また、このような制御調整は、別途に設けたサーバにより判断して自走式作業車の操舵角度等を指示するものとしてもよい。
【0056】
また、本発明の自走式作業車は、好ましくは制御部が、ガイドロープに沿った進行方向に制御することを特徴とする。これにより、ガイドロープに沿った走行が可能となり、典型的には張架されたガイドロープの直下を自走式作業車が作業しながら走行するものとできる。
【0057】
また、本発明の自走式作業車は、好ましくは制御部が、ガイドロープで囲まれた範囲内から逸脱しないように進行方向を制御することを特徴とする。これにより、ライン状ではなく所定の面積を有する範囲内を自走式作業車に自走させて作業させることも可能となる。ガイドロープは柔軟性に富むとともに支持棒を適宜設置することで空中に自由に張架することが可能であることから、ガイドロープで囲まれる範囲は、矩形に限定されるものではなく、楕円形や三角形等任意の形状とできる。一般に、圃場や田畑、耕作地や放牧地、太陽光パネル発電敷設地等の屋外での作業する場所では、空中は開放されていることが多いことから、ガイドロープの張架の自由度は極めて高いものとなる。
【0058】
また、本発明の自走式作業車は、好ましくは制御部が、ガイドロープに基づいて初回に進行する場合にＧＰＳデータを取得し、第２回目以降の走行時にはＧＰＳデータに基づいて進行方向を制御することを特徴とする。例えば、ＧＰＳは補助的に使用することができる。同一の場所を同一要領により作業する場合には、最初の作業時に当該作業のＧＰＳ座標を取得して、例えばサーバに送信して記憶しておき、２回目の同一作業時等にはサーバから取得したＧＰＳ座標に基づいて自走するものとしてもよい。
【0059】
これにより、２回目以降の作業時にはガイドロープの張架を省略することもできるし、ガイドロープの張架による指標に加えてＧＰＳデータも活用して、より精緻な作業を遂行するものとしてもよい。例えば太陽光パネル敷設地においては、パネル間の草刈りを年に数回程度は行う必要があるが、このような場合には同一場所を複数回自走式草刈機で作業させることとなるのでＧＰＳデータの活用も有用である。初回の走行時には自ら走行しながらＧＰＳ実データを取得するので、極めて精度の高い現実的なＧＰＳ座標が得られるものとなる。
【0060】
また、本発明の自走式作業車は、さらに好ましくは制御部が、ガイドロープに基づいて進行する場合に、過去のデータを参照して当該データに基づいて進行方向を修正してフィードバック制御することを特徴とする。本発明の自走式作業車は、自走時の制御データと走行データを記録するものとできる。これにより、トレースモードでの走行中に現走行の操舵角度の制御に関する情報を学習しながら走行するものとし、当該学習した情報を基にして現在の制御アクション内容を差し替え変更するフィードバック制御としてもよい。また、例えば前回の走行時に例えば操舵角度が過大であったため曲がりすぎた等の学習機能に基づいて、次回の走行時には操舵角度を少し小さく制御する等のフィードバック制御を可能としてもよい。これにより、繰り返し自走する度に、蛇行走行の懸念が低減されるものとなり、次第に狙ったラインにピタリと沿った的確な自走が可能となる。例えば、トレースモードでの走行中に操舵角度を学習して、その走行中に学習情報を基にしてアクションを差し替えるというフィードバックとすることができる。
【0061】
また、本発明の自走式作業車は、さらに好ましくはガイドロープが屋外に設置された太陽光パネルの間隙に直線状に配置されたものであり、自走式作業車は太陽光パネルの間隙に生える雑草を除去する自走式草刈機であることを特徴とする。これにより、太陽光パネルのパネル間隙に生える雑草を、少ない労力で比較的容易に除去することが可能となる。
【0062】
また、本発明の自走式作業車は、さらに好ましくは撮像部が、自走式作業車の上部に搭載されて自走式作業車の上方を撮影することを特徴とする。自走式作業車の上部空間は比較的背景となる人工的物体及び自然物等が少ないので、ガイドロープの認識と判別には適しているものとなる。従って、より迅速に正確な判別と制御とが可能となる。また、仮に上空背景に電線等が多数張り巡らされているような場所であったとしても、本実施形態の自走式作業車によれば、当該電線とガイドロープとの判別は的確に為されるものとなる。
【0063】
また、本発明の自走式作業車は、さらに好ましくは取得したＧＰＳデータが自走式作業車からサーバに送信されてサーバで記録され、第２回目以降の走行時にはサーバからダウンロードしたまたはマイクロコンピュータに保存されたＧＰＳデータに基づいて、制御部が進行方向を制御することを特徴とする。これにより、ガイドロープの判別による制御に加えてＧＰＳデータも活用できるので、さらに正確な制御が可能となる。また、ガイドロープを張架しなくても自走式作業車のみによって、以前に現実にその場取得したＧＰＳデータに基づいた正確な制御が可能となる。一般に、圃場等においてはマップが存在せずそもそも道路も存在しない。このため、ＧＰＳデータとマップを照合して位置修正するような現状の自動車用ナビの手法は採用できない。しかし、過去にその場走行しながら現実に取得したＧＰＳデータに基づいて、第二回目以降の走行を行うことにより、走行位置制御の制度は大きく向上するものとできる。
【0064】
また、本発明の自走式作業車は、さらに好ましくは過去のデータがサーバに記録されており、制御部は、サーバからダウンロードした過去のデータに基づいてフィードバック制御することを特徴とする。このため、自走式作業車は、制御データやガイドロープ判別データや取得したＧＰＳデータ等の各種データを、自身で記録せずにサーバに送信してサーバで記録し管理するものとしてもよい。自走式作業車は、必要な時にサーバから必要なデータをダウンロードして、またはサーバからの指示に基づいて、走行制御を行うものとできる。過去の走行履歴に基づいて、現在の走行制御を修正できるので、より正確で的確な走行制御が可能となる。また、自走式作業車は、個々に走行速度や操舵角、車輪の径や溝の特性等、走行性能やその特徴が異なる場合もあるが、過去の履歴データを蓄積していくことにより、個々の特徴に基づいた制御も可能となる。
【0065】
また、本発明の自走式作業車の制御方法は、空中に張架されたガイドロープを含む画像を撮像部で取得する工程と、当該取得した画像に含まれるガイドロープを検出部で識別する工程と、識別されたガイドロープに基づいて制御部が進行方向を制御する工程と、を有することを特徴とする。これにより、任意に張架されたガイドロープの位置に基づいて自走式作業車が作業をしながら自ら走行するものとし、極めて少ない労力での作業が可能となる。
【0066】
（改良バージョン水糸検出方法、ドローンや各種車両等でも可能）上述したような色フィルタやエッジ処理等を用いた紐抽出とする紐検出処理に代えて、例えば画像全体または画像の一部に分割（例えば５×５）してＡＩ（人工知能）による画像処理（典型的には畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network））を用いることにより、紐抽出を行う本実施形態の方法について以下に説明する。ここで、従来良く知られている畳み込みニューラルネットワークは、画像全体の中から特定の目的とする形状（ペットボトルやコップ等）等を抽出するために用いられることが知られているが、本実施形態では、取得画像中の紐（ガイドロープ）の形状は直線であったり直角曲折であったり湾曲したりと種々のバリエーション態様となるので形状には着目せず、色のみに着目したＡＩ処理とするものである。これにより、形状等処理にかかるＡＩ処理負担がかからないので、処理速度が大きく向上して極めて迅速な紐抽出処理が可能となる。また、後半においては独自ネットワーク２としてＣＮＮを用いずにいきなり全結合処理する方法についても説明する。このような処理は形状を考慮せずに紐に対応する色を判別することのみに特化することにより可能となるものである。
【0067】
図１３は、本実施形態にかかる改良バージョンの水糸検出方法にかかるフローチャートである。この方法は、自動草刈機に限定されるものではなく、ドローンや農業機械以外の各種車両等においても適用可能である。図１３は、第二の実施形態の自走式草刈機の走行制御処理等の流れを説明するフローチャートである。既に説明している上述の実施例との共通部分については可能な限り説明を省略し、図１（ｃ）に示すフローチャートとの相違点を中心に以下に説明するものとする。この実施例では、図１（ｃ）のステップＳ３１０乃至Ｓ３３０に代えて紐ピクセル推論によりガイドロープや水糸等を検出する。
【0068】
図１４に説明するように紐ピクセル推論は、畳み込みニューラルネットワークを用いて、画像上の各ピクセルが紐を構成する画素かどうか推論を行う。紐を構成するピクセルである場合には白、その他画素は黒として、直線検出の前処理画像を生成する。このため、図１４に示すようにステップＳ３４０の直線検出は、紐ピクセル推論後の画像に対して直線検出をするものとする。
【0069】
また、第二の実施形態では図１５に示すように、（１）畳み込みニューラルネットワーク、（２）直線（紐）情報を基にした進行方向の判定、（３）蛇行制御のための進行方向フィードバック、を特徴とするものである。そこで、図１６乃至図２０を用いて畳み込みニューラルネットワークについてさらの詳細に説明する。
【0070】
図１６において、屋外で撮影した画像から紐を検出するには以下のような課題が発生する。（１）電線など類似の形状の物の誤検知、（２）太陽光が光源となる場合のガイド紐の映り方の変化、（３）レンズの色収差による色のにじみ、（４）隣接するイメージセンサの干渉による色のにじみ、等である。
【0071】
これらにより、紐ピクセルは画像データ上で、一定の画素値ではなくなるため、紐ピクセルがどのような画素値を取るかを人手によりパターン化して定義・抽出することは困難である。このため、ディープラーニング分野において、画像の物体認識等に用いられる畳み込みニューラルネットワークを第二の実施形態では応用することとした。畳み込みニューラルネットワークとは、技術要素の名称であり、具体的なネットワーク構造は様々なモデルが提案さているが、今回は繰り返しの検証によって、良好な紐検出精度を得られたネットワーク構造を独自のモデル（以降、独自モデル）として作成して使用することとした。このような独自モデルは、公知の各処理要素の最適な組み合わせによる処理である。畳み込みニューラルネットワークを以下において適宜、畳み込みまたは畳み込み処理と略称する。
【0072】
独自モデルで、上記課題にあるような様々な状況下の紐ピクセルを大量に学習させておき、未知画像データに対して推論を実施して紐ピクセルかどうかの判定をするようにした。推論では、紐ピクセルかどうかが、数値で表現されるため、教師データに完全に一致しなくとも、近い値であれば紐ピクセルとして判定することができる。これは、紐ピクセルが一定の値を取る、という事を前提としないため、柔軟な判定ができるメリットがある。
【0073】
このような独自モデルでは、判定対象の１ピクセル（以下、注目ピクセル）を紐ピクセルかどうか判定するために、注目ピクセル周辺の５×５のピクセル群を参考にして推論するようなネットワーク構造としていることを特徴としている。ここで、畳み込み処理とは、画像処理や数学演算分野において既に広く知られている技術であるのでここで詳述を避けるが、画像処理を実行するときに最も頻繁に用いられる計算のひとつであり、数学的にはもとの関数とたたみ込む関数との積の積分で表されるものであるが、ディジタル信号においては掛け算と足し算のみで容易に表現することができるとされている。（参考ＵＲＬ：https://www.clg.niigata-u.ac.jp/~medimg/practice_medical_imaging/imgproc_scion/4filter/index.htm）
【0074】
また、際（エッジ画素）の処理の有無については、図１７に示すように、際の処理をしないと５×５の画像に対して３×３のフィルタを適用すると、３×３の画像ができることとなる。このため、元画像と同じサイズの結果が必要な場合は元画像の際の部分を拡張して処理する。拡張する場合は、図１７に例示するように隣り合ったセルと同等の値がその外側にあると考えて処理するのが一般的である。
【0075】
第二の実施形態の独自ネットワークでは、図１９に示すように畳み込み処理の後に、全結合の処理を遂行する。全結合とは図１８に示すように、いわゆるニューラルネットワークの事を意味するものであり、畳み込みが、あるピクセルとその周辺（フィルタサイズによる）の画素値しか計算に入れないのに対して、全結合では全てのピクセルの値を計算に含めることから、全結合と称されているものです。（参考ＵＲＬ：https://www.procrasist.com/entry/16-neural-net）
【0076】
図１９において、独自ネットワーク１の特徴として、全結合時の入力が１×１なので高速になる反面、畳み込み処理が必須なので、畳み込みがフィルタ数によって処理負荷が大きくなる懸念がある。入力を３×３等にする場合には際の処理を行わないので必然的に畳み込みは１段しかできないものとなる。
【0077】
図１９に示すように、独自ネットワーク１では、まず畳み込み処理を遂行する。１段目の畳み込み５×５の画像を処理する。３×３フィルタサイズで画像の際は処理しないので、３×３のデータができる。次に、２段目の畳み込み３×３の画像を処理する。３×３フィルタサイズで画像の際は処理しないので、１×１のデータができる。さらに、図１９において全結合処理を２段階に亘って遂行した後に、紐を示す画素であるか否か判定処理をする。なお、３×３フィルタサイズの場合に５×５からスタートした場合は、２段の畳み込みにしてもよく、３×３からスタートした場合は１段の畳み込みにしかできない。この開始のピクセル群と、畳み込みの段数とは原則的には任意（処理能力との兼ね合い等によってある程度の制限はある）である。また、畳み込みのフィルタも任意である。例えば、５×５のピクセル群のフィルタ３×３で２段の畳み込みは任意であり、５×５のピクセル群で、５×５フィルタで１段の畳み込みとしてもよい。また、利用するコンピュータの処理能力によっては、５×５のピクセルで、３×３のフィルタで２段の畳み込みが処理精度と処理速度とがちょうどマッチングする場合もある。フィルタはｎ×ｎ（ｎは任意の整数）フィルタとしてもよい。
５×５から開始して、フィルタが５×５ならおのずと１段で処理が完了する。この場合の特徴点としては、際の処理はしないで、畳み込みの処理をするたびに、ピクセル群は小さくしていくことにより、処理を軽くしていく点にある。
また、当該図に示すように、全結合は１×１の入力なので、学習時は５×５のデータで処理しても、全画像の入力が可能になる。入力のニューロン数も１×１で処理が高速になる。なお、さらに厳密には、フィルタ数分それぞれあるのでニューロン数としては、１×１×フィルタ数となる。フィルタ数は任意（チューニングにより決定します）である。このフィルタ数は過剰に多いと処理に相応の時間要することになるが、しかし多いほうが精度が上がるというわけではない。全結合も２段になっているがこれは任意となる。判定処理については、例えば紐である確率が９０％以上であると判定された場合に紐であると判断してもよい。
【0078】
また、図２０に示すように独自ネットワーク２では、畳み込み処理は必須ではないので、処理を高速化することを優先する場合には、畳み込み処理を行わなくても良いが、そのトレードオフとして紐検出精度が下がる傾向にある。このため、事前の学習時においても、学習後の現実の運用時においても５×５等のサイズに予め画像を分割しておく必要がある。
【0079】
図２０において、独自ネットワーク２では、まず畳み込み処理を遂行してもよい。１段目の畳み込み５×５の画像を処理する。３×３フィルタサイズで画像の際（外周縁部）も処理するので、５×５のデータができる。次に、２段目の畳み込み５×５の画像を処理する。３×３フィルタサイズで画像の際も処理するので、５×５のデータができる。さらに、図２０において全結合処理の１段階目は５×５で処理し、２段階目の全結合処理において、学習時も運用時も５×５の画像に分割して処理するものとするが、５×５のサイズなので比較的迅速な処理が可能となる。
【0080】
次に、図２１乃至図３４を用いて本実施形態における場合の現実の紐検出判断及び進行制御について、図２乃至７に説明した技術事項との相違点についてのみ説明する。以下にいて特に説明がない部分の紐検出及び進行制御等については図２乃至図７を用いて説明した技術事項及び／または当業者に公知の技術思想を任意に採用して適用することができる。図２１乃至図３４は、第二の実施形態の自走式草刈機と張架されたガイドロープとの相対的位置関係に対する取得画像中のガイドロープの検出位置、及びその場合の制御アクションの一例を説明する図である。
【0081】
図２１において、取得画像における上辺の左右方向の中心を基準点（図の黒丸印）とした場合に、基準点のやや左側からさらに左に向けて下方向に紐(ガイドロープ)が検出されている場合を示している。この場合には、水平方向底辺距離として−ｎとの変数が与えられる。水平方向底辺距離とは、図２１に示すように、その時点の随時取得画像の底辺側における紐の位置と基準点との左右方向（水平方向）における距離ｎを示し左方向がマイナスで右方向がプラスであるとしている（以下同様）。図２１におけるその他の制御等は図２（ａ）と同様であるのでここでは説明を省略する。
【0082】
図２２においては、水平方向底辺距離として０との変数が与えられる。図２２におけるその他の制御等は図２（ｂ）と同様であるのでここでは説明を省略する。また、図２３においては、水平方向底辺距離としてｎとの変数が与えられる。図２３におけるその他の制御等は図３（ａ）と同様であるのでここでは説明を省略する。また、図２４においては、水平方向底辺距離として−ｎとの変数が与えられる。図２４におけるその他の制御等は図３（ｂ）と同様であるのでここでは説明を省略する。
【0083】
また、図２５においては、水平方向底辺距離として−ｎとの変数が与えられる。図２５は、上空から見て張架されたガイドロープ５００のやや中央左側において自走式草刈機１００がガイドロープ５００と並行進行する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図２５から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角０であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離は∞であり、画像上辺におけるガイドロープ５１０と基準点との水平距離は−ｎ（但しｎは数値）で、水平方向底辺距離として−ｎである。そして、図２５の直線情報に基づいて、この場合にはアクションとして直進方向へ進行（Ｓｔｒａｉｇｈｔ）となるように自走式草刈機１００を自走制御する。図２５の直進制御については本実施形態に特有の制御であり、紐に沿った向きにおいて紐に寄り添う程度のズレの場合には紐に近づこうとする進行制御とはせずに、紐に平行にそのまま直進するように制御するものとする。
【0084】
また、図２６においては、水平方向底辺距離として−ｎとの変数が与えられる。図２６におけるその他の制御等は図４（ａ）と同様であるのでここでは説明を省略する。また、図２７においては、水平方向底辺距離として−ｎとの変数が与えられる。図２７におけるその他の制御等は図４（ｂ）と同様であるのでここでは説明を省略する。また、図２８においては、水平方向底辺距離としてｎとの変数が与えられる。図２８におけるその他の制御等は図５（ａ）と同様であるのでここでは説明を省略する。
【0086】
また、図３０においては、水平方向底辺距離としてｎとの変数が与えられる。図３０は、上空から見て張架されたガイドロープ５００のやや中央右側において自走式草刈機１００がガイドロープ５００と並行進行する場合に、カメラモジュール１１０での取得画像６００中に検知されたガイドロープ５１０の配置関係と直線情報、及びアクションを説明する図である。図３０から理解できるように、この場合には直線情報の傾きは取得画像６００中のガイドロープ５１０と画像垂直ラインとの為す角０であり、ガイドロープ５１０の延長線が画像上辺中央（基準点）での垂線と交わる点の当該画像上辺からの距離である垂直方向距離は∞であり、画像上辺におけるガイドロープ５１０と基準点との水平距離はｎ（但しｎは数値）で、水平方向底辺距離としてｎである。そして、図３０の直線情報に基づいて、この場合にはアクションとして直進方向へ進行（Ｓｔｒａｉｇｈｔ）となるように自走式草刈機１００を自走制御する。図３０の直進制御については本実施形態に特有の制御であり、紐に沿った向きにおいて紐に寄り添う程度のズレの場合には紐に近づこうとする進行制御とはせずに、紐に平行にそのまま直進するように制御するものとする。この点において、図２５と図３０の各場合において共に直進制御となる。
【0087】
また、図３１においては、水平方向底辺距離としてｎとの変数が与えられる。図３１におけるその他の制御等は図６（ａ）と同様であるのでここでは説明を省略する。また、図３２においては、水平方向底辺距離としてｎとの変数が与えられる。図３２におけるその他の制御等は図６（ｂ）と同様であるのでここでは説明を省略する。
【0088】
図３３と図３４とは、対象エリア領域を囲んでいる紐（ガイドロープ）の角に作業車が差し掛かった場合について説明する図である。いずれの場合においても取得画像中には直角方向に配向された二方向のガイドロープが視認されるものである。この場合には、当該ガイドロープが画面外縁と交わる点のうち、取得画像底辺の中央から最も遠い点を通るガイドロープを抽出してこれを次に進行方向を示す紐であると認識するものとする。図３３においては、傾きはｎか−ｎであり、水平方向底辺距離としてNoneとの変数が与えられる。図３３におけるその他の制御等は図７（ａ）と同様であるのでここでは説明を省略する。また、図３４においては、傾きはｎか−ｎであり、水平方向底辺距離としてNoneとの変数が与えられる。図３４におけるその他の制御等は図７（ｂ）と同様であるのでここでは説明を省略する。
【0089】
次に、図３５においては、図３３と図３４の態様を含むガイドロープ曲がり角付近における作業車の進行方向制御について詳細に説明する図である。取得画像中に検出されたガイドロープが曲折する場合においては図３５のように車両等の進行方向を制御することができる。すなわち、曲がり角においては、当該の曲がり角に至るまで進んできた紐（旧紐）と、曲がり角を曲がった先の紐（新紐／角の先に進行するべき方向を示す紐）の、２本の紐が画像上に存在することがある。このような二本の紐は典型的には直角を形成して取得画像中に認識される。そして、どちらの紐情報を採用して進行方向を決めるかは、当該作業車等がその曲がり角を無事にうまく曲がれるか否かの重要な判断を伴うものとなる。
【0090】
たとえば、最も長く映っている紐を進行方向を示す紐として採用するとした場合、図３５の上段に示す例では、新紐を採用しＬｅｆｔ（左方向へ転回）指示としたいが、旧紐を採用することで、Straight（直進）指示となってしまう。これについては、図３５下段に示すロジックにて、可能な限り新紐を採用するように工夫するものとする。１、検出した直線それぞれの画像中における端点（例えば、外縁との交点）の座標を取得する。２、取得した端点座標のうち、画像の底辺左右中点座標より最も離れた端点座標（Ｐ）を求める。３、当該求めたＰを持つ直線を新紐と判断し、作業車が進むべき進行方向を示す紐として採用する。上記第二の実施形態で説明を省略したその他の技術事項については、当初に説明している第一の実施形態等の技術思想や処理を適宜採用できるものとする。
【0091】
（ガイドロープ（水糸・紐）検知の詳細）学習方法として、５×５で学習する場合は、学習画像をあらかじめ５×５のピクセルに分割し、必要な結果に応じて、５×５の画像を振り分けておく。たとえば、結果は紐・紐に似ているもの、紐とは関係ないものの３つに分類する場合は、学習データもそれぞれ３つに分け、推論の結果は紐、紐に似ているもの、紐とは関係ないものそれぞれに属する確率が３つ取得できる。紐、紐以外の２つに分類する場合は、学習データもそれぞれ２つに分け、推論の結果は紐、紐以外それぞれに属する確率が２つ取得できる。また、効果的な学習方法としては、１）紐と誤検知した画像を用意、２）もしくは、紐を検知しなかった画像を用意、３）推論済みの白黒画像と、現画像を用意、４）画像の任意のピクセルを選択すると５×５の画像が振り分けられるツールを使い、上記の白黒画像から検知しなかった部分や、誤検知した部分を選択して、ただしい分類に振り分けて再度学習を行う。これにより、誤った判断をしたピクセル群のみを再度、学習させることができる。
【0092】
（紐トレース制御（画像データ））本願出願時点において発明者が利用しているネットワーク構成は、下記表１のようになる。
【0093】
【表1】
【0094】
５×５で学習する場合は、学習画像をあらかじめ５×５のピクセルに分割する。必要な結果に応じて、５×５の画像を振り分けておく。たとえば、結果は紐、紐に似ているもの、紐とは関係ないもの３つに分ける場合はそれぞれ分けて、結果も３つ取得する。（２つ分類で行うことも可能）。学習パラメータは、バッチサイズ： １００、エポック数 ： ６５、正解クラス ： ２、ドロップアウト率 ： ０．５、学習率 ： ０．００１、最急降下法のオプティマイザ ： ＡｄａｍＯｐｔｉｍｉｚｅｒとしてもよい。
【0095】
ここで、用語の説明と、パラメータの詳細を下記に示す。Ｐａｄｄｉｎｇ無し
畳み込みにおいて際の処理をしないこと
エポック数
学習サイクルの数で、紐の検知においては４０から８０ぐらい。多いと過学習ぎみになる傾向。
活性化関数
紐検知においては、Ｌｅａｋｙ ＲｅＬＵ を用いている。ＲｅＬＵよりは少々よい成績となっている。
正解クラス
推論したあとに分類されるクラス数。２は紐 ｏｒ 紐以外。３は紐 ｏｒ 紐っぽい ｏｒ 紐ではない。２つに分類した方が成績が良い場合には２つにする。
【0096】
（特徴的技術事項）１）ガイド紐を利用した制御
ａ）通常移動体を線に沿って制御する場合は地面に線を引くが本発明では上空に線（ガイドロープや水糸やガイド紐等）を張ることに特徴がある。雑草が生い茂っている土地等を想定しているため、ガイド紐は上空に張ることを想定した。
ｂ）上空に線を張った場合は、電線や屋根などの直線を有する物体が多いため、画像認識において、誤検知が多くなる。本発明はＡＩを用いて迅速かつ正確にガイド紐を検出するのが特徴である。
ｃ）また、空中に紐の直線と誤検知されるような物が多い環境でも正確にガイド紐を検出できると、例えばドローンなどで上空を飛ぶものも制御する事が可能になる。ドローンなどから地上のガイド紐を検知する場合も屋根や電線などとガイド紐の様なものが多いため本発明が適用できると考えられる。
２）ＡＩを用いたガイド紐の検出
ａ）一般的にＡＩでは物体の検出や、道路と建物などの大きいものを検出するのが現在の一般的な利用方法である。また、エッジコンピュータ上で高速に処理する必要があるため、公知の技術を工夫する必要がある。
ｂ）本発明は、ガイド紐を高速に検知するため画像を小さく分割して分割した単位で一斉にバッチ処理することで高速に演算するのが特徴である。
ｃ）また、さらに迅速かつ正確に推論するために２つのネットワークを考案して、状況によりどちらかを選択して利用する。
【0097】
上述した実施形態で説明した自走式草刈機や自走式作業車等は、実施形態での個別説明に限定されるものではなく、本発明の範囲内かつ自明な範囲内で自由にその構成や動作や制御方法を変更し、公知の技術を含めて適宜組み合わせ適用して実現することが可能である。また、活性化関数は日々に新規改良されたものが随時出現しているが、上記本願発明の課題を解決し、作用・効果を達成・獲得できる範囲内で任意の関数を適用し、任意のパラメータを採用することができる。
【産業上の利用可能性】
【0098】
本発明は、屋外の圃場や遊休地や太陽光発電パネル敷設地や開発土地において各種の作業を自走させながら遂行させる自走式作業車に好適である。
【符号の説明】
【0099】
１００・・自走式草刈機、１１０・・カメラモジュール、１２０・・マイクロコンピュータ、１３０・・モータ、１４０・・ハンドル。