特許 7110236 除草システムおよび除草方法、ならびに鉄道除草車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-22

(45)【発行日】2022-08-01

(54)【発明の名称】除草システムおよび除草方法、ならびに鉄道除草車両

(51)【国際特許分類】

   E01H 11/00 20060101AFI20220725BHJP

【ＦＩ】

E01H11/00 A

【請求項の数】 15

(21)【出願番号】P 2019563684

(86)(22)【出願日】2018-02-06

(65)【公表番号】

(43)【公表日】2020-04-09

(86)【国際出願番号】 EP2018052979

(87)【国際公開番号】W WO2018141995

(87)【国際公開日】2018-08-09

【審査請求日】2021-01-13

(31)【優先権主張番号】17305130.1

(32)【優先日】2017-02-06

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】519282812

【氏名又は名称】ビルベリー エスエーエス

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】セラ，ユゴ

(72)【発明者】

【氏名】ブゲリ，ジュル

(72)【発明者】

【氏名】ジュルダン，ギヨーム

【審査官】彦田 克文

(56)【参考文献】

【文献】国際公開第２００４／００５６２５（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１８１６４２（ＷＯ，Ａ２）

【文献】国際公開第９９／０１７６０６（ＷＯ，Ａ１）

【文献】国際公開第２０１６／０２５８４８（ＷＯ，Ａ１）

【文献】欧州特許第０１８７５００５（ＥＰ，Ｂ１）

【文献】欧州特許出願公開第０２７２８０６８（ＥＰ，Ａ１）

【文献】独国特許出願公開第０４１３２６３７（ＤＥ，Ａ１）

【文献】実開昭５２－１７０４０９（ＪＰ，Ｕ）

【文献】実公昭４３－０１２６６３（ＪＰ，Ｙ１）

【文献】特開２０１６－１６８０４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０１Ｈ １１／００

(57)【特許請求の範囲】

【請求項1】

鉄道除草車両（１）用の除草システム（２）であって、
前記鉄道除草車両（１）に取り付けられるように適合されており、前記鉄道除草車両（１）が列車軌道上を走行している間に、鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込む少なくとも１つのカメラ（３）と、
前記鉄道除草車両（１）に取り付けられるように適合されている噴霧装置（４）であって、
少なくとも２つの供給モジュール（８）であって、各供給モジュールは、化学薬剤タンク（１１）と、電子供給弁（１２）とを備えた少なくとも２つの供給モジュール（８）と、
前記供給モジュール（８）の少なくとも１つから化学薬剤を噴霧する少なくとも１つのノズル（９）と、
雑草種検出信号を受信し、前記雑草種検出信号に基づいて前記少なくとも１つのノズルを介して前記供給モジュールの少なくとも１つから化学薬剤を噴霧することを選択的に命令することができるコントローラモジュール（１０）とを備えた噴霧装置（４）と
を備えた除草システム（２）であって、
当該除草システム（２）は、
前記カメラ（３）によって取り込まれた前記画像を受信し、雑草種検出信号を前記除草システムの前記噴霧装置（４）の前記コントローラモジュール（１０）に送信することができる通信モジュール（１３）と、
前記画像を記憶することができるメモリモジュール（１４）と、
複数の並列処理コア（１６）を備えた処理モジュール（１５）と
を備えた雑草種識別装置（５）をさらに備え、
前記並列処理コア（１６）は、それぞれ、前記画像の近傍画素から構築された部分行列と、前記メモリモジュール（１４）に記憶された所定のカーネルとの間で少なくとも１つの畳み込み演算を実行して、前記画像の前記画素値の特徴表現部分行列を取得することができ、
前記処理モジュール（１５）は、前記並列処理コアによって構築された特徴表現部分行列から構築された前記画像の特徴表現行列から雑草種のデータベース中の雑草種が存在する少なくとも１つの確率を計算して、前記少なくとも１つの確率に基づいて雑草種検出信号を生成することができることを特徴とする、除草システム（２）。

【請求項2】

前記噴霧装置（４）および前記カメラ（３）は、前記鉄道除草車両（１）の長手軸（Ｘ）に沿って、離間距離ｄ_ｓだけ、前記鉄道除草車両（１）上で互いに離間され、
前記雑草種識別装置（５）は、遅延時間ｔ_ｌで、前記カメラ（３）によって取り込まれた画像から雑草種検出信号を生成することができ、前記離間距離ｄ_ｓおよび前記遅延時間ｔ_ｌは、ｄ_ｓ／（ｔ_ｌ＋ｔ_ｐ）＞ｖであり、ここで、ｖは、列車軌道上を走行する前記鉄道除草車両（１）の速度であり、ｔ_ｐは、前記噴霧装置（４）の処理時間であり、
前記速度ｖは、１０ｋｍ／ｈを超えており、前記離間距離ｄ_ｓは１０ｍ未満であることを特徴とする、請求項１に記載の除草システム（２）。

【請求項3】

前記カメラ（３）は、前記鉄道除草車両（１）の長手軸（Ｘ）に沿って視野の長手方向の広がりＦＯＶ_Ｘを有し、
前記雑草種識別装置（５）は、遅延時間ｔ_ｌで、前記カメラ（３）によって取り込まれた画像から雑草種検出信号を生成することができ、
前記視野の前記長手方向の広がりＦＯＶ_Ｘおよび前記遅延時間ｔ_ｌは、ＦＯＶ_Ｘ／ｔ_ｌ＞ｖであり、ここで、ｖは列車軌道上を走行する鉄道除草車両（１）の速度であり、
前記速度ｖは、４０ｋｍ／ｈを超えており、前記視野の前記長手方向の広がりＦＯＶ_Ｘは、５ｍ未満であることを特徴とする、請求項２に記載の除草システム（２）。

【請求項4】

少なくとも１００万個の画素値の行列を含む画像を取り込むために前記カメラ（３）が鉄道除草車両（１）に取り付けられ、前記少なくとも１００万個の画素値の各画素は、５平方ミリメートル未満の地面領域の要素領域を独立してカバーすることを特徴とする、請求項１～３のいずれか１項に記載の除草システム（２）。

【請求項5】

各並列処理コア（１６）は、前記部分行列と所定のカーネル行列との間の行列間乗算を計算することによって、または前記部分行列の高速フーリエ変換を計算することによって、前記少なくとも１つの畳み込み演算を実行することを特徴とする、請求項１～４のいずれか１項に記載の除草システム（２）。

【請求項6】

前記処理モジュール（１５）の前記並列処理コア（１６）は、前記特徴表現行列の近傍値の部分行列の統計値、特に近傍値の前記部分行列の最大値を決定することを含む、前記画像の前記特徴表現行列のプーリング演算を実行することができることを特徴とする、請求項１～５のいずれか１項に記載の除草システム（２）。

【請求項7】

前記処理モジュール（１５）の前記並列処理コア（１６）は、前記特徴表現行列の各値に、正規化線形活性化関数のような非線形演算を適用することによって、前記画像の前記特徴表現行列の非線形並列処理を実行することができることを特徴とする、請求項１～６のいずれか１項に記載の除草システム（２）。

【請求項8】

前記処理モジュール（１５）は、前記画像の画素値から生成された入力行列から開始され、雑草種のデータベースの中に雑草種が存在する少なくとも１つの確率を含む出力行列で終了する、一連のｎ個の処理演算を実行し、特に、前記一連の連続する処理演算のそれぞれの処理演算ｉは、前の処理演算ｉ－１によって出力された特徴表現行列、または前記画像の画素値から生成された入力行列を入力として取り込んで、特徴表現行列Ｆ_ｉを生成することを特徴とする、請求項１から７のいずれか１項に記載の除草システム（２）。

【請求項9】

前記雑草種検出信号は、雑草種位置指標を含み、特に、前記出力行列は、前記カメラによって取り込まれた前記画像内の雑草種の前記データベースの中の雑草種の位置を示す少なくとも１つの値を含むことを特徴とする、請求項８に記載の除草システム（２）。

【請求項10】

前記噴霧装置（４）は、前記鉄道除草車両（１）の横方向（Ｙ）に沿って配置された複数のノズル（９）を備え、
前記噴霧装置（４）の前記コントローラモジュール（１０）は、前記雑草種検出信号を受信し、さらに、前記雑草種位置指標に基づいて、前記複数のノズル（９）を介して化学薬剤を噴霧することを命令することを特徴とする、請求項９に記載の除草システム（２）。

【請求項11】

前記噴霧装置（４）は、前記鉄道除草車両（１）の横方向（Ｙ）に沿って複数の目標ゾーンを選択的に噴霧することができる少なくとも１つの可動ノズル（９）を備え、
前記噴霧装置（４）の前記コントローラモジュール（１０）は、前記雑草種検出信号を受信し、さらに、前記雑草種位置指標に基づいて前記可動ノズル（９）の位置および／または向きを命令することを特徴とする、請求項９または１０に記載の除草システム（２）。

【請求項12】

前記鉄道除草車両（１）に搭載された請求項１～１１のいずれか１項に記載の除草システム（２）を備えることを特徴とする、鉄道除草車両（１）。

【請求項13】

請求項１２に記載の鉄道除草車両（１）を用いた列車軌道の除草方法であって、
前記鉄道除草車両（１）が鉄道除草車両（１）用の列車軌道プロセスを走行している間に、前記鉄道除草車両（１）に取り付けられた少なくとも１つのカメラ（３）を使用して、前記鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込む工程と、
前記カメラ（３）によって取り込まれた前記画像を、前記鉄道除草車両（１）の雑草種識別装置（５）の通信モジュール（１３）において受信し、前記画像を前記雑草種識別装置のメモリモジュール（１４）に格納する工程と、
処理モジュール（１５）の複数のそれぞれの並列処理コア（１６）において、前記画像の近傍画素から構成される部分行列と、前記メモリモジュール（１４）に格納された所定のカーネルとの間で複数のそれぞれの畳み込み演算を並列に実行し、前記画像の画素値の特徴表現部分行列を取得する工程と、
前記並列処理コアによって構築された特徴表現部分行列から構築された前記画像の特徴表現行列から雑草種のデータベース中の雑草種が存在する少なくとも１つの確率を計算する工程と、
前記雑草種が存在する少なくとも１つの確率に基づいて雑草種検出信号を生成して、前記雑草種検出信号を前記除草システムの噴霧装置のコントローラモジュールに送信する工程と、
前記鉄道除草車両（１）に取り付けられた噴霧装置（４）のコントローラモジュール（１０）において前記雑草種検出信号を受信する工程と、
前記雑草種検出信号に基づいて、前記噴霧装置（４）の少なくとも１つの供給モジュール（８）から少なくとも１つのノズル（９）を介して化学薬剤を噴霧することを選択的に命令する工程とを含むことを特徴とする、列車軌道の除草方法。

【請求項14】

雑草種のデータベースに列挙されている複数の雑草に噴霧するように適合されている、請求項１～１１のいずれか１項に記載の除草システム（２）を較正する方法であって、
前記鉄道除草車両（１）は、前記鉄道除草車両（１）が鉄道線路を移動中に、鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込むことができる少なくとも１つのカメラ（３）を備え、
前記鉄道除草車両（１）は、標的雑草種のデータベースの少なくとも所定数の各雑草種が存在する列車軌道を走行して、標的雑草種の前記データベースの各雑草種の少なくとも所定数の画像を取得し、
前記画像上に前記雑草種をタグ付けすることによって、各雑草種の前記所定数の画像から訓練データセットが構築され、
請求項１～１１のいずれか１項に記載の除草システム（２）の並列処理コアによって実行される畳み込み演算のための少なくとも１つの所定のカーネルを含む、雑草識別モデルの重みのセットが前記訓練データセットから決定され、
請求項１～１１のいずれか１項に記載の除草システム（２）のメモリモジュールに、前記雑草識別モデルの重みのセットを記憶することを特徴とする、除草システム（２）を較正する方法。

【請求項15】

実行可能プログラムを記憶するコンピュータ読み取り可能な媒体であって、前記実行可能プログラムは、処理装置によって実行されると請求項１３または１４に記載の方法を実行するための命令を含む、コンピュータ読み取り可能な媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、鉄道除草車両用の除草システム、鉄道除草車両、そのような鉄道除草車両を使用して列車軌道を除草するための方法、およびそのような除草システムを較正するための方法に関する。

【背景技術】

【0002】

特に、本発明は、鉄道除草車両に関する。鉄道除草車両は、噴霧器と、鉄道軌道沿いの雑草を排除するように適合された除草剤が充填された化学タンクとを備えた特注の噴霧システムが搭載された、除草噴霧列車または軌陸車の形態をとることができる。

【0003】

除草作業のコストだけでなく環境への影響を低減するために、鉄道除草車両は、植物の緑色に反応する光学センサを備えることができる。そして、地面上で緑色の所定の閾値が検出されたときにのみノズルを開くように、噴霧システムに命令することができる。ドイツ特許公報第４１３２６３７号（ＤＥ４１３２６３７）には、このような改良型の鉄道除草車両が記載されている。

【0004】

このようなシステムには１つの欠点がある。それは、雑草種に反応しないため、異なる雑草種を異なる除草剤で処理することができないことである。

【0005】

国際公開公報第９９／１７６０６号、欧州特許公報第１５２１８８５（Ｂ１）号、および欧州特許公報第１８７５００５（Ｂ１）号には、そのようなシステムの改良点が記載されており、雑草の放出光のスペクトル分析を行うと共に、観察された雑草の形状を雑草データベースに記憶された形状と比較する形状認識アルゴリズムを用いることで、雑草種を識別している。

【0006】

このようなシステムには、実際の使用を妨げるいくつかの欠点がある。

【0007】

第１に、雑草の放出光のスペクトルは、実験室条件で特徴付けることができるが、植物の分光反射率は、雑草種および土壌の違いに応じて自然条件で大幅に異なる。天然に存在する雑草には、工業的に栽培される雑草とは大きく異なり得る非常に多様な種類がある。また、土壌の組成は雑草の色およびその分光反射率に強い影響を及ぼす。その結果、雑草の放出光のスペクトルは、雑草種を区別するための信頼できる基準として通常使用することができない。

【0008】

第２に、雑草種の多様性が大きいことを考えると、雑草形状データベースは、すべての異なる形状のバリエーション（若い雑草の形状、古い雑草の形状、すべての亜種の形状・・・）を記憶するために、非常に大きくなければならない。したがって、観測された雑草の形状を雑草形状データベースに記憶された形状と比較する形状認識アルゴリズムは、これらの大きなデータベースをスキャンしなければならないため、非常に遅い。

【0009】

第３に、雑草の放出光のスペクトル分析は、明るさが低い場合、特に日常の交通を停止させて鉄道雑草を行うことができる夜間に、そのようなシステムの使用を困難にする明るさレベルを必要とする。低レベルの明るさおよび鉄道車両の速度は、緑色検出のノイズ問題を引き起こし、これは、取り込まれた画像の鮮鋭度と、取り込まれた画像に基づいて適用することができるプロセスとに悪影響を及ぼす。

【0010】

その結果、雑草識別アルゴリズムが、カメラによって取り込まれた画像を処理して、雑草種を識別するのに十分な時間を与えるために、鉄道除草車両は、非常に低い速度でしか移動することができない。

【0011】

したがって、より速い速度、なおかつより高い精度で雑草種を識別することができる除草システムが求められている。

【0012】

本発明は、特に、この状況を改善することを目的とする。

【発明の概要】

【0013】

この目的のために、本発明によれば、鉄道除草車両用のこのような除草システムは、
鉄道車両に取り付けられるように適合されており、前記鉄道車両が列車軌道上を走行している間に、鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込む少なくとも１つのカメラと、
前記鉄道車両に取り付けられるように適合されている噴霧装置であって、
少なくとも２つの供給モジュールであって、各供給モジュールは、化学薬剤タンクと、電子供給弁とを備えた少なくとも２つの供給モジュールと、
前記供給モジュールの少なくとも１つから化学薬剤を噴霧する少なくとも１つのノズルと、
雑草種検出信号を受信し、前記雑草種検出信号に基づいて前記少なくとも１つのノズルを介して前記供給モジュールの少なくとも１つから化学薬剤を噴霧することを選択的に命令することができるコントローラモジュールとを備えた噴霧装置とを備えている。

【0014】

前記除草システムは、
雑草種識別装置であって、
前記カメラによって取り込まれた前記画像を受信し、雑草種検出信号を前記除草システムの前記噴霧装置の前記コントローラモジュールに送信することができる通信モジュールと、
前記画像を記憶することができるメモリモジュールと、
複数の並列処理コアを備えた処理モジュールとを備えた雑草種識別装置をさらに備え、
各並列処理コアは、それぞれ、前記画像の近傍画素から構築された部分行列と、前記処理装置の前記メモリに記憶された所定のカーネルとの間で少なくとも１つの畳み込み演算を実行して、前記画像の前記画素値の特徴表現部分行列を取得することができ、
前記処理モジュールは、前記並列処理コアによって構築された特徴表現部分行列から構築された前記画像の特徴表現行列から雑草種のデータベース中の雑草種が存在する少なくとも１つの確率を計算して、前記少なくとも１つの確率に基づいて雑草種検出信号を生成することができる、ことを特徴としている。

【0015】

したがって、カーネルを含む少なくとも１つの畳み込み演算を含むいくつかの演算を使用する前述の「人工知能」の実現のおかげで、たとえば、画像内の雑草種の形状、テクスチャ、色、および／または位置などのいくつかの特徴が、雑草種の認識において一度に考慮される。

【0016】

逆に、色のみに基づく単純な検出には欠点がある。実際、昼夜で明るさが違うため、色検出のみで雑草種を区別することはほとんど実現可能ではなく、したがって、他の特徴を用いる必要がある。

【0017】

これらの特徴により、雑草種の識別を高速かつ精度良く行うことができる。並列処理および畳み込み演算により、雑草種の分散された正確な識別が可能となる。

【0018】

この目的のために、本発明の第１の目的は、鉄道除草車両用の除草システムであって、前記除草システムは、
鉄道車両に取り付けられるように適合されており、前記鉄道車両が列車軌道上を走行している間に、鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込む少なくとも１つのカメラと、
前記鉄道車両に取り付けられるように適合されている噴霧装置であって、
少なくとも２つの供給モジュールであって、各供給モジュールは、化学薬剤タンクと、電子供給弁とを備えた少なくとも２つの供給モジュールと、
前記供給モジュールの少なくとも１つから化学薬剤を噴霧する少なくとも１つのノズルと、
雑草種検出信号を受信し、前記雑草種検出信号に基づいて前記少なくとも１つのノズルを介して前記供給モジュールの少なくとも１つから化学薬剤を噴霧することを選択的に命令することができるコントローラモジュールとを備えた噴霧装置とを備えている。

【0019】

前記除草システムは、
雑草種識別装置であって、
前記カメラによって取り込まれた前記画像を受信し、雑草種検出信号を前記除草システムの前記噴霧装置の前記コントローラモジュールに送信することができる通信モジュールと、
前記画像を記憶することができるメモリモジュールと、
複数の並列処理コアを備えた処理モジュールとを備えた雑草種識別装置をさらに備え、
各並列処理コアは、それぞれ、前記画像の近傍画素から構築された部分行列と、前記メモリモジュールに記憶された所定のカーネルとの間で少なくとも１つの畳み込み演算を実行して、前記画像の前記画素値の特徴表現部分行列を取得することができ、
前記処理モジュールは、前記並列処理コアによって構築された特徴表現部分行列から構築された前記画像の特徴表現行列から雑草種のデータベース中の雑草種が存在する少なくとも１つの確率を計算して、前記少なくとも１つの確率に基づいて雑草種検出信号を生成することができる。

【0020】

いくつかの実施形態において、以下の特徴のうち１以上の特徴を使用することもできる。

【0021】

前記噴霧装置および前記カメラは、前記鉄道車両の長手軸に沿って、離間距離ｄ_ｓを取って、前記鉄道車両上で互いに離間され、
前記雑草種識別装置は、遅延時間ｔ_ｌで、前記カメラによって取り込まれた画像から雑草種検出信号を生成することができ、
前記離間距離ｄ_ｓおよび前記遅延時間ｔ_ｌは、ｄ_ｓ／（ｔ_ｌ＋ｔ_ｐ）＞ｖであり、ここで、ｖは、列車軌道上を走行する前記鉄道除草車両の速度であり、ｔ_ｐは、前記噴霧装置の処理時間であり、
前記速度ｖは、１０ｋｍ／ｈを超えており、前記離間距離ｄ_ｓは１０ｍ未満であり、
前記カメラは、前記鉄道車両の長手軸に沿って視野の長手方向の広がりＦＯＶ_Ｘを有し、
前記雑草種識別装置は、遅延時間ｔ_ｌで、前記カメラによって取り込まれた画像から雑草種検出信号を生成することができ、
前記視野の前記長手方向の広がりＦＯＶ_Ｘおよび前記遅延時間ｔ_ｌは、ＦＯＶ_Ｘ／ｔ_ｌ＞ｖであり、ここで、ｖは列車軌道上を走行する鉄道雑草車両の速度であり、
前記速度ｖは、４０ｋｍ／ｈを超えており、前記視野の前記長手方向の広がりＦＯＶ_Ｘは、５ｍ未満であり、
少なくとも１００万個の画素値の行列を含む画像を取り込むために前記カメラが鉄道車両に取り付けられ、前記少なくとも１００万個の画素値の各画素は、５平方ミリメートル未満の地面領域の要素領域を独立してカバーし、
各並列処理コアは、前記部分行列と所定のカーネル行列との間の行列間乗算を計算することによって、または前記部分行列の高速フーリエ変換を計算することによって、前記少なくとも１つの畳み込み演算を実行し、
前記処理モジュールの前記並列処理コアは、前記特徴表現行列の近傍値の部分行列の統計値、特に近傍値の前記部分行列の最大値を決定することを含む、前記画像の前記特徴表現行列のプーリング演算を実行することができ、
前記処理モジュールの前記並列処理コアは、前記特徴表現行列の各値に、正規化線形活性化関数等の非線形演算を適用することによって、前記画像の前記特徴表現行列の非線形並列処理を実行することができ、
前記処理モジュールは、前記画像の画素値から生成された入力行列から開始され、雑草種のデータベースの中に雑草種が存在する少なくとも１つの確率を含む出力行列で終了する、一連のｎ個の処理演算を実行し、特に、前記一連の連続する処理演算のそれぞれの処理演算ｉは、前の処理演算ｉ－１によって出力された特徴表現行列、または前記画像の画素値から生成された入力行列を入力として取り込んで、特徴表現行列Ｆ_ｉを生成し、
前記出力行列は、前記カメラによって取り込まれた前記画像内の雑草種の前記データベースの中の雑草種の位置を示す少なくとも１つの値をさらに含み、前記雑草種検出信号は、雑草種位置指標を含み、
前記噴霧装置は、前記鉄道車両の横方向に沿って配置された複数のノズルを備え、
前記噴霧装置の前記コントローラモジュールは、前記雑草種検出信号を受信し、さらに、前記雑草種位置指標に基づいて、前記複数のノズルを介して化学薬剤を噴霧することを命令し、
前記噴霧装置は、前記鉄道車両の横方向に沿って複数の目標ゾーンを選択的に噴霧することができる少なくとも１つの可動ノズルを備え、
前記噴霧装置の前記コントローラモジュールは、前記雑草種検出信号を受信し、さらに、前記雑草種位置指標に基づいて前記可動ノズルの位置および／または向きを命令する。

【0022】

本発明の別の目的は、前記車両に取り付けられた、上で詳述したような除草システムを備える鉄道除草車両である。

【0023】

本発明のさらに別の目的は、上で詳述した鉄道除草車両を用いた列車軌道の除草方法であり、当該方法は、
前記鉄道車両が鉄道除草車両用の列車軌道プロセスを走行している間に、前記鉄道車両に取り付けられた少なくとも１つのカメラを使用して、前記鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込む工程と、
前記カメラによって取り込まれた前記画像を、前記鉄道車両の雑草種識別装置の通信モジュールにおいて受信し、前記画像を前記雑草種識別装置のメモリモジュールに格納する工程と、
処理モジュールの複数のそれぞれの並列処理コアにおいて、前記画像の近傍画素から構成される部分行列と、前記処理装置の前記メモリに格納された所定のカーネルとの間で複数のそれぞれの畳み込み演算を並列に実行し、前記画像の画素値の特徴表現部分行列を取得する工程と、
前記並列処理コアによって構築された特徴表現部分行列から構築された前記画像の特徴表現行列から雑草種のデータベース中の雑草種が存在する少なくとも１つの確率を計算する工程と、
前記雑草種が存在する少なくとも１つの確率に基づいて雑草種検出信号を生成して、前記雑草種検出信号を前記除草システムの噴霧装置のコントローラモジュールに送信する工程と、
前記鉄道車両に取り付けられた噴霧装置のコントローラモジュールにおいて前記雑草種検出信号を受信する工程と、
前記雑草種検出信号に基づいて、前記噴霧装置の少なくとも１つの供給モジュールから少なくとも１つのノズルを介して化学薬剤を噴霧することを選択的に命令する工程とを含む。

【0024】

本発明の別の目的は、雑草種のデータベースに列挙されている複数の雑草に噴霧するように適合されている、上で詳述したような除草システムを較正する方法であって、
鉄道車両は、前記鉄道車両が鉄道線路を移動中に、鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込むことができる少なくとも１つのカメラを備え、
前記鉄道車両は、標的雑草種のデータベースの少なくとも所定数の各雑草種が存在する列車軌道を走行して、標的雑草種の前記データベースの各雑草種の少なくとも所定数の画像を取得し、
前記画像上に前記雑草種をタグ付けすることによって、各雑草種の前記所定数の画像から訓練データセットを構築し、
上で詳述したような除草システムの並列処理コアによって実行される畳み込み演算のための少なくとも１つの所定のカーネルを含む、雑草識別モデルの重みのセットを前記訓練データセットから決定し、
上で詳述したような除草システムのメモリモジュールに、前記除草識別モデルの重みのセットを記憶する。

【図面の簡単な説明】

【0025】

本発明の他の特徴および利点は、以下に示す、非限定的な例として提示される本発明の実施形態のいくつかの説明および添付の図面の説明から容易に明らかになるのであろう。

【0026】

図面は以下の通りである：

【図1】本発明の一実施形態に係る除草システムを備える鉄道除草車両の概略斜視図である。

【図2】図１に示す除草システムのモジュールおよび装置を示す組織図である。

【図3】図１と図２に示す除草システムの雑草種識別装置の処理モジュールによって実行される処理演算を詳細に示すフローチャートである。

【図4】図１と図２に示す除草システムの雑草種識別装置の処理モジュールによって実行される処理演算を詳細に示すフローチャートである。

【図5】本発明の実施形態に係る、図１および図２に示す除草システムを較正するための方法の工程を詳細に示すフローチャートである。

【0027】

異なる図面において、同じ参照符号は、同様の要素または類似の要素を示す。

【発明を実施するための形態】

【0028】

図１は、本発明に係る鉄道除草車両１の一例を示す。

【0029】

鉄道除草車両１は、レール軌道上を走行するように設計されている。特に、鉄道除草車両１は、列車とすることもでき、あるいはレール軌道および一般道路の両方で動作することができる軌陸車とすることもできる。鉄道除草車両１は、単一のワゴンを備えてもよく、あるいは複数の鉄道車両および／または機関車で構成されてもよい。

【0030】

鉄道除草車両１は通常、長手方向Ｘに垂直な横方向Ｙに並置された２つのレールを備える、鉄道の軌道上を長手方向Ｘに沿って延在し、走行するように設計される。

【0031】

鉄道除草車両１は、図２に概略的に示されている本発明による除草システムを備える。

【0032】

より正確には、除草システム２は、１以上のカメラ３と、噴霧装置４と、雑草種識別装置５とを備える。

【0033】

カメラ３は、鉄道車両１が列車軌道上を走行している間に、鉄道の軌道の一部の画像を取り込むことができるように、鉄道車両１に取り付けられている。一部のカメラ３は、例えば、車両の前方または下方に取り付けられており、レール軌道を分離するバラストおよび枕木の画像を取り込むことができる。バラストの両側の画像を取り込むために、追加のカメラ３を車両の各側面に取り付けることができる。変形例では、レール軌道の対象領域全体の画像を取り込むために、単一のカメラ３を使用し、車両に取り付けることができる。カメラ３は、車両１の移動中の振動を低減し、取り込まれる画像の鮮鋭度を高めるために、ショックアブソーバに取り付けることができる。以下に説明するように、雑草種の認識においては、画像内の雑草種の形状、テクスチャ、色および／または位置といったいくつかの特徴が考慮される。このような情報を得るためには、取り込まれる画像の鮮鋭度も重要である。実際、有利には、画像の取り込みは、交通量が少ない夜間に行われ、鉄道車両１は高速で走行している。したがって、多種多様な雑草種を認識するためには、いくつかの基準が必要である。

【0034】

各カメラ３は、ＣＣＤまたはＣＭＯＳセンサなどのセンサ６と、複数のレンズおよび／またはミラーを備える光学系７とを備える。

【0035】

カメラ３は、画素値の行列を有する画像を取り込む。各画像はＷ＊Ｈ画素を含む（Ｗは、画像の幅に沿った画素の数であり、Ｈは、画像の高さに沿った画素の数である）。カメラの幅Ｗおよび高さＨは、カメラのセンサの解像度を規定する。センサは、特に、少なくとも１００万画素値、より好ましくは５００万画素値を超える画素値の行列を含む画像を取り込むことができる。

【0036】

あるいは、線形カメラを使用することができ、画素値の行列を線形カメラの出力から再構成することができる。

【0037】

有利には、カメラによって取り込まれた画像が少なくとも１００万個の画素値の行列を含み、前記行列の各画素が、それぞれ独立して、５平方ミリメートル未満、好ましくは２平方ミリメートル未満の地面の領域をカバーするように、カメラの位置、センサの解像度、および光学系のデザインが選択される。カメラのそのような空間解像度は、以下でさらに詳述するように雑草種を確実に識別できるようにするために重要である。

【0038】

カメラ３は、カラーカメラであってもよい。この場合、画素値はそれぞれ、例えば、ＲＧＢ（赤－緑－青）値等の３つのチャネルを含み、画素値の行列は、例えば、寸法がＷ＊Ｈ＊３の３Ｄマトリクスである。

【0039】

従来公知の除草システムとは対照的に、カメラ３は、カラーフィルタおよび偏光子を有していなくてもよい。特に、カメラ３の光学系７は、レンズおよび／またはミラーのみで構成されてもよい。雑草を識別するためには、一般的な色のみを必要とし、絶対スペクトル情報を必要としないので、裸の状態のカメラを使用することができ、雑草種の識別に必要な空間分解能を得るために選択されたレンズおよびミラーのみを備えることができる。

【0040】

噴霧装置４も、鉄道車両１に取り付けられ、ここでより詳細に説明されるいくつかの構成要素を備える。

【0041】

図２に示すように、噴霧装置４は、少なくとも２つの供給モジュール８と、少なくとも１つのノズル９と、コントローラモジュール１０とを備える。

【0042】

各供給モジュール８は、薬剤タンク１１と、電子供給弁１２とを備えている。

【0043】

薬剤タンク１１は、除草剤または水とすることができる液体を収容する。

【0044】

タンクは、水および除草剤のプレミックスを収容することができ、あるいは、水の別個のタンクは、供給中または供給直前にその場で除草剤と混合される水を収容することができる。各供給モジュール８は、異なる液体を収容するタンク１１を備えることができる。例えば、１つの供給モジュール８は、雑草の発芽前の除草処理に適合した活性剤を含有する除草剤を収容するタンク１１を備えることができ、別の供給モジュール８は、雑草の発芽後の除草処理に適合した活性剤を含有する除草剤を収容するタンク１１を備えることができる。

【0045】

噴霧装置４は、前記供給モジュール８の少なくとも１つから化学薬剤を噴霧するための少なくとも１つのノズル９を備える。

【0046】

噴霧装置４のコントローラモジュール１０は、以下でさらに説明するように、雑草種識別装置５から雑草種検出信号を受信する。この信号に基づいて、コントローラモジュール１０は、供給モジュール８の少なくとも１つからノズル９を介して化学薬剤を噴霧することを選択的に指令する。

【0047】

コントローラモジュール１０は、雑草種検出信号を受信した後、噴霧遅延を伴って化学薬剤の噴霧を命令することができる。

【0048】

噴霧遅延は、雑草認識装置の遅延時間と、車両１の速度と、ノズル９とカメラ３との間の較正された距離とに基づいて計算することができる。

【0049】

噴霧遅延はまた、例えば、噴霧装置の機械システムの遅延時間と噴霧装置の管内の液体の移動時間とに対応する、化学薬剤の予め較正された送達時間を考慮に入れてもよい。

【0050】

本発明の一実施形態において、雑草種検出信号は、雑草種に関する情報のみを含む。次に、噴霧装置４のコントローラモジュール１０は、この雑草種に適応した除草剤を含む供給モジュール８を選択し、電子供給弁１２、および必要であればノズル９に、化学薬剤を噴霧するように命令する。

【0051】

本発明の他の実施形態において、雑草種検出信号は、雑草種位置指標を含むことができる。

【0052】

これらの実施形態のうちの１つにおいて、噴霧装置４は、鉄道車両の横方向Ｙに沿って配置された複数のノズル９を備える。ノズル９は、車両１の下および／または列車の側面に配置されてもよい。

【0053】

この実施形態では、噴霧装置４のコントローラモジュール１０が、次に、雑草種検出信号を受信して、雑草種位置指標に基づいて複数のノズル９を通して化学薬剤を噴霧するように命令することができる。特に、地面上の雑草の位置に応じて、限られた数のノズル９のみが開放されてもよい。

【0054】

変形例では、噴霧装置４が少なくとも１つの可動ノズル９を含むことができる。可動ノズルは、地面上の複数の目標ゾーン、例えば、鉄道車両１の横方向Ｙに沿って並置された複数の目標ゾーンを選択的に噴霧することができる。可動ノズル９は、その位置および／またはその向きを傾斜または摺動制御装置によって制御されてもよい。

【0055】

この実施形態において、噴霧装置４のコントローラモジュール１０が雑草種検出信号を受信し、雑草種位置指標に基づいて可動ノズル９の位置および／または向きを命令する。特に、ノズル９の位置および／または向きは、地面上の正しい位置に除草剤を噴霧するために、地面上の雑草の位置に従って合わせてもよい。

【0056】

上述の２つの実施形態を組み合わせて、独立に移動されたり、選択される複数の可動ノズルを提供することができる。

【0057】

ここで、本発明の一実施形態に係る雑草種識別装置５をより詳細に示す図２をより具体的に参照する。

【0058】

雑草種識別装置５は、通信モジュール１３と、メモリモジュール１４と、処理モジュール１５とを備える。

【0059】

通信モジュール１３は、カメラ３によって取り込まれた画像を受信し、既に前に説明したように、雑草種検出信号を除草システム１の噴霧装置４のコントローラモジュール１０に送信する。

【0060】

特に、カメラ３は、レール軌道上の車両１の移動中に連続的な画像ストリームを生成することができ、この場合、通信モジュール１３は、前記画像を連続的に受信することができ、雑草種識別装置５のすべてのモジュールは、リアルタイムまたはソフトリアルタイムで演算することができ、したがって、雑草種検出信号の連続ストリームを生成し、噴霧装置４のコントローラモジュール１０に送ることもできる。

【0061】

通信モジュール１３は、有線通信又は無線プロトコル（例えば、赤外線またはＷｉ－Ｆｉ等の光学または無線プロトコル）を用いて、カメラ３および噴霧装置４のコントローラモジュール１０と通信することができる。

【0062】

メモリモジュール１４は、受信した画像または画像のストリームを記憶することができる。メモリモジュール１５は、いくつかのサブモジュールを含むことができ、雑草種識別装置５のいくつかのチップに分散させることができる。特に、メモリモジュール１４は、不揮発性記憶メモリおよび揮発性記憶メモリを含むことができる。

【0063】

処理モジュール１５は、複数のｐ個の並列処理コア１６を含む。並列処理コア１６の数ｐは１よりも大きい。処理モジュールは、例えば、少なくとも４つの並列処理コア１６を含むことができる。並列処理コア１６は、以下により詳細に説明するように、並列計算カーネルを実行することができる。

【0064】

各並列処理コア１６は画像の処理をさらに並列化するために、複数のサブコアプロセッサを備えることができる。

【0065】

特に、並列処理コアは、例えば、中央処理装置（ＣＰＵ）またはグラフィカル処理装置（ＧＰＵ）のような単一のコンピューティング構成要素１５の一部であってもよい。

【0066】

並列処理コア１６は、メモリモジュール１４の特定の領域にアクセスすることができ、特に、メモリモジュール１４は、処理モジュール１５に近接して配置されたメモリチップ、例えば、処理モジュール１５を組み込んだグラフィック処理装置のメモリチップを含むことができる。

【0067】

各並列処理コア１６は、画像の画素値の特徴表現部分行列Ｆを得るために、画像の近傍画素から構成された部分行列Ｐと、メモリモジュール１５に記憶された所定のカーネルＫとの間の少なくとも１つの畳み込み演算を実行する。例えば、選択された画像の近傍画素の各部分行列は、予め定義された格納されたカーネルＫと同じ寸法を有する。

【0068】

カーネルＫは、画像内の任意の画素に対する同等の受容野と見なすことができる小さな行列である。

【0069】

畳み込み演算は、カーネルＫのエントリと、画像の近くの画素から構築された部分行列Ｐとの間の内積を計算して、画像のフィルタリングされた表現である特徴表現部分行列を生成することを含む。

【0070】

先に説明したように、画像の部分行列Ｐは、この画像の近くの画素に対応する。したがって、各画像はカーネルＫと各部分行列Ｐとの間で計算される内積が典型的にはいくつかの特徴表現部分行列を生成することができるように、いくつかの部分行列Ｐに分割することができる。次いで、これらの特徴表現部分行列から特徴表現行列を構築することが可能である。

【0071】

畳み込み演算の局所性から判断して、画像の処理を強く加速する当該畳み込み演算は、容易に並列化され得る。

【0072】

さらに、以下でさらに詳述するように、カーネルの係数は、カーネルが一般的であるとともに、多種多様な雑草種に適用することができるように較正することができる。カーネルの係数の決定は雑草識別モデルの重みの決定の一部である。カーネルＫを用いて実行される畳み込み演算は、雑草種の各々を認識することを見越しておくべきであることを意味する。したがって、カーネルの係数は、各雑草種を特徴付ける特徴を表す。

【0073】

異なる雑草種を区別するために、画像中の雑草種の形状、テクスチャ、色、および／または位置といった、いくつかの特徴を、単独でまたは組み合わせて考慮に入れることができる。したがって、カーネルの係数または重みは、これらのパラメータまたは特徴に応じて較正されなければならない。異なる雑草種を区別する十分な数の特徴を考慮することによって、雑草種の認識の効率および前記認識の速度が向上する。これは、鉄道車両１が列車軌道上をより速く走行することを可能にするために特に有利である。

【0074】

具体的には、前記畳み込み演算を実行するために、各並列処理コアは、部分行列Ｐとカーネルに関連付けられた所定のカーネル行列Ｋとの間の行列間乗算を計算することができる。

【0075】

カーネルＫの係数は画像全体にわたって同一であり、したがって、並列処理コア間で同一であることができ、または画像上の位置に応じて変化することができる。

【0076】

この行列間乗算は、画像の処理速度を増加させるために従来の並列処理代数アルゴリズムを使用することによって並列化することができる。

【0077】

あるいは、畳み込み演算は、画像の部分行列Ｐの高速フーリエ変換を計算することによって実行されてもよい。

【0078】

図３および図４に示すように、処理モジュールは通常、画像の画素値から生成された入力行列Ｉから開始され、雑草種のデータベースの中に雑草種が存在する少なくとも１つの確率を含む出力行列Ｏで終了する、一連のｎ個の処理演算を実行する。

【0079】

有利には、前記一連の連続する処理演算のそれぞれの処理演算ｉは、前の処理演算ｉ－１によって出力された特徴表現行列Ｆ_ｉ－１、または画像の画素値から生成された入力行列Ｉを入力として取り込んで、特徴表現行列Ｆ_ｉを生成する。

【0080】

処理演算は、以下のうちの少なくとも１つを含む：
－前述したような畳み込み演算
－プーリング演算、および／または
－非線形並列処理。

【0081】

ここで、プーリング演算および非線形並列処理についてさらに詳細に説明する。

【0082】

プーリング演算は、処理モジュールの各並列処理コアによって実行することができる。

【0083】

プーリング演算は、入力行列Ｉまたは先行する処理演算ｉ－１によって出力された特徴表現行列Ｆ_ｉ－１から決定された近傍値の部分行列Ｓに対して実行することができる。

【0084】

特徴表現行列Ｆ_ｉは、カーネルＫと、入力行列Ｉまたは特徴表現行列Ｆ_ｉ－１の部分行列Ｐとの間の畳み込み演算を適用することによって得られる特徴表現部分行列から構築することができる。同様に、特徴表現行列Ｆ_ｉは、近傍値のいくつかの部分行列Ｓに分割することができる。同様に、入力行列Ｉは、近傍値のいくつかの部分行列Ｓに分割することができる。

【0085】

プーリング演算は、近傍値の各部分行列Ｓに適用することができる。例えば、プーリング演算が特徴表現行列に適用されるとき、特徴表現部分行列を近傍値の部分行列Ｓとすることが可能である。

【0086】

プーリング演算は、最も重要な情報を保存することによって、特徴表現行列Ｆ_ｉ－１または入力行列Ｉの大きさを縮小する局所演算である。例えば、近傍値の各部分行列Ｓについて、１つの値のみが保持される。換言すれば、プーリング演算を適用した後、例えば、特徴表現行列Ｆ_ｉ－１又は入力行列Ｉの部分行列Ｓ毎に１つの値のみを含む、縮小された大きさを有する特徴表現行列Ｆ_ｉが得られる。

【0087】

プーリング演算は、近傍値の前記部分行列Ｓの統計値を決定することを含む。統計値は、例えば、いわゆる最大プーリング（ｍａｘ－ｐｏｏｌｉｎｇ）のように、前記部分行列Ｓの最大値である。最大プーリング演算が使用される実施形態では、各部分行列Ｓの最大値のみが保持される。

【0088】

プーリング演算は局所演算であるので、後者も容易に並列化することができ、トレーニング画像と試験画像との間における画像内の植物の小さな並進に関して雑草種識別のロバスト性を高めることができる。

【0089】

処理モジュールの並列処理コアは、入力行列Ｉまたは先行する処理演算ｉ－１によって出力された特徴表現行列Ｆ_ｉ－１の非線形並列処理を実行することもできる。

【0090】

「非線形演算」とは、スカラー、ベクトル、またはテンソルｘに適用される非線形関数ｆの出力ｙ＝ｆ（ｘ）が前記スカラー、ベクトル、またはテンソルｘに対して線形でないことを意味する。

【0091】

非線形関数の一例として、関数ｆ（ｘ）＝ｍａｘ（０，ｘ）などの正規化線形ユニット、または漏洩正規化線形ユニット、パラメトリック正規化線形ユニット、または、マックスアウト（「ｍａｘｏｕｔ」）ユニット等の一般化された直線化された線形ユニットである。例えば、一般化された関数は、以下のようになる：
ｆ（ｘ）＝ｍａｘ（０，ｘ）＋ａ＊ｍｉｎ（０，ｘ）。
ここで、ａは所定のパラメータである。

【0092】

非線形関数は、入力行列Ｉまたは特徴表現行列Ｆ_ｉ－１のそれぞれの値に独立に適用することができる。

【0093】

プーリング演算とは異なり、非線形演算は、入力行列Ｉまたは特徴表現行列Ｆ_ｉ－１の大きさを保存することができる。

【0094】

一方、一実施形態において、１以上の演算に重み付けを行うことができる。異なる演算の重み付けは、例えば、以下に記載する学習ステップ中に決定されてもよい。

【0095】

ここでも、入力行列Ｉまたは特徴表現行列Ｆ_ｉ－１のそれぞれの値に非線形関数を独立に適用することにより、処理の並列化が容易になり、雑草識別装置の遅延時間が短縮される。

【0096】

従って、連続的な処理演算は、雑草種のデータベース内の各雑草種を検出する確率を含む出力行列を導くことができる。

【0097】

本発明のいくつかの実施形態において、出力行列は、カメラによって取り込まれた画像内の雑草種の位置を示す少なくとも１つの値をさらに含むことができる。

【0098】

これにより、ノズルの選択および／または移動を行って、化学物質消費を低減することが可能になる。

【0099】

有利には、識別されたすべての雑草種を、位置情報と共に提供してもよい。

【0100】

雑草種の位置を示すそのような値は、例えば、カメラによって取り込まれた画像内の雑草種の位置を示すバウンディングボックスであってもよい。

【0101】

したがって、出力行列から、処理モジュール１５は、雑草種のデータベースの中の雑草種の存在の少なくとも１つの確率を計算することができる。

【0102】

したがって、処理モジュール１５は、前記存在確率に基づいて雑草種検出信号を生成することができる。

【0103】

このように、上述した特殊な演算と並列処理とを用いることにより、遅延時間の非常に短い雑草識別システムを得ることができる。

【0104】

より正確には、雑草種識別装置５が、遅延時間ｔ_ｌで、カメラ３により取り込まれた画像Ｉから雑草種検出信号を生成することができる。

【0105】

遅延時間ｔ_ｌは、対応する画像Ｉの受信から雑草種検出信号の生成を分離する時間に対応する。

【0106】

遅延時間ｔ_ｌは、５００ミリ秒未満、特には２００ミリ秒未満、または更には１００ミリ秒未満であってもよく、７５％を超える対応する検知精度、特には９０％を超える対応する検知精度を有する。

【0107】

検出の精度とは、多数の画像、例えば１０００を超える画像において観察される雑草種からの検出の数（すなわち、前記画像上に現れる雑草標本の総数にわたる真の陽性の数）を意味する。

【0108】

また、噴霧装置４、特に噴霧装置のノズル９と、カメラ３とは、鉄道車両の長手軸Ｘに沿って、離間距離ｄ_ｓを取って、鉄道車両１上で互いに離間することができる。

【0109】

離間距離ｄ_ｓおよび遅延時間ｔ_ｌは、ｄ_ｓ／（ｔ_ｌ＋ｔ_ｐ）＞ｖとすることができ、ここで、ｖは列車軌道上を走行する鉄道除草車両１の速度であり、ｔ_ｐは、噴霧装置の処理時間である。

【0110】

噴霧装置の処理時間ｔ_ｐは、雑草が識別されたという情報を噴霧装置が受信してから除草剤が実際に噴霧されるまでの時間である。この時間は特に、上で詳述した遅延を含み得る。噴霧装置の処理時間ｔ_ｐは、例えば１秒程度である。

【0111】

一実施形態において、鉄道車両が列車軌道上を走行する列車であってもよい。この実施形態において、速度ｖが４０ｋｍ／ｈを超えてもよく、より好ましくは５０ｋｍ／ｈを超えてもよく、さらには８０ｋｍ／ｈを超えてもよい。この実施形態においても、噴霧装置およびカメラは、鉄道車両上で互いにかなり離れていてもよく、例えば１０～４０ｍ離れて配置されてもよい。

【0112】

別の実施形態において、鉄道車両が列車軌道上を走行する道路レール車両であってもよい。この実施形態において、速度ｖが、例えば、１０ｋｍ／ｈ～３０ｋｍ／ｈであってもよい。この実施形態においても、噴霧装置およびカメラは、鉄道車両上で互いに極めて近接していてもよく、例えば２～１０ｍ離れて配置されてもよい。

【0113】

遅延時間ｔ_ｌは、以下に説明するように、カメラ３によって制約されてもよい。カメラ３の取り込みシステムは、所定の視野（ＦＯＶ）を有する。より正確には、レンズ焦点距離およびイメージセンササイズが視野と作動距離（レンズの背面と画像化された鉄道軌道との間の距離）との間の関係を設定する。従って、視野は、カメラのセンサ上に取り込まれた検査領域である。視野の大きさおよびカメラのセンサの大きさは、画像解像度（精度の１つの決定要因）に直接影響を及ぼす。視野は特に、上で詳述したように、雑草種を識別することができるために必要とされる分解能によって制限される。

【0114】

したがって、視野は、平方メートルで表されてもよく、特に１０平方メートル未満、例えば約５平方メートルであってもよい。

【0115】

視野は、長手方向Ｘおよび横方向Ｙに沿って延在する。

【0116】

視野の長手方向の広がりＦＯＶ_Ｘは、１ｍ～３ｍであってもよい。視野の横方向の広がりＦＯＶ_Ｙは、１ｍ～５ｍであってもよい。

【0117】

また、遅延時間は、視野の長手方向の広がりＦＯＶ_Ｘと、カメラのフレームレートとによって制約されてもよい。

【0118】

例えば、カメラが約１メートルの視野の長手方向の広がりＦＯＶ_Ｘを有する場合、カメラは、鉄道車両が鉄道線路上を１メートル走行するたびに新しい画像を出力しなければならない。バッファへの画像の蓄積を防止するために、雑草種識別装置の遅延時間は、カメラ３の２つの連続した取り込みの間の時間よりも短くなければならない。

【0119】

特に、視野の長手方向の広がり（ＦＯＶ_Ｘ）と遅延時間（ｔ_ｌ）との関係は、
ＦＯＶ_Ｘ／ｔ_ｌ＞ｖ
と設定することができ、または等価的に、
ｔ_ｌ＜ＦＯＶ_Ｘ／ｖ
と設定することができる。

【0120】

例えば、視野の長手方向の広がり（ＦＯＶ_Ｘ）が約１メートルであり、速度（ｖ）が約６０ｋｍ／ｈ、すなわち１４ｍ／ｓである場合、遅延時間（ｔ_ｌ）は６０ミリ秒未満でなければならない。

【0121】

前述の処理演算のパラメータ、特に畳み込み演算のカーネルのパラメータは、以下により詳細に説明する較正プロセスを実行させることによって決定することができる。

【0122】

雑草種のデータベースには、複数の雑草種が列挙されている。雑草種のデータベースには、例えば、スズメノカタビラ、セイヨウノコギリソウ、セイヨウトゲアザミ、ヒメムカシヨモギ、ヤワゲフウロ、ヘラオオバコ、セネシオイナエクイデンス、タイワンハチジョウナ、セイヨウタンポポ、シロツメクサ、メマツヨイグサ、またはスギナが含まれてもよい。

【0123】

鉄道車両１のような鉄道車両は、鉄道線路上での前記鉄道車両の移動中に鉄道軌道の一部の画像を取り込むことができる少なくとも１つのカメラ３を備える。

【0124】

較正プロセス中に使用されるカメラ３は、上述したカメラと同様のものとすることができる。

【0125】

鉄道車両１もまた、カメラのみを備え、したがって噴霧装置４または雑草種識別装置５を備えないことを除いて、同様であってもよい。

【0126】

カメラ３は上で詳述したように、画素値の行列を含む画像を取り込む。

【0127】

鉄道車両１は、標的雑草種のデータベースの少なくとも所定数の各雑草種が存在する列車軌道を走行する。所定の数は有利には多数であり、例えば、各標的雑草種の数百または数千のサンプルよりも多い。

【0128】

したがって、鉄道車両１は、標的雑草種の前記データベースの各雑草種の少なくとも所定数の画像を取得する。例えば、数百または数千を超える画像が、各標的雑草種のサンプルを含む。雑草種の少なくとも所定数の画像を取得するこの工程は、図５に示すプロセスの第１の工程である。

【0129】

第２の工程では、画像上に雑草種をタグ付けすることによって、各雑草種の所定数の画像から訓練データセットを構築することができる。タグ付け動作は、画像内で取得された各サンプルについて雑草のカテゴリを割り当てることを含んでもよく、また、前記画像内に示された各雑草種の、画像内における位置のバウンディングボックスまたは表示を定義することを含むこともできる。

【0130】

したがって、雑草の各カテゴリについて、本発明者らは、雑草の前記カテゴリを示すいくつかのサンプルを有する。次いで、雑草のカテゴリの形状、テクスチャ、色および／または位置のような前記サンプル間の共通の特徴を決定することが可能である。以下に説明する学習ステップは、訓練データセットと、カテゴリが割り当てられたタグ付き雑草種とに基づく。

【0131】

言い換えれば、異なる雑草種が示された画像から、当該異なる雑草種間で区別が可能となる特徴を決定することが可能である。したがって、雑草種を区別する基準を示す必要さえない。これは、これらの基準が、画像の分析、および同じ雑草種を示すものとしてタグ付けされたいくつかのサンプル間の共通の特徴の決定によって自動的に決定され得るからである。

【0132】

次に、第３の工程では、雑草識別モデルの重みのセットが訓練データセットから決定される。雑草識別モデルの重みのセットは、上で詳述したように、畳み込み演算のための少なくとも１つの予め定義されたカーネルを含む。

【0133】

実際、カーネルの係数は、カーネルが一般的であるとともに、多種多様な雑草種に適用することができるように較正されなければならない。カーネルの係数は、訓練データセットに基づいて決定される。再び、カーネルの係数は、画像内の雑草種の形状、テクスチャ、色および／または位置のような訓練データセットに基づいて学習された異なる雑草種の特徴に基づいて決定される。

【0134】

したがって、訓練データセットとも呼ばれる、鉄道車両１によって取得された画像は、雑草種の特徴を学習して、雑草識別モデルの重みのセットならびにカーネルの係数を決定することを可能にする。この学習ステップは、モデルの精度を最大にするために実行される。このステップの目標は、例えば、データセット内の列にタグ付けされた雑草サンプルを予測する確率を最大にすることである。モデル重みのセットは、機械学習技術、例えば、勾配降下アルゴリズムを使用することによって決定されてもよい。前述の演算は、訓練データセットの画像に対して実行される。演算を実行するために最初に使用されるカーネルの係数は、異なる方法で決定することができる。例えば、カーネルの係数は、ランダムに予め定義することができる。次に、演算が実行された画像上の誤り率を決定することが可能である。実際、異なる雑草種が画像上にタグ付けされているので、演算を実行することによって得られる検出が正しいかどうかを、タグ付けされた雑草種ごとに比較することが可能である。誤り率が許容できない場合、例えば、誤り率が所定のしきい値よりも高いかどうかにかかわらず、雑草識別モデルの重みのセット、したがってカーネルの係数を修正するために、逆伝播学習を実行することができる。明らかに、第１のパスの後、特にこれらのパラメータがランダムに予め定義されている場合には、雑草識別モデルの重みにかなりの修正が必要である。このステップは明らかに、必要なだけ繰り返すことができる。

【0135】

上記を要約すると、訓練データセットは学習ステップのために使用され、学習ステップの間に演算の重みおよびカーネルの係数が決定される。各雑草種の形状、テクスチャ、色、および／または位置などの特徴は、サンプルごとに雑草のカテゴリを割り当てるためにタグ付け動作が実行された訓練データセットの画像に基づいて自動的に決定される。訓練データセットの画像に対して演算を実行した後、モデルの精度が、例えば誤り率で推定され、雑草識別モデルの重みを修正するために逆伝播学習が実行される。この演算を実行するステップと、逆伝播学習とを繰り返すことにより、得られる誤り率を低減することができる。最後に、第４のステップにおいて、雑草識別モデルの重みのセットは、除草システム２のメモリモジュール１４に記憶され、上述したように除草動作に使用することができる。

【0136】

当業者にはよく理解されるように、本発明を説明するために本明細書で説明されるいくつかの様々なステップおよびプロセスは、電気現象を利用してデータを操作および／または変換するコンピュータ、プロセッサ、または他の電子計算デバイスによって実行される動作を参照することができる。これらのコンピュータおよび電子デバイスは、コンピュータまたはプロセッサによって実行されることが可能な様々なコードまたは実行可能命令を含む、実行可能プログラムが格納されたコンピュータ読み取り可能な非一時的な媒体を含む様々な揮発性および／または不揮発性メモリを使用することができ、メモリおよび／またはコンピュータ読み取り可能な媒体は、すべての形態およびタイプのメモリおよび他のコンピュータ読み取り可能な媒体を含むことができる。

【0137】

前述の議論は本発明の単なる例示的な実施形態を開示し、説明したにすぎない。当業者であれば、このような議論から、また添付の図面および特許請求の範囲から、以下の特許請求の範囲に定義される本発明の精神および範囲から逸脱することなく、様々な変更、修正、および変形を行うことができることを容易に理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】