知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025002839
(43)【公開日】2025-01-09
(54)【発明の名称】列検出システムおよび農業機械
(51)【国際特許分類】
A01B 69/00 20060101AFI20241226BHJP
【ＦＩ】
A01B69/00 303D
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023103206
(22)【出願日】2023-06-23
(71)【出願人】
【識別番号】000001052
【氏名又は名称】株式会社クボタ
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100139930
【弁理士】
【氏名又は名称】山下 亮司
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(74)【代理人】
【識別番号】100202142
【弁理士】
【氏名又は名称】北 倫子
(72)【発明者】
【氏名】荒川 侑摩
(72)【発明者】
【氏名】長尾 充朗
【テーマコード（参考）】
2B043
【Ｆターム（参考）】
2B043AA04
2B043AB01
2B043BA02
2B043BA09
2B043BB01
2B043EA22
2B043EA23
2B043EA35
2B043EB08
2B043EB18
2B043EC12
2B043EC13
2B043EC14
2B043EC15
2B043EE01
2B043EE06
(57)【要約】
【課題】関心領域の適切な選択により列検出処理を効率的に実行する。
【解決手段】本開示の列検出システムは、農業機械に取り付けられ、地面を撮影して地面における第１領域についての第１画像を生成する第１撮像装置と、農業機械に取り付けられ、地面を撮影して前記地面において前記第１領域よりも後方にシフトした第２領域についての第２画像を生成する第２撮像装置と、第１画像および第２画像の画像処理を行う処理装置とを備える。第２撮像装置は各前輪の少なくとも一部および各後輪の少なくとも一部を第２画像内に含むように設けられる。処理装置は第１画像を第１上面視画像に変換し、第２画像を第２上面視画像に変換し、第２上面視画像における各前輪の位置および各後輪の位置に基づいて第１上面視画像から関心領域を選択し、関心領域を対象とする列検出処理を実行する。
【選択図】図１
【解決手段】本開示の列検出システムは、農業機械に取り付けられ、地面を撮影して地面における第１領域についての第１画像を生成する第１撮像装置と、農業機械に取り付けられ、地面を撮影して前記地面において前記第１領域よりも後方にシフトした第２領域についての第２画像を生成する第２撮像装置と、第１画像および第２画像の画像処理を行う処理装置とを備える。第２撮像装置は各前輪の少なくとも一部および各後輪の少なくとも一部を第２画像内に含むように設けられる。処理装置は第１画像を第１上面視画像に変換し、第２画像を第２上面視画像に変換し、第２上面視画像における各前輪の位置および各後輪の位置に基づいて第１上面視画像から関心領域を選択し、関心領域を対象とする列検出処理を実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
一対の前輪および一対の後輪を含む複数の車輪を備える農業機械に取り付けられ、地面を撮影して前記地面における第１領域についての第１画像を生成する第１撮像装置と、
前記農業機械に取り付けられ、前記地面を撮影して前記地面において前記第１領域よりも後方にシフトした第２領域についての第２画像を生成する第２撮像装置と、
前記第１画像および前記第２画像の画像処理を行う処理装置と、
を備え、
前記第２撮像装置は、各前輪の少なくとも一部および各後輪の少なくとも一部を前記第２画像内に含むように設けられ、
前記処理装置は、
前記第１画像を、前記地面の上方から見た第１上面視画像に変換し、
前記第２画像を、前記地面の上方から見た第２上面視画像に変換し、
前記第２上面視画像における各前輪の位置および各後輪の位置に基づいて前記第１上面視画像から関心領域を選択し、前記関心領域を対象とする列検出処理を実行する、
列検出システム。
前記農業機械に取り付けられ、前記地面を撮影して前記地面において前記第１領域よりも後方にシフトした第２領域についての第２画像を生成する第２撮像装置と、
前記第１画像および前記第２画像の画像処理を行う処理装置と、
を備え、
前記第２撮像装置は、各前輪の少なくとも一部および各後輪の少なくとも一部を前記第２画像内に含むように設けられ、
前記処理装置は、
前記第１画像を、前記地面の上方から見た第１上面視画像に変換し、
前記第２画像を、前記地面の上方から見た第２上面視画像に変換し、
前記第２上面視画像における各前輪の位置および各後輪の位置に基づいて前記第１上面視画像から関心領域を選択し、前記関心領域を対象とする列検出処理を実行する、
列検出システム。
【請求項2】
前記処理装置は、
前記第２上面視画像における前記一対の前輪の領域および前記一対の後輪の領域を検出し、
前記一対の前輪の前記領域および前記一対の後輪の前記領域に基づいて、前記関心領域の幅を決定する、
請求項１に記載の列検出システム。
前記第２上面視画像における前記一対の前輪の領域および前記一対の後輪の領域を検出し、
前記一対の前輪の前記領域および前記一対の後輪の前記領域に基づいて、前記関心領域の幅を決定する、
請求項１に記載の列検出システム。
【請求項3】
前記関心領域は、前記第１上面視画像の中央を縦方向に延びる、前記幅を有する長方形の領域である、請求項２に記載の列検出システム。
【請求項4】
前記第１画像および前記第２画像は、カラー画像であり、
前記処理装置は、
前記一対の前輪および前記一対の後輪の色情報に基づいて、前記第２上面視画像における前記一対の前輪の前記領域および前記一対の後輪の前記領域を決定する、
請求項２に記載の列検出システム。
前記処理装置は、
前記一対の前輪および前記一対の後輪の色情報に基づいて、前記第２上面視画像における前記一対の前輪の前記領域および前記一対の後輪の前記領域を決定する、
請求項２に記載の列検出システム。
【請求項5】
前記処理装置は、
前記一対の前輪の前記領域から一対の前輪基準点を抽出し、
前記一対の後輪の前記領域から一対の後輪基準点を抽出し、
前記一対の前輪基準点および前記一対の後輪基準点の一方または両方に基づいて前記関心領域の前記幅を決定する、
請求項４に記載の列検出システム。
前記一対の前輪の前記領域から一対の前輪基準点を抽出し、
前記一対の後輪の前記領域から一対の後輪基準点を抽出し、
前記一対の前輪基準点および前記一対の後輪基準点の一方または両方に基づいて前記関心領域の前記幅を決定する、
請求項４に記載の列検出システム。
【請求項6】
前記処理装置は、
前記第２上面視画像を左部分と右部分とに分割する縦基準線を決定し、
前記一対の前輪の前記領域から、前記縦基準線に最も近い一対の画素を前記一対の前輪基準点として選択し、
前記一対の後輪の前記領域から、前記縦基準線に最も近い一対の画素を前記一対の後輪基準点として選択し、
前記一対の前輪基準点の距離によって規定される前輪間隔、および前記一対の後輪基準点の距離によって規定される後輪間隔の一方に基づいて、前記関心領域の前記幅を決定する、
請求項５に記載の列検出システム。
前記第２上面視画像を左部分と右部分とに分割する縦基準線を決定し、
前記一対の前輪の前記領域から、前記縦基準線に最も近い一対の画素を前記一対の前輪基準点として選択し、
前記一対の後輪の前記領域から、前記縦基準線に最も近い一対の画素を前記一対の後輪基準点として選択し、
前記一対の前輪基準点の距離によって規定される前輪間隔、および前記一対の後輪基準点の距離によって規定される後輪間隔の一方に基づいて、前記関心領域の前記幅を決定する、
請求項５に記載の列検出システム。
【請求項7】
前記処理装置は、
前記前輪間隔および前記後輪間隔のうちの相対的に小さくない方の間隔に基づいて前記関心領域の幅を決定する、
請求項６に記載の列検出システム。
前記前輪間隔および前記後輪間隔のうちの相対的に小さくない方の間隔に基づいて前記関心領域の幅を決定する、
請求項６に記載の列検出システム。
【請求項8】
前記処理装置は、
前記前輪間隔および前記後輪間隔の一方に０．９以上２．０以下の数値を乗算した値を前記関心領域の幅として用いる、
請求項６に記載の列検出システム。
前記前輪間隔および前記後輪間隔の一方に０．９以上２．０以下の数値を乗算した値を前記関心領域の幅として用いる、
請求項６に記載の列検出システム。
【請求項9】
前記処理装置は、
前記縦基準線に直交する横基準線であって、前記第２上面視画像の前記左部分および前記右部分のそれぞれを上部分と下部分とに分割し、前記一対の前輪の前記領域を前記上部分に含み、前記一対の後輪の前記領域を前記下部分に含む、横基準線を決定し、
エッジ検出技術によって前記第２上面視画像におけるエッジを検出し、
前記第２上面視画像における前記一対の前輪の前記領域および前記一対の後輪の前記領域と、前記エッジと、の重複部分を決定し、
前記縦基準線および前記横基準線によって分割された４つの部分のそれぞれにおいて、前記重複部分の前記縦基準線に最も近い位置にある画素を前記前輪基準点および前記後輪基準点として選択する、
請求項６に記載の列検出システム。
前記縦基準線に直交する横基準線であって、前記第２上面視画像の前記左部分および前記右部分のそれぞれを上部分と下部分とに分割し、前記一対の前輪の前記領域を前記上部分に含み、前記一対の後輪の前記領域を前記下部分に含む、横基準線を決定し、
エッジ検出技術によって前記第２上面視画像におけるエッジを検出し、
前記第２上面視画像における前記一対の前輪の前記領域および前記一対の後輪の前記領域と、前記エッジと、の重複部分を決定し、
前記縦基準線および前記横基準線によって分割された４つの部分のそれぞれにおいて、前記重複部分の前記縦基準線に最も近い位置にある画素を前記前輪基準点および前記後輪基準点として選択する、
請求項６に記載の列検出システム。
【請求項10】
前記第１画像および前記第２画像は、カラー画像であり、
前記処理装置は、
前記第１上面視画像の前記関心領域から、作物列の色を強調した第１上面視強調画像を生成し、
前記第１上面視強調画像から、前記作物列の色の指標値が閾値以上の画素と、前記指標値が前記閾値未満の画素とに分類された、第１上面視二値化画像を生成し、
前記第１上面視二値化画像に基づいて、前記地面上の作物列を検出する、
請求項１に記載の列検出システム。
前記処理装置は、
前記第１上面視画像の前記関心領域から、作物列の色を強調した第１上面視強調画像を生成し、
前記第１上面視強調画像から、前記作物列の色の指標値が閾値以上の画素と、前記指標値が前記閾値未満の画素とに分類された、第１上面視二値化画像を生成し、
前記第１上面視二値化画像に基づいて、前記地面上の作物列を検出する、
請求項１に記載の列検出システム。
【請求項11】
前記処理装置は、
前記第１上面視画像の前記関心領域を前記第２上面視画像内に延長し、
前記第２上面視画像における前記関心領域から、前記作物列の色を強調した第２上面視強調画像を生成し、
前記第２上面視強調画像から、前記作物列の色の前記指標値が前記閾値以上の画素と、前記指標値が前記閾値未満の画素とに分類された、第２上面視二値化画像を生成し、
前記第１上面視二値化画像および第２上面視二値化画像に基づいて、前記地面上の作物列を検出する、
請求項１０に記載の列検出システム。
前記第１上面視画像の前記関心領域を前記第２上面視画像内に延長し、
前記第２上面視画像における前記関心領域から、前記作物列の色を強調した第２上面視強調画像を生成し、
前記第２上面視強調画像から、前記作物列の色の前記指標値が前記閾値以上の画素と、前記指標値が前記閾値未満の画素とに分類された、第２上面視二値化画像を生成し、
前記第１上面視二値化画像および第２上面視二値化画像に基づいて、前記地面上の作物列を検出する、
請求項１０に記載の列検出システム。
【請求項12】
前記第１撮像装置は、前方斜め下向きに取り付けられており、
前記第２撮像装置は、下向きに取り付けられている、
請求項１に記載の列検出システム。
前記第２撮像装置は、下向きに取り付けられている、
請求項１に記載の列検出システム。
【請求項13】
前記農業機械は作業車両であり、
前記第２撮像装置は前記作業車両の下部に取り付けられている、
請求項１に記載の列検出システム。
前記第２撮像装置は前記作業車両の下部に取り付けられている、
請求項１に記載の列検出システム。
【請求項14】
前記処理装置は、前記列検出によって決定された作物列または畝の位置に基づいて目標経路を生成する、
請求項１に記載の列検出システム。
請求項１に記載の列検出システム。
【請求項15】
請求項１から１４のいずれか１項に記載の列検出システムと、
前記列検出システムが検出した作物列または畝の位置に基づいて前記農業機械の進行方向を制御する自動操舵装置と、
を備える農業機械。
前記列検出システムが検出した作物列または畝の位置に基づいて前記農業機械の進行方向を制御する自動操舵装置と、
を備える農業機械。
【請求項16】
操舵輪を含む走行装置をさらに備え、
前記自動操舵装置は、前記列検出システムが検出した前記作物列または前記畝の位置に基づいて、前記操舵輪の操舵角を制御する、
請求項１５に記載の農業機械。
前記自動操舵装置は、前記列検出システムが検出した前記作物列または前記畝の位置に基づいて、前記操舵輪の操舵角を制御する、
請求項１５に記載の農業機械。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、列検出システム、および列検出システムを備える農業機械に関する。
【背景技術】
【0002】
圃場で使用されるトラクタなどの作業車両の自動化に向けた研究開発が進められている。例えば、精密な測位が可能なＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）などの測位システムを利用して自動操舵で走行する作業車両が実用化されている。自動操舵に加えて速度制御を自動で行う作業車両も実用化されている。
【0003】
また、圃場における作物の列（作物列）または畝をカメラなどの撮像装置を用いて検出し、検出した作物列または畝に沿って作業車両の走行を制御するビジョン・ガイダンスシステムが開発されつつある。
【0004】
特許文献１は、列状に形成された畝に作物が植えられた耕作地を畝に沿って走行する作業機を開示している。特許文献１は、車載カメラで耕作地を斜め上方から撮影して取得した原画像を二値化処理した後、平面射影変換画像を生成することを記載している。特許文献１が開示する技術では、平面射影変換画像を回転させることにより、向きが異なる多数の回転画像を生成し、畝と畝との間の作業通路を検出する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１６－２０８８７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
画像認識技術を利用して農業機械が作物列または畝などの列領域に沿って自動操舵で移動するとき、列領域を高い位置精度で検出することが求められる。
【0007】
本開示は、列領域の検出精度を向上させることが可能な列検出システム、および列検出システムを備える農業機械を提供する。
【課題を解決するための手段】
【0008】
本開示の一態様による列検出システムは、一対の前輪および一対の後輪を含む複数の車輪を備える農業機械に取り付けられ、地面を撮影して前記地面における第１領域についての第１画像を生成する第１撮像装置と、前記農業機械に取り付けられ、前記地面を撮影して前記地面において前記第１領域よりも後方にシフトした第２領域についての第２画像を生成する第２撮像装置と、前記第１画像および前記第２画像の画像処理を行う処理装置と、
を備える。前記第２撮像装置は、各前輪の少なくとも一部および各後輪の少なくとも一部を前記第２画像内に含むように設けられる。前記処理装置は、前記第１画像を、前記地面の上方から見た第１上面視画像に変換し、前記第２画像を、前記地面の上方から見た第２上面視画像に変換し、前記第２上面視画像における各前輪の位置および各後輪の位置に基づいて前記第１上面視画像から関心領域を選択し、前記関心領域を対象とする列検出処理を実行する。
を備える。前記第２撮像装置は、各前輪の少なくとも一部および各後輪の少なくとも一部を前記第２画像内に含むように設けられる。前記処理装置は、前記第１画像を、前記地面の上方から見た第１上面視画像に変換し、前記第２画像を、前記地面の上方から見た第２上面視画像に変換し、前記第２上面視画像における各前輪の位置および各後輪の位置に基づいて前記第１上面視画像から関心領域を選択し、前記関心領域を対象とする列検出処理を実行する。
【0009】
本開示の他の態様による農業機械は、上記の列検出システムと、前記列検出システムが検出した作物列または畝の位置に基づいて前記農業機械の進行方向を制御する自動操舵装置と、を備える農業機械。
【0010】
本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよいし、分離した２つ以上の機器内に分かれて配置されていてもよい。
【発明の効果】
【0011】
本開示の実施形態によれば、作物列または畝などの列領域の検出精度を向上させることが可能になる。
【図面の簡単な説明】
【0012】
【図1】本開示の例示的な実施形態による列検出システムの構成を示すブロック図である。
【図2】処理装置によって実行される動作の概要を示すフローチャートである。
【図3A】農業機械に取り付けられた第１撮像装置によって取得された第１画像の例を示す図である。
【図3B】農業機械に取り付けられた第２撮像装置によって取得された第２画像の例を示す図である。
【図4A】第１画像を変換して作成される、地面の上方から見た第１上面視画像の例を示す図である。
【図4B】第２画像を変換して作成される、地面の上方から見た第２上面視画像の例を示す図である。
【図5】第２上面視画像から検出された一対の前輪の領域および一対の後輪の領域を示す図である。
【図6】第２上面視画像から検出されたエッジの画像の例を示す図である。
【図7】第２上面視画像から得られた前輪基準点および後輪基準点の配置例を示す図である。
【図8】第１上面視画像における関心領域の例を記載した図面である。
【図9】農業機械に取り付けられた第１撮像装置および第２撮像装置が地面を撮影する様子を模式的に示す側面図である。
【図10】車両座標系Σｂと、第１撮像装置のカメラ座標系Σｃ１と、第２撮像装置のカメラ座標系Σｃ２と、地面に固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。
【図11】地面に複数の作物列が設けられている圃場の一部を模式的に示す上面図である。
【図13】農業機械の走行方向が、作物列が延びる方向に対して傾斜している状態を模式的に示す上面図である。
【図15】地面に曲線状の複数の作物列が設けられている圃場の一部を模式的に示す上面図である。
【図16】処理装置のハードウェア構成例を示すブロック図である。
【図17】処理装置の動作の例を示すフローチャートである。
【図18】第１の姿勢にある撮像装置のカメラ座標系Σｃ１、および第２の姿勢にある仮想的な撮像装置のカメラ座標系Σｃ３のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。
【図19】第１画像、第２画像、第１上面視画像、および第２上面視画像の例を示す図である。
【図21】地面に置かれた校正用被写体が２つの撮像装置によって撮影されている様子の例を示す図である。
【図22】校正用被写体を撮影して得られる画像の例を示す図である。
【図26】３本の作物列が映る画像の例を模式的に示す図である。
【図28】作物列が斜めに延びている画像の例を示す図である。
【図30】走査ラインの方向を変化させることにより、作物列の方向に平行な走査ラインの方向を探索する手順の例を示すフローチャートである。
【図31】農業機械の外観の例を示す斜視図である。
【図32】作業機が装着された状態の農業機械の例を模式的に示す側面図である。
【図33】農業機械および作業機の概略的な構成の例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に関する重複する説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同じ参照符号を付している。
【0014】
下記の実施形態は例示であり、本開示の技術は、以下の実施形態に限定されない。例えば、以下の実施形態について示される数値、形状、材料、ステップ、そのステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
【0015】
本開示における「農業機械」は、「耕す」、「植える」、「収穫する」、「薬剤を散布する」などの農業の基本的な作業を圃場で行う機械を広く含む。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う機能および構造を備える機械である。これらの農作業を「対地作業」または単に「作業」と称することがある。トラクタのような作業車両が単独で「農業機械」として機能する場合に限られず、作業車両に装着または牽引される作業機（インプルメント）と作業車両の全体がひとつの「農業機械」として機能する場合がある。農業機械の例は、トラクタ、乗用管理機、野菜移植機、草刈機、農業用ドローン、および、圃場用移動ロボットを含む。
【0016】
（１．列検出システムの概要）
本開示の実施形態による列検出システムは、一対の前輪および一対の後輪を含む複数の車輪を有する農業機械に取り付けられる複数の撮像装置を備える。複数の撮像装置は、地面を撮影して地面における第１領域についての第１画像を生成する第１撮像装置と、地面を撮影して地面において第１領域よりも後方にシフトした第２領域についての第２画像を生成する第２撮像装置とを含む。処理装置は、第１画像および第２画像を処理して第１画像から関心領域を選択する。処理装置は、関心領域を対象とする列検出処理を実行するように構成されている。本開示の列検出システムによれば、各前輪の位置および各後輪の位置に基づいて関心領域の選択を行うため、列検出処理を効率的に実行することが可能になり、計算負荷を低減できる。
本開示の実施形態による列検出システムは、一対の前輪および一対の後輪を含む複数の車輪を有する農業機械に取り付けられる複数の撮像装置を備える。複数の撮像装置は、地面を撮影して地面における第１領域についての第１画像を生成する第１撮像装置と、地面を撮影して地面において第１領域よりも後方にシフトした第２領域についての第２画像を生成する第２撮像装置とを含む。処理装置は、第１画像および第２画像を処理して第１画像から関心領域を選択する。処理装置は、関心領域を対象とする列検出処理を実行するように構成されている。本開示の列検出システムによれば、各前輪の位置および各後輪の位置に基づいて関心領域の選択を行うため、列検出処理を効率的に実行することが可能になり、計算負荷を低減できる。
【0017】
処理装置は、検出した列領域に基づいて目標経路を決定し、農業機械の自動操舵装置に目標経路の情報を出力するように構成され得る。自動操舵装置は、農業機械が目標経路に沿って移動するように農業機械の操舵制御を行う。これにより、作物列または畝に沿って農業機械を移動させることが可能になる。
【0018】
図１は、本開示の例示的な実施形態による列検出システム１０００の構成を示すブロック図である。列検出システム１０００は、第１撮像装置１２０と、第２撮像装置１２１と、処理装置１２２とを備える。具体的には、第１撮像装置１２０は、農業機械に取り付けられ、地面を撮影して地面における第１領域についての第１画像を生成する。第２撮像装置１２１は、農業機械に取り付けられ、地面を撮影して地面において第１領域よりも後方にシフトした第２領域についての第２画像を生成する。農業機械は、一対の前輪および一対の後輪を含む複数の車輪を備える。第２撮像装置１２１は、各前輪の少なくとも一部および各後輪の少なくとも一部を第２画像内に含むように設けられる。第１撮像装置１２０および第２撮像装置１２１は、農業機械１００の底部に設けられていてもよい。あるいは、第１撮像装置１２０が農業機械１００の先端部または上部に設けられ、第２撮像装置１２１が農業機械１００の底部における中央部または後部に設けられていてもよい。そのような構成においては、農業機械１００は、作物列１２を跨ぐように走行するように構成され得る。
【0019】
処理装置１２２は、例えば、農業機械が備える自動操舵装置１２４に接続され得る。処理装置１２２は、第１画像を、地面の上方から見た第１上面視画像に変換し、第２画像を、地面の上方から見た第２上面視画像に変換する。そして、処理装置１２２は、第２上面視画像における各前輪の位置および各後輪の位置に基づいて第１上面視画像から関心領域を選択し、関心領域を対象とする列検出処理を実行するように構成されている。なお、処理装置１２２は、第１上面視画像と第２上面視画像とを合成することにより、パノラマ平面画像のような合成画像を生成するように構成されていてもよい。
【0020】
【0021】
ステップＳ１０において、処理装置１２２は、第１撮像装置１２０から第１画像を取得し、第２撮像装置１２１から第２画像を取得する。ステップＳ２０において、処理装置１２２は、第１画像を、地面の上方から見た第１上面視画像に変換し、第２画像を、地面の上方から見た第２上面視画像に変換する。これらの変換は、後述するホモグラフィ変換（平面射影変換）によって行われ得る。ステップＳ３０において、処理装置１２２は、第２上面視画像における各前輪の位置および各後輪の位置に基づいて、第１上面視画像から関心領域を選択し、関心領域を対象とする列検出処理を実行する。
【0022】
次に、ステップＳ３０において行う上記の処理の詳細を説明する。
【0023】
図３Ａは、第１撮像装置１２０から取得した第１画像４１Ａの例を示す図であり、図３Ｂは、第２撮像装置１２１から取得した第２画像４２Ａの例を示す図である。第１画像４１Ａには、各前輪４Ｆの少なくとも一部が含まれている。また、第２画像４２Ａには、各前輪４Ｆの少なくとも一部および各後輪４Ｒの少なくとも一部が含まれている。言い換えると、第２画像４２Ａは、４つの車輪４Ｆ、４Ｒのそれぞれの少なくとも一部を含んでいる。第１画像４１Ａおよび第２画像４２Ａは、それぞれ、図２のステップＳ１０で取得される。
【0024】
図４Ａは、第１上面視画像４１Ｂの例を示す図であり、図４Ｂは、第２上面視画像４２Ｂの例を示す図である。第１上面視画像４１Ｂおよび第２上面視画像４２Ｂは、それぞれ、図２のステップＳ２０において取得される。
【0025】
本開示における処理装置１２２は、第２上面視画像４２Ｂにおける一対の前輪４Ｆの領域および一対の後輪４Ｒの領域を検出するように構成されている。以下、簡単のため、「一対の前輪４Ｆの領域」を「前輪領域４Ｆ」と称し、「一対の後輪４Ｒの領域」を「後輪領域４Ｒ」と称する場合がある。
【0026】
図４Ｂに示される例において、前輪４Ｆおよび後輪４Ｒは、黒いゴム製タイヤを保持するリムから形成されている。リムは、例えば表面が塗装された金属材料から形成され、地面およびタイヤよりも明度の高い、例えば白い表面を有している。このため、明度が相対的に高い画素を第２上面視画像４２Ｂから選択することにより、第２上面視画像４２Ｂにおける前輪領域４Ｆおよび後輪領域４Ｒを検出することができる。明度が相対的に高い画素は、所定値を超える明度を有する画像である。この所定値は、予め固定されていてもよいし、第２上面視画像４２Ｂの画素が有する明度の分布に基づいて自動的に決定されてもよい。明度が相対的に高い画素の集まりから、明度の高い領域を決定することができる。
【0027】
なお、第１画像４１Ａおよび第２画像４２Ａがカラー画像である場合、処理装置１２２は、一対の前輪４Ｆおよび一対の後輪４Ｆの色情報に基づいて、第２上面視画像４２Ｂにおける前輪領域４Ｆおよび後輪領域４Ｒを決定してもよい。例えば、一対の前輪４Ｆおよび一対の後輪４Ｆにおけるリム表面の色が黄色である場合、カラー画像である第２上面視画像４２Ｂから黄色の画素を選択することにより、第２上面視画像４２Ｂにおける前輪領域４Ｆおよび後輪領域４Ｒを検出することができる。一対の前輪４Ｆおよび一対の後輪４Ｆにおけるリムではなく、タイヤの表面の色情報に基づいて、第２上面視画像４２Ｂにおける前輪領域４Ｆおよび後輪領域４Ｒを検出することも可能である。しかし、タイヤ表面の色は、一般に黒く、または土や泥が付着していることが多いため、地面から判別することが必ずしも容易ではない。このため、リムの明度または色に基づいて検出処理を行う方が、前輪領域４Ｆおよび後輪領域４Ｒを正確に決定しやすい。
【0028】
処理装置１２２は、前輪領域４Ｆから一対の前輪基準点ＦＰ１、ＦＰ２を抽出し、後輪領域４Ｒから一対の後輪基準点ＲＰ１、ＲＰ２を抽出することができる。図４Ｂには、これらの前輪基準点ＦＰ１、ＦＰ２および後輪基準点ＲＰ１、ＲＰ２が黒い四角によって模式的に表されている。前輪基準点ＦＰ１、ＦＰ２は、前輪領域４Ｆを構成する画素のうち、左の前輪領域４Ｆと右の前輪領域４Ｆとの間隔を規定する画素である。また。後輪基準点ＲＰ１、ＲＰ２は、後輪領域４Ｒを構成する画素のうち、左の後輪領域４Ｒと右の後輪領域４Ｒとの間隔を規定する画素である。前輪基準点ＦＰ１、ＦＰ２は、一対の前輪４Ｆの間隔を規定する代表点として選択される。また、後輪基準点ＲＰ１、ＲＰ２は、一対の後輪４Ｒの間隔を規定する代表点として選択される。後述するように、関心領域は、農業機械の左右の車輪に挟まれた領域を中央に含む領域として決定されることが好ましい。そのような関心領域を選択し、選択された関心領域の画像処理を実行することにより、農業機械の目標経路上にある作物または畝を効率的に検知することができる。
【0029】
前輪領域４Ｆから一対の前輪基準点ＦＰ１、ＦＰ２を抽出し、後輪領域４Ｒから一対の後輪基準点ＲＰ１、ＲＰ２を抽出するための具体的な処理は、例えば以下のように実行され得る。
【0030】
まず、処理装置１２２は、図４Ｂに示されるように、第２上面視画像４２Ｂを左部分と右部分とに分割する縦基準線ＶＬを決定する。処理装置１２２は、前輪領域４Ｆ域から、縦基準線ＶＬに最も近い一対の画素を一対の前輪基準点ＦＰ１、ＦＰ２として選択し、後輪領域４Ｒから、縦基準線ＶＬに最も近い一対の画素を一対の後輪基準ＲＰ１、ＲＰ２として選択する。また、処理装置１２２は、縦基準線ＶＬに直交する横基準線ＬＬを決定する。横基準線ＬＬは、前輪領域を上部分に含み、後輪領域を下部分に含む。このように、処理装置１２２が第２上面視画像４２Ｂの左部分および右部分のそれぞれを上部分と下部分とに分割することにより、１枚の上面視画像４２Ｂにおける４個の部分から、４個の基準点（ＦＰ１、ＦＰ２、ＲＰ１、ＲＰ２）を抽出することが可能になる。
【0031】
なお、関心領域の幅は、一対の前輪基準点ＦＰ１、ＦＰ２から形成されてもよいし、一対の後輪基準点ＲＰ１、ＲＰ２から形成されてもよいし、一対の前輪基準点ＦＰ１、ＦＰ２および一対の後輪基準点ＲＰ１、ＲＰ２から形成されてもよい。本開示における「関心領域」は、例えば、第１上面視画像４１Ｂの中央を縦方向に延びる、所定の幅を有する長方形の領域であり得る。関心領域は、台形、扇型などの種々の形状を有し得る。以下、関心領域が所定の幅を有する長方形である場合について、所定の幅を決定する方法を説明する。
【0032】
上記の４個の基準点（ＦＰ１、ＦＰ２、ＲＰ１、ＲＰ２）を規定する画素の位置を決定する方法は任意である。本開示の実施形態では、前輪４Ｆおよび後輪４Ｒのリムから上記４個の基準点（ＦＰ１、ＦＰ２、ＲＰ１、ＲＰ２）を抽出するため、上面視画像の明度およびエッジ情報を利用する。
【0033】
図５は、図４Ｂの第２上面視画像４２Ｂから、明度の高い領域を白色で示した画像である。図５の画像において白色の領域は、前輪領域４Ｆおよび後輪領域４Ｒに相当する。これらの前輪領域４Ｆおよび後輪領域４Ｒの輪郭を規定する複数の画素を特定するため、処理装置１２２は、エッジ検出技術により、第２上面視画像４２Ｂのエッジを示すエッジ画像を生成する。図６は、このようにして生成されたエッジ画像４２Ｄの例を示す図である。
【0034】
処理装置１２２は、第２上面視画像４２Ｂにおける前輪領域４Ｆおよび後輪領域４Ｒとエッジとの重複部分を決定する。具体的には、処理装置１２２は、図５の白い領域、すなわち前輪領域４Ｆおよび後輪領域４Ｒと、図６のエッジとの重複した位置に存在する複数の画素（基準候補画素群）を決定する。次に、処理装置１２２は、前輪領域４Ｆから、縦基準線ＶＬに最も近い一対の画素を一対の前輪基準点ＦＰ１、ＦＰ２として選択し、後輪領域４Ｒから、縦基準線ＶＬに最も近い一対の画素を一対の後輪基準点ＲＰ１、ＲＰ２として選択する。図６には、前輪基準点ＦＰ１、ＦＰ２、および後輪基準点ＲＰ１、ＲＰ２が黒四角によって模式的に表わされている。
【0035】
図７は、左に位置する前輪基準点ＦＰ１と右に位置する前輪基準点ＦＰ２との間の距離によって規定される前輪間隔ＦＤ、および左に位置する後輪基準点ＲＰ１と右に位置する後輪基準点ＲＰ２との距離によって規定される後輪間隔ＲＤを示す図である。
【0036】
処理装置１２２は、前輪間隔ＦＤおよび後輪間隔ＲＤの一方に基づいて、関心領域の前記幅を決定することができる。例えば、前輪間隔ＦＤおよび後輪間隔ＲＤのうちの相対的に小さくない方の間隔に基づいて関心領域の幅を決定することができる。その場合、処理装置１２２は、前輪間隔ＦＤおよび後輪間隔ＲＤの一方に、例えば０．９以上２．０以下の数値を乗算した値を関心領域の幅として用いてもよい。
【0037】
図８は、第１上面視画像４１Ｂにおける関心領域ＲＯＩの例を示す図である。この関心領域ＲＯＩの幅は、前輪間隔ＦＤの１．０倍に設定されている。なお、第１上面視画像４１Ｂから選択された関心領域ＲＯＩは、座標変換を行うことにより、図３Ａの第１画像４１Ａ上に設定することもできる。この座標変換は、第１画像４１Ａから第１上面視画像４１Ｂを生成するための変換の逆変換である。図８の例において、関心領域ＲＯＩは、農業機械の走行方向に平行に延びる長辺を左右に有す長方形の形状を有している。この長方形の短辺の長さが関心領域ＲＯＩの幅に相当する。一対の短辺の中点を結ぶ直線は、上面視における農業機械の中心（例えば重心）を通るように関心領域ＲＯＩの位置は設定され得る。なお、関心領域ＲＯＩの左の長辺が前輪基準点ＦＰ１または後輪基準点ＲＰ１を通るように決定され、関心領域ＲＯＩの右の長辺が前輪基準点ＦＰ２または後輪基準点ＲＰ２を通るように決定されてもよい。関心領域ＲＯＩの幅および位置は、図８の例に限定されない。前述したように、関心領域ＲＯＩ幅は、前輪間隔ＦＤおよび後輪間隔ＲＤの一方に０．９以上２．０以下の数値を乗算した値を有していてもよい。
【0038】
図８の例において、農業機械の走行方向における関心領域ＲＯＩの長辺の長さは、走行方向における第１上面視画像４１Ｂのサイズ（長さ）よりも小さいが、関心領域ＲＯＩの長辺の長さは、この例に限定されない。図３Ａに示されるように第１画像が走行方向の前方に拡がる地面の像を含む場合、関心領域ＲＯＩは、農業機械の先端から前方に例えば２メートル以上延びていてもよい。
【0039】
本開示の列検出システムが搭載され得る農業機械１００の例は、トラクタまたは乗用管理機などの作業車両を含む。農業機械１００は、作物列１２に沿って走行し、例えば、作物の植え付け、播種、施肥、防除、収穫、または耕耘などの農作業を行うように構成されている。農業機械１００は、作物列１２を検知して作物列１２に沿うように自動操舵で走行することができる。
【0040】
第１撮像装置１２０は、農業機械１００の第１位置に取り付けられている。第２撮像装置１２１は、農業機械１００の第１位置よりも後方の第２位置に取り付けられている。例えば、第１撮像装置１２０は農業機械１００の重心よりも前方の側部に取り付けられており、第２撮像装置１２１は農業機械１００の重心よりも後方の側部に取り付けられている。農業機械１００は、作物列１２が存在する圃場を作物列１２に沿って自動操舵で走行するように構成されている。なお、第１撮像装置１２０および第２撮像装置１２１の位置および向きは、図示される例に限定されない。第１撮像装置１２０が農業機械１００の先端部に設けられ、第２撮像装置１２１が農業機械１００またはインプルメントの後端部に設けられていてもよい。
【0041】
処理装置１２２は、第１上面視画像、または第１上面視画像および第２上面視画像に基づいて、作物列１２を検出する。例えば、第１画像および第２画像がカラー画像である場合、処理装置１２２は、第１画像および第２画像に基づいて、作物列の色（例えば緑色）を強調した強調画像を生成する。そいて、処理装置１２２は、強調画像に基づいて、地面上の作物列１２を検出することができる。作物列１２を検出する方法のより詳細な例については後述する。
【0042】
処理装置１２２は、作物列１２を検出した後、作物列１２の近似線（直線または曲線）を決定し、近似線に沿って農業機械１００の目標経路を決定する。処理装置１２２は、決定した目標経路の情報を、農業機械１００の自動操舵装置１２４に出力する。自動操舵装置１２４は、目標経路に沿って農業機械１００が走行するように、農業機械１００の操舵制御を行う。これにより、農業機械１００を作物列１２に沿って走行させることができる。
【0043】
このように、本実施形態では、第１撮像装置１２０が生成した第１上面視画像と、第２撮像装置１２１が生成した第２上面視画像に基づいて所定幅の関心領域から作物列１２が検出される。例示したよう、第１上面視画像と第２上面視画像とを合成したパノラマ合成画像に基づいて作物列１２が検出されてもよい。パノラマ合成画像は、第１上面画像および第２上面視画像のそれぞれよりも広いエリアの情報を含む。このため、第１上面視画像および第２上面視画像の一方のみに基づいて作物列１２を検出する場合と比較して、作物列１２の近似線をより正確に決定することができる。特に、比較的小さいサイズの苗などの作物列１２を検出する場合に、欠株の発生による検出精度の低下を抑制することができる。
【0044】
処理装置１２２は作物列１２を検出するが、作物列１２の代わりに、あるいは作物列１２に加えて、畝を検出するように構成されていてもよい。
【0045】
列検出システム１０００は３つ以上の撮像装置を備えていてもよい。３つ以上の撮像装置が取得した画像に基づいて作物列または畝を検出することにより、作物列または畝の近似線をより正確に決定することが可能になり得る。
【0046】
（２．列検出システムの具体例）
次に、本開示の実施形態における列検出システムのより具体的な例を説明する。本実施形態では、「列検出」として作物列の検出が行われる。
次に、本開示の実施形態における列検出システムのより具体的な例を説明する。本実施形態では、「列検出」として作物列の検出が行われる。
【0047】
本実施形態における列検出システム１０００は、図１に示すように、第１撮像装置１２０と、第２撮像装置１２１と、処理装置１２２とを備える。第１撮像装置１２０および第２撮像装置１２１のそれぞれは、地面の少なくとも一部を含む時系列カラー画像を取得するように農業機械に固定されている。
【0048】
図９は、農業機械１００に取り付けられた第１撮像装置１２０および第２撮像装置１２１が地面１０を撮影する様子を模式的に示している。図９の例において、農業機械１００は、走行可能な車両本体１１０を備え、第１撮像装置１２０および第２撮像装置１２１は、車両本体１１０に固定されている。参考のため、図９には、互いに直交するＸｂ軸、Ｙｂ軸、Ｚｂ軸を有する車両座標系Σｂが示されている。車両座標系Σｂは、農業機械１００に固定された座標系であり、車両座標系Σｂの原点は、例えば農業機械１００の重心付近に設定され得る。図９では、見やすさのため、車両座標系Σｂの原点が農業機械１００の外部に位置しているように記載されている。本開示における車両座標系Σｂでは、Ｘｂ軸は農業機械１００が直進するときの走行方向（矢印Ｆの方向）に一致している。Ｙｂ軸は、座標原点からＸｂ軸における正方向を見たときの真右の方向に一致し、Ｚｂ軸は鉛直下方の方向に一致する。
【0049】
第１撮像装置１２０および第２撮像装置１２１の各々は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを有する車載カメラである。本実施形態における撮像装置１２０、１２１の各々は、例えば、３フレーム／秒（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）以上のフレームレートで動画を撮影することができる単眼カメラである。
【0050】
撮像装置１２０、１２１におけるイメージセンサは、行および列状に配列された多数の光検出セルを有している。個々の光検出セルは、画像を構成する画素（ピクセル）に対応し、赤色の光の強度を検出するＲサブ画素、緑色の光の強度を検出するＧサブ画素、および、青色の光の強度を検出するＢサブ画素を含む。各光検出セルにおけるＲサブ画素、Ｇサブ画素、およびＢサブ画素で検出される光の出力を、それぞれ、Ｒ値、Ｇ値、およびＢ値と呼ぶことにする。以下、Ｒ値、Ｇ値、およびＢ値を総称して「画素値」または「ＲＧＢ値」と呼ぶ場合がある。Ｒ値、Ｇ値、およびＢ値を用いる場合、ＲＧＢ色空間内の座標値によって色を規定することができる。
【0051】
図１０は、上述した車両座標系Σｂと、第１撮像装置１２０のカメラ座標系Σｃ１と、第２撮像装置１２１のカメラ座標系Σｃ２と、地面１０に固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。第１撮像装置１２０のカメラ座標系Σｃ１は、互いに直行するＸｃ１軸、Ｙｃ１軸、Ｚｃ１軸を有している。第２撮像装置１２１のカメラ座標系Σｃ２は、互いに直行するＸｃ２軸、Ｙｃ２軸、Ｚｃ２軸を有している。ワールド座標系Σｗは、互いに直行するＸｗ軸、Ｙｗ軸、Ｚｗ軸を有している。図１０の例において、ワールド座標系ΣｗのＸｗ軸およびＹｗ軸は、地面１０に沿って拡がる基準平面Ｒｅ上にある。
【0052】
第１撮像装置１２０は、農業機械１００の第１位置に第１方向を向くように取り付けられている。第２撮像装置１２１は、農業機械１００の第１位置よりも後方の第２位置に第２方向を向くように取り付けられている。このため、車両座標系Σｂに対するカメラ座標系Σｃ１、Σｃ２のそれぞれの位置および向きは、既知の状態に固定される。第１撮像装置１２０のカメラ座標系Σｃ１のＺｃ１軸は、第１撮像装置１２０のカメラ光軸λ１上にある。第２撮像装置１２１のカメラ座標系Σｃ２のＺｃ２軸は、第２撮像装置１２１のカメラ光軸λ２上にある。図示される例において、カメラ光軸λ１、λ２は、農業機械１００の進行方向Ｆから地面１０に向かって傾斜しており、その俯角は、０°よりも大きい。農業機械１００の進行方向Ｆは、農業機械１００が走行している地面１０に対して概略的に平行である。第１撮像装置１２０のカメラ光軸λ１の俯角（すなわち、進行方向Ｆとカメラ光軸λ１とのなす角）は、例えば０°から９０°の範囲に設定され得る。第２撮像装置１２１のカメラ光軸λ２の俯角（すなわち、進行方向Ｆとカメラ光軸λ２とのなす角）は、例えば４５°から１３５°の範囲に設定され得る。図９に示す例において、第１撮像装置１２０のカメラ光軸λ１の俯角は約４０°であり、第２撮像装置１２１のカメラ光軸λ２の俯角は約９０°である。この例のように、第１撮像装置１２０は、農業機械１００の第１位置に前方斜め下向きに取り付けられ得る。第２撮像装置１２１は、農業機械１００の第２位置に下向きに取り付けられ得る。ここで「前方斜め下向き」とは、カメラ光軸の俯角が１０°以上８０°以下の範囲にあることを指す。「下向き」とは、カメラ光軸の俯角が８０°以上１００°以下の範囲にあることを指す。
【0053】
図９に示す例において、第１撮像装置１２０および第２撮像装置１２１は、いずれも車両本体１１０の底部に取り付けられている。第２撮像装置１２１は、第１撮像装置１２０よりも後方に取り付けられている。すなわち、車両座標系Σｂにおける第２撮像装置１２１のＸｂ座標値は、第１撮像装置１２０のＸｂ座標値よりも小さい。図９の例では、撮像装置１２０、１２１は、いずれも車両本体１１０の幅方向（Ｙｂ方向）に関して中央付近に位置している。撮像装置１２０、１２１の各々は、車両本体１１０の底部に限らず、側部、前部、または後部などの他の位置に取り付けられていてもよい。本実施形態のように、撮像装置１２０、１２１が車両本体１１０の底部に設けられている場合、農業機械１００の下の作物列または畝を検出することができる。
【0054】
図９には、第１撮像装置１２０の撮像エリアと、第２撮像装置１２１の撮像エリアとが、放射状に拡がる点線で例示されている。第１撮像装置１２０および第２撮像装置１２１の各々の撮影エリアは、地面１０のうち、農業機械１００の下方に位置する部分を含む。また、第１撮像装置１２０および第２撮像装置１２１の各々の撮影エリアは、農業機械１１００の車輪の少なくとも一部を含む。第１撮像装置１２０および第２撮像装置１２１の各々の撮影エリアは、農業機械１００の左右方向よりも前後方向に長いサイズを有していてもよい。第１撮像装置１２０の撮像エリアと、第２撮像装置１２１の撮像エリアとは、部分的に重なっていることが好ましい。第１撮像装置１２０によって生成される第１画像と、第２撮像装置１２１によって生成される第２画像と重複部分があると、第１画像および第２画像から平面パノラマ画像を作成することが可能になる。
【0055】
本実施形態において、第１撮像装置１２０の撮像エリアは、地面１０のうち、農業機械１００の前車軸１２５Ｆの真下に位置する部分を含む。一方、第２撮像装置１２１の撮像エリアは、地面１０のうち、農業機械１００の後車軸１２５Ｒの真下に位置する部分を含む。このため、前輪４Ｆおよび後輪４Ｒの近傍の作物列または畝を高い精度で検出することができる。
【0056】
農業機械１００が地面１０の上を走行しているとき、車両座標系Σｂおよびカメラ座標系Σｃ１、Σｃ２は、ワールド座標系Σｗに対して並進する。走行中、農業機械１００がピッチ、ロール、ヨーの方向に回転または揺動すると、車両座標系Σｂおよびカメラ座標系Σｃは、ワールド座標系Σｗに対して回転する。以下の説明においては、簡単のため、農業機械１００は、ピッチおよびロールの方向には回転せず、地面１０に対して、ほぼ平行に移動するものとする。
【0057】
図１１は、地面１０に複数の作物列１２が設けられている圃場の一部を模式的に示す上面図である。作物列１２は、圃場の地面１０に作物が一方向に連続的に作付けされることによって形成された列である。例えば、作物列１２は、圃場の畝に植え付けられた作物の集まりであり得る。このように、個々の作物列１２は、圃場に植えられた作物の集まりが形成する列であるため、作物列の形状は、厳密には、作物の形状および作物の配置に依存して複雑である。作物列１２の幅は、作物の生育に応じて変化する。隣りあう作物列１２の間には、作物が植えられていない中間領域１４が帯状に存在する。各中間領域１４は、隣りあう２本の作物列１２の間で対向する２本の境界ラインＥに挟まれた領域である。なお、１つの畝に対して、畝の幅方向に複数の作物が作付けされる場合、１つの畝上に複数の作物列１２が形成されることになる。このような場合は、畝上に形成された複数の作物列１２のうち、畝の幅方向の端に位置する作物列１２の境界ラインＥが、中間領域１４の基準となる。つまり、中間領域１４は、複数の作物列１２の境界ラインＥのうち、畝の幅方向の端に位置する作物列１２の境界ラインＥの間となる。中間領域１４は、農業機械１００の車輪が通過する領域として機能するため、「中間領域」を「作業通路」と称する場合がある。
【0058】
本開示において、作物列の「境界ライン」とは、農業機械が走行するときの目標経路を規定するための基準の線分（曲線を含み得る）を意味する。このような基準の線分は、農業機械の車輪の通過が許容される帯状の領域（作業通路）の両端として定義され得る。作物列の「境界ライン」を決定する具体的な方法については、後述する。
【0059】
図１１には、作物列１２が設けられた圃場を走行する１台の農業機械１００が模式的に記載されている。この農業機械１００は、左右の前輪１０４Ｆと、左右の後輪１０４Ｒとを走行装置として備えており、作業機（インプルメント）３００を牽引している。前輪１０４Ｆは操舵輪である。
【0060】
図１１の例では、中央に位置する１本の作物列１２の両側に位置する作業通路１４に、それぞれ、太い破線の矢印Ｌ、Ｒが記載されている。農業機械１００が実線の矢印Ｃで示される目標経路上を走行するとき、農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒは、作物列１２を踏まないように、作業通路１４の中を矢印Ｌ、Ｒに沿って移動することが求められる。本実施形態では、農業機械１００に取り付けられた撮像装置１２０、１２１を用いて作物列１２の境界ラインＥを検出できる。このため、前輪１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動するように農業機械１００の操舵・走行を制御することが可能である。このように作物列１２の境界ラインＥに基づいて農業機械１００の操舵・走行を制御することを「列倣い走行制御」と呼ぶことができる。
【0061】
図１２は、図１１に示す農業機械１００の第１撮像装置１２０が取得する画像４０の例を模式的に示す図である。わかりやすくするため、図１２には、画像４０に含まれ得る農業機械１００の前輪１０４Ｆの図示は省略されている。地面１０で平行に延びる複数の作物列１２および中間領域（作業通路）１４は、理論的には、地平線１１上にある消失点Ｐ０で交わる。消失点Ｐ０は、画像４０の中央の領域に位置している。
【0062】
図１３は、農業機械１００の進行方向Ｆが、作物列１２が延びる方向に対して傾斜している状態を模式的に示す上面図である。図１４は、図１３に示す農業機械１００の第１撮像装置１２０が取得する画像４０の例を模式的に示す図である。農業機械１００の進行方向Ｆが、作物列１２が延びる方向（矢印Ｃに平行な方向）に対して傾斜している場合には、消失点Ｐ０が画像４０の右または左側の領域に位置する。図１４に示す例では、消失点Ｐ０が画像４０の右側の領域に位置する。
【0063】
農業機械１００は、図１に示す列検出システム１０００および自動操舵装置１２４を備えている。列検出システム１０００における処理装置１２２は、第１撮像装置１２０が生成した第１画像、および、第２撮像装置１２１が生成した第２画像に基づいて、第１上面視画像および第２上面視画像を生成する。本開示の実施形態において、処理装置１２２は、前述した処理を行うことによって関心領域を決定する。また、処理装置１２２は、関心領域に含まれる作物列１２を検出し、検出した作物列１２を線形に近似して、近似線を求めることができる。処理装置１２２は、近似線に沿って農業機械１００の目標経路を決定する。自動操舵装置１２４は、農業機械１００が目標経路に沿って走行するように、操舵制御を行う。こうして、農業機械１００は、検出した作物列に沿って「列倣い走行」を行うことが可能になる。
【0064】
自動操舵装置１２４は、目標経路（図１３に示す矢印Ｃ）に対する農業機械１００の位置偏差および方位偏差を縮小するように農業機械１００の操舵制御を行う。これにより、例えば図１３に示す状態にある農業機械１００は、その位置および向き（ヨー方向の角度）が調整され、図１１に示す状態に近づく。図１１の状態にある農業機械１００の左側および右側の車輪は、それぞれ、作業通路１４における矢印Ｌおよび矢印Ｒで示されるライン上に位置している。中央の矢印Ｃによって示される目標経路に沿って農業機械１００が走行するとき、農業機械１００における自動操舵装置１２４は、前輪１０４Ｆおよび後輪１０４Ｒのそれぞれが作業通路１４から逸脱しないように操舵輪の操舵角を制御する。
【0065】
図１５は、地面１０に曲線状の複数の作物列１２が設けられている圃場の一部を模式的に示す上面図である。本実施形態によれば、曲線状の作物列１２が形成された圃場であっても、２台の撮像装置１２０、１２１が取得した２つの画像から作物列１２の位置を正確に検出し、作物列１２に沿った農業機械１００の操舵・走行の精密な制御が可能となる。
【0066】
ここで、列検出システム１０００における処理装置１２２の構成および動作をより詳細に説明する。
【0067】
本実施形態における処理装置１２２は、撮像装置１２０、１２１から取得した時系列カラー画像の画像処理を行う。処理装置１２２は、農業機械１００が備える自動操舵装置１２４に接続される。自動操舵装置１２４は、例えば、農業機械１００の走行を制御する制御装置に含まれ得る。
【0068】
処理装置１２２は、画像処理用の電子制御ユニット（ＥＣＵ）によって実現され得る。ＥＣＵは、車載用のコンピュータである。処理装置１２２は、撮像装置１２０、１２１が出力する画像データを受け取るように、例えばワイヤハーネスなどのシリアル信号線によって撮像装置１２０、１２１に接続される。処理装置１２２が実行する画像処理の一部が撮像装置１２０、１２１の内部（カメラモジュール内）で実行されてもよい。
【0069】
図１６は、処理装置１２２のハードウェア構成例を示すブロック図である。処理装置１２２は、プロセッサ２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４、通信装置２６、記憶装置２８を備える。これらの構成要素は、バス３０を介して相互に接続される。
【0070】
プロセッサ２０は、半導体集積回路であり、中央演算処理ユニット（ＣＰＵ）またはマイクロプロセッサとも称される。プロセッサ２０は、画像処理ユニット（ＧＰＵ）を含んでいてもよい。プロセッサ２０は、ＲＯＭ２２に格納された所定の命令群を記述したコンピュータプログラムを逐次実行し、本開示の列検出に必要な処理を実現する。プロセッサ２０の一部または全部は、ＣＰＵを搭載したＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ）であってもよい。
【0071】
通信装置２６は、処理装置１２２と外部のコンピュータとの間でデータ通信を行うためのインタフェースである。通信装置２６は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などによる有線通信、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格および／またはＷｉ－Ｆｉ（登録商標）規格に準拠した無線通信を行うことができる。
【0072】
記憶装置２８は、撮像装置１２０から取得した画像、または、処理の途中における画像のデータを記憶することができる。記憶装置２８の例は、ハードディスクドライブまたは不揮発性半導体メモリを含む。
【0073】
処理装置１２２のハードウェア構成は、上記の例に限定されない。処理装置１２２の一部または全部が農業機械１００に搭載されている必要はない。通信装置２６を利用することにより、農業機械１００の外部に位置する１または複数のコンピュータを処理装置１２２の一部または全部として機能させることも可能である。例えば、ネットワークに接続されたサーバコンピュータが処理装置１２２の一部または全部として機能し得る。一方、農業機械１００が搭載するコンピュータが処理装置１２２に求められるすべての機能を実行してもよい。
【0074】
図１７は、本実施形態における処理装置１２２の動作の例を示すフローチャートである。処理装置１２２は、図１７に示すステップＳ１１０からＳ１６０の動作を実行することにより、地面上の作物列を検出し、作物列に沿って農業機械１００の目標経路を決定する。
【0075】
ステップＳ１１０において、処理装置１２２は、第１撮像装置１２０から第１画像を取得し、第２撮像装置１２１から第２画像を取得する。本実施形態における第１画像および第２画像の各々は、時系列カラー画像である。時系列カラー画像は、撮像装置１２０、１２１が撮影によって時系列的に生成した画像の集まりである。それぞれの画像は、フレーム単位の画素群によって構成される。例えば、撮像装置１２０、１２１が３０フレーム／秒のフレームレートで画像を出力する場合、処理装置１２２は、約３３ミリ秒の周期で新しい画像を取得することが可能である。トラクタなどの農業機械１００が圃場内を走行する速度は、公道を走行する一般の自動車の速度に比べて相対的に低く、例えば時速１０キロメール程度以下であり得る。時速１０キロメートルの場合、約３３ミリ秒で進む距離は約６センチメートルである。このため、処理装置１２２は、例えば１００～３００ミリ秒程度の周期で画像を取得してもよく、撮像装置１２０、１２１が撮像するすべてのフレームの画像を処理する必要はない。処理装置１２２が処理の対象とする画像の取得周期は、農業機械１００の走行速度に応じて、処理装置１２２が自動的に変更してもよい。
【0076】
ステップＳ１２０において、処理装置１２２は、ほぼ同時刻に撮影された第１画像と第２画像にホモグラフィ変換を行って第１上面視画像および第２上面視画像を生成する。必要に応じて、処理装置１２２は、第１画像の取得時刻と第２画像の取得時刻とを同期させるように撮像装置１２０、１２１を制御する。
【0077】
上面視画像は、地面に平行な基準平面を、基準平面の法線方向における真上から見た俯瞰画像である。俯瞰画像は、第１画像および第２画像からホモグラフィ変換によって生成することができる。ホモグラフィ変換は、幾何学的変換の一種であり、３次元空間内の、ある平面上にある点を、他の任意の平面上にある点に変換することができる。以下、第１撮像装置１２０によって取得された第１画像を第１上面視画像に変換する処理の例を説明する。第２撮像装置１２１によって取得された第２画像を第２上面視画像に変換する処理も同様の方法で行われる。
【0078】
図１８は、第１の姿勢（位置および向き：ポーズ）にある撮像装置１２０のカメラ座標系Σｃ１、および第２の姿勢にある仮想的な撮像装置のカメラ座標系Σｃ３のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。図１８には車両座標系Σｂも示されている。図１８に示される例において、カメラ座標系Σｃ１は、そのＺｃ軸が基準平面Ｒｅに斜めに交わるように傾斜している。これに対して、カメラ座標系Σｃ３は、そのＺｃ軸が基準平面Ｒｅに直交している。農業機械１００がピッチおよびロールの方向に回転しない場合には、車両座標系ΣｂのＸｂ軸およびＹｂ軸を含む平面（以下、「車両座標系平面」と呼ぶ。）が基準平面Ｒｅに平行となる。この場合、カメラ座標系Σｃ３のＺｃ軸は車両座標系平面にも直交する。すなわち、カメラ座標系Σｃ３は、基準平面Ｒｅおよび車両座標系平面の法線方向における真上から見た俯瞰画像を取得できるように配置された状態にある。
【0079】
カメラ座標系Σｃ１の原点Ｏ１からＺｃ軸方向にカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ１が存在する。画像平面Ｉｍ１は、Ｚｃ軸およびカメラ光軸λ１に直交する。画像平面Ｉｍ１上の画素位置は、互いに直交するｕ軸およびｖ軸を有する画像座標系によって定義される。例えば、基準平面Ｒｅ上に位置する点Ｐ１および点Ｐ２の座標が、それぞれ、ワールド座標系Σｗにおいて、（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）であるとする。図１８の例では、ワールド座標系ΣｗのＸｗ軸およびＹｗ軸が基準平面Ｒｅ上にある。このため、Ｚ１＝Ｚ２＝０である。基準平面Ｒｅは、地面に沿って拡がるように設定される。
【0080】
基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、ピンホールカメラモデルの透視投影により、第１の姿勢にある撮像装置１２０の画像平面Ｉｍ１上の点ｐ１および点ｐ２に変換される。画像平面Ｉｍ１において、点ｐ１および点ｐ２は、それぞれ、（ｕ１，ｖ１）および（ｕ２，ｖ２）の座標で示される画素位置にある。
【0081】
撮像装置が第２の姿勢にあると仮定した場合、カメラ座標系Σｃ３の原点Ｏ３からＺｃ軸方向にカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ２が存在する。この例において、画像平面Ｉｍ２は、基準平面Ｒｅおよび車両座標系平面に平行である。画像平面Ｉｍ２上の画素位置は、互いに直交するｕ＊軸およびｖ＊軸を有する画像座標系によって定義される。この画像座標系は、車両座標系Σｂとともにワールド座標系Σｗに対して移動する。このため、画像平面Ｉｍ２上の画素位置は、車両座標系Σｂによっても定義され得る。基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、透視投影により、画像平面Ｉｍ２上の点ｐ１＊および点ｐ２＊に変換される。画像平面Ｉｍ２において、点ｐ１＊および点ｐ２＊は、それぞれ、（ｕ１＊，ｖ１＊）および（ｕ２＊，ｖ２＊）の座標で示される画素位置にある。
【0082】
ワールド座標系Σｗにおける基準平面Ｒｅに対するカメラ座標系Σｃ１、Σｃ３の配置関係が与えられると、ホモグラフィ変換により、画像平面Ｉｍ１上の任意の点（ｕ，ｖ）から、画像平面Ｉｍ２上で対応する点（ｕ＊，ｖ＊）を求めることができる。このようなホモグラフィ変換は、点の座標を同次座標系で表現すると、３行×３列の変換行列Ｈによって規定される。
【数1】
【0083】
変換行列Ｈの中身は、以下に示すように、ｈ１１、ｈ１２、・・・、ｈ３２の数値によって規定される。
【数2】
【0084】
８個の数値（ｈ１１、ｈ１２、・・・、ｈ３２）は、農業機械１００に取り付けられた撮像装置１２０によって、基準平面Ｒｅ上に置かれた校正用ボードを撮影すれば、公知のアルゴリズムを用いて算出することができる。
【0085】
基準平面Ｒｅ上の点の座標が（Ｘ，Ｙ，０）の場合、それぞれのカメラの画像平面Ｉｍ１、Ｉｍ２における対応点の座標は、下記の数３および数４の式に示されるように、個々のホモグラフィ変換行列Ｈ１、Ｈ２によって点（Ｘ，Ｙ，０）と対応づけられる。
【数3】
【数4】
【0086】
上記の２式から以下の式が導かれる。この式から明らかなように、変換行列Ｈは、Ｈ２Ｈ１－１に等しい。Ｈ１－１は、Ｈ１の逆行列である。
【数5】
【0087】
変換行列Ｈ１、Ｈ２の中身は、基準平面Ｒｅに依存するため、基準平面Ｒｅの位置が変わると、変換行列Ｈの中身も変化する。
【0088】
このようなホモグラフィ変換を利用することにより、第１の姿勢にある撮像装置１２０で取得した地面の画像から、地面の上面視画像を生成することができる。言い換えると、ホモグラフィ変換によれば、撮像装置１２０の画像平面Ｉｍ１上にある任意の点の座標を、基準平面Ｒｅに対して所定の姿勢にある仮想的な撮像装置の画像平面Ｉｍ２上にある点の座標に変換することができる。
【0089】
処理装置１２２は、変換行列Ｈの中身を算出した後、上記のアルゴリズムに基づくソフトウェアプログラムを実行することにより、撮像装置１２０から出力される時系列画像から、地面１０を上方から見た俯瞰画像を生成する。俯瞰画像を生成する処理の前に、ホワイトバランス、ノイズリダクションなどの前処理が時系列画像に適用されてもよい。
【0090】
なお、前述の説明では、３次元空間内の点（例えば、Ｐ１、Ｐ２）が、いずれも、基準平面Ｒｅ上に位置していると仮定していた（例えば、Ｚ１＝Ｚ２＝０）。作物の基準平面Ｒｅに対する高さが０ではない場合、ホモグラフィ変換後の上面視画像において、対応点の位置は正しい位置からシフトする。シフト量の増加を抑制するためには、基準平面Ｒｅの高さが検出対象である作物の高さに近いことが望ましい。地面１０には、畝、畦、溝などの凹凸が存在している場合がある。そのような場合、基準平面Ｒｅを、このような凹凸の底部から上方に変位させてもよい。変位の距離は、作物が作付けされる地面１０の凹凸に応じて適切に設定され得る。
【0091】
また、農業機械１００が地面１０を走行しているとき、車両本体１１０（図９参照）のロールまたはピッチの運動が生じると、撮像装置１２０の姿勢が変化するため、変換行列Ｈ１の中身が変化し得る。このような場合、慣性計測装置（ＩＭＵ）によって車両本体１１０のロールおよびピッチの回転角度を計測すれば、撮像装置１２０の姿勢変化に応じて変換行列Ｈ１および変換行列Ｈを補正することができる。
【0092】
処理装置１２２は、第１撮像装置１２０が取得した第１画像から第１上面視画像への変換と同様の方法によって、第２撮像装置１２１が取得した第２画像を第２上面視画像に変換することが可能である。第１上面視画像および第２上面視画像は、いずれも、仮想的な画像平面Ｉｍ２上の画像として生成される。第１上面視画像および第２上面視画像は、車両座標系Σｂにおけるｘｂ座標およびｙｂ座標で表現されてもよい。図９に示すように第１撮像装置１２０の撮影エリアと第２撮像装置１２１の撮影エリアとが部分的に重なるため、第１上面視画像と第２上面視画像には、重なる部分（重複領域）が含まれる。
【0093】
処理装置１２２は、第１上面視画像および第２上面視画像を生成すると、それらを合成することによって平面パノラマ画像のような合成画像を生成してもよい。例えば、処理装置１２２は、第１上面視画像において第２上面視画像と重複する第１重複領域における各画素の画素値と、第２上面視画像において第１上面視画像と重複する第２重複領域における対応する画素の画素値とを、それぞれの画素の位置に応じて加重平均する処理を含む合成処理によって合成画像を生成してもよい。
【0094】
図９に示すように、撮像装置１２０、１２１が地面１０に比較的近い位置に設けられる場合、撮像装置１２０、１２１は、例えば魚眼カメラなどの広角の画像を生成するカメラであり得る。画像の歪が大きい場合でも、カメラの内部パラメータを適切に設定することにより、撮影によって取得した画像を上面視画像に変換することができる。
【0095】
図１９は、第１画像、第２画像、第１上面視画像、および第２上面視画像の例を示す図である。図１９において、左上の図が第１画像を、左下の図が第２画像を、右上の図が第１上面視画像を、右下の図が第２上面視画像を示している。この例における第１画像は、農業機械１００の前輪と、前輪の間に位置する地面上の領域とを映し出している。第２画像は、農業機械１００の前輪および後輪と、前輪および後輪の間に位置する地面上の領域とを映し出している。処理装置１２２は、第１画像および第２画像を、図１９の右に示されるような第１上面視画像および第２上面視画像にそれぞれ変換する。第１上面視画像の下部および第２上面視画像の上部には、共通の被写体（前輪と、その間の地面および作物）が含まれている。この部分が重複領域に該当する。
【0096】
再び図１７を参照する。ステップＳ１３０において、処理装置１２２は、第２上面視画像における各前輪の位置および各後輪の位置に基づいて、第１上面視画像から関心領域を選択する。具体的には、処理装置１２２は、図７などを参照しながら説明した処理を実行して、図８に例示されるような関心領域ＲＯＩを第１上面視画像から選択する。
【0097】
本実施形態では、処理装置１２２は、第１上面視画像および第２上面視画像から、重複領域における画素値を補間して合成画像を生成することが可能である。なお、合成画像の作成は省略してもよい。
【0098】
図２０は、図１９の例において生成される合成画像の例を示す図である。図２０には、関心領域ＲＯＩが記載されている。この例における関心領域ＲＯＩは、第１上面視画像だけではなく、合成後の第２上面視画像に拡張されている。このような合成画像に基づいて作物列を検出することにより、例えば、欠株が生じていたとしても作物列の近似線をより正確に算出することができる。
【0099】
ここで、上記の変換行列を決定するキャリブレーション動作の例を説明する。キャリブレーションは、地面上の特定の被写体を撮像装置１２０、１２１で撮影して取得される２つの画像に基づいて行われる。キャリブレーションは、農業機械１００の使用を開始する前、または、撮像装置１２０、１２１の位置または向きが初期状態からずれた場合に行われ得る。キャリブレーションにおいて、処理装置１２２は、以下の動作Ｓ１、Ｓ２、Ｓ３を実行する。
（Ｓ１）地面上に位置する特定の被写体を第１撮像装置１２０が撮影することによって生成した第１基準画像と、当該被写体を第２撮像装置１２１が撮影することによって生成した第２基準画像とを取得する。
（Ｓ２）第１基準画像および第２基準画像の各々から、当該被写体の複数の特徴点を抽出する。
（Ｓ３）第１基準画像における複数の特徴点の位置と、第２基準画像における対応する複数の特徴点の位置との関係に基づいて、変換行列を生成または更新する。
（Ｓ１）地面上に位置する特定の被写体を第１撮像装置１２０が撮影することによって生成した第１基準画像と、当該被写体を第２撮像装置１２１が撮影することによって生成した第２基準画像とを取得する。
（Ｓ２）第１基準画像および第２基準画像の各々から、当該被写体の複数の特徴点を抽出する。
（Ｓ３）第１基準画像における複数の特徴点の位置と、第２基準画像における対応する複数の特徴点の位置との関係に基づいて、変換行列を生成または更新する。
【0100】
キャリブレーションに用いられる特定の被写体は、例えばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカとして用いられるような特徴的な模様が描かれたボードであり得る。あるいは、農業機械１００の車輪を特定の被写体としてもよい。以下の説明において、キャリブレーションに用いられる特定の被写体を「校正用被写体」と称する。
【0101】
図２１は、地面１０に置かれた校正用被写体１８が撮像装置１２０、１２１によって撮影されている様子の例を示す図である。この例における校正用被写体１８は、特徴的なパターンを有する複数のマークが描かれたボードであり、農業機械１００の２つの前輪の間に置かれている。農業機械１００が停止した状態で、第１撮像装置１２０および第２撮像装置１２１は、校正用被写体１８が置かれた地面を撮影し、第１基準画像およぎ第２基準画像をそれぞれ生成する。
【0102】
図２２は、校正用被写体１８を撮影して得られる画像の例を示す図である。第１撮像装置１２０は、校正用被写体１８を撮影することにより、図２２の左上に示すような第１基準画像を生成する。第２撮像装置１２１は、校正用被写体１８を撮影することにより、図２２の左下に示すような第２基準画像を生成する。処理装置１２２は、第１基準画像および第２基準画像の各々から、校正用被写体１８における複数の特徴点（例えば、ボードの４隅の角、または４つのマークのそれぞれの角など）を検出し、それらの位置に基づいて、変換行列を算出する。
【0103】
図２２の右上の図は、第１基準画像から変換された上面視画像の例を示している。図２２の右下の図は、第２基準画像から変換された上面視画像の例を示している。処理装置１２２は、これらの上面視画像における校正用被写体１８の複数の特徴点を重ね合わせることにより、重複領域に該当する範囲を決定し、その情報を記憶装置に記録する。以降の合成処理では、記録された当該情報に基づいて合成処理が行われる。
【0104】
再び図１７を参照する。ステップＳ１４０において、処理装置１２２は、合成画像に基づいて、地面上の作物列を検出する。処理装置１２２は、例えば、合成画像から、作物列の色（例えば緑色）を強調した合成強調画像を生成し、合成強調画像に基づいて、地面上の作物列の境界ラインを検出することができる。
【0105】
ステップＳ１５０において、処理装置１２２は、検出した作物列の近似線を決定する。処理装置１２２は、例えば、検出した作物列の両端の境界ラインの中央を通るラインを近似線として決定する。
【0106】
ステップＳ１６０において、処理装置１２２は、近似線に沿って農業機械１００の目標経路を車両座標系上で決定する。目標経路は、例えば作物列の近似線に重なるように決定され得る。なお、目標経路は、作物列または畝の近似線に平行に、近似線から所定距離だけ隔てて設定され得る。処理装置１２２は、決定した目標経路の情報を農業機械１００の自動操舵装置１２４に出力する。自動操舵装置１２４は、農業機械１００が目標経路に沿って走行するように農業機械１００の操舵制御を行う。
【0107】
ここで、ステップＳ１４０における作物列を検出する方法の具体例を説明する。処理装置１２２は、合成画像を生成すると、以下の動作Ｓ１、Ｓ２、Ｓ３を実行することにより、合成画像から作物列を検出することができる。
（Ｓ１）合成画像から、検出対象である作物列の色を強調した合成強調画像を生成する。
（Ｓ２）合成強調画像から、作物列の色の指標値が閾値以上の第１画素と、指標値が閾値未満の第２画素とに分類された二値画像を生成する。
（Ｓ３）第１画素の指標値に基づいて、作物列の境界ラインの位置を決定する。
（Ｓ１）合成画像から、検出対象である作物列の色を強調した合成強調画像を生成する。
（Ｓ２）合成強調画像から、作物列の色の指標値が閾値以上の第１画素と、指標値が閾値未満の第２画素とに分類された二値画像を生成する。
（Ｓ３）第１画素の指標値に基づいて、作物列の境界ラインの位置を決定する。
【0108】
以下、動作Ｓ１、Ｓ２、Ｓ３の具体例を説明する。
【0109】
図２０に示す合成画像には、圃場の地面に列状に植えられた作物の列（作物列）が映し出されている。この例において、作物の列は、地面の上で、ほぼ平行かつ等間隔に並んでいる。
【0110】
動作Ｓ１では、処理装置１２２が、合成画像に基づいて、検出対象である作物列の色を強調した合成強調画像を生成する。作物は、太陽光（白色光）を受けて光合成を行うため、クロロフィル（葉緑素）を有している。クロロフィルは、赤色および青色に比べて、緑色の光吸収率が低い。このため、作物によって反射される太陽光のスペクトルは、土壌表面によって反射される太陽光のスペクトルに比べ、緑色の波長範囲で相対的に高い値を示す。その結果、作物の色は、一般に緑色の成分を多く含み、「作物列の色」は、典型例には緑色である。しかし、後述するように、「作物列の色」は、緑色に限定されない。
【0111】
検出対象である作物列の色が緑色である場合、作物列の色を強調した強調画像は、カラー画像における各画素のＲＧＢ値を、Ｇ値のウェイトが相対的に大きな画素値に変換した画像である。強調画像を生成するための、このような画素値の変換は、例えば、「（２×Ｇ値－Ｒ値－Ｂ値）／（Ｒ値＋Ｇ値＋Ｂ値）」で定義される。ここで、分母の（Ｒ値＋Ｇ値＋Ｂ値）は規格化のための因子である。以下、規格化されたＲＧＢ値をｒｇｂ値と称し、ｒ＝Ｒ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｇ＝Ｇ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｂ＝Ｂ値／（Ｒ値＋Ｇ値＋Ｂ値）で定義する。「２×ｇ－ｒ－ｂ」は、緑過剰指標（ＥｘＧ：Ｅｘｃｅｓｓ Ｇｒｅｅｎ Ｉｎｄｅｘ）と呼ばれる。
【0112】
図２３は、図２０に示す合成画像におけるＲＧＢ値を、「２×ｇ－ｒ－ｂ」に変換した合成強調画像を示す図である。この変換により、図２０に示す合成画像において、「ｒ＋ｂ」がｇに比べて相対的に小さな画素は明るく表示され、「ｒ＋ｂ」がｇに比べて相対的に大きな画素は暗く表示される。この変換により、検出対象である作物列の色（この例では「緑色」）を強調した画像（合成強調画像）が得られる。図２３に示す画像において相対的に明るい画素は、緑色の成分が相対的に大きな画素であり、作物の領域に属している。
【0113】
作物の色を強調する「色の指標値」として、緑過剰指標（ＥｘＧ）以外に、例えば、緑赤植生指標（Ｇ値－Ｒ値）／（Ｇ値＋Ｒ値）などの他の指標を用いてもよい。また、撮像装置が赤外カメラとしても機能し得る場合は、「作物列の色の指標値」として、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ）を用いてもよい。
【0114】
なお、作物列のそれぞれの列が「マルチ」と呼ばれるシート（ｍｕｌｃｈｉｎｇ ｓｈｅｅｔ）によって覆われていることがある。このような場合、「作物列の色」は、「作物を覆って列状に配置される物体の色」である。具体的には、シートの色が無彩色である黒の場合、「作物列の色」は「黒」を意味する。また、シートの色が赤色の場合、「作物列の色」は「赤色」を意味する。このように「作物列の色」は、作物そのものの色だけではなく、作物列を規定する領域の色（土壌表面の色から識別可能な色）を意味する。
【0115】
「作物列の色」を強調した強調画像の生成には、ＲＧＢ色空間からＨＳＶ色空間への変換を利用してもよい。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の三つの成分によって構成される色空間である。ＲＧＢ色空間からＨＳＶ色空間に変換した色情報を用いることにより、黒または白のような彩度の低い「色」を検出することができる。ＯｐｅｎＣＶのライブラリを利用して「黒」を検出する場合、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を０～３０に設定すればよい。また、「白」を検出する場合は、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を２００～２５５に設定すればよい。このような設定範囲に含まれる色相、彩度、明度を有する画素が、検出するべき色を持つ画素である。なお、例えば緑色の画素を検出する場合、色相の範囲を例えば３０～９０の範囲に設定すればよい。
【0116】
検出対象である作物列の色を強調した合成強調画像を生成することにより、作物列の領域を、それ以外の背景領域から区分（抽出）すること（セグメンテーション）が容易になる。
【0117】
次に、動作Ｓ２を説明する。
【0118】
動作Ｓ２では、処理装置１２２が、合成強調画像から、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された二値画像を生成する。図２４は、二値画像の例を示している。
【0119】
本実施形態では、作物列の色の指標値として、前述した緑過剰指標（ＥｘＧ）を採用し、判別分析法（大津の二値化）によって判別の閾値を決定する。図２５は、図２３に示す合成強調画像における緑過剰指標（ＥｘＧ）のヒストグラムである。ヒストグラムの横軸が緑過剰指標（ＥｘＧ）であり、縦軸が画像内における画素数（生起頻度に対応）である。図２５には、判別分析法のアルゴリズムによって算出された閾値Ｔｈを示す破線が示されている。合成強調画像の画素は、この閾値Ｔｈによって２つのクラスに分類される。閾値Ｔｈを示す破線の右側には、緑過剰指標（ＥｘＧ）が閾値以上の画素の生起頻度が示されており、これらの画素は作物のクラスに属していると推定される。これに対し、閾値Ｔｈを示す破線の左側には、緑過剰指標（ＥｘＧ）が閾値未満の画素の生起頻度が示されており、これらの画素は土壌などの被作物のクラスに属していると推定される。この例において、指標値が閾値以上の画素である第１画素は、「作物画素」に相当する。一方、この指標値が閾値未満の第２画素は「背景画素」に相当する。背景画素は、土壌の表面など、検出対象以外の物体に対応し、前述した中間領域（作業通路）１４は、背景画素によって構成され得る。なお、閾値の決定方法は、上記の例に限定されず、例えば機械学習を利用した他の方法を用いて閾値を決定してもよい。
【0120】
合成強調画像を構成する各画素を「第１画素」および「第２画素」の一方に割り当てることにより、合成強調画像から検出対象の領域を抽出することができる。また、「第２画素」の画素値に「ゼロ」を与えたり、画像データから第２画素のデータを取り除いたりすることにより、検出対象以外の領域をマスクすることができる。マスクするべき領域を確定するとき、緑過剰指標（ＥｘＧ）が局所的に高い値を示す画素をノイズとしてマスク領域に含める処理を行ってもよい。そのような処理により、図２０に示すような、第１画素と第２画素とに分類された二値画像を生成することができる。
【0121】
次に、動作Ｓ３を説明する。
【0122】
動作Ｓ３では、処理装置１２２が、二値画像における第１画素の指標値に基づいて、作物列１２の境界ラインの位置を決定する。
【0123】
図２６は、第１上面視画像内に３本の作物列１２が映る画像４４の例を模式的に示す図である。この例において、作物列１２の方向が画像垂直方向（ｖ軸方向）に平行である。図２２には、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２は、関心領域ＲＯＩ内における複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して積算値を得る。
【0124】
図２７は、図２６に示す画像４４について得られた、関心領域ＲＯＩ内における走査ラインＳの位置と指標値の積算値との関係を模式的に示す図である。図２７の横軸は、走査ラインＳの、画像水平方向（ｕ軸方向）における位置を示している。画像４４において、走査ラインＳが横切る画素の多くが作物列１２に属する第１画素である場合、その走査ラインＳの積算値は大きくなる。一方、走査ラインＳが横切る画素の多くが作物列１２の間にある中間領域（作業通路）１４に属する第２画素（背景画素）である場合、その走査ラインＳの積算値は小さくなる。なお、本実施形態において、中間領域（作業通路）１４はマスクされており、第２画素の指標値はゼロである。
【0125】
図２７の例では、積算値がゼロまたはゼロに近い凹部領域と、これらの凹部領域によって区分される凸部領域が存在する。凹部領域は、中間領域（作業通路）１４に相当し、凸部領域が作物列１２に相当する。本実施形態では、凸部領域における積算値のピークの両側の所定位置、具体的には、積算値のピークに対して所定の割合（例えば６０％以上９０％以下の範囲から選択された値）にある積算値を有する走査ラインＳの位置を作物列１２の境界ラインの位置として決定する。図２３における矢印Ｗの両端は、各作物列１２の境界ラインの位置を示している。なお、図２３の例において、各作物列１２の境界ラインの位置は、各作物列１２の積算値のピークに対して８０％の値を持つ走査ラインＳの位置である。
【0126】
本実施形態では、第１上面視画像内に複数の作物列が含まれる場合でも、関心領域ＲＯＩに対する演算を行えばよいので、演算負荷が低減される。
【0127】
図２８は、第１上面視画像内において複数の作物列１２が斜めに延びている二値画像４４の例を示している。農業機械１００の向きによっては、撮像装置１２０、１２１が取得する画像において作物列１２が延びる方向が画像内で右または左に傾斜し得る。そのような画像からホモグラフィ変換によって上面視画像を生成すると、図２８の例のように、作物列１２の方向が、画像垂直方向（ｖ軸方向）から傾斜する。
【0128】
図２８にも、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２は、このような複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して走査ラインごとに積算値を得る。図２９は、図２８に示す画像４４について得られた、走査ラインＳの位置と指標値の積算値との関係を模式的に示している。
【0129】
処理装置１２２は、走査ラインＳの方向（角度）を変化させることにより、作物列１２の方向に平行な走査ラインＳの方向を探索する。図３０は、作物列１２の方向に平行な走査ラインＳの方向を探索する方法の例を示すフローチャートである。
【0130】
ステップＳ１３１において、走査ラインＳの方向（角度）を設定する。ここでは、画像座標系におけるｕ軸を基準として時計回りの角度をθとする（図２２、図２４参照）。角度θの探索は、範囲を例えば６０～１２０度に設定し、角度刻みを例えば１度に設定して行われ得る。この場合、ステップＳ１３１では、走査ラインＳの角度θとして、６０、６１、６２、・・・、１１９、１２０度を与える。
【0131】
ステップＳ１３２では、それぞれの角度θの方向に延びる走査ラインＳ上の画素について指標値を積算し、走査ラインに垂直な方向における積算値の分布のデータを得る。このデータは、角度θに応じて、異なる分布を示すことになる。
【0132】
ステップＳ１３３では、このようにして得た複数の方向についての積算値の分布のデータから、図２７に示されるような凹凸の境界が急峻であって、作物列１２が中間領域１４から最も明確に区分されるような分布を選択し、その分布を生成する走査ラインＳの角度θを求める。
【0133】
ステップＳ１３４では、ステップＳ１３３で求めた角度θに対応する分布のピーク値から各作物列１２の境界ラインを決定する。前述したように、ピークの例えば０．８倍の積算値を持つ走査ラインＳの位置を境界ラインとして採用し得る。
【0134】
なお、走査ラインＳの方向（角度）を探索するとき、探索範囲内で角度θを１度ずつ変化させるごとに、その角度θの走査ラインＳ上における積算値の分布を求めてもよい。積算値の分布の波形から特徴量（例えば、凹部の深さ／凸部の高さ、包絡線の微分値など）を算出し、その特徴量に基づいて、作物列１２の方向と走査ラインＳの方向とが平行か否かを判定してもよい。
【0135】
なお、角度θを求める方法は、上記の例に限定されない。作物列の延びる方向が測定によって既知である場合、農業機械１００に搭載したＩＭＵによって農業機械の方向を測定し、作物列の延びる方向に対する角度θを求めてもよい。
【0136】
上記の角度θを求める演算の負荷も、第１上面視画像内の関心領域ＲＯＩに対する処理だけを行えばよいので低減される。
【0137】
上記の方法によれば、順光、逆光、晴天、曇天、霧などの気象条件や作業時間帯によって変化する日照条件の影響を抑制し、高い精度での作物列の検出が可能である。また、作物の種類（キャベツ、ブロッコリ、大根、人参、レタス、白菜などの種別）、生育状態（苗から成長した状態まで）、病害有無、落ち葉・雑草の有無、土壌色が変化してもロバスト性の高い作物列の検出が可能である。
【0138】
上記の実施形態では、処理装置１２２は、第１画像および第２画像からホモグラフィ変換によって生成した第１上面視画像と第２上面視画像の合成画像を生成した後、合成画像における二値化の閾値を求め、閾値以上の画素によって作物領域を抽出する。このような方法に代えて、処理装置１２２は、以下のステップＳ１１からＳ１６を実行することによって作物列を検出してもよい。
（Ｓ１１）第１画像から、作物列の色を強調した第１強調画像を生成する。
（Ｓ１２）第２画像から、作物列の色を強調した第２強調画像を生成する。
（Ｓ１３）第１強調画像から、作物列の色の指標値が閾値以上の画素と、指標値が閾値未満の画素とに分類された、地面の上方から見た第１上面視画像を生成する。
（Ｓ１４）第２強調画像から、作物列の色の指標値が閾値以上の画素と、指標値が閾値未満の画素とに分類された、地面の上方から見た第２上面視画像を生成する。
（Ｓ１５）第２上面視画像に基づいて関心領域を決定する。
（Ｓ１６）第１上面画像および第２上面画像に基づいて、地面上の作物列を検出する。
（Ｓ１１）第１画像から、作物列の色を強調した第１強調画像を生成する。
（Ｓ１２）第２画像から、作物列の色を強調した第２強調画像を生成する。
（Ｓ１３）第１強調画像から、作物列の色の指標値が閾値以上の画素と、指標値が閾値未満の画素とに分類された、地面の上方から見た第１上面視画像を生成する。
（Ｓ１４）第２強調画像から、作物列の色の指標値が閾値以上の画素と、指標値が閾値未満の画素とに分類された、地面の上方から見た第２上面視画像を生成する。
（Ｓ１５）第２上面視画像に基づいて関心領域を決定する。
（Ｓ１６）第１上面画像および第２上面画像に基づいて、地面上の作物列を検出する。
【0139】
このような方法によれば、作物列の領域が強調された第１上面視画像と第２上面視画像とが生成され、それらの画像から作物列を含む関心領域が選択される。このような方法によっても、前述の方法と同様に、作物列を高い精度で検出することができる。
【0140】
上記の例では、合成画像から作物列が検出されるが、合成画像から畝を検出することも可能である。畝を検出するため、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）技術を用いて地面の３次元情報（凹凸情報）を取得してもよい。その場合でも、関心領域内の３次元情報を利用することにより、演算負荷を低減することが可能になる。
【0141】
上記の作物列または畝の検出方法の例は、本出願人による未公開の国際出願であるＰＣＴ／ＪＰ２０２２／００４５４８に詳しく記載されている。ＰＣＴ／ＪＰ２０２２／００４５４８の開示内容のすべてを参照により本明細書に援用する。
【0142】
圃場に形成された作物列または畝の検出方法は、上記に記載の例に限定されず、公知のアルゴリズムを広く用いて行うことができる。例えば、作物列を線形に近似する方法が、本出願人が特許権者である特許第２６２４３９０号公報に詳しく記載されている。特許第２６２４３９０号公報の開示内容のすべてを参照により本明細書に援用する。また、畝の段差または溝が形成するラインを検出する方法が、特開２０１６－１４６０６１号公報に記載されている。特開２０１６－１４６０６１号公報の開示内容のすべてを参照により本明細書に援用する。
【0143】
（３．農業機械の構成例）
次に、農業機械の構成例を説明する。
次に、農業機械の構成例を説明する。
【0144】
農業機械は、前述した列検出システムと、自動操舵運転を実現するための制御を行う制御システムとを備える。制御システムは、記憶装置と、制御装置とを備えるコンピュータシステムであり、農業機械の操舵、走行、その他の動作を制御するように構成されている。
【0145】
制御装置は、通常の自動操舵動作モードにおいて、測位装置によって農業機械の位置を特定し、前もって生成された目標経路に基づいて、農業機械が目標経路に沿って走行するように農業機械の操舵を制御するように構成されていてもよい。具体的には、作業車両が圃場内を目標経路に沿って走行するように農業機械の操舵輪（例えば前輪）の操舵角を制御してもよい。本実施形態における農業機械は、このような通常の自動操舵モードだけではなく、作物や畝の列が設けられた圃場内で「列倣い走行制御」による走行を行うように構成された自動操舵装置を備える。
【0146】
測位装置は、例えばＧＮＳＳ受信機を有する。このような測位装置は、ＧＮＳＳ衛星からの信号に基づき、作業車両の位置を特定することができる。しかし、列が圃場にある場合、仮に測位装置が農業機械の位置を高精度に測定できたとしても、列の間は狭く、作物の植えられ方や生育状況によっては、農業機械の車輪などの走行装置が列にはみ出す可能性も高くなる。しかし、本実施形態では、前述した列検出システムを用いることにより、現実に存在する列を検出して、適切な自動操舵を実行することができる。すなわち、本開示の実施形態における農業機械が備える自動操舵装置は、列検出システムが決定した列の境界ラインの位置に基づいて、操舵輪の操舵角を制御するように構成される。
【0147】
また、本実施形態における農業機械では、列検出システムの処理装置が、時系列カラー画像に基づいて、列の境界ラインと操舵輪との位置関係をモニタすることが可能である。この位置関係から位置誤差信号を生成すれば、農業機械の自動操舵装置が位置誤差信号を小さくするように操舵角を適切に調整することが可能になる。
【0148】
図３１は、本実施形態における農業機械１００の外観の例を示す斜視図である。図３２は、作業機３００が装着された状態の農業機械１００の例を模式的に示す側面図である。本実施形態における農業機械１００は、作業機３００が装着された状態の農業用トラクタ（作業車両）である。農業機械１００は、トラクタに限定されず、また作業機３００が装着されている必要もない。本開示における列検出の技術は、例えば、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得る小型管理機、および野菜移植機に用いて優れた効果を発揮することができる。
【0149】
本実施形態における農業機械１００は、撮像装置１２０、１２１と、測位装置１３０と、障害物センサ１３６とを備える。図３１には１つの障害物センサ１３６が例示されているが、障害物センサ１３６は農業機械１００の複数の箇所に設けられていてもよい。
【0150】
図３２に示すように、農業機械１００は、車両本体１１０と、原動機（エンジン）１０２と、変速装置（トランスミッション）１０３とを備える。車両本体１１０には、タイヤ付き車輪１０４と、キャビン１０５とが設けられている。車輪１０４は、一対の前輪１０４Ｆと一対の後輪１０４Ｒとを含む。キャビン１０５の内部に運転席１０７、操舵装置１０６、操作端末２００、および操作のためのスイッチ群が設けられている。前輪１０４Ｆおよび後輪１０４Ｒの一方は、タイヤ付き車輪ではなく無限軌道（ｔｒａｃｋ）を装着した複数の車輪（クローラ）に置き換えられてもよい。農業機械１００は、４つの車輪１０４を駆動輪として備える四輪駆動車であってもよいし、一対の前輪１０４Ｆまたは一対の後輪１０４Ｒを駆動輪として備える二輪駆動車であってもよい。
【0151】
本実施形態における測位装置１３０は、ＧＮＳＳ受信機を備える。ＧＮＳＳ受信機は、ＧＮＳＳ衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて農業機械１００の位置を決定する処理回路とを備える。測位装置１３０は、ＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信し、ＧＮＳＳ信号に基づいて測位を行う。ＧＮＳＳは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＱＺＳＳ（Ｑｕａｓｉ－Ｚｅｎｉｔｈ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ、例えばみちびき）、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、およびＢｅｉＤｏｕなどの衛星測位システムの総称である。本実施形態における測位装置１３０は、キャビン１０５の上部に設けられているが、他の位置に設けられていてもよい。
【0152】
測位装置１３０は、さらに、ＩＭＵからの信号を利用して位置データを補完することができる。ＩＭＵは、農業機械１００の傾きおよび微小な動きを計測することができる。ＩＭＵによって取得されたデータを用いて、ＧＮＳＳ信号に基づく位置データを補完することにより、測位の性能を向上させることができる。
【0153】
図３１および図３２に示す例では、車両本体１１０の後部に障害物センサ１３６が設けられている。障害物センサ１３６は、車両本体１１０の後部以外の部位にも配置され得る。例えば、車両本体１１０の側部、前部、およびキャビン１０５のいずれかの箇所に、１つまたは複数の障害物センサ１３６が設けられ得る。障害物センサ１３６は、農業機械１００の周囲に存在する物体を検出する。障害物センサ１３６は、例えばレーザスキャナおよび／または超音波ソナーを備え得る。障害物センサ１３６は、障害物センサ１３６から所定の検知エリア（サーチエリア）内に障害物が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ１３６が農業機械１００の車体の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、車体の異なる位置に配置されていてもよい。そのような多くの障害物センサ１３６を備えることにより、農業機械１００の周囲の障害物の監視における死角を減らすことができる。
【0154】
原動機１０２は、例えばディーゼルエンジンである。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置１０３は、変速によって農業機械１００の推進力および移動速度を変化させることができる。変速装置１０３は、農業機械１００の前進と後進とを切り換えることもできる。
【0155】
操舵装置１０６は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪１０４Ｆは操舵輪であり、その切れ角（「操舵角」とも称する。）を変化させることにより、農業機械１００の走行方向を変化させることができる。前輪１０４Ｆの操舵角は、手動操舵が行われるとき、オペレータがステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪１０４Ｆの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、農業機械１００内に配置された制御装置からの制御により、油圧装置または電動モータ（ステアリングモータ）の力によって操舵角が自動で調整される。
【0156】
車両本体１１０の後部には、連結装置１０８が設けられている。連結装置１０８は、例えば３点支持装置（「３点リンク」または「３点ヒッチ」とも称する。）、ＰＴＯ（Ｐｏｗｅｒ Ｔａｋｅ Ｏｆｆ）軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置１０８によって作業機３００を農業機械１００に着脱することができる。連結装置１０８は、例えば油圧装置によって３点リンクを昇降させ、作業機３００の位置または姿勢を制御することができる。また、ユニバーサルジョイントを介して農業機械１００から作業機３００に動力を送ることができる。農業機械１００は、作業機３００を引きながら、作業機３００に所定の作業を実行させることができる。連結装置は、車両本体１１０の前方に設けられていてもよい。その場合、農業機械１００の前方に作業機を接続することができる。
【0157】
図３２に示す作業機３００は、例えば、ロータリカルチである。列に倣って走行するときにトラクタなどの作業車両に牽引または装着される作業機３００は、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得るものであれば、任意である。
【0158】
図３３は、農業機械１００および作業機３００の概略的な構成の例を示すブロック図である。農業機械１００と作業機３００は、連結装置１０８に含まれる通信ケーブルを介して互いに通信することができる。
【0159】
図３３の例における農業機械１００は、第１撮像装置１２０、第２撮像装置１２１、測位装置１３０、障害物センサ１３６、操作端末２００に加え、駆動装置１４０、ステアリングホイールセンサ１５０、切れ角センサ１５２、制御システム１６０、通信インタフェース（ＩＦ）１９０、操作スイッチ群２１０、およびブザー２２０を備える。測位装置１３０は、ＧＮＳＳ受信機１３１と、ＩＭＵ１３５とを備える。制御システム１６０は、記憶装置１７０と、制御装置１８０とを備える。制御装置１８０は、複数の電子制御ユニット（ＥＣＵ）１８１から１８６を備える。作業機３００は、駆動装置３４０と、制御装置３８０と、通信インタフェース（ＩＦ）３９０とを備える。なお、図３３には、農業機械１００による自動操舵または自動走行の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。
【0160】
測位装置１３０は、ＧＮＳＳを利用して農業機械１００の測位を行う。測位装置１３０がＲＴＫ受信機を備える場合、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号に加えて、基準局から送信される補正信号が利用される。基準局は、農業機械１００が走行する圃場の周囲（例えば、農業機械１００から１０ｋｍ以内の位置）に設置され得る。基準局は、複数のＧＮＳＳ衛星から受信したＧＮＳＳ信号に基づいて補正信号を生成し、測位装置１３０に送信する。測位装置１３０におけるＧＮＳＳ受信機１３１は、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信する。測位装置１３０は、ＧＮＳＳ信号および補正信号に基づき、農業機械１００の位置を計算することにより、測位を行う。ＲＴＫ－ＧＮＳＳを用いることにより、例えば誤差数ｃｍの精度で測位を行うことが可能である。緯度、経度および高度の情報を含む位置情報が、ＲＴＫ－ＧＮＳＳによる高精度の測位によって取得される。なお、測位方法はＲＴＫ－ＧＮＳＳに限らず、必要な精度の位置情報が得られる任意の測位方法（干渉測位法または相対測位法など）を用いることができる。例えば、ＶＲＳ（Ｖｉｒｔｕａｌ Ｒｅｆｅｒｅｎｃｅ Ｓｔａｔｉｏｎ）またはＤＧＰＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用した測位を行ってもよい。
【0161】
ＩＭＵ１３５は、３軸加速度センサおよび３軸ジャイロスコープを備える。ＩＭＵ１３５は、３軸地磁気センサなどの方位センサを備えていてもよい。ＩＭＵ１３５は、モーションセンサとして機能し、農業機械１００の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。測位装置１３０は、ＧＮＳＳ信号および補正信号に加えて、ＩＭＵ１３５から出力された信号に基づいて、農業機械１００の位置および向きをより高い精度で推定することができる。ＩＭＵ１３５から出力された信号は、ＧＮＳＳ信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。ＩＭＵ１３５は、ＧＮＳＳ信号よりも高い頻度で信号を出力する。その高頻度の信号を利用して、農業機械１００の位置および向きをより高い頻度（例えば、１０Ｈｚ以上）で計測することができる。ＩＭＵ１３５に代えて、３軸加速度センサおよび３軸ジャイロスコープを別々に設けてもよい。ＩＭＵ１３５は、測位装置１３０とは別の装置として設けられていてもよい。
【0162】
測位装置１３０は、ＧＮＳＳ受信機１３１およびＩＭＵ１３５に加えて、他の種類のセンサを備えていてもよい。農業機械１００が走行する環境によっては、これらのセンサからのデータに基づいて農業機械１００の位置および向きを高い精度で推定することができる。
【0163】
このような測位装置１３０を利用することにより、前述した列検出システム１０００、２０００によって検出した作物列および畝の地図を作製することも可能である。
【0164】
駆動装置１４０は、例えば前述の原動機１０２、変速装置１０３、デフロック機構を含む差動装置、操舵装置１０６、および連結装置１０８などの、農業機械１００の走行および作業機３００の駆動に必要な各種の装置を含む。原動機１０２は、例えばディーゼル機関などの内燃機関を備える。駆動装置１４０は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。
【0165】
ステアリングホイールセンサ１５０は、農業機械１００のステアリングホイールの回転角を計測する。切れ角センサ１５２は、操舵輪である前輪１０４Ｆの切れ角を計測する。ステアリングホイールセンサ１５０および切れ角センサ１５２による計測値は、制御装置１８０による操舵制御に利用される。
【0166】
記憶装置１７０は、フラッシュメモリまたは磁気ディスクなどの１つ以上の記憶媒体を含む。記憶装置１７０は、各センサ、および制御装置１８０が生成する各種のデータを記憶する。記憶装置１７０が記憶するデータには、農業機械１００が走行する環境内の地図データ、および自動操舵の目標経路のデータが含まれ得る。記憶装置１７０は、制御装置１８０における各ＥＣＵに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体（例えば半導体メモリまたは光ディスク等）または電気通信回線（例えばインターネット）を介して農業機械１００に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
【0167】
制御装置１８０は、複数のＥＣＵを含む。複数のＥＣＵは、画像認識用のＥＣＵ１８１、速度制御用のＥＣＵ１８２、ステアリング制御用のＥＣＵ１８３、自動操舵制御用のＥＣＵ１８４、作業機制御用のＥＣＵ１８５、表示制御用のＥＣＵ１８６、およびブザー制御用のＥＣＵ１８７を含む。画像認識用のＥＣＵ１８１は、列検出システムの処理装置として機能する。ＥＣＵ１８２は、駆動装置１４０に含まれる原動機１０２、変速装置１０３、およびブレーキを制御することによって農業機械１００の速度を制御する。ＥＣＵ１８３は、ステアリングホイールセンサ１５０の計測値に基づいて、操舵装置１０６に含まれる油圧装置または電動モータを制御することにより、農業機械１００のステアリングを制御する。ＥＣＵ１８４は、測位装置１３０、ステアリングホイールセンサ１５０、および切れ角センサ１５２から出力される信号に基づいて、自動操舵運転を実現するための演算および制御を行う。自動操舵運転中、ＥＣＵ１８４は、ＥＣＵ１８３に操舵角の変更の指令を送る。ＥＣＵ１８３は、当該指令に応答して操舵装置１０６を制御することによって操舵角を変化させる。ＥＣＵ１８５は、作業機３００に所望の動作を実行させるために、連結装置１０８の動作を制御する。ＥＣＵ１８５はまた、作業機３００の動作を制御する信号を生成し、その信号を通信ＩＦ１９０から作業機３００に送信する。ＥＣＵ１８６は、操作端末２００の表示を制御する。ＥＣＵ１８６は、例えば、操作端末２００における表示装置に、圃場のマップ、検出された作物列また畝、マップ中の農業機械１００の位置および目標経路、ポップアップ通知、設定画面などの様々な表示を実現させる。ＥＣＵ１８７は、ブザー２２０による警告音の出力を制御する。
【0168】
これらのＥＣＵの働きにより、制御装置１８０は、手動操舵または自動操舵による運転を実現する。通常の自動操舵運転時において、制御装置１８０は、測位装置１３０によって計測または推定された農業機械１００の位置と、記憶装置１７０に記憶された目標経路とに基づいて、駆動装置１４０を制御する。これにより、制御装置１８０は、農業機械１００を目標経路に沿って走行させる。一方、列に沿って走行する列倣い走行制御モードでは、画像認識用のＥＣＵ１８１が、検出した作物列または畝から作物列や畝の境界ラインを決定し、この境界ラインに基づく目標経路を生成する。制御装置１８０は、この目標経路に従った動作を実行する。
【0169】
制御装置１８０に含まれる複数のＥＣＵは、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのビークルバス規格に従って、相互に通信することができる。図２９において、ＥＣＵ１８１から１８７のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のＥＣＵによって実現されていてもよい。また、ＥＣＵ１８１から１８７の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置１８０は、ＥＣＵ１８１から１８７以外のＥＣＵを備えていてもよく、機能に応じて任意の個数のＥＣＵが設けられ得る。各ＥＣＵは、１つ以上のプロセッサを含む制御回路を備える。
【0170】
通信ＩＦ１９０は、作業機３００の通信ＩＦ３９０と通信を行う回路である。通信ＩＦ１９０は、例えばＩＳＯＢＵＳ－ＴＩＭ等のＩＳＯＢＵＳ規格に準拠した信号の送受信を、作業機３００の通信ＩＦ３９０との間で実行する。これにより、作業機３００に所望の動作を実行させたり、作業機３００から情報を取得したりすることができる。通信ＩＦ１９０は、有線または無線のネットワークを介して外部のコンピュータと通信してもよい。外部のコンピュータは、例えば、圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援する営農支援システムにおけるサーバコンピュータであってもよい。
【0171】
操作端末２００は、農業機械１００の走行および作業機３００の動作に関する操作をオペレータが実行するための端末であり、バーチャルターミナル（ＶＴ）とも称される。操作端末２００は、タッチスクリーンなどの表示装置、および／または１つ以上のボタンを備え得る。オペレータは、操作端末２００を操作することにより、例えば自動操舵モードのオン／オフの切り替え、クルーズコントロールのオン／オフの切り替え、農業機械１００の初期位置の設定、目標経路の設定、地図の記録または編集、２ＷＤ／４ＷＤの切り替え、デフロックのオン／オフの切り替え、および作業機３００のオン／オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群２１０を操作することによっても実現できる。操作端末２００への表示は、ＥＣＵ１８６によって制御される。
【0172】
ブザー２２０は、オペレータに異常を報知するための警告音を発する音声出力装置である。ブザー２２０は、例えば、自動操舵運転時に、農業機械１００が目標経路から所定距離以上逸脱した場合に警告音を発する。ブザー２２０の代わりに、操作端末２００のスピーカによって同様の機能が実現されてもよい。ブザー２２０は、ＥＣＵ１８６によって制御される。
【0173】
作業機３００における駆動装置３４０は、作業機３００が所定の作業を実行するために必要な動作を行う。駆動装置３４０は、例えば油圧装置、電気モータ、またはポンプなどの、作業機３００の用途に応じた装置を含む。制御装置３８０は、駆動装置３４０の動作を制御する。制御装置３８０は、通信ＩＦ３９０を介して農業機械１００から送信された信号に応答して、駆動装置３４０に各種の動作を実行させる。また、作業機３００の状態に応じた信号を通信ＩＦ３９０から農業機械１００に送信することもできる。
【0174】
以上の実施形態において、農業機械１００は、無人で自動運転を行う作業車両であってもよい。その場合には、キャビン、運転席、ステアリングホイール、操作端末などの、有人運転にのみ必要な構成要素は、農業機械１００に設けられていなくてもよい。無人の作業車両は、自律走行、またはオペレータによる遠隔操作によって、前述の各実施形態における動作と同様の動作を実行してもよい。
【0175】
実施形態における各種の機能を提供するシステムを、それらの機能を有しない農業機械に後から取り付けることもできる。そのようなシステムは、農業機械とは独立して製造および販売され得る。そのようなシステムで使用されるコンピュータプログラムも、農業機械とは独立して製造および販売され得る。コンピュータプログラムは、例えばコンピュータが読み取り可能な非一時的な記憶媒体に格納されて提供され得る。コンピュータプログラムは、電気通信回線（例えばインターネット）を介したダウンロードによっても提供され得る。
【0176】
上記の実施形態では、農業機械１００は農業用の作業車両であるが、農業機械１００は作業車両に限定されない。農業機械１００は、例えば農業用の無人航空機（例えばドローン）であってもよい。そのような無人航空機に本開示の列検出システムを搭載して地面上の作物列または畝などの列領域を検出することができる。そのような無人航空機は、検出された列領域に沿って飛行しながら、薬剤または肥料の散布などの農作業を行うことができる。
【0177】
以上のように、本開示は、以下の項目に記載の列検出システムおよび農業機械を含む。
【0178】
［項目１］
一対の前輪および一対の後輪を含む複数の車輪を備える農業機械に取り付けられ、地面を撮影して前記地面における第１領域についての第１画像を生成する第１撮像装置と、
前記農業機械に取り付けられ、前記地面を撮影して前記地面において前記第１領域よりも後方にシフトした第２領域についての第２画像を生成する第２撮像装置と、
前記第１画像および前記第２画像の画像処理を行う処理装置と、
を備え、
前記第２撮像装置は、各前輪の少なくとも一部および各後輪の少なくとも一部を前記第２画像内に含むように設けられ、
前記処理装置は、
前記第１画像を、前記地面の上方から見た第１上面視画像に変換し、
前記第２画像を、前記地面の上方から見た第２上面視画像に変換し、
前記第２上面視画像における各前輪の位置および各後輪の位置に基づいて前記第１上面視画像から関心領域を選択し、前記関心領域を対象とする列検出処理を実行する、列検出システム。
一対の前輪および一対の後輪を含む複数の車輪を備える農業機械に取り付けられ、地面を撮影して前記地面における第１領域についての第１画像を生成する第１撮像装置と、
前記農業機械に取り付けられ、前記地面を撮影して前記地面において前記第１領域よりも後方にシフトした第２領域についての第２画像を生成する第２撮像装置と、
前記第１画像および前記第２画像の画像処理を行う処理装置と、
を備え、
前記第２撮像装置は、各前輪の少なくとも一部および各後輪の少なくとも一部を前記第２画像内に含むように設けられ、
前記処理装置は、
前記第１画像を、前記地面の上方から見た第１上面視画像に変換し、
前記第２画像を、前記地面の上方から見た第２上面視画像に変換し、
前記第２上面視画像における各前輪の位置および各後輪の位置に基づいて前記第１上面視画像から関心領域を選択し、前記関心領域を対象とする列検出処理を実行する、列検出システム。
【0179】
[項目２]
前記処理装置は、
前記第２上面視画像における前記一対の前輪の領域および前記一対の後輪の領域を検出し、
前記一対の前輪の前記領域および前記一対の後輪の前記領域に基づいて、前記関心領域の幅を決定する、項目１に記載の列検出システム。
前記処理装置は、
前記第２上面視画像における前記一対の前輪の領域および前記一対の後輪の領域を検出し、
前記一対の前輪の前記領域および前記一対の後輪の前記領域に基づいて、前記関心領域の幅を決定する、項目１に記載の列検出システム。
【0180】
[項目３]
前記関心領域は、前記第１上面視画像の中央を縦方向に延びる、前記幅を有する長方形の領域である、項目１または２に記載の列検出システム。
前記関心領域は、前記第１上面視画像の中央を縦方向に延びる、前記幅を有する長方形の領域である、項目１または２に記載の列検出システム。
【0181】
[項目４]
前記第１画像および前記第２画像は、カラー画像であり、
前記処理装置は、
前記一対の前輪および前記一対の後輪の色情報に基づいて、前記第２上面視画像における前記一対の前輪の前記領域および前記一対の後輪の前記領域を決定する、項目１から３のいずれか１項に記載の列検出システム。
前記第１画像および前記第２画像は、カラー画像であり、
前記処理装置は、
前記一対の前輪および前記一対の後輪の色情報に基づいて、前記第２上面視画像における前記一対の前輪の前記領域および前記一対の後輪の前記領域を決定する、項目１から３のいずれか１項に記載の列検出システム。
【0182】
[項目５]
前記処理装置は、
前記一対の前輪の前記領域から一対の前輪基準点を抽出し、
前記一対の後輪の前記領域から一対の後輪基準点を抽出し、
前記一対の前輪基準点および前記一対の後輪基準点の一方または両方に基づいて前記関心領域の前記幅を決定する、項目４に記載の列検出システム。
前記処理装置は、
前記一対の前輪の前記領域から一対の前輪基準点を抽出し、
前記一対の後輪の前記領域から一対の後輪基準点を抽出し、
前記一対の前輪基準点および前記一対の後輪基準点の一方または両方に基づいて前記関心領域の前記幅を決定する、項目４に記載の列検出システム。
【0183】
[項目６]
前記処理装置は、
前記第２上面視画像を左部分と右部分とに分割する縦基準線を決定し、
前記一対の前輪の前記領域から、前記縦基準線に最も近い一対の画素を前記一対の前輪基準点として選択し、
前記一対の後輪の前記領域から、前記縦基準線に最も近い一対の画素を前記一対の後輪基準点として選択し、
前記一対の前輪基準点の距離によって規定される前輪間隔、および前記一対の後輪基準点の距離によって規定される後輪間隔の一方に基づいて、前記関心領域の前記幅を決定する、項目５に記載の列検出システム。
前記処理装置は、
前記第２上面視画像を左部分と右部分とに分割する縦基準線を決定し、
前記一対の前輪の前記領域から、前記縦基準線に最も近い一対の画素を前記一対の前輪基準点として選択し、
前記一対の後輪の前記領域から、前記縦基準線に最も近い一対の画素を前記一対の後輪基準点として選択し、
前記一対の前輪基準点の距離によって規定される前輪間隔、および前記一対の後輪基準点の距離によって規定される後輪間隔の一方に基づいて、前記関心領域の前記幅を決定する、項目５に記載の列検出システム。
【0184】
[項目７]
前記処理装置は、
前記前輪間隔および前記後輪間隔のうちの相対的に小さくない方の間隔に基づいて前記関心領域の幅を決定する、項目６に記載の列検出システム。
前記処理装置は、
前記前輪間隔および前記後輪間隔のうちの相対的に小さくない方の間隔に基づいて前記関心領域の幅を決定する、項目６に記載の列検出システム。
【0185】
[項目８]
前記処理装置は、
前記前輪間隔および前記後輪間隔の一方に０．９以上２．０以下の数値を乗算した値を前記関心領域の幅として用いる、項目６に記載の列検出システム。
前記処理装置は、
前記前輪間隔および前記後輪間隔の一方に０．９以上２．０以下の数値を乗算した値を前記関心領域の幅として用いる、項目６に記載の列検出システム。
【0186】
[項目９]
前記処理装置は、
前記縦基準線に直交する横基準線であって、前記第２上面視画像の前記左部分および前記右部分のそれぞれを上部分と下部分とに分割し、前記一対の前輪の前記領域を前記上部分に含み、前記一対の後輪の前記領域を前記下部分に含む、横基準線を決定し、
エッジ検出技術によって前記第２上面視画像におけるエッジを検出し、
前記第２上面視画像における前記一対の前輪の前記領域および前記一対の後輪の前記領域と、前記エッジと、の重複部分を決定し、
前記縦基準線および前記横基準線によって分割された４つの部分のそれぞれにおいて、前記重複部分の前記縦基準線に最も近い位置にある画素を前記前輪基準点および前記後輪基準点として選択する、項目６に記載の列検出システム。
前記処理装置は、
前記縦基準線に直交する横基準線であって、前記第２上面視画像の前記左部分および前記右部分のそれぞれを上部分と下部分とに分割し、前記一対の前輪の前記領域を前記上部分に含み、前記一対の後輪の前記領域を前記下部分に含む、横基準線を決定し、
エッジ検出技術によって前記第２上面視画像におけるエッジを検出し、
前記第２上面視画像における前記一対の前輪の前記領域および前記一対の後輪の前記領域と、前記エッジと、の重複部分を決定し、
前記縦基準線および前記横基準線によって分割された４つの部分のそれぞれにおいて、前記重複部分の前記縦基準線に最も近い位置にある画素を前記前輪基準点および前記後輪基準点として選択する、項目６に記載の列検出システム。
【0187】
[項目１０]
前記第１画像および前記第２画像は、カラー画像であり、
前記処理装置は、
前記第１上面視画像の前記関心領域から、作物列の色を強調した第１上面視強調画像を生成し、
前記第１上面視強調画像から、前記作物列の色の指標値が閾値以上の画素と、前記指標値が前記閾値未満の画素とに分類された、第１上面視二値化画像を生成し、
前記第１上面視二値化画像に基づいて、前記地面上の作物列を検出する、
項目１から９のいずれか１項に記載の列検出システム。
前記第１画像および前記第２画像は、カラー画像であり、
前記処理装置は、
前記第１上面視画像の前記関心領域から、作物列の色を強調した第１上面視強調画像を生成し、
前記第１上面視強調画像から、前記作物列の色の指標値が閾値以上の画素と、前記指標値が前記閾値未満の画素とに分類された、第１上面視二値化画像を生成し、
前記第１上面視二値化画像に基づいて、前記地面上の作物列を検出する、
項目１から９のいずれか１項に記載の列検出システム。
【0188】
[項目１１]
前記処理装置は、
前記第１上面視画像の前記関心領域を前記第２上面視画像内に延長し、
前記第２上面視画像における前記関心領域から、前記作物列の色を強調した第２上面視強調画像を生成し、
前記第２上面視強調画像から、前記作物列の色の前記指標値が前記閾値以上の画素と、前記指標値が前記閾値未満の画素とに分類された、第２上面視二値化画像を生成し、
前記第１上面視二値化画像および第２上面視二値化画像に基づいて、前記地面上の作物列を検出する、項目１０に記載の列検出システム。
前記処理装置は、
前記第１上面視画像の前記関心領域を前記第２上面視画像内に延長し、
前記第２上面視画像における前記関心領域から、前記作物列の色を強調した第２上面視強調画像を生成し、
前記第２上面視強調画像から、前記作物列の色の前記指標値が前記閾値以上の画素と、前記指標値が前記閾値未満の画素とに分類された、第２上面視二値化画像を生成し、
前記第１上面視二値化画像および第２上面視二値化画像に基づいて、前記地面上の作物列を検出する、項目１０に記載の列検出システム。
【0189】
[項目１２]
前記第１撮像装置は、前方斜め下向きに取り付けられており、
前記第２撮像装置は、下向きに取り付けられている、項目１から１１のいずれか１項に記載の列検出システム。
前記第１撮像装置は、前方斜め下向きに取り付けられており、
前記第２撮像装置は、下向きに取り付けられている、項目１から１１のいずれか１項に記載の列検出システム。
【0190】
[項目１３]
前記農業機械は作業車両であり、
前記第２撮像装置は前記作業車両の下部に取り付けられている、項目１から１２のいずれか１項に記載の列検出システム。
前記農業機械は作業車両であり、
前記第２撮像装置は前記作業車両の下部に取り付けられている、項目１から１２のいずれか１項に記載の列検出システム。
【0191】
[項目１４]
前記処理装置は、前記列検出によって決定された作物列または畝の位置に基づいて目標経路を生成する、項目１から１２のいずれか１項に記載の列検出システム。
前記処理装置は、前記列検出によって決定された作物列または畝の位置に基づいて目標経路を生成する、項目１から１２のいずれか１項に記載の列検出システム。
【0192】
[項目１５]
項目１から１４のいずれか１項に記載の列検出システムと、
前記列検出システムが検出した作物列または畝の位置に基づいて前記農業機械の進行方向を制御する自動操舵装置と、
を備える農業機械。
項目１から１４のいずれか１項に記載の列検出システムと、
前記列検出システムが検出した作物列または畝の位置に基づいて前記農業機械の進行方向を制御する自動操舵装置と、
を備える農業機械。
【0193】
[項目１６]
操舵輪を含む走行装置をさらに備え、
前記自動操舵装置は、前記列検出システムが検出した前記作物列または前記畝の位置に基づいて、前記操舵輪の操舵角を制御する、項目１５に記載の農業機械。
操舵輪を含む走行装置をさらに備え、
前記自動操舵装置は、前記列検出システムが検出した前記作物列または前記畝の位置に基づいて、前記操舵輪の操舵角を制御する、項目１５に記載の農業機械。
【産業上の利用可能性】
【0194】
本開示の技術は、例えば、乗用管理機、野菜移植機、トラクタ、または農業用ドローンなどの農業機械に適用することができる。
【符号の説明】
【0195】
１０・・・地面、１２・・・作物列、１４・・・中間領域（作業通路）、１６・・・畝、４０・・・画像、４２・・・強調画像、４４・・・上面視画像、１００・・・農業機械、１１０・・・車両本体、１２０、１２１・・・撮像装置、１２２・・・処理装置、１２４・・・自動操舵装置、１０００・・・列検出システム
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
