IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 独立行政法人農業・食品産業技術総合研究機構の特許一覧

特許7525894制御装置、制御プログラム、制御方法および表示システム
<>
  • 特許-制御装置、制御プログラム、制御方法および表示システム 図1
  • 特許-制御装置、制御プログラム、制御方法および表示システム 図2
  • 特許-制御装置、制御プログラム、制御方法および表示システム 図3
  • 特許-制御装置、制御プログラム、制御方法および表示システム 図4
  • 特許-制御装置、制御プログラム、制御方法および表示システム 図5
  • 特許-制御装置、制御プログラム、制御方法および表示システム 図6
  • 特許-制御装置、制御プログラム、制御方法および表示システム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-23
(45)【発行日】2024-07-31
(54)【発明の名称】制御装置、制御プログラム、制御方法および表示システム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20240724BHJP
   G06F 3/01 20060101ALI20240724BHJP
   G06F 3/0481 20220101ALI20240724BHJP
   A01B 69/00 20060101ALI20240724BHJP
   G06Q 50/02 20240101ALI20240724BHJP
【FI】
G06T19/00 600
G06F3/01 510
G06F3/0481
A01B69/00 303D
A01B69/00 303M
G06Q50/02
【請求項の数】 7
(21)【出願番号】P 2021010670
(22)【出願日】2021-01-26
(65)【公開番号】P2022114372
(43)【公開日】2022-08-05
【審査請求日】2023-10-27
(73)【特許権者】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】菊地 麗
(72)【発明者】
【氏名】清水 裕太
【審査官】豊田 好一
(56)【参考文献】
【文献】国際公開第2019/189030(WO,A1)
【文献】特開2019-201560(JP,A)
【文献】特開2014-187914(JP,A)
【文献】特開2020-173820(JP,A)
【文献】特開2020-205110(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/01
G06F 3/0481
A01B 69/00
G06Q 50/02
(57)【特許請求の範囲】
【請求項1】
撮像画像を表示する表示装置を制御する制御装置であって、
傾斜箇所を含む土地を移動可能な、位置取得装置を備えた移動機器から、位置情報を取得する位置取得部と、
前記位置情報が示す前記土地における、複数の前記移動機器にそれぞれ通知する情報である通知情報を含む作業情報から、該土地に含まれる物体または地形の少なくとも何れかの位置に関連付けられた前記通知情報である関連通知情報の有無を、選択された前記移動機器の種類に応じて判定する判定部と、
前記判定部が、前記作業情報に前記関連通知情報が含まれていると判定した場合に、前記関連通知情報を前記撮像画像と重畳的に表示させるための拡張現実情報を生成する生成部と、を備える、制御装置。
【請求項2】
前記判定部は、選択された前記移動機器の種類に加えて、該移動機器を使用する作業者の習熟度に応じて、前記関連通知情報の有無を判定する、請求項1に記載の制御装置。
【請求項3】
前記通知情報は、前記土地における前記移動機器を用いた作業方法の情報を含み、
前記生成部は、前記作業方法の情報である前記関連通知情報を含む拡張現実情報を生成する、請求項1または2に記載の制御装置。
【請求項4】
前記位置取得部は、所定の時間が経過するごとに前記位置情報を取得し、
前記判定部は、前記位置取得部が前記位置情報を取得するごとに、前記関連通知情報の有無を判定する、請求項1から3の何れか1項に記載の制御装置。
【請求項5】
請求項1に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、前記位置取得部、前記判定部および前記生成部としてコンピュータを機能させるための制御プログラム。
【請求項6】
撮像画像を表示する表示装置を制御する制御方法であって、
傾斜箇所を含む土地を移動可能な、位置取得装置を備えた移動機器から、位置情報を取得する位置取得ステップと、
前記位置情報が示す前記土地における、複数の前記移動機器にそれぞれ通知する情報である通知情報を含む作業情報から、該土地に含まれる物体または地形の少なくとも何れかの位置に関連付けられた前記通知情報である関連通知情報の有無を、選択された前記移動機器の種類に応じて判定する判定ステップと、
前記判定ステップが、前記作業情報に前記関連通知情報が含まれていると判定した場合に、前記関連通知情報を前記撮像画像と重畳的に表示させるための拡張現実情報を生成する生成ステップと、を含む、制御方法。
【請求項7】
撮像装置と、前記撮像装置の撮像画像を表示する表示装置と、前記撮像装置および前記表示装置と送受信可能なサーバと、から構成され、少なくとも1つの制御装置により制御される表示システムであって、
前記制御装置は、
傾斜箇所を含む土地を移動可能な、位置取得装置を備えた移動機器から、位置情報を取得する位置取得処理と、
前記位置情報が示す前記土地における、複数の前記移動機器にそれぞれ通知する情報である通知情報を含む作業情報から、該土地に含まれる物体または地形の少なくとも何れかの位置に関連付けられた前記通知情報である関連通知情報の有無を、選択された前記移動機器の種類に応じて判定する判定処理と、
前記判定処理が、前記作業情報に前記関連通知情報が含まれていると判定した場合に、前記関連通知情報を前記撮像画像と重畳的に表示させるための拡張現実情報を生成する生成処理と、を実行する、表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実情報を表示させるための制御装置、制御プログラム、制御方法および表示システムに関する。
【背景技術】
【0002】
傾斜箇所を含む土地の管理において、傾斜箇所での草刈り機等による作業は容易ではない。例えば、圃場に隣接する畦畔の管理は、農地等への雑草侵入および病虫害等を防ぐために重要である。しかしながら、今後、管理作業を担う人材の不足および高齢化等により、管理作業がますます困難となっていく可能性が指摘されている。
【0003】
また、近年は、AR(Augmented Reality;拡張現実)技術が様々な場面で利用されてきている。例えば、特許文献1には、カメラで撮影した映像を記憶した記録動画データの再生映像上に、ARデータが表すARタグを表示する車載システムが開示されている。また、非特許文献1には、トラクタのナビゲーションシステムにおいて、あらかじめ作成した畑のCG(Computer Graphic)画像と、カメラで撮影した畑の画像とをリアルタイムで合成する技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2013-183333号公報
【非特許文献】
【0005】
【文献】梅津ら, 拡張現実技術を使ったトラクタナビゲーションシステムの開発, 日本機械学会ロボティクス・メカトロニクス講演会講演論文集(CD-ROM), Vol.2009, Page.ROMBUNNO.1A2-B14, 2009
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述の先行技術文献には、傾斜箇所を含む土地に関連する情報をAR情報として表示させることについては言及されていない。また、傾斜箇所を移動させる移動機器ごとに、表示させるAR情報の内容を変更することについても、何ら開示されていない。
【0007】
本発明の一態様は、移動機器に応じた内容の、傾斜箇所を含む土地に関連する情報をAR情報として表示可能な表示システム等を実現することを目的とする。
【課題を解決するための手段】
【0008】
前記の課題を解決するために、本発明の一態様に係る制御装置は、撮像画像を表示する表示装置を制御する制御装置であって、傾斜箇所を含む土地を移動可能な、位置取得装置を備えた移動機器から、位置情報を取得する位置取得部と、前記位置情報が示す前記土地における、複数の前記移動機器にそれぞれ通知する情報である通知情報を含む作業情報から、該土地に含まれる物体または地形の少なくとも何れかの位置に関連付けられた前記通知情報である関連通知情報の有無を、選択された前記移動機器の種類に応じて判定する判定部と、前記判定部が、前記作業情報に前記関連通知情報が含まれていると判定した場合に、前記関連通知情報を前記撮像画像と重畳的に表示させるための拡張現実情報を生成する生成部と、を備える。
【0009】
本発明の一態様に係る制御装置は、前記判定部は、選択された前記移動機器の種類に加えて、該移動機器を使用する作業者の習熟度に応じて、前記関連通知情報の有無を判定してもよい。
【0010】
本発明の一態様に係る制御装置は、前記通知情報は、前記土地における前記移動機器を用いた作業方法の情報を含み、前記生成部は、前記作業方法の情報である前記関連通知情報を含む拡張現実情報を生成してもよい。
【0011】
本発明の一態様に係る制御装置は、前記位置取得部は、所定の時間が経過するごとに前記位置情報を取得し、前記判定部は、前記位置取得部が前記位置情報を取得するごとに、前記関連通知情報の有無を判定してもよい。
【0012】
前記の課題を解決するために、本発明の一態様に係る制御方法は、撮像画像を表示する表示装置を制御する制御方法であって、傾斜箇所を含む土地を移動可能な、位置取得装置を備えた移動機器から、位置情報を取得する位置取得ステップと、前記位置情報が示す前記土地における、複数の前記移動機器にそれぞれ通知する情報である通知情報を含む作業情報から、該土地に含まれる物体または地形の少なくとも何れかの位置に関連付けられた前記通知情報である関連通知情報の有無を、選択された前記移動機器の種類に応じて判定する判定ステップと、前記判定ステップが、前記作業情報に前記関連通知情報が含まれていると判定した場合に、前記関連通知情報を前記撮像画像と重畳的に表示させるための拡張現実情報を生成する生成ステップと、を含む。
【0013】
前記の課題を解決するために、本発明の一態様に係る表示システムは、撮像装置と、前記撮像装置の撮像画像を表示する表示装置と、前記撮像装置および前記表示装置と送受信可能なサーバと、から構成され、少なくとも1つの制御装置により制御される表示システムであって、前記制御装置は、傾斜箇所を含む土地を移動可能な、位置取得装置を備えた移動機器から、位置情報を取得する位置取得処理と、前記位置情報が示す前記土地における、複数の前記移動機器にそれぞれ通知する情報である通知情報を含む作業情報から、該土地に含まれる物体または地形の少なくとも何れかの位置に関連付けられた前記通知情報である関連通知情報の有無を、選択された前記移動機器の種類に応じて判定する判定処理と、前記判定処理が、前記作業情報に前記関連通知情報が含まれていると判定した場合に、前記関連通知情報を前記撮像画像と重畳的に表示させるための拡張現実情報を生成する生成処理と、を実行する。
【0014】
本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記制御装置が備える各部(ソフトウェア要素)として動作させることにより前記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0015】
本発明の一態様によれば、移動機器に応じた内容の、傾斜箇所を含む土地に関連する情報をAR情報として表示可能な表示システム等を実現できる。
【図面の簡単な説明】
【0016】
図1】本発明の一実施形態に係る表示システムの構成を示すブロック図である。
図2】本発明の一実施形態に係る制御方法の一例を示すフロー図である。
図3】AR情報をスマートフォンに表示させた状態の一例を示す模式図である。
図4】作業情報生成部による傾斜マップおよび曲率マップの更新処理の一例を示すフロー図である。
図5】作業情報生成部による評価情報の更新処理の一例を示すフロー図である。
図6】AR情報をスマートグラスに表示させた状態の一例を示す模式図である。
図7】AR情報をスマートグラスに表示させた状態の別の例を示す模式図である。
【発明を実施するための形態】
【0017】
以下、本発明の一実施形態について、詳細に説明する。
【0018】
〔表示システム1の構成〕
図1は、表示システム1の構成を示すブロック図である。表示システム1は、草刈り機10と、スマートフォン20と、サーバ30とを備える。表示システム1は、特定の土地における管理領域と関連付けられた関連通知情報を、画像データ(撮像画像)と重畳的に表示させるAR情報(拡張現実情報)を生成する。また、表示システム1は、管理領域における地理空間情報と、該管理領域に係る地形情報とが対応付けられた作業情報を生成する。作業情報には、AR情報の元となる、草刈り機10に通知する情報である通知情報が含まれる。草刈り機10への通知とは、草刈り機10を用いて作業を行う作業者への通知を示す。
【0019】
特定の土地における管理領域は、草刈り等の作業が必要な領域であり、傾斜箇所を含む領域である。管理領域は、例えば、圃場(田畑)の縁にある畦畔、河川の堤防の緑地の法面、牧草地(山地の放牧地または棚田跡地)、または、高速道路の緑地の法面等の傾斜箇所を含む。管理領域は圃場および畦畔を含んでもよい。地形情報は、管理領域の、傾斜角度、傾斜方向、曲率、および/または、適性指標を含む。適性指標は、草刈り機10等の作業機(移動機器)の管理領域に対する適性(例えば、管理領域に対し作業機を適切に使用可能か)を示す指標である。作業情報に含まれる通知情報は、これらの地形情報および適正指標を含む情報である。
【0020】
地理空間情報は、管理領域における各位置の位置情報(緯度、経度および/または高さ等の座標)、または、管理領域を示す画像(2次元画像または3次元画像)である。生成された作業情報は、例えば草刈り等の作業を行うために利用される。
【0021】
(草刈り機10)
草刈り機10は、地上(傾斜箇所)を移動可能な移動機器である。草刈り機10は、管理領域(ここでは畦畔)を移動し、草刈り等の農作業をする作業機である。また、草刈り機10は、管理領域の各位置における地形情報を取得するエリア情報取得機器としても機能する。ここでは、草刈り機10として、作業者が操作する端末(リモコン)からリモートコントロールされる草刈り機を例に挙げて説明するが、作業者が直接操作する草刈り機であっても構わない。草刈り機10は、機器制御装置11、撮像装置12、機器位置取得装置(位置取得装置)13、加速度センサ14、機器傾斜センサ(傾斜センサ)15、機器記憶装置18および機器通信装置19を備える。
【0022】
撮像装置12は、草刈り機10の周囲(例えば草刈り機10が移動する予定であるエリア)を撮像し、画像データ(撮像画像)を生成する。撮像装置12は、画像データを機器制御装置11に出力する。
【0023】
機器位置取得装置13は、草刈り機10の位置を取得する。例えば、機器位置取得装置13は、GNSS(全地球航法衛星システム)等の衛星測位システムを利用して草刈り機10の位置を取得する。機器位置取得装置13は、草刈り機10の位置を示す位置情報を機器制御装置11に出力する。なお、本明細書で単に「位置情報」という場合は、草刈り機10の位置を示す位置情報を意図する。
【0024】
加速度センサ14は、加速度を測定する。加速度センサ14は、加速度を機器制御装置11に出力する。
【0025】
機器傾斜センサ15は、草刈り機10の傾斜角度を測定する。機器傾斜センサ15は、例えばジャイロスコープである。機器傾斜センサ15は、傾斜角度を機器制御装置11に出力する。なお、本明細書で単に「傾斜角度」という場合は、草刈り機10の傾斜角度を意図する。
【0026】
機器記憶装置18は、草刈り機10に関する各種データを記憶する記憶装置である。機器通信装置19は、作業者が操作する端末およびサーバ30と通信する。
【0027】
機器制御装置11は、草刈り機10の各部の動作を統括して制御する。機器制御装置11は、例えば、作業者が操作する端末の指示(移動指示および動作指示)に従って、草刈り機10の移動および草刈り動作を制御する。
【0028】
機器制御装置11は、加速度および傾斜角度から、草刈り機10が位置する地面の傾斜方向および曲率を特定(測定)する。また、機器制御装置11は、加速度のみから、草刈り機10が位置する地面のおよび傾斜方向を特定(測定)してもよい。この場合、機器制御装置11は、加速度の推移または撮像された画像データから、各位置の地面の曲率を特定する。機器制御装置11は、草刈り機10が作業を行った期間の時刻毎に、作業ログを機器記憶装置18に記憶させる。作業ログは、例えば、端末による移動指示と、草刈り機10の位置と、該位置における傾斜角度と、該位置における曲率と、該位置を撮像した画像データとを互いに対応付けたデータである。画像データは、各位置の植生(刈られる前に生えていた植物の種類、量および高さ等)の情報を含む。このように、作業ログは、各位置の地面の地形情報(傾斜角度、傾斜方向、曲率および/または植生の情報)を含む。機器制御装置11は、作業終了後(移動停止後)に、作業ログを、機器通信装置19を介してサーバ30に送信してもよい。
【0029】
(スマートフォン20)
スマートフォン20(表示装置)は、作業者が利用する携帯端末である。スマートフォン20は、端末制御装置21、タッチパネル22、端末位置取得装置23、端末傾斜センサ24、端末記憶装置28および端末通信装置29を備える。
【0030】
端末制御装置21は、スマートフォン20の各部の処理を統括的に制御する。端末制御装置21は、タッチパネル22に、サーバ30から取得されたAR情報と、画像データとを重畳的に表示させる。
【0031】
タッチパネル22は、作業者の指示を受け付ける入力装置と、画像を表示する表示装置とを兼ねる。
【0032】
端末位置取得装置23は、スマートフォン20の位置を取得する。端末位置取得装置23は、機器位置取得装置13と同様に、GNSS(全地球航法衛星システム)等の衛星測位システムを利用してスマートフォン20の位置を取得する。端末位置取得装置23は、スマートフォン20の位置を示す端末位置情報を端末制御装置21に出力する。
【0033】
端末傾斜センサ24は、スマートフォン20の傾斜角度である端末傾斜角度を測定する。端末傾斜センサ24は、例えばジャイロスコープである。端末傾斜センサ24は、端末傾斜角度を端末制御装置21に出力する。
【0034】
端末記憶装置28は、スマートフォン20に関する各種データを記憶する記憶装置である。端末通信装置29は、サーバ30と通信する。また、端末通信装置29は、草刈り機10と通信してもよい。この場合、スマートフォン20は、草刈り機10をリモートコントロールするリモコンとしての機能を備えていてもよい。
【0035】
(サーバ30)
サーバ30は、AR情報を生成する情報処理装置である。また、サーバ30は、AR情報の生成に用いられる情報を含む作業情報を生成する機能を有していてもよい。作業情報は、通知情報を含んでいる。通知情報は、草刈り機10の位置情報が示す管理領域(土地)に含まれる物体および/または地形の位置(座標)に関連付けられ、草刈り機10を含む複数の作業機に対してそれぞれ通知する情報である。管理領域に含まれる物体としては、例えば、管理領域に生えている植物または管理領域に存在する地上物が挙げられる。
【0036】
サーバ30は、サーバ制御装置31、サーバ記憶装置38およびサーバ通信装置39を備える。
【0037】
サーバ記憶装置38は、サーバ30に関する各種データを記憶する記憶装置である。サーバ記憶装置38には、撮像装置12により撮像された画像データが予め記憶されている。また、サーバ記憶装置38には、草刈り機10を含む複数の作業機についての、管理領域における作業情報が記憶されている。また、サーバ記憶装置38には、作業情報を生成するための、管理領域を示す画像データならびに該管理領域の傾斜マップおよび曲率マップが記憶されていてもよい。
【0038】
管理領域を示す画像データは、地図を表す2次元画像、上方から撮影された2次元画像、または、3次元の地形を表す3次元画像のデータであってよい。管理領域を示す画像データには、管理領域の複数の位置を示す情報(座標)が対応付けられている。
【0039】
傾斜マップは、管理領域の複数の位置のそれぞれについて、該位置における傾斜角度が対応付けられた作業情報である。曲率マップは、管理領域の複数の位置のそれぞれについて、該位置における曲率が対応付けられた作業情報である。例えば、管理領域を示す画像データ、傾斜マップ、および曲率マップは、公知の方法、例えば航空機またはドローン等により上空から管理領域を撮影することにより得ることができる。
【0040】
また、サーバ記憶装置38には、複数の作業機から、いずれの作業機が選択されたかを示す情報が、予め記憶されている。作業機の選択は、例えば、作業者がスマートフォン20のタッチパネル22から行ってよい。本実施形態では、サーバ記憶装置38には、作業機として草刈り機10が選択された旨の情報が記憶されている。
【0041】
また、サーバ記憶装置38には、作業者ごとに、各作業機に対する習熟度の情報が予め記憶されていてもよい。習熟度の情報は、例えば、作業機ごとの作業者の運転時間およびスタック・トラブル回数等の、作業者による作業機の使用履歴情報であってよい。また、習熟度の情報には、過去に作業者によって作業が行われた管理領域ごとにそれぞれ生成される、各管理領域に対する習熟度の情報が含まれていてもよい。
【0042】
サーバ通信装置39は、草刈り機10およびスマートフォン20と通信する。すなわち、サーバ30は、草刈り機10が備える撮像装置12およびスマートフォン20と送受信可能に構成されている。
【0043】
サーバ30は、草刈り機10に搭載されていてもよい。この場合、サーバ30と、草刈り機10およびスマートフォン20との通信に、通信可能な範囲が制限されたローカル通信ネットワークを用いることが容易となる。
【0044】
(サーバ制御装置31)
サーバ制御装置31は、位置取得部32、関連判定部(判定部)33、AR生成部(生成部)34、表示制御部35および作業情報生成部41を備える。
【0045】
位置取得部32は、機器位置取得装置13が取得した草刈り機10の位置情報を、サーバ通信装置39を介して草刈り機10から取得する。また、位置取得部32は、端末位置取得装置23が取得した端末位置情報および端末傾斜センサ24が取得した端末傾斜角度についても、サーバ通信装置39を介してスマートフォン20から取得してよい。
【0046】
関連判定部33は、作業情報から、位置情報が示す管理領域に関連付けられた通知情報である関連通知情報の有無を判定する。具体的には、関連通知情報は、位置情報が示す管理領域に含まれている物体または地形の少なくとも何れかの位置に関連付けられた通知情報である。位置情報が示す管理領域とは、例えば、位置情報が示す位置が含まれる管理領域であってもよく、位置情報が示す位置から最も近い、作業情報が存在する管理領域であってもよい。
【0047】
また、関連判定部33は、関連通知情報の有無について、選択された作業機の種類に応じて判定を行う。通知情報には、適正情報として、作業機の種類によってそれぞれ異なる内容の情報が含まれていてもよい。異なる内容とは、例えば、作業機の種類によって、通行可能か通行不可能かのいずれかを示す内容である。
【0048】
また、関連判定部33は、選択された作業機の種類に加えて、該作業機を使用する作業者の習熟度に応じて、関連通知情報の有無を判定してもよい。この場合、通知情報には、適正情報として、作業者の作業機に対する習熟度ごとにそれぞれ対応する情報が含まれていてもよい。習熟度ごとに対応する情報とは、例えば、同じ作業機の種類でも、作業者の習熟度によって、管理領域で作業可能か作業不可能かのいずれかを示す内容である。
【0049】
また、通知情報は、傾斜箇所を含む土地における、作業機を用いた作業方法の情報を含んでいてもよい。作業方法の情報とは、例えば、草刈り機10の推奨移動経路、草刈りが必要となる範囲、および、草刈りの対象となる植物の種類等の情報であってよい。関連判定部33は、位置情報が示す管理領域に含まれる物体および/または地形に関連付けられた作業方法の情報が存在する場合に、関連通知情報が存在すると判定してよい。関連判定部33は、関連通知情報が存在すると判定した場合、該関連通知情報をAR生成部34に出力する。
【0050】
AR生成部34は、関連判定部33から入力された関連通知情報を画像データと重畳的に表示させるためのAR情報を生成する。AR情報は、位置情報が示す管理領域全体に対応する、仮想的な空間内に、物体および/または地形の座標の近傍に、それぞれ関連する関連通知情報を配置した情報である。なお、AR情報は、仮想的な平面上に、関連通知情報を配置した情報であってもよい。また、AR生成部34は、関連通知情報が作業方法の情報である場合、該作業方法の情報を含むAR情報を生成してもよい。AR生成部34は、生成したAR情報を表示制御部35に出力する。
【0051】
表示制御部35は、AR情報を画像データと重畳的にスマートフォン20のタッチパネル22に表示させる。このとき、表示制御部35は、サーバ通信装置39を介してスマートフォン20に出力することにより、タッチパネル22の表示を制御する。表示制御部35は、AR情報に含まれる関連通知情報が、画像データ上に視認しやすいように表示されるよう、各関連通知情報の位置および向き等を制御する。例えば、表示制御部35は、撮像装置12の撮像範囲を、位置情報、機器傾斜センサ15および端末傾斜センサ24の測定結果を用いて特定し、各関連通知情報の位置および向き等を制御してもよい。表示制御部35は、AR生成部34からAR情報が入力されていない場合は、画像データのみタッチパネル22に表示させてもよい。
【0052】
位置取得部32は、機器位置取得装置13が取得した位置情報を取得するタイミングを制御してもよい。機器位置取得装置13による位置情報の取得は、作業者のスマートフォン20の操作により行われてもよく、位置取得部32の制御により行われてもよい。
【0053】
位置取得部32は、所定の時間が経過するごとに、機器位置取得装置13に位置情報を取得させ、得られた位置情報を草刈り機10から取得してよい。また、関連判定部33は、位置取得部32が位置情報を取得するごとに、関連通知情報の有無を判定してよい。
【0054】
また、位置取得部32は、草刈り機10の位置が所定の範囲に入った場合に、機器位置取得装置13に位置情報を取得させてよい。この場合も、関連判定部33は、位置取得部32が位置情報を取得するごとに、関連通知情報の有無を判定してよい。
【0055】
サーバ制御装置31の各機能ブロックは、少なくとも一部が草刈り機10の機器制御装置11またはスマートフォン20の端末制御装置21等の、表示システム1を構成する電子機器の制御装置に含まれていてもよい。例えば、機器制御装置11が表示制御部35を備えており、サーバ制御装置31が生成したAR情報について、表示制御部35が取得して、タッチパネル22の表示を制御してもよい。
【0056】
(作業情報生成部41)
作業情報生成部41は、作業情報を生成する。サーバ記憶装置38に作業情報が予め記憶されている場合、サーバ制御装置31は、作業情報生成部41を備えなくてもよい。作業情報生成部41には、特定部42、移動判定部43、更新部44、評価部45およびマップ生成部46が含まれる。
【0057】
特定部42は、サーバ通信装置39を介して、草刈り機10から、管理領域に関する作業ログを取得する。作業ログは、管理領域の管理領域の各位置における、草刈り機10の位置と、該位置における傾斜角度と、該位置を撮像した画像データとを含む。特定部42は、作業ログを、サーバ記憶装置38に記憶させる。
【0058】
特定部42は、作業ログに基づいて、管理領域の各位置における傾斜角度を外部取得傾斜角度として特定する。特定部42は、作業ログに基づいて、管理領域の各位置における曲率を外部取得曲率として特定する。特定部42は、外部取得傾斜角度および外部取得曲率を示す情報を更新部44に出力し、移動判定部43に草刈り機10の移動を判定する指示をする。
【0059】
移動判定部43は、作業ログに基づいて、草刈り機10が管理領域の各位置を正常に通過(走行)できたか否かを判定する。移動判定部43は、判定結果を更新部44に出力する。
【0060】
更新部44は、サーバ記憶装置38に予め記憶されている傾斜マップおよび曲率マップを取得する。更新部44は、作業ログから特定した各位置の外部取得傾斜角度を、傾斜マップにおける該位置の傾斜角度に反映させることにより、該位置の傾斜角度を第2傾斜角度に更新する。すなわち、更新部44は、傾斜マップにおける各位置の傾斜角度を外部取得傾斜角度で上書きする。
【0061】
更新部44は、作業ログから特定した各位置の曲率を反映することにより、曲率マップにおける該位置の曲率(第1曲率)を第2曲率に更新する。また、更新部44は、移動判定部43による判定結果に応じて、草刈り機10が走行可能な最大傾斜角度θmaxおよび最大曲率の絶対値κmax、ならびに走行実績データを更新する。更新部44は、各位置の更新された傾斜角度および更新された曲率をマップ生成部46に出力する。更新部44は、評価部45に管理領域についての評価情報を生成する指示を出力する。
【0062】
評価部45は、更新された傾斜マップに基づいて、管理領域のうち草刈り機10が作業可能な面積の割合を示す作業可能面積率を第1スコアとして特定(算出、生成)する。評価部45は、第1スコアを用いて管理領域の適性指標(第2スコア)を特定(算出、生成)する。評価部45は、管理領域の評価情報として、管理領域の適性指標をサーバ記憶装置38に記憶させる。
【0063】
マップ生成部46は、管理領域の各位置に、更新された傾斜角度および更新された曲率を対応付けることにより、更新された傾斜マップおよび曲率マップを生成する。マップ生成部46は、更新された傾斜マップおよび曲率マップをサーバ記憶装置38に記憶させる。なお、マップ生成部46は、草刈り機10が通過しなかった(情報を取得しなかった)位置の傾斜角度および曲率は、変更しない。
【0064】
また、マップ生成部46は、管理領域に、特定された適性指標を対応付けることにより、評価マップを生成する。マップ生成部46は、評価マップをサーバ記憶装置38に記憶させる。
【0065】
作業情報生成部41は、草刈り機10に加えて、傾斜箇所を含む土地を移動可能な他の作業機についても、同様に作業情報を生成してよい。作業情報生成部41は、作業機ごとに生成した作業情報について、個別または1つの作業情報に統合した状態で、サーバ記憶装置38に記憶させてよい。
【0066】
〔表示システム1の処理〕
(AR情報の生成および表示)
本発明の一実施形態に係る制御方法について、表示システム1の処理を例として、図2および図3を参照して説明する。ここでいう制御方法とは、サーバ制御装置31により実行される、画像データを表示するスマートフォン20の制御方法である。この例では、作業情報は予めサーバ記憶装置38に記憶されており、必要に応じてサーバ制御装置31に呼び出される。
【0067】
図2に示すように、まず、位置取得部32は、草刈り機10に、機器位置取得装置13によって位置情報を取得させる位置取得処理を実行する(S1、位置取得ステップ)。位置情報の取得は、作業者によるスマートフォン20の操作により行われてもよい。また、このとき位置取得部32は、スマートフォン20に、端末位置取得装置23によって端末位置情報を取得させる処理を実行してよい。また、位置取得部32はさらに、スマートフォン20に、端末傾斜センサ24によって端末傾斜情報を取得させる処理を実行してもよい。
【0068】
次に、関連判定部33は、作業情報に含まれる通知情報に、位置情報が示す管理領域内の物体および/または地形に関連付けられた通知情報(第1通知情報)が存在しているか否かを判定する(S2)。関連判定部33は、撮像装置12が撮像した画像データ内の物体および/または地形を解析して、形状等が同一または類似の物体および/または地形に関連付けられた通知情報があれば、通知情報が存在すると判定してもよい。
【0069】
関連判定部33は、第1通知情報が存在しないと判定した場合(S2でNO)、関連通知情報が存在しないと判定し、続くS3からS8までの処理(AR情報の生成に関する処理)をスキップする。この場合、表示制御部35は、撮像装置12が撮像した画像データをそのまま、AR情報を含まない状態でスマートフォン20のタッチパネル22に表示させてもよい。
【0070】
一方、関連判定部33は、第1通知情報が存在すると判定した場合(S2でYES)、サーバ記憶装置38から、選択された作業機の情報および該作業機を操縦して作業を行う作業者の情報を取得する(S3)。ここでは、作業機として草刈り機10が選択されている場合を例示する。
【0071】
次に、関連判定部33は、第1通知情報に、草刈り機10に対応する情報(第2通知情報)が含まれているか否かを判定する判定処理を実行する(S4、判定ステップ)。例えば、ある地形に対して、草刈り機10は通行不可能である情報と、草刈り機10よりも小型の作業機は通行可能である情報と、が含まれている場合、関連判定部33は、通行不可能である情報について第2通知情報であると判定する。なお、関連判定部33は、作業機として、草刈り機10よりも小型の、所定のサイズ以下の作業機が選択されていた場合には、通行可能である情報について第2通知情報であると判定する。
【0072】
別の例としては、第1通知情報に、ある植物に対して、草刈り機10等の草刈りを実行可能な作業機については草刈り可能である情報と、それ以外の作業機については第2通知情報が存在しない旨の情報と、が含まれていてもよい。すなわち、関連判定部33は、画像データ内に前記植物が含まれていた場合、草刈り機10が選択されている場合には、草刈り可能である情報について第2通知情報であると判定する。このとき、関連判定部33は、草刈り機10以外の、草刈り機能を備えない作業機が選択されている場合は、第2通知情報が存在しないと判定する。
【0073】
なお、関連判定部33は、第1通知情報に含まれている情報のうち、全ての作業機に適用可能な情報については、いずれも草刈り機10に対応する第2通知情報であると判定してよい。
【0074】
関連判定部33は、第1通知情報に第2通知情報が含まれていないと判定した場合(S4でNO)、関連通知情報が存在しないと判定し、続くS5からS8までの処理(AR情報の生成に関する処理)をスキップする。この場合、表示制御部35は、撮像装置12が撮像した画像データをそのまま、AR情報を含まない状態でスマートフォン20のタッチパネル22に表示させてもよい。
【0075】
一方、関連判定部33は、第1通知情報に第2通知情報が含まれていると判定した場合(S4でYES)、さらに、第2通知情報には、作業者の草刈り機10に対する習熟度に対応する情報(第3通知情報)が含まれているか否かを判定する(S5)。第3通知情報とは、例えば、ある地形に対して、草刈り機10について所定の閾値以上の習熟度を有する作業者は通行可能である情報と、該所定の閾値より低い習熟度を有する作業者は通行不可能である情報と、が含まれている第2通知情報である。なお、選択された作業機について、作業者が使用した履歴が存在しない場合には、関連判定部33は、習熟度を最低としてよい。
【0076】
関連判定部33は、第3通知情報が含まれていると判定した場合には(S5でYES)、第2通知情報に含まれる情報のうち、第3通知情報のみが関連通知情報であると判定する。そして、AR生成部34は、関連通知情報を、撮像装置12が撮像した画像データと重畳的に表示させるためのAR情報を生成する生成処理を実行する(S6、生成ステップ)。一方、関連判定部33は、第3通知情報が含まれていないと判定した場合には(S5でNO)、第2通知情報全体が関連通知情報であると判定する。そして、AR生成部34は、関連通知情報を画像データと重畳的に表示させるためのAR情報を生成する生成処理を実行する(S7、生成ステップ)。
【0077】
次に、表示制御部35は、生成されたAR情報を画像データと重ねて、スマートフォン20のタッチパネル22に表示させる表示制御処理を実行する(S8、表示制御ステップ)。このとき、表示制御部35は、図3に示す表示AR2のように、AR情報と関連付けられた地形等の座標に基づいて、該AR情報に含まれる関連通知情報を該地形等の位置の近傍に配置する態様により、AR情報と画像データとを重畳的に表示させてよい。位置取得部32が端末位置情報および端末傾斜情報を取得している場合、表示制御部35は、端末位置情報および端末傾斜情報を用いて、表示するAR情報の位置および向きを調整してもよい。
【0078】
図3は、AR情報をタッチパネル22に表示させた状態の一例を示す模式図である。表示制御部35は、図3に示す表示AR1のように、AR情報に含まれる関連通知情報の内容がテキストである場合、該テキストの向きを画像データに合わせて調整してよい。表示制御部35は、表示されるテキストの内容を、音声としてもスマートフォン20に出力させてもよい。また、表示制御部35は、図3に示す表示AR2のように、関連通知情報が崩落した箇所を示す内容である場合、危険性のある位置を指し示すための矢印と、危険性の内容を表す「崩落」のテキストとをまとめた内容のAR情報を表示させてもよい。これにより、作業者は、崩落箇所が草に隠れている等で見えにくい場合でも、AR情報を確認することで、崩落箇所を避けて通行できる。
【0079】
このような構成によれば、サーバ制御装置31は、作業情報に含まれる通知情報を、AR情報として、画像データと重畳的にスマートフォン20のタッチパネル22に表示させることができる。作業者は、管理領域内の物体および/または地形に関連付けられた関連通知情報を、画像データを見ながら容易に把握できる。
【0080】
また、サーバ制御装置31は、作業機の種類に応じて、AR情報の生成に用いる通知情報の有無を判定できる。さらに、サーバ制御装置31は、作業機における作業者の習熟度によっても、AR情報の生成に用いる通知情報の有無を判定可能である。したがって、スマートフォン20のタッチパネル22を確認する作業者は、使用する作業機ごとに最適なAR情報を確認できる。また、作業者は、作業機に対する習熟度ごとに最適なAR情報を確認できる。
【0081】
次に、位置取得部32は、前回の画像データの取得から、所定の時間が経過したか否かを判定する(S9、位置取得ステップ)。位置取得部32は、所定の時間が経過したと判定した場合(S9でYES)、処理をS1に戻し、草刈り機10に、機器位置取得装置13によって位置情報を取得させる。関連判定部33は、位置取得部32から位置情報を取得するごとに、関連通知情報の有無を判定する。
【0082】
所定の時間は、例えば、1秒またはそれ以下の時間であってよい。このような構成であれば、位置取得部32は、略リアルタイムに位置情報を取得できる。また、所定の時間は、例えば、草刈り機10の移動速度に応じた時間であってもよい。このような構成であれば、位置取得部32は、草刈り機10の移動速度によって、適切な頻度で位置情報を取得できるため、サーバ制御装置31に必要以上の処理負荷がかかることを防止できる。
【0083】
また、位置取得部32は、所定の時間が経過していないと判定した場合(S9でNO)、取得した位置情報から、草刈り機10が、所定の範囲内に入ったか否かを判定する(S10)。位置取得部32は、草刈り機10が所定の範囲内に入ったと判定した場合(S10でYES)、処理をS1に戻し、草刈り機10に、機器位置取得装置13によって位置情報を取得させる。関連判定部33は、位置取得部32から位置情報を取得するごとに、関連通知情報の有無を判定する。
【0084】
所定の範囲は、例えば、スマートフォン20の位置から3メートル以内の範囲であってよい。この場合、位置取得部32は、草刈り機10の位置が、作業者が保持するスマートフォン20の位置に接近した場合に、位置情報を取得できる。このとき、AR生成部34は、関連通知情報に加えて、草刈り機10と作業者とが接近したことを示す情報を含むAR情報を生成してよい。このような構成によれば、サーバ制御装置31は、草刈り機10と作業者との接近をトリガとして、AR情報の表示を更新できる。したがって、作業者は、草刈り機10が接近している旨の通知または警告を、タッチパネル22により確認できる。
【0085】
また、作業情報に、特定の物体および/または地形が危険箇所であることを示す通知情報が含まれている場合、所定の範囲は、例えば、該物体および/または地形から3メートル以内の範囲であってよい。この場合、位置取得部32は、草刈り機10の位置が危険箇所に接近した場合に、位置情報を取得する。このとき、AR生成部34は、関連通知情報に加えて、危険箇所に接近したことを示す情報を含むAR情報を生成してよい。このような構成によれば、サーバ制御装置31は、草刈り機10が危険箇所に接近したことをトリガとして、AR情報の表示を更新できる。したがって、作業者は、草刈り機10が危険箇所に接近している旨の通知または警告を、タッチパネル22により確認できる。
【0086】
位置取得部32が、草刈り機10が所定の範囲内に入っていないと判定した場合(S10でNO)、サーバ制御装置31は、処理を終了してもよいし、処理をS9に戻すことで、所定の時間が経過するか、草刈り機10が所定の範囲内に入るまで待機してもよい。
【0087】
(傾斜マップおよび曲率マップの更新)
サーバ制御装置31が作業情報を生成または更新する場合、草刈り機10は、GNSSから電波を受信し、自機の位置を特定する。草刈り機10は、作業が終了すると作業ログをサーバ30に送信する。ここでは、管理領域は、所定のグリッドで分けられた複数の区画(エリア)で構成されている例を示す。P(i-1)~P(i-3)は、草刈り機10が通過した区画である。P(i+1)は、草刈り機10が次に移動予定の区画である。
【0088】
図4は、サーバ制御装置31による傾斜マップおよび曲率マップの更新処理の一例を示すフロー図である。サーバ制御装置31は、管理領域に関する草刈り機10の作業ログに基づいて、管理領域についての草刈り機10の走行実績データを作成する。草刈り機10の機種毎に走行可能な傾斜角度等は異なるため、走行実績データは、草刈り機10の機種毎に異なる。走行実績データおよび各パラメータ(Pini、Pter、θmax、κmax、gi)は、サーバ記憶装置38に記憶され、必要に応じてサーバ制御装置31に呼び出される。以下に用いるパラメータの定義を記載する。
Pini:草刈り機10が動作開始した開始地点の区画。
Pi:草刈り機10が移動したi個目の区画。
Pter:作業が終了して草刈り機10が停止した区画。
θi:Piの傾斜角度(°)。
θmax:草刈り機10が走行可能な最大傾斜角(°)。
κi:Piの曲率(凸地形では正、凹地形では負)。
κmax:草刈り機10が走行可能な、最大曲率(走行可能な曲率の絶対値の最大値)。
gi:Piの土地被覆情報(Piの植生またはPiに存在する地上物)。
【0089】
例えば、θmaxおよびκmaxの初期値として、草刈り機10の仕様に基づいた値が設定されていてもよいし、仕様より高い値が設定されていてもよい。以下に走行実績データの定義を記載する。
SS:走行できたθiのリスト。
SC:走行できたκiのリスト。
SG:走行および作業できたgiのリスト。
FS:走行できなかったθiのリスト。
FC:走行できなかったκiのリスト。
FO:走行できなかったPiのリスト。
FG:走行または作業できなかったgiのリスト。
【0090】
サーバ制御装置31は、例えば、スマートフォン20からの指示または草刈り機10からの要求に応じて、傾斜マップおよび曲率マップの更新処理を開始する。特定部42は、草刈り機10から作業ログを取得する(S31)。特定部42は、作業ログから、作業を開始した開始地点の区画Piniを特定する。特定部42は、Piniをサーバ記憶装置38に記憶させる(S32)。特定部42は、作業ログから区画Piの傾斜角度θi、および曲率κiを特定する(S33)。
【0091】
移動判定部43は、作業ログに基づき、草刈り機10がi個目の区画Piを正常に走行できたか否かを判定する(S34)。例えば、移動判定部43は、作業ログの移動指示から次に移動予定の区画P(i+1)を特定する。移動判定部43は、草刈り機10が、移動指示が示す方向に移動し、かつ区画Piから区画P(i+1)に移動したと作業ログから判定すると、草刈り機10が区画Piを正常に走行できたと判定する。一方、移動判定部43は、草刈り機10が、移動指示が示す方向に移動しなかった、または区画Piから区画P(i+1)に移動しなかったと作業ログから判定すると、草刈り機10が区画Piを正常に走行できなかったと判定する。
【0092】
草刈り機10が区画Piを正常に走行できたと判定された場合(S34でYes)、更新部44は、走行実績データSSにθiを追記し、走行実績データSCにκiを追記する(S35)。更新部44は、走行実績データSSに含まれる複数の傾斜角度のうち、最大の傾斜角度をθmaxとすることで、θmaxを更新する(S36)。更新部44は、走行実績データSCに含まれる複数の曲率のうち、最大の曲率をκmaxとすることで、κmaxを更新する。
【0093】
更新部44は、傾斜マップにおけるPiの傾斜角度をθi(外部取得傾斜角度)で上書きすることにより、傾斜マップを更新する(S37)。更新部44は、曲率マップにおけるPiの曲率をκi(外部取得曲率)で上書きすることにより、曲率マップを更新する。Piに関する処理は終わり、iがインクリメントされて処理はS33に戻る。
【0094】
草刈り機10が区画Piを正常に走行できなかったと判定された場合(S34でNo)、移動判定部43は、サーバ記憶装置38が記憶するイベントログにPiを追記する(S40)。イベントログは、草刈り機10が正常に走行できなかったイベントを示す記録である。
【0095】
移動判定部43は、作業ログに基づき、草刈り機10が予定方向(移動指示が示す方向)ではない方向に移動したか否かを判定する(S41)。例えば、移動判定部43は、草刈り機10が、移動方向の変化(転回角)が草刈り機10の最大転回角より大きかったと作業ログから判定すると、草刈り機10が予定方向ではない方向に移動したと判定してよい。
【0096】
草刈り機10が予定方向ではない方向に移動したと判定された場合(S41でYes)、更新部は、区画Piの傾斜角度θiがθmaxより大きいか否かを判定する(S42)。
【0097】
θiがθmaxより大きい場合(S42でYes)、更新部44は、走行実績データFSにθiを追記する(S43)。この場合、区画Piの傾斜角度θiが草刈り機10の走行可能な最大傾斜角度θmaxを超えていたため、草刈り機10が斜面を滑ったと考えられる。更新部44は、傾斜マップおよび曲率マップにおけるPiの傾斜角度および曲率をθiおよびκiで上書きすることにより、傾斜マップおよび曲率マップを更新する(S37)。
【0098】
θiがθmax以下である場合(S42でNo)、更新部44は、走行実績データFOにPiを追記する(S44)。また、更新部44は、走行実績データFSにθiを追記する。この場合、区画Piの傾斜は草刈り機10が走行可能な最大傾斜角度以下であるが、何らかの要因により草刈り機10は滑った(意図しない方向に移動した)と考えられる。更新部44は、θmaxを下方修正することで、θmaxを更新する(S45)。更新部44は、傾斜マップおよび曲率マップにおけるPiの傾斜角度および曲率をθiおよびκiで上書きすることにより、傾斜マップおよび曲率マップを更新する(S37)。
【0099】
草刈り機10が予定方向ではない方向に移動していないと判定された場合(S41でNo)、移動判定部43は、草刈り機10が所定位置以外の場所で停止したか否かを判定する(S49)。所定位置での停止は、正常な停止である。所定位置は、例えば、開始地点Pini、休憩のための停止位置、給油のための停止位置、または道路からの出入口を含む。
【0100】
草刈り機10が所定位置以外の場所で停止したと判定された場合(S49でYes)、移動判定部43は、所定回数以下の再始動で草刈り機10が作業に復帰したか否かを判定する(S50)。例えば、傾斜角度がθmax以下または曲率の絶対値がκmax以下であっても、傾斜角度が所定値(例えばθmax-10°)より大きい区域では、草刈り機10の燃料またはオイルの液面が傾く。そのため、タンク内の水位計のエラー等により草刈り機10の安全装置が作動し、草刈り機10が停止(エンジンが停止)する場合がある。この場合でも、所定回数以下のユーザによる再始動または草刈り機10の自動再始動によって作業に復帰できる場合がある。
【0101】
所定回数以下の再始動で草刈り機10が作業に復帰したと判定された場合(S50でYes)、移動判定部43は、当該区域Piを作業可能な区域と判定する。Piに関する処理が終わり、iがインクリメントされ、特定部42は再びS33の処理を行う。
【0102】
所定回数以下の再始動で草刈り機10が作業に復帰しなかったと判定された場合(S50でNo)、移動判定部43は、区画Piの曲率の絶対値|κi|がκmaxより大きいか否かを判定する(S51)。
【0103】
|κi|がκmaxより大きい場合(S51でYes)、更新部44は、走行実績データFCにκiを追記する(S52)。この場合、区画Piの曲率の絶対値|κi|が草刈り機10の走行可能な最大曲率κmaxを超えていたため、草刈り機10が停止した(スタックした)と考えられる。更新部44は、傾斜マップおよび曲率マップにおけるPiの傾斜角度および曲率をθiおよびκiで上書きすることにより、傾斜マップおよび曲率マップを更新する(S37)。
【0104】
|κi|がκmax以下である場合(S51でNo)、移動判定部43は、区画Piの土地被覆情報giが作業可能な被覆を示すか否かを判定する(S53)。移動判定部43は、走行実績データSGにgiが含まれている場合、giは作業可能な被覆であると判定する。
【0105】
区画Piの土地被覆情報giが作業可能な被覆を示すと判定された場合(S53でYes)、更新部44は、走行実績データFOにPiを追記する(S54)。この場合、傾斜角度、曲率、および土地被覆以外の要因により草刈り機10が停止したと考えられる。Piに関する処理は終わり、iがインクリメントされて処理はS33に戻る。
【0106】
区画Piの土地被覆情報giが作業可能な被覆を示さないと判定された場合(S53でNo)、更新部44は、走行実績データFGにgiを追記する(S55)。この場合、土地被覆の要因により草刈り機10が停止したと考えられる。
【0107】
更新部44は、撮影された区画Piの画像データを画像分類モデルの入力として、giを画像分類モデルの出力(ラベル)として、学習済の画像分類モデルに再学習させてもよい(S56)。Piに関する処理は終わり、iがインクリメントされて処理はS33に戻る。
【0108】
草刈り機10が所定位置以外の場所で停止しなかったと判定された場合(S49でNo)、更新部44は、草刈り機10の作業が正常に終了したと判定する(S60)。サーバ制御装置31は、更新された傾斜マップおよび曲率マップをサーバ記憶装置38に記憶させる。サーバ制御装置31は、傾斜マップおよび曲率マップの更新処理を終了する。
【0109】
(評価情報の更新)
図5は、サーバ制御装置31の評価情報の更新および評価表示マップの生成処理の一例を示すフロー図である。サーバ制御装置31は、傾斜マップおよび曲率マップに基づいて、管理領域についての評価情報、評価マップ、および評価表示マップを生成する。
【0110】
サーバ制御装置31は、例えば、スマートフォン20からの指示または草刈り機10からの要求に応じて、管理領域についての評価情報の生成処理を開始する。評価部45は、管理領域における、草刈り機10が作業可能な領域を特定する(S71)。評価部45は、例えば、傾斜マップにおける傾斜角度がθmaxより大きい区域を、作業不可能な領域に分類する。評価部45は、例えば、曲率マップにおける曲率の絶対値がκmaxより大きい区域を、作業不可能な領域に分類する。また、評価部45は、傾斜角度および曲率がそれぞれθmaxおよびκmax以下であっても、作業不可能な区域(圃場を含む)に囲まれた区域を作業不可能な領域に分類する。草刈り機10は該区域に到達できないためである。
【0111】
評価部45は、複数の区域を含む管理領域のうちの作業可能な領域の面積を特定する。評価部45は、管理領域(畦畔)の面積を特定する。評価部45は、作業可能な領域の面積Awを管理領域(畦畔)の面積Atで除すことにより、管理領域の第1スコア(作業可能面積率Aw/At)を特定(算出)する(S72)。第1スコアが高いほど、草刈り機10を管理領域に適用する際の作業効率が高いと言える。
【0112】
評価部45は、管理領域のリスクスコアを特定する(S73)。評価部45は、例えば、滑落リスク値とスタックリスク値との和を、リスクスコアとする。リスクスコアは、作業可能な領域で、滑落またはスタック等により作業ができない可能性の高さを数値で示すものである。
【0113】
例えば、傾斜角度がθmax以下であっても、傾斜角度が所定値より大きい区域では、草刈り機10を操縦する作業者の習熟度(技量)によっては草刈り機10が滑落する可能性がある。評価部45は、α×Am/Awを滑落リスク値として特定する。ここで、Amは傾斜角度が所定値(例えばθmax-10°)より大きくθmax以下の区域の合計面積を示す。αは、作業者の習熟度に応じて決まる重みづけ係数であり、習熟度が高いほどαは小さい。αは、作業者によってあらかじめ選択されてもよいし、作業者のこれまでの作業履歴から設定されてもよい。
【0114】
例えば、凹凸性指標が所定値より高い大きい区域では、草刈り機10を操縦する作業者の習熟度によっては草刈り機10が凹凸でスタックする可能性がある。評価部45は、β×Aκ/Awをスタックリスク値として特定する。ここで、Aκは凹凸性指標の絶対値が所定値(例えば0.7)以上である区域の合計面積を示す。βは、作業者の習熟度に応じて決まる重みづけ係数であり、習熟度が高いほどβは小さい。βは、作業者によってあらかじめ選択されてもよいし、作業者のこれまでの作業履歴から設定されてもよい。区域Piの凹凸性指標は、当該区域Piの周囲の所定半径内に含まれるNt個の区域について、正の曲率を有する(凸状の)区域の数Naから負の曲率を有する(凹状の)区域の数Nbを減じた値を、Ntで除した値である。凹凸性指標=(Na-Nb)/Nt、である。凹凸性指標は-1から1の間の値を取り得る。凹凸性指標が-1である場合、区域Piの周辺は著しい凹状である。凹凸性指標が1である場合、区域Piの周辺は著しい凸状である。凹凸性指標が0に近い場合、区域Piの周辺は凹凸が少ない。
【0115】
評価部45は、第1スコアからリスクスコアを減じて、所定の係数(ここでは100)を乗じることにより、管理領域の第2スコアを特定(算出)する(S74)。第2スコアは、適性指標であり、管理領域に対し草刈り機10を適切に使用可能か(草刈り機10が管理領域で作業できる可能性が高いか低いか)、を示す指標である。第2スコアが高いほど、草刈り機10を管理領域に適切に適用することができるといえる。
【0116】
評価部45は、管理領域の第1スコアおよび第2スコアが既にサーバ記憶装置38に記憶されていれば、サーバ記憶装置38から第1スコア(第1評価情報)および第2スコア(第1評価情報)を取得し、新しい第1スコアおよび第2スコアに更新する(S75)。評価部45は、管理領域に対応付けて更新された第1スコアおよび第2スコアをサーバ記憶装置38に記憶させる。複数の管理領域が存在する場合、評価部45は、各管理領域に対して第1スコアおよび第2スコアの更新処理を行う。サーバ制御装置31は、評価情報の更新処理を終了する。
【0117】
〔変形例〕
本発明の一実施形態に係る表示システム1には、様々な変形例が想定される。図6に示すように、例えば、表示システム1を構成する表示装置は、スマートフォン20ではなく、スマートグラス20aであってもよい。この場合、表示システム1は、作業者による操作用にスマートフォン20を備えていてもよい。この場合、スマートフォン20およびスマートグラス20aの表示画面には、それぞれ略同一の画像データおよびAR情報が表示されてもよい。すなわち、スマートフォン20およびスマートグラス20aは、いずれも表示システム1を構成する表示装置として機能し得る。
【0118】
図6に示すように、サーバ制御装置31は、図2に示す例と同様に、表示AR1および表示AR2を画像データと重畳的に、スマートグラス20aの表示画面22aに表示させる。このとき、表示制御部35は、タッチパネル22に表示させる表示AR1および表示AR2とは異なり、表示画面22aに表示させる表示AR1および表示AR2については、テキストを吹き出し内に含める態様により表示させてもよい。このように、表示制御部35は、表示システム1を構成する表示装置によって、それぞれ最適な態様によりAR情報を表示させてよい。
【0119】
また、別の例としては、表示システム1は、作業情報に含まれる通知情報以外の情報についても、AR情報として、表示システム1を構成する表示装置に表示させてもよい。図7に示すように、スマートグラス20aの表示画面22aに表示させるAR情報としては、以下に示す表示AR11~AR17が含まれていてもよい。
AR11:危険箇所を示すAR情報、
AR12:進行方向と進行先の区画ごとの危険性とを示すAR情報、
AR13:傾斜箇所の地形をフレームとして示すAR情報、
AR14:切り返し箇所までの距離と危険箇所接近警告とを示すAR情報、
AR15:傾斜箇所の法面と天端との境界ガイド線を示すAR情報、
AR16:作業を行う管理領域の傾斜表示マップを示すAR情報、
AR17:草刈り機10の燃料および電池残量を示すAR情報、
AR18:作業時の天気、作業経過時間および接近者の有無等を示すAR情報。
【0120】
この中で、表示AR11~AR16は、関連通知情報から生成されるAR情報の例である。なお、表示AR16が示す傾斜表示マップは、例えば、マップ生成部46によって、管理領域を示す画像データに、傾斜マップを対応付けることで生成されるものであってよい。
【0121】
一方、表示AR17および表示AR18は、関連通知情報の有無を問わず生成されるAR情報の例である。このように、AR生成部34は、表示AR16および表示AR17に示される情報のように、関連通知情報以外の情報についても、生成するAR情報に含めてもよい。表示AR16を生成するための情報は、サーバ制御装置31が草刈り機10から取得してよい。また、表示AR17を生成するための情報は、サーバ制御装置31が、サーバ通信装置39を介してインターネット上のクラウドサーバ等から取得してよい。このような構成によれば、表示システム1は、管理領域についての作業情報に含まれない情報についても、作業者にとって有用な情報については、表示装置にAR情報として表示できる。
【0122】
また、図7において、AR情報は以下(1)から(4)のそれぞれを含む画像が4層となり、重畳的に表示されている。すなわち、(1)撮像装置12が撮像した画像データ。(2)AR12を含む、草刈り機10と、スマートグラス20aとの相対位置に基づいて、表示制御部35が、表示画面22a内の表示位置を制御するAR情報。(3)AR13を含む、作業者が操作するスマートグラス20aの操作端末と、スマートグラス20aとの相対位置に基づいて、表示制御部35が、表示画面22a内の表示位置を制御するAR情報。(4)AR16~AR18を含む、表示制御部35が、表示画面22a内の表示位置を常に固定して表示させるAR情報。このように、表示制御部35は、AR情報に含まれる関連通知情報の内容によってそれぞれ、表示画面22a内の表示位置等を調整した画像を生成し、それらを重畳的に、表示画面22aに表示させてもよい。
【0123】
〔ソフトウェアによる実現例〕
サーバ制御装置31の制御ブロック(特に位置取得部32、関連判定部33およびAR生成部34)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0124】
後者の場合、サーバ制御装置31は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0125】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0126】
1 表示システム
10 草刈り機(移動機器)
12 撮像装置
15 機器位置取得装置(位置取得装置)
20 スマートフォン(表示装置)
20a スマートグラス(表示装置)
22 タッチパネル(表示画面)
22a 表示画面
30 サーバ
31 サーバ制御装置(制御装置)
32 位置取得部
33 関連判定部(判定部)
34 AR生成部(生成部)
35 表示制御部
図1
図2
図3
図4
図5
図6
図7