特開 2024-168555 作業支援システム、作業支援方法及び作業支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168555

(43)【公開日】2024-12-05

(54)【発明の名称】作業支援システム、作業支援方法及び作業支援プログラム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20241128BHJP

【ＦＩ】

E02F9/26 A

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023085339

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】上條 宏明

【テーマコード（参考）】

2D015

【Ｆターム（参考）】

2D015HA03

2D015HB05

(57)【要約】

【課題】建設機械を用いた作業を支援するための作業支援システム、作業支援方法及び作業支援プログラムを提供する。
【解決手段】作業支援システムＡ１は、バケット１０ｆを備えた建設機械１０に接続された操作支援装置２０を備える。そして、操作支援装置２０は、建設機械１０から作業領域を撮影した画像を取得し、バケット１０ｆから作業領域までの距離を算出し、バケット１０ｆが作業領域に当接する位置に、距離に応じたサイズのガイド画像を画像に重畳して出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業工具を備えた建設機械に接続された制御部を備えた作業支援システムであって、
前記制御部が、
前記建設機械から作業領域を撮影した画像を取得し、
前記作業工具から前記作業領域までの距離を算出し、
前記作業工具が前記作業領域に当接する位置に、前記距離に応じたサイズのガイド画像を前記画像に重畳して出力することを特徴とする作業支援システム。

【請求項2】

作業工具を備えた建設機械に接続された制御部を備えた作業支援システムを用いて、作業支援を行なう方法であって、
前記制御部が、
前記建設機械から作業領域を撮影した画像を取得し、
前記作業工具から前記作業領域までの距離を算出し、
前記作業工具が前記作業領域に当接する位置に、前記距離に応じたサイズのガイド画像を前記画像に重畳して出力することを特徴とする作業支援方法。

【請求項3】

作業工具を備えた建設機械に接続された制御部を備えた作業支援システムを用いて、作業支援を行なうプログラムであって、
前記制御部を、
前記建設機械から作業領域を撮影した画像を取得し、
前記作業工具から前記作業領域までの距離を算出し、
前記作業工具が前記作業領域に当接する位置に、前記距離に応じたサイズのガイド画像を前記画像に重畳して出力する手段として機能させることを特徴とする作業支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設機械を用いた作業を支援する作業支援システム、作業支援方法及び作業支援プログラムに関する。

【背景技術】

【0002】

建設機械を用いた作業を、遠隔操作により行なうことがある。この場合、建設機械のオペレータは、画面を見ながら操縦を行なう。建設機械の遠隔操作時は、カメラを用いて作業場の画像を取得するとともに、遠隔地で操作するオペレータ前のモニタに表示する。この場合、作業を支援するための情報をオペレータに提示する技術も検討されている（例えば、特許文献１参照。）。この文献に記載された技術では、撮像画像取得部は、作業機械に設けられたカメラから、作業機が写る撮像画像を取得する。刃先影生成部は、作業機の刃先を投影面に鉛直方向に向けて投影した刃先影を生成する。表示画像生成部は、撮像画像と、刃先影と、刃先の到達可能な範囲を投影面に鉛直方向に向けて投影した基準範囲図形とを重畳した表示画像を生成する。表示制御部は、表示画像を表示するための表示信号を出力する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－５５８０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術で、オペレータは基準範囲図形を確認できるが、刃先の３次元的な位置の認識が難しい。特に、遠隔操作に習熟したオペレータの確保が困難の場合、効率的な作業を実現することができない。

【課題を解決するための手段】

【0005】

上記課題を解決するための作業支援システムは、作業工具を備えた建設機械に接続された制御部を備える。そして、前記制御部が、前記建設機械から作業領域を撮影した画像を取得し、前記作業工具から前記作業領域までの距離を算出し、前記作業工具が前記作業領域に当接する位置に、前記距離に応じたサイズのガイド画像を前記画像に重畳して出力する。

【発明の効果】

【0006】

本開示によれば、建設機械を用いた作業を支援することができる。

【図面の簡単な説明】

【0007】

【図1】実施形態の作業支援システムの説明図である。

【図2】実施形態のハードウェア構成の説明図である。

【図3】実施形態の作業支援システムの機能の説明図である。

【図4】実施形態の処理手順の説明図である。

【図5】実施形態の処理手順の説明図である。

【図6】実施形態の処理手順の説明図である。

【図7】実施形態の処理手順の説明図であり、（ａ）はバケットが高い位置にある場合、（ｂ）はバケットが低い位置にある場合の説明図。

【図8】実施形態の表示画面の説明図であり、（ａ）はバケットが高い位置にある場合、（ｂ）はバケットが低い位置にある場合の説明図。

【発明を実施するための形態】

【0008】

以下、図１～図８を用いて、作業支援システム、作業支援方法及び作業支援プログラムを具体化した一実施形態を説明する。
図１に示すように、作業支援システムＡ１は、建設機械１０、遠隔操作装置１５、操作支援装置２０を用いる。本実施形態では、建設機械１０としてバックホーを想定する。

【0009】

（建設機械の構成）
建設機械１０は、制御装置１０ａ、走行部１０ｂ、旋回部１０ｃ、ブーム１０ｄ、アーム１０ｅ、バケット１０ｆを備える。ブーム１０ｄの基端部は、旋回部１０ｃにピン接合により取り付けられる。アーム１０ｅの基端部は、ブーム１０ｄの先端部にピン接合により取り付けられる。アーム１０ｅの先端部には、バケット１０ｆの基端部がピン接合により取り付けられる。これにより、アーム１０ｅは、ブーム１０ｄとバケット１０ｆとを連結する。バケット１０ｆは、作業工具として機能し、土砂などを掘削するための刃先と掘削した土砂を収容するための容器とを備える。

【0010】

制御装置１０ａは、オペレータによって入力された操作情報を遠隔操作装置１５から取得し、走行部１０ｂ、旋回部１０ｃ、ブーム１０ｄ、アーム１０ｅ、バケット１０ｆを制御する。ブーム１０ｄ、アーム１０ｅ、バケット１０ｆは、油圧シリンダにより、姿勢を変更することができる。更に、制御装置１０ａは、ブーム１０ｄ、アーム１０ｅ、バケット１０ｆの状態情報を取得し、操作支援装置２０に送信する。
走行部１０ｂは、無限軌道等により、建設機械１０を走行移動させる。

【0011】

建設機械１０は、カメラ１１、距離計測器１２、センサ１３を備える。カメラ１１、距離計測器１２は、旋回部１０ｃにおいて、作業工具（バケット１０ｆ）を臨む位置に固定される。そして、カメラ１１は、バケット１０ｆを用いた掘削領域（作業領域）をカラー画像により撮影する。距離計測器１２としては、ＬＩＤＡＲ（Light Detection And Ranging）装置を用いる。この距離計測器１２は、建設機械１０の前面を、レーザ光でスキャンすることにより、建設機械１０を用いた作業領域形状を特定する。本実施形態では、バケット１０ｆで掘削する領域について、不陸等の地表面形状をスキャンする。また、センサ１３は、角度を検出することにより、ブーム１０ｄ、アーム１０ｅ、バケット１０ｆの状態（回転角度）を特定する。

【0012】

また、遠隔操作装置１５は、建設機械１０を操作するオペレータが利用するコンピュータ装置である。本実施形態では、遠隔操作装置１５は、建設機械１０にネットワークで接続されており、遠隔地（リモート）で建設機械１０を操作する場合を想定する。
本実施形態では、遠隔操作装置１５を用いる場合、外付けされた操作支援装置２０を利用する。操作支援装置２０の詳細は後述する。

【0013】

（ハードウェア構成の説明）
図２を用いて、建設機械１０、遠隔操作装置１５、操作支援装置２０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶部Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。

【0014】

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。

【0015】

入力装置Ｈ１２は、各種情報の入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイ等である。
記憶部Ｈ１４は、建設機械１０、遠隔操作装置１５、操作支援装置２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶部Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

【0016】

プロセッサＨ１５は、記憶部Ｈ１４に記憶されるプログラムやデータを用いて、建設機械１０、遠隔操作装置１５、操作支援装置２０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各処理のための各種プロセスを実行する。

【0017】

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、以下で構成し得る。

【0018】

〔１〕コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ
〔２〕各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは
〔３〕それらの組み合わせ、を含む回路（circuitry）
プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリ、すなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

【0019】

（作業支援システム）
図３を用いて、作業支援システムの機能を説明する。
操作支援装置２０は、建設機械１０と通信を行なう制御部２１を備える。

【0020】

制御部２１は、作業支援プログラムを実行することにより、情報取得部２１１、画像生成部２１２として機能する。
情報取得部２１１は、建設機械１０から各種作業情報を取得する。本実施形態では、作業情報として、建設機械１０のブーム１０ｄ、アーム１０ｅ、バケット１０ｆの状態（回転角度）情報、撮影画像、作業領域の形状情報を取得する。

【0021】

画像生成部２１２は、取得した情報に基づいて、オペレータの操作を支援するガイダンス情報（ガイド画像）を生成して出力する。ここでは、画像生成部２１２は、作業領域と作業工具との距離に応じて、ガイド画像の表示形態を変更する。

【0022】

（作業支援処理）
次に、図４、図５を用いて、作業支援処理を説明する。
まず、操作支援装置２０の制御部２１は、初期設定処理を実行する（ステップＳ１１）。具体的には、建設機械１０に、カメラ１１、距離計測器１２を設置する。上述したように、カメラ１１、距離計測器１２は、作業領域としての掘削領域を臨めるように、建設機械１０の旋回部１０ｃの前面側に固定する。

【0023】

図５に示すように、固定されたカメラ１１の位置と、センサ１３からブーム１０ｄ、アーム１０ｅ、バケット１０ｆの状態（回転角度）とから、撮影画像におけるバケット１０ｆの刃先位置を特定することができる。
また、被写体（例えば、バケット１０ｆ）までの距離が離れると、撮影画像において被写体を表わす画素数は少なくなる。そこで、建設機械１０の旋回部１０ｃの正面に、旋回部１０ｃから所定距離を離した位置に、長さが既知の基準長さの基準器Ｍ１を配置する。

【0024】

そして、操作支援装置２０の制御部２１において、初期設定モードにする。この初期設定モードでは、制御部２１の情報取得部２１１は、基準器Ｍ１をカメラ１１で撮影した撮影画像を取得する。次に、画像生成部２１２は、撮影画像において、基準器Ｍ１が写っている画素数を算出する。次に、画像生成部２１２は、撮影画像における長さを表わす画素数に変換する変換関数を生成する。そして、画像生成部２１２は、生成した変換関数をメモリに記憶する。なお、変換関数を、画像を用いた人手作業で作成して、メモリに記憶させてもよい。

【0025】

次に、作業時には、操作支援装置２０の制御部２１は、作業情報の取得処理を実行する（ステップＳ１２）。具体的には、制御部２１の情報取得部２１１は、制御装置１０ａから、建設機械１０のブーム１０ｄ、アーム１０ｅ、バケット１０ｆの状態情報（回転角度）を取得する。この状態情報により、撮影画像において、バケット１０ｆの位置を特定することができる。また、情報取得部２１１は、カメラ１１、距離計測器１２から、それぞれ撮影画像、掘削領域の形状情報を取得する。

【0026】

次に、操作支援装置２０の制御部２１は、高さの算出処理を実行する（ステップＳ１３）。本実施形態では、刃先位置の直下の場所を、バケット１０ｆが当接する作業領域として特定する。そして、刃先（作業工具）から作業領域までの距離を高さとして算出する。そこで、制御部２１の画像生成部２１２は、ブーム１０ｄ、アーム１０ｅ、バケット１０ｆの状態情報から、バケット１０ｆの刃先位置を算出する。

【0027】

ここでは、図６に示すように、建設機械１０が接地された水平面を基準面Ｐ１とする。そして、刃先位置としては、基準面からの高さｈ１と、旋回部１０ｃ前面からの水平距離ｄ１とを算出する。更に、画像生成部２１２は、距離計測器１２から取得した形状情報に基づいて、作業領域における地表の形状ＳＨ１を特定する。次に、画像生成部２１２は、形状ＳＨ１において、バケット１０ｆの刃先がある水平距離ｄ１における地表の高さｈ２を特定する。
そして、画像生成部２１２は、高さｈ１と高さｈ２との差分に基づいて、高さｈ３を算出する。

【0028】

次に、操作支援装置２０の制御部２１は、ガイド画像の表示処理を実行する（ステップＳ１４）。具体的には、制御部２１の画像生成部２１２は、水平距離ｄ１に応じて、バケット１０ｆの刃先に応じた横棒状のガイド画像を生成する。この場合、画像生成部２１２は、水平距離ｄ１に応じて、変換関数を用いて、バケット１０ｆの刃先が作業領域に当接した時のガイド画像の基準長Ｌ０を決定する。次に、画像生成部２１２は、高さｈ３に応じて、ガイド長Ｌｘを変更する。ここでは、高さｈ３＝０の場合に、単調に増加或いは減少して、ガイド長Ｌｘが基準長Ｌ０になる調整関数ｆ（ｈ３）を用いる。

【0029】

図７（ａ）に示すように、地表からの高さｈ３１の場合には、ガイド画像Ｇ１のガイド長Ｌｘは長さＬ１となる。
一方、図７（ｂ）に示すように、高さｈ３１よりも低い高さｈ３２の場合には、ガイド画像Ｇ１のガイド長Ｌｘは単調減少して長さＬ２（＜Ｌ１）となる。これにより、ガイド画像の表示形態として長さを変更する。

【0030】

そして、画像生成部２１２は、撮影画像を表示装置Ｈ１３に表示するモニタ画像において、バケット１０ｆの刃先の下方で、バケット１０ｆが当接する作業領域にガイド画像を生成して、重畳させる。具体的には、ガイド画像は、バケット１０ｆの下方で高さｈ３に対応する画素数の位置に、ガイド長Ｌｘに対応する画素数で生成する。

【0031】

図８（ａ）に示すように、モニタ画像５００において、バケット１０ｆの下方にガイド画像Ｇ１が表示される。
そして、図８（ｂ）に示すように、モニタ画像５１０において、バケット１０ｆが地表に近づくと、ガイド画像Ｇ１は短くなる。この場合、バケット１０ｆが作業領域に当接すると、ガイド画像Ｇ１はバケット１０ｆの刃先の横幅と同じ長さに収束する。

【0032】

（作用）
本実施形態によれば、モニタ画像に、バケット１０ｆの高さに応じて長さが変化するガイド画像Ｇ１が表示されるので、オペレータはバケット１０ｆの当接位置との距離を容易に把握できる。

【0033】

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、操作支援装置２０の制御部２１は、初期設定処理を実行する（ステップＳ１１）。カメラ１１の配置位置によって、カメラ１１によって撮影された画像が異なる。初期設定を行なうことにより、ガイド画像Ｇ１を生成するための変換関数を算出することができる。

【0034】

（２）本実施形態では、操作支援装置２０の制御部２１は、作業情報の取得処理を実行する（ステップＳ１２）。これにより、モニタ画像を確認しながら、遠隔地で建設機械１０の操作を行なうことができる。

【0035】

（３）本実施形態では、操作支援装置２０の制御部２１は、高さの算出処理を実行する（ステップＳ１３）。これにより、建設機械１０のバケット１０ｆの刃先位置を特定することができる。

【0036】

（４）本実施形態では、操作支援装置２０の制御部２１は、ガイド画像の表示処理を実行する（ステップＳ１４）。これにより、オペレータはバケット１０ｆの当接位置までの距離を容易に把握できる。例えば、建設機械１０のバケット１０ｆの操作時に、掘削箇所とバケット１０ｆの相対的な位置関係をオペレータが容易に認識することができる。そして、オペレータによって、入力装置Ｈ１２に入力された操作情報を、遠隔操作装置１５を介して、建設機械１０の制御装置１０ａに指示できる。その結果、生産性および安全性を向上させることができる。

【0037】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、操作支援装置２０を用いる。ハードウェア構成は、これに限定されるものではない。例えば、サーバ・クライアント構成により、オペレータ端末を別に設けてもよい。また、クラウドコンピューティングにより、操作支援装置２０を構成してもよい。また、遠隔操作装置１５を用いる場合、外付けされた操作支援装置２０を利用する。このため、遠隔操作装置１５と操作支援装置２０とを分けて構成したが、一体で構成してもよい。
・上記実施形態では、センサ１３が、ブーム１０ｄ、アーム１０ｅ、バケット１０ｆの状態（回転角度）を検知する。バケット１０ｆの位置を特定できれば、センサ１３を用いる場合に限定されない。ブーム１０ｄ、アーム１０ｅ、バケット１０ｆの駆動装置（油圧シリンダ等）から取得した情報を用いてもよい。

【0038】

・上記実施形態では、建設機械１０としてバックホーを想定するが、建設機械１０はバックホーに限定されるものではない。アームに対して作業工具を備えた建設機械１０に適用することができる。例えば、解体用建設機械（ニブラ）や揚重機械（クレーン）等に用いることができる。この場合には、各建設機械１０の作業工具の動きに応じて作業領域を特定し、この作業領域に、作業工具との距離に応じた大きさのガイド画像を表示する。

【0039】

・上記実施形態では、操作支援装置２０の制御部２１は、初期設定処理を実行する（ステップＳ１１）。この場合、所定位置に、基準長さの基準器Ｍ１を配置する。長さが既知であれば、基準器Ｍ１を用いなくてもよい。例えば、工具の大きさ（例えば、バケット１０ｆの横幅）を基準長さとして用いてもよい。この場合には、ブーム１０ｄ、アーム１０ｅを操作して、所定距離にバケット１０ｆを配置し、このバケット１０ｆを撮影した画像を用いる。

【0040】

・上記実施形態では、距離計測器１２として、ＬＩＤＡＲ（Light Detection And Ranging）装置を用いる。作業領域の形状を特定できれば、ＬＩＤＡＲ装置に限定されるものではない。

【0041】

・上記実施形態では、水平面である基準面Ｐ１に配置された建設機械１０を想定した。例えば、傾斜面において作業を行なう場合を想定してもよい。この場合は、建設機械１０に、旋回部１０ｃの傾斜角度を計測する傾斜計を設ける。そして、この傾斜角度を考慮して、高さを算出する。

【0042】

・上記実施形態では、バケット１０ｆが高い位置にある場合には長いガイド画像Ｇ１を表示し、作業領域に当接した場合に、バケット１０ｆの刃先の横幅と同じ長さに収束させる。ガイド画像Ｇ１の表示方法は、これに限定されるものではない。例えば、設置面から距離が離れている場合には、短かいガイド画像を表示して、近づくにつれて刃先の横幅に対応する長さに伸ばすように単調増加させてもよい。

【0043】

また、ガイド画像Ｇ１の太さ（表示形態）を、距離に応じて変更してもよい。この場合にも、作業領域への当接時には、単調に増加或いは減少して、刃先に対応する所定の太さに収束するように変更する。
また、ガイド画像Ｇ１の明るさ（表示形態）を変更してもよい。例えば、距離が近づくにつれて、単調に輝度を変化させてガイド画像を明るくして、輝度上限値に近づけるようにしてもよい。

【0044】

次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
（ａ）前記制御部が、
前記建設機械から、前記作業領域の形状情報を取得し、
前記形状情報に基づいて、前記距離を算出することを特徴とする請求項１に記載の作業支援システム。

【0045】

（ｂ）前記制御部は、
前記距離が遠いほど大きいサイズのガイド画像を生成し、
前記作業工具が前記作業領域に当接するときに、前記サイズを前記作業工具の大きさに収束させることを特徴とする請求項１又は（ａ）に記載の作業支援システム。

【0046】

（ｃ）前記制御部は、
前記距離が遠いほど小さいガイド画像を生成し、
前記作業工具が前記作業領域に当接するときに、前記サイズを前記作業工具の大きさに収束させることを特徴とする請求項１又は（ａ）～（ｂ）の何れか一つに記載の作業支援システム。

【0047】

（ｄ）前記制御部は、
予め定められた大きさの基準器が含まれる撮影画像を取得し、
前記撮影画像内の基準器の大きさに基づいて、前記ガイド画像を作成するための変換関数を生成することを特徴とする請求項１、（ａ）～（ｃ）の何れか一つに記載の作業支援システム。

【0048】

（ｅ）前記制御部は、前記建設機械はバックホーであり、前記作業工具はバケットであることを特徴とする請求項１又は（ａ）～（ｄ）の何れか一つに記載の作業支援システム。

【符号の説明】

【0049】

Ａ１…作業支援システム、Ｇ１…ガイド画像、１０…建設機械、１０ｂ…走行部、１０ｃ…旋回部、１０ｄ…ブーム、１０ｅ…アーム、１０ｆ…バケット、１１…カメラ、１２…距離計測器、１３…センサ、１５…遠隔操作装置、２０…操作支援装置、２１…制御部、１１１…情報取得部、１１２…画像生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】