(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022121138
(43)【公開日】2022-08-19
(54)【発明の名称】遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム
(51)【国際特許分類】
E02F 9/20 20060101AFI20220812BHJP
E02F 9/26 20060101ALI20220812BHJP
H04M 11/00 20060101ALI20220812BHJP
【FI】
E02F9/20 N
E02F9/26 B
E02F9/20 M
H04M11/00 301
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021018318
(22)【出願日】2021-02-08
(71)【出願人】
【識別番号】000246273
【氏名又は名称】コベルコ建機株式会社
(74)【代理人】
【識別番号】110000800
【氏名又は名称】特許業務法人創成国際特許事務所
(72)【発明者】
【氏名】廣瀬 龍一
(72)【発明者】
【氏名】土井 隆行
【テーマコード(参考)】
2D003
2D015
5K201
【Fターム(参考)】
2D003AA01
2D003AB02
2D003AB03
2D003AB04
2D003AC06
2D003BA04
2D003CA02
2D003CA10
2D003DA04
2D003DB04
2D003DB05
2D003FA02
2D015HA03
2D015HB04
2D015HB05
5K201BA01
5K201BA02
5K201CC09
5K201DC02
5K201EC06
5K201ED08
5K201ED09
5K201FA03
5K201FB02
(57)【要約】
【課題】キャリブレーション処理の効率化により、作業機械の遠隔操作効率の向上を図りうるシステム等を提供する。
【解決手段】
遠隔操作因子と実機操作因子とが対応しているか否かの判定結果が第1支援処理要素121により認識される。「遠隔操作因子」は、遠隔操作装置20を構成する遠隔操作機構211の操作設定を定義する因子である。「実機操作因子」は、作業機械40を構成する実機操作機構411の操作設定を定義する因子である。当該判定結果が否定的であることを要件として、実機操作因子および遠隔操作因子を対応させるための処理が第2支援処理要素122により実行される。
【選択図】
図6
【特許請求の範囲】
【請求項1】
遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
前記遠隔操作装置を構成する遠隔操作機構の操作設定を定義する遠隔操作因子と、前記作業機械を構成する実機操作機構の操作設定を定義する実機操作因子と、が対応しているか否かの判定結果を認識する第1支援処理要素と、
前記第1支援処理要素により認識された当該判定結果が否定的であることを要件として、前記遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記実機操作因子および前記遠隔操作因子を対応させるための処理を実行する第2支援処理要素と、
を備えている遠隔操作支援システム。
【請求項2】
請求項1に記載の遠隔操作支援システムにおいて、
前記第1支援処理要素が、前記遠隔操作機構が遠隔操作の対象として設定している前記実機操作機構に応じた遠隔操作因子と、前記遠隔操作機構の遠隔操作の対象となった前記作業機械を構成する前記実機操作機構に応じた実機操作因子が対応しているか否かの判定結果を認識する
遠隔操作支援システム。
【請求項3】
請求項1または2に記載の遠隔操作支援システムにおいて、
前記第1支援処理要素により認識された前記判定結果が否定的であることを要件として、前記第2支援処理要素が、前記作業機械を構成する前記実機操作機構の操作特性を、当該作業機械を遠隔操作するための前記遠隔操作装置を構成する前記遠隔操作機構の操作特性に対応させるための補正値を取得する処理を実行する
遠隔操作支援システム。
【請求項4】
請求項2に記載の遠隔操作支援システムにおいて、
前記第1支援処理要素が、前記遠隔操作機構により遠隔操作の対象となった前記作業機械を構成する前記実機操作機構を遠隔操作する際の操作パターンを認識し、
前記第2支援処理要素が、前記第1支援処理要素により認識された前記判定結果が否定的であること、および、前記第1支援処理要素により認識された前記操作パターンに変更があったことの少なくとも一方を要件として、前記作業機械を構成する前記実機操作機構の操作特性を、当該作業機械を遠隔操作するための前記遠隔操作装置を構成する前記遠隔操作機構の操作特性に対応させるための補正値を取得する処理を実行する
遠隔操作支援システム。
【請求項5】
請求項1~4のうちいずれか1項に記載の遠隔操作支援システムにおいて、
前記第2支援処理要素が、前記遠隔操作装置を構成する遠隔出力インターフェースに前記遠隔操作因子の変更を促すメッセージを出力させ、かつ、前記遠隔操作装置を構成する遠隔入力インターフェースを通じて変更された新たな前記遠隔操作因子を認識する
遠隔操作支援システム。
【請求項6】
請求項1~5のうちいずれか1項に記載の遠隔操作支援システムにおいて、
前記第2支援処理要素により、前記遠隔入力インターフェースを通じて変更された新たな前記遠隔操作因子が認識された後、前記第1支援処理要素が、前記作業機械との通信に基づき、前記遠隔操作因子と前記実機操作因子とが対応しているか否かの判定結果を認識する
遠隔操作支援システム。
【請求項7】
請求項1~6のうちいずれか1項に記載の遠隔操作支援システムと、前記作業機械および前記遠隔操作装置のうち少なくとも一方と、により構成されている
遠隔操作支援複合システム。
【請求項8】
遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援方法であって、
前記遠隔操作装置を構成する遠隔操作機構の操作設定を定義する遠隔操作因子と、前記作業機械を構成する実機操作機構の操作設定を定義する実機操作因子と、が対応しているか否かの判定結果を認識する第1支援処理ステップと、
前記第1支援処理ステップにおいて認識された当該判定結果が否定的であることを要件として、前記遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記実機操作因子および前記遠隔操作因子を対応させるための処理を実行する第2支援処理ステップと、
を備えている遠隔操作支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔操作装置により油圧ショベル等の作業機械を遠隔操作する技術に関する。
【背景技術】
【0002】
遠隔操作装置により作業機械が遠隔操作される場合、遠隔操作装置の設定を遠隔操作対象の作業機械に合わせる必要がある。
【0003】
特許文献1では、作業機械を構成する実機操作レバー等の実機操作機構の操作特性を、当該作業機械を遠隔操作するための遠隔操作装置を構成する遠隔操作レバー等の遠隔操作機構の操作特性に一致させるための補正値が登録されており、当該補正値に基づいて遠隔操作機構に入力された操作量を補正して実機操作機構に送信することで、遠隔操作機構に入力された操作量通りに作業機械を稼動させる補正制御が実行されている。補正値は、作業機械の形式情報と遠隔操作機構の形式情報との組み合わせに対応付けられている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、遠隔操作装置による遠隔操作の対象である実機操作機構が変更されることがある。例えば、遠隔操作装置の遠隔操作の対象である作業機械に搭載され遠隔操作可能な実機操作機構は改造により増減する。また、遠隔操作装置が、その遠隔操作の対象である作業機械を第一作業機械から第二作業機械に切り替えた場合には、第一作業機械で設けられている実機操作機構と第二作業機械で設けられている実機操作機構が対応しなくなることがある。実機操作機構が変更されると、登録されていた補正値では対応できなくなる可能性があり、新たに補正値を取得して登録する必要がある。
【0006】
また、遠隔操作装置を構成する遠隔操作レバー等の遠隔操作機構が変更されることがある。例えば、実機操作機構の操作パターンが変更される。そうすると、実機操作機構に対応している実機操作機構が変更されるので、登録されていた補正値では対応できなくなる可能性があり、新たに補正値を取得して登録する必要がある。
【0007】
したがって、遠隔操作の開始時において、補正値を確かめて登録することで、遠隔操作装置の設定を遠隔操作対象の作業機械に確実に合わせる処理を実行することが想定される。
【0008】
しかしながら、遠隔操作装置と作業機械との通信が確立されるたびに、当該処理を実行するようにすると、実機操作機構や遠隔操作機構に変更がない場合にまで当該処理が実行されてしまい、当該処理が終了するまで当該作業機械の遠隔操作を開始できなくなってしまう。
【0009】
そこで、本発明は、遠隔操作装置の設定を遠隔操作対象の作業機械に合わせる処理の効率化により、作業機械の遠隔操作効率の向上を図りうるサーバ等を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の遠隔操作支援システムは、
遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
前記遠隔操作装置を構成する遠隔操作機構の操作設定を定義する遠隔操作因子と、前記作業機械を構成する実機操作機構の操作設定を定義する実機操作因子と、が対応しているか否かの判定結果を認識する第1支援処理要素と、
前記第1支援処理要素により認識された当該判定結果が否定的であることを要件として、前記遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記実機操作因子および前記遠隔操作因子を対応させるための処理を実行する第2支援処理要素と、
を備えている。
【0011】
当該構成の遠隔操作支援システムによれば、遠隔操作因子と実機操作因子とが対応していない場合、遠隔操作装置を構成する遠隔操作機構の操作方式と作業機械を構成する実機操作機構の操作方式とを対応させるための処理が実行される。これにより、両因子が一致している場合には両操作因子を対応させるための処理の実行をすることなく、遠隔操作装置により作業機械の遠隔操作が開始されうる。よって、当該処理の効率化により、作業機械の遠隔操作効率の向上が図られる。
【0012】
本発明の遠隔操作支援システムにおいて、
前記第1支援処理要素が、前記遠隔操作機構が遠隔操作の対象として設定している前記実機操作機構に応じた遠隔操作因子と、前記遠隔操作機構の遠隔操作の対象となった前記作業機械を構成する前記実機操作機構に応じた実機操作因子が対応しているか否かの判定結果を認識する
ことが好ましい。
【0013】
当該構成の遠隔操作支援システムによれば、第1支援処理要素により遠隔操作装置による遠隔操作の対象である実機操作機構が変更されたか否かを判定することができる。これにより、実機操作機構が変更されていない場合には両操作因子を対応させる処理の実行をすることなく、遠隔操作装置により作業機械の遠隔操作が開始されうる。一方、実機操作機構が変更された場合には確実に因子を対応させる処理の実行がされる。
【0014】
本発明の遠隔操作支援システムにおいて、
前記第1支援処理要素により認識された前記判定結果が否定的であることを要件として、前記第2支援処理要素が、前記作業機械を構成する前記実機操作機構の操作特性を、当該作業機械を遠隔操作するための前記遠隔操作装置を構成する前記遠隔操作機構の操作特性に対応させるための補正値を取得する処理を実行する
ことが好ましい。
【0015】
当該構成の遠隔操作支援システムによれば、両操作因子を対応させる処理の実行をする場合に、さらに実機操作機構の操作特性を遠隔操作機構の操作特性に一致させる処理が行われる。これにより、操作因子の変更があった場合でも変更前と同等の操作性を維持することができる。
【0016】
本発明の遠隔操作支援システムにおいて、
前記第1支援処理要素が、前記遠隔操作機構により遠隔操作の対象となった前記作業機械を構成する前記実機操作機構を遠隔操作する際の操作パターンを認識し、
前記第2支援処理要素が、前記第1支援処理要素により認識された前記判定結果が否定的であること、および、前記第1支援処理要素により認識された前記操作パターンに変更があったことの少なくとも一方を要件として、前記作業機械を構成する前記実機操作機構の操作特性を、当該作業機械を遠隔操作するための前記遠隔操作装置を構成する前記遠隔操作機構の操作特性に対応させるための補正値を取得する処理を実行する
ことが好ましい。
【0017】
当該構成の遠隔操作支援システムによれば、操作パターンおよび操作因子の少なくとも一方が変更される場合に実機操作機構の操作特性を遠隔操作機構の操作特性に対応させる処理が行われる。これにより、操作パターンのみが変更される場合であっても変更前と同等の操作性を維持することができる。
【0018】
本発明の遠隔操作支援システムにおいて、
前記第2支援処理要素が、前記遠隔操作装置を構成する遠隔出力インターフェースに前記遠隔操作因子の変更を促すメッセージを出力させ、かつ、前記遠隔操作装置を構成する遠隔入力インターフェースを通じて変更された新たな前記遠隔操作因子を認識する
ことが好ましい。
【0019】
当該構成の遠隔操作支援システムによれば、遠隔操作因子と実機操作因子とが相違している場合、遠隔操作装置を構成する遠隔操作機構の操作方式と作業機械を構成する実機操作機構の操作方式とを対応させるための処理が、遠隔操作装置においてユーザの意思に応じて実行される。これにより、両因子が対応している場合には当該処理の実行完了を待つことなく、遠隔操作装置により作業機械の遠隔操作が開始されうる。よって、当該処理の効率化により、作業機械の遠隔操作効率の向上が図られる。
【0020】
本発明の遠隔操作支援サーバにおいて、
前記第2支援処理要素により、前記遠隔入力インターフェースを通じて変更された新たな前記遠隔操作因子が認識された後、前記第1支援処理要素が、前記作業機械との通信に基づき、前記遠隔操作因子と前記実機操作因子とが対応しているか否かの判定結果を認識することが好ましい。
【0021】
当該構成の遠隔操作支援サーバによれば、遠隔操作装置においてユーザの意思に応じて実行された処理により、遠隔操作因子と実機操作因子とが対応していない場合でも、両因子の確実な対応が図られる。よって、作業機械の遠隔操作効率の向上が図られる。
【図面の簡単な説明】
【0022】
【
図1】本発明の遠隔操作支援システムに関する説明図。
【
図4】操作支援システムの第1機能に関する説明図。
【
図6】操作支援システムの第2機能の第1実施形態に関する説明図。
【
図7】駆動指令および実機操作レバーの操作量の関係に関する説明図。
【
図8】駆動指令および遠隔操作レバーの操作量の関係に関する説明図。
【
図9】操作支援システムの第2機能の第2実施形態に関する説明図。
【
図10】操作支援システムの第2機能の変形例に関する説明図。
【発明を実施するための形態】
【0023】
(遠隔操作支援システムの構成)
図1に示されている遠隔操作支援複合システムは、遠隔操作支援サーバ10と、遠隔操作装置20および/または作業機械40と、により構成されている。遠隔操作支援サーバ10、遠隔操作装置20および作業機械40のそれぞれは相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10および遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10および作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
【0024】
本発明の構成要素が情報を「認識する」とは、当該情報を受信すること、当該情報を記憶装置から読み出すこと、当該情報をデータベースから検索すること、当該情報を測定すること、受信等された基礎情報に基づき、当該情報を決定、判定、推定または予測すること、当該情報を記憶装置に保存することなど、後続する演算処理において当該情報を利用可能な状態にするためのあらゆる演算処理を包含する概念である。
【0025】
(遠隔操作支援サーバの構成)
遠隔操作支援システムを構成する遠隔操作支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、撮像画像データ等を記憶保持する。データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
【0026】
(遠隔操作装置の構成)
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
【0027】
遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、音響出力装置222と、遠隔無線通信機器222と、を備えている。
【0028】
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
【0029】
遠隔操作機構211を構成する各操作レバーは、例えば、
図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
【0030】
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、
図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、
図2に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
【0031】
画像出力装置221は、例えば
図2に示されているように、シートStの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212により構成されている。中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のそれぞれの画面(画像表示領域)の形状およびサイズは同じであってもよく相違していてもよい。
【0032】
図2に示されているように、中央画像出力装置2210の画面および左側画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側画像出力装置2211の右縁が、中央画像出力装置2210の左縁に隣接している。
図2に示されているように、中央画像出力装置2210の画面および右側画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側画像出力装置2212の左縁が、中央画像出力装置2210の右縁に隣接している。当該傾斜角度θ1およびθ2は同じであっても相違していてもよい。
【0033】
中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置2210が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
【0034】
音響出力装置222は、一または複数のスピーカーにより構成され、例えば
図2に示されているように、シートStの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置2220、左側音響出力装置2221および右側音響出力装置2222により構成されている。中央音響出力装置2220、左側音響出力装置2221および右側音響出力装置2222のそれぞれの仕様は同じであってもよく相違していてもよい。
【0035】
(作業機械の構成)
作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作業機構440と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
【0036】
作業機械40は、例えばクローラショベル(建設機械)であり、
図3に示されているように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、を備えている。上部旋回体420の前方左側部にはキャブ424(運転室)が設けられている。上部旋回体420の前方中央部には作業機構440が設けられている。
【0037】
実機入力インターフェース41は、実機操作機構411と、実機撮像装置412と、測位装置414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。実機撮像装置412は、例えばキャブ424の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構440の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置414は、GPSおよび必要に応じてジャイロセンサ等により構成されている。
【0038】
実機出力インターフェース42は、実機無線通信機器422を備えている。
【0039】
図3に示されているように、作業機構としての作業機構440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業機構440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
【0040】
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
【0041】
(第1機能)
前記構成の遠隔操作支援システムの基本機能としての第1機能について
図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。受信されたデータは、データベース102および/または不揮発性もしくは揮発性のメモリにより構成されている記憶装置に格納される。これらの事項は、後述するフローチャートにおいても同様である。
【0042】
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた指定操作の有無が判定される(
図4/STEP210)。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械40を指定するための遠隔入力インターフェース210におけるタップなどの操作である。当該判定結果が否定的である場合(
図4/STEP210‥NO)、一連の処理が終了する。その一方、当該判定結果が肯定的である場合(
図4/STEP210‥YES)、遠隔無線通信機器222を通じて、遠隔操作支援サーバ10に対して環境確認要求が送信される(
図4/STEP212)。
【0043】
遠隔操作支援サーバ10において、環境確認要求が受信された場合、第1支援処理要素121により当該環境確認要求が該当する作業機械40に対して送信される(
図4/C110)。
【0044】
作業機械40において、実機無線通信機器422を通じて環境確認要求が受信された場合(
図4/C410)、実機制御装置400が実機撮像装置412を通じて撮像画像を取得する(
図4/STEP410)。ここで、実機制御装置400またはこれを構成する画像処理装置により、画像処理が実行されてもよい。実機制御装置400により、実機無線通信機器422を通じて、当該画像処理が施された撮像画像データが遠隔操作装置10に対して送信される(
図4/STEP412)。
【0045】
遠隔操作支援サーバ10において、第1支援処理要素121により撮像画像データが受信された場合(
図4/C112)、第2支援処理要素122により撮像画像に応じた環境画像データが遠隔操作装置20に対して送信される(
図4/STEP110)。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。画像処理装置30が遠隔操作支援サーバ10により構成されている場合、撮像画像データが画像処理装置30により画像処理されることにより環境画像データが生成されてもよい。
【0046】
遠隔操作装置20において、遠隔無線通信機器222を通じて環境画像データが受信された場合(
図4/C210)、遠隔制御装置200により、環境画像データに応じた環境画像が画像出力装置221に出力される(
図4/STEP214)。
【0047】
これにより、例えば、
図5に示されているように、キャブ424を画定する、右窓枠Q1、上窓枠Q2、左窓枠Q3および下窓枠Q4により構成されている窓枠を通じて、キャブ424の前方において、作業機構440の一部であるブーム441、アーム443および(バケット445による作業対象である)瓦礫または土砂の山が映り込んでいる環境画像が画像出力装置421に出力される。撮像画像の画像処理により、あるいは、撮像装置412の画角調整により、窓枠Q1~Q4のうち少なくとも一部が映り込まないように環境画像が生成されてもよい。撮像装置421がキャブ424の内部ではなく外部に設けられている場合、窓枠Q1~Q4など、キャブ424の構成部品が映り込まないような撮像画像、ひいては環境画像が取得可能である。
【0048】
遠隔操作装置20において、遠隔制御装置200により遠隔操作機構211の操作態様が認識され(
図4/STEP216)、かつ、遠隔無線通信機器222を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ10に対して送信される(
図4/STEP218)。
【0049】
遠隔操作支援サーバ10において、第2支援処理要素122により当該遠隔操作指令が受信された場合、第1支援処理要素121により、当該遠隔操作指令が作業機械40に対して送信される(
図4/C114)。
【0050】
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(
図4/C412)、作業機構440等の動作が制御される(
図4/STEP414)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体410を旋回させたうえでバケット445から土を落とす作業が実行される。
【0051】
(第2機能(第1実施形態))
前記構成の遠隔操作支援システムのキャリブレーション機能としての第2機能の第1実施形態について
図6に示されているフローチャートを用いて説明する。
【0052】
遠隔操作装置20において、遠隔制御装置200により遠隔無線通信機器222を通じて、遠隔操作因子が実機識別子とともに遠隔操作支援サーバ10に対して送信される(
図6/STEP220)。遠隔入力インターフェース210におけるトリガ操作(実機識別子の入力または遠隔操作態様の指定)があったことに応じて、遠隔操作因子および実機識別子が遠隔操作装置20から送信されてもよい。「遠隔操作因子」は、遠隔操作装置20を構成する遠隔操作機構211の遠隔操作設定を定義する因子である。「遠隔操作因子」は、遠隔操作機構211により遠隔操作を意図する作業機械40を構成する実機操作機構411に対応している。当該対応関係が、表1に例示されている。
【0053】
【0054】
表1に示されているように、遠隔操作機構211により遠隔操作を意図する作業機械40を構成する実機操作機構411がブーム操作レバー、アーム操作レバー、バケット操作レバーおよび旋回操作レバーである場合、遠隔操作設定A1が設定される。遠隔操作設定A1で左右の操作レバーの傾動により発生する遠隔操作が設定されているが、走行レバーおよびオプションペダルの傾動により発生する遠隔操作は設定されていない。遠隔操作機構211の操作を通じて下部走行体410の動作を伴う作業機械40の走行が意図されている場合、遠隔操作設定A2が設定され、走行レバーの傾動により発生する遠隔操作が設定される。遠隔操作機構211によりグラップル等のオプション装置の操作が意図されている場合は遠隔操作設定A3が設定され、OPTペダルの傾動により発生する遠隔操作が設定される。遠隔操作設定は、遠隔操作設定A1~A3以外のものも設定することが可能であり、例えば操作パターンの設定の変更が相当する。「実機識別子」は、遠隔操作装置20の遠隔操作対象である作業機械40を識別または特定するための識別子またはデータである。
【0055】
遠隔操作支援サーバ10において、第1支援処理要素121により遠隔操作因子および実機識別子が受信され(
図6/C120)、当該実機識別子により識別される作業機械40に対して、実機操作因子取得要求が送信される(
図6/STEP120)。
【0056】
該当する作業機械40において、実機制御装置400により実機無線通信機器422を通じて実機操作因子要求が受信されると(
図6/C420)、実機操作因子が記憶装置またはデータベースから読み取られるまたは検索されることにより認識される(
図6/STEP420)。そして、実機制御装置400により実機無線通信機器422を通じて、実機操作因子および実機識別子が遠隔操作支援サーバ10に対して送信される(
図6/STEP422)。「実機操作因子」は、作業機械40を構成する実機操作機構411の実機操作設定を定義する因子であり、遠隔操作を受けることが可能な実機操作機構411に対応している。当該対応関係が表2に例示されている。
【0057】
【0058】
表2に示されているように、遠隔操作機構211により遠隔操作を意図する作業機械40を構成する実機操作機構411がブーム操作レバー、アーム操作レバー、バケット操作レバーおよび旋回操作レバーである場合、実機操作設定B1が設定される。実機操作設定B1において〇が付されている実機操作機構は遠隔操作を受けることで稼働可能なものであり、〇が付されていない実機操作機構は遠隔操作を受けたとしても稼働させることができないものである。実機操作機構411が走行の遠隔操作を受けることが可能である場合には、実機操作設定B2が設定され、実機操作機構411がグラップル等のオプション装置の遠隔操作を受けることが可能である場合には、実機操作設定B3が設定される。実機操作因子は、作業機械40の実機制御装置400が当該作業機械40の実機操作機構411の構成を認識することや、作業機械40の整備をするサービスマンにより入力されることで設定される。
【0059】
遠隔操作支援サーバ10において、第1支援処理要素121により実機操作因子および実機識別子が受信され(
図6/C121)、さらに遠隔操作装置20にて受信される(
図6/C220)。
【0060】
遠隔操作装置20において、実機操作因子および実機識別子が受信される(
図6/C220)と、当該実機操作因子と、当該実機識別子に関連付けられている遠隔操作因子(
図6/C120参照)と、が対応しているか否かが判定される(
図6/STEP221)。
【0061】
例えば、実機操作因子が操作設定B1である場合には、機操作機構411がブーム、アーム、バケット、旋回の遠隔操作を受けることが可能であり、遠隔操作因子として操作設定A1が遠隔操作機構211に設定される場合には、両因子は対応していることになる。同様にして、操作設定B2に対して操作設定A2、操作設定B3に対して操作設定A3が設定される場合には、両因子は対応していることになる。
【0062】
両因子が対応していても、作業機械40に搭載され遠隔操作可能な実機操作機構が改造により増減された場合には、両因子が対応しなくなる。また、両因子が対応していても、遠隔操作装置20がその遠隔操作の対象である作業機械を切り替えた場合には、両因子が対応しなくなる。さらに、遠隔操作機構211について操作パターンの設定が変更された場合には、両因子が対応しなくなる。
【0063】
当該判定結果が肯定的である場合(
図6/STEP221‥YES)、第1フラグf1が「1」に設定される(
図6/STEP222)。その一方、当該判定結果が否定的である場合(
図6/STEP221‥NO)、遠隔操作因子が実機識別子に対応しているように変更され(
図6/STEP223)、第1フラグf1が「0」に設定される(
図6/STEP223)。すなわち、第1フラグf1の値が「1」である場合、遠隔操作因子および実機操作因子が対応していることを意味し、第1フラグf1の値が「0」である場合、遠隔操作因子および実機操作因子が対応していないことを意味している。
【0064】
次いで、遠隔操作装置20において、遠隔操作機構211による操作パターン変更があるか否かが判定される(
図6/STEP225)。例えば、遠隔操作装置を操作するオペレータが変わると操作パターンが変更されることがある。操作パターンの変更がある場合(
図6/STEP225‥YES)、実機操作機構211に対する入力される操作が変更になるので、遠隔操作機構211に入力された操作量通りに作業機械20を稼動させるために遠隔操作機構211に入力された操作量に対する実機操作機構の出力を補正すべき量が変化する。
【0065】
操作パターン変更がない場合(
図6/STEP225‥NO)、第1フラグf1の値が「0」であるか否かが判定される(
図6/STEP226)。第1フラグf1の値が「0」である場合(
図6/STEP226‥YES)、遠隔操作因子の変更があり実機操作機構211に対する入力される操作が変更になるので、遠隔操作機構211に入力された操作量通りに作業機械20を稼動させるために遠隔操作機構211に入力された操作量に対する実機操作機構の出力を補正すべき量が変化する。
【0066】
第1フラグf1の値が「0」ではない場合(
図6/STEP225‥NO)、実機操作因子の変更があるか否かが判定される(
図6/STEP227)。例えば、遠隔操作装置20の遠隔操作の対象である作業機械40に搭載され遠隔操作可能な実機操作機構211は改造により増減するので、前回遠隔操作時の実機操作因子と今回遠隔操作時の実機操作因子が対応していない場合がある。また、遠隔操作装置20が、その遠隔操作の対象である作業機械を第1作業機械から第2作業機械に切り替えた場合には、第1作業機械で設けられている実機操作機構と第2作業機械で設けられている実機操作機構が相違することがあり、この場合に実機操作因子が対応していない。機操作因子が対応していないと、遠隔操作機構211に入力された操作量通りに作業機械20を稼動させるために遠隔操作機構211に入力された操作量に対する実機操作機構411の出力を補正すべき量が変化する。実機操作因子の変更がないと判定された場合(
図6/STEP227‥NO)、一連の処理が終了する。
【0067】
操作パターン変更がある場合(
図6/STEP225‥YES)、第1フラグf1の値が「0」である場合(
図6/STEP226‥YES)、および実機操作因子の変更がある場合(
図6/STEP227‥YES)、遠隔操作装置20にて遠隔操作機構211に入力された操作量に対する実機操作機構の出力を補正すべき量を調整するための校正要求が、実機識別子とともに遠隔操作支援サーバ10に対して送信される(
図6/STEP228)。
【0068】
遠隔操作支援サーバ10が校正要求および実機識別子を受信した場合(
図6/C122)、遠隔操作装置20の遠隔操作対象である作業機械40と遠隔操作装置20に対して校正指令を送信する(
図6/STEP122)。
【0069】
作業機械40が校正指令を受信した場合(
図6/C421)、実機操作機構411の校正処理が実行され(
図6/STEP424)、遠隔操作装置20が校正指令を受信した場合(
図6/C221)、遠隔操作機構211の校正処理が実行される(
図6/STEP229)。
【0070】
例えば、実機操作機構411を構成する実機操作レバーの操作量を校正する校正処理が実行されると、実機操作レバーを中立位置および最大操作量の操作位置のそれぞれに位置合わせするようにレバー駆動アクチュエータの動作が制御され、それぞれの操作位置でのレバー駆動アクチュエータの制御指令値または位置が記憶され、レバー駆動制御部は記憶した制御指令値を用いて操作レバーの駆動指令とレバー駆動アクチュエータの制御指令値との対応関係を定義するデータを作成する。これにより、駆動指令に応じた実機操作機構411を構成する実機操作レバーの操作状態または操作位置が、遠隔操作対象である作業機40に応じてばらつきを生じることを防止し得るように当該データが決定される。
【0071】
レバー駆動制御部は、前述したデータを作成する処理の実行後に、レバー操作指令部から受信する駆動指令に応じてレバー駆動アクチュエータを作動させるときには、受信した駆動指令と、第記憶保持した前記データとから決定した制御指令値によりレバー駆動アクチュエータの作動制御を実行する。これにより、遠隔操作装置20を構成する遠隔操作機構211の操作に応じて実現される作業機40の実機操作機構411を構成する実機操作レバーの操作状態のばらつきを生じることを適切に防止することが可能となる。例えば、操作装置の操作により、油圧作業機の第1操作レバーを中立位置に操作すること、および/または、最大操作量に操作することを、遠隔操作対象である作業機械40の種類・諸元等の相違によらずに適切に実現できる。
【0072】
操作レバーは、操作者が手動操作を実行する操作部に限らず、操作者が足で操作を実行する操作部(例えばペダル型の操作部) であってもよい。
【0073】
作業機械40の実機操作レバーの操作に関する校正処理に関連するデータは、
図7に実線で示されているように、0%から+100%までの駆動指令の範囲と、0% から-100%までの駆動指令の範囲とで、制御指令値に対応している実機操作レバーの操作量が、駆動指令に対して線形に変化するように、駆動指令と制御指令値との間の関係を示す関係データが生成される。ここで、0%はレバーを駆動しない指令、+100%はレバーを正の方向に最大駆動させる指令、-100%はレバーを負の方向に最大駆動させる指令である。
図7には、処理の実行前の関係データにより表される駆動指令と実機操作レバーの操作量との間の関係が二点鎖線により例示されている。
【0074】
これにより、操作レバーの操作に応じた油圧アクチュエータの動作が同じような動作になるようになるように、作業機械40を遠隔操作することができる。
【0075】
遠隔操作装置20の遠隔操作機構211を構成する遠隔操作レバーの操作に関する校正処理に関連するデータは、
図8に実線で示されているように、0%から+100%までの駆動指令の範囲と、0%から-100%までの駆動指令の範囲とで、駆動指令が遠隔操作レバーの操作量(揺動角度) の変化に対して線形に変化するように、遠隔操作レバーの操作量と駆動指令との間の関係を規定する関係データが作成される。
図8には、処理の実行前の関係データにより表される遠隔操作レバーの操作量と駆動指令との間の関係が二点鎖線により例示されている。
【0076】
これにより、遠隔操作機構211を構成する遠隔操作レバーの操作に応じた油圧アクチュエータの動作が、実機操作機構411を構成する実機操作レバーの操作に応じた油圧アクチュエータの動作と同じような動作になるようになるように、作業機械20を遠隔操作することができる。以上の処理の結果、遠隔操作装置20を通じて作業機械40を前記のように遠隔操作することができる状態になる(
図4参照)。
【0077】
(第2機能(第2実施形態))
前記構成の遠隔操作支援システムのキャリブレーション機能としての第2機能の第2実施形態について
図9に示されているフローチャートを用いて説明する。
【0078】
遠隔操作装置20において、遠隔制御装置200により遠隔無線通信機器222を通じて、遠隔操作因子が実機識別子とともに遠隔操作支援サーバ10に対して送信される(
図7/STEP240)。遠隔入力インターフェース210におけるトリガ操作(実機識別子の入力または遠隔操作態様の指定)があったことに応じて、遠隔操作因子および実機識別子が遠隔操作装置20から送信されてもよい。
【0079】
作業機械40において、第1支援処理要素121により遠隔操作因子および実機識別子が受信され(
図9/C140)、当該実機識別子により識別される作業機械40に対して、遠隔操作因子が送信される(
図9/STEP140)。
【0080】
該当する作業機械40において、実機制御装置400により実機無線通信機器422を通じて遠隔操作因子が受信されると(
図9/C440)、実機操作因子が記憶装置またはデータベースから読み取られるまたは検索されることにより認識される(
図9/STEP440)。そして、実機制御装置400により当該実機操作因子と、当該実機識別子に関連付けられている遠隔操作因子(
図9/C420参照)と、が対応しているか否かが判定される(
図9/STEP441)。
【0081】
当該判定結果が肯定的である場合(
図9/STEP441‥YES)、第2フラグf2が「1」に設定される(
図9/STEP443)。その一方、当該判定結果が否定的である場合(
図9/STEP441‥NO)、第2フラグf2が「0」に設定される(
図9/STEP444)。すなわち、第2フラグf2の値が「1」である場合、遠隔操作因子および実機操作因子が対応していることを意味し、第2フラグf2の値が「0」である場合、遠隔操作因子および実機操作因子が対応していないことを意味している。
【0082】
2フラグf2が「1」に設定される(
図9/STEP443)、又は第2フラグf2が「0」に設定される(
図9/STEP444)と、実機制御装置400により実機無線通信機器422を通じて第2フラグf2が遠隔操作支援サーバ10に対して送信される(
図9/STEP445)。
【0083】
遠隔操作支援サーバ10において、第1支援処理要素121により第2フラグf2が受信されると、当該第2フラグf2を表わすデータが遠隔操作装置20に送信される(
図9/C141) 。
【0084】
遠隔操作装置20において、第2フラグf2の値を表わすデータが受信される(
図9/C240)と、第2支援処理要素122にて第2フラグf2が「1」であるか否かが判定される(
図9/STEP241) 。
【0085】
当該判定結果が否定的である場合(
図9/STEP241‥NO)、遠隔制御装置200により遠隔操作因子の変更を促すためのメッセージが遠隔出力インターフェース220を通じて出力される(
図9/STEP242)
遠隔操作因子の変更がなかったと判定された場合(
図9/STEP243‥NO)、前記メッセージが遠隔出力インターフェース220を通じて継続的に出力される(
図9/STEP242)。当該メッセージの出力継続時間が指定時間を超えた場合、一連の処理が終了されてもよい。
【0086】
その一方、遠隔操作因子の変更があったと判定された場合(
図9/STEP243‥YES)、遠隔操作因子の送信(
図9/STEP240参照)以降の処理が繰り返される。
【0087】
第2支援処理要素122にて第2フラグf2が「1」であると判定された場合(
図9/STEP241‥YES)、遠隔操作装置20において、遠隔操作機構211による操作パターン変更があるか否かが判定される(
図9/STEP244)。
【0088】
操作パターン変更がない場合(
図9/STEP244‥NO)、実機操作因子の変更があるか否かが判定される(
図9/STEP
245)。実機操作因子の変更がないと判定された場合(
図9/STEP
245‥NO)、一連の処理が終了する。
【0089】
操作パターン変更がある場合(
図9/STEP244‥YES)および実機操作因子の変更がある場合(
図9/STEP
245‥YES)、遠隔操作装置20にて遠隔操作機構211に入力された操作量に対する実機操作機構の出力を補正すべき量を調整するための校正要求が、実機識別子とともに遠隔操作支援サーバ10に対して送信される(
図9/STEP246)。
【0090】
遠隔操作支援サーバ10が校正要求および実機識別子を受信した場合(
図9/C
142)、遠隔操作装置20の遠隔操作対象である作業機械40と遠隔操作装置20に対して校正指令を送信する(
図9/STEP140)。
【0091】
作業機械40が校正指令を受信した場合(
図9/C441)、校正処理が実行され(
図9/STEP446)、遠隔操作装置20が校正指令を受信(
図9/C241)すると校正処理が実行される(
図9/STEP247)。
【0092】
第2実施形態では、オペレータに遠隔操作因子の変更を促すためのメッセージを出力する。したがって、オペレータに遠隔操作因子の内容を認知させることができる。
【0093】
(効果)
当該構成の遠隔操作支援システムによれば、遠隔操作因子と実機操作因子とが対応していない場合、遠隔操作装置20を構成する遠隔操作機構211の遠隔操作因子と作業機械40を構成する実機操作機構411の実機操作因子とを対応させるための処理が実行される。これにより、両因子が対応している場合にはキャリブレーション処理の実行完了を待つことなく、遠隔操作装置20により作業機械40の遠隔操作が開始されうる。よって、遠隔操作装置の設定を遠隔操作対象の作業機械に合わせる処理の効率化が図られる。
【0094】
当該構成の遠隔操作支援システムによれば、第1支援処理要素121により遠隔操作装置20による遠隔操作の対象である作業機械40の実機操作機構が変更されたか否かを判定することができる。これにより、実機操作機構が変更されていない場合には両操作因子を対応させる処理の実行をすることなく、遠隔操作装置により作業機械の遠隔操作が開始され効率化が図られる。。一方、実機操作機構が変更された場合には確実に因子を対応させる処理の実行がされる。
【0095】
当該構成の遠隔操作支援システムによれば、両操作因子を対応させる処理の実行をする場合に、実機操作機構の操作特性を遠隔操作装置20の遠隔操作機構の操作特性に一致させる処理が行われる。これにより、操作因子の変更があった場合でも変更前と同等の操作性を維持することができる。
【0096】
当該構成の遠隔操作支援システムによれば、操作パターンおよび操作因子の少なくとも一方が変更される場合に実機操作機構の操作特性を遠隔操作装置20の遠隔操作機構の操作特性に対応させる処理が行われる。これにより、操作パターンのみが変更される場合であっても変更前と同等の操作性を維持することができる。
【0097】
(本発明の他の実施形態)
遠隔支援処理サーバ10の少なくとも一部の機能要素が、遠隔操作装置20および/または作業機械40により構成されていてもよい。例えば、第1支援処理要素121が、第1演算処理装置としての遠隔制御装置200および/または実機制御装置400により構成されていてもよい。第2支援処理要素221が、第2演算処理装置としての遠隔制御装置200および/または実機制御装置400により構成されていてもよい。遠隔操作支援サーバ10の機能要素が遠隔操作装置20に搭載されている場合、前記実施形態における無線通信に代えて、当該遠隔操作装置20に搭載されている有線ネットワークを通じた有線通信によって情報が通信されてもよい。同様に、遠隔操作支援サーバ10の機能要素が作業機械40に搭載されている場合、前記実施形態における無線通信に代えて、当該作業機械40に搭載されている有線ネットワークを通じた有線通信によって情報が通信されてもよい。
【0098】
例えば、第2機能の第1実施形態に関して、
図6/C121、STEP122、STEP123、STEP124およびSTEP126により表わされる機能要素が、遠隔制御装置200により構成されていてもよい。
図6/C120、STEP120、C121、STEP122、STEP123、STEP124およびSTEP126により表わされる機能要素が、実機制御装置400により構成されていてもよい。
図6/C122、STEP127およびSTEP128により表わされる機能要素が、遠隔制御装置200または実機制御装置400により構成されていてもよい。
【0099】
また、第2機能の第2実施形態に関して、
図7/C142、STEP147およびSTEP148により表わされる機能要素が、遠隔制御装置200または実機制御装置400により構成されていてもよい。
【0100】
第2機能の第1実施形態に関して、作業機械40による実機操作因子の認識結果の遠隔操作支援サーバ10への送付(
図6/STEP222)が、遠隔操作装置20の遠隔操作の前に行われてもよい。この場合、作業機械40の実機操作因子の認識結果は遠隔操作支援サーバ10のデータベース102に記憶されているので、
図10に示されるように、遠隔操作装置20から実機操作因子取得要求が送信され(
図10/STEP220)、遠隔操作支援サーバ10にて当該要求が受信された場合に作業機械40と通信することなく、データベース102に記憶されている実機操作因子を認識する(
図10/STEP520)ことで、実機操作因子を遠隔操作装置20に送信することができる(
図10/STEP521)。
【0101】
第2機能の第1実施形態に関して、遠隔操作因子の内容を示すメッセージが遠隔出力インターフェース220を通じて出力されてもよい。
【0102】
第2機能に関して、前述した実施形態では、両因子が対応していない場合、操作パターンが変更になった場合、および実機操作因子が変更になった場合に、遠隔操作装置20にて校正要求をするようにしているが、これら条件を満たす場合であっても例外的に校正要求をしないようにすることで作業効率を向上させるようにしてもよい。例えば、遠隔操作装置20にて遠隔操作をする作業機械40、両操作因子の設定、および操作パターンが過去において使用した履歴がある場合には、その時の校正処理に関連するデータを用いることができる
【符号の説明】
【0103】
10‥遠隔操作支援サーバ、20‥遠隔操作装置、40‥作業機械、102‥データベース、121‥第1支援処理要素、122‥第2支援処理要素、200‥遠隔制御装置、210‥遠隔入力インターフェース、211‥遠隔操作機構、220‥遠隔出力インターフェース、221‥画像出力装置、222‥音響出力装置、400‥実機制御装置、410‥実機入力インターフェース、420‥実機出力インターフェース、424‥キャブ(運転室)、440‥作業機構、445‥バケット(作業部)。