(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023049505
(43)【公開日】2023-04-10
(54)【発明の名称】操作反力制御システムおよび操作反力制御方法
(51)【国際特許分類】
E02F 9/20 20060101AFI20230403BHJP
G05G 25/00 20060101ALI20230403BHJP
G05G 5/03 20080401ALI20230403BHJP
G05G 9/047 20060101ALI20230403BHJP
【FI】
E02F9/20 K
G05G25/00 C
G05G5/03 A
G05G9/047
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2021159281
(22)【出願日】2021-09-29
(71)【出願人】
【識別番号】000246273
【氏名又は名称】コベルコ建機株式会社
(71)【出願人】
【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
(74)【代理人】
【識別番号】110000800
【氏名又は名称】弁理士法人創成国際特許事務所
(72)【発明者】
【氏名】関塚 良太
(72)【発明者】
【氏名】伊藤 卓
(72)【発明者】
【氏名】栗田 雄一
【テーマコード(参考)】
2D003
3J070
【Fターム(参考)】
2D003AA01
2D003AB03
2D003AB04
2D003BA01
2D003BA04
2D003DA04
2D003DB03
2D003DB04
2D003EA02
3J070AA04
3J070BA19
3J070BA51
3J070CB37
3J070CC71
3J070DA21
(57)【要約】
【課題】オペレータにとっての操作機構の操作性の向上を図りうるシステム等を提供する。
【解決手段】アクチュエータ114の動作が制御されることにより、操作レバー2111、2112に作用する操作反力f
1(θ)、f
2(φ)が制御される。この際、オペレータにより操作レバー2111、2112(操作機構)を介して感覚される相互に反対向きの操作方向のそれぞれへの反力F
1(θ)、F
2(φ)が、正操作方向の操作量範囲および負操作方向の操作量範囲において、操作量0を基準とした対称性が実現されるように、操作反力f
1(θ)、f
2(φ)が制御される。
【選択図】
図7
【特許請求の範囲】
【請求項1】
制御対象である作業機械またはその構成要素を相互に反対向きの正動作方向および負動作方向のそれぞれに動作させるために、オペレータにより相互に反対向きの正操作方向および負操作方向のそれぞれに操作される操作機構の、操作態様検知センサにより検知された操作方向に応じた方向に、当該操作態様検知センサにより検知された操作量の多少に応じた強弱の操作反力を前記操作機構に作用させるようにアクチュエータの動作を制御するように構成されている操作反力制御システムであって、
前記操作機構の前記正操作方向および前記負操作方向のそれぞれの操作量に応じて、前記操作機構を介して前記オペレータが感覚する操作反力である感覚反力が、前記操作機構の操作量0を基準として少なくとも部分的に対称性が実現されるように、前記操作機構に対してその操作量に応じた操作反力を前記正操作方向および前記負操作方向のそれぞれに作用させるように前記アクチュエータの動作を制御するように構成されている
操作反力制御システム。
【請求項2】
請求項1に記載の操作反力制御システムにおいて、
前記感覚反力が、前記対称性が実現される前記操作機構の操作量に応じて線形的に変化するように、前記アクチュエータの動作を制御するように構成されている
操作反力制御システム。
【請求項3】
請求項1または2に記載の操作反力制御システムにおいて、
入力インターフェースを通じて入力された前記オペレータの属性を表わす属性因子に応じて推定される、前記感覚反力にしたがって前記アクチュエータの動作を制御するように構成されている
操作反力制御システム。
【請求項4】
請求項1~3のうちいずれか1項に記載の操作反力制御システムにおいて、
入力インターフェースを通じて入力された、当該操作反力が作用している前記操作機構を介して前記オペレータが感覚する操作反力である感覚反力にしたがって前記アクチュエータの動作を制御するように構成されている
操作反力制御システム。
【請求項5】
請求項1~4のうちいずれか1項に記載の操作反力制御システムにおいて、
前記アクチュエータおよび前記操作態様検知センサを備えている
操作反力制御システム。
【請求項6】
制御対象である作業機械またはその構成要素を相互に反対向きの正動作方向および負動作方向のそれぞれに動作させるために、オペレータにより相互に反対向きの正操作方向および負操作方向のそれぞれに操作される操作機構の操作方向および操作量を検知するための操作態様検知工程と、
前記操作態様検知工程において検知された操作方向に応じた方向に、前記操作態様検知工程において検知された操作量の多少に応じた強弱の操作反力を前記操作機構に作用させるようにアクチュエータの動作を制御する反力制御工程と、
を含んでいる操作反力制御方法であって、
前記反力制御工程が、
前記操作機構の前記正操作方向および前記負操作方向のそれぞれの操作量に応じて、前記操作機構を介して前記オペレータが感覚する操作反力である感覚反力が、前記操作機構の操作量0を基準として少なくとも部分的に対称性が実現されるように、前記操作機構に対してその操作量に応じた操作反力を前記正操作方向および前記負操作方向のそれぞれに作用させるように前記アクチュエータの動作を制御する工程を含んでいる
操作反力制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械またはその構成要素を正負の動作方向に動作させるために、オペレータにより正負の操作方向に操作される操作機構に対して、その操作力に対する操作反力を作用させる技術に関する。
【背景技術】
【0002】
建設機械に設けられた運転席の左側および/または右側に配置されたレバー支持部材を支軸とする上下方向・左右方向の回動機構がレバーによって回動された際に、当該回動機構の回動軸線が、レバーのグリップのオペレータによる把持中心部を通るように斜めに配置されている操作レバー装置が提案されている(例えば、特許文献1参照)。
【0003】
しかし、オペレータの肘の伸展・屈曲動作と、回内・回外動作では筋肉の活動態様が相違するため、上方向および下方向のそれぞれへの操作に対して当該オペレータが感覚する反力が相違する。このため、オペレータがレバーの各方向への操作量を把握することが困難であり、その操作性が低下する可能性がある。
【0004】
オペレータによりその指先で押圧操作される前、後、左および右のスイッチ部により構成されている十字型スイッチが、建設機械の操作レバーの把持部側に設けられている操作レバー装置が提案されている(例えば、特許文献2参照)。これにより、建設機械を操作する際のオペレータの腕の疲労軽減が図られる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003-184128号公報
【特許文献2】特開2000-204599号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、指先による十字型スイッチの押圧操作には繊細かつ正確な指使いが要求されるので、オペレータの心的負荷が増大し、建設機械による作業効率が低下する可能性がある。
【0007】
そこで、本発明は、オペレータにとっての操作機構の操作性の向上を図りうるシステム等を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の操作反力制御システムは、
制御対象である作業機械またはその構成要素を相互に反対向きの正動作方向および負動作方向のそれぞれに動作させるために、オペレータにより相互に反対向きの正操作方向および負操作方向のそれぞれに操作される操作機構の、操作態様検知センサにより検知された操作方向に応じた方向に、当該操作態様検知センサにより検知された操作量の多少に応じた強弱の操作反力を前記操作機構に作用させるようにアクチュエータの動作を制御するように構成されている操作反力制御システムであって、
前記操作機構の前記正操作方向および前記負操作方向のそれぞれの操作量に応じて、前記操作機構を介して前記オペレータが感覚する操作反力である感覚反力が、前記操作機構の操作量0を基準として少なくとも部分的に対称性が実現されるように、前記操作機構に対してその操作量に応じた操作反力を前記正操作方向および前記負操作方向のそれぞれに作用させるように前記アクチュエータの動作を制御するように構成されている。
【0009】
当該構成の操作反力制御システムによれば、操作機構の相互に反対向きの正操作方向および負操作方向のそれぞれの操作量に応じて、アクチュエータの動作が制御されることにより操作反力が当該操作機構に作用する。この際、オペレータにより操作機構を介して感覚される反力(感覚反力)が、正操作方向の操作量範囲(正の定義域)および負操作方向の操作量範囲(負の定義域)において少なくとも部分的に、操作量0を基準とした対称性が実現されるようにアクチュエータの動作、ひいては操作機構に作用する操作反力が制御される。すなわち、正操作方向の操作量+Xと絶対値が等しい負操作方向の操作量-Xのそれぞれに応じた感覚反力F(+X)およびF(-X)のそれぞれが等しくなるように、操作反力f(X)が制御される。これにより、相互に反対向きの正操作方向および負操作方向のそれぞれについて、操作機構の操作量とオペレータの感覚反力との均等または整合が図られ、その分だけ当該オペレータにとって操作機構の操作性の向上が図られる。
【0010】
前記構成の操作反力制御システムにおいて、
前記感覚反力が、前記対称性が実現される前記操作機構の操作量に応じて線形的に変化するように、前記アクチュエータの動作を制御するように構成されていることが好ましい。
【0011】
当該構成の操作反力制御システムによれば、正操作方向の操作量+Xと絶対値が等しい負操作方向の操作量-Xのそれぞれに応じた感覚反力F(+X)およびF(-X)のそれぞれが等しく、かつ、線形的に変化する(F(X)=αX+β(X>0)、=-αX+β(X<0)、)ように、操作反力f(X)が制御される。これにより、相互に反対向きの正操作方向および負操作方向のそれぞれについての操作機構の操作量と当該操作機構を通じた感覚反力との関係性のオペレータによる把握の容易が図られ、ひいてはオペレータにとっての操作性の向上が図られる。
【0012】
前記構成の操作反力制御システムにおいて、
入力インターフェースを通じて入力された前記オペレータの属性を表わす属性因子に応じて推定される、前記感覚反力にしたがって前記アクチュエータの動作を制御するように構成されていることが好ましい。
【0013】
当該構成の操作反力制御システムによれば、感覚反力にはオペレータごとの個人差があることが勘案されたうえで、相互に反対向きの正操作方向および負操作方向のそれぞれについて、操作機構の操作量と当該オペレータの属性に応じて推定される感覚反力との均等または整合が図られ、その分だけ当該オペレータにとって操作機構の操作性の向上が図られる。
【0014】
前記構成の操作反力制御システムにおいて、
入力インターフェースを通じて入力された、当該操作反力が作用している前記操作機構を介して前記オペレータが感覚する操作反力である感覚反力にしたがって前記アクチュエータの動作を制御するように構成されていることが好ましい。
【0015】
当該構成の操作反力制御システムによれば、感覚反力にはオペレータごとの個人差があることが勘案されたうえで、相互に反対向きの正操作方向および負操作方向のそれぞれについて、操作機構の操作量と当該オペレータが実際に感覚した結果としての感覚反力との均等または整合が図られ、その分だけ当該オペレータにとって操作機構の操作性の向上が図られる。
【0016】
前記構成の操作反力制御システムにおいて、
前記アクチュエータおよび前記操作態様検知センサを備えていることが好ましい。
【0017】
当該構成の操作反力制御システムは、アクチュエータおよび操作態様検知センサとともに、オペレータの運転操作環境に配置されうる。
【図面の簡単な説明】
【0018】
【
図1】本発明の一実施形態としての操作反力制御システムの構成に関する説明図。
【発明を実施するための形態】
【0019】
(遠隔操作システムの構成)
図1に示されている本発明の一実施形態としての操作反力制御システム110は、遠隔操作装置20による作業機械40の遠隔操作を支援するための遠隔操作支援サーバ10により構成されている。遠隔操作支援サーバ10と遠隔操作装置20とは相互に第1ネットワークを介して通信可能に構成されている。遠隔操作支援サーバ10と作業機械40とは相互に第2ネットワークを介して通信可能に構成されている。第1ネットワークおよび第2ネットワークは、通信規格等が共通のネットワークであってもよく、通信規格等が相互に異なるネットワークであってもよい。
【0020】
(遠隔操作支援サーバの構成)
遠隔操作支援サーバ10は、データベース102と、操作反力制御システム110と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、撮像画像データ等を記憶保持する。データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
【0021】
(操作反力制御システムの構成)
図1に示されている本発明の一実施形態としての操作反力制御システム110は、操作態様認識要素111と、感覚反力認識要素112と、操作反力認識要素114と、を備えている。各要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
【0022】
(遠隔操作装置の構成)
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
【0023】
遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、遠隔画像出力装置221と、遠隔無線通信機器224と、を備えている。遠隔出力インターフェース220は、情報伝達手段として、遠隔画像出力装置221のほか、音響出力装置を備えていてもよい。
【0024】
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、操作態様検知センサ212と、アクチュエータ214と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
【0025】
遠隔操作機構211を構成する各操作レバーは、例えば、
図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
【0026】
図3に示されているように、操作レバー2111、2112は、十字型操作レバーであり、相互に反対向きの前操作方向および後操作方向(図の上方向および下方向)、ならびに、前操作方向および後操作方向に対して垂直で、同じく相互に反対向きの左操作方向および右操作方向(図の左方向および右方向)のそれぞれに変位または傾動可能に構成されている。操作レバー2111、2112の操作量は、前操作方向への傾動角度θ=θ
+(>0)および後操作方向への傾動角度θ=θ
-(<0)、ならびに、左操作方向への傾動角度φ=φ
+(>0)および右操作方向への傾動角度φ=φ
-(<0)により表現または定義される。
【0027】
操作レバー2111、2112が、前後左右のほか、右斜め前、左斜め前、右斜め後および左斜め後のそれぞれに傾動される全方位型操作レバーにより構成されていてもよい。例えば、操作レバー2111、2112が右斜め前方向に傾動された場合(前操作方向かつ右操作方向に同時に操作された場合)、当該操作レバー2111、2112の操作量は、前操作方向への傾動角度θ=θ+およびおよび右操作方向への傾動角度φ=φ-により定義される。操作レバー2111、2112が左斜め前方向に傾動された場合(前操作方向かつ左操作方向に同時に操作された場合)、当該操作レバー2111、2112の操作量は、前操作方向への傾動角度θ=θ+およびおよび左操作方向への傾動角度φ=φ+により定義される。操作レバー2111、2112が右斜め後方向に傾動された場合(後操作方向かつ右操作方向に同時に操作された場合)、当該操作レバー2111、2112の操作量は、後操作方向への傾動角度θ=θ-およびおよび右操作方向への傾動角度φ=φ-により定義される。操作レバー2111、2112が左斜め後方向に傾動された場合(後操作方向かつ左操作方向に同時に操作された場合)、当該操作レバー2111、2112の操作量は、後操作方向への傾動角度θ=θ-およびおよび左操作方向への傾動角度φ=φ+により定義される。
【0028】
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、
図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、
図2に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
【0029】
操作態様検知センサ212は、例えば、接触式または非接触式の角度センサにより構成されている。操作態様検知センサ212は、左側操作レバー2111および右側操作レバー2112のそれぞれの操作方向または傾動方向としての、前操作方向および後操作方向(相互に反対向きの一対の操作方向)、ならびに、左操作方向および右操作方向(同)の別と、左側操作レバー2111および右側操作レバー2112のそれぞれの操作量として傾動角度の大きさまたは絶対値と、のそれぞれに応じた信号を出力するように構成されている。当該出力信号は、遠隔制御装置20に入力され、その記憶装置に記憶保持される。
【0030】
操作レバー2111、2112に代えてまたは加えて、前後左右にスライド可能なスライド式スイッチが遠隔操作機構211を構成する場合、当該スイッチのスライド方向およびスライド量(変位量)が、遠隔操作機構211の操作態様として認識されてもよい。左右一対の走行レバー2110の傾動角度またはこれに連結されている部材の回動角度または変位量が操作量として検知されてもよい。
【0031】
アクチュエータ214は、例えば、電動モータにより構成されている。一対のアクチュエータ214のそれぞれが、別個の動力伝達機構を介して左側操作レバー2111および右側操作レバー2112のそれぞれに対して連結されている。各アクチュエータ214は、左側操作レバー2111および右側操作レバー2112のそれぞれに対して、その操作方向とは反対方向に、その操作量に応じた操作反力を作用させるように構成されている。アクチュエータ214の動作は、遠隔制御装置20により制御される。
【0032】
遠隔画像出力装置221は、例えば
図2に示されているように、シートStの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212により構成されている。中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のそれぞれの画面(画像表示領域)の形状およびサイズは同じであってもよく相違していてもよい。
【0033】
図2に示されているように、中央遠隔画像出力装置2210の画面および左側遠隔画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側遠隔画像出力装置2211の右縁が、中央遠隔画像出力装置2210の左縁に隣接している。
図2に示されているように、中央遠隔画像出力装置2210の画面および右側遠隔画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側遠隔画像出力装置2212の左縁が、中央遠隔画像出力装置2210の右縁に隣接している。当該傾斜角度θ1およびθ2は同じであっても相違していてもよい。
【0034】
中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置2210が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
【0035】
(作業機械の構成)
作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作業機構440と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
【0036】
作業機械40は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル(建設機械)であり、
図4に示されているように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、を備えている。上部旋回体420の前方左側部にはキャブ424(運転室)が設けられている。上部旋回体420の前方中央部には作業機構440が設けられている。
【0037】
実機入力インターフェース41は、実機操作機構411と、実機撮像装置412と、実機状態センサ群414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。実機撮像装置412は、例えばキャブ424の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構440の少なくとも一部を含む環境を撮像する。フロントウィンドウ(またはウィンドウフレーム)およびサイドウィンドウのうち一部または全部が省略されていてもよい。実機状態センサ群414は、上部旋回体410に対するブーム441の回動角度(起伏角度)、ブーム441に対するアーム443の回動角度、および、アーム443に対するバケット445の回動角度のそれぞれを測定するための角度センサ、下部走行体410に対する上部旋回体420の旋回角度を測定するための旋回角度センサ、バケット445に対して作用する外力を測定するための外力センサ、上部旋回体420に作用する3軸加速度を測定するための3軸加速度センサ等により構成されている。
【0038】
実機出力インターフェース42は、実機画像出力装置421と、実機無線通信機器422と、を備えている。実機画像出力装置421は、例えば、キャブ424の内部であってフロントウィンドウの近傍に配置されている(
図7および
図9参照)。実機画像出力装置421は、省略されていてもよい。
【0039】
作業機構440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業機構440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。作業部として、バケット445のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。
【0040】
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
【0041】
前記構成の遠隔操作支援サーバ10、遠隔操作装置20および作業機械40により構成されている遠隔操作支援システムの機能について
図5に示されているフローチャートを用いて説明する。当該機能には、本発明の一実施形態としての操作反力制御システム110の機能が含まれている。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
【0042】
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた指定操作の有無が判定される(
図5/STEP210)。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械40を指定するための遠隔入力インターフェース210におけるタップなどの操作である。当該判定結果が否定的である場合(
図5/STEP210‥NO)一連の処理が終了する。その一方、当該判定結果が肯定的である場合(
図5/STEP210‥YES)、遠隔無線通信機器224を通じて、遠隔操作支援サーバ10に対して環境確認要求が送信される(
図5/STEP212)。
【0043】
遠隔操作支援サーバ10において、環境確認要求が受信された場合、第1支援処理要素121により当該環境確認要求が該当する作業機械40に対して送信される(
図5/C10)。
【0044】
作業機械40において、実機無線通信機器422を通じて環境確認要求が受信された場合(
図5/C40)、実機制御装置400が実機撮像装置412を通じて撮像画像を取得する(
図5/STEP410)。実機制御装置400により、実機無線通信機器422を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置10に対して送信される(
図5/STEP412)。
【0045】
遠隔操作支援サーバ10において、第1支援処理要素121により撮像画像データが受信された場合(
図5/C11)、第2支援処理要素122により撮像画像に応じた環境画像データが遠隔操作装置20に対して送信される(
図5/STEP110)。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。
【0046】
遠隔操作装置20において、遠隔無線通信機器224を通じて環境画像データが受信された場合(
図5/C21)、遠隔制御装置200により、環境画像データに応じた環境画像が遠隔画像出力装置221に出力される(
図5/STEP214)。
【0047】
これにより、例えば、
図7に示されているように、作業機構440の一部であるブーム441、アーム443およびバケット445が映り込んでいる環境画像が遠隔画像出力装置221に出力される。
【0048】
遠隔操作装置20において、遠隔制御装置200により遠隔操作機構211の操作態様が認識され(
図5/STEP216)、かつ、遠隔無線通信機器224を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ10に対して送信される(
図5/STEP218)。
【0049】
遠隔操作支援サーバ10において、第2支援処理要素122により当該遠隔操作指令が受信された場合、第1支援処理要素121により、当該遠隔操作指令が作業機械40に対して送信される(
図5/C12)。
【0050】
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(
図5/C41)、作業機構440等の動作が制御される(
図5/STEP414)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体410を旋回させたうえでバケット445から土を落とす作業が実行される。
【0051】
遠隔操作支援サーバ10において、第2支援処理要素122により遠隔操作指令が受信された場合(
図5/C12)、操作反力制御システム110において、操作態様認識要素111により、当該遠隔操作指令に反映されている遠隔操作機構211の操作態様として、これを構成する左側操作レバー2111および右側操作レバー2112のそれぞれの操作方向および操作方向が認識(推定)される(
図5/STEP111)。
【0052】
例えば、中立位置における操作レバー2111、2112の傾動角度θ(または当該操作レバー2111、2112に連結されている部材の回動角度または変位量)が「0」、操作レバー2111、2112に前方向に傾動された場合の当該傾動角度θが正(0<θ)、操作レバー2111、2112に後方向に傾動された場合の当該傾動角度θが負(θ<0)として定義されている。中立位置における操作レバー2111、2112の傾動角度φ(または当該操作レバー2111、2112に連結されている部材の回動角度または変位量)が「0」、操作レバー2111、2112に左方向に傾動された場合の当該傾動角度φが正(0<φ)、操作レバー2111、2112に右方向に傾動された場合の当該傾動角度φが負(φ<0)として定義されている。
【0053】
続いて、操作態様認識要素111により認識された遠隔操作機構211の操作態様に応じて、オペレータが感覚する反力である感覚反力が感覚反力認識要素112により認識される(
図5/STEP112)。例えば、
図7に実線で示されているように、操作レバー2111、2112の前後操作方向についての傾動角度θを主変数とする第1感覚反力特性曲線F
1(θ)にしたがって、第1感覚反力F
1が認識される。
図7では、第1感覚反力特性曲線F
1(θ)が、F
1(θ)=-αθ+β(θ<0(0<α,0≦β))、F
1(θ)=αθ+β(0<θ)と表わされる、正負の定義域で対称性を有する線形関数として定義されている。
【0054】
操作レバー2111、2112の前操作方向および後操作方向のそれぞれへの操作量θに応じた第1感覚反力曲線F1(θ)と、操作レバー2111、2112の左操作方向および右操作方向のそれぞれへの操作量φに応じた第2感覚反力曲線F2(φ)と、は少なくとも一部の定義域において共通している関数であってもよい。
【0055】
前後操作方向についての第1感覚反力特性曲線F
1(θ)(ひいては前後操作方向についての第1感覚反力F
1)が、その負の定義域[-Θ,0]および正の定義域[0,Θ](例えば、Θは約+25°)のそれぞれのうち、
図7に示されているように全部において対称性を有するように定義されていてもよく、その一部[-θ
2,-θ
1]および[θ
1,θ
2](例えば、θ
1は約+5°、θ
2は約20°)のそれぞれにおいて対称性を有するように定義されていてもよい。第1感覚反力特性曲線F
1(θ)は、正負の定義域において少なくとも対称性を有する範囲において、線形関数のほか、指数関数、対数関数もしくはn次関数(2≦n)またはこれらの組み合わせにより定義されていてもよい。第1感覚反力特性曲線F
1(θ)(従変数)は、前後操作方向の操作量θ(主変数)の絶対値|θ|が大きくなるほど連続的にその値が大きくなるように定義されているが、操作量θ(主変数)の絶対値|θ|が大きくなる過程でその値が大きくなる傾向を示しながらも局所的にその値が小さくなるように定義されていてもよい。
【0056】
左右操作方向についての第2感覚反力特性曲線F
2(φ)(ひいては左右操作方向についての第2感覚反力F
2)が、その負の定義域[-Φ,0]および正の定義域[0,Φ](例えば、Θは約+25°)のそれぞれのうち全部において対称性を有するように定義されていてもよく、その一部[-φ
2,-φ
1]および[φ
1,φ
2](例えば、φ
1は約+10°、φ
2は約25°)のそれぞれにおいて対称性を有するように定義されていてもよい(
図7参照)。第2感覚反力特性曲線F
2(φ)は、正負の定義域において少なくとも対称性を有する範囲において、線形関数のほか、指数関数、対数関数もしくはn次関数(2≦n)またはこれらの組み合わせにより定義されていてもよい。第2感覚反力特性曲線F
2(φ)(従変数)は、左右操作方向の操作量φ(主変数)の絶対値|φ|が大きくなるほど連続的にその値が大きくなるように定義されているが、操作量φ(主変数)の絶対値|φ|が大きくなる過程でその値が大きくなる傾向を示しながらも局所的にその値が小さくなるように定義されていてもよい。
【0057】
そして、感覚反力認識要素112により認識された第1感覚反力F
1(θ)および/または第2感覚反力F
2(φ)に基づき、第1操作反力f
1(θ)および/または第2操作反力f
2(φ)のそれぞれまたはこれらを表わす制御指令信号が操作反力認識要素114により認識され、かつ、遠隔操作装置20に対して送信される(
図5/STEP114)。例えば、
図7に破線で示されているように、操作レバー2111、2112の前後操作方向の傾動角度θを主変数とする第1操作反力特性曲線f
1(θ)にしたがって、第1操作反力f
1が認識される。
【0058】
操作レバー2111、2112の前操作方向および後操作方向のそれぞれへの操作量θに応じた第1操作反力曲線f1(θ)と、操作レバー2111、2112の左操作方向および右操作方向のそれぞれへの操作量φに応じた第2操作反力曲線f2(φ)と、は少なくとも一部の定義域において共通している関数であってもよい。
【0059】
図7に示されているように、第1操作反力特性曲線f
1(θ)が、f
1(θ)=f
1-(θ)(θ<0)、f
1+(θ)(0<θ)と表わされる、正負の定義域で非対称な関数として定義されている。第1操作反力特性曲線f
1(θ)と、第1感覚反力特性曲線F
1(θ)と、は一定の相関関係を有している。当該相関関係は、例えば、関係式(01)にしたがって定義されている。
【0060】
f1(θ)=ε1logF1(θ)+δ1 ‥(01)。
【0061】
そのほか、当該相関関係は、前後操作方向の操作量θに依存する係数c1(θ)を用いて、関係式(11)にしたがって定義されていてもよい。
【0062】
f1(θ)=c1(θ)・F1(θ) ‥(11)。
【0063】
前後操作方向についての第1操作反力特性曲線f1(θ)(ひいては第1操作反力f)が、その負の定義域[-Θ,0]および正の定義域[0,Θ](例えば、Θは約+25°)のそれぞれのうち、少なくともその一部[-θ2,-θ1]および[θ1,θ2](例えば、θ1は約+5°、θ2は約20°)のそれぞれにおいて対称性を有するように定義されていてもよい。第1操作反力特性曲線f1(θ)は、線形関数のほか、指数関数、対数関数もしくはn次関数(2≦n)またはこれらの組み合わせにより定義されていてもよい。第1操作反力特性曲線f1(θ)(従変数)は、前後操作方向の操作量θ(主変数)の絶対値|θ|が大きくなるほど連続的にその値が大きくなるように定義されているが、操作量θ(主変数)の絶対値|θ|が大きくなる過程でその値が大きくなる傾向を示しながらも局所的にその値が小さくなるように定義されていてもよい。
【0064】
第2操作反力特性曲線f
2(φ)が、f
2(φ)=f
2-(φ)(φ<0)、f
2+(φ)(0<φ)と表わされる、正負の定義域で非対称な関数として定義されている(
図7参照)。第2操作反力特性曲線f
2(φ)と、第2感覚反力特性曲線F
2(φ)と、は一定の相関関係を有している。当該相関関係は、例えば、関係式(02)により定義されている。
【0065】
f2(φ)=ε2logF2(φ)+δ2 ‥(02)。
【0066】
そのほか、当該相関関係は、左右操作方向の操作量φに依存する係数c2(φ)を用いて、関係式(12)にしたがって定義されていてもよい。
【0067】
f2(φ)=c2(φ)・F2(φ) ‥(12)。
【0068】
左右操作方向についての第2操作反力特性曲線f2(φ)(ひいては第2操作反力f2)が、その負の定義域[-Φ,0]および正の定義域[0,Φ](例えば、Φは約+25°)のそれぞれのうち、少なくともその一部[-φ2,-φ1]および[φ1,φ2](例えば、φ1は約+10°、φ2は約25°)のそれぞれにおいて対称性を有するように定義されていてもよい。第2操作反力特性曲線f2(φ)は、線形関数のほか、指数関数、対数関数もしくはn次関数(2≦n)またはこれらの組み合わせにより定義されていてもよい。第2操作反力特性曲線f2(φ)(従変数)は、左右操作方向の操作量φ(主変数)の絶対値|φ|が大きくなるほど連続的にその値が大きくなるように定義されているが、操作量φ(主変数)の絶対値|φ|が大きくなる過程でその値が大きくなる傾向を示しながらも局所的にその値が小さくなるように定義されていてもよい。
【0069】
遠隔操作装置20において、遠隔無線通信機器224を通じて第1操作反力f
1(θ)および/もしくは第2操作反力f
2(φ)またはこれらを表わす制御指令信号が受信された場合(
図5/C22)、遠隔制御装置200により、該当する操作レバー2111、2112にその操作方向に反対向きに第1操作反力f
1(θ)および/または第2操作反力f
2(φ)(傾動された操作レバー2111、2112を逆向きに押し戻すような力)が作用するように、アクチュエータ214の動作が制御される(
図5/STEP219)。これにより、操作レバー2111、2112をグリップまたは把持部において把持しているオペレータに、当該操作レバー2111、2112を通じて、第1操作反力f
1(θ)および/または第2操作反力f
2(φ)に応じた第1感覚反力F
1(θ)および/または第2感覚反力F
2(φ)を感覚させることができる。
【0070】
(効果)
当該構成の遠隔操作支援システムを構成する操作反力制御システム110によれば、遠隔操作機構211を構成する左側操作レバー2111および/または右側操作レバー2112の相互に反対向きの前操作方向(正操作方向)および後操作方向(負操作方向)のそれぞれの操作量θに応じて、アクチュエータ214の動作が制御される。これにより、当該操作方向とは反対方向に第1操作反力f
1(θ)が当該操作レバー左側操作レバー2111および/または右側操作レバー2112に作用する(
図7/破線参照)。同様に、遠隔操作機構211を構成する左側操作レバー2111および/または右側操作レバー2112の相互に反対向きの左操作方向(正操作方向)および右操作方向(負操作方向)のそれぞれの操作量φに応じて、アクチュエータ214の動作が制御される。これにより、当該操作方向とは反対方向に第2操作反力f
2(φ)が当該操作レバー左側操作レバー2111および/または右側操作レバー2112に作用する。
【0071】
この際、オペレータにより左側操作レバー2111および/または右側操作レバー2112(操作機構)を介して感覚される後操作方向および前操作方向のそれぞれへの反力(第1感覚反力F
1(θ))が、前操作方向(正操作方向)の操作量範囲(正の定義域[0,Θ])および負操作方向の操作量範囲(負の定義域[-Θ,0])において、操作量0を基準とした対称性が実現されるようにアクチュエータ114の動作、ひいては左側操作レバー2111および/または右側操作レバー2112に作用する第1操作反力F
1(θ)が制御される(
図7/実線参照)。同様に、オペレータにより左側操作レバー2111および/または右側操作レバー2112(操作機構)を介して感覚される右操作方向および左操作方向のそれぞれへの反力(第2感覚反力F
2(φ))が、左操作方向(正操作方向)の操作量範囲(正の定義域[0,Φ])および負操作方向の操作量範囲(負の定義域[-Φ,0])において、操作量0を基準とした対称性が実現されるようにアクチュエータ114の動作、ひいては左側操作レバー2111および/または右側操作レバー2112に作用する第2操作反力F
2(φ)が制御される(
図7/実線参照)。
【0072】
これにより、相互に反対向きの正操作方向および負操作方向のそれぞれについて、左側操作レバー2111および/または右側操作レバー2112の操作量θ、φとオペレータの感覚反力F1(θ)、F2(φ)との均等または整合が図られ、その分だけ当該オペレータにとって左側操作レバー2111および/または右側操作レバー2112の操作性の向上が図られる。
【0073】
さらに、前操作方向(正操作方向)の操作量+θと絶対値が等しい後操作方向(負操作方向)の操作量-θのそれぞれに応じた第1感覚反力F
1(+θ)およびF
1(-θ)のそれぞれが等しく、かつ、線形的に変化するように、第1操作反力f
1(θ)が制御される(
図7/実線および破線参照)。同様に、左操作方向(正操作方向)の操作量+φと絶対値が等しい右操作方向(負操作方向)の操作量-φのそれぞれに応じた第2感覚反力F
2(+φ)およびF
2(-φ)のそれぞれが等しく、かつ、線形的に変化するように、第2操作反力f
2(θ)が制御される。これにより、相互に反対向きの正操作方向および負操作方向のそれぞれについての操作レバー2111、2112の操作量θ、φと当該左側操作レバー2111、 2112を通じた感覚反力F
1、F
2との関係性のオペレータによる把握の容易が図られ、ひいてはオペレータにとっての操作レバー2111、2112の操作性の向上が図られる。
【0074】
(本発明の他の実施形態)
前記実施形態では、遠隔操作支援サーバ10により操作反力制御システム110が構成されていたが、他の実施形態として遠隔操作装置20および/または作業機械40により操作反力制御システム110が構成されていてもよい。すなわち、遠隔操作装置20および/または作業機械40が、操作態様認識要素111、感覚反力認識要素112および操作反力認識要素114としての機能を有していてもよい。
【0075】
オペレータにより遠隔操作装置20を構成する遠隔操作機構211を通じて作業機械40が遠隔操作されるのではなく、作業機械40に搭乗したオペレータにより実機操作機構411を通じて当該作業機械40が実機操作されてもよい。この場合、遠隔操作支援サーバ10および遠隔操作装置20が省略されてもよい。そして、操作反力制御システム110が、実機操作機構411を構成する実機操作レバーのオペレータによる操作態様(操作方向および操作量)を検知するための操作態様検知センサ212とともに作業機械40に搭載されていてもよい。操作反力制御システム110が、実機操作機構411(またはこれを構成する実機操作レバー)と、操作態様検知センサ212と、を備えていてもよい。
【0076】
操作反力制御システム110が、遠隔入力インターフェース211(例えば、タッチパネル装置)を通じて入力されたオペレータの属性を表わす属性因子に応じて推定される感覚反力にしたがって、アクチュエータ114の動作を制御するように構成されていてもよい。「属性因子」には、例えば、オペレータの身長、四肢の長さ、握力、腕力、脚力、視力、聴力、体重、体脂肪率および/または体重などの身体的属性のほか、居住地、オペレータとしての経験年数(職歴)および運動歴などの社会的属性を表わす因子またはパラメータが含まれていてもよい。属性因子(γ1、γ2、‥γn)に応じて、前述した第1感覚反力特性曲線F1(θ)が多変数関数F1(θ、γ1、γ2、‥γn)にしたがって推定され、かつ/または、第2感覚反力特性曲線F2(φ)が多変数関数F2(φ、γ1、γ2、‥γn)にしたがって推定される。
【0077】
例えば、一の属性因子γp(例えば、筋活動度)、前後操作方向についての操作レバー2111、2112の操作量θおよび第1操作反力f1(θ)に基づき、関係式(21)にしたがって、係数ξ1(θ)およびη1(θ)のそれぞれのθ依存性が求められる。同様に、一の属性因子γp、左右操作方向についての操作レバー2111、2112の操作量φおよび第2操作反力f2(φ)に基づき、関係式(22)にしたがって係数ξ2(φ)およびη2(φ)のφ依存性が求められる。
【0078】
γp=ξ1(θ)f1(θ)+η1(θ)‥(21)。
【0079】
γp=ξ2(φ)f2(φ)+η2(φ)‥(22)。
【0080】
そして、係数ξ1(θ)およびη1(θ)に基づき、関係式(31)にしたがって、係数ξ1、η1、a1およびb1のうち少なくとも1つのθ依存性が求められる。同様に、係数ξ2(φ)およびη2(φ)に基づき、関係式(32)にしたがって、係数ξ2、η2、a2およびb2のうち少なくとも1つのφ依存性が求められる。
【0081】
c1(θ)
=ξ1(a1log{(ξ1(θ)f1(θ)+η1(θ)-η1)/ξ1}+b1)
÷(ξ1(θ)f1(θ)+η1(θ)-η1) ‥(31)。
【0082】
c2(φ)
=ξ2(a2log{(ξ2(φ)f2(φ)+η2(φ)-η2)/ξ2}+b2)
÷(ξ2(φ)f2(φ)+η2(φ)-η2) ‥(32)。
【0083】
前後操作方向についての操作レバー2111、2112の操作量θに基づき、当該係数群のθ依存性にしたがって、係数c1(θ)、ひいては第1操作反力f1(θ)が認識かつ制御される(関係式(11)参照)。左右操作方向についての操作レバー2111、2112の操作量φに基づき、当該係数群のφ依存性にしたがって、係数c2(θ)、ひいては第1操作反力f2(θ)が認識かつ制御される(関係式(12)参照)。
【0084】
当該構成の操作反力制御システム110によれば、感覚反力にはオペレータごとの個人差があることが勘案されたうえで、相互に反対向きの正操作方向および負操作方向のそれぞれについて、操作レバー2111、2112の操作量と当該オペレータの属性に応じて推定される感覚反力との均等または整合が図られ、その分だけ当該オペレータにとって操作レバー2111、2112の操作性の向上が図られる。
【0085】
操作反力制御システム110が、遠隔入力インターフェース211(例えば、タッチパネル装置)を通じて入力された、操作反力が作用している左側操作レバー2111および/または右側操作レバー2112を介してオペレータが感覚する感覚反力にしたがってアクチュエータ114の動作を制御するように構成されていてもよい。
【0086】
例えば、アクチュエータ114により基準操作反力f=f0(≠0)を操作レバー2111、2112に作用させた状態の感覚反力Fを「100」としてオペレータに遠隔画像出力装置221を通じて認知させる。そして、一または複数の試験操作反力f=κ1f0、κ2f0、‥、κmf0(0<κ1<κ2<‥<κm)を操作レバー2111、2112に作用させた場合に、操作レバー2111、2112にを介して感覚された反力F=ζ1、ζ2、‥、ζmを当該オペレータに遠隔入力インターフェース211に入力させる。試験操作反力の強弱を定める一または複数の係数値(κ1、κ2、‥、κm)と、感覚反力Fの強弱を定める係数値(ζ1、ζ2、‥、ζm)に基づき、前述した関係式(01)における係数(ε1,δ1)および/もしくは関係式(02)における(ε2,δ2)、または関係式(11)における係数c1(θ)および/または関係式(12)におけるc2(φ)が定められる。
【0087】
これにより、目標または基準となる第1感覚反力特性曲線F
1(θ)(
図7/実線参照)に加えて、当該係数(ε
1,δ
1)または係数c
1(θ)に基づき、第1操作反力特性曲線f
1(θ)が推定される(関係式(01)、(11)、
図7/破線参照)。同様に、目標または基準となる第2感覚反力特性曲線F
2(φ)(
図7/実線参照)に加えて、当該係数(ε
2,δ
2)または係数c
2(φ)に基づき、第2操作反力特性曲線f
2(φ)が推定される(関係式(02)、(12)、
図7/破線参照)。そして、当該操作反力f
1(θ)および/またはf
2(φ)が実現されるように、アクチュエータ114の動作が制御される。
【0088】
当該構成の操作反力制御システム110によれば、感覚反力にはオペレータごとの個人差があることが勘案されたうえで、相互に反対向きの正操作方向および負操作方向のそれぞれについて、左側操作レバー2111、2112の操作量と当該オペレータが実際に感覚した結果としての感覚反力との均等または整合が図られ、その分だけ当該オペレータにとって操作レバー2111、2112の操作性の向上が図られる。
【符号の説明】
【0089】
10‥遠隔操作サーバ、20‥遠隔操作装置、24‥遠隔制御装置、40‥作業機械、110‥操作反力制御システム、111‥操作態様認識要素、112‥感覚反力認識要素、114‥操作反力認識要素、210‥遠隔入力インターフェース、211‥遠隔操作機構、220‥遠隔出力インターフェース、221‥遠隔画像出力装置(情報出力装置)、224‥遠隔無線通信機器、410‥実機入力インターフェース、412‥実機撮像装置、414‥状態センサ群、420‥実機出力インターフェース、421‥実機画像出力装置(情報出力装置)、422‥実機無線通信機器、440‥作業機構(作業アタッチメント)、445‥バケット(作業部)、2111‥左側操作レバー、2112‥右側操作レバー。