(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような遠隔操作システムでは、コントローラが発信する操作信号は信号データが小さく、無線により僅かなタイムラグで作業機械に伝送されるので、コントローラの操作により作業機械をタイムラグなく操作することができる。
【0006】
これに対し、作業部を映すカメラの映像信号はコントローラの操作信号よりも信号のデータ量が大きいので、無線により伝送されてモニタに表示されるまでのタイムラグはコントローラの操作により作業機械が動作するまでのタイムラグよりも大きくなる。そのため、作業部が動作すると、モニタには実際の作業部の位置に対してずれた位置に作業部が表示される「画像遅れ」が生じることになる。画像遅れが生じると、操作者はこの画像遅れを考慮して作業機械の操作を行なわなければならないので、この遠隔操作システムを用いた作業の能率が低下することになる。
【0007】
本発明の目的は、画像遅れによる作業性の低下を補完して能率よく作業を行うことができる遠隔操作システムを提供することにある。
【課題を解決するための手段】
【0009】
本発明の遠隔操作システムは、作業部を備えた作業機械を操作席に設けたコントローラにより無線で遠隔操作する遠隔操作システムであって、前記作業機械に設けられ、前記作業部を撮影するカメラと、前記操作席に設けられ、前記カメラの映像信号が無線で伝送されるモニタと、前記作業機械に設けられ、前記カメラの撮影映像の前記作業部に対応した位置に前記作業部の線画を作成する送信用線画作成手段とを有し、前記送信用線画作成手段が作成した線画を無線で前記モニタに伝送して前記カメラの撮影映像に重ねて前記モニタに表示させることを特徴とする。
【0010】
本発明の遠隔操作システムは、HSPA回線網に無線で接続される電話系無線通信端末により前記作業機械と前記操作席との間の無線通信を行うことを特徴とする。
【0011】
本発明の遠隔操作システムは、前記電話系無線通信端末はモバイルルータであることを特徴とする。
【0012】
本発明の遠隔操作システムは、HSPA回線網に無線で接続される電話系無線通信端末と前記HSPA回線網に有線で接続される電話系有線通信端末とにより前記作業機械と前記操作席との間の無線通信を行うことを特徴とする。
【0013】
本発明の遠隔操作システムは、前記電話系無線通信端末はモバイルルータであり、前記電話系有線
通信端末はブロードバンドルータであることを特徴とする。
【発明の効果】
【0015】
本発明によれば、カメラの撮影映像の作業部に対応した位置に送信用線画作成手段により作業部の線画を作成し、その線画を無線でモニタに伝送してカメラの撮影映像に重ねてモニタに表示するようにしたので、伝送によるタイムラグが小さい線画を用いて、より実際の位置に近い位置に作業部を表示することができる。これにより、操作者は、モニタの表示に画像遅れが生じても、モニタに表示された線画に基づいてモニタの画像遅れを補完しながら作業部の操作を行うことができる。したがって、この遠隔操作システムを用いた作業の能率を高めることができる。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【0018】
本発明の遠隔操作システムは、例えば、地震や自然災害の災害復旧現場、原子力発電所の事故発生現場など、2次災害発生のおそれがあるために作業者を派遣することが困難な作業現場での作業に適用される。
【0019】
図1に示すように、本発明の一実施の形態である遠隔操作システム11は、作業機械12とコントロールルーム13とを有している。作業機械12は作業現場14に配置され、コントロールルーム13は作業現場14から離れた遠隔地に設けられる。本実施の形態では、コントロールルーム13は作業現場14から約950km離れた場所に設けられている。
【0020】
コントロールルーム13には操作席15が設けられており、
図2、
図3に示すように、操作席15にはコントローラ16とモニタ17とが設けられている。コントローラ16は操作者に操作される複数の操作レバー16aを備えており、操作者はこれらの操作レバー16aを操作することにより、作業機械12を無線で遠隔操作することができる。
【0021】
図1に示す場合では、作業現場14に配置される作業機械12としてバックホー型の油圧ショベル(建設機械)が用いられている。この作業機械12の作業部12aは可動アーム12bの先端に設けられたショベル(バケット)となっており、この作業部12aにより土壌の掘削等の作業を行うことができる。
【0022】
本実施の形態においては、作業現場14に1つの作業機械12のみを配置するようにしているが、これに限らず、複数の作業機械12を同一の作業現場14に配置し、これらの作業機械12を対応するコントローラ16により遠隔操作して複数の作業機械12を並行に作業させるようにしてもよい。また、作業機械12としてはバックホー型の油圧ショベルに限らず、例えばブルドーザやホイールローダ等の他の建設機械を用いるようにしてもよい。
【0023】
図2に示すように、作業機械12には遠隔操作用の駆動制御装置(受信コントロールユニット)21が設けられ、コントローラ16からの操作信号が駆動制御装置21に入力されると作業機械12が駆動制御装置21により駆動制御されてコントローラ16からの操作信号に応じた動作を行うようになっている。
【0024】
作業機械12としては、作業機械12に遠隔操作用の駆動制御装置21が一体に組み込まれた遠隔操作専用の作業機械12を用いてもよく、または、作業者が操作のために搭乗する運転台を備えた作業機械12にこの作業機械12とは別ユニットとして設けられた駆動制御装置21を搭載することにより遠隔操作可能に構成された作業機械12を用いるようにしてもよい。
【0025】
コントローラ16と駆動制御装置21は特定小電力無線通信を用いたラジオコントロール装置として構成されているが、本実施の形態では、コントローラ16と駆動制御装置21とを特定小電力無線通信を用いて直接無線通信させるのではなく、HSPA回線網22を介して無線通信させるようにしている。
【0026】
図2に示すように、コントローラ16と駆動制御装置21とをHSPA回線網22を介して無線通信させるために、操作席15には電話系無線通信端末としてのモバイルルータ23が設けられ、作業機械12には電話系無線通信端末としてのモバイルルータ24が設けられている。
【0027】
コントローラ16とモバイルルータ23との間にはメディアコンバータ25が設けられ、コントローラ16のインターフェイスから出力された操作信号はメディアコンバータ25によりモバイルルータ23に適合した伝送データに変換されてモバイルルータ23のインターフェイスに入力される。本実施の形態では、コントローラ16のRS422インターフェイスから操作信号が出力され、その操作信号はメディアコンバータ25によりRS232cに変換されてモバイルルータのRS232cインターフェイスに入力される。
【0028】
駆動制御装置21とモバイルルータ24との間にもメディアコンバータ26が設けられ、モバイルルータ24のインターフェイスから出力された操作信号はメディアコンバータ26により駆動制御装置21に適合した伝送データに戻されて駆動制御装置21のインターフェイスに入力される。本実施の形態では、操作信号はモバイルルータ24のRS232cインターフェイスから出力され、メディアコンバータ26によりRS422に変換されて駆動制御装置21のRS422インターフェイスに入力される。
【0029】
各モバイルルータ23,24は、それぞれ無線によりHSPA回線網22に接続可能となっている。これにより、操作席15の側のモバイルルータ23と作業機械12の側のモバイルルータ24はHSPA回線網22を介して互いにデータ通信を行うことができる。コントローラ16が操作されると、その操作信号はコントローラ16の側つまり操作席15の側のモバイルルータ23から出力され、HSPA回線網22を介して作業機械12の側のモバイルルータ24に伝送されて駆動制御装置21に入力される。
【0030】
このように、この遠隔操作システム11では、コントローラ16と駆動制御装置21とをHSPA回線網22を介して無線通信させることにより、作業機械12をコントローラ16により無線で遠隔操作するようにしている。したがって、コントローラ16と作業機械12は、これらがHSPA回線網22に接続可能な場所にあれば、互いにどんなに離れていても、その距離に拘わらず互いに無線通信を行うことができる。
【0031】
ここで、HSPA(High Speed
Packet Access)回線網22とは、3GPP(Third Generation Partnership
Project)により規定されたHSPA規格に準拠した高速無線パケット通信を行う第3.5世代移動通信システムの電話回線網である。高速無線パケット通信はHSDPA(高速ダウンリンクパケットアクセス)とHSUPA(高速アップリンクパケットアクセス)を含む。このようなHSPA回線網22としては、例えば株式会社エヌ・ティ・ティ・ドコモが提供する「FOMA(登録商標)ハイスピードサービス」、ソフトバンクモバイル株式会社が提供する「3G ハイスピード(登録商標)」、イー・モバイル株式会社の提供する「EMモバイル(登録商標)ブロードバンドサービス」などがある。
【0032】
図2に示すように、作業機械12には作業部(ショベル)12aを撮影するカメラ31が設けられている。このカメラ31は動画を撮影するビデオカメラとなっており、このカメラ31の撮影した映像信号は操作席15のモニタ17に無線で伝送される。つまり、操作席15のモニタ17にはカメラ31が撮影した作業機械12の作業部12aが表示される。これにより、操作者はモニタ17に表示された作業部12aの状態を確認しながらコントローラ16を操作して作業機械12を遠隔操作することができる。
【0033】
なお、このカメラ31は、作業部12aの作業状態を撮影することができるように、例えば作業機械12の運転台等に固定され、または無線でその撮影方向を変更できるように設けられる。
【0034】
カメラ31の映像をモニタ17に無線で伝送するために、カメラ31はイーサネット(登録商標)によりモバイルルータ24に接続されている。カメラ31とモバイルルータ24との間にはエンコーダ32が接続され、カメラ31の映像信号(ビデオカメラ信号:NTSC)はエンコーダ32によりH.264(MPEG−4 AVC)の圧縮符号化が行われてモバイルルータ24に入力される。
【0035】
一方、モニタ17はイーサネット(登録商標)を介してモバイルルータ23に接続されている。モバイルルータ23とモニタ17との間にはデコーダ33が接続され、エンコーダ32より圧縮符号化されたカメラ31からの伝送データはデコーダ33により元の映像信号に復元されてモニタ17に入力される。
【0036】
モニタ17に接続されたモバイルルータ23はHSPA回線網22に接続可能となっているので、カメラ31の側のモバイルルータ24とモニタ17の側のモバイルルータ23はHSPA回線網22を介して互いにデータ通信を行うことができる。したがって、カメラ31からの映像信号は、モバイルルータ24、HSPA回線網22およびモバイルルータ23を介して伝送されてモニタ17に入力される。このように、作業機械12の作業部12aを撮影したカメラ31の映像信号も、コントローラ16の操作信号と同様に、HSPA回線網22を介した無線通信により伝送されてモニタ17に入力される。
【0037】
図1に示すように、作業現場14には、作業機械12に設けられたカメラ31とは別に2台のカメラ41,42が配置されている。これらのカメラ41,42はそれぞれ支持台43,44により支持されて作業現場14に配置されており、作業現場14に配置された作業機械12の作業の様子を外方から撮影するようになっている。
【0038】
支持台43,44に支持された各カメラ41,42には、作業機械12に設けられたカメラ31と同様に、それぞれモバイルルータ45,46がイーサネットにより接続されている。また、各カメラ42,43とモバイルルータ45,46の間にはそれぞれエンコーダ47,48が接続され、カメラ41,42の映像信号(ビデオカメラ信号:NTSC)はエンコーダ47,48によりH.264(MPEG−4 AVC)の圧縮符号化が行われてからモバイルルータ45,46に入力されるようになっている。
【0039】
図2、
図3に示すように、これらのカメラ41,42に対応したサブモニタ51,52がモニタ17の両脇に位置して操作席15に配置されている。これらのサブモニタ51,52にはそれぞれイーサネットを介してモバイルルータ53,54が接続され、モバイルルータ53,54とサブモニタ51,52との間にはそれぞれデコーダ55,56が接続されている。これにより、カメラ41,42が撮影した映像信号は、モバイルルータ45,46、HSPA回線網22およびモバイルルータ53,54を介して対応するサブモニタ51,52に入力され、各サブモニタ51,52にそれぞれカメラ41,42により撮影された作業機械12の外方から見た作業の様子が表示される。
【0040】
操作席15のモニタ17には作業部12aの映像が表示され、サブモニタ51,52には作業機械12を外方から見た映像が表示されるので、操作席15の座席57に座った操作者は、これらのモニタ17,51,52の映像を見ながらコントローラ16を操作して作業機械12を遠隔操作することができる。そして、コントローラ16が操作されると、その操作信号がHSPA回線網22を介して作業機械12に伝送され、作業機械12が遠隔操作されて無人で作業が行なわれる。
【0041】
図2に示すように、本発明の遠隔操作システム11には、モニタ17の画像遅れを補完して作業能率を高めるために、線画作成用データ作成手段としての線画作成用データ作成装置60と線画作成手段としての線画作成装置61とを備えた線画表示システムが設けられている。
【0042】
図4に示すように、この線画表示システムは、カメラ31が撮影した作業部12aの撮影映像に重ねて、線画作成装置61で作成した作業部12aの線画62をモニタ17に表示することにより、コントローラ16を操作する操作者がモニタ17の表示の画像遅れを補完しながら作業することを可能とする。
【0043】
線画作成用データ作成装置60はCPU(中央演算処理装置)やメモリ等を備えたマイクロコンピュータとして構成されており、作業機械12に設けられてイーサネットによりカメラ31に接続されている。カメラ31からの撮影映像の映像データが入力されると、線画作成用データ作成装置60は、その撮影画像を画像認識(パターン認識)を実行するソフトウェアにより処理して撮影画像から作業部12aの輪郭を検出し、検出した輪郭に沿った形状の線画62を作成するために必要な線画作成用データを作成する。つまり、線画作成用データ作成装置60は、カメラ31から入力された撮影映像の作業部12aに対応した位置に作業部12aの輪郭に対応した形状の線画62を作成するために必要な線画作成用データを作成する。そして、線画作成用データ作成装置60は作成した線画作成用データをモニタ17に向けて出力する。
【0044】
線画作成用データ作成装置60はモバイルルータ24に接続されており、線画作成用データ作成装置60が作成した線画作成用データはモバイルルータ24からHSPA回線網22を介して操作席15の側のモバイルルータ23に伝送される。
【0045】
線画作成装置61は操作席15に設けられており、イーサネットによりモバイルルータ23に接続されている。モバイルルータ23に伝送された線画作成用データはモバイルルータ23を介して線画作成装置61に入力される。線画作成装置61はCPU(中央演算処理装置)やメモリ等を備えたマイクロコンピュータとして構成されており、イーサネットによりモニタ17に接続されている。
【0046】
線画作成用データ作成装置60からの線画作成用データが入力されると、線画作成装置61は、線画作成用データに基づいてカメラ31から入力された撮影映像の作業部12aに対応した位置に作業部12aの輪郭に対応した形状の線画62を作成する。そして、線画作成装置61が作成した作業部12aの線画62はモニタ17に入力され、モニタ17にはカメラ31からの映像信号による撮影映像に重ねて線画作成装置61により作成された作業部12aの線画62が表示される。
【0047】
ここで、カメラ31からモニタ17に無線で伝送される映像信号は、コントローラ16から作業機械12に無線で伝送される操作信号に比べて信号のデータ量が大きいので、カメラ31からの映像信号が無線伝送されてモニタ17に表示されるまでのタイムラグはコントローラ16の操作により作業部12aが作動を開始するまでのタイムラグに比べて大きくなる。そのため、モニタ17の表示には、コントローラ16の操作による実際の作業部12aの動作に対してモニタ17に表示される作業部12aの動作が遅れる「画像遅れ」が生じることになる。
【0048】
これに対して、線画作成用データ作成装置60により作成された作業部12aの線画作成用データは、線画62をモニタ17の画面上に表示するために必要な座標情報により構成され、カメラ31から送信される映像信号に比べてデータ量が大幅に小さいので、カメラ31からの映像信号に比べて無線通信によるモニタ17への伝送のタイムラグが小さく、瞬時にモニタ17に伝送される。つまり、モニタ17に表示される線画62は、カメラ31からの映像信号による作業部12aの映像に比べて画像遅れが小さくなっている。そのため、本発明の遠隔操作システム11では、カメラ31の撮影映像がモニタ17で画像遅れを生じても、モニタ17に瞬時に伝送される線画62により作業部12aの実際の位置を推測ないし認識することができる。したがって、操作者は、モニタ17に表示される線画62に基づき、作業部12aの実際の位置を推測ないし認識することで、モニタ17に表示される作業部12aの画像遅れを補完しながらコントローラ16により作業機械12の操作を行うことができる。
【0049】
図4(a)は作業部の動作前のモニタの表示を示す図であり、(b)は作業部を動作させたときのモニタの表示を示す図である。
【0050】
作業部12aが停止しているときにはモニタ17に画像遅れは生じないので、
図4(a)に示すように、モニタ17にはカメラ31に撮影された作業部12aと作業部12aの線画62とが重ねて表示される。この状態から作業機械12をコントローラ16により無線で遠隔操作して作業部12aを動作させると、作業部12aの移動に伴いモニタ17に表示されるカメラ31の撮影映像には無線通信による画像遅れが生じ、カメラ31の撮影映像による作業部12aは実際の作業部12aの位置からずれて表示される。
【0051】
これに対して、線画作成用データ作成装置60と線画作成装置61とにより作成された作業部12aの線画62は無線通信による画像遅れをほとんど生じないので、
図4(b)に示すように、線画62はカメラ31の撮影映像による作業部12aに比べて先行する位置に表示される。つまり、モニタ17には、カメラ31の撮影映像の作業部12aよりも実際の作業部12aにより近い位置に線画62が表示される。したがって、操作者は、モニタ17に表示される線画62により、実際の作業部12aの位置を推測ないし認識しながら作業部12aの操作を行うことができる。
【0052】
このように、本発明の遠隔操作システム11では、モニタ17に画像遅れが生じても、操作者は、モニタ17に表示される作業部12aの線画62に基づき作業部12aの実際の位置を推測ないし認識することができる。したがって、例えば、画像遅れによりモニタ17に表示される作業部12aが未だ土壌に衝突していなくても、線画作成装置61により作成された作業部12aの線画62が土壌に衝突することを目視することで、実際の作業部12aが土壌等に衝突したこと、つまり実際の作業部12aの位置を推測ないし認識することができる。これにより、操作者は画像遅れを確実に補完しながら作業機械12の操作を行うことができる。
【0053】
図5は
図2に示す遠隔操作システムの変形例であって、各モニタをブロードバンドルータにより有線でHSPA回線網に接続するようにした場合を示す模式図である。
【0054】
図2に示す遠隔操作システム11では、各モニタ17,51,52を、モバイルルータ23,53,54を用いた無線通信によりHSPA回線網22に接続するようにしている。
【0055】
これに対して、
図5に示す変形例では、各モニタ17,51,52を電話系有線通信端末であるブロードバンドルータ71により有線でHSPA回線網22に接続するようにしている。この場合、各モニタ17,51,52はイーサネットを介してもブロードバンドルータ71に接続され、各モニタ17,51,52とブロードバンドルータ71との間にそれぞれデコーダ33,55,56が接続される。
【0056】
操作席15が建物として構成されたコントロールルーム13に配置され、コントローラ16をコントロールルーム13の外部などに持ち運ぶ必要がない場合には、
図5に示す変形例のように、各モニタ17,51,52を電話系有線通信端末であるブロードバンドルータ71を用いてHSPA回線網22に接続することにより、カメラ31から各モニタ17,51,52へ伝送される映像信号の通信速度や通信安定性を高めることができる。
【0057】
一方、
図2に示すように、コントローラ16と各モニタ17,51,52の通信端末として電話系無線通信端末であるモバイルルータ23,53,54を用いることにより、操作席15を車両として構成されたコントロールルーム13に配置したりコントローラ16と各モニタ17,51,52を持ち運び可能な構成としたりすることができる。
【0058】
図6は
図2に示す遠隔操作システムの変形例であって、作業機械の側で作成した線画を無線でモニタに伝送するようにした場合を示す模式図である。
【0059】
図2に示す遠隔操作システム11では、線画作成用データ作成装置60を作業機械12に設け、線画作成用データ作成装置60が作成した線画作成用データを無線により作業機械12から操作席15に伝送し、操作席15に設けた線画作成装置61により作業部12aの線画62を作成してモニタ17に表示させるようにしている。
【0060】
これに対して、
図6に示す変形例では、作業機械12に送信用線画作成手段としての送信用線画作成装置81を設け、送信用線画作成装置81により線画62を作成するようにしている。送信用線画作成装置81は線画作成用データ作成装置60と線画作成装置61の機能を併せ持ったものであり、カメラ31の撮影映像から画像認識等の技術を用いて作業部12aの線画62を作成することができる。
【0061】
送信用線画作成装置81が作成した線画62の線画データは、モバイルルータ24からHSPA回線網22を介して操作席15の側のモバイルルータ23に無線で伝送され、モニタ17に入力される。この場合も、線画62の線画データは、線画62をモニタ17の画面上に表示するための座標情報により構成され、カメラ31から送信される映像信号に比べてデータ量が大幅に小さいので、カメラ31からの映像信号に比べて無線通信によるモニタ17への伝送のタイムラグが小さく、瞬時にモニタ17に伝送される。
【0062】
なお、
図5、
図6においては、前述した部材に対応する部材には同一の符号を付してある。
【0063】
本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【0064】
例えば、前記実施の形態においては、作業機械12と操作席15とをHSPA回線網22を介して無線通信させるようにしているが、これに限らず、例えば、他の電話回線網を介した無線通信や特定小電力無線などの通常の無線通信など、他の無線通信手段を用いて作業機械12と操作席15とを無線通信させる構成としてもよい。
【0065】
また、前記実施の形態においては、電話系無線通信端末としてモバイルルータ23,24,45,46,53,54を用いているが、これに限らず、電話系無線通信端末として携帯電話など他の通信端末を用いるようにしてもよい。
【0066】
さらに、前記実施の形態においては、災害復旧現場等の作業現場14における作業に本発明を適用しているが、これに限らず、通常の建設現場、土木作業現場などの他の作業現場に本発明の遠隔操作システム11を用いるようにしてもよい。この場合、作業機械12としては建設機械に限らず、その作業用途に応じて、消防用車両、原子力発電所の災害復旧用車両、戦車等の軍用車両などを用いることができる。