(58)【調査した分野】(Int.Cl.,DB名)
作業対象物がマニピュレータの作業可能範囲に含まれる位置に無人車両を停止させた状態にして行うことを特徴とする請求項1に記載の無人車両における遠隔操縦用画像の作製方法。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記したような従来の無人車両にあっては、1台のカメラの一画像では遠近感が乏しいことから、マニピュレータを前後方向に遠隔操縦する際、作業対象物とマニピュレータのハンド部との衝突を避けるために、慎重を期して微速で動かさざるを得なかった。これにより作業時間が長くなり、時には遠近感が失われて作業ミスを起こし易くなるという問題点があり、このような問題点を解決することが課題であった。なお、遠近感を確保するために2台のカメラを使用することも提案されていたが、装置や制御の複雑化を招く虞がある。
【0005】
本発明は、上記従来の課題に着目して成されたものであって、マニピュレータ及びカメラを備えた無人車両において、1台の車載カメラを使用して作業対象物とハンド部との距離感を把握しやすい遠隔操縦用の参考画像を得ることができ、作業時間の短縮化や作業ミスの防止を実現することができる無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明に係わる無人車両における遠隔操縦用画像の作製方法は、マニピュレータ及びカメラを備えた無人車両の遠隔操縦用画像を作製するに際し、作業対象物に対する作業に応じて作業対象物の正面部を任意に設定した後、先端にハンド部を有するマニピュレータの先端近傍に装着した車載カメラを用い、車載カメラが作業対象物の側部を捕捉する選定位置にマニピュレータを回動させて、車載カメラで作業対象物を含む選定画像を撮像し、車載カメラが作業対象物の正面部及びハンド部を捕捉する作業位置にマニピュレータを回動させた後、無人車両の位置データ及び方向データ、マニピュレータの形状データ、並びにマニピュレータの選定位置及び作業位置での姿勢データに基づいて、選定画像上における作業位置でのマニピュレータのCG画像を作製し、
この際、マニピュレータの位置及び方向データを更新しながらCG画像を作製し、選定画像とマニピュレータのCG画像とを合成して遠隔操縦用の参考画像とすることを特徴としている。
【0007】
本発明に係わる無人車両の遠隔操縦システムは、マニピュレータ及びカメラを備えた無人車両の遠隔操縦システムであって、オペレータが操作する遠隔操縦装置と、無人車両に搭載され且つ遠隔操縦装置と相互にデータ通信を行う車載制御装置とを備え、マニピュレータが、先端のハンド部と、先端近傍に装着した車載カメラとを備え、遠隔操縦装置及び車載制御装置のいずれか一方の装置が、画像処理手段を備え、画像処理手段が、無人車両の位置データ及び方向データ、マニピュレータの形状データ、並びにマニピュレータの姿勢データに基づいてマニピュレータのCG画像を作製
し且つマニピュレータの位置及び方向データを更新しながらCG画像を作製する機能と、マニピュレータのCG画像と車載カメラが撮像した画像とを合成して遠隔操縦用の参考画像を作製する機能とを有し、遠隔操縦装置が、参考画像と、作業位置における車載カメラが撮像する遠隔操縦用の現状画像とを表示する表示部を有していることを特徴としている。
【発明の効果】
【0008】
本発明に係わる無人車両における遠隔操縦用画像の作製方法では、選定画像上における作業位置でのマニピュレータのCG画像を作製し、
この際、マニピュレータの位置及び方向データを更新しながらマニピュレータの動きに同期した動画としてのCG画像を作製し、選定画像とマニピュレータのCG画像とを合成して遠隔操縦用の参考画像とすることから、車載カメラで撮像する遠隔操縦用の現状画像に加えて、作業対象物及びハンド部を横方向から見た状態の遠隔操縦用の参考画像が得られることとなる。
【0009】
これにより、無人車両における遠隔操縦用画像の作製方法によれば、マニピュレータ及びカメラを備えた無人車両において、1台の車載カメラを使用して、遠隔操縦用の現状画像と、作業対象物とハンド部との距離感を把握しやすい遠隔操縦用の参考画像とを得ることができ、作業を容易にして、作業時間の短縮化や作業ミスの防止を実現することができる。
【0010】
本発明に係わる無人車両の遠隔操縦システムによれば、マニピュレータ及びカメラを備えた無人車両において、1台の車載カメラを使用して、遠隔操縦用の現状画像と、作業対象物とハンド部との距離感を把握しやすい遠隔操縦用の参考画像とを得ることができ、作業を容易にして、作業時間の短縮化や作業ミスの防止を実現することができる。
【発明を実施するための形態】
【0012】
以下、図面に基づいて、本発明に係わる無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムの一実施形態を説明する。
【0013】
図1(A)及び(B)に示す無人車両Vは、車体Bに前後左右の車輪Wを備えたものであって、左右前輪、左右後輪又は全車輪に設けたモータ、若しくは車載された原動機及び動力伝達機構により走行可能であり、ステアリング機構(図示せず)を設けることもできる。この無人車両Vの車体Bには、マニピュレータM及び車載制御装置Cvが搭載されている。このような無人車両Vは、人が立ち入り困難な場所での作業や、危険物の処理作業などに用いられる。
【0014】
マニピュレータMは、概略としてアームAの先端にハンド部Hを備えたものである。詳細には、アームAは、車体Bの中央に配置したベース1と、ベース1に対して回転可能に立設した旋回柱2と、旋回柱2の上端に第1関節部J1を介して基端を連結した第1連結杆L1と、第1連結杆L1の先端に第2関節部J2を介して基端を連結した第2連結杆L2と、第2連結杆L2の先端に第3関節部J3を介して基端を連結した第3連結杆L3とを備え、第3連結杆L3の先端にハンド部Hが設けてある。ハンド部Hは、駆動部3によって把持・解放の動作が行われる一対のフィンガーF,Fを備えている。
【0015】
上記のアームAにおいて、旋回柱2、第1〜第3の関節部J1〜J3、及び駆動部3には、いずれも回転検出機能を有するサーボモータが用いられる。旋回柱2は、垂直軸回りに正逆回転可能であり、第1〜第3の関節部J1〜J3は、水平軸回りに正逆回転可能である。駆動部3は、第3連結杆L3の軸線に直交する竪軸回りに正逆回転して、フィンガーF,Fの把持・解放の動作を行う。なお、アームAは、上記以外の動作機能を加えることも可能であり、例えば、ハンド部Hを第3連結杆L3の軸線回りに正逆回転させる構成としても良い。
【0016】
さらに、アームAは、先端部近傍に、車載カメラ4が装着してある。この実施形態の車載カメラ4は、例えばCCDカメラのような小型軽量のものであって、第3連結杆L3の上部に、旋回台5を介して装着してある。旋回台5は、回転検出機能を有するサーボモータを含み、第3連結杆L3の軸線に直交する竪軸回りに車載カメラ4を回動させる機能、すなわちパン機能の働きをする。なお、車載カメラ4は、ズーム機能やチルト機能を有するものでも良い。
【0017】
ここで、本発明に係わる無人車両の遠隔操縦システムは、マニピュレータ及びカメラを備えた無人車両の遠隔操縦システムであって、
図1(A)に示すように、オペレータが操作する遠隔操縦装置Csと、無人車両Vに搭載され且つ遠隔操縦装置Csと相互にデータ通信を行う車載制御装置Cvとを備えると共に、上述したように、マニピュレータMが、先端のハンド部Hと、先端近傍に装着した車載カメラ4とを備えている。
【0018】
車載制御装置Cvは、無人車両Vの自己位置(絶対位置)及び方向を検出する位置センサ及び方向センサ、主コンピュータ、遠隔操縦装置Csとデータ通信を行う送受信器、及びバッテリなどを備えている。位置センサには、例えばGPSを用いることができる。方向センサには、例えば加速度計や磁気センサなどを用いることができる。
【0019】
主コンピュータは、無人車両Vの位置及び方向のデータ、マニピュレータMの姿勢データ、車載カメラ4の位置及び方向のデータ、並びに車載カメラ4で撮像した画像データなどを入力すると共に、遠隔操縦装置Csから受信した指令信号を各機能部に出力する。マニピュレータMの姿勢データは、旋回柱2、第1〜第3の関節部J1〜J3、及び駆動部3の回転検出により得ることができる。車載カメラ4の位置及び方向のデータは、マニピュレータMの姿勢データと、旋回台5の回転検出とにより得ることができる。
【0020】
遠隔操縦装置Csは、とくに限定されないが、携行可能なものであって、主コンピュータ6、車載制御装置Cvとデータ通信を行う送受信器、遠隔操縦用画像の表示部(モニタ)7、無人車両Vを走行させるためのコントローラ8、マニピュレータMを動かすためのコントローラ9、及びバッテリなどを備えている。主コンピュータ6は、車載制御装置Cvから受信した各データ信号を入力すると共に、車載カメラ4が撮像する画像や処理後の画像を表示部7に表示し、各コントローラ8,9の操作により生じる信号を指令信号に変換して出力する。
【0021】
そして、無人車両の遠隔操縦システムは、遠隔操縦装置Cs及び車載制御装置Cvのいずれか一方の装置が、
図2に示す画像処理手段を有し、上記の如く、遠隔操縦装置Csが遠隔操縦用の参考画像と、車載カメラ4が撮像する遠隔操縦用の現状画像とを表示する表示部7を有している。この画像処理手段は、遠隔操縦装置Csの主コンピュータの一機能とすれば、車載制御装置Cvの主コンピュータの簡略化やデータ通信量の低減を図ることができる。
【0022】
図2に示す画像処理手段は、基本構成として、無人車両Vの位置及び方向のデータ(B1)と、マニピュレータMの形状データ(B2)と、マニピュレータMの姿勢データ(B3)とを用いて現在のハンド部H及びアームAの位置及び方向データ(B6)を作成する機能を備えている。
【0023】
また、画像処理手段は、マニピュレータMの形状データ(B2)と、現在のハンド部H及びアームAの位置及び方向データ(B6)と、車載カメラ4の特性データ(B7)と、選定画像撮影時の車載カメラ4の位置及び方向のデータ(B8)とを用いて選定画像上でのマニピュレータMのCG(Computer Graphics)画像を作製する機能(B4)を備えていると共に、選定画像とマニピュレータMのCG画像とを合成する機能(B5)を備えている。
【0024】
無人車両Vの位置データ及び方向データ(B1)は、先述した位置センサ及び方向センサにより検出されるデータである。マニピュレータMの形状データ(B2)は、予め設定されているデータであり、車体Bにおける旋回柱2の位置(地上からの高さ)や、旋回柱2、第1〜第3の連結杆L1〜L3、第1〜第3の関節部J1〜J3、及びハンド部Hの夫々の諸寸法である。
【0025】
マニピュレータMの姿勢データ(B3)は、旋回柱2、第1〜第3の関節部J1〜J3、及び駆動部3の回転検出(回転角度)により得られるデータであり、これにより第1〜第3の連結杆L1〜L3の夫々の傾斜角度を算出することができる。上記の無人車両Vの位置データ及び方向データ(B1)、マニピュレータMの形状データ(B2)、及び姿勢データ(B3)により、現在のハンド部H及びアームAの位置及び方向データ(B6)を作成する。現在のハンド部H及びアームAの位置及び方向データ(B6)は、作業に伴って変化するハンド部H及びアームA(マニピュレータM)の姿勢データである。
【0026】
また、車載カメラ4の特性データ(B7)は、予め設定されているデータであり、車載カメラ4の画角や解像度などである。車載カメラ4の位置及び方向のデータ(B8)は、マニピュレータMにおける位置や、旋回台5の回転検出により得られるデータである。そして、上記のマニピュレータMの形状データ(B2)、現在のハンド部H及びアームAの位置及び方向データ(B6)、車載カメラ4の特性データ(B7)、及び車載カメラ4の位置及び方向のデータ(B8)により、選定画像上でのマニピュレータMのCG(Computer Graphics)画像を作製する(B4)。なお、CG画像の作製機能(B4)や画像合成機能(B5)は、予めプログラムされた画像処理機能である。
【0027】
次に、上記構成を備えた無人車両の遠隔操縦システムの動作とともに、本発明に係わる無人車両における遠隔操縦用画像の作製方法を説明する。
【0028】
無人車両における遠隔操縦用画像の作製方法では、最初に、作業対象物Tに対する作業に応じて作業対象物Tの正面部を任意に設定する。この際、無人車両Vは、遠隔操縦装置Csにより、作業対象物Tに向けて走行させると共に、その作業を行うべき方向から接近させ、望ましくは、作業対象物TがマニピュレータMの作業可能範囲に含まれる位置に停止させる。
【0029】
このとき、無人車両Vの向きと作業対象物Tとの位置は、とくに限定されないが、説明の都合上、
図1に示すように作業対象物Tに無人車両Vの前面を向けた場合には、作業対象物Tの対向面を正面部とし、その左右両側を側部とする。つまり、作業対象物Tの正面部は、作業対象物Tの構造や方向性に関係なく、作業時に任意に設定するものである。
【0030】
上記の設定後、遠隔操縦用画像の作製方法では、車載カメラ4、すなわち先端にハンド部Hを有するマニピュレータMの先端近傍に装着した車載カメラ4を用い、
図3(A)に示すように、車載カメラ4が作業対象物Tの側部を捕捉する選定位置にマニピュレータM及び車載カメラ4を回動させて、
図3(B)に示すように、車載カメラ4で作業対象物Tを含む選定画像P1を撮像する。
【0031】
なお、この選定画像P1の撮像は、一回でも構わないが、マニピュレータMにより車載カメラ4の位置を変えて複数回行うことも可能であり、作業対象物Tの形状などに応じて選択的に行うことができる。また、選定画像P1は、静止画で良いが、後にマニピュレータMのCG画像(動画)を合成するので、車載カメラ4の画角によっては、無人車両V側に空間的余裕があるアングルにすることが望ましい。
【0032】
次に、遠隔操縦用画像の作製方法では、
図1(A)に示すように、車載カメラ4が作業対象物Tの正面部及びハンド部Hを捕捉する作業位置にマニピュレータM及び車載カメラ4を回動させる。
【0033】
そして、遠隔操縦用画像の作製方法では、画像処理手段により、無人車両Vの位置データ及び方向データ(B1)、マニピュレfータMの形状データ(B2)、並びにマニピュレータMの選定位置(
図3A)及び作業位置(
図1A)での姿勢データ(B3)、現在のハンド部H及びアームA位置及び方向データ(B6)、車載カメラ4の特性データ(B7)、並びに車載カメラ4の位置及び方向のデータ(B8)に基づいて、
図3(C)に示すように、選定画像(P1)上における作業位置でのマニピュレータMのCG画像P2を作製する。
【0034】
このとき、画像処理装置は、現在のハンド部H及びアームA
の位置及び方向データ(B6)を用いているので、作業位置に戻したマニピュレータMをさらに動かすと、所定時間毎に同データ(B6)を更新しながらCG画像P2を作製する。これにより、CG画像P2は、マニピュレータMの動きに同期した動画になる。
【0035】
このようにして、遠隔操縦用画像の作製方法では、選定画像P1とマニピュレータMのCG画像P2とを合成して、
図3(C)に示す遠隔操縦用の参考画像P3を作製する。この参考画像P3は、遠隔操縦装置Csの表示部7に表示する。一方、遠隔操縦システムでは、
図1(C)に示すように、作業位置における車載カメラ4により、作業風景を映す動画としての遠隔操縦用の現状画像P4を撮像している。
【0036】
そこで、遠隔操縦用画像の作製方法、及び遠隔操縦システムでは、遠隔操縦装置Csの表示部7において、
図3(D)に示すように、参考画像P3に現状画像P4を重畳表示して、これを遠隔操縦用画像P5とする。なお、逆に、参考画像P3を現状画像P4に重畳表示して遠隔操縦用画像P5としても良いし、参考画像P3と現状画像P4を別々に表示しても良い。また、作業対象物Tに対して方向性が異なる複数の選定画像P1を撮像した場合には、夫々の選定画像P1にCG画像P2を合成して複数の参考画像P3を作製し、これらを表示することもできる。
【0037】
以上のように、上記の無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムでは、選定画像P1上における作業位置でのマニピュレータMのCG画像P2を作製し、選定画像P1とマニピュレータMのCG画像P2とを合成して遠隔操縦用の参考画像P3とすることから、車載カメラ4で撮像する現状画像P4に加えて、作業対象物T及びハンド部Hを横方向から見た状態の遠隔操縦用の参考画像P3が得られることとなる。
【0038】
これにより、無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムによれば、1台の車載カメラ4を使用して、遠隔操縦用の現状画像P4と、作業対象物Tとハンド部Hとの距離感を把握しやすい遠隔操縦用の参考画像P3とを得ることができ、両画像P3,P4を含む遠隔操縦用画像P5を見ながら容易に且つ確実にマニピュレータMを操作することができるので、作業時間の短縮化や作業ミスの防止を実現することができる。しかも、撮像には1台の車載カメラ4だけを使用するので、マニピュレータM及び車載カメラ4を含む車両側の構造の複雑化や重量増大を防止できる。
【0039】
また、無人車両における遠隔操縦用画像の作製方法は、作業対象物TがマニピュレータMの作業可能範囲に含まれる位置に無人車両Vを停止させた状態にして行うようにすれば、無人車両Vの位置や方向のデータを更新する必要が無くなるので、データ処理量を軽減することができる。
【0040】
なお、上記実施形態では、
図2に示す画像処理手段が、現在のマニピュレータMの姿勢データ(B6)を用いるものとしたが、別ブロック(B3)に示すマニピュレータMの姿勢データが作業位置でのマニピュレータMの姿勢データを含むものであれば、現在のマニピュレータMの姿勢データ(B6)を省略することができる。
【0041】
また、上記実施形態では、画像処理手段が、車載カメラ4の特性データ(B7)を用いるものとしたが、この特性データ(B7)やマニピュレータMの形状データ(B2)は、予め設定されたデータであるから、これらのデータ(B7)(B2)を設定条件データとして統一することができる。
【0042】
さらに、上記実施形態では、画像処理手段が、車載カメラ4の位置及び方向のデータ(B8)を用いるものとしたが、車載カメラの種類により条件が異なり、例えば、全方向カメラを用いた場合には、旋回台5が不要になると共に、マニピュレータMの姿勢データから車載カメラの位置を検出し得るので、データ量の軽減などを図ることができる。
【0043】
本発明に係わる無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムは、その構成が上記実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲で構成の細部を適宜変更することが可能である。無人車両は、4輪以外であっても良く、無限軌道やその他の走行手段を組み合わせたものでも良い。マニピュレータは、間接部や連結杆の数及び長さ、並びに間接部の回転方向を変更したり、任意の機器を備えたハンド部を採用したりすることができる。