(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-05
(45)【発行日】2023-12-13
(54)【発明の名称】遠隔操作装置
(51)【国際特許分類】
B25J 13/08 20060101AFI20231206BHJP
B25J 3/00 20060101ALI20231206BHJP
【ＦＩ】
B25J13/08 A
B25J3/00 C
B25J3/00 D
【請求項の数】
12
(21)【出願番号】P 2021559199
(86)(22)【出願日】2021-04-19
(86)【国際出願番号】 JP2021015911
(87)【国際公開番号】W WO2022030047
(87)【国際公開日】2022-02-10
【審査請求日】2021-10-04
【審判番号】
【審判請求日】2022-07-14
(31)【優先権主張番号】P 2020131900
(32)【優先日】2020-08-03
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100109612
【弁理士】
【氏名又は名称】倉谷 泰孝
(74)【代理人】
【識別番号】100153176
【弁理士】
【氏名又は名称】松井 重明
(74)【代理人】
【識別番号】100116643
【弁理士】
【氏名又は名称】伊達 研郎
(72)【発明者】
【氏名】春名 正樹
(72)【発明者】
【氏名】森本 貴景
(72)【発明者】
【氏名】嶺岸 亜紀
(72)【発明者】
【氏名】延命 朋希
【合議体】
【審判長】渋谷 善弘
【審判官】鈴木 貴雄
【審判官】田々井 正吾
(56)【参考文献】
【文献】特表２０１６－５３１００８（ＪＰ，Ａ）
【文献】特表２０１６－５３８８９４（ＪＰ，Ａ）
【文献】特開２００４－２２３１２８（ＪＰ，Ａ）
【文献】国際公開第２０１９／０１２８１２（ＷＯ，Ａ１）
【文献】特開２００４－２４３５１６（ＪＰ，Ａ）
【文献】特開２０２０－７５３５４（ＪＰ，Ａ）
【文献】特開２０１２－２３６２４４（ＪＰ，Ａ）
【文献】特開２０１４－１８０７２３（ＪＰ，Ａ）
【文献】特開２０１７－１３２０６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
B25J 1/00 - 21/02
G05B 19/18 - 19/416
G05B 19/42 - 19/46
A61B 34/00 - 34/37
(57)【特許請求の範囲】
【請求項1】
実機械を模擬した補助装置を着用していない操作者が前記実機械を遠隔操作する際に用いる遠隔操作装置であって、前記実機械の運動可能な範囲であって、前記操作者によって設定される複数の拘束点で構成される運動可能範囲を生成する制限部と、
前記実機械が映像化された実機械映像と、前記運動可能範囲が映像化された可動情報映像と、を表示する映像表示部と、
前記映像表示部に表示された前記実機械映像及び前記可動情報映像を見た前記操作者からのジェスチャー操作による操作情報と、前記運動可能範囲と、に基づいて、前記運動可能範囲は前記実機械が設置される空間座標系に変換し、前記操作情報を変換された前記運動可能範囲で拘束した後、変換前の前記運動可能範囲が入力された空間座標系に逆変換して前記実機械を操作するための入力情報である第１指令情報を生成する操作部と、
を備える遠隔操作装置。
【請求項2】
前記運動可能範囲は、前記複数の拘束点を結ぶ直線と、前記複数の拘束点を結ぶ曲線と、前記複数の拘束点を結ぶ直線によって囲まれた領域と、前記複数の拘束点を結ぶ曲線によって囲まれた領域と、のうちのいずれか１つである請求項１に記載の遠隔操作装置。
【請求項3】
前記実機械映像は、撮像手段によって撮影される前記実機械が映像化されたものである請求項１または２に記載の遠隔操作装置。
【請求項4】
前記第１指令情報を用いて前記実機械のモデルを生成する実機械モデル生成部と、前記撮像手段を操作するための入力情報である第２指令情報を用いて前記撮像手段のモデルを生成する撮像モデル生成部とを有し、前記実機械のモデルと前記撮像手段のモデルとを組み合わせたモデル情報を出力するモデル生成部と、前記制限部が生成した前記運動可能範囲と、前記モデル生成部が出力した前記モデル情報とに基づいて、前記運動可能範囲を映像化して前記可動情報映像を生成する映像モデル生成部と、
を更に備え、
前記映像表示部は、前記実機械映像と、前記映像モデル生成部からの前記可動情報映像とを表示する請求項３に記載の遠隔操作装置。
【請求項5】
前記操作部は、前記操作者からの前記操作情報に基づいて、前記撮像手段を駆動する駆動装置を操作するための入力情報である第５指令情報を更に生成する請求項３または４のいずれか１項に記載の遠隔操作装置。
【請求項6】
前記操作部は、前記操作者からの前記操作情報に基づいて、前記撮像手段を駆動する駆動装置を操作するための入力情報である第５指令情報を更に生成し、前記モデル生成部は、前記第５指令情報を用いて前記駆動装置のモデルを生成する駆動モデル生成部を更に有し、前記駆動装置のモデルを更に組み合わせた前記モデル情報を出力する請求項４に記載の遠隔操作装置。
【請求項7】
前記操作部は、前記操作者からの前記操作情報に基づいて、前記実機械に接続されるマニピュレータを操作するための入力情報である第６指令情報を更に生成する請求項２～５のいずれか１項に記載の遠隔操作装置。
【請求項8】
前記操作部は、前記操作者からの前記操作情報に基づいて、前記実機械に接続されるマニピュレータを操作するための入力情報である第６指令情報を更に生成し、前記モデル生成部は、前記第６指令情報を用いて前記マニピュレータのモデルを生成するマニピュレータモデル生成部を更に有し、前記マニピュレータのモデルを更に組み合わせた前記モデル情報を出力する請求項４または６に記載の遠隔操作装置。
【請求項9】
前記制限部は、前記操作者からの制限情報に基づいて、前記マニピュレータの開閉可能範囲を設定する請求項７または８に記載の遠隔操作装置。
【請求項10】
前記制限部は、前記操作者からの制限情報に基づいて、前記マニピュレータの姿勢制限範囲を設定する請求項７～９のいずれか１項に記載の遠隔操作装置。
【請求項11】
前記操作部は、前記運動可能範囲が設定された空間座標系を前記実機械が設置される座標系に変換する座標系変換部と、変換された前記座標系において、前記運動可能範囲を構成する複数の拘束点に対し逆運動学計算を行い、計算結果を前記第１指令情報として出力する逆運動学計算部と、
を更に備える請求項４または６に記載の遠隔操作装置。
【請求項12】
前記操作部は、複数の前記撮像手段のうちの少なくとも１つの前記撮像手段を有効とするよう、前記撮像手段への指令情報を生成する請求項３～１１のいずれか１項に記載の遠隔操作装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、実機械を操作者が遠隔操作する遠隔操作装置に関する。
【背景技術】
【0002】
操作者が実機械を遠隔操作する際、操作者が予測する実機械の挙動と、実際の実機械の挙動が異なることから、実機械の運動予測が困難となり、作業効率が悪くなる。
【0003】
特許文献１は、非常に器用なシステムのユーザインタフェースを開示する。当該システムは、実機械の運動予測を容易にするために、実機械の運動可能範囲を設定する。
【先行技術文献】
【特許文献】
【0004】
【文献】特表２０１８－５１３７１１号公報（第１０－１２頁、第１図）
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の遠隔操作装置では、操作者は実機械の運動可能範囲を把握することができず、作業効率が悪くなるという課題があった。
【0006】
本開示は、上述の課題を解決するためになされた。本開示の目的は、実機械の運動可能範囲を設定し、設定された運動可能範囲を操作者に提示することで、作業効率が良くなる遠隔操作装置を提供することである。
【課題を解決するための手段】
【0007】
本開示に係る遠隔操作装置は、実機械を模擬した補助装置を着用していない操作者が前記実機械を遠隔操作する遠隔操作装置であって、前記実機械の運動可能な範囲であって、前記操作者によって設定される複数の拘束点で構成される運動可能範囲を生成する制限部と、前記実機械が映像化された実機械映像と、前記運動可能範囲が映像化された可動情報映像と、を表示する映像表示部と、前記映像表示部に表示された前記実機械映像及び前記可動情報映像を見た前記操作者からのジェスチャー操作による操作情報と、前記運動可能範囲と、に基づいて、前記運動可能範囲は前記実機械が設置される空間座標系に変換し、前記操作情報を変換された前記運動可能範囲で拘束した後、変換前の前記運動可能範囲が入力された空間座標系に逆変換して前記実機械を操作するための入力情報である第１指令情報を生成する操作部と、を備える。
【発明の効果】
【0008】
本開示によれば、遠隔操作装置は、実機械の運動可能範囲を設定し、設定された運動可能範囲を操作者に提示することで、従来に比べて作業効率を良くすることができる。
【図面の簡単な説明】
【0009】
【図1】実施の形態１における遠隔操作装置の構成の一例を示すブロック図である。
【図2】実施の形態１における操作部を含む構成の一例を示す模式図である。
【図3】実施の形態１における操作部の一例を示す模式図である。
【図4】実施の形態１における実機械を含む構成の一例を示す模式図である。
【図5】実施の形態１において第１のモードで運動可能範囲を設定する場合の制限部の一例を示す模式図である。
【図6】実施の形態１において第１のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。
【図7】実施の形態１において第２のモードで運動可能範囲を設定する場合の制限部の一例を示す模式図である。
【図8】実施の形態１において第２のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。
【図9】実施の形態１において第３のモードで運動可能範囲を設定する場合の制限部の一例を示す模式図である。
【図10】実施の形態１において第３のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。
【図11】実施の形態１において第４のモードで運動可能範囲を設定する場合の制限部の一例を示す模式図である。
【図12】実施の形態１において第４のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。
【図13】実施の形態１において第５のモードで運動可能範囲を設定する場合のモデル生成部の構成の一例を示す模式図である。
【図14】実施の形態１において第５のモードで運動可能範囲を設定する場合の操作部の一例を示す模式図である。
【図15】実施の形態１において第５のモードで運動可能範囲を設定した場合の映像表示部での映像の一例を示す模式図である。
【図16】実施の形態１において第５のモードで運動可能範囲を設定した場合の映像表示部での別の映像の一例を示す模式図である。
【図17】実施の形態２における遠隔操作装置の構成の一例を示すブロック図である。
【図18】実施の形態２における実機械を含む構成の一例を示す模式図である。
【図19】実施の形態２における実機械を含む別の構成の一例を示す模式図である。
【図20】実施の形態２における映像表示部での映像の一例を示す模式図である。
【図21】実施の形態２における映像表示部での別の映像の一例を示す模式図である。
【図22】実施の形態３における遠隔操作装置の構成の一例を示すブロック図である。
【図23】実施の形態３における遠隔操作装置の別の構成の一例を示すブロック図である。
【図24】実施の形態３における実機械を含む構成の一例を示す模式図である。
【図25】実施の形態４における遠隔操作装置の構成の一例を示すブロック図である。
【図26】実施の形態４における遠隔操作装置の別の構成の一例を示すブロック図である。
【図27】実施の形態４における実機械を含む構成の一例を示す模式図である。
【図28】実施の形態４における制限部の一例を示す模式図である。
【図29】実施の形態４における映像表示部での映像の一例を示す模式図である。
【図30】実施の形態４における映像表示部での別の映像の一例を示す模式図である。
【図31】実施の形態５における遠隔操作装置の構成の一例を示すブロック図である。
【図32】実施の形態５における遠隔操作装置の別の構成の一例を示すブロック図である。
【図33】実施の形態５における実機械を含む構成の一例を示す模式図である。
【図34】実施の形態１から５における遠隔操作装置の動作の一例を示すフローチャートである。
【図35】実施の形態６における遠隔操作装置の構成の一例を示すブロック図である。
【図36】実施の形態６における遠隔操作装置の動作の一例を示すフローチャートである。
【図37】実施の形態７における遠隔操作装置の構成の一例を示すブロック図である。
【図38】実施の形態７における実機械を含む構成の一例を示す模式図である。
【図39】実施の形態７における映像表示部での映像の一例を示す模式図である。
【図40】実施の形態７における運動可能範囲とエンドエフェクタの運動軌跡との関係を示す模式図である。
【図41】実施の形態７における遠隔操作装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
実施の形態について添付の図面に従って説明する。なお、説明を容易にするために、各図中にｘｙｚ直交座標系の座標軸を示す。実機械３において、後に説明するｘ軸並進機構３１とｙ軸並進機構３２とｚ軸並進機構３３とが配置される方向でｘｙｚ直交座標系を定義する。ｘ軸並進機構３１が配置される方向と同じ方向をｘ軸方向とする。奥側が＋ｘ方向であり、手前側が－ｘ方向である。ｙ軸並進機構３２が配置される方向と同じ方向をｙ軸方向とする。左側が＋ｙ方向であり、右側が－ｙ方向である。ｚ軸並進機構３３が配置される方向と同じ方向をｚ軸方向とする。上側が＋ｚ方向であり、下側が－ｚ方向である。また、操作部１２および操作者に対し、奥行方向をｘ軸方向とする。奥側が＋ｘ方向であり、手前側が－ｘ方向である。操作部１２および操作者に対し、左右方向をｙ軸方向とする。左側が＋ｙ方向であり、右側が－ｙ方向である。操作部１２および操作者に対し、上下方向をｚ軸方向とする。上側が＋ｚ方向であり、下側が－ｚ方向である。
【0011】
実施の形態１．
図１は、実施の形態１における遠隔操作装置１の構成の一例を示すブロック図である。遠隔操作装置１は、撮像手段４によって撮影される実機械３を操作者が遠隔操作するものである。
図１は、実施の形態１における遠隔操作装置１の構成の一例を示すブロック図である。遠隔操作装置１は、撮像手段４によって撮影される実機械３を操作者が遠隔操作するものである。
【0012】
図１に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。
【0013】
制限部１１は、図示しない操作者からの制限情報Ｓ１を受け取る。制限部１１は、この制限情報Ｓ１に基づいて運動可能範囲Ｓ３を生成し、操作部１２および映像モデル生成部１４に与える。制限情報Ｓ１は、実機械３の運動可能な範囲を操作者が設定する情報である。運動可能範囲Ｓ３は、操作者によって設定される、実機械３の運動可能な範囲である。すなわち、制限部１１は、操作者からの制限情報Ｓ１に基づいて、実機械３の運動可能範囲Ｓ３を設定する。
【0014】
操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、操作情報Ｓ２と運動可能範囲Ｓ３とに基づいて第１指令情報Ｓ４と第２指令情報Ｓ５とを生成し、第１指令情報Ｓ４を実機械３および実機械モデル生成部１３１に与え、第２指令情報Ｓ５を撮像手段４および撮像モデル生成部１３２に与える。操作情報Ｓ２は、実機械３を遠隔操作するための運動コマンドである。この運動コマンドは、後に説明する操作部１２内の操縦桿１２１およびボタン１２２の操作そのものである。第１指令情報Ｓ４は、実機械３を操作するための入力情報である。具体的には、第１指令情報Ｓ４は、実機械３を動かすドライバーＩＣやマイコンなどへの入力情報である。第２指令情報Ｓ５は、撮像手段４を操作するための入力情報である。具体的には、第２指令情報Ｓ５は、撮像手段４への、撮影のＯＮ／ＯＦＦ切り替えコマンド、および倍率調整コマンドなどである。操作者は、撮像手段４の倍率を調整することで、実機械３の全体映像と拡大映像との両方を確認しながら実機械３を操作することができる。
【0015】
モデル生成部１３は、操作部１２からの第１指令情報Ｓ４および第２指令情報Ｓ５を受け取る。モデル生成部１３は、これらの情報に基づいてモデル情報Ｓ６を生成し、映像モデル生成部１４に与える。モデル生成部１３は、第１指令情報Ｓ４を用いて実機械３のモデルを生成する実機械モデル生成部１３１と、第２指令情報Ｓ５を用いて撮像手段４のモデルを生成する撮像モデル生成部１３２とを有する。モデル情報Ｓ６は、実機械３のモデルと撮像手段４のモデルとを組み合わせたものであり、例えば実機械３を所定の方向から見えるように仮想的に投影された３次元モデルである。ここで所定の方向とは、撮像手段４が実機械３を撮影する方向と同じである。すなわち、モデル生成部１３は、実機械３のモデルと撮像手段４のモデルとを組み合わせたモデル情報Ｓ６を出力する。
【0016】
映像モデル生成部１４は、制限部１１からの運動可能範囲Ｓ３と、モデル生成部１３からのモデル情報Ｓ６とを受け取る。映像モデル生成部１４は、これらの情報に基づいて、運動可能範囲Ｓ３が映像化された可動情報映像Ｓ７を生成し、映像表示部１５に与える。可動情報映像Ｓ７は、実機械３に対応した運動可能範囲Ｓ３が映像化されたものである。
【0017】
映像表示部１５は、映像モデル生成部１４からの可動情報映像Ｓ７と、撮像手段４からの実機械映像Ｓ８とを受け取る。映像表示部１５は、可動情報映像Ｓ７と実機械映像Ｓ８とに基づいて映像Ｓ９を生成し、映像Ｓ９を操作者に提示する。映像表示部１５は、実機械映像Ｓ８と可動情報映像Ｓ７とを表示する。実機械映像Ｓ８は、実機械３を撮影して映像化されたものである。映像表示部１５は、可動情報映像Ｓ７内の３次元モデルの位置と実機械映像Ｓ８内の実機械の位置とが一致するよう、可動情報映像Ｓ７の位置調整を行う。これにより、可動情報映像Ｓ７が実機械映像Ｓ８に対し正確な位置に重畳される。可動情報映像Ｓ７の位置調整は、可動情報映像Ｓ７と実機械映像Ｓ８との画像特徴点あるいはマーカーなどを利用した画像処理によって行われてもよい。あるいは、可動情報映像Ｓ７と実機械映像Ｓ８との初期位置を補正することによって行われてもよい。可動情報映像Ｓ７の位置調整を行う方法は、これらに限定されない。また、映像表示部１５は実機械映像Ｓ８と可動情報映像Ｓ７とを重畳して表示する必要はなく、例えばそれぞれの映像を別画面で表示してもよい。但し、以下では重畳して表示するものとして説明する。
【0018】
実機械３は、操作部１２からの第１指令情報Ｓ４と、ターゲット５からの反作用力Ｓ１１と、非ターゲット６からの反作用力Ｓ１２を受け取る。実機械３は、この第１指令情報Ｓ４に基づいて作用力Ｓ１０を生成し、ターゲット５に与える。ターゲット５は、実機械３が作用力Ｓ１０を与えて動かす対象物である。ターゲット５からの反作用力Ｓ１１は、実機械３がターゲット５を動かす際に発生する。また、非ターゲット６からの反作用力Ｓ１２は、実機械３がターゲット５を動かし、非ターゲット６に接触する際に発生する。
【0019】
撮像手段４は、操作部１２からの第２指令情報Ｓ５を受け取る。撮像手段４は、この第２指令情報Ｓ５に基づいて実機械３を撮影して実機械映像Ｓ８を生成し、映像表示部１５に与える。
【0020】
ターゲット５は、実機械３からの作用力Ｓ１０を受け取る。ターゲット５は、この作用力Ｓ１０に基づいて、反作用力Ｓ１１を実機械３に与える。
【0021】
非ターゲット６は、ターゲット５が非ターゲット６に接触すると、反作用力Ｓ１２を実機械３に与える。図示しないが、反作用力Ｓ１２は、ターゲット５を経由した非ターゲット６からの力も含む。非ターゲット６は、ターゲット５とは異なり、実機械３が作用力Ｓ１０を意図的に与えない対象物である。
【0022】
図１において、撮像手段４が常に同じ位置に固定され、かつ常に撮影ＯＮの状態であれば、第２指令情報Ｓ５が撮像手段４に入力されなくても、実機械映像Ｓ８が得られる。この場合、第２指令情報Ｓ５は撮像手段４に入力される必要はなく、撮像モデル生成部１３２にのみ入力される。これは、以降の実施の形態でも同様である。
【0023】
【0024】
図２に示すように、操作者は、映像表示部１５の映像Ｓ９を見ながら、操作部１２を用いて実機械３を遠隔操作する。図２に示す操作部１２、映像表示部１５、および映像Ｓ９は、図１に示す操作部１２、映像表示部１５、および映像Ｓ９と同じであるため、説明を省略する。
【0025】
【0026】
操縦桿１２１は、ｘ軸方向、ｙ軸方向、およびｘｙ面内を操作可能とするコントローラである。操縦桿１２１は、実機械３を遠隔操作するのに用いられる。すなわち、操縦桿１２１の操作方向に対応して、実機械３が運動する。例えば、操作者が操縦桿１２１を＋ｘ方向に操作すると、実機械は＋ｘ方向に運動する。
【0027】
ボタン１２２は、実機械３をｚ軸方向に動かすためのボタンである。例えば、操作者がボタン１２２を押し続けると、実機械３は＋ｚ方向に運動し、ボタン１２２を離すと、実機械３は－ｚ方向に運動する。この状態でボタン１２２を押すと、実機械３は停止する。
【0028】
操作部１２は、図３に示すような操縦桿１２１とボタン１２２とを有するものに限定されない。例えば、操作者がジェスチャーで操作してもよいし、実機械３を模擬した図示しない補助装置を操作者が着用して操作してもよい。ここでジェスチャーは、例えば操作者の近くに配置される図示しないカメラに向かって手を振るなどの動作である。ジェスチャーあるいは補助装置の操作方向に対応して、実機械３が運動する。例えば操作者がジェスチャーあるいは補助装置を用いて＋ｘ方向に操作すると、実機械は＋ｘ方向に運動する。
【0029】
図４は、実施の形態１における実機械３を含む構成の一例を示す模式図である。図４に示す撮像手段４、ターゲット５、および非ターゲット６は、図１に示す撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0030】
図４に示すように、実機械３は、ｘ軸並進機構３１と、ｙ軸並進機構３２と、ｚ軸並進機構３３と、実機械端３４とを有する。
【0031】
ｘ軸並進機構３１は、実機械端３４をｘ軸方向に動かす。すなわち、ｘ軸並進機構３１は、操作者が操作部１２の操縦桿１２１をｘ軸方向に操作すると、実機械端３４をｘ軸方向に動かす。
【0032】
ｙ軸並進機構３２は、実機械端３４をｙ軸方向に動かす。すなわち、ｙ軸並進機構３２は、操作者が操作部１２の操縦桿１２１をｙ軸方向に操作すると、実機械端３４をｙ軸方向に動かす。
【0033】
ｚ軸並進機構３３は、実機械端３４をｚ軸方向に動かす。すなわち、ｚ軸並進機構３３は、操作者が操作部１２のボタン１２２を押すと、実機械端３４をｚ軸方向に動かす。
【0034】
実機械端３４は、操作者からの操作情報Ｓ２に基づいて運動する。
【0035】
図４において、撮像手段４は、実機械３を視野に収められる位置に配置される。撮像手段４は、実機械３を撮影して実機械映像Ｓ８を生成する。映像表示部１５は、この実機械映像Ｓ８を表示する。これは、従来の遠隔操作装置と同様である。実施の形態１における映像表示部１５は、実機械映像Ｓ８と、実機械３の運動可能範囲Ｓ３の映像である可動情報映像Ｓ７とを重畳した映像Ｓ９を表示する。以下では、制限部１１での運動可能範囲Ｓ３の設定方法について述べる。
【0036】
制限部１１は、５つのモード（以下、「第１のモード」、「第２のモード」、「第３のモード」、「第４のモード」、および「第５のモード」と称する）のうちのいずれか１つのモードによって、実機械３の運動可能範囲Ｓ３を設定する。第１のモードは、操作部１２の操作を強制的に限定する手段によって、運動可能範囲Ｓ３を設定するモードである。第２のモードは、運動可能とする方向に対応するボタンを押すことによって、運動可能範囲Ｓ３を設定するモードである。第３のモードは、予め用意された運動可能パターンによって、運動可能範囲Ｓ３を設定するモードである。第４のモードは、複数の拘束点を結ぶ直線あるいは曲線によって、運動可能範囲Ｓ３を設定するモードである。第５のモードは、光を放出する光源のモデルを生成する光源モデル生成部１３３によって、運動可能範囲Ｓ３を設定するモードである。
【0037】
まずは、第１のモードについて詳細に説明する。第１のモードでは、操作部１２は、操作者からの操作を強制的に限定する手段を有する。制限部１１は、この手段によって運動可能範囲Ｓ３を設定する。ここで、強制的に限定する手段とは、操作部１２の操作可能な範囲を物理的に限定するものである。一例として、後に説明するｘ軸並進板１１ａおよびｙ軸並進板１１ｂである。図５（ａ）および（ｂ）は、実施の形態１において第１のモードで運動可能範囲Ｓ３を設定する場合の制限部１１の一例を示す模式図である。図５（ａ）は、制限部１１がｘ軸並進板１１ａの場合の模式図である。図５（ｂ）は、制限部１１がｙ軸並進板１１ｂの場合の模式図である。
【0038】
図５（ａ）に示すｘ軸並進板１１ａは、操作部１２に装着される。これにより、操縦桿１２１の操作をｘ軸方向に制限することができる。同様に、図５（ｂ）に示すｙ軸並進板１１ｂは、操作部１２に装着される。これにより、操縦桿１２１の操作をｙ軸方向に制限することができる。
【0039】
図６（ａ）および（ｂ）は、実施の形態１において第１のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図６（ａ）は、ｘ軸並進板１１ａを操作部１２に装着した場合の映像Ｓ９ａの模式図である。図６（ｂ）は、ｙ軸並進板１１ｂを操作部１２に装着した場合の映像Ｓ９ｂの模式図である。
【0040】
図６（ａ）に示すように、映像Ｓ９ａは、実機械映像Ｓ８ａと可動情報映像Ｓ７ａとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ａは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図６（ａ）の場合、可動情報映像Ｓ７ａは、ｘ軸方向と同じ方向の運動可能範囲Ｓ３の映像となり、実機械映像Ｓ８ａの上側と下側とに表示される。
【0041】
図６（ｂ）に示すように、映像Ｓ９ｂは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｂとが重畳された映像となる。可動情報映像Ｓ７ｂは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図６（ｂ）の場合、可動情報映像Ｓ７ｂは、ｙ軸方向と同じ方向の運動可能範囲Ｓ３の映像となり、実機械映像Ｓ８ａの上側と下側とに表示される。
【0042】
ｘ軸並進板１１ａが操作部１２に装着されると、映像モデル生成部１４は運動可能範囲Ｓ３がｘ軸方向であることを同定する。同様に、ｙ軸並進板１１ｂが操作部１２に装着されると、映像モデル生成部１４は運動可能範囲Ｓ３がｙ軸方向であることを同定する。また、映像モデル生成部１４は、この同定した情報とモデル生成部１３からのモデル情報Ｓ６とを適合させ、可動情報映像Ｓ７ａを生成する。モデル情報Ｓ６の代わりに、実機械映像Ｓ８ａを画像処理することで取得される空間情報、すなわち実機械映像Ｓ８ａ内のｘ軸方向に相当するベクトル情報であってもよい。この場合、映像モデル生成部１４は、同定した情報と空間情報とを適合させ、可動情報映像Ｓ７ａを生成する。これは、ｙ軸並進板１１ｂが操作部１２に装着された場合でも同様である。
【0043】
また、図６（ａ）および（ｂ）では、それぞれ可動情報映像Ｓ７ａおよびＳ７ｂが実機械映像Ｓ８ａ内の上側と下側とに表示されているが、運動可能範囲Ｓ３と同じ方向であることが分かれば、表示される場所は限定されない。例えば、実機械映像Ｓ８ａ内の中央であってもよい。これは、以降の実施の形態でも同様である。
【0044】
加えて、映像表示部１５は、実機械端３４のｘｙ平面上における位置の映像を、映像Ｓ９ａおよびＳ９ｂに重畳させてもよい。例えば、実機械端３４のｘｙ平面への図示しない投影点を可動情報映像Ｓ７ａおよびＳ７ｂに重畳させる。この投影点のｘ座標とｙ座標は、実機械端３４のｘ座標とｙ座標であり、それぞれ操縦桿１２１のｘ軸方向の操作量とｙ軸方向の操作量に対応する。操作量に関する情報は、モデル情報Ｓ６に含まれる。映像モデル生成部１４は、このモデル情報Ｓ６に基づいて投影点の映像を生成し、映像表示部１５は、投影点の映像を映像Ｓ９ａおよび映像Ｓ９ｂに重畳させる。これは、以降の実施の形態でも同様である。投影点を映像Ｓ９ａおよびＳ９ｂに重畳させることで、実機械３の操作性が向上する。
【0045】
なお、第１のモードにおける制限部１１は、ｘ軸並進板１１ａおよびｙ軸並進板１１ｂに限定されず、例えば図示しない斜め方向の並進板であってもよいし、図示しないｘ軸方向とｙ軸方向を共に運動可能とする並進板であってもよい。また、操作者が手を振るジェスチャーであってもよいし、実機械を模擬した図示しない補助装置を操作者が着用してもよい。ジェスチャーの場合、実機械３の運動可能範囲Ｓ３をジェスチャーにより設定した後、同じくジェスチャーにより実機械３を遠隔操作する。操作者が補助装置を着用する場合、補助装置そのものが運動可能範囲Ｓ３を制限された構造を有する。すなわち、操作者が補助装置を着用すると、運動可能範囲Ｓ３を制限されながら、実機械３を遠隔操作する。一例として、モビルスーツである。
【0046】
第１のモードで運動可能範囲Ｓ３を設定した場合、操作者は、運動可能範囲Ｓ３が制限された状態で、可動情報映像Ｓ７ａあるいはＳ７ｂを確認しながら操作部１２を操作する。これにより、実機械３の遠隔操作を行う上で、作業効率を良くすることができる。
【0047】
次に、第２のモードについて詳細に説明する。第２のモードでは、操作部１２は、運動可能とする方向に対応するボタンを有する。制限部１１は、このボタンを押すことで運動可能範囲Ｓ３を設定する。図７は、実施の形態１において第２のモードで運動可能範囲Ｓ３を設定する場合の制限部１１の一例を示す模式図である。図７は、制限部１１がｘ軸制限ボタン１１ｃおよびｙ軸制限ボタン１１ｄの場合の模式図である。
【0048】
図７に示すｘ軸制限ボタン１１ｃおよびｙ軸制限ボタン１１ｄは、操作部１２に設けられる。操作者がｘ軸制限ボタン１１ｃを押すと、操縦桿１２１の操作をｘ軸方向に制限することができる。同様に、操作者がｙ軸制限ボタン１１ｄを押すと、操縦桿１２１の操作をｙ軸方向に制限することができる。なお、ｘ軸制限ボタン１１ｃおよびｙ軸制限ボタン１１ｄは、必ずしも操作部１２に設けられる必要はなく、操作者の近くであればどこに設けられてもよい。
【0049】
図８（ａ）および（ｂ）は、実施の形態１において第２のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図８（ａ）は、ｘ軸制限ボタン１１ｃを押した場合の映像Ｓ９ａの模式図である。図８（ｂ）は、ｙ軸制限ボタン１１ｄを押した場合の映像Ｓ９ｂの模式図である。図８（ａ）の映像Ｓ９ａは、図６（ａ）の映像Ｓ９ａと同じであり、図８（ｂ）の映像Ｓ９ｂは、図６（ｂ）の映像Ｓ９ｂと同じであるため、説明を省略する。
【0050】
ｘ軸制限ボタン１１ｃが押されると、映像モデル生成部１４は運動可能範囲Ｓ３がｘ軸方向であることを同定する。これにより、可動情報映像Ｓ７ａが生成される。同様に、ｙ軸制限ボタン１１ｄが押されると、映像モデル生成部１４は運動可能範囲Ｓ３がｙ軸方向であることを同定する。これにより、可動情報映像Ｓ７ｂが生成される。
【0051】
なお、ｘ軸制限ボタン１１ｃとｙ軸制限ボタン１１ｄとが両方押されると、運動可能範囲Ｓ３はｘ軸方向とｙ軸方向の両方となる。
【0052】
また、上記ではｘ軸制限ボタン１１ｃを押した場合、運動可能範囲Ｓ３はｘ軸方向となり、ｙ軸制限ボタン１１ｄを押した場合、運動可能範囲Ｓ３はｙ軸方向となる。その代わりに、ｘ軸制限ボタン１１ｃを押した場合、ｘ軸方向を拘束する構造とし、ｙ軸制限ボタン１１ｄを押した場合、ｙ軸方向を拘束する構造としてもよい。この場合、ｘ軸制限ボタン１１ｃを押した場合、運動可能範囲Ｓ３はｙ軸方向となり、ｙ軸制限ボタン１１ｄを押した場合、運動可能範囲Ｓ３はｘ軸方向となる。
【0053】
第２のモードで運動可能範囲Ｓ３を設定した場合、第１のモードでの効果に加え、操作者は、第１のモードで必要なｘ軸並進板１１ａおよびｙ軸並進板１１ｂを不要とし、これらを操作部１２に装着する手間を省くことができる。
【0054】
次に、第３のモードについて詳細に説明する。第３のモードでは、制限部１１は、予め用意された運動可能パターンによって運動可能範囲Ｓ３を設定する。図９は、実施の形態１において第３のモードで運動可能範囲Ｓ３を設定する場合の制限部１１の一例を示す模式図である。
【0055】
図９に示すように、映像表示部１５からの映像Ｓ９ｃに、制限パターン１１ｅ～１１ｊが表示される。制限パターン１１ｅ～１１ｊは、予め用意された運動可能パターンである。操作者は、実機械３を遠隔操作する前に、操作部１２を用いて制限パターン１１ｅ～１１ｊの中からいずれか１つを選択する。例えば、操作者が制限パターン１１ｅを選択する場合、操縦桿１２１を用いてカーソル１１ｋを制限パターン１１ｅに合わせ、ボタン１２２を押す。これにより、制限部１１は運動可能範囲Ｓ３をｘ軸方向に設定する。なお、運動可能パターンは制限パターン１１ｅ～１１ｊに限定されない。また、映像表示部１５がタッチディスプレイ機能を有しており、操作者が手で画面操作して、制限パターン１１ｅ～１１ｊの中から選択してもよい。これにより、カーソル１１ｋを不要とし、簡単な操作を可能とする。
【0056】
図１０（ａ）～（ｆ）は、実施の形態１において第３のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図１０（ａ）は、制限パターン１１ｅが選択された場合の映像Ｓ９ａの模式図である。図１０（ｂ）は、制限パターン１１ｆが選択された場合の映像Ｓ９ｂの模式図である。図１０（ｃ）は、制限パターン１１ｇが選択された場合の映像Ｓ９ｄの模式図である。図１０（ｄ）は、制限パターン１１ｈが選択された場合の映像Ｓ９ｅの模式図である。図１０（ｅ）は、制限パターン１１ｉが選択された場合の映像Ｓ９ｆの模式図である。図１０（ｆ）は、制限パターン１１ｊが選択された場合の映像Ｓ９ｇの模式図である。図１０（ａ）の映像Ｓ９ａは、図６（ａ）の映像Ｓ９ａと同じであり、図１０（ｂ）の映像Ｓ９ｂは、図６（ｂ）の映像Ｓ９ｂと同じであるため、説明を省略する。
【0057】
図１０（ｃ）に示すように、映像Ｓ９ｄは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｃとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｃは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１０（ｃ）の場合、可動情報映像Ｓ７ｃは、斜め方向の運動可能範囲Ｓ３の映像となる。
【0058】
図１０（ｄ）に示すように、映像Ｓ９ｅは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｄとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｄは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１０（ｄ）の場合、可動情報映像Ｓ７ｄは、斜め方向の運動可能範囲Ｓ３の映像となる。
【0059】
図１０（ｅ）に示すように、映像Ｓ９ｆは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｅとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｅは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１０（ｅ）の場合、可動情報映像Ｓ７ｅは、ｘ軸方向と同じ方向、およびｙ軸方向と同じ方向の運動可能範囲Ｓ３の映像となる。
【0060】
図１０（ｆ）に示すように、映像Ｓ９ｇは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｆとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｆは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１０（ｆ）の場合、可動情報映像Ｓ７ｆは、２つの斜め方向の運動可能範囲Ｓ３の映像となる。
【0061】
制限部１１ｅが選択されると、映像モデル生成部１４は運動可能範囲Ｓ３がｘ軸方向であることを同定する。これにより、可動情報映像Ｓ７ａが生成される。制限部１１ｆ～１１ｊが選択された場合でも同様である。
【0062】
第３のモードで運動可能範囲Ｓ３を設定した場合、第２のモードでの効果に加え、運動可能範囲Ｓ３の選択肢が多くなる。
【0063】
次に、第４のモードについて詳細に説明する。第４のモードでは、制限部１１は、複数の拘束点を結ぶ直線あるいは曲線によって運動可能範囲Ｓ３を設定する。図１１（ａ）～（ｄ）は、実施の形態１において第４のモードで運動可能範囲Ｓ３を設定する場合の制限部１１の一例を示す模式図である。
【0064】
図１１（ａ）に示すように、操作者は、映像Ｓ９ｈを見ながら、操作部１２を用いて運動可能範囲Ｓ３を設定する。具体的には、操縦桿１２１を用いてカーソル１１ｍａを制限部１１ｍ内の任意の箇所に合わせ、ボタン１２２を押すことで拘束点を複数設定する。図１１（ａ）では、４つの拘束点１１ｍｄ、１１ｍｅ、１１ｍｆ、および１１ｍｇが順番に設定される。設定後、ＯＫボタン１１ｍｂを押すと、運動可能範囲Ｓ３の設定が終了する。また、設定中にＣＡＮＣＥＬボタン１１ｍｃを押すと、１つ前の拘束点設定に戻る。例えば、拘束点１１ｍｆを設定した後にＣＡＮＣＥＬボタン１１ｍｃを押すと、拘束点１１ｍｅが設定された状態に戻る。これにより、拘束点を設定し直すことができる。図１１（ａ）の場合、４つの拘束点１１ｍｄ、１１ｍｅ、１１ｍｆ、および１１ｍｇを結ぶ直線が運動可能範囲Ｓ３となる。
【0065】
図１１（ｂ）に示すように、操作者は、映像Ｓ９ｉを見ながら、操作部１２を用いて運動可能範囲Ｓ３を設定する。具体的には、操縦桿１２１を用いてカーソル１１ｎａを制限部１１ｎ内の任意の箇所に合わせ、ボタン１２２を押すことで拘束点を複数設定する。図１１（ｂ）では、４つの拘束点１１ｎｄ、１１ｎｅ、１１ｎｆ、および１１ｎｇが順番に設定される。設定後、ＯＫボタン１１ｎｂを押すと、運動可能範囲Ｓ３の設定が終了する。なお、各拘束点を設定後、次の拘束点にカーソル１１ｎａを移動する際、ボタン１２２を押しながら移動する。これにより、移動経路に従った運動可能範囲Ｓ３が設定され、直線または任意の曲線にすることができる。しかし、ボタン１２２を押しながらカーソル１１ｎａを移動させると、直線または曲線が歪む。そこで、操作部１２はこれを自動的に補正する機能を有し、補正することで歪みを無くすことができる。また、設定中にＣＡＮＣＥＬボタン１１ｎｃを押すと、１つ前の拘束点設定に戻る。例えば、拘束点１１ｎｆを設定した後にＣＡＮＣＥＬボタン１１ｎｃを押すと、拘束点１１ｎｅが設定された状態に戻る。これにより、拘束点を設定し直すことができる。図１１（ｂ）の場合、４つの拘束点１１ｎｄ、１１ｎｅ、１１ｎｆ、および１１ｎｇを結ぶ曲線が運動可能範囲Ｓ３となる。
【0066】
図１１（ｃ）に示すように、操作者は、映像Ｓ９ｊを見ながら、操作部１２を用いて運動可能範囲Ｓ３を設定する。具体的には、操縦桿１２１を用いてカーソル１１оａを制限部１１о内の任意の箇所に合わせ、ボタン１２２を押すことで拘束点を複数設定する。図１１（ｃ）では、４つの拘束点１１оｄ、１１оｅ、１１оｆ、および１１оｇが順番に設定され、拘束点１１оｄが再度設定される。設定後、ＯＫボタン１１оｂを押すと、運動可能範囲Ｓ３の設定が終了する。また、設定中にＣＡＮＣＥＬボタン１１оｃを押すと、１つ前の拘束点設定に戻る。例えば、拘束点１１оｆを設定した後にＣＡＮＣＥＬボタン１１оｃを押すと、拘束点１１оｅが設定された状態に戻る。これにより、拘束点を設定し直すことができる。図１１（ｃ）の場合、４つの拘束点１１оｄ、１１оｅ、１１оｆ、および１１оｇを結ぶ直線、あるいは直線によって囲まれた領域が運動可能範囲Ｓ３となる。直線とするか、あるいは領域とするかは、予め選択できるものとする。
【0067】
図１１（ｄ）に示すように、操作者は、映像Ｓ９ｋを見ながら、操作部１２を用いて運動可能範囲Ｓ３を設定する。具体的には、操縦桿１２１を用いてカーソル１１ｐａを制限部１１ｐ内の任意の箇所に合わせ、ボタン１２２を押すことで拘束点を複数設定する。図１１（ｄ）では、４つの拘束点１１ｐｄ、１１ｐｅ、１１ｐｆ、および１１ｐｇが順番に設定され、拘束点１１ｐｄが再度設定される。設定後、ＯＫボタン１１ｐｂを押すと、運動可能範囲Ｓ３の設定が終了する。なお、各拘束点を設定後、次の拘束点にカーソル１１ｐａを移動する際、ボタン１２２を押しながら移動する。これにより、移動経路に従った運動可能範囲Ｓ３が設定され、直線または任意の曲線にすることができる。しかし、ボタン１２２を押しながらカーソル１１ｐａを移動させると、直線または曲線が歪む。そこで、操作部１２はこれを自動的に補正する機能を有し、補正することで歪みを無くすことができる。また、設定中にＣＡＮＣＥＬボタン１１ｐｃを押すと、１つ前の拘束点設定に戻る。例えば、拘束点１１ｐｆを設定した後にＣＡＮＣＥＬボタン１１ｐｃを押すと、拘束点１１ｐｅが設定された状態に戻る。これにより、拘束点を設定し直すことができる。図１１（ｄ）の場合、４つの拘束点１１ｐｄ、１１ｐｅ、１１ｐｆ、および１１ｐｇを結ぶ曲線、あるいは曲線によって囲まれた領域が運動可能範囲Ｓ３となる。直線とするか、あるいは領域とするかは、予め選択できるものとする。
【0068】
図１１（ａ）～（ｄ）において、映像表示部１５がタッチディスプレイ機能を有しており、操作者が手で画面操作して、運動可能範囲Ｓ３を設定してもよい。これにより、カーソル１１ｍａ、１１ｎａ、１１оａ、および１１ｐａを不要とし、簡単な操作を可能とする。
【0069】
図１２（ａ）～（ｆ）は、実施の形態１において第４のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図１２（ａ）は、制限部１１ｍで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｇを実機械映像Ｓ８ａに重畳した映像Ｓ９ｍの模式図である。図１２（ｂ）は、制限部１１ｎで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｈを実機械映像Ｓ８ａに重畳した映像Ｓ９ｎの模式図である。図１２（ｃ）は、制限部１１оで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｉを実機械映像Ｓ８ａに重畳した映像Ｓ９оの模式図である。図１２（ｄ）は、制限部１１ｐで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｊを実機械映像Ｓ８ａに重畳した映像Ｓ９ｐの模式図である。図１２（ｅ）は、制限部１１оで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｋを実機械映像Ｓ８ａに重畳した別の映像Ｓ９ｑの模式図である。図１２（ｆ）は、制限部１１ｐで運動可能範囲Ｓ３を設定し、映像モデル生成部１４で生成された可動情報映像Ｓ７ｍを実機械映像Ｓ８ａに重畳した別の映像Ｓ９ｒの模式図である。
【0070】
図１２（ａ）に示すように、映像Ｓ９ｍは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｇとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｇは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ａ）の場合、可動情報映像Ｓ７ｇは、４つの拘束点を結ぶ直線である運動可能範囲Ｓ３の映像となる。
【0071】
図１２（ｂ）に示すように、映像Ｓ９ｎは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｈとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｈは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｂ）の場合、可動情報映像Ｓ７ｈは、４つの拘束点を結ぶ曲線である運動可能範囲Ｓ３の映像となる。
【0072】
図１２（ｃ）に示すように、映像Ｓ９оは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｉとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｉは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｃ）の場合、可動情報映像Ｓ７ｉは、４つの拘束点を結ぶ直線である運動可能範囲Ｓ３の映像となる。
【0073】
図１２（ｄ）に示すように、映像Ｓ９ｐは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｊとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｊは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｄ）の場合、可動情報映像Ｓ７ｊは、４つの拘束点を結ぶ曲線である運動可能範囲Ｓ３の映像となる。
【0074】
図１２（ｅ）に示すように、映像Ｓ９ｑは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｋとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｋは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｅ）の場合、可動情報映像Ｓ７ｋは、４つの拘束点を結ぶ直線によって囲まれた領域である運動可能範囲Ｓ３の映像となる。
【0075】
図１２（ｆ）に示すように、映像Ｓ９ｒは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｍとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｍは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１２（ｆ）の場合、可動情報映像Ｓ７ｍは、４つの拘束点を結ぶ曲線によって囲まれた領域である運動可能範囲Ｓ３の映像となる。
【0076】
制限部１１ｍで運動可能範囲Ｓ３が設定されると、映像モデル生成部１４は運動可能範囲Ｓ３が４つの拘束点を結ぶ直線であることを同定する。これにより、可動情報映像Ｓ７ｇが生成される。制限部１１ｎ～１１ｐで運動可能範囲Ｓ３が設定された場合でも同様である。
【0077】
第４のモードで運動可能範囲Ｓ３を設定した場合、第３のモードでの効果に加え、運動可能範囲Ｓ３の設定自由度が高くなる。
【0078】
次に、第５のモードについて詳細に説明する。図１３は、実施の形態１において第５のモードで運動可能範囲Ｓ３を設定した場合のモデル生成部１３の構成の一例を示すブロック図である。第５のモードでは、操作部１２は、制限部１１からの運動可能範囲Ｓ３に基づいて、光を放出する光源を操作するための入力情報である第３指令情報Ｓ１３を更に生成する。モデル生成部１３は、第３指令情報Ｓ１３を用いて光源のモデルを生成する光源モデル生成部１３３を更に有し、実機械３のモデルと撮像手段４のモデルと光源のモデルとを組み合わせたモデル情報Ｓ６を出力する。
【0079】
モデル生成部１３は、操作部１２から実機械モデル生成部１３１への第１指令情報Ｓ４、操作部１２から撮像モデル生成部１３２への第２指令情報Ｓ５、および操作部１２から光源モデル生成部１３３への第３指令情報Ｓ１３に基づいてモデル情報Ｓ６を生成し、映像モデル生成部１４に与える。第３指令情報Ｓ１３は、光を放出する光源を操作するための入力情報である。具体的には、第３指令情報Ｓ１３は、光源への電源ＯＮ／ＯＦＦ切り替えコマンド、および光源をｘｙ平面内で回転させるための入力情報である。この第３指令情報Ｓ１３がそのまま光源モデル生成部１３３へ入力されることにより、光源モデル生成部１３３からの光線の出力ＯＮ／ＯＦＦ切り替え制御、および光線の軌跡の回転制御が可能となる。
【0080】
図１４は、実施の形態１において第５のモードで運動可能範囲Ｓ３を設定する場合の操作部１２の一例を示す模式図である。図１４は、図３に示す操縦桿１２１がＲｚ方向の回転も可能であり、制限部１１の機能を有する場合の模式図である。反時計周りが＋Ｒｚ方向、時計周りが－Ｒｚ方向である。
【0081】
操作者が操縦桿１２１をｘｙ平面内で回転させてボタン１２２を押すと、ボタン１２２が押された時の操縦桿１２１の方向ベクトルが運動可能範囲Ｓ３として設定される。なお、操作者は、方向ベクトルを複数設定してもよい。この場合、操縦桿１２１をｘｙ平面で回転させ、ボタン１２２を押す動作を繰り返し行う。これにより、複数の方向ベクトルが運動可能範囲Ｓ３として設定される。あるいは、複数の方向ベクトルによって囲まれた領域が運動可能範囲Ｓ３として設定される。複数の方向ベクトルとするか、あるいは領域とするかは、予め選択できるものとする。
【0082】
図１５は、実施の形態１において第５のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での映像Ｓ９の一例を示す模式図である。図１５は、操縦桿１２１で運動可能範囲Ｓ３を設定した場合の映像Ｓ９ｓの模式図である。
【0083】
図１５に示すように、映像Ｓ９ｓは、実機械映像Ｓ８ａと可動情報映像Ｓ７ｎとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｎは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１５の場合、可動情報映像Ｓ７ｎは、方向ベクトルで表される運動可能範囲Ｓ３の映像と、モデル情報Ｓ６のうち光源モデル生成部１３３からのモデル情報の映像とが含まれる。
【0084】
図１６は、実施の形態１において第５のモードで運動可能範囲Ｓ３を設定した場合の映像表示部１５での別の映像Ｓ９の一例を示す模式図である。図１６は、操縦桿１２１で方向ベクトルを２つ設定し、２つの方向ベクトルによって囲まれた領域を運動可能範囲Ｓ３として選択した場合の映像Ｓ９ｔの模式図である。
【0085】
図１６に示すように、映像Ｓ９ｔは、実機械映像Ｓ８ａと可動情報映像Ｓ７оとが重畳された映像となる。実機械映像Ｓ８ａは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７оは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。図１６の場合、可動情報映像Ｓ７оは、２つの方向ベクトルで囲まれた領域で表される運動可能範囲Ｓ３の映像と、モデル情報Ｓ６のうち光源モデル生成部１３３からのモデル情報の映像とが含まれる。
【0086】
第５のモードで運動可能範囲Ｓ３を設定した場合、第４のモードでの効果と同様の効果が得られる。
【0087】
以上で説明した実施の形態１によれば、制限部１１によって実機械３の運動可能範囲Ｓ３が設定される。これにより、実機械３の複雑な遠隔操作を回避できる。また、制限部１１からの運動可能範囲Ｓ３とモデル生成部１３からのモデル情報Ｓ６とに基づいて生成される可動情報映像Ｓ７と、撮像手段４によって生成される実機械映像Ｓ８とを重畳させた映像Ｓ９が映像表示部１５によって生成される。これにより、運動可能範囲Ｓ３を確認しながら実機械３を遠隔操作でき、従来に比べて作業効率を良くすることができる。
【0088】
実施の形態２．
図１７は、実施の形態２における遠隔操作装置１の構成の一例を示すブロック図である。
図１７は、実施の形態２における遠隔操作装置１の構成の一例を示すブロック図である。
【0089】
図１７に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、映像表示部１５とを備える。図１７に示す制限部１１、実機械３、ターゲット５、および非ターゲット６は、図１に示す制限部１１、実機械３、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0090】
操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第４指令情報Ｓ１４とを生成し、第１指令情報Ｓ４を実機械３に与え、第２指令情報Ｓ５を撮像手段４に与え、第４指令情報Ｓ１４を運動可能範囲形成手段７に与える。第４指令情報Ｓ１４については、後に説明する。
【0091】
映像表示部１５は、撮像手段４からの実機械映像Ｓ８および可動情報映像Ｓ１５を受け取る。映像表示部１５は、これらの映像を重畳した映像Ｓ９を生成し、操作者に提示する。可動情報映像Ｓ１５は、撮像手段４によって直接撮影される運動可能範囲Ｓ３の映像である。
【0092】
撮像手段４は、操作部１２からの第２指令情報Ｓ５を受け取る。撮像手段４は、この第２指令情報Ｓ５に基づいて、実機械映像Ｓ８と可動情報映像Ｓ１５とを映像表示部１５に与える。
【0093】
運動可能範囲形成手段７は、実機械３の運動可能範囲Ｓ３を形成する。運動可能範囲形成手段７は、操作部１２からの第４指令情報Ｓ１４を受け取る。図１７では、運動可能範囲形成手段７は実機械３と接続されているが、運動可能範囲Ｓ３を実機械３内で示すことができれば、実機械３と接続されていなくてもよい。運動可能範囲形成手段７は、例えば光を放出する光源であり、レーザ光源やＬＥＤ光源などである。この場合、光源から放出され、実機械３およびその周辺に結像される光のパターンが運動可能範囲Ｓ３となる。光のパターンは、撮像手段４によって撮影されて映像となり、映像表示部１５に表示される。光源は、撮像手段４によって撮影可能な波長の光を放出するものである。例えば、撮像手段４として赤外カメラを用いる場合、光源は赤外領域の波長を有するレーザである。第４指令情報Ｓ１４は、実機械３の運動可能範囲Ｓ３を形成する運動可能範囲形成手段７を操作するための入力情報である。具体的には、第４指令情報Ｓ１４は、運動可能範囲形成手段７への電源ＯＮ／ＯＦＦ切り替えコマンド、および運動可能範囲形成手段７をｘｙ平面内で回転させるための入力情報である。
【0094】
図１７に示すように、運動可能範囲形成手段７を撮像手段４で撮影することで、実機械映像Ｓ８だけでなく可動情報映像Ｓ１５も撮像手段４で取得することができる。これにより、実施の形態１における遠隔操作装置１に対し、モデル生成部１３と映像モデル生成部１４とを不要とする。
【0095】
実施の形態２における操作部１２を含む構成は、図２に示す構成と同じであるため、説明を省略する。
【0096】
実施の形態２における操作部１２は、図１４に示す操作部１２と同じである。すなわち、操縦桿１２１はＲｚ方向の回転も可能であり、制限部１１の機能を有する。運動可能範囲Ｓ３の設定方法は、図１４を用いて説明した設定方法と同じである。
【0097】
図１８は、実施の形態２における実機械３を含む構成の一例を示す模式図である。図１８に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0098】
図１８に示すように、ｚ軸並進機構３３の中央近傍に、運動可能範囲形成手段７が接続されている。この場合、運動可能範囲形成手段７はレーザ光源７１であり、レーザ光源７１からレーザ光線７２が出力される。レーザ光線７２の出力方向は、操縦桿１２１を用いて設定される。図１８の場合、運動可能範囲形成手段７はｚ軸並進機構３３の中央近傍に配置されているが、これに限定されない。例えば、ｚ軸並進機構３３の上側あるいは下側に配置されてもよい。また、実機械３の外側に配置されてもよい。
【0099】
図１９は、実施の形態２における実機械３を含む別の構成の一例を示す模式図である。図１９に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0100】
図１９に示すように、ｚ軸並進機構３３の中央近傍に、運動可能範囲形成手段７が接続されている。この場合、運動可能範囲形成手段７はマルチレーザ光源７３であり、マルチレーザ光線７４が出力される。マルチレーザ光線７４の出力方向は、操縦桿１２１を用いて設定される。図１９の場合、運動可能範囲形成手段７はｚ軸並進機構３３の中央近傍に配置されているが、これに限定されない。例えば、ｚ軸並進機構３３の上側あるいは下側に配置されてもよい。また、実機械３の外側に配置されてもよい。
【0101】
運動可能範囲形成手段７が、図１８に示すレーザ光源の場合、操作者が操縦桿１２１をｘｙ平面内で回転させてボタン１２２を押すと、ボタン１２２が押された時の操縦桿１２１の方向ベクトルが運動可能範囲Ｓ３として設定される。
【0102】
運動可能範囲形成手段７が、図１９に示すマルチレーザ光源の場合、操作者が操縦桿１２１をｘｙ平面内で回転させてボタン１２２を押す動作を２回行うと、２つの方向ベクトルが運動可能範囲Ｓ３として設定される。あるいは、２つの方向ベクトルによって囲まれた領域が運動可能範囲Ｓ３として設定される。２つの方向ベクトルとするか、あるいは領域とするかは、予め選択できるものとする。
【0103】
【0104】
図２０に示すように、映像Ｓ９ｕは、実機械映像Ｓ８ｂと可動情報映像Ｓ１５ａとが重畳された映像となる。実機械映像Ｓ８ｂは、撮像手段４によって撮影された実機械３と運動可能範囲形成手段７との映像である。可動情報映像Ｓ１５ａは、撮像手段４によって撮影された運動可能範囲Ｓ３の映像である。図２０の場合、可動情報映像Ｓ１５ａは、方向ベクトルで表される運動可能範囲Ｓ３の映像となる。
【0105】
図２１は、実施の形態２における映像表示部１５での別の映像Ｓ９の一例を示す模式図である。図２１は、操縦桿１２１で方向ベクトルを２つ設定し、２つの方向ベクトルによって囲まれた領域を運動可能範囲Ｓ３として選択した場合の映像Ｓ９ｖの模式図である。
【0106】
図２１に示すように、映像Ｓ９ｖは、実機械映像Ｓ８ｃと可動情報映像Ｓ１５ｂとが重畳された映像となる。実機械映像Ｓ８ｃは、撮像手段４によって撮影された実機械３と運動可能範囲形成手段７との映像である。可動情報映像Ｓ１５ｂは、撮像手段４によって撮影された運動可能範囲Ｓ３の映像である。図２１の場合、可動情報映像Ｓ１５ｂは、２つの方向ベクトルで囲まれた領域で表される運動可能範囲Ｓ３の映像となる。
【0107】
以上で説明した実施の形態２によれば、運動可能範囲形成手段７が実機械３に設けられることにより、実機械映像Ｓ８と可動情報映像Ｓ１５との両方が撮像手段４によって生成される。これにより、実施の形態１で得られる効果に加え、実施の形態１のモデル生成部１３と映像モデル生成部１４とを不要とすることができる。
【0108】
実施の形態３．
図２２は、実施の形態３における遠隔操作装置１の構成の一例を示すブロック図である。
図２２は、実施の形態３における遠隔操作装置１の構成の一例を示すブロック図である。
【0109】
図２２に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。図２２は、図１に示す実施の形態１の構成に対し、駆動モデル生成部１３４と駆動装置８とが追加された構成を示すブロック図である。図２２に示す制限部１１、映像モデル生成部１４、映像表示部１５、実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図１に示す制限部１１、映像モデル生成部１４、映像表示部１５、実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0110】
操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第５指令情報Ｓ１６とを生成し、第１指令情報Ｓ４を実機械３および実機械モデル生成部１３１に与え、第２指令情報Ｓ５を撮像手段４および撮像モデル生成部１３２に与え、第５指令情報Ｓ１６を駆動装置８および駆動モデル生成部１３４に与える。第５指令情報Ｓ１６については、後に説明する。
【0111】
モデル生成部１３は、操作部１２によって生成される第５指令情報Ｓ１６を用いて撮像手段４を駆動する駆動装置８のモデルを生成する駆動モデル生成部１３４を更に有する。モデル生成部１３は、操作部１２から実機械モデル生成部１３１への第１指令情報Ｓ４、操作部１２から撮像モデル生成部１３２への第２指令情報Ｓ５、および操作部１２から駆動モデル生成部１３４への第５指令情報Ｓ１６に基づいてモデル情報Ｓ６を生成し、映像モデル生成部１４に与える。第５指令情報Ｓ１６は、撮像手段４を駆動する駆動装置８を操作するための入力情報である。具体的には、第５指令情報Ｓ１６は、駆動装置８を制御するための制御情報である。
【0112】
駆動装置８は、撮像手段４と接続され、操作部１２からの第５指令情報Ｓ１６を受け取る。駆動装置８は、この第５指令情報Ｓ１６に基づいて回転する。これにより、撮像手段４の向きが変わり、実機械３を撮影する方向を変更することができる。
【0113】
なお、本実施の形態において、実施の形態１における第５のモードで運動可能範囲Ｓ３を設定する場合は、図１３に示す光源モデル生成部１３３を図２２のモデル生成部１３に追加すればよい。この場合、モデル生成部１３は、実機械３のモデルと撮像手段４のモデルと光源のモデルと駆動装置８のモデルとを組み合わせたモデル情報Ｓ６を出力する。本実施の形態におけるモデル生成部１３は、実機械モデル生成部１３１と撮像モデル生成部１３２と駆動モデル生成部１３４とを有していればよく、必ずしも光源モデル生成部１３３を有していなくてもよい。また、モデル情報Ｓ６は、実機械３のモデルと撮像手段４のモデルと駆動装置８のモデルとを組み合わせたものであればよく、必ずしも光源のモデルを組み合わせなくてもよい。
【0114】
図２３は、実施の形態３における遠隔操作装置１の別の構成の一例を示すブロック図である。
【0115】
図２３に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、映像表示部１５とを備える。図２３は、図１７に示す実施の形態２の構成に対し、駆動装置８が追加された構成を示すブロック図である。図２３に示す制限部１１、映像表示部１５、実機械３、撮像手段４、ターゲット５、非ターゲット６、および運動可能範囲形成手段７は、図１７に示す制限部１１、映像表示部１５、実機械３、撮像手段４、ターゲット５、非ターゲット６、および運動可能範囲形成手段７と同じであるため、説明を省略する。また、図２３に示す駆動装置８は、図２２に示す駆動装置８と同じであるため、説明を省略する。
【0116】
操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第４指令情報Ｓ１４と第５指令情報Ｓ１６とを生成し、第１指令情報Ｓ４を実機械３に与え、第２指令情報Ｓ５を撮像手段４に与え、第４指令情報Ｓ１４を運動可能範囲形成手段７に与え、第５指令情報Ｓ１６を駆動装置８に与える。
【0117】
実施の形態３における操作部１２を含む構成は、図２に示す構成と同じであるため、説明を省略する。
【0118】
実施の形態３における操作部１２は、図３に示す操作部１２と同じである。操作者は、撮像手段４の向きを変更するモードと、実機械３を遠隔操作するモードとを切り替えることにより、撮像手段４の向きを調整しながら実機械３を遠隔操作できる。両者の切り替えは、図示しない手段により行われる。撮像手段４の向きを変更する場合、操縦桿１２１をｘ軸方向あるいはｙ軸方向に操作する。これにより、撮像手段４は、ｘ軸方向あるいはｙ軸方向に向きが変更される。
【0119】
図２４は、実施の形態３における実機械３を含む構成の一例を示す模式図である。図２４は、図２２に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。図２４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0120】
駆動装置８は、撮像手段４に接続され、操作部１２からの第５指令情報Ｓ１６に基づいて、撮像手段４の向きを変更する。映像表示部１５での実機械映像Ｓ８の向きは、撮像手段４の向きに応じて切り替わる。
【0121】
以上で説明した実施の形態３によれば、駆動装置８により撮像手段４の向きが変更される。これにより、実施の形態２で得られる効果に加え、操作者は、実機械映像Ｓ８の向きを逐次変更しながら実機械３を操作でき、効率的に遠隔操作を行うことができる。
【0122】
実施の形態４．
図２５は、実施の形態４における遠隔操作装置１の構成の一例を示すブロック図である。
図２５は、実施の形態４における遠隔操作装置１の構成の一例を示すブロック図である。
【0123】
図２５に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。図２５は、図１に示す実施の形態１の構成に対し、マニピュレータモデル生成部１３５とマニピュレータ９とが追加された構成を示すブロック図である。図２５に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図１に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0124】
制限部１１は、操作者からの制限情報Ｓ１を受け取る。制限部１１は、この制限情報Ｓ１に基づいて運動可能範囲Ｓ３と開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８とを生成し、操作部１２および映像モデル生成部１４に与える。開閉可能範囲Ｓ１７は、マニピュレータ９の開閉可能な範囲である。姿勢制限範囲Ｓ１８は、マニピュレータ９が所定の姿勢に制限される時の姿勢、言い換えると、所定の傾きに制限される時の傾きである。
【0125】
操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３と、制限部１１からの開閉可能範囲Ｓ１７と、制限部１１からの姿勢制限範囲Ｓ１８とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第６指令情報Ｓ１９とを生成し、第１指令情報Ｓ４を実機械３および実機械モデル生成部１３１に与え、第２指令情報Ｓ５を撮像手段４および撮像モデル生成部１３２に与え、第６指令情報Ｓ１９をマニピュレータ９およびマニピュレータモデル生成部１３５に与える。第６指令情報Ｓ１９は、実機械３に接続されるマニピュレータ９を操作するための入力情報である。具体的には、第６指令情報Ｓ１９は、マニピュレータ９を動かすドライバーＩＣやマイコンなどへの入力情報である。
【0126】
モデル生成部１３は、操作部１２によって生成される第６指令情報Ｓ１９を用いてマニピュレータ９のモデルを生成するマニピュレータモデル生成部１３５を更に有する。モデル生成部１３は、操作部１２から実機械モデル生成部１３１への第１指令情報Ｓ４、操作部１２から撮像モデル生成部１３２への第２指令情報Ｓ５、および操作部１２からマニピュレータモデル生成部１３５への第６指令情報Ｓ１９に基づいてモデル情報Ｓ６を生成し、映像モデル生成部１４に与える。
【0127】
映像モデル生成部１４は、制限部からの運動可能範囲Ｓ３と、開閉可能範囲Ｓ１７と、姿勢制限範囲Ｓ１８と、モデル生成部１３からのモデル情報Ｓ６とを受け取る。映像モデル生成部１４は、これらの情報に基づいて、運動可能範囲Ｓ３と開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８との映像である可動情報映像Ｓ２０を生成し、映像表示部１５に与える。
【0128】
映像表示部１５は、映像モデル生成部１４からの可動情報映像Ｓ２０と、撮像手段４からの実機械映像Ｓ８を受け取る。映像表示部１５は、これらの映像を重畳した映像Ｓ９を生成し、操作者に提示する。
【0129】
マニピュレータ９は、実機械３に接続され、操作部１２からの第６指令情報Ｓ１９を受け取る。
【0130】
なお、本実施の形態において、実施の形態１における第５のモードで運動可能範囲Ｓ３を設定する場合は、図１３に示す光源モデル生成部１３３を図２５のモデル生成部１３に追加すればよい。また、実施の形態３における駆動モデル生成部１３４をモデル生成部１３に追加してもよいし、撮像手段４は駆動装置８と接続されて向きを変更されてもよい。この場合、モデル生成部１３は、実機械３のモデルと撮像手段４のモデルと光源のモデルと駆動装置８のモデルとマニピュレータ９のモデルとを組み合わせたモデル情報Ｓ６を出力する。本実施の形態におけるモデル生成部１３は、実機械モデル生成部１３１と撮像モデル生成部１３２とマニピュレータモデル生成部１３５とを有していればよく、必ずしも光源モデル生成部１３３と駆動モデル生成部１３４とを有していなくてもよい。また、モデル情報Ｓ６は、実機械３のモデルと撮像手段４のモデルとマニピュレータ９のモデルとを組み合わせたものであればよく、必ずしも光源のモデルと駆動装置８のモデルとを組み合わせなくてもよい。
【0131】
図２６は、実施の形態４における遠隔操作装置１の別の構成の一例を示すブロック図である。
【0132】
図２６に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、映像表示部１５とを備える。図２６は、図１７に示す実施の形態２の構成に対し、マニピュレータ９が追加された構成を示すブロック図である。図２６に示す制限部１１、映像表示部１５、実機械３、撮像手段４、ターゲット５、非ターゲット６、および運動可能範囲形成手段７は、図１７に示す制限部１１、映像表示部１５、実機械３、撮像手段４、ターゲット５、非ターゲット６、および運動可能範囲形成手段７と同じであるため、説明を省略する。また、図２６に示すマニピュレータ９は、図２５に示すマニピュレータ９と同じであるため、説明を省略する。
【0133】
操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第４指令情報Ｓ１４と第６指令情報Ｓ１９とを生成し、第１指令情報Ｓ４を実機械３に与え、第２指令情報Ｓ５を撮像手段４に与え、第４指令情報Ｓ１４を運動可能範囲形成手段７に与え、第６指令情報Ｓ１９をマニピュレータ９に与える。
【0134】
図２６に示すように、制限部１１は、図２５に示す制限部１１とは違い、運動可能範囲Ｓ３のみを生成する。すなわち、マニピュレータ９の開閉可能範囲Ｓ１７および姿勢制限範囲Ｓ１８は生成されない。あるいは、制限部１１は、図２５と同様、運動可能範囲Ｓ３だけでなく、マニピュレータ９の開閉可能範囲Ｓ１７および姿勢制限範囲Ｓ１８を生成してもよい。但し、図示しない開閉可能範囲を示す手段と、図示しない姿勢制限範囲を示す手段とが必要となり、操作部１２はこれらに対する指令情報を生成する。
【0135】
図２６において、撮像手段４は駆動装置８と接続されて向きが変更されてもよい。この場合、操作部１２は、実機械３への第１指令情報Ｓ４と、撮像手段４への第２指令情報Ｓ５と、運動可能範囲形成手段７への第４指令情報Ｓ１４と、駆動装置８への第５指令情報Ｓ１６と、マニピュレータ９への第６指令情報Ｓ１９とを生成する。
【0136】
実施の形態４における操作部１２を含む構成は、図２に示す構成と同じであるため、説明を省略する。
【0137】
実施の形態４における操作部１２は、図３に示す操作部１２と同じである。また、操縦桿１２１は制限部１１の機能を有する。なお、実機械３を遠隔操作する際、操縦桿１２１を操作部１２の中心位置に合わせた状態で回転させることで、マニピュレータ９を開閉させる操作を行ってもよい。
【0138】
図２７は、実施の形態４における実機械３を含む構成の一例を示す模式図である。図２７は、図２５に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。図２７に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0139】
マニピュレータ９は、実機械端３４に回動自在に接続される。マニピュレータ９は、制限部１１および操縦桿１２１によって、開閉可能範囲Ｓ１７および姿勢制限範囲Ｓ１８が設定される。
【0140】
図２８は、実施の形態４における制限部１１の一例を示す模式図である。図２８は、図２５に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。また、図２８は、実施の形態１における第３のモードと類似するモードで、マニピュレータ９の開閉可能範囲Ｓ１７を設定する場合の模式図である。
【0141】
図２８に示すように、映像表示部１５からの映像Ｓ９ｗに、制限パターン１１ｑおよび１１ｒが表示される。制限パターン１１ｑおよび１１ｒは、予め用意されたマニピュレータ９の開閉可能パターンである。操作者は、実機械３を遠隔操作する前に、実機械３の運動可能範囲Ｓ３を任意のモードで設定し、マニピュレータ９の開閉可能パターンを制限パターン１１ｑおよび１１ｒのうちどちらかを選択する。例えば、操作者が制限パターン１１ｑを選択する場合、操縦桿１２１を用いてカーソル１１ｓを制限パターン１１ｑに合わせ、ボタン１２２を押す。これにより、制限部１１はマニピュレータ９の開閉可能範囲Ｓ１７をｘ軸方向に設定する。なお、開閉可能パターンは制限パターン１１ｑおよび１１ｒに限定されず、斜めを含んでもよい。また、映像表示部１５がタッチディスプレイ機能を有しており、操作者が手で画面操作して、制限パターン１１ｑおよび１１ｒのうちどちらかを選択してもよい。これにより、カーソル１１ｓを不要とし、簡単な操作を可能とする。
【0142】
また、図２８では、実施の形態１における第３のモードと類似するモードで、マニピュレータ９の開閉可能範囲Ｓ１７を設定するが、第１のモード、第２のモード、第４のモード、あるいは第５のモードと類似するモードで、マニピュレータ９の開閉可能範囲Ｓ１７を設定してもよい。
【0143】
図２９（ａ）および（ｂ）は、実施の形態４における映像表示部１５での映像Ｓ９の一例を示す模式図である。図２９は、図２５に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。図２９（ａ）は、実機械３の運動可能範囲Ｓ３がｘ軸方向に設定され、マニピュレータ９の開閉可能範囲Ｓ１７として制限パターン１１ｑが選択された場合の映像Ｓ９ｘの模式図である。図２９（ｂ）は、実機械３の運動可能範囲がｘ軸方向に設定され、マニピュレータ９の開閉可能範囲Ｓ１７として制限パターン１１ｒが選択された場合の映像Ｓ９ｙの模式図である。
【0144】
図２９（ａ）に示すように、映像Ｓ９ｘは、実機械映像Ｓ８ｄと可動情報映像Ｓ２０ａと可動情報映像Ｓ２０ｂとが重畳された映像となる。実機械映像Ｓ８ｄは、撮像手段４によって撮影された実機械３とマニピュレータ９との映像である。可動情報映像Ｓ２０ａは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。可動情報映像Ｓ２０ｂは、映像モデル生成部１４によって生成された、開閉可能範囲Ｓ１７の映像である。図２９（ａ）の場合、可動情報映像Ｓ２０ａは、ｘ軸方向と同じ方向の運動可能範囲Ｓ３の映像となる。また、可動情報映像Ｓ２０ｂは、ｘ軸方向と同じ方向の開閉可能範囲Ｓ１７の映像となる。
【0145】
図２９（ｂ）に示すように、映像Ｓ９ｙは、実機械映像Ｓ８ｅと可動情報映像Ｓ２０ａと可動情報映像Ｓ２０ｃとが重畳された映像となる。実機械映像Ｓ８ｅは、撮像手段４によって撮影された実機械３とマニピュレータ９との映像である。可動情報映像Ｓ２０ａは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。可動情報映像Ｓ２０ｃは、映像モデル生成部１４によって生成された、開閉可能範囲Ｓ１７の映像である。図２９（ｂ）の場合、可動情報映像Ｓ２０ａは、ｘ軸方向と同じ方向の運動可能範囲Ｓ３の映像となる。また、可動情報映像Ｓ２０ｃは、ｙ軸方向と同じ方向の開閉可能範囲Ｓ１７の映像となる。
【0146】
図２９（ａ）および（ｂ）では、可動情報映像Ｓ２０ａは実機械映像Ｓ８ｄおよびＳ８ｅ内の上側に表示され、可動情報映像Ｓ２０ｂおよびＳ２０ｃはそれぞれ実機械映像Ｓ８ｄおよびＳ８ｅ内の下側に表示されているが、これに限定されない。
【0147】
次に、マニピュレータ９の開閉可能範囲Ｓ１７に加え、姿勢制限範囲Ｓ１８を設定する方法について説明する。操作者は、実機械３を遠隔操作する前に、実機械３の運動可能範囲Ｓ３を任意のモードで設定し、マニピュレータ９の開閉可能範囲Ｓ１７を任意のモードで設定し、マニピュレータ９の姿勢制限範囲Ｓ１８を操縦桿１２１で設定する。操作者は、操縦桿１２１をｘ軸方向あるいはｙ軸方向に動かすことで姿勢制限範囲Ｓ１８を設定する。
【0148】
図３０は、実施の形態４における映像表示部１５での別の映像Ｓ９の一例を示す模式図である。図３０は、図２５に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。また、図３０は、実機械３の運動可能範囲Ｓ３がｘ軸方向に設定され、マニピュレータ９の開閉可能範囲Ｓ１７がｙ軸方向に設定され、マニピュレータ９の姿勢制限範囲Ｓ１８がｙ軸の斜め方向に設定された場合の映像Ｓ９ｚの模式図である。
【0149】
図３０に示すように、映像Ｓ９ｚは、実機械映像Ｓ８ｆと可動情報映像Ｓ２０ａと可動情報映像Ｓ２０ｃと可動情報映像Ｓ２０ｄとが重畳された映像となる。実機械映像Ｓ８ｆは、撮像手段４によって撮影された実機械３とマニピュレータ９との映像である。可動情報映像Ｓ２０ａは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。可動情報映像Ｓ２０ｃは、映像モデル生成部１４によって生成された、開閉可能範囲Ｓ１７の映像である。可動情報映像Ｓ２０ｄは、映像モデル生成部１４によって生成された、姿勢制限範囲Ｓ１８の映像である。図３０の場合、可動情報映像Ｓ２０ａは、ｘ軸方向と同じ方向の運動可能範囲Ｓ３の映像となる。また、可動情報映像Ｓ２０ｃは、ｙ軸方向と同じ方向の開閉可能範囲Ｓ１７の映像となる。更に、可動情報映像Ｓ２０ｄは、斜め方向の姿勢制限範囲Ｓ１８の映像となる。
【0150】
図３０では、可動情報映像Ｓ２０ａは実機械映像Ｓ８ｆ内の上側に表示され、可動情報映像Ｓ２０ｃは実機械映像Ｓ８ｆ内の下側に表示され、可動情報映像Ｓ２０ｄは実機械映像Ｓ８ｆ内の中心付近に表示されているが、これに限定されない。
【0151】
以上で説明した実施の形態４によれば、制限部１１によって実機械３の運動可能範囲Ｓ３だけでなく、マニピュレータ９の開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８とが設定される。これにより、実施の形態３で得られる効果に加え、操作者はマニピュレータ９の複雑な遠隔操作を回避できる。また、映像モデル生成部１４によって、マニピュレータ９の開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８との映像である可動情報映像Ｓ２０が生成され、この可動情報映像Ｓ２０と実機械映像Ｓ８とが重畳された映像Ｓ９が映像表示部１５で表示される。これにより、マニピュレータ９の開閉可能範囲Ｓ１７と姿勢制限範囲Ｓ１８とを確認しながらマニピュレータ９を操作でき、効率的に遠隔操作を行うことができる。
【0152】
実施の形態５．
図３１は、実施の形態５における遠隔操作装置１の構成の一例を示すブロック図である。
図３１は、実施の形態５における遠隔操作装置１の構成の一例を示すブロック図である。
【0153】
図３１に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。図３１は、図１に示す実施の形態１の構成に対し、４つの撮像手段４１～４４が追加された構成を示すブロック図である。図３１に示す制限部１１、モデル生成部１３、映像モデル生成部１４、映像表示部１５、実機械３、ターゲット５、および非ターゲット６は、図１に示す制限部１１、モデル生成部１３、映像モデル生成部１４、映像表示部１５、実機械３、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0154】
操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３とを受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５と第２指令情報Ｓ５１～Ｓ５４とを生成し、第１指令情報Ｓ４を実機械３および実機械モデル生成部１３１に与え、第２指令情報Ｓ５を撮像モデル生成部１３２に与え、第２指令情報Ｓ５１～Ｓ５４をそれぞれ撮像手段４１～４４に与える。第２指令情報Ｓ５１～Ｓ５４は、それぞれ撮像手段４１～４４への、撮影のＯＮ／ＯＦＦ切り替えコマンド、および倍率調整コマンドなどである。操作部１２は、撮像手段４１～４４のうちいずれか１つを撮影ＯＮとし、それ以外を撮影ＯＦＦとするよう、第２指令情報Ｓ５１～Ｓ５４を生成する。これにより、撮影したい方向に対応した撮像手段を選択できる。あるいは、操作部１２は、撮像手段４１～４４のうち複数の撮像手段に対し撮影ＯＮとするよう、第２指令情報Ｓ５１～Ｓ５４を生成してもよい。これにより、複数の映像を合体させた３次元映像が生成され、実機械３を直接操作するのと同じ操作感が得られる。すなわち、操作部１２は、複数の撮像手段４１～４４のうちの少なくとも１つの撮像手段を有効とするよう、撮像手段４１～４４への指令情報を生成する。第２指令情報Ｓ５は、第２指令情報Ｓ５１～Ｓ５４のうち、撮影ＯＮを設定した撮像手段に対応する指令情報と同じである。撮影ＯＮを設定した撮像手段が複数の場合は、第２指令情報Ｓ５は複数生成され、撮像モデル生成部１３２も複数設けられる。
【0155】
撮像手段４１～４４は、それぞれ操作部１２からの第２指令情報Ｓ５１～Ｓ５４を受け取る。撮像手段４１～４４は、これらの情報に基づいて実機械映像Ｓ８を生成し、映像表示部１５に与える。具体的には、撮像手段４１～４４のうち、操作部１２によって撮影ＯＮのコマンドが送信された撮像手段で撮影された実機械映像Ｓ８が、映像表示部１５に入力される。なお、図３９では、撮像手段の数量は４つであるが、数量は２つ以上であればいくつでもよい。
【0156】
なお、本実施の形態において、実施の形態１における第５のモードで運動可能範囲Ｓ３を設定する場合は、図１３に示す光源モデル生成部１３３を図３１のモデル生成部１３に追加すればよい。また、実施の形態３における駆動モデル生成部１３４をモデル生成部１３に追加してもよいし、撮像手段４は駆動装置８と接続されて向きを変更されてもよい。更に、実施の形態４におけるマニピュレータモデル生成部１３５をモデル生成部１３に追加してもよいし、実機械３にマニピュレータ９が接続されてもよい。この場合、モデル生成部１３は、実機械３のモデルと撮像手段４のモデルと光源のモデルと駆動装置８のモデルとマニピュレータ９のモデルとを組み合わせたモデル情報Ｓ６を出力する。本実施の形態におけるモデル生成部１３は、実機械モデル生成部１３１と撮像モデル生成部１３２とを有していればよく、必ずしも光源モデル生成部１３３と駆動モデル生成部１３４とマニピュレータモデル生成部１３５とを有していなくてもよい。また、モデル情報Ｓ６は、実機械３のモデルと撮像手段４のモデルとを組み合わせたものであればよく、必ずしも光源のモデルと駆動装置８のモデルとマニピュレータ９のモデルとを組み合わせなくてもよい。
【0157】
図３２は、実施の形態５における遠隔操作装置１の別の構成の一例を示すブロック図である。
【0158】
図３２に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、映像表示部１５とを備える。図３２は、図１７に示す実施の形態２の構成に対し、４つの撮像手段４１～４４が追加された構成を示すブロック図である。図３２に示す制限部１１、映像表示部１５、実機械３、ターゲット５、非ターゲット６、および運動可能範囲形成手段７は、図１７に示す制限部１１、映像表示部１５、実機械３、ターゲット５、非ターゲット６、および運動可能範囲形成手段７と同じであるため、説明を省略する。また、図３２に示す撮像手段４１～４４は、図３１に示す撮像手段４１～４４と同じであるため、説明を省略する。
【0159】
操作部１２は、操作者からの操作情報Ｓ２と、制限部１１からの運動可能範囲Ｓ３を受け取る。操作部１２は、これらの情報に基づいて第１指令情報Ｓ４と第２指令情報Ｓ５１～Ｓ５４と第４指令情報Ｓ１４とを生成し、第１指令情報Ｓ４を実機械３に与え、第２指令情報Ｓ５１～５４をそれぞれ撮像手段４１～４４に与え、第４指令情報Ｓ１４を運動可能範囲形成手段７に与える。第２指令情報Ｓ５１～Ｓ５４は、図３１に示す第２指令情報Ｓ５１～Ｓ５４と同じである。
【0160】
図３２において、撮像手段４１～４４は駆動装置８と接続されて向きが変更されてもよいし、実機械３はマニピュレータ９と接続されてもよい。この場合、操作部１２は、実機械３への第１指令情報Ｓ４と、撮像手段４１～４４への第２指令情報Ｓ５１～Ｓ５４と、運動可能範囲形成手段７への第４指令情報Ｓ１４と、駆動装置８への第５指令情報Ｓ１６と、マニピュレータ９への第６指令情報Ｓ１９とを生成する。
【0161】
【0162】
図３３は、実施の形態５における実機械３を含む構成の一例を示す模式図である。図３３は、図３１に示す遠隔操作装置１を用いて実機械３を操作する時の模式図である。図３３に示す実機械３、ターゲット５、および非ターゲット６は、図４に示す実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0163】
撮像手段４１～４４は、いずれも実機械３を視野に収められる位置に配置される。なお、撮像手段４１～４４それぞれに、図示しない駆動装置８１～８４が接続されてもよい。
【0164】
【0165】
図３５に示すように、図示しない手段により遠隔操作装置１が起動すると、制限部１１は、操作者からの制限情報Ｓ１に基づいて、実機械３の運動可能範囲Ｓ３を設定する（ステップＳＴ１）。
【0166】
操作部１２は、操作者からの操作情報Ｓ２と、実機械３の運動可能範囲Ｓ３とに基づいて、実機械３を操作するための入力情報である第１指令情報Ｓ４を生成する（ステップＳＴ２）。
【0167】
映像表示部１５は、撮像手段４からの実機械映像Ｓ８と、映像モデル生成部１４からの可動情報映像Ｓ７とを表示する（ステップＳＴ３）。あるいは、映像表示部１５は、撮像手段４からの実機械映像Ｓ８と可動情報映像Ｓ１５とを表示する。可動情報映像Ｓ７は、制限部１１からの運動可能範囲Ｓ３が映像化されたものである。また、可動情報映像Ｓ１５は、運動可能範囲形成手段７を撮影することで取得される運動可能範囲Ｓ３の映像である。
【0168】
図示しない手段が操作者に対し遠隔操作開始を指示する（ステップＳＴ４）。操作者は、映像表示部１５が表示する実機械映像Ｓ８と可動情報映像Ｓ７、あるいは実機械映像Ｓ８と可動情報映像Ｓ１５とを確認しながら、実機械３を遠隔操作する。図示しない手段は、操作者からの遠隔操作終了の指示を受け取った場合に、遠隔操作装置１を停止させる。
【0169】
以上で説明した実施の形態５によれば、複数の撮像手段のうちいずれか１つを有効として、実機械３が撮影される。これにより、実施の形態４で得られる効果に加え、操作者は、実機械映像Ｓ８の向きを逐次選択しながら実機械３を操作でき、効率的に遠隔操作を行うことができる。また、複数の撮像手段を有効として実機械３が撮影され、複数の映像を合体させた３次元映像が生成される。これにより、実施の形態４で得られる効果に加え、実機械３を直接操作するのと同じ操作感が得られる。
【0170】
実施の形態６．
図３５は、実施の形態６における遠隔操作装置１の構成の一例を示すブロック図である。
図３５は、実施の形態６における遠隔操作装置１の構成の一例を示すブロック図である。
【0171】
図３５に示すように、遠隔操作装置１は、制限部１１と、操作部１２と、モデル生成部１３と、映像モデル生成部１４ａと、映像表示部１５ａとを備える。図３５は、映像モデル生成部１４ａが可動情報映像Ｓ７だけでなく実機械映像Ｓ８１を出力する点が、図１とは異なる。また、図３５は、映像表示部１５ａが撮像手段４からの実機械映像Ｓ８を入力する代わりに、映像モデル生成部１４ａからの実機械映像Ｓ８１を入力する点が、図１とは異なる。図３５に示す制限部１１、操作部１２、モデル生成部１３、実機械３、ターゲット５、および非ターゲット６は、図１に示す制限部１１、操作部１２、モデル生成部１３、実機械３、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0172】
映像モデル生成部１４ａは、制限部１１からの運動可能範囲Ｓ３と、モデル生成部１３からのモデル情報Ｓ６とを受け取る。映像モデル生成部１４ａは、これらの情報に基づいて、運動可能範囲Ｓ３が映像化された可動情報映像Ｓ７と、実機械映像Ｓ８１とを生成し、映像表示部１５ａに与える。実機械映像Ｓ８１は、例えば実機械３の３次元モデルが映像化されたものである。
【0173】
映像表示部１５ａは、映像モデル生成部１４からの可動情報映像Ｓ７と実機械映像Ｓ８１とを受け取る。映像表示部１５ａは、可動情報映像Ｓ７と実機械映像Ｓ８１とに基づいて映像Ｓ９を生成し、映像Ｓ９を操作者に提示する。映像表示部１５ａは、実機械３を撮影して映像化された実機械映像Ｓ８ではなく、実機械３の３次元モデルが映像化された実機械映像Ｓ８１を表示する。実施の形態１～５と合わせて一般化すると、映像表示部１５ａは、実機械３が映像化された実機械映像Ｓ８１と、実機械３に対応した運動可能範囲Ｓ３が映像化された可動情報映像Ｓ７とを表示する。但し、実機械３を遠隔操作してターゲット５を動かす場合には、実機械３とターゲット５との位置関係を把握するために、遠隔操作装置１は撮像手段４からの映像を入力してもよい。
【0174】
映像表示部１５ａが実機械３を撮影して映像化されたものを表示する代わりに、例えば実機械３の３次元モデルが映像化されたものを表示することで、撮像手段４を不要にすることができる。また、実機械３とターゲット５との位置関係を把握するために撮像手段４が必要であっても、撮像手段４を解像度が小さい安価なものにすることができる。これは、映像表示部１５ａで表示される実機械映像Ｓ８１が実機械３の３次元モデルであり、撮像手段４の解像度に依存しないためである。
【0175】
図３６は、実施の形態６における遠隔操作装置１の動作の一例を示すフローチャートである。
【0176】
図３６に示すように、図示しない手段により遠隔操作装置１が起動すると、制限部１１は、操作者からの制限情報Ｓ１に基づいて、実機械３の運動可能範囲Ｓ３を設定する（ステップＳＴ１）。
【0177】
操作部１２は、操作者からの操作情報Ｓ２と、実機械３の運動可能範囲Ｓ３とに基づいて、実機械３を操作するための入力情報である第１指令情報Ｓ４を生成する（ステップＳＴ２）。
【0178】
映像表示部１５ａは、映像モデル生成部１４ａからの実機械映像Ｓ８１と可動情報映像Ｓ７とを表示する（ステップＳＴ５）。
【0179】
図示しない手段が操作者に対し遠隔操作開始を指示する（ステップＳＴ４）。操作者は、映像表示部１５ａが表示する実機械映像Ｓ８と可動情報映像Ｓ７とを確認しながら、実機械３を遠隔操作する。
【0180】
以上で説明した実施の形態６によれば、映像表示部１５ａが実機械３を映像化したものを表示する代わりに、例えば実機械３の３次元モデルを映像化したものを表示することで、撮像手段４を不要にすることができる。また、撮像手段４が必要であっても、解像度が小さい安価なものにすることができる。
【0181】
実施の形態７．
図３７は、実施の形態７における遠隔操作装置１の構成の一例を示すブロック図である。
図３７は、実施の形態７における遠隔操作装置１の構成の一例を示すブロック図である。
【0182】
図３７に示すように、遠隔操作装置１は、制限部１１ｓと、操作部１２ａと、モデル生成部１３と、映像モデル生成部１４と、映像表示部１５とを備える。図３７は、制限部１１の代わりに制限部１１ｓを備える点、および操作部１２の代わりに操作部１２ａを備える点が、図１とは異なる。図３７に示すモデル生成部１３、映像モデル生成部１４、映像表示部１５、実機械３、撮像手段４、ターゲット５、および非ターゲット６は、図１に示すモデル生成部１３、映像モデル生成部１４、映像表示部１５、実機械３、撮像手段４、ターゲット５、および非ターゲット６と同じであるため、説明を省略する。
【0183】
制限部１１ｓは、操作者からの制限情報Ｓ１を受け取る。制限部１１ｓは、この制限情報Ｓ１に基づいて運動可能範囲Ｓ３を生成し、操作部１２ａ内の座標系変換部１２３および映像モデル生成部１４に与える。本実施の形態では、本実施の形態では、制限部１１ｓは、実機械３が設置されるｘｙｚ直交座標系を含む任意の空間座標系で運動可能範囲Ｓ３を設定する。このため、制限部１１ｓは、例えば図５に示すｘ軸並進板１１ａおよびｙ軸並進板１１ｂなどを用いて物理的に運動可能範囲Ｓ３を設定するのではなく、ソフトウェア処理によって運動可能範囲Ｓ３を設定する。ここでソフトウェア処理とは、運動可能範囲Ｓ３を設定したい座標系において複数の点を設定し、これらの点を含む直線、曲線、平面、あるいは曲面を運動可能範囲Ｓ３とすることである。
【0184】
操作部１２ａは、座標系変換部１２３と、逆運動学計算部１２４と、第２指令情報生成部１２５とを備える。
【0185】
座標系変換部１２３は、制限部１１ｓから運動可能範囲Ｓ３を受け取る。座標系変換部１２３は、運動可能範囲Ｓ３が設定された空間座標系を実機械３が設置されるｘｙｚ直交座標系に変換する。これは、運動可能範囲Ｓ３が設定された空間座標系からｘｙｚ直交座標系への写像に相当する。
【0186】
逆運動学計算部１２４は、操作者からの操作情報Ｓ２と、制限部１１ｓからの運動可能範囲Ｓ３とを受け取る。逆運動学計算部１２４は、操作情報Ｓ２と運動可能範囲Ｓ３とに基づいて、座標系変換部１２３で変換されたｘｙｚ直交座標系において、運動可能範囲Ｓ３を構成する複数の点に対し逆運動学計算を行い、逆運動学計算後の第１指令情報Ｓ４１を実機械３と実機械モデル生成部１３１とに与える。
【0187】
第２指令情報生成部１２５は、操作者から操作情報Ｓ２を受け取る。第２指令情報生成部１２５は、操作情報Ｓ２に基づいて第２指令情報Ｓ５を生成し、撮像手段４および撮像モデル生成部１３２に与える。第２指令情報Ｓ５は、実施の形態１における第２指令情報Ｓ５と同じであるため、説明を省略する。
【0188】
なお、実機械３は、制限部１１ｓが設定する運動可能範囲Ｓ３内を運動するが、物理的に運動できない場合がある。そこで、遠隔操作装置１は、操作部１２ａと実機械３との間、および操作部１２ａと実機械モデル生成部１３１との間に、図示しない第１の補正部を設けてもよい。第１の補正部は、逆運動学計算部１２４から第１指令情報Ｓ４１を受け取り、第１指令情報Ｓ４１を補正する。第１の補正部は、補正された第１指令情報を実機械３と実機械モデル生成部１３１とに与える。一例として、実機械３の物理的な可動範囲が運動可能範囲Ｓ３よりも狭い場合に、実機械３に対して可動範囲を超えた入力値を第１指令情報Ｓ４１として与えてしまう。そこで、第１の補正部は、可動範囲に収まるよう第１指令情報Ｓ４１を補正する。
【0189】
なお、遠隔操作装置１は、第１の補正部の代わりに、制限部１１ｓと操作部１２ａとの間、および制限部１１ｓと映像モデル生成部１４との間に、図示しない第２の補正部を設けてもよい。第２の補正部は、制限部１１ｓからの運動可能範囲Ｓ３を補正し、補正後の運動可能範囲を座標系変換部１２３および映像モデル生成部１４に与える。具体的には、第２の補正部は、運動可能範囲Ｓ３が設定された空間座標系をｘｙｚ直交座標系に変換し、運動可能範囲Ｓ３を構成する複数の点に対し逆運動学計算を行う。そして、第２の補正部は、逆運動学計算された運動可能範囲を補正し、これに対し運動学計算を行ったものを補正後の運動可能範囲として、操作部１２ａおよび映像モデル生成部１４へ出力する。ここで、逆運動学計算された運動可能範囲を補正したものを第１指令情報Ｓ４１として実機械３および実機械モデル生成部１３１へ出力してもよく、この場合には運動学計算は不要となる。しかし、映像表示部１５が補正後の運動可能範囲を表示する場合には、運動学計算を行う。
【0190】
【0191】
図３８に示すように、実機械３は２リンクマニピュレータである。２リンクマニピュレータは、逆運動学計算部１２４からの第１指令情報Ｓ４１によって２つのアクチュエータ３６が回転することで、エンドエフェクタ３５の位置を決定するロボットアームである。この場合、運動可能範囲Ｓ３は、エンドエフェクタ３５に対して設定される。なお、図３７では、実機械３および実機械モデル生成部１３１に対し第１指令情報Ｓ４１のみが入力されるが、実機械３が２リンクマニピュレータの場合、２つのアクチュエータ３６に対応する２つの異なる第１指令情報Ｓ４１が入力される。
【0192】
また、実機械３が図３８に示す２リンクマニピュレータの場合、逆運動学計算部１２４は、エンドエフェクタ３５の位置を２つのアクチュエータ３６の角度に換算するための換算式を用いることで、逆運動学計算を行う。よって、第１指令情報Ｓ４１はアクチュエータ３６の角度に相当する。但し、実機械３が２リンクマニピュレータではなく、例えば６リンクマニピュレータの場合、あるいは実機械３が移動台車などに設置される場合には、換算式が複雑となる。そこで、逆運動学計算部１２４は、例えばエンドエフェクタ３５の位置に対しアクチュエータ３６の角度を線形化することによって換算式を単純化し、エンドエフェクタ３５の位置などの変数に乗算される係数を最適化アルゴリズムによって求めてもよい。あるいは、係数を機械学習によって求めてもよい。最適化アルゴリズムは、例えば勾配降下法などである。なお、遠隔操作装置１が第２の補正部を備える場合、第２の補正部が行う運動学計算とは、アクチュエータ３６の角度をエンドエフェクタ３５の位置に換算するための換算式を用いることである。
【0193】
なお、実機械３は２リンクマニピュレータに限定されない。
【0194】
図３９（ａ）および（ｂ）は、実施の形態７における映像表示部１５での映像Ｓ９の一例を示す模式図である。図３９（ａ）は、直線を運動可能範囲Ｓ３として設定した場合の映像表示部１５での映像Ｓ９１ａの模式図である。図３９（ｂ）は、平面を運動可能範囲Ｓ３として設定した場合の映像表示部１５での映像Ｓ９１ｂの模式図である。
【0195】
図３９（ａ）に示すように、映像Ｓ９１ａは、実機械映像Ｓ８ｇと可動情報映像Ｓ７ｐとが重畳された映像となる。実機械映像Ｓ８ｇは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｐは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。
【0196】
図３９（ｂ）に示すように、映像Ｓ９１ｂは、実機械映像Ｓ８ｈと可動情報映像Ｓ７ｑとが重畳された映像となる。実機械映像Ｓ８ｈは、撮像手段４によって撮影された実機械３の映像である。可動情報映像Ｓ７ｑは、映像モデル生成部１４によって生成された、運動可能範囲Ｓ３の映像である。
【0197】
制限部１１ｓがソフトウェア処理によって運動可能範囲Ｓ３を設定する場合、２つの問題が生じる。１つ目の問題は、制限部１１ｓが設定した運動可能範囲Ｓ３とエンドエフェクタ３５の運動軌跡との間に乖離が生じることである。図４０（ａ）および（ｂ）は、実施の形態７における運動可能範囲Ｓ３とエンドエフェクタ３５の運動軌跡との関係を示す模式図である。図４０（ａ）は、複数の点Ｃ１によって運動可能範囲Ｓ３ａを設定した場合のエンドエフェクタ３５の運動軌跡Ｔ１を示すものである。図４０（ｂ）は、複数の点Ｃ２によって運動可能範囲Ｓ３ｂを設定した場合のエンドエフェクタ３５の運動軌跡Ｔ２を示すものである。
【0198】
図４０（ａ）に示すように、単位時間あたりに設定する点Ｃ１の数が少ない場合、点Ｃ１の間隔が大きくなるため、運動可能範囲Ｓ３ａと運動軌跡Ｔ１との間に乖離が生じる。これは、逆運動学計算を行う対象である運動可能範囲Ｓ３の軌跡と第１指令情報Ｓ４１の軌跡とが必ずしも一致せず、両者が非線形の関係になるからである。第１指令情報Ｓ４１はアクチュエータ３６への指令情報であり、この軌跡は回転軌跡である。一方、運動可能範囲Ｓ３の軌跡は回転軌跡に限定されず任意の軌跡を取り得る。
【0199】
これを解決するには、図４０（ｂ）に示すように単位時間あたりに設定する点Ｃ２の数を多くすることが挙げられる。但し、多くし過ぎると計算負荷が大きくなるため、計算負荷とのバランスで点Ｃ２を設定することが望ましい。また、図４０（ａ）に示す点Ｃ１の数を変えず、局所的に設定する方法が挙げられる。これは、エンドエフェクタ３５の移動速度を小さくすることに相当する。更に、エンドエフェクタ３５の運動がアクチュエータ３６と同じ回転運動となるよう、運動可能範囲Ｓ３を設定することが挙げられる。
【0200】
なお、実施の形態１から６の場合、実機械３はｘ軸並進機構３１、ｙ軸並進機構３２、およびｚ軸並進機構３３により構成されるため、単位時間あたりに設定する点の数が少ない場合でも、運動可能範囲Ｓ３と運動軌跡との間に乖離は生じない。これは、例えば運動可能範囲Ｓ３をｘ軸に設定した場合、第１指令情報Ｓ４の軌跡はｘ軸となり、運動可能範囲Ｓ３の軌跡と一致し、両者が線形の関係になるからである。
【0201】
２つ目の問題は、運動可能範囲Ｓ３を設定しない自由運動と、運動可能範囲Ｓ３を設定する拘束運動との切り替え時に、第１指令情報Ｓ４１が不連続となることである。自由運動では、ｘｙｚ直交座標系で実機械３が運動する。一方、拘束運動では、運動可能範囲Ｓ３が設定される空間座標系に一旦変換された後に、ｘｙｚ直交座標系に変換される。運動可能範囲Ｓ３が設定される空間座標系に変換される際に、第１指令情報Ｓ４１が不連続となる。これにより、アクチュエータ３６に対し急な指令値変更を要求することになるため、アクチュエータ３６が損傷する可能性がある。
【0202】
これを解決するには、アクチュエータ３６に対する指令値変更を第１の所定範囲内に抑えるような位置にエンドエフェクタ３５を移動させた後に、自由運動から拘束運動に切り替えることが挙げられる。第１の所定範囲とは、例えばアクチュエータ３６を流れる電流が所定値以下となるような範囲である。あるいは第１の所定範囲とは、周辺の環境（機器や人など）に衝突しないような範囲である。また、自由運動から拘束運動に切り替える際、切り替え直前のエンドエフェクタ３５の座標点との距離が第２の所定範囲内となるような点を複数の点から選定し、切り替え直後には選定された点にエンドエフェクタ３５が移動するよう、第１指令情報Ｓ４１を生成することが挙げられる。ここで、第２の所定範囲とは、第１の所定範囲と同じであってもよいし、異なっていてもよい。また、複数の点とは、運動可能範囲Ｓ３を構成する複数の点のことである。更に、運動可能範囲Ｓ３が設定される空間座標系がｘｙｚ直交座標系になるよう、運動可能範囲Ｓ３を設定することが挙げられる。これにより、座標系の変換が発生せずに済む。更に、自由運動と拘束運動との２つの運動パターンで実機械３を遠隔操作する代わりに、拘束運動のみで遠隔操作することが挙げられる。
【0203】
図４１は、実施の形態７における遠隔操作装置１の動作の一例を示すフローチャートである。
【0204】
図４１に示すように、図示しない手段により遠隔操作装置１が起動すると、制限部１１ｓは、操作者からの制限情報Ｓ１に基づいて、実機械３の運動可能範囲Ｓ３を設定する（ステップＳＴ６）。制限部１１ｓは、ソフトウェア処理によって運動可能範囲Ｓ３を設定する。
【0205】
座標系変換部１２３は、運動可能範囲Ｓ３が設定された空間座標系をｘｙｚ直交座標系に変換する（ステップＳＴ７）。
【0206】
逆運動学計算部１２４は、座標系変換部１２３で変換されたｘｙｚ直交座標系において、運動可能範囲Ｓ３を構成する複数の点に対し逆運動学計算を行い、逆運動学計算後の第１指令情報Ｓ４１を実機械３と実機械モデル生成部１３１とに与える（ステップＳＴ８）。
【0207】
映像表示部１５は、撮像手段４からの実機械映像Ｓ８と、映像モデル生成部１４からの可動情報映像Ｓ７とを表示する（ステップＳＴ３）。
【0208】
図示しない手段が操作者に対し遠隔操作開始を指示する（ステップＳＴ４）。操作者は、映像表示部１５が表示する実機械映像Ｓ８と可動情報映像Ｓ７とを確認しながら、実機械３を遠隔操作する。図示しない手段は、操作者からの遠隔操作終了の指示を受け取った場合に、遠隔操作装置１を停止させる。
【0209】
以上で説明した実施の形態７によれば、制限部１１ｓがソフトウェア処理によって運動可能範囲Ｓ３を設定するため、任意の空間座標系で運動可能範囲Ｓ３を設定することができる。
【0210】
実施の形態１～６において、実機械３の運動可能範囲Ｓ３は、ｘ軸方向、ｙ軸方向、またはｘｙ平面上の任意の方向に設定されるが、ｚ軸方向、ｙｚ平面上の任意の方向、またはｘｚ平面上の任意の方向に設定されてもよい。また、運動可能範囲Ｓ３は、任意の平面上に設定されてもよい。
【0211】
また、実施の形態１～７において、映像表示部１５，１５ａとしてヘッドマウントディスプレイを用い、操作者はヘッドマウントディスプレイを装着して、映像Ｓ９を確認しながら実機械３を遠隔操作してもよい。
【0212】
更に、実施の形態１～７において、実機械端３４、マニピュレータ９あるいはエンドエフェクタ３５がターゲット５に接触したことを、図示しない手段により操作者に提示してもよい。例えば、実機械端３４、マニピュレータ９あるいはエンドエフェクタ３５に触覚センサーを取り付ける。ターゲット５への接触を確認した後は、必ずしも実機械映像Ｓ８，Ｓ８１を確認しながら実機械を操作する必要はないため、撮像手段４による撮影をＯＦＦにする期間を設けることができる。これにより、撮像手段４のメモリ容量を削減でき、遠隔操作装置１と撮像手段４との通信の負荷を軽減できる。
【符号の説明】
【0213】
１ 遠隔操作装置、 ３ 実機械、 ４，４１～４４ 撮像手段、 ５ ターゲット、 ６ 非ターゲット、 ７ 運動可能範囲形成手段、 ８ 駆動装置、 ９ マニピュレータ、 １１，１１ｍ～１１ｐ，１１ｓ 制限部、 １１ａ ｘ軸並進板、 １１ｂ ｙ軸並進板、 １１ｃ ｘ軸制限ボタン、 １１ｄ ｙ軸制限ボタン、 １１ｅ～１１ｊ，１１ｑ，１１ｒ 制限パターン、 １１ｋ，１１ｍａ～１１ｐａ，１１ｓ カーソル、 １１ｍｂ～１１ｐｂ ＯＫボタン、 １１ｍｃ～１１ｐｃ ＣＡＮＣＥＬボタン、 １１ｍｄ～１１ｍｇ，１１ｎｄ～１１ｎｇ，１１оｄ～１１оｇ，１１ｐｄ～１１ｐｇ 拘束点、 １２，１２ａ 操作部、 １２３ 座標系変換部、 １２４ 逆運動学計算部、 １２５ 第２指令情報生成部、 １３ モデル生成部、 １４，１４ａ 映像モデル生成部、 １５，１５ａ 映像表示部、 ３１ ｘ軸並進機構、 ３２ ｙ軸並進機構、 ３３ ｚ軸並進機構、 ３４ 実機械端、 ３５ エンドエフェクタ、 ３６ アクチュエータ、 ７１ レーザ光源、 ７２ レーザ光線、 ７３ マルチレーザ光源、 ７４ マルチレーザ光線、 １２１ 操縦桿、 １２２ ボタン、 １３１ 実機械モデル生成部、 １３２ 撮像モデル生成部、 １３３ 光源モデル生成部、 １３４ 駆動モデル生成部、 １３５ マニピュレータモデル生成部、 Ｓ１ 制限情報、 Ｓ２ 操作情報、 Ｓ３，Ｓ３ａ，Ｓ３ｂ 運動可能範囲、 Ｓ４，Ｓ４１ 第１指令情報、 Ｓ５，Ｓ５１～Ｓ５４ 第２指令情報、 Ｓ１３ 第３指令情報、 Ｓ１４ 第４指令情報、 Ｓ１６ 第５指令情報、 Ｓ１９ 第６指令情報、 Ｓ６ モデル情報、 Ｓ７，Ｓ７ａ～Ｓ７ｋ，Ｓ７ｍ～Ｓ７ｑ，Ｓ１５，Ｓ１５ａ，Ｓ１５ｂ，Ｓ２０，Ｓ２０ａ～Ｓ２０ｄ 可動情報映像、 Ｓ８，Ｓ８１，Ｓ８ａ～Ｓ８ｈ 実機械映像、 Ｓ９，Ｓ９ａ～Ｓ９ｋ，Ｓ９ｍ～Ｓ９ｚ，Ｓ９１ａ，Ｓ９１ｂ 映像、 Ｓ１０ 作用力、 Ｓ１１，Ｓ１２ 反作用力、 Ｓ１７ 開閉可能範囲、 Ｓ１８ 姿勢制限範囲、 Ｃ１，Ｃ２ 運動可能範囲を構成する点、 Ｔ１，Ｔ２ 運動軌跡。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】