特開 2023-142844 ロボット利用支援装置、及びロボット利用支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023142844

(43)【公開日】2023-10-05

(54)【発明の名称】ロボット利用支援装置、及びロボット利用支援プログラム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20230928BHJP

   G05B 19/409 20060101ALI20230928BHJP

   G05B 19/42 20060101ALI20230928BHJP

   G05B 19/4069 20060101ALI20230928BHJP

【ＦＩ】

B25J9/22 A

G05B19/409 C

G05B19/42 J

G05B19/4069

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022049963

(22)【出願日】2022-03-25

(71)【出願人】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】110000567

【氏名又は名称】弁理士法人サトー

(72)【発明者】

【氏名】鈴木 俊孝

【テーマコード（参考）】

3C269

3C707

【Ｆターム（参考）】

3C269AB33

3C269BB07

3C269CC09

3C269KK04

3C269MN41

3C269MN48

3C269QB02

3C269QB03

3C269QC01

3C269QC03

3C269QD02

3C269QE02

3C269QE03

3C269QE10

3C269QE12

3C269QE15

3C269QE17

3C269QE23

3C269QE26

3C269SA04

3C269SA15

3C269SA17

3C707BS10

3C707JU03

3C707LS20

3C707MT01

(57)【要約】

【課題】動作モードの切り替えに関する操作性の向上を図る。
【解決手段】ロボット利用支援装置は、画像を表示可能な表示部と、ユーザからの操作を受け付ける入力部と、入力部に入力された操作に応じた画像を表示部に表示させる処理を実行する表示処理部と、を備える。表示処理部は、操作対象となるロボットを模した画像であるロボット画像と、ロボット画像の姿勢を変更させるためのユーザからの操作を受け付ける操作マーカーと、を表示部に表示させる処理と、ユーザにより操作マーカーが選択された場合に表示部内における操作位置に応じてロボット画像の姿勢を変更して表示部に表示させる処理と、ロボット画像及び操作マーカーが表示される領域と同一の領域内に特定領域を設定し、ユーザにより特定領域が選択された場合にロボット画像の動作モードを切り替えるための切替メニューを表示部に表示する処理と、を実行可能である。
【選択図】図６

【特許請求の範囲】

【請求項1】

画像を表示可能な表示部と、
ユーザからの操作を受け付ける入力部と、
前記入力部に入力された操作に応じた画像を前記表示部に表示させる処理を実行する表示処理部と、を備え、
前記表示処理部は、
操作対象となるロボットを模した画像であるロボット画像と、前記ロボット画像の姿勢を変更させるためのユーザからの操作を受け付ける操作マーカーと、を前記表示部に表示させる処理と、
ユーザにより前記操作マーカーが選択された場合に前記表示部内における操作位置に応じて前記ロボット画像の姿勢を変更して前記表示部に表示させる処理と、
前記ロボット画像及び前記操作マーカーが表示される領域と同一の領域内に特定領域を設定し、ユーザにより前記特定領域が選択された場合に前記ロボット画像の動作モードを切り替えるための切替メニューを前記表示部に表示する処理と、を実行可能である、
ロボット利用支援装置。

【請求項2】

前記表示処理部は、前記ロボット画像及び前記操作マーカーが表示される領域の一部でかつ前記操作マーカーを内包する形状に前記特定領域を設定するとともに、前記特定領域を前記ロボット画像の姿勢に追従させる処理を実行可能である、
請求項１に記載のロボット利用支援装置。

【請求項3】

前記表示処理部は、前記ロボット画像に重ねて前記特定領域を設定する処理を実行可能である、
請求項１に記載のロボット利用支援装置。

【請求項4】

前記切替メニューは、前記特定領域が選択された場合の操作位置を中心とした周囲に配置された複数の選択項目を含んでいる、
請求項１に記載のロボット利用支援装置。

【請求項5】

前記表示処理部は、前記表示部に前記切替メニューを表示させている状態で前記入力部が前記切替メニュー以外の領域に対する操作を受け付けた場合に前記切替メニューを非表示にする処理を実行可能である、
請求項１に記載のロボット利用支援装置。

【請求項6】

前記表示処理部は、前記操作マーカーが選択されている場合には前記切替メニューを前記表示部に表示させない処理を実行可能である、
請求項１に記載のロボット利用支援装置。

【請求項7】

画像を表示可能な表示部と、ユーザからの操作を受け付ける入力部と、を制御するコンピュータに、
操作対象となるロボットを模した画像であるロボット画像と、前記ロボット画像の姿勢を変更させるためのユーザからの操作を受け付ける操作マーカーと、を前記表示部に表示させる処理と、
ユーザにより前記操作マーカーが選択された場合に前記表示部内における操作位置に応じて前記ロボット画像の姿勢を変更して前記表示部に表示させる処理と、
前記ロボット画像及び前記操作マーカーが表示される領域と同一の領域内に特定領域を設定し、ユーザにより前記特定領域が選択された場合に前記ロボット画像の動作モードを切り替えるための切替メニューを前記表示部に表示する処理と、
を実行させるロボット利用支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、ロボット利用支援装置、及びロボット利用支援プログラムに関する。

【背景技術】

【0002】

ロボットの教示をする際のユーザに対する支援として、例えばコンピュータ上でロボットの姿勢や動作を再現するいわゆるオフラインシミュレータやオフラインティーチング等がある。オフラインシミュレータやオフラインティーチング等では、ユーザは、モニタ等の画面内表示された三次元のロボット画像の姿勢を、自己の操作等に基づいて変更させることができる。

【0003】

ここで、多自由度を持つロボットの教示には、各軸空間、ＸＹＺ座標空間、及びツール座標空間といった特定の座標空間を基準とした複数の動作モードが存在する。ユーザは、オフラインシミュレータやオフラインティーチング等を行う際、その場面に適した動作モードに切り替える必要がある。しかしながら、従来構成では、この動作モードを切り替える際の操作性に関して改善の余地があった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１７７２８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記した事情を鑑みてなされたものであり、その目的は、オフラインシミュレータやオフラインティーチング等を行うロボット利用支援装置において、動作モードの切り替えに関する操作性の向上を図ることにある。

【課題を解決するための手段】

【0006】

実施形態によるロボット利用支援装置は、画像を表示可能な表示部と、ユーザからの操作を受け付ける入力部と、前記入力部に入力された操作に応じた画像を前記表示部に表示させる処理を実行する表示処理部と、を備える。前記表示処理部は、操作対象となるロボットを模した画像であるロボット画像と、前記ロボット画像の姿勢を変更させるためのユーザからの操作を受け付ける操作マーカーと、を前記表示部に表示させる処理と、ユーザにより前記操作マーカーが選択された場合に前記表示部内における操作位置に応じて前記ロボット画像の姿勢を変更して前記表示部に表示させる処理と、前記ロボット画像及び前記操作マーカーが表示される領域と同一の領域内に特定領域を設定し、ユーザにより前記特定領域が選択された場合に前記ロボット画像の動作モードを切り替えるための切替メニューを前記表示部に表示する処理と、を実行可能である。

【図面の簡単な説明】

【0007】

【図1】一実施形態によるロボット利用支援装置の電気的構成の一例を概念的に示すブロック図

【図2】一実施形態によるロボット利用支援装置について表示部に表示される表示内容の一例であってユーザによる操作が行われていない状態を示す図

【図3】一実施形態によるロボット利用支援装置について表示部に表示される表示内容の一例であって特定領域を可視化して示す図

【図4】一実施形態によるロボット利用支援装置について表示部に表示される表示内容の一例であって図３の状態からロボット画像の姿勢が変更された状態を示す図

【図5】一実施形態によるロボット利用支援装置について表示部に表示される表示内容の一例であって特定領域が選択操作された状態を示す図

【図6】一実施形態によるロボット利用支援装置について表示部に表示される表示内容の一例であって切替メニューが表示された状態を示す図

【図7】一実施形態によるロボット利用支援装置について表示部に表示される表示内容の一例であって切替メニューの選択項目が選択操作された状態を示す図

【図8】一実施形態によるロボット利用支援装置について表示部に表示される表示内容の他の例であって特定領域を可視化して示す図

【図9】一実施形態によるロボット利用支援装置について表示部に表示される表示内容の他の例であって特定領域が選択操作された状態を示す図

【図10】一実施形態によるロボット利用支援装置について表示部に表示される表示内容の他の例であって切替メニューが表示された状態を示す図

【図11】一実施形態によるロボット利用支援装置で実行される制御内容の一例を示すフローチャート

【図12】比較例によるロボット利用支援装置について表示部に表示される表示内容の一例を示す図

【発明を実施するための形態】

【0008】

以下、実施形態について図面を参照しながら説明する。図１に示すロボット利用支援装置１０は、ロボットを用いたシステムの導入や開発を行う際にユーザを支援するためのものである。ロボット利用支援装置１０は、多軸ロボットを対象としている。ロボット利用支援装置１０は、例えばオフラインシミュレータやオフラインティーチング等を実施する際にユーザが扱う入出力装置に適用することができる。また、ロボット利用支援装置１０は、対象となるロボットを実際に動作させる際にユーザが操作するティーチングペンダントに適用することもできる。ロボット利用支援装置１０をティーチングペンダントに適用する場合、ロボット利用支援装置１０は、詳細は図示しないが、操作対象となるロボットの動作を制御するためのロボットコントローラに通信可能に接続される。

【0009】

ロボット利用支援装置１０は、専用品で構成することもできるし、例えば市販のパソコンやスマートフォン若しくはタブレットにコンピュータプログラムをインストールすることで構成することもできる。ロボット利用支援装置１０は、図１に示すように、制御装置１１、表示部１２、入力部１３、補助記憶装置１４、及び表示処理部１５を備えている。制御装置１１は、ＣＰＵ１１１及び主記憶装置１１２を有している。ＣＰＵ１１１は、ロボット利用支援装置１０における各処理を実行する。主記憶装置１１２は、ＲＡＭ等の一時的な記憶媒体であって、各処理に必要な情報を一時的に記憶する。

【0010】

表示部１２は、画像等の表示が可能なユーザインタフェースであり、例えば液晶ディスプレイ等で構成することができる。入力部１３は、ユーザからの操作入力を受けるユーザインタフェースであり、例えばマウスやキーボード若しくはタッチパネル等で構成することができる。この場合、入力部１３は、少なくとも画面上の特定の位置を指定することができるポインティングデバイス又はタッチデバイスを含んでいる。表示部１２を液晶パネルとし、入力部１３をタッチパネルとする場合、表示部１２と入力部１３とは重ねて配置されたタッチパネルディスプレイで構成することもできる。

【0011】

補助記憶装置１４は、有形かつ非一時的なコンピュータ可読媒体で構成される。補助記憶装置１４の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。

【0012】

補助記憶装置１４は、ロボット利用支援プログラム２１を記憶している。ロボット利用支援装置１０は、ＣＰＵ１１１がロボット利用支援プログラム２１を補助記憶装置１４から読み出して主記憶装置１１２に展開し実行することで、表示処理部１５をコンピュータ上で仮想的に実現することができる。なお、表示処理部１５の実現は、上記したハードウェアとプログラムとの組み合わせに限らず、表示プログラムをインプリメントした集積回路のようなハードウェア単体で実現するようにしてもよいし、一部の機能を専用のハードウェアで実現し、一部をハードウェアとプログラムの組み合わせで実現するようにしてもよい。

【0013】

ロボット利用支援装置１０においてオフラインシミュレーションやオフラインティーチングを行う際、表示処理部１５は、図２に示すように、表示部１２に設定された仮想空間領域１２１内にロボット画像３１を表示させる。仮想空間領域１２１は、ロボット画像３１を表示させるための領域であり、例えば操作対象となるロボットが設置される３次元空間を模している。ロボット画像３１は、操作対象となるロボットを模した画像である。仮想空間領域１２１には、ロボット画像３１の他、ロボットの周囲に配置される設備等の画像を表示させることもできる。

【0014】

また、表示部１２のうち仮想空間領域１２１以外の領域１２２は、例えばロボットに関する各種の情報を表示する領域として利用することができる。表示処理部１５は、入力部１３に入力された操作に応じて、ロボット画像３１の姿勢を変化させる。したがって、ユーザは、入力部１３を用いて表示部１２に表示されたロボット画像３１を見ながらロボットの動作のシミュレート又はティーチングを行うことができる。

【0015】

ロボット利用支援装置１０は、表示部１２に表示されたロボット画像３１を動作させる動作モードとして、例えば各軸空間モード、ＸＹＺ座標空間モード、及びツール座標空間モードの３種類を有している。ユーザは、この３種類の動作モードの中から任意の動作モードを適宜選択することができる。各軸空間モードは、ユーザがロボットの各軸の回転量を直接指定することでロボット画像３１を動作させる動作モードである。ＸＹＺ座標空間モードは、固定位置を原点とした絶対座標空間上でロボット画像３１を動作させる動作モードである。そして、ツール座標空間モードは、ロボットの手先を原点とした相対座標空間上でロボット画像３１を動作させる動作モードである。

【0016】

表示処理部１５は、ＸＹＺ座標空間モード又はツール座標空間モードが選択されている場合、仮想空間領域１２１内において、ロボット画像３１とともに操作マーカー３２を表示させる。操作マーカー３２は、ロボット画像３１の姿勢を変更させるためのユーザからの操作を受け付ける画像すなわちＧＵＩ（Graphical User Interface）である。操作マーカー３２は、例えばロボット画像３１の手先を原点とした３つの直交する矢印線を含んで構成することができる。この場合、３つの矢印線はそれぞれＸ－Ｙ－Ｚ方向を示している。

【0017】

ロボット画像３１を操作する場合、ユーザは、まず図３及び図４に示すように、表示部１２に表示された操作マーカー３２を選択する選択操作を行う。そして、ユーザは、操作マーカー３２を選択した状態で操作位置３３を移動させることで、ロボット画像３１の姿勢を変更させることができる。すなわち、表示処理部１５は、ユーザにより操作マーカー３２が選択された場合に、表示部１２内における操作位置３３に応じてロボット画像３１の姿勢を変更して表示部１２に表示させる。

【0018】

例えば入力部１３がマウス等のいわゆるポインティングデバイスである場合、選択操作は、マウスのボタン操作とすることができる。この場合、表示処理部１５は、例えばユーザの操作位置３３をポインタ３３として表示部１２に表示させる。そして、ポインタ３３が操作マーカー３２に重なっている状態で入力部１３に選択操作が入力されると、表示処理部１５は、ユーザが操作マーカー３２を選択したと判断することができる。

【0019】

この場合、表示処理部１５は、ポインタ３３が操作マーカー３２に重なっている状態でマウスのボタンが押下されたことすなわちマウスダウンのイベント発生を検出した場合に、操作マーカー３２に対する選択操作が行われたと判断することができる。また、表示処理部１５は、上記のマウスダウンのイベントの発生後、マウスのボタンの押下が解除されるまですなわちマウスアップのイベント発生を検出するまで、選択操作が継続していると判断することができる。

【0020】

そして、図３及び図４に示すように、操作マーカー３２が選択された状態でマウスがドラッグ操作される等して表示部１２における操作位置３３が変更されると、表示処理部１５は、その操作位置３３の移動に追従させるようにして、表示部１２に表示されるロボット画像３１の姿勢を変更する。

【0021】

また、入力部１３がタッチデバイスである場合、表示処理部１５は、操作マーカー３２に対してタッチ操作が行われた場合に、操作マーカー３２に対して選択操作が行われたこと、すなわちユーザが操作マーカー３２を選択したと判断する。この場合、表示処理部１５は、例えばタッチデバイスのうち操作マーカー３２に対応する位置に対してユーザの手指等が接触したことすなわちタッチダウンのイベント発生を検出した場合に、選択操作が行われたと判断することができる。また、表示処理部１５は、タッチダウンのイベント発生後、タッチデバイスからユーザの手指等が離れるまですなわちタッチアップのイベント発生を検出するまで、選択操作が継続していると判断することができる。

【0022】

そして、操作マーカー３２が選択された状態でドラッグ操作される等して表示部１２における操作位置３３が変更されると、表示処理部１５は、図３及び図４に示すように、その操作位置３３の移動に追従させるようにして、表示部１２に表示されるロボット画像３１の姿勢を変更する。

【0023】

また、表示処理部１５は、図３又は図８に示すように、表示部１２内のうちロボット画像３１が表示される領域１２１と同一の領域内つまり仮想空間領域１２１内に特定領域３４を設定する。仮想間領域１２１は、ロボット画像１３１及び操作マーカー３２が表示されるとともに、特定領域３４が設定される領域である。特定領域３４は、切替メニュー３５を表示させるための操作を受ける領域である。表示処理部１５は、特定領域３４を表示部１２に表示させないようにすることもできるし、例えば半透明にするなどして操作マーカー３２の視認性を害さない程度に表示させることもできる。表示処理部１５は、特定領域３４を、操作マーカー３２の周辺領域及びロボット画像１３１の周辺領域を含む範囲に設定することができる。

【0024】

特定領域３４は、実質的に操作マーカー３２と重ならないように設定される。すなわち、表示処理部１５は、特定領域３４を操作マーカー３２と重ならないように設定するか、又は重ねて設定した場合は特定領域３４に対する操作よりも操作マーカー３２に対する操作の方を優先する。

【0025】

具体的には、表示処理部１５は、入力部１３に対してマウスダウン又はタッチダウンのイベントが発生した場合のみ、操作マーカー３２及び特定領域３４に対する選択操作の有無の判断を行うようにする。若しくは、表示処理部１５は、操作マーカー３２が選択されている場合、特定領域３４の設定を解除する。これにより、ユーザが操作マーカー３２を選択してロボット画像３１を動作させている場合に、誤って特定領域３４を選択して意図せず切替メニュー３５が表示されてしまうことを回避できる。

【0026】

表示処理部１５は、操作マーカー３２を、仮想空間領域１２１の全体ではなく仮想空間領域１２１のうちの一部に設定することができる。なお、詳細は図示しないが、表示処理部１５は、仮想空間領域１２１のうち操作マーカー３２を除く部分全体を特定領域に設定することもできる。図３から図５、図８、及び図９では、特定領域３４を二点鎖線で示している。表示処理部１５は、例えば図３から図５に示すように、操作マーカー３２を内包する形状に特定領域３４を設定することができる。この場合、操作マーカー３２は、仮想空間領域１２１よりも小さい形状に設定される。

【0027】

また、図３から図５に示す例において、表示処理部１５は、特定領域３４を、例えばロボット画像３１の手先又はその手先の近傍を中心とした矩形、円形、若しくは楕円形状に設定することができる。表示処理部１５は、図３及び図４に示すように、特定領域３４をロボット画像３１の姿勢に追従させる。この構成において、図５に示すように操作マーカー３２の周辺に対してユーザが選択操作を行うと、図６に示すように切替メニュー３５が表示される。

【0028】

また、表示処理部１５は、例えば図８及び図９に示すように、特定領域３４を、ロボット画像３１に重ねて設定することができる。この場合、特定領域３４は、ロボット画像３１の姿勢に必然的に追従することになる。この構成において、図９に示すようにロボット画像３１に対してユーザが選択操作を行うと、表示処理部１５は、図１０に示すように、
ユーザが選択操作を行った操作位置３３を中心にして切替メニュー３５を表示させる。

【0029】

上述したように、ユーザは、操作マーカー３２の周囲に設定された特定領域３４に対して選択操作することで、切替メニュー３５を出現させることができる。すなわち、表示処理部１５は、操作マーカー３２が選択されていない状態において特定領域３４に対する選択操作を検出すると、図６及び図１０に示すように、仮想空間領域１２１内に切替メニュー３５を表示させる。

【0030】

切替メニュー３５は、ロボットの動作モードを切り替えるため操作を受けるための画像すなわちＧＵＩである。切替メニュー３５は、例えば複数の選択項目３５１、３５２、３５３を有している。各項目３５１、３５２、３５３は、ロボット利用支援装置１０が備える各動作モードに対応している。本実施形態の場合、切替メニュー３５は、各軸空間モードに切り替えるための選択項目３５１、ＸＹＺ座標空間モードに切り替えるための選択項目３５２、及びツール座標空間モードに切り替えるための選択項目３５３を含んでる。

【0031】

各選択項目３５１、３５２、３５３は、例えば特定領域３４が選択された場合の操作位置３３を中心とした周囲に配置されている。この場合、切替メニュー３５の中心と各選択項目３５１、３５２、３５３の間には、他の選択項目３５１、３５２、３５３が配置されてない。すなわち、ユーザの操作位置３３が、切替メニュー３５の中心からある選択項目３５１、３５２、３５３に至る場合に他の選択項目３５１、３５２、３５３を跨がないように構成されている。

【0032】

切替メニュー３５は、例えば操作位置３３を中心とした周囲でかつ円形の図形内に各選択項目３５１、３５２、３５３を配置した構成とすることができる。この場合、操作位置３３から各選択項目３５１、３５２、３５３までの距離はそれぞれ等しい。このため、特定領域３４を選択して切替メニュー３５を表示させてから各選択項目３５１、３５２、３５３に至るまでの移動距離を等しくすることができる。切替メニュー３５は、例えば円形に限られず、矩形でも多角形でも良い。そして、各選択項目３５１、３５２、３５３のうちの１つに対してユーザが選択操作を行うと、表示処理部１５は、選択された選択項目３５１、３５２、３５３に応じた動作モードに切り替える。

【0033】

また、表示処理部１５は、表示部１２に切替メニュー３５を表示させている状態で入力部１３が切替メニュー３５以外の領域に対する操作を受け付けた場合に切替メニュー３５を非表示にする処理を実行するように構成することができる。この場合、例えばユーザは、切替メニュー３５を表示させたが動作モードの切り替えを中止したい場合、切替メニュー３５の外側の領域を選択操作することで、切替メニュー３５を非表示にして動作モードの切り替えを中止することができる。

【0034】

次に、図１１を参照して一連の制御内容を説明する。表示処理部１５は、一連の制御を開始すると、まずステップＳ１１において入力部１３に対する操作が検出されたか否かを判断する。表示処理部１５は、入力部１３に対する操作が検出されるまで待機する（ステップＳ１１でＮＯ）。表示処理部１５は、入力部１３に対する操作が検出されると（ステップＳ１１でＹＥＳ）、ステップＳ１２において、その操作が特定領域３４に対するものであるか否かを判断する。

【0035】

入力部１３に対する操作が特定領域３４に対するものでない場合（ステップＳ１２でＮＯ）、表示処理部１５は、ステップＳ１３に処理を移行させ、入力部１３に対する操作が操作マーカー３２に対するものであるか否かを判断する。入力部１３に対する操作が操作マーカー３２に対するものでもない場合（ステップＳ１３でＮＯ）、表示処理部１５は、ステップＳ１１に処理を戻す。一方、入力部１３に対する操作が操作マーカー３２に対するものである場合（ステップＳ１３でＹＥＳ）、表示処理部１５は、ステップＳ１４へ処理を移行させる。

【0036】

表示処理部１５は、ステップＳ１４において、操作マーカー３２に対する操作が解除されたか否かを判断する。この場合、表示処理部１５は、例えば入力部１３がマウスであればマウスアップのイベントが発生した場合、入力部１３がタッチデバイスであればタッチアップのイベントが発生した場合に、操作マーカー３２に対する操作が解除された判断することができる。

【0037】

操作マーカー３２に対する操作が解除されていない場合（ステップＳ１４でＮＯ）、表示処理部１５は、ステップＳ１５へ処理を移行させ、操作マーカー３２に対する操作に基づいて表示部１２に表示されているロボット画像３１の姿勢を変更する。そして、表示処理部１５は、操作マーカー３２に対する操作が解除されるまでステップＳ１４、Ｓ１５を繰り返す。そして、操作マーカー３２に対する操作が解除されると（ステップＳ１４でＹＥＳ）、表示処理部１５は、ステップＳ１１へ処理を戻し、ステップＳ１１以降を再度実行する。

【0038】

また、ステップＳ１２において入力部１３に対する操作が特定領域３４に対するものである場合（ステップＳ１２でＹＥＳ）、表示処理部１５は、ステップＳ１６へ処理を移行させ、表示部１２に切替メニュー３５を表示させる。その後、表示処理部１５は、ステップＳ１７において、切替メニュー３５の選択操作が解除されたか否かを判断する。表示処理部１５は、切替メニュー３５の選択操作の解除を、例えばマウスアップイベント又はタッチアップイベントの発生に基づいて判断しても良いし、切替メニュー３５以外の領域に対するマウスダウンイベント又はタッチダウンイベントの発生に基づいて判断しても良い。

【0039】

切替メニュー３５の選択操作が解除された場合（ステップＳ１７でＹＥＳ）、表示処理部１５は、ステップＳ２０へ処理を移行させる。一方、切替メニュー３５の選択操作が解除された場合（ステップＳ１７でＮＯ）、表示処理部１５は、ステップＳ１８に処理を移行させ、選択項目３５１、３５２、３５３が選択されたか否かを判断する。選択項目３５１、３５２、３５３が選択されていない場合（ステップＳ１８でＮＯ）、表示処理部１５は、ステップＳ１７へ処理を戻す。

【0040】

選択項目３５１、３５２、３５３が選択された場合（ステップＳ１８でＹＥＳ）、表示処理部１５は、ステップＳ１９へ処理を移行させ、選択された選択項目に対応した動作モードに切り替える。そして、表示処理部１５は、ステップＳ２０において切替メニュー３５を非表示にした後、ステップＳ１１へ処理を戻し、再びステップＳ１１以降の処理を実行する。

【0041】

以上説明した実施形態によれば、ロボット利用支援装置１０は、表示部１２と、入力部１３と、表示処理部１５と、を備える。表示部１２は、画像を表示可能である。入力部１３は、ユーザからの操作を受け付ける。表示処理部１５は、入力部１３に入力された操作に応じた画像を表示部１２に表示させる処理を実行する。

【0042】

また、表示処理部１５は、操作対象となるロボットを模した画像であるロボット画像３１と、ロボット画像３１の姿勢を変更させるためのユーザからの操作を受け付ける操作マーカー３２と、を表示部１２に表示させる処理を実行可能である。また、表示処理部１５は、ユーザにより操作マーカー３２が選択された場合に表示部１２内における操作位置３３に応じてロボット画像３１の姿勢を変更して表示部１２に表示させる処理を実行可能である。これにより、ユーザは、操作マーカー３２を選択して操作位置３３を移動させることで、ロボット画像３１の姿勢を変更する、すなわち表示部１２上でロボット画像３１を仮想的に動作させることができる。

【0043】

ここで、例えば図１２に示す比較例のように、表示処理部１５は、切替メニュー９１等のＧＵＩを、表示部１２のうち仮想空間領域１２１以外の領域１２２すなわち仮想空間領域１２１の外側の領域１２２に表示させることが考えられる。切替メニュー９１は、ユーザからロボット画像３１の動作モードを切り替えるための操作を受け付ける機能を有する。しかしながら、上記構成では、切替メニュー９１が操作マーカー３２から離れた位置となるため、操作マーカー３２と切替メニュー９１との間の移動距離も長くなる。このため、ユーザが頻繁に動作モードを切り替える場合、ユーザは、切替メニュー９１と操作マーカー３２との長い距離を何度も移動しなければならないため、使い勝手が良くない。

【0044】

これに対し、本実施形態において、表示処理部１５は、図３及び図８等に示すように、表示部１２においてロボット画像３１及び操作マーカー３２が表示される領域と同一の領域である仮想空間領域１２１内に特定領域３４を設定する。すなわち、表示処理部１５は、仮想空間領域１２１以外の領域１２２には特定領域３４を設定しない。そして、表示処理部１５は、ユーザにより特定領域３４が選択された場合にロボット画像３１の動作モードを切り替えるための切替メニュー３５を表示部１２に表示する処理を実行可能である。

【0045】

この場合、特定領域３４は、ロボット画像３１及び操作マーカー３２が表示される領域と同一の領域である仮想空間領域１２１内に設定される。すなわち、特定領域３４は、ロボット画像３１及び操作マーカー３２の近傍に設定される。このため、ユーザは、ロボット画像３１の動作モードを切り替えようとした際に、ロボット画像３１及び操作マーカー３２の近傍に設定された特定領域３４を選択することで、切替メニュー３５を出現させることができる。したがって、操作マーカー３２と切替メニュー３５との間の距離を極力短くすることができ、その結果、動作モードを切り替える際の操作性を向上させることができる。

【0046】

表示処理部１５は、図４の例で示すように、ロボット画像３１及び操作マーカー３２が表示される領域である仮想空間領域１２１の一部でかつ操作マーカー３２を内包する形状に特定領域３４を設定するとともに、特定領域３４をロボット画像３１の姿勢に追従させる処理を実行可能である。すなわち、表示処理部１５は、特定領域３４を、操作マーカー３２の位置つまりユーザの操作位置３３の移動に追従させる処理を実行可能である。これによれば、特定領域３４が常に操作マーカー３２の近傍に位置させることができる。このため、操作マーカー３２と切替メニュー３５との間の距離を極力短くすることができ、その結果、動作モードを切り替える際の操作性を更に向上させることができる。

【0047】

また、表示処理部１５は、図８の例で示すように、ロボット画像３１に重ねて特定領域３４を設定する処理を実行可能である。この構成において、ユーザは、ロボット画像３１を選択することで特定領域３４を選択でき、これにより、切替メニュー３５を表示させることができる。この場合、ロボット画像３１は、操作時に常に表示されている画像であるため、特定領域３４を非表示としても、ユーザは特定領域３４の位置を容易に把握することができ、その結果、操作性の向上を図ることができる。

【0048】

図６又は図１０に示すように、切替メニュー３５は、特定領域３４が選択された場合の操作位置３３を中心とした周囲に配置された複数の選択項目３５１、３５２、３５３を含んでいる。これによれば、ユーザの操作位置３３が、切替メニュー３５の中心からある選択項目３５１、３５２、３５３に至る場合に他の選択項目３５１、３５２、３５３を跨がない。このため、ユーザの操作位置３３の移動距離を極力短いものとすることができるとともに、ユーザが意図しない選択項目３５１、３５２、３５３を選択してしまうことを極力抑制できる。その結果、ユーザの操作性の更なる向上を図ることができる。

【0049】

表示処理部１５は、表示部１２に切替メニュー３５を表示させている状態で入力部１３が切替メニュー３５以外の領域に対する操作を受け付けた場合に切替メニュー３５を非表示にする処理を実行可能である。これによれば、ユーザは、切替メニュー３５を表示させたものの気が変わって切替メニュー３５が不要になった場合等に、例えば切替メニュー３５の外側周囲の領域に対して操作を行うことで切替メニュー３５を消すことができる。この結果、ユーザの操作性の更なる向上を図ることができる。

【0050】

ユーザが操作マーカー３２を選択してロボット画像３１を操作している場合において、操作位置３３が特定領域３４に重なった場合にまで切替メニュー３５が表示されると、その切替メニュー３５の表示はユーザの意図しないものとなり、ユーザの操作性の低下に繋がる。そこで、表示処理部１５は、操作マーカー３２が選択されている場合には、切替メニュー３５を表示部１２に表示させない処理を実行可能である。

【0051】

これによれば、操作マーカー３２が選択されている場合には、例え操作位置３３が特定領域３４に位置したとしても、表示部１２に切替メニュー３５は表示させない。これにより、ユーザが意図せずに切替メニュー３５が表示されることを抑制でき、その結果、ユーザの操作性の低下を抑制することができる。

【0052】

なお、本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

【符号の説明】

【0053】

１０…ロボット利用支援装置、１２…表示部、１３…入力部、１５…表示処理部、２１…表示プログラム、３１…ロボット画像、３２…操作マーカー、３４…特定領域、３５…切替メニュー、３５１…選択項目、３５２…選択項目、３５３…選択項目、P…操作位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】