特開 2023-17438 表示画像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023017438

(43)【公開日】2023-02-07

(54)【発明の名称】表示画像生成装置

(51)【国際特許分類】

   B25J 9/22 20060101AFI20230131BHJP

   G06T 19/00 20110101ALI20230131BHJP

【ＦＩ】

B25J9/22 A

G06T19/00 600

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021121721

(22)【出願日】2021-07-26

(71)【出願人】

【識別番号】000000262

【氏名又は名称】株式会社ダイヘン

(74)【代理人】

【識別番号】100115749

【弁理士】

【氏名又は名称】谷川 英和

(74)【代理人】

【識別番号】100121223

【弁理士】

【氏名又は名称】森本 悟道

(72)【発明者】

【氏名】古川 直樹

(72)【発明者】

【氏名】鳴川 雄太

(72)【発明者】

【氏名】檀上 梓紗

(72)【発明者】

【氏名】北野 豊和

【テーマコード（参考）】

3C707

5B050

【Ｆターム（参考）】

3C707AS11

3C707BS10

3C707JU03

3C707KS07

3C707KS36

3C707KT01

3C707KT06

3C707KT15

3C707LS06

3C707LS20

3C707LW03

3C707MT01

5B050BA13

5B050CA07

5B050DA01

5B050EA05

5B050EA19

5B050FA02

(57)【要約】

【課題】仮想入力インターフェースを用いた入力では、入力操作の実感を得ることができないという問題があった。
【解決手段】表示画像生成装置３は、画像を実環境の画像または実環境そのものに重ねて表示する表示装置４が有するカメラ４ａの撮影画像を受け付ける画像受付部３２と、撮影画像を用いて、実環境に存在する物体の表面に表示される仮想入力インターフェースの表示画像を生成する画像生成部３４と、表示画像を表示装置４に出力する画像出力部３５と、を備える。このようにして、実環境の物体表面に仮想入力インターフェースが表示されることになり、入力操作を行う作業者は、仮想ボタンの選択の際に、物体の表面に触れることになり、入力操作の実感を得ることができるようになる。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を実環境の画像または実環境そのものに重ねて表示する表示装置が有するカメラの撮影画像を受け付ける画像受付部と、
前記撮影画像を用いて、実環境に存在する物体の表面に表示される仮想入力インターフェースの表示画像を生成する画像生成部と、
前記表示画像を前記表示装置に出力する画像出力部と、を備えた表示画像生成装置。

【請求項2】

前記実環境に存在する物体は、前記作業者の身体の一部である、請求項１記載の表示画像生成装置。

【請求項3】

前記作業者の身体の一部は、前記作業者の手である、請求項２記載の表示画像生成装置。

【請求項4】

前記撮影画像を用いて、前記手の形状を特定する形状特定部をさらに備え、
前記画像生成部は、特定された手の形状に応じた種類の仮想入力インターフェースの表示画像を生成する、請求項３記載の表示画像生成装置。

【請求項5】

前記実環境に存在する物体は、前記実環境に存在する静物である、請求項１記載の表示画像生成装置。

【請求項6】

前記仮想入力インターフェースは、２以上の仮想ボタンを有する、請求項１から請求項５のいずれか記載の表示画像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想入力インターフェースの表示画像を生成する表示画像生成装置に関する。

【背景技術】

【0002】

従来、頭部装着型の表示装置を装着している作業者が、ディスプレイに表示されている仮想ボタンをエアタップ等のジェスチャ操作で選択することによって、その仮想ボタンに対応付けられている処理が行われていた（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０５５０７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、空中に表示されている仮想ボタンを指で操作しても、操作をしている作業者はボタンを操作している感覚が得られないという問題がある。そのため、例えば、一つの仮想ボタンを連続して操作したり、複数の仮想ボタンを短時間で切り替えながら操作したりすることが困難であるという問題もあった。

【0005】

本発明は、上記課題を解決するためになされたものであり、仮想入力インターフェースを操作する作業者が、操作している実感を得ることができる仮想入力インターフェースの表示画像を生成するための表示画像生成装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一態様による表示画像生成装置は、画像を実環境の画像または実環境そのものに重ねて表示する表示装置が有するカメラの撮影画像を受け付ける画像受付部と、撮影画像を用いて、実環境に存在する物体の表面に表示される仮想入力インターフェースの表示画像を生成する画像生成部と、表示画像を表示装置に出力する画像出力部と、を備えたものである。

【発明の効果】

【0007】

本発明の一態様による表示画像生成装置によれば、実環境の物体の表面に仮想入力インターフェースが表示されるようになるため、仮想入力インターフェースを操作する際に、その実環境の物体に手などが触れることになり、操作の実感を得ることができるようになる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態によるロボット制御システムの構成を示す模式図

【図2】同実施の形態による表示画像生成装置の動作を示すフローチャート

【図3A】同実施の形態における撮影された手の一例を示す図

【図3B】同実施の形態における仮想入力インターフェースの一例を示す図

【図3C】同実施の形態における仮想入力インターフェースの表示例を示す図

【図3D】同実施の形態における仮想入力インターフェースへの操作の一例を示す図

【図4A】同実施の形態における撮影された手の一例を示す図

【図4B】同実施の形態における仮想入力インターフェースの一例を示す図

【図4C】同実施の形態における仮想入力インターフェースの他の表示例を示す図

【図4D】同実施の形態における情報提示領域の表示例を示す図

【図5】同実施の形態における仮想入力インターフェースの他の表示例を示す図

【図6A】同実施の形態における表示領域図形の一例を示す図

【図6B】同実施の形態における仮想入力インターフェースの他の表示例を示す図

【発明を実施するための形態】

【0009】

以下、本発明による表示画像生成装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による表示画像生成装置は、実環境の物体の表面に表示される仮想入力インターフェースの表示画像を生成するものである。

【0010】

図１は、本実施の形態によるロボット制御システム１００の構成を示す模式図である。図１で示されるように、ロボット制御システム１００は、ロボット１と、ロボット制御装置２と、表示画像生成装置３と、表示装置４とを備える。なお、各装置間は、例えば、有線または無線で接続されてもよい。

【0011】

ロボット１は、通常、産業用ロボットであり、モータにより駆動される関節によって連結された複数のアーム（リンク）を有するマニピュレータであってもよい。ロボット１は、例えば、垂直多関節ロボットであってもよく、水平多関節ロボットであってもよい。また、ロボット１は、例えば、搬送ロボットであってもよく、溶接ロボットであってもよく、組立ロボットであってもよく、塗装ロボットであってもよく、または、その他の用途のロボットであってもよい。なお、ロボット１は、実環境に存在するロボットであるため、仮想環境に存在する３次元モデルの仮想ロボットと区別するために実ロボットと呼ぶこともある。実環境とは、実空間の環境のことである。

【0012】

ロボット制御装置２は、ロボット１の動作を制御する。ロボット１を動作させるロボット制御装置２は、すでに公知であり、その詳細な説明を省略する。なお、ロボット制御システム１００は、例えば、ロボット１が溶接ロボットである場合には、必要に応じて溶接電源やワイヤ送給装置等をさらに有していてもよい。

【0013】

表示画像生成装置３は、仮想入力インターフェースの表示画像を生成して表示装置４に出力する。表示画像生成装置３の詳細については後述する。なお、本実施の形態では、表示画像生成装置３を介して、ロボット制御装置２にロボット１の操作のための指示等が入力される場合について主に説明する。

【0014】

表示装置４は、画像を実環境の画像または実環境そのものに重ねて表示する。すなわち、ロボット１を操作する作業者は、表示装置４によって、実環境と仮想環境の画像との両方を見ることができる。表示装置４は、作業者が頭部に装着する装着型の表示装置であってもよい。装着型の表示装置は、例えば、ヘッドマウントディスプレイであってもよい。表示装置４は、カメラ４ａを有している。カメラ４ａは、実環境を撮影するためのものであり、表示装置４を装着する作業者の視線方向と同じ方向の撮影画像を取得するように配置されていることが好適である。

【0015】

表示装置４は、例えば、透過型ディスプレイを有するものであってもよい。この場合には、表示装置４は、画像を実環境そのものに重ねて表示することになる。透過型ディスプレイを有する装着型の表示装置４としては、例えば、ＨｏｌｏＬｅｎｓ（登録商標）等が知られている。このような透過型ディスプレイを有する表示装置４は、複合現実（ＭＲ：Mixed Reality）を実現するための表示装置であると考えることもできる。また、表示装置４は、例えば、非透過型ディスプレイを有するものであってもよい。この場合には、表示装置４は、カメラ４ａで撮影された画像を実環境の画像に重ねて表示することになる。カメラ４ａで撮影された実環境の画像は、リアルタイムで非透過型ディスプレイに表示される。非透過型ディスプレイを有する装着型の表示装置４としては、例えば、Ｏｃｕｌｕｓ Ｑｕｅｓｔ等が知られている。このような非透過型ディスプレイを有する表示装置４は、拡張現実（ＡＲ：Augmented Reality）を実現するための表示装置であると考えることもできる。本実施の形態では、表示装置４が透過型のディスプレイを有するヘッドマウントディスプレイである場合について主に説明する。

【0016】

図１で示されるように、本実施の形態による表示画像生成装置３は、記憶部３１と、画像受付部３２と、形状特定部３３と、画像生成部３４と、画像出力部３５と、入力受付部３６と、出力部３７とを備える。

【0017】

記憶部３１では、仮想入力インターフェースが記憶される。なお、仮想入力インターフェースは、例えば、１個の仮想ボタンを有していてもよく、２個以上の仮想ボタンを有していてもよい。仮想ボタンは、物理的な実体のない仮想的なボタンであり、表示されている仮想ボタンが手や指などによって選択されるものである。仮想ボタンが選択されることによって、例えば、その仮想ボタンに対応する入力が行われる。その入力に応じて、例えば、その仮想ボタンに対応する処理が実行されてもよい。仮想ボタンは、例えば、仮想ボタンを表示するための画像を有していてもよい。また、仮想ボタンには、その仮想ボタンが選択された場合に入力される情報が対応付けられているものとする。仮想ボタンの選択に応じて入力される情報は、例えば、仮想ボタンの選択に応じて実行される処理を識別する識別子であってもよく、その他の情報であってもよい。本実施の形態では、仮想入力インターフェースが、ロボット１の制御のために用いられるものである場合について主に説明する。例えば、仮想入力インターフェースは、ロボット１を操作するためのティーチングペンダントの仮想入力インターフェースであってもよい。また、記憶部３１では、２以上の仮想入力インターフェースが記憶されていてもよい。例えば、手の形状を識別する形状識別子と、その手の形状に対して表示される仮想入力インターフェースとを対応付ける２以上の対応情報が記憶されていてもよい。本実施の形態では、この２以上の対応情報が記憶部３１で記憶されている場合について主に説明する。

【0018】

記憶部３１に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が記憶部３１で記憶されるようになってもよく、通信回線等を介して送信された情報が記憶部３１で記憶されるようになってもよく、または、入力デバイスを介して入力された情報が記憶部３１で記憶されるようになってもよい。また、記憶部３１は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスク、光ディスクなどであってもよい。

【0019】

画像受付部３２は、表示装置４が有するカメラ４ａの撮影画像を受け付ける。撮影画像は、通常、カラーの画像であるが、白黒の画像であってもよい。また、撮影画像は、例えば、動画像であってもよく、または、静止画像であってもよい。後者の場合であっても、定期的に（例えば、０．５秒や１秒に１回など）撮影画像が受け付けられることが好適である。

【0020】

形状特定部３３は、撮影画像を用いて、手の形状を特定する。形状特定部３３は、例えば、撮影画像に手が含まれるかどうかを判断し、撮影画像に手が含まれる場合に、その手の形状を特定してもよい。手が含まれるかどうかの判断や、手の形状の特定は、例えば、パターンマッチングの手法を用いて行われてもよく、ＣＮＮ（Convolutional Neural Network）などのニューラルネットワークを用いて行われてもよく、他の方法を用いて行われてもよい。特定される手の形状は、例えば、図３Ａで示される通常の手の形状や、図４Ａで示される親指と人差し指とをＬ字状に広げた手の形状などであってもよい。また、手の形状は、例えば、親指が右側にある手の形状や、親指が左側にある手の形状などであってもよい。この場合には、例えば、手の甲側が撮影された手と、手のひら側が撮影された手とを特定することができる。

【0021】

画像生成部３４は、撮影画像を用いて、実環境に存在する物体の表面に表示される仮想入力インターフェースの表示画像を生成する。画像生成部３４は、例えば、撮影画像において、仮想入力インターフェースの表示対象である物体を特定し、その特定した物体の領域に、仮想入力インターフェースの各仮想ボタンを配置することによって、各仮想ボタンの表示画像を含む仮想入力インターフェースの表示画像を生成してもよい。実環境に存在する物体は、例えば、仮想入力インターフェースを用いた入力を行う作業者の身体の一部であってもよく、実環境に存在する静物であってもよい。作業者の身体の一部は、例えば、作業者の手であってもよく、足であってもよく、その他の身体の一部であってもよい。実環境に存在する静物は、例えば、テーブルや壁であってもよく、ロボット１のなどの装置の筐体であってもよい。本実施の形態では、仮想入力インターフェースが表示される実環境に存在する物体が、作業者の手である場合について主に説明する。仮想入力インターフェースが表示される手は、例えば、手首から指先までの範囲であってもよく、手のひらであってもよく、その他の手の部位であってもよい。本実施の形態では、作業者の手が、手首から指先までの範囲である場合について主に説明する。また、本実施の形態では、画像生成部３４が、形状特定部３３によって特定された手の形状に応じた種類の仮想入力インターフェースの表示画像を生成する場合について主に説明する。画像生成部３４は、例えば、形状特定部３３によって特定された手の形状を識別する形状識別子に対応付けられて記憶部３１で記憶されている仮想入力インターフェースを用いて表示画像を生成してもよい。画像生成部３４は、仮想入力インターフェースに含まれる各仮想ボタンを、あらかじめ決められている手の部位に表示するための表示画像を生成してもよい。例えば、手の指に仮想ボタンを表示する際には、指の開き具合などに応じて、各指に表示する仮想ボタンの位置が調整されてもよい。

【0022】

画像生成部３４が生成する仮想入力インターフェースの表示画像は、実環境に存在する物体の所定の位置に表示されることになる。したがって、その物体の位置が変化しない場合には、仮想入力インターフェースが表示される実環境における位置は固定されることになる。例えば、頭部装着型の表示装置４を装着している作業者が頭部の向きを変化させたとしても、仮想入力インターフェースが表示される物体の位置が変化しない場合には、実環境における仮想入力インターフェースの表示位置は変化しないことになる。なお、例えば、作業者の手に表示される仮想入力インターフェースの表示画像は、画像出力部３５によって出力され、表示装置４において実環境の手または手の撮影画像に重ねて表示された場合に、仮想入力インターフェースの表示の大きさや位置が手と整合するように生成されるものとする。作業者の他の身体の一部に仮想入力インターフェースが表示される場合にも同様であるとする。例えば、表示装置４を装着している作業者から見える実環境と、カメラ４ａで撮影された実環境の画像とのずれの程度はあらかじめわかっているため、画像生成部３４は、そのずれの程度を考慮して仮想入力インターフェースの表示画像を生成してもよい。また、画像生成部３４は、例えば、入力受付部３６によって、所定の仮想ボタンが選択された旨が入力された場合に、その仮想ボタンの表示画像を、選択されたことを示す表示画像に変更してもよい。この場合には、仮想ボタンを選択した作業者は、表示装置４のディスプレイに表示された仮想ボタンの表示画像が、選択されたことを示す表示画像に変更されたことによって、仮想ボタンの選択を確認することができるようになる。選択されたことを示す表示画像は、例えば、未選択の仮想ボタンの表示画像と異なる色の表示画像であってもよい。

【0023】

なお、実環境に存在する物体の表面に表示される仮想入力インターフェースとは、表示装置４が有するディスプレイにおいて、実環境に存在する物体の表面の領域に表示される仮想入力インターフェースのことである。本実施の形態では、画像処理のみで、実環境の物体の表面に仮想入力インターフェースが表示されるようにする場合について主に説明するが、深度センサ等の距離センサを用いた３次元スキャンを行うことによって、実環境に存在する物体の３次元の形状データをも取得し、その３次元の形状データに基づいて３次元仮想モデルを生成し、その３次元仮想モデルの表面に仮想入力インターフェースの画像をマッピング（写像）した結果をレンダリングすることによって、仮想入力インターフェースの表示画像を生成してもよい。この場合には、レンダリング時の視点及び視線方向を決定するために、表示装置４と実環境に存在する物体との相対的な位置関係が必要になるが、その相対的な位置関係は、例えば、カメラ４ａの撮影画像に含まれるその物体の複数の特徴点を用いて取得されてもよく、深度センサ等の距離センサによって取得された３次元スキャンの結果を用いて取得されてもよい。また、その相対的な位置関係は、環境地図を用いて、ＳＬＡＭ（Simultaneous Localization and Mapping）や、Ｖｉｓｕａｌ－ＳＬＡＭの手法を用いて取得されてもよい。このように、仮想入力インターフェースが表示される実環境の物体の３次元形状データをも用いることによって、表示画像を表示する対象の物体の表面の方向が、表示装置４を装着している作業者の視線方向に直交した方向でない場合であっても、その実環境の物体の表面に実際に表示されているかのような仮想入力インターフェースの表示画像を生成することができるようになる。

【0024】

画像出力部３５は、画像生成部３４によって生成された表示画像を表示装置４に出力する。なお、画像出力部３５は、表示画像のみを出力してもよい。この場合には、表示装置４において、実環境の画像または実環境そのものに表示画像が重ねられて表示されることになる。一方、表示装置４が非透過型ディスプレイを有する場合であって、表示装置４で撮影された実環境の画像が表示画像生成装置３で受け付けられている場合には、実環境の画像と表示画像とが合成された結果が、表示装置４に出力されてもよい。この合成は、例えば、表示画像生成装置３が有する図示しない合成部によって行われてもよい。

【0025】

出力された表示画像によって表示される仮想入力インターフェースを用いた入力の受け付けは、例えば、表示装置４において行われてもよく、表示画像生成装置３によって行われてもよく、その他の装置によって行われてもよい。例えば、カメラ４ａの撮影画像を用いてハンドトラッキングが行われ、そのハンドトラッキングによって手の人差し指の先端が特定の仮想ボタン上で停止し、その指の先端が仮想ボタン側に押し込まれる動作が行われたことが検出された場合に、その仮想ボタンが選択されたと判断されてもよく、これ以外の方法によって、仮想ボタンが選択されたことが特定されてもよい。なお、表示装置４のディスプレイに表示された仮想ボタンの選択を特定する処理はすでに公知であり、その詳細な説明を省略する。本実施の形態では、この仮想入力インターフェースを用いた入力の受け付けは、表示装置４において行われ、その入力結果が表示画像生成装置３に渡されるものとする。

【0026】

入力受付部３６は、表示装置４から、仮想入力インターフェースを用いた入力結果を受け付ける。この入力結果は、例えば、ロボット１の手先の位置や姿勢の変化に関するものであってもよく、教示の指示であってもよく、教示データに応じたプレイバック動作の開始の指示であってもよく、その他の入力結果であってもよい。

【0027】

出力部３７は、入力受付部３６で受け付けられた、仮想入力インターフェースを用いた入力結果をロボット制御装置２に出力する。この入力結果の出力によって、ロボット１が操作されることになる。

【0028】

次に、表示画像生成装置３の動作について図２のフローチャートを用いて説明する。

【0029】

（ステップＳ１０１）画像受付部３２は、表示装置４のカメラ４ａで撮影された撮影画像を受け付けたかどうか判断する。そして、撮影画像を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０６に進む。

【0030】

（ステップＳ１０２）形状特定部３３は、撮影画像に手が含まれるかどうか判断する。そして、手が含まれる場合にはステップＳ１０３に進み、そうでない場合には、ステップＳ１０１に戻る。

【0031】

（ステップＳ１０３）形状特定部３３は、撮影画像に含まれる手の形状を特定する。

【0032】

（ステップＳ１０４）画像生成部３４は、ステップＳ１０３で特定された手の形状に対応する仮想入力インターフェースを記憶部３１から読み出し、撮影画像に含まれる手の領域に、その仮想入力インターフェースの各仮想ボタンが表示されるように表示画像を生成する。

【0033】

（ステップＳ１０５）画像出力部３５は、生成された表示画像を表示装置４に出力する。このようにして、表示装置４において、手の形状に応じた仮想入力インターフェースの表示画像が、手に重ねて表示されることになる。そして、ステップＳ１０１に戻る。

【0034】

（ステップＳ１０６）入力受付部３６は、表示装置４から仮想入力インターフェースを用いて入力された入力結果を受け付けたかどうか判断する。そして、その入力結果を受け付けた場合には、ステップＳ１０７に進み、そうでない場合には、ステップＳ１０１に戻る。

【0035】

（ステップＳ１０７）出力部３７は、入力受付部３６で受け付けられた入力結果をロボット制御装置２に出力する。そして、ステップＳ１０１に戻る。なお、画像生成部３４は、入力結果の受け付けに応じて、選択された仮想ボタンの表示画像を変更してもよい。そして、画像出力部３５は、その変更後の表示画像を表示装置４に出力してもよい。

【0036】

なお、図２のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0037】

次に、本実施の形態による表示画像生成装置３の動作について、具体例を用いて説明する。この具体例では、図３Ａで示される通常の手の形状と、図４Ａで示される親指と人差し指とをＬ字状に広げた手の形状とにそれぞれ対応する仮想入力インターフェースが記憶部３１で記憶されているものとする。

【0038】

表示装置４を頭部に装着した作業者が、自らの左手を図３Ａで示される形状にして、その手の方を向いたとする。すると、その手の撮影画像が、カメラ４ａで取得されて表示画像生成装置３の画像受付部３２で受け付けられ、形状特定部３３と画像生成部３４とに渡される（ステップＳ１０１）。形状特定部３３は、パターンマッチングの手法によって、撮影画像に手が含まれると判断し、その手が通常の手の形状であることを特定し、その特定結果を画像生成部３４に渡す（ステップＳ１０２，Ｓ１０３）。撮影画像に通常の形状の手の画像が含まれる旨を受け取ると、画像生成部３４は、記憶部３１から、通常の手の形状に対応する仮想入力インターフェースを読み出し、画像受付部３２から受け取った撮影画像における手の領域に、その読み出した仮想入力インターフェースに含まれる各仮想ボタンを配置した表示画像を生成し、画像出力部３５に渡す（ステップＳ１０４）。図３Ｂは、その表示画像を示す図である。図３Ｂで示されるように、仮想入力インターフェース５には、複数の仮想ボタン６が含まれており、各仮想ボタン６が、あらかじめ決められた指や手のひらに表示されるように表示画像が生成される。なお、この表示画像では、仮想ボタン６以外の箇所は、透明に設定されていてもよい。また、各仮想ボタン６において、その仮想ボタンの種類等を示す表示がなされていてもよい。他の仮想入力インターフェースの表示画像についても同様であるとする。

【0039】

複数の仮想ボタン６を含む仮想入力インターフェースの表示画像を受け取ると、画像出力部３５は、その表示画像を表示装置４に出力する（ステップＳ１０５）。そして、表示装置４では、図３Ｃで示されるように、作業者の手の表面に仮想入力インターフェース５に含まれる複数の仮想ボタン６が重ねて表示されることになる。この表示において、例えば図３Ｄで示されるように、作業者が小指の根元側に表示された仮想ボタン６ａを右手の人差し指の先端で選択したとする。すると、仮想ボタン６ａに応じた入力内容が表示装置４から表示画像生成装置３に渡される。そして、その入力内容は入力受付部３６で受け付けられ、出力部３７を介してロボット制御装置２に出力される（ステップＳ１０６，Ｓ１０７）。この場合には、作業者は、仮想ボタン６ａを選択する際に、右手の人差し指で左手の小指の根元側に触れることになるため、仮想ボタン６ａの選択について、実感することができるようになる。なお、画像生成部３４によって、その選択された仮想ボタン６ａの表示画像が変更され、その変更後の表示画像が画像出力部３５によって表示装置４に出力されてもよい。この場合には、作業者は、仮想ボタン６ａの表示の変化、例えば、色の変化によって、自らの選択した仮想ボタンを視覚的に確認することもできるようになる。また、ロボット制御装置２は、その入力に応じてロボット１を制御する。このようにして、手に表示された仮想入力インターフェースを介したロボット１の操作や制御が行われることになる。

【0040】

次に、作業者が図４Ａで示されるように、手の形状を変更したとする。すると、それに応じて撮影画像の手の形状が特定され、その特定された手の形状に応じた仮想入力インターフェース５に含まれる各仮想ボタン６を配置した表示画像が、図４Ｂで示されるように生成され、表示装置４に出力される（ステップＳ１０１～Ｓ１０５）。その結果、図４Ｃで示されるように、作業者の手の表面に仮想入力インターフェース５に含まれる複数の仮想ボタン６が重ねて表示されることになる。なお、各仮想ボタン６の選択に応じて、その仮想ボタン６に対応する入力が受け付けられ、その入力に応じた操作や制御が行われるのは上記説明と同様である。

【0041】

なお、図４Ａで示される手の形状が特定された場合には、親指と人差し指との間の領域に、図４Ｄで示されるように、画像生成部３４によって、情報を表示するための表示画像７が生成され、画像出力部３５を介して表示装置４に出力されてもよい。このようにして、入力の受け付けや、ロボット１の操作や制御に関する情報の表示画像７が生成されて表示されてもよい。この場合には、その表示画像７は、手の移動に応じて移動するため、作業者は、仮想入力インターフェースの表示画像と、情報の提示用の表示画像７とを一緒に見ることができるようになる。

【0042】

また、この具体例では、２種類の手の形状が特定され、その形状に応じた仮想入力インターフェースが表示される場合について説明したが、３種類以上の手の形状が特定され、その形状に応じた仮想入力インターフェースが表示されてもよいことは言うまでもない。

【0043】

また、この具体例では、仮想入力インターフェースが手に表示される場合について主に説明したが、手以外の作業者の身体の一部に表示されてもよいことは上記のとおりである。例えば、図５で示されるように、仮想入力インターフェースの各仮想ボタン６は、作業者の腕に表示されてもよい。

【0044】

また、仮想入力インターフェースは、作業者の身体の一部以外の物体、例えば、実環境に存在する静物の表面に表示されてもよいことは上記のとおりである。例えば、図６Ａで示されるように、仮想入力インターフェースの表示領域を示す表示領域図形８が、実環境の静物上に配置されていてもよい。この表示領域図形は、例えば、表示領域図形８を表示したシートが、実環境に存在する静物の表面に貼着されることによって配置されてもよく、静物の表面に直接、表示領域図形８が印刷等されてもよい。

【0045】

この場合には、画像生成部３４は、画像受付部３２で受け付けられた撮影画像に表示領域図形８が含まれるかどうか判断し、表示領域図形８が含まれる場合には、その表示領域図形８の内部に表示するための仮想入力インターフェースを記憶部３１から読み出し、その仮想入力インターフェースに含まれる各仮想ボタンを表示領域図形８の内部に表示するための表示画像を生成してもよい。その表示画像は、画像出力部３５によって出力され、表示装置４によって表示される。その結果、例えば、図６Ｂで示されるように、表示領域図形８内に、複数の仮想ボタン６を含む仮想入力インターフェースが表示されることになる。なお、各仮想ボタン６の選択に応じて、その仮想ボタン６に対応する入力が受け付けられ、その入力に応じた操作や制御が行われるのは上記説明と同様である。

【0046】

以上のように、本実施の形態による表示画像生成装置３によれば、実環境の物体の表面に仮想入力インターフェースが表示されるようになるため、仮想入力インターフェースを用いた入力を行う際に、その実環境の物体の表面に指などが触れることになり、仮想入力インターフェースを用いた入力であっても、実感を得ることができるようになる。また、単にエアタップなどによって空中に表示された仮想ボタンを選択する場合には、仮想ボタンを選択する指などの止まる所がないため、短時間に連続して仮想ボタンを複数回選択することが難しいが、本実施の形態のように、仮想入力インターフェースが実環境の物体の表面に表示される場合には、仮想ボタンを選択する指などが、物体表面で止まるため、短時間に連続して仮想ボタンを複数回選択することが容易になる。そのため、例えば、ある仮想ボタンの連打や、複数の仮想ボタンの短時間での連続した選択などが可能となる。

【0047】

また、仮想入力インターフェースが作業者の身体の一部に表示される場合には、仮想ボタンを選択する作業者は、仮想入力インターフェースが表示される側の身体においても、仮想ボタンの選択されたことを感じ取ることができ、仮想ボタンの選択に関する実感をより得ることができるようになる。また、仮想入力インターフェースが手に表示される場合には、手の各指や手のひらなどにそれぞれ仮想ボタンを振り分けて表示することができる。そのため、仮想ボタンを選択する際に、例えば、人差し指の先端側に表示されている仮想ボタンなどのように、手の部位に対応付けた仮想ボタンの選択が可能になり、仮想ボタンに表示されたボタンの種類を示す表示のみを用いて仮想ボタンを選択するよりも、仮想ボタンをより容易に選択することができる。

【0048】

また、手の形状に応じた種類の仮想入力インターフェースの表示画像が表示されることによって、手の形状によって、仮想入力インターフェースの種類を簡単に変えることができるようになる。そのため、例えば、手の形状に応じて仮想入力インターフェースの種類を適宜、切り替えながら効率的な入力を実現することもできるようになる。また、仮想入力インターフェースが複数の仮想ボタンを有している場合には、その複数の仮想ボタンを用いて、複数の入力を行うことができ、効率のよい入力を実現することができる。また、実環境に存在する静物の表面に仮想入力インターフェースが表示される場合には、仮想入力インターフェースを表示するために作業者の身体を使用しないことになる。そのため、例えば、作業者が左手で別のデバイスを操作しながら、右手で仮想ボタンを選択するなどの作業が可能になる。

【0049】

なお、本実施の形態では、実環境に存在する静物の表面に仮想入力インターフェースが表示される際に、その静物の表面に表示されている表示領域図形内に仮想入力インターフェースが表示される場合について説明したが、そうでなくてもよい。仮想入力インターフェースは、適宜、選択された静物の表面に表示されてもよい。この場合であっても、仮想入力インターフェースが表示される実環境における位置は固定されているものとする。したがって、例えば、頭部装着型の表示装置４を装着している作業者が頭部の向きを変化させたとしても、実環境における仮想入力インターフェースの表示位置は変化しないことになる。

【0050】

また、本実施の形態では、手の形状に応じた種類の仮想入力インターフェースが表示される場合について主に説明したが、そうでなくてもよい。手の形状に応じた種類の仮想入力インターフェースが表示されなくてもよい場合には、表示画像生成装置３は、形状特定部３３を備えていなくてもよい。

【0051】

また、本実施の形態では、表示画像生成装置３を介して、ロボット制御装置２にロボット１の操作のための指示等が入力される場合について主に説明したが、そうでなくてもよい。表示装置４において受け付けられたジェスチャ操作に対応する操作内容は、表示装置４から直接、ロボット制御装置２に入力されてもよい。この場合には、表示画像生成装置３は、入力受付部３６や出力部３７を備えていなくてもよい。なお、仮想ボタンの選択に応じて仮想ボタンの表示画像を変更するのであれば、表示画像生成装置３は、操作のための指示等をロボット制御装置２に出力しない場合であっても、入力受付部３６を備えていてもよい。

【0052】

また、本実施の形態では、表示画像生成装置３が、実ロボットであるロボット１の操作のための仮想入力インターフェースを生成する場合について主に説明したが、そうでなくてもよい。表示画像生成装置３によって生成された仮想入力インターフェースの表示画像を用いて操作される対象の装置は、例えば、仮想ロボットや、家電製品、パーソナルコンピュータ、工作機械、乗り物、移動体など、操作の対象となり得るどのようなものであってもよい。したがって、表示画像生成装置３は、ロボット制御システム１００以外において用いられてもよいことは言うまでもない。

【0053】

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。例えば、表示画像生成装置３の少なくとも一部の構成は、物理的には、ディスプレイを有する装置や、ロボットコントローラなどに含まれてもよく、表示画像生成装置３と表示装置４とは一体的に構成されてもよい。したがって、図１で示される装置の切り分けは、物理的な装置に応じたものではなく、機能に応じた便宜上のものであると考えてもよい。

【0054】

また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

【0055】

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。

【0056】

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

【0057】

また、上記実施の形態において、表示画像生成装置３に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

【0058】

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。また、そのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。また、そのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

【0059】

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

【符号の説明】

【0060】

３ 表示画像生成装置、４ 表示装置、４ａ カメラ、５ 仮想入力インターフェース、６、６ａ 仮想ボタン、７ 表示画像、８ 表示領域図形、３１ 記憶部、３２ 画像受付部、３３ 形状特定部、３４ 画像生成部、３５ 画像出力部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6A】

【図6B】