特開 2024-46109 操作システム、処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024046109

(43)【公開日】2024-04-03

(54)【発明の名称】操作システム、処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240327BHJP

   B25J 3/00 20060101ALI20240327BHJP

   G06V 40/20 20220101ALI20240327BHJP

   H04N 7/18 20060101ALI20240327BHJP

【ＦＩ】

G06T7/20 300A

B25J3/00

G06V40/20

H04N7/18 U

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022151300

(22)【出願日】2022-09-22

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】萩野 達

【テーマコード（参考）】

3C707

5C054

5L096

【Ｆターム（参考）】

3C707BS10

3C707JS03

3C707JS07

3C707JT07

3C707JT10

3C707JU02

3C707JU12

3C707KS12

3C707KT02

3C707KT03

3C707KT06

5C054CA04

5C054CC02

5C054DA07

5C054FA04

5C054FE02

5C054FE23

5C054HA04

5L096BA02

5L096BA05

5L096CA05

5L096DA02

5L096FA67

5L096FA69

5L096GA51

(57)【要約】

【課題】操作者が操作対象のロボットの周囲にいない場合、カメラから表示装置へ送信されるロボットの周囲の状況を含む映像のデータ量を低減することのできる操作システムを提供する。
【解決手段】操作システムは、操作者によるジェスチャーを特定する第１特定手段と、前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定する第２特定手段と、を備える。
【選択図】図１０

【特許請求の範囲】

【請求項1】

操作者によるジェスチャーを特定する第１特定手段と、
前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定する第２特定手段と、
を備える操作システム。

【請求項2】

前記ジェスチャーは、
前記操作者の頭の位置および前記操作者の顔の向きの変更を含む前記操作者の行動である、
請求項１に記載の操作システム。

【請求項3】

前記ジェスチャーは、
前記操作者が映像におけるカメラに目線を合わせ、まばたきすることを含む前記操作者の行動である、
請求項１に記載の操作システム。

【請求項4】

前記操作者が所定の操作を行うことにより前記第２特定手段が特定した前記カメラの変更を禁止する変更禁止手段、
を備える請求項１または請求項２に記載の操作システム。

【請求項5】

操作者によるジェスチャーを特定することと、
前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定することと、
を含む処理方法。

【請求項6】

コンピュータに、
操作者によるジェスチャーを特定することと、
前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、操作システム、処理方法、およびプログラムに関する。

【背景技術】

【0002】

近年、倉庫などで使用される遠隔操作されるロボットの開発が盛んに行われている。特許文献１には、関連する技術として、産業車両を遠隔操作するシステムに関する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１９３０３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、操作者が操作してロボットを操作する場合、操作者はロボットの周囲の状態を把握する必要がある。そして、操作者が操作対象のロボットの周囲にいない場合、ロボットの周囲を撮影するカメラから、操作者が見ることのできる表示装置へ、ロボットの周囲を撮影した映像を送信し、操作者は表示装置を介してロボットの周囲の状況を確認する必要がある。このように、操作者が操作対象のロボットの周囲にいない場合、カメラから表示装置へ送信されるロボットの周囲の状況を含む映像のデータ量を低減することのできる技術が求められている。

【0005】

本開示の各態様は、上記の課題を解決することのできる操作システム、処理方法、およびプログラムを提供することを目的の１つとしている。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の一態様によれば、操作システムは、操作者によるジェスチャーを特定する第１特定手段と、前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定する第２特定手段と、を備える。

【0007】

上記目的を達成するために、本開示の別の態様によれば、処理方法は、操作者によるジェスチャーを特定することと、前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定することと、を含む。

【0008】

上記目的を達成するために、本開示の別の態様によれば、プログラムは、コンピュータに、操作者によるジェスチャーを特定することと、前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定することと、を実行させる。

【発明の効果】

【0009】

本開示の各態様によれば、操作者が操作対象のロボットの周囲にいない場合、カメラから表示装置へ送信されるロボットの周囲の状況を含む映像のデータ量を低減することのできる技術が求められている。

【図面の簡単な説明】

【0010】

【図1】本開示の第１実施形態による操作システムの構成の一例を示す図である。

【図2】本開示の第１実施形態による情報処理装置の構成の一例を示す図である。

【図3】本開示の第１実施形態におけるしきい値の一例を示す図である。

【図4】本開示の第１実施形態による記憶部が記憶するテーブルの一例を示す図である。

【図5】本開示の第１実施形態による操作システムの処理フローの一例を示す図である。

【図6】本開示の第２実施形態による操作システムの構成の一例を示す図である。

【図7】本開示の第２実施形態による情報処理装置の構成の一例を示す図である。

【図8】本開示の第２実施形態による記憶部が記憶するテーブルの一例を示す図である。

【図9】本開示の第２実施形態による操作システムの処理フローの一例を示す図である。

【図10】本開示の実施形態による操作システムの最小構成を示す図である。

【図11】本開示の実施形態による最小構成の操作システムの処理フローの一例を示す図である。

【図12】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0011】

＜第１実施形態＞
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、本開示の第１実施形態による操作システム１の構成の一例を示す図である。操作システム１は、図１に示すように、第１システム１０および第２システム２０を備える。操作システム１は、第１システム１０を介して第２システム２０の後述するロボット２０１を操作する操作者の頭部の位置および操作者の顔の向きに応じて第２システム２０において撮影した映像を第１システム１０に送信する後述する複数のカメラ２０２の中から１つが選択されるシステムである。また、操作システム１は、第１システム１０に対して行われる操作に応じて、第２システム２０におけるロボット２０１が動作するシステムである。なお、カメラが撮影する映像を見ながら操作装置１０１を介してロボット２０１を操作するために、操作者が操作者の頭部の位置および操作者の顔の向きを変更することを含む身体を動かす動作は、ジェスチャーの一例である。

【0012】

第１システム１０は、図１に示すように、操作装置１０１、ヘッドマウンテッドディスプレイ１０２（表示装置の一例）、センサ１０３、および情報処理装置１０４を備える。第１システム１０は、操作者の頭部の位置および操作者の顔の向きに応じて第２システム２０において撮影した映像を第１システム１０に送信する１つのカメラを選択する。また、第１システム１０は、操作者による操作に応じて第２システム２０におけるロボットを操作する。

【0013】

操作装置１０１は、操作者により操作に応じてロボット２０１を制御する制御信号を生成する。操作装置１０１は、生成した制御信号を第２システム２０に送信する。

【0014】

ヘッドマウンテッドディスプレイ１０２は、第２システム２０から送信されるカメラ２０２が撮影している映像の映像信号を復号化して映像を映す。操作者は、このヘッドマウンテッドディスプレイを身に着けて、複数のカメラ２０２のうちの１つが撮影している映像を見ながら操作装置１０１に対してロボット２０１を操作するための操作を行う。

【0015】

センサ１０３は、操作者の頭部の位置および操作者の顔の向きの両方を検出する。センサの例としては、ジャイロセンサ、加速度センサ、モーションセンサ、トラッカーなどが挙げられる。ジャイロセンサは、回転を検出できるセンサであり、操作者の顔の向きを検出することができる。センサがジャイロセンサである場合、センサ１０３は、操作者の頭部の位置を検出することができる別のセンサを含む。加速度センサは、前後、左右、上下のそれぞれの方向の加速度を検出できるセンサであり、操作者の頭部の位置および操作者の顔の向きの両方を検出することができる。モーションセンサは、操作者を撮影し、撮影した映像を解析することにより、操作者の頭部の位置および操作者の顔の向きの両方を検出することができる。トラッカーは、トラッキング用のセンサを身に着けた操作者に赤外線やレーザーなどの光を照射し、センサが光を受光することにより、操作者の頭部の位置および操作者の顔の向きの両方を検出することができる。センサ１０３は、操作者の頭部の位置および操作者の顔の向きの両方を検出することができれば、センサをいくつ備えるものであってもよい。また、センサ１０３の一部または全部は、ヘッドマウンテッドディスプレイ１０２に設けられるものであってもよい。

【0016】

情報処理装置１０４は、センサ１０３が検出した操作者の頭部の位置および操作者の顔の向きに応じて、操作者の頭部の位置と操作者の顔の向きとの組み合わせを特定する。図２は、本開示の第１実施形態による情報処理装置１０４の構成の一例を示す図である。情報処理装置１０４は、図２に示すように、記憶部１０４１、および処理部１０４２（第１特定手段の一例、第２特定手段の一例）を備える。

【0017】

記憶部１０４１は、操作者の頭部の位置および操作者の顔の向きを特定するためのしきい値を記憶する。図３は、本開示の第１実施形態におけるしきい値の一例を示す図である。図３の（ａ）の部分は、操作者の頭部の位置を特定するための第１しきい値、第２しきい値、第３しきい値、および第４しきい値を示している。第１しきい値および第２しきい値は、図３の（ａ）の部分に示すように、左右方向の操作者の頭部の位置を特定するためのしきい値である。また、第３しきい値および第４しきい値は、図３の（ａ）の部分に示すように、奥行き方向の操作者の頭部の位置を特定するためのしきい値である。操作者の頭部の位置は、左右方向について、第１しきい値を含む第１しきい値よりも左側の領域、第２しきい値を含む第２しきい値よりも左側であり、第１しきい値よりも右側の領域、第２しきい値よりも右側の領域の３つに分類される。また、操作者の頭部の位置は、奥行き方向について、第３しきい値を含む第３しきい値よりも奥の領域、第４しきい値を含む第４しきい値よりも奥であり、第３しきい値よりも手前の領域、第４しきい値よりも手前の領域の３つに分類される。その結果、操作者の頭部の位置は、第１しきい値、第２しきい値、第３しきい値、および第４しきい値により、図３の（ａ）の部分に示すように、左奥、奥、右奥、左中央、中央、右中央、左手前、手前、右手前の９つの領域に分類される。この分類は、後述するように、処理部１０４２により行われる。なお、左奥、奥、右奥、左中央、中央、右中央、左手前、手前、右手前の９つの領域の基準は、例えば中央の領域の中心である。

【0018】

図３の（ｂ）の部分は、操作者の顔の向きを特定するための第５しきい値、第６しきい値、第７しきい値、および第８しきい値を示している。第５しきい値および第６しきい値は、図３の（ｂ）の部分に示すように、左右方向の操作者の顔の向きを特定するためのしきい値である。また、第７しきい値および第８しきい値は、図３の（ｂ）の部分に示すように、上下方向の操作者の顔の向きを特定するためのしきい値である。操作者の顔の向きは、左右方向について、第５しきい値を含む第５しきい値よりも左側の領域、第６しきい値を含む第６しきい値よりも左側であり、第５しきい値よりも右側の領域、第６しきい値よりも右側の領域の３つに分類される。また、操作者の顔の向きは、上下方向について、第７しきい値を含む第７しきい値よりも上の領域、第８しきい値を含む第８しきい値よりも上であり、第７しきい値よりも下の領域、第８しきい値よりも下の領域の３つに分類される。その結果、操作者の顔の向きは、第５しきい値、第６しきい値、第７しきい値、および第８しきい値により、図３の（ｂ）の部分に示すように、左上、上、右上、左中、中、右中、左下、下、右下の９つの領域に分類される。この分類は、後述するように、処理部１０４２により行われる。なお、左上、上、右上、左中、中、右中、左下、下、右下の９つの領域の基準は、例えば中の領域の中心である。

【0019】

また、記憶部１０４１は、撮影した映像を第１システム１０に送信するカメラ２０２を選択するためのテーブルＴＢＬ１を記憶する。図４は、本開示の第１実施形態による記憶部１０４１が記憶するテーブルＴＢＬ１の一例を示す図である。テーブルＴＢＬ１は、図４に示すように、操作者の頭部の位置と操作者の顔の向きとの組み合わせと、それぞれの組み合わせの場合に撮影した映像を第１システム１０に送信するカメラを選択する選択信号とを関連付けて記憶している。選択信号は、撮影した映像を第１システム１０に送信するカメラと後述する第２システム２０のエンコーダ２０４とが接続されるように後述する第２システム２０のスイッチ２０３を切り替える信号である。選択信号は、カメラを選択するための信号であるため、選択信号を特定することは、カメラを特定したことと等価である。

【0020】

処理部１０４２は、センサ１０３による操作者の頭部の位置の検出結果に基づいて、操作者の頭部の位置が左奥、奥、右奥、左中央、中央、右中央、左手前、手前、右手前の何れであるかを特定する。また、処理部１０４２は、センサ１０３による操作者の顔の向きの検出結果に基づいて、操作者の顔の向きが左上、上、右上、左中、中、右中、左下、下、右下の何れであるかを特定する。処理部１０４２は、特定した操作者の頭部の位置と、特定した操作者の顔の向きとの組み合わせを特定する。処理部１０４２は、特定した組み合わせに一致する組み合わせを、テーブルＴＢＬ１において特定する。処理部１０４２は、テーブルＴＢＬ１において、特定した組み合わせに関連付けられている選択信号を特定する。そして、処理部１０４２は、特定した選択信号を第２システム２０に送信する。

【0021】

第２システム２０は、図１に示すように、ロボット２０１、カメラ２０２ａ１、２０２ａ２、２０２ａ３、２０２ａ４、２０２ａ５、２０２ａ６、２０２ａ７、２０２ａ８、２０２ａ９、２０２ａ１０、２０２ａ１１、２０２ａ１２、２０２ａ１３、スイッチ２０３、およびエンコーダ２０４を備える。カメラ２０２ａ１、２０２ａ２、２０２ａ３、２０２ａ４、２０２ａ５、２０２ａ６、２０２ａ７、２０２ａ８、２０２ａ９、２０２ａ１０、２０２ａ１１、２０２ａ１２、２０２ａ１３を総称してカメラ２０２という。

【0022】

ロボット２０１は、第１システム１０から受ける制御信号に応じて動作する。カメラ２０２のそれぞれは、それぞれに定められた領域の映像を撮影する。

【0023】

スイッチ２０３は、第１システム１０から受ける選択信号に応じて、撮影した映像を第１システム１０に送信するカメラとエンコーダ２０４とが接続されるように内部の接続が切り替わる。エンコーダ２０４は、スイッチ２０３を介して受けるカメラが撮影した映像を符号化する。エンコーダ２０４は、符号化後の映像信号を第１システム１０に送信する。

【0024】

次に、本開示の第１実施形態による操作システム１の処理について説明する。ここでは、図５に示す本開示の第１実施形態による操作システム１の処理フローについて説明する。

【0025】

カメラが撮影する映像を見ながら操作装置１０１を介してロボット２０１を操作するために、操作者は操作者の頭部の位置および操作者の顔の向きを変える身体を動かす動作を行う。センサ１０３は、操作者が身体を動かすことにより変化する操作者の頭部の位置および操作者の顔の向きを検出する（ステップＳ１）。

【0026】

処理部１０４２は、センサ１０３が検出した操作者の頭部の位置が左奥、奥、右奥、左中央、中央、右中央、左手前、手前、右手前の何れであるかを特定する（ステップＳ２）。

【0027】

例えば、処理部１０４２は、センサ１０３が検出した操作者の頭部の位置の左右方向の位置と第１しきい値とを比較する。そして、操作者の頭部の位置が第１しきい値を含めて第１しきい値の左側に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の頭部の位置の奥行き方向の位置と第３しきい値とを比較する。操作者の頭部の位置が第３しきい値を含めて第３しきい値の奥に位置する場合、処理部１０４２は、操作者の頭部の位置を左奥と特定する。また、操作者の頭部の位置が第３しきい値よりも手前に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の頭部の位置の奥行き方向の位置と第４しきい値とを比較する。操作者の頭部の位置が第４しきい値を含めて第４しきい値の奥に位置する場合、処理部１０４２は、操作者の頭部の位置を左中央と特定する。また、操作者の頭部の位置が第４しきい値よりも手前に位置する場合、処理部１０４２は、操作者の頭部の位置を左手前と特定する。

【0028】

また、操作者の頭部の位置が第１しきい値よりも右側に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の頭部の位置の左右方向の位置と第２しきい値とを比較する。そして、操作者の頭部の位置が第２しきい値を含めて第２しきい値の左側に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の頭部の位置の奥行き方向の位置と第３しきい値とを比較する。操作者の頭部の位置が第３しきい値を含めて第３しきい値の奥に位置する場合、処理部１０４２は、操作者の頭部の位置を奥と特定する。また、操作者の頭部の位置が第３しきい値よりも手前に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の頭部の位置の奥行き方向の位置と第４しきい値とを比較する。操作者の頭部の位置が第４しきい値を含めて第４しきい値の奥に位置する場合、処理部１０４２は、操作者の頭部の位置を中央と特定する。また、操作者の頭部の位置が第４しきい値よりも手前に位置する場合、処理部１０４２は、操作者の頭部の位置を手前と特定する。

【0029】

また、操作者の頭部の位置が第２しきい値よりも右側に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の頭部の位置の奥行き方向の位置と第３しきい値とを比較する。操作者の頭部の位置が第３しきい値を含めて第３しきい値の奥に位置する場合、処理部１０４２は、操作者の頭部の位置を右奥と特定する。また、操作者の頭部の位置が第３しきい値よりも手前に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の頭部の位置の奥行き方向の位置と第４しきい値とを比較する。操作者の頭部の位置が第４しきい値を含めて第４しきい値の奥に位置する場合、処理部１０４２は、操作者の頭部の位置を右中央と特定する。また、操作者の頭部の位置が第４しきい値よりも手前に位置する場合、処理部１０４２は、操作者の頭部の位置を右手前と特定する。

【0030】

また、処理部１０４２は、センサ１０３が検出した操作者の顔の向きが左上、上、右上、左中、中、右中、左下、下、右下の何れであるかを特定する（ステップＳ３）。

【0031】

例えば、処理部１０４２は、センサ１０３が検出した操作者の顔の向きの左右方向の向きと第５しきい値とを比較する。そして、操作者の顔の向きが第５しきい値を含めて第５しきい値の左側に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の顔の向きの上方向の向きと第７しきい値とを比較する。操作者の顔の向きが第７しきい値を含めて第７しきい値の上に位置する場合、処理部１０４２は、操作者の顔の向きを左上と特定する。また、操作者の顔の向きが第７しきい値よりも下に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の顔の向きの上方向の向きと第４しきい値とを比較する。操作者の顔の向きが第４しきい値を含めて第４しきい値の上に位置する場合、処理部１０４２は、操作者の顔の向きを左中と特定する。また、操作者の顔の向きが第４しきい値よりも下に位置する場合、処理部１０４２は、操作者の顔の向きを左下と特定する。

【0032】

また、操作者の顔の向きが第１しきい値よりも右側に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の顔の向きの左右方向の向きと第６しきい値とを比較する。そして、操作者の顔の向きが第６しきい値を含めて第６しきい値の左側に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の顔の向きの上方向の位置と第７しきい値とを比較する。操作者の顔の向きが第７しきい値を含めて第７しきい値の上に位置する場合、処理部１０４２は、操作者の顔の向きを上と特定する。また、操作者の顔の向きが第７しきい値よりも下に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の顔の向きの上方向の位置と第８しきい値とを比較する。操作者の顔の向きが第８しきい値を含めて第８しきい値の上に位置する場合、処理部１０４２は、操作者の顔の向きを中と特定する。また、操作者の顔の向きが第８しきい値よりも下に位置する場合、処理部１０４２は、操作者の顔の向きを下と特定する。

【0033】

また、操作者の顔の向きが第６しきい値よりも右側に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の顔の向きの上方向の向きと第７しきい値とを比較する。操作者の顔の向きが第７しきい値を含めて第７しきい値の上に位置する場合、処理部１０４２は、操作者の顔の向きを右上と特定する。また、操作者の顔の向きが第７しきい値よりも下に位置する場合、処理部１０４２は、センサ１０３が検出した操作者の顔の向きの上方向の向きと第４しきい値とを比較する。操作者の顔の向きが第８しきい値を含めて第８しきい値の上に位置する場合、処理部１０４２は、操作者の顔の向きを右中と特定する。また、操作者の顔の向きが第８しきい値よりも下に位置する場合、処理部１０４２は、操作者の顔の向きを右下と特定する。

【0034】

処理部１０４２は、特定した操作者の頭部の位置と、特定した操作者の顔の向きとの組み合わせを特定する（ステップＳ４）。処理部１０４２は、特定した組み合わせに一致する組み合わせを、テーブルＴＢＬ１において特定する（ステップＳ５）。処理部１０４２は、テーブルＴＢＬ１において、特定した組み合わせに関連付けられている選択信号を特定する（ステップＳ６）。そして、処理部１０４２は、特定した選択信号を第２システム２０に送信する。

【0035】

スイッチ２０３は、第１システム１０から受ける選択信号に応じて、撮影した映像を第１システム１０に送信するカメラとエンコーダ２０４とが接続されるように内部の接続が切り替わる（ステップＳ７）。エンコーダ２０４は、スイッチ２０３を介して受けるカメラが撮影した映像を符号化する（ステップＳ８）。エンコーダ２０４は、符号化後の映像信号を第１システム１０に送信する。

【0036】

ヘッドマウンテッドディスプレイ１０２は、第２システム２０から送信されるカメラ２０２が撮影している映像の映像信号を復号化して映像を映す（ステップＳ９）。操作者は、このヘッドマウンテッドディスプレイを身に着けて、複数のカメラ２０２のうちの１つが撮影している映像を見ながら操作装置１０１に対してロボット２０１を操作するための操作を行う。

【0037】

操作装置１０１は、操作者により操作に応じてロボット２０１を制御する制御信号を生成する（ステップＳ１０）。操作装置１０１は、生成した制御信号を第２システム２０に送信する。ロボット２０１は、第１システム１０から受ける制御信号に応じて動作する（ステップＳ１１）。

【0038】

以上、本開示の第１実施形態による操作システム１について説明した。操作システム１において、処理部１０４２（第１特定手段の一例、第２特定手段の一例）は、操作者が操作者の頭部の位置および操作者の顔の向きを変更することを含む操作者によるジェスチャーを特定する。また、処理部１０４２は、前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定する。こうすることにより、操作者がロボットを操作する際に見る必要のある映像のデータ量を低減することができる。その結果、操作者が操作対象のロボットの周囲にいない場合、カメラから表示装置へ送信されるロボットの周囲の状況を含む映像のデータ量を低減することができる。

【0039】

＜第１実施形態の第１変形例＞
第１実施形態の第１変形例による操作システム１は、複数のセンサ１０３による操作者の頭部の位置の複数の検出結果に基づいて操作者の頭部の位置を特定する、または、複数のセンサ１０３による操作者の顔の向きの複数の検出結果に基づいて操作者の顔の向きを特定するシステムである。第１実施形態では明確に示していないが、複数のセンサ１０３による操作者の頭部の位置の複数の検出結果に基づいて操作者の頭部の位置を特定する場合、または、複数のセンサ１０３による操作者の顔の向きの複数の検出結果に基づいて操作者の顔の向きを特定する場合、センサ１０３ごとに異なる検出結果を示す可能性がある。そのため、第１実施形態の第１変形例による操作システム１において、処理部１０４２は、ステップＳ２およびステップＳ３において、複数のセンサ１０３が示す検出結果の多数決、または、複数のセンサ１０３が示す検出結果の論理積（ＡＮＤ）を演算する。そして、処理部１０４２は、演算結果を操作者の頭部の位置または操作者の顔の向きとするものであってもよい。この第１実施形態の第１変形例による操作システム１により、１つのセンサ１０３により操作者の頭部の位置や操作者の顔の向きを特定する場合に比べて、より精度よく操作者の頭部の位置や操作者の顔の向きを特定することができる。

【0040】

＜第１実施形態の第２変形例＞
第１実施形態の第２変形例による操作システム１は、操作者が所定の操作を行うことにより、複数のカメラ２０２の中から特定したカメラの変更を禁止するシステムである。第１実施形態による操作システム１や第１実施形態の第２変形例による操作システム１では、操作者がロボット２０１を操作している最中に、操作者の頭部の位置や操作者の顔の向きが変化した場合、操作者の頭部の位置や操作者の顔の向きに応じてカメラが切り替わり、映像が切り替わる可能性がある。その結果、操作者によるロボット２０１の操作が困難になる可能性がある。このような場合、特定したカメラを固定して、操作者がロボット２０１を操作できることが望まれる。それを可能にするために、第１実施形態の第２変形例による操作システム１では、センサ１０３が操作者による所定の操作を検出した場合に、処理部１０４２（変更禁止手段の一例）は、特定したカメラの変更を禁止する。操作者による所定の操作の例としては、高速に顔を振る操作、所定回数まばたきする操作、口の形状を所定の形状にする操作、テーブルＴＢＬ１における該当する選択信号がそんざいしない検出内容を示す操作、手、足、身体が所定の動きとなるように動かす操作、所定のボタンを押下する操作などが挙げられる。この第１実施形態の第２変形例による操作システム１により、第１実施形態による操作システム１や第１実施形態の第２変形例による操作システム１に比べて、ロボット２０１の操作中にカメラが切り替わる可能性が低くなる。その結果、第１実施形態の第２変形例による操作システム１では、第１実施形態による操作システム１や第１実施形態の第２変形例による操作システム１に比べて、操作者は、ロボット２０１をより操作し易くなる。

【0041】

＜第２実施形態＞
本開示の第２実施形態による操作システム１は、本開示の第１実施形態による操作システム１における操作者が操作者の頭部の位置および操作者の顔の向きを変えるジャスチャーの代わりに、ヘッドマウンテッドディスプレイ１０２を介して、複数のカメラ２０２の中から１つを特定するジェスチャーを用いてカメラ特定する。図６は、本開示の第２実施形態による操作システム１の構成の一例を示す図である。

【0042】

操作システム１は、図６に示すように、第１システム１０および第２システム２０を備える。第１システム１０は、第１実施形態によるセンサ１０３の代わりに、センサ１０５を備える。第１システム１０は、第１実施形態による情報処理装置１０４の代わりに、情報処理装置１０６を備える。ヘッドマウンテッドディスプレイ１０２は、第２システム２０の後述するカメラ２０５が撮影するカメラ２０２を撮影した映像を映す。センサ１０５は、操作者の目線およびまばたきを検出する。

【0043】

図７は、本開示の第２実施形態による情報処理装置１０６の構成の一例を示す図である。情報処理装置１０６は、記憶部１０６１および処理部１０６２（第１特定手段の一例）を備える。記憶部１０６１は、カメラ２０２それぞれとともに、それぞれのカメラと第２システム２０のエンコーダ２０４とが接続されるように第２システム２０のスイッチ２０３を切り替える信号である選択信号を関連付けて記憶する。図８は、本開示の第２実施形態による記憶部が記憶するテーブルＴＢＬ２の一例を示す図である。テーブルＴＢＬ２は、記憶部１０６１が記憶する、カメラ２０２それぞれとともに、それぞれのカメラと第２システム２０のエンコーダ２０４とが接続されるように第２システム２０のスイッチ２０３を切り替える信号である選択信号を関連付けたテーブルである。

【0044】

また、処理部１０６２は、ヘッドマウンテッドディスプレイ１０２を介してカメラ２０２自体を映す映像を見て、複数のカメラ２０２の中から１つに目線を合わせ、例えば操作者が２度まばたきすることなどを含む所定のジェスチャーを行う操作者による操作に応じて、１つのカメラと特定する。

【0045】

次に、本開示の第２実施形態による操作システム１の処理について説明する。ここでは、図９に示す本開示の第２実施形態による操作システム１の処理フローについて説明する。

【0046】

ヘッドマウンテッドディスプレイ１０２に映しだされるカメラ２０５が撮影するカメラ２０２自体を見ながら、操作者は、複数のカメラ２０２のうち特定する１つのカメラに目線を合わせ、カメラを特定する所定のジェスチャーを行う。処理部１０６２は、操作者によるこのような操作に応じて、１つのカメラと特定する（ステップＳ２１）。処理部１０６２は、テーブルＴＢＬ２において、特定したカメラに一致するカメラを特定する（ステップＳ２２）。そして、処理部１０６２は、テーブルＴＢＬ２において、特定したカメラに関連付けられている選択信号を特定する（ステップＳ２３）。処理部１０６２は、特定した選択信号を第２システム２０に送信する。そして、ステップＳ７～ステップＳ１１の処理が行われる。

【0047】

以上、本開示の第２実施形態による操作システム１について説明した。本開示の第２実施形態による操作システム１において、処理部１０６２は、操作者による操作に応じて、１つのカメラと特定する。処理部１０６２は、テーブルＴＢＬ２において、特定したカメラに一致するカメラを特定する。そして、処理部１０６２は、テーブルＴＢＬ２において、特定したカメラに関連付けられている選択信号を特定する。処理部１０６２は、特定した選択信号を第２システム２０に送信する。こうすることにより、操作者が直接的にカメラを選択することができる。その結果、第２実施形態による操作システム１は、第１実施形態の操作システム１に比べてより確実にカメラを特定することができる。

【0048】

図１０は、本開示の実施形態による操作システム１の最小構成を示す図である。操作システム１は、図１０に示すように、第１特定手段３００および第２特定手段４００を備える。第１特定手段３００は、操作者によるジェスチャーを特定する。第２特定手段４００は、前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定する。

【0049】

図１１は、本開示の実施形態による最小構成の操作システム１の処理フローの一例を示す図である。次に、本開示の実施形態による最小構成の操作システム１の処理について図１１を参照して説明する。

【0050】

第１特定手段３００は、操作者によるジェスチャーを特定する（ステップＳ１０１）。第２特定手段４００は、前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定する（ステップＳ１０２）。

【0051】

以上、本開示の実施形態による最小構成の操作システム１について説明した。この操作システム１により、操作者が操作対象のロボットの周囲にいない場合、カメラから表示装置へ送信されるロボットの周囲の状況を含む映像のデータ量を低減することができる。

【0052】

なお、本開示の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。

【0053】

本開示の実施形態について説明したが、上述の操作システム１、第１システム１０、第２システム２０、操作装置１０１、ヘッドマウンテッドディスプレイ１０２、情報処理装置１０４、１０６、エンコーダ２０４、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。図１２は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【0054】

コンピュータ５は、図１２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、メインメモリ７、ストレージ８、インターフェース９を備える。例えば、上述の操作システム１、第１システム１０、第２システム２０、操作装置１０１、ヘッドマウンテッドディスプレイ１０２、情報処理装置１０４、１０６、エンコーダ２０４、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。

【0055】

ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。

【0056】

また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。

【0057】

本開示のいくつかの実施形態を説明したが、これらの実施形態は、例であり、開示の範囲を限定しない。これらの実施形態は、開示の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。

【0058】

なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0059】

（付記１）
操作者によるジェスチャーを特定する第１特定手段と、
前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定する第２特定手段と、
を備える操作システム。

【0060】

（付記２）
前記ジェスチャーは、
前記操作者の頭の位置および前記操作者の顔の向きの変更を含む前記操作者の行動である、
付記１に記載の操作システム。

【0061】

（付記３）
前記ジェスチャーは、
前記操作者が映像におけるカメラに目線を合わせ、まばたきすることを含む前記操作者の行動である、
付記１に記載の操作システム。

【0062】

（付記４）
前記操作者が所定の操作を行うことにより前記第２特定手段が特定した前記カメラの変更を禁止する変更禁止手段、
を備える付記１または付記２に記載の操作システム。

【0063】

（付記５）
操作者によるジェスチャーを特定することと、
前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定することと、
を含む処理方法。

【0064】

（付記６）
コンピュータに、
操作者によるジェスチャーを特定することと、
前記ジェスチャーに基づいて撮影した映像を送信するカメラを特定することと、
を実行させるプログラム。

【符号の説明】

【0065】

１・・・操作システム
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・第１システム
２０・・・第２システム
１０１・・・操作装置
１０２・・・ヘッドマウンテッドディスプレイ
１０３、１０５・・・センサ
１０４、１０６・・・情報処理装置
２０１・・・ロボット
２０２、２０２ａ１～２０２ａ１３・・・カメラ
２０３・・・スイッチ
２０４・・・エンコーダ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】