特開 2023-100936 リモート操作指示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023100936

(43)【公開日】2023-07-19

(54)【発明の名称】リモート操作指示システム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20230711BHJP

   H04N 7/18 20060101ALI20230711BHJP

   H04N 21/431 20110101ALI20230711BHJP

【ＦＩ】

H04N7/15

H04N7/18 U

H04N7/18 K

H04N21/431

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023078231

(22)【出願日】2023-05-11

(62)【分割の表示】P 2021503296の分割

【原出願日】2019-03-04

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】川前 治

(72)【発明者】

【氏名】奥 万寿男

(57)【要約】      （修正有）

【課題】指示者が不快な酔いを感じることのないリモート操作指示システム及びマウント型デバイスを提供する。
【解決手段】作業者サイト１０２において、マウント型デバイス４は、作業者２の視野よりも広い範囲で作業現場を撮影するカメラと、作業者２の視線をセンサ情報として取得するセンサと、センサ情報を用いて作業者の視線の動きを視線動き情報として検出する視線動き検出部と、を有し、カメラの撮影画像データ及び視線動き情報を、ネットワーク１を介して操作指示装置へ送信する。指示者サイト１０６において、操作指示装置７は、カメラの撮影画像から作業者の視野範囲より広い範囲の第１画像を切り出し、第１画像を視線動き情報を用いて補正し、補正した第１画像をディスプレイ７ａに表示させる表示設定部と、作業者に対する指示画像を生成する指示画像生成部と、を有し、指示画像をネットワーク１を介してマウント型デバイス４へ送信する。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業者が装着するマウント型デバイスと、
指示者が作業現場を確認し、指示を出す操作指示装置と、
前記マウント型デバイスと前記操作指示装置との間でデータの送受信を行うネットワークと、を備えたリモート操作指示システムであって、
前記マウント型デバイスは、
前記作業者の視野よりも広い範囲で作業現場を撮影するカメラと、
前記作業者の視線をセンサ情報として取得するセンサと、
前記センサ情報を用いて前記作業者の前記視線の方向の動きを視線動き情報として検出する視線動き検出部と、を有し、
前記カメラの撮影画像データ及び前記視線動き情報を前記ネットワークを介して前記操作指示装置へ送信し、
前記操作指示装置は、
前記カメラの撮影画像から前記作業者の視野範囲より広い範囲の第１画像を切り出し、前記第１画像を前記視線動き情報を用いて補正し、補正した前記第１画像をディスプレイに表示させる表示設定部と、
前記作業者に対する指示画像を生成する指示画像生成部と、
前記撮影画像から前記作業者の視野範囲の第２画像を切り出し、前記第２画像と前記指示画像とを重畳してディスプレイに表示させる合成部と表示設定部を有し、
前記指示画像を前記ネットワークを介して前記マウント型デバイスへ送信する、リモート操作指示システム。

【請求項2】

請求項１に記載のリモート操作指示システムにおいて、
前記マウント型デバイスは、作業者の視野に前記指示画像を重畳して表示する作業者用ディスプレイを備えている、
リモート操作指示システム。

【請求項3】

請求項１に記載のリモート操作指示システムにおいて、
前記操作指示装置は、前記表示設定部において前記撮影画像を切り出す範囲を設定する制御部を備えている、
リモート操作指示システム。

【請求項4】

請求項１に記載のリモート操作指示システムにおいて、
前記表示設定部は、前記作業者の視線が動いた場合でも、前記ディスプレイに表示させる前記第１画像の範囲を固定する、
リモート操作指示システム。

【請求項5】

請求項１に記載のリモート操作指示システムにおいて、
前記作業者の視野範囲外に優先処理事象が発生した場合、前記指示者は前記作業者に前記優先処理事象へ視線を向けさせる前記指示画像を生成し、前記操作指示装置は、前記優先処理事象へ視線を向けさせる前記指示画像を前記マウント型デバイスへ送信する、
リモート操作指示システム。

【請求項6】

請求項１に記載のリモート操作指示システムにおいて、
前記カメラの撮影範囲は、前記操作指示装置で切り出して表示される前記第１画像の範囲を包含し、
前記第１画像の範囲は、前記第２画像の範囲を包含している、
リモート操作指示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、リモート操作指示システムに関する。

【背景技術】

【0002】

製造現場や工事現場等の作業現場では、ヘッドマウントディスプレイ装置の導入が進められている。ヘッドマウントディスプレイ装置には、指示者（オペレータ）からの指示等の各種情報が表示される。作業現場の作業者は、ヘッドマウントディスプレイを装着し、オペレータからの情報を見ながら作業を行う。

【0003】

特許文献１には、ヘッドマウントディスプレイ装置を含む作業支援システム等の従来技術が開示されている。特許文献１では、作業者は、ヘッドマウントディスプレイと作業者の視線方向を撮影するカメラを装着する。オペレータは、情報処理装置で指示者の指示に対応する指示画像を生成し、作業者のヘッドマウントディスプレイに表示させる。ヘッドマウントディスプレイは、半透過型であり、作業者の視野にオペレータの指示画像を重ね合わせる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－１６０２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の方法では、指示者は、作業者の視野範囲でしか作業現場を確認することができない。このため、指示者は、視野範囲の近傍に優先すべき事象が発生した場合でも、これを把握できず、作業者への指示が遅れる可能性がある。また、指示者に対し表示されるカメラの撮影画像は、作業者の視線の動きに応じて揺れるため、指示者が不快な酔いを感じてしまうということがある。

【0006】

本発明は、上記の点を鑑みてなされたものであり、その目的は、指示者が不快な酔いを感じることのないリモート操作指示システム、及びマウント型デバイスを提供することにある。

【課題を解決するための手段】

【0007】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。本発明の代表的な実施の形態によるリモート操作指示システムは、作業者が装着するマウント型デバイスと、指示者が作業現場を確認し、指示を出す操作指示装置と、マウント型デバイスと操作指示装置との間でデータの送受信を行うネットワークと、を備えている。

【0008】

マウント型デバイスは、作業者の視野よりも広い範囲で作業現場を撮影するカメラと、作業者の視線をセンサ情報として取得するセンサと、センサ情報を用いて作業者の視線の方向の動きを視線動き情報として検出する視線動き検出部と、を有する。マウント型デバイスは、カメラの撮影画像データ及び視線動き情報をネットワークを介して操作指示装置へ送信する。

【0009】

操作指示装置は、カメラの撮影画像から作業者の視野範囲より広い範囲の第１画像を切り出し、第１画像を視線動き情報を用いて補正し、補正した第１画像をディスプレイに表示させる表示設定部と、作業者に対する指示画像を生成する指示画像生成部と、を有する。操作指示装置は、指示画像をネットワークを介してマウント型デバイスへ送信する。

【発明の効果】

【0010】

本発明によれば、指示者が不快な酔いを感じることのないリモート操作指示システム、及びマウント型デバイスが提供される。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態１に係るリモート操作指示システムの概要を説明する図である。

【図2】本発明の実施の形態１に係るリモート操作指示システムの動作の一例を説明する図である。

【図3】本発明の実施の形態１に係るマウント型デバイスの構成の一例を示すブロック図である。

【図4】本発明の実施の形態１に係る操作指示装置の構成の一例を示すブロック図である。

【図5】作業者の視野範囲における画像の一例を示す図である。

【図6】作業者の視線の動きの検出処理を示すフロー図である。

【図7】本発明の実施の形態１に係るリモート操作指示システムの動作の他の例を説明する図である。

【図8】操作指示装置における表示範囲の設定に係るフローを示す図である。

【図9】マウント型デバイスの構成の一例を示す外形図である。

【図10】マウント型デバイスの構成の他の例を示す外形図である。

【図11】マウント型デバイスの構成の他の例を示す外形図である。

【図12】本発明の実施の形態２に係るリモート操作指示システムの概要を説明する図である。

【図13】本発明の実施の形態３に係るリモート操作指示システムの概要を説明する図である。

【図14】設備カメラの撮影範囲における作業者の視線を検出する処理の一例を示すフロー図である。

【図15】本発明の実施の形態４に係るリモート操作指示システムの概要を説明する図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら本発明の実施形態について説明する。

【0013】

（実施の形態１）
図１～図１１を用いて、実施の形態１について説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって、適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

【0014】

図１は、本発明の実施の形態１に係るリモート操作指示システムの概要を説明する図である。図１に示すリモート操作指示システム１００は、作業者２が作業を行う作業者サイト１０２と、指示者６が作業者２に対する作業指示を行う指示者サイト１０６とがネットワーク１を介して接続されている。作業者サイト１０２において、１ａは作業者サイト１０２とネットワーク１との間で送受信される送受信データ、３は被操作対象、４はマウント型デバイス、５はマウント型デバイス４に装着されたカメラが撮影する撮影範囲である。一方、指示者サイト１０６において、１ｂは指示者サイト１０６とネットワーク１との間で送受信される送受信データ、７は操作指示装置、７ａは操作指示装置７のメインディスプレイ、７ｂは操作指示装置７のサブディスプレイである。

【0015】

マウント型デバイス４は、ディスプレイやカメラを含む。マウント型デバイス４は、カメラが撮影した撮影画像から作業者２の視野に相当する範囲の画像を切り出し、切り出した画像をディスプレイに映し出す。あるいは、作業者２は、ディスプレイ越しに、被操作対象３を見る。

【0016】

作業者２は、マウント型デバイス４を装着し、カメラは被操作対象３を含む領域を撮影する。すなわち、作業者２は、マウント型デバイス４の装着者である。カメラの撮影範囲５は、マウント型デバイス４のディスプレイに表示される視野より十分広い範囲をカバーしている。カメラの撮影画像は、データ化され、送受信データ１ａとしてネットワーク１へ送信される。そして、送受信データ１ａは、送受信データ１ｂとしてネットワーク１から指示者サイト１０６の操作指示装置７へ送信される。

【0017】

操作指示装置７は、指示者６の操作により作業者２への作業指示を行う装置である。操作指示装置７は、ネットワーク１と接続可能な、例えばパソコン等で構成される。操作指示装置７は、送受信データ１ｂから取得したカメラの撮影画像から、作業者２の視野範囲の画像を切り出し、切り出した画像をサブディスプレイ７ｂに映し出す。また、操作指示装置７は、カメラの撮影画像から、作業者２の視野範囲よりも広い範囲の画像を切り出し、切り出した画像をメインディスプレイ７ａに映し出す。したがって、操作指示装置７は、範囲の異なる複数の画像を指示者６に提供する。これにより、指示者６は、作業者２が何を見ているのかを把握するとともに、その周辺の作業現場の様子を視認することができる。

【0018】

指示者６が、操作指示装置７に作業者２への作業指示を入力すると、操作指示装置７は、操作指示画像（以下「指示画像」とも称する）を生成し、指示画像をサブディスプレイ７ｂの画像に重畳表示させる。これにより、指示者６は、指示画像受信後のマウント型デバイス４のディスプレイの表示内容を確認することができる。指示画像は、送受信データ１ｂとして送信された後、ネットワーク１から送受信データ１ａとしてマウント型デバイス４に送信される。マウント型デバイス４は、送受信データ１ａを用いて、受信した指示画像をディスプレイに表示する。作業者２は、被操作対象３に重ねて指示画像を確認することができる。これにより、作業の正確性が向上する。

【0019】

図２は、本発明の実施の形態１に係るリモート操作指示システムの動作の一例を説明する図である。図２には、マウント型デバイス４のカメラ４０５の撮影範囲５ａ、５ｄ、操作指示装置７のメインディスプレイ７ａに表示される画像の表示範囲９、マウント型デバイス４のディスプレイの表示範囲８ａ～８ｄの関係が示されている。なお、すでに述べた通り、マウント型デバイス４のディスプレイの表示範囲は、サブディスプレイ７ｂの表示範囲と等しい。

【0020】

作業者２の視線中心がＡ点にある時、カメラ４０５撮影範囲は５ａで囲まれた領域であり、マウント型デバイス４の表示範囲は８ａで囲まれた領域である。指示者６は、操作指示装置７を操作し、カメラの撮影範囲５ａからメインディスプレイ７ａに表示する領域として表示範囲９を切り出す。これにより指示者６は、被操作対象３を適切な大きさ、解像度で確認できるようになる。マウント型デバイス４の表示範囲８ａは、作業者２の視野範囲に相当する領域である。作業者２は、マウント型デバイス４のディスプレイに表示された表示範囲８ａの画像を確認しながら作業を行う。表示範囲８ａの画像は、サブディスプレイ７ｂにも表示され、指示者６と作業者２との間で画像が共有される。また、メインディスプレイ７ａに、表示範囲８ａの外枠が表示され、広い範囲の作業現場の中で、作業者の視野がどの位置にあるのかを容易に確認することができる。

【0021】

作業者２は、作業中にその視線を移動させることがある。視線の移動は、作業工程において必然の場合もあるが、作業工程とは関係ない動きによるものも多い。作業者の視野が移動することにより、作業者２の視野範囲も移動する。例えば、図２のように視線中心がＡからＢ、Ｃ、Ｄと順次動くにつれ、視野範囲は８ａから、８ｂ、８ｃ、８ｄへと順次移動する。これらの動きに合わせて、カメラの撮影範囲も順次移動する。例えば、視線中心がＤに移動した場合、カメラの撮影範囲は５ｄとなる。

【0022】

本実施の形態では、このような視線の方向の動きに対して、メインディスプレイ７ａの表示範囲９が固定されている。操作指示装置７は、視線の方向の動きに合わせてカメラの撮影画像から切り出した画像を補正し、メインディスプレイ７ａの表示範囲９を設定する。そうすると、作業者の視線がＡ－Ｂ－Ｃ－Ｄへと順次動く場合でも、メインディスプレイ７ａの表示範囲９は固定される。これにより、指示者６は、安定した画像を観ることが可能となる。なお、ここでは、メインディスプレイ７ａの表示範囲９が固定される場合が示されているが、作業工程において必然で、指示者６に予測可能な動きであれば、操作指示装置７は、表示範囲９を作業者２の視線の動きに追随させてもよい。この場合、作業者２の視線の移動に全て追従させるのではなく、所定の時間の範囲で視線がどの方向を向いていたかを検出し、それに合わせてゆっくりと表示範囲を追従させるようにすれば、指示者６の酔いが抑えられる。

【0023】

図３は、本発明の実施の形態１に係るマウント型デバイスの構成の一例を示すブロック図である。図３に示すマウント型デバイス４において、４０１は加速度・ジャイロセンサ、４０２は視線動き検出部、４０３はデータ多重・分離部、４０４はネットワークＩＦ（インタフェース）部、４０５はカメラ、４０６は表示切り出し部、４０７は制御部、４０８はディスプレイ（作業者用ディスプレイ）、４０９は合成部、４１０は指示画像再構築部、４１１はスピーカ、４１２は内部バスである。

【0024】

加速度・ジャイロセンサ４０１は、加速度センサやジャイロセンサ等を含むセンサ群である。加速度・ジャイロセンサ４０１は、各センサを用いてマウント型デバイス４を装着している作業者２の視線をセンサ情報として取得する。加速度・ジャイロセンサ４０１は、各センサが取得したセンサ情報を視線動き検出部４０２へ出力する。

【0025】

視線動き検出部４０２は、加速度・ジャイロセンサ４０１から出力されたセンサ情報を用いて、作業者２の視線の動きを検出する。例えば、視線動き検出部４０２は、取得時刻が異なる複数のセンサ情報を用いて視線の動きを検出する。視線動き検出部４０２は、検出した視線の動きを視線動き情報として、内部バス４１２を介しデータ多重・分離部４０３へ送信する。

【0026】

カメラ４０５は、作業者２の正面方向の領域を、作業者２の視線が動く範囲よりも広角に撮影する。カメラの撮影画像は表示切り出し部４０６及びデータ多重・分離部４０３へ送信される。表示切り出し部４０６は、カメラの撮影画像から、作業者２の視野範囲の画像を切り出し、切り出した画像を合成部４０９へ送信する。なお、作業者２の視野範囲の画像を得るために、標準画角のカメラがマウント型デバイス４に追加されてもよい。

【0027】

操作指示装置７から出力される指示画像は、ネットワークＩＦ部４０４を介し、送受信データ１ａとしてデータ多重・分離部４０３で受信され、データ多重・分離部４０３から内部バス４１２を介して指示画像再構築部４１０へ送信される。具体的に述べると、データ多重・分離部４０３は、例えば、受信した送受信データ１ａから、指示画像に関するデータを分離し、分離した指示画像データを指示画像再構築部４１０へ送信する。また、データ多重・分離部４０３は、例えば、受信した送受信データ１ａから、指示者６の音声に関するデータを分離し、音声データをスピーカ４１１へ送信する。

【0028】

データ多重・分離部４０３は、カメラの撮影画像をデータ化し、撮影画像データを、送受信データ１ａとしてネットワークＩＦ部４０４を介して操作指示装置７へ送信する。その際、データ多重・分離部４０３は、作業者２の視線動き情報や作業者２の音声データを撮影画像データと多重化させ、これらを多重化させたデータを送受信データ１ａとして送信してもよい。

【0029】

指示画像再構築部４１０は、受信した送受信データ１ａから指示画像を再構築し、再構築した指示画像を合成部４０９へ送信する。合成部４０９は、表示切り出し部４０６において切り出された画像と、指示画像再構築部４１０において再構築された指示画像とを合成し、合成した画像をディスプレイ４０８へ送信し、カメラ４０５により撮影された画像（切り出された画像）と指示画像とを重畳させた画像をディスプレイ４０８に表示させる。

【0030】

スピーカ４１１は、データ多重・分離部４０３から送信された音声データを音声に変換し、指示者６の音声を出力する。

【0031】

制御部４０７は、マウント型デバイス４を構成する各部の制御や、内部バス４１２の割り当て等を行い、マウント型デバイス４における各処理を実行させる。視線動き検出部４０２、データ多重・分離部４０３、表示切り出し部４０６、合成部４０９、指示画像再構築部４１０は、ハードウェアで構成されてもよいし、制御部４０７で実行されるソフトウェアにより実現されてもよい。

【0032】

図４は、本発明の実施の形態１に係る操作指示装置の構成の一例を示すブロック図である。図４に示す操作指示装置７において、７０１はユーザＩＦ部、７０２は指示画像生成部、７０３はデータ多重・分離部、７０４はネットワークＩＦ部、７０５は制御部、７ａはメインディスプレイ、７０６は表示設定部、７０７はカメラ撮影画像再構築部、７ｂはサブディスプレイ、７０８は視線範囲切り出し・指示画像合成部（以下合成部と記す）、７０９はマイク、７１０は内部バスである。

【0033】

ユーザＩＦ部７０１は、指示者６からの入力を受け付ける機能ブロックである。ユーザＩＦ部７０１は、例えばキーボード、操作ボタン、マウス、タッチパネル等の入力装置である。指示者６は、ユーザＩＦ部７０１から入力操作を行い、制御部７０５を介して、操作指示装置７に所定の処理を実行させる。

【0034】

指示画像生成部７０２は、作業工程に適した指示画像を生成し、指示画像データをデータ多重・分離部７０３へ送信する。指示画像データは、送受信データ１ｂとしてネットワークＩＦ部７０４を介してネットワーク１へ送信される。その際、データ多重・分離部７０３は、例えば、指示画像データ、指示者６の音声データ等を多重化し、多重化したデータを送受信データ１ｂとして、ネットワークＩＦ部７０４を介して送信してもよい。

【0035】

データ多重・分離部７０３は、マウント型デバイス４から受信した送受信データ１ｂから、撮影画像データを分離し、内部バス７１０を介して撮影画像データを合成部７０８へ送信する。また、データ多重・分離部７０３は、受信した送受信データ１ｂから作業者２の視線動き情報を分離し、分離した視線動き情報を表示設定部７０６や合成部７０８等に送信する。また、データ多重・分離部７０３は、受信した送受信データ１ｂからや作業者２の音声データを分離し、分離した音声データを図示しないスピーカへ送信してもよい。

【0036】

データ多重・分離部７０３から送信された撮影画像データは、カメラ撮影画像再構築部７０７において撮影画像に再構築される。再構築されたカメラ撮影画像は、表示設定部７０６及び合成部７０８へ送信される。

【0037】

制御部７０５は、操作指示装置７を構成する各部の制御や、内部バス７１０の割り当て等を行い、操作指示装置７における各処理を実行させる。また、制御部７０５は、表示設定部７０６において撮影画像の切り出す範囲を設定し、設定値を表示設定部７０６へ送信する。

【0038】

表示設定部７０６は、制御部７０５から送信された設定値に従って、カメラ撮影画像からメインディスプレイ７ａに表示する範囲の画像（第１画像）を切り取る。このとき、切り取った画像に対し、視線動き情報を用いた視線の動き補正が行われる。表示設定部７０６は、図２を用いて説明したように、作業者の視線が動いた場合でも、メインディスプレイ７ａに表示させる画像の表示範囲９を固定させる。

【0039】

合成部７０８は、撮影画像から作業者２の視野範囲の画像（第２画像）を切り出し、指示画像と合成して、これらを合成した画像をサブディスプレイ７ｂに表示させる。合成部７０８において切り出される画像に対しても、視線動き情報を用いた視線の動き補正がおこなわれてもよい。マイク７０９は、指示者６の音声を音声データに変換し、音声データ をデータ多重・分離部７０３へ送信する。

【0040】

なお、サブディスプレイ７ｂの表示画像は、マウント型デバイス４に追加される標準画角のカメラの撮影画像と、指示画像とを合成したものでもよい。また、合成部７０８で生成される表示画像は、メインディスプレイ７ａで表示されてもよい。この場合、サブディスプレイ７ｂが設けられなくてもよい。そして、メインディスプレイ７ａは、表示設定部７０６で生成された画像と、合成部７０８で生成された画像とを、ピクチャインピクチャの方法で表示しても良いし、指示者６が任意に切り替えて表示してもよい。

【0041】

図５は、作業者の視野範囲における画像の一例を示す図である。具体的に述べると、図５には、マウント型デバイス４のディスプレイ４０８、及び操作指示装置７のサブディスプレイ７ｂに表示される画像が示されている。図５において、２０ａ～２０ｄは指示画像であり、指示画像２０ａ～２０ｄは、作業者２の視野画像に合成して表示される。指示画像２０ａ、２０ｃは指示内容を文字で伝える画像であり、指示画像２０ｂ、２０ｄは、作業対象をハイライトする画像である。作業者２は、指示画像を見ることにより作業内容を容易に理解することが可能となる。

【0042】

図６は、作業者の視線の動きの検出処理を示すフロー図である。図３を用いて説明したように、作業者２の視線の動きは、加速度・ジャイロセンサ４０１、視線動き検出部４０２を用いて検出される。図６は、これを代替する方法であり、操作指示装置７において、撮影画像を用いて視線の動きを検出するフローを示している。これにより、センサ群が省かれたコストダウンされたマウント型デバイス４を用いることが可能となる。

【0043】

視線の動きの検出が開始されると（Ｓ１）、操作指示装置７は、時刻Ｔｎ、Ｔｎ＋１におけるそれぞれの撮影画像を取得する（Ｓ２～Ｓ３）。作業者２が視線を移動させた場合、作業者２が装着しているカメラで撮影する撮影画像の撮影範囲も移動する。操作指示装置７は、例えば時刻Ｔｎの画像を基準として、時刻Ｔｎ＋１の画像をどれだけずらせば一致するのかを画像マッチングを行うことによりで評価する（Ｓ４）。ステップＳ４で行われる画像ずらし量と画像ずらし方向とが視線の移動を表す視線移動情報となる。

【0044】

操作指示装置７は、ステップＳ４において得られた視線移動情報に対し、異常値の除去などのフィルタリングを行い、視線移動量を決定する（Ｓ５）。操作指示装置７は、視線移動量に対応した相対座標値を算出し、出力する（Ｓ６）。相対座標値を出力することにより、カメラの方向が変わっても、操作指示装置の表示範囲９を同じ表示範囲で出力することが可能となる。

【0045】

操作指示装置７は、ステップＳ６における相対座標値の出力後、視線の動き検出処理の継続の有無を決定する（Ｓ７）。視線の動き検出処理を継続する場合（Ｎｏ）、操作指示装置７は、ステップＳ２～Ｓ６の処理を繰り返す。一方、視線の動き検出処理を継続しない場合（Ｙｅｓ）、視線の動き検出処理を終了する（Ｓ８）。なお、図６のフローは、例えば制御部７０５において実行されてもよいし、他の構成要素により実行されてもよい。

【0046】

図７は、本発明の実施の形態１に係るリモート操作指示システムの動作の他の例を説明する図である。図７は、作業者２の視野範囲外に優先処理事象が発生した場合における動作を示している。図７には、カメラ４０５の撮影範囲５ａ、メインディスプレイ７ａの表示範囲９、マウント型デバイス４のディスプレイ４０８の表示範囲８ａ、８ｅが示されている。

【0047】

作業者２の視線が点Ａにあるとき、ディスプレイ４０８には、表示範囲８ａの画像が表示されている。また、操作指示装置７のメインディスプレイ７ａには、表示範囲９の画像が表示されている。

【0048】

このとき、作業者２の視野外にある表示範囲８ｅに優先処理事象１１が現れると、指示者６は、メインディスプレイ７ａの画面で優先処理事象１１を認識する。そして、指示者６は、指示画像２０を作成し、作成した指示画像２０を操作指示装置７からマウント型デバイス４へ送信させる。マウント型デバイス４は、受信した送受信データ１ａから指示画像２０に関するデータを分離し、分離したデータを用いて指示画像２０をディスプレイ４０８の表示範囲８ａに合成する。

【0049】

指示画像２０は、作業者２に対し視野範囲外にある優先処理事象１１へ視線を向けさせるものであればよい。図７に示す指示画像２０は、優先処理事象１１の少なくとも一部を含む範囲の中心点Ｅに向かう矢印の画像であり、作業者２に視線移動を促すものである。指示画像２０に従い、作業者２が視線の中心を点Ｅに動かすと、表示範囲８ｅがディスプレイ４０８に映し出される。これにより、作業者２は速やかに、優先処理事象１１に対応することが可能となる。

【0050】

図８は、操作指示装置における表示範囲の設定に係るフローを示す図である。図８のフローは、作業者２の視線範囲の画像が、常に操作指示装置７のメインディスプレイ７ａの表示範囲内に在るように、また、メインディスプレイ７ａの表示範囲がカメラ４０５の撮影範囲内に収まるようにするものである。

【0051】

図８の処理が開始されると（Ｓ１０）、条件１として、マウント型デバイス４の表示領域、すなわち、サブディスプレイ７ｂに表示されるべき画像の一部が、メインディスプレイ７ａの表示範囲の外側にはみ出す可能性が評価される（Ｓ１１）。ステップＳ１１において、サブディスプレイ７ｂに表示されるべき画像の一部が、メインディスプレイ７ａの表示範囲の外側にはみ出す可能性がないと判断された場合（Ｎｏ）、ステップＳ１２の処理が実行される。ステップＳ１２では、条件２として、メインディスプレイ７ａの表示範囲の一部がカメラ４０５の撮影範囲の外側にはみ出す可能性が評価される。

【0052】

サブディスプレイ７ｂに表示されるべき画像の一部が、メインディスプレイ７ａの表示範囲の外側にはみ出す可能性があると判断された場合（Ｓ１１、Ｙｅｓ）、又はメインディスプレイ７ａの表示範囲の一部がカメラ４０５の撮影範囲の外側にはみ出す可能性があると判断された場合（Ｓ１２、Ｙｅｓ）、カメラ４０５の撮影範囲、メインディスプレイ７ａの表示範囲、マウント型デバイス４のディスプレイ４０８の表示範囲の関係が適切な状態でないことになる。

【0053】

この場合、表示範囲の再設定が行われる（Ｓ１３）。例えば、メインディスプレイ７ａの表示範囲を調整し、メインディスプレイ７ａの表示範囲の中心と作業者２の視線中心が一致させるようにする。作業者２の視線中心とカメラ４０５の撮影範囲の中心は一致しているので、カメラ４０５の撮影範囲、メインディスプレイ７ａの表示範囲、ディスプレイ４０８の表示範囲の中心が一致し、カメラの撮影範囲＞メインディスプレイ７ａの表示範囲＞ディスプレイ４０８の表示範囲、の関係が確保される。なお“＞”は、包含の関係にあることを表す。ただし、視線の移動に追従させて、メインディスプレイ７ａの表示範囲の再設定をすぐに行ってしまうと、作業者２が頭部を動かしたり、視線を動かしたりした場合に、表示範囲が一緒に動いてしまうため、指示者が不快な酔いを感じてしまうおそれがある。そのため、表示範囲の再設定は、視線の移動に対してゆっくり行うか、一定時間以上の平均の移動量を計算して行ってもよい。

【0054】

一方、ステップＳ１２において、メインディスプレイ７ａの表示範囲の一部がカメラ４０５の撮影範囲の外側にはみ出す可能性はないと判断された場合（Ｎｏ）、ステップＳ１１の処理が再度行われる。

【0055】

ステップＳ１４では、表示範囲の再設定プロセスを終了するかどうかが判断される。表示範囲の再設定プロセスを継続すると判断された場合（Ｎｏ）、ステップＳ１１～Ｓ１３の処理が再実行される。一方、表示範囲の再設定プロセスを終了すると判断された場合（Ｙｅｓ）、表示範囲の再設定プロセスは終了する（Ｓ１５）。

【0056】

図９は、マウント型デバイスの構成の一例を示す外形図である。図９において、４２はカメラ・センサユニット、４３は制御ユニット、４１１ａ、４１１ｂはスピーカ、４５ａ、４５ｂ、４５ｃはホルダーである。

【0057】

ホルダー４５ａは頭頂部に、ホルダー４５ｂは後頭部と左右側頭部に、めがね型のホルダー４５ｃは鼻部に接する。ホルダー４５ａ～４５ｃにより、マウント型デバイス４は、作業者２の頭部に装着される。

【0058】

カメラ・センサユニット４２は、例えば加速度・ジャイロセンサ４０１及びカメラ４０５を含むユニットである。カメラ・センサユニット４２は、作業者２の前方を撮影するとともに、作業者２の頭部の動きを計測して視線の動きに関するセンサ情報を取得する。あるいは、カメラ・センサユニット４２は、瞳の角度から直接、視線の方向を検出するトラッキング技術により、視線の方向を検出するようにしてもよい。カメラ・センサユニット４２は、図９のように頭頂部のホルダー４５ａに設置されてもよいし、その他の場所に設置されてもよい。

【0059】

スピーカ４１１ａ、４１１ｂはホルダー４５ｂの作業者２の耳に近い箇所に設置される。ディスプレイ４０８は作業者２の前方に配置され、作業者２は、めがね型のホルダー４５ｃ越しに、ディスプレイ４０８に表示される画像を見る。

【0060】

制御ユニット４３は、例えば図３の視線動き検出部４０２、データ多重・分離部４０３、ネットワークＩＦ部４０４、表示切り出し部４０６、制御部４０７、合成部４０９、指示画像再構築部４１０等を含むユニットである。なお、ディスプレイ４０８と制御ユニット４３とが一体で構成されてもよい。この場合、例えばスマートフォンが用いられてもよい。

【0061】

図１０は、マウント型デバイスの構成の他の例を示す外形図である。図１０では、図９と同一の構成要素には、図９と同一の符号が付されている。図１０では、ディスプレイ４０８に代えて、プロジェクタ４６ａとスクリーン４０８ａとからなるプロジェクタ型のディスプレイが設けられている。

【0062】

スクリーン４０８ａは、例えば透過型のスクリーンで構成される。この場合、作業者２は、スクリーン越しに自身の視野範囲の実景を確認することができる。プロジェクタ４６ａがスクリーン４０８ａに投射する画像は、例えば操作指示装置７からの指示画像である。作業者２は、スクリーン４０８ａで視野画像と指示画像を合成して観ることができる。このため、図１０の構成では、合成部４０９は設けられなくてもよい。

【0063】

図１１は、マウント型デバイスの構成の他の例を示す外形図である。図１１においても、図９と同一の構成要素には、図９と同一の符号が付されている。図１１では、３Ｄカメラ４７ａ、４７ｂが設けられている。また、図１１では、ディスプレイ４０８に代えて、３Ｄディスプレイ４０８ｂが設けられている。また、ホルダー４５ｃに代えて、シャッタ付きホルダー４８ｂが設けられている。

【0064】

３Ｄカメラ４７ａは、作業者２の右側のホルダー４５ｂに設置される。３Ｄカメラ４７ｂは、作業者２の左側のホルダー４５ｂに設置される。３Ｄカメラ４７ａ、４７ｂは、互いに左右視差のある画像をそれぞれ撮影し、撮影画像を３Ｄディスプレイ４０８ｂへ出力する。３Ｄディスプレイ４０８ｂは、例えば、３Ｄカメラ４７ａ、４７ｂの撮影画像を時分割で交互に表示する。

【0065】

シャッタ付きホルダー４８ｂは、例えば液晶シャッタを有する。シャッタ付きホルダー４８ｂは、３Ｄディスプレイ４０８ｂに表示される左右の撮影画像にあわせて、シャッタのＯＮ／ＯＦＦを繰り返す。具体的に述べると、シャッタ付きホルダー４８ｂは、３Ｄカメラ４７ａの右側画像が表示されているとき、右目で３Ｄディスプレイ４０８ｂを見ることができるようにシャッタを制御し、３Ｄカメラ４７ｂの左側画像が表示されているとき、左目で３Ｄディスプレイ４０８ｂを見ることができるようにシャッタを制御する。シャッタの制御により、作業者２は３Ｄ画像を見ることができる。

【0066】

図１１の構成によれば、作業者２が自身の前景を３Ｄ画像として観ることができることに加え、画像の奥行き情報が得られる。例えば、３Ｄ画像（３Ｄカメラ４７ａ、４７ｂの撮影画像）を操作指示装置７へ送信されると、指示者６は、作業対象の奥行きを考慮した３Ｄ指示画像を作成することができる。このような画像の奥行き情報が作業者２にフィードバックされれば、作業の正確さが改善される。

【0067】

また、図１１の構成に対応させて、操作指示装置７には、３Ｄディスプレイがサブディスプレイ７ｂとして設けられてもよい。この場合、合成部７０８には、カメラの撮影画像に変えて３Ｄカメラの３Ｄ画像が供給される。

【0068】

＜本実施の形態による主な効果＞
本実施の形態によれば、メインディスプレイ７ａには、作業者２の視線範囲よりも広い範囲の画像が表示される。この構成によれば、作業者２の視線が動いても、メインディスプレイ７ａに表示される画像に与える影響が抑えられるので、指示者６が不快な酔いを感じることがなくなる。

【0069】

また、本実施の形態によれば、指示者６は、サブディスプレイ７ｂに表示される作業者の視野範囲の画像を見ながら指示画像を作成することができる。また、マウント型デバイス４のディスプレイ４０８に、指示画像が重畳して表示される。この構成によれば、指示者６は、作業現場の広い範囲を見ながら、作業者２への指示を的確に行うことが可能となる。

【0070】

また、本実施の形態によれば、制御部７０５は撮影画像の切り出す範囲を設定する。この構成によれば、使用状況を考慮してメインディスプレイ７ａに表示される画像の範囲を適宜変更することが可能となる。

【0071】

また、本実施の形態によれば、作業者２の視線が動いた場合でも、メインディスプレイ７ａに表示される撮影画像の範囲が固定される。この構成によれば、指示者６に対し表示される撮影画像が作業者２の視線の動きに応じて揺れることがなくなる。これにより、指示者６が不快な酔いを感じることがより一層なくなる。

【0072】

また、本実施の形態によれば、作業者２の視野範囲外に優先処理事象１１が発生した場合、指示者６は作業者２に優先処理事象１１へ視線を向けさせる指示画像を生成する。この構成によれば、作業者２は、優先処理事象１１へ視線を向けることができ、速やかに、優先処理事象１１に対応することが可能となる。

【0073】

（実施の形態２）
次に、実施の形態２について説明する。なお、以下では、前述の実施の形態と重複する箇所については、原則として説明を省略する。

【0074】

図１２は、本発明の実施の形態２に係るリモート操作指示システムの概要を説明する図である。図１２では、作業者２に代えて作業用ロボット１２が用いられている。指示者６は、作業用ロボット１２をリモート操作して、作業を実施する。作業用ロボット１２の先端には、操作ヘッド１３が取り付けられている。作業用ロボット１２は、位置決めが行われ、操作ヘッド１３を用いて被操作対象３に対する所定の作業等を行う。

【0075】

マウント型デバイス４ａは、操作ヘッド１３の作業範囲全体が見える位置に設置されている。マウント型デバイス４ａは、マウント型デバイス４からディスプレイ４０８が省略された構成となっている。マウント型デバイス４ａは、広角のカメラを備えており、カメラで撮影した作業現場の撮影画像の撮影画像データ及び作業用ロボットの動き情報を操作指示装置７へ送信する。勿論、マウント型デバイス４ａの設置場所はこの位置に限定されない。

【0076】

操作指示装置７のメインディスプレイ７ａやサブディスプレイ７ｂには、受信した撮影画像から切り出された画像が表示される。このとき、表示設定部７０６は、撮影画像から切り出した画像（第３画像）に対し、作業用ロボット１２の動き情報を用いた補正を行う。

【0077】

指示者６は、表示された画像を見ながら、作業用ロボット１２に対し位置決めの指示や操作ヘッド１３への作業指示を生成する。具体的に述べると、本実施の形態では、図４の指示画像生成部７０２は、作業指示生成部として機能し、指示者６による入力操作に基づき、作業指示生成部は作業指示を生成する。生成された作業指示等が送信されることで、作業用ロボット１２に対するリモート操作が行われる。

【0078】

なお、撮影画像は、マウント型デバイス４ａから操作指示装置７へ送信されてもよいし、作業用ロボット１２を介して送信されてもよい。また、作業指示は、マウント型デバイス４ａを介して作業用ロボット１２へ送信されてもよいし、作業用ロボット１２へ直接送信されてもよい。

【0079】

本実施の形態によれば、リモート操作指示システムに作業用ロボットを用いることが可能となる。

【0080】

（実施の形態３）
次に、実施の形態３について説明する。図１３は、本発明の実施の形態３に係るリモート操作指示システムの概要を説明する図である。図１３には、作業現場を含む作業者サイトのみが示されている。作業者サイトは、例えば倉庫や病院等の限られたエリアの施設である。作業者サイトには、施設の様子をモニタリングする設備カメラ１４が設置されている。設備カメラ１４は、リモート操作指示システム用に新たに設けられてもよいし、例えば防犯カメラ等、別の目的で設置されているカメラを、設備カメラ１４として利用してもよい。設備カメラ１４は、広角に施設内を撮影し、撮影範囲１５の撮影画像を得る。設備カメラ１４は、ネットワーク機能を備え、撮像画像を送受信データ１ｃとして、ネットワーク１を介して操作指示装置７へ送信する。

【0081】

作業者２は、例えば標準画角のカメラ４０５を有するマウント型デバイス４を装着している。カメラ４０５は、撮影範囲１６の撮影画像を生成し、撮影画像データは、送受信データ１ａとして操作指示装置７へ送信される。

【0082】

操作指示装置７は、設備カメラ１４から送信された撮影範囲１５の撮影画像、及びマウント型デバイス４から送信された撮影範囲１６の撮影画像を用いて、作業者２の視線、すなわち、撮影範囲１６が撮影範囲１５のどの位置にあるかを検出する。

【0083】

設備カメラ１４の撮影範囲１５の中心と、マウント型デバイス４のカメラ４０５の撮影範囲１６の中心は一致しない場合がほとんどである。このため、撮影範囲１６が撮影範囲１５のどの位置にあるかを検出するためには、撮影範囲１６の中心が、設備カメラの撮影範囲１５のどの位置にあるかを求める処理が必要となる。

【0084】

以下、図１４を用いて、作業者の視線（すなわち撮影範囲１６）を検出する処理を説明する。図１４は、設備カメラの撮影範囲における作業者の視線を検出する処理の一例を示すフロー図である。なお、図１４に係る処理は、操作指示装置７の制御部７０５において実行されてもよいし、その他の機能ブロックにおいて実行されてもよい。

【0085】

作業者の視線を検出する処理が開始されると（Ｓ２０）、操作指示装置７は、設備カメラ１４の撮影画像を取得し（Ｓ２１）、マウント型デバイス４の撮影画像を取得する（Ｓ２２）。作業者２が視線を移動させた場合、マウント型デバイス４のカメラ４０５の撮影範囲１６は移動するが、設備カメラ１４の撮影範囲１５は移動しない。そこで、操作指示装置７は、撮影範囲１６の撮影画像と撮影範囲１５の撮影画像とで画像マッチング処理を行い（Ｓ２３）、撮影範囲１６における撮影範囲１５の位置を、作業者２の視線を示す視線値として検出する（Ｓ２４）。例えば、撮影範囲１６の中心が作業者２の視線であり、撮影範囲１６の中心の座標位置を視線値として検出してもよい。

【0086】

作業者２の視線の動きは、マウント型デバイス４に搭載されているセンサ群で追跡可能である（Ｓ３０）。そこで、操作指示装置７は、ステップＳ２４で算出された求めた視線値を初期値として、ステップＳ３０において取得したセンサ情報を用いて視線の移動を追跡する動き補正を行い（Ｓ２５）、視線の撮影範囲１５における撮影範囲１６の視線値（座標位置）を出力する（Ｓ２６）。

【0087】

そして、視線検出処理を終了するかどうかが判断され（Ｓ２７）、視線検出処理を継続する場合（Ｎｏ）、リフレッシュ処理を行うかが判断される（Ｓ２８）。リフレッシュ処理を行うと判断された場合（Ｙｅｓ）、ステップＳ２１の処理が実行される。一方、リフレッシュ処理を行わないと判断された場合（Ｎｏ）、ステップＳ２５の処理が実行される。ステップＳ２７において、視線検出処理を終了すると判断された場合（Ｎｏ）、視線検出処理は終了する（Ｓ８）。

【0088】

本実施の形態によれば、設備カメラ１４を活用したリモート操作指示システムが実現可能となる。また、既存のカメラを設備カメラ１４として利用することも可能である。

【0089】

（実施の形態４）
次に、実施の形態４について説明する。図１５は、本発明の実施の形態４に係るリモート操作指示システムの概要を説明する図である。図１５では、作業者に代えて、自動運転装置１９ａを備えた自動車（移動体）１７が示されている。自動車１７は、フロントカメラ１８ａ、リアカメラ１８ｂ、サイドカメラ１８ｃ、１８ｄ備えている。フロントカメラ１８ａ、リアカメラ１８ｂ、サイドカメラ１８ｃ、１８ｄは、対応するそれぞれの範囲を撮影し、それぞれの撮影画像を生成する。自動車１７は、ネットワーク１と接続されており、これらの撮影画像データを送受信データ１ｄとして操作指示装置７へ送信する。なお、前進時における自動車１７（作業者に相当）の視線は、フロントカメラ１８ａの撮影領域にある。また、後退時における自動車１７（作業者に相当）の視線は、リアカメラ１８ｂの撮影領域にあるとしてもよい。

【0090】

これらの撮影画像は、例えば操作指示装置７のディスプレイに表示され、指示者６は、ディスプレイに表示される撮影画像を見ながら、作業領域に相当する広い範囲（例えば、自動車１７の全周域）を観察することができる。

【0091】

緊急事態を感知すると、指示者６は緊急処理操作命令を送信し、緊急処理装置１９ｂ及び自動運転装置１９ａにより、自動車１７は路側帯等の安全な場所に停止する。緊急処理命令は、図示しない緊急処理命令部により生成される。緊急処理命令部の機能は、例えば、図４の指示画像生成部７０２が有していても良いし、指示画像生成部７０２とは別に緊急処理命令部が設けられてもよい。なお、移動体として自動車１７が例示されているが、移動体はこれに限定されるものではない。

【0092】

本実施の形態によれば、リモート操作指示システムを、自動運転装置１９ａを備えた自動車１７に適用することができ、自動車１７の安全性を向上させることが可能となる。

【0093】

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0094】

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。なお、図面に記載した各部材や相対的なサイズは、本発明を分かりやすく説明するため簡素化・理想化しており、実装上はより複雑な形状となる場合がある。

【0095】

また、各構成要素は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装されてもよい。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することにより各構成要素をソフトウェアで実装してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。

【符号の説明】

【0096】

１…ネットワーク、１ａ～１ｄ…送受信データ、２…作業者、３…被操作対象、４…マウント型デバイス、５、５ａ、５ｂ…撮影範囲、６…指示者、７…操作指示装置、７ａ…メインディスプレイ、７ｂ…サブディスプレイ、８ａ～８ｅ撮影範囲、９…表示範囲、４０１…加速度・ジャイロセンサ、４０２…視線動き検出部、４０３…データ多重・分離部、４０４…ネットワークＩＦ部、４０５…カメラ、４０６…表示切り出し部、４０７…制御部、４０８…ディスプレイ、４０９…合成部、４１０…指示画像再構築部、４１１…スピーカ、４１２…内部バス、７０１…ユーザＩＦ部、７０２…指示画像生成部、７０３…データ多重・分離部、７０４…ネットワークＩＦ部、７０５…制御部、７０６…表示設定部、７０７…カメラ撮影画像再構築部、７０８…視線範囲切り出し・指示画像合成部、７０９…マイク、２０、２０ａ～２０ｄ…指示画像、１１…優先処理事象、４２…カメラ・センサユニット、４３…制御ユニット、４１１ａ、４１１ｂ…スピーカ、４５ａ～４５ｃ…ホルダー、４６ａ…プロジェクタ、４０８ａ…スクリーン、４７ａ、４７ｂ…３Ｄカメラ、４０８ｂ…３Ｄディスプレイ、４８ｂ…シャッタ付きホルダー、１２…作業用ロボット、１３…操作ヘッド、４ａ…マウント型デバイス、１４…設備カメラ、１５…撮影範囲、１６…撮影範囲、１７…自動車、１８ａ…フロントカメラ、１８ｂ…リアカメラ、１８ｃ、１８ｄ…サイドカメラ、１９ａ…自動運転装置、１９ｂ…緊急処理装置、２１…内部バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】