特許 6535191 遠隔作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6535191

(24)【登録日】2019年6月7日

(45)【発行日】2019年6月26日

(54)【発明の名称】遠隔作業支援システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20190617BHJP

   G06T 19/00 20110101ALI20190617BHJP

   G06T 3/00 20060101ALI20190617BHJP

【ＦＩ】

   H04N7/18 D

   G06T19/00 600

   G06T3/00 750

【請求項の数】3

【全頁数】14

(21)【出願番号】特願2015-59717(P2015-59717)

(22)【出願日】2015年3月23日

(65)【公開番号】特開2016-181751(P2016-181751A)

(43)【公開日】2016年10月13日

【審査請求日】2017年9月14日

(73)【特許権者】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000279

【氏名又は名称】特許業務法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】中山 晃治

(72)【発明者】

【氏名】北村 国博

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１４−７２８０３（ＪＰ，Ａ）

【文献】 特開２００７−３４２３８（ＪＰ，Ａ）

【文献】 特開２０１４−１４９７１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

作業者が装備しかつカメラデバイスとモーションセンサとを具備する作業支援ウェアラブルデバイスと、支援者が操作し前記作業支援ウェアラブルデバイスと接続される作業支援端末と、を備えた遠隔作業支援システムであって、前記作業支援端末が、
前記作業支援ウェアラブルデバイスにて前記カメラデバイスの撮影により取得される動画データと前記モーションセンサにより取得されるモーションデータとを、逐次、受信する手段と、
受信した前記動画データと前記モーションデータとを基に、一定領域の静止画を生成し重複領域を削除することにより一枚の広範囲の周囲の状況が写った合成静止画を生成する手段と、
生成した前記合成静止画の上に、逐次受信する前記動画データによる動画を重ね合わせた混在画像を前記作業支援端末のディスプレイ上に表示し、前記混在画像の前記動画が表示されている領域で前記動画をリアルタイムに更新する手段と、を有することを特徴とする
遠隔作業支援システム。

【請求項2】

前記作業支援端末のディスプレイがタッチパネル機能を備えており、前記混在画像にアノテーション情報が書き込まれたとき、
前記作業支援端末は、 前記作業支援ウェアラブルデバイスの前記カメラデバイスの撮影による動画を、前記作業支援ウェアラブルデバイスのディスプレイ上に表示させる指示を前記作業支援ウェアラブルデバイスに送信する手段と、
書き込まれた前記アノテーション情報の座標を検出して座標データを前記作業支援ウェアラブルデバイスに送信する手段と、を有し、 前記作業支援ウェアラブルデバイスは、 前記作業支援端末から受信した指示により、前記カメラデバイスの撮影による動画を前記作業支援ウェアラブルデバイスのディスプレイ上に表示する手段と、
前記作業支援端末から受信した前記座標データを基に、前記作業支援ウェアラブルデバイスのディスプレイ上に前記アノテーション情報を描画する手段と、を有することを特徴とする
請求項１に記載の遠隔作業支援システム。

【請求項3】

前記作業支援端末は、
前記混在画像上で前記アノテーション情報が書込みされている領域が、前記合成静止画の領域であるか、又は、前記動画の領域であるかを判定する手段と、
前記アノテーション情報が書込みされている領域が前記合成静止画の領域であった場合、現在、前記作業支援ウェアラブルデバイスの前記カメラデバイスが撮影している動画の領域と比べて、当該アノテーション情報がいずれの方向にあるかを示す方向情報を、前記作業支援ウェアラブルデバイスに送信する手段と、を有し、
前記作業支援ウェアラブルデバイスは、
前記作業支援端末から受信した方向情報を基に、前記作業支援ウェアラブルデバイスのディスプレイ上に矢印を表示する手段を有することを特徴とする
請求項２に記載の遠隔作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ウェアラブルデバイスを用いた遠隔作業支援システムに関する。

【背景技術】

【0002】

近年、身体に取り付けて持ち歩くことが可能なウェアラブル端末が注目されている。その中でも特に、メガネ型、ヘッドマウント型のウェアラブルデバイスは、工場等の産業施設での保守点検作業時の遠隔作業支援用途に利用可能であることから、企業での注目が集まっている。例えば、特許文献１や特許文献２には、頭部装着型映像表示装置の効率的な実現方法が述べられている。これらのデバイスの長所は、両手を自由に使える状態で、映像、音声、コンテンツ情報を閲覧することが可能なこと、また、リモートに支援者がいる場合、その作業者とそれらの情報をリアルタイムに共有することが可能なことである。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−９１７４８号公報

【特許文献2】特開２０１２−８２９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、公知のウェアラブルデバイスの技術を用いても、撮影している場所の臨場感、及び、撮影している範囲外の状況は遠隔地に伝わりにくいという問題は依然として解決できない。現在のウェアラブルデバイスを鑑みると、携帯性を重視しているため、ＣＰＵ、メモリ及びバッテリーが貧弱であることに加え、カメラデバイスも性能的な制限がある。現在、一般的なカメラデバイス自体は、高機能、高解像度、高視野角、オートフォーカス機能等、多種多様な高性能なものが普及しているが、ウェアラブルデバイスが備えているカメラデバイスは、可搬性、コスト、処理スペック等の問題から、安価で限定的な機能のものがほとんどである。そのため、現在、ウェアラブルデバイスに備わっている既存のカメラデバイス、及び、限られた処理リソース内で、遠隔地の支援者に現場の状況を効率よく伝える技術を実現することが求められている。

【0005】

本発明は、ウェアラブルデバイスに備わっている既存のカメラデバイス、及び、限られた処理リソース内で、遠隔地の支援者に現場の状況を効率よく伝えることを実現する遠隔作業支援システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明は、以下の構成を提供する。
本発明の態様は、作業者が装備しかつカメラデバイスとモーションセンサとを具備する作業支援ウェアラブルデバイスと、支援者が操作し前記作業支援ウェアラブルデバイスと接続される作業支援端末と、を備えた遠隔作業支援システムであって、前記作業支援端末が、
前記作業支援ウェアラブルデバイスにて前記カメラデバイスの撮影により取得される動画データと前記モーションセンサにより取得されるモーションデータとを、逐次、受信する手段と、
受信した前記動画データと前記モーションデータとを基に、一定領域の静止画を生成し重複領域を削除することにより一枚の広範囲の周囲の状況が写った合成静止画を生成する手段と、
生成した前記合成静止画と、逐次受信する前記動画データによる動画とを並べ合わせた混在画像を前記作業支援端末のディスプレイ上に表示する手段と、を有することを特徴とする。

【0007】

上記態様において、前記作業支援端末のディスプレイがタッチパネル機能を備えており、前記混在画像にアノテーション情報が書き込まれたとき、
前記作業支援端末は、
前記作業支援ウェアラブルデバイスの前記カメラデバイスの撮影による動画を、前記作業支援ウェアラブルデバイスのディスプレイ上に表示させる指示を前記作業支援ウェアラブルデバイスに送信する手段と、
書き込まれた前記アノテーション情報の座標を検出して座標データを前記作業支援ウェアラブルデバイスに送信する手段と、を有し、
前記作業支援ウェアラブルデバイスは、
前記作業支援端末から受信した指示により、前記カメラデバイスの撮影による動画を前記作業支援ウェアラブルデバイスのディスプレイ上に表示する手段と、
前記作業端末から受信した前記座標データを基に、前記作業支援ウェアラブルデバイスのディスプレイ上に前記アノテーション情報を描画する手段と、を有することを特徴とする。

【0008】

上記態様において、前記作業支援端末は、
前記混在画像上で前記アノテーション情報が書込みされている領域が、前記合成静止画の領域であるか、又は、前記動画の領域であるかを判定する手段と、
前記アノテーション情報が書込みされている領域が前記合成静止画の領域であった場合、現在、前記作業支援ウェアラブルデバイスの前記カメラデバイスが撮影している動画の領域と比べて、当該アノテーション情報がいずれの方向にあるかを示す方向情報を、前記作業支援ウェアラブルデバイスに送信する手段と、を有し、
前記作業支援ウェアラブルデバイスは、
前記作業支援端末から受信した方向情報を基に、前記作業支援ウェアラブルデバイスのディスプレイ上に矢印を表示する手段を有することを特徴とする。

【発明の効果】

【0009】

従来の遠隔作業支援システムでは、作業者が作業支援ウェアラブルデバイスで撮影している動画だけが、作業支援端末上に表示されていたため、その周囲の状況を把握するには、作業者に周囲を撮影するように指示する必要があったが、本システムでは、一度でも撮影した周囲の状況の動画データを基に画像処理部が合成静止画を生成し、作業支援端末上に動画と併せて合成静止画を含む広範囲の混合画像を表示することにより、支援者は作業者が見ている状況に似た広範囲の周囲の状況を閲覧することができる。これにより、現場の遠隔地の状況をより理解し易く遠隔作業支援の効率が向上する。

【図面の簡単な説明】

【0010】

【図1】図１は、本システムの概要構成を示す図である。

【図2】図２は、作業支援サーバの構成を示す図である。

【図3】図３は、作業支援ウェアラブルデバイスの構成を示す図である。

【図4】図４は、作業支援端末の構成を示す図である。

【図5】図５は、遠隔作業支援開始フローを示す図である。

【図6】図６は、遠隔作業支援の一例を示す図である。

【図7】図７は、遠隔作業支援時の撮影領域を移動させる場合のフローを示す図である。

【図8】図８は、遠隔作業支援時の撮影領域を移動させる場合の一例を示す図である。

【図9】図９は、アノテーションによる遠隔作業支援時のフローを示す図である。

【図10】図１０は、アノテーションを使った遠隔作業支援時の一例を示す図である。

【図11】図１１は、アノテーションを使った遠隔作業支援時の一例を示す図である。

【図12】図１２は、アノテーションを使った遠隔作業支援時の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本発明の実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。

【0012】

<システム構成>
図１は、本発明の実施形態による本システムの概略構成を示す図である。本システムは、作業支援サーバ101と、作業支援端末102と、作業支援ウェアラブルデバイス105と、ネットワーク108で構成される。作業支援サーバ101、作業支援端末102及び作業支援ウェアラブルデバイス105は、本システムにおける所定の機能を実現するプログラムを導入されたコンピュータであり、ＣＰＵがプログラムをメモリに読込み実行することにより、本システムを構成する各装置として機能する。図２は、作業支援サーバ101の構成を示す図である。図３は、作業支援ウェアラブルデバイス105の構成を示す図である。図４は、作業支援端末102の構成を示す図である。

【0013】

なお、前提として、作業支援ウェアラブルデバイス105を装着するユーザを作業者106、作業支援端末102を使って遠隔での指示及び支援を行うユーザを支援者103と称し、支援者103は、会議室104内から、工場107内にいる作業者106に対して遠隔での指示や支援を行うという状況を想定して説明する。以下では、「画像」の用語は上位概念とし、下位概念として「動画」と「静止画」を含むものとする。また、「動画」はここでは映像の意味で用いる。

【0014】

（１）作業支援サーバ
図１に示す作業支援サーバ101は、会議室104内の作業支援端末102と、工場107内の作業支援ウェアラブルデバイス105とのネットワーク接続の中継機能、及び、作業支援に必要なコンテンツ、例えば、作業マニュアルドキュメントの保存及び管理機能を備えるサーバである。図２に示すように、作業支援サーバ101は、ネットワーク部201と、ユーザ管理部202と、コンテンツ管理部203を備えている。

【0015】

<ネットワーク接続管理部>
図２のネットワーク接続管理部201は、作業者106が工場107内で作業内容に不明点があり、支援者103に作業支援を求める際に、作業者106の作業支援ウェアラブルデバイス105から支援者103の作業支援端末102への呼び出しを中継し、作業支援ウェアラブルデバイス105と作業支援端末102間のネットワーク接続を行うモジュールである。

【0016】

<ユーザ管理部>
図２のユーザ管理部202は、支援を必要とする可能性のある作業支援ウェアラブルデバイス105及び作業者106と、作業支援を行うことが可能な作業支援端末102及び支援者103の情報を登録し管理するモジュールである。ネットワーク接続管理部201は、ユーザ管理部202の情報を使って、作業者106からの遠隔作業支援要求時に、作業支援ウェアラブルデバイス105と作業支援端末102とのネットワーク接続を行う。

【0017】

<コンテンツ管理部>
図２のコンテンツ管理部203は、遠隔作業支援に必要なマニュアルドキュメント等を保存し管理する機能を備える。作業者106と支援者103は共に、これらのドキュメントを、作業支援ウェアラブルデバイス105や作業支援端102末にダウンロードし、各々のデバイスで表示し閲覧しながら作業を行うことが可能である。

【0018】

（２）作業支援ウェアラブルデバイス
図１に示す作業支援ウェアラブルデバイス105は、作業者106が工場107内で作業を行う際に、装着するメガネ型又はヘッドマウント型等の作業支援ウェアラブルデバイスである。作業者106は、作業支援ウェアラブルデバイス105を装着し、会議室104内にいる支援者103から遠隔での指示や支援を受ける。図３に示すように、作業支援ウェアラブルデバイス105は、カメラ部301、マイク・スピーカ部302、ディスプレイ部303、ネットワーク部304、遠隔作業支援部305、画像処理部306、モーションセンサ部307を備えている。

【0019】

<カメラ部301>
図３のカメラ部301は、作業支援ウェアラブルデバイス105の前面に取り付けられているカメラデバイスであり、作業者106が作業を行っている視点と同じ方向の動画を撮影することができるモジュールである。カメラ部301で撮影した動画のデータ(以後、撮影した動画のデータのことを動画データと呼ぶ)を、ネットワーク部304を通して作業支援端末102に送信することで、支援者103は動画を基に工場内の状況把握が可能になり、遠隔での効率的な指示や支援が可能になる。

【0020】

<マイク・スピーカ部302>
図３のマイク・スピーカ部302は、一般に普及しているマイクデバイス及びスピーカデバイスからなる音響入出力部であり、作業者106が話した内容や周囲の音声を収音する機能と、作業支援端末102上のマイク・スピーカ部402で収音した音声を放音する機能を備えている。作業者106と支援者103は、マイク・スピーカ部302及びマイク・スピーカ部402を使って、音声による指示や支援が可能になる。

【0021】

<ディスプレイ部303>
図３のディスプレイ部303は、近年普及してきているメガネ型の作業支援ウェアラブルデバイスに搭載されている透過型又は非透過型の小型ディスプレイ相当のものを指す。作業者106は、ディスプレイ部303を通して、作業支援端末102で撮影された動画や、作業支援サーバ101に保存されているマニュアルドキュメント等を閲覧することができる。ディスプレイ部303の特徴として、作業者106の視野をあまり阻害することなく、静止画又は動画を閲覧することができることがあげられる。これにより、作業者106は周囲の状況を把握しつつ、リアルタイムに種々の情報を取得することが可能になり、作業効率がアップする。

【0022】

また、作業支援端末102上で撮影された動画をディスプレイ部303に表示することにより、支援者103側の会議室104の状況を作業者106が把握することが可能になる。さらに、ディスプレイ部303には、作業支援ウェアラブルデバイス105のカメラ部301で撮影された動画も表示することができる。即ち、作業支援端末102で撮影された動画と、作業支援ウェアラブルデバイス105(自デバイス)で撮影された動画の表示を切り替えることが可能である。

【0023】

<ネットワーク部 304>
図３のネットワーク部304は、作業支援サーバ101及び作業支援端末102とネットワーク接続を行うモジュールであり、動画、静止画、コンテンツ等のデータの通信を可能にする。なお、作業支援サーバ101上のコンテンツ管理部203から、作業に関わるドキュメントをダウンロードしてディスプレイ部303で表示しながら作業を可能にする機能も有する。

【0024】

<遠隔作業支援部 305>
図３の遠隔作業支援部305は、作業支援端末102のディスプレイ部303に書き込まれたアノテーション情報、具体的には、テキスト情報や、手書き書込みに関する情報の検知、管理及び送受信を行うモジュールである。

【0025】

<画像処理部 306>
図３の画像処理部306は、遠隔作業支援部305で受信したアノテーション情報をディスプレイ部303に表示する機能を備えるモジュールである。

【0026】

<モーションセンサ部>
図３のモーションセンサ部307は、作業支援ウェアラブルデバイス105が移動した場合のデバイスの移動量を含む移動動作情報(以後、モーションデータと呼ぶ)を検出するモジュールである。モーションデータは、現在作業支援ウェアラブルデバイスで備わっている一般的なジャイロセンサー、加速度センサーといったセンサーにより取得する値で対応可能である。モーションセンサ部307で取得するモーションデータの主なものは、作業者106がカメラ部301で撮影している撮影領域を移動させた時、即ち、作業者106が首を動かして視点を移動させたときのデバイスの移動量である。モーションセンサ307で取得したモーションデータは、デバイスの処理性能の許容する範囲で、一定間隔で作業支援端末102の画像処理部406に送信される。

【0027】

（３）作業支援端末
図１に示す作業支援端末102は、作業者106からの作業支援要求を受けて、支援者103が作業支援を行う端末である。図４に示すように、作業支援端末102は、カメラ部401、マイク・スピーカ部402、ディスプレイ部403、ネットワーク部404、遠隔作業支援部405、画像処理部406を備えている。なお、作業支援端末102は、一般に普及しているノートＰＣやデスクトップＰＣを想定している。

【0028】

<カメラ部401>
図４の作業支援端末102のカメラ部401は、ノートＰＣのフロントに備わっているカメラデバイス相当のものを指し、支援者103側の動画を撮影することができる。カメラ部401で撮影した動画（動画データ）を作業支援ウェアラブルデバイス105に送信することで、作業者106は、動画共有による支援者103側の会議室の状況把握が可能になり、作業者106は、より効率的に作業を行えるようになる。

【0029】

<マイク・スピーカ部 402>
図４の作業支援端末102のマイク・スピーカ部402は、図３の作業支援ウェアラブルデバイス105のマイク・スピーカ部302と同様の機能を持つ。

【0030】

<ディスプレイ部 403>
図４の作業支援端末102のディスプレイ部403は、一般のノートＰＣやデスクトップＰＣ等に備わっている通常のディスプレイである。ディスプレイ部403には、作業支援ウェアラブルデバイス105で撮影された動画及び／又は画像処理部406で処理された静止画が表示される。また、ディスプレイ部403は、タッチパネル機能を備えており、支援者103がディスプレイ部403上で任意のタッチ操作を行うと、表示されている静止画又は動画の中にアノテーション情報を書込むことが可能である。このアノテーション情報により、支援者103は画像や音声だけでは伝えにくい情報、例えば、この機器のこの場所を調べてほしいと言った作業指示を容易に行うことが可能になる。

【0031】

<ネットワーク部 404>
図４の、作業支援端末102のネットワーク部404は、作業支援サーバ101や作業支援ウェアラブルデバイス105とネットワーク接続を行うモジュールであり、動画、静止画、コンテンツ等のデータの通信を可能にする。

【0032】

<遠隔作業支援部 405>
図４の作業支援端末102の遠隔作業支援部405は、作業支援端末102のディスプレイ部403に書き込まれたアノテーション情報、具体的には、テキスト情報や、手書き書込み等の書込み内容のデータ、及び、ディスプレイ部403上での書込み位置を示す座標データを検知し、作業支援ウェアラブルデバイス105の遠隔作業支援部305に対して送受信を行うモジュールである。

【0033】

<画像処理部 406>
図４の、作業支援端末102の画像処理部406は、作業支援ウェアラブルデバイス105のカメラ部301及びモーションセンサ部307から送信されてくる動画データ及びモーションデータを用いて、作業支援ウェアラブルデバイス105のカメラ部301で、一度でも撮影された領域の動画データから静止画を生成し、生成した静止画をつなぎ合わせて、一枚の大きな周囲の状況が写った静止画（以下、「合成静止画」と称する）を生成する機能を備えている。

【0034】

また、生成した合成静止画の上に、現在撮影中の動画を重ね合わせる機能を備える。さらに、動画が表示されている領域はリアルタイムにその動画が更新される画像処理機能を備えている。

【0035】

従来の遠隔作業支援システムでは、作業者106が作業支援ウェアラブルデバイス105で撮影した動画だけが、作業支援端末102上に表示されていたため、その周囲の状況を把握するには、作業者106に指示して周囲を撮影するように指示する必要があったが、本システムの画像処理部406で生成する合成静止画を用いれば、一度撮影した周囲の状況は合成静止画として支援者103側の作業支援端末102のディスプレイ部403に表示されるようになるため、支援者103は、工場107内の周囲の状況を把握し易くなり、作業支援効率が向上する。

【0036】

（４）遠隔作業支援開始フロー
図５は、遠隔作業支援開始フローを示している。はじめに、作業者106は、工場107に設置されている機器の取り扱いなどで作業手順が不明だった場合、作業支援ウェアラブルデバイス105から作業支援サーバ101へ作業支援要求を送信する(S501)。作業支援サーバ101では、事前に登録されている作業支援が可能な支援者103の作業支援端末102に作業支援が要求されたことを送信する(S502)。

【0037】

作業支援要求を受けた作業支援端末102の支援者103は、応答を返す(S503)。応答を受けたことにより、作業支援ウェアラブルデバイス105上のネットワーク部304と作業支援端末102のネットワーク部404は、ネットワーク接続を確立する(S504)。作業支援ウェアラブルデバイス105のカメラ部301とマイク・スピーカ部302、及び、作業支援端末102のカメラ部401とマイク・スピーカ部402は、動画及び音声のセッションを開始する(S505)。これにより、作業支援ウェアラブルデバイス105及び作業支援端末102の双方のディスプレイ部にお互いのカメラにより撮影された動画が表示され、かつ、音声通話が可能になる。この時、作業支援端末102の画像処理部406は、作業支援ウェアラブルデバイス105から受信した動画データのキャッシュを開始する (S506)。

【0038】

<遠隔作業支援の一例>
図６は、図５のステップを通して、作業支援ウェアラブルデバイス105と作業支援端末間102で動画及び音声のセッションが開始された後の状態の具体例を示した図である。

【0039】

図１の工場107の具体的な図が図６の工場600であったとする。今、作業者106が作業支援ウェアラブルデバイス105を装着して、工場600内の領域601(以後、撮影している領域を撮影領域と呼ぶ)を撮影している。この時、作業支援端末102のディスプレイ部403上には、動画602のように表示される。また、作業支援端末102のカメラ部401で撮影された支援者103の動画は、作業支援ウェアラブルデバイス105のディスプレイ部303上に、動画603のように表示される。

【0040】

また、音声に関しても、作業支援ウェアラブルデバイス105のマイク・スピーカ部302で収音した音声は、作業支援端末102のマイク・スピーカ部402から放音され、逆に、作業支援端末102のマイク・スピーカ部402で収音された音声は、作業支援ウェアラブルデバイス105のマイク・スピーカ部302から放音される。このようにして、お互いの状況を動画及び音声を使って把握しつつ作業を進めることができるようになる。

【0041】

（５）遠隔作業支援時の撮影領域を移動させる場合のフロー
図７と図８は、作業支援ウェアラブルデバイス105の撮影領域を移動させた場合のフローとその具体例を示している。図５と図６で動画及び音声のセッションが開始された後、作業支援ウェアラブルデバイス105の撮影領域を移動させる (S701)。これにより、撮影領域が元の撮影領域601から、撮影領域801を経由して、撮影領域802へと移動する。なお、図８では、工場600内で、作業者106は作業支援ウェアラブルデバイス105で撮影領域802を撮影している状態である。作業支援ウェアラブルデバイス105のモーションセンサ部307は、作業者106が撮影領域を移動させた時に、作業支援ウェアラブルデバイス105の移動量を検出し、モーションデータを取得する(S702)。

【0042】

モーションセンサ部307で取得したモーションデータは、デバイスの性能の許容する範囲で、一定間隔で作業支援端末102の画像処理部406に送信される(S703)。なお、モーションセンサ部307で取得するモーションデータは、カメラ部301で撮影した動画データと時刻同期がなされたデータであって、ある時点からある時点までの、作業支援ウェアラブルデバイス105の移動量及び／又は回転量を示す移動動作情報である。これらのモーションデータは、今日、作業支援ウェアラブルデバイスで備わっているジャイロセンサー、加速度センサーといったセンサーにより取得する値で対応可能である。

【0043】

作業支援端末102の画像処理部406は、ステップS703で送信されたモーションデータを受信する(S704)。次に、作業支援ウェアラブルデバイス105から送信されキャッシュしてある動画データと、取得したモーションデータとを用いて、直前に撮影された動画データから、移動範囲に応じたスナップショット画像である静止画を生成する(S705)。次に、S705で生成された静止画の並べ合わせを行い、重複する領域を排除して(S706)、複数の静止画から、一枚の大きな周囲の状況が写った合成静止画を生成する(S707)。続いて、リアルタイムに送られてくる動画データによる動画を、生成した１枚の大きな合成静止画と並べ合わせてディスプレイ部403に表示する(S708)。以下、合成静止画と動画の双方を並べ合わせて表示した画像を「混在画像」と称する。図８に示すように、作業支援端末102のディスプレイ部403には、合成静止画803の領域(図８二重破線部分)と動画804の領域(図８太黒枠部分)の双方を含む混在画像805が表示されている。

【0044】

この時、支援者103に対し、リアルタイムに更新されている動画804であるか、又は、動画データのキャッシュデータから作成された合成静止画803であるかが区別できるように、矩形の太黒枠等で囲って区切りを表示することが好ましい。

【0045】

ステップS701〜S708の処理により生成され表示される混在画像805は、動画データとモーションデータの更新に合わせ、画像処理部406により適宜更新処理され、ディスプレイ部403上に更新後の表示が行われる(S709)。

【0046】

なお、ステップS701〜S709の処理を連続して行うと、合成静止画803の範囲が累積して大きくなっていく。そこで、支援者は、合成静止画803全体を表示させるのか、合成静止画803の一部をディスプレイ部403上に表示し、表示されていない部分をスクロールしてみるようにするかを選択できるものとする。

【0047】

（６）アノテーションによる遠隔作業支援のフロー
図９、図１０、図１１は、遠隔作業支援におけるアノテーション機能を示す図である。支援者103が混在画像805上で気になる部分を発見する(S901)。支援者103は、ディスプレイ部403にタッチして直接、アノテーション情報を書込む(S902)。作業支援端末102の遠隔作業支援部405は、書込みによる作業支援が発生したことを検知し(S903)、作業支援ウェアラブルデバイス105の遠隔作業支援部306に対し、カメラ部301で撮影している動画の領域をディスプレイ部303上に表示するように表示切替えを行わせる指示を送信する(S904)。これにより、作業支援ウェアラブルデバイス105のディスプレイ部303上に撮影中の動画が表示される。次に、遠隔作業支援部405は、ディスプレイ部403上のタッチ情報を基に、書込まれたアノテーション情報の座標を検出する(S905)。この時、遠隔作業支援部405は、混在画像1006上でアノテーション情報が書込みされている領域が、合成静止画1004の領域か、動画1005の領域かを判定する(S906)。

【0048】

ステップS906で判定した結果、アノテーション情報が、図１０に示す動画1005の領域上であった場合、書込まれたアノテーション情報の座標データを、作業支援ウェアラブルデバイス105上の遠隔作業支援部306に送信する(S910)。遠隔作業支援部306は、ディスプレイ部303に命令して、受信した座標データを基に、書込まれたアノテーション情報をディスプレイ部303上に描画する(S911)。図１０を参照すると、ステップS902で支援者103がディスプレイ部403にタッチして、動画1005の領域に直接書込みした例が、図１０のアノテーション情報1002である。書込みによって、ステップS904で、作業支援ウェアラブルデバイス105のディスプレイ部303には、動画1001が現れる。そして、ステップS911で、アノテーション情報1003がディスプレイ部303上に描画される。

【0049】

ステップS906で判定した結果、支援者103によるアノテーション情報1101が、図１１に示す合成静止画1103の領域であった場合(S906)、遠隔作業支援部405はアノテーション情報1101が、現在、作業支援ウェアラブルデバイス105が撮影している動画1104の領域と比べて、いずれの方向にあるかを示す方向情報を、遠隔作業支援部305に送信する(S907)。これは、図１１の例であれば、現在、作業支援ウェアラブルデバイス105で撮影している領域は、作業支援端末102のディスプレイ部403上に動画1104の領域のように表示されているので、アノテーション情報1101は、動画1104の領域から見て左方向である。

【0050】

方向情報を受信した作業支援ウェアラブルデバイス105の遠隔作業支援部305は、アノテーション情報が現在撮影している領域に比べて、どの方向にあるかを示す矢印をディスプレイ部303上に表示する(S908)。この時の矢印の具体例は図１１の1102(左方向の矢印)である。作業者106が、矢印が示す方向に従って撮影領域を移動させると、図１２に示すように、撮影領域1201から撮影領域1202に移動する(S909)。なお、この時、作業支援端末102上のディスプレイ部403には、動画1203の領域と合成静止画1204の領域1204を並べ合わせた混在画像1205が表示されている。アノテーション情報1206が動画1203の領域内に入ったことを遠隔作業支援部405が検知すると、アノテーション情報1206の座標データを、作業支援ウェアラブルデバイス105上の遠隔作業支援部306に送信する(S910)。遠隔作業支援部305は、画像処理部306に命令して、ディスプレイ部303にアノテーション情報1207を描画する(S911)。

【0051】

以上により、より広範囲の領域を把握しながら遠隔作業支援を行うことが可能となり、作業効率が向上する。

【符号の説明】

【0052】

１０１ 作業支援サーバ
１０２ 作業支援端末
１０３ 支援者
１０４ 会議室
１０５ 作業支援ウェアラブルデバイス
１０６ 作業者
１０７ 工場
１０８ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】