特開 2022-146779 支援システム、支援側装置、支援方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022146779

(43)【公開日】2022-10-05

(54)【発明の名称】支援システム、支援側装置、支援方法、およびプログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20220928BHJP

【ＦＩ】

G06Q50/04

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021047923

(22)【出願日】2021-03-22

(71)【出願人】

【識別番号】000005234

【氏名又は名称】富士電機株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】大秋 大輔

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC04

(57)【要約】      （修正有）

【課題】通信データ量を軽減する遠隔支援システム、支援側装置、支援方法およびプログラムを提供する。
【解決手段】遠隔支援システム１は、支援者の動作に応じて作業支援データを送信する支援側装置２と、作業支援データに応じた情報を作業者に提供する作業側装置３とを備える。作業側装置３と支援側装置２との間の通信におけるデータ量を、支援者の動作状況と、作業者の作業環境とに基づいて制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

支援者の動作に応じて作業支援データを送信する支援側装置と、
前記作業支援データに応じた情報を作業者に提供する作業側装置と
を備える支援システムであって、
前記作業側装置と前記支援側装置との間の通信におけるデータ量を、前記支援者の動作状況と、前記作業者の作業環境とに基づいて制御する通信制御装置を備える支援システム。

【請求項2】

前記通信制御装置は、前記支援側装置から前記作業側装置への通信における前記データ量を制御する
請求項１に記載の支援システム。

【請求項3】

前記通信制御装置は、前記支援者の動作の大きさが小さいほど、前記データ量を小さくする
請求項１または２に記載の支援システム。

【請求項4】

前記通信制御装置は、前記支援者の動作の速度が小さいほど、前記データ量を小さくする
請求項１から３のいずれか一項に記載の支援システム。

【請求項5】

前記通信制御装置は、前記作業者と作業対象物との距離が小さいほど、前記データ量を小さくする
請求項１から４のいずれか一項に記載の支援システム。

【請求項6】

前記通信制御装置は、前記支援者の動作状況を示す第１指標値と、前記作業者の作業環境を示す第２指標値とを、それぞれ閾値と比較した比較結果に基づいて、前記データ量を制御する
請求項１から５のいずれか一項に記載の支援システム。

【請求項7】

前記第１指標値は、前記支援者の動作の大きさの累積値、および、前記支援者の動作の速度の少なくとも一方に応じた値である
請求項６に記載の支援システム。

【請求項8】

前記通信制御装置は、作業対象物に基づいて前記閾値を制御する
請求項６または７に記載の支援システム。

【請求項9】

前記通信制御装置は、前記作業者に関連付けられた属性情報に基づいて、前記閾値を制御する
請求項６から８のいずれか一項に記載の支援システム。

【請求項10】

支援者の動作に応じて作業支援データを送信する支援側装置と、前記作業支援データに応じた情報を作業者に提供する作業側装置とにより作業を支援する支援方法であって、
前記作業側装置と前記支援側装置との間の通信におけるデータ量を、前記支援者の動作状況と、前記作業者の作業環境とに基づいて制御する支援方法。

【請求項11】

支援者の動作に応じた作業支援データを作業側装置に送信する支援側装置であって、
前記支援側装置から前記作業側装置への通信におけるデータ量を、前記支援者の動作状況と、前記作業側装置から前記作業支援データに応じた情報が提供される作業者の作業環境とに基づいて制御する通信制御装置を備える支援側装置。

【請求項12】

コンピュータを、請求項１１に記載の支援側装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、支援システム、支援側装置、支援方法、およびプログラムに関する。

【0002】

通信回線状況に応じて生じるデータ遅延時間の情報に基づいて、伝送されるデータ品質を調整する技術が知られている（例えば、特許文献１参照）。
特許文献１ 特開２０１５－１５６１７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

支援側装置と作業側装置との間でデータを通信する遠隔支援システムにおいて、通信回線状況に応じて伝送するデータ品質（ビットレート）を調整する場合、作業支援状況によらず一定の通信リソースを占有する。遠隔支援システムにおいては、通信データ量を軽減することが望ましい。

【課題を解決するための手段】

【0004】

上記課題を解決するために、本発明の第１の態様においては、支援システムを提供する。支援システムは、支援側装置および作業側装置を含んでよい。支援側装置は、支援者の動作に応じて作業支援データを送信してよい。作業側装置は、作業支援データに応じた情報を作業者に提供してよい。支援システムは、通信制御装置を備えてよい。通信制御装置は、作業側装置と支援側装置との間の通信におけるデータ量を、支援者の動作状況と、作業者の作業環境とに基づいて制御してよい。

【0005】

通信制御装置は、支援側装置から作業側装置への通信におけるデータ量を制御してよい。

【0006】

通信制御装置は、支援者の動作の大きさが小さいほど、データ量を小さくしてよい。

【0007】

通信制御装置は、支援者の動作の速度が小さいほど、データ量を小さくしてよい。

【0008】

通信制御装置は、作業者と作業対象物との距離が小さいほど、データ量を小さくしてよい。

【0009】

通信制御装置は、支援者の動作状況を示す第１指標値と、作業者の作業環境を示す第２指標値とを、それぞれ閾値と比較した比較結果に基づいて、データ量を制御してよい。

【0010】

第１指標値は、支援者の動作の大きさの累積値、および、支援者の動作の速度の少なくとも一方に応じた値であってよい。

【0011】

通信制御装置は、作業対象物に基づいて閾値を制御してよい。

【0012】

通信制御装置は、作業者に関連付けられた属性情報に基づいて、閾値を制御してよい。

【0013】

支援側装置は、支援者における複数の抽出点の挙動を示す点群データを取り込んでよい。支援側装置は、点群データに基づいて作業支援データを生成してよい。

【0014】

本発明の第２の態様においては、支援側装置と作業側装置とにより作業を支援する支援方法を提供する。支援側装置は、支援者の動作に応じて作業支援データを送信してよい。作業側装置は、作業支援データに応じた情報を作業者に提供してよい。支援方法は、作業側装置と支援側装置との間の通信におけるデータ量を、支援者の動作状況と、作業者の作業環境とに基づいて制御してよい。

【0015】

本発明の第３の態様においては、支援者の動作に応じた作業支援データを作業側装置に送信する支援側装置を提供する。支援側装置は、通信制御装置を備えてよい。通信制御装置は、支援側装置から作業側装置への通信におけるデータ量を、支援者の動作状況と、作業側装置から作業支援データに応じた情報が提供される作業者の作業環境とに基づいて制御してよい。

【0016】

本発明の第４の態様においては、コンピュータを、第３の態様の支援側装置として機能させるためのプログラムを提供する。

【0017】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態の遠隔支援システム１の概要を示す図である。

【図2】遠隔支援システム１の概略構成の一例を示す図である。

【図3】支援者の動作を表現する姿勢データの一例を示す図である。

【図4】支援者の動作を表現する点群データの一例を示す図である。

【図5】支援側の端末装置１００の一例を示す図である。

【図6】作業側装置３の一例を示す図である。

【図7】通信制御装置２００の一例を示す図である。

【図8】支援者の動作状況を示す第１指標値の判定処理の一例を示す図である。

【図9】図８に後続する第１指標値の判定処理の一例を示す図である。

【図10】図９に後続する第１指標値の判定処理の一例を示す図である。

【図11】作業者の作業環境を示す第２指標値の判定処理の一例を示す図である。

【図12】作業支援状況に応じた、通信データ量の調整処理の一例を示す図である。

【図13】作業支援状況に応じた、通信データ量の調整結果の一例を示す図である。

【図14】データ量調整用のパラメータテーブルの一例である。

【図15】作業支援データのデータ量調整の一例を示す図である。

【図16】支援側装置２における通信制御装置２００による遠隔支援方法の一例を示すフローチャートである。

【図17】図１６のステップＳ１３における比較判定処理の内容を示すフローチャートである。

【図18】遠隔支援システム１の他の例を示す図である。

【図19】図１８の遠隔支援システム１における通信制御装置２００による処理内容の一例を示すフローチャートである。

【図20】遠隔支援システム１の他の例を示す図である。

【図21】遠隔支援システム１が、作業側装置から伝送される通信データ量を調整する場合の一例を示す図である。

【図22】図２１の遠隔支援システム１における通信制御装置４００による処理内容の一例を示すフローチャートである。

【図23】遠隔支援システム１の他の例を示す図である。

【図24】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

【発明を実施するための形態】

【0019】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0020】

図１は、本発明の一実施形態の遠隔支援システム１の概要を示す図である。遠隔支援システム１は、支援者が自らの動作を通じて、遠隔地にいる作業者に各種の指示や教示を与えて支援することを可能とする。

【0021】

遠隔支援システム１は、支援側装置２および作業側装置３を備える。支援側装置２は、端末装置１００および通信制御装置２００を含んでよい。一例において、端末装置１００は、ヘッドマウントディスプレイ(ＨＭＤ)方式の拡張現実ウェアラブルコンピュータ端末である。例えば、端末装置１００は、作業対象物４についての３Ｄホログラム画像を支援者に表示する。

【0022】

支援者は、ホログラム画像を見ながら、実際に指および手等を動作させる。端末装置１００は、モーションキャプチャ技術によって、支援者の動作を示すデータを取り込む。端末装置１００は、取り込んだデータに基づいて、作業支援データを生成する。支援側装置２は、支援者の動作に応じた作業支援データを作業側装置３に送信する。

【0023】

作業側装置３は、受信した作業支援データに応じた情報を作業者に提供する。作業側装置３は、作業者が装着可能な拡張現実（ＡＲ）装置であってよい。作業側装置３は、作業支援データに基づいて、支援者の動作の動きを再現した画像を作業者に提供する。

【0024】

本実施形態の通信制御装置２００は、作業側装置３と支援側装置２との間の通信におけるデータ量を支援者の動作状況と、作業者の作業環境とに基づいて制御する。作業者の作業環境は、作業者と作業対象物４との距離であってよい。作業側装置３が、作業対象物４に貼付されたマーカー５と作業側装置３との間の距離を測定して、測定結果を通信制御装置２００に伝送してよい。

【0025】

作業側装置３と支援側装置２との間のデータ量は、作業側装置３と支援側装置２との間において単位時間当たりに送受信するデータ量であってよい。データ量が大きくなるほど、データ品質が高くなる。例えば、支援者の動作が小さくて支援者が指示していないような場合に、通信制御装置２００は、データ量を小さくする。また、作業者が作業対象物から離れているような場合にも、データ量を小さくする。特に、通信制御装置２００は、支援側装置２から作業側装置３への通信におけるデータ量を制御してよい。

【0026】

通信制御装置２００は、支援者の動作の大きさが小さいほど、データ量を小さくしてよい。「動作の大きさ」とは、支援者の特定部位の動きはじめから動き終わりまでの、移動量である。通信制御装置は、支援者の動作の速度が小さいほど、データ量を小さくしてよい。「速度」とは単位時間あたりの移動量である。また、通信制御装置２００は、作業者と作業対象物との距離が小さいほど、データ量を小さくしてよい。

【0027】

図２は、遠隔支援システム１の概略構成の一例を示す図である。本例においては、端末装置１００と通信制御装置２００との間、および通信制御装置２００と作業側装置３との間は、互いに通信可能である。端末装置１００、通信制御装置２００、および作業側装置３が互いに通信可能であってもよい。図２に示される例では、作業側装置３は、作業対象物についての環境データ（画像データを含む）を、支援側装置２における通信制御装置１００に伝送する。通信制御装置２００は、受信した環境データを端末装置１００に伝送する。端末装置１００は、受信した環境データに基づいて、３Ｄホログラム画像を生成し、支援者に表示してよい。端末装置１００は、モーションキャプチャ技術によって、支援者の動作を示すモーションキャプチャデータを取り込む。そして、３Ｄホログラム画とモーションキャプチャデータとを統合することによって、拡張現実を実現する。

【0028】

通信制御装置２００は、支援者の動作状況についての情報を取得する。支援者の動作状況は、支援者の動作の大きさの累積値、および支援者の動作の速度の少なくとも一つを含んでよい。本例では、通信制御装置２００は、支援者の動作状況の情報を端末装置１００から取得しているが、この場合に限られない。通信制御装置２００は、モーションキャプチャ装置から支援者の動作状況の情報を取得してもよい。

【0029】

通信制御装置２００は、作業者の作業環境についての情報を取得する。具体的には、作業者の作業環境についての情報は、作業者と作業対象物との距離についての情報であってよい。本例では、通信制御装置２００は、作業者の作業環境についての情報を作業側装置３から取得する。

【0030】

図２に示される通信制御装置２００は、端末装置１００から調整前の作業支援データを取得する。そして、通信制御装置２００は、作業側装置３と支援側装置２との間の通信におけるデータ量を、支援者の動作状況と、作業者の作業環境とに基づいて調整する。具体的には、データ量の調整には、データサイズまたはビットレートを調整することが含まれる。さらに詳細には、データ量の調整には、計測点数、分解能、解像度、フレームレート、および色深度の少なくとも一つを調整することが含まれてよい。通信制御装置２００が、調整後の作業支援データを作業側装置３に送信する。

【0031】

図２の構成によれば、支援側装置２は、支援者の動作に応じた作業支援データを作業側装置３に送信する。通信制御装置２００は、支援側装置２から作業側装置３への通信におけるデータ量を、支援者の動作状況と、作業者の作業環境とに基づいて制御する。

【0032】

図３は、支援者の動作を表現する姿勢データの一例を示す図である。図４は、支援者の動作を表現する点群データの一例を示す図である。モーションキャプチャ技術によって、作業者の動作を読み取って得られたモーションキャプチャデータは、図３に示されるように姿勢データであってもよく、図４に示されるような点群データであってもよい。

【0033】

姿勢データは、手の指の関節など動作の基本要素となる部分（図中、黒丸で表示）の位置の認識結果に基づいて動作を表現する。姿勢データは、基本要素となる複数の部分の各位置の３次元座標によって表現されよい。図４に示されるような点群データは、複数の抽出点（図中の点で表示）の挙動を示す。点群データは、測定装置と物体との間の相対距離（奥行値）で表されてよい。点群データは、姿勢データに比べて計測点数が多いため、データサイズも大きくなる。一例において、点群データは、計測点数が９万以上、分解能１６ｂｉｔ、フレームレート３０ｆｐｓであり、データサイズが５．６Ｍバイトであってよい。一例において、姿勢データは計測点が２１個、分解能１６ｂｉｔ、フレームレート３０ｆｐｓであり、データサイズが０．１Ｍバイトであってよい。

【0034】

支援側装置２は、支援者における複数の抽出点の挙動を示す点群データまたは姿勢データをモーションキャプチャ技術によって取り込んで、点群データまたは姿勢データに基づいて作業支援データを生成してよい。したがって、作業支援データは、支援者の特定部位の動作内容を表現する点群データまたは姿勢データを含んでよい。支援者の特定部位（例えば、手首から先の手）によって示された作業箇所および設備の操作方法等の情報が、支援側装置２において作業支援データとして生成される。

【0035】

図５は、支援側の端末装置１００の一例を示す図である。端末装置１００は、支援側装置２の一部として機能する。端末装置１００は、ヘッドマウントディスプレイ(ＨＭＤ)方式の拡張現実ウェアラブルコンピュータ端末である。端末装置１００は、ホログラフィックレンズディスプレイ１０１を備えてよい。端末装置１００は、センサ類として、カメラ１０２、複数のトラッキング用可視光カメラ１０３、視線計測（アイ トラッキング）用の複数の赤外光カメラ１０４、深度センサ１０５（距離センサ）、および慣性計測部１０６を備えてよい。端末装置１００は、環境認識部１０７を備えてよい。端末装置１００は、データ処理部１０８を備えてよい。

【0036】

トラッキング用可視光カメラ１０３は、頭の動きを感知する。視線計測（アイ トラッキング）用の２台の赤外光カメラ１０４は、眼球の動きを感知する。深度センサ１０５は、光源から物体にレーザを照射し、その反射光を計測することで、物体までの距離や形状等を算出する。慣性計測部１０６は、加速度計、ジャイロスコープ、および磁力計を備えてよい。慣性計測部１０６は、３次元の慣性運動（直行３軸方向の並進運動および回転運動）を検出する。加速度計により並進運動を検出し、ジャイロスコープにより回転運動を検出してよい。

【0037】

環境認識部１０７は、作業側装置３から伝送された環境データ（画像データを含む）に基づいて作成されたホログラム画像と、カメラ１０２およびトラッキング用可視光カメラ１０３によって認識された物理環境とを結合させる。データ処理部１０８は、慣性計測部１０６からの情報を受け取り、環境を認識するカメラ１０２およびトラッキング用可視光カメラ１０３からのデータと組み合わせて、透明レンズであるホログラフィックレンズディスプレイ１０１にホログラム画像を表示する。

【0038】

端末装置１００は、音声認識する音声認識部１０９、記憶部１１０、ＲＡＭ１１１、制御部１１２、および通信部１１３を備えてよい。記憶部１１０は、不揮発性メモリ等で構成されてよく、コンピュータプログラムを格納してよい。制御部１１２は、各部の制御を実行するＣＰＵであってよい。通信部１１３は、通信制御装置２００との間、および作業側装置３との間でデータを通信する。

【0039】

図６は、作業側装置３の一例を示す図である。作業側装置３は、作業者が装着可能なヘッドマウントディスプレイ方式の拡張現実（ＡＲ）装置であってよい。作業側装置３は、一例において、ディスプレイ３０１、カメラ３０２、深度センサ３０３、慣性計測部３０４、環境認識部３０５、データ処理部３０６、制御部３０７、および通信部３０８を備える。カメラ３０２は、作業対象物を含む周辺環境の画像を撮影して画像データを得る。深度センサ３０３は、作業側装置３を装着した作業者と作業対象物との間の距離を算出する。但し、深度センサ３０３は、レーザ光を用いて測距するものに限られない。慣性計測部３０４は、加速度計、ジャイロスコープ、および磁力計を備えてよい。慣性計測部３０４は、３次元の慣性運動（直行３軸方向の並進運動および回転運動）を検出する。

【0040】

環境認識部３０５は、作業者の周囲の作業環境を認識する。データ処理部３０６は、支援側装置２から受信した作業支援データに応じた情報を作業者に提供する。具体的には、データ処理部３０６は、点群データまたは姿勢データに基づいて画像を生成し、ディスプレイ３０１に表示する。制御部３０７は、各部を制御するＣＰＵであってよい。通信部３０８は、端末装置１００との間、および通信制御装置２００との間でデータを相互に通信する。但し、作業側装置３は、以上の構成に限られるものではない。作業側装置３は、支援側の端末装置１００と同様の構成を備えていてもよい。また、作業側装置３は、作業者が装着可能なヘッドマウントディスプレイ方式ではない、携帯電話等の端末であってもよい。

【0041】

深度センサ３０３、慣性計測部３０４および環境認識部３０５による測定結果とカメラ３０２による画像データとに基づいて環境データが作成されてよい。環境データは、作業側装置３から支援側装置２に送信されてよい。

【0042】

図７は、通信制御装置２００の一例を示す図である。一例において、通信制御装置２００は、支援者動作状況判定部２０１、作業環境状況判定部２０２、記憶部２０３、データ量調整部２０４、制御部２０５、ＲＡＭ２０６、および通信部２０７を備える。

【0043】

支援者動作状況判定部２０１は、支援者の動作状況を示す第１指標値を第１閾値と比較する。作業環境状況判定部２０２は、作業者の作業環境を示す第２指標値を第２閾値と比較する。記憶部２０３は、パラメータテーブル等を予め記憶してよい。パラメータテーブルは、支援者動作状況判定部２０１による比較結果と作業環境状況判定部２０２による比較結果とに基づいて得られた作業支援状況に応じて、データ量を調整するためのテーブルであってよい。

【0044】

データ量調整部２０４は、支援者動作状況判定部２０１による比較結果と作業環境状況判定部２０２による比較結果とに基づいて、支援側装置２と作業側装置３との間の通信におけるデータ量を制御する。一例において、データ量調整部２０４は、各比較結果に基づいて得られた作業支援状況に応じて、パラメータテーブル等を参照することによって、計測点数、分解能、フレームレート等のパラメータを変更する。但し、データ量の調整は、この場合に限定されず、支援側装置２と作業側装置３との間の通信におけるデータ量を作業支援状況に応じた値に制御するものであればよい。

【0045】

制御部２０５は、各部を制御する。通信部２０７は、端末装置１００との間、および作業側装置３との間でデータを通信する。

【0046】

図８、図９、および図１０は、支援者の動作状況を示す第１指標値の判定処理の一例を示す図である。本例は、第１指標値として支援者の動作の速度を用いて、支援者の動作を判定する。

【0047】

図８に示されるように、支援者動作状況判定部２０１は、測定周期ｔ１で各時刻において、支援者の特定部位の位置Ｓ１、Ｓ２を測定する。各位置Ｓ１、Ｓ２は、複数の計測点において測定されてよい。測定周期ｔ１は、一例において、１０ｍＳ以上５０ｍＳ以下であってよい。図８では、位置Ｓ１、Ｓ２について示したが、判定時間ｔ２（図１０）に期間にわたって、支援者の特定部位の位置Ｓ１、Ｓ２の測定が繰り返される。判定時間は、０．５秒以上３秒以下であってよい。

【0048】

図９に示されるように、支援者動作状況判定部２０１は、測定周期ｔ１における移動量（Ｓ２－Ｓ１）、すなわち、「動作の大きさ」を算出する。そして、支援者動作状況判定部２０１は、移動量を測定周期ｔ１で除算することによって、「速度」を算出する。速度は、図９において傾きＧ１で示される。速度は、複数の計測点において測定されてよい。支援者動作状況判定部２０１は、各計測点における速度の絶対値を合算した値を第１指標値としてよい。図１０に示されるように、支援者動作状況判定部２０１は、判定機関ｔ２にわたって、各時刻における第１指標値を第１閾値と比較する。

【0049】

第１閾値として、一つの第１閾値Ａを用いてもよく、チャタリングを防止するために上側第１閾値Ａ１と下側第１閾値Ａ２の複数の閾値を用いてもよい。第１閾値Ａ、上側第１閾値Ａ１、下側第１閾値Ａ２は、５ｍｍ以上２０ｍｍ以下であってもよい。上側第１閾値Ａ１は、第１閾値Ａの１．１倍、上側第１閾値Ａ２は、第１閾値Ａの０．９倍としてよい。上側第１閾値Ａ１と下側第１閾値Ａ２を用いる場合、支援者動作状況判定部２０１は、判定時間ｔ２において、第１指標値が上側第１閾値Ａ１以上になった回数を算出し、回数が予め定められた回数以上の場合に、支援者の動作の速度が大であると判定する。回数が予め定められた回数未満の場合には、支援者の動作の速度が小であると判定する。予め定められた回数は、例えば１回である。

【0050】

支援者の動作の速度が大であると判定された次の判定区間においては、下側第１閾値Ａ２が用いられる。支援者動作状況判定部２０１は、判定時間ｔ２において、第１指標値が下側第１閾値Ａ２以上になった回数を算出し、回数が予め定められた回数以上の場合に、支援者の動作の速度が大であると判定する。回数が予め定められた回数未満の場合には、支援者の動作の速度が小であると判定する。

【0051】

以上のような判定によれば、支援者の動作が、有意な動作であるかを判定することができる。本例によれば、測定周期ｔ１より長い判定時間ｔ２にわたって評価するので、微小時間および微小変化で動作大小を判別する場合に比べて、より実態に即して、支援者の身体動作の大小を判別することができる。

【0052】

なお、支援者動作状況判定部２０１は、第１閾値Ａ、あるいは上側第１閾値Ａ１と下側第１閾値Ａ２を作業対象物４の種類に応じて調整してもよい。動作が小さくてすむ作業対象物４の場合は、第１閾値Ａ、あるいは上側第１閾値Ａ１と下側第１閾値Ａ２を小さくしてよい。細かい操作が必要な作業対象物４である場合には、第１閾値を下げて、支援者の動作または動作速度が第１閾値より大きいと判定されやすくして、データ品質を高くしてよい。

【0053】

図８から図１０においては、傾きＧ１で示される「速度」を第１指標値として用いる場合を例にとって説明したが、この場合に限られない。支援者動作状況判定部２０１は、測定周期ｔ１における移動量（Ｓ２－Ｓ１）の絶対値（すなわち支援者の動作の大きさの絶対値）を判定時間ｔ２にわたって累積した累積値等を第１指標値として用いてもよい。

【0054】

図１１は、作業者の作業環境を示す第２指標値の判定処理の一例を示す図である。作業環境状況判定部２０２は、作業者と作業対象物との間の距離の遠近を判定する。図１１の縦軸は、作業者と作業対象物との間の距離を示し、横軸は時刻を示す。作業環境状況判定部２０２は、作業者と作業対象物との間の距離の情報を取得する。距離の情報は、作業側装置３によって測定されてよい。作業環境状況判定部２０２は、作業者と作業対象物との間の距離を第２閾値と比較する。

【0055】

第２閾値として、一つの第２閾値Ｄを用いてもよく、チャタリングを防止するために上側第２閾値Ｄ１と下側第２閾値Ｄ２の複数の第２閾値を用いてもよい。上側第２閾値Ｄ１と下側第２閾値Ｄ２を用いることによって、チャタリングによる過度の制御モデルの切り替えを避けることができる。

【0056】

上側第２閾値Ｄ１と下側第２閾値Ｄ２を用いる場合、作業環境状況判定部２０２は、作業者と作業対象物との間の距離を上側第２閾値Ｄ１と比較する。時刻ｔｄ１において第１指標値が上側第２閾値Ｄ１以上になると、作業環境状況判定部２０２は、作業者と作業対象物とが遠いと判断する。第１指標値が上側第２閾値Ｄ１未満の間は、作業者と作業対象物とが近いと判断する。

【0057】

作業者と作業対象物とが遠いと判断された場合には、作業環境状況判定部２０２は、作業者と作業対象物との間の距離を下側第２閾値Ｄ２と比較する。時刻ｔｄ２において第１指標値が下側第２閾値Ｄ２未満になると、作業環境状況判定部２０２は、作業者と作業対象物とが近いと判断する。

【0058】

第２閾値Ｄ、あるいは上側第２閾値Ｄ１および下側第２閾値Ｄ２は、一般的な作業者の腕の長さの平均値に基づいて定められてよい。一般的な作業者の腕の長さの平均が、男性７４０ｍｍ、女性６７０ｍｍであるので、マージンを考慮し、第２閾値Ｄを８００ｍｍとしてよい。上側第２閾値Ｄ１は、第２閾値Ｄの１．１倍、下側第２閾値Ｄ２は、第２閾値Ｄの０．９倍としてよい。これにより、作業環境状況判定部２０２は、作業対象設備に対して作業者の手が届くか否かに基づいて、作業者と作業対処物の距離が近いか遠いかを判定することができる。

【0059】

通信制御装置２００は、作業者に関連付けられた属性情報に基づいて、第２閾値Ｄ、あるいは上側第２閾値Ｄ１および下側第２閾値Ｄ２を制御してよい。一例において、作業者自体が作業側装置３を通じて自己の作業時の距離を入力する。あるいは、作業側装置３は、機械学習等によって、それぞれの作業者の標準的な作業時の距離を学習する。通信制御装置２００は、これらの距離の情報を取得し、取得された距離の情報に基づいて、第２閾値Ｄ、あるいは上側第２閾値Ｄ１および下側第２閾値Ｄ２を制御する。

【0060】

図１２は、作業支援状況に応じた、通信データ量の調整処理の一例を示す図である。一例において、データ量調整部２０４は、支援者動作状況判定部２０１による比較結果と作業環境状況判定部２０２による比較結果とに基づいて、作業支援状況を判別する。

【0061】

図１２では、データ量調整部２０４は、第１指標値が大であり第２指標値が小（距離が近い）である作業支援状況（１）、第１指標値が大であり第２指標値が大（距離が遠い）である作業支援状況（２）、第１指標値が小であり第２指標値が小（距離が近い）である作業支援状況（３）、および第１指標値が小であり第２指標値が大（距離が遠い）である作業支援状況（４）のいずれかに作業支援状況が該当するかを判別する。本例では、第１指標値を大、小の２通り、第２指標値を近、遠の２通りに判別し、作業支援状況を合計４通りに判別しているが、この場合に限られない。第１指標値をｎ通り、第２指標値をｍ通りに判別し、作業支援状況を合計ｎ×ｍ通りに判別してもよい。

【0062】

図１２に不等号で示されているように、作業支援状況（２）の通信におけるデータ量が作業支援状況（１）の通信におけるデータ量よりも小さくなるように、データ量調整部２０４はデータ量を調整する。同様に、作業支援状況（４）の通信におけるデータ量が作業支援状況（３）の通信におけるデータ量よりも小さくなるように、データ量調整部２０４はデータ量を調整する。すなわち、通信制御装置２００は、支援者の動作の大きさ、あるいは、支援者の動作の速度が小さいほど、データ量を小さくしてよい。

【0063】

作業支援状況（３）の通信におけるデータ量が作業支援状況（１）の通信におけるデータ量よりも小さくなるように、データ量調整部２０４はデータ量を調整する。同様に、作業支援状況（４）の通信におけるデータ量が作業支援状況（２）の通信におけるデータ量より小さくなるように、データ量調整部２０４はデータ量を調整する。すなわち、通信制御装置２００は、作業者と作業対象物との距離が小さいほど、データ量を小さくしてよい。

【0064】

図１３は、作業支援状況に応じた、通信データ量の調整結果の一例を示す図である。図３に示されるとおり、データ量調整部２０４は、作業支援状況（１）、（２）、（３）、（４）に応じて、通信におけるデータ量、換言すればビットレート（ｂｐｓ）を調整する。

【0065】

図１４は、データ量調整用のパラメータテーブルの一例である。パラメータテーブルは、複数の作業支援状況（１）、（２）、（３）、（４）とデータ量調整係数αとの関係を示す。データ量調整係数αを定義し、複数の作業支援状況に応じてデータ量調整係数αを選択する。データ量調整係数αは、用途に応じて調整されてもよい。図１３に示される例では、作業支援状況（１）におけるデータ量調整係数αが１であり、最も大きく、以下（２）、（３）、（４）の順序でデータ量調整係数が小さくなる。但し、データ量調整係数は、図１４に示される場合に限定されない。

【0066】

データ量調整部２０４は、調整されていないパラメータにデータ量調整係数αを乗じることによって、調整後のパラメータを調整する。パラメータには、計測点数Ｐｂ、分解能Ｄｂ、フレームレートＦｒｂ、および色深度等が含まれてよい。調整後計測点数Ｐａ＝標準計測点数Ｐｂ×α、調整後分解能Ｄａ＝標準分解能Ｄｂ×α、および調整後フレームレートＦｒａ＝標準フレームレートＦｒｂ×αにより、作業状況に応じたデータ量に調整されてよい。上記のようにパラメータが調整される結果、調整後のデータサイズＤＳａ＝Ｐａ×Ｄａ×Ｆｒａで計算される。調整後のビットレートＢｓ＝Ｄｓａ×８で与えられる。

【0067】

計測点数の調整は、計測点を間引くことによって実現されてよい。分解能の調整は、階調を粗くしたり、値域を狭くしたりすることで実現されてよい。なお、作業支援状況（１）、（２）、（３）、（４）に応じて、計測点数用のデータ量調整係数α_１、分解能用のデータ量調整係数α_２、およびフレームレート用のデータ量調整係数α₃が用意されてもよい。データ量調整部２０４は、これらのα_１、α_２、およびα_３を用いて、調整後計測点数Ｐａ＝標準計測点数Ｐｂ×α_１、調整後分解能Ｄａ＝標準分解能Ｄｂ×α_２、および調整後フレームレートＦｒａ＝標準フレームレートＦｒｂ×α₃を算出して、作業状況に応じたデータ量に調整してよい。

【0068】

図１５は、作業支援データのデータ量調整の一例を示す図である。図１５に示される例では、α_１、α_２、およびα_３が０．５の場合、すなわち、作業支援状況（３）が示されている。図１５に示されるとおり、データ量調整部２０４は、支援者動作状況判定部２０１による比較結果と作業環境状況判定部２０２による比較結果とに基づいて、支援側装置２と作業側装置３との間の通信におけるデータ量を標準の７分の１程度に低減することがえきる。

【0069】

なお、図１５においては、データ量調整部２０４が、計測点数、分解能、およびフレームレートを調整することでデータ量を制御する場合を説明したが、データ量の調整は、この場合に限られない。データ量調整部２０４は、支援者の動作状況と、作業者の作業環境とに基づいてデータ量を調整するものであればよい。一例において、データ量調整部２０４は、計測点数、分解能、およびフレームレートの少なくとも一つを調整するものであってよく、色深度等の他のパラメータを調整するものであってもよい。

【0070】

支援側装置２が、支援者の特定のジェスチャーを認識した場合には、データ量調整部２０４は、一時的にデータ量調整係数を高めたり、通信におけるデータ量の調整処理を一時的に中断して標準のデータ量に戻したりしてよい。

【0071】

図１６は、支援側装置２における通信制御装置２００による遠隔支援方法の一例を示すフローチャートである。通信制御装置２００は、端末装置１００から作業支援データを取得する（ステップＳ１０）。通信制御装置２００は、支援者の動作状況を示す第１指標値を取得する（ステップＳ１１）。通信制御装置２００は、作業者の作業環境を示す第２指標値を取得する（ステップＳ１２）。通信制御装置２００は、第１指標値を第１閾値と比較し、第２指標値を第２閾値と比較する（ステップＳ１３）。

【0072】

通信制御装置２００は、第１指標値および第２指標値を、それぞれの第１および第２閾値と比較した比較結果に基づいて、作業支援データのデータ量を調整する（ステップＳ１４）。具体的には、データ量調整部２０４は、支援者動作状況判定部２０１による比較結果と作業環境状況判定部２０２による比較結果とに基づいて、作業支援状況を判別する。データ量調整部２０４は、作業支援状況に応じて、データ量調整係数αを選択し、データ量調整係数αを用いて、データ量を調整する。通信制御装置２００は、調整後の作業支援データを作業側装置３に伝送する（ステップＳ１５）。

【0073】

図１７は、図１６のステップＳ１３における比較判定処理の内容を示すフローチャートである。データ量調整部２０４は、作業対象物４に基づいて閾値を制御してよい（ステップＳ２０）。

【0074】

通信制御装置２００は、判定時間ｔ２が経過するごとに、支援者の動作状況を示す第１指標値と、作業者の作業環境を示す第２指標値とを、それぞれ閾値と比較する（ステップＳ２１、Ｓ２２、Ｓ２３）。この結果、支援者の身体動作変化が予め定められた水準以上であり（ステップＳ２１：大）、かつ、作業者と作業対象物との距離が予め定められた基準未満である場合（ステップＳ２２：近）には、データ量調整部２０４は、作業状況（１）と判定する（ステップＳ２４）。

【0075】

支援者の身体動作変化が予め定められた水準以上であり（ステップＳ２１：大）、かつ、作業者と作業対象物との距離が予め定められた基準以上である場合（ステップＳ２２：遠）には、データ量調整部２０４は、作業状況（３）と判定する（ステップＳ２５）。支援者の身体動作変化が予め定められた水準未満であり（ステップＳ２１：小）、かつ、作業者と作業対象物との距離が予め定められた基準未満の場合（ステップＳ２３：近）には、データ量調整部２０４は、作業状況（２）と判定する（ステップＳ２６）。支援者の身体動作変化が予め定められた水準未満であり（ステップＳ２１：小）、かつ、作業者と作業対象物との距離が予め定められた基準以上の場合（ステップＳ２３：遠）には、データ量調整部２０４は、作業状況（４）と判定する（ステップＳ２７）。

【0076】

図１８は、遠隔支援システム１の他の例を示す図である。図１８に示される遠隔支援システム１は、図２に示される遠隔支援システム１に比べて支援側装置２の構成が異なる。本例では、ヘッドマウントディスプレイ(ＨＭＤ)方式の拡張現実ウェアラブルコンピュータ端末である端末装置１００自体が支援側装置２として機能する。換言すれば、支援側装置２と作業側装置３との間の通信は、通信制御装置２００ではなく、端末装置１００自体が実行する。端末装置１００が、調整された作業支援データを作業側装置３に送信する。また、端末装置１００が、作業者と作業対処物との距離の情報を作業側装置３から受信する。なお、図１８に示される構成において、通信制御装置２００と支援側装置２とは別々の構成であってよく、通信制御装置２００が支援側装置２に含まれていてもよい。

【0077】

図１９は、図１８の遠隔支援システム１における通信制御装置２００による処理内容の一例を示すフローチャートである。通信制御装置２００は、端末装置１００と通信可能である。通信制御装置２００は、端末装置１００を通じて、支援者の動作状況および作業者の作業環境の情報を取得する（ステップＳ３０、Ｓ３１）。通信制御装置２００は、図１７に示した処理と同様に、支援者の動作状況および作業者の作業環境の情報を閾値と比較する比較判定処理を実行する（ステップＳ３２）。通信制御装置２００は、支援者の動作状況と、作業者の作業環境とに基づいてデータ量制御情報を生成する（ステップＳ３３）。通信制御装置２００は、データ量制御情報を端末装置１００に伝送する。

【0078】

データ量制御情報は、調整後の計測点数、調整後の解像度、調整後のフレームレート、および調整後の色深度についての情報であってよい。データ量制御情報は、通信制御装置２００が、支援者の動作状況および作業者の作業環境に基づいて選択したデータ量調整係数αであってもよい。支援側装置２は、データ量制御情報に基づいて作業支援データのデータ量を調整し、調整された作業支援データを作業側装置３に伝送する。

【0079】

図２０は、遠隔支援システム１の他の例を示す図である。ヘッドマウントディスプレイ(ＨＭＤ)方式の拡張現実ウェアラブルコンピュータ端末である端末装置１００の内部に、通信制御装置２００が設けられてもよい。図２０においても、処理内容は、図２または図１８に示された処理内容と同様である。したがって、繰り返しの説明を省略する。図２０の構成によれば、端末装置１００と通信制御装置２００との間の外部通信が不要となる。

【0080】

図１から図２０において説明した本実施形態の遠隔支援システム１によれば、支援者の動作の大きさが閾値より小さい場合には、支援者が、動作による作業支援を実行していない可能性が高いので、自動的に、データ品質を抑制して、通信におけるデータ量を少なくすることができる。同様に、作業者と作業対象物との距離が閾値より遠い場合も、作業者が支援者から作業支援を受けていない可能性が高いので、自動的に、データ品質を抑制して、通信におけるデータ量を少なくすることができる。したがって、本実施形態の遠隔支援システム１によれば、離れた拠点から現場に遠隔で支援する場合において、作業支援状況に応じて通信データ量を削減することができる。したがって、作業支援状況によらず一定の通信リソースが占有されてしまうことを防ぐことができる。

【0081】

特に、本実施形態の遠隔支援システム１によれば、支援側装置２から作業側装置３へ通信される作業支援データのデータ量を削減することができるので、データ量の削減効果を高めることができる。

【0082】

特に、通信制御装置２００が、支援者の動作状況を示す第１指標値と、作業者の作業環境を示す第２指標値とを、それぞれ閾値と比較した比較結果に基づいて、データ量を制御するので、支援者の動作状況と作業者側の作業環境とを総合的に評価して、通信におけるデータ量を調整することができる。したがって、第１指標値および第２指標値の一方のみに基づいて判断する場合に比べて、より適切にデータ量を調整することができる。

【0083】

図１から図２０においては、通信制御装置２００が、支援側装置２から作業側装置３への通信におけるデータ量を制御する場合を説明した。但し、本発明は、この場合に限られず、通信制御装置が、作業側装置３から支援側装置２への通信におけるデータ量を制御してもよい。

【0084】

図２１は、遠隔支援システム１が、作業側装置から伝送される通信データ量を調整する場合の一例を示す図である。本例において、支援側装置２は、支援者の動作に応じて作業支援データを送信する。

【0085】

本例においては、作業側装置３は、端末装置３００と通信制御装置４００とを備える。端末装置３００は、一例において、図６に示された作業者が装着可能なヘッドマウントディスプレイ方式の拡張現実（ＡＲ）装置であってよい。端末装置３００は、図６に示されるように、ディスプレイ３０１、カメラ３０２、深度センサ３０３、慣性計測部３０４、環境認識部３０５、データ処理部３０６、制御部３０７、通信部３０８を備えてよい。通信制御装置４００が、作業側装置３から支援側装置２への通信におけるデータ量を制御する。通信制御装置４００は、図７に示される通信制御装置２００と同様の構成を有してよい。

【0086】

図２１に示される例では、支援側装置２は、支援者の動作状況についての情報を作業側装置３に送信する。通信制御装置４００が支援者の動作状況についての情報を取得する。通信制御装置４００は、作業者の作業環境についての情報を取得する。具体的には、作業者の作業環境についての情報は、作業者と作業対象物との距離についての情報であってよい。本例では、通信制御装置４００は、作業者の作業環境についての情報を端末装置３００から取得する。

【0087】

端末装置３００は、カメラ３０２、深度センサ３０３、慣性計測部３０４、および環境認識部３０５等によって、３次元画像データを含む環境データを生成する。生成された環境データは、作業側装置３から支援側装置に伝送される。

【0088】

本例では、通信制御装置４００は、端末装置１００から調整前の環境データを取得する。そして、通信制御装置４００は、支援者の動作状況と、作業者の作業環境とに基づいて、環境データについてデータ量を制御する。図２１に示される遠隔支援システム１においても、通信制御装置４００が、作業側装置３と支援側装置２との間の通信におけるデータ量を、支援者の動作状況と、作業者の作業環境とに基づいて制御することができる。

【0089】

図２２は、図２１の遠隔支援システム１における通信制御装置４００による処理内容の一例を示すフローチャートである。通信制御装置４００は、端末装置３００から環境データを取得する（ステップＳ４０）。通信制御装置４００は、支援者の動作状況を示す第１指標値を取得する（ステップＳ４１）。通信制御装置４００は、作業者の作業環境を示す第２指標値を取得する（ステップＳ４２）。通信制御装置４００は、第１指標値を第１閾値と比較し、第２指標値を第２閾値と比較する（ステップＳ４３）。ステップＳ４３の処理は、図１７に示された処理と同様である。

【0090】

通信制御装置４００は、第１指標値および第２指標値を、それぞれの第１および第２閾値と比較した比較結果に基づいて、環境データのデータ量を調整する（ステップＳ４４）。具体的には、通信制御装置４００は、比較結果に基づいて作業支援状況を判別する。通信制御装置４００は、作業支援状況に応じて、データ量調整係数αを選択し、データ量調整係数αを用いて、データ量を調整する。通信制御装置４００は、調整後の環境データを作業側装置３に伝送する（ステップＳ４５）。

【0091】

図２３は、遠隔支援システム１の他の例を示す図である。ヘッドマウントディスプレイ(ＨＭＤ)方式の拡張現実ウェアラブルコンピュータ端末である端末装置１００の内部に、通信制御装置２００が設けられて支援側装置２が構成されている。またヘッドマウントディスプレイ(ＨＭＤ)方式の拡張現実ウェアラブルコンピュータ端末である端末装置３００の内部に通信制御装置４００が設けられて支援側装置２が構成されている。通信制御装置２００および通信制御装置４００のついての処理内容は、図１から図２２において説明した処理内容と同様であってよい。

【0092】

図２４は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係る方法または当該方法の段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

【0093】

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

【0094】

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

【0095】

通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

【0096】

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

【0097】

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

【0098】

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0099】

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0100】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0101】

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

【0102】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0103】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

【符号の説明】

【0104】

１・・・遠隔支援システム、２・・・支援側装置、３・・・作業側装置、４・・・作業対象物、５・・・マーカー、１００・・・端末装置、１０１・・・ホログラフィックレンズディスプレイ、１０２・・・カメラ、１０３・・・トラッキング用可視光カメラ、１０４・・・赤外光カメラ、１０５・・・深度センサ、１０６・・・慣性計測部、１０７・・・環境認識部、１０８・・・データ処理部、１０９・・・音声認識部、１１０・・・記憶部、１１１・・・ＲＡＭ、１１２・・・制御部、１１３・・・通信部、２００・・・通信制御装置、２０１・・・支援者動作状況判定部、２０２・・・作業環境状況判定部、２０３・・・記憶部、２０４・・・データ量調整部、２０５・・・制御部、２０６・・・ＲＡＭ、２０７・・・通信部、３００・・・端末装置、３０１・・・ディスプレイ、３０２・・・カメラ、３０３・・・深度センサ、３０４・・・慣性計測部、３０５・・・環境認識部、３０６・・・データ処理部、３０７・・・制御部、３０８・・・通信部、４００・・・通信制御装置、２２００・・・コンピュータ、２２０１・・・ＤＶＤ－ＲＯＭ、２２１０・・・ホストコントローラ、２２１２・・・ＣＰＵ、２２１４・・・ＲＡＭ、２２１６・・・グラフィックコントローラ、２２１８・・・ディスプレイデバイス、２２２０・・・入／出力コントローラ、２２２２・・・通信インタフェース、２２２４・・・ハードディスクドライブ、２２２６・・・ＤＶＤ－ＲＯＭドライブ、２２３０・・・ＲＯＭ、２２４０・・・入／出力チップ、２２４２・・・キーボード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】