特許 7176775 映像制御装置、映像制御システム、映像制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】映像制御装置、映像制御システム、映像制御方法及びプログラム

(51)【国際特許分類】

   H04N 7/14 20060101AFI20221115BHJP

   H04N 21/44 20110101ALI20221115BHJP

   H04L 67/00 20220101ALI20221115BHJP

【ＦＩ】

H04N7/14 110

H04N21/44

H04L67/00

【請求項の数】 9

(21)【出願番号】P 2020050163

(22)【出願日】2020-03-19

(65)【公開番号】P2021150866

(43)【公開日】2021-09-27

【審査請求日】2021-07-02

(73)【特許権者】

【識別番号】000232140

【氏名又は名称】ＮＥＣフィールディング株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(72)【発明者】

【氏名】藤原 伸二

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１８－０３６８１２（ＪＰ，Ａ）

【文献】特開２０１８－２０７２７１（ＪＰ，Ａ）

【文献】特開２０１０－０１１０１７（ＪＰ，Ａ）

【文献】特開２０００－２７８５８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－ ７／１７３

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｌ ６７／００

(57)【特許請求の範囲】

【請求項1】

作業領域において、遠隔支援作業者との映像共有が許可される撮像可能領域が設定されており、前記撮像可能領域ではない前記作業領域をマスキングしたマスキング映像を遠隔支援作業者向けの遠隔地端末に送信する、映像制御装置であって、前記映像制御装置は、
前記作業領域を撮像した映像データを取得する映像取得部と、
前記映像データから、前記作業領域のうち前記撮像可能領域ではないと判断される、共有不可映像領域をマスキングしたマスキング映像を生成する、映像処理部と、
前記マスキング映像を、前記遠隔地端末に送信するマスキング映像送信部と、を有し、さらに、
前記映像処理部は、
前記映像データ内に含まれるマーカを検出するマーカ検出部と、
前記マーカ検出部で検出された前記マーカから、前記撮像可能領域を示すマーカ情報を抽出し、前記映像データのうち前記撮像可能領域の外にあると判断される映像領域を、前記共有不可映像領域として決定する、撮像可能領域決定部と、
前記共有不可映像領域をマスキングして、前記マスキング映像を生成する、映像マスキング部と、を有し、
前記マーカ情報を入力する撮像可能領域設定部と、前記撮像可能領域設定部への入力に基づいて、マーカ画像を出力するマーカ画像出力部を備える、マーカ表示制御装置によって、前記マーカ画像が出力される、
映像制御装置。

【請求項2】

前記マーカ情報には、前記マーカにおいて定義される三次元配向方向に基づいて、前記マーカの中心位置からの、前記撮像可能領域の幅方向の長さを示すマーカ幅長と、前記撮像可能領域の奥行方向の長さを示すマーカ奥行長と、前記撮像可能領域の高さ方向の長さを示すマーカ高と、を含み、
前記撮像可能領域決定部は、前記マーカの中心位置を原点とし、前記マーカにおいて定義される三次元配向方向に基づいて、前記マーカ幅長、前記マーカ奥行長、前記マーカ高とから形成される直方体空間領域を、前記撮像可能領域とする、
ことを特徴とする、請求項１に記載の映像制御装置。

【請求項3】

前記マーカ情報には、前記撮像可能領域の下面中心位置であることを示す中心マーカ位置と、前記中心マーカ位置からの前記マーカの上方向に直交する方向における長さを示すマーカ半径と、前記中心マーカ位置からのマーカ上方向ベクトル方向の長さを示すマーカ高と、を含み、
前記撮像可能領域決定部は、前記中心マーカ位置を原点とし、前記マーカの上方向に直交する方向における前記マーカ半径を有する円形と、前記マーカ高から形成される円筒空間領域を、撮像可能領域とする、
ことを特徴とする、請求項１に記載の映像制御装置。

【請求項4】

前記映像制御装置の映像制御部はさらに、
現地作業者が前記撮像可能領域の高さを変更する、高さ変更部を含み、ここで、
前記高さ変更部への入力により、前記撮像可能領域の前記マーカ高を変更する、
ことを特徴とする、請求項２又は３に記載の映像制御装置。

【請求項5】

前記作業領域内に表示される前記マーカは２以上であり、
前記２以上の前記マーカのそれぞれの前記マーカ情報は、同一の前記撮像可能領域を示すものであって、
前記マーカ検出部は、前記２以上のマーカのうち１つ以上のマーカを検出し、
前記撮像可能領域決定部は、検出された前記１つ以上のマーカから、撮像可能領域を決定する、
ことを特徴とする、請求項１乃至４のいずれか一に記載の映像制御装置。

【請求項6】

前記作業領域内に表示される前記マーカは２以上であり、
前記マーカの前記マーカ情報は、異なる前記撮像可能領域を示すものであって、
前記マーカ検出部は、前記２以上のマーカのうち少なくとも２つのマーカを検出し、
前記撮像可能領域決定部は、検出された前記少なくとも２つのマーカから、それぞれのマーカ情報から決定される前記撮像可能領域を併せた領域を、前記撮像可能領域として決定する、
ことを特徴とする、請求項１乃至４のいずれか一に記載の映像制御装置。

【請求項7】

前記マーカ情報には、さらには、作業開始時刻と作業終了時刻を含み、
前記撮像可能領域決定部は、現在時刻が前記作業開始時刻以降であり、かつ、前記作業終了時刻以前である場合にのみ、前記撮像可能領域を決定する、
ことを特徴とする、請求項１乃至６のいずれか一に記載の映像制御装置。

【請求項8】

前記映像取得部で用いる撮像する装置は、前記作業領域内で作業する作業者が装着するスマートグラスであり、
前記スマートグラスには、ビデオ撮影部及びビデオ表示部を有し、
ここで、前記ビデオ表示部には、前記マスキング映像送信部が出力する前記マスキング映像を表示する、
ことを特徴とする、請求項１乃至７のいずれか一に記載の映像制御装置。

【請求項9】

作業領域において、遠隔支援作業者との映像共有が許可される撮像可能領域が設定されており、前記撮像可能領域ではない前記作業領域をマスキングしたマスキング映像を遠隔支援作業者向けの遠隔地端末に送信する、映像制御装置を有する、映像制御システムであって、
前記作業領域を撮像した映像データを取得する映像取得部と、
前記映像データから、前記作業領域のうち前記撮像可能領域ではないと判断される、共有不可映像領域をマスキングしたマスキング映像を生成する、映像処理部と、
前記マスキング映像を、前記遠隔地端末に送信するマスキング映像送信部と、を有し、さらに、
前記映像処理部は、
前記映像データ内に含まれるマーカを検出するマーカ検出部と、
前記マーカ検出部で検出された前記マーカから、前記撮像可能領域を示すマーカ情報を抽出し、前記映像データのうち前記撮像可能領域の外にあると判断される映像領域を、前記共有不可映像領域として決定する、撮像可能領域決定部と、
前記共有不可映像領域をマスキングして、前記マスキング映像を生成する、映像マスキング部と、を有し、
前記マーカ情報を入力する撮像可能領域設定部と、前記撮像可能領域設定部への入力に基づいて、マーカ画像を出力するマーカ画像出力部を備える、マーカ表示制御装置によって、前記マーカ画像が出力される、
ことを特徴とする、映像制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔作業を支援する映像制御装置、映像制御システム、映像制御方法及びプログラムに関する。

【背景技術】

【0002】

近年、システム保守作業を行うにあたり、セキュリティ管理の観点から保守作業員は、ハードウェアが物理的に設置されたデータセンタへの入室は厳しく制限されている。これは、ハードウェアの構成情報が外部に漏れた際にサイバー攻撃の対象になってしまうことや、実取引データを参照されて業務上の機密情報が洩れる可能性があること、などが理由となっている。しかし、ハードウェア故障などが起こった際には、どうしても保守作業員はハードウェアを直接操作しなければならなくなる。このときは、厳しいチェックを受けて、データセンタに入室することなる。このとき、多くの場合、ビデオ撮影機能を有するスマートフォンの使用は禁止されている。これは、録画あるいはリアルタイム映像を共有させるアプリケーションによって、セキュリティ情報が洩れる可能性が高いためである。しかし、データセンタに入室する現地作業者は、必ずしも故障原因全般に通じている場合には限られない。このとき、特定の技術分野に詳しい遠隔支援作業者による、現地作業者への支援が必要となる。

【0003】

遠隔支援作業者は、他の作業との兼ね合い等からデータセンタから遠隔地に居る場合が多い。セキュリティ制限を受けている場合、現地作業者は、作業する領域（以下、作業領域と称す）からセキュリティ制限を受けていない一般外部領域に出た上で、電話などを用いて遠隔支援作業者の支援を受けることとなる。これらの事情から、保守作業の作業効率が低下する、という問題が発生している。

【0004】

上記問題はハードウェアが設置されたデータセンタにおけるものには限られない。顧客ワークスペース（オフィス）内の端末、プリンタ、ネットワーク機器などの不具合に対応する場合には、オフィス内に機密情報が表示されていることなどから、やはり現地作業員は遠隔作業支援者とその場で、故障状況動画を共有することができず、作業効率が低下する。

【0005】

一方、セキュリティ管理の問題のない場所においては、近年において、スマートグラス等のウェアラブルデバイスを用いた遠隔作業支援が実用化されている。スマートグラスにはビデオ映像取得機能と、ビデオ映像表示機能が付与されている。現地作業者は、眼鏡を装着するのと同じ態様によってスマートグラスを装着する。現地作業者の作業中の視野映像は、スマートグラスのビデオ映像取得機能によって、遠隔地作業支援者に送信され、遠隔地作業支援者向けの遠隔地端末に同様の映像として表示される。これにより、現地作業者と遠隔支援作業者は、同一の映像をみながら、作業を行うことができるようになる。これにより、保守作業効率の向上を実現している。

【0006】

スマートデバイスをセキュリティ管理の制限のある場所において使用する技術について、特許文献１に開示されている。特許文献１においては、作業対象となる機器にＩＤ媒体（識別情報）が貼り付けられている。ＩＤ媒体はバーコード等であり、ＩＤ媒体は機器との関連付け情報や、機器に対するユーザの参照権限等が設定される。映像共有機器は、ＩＤ媒体をＩＤ媒体であると認識した場合、そのＩＤ媒体が含まれる映像以外をマスキングして、遠隔支援作業者と映像を共有する。この際、複数の機器を作業対象とする場合には、それぞれの機器にＩＤ媒体を貼り付けることで対応している。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１８－０３６８１２号公報

【非特許文献】

【0008】

【文献】OpenCV(cv:QRCodeDetector Class Reference) （２０２０年３月２０日、インターネット検索結果）https://docs.opencv.org/3.4/de/dc3/classcv_1_1QRCodeDetector.html

【発明の概要】

【発明が解決しようとする課題】

【0009】

なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

【0010】

特許文献１によれば、現地作業者は事前に対象とする機器すべてにＩＤ媒体を貼り付ける必要がある。また、マスキングする映像範囲は、ＩＤ媒体を含む所定の範囲である輪郭として、事前に定義されていなければならない。マスキング解除される映像は、ＩＤ媒体が貼り付けられた機器について事前登録された輪郭内に制限されているか、あるいは、ＩＤ媒体の位置を中心とした、例えば矩形平面領域に制限されている。

【0011】

多くの場合、遠隔支援作業者と共有する映像は、対象とする機器など、状況によって変化する。ハードウェア機器を取り外して背面コネクタの状況を見る必要があるかもしれない。また例えば、ハードウェア機器の警告画面を参照して、ネットワークエラーが出力されている場合、関連するルータ故障や、配線の断線が発生したかもしれず、または無線ルータのアンテナ状態が変化したかもしれない。あるいは、ハードディスク装置のエラー表示を確認する必要もあるかもしれない。これらのさまざまな対応が必要な方向や機器に、あらかじめすべて、ＩＤ媒体を貼り付けることや、機器輪郭を登録しておくことは、現実的ではない。

【0012】

本発明においては、遠隔支援作業者が、セキュリティを確保しつつ現地作業者に対し遠隔作業支援を効率的に行うことに貢献する、映像制御装置、映像制御システム、映像制御方法およびプログラムを提供することを主要な目的とする。

【課題を解決するための手段】

【0013】

本発明の第１の視点によれば、作業領域において、遠隔支援作業者との映像共有が許可される撮像可能領域が設定されており、前記撮像可能領域ではない前記作業領域をマスキングしたマスキング映像を遠隔支援作業者向けの遠隔地端末に送信する、映像制御装置が提供される。前記映像制御装置は、前記作業領域を撮像した映像データを取得する映像取得部と、前記映像データから、前記作業領域のうち前記撮像可能領域ではないと判断される、共有不可映像領域をマスキングしたマスキング映像を生成する、映像処理部と、前記マスキング映像を、前記遠隔地端末に送信するマスキング映像送信部と、を有し、さらに、前記映像処理部は、前記映像データ内に含まれるマーカを検出するマーカ検出部と、前記マーカ検出部で検出された前記マーカから、前記撮像可能領域を示すマーカ情報を抽出し、前記映像データのうち前記撮像可能領域の外にあると判断される映像領域を、前記共有不可映像領域として決定する、撮像可能領域決定部と、前記共有不可映像領域をマスキングして、前記マスキング映像を生成する、映像マスキング部と、を有する。

【0014】

本発明の第２の視点によれば、作業領域において、遠隔支援作業者との映像共有が許可される撮像可能領域が設定されており、前記撮像可能領域ではない前記作業領域をマスキングしたマスキング映像を遠隔支援作業者向けの遠隔地端末に送信する、映像制御装置を有する、映像制御システムが提供される。前記映像制御システムが有する映像制御装置は、前記作業領域を撮像した映像データを取得する映像取得部と、前記映像データから、前記作業領域のうち前記撮像可能領域ではないと判断される、共有不可映像領域をマスキングしたマスキング映像を生成する、映像処理部と、前記マスキング映像を、前記遠隔地端末に送信するマスキング映像送信部と、を有し、さらに、前記映像処理部は、前記映像データ内に含まれるマーカを検出するマーカ検出部と、前記マーカ検出部で検出された前記マーカから、前記撮像可能領域を示すマーカ情報を抽出し、前記映像データのうち前記撮像可能領域の外にあると判断される映像領域を、前記共有不可映像領域として決定する、撮像可能領域決定部と、前記共有不可映像領域をマスキングして、前記マスキング映像を生成する、映像マスキング部と、を有する。

【0015】

本発明の第３の視点によれば、作業領域において、遠隔支援作業者との映像共有が許可される撮像可能領域が設定されており、前記撮像可能領域ではない前記作業領域をマスキングしたマスキング映像を遠隔支援作業者向けの遠隔地端末に送信する、映像制御装置を用いた、映像制御方法が提供される。前記映像制御方法は、前記作業領域を撮像した映像データを取得する映像取得手段と、前記映像データから、前記作業領域のうち前記撮像可能領域ではないと判断される、前記作業領域をマスキングしたマスキング映像を生成する、映像処理手段と、前記マスキング映像を、前記遠隔地端末に送信するマスキング映像送信手段と、を有し、さらに、前記映像処理手段は、前記映像データ内に含まれる前記マーカを検出するマーカ検出手段と、前記マーカ検出手段で検出された前記マーカから、前記撮像可能領域を示すマーカ情報を抽出し、前記映像データのうち前記撮像可能領域の外にあると判断される映像領域を、前記共有不可映像領域として決定する、撮像可能領域決定手段と、前記共有不可映像領域をマスキングして、前記マスキング映像を生成する、映像マスキング手段と、を有する。

【0016】

本発明の第４の視点によれば、作業領域において、遠隔支援作業者との映像共有が許可される撮像可能領域が設定されており、前記撮像可能領域ではない前記作業領域をマスキングしたマスキング映像を遠隔支援作業者向けの遠隔地端末に送信する、映像制御装置であるコンピュータに実行させるプログラムが提供される。前記プログラムは、前記映像制御装置に、前記作業領域を撮像した映像データを取得する映像取得処理と、前記映像データから、前記作業領域のうち前記撮像可能領域ではないと判断される、共有不可映像領域をマスキングしたマスキング映像を生成する、映像生成処理と、前記マスキング映像を、前記遠隔地端末に送信するマスキング映像送信処理と、を有し、さらに、前記映像生成処理は、前記映像データ内に含まれる前記マーカを検出するマーカ検出処理と、前記マーカ検出処理で検出された前記マーカから、前記撮像可能領域を示すマーカ情報を抽出し、前記映像データのうち前記撮像可能領域の外にあると判断される映像領域を、前記共有不可映像領域として決定する、撮像可能領域決定処理と、前記共有不可映像領域をマスキングして、前記マスキング映像を生成する、映像マスキング処理と、を実行させる。

【発明の効果】

【0017】

本発明の各視点によれば、撮像禁止領域に囲まれるか隣接する特定の三次元空間内である撮像可能領域の映像を共有することによって、スマートデバイスを用いた遠隔作業支援を効率的に行うことに貢献する。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態における、映像制御装置を含む全体構成を示す図である。

【図2】本発明の一実施形態における、撮像可能領域を特定するマーカの表示事例と、マーカの表示を制御するマーカ表示制御装置を示す図である。

【図3】本発明の一実施形態における、映像制御装置のハードウェア構成を示す図である。

【図4】本発明の第１の実施形態例において、撮像可能領域を特定するマーカの事例について、三次元俯瞰図を用いて示す図である。

【図5】本発明の第１の実施形態例において、作業対象機器の一部が撮像可能領域外にある場合の表示事例を示す図である。

【図6】本発明の第１の実施形態の変形例において、１つのマーカによって円柱空間を撮像可能領域として決定する事例を示す図である。

【図7】本発明の第１の実施形態例において、映像制御装置（現地作業者）の作用、および遠隔支援作業者の作業を示すフローチャートを示す図である。

【図8】本発明の第２の実施形態例における、映像制御装置を含む全体構成を示す図である。

【図9】本発明の第２の実施形態例において、ユーザ管理者、現地作業者、遠隔支援作業者、およびマーカ状態の時系列における関係を示す図である。

【図10】本発明の第３の実施形態例における、撮像可能領域を決定するスマートグラス装置と、マーカの配置の事例を示す図である。

【発明を実施するための形態】

【0019】

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各ブロック図のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。

【0020】

現地作業者と遠隔支援作業者とは、対象とする機器を含む空間を共有し、この共有空間の映像を共有できれば好都合である。この共有空間内には、対象とする機器が配され、その他、接続した保守端末の画面、関係する器具・配線を共有空間内に移動させてもよい。すなわち、セキュリティ制限を受けない、非マスキング領域は三次元空間とすることが好都合である。この特定の非マスキング領域としての三次元空間である撮像可能領域の映像を、現地作業者と遠隔支援作業者とが共有することによって、遠隔作業支援を効率的に行うことができる。

【0021】

図１に映像制御装置１００を含む全体構成を示す。映像制御装置１００は、作業領域２００を撮像し、動画である映像データ４００を取得する、映像取得部１１０と、取得した映像データ４００をマスキングする映像処理部１２０と、マスキングされたマスキング映像データ４０１を遠隔地端末３００に送信するマスキング映像送信部１３０、を含んで構成される。さらに映像処理部１２０は、取得した映像データ４００からマーカ２２０を検出し、マーカ２２０から取得される撮像可能領域２１０に関する情報（以下マーカ情報５００と称する）を取得するマーカ検出部１２１と、撮像可能領域２１０を決定する撮像可能領域決定部１２２と、作業領域２００全体の映像データ４００のうち、撮像可能領域２１０以外の領域をマスキングする、映像マスキング部１２３、を含んで構成される。遠隔地端末３００は、映像制御装置１００のマスキング映像送信部１３０が送信するマスキング映像データ４０１を受信する、マスキング映像受信部３１０を含んで構成される。

【0022】

作業領域２００は、例えばデータセンタ内のフロア内の一区画である。作業領域２００には、保守作業に関連する機器と、関係しない機器が混在しているものとする。このうち、保守作業にのみ関係する、部分区画（撮像可能領域２１０）が設定できるものとする。撮像可能領域２１０内においては、セキュリティ管理上許可される、現地作業者１と遠隔支援作業者２とが映像を共有可能な領域である。撮像可能領域２１０は、例えばデータセンタの特定のラック周辺の三次元領域であって、ラックの一定幅、一定高さ、一定前面方向距離によって定義される三次元領域である。あるいは、オフィス作業においては、作業対象機器２３０を集めて机上に並べた状態における、机平面の幅と奥行き、机からの高さによって定義される、三次元領域である。撮像可能領域２１０に関する情報は、以下に述べるように、マーカ２２０のマーカ情報５００によって設定される。

【0023】

マーカ２２０から得られるマーカ情報５００とは、例えば以下のとおりである。ここで、マーカ２２０の例はＱＲコード（登録商標）規格に従うものとしているが、本発明はＱＲコード（登録商標）を利用することに限定されない。
「位置：左下、撮像可能横幅：１５０、撮像可能奥行幅：１５０、撮像可能高さ：１００、撮像端末：００１０、撮像可能開始日時：２０２００３２０１２００、撮像可能終了日時：２０２００３２０２０００、管理者：ＵＳＥＲ００１、作業者：ＡＡ社」
図１内のマーカ２２０は、実際に上記マーカ情報５００を指定して生成されたものであり、マーカ２２０を例えばＱＲコード（登録商標）読取アプリケーションから読み込めば、上記マーカ情報５００を得ることができる。あるいは、マーカ情報５００を与えて、マーカ２２０の表示を得ることができる。

【0024】

マーカ検出部１２１は、映像取得部１１０が取得した映像データ４００内に映りこんでいる、マーカ２２０を検出する。これは、必ずしも映像データ４００がマーカ２２０を正面から撮像しているものでなくてもよい。非特許文献１には、マーカ２２０が歪んだ画像、一部欠損のある画像であったとしても、マーカ情報５００が抽出可能であることが示されている。またＱＲコード（登録商標）の規格に従えば、検出されたマーカ２２０の中心座標と、マーカ三次元配向方向も抽出できる。ここで、中心座標は正方形であるマーカ２２０の中心の座標である。ＱＲコード（登録商標）の大きさ（例えばセンチメートル単位）は事前に決められているものとすると、ビデオ映像を撮影したビデオ装置１１００からの距離も求めることができる。

【0025】

図１内のマーカ２２０の画像からは、その三次元配向方向を示す方向を得ることができる。この三次元配向方向は、マーカ２２０の中心座標を原点として、マーカ２２０を構成する正方形の４角のうち３角に存在する、隅を示す隅マークから判断して、黒い四角が存在しない角を右下として、図示されるとおりに（ｘ、ｙ）方向が決定される。さらに、ｚ方向は、マーカ２２０をなす平面に対し直交する方向で、表示面を上面とするものとして、決定される。ここではＱＲコード（登録商標）を例として説明したが、同様の結果が得られれば他のマーカであってもよい。例えばカメレオンコード（商標登録）、ＡｒＵｃｏマーカであってもよい。

【0026】

前述したマーカ２２０のマーカ情報５００の例によれば、撮像可能領域２１０は次のようにして求められる。すなわち、図１に示した撮影可能横幅は１５０センチメートル、撮影可能奥行幅は１５０センチメートル、撮像可能高さ（ｚ方向高さ）は１００センチメートル、である。これらの値は、マーカ情報５００内の「撮像可能横幅」「撮像可能奥行幅」「撮像可能高さ」に対応する属性値、に基づいている。この例によれば、撮像可能領域決定部１２２は、撮像可能領域２１０を前述した直方体領域として決定される。

【0027】

ここで、「位置」属性は、参考情報として用いられることを意図している。「位置」が左下である場合には、横幅、奥行幅はそれぞれプラスの値となる。例えば「位置」が右下である場合には、横幅がマイナスの値になるものとする。奥行幅はプラスの値である。同様に「位置」が左上である場合には、横幅がプラス、奥行幅がマイナスの値となり、右上である場合には、横幅と奥行幅がマイナスとなる。

【0028】

映像マスキング部１２３は、撮像可能領域決定部１２２が決定した撮像可能領域２１０内以外の映像をマスキングする。映像内の物体と認識されるものは、単一の画像データからは撮像可能領域２１０内かどうか必ずしも決定できないかもしれないが、映像データ４００（動画）により同一の映像内の物体として認識されるものを特定し、マーカ２２０に対する相対距離ベクトルを計算することにより、撮像可能領域２１０内にあるものかどうか、を判定する。例えば、映像データ４００が１秒内に６０フレーム静止画が得られる動画であれば、６０フレームがそれぞれ異なる視野を持つものであり（後述するビデオ装置１１００の位置が変化した場合）、それぞれのフレーム内の作業対象機器２３０のマーカ２２０からの相対距離から４８フレーム（８０％）においてマーカ２２０からの距離ベクトルを考慮して、撮像可能領域２１０内座標空間内であれば、作業対象機器２３０は撮像可能領域２１０内である、と判断される。あるいは、後述する図３に示されるようにマーカ２２１とマーカ２２２が同じ撮像可能領域２１０を示す場合、三角点法を用いて、作業対象機器２３０が撮像可能領域２１０内にあるかどうかを判断することもできる。映像マスキング部１２３は、映像内の作業対象機器２３０をこのようにして撮像可能領域２１０内であるか否かを判定し、撮像可能領域２１０内である物体映像についてはマスキング処理を行わない。それ以外の領域についてはマスキング処理を行う。

【0029】

マスキング処理とは、取得した映像に対しノイズを加える、および／または、フィルタを通すことによって、映像部分の視認性を減ずる処理のことである。これにより、マスキング処理された撮像物体は、判別できなくなる。ここで好ましくは、同一の撮像物体であっても、撮像物体全体にマスキング処理を行うのではなく、撮像物体であって、撮像可能領域２１０内に存在すると判断される映像については、マスキング処理を加えないこととしてもよい。このとき、撮像可能領域２１０である立方体内の含まれる物体（部分）はマスキングされない。図５内に、マスキングされた画像の事例を示す。ここでは、マーカ２２１のマーカ情報５００によって定義される、撮像可能領域２１０内に、３つの作業対象機器（２３１、２３２、２３３）が存在している。この事例では、作業対象機器２３１および作業対象機器２３３の一部が、撮像可能領域２１０の外に存在している。外に存在している部分の映像は、図示されているように、グレイ化されることにより、マスキングされている。マスキング処理された映像（マスキング映像データ４０１）は、マスキング映像送信部１３０に渡される。改めて述べると、映像データ４００と、マスキング映像データ４０１との差は、映像データ４００のうち撮像可能領域２１０の外と推定される部分がマスキングされている、ことである。

【0030】

マスキング映像送信部１３０は、マスキング映像データ４０１を、遠隔地端末３００に送信する。遠隔地端末３００のマスキング映像受信部３１０は、ネットワークを経由してマスキング処理されたマスキング映像データ４０１を受信する。受信したマスキング映像データ４０１は、遠隔地端末３００に存在する（図示せず）任意の映像表示部（動画表示プログラム等）により、表示させることができるものとする。

【0031】

［ハードウェア構成］
次に、映像制御装置１００のハードウェア構成について、図２を参照して述べる。映像制御装置１００は、ビデオ装置１１００、補助記憶装置１２００、ＣＰＵ（Central Processing Unit）１３００、メモリ１４００、入出力装置１５００、通信装置１６００を含んで構成される。これらの構成要素は、内部バス１７００により接続されている。補助記憶装置１２００はＲＯＭ（Read Only Memory）やハードディスクによって実現されていてもよく、メモリ１４００はＲＡＭ（Random Access Memory）を実現するメモリ素子によって実現されていてよい。入出力装置１５００は、キーボードなどによる入力を受け付ける入力部と、マスキング映像データ４０１を表示する機能を有するビデオ出力部を有するものとする。

【0032】

ここで、ビデオ装置１１００は、動画を撮像するものであるが、好ましくは、ビデオ装置１１００と、入出力装置１５００の一つである、ビデオ出力部とを一体として構成されていてもよい。スマートグラス装置１１０１は、このようにして構成されたビデオ装置１１００とビデオ表示部を含む装置であり、作業者の目を覆うゴーグル様の形態として提供される。スマートグラス装置１１０１を用いることで、現地作業者１の視点から撮像された映像データ４００は、マスキング映像データ４０１としてスマートグラス装置１１０１内に表示される。マスキング映像データ４０１は、遠隔支援作業者２が見る映像と同じとすることもでき、このように構成することで現地作業者１と遠隔支援作業者２が同一の映像を基にして、共同作業をすすめることができる。スマートグラス装置１１０１は、現地作業者１が装着するものであるため、無線、および／または、有線の通信装置１６００に接続されていてもよい。あるいは、スマートグラス装置１１０１が、他の構成要素を含むシングルボードコンピュータであって、スマートグラス装置１１０１は内部バス１７００に直接接続されていてもよい。

【0033】

さらには、ビデオ装置１１００（あるいはスマートグラス装置１１０１）は、映像制御装置１００内で一つには限られず、複数であってもよい。これは、現地作業者１が一名には限られないことによる。この場合、現地作業者１、遠隔支援作業者２は、複数のうち任意のマスキング処理済映像を選択することができるものとする。

【0034】

［第１の実施形態例］
図３を参照して、第１の実施形態例について述べる。本実施形態例には、マーカ表示制御装置６００を含む。マーカ表示制御装置６００は、セキュリティ管理を行うユーザ管理者３向けのものであり、後述するユーザ管理端末６０１と同じ態様であってもよい。マーカ表示制御装置６００には、撮像可能領域設定部６１０と、マーカ画像出力部６２０を含む。本実施形態例は、複数のマーカ（２２１、２２２、２２３、２２４）により、同一の撮像可能領域２１０が形成され、映像制御装置１００が多くの視野角から作業対象機器２３０を保守操作することを一つの特徴とする。

【0035】

マーカ表示制御装置６００は、データセンタやオフィスを管理する、ユーザ管理者３が操作する装置である。ユーザ管理者３は、システムを利用する、システムオーナの責任者であってもよい。ここで、ユーザ管理者３は、現地作業者１と遠隔支援作業者２に作業実施を許可する、撮像可能領域２１０に関する情報を、撮像可能領域設定部６１０に入力する。本実施形態例においては、該入力により、マーカ画像出力部６２０は４つのマーカ（２２１、２２２、２２３、２２４）を出力する。尚、マーカ画像出力部６２０が出力するマーカ画像は４つに限られず、同じ撮像可能領域２１０に対応していれば、任意の数であってよい。

【0036】

ユーザ管理者３は、例えば、ある撮像可能領域２１０をあらわす空間領域（幅１５０センチ、奥行き１５０センチ、高さ１００センチ）を特定の場所に設定するものとする。映像を許可するスマートグラス装置１１０１の識別子は００１０であり、共同作業許可期間として２０２０年３月２０日の１２時より、同日２０時までとし、さらにユーザ管理者３の識別ＩＤ（ＵＳＥＲ００１）、作業者組織（ＡＡ社）も設定するものとする。

【0037】

上記撮像可能領域設定部６１０への入力に従い、マーカ画像出力部６２０は、図３に示す４つのマーカ画像（２２１、２２２、２２３，２２４）を出力する。これらは、以下のとおり別々の場所に表示されることが規定された、以下に示すマーカ情報（５０１、５０２、５０４、５０５）から生成されたものである。ここで、「位置」に対応する属性値（「：左下」「：右下」「：左上」「：右上」）に対応して、撮像可能幅と撮像可能奥行幅がマイナスで示されることがある。
マーカ２２１のマーカ情報５０１：
「位置：左下、撮像可能横幅：１５０、撮像可能奥行幅：１５０、撮像可能高さ：１００、撮像端末：００１０、撮像可能開始日時：２０２００３２０１２００、撮像可能終了日時：２０２００３２０２０００、管理者：ＵＳＥＲ００１、作業者：ＡＡ社」
マーカ２２２のマーカ情報５０２：
「位置：右下、撮像可能横幅：－１５０、撮像可能奥行幅：１５０、撮像可能高さ：１００、撮像端末：００１０、撮像可能開始日時：２０２００３２０１２００、撮像可能終了日時：２０２００３２０２０００、管理者：ＵＳＥＲ００１、作業者：ＡＡ社」
マーカ２２３のマーカ情報５０３：
「位置：左上、撮像可能横幅：１５０、撮像可能奥行幅：－１５０、撮像可能高さ：１００、撮像端末：００１０、撮像可能開始日時：２０２００３２０１２００、撮像可能終了日時：２０２００３２０２０００、管理者：ＵＳＥＲ００１、作業者：ＡＡ社」
マーカ２２４のマーカ情報５０４：
「位置：右上、撮像可能横幅：－１５０、撮像可能奥行幅：－１５０、撮像可能高さ：１００、撮像端末：００１０、撮像可能開始日時：２０２００３２０１２００、撮像可能終了日時：２０２００３２０２０００、管理者：ＵＳＥＲ００１、作業者：ＡＡ社」
これらの値は、各マーカ（２２１～２２４）の表す撮像可能領域２１０を、同一の、幅１５０センチ、奥行き１５０センチの正方形と高さ１００センチの直方体としている。

【0038】

マーカ（２２１～２２４）は、ユーザ管理者３が印刷し、例えばデータセンタ内の区域に撮像可能領域２１０の指定サイズに合わせて貼り付けてもよい。あるいは、データセンタの床面、あるいはラック面の所定場所に表示する、ディスプレイ装置によって表示されてもよい。好ましくは、ディスプレイ装置によって表示される場合、あらかじめ各場所にはディスプレイ装置（例えば簡易液晶ディスプレイ）が埋め込まれており、撮像可能領域２１０の情報に応じてディスプレイ表示内容を変更することができるものとしてもよい。このための簡易液晶ディスプレイは各位置にマーカを表示するだけの機能を有していればよい。

【0039】

図４に、上述したとおりに貼り付けられた、および／または、表示されたマーカ（２２１～２２４）と、設定された撮像可能領域２１０、スマートグラス装置１１０１、および作業対象機器２３０の三次元俯瞰図を示す。図示された状態において、スマートグラス装置１１０１は、４つのマーカ（２２１～２２４）のすべてを視野角内に有している。このため、作業対象機器２３０は、どのマーカによっても撮像可能領域２１０内にあるものと判定され、作業対象機器２３０の映像データ４００は、マスキング処理されずに、マスキング映像データ４０１として遠隔支援作業者２と共有することができる。

【0040】

図４におけるスマートグラス装置１１０１の位置は全体を俯瞰できる位置にある。しかしながら、実際の作業においては、作業対象機器２３０に近接し、視野角が変化することにより、４つのマーカ（２２１～２２４）のうち、例えば１つ（例えば２２１）だけが視野内に存在することとなる。この場合においても、撮像可能領域２１０は同一であるため、作業対象機器２３０の映像データ４００を、遠隔支援作業者２と共有することができる。あるいは、現地作業者１が位置を変え、別のマーカ（例えば２２２）だけが視野内に存在する場合であっても、作業対象機器２３０の映像データ４００を、遠隔支援作業者２と共有することができる。他のマーカについても同様であり、視野内に２から４つのマーカが存在する場合についても同様である。視野内により多くマーカが存在する場合には、映像データ４００内に作業対象機器２３０が存在しているかどうか、より正確に判定することができる（三角点測定法を重ね合わせて実施することができる）。

【0041】

すなわち、本実施形態例によれば、マーカ（２２１～２２４）のうち、１つ以上のマーカがスマートグラス装置１１０１の視野内にあれば、作業対象機器２３０の映像を遠隔支援作業者２と共有することが可能となる。特許文献１によるマスキング処理によれば、実質的に作業対象機器２３０の正面からの映像のみをマスキング対象外とするのに対し、本実施形態例によれば、作業対象機器２３０の三次元空間周りの、全領域からの視野に応じてマスキング対象を判別することができる。

【0042】

図５の例を参照すると、作業対象機器が３つあり、そのうち２つの作業対象機器（２３１、２３３）が部分的に撮像可能領域２１０の外に存在する。また、スマートグラス装置１１０１の視野に映るマーカ（２２１、２２２）は２つである。撮像可能領域決定部１２２は、マーカ検出部１２１が検出するマーカ２２１、および／または、マーカ２２２から取得される（対応した）マーカ情報（５０１、５０２）により、撮像可能領域２１０を決定する。映像マスキング部１２３は、撮像可能領域２１０と、作業対象機器（２３１、２３２、２３３）との、三次元空間における重なりを計算し、撮像可能領域２１０外の部分を検出する。マスキング映像データ４０１としては、図５に例示したように、撮像可能領域２１０以外の部分については、グレイ化され、この場合は輪郭のみが表示されている。すなわち、映像データ４００では映されていたかもしれない、作業対象機器（２３１、２３３）内のグレイ化部分に表示されているはずの数値やランプ点灯状況は、マスキング映像データ４０１内では遠隔支援作業者２は視認できない。これらの数値やランプ点灯状況を、遠隔支援作業者２と共有するには、現地作業者１は作業対象機器（２３１、２３３）を撮像可能領域２１０内に移動させればよい。

【0043】

［変形例１－１］
次に、第１の実施形態例の変形例１－１として、マーカ表示制御装置６００の構成を変更した実施形態例を示す。第１の実施形態例において、撮像可能領域２１０を指定するのは、直方体形状であった。本変形例においては、円柱形状とする。

【0044】

図６を参照して、本変形例を説明する。マーカ表示制御装置６００における、撮像可能領域設定部６１０には、マーカ中心周りの半径と、高さを指定する。例えば、図６内のマーカ２２５に対応するマーカ情報５０５は次のとおりである。
「位置：円中心、撮像可能半径：１５０、撮像可能高さ：１００、撮像端末：００１０、撮像可能開始日時：２０２００３２０１２００、撮像可能終了日時：２０２００３２０２０００、管理者：ＵＳＥＲ００１、作業者：ＡＡ社」

【0045】

マーカ画像出力部６２０は、上述したマーカ情報５０５に応じたマーカ２２５を表示する。

【0046】

映像制御装置１００の撮像可能領域決定部１２２は、マーカ情報５０５内の「位置」情報が、「円中心」であることを判断基準として、撮像可能領域２１０を形成する、「撮像可能半径」および「撮像可能高さ」に対応する値を読み出し、それぞれ１５０センチメートル、１００センチメートルと決定する。すなわち、図６に示す撮像可能領域２１０は、マーカ２２５の中心からの半径が１５０センチメートル、高さ１００センチメートルの円筒領域と決定する。その他の処理については、一実施形態例および第１の実施形態例において説明した内容と同じであるため、説明を省略する。

【0047】

［第１の実施形態例の作用］
図７を用いて、第１の実施形態例の作用を詳細に説明する。図７においては、現地作業者１の動作と、遠隔支援作業者２の動作とを左右に分けて表示している。現地作業者１が操作する装置は、映像制御装置１００であり、遠隔支援作業者２が操作する装置は、遠隔地端末３００である。ここで、ユーザ管理者３が操作する、マーカ表示制御装置６００による、マーカ表示は完了しているものとする。

【0048】

はじめに、現地作業者１の操作および作用（映像制御装置１００の作用）について説明する。はじめに、映像取得部１１０により映像データ４００（動画）を取得する（ステップＳ－１０１）。取得した映像データ４００は、次のステップ（Ｓ－１０２）に引き渡される。ステップＳ－１０２において、取得した映像データ４００から、マーカ画像であると推定される部分を検出し、マーカ情報５００を取得する。マーカ画像は１つ以上であってもよく、マーカ画像から、例えば非特許文献１に記載されたアプリケーションインタフェースによって、マーカ情報５００を取得する。

【0049】

取得した映像データ４００に、マーカ画像が一つもない場合には、マスキング映像データ４０１は、すべての映像をマスキングしたものとなる。あるいは、マーカ画像を一つでも取得した後は、所定の一定時間内にはマーカ画像があったものとして、ステップＳ－１０２以降に遷移してもよい。所定の一定時間とは、人間が一定期間の映像データ４００から詳細情報を認識できる程度の時間であり、好ましくは０．５秒乃至２秒程度であるものとしてもよい。

【0050】

ステップＳ－１０３において、マーカ情報５００の有効性を判断する。図７の記載によれば、現在時刻が、マーカ情報５００に記載された有効期間内であるかどうか、を判断している。有効期間とは具体的には、マーカ情報５００内の「撮像開始日時」から「撮像終了日時」までの間のことである。上述したマーカ２２１のマーカ情報５０１の事例によれば、これは２０２０年３月２０日の、１２時から２０時までの間、となる。現在時刻がこの有効期間内であれば、Ｓ－１０４以降のステップに進む（ＹＥＳ判定）。そうでなければ（ＮＯ判定）、作業領域２００内の共同作業は終了する（ステップＳ－１０９）。なお、これらの日時は秒単位で示されていてもよい。

【0051】

ステップＳ－１０３における、マーカ情報５００の有効性判定は他の情報に対して行うこともできる。上述したマーカ２２１のマーカ情報５０１の事例によれば、ユーザ管理者３が映像制御装置１００の補助記憶装置１２００内に事前に記憶されたものと一致するかどうか、あるいは同様に、現地作業者１の所属会社が記憶されたものと一致するかどうか、などをチェックすることもできる。図７内ではこれらの追加されたチェック内容の記載は省略されている。

【0052】

ステップＳ－１０４において、マーカ情報５００から、撮像可能領域２１０を形成する、撮像可能領域情報を取得する。これは例えば、第１の実施形態例によれば、「位置」「撮像可能横幅」「撮像可能奥行幅」「撮像可能高さ」に相当する（直方体領域）。第１の実施形態例の変形例１－１によれば、「位置」「撮像可能半径」「撮像可能高さ」に相当する（円筒領域）。これらの情報から、撮像可能領域２１０を決定する。

【0053】

ステップＳ－１０５において、映像データ４００から、撮像可能領域２１０内の部分を抽出する。これは、映像データ４００内の物体が、１つのマーカ２２０を基準位置とした直方体領域、または円筒領域内である撮像可能領域２１０内であるかどうかを判断することに相当する。このためには、映像データ４００の複数フレーム（例えば１秒間内の５０フレーム）で映像視野が変化した際に、基準となるマーカ２２０と作業対象機器２３０の相対位置を計算し、全フレーム内で相対位置を、撮像可能領域２１０を構成する絶対座標に変換した上で、撮像可能領域２１０内であると判断された場合に、撮像可能領域２１０内であるものと判断する。この処理の最小単位としては、例えば１秒毎の代表フレーム画像サイズ（例えば１２８０ｘ１０２４ピクセル）における、小領域（例えば４ピクセルｘ４ピクセル）毎に、写りこんでいる物体が撮像可能領域２１０部分内であるかどうかを示す、判定ラベルを設定する。全体画像サイズにわたって、小領域毎のラベル判定を行って後述するマスキング処理を行う。

【0054】

ステップＳ－１０６において、代表フレーム画像内の小領域毎の判定ラベルに応じて、撮像可能領域２１０内ではないとされる小領域すべてを、マスキング処理する。マスキング処理とは、撮像可能領域２１０ではないとラベリングされた小領域にノイズを加えるか、モザイク模様を重ね合わせるフィルタリングを行うか、解像度を下げるか、のいずれか、またはすべての処理を行うことに相当する。これにより、該当小領域における作業対象機器２３０の視認性は下がることとなる。

【0055】

ステップＳ－１０７において、マスキング映像データ４０１を遠隔地端末３００に送信する。上述した例によれば、１秒毎に、４ｘ４ピクセルに区分化された小領域毎にマスキングされた映像と、マスキングされない元映像と、を合成した映像（マスキング映像データ４０１）を送信する。

【0056】

ステップＳ－１０１からステップＳ－１０７は、例えば０．１秒毎に、繰り返し実行される。この処理の間でマスキング映像データ４０１が送信されている間は、現地作業者１は、遠隔支援作業者２とマスキング映像データ４０１を共有して、共同作業を実施することができる（ステップＳ－１０８）。この共同作業は、ステップＳ－１０３において現在時刻が、有効期間でないとき、終了する（ステップＳ－１０９）。あるいは、映像データ４００にマーカ画像が検出されないときは、マスキング映像データ４０１は全領域がマスキングされており、実質的に共同作業は実施できない。

【0057】

現地作業者１がスマートグラス装置１１０１を装着して、マスキング映像データ４０１を見ながら作業する場合、上記例によれば、４ｘ４ピクセルに区分化された小領域毎にマスキングされた映像を、１秒遅れで、共有することとなる。現地作業者１にとっては、実際の映像データ４００を見て作業をするより、加工映像によって作業するために作業効率がさがる可能性もあるが、これは現地作業者１が頻繁に視野を変えるなどの動作を行わないことで、回避することもできる。

【0058】

好ましくは、実運用として、ユーザ管理者３は、現地作業者１にスマートグラス装置１１０１を装着することを義務付けることもできる。これにより、現地作業中に偶然見えてしまう、機密データ表示領域を現地作業者１に見せないようすることができる。

【0059】

次に、遠隔支援作業者２の作用について説明する。遠隔支援作業者２は、遠隔地端末３００においてマスキング映像データ４０１を受信し（ステップＳ－２０１）、これを任意の動画再生アプリケーションで再生する。再生している間は、共同作業を実施することができる（ステップＳ－２０２）。共同作業中のコミュニケーションは、別途通信設定される音声回線によって行うか、作業内容をテキストデータ化したチャットアプリケーション、メールアプリケーションを用いて行うことができるものとする。あるいは、マスキング映像データ４０１を保存した上で、過去画像を再生させることで、状況の確認を行うこともできる。

【0060】

［第２の実施形態例］
次に、本発明の第２の実施形態例について述べる。図８に第２の実施形態例の全体構成を示す。本実施形態例においては、第１の実施形態例を以下の２点について拡張している。以下において、第１の実施形態例と同じ部分についての記載は省略する。
（１）撮像可能領域２１０のうち、高さ方向について変更可能とする（高さ制御）。
（２）ユーザ管理者３は、共通作業の監査を行う（ユーザ監査）。

【0061】

本実施形態例における１点目の拡張は、高さ制御である。これは、撮像可能空間において、高さ方向はあらかじめ規定された高さで足りなくなることがある、という経験に基づく。このため、共同作業中に、マーカ情報５００に含まれる「高さ」を、変更可能とするものである（本実施形態例においては、ユーザ管理者３の許可がある場合にのみ、変更可能としている）。

【0062】

本実施形態例における２点目の拡張は、ユーザ監査である。これは、現地作業者１と遠隔支援作業者２が共有するマスキング映像データ４０１を、ユーザ管理端末６０１のマスキング映像受信部６３０においても受信することである。ユーザ管理者３は、このマスキング映像データ４０１を見て、保守作業の進捗やセキュリティ遵守状況を確認することができる。ここで、前述した１点目の拡張である、高さ制御は、ユーザ管理者３の監査時においてのみ可能とする。すなわち、セキュリティ条件を変えるとき（撮像可能領域２１０のうち、特に高さ、を変更するとき）は、ユーザ管理者３の許可が必要になるものとする。

【0063】

図８における、本実施形態の１点目の変更は、映像制御装置１００内の映像処理部１２０内に、高さ変更部１２４を設けたことによって実現される。高さ変更部１２４は、撮像可能領域決定部１２２が決定した撮像可能領域２１０を変更できるようにするものである。変更できるのは、前述したように高さのみである。この変更結果（撮像可能領域２１０の変更）に応じて、映像マスキング部１２３の処理を実施する。すなわち、本実施形態例で映像制御装置１００に対する変更は、高さ変更部１２４が追加されたことである。

【0064】

図８における、本実施形態例の２点目の変更は、マスキング映像データ４０１を、ユーザ管理端末６０１の、マスキング映像受信部６３０にも送信することで実現される。すなわち、映像制御装置１００のマスキング映像送信部１３０は、送信先として遠隔地端末３００に加え、ユーザ管理端末６０１にも送信する。

【0065】

本実施形態例における、ユーザ管理者３、現地作業者１、遠隔支援作業者２との作業の時系列における作業の関連状況を、図９に示す。図９にはさらに、表示されるマーカの状態についても示している。

【0066】

はじめに、ハードウェアなどに故障が起きた場合には、現地作業者１は、ユーザ管理者３に保守作業実施依頼を行う。これは紙ベース、メールベースで行ってよいものであり、任意の手段で行われるものとする。あるいは、保守作業実施依頼は、ユーザ管理者３から、現地作業者１に対して行われるものであってもよい。

【0067】

次に、ユーザ管理者３は、データセンタやオフィス内の作業領域２００内において、現地作業者１と遠隔支援作業者２が共同作業することを許可する、撮像可能領域２１０を決定する。ここでは同様に、作業実施期間、作業許可管理者、作業者組織なども同様に決定する。ステップＳ－１０００において、決定した内容を入力する。これはマーカ表示制御装置６００の、撮像可能領域設定部６１０への入力に対応する。

【0068】

ユーザ管理者３は、ステップＳ－１０００の入力に応じ、マーカ２２０の画像を表示する（ステップＳ－１０１０）。これは、マーカ表示制御装置６００のマーカ画像出力部６２０に相当する。ユーザ管理者３は、マーカ２２０の画像を印刷した上で対応する位置にマーカ２２０を貼り付けるか、フロア各所に配置されたディスプレイ装置にマーカ２２０の表示を行うよう指示する。これによって、マーカ状態として、マーカが表示されることになる（ステップＳ－３０００）。

【0069】

現地作業者１は、作業領域２００内に入って保守作業準備を行う。具体的には、スマートグラス装置１１０１を装着し、映像制御装置１００を起動する（ステップＳ－２０１０）。

【0070】

マーカから検出されるマーカ情報５００に含まれる有効期間開始日時が、現在時刻を超えたとき（ステップＳ－３０１０）、現地作業者１のスマートグラス装置１１０１の映像（マスキング映像データ４０１）は、ユーザ管理者３、遠隔支援作業者２に送信される（ステップＳ－１０２０、ステップＳ－２０２０、ステップＳ－３０２０）。ここから、マーカ表示に含まれる有効期間終了日時になるまで、現地作業者１と遠隔支援作業者２は共同作業を実施することができる（マスキング映像データ４０１を共有できる）。また、同じマスキング映像データ４０１は、ユーザ管理者３にも送信される（ユーザ管理者３は共同作業をモニタできる）。

【0071】

この間においては、第２の実施形態例の１番目の変更点（高さ変更）を行うことができる。遠隔支援作業者２の要求（ステップＳ－３０３０）により、現地作業者１が、映像制御装置１００の高さ変更部１２４により、高さ変更を入植する（ステップＳ－２０３０）。ここで高さ変更は、モニタしているユーザ管理者３の承認を受けないと変更できないようにするよう構成される（ステップＳ－１０３０）。このときは、ユーザ管理端末６０１には「高さ変更承認部６４０」機能を付加し、この機能による承認によって、高さ変更部１２４は実行できないようにする、などとして構成する。

【0072】

現地作業者１と、遠隔作業者との音声通信は、マスキング映像共有期間に限定するようにしてもよい。このように構成するには、映像制御装置１００の入出力装置１５００の音声出力機能と通信装置１６００によって実現される音声共有のための機能を、マスキング映像共有期間にのみ有効とすればよい。

【0073】

先に述べたように、マーカ有効期間終了（ステップＳ－４０３０）をもって、共同作業（ステップＳ－１０２０、ステップＳ－２０２０、ステップＳ－３０２０）は終了となる。以上が、共同作業を実施する時系列における関係となる。

【0074】

本実施形態例によれば、現地作業員と遠隔作業者との作業をユーザ管理者３が監査することが可能となっている。ここでは、撮像可能領域２１０の高さを変更することをユーザが承認することとしている。また、音声による通信はマスキング映像共有の期間内（現在時刻が、スマートグラス装置１１０１がマーカ画像を検出して、そこから得られるマーカ情報５００に記載される有効期間内であること）である場合に限り、許可されるよう、構成されている。

【0075】

［第３の実施形態例］
第１の実施形態においては、表示されるマーカはすべて、同じ撮像可能領域２１０を示すものとしていた。本実施形態例においては、マーカ情報５００から得られる撮像可能領域２１０を、マーカ位置毎に求め、これの和集合をもって撮像可能領域２１０と決定することについて述べる。

【0076】

図１０に、マーカ２００１～２００８によって形成される、これらのマーカ内部＋高さ方向空間を、撮像可能領域２１０とする事例を示す。

【0077】

各マーカのそれぞれのマーカ情報５００は次の通りとする。
マーカ２００１：
「位置：左下、撮像可能横幅：２００、撮像可能奥行幅：１５０、撮像可能高さ：１５０」
マーカ２００２：
「位置：右下、撮像可能横幅：－２００、撮像可能奥行幅：１５０、撮像可能高さ：１５０」
マーカ２００３：
「位置：右上、撮像可能横幅：－２００、撮像可能奥行幅：－１５０、撮像可能高さ：１５０」
マーカ２００４：
「位置：右下、撮像可能横幅：－１５０、撮像可能奥行幅：２００、撮像可能高さ：１５０」
マーカ２００５：
「位置：右上、撮像可能横幅：－１５０、撮像可能奥行幅：－２００、撮像可能高さ：１５０」
マーカ２００６：
「位置：右上、撮像可能横幅：－２００、撮像可能奥行幅：－２００、撮像可能高さ：１５０」
マーカ２００７：
「位置：左上、撮像可能横幅：２００、撮像可能奥行幅：－２００、撮像可能高さ：１５０」
マーカ２００８：
「位置：左上、撮像可能横幅：２００、撮像可能奥行幅：－２００、撮像可能高さ：１５０」

【0078】

本実施形態例において、映像制御装置１００の撮像可能領域決定部１２２は、各マーカ情報５００から形成される撮像可能領域２１０を、同じものでなくても許容するものとする。すなわち、各マーカが写りこんでいる画像から、撮像可能領域２１０を決定するものする。

【0079】

例えば、マーカ２００１とマーカ２００２だけが映像データ４００内に含まれている場合には、図１０におけるマーカ２００１、２００２、２００３、２００８で囲まれた平面（幅２００センチｘ奥行１５０センチｘ高さ１５０センチ）を有する直方対領域が撮像可能領域２１０となる。

【0080】

また例えば、図１０において、マーカ２００５、２００６、２００７が映像データ４００内に含まれている場合には、図１０におけるマーカ２００８、２００４、２００５、２００７で囲まれた領域（幅３５０センチｘ奥行２００センチｘ高さ１５０センチ）を有する直方体領域が撮像可能領域２１０となる。

【0081】

さらに例えば、すべてのマーカ２００１～２００８が映像データ４００内に含まれている場合には、上述した直方体を結合した領域が、撮像可能領域２１０となる。

【0082】

本実施形態例は、第１の実施形態例に比較して、同一の撮像可能領域２１０を規定するものではなく、より広い（自由度の高い）撮像可能領域２１０を決定できるよう構成されるものである。現地作業者１と遠隔支援作業者２は、この広い撮像可能領域２１０の映像を共有できる。

【0083】

［モード］
上記の実施形態例の一部または全部は、以下のようにも記載され得るが、以下には限られない。
＜モード１＞
上述の第１の視点に係る映像制御装置のとおりである。
＜モード２＞
前記マーカ情報には、前記マーカにおいて定義される三次元配向方向に基づいて、前記マーカの中心位置からの、前記撮像可能領域の幅方向の長さを示すマーカ幅長と、前記撮像可能領域の奥行方向の長さを示すマーカ奥行長と、前記撮像可能領域の高さ方向の長さを示すマーカ高と、を含み、
前記撮像可能領域決定部は、前記マーカの中心位置を原点とし、前記マーカにおいて定義される三次元配向方向に基づいて、前記マーカ幅長、前記マーカ奥行長、前記マーカ高とから形成される直方体空間領域を、前記撮像可能領域とする、
ことを特徴とする、モード１に記載の映像制御装置。
＜モード３＞
前記マーカ情報には、前記撮像可能領域の下面中心位置であることを示す中心マーカ位置と、前記中心マーカ位置からの前記マーカの上方向に直交する方向における長さを示すマーカ半径と、前記中心マーカ位置からのマーカ上方向ベクトル方向の長さを示すマーカ高と、を含み、
前記撮像可能領域決定部は、前記中心マーカ位置を原点とし、前記マーカの上方向に直交する方向における前記マーカ半径を有する円形と、前記マーカ高から形成される円筒空間領域を、撮像可能領域とする、
ことを特徴とする、モード１に記載の映像制御装置。
＜モード４＞
前記マーカ情報を入力する撮像可能領域設定部と、前記撮像可能領域設定部への入力に基づいて、マーカ画像を出力するマーカ画像出力部を備える、マーカ表示制御装置によって、前記マーカ画像が出力される、
ことを特徴とする、モード１乃至３のいずれかに記載の映像制御装置。
＜モード５＞
前記映像制御装置の映像制御部はさらに、
現地作業者が前記撮像可能領域の高さを変更する、高さ変更部を含み、ここで、
前記高さ変更部への入力により、前記撮像可能領域の前記マーカ高を変更する、
ことを特徴とする、モード２乃至４のいずれかに記載の映像制御装置。
＜モード６＞
前記作業領域内に表示される前記マーカは２以上であり、
前記２以上の前記マーカのそれぞれの前記マーカ情報は、同一の前記撮像可能領域を示すものであって、
前記マーカ検出部は、前記２以上のマーカのうち１つ以上のマーカを検出し、
前記撮像可能領域決定部は、検出された前記１つ以上のマーカから、撮像可能領域を決定する、
ことを特徴とする、モード１乃至５のいずれかに記載の映像制御装置。
＜モード７＞
前記作業領域内に表示される前記マーカは２以上であり、
前記マーカの前記マーカ情報は、異なる前記撮像可能領域を示すものであって、
前記マーカ検出部は、前記２以上のマーカのうち少なくとも２つのマーカを検出し、
前記撮像可能領域決定部は、検出された前記少なくとも２つのマーカから、それぞれのマーカ情報から決定される前記撮像可能領域を併せた領域を、前記撮像可能領域として決定する、
ことを特徴とする、モード１乃至５のいずれかに記載の映像制御装置。
＜モード８＞
前記マーカ情報には、さらには、作業開始時刻と作業終了時刻を含み、
前記撮像可能領域決定部は、現在時刻が前記作業開始時刻以降であり、かつ、前記作業終了時刻以前である場合にのみ、前記撮像可能領域を決定する、
ことを特徴とする、モード１乃至７のいずれかに記載の映像制御装置。
＜モード９＞
前記映像取得部で用いる撮像する装置は、前記作業領域内で作業する作業者が装着するスマートグラスであり、
前記スマートグラスには、ビデオ撮影部及びビデオ表示部を有し、
ここで、前記ビデオ表示部には、前記マスキング映像送信部が出力する前記マスキング映像を表示する、
ことを特徴とする、モード１乃至８のいずれかに記載の映像制御装置。
＜モード１０＞
上述の第２の視点に係る映像制御システムのとおり。
＜モード１１＞
上述の第３の視点に係る映像制御方法のとおり。
＜モード１２＞
上述の第４の視点に係る映像制御プログラムのとおり。
なお、モード１０から１２は、モード１と同様に、モード２～モード９のように展開することが可能である。

【0084】

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態例ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態例ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。

【符号の説明】

【0085】

１： 現地作業者
２： 遠隔支援作業者
３： ユーザ管理者
１００： 映像制御装置
１１０： 映像取得部
１２０： 映像処理部
１２１： マーカ検出部
１２２： 撮像可能領域決定部
１２３： 映像マスキング部
１２４： 高さ変更部
１３０： マスキング映像送信部
２００： 作業領域
２１０： 撮像可能領域
２２１、２２２、２２３、２２４、２２５： マーカ
２３０、２３１、２３２、２３３： 作業対象機器
３００： 遠隔地端末
３１０： マスキング映像受信部
４００： 映像データ
４０１： マスキング映像データ
５００： マーカ情報
６００： マーカ表示制御装置
６０１： ユーザ管理端末
６１０： 撮像可能領域設定部
６２０： マーカ画像出力部
６３０： マスキング映像受信部
６４０： 高さ変更承認部
１１００： ビデオ装置
１１０１： スマートグラス装置
１２００： 補助記憶装置
１３００： ＣＰＵ
１４００： メモリ
１５００： 入出力装置
１６００： 通信装置
１７００： 内部バス
２００１、２００２、２００３、２００４、２００５、２００６、２００７： マーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】