特開 2023-141478 ウェアラブル装置および送信制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023141478

(43)【公開日】2023-10-05

(54)【発明の名称】ウェアラブル装置および送信制御方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20230928BHJP

   H04N 7/18 20060101ALI20230928BHJP

【ＦＩ】

G06Q50/10

H04N7/18 E

H04N7/18 K

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022047816

(22)【出願日】2022-03-24

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】598057291

【氏名又は名称】株式会社富士通エフサス

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】内倉 勇作

(72)【発明者】

【氏名】小林 利史

(72)【発明者】

【氏名】安 炳和

(72)【発明者】

【氏名】中村 勝

【テーマコード（参考）】

5C054

5L049

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CD00

5C054CD03

5C054DA07

5C054EA01

5C054FC01

5C054FC12

5C054FE14

5C054GB02

5C054HA14

5C054HA24

5L049CC15

(57)【要約】      （修正有）

【課題】作業中の情報漏洩を防止しつつ、保守作業に有効な情報を送信するウェアラブル装置及び送信制御方法を提供する。
【解決手段】Ｃｕｓｔｏｍｅｒ Ｅｎｇｉｎｅｅｒが、無線通信によってネットワークに接続し、サポートセンターサーバとの間でデータ通信を実行するスマートグラスを装着して、保守対象装置のメンテナンス作業を行うシステムにおいて、スマートグラス１００は、カメラ１０１から映像データ１４１を取得する取得部１５１と、映像データ１４１に対してマスク処理を実行し、マスク処理を実行した映像データを、送信制御部１５３に出力するマスキング部１５２と、マスキング部１５２から取得する映像データを、サポートセンターサーバ５０に送信する送信制御部１５３と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

撮影範囲の映像を撮影する撮影部と、
前記撮影部によって撮影された前記映像に含まれる対象物の領域を基にして、前記映像の第１の領域に対してマスク処理を実行し、前記第１の領域内の第２の領域に対して、前記マスク処理することを抑止するマスキング部と、
前記マスク処理が実行された映像の情報を外部装置に送信する送信部と、
を有することを特徴とするウェアラブル装置。

【請求項2】

前記マスキング部は、前記映像から所定のコードを検出し、前記所定のコードの領域を基準にして前記対象物の領域を特定することを特徴とする請求項１に記載のウェアラブル装置。

【請求項3】

前記マスキング部は、作業の開始時刻の後に前記撮影部に撮影された映像を基にして、前記対象物の領域から出力される印刷物の領域を、前記第２の領域として特定する処理を更に実行することを特徴とする請求項１に記載のウェアラブル装置。

【請求項4】

前記マスキング部は、前記映像の領域のうち、前記対象物の領域以外の領域と、印刷物の情報が含まれる領域とを、前記第１の領域として特定することを特徴とする請求項３に記載のウェアラブル装置。

【請求項5】

前記マスキング部は、前記映像から所定のコードを検出し、前記所定のコードの領域を基準にして、前記対象物となる印刷機の用紙排出口の領域を、前記第２の領域として特定する処理を更に実行することを特徴とする請求項１に記載のウェアラブル装置。

【請求項6】

撮影部によって撮影された映像に含まれる対象物の領域を基にして、前記映像の第１の領域に対してマスク処理を実行し、
前記第１の領域内の第２の領域に対して、前記マスク処理することを抑止し、
前記マスク処理が実行された映像の情報を外部装置に送信する
処理をコンピュータに実行させることを特徴とする送信制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ウェアラブル装置等に関する。

【背景技術】

【0002】

ＣＥ（Customer Engineer）は、保守対象となる機器のメンテナンスを行い、機器の不具合等を見つけた場合に、該当部品を取り外して部品の交換や機器内の各種調整を行い、機器の修理を実施する。ＣＥは、メンテナンス中に不具合の確認方法、部品の取り外し方法、修理方法等が分からない場合には、サポートセンターに電話で問い合わせを行う。

【0003】

サポートセンターに電話で問い合わせる方法では、ＣＥによる電話の音声情報のみでサポートセンターのオペレータが内容を理解する必要があるため、具体的な不具合内容やＣＥが機器のどの部分を指し示しているのかを、サポートセンターのオペレータが理解できず、ＣＥに的確な指示を行えない場合がある。ＣＥに的確な指示を行えない場合には、不具合の可能性がある全ての部品交換や機器内の各種調整の実施を余儀なくされてしまい、メンテナンス時間が長引くことでＣＥへの負担が増えてしまう。

【0004】

ＣＥへの負担を軽減させるために、ＶＲ（Virtual Reality）またはＡＲ（Augmented Reality）等の機能を有するゴーグル型のヘッドセットをＣＥが現場で利用することがある。以下の説明では、ＶＲまたはＡＲ等の機能を有するゴーグル型のヘッドセットを「スマートグラス」と表記する。ＣＥは、スマートグラスを装着してメンテナンスを行い、スマートグラスのカメラで、メンテナンス中の映像をサポートセンターに送信する。サポートセンターのオペレータは、メンテナンス中の映像をリアルタイムにかつ正確に把握できるため、ＣＥに的確な指示を行うことができる。

【0005】

ここで、保守対象となる機器が設置されている場所は、顧客の執務室、コンピュータ室、データセンター等であり、かかる場所には、顧客の機密情報が存在する可能性がある。たとえば、ＣＥがスマートグラスを装着してメンテナンスを行うと、メンテナンス中にＣＥが保守対象の機器とは関係のない場所を意図せず映してしまうことがある。この場合、スマートグラスのカメラの映像をそのままサポートセンターに送信すると、顧客の機密情報を外部に漏洩させてしまう。

【0006】

機密情報の漏洩を防止するために、保守対象の機器にＩＤ媒体を付与しておき、スマートグラスのカメラで撮影した映像に含まれるＩＤ媒体を基にして、映像の領域を、保守対象となる機器の領域と、保守対象の機器以外の領域とに分類し、保守対象の機器でない映像の領域をマスクする従来技術がある。また、スマートグラスのカメラで撮影された映像に文字情報が含まれる場合には、かかる文字情報をマスクすることが行われている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平１１－１９５１９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上述した従来技術では、顧客の機密情報以外に、保守作業をサポートするために有効な情報までマスクしてしまう場合があった。

【0009】

たとえば、保守対象の機器がプリンタである場合、メンテナンス中に、故障したプリンタの印刷物を確認する場合がある。印刷物には、実際の印字障害（汚れ、にじみ、白抜け等）や、プリンタの設定情報等が印字されており、出力された印刷物に印字された文字は、保守作業に必要な情報となるが、上記の従来技術では、かかる印刷物の情報（たとえば、文字情報）はマスクされてしまい、サポートセンターのオペレータが参照することができず、ＣＥをサポートできない場合がある。

【0010】

上記の問題は、プリンタ以外の機器（たとえば、文字情報等を出力する機器）であっても起こりうる問題である。

【0011】

１つの側面では、本発明は、作業中の情報漏洩を防止しつつ、保守作業に有効な情報を送信することができるウェアラブル装置および送信制御方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

第１の案では、ウェアラブル装置は、撮影部によって撮影された映像に含まれる対象物の領域を基にして、映像の第１の領域に対してマスク処理を実行し、第１の領域内の第２の領域に対して、マスク処理することを抑止し、マスク処理が実行された映像の情報を外部装置に送信する。

【発明の効果】

【0013】

作業中の情報漏洩を防止しつつ、保守作業に有効な情報を送信することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施例１に係るシステムの一例を示す図である。

【図2】図２は、本実施例に係るスマートグラスの処理を説明するための図である。

【図3】図３は、従来技術と比較したマスク処理の結果を示す図である。

【図4】図４は、本実施例に係るスマートグラスの構成を示す機能ブロック図である。

【図5】図５は、本実施例に係るスマートグラスの処理手順を示すフローチャートである。

【図6】図６は、マスク処理の処理手順を示すフローチャートである。

【図7】図７は、スマートグラスが実行するその他の処理１を説明するための図である。

【図8】図８は、スマートグラスが実行するその他の処理２を説明するための図である。

【発明を実施するための形態】

【0015】

以下に、本願の開示するウェアラブル装置および送信制御方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例0016】

図１は、本実施例１に係るシステムの一例を示す図である。図１に示すように、ＣＥ１０は、スマートグラス１００を装着して、保守対象装置２０のメンテナンス作業を行う。本実施例では、一例として、保守対象装置２０を「プリンタ」として説明を行う。

【0017】

スマートグラス１００は、無線通信によって、ネットワーク３０に接続し、サポートセンターサーバ５０との間でデータ通信を実行する。スマートグラス１００は、ウェアラブル装置の一例である。

【0018】

サポートセンターサーバ５０は、サポートセンターのオペレータが操作する端末装置である。サポートセンターサーバ５０は、スマートグラス１００から送信される映像データを表示し、サポートセンターのオペレータは、かかる映像データを参照して、ＣＥ１０のメンテナンス作業をサポートする。また、サポートセンターのオペレータは、サポートセンターサーバ５０を操作して、スマートグラス１００を装着したＣＥ１０と通話を行う。

【0019】

ここで、スマートグラス１００は、ＣＥ１０の周囲を撮影するカメラを備え、カメラが撮影した映像データを、サポートセンターサーバ５０に送信する。映像データには、時系列の複数の画像フレーム（静止画像）が含まれる。本実施例では、適宜、スマートグラス１００が実行する処理を、映像データに含まれる画像フレームを用いて説明を行う。

【0020】

スマートグラス１００は、画像フレームを、サポートセンターサーバ５０に送信する場合に、画像フレームの全領域のうち、顧客の機密情報を含んだ領域や、文字情報を含んだ領域をマスクする処理を行うことで、機密情報が漏洩することを抑止する。また、スマートグラス１００は、マスクする処理を行う場合に、保守対象装置２０の領域を基にして、画像フレームの全領域のうち、一部の領域については、マスクする処理を行うことを抑止する制御を行う。たとえば、スマートグラス１００が、マスク処理を抑止する一部の領域は、保守作業中に、保守対象装置２０の排出口から出力される印刷物の領域である。

【0021】

印刷物には、実際の印字障害（汚れ、にじみ、白抜け等）や、プリンタの設定情報等が印字されており、出力された印刷物に印字された文字は、保守作業に必要な情報となる。スマートグラス１００は、マスクする処理の対象領域から、保守作業中に出力された印刷物の文字の領域がマスクされることを抑止し、印刷物の映像データ（画像フレーム）を、サポートセンターサーバ５０に送信することを可能にする。

【0022】

図２は、本実施例に係るスマートグラスの処理を説明するための図である。スマートグラス１００は、画像フレームＩｍ１０の領域を走査し、ＱＲ（Quick Response）コード（登録商標）５を検出する。スマートグラス１００は、ＱＲコード５から読み取った情報に、保守対象装置２０の識別情報が含まれている場合、画像フレームＩｍ１０中のＱＲコード５の位置を基準とした所定領域を、保守対象装置２０の領域２５として特定する。また、スマートグラス１００は、保守対象装置２０の領域２５を基準として、保守対象装置２０の排出口の領域２５ａを特定する。

【0023】

スマートグラス１００は、保守作業中に領域２５ａから印刷物が出力されたことを特定すると、特定した印刷物の領域を認識する。以下の説明では、保守作業中に領域２５ａから出力された印刷物の領域を、「印刷物領域２６」と表記する。スマートグラス１００は、各画像フレームにおいて、印刷物領域２６を追従し、印刷物領域２６がマスクされることを抑止する。

【0024】

図３は、従来技術と比較したマスク処理の結果を示す図である。図３において、画像フレームＩｍ１０－１は、スマートグラス１００によってマスク処理された画像フレームを示す。画像フレームＩｍ１０－２は、従来技術に基づいてマスク処理された画像フレームを示す。

【0025】

たとえば、従来技術では、画像フレームＩｍ１０－２の領域のうち、保守対象装置２０の領域２５－２以外の領域がマスク処理され、保守作業に有効な印刷物の印刷物領域２６－２についてもマスクされてしまう。

【0026】

一方、スマートグラス１００は、画像フレームＩｍ１０－１の領域のうち、保守対象装置２０の領域２５－１以外の領域をマスク処理する一方で、印刷物領域２６－１がマスク処理されることを抑止し、印刷物の情報（たとえば、印刷物の文字情報）をそのままにする。これによって、出力された印刷物に印字された文字の映像データ（画像フレーム）を、サポートセンターサーバ５０に送信することを可能にする。

【0027】

次に、本実施例に係るスマートグラス１００の構成例について説明する。図４は、本実施例に係るスマートグラスの構成を示す機能ブロック図である。図４に示すように、このスマートグラス１００は、カメラ１０１と、マイク１０２と、スピーカ１０３と、ディスプレイ１０４と、加速度センサ１０５と、入力装置１０６と、無線通信部１１０と、記憶部１４０と、制御部１５０とを有する。

【0028】

カメラ１０１は、ＣＥ１０の周囲を撮影するカメラである。たとえば、ＣＥ１０の前方向の範囲を撮影するように、スマートグラス１００に設置されているものとする。カメラ１０１は、撮影した映像データを、制御部１５０に出力する。カメラ１０１は、撮影部の一例である。

【0029】

マイク１０２は、マイク１０２の周辺の音を集音するマイクである。たとえば、マイク１０２は、ＣＥ１０の音声を集音した音声データを、制御部１５０に出力する。

【0030】

スピーカ１０３は、制御部１５０から出力される音データの音を出力するスピーカである。たとえば、スピーカ１０３から出力される音は、サポートセンターサーバ５０を操作するサポートセンターのオペレータからの音声である。

【0031】

ディスプレイ１０４は、制御部１５０から出力される各種の情報を表示する表示装置である。

【0032】

加速度センサ１０５は、加速度を測定するセンサである。加速度センサ１０５は、加速度の情報を、制御部１５０に出力する。

【0033】

入力装置１０６は、ＣＥ１０が各種の操作をスマートグラスに対して行う場合に利用する入力装置である。入力装置１０６は、入力ボタンやタッチパネル等に対応する。たとえば、ＣＥ１０は、カメラ１０１による撮影を開始する場合には、入力装置１０６を操作して「撮影開始指示」を入力する。ＣＥ１０は、カメラ１０１による撮影を終了する場合には、入力装置１０６を操作して「撮影終了指示」を入力する。

【0034】

無線通信部１１０は、無線通信によってネットワーク３０に接続し、ネットワーク３０を介して、サポートセンターサーバ５０とデータ通信を行う処理部である。無線通信部１１０は、無線通信装置の一例である。後述する制御部１５０は、無線通信部１１０を介して、サポートセンターサーバ５０とデータをやり取りする。

【0035】

映像データ１４１は、カメラ１０１によって撮影された映像データである。たとえば、映像データ１４１は、時系列の画像フレームを含むデータである。

【0036】

制御部１５０は、取得部１５１と、マスキング部１５２と、送信制御部１５３と、通話制御部１５４とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

【0037】

取得部１５１は、カメラ１０１から映像データ１４１を取得する。取得部１５１は、取得した映像データ１４１を、記憶部１４０に登録する。たとえば、取得部１５１は、入力装置１０６から、撮影開始指示を受け付けた場合、カメラ１０１に撮影を開始させ、映像データ１４１の取得を開始する。取得部１５１は、入力装置１０６から、撮影終了指示を受け付けた場合、カメラ１０１に撮影を停止させ、映像データ１４１の取得を終了する。

【0038】

マスキング部１５２は、映像データ１４１に対してマスク処理を実行し、マスク処理を実行した映像データを、送信制御部１５３に出力する。たとえば、マスキング部１５２は、保守対象装置２０の領域を特定する処理、印刷物領域２６を特定する処理、マスキングを実行する処理を実行する。

【0039】

まず、保守対象領域の領域を特定する処理について説明する。マスキング部１５２は、画像フレームの全領域を走査して、ＱＲコードを検出する。たとえば、マスキング部１５２は、ＱＲコードの形状の特徴を保持しており、パターンマッチング等を実行して、ＱＲコードを検出する。マスキング部１５２は、ＱＲコードを検出すると、ＱＲコードの情報を取得し、取得した情報に保守対象装置２０の識別情報が含まれるか否かを判定する。マスキング部１５２は、ＱＲコードの情報を、サポートセンターサーバ５０に通知して、ＱＲコードの情報に、保守対象装置２０の識別情報が含まれているか否かの問い合わせ要求を行ってもよい。

【0040】

マスキング部１５２は、ＱＲコードの情報に保守対象装置２０の識別情報が含まれている場合には、画像フレームの全領域において、ＱＲコードの位置を基準とする所定領域を、保守対象装置２０の領域として特定する。マスキング部１５２は、保守対象装置２０の領域を基準として、保守対象装置２０の排出口の領域２５ａを特定する。図２で説明した例では、マスキング部１５２は、保守対象装置２０の領域２５と、排出口の領域２５ａを特定する。

【0041】

続いて、印刷物領域２６を特定する処理について説明する。マスキング部１５２は、時系列の画像フレームの排出口の領域について、差分画像を生成する。マスキング部１５２は、差分画像を基にして、前フレームと後フレームとで異なる領域（動的な領域）を保守対象装置２０から出力される印刷物の領域（印刷物領域２６）として特定する。また、上記のように、映像データ１４１は、撮影開始指示が入力された後に、撮影された映像データであるため、マスキング部１５２が特定する印刷物領域２６は、保守作業中に、保守対象装置２０から出力された印刷物の領域であるといえる。なお、保守作業を行う前に、保守対象装置２０に出力された印刷物の領域は、静的な領域となるため、印刷物領域２６として特定されることはない。

【0042】

マスキング部１５２は、印刷物領域２６を特定すると、後の画像フレームにおいて、印刷物領域２６を追跡する。たとえば、マスキング部１５２は、印刷物領域２６の形状特徴を保持し、次の画像フレームの領域に対して、印刷物領域２６の形状特徴と同様の形状特徴となる領域を、次の画像フレームにおける印刷物領域２６として特定する処理を繰り返し実行する。

【0043】

なお、上記で説明したマスキング部１５２が印刷物領域２６を特定して追跡する処理は一例である。マスキング部１５２は、YOLO（YOU Only Look Once）、SSD（Single Shot Multibox Detector）、RCNN（Region Based Convolutional Neural Networks）などの既存の検出アルゴリズムを用いて、画像フレーム（映像データ１４１）から印刷物領域２６を検出し、追跡を行ってもよい。

【0044】

続いて、マスキングする処理について説明する。マスキング部１５２は、画像フレームの全領域のうち、保守対象装置２０の領域以外の領域をマスク処理の対象領域候補として設定する。

【0045】

また、マスキング部１５２は、画像フレームの全領域を走査して、文字が記載された領域を検出する。マスキング部１５２は、画像フレームの全領域のうち、文字が記載された領域を、マスク処理の対象領域候補として設定する。

【0046】

マスキング部１５２は、マスク処理の対象領域候補から、印刷物領域２６を除外することで、マスク処理の対象領域を特定する。マスキング部１５２は、画像フレームのマスク処理の対象領域をマスクする。たとえば、マスキング部１５２は、所定の画素値によって、対象領域を塗りつぶす。

【0047】

マスキング部１５２は、上記処理を繰り返し実行することで、時系列の画像フレームに対してマスク処理を実行し、マスク処理を実行した映像データ（時系列の画像フレーム）を、送信制御部１５３に出力する。

【0048】

送信制御部１５３は、マスキング部１５２から取得する映像データを、サポートセンターサーバ５０に送信する。送信制御部１５３は、入力装置１０６から、撮影終了指示を受け付けた場合、映像データを、サポートセンターサーバ５０に送信する処理を停止する。

【0049】

通話制御部１５４は、スマートグラス１００と、サポートセンターサーバ５０との通話を制御する処理部である。たとえば、通話制御部１５４は、スマートグラス１００と、サポートセンターサーバ５０との通話回線を確立し、マイク１０２から入力されるＣＥ１０の音声データを、サポートセンターサーバ５０に送信する。通話制御部１５４は、サポートセンターサーバ５０から送信されるサポートセンターのオペレータの音声データを、スピーカ１０３に出力する。

【0050】

次に、本実施例に係るスマートグラス１００の処理手順の一例について説明する。図５は、本実施例に係るスマートグラスの処理手順を示すフローチャートである。図５に示すように、スマートグラス１００の取得部１５１は、撮影開始指示を受け付けた場合、映像の撮影を開始させ、映像データ１４１を記憶部１４０に登録する（ステップＳ１０１）。

【0051】

スマートグラス１００のマスキング部１５２は、画像フレームからＱＲコードを検出する（ステップＳ１０２）。マスキング部１５２は、ＱＲコードの情報を読み取り、保守対象装置２０の識別情報が含まれるか否かを判定する（ステップＳ１０３）。

【0052】

マスキング部１５２は、ＱＲコードの情報に、保守対象装置２０の識別情報が含まれる場合には（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０５に移行する。一方、マスキング部１５２は、ＱＲコードの情報に、保守対象装置２０の識別情報が含まれない場合には（ステップＳ１０４，Ｎｏ）、ステップＳ１０２に移行する。

【0053】

マスキング部１５２は、マスク処理を実行する（ステップＳ１０５）。スマートグラス１００の送信制御部１５３は、マスク処理が行われた映像データを、サポートセンターサーバ５０に送信する（ステップＳ１０６）。

【0054】

続いて、図５のステップＳ１０５に示したマスク処理の処理手順の一例について説明する。図６は、マスク処理の処理手順を示すフローチャートである。図６に示すように、スマートグラス１００のマスキング部１５２は、ＱＲコードの位置を基準として、保守対象装置２０の領域および排出口の領域を特定する（ステップＳ２０１）。

【0055】

マスキング部１５２は、時系列の画像フレームの排出口の領域に関する差分画像を基にして、保守対象装置から出力される印刷物の印刷物領域を特定する（ステップＳ２０２）。マスキング部１５２は、画像フレームから文字情報の領域を特定する（ステップＳ２０３）。

【0056】

マスキング部１５２は、画像フレームの全領域のうち、保守対象装置２０の領域以外の領域と、文字情報の領域とをマスク処理の対象領域候補に設定する（ステップＳ２０４）。マスキング部１５２は、マスク処理の対象領域候補から、印刷物領域を除外した領域を、マスク処理の対象領域に設定する（ステップＳ２０５）。

【0057】

マスキング部１５２は、対象領域を所定の画素値で塗りつぶす（ステップＳ２０６）。

【0058】

なお、図６に示したフローチャートの処理内容は一例である。たとえば、スマートグラス１００は、画像フレームの全領域から、保守対象装置の領域および印刷物領域を除いた領域を、対象領域に設定し、マスク処理を行ってもよい。

【0059】

次に、本実施例に係るスマートグラス１００の効果について説明する。スマートグラス１００は、映像データを、サポートセンターサーバ５０に送信する場合に、映像データの画像フレームの全領域のうち、顧客の機密情報を含んだ領域や、文字情報を含んだ領域をマスクする処理を行う。スマートグラス１００は、マスクする処理を行う場合に、保守対象装置２０の領域を基にして、画像フレームの全領域のうち、一部の領域については、マスクする処理を行うことを抑止する制御を行う。たとえば、マスク対象から除外する一部の領域は、保守作業中に保守対象装置２０から出力される印刷物の領域である。

【0060】

印刷物には、実際の印字障害（汚れ、にじみ、白抜け等）や、プリンタの設定情報等が印字されており、出力された印刷物に印字された文字は、保守作業に必要な情報となる。スマートグラス１００は、マスクする処理の対象領域から、保守作業中に出力された印刷物の文字の領域がマスクされることを抑止し、印刷物に印字された文字の映像データ（画像フレーム）を、サポートセンターサーバ５０に送信することを可能にする。すなわち、作業中の情報漏洩を防止しつつ、保守作業に有効な情報を送信することができる。

【0061】

スマートグラス１００は、映像データの画像フレームから、ＱＲコードを検出し、ＱＲコードの位置を基準として、保守対象装置２０の領域および排出口の領域を特定する。これによって、印刷物が出力される領域を絞り込むことができ、印刷物領域を特定するための処理負荷を軽減させることができる。

【0062】

スマートグラス１００は、保守作業中にカメラに撮影された映像データを基にして、印刷物の印刷物領域を特定する。これによって、保守作業の過程で保守対象装置２０から出力される印刷物に絞って、印刷物領域を設定して、マスク処理を抑止することができる。

【0063】

ところで、上述したスマートグラス１００の処理は一例であり、スマートグラス１００は、上記処理以外の処理を実行してもよい。ここでは、スマートグラス１００のその他の処理１～３について説明する。

【0064】

スマートグラス１００の「その他の処理１」について説明する。上記の実施例で説明した保守対象装置２０は、小型のプリンタを想定して説明を行ったが、大型のプリンタの場合、画像フレームに保守対象装置全体が収まらない場合や、収まったとしても排出口の領域が画像フレームの中で小さくなってしまうことから、保守対象装置の領域を特定して、保守対象装置の排出口の領域を特定することが困難になる。このため、保守対象装置の排出口付近にＱＲコードを予め設定しておくことで、大型プリンタの場合においても排出口の領域を特定することが可能となる。

【0065】

図７は、スマートグラスが実行するその他の処理１を説明するための図である。図７の画像フレームＩｍ２０は、スマートグラス１００のカメラ１０１が撮影した映像データに含まれる画像フレームである。スマートグラス１００のマスキング部１５２は、画像フレームＩｍ２０の全領域を走査して、ＱＲコード６の位置を検出する。

【0066】

マスキング部１５２は、ＱＲコード６から読み取った情報に、保守対象装置（大型プリンタ）の識別情報が含まれている場合、画像フレームＩｍ２０中のＱＲコード６の位置を基準とした保守対象装置の排出口の領域２７を特定する。大型プリンタでは、用紙の排出口２８が、左右にスイングしながら印刷物の出力を行うため、領域２７は、印刷物の領域となる。

【0067】

たとえば、スマートグラス１００のマスキング部１５２は、画像フレームＩｍ２０の全領域のうち、領域２７のマスク処理を抑止する。すなわち、スマートグラス１００のマスキング部１５２は、画像フレームＩｍ２０の全領域のうち、領域２７以外の領域に対してマスク処理を行う。

【0068】

このように、スマートグラス１００は、保守対象装置が大型プリンタである場合には、ＱＲコードの位置を基準とした領域２７に対するマスク処理を抑止することで、保守作業に有効な文字情報を、サポートセンターサーバ５０のオペレータに通知することができる。

【0069】

スマートグラス１００の「その他の処理２」について説明する。大型のプリンタの場合、排出口以外の領域でも印字状態が確認できる領域が存在する。このためかかる領域に、ＱＲコードを予め設定しておくことで、印字状態が確認できる領域がマスク処理されることを抑止できる。

【0070】

図８は、スマートグラスが実行するその他の処理２を説明するための図である。図８に示す保守対象装置６０は、覗き箇所６０ａと、排出口６０ｂとが含まれる。保守対象装置６０は、大型プリンタに対応する。覗き箇所６０ａは、保守対象装置６０の内部の動作や印刷状況をオペレータや作業員が確認する箇所である。たとえば、作業員は、覗き箇所６０ａの内部に、覗き箇所を識別する情報を設定したＱＲコードを付与しておく。なお、排出口６０ｂからは、印刷物が出力される。

【0071】

スマートグラス１００のマスキング部１５２は、カメラ１０１が撮影した映像データの画像フレームを走査して、ＱＲコードを検出する。スマートグラス１００は、ＱＲコード６から読み取った情報に、覗き箇所６０ａを識別する情報が含まれている場合、画像フレームの領域に対するマスク処理をスキップする。これによって、スマートグラス１００のカメラ１０１が撮影した映像データであって、覗き箇所６０ａの内部の様子を含む映像データを、サポートセンターサーバ５０のオペレータに通知することができる。

【0072】

スマートグラス１００の「その他の処理３」について説明する。上記の実施例では、スマートグラス１００は、保守作業中に保守対象装置２０から出力された印刷物の印刷物領域２６を追跡し、印刷物領域２６に対するマスク処理を抑止する場合について説明したが、これに限定されるものではない。たとえば、スマートグラス１００のマスキング部１５２は、保守作業中に保守対象装置２０から出力された印刷物を検出した場合に、保守対象装置２０の排出口の領域２５ａに対するマスク処理を抑止する処理を行い、印刷物領域２６を追跡する処理をスキップしてもよい。

【0073】

保守作業中に保守対象装置２０から出力された印刷物が、保守対象装置２０の排出口の領域２５ａに存在し続ける場合があり、印刷物領域２６を追跡する処理をスキップすることで、スマートグラス１００の処理負荷を軽減させることができる。

【符号の説明】

【0074】

１００ スマートグラス
１０１ カメラ
１０２ マイク
１０３ スピーカ
１０４ ディスプレイ
１０５ 加速度センサ
１０６ 入力装置
１１０ 無線通信部
１４０ 記憶部
１４１ 映像データ
１５０ 制御部
１５１ 取得部
１５２ マスキング部
１５３ 送信制御部
１５４ 通話制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】