特許 7377614 ウェアラブル装置および送信制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-01

(45)【発行日】2023-11-10

(54)【発明の名称】ウェアラブル装置および送信制御方法

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20231102BHJP

   G06F 3/01 20060101ALI20231102BHJP

【ＦＩ】

G06F3/0481

G06F3/01 510

【請求項の数】 5

(21)【出願番号】P 2019058353

(22)【出願日】2019-03-26

(65)【公開番号】P2020160696

(43)【公開日】2020-10-01

【審査請求日】2022-03-08

【前置審査】

(73)【特許権者】

【識別番号】598057291

【氏名又は名称】株式会社富士通エフサス

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】内倉 勇作

(72)【発明者】

【氏名】齊藤 竜志

【審査官】滝谷 亮一

(56)【参考文献】

【文献】特開２０１７－２１１７６６（ＪＰ，Ａ）

【文献】特開２００９－０４８５６８（ＪＰ，Ａ）

【文献】国際公開第２０２０／１９４４１３（ＷＯ，Ａ１）

【文献】特開２０１８－０３６８１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

利用者の周囲を撮影する撮影部と、
前記撮影部によって撮影された画像情報を外部装置に送信する送信部と、
自ウェアラブル装置に搭載された加速度センサから出力される出力値が閾値以上となった場合、前記撮影部の撮影範囲が所定の保守対象領域から逸脱したと判定する判定部と、
前記判定部によって、前記撮影部の撮影範囲が所定の保守対象領域から逸脱したと判定された場合、前記撮影部の撮影範囲が所定の保守対象領域を逸脱してから、前記撮影範囲が前記所定の保守対象領域に含まれるまでの期間、前記送信部が、前記画像情報を前記外部装置に送信する処理を抑止する送信制御部と
を有することを特徴とするウェアラブル装置。

【請求項2】

前記判定部は、自ウェアラブル装置に搭載された加速度センサから出力される出力値が閾値以上となった場合、前記撮影部の撮影範囲が所定の保守対象領域から逸脱したと判定する処理、および、前記画像情報から所定の対象物を検出する処理を継続して実行し、前記所定の対象物が検出されなくなった時点において、前記撮影部の撮影範囲が所定の保守対象領域から逸脱したと判定する処理を実行することを特徴とする請求項１に記載のウェアラブル装置。

【請求項3】

前記判定部は、前記画像情報に文字情報が含まれているか否かを更に判定し、前記送信制御部は、前記画像情報に文字情報が含まれている間、前記送信部が、前記画像情報を前記外部装置に送信する処理を抑止することを特徴とする請求項１または２に記載のウェアラブル装置。

【請求項4】

前記判定部は、前記画像情報に文字情報が含まれているか否かを更に判定し、前記画像情報に文字情報が含まれている間、前記文字情報をマスクする補正部を更に有することを特徴とする請求項１、２または３に記載のウェアラブル装置。

【請求項5】

利用者の周囲を撮影する撮影部を備えたウェアラブル装置の送信制御方法であって、
前記ウェアラブル装置は、
前記撮影部によって撮影された画像情報を外部装置に送信する際に、自ウェアラブル装置に搭載された加速度センサから出力される出力値が閾値以上となった場合、前記撮影部の撮影範囲が所定の保守対象領域から逸脱したか否かを判定し、
前記撮影部の撮影範囲が所定の保守対象領域から逸脱した場合、前記撮影部の撮影範囲が所定の保守対象領域を逸脱してから、前記撮影範囲が前記所定の保守対象領域に含まれるまでの期間、前記画像情報を前記外部装置に送信する処理を抑止する
処理を実行することを特徴とする送信制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ウェアラブル装置等に関する。

【背景技術】

【0002】

ＣＥ（Customer Engineer）は、保守対象となる機器のメンテナンスを行い、機器の不具合等を見つけた場合に、該当部品を取り外して部品の交換や機器内の各種調整を行い、機器の修理を実施する。なお、ＣＥは、メンテナンス中に不具合の確認方法、部品の取り外し方法、修理方法等が分からない場合には、サポートセンターに電話で問い合わせを行う。

【0003】

ここで、サポートセンターに電話で問い合わせる方法では、ＣＥによる電話の音声情報のみでサポートセンターのオペレータが内容を理解する必要があるため、具体的な不具合内容やＣＥが機器のどの部分を指し示しているのかを、サポートセンターのオペレータが理解できず、ＣＥに的確な指示を行えない場合がある。ＣＥに的確な指示を行えない場合には、不具合の可能性がある全ての部品交換や機器内の各種調整の実施を余儀なくされてしまい、メンテナンス時間が長引くことでＣＥへの負担が増えてしまう。

【0004】

上記問題を解消するために、ＶＲ（Virtual Reality）またはＡＲ（Augmented Reality）等の機能を有するゴーグル型のヘッドセットをＣＥが現場で利用することがある。以下の説明では、ＶＲまたはＡＲ等の機能を有するゴーグル型のヘッドセットを「スマートグラス」と表記する。ＣＥは、スマートグラスを装着してメンテナンスを行い、スマートグラスのカメラで、メンテナンス中の映像をサポートセンターに送信する。サポートセンターのオペレータは、メンテナンス中の映像をリアルタイムにかつ正確に把握できるため、ＣＥに的確な指示を行うことができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－１６８７７３号公報

【文献】特開２０１３－２１８３７９号公報

【文献】特開２００４－２５２７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、ＣＥがスマートグラスを装着してメンテナンスを行うと、メンテナンス中にＣＥが振り向いたり、保守対象の機器とは関係のない場所を眺めたりすることが起こり得る。保守対象の機器の周辺には、訪問先の機密情報が点在している場合があるため、ＣＥに悪意はなくとも、スマートグラスを介して、機密情報が外部に漏れてしまう場合がある。

【0007】

１つの側面では、本発明は、作業中の情報漏洩を防止することができるウェアラブル装置および送信制御方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の案では、ウェアラブル装置は、撮影部と、送信部と、判定部と、送信制御部とを有する。撮影部は、利用者の周囲を撮影する。送信部は、撮影部によって撮影された画像情報を外部装置に送信する。判定部は、撮影部の撮影範囲が所定の保守対象領域から逸脱したか否かを判定する。送信制御部は、判定部によって、撮影部の撮影範囲が所定の保守対象領域から逸脱したと判定された場合、撮影部の撮影範囲が所定の保守対象領域を逸脱してから、撮影範囲が前記所定の保守対象領域に含まれるまでの期間、送信部が、画像情報を外部装置に送信する処理を抑止する。

【発明の効果】

【0009】

作業中の情報漏洩を防止することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施例１に係るシステムの一例を示す図である。

【図2】図２は、本実施例１に係るスマートグラスの構成を示す機能ブロック図である。

【図3】図３は、本実施例１に係る補正部の処理を説明するための図である。

【図4】図４は、本実施例１に係るスマートグラスの処理手順を示すフローチャートである。

【図5】図５は、スマートグラスのその他の処理を説明するための図である。

【発明を実施するための形態】

【0011】

以下に、本願の開示するウェアラブル装置および送信制御方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例1】

【0012】

図１は、本実施例１に係るシステムの一例を示す図である。図１に示すように、ＣＥ１０は、スマートグラス１００を装着して、保守対象装置２０のメンテナンス作業を行う。スマートグラス１００は、無線通信によって、ネットワーク３０に接続し、サポートセンターサーバ５０との間でデータ通信を実行する。スマートグラス１００は、ウェアラブル装置の一例である。

【0013】

サポートセンターサーバ５０は、サポートセンターのオペレータが操作する端末装置である。サポートセンターサーバ５０は、スマートグラス１００から送信される映像データを表示し、サポートセンターのオペレータは、かかる映像データを参照して、ＣＥ１０のメンテナンス作業をサポートする。また、サポートセンターのオペレータは、サポートセンターサーバ５０を操作して、スマートグラス１００を装着したＣＥ１０と通話を行う。

【0014】

図２は、本実施例１に係るスマートグラスの構成を示す機能ブロック図である。図２に示すように、このスマートグラス１００は、カメラ１０１と、マイク１０２と、スピーカ１０３と、ディスプレイ１０４と、加速度センサ１０５と、入力装置１０６と、無線通信部１１０と、記憶部１４０と、制御部１５０とを有する。

【0015】

カメラ１０１は、ＣＥ１０の周囲を撮影するカメラである。たとえば、ＣＥ１０の前方向の範囲を撮影するように、スマートグラス１００に設置されているものとする。カメラ１０１は、撮影した映像データを、制御部１５０に出力する。カメラ１０１は、撮影部の一例である。

【0016】

マイク１０２は、マイク１０２の周辺の音を集音するマイクである。たとえば、マイク１０２は、ＣＥ１０の音声を集音した音声データを、制御部１５０に出力する。

【0017】

スピーカ１０３は、制御部１５０から出力される音データの音を出力するスピーカである。たとえば、スピーカ１０３から出力される音は、サポートセンターサーバ５０を操作するサポートセンターのオペレータからの音声である。

【0018】

ディスプレイ１０４は、制御部１５０から出力される各種の情報を表示する表示装置である。

【0019】

加速度センサ１０５は、加速度を測定するセンサである。加速度センサ１０５は、加速度の情報を、制御部１５０に出力する。

【0020】

入力装置１０６は、ＣＥ１０が各種の操作をスマートグラスに対して行う場合に利用する入力装置である。入力装置１０６は、入力ボタンやタッチパネル等に対応する。たとえば、ＣＥ１０は、カメラ１０１による撮影を開始する場合には、入力装置１０６を操作して「撮影開始指示」を入力する。ＣＥ１０は、カメラ１０１による撮影を終了する場合には、入力装置１０６を操作して「撮影終了指示」を入力する。

【0021】

無線通信部１１０は、無線通信によってネットワーク３０に接続し、ネットワーク３０を介して、サポートセンターサーバ５０とデータ通信を行う処理部である。無線通信部１１０は、無線通信装置の一例である。後述する制御部１５０は、無線通信部１１０を介して、サポートセンターサーバ５０とデータをやり取りする。

【0022】

記憶部１４０は、映像データ１４０ａを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

【0023】

映像データ１４０ａは、カメラ１０１によって撮影された映像データである。たとえば、映像データ１４０ａは、時系列に並んだ複数の画像フレームを含むデータである。

【0024】

制御部１５０は、取得部１５０ａと、送信部１５０ｂと、判定部１５０ｃと、送信制御部１５０ｄと、補正部１５０ｅと、通話制御部１５０ｆとを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

【0025】

取得部１５０ａは、カメラ１０１から映像データ１４０ａを取得する処理部である。取得部１５０ａは、取得した映像データ１４０ａを、記憶部１４０に登録する。たとえば、取得部１５０ａは、入力装置１０６から、撮影開始指示を受け付けた場合、カメラ１０１に撮影を開始させ、映像データ１４０ａの取得を開始する。取得部１５０ａは、入力装置１０６から、撮影終了指示を受け付けた場合、カメラ１０１に撮影を停止させ、映像データ１４０ａの取得を終了する。

【0026】

送信部１５０ｂは、映像データ１４０ａを、サポートセンターサーバ５０に送信する処理部である。なお、送信部１５０ｂは、後述する送信制御部１５０ｄから「送信停止命令」を受け付けた場合には、映像データ１４０ａの送信を停止する。

【0027】

ここで、送信部１５０ｂは、送信制御部１５０ｄから送信停止命令を受け付けてから、所定時間経過した後に、映像データ１４０ａの送信を再開してもよいし、入力装置１０６から撮影開始指示を再度入力された場合に、映像データ１４０ａの送信を再開してもよい。

【0028】

判定部１５０ｃは、カメラ１０１の撮影範囲が所定の保守対象領域から逸脱したか否かを判定する処理部である。判定部１５０ｃは、判定結果を送信制御部１５０ｄに出力する。

【0029】

たとえば、判定部１５０ｃは、入力装置１０６から撮影開始指示を入力された後に、加速度センサ１０５に測定される加速度と、閾値とを比較する。閾値は、予め設定されているものとする。判定部１５０ｃは、加速度センサ１０５に測定される加速度（出力値）が閾値以上となった場合に、カメラ１０１の撮影範囲が所定の保守対象領域から逸脱したと判定する。ＣＥ１０が、メンテナンス中に、振り向いた場合などには、加速度センサ１０５に測定される加速度が大きくなることが想定されるため、加速度が閾値以上となった場合には、保守対象領域から逸脱したと言える。

【0030】

送信制御部１５０ｄは、判定部１５０ｃから、カメラ１０１の撮影範囲が所定の保守帯域領域から逸脱した旨の判定結果を受け付けた場合に、送信停止命令を、送信部１５０ｂに送信する処理部である。

【0031】

補正部１５０ｅは、映像データ１４０ａに含まれる各画像フレームを走査して、映像データ１４０ａに文字情報が含まれるか否かを判定する。補正部１５０ｅは、映像データ１４０ａに文字情報が含まれる場合には、映像データ１４０ａの文字情報が含まれる領域をマスクする補正を行う。

【0032】

図３は、本実施例１に係る補正部の処理を説明するための図である。図３において、映像データ１４０ａのある画像フレーム１４１の対象領域１４１ａには、文字情報が含まれている。この場合、補正部１５０ｅは、対象領域１４１ａの文字列に対してマスクする処理を行うことで、画像フレーム１４１を補正する。補正部１５０ｅは、映像データ１４０ａに含まれる各画像フレームについて、上記処理を繰り返し実行する。

【0033】

通話制御部１５０ｆは、スマートグラス１００と、サポートセンターサーバ５０との通話を制御する処理部である。たとえば、通話制御部１５０ｆは、スマートグラス１００と、サポートセンターサーバ５０との通話回線を確立し、マイク１０２から入力されるＣＥ１０の音声データを、サポートセンターサーバ５０に送信する。通話制御部１５０ｆは、サポートセンターサーバ５０から送信されるサポートセンターのオペレータの音声データを、スピーカ１０３に出力する。

【0034】

次に、本実施例１に係るスマートグラス１００の処理手順の一例について説明する。図４は、本実施例１に係るスマートグラスの処理手順を示すフローチャートである。たとえば、スマートグラス１００は、入力装置１０６から、撮影開始指示を受け付ける度に、図４に示す処理を繰り返し実行する。

【0035】

図４に示すように、スマートグラス１００の取得部１５０ａは、入力装置１０６から撮影開始指示を受け付けた場合、カメラ１０１による映像の撮影を開始し、映像データ１４０ａを記憶部１４０に登録する（ステップＳ１０１）。

【0036】

スマートグラス１００の送信部１５０ｂは、映像データ１４０ａをサポートセンターサーバ５０に送信する処理を開始する（ステップＳ１０２）。スマートグラス１００の判定部１５０ｃは、加速度センサ１０５から出力される加速度が、閾値以上であるか否かを判定する（ステップＳ１０３）。スマートグラス１００は、加速度が閾値以上である場合には（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０９に移行する。スマートグラス１００は、加速度が閾値以上でない場合には（ステップＳ１０４，Ｎｏ）、ステップＳ１０５に移行する。

【0037】

スマートグラス１００の補正部１５０ｅは、映像データ１４０ａに文字情報が含まれるか否かを判定する（ステップＳ１０５）。補正部１５０ｅは、映像データ１４０ａに文字情報が含まれない場合には（ステップＳ１０６，Ｎｏ）、ステップＳ１０８に移行する。

【0038】

一方、補正部１５０ｅは、映像データ１４０ａに文字情報が含まれる場合には（ステップＳ１０６，Ｙｅｓ）、映像データ１４０ａの文字情報をマスクする（ステップＳ１０７）。

【0039】

送信部１５０ｂは、撮影終了指示を受け付けていない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０３に移行する。一方、送信部１５０ｂは、撮影終了指示を受け付けた場合には（ステップＳ１０８，Ｙｅｓ）、映像データ１４０ａをサポートセンターサーバ５０に送信する処理を停止する（ステップＳ１０９）。

【0040】

次に、本実施例１に係るスマートグラス１００の効果について説明する。スマートグラス１００は、加速度センサ１０５から出力される加速度が閾値以上となった場合に、カメラ１０１の撮影範囲が保守作業の対象範囲から逸脱したと判定し、映像データ１４０ａをサポートセンターサーバ５０に送信する処理を停止する。これによって、スマートグラスを用いた作業中の情報漏洩を防止することができる。

【0041】

スマートグラス１００は、映像データに文字情報が含まれる場合には、文字情報をマスクする補正を行う。これによって、保守対象範囲以外の文字情報を、カメラ１０１が撮影した場合でも、機密情報となる文字情報が、外部に漏洩することを抑止しつつ、映像データ１４０ａの送信が滞ることを防止することもできる。

【実施例2】

【0042】

実施例１で説明したスマートグラス１００の処理は一例であり、スマートグラス１００は、実施例１以外の処理を実行してもよい。ここでは、実施例２として、スマートグラス１００のその他の処理１～４について説明する。

【0043】

スマートグラス１００の「その他の処理１」について説明する。実施例１のスマートグラス１００では、加速度センサから出力される加速度が閾値以上となった場合に、カメラ１０１の撮影範囲が保守作業の対象範囲から逸脱したと判定していたが、これに限定されるものではない。たとえば、スマートグラス１００の判定部１５０ｃは、ジャイロセンサー（図示略）に接続し、水平状態を０度に調整したジャイロセンサーの値をチェックする。判定部１５０ｃは、ジャイロセンサーの値で特定される角度が所定角度（たとえば、４５度）以上となった場合に、カメラ１０１の撮影範囲が保守作業の対象範囲から逸脱したと判定してもよい。

【0044】

スマートグラス１００の「その他の処理２」について説明する。実施例１のスマートグラス１００では、加速度センサから出力される加速度が閾値以上となった場合に、カメラ１０１の撮影範囲が保守作業の対象範囲から逸脱したと判定していたが、これに限定されるものではない。たとえば、図１に示した保守対象装置２０には、保守対象領域であることを示す「目印」が設定されているものとする。目印は、バーコード等に対応する。

【0045】

スマートグラス１００の判定部１５０ｃは、映像データ１４０ａに含まれる各画像フレームを走査して、画像フレームに目印が含まれるか否かの判定結果を、送信制御部１５０ｄに出力する。送信制御部１５０ｄは、判定部１５０ｃの判定結果に基づき、画像フレームに目印が含まれる間、送信部１５０ｂが、映像データ１４０ａを、サポートセンターサーバ５０に送信することを許容する。一方、送信制御部１５０ｄは、判定部１５０ｃの判定結果に基づき、画像フレームに目印が含まれていない間、送信部１５０ｂが、映像データ１４０ａを、サポートセンターサーバ５０に送信することを抑止する。

【0046】

その他の処理２では、保守対象領域であることを示す目印として、バーコードを用いる場合について説明したがこれに限定されるものではなく、ペン等を、目印として用いてもよい。目印は、対象物の一例である。

【0047】

スマートグラス１００の「その他の処理３」について説明する。実施例１のスマートグラス１００では、補正部１５０ｅは、映像データ１４０ａに文字情報が含まれる場合に、文字情報をマスクする場合について説明したがこれに限定されるものではない。たとえば、ＣＥ１０は、保守作業を行う前に、保守作業の対象領域を示すメンテナンステープを貼っておくことで、保守作業の対象領域を明確に設定してもよい。

【0048】

図５は、スマートグラスのその他の処理を説明するための図である。図５において、映像データ１４０ａのある画像フレーム１４１には、メンテナンステープ５５が貼ってあり、保守作業の対象領域１４１ａが設定されている。補正部１５０ｅは、メンテナンステープ５５を検出した場合には、保守作業の対象領域１４１ｂ以外の領域に対して、マスクする処理を行うことで、画像フレーム１４１を補正する。補正部１５０ｅは、映像データ１４０ａに含まれる各画像フレームについて、上記処理を繰り返し実行する。

【0049】

スマートグラス１００の「その他の処理４」について説明する。実施例１のスマートグラス１００では、補正部１５０ｅが、映像データ１４０ａに含まれる各画像フレームを走査して、映像データ１４０ａに文字情報が含まれるか否かを判定し、映像データ１４０ａに文字情報が含まれる場合には、映像データ１４０ａの文字情報が含まれる領域をマスクする補正を行っていたがこれに限定されるものでは無い。送信制御部１５０ｄは、補正部１５０ｅが、文字情報を検出した場合に、文字情報を検出している間、送信部１５０ｂが、映像データ１４０ａをサポートセンターサーバ５０に送信することを抑止してもよい。

【0050】

たとえば、補正部１５０ｅは、映像データ１４０ａの画像フレームを走査して、文字情報を検出し、検出した文字情報の割合（画像フレーム全体に対する文字情報範囲の割合）が、所定の割合以上である場合に、文字情報を補正することを停止し、更に、送信部１５０ｂが、映像データ１４０ａをサポートセンターサーバ５０に送信することを抑止する。これによって、補正部１５０ｅの補正処理に係る負荷を軽減しつつ、情報漏洩の問題を解消することができる。

【0051】

ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0052】

さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【符号の説明】

【0053】

１０１ カメラ
１０２ マイク
１０３ スピーカ
１０４ ディスプレイ
１０５ 加速度センサ
１０６ 入力装置
１１０ 無線通信部
１４０ 記憶部
１４０ａ 映像データ
１５０ 制御部
１５０ａ 取得部
１５０ｂ 送信部
１５０ｃ 判定部
１５０ｄ 送信制御部
１５０ｅ 補正部
１５０ｆ 通話制御部

【図1】

【図2】

【図3】

【図4】

【図5】