知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-10
(45)【発行日】2024-10-21
(54)【発明の名称】操作支援方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20241011BHJP
G06T 19/00 20110101ALI20241011BHJP
G09G 5/00 20060101ALI20241011BHJP
【ＦＩ】
G06F3/01 510
G06T19/00 600
G09G5/00 510
G09G5/00 550C
G09G5/00 550H
G09G5/00 555D
【請求項の数】
2
(21)【出願番号】P 2023198735
(22)【出願日】2023-11-24
(62)【分割の表示】P 2021525411の分割
【原出願日】2019-06-10
(65)【公開番号】P2024019208
(43)【公開日】2024-02-08
【審査請求日】2023-11-24
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】藏知 恵
(72)【発明者】
【氏名】奥 万寿男
【審査官】亀澤 智博
(56)【参考文献】
【文献】国際公開第２０１７／１４５７８７（ＷＯ，Ａ１）
【文献】特開２０１８－１４９８６１（ＪＰ，Ａ）
【文献】特開２０１１－１１４７８１（ＪＰ，Ａ）
【文献】特開２０１８－１８５８０５（ＪＰ，Ａ）
【文献】特開２０１５－２１３２１２（ＪＰ，Ａ）
【文献】特開２０１１－２４５７９２（ＪＰ，Ａ）
【文献】特開２０１３－２０５４２５（ＪＰ，Ａ）
【文献】特開２０１５－２２８０９７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイから被操作機器の操作支援を行う操作支援方法であって、前記ヘッドマウントディスプレイは、
前記被操作機器に対して実行された第一操作を撮像して第一操作画像として取得する第一操作画像取得ステップと、
前記第一操作画像をサーバに送信し、前記サーバから前記被操作機器の操作支援情報に基づく提案仮想画像を受信する第一操作画像送受信ステップと、
前記提案仮想画像をディスプレイに表示する提案画像表示ステップと、
前記提案仮想画像を前記ディスプレイに表示した後に前記被操作機器に対して実行された第三操作を撮像して第三操作画像として取得し、前記第三操作画像を前記サーバに送信する第三操作画像送信ステップと、
を実行し、
前記サーバは、
前記ヘッドマウントディスプレイから前記第一操作画像を受信する第一操作画像受信ステップと、
前記第一操作画像に基づいて、前記被操作機器に対して推奨される第二操作に関する前記提案仮想画像をデータベースから選択する提案画像選択ステップと、
前記選択した提案仮想画像を前記ヘッドマウントディスプレイに送信する提案仮想画像送信ステップと、
前記ヘッドマウントディスプレイから前記第三操作画像を受信する第三操作画像受信ステップと、
前記第二操作と前記第三操作が異なる操作である場合に、前記第三操作に関する情報を記憶することにより前記データベースを更新するデータベース更新ステップと、
を実行し、
前記データベースは、複数の提案仮想画像を記憶する仮想画像データセットと、被操作機器に関する情報及び当該被操作機器に対して推奨される複数の提案操作に関する情報を記憶するマニュアルデータセットと、を備えるものであり、
前記提案画像選択ステップでは、
前記第一操作画像から前記被操作機器の機器種別情報を取得し、
前記機器種別情報と前記第一操作画像に基づいて、前記マニュアルデータセットから、前記被操作機器に対して推奨される前記第二操作に関する情報を取得し、
前記被操作機器に対して推奨される前記第二操作に関する情報に基づいて、前記仮想画像データセットから前記提案仮想画像を取得する、
ことを特徴とする操作支援方法。
【請求項2】
請求項１に記載の操作支援方法であって、前記提案画像選択ステップで選択される前記提案仮想画像は、前記被操作機器の操作パネルのうち、前記被操作機器に対して推奨される前記第二操作で使用しない部分の視認性を低下させる画像である、
ことを特徴とする操作支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作支援方法に関する。
【背景技術】
【0002】
現実空間にグラフィックスや文字などの仮想物体（ＡＲオブジェクト：Ａｒｇｕｍｅｎｔ Ｒｅａｌｉｔｙオブジェクト）の画像を重ね合わせて表示させ、ユーザに視認させる、所謂ＡＲ技術が、ゲームや操作支援等のコンテンツに用いられている。
【0003】
またＡＲ技術を応用した複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムがある。その一例として、特許文献１には、「案内情報表示装置としてのヘッドマウントディスプレイ装置は表示部と、カメラ部と、ユーザの特定行動（たとえば、外部メモリを手に持って注視する行動）を検出する行動検出部を有し、特定行動を検出した後、カメラ部で特定の操作対象機器（たとえば、複合機）が撮影されたとき、その特定行動と撮影された操作対象機器との組み合わせに対応する案内情報（操作対象機器における外部メモリの装着方法や外部メモリを使用する機能に関する案内情報）を表示部に表示する。また操作対象機器から外部メモリの接続Ｉ／Ｆ部の位置や現時点の使用状況に関する情報を取得して案内表示する（要約抜粋）」という記載がある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－９３０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１では、操作支援の対象となる被操作機器と、操作支援情報を表示するヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）とが同一のＬＡＮに接続された状態で操作支援を行う。
【0006】
しかし、被操作機器に通信機能がない場合、また操作対象機器に通信機能があっても、ＨＭＤが接続中のネットワークには未接続、又は操作対象機器の通信状況が不安定な場合がある。このように操作対象機器の通信環境や通信状態については特許文献１では考慮されていない。
【0007】
本発明は上記実情に鑑みてなされたものであり、被操作機器の通信状況の如何に関らず、被操作機器の操作支援を円滑に行うことを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明は、ヘッドマウントディスプレイから被操作機器の操作支援を行う操作支援方法であって、前記ヘッドマウントディスプレイは、前記被操作機器に対して実行された第一操作を撮像して第一操作画像として取得する第一操作画像取得ステップと、前記第一操作画像をサーバに送信し、前記サーバから前記被操作機器の操作支援情報に基づく提案仮想画像を受信する第一操作画像送受信ステップと、前記提案仮想画像をディスプレイに表示する提案画像表示ステップと、前記提案仮想画像を前記ディスプレイに表示した後に前記被操作機器に対して実行された第三操作を撮像して第三操作画像として取得し、前記第三操作画像を前記サーバに送信する第三操作画像送信ステップと、を実行し、前記サーバは、前記ヘッドマウントディスプレイから前記第一操作画像を受信する第一操作画像受信ステップと、前記第一操作画像に基づいて、前記被操作機器に対して推奨される第二操作に関する前記提案仮想画像をデータベースから選択する提案画像選択ステップと、前記選択した提案仮想画像を前記ヘッドマウントディスプレイに送信する提案仮想画像送信ステップと、前記ヘッドマウントディスプレイから前記第三操作画像を受信する第三操作画像受信ステップと、前記第二操作と前記第三操作が異なる操作である場合に、前記第三操作に関する情報を記憶することにより前記データベースを更新するデータベース更新ステップと、を実行し、前記データベースは、複数の提案仮想画像を記憶する仮想画像データセットと、被操作機器に関する情報及び当該被操作機器に対して推奨される複数の提案操作に関する情報を記憶するマニュアルデータセットと、を備えるものであり、前記提案画像選択ステップでは、前記第一操作画像から前記被操作機器の機器種別情報を取得し、前記機器種別情報と前記第一操作画像に基づいて、前記マニュアルデータセットから、前記被操作機器に対して推奨される前記第二操作に関する情報を取得し、前記被操作機器に対して推奨される前記第二操作に関する情報に基づいて、前記仮想画像データセットから前記提案仮想画像を取得する、ことを特徴とする。
【発明の効果】
【0009】
本発明によれば、被操作機器の通信状況の如何に関らず、被操作機器の操作支援を円滑に行うことができる。上記した以外の課題、構成、効果については以下の説明で明らかにされる。
【図面の簡単な説明】
【0010】
【図1】第一実施形態の操作支援システムの構成を示す図
【図2】透過型のＨＭＤ１の外観を示す図
【図3】ＨＭＤの機能ブロック図
【図4】操作支援アプリのフローチャート
【図5】操作支援システムの機能ブロック図
【図6】操作支援方法のフローチャート
【図7】マニュアルデータセットの例を示す図
【図8】撮像画像データセットの例を示す図
【図9】ＡＲ画像データセットの例を示す図
【図10A】被操作機器の外見を撮像した撮像画像を示す図
【図10B】ＨＭＤで表示されるＡＲ画像の例を示す図
【図10C】ＨＭＤで表示されるＡＲ画像の例を示す図
【図10D】ＨＭＤで表示されるＡＲ画像の例を示す図
【図10E】ＨＭＤで表示されるＡＲ画像の例を示す図
【図10F】ＨＭＤで表示されるＡＲ画像の例を示す図
【図11】第二実施形態に係る操作支援システムの機能ブロック図
【図12】第二実施形態に係る操作支援方法のフローチャート
【図13】操作者履歴データセットの例を示す図
【図14】第三実施形態に係る操作支援システムの構成を示す図
【図15】第三実施形態に係る操作支援方法のフローチャート
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、本発明の実施形態について説明する。
【0012】
【0013】
（操作支援システムの構成）
図１は、第一実施形態の操作支援システム１００の構成を示す図である。図１に示すように、操作支援システム１００は、操作者２が装着した透過型のＨＭＤ１、操作支援サーバ４、操作支援データベース５のそれぞれを、第一ネットワーク３を介して通信接続して構成される。
図１は、第一実施形態の操作支援システム１００の構成を示す図である。図１に示すように、操作支援システム１００は、操作者２が装着した透過型のＨＭＤ１、操作支援サーバ４、操作支援データベース５のそれぞれを、第一ネットワーク３を介して通信接続して構成される。
【0014】
一方、操作者２が操作支援システム１００を用いて操作支援を受ける対象となる操作機器（以下「被操作機器」という）６は、第一ネットワーク３には接続されておらず、かつＨＭＤ１、操作支援サーバ４、操作支援データベース５のいずれにも通信接続されていない操作機器である。
【0015】
被操作機器６は、被操作機器６の機器制御サーバ８と第二ネットワーク７を介して接続され、機器制御システム２００を構成する。
【0016】
被操作機器６は、筐体の外表面に操作パネル６１が備えられる。操作パネル６１は、表示面６２と、操作ボタン６３とを含む。表示面６２の表示内容は、被操作機器６の外表面から視認できる。
【0017】
機器制御サーバ８は、機器制御システム２００の第二ネットワーク７を介して、被操作機器６の動作命令を送信し、被操作機器６の動作状態を収集する。機器制御システム２００は、複数の被操作機器６を含んでもよいし、被操作機器６のスタンドアローンの形態であってもよい。
【0018】
ＨＭＤ１は、操作者２の視界とほぼ同じ撮像範囲の映像を撮像するカメラ１０を備える。これにより、操作者２が被操作機器６の操作中に被操作機器６の操作パネル６１を視認すると、カメラ１０は操作パネル６１の撮像画像（映像でも静止画でもよい）を撮像する。この撮像画像は、操作パネル６１が撮像された映像に限らない。例えば、被操作機器６の筐体に記載された製造メーカ、機種名、機種番号、製造番号、インジケータ等であってもよい。撮像画像は、操作支援システム１００の第一ネットワーク３を介して、操作支援サーバ４に送信される。操作支援サーバ４は、この撮像画像を用いて被操作機器６の動作状態を判定する。
【0019】
操作支援サーバ４は、操作支援データベース５を検索し、判定した被操作機器６の動作状態に対応する少なくとも一つ以上の操作支援情報を選択又は抽出する。操作支援サーバ４は、選択又は抽出した操作支援情報から操作者２に対して推奨するのに適した少なくとも一つ以上の操作支援情報を決定する。操作支援サーバ４は、操作支援情報に対応するＡＲ画像を操作支援データベース５から選択し、ＨＭＤ１に送信する。本明細書において、操作支援データベース５には予め少なくとも一つ以上のＡＲ画像が格納されているものとする。そして、操作支援サーバ４が選択してＨＭＤ１に送信するＡＲ画像は、予め記憶されたＡＲ画像と区別する意味で、「提案ＡＲ画像（ｐｒｏｐｏｓｅｄ ＡＲ ｉｍａｇｅ）」という。
【0020】
ＨＭＤ１は、提案ＡＲ画像を受信する。ＨＭＤ１は、操作者２の眼前に位置する表示光学系１３（ディスプレイ）に表示する。操作者２が被操作機器６を視認している場合は、提案ＡＲ画像が被操作機器６及びその近傍に表示される。
【0021】
操作者２が操作を行う度に、これらの操作過程の撮像画像が操作支援サーバ４を介して操作支援データベース５に追加される。これにより、操作支援データベース５に撮像画像が操作履歴(履歴データの一部を構成する)として更新される。
【0022】
なお、操作支援システム１００で操作支援を受けられる操作者２は、一人には限られない。図示はしていないが、複数の被操作機器６のそれぞれを操作する複数の操作者２のそれぞれが装着する各ＨＭＤ１を操作支援システム１００の第一ネットワーク３に接続し、操作支援サーバ４が同時に複数人に対して操作支援を提供してもよい。
【0023】
（ＨＭＤ）
図２は、透過型のＨＭＤ１の外観を示す図である。図２に示すように、透過型のＨＭＤ１は、カメラ１０、測距カメラ１１、左投影光学系１２ａ、右投影光学系１２ｂ、レンズやスクリーンを含む表示光学系１３、ノーズパッド１４、第一プロセッサ１５、スピーカ１６、マイク１７、左つる１８ａ、右つる１８ｂ、前面フレーム１８ｃ、左視線検出センサ１９ａ、右視線検出センサ１９ｂを含む。左つる１８ａ、右つる１８ｂ、及び前面フレーム１８ｃはフレーム筐体を構成する。
図２は、透過型のＨＭＤ１の外観を示す図である。図２に示すように、透過型のＨＭＤ１は、カメラ１０、測距カメラ１１、左投影光学系１２ａ、右投影光学系１２ｂ、レンズやスクリーンを含む表示光学系１３、ノーズパッド１４、第一プロセッサ１５、スピーカ１６、マイク１７、左つる１８ａ、右つる１８ｂ、前面フレーム１８ｃ、左視線検出センサ１９ａ、右視線検出センサ１９ｂを含む。左つる１８ａ、右つる１８ｂ、及び前面フレーム１８ｃはフレーム筐体を構成する。
【0024】
操作者２は、左つる１８ａの開放端（先セル）、右つる１８ｂの開放端（先セル）、及びノーズパッド１４を操作者２に接触させて、ＨＭＤ１を操作者２の顔に装着する。
【0025】
カメラ１０は、ユーザの視線の前方を撮像する向きで前面フレーム１８ｃに取り付けられる。
【0026】
測距カメラ１１は、カメラ１０の撮像画像が捉える現実空間の現実物体（例えば被操作機器６）との距離を測定する。測距カメラ１１は、現実物体の輪郭等の特徴点に対してステレオカメラのような方式で距離を算出するものでもよいし、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のように２次元的に光線を照射して距離を計測するものでもよく、撮像画像に対応して、現実物体との距離を測定できるものであれば良い。測距カメラ１１は、ユーザの視線の前方を撮像する向きで前面フレーム１８ｃにカメラ１０と隣接して取り付けられる。
【0027】
左投影光学系１２ａ、右投影光学系１２ｂ、及び表示光学系１３は、ＨＭＤ１の表示部を構成する。左投影光学系１２ａは、仮想物体（ＡＲオブジェクト）を左目で確認する左ＡＲ画像として表示光学系１３に投影して表示する。右投影光学系１２ｂは、ＡＲオブジェクトを右目で確認する右ＡＲ画像として表示光学系１３に投影して表示する。
【0028】
又は、左投影光学系１２ａ、右投影光学系１２ｂ、及び表示光学系１３は、ひとつのプロジェクタでインタリーブした左ＡＲ画像と右ＡＲ画像を投影し、シャッタ光学系で左ＡＲ画像と右ＡＲ画像をそれぞれの目に投影させるものであっても良い。さらには、ホログラフィックレンズを用いた光学系でも良い。
【0029】
操作者２は、前方の風景や現実物体を、表示光学系１３を透過して視認する。その際に、操作者２は、表示光学系１３に表示された左ＡＲ画像及び右ＡＲ画像を現実世界に重畳して視認する。操作者２は、左ＡＲ画像及び右ＡＲ画像の視差のずれに応じた現実空間の位置に一つのＡＲ画像を虚像として視認するので、結果として、現実世界に重畳して一つのＡＲ画像を視認する。視差のずれは、前述した測距カメラ１１で測定した被操作機器６までの距離に応じたずれ量とすることで、被操作機器６に一つのＡＲ画像を視認させることができる。
【0030】
図３は、ＨＭＤ１の機能ブロック図である。図３に示すように、第一プロセッサ１５は、特徴抽出処理部５１、距離算出部５２、少なくとも１つ以上のセンサ、例えばジャイロ、方位、位置、接触センサ等を含んで構成されるセンサ群５３、第一通信器（ｒｅｃｅｉｖｅｒ ａｎｄ ｔｒａｎｓｍｉｔｔｅｒ）５４、ＣＰＵ５５、ＲＡＭ５６、画像ＲＡＭ５７、Ｐｒｏｇｒａｍ Ｆｌａｓｈ ＲＯＭ（ＦＲＯＭ）５８、及びＤａｔａ Ｆｌａｓｈ ＲＯＭ（ＦＲＯＭ）５９を含み、各構成要素がバス６０を介して互いに接続されて構成される。特徴抽出処理部５１、距離算出部５２は、ＣＰＵが実行するプログラムとして構成される。
【0031】
第一通信器５４は、ＨＭＤ１を第一ネットワーク３に通信接続してデータを送受信する。
【0032】
Ｐｒｏｇｒａｍ ＦＲＯＭ５８は、操作支援アプリ８１を記憶する。操作支援アプリ８１は、ＣＰＵ５５がＲＡＭ５６に展開して、実行する。
【0033】
Ｄａｔａ ＦＲＯＭ５９は、処理プログラムを実行する過程及び結果で発生するデータを格納することができる。なお、Ｐｒｏｇｒａｍ ＦＲＯＭ５８とＤａｔａ ＦＲＯＭ５９は、図示したように別々のメモリ媒体で構成しても良いし、ひとつのメモリ媒体で構成しても良い。さらには２つ以上のメモリ媒体であっても良く、Ｆｌａｓｈ ＲＯＭ以外の不揮発性のメモリ媒体であっても良い。
【0034】
第一プロセッサ１５は、カメラ１０で撮像した現実空間の撮像画像、測距カメラ１１で取得した現実物体などの現実空間の位置データを取り込み、内部のＲＡＭ５６やＣＰＵ５５に供給する。
【0035】
ＣＰＵ５５は、左投影光学系１２ａ及び右投影光学系１２ｂのそれぞれに送信する画像データを画像ＲＡＭ５７に格納し、画像ＲＡＭ５７から読み出して左投影光学系１２ａ及び右投影光学系１２ｂのそれぞれに出力する。また、ＣＰＵ５５は、スピーカ１６に出力する音を作成する。
【0036】
第一プロセッサ１５は右つる１８ｂに、スピーカ１６、マイク１７は左つる１８ａに取り付けられる。これらの取付例は一例であり、フレーム１８の他の場所に取り付けられもよい。
【0037】
図４は、操作支援アプリ８１のフローチャートである。操作者２がＨＭＤ１を装着し、ログインまたは操作支援アプリ８１を起動して操作支援方法の処理が開始する（Ｓ１００）。
【0038】
ＨＭＤ１のカメラ１０が起動し、被操作機器６を撮像し（Ｓ１０１）、撮像画像を操作支援サーバ４に送信する（Ｓ１０２）。または、操作者２を特定するための操作者情報、例えば操作者２の氏名、ＩＤ情報や、ＨＭＤ１を固有に特定することで間接的に操作者２を特定する情報を送信してもよい。この操作者情報は、図６で後述する操作支援サーバ４の処理において用いられる。
【0039】
撮像画像は、被操作機器６の状態が認識できる画像であって、さらには被操作機器６を特定できる機種や型番等の情報が含まれることが望ましい。撮像は、撮像画像を操作支援サーバ４に送信する直前タイミングで行っても良いし、例えば３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の動画撮像を継続していて、特定のタイミングで撮像画像を操作支援サーバ４に送信するようにしてもよい。
【0040】
操作支援サーバ４は、操作者２が操作支援を必要としているか否かを判定する（Ｓ１０３）。判定の基準は、例えば時間を計測し、操作者２が所定の時間を越えても次のステップの操作を開始しない場合、操作支援が必要であると判定してもよい。操作支援サーバ４が操作支援を不要と判定した場合（Ｓ１０３：ＮＯ）、後述するステップＳ１０７へ進む。
【0041】
操作支援サーバ４が操作支援を必要と判定した場合（Ｓ１０３：ＹＥＳ）、操作支援サーバ４は推奨する操作を示す提案ＡＲ画像をＨＭＤ１に送信する。ＨＭＤ１は提案ＡＲ画像を受信し（Ｓ１０４）、提案ＡＲ画像を表示する（Ｓ１０５）。
【0042】
操作支援サーバ４は、既にＨＭＤ１に送信した提案ＡＲ画像を再表示する場合、ＨＭＤ１に対して提案ＡＲ画像を送信する代わりに、ＨＭＤ１の画像ＲＡＭ５７、Ｐｒｏｇｒａｍ ＦＲＯＭ５８、又はＤａｔａ ＦＲＯＭ５９に記憶されている提案ＡＲ画像を読み出して表示するコマンドを送信してもよい。
【0043】
操作者２が被操作機器６を操作するまでは待機、即ち提案ＡＲ画像の表示を続行する（Ｓ１０６：ＮＯ）。
【0044】
操作者２が被操作機器６を操作し（Ｓ１０６：ＹＥＳ）、操作が完了してログアウト操作またはアプリ終了操作がされると（Ｓ１０７：ＹＥＳ）、操作支援処理を終了する（Ｓ１０８）。
【0045】
ログアウト操作及びアプリ終了操作のどちらも実行されない場合は（Ｓ１０７：ＮＯ）、Ｓ１０１に戻り操作支援処理を続行する。
【0046】
（操作支援システム）
図５は、操作支援システム１００の機能ブロック図である。図５に示すように、操作支援サーバ４は、ネットワークインタフェース（Ｉ／Ｆ）４１０（第二通信器に相当する）と第二プロセッサ４１５とを含む。第二プロセッサ４１５は、ＣＰＵ４２０、ＲＡＭ４３０、内部ストレージ４４０を備え、各構成要素はバス４６０で互いに接続されている。内部ストレージ４４０は、処理プログラムとして、操作支援サービスプログラム４５０を記憶している。ＣＰＵ４２０は、内部ストレージ４４０に格納された操作支援サービスプログラム４５０をＲＡＭ４３０にロードして操作支援サービスを提供する。
図５は、操作支援システム１００の機能ブロック図である。図５に示すように、操作支援サーバ４は、ネットワークインタフェース（Ｉ／Ｆ）４１０（第二通信器に相当する）と第二プロセッサ４１５とを含む。第二プロセッサ４１５は、ＣＰＵ４２０、ＲＡＭ４３０、内部ストレージ４４０を備え、各構成要素はバス４６０で互いに接続されている。内部ストレージ４４０は、処理プログラムとして、操作支援サービスプログラム４５０を記憶している。ＣＰＵ４２０は、内部ストレージ４４０に格納された操作支援サービスプログラム４５０をＲＡＭ４３０にロードして操作支援サービスを提供する。
【0047】
操作支援データベース５は、データストレージにより構成され、その記憶領域にマニュアルデータセット５１０、撮像画像データセット５３０、ＡＲ画像データセット５５０を含む。なお、操作支援データベース５は、外部向けインタフェースによって、操作支援サーバ４に直接接続される形態であっても良い。また操作支援データベース５は、操作支援サーバ４を構成する記憶媒体により構成してもよい。この場合、操作支援サーバ４と操作支援データベース５とは一体に構成される。
【0048】
図６は、操作支援方法のフローチャート（操作支援サーバ４の処理）である。図６に示すように、操作支援方法が開始し（Ｓ１２５）、操作支援サーバ４が、Ｓ１０２でＨＭＤ１から送信された撮像画像、操作者情報を受信する（Ｓ１２６）。操作支援サーバ４は、受信した撮像画像を撮像画像データセット５３０と比較し、類似の撮像画像データがあればグループ化して保存し、類似の撮像画像データがなければ新規に登録して、撮像画像データセット５３０を更新する（Ｓ１２７）。
【0049】
操作支援サーバ４は、マニュアルデータセット５１０を検索し、撮像画像データに近い図面等が掲載されている推奨操作を選定する（Ｓ１２８）。この時、操作支援サーバ４は、グループ化した撮像画像データで推奨した結果も参照することにより、推奨操作選定の確度を上げられる。もしくは、類似の撮像画像データで推奨した操作を推奨して、処理プロセスの時間を短縮できる。操作支援サーバ４は、この推奨結果を、撮像画像データセット５３０とマニュアルデータセット５１０との関連付けデータとして撮像画像データセット５３０に追記する。
【0050】
選択された推奨操作ではなく、操作者２の意図に基づく操作を操作者２が行ったような場合には、操作支援サーバ４は、操作者２の選択をマニュアルデータセット５１０に追記して、以降の同様なケースで、短時間で、適切な推奨が行なえるようにする。
【0051】
操作支援サーバ４は、Ｓ１２６で受信した撮像画像データと、Ｓ１２７で選定した推奨操作からＡＲ画像データセット５５０を検索し、ＨＭＤ１に送信する提案ＡＲ画像を選択する（Ｓ１２９）。この選択結果は、提案ＡＲ画像と関連付ける情報として、マニュアルデータセット５１０に追記する。
【0052】
もし適切なＡＲ画像が得られない場合には、操作支援サーバ４は、新規にＡＲ画像を生成する。新規にＡＲ画像を生成した場合には、ＡＲ画像データセット５５０に追記する。操作支援サーバ４は、選択もしくは生成した提案ＡＲ画像をＨＭＤ１に送信する（Ｓ１３０）。
【0053】
操作支援サーバ４は、終了条件を満たしている場合（Ｓ１３１：ＹＥＳ）、例えば操作支援方法を利用している全ての操作者２がログアウトしている場合に、操作支援方法を終了する（Ｓ１３２）。
【0054】
操作支援サーバ４は、終了条件を満たしていない場合（Ｓ１３１：ＮＯ）、例えば操作支援方法を利用している少なくとも一人以上の操作者２がログインしている場合に、操作支援方法を終了せずに、Ｓ１２６へ戻る。
【0055】
マニュアルデータセット５１０、撮像画像データセット５３０、ＡＲ画像データセット５５０は、一連の推奨動作の提示、操作者の操作実行によってデータの更新が行なわれる。これにより、それぞれのデータの内容は拡充され、推奨の確度を上げることが可能となる。
【0056】
（操作支援データベース）
図７は、マニュアルデータセット５１０の例を示す図である。マニュアルデータセット５１０は、ヘッダ５１１及びボディ５１２を含む。
図７は、マニュアルデータセット５１０の例を示す図である。マニュアルデータセット５１０は、ヘッダ５１１及びボディ５１２を含む。
【0057】
ヘッダ５１１には、被操作機器の型名５１３、データの種類がマニュアルデータ５１４であることが記載されている。
【0058】
ボディ５１２がマニュアルデータの中身であり、操作毎に、操作の内容、関連図面が記載されている。例えば、操作５１６に対して、操作内容５１７、関連図面５１８、及び関連付けられたＡＲ画像データの番号５１９、意図的にこの操作を選択した操作者２の名前５２０が付随して規定されている。更に、マニュアルデータは、操作５２１に対して、操作内容５２２、関連図面５２３、関連付けられたＡＲ画像データの番号５２４、意図的にこの操作を選択した操作者２の名前５２５（空欄）が付随して規定されている。
【0059】
図８は、撮像画像データセット５３０の例を示す図である。撮像画像データセット５３０は、ヘッダ５３１及びボディ５３２を含む。
【0060】
ヘッダ５３１には、被操作機器６の型名５３３、データの種類が撮像画像データ５３４であることが記載されている。更にヘッダ５３１は、被操作機器６の設置場所５３５、被操作機器６の個別識別情報５３６が続く。これらのデータは手動で入力してもよいし、背景画像からネットワーク空間を検索して得てもよいし、操作者２が装着しているＨＭＤ１のＧＰＳ等位置センサから得てもよい。さらに操作者情報５３７が続く。
【0061】
ボディ５３２が撮像画像データの中身であり、撮像画像データは、撮像日時と画像データに、グループ化情報、関連付けられた操作で一組となる。例えば、５３８、５３９と５４０、５４１で、５４２～５４６で撮像画像データを成す。なお推奨操作を特定する処理は、時間的に連続した複数の撮像画像データを用いてもよい。
【0062】
図９は、ＡＲ画像データセット５５０の例を示す図である。ＡＲ画像データセット５５０は、ヘッダ５５１及びボディ５５２を含む。
【0063】
ヘッダ５５１には、被操作機器６の型名５５３、データの種類がＡＲ画像データ５５４であることが記載されている。
【0064】
ボディ５５２がＡＲ画像データの中身であり、ＡＲ画像データは、ＡＲ画像の識別番号と３次元もしくは２次元のグラフィックもしくは画像データの対である。例えば、５５５と５５６、５５７と５５８、５５９と５６０の対でＡＲ画像データを成す。またＡＲ画像の識別番号（図中の一例では００１－０００－０２５－００１）は、個々のＡＲ画像を区別するためのものである。
【0065】
図１０Ａは、被操作機器６の外見を撮像した撮像画像を示す図である。図１０Ａに示すように、被操作機器６の撮像画像には、操作パネル６１、表示面６２、操作ボタン６３、型式の銘板６４（機種、型番）が撮像されている。操作支援サーバ４は、撮像画像のうち、銘板６４（機種、型番）の撮像領域を画像解析して、被操作機器６の機種を特定し、被操作機器６に合ったマニュアルデータの選択を行う。
【0066】
【0067】
図１０Ｂに示す撮像画像には、表示面６２の表示内容６５、例えばエラーメッセージやエラーコードが撮像されている。インジケータが撮像されていれば、そのインジケータの点灯状態からも被操作機器６の状態判定が行える。該表示内容、及び表示内容の履歴は、被操作機器６の状態を特定するのに有用な情報となる。本例では、ＨＭＤ１が８番のボタン以外を覆い隠す提案ＡＲ画像６６を操作パネル６１に重畳表示する。これにより、操作者２に対して、８番のボタンを押す操作が推奨されている。
【0068】
図１０Ｃは、図１０Ｂと同じ推奨操作が提示される状況で、異なる提案ＡＲ画像６７が表示されている。同一推奨動作を提示する提案ＡＲ画像であっても、操作者２の特性等に合わせて異なる提案ＡＲ画像を提示しても良い。
【0069】
図１０Ｄは、推奨動作が複数提示される例である。ＡとＢが推奨動作であり、操作者２がいずれかを選択する。操作者２がＡの推奨動作を選択する場合には、１番のボタンを、Ｂの推奨動作を選択する場合には、９番のボタンを押すが、ＡやＢの推奨動作であることを示す提案ＡＲ画像６８、６９をそれぞれのボタン上に重畳表示して、わかりやすさを向上させている。
【0070】
【0071】
図１０Ｆは、ＡＲ画像７２、７３、７４が操作パネル６１の近傍に表示されている例である。ＨＭＤ１の左視線検出センサ１９ａ及び右視線検出センサ１９ｂが操作者２の視線を検知し、操作パネル６１から操作者２の視線が外れているとＨＭＤ１が判断した際に、ＨＭＤ１は提案ＡＲ画像７３を表示する。
【0072】
あるいは、表示面６２に操作を要求する表示がされているにも関わらず、所定の時間を経過しても操作者２が操作を行わないことを操作支援サーバ４がＨＭＤ１から受信した撮像画像を検出した場合に、操作支援サーバ４から操作を促すための提案ＡＲ画像又は画像を表示させるためのコマンドをＨＭＤ１に対して送信し、ＨＭＤ１に表示してもよい。所定の時間は推奨動作の内容によって、都度変更してもよい。
【0073】
第一実施形態によれば、被操作機器６と操作支援システム１００とが通信を行うことなく操作支援を操作者２に対して行うことができる。そのため、被操作機器６が通信機能を有しているか否かに問わず、また通信状態の良否に関らず、被操作機器６の操作支援が行える。
【0074】
また、被操作機器６と操作支援システム１００とは、操作支援をするために通信が不要であるので、操作支援システム１００を利用することが被操作機器６の内部への攻撃リスクになることはない。また、操作支援データベース５は、操作支援システム１００を利用する度に更新されるので、操作方法に対するノウハウの追加やユーザの熟練度向上等に対するシステム改善が可能となり推奨操作の確度を改善していくことが可能となる。
【0075】
［第二実施形態］
図１１～図１３で、第二実施形態について説明する。本実施形態は、操作者２の行動履歴を操作者履歴データセット５７０として保持し、該操作者履歴データセット５７０を推奨操作の選定に反映させる例である。
図１１～図１３で、第二実施形態について説明する。本実施形態は、操作者２の行動履歴を操作者履歴データセット５７０として保持し、該操作者履歴データセット５７０を推奨操作の選定に反映させる例である。
【0076】
図１１は、第二実施形態に係る操作支援システム１００ａの機能ブロック図である。図５で説明した操作支援システム１００と同一の機能を有するブロックには同一の番号を付与しており、重複した説明は省く。本操作支援システム１００ａの操作支援データベース５には、操作者履歴データセット５７０が追加されている。
【0077】
【0078】
図１２の操作支援方法のフローチャートで、Ｓ１５０では、マニュアルデータに加えて操作者履歴データセット５７０を用いて、推奨操作を選定している。さらにＳ１５１では、操作者２の実行動作を撮像画像から抽出し、操作者履歴データセット５７０に追記している。
【0079】
図１３は、操作者履歴データセット５７０の例を示す図である。操作者履歴データセット５７０は、ヘッダ５７１とボディ５７２がある。
【0080】
ヘッダ５７１には、被操作機器６の型名５７３、データの種類が操作者履歴データ５７４であることが記載されている。操作者情報として操作者名５７５、操作者の経験年数５７６、操作者のスキルポイント５７７が続く。
【0081】
ボディ５３２が操作者履歴データの中身である。操作者履歴データは、操作者２の実行動作と結果の対である。例えば、５７８～５８１の実行動作と５８２の結果で一組の履歴であり、同様、５８３～５８６の実行動作と５８７の結果で組の履歴データとなる。
【0082】
以上説明したように、第二実施形態によれば、第一実施形態と同様の効果を持つとともに、操作者履歴データが推奨操作の決定に反映されることにより、操作者２の意図した選択によるものや好みによるもの等を反映して、推奨動作を決定することができ、さらに確度の高い推奨動作を提示できる。
【0083】
【0084】
【0085】
操作支援システム１００ｂの第一ネットワーク３には、上位操作者９が繋がっている。上位操作者９は、操作者２が初心者等の熟練度の低い操作者である場合に、直接操作指示を与える。
【0086】
図１５は、第三実施形態に係る操作支援方法のフローチャートである。Ｓ１２５で開始する。Ｓ１２５～Ｓ１２７、Ｓ１２９～Ｓ１３２、Ｓ１５０、Ｓ１５１のステップは、図６、あるいは図１２で説明した操作支援方法のフローチャートと同一であり、重複する説明は省く。
【0087】
本操作支援方法のフローチャートにおいて、Ｓ１２６で受信する操作者情報には、図１３のスキルポイント５７７（熟練度の判定に必要な情報に相当する）が含まれる。Ｓ１７０では、スキルポイント５７７で操作者２の熟練度を評価し、上位操作者９が必要かを判断する。なお、スキルポイント５７７による熟練度の評価値は、被操作機器や操作内容によって変化させてもよい。
【0088】
操作者２が熟練者である場合は（Ｓ１７０：高い）、Ｓ１２７～Ｓ１３１に至るフローにて、操作支援サービスが提供される。該操作フローは、図１２で示したフローと同一である。
【0089】
操作者２が初心者や熟練度が低い等の場合では（Ｓ１７０：低い）、Ｓ１７１以降のフローとなる。Ｓ１７１では、上位操作者９が操作者２の状況確認のために、操作者２から送信される撮像画像を確認する。Ｓ１７２では、受信した撮像画像を撮像画像データセット５３０と比較し、撮像画像データセット５３０を更新する。さらにＳ１７３では、マニュアルデータセット５１０と操作者履歴データセット５７０を検索して、上位操作者９が推奨操作を選定する。このとき上位操作者９は、複数の推奨操作候補から推奨操作を選択するようにしても良い。
【0090】
Ｓ１７４では、撮像画像データ、推奨操作からＡＲ画像データセット５５０を検索し、好適なＡＲ画像を選ぶ。好適なＡＲ画像がない場合は、新規に生成しても良い。このときも、検索して得るＡＲ画像は複数でも良い。Ｓ１７５で、上位操作者９は、提案ＡＲ画像が適切かを確認し、Ｓ１７６で操作者２に送信する。このとき、音声による補助指示を行っても良い。
【0091】
Ｓ１７７では、操作者２は送られてきた推奨操作を解釈し、受け入れられるものであれば（Ｓ１７７：ＹＥＳ）、操作を実行しＳ１５１に移行する。更なる支援を必要と考えた場合（Ｓ１７７：ＮＯ）には、再度Ｓ１７１から繰り返し、行なうべき操作への理解を深める。この結果、操作者２の熟練度は向上する。上記の変形例として、例えば、熟練度が高いと判断し（Ｓ１７０：高い）、Ｓ１２７以降のフローを進めていたが、途中で操作者が「上位操作者のサポートが必要」と判断してＨＭＤ１から上位操作者のサポート要求を入力すると、Ｓ１２７からＳ１３０までのいずれのステップにあるかを問わず、Ｓ１２１へ遷移して、上位操作者からの提案ＡＲ画像をＨＭＤ１が受信して表示するように構成してもよい。ＨＭＤ１からのサポート要求の入力は、例えばマイク１７からの音声入力でもよい。
【0092】
以上説明したように、第三実施形態によれば、第一実施形態と同様の効果を持つとともに、操作者２の熟練度に応じた、きめ細かな操作支援サービスが提供できる。
【0093】
以上、図１から図１５で説明した本発明の実施形態が、これらに限られるものではなく、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。
【0094】
例えば、提案ＡＲ画像をＨＭＤ１の表示光学系１３（ディスプレイ）に表示した後、カメラ１０が被操作機器６に対して実行された動作を撮像した検証撮像画像を生成し、ＨＭＤ１から操作支援サーバ４に検証撮像画像を送信する。操作支援サーバ４は、提案ＡＲ画像を入力パラメータ、検証撮像画像に基づく情報を出力パラメータとして、マニュアルデータセットの内容を機械学習してもよい。この機械学習エンジンは、強化学習でもよいし、ディープラーニングでもよい。これにより、マニュアルデータセット自体を機械学習してＨＭＤ１の操作者の要求にさらに合致した提案ＡＲ画像を選択できるようにしてもよい。また、マニュアルデータセット自体ではなく、マニュアルデータセットから提案ＡＲ画像を選択する機能（操作支援サービス４５０）を機械学習させ、提案ＡＲ画像の選択がより正しく行われるように構成してもよい。この場合も、上記と同様の入力パラメータ、出力パラメータを用い、強化学習、ディープラーニング他、任意の機械学習エンジンを用いてもよい。
【0095】
また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。
【符号の説明】
【0096】
１ ：ＨＭＤ
２ ：操作者
３ ：第一ネットワーク
４ ：操作支援サーバ
５ ：操作支援データベース
６ ：被操作機器
７ ：第二ネットワーク
８ ：機器制御サーバ
９ ：上位操作者
１０ ：カメラ
１１ ：測距カメラ
１２ａ ：左投影光学系
１２ｂ ：右投影光学系
１３ ：表示光学系
１４ ：ノーズパッド
１５ ：第一プロセッサ
１６ ：スピーカ
１７ ：マイク
１８ ：フレーム
１８ａ ：左つる
１８ｂ ：右つる
１８ｃ ：前面フレーム
１９ａ ：左視線検出センサ
１９ｂ ：右視線検出センサ
５１ ：特徴抽出処理部
５２ ：距離算出部
５３ ：センサ群
５４ ：第一通信器
５５ ：ＣＰＵ
５６ ：ＲＡＭ
５７ ：画像ＲＡＭ
６０ ：バス
６１ ：操作パネル
６２ ：表示面
６３ ：操作ボタン
６４ ：銘板
６５ ：表示内容
６６、６７、７３：提案ＡＲ画像
８１ ：操作支援アプリ
１００、１００ａ、１００ｂ ：操作支援システム
２００ ：機器制御システム
４１５ ：第二プロセッサ
４２０ ：ＣＰＵ
４３０ ：ＲＡＭ
４４０ ：内部ストレージ
４５０ ：操作支援サービスプログラム
４６０ ：バス
５１０ ：マニュアルデータセット
５１１ ：ヘッダ
５１２ ：ボディ
５１３ ：型名
５１４ ：マニュアルデータ
５３０ ：撮像画像データセット
５５０ ：ＡＲ画像データセット
５７０ ：操作者履歴データセット
２ ：操作者
３ ：第一ネットワーク
４ ：操作支援サーバ
５ ：操作支援データベース
６ ：被操作機器
７ ：第二ネットワーク
８ ：機器制御サーバ
９ ：上位操作者
１０ ：カメラ
１１ ：測距カメラ
１２ａ ：左投影光学系
１２ｂ ：右投影光学系
１３ ：表示光学系
１４ ：ノーズパッド
１５ ：第一プロセッサ
１６ ：スピーカ
１７ ：マイク
１８ ：フレーム
１８ａ ：左つる
１８ｂ ：右つる
１８ｃ ：前面フレーム
１９ａ ：左視線検出センサ
１９ｂ ：右視線検出センサ
５１ ：特徴抽出処理部
５２ ：距離算出部
５３ ：センサ群
５４ ：第一通信器
５５ ：ＣＰＵ
５６ ：ＲＡＭ
５７ ：画像ＲＡＭ
６０ ：バス
６１ ：操作パネル
６２ ：表示面
６３ ：操作ボタン
６４ ：銘板
６５ ：表示内容
６６、６７、７３：提案ＡＲ画像
８１ ：操作支援アプリ
１００、１００ａ、１００ｂ ：操作支援システム
２００ ：機器制御システム
４１５ ：第二プロセッサ
４２０ ：ＣＰＵ
４３０ ：ＲＡＭ
４４０ ：内部ストレージ
４５０ ：操作支援サービスプログラム
４６０ ：バス
５１０ ：マニュアルデータセット
５１１ ：ヘッダ
５１２ ：ボディ
５１３ ：型名
５１４ ：マニュアルデータ
５３０ ：撮像画像データセット
５５０ ：ＡＲ画像データセット
５７０ ：操作者履歴データセット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図10E】
【図10F】
【図11】
【図12】
【図13】
【図14】
【図15】