特開 2024-55651 ＡＲコンテンツ更新システム、およびＡＲコンテンツ更新方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024055651

(43)【公開日】2024-04-18

(54)【発明の名称】ＡＲコンテンツ更新システム、およびＡＲコンテンツ更新方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240411BHJP

【ＦＩ】

G06T19/00 600

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022162749

(22)【出願日】2022-10-07

(71)【出願人】

【識別番号】302061130

【氏名又は名称】東芝ＩＴサービス株式会社

(74)【代理人】

【識別番号】110000235

【氏名又は名称】弁理士法人 天城国際特許事務所

(72)【発明者】

【氏名】清水 邦保

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA06

5B050BA13

5B050CA07

5B050DA01

5B050DA10

5B050EA07

5B050EA18

5B050EA19

5B050FA02

5B050FA09

5B050GA08

(57)【要約】      （修正有）

【課題】作業者からＡＲコンテンツの管理者に電話やメールなどを用い提供されるクレームによらずＡＲコンテンツの内容に不備を修正するＡＲコンテンツ更新システムおよびＡＲコンテンツ更新方法を提供する。
【解決手段】ＡＲコンテンツ更新システムにおいて、外部装置に対する作業を特定する作業項目及びその作業項目に対する測定可能な計測値の標準計測値を内容とするＡＲコンテンツを格納コンテンツ管理サーバは、特定ＡＲコンテンツをモバイルデバイスに送信するコンテンツ送信手段を有する。モバイルデバイスは、作業項目が実際に行われた場合の実計測値を計測し、この実測値を作業状況情報としてコンテンツ管理サーバに送信する作業状況情報送信手段と、作業状況情報に基づいて特定ＡＲコンテンツを修正した修正ＡＲコンテンツを作成するコンテンツ修正手段と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

外部の装置に対する作業を特定する作業項目及びその作業項目に対する測定可能な計測値の標準計測値を内容とするＡＲコンテンツを格納するコンテンツ管理サーバから、特定ＡＲコンテンツをモバイルデバイスに送信するコンテンツ送信手段と、
前記モバイルデバイスにおいて、前記作業項目が実際に行われた場合の実計測値を計測しこの実測値を作業状況情報として前記コンテンツ管理サーバに送信する作業状況情報送信手段と、
前記作業状況情報に基づいて前記特定ＡＲコンテンツを修正した修正ＡＲコンテンツを作成するコンテンツ修正手段と、
を有するＡＲコンテンツ更新システム。

【請求項2】

前記修正ＡＲコンテンツは、前記コンテンツ管理サーバに記憶され、前記モバイルデバイスから要求があったとき、前記修正ＡＲコンテンツを送信する請求項１記載のＡＲコンテンツ更新システム。

【請求項3】

前記作業状況情報には、前記モバイルデバイスにおける前記作業項目に対する作業の後戻り回数が含まれる請求項１または２記載のＡＲコンテンツ更新システム。

【請求項4】

コンテンツ管理サーバとモバイルデバイスとを有するＡＲコンテンツ更新システムであって、
前記コンテンツ管理サーバは、
外部の装置に対する作業を特定する作業項目とその作業項目に対する標準作業時間を内容とするＡＲコンテンツを格納するＡＲコンテンツ格納手段と、
このＡＲコンテンツ格納手段により格納されている前記ＡＲコンテンツに対して前記モバイルデバイスに特定ＡＲコンテンツを送信するコンテンツ送信手段と、
このコンテンツ送信手段により送信された前記特定ＡＲコンテンツの前記モバイルデバイスにおいて行なわれた実作業時間を記録した作業状況情報を取得する実作業時間取得手段と、
この実作業時間取得手段により取得された前記実作業時間に応じて前記特定ＡＲコンテンツを修正するコンテンツ修正手段と、
を有するＡＲコンテンツ更新システム。

【請求項5】

前記モバイルデバイスは、前記コンテンツサーバから送信された前記作業項目を表示する画面表示部を有する、請求項４記載のＡＲコンテンツ更新システム。

【請求項6】

前記作業状況情報には、前記モバイルデバイスにおいて前記作業項目に対する前記作業の後戻り回数の情報を含む請求項４または請求項５記載のＡＲコンテンツ更新システム。

【請求項7】

前記後戻り回数の多い前記作業項目を前記画面表示部において表示するとき、作業の注意を促すサインを出す請求項６記載のＡＲコンテンツ更新システム。

【請求項8】

外部の装置に対する作業を特定する作業項目及びその作業項目に対する測定可能な計測値の標準計測値を内容とするＡＲコンテンツを格納するコンテンツ管理サーバから、特定ＡＲコンテンツをモバイルデバイスに送信するコンテンツ送信ステップと、
前記モバイルデバイスにおいて、前記作業項目が実際に行われた場合の実計測値を計測しこの実測値を作業状況情報として前記コンテンツ管理サーバに送信する作業状況情報送信ステップと、
前記作業状況情報に基づいて前記特定ＡＲコンテンツを修正して修正ＡＲコンテンツを作成するコンテンツ修正ステップと、
を有するＡＲコンテンツ更新方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の実施形態は、ＡＲ（拡張現実）コンテンツ更新システム、およびＡＲコンテンツ更新方法に関する。

【背景技術】

【0002】

拡張現実（ＡＲ）は、機械装置やＩＴ機器に関する保守作業等の支援にも応用され、実際の装置と仮想的な作業内容の説明画像が、作業者が使用するモバイルデバイスの表示画面上に重ね合わせられ、具体的な操作が作業項目として表示されるようになってきている。

【0003】

このような作業支援システムでは、一般的には、作業支援のためのＡＲコンテンツはサーバまたはクラウド上に格納され、ネットワークを通じて、作業者が携帯するモバイルデバイスにダウンロードすることにより、作業者はＡＲコンテンツを利用して実際の作業を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－１６８７９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

実際の保守作業をおこなったときに、利用したＡＲコンテンツの内容に不備があった場合には、通常は作業者からＡＲコンテンツの管理者に電話やメールなどを用いて、クレームとして情報提供される。そして、ＡＲコンテンツ管理者は上記のクレームに基づき、ＡＲコンテンツを手作業で修正し、管理サーバに格納して、再リリースしていた。

【0006】

しかし、作業者のクレームにより修正する方法では、人と人とのコミュニケーションに基づいているので、情報が不正確であったり、修正が不適切であったりすることが多く、また情報提供されてからＡＲコンテンツを修正してリリースするまでに時間がかかるという課題があった。

【課題を解決するための手段】

【0007】

上記した課題を解決するために、実施形態のＡＲコンテンツ更新システムは、外部の装置に対する作業を特定する作業項目及びその作業項目に対する測定可能な計測値の標準計測値を内容とするＡＲコンテンツを格納するコンテンツ管理サーバから、特定ＡＲコンテンツをモバイルデバイスに送信するコンテンツ送信手段と、前記モバイルデバイスにおいて、前記作業項目が実際に行われた場合の実計測値を計測しこの実測値を作業状況情報として前記コンテンツ管理サーバに送信する作業状況情報送信手段と、前記作業状況情報に基づいて前記特定ＡＲコンテンツを修正した修正ＡＲコンテンツを作成するコンテンツ修正手段と、を有する。

【図面の簡単な説明】

【0008】

【図1】この発明の実施形態１のＡＲコンテンツ更新システムの全体構成を示す図である。

【図2】図１に示したモバイルデバイス１２のハード構成例を示す図である。

【図3】図１に示したモバイルデバイス１２の機能的構成を示す図である。

【図4】作業を構成する作業項目１、２、３の標準作業時間の例を示す図である。

【図5】モバイルデバイスにおいてなされた実作業時間、やり直しの有無を含む作業状況情報の例を示す図である。

【図6】実施形態１においてコンテンツ管理サーバとモバイルデバイスの動作を示す全体のフローチャートである。

【図7】実施形態１においてコンテンツ管理サーバがモバイルデバイスから作業状況情報を受け取った後の処理を示すフローチャートである。

【図8】モバイルデバイスにおける表示画面の表示例を示す図である。

【図9】モバイルデバイスにおける表示画面に注意喚起文言を表示する例を示す図である。

【図10A】グラス型モバイルデバイスで実際の外部装置が見える状態を示す例である。

【図10B】グラス型モバイルデバイスで実際の外部装置にＡＲコンテンツが重ねて見える状態を示す図である。

【図11】作業手順書の記載例を示す図である。

【発明を実施するための形態】

【0009】

＜実施形態１＞
以下、一つの実施形態につき図面を用いて説明する。
図１はこの発明の実施形態のＡＲコンテンツ更新システムの全体構成を示す図である。図１のＡＲコンテンツ更新システム１０は、大きくはコンテンツ管理サーバ１１と、このコンテンツ管理サーバ１１と例えば無線通信を行うモバイルデバイス１２とから構成される。

【0010】

コンテンツ管理サーバ１１は、ＡＲコンテンツを格納するコンテンツ格納部１３と、モバイルデバイス１２から得た作業情報を分析する作業状況情報分析部１４と、その分析結果に基づきＡＲコンテンツを修正するコンテンツ修正部１５を有する。

【0011】

なお、標準作業時間は、最初に手順書を作成するときには、作成者が実際にその作業を行ったことがある場合には、その実績値を参考にして、その作業を行ったことがない場合には、作業内容を考慮して決定する。しかし、実際に作業現場で運用してみると標準作業時間との乖離が生ずることがある。そのような場合に、上記コンテンツ修正部１５において標準作業時間を修正する。

【0012】

コンテンツ格納部１３は、後述する複数のＡＲコンテンツを格納しており、モバイルデバイス１２からの要求に応じて要求されたコンテンツ、例えばＡＲコンテンツ１を、要求してきたモバイルデバイス１２に配信する。

【0013】

図２は図１に示したモバイルデバイス１２のハード構成例を示す図である。図２のモバイルデバイス１２は、全体を制御するＣＰＵ２１，チップセット２２、メモリ部２３、ストレージ部２４、撮像部２５、画面表示部２６、演算部２７、タッチスクリーン等の入力インターフェース（Ｉ／Ｆ）部２８、ネットワークＩ／Ｆ部２９、を有する。モバイルデバイスのタイプとしては、グラス型（スマートグラス）やタブレット型を用いることが多い。

【0014】

図３は図１に示したモバイルデバイス１２の機能的構成を示す図である。図３のモバイルデバイス１２は、コンテンツ管理サーバ１１とデータの送受信を行うデータ送受信部３１と、ＡＲコンテンツから作業手順を抽出する作業手順抽出部３２と、作業手順などを表示する画面表示部３３と、ＡＲコンテンツから作業部項目の操作部位を抽出する操作部位抽出部３４と、ＧＰＳやＳＬＡＭ(Simultaneous Localization and Mapping)などの空間座標認識部３５と、作業者による作業の様子を撮像する撮像部３６と、作業者による作業開始の時刻を検知する作業開始時刻検知部３７Ｓと、作業者による作業終了の時刻を検知する作業終了時刻検知部３７Ｆと、作業開始時刻検知部３７Ｓに検知された作業開始時刻及び作業終了時刻検知部３７Ｆに検知された作業終了時刻から、作業者による実作業時間を算出する実作業時間算出部３８と、作業のすべてが完了したときに、作業項目毎の実作業時間、後戻り回数などその他の情報を記入した作業状況情報を作成する作業状況情報作成部３９と、を有する。撮像部３６は、実際の外界の映像（実空間像）を取り込む入力部である。

【0015】

ここで、実際の空間の撮像部３６には、像（実空間像）と、作業者のみに見える映像が重畳して見える。この両方の映像の関係を図１０Ａ、図１０Ｂにより説明する。図１０Ａは、作業者が作業対象をグラス型モバイルデバイスを通して見た実空間の映像である。図１０Ｂはその実空間の画像に、表示画面において表示されるＡＲコンテンツが重ねて表示される映像を示す図である。
すなわち、図１０Ａのグラスの画面１１１内には、作業対象の外部装置１１２と、この外部装置１１２の前面にある側面パネル１１３とこの側面パネル１１３に設けられているネジ孔１１４が見えるだけである。一方、これにＡＲコンテンツが重ねて表示されると、例えば操作位置を示すアイコン１１５がネジ孔１１４に向けて示されそのほかに作業項目１１６とその操作の標準時間１１７や操作進行の進み戻りを示すアイコン１１８，１１９などが表示される。
図１０Ｂに示す例では、画面１１１に表示される外部装置１１２の側面パネル１１３にネジ孔１１４があり、これにアイコン１１５が重ねて表示されている。そして、その右側には、作業項目２として「ネジを回し、側面パネルを開いて下さい」と表示される。その下に作業項目２の標準作業時間が１０分であることが表示される。
ＡＲコンテンツを制作するときには、画面表示部の画面に表示される操作アイコンを目線でクリックすることにより画面を切り替えたり、画面内のアイコンを移動させたりすることができる。作業者の身振りにより移動させて重ねて映し出される外部装置の操作部位に持っていくこともできる。ＡＲコンテンツにより作業をガイドする場合には、スマートグラスの画面表示部に作業手順、作業項目、標準作業時間などを表示し、次の作業項目に進む、前の作業項目に戻る、などの操作は例えば表示されている操作アイコンをジェスチャや視線入力などで指す（クリックする）ことにより行う。

【0016】

なお、後述する図８で説明するように、ＡＲコンテンツには次の作業項目に進む「次へ」のアイコンと「戻る」のアイコン表示も含まれている。したがって、特定の作業項目について戻ってやり直しするかどうか、次の作業項目に進むかどうかは、最終的にモバイルデバイス１２内で、作業者が指示することになる。

【0017】

各作業項目の後戻りの回数は、上記「戻る」アイコンをクリックする回数として検知される。後戻りして、その作業が正しかったかどうか確認し間違っていた場合にはその作業をやり直した後、再び「次へ」アイコンをクリックして作業を前に進めていく。

【0018】

例えばスマートグラス型のモバイルデバイスを用いて外部装置の保守点検を行うのであれば、保守点検の作業項目の後に外部装置の表示に重ねてその装置における点検箇所の部位を画面上に表示することになる。

【0019】

ＡＲコンテンツは、例えば定期点検、故障部品の交換、など特定の保守作業毎に作業手順をＡＲ化したコンテンツである。ＡＲコンテンツは一連の作業手順を作業者に指示するために、複数の作業項目を順次、作業者のスマートグラスの画面上に表示する。

【0020】

従来の作業手順は文書の形式で作業手順書として提供されていた。この作業手順書に記載の作業手順は順序付けられた複数の作業項目から成る。
図１１に作業手順書の記載例を示す。この作業名はＨＤＤ交換作業手順であり、この作業は作業項目１（作業内容：作業対象装置のシリアル番号を確認する）、作業項目２（作業内容：ネジを外して側面パネルを開く）、作業項目３（作業内容：故障ＨＤＤを取り外し、新しいＨＤＤに交換する）、作業項目４(作業内容：側面パネルを閉じてネジを止める)、作業項目５（作業内容：ステータスが正常であることを確認する）の５項目から成っている。また、それぞれの作業の標準時間と、対応する実際の作業実績が示されている。

【0021】

図４は作業を構成する作業項目１～５の標準作業時間の例を示す図である。ここで、ＡＲコンテンツの内容の例を示している。このＡＲコンテンツには、各作業項目に対してその作業が行われる場合の標準的な時間、すなわち標準作業時間が含まれている。作業のやり直しは、例えば作業者が作業の途中で間違いに気づいたときや、作業項目Ｘが「Ｙの状態がＺであることを確認する」の場合に状態がＺではなかったときに、「戻る」アイコンをクリックして、以前の作業項目に戻って行う。この確認、そして間違っていた場合の作業を変更した後は、「次へ」アイコンのクリックにより、やり直しで再び先の作業項目に進んで作業を行う。

【0022】

例えば、定期点検を行う場合であれば、コンテンツ格納部１３に格納される、ＡＲコンテンツを作業者の持つモバイルデバイスへ送り、スマートグラスの画面上に、作業手順と各作業項目における外部装置の点検箇所及び上記標準作業時間を表示することにより、作業者に保守作業の支援を行う。

【0023】

作業手順は例えば図１１に示したＨＤＤ交換作業手順であれば、作業対象装置にシリアル番号を確認し（作業項目１）、ネジを外して側面パネルを開き（作業項目２）、故障ＨＤＤを取り外し新しいＨＤＤに交換し（作業項目３）、側面パネルを閉じてネジで止め(作業項目４)、ステータスが正常であることを確認（作業項目５）する作業を意味する。
図４では、これらの作業項目１～５に対して標準作業時間は、各々、５分、１０分、６分、１０分、５分であることを示している。

【0024】

これらの作業項目１～５から成る作業手順が、ＡＲコンテンツの一部としてコンテンツ管理サーバ１１から、要求のあったモバイルデバイス１２に送信される。図８はＡＲコンテンツの１項目（作業項目２）を表示した例であり、「対象装置＋仮想オブジェクト＋作業手順＋アイコン」から成る。ＡＲコンテンツは例として図８に示した１項目を時系列として並べたものである。

【0025】

図５はモバイルデバイス１３においてなされた実作業時間、後戻りの有無を含む作業状況情報の例を示す図である。ここではモバイルデバイス１３からコンテンツ管理サーバ１１に送られる作業状況情報の例を示している。

【0026】

この例では、作業項目１～５から成る作業手順の各々の作業項目に対する実作業時間が各々、５分、１７分、１０分、３分、７分であったこと、それぞれの作業項目に対して後戻りが各々、なし、あり、なし、なし、なしであったことを示している。

【0027】

手順の後戻りややり直しがあったかどうかは、例えば、グラス内で「戻る」アイコンの目線によるクリックなどで検知できる。この「戻る」アイコンをクリックした数は各作業項目に対する後戻り回数として作業状況情報に含められる。

【0028】

モバイルデバイス１２のデータ送受信部３１からコンテンツ管理サーバ１１に送信された作業状況情報には、図５に示した作業項目毎の実作業時間及び後戻り回数の他にも、各作業項目につき実作業時間が長くなった要因、作業手順通りに進まなかった要因など、種々の情報が付加される。

【0029】

これらの情報は、作業者がモバイルデバイス１２において入力することができる。その他よくある要因の選択肢を画面表示部に表示して作業者に選択させるようにすることができる。このように選択肢を表示しクリックにより決定するようにすれば、作業を迅速に進めることができる利点がある。また、作業項目毎に自由に記述できる箇所があれば、選択肢に当てはまらない理由を記載することもできる。

【0030】

作業状況情報に含まれるこれらの情報は、図１に示すＡＲコンテンツ管理サーバ１１の作業状況情報分析部１４において分析される。

【0031】

実作業時間が長くなった要因として、特殊な理由がある場合には標準作業時間の算出において除外するなどの処理を行う。特殊な理由とは、過去のある作業実績に含まれる特定の作業項目が、他の作業実績の同じ作業項目に比較して突出して作業時間がかかっていることが判明した場合である。この場合にはその作業中に何らか想定外の事象が発生してその対応処理に時間がかかった可能性が高い。

【0032】

標準的な作業時間を導出するためには正常に作業が進行した場合の作業実績時間の平均を採るべきである。したがって例えば過去の作業実績での、平均作業時間の２倍を超える時間がかかっている場合の事例は、標準作業時間の算出においては異常値として除外する。また、作業記録から作業中に予期しないハードウェア障害が発生したと推測できる場合にはこの作業時間を除外したうえで平均値として標準作業時間を算出する。

【0033】

また、作業状況情報分析部１４では、ＡＲコンテンツの各作業項目で手順通りに進まなかった事例についても分析する。作業状況情報には作業手順の後戻り、やり直しがあった場合の情報も含まれている。過去の後戻り・やり直し回数が一定頻度を表す閾値（例えば１０％）を超えて発生している作業項目について注意を促す。
コンテンツ修正部１５において、ＡＲコンテンツの当該作業項目をモバイルデバイスの画面表示部に表示するとき、上記のような注意を促す表示を追加するようＡＲコンテンツを修正する。

【0034】

また、後述するようにモバイルデバイス１２の画面表示部３３の画面には、上述のように「次へ」と「戻る」のアイコンも表示されており、作業者は特定の作業項目の作業が終わると、表示画面上の「次へ」のアイコンをクリックして次の作業項目に進むこともできる。また何らかの理由で前の作業項目に戻ってやり直す場合には、「戻る」のアイコンをクリックする操作を行うことができる。

【0035】

これらの操作も、モバイルデバイスでは作業項目毎に戻る作業があったかどうか、あった場合にはその回数が作業状況情報に記録され、作業手順が完了した後に作業状況情報として、コンテンツ管理サーバ１１の作業状況情報分析部１４に送られる。

【0036】

したがって、作業状況情報分析部１４は、後戻りのあった作業項目とその作業項目からの後戻りの回数、後戻りのなかった作業項目を判別することができる。
次に、この実施形態に係るＡＲコンテンツ更新システムの動作について説明する。図６はコンテンツ管理サーバとモバイルデバイスの動作を示す全体のフローチャートである。コンテンツ管理サーバ１１のコンテンツ格納部１３には、例えばＡＲコンテンツ１、ＡＲコンテンツ２等複数のＡＲコンテンツが予め格納されている（ステップＡ６０１、以下「ステップ」の表示を省略）。

【0037】

モバイルデバイス１２は、作業対象デバイスの気温、湿度、照度などの環境条件や、対象となる外部装置の拡張ユニットなどの構成規模などの情報も含めて、ＡＲコンテンツを要求する。
モバイルデバイス１２からコンテンツ管理サーバ１１に例えば無線通信により、特定のＡＲコンテンツの要求がある（Ａ６０２）と、コンテンツ管理サーバ１１はコンテンツ格納部１３から該当するコンテンツ、例えばＡＲコンテンツ１を探し出して圧縮し、要求のあったモバイルデバイス１２に送信する（Ａ６０３）。

【0038】

これに対してモバイルデバイス１２では、そのＡＲコンテンツ１を受信しダウンロードする（Ａ６０４）。
それから、モバイルデバイス１２は受信したＡＲコンテンツ１を解凍し、その各作業項目について作業手順に従って該当作業を行う（Ａ６０５）。

【0039】

たとえば、図４に示した例では作業が作業項目１～５から成っている。したがって、これらの作業項目につきこの順序（作業手順）で順次、作業を進める。

【0040】

図８はモバイルデバイス（スマートグラス）における表示画面の表示例を示す図である。図８において、実際に存在する操作対象となる外部装置８１が表示され、スマートグラスの画面８２を通して見ることができる。この外部装置８１には、側面パネル８３が前面にあり、その側面パネル８３の特定の位置にネジ８４がある。

【0041】

これらの実在する装置部品に対して、表示画面上には、作業内容、操作を行う装置上の位置を指し示すための矢印等のマーク、この作業を完了するまでの目標時間が表示される。その他、作業項目に関して次に進むことを意味する「次へ」アイコン８５と、もう一度その作業項目をやり直すことを意味する「戻る」アイコン８６が下方に表示される。これらの表示と、上述の実在装置部品などが重ね合わせられてスマートグラスの表示画面上に表示される。各作業項目が順に表示される前に、その作業がどのような作業であるかが表示され、続いて作業項目毎にその作業内容が具体的に表示される。

【0042】

図８の表示例では、作業項目２の操作内容が「ネジを回し、側面パネルを開いて下さい」と表示画面に表示され、その標準作業時間が５分であることが表示されている。これらの表示は実在の外部装置には表示されず、スマートグラスの表示画面のみに表示される、仮想の像である。この作業項目２の作業を行うには実際のドライバー８７を操作位置マーク８４ａの示すネジ孔８４に移動させてこのネジを回し、側面パネル８３を開ける。この作業は、実在の外部装置に対して、操作者が実際に行う操作である。例えばある例では、スマートグラスの表示画面に仮想的に表示された「次へ」ボタンを作業者が目線でクリックすることにより作業項目を進めることができる。

【0043】

図６のＡ６０６では、モバイルデバイス１２で作業状況情報を作成して、コンテンツ管理サーバ１１に送信する。Ａ６０７ではコンテンツ管理サーバ１１は作業状況情報を受信しダウンロードする。Ａ６０８では図１に示すコンテンツ管理サーバ１１の作業状況情報分析部１４において作業状況情報が分析される。Ａ６０９では、必要に応じて例えばＡＲコンテンツ１の標準作業時間を長くするなど、ＡＲコンテンツの修正を、コンテンツ修正部１５において行う。

【0044】

次のＡ６１０では、修正したＡＲコンテンツ１を前のＡＲコンテンツに代えてコンテンツ格納部１３に格納する。このようにして、モバイルデバイスからの要求に応じてその作業がモバイルデバイスにおいてなされその結果が作業状況情報としてコンテンツ管理サーバ１１に送られ、必要に応じてＡＲコンテンツが修正され元のＡＲコンテンツに代えて格納される、一連の作業が完了する。

【0045】

図７は実施形態１においてコンテンツ管理サーバ１１がモバイルデバイス１２から作業状況情報を受け取った後の処理を示すフローチャートである。ここでは、コンテンツ管理サーバ１１が、モバイルデバイス１２からの作業状況情報を受信しダウンロードしたＡ６０７後の詳細なフローチャートを示している。

【0046】

図７のＡ７０１では、各作業項目につき、以下の内容すなわちＡ７０２、Ａ７０４の内容を確認する。

【0047】

まず、Ａ７０２において、過去の作業情報も総合して、各作業項目に要した実作業時間が標準作業時間と乖離しているかを確認する。
なお、標準作業時間はあらかじめ環境条件や操作対象となっている外部装置の規模などの情報も参考にしてＡＲコンテンツ内に設定されている。

【0048】

Ａ７０２において、Ｙｅｓの場合、すなわち、実作業時間が標準作業時間に対して乖離していると判断された場合には、Ａ７０３でその作業項目の標準作業時間を更新する修正情報を保持する。そして、次のステップＡ７０４に進む。
修正情報は次のように求める。
当該作業項目に関して、過去のｎ回の作業実績のそれぞれの作業時間が、
St ＝｛T₁, T₂,…T_n｝であったとする。
修正情報を求めるためのひとつの方法として、これらの平均値Avr(St)を修正情報とすることができる。

しかし、前述のとおり作業中に何らかの異常が発生して作業時間が長くなった場合には標準的な作業時間ではなくなるため、このような場合の作業時間は標準作業時間の算出からは除外することが望ましい。
たとえば作業時間の平均値の2倍以上の時間がかかった場合は算出のための数値から除外する、とするとした場合には、StからAvr(St)×2よりも大きい要素を除いた作業時間の集合をSt'とし、その要素数がｍであったとする。
これらのｍ個の作業時間の平均値Avr(St')を求め、この値を標準作業時間の修正情報とすることができる。

【0049】

一方、Ａ７０２においてその作業項目につき、実作業時間が標準作業時間に対する差異の程度が小さければ、Ｎｏとして次のステップＡ７０４に進む。Ａ７０４では、その作業項目について、過去の作業情報も総合して作業項目から後戻りした実績があるかを調べる。すなわち、このステップでＹｅｓということは、その作業項目についての作業が多くの人は一回で終わらず、何回も後戻りしてやり直していることが多いことを意味している。そこでＡ７０４においてＹｅｓとなったときには、Ａ７０５でその作業項目のＡＲ画面に注意を促す表示を追加する情報を保持する。
なお、後戻りが多いかどうかは、当該作業項目において、過去の作業実績のうち「戻る」ボタンを押している実績の割合により判断する。例えば過去に当該作業がｎ回実施されていて、このうちｍ回で「戻る」ボタン（図８の８６）が押されていたとする。一定の閾値、例えば１０％の頻度でやり直し（後戻り）が発生している場合（ｍ／ｎ＞ｔ）に、後戻りが多いと判断して、戻り先の作業項目のＡＲ表示に注意喚起文言を追加する（図９の注意喚起文言８９参照）。

【0050】

モバイルデバイスの表示画面にこの注意を促す表示（注意喚起文言８９）を追加した例を図９に示す。この例は図８に示した作業項目２の作業で後戻りすることが多いとして、モバイルデバイスの表示画面の右上に、注意を促す文言８９を表示した例である。作業項目２の作業を始めるとき、この注意喚起文言が操作者のスマートグラスの表示画面に表示されるよう、ＡＲコンテンツ１を修正する。この注意喚起の態様は、文字の色を変えることや文字を点滅することにより行うことができる。また表示に限られず警告音を発するなど音によって注意を喚起することも可能である。要するにこの注意喚起はサインにより、表示の態様や音、振動など作業者の五感に訴えることにより、通常とは異なる指示を作業者に行う。音や振動による注意喚起は、作業者がスマートグラスの表示画面を注意深く見ていなかった場合にも、作業者の注意を惹くことができる。このような注意喚起によって後戻りが多い作業であることなどの注意を作業者に促すことができる。そして次のステップＡ７０６に進む。

【0051】

図７において次のステップＡ７０６では、作業のすべての作業項目の修正の要否の確認が終了したか確認する。まだすべての作業項目について確認が終わっていない場合には、Ａ７０１に戻り、終わっていない作業項目につきＡ７０２、Ａ７０４の確認がされる。一方、Ａ７０６ですべての作業項目について確認が終わっていた場合には次のステップＡ７０７に進む。

【0052】

Ａ７０７では、先のＡ７０３，Ａ７０５においてＡＲコンテンツ修正の情報が保持されていたかを調べて、修正の情報があったならそれらの情報に基づいてＡＲコンテンツを修正した後、保持した修正情報の反映によるＡＲコンテンツの修正があったかを確認する。なお、ＡＲコンテンツの修正を自動で行うと、所要時間が間違っていたり、注意喚起文言などが間違っていることがあり得るので、人によってチェックすることが好ましい。これらのステップで標準作業時間の修正や注意文言の追加情報の保持がなされたときには、Ａ７０７でＡＲコンテンツが修正されたことになり、Ａ７０８において、コンテンツ管理サーバ１１に格納されているＡＲコンテンツ１を修正コンテンツ１に差し替える。

【0053】

なお、差し替えられた修正コンテンツ１は、モバイルデバイスを利用して作業を行う作業者が次に作業をするときその作業を開始する前にダウンロードされる。

【0054】

上記実施形態ではＡＲコンテンツの修正は、ＡＲコンテンツサーバで作業状況情報として得られた、各操作項目における実作業時間と、各作業項目の後戻りの発生の頻度（回数）に基づいて行っている。

【0055】

しかし、本発明において、ＡＲコンテンツを修正するかどうかの判断に用いられる値は作業時間に限られない。一般的には作業に関して計測可能な測定値であれば適用可能である。すなわち、モバイルデバイスにおいて実際に測定した実計測値が、標準計測値に比較してその差が大きいときには、ＡＲコンテンツを修正することが可能となる。

【0056】

一般にモバイルデバイスは、カメラ、加速度計、ジャイロセンサー、深度センサーなどの測定装置を搭載している場合がある。屋外や高所の建築構造物の点検など、周囲の環境条件（作業環境の明るさ、振動、風力、雑音など）が作業時間や作業の安全性に影響を与えることがわかっている作業の場合には、安全確認に時間がかかることもある。従ってこれらの環境条件を加味した上でＡＲコンテンツの標準作業時間を補正することも可能であり、またＡＲコンテンツの中で明示的に注意を促す表示を増やすようなコンテンツ修正を行うことも可能である。

【0057】

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施しうるものであり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0058】

１０・・・ＡＲコンテンツ更新システム、
１１・・・コンテンツ管理サーバ、
１２・・・モバイルデバイス、
１３・・・コンテンツ格納部、
１４・・・作業状況情報分析部、
１５・・・コンテンツ修正部、
２１・・・ＣＰＵ、
２２・・・チップセット、
２３・・・メモリ部、
２４・・・ストレージ部、
２５・・・撮像部、
２６・・・画面表示部、
２７・・・演算部、
２８・・・入力Ｉ／Ｆ部、
２９・・・ネットワークＩ／Ｆ部、
３１・・・データ送受信部、
３２・・・作業手順抽出部、
３３・・・画面表示部、
３４・・・操作部位抽出部、
３５・・・空間座標認識部、
３６・・・撮像部、
３７Ｓ・・・作業開始時刻検知部、
３７Ｆ・・・作業終了時刻検知部、
３８・・・実作業時間算出部、
３９・・・作業状況情報作成部、
８１・・・外部装置、
８２・・・画面、
８３・・・側面パネル、
８９・・・注意喚起文言

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【手続補正書】

【提出日】2024-01-17

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

外部の装置に対する作業を特定する作業項目及びその作業項目に対する標準作業時間を内容とするＡＲコンテンツを格納するコンテンツ管理サーバから、特定ＡＲコンテンツをモバイルデバイスに送信するコンテンツ送信手段と、
前記モバイルデバイスにおいて、前記作業項目が実際に行われた場合の実作業時間を計測しこの実作業時間と、前記作業項目に対する作業の後戻り回数を作業状況情報として前記コンテンツ管理サーバに送信する作業状況情報送信手段と、
前記作業状況情報に基づいて前記特定ＡＲコンテンツを修正した修正ＡＲコンテンツを作成するコンテンツ修正手段と、
を有するＡＲコンテンツ更新システム。

【請求項2】

前記修正ＡＲコンテンツは、前記コンテンツ管理サーバに記憶され、前記モバイルデバイスから要求があったとき、前記修正ＡＲコンテンツを送信する請求項１記載のＡＲコンテンツ更新システム。

【請求項3】

前記後戻り回数は、前記作業項目に対する作業を行うときに前記モバイルデバイスの画面に表示される、戻るアイコンをクリックされる回数により測定される請求項１または２記載のＡＲコンテンツ更新システム。

【請求項4】

コンテンツ管理サーバとモバイルデバイスとを有するＡＲコンテンツ更新システムであって、
前記コンテンツ管理サーバは、
外部の装置に対する作業を特定する作業項目とその作業項目に対する標準作業時間を内容とするＡＲコンテンツを格納するＡＲコンテンツ格納手段と、
このＡＲコンテンツ格納手段により格納されている前記ＡＲコンテンツに対して前記モバイルデバイスに特定ＡＲコンテンツを送信するコンテンツ送信手段と、
このコンテンツ送信手段により送信された前記特定ＡＲコンテンツの前記モバイルデバイスにおいて行なわれた前記作業項目に対する実作業時間と後戻り回数を、記録した作業状況情報を取得する実作業時間取得手段と、
この実作業時間取得手段により取得された前記実作業時間に応じて前記特定ＡＲコンテンツを修正するコンテンツ修正手段と、
を有するＡＲコンテンツ更新システム。

【請求項5】

前記モバイルデバイスは、前記コンテンツ管理サーバから送信された前記作業項目を表示する画面表示部を有する、請求項４記載のＡＲコンテンツ更新システム。

【請求項6】

前記後戻り回数は、前記作業項目に対する作業を行うとき前記モバイルデバイスの前記画面表示部に表示される、戻るアイコンをクリックされる回数により測定される請求項５記載のＡＲコンテンツ更新システム。

【請求項7】

前記後戻り回数の多い前記作業項目を前記画面表示部において表示するとき、作業の注意を促すサインを出す請求項６記載のＡＲコンテンツ更新システム。

【請求項8】

外部の装置に対する作業を特定する作業項目及びその作業項目に対する標準作業時間を内容とするＡＲコンテンツを格納するコンテンツ管理サーバから、特定ＡＲコンテンツをモバイルデバイスに送信するコンテンツ送信ステップと、
前記モバイルデバイスにおいて、前記作業項目が実際に行われた場合の前記作業項目に対する実作業時間と、前記作業項目に対する作業の後戻り回数を作業状況情報として前記コンテンツ管理サーバに送信する作業状況情報送信ステップと、
前記作業状況情報に基づいて前記特定ＡＲコンテンツを修正して修正ＡＲコンテンツを作成するコンテンツ修正ステップと、
を有するＡＲコンテンツ更新方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

上記した課題を解決するために、実施形態のＡＲコンテンツ更新システムは、外部の装置に対する作業を特定する作業項目及びその作業項目に対する標準作業時間を内容とするＡＲコンテンツを格納するコンテンツ管理サーバから、特定ＡＲコンテンツをモバイルデバイスに送信するコンテンツ送信手段と、前記モバイルデバイスにおいて、前記作業項目が実際に行われた場合の実作業時間を計測しこの実作業時間と、前記作業項目に対する作業の後戻り回数を作業状況情報として前記コンテンツ管理サーバに送信する作業状況情報送信手段と、前記作業状況情報に基づいて前記特定ＡＲコンテンツを修正した修正ＡＲコンテンツを作成するコンテンツ修正手段と、を有する。