特許 7555706 プログラム、情報処理装置、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】プログラム、情報処理装置、及び情報処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240917BHJP

   G06F 3/01 20060101ALI20240917BHJP

   H04N 23/63 20230101ALI20240917BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

H04N23/63

【請求項の数】 17

(21)【出願番号】P 2019239134

(22)【出願日】2019-12-27

(65)【公開番号】P2021108007

(43)【公開日】2021-07-29

【審査請求日】2022-12-16

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】片平 祐香

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０１２－０９６４４８（ＪＰ，Ａ）

【文献】特開２０１６－０７１７７６（ＪＰ，Ａ）

【文献】特開２０１８－０８１６９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｈ０４Ｎ ２３／６３

(57)【特許請求の範囲】

【請求項1】

撮影手段と表示手段とを有する情報処理装置を、
前記撮影手段によって撮影された対象物の画像から前記対象物の状態を取得する第一取得手段と、
前記撮影手段によって撮影された対象物の画像に、前記第一取得手段で取得した前記対象物の状態に対応する電子情報が重畳された重畳画像を取得する第二取得手段と、
前記重畳画像を記憶手段に記憶させる管理手段と、
前記表示手段に、前記記憶手段に記憶されている重畳画像を表示させる表示制御手段と、
として実行させ、
前記表示制御手段は、
前記第一取得手段で取得した状態が異常状態であれば第一の重畳画像の表示を続け、前記対象物の状態が正常状態に変更されると前記第一の重畳画像から第二の重畳画像に表示を切り替え、
前記撮影手段の撮影範囲に前記対象物が含まれない場合であっても、前記対象物の状態が前記異常状態であれば前記第一の重畳画像を前記表示手段に表示させ、前記対象物の状態が前記正常状態であれば前記第二の重畳画像を前記表示手段に表示させる
ことを特徴とするプログラム。

【請求項2】

撮影手段と表示手段とを有する情報処理装置を、
前記撮影手段によって撮影された対象物の画像から前記対象物の状態を取得する第一取得手段と、
前記撮影手段によって撮影された前記対象物の画像の画像データを取得する第二取得手段と、
前記第一取得手段で取得した前記対象物の状態に対応する電子情報を取得する第三取得手段と、
前記画像データと前記電子情報とを記憶手段に記憶させる管理手段と、
前記記憶手段に記憶されている画像データの画像に、前記記憶手段に記憶されている電子情報を重畳させて重畳画像として前記表示手段に表示させる表示制御手段と、
として実行させ、
前記表示制御手段は、
前記第一取得手段で取得した状態が異常状態であれば第一の重畳画像の表示を続け、前記対象物の状態が正常状態に変更されると前記第一の重畳画像から第二の重畳画像に表示を切り替え、
前記撮影手段の撮影範囲に前記対象物が含まれない場合であっても、前記対象物の状態が前記異常状態であれば前記第一の重畳画像を前記表示手段に表示させ、前記対象物の状態が前記正常状態であれば前記第二の重畳画像を前記表示手段に表示させる
ことを特徴とするプログラム。

【請求項3】

前記情報処理装置を、
前記電子情報を取得する第三取得手段と、
前記撮影手段の撮影に基づく対象物の画像の画像データを取得する第四取得手段と、
前記画像に前記電子情報が重畳された前記重畳画像を生成する生成手段と、としてさらに実行させ、
前記第二取得手段は、前記生成手段が生成した重畳画像を取得する
ことを特徴とする請求項１に記載のプログラム。

【請求項4】

前記電子情報は、前記対象物の状態に応じたユーザの作業内容を示す情報である
ことを特徴とする請求項１から３のいずれか１項に記載のプログラム。

【請求項5】

前記情報処理装置を、
前記画像に基づき前記対象物の状態を決定する決定手段としてさらに実行させ、
前記第三取得手段は、前記状態に対応する前記電子情報を取得する
ことを特徴とする請求項２または３に記載のプログラム。

【請求項6】

前記決定手段は、
正常状態の前記対象物の画像と、前記撮影手段によって撮影された対象物の画像とを比較し、前記比較をした結果得られた相違箇所に基づき正常状態か異常状態かを決定する
ことを特徴とする請求項５に記載のプログラム。

【請求項7】

前記決定手段は、
前記対象物の状態が異常状態である場合、前記異常状態の種類を決定し、
前記第三取得手段は、
前記異常状態を解消するための作業内容を示す前記電子情報を取得する
ことを特徴とする請求項５または６に記載のプログラム。

【請求項8】

前記第三取得手段は、
前記決定手段が前記対象物の状態が正常状態と決定した場合、前記対象物の撮影箇所を変えるようにユーザに指示する前記電子情報を取得する
ことを特徴とする請求項５から７のいずれか１項に記載のプログラム。

【請求項9】

前記情報処理装置を、
前記撮影手段によって撮影された動画のデータを取得し、前記動画を構成するフレームのうちの一部のフレームを切り出す切り出し手段としてさらに実行させ、
前記撮影手段の撮影に基づく前記対象物の画像は、前記切り出し手段によって切り出されたフレームである
ことを特徴とする請求項１から８のいずれか１項に記載のプログラム。

【請求項10】

ユーザの所定の操作が受け付けられた場合、前記表示手段に繰り返し再生される前記重畳画像を更新するための処理をする更新手段をさらに有する
ことを特徴とする請求項１から９のいずれか１項に記載のプログラム。

【請求項11】

前記更新手段は、
前記所定の操作が受け付けられた後に撮影された前記対象物の画像が、前記所定の操作が受け付けられる前に前記表示手段に表示されていた前記重畳画像を表示するために用いられた前記対象物の画像と一致しない場合、前記重畳画像を更新するための処理を行う
ことを特徴とする請求項１０に記載のプログラム。

【請求項12】

前記情報処理装置を、
前記表示制御手段が前記重畳画像を繰り返し再生する第１のモードと、第１のモードとは異なる第２のモードと、を切り替える切り替え手段としてさらに実行させ、
前記表示制御手段は、
前記第２のモードにおいて、前記撮影手段が撮影している撮影画像に、前記撮影画像に対応する前記電子情報を重畳して表示する
ことを特徴とする請求項１から１１のいずれか１項に記載のプログラム。

【請求項13】

前記切り替え手段は、
前記対象物が前記撮影手段の撮影範囲にある場合、前記第２のモードに切り替え、
前記対象物が前記撮影手段の撮影範囲から外れている場合、前記第１のモードに切り替える
ことを特徴とする請求項１２に記載のプログラム。

【請求項14】

撮影手段と表示手段とを有する情報処理装置であって、
前記撮影手段によって撮影された対象物の画像から前記対象物の状態を取得する第一取得手段と、
前記撮影手段によって撮影された対象物の画像に、前記第一取得手段で取得した前記対象物の状態に対応する電子情報が重畳された重畳画像を取得する第二取得手段と、
前記重畳画像を記憶手段に記憶させる管理手段と、
前記表示手段に、前記記憶手段に記憶されている重畳画像を表示させる表示制御手段と、を有し、
前記表示制御手段は、
前記第一取得手段で取得した状態が異常状態であれば第一の重畳画像の表示を続け、前記対象物の状態が正常状態に変更されると前記第一の重畳画像から第二の重畳画像に表示を切り替え、
前記撮影手段の撮影範囲に前記対象物が含まれない場合であっても、前記対象物の状態が前記異常状態であれば前記第一の重畳画像を前記表示手段に表示させ、前記対象物の状態が前記正常状態であれば前記第二の重畳画像を前記表示手段に表示させる
ことを特徴とする情報処理装置。

【請求項15】

撮影手段と表示手段とを有する情報処理装置であって、
前記撮影手段によって撮影された対象物の画像から前記対象物の状態を取得する第一取得手段と、
前記撮影手段によって撮影された対象物の画像の画像データを取得する第二取得手段と、
前記第一取得手段で取得した前記対象物の状態に対応する電子情報を取得する第三取得手段と、
前記画像データと前記電子情報とを記憶手段に記憶させる管理手段と、
前記記憶手段に記憶されている画像データの画像に、前記記憶手段に記憶されている電子情報を重畳させて重畳画像として前記表示手段に表示させる表示制御手段と、を有し、
前記表示制御手段は、
前記第一取得手段で取得した状態が異常状態であれば第一の重畳画像の表示を続け、前記対象物の状態が正常状態に変更されると前記第一の重畳画像から第二の重畳画像に表示を切り替え、
前記撮影手段の撮影範囲に前記対象物が含まれない場合であっても、前記対象物の状態が前記異常状態であれば前記第一の重畳画像を前記表示手段に表示させ、前記対象物の状態が前記正常状態であれば前記第二の重畳画像を前記表示手段に表示させる
ことを特徴とする情報処理装置。

【請求項16】

情報処理装置の撮影手段によって撮影された対象物の画像から前記対象物の状態を取得する第一取得ステップと、
前記撮影手段によって撮影された対象物の画像に、前記第一取得ステップで取得した前記対象物の状態に対応する電子情報が重畳された重畳画像を取得する第二取得ステップと、
前記重畳画像を記憶手段に記憶させる管理ステップと、
情報処理装置の表示手段に、前記記憶手段に記憶されている重畳画像を表示させる表示ステップと、を有し、
前記表示ステップでは、
前記第一取得ステップで取得した状態が異常状態であれば第一の重畳画像の表示を続け、前記対象物の状態が正常状態に変更されると前記第一の重畳画像から第二の重畳画像に表示を切り替え、
前記撮影手段の撮影範囲に前記対象物が含まれない場合であっても、前記対象物の状態が前記異常状態であれば前記第一の重畳画像を前記表示手段に表示させ、前記対象物の状態が前記正常状態であれば前記第二の重畳画像を前記表示手段に表示させる
ことを特徴とする情報処理方法。

【請求項17】

情報処理装置の撮影手段によって撮影された対象物の画像から前記対象物の状態を取得する第一取得ステップと、
前記撮影手段によって撮影された対象物の画像の画像データを取得する第二取得ステップと、
前記第一取得ステップで取得した前記対象物の状態に対応する電子情報を取得する第三取得ステップと、
前記画像データと前記電子情報とを記憶手段に記憶させる管理ステップと、
前記記憶手段に記憶されている画像データの画像に、前記記憶手段に記憶されている電子情報を重畳させて重畳画像として情報処理装置の表示手段に表示させる表示ステップと、を有し、
前記表示ステップでは、
前記第一取得ステップで取得した状態が異常状態であれば第一の重畳画像の表示を続け、前記対象物の状態が正常状態に変更されると前記第一の重畳画像から第二の重畳画像に表示を切り替え、
前記撮影手段の撮影範囲に前記対象物が含まれない場合であっても、前記対象物の状態が前記異常状態であれば前記第一の重畳画像を前記表示手段に表示させ、前記対象物の状態が前記正常状態であれば前記第二の重畳画像を前記表示手段に表示させる
ことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮影画像に電子情報が重畳された画像を表示させる技術に関する。

【背景技術】

【0002】

現実環境において撮影して得られた撮影画像に電子情報を重畳して表示することにより、現実環境の情報を拡張する拡張現実感技術（ＡＲ:Augmented Reality）がある。

【0003】

特許文献１には、画像形成装置において手作業による操作が必要な場合、撮影された画像形成装置の映像を取得し、その映像に、映像上の画像形成装置に対応する作業内容を示す電子情報を重畳して表示する方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１―２４５７９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

スマートフォンまたはタブレットのような、撮影部および表示部の両方を備えている情報処理装置がある。このような情報処理装置の表示部に表示される、電子情報が重畳された画像の指示に従い、ユーザが両手で作業を行うために情報処理装置を置いてしまうと、情報処理装置における撮影部の撮影範囲から対象物が外れてしまうことがある。撮影部の撮影範囲から対象物が外れてしまうと、情報処理装置の表示部に作業指示を示す電子情報が表示されなくなる。このため、ユーザの作業効率が低下する虞がある。

【0006】

本開示は、情報処理装置の姿勢に関わらず、対象物に電子情報が重畳された画像を表示させることを目的とする。

【課題を解決するための手段】

【0007】

本開示のプログラムは、撮影手段と表示手段とを有する情報処理装置を、前記撮影手段によって撮影された対象物の画像から前記対象物の状態を取得する第一取得手段と、前記撮影手段によって撮影された対象物の画像に、前記第一取得手段で取得した前記対象物の状態に対応する電子情報が重畳された重畳画像を取得する第二取得手段と、前記重畳画像を記憶手段に記憶させる管理手段と、前記表示手段に、前記記憶手段に記憶されている重畳画像を表示させる表示制御手段と、として実行させ、前記表示制御手段は、記第一取得手段で取得した状態が異常状態であれば第一の重畳画像の表示を続け、前記対象物の状態が正常状態に変更されると前記第一の重畳画像から第二の重畳画像に表示を切り替え、前記撮影手段の撮影範囲に前記対象物が含まれない場合であっても、前記対象物の状態が前記異常状態であれば前記第一の重畳画像を前記表示手段に表示させ、前記対象物の状態が前記正常状態であれば前記第二の重畳画像を前記表示手段に表示させることを特徴とする。

【発明の効果】

【0008】

本開示の技術によれば、情報処理装置の姿勢に関わらず、対象物に電子情報が重畳された画像を表示させることができる。

【図面の簡単な説明】

【0009】

【図1】作業指示システムの構成を示す図である。

【図2】多機能携帯端末の比較例を示す図である。

【図3】画像形成装置のハードウェア構成を示すブロック図である。

【図4】多機能携帯端末のハードウェア構成を示すブロック図である。

【図5】多機能携帯端末の機能構成を示すブロック図である。

【図6】ＡＲ再生モードで撮影している多機能携帯端末を示す図である。

【図7】ＡＲ再生モードで撮影している多機能携帯端末を示す図である。

【図8】重畳画像を表示するまでの処理を示すフローチャートである。

【図9】更新処理を示すフローチャートである。

【図10】ＡＲ再生モードで撮影している多機能携帯端末を示す図である。

【発明を実施するための形態】

【0010】

以下、実施形態について図面を用いて説明する。なお、以下の実施形態において示す構成は一例に過ぎず、実施形態は図示された構成に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0011】

＜実施形態１＞
［作業指示システムについて］
図１は、本実施形態の作業指示システムの構成を示す図である。作業指示システム１３０は、画像形成装置１００と、多機能携帯電話１１０とを有する。

【0012】

画像形成装置１００は、例えばプリンタであり、本実施形態においてユーザによる作業の対象物となる機器（作業対象物）である。多機能携帯電話１１０（以下、スマートフォンと記す）は、撮影部４０４（図１では不図示）および表示部４０５の両方を有する情報処理装置である。作業指示システム１３０の情報処理装置は、他にも例えば、撮影部を有する、タブレット、ノート型ＰＣ等であってもよい。

【0013】

画像形成装置１００においてユーザによる手作業が必要となる事象が発生した場合、ユーザが、スマートフォン１１０のＡＲ再生モードにより画像形成装置１００を撮影する。その場合、スマートフォン１１０の表示部４０５には撮影部４０４によって撮影された撮影画像に作業内容を示す電子情報１２０が重畳された画像が表示される。また、ユーザがスマートフォン１１０を移動させて異なる位置および方向から画像形成装置１００を撮影した場合、移動後の位置から撮影された画像形成装置１００の撮影画像に対応した作業内容を示す電子情報が、その撮影画像に重畳されて表示される。

【0014】

このため、作業指示システム１３０によれば、ユーザが、作業内容を確認したい位置および方向からの画像形成装置１００の画像を見ることで、作業を容易に把握することができ、作業効率を向上させることができる。

【0015】

しかしながら、スマートフォン１１０の撮影部４０４の撮影範囲から画像形成装置１００が外れてしまうと、スマートフォン１１０の表示部４０５には画像形成装置１００が表示されないため、作業内容を示す電子情報が重畳されなくなることがある。

【0016】

図２は、ユーザが作業のために、スマートフォン１１０を置いた場合における本実施形態の比較例を示す図である。スマートフォンの撮影部４０４（図２では不図示）は表示部４０５の裏にあるため、ユーザがスマートフォン１１０を置いて、作業内容を見ながら作業しようとすると、表示部４０５には画像形成装置１００が表示されなくなる。このため、作業内容を示す電子情報が重畳されなくなり、ユーザは作業を確認できなくなる。

【0017】

そこで本実施形態では、画像形成装置１００が含まれる画像（動画）に、画像形成装置１００の状態に応じた電子情報が重畳された重畳画像を生成して記憶させる。そして記憶された重畳画像をスマートフォン１１０の表示部４０５に繰り返し再生されるように表示させる。こうして、スマートフォン１１０の姿勢に関わらず、ユーザが作業内容を示す重畳画像を見ることができようにする方法を説明する。

【0018】

［ハードウェア構成］
図３は、画像形成装置１００のハードウェア構成を示すブロック図である。画像形成装置１００は、ＣＰＵ３００、ＲＯＭ３０１、ＲＡＭ３０２、電源部３０３、印刷部３０４、システムバス３０５を有する。各部はシステムバス３０５を介して接続している。

【0019】

ＣＰＵ３００はＲＯＭ３０１に格納されたプログラムに従って、ＲＡＭ３０２を作業領域として、例えば印刷部３０４が印刷するための印刷ジョブを生成するなど、画像形成装置１００の制御を行う。電源部３０３は、システムバス３０５を介して、各部に必要な電力を供給する。印刷部３０４は、生成された印刷ジョブに従って印刷を行う。

【0020】

図４は、スマートフォン１１０のハードウェア構成を示すブロック図である。スマートフォン１１０は、ＣＰＵ４００、ＲＯＭ４０１、ＲＡＭ４０２、電源部４０３、撮影部４０４、表示部４０５、入力部４０６、およびシステムバス４０７を有する。

【0021】

ＣＰＵ４００はＲＯＭ４０１に格納されたプログラムに従って、ＲＡＭ４０２を作業領域として、スマートフォン１１０の制御を行う。電源部４０３は、システムバス４０７を介して、各部に必要な電力を供給する。撮影部４０４はカメラでありＣＰＵ４００の制御に従い撮影を行う。表示部４０５は、例えば、液晶パネルであり、撮影部４０４が撮影した画像の表示を行う。入力部４０６は、ユーザ操作の入力を受け付ける。本実施形態の入力部４０６はタッチパネル及びボタンであるものとして説明する。

【0022】

［多機能携帯電話の機能構成］
図５は、スマートフォン１１０のＡＲ再生モードに係る機能構成を説明するための図である。スマートフォン１１０は、編集部５０１、記憶管理部５０２、決定部５０３、取得部５０４、重畳部５０５、および表示制御部５０６を有する。

【0023】

編集部５０１は、撮影部４０４が撮影することによって得られた動画の一部を切り出す。一部とは、撮影動画のうちの数秒間の動画である。つまり、一部とは、動画を構成する複数のフレームのうちの一部のフレームである。編集部５０１は、撮影部４０４が撮影することによって得られた動画の１フレームを一部の画像として切り出してもよい。記憶管理部５０２は、データをＲＡＭ４０２に記憶する。

【0024】

決定部５０３は、撮影部４０４によって撮影された作業対象物の状態を決定する。決定部５０３は、例えば、ＲＯＭ４０１またはＲＡＭ４０２に格納された正常状態（異常ではない状態）の画像形成装置１００の画像データと、編集部５０１によって切り出されることによって得られた画像データと、を比較する。決定部５０３は、その比較の結果得られた相違箇所に基づき作業対象物の状態を決定する。

【0025】

取得部５０４は、ＲＯＭ４０１に格納されたユーザの作業内容を示す電子情報を取得する。または、取得部５０４は外部の記憶装置から電子情報を取得してもよい。重畳部５０５は、電子情報と切り出された画像と重畳して重畳画像を生成する。表示制御部５０６は、生成された重畳画像を表示部４０５に表示する。

【0026】

なお、図５の編集部５０１から表示制御部５０６の機能を備えるＡＲアプリケーションがスマートフォン１１０にインストールされることで、本実施形態の処理が実行されても良い。

【0027】

図５の各部の機能は、スマートフォン１１０のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより実現される。または、図５の各部の一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。

【0028】

［本実施形態のＡＲ再生モードについて］
本実施形態のスマートフォン１１０は、ユーザが作業対象物を撮影すると、撮影によって得られた画像に作業内容を示す電子情報を重畳して表示するＡＲ再生モードを有する。本実施形態のＡＲ再生モードでは、例えば、スマートフォン１１０によって撮影された画像形成装置１００の動画から数秒間の動画が切り出される。そして、その切り出された動画に作業指示を示す電子情報が重畳された動画（重畳画像とよぶ）が表示部４０５に繰り返し再生されるように表示される。重畳画像は、動画であっても、静止画であってもよい。また、画像には動画が含まれるものとして説明する。

【0029】

現在繰り返し再生されるように表示されている重畳画像が示す作業をユーザが完了した場合、またはユーザが違う角度からの作業内容を確認したい場合、ユーザの操作に応じて重畳画像を更新させることもできる。また、ユーザの操作によってＡＲ再生モードから通常の撮影モードに切り替えることが可能である。

【0030】

図６（ａ）は、本実施形態のＡＲ再生モードの動作を説明する図である。図６（ａ）の画像形成装置１００は、メンテナンスカバー１０１開けられた状態であり、画像形成装置１００の内部では、記録ヘッド１０２が用紙６０１を巻き込み、用紙ジャムが発生している。

【0031】

このような異常が発生している状態の画像形成装置１００がスマートフォン１１０の撮影部４０４によって撮影される。スマートフォン１１０の表示部４０５には、スマートフォン１１０の撮影部４０４が撮影した画像に、作業内容を示す電子情報６０３である画像が重畳された重畳画像６００が表示される。

【0032】

図６（ｂ）は、図６（ａ）の状態のスマートフォン１１０を床に置いた図である。本実施形態のＡＲ再生モードによって表示される重畳画像６００は、取得された作業対象物の画像に電子情報が重畳された重畳画像が繰り返し再生されるように表示される。このため、図６（ｂ）に示すように、撮影部４０４の撮影範囲から作業対象物である画像形成装置１００が外れたとしても、表示部４０５に作業内容を示す重畳画像を表示し続けることができる。

【0033】

表示部４０５には重畳画像６００に加え、更新ボタン６０２のＵＩ画像が表示される。更新ボタン６０２は表示部４０５上の、どの位置にあってもよく、入力部４０６の一部のボタンであってもよい。ユーザは更新ボタン６０２を押下することによって、繰り返し表示される重畳画像を、新たな撮影画像に基づく重畳画像に更新することができる。このため、現在表示されている重畳画像が示す作業内容の作業をユーザが完了した場合、ユーザが更新ボタン６０２を押下することにより、表示制御部５０６は、新たな撮影画像に基づく重畳画像を表示部４０５に表示させることができる。または現在再生されている作業指示を示す重畳画像とは別の角度からの画像を見たい場合、表示制御部５０６は、ユーザが更新ボタン６０２を押下することにより、新たな撮影画像に基づく重畳画像を表示部４０５に表示させることができる。

【0034】

なお、本実施形態の作業指示システム１３０において、ユーザに指示することができる作業の内容は、用紙ジャムに対する作業に限定されるものではない。作業指示システム１３０は、画像形成装置１００において用紙ジャムの解消以外の作業が求められる事象が発生した場合についても、本実施形態を適用することができる。

【0035】

図７は、画像形成装置１００でインクタンク７００の交換エラーが発生した場合の画像形成装置１００と、画像形成装置１００を撮影して得られた画像に電子情報７０２が重畳された重畳画像７０１を示す図である。図７に示すように、インクタンクを交換する手作業が必要とされる場合にも、インクタンク交換のためのユーザの作業内容を示す電子情報７０２が重畳された重畳画像７０１が繰り返し再生されるように表示させることができる。

【0036】

［ＡＲ再生モードの処理］
図８は、ＡＲ再生モードにおけるスマートフォン１１０の処理を説明するためのフローチャートである。図８のフローチャートで示される一連の処理は、スマートフォン１１０のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。また、図８におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

【0037】

本フローチャートは、ユーザが、スマートフォン１１０のＡＲ再生モードにおいて、撮影の開始をスマートフォン１１０に指示することに応じて本フローチャートが開始される。なお、ユーザがスマートフォン１１０の画面に表示されるＡＲ再生モードの開始ボタンを押下することでＡＲ再生モードが開始されても良い。例えば、上述したＡＲアプリケーションが上述した開始ボタンを表示しても良い。また、ＡＲアプリケーションが起動されることに基づいてＡＲ再生モードが開始されても良い。

【0038】

Ｓ８００において編集部５０１は、撮影部４０４に撮影の開始を指示して、撮影部４０４が撮影することによって得られた動画のデータを取得する。

【0039】

Ｓ８０１において編集部５０１は、撮影部４０４が撮影した結果得られた動画の一部を切り出す。本ステップにおいて切り出される画像（動画）は、Ｓ８００において取得された動画のうち、画像形成装置１００が含まれるフレームが選択されて、選択されたフレームが切り出されてもよい。

【0040】

Ｓ８０２において記憶管理部５０２は、Ｓ８０１において切り出された画像のデータをＲＡＭ４０２に一時的に記憶する。なお、Ｓ８０１において取得された撮影動画の一部を切り出さずに、取得した撮影動画をそのままＲＡＭ４０２に記憶してもよい。

【0041】

Ｓ８０３において決定部５０３は、画像形成装置１００が正常状態であるかの判定を行う。正常状態とは、例えば、用紙ジャム等が発生していない、異常ではない状態をいう。

【0042】

本ステップの判定方法として、例えば、ＲＯＭ４０１に格納されている正常状態の画像形成装置１００の画像データと切り出された画像データとを比較して、相違箇所に基づき画像形成装置１００の状態が正常状態か判定される。

【0043】

画像形成装置が異常状態である場合（Ｓ８０３がＮＯ）、Ｓ８０４において決定部５０３は、画像形成装置１００の異常の発生の原因を特定して画像形成装置１００において発生している異常の種類を決定する。決定部５０３は、例えば、正常状態の画像形成装置１００の画像データと切り出された画像データとを比較する。そして決定部５０３は、比較に基づき、詰まった用紙とその用紙の位置、プリンタヘッドの位置の相違箇所を導出し、その相違箇所に基づき画像形成装置は用紙ジャムが発生している状態であると決定する。

【0044】

なお、Ｓ８０３およびＳ８０４の処理は、１つのステップで行われてもよい。例えば、決定部５０３は、正常状態の画像形成装置１００の画像データと切り出された画像データとを比較する。比較の結果、決定部５０３は、画像形成装置１００の状態が用紙ジャム等の異常を示すいずれかの状態であれば、その状態を画像形成装置１００の状態と決定してもよい。異常を示すいずれかの状態と決定されなかった場合は、決定部５０３は画像形成装置１００を正常状態と決定してもよい。

【0045】

Ｓ８０３の正常状態であるかの判定の方法、またはＳ８０４における異常状態の種類を決定する方法としては、ディープラーニング等の機械学習を用いた画像認識処理によって行われてもよい。例えば、ディープラーニングを用いて画像認識を行う場合には、作業対象物である画像形成装置１００を撮影した画像をそれぞれ大量に学習させた学習モデルであるニューラルネットワークを用意しておく。具体的には、この学習モデルは、入力データとして画像が入力されることにより、出力データ（認識結果）として、画像形成装置１００のそれぞれの状態の確率を出力する。よって、最も確率の高い出力値に対応する状態が、その画像の解析結果となる。

【0046】

なお、学習モデルを学習させる場合には、学習用データとして、入力データとして画像形成装置１００の画像と、画像形成装置のそれぞれの状態を示す情報を教師データ（正解データ）と、を用意する。そして、入力データである画像を学習モデルに入力することにより出力された出力データ（認識結果）と、教師データと、を損失関数に与えることにより、認識結果の正解からのずれ量が得られる。多数の学習用データに対してずれ量Ｌが小さくなるように、学習モデル中のニューラルネットワークのノード間の結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。このようにして生成した学習モデルに対して、画像形成装置の画像を入力することで、状態の判定または状態の種類の決定がされてもよい。

【0047】

Ｓ８０５において取得部５０４は、決定された画像形成装置の状態に対応する作業内容の電子情報をＲＯＭ４０１から取得する。例えば、画像形成装置１００が異常と判定され、その異常の種別が用紙ジャムであると決定された場合は、用紙ジャムを解消するためのユーザの作業内容を示す情報である電子情報を取得する。

【0048】

電子情報としては、例えば、作業内容を示す指示動画であるものとして説明するが、他にもコンピュータグラフィックスにより生成された３次元モデル、実画像、アニメーション、文字情報等が電子情報として用いられてもよい。

【0049】

一方、画像形成装置が正常状態と判定された場合（Ｓ８０３がＹＥＳ）、２つの場合が考えられる。第１の場合として、画像形成装置１００が実際に正常状態の場合である。または、第２の場合として、切り出された画像に異常状態を示す箇所、例えば、用紙ジャムが発生している場合、詰まっている用紙の箇所が撮影されておらず、異常状態を示す相違箇所が導出されなかった場合である。

【0050】

よって、正常状態と判定された場合であっても第２の場合の可能性がある。このため、画像形成装置が正常状態と判定された場合、Ｓ８０５において取得部５０４は、異常の発生を特定する箇所が撮影されるよう画像形成装置１００の撮影箇所を変えるようにユーザに指示するための電子情報を取得する。例えば、メンテナンスカバー１０１を閉めた状態で画像形成装置１００が撮影されている場合は、巻き込んだ用紙６０１が見えるように、メンテナンスカバー１０１を開けて再度撮影するよう指示する電子情報が取得される。

【0051】

Ｓ８０６において重畳部５０５は、Ｓ８０２において記憶された画像に、Ｓ８０５において取得された電子情報を重畳して、ユーザに対して作業指示するための重畳画像を生成する。Ｓ８０７において記憶管理部５０２は、生成された重畳画像をＲＡＭ４０２に記憶する。

【0052】

Ｓ８０８において表示制御部５０６は、記憶された重畳画像を表示部４０５に繰り返し再生されるように表示する。

【0053】

表示制御部５０６は、例えば、更新ボタン６０２が押下されるまで、またはＡＲ再生モードが終了されるまで、生成された重畳画像を繰り返し再生させる。このために、スマートフォン１１０の撮影部４０４の撮影範囲から画像形成装置１００が外れても、ユーザは重畳画像を見ながら作業をすることができる。

【0054】

または、重畳画像は所定の時間が経過するまで繰り返し再生されてもよい。例えば、作業対象物が正常状態と判定された場合、ユーザは、重畳画像の指示に従い、撮影箇所を変更している可能性が高い。このため、Ｓ８０３の判定において作業対象物が正常状態と判定された場合、Ｓ８０８では重畳画像が所定の時間が経過するまで繰り返し再生された後、Ｓ８００に遷移してもよい。

【0055】

なお、Ｓ８０５において取得された電子情報はＲＯＭ４０１またはＲＡＭ４０２に記憶されてもよい。そして、例えば、表示制御部５０６は、Ｓ８０２において記憶された画像が繰り返し再生されるように表示して、その上に記憶された電子情報が重畳して表示されるように表示制御をしてもよい。この場合、Ｓ８０７の処理はスキップしてもよい。この場合でも、スマートフォン１１０の姿勢に関わらず、重畳画像を表示部に表示させることができる。

【0056】

［重畳画像の更新処理］
Ｓ８０８において重畳画像が繰り返し再生されている際に、更新ボタン６０２がユーザによって押下されると、繰り返し再生される重畳画像を更新するための処理が行われる。図９は、更新処理の詳細を示すフローチャートである。

【0057】

Ｓ９００において編集部５０１は、撮影部４０４に撮影の開始を指示して、撮影部４０４が撮影することによって得られた動画のデータを取得する。

【0058】

Ｓ９０１において編集部５０１は、撮影部４０４が撮影することによって得られた動画の一部を切り出す。本ステップの処理は、Ｓ８０１と同一である。

【0059】

Ｓ９０２において編集部５０１は、Ｓ８０２において記憶された、前の重畳画像の電子情報以外の画像部分である前回撮影動画から切り出された画像（動画）のデータを取得する。

【0060】

Ｓ９０３において編集部５０１は、Ｓ９０２において取得された前回撮影動画から切り出された画像（動画）と、Ｓ９０１において動画から切り出された画像（動画）とを比較して、画像形成装置１００の状態および撮影箇所が一致するかを判定する。判定の方法は、例えば、取得した前回切り出された画像のデータと、Ｓ９０１において切り出された画像のデータとの比較を行い、２つの画像の相違箇所に基づき一致するかを判定する。

【0061】

Ｓ９０３において一致すると判定された場合、Ｓ９０４において表示制御部５０６は前回の重畳画像のデータを取得して、表示部４０５に、取得した重畳画像を繰り返し再生させるように表示させる。即ち、画像形成装置１００の状態が、更新ボタン６０２が押下される前と一致しており、撮影箇所も変わっていない場合は重畳画像を更新する必要がない。このため、本ステップでは重畳画像を更新しないで、前回の重畳画像を繰り返し再生されるように表示させる。

【0062】

一方、Ｓ９０３において一致しないと判定された場合、Ｓ９０５において記憶管理部５０２はＳ９０１において動画から切り出された画像（動画）を記憶する。そして、Ｓ９０６~Ｓ９１１において、今回切り出された画像（動画）に基づき、重畳画像をあらためて生成して、生成された重畳画像を繰り返し表示させる。Ｓ９０６～Ｓ９１１の処理は、Ｓ８０３～Ｓ８０８の処理と同一であるため説明を省略する。

【0063】

Ｓ９１１またはＳ９０４において重畳画像が表示されている際に、更新ボタン６０２が押下された場合、本フローチャートの処理が再び行われる。このため、ユーザが現在再生されている重畳画像の作業が終了した場合、本フローチャートの更新処理が行われることによって、次の作業を示す重畳画像が表示されるようにすることができる。

【0064】

［作業対象物について］
作業指示システム１３０における作業対象物は画像形成装置１００であるものとして説明したが、作業対象物は画像形成装置１００に限られない。

【0065】

図１０は、作業対象物がディスプレイ装置１０００である場合の本実施形態の適用例を示す図である。図１０のディスプレイ装置１０００は、ユーザが電源に接続する手作業が発生しているディスプレイ装置である。ディスプレイ装置１０００を撮影しているスマートフォン１１０の表示部４０５には作業内容を示す電子情報１００２が重畳された重畳画像１００１が繰り返し再生されて表示されている。スマートフォン１１０の表示部４０５に作業内容を示す画像を表示させる処理は、図８のフローと同様である。

【0066】

作業対象物の識別方法は、例えば、作業対象物に付与されている識別子を読み取ることで作業対象物の製品情報を取得して作業対象物の種別を識別してよい。または、ディープラーニング等の機械学習を用いた画像認識処理によって作業対象物の識別が行われてもよい。またはユーザが作業対象物の情報を入力して、入力された情報に基づき作業対象物の識別が行われてもよい。

【0067】

このように作業対象物が画像形成装置１００以外の装置であっても、本実施形態によれば、スマートフォン１１０の撮影部４０４の撮影範囲から作業対象物から外れたとしても、作業内容を示す重畳画像を表示させることができる。

【0068】

［モードの切り替えについて］
ＡＲ再生モードでは上述したような記憶された重畳画像を繰り返し再生して表示するモード（第１のモードと記す）に加えて、現在撮影部が撮影している撮影画像に撮影画像に応じた電子情報を重畳して表示されるモード（第２のモードと記す）を有してもよい。そして、スマートフォン１１０には、第１のモードと第２のモードとを切り替える不図示の切り替え部を有してもよい。

【0069】

例えば、不図示の切り替え部が、現在、撮影部４０４の撮影範囲に作業対象物が含まれているか判定する。作業対象物が含まれていないと判定された場合は、第１のモードに切り替えて、表示制御部５０６は記憶されている重畳画像を繰り返し再生されるように表示させる。

【0070】

一方、撮影部４０４の撮影範囲に作業対象物が含まれていると判定された場合、第２のモードに切り替えられて、表示制御部５０６は、現在撮影部４０４が撮影している撮影画像に、その撮影画像に応じた電子情報を重畳して表示部４０５に表示させる。

【0071】

所定の時間間隔で、撮影範囲に作業対象物が含まれるかの判定が行われてもよい。例えば、第１のモードにおいて、撮影範囲に作業対象物が含まれると判定された場合、モードが切り替えられて、現在の撮影画像に電子情報を重畳して表示部４０５に表示させる第２のモードとして動作するようにしてもよい。作業対象物が撮影部４０４の撮影範囲から外れたかの判定方法は、例えば、作業対象物が含まれる画像と現在の撮影画像とを比較することによって判定される。

【0072】

以上説明したように本実施形態によれば、撮影部を有する情報処理装置の姿勢に関わらず、対象物に電子情報が重畳された画像を、情報処理装置の表示部に表示させることができる。そのため、撮影部４０４の撮影範囲に作業対象物（例えば、画像形成装置１００）が含まれる場合も、撮影部４０４の撮影範囲から作業対象物が外れた場合も、対象物に電子情報が重畳された画像を、情報処理装置の表示部に表示させることができる。

【0073】

＜その他の実施形態＞
作業指示システム１３０には、図３の機能の一部または全部を有するスマートフォン１１０とは別の情報処理装置（サーバ）を有していてもよい。例えば、上記の実施形態では、情報処理装置であるスマートフォン１１０が、図８および図９のフローチャートの全ステップにおける処理をするものとして説明した。他にも、図８および図９のフローチャートの一部の処理は作業指示システム１３０のサーバによって行われてもよい。例えば、図８のフローチャートでは、サーバが、スマートフォン１１０によって撮影された動画を取得して、取得した動画の一部を切り出し、画像形成装置１００の状態を決定して、決定された状態に基づく電子情報をスマートフォン１１０に送信してもよい。そして、スマートフォン１１０はＳ８０５においてサーバから送信された電子情報を取得する形態でもよい。

【0074】

または、サーバは、画像形成装置１００の状態に基づき決定した電子情報を、切り出した画像に重畳して重畳画像を生成して、生成した重畳画像をスマートフォン１１０に送信してもよい。そして、スマートフォン１１０は、Ｓ８０６において重畳画像を生成する代わりにサーバから重畳画像を取得してもよい。

【0075】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0076】

１１０ 多機能携帯電話
５０４ 取得部
５０６ 表示制御部
６００ 重畳画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】