知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130959
(43)【公開日】2024-09-30
(54)【発明の名称】情報処理システムおよびプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240920BHJP
G06F 3/0481 20220101ALI20240920BHJP
G06F 3/14 20060101ALI20240920BHJP
H04N 1/00 20060101ALI20240920BHJP
【ＦＩ】
G06F3/01 510
G06F3/0481
G06F3/14 330A
H04N1/00 350
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023040940
(22)【出願日】2023-03-15
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】清水 智行
【テーマコード（参考）】
5B069
5C062
5E555
【Ｆターム（参考）】
5B069AA01
5B069DB00
5B069DD05
5B069DD15
5B069JA06
5B069JA08
5C062AA05
5C062AA13
5C062AB17
5C062AB20
5C062AB22
5C062AB23
5C062AC05
5C062AC55
5C062AC58
5E555AA64
5E555BA01
5E555BA05
5E555BA38
5E555BB01
5E555BB05
5E555BB38
5E555BC17
5E555BC18
5E555BD01
5E555BD07
5E555BE17
5E555CA12
5E555CA42
5E555CA44
5E555CB12
5E555CB19
5E555CB21
5E555CB55
5E555CC01
5E555DA08
5E555DA09
5E555DB41
5E555DB51
5E555DB56
5E555DC09
5E555DC13
5E555DC61
5E555DD01
5E555DD04
5E555DD06
5E555DD08
5E555EA02
5E555EA11
5E555EA14
5E555EA22
5E555FA00
(57)【要約】
【課題】第１ユーザと第２ユーザとの視点を考慮しない場合に比して、第１ユーザから第２ユーザへ情報を伝達しやすくする。
【解決手段】情報処理システムは、１または複数のプロセッサを備え、１または複数のプロセッサは、第１ユーザにより入力される付随情報を取得し、第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得し、第２ユーザの端末装置に目印画像を表示させ、目印画像と対象物の一部との関係により、付随情報を表示させることを特徴とする。
【選択図】図１
【解決手段】情報処理システムは、１または複数のプロセッサを備え、１または複数のプロセッサは、第１ユーザにより入力される付随情報を取得し、第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得し、第２ユーザの端末装置に目印画像を表示させ、目印画像と対象物の一部との関係により、付随情報を表示させることを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
１または複数のプロセッサを備え、
前記１または複数のプロセッサは、
第１ユーザにより入力される付随情報を取得し、
前記第１ユーザが前記付随情報を入力する対象物の一部に対応する目印画像を取得し、
第２ユーザの端末装置に前記目印画像を表示させ、
前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる
ことを特徴とする情報処理システム。
前記１または複数のプロセッサは、
第１ユーザにより入力される付随情報を取得し、
前記第１ユーザが前記付随情報を入力する対象物の一部に対応する目印画像を取得し、
第２ユーザの端末装置に前記目印画像を表示させ、
前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる
ことを特徴とする情報処理システム。
【請求項2】
前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが、前記第１ユーザと前記第２ユーザとの視点が略一致していると判断できる関係にある場合に、前記付随情報を表示させる
ことを特徴とする請求項１に記載の情報処理システム。
ことを特徴とする請求項１に記載の情報処理システム。
【請求項3】
前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが合致した場合に前記付随情報を表示させる
ことを特徴とする請求項２に記載の情報処理システム。
ことを特徴とする請求項２に記載の情報処理システム。
【請求項4】
前記１または複数のプロセッサは、前記目印画像として複数の候補を前記第１ユーザの端末装置に表示させ、当該第１ユーザの選択を受け付ける
ことを特徴とする請求項１に記載の情報処理システム。
ことを特徴とする請求項１に記載の情報処理システム。
【請求項5】
前記１または複数のプロセッサは、前記目印画像に対する付加情報を前記第１ユーザから受け付ける
ことを特徴とする請求項４に記載の情報処理システム。
ことを特徴とする請求項４に記載の情報処理システム。
【請求項6】
前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面上に表示される当該目印画像の位置を取得する
ことを特徴とする請求項１に記載の情報処理システム。
ことを特徴とする請求項１に記載の情報処理システム。
【請求項7】
前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面の解像度を取得する
ことを特徴とする請求項６に記載の情報処理システム。
ことを特徴とする請求項６に記載の情報処理システム。
【請求項8】
前記１または複数のプロセッサは、前記第１ユーザの端末装置が発光機能を有する場合、前記目印画像を取得する際に発光状態を取得する
ことを特徴とする請求項１に記載の情報処理システム。
ことを特徴とする請求項１に記載の情報処理システム。
【請求項9】
前記１または複数のプロセッサは、前記第２ユーザによる撮像画面上に前記対象物の前記目印画像に対応する前記一部が視認できない場合、当該一部が視認できる状態までの案内情報を表示させる
ことを特徴とする請求項１に記載の情報処理システム。
ことを特徴とする請求項１に記載の情報処理システム。
【請求項10】
前記１または複数のプロセッサは、前記第２ユーザによる確認情報の入力を受け付ける
ことを特徴とする請求項１に記載の情報処理システム。
ことを特徴とする請求項１に記載の情報処理システム。
【請求項11】
前記１または複数のプロセッサは、前記第１ユーザが入力した前記付随情報の一覧を前記第２ユーザの端末装置に表示させ、当該第２ユーザから前記確認情報の入力を受け付けたか否かに応じて当該付随情報の表示方法を変更する
ことを特徴とする請求項１０に記載の情報処理システム。
ことを特徴とする請求項１０に記載の情報処理システム。
【請求項12】
１または複数のプロセッサに実現させるプログラムであって、
第１ユーザの端末装置から入力される付随情報を取得する機能と、
前記第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得する機能と、
第２ユーザの端末装置に前記目印画像を表示させる機能と、
前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる機能と、
を実現させるためのプログラム。
第１ユーザの端末装置から入力される付随情報を取得する機能と、
前記第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得する機能と、
第２ユーザの端末装置に前記目印画像を表示させる機能と、
前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムおよびプログラムに関する。
【背景技術】
【0002】
特許文献１には、保守点検作業の状態を正確に把握するために、保守点検作業を終了したときにその終了後の状態を情報発信機の撮影機能を利用して撮影し、その撮影画像を監視センタに送信する、とする保守点検管理システムが記載されている。
特許文献２には、作業に関わる人々の役割に応じた作業指示やチェックシートによる確認作業をリアルタイムに行うために、作業に関わるそれぞれの役割に応じて品質を確保する各種チェックシートの確認状況や作業根拠写真をリアルタイムに登録・収集し、関係者へのワークフローと共に情報共有する、とする遠隔品質管理システムが記載されている。
特許文献２には、作業に関わる人々の役割に応じた作業指示やチェックシートによる確認作業をリアルタイムに行うために、作業に関わるそれぞれの役割に応じて品質を確保する各種チェックシートの確認状況や作業根拠写真をリアルタイムに登録・収集し、関係者へのワークフローと共に情報共有する、とする遠隔品質管理システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００７－１３７６５８号公報
【特許文献2】特開２０１４－１５７６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
第１ユーザによる作業内容を第２ユーザに引き継ぐ場合に、連絡事項の引継ぎが行われることがある。その際、第２ユーザに上手く伝達することができないことが問題となる。例えば、第１ユーザによる連絡事項を第２ユーザが確認しようとする際に第１ユーザと第２ユーザとの視点が異なる場合には、その情報が上手く伝達されない状況が起こり得る。
本発明の目的は、第１ユーザと第２ユーザとの視点を考慮しない場合に比して、第１ユーザから第２ユーザへ情報を伝達しやすくすることにある。
本発明の目的は、第１ユーザと第２ユーザとの視点を考慮しない場合に比して、第１ユーザから第２ユーザへ情報を伝達しやすくすることにある。
【課題を解決するための手段】
【0005】
請求項１に記載の発明は、１または複数のプロセッサを備え、前記１または複数のプロセッサは、第１ユーザにより入力される付随情報を取得し、前記第１ユーザが前記付随情報を入力する対象物の一部に対応する目印画像を取得し、第２ユーザの端末装置に前記目印画像を表示させ、前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させることを特徴とする情報処理システムである。
請求項２に記載の発明は、前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが、前記第１ユーザと前記第２ユーザとの視点が略一致していると判断できる関係にある場合に、前記付随情報を表示させることを特徴とする請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが合致した場合に前記付随情報を表示させることを特徴とする請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記１または複数のプロセッサは、前記目印画像として複数の候補を前記第１ユーザの端末装置に表示させ、当該第１ユーザの選択を受け付けることを特徴とする請求項１に記載の情報処理システムである。
請求項５に記載の発明は、前記１または複数のプロセッサは、前記目印画像に対する付加情報を前記第１ユーザから受け付けることを特徴とする請求項４に記載の情報処理システムである。
請求項６に記載の発明は、前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面上に表示される当該目印画像の位置を取得することを特徴とする請求項１に記載の情報処理システムである。
請求項７に記載の発明は、前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面の解像度を取得することを特徴とする請求項６に記載の情報処理システムである。
請求項８に記載の発明は、前記１または複数のプロセッサは、前記第１ユーザの端末装置が発光機能を有する場合、前記目印画像を取得する際に発光状態を取得することを特徴とする請求項１に記載の情報処理システムである。
請求項９に記載の発明は、前記１または複数のプロセッサは、前記第２ユーザによる撮像画面上に前記対象物の前記目印画像に対応する前記一部が視認できない場合、当該一部が視認できる状態までの案内情報を表示させることを特徴とする請求項１に記載の情報処理システムである。
請求項１０に記載の発明は、前記１または複数のプロセッサは、前記第２ユーザによる確認情報の入力を受け付けることを特徴とする請求項１に記載の情報処理システムである。
請求項１１に記載の発明は、前記１または複数のプロセッサは、前記第１ユーザが入力した前記付随情報の一覧を前記第２ユーザの端末装置に表示させ、当該第２ユーザから前記確認情報の入力を受け付けたか否かに応じて当該付随情報の表示方法を変更することを特徴とする請求項１０に記載の情報処理システムである。
請求項１２に記載の発明は、１または複数のプロセッサに実現させるプログラムであって、第１ユーザの端末装置から入力される付随情報を取得する機能と、前記第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得する機能と、第２ユーザの端末装置に前記目印画像を表示させる機能と、前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが、前記第１ユーザと前記第２ユーザとの視点が略一致していると判断できる関係にある場合に、前記付随情報を表示させることを特徴とする請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが合致した場合に前記付随情報を表示させることを特徴とする請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記１または複数のプロセッサは、前記目印画像として複数の候補を前記第１ユーザの端末装置に表示させ、当該第１ユーザの選択を受け付けることを特徴とする請求項１に記載の情報処理システムである。
請求項５に記載の発明は、前記１または複数のプロセッサは、前記目印画像に対する付加情報を前記第１ユーザから受け付けることを特徴とする請求項４に記載の情報処理システムである。
請求項６に記載の発明は、前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面上に表示される当該目印画像の位置を取得することを特徴とする請求項１に記載の情報処理システムである。
請求項７に記載の発明は、前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面の解像度を取得することを特徴とする請求項６に記載の情報処理システムである。
請求項８に記載の発明は、前記１または複数のプロセッサは、前記第１ユーザの端末装置が発光機能を有する場合、前記目印画像を取得する際に発光状態を取得することを特徴とする請求項１に記載の情報処理システムである。
請求項９に記載の発明は、前記１または複数のプロセッサは、前記第２ユーザによる撮像画面上に前記対象物の前記目印画像に対応する前記一部が視認できない場合、当該一部が視認できる状態までの案内情報を表示させることを特徴とする請求項１に記載の情報処理システムである。
請求項１０に記載の発明は、前記１または複数のプロセッサは、前記第２ユーザによる確認情報の入力を受け付けることを特徴とする請求項１に記載の情報処理システムである。
請求項１１に記載の発明は、前記１または複数のプロセッサは、前記第１ユーザが入力した前記付随情報の一覧を前記第２ユーザの端末装置に表示させ、当該第２ユーザから前記確認情報の入力を受け付けたか否かに応じて当該付随情報の表示方法を変更することを特徴とする請求項１０に記載の情報処理システムである。
請求項１２に記載の発明は、１または複数のプロセッサに実現させるプログラムであって、第１ユーザの端末装置から入力される付随情報を取得する機能と、前記第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得する機能と、第２ユーザの端末装置に前記目印画像を表示させる機能と、前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる機能と、を実現させるためのプログラムである。
【発明の効果】
【0006】
請求項１，１２の発明によれば、第１ユーザと第２ユーザとの視点を考慮しない場合に比して、第１ユーザから第２ユーザへ情報を伝達しやすくすることができる。
請求項２の発明によれば、第１ユーザと第２ユーザとの視点が一致していると判断できる関係にある場合に、第２ユーザが付随情報を確認することができる。
請求項３の発明によれば、目印画像と対象物の一部とが合致した場合に第２ユーザが付随情報を確認することができる。
請求項４の発明によれば、第１ユーザが視点を合わせるための目印画像を選択することができる。
請求項５の発明によれば、第２ユーザが目印画像に対応する対象物の一部の情報を認識することができる。
請求項６の発明によれば、第２ユーザの端末に目印画像を表示させる位置を第１ユーザの視点に合わせることができる。
請求項７の発明によれば、第１ユーザと第２ユーザとが用いる端末の解像度が異なる場合に、端末に対する相対位置を合わせて目印画像を表示させることができる。
請求項８の発明によれば、明るさによる見え方の違いを考慮することができる。
請求項９の発明によれば、第１ユーザが付随情報を入力した対象物を第２ユーザが確認することができる。
請求項１０の発明によれば、第２ユーザによる対応内容を確認することができる。
請求項１１の発明によれば、第２ユーザによる確認がされていないものを判別することができる。
請求項２の発明によれば、第１ユーザと第２ユーザとの視点が一致していると判断できる関係にある場合に、第２ユーザが付随情報を確認することができる。
請求項３の発明によれば、目印画像と対象物の一部とが合致した場合に第２ユーザが付随情報を確認することができる。
請求項４の発明によれば、第１ユーザが視点を合わせるための目印画像を選択することができる。
請求項５の発明によれば、第２ユーザが目印画像に対応する対象物の一部の情報を認識することができる。
請求項６の発明によれば、第２ユーザの端末に目印画像を表示させる位置を第１ユーザの視点に合わせることができる。
請求項７の発明によれば、第１ユーザと第２ユーザとが用いる端末の解像度が異なる場合に、端末に対する相対位置を合わせて目印画像を表示させることができる。
請求項８の発明によれば、明るさによる見え方の違いを考慮することができる。
請求項９の発明によれば、第１ユーザが付随情報を入力した対象物を第２ユーザが確認することができる。
請求項１０の発明によれば、第２ユーザによる対応内容を確認することができる。
請求項１１の発明によれば、第２ユーザによる確認がされていないものを判別することができる。
【図面の簡単な説明】
【0007】
【図1】本実施の形態に係る情報処理システムの構成例を示す図である。
【図2】第１ユーザ端末、第２ユーザ端末および管理サーバとして用いられるコンピュータのハードウェア構成例を示す図である。
【図3】実施の形態に係る管理サーバの機能構成例を示す図である。
【図4】付随情報管理記憶部に格納される情報の例を示す図であり、（ａ）は第１ユーザが入力した付随情報に関する情報をリスト化した図であり、（ｂ）は第２ユーザが入力した確認情報に関する情報をリスト化した図である。
【図5】管理サーバが第１ユーザにより入力された付随情報を第１ユーザ端末から取得する際の処理の流れの例を示すフローチャートである。
【図6】管理サーバが第１ユーザにより入力された目印情報を第１ユーザ端末から取得する際の処理の流れの例を示すフローチャートである。
【図7】ＡＲマニュアル表示部が物体／部品の一覧を第１ユーザ端末に表示させる際の表示例を示す図である。
【図8】第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得する際に第１ユーザ端末に表示される表示画面の例を示す図であり、（ａ）は第１ユーザから視点の記録を受け付ける際の表示画面例を示す図であり、（ｂ）は第１ユーザから目印画像の選択を受け付ける際の表示画面例を示す図である。
【図9】管理サーバが第１ユーザにより入力された付随情報を第２ユーザ端末に表示させ、第２ユーザによる確認を受け付ける際の処理の流れの例を示すフローチャートである。
【図10】付随情報が入力された対象物が視認できない場合に、第２ユーザ端末上に表示される画像の例を示す図である。
【図11】視点ガイド部が第２ユーザ端末に表示させる位置合わせ用の矩形／輪郭画像の表示例を示す図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
＜情報処理システムの構成＞
図１は、本実施の形態に係る情報処理システムの構成例を示す図である。
情報処理システム１は、第１ユーザ端末１０と、第２ユーザ端末２０と、管理サーバ３０とを備える。第１ユーザ端末１０と第２ユーザ端末２０と管理サーバ３０とは、ネットワーク４０を介して接続されている。
＜情報処理システムの構成＞
図１は、本実施の形態に係る情報処理システムの構成例を示す図である。
情報処理システム１は、第１ユーザ端末１０と、第２ユーザ端末２０と、管理サーバ３０とを備える。第１ユーザ端末１０と第２ユーザ端末２０と管理サーバ３０とは、ネットワーク４０を介して接続されている。
【0009】
第１ユーザ端末１０は、連絡事項を記録するために第１ユーザが使用する端末である。第１ユーザとは例えば作業における前任者であり、第１ユーザは後任者である第２ユーザに作業内容を伝達するために情報処理システム１を利用する。第１ユーザ端末１０は、例えばカメラ機能を有しており、第１ユーザは第１ユーザ端末１０を通して作業を行う対象物を視認する。第１ユーザは、例えば第１ユーザ端末１０に表示されるＡＲマニュアルに従い、対象物のメンテナンスを実施する。第１ユーザは、メンテナンスにおいて実施した作業記録等、第２ユーザに伝達すべき付随情報を作業対象箇所と紐付けて第１ユーザ端末１０に入力する。第１ユーザは、ＡＲマニュアルにより表示される作業ごとに付随情報を入力する。
【0010】
第１ユーザ端末１０は、第１ユーザにより入力される付随情報を取得する。付随情報とは、例えば第１ユーザが行った作業内容の記録である。また、第１ユーザ端末１０は、第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得する。目印画像とは第２ユーザが第１ユーザと視点を合わせるためのガイドであり、第１ユーザ端末１０は作業対象物の実体の一部と対応させて目印画像を取得する。
なお、第１ユーザは実際の作業者に限定されず、例えば遠方の支援者が付随情報を入力しても良い。
なお、第１ユーザは実際の作業者に限定されず、例えば遠方の支援者が付随情報を入力しても良い。
【0011】
第２ユーザ端末２０は、第１ユーザからの連絡事項を確認するために第２ユーザが使用する端末である。第２ユーザ端末２０は、例えばカメラ機能を有しており、第２ユーザは第２ユーザ端末２０を通して作業を行う対象物を視認する。第２ユーザ端末２０は、第１ユーザ端末１０が取得した目印画像を端末画面上に表示し、目印画像と対象物の一部との関係により、第１ユーザにより入力された付随情報を表示する。
【0012】
第２ユーザ端末２０は、例えば目印画像と対象物の一部とが、第１ユーザと第２ユーザとの視点が略一致していると判断できる関係にある場合に付随情報を表示する。第１ユーザと第２ユーザとの視点が略一致していると判断できる関係にある場合とは、例えば目印画像と対象物の一部とが第２ユーザ端末２０の画面上で合致した場合である。また、目印画像と対象物の一部とが完全に合致していなくても、付随情報を表示する構成としても良い。例えば目印画像の内側に対象物の一部がすべて含まれ、視点が一致しているとみなせる場合には付随情報を表示する構成としても良い。
また第２ユーザ端末２０は、第２ユーザが付随情報を確認したことを示す確認情報の入力を受け付ける構成としても良い。
また第２ユーザ端末２０は、第２ユーザが付随情報を確認したことを示す確認情報の入力を受け付ける構成としても良い。
【0013】
第１ユーザ端末１０および第２ユーザ端末２０は、例えば、コンピュータ、タブレット型情報端末、その他の情報処理装置により実現される。また、第１ユーザ端末１０および第２ユーザ端末２０は、ＨＭＤ（Head Mounted Display）のようなグラス型の端末であっても良い。また、第１ユーザ端末１０と第２ユーザ端末２０とは同一の端末であっても良い。第１ユーザ端末１０と第２ユーザ端末２０とが同一の場合、第２ユーザは第１ユーザが使用した第１ユーザ端末１０を第２ユーザ端末２０として使用する。
【0014】
管理サーバ３０は、第１ユーザおよび第２ユーザが実施する作業のマニュアルを記憶し、必要に応じて第１ユーザ端末１０および第２ユーザ端末２０に表示させる。また管理サーバ３０は、第１ユーザにより入力された付随情報および目印画像に関する情報を第１ユーザ端末１０から取得する。そして管理サーバ３０は、第２ユーザ端末２０に目印情報を表示させ、目印画像と対象物の一部との関係により、第１ユーザにより入力された付随情報を表示させる。
管理サーバ３０は、例えば、コンピュータにより実現される。管理サーバ３０は、単一のコンピュータにより構成しても良いし、複数のコンピュータによる分散処理により実現しても良い。
管理サーバ３０は、例えば、コンピュータにより実現される。管理サーバ３０は、単一のコンピュータにより構成しても良いし、複数のコンピュータによる分散処理により実現しても良い。
【0015】
ネットワーク４０は、第１ユーザ端末１０と第２ユーザ端末２０と管理サーバ３０との間の通信を担う情報通信ネットワークである。ネットワーク４０は、データの送受信が可能であれば、その種類は特に限定されず、例えばインターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等として良い。データ通信に用いられる通信回線は、有線であっても無線であっても良い。また、複数のネットワークや通信回線を介して各装置を接続する構成としても良い。
【0016】
＜コンピュータのハードウェア構成＞
図２は、第１ユーザ端末１０、第２ユーザ端末２０および管理サーバ３０として用いられるコンピュータのハードウェア構成例を示す図である。コンピュータ５０は、プロセッサ５１と、ＲＯＭ（Read Only Memory）５２と、ＲＡＭ（Random Access Memory）５３とを備える。プロセッサ５１は、例えばＣＰＵ（Central Processing Unit）であり、ＲＡＭ５３を作業エリアに使用し、ＲＯＭ５２から読み出したプログラムを実行する。また、コンピュータ５０は、ネットワークに接続するための通信インターフェイス５４と、ディスプレイに表示出力を行うための表示機構５５とを備える。また、コンピュータ５０は、コンピュータ５０の操作者による入力操作が行われる入力デバイス５６を備える。なお、図２に示すコンピュータ５０の構成は例にすぎず、本実施形態で用いられるコンピュータは図２の構成例に限定されるものではない。
なお、本実施の形態にて実行される各種処理は、１または複数のプロセッサによって実行される。
図２は、第１ユーザ端末１０、第２ユーザ端末２０および管理サーバ３０として用いられるコンピュータのハードウェア構成例を示す図である。コンピュータ５０は、プロセッサ５１と、ＲＯＭ（Read Only Memory）５２と、ＲＡＭ（Random Access Memory）５３とを備える。プロセッサ５１は、例えばＣＰＵ（Central Processing Unit）であり、ＲＡＭ５３を作業エリアに使用し、ＲＯＭ５２から読み出したプログラムを実行する。また、コンピュータ５０は、ネットワークに接続するための通信インターフェイス５４と、ディスプレイに表示出力を行うための表示機構５５とを備える。また、コンピュータ５０は、コンピュータ５０の操作者による入力操作が行われる入力デバイス５６を備える。なお、図２に示すコンピュータ５０の構成は例にすぎず、本実施形態で用いられるコンピュータは図２の構成例に限定されるものではない。
なお、本実施の形態にて実行される各種処理は、１または複数のプロセッサによって実行される。
【0017】
＜管理サーバの機能構成＞
次に、管理サーバ３０の機能構成について説明する。図３は、本実施の形態に係る管理サーバ３０の機能構成例を示す図である。
図３に示すように、管理サーバ３０は、物体／部品認識部３１と、ＡＲマニュアル表示部３２と、付随情報表示部３３と、視点ガイド部３４と、ＡＲマニュアル管理部３５と、ＡＲマニュアル管理記憶部３６と、付随情報管理部３７と、付随情報管理記憶部３８とを備える。
次に、管理サーバ３０の機能構成について説明する。図３は、本実施の形態に係る管理サーバ３０の機能構成例を示す図である。
図３に示すように、管理サーバ３０は、物体／部品認識部３１と、ＡＲマニュアル表示部３２と、付随情報表示部３３と、視点ガイド部３４と、ＡＲマニュアル管理部３５と、ＡＲマニュアル管理記憶部３６と、付随情報管理部３７と、付随情報管理記憶部３８とを備える。
【0018】
物体／部品認識部３１は、第１ユーザが付随情報を入力する対象物を撮影した画像もしくは動画を取得し、付随情報を入力する対象を認識する。また物体／部品認識部３１は、付随情報を表示する位置を特定する。
ＡＲマニュアル表示部３２は、第１ユーザおよび第２ユーザが実施する作業のマニュアルに関する情報をＡＲマニュアル管理部３５から取得する。またＡＲマニュアル表示部３２は、取得したマニュアルを第１ユーザ端末１０および第２ユーザ端末２０に表示させる。
ＡＲマニュアル表示部３２は、第１ユーザおよび第２ユーザが実施する作業のマニュアルに関する情報をＡＲマニュアル管理部３５から取得する。またＡＲマニュアル表示部３２は、取得したマニュアルを第１ユーザ端末１０および第２ユーザ端末２０に表示させる。
【0019】
付随情報表示部３３は、第１ユーザにより入力された付随情報を付随情報管理部３７から取得する。また付随情報表示部３３は、取得した付随情報を物体／部品認識部３１が特定した表示位置に表示させる。
視点ガイド部３４は、第１ユーザが付随情報を入力する対象物の一部に対応する目印画像に関する情報を第１ユーザ端末１０から取得する。視点ガイド部３４は、取得した目印画像に関する情報を付随情報管理部３７に送信する。付随情報管理部３７は取得した目印画像に関する情報を付随情報管理記憶部３８に格納する。また視点ガイド部３４は、目印画像を第２ユーザ端末２０に表示させる。
視点ガイド部３４は、第１ユーザが付随情報を入力する対象物の一部に対応する目印画像に関する情報を第１ユーザ端末１０から取得する。視点ガイド部３４は、取得した目印画像に関する情報を付随情報管理部３７に送信する。付随情報管理部３７は取得した目印画像に関する情報を付随情報管理記憶部３８に格納する。また視点ガイド部３４は、目印画像を第２ユーザ端末２０に表示させる。
【0020】
ＡＲマニュアル管理部３５は、第１ユーザおよび第２ユーザが実施する作業のマニュアルをＡＲマニュアル管理記憶部３６に格納する。またＡＲマニュアル管理部３５は、必要な情報をＡＲマニュアル管理記憶部３６から取得し、ＡＲマニュアル表示部３２に送信する。
ＡＲマニュアル管理記憶部３６は第１ユーザおよび第２ユーザが実施する作業のマニュアルに関する情報を格納する。作業のマニュアルに関する情報とは、作業の手順、手順ごとに表示するＡＲコンテンツ、ＡＲコンテンツの表示位置等である。
ＡＲマニュアル管理記憶部３６は第１ユーザおよび第２ユーザが実施する作業のマニュアルに関する情報を格納する。作業のマニュアルに関する情報とは、作業の手順、手順ごとに表示するＡＲコンテンツ、ＡＲコンテンツの表示位置等である。
【0021】
付随情報管理部３７は、第１ユーザが入力した付随情報を第１ユーザ端末１０から取得し、付随情報管理記憶部３８に格納する。また付随情報管理部３７は、必要に応じて付随情報を付随情報管理記憶部３８から取得し、付随情報表示部３３に送信する。
また付随情報管理部３７は、第２ユーザが入力した確認情報を第２ユーザ端末２０から取得し、付随情報管理記憶部３８に格納する。
付随情報管理記憶部３８は、第１ユーザが入力した付随情報および第２ユーザが入力した確認情報を格納する。付随情報管理記憶部３８に格納される情報について、図４を用いて説明する。図４は、付随情報管理記憶部３８に格納される情報の例を示す図であり、（ａ）は第１ユーザが入力した付随情報に関する情報をリスト化した図であり、（ｂ）は第２ユーザが入力した確認情報に関する情報をリスト化した図である。
また付随情報管理部３７は、第２ユーザが入力した確認情報を第２ユーザ端末２０から取得し、付随情報管理記憶部３８に格納する。
付随情報管理記憶部３８は、第１ユーザが入力した付随情報および第２ユーザが入力した確認情報を格納する。付随情報管理記憶部３８に格納される情報について、図４を用いて説明する。図４は、付随情報管理記憶部３８に格納される情報の例を示す図であり、（ａ）は第１ユーザが入力した付随情報に関する情報をリスト化した図であり、（ｂ）は第２ユーザが入力した確認情報に関する情報をリスト化した図である。
【0022】
図４（ａ）は第１ユーザが入力した付随情報に関する情報をリスト化した図である。付随情報管理記憶部３８は、付随情報ＩＤ１０１と、記録日時１０２と、記録対象の物体／部品１０３と、特定指定箇所の座標１０４と、タイトル１０５と、メッセージ１０６と、作業端末の座標１０７と、作業端末の向き１０８と、作業端末のライト状態１０９と、位置合わせ用矩形／輪郭画像１１０とを紐付けて格納する。
記録日時１０２は第１ユーザが付随情報を入力した日時の情報である。
記録対象の物体／部品１０３は、第１ユーザが付随情報を入力する対象の名称である。
記録日時１０２は第１ユーザが付随情報を入力した日時の情報である。
記録対象の物体／部品１０３は、第１ユーザが付随情報を入力する対象の名称である。
【0023】
特定指定箇所の座標１０４は、第１ユーザが付随情報を入力する対象が、表示されるＡＲマニュアルにおいて認識される物体もしくは部品でなかった場合に取得される。第１ユーザが付随情報を入力する対象が表示されるＡＲマニュアルにおいて認識される物体もしくは部品でない場合、例えば第１ユーザは第１ユーザ端末１０の画面上で付随情報を入力する対象をタッチ操作により選択する。付随情報管理部３７は、タッチ操作により選択された対象の３次元座標上における位置を、特定指定箇所の座標１０４として取得し、付随情報管理記憶部３８に格納する。
【0024】
タイトル１０５およびメッセージ１０６は、第１ユーザが入力した付随情報の内容である。作業端末の座標１０７、作業端末の向き１０８および作業端末のライト状態１０９は、第１ユーザが付随情報を入力する際の第１ユーザ端末１０の状態に関する情報である。
位置合わせ用矩形／輪郭画像１１０は、第１ユーザと第２ユーザとの視点を合わせるための目印画像である。付随情報管理記憶部３８は、位置合わせ用矩形／輪郭画像１１０として、位置合わせ用矩形／輪郭画像に対応する作業対象物の実体の一部の名称、画像データの形式、ディスプレイ上での相対座標、ディスプレイ解像度等を格納する。
位置合わせ用矩形／輪郭画像１１０は、第１ユーザと第２ユーザとの視点を合わせるための目印画像である。付随情報管理記憶部３８は、位置合わせ用矩形／輪郭画像１１０として、位置合わせ用矩形／輪郭画像に対応する作業対象物の実体の一部の名称、画像データの形式、ディスプレイ上での相対座標、ディスプレイ解像度等を格納する。
【0025】
図４（ｂ）は第２ユーザが入力した確認情報に関する情報をリスト化した図である。付随情報管理記憶部３８は、確認情報ＩＤ１１１と、対象の付随情報ＩＤ１１２と、記録日時１１３と、対応内容１１４とを紐付けて格納する。
例えば確認情報ＩＤ「１」には対象の付随情報ＩＤ「Ａ」に紐付けられた付随情報に対する第２ユーザによる確認情報が紐付けられる。付随情報管理記憶部３８は、確認情報ＩＤ「１」に紐付けて記録日時１１３「ｙｙｙｙ／ｍｍ／ｄｄＨＨ：ＭＭ：ＳＳ」と対応内容１１４「黄色のトナーカートリッジを交換しました。」を格納する。
例えば確認情報ＩＤ「１」には対象の付随情報ＩＤ「Ａ」に紐付けられた付随情報に対する第２ユーザによる確認情報が紐付けられる。付随情報管理記憶部３８は、確認情報ＩＤ「１」に紐付けて記録日時１１３「ｙｙｙｙ／ｍｍ／ｄｄＨＨ：ＭＭ：ＳＳ」と対応内容１１４「黄色のトナーカートリッジを交換しました。」を格納する。
【0026】
＜付随情報の取得＞
次に、管理サーバ３０が第１ユーザにより入力された付随情報および目印情報を第１ユーザ端末１０から取得する際の処理の流れについて図５及び図６を用いて説明する。図５は、管理サーバ３０が第１ユーザにより入力された付随情報を第１ユーザ端末１０から取得する際の処理の流れの例を示すフローチャートであり、図６は、管理サーバ３０が第１ユーザにより入力された目印情報を第１ユーザ端末１０から取得する際の処理の流れの例を示すフローチャートである。
次に、管理サーバ３０が第１ユーザにより入力された付随情報および目印情報を第１ユーザ端末１０から取得する際の処理の流れについて図５及び図６を用いて説明する。図５は、管理サーバ３０が第１ユーザにより入力された付随情報を第１ユーザ端末１０から取得する際の処理の流れの例を示すフローチャートであり、図６は、管理サーバ３０が第１ユーザにより入力された目印情報を第１ユーザ端末１０から取得する際の処理の流れの例を示すフローチャートである。
【0027】
図５において、まず、ＡＲマニュアル表示部３２は、物体／部品の一覧を第１ユーザ端末１０に表示させる（ステップＳ２０１）。ステップＳ２０１において、ＡＲマニュアル表示部３２は、第１ユーザが実施する作業に係るＡＲマニュアルを表示させるとともに、ＡＲマニュアルにおいて認識される物体もしくは部品の一覧を第１ユーザ端末１０に表示させる。
【0028】
ステップＳ２０１において、ＡＲマニュアル表示部３２が物体／部品の一覧を第１ユーザ端末１０に表示させる際の表示例について図７を用いて説明する。図７は、ＡＲマニュアル表示部３２が物体／部品の一覧を第１ユーザ端末１０に表示させる際の表示例を示す図である。
ＡＲマニュアル表示部３２は、第１ユーザが実施する作業に係る作業手順３０１を第１ユーザ端末１０に表示させる。図７に示す例においては、トナー交換作業における、「トナー残量確認」の作業工程が第１ユーザにより実施される。ＡＲマニュアル表示部３２は、作業手順３０１のうち、「トナー残量確認」の作業工程において認識される物体／部品の一覧３０２を第１ユーザ端末１０に表示させる。図７に示す例においては、物体／部品の一覧３０２のうちから、トナーカートリッジ（イエロー）が選択され、選択されたトナーカートリッジ（イエロー）の実体の位置が円３０３により示されている。
ＡＲマニュアル表示部３２は、第１ユーザが実施する作業に係る作業手順３０１を第１ユーザ端末１０に表示させる。図７に示す例においては、トナー交換作業における、「トナー残量確認」の作業工程が第１ユーザにより実施される。ＡＲマニュアル表示部３２は、作業手順３０１のうち、「トナー残量確認」の作業工程において認識される物体／部品の一覧３０２を第１ユーザ端末１０に表示させる。図７に示す例においては、物体／部品の一覧３０２のうちから、トナーカートリッジ（イエロー）が選択され、選択されたトナーカートリッジ（イエロー）の実体の位置が円３０３により示されている。
【0029】
次に、付随情報管理部３７は、一覧表示された物体／部品の中から、記録対象の物体／部品が選択されたか否かを判定する（ステップＳ２０２）。一覧表示された物体／部品の中から、記録対象の物体／部品が選択された場合（ステップＳ２０２でＹＥＳ）、付随情報管理部３７は、選択された物体／部品の情報を取得する（ステップＳ２０３）。次に、物体／部品認識部３１は、選択された物体／部品の、さらに特定箇所が指定されたか否かを判定する（ステップＳ２０４）。さらに特定箇所が指定されるとは、例えば「原稿ガラス」を選択し、さらにそのうちの傷がついた箇所を選択する場合である。第１ユーザは、一覧の中から「原稿ガラス」を選択し、さらにそのうちの傷がついた箇所を例えば指等でポイントすることにより特定の箇所を指定することができる。
【0030】
選択された物体／部品の、さらに特定箇所が指定された場合（ステップＳ２０４でＹＥＳ）、付随情報管理部３７は、指定された箇所に重畳表示するＡＲコンテンツを生成し（ステップＳ２０５）、ステップＳ２０４の処理に戻る。ステップＳ２０５において、付随情報管理部３７は、例えば指定する箇所を囲うように表示することで指定箇所を示す円形のＡＲコンテンツ（図８の円３１２参照）を生成する。
ステップＳ２０４において、選択された物体／部品の、さらに特定箇所が指定されなかった場合（ステップＳ２０４でＮＯ）、ステップＳ２０８の処理に進む。
ステップＳ２０４において、選択された物体／部品の、さらに特定箇所が指定されなかった場合（ステップＳ２０４でＮＯ）、ステップＳ２０８の処理に進む。
【0031】
ステップＳ２０２において、一覧表示された物体／部品の中から、記録対象の物体／部品が選択されなかった場合（ステップＳ２０２でＮＯ）、ＡＲマニュアル表示部３２は、ＡＲコンテンツを表示する３次元座標を特定するための操作指示を第１ユーザ端末１０に表示させる（ステップＳ２０６）。ステップＳ２０６において、ＡＲマニュアル表示部３２は、例えば複数の角度から対象位置をマーキングすることで３次元座標を特定する操作指示を第１ユーザ端末１０に表示させる。
このことにより、ＡＲコンテンツを配置する際の対象の奥行き座標の指定を容易にすることができる。
このことにより、ＡＲコンテンツを配置する際の対象の奥行き座標の指定を容易にすることができる。
【0032】
次に、付随情報管理部３７は、特定した３次元座標に重畳表示するＡＲコンテンツを生成する（ステップＳ２０６）。次に、付随情報管理部３７は、付随情報のタイトル、メッセージ等の入力を受け付ける（ステップＳ２０８）。ステップＳ２０８において、ＡＲマニュアル表示部３２が、第１ユーザが入力すべき項目を表示する構成としても良い。例えば、「トナー残量確認」の作業を実施する場合、ＡＲマニュアル表示部３２は、「トナー残量」を入力する旨のメッセージを第１ユーザ端末１０に表示させる。
【0033】
次に、ＡＲマニュアル表示部３２は、［立ち位置／見え方を記録］ボタンを第１ユーザ端末１０に表示させる（ステップＳ２０９）。次に、視点ガイド部３４は、［立ち位置／見え方を記録］ボタンが押下されたか否かを判定する（ステップＳ２１０）。［立ち位置／見え方を記録］ボタンが押下されていない場合（ステップＳ２１０でＮＯ）、ステップＳ２０９の処理に戻る。
一方、［立ち位置／見え方を記録］ボタンが押下された場合（ステップＳ２１０でＹＥＳ）、付随情報管理部３７は、現在の第１ユーザ端末１０の位置座標、向き、ライト点灯状況を取得する（ステップＳ２１１）。ステップＳ２１１において、第１ユーザ端末１０の位置座標は、公知の自己位置推定技術により算出される。第１ユーザ端末１０の向きは、例えば加速度センサと地磁気センサの情報等により算出される。また、第１ユーザ端末１０が発光機能を有する場合、付随情報管理部３７は発光状態を取得する。
一方、［立ち位置／見え方を記録］ボタンが押下された場合（ステップＳ２１０でＹＥＳ）、付随情報管理部３７は、現在の第１ユーザ端末１０の位置座標、向き、ライト点灯状況を取得する（ステップＳ２１１）。ステップＳ２１１において、第１ユーザ端末１０の位置座標は、公知の自己位置推定技術により算出される。第１ユーザ端末１０の向きは、例えば加速度センサと地磁気センサの情報等により算出される。また、第１ユーザ端末１０が発光機能を有する場合、付随情報管理部３７は発光状態を取得する。
【0034】
次に、視点ガイド部３４は、撮影画像から矩形、輪郭を検出し、その一覧を第１ユーザ端末１０に表示させる（ステップＳ２１２）。次に、視点ガイド部３４は、矩形、輪郭が選択されたか否かを判定する（ステップＳ２１３）。矩形、輪郭が選択された場合（ステップＳ２１３でＹＥＳ）、視点ガイド部３４は、選択された矩形、輪郭の名前の入力を受け付ける（ステップＳ２１４）。ステップＳ２１４において、視点ガイド部３４は、選択された矩形、輪郭に対する付加情報として名前の入力を受け付ける。一方、矩形、輪郭が選択されなかった場合（ステップＳ２１３でＮＯ）、ステップＳ２１５の処理に進む。
【0035】
次に、視点ガイド部３４は、矩形、輪郭の選択が終了されたか否かを判定する（ステップＳ２１５）。矩形、輪郭の選択が終了された場合（ステップＳ２１５でＹＥＳ）、付随情報管理部３７は、付随情報および関連する情報を付随情報管理記憶部３８に格納する（ステップＳ２１６）。
一方で矩形、輪郭の選択が終了されなかった場合（ステップＳ２１５でＮＯ）、ステップＳ２１２の処理に戻る。
なお、図６に示す例において、視点ガイド部３４は、目印画像として矩形、輪郭を利用しているが、これに限定されない。視点ガイド部３４は、目印画像として例えば予め定められた大きさ以上の対象物の一部を利用することができる構成としても良い。
一方で矩形、輪郭の選択が終了されなかった場合（ステップＳ２１５でＮＯ）、ステップＳ２１２の処理に戻る。
なお、図６に示す例において、視点ガイド部３４は、目印画像として矩形、輪郭を利用しているが、これに限定されない。視点ガイド部３４は、目印画像として例えば予め定められた大きさ以上の対象物の一部を利用することができる構成としても良い。
【0036】
図６のステップＳ２０９乃至ステップＳ２１４において、第１ユーザ端末１０に表示される表示画面について、図８を用いて説明する。図８は第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得する際に第１ユーザ端末１０に表示される表示画面の例を示す図であり、（ａ）は第１ユーザから視点の記録を受け付ける際の表示画面例を示す図であり、（ｂ）は第１ユーザから目印画像の選択を受け付ける際の表示画面例を示す図である。
【0037】
図８（ａ）に示す例において、第１ユーザ端末１０は、第１ユーザが付随情報を入力する対象物である印刷装置３１１を撮影し、画面に表示する。第１ユーザは図５のステップＳ２０４において付加情報を表示する箇所を選択し、選択された箇所にＡＲコンテンツである円３１２が表示される。また付加情報を表示する箇所に表示する内容として第１ユーザが図６のステップＳ２０８において入力した付随情報「原稿ガラスに傷あり」のメッセージ３１３が表示される。
なお、円３１２およびメッセージ３１３等の付随情報に関するＡＲコンテンツは、第１ユーザ端末１０に表示されない構成としても良い。この場合、付随情報に関するＡＲコンテンツは、第２ユーザ端末２０にのみ表示される。
なお、円３１２およびメッセージ３１３等の付随情報に関するＡＲコンテンツは、第１ユーザ端末１０に表示されない構成としても良い。この場合、付随情報に関するＡＲコンテンツは、第２ユーザ端末２０にのみ表示される。
【0038】
ステップＳ２０９において、ＡＲマニュアル表示部３２は、［立ち位置／見え方を記録］ボタン３１４を第１ユーザ端末１０に表示させる。第１ユーザが［立ち位置／見え方を記録］ボタン３１４を押下すると、第１ユーザ端末１０の表示画面が図８（ｂ）に示す画面に切り替わる。図６のステップＳ２１２において、視点ガイド部３４は、撮影画像から矩形、輪郭３１５、３１６および３１７を検出し、その一覧を第１ユーザ端末１０に表示させる。第１ユーザは複数の候補のうち一つを選択しても良く、また複数選択しても良い。
【0039】
＜付随情報の確認＞
次に、管理サーバ３０が第１ユーザにより入力された付随情報を第２ユーザ端末２０に表示させ、第２ユーザによる確認を受け付ける際の処理の流れについて図９を用いて説明する。図９は、管理サーバ３０が第１ユーザにより入力された付随情報を第２ユーザ端末２０に表示させ、第２ユーザによる確認を受け付ける際の処理の流れの例を示すフローチャートである。
次に、管理サーバ３０が第１ユーザにより入力された付随情報を第２ユーザ端末２０に表示させ、第２ユーザによる確認を受け付ける際の処理の流れについて図９を用いて説明する。図９は、管理サーバ３０が第１ユーザにより入力された付随情報を第２ユーザ端末２０に表示させ、第２ユーザによる確認を受け付ける際の処理の流れの例を示すフローチャートである。
【0040】
図９において、まず、物体／部品認識部３１は、付随情報が入力された対象物が視認できるか否かを判定する（ステップＳ４０１）。付随情報が入力された対象物が視認できない場合（ステップＳ４０１でＮＯ）、ＡＲマニュアル表示部３２は、該当作業までのガイドを第２ユーザ端末２０に表示させる（ステップＳ４０２）。ステップＳ４０２において、ＡＲマニュアル表示部３２は、第１ユーザが付随情報を入力した作業手順までのＡＲマニュアルを第２ユーザ端末２０に表示させ、ステップＳ４０１の処理に戻る。
【0041】
ステップＳ４０２におけるガイドの表示例について、図１０を用いて説明する。図１０は、付随情報が入力された対象物が視認できない場合に、第２ユーザ端末２０上に表示される画像の例を示す図である。付随情報が入力された対象物を視認できない場合、付随情報表示部３３は、例えば第２ユーザ端末２０上に破線状の円５０１を表示し、視認できない箇所に付随情報が入力された対象物があることを示す。円５０１の表示形式は破線状に限られず、図８の円３１２と区別できる形式であれば良い。
また、付随情報表示部３３は、円５０１の示す対象に対して入力された付随情報５０２を表示させても良い。図１０に示す例においては、「原稿ガラスに傷あり」の付随情報５０２を表示させている。図１０に示すように、複数の付随情報が入力されている場合、付随情報が入力された全ての箇所に対応して付随情報が表示される。
また、付随情報表示部３３は、円５０１の示す対象に対して入力された付随情報５０２を表示させても良い。図１０に示す例においては、「原稿ガラスに傷あり」の付随情報５０２を表示させている。図１０に示すように、複数の付随情報が入力されている場合、付随情報が入力された全ての箇所に対応して付随情報が表示される。
【0042】
対象物を視認するために、第２ユーザは「前任者が記録した作業までＡＲガイドを開始する。」ボタン５０３を押下する。ボタン５０３が押下されると、ＡＲマニュアル表示部３２は、第１ユーザが付随情報を入力した該当作業までのガイド情報を第２ユーザ端末２０に表示させる。ＡＲマニュアル表示部３２は、例えば、第１ユーザが付随情報を入力した際に使用していたＡＲマニュアルを第２ユーザ端末２０に表示させる。第２ユーザは、ガイドに従い操作を行うことで、第１ユーザが付随情報を入力した対象物を視認することができる。
【0043】
ステップＳ４０１において付随情報が入力された対象物が視認できる場合（ステップＳ４０１でＹＥＳ）、視点ガイド部３４は、位置合わせ用の矩形／輪郭画像を第２ユーザ端末２０に表示させる（ステップＳ４０３）。
ステップＳ４０３において、視点ガイド部３４が第２ユーザ端末２０に表示させる位置合わせ用の矩形／輪郭画像の表示例について、図１１を用いて説明する。図１１は、視点ガイド部３４が第２ユーザ端末２０に表示させる位置合わせ用の矩形／輪郭画像の表示例を示す図である。視点ガイド部３４は、位置合わせ用の矩形／輪郭画像６０１を第２ユーザ端末２０に表示させる。その際に、視点ガイド部３４は、第１ユーザ端末から目印画像を取得した際の画面上の位置に合わせて第２ユーザ端末２０に表示させる。
ステップＳ４０３において、視点ガイド部３４が第２ユーザ端末２０に表示させる位置合わせ用の矩形／輪郭画像の表示例について、図１１を用いて説明する。図１１は、視点ガイド部３４が第２ユーザ端末２０に表示させる位置合わせ用の矩形／輪郭画像の表示例を示す図である。視点ガイド部３４は、位置合わせ用の矩形／輪郭画像６０１を第２ユーザ端末２０に表示させる。その際に、視点ガイド部３４は、第１ユーザ端末から目印画像を取得した際の画面上の位置に合わせて第２ユーザ端末２０に表示させる。
【0044】
例えば、第１ユーザ端末１０と第２ユーザ端末２０との表示画面の解像度が同じである場合、視点ガイド部３４は、第１ユーザ端末から目印画像を取得した際の画面上の座標と同じ座標に位置合わせ用の矩形／輪郭画像６０１を第２ユーザ端末２０に表示させる。第１ユーザ端末１０と第２ユーザ端末２０との表示画面の解像度が異なる場合、視点ガイド部３４は、第１ユーザ端末１０から目印画像を取得した際の画面上の座標とディスプレイ解像度とから画面上の相対位置を算出し、第２ユーザ端末２０における同じ相対位置に位置合わせ用の矩形／輪郭画像６０１を表示させる。
【0045】
次に、物体／部品認識部３１は、「位置合わせ用の矩形／輪郭画像」と、撮像上から検出される矩形／輪郭が一致するか否かを判定する（ステップＳ４０４）。「位置合わせ用の矩形／輪郭画像」と、撮像上から検出される矩形／輪郭が一致しない場合（ステップＳ４０４でＮＯ）、ステップＳ４０３の処理に戻る。
一方、「位置合わせ用の矩形／輪郭画像」と、撮像上から検出される矩形／輪郭が一致する場合（ステップＳ４０４でＹＥＳ）、物体／部品認識部３１は、付随情報入力時の第１ユーザ端末１０の座標、向きと、現在の第２ユーザ端末２０の座標、向きとの差が大きいか否かを判定する（ステップＳ４０５）。付随情報入力時の第１ユーザ端末１０の座標、向きと、現在の第２ユーザ端末２０の座標、向きとの差が大きいと判定された場合（ステップＳ４０５でＹＥＳ）、ＡＲマニュアル表示部３２は、座標、向きの値の差分を基にしたガイドを第２ユーザ端末２０に表示させ（ステップＳ４０６）、ステップＳ４０５の処理に戻る。
ステップＳ４０６において、ＡＲマニュアル表示部３２は、例えば、「奥に進んでください」、「端末を右に傾けてください」等のメッセージを第２ユーザ端末２０に表示させる。
一方、「位置合わせ用の矩形／輪郭画像」と、撮像上から検出される矩形／輪郭が一致する場合（ステップＳ４０４でＹＥＳ）、物体／部品認識部３１は、付随情報入力時の第１ユーザ端末１０の座標、向きと、現在の第２ユーザ端末２０の座標、向きとの差が大きいか否かを判定する（ステップＳ４０５）。付随情報入力時の第１ユーザ端末１０の座標、向きと、現在の第２ユーザ端末２０の座標、向きとの差が大きいと判定された場合（ステップＳ４０５でＹＥＳ）、ＡＲマニュアル表示部３２は、座標、向きの値の差分を基にしたガイドを第２ユーザ端末２０に表示させ（ステップＳ４０６）、ステップＳ４０５の処理に戻る。
ステップＳ４０６において、ＡＲマニュアル表示部３２は、例えば、「奥に進んでください」、「端末を右に傾けてください」等のメッセージを第２ユーザ端末２０に表示させる。
【0046】
ステップＳ４０５において付随情報入力時の第１ユーザ端末１０の座標、向きと、現在の第２ユーザ端末２０の座標、向きとの差が小さいと判定された場合（ステップＳ４０５でＮＯ）、付随情報表示部３３は、付随情報の詳細を第２ユーザ端末２０に表示させる（ステップＳ４０７）。
次に、付随情報管理部３７は、確認結果の入力を受け付ける（ステップＳ４０８）。例えば、付随情報表示部３３は、付随情報の詳細とともに、第２ユーザからの確認結果の入力を受け付けるテキストフィールドを第２ユーザ端末２０に表示させる。第２ユーザは対応内容をテキストフィールドに入力する。付随情報管理部３７は、第２ユーザが入力した対応内容を取得し、付随情報管理記憶部３８に格納する。
次に、付随情報管理部３７は、確認結果の入力を受け付ける（ステップＳ４０８）。例えば、付随情報表示部３３は、付随情報の詳細とともに、第２ユーザからの確認結果の入力を受け付けるテキストフィールドを第２ユーザ端末２０に表示させる。第２ユーザは対応内容をテキストフィールドに入力する。付随情報管理部３７は、第２ユーザが入力した対応内容を取得し、付随情報管理記憶部３８に格納する。
【0047】
また、ステップＳ４０２において、第１ユーザが入力した付随情報の一覧を第２ユーザ端末２０に表示させる際に、第２ユーザから対応内容の入力を受け付けたか否かに応じて付随情報の表示方法を変更する構成としても良い。例えば、付随情報表示部３３は、第２ユーザから対応内容の入力を受け付けた付随情報を表示する際には、確認済みであることを示すチェックマークを付して表示する。また、第２ユーザから対応内容の入力を受け付けた付随情報については表示しない構成としても良い。
また、作業者により入力された付随情報と、遠方の支援者により入力された付随情報とを区別して表示しても良い。
また、作業者により入力された付随情報と、遠方の支援者により入力された付随情報とを区別して表示しても良い。
【0048】
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記の実施の形態に記載の範囲には限定されない。上記の実施の形態を２つ以上組み合わせたものや、上記の実施の形態に種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0049】
（付記）
（（（１）））
１または複数のプロセッサを備え、
前記１または複数のプロセッサは、
第１ユーザにより入力される付随情報を取得し、
前記第１ユーザが前記付随情報を入力する対象物の一部に対応する目印画像を取得し、
第２ユーザの端末装置に前記目印画像を表示させ、
前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる
ことを特徴とする情報処理システム。
（（（２）））
前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが、前記第１ユーザと前記第２ユーザとの視点が略一致していると判断できる関係にある場合に、前記付随情報を表示させる
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（３）））
前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが合致した場合に前記付随情報を表示させる
ことを特徴とする（（（２）））に記載の情報処理システム。
（（（４）））
前記１または複数のプロセッサは、前記目印画像として複数の候補を前記第１ユーザの端末装置に表示させ、当該第１ユーザの選択を受け付ける
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（５）））
前記１または複数のプロセッサは、前記目印画像に対する付加情報を前記第１ユーザから受け付ける
ことを特徴とする（（（４）））に記載の情報処理システム。
（（（６）））
前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面上に表示される当該目印画像の位置を取得する
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（７）））
前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面の解像度を取得する
ことを特徴とする（（（６）））に記載の情報処理システム。
（（（８）））
前記１または複数のプロセッサは、前記第１ユーザの端末装置が発光機能を有する場合、前記目印画像を取得する際に発光状態を取得する
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（９）））
前記１または複数のプロセッサは、前記第２ユーザによる撮像画面上に前記対象物の前記目印画像に対応する前記一部が視認できない場合、当該一部が視認できる状態までの案内情報を表示させる
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（１０）））
前記１または複数のプロセッサは、前記第２ユーザによる確認情報の入力を受け付ける
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（１１）））
前記１または複数のプロセッサは、前記第１ユーザが入力した前記付随情報の一覧を前記第２ユーザの端末装置に表示させ、当該第２ユーザから前記確認情報の入力を受け付けたか否かに応じて当該付随情報の表示方法を変更する
ことを特徴とする（（（１０）））に記載の情報処理システム。
（（（１２）））
１または複数のプロセッサに実現させるプログラムであって、
第１ユーザの端末装置から入力される付随情報を取得する機能と、
前記第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得する機能と、
第２ユーザの端末装置に前記目印画像を表示させる機能と、
前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる機能と、
を実現させるためのプログラム。
（（（１）））
１または複数のプロセッサを備え、
前記１または複数のプロセッサは、
第１ユーザにより入力される付随情報を取得し、
前記第１ユーザが前記付随情報を入力する対象物の一部に対応する目印画像を取得し、
第２ユーザの端末装置に前記目印画像を表示させ、
前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる
ことを特徴とする情報処理システム。
（（（２）））
前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが、前記第１ユーザと前記第２ユーザとの視点が略一致していると判断できる関係にある場合に、前記付随情報を表示させる
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（３）））
前記１または複数のプロセッサは、前記目印画像と前記対象物の一部とが合致した場合に前記付随情報を表示させる
ことを特徴とする（（（２）））に記載の情報処理システム。
（（（４）））
前記１または複数のプロセッサは、前記目印画像として複数の候補を前記第１ユーザの端末装置に表示させ、当該第１ユーザの選択を受け付ける
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（５）））
前記１または複数のプロセッサは、前記目印画像に対する付加情報を前記第１ユーザから受け付ける
ことを特徴とする（（（４）））に記載の情報処理システム。
（（（６）））
前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面上に表示される当該目印画像の位置を取得する
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（７）））
前記１または複数のプロセッサは、前記目印画像を取得する際に、前記第１ユーザの端末装置画面の解像度を取得する
ことを特徴とする（（（６）））に記載の情報処理システム。
（（（８）））
前記１または複数のプロセッサは、前記第１ユーザの端末装置が発光機能を有する場合、前記目印画像を取得する際に発光状態を取得する
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（９）））
前記１または複数のプロセッサは、前記第２ユーザによる撮像画面上に前記対象物の前記目印画像に対応する前記一部が視認できない場合、当該一部が視認できる状態までの案内情報を表示させる
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（１０）））
前記１または複数のプロセッサは、前記第２ユーザによる確認情報の入力を受け付ける
ことを特徴とする（（（１）））に記載の情報処理システム。
（（（１１）））
前記１または複数のプロセッサは、前記第１ユーザが入力した前記付随情報の一覧を前記第２ユーザの端末装置に表示させ、当該第２ユーザから前記確認情報の入力を受け付けたか否かに応じて当該付随情報の表示方法を変更する
ことを特徴とする（（（１０）））に記載の情報処理システム。
（（（１２）））
１または複数のプロセッサに実現させるプログラムであって、
第１ユーザの端末装置から入力される付随情報を取得する機能と、
前記第１ユーザが付随情報を入力する対象物の一部に対応する目印画像を取得する機能と、
第２ユーザの端末装置に前記目印画像を表示させる機能と、
前記目印画像と前記対象物の一部との関係により、前記付随情報を表示させる機能と、
を実現させるためのプログラム。
【0050】
（（（１））），（（（１２）））の発明によれば、第１ユーザと第２ユーザとの視点を考慮しない場合に比して、第１ユーザから第２ユーザへ情報を伝達しやすくすることができる。
（（（２）））の発明によれば、第１ユーザと第２ユーザとの視点が一致していると判断できる関係にある場合に、第２ユーザが付随情報を確認することができる。
（（（３）））の発明によれば、目印画像と対象物の一部とが合致した場合に第２ユーザが付随情報を確認することができる。
（（（４）））の発明によれば、第１ユーザが視点を合わせるための目印画像を選択することができる。
（（（５）））の発明によれば、第２ユーザが目印画像に対応する対象物の一部の情報を認識することができる。
（（（６）））の発明によれば、第２ユーザの端末に目印画像を表示させる位置を第１ユーザの視点に合わせることができる。
（（（７）））の発明によれば、第１ユーザと第２ユーザとが用いる端末の解像度が異なる場合に、端末に対する相対位置を合わせて目印画像を表示させることができる。
（（（８）））の発明によれば、明るさによる見え方の違いを考慮することができる。
（（（９）））の発明によれば、第１ユーザが付随情報を入力した対象物を第２ユーザが確認することができる。
（（（１０）））の発明によれば、第２ユーザによる対応内容を確認することができる。
（（（１１）））の発明によれば、第２ユーザによる確認がされていないものを判別することができる。
（（（２）））の発明によれば、第１ユーザと第２ユーザとの視点が一致していると判断できる関係にある場合に、第２ユーザが付随情報を確認することができる。
（（（３）））の発明によれば、目印画像と対象物の一部とが合致した場合に第２ユーザが付随情報を確認することができる。
（（（４）））の発明によれば、第１ユーザが視点を合わせるための目印画像を選択することができる。
（（（５）））の発明によれば、第２ユーザが目印画像に対応する対象物の一部の情報を認識することができる。
（（（６）））の発明によれば、第２ユーザの端末に目印画像を表示させる位置を第１ユーザの視点に合わせることができる。
（（（７）））の発明によれば、第１ユーザと第２ユーザとが用いる端末の解像度が異なる場合に、端末に対する相対位置を合わせて目印画像を表示させることができる。
（（（８）））の発明によれば、明るさによる見え方の違いを考慮することができる。
（（（９）））の発明によれば、第１ユーザが付随情報を入力した対象物を第２ユーザが確認することができる。
（（（１０）））の発明によれば、第２ユーザによる対応内容を確認することができる。
（（（１１）））の発明によれば、第２ユーザによる確認がされていないものを判別することができる。
【符号の説明】
【0051】
１…情報処理システム、１０…第１ユーザ端末、２０…第２ユーザ端末、３０…管理サーバ、３１…物品／部品認識部、３２…ＡＲマニュアル表示部、３３…付随情報表示部、３４…視点ガイド部、３５…ＡＲマニュアル管理部、３６…ＡＲマニュアル管理記憶部、３７…付随情報管理部、３８…付随情報管理記憶部、５０…コンピュータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
