特許 7476513 情報処理装置、及び、情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-22

(45)【発行日】2024-05-01

(54)【発明の名称】情報処理装置、及び、情報処理プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240423BHJP

   G06F 3/04815 20220101ALI20240423BHJP

【ＦＩ】

G06T19/00 600

G06F3/04815

【請求項の数】 8

(21)【出願番号】P 2019195411

(22)【出願日】2019-10-28

(65)【公開番号】P2021068383

(43)【公開日】2021-04-30

【審査請求日】2022-09-22

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】荒川 渓

(72)【発明者】

【氏名】神崎 亜実

(72)【発明者】

【氏名】鈴木 幸大

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１５－１５６１３１（ＪＰ，Ａ）

【文献】国際公開第２０１５／１５９５６１（ＷＯ，Ａ１）

【文献】特開２０１７－０２１６５６（ＪＰ，Ａ）

【文献】特開２０１３－１６１２４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
現実空間の物体に対応する、仮想空間における物体オブジェクトを生成し、
前記物体に対応付けて表示される、仮想空間における関連オブジェクトとして始点から終点へ向かう方向を示す矢印オブジェクトを、前記物体オブジェクトの少なくとも一部分に関連付け、
前記仮想空間における前記物体オブジェクトと前記関連オブジェクトとの関係を、前記現実空間における前記物体である処理装置、及び、前記現実空間において前記処理装置が行う処理工程に基づき特定し、
前記矢印オブジェクトの始点の位置を、前記現実空間において前記処理装置が前記処理工程を行う被対象物に対応する前記仮想空間における被対象物オブジェクトの属性情報に基づき特定し、
前記矢印オブジェクトの終点の位置を、前記現実空間において前記処理工程に引き続いて行われる可能性がある他の処理工程を行う他の物体に対応する前記仮想空間における他の物体オブジェクトの位置に基づき特定し、
前記仮想空間上で前記物体オブジェクトの移動を検知した場合は、前記関連オブジェクトと前記物体オブジェクトの相対的な位置関係を維持した状態で前記関連オブジェクトを移動させる、
情報処理装置。

【請求項2】

前記プロセッサは、前記現実空間の物体が移動したことを検知した場合、前記仮想空間における前記物体オブジェクトの位置を、前記現実空間における前記物体の移動後の位置に配置させる、
請求項１記載の情報処理装置。

【請求項3】

前記プロセッサは、
前記他の処理工程を、前記現実空間において前記物体が前記被対象物に行った前記処理工程に基づき特定し、
前記矢印オブジェクトの始点の位置を、前記仮想空間における前記被対象物オブジェクトの位置に基づき特定し、
前記矢印オブジェクトの終点の位置を、前記現実空間における前記特定された他の処理工程を行う他の物体に対応する前記仮想空間における他の物体オブジェクトの位置に基づき特定する、
請求項１または請求項２に記載の情報処理装置。

【請求項4】

前記プロセッサは、
前記現実空間において前記物体が前記被対象物に行った前記処理工程に応答してユーザから他の処理工程を受け付け、
前記矢印オブジェクトの始点の位置を、前記仮想空間における前記被対象物オブジェクトの位置に基づき特定し、
前記矢印オブジェクトの終点の位置を、前記現実空間における前記受け付けた他の処理工程を行う他の物体に対応する前記仮想空間における他の物体オブジェクトの位置に基づき特定する、
請求項１または請求項２に記載の情報処理装置。

【請求項5】

コンピュータに、
現実空間の物体に対応する、仮想空間における物体オブジェクトを生成し、
前記物体に対応付けて表示される、仮想空間における関連オブジェクトとして始点から終点へ向かう方向を示す矢印オブジェクトを、前記物体オブジェクトの少なくとも一部分に関連付け、
前記仮想空間における前記物体オブジェクトと前記関連オブジェクトとの関係を、前記現実空間における前記物体である処理装置、及び、前記現実空間において前記処理装置が行う処理工程に基づき特定し、
前記矢印オブジェクトの始点の位置を、前記現実空間において前記処理装置が前記処理工程を行う被対象物に対応する前記仮想空間における被対象物オブジェクトの属性情報に基づき特定し、
前記矢印オブジェクトの終点の位置を、前記現実空間において前記処理工程に引き続いて行われる可能性がある他の処理工程を行う他の物体に対応する前記仮想空間における他の物体オブジェクトの位置に基づき特定し、
前記仮想空間上で前記物体オブジェクトの移動を検知した場合は、前記関連オブジェクトと前記物体オブジェクトの相対的な位置関係を維持した状態で前記関連オブジェクトを移動させる、
処理を実行させるための情報処理プログラム。

【請求項6】

プロセッサを備え、
前記プロセッサは、
現実空間の印刷機に対応する、仮想空間における物体オブジェクトを生成し、
前記印刷機に対応付けて表示される、仮想空間における関連オブジェクトを、前記物体オブジェクトの少なくとも一部分に関連付け、
前記仮想空間上で前記物体オブジェクトの移動を検知した場合は、前記関連オブジェクトと前記物体オブジェクトの相対的な位置関係を維持した状態で前記関連オブジェクトを移動させ、
前記仮想空間における前記物体オブジェクトと前記関連オブジェクトとの関係を、前記印刷機、及び、前記現実空間において前記印刷機が行う印刷コンテンツに基づき特定する、
情報処理装置。

【請求項7】

前記関連オブジェクトは、始点から終点へ向かう方向を示す矢印オブジェクトであり、
前記プロセッサは、
前記矢印オブジェクトの始点の位置を、前記現実空間において前記印刷機が行う印刷コンテンツに使用される紙に対応する前記仮想空間における被対象物オブジェクトの属性情報に基づき特定し、
前記矢印オブジェクトの終点の位置を、前記現実空間において前記印刷コンテンツに引き続いて行われる加工作業を行う加工機に対応する前記仮想空間における他の物体オブジェクトの位置に基づいて特定する、
請求項６に記載の情報処理装置。

【請求項8】

コンピュータに、
現実空間の印刷機に対応する、仮想空間における物体オブジェクトを生成し、
前記印刷機に対応付けて表示される、仮想空間における関連オブジェクトを、前記物体オブジェクトの少なくとも一部分に関連付け、
前記仮想空間上で前記物体オブジェクトの移動を検知した場合は、前記関連オブジェクトと前記物体オブジェクトの相対的な位置関係を維持した状態で前記関連オブジェクトを移動させ、
前記仮想空間における前記物体オブジェクトと前記関連オブジェクトとの関係を、前記印刷機、及び、前記現実空間において前記印刷機が行う印刷コンテンツに基づき特定する、
処理を実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、及び、情報処理プログラムに関する。

【背景技術】

【0002】

特許文献１は、 使用者に画像を虚像として視認させる透過型の表示装置であって、現実空間上の実物体の座標位置および形状を検出する物体検出部と、現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御部と、前記画像オブジェクトを表示する表示部と、を備え、前記表示制御部は、前記画像オブジェクトを、前記実物体の座標位置および形状に合わせて制御することを特徴とする表示装置を開示する。

【0003】

特許文献２は、現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置であって、現実空間上の現実物体の位置を特定する現実物体位置特定手段と、前記現実物体位置特定手段で特定された現実物体の位置の情報に基づいて、前記現実物体が移動しているか判定する移動判定手段と、前記移動判定手段で前記現実物体が移動していると判定された場合に、現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を前記表示装置に表示させるべく出力する出力手段と、を備えることを特徴とする情報処理装置を開示する。

【0004】

特許文献３は、現実空間の３次元空間構造を解析して仮想空間を認識し、仮想空間上の装置の位置情報を取得する仮想空間認識部と、前記仮想空間に配置するオブジェクトおよび前記オブジェクトの位置情報を記憶している記憶部と、前記仮想空間に配置された前記オブジェクトを表示装置に表示させる表示部と、前記表示装置の装置情報を検出する検出部と、前記装置情報に基づいて、前記オブジェクトに対して所定の処理を実行する実行部と、を備える、情報処理装置を開示する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１５－０２６２８６号公報

【文献】特開２０１６－１２２３９２号公報

【文献】特開２０１１－１８６５３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

複合現実を生成する情報処理装置では、現実空間で物体（例えば、連帳機）が移動したときに、物体に関連付けられて表示されるべき、仮想空間での関連オブジェクト（例えば、エラー・メッセージ）を、現実空間での移動後の物体の位置に対応する、仮想空間での位置に表示するための設定が必要となる。

【0007】

本発明の目的は、現実空間で物体が移動したときであっても、物体に関連付けられて表示されるべき関連オブジェクトを、現実空間での移動後の物体の位置に対応する仮想空間での位置に表示する際の設定作業を減らすことができる情報処理装置及び情報処理プログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記した課題を解決すべく、第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、現実空間の物体に対応する、仮想空間における物体オブジェクトを生成し、前記物体に対応付けて表示される、仮想空間における関連オブジェクトとして始点から終点へ向かう方向を示す矢印オブジェクトを、前記物体オブジェクトの少なくとも一部分に関連付け、前記仮想空間における前記物体オブジェクトと前記関連オブジェクトとの関係を、前記現実空間における前記物体である処理装置、及び、前記現実空間において前記処理装置が行う処理工程に基づき特定し、前記矢印オブジェクトの始点の位置を、前記現実空間において前記処理装置が前記処理工程を行う被対象物に対応する前記仮想空間における被対象物オブジェクトの属性情報に基づき特定し、前記矢印オブジェクトの終点の位置を、前記現実空間において前記処理工程に引き続いて行われる可能性がある他の処理工程を行う他の物体に対応する前記仮想空間における他の物体オブジェクトの位置に基づき特定し、前記仮想空間上で前記物体オブジェクトの移動を検知した場合は、前記関連オブジェクトと前記物体オブジェクトの相対的な位置関係を維持した状態で前記関連オブジェクトを移動させる。

【0009】

第２態様に係る情報処理装置では、第１態様に係る情報処理装置において、前記プロセッサは、前記仮想空間における前記物体オブジェクトの位置を、前記現実空間における前記物体の移動に配置させる。

【0013】

第３態様に係る情報処理装置は、第１態様または第２態様に係る情報処理装置において、前記プロセッサは、前記他の処理工程を、前記現実空間において前記物体が前記被対象物に行った前記処理工程に基づき特定し、前記矢印オブジェクトの始点の位置を、前記仮想空間における前記被対象物オブジェクトの位置に基づき特定し、前記矢印オブジェクトの終点の位置を、前記現実空間における前記特定された他の処理工程を行う他の物体に対応する前記仮想空間における他の物体オブジェクトの位置に基づき特定する。

【0014】

第４態様に係る情報処理装置は、第１態様または第２態様に係る情報処理装置において、前記プロセッサは、前記現実空間において前記物体が前記被対象物に行った前記処理工程に応答してユーザから他の処理工程を受け付け、前記矢印オブジェクトの始点の位置を、前記仮想空間における前記被対象物オブジェクトの位置に基づき特定し、前記矢印オブジェクトの終点の位置を、前記現実空間における前記受け付けた他の処理工程を行う他の物体に対応する前記仮想空間における他の物体オブジェクトの位置に基づき特定する。

【0017】

第５態様に係る情報処理プログラムは、コンピュータに、現実空間の物体に対応する、仮想空間における物体オブジェクトを生成し、前記物体に対応付けて表示される、仮想空間における関連オブジェクトとして始点から終点へ向かう方向を示す矢印オブジェクトを、前記物体オブジェクトの少なくとも一部分に関連付け、前記仮想空間における前記物体オブジェクトと前記関連オブジェクトとの関係を、前記現実空間における前記物体である処理装置、及び、前記現実空間において前記処理装置が行う処理工程に基づき特定し、前記矢印オブジェクトの始点の位置を、前記現実空間において前記処理装置が前記処理工程を行う被対象物に対応する前記仮想空間における被対象物オブジェクトの属性情報に基づき特定し、前記矢印オブジェクトの終点の位置を、前記現実空間において前記処理工程に引き続いて行われる可能性がある他の処理工程を行う他の物体に対応する前記仮想空間における他の物体オブジェクトの位置に基づき特定し、前記仮想空間上で前記物体オブジェクトの移動を検知した場合は、前記関連オブジェクトと前記物体オブジェクトの相対的な位置関係を維持した状態で前記関連オブジェクトを移動させる。
第６態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、現実空間の印刷機に対応する、仮想空間における物体オブジェクトを生成し、前記印刷機に対応付けて表示される、仮想空間における関連オブジェクトを、前記物体オブジェクトの少なくとも一部分に関連付け、前記仮想空間上で前記物体オブジェクトの移動を検知した場合は、前記関連オブジェクトと前記物体オブジェクトの相対的な位置関係を維持した状態で前記関連オブジェクトを移動させ、前記仮想空間における前記物体オブジェクトと前記関連オブジェクトとの関係を、前記印刷機、及び、前記現実空間において前記印刷機が行う印刷コンテンツに基づき特定する。
第７態様に係る情報処理装置は、第６態様に係る情報処理装置において、前記関連オブジェクトは、始点から終点へ向かう方向を示す矢印オブジェクトであり、前記プロセッサは、前記矢印オブジェクトの始点の位置を、前記現実空間において前記印刷機が行う印刷コンテンツに使用される紙に対応する前記仮想空間における被対象物オブジェクトの属性情報に基づき特定し、前記矢印オブジェクトの終点の位置を、前記現実空間において前記印刷コンテンツに引き続いて行われる加工作業を行う加工機に対応する前記仮想空間における他の物体オブジェクトの位置に基づいて特定する。
第８態様に係る情報処理プロラムは、コンピュータに、現実空間の印刷機に対応する、仮想空間における物体オブジェクトを生成し、前記印刷機に対応付けて表示される、仮想空間における関連オブジェクトを、前記物体オブジェクトの少なくとも一部分に関連付け、前記仮想空間上で前記物体オブジェクトの移動を検知した場合は、前記関連オブジェクトと前記物体オブジェクトの相対的な位置関係を維持した状態で前記関連オブジェクトを移動させ、前記仮想空間における前記物体オブジェクトと前記関連オブジェクトとの関係を、前記印刷機、及び、前記現実空間において前記印刷機が行う印刷コンテンツに基づき特定する、処理を実行させる。

【発明の効果】

【0018】

第１態様に係る情報処理装置及び第５態様に係る情報処理プログラムによれば、現実空間で物体が移動したときであっても、物体に関連付けられて表示されるべき関連オブジェクトを、現実空間での移動後の物体の位置に対応する仮想空間での位置に表示する際の設定作業を減らすことができ、かつ仮想空間における物体オブジェクトに対する関連オブジェクトの関係を、仮想空間での状況に左右されることなく特定することができ、かつ矢印オブジェクトが示す方向に、被対象物オブジェクトが有する属性情報、及び、可能性がある他の物体オブジェクトの位置を反映させることができる。

【0019】

第２態様に係る情報処理装置によれば、前記物体に関連付けて表示されるべき前記関連オブジェクトの位置を特定するための前記物体オブジェクトの位置を、前記物体の移動に対応付けることができる。

【0023】

第３態様に係る情報処理装置によれば、矢印オブジェクトが示す方向に、被対象物オブジェクトの位置、及び、特定された他の物体オブジェクトの位置を反映させることができる。

【0024】

第４態様に係る情報処理装置によれば、矢印オブジェクトが示す方向に、被対象物オブジェクトの位置、及び、ユーザにより特定された他の物体オブジェクトの位置を反映させることができる。

【0025】

第６態様に係る情報処理装置及び第８態様に係る情報処理プログラムによれば、現実空間で印刷機が移動したときであっても、印刷機に関連付けられて表示されるべき関連オブジェクトを、現実空間での移動後の印刷機の位置に対応する仮想空間での位置に表示する際の設定作業を減らすことができる。

【0026】

第７態様に係る情報処理システムによれば、矢印オブジェクトが示す方向に、現実空間において印刷機が行う印刷コンテンツに使用される紙に対応する仮想空間における被対象物オブジェクトの属性情報、及び現実空間において印刷コンテンツに引き続いて行われる加工作業を行う加工機に対応する仮想空間における他の物体オブジェクトの位置を反映させることができる。

【図面の簡単な説明】

【0027】

【図1】実施形態１の情報処理装置の構成を示す。

【図2】実施形態１の情報処理装置の機能ブロック図である。

【図3】実施形態１の現実空間の一例を示す。

【図4】実施形態１の仮想空間の一例を示す。

【図5】実施形態１の仮想空間の一例を示す。

【図6】実施形態１の情報処理装置の動作を示すフローチャートである。

【図7】実施形態１の現実空間（移動前）の一例を示す。

【図8】実施形態１の現実空間（移動後）の一例を示す。

【図9】実施形態１の仮想空間（移動前）の一例を示す。

【図10】実施形態１の仮想空間（移動後）の一例を示す。

【図11】実施形態１の複合空間（移動後）の一例を示す。

【図12】実施形態２の現実空間の一例を示す。

【図13】実施形態２の仮想空間の一例を示す。

【図14】実施形態２の複合空間の一例を示す。

【図15】実施形態２の情報処理装置の動作を示すフローチャートである。

【図16】実施形態２の現実空間（移動前）の一例を示す。

【図17】実施形態２の現実空間（移動後）の一例を示す。

【図18】実施形態２の仮想空間（移動前）の一例を示す。

【図19】実施形態２の仮想空間（移動後）の一例を示す。

【図20】実施形態２の複合空間（移動後）の一例を示す。

【図21】実施形態３の情報処理装置の機能ブロック図である。

【図22】実施形態３の記憶媒体に記憶されたテーブルを示す。

【図23】実施形態３の情報処理装置ＪＳの動作を示すフローチャートである。

【図24】実施形態３の現実空間（処理前）の一例を示す。

【図25】実施形態３の現実空間（処理後）の一例を示す。

【図26】実施形態３の仮想空間（処理前）の一例を示す。

【図27】実施形態３の仮想空間（処理後の前半）の一例を示す。

【図28】実施形態３の仮想空間（処理後の後半）の一例を示す。

【図29】実施形態３の複合空間（処理後）の一例を示す。

【図30】実施形態４の情報処理装置の動作を示すフローチャートである。

【図31】実施形態４の仮想空間（処理後）の一例を示す。

【図32】実施形態４の複合空間（処理後の前半）の一例を示す。

【図33】実施形態４の複合空間（処理後の後半）の一例を示す。

【図34】実施形態４の仮想空間（選択後）の一例を示す。

【図35】実施形態４の複合空間（選択後）の一例を示す。

【図36】実施形態５の情報処理装置の動作を示すフローチャートである。

【図37】実施形態５の現実空間の一例を示す。

【図38】実施形態５の仮想空間の一例を示す。

【図39】実施形態５の複合空間の一例を示す。

【発明を実施するための形態】

【0028】

〈実施形態１〉
以下、本発明に係る情報処理装置の実施形態１について説明する。

【0029】

〈実施形態１の構成〉
図１は、実施形態１の情報処理装置ＪＳの構成を示す。実施形態の情報処理装置ＪＳは、例えば、ヘッド・マウント・ディスプレイの一種であるＭＲ（Mixed Reality：複合現実）デバイスである。情報処理装置ＪＳは、現実空間ＧＫでの物体である、例えば、連帳機ＲＴ（図３に図示。）と、仮想空間ＫＫにおける、物体に対応する物体オブジェクトである、例えば、連帳機オブジェクトＲＴｏｂｊ（図４に図示。）とを複合し、即ち、重ね合わせる。これにより、情報処理装置ＪＳは、複合空間ＦＫ（図５に図示。）を生成する。情報処理装置ＪＳは、複合空間ＦＫを生成すべく、図１に示されるように、入力部１と、ＣＰＵ２（Central Processing Unit）と、出力部３と、記憶媒体４と、メモリ５と、を含む。

【0030】

入力部１は、例えば、画像センサ、カメラ、タッチパネルから構成される。ＣＰＵ２は、プロセッサの一例であり、ソフトウェアに従ってハードウェアを動作させる、よく知られたコンピュータの中核である。出力部３は、例えば、透過型ディスプレイから構成される。記憶媒体４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。メモリ５は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。

【0031】

記憶媒体４は、図１に示されるように、プログラムＰＲを記憶する。プログラムＰＲは、情報処理装置ＪＳが実行すべき処理の内容を規定する命令群である。

【0032】

図２は、実施形態１の情報処理装置ＪＳの機能ブロック図である。実施形態１の情報処理装置ＪＳは、図２に示されるように、取得部１１と、検出部１２と、生成部１３と、更新部１４と、複合部１５と、制御部１６と、記憶部１７と、を含む。

【0033】

情報処理装置ＪＳにおける、ハードウェアの構成と機能的構成との関係については、ハードウェア上で、ＣＰＵ２が、記憶媒体４（記憶部１７の一部の機能を実現する。）に記憶されたプログラムＰＲを、メモリ５（記憶部１７の他の一部の機能を実現する。）を用いつつ実行すると共に、必要に応じて、制御部１６として、入力部１及び出力部３の動作を制御することにより、取得部１１、検出部１２、生成部１３、更新部１４、及び複合部１５の各部の機能を実現する。各部の機能については、後述する。

【0034】

ＣＰＵ２による各部の実現は、情報処理装置ＪＳ内で行われることに代えて、例えば、外部のサーバ（図示せず。）で行われても良い。

【0035】

図３は、実施形態１の現実空間ＧＫの一例を示す。図４は、実施形態１の仮想空間ＫＫの一例を示す。図５は、実施形態１の複合空間ＦＫの一例を示す。

【0036】

現実空間ＧＫは、実際の空間である。現実空間ＧＫには、図３に示されるように、例えば、物体である、連帳機ＲＴ及び複数のロール紙ＲＳ１～ＲＳ３が、存在する。

【0037】

仮想空間ＫＫは、情報処理装置ＪＳが生成する仮想の空間である。仮想空間ＫＫには、図４に示されるように、情報処理装置ＪＳが生成する、現実空間ＧＫでの連帳機ＲＴに対応する仮想オブジェクト、即ち、物体オブジェクトである連帳機オブジェクトＲＴｏｂｊ、及び、現実空間ＧＫでの連帳機ＲＴに関連付けて表示されるべき仮想オブジェクトである関連オブジェクト、即ち、メッセージ・オブジェクトＭＧｏｂｊが、存在する。

【0038】

連帳機オブジェクトＲＴｏｂｊは、後述されるように、メッセージ・オブジェクトＭＧｏｂｊの座標位置を情報処理装置ＪＳが算出するために用いられることから、情報処理装置ＪＳのユーザには、視認することができる必要がなく、視認されない。

【0039】

他方で、メッセージ・オブジェクトＭＧｏｂｊは、情報処理装置ＪＳのユーザの操作に供すべく、視認することができることが望ましい。しかも、仮想空間ＫＫ内でのメッセージ・オブジェクトＭＧｏｂｊの座標位置は、仮想空間ＫＫ内での連帳機オブジェクトＲＴｏｂｊの座標位置との相対的な関係で特定される。

【0040】

例えば、仮想空間ＫＫ内での連帳機オブジェクトＲＴｏｂｊの座標位置が（ｘａ、ｙｂ、ｚｃ）であることを想定すると（図示せず。）、仮想空間ＫＫ内でのメッセージ・オブジェクトＭＧｏｂｊの座標位置は、（ｘａ、ｙｂ＋ｍ、ｚｃ）により特定される。ここで、ｍは、任意の数値である。以下の説明では、ｍ＝５であることを前提とする。

【0041】

以下の説明では、輪郭線が「点線」で描かれたオブジェクトは、「視認することができない」ことを意味する。

【0042】

情報処理装置ＪＳは、現実空間ＧＫ内の連帳機ＲＴ及び複数のロール紙ＲＳ１～ＲＳ３（図３に図示。）と、仮想空間ＫＫ内の連帳機オブジェクトＲＴｏｂｊ及びメッセージ・オブジェクトＭＧｏｂｊ（図４に図示。）とを複合することにより、即ち、重ね合わせることにより、複合空間ＦＫ（図５に図示。）を生成する。複合空間ＦＫは、上記した出力部３である透過型ディスプレイを通じてユーザが認識する空間である。生成された複合空間ＦＫには、情報処理装置ＪＳのユーザが視認することができる、連帳機ＲＴ、複数のロール紙ＲＳ１～ＲＳ３、及びメッセージ・オブジェクトＭＧｏｂｊが、存在する。即ち、複合空間ＦＫでは、連帳機オブジェクトＲＴｏｂｊは、情報処理装置ＪＳのユーザには視認されない。

【0043】

〈実施形態１の動作〉
図６は、実施形態１の情報処理装置ＪＳの動作を示すフローチャートである。図７は、実施形態１の現実空間（移動前）の一例を示す。図８は、実施形態１の現実空間（移動後）の一例を示す。図９は、実施形態１の仮想空間（移動前）の一例を示す。図１０は、実施形態１の仮想空間（移動後）の一例を示す。図１１は、実施形態１の複合空間（移動後）の一例を示す。

【0044】

以下、実施形態１の情報処理装置ＪＳの動作について、図６のフローチャート、及び、図７～図１１を参照して説明する。

【0045】

説明及び理解を容易にすべく、現実空間ＧＫ内で連帳機ＲＴのみが移動することを想定する。また、連帳機ＲＴに関連付けて表示されるべき、換言すれば、連帳機ＲＴの近傍に表示されるべきメッセージ・オブジェクトＭＧｏｂｊが、複合空間ＦＫ内で連帳機オブジェクトＲＴｏｂｊの近傍（ｙ軸方向について、＋５の座標位置）に表示されるべきであることがユーザにより予め指定されていることを想定する。

【0046】

ステップＳ１１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、取得部１１（図２に図示。）として、従来知られた方法により、図７に示される現実空間ＧＫをスキャンし、即ち、例えば、カメラである入力部１により撮影する。より詳しくは、ＣＰＵ２は、現実空間ＧＫでＺ軸方向に沿って、現実空間ＧＫ内の連帳機ＲＴ及び複数のロール紙ＲＳ１～ＲＳ３の形体（外形）及び座標位置を取得する。

【0047】

ここで、ＣＰＵ２は、例えば、連帳機ＲＴの形体「Ｘ軸方向に長い形状」を取得する。ＣＰＵ２は、また、例えば、現実空間ＧＫ内での連帳機ＲＴの座標位置（Ｘ１０、Ｙ１０、Ｚ１０）を取得する。ＣＰＵ２は、複数のロール紙ＲＳ１～ＲＳ３の形体（外形）及び座標位置についても、連帳機ＲＴと同様に、形体及び座標位置を取得する。

【0048】

ステップＳ１２：ステップＳ１１で、連帳機ＲＴの形体「Ｘ軸方向に長い形状」及び座標位置（Ｘ１０、Ｙ１０、Ｚ１０）、並びに、複数のロール紙ＲＳ１～ＲＳ３の形体及び座標位置が取得されると、ＣＰＵ２は、生成部１３（図２に図示。）として、図９に示されるように、仮想空間ＫＫを生成する。

【0049】

仮想空間ＫＫは、ステップＳ１１でのスキャンにより取得された物体の全てに対応するオブジェクトを含む。より具体的には、仮想空間ＫＫは、連帳機ＲＴに対応するオブジェクトである連帳機オブジェクトＲＴｏｂｊ、及び、複数のロール紙ＲＳ１～ＲＳ３に対応するオブジェクトである複数のロール紙オブジェクトＲＳ１ｏｂｊ～Ｒ３ｏｂｊを含む。

【0050】

連帳機オブジェクトＲＴｏｂｊは、連帳機ＲＴと対応付けられており、例えば、連帳機ＲＴの形状（類似する形状を含む。）、座標位置、ＩＰアドレス、及び、機種名等の情報を有する。

【0051】

複数のロール紙オブジェクトＲＳ１ｏｂｊ～Ｒ３ｏｂｊも、同様に、それぞれ、複数のロール紙ＲＳ１～ＲＳ３と対応付けられており、例えば、複数のロール紙ＲＳ１～ＲＳ３の形状（類似する形状を含む。）、座標位置、及び、製品名等の情報を有する。

【0052】

ＣＰＵ２は、また、生成部１３として、メッセージ・オブジェクトＭＧｏｂｊ（図９に図示なし。）を連帳機オブジェクトＲＴｏｂｊの少なくとも一部分に関連付けるという関連付けを生成する。

【0053】

ステップＳ１３：ステップＳ１２で、仮想空間ＫＫが生成されると、ＣＰＵ２は、検出部１２（図２に図示。）として、現実空間ＧＫ内での物体である連帳機ＲＴ及び複数のロール紙ＲＳ１～ＲＳ３が移動したか否かを検出する。ここで、上記したように、また、図７及び図８の白抜きの矢印に示されるように、連帳機ＲＴが移動している。その結果、ＣＰＵ２は、形体「Ｘ軸方向に長い形状」が移動した事実を検出し、換言すれば、連帳機ＲＴが移動した事実を検出することから、「ＹＥＳ」に進む。

【0054】

ステップＳ１４：ステップＳ１３で、現実空間ＧＫでの連帳機ＲＴの移動が検出されると、図１０に示されるように、ＣＰＵ２は、取得部１１として、仮想空間ＫＫ内における連帳機オブジェクトＲＴｏｂｊの座標位置（ｘ１１、ｙ１１、ｚ１１）を取得する。

【0055】

ここで、連帳機オブジェクトＲＴｏｂｊは、ＣＰＵ２により、連帳機ＲＴの移動に連動して移動している。連帳機オブジェクトＲＴｏｂｊは、上記したような、連帳機ＲＴの移動に連動して移動することに代えて、ユーザの手動による操作、例えば、座標位置の入力により、ユーザが希望する位置に配置されてもよい。連帳機オブジェクトＲＴｏｂｊは、また、上記したような、連帳機ＲＴの移動に連動して移動すること、及び、ユーザの手動により座標位置を調整することの両方が併用されることにより、連帳機ＲＴの移動に沿いつつ、ユーザの希望が反映された位置に配置されてもよい。

【0056】

ステップＳ１５：ステップＳ１４で、仮想空間ＫＫ内での連帳機オブジェクトＲＴｏｂｊの座標位置（ｘ１１、ｙ１１、ｚ１１）が検出されると、ＣＰＵ２は、更新部１４（図２に図示。）として、図１０に示されるように、仮想空間ＫＫ内で、ＣＰＵ２は、更新部１４として、移動後の連帳機オブジェクトＲＴｏｂｊの座標位置（ｘ１１、ｙ１１、ｚ１１）に基づき、メッセージ・オブジェクトＭＧｏｂｊの座標位置を更新し、即ち、特定する。これにより、ＣＰＵ２は、メッセージ・オブジェクトＭＧｏｂｊの座標位置（ｘ１１、ｙ１１＋５、ｚ１１）を取得する。換言すれば、ＣＰＵ２は、仮想空間ＫＫにおける座標位置（ｘ１１、ｙ１１＋５、ｚ１１）に、メッセージ・オブジェクトＭＧｏｂｊを配置し、更に換言すれば、連帳機オブジェクトＲＴｏｂｊとメッセージ・オブジェクトＭＧｏｂｊとの相対的な位置関係を維持した状態で、メッセージ・オブジェクトＭＧｏｂｊを移動させる。

【0057】

ここで、メッセージ・オブジェクトＭＧｏｂｊは、ＣＰＵ２による座標位置の更新に代えて、または、ＣＰＵ２による座標位置の更新と共に、ユーザの手動による操作、例えば、座標位置の入力が行われてもよい。これにより、メッセージ・オブジェクトＭＧｏｂｊは、上記した座標位置（ｘ１１、ｙ１１＋５、ｚ１１）に代えて、または、上記した座標位置（ｘ１１、ｙ１１＋５、ｚ１１）を調整して、例えば、座標位置（ｘ１１、ｙ１１＋７、ｚ１１）、（ｘ１１－３、ｙ１１＋５、ｚ１１）に配置されてもよい。

【0058】

ステップＳ１６：ステップＳ１５で、仮想空間ＫＫ内でのメッセージ・オブジェクトＭＧｏｂｊの座標位置（ｘ１１、ｙ１１＋５、ｚ１１）が取得されると、ＣＰＵ２は、複合部１５（図２に図示。）として、現実空間ＧＫ内の連帳機ＲＴ及び複数のロール紙ＲＳ１～ＲＳ３（図８に図示。）、並びに、仮想空間ＫＫ内での連帳機オブジェクトＲＴｏｂｊ及びメッセージ・オブジェクトＭＧｏｂｊ（図１０に図示。）を複合することにより、図１１に示される複合空間ＦＫを生成する。

【0059】

生成された複合空間ＦＫには、視認することができる、連帳機ＲＴ、複数のロール紙ＲＳ１～ＲＳ３、及びメッセージ・オブジェクトＭＧｏｂｊ、並びに、視認することができない連帳機オブジェクトＲＴｏｂｊが、存在する（図１１では、視認することができない連帳機オブジェクトＲＴｏｂｊを図示せず。）。

【0060】

実施形態１では、上述したように、現実空間ＧＫ内で連帳機ＲＴが移動した場合に、仮想空間ＫＫ内でメッセージ・オブジェクトＭＧｏｂｊを表示するときの設定作業が削減される。即ち、仮想空間ＫＫでのメッセージ・オブジェクトＭＧｏｂｊの座標位置が、仮想空間ＫＫでの連帳機オブジェクトＲＴｏｂｊの座標位置から直ちに特定される。

【0061】

〈実施形態２〉
実施形態２の情報処理装置について説明する。

【0062】

〈実施形態２の構成〉
実施形態２の情報処理装置ＪＳの構成は、図１及び図２に示される、実施形態１の情報処理装置ＪＳの構成と同一である。

【0063】

〈実施形態２の動作〉
実施形態２の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳと異なり、関連オブジェクトである「メッセージ・オブジェクトＭＧｏｂｊ」（例えば、図４に図示。）を表示することに代えて、関連オブジェクトである「矢印オブジェクトＹＪｏｂｊ」（例えば、図１３に図示。）を表示する。

【0064】

図１２は、実施形態２の現実空間の一例を示す。図１３は、実施形態２の仮想空間の一例を示す。図１４は、実施形態２の複合空間の一例を示す。

【0065】

実施形態２の現実空間ＧＫには、図１２に示されるように、物体である連帳機ＲＴ、及び、他の物体である加工機ＫＡが、存在する。

【0066】

実施形態２の仮想空間ＫＫには、図１３に示されるように、情報処理装置ＪＳが生成する、連帳機ＲＴに対応する仮想オブジェクトである、即ち、物体オブジェクトである連帳機オブジェクトＲＴｏｂｊと、情報処理装置ＪＳが生成する、加工機ＫＡに対応する仮想オブジェクト、即ち、他の物体オブジェクトである加工機オブジェクトＫＡｏｂｊと、情報処理装置ＪＳが生成する、関連オブジェクトである矢印オブジェクトＹＪｏｂｊが、存在する。

【0067】

連帳機オブジェクトＲＴｏｂｊ及びロール紙オブジェクトＲＳｏｂｊは、矢印オブジェクトＹＪｏｂｊの座標位置を情報処理装置ＪＳが算出するために用いられることから、情報処理装置ＪＳのユーザには、視認することができる必要が無く、視認されない。

【0068】

矢印オブジェクトＹＪｏｂｊは、現実空間ＧＫにおける始点である連帳機ＲＴから、現実空間ＧＫにおける終点である加工機ＫＡへ向かう方向を示すオブジェクトである。矢印オブジェクトＹＪｏｂｊは、情報処理装置ＪＳのユーザの便宜のために視認することができることが望ましい。矢印オブジェクトＹＪｏｂｊの始点は、連帳機オブジェクトＲＴｏｂｊの座標位置により特定され、他方で、矢印オブジェクトＹＪｏｂｊの終点は、加工機オブジェクトＫＡｏｂｊの座標位置により特定される。

【0069】

情報処理装置ＪＳは、現実空間ＧＫでの連帳機ＲＴ及び加工機ＫＡ（図１２に図示。）と、仮想空間ＫＫでの連帳機オブジェクトＲＴｏｂｊ、加工機オブジェクトＫＡｏｂｊ、及び矢印オブジェクトＹＪｏｂｊ（図１３に図示。）とを複合することにより、視認することができる、連帳機ＲＴ、加工機ＫＡ、及び、矢印オブジェクトＹＪｏｂｊ、並びに、視認することができない、連帳機オブジェクトＲＴｏｂｊ及び加工機オブジェクトＫＡｏｂｊが存在する複合空間ＦＫ（図１４に図示。）を生成する。即ち、複合空間ＦＫでは、連帳機オブジェクトＲＴｏｂｊ及び加工機オブジェクトＫＡｏｂｊは、情報処理装置ＪＳのユーザには視認されない。

【0070】

図１５は、実施形態２の情報処理装置ＪＳの動作を示すフローチャートである。図１６は、実施形態２の現実空間（移動前）の一例を示す。図１７は、実施形態２の現実空間（移動後）の一例を示す。図１８は、実施形態２の仮想空間（移動前）の一例を示す。図１９は、実施形態２の仮想空間（移動後）の一例を示す。図２０は、実施形態２の複合空間（移動後）の一例を示す。

【0071】

以下、実施形態２の情報処理装置ＪＳの動作について、図１５のフローチャート、及び、図１６～図２０を参照して説明する。

【0072】

説明及び理解を容易にすべく、現実空間ＧＫ内で、連帳機ＲＴ及び加工機ＫＡが移動し、これらの移動と共に、矢印オブジェクトＹＪｏｂｊも移動する必要があることを想定する。

【0073】

ステップＳ２１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、取得部１１（図２に図示。）として、実施形態１のステップＳ１１と同様に、図１６に示される現実空間ＧＫをスキャンする。より詳しくは、ＣＰＵ２は、現実空間ＧＫでＺ軸方向に沿って、現実空間ＧＫ内の連帳機ＲＴ及び加工機ＫＡの形体（外形）及び座標位置を取得する。ここで、ＣＰＵ２は、連帳機ＲＴについて、例えば、形体「Ｘ軸方向に長い形状」及び座標位置（Ｘ２０、Ｙ２０、Ｚ２０）を取得する。ＣＰＵ２は、加工機ＫＡについて、例えば、形体「Ｘ軸方向に長い直方体」及び座標位置（Ｘ３０、Ｙ３０、Ｚ３０）を取得する。

【0074】

ステップＳ２２：ステップＳ２２で、連帳機ＲＴの形体「Ｘ軸方向に長い形状」及び座標位置（Ｘ２０、Ｙ２０、Ｚ２０）、並びに、加工機ＫＡの形体「Ｘ軸方向に長い直方体」及び座標位置（Ｘ３０、Ｙ３０、Ｚ３０）が取得されると、ＣＰＵ２は、生成部１３（図２に図示。）として、図１８に示されるように、仮想空間ＫＫを生成する。

【0075】

仮想空間ＫＫは、ステップＳ２１でのスキャンにより取得された物体の全てに対応するオブジェクトを含む。より具体的には、仮想空間ＫＫは、連帳機ＲＴに対応するオブジェクトである連帳機オブジェクトＲＴｏｂｊ、及び、加工機ＫＡに対応するオブジェクトである加工機ＫＡｏｂｊを含む。

【0076】

ステップＳ２３：ステップＳ２２で、仮想空間ＫＫが生成されると、ＣＰＵ２は、検出部１２（図２に図示。）として、実施形態１のステップＳ１２と同様に、現実空間ＧＫ内で、連帳機ＲＴ及び加工機ＫＡの少なくともいずれかが移動したか否かを検出する。ここで、上記したように、また、図１６及び図１７の２つの白抜きの矢印に示されるように、連帳機ＲＴ及び加工機ＫＡの両方が移動している。その結果、ＣＰＵ２は、形体「Ｘ軸方向に長い形状」が移動した事実を検出し、換言すれば、連帳機ＲＴが移動した事実を検出する。同様に、ＣＰＵ２は、形体「Ｘ軸方向に長い直方体」が移動した事実を検出し、換言すれば、加工機ＫＡが移動した事実を検出する。前記した２つの事実の検出により、「ＹＥＳ」に進む。

【0077】

ステップＳ２４：ステップＳ２３で、現実空間ＧＫでの連帳機ＲＴ及び加工機ＫＡの移動が検出されると、ＣＰＵ２は、取得部１１として、図１９に示されるように、仮想空間ＫＫ内における連帳機オブジェクトＲＴｏｂｊの座標位置（ｘ２１、ｙ２１、ｚ２１）、及び、加工機オブジェクトＫＡｏｂｊの座標位置（ｘ３１、ｙ３１、ｚ３１）を取得する。

【0078】

ステップＳ２５：ステップＳ２４で、仮想空間ＫＫ内で、連帳機オブジェクトＲＴｏｂｊの座標位置（ｘ２１、ｙ２１、ｚ２１）及び加工機オブジェクトＫＡｏｂｊの座標位置（ｘ３１、ｙ３１、ｚ３１）が取得されると、ＣＰＵ２は、更新部１４（図２に図示。）として、図１９に示されるように、仮想空間ＫＫ内で、連帳機オブジェクトＲＴｏｂｊの座標位置（ｘ２１、ｙ２１、ｚ２１）及び加工機オブジェクトＫＡｏｂｊの座標位置（ｘ３１、ｙ３１、ｚ３１）に基づき、矢印オブジェクトＹＪｏｂｊの座標位置を更新する。これにより、ＣＰＵ２は、矢印オブジェクトＹＪｏｂｊの始点ＳＴ（ｘ２１、ｙ２１、ｚ２１）、及び、終点ＥＮ（ｘ３１、ｙ３１、ｚ３１）を取得する。換言すれば、ＣＰＵ２は、仮想空間ＫＫ内に、始点ＳＴが座標位置（ｘ２１、ｙ２１、ｚ２１）であり、かつ、終点ＥＮが（ｘ３１、ｙ３１、ｚ３１）である矢印オブジェクトＹＪｏｂｊを配置する。

【0079】

ステップＳ２６：ステップＳ２５で、仮想空間ＫＫ内での矢印オブジェクトＹＪｏｂｊの始点ＳＴの座標位置（ｘ２１、ｙ２１、ｚ２１）、及び、終点ＥＮの座標位置（ｘ３１、ｙ３１、ｚ３１）が取得されると、ＣＰＵ２は、複合部１５（図２に図示。）として、現実空間ＧＫ内の連帳機ＲＴ及び加工機ＫＡ（図１７に図示。）、並びに、仮想空間ＫＫ内での連帳機オブジェクトＲＴｏｂｊ、加工機オブジェクトＫＡｏｂｊ、及び、矢印オブジェクトＹＪｏｂｊ（図１９に図示。）を複合することにより、図２０に示される複合空間ＦＫを生成する。生成された複合空間ＦＫには、視認することができる、連帳機ＲＴ、加工機ＫＡ、及び矢印オブジェクトＹＪｏｂｊ、並びに、視認することができない、連帳機オブジェクトＲＴｏｂｊ、及び加工機オブジェクトＫＡｏｂｊが、存在する（図２０では、視認することができない、連帳機オブジェクトＲＴｏｂｊ、及び加工機オブジェクトＫＡｏｂｊを図示せず。）。

【0080】

実施形態２では、上述したように、矢印オブジェクトＹＪｏｂｊの始点ＳＴの座標位置及び終点ＥＮの座標位置が、現実空間ＧＫにおける連帳機ＲＴ及び加工機ＫＡの座標位置を取得することなく、特定される。

【0081】

〈実施形態３〉
実施形態３の情報処理装置について説明する。

【0082】

〈実施形態３の構成〉
実施形態３の情報処理装置ＪＳの構成は、図１に示される実施形態１の情報処理装置ＪＳの構成と同一である。

【0083】

図２１は、実施形態３の情報処理装置ＪＳの機能ブロック図である。

【0084】

実施形態３の情報処理装置ＪＳは、実施形態１の図２と実施形態３の図２１との比較から明らかであるように、実施形態１と同様に、取得部１１と、検出部１２と、生成部１３と、更新部１４と、複合部１５と、制御部１６と、記憶部１７とを含み、また、実施形態１と相違して、更に、付加部１８と、検索部１９を含む。付加部１８、及び検索部１９の機能については、後述する。

【0085】

図２２は、実施形態３の記憶媒体４に記憶されたテーブルＴＢを示す。

【0086】

実施形態３の記憶媒体４（図１に図示。）は、テーブルＴＢを記憶している。テーブルＴＢは、図２２に示されるように、連帳機ＲＴ（例えば、図２４に図示。）が行う内容である「印刷コンテンツ」（何を印刷したか）と、前記した印刷コンテンツに対応して、加工機ＫＡ１～ＫＡ３（例えば、図２４に図示。）が行うべき「加工作業」と、前記した「加工作業」を実際に行うべき加工機ＫＡ１～ＫＡ３の「加工機番号」との対応関係を示す。テーブルＴＢ中で、加工機番号「１」、「２」、「３」は、それぞれ、加工機ＫＡ１、加工機ＫＡ２、加工機ＫＡ３を意味する。ここで、「印刷コンテンツ」は、『処理工程』の一例である。

【0087】

〈実施形態３の動作〉
実施形態３の情報処理装置ＪＳは、実施形態１の情報処理装置ＪＳと相違し、かつ、実施形態２の情報処理装置ＪＳと同様に、関連オブジェクトである「矢印オブジェクトＹＪｏｂｊ」（例えば、図２８に図示。）を表示する。

【0088】

図２３は、実施形態３の情報処理装置ＪＳの動作を示すフローチャートである。図２４は、実施形態３の現実空間（処理前）の一例を示す。図２５は、実施形態３の現実空間（処理後）の一例を示す。図２６は、実施形態３の仮想空間(処理前）の一例を示す。図２７は、実施形態３の仮想空間（処理後の前半）の一例を示す。図２８は、実施形態３の仮想空間（処理後の後半）の一例を示す。図２９は、実施形態３の複合空間（処理後）の一例を示す。

【0089】

以下、実施形態３の情報処理装置ＪＳの動作について、図２３のフローチャート、及び、図２４～図２９を参照して説明する。

【0090】

説明及び理解を容易にすべく、現実空間ＧＫ内で、連帳機ＲＴが、例えば、コート紙、マットコート紙、上質紙、特殊紙等の紙質のうちのコート紙であるロール紙ＲＳに、印刷コンテンツ「パンフレット」を印刷することを想定する。

【0091】

ここで、ロール紙ＲＳは、『被対象物』の一例である。後述されるロール紙オブジェクトＲＳｏｂｊは、『被対象物オブジェクト』の一例である。コート紙、マットコート紙、上質紙、特殊紙等の紙質、及び、印刷コンテンツ「パンフレット」、「単行本」等（図２０に図示。）の処理工程は、『属性情報』の一例である。

【0092】

ステップＳ３１：情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、実施形態１のステップＳ１１と同様に、取得部１１（図２１に図示。）として、図２４に示される現実空間ＧＫをスキャンする。より詳しくは、ＣＰＵ２は、図２４に示されるように、現実空間ＧＫでＺ軸方向に沿って、現実空間ＧＫ内の連帳機ＲＴ、複数の加工機ＫＡ１～ＫＡ３、及びロール紙について、形体及び座標位置を取得する。

【0093】

ここで、ＣＰＵ２は、連帳機ＲＴについて、形体「Ｘ軸方向に長い形状」及び座標位置（Ｘ４０、Ｙ４０、Ｚ４０）を取得する。ＣＰＵ２は、また、複数の加工機ＫＡ１～ＫＡ３について、それぞれ、形体「直方体」及び座標位置（Ｘ５１、Ｙ５１、Ｚ５１）、形体「直方体」及び座標位置（Ｘ５２、Ｙ５２、Ｚ５２）、形体「直方体」及び座標位置（Ｘ５３、Ｙ５３、Ｚ５３）を取得する。ＣＰＵ２は、更に、ロール紙ＲＳについて、形体「円柱」及び座標位置（Ｘ６０、Ｙ６０、Ｚ６０）を取得する。

【0094】

ステップＳ３２：ステップＳ３１で、現実空間ＧＫにおける連帳機ＲＴ、複数の加工機ＫＡ１～ＫＡ３、及びロール紙ＲＳについて形体及び座標位置が取得されると、ＣＰＵ２は、生成部１３（図２１に図示。）として、図２６に示されるように、仮想空間ＫＫを生成する。

【0095】

仮想空間ＫＫは、ステップＳ３１でのスキャンにより取得された物体の全てに対応するオブジェクトを含む。より具体的には、仮想空間ＫＫは、連帳機ＲＴに対応するオブジェクトである連帳機オブジェクトＲＴｏｂｊ、複数の加工機ＫＡ１～ＫＡ３に対応するオブジェクトである複数の加工機オブジェクトＫＡ１ｏｂｊ～ＫＡ３ｏｂｊ、及び、ロール紙ＲＳに対応するオブジェクトであるロール紙オブジェクトＲＳｏｂｊを含む。

【0096】

ステップＳ３３：ステップＳ３２で、仮想空間ＫＫが生成されると、ＣＰＵ２は、検出部１２（図２１に図示。）として、連帳機ＲＴが、ロール紙ＲＳに、何らかの印刷コンテンツ（図２２に図示。）を印刷したか否かを検出する。上記したように、また、図２４及び図２５の白抜き矢印で示されるように、ロール紙ＲＳが連帳機ＲＴに供給され、連帳機ＲＴがロール紙ＲＳに印刷コンテンツ「パンフレット」を印刷することから、「ＹＥＳ」に進む。

【0097】

ステップＳ３４：ステップＳ３３で、連帳機ＲＴがロール紙ＲＳに印刷コンテンツ「パンフレット」を印刷したことが検出されると、ＣＰＵ２は、取得部１１（図２１に図示。）として、ロール紙オブジェクトＲＳｏｂｊの座標位置（ｘ６１、ｙ６１、ｚ６１）を取得する。ロール紙オブジェクトＲＳｏｂｊは、矢印オブジェクトＹＪｏｂｊ（図２８、２９に図示。）の座標位置を情報処理装置ＪＳが算出するために用いられることから、情報処理装置ＪＳのユーザには、視認することができる必要がなく、視認されない。

【0098】

ステップＳ３５：ステップＳ３４で、ロール紙オブジェクトＲＳｏｂｊの座標位置（ｘ６１、ｙ６１、ｚ６１）が取得されると、ＣＰＵ２は、付加部１８（図２１に図示。）として、ロール紙オブジェクトＲＳｏｂｊの近傍に、例えば、座標位置（６１ｘ、ｙ６１＋５、ｚ６１）に、印刷コンテンツ「パンフレット」（図２２に図示。）の仮想オブジェクトである、印刷コンテンツ・オブジェクトＰＣｏｂｊを付加する。

【0099】

ここで、印刷コンテンツ・オブジェクトＰＣｏｂｊは、連帳機ＲＴが行った印刷コンテンツ「パンフレット」の印刷という処理工程に引き続いて、加工機ＫＡ１～ＫＡ３のいずれかにより行われるべき処理工程を情報処理装置ＪＳが求めるために用いられることから、情報処理装置ＪＳのユーザには、視認することができる必要がなく、視認されない。

【0100】

ステップＳ３６：ステップＳ３５で、仮想空間ＫＫ内で、ロール紙オブジェクトＲＳｏｂｊの近傍の座標位置（６１ｘ、ｙ６１＋５、ｚ６１）に、印刷コンテンツ・オブジェクトＰＣｏｂｊが付加されると、ＣＰＵ２は、検索部１９（図２１に図示。）として、テーブルＴＢ（図２２に図示。）を参照する。ＣＰＵ２は、この参照により、現実空間ＧＫで連帳機ＲＴがロール紙ＲＳに印刷した印刷コンテンツ「パンフレット」に対応する加工作業及び加工機番号を検索する。これにより、ＣＰＵ２は、加工作業「中綴じ」、及び、加工機番号「３」を取得する。

【0101】

ステップＳ３７：ステップＳ３６で、加工作業「中綴じ」及び加工機番号「３」が取得されると、ＣＰＵ２は、取得部１１（図２１に図示。）として、図２８に示されるように、加工機番号「３」の加工機ＫＡ３に対応する加工機オブジェクトＫＡ３ｏｂｊの座標位置（ｘ５３、ｙ５３、ｚ５３）を取得する。

【0102】

ここで、加工機オブジェクトＫＡ３ｏｂｊは、矢印オブジェクトＹＪｏｂｊの座標位置を情報処理装置ＪＳが算出するために用いられることから、情報処理装置ＪＳのユーザには、視認することができることを要せず、視認されない。

【0103】

ステップＳ３８：ステップＳ３７で、仮想空間ＫＫでの加工機オブジェクトＫＡ３ｏｂｊの座標位置（ｘ５３、ｙ５３、ｚ５３）が取得されると、ＣＰＵ２は、生成部１３（図２１に図示。）として、仮想空間ＫＫで、矢印オブジェクトＹＪｏｂｊを生成する。より詳しくは、ＣＰＵ２は、図２８に示されるように、仮想空間ＫＫ内で、ロール紙オブジェクトＲＳｏｂｊの座標位置（ｘ６１、ｙ６１、ｚ６１）及び加工機オブジェクトＫＡ３ｏｂｊの座標位置（ｘ５３、ｙ５３、ｚ５３）に基づき、矢印オブジェクトＹＪｏｂｊの座標位置を特定する。これにより、ＣＰＵ２は、矢印オブジェクトＹＪｏｂｊの始点ＳＴの座標位置（ｘ６１、ｙ６１、ｚ６１）、及び、終点ＥＮの座標位置（ｘ５３、ｙ５３、ｚ５３）を特定する。

【0104】

換言すれば、ＣＰＵ２は、物体オブジェクトである連帳機オブジェクトＲＴｏｂｊと関連オブジェクトである矢印オブジェクトＹＪｏｂｊとの関係を、物体である連帳機ＲＴ、及び、連帳機ＲＴが行う処理工程である印刷コンテンツ「パンフレット」により特定しており、より詳しくは、物体である連帳機ＲＴ、及び、連帳機ＲＴが行う処理工程である印刷コンテンツ「パンフレット」により規定される、少なくとも、ロール紙オブジェクトＲＳｏｂｊの座標位置に基づき特定する。

【0105】

ステップＳ３９：ステップＳ３８で、矢印オブジェクトＹＪｏｂｊの始点ＳＴの座標位置（ｘ６１、ｙ６１、ｚ６１）及び終点ＥＮの座標位置（ｘ５３、ｙ５３、ｚ５３）が取得されると、ＣＰＵ２は、複合部１５（図２１に図示。）として、現実空間ＧＫ内の連帳機ＲＴ、複数の加工機ＫＡ１～ＫＡ３、及びロール紙ＲＳ（図２５に図示。）、並びに、仮想空間ＫＫ内のロール紙オブジェクトＲＳｏｂｊ、印刷コンテンツ・オブジェクトＰＣｏｂｊ、加工機オブジェクトＫＡ１ｏｂｊ～ＫＡ３ｏｂｊ、及び矢印オブジェクトＹＪｏｂｊ（図２８に図示。）を複合することにより、図２９に示される複合空間ＦＫを生成する。

【0106】

生成された複合空間ＦＫには、視認することができる、連帳機ＲＴ、ロール紙ＲＳ、加工機ＫＡ１～ＫＡ３、及び矢印オブジェクトＹＪｏｂｊ、並びに、視認することができない、加工機オブジェクトＫＡ１ｏｂｊ～ＫＡ３ｏｂｊ、及び、ロール紙オブジェクトＲＳｏｂｊ、及び、印刷コンテンツ・オブジェクトＰＣｏｂｊが、存在する（図２９では、視認することができない、印刷コンテンツ・オブジェクトＰＣｏｂｊ、ロール紙オブジェクトＲＳｏｂｊ、及び加工機オブジェクトＫＡ１ｏｂｊ～ＫＡ３ｏｂを図示せず。）。

【0107】

実施形態３では、上述したように、仮想空間ＫＫにおける連帳機オブジェクトＲＴｏｂｊに対する矢印オブジェクトＹＪｏｂｊの関係が、仮想空間ＫＫでの他の状況に左右されること特定される。

【0108】

即ち、矢印オブジェクトＹＪｏｂｊが示す方向に、ロール紙オブジェクトＲＳｏｂｊが有する属性情報、及び、可能性がある加工機オブジェクトＫＡ３ｏｂｊの位置が反映される。また、矢印オブジェクトＹＪが示す方向に、ロール紙オブジェクトＲＳｏｂｊの位置も反映される。

【0109】

〈実施形態４〉
実施形態４の情報処理装置について説明する。

【0110】

〈実施形態４の構成〉
実施形態４の情報処理装置ＪＳの構成は、実施形態１の情報処理装置ＪＳの構成（図１に図示。）と同一である。

【0111】

実施形態４の情報処理装置ＪＳの機能ブロックは、実施形態３の情報処理装置ＪＳの機能ブロック（図２１に図示。）と同一である。

【0112】

他方で、実施形態４の情報処理装置ＪＳは、実施形態３の情報処理装置ＪＳと相違し、加工機ＫＡ１～ＫＡ３のいずれかの選択を情報処理装置ＪＳが行うことに代えて、情報処理装置ＪＳのユーザが行うことから、テーブルＴＢ（図２２に図示。）を有しない。

【0113】

〈実施形態４の動作〉
実施形態４の情報処理装置ＪＳは、実施形態３の情報処理装置ＪＳと同様に、矢印オブジェクトＹＪｏｂｊを表示する。

【0114】

他方で、実施形態４の情報処理装置ＪＳは、実施形態３の情報処理装置ＪＳと相違し、視認することができない印刷コンテンツ・オブジェクトＰＣｏｂｊに代えて、情報処理装置ＪＳのユーザによる上記した選択の便宜のために、視認することができる印刷コンテンツ・オブジェクトＰＣｏｂｊを付加する。

【0115】

図３０は、実施形態４の情報処理装置ＪＳの動作を示すフローチャートである。図３１は、実施形態４の仮想空間（処理後）の一例を示す。図３２は、実施形態４の複合空間（処理後の前半）の一例を示す。図３３は、実施形態４の複合空間（処理後の後半）の一例を示す。図３４は、実施形態４の仮想空間（選択後）の一例を示す。図３５は、実施形態４の複合空間（選択後）の一例を示す。

【0116】

以下、実施形態４の情報処理装置ＪＳの動作について、図３０のフローチャート、並びに、実施形態３の図２４、図２５、図２６、及び、実施形態４の図３１～図３５を参照して説明する。

【0117】

説明及び理解を容易にすべく、現実空間ＧＫ内で、連帳機ＲＴが、例えば、コート紙、マットコート紙、上質紙、特殊紙等の紙質のうちのコート紙であるロール紙ＲＳに、実施形態３と相違して、印刷コンテンツ「パンフレット」に代えて、印刷コンテンツ「単行本」を印刷することを想定する。

【0118】

ステップＳ４１：実施形態３のステップＳ３１と同様に、情報処理装置ＪＳでは、ＣＰＵ２（図１に図示。）は、取得部１１（図２１図示。）として、図２４に示される現実空間ＧＫをスキャンする。このスキャンにより、ＣＰＵ２は、図２４に示されるように、連帳機ＲＴについて、形体「Ｘ軸方向に長い形状」、及び、座標位置（Ｘ４０、Ｙ４０、Ｚ４０）を取得する。

【0119】

ＣＰＵ２は、また、複数の加工機ＫＡ１～ＫＡ３について、それぞれ、形体「直方体」及び座標位置（Ｘ５１、Ｙ５１、Ｚ５１）、形体「直方体」及び座標位置（Ｘ５２、Ｙ５２、Ｚ５２）、並びに、形体「直方体」及び座標位置（Ｘ５３、Ｙ５３、Ｚ５３）を取得する。

【0120】

ＣＰＵ２は、更に、ロール紙ＲＳについて、形体「円柱」及び座標位置（Ｘ６０、Ｙ６０、Ｚ６０）を取得する。

【0121】

ステップＳ４２：ステップＳ４１で、現実空間ＧＫにおける連帳機ＲＴ、複数の加工機ＫＡ１～ＫＡ３、及びロール紙ＲＳについて、形体及び座標位置が取得されると、実施形態３のステップＳ３２と同様に、ＣＰＵ２は、生成部１３（図２１に図示。）として、図２６に示されるように、仮想空間ＫＫを生成する。

【0122】

ステップＳ４３：ステップＳ４２で、仮想空間ＫＫが生成されると、ＣＰＵ２は、検出部１２（図２１に図示。）として、連帳機ＲＴが、ロール紙ＲＳに、何らかの印刷コンテンツ（図２２に図示。）を印刷したか否かを検出する。上記したように、また、図２４及び図２５の白抜き矢印で示されるように、ロール紙ＲＳが連帳機ＲＴに供給され、連帳機ＲＴがロール紙ＲＳに印刷コンテンツ「単行本」を印刷することから、「ＹＥＳ」に進む。

【0123】

ステップＳ４４：ステップＳ４３で、連帳機ＲＴがロール紙ＲＳに印刷コンテンツ「単行本」を印刷したことが検出されると、ＣＰＵ２は、取得部１１（図２１に図示。）として、ロール紙オブジェクトＲＳｏｂｊの座標位置（ｘ６１、ｙ６１、ｚ６１）を取得する。実施形態３と同様に、ロール紙オブジェクトＲＳｏｂｊは、矢印オブジェクトＹＪｏｂｊ（例えば、図３４に図示。）の座標位置を情報処理装置ＪＳが算出するために用いられることから、情報処理装置ＪＳのユーザには、視認することができる必要がなく、視認されない。

【0124】

ステップＳ４５：ステップＳ４４で、ロール紙オブジェクトＲＳｏｂｊの座標位置（ｘ６１、ｙ６１、ｚ６１）が取得されると、ＣＰＵ２は、付加部１８（図２１に図示。）として、ロール紙オブジェクトＲＳｏｂｊの近傍に、例えば、座標位置（６１ｘ、ｙ６１＋５、ｚ６１）に、印刷コンテンツ「単行本」（図２２に図示。）の仮想オブジェクトである、印刷コンテンツ・オブジェクトＰＣｏｂｊを付加する。

【0125】

ここで、印刷コンテンツ・オブジェクトＰＣｏｂｊは、連帳機ＲＴが行った印刷コンテンツ「単行本」の印刷との処理工程に引き続いて、加工機ＫＡ１～ＫＡ３のいずれかにより行われるべき処理工程を、実施形態３と相違して、実施形態３での情報処理装置ＪＳが特定するために用いられることに代えて、情報処理装置ＪＳのユーザが選択するために用いられることから、情報処理装置ＪＳのユーザには、視認することができることが望ましい。

【0126】

ステップＳ４６：ステップＳ４５で、仮想空間ＫＫ内で、ロール紙オブジェクトＲＳｏｂｊの近傍の座標位置（６１ｘ、ｙ６１＋５、ｚ６１）に、視認することができる印刷コンテンツ・オブジェクトＰＣｏｂｊが付加されると、ＣＰＵ２は、複合部１５（図２１に図示。）として、現実空間ＧＫ内の連帳機ＲＴ、複数の加工機ＫＡ１～ＫＡ３、及びロール紙ＲＳ（図２５に図示。）、並びに、仮想空間ＫＫ内のロール紙オブジェクトＲＳｏｂｊ、及び印刷コンテンツ・オブジェクトＰＣｏｂｊ（図３１に図示。）を複合することにより、図３２に示される複合空間ＦＫを生成する。

【0127】

生成された複合空間ＦＫには、視認することができる、連帳機ＲＴ、ロール紙ＲＳ、加工機ＫＡ１～ＫＡ３、及び印刷コンテンツ・オブジェクトＰＣｏｂｊ、並びに、視認することができないロール紙オブジェクトＲＳｏｂｊが、存在する（図３２では、視認することができないロール紙オブジェクトＲＳｏｂｊを図示せず。）。

【0128】

ステップＳ４７：ステップＳ４６で、複合空間ＦＫが生成されると、情報処理装置ＪＳのユーザは、印刷コンテンツ「単行本」の印刷コンテンツ・オブジェクトＰＣｏｂｊを視認した上で、連帳機ＲＴによる印刷に引き続くべき後の工程を、加工機ＫＡ１～加工機ＫＡ３のいずれを用いて行うことが妥当であるか否かを選択する。ＣＰＵ２は、取得部１１として、ユーザによる選択を受け付ける。ここで、ユーザが、印刷コンテンツ「単行本」を印刷されたロール紙ＲＳに行うことが望ましい加工作業「無線綴じ」、または、加工作業「無線綴じ」を実行する「加工機ＫＡ２」を選択したことを想定する。

【0129】

ここで、図３３で、２つの点線の矢印、眼鏡を模したＭＲデバイス及び磁気ディスクは、複合空間ＦＫに存在するのではなく、印刷コンテンツ・オブジェクトＰＣｏｂｊからユーザ（眼鏡のアイコン）へ印刷コンテンツ「単行本」が伝達されること、及び、ユーザが加工機ＫＡ２を選択することを模式的に示す。

【0130】

ステップＳ４８：ステップＳ４７で、加工作業「無線綴じ」または加工機ＫＡ２の選択が受け付けられると、ＣＰＵ２は、取得部１１として、選択された加工機ＫＡ２に対応する、仮想空間ＫＫにおける加工機オブジェクトＫＡ２ｏｂｊの座標位置（ｘ５２、ｙ５２、ｚ５２）を取得する。

【0131】

ステップＳ４９：ステップＳ４８で、仮想空間ＫＫでの加工機オブジェクトＫＡ２ｏｂｊの座標位置（ｘ５２、ｙ５２、ｚ５２）が取得されると、ＣＰＵ２は、生成部１３として、仮想空間ＫＫで、矢印オブジェクトＹＪｏｂｊを生成する。

【0132】

より詳しくは、ＣＰＵ２は、図３４に示されるように、仮想空間ＫＫ内で、ロール紙オブジェクトＲＳｏｂｊの座標位置（ｘ６１、ｙ６１、ｚ６１）及び加工機オブジェクトＫＡ２ｏｂｊの座標位置（ｘ５２、ｙ５２、ｚ５２）に基づき、矢印オブジェクトＹＪｏｂｊの座標位置を更新し、即ち、取得する。これにより、ＣＰＵ２は、矢印オブジェクトＹＪｏｂｊの始点ＳＴの座標位置（ｘ６１、ｙ６１、ｚ６１）、及び、終点ＥＮの座標位置（ｘ５２、ｙ５２、ｚ５２）を特定する。

【0133】

ステップＳ５０：ステップＳ４９で、矢印オブジェクトＹＪｏｂｊの始点ＳＴの座標位置（ｘ６１、ｙ６１、ｚ６１）及び終点ＥＮの座標位置（ｘ５２、ｙ５２、ｚ５２）が取得されると、ＣＰＵ２は、複合部１５として、現実空間ＧＫ内の連帳機ＲＴ、複数の加工機ＫＡ１～ＫＡ３、及びロール紙ＲＳ（図２５に図示。）、並びに、仮想空間ＫＫ内のロール紙オブジェクトＲＳｏｂｊ、印刷コンテンツ・オブジェクトＰＣｏｂｊ、加工機オブジェクトＫＡ１ｏｂｊ～ＫＡ３ｏｂｊ及び矢印オブジェクトＹＪｏｂｊ（図３４に図示。）を複合することにより、図３５に示される複合空間ＦＫを生成する。

【0134】

生成された複合空間ＦＫには、視認することができる、連帳機ＲＴ、ロール紙ＲＳ、加工機ＫＡ１～ＫＡ３、印刷コンテンツ・オブジェクトＰＣｏｂｊ、及び矢印オブジェクトＹＪｏｂｊ、並びに、視認することができない、ロール紙オブジェクトＲＳｏｂｊ、及び加工機オブジェクトＫＡ１ｏｂｊ～ＫＡ３ｏｂｊが、存在する。（図３５では、視認することができない、ロール紙オブジェクトＲＳｏｂｊ、及び加工機オブジェクトＫＡ１ｏｂｊ～ＫＡ３ｏｂｊを図示せず。）。

【0135】

実施形態４では、上述したように、矢印オブジェクトＹＪｏｂｊが示す方向に、実施形態３での情報処理装置ＪＳが特定した加工機オブジェクトＫＡ３ｏｂｊの座標位置に代えて、ユーザにより特定された加工機オブジェクトＫＡ２ｏｂｊの座標位置が反映される。

【0136】

〈実施形態５〉
実施形態５の情報処理装置について説明する。

【0137】

〈実施形態５の構成〉
実施形態５の情報処理装置ＪＳの構成及び機能ブロックは、実施形態１の情報処理装置ＪＳの構成及び機能ブロック（図１、図２に図示。）と同一である。

【0138】

他方で、実施形態５の情報処理装置ＪＳでは、実施形態１の情報処理装置ＪＳと相違して、連帳機オブジェクトＲＴｏｂｊ（例えば、図３８に図示。）は、現実空間ＧＫで連帳機ＲＴ（例えば、図３７に図示。）がロール紙ＲＳ（例えば、図３７に図示。）に印刷するときの「ロール紙ＲＳの移動経路に関する情報」を有する。ロール紙ＲＳの移動経路に関する情報は、ロール紙ＲＳの移動経路（図３８で白抜きの矢印で図示。）についての始点の座標位置及び終点の座標位置である。ここで、図３７に示されるように、現実空間ＧＫにおいて、ロール紙ＲＳの始点ＳＴＴの座標位置が（Ｘ７０、Ｙ７０、Ｚ７０）であり、終点ＥＮＤの座標位置が（Ｘ７１、Ｙ７１、Ｚ７１）であることを想定する。ここで、ロール紙ＲＳは、『被対象物』の一例である。

【0139】

〈実施形態５の動作〉
図３６は、実施形態５の情報処理装置ＪＳの動作を示すフローチャートである。図３７は、実施形態５の現実空間の一例を示す。図３８は、実施形態５の仮想空間の一例を示す。図３９は、実施形態５の複合空間の一例を示す。

【0140】

以下、実施形態５の情報処理装置ＪＳの動作について、図３６のフローチャート、及び、図３７～図３９を参照して説明する。

【0141】

ステップＳ５１：情報処理装置ＪＳでは、ＣＰＵ２は、取得部１１（図２に図示。）として、現実空間ＧＫ内の連帳機ＲＴ（図３７に図示。）に対応する仮想空間ＫＫ内の連帳機オブジェクトＲＴｏｂｊ（図３８に図示。）から、現実空間ＧＫにおいて連帳機ＲＴがロール紙ＲＳに印刷を行うときのロール紙ＲＳの移動経路に関する情報を取得する。より詳しくは、ＣＰＵ２は、ロール紙ＲＳの始点ＳＴＴの座標位置（Ｘ７０、Ｙ７０、Ｚ７０）、及び、終点ＥＮＤの座標位置（Ｘ７１、Ｙ７１、Ｚ７１）を取得する。連帳機オブジェクトＲＴｏｂｊは、ロール紙ＲＳの移動経路に関する情報を情報処理装置ＪＳが取得するためのオブジェクトであることから、情報処理装置ＪＳのユーザには視認することができる必要が無く、視認されない。

【0142】

ステップＳ５２：ステップＳ５１で、現実空間ＧＫでのロール紙ＲＳの始点ＳＴＴの座標位置（Ｘ７０、Ｙ７０、Ｚ７０）、及び、終点ＥＮＤの座標位置（Ｘ７１、Ｙ７１、Ｚ７１）が取得されると、ＣＰＵ２は、生成部１３（図２に図示。）として、図３８に示されるように、仮想空間ＫＫで、現実空間ＧＫにおけるロール紙ＲＳに対応するロール紙オブジェクトＲＳｏｂｊ及び再生ボタン・オブジェクトＢＴｏｂｊを生成する。ここで、ロール紙オブジェクトＲＳｏｂｊは、現実空間ＧＫにおいてロール紙ＲＳが移動する移動経路を動画で表示する『動的表示オブジェクト』の一例である。また、再生ボタン・オブジェクトＢＴｏｂｊは、動的表示オブジェクトであるロール紙オブジェクトＲＳｏｂｊの再生及び停止を指示するためのオブジェクトである。

【0143】

ステップＳ５３：ステップＳ５２で、ロール紙オブジェクトＲＳｏｂｊ及び再生ボタンＢＴｏｂｊが生成されると、ＣＰＵ２は、更新部１４（図２に図示。）として、仮想空間ＫＫにおける、ロール紙オブジェクトＲＳｏｂｊの位置を、ロール紙ＲＳの移動経路に関する情報、即ち、現実空間ＧＫでのロール紙ＲＳの始点ＳＴＴの座標位置（Ｘ７０、Ｙ７０、Ｚ７０）及び終点ＥＮＤの座標位置（Ｘ７１、Ｙ７１、Ｚ７１）に基づき更新する。これにより、ＣＰＵ２は、仮想空間ＫＫにおける、ロール紙オブジェクトＲＳｏｂｊの始点ＳＴの座標位置（ｘ７０、ｙ７０、ｚ７０）及び終点ＥＮ（ｘ７１、ｙ７１、ｚ７１）を取得する。

【0144】

ステップＳ５４：ＣＰＵ２は、ステップＳ５４で、ロール紙オブジェクトＲＳｏｂｊの始点ＳＴの座標位置（ｘ７０、ｙ７０、ｚ７０）及び終点ＥＮの座標位置（ｘ７１、ｙ７１、ｚ７１）が取得されると、ＣＰＵ２は、複合部１５（図２に図示。）として、現実空間ＧＫ内の連帳機ＲＴ及びロール紙ＲＳ（図３７に図示。）、並びに、仮想空間ＫＫ内のロール紙オブジェクトＲＳｏｂｊ及び再生ボタンＢＴ（図３８に図示。）を複合することにより、図３９に示される複合空間ＦＫを生成する。

【0145】

生成された複合空間ＦＫには、視認することができる、連帳機ＲＴ、ロール紙ＲＳ、ロール紙オブジェクトＲＳｏｂｊ、及び再生ボタン・オブジェクトＢＴｏｂｊが、存在する。

【0146】

情報処理装置ＪＳのユーザは、複合空間ＦＫを視認することにより、現実空間ＧＫにおいて、連帳機ＲＴがロール紙ＲＳを印刷しなくても、仮想空間ＫＫにおいて、ロール紙オブジェクトＲＳｏｂｊがロール紙ＲＳの移動経路を仮想的に動的な表示を行うことを通じて、ロール紙ＲＳがどのように移動するかを認識する。

【0147】

実施形態５では、上述したように、仮想空間ＫＫにおけるロール紙オブジェクトＲＳｏｂｊの座標位置が、現実空間ＧＫにおけるロール紙ＲＳの移動経路に沿うように設定される。即ち、仮想空間ＫＫにおける、動的表示オブジェクトであるロール紙オブジェクトＲＳｏｂｊの始点ＳＴ及び終点ＥＮが、現実空間ＧＫにおける、ロール紙ＲＳの移動経路の始点ＳＴＴ及び終点ＥＮＤに合致する。

【0148】

〈プロセッサ、プログラムの補足説明〉
上記した実施形態において、プロセッサとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ： Central Processing Unit等）に加えて、専用のプロセッサ（例えば、ＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス等）を含む。

【0149】

上記した実施形態において、プロセッサの動作は、１つのプロセッサによって実現されてもよく、また、複数のプロセッサの協働によって実現されてもよい。また、プロセッサの各動作の順序は、上記した実施形態における順序に限定されず、適宜変更してもよい。

【0150】

上記した実施形態において、プログラムＰＲは、記憶媒体４に予め記憶（インストール）されていることに代えて、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録されて提供されてもよく、ネットワークを介して外部装置からダウンロードされてもよい。

【符号の説明】

【0151】

ＪＳ 情報処理装置
１ 入力部
２ ＣＰＵ
３ 出力部
４ 記憶媒体
５ メモリ
１１ 取得部
１２ 検出部
１３ 生成部
１４ 更新部
１５ 複合部
１６ 制御部
１７ 記憶部
ＧＫ 現実空間
ＫＫ 仮想空間
ＦＫ 複合空間
ＲＴ 連帳機
ＲＳ１～ＲＳ３ ロール紙
ＲＴｏｂｊ 連帳機オブジェクト
ＭＧｏｂｊ メッセージ・オブジェクト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】