特許 7547843 情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】情報処理装置、及びプログラム

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20240903BHJP

   G06F 3/01 20060101ALI20240903BHJP

   G06F 3/04815 20220101ALI20240903BHJP

   G06T 19/00 20110101ALI20240903BHJP

   G09G 5/00 20060101ALI20240903BHJP

   G09G 5/38 20060101ALI20240903BHJP

   G09G 5/37 20060101ALI20240903BHJP

   G09G 5/377 20060101ALI20240903BHJP

   G09G 5/373 20060101ALI20240903BHJP

   G06F 3/0346 20130101ALN20240903BHJP

【ＦＩ】

G06F3/04842

G06F3/01 510

G06F3/04815

G06T19/00 A

G09G5/00 550C

G09G5/38 100

G09G5/37 600

G09G5/377 100

G09G5/373

G09G5/373 200

G06F3/0346 423

【請求項の数】 10

(21)【出願番号】P 2020131929

(22)【出願日】2020-08-03

(65)【公開番号】P2022028491

(43)【公開日】2022-02-16

【審査請求日】2023-07-20

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】菰田 敏行

(72)【発明者】

【氏名】大橋 淳

【審査官】井上 香緒梨

(56)【参考文献】

【文献】国際公開第２０１６／０３１３５８（ＷＯ，Ａ１）

【文献】特開２０１８－０４５４５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２４４４１６（ＵＳ，Ａ１）

【文献】特開２０１８－００５５１７（ＪＰ，Ａ）

【文献】特開平０７－０１３６９０（ＪＰ，Ａ）

【文献】国際公開第２００３／０４６７３２（ＷＯ，Ａ１）

【文献】特開２０１３－０９３７０５（ＪＰ，Ａ）

【文献】特開２００２－０６３２１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０１

Ｇ０６Ｆ３／０４８－３／０４８９５

Ｇ０９Ｇ５／００－５／４２

(57)【特許請求の範囲】

【請求項1】

プロセッサを有し、前記プロセッサは、
ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させ、
前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させ、
前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更し、
前記第２オブジェクトの数が決められた閾値以上である場合に、該数が該閾値未満であるときと異なる規則に従って、該第２オブジェクトを表示させる
情報処理装置。

【請求項2】

前記プロセッサは、
前記第２オブジェクトの数が前記閾値未満である場合に該第２オブジェクトを互いに重ならないように配置し、前記第２オブジェクトの数が前記閾値以上である場合に該第２オブジェクトを重ねて配置して、表示する
請求項１に記載の情報処理装置。

【請求項3】

プロセッサを有し、前記プロセッサは、
ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させ、
前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させ、
前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更し、
前記第２オブジェクトの大きさを、該第２オブジェクトの数に応じて変化させて表示させる
情報処理装置。

【請求項4】

前記プロセッサは、
前記第２オブジェクトの数が多いほど、該第２オブジェクトのそれぞれを小さく表示させる
請求項３に記載の情報処理装置。

【請求項5】

プロセッサを有し、前記プロセッサは、
ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させ、
前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させ、
前記第１オブジェクトの内容を変更する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更する
情報処理装置。

【請求項6】

プロセッサを有し、前記プロセッサは、
ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させ、
前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させ、
前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更し、
実行中の第１処理よりも優先される第２処理を実行する指示があった場合に、前記仮想空間における前記第２座標系に対応する位置への、前記第２オブジェクトの表示を保留し、
前記第２処理が完了した場合に、保留した前記第２オブジェクトの前記表示を再開する
情報処理装置。

【請求項7】

プロセッサを有するコンピュータに、
ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるステップと、
前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるステップと、
前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更するステップと、
前記第２オブジェクトの数が決められた閾値以上である場合に、該数が該閾値未満であるときと異なる規則に従って、該第２オブジェクトを表示させるステップと、
を実行させるプログラム。

【請求項8】

プロセッサを有するコンピュータに、
ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるステップと、
前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるステップと、
前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更するステップと、
前記第２オブジェクトの大きさを、該第２オブジェクトの数に応じて変化させて表示させるステップと、
を実行させるプログラム。

【請求項9】

プロセッサを有するコンピュータに、
ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるステップと、
前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるステップと、
前記第１オブジェクトの内容を変更する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更するステップと、
を実行させるプログラム。

【請求項10】

プロセッサを有するコンピュータに、
ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるステップと、
前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるステップと、
前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更するステップと、
実行中の第１処理よりも優先される第２処理を実行する指示があった場合に、前記仮想空間における前記第２座標系に対応する位置への、前記第２オブジェクトの表示を保留するステップと、
前記第２処理が完了した場合に、保留した前記第２オブジェクトの前記表示を再開するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

例えば、特許文献１は、ＨＭＤ（ヘッドマウントディスプレイ）の表示画面に、ジェスチャー入力の操作内容に対応づけられた被選択体を視界の所定位置に固定して表示する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２３１４４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、仮想空間で文書等のオブジェクトを取り扱う際に、ユーザの操作に応じて、ユーザが必要とするオブジェクトを、ユーザの動作によって変化するユーザの視界に表示させること、を目的とする。

【課題を解決するための手段】

【0005】

本発明の請求項１に係る情報処理装置は、プロセッサを有し、前記プロセッサは、ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させ、前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させ、前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更し、前記第２オブジェクトの数が決められた閾値以上である場合に、該数が該閾値未満であるときと異なる規則に従って、該第２オブジェクトを表示させる情報処理装置である。

【0009】

本発明の請求項２に係る情報処理装置は、請求項１に記載の態様において、前記プロセッサは、前記第２オブジェクトの数が前記閾値未満である場合に該第２オブジェクトを互いに重ならないように配置し、前記第２オブジェクトの数が前記閾値以上である場合に該第２オブジェクトを重ねて配置して、表示する情報処理装置である。

【0010】

本発明の請求項３に係る情報処理装置は、プロセッサを有し、前記プロセッサは、ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させ、前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させ、前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更し、前記第２オブジェクトの大きさを、該第２オブジェクトの数に応じて変化させて表示させる情報処理装置である。

【0011】

本発明の請求項４に係る情報処理装置は、請求項３に記載の態様において、前記プロセッサは、前記第２オブジェクトの数が多いほど、該第２オブジェクトのそれぞれを小さく表示させる情報処理装置である。

【0012】

本発明の請求項５に係る情報処理装置は、プロセッサを有し、前記プロセッサは、ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させ、前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させ、前記第１オブジェクトの内容を変更する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更する情報処理装置である。

【0015】

本発明の請求項６に係る情報処理装置は、プロセッサを有し、前記プロセッサは、ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させ、前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させ、前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更し、実行中の第１処理よりも優先される第２処理を実行する指示があった場合に、前記仮想空間における前記第２座標系に対応する位置への、前記第２オブジェクトの表示を保留し、前記第２処理が完了した場合に、保留した前記第２オブジェクトの前記表示を再開する情報処理装置である。

【0016】

本発明の請求項７に係るプログラムは、プロセッサを有するコンピュータに、ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるステップと、前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるステップと、前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更するステップと、前記第２オブジェクトの数が決められた閾値以上である場合に、該数が該閾値未満であるときと異なる規則に従って、該第２オブジェクトを表示させるステップと、を実行させるプログラムである。
本発明の請求項８に係るプログラムは、プロセッサを有するコンピュータに、ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるステップと、前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるステップと、前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更するステップと、前記第２オブジェクトの大きさを、該第２オブジェクトの数に応じて変化させて表示させるステップと、を実行させるプログラムである。
本発明の請求項９に係るプログラムは、プロセッサを有するコンピュータに、ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるステップと、前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるステップと、前記第１オブジェクトの内容を変更する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更するステップと、を実行させるプログラムである。
本発明の請求項１０に係るプログラムは、プロセッサを有するコンピュータに、ユーザが認識する仮想空間において、第１オブジェクトを、前記ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるステップと、前記仮想空間において、第２オブジェクトを、前記ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるステップと、前記第１オブジェクトに対する前記ユーザの操作に応じて、該第１オブジェクトを前記第２オブジェクトに変更するステップと、実行中の第１処理よりも優先される第２処理を実行する指示があった場合に、前記仮想空間における前記第２座標系に対応する位置への、前記第２オブジェクトの表示を保留するステップと、前記第２処理が完了した場合に、保留した前記第２オブジェクトの前記表示を再開するステップと、を実行させるプログラムである。

【発明の効果】

【0017】

請求項１、７に係る発明によれば、ユーザは、仮想空間で文書等のオブジェクトを取り扱う際に、必要とするオブジェクトを、必要としない他のオブジェクトと区別して認識し、視界から見失うことがない。また、これらの発明によれば、第２オブジェクトの表示の態様は、その数が閾値以上になったときに、閾値未満のときと異なる規則に従う。
請求項２に係る発明によれば、ユーザは、第２オブジェクトの数が閾値以上になったとき、重ねて配置された第２オブジェクトを認識する。
請求項３、８に係る発明によれば、ユーザは、数に応じた大きさで表示される第２オブジェクトを認識する。
請求項４に係る発明によれば、第２オブジェクトは、その数が多いほど小さく表示される。
請求項５、９に係る発明によれば、ユーザは、第１オブジェクトの内容を変更する操作により、その第１オブジェクトを第２オブジェクトに変更させる。
請求項６、１０に係る発明によれば、第２オブジェクトは、第２条件を満たしたとき仮想空間における第２座標系に対応する位置への表示が保留され、第３条件を満たしたとき、保留した表示が再開される。また、これらの発明によれば、第２オブジェクトは、実行中の第１処理よりも優先される第２処理を実行する指示があった場合に仮想空間における第２座標系に対応する位置への表示が保留され、その第２処理が完了した場合に保留した表示が再開される。

【図面の簡単な説明】

【0018】

【図1】情報処理システム９の全体構成の例を示す図。

【図2】情報処理装置１の構成の例を示す図。

【図3】ユーザＤＢ１２１の例を示す図。

【図4】オブジェクトＤＢ１２２の例を示す図。

【図5】属性ＤＢ１２３の例を示す図。

【図6】端末２の構成の例を示す図。

【図7】位置情報の例を示す図。

【図8】位置情報２２１に記憶されるオフセット、及び回転角を説明するための図。

【図9】視線履歴２２２の例を示す図。

【図10】第２座標系とユーザの視野Ｖとの関係を説明するための図。

【図11】追従ＤＢ２２３の例を示す図。

【図12】記憶されたオブジェクトの位置と描画位置との関係を説明するための図。

【図13】指示ＤＢ２２４の例を示す図。

【図14】設定ＤＢ２２５の例を示す図。

【図15】端末２の機能的構成の例を示す図。

【図16】端末の動作の流れの例を示すフロー図。

【図17】ユーザが見る仮想空間の例を示す図。

【図18】追従変更を確認するダイヤログの例を示す図。

【図19】仮想空間において編集されるオブジェクトの例を示す図。

【図20】追従変更の終了を確認するダイヤログの例を示す図。

【図21】第２オブジェクトの表示に態様が変更される様子を示す図。

【図22】ユーザが頭の向きを変えたときに見える仮想空間を示す図。

【図23】数に応じて大きさが決まる第２オブジェクトの例を示す図。

【図24】数が閾値以上となったことで表示の規則が変化した第２オブジェクトの例を示す図。

【図25】割込みがあったときに表示されるダイヤログの例を示す図。

【図26】割込みが終了したときに表示されるダイヤログの例を示す図。

【発明を実施するための形態】

【0019】

＜実施形態＞
＜情報処理システムの構成＞
図１は、情報処理システム９の全体構成の例を示す図である。図１に示す情報処理システム９は、文書等のオブジェクトを取り扱う仮想的な三次元空間をユーザに提供するシステムである。情報処理システム９は、図１に示す通り、情報処理装置１、端末２、及び通信回線３を有する。以下、図において上述した三次元空間を説明する場合、右手系座標空間が用いられる。

【0020】

図１に示す情報処理装置１は、文書等のオブジェクトを閲覧・加工等するための仮想的な三次元空間を、ユーザＰに提供するサーバ装置である。情報処理装置１は、例えばコンピュータである。

【0021】

図１に示す端末２は、ユーザＰが頭に装着して情報処理装置１に記憶されたオブジェクトを閲覧する端末装置である。この端末２は、例えば、頭部装着型のいわゆるＶＲ（仮想現実：Virtual Reality）ゴーグル等といった表示端末である。

【0022】

通信回線３は、情報処理装置１、及び端末２を通信可能に接続する回線である。通信回線３は、例えばＬＡＮ（Local Area Network）のほか、ＷＡＮ（Wide Area Network）であってもよいし、インターネットであってもよいし、これらの組合せであってもよい。また、通信回線３は、公衆交換通信網（ＰＳＴＮ：Public Switched Telephone Networks）やサービス統合デジタル網（ＩＳＤＮ：Integrated Services Digital Network）等を含むものでもよい。

【0023】

なお、情報処理システム９における情報処理装置１、端末２、及び通信回線３の、それぞれの数は図１に示したものに限られない。例えば、情報処理装置１は、複数台の装置が機能を分担するクラスタシステムにより構成されてもよい。また、情報処理システム９は、複数の端末２を有してもよい。情報処理装置１は、複数の端末２のそれぞれを所持するユーザごとに、そのユーザが所有するオブジェクトを記憶し、ユーザ間でそれらを共有するための権限を設定してもよい。

【0024】

＜情報処理装置の構成＞
図２は、情報処理装置１の構成の例を示す図である。図２に示す情報処理装置１は、プロセッサ１１、メモリ１２、及びインタフェース１３を有する。これらの構成は、例えばバスで、互いに通信可能に接続されている。

【0025】

プロセッサ１１は、メモリ１２に記憶されているプログラムを読出して実行することにより情報処理装置１の各部を制御する。プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）である。

【0026】

インタフェース１３は、有線又は無線により通信回線３を介して、情報処理装置１を端末２に通信可能に接続する通信回路である。

【0027】

メモリ１２は、プロセッサ１１に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ１２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を有する。なお、メモリ１２は、ソリッドステートドライブ、ハードディスクドライブ等を有してもよい。また、メモリ１２は、ユーザＤＢ１２１、オブジェクトＤＢ１２２、及び属性ＤＢ１２３を記憶する。

【0028】

図３は、ユーザＤＢ１２１の例を示す図である。図３に示すユーザＤＢ１２１は、情報処理システム９のユーザの認証に用いられる認証情報と、そのユーザの属性を示す属性情報、を記憶するデータベースである。

【0029】

図３に示すユーザＤＢ１２１において、認証情報は、ユーザＩＤとパスワードとの組である。ユーザＩＤは、情報処理システム９のユーザをそれぞれ識別する識別情報である。パスワードは、対応するユーザＩＤで識別されるユーザのみが知っている文字列等である。図３に示すユーザＤＢ１２１において、属性情報は、グループＩＤと、職務情報と、を含む。グループＩＤは、対応するユーザＩＤで識別されるユーザが所属する部署やプロジェクト等のグループを識別する識別情報である。グループＩＤの欄には、複数のグループＩＤが記述されてもよい。職務情報は、対応するユーザＩＤで識別されるユーザの職務の範囲や権限等について記述した情報である。

【0030】

図４は、オブジェクトＤＢ１２２の例を示す図である。オブジェクトＤＢ１２２は、上述した仮想的な三次元空間に表示されるオブジェクトのそれぞれを記憶するデータベースである。図４に示すオブジェクトＤＢ１２２は、オブジェクトＩＤ、種別、名称、及びデータの各項目を、オブジェクトごとに記憶する。オブジェクトＩＤは、オブジェクトを識別する識別情報である。種別は、オブジェクトの種別であり、例えば、文書、写真、集計表等の文字列で表される。名称は、オブジェクトに付された名称であり、例えば、「Ａ社契約書」といった、ユーザがそのオブジェクトの内容を大まかに判断するための文字列で表される。データは、オブジェクトの内容そのものである。

【0031】

図５は、属性ＤＢ１２３の例を示す図である。属性ＤＢ１２３は、上述したオブジェクトの属性を記憶するデータベースである。図５に示す属性ＤＢ１２３は、オブジェクトＩＤ、所有者ＩＤ、権限情報、外観データ、位置情報、及び追従情報の各項目を、オブジェクトごとに記憶する。

【0032】

オブジェクトＩＤは、オブジェクトを識別する識別情報であり、図４のオブジェクトＤＢ１２２に含まれるオブジェクトＩＤと共通の情報である。所有者ＩＤは、オブジェクトの所有者であるユーザの識別情報である。権限情報は、オブジェクトの閲覧、変更、実行等の各種の処理を実行する権限について記述した情報である。権限情報は、例えば、所有者ＩＤで識別されるユーザの属性情報を用いて規定される。

【0033】

外観データは、仮想的な三次元空間において、オブジェクトが表示される形状や模様等を示すデータである。この外観データは、例えば、オブジェクトの種別に応じて予め決められている、いわゆるアイコン画像のデータであってもよい。また、この外観データは、オブジェクトの内容を縮小して表示する、いわゆるサムネイル画像のデータであってもよい。

【0034】

位置情報は、オブジェクトが上述した仮想的な三次元空間において、第１座標系に対応する位置に表示されるときに、その位置を第１座標系で表した情報である。ここで、第１座標系とは、ユーザが所在する実空間における慣性系座標に対応する座標である。第１座標系は、ユーザの環境に依存した座標であるため、例えば、図１に示すユーザＰが頭に装着する端末２の姿勢や位置等に影響されない。つまり、第１座標系は、ユーザの頭の動きに依存しない座標系である。以下、第１座標系は、図において、互いに原点Ｏ１で直交するＸ軸、Ｙ軸、Ｚ軸を有するＸＹＺ右手系座標空間として表現される。

【0035】

追従情報は、オブジェクトの表示される位置が、第２座標系に追従するか否かを示す情報である。ここで、第２座標系とは、ユーザが頭に装着した端末２の位置、及び姿勢に準じた座標系である。つまり、第２座標系は、ユーザの頭の動きに依存する座標系である。以下、第２座標系は、図において、互いに原点Ｏ２で直交するｘ軸、ｙ軸、ｚ軸を有するｘｙｚ右手系座標空間として表現される。

【0036】

第２座標系は、例えば、図１に示す端末２を装着したユーザＰの、いわゆる頭部中心座標系である。この場合、第２座標系は、例えば、両目の眼球の中心を結ぶ線分の中点を原点Ｏ２とし、ユーザの顔が向いている正面の方向を、ｙ軸方向とする。なお、この第２座標系は、例えば、ｘ軸をユーザＰの頭を中心とした水平方向に、ｚ軸を垂直方向に、それぞれ定める。

【0037】

属性ＤＢ１２３において、追従情報の欄に「無し」と記載されたオブジェクトは、第２座標系に追従せず、第１座標系に追従する。この第１座標系に追従するオブジェクトは、以下の説明において「第１オブジェクト」と記載される。第１オブジェクトは、端末２によって、第１座標系に対応する位置に表示される。

【0038】

また、この追従情報の欄に「有り」と記載されたオブジェクトは、第１座標系に追従せず、第２座標系に追従する。この第２座標系に追従するオブジェクトは、以下の説明において「第２オブジェクト」と記載される。第２オブジェクトは、端末２によって、第２座標系に対応する位置に表示される。

【0039】

情報処理システム９において、情報処理装置１は、例えば、属性ＤＢ１２３のうち、いずれかのオブジェクトの属性を示す追従情報の欄を「無し」から「有り」に書き換えることにより、対応する第１オブジェクトを第２オブジェクトに変更する。また、この追従情報の欄を「有り」から「無し」に書き換えることにより、情報処理装置１は、対応する第２オブジェクトを第１オブジェクトに変更する。

【0040】

なお、追従情報の欄に「有り」と記載された第２オブジェクトは、第２座標系に対応する位置に表示されるため、属性ＤＢ１２３の、第１座標系における位置を示す「位置情報」を参照する必要がない。情報処理装置１は、第２オブジェクトに対応する、属性ＤＢ１２３の位置情報の欄を削除し、または、未定義を意味する「－」を記入してもよい。

【0041】

＜端末の構成＞
図６は、端末２の構成の例を示す図である。図６に示す端末２は、プロセッサ２１、メモリ２２、インタフェース２３、操作部２４、表示部２５、及び計測部２６を有する。これらの構成は、例えばバスで、互いに通信可能に接続されている。

【0042】

プロセッサ２１は、メモリ２２に記憶されているプログラムを読出して実行することにより端末２の各部を制御する。プロセッサ２１は、例えばＣＰＵである。

【0043】

インタフェース２３は、有線又は無線により通信回線３を介して、端末２と情報処理装置１とを通信可能に接続する通信回路である。

【0044】

操作部２４は、各種の指示をするための操作ボタンを備えており、操作を受付けてその操作内容に応じた信号をプロセッサ２１に送る。また、操作部２４は、視線センサ２４１、操作子センサ２４２、及びマイクロホン２４３を有する。

【0045】

視線センサ２４１は、端末２を装着したユーザの視線を検知するセンサである。視線センサ２４１は、いわゆるアイトラッカーであり、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子を有し、端末２を装着したユーザの眼球を撮像して、ユーザの視線が指す方向を検知・計測する。視線センサ２４１は、眼球に接触するセンサを有してもよい。

【0046】

操作子センサ２４２は、端末２を装着したユーザの手、指等を操作子として検知するセンサである。操作子センサ２４２は、例えば、撮像素子によりユーザの手や指先等を撮像して、得られた画像を解析することによりその位置を計測する。なお、操作子センサ２４２は、ユーザの手や指等に装着するセンサを有してもよい。また、操作部２４は、ユーザが用いる操作子として、ユーザが所持する指示棒、コントローラ等のデバイスを有してもよい。この場合、操作子センサ２４２は、例えばこのデバイスに設けられ、このデバイスの位置や姿勢を検知すればよい。

【0047】

マイクロホン２４３は、端末２を装着したユーザの声を収集する収音機器である。マイクロホン２４３が収集したユーザの声は、プロセッサ２１により音声認識され、端末２に対する操作として解釈される。なお、端末２は音声認識による操作を行わなくてもよく、この場合、マイクロホン２４３を有しなくてもよい。

【0048】

計測部２６は、端末２の第１座標系における位置及び姿勢を計測するデバイスであり、例えば、加速度センサ、角速度センサ等を有する。

【0049】

表示部２５は、端末２を頭に装着したユーザの視野を覆うように配置された液晶ディスプレイ等の表示画面を有する。表示部２５は、プロセッサ２１の制御の下、この表示画面に画像を表示する。なお、表示部２５は、ユーザの網膜に直接、レーザ光を投影して画像を表示する、いわゆる網膜投影ディスプレイを有してもよい。

【0050】

メモリ２２は、プロセッサ２１に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ２２は、ＲＡＭやＲＯＭを有する。なお、メモリ２２は、ソリッドステートドライブ、ハードディスクドライブ等を有してもよい。

【0051】

また、メモリ２２は、位置情報２２１、視線履歴２２２、追従ＤＢ２２３、指示ＤＢ２２４、及び設定ＤＢ２２５を記憶する。

【0052】

位置情報２２１は、計測部２６が計測した端末２の位置及び姿勢を記憶する。図７は、位置情報の例を示す図である。図７に示す位置情報２２１は、Ｘ０、Ｙ０、Ｚ０の３つの数値で構成されるオフセットの欄と、θｘ、θｙ、θｚの３つの数値で構成される回転角の欄と、を有する。

【0053】

図８は、位置情報２２１に記憶されるオフセット、及び回転角を説明するための図である。上述したオフセットは、端末２の基準となる、第２座標系の原点の位置を、第１座標系で表現した数値の組である。また、上述した回転角は、第１座標系におけるＸ軸、Ｙ軸、Ｚ軸に対する、第２座標系のｘ軸、ｙ軸、ｚ軸のそれぞれの傾きを表現した数値の組である。端末２の第１座標系における位置及び姿勢は、これらのオフセット、及び回転角により、特定される。

【0054】

図６に示す視線履歴２２２は、上述した操作部２４の視線センサ２４１で計測される視線の履歴である。図９は、視線履歴２２２の例を示す図である。図９に示す視線履歴２２２は、時刻、ｘ、及びｚの各項目を対応付けて記憶する。視線センサ２４１は、例えば、０．１秒や１秒等、予め定められた周期でユーザの視線を計測し、計測したその結果をプロセッサ２１に供給する。プロセッサ２１は、視線センサ２４１がユーザの視線を計測した時刻とともに、その視線を示す情報を視線履歴２２２に記憶する。視線履歴２２２における時刻の欄は、視線センサ２４１がユーザの視線を計測した時刻を記憶する欄である。また、視線履歴２２２におけるｘ及びｚの欄は、ユーザの視野を示すｘｚ平面上の座標である。

【0055】

図１０は、第２座標系とユーザの視野Ｖとの関係を説明するための図である。ユーザの頭の動きに依存する第２座標系は、図１０に示す通り、原点Ｏ２で交差するｘ軸、ｙ軸、ｚ軸で示されるｘｙｚ右手系座標で表現される。ここで＋ｙ方向は、ユーザの正面の方向であり、原点Ｏ２よりも＋ｙ方向に決められた距離だけ進んだ位置に存在する、ｘ軸及びｚ軸に平行な平面で、ユーザの視野Ｖが定められる。この平面である視野Ｖと、視線の方向が交差する点は、プロセッサ２１により、ユーザの注視する点として特定される。これにより、例えば、図１０に示す視野Ｖ上の点Ｖ１から点Ｖ２に視線が移動した場合、点Ｖ１及び点Ｖ２の、それぞれのｘ座標、ｚ座標は、それらが計測された時刻とともに視線履歴２２２に記憶される。

【0056】

図６に示す追従ＤＢ２２３は、第２オブジェクトの表示態様を示すパラメータを、第２オブジェクトごとに記憶するデータベースである。図１１は、追従ＤＢ２２３の例を示す図である。図１１に示す追従ＤＢ２２３は、オブジェクトＩＤ、倍率、位置、順序、及び表示属性の各項目を対応付けて記憶する。

【0057】

オブジェクトＩＤは、情報処理装置１の属性ＤＢ１２３において第２座標系への追従が「有り」と記憶されたオブジェクト、すなわち、第２オブジェクトの識別情報である。倍率は、対応する第２オブジェクトが上述した視野Ｖにおいて表示される大きさの、基準に対する倍率を示す情報である。位置は、第２オブジェクトの第２座標系における位置を示す情報である。順序は、追従ＤＢ２２３が記憶する第２オブジェクトが重ねて配置される場合の、それぞれのユーザから見た順序を示す情報である。表示属性は、例えば、対応する第２オブジェクトの周囲に配置する枠の色や各種の修飾等を示す情報である。

【0058】

図１２は、記憶されたオブジェクトの位置と描画位置との関係を説明するための図である。ここで描画位置とは、オブジェクトが端末２において表示部２５の表示画面に表示される位置である。

【0059】

第１オブジェクトの位置は、情報処理装置１の属性ＤＢ１２３に記憶された位置であり、第１座標系における座標として表される。また、第２オブジェクトの位置は、端末２の追従ＤＢ２２３に記憶された位置であり、第２座標系における座標として表される。

【0060】

図１２（ａ）に示す通り、端末２のプロセッサ２１は、第１オブジェクトの位置を位置情報２２１に基づいて第２座標系における位置に座標変換し、さらに、透視投影変換して、視野Ｖにおける描画位置に変換する。これにより、第１オブジェクトはユーザが認識する仮想空間において第１座標系に対応する位置に表示される。つまり、このプロセッサ２１は、ユーザが認識する仮想空間において、第１オブジェクトを、ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるプロセッサの例である。

【0061】

また、プロセッサ２１は、第２オブジェクトの位置を、透視投影変換して視野Ｖにおける描画位置に変換する。これにより、第２オブジェクトは仮想空間において第２座標系に対応する位置に表示される。つまり、このプロセッサ２１は、仮想空間において、第２オブジェクトを、ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるプロセッサの例である。

【0062】

第１オブジェクトを第２オブジェクトに変更する場合、プロセッサ２１は、第１オブジェクトの位置を、位置情報２２１に基づいて座標変換し、得られた第２座標系における位置を、変更後の第２オブジェクトの位置として追従ＤＢ２２３に記憶する。

【0063】

また、第２オブジェクトを第１オブジェクトに変更する場合、プロセッサ２１は、図１２（ｂ）に示す通り、第２オブジェクトの位置を、位置情報２２１に基づいて逆変換して、第１座標系における位置を算出し、この位置を情報処理装置１に送る。情報処理装置１のプロセッサ１１は、送られたこの位置の情報を、変更後の第１オブジェクトの位置の情報として、属性ＤＢ１２３に記憶する。

【0064】

図６に示す指示ＤＢ２２４は、端末２の操作部２４が受付けた操作のそれぞれに対して、満たしたか否かが判断される条件である操作条件と、その操作条件を満たしたときにその操作が示す指示の内容とを、対応付けて記憶するデータベースである。

【0065】

図１３は、指示ＤＢ２２４の例を示す図である。図１３に示す指示ＤＢ２２４において、操作条件の欄は、例えば、視線センサ２４１が計測した視線の動きが満たす条件、操作子センサ２４２が計測した操作子の軌跡が満たす条件、及び、マイクロホン２４３で収集した音声を音声認識した文字列が満たす条件等を記憶する。また、指示の欄は、例えば、対応する操作条件を満たした操作を受付けたときに、その操作によって特定されるオブジェクトを選択して端末２の動きに追従させる、追従を解除する、編集する等の指示の内容を記憶する。

【0066】

例えば、端末２を装着したユーザが、仮想空間内に表示された第１オブジェクトを３秒以上見ると、端末２の操作部２４は、視線センサ２４１によりこの視線を検知する。そして、プロセッサ２１は、検知された視線の情報と指示ＤＢ２２４とに基づいて、この視線による操作を、第１オブジェクトを第２オブジェクトに変更して、端末２の動きに追従させる操作であると判断する。また、ユーザがいずれかの第２オブジェクトから１分以上にわたって視線を外すと、追従が解除され、その第２オブジェクトは第１オブジェクトに戻る。

【0067】

図１４は、設定ＤＢ２２５の例を示す図である。設定ＤＢ２２５は、端末２の動作に関する設定を記憶するデータベースである。図１４に示す設定ＤＢ２２５において、項目の欄は、設定の対象である項目が記憶される。また、設定値の欄は、対応する項目に設定した値が記憶される。

【0068】

例えば、図１４に示す設定ＤＢ２２５は、項目「モード」を記憶する。この項目は、第１オブジェクトに対する編集の開始を契機として、その第１オブジェクトを第２オブジェクトに変更するか否かを示す「モード」を示す項目である。図１４に示す設定ＤＢ２２５の場合、項目「モード」に「手動」が設定されているため、編集の開始だけでは第１オブジェクトから第２オブジェクトへの変更は行われず、手動による操作で別途、変更の指示を出されたときに行われる。

【0069】

また、例えば項目「割込」は、処理の割込みを許可するか否かを示す項目である。ここで処理の割込みとは、実行中の処理（第１処理という）よりも優先される処理（第２処理という）を実行する指示があった場合に、第１処理を中断して第２処理を実行し、第２処理が終了次第、第１処理を再開することである。図１４に示す設定ＤＢ２２５の場合、項目「割込」に「可」が設定されているため、処理の割込みは許可される。

【0070】

＜端末の機能的構成＞
図１５は、端末２の機能的構成の例を示す図である。端末２のプロセッサ２１は、メモリ２２に記憶されたプログラムを実行することにより、第１取得部２１１、第２取得部２１２、第３取得部２１３、変換部２１４、解釈部２１５、表示制御部２１６、及び変更部２１７、として機能する。

【0071】

第１取得部２１１は、計測部２６が計測した端末２の位置及び姿勢の情報を取得する。そして第１取得部２１１は、それらの情報に基づいて位置情報２２１にオフセット及び回転角を書き込む。

【0072】

第２取得部２１２は、操作部２４の視線センサ２４１が検知した視線の情報を取得し、それらの情報を時刻とともに視線履歴２２２に記憶する。

【0073】

第３取得部２１３は、インタフェース２３、及び図１に示す通信回線３を介して情報処理装置１から第１オブジェクトの位置及びデータを取得する。

【0074】

変換部２１４は、第３取得部２１３が取得した第１オブジェクトの位置を位置情報２２１に基づいて描画位置に変換する。また、変換部２１４は、追従ＤＢ２２３から第２オブジェクトの位置を読出し、この位置を透視投影変換して描画位置に変換する。

【0075】

解釈部２１５は、第２取得部２１２が取得したユーザの視線の履歴をメモリ２２の視線履歴２２２から読出す。また、解釈部２１５は、操作部２４の操作子センサ２４２、及びマイクロホン２４３からユーザの操作子、及び発話による操作の情報を取得する。そして、解釈部２１５は、メモリ２２の設定ＤＢ２２５及び指示ＤＢ２２４を読出して、これらに基づいて、視線の履歴、操作子の動作、及び発話による操作を解釈する。

【0076】

表示制御部２１６は、変換部２１４によって描画位置に変換された第１オブジェクト及び第２オブジェクトを、解釈部２１５によって解釈された操作の内容に応じて表示部２５に表示させる。

【0077】

変更部２１７は、解釈部２１５によって解釈された操作の内容に応じてオブジェクトの変更の指示を、インタフェース２３経由で情報処理装置１へ伝える。この指示を受取った情報処理装置１は、メモリ１２の属性ＤＢ１２３における追従情報の欄を、その指示に沿って書き換える。これにより、第１オブジェクトから第２オブジェクトへ、及び、第２オブジェクトから第１オブジェクトへの変更が行われる。

【0078】

＜端末の動作＞
図１６は、端末の動作の流れの例を示すフロー図である。端末２の操作部２４の図示しない電源ボタンの押下により端末２が起動すると、この端末２のプロセッサ２１は、端末２を装着しているユーザのユーザＩＤ及びパスワードの入力を受付ける。この入力は、例えば、操作子センサ２４２が検知する操作子の動きにより受付けられてもよい。そして、プロセッサ２１は、入力されたユーザＩＤ及びパスワードの組を、インタフェース２３、通信回線３を介して情報処理装置１に送り、認証を要求する（ステップＳ１０１）。情報処理装置１は、メモリ１２のユーザＤＢ１２１を参照して要求された認証を行い、その結果を端末２に返信する。

【0079】

なお、端末２は、操作子の動きによってパスワード等の認証情報の入力を受付けるのではなく、他の方法でユーザの認証情報の入力を受付けてもよい。例えば、端末２は、ユーザの眼球を撮像して得られた画像からユーザの虹彩情報を抽出し、このユーザの認証情報として情報処理装置１に送ってもよい。この場合、情報処理装置１は、ユーザＤＢ１２１に虹彩情報を記憶していればよい。

【0080】

プロセッサ２１は、情報処理装置１から認証の結果を受信し、認証が成功したか否かを判断する（ステップＳ１０２）。認証が成功しなかった、と判断する場合（ステップＳ１０２；ＮＯ）、プロセッサ２１は、処理をステップＳ１０１に戻して、認証の要求を繰り返す。

【0081】

一方、認証が成功した、と判断する場合（ステップＳ１０２；ＹＥＳ）、プロセッサ２１は、情報処理装置１から、端末２のユーザに閲覧が許可されたオブジェクトのデータを取得する（ステップＳ１０３）。

【0082】

プロセッサ２１は、計測部２６により端末２の位置を計測する（ステップＳ１０４）。また、プロセッサ２１は、ユーザの視線を視線センサ２４１により、ユーザの手・指等の操作子の動きを操作子センサ２４２により、それぞれ検知する（ステップＳ１０５）。また、プロセッサ２１は、マイクロホン２４３によりユーザの発話を収集する（ステップＳ１０６）。

【0083】

そして、プロセッサ２１は、視線、操作子、及び発話による操作のそれぞれを指示ＤＢ２２４に基づいて解釈し（ステップＳ１０７）、第１オブジェクトを第２オブジェクトに変更する指示があるか否かを判断する（ステップＳ１０８）。

【0084】

この第１オブジェクトを第２オブジェクトに変更することは、頭の動きに依存しない第１座標系に固定された位置に表示される第１オブジェクトを、頭の動きに依存する第２座標系に対応する位置に表示される第２オブジェクトに変更することである。つまり、この変更は、第１オブジェクトを頭に追従した位置に表示される第２オブジェクトに変更することであるため、以下、「追従変更」ともいう。

【0085】

上述した追従変更の指示がある、と判断する場合（ステップＳ１０８；ＹＥＳ）、プロセッサ２１は、上述した操作により特定される第１オブジェクトを第２オブジェクトに変更する（ステップＳ１０９）。一方、追従変更の指示がない、と判断する場合（ステップＳ１０８；ＮＯ）、プロセッサ２１は、ステップＳ１０９を行わずに処理を次のステップＳ１１０に進める。つまり、このプロセッサ２１は、第１オブジェクトに対するユーザの操作に応じて、この第１オブジェクトを第２オブジェクトに変更するプロセッサの例である。

【0086】

図１７は、ユーザが見る仮想空間の例を示す図である。図１７に示す仮想空間は、端末２を頭に装着したユーザが表示部２５により視認する仮想的な三次元空間である。図１７に示す通り、この仮想空間では仮想的な作業机の上にオブジェクトＪ２１、Ｊ２２、Ｊ２３が載っているように表示されている。また、図１７に示す右側の壁にはオブジェクトＪ２４が架けられている。これらのオブジェクトは、情報処理装置１のメモリ１２に記憶された属性ＤＢ１２３の外観データを用いてそれぞれ仮想空間に表示される。

【0087】

また、図１７に示す視点Ｐ１は、上述した仮想空間においてユーザの視線が注がれる点である。操作点Ｐ２は、図１７の仮想空間において、ユーザの手・指等の操作子が存在する場所に相当する点である。

【0088】

例えば、ユーザが、オブジェクトＪ２１を３秒以上にわたって見ると、プロセッサ２１はこれを、第１オブジェクトであるオブジェクトＪ２１を第２オブジェクトに追従変更する指示と解釈する。そして、設定ＤＢ２２５に例えば、解釈した操作をダイヤログによって確認する旨が設定されている場合、プロセッサ２１は、表示部２５により追従変更を確認するダイヤログを表示させる。

【0089】

図１８は、追従変更を確認するダイヤログの例を示す図である。このダイヤログに含まれるダイヤログウインドウＷ１には、「このオブジェクトを顔の向きに追従させます」というメッセージＭ１が表示される。また、このメッセージＭ１の下には、「ＯＫ」という文字列が書かれたボタンＢ１１と、「キャンセル」という文字列が書かれたボタンＢ１２とが表示される。

【0090】

例えば、ユーザが図１８に示すボタンＢ１１に操作点Ｐ２が重なるように手・指等の操作子を移動させ、タップ動作等の予め決められたジェスチャーをすると、ユーザが３秒以上にわたって見たオブジェクトＪ２１は、第１オブジェクトから第２オブジェクトに変更される。すなわち、この場合、プロセッサ２１は、情報処理装置１にこの追従変更の指示を出す。この指示を受信した情報処理装置１のプロセッサ１１は、属性ＤＢ１２３において、オブジェクトＪ２１の追従情報の欄を「有り」に書き換える。また、プロセッサ２１は、オブジェクトＪ２１のデータを追従ＤＢ２２３に追加する。

【0091】

なお、上述した例で、追従変更を指示する操作はユーザの視線を用いて行われたものであり、「オブジェクトＪ２１を３秒以上にわたって見る」というものであった。これは、ユーザの視線の方向と、オブジェクトＪ２１の表示される位置とが、「３秒以上にわたって重なる」という決められた関係（第１関係という）にある、という条件を満たす操作である。つまり、上述した例における追従変更を指示する操作は、ユーザの視線を用いた操作の例である。そして、この例におけるプロセッサ２１は、視線の方向と、第１オブジェクトの表示される位置とが、決められた第１関係にある場合に、この第１オブジェクトを第２オブジェクトに変更するプロセッサの例である。

【0092】

図１９は、仮想空間において編集されるオブジェクトの例を示す図である。図１８に示す仮想空間に対してユーザがオブジェクトＪ２１を視線による操作で選択し、編集を開始すると、図１９に示す通り、端末２のプロセッサ２１は、オブジェクトＪ２１を編集可能な態様で表示する。

【0093】

ここでオブジェクトＪ２１は、「Ａ社契約書」という名称の文書であり、図１９に示す通り、その文面がユーザの視野に入るように表示される。このとき、オブジェクトＪ２１は、第１オブジェクトから第２オブジェクトに変更されているので、ユーザの頭の動きに依存する第２座標系に対応する位置に表示される。したがって、ユーザが頭を動かすと、頭に装着されている端末２もそれに伴って動き、第２座標系が変化するから、第２座標系の原点Ｏ２と第２オブジェクトとの相対的な位置の関係は維持される。つまり、第２オブジェクトに変更されたオブジェクトＪ２１は、ユーザの頭の動きに追従するため、ユーザはオブジェクトＪ２１を視野Ｖから見失しなうことがない。

【0094】

図１６に示す通り、プロセッサ２１は、解釈した操作に基づいて、上述した追従変更を終了する指示があるか否かを判断する（ステップＳ１１０）。追従変更を終了する指示は、第１オブジェクトから第２オブジェクトに変更する「追従変更」を指示したオブジェクトを、さらに第１オブジェクトに再度、変更する指示である。

【0095】

追従変更を終了する指示がある、と判断する場合（ステップＳ１１０；ＹＥＳ）、プロセッサ２１は、上述した操作により特定される第２オブジェクトを第１オブジェクトに変更する（ステップＳ１１１）。一方、追従変更を終了する指示がない、と判断する場合（ステップＳ１１０；ＮＯ）、プロセッサ２１は、ステップＳ１１１を行わずに処理を次のステップＳ１１２に進める。

【0096】

例えば、ユーザが、編集しているオブジェクトＪ２１から１分以上にわたって視線を外すと、プロセッサ２１はこれを、第２オブジェクトに変更済みであるオブジェクトＪ２１を第１オブジェクトに戻す指示（つまり、追従変更を終了する指示）と解釈する。そして、設定ＤＢ２２５に例えば、解釈した操作をダイヤログによって確認する旨が設定されている場合、プロセッサ２１は、表示部２５により追従変更の終了を確認するダイヤログを表示させる。

【0097】

図２０は、追従変更の終了を確認するダイヤログの例を示す図である。このダイヤログに含まれるダイヤログウインドウＷ２には、「このオブジェクトを顔の向きに追従させることを終了します」というメッセージＭ２が表示される。また、このメッセージＭ２の下には、「ＯＫ」という文字列が書かれたボタンＢ２１と、「キャンセル」という文字列が書かれたボタンＢ２２とが表示される。

【0098】

例えば、ユーザが図２０に示すボタンＢ２１に操作点Ｐ２が重なるように手・指等の操作子を移動させ、タップ動作等の予め決められたジェスチャーをすると、ユーザにより編集され、１分以上にわたって視線が外れていたオブジェクトＪ２１は、第２オブジェクトから第１オブジェクトに変更される。すなわち、この場合、プロセッサ２１は、情報処理装置１にこの追従変更の終了の指示を出す。この指示を受信した情報処理装置１のプロセッサ１１は、属性ＤＢ１２３において、オブジェクトＪ２１の追従情報の欄を「無し」に書き換える。また、プロセッサ２１は、オブジェクトＪ２１のデータを追従ＤＢ２２３から削除する。

【0099】

なお、上述した例において、編集しているオブジェクトＪ２１からユーザが１分以上にわたって視線を外すという条件（第１条件という）を満たしたとき、オブジェクトＪ２１は、第２オブジェクトから第１オブジェクトに変更された。つまり、上述した例におけるこのプロセッサ２１は、決められた第１条件を満たしたとき、第２オブジェクトを第１オブジェクトに変更するプロセッサの例である。

【0100】

プロセッサ２１は、追従変更の指示、及び追従変更の終了の指示の有無を確認し、これらに応じてオブジェクトを変更した後、これらのオブジェクトを仮想空間に表示する（ステップＳ１１２）。プロセッサ２１は、終了の条件が満たされているか否かを判断し（ステップＳ１１３）、満たされていない、と判断する場合（ステップＳ１１３；ＮＯ）、処理をステップＳ１０４に戻す。一方、終了の条件が満たされている、と判断する場合（ステップＳ１１３；ＹＥＳ）、プロセッサ２１は、処理を終了する。

【0101】

上述した動作により、情報処理システム９の端末２は、ユーザの操作に応じて、ユーザの頭の動きに依存しない第１座標系に対応する位置に表示される第１オブジェクトを、その頭の動きに依存する第２座標系に対応する位置に表示される第２オブジェクトに変更する。これにより、ユーザは、必要とする第１オブジェクトを第２オブジェクトに変更させる操作をすることにより、変更された第２オブジェクトが自身の頭の動きに追従して表示されるので、これを見失うことがない。また、ユーザは、必要としないオブジェクトを第１オブジェクトのままにしておくことで、必要とする第２オブジェクトと、それら第１オブジェクトを区別して認識する。

【0102】

＜変形例＞
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例は、互いに組合されてもよい。

【0103】

＜１＞
上述した実施形態において、端末２は、ＣＰＵで構成されるプロセッサ２１を有していたが、端末２を制御する制御手段は他の構成であってもよい。例えば、端末２は、ＣＰＵ以外にも各種のプロセッサ等を有してもよい。

【0104】

ここでプロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば上述したＣＰＵ等）や、専用のプロセッサ（例えばＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

【0105】

＜２＞
上述した実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。例えば、情報処理システム９は、１つの情報処理装置１を有していたが、通信可能に接続された複数の情報処理装置１を有し、これらにより機能を分担するクラスタシステムを実現してもよい。

【0106】

また、プロセッサの各動作の順序は、上述した実施形態において記載した順序のみに限定されるものではなく、適宜変更されてもよい。

【0107】

＜３＞
上述した実施形態において、端末２は、情報処理装置１の機能を有してもよい。この場合、端末２は、情報処理装置１のメモリ１２に記憶されたデータベース等を記憶してもよい。この場合、端末２は他の端末２と通信回線３を経由して接続されなくてもよく、端末２がメモリ２２により記憶するオブジェクトは、他の端末２のユーザと共有されなくてもよい。

【0108】

＜４＞
上述した実施形態において、端末２のプロセッサ２１は、第１オブジェクトを第２オブジェクトに追従変更させる指示、及び第２オブジェクトを第１オブジェクトに戻して追従変更を終了する指示を受付けていたが、第２オブジェクトの表示の態様を変更する指示を受付けてもよい。

【0109】

図２１は、第２オブジェクトの表示に態様が変更される様子を示す図である。例えば、ユーザは、追従変更を指示し、編集を開始したオブジェクトＪ２１に対して、その表示の倍率を変更する指示をする。この指示は、例えば、ユーザがオブジェクトＪ２１の右下隅に操作点Ｐ２を移動させて決められたジェスチャーを行い、さらに、その操作点Ｐ２を移動させることにより行われる。プロセッサ２１は、この操作を解釈して、移動後の操作点Ｐ２にオブジェクトＪ２１の右下隅が重なるように、オブジェクトＪ２１の表示の倍率を変更すればよい。

【0110】

また、ユーザは、複数の操作点Ｐ２を操作できる場合、それらの操作点を互いに近づけたり、遠ざけたりする、いわゆるピンチイン、ピンチアウト等の操作を行って、第２オブジェクトの表示の倍率を変更する指示を出してもよい。また、端末２は、第２オブジェクトの表示の倍率の変更以外にも、第２オブジェクトの表示の態様を変更する操作を受付けてもよい。この場合、端末２は、例えば、第２オブジェクトの色や枠等の修飾を変更する指示を受付ける。

【0111】

また、第２オブジェクトの表示の態様を変更する操作は、視線を用いて行われてもよい。例えば、ユーザが決められた時間以上にわたって第２オブジェクトの四隅のいずれかに視線を注ぎ、その後に、その視線を移動させることで、第２オブジェクトの表示の倍率が変更されてもよい。この場合、ユーザが行う操作は、第２オブジェクトに対するユーザの視線の方向と、第２オブジェクトの表示される位置とが決められた関係（第２関係という）にある、という条件を満たす操作であるとよい。つまり、このプロセッサ２１は、第２オブジェクトに対するユーザの視線の方向と、第２オブジェクトの表示される位置とが、決められた第２関係にある場合に、この第２オブジェクトの表示の態様を変更するプロセッサの例である。

【0112】

なお、表示の態様が変更された後も、上述した第２オブジェクトは、第２オブジェクトのままである。そのため、図２１に示す倍率が変更されたオブジェクトＪ２１は、ユーザが頭を動かしても、ユーザの視野に収まり続ける。

【0113】

図２２は、ユーザが頭の向きを変えたときに見える仮想空間を示す図である。図２１に示す仮想空間を見ているときに、ユーザが自身の頭の向きを左にずらすと、オブジェクトＪ２２、Ｊ２３、Ｊ２４等、第１オブジェクトは、ユーザの頭の動きに依存しない第１座標系に対応する位置に表示されているため、ユーザの視野の中心である原点Ｏ２とこれらとの相対的位置は変化する。そのため、これらのいずれかは、ユーザの視野の外に移動し、ユーザに視認されなくなることがある。

【0114】

一方、第２オブジェクトに変更されたオブジェクトＪ２１は、ユーザの頭の動きに依存する第２座標系に対応する位置に表示されている。そのため、ユーザの視野の中心である原点Ｏ２とオブジェクトＪ２１との相対的位置は変化せず、ユーザは、オブジェクトＪ２１を見失うことがない。

【0115】

＜５＞
上述した実施形態において、ユーザにより第１オブジェクトから第２オブジェクトに変更されたのは、オブジェクトＪ２１のみであったが、端末２は、複数のオブジェクトを追従変更してもよい。また、複数のオブジェクトを追従変更させる場合、端末２は、第２オブジェクトの数に応じて、それらを表示する大きさを変化させてもよい。

【0116】

図２３は、数に応じて大きさが決まる第２オブジェクトの例を示す図である。ユーザがオブジェクトＪ２１に加えて、オブジェクトＪ２２も追従変更させる指示を出すと、端末２のプロセッサ２１は、これらの高さＨ２を、視野の高さＨ１と、これらの数（すなわち、「２」）とに基づいて決定する。

【0117】

すなわち、プロセッサ２１は、視野の高さＨ１を第１オブジェクトから第２オブジェクトへ変更されたオブジェクトＪ２１、及びオブジェクトＪ２２の数である２で割ることで、これらオブジェクトのそれぞれの高さＨ２を決めればよい。この場合、プロセッサ２１は、第２オブジェクトの大きさを、第２オブジェクトの数に応じて変化させて表示させるプロセッサの例である。これにより、第２オブジェクトが縦方向に並べられても、それぞれの高さＨ２の合計は、視野の高さＨ１を超えないため、複数の第２オブジェクトが互いに重なり合うことがない。

【0118】

なお、上述した例では、決められた高さＨ１を第２オブジェクトの数で割った値を、それぞれの第２オブジェクトの高さＨ２と決めているから、第２オブジェクトの数が多くなるほど、第２オブジェクトは小さく表示される。つまり、この場合、プロセッサ２１は、第２オブジェクトの数が多いほど、第２オブジェクトのそれぞれを小さく表示させるプロセッサの例である。

【0119】

また、上述した例でプロセッサ２１は、第２オブジェクトの数が多いほど、第２オブジェクトのそれぞれを小さく表示させていたが、第２オブジェクトの内容を、ユーザが把握しやすくするために、逆に、第２オブジェクトの数が多いほど、第２オブジェクトのそれぞれを大きく表示させるようにしてもよい。

【0120】

＜６＞
上述した変形例において、端末２のプロセッサ２１は、複数の第２オブジェクトを、互いに重ならないように並べていたが、他の態様で並べてもよい。例えば、プロセッサ２１は、複数の第２オブジェクトを、決められた順序で重ねて並べられてもよい。また、プロセッサ２１は、第２オブジェクトを並べて表示する態様を、第２オブジェクトの数に応じて変化させてもよい。

【0121】

図２４は、数が閾値以上となったことで表示の規則が変化した第２オブジェクトの例を示す図である。ユーザがオブジェクトＪ２１、Ｊ２２に加えて、オブジェクトＪ２３も追従変更させる指示を出すと、第２オブジェクトの数は３になる。予め設定された閾値が３である場合、第２オブジェクトの数は閾値以上となっているため、端末２のプロセッサ２１は、図２３に示す、互いに重ならないように第２オブジェクトを並べる規則ではなく、決められた順序で第２オブジェクトを重ねる規則を採用して、これらを表示する。この場合、このプロセッサ２１は、第２オブジェクトの数が決められた閾値以上である場合に、この数が閾値未満であるときと異なる規則に従って、第２オブジェクトを表示させるプロセッサの例である。

【0122】

また、このプロセッサ２１は、第２オブジェクトの数が閾値未満である場合に第２オブジェクトを互いに重ならないように配置し、第２オブジェクトの数が閾値以上である場合に第２オブジェクトを重ねて配置して、表示するプロセッサの例である。

【0123】

なお、第２オブジェクトの数が閾値以上である場合は、第２オブジェクトを重ねて配置する例を挙げたが、それに限る必要はない。例えば、プロセッサ２１は、第２オブジェクトの数が閾値以上である場合に、第２オブジェクトの大きさを小さくして並べて表示し、第２オブジェクトの数が閾値未満である場合に、第２オブジェクトの大きさを変化させないで並べて表示してもよい。

【0124】

＜７＞
上述した実施形態において、ユーザは、第１オブジェクトを３秒以上にわたって見ることにより、その第１オブジェクトを第２オブジェクトに変更する追従変更の指示を出していたが、他の操作によりこの指示を出してもよい。例えば、ユーザは、第１オブジェクトを編集する操作、つまり、その内容を変更する操作をすることで、第１オブジェクトを第２オブジェクトに変更する指示を出してもよい。この場合、上述した追従変更を指示する操作は、第１オブジェクトの内容を変更する操作である。

【0125】

＜８＞
端末２のプロセッサ２１は、実行中の第１処理よりも優先される第２処理を実行する旨の指示があった場合に、第１処理を中断して第２処理を実行する割込み処理を行ってもよい。この場合、プロセッサ２１は、第２処理を実行している間、第２オブジェクトの表示を保留してもよい。

【0126】

図２５は、割込みがあったときに表示されるダイヤログの例を示す図である。例えば、オブジェクトを編集する第１処理よりも、アラームの告知やメール等の通知が優先される第２処理として定められている場合、端末２のプロセッサ２１は、メール等の受信を契機として割込みを行う。

【0127】

このときプロセッサ２１は、図２５に示すダイヤログを表示部２５に表示させる。このダイヤログに含まれるダイヤログウインドウＷ３には、「このオブジェクトを顔の向きに追従させることを保留します」というメッセージＭ３が表示される。また、このメッセージＭ３の下には、「ＯＫ」という文字列が書かれたボタンＢ３１と、「キャンセル」という文字列が書かれたボタンＢ３２とが表示される。

【0128】

例えば、ユーザが図２５に示すボタンＢ３１に操作点Ｐ２が重なるように手・指等の操作子を移動させ、タップ動作等の予め決められたジェスチャーをすると、ユーザによって追従変更されたオブジェクトＪ２１は、表示が保留される。つまり、このオブジェクトＪ２１は、第２座標系に対応する位置に表示されなくなるため、ユーザの視野に収まらない位置に移動することも生じる。

【0129】

一方、メール等の通知等、第２処理が完了すると、端末２のプロセッサ２１は、割込みが終了したことに伴って、第２オブジェクトの表示を再開する旨をユーザに伝えるためダイヤログを表示部２５に表示させる。

【0130】

図２６は、割込みが終了したときに表示されるダイヤログの例を示す図である。このダイヤログに含まれるダイヤログウインドウＷ４には、「このオブジェクトを顔の向きに追従させることを再開します」というメッセージＭ４が表示される。また、このメッセージＭ４の下には、「ＯＫ」という文字列が書かれたボタンＢ４１と、「キャンセル」という文字列が書かれたボタンＢ４２とが表示される。

【0131】

例えば、ユーザが図２６に示すボタンＢ４１に操作点Ｐ２が重なるように手・指等の操作子を移動させ、タップ動作等の予め決められたジェスチャーをすると、ユーザによって追従変更されたオブジェクトＪ２１は、表示が再開される。つまり、このオブジェクトＪ２１は、第２座標系に対応する位置に表示されるため、ユーザの視野に収まり、ユーザが見失うことがなくなる。

【0132】

この場合、このプロセッサ２１は、実行中の第１処理よりも優先される第２処理を実行する指示があった場合に、第２オブジェクトの表示を保留し、第２処理が完了した場合に、保留した第２オブジェクトの表示を再開するプロセッサの例である。

【0133】

なお、端末２が第２オブジェクトの表示を保留するのは、割込み処理が行われるときに限らない。例えば、端末２は、上述した仮想空間に保留ボタンを設けてもよい。この場合、端末２は、ユーザがこの保留ボタンに操作点が重なるように手・指等の操作子を移動させた場合に、第２オブジェクトの表示を保留してもよい。したがって予め決められた条件（第２条件という）を満たしたとき、プロセッサ２１は、第２オブジェクトの表示を保留すればよい。

【0134】

また、端末２が第２オブジェクトの表示を再開するのは、割込み処理が完了するときに限らない。例えば、端末２は、上述した仮想空間に再開ボタンを設けてもよい。この場合、端末２は、ユーザがこの再開ボタンに操作点が重なるように手・指等の操作子を移動させた場合に、第２オブジェクトの表示を再開してもよい。したがって、予め決められた条件（第３条件という）を満たしたとき、プロセッサ２１は、第２オブジェクトの表示を再開すればよい。

【0135】

つまり、上述したプロセッサ２１は、決められた第２条件を満たしたとき、仮想空間における第２座標系に対応する位置への、第２オブジェクトの表示を保留し、決められた第３条件を満たしたとき、保留した第２オブジェクトの表示を再開するプロセッサの例である。

【0136】

＜９＞
上述した実施形態において、情報処理装置１のプロセッサ１１によって実行されるプログラムは、プロセッサを有するコンピュータに、ユーザが認識する仮想空間において、第１オブジェクトを、ユーザの頭の動きに依存しない第１座標系に対応する位置に表示させるステップと、仮想空間において、第２オブジェクトを、ユーザの頭の動きに依存する第２座標系に対応する位置に表示させるステップと、第１オブジェクトに対するユーザの操作に応じて、第１オブジェクトを第２オブジェクトに変更するステップと、を実行させるプログラムの例である。

【0137】

このプログラムは、磁気テープ及び磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムは、インターネット等の通信回線経由でダウンロードされてもよい。

【符号の説明】

【0138】

１…情報処理装置、１１…プロセッサ、１２…メモリ、１２１…ユーザＤＢ、１２２…オブジェクトＤＢ、１２３…属性ＤＢ、１３…インタフェース、２…端末、２１…プロセッサ、２１１…第１取得部、２１２…第２取得部、２１３…第３取得部、２１４…変換部、２１５…解釈部、２１６…表示制御部、２１７…変更部、２２…メモリ、２２１…位置情報、２２２…視線履歴、２２３…追従ＤＢ、２２４…指示ＤＢ、２２５…設定ＤＢ、２３…インタフェース、２４…操作部、２４１…視線センサ、２４２…操作子センサ、２４３…マイクロホン、２５…表示部、２６…計測部、３…通信回線、９…情報処理システム、Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２、Ｂ３１、Ｂ３２、Ｂ４１、Ｂ４２…ボタン、Ｊ２１、Ｊ２２、Ｊ２３、Ｊ２４…オブジェクト、Ｍ１、Ｍ２、Ｍ３、Ｍ４…メッセージ、Ｏ１、Ｏ２…原点、Ｐ１…視点、Ｐ２…操作点。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】