知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024042795
(43)【公開日】2024-03-29
(54)【発明の名称】情報処理システム及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240322BHJP
【ＦＩ】
G06T19/00 A
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022147641
(22)【出願日】2022-09-16
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100118108
【弁理士】
【氏名又は名称】久保 洋之
(72)【発明者】
【氏名】森川 尚
(72)【発明者】
【氏名】飯田 靖
(72)【発明者】
【氏名】鈴木 俊彦
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050BA12
5B050BA13
5B050CA07
5B050DA01
5B050DA10
5B050EA07
5B050EA12
5B050EA18
5B050EA19
5B050EA27
5B050FA02
5B050FA09
5B050GA08
(57)【要約】
【課題】仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能にする。
【解決手段】１又は複数のプロセッサを備え、１又は複数のプロセッサは、ユーザの親指の画像を含む撮像画像を取得し、撮像画像が親指の爪の画像又は親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトの位置を変更する特定モードに切り替える、情報処理システム。
【選択図】図６
【解決手段】１又は複数のプロセッサを備え、１又は複数のプロセッサは、ユーザの親指の画像を含む撮像画像を取得し、撮像画像が親指の爪の画像又は親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトの位置を変更する特定モードに切り替える、情報処理システム。
【選択図】図６
【特許請求の範囲】
【請求項1】
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
ユーザの親指の画像を含む撮像画像を取得し、
前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、
情報処理システム。
前記１又は複数のプロセッサは、
ユーザの親指の画像を含む撮像画像を取得し、
前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、
情報処理システム。
【請求項2】
前記特定モードは、前記仮想オブジェクトを移動させる移動モード又は前記仮想オブジェクトを回転させる回転モードである、請求項１に記載の情報処理システム。
【請求項3】
前記１又は複数のプロセッサは、前記親指の腹の側の領域に対応する前記仮想空間内の領域である特定領域に少なくとも一部が存在する仮想オブジェクトを、位置を変更する対象の仮想オブジェクトとして認識する、請求項１に記載の情報処理システム。
【請求項4】
前記特定領域は、前記親指の腹の面に対応する前記仮想空間内の面に接する領域である、請求項３に記載の情報処理システム。
【請求項5】
前記１又は複数のプロセッサは、前記操作モードが前記特定モードに切り替えられた後、前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含まなくなっても、予め定められた動作が検出されるまでは、当該特定モードを継続する、請求項１に記載の情報処理システム。
【請求項6】
前記予め定められた動作は、位置を変更した前記仮想オブジェクトを解放する動作である、請求項５に記載の情報処理システム。
【請求項7】
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
ユーザの親指の爪が当該ユーザの方向を向いている場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、
情報処理システム。
前記１又は複数のプロセッサは、
ユーザの親指の爪が当該ユーザの方向を向いている場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、
情報処理システム。
【請求項8】
コンピュータに、
ユーザの親指の画像を含む撮像画像を取得する機能と、
前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える機能と、
を実現させるためのプログラム。
ユーザの親指の画像を含む撮像画像を取得する機能と、
前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、強度の平滑化を適用した深度画像を用いて手指の凹状領域を検出し、検出された結果に基づいて、利用者のつまみ動作を認識し、重回帰分析による指領域の平面近似を用いた指先の位置および／または手指の姿勢を定義することで利用者の操作を受け付けるジェスチャモデリング装置が記載されている。
特許文献２には、手指の部位の寸法の計測に適切な手指の姿勢を指示するガイド画像を表示し、手指の撮影画像を解析して、撮影画像が手指の部位の寸法を計測するために適切な撮影画像であるかを判定し、適切であると判定された撮影画像を用いて手指の寸法を計測し、寸法の情報を用いて手指の３次元形状のモデルを生成する情報処理装置が記載されている。
特許文献３には、ダイナミックプロジェクションマッピングなど低レイテンシが要求される指先姿勢推定応用に向けて、継続的かつ高解像度な画像計測を実現する高速光軸制御計への利用を意図し、拘束性の低い微小剛体曲面であるネイルマーカーを提案し、実際にネイルプリントを用いて試作したことが記載されている。
特許文献２には、手指の部位の寸法の計測に適切な手指の姿勢を指示するガイド画像を表示し、手指の撮影画像を解析して、撮影画像が手指の部位の寸法を計測するために適切な撮影画像であるかを判定し、適切であると判定された撮影画像を用いて手指の寸法を計測し、寸法の情報を用いて手指の３次元形状のモデルを生成する情報処理装置が記載されている。
特許文献３には、ダイナミックプロジェクションマッピングなど低レイテンシが要求される指先姿勢推定応用に向けて、継続的かつ高解像度な画像計測を実現する高速光軸制御計への利用を意図し、拘束性の低い微小剛体曲面であるネイルマーカーを提案し、実際にネイルプリントを用いて試作したことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６６５１３８８号公報
【特許文献2】特許第６９５５３６９号公報
【特許文献3】末石智大、石川正俊、「高速指先姿勢推定に向けたネイルマーカーの試作」第２４回日本バーチャルリアリティ学会大会論文集（２０１９年９月）、５Ｃ－０７
【発明の概要】
【発明が解決しようとする課題】
【0004】
仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトの位置を変更するモードに切り替える場合がある。このような場合に、コントローラを用いて切り替えたのでは、余計な操作が必要となり、人間の自然な動作で切り替えることができない。
【0005】
本発明の目的は、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能にすることにある。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、１又は複数のプロセッサを備え、前記１又は複数のプロセッサは、ユーザの親指の画像を含む撮像画像を取得し、前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、情報処理システムである。
請求項２に記載の発明は、前記特定モードは、前記仮想オブジェクトを移動させる移動モード又は前記仮想オブジェクトを回転させる回転モードである、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記１又は複数のプロセッサは、前記親指の腹の側の領域に対応する前記仮想空間内の領域である特定領域に少なくとも一部が存在する仮想オブジェクトを、位置を変更する対象の仮想オブジェクトとして認識する、請求項１に記載の情報処理システムである。
請求項４に記載の発明は、前記特定領域は、前記親指の腹の面に対応する前記仮想空間内の面に接する領域である、請求項３に記載の情報処理システムである。
請求項５に記載の発明は、前記１又は複数のプロセッサは、前記操作モードが前記特定モードに切り替えられた後、前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含まなくなっても、予め定められた動作が検出されるまでは、当該特定モードを継続する、請求項１に記載の情報処理システムである。
請求項６に記載の発明は、前記予め定められた動作は、位置を変更した前記仮想オブジェクトを解放する動作である、請求項５に記載の情報処理システムである。
請求項７に記載の発明は、１又は複数のプロセッサを備え、前記１又は複数のプロセッサは、ユーザの親指の爪が当該ユーザの方向を向いている場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、情報処理システムである。
請求項８に記載の発明は、コンピュータに、ユーザの親指の画像を含む撮像画像を取得する機能と、前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、前記特定モードは、前記仮想オブジェクトを移動させる移動モード又は前記仮想オブジェクトを回転させる回転モードである、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記１又は複数のプロセッサは、前記親指の腹の側の領域に対応する前記仮想空間内の領域である特定領域に少なくとも一部が存在する仮想オブジェクトを、位置を変更する対象の仮想オブジェクトとして認識する、請求項１に記載の情報処理システムである。
請求項４に記載の発明は、前記特定領域は、前記親指の腹の面に対応する前記仮想空間内の面に接する領域である、請求項３に記載の情報処理システムである。
請求項５に記載の発明は、前記１又は複数のプロセッサは、前記操作モードが前記特定モードに切り替えられた後、前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含まなくなっても、予め定められた動作が検出されるまでは、当該特定モードを継続する、請求項１に記載の情報処理システムである。
請求項６に記載の発明は、前記予め定められた動作は、位置を変更した前記仮想オブジェクトを解放する動作である、請求項５に記載の情報処理システムである。
請求項７に記載の発明は、１又は複数のプロセッサを備え、前記１又は複数のプロセッサは、ユーザの親指の爪が当該ユーザの方向を向いている場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、情報処理システムである。
請求項８に記載の発明は、コンピュータに、ユーザの親指の画像を含む撮像画像を取得する機能と、前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項１の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
請求項２の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトを移動させる移動モード又は仮想オブジェクトを回転させる回転モードに切り替え可能になる。
請求項３の発明によれば、位置を変更する対象の仮想オブジェクトとして認識される仮想オブジェクトの基準が明確になる。
請求項４の発明によれば、位置を変更する対象の仮想オブジェクトを掴んだ状態に違和感が生じなくなる。
請求項５の発明によれば、操作モードが特定モードに切り替えられた後に、人間の自然な動作によって特定モードでなくなることを回避することができる。
請求項６の発明によれば、操作モードが特定モードに切り替えられた後に、位置を変更した仮想オブジェクトを解放するまでは、人間の自然な動作によって特定モードでなくなることを回避することができる。
請求項７の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
請求項８の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
請求項２の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトを移動させる移動モード又は仮想オブジェクトを回転させる回転モードに切り替え可能になる。
請求項３の発明によれば、位置を変更する対象の仮想オブジェクトとして認識される仮想オブジェクトの基準が明確になる。
請求項４の発明によれば、位置を変更する対象の仮想オブジェクトを掴んだ状態に違和感が生じなくなる。
請求項５の発明によれば、操作モードが特定モードに切り替えられた後に、人間の自然な動作によって特定モードでなくなることを回避することができる。
請求項６の発明によれば、操作モードが特定モードに切り替えられた後に、位置を変更した仮想オブジェクトを解放するまでは、人間の自然な動作によって特定モードでなくなることを回避することができる。
請求項７の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
請求項８の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
【図面の簡単な説明】
【0008】
【図1】ユーザの親指を撮像した撮像画像を示す図である。
【図2】接触判定エリアが設定された状態を示す図である。
【図3】仮想オブジェクトを掴んだ状態の表示画像を示す図である。
【図4】本実施の形態におけるＨＭＤシステムの全体構成例を示す図である。
【図5】本実施の形態におけるＨＭＤ制御装置のハードウェア構成例を示す図である。
【図6】本実施の形態におけるＨＭＤ制御装置の機能構成例を示すブロック図である。
【図7】本実施の形態におけるＨＭＤ制御装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0010】
［本実施の形態の概要］
本実施の形態は、ユーザの親指の画像を含む撮像画像を取得し、撮像画像が親指の爪の画像又は親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトの位置を変更する特定モードに切り替える、情報処理システムを提供する。
ここで、仮想空間とは、現実世界の空間である実空間を模してコンピュータ上に仮想的に構築された空間のことをいい、仮想オブジェクトとは、現実世界のオブジェクトである実オブジェクトを模して仮想空間内に配置されたオブジェクトのことをいう。
また、仮想オブジェクトの位置を変更する特定モードには、仮想オブジェクトを移動させる移動モード、仮想オブジェクトを回転させる回転モード等があるが、以下では、仮想オブジェクトを移動させる移動モードを例にとって説明する。
更に、仮想空間はユーザが装着するＨＭＤ（Head Mounted Display）によって実現されるものとし、情報処理システムとしてはＨＭＤシステムを例にとって説明する。
本実施の形態は、ユーザの親指の画像を含む撮像画像を取得し、撮像画像が親指の爪の画像又は親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトの位置を変更する特定モードに切り替える、情報処理システムを提供する。
ここで、仮想空間とは、現実世界の空間である実空間を模してコンピュータ上に仮想的に構築された空間のことをいい、仮想オブジェクトとは、現実世界のオブジェクトである実オブジェクトを模して仮想空間内に配置されたオブジェクトのことをいう。
また、仮想オブジェクトの位置を変更する特定モードには、仮想オブジェクトを移動させる移動モード、仮想オブジェクトを回転させる回転モード等があるが、以下では、仮想オブジェクトを移動させる移動モードを例にとって説明する。
更に、仮想空間はユーザが装着するＨＭＤ（Head Mounted Display）によって実現されるものとし、情報処理システムとしてはＨＭＤシステムを例にとって説明する。
【0011】
ＨＭＤシステムの具体的な動作について説明する。尚、ＨＭＤシステムは、仮想空間内でのユーザの親指の爪の向きを、爪の自然画像又は爪に付されたマーカを用いて検出できるものとする。
【0012】
ＨＭＤシステムは、ユーザの親指を撮像した撮像画像において、親指の爪がユーザから見える向きにある場合に、仮想オブジェクトに対する操作モードを、仮想オブジェクトを移動させる移動モードに切り替える。仮想オブジェクトを移動させるには、仮想オブジェクトを掴む必要があるので、仮想オブジェクトを移動させる移動モードは、仮想オブジェクトを掴むモードと言うこともできる。
図１は、このような撮像画像を示す図である。この撮像画像では、ユーザの親指の爪ＴＮがユーザから見える向きにある。これにより、ＨＭＤシステムは、仮想オブジェクトに対する操作モードを移動モードに切り替える。
図１は、このような撮像画像を示す図である。この撮像画像では、ユーザの親指の爪ＴＮがユーザから見える向きにある。これにより、ＨＭＤシステムは、仮想オブジェクトに対する操作モードを移動モードに切り替える。
【0013】
また、この場合、ＨＭＤシステムは、ユーザの親指の爪ＴＮとは反対側の空間に接触判定エリアＣＤを設定する。
図２は、このような接触判定エリアＣＤが設定された状態を示す図である。接触判定エリアＣＤは、例えば、ユーザの親指の腹に接する球体状の領域とすればよい。
そして、ＨＭＤシステムは、接触判定エリアＣＤに侵入した仮想オブジェクトを、移動させる対象の仮想オブジェクト、つまり、掴む対象の仮想オブジェクトとして選択する。
図２は、このような接触判定エリアＣＤが設定された状態を示す図である。接触判定エリアＣＤは、例えば、ユーザの親指の腹に接する球体状の領域とすればよい。
そして、ＨＭＤシステムは、接触判定エリアＣＤに侵入した仮想オブジェクトを、移動させる対象の仮想オブジェクト、つまり、掴む対象の仮想オブジェクトとして選択する。
【0014】
次に、ＨＭＤシステムは、ユーザの掴む動作を検知して、この仮想オブジェクトを掴んだ状態の表示画像を表示する。
図３は、このような表示画像を示す図である。ここでは、本を模した仮想オブジェクトＢＯが接触判定エリアＣＤに侵入しており、この仮想オブジェクトＢＯが掴む対象の仮想オブジェクトとして選択され、この仮想オブジェクトＢＯを掴んだ状態の表示画像が表示されている。
図３は、このような表示画像を示す図である。ここでは、本を模した仮想オブジェクトＢＯが接触判定エリアＣＤに侵入しており、この仮想オブジェクトＢＯが掴む対象の仮想オブジェクトとして選択され、この仮想オブジェクトＢＯを掴んだ状態の表示画像が表示されている。
【0015】
［ＨＭＤシステムの全体構成］
図４は、本実施の形態におけるＨＭＤシステム１の全体構成例を示す図である。図示するように、ＨＭＤシステム１は、ＨＭＤ１０と、ＨＭＤ制御装置２０とが通信線８０に接続されることにより構成されている。
図４は、本実施の形態におけるＨＭＤシステム１の全体構成例を示す図である。図示するように、ＨＭＤシステム１は、ＨＭＤ１０と、ＨＭＤ制御装置２０とが通信線８０に接続されることにより構成されている。
【0016】
ＨＭＤ１０は、ユーザが装着することによりユーザに仮想現実（ＶＲ）又は拡張現実（ＡＲ）による仮想空間を見せることが可能な頭部装着型のディスプレイである。ＨＭＤ１０は、ユーザの目の前の実空間を撮像する撮像装置１１と、ＨＭＤ制御装置２０が生成した表示画像を表示する表示装置１２とを含む。
ＨＭＤ制御装置２０は、ＨＭＤ１０の撮像装置１１が撮像した撮像画像に基づいて、表示装置１２が表示する表示画像を生成する。ＨＭＤ制御装置２０としては、例えば、パーソナルコンピュータ等を用いるとよい。
通信線８０は、ＨＭＤ１０とＨＭＤ制御装置２０との間の情報通信に用いられる信号線である。通信線８０としては、例えば、ＵＳＢ（Universal Serial Bus）ケーブルを用いるとよい。
ＨＭＤ制御装置２０は、ＨＭＤ１０の撮像装置１１が撮像した撮像画像に基づいて、表示装置１２が表示する表示画像を生成する。ＨＭＤ制御装置２０としては、例えば、パーソナルコンピュータ等を用いるとよい。
通信線８０は、ＨＭＤ１０とＨＭＤ制御装置２０との間の情報通信に用いられる信号線である。通信線８０としては、例えば、ＵＳＢ（Universal Serial Bus）ケーブルを用いるとよい。
【0017】
［ＨＭＤ制御装置のハードウェア構成］
図５は、本実施の形態におけるＨＭＤ制御装置２０のハードウェア構成例を示した図である。図示するように、ＨＭＤ制御装置２０は、プロセッサ２１と、ＲＡＭ（Random Access Memory）２２と、ＨＤＤ（Hard Disk Drive）２３と、通信インターフェース（Ｉ／Ｆ）２４と、表示デバイス２５と、入力デバイス２６とを備える。
プロセッサ２１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、後述する各機能を実現する。
ＲＡＭ２２は、プロセッサ２１の作業用メモリ等として用いられるメモリである。
ＨＤＤ２３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する例えば磁気ディスク装置である。
通信Ｉ／Ｆ２４は、通信線８０を介してＨＭＤ１０との間で各種情報の送受信を行う。
表示デバイス２５は、各種情報を表示する例えばディスプレイである。
入力デバイス２６は、ユーザが情報を入力するために用いる例えばキーボードやマウスである。
図５は、本実施の形態におけるＨＭＤ制御装置２０のハードウェア構成例を示した図である。図示するように、ＨＭＤ制御装置２０は、プロセッサ２１と、ＲＡＭ（Random Access Memory）２２と、ＨＤＤ（Hard Disk Drive）２３と、通信インターフェース（Ｉ／Ｆ）２４と、表示デバイス２５と、入力デバイス２６とを備える。
プロセッサ２１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、後述する各機能を実現する。
ＲＡＭ２２は、プロセッサ２１の作業用メモリ等として用いられるメモリである。
ＨＤＤ２３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する例えば磁気ディスク装置である。
通信Ｉ／Ｆ２４は、通信線８０を介してＨＭＤ１０との間で各種情報の送受信を行う。
表示デバイス２５は、各種情報を表示する例えばディスプレイである。
入力デバイス２６は、ユーザが情報を入力するために用いる例えばキーボードやマウスである。
【0018】
［ＨＭＤ制御装置の機能構成］
図６は、本実施の形態におけるＨＭＤ制御装置２０の機能構成例を示すブロック図である。図示するように、ＨＭＤ制御装置２０は、撮像画像取得部３１と、画像判定部３２と、モード切替部３３と、モード記憶部３４と、エリア設定部３５と、オブジェクト選択部３６と、ジェスチャ検出部３７と、表示画像生成部３８とを備える。
図６は、本実施の形態におけるＨＭＤ制御装置２０の機能構成例を示すブロック図である。図示するように、ＨＭＤ制御装置２０は、撮像画像取得部３１と、画像判定部３２と、モード切替部３３と、モード記憶部３４と、エリア設定部３５と、オブジェクト選択部３６と、ジェスチャ検出部３７と、表示画像生成部３８とを備える。
【0019】
撮像画像取得部３１は、ＨＭＤ１０の撮像装置１１が撮像した撮像画像を取得する。ユーザは、仮想オブジェクトを操作する場合、撮像装置１１による撮像範囲内に手を移動させる。従って、撮像画像は、ユーザの親指の画像を含むことになる。本実施の形態では、ユーザの親指の画像を含む撮像画像を取得することの一例として、撮像画像取得部３１の処理を行っている。
【0020】
画像判定部３２は、撮像画像取得部３１が取得した撮像画像に基づいて、ユーザの親指の爪がユーザから見える向きを向いているか否かを判定する。ここでは、ユーザが装着するＨＭＤ１０の撮像装置１１がユーザの親指を撮像しているので、画像判定部３２は、撮像画像取得部３１が取得した撮像画像がユーザの親指の爪の画像を含むか否かを判定する。
【0021】
具体的には、画像判定部３２は、まず、撮像画像から手の輪郭を検出し、その輪郭に囲まれた領域を手の画像として抽出する。特に、画像判定部３２は、撮像画像が親指の爪の画像を含むか否かを判定することが最終目的なので、撮像画像から手の甲側の画像を抽出する。例えば、画像判定部３２は、手の甲側及び手のひら側の肌の色の明暗の違いに基づいて、手の甲側の画像を抽出するとよい。また、画像判定部３２は、手の甲側及び手のひら側の皺又は毛の特徴に基づいて、手の甲側の画像を抽出してもよい。更に、画像判定部３２は、爪を検出することにより、手の甲側の画像を抽出してもよい。
次に、画像判定部３２は、抽出した手の甲側の画像から爪の画像を抽出する。例えば、画像判定部３２は、撮像画像がモノクロであれば、手の画像における指先の明るい領域を爪の画像として抽出すればよく、撮像画像がカラーであれば、手の画像における指先の爪の色の領域を爪の画像として抽出すればよい。尚、この爪の画像の抽出方法は、上述した手の甲側の画像の抽出における爪の検出においても用いてよい。
次に、画像判定部３２は、抽出した爪の画像から親指の爪の画像を抽出する。抽出した爪の画像がどの指の爪の画像か分からないため、画像判定部３２は、例えば、手の画像から手の三次元形状を算出し、三次元形状を表す手指モデルを構築し、手指モデルを用いて、各爪の画像がどの指の爪の画像であるかを判別するとよい。
次に、画像判定部３２は、抽出した親指の爪の画像から親指の爪の向きを推定する。例えば、画像判定部３２は、親指の爪を正面から見た場合の爪の面積に対する、観測された親指の爪の面積から、親指の爪の向きを推定するとよい。
次に、画像判定部３２は、抽出した手の甲側の画像から爪の画像を抽出する。例えば、画像判定部３２は、撮像画像がモノクロであれば、手の画像における指先の明るい領域を爪の画像として抽出すればよく、撮像画像がカラーであれば、手の画像における指先の爪の色の領域を爪の画像として抽出すればよい。尚、この爪の画像の抽出方法は、上述した手の甲側の画像の抽出における爪の検出においても用いてよい。
次に、画像判定部３２は、抽出した爪の画像から親指の爪の画像を抽出する。抽出した爪の画像がどの指の爪の画像か分からないため、画像判定部３２は、例えば、手の画像から手の三次元形状を算出し、三次元形状を表す手指モデルを構築し、手指モデルを用いて、各爪の画像がどの指の爪の画像であるかを判別するとよい。
次に、画像判定部３２は、抽出した親指の爪の画像から親指の爪の向きを推定する。例えば、画像判定部３２は、親指の爪を正面から見た場合の爪の面積に対する、観測された親指の爪の面積から、親指の爪の向きを推定するとよい。
【0022】
或いは、画像判定部３２は、爪に付されたマーカを用いてもよい。具体的には、マーカの表面にパターンを印字し、画像判定部３２は、爪を検出することによる手の甲側の画像の抽出、爪の画像の抽出、親指の爪の画像の抽出、親指の爪の向きの推定において、このパターンを用いるとよい。
【0023】
ところで、親指の爪は仮想オブジェクトを掴んで裏を見ようとした場合に隠れる場合がある。そこで、画像判定部３２は、撮像画像取得部３１が取得した撮像画像が、ユーザの親指の爪の存在を推定させる画像を含むか否かを判定してもよい。ここで、ユーザの親指の爪の存在を推定させる画像とは、例えば、親指の付け根から第１関節までの部位の画像である。
【0024】
加えて、画像判定部３２は、ユーザの親指の爪の画像又はユーザの親指の爪の存在を推定させる画像を教師学習データとして人工知能（ＡＩ）に機械学習させることにより、撮像画像がこれらの画像を含む否かを判定するようにしてもよい。
【0025】
モード切替部３３は、撮像画像がユーザの親指の爪の画像を含むと画像判定部３２が判定した場合に、仮想オブジェクトに対する操作モードを、仮想空間内に配置された仮想オブジェクトを移動させる移動モードに切り替える。例えば、モード切替部３３は、撮像画像がユーザの親指の爪の画像を、ユーザの親指の爪がユーザから見える向きを向いた状態で含むと画像判定部３２が判定した場合に、仮想オブジェクトに対する操作モードを移動モードに切り替える。或いは、モード切替部３３は、撮像画像がユーザの親指の爪の存在を推定させる画像を含むと画像判定部３２が判定した場合にも、仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトを移動させる移動モードに切り替えてよい。本実施の形態では、撮像画像が親指の爪の画像又は親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトの位置を変更する特定モードに切り替えることの一例として、モード切替部３３の処理を行っている。また、本実施の形態では、ユーザの親指の爪がユーザの方向を向いている場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトの位置を変更する特定モードに切り替えることの一例として、モード切替部３３の処理を行っている。
【0026】
尚、モード切替部３３は、仮想オブジェクトに対する操作モードを移動モードに切り替えた後、撮像画像がユーザの親指の爪の画像又はユーザの親指の爪の存在を推定させる画像を一時的に含まなくなったとしても、移動モードを維持してよい。そして、ジェスチャ検出部３７が予め定められたジェスチャを検出した場合に、モード切替部３３は、移動モードを終了させることが好ましい。ここで、予め定められたジェスチャには、これに限らないが、例えば、ユーザが掴んだ仮想オブジェクトが解放するジェスチャがある。この場合、モード切替部３３が行う処理は、操作モードが特定モードに切り替えられた後、撮像画像が親指の爪の画像又は親指の爪の存在を推定させる画像を含まなくなっても、予め定められた動作が検出されるまでは、特定モードを継続することの一例である。
【0027】
モード記憶部３４は、仮想空間に配置された仮想オブジェクトに対する操作モードを記憶する。操作モードには、仮想オブジェクトを選択する選択モード、仮想オブジェクトを移動させる移動モード等がある。例えば、モード切替部３３が操作モードを移動モードに切り替えると、モード記憶部３４には、切り替え後の操作モードである移動モードが記憶される。また、モード切替部３３が移動モードを終了させると、モード記憶部３４に記憶された移動モードは削除される。
【0028】
エリア設定部３５は、撮像画像がユーザの親指の爪の画像又はユーザの親指の爪の存在を推定させる画像を含むと画像判定部３２が判定した場合に、親指の爪とは反対側の仮想空間内に接触判定エリアを設定する。接触判定エリアは、例えば、ユーザの親指の腹に接する球体の領域とすればよい。この場合、接触判定エリアは、例えば、親指の腹の中央から予め定められた距離にある点を中心とし、その予め定められた距離を半径として、規定されるとよい。本実施の形態では、親指の腹の側の領域に対応する仮想空間内の領域である特定領域の一例として、接触判定エリアを用いている。また、本実施の形態では、親指の腹の面に対応する仮想空間内の面に接する領域である特定領域の一例として、接触判定エリアを用いている。
【0029】
オブジェクト選択部３６は、エリア設定部３５が設定した接触判定エリアに仮想オブジェクトが侵入したか否かを判定する。例えば、接触判定エリアが上述した球体の領域であるとすると、オブジェクト選択部３６は、その球体の中心から仮想オブジェクト上の何れかの点までの距離がその球体の半径よりも短くなった場合に、接触判定エリアに仮想オブジェクトが侵入したと判定するとよい。そして、オブジェクト選択部３６は、接触判定エリアに仮想オブジェクトが侵入したと判定すると、その侵入した仮想オブジェクトを、移動させる仮想オブジェクトとして選択する。本実施の形態では、特定領域に少なくとも一部が存在する仮想オブジェクトを、位置を変更する対象の仮想オブジェクトとして認識することの一例として、オブジェクト選択部３６の処理を行っている。
【0030】
ジェスチャ検出部３７は、モード記憶部３４に記憶された操作モードに応じて、ユーザのジェスチャを検出する。
例えば、モード記憶部３４に操作モードとして選択モードが記憶されていれば、ジェスチャ検出部３７は、仮想オブジェクトを選択するためのジェスチャを検出する。
また、モード記憶部３４に操作モードとして移動モードが記憶されていれば、ジェスチャ検出部３７は、仮想オブジェクトを移動させるためのジェスチャを検出する。特に、ジェスチャ検出部３７は、ユーザの掴むジェスチャを検出する。例えば、ジェスチャ検出部３７は、親指の腹と人差し指の腹との間に存在していた隙間がなくなった場合に、ユーザの掴むジェスチャを検出するとよい。或いは、ジェスチャ検出部３７は、親指と人差し指とが作るサークルが認識できた場合に、ユーザの掴むジェスチャを検出してもよい。また、ジェスチャ検出部３７は、ユーザが掴んだ仮想オブジェクトを解放するジェスチャも検出する。
例えば、モード記憶部３４に操作モードとして選択モードが記憶されていれば、ジェスチャ検出部３７は、仮想オブジェクトを選択するためのジェスチャを検出する。
また、モード記憶部３４に操作モードとして移動モードが記憶されていれば、ジェスチャ検出部３７は、仮想オブジェクトを移動させるためのジェスチャを検出する。特に、ジェスチャ検出部３７は、ユーザの掴むジェスチャを検出する。例えば、ジェスチャ検出部３７は、親指の腹と人差し指の腹との間に存在していた隙間がなくなった場合に、ユーザの掴むジェスチャを検出するとよい。或いは、ジェスチャ検出部３７は、親指と人差し指とが作るサークルが認識できた場合に、ユーザの掴むジェスチャを検出してもよい。また、ジェスチャ検出部３７は、ユーザが掴んだ仮想オブジェクトを解放するジェスチャも検出する。
【0031】
表示画像生成部３８は、撮像画像取得部３１が取得した撮像画像と、オブジェクト選択部３６が選択した仮想オブジェクトの画像とを合成することにより、ＨＭＤ１０の表示装置１２に表示する表示画像を生成する。特に、表示画像生成部３８は、ジェスチャ検出部３７がユーザの掴むジェスチャを検出した場合に、オブジェクト選択部３６が選択した仮想オブジェクトを掴んだ状態の表示画像を生成する。また、表示画像生成部３８は、ジェスチャ検出部３７がユーザの解放するジェスチャを検出した場合に、掴んでいた仮想オブジェクトを解放した状態の表示画像を生成する。そして、表示画像生成部３８は、この表示画像をＨＭＤ１０の表示装置１２に出力する。
【0032】
［ＨＭＤ制御装置の動作例］
図７は、本実施の形態におけるＨＭＤ制御装置２０の動作例を示すフローチャートである。尚、ここでは、撮像画像がユーザの親指の爪の画像を含むか否かを判定することのみ考え、撮像画像がユーザの親指の爪の存在を推定させる画像を含むか否かを判定することは考えないものとする。
図７は、本実施の形態におけるＨＭＤ制御装置２０の動作例を示すフローチャートである。尚、ここでは、撮像画像がユーザの親指の爪の画像を含むか否かを判定することのみ考え、撮像画像がユーザの親指の爪の存在を推定させる画像を含むか否かを判定することは考えないものとする。
【0033】
ＨＭＤ制御装置２０では、まず、撮像画像取得部３１が、ＨＭＤ１０の撮像装置１１から撮像画像を取得する（ステップ３０１）。
【0034】
次に、画像判定部３２が、ステップ３０１で取得された撮像画像において、親指の爪がユーザから見える向きにあるか否かを判定する（ステップ３０２）。
ステップ３０２で親指の爪がユーザから見える向きにないと判定された場合、ＨＭＤ制御装置２０は、処理をステップ３０１へ戻す。
ステップ３０２で親指の爪がユーザから見える向きにあると判定された場合、モード切替部３３が、仮想オブジェクトに対する操作モードを移動モードに切り替える（ステップ３０３）。これにより、モード記憶部３４には、操作モードが移動モードに切り替えられた旨の情報が記憶される。そして、エリア設定部３５が、親指の爪とは反対側の仮想空間内に接触判定エリアを設定する（ステップ３０４）。
ステップ３０２で親指の爪がユーザから見える向きにないと判定された場合、ＨＭＤ制御装置２０は、処理をステップ３０１へ戻す。
ステップ３０２で親指の爪がユーザから見える向きにあると判定された場合、モード切替部３３が、仮想オブジェクトに対する操作モードを移動モードに切り替える（ステップ３０３）。これにより、モード記憶部３４には、操作モードが移動モードに切り替えられた旨の情報が記憶される。そして、エリア設定部３５が、親指の爪とは反対側の仮想空間内に接触判定エリアを設定する（ステップ３０４）。
【0035】
次に、オブジェクト選択部３６が、ステップ３０４で設定された接触判定エリアに仮想オブジェクトが侵入したか否かを判定する（ステップ３０５）。
ステップ３０５で接触判定エリアに仮想オブジェクトが侵入していないと判定された場合、ＨＭＤ制御装置２０は、処理をステップ３０１へ戻す。
ステップ３０５で接触判定エリアに仮想オブジェクトが侵入したと判定された場合、オブジェクト選択部３６は、その侵入した仮想オブジェクトを、移動させる仮想オブジェクトとして選択する（ステップ３０６）。
ステップ３０５で接触判定エリアに仮想オブジェクトが侵入していないと判定された場合、ＨＭＤ制御装置２０は、処理をステップ３０１へ戻す。
ステップ３０５で接触判定エリアに仮想オブジェクトが侵入したと判定された場合、オブジェクト選択部３６は、その侵入した仮想オブジェクトを、移動させる仮想オブジェクトとして選択する（ステップ３０６）。
【0036】
次に、ジェスチャ検出部３７が、掴む動作を検出したか否かを判定する（ステップ３０７）。
ステップ３０７で掴む動作を検出していないと判定された場合、ＨＭＤ制御装置２０は、処理をステップ３０１へ戻す。
ステップ３０７で掴む動作を検出したと判定された場合、表示画像生成部３８が、ステップ３０６で選択された仮想オブジェクトを掴んだ状態を表す表示画像を生成する（ステップ３０８）。これにより、表示画像は、ＨＭＤ１０の表示装置１２に出力される。
ステップ３０７で掴む動作を検出していないと判定された場合、ＨＭＤ制御装置２０は、処理をステップ３０１へ戻す。
ステップ３０７で掴む動作を検出したと判定された場合、表示画像生成部３８が、ステップ３０６で選択された仮想オブジェクトを掴んだ状態を表す表示画像を生成する（ステップ３０８）。これにより、表示画像は、ＨＭＤ１０の表示装置１２に出力される。
【0037】
次に、ジェスチャ検出部３７は、掴んだ仮想オブジェクトを解放する動作を検出したか否かを判定する（ステップ３０９）。
ステップ３０９で解放する動作を検出していないと判定された場合、ＨＭＤ制御装置２０は、処理をステップ３０１へ戻す。
ステップ３０９で解放する動作を検出したと判定された場合、表示画像生成部３８が、ステップ３０８で生成された表示画像で掴まれていた仮想オブジェクトを解放した状態を表す表示画像を生成する（ステップ３１０）。そして、モード切替部３３が、ステップ３０３で切り替えられていた移動モードを終了させる（ステップ３１１）。これにより、モード記憶部３４に記憶されていた、操作モードが移動モードに切り替えられた旨の情報が削除される。
ステップ３０９で解放する動作を検出していないと判定された場合、ＨＭＤ制御装置２０は、処理をステップ３０１へ戻す。
ステップ３０９で解放する動作を検出したと判定された場合、表示画像生成部３８が、ステップ３０８で生成された表示画像で掴まれていた仮想オブジェクトを解放した状態を表す表示画像を生成する（ステップ３１０）。そして、モード切替部３３が、ステップ３０３で切り替えられていた移動モードを終了させる（ステップ３１１）。これにより、モード記憶部３４に記憶されていた、操作モードが移動モードに切り替えられた旨の情報が削除される。
【0038】
［変形例］
上記では、ＨＭＤ１０とＨＭＤ制御装置２０とからなるＨＭＤシステム１が本実施の形態を実現することとしたが、これには限らない。例えば、ＨＭＤ１０が本実施の形態を実現することとしてもよい。この場合、撮像画像取得部３１、画像判定部３２、モード切替部３３、モード記憶部３４、エリア設定部３５、オブジェクト選択部３６、ジェスチャ検出部３７、表示画像生成部３８は、全てＨＭＤ１０内に設けられることになる。
上記では、ＨＭＤ１０とＨＭＤ制御装置２０とからなるＨＭＤシステム１が本実施の形態を実現することとしたが、これには限らない。例えば、ＨＭＤ１０が本実施の形態を実現することとしてもよい。この場合、撮像画像取得部３１、画像判定部３２、モード切替部３３、モード記憶部３４、エリア設定部３５、オブジェクト選択部３６、ジェスチャ検出部３７、表示画像生成部３８は、全てＨＭＤ１０内に設けられることになる。
【0039】
上記では、ＨＭＤ１０の撮像装置１１がユーザの親指を撮像することとしたので、ＨＭＤ制御装置２０は、親指の爪がユーザから見える向きを向いているか否かを判定するために、撮像画像が親指の爪の画像を含むか否かを判定することとしたが、これには限らない。例えば、ＨＭＤ１０を用いず、ＬＥＡＰ ＭＯＴＩＯＮ社のＬＥＡＰ ＭＯＴＩＯＮ（登録商標）を用いる場合を考える。このようにユーザ側以外の場所に設置された撮像装置からユーザの親指を撮像する場合は、親指の爪がユーザから見える向きを向いているときのその撮像装置からの見え方に基づいて、親指の爪がユーザから見える向きを向いているか否かを判定するとよい。尚、この場合は、仮想オブジェクトも、ＨＭＤ１０の表示装置１２ではなく、例えば、ホログラムや霧を用いて空中に表示するようにしてよい。
【0040】
［プロセッサ］
本実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ：Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。
また、本実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施の形態において記載した順序のみに限定されるものではなく、変更してもよい。
本実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ：Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。
また、本実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施の形態において記載した順序のみに限定されるものではなく、変更してもよい。
【0041】
［プログラム］
本実施の形態におけるＨＭＤ制御装置２０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
この場合、本実施の形態を実現するプログラムは、コンピュータに、ユーザの親指の画像を含む撮像画像を取得する機能と、撮像画像が親指の爪の画像又は親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトの位置を変更する特定モードに切り替える機能と、を実現させるためのプログラムとして捉えられる。
尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。
本実施の形態におけるＨＭＤ制御装置２０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
この場合、本実施の形態を実現するプログラムは、コンピュータに、ユーザの親指の画像を含む撮像画像を取得する機能と、撮像画像が親指の爪の画像又は親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、仮想オブジェクトの位置を変更する特定モードに切り替える機能と、を実現させるためのプログラムとして捉えられる。
尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。
【0042】
［付記］
（（（１）））
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
ユーザの親指の画像を含む撮像画像を取得し、
前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、
情報処理システム。
（（（２）））
前記特定モードは、前記仮想オブジェクトを移動させる移動モード又は前記仮想オブジェクトを回転させる回転モードである、（（（１）））に記載の情報処理システム。
（（（３）））
前記１又は複数のプロセッサは、前記親指の腹の側の領域に対応する前記仮想空間内の領域である特定領域に少なくとも一部が存在する仮想オブジェクトを、位置を変更する対象の仮想オブジェクトとして認識する、（（（１）））又は（（（２）））に記載の情報処理システム。
（（（４）））
前記特定領域は、前記親指の腹の面に対応する前記仮想空間内の面に接する領域である、（（（３）））に記載の情報処理システム。
（（（５）））
前記１又は複数のプロセッサは、前記操作モードが前記特定モードに切り替えられた後、前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含まなくなっても、予め定められた動作が検出されるまでは、当該特定モードを継続する、（（（１）））乃至（（（４）））の何れか１つに記載の情報処理システム。
（（（６）））
前記予め定められた動作は、位置を変更した前記仮想オブジェクトを解放する動作である、（（（５）））に記載の情報処理システム。
（（（７）））
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
ユーザの親指の爪が当該ユーザの方向を向いている場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、
情報処理システム。
（（（８）））
コンピュータに、
ユーザの親指の画像を含む撮像画像を取得する機能と、
前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える機能と、
を実現させるためのプログラム。
（（（１）））
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
ユーザの親指の画像を含む撮像画像を取得し、
前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、
情報処理システム。
（（（２）））
前記特定モードは、前記仮想オブジェクトを移動させる移動モード又は前記仮想オブジェクトを回転させる回転モードである、（（（１）））に記載の情報処理システム。
（（（３）））
前記１又は複数のプロセッサは、前記親指の腹の側の領域に対応する前記仮想空間内の領域である特定領域に少なくとも一部が存在する仮想オブジェクトを、位置を変更する対象の仮想オブジェクトとして認識する、（（（１）））又は（（（２）））に記載の情報処理システム。
（（（４）））
前記特定領域は、前記親指の腹の面に対応する前記仮想空間内の面に接する領域である、（（（３）））に記載の情報処理システム。
（（（５）））
前記１又は複数のプロセッサは、前記操作モードが前記特定モードに切り替えられた後、前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含まなくなっても、予め定められた動作が検出されるまでは、当該特定モードを継続する、（（（１）））乃至（（（４）））の何れか１つに記載の情報処理システム。
（（（６）））
前記予め定められた動作は、位置を変更した前記仮想オブジェクトを解放する動作である、（（（５）））に記載の情報処理システム。
（（（７）））
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
ユーザの親指の爪が当該ユーザの方向を向いている場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える、
情報処理システム。
（（（８）））
コンピュータに、
ユーザの親指の画像を含む撮像画像を取得する機能と、
前記撮像画像が前記親指の爪の画像又は前記親指の爪の存在を推定させる画像を含む場合に、仮想空間内に配置された仮想オブジェクトに対する操作モードを、当該仮想オブジェクトの位置を変更する特定モードに切り替える機能と、
を実現させるためのプログラム。
【0043】
（（（１）））の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
（（（２）））の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトを移動させる移動モード又は仮想オブジェクトを回転させる回転モードに切り替え可能になる。
（（（３）））の発明によれば、位置を変更する対象の仮想オブジェクトとして認識される仮想オブジェクトの基準が明確になる。
（（（４）））の発明によれば、位置を変更する対象の仮想オブジェクトを掴んだ状態に違和感が生じなくなる。
（（（５）））の発明によれば、操作モードが特定モードに切り替えられた後に、人間の自然な動作によって特定モードでなくなることを回避することができる。
（（（６）））の発明によれば、操作モードが特定モードに切り替えられた後に、位置を変更した仮想オブジェクトを解放するまでは、人間の自然な動作によって特定モードでなくなることを回避することができる。
（（（７）））の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
（（（８）））の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
（（（２）））の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトを移動させる移動モード又は仮想オブジェクトを回転させる回転モードに切り替え可能になる。
（（（３）））の発明によれば、位置を変更する対象の仮想オブジェクトとして認識される仮想オブジェクトの基準が明確になる。
（（（４）））の発明によれば、位置を変更する対象の仮想オブジェクトを掴んだ状態に違和感が生じなくなる。
（（（５）））の発明によれば、操作モードが特定モードに切り替えられた後に、人間の自然な動作によって特定モードでなくなることを回避することができる。
（（（６）））の発明によれば、操作モードが特定モードに切り替えられた後に、位置を変更した仮想オブジェクトを解放するまでは、人間の自然な動作によって特定モードでなくなることを回避することができる。
（（（７）））の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
（（（８）））の発明によれば、仮想空間内に配置された仮想オブジェクトに対する操作モードを、人間の自然な動作で、仮想オブジェクトの位置を変更するモードに切り替え可能になる。
【符号の説明】
【0044】
１…ＨＭＤシステム、１０…ＨＭＤ、２０…ＨＭＤ制御装置、３１…撮像画像取得部、３２…画像判定部、３３…モード切替部、３４…モード記憶部、３５…エリア設定部、３６…オブジェクト選択部、３７…ジェスチャ検出部、３８…表示画像生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
