(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-03
(45)【発行日】2025-02-12
(54)【発明の名称】足部用入力システム、足部用位置指示具、足部用位置検出装置、足部用入力システムを用いた指示位置入力方法及び足部用入力システムを用いた画像処理システム
(51)【国際特許分類】
G06F 3/041 20060101AFI20250204BHJP
G06F 3/03 20060101ALI20250204BHJP
G06F 3/046 20060101ALI20250204BHJP
A63F 13/24 20140101ALI20250204BHJP
A63F 13/21 20140101ALI20250204BHJP
A63F 13/52 20140101ALI20250204BHJP
A63F 13/428 20140101ALI20250204BHJP
【FI】
G06F3/041 500
G06F3/03 400F
G06F3/046 Z
A63F13/24
A63F13/21
A63F13/52
A63F13/428
(21)【出願番号】P 2021554881
(86)(22)【出願日】2020-10-23
(86)【国際出願番号】 JP2020039821
(87)【国際公開番号】W WO2021090697
(87)【国際公開日】2021-05-14
【審査請求日】2023-10-16
(32)【優先日】2019-11-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】P 2020036875
(32)【優先日】2020-03-04
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000139403
【氏名又は名称】株式会社ワコム
(74)【代理人】
【識別番号】100091546
【氏名又は名称】佐藤 正美
(74)【代理人】
【識別番号】100206379
【氏名又は名称】丸山 正
(72)【発明者】
【氏名】加藤 壮
(72)【発明者】
【氏名】飛田 龍之介
【審査官】桐山 愛世
(56)【参考文献】
【文献】特開平09-114583(JP,A)
【文献】特開2002-032193(JP,A)
【文献】特開2018-101234(JP,A)
【文献】特表2017-534303(JP,A)
【文献】特開2018-073330(JP,A)
【文献】特開2001-222370(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/041
G06F 3/03
G06F 3/046
A63F 13/24
A63F 13/21
A63F 13/52
A63F 13/428
(57)【特許請求の範囲】
【請求項1】
使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなり、前記足部用位置検出装置からの検出出力を画像処理装置に対して供給する足部用入力システムであって、
前記足部用位置指示具は、
足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、
前記ソール前部と前記ソール後部との両方に、少なくとも1つずつ設けられ、それぞれが異なる周波数の
位置指示信号を送信する位置指示信号送信部と
を備え、
前記足部用位置検出装置は、
第1の方向と、前記第1の方向に交差する第2の方向とのそれぞれに、複数の電極が所定の間隔で配設されて構成され、前記位置指示信号送信部からの前記位置指示信号を受信して、前記複数の電極ごとに出力するようにする位置検出センサと、
前記位置検出センサからの出力信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出する検出回路と
を備えることを特徴とする足部用入力システム。
【請求項2】
使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなり、前記足部用位置検出装置からの検出出力を画像処理装置に対して供給する足部用入力システムであって、
前記足部用位置指示具は、
足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、
前記ソール前部と前記ソール後部との少なくとも一方に対して、前記ソール部の長手方向に2以上が並べられて設けられ、それぞれが異なる周波数の
位置指示信号を送信する位置指示信号送信部と
を備え、
前記足部用位置検出装置は、
第1の方向と、前記第1の方向に交差する第2の方向とのそれぞれに、複数の電極が所定の間隔で配設されて構成され、前記位置指示信号送信部からの前記位置指示信号を受信して、前記複数の電極ごとに出力するようにする位置検出センサと、
前記位置検出センサからの出力信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出する検出回路と
を備えることを特徴とする足部用入力システム。
【請求項3】
使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなり、前記足部用位置検出装置からの検出出力を画像処理装置に対して供給する足部用入力システムであって、
前記足部用位置指示具は、
足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、
前記ソール前部と前記ソール後部との少なくとも一方に対して、多角形の頂点のそれぞれに設けられ、それぞれが異なる周波数の
位置指示信号を送信する位置指示信号送信部と
を備え、
前記足部用位置検出装置は、
第1の方向と、前記第1の方向に交差する第2の方向とのそれぞれに、複数の電極が所定の間隔で配設されて構成され、前記位置指示信号送信部からの前記位置指示信号を受信して、前記複数の電極ごとに出力するようにする位置検出センサと、
前記位置検出センサからの出力信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出する検出回路と
を備えることを特徴とする足部用入力システム。
【請求項4】
請求項1、請求項2または請求項3のいずれかに記載の足部用入力システムであって、
前記足部用位置検出装置の検出回路は、前記位置検出センサからの出力信号に基づいて、前記ソール部の前記踵側部から前記つま先側部の方向へ延伸された延伸線と交差する方向であって、移動前の前記延伸線の左側に移動した場合には左側移動として検出し、移動前の前記延伸線の右側に移動した場合には右側移動として検出する
ことを特徴とする足部用入力システム。
【請求項5】
請求項1、請求項2、請求項3または請求項4に記載の足部用入力システムであって、
前記足部用位置検出装置の検出回路は、前記位置検出センサからの出力信号に基づいて、前記位置指示信号により特定される指示位置の移動量を検出する
ことを特徴とする足部用入力システム。
【請求項6】
請求項1、請求項2または請求項3のいずれかに記載の足部用入力システムであって、
前記足部用位置検出装置は、
四角形状の前記位置検出センサ上に、円形状の操作面を配置して構成される
ことを特徴とする足部用入力システム。
【請求項7】
請求項1、請求項2または請求項3のいずれかに記載の足部用入力システムであって、
前記足部用位置検出装置の前記検出回路は、
前記位置指示信号による指示位置を、極座標に変換して出力する
ことを特徴とする足部用入力システム。
【請求項8】
請求項1、請求項2または請求項3のいずれかに記載の足部用入力システムであって、
前記足部用位置指示具の前記ソール前部とソール後部とは、撓む材料により形成された接続部材により接続されている
ことを特徴とする足部用入力システム。
【請求項9】
請求項1、請求項2または請求項3のいずれかに記載の足部用入力システムであって、
前記足部用位置指示具の前記ソール前部とソール後部とには、使用者の足部に装着するための装着部材が取り付けられている
ことを特徴とする足部用入力システム。
【請求項10】
使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなり、前記足部用位置検出装置からの検出出力を画像処理装置に対して供給する足部用入力システムの前記足部用位置指示具であって、
足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、
前記ソール前部と前記ソール後部との両方に、少なくとも1つずつ設けられ、それぞれが異なる周波数の
位置指示信号を送信する位置指示信号送信部と
を備え、
前記足部用位置検出装置において、前記位置指示信号送信部からの
前記位置指示信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出できるようにしたことを特徴とする足部用位置指示具。
【請求項11】
使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなり、前記足部用位置検出装置からの検出出力を画像処理装置に対して供給する足部用入力システムの前記足部用位置指示具であって、
足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、
前記ソール前部と前記ソール後部との少なくとも一方に対して、前記ソール部の長手方向に2以上が並べられて設けられ、それぞれが異なる周波数の
位置指示信号を送信する位置指示信号送信部と
を備え、
前記足部用位置検出装置において、前記位置指示信号送信部からの
前記位置指示信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出できるようにしたことを特徴とする足部用位置指示具。
【請求項12】
使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなり、前記足部用位置検出装置からの検出出力を画像処理装置に対して供給する足部用入力システムの前記足部用位置指示具であって、
足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、
前記ソール前部と前記ソール後部との少なくとも一方に対して、多角形の頂点のそれぞれに設けられ、それぞれが異なる周波数の
位置指示信号を送信する位置指示信号送信部と
を備え、
前記足部用位置検出装置において、前記位置指示信号送信部からの
前記位置指示信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出できるようにしたことを特徴とする足部用位置指示具。
【請求項13】
使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなり、前記足部用位置検出装置からの検出出力を画像処理装置に対して供給する足部用入力システムの前記足部用位置検出装置であって、
前記足部用位置指示具は、足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、位置指示信号を
送信する位置指示信号送信部とを備え、前記位置指示信号送信部は、前記ソール前部と前記ソール後部との両方に、少なくとも1つずつ設けられ、それぞれが異なる周波数の前記位置指示信号を送信するように構成され、あるいは、前記ソール前部と前記ソール後部との少なくとも一方に対して、前記ソール部の長手方向に2以上が並べられて設けられ、それぞれが異なる周波数の前記位置指示信号を送信するように構成され、あるいは、前記ソール前部と前記ソール後部との少なくとも一方に対して、多角形の頂点のそれぞれに設けられ、それぞれが異なる周波数の前記位置指示信号を送信するように構成されており、
第1の方向と、前記第1の方向に交差する第2の方向とのそれぞれに、複数の電極が所定の間隔で配設されて構成され、前記位置指示信号送信部からの前記位置指示信号を受信して、前記複数の電極ごとに出力するようにする位置検出センサと、
前記位置検出センサからの出力信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出する検出回路と
を備えることを特徴とする足部用位置検出装置。
【請求項14】
足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、位置指示信号を送信する位置指示信号送信部とを備え、使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなり、前記足部用位置検出装置からの検出出力を画像処理装置に対して供給する足部用入力システムを用いた指示位置入力方法であって、
前記足部用位置指示具の前記位置指示信号送信部は、前記ソール前部と前記ソール後部との両方に、少なくとも1つずつ設けられ、それぞれが異なる周波数の前記位置指示信号を送信するように構成され、あるいは、前記ソール前部と前記ソール後部との少なくとも一方に対して、前記ソール部の長手方向に2以上が並べられて設けられ、それぞれが異なる周波数の前記位置指示信号を送信するように構成され、あるいは、前記ソール前部と前記ソール後部との少なくとも一方に対して、多角形の頂点のそれぞれに設けられ、それぞれが異なる周波数の前記位置指示信号を送信するように構成されており、
前記足部用位置指示具においては、
前記
位置指示信号送信部から、
前記位置指示信号を送信する位置指示信号送信工程
を有し
前記足部用位置検出装置においては、
第1の方向と、前記第1の方向に交差する第2の方向とのそれぞれに、複数の電極が所定の間隔で配設されて構成される位置検出センサを通じて、前記位置指示信号送信部からの前記位置指示信号を受信して、前記複数の電極ごとに出力するようにする位置指示信号受信工程と、
検出回路が、前記位置検出センサからの出力信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出し、検出結果を前記画像処理装置に対して指示入力として供給する検出工程と
を有することを特徴とする足部用入力システムを用いた指示位置入力方法。
【請求項15】
画像処理装置に対して、使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなる足部用入力システムを接続して構成される画像処理システムであって、
前記足部用入力システムの前記足部用位置指示具は、
足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、
位置指示信号を送信する位置指示信号送信部と
を備え、
前記位置指示信号送信部は、前記ソール前部と前記ソール後部との両方に、少なくとも1つずつ設けられ、それぞれが異なる周波数の前記位置指示信号を送信するように構成され、あるいは、前記ソール前部と前記ソール後部との少なくとも一方に対して、前記ソール部の長手方向に2以上が並べられて設けられ、それぞれが異なる周波数の前記位置指示信号を送信するように構成され、あるいは、前記ソール前部と前記ソール後部との少なくとも一方に対して、多角形の頂点のそれぞれに設けられ、それぞれが異なる周波数の前記位置指示信号を送信するように構成されており、
前記足部用入力システムの前記足部用位置検出装置は、
第1の方向と、前記第1の方向に交差する第2の方向とのそれぞれに、複数の電極が所定の間隔で配設されて構成され、前記位置指示信号送信部からの前記位置指示信号を受信して、前記複数の電極ごとに出力するようにする位置検出センサと、
前記位置検出センサからの出力信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出する検出回路と
を備え、
前記画像処理装置は、前記足部用位置検出装置からの検出出力が、前記ソール部の前進移動を示している場合には、表示画像の拡大処理を行い、前記ソール部の後退移動を示している場合には、表示画像の縮小処理を行う
ことを特徴とする画像処理システム。
【請求項16】
請求項15に記載の画像処理システムであって、
前記画像処理装置は、前記足部用位置検出装置からの検出出力により示される指示位置の変位に応じて、表示画像の拡大或いは縮小を継続させる
ことを特徴とする画像処理システム。
【請求項17】
請求項15に記載の画像処理システムであって、
前記足部用位置検出装置の検出回路は、前記位置検出センサからの出力信号に基づいて、前記ソール部の前記踵側部から前記つま先側部の方向へ延伸された延伸線と交差する方向であって、移動前の前記延伸線の左側に、前記ソール部が前記ソール前部と前記ソール後部の位置関係を替えることなく移動した場合には左側移動として検出し、移動前の前記延伸線の右側に、前記ソール部が前記ソール前部と前記ソール後部の位置関係を替えることなく移動した場合には右側移動として検出するものであり、
前記画像処理装置は、前記足部用位置検出装置からの検出出力が、前記ソール部の左側移動を示している場合には、表示画像の左側へのシフトを行い、前記ソール部の右側移動を示している場合には、表示画像の右側へのシフトを行う
ことを特徴とする画像処理システム。
【請求項18】
請求項17に記載の画像処理システムであって、
前記画像処理装置は、前記足部用位置検出装置からの検出出力により示される指示位置の変位に応じて、表示画像の左側へのシフト或いは右側へのシフトを継続させる
ことを特徴とする画像処理システム。
【請求項19】
請求項15、請求項16、請求項17または請求項18のいずれかに記載の画像処理システムであって、
前記画像処理装置は、使用者が画像を観視可能なように使用者の頭部に装着される頭部装着型ディスプレイに対し、使用者を中心にして360度の3次元空間画像を形成して提供できるものであり、前記頭部装着型ディスプレイの向きに応じて、3次元空間画像を変化させることができると共に、前記足部用位置検出装置からの検出出力に応じて、表示画像を変化させる
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えば、画像処理装置に対して、使用者の足部を用いた情報の入力を可能にするためのシステム、装置、方法に関する。
【背景技術】
【0002】
近年、コンピュータとディスプレイの性能向上により、VR(Virtual Reality)、AR(Augmented Reality)、MR(Mixed Reality)といった分野が急速に発展してきている。これらの分野における実行環境では、現実と同様の感覚でコンピュータの操作を行うために、マウス、キーボード、ゲームパッドなどの従来からの入力デバイスではなく、使用者(ユーザ)の手や指の動きを検知する特殊なハンドデバイスが用いられる場合がある。これにより、オブジェクトを手で掴み操作するといった、ハンドジェスチャーをコンピュータによって作り出された空間において再現することができる。このように使用者の手そのものによるジェスチャーをコンピュータにより形成されるデジタルコンテンツ内に持ち込む試みが行われている。
【0003】
しかし、現実の使用者の手によるハンドジェスチャーによる操作の再現性をコンピュータで作り出された空間内で高めて行くほど、手によって直接操作する操作スティック、操作ボタン、タッチパネルなどを用いた操作が行い難くなる。また、例えば、歩行移動など足(脚)を使用する行為を指先や腕全体のジェスチャーで代用するため、例えばVRにおいて重要となる没入感が損なわれる原因ともなる。
【0004】
このため、足(脚)を用いて情報の入力を行えるようにする入力装置が考えられている。例えば、後に記す特許文献1には、片足だけの簡単な操作で入力を行えるようにする足動式入力装置に関する発明が開示されている。当該足動式入力装置は、足底側に設けたボールを足によって回動移動させて指示位置を変化させたり、足の指で操作するスイッチを設け、いわゆるマウスの左クリック、右クリックと同様の操作を行うようにしたりすることができるものである。
【0005】
また、後に記す特許文献2には、重量や重心の計測のみならず、足踏み、歩く、ジャンプ、しゃがむなどの各種の動作を検出することができるゲームコントローラに関する発明が開示されている。当該ゲームコントローラは、複数の圧力センサを有するシート上でプレーヤ(使用者)が動くことにより、プレーヤの体の一部による接触領域の圧力分布を検出し、その分布の形状や形状の変化に基づいて、プレーヤの動作を検出するものである。
【先行技術文献】
【特許文献】
【0006】
【文献】特開平9-198188号公報
【文献】特開2016-174699号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に開示された発明は、手で操作されるマウスを足で操作できるようにしたものにとどまり、より柔軟な情報入力を可能にするものではない。また、特許文献2に開示された発明は、プレーヤの種々の動作状態を検出することができるので、ゲームコントローラとしては有効な機能を備えている。しかし、上述したVR、AR、MRといったコンピュータにより形成される空間内での情報入力を行うデバイスとしては、検出できる状態が限られており、充分な入力は行えない。
【0008】
また、レバーによる方向入力が行えるいわゆるジョイスティックと呼ばれるコントローラを使用することにより、VR技術により形成される仮想3次元空間において、あたかも使用者が移動しているように3次元空間画像を変化させることが可能である。しかし、この場合、使用者の身体は動いていないのに3次元空間画像が変化するため、変化する3次元空間画像と使用者の体の動きに対する感覚に著しい差異が生じ、いわゆるVR酔いと呼ばれる症状が現れる使用者もいる。
【0009】
このため、ヘッドマウントディスプレイなどと呼ばれる頭部装着型ディスプレイを用い、ヘッドマウントディスプレイに搭載された6軸センサなどによって使用者の頭部の動きを検出し、使用者の頭部の動きに合わせて、表示画像を変化させることも行われている。この場合に、3次元空間画像内における使用者の位置(視点)を移動させる場合には、足部を用いて指示入力を行う方が、移動する場合の実際の身体の動きに近いため、変化する3次元空間画像と使用者の身体の動きに対する感覚に差異が生じ難いと考えられる。
【0010】
以上のことに鑑み、この発明は、変化する画像と使用者の身体の動き対する感覚に差を生じさせないように、使用者の足部を用いて、画像処理装置に対して種々の情報の入力を行えるようにすることを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、
使用者の足部に装着される足部用位置指示具と、前記足部用位置指示具による指示位置を検出する足部用位置検出装置とからなり、前記足部用位置検出装置からの検出出力を画像処理装置に対して供給する足部用入力システムであって、
前記足部用位置指示具は、
足裏のつま先側部に位置するソール前部と、足裏の踵側部に位置するソール後部とを備えたソール部と、
前記ソール前部と前記ソール後部との両方に、少なくとも1つずつ設けられ、それぞれが異なる周波数の位置指示信号を送信する位置指示信号送信部と
を備え、
前記足部用位置検出装置は、
第1の方向と、前記第1の方向に交差する第2の方向とのそれぞれに、複数の電極が所定の間隔で配設されて構成され、前記位置指示信号送信部からの前記位置指示信号を受信して、前記複数の電極ごとに出力するようにする位置検出センサと、
前記位置検出センサからの出力信号に基づいて、前記ソール部の長手方向の中心軸に沿う方向であって、前記踵側部から前記つま先側部の方向へ延伸された線の延伸方向への前記ソール部の移動を前進移動として検出し、前記つま先側部から前記踵側部の方向へ延伸された線の延伸方向への前記ソール部の移動を後退移動として検出する検出回路と
を備えた足部用入力システムを提供する。
【0012】
この足部用入力システムによれば、足部用位置指示具のソール部のソール前部との両方に、少なくとも1つずつ設けられ、それぞれが異なる周波数の位置指示信号を送信する位置指示信号送信部が設けられる。足部用位置検出装置の位置検出センサは、位置指示信号送信部からの位置指示信号を受信して、複数の電極ごとに出力する。足部用位置検出装置の検出回路は、位置検出センサからの出力信号に基づいて、ソール部の長手方向の中心軸に沿う方向であって、踵側部からつま先側部の方向へ延伸された線の延伸方向へのソール部の移動を前進移動として検出する。また、足部用位置検出装置の検出回路は、つま先側部から前記踵側部の方向へ延伸された線の延伸方向へのソール部の移動を後退移動として検出する。これにより、足部用入力システムにより、画像処理装置に対して、前進移動と後退移動とを簡単に指示することができ、前進移動は画像の拡大、後退移動は画像の縮小というように、画像に関する処理を指示できるようにされる。
【図面の簡単な説明】
【0013】
【
図1】第1の実施の形態の足部用入力システムの使用例を説明するための図である。
【
図2】第1の実施の形態の足部用位置指示具の構成例を説明するための図である。
【
図3】第1の実施の形態の足部用位置指示具の構成例を説明するための図である。
【
図4】第1の実施の形態の足部用位置検出装置の構成例を説明するための図である。
【
図5】第1の実施の形態の足部用位置指示具によって入力可能な高さ情報と角度情報について説明するための図である。
【
図6】第1の実施の形態の足部用位置指示具によって入力可能な角度情報について説明するための図である。
【
図7】第2の実施の形態の足部用入力システムの使用例を説明するための図である。
【
図8】第2の実施の形態の足部用入力システムを用いて構成される画像処理システムの全体構成を説明するための図である。
【
図9】第2の実施の形態の足部用位置指示具の構成例を説明するための図である。
【
図10】第2の実施の形態の足部用位置検出装置の構成例を説明するための図である。
【
図11】第2の実施の形態の足部用入力システムの使用例を説明するための図である。
【
図12】第2の実施の形態の足部用入力システムの動作状態とヘッドマウントディスプレイの表示画像とについて説明するための図である。
【
図13】第2の実施の形態の足部用入力システムの動作状態とヘッドマウントディスプレイの表示画像とについて説明するための図である。
【
図14】第2の実施の形態の足部用入力システムの動作状態とヘッドマウントディスプレイの表示画像とについて説明するための図である。
【
図15】第2の実施の形態の足部用入力システムを用いて構成される画像処理システムにおける指示入力について説明するための図である。
【
図16】第2の実施の形態の足部用入力システムを用いて構成される画像処理システムにおける指示入力について説明するための図である。
【
図17】第2の実施の形態の足部用入力システムにおける指示入力の検出の仕方について説明するための図である。
【
図18】足部用位置指示具の位置指示信号送信部の設置位置のバリエーションについて説明するための図である。
【
図19】扁平型コイルを用いて構成した足部用位置指示具について説明するための図である。
【
図20】扁平型コイルを用いて構成した足部用位置指示具について説明するための図である。
【
図21】扁平型コイルを用いて構成した足部用位置指示具の使用例について説明するための図である。
【発明を実施するための形態】
【0014】
以下、図を参照しながらこの発明のシステム、装置、方法の一実施の形態について説明する。
【0015】
[第1の実施の形態]
<足部用入力システムの使用例>
図1は、第1の実施の形態の足部用入力システムの使用例を説明するための図である。コンピュータ描画システムは、
図1に示すように、例えば、ペンタブレット装置TBと、電子ペンPNと、いわゆるジョイスティックJSと、ディスプレイDPと、コンピュータ本体とから構成される。
図1においては、コンピュータ本体は図示していないが、ペンタブレット装置TBとジョイスティックJSとディスプレイDPとは、当該コンピュータ本体に接続されている。
【0016】
コンピュータ描画システムを用いて描画入力を行う場合には、机上に配置されたペンタブレット装置TBに対して、電子ペンPNを用いて描画入力を行う。描画入力に応じた画像(描画像)はディスプレイDPに表示される。使用者は、いわゆるジョイスティックJSを操作することにより、描画像を種々の方向に回転させることができ、使用者は描画像の目的とする部分について、ペンタブレット装置TBを通じて電子ペンPNにより細かな描画入力が行える。
【0017】
この実施の形態のコンピュータ描画システムの場合には、さらに足部用入力システムを用いることができるようになっている。足部用入力システムは、足部用位置指示具100と足部用位置検出装置200とからなる。足部用位置指示具100は、
図1に示すように、スリッパ形状に構成され、使用者の足部に装着されて使用される。足部用位置指示具100は、他の機器とコードにより接続されることのないコードレスのものである。
【0018】
足部用位置検出装置200は、フロアマット形状のものであり、足部用位置指示具100の下側に位置し、足部用位置指示具100による指示位置を検出する機能を実現する。足部用位置検出装置200は、コンピュータ本体に接続されて検出出力を供給することができるようになっている。そして、従来は、ディスプレイDP上に表示されるアイコンに対する操作などにより行っていた描画像の例えば、移動、拡大、縮小などの操作を、足部用入力システムを用いて行うことができるようにしている。
【0019】
具体的には、足部用位置検出装置200上で足部用位置指示具100を移動させることにより、ディスプレイDPの表示画面上で描画像を移動させることができる。また、足部用位置指示具100の踵側を足部用位置検出装置200に付けたままつま先側を上げ下げすることにより、描画像の拡大や縮小を行うことができる。これは一例であり、コンピュータ描画システムで動作するプログラムにより、種々の指示入力を、足部用入力システムを通じて行うことができる。
【0020】
このように、足部用位置入力システムは、コンピュータ描画システムの入力装置(入力システム)として機能することができるものである。なお、この実施の形態において、足部用入力システムは、後述もするように、電磁誘導方式により、足部用位置指示具100を通じて位置を指示したり、足部用位置指示具100に加えられた圧力を検知してこれを通知したりすることができるようにしている。以下に、足部用入力システムを構成する足部用位置指示具100と足部用位置検出装置200の構成例について具体的に説明する。
【0021】
<足部用位置指示具100の構成例>
図2、
図3は、第1の実施の形態の足部用位置指示具100の構成例を説明するための図である。
図2(B)に示すように、使用者(人)の足裏は、つま先側部、土踏まず部、踵部の3つの部分に分けられる。足部用位置指示具100は、
図2(A)に示すように、つま先側部の下側に位置するソール前部101と、踵部の下側に位置するソール後部103と、土踏まず部の下側に位置し、ソール前部101とソール後部103とを接続するソール中部102とを備える。
【0022】
ソール前部101には、コイル101Lと圧力センサ101Pとを含む位置指示ユニット101Uが設けられている。また、ソール後部103には、コイル103Lと圧力センサ103Pとを含む位置指示ユニット103Uが設けられている。より具体的には、
図3(A)に示すように、位置指示ユニット101Uは、コイル101Lとコンデンサ101Cと圧力センサ101Pとが並列に接続されて構成されたものである。同様に、位置指示ユニット103Uは、コイル103Lとコンデンサ103Cと圧力センサ103Pとが並列に接続されて構成されたものである。
【0023】
すなわち、位置指示ユニット101Uは、コイル101Lとコンデンサ101Cとが並列に接続されることにより共振回路を構成し、後述する足部用位置検出装置200と協働することによって、位置指示信号を送信する機能を実現する。また、圧力センサ101Pは、可変容量コンデンサの構成とされたものであり、加わる圧力に応じて静電容量が変化する構成とされものである。圧力センサ101Pが、コイル101Lとコンデンサ101Cが構成する共振回路に並列に接続されることにより、静電容量に応じて共振周波数の位相を変化させ、位置指示信億部号に検出した圧力の情報を含めて送信することができるようにしている。位置指示ユニット103Uもまた、位置指示ユニット101Uと同様に構成されたものである。
【0024】
図1にも示し、また、
図3(B)にも示すように、足部用位置指示具100は、スリッパ形状とされたものであり、
図3(B)、(C)に示すように、ソール前部101とソール後部103とを備えている。ソール前部101には位置指示ユニット101Uが、ソール後部103には位置指示ユニット103Uが設けられているので、そのそれぞれの位置を指示したり、また、それぞれに加えられた圧力を検知しいて通知したりできる。また、詳しくは後述するように、単に位置や圧力だけでなく、位置指示ユニット101U、103Uの位置する高さや角度、また、足部用位置指示具100を、踵部を固定してつま先側部を回動移動させたときの角度など、種々の情報の入力が行える。
【0025】
なお、この実施の形態においては、ソール前部101の位置指示ユニット101Uの共振周波数は例えば周波数f1で、ソール後部の位置指示ユニット103Uの共振周波数は周波数f2というように、それぞれが異なるようにされているものとする。これにより、足部用位置検出装置200側では、位置指示ユニット101Uからの位置指示信号に応じた位置や圧力と、位置指示ユニット103Uからの位置指示信号に応じた位置や圧力とを区別して検出することができるようになっている。すなわち、ソール前部101とソール後部103とのそれぞれの位置、それぞれに加わっている圧力を区別して検出することができる。
【0026】
<足部用位置検出装置200の構成例>
図4は、電磁誘導方式が適用されて構成された、この実施の形態の足部用位置検出装置200の構成例を説明するためのブロック図である。足部用位置検出装置200は、大きく分けると、位置検出センサ201と、位置検出回路202とからなる。位置検出センサ201は、X軸方向ループコイル群201Xと、Y軸方向ループコイル群201Yとが積層されて構成されたものである。そして、位置検出センサ201は、
図1にも示したように、使用者の足元に配置され、足部用位置指示具100の下側に位置するようにさせて用いられるものである。
【0027】
なお、位置検出センサ201の電極を構成するX軸方向ループコイル群201Xの各ループコイルX1~X40と、Y軸方向ループコイル群201Yの各ループコイルY1~Y30のそれぞれは、1ターンの場合もあれば、2ターン以上の複数ターンの場合もある。また、各ループコイル群201X、201Yのループコイルの数も位置検出センサ201のサイズに応じて適宜のものとすることができる。
【0028】
位置検出回路202は、発振器204と、電流ドライバ205と、選択回路206と、切り替え接続回路207と、受信アンプ208と、位置検出用回路209と、圧力検出用回路210と、制御部211とからなる。制御部211は、マイクロプロセッサにより構成されている。制御部211は、選択回路206におけるループコイルの選択、切り替え接続回路207の切り替えを制御すると共に、位置検出用回路209及び圧力検出用回路210での処理タイミングを制御する。
【0029】
そして、位置検出センサ201のX軸方向ループコイル群201X及びY軸方向ループコイル群201Yが選択回路206に接続されている。選択回路206は、2つのループコイル群201X,201Yのうちの一のループコイルを順次選択する。発振器204は、周波数f0の交流信号を発生する。発振器204は、発生した交流信号を、電流ドライバ205と圧力検出用回路210に供給する。電流ドライバ205は、発振器204から供給された交流信号を電流に変換して切り替え接続回路207へ送出する。
【0030】
切り替え接続回路207は、制御部211からの制御により、選択回路206によって選択されたループコイルが接続される接続先(送信側端子T、受信側端子R)を切り替える。この接続先のうち、送信側端子Tには電流ドライバ205が、受信側端子Rには受信アンプ208が、それぞれ接続されている。そして、位置検出センサ201から信号を送信する場合には、切り替え接続回路207は端子T側に切り替えられ、逆に、位置検出センサ201が外部からの信号を受信する場合には、切り替え接続回路207は端子R側に切り替えられる。
【0031】
そして、切り替え接続回路207が、端子T側に切り替えられている場合には、選択回路206により選択されたループコイルに、電流ドライバ205からの電流が供給される。これにより、当該ループコイルにおいて磁界が発生し、これに対向する足部用位置指示具100の位置指示ユニット101U、103Uが備える共振回路に作用して信号(電波)を送信するようにできる。
【0032】
一方、切り替え接続回路207が、端子R側に切り替えられている場合には、選択回路206により選択されたループコイルに発生する誘導電圧は、選択回路206及び切り替え接続回路207を介して受信アンプ208に送られる。受信アンプ208は、ループコイルから供給された誘導電圧を増幅し、位置検出用回路209及び圧力検出用回路210へ送出する。
【0033】
すなわち、X軸方向ループコイル群201X及びY軸方向ループコイル群201Yの各ループコイルには、足部用位置指示具100の位置指示ユニット101U、103Uから送信される電波(位置指示信号)によって誘導電圧が発生する。位置検出用回路209は、ループコイルに発生した誘導電圧、すなわち受信信号を検波し、その検波出力信号をデジタル信号に変換し、制御部211に出力する。制御部211は、位置検出用回路209からのデジタル信号、すなわち、各ループコイルに発生した誘導電圧の電圧値のレベルに基づいて、位置指示ユニット101U、103Uからの位置指示信号による、X軸方向及びY軸方向の指示位置の座標値を算出する。
【0034】
一方、圧力検出用回路210は、受信アンプ208の出力信号を発振器204からの交流信号で同期検波して、それらの間の位相差(周波数偏移)に応じたレベルの信号を得、その位相差(周波数偏移)に応じた信号をデジタル信号に変換して制御部211に出力する。制御部211は、圧力検出用回路210からのデジタル信号、すなわち、送信した電波と受信した電波との位相差(周波数偏移)に応じた信号のレベルに基づいて、位置指示ユニット101U、103Uの圧力センサ101P、103Pに加えられている圧力を検出する。
【0035】
図5は、足部用位置指示具100によって入力可能な高さ情報と角度情報について説明するための図である。足部用位置指示具100は、
図5(B)に示すように、ソール後部103側を位置検出センサ201上に接触させたまま、ソール前部101を位置検出センサ201から離すように上げる操作ができる。この場合、制御部211は、各ループコイルに発生した誘導電圧の電圧値のレベルに基づいて足部用位置指示具100の位置指示ユニット101Uの位置検出センサ201からの距離(高さ)hも検出できる。
【0036】
また、
図5(A)に示すように、ソール前部101に取り付けられる位置指示ユニット101Uとソール後部103に取り付けられる位置指示ユニット103Uとの間の距離lは取り付けられた時点で決まっている。このため、制御部211は、「tanθ=h/l」より、位置検出センサ201と足部用位置指示具100の底面とのなす角θの角度も計算により求めることができる。
【0037】
また、足部用位置指示具100は、
図5(B)に示した状態とは逆に、ソール前部101側を位置検出センサ201上に接触させたまま、ソール後部103を位置検出センサ201から離すように上げる操作もできる。この場合にも、
図5を用いて説明した場合と同様にして、高さ角度を求めることができる。すなわち、位置指示ユニット103Uの位置検出センサ201からの距離(高さ)が検出できる。また、ソール後部103が
上がった状態の位置検出センサ201と足部用位置指示具100の底面とのなす角の角度も計算により求めることができる。
【0038】
図6は、足部用位置指示具100によって入力可能な角度情報について説明するための図である。足部用位置指示具100は、
図6(A)に示すように、位置検出センサ201上において、ソール後部103側を中心にして、ソール前部101を左方向あるいは右方向に回転させるようにできる。制御部211は、足部用位置指示具100の位置指示ユニット101Uの位置の変化から、足部用位置指示具100のソール前部101が、どちらの方向にどれだけ回転するようにされたかについても検出できる。
【0039】
例えば、
図6(B)に示すように、ソール後部103に設けられた位置指示ユニット103Uの位置は変化せずに、ソール前部101が、矢印が示すように右側に回転し、位置指示ユニット101Uの指示位置だけが変化したとする。この場合、位置指示ユニット103Uと位置指示ユニット101Uとの間の長さ(距離)lは変わらない。したがって、位置指示ユニット103Uを頂点とし、回転前の位置指示ユニット101Uの指示位置P0と回転後の位置指示ユニット101Uの指示位置P1を底辺の両端とする2等辺三角形が形成される。
【0040】
位置指示ユニット103Uが示す位置と、位置指示ユニット101Uが示す位置P0、P1は、上述したように制御部211において検出できるので、位置P0と位置P1を両端とする底辺の長さaも制御部211において求めることができる。同様に、底辺の中点と位置指示ユニット103Uが示す頂点との距離、すなわち当該2等辺三角形の高さhも制御部211において求めることができる。
【0041】
当該2等辺三角形の底辺の長さaと高さhとが分かれば、
図6(B)の(1)式により、底角θが求められる。このため、
図6(B)の(2)式に示すように、三角形の内角の和である180度から2つの底角の和を減算すれば、頂角の角度φが求められる。この角度φが、この例においては、ソール前部101が右側にどれだけ回転したのかを示す情報(回転量)となる。ソール前部101が左側に回転する場合にも、回転方向が変わるだけで、回転量の算出は同様にできる。
【0042】
また、足部用位置指示具100は、位置検出センサ201上において、ソール前部101側を中心にして、ソール後部103を左方向あるいは右方向に回転させるようにすることもできる。この場合にも、
図6を用いて説明した場合と同様にして、ソール後部103が、左右のいずれの方向に、どれだけ回転移動したのかを検出することができる。このように、足部用位置指示具100により、種々の情報を入力できるので、これらの入力情報を用いた描画像の表示制御ができる。
【0043】
一例を挙げれば、
図5を用いて説明したように、ソール後部103を動かさず、ソール前部101を上げ下げした場合には、描画像の拡大表示の調整ができ、ソール前部101を動かさず、ソール後部103を上げ下げした場合には、描画像の縮小表示の調整ができる。また、
図6を用いて説明したように、ソール後部103を動かさず、ソール前部101を左右に回転移動させた場合には、描画像の左右への回転表示ができる。また、ソール前部101を動かさず、ソール後部103を左右に回転移動させた場合には、描画像の上下への回転表示ができる。
【0044】
この場合は、検出された位置指示ユニット101U、103Uの位置検出センサ201からの高さや位置検出センサ201に対する足部用位置指示具100のソール全体の角度に基づいて制御することができる。また、ソール前部101に搭載された圧力センサ101Pにかかる圧力と、ソール後部に搭載された圧力センサ103Pにかかる圧力との検出もできる。このため、ソール前部101の踏み込みの強さに応じて描画像を拡大し、ソール後部103の踏み込みの強さに応じて描画像を縮小するといった制御も可能である。このような制御は一例であり、コンピュータ描画システムの処理プログラムにより、足部用入力システムによる情報入力に応じて、他の種々の制御を行うようにできる。
【0045】
なお、
図5、
図6を用いて説明した例は、足部用位置指示具100のソール前部101かソール後部103のいずれかが位置検出センサ201上に接触するようにしていた。しかし、これに限るものではない。例えば、ソール前部101とソール後部103の両方を、位置検出センサ201上から離して上げ下げした場合に、その状態を足部用位置検出装置200において検出できるので、この状態に応じて例えば描画像の表示制御などを行うことができる。また、ソール前部101とソール後部103の両方を、位置検出センサ201上から離して左方向や右方向に回転させるようにすることもできる。そして、足部用位置検出装置200では、その状態の検出もできるので、この状態に応じて例えば描画像の表示制御などを行うこともできる。
【0046】
<第1の実施の形態の効果>
上述した第1の実施の形態の足部用入力システムによれば、使用者の足部を用いて、位置、圧力、高さ、角度といった種々の詳細情報の入力を行うことができる。これらの情報は、足部用位置検出装置200の位置検出回路202において検出され、検出された情報が、画像データを処理するコンピュータ本体に入力され、画像処理のパラメータとして活用できる。これにより、従来、使用者の手を用いた指示入力により行っていた、例えば、描画像の拡大、縮小、回転、画質の調整といった種々の指示を、足部用入力ユニットを用いて行うことができる。つまり、足部用入力ユニットは、多目的な用途に対して新たな入力操作を可能にするものである。
【0047】
更に、足部用入力ユニットにおいては、電磁誘導方式を採用することにより、バッテリーレスの構造となり、耐久性に優れ、かつ、足部用位置指示具100を足部に装着したまま移動することも可能になる。このため、取り回しが容易になり、使い勝手の良い入力デバイスを提供することができる。
【0048】
また、VR、AR、MRといった技術の利用場面において、新たな入力ユニットを提供することができ、より柔軟な指示入力が実現できる。これにより、VR、AR、MRといった分野におけるより柔軟な情報入力を実現することができる。
【0049】
例えば、大きな部屋をVR空間として用意し、その部屋のユーザの下の全面に位置検出センサ201を設ければ、当該部屋の中に大きな3次元VRオブジェクトを形成するようにし、部屋の中を移動しながら、3次元VRオブジェクトの描画を行うことができる。このように、VR、AR、MRといった技術の利用場面においては、より柔軟な指示入力を可能にし、3次元空間内への没入感を阻害することなく、使用者の身体的疲労を低減させ、細かな作業と大まかな作業とを両立させることができる。
【0050】
[第2の実施の形態]
<足部入力システム、画像処理システムの構成例>
図7は、第2の実施の形態の足部用入力システムの使用例を説明するための図である。第2の実施の形態の足部用入力システムは、第1の実施の形態の足部用入力システムと同様に、使用者の足部に履物のように装着される足部用位置指示具300と、足部用位置指示具300の下側に配置される足部用位置検出装置400とからなる。第2の実施の形態では、
図7に示すように、足部用位置検出装置400と、ヘッドマウントディスプレイ(以下、HMDと略称する。)500と、ゲームコントローラ600とが、詳しくは後述する画像処理装置700に対して接続される。
【0051】
足部用位置指示具300と足部用位置検出装置400とからなる足部用入力システムとゲームコントローラ600とは、使用者からの指示入力を受け付けて、受け付けた指示入力を画像処理装置700に供給する入力デバイスとして機能する。HMD500は、頭部装着型のディスプレイ(表示デバイス)であり、この実施の形態では、
図7に示したように、使用者の両眼を覆うように、使用者の頭部に装着される。
【0052】
画像処理装置700は、
図7において360度画像領域GAとして示したように、使用者の周囲の360度にわたる3次元空間画像(3次元モデリング画像)を形成し、HMD500に供給できるものである。この実施の形態において、画像処理装置700は、3次元空間画像を用いたゲームを使用者に対して提供する、いわゆるコンピュータゲーム機として機能するものである。
【0053】
図8は、第2の実施の形態の足部用入力システムを用いて構成される画像処理システムの全体構成を説明するための図である。画像処理装置700は、
図8に示すように、3次元画像データファイル701と、3次元パーツ画像ファイル702と、画像処理部703と、通信部704、705と、I/F(Inter Face)706とを備える。通信部704は、HMD500と相互に無線通信を行うためのものである。通信部705は、ゲームコントローラからの指示入力を受信するためのものである。I/F706は、足部用位置検出装置400からの検出出力(足部用位置指示具300を用いた指示入力)を受け付けるためのものである。
【0054】
このように、画像処理装置700とHMD500とは、無線により双方向に通信ができる。また、画像処理装置700とゲームコントローラ600とは無線により接続され、少なくとも、ゲームコントローラ600からの指示入力を画像処理装置700が受け付けることができる。また、画像処理装置700と足部用位置検出装置400とは、有線により接続され、足部用位置検出装置400からの検出出力を画像処理装置700が受け付けることができる。
【0055】
なお、HMD500とゲームコントローラ600とについても、画像処理装置700に対して有線により接続することも可能である。しかし、HMD500とゲームコントローラ600とは、身体の向きを変えることもある使用者に装着または所持されるものである。このため、HMD500とゲームコントローラ600とは、画像処理装置700に対して、接続コードが身体に絡むなどの心配のない無線により接続されていることが望ましい。また、足部用位置検出装置400と画像処理装置700とを無線接続することも可能である。しかし、足部用位置検出装置400は、使用者の移動に伴って移動することはないので、有線による接続でも問題が生じることはない。
【0056】
3次元画像データファイル701は、3次元空間画像を形成する3次元画像データを記憶保持する。3次元パーツ画像ファイル702は、3次元空間画像内に表示する、例えばアバター等の種々の3次元パーツ画像を形成するための3次元パーツ画像データを記憶保持する。画像処理部703は、3次元画像データファイル701の3次元画像データと、3次元パーツ画像ファイル702の3次元パーツ画像データとを用いて、HMD500に供給する3次元空間画像データを形成し、これをHMD500に供給する。
【0057】
HMD500は、3次元空間画像を表示するディスプレイHDPを備えると共に、例えば、3軸ジャイロセンサと3軸角速度センサとにより構成された6軸センサを備え、回転方向や回転角度を検出することができものである。これにより、HMD500は、画像処理装置700からの3次元画像データに応じた3次元空間画像をディスプレイHDPに表示することができ、また、検出した回転方向や回転角度を、画像処理装置700に送信できる。このため、HMD500を頭部に装着した使用者は、頭部を左または右を向くように回転させたり、仰ぎ見たり、見下ろしたりする動作を行うと、HMD500に搭載された6軸センサが、どの方向にどれだけ回転したかを検知し、これを画像処理装置700に通知する。
【0058】
画像処理装置700の画像処理部703は、HMD500の6軸センサからの検出出力に基づいて、使用者の両眼がどの方向に向けられているのかを特定し、その観視方向の3次元空間画像データを形成して、これをHMD500に供給する。これにより、使用者は、自分の両眼が向いている方向に応じた3次元空間画を、HMD500のディスプレイHDPを通じて観視できる。
【0059】
また、画像処理装置700の画像処理部703は、ゲームコントローラ600からの指示入力に応じて、HMD500のディスプレイに表示されている3次元空間画像内で、例えば、アバターが、ボールを投げたり、銃を撃ったりするなどの変化を加えた3次元空間画像データを作成し、これをHMD500に供給できる。このようにして、HMD500のディスプレイHDPを通じて、ゲームコントローラ600を介して入力した指示入力に応じて変化する3次元空間画像を観視できる。
【0060】
更に、画像処理装置700の画像処理部703は、足部用位置検出装置400からの検出出力(足部用位置指示具300を用いた指示入力)に応じて、HMD500のディスプレイに表示されている3次元空間画像の拡大、縮小などを行うことができる。詳しくは後述もするが、足部用位置検出装置400上で、使用者の足部に装着した足部用位置指示具300を移動させることにより、HMD500のディスプレイに表示されている3次元空間画像を拡大、縮小させたり、3次元空間画像において、視点位置を左側にずらしたり、右側にずらしたりできる。
【0061】
すなわち、足部用位置検出装置400上で足部用位置指示具300を、足部の長手方向であって、身体の前面が向いている方向にスライド移動させれば、3次元空間画像を拡大させるように画像処理装置700に指示できる。逆に、足部用位置検出装置400上で足部用位置指示具300を足部の長手方向であって、身体の背面が向いている方向にスライド移動させれば、3次元空間画像を縮小させるように画像処理装置700に指示できる。
【0062】
また、足部用位置検出装置400上で足部用位置指示具300を、足部の長手方向と交差する方向であって、身体の左側方向にスライド移動させたとする。この場合には、3次元空間画像において、視点位置を左側に移動させ、移動後の位置から見える3次元空間画像を表示するようにできる。逆に、足部用位置検出装置400上で足部用位置指示具300を、足部の長手方向と交差する方向であって、身体の右側方向にスライド移動させたとする。この場合には、3次元空間画像において、視点位置を右側に移動させ、移動後の位置から見える3次元空間画像を表示するようにできる。
【0063】
これにより、
図7に示したように、HMD500を頭部に装着し、ゲームコントローラ600を手に持ち、足部用位置指示具300を装着した右足を足部用位置検出装置400上に乗せた使用者は、3次元空間画像を用いたゲームを楽しむことができる。この場合、当該使用者は、頭部を左または右に回転させたり、仰ぎ見たり、見下ろしたりする動作を行うことによって、見る方向を変えるようにして、これに応じてHMD500のディスプレイに表示される3次元空間画像を変化させることができる。
【0064】
また、ゲームコントローラ600を操作することにより、表示された3次元空間画像内において、アバターなどの3次元画像オブジェクトの表示を変化させることができる。更に、足部用位置検出装置400上で、足部用位置指示具を移動させることにより、3次元空間画像の拡大、縮小や、左側または右側への視点位置の移動を行うことができる。
【0065】
なお、頭部の回転は、頭部だけを回転させる場合に限らず、使用者の身体全体を回転させる場合も含む。従って、使用者は、
図7に示したように、身体の全体を回転させ、自分の身体の向きを大きく変えるなど、自由に回転移動を行いながら、360度画像領域GAの全周囲の3次元空間画像を利用して、ゲームを楽しむことができる。しかも、どの方向の3次元空間画像についても、足部用位置指示具300と足部用位置検出装置400とを通じて、拡大、縮小、左側または右側への3次元空間画像における視点位置の移動などを行うことができる。このように、頭部の回転と足部の操作により、3次元空間画像をダイナミックに変化させて、ゲームを楽しむことができる。
【0066】
<足部用位置指示具の構成例>
図9は、第2の実施の形態の足部用位置指示具300の構成例を説明するための図であり、
図9(A)が足部用位置指示具300の表面側の図であり、
図9(B)が足部用位置指示具300の裏面側の図である。足部用位置指示具300は、
図9(A)に示すように、使用者の足裏全面と対向する1枚の板状のソール部301を備える。ソール部301は、使用者の足部のつま先部の下側に位置するソール前部301fと、使用者の足部の踵部の下側に位置するソール後部301bと、ソール前部301fとソール後部301bとを接続するソール中部301cとからなる。ソール前部301fには、足部用位置指示具300を、使用者の足部に固定するためのベルトを通して、当該ベルトを保持するつま先側ベルト保持部301L、301Rが設けられている。
【0067】
ソール後部301b側には、踵側固定部302が設けられている。
図9(A)では、踵側固定部302は、ソール後部301b側の構成を全て観視できるようにするために、ソール部301から分離した状態で示している。しかし、踵側固定部302は、実際には、
図9(B)に示すように、ソール部301のソール後部301b及びソール中部301cを、その下側から覆う底面部302aと一体に形成されたものである。踵側固定部302の底面部302aの上側には、
図9(B)に示すように、ソール部301のソール後部301bとソール中部301cが対向するように載せられて底面部302aのソール保持部302SL、ソール保持部302SRとによって固定される。もちろん、踵側固定部302の底面部302aとソール部301のソール後部301b及びソール中部301cとを、接着剤により貼り付けて固定してもよい。
【0068】
また、踵側固定部302には、
図9(A)に示すように、足部用位置指示具300を、使用者の足部に固定するためのベルトを通して、当該ベルトを保持する踵側ベルト保持部302L、302Rが設けられている。使用者の足部のつま先部分を、ソール部301のソール前部301fと、上述したつま先側ベルト保持部301L、301Rに通したベルトとの間に位置させることにより、使用者の足部のつま先部分をソール前部301fに固定できる。使用者の足部の踵部分を、ソール後部301b上に乗せ、踵側ベルト保持部302L、302Rに通したベルトにより、踵部の反対側を覆うようにして締め付ければ、使用者の足部の踵側をソール後部301bに固定できる。これにより、足部用位置指示具300の全体を使用者の足部に固定できる。
【0069】
更に、この実施の形態の足部用位置指示具300では、ソール後部301bの左端側に左位置指示ユニット303Lが設けられ、ソール後部301bの右端側に右位置指示ユニット303Rが設けられる。また、ソール後部301bの後端側の中央に後位置指示ユニット303Cが設けられる。これらの3つの位置指示ユニット303L、303R、303Cの基本的な構成は、
図3を用いて説明した位置指示ユニット101U、103Uと同様のものであり、信号の送信用コイルとコンデンサと圧力センサとからなる。なお、この実施の形態において、位置指示ユニット303L、303R、303Cのそれぞれは、異なる周波数の信号を送信するように構成されている。
【0070】
これら位置指示ユニット303L、303R、303Cは、ソール後部301bの底面に、左位置指示ユニット303Lと右位置指示ユニット303Rとを底辺の両端とし、後位置指示ユニット303Cを頂点とする2等辺三角形を形成する。このように配置された位置指示ユニット303L、303R、303Cによって、足部用位置指示具300が、前進移動したのか、後退移動したのかを検出できるようにしている。なお、足部用位置指示具300について、前進移動は、踵部からつま先部に向かって延伸された線の延伸方向への移動を意味し、後退移動は、つま先部から踵部に向かって延伸された線の延伸方向への移動を意味している。
【0071】
更に、
図9(B)に示すように、ソール後部301bの裏面には、踵側固定部302の底面部302aを挟んで、可動範囲規制板304が設けられている。この可動範囲規制板304は、後述する足部用位置検出装置400の操作面上に設けられる可動範囲規制領域の外縁を囲むリング状の凸部と係合し、足部用位置検出装置400上での足部用位置指示具300の可動範囲を規制するように作用する。このように、ソール部301と、踵側固定部302と、位置指示ユニット303L、303R、303C、可動範囲規制板304とによって、この実施の形態の足部用位置指示具300が構成される。
【0072】
<足部用位置検出装置400の構成例>
図10は、第2の実施の形態の足部用位置検出装置400の構成例を説明するための図である。
図10において、
図10(A)は足部用位置検出装置400の表面側の図であり、
図10(B)は足部用位置検出装置400の内部の概略構成を示す図である。足部用位置検出装置400は、
図4を用いて説明した足部用位置検出装置200の上側に、円形で平板状の操作面(天板)401を設けて構成したものである。操作面401上には、上述した足部用位置指示具300が載置され、種々の操作がされることになる。操作面401の中央部分には、円周形状(リング状)に設けられたリング状凸部403によって、その内側が可動範囲規制領域402となるようにしている。
【0073】
可動範囲規制領域402の内側には、上述した足部用位置指示具300の可動範囲規制板304が位置するようにされる。これにより、足部用位置指示具300を大きく動かすようにした場合には、可動範囲規制板304の側面が、リング状凸部403と係合し、それ以上の外側への移動が規制される。なお、必要がある場合には、可動範囲規制板304が、リング状凸部403を超えて、操作面401上を移動することも可能である。
【0074】
このように、足部用位置指示具300は、操作面401上であれば自由な移動が可能であるが、通常は、可動範囲規制板304が、操作面401上の可動範囲規制領域402内での自由な移動により、種々の操作入力が可能になる。なお、可動範囲規制領域402には、基準方向Kと、基準方向Kに対して直交する方向とに、直線マークが示され、基準方向とこれに直交する方向とが視覚によっても認識可能にしている。また、直線マークの交点は、詳しくは後述するが、基準座標系の原点Oとなる。
【0075】
更に、操作面401の基準方向Kが示す方向の外周部分には、認識用溝部404が設けられている。認識用溝部404に対して、足部用位置指示具300のソール前部301fが嵌まり込むことによって、使用者が、操作面401上における足部用位置指示具300の初期位置と初期角度とを認識できる。具体的には、認識用溝部404の内側開口部分に設けられた内壁部405に、ソール前部301fの先端が当接することにより、足部用位置指示具300が、認識用溝部404の内側開口部分に位置することが認識できる。すなわち、使用者は、足部用位置指示具300が操作面401上において、初期位置にあることを認識できる。
【0076】
なお、必要がある場合には、足部用位置指示具300のソール前部301fを認識用溝部404上に乗り上げるようにして嵌合させる。これにより、使用者は、足部用位置指示具300が、認識用溝部404に嵌り込むことによって、足部用位置指示具300の操作面401上における位置をより確実に把握できる。この後、足部用位置指示具300を後退させ、ソール前部301fの先端を認識用溝部404の内側開口部分の内壁部405に当接させることによって、足部用位置指示具300を、操作面401上において、初期位置に位置付けることができる。
【0077】
足部用位置検出装置400は、
図4を用いて前述したように、また、
図10(B)に示すように、四角形状の位置検出センサ201と、位置検出回路202からなる。
図10(B)において、位置検出回路202は、
図4を用いて説明した位置検出回路202が、
図10(B)の位置検出回路202として示した筐体内に構成されている。
図10(B)において、位置検出回路202から引き出されたケーブル221は、画像処理装置700のI/F
706に接続されるものである。なお、この実施の形態においては、
図10(B)に示すように、足部用位置検出装置
400は、無線通信部222と、バッテリ223とを備える。無線通信部222は、無線によっても画像処理装置700と接続可能するものであり、バッテリ223は、足部用位置検出装置400の各部に駆動電力を供給するものである。
【0078】
この実施の形態においては、
図10(B)からも分かるように、位置検出センサ201は、操作面401の認識用溝部404が設けられた方向である基準方向Kに対して、左に45度傾けて設けられている。これにより、初期位置及びその周辺角度において、頻繁に同一の位置検出コイル上に、2つの位置指示ユニットが乗ることを抑制し、時間軸方向の信号波形の揺らぎであるいわゆるジッターの低減などを可能にし、位置検出の精度を向上させている。
【0079】
また、この実施の形態の足部用位置検出装置400では、足部用位置指示具300に設けられた、位置指示ユニット303L、303R、303Cのそれぞれから送信される信号の周波数を、例えば制御部211に設けられているメモリにおいて把握している。これにより、どの位置指示ユニットが、どの位置を指示しているのかを、足部用位置検出装置400では検出することができるようになっている。
【0080】
<足部入力システムの使用例>
図11は、第2の実施の形態の足部用入力システムの使用例を説明するための図である。
図11において、
図11(A)は、足部用位置指示具300のソール後部301bに設けられる3つの位置指示ユニット303L、303R、303Cの位置関係を説明するための図である。また、
図11(B)は、足部用位置検出装置400の操作面401上の初期位置に、足部用位置指示具300が載置されている場合を示す図である。また、
図11(C)は、
図11(B)に示した状態を、足部用位置指示具300の側面側(横方向)から見た場合の図である。
図11(C)においては、足部用位置検出装置400の操作面401だけを断面として示し、足部用位置指示具300については、その側面側から見た場合の全体を示している。
【0081】
図9(A)に示したように、この実施の形態の足部用位置指示具300のソール後部301bには、ソール中部301c
寄りであって左右の対象となる位置に左位置指示ユニット303Lと、右位置指示ユニット303Rとが設けられている。更に、ソール後部301bの後端側中央に、後位置指示ユニット303Cが設けられる。これらの3つの位置指示ユニット303L、303R、303Cは、
図11(A)に示すように、それぞれを頂点とする三角形を形成する。
【0082】
この例においては、左位置指示ユニット303Lから後位置指示ユニット303Cまでの距離と、右位置指示ユニット303Rから後位置指示ユニット303Cまでの距離とは等しい。従って、左位置指示ユニット303Lと右位置指示ユニット303Rとが底辺の両端となり、後位置指示ユニット303Cが頂点となる二等辺三角形が形成される。換言すれば、左位置指示ユニット303Lと右位置指示ユニット303Rとを結ぶ線分が底辺となり、後位置指示ユニット303Cと左位置指示ユニット303Lを結ぶ線分と、後位置指示ユニット303Cと右位置指示ユニット303Rを結ぶ線分とが等辺となる。
【0083】
これにより、
図11(A)に示すように、3つの位置指示ユニット303L、303R、303Cによって規定される位置指示座標系(送信用コイル座標系)を形成する。すなわち、左位置指示ユニット303Lと右位置指示ユニット303Rとを結んだ線分に平行であって、重心Gを通る直線をx軸とし、後位置指示ユニット303Cから当該x軸に垂線を降ろして、両端を延伸した直線をy軸とする座標系が形成でき、この座標系を3つの位置指示ユニットによって特定される位置指示座標系とする。この位置指示座標系の原点は3つの位置指示ユニット303L、303R、303Cによって形成される二等辺三角形の重心Gである。
【0084】
この実施の形態では、足部用位置指示具300の移動方向及び移動量を決定する座標系として、左位置指示ユニット303L、右位置指示ユニット303R、後位置指示ユニット303Cによって規定される当該位置指示座標系を1つの基準として用いる。しかし、当該位置指示座標系は、足部用位置指示具300に設けられた3つの位置指示ユニット303L、303R、303Cによって規定される座標系であるため、足部用位置指示具300が移動すると、当該座標系も移動してしまう。
【0085】
そこで、もう1つの基準座標系を設ける。この場合、
図10(A)に示したように、足部用位置検出装置400の操作面401上に設けられる円形状の可動範囲規制領域402の中心Oを基準座標系の原点Oとする。当該原点Oを通り、位置指示座標系のx軸に平行な直線を基準座標系のX軸とする。また、当該原点Oを通り、位置指示座標系のy軸に平行な直線を基準座標系のY軸とする。このように規定される基準座標系における位置指示座標系の原点(重心)Gの位置の変化が、足部用入力システムにおける指示入力となる。
【0086】
以下、基準座標系と位置指示座標系について説明する。まず、
図11(A)において、
3つの位置指示ユニット303L、303R、303Cによって形成される二等辺三角形の内側の点は、当該二等辺三角形の重心Gを示している。足部用位置検出装置400の操作面401上に足部用位置指示具300を載置したとする。この場合に、位置指示ユニット303L、303R、303Cによって形成される二等辺三角形の重心Gに対応する位置検出センサ201上の位置が、足部用位置検出装置400において、足部用位置指示具300の指示位置として検出される。
【0087】
まず、
図11(B)に示すように、足部用位置検出装置400の操作面401上に、足部用位置指示具300が載置された場合を考える。
図11(B)に示した状態を、足部用位置指示具300の
真横から見た場合の状態が、
図11(C)に示した状態になる。
図11(B)、(C)から分かるように、この例の場合、足部用位置指示具300のソール後部301bの下側に設けられている可動範囲規制板304が、足部用位置検出装置400の操作面401上の可動範囲規制領域402に位置している。同時に、足部用位置指示具300のソール前部301fの先端が、足部用位置検出装置400の認識用溝部404の内側開口部分に設けられた内壁部405に対向して、当接し、或いは、すぐに当接可能な状態になっている。
【0088】
図11(B)、(C)に示した状態が、足部用位置検出装置400の操作面401上に載置された足部用位置指示具300の初期位置となる。この場合、足部用位置指示具300のソール後部301bに設けられた左位置指示ユニット303L、右位置指示ユニット303R、後位置指示ユニット303Cが形成する二等辺三角形の重心Gが、操作面401上の可動範囲規制領域402の中心に一致する。この可動範囲規制領域の中心が、基準座標系の原点Oになる。なお、実際には、二等辺三角形(位置指示座標系)の重心(原点)Gが、基準座標系の原点Oと完全に一致することは稀であるため、原点Oを中心とする所定の範囲内に重心Gが位置している場合には、足部用位置検出装置400上において、足部用位置指示具300が初期位置にあると見做すことができるようにしている。
【0089】
このように、基準座標系の原点は、可動範囲規制領域の中心であるが、基準座標系のX軸とY軸の向きは、足部用位置指示具300の向きに応じて定まる位置指示座標系のx軸とy軸とに応じて決まる。換言すれば、位置指示座標系の向きは、足部用位置指示具300に設けられている左位置指示ユニット303L、右位置指示ユニット303R、後位置指示ユニット303Cによって形成される二等辺三角形の向きにより決まる。
【0090】
このため、足部用位置検出装置400の操作面401上に載置される足部用位置指示具300が、どの向きに載置されたとしても、足部用位置指示具300を長手方向に移動すれば、基準座標系のY軸方向の変化として指示位置(重心G)の移動を検知できる。また、足部用位置検出装置400の操作面401上に載置される足部用位置指示具300が、どの向きに載置されたとしても、足部用位置指示具300を長手方向と直交する方向に移動すれば、基準座標系のX軸方向の変化として指示位置(重心G)の移動を検知できる。
【0091】
より具体的に説明する。
図11(B)、(C)は、足部用位置検出装置400の操作面401上において、足部用位置指示具300が初期位置にある場合を示している。この実施の形態では、足部用位置指示具300は、円形平面である操作面401上において、ソール後部301bの3つの位置指示ユニット303L、303R、303Cが形成する二等辺三角形の重心Gを中心にして、360度回転可能である。また、足部用位置指示具300の可動範囲規制板304が、操作面401の可動範囲規制領域402内にあれば、足部用位置指示具300は、前後にも左右にも移動可能である。
【0092】
この場合の基準座標系は、
図11(A)を用いて上述したように、ソール後部301bの3つの位置指示ユニット303L、303R、303Cによって規定される位置指示座標系と一致する。従って、足部用位置指示具300が、どの方向を向いていても、足部用位置指示具300を前方移動に移動させれば、基準座標系のY軸の値が大きくなる。また、足部用位置指示具300を後方移動させれば、基準座標系のY軸の値が小さくなる。同様に、足部用位置指示具300を右移動に移動させれば、基準座標系のX軸の値が大きくなる。また、足部用位置指示具300を左移動させれば、基準座標系のX軸の値が小さくなる。
【0093】
図9に示したように、この実施の形態では、左位置指示ユニット303Lと右位置指示ユニット303Rとが、左右対称な位置であって、ソール中部301c寄りに設けられている。また、後位置指示ユニット303Cが、ソール後部301bの後端側に設けられている。このため、左位置指示ユニット303Lと右位置指示ユニット303Rとに追従して、後位置指示ユニット303Cが移動しているのか、後位置指示ユニット303Cに追従して、左位置指示ユニット303Lと右位置指示ユニット303Rとが移動しているのかに応じて、移動方向を特定できる。
【0094】
すなわち、左位置指示ユニット303Lと右位置指示ユニット303Rとに追従して、後位置指示ユニット303Cが移動していたとする。この場合の追従は、左位置指示ユニット303Lと右位置指示ユニット303Rとが移動するのに伴って、左位置指示ユニット303Lと右位置指示ユニット303Rが位置していた前方に、後位置指示ユニット303Cが移動することを意味する。この場合には、
図11(A)において、矢印Fdが示すように、足部用位置指示具300は、踵部からつま先部に向かって延伸した線の延伸方向である前進方向に移動していると検知できる。また、移動前の重心Gが位置していた位置検出センサ201上の位置から移動後の重心Gが位置する位置検出センサ201上の位置までの距離が、前進方向への移動量、即ちy軸上で値が増える方向の移動量に相当する。
【0095】
なお、画像処理装置700で、移動量を単位時間当たりの移動量としてとらえれば、「速度=距離/時間」より移動量は速度とみなせる。したがって、移動量が大きければ大きいほど、はやい速度で前進する。これは、いわゆるジョイスティック的な動作でもある。例えば、単位時間が1秒である場合に、1秒間に重心Gが10cm移動したとすると、1秒間に10cmの移動速度で移動した、即ち移動速度が10cm/秒であると見做して、この移動速度を処理に用いることができる。
【0096】
逆に、後位置指示ユニット303Cに追従して、左位置指示ユニット303Lと右位置指示ユニット303Rとが移動していたとする。この場合の追従は、後位置指示ユニット303Cが移動するのに伴って、左位置指示ユニット303Lと右位置指示ユニット303Rとが、後位置指示ユニット303Cが位置していた
後方に、移動することを意味する。この場合には、
図11(A)において、矢印Bkが示すように、足部用位置指示具300は、つま先部から踵部に向かって延伸した線の延伸方向である後退方向に移動していると検知できる。また、移動前の重心Gが位置していた位置検出センサ201上の位置から移動後の重心Gが位置する位置検出センサ201上の位置までの距離が、後退方向への移動量、即ちy軸上で値が減る方向の移動量に相当する。また、前進方向への移動の場合と同様に、重心Gの後退方向の
移動量を、単位時間当たりの後退方向(y軸上のマイナス方向)への移動速度と考えて用いるようにすることもできる。
【0097】
また、左位置指示ユニット303Lに追従して、右位置指示ユニット303Rが移動していたとする。この場合の追従は、左位置指示ユニット303Lが移動するのに伴って、左位置指示ユニット303Lが位置していた左方向に、右位置指示ユニット303Rが移動することを意味する。この場合には、
図11(A)において、矢印Lfが示すように、足部用位置指示具300は、踵部からつま先部に向かって延伸した線と交差する方向の左方向に移動していると検知できる。また、移動前の重心Gが位置していた位置検出センサ201上の位置から移動後の重心Gが位置する位置検出センサ201上の位置までの距離が、左方向への移動量、即ちx軸上で値が減る方向の移動量に相当する。また、前進方向への移動の場合と同様に、重心Gの左方向の移動量から、単位時間当たりの左方向(x軸上のマイナス方向)への移動速度と考えて用いるようにすることもできる。
【0098】
逆に、右位置指示ユニット303Rに追従して、左位置指示ユニット303Lが移動していたとする。この場合の追従は、右位置指示ユニット303Rが移動するのに伴って、右位置指示ユニット303Rが位置していた右方向に、左位置指示ユニット303Lが移動することを意味する。この場合には、
図11(A)において、矢印Rtが示すように、足部用位置指示具300は、踵部からつま先部に向かって延伸した線と交差する方向の右方向に移動していると検知できる。また、移動前の重心Gが位置していた位置検出センサ201上の位置から移動後の重心Gが位置する位置検出センサ201上の位置までの距離が、右方向への移動量、即ちx軸上で値が増える方向の移動量に相当する。また、前進方向への移動の場合と同様に、重心Gの右方向の移動量から、単位時間当たりの右方向(x軸上のプラス方向)への移動速度と考えて用いるようにすることもできる。
【0099】
このように、この実施の形態の足部用位置検出装置400においては、まず、3つの位置指示ユニット303L、303R、303Cの位置から、位置指示座標系を特定する。次に、操作面401の可動範囲規制領域402の中心を、基準座標系の原点Oとして、位置指示座標系のx軸とy軸に基づいて、基準座標系のX軸とY軸とを特定する。このようにして特定される基準座標系において、前進方向Fd、後退方向Bk、左方向Lf、右方向Rtのどちらの方向にどれだけ、足部用位置指示具300が移動したかを検知する。この場合の移動量は、ソール後部301bに設けられる重心Gが、基準座標系の原点Oからどれだけ離れているかにより求められる。このように検出した足部用位置指示具300の移動方向と移動量が、画像処理装置700に送られる。別な例では、上述したように求められる各移動方向への単位時間当たりの移動量を、単位時間当たりの移動速度として解釈して(見做して)、画像処理装置700に提供して用いるようにすることもできる。
【0100】
<足部用入力システムを通じた指示入力>
図12、
図13、
図14は、第2の実施の形態の足部用入力システムの動作状態とヘッドマウントディスプレイの表示画像とについて説明するための図である。上述したように、この実施の形態の足部用入力システムでは、足部用位置検出装置400の操作面401上において、足部用位置指示具300を前後、左右に移動させた場合には、その移動方向と移動量とが画像処理装置700に供給される。このため、画像処理装置700では、足部用位置検出装置400からの移動方向と移動量に応じて、HMD500のディスプレイに表示に表示する3次元空間画像を変化させることができる。
【0101】
第2の実施の形態においては、原点Oからの重心Gの移動量は単位時間当たりの移動量とし、この単位時間当たりの移動量から特定される単位時間当たりの移動速度をシステムに反映させるものとする。簡単には、原点からの変位した移動量(距離)を、単位時間当たりの移動速度と考える。したがって、足部用位置指示具300の重心Gを前方にr(+r)変位させると、単位時間当たりに距離r移動する速度で前進するように画像を変化させることができる。また、当該重心Gを前方に2r(+2r)変位させると、単位時間当たりに距離2r移動する速度で前進するように画像を変化させることができる。更に、足部用位置指示具300の重心Gを原点Oに戻せば、移動距離が0となり、画像の変化は停止する。
【0102】
同様に、足部用位置指示具300の重心Gを後方にr(-r)変位させれば、単位時間当たりに距離r移動する速度で後退するように画像を変化させることができる。また、足部用位置指示具300の重心Gを右にl(+l(エル))変位させれば、単位時間当たりに右に距離l移動する速度で画像を変化させることができる。また、足部用位置指示具300の重心Gを左にl(-l)変位させると、単位時間当たりに左に距離l移動する速度で画像を変化せることができる。このように、原点Oからの重心Gの変位に応じて画像を変化させる方向及び速度を変えることができる。
【0103】
図12に示すように、足部用位置指示具300が、足部用位置検出装置400の操作面401上に載置され、足部用位置指示具300のソール後部301bの裏面にある可動範囲規制板304が、操作面401上の可動範囲規制領域402内にあるとする。従って、
図12(A)、(B)、(C)のいずれにおいても、足部用位置指示具300に設けられている左位置指示ユニット303L、右位置指示ユニット303R、後位置指示ユニット303Cは、可動範囲規制領域402内に位置している。
【0104】
図12(B)は、足部用位置指示具300が、操作面401上において、初期位置(ホームポジション)にある場合を示している。従って、足部用位置指示具300のソール後部301bに設けられている3つの位置指示ユニット303L、303R、303Cが形成する二等辺三角形の重心Gと、可動範囲規制領域402の中心(原点)Oとがほぼ一致している場合を示している。この状態にあるときに、使用者の頭部に装着されたHMD500のディスプレイHDPには、
図12(B)に示すように、木と雲を被写体として含む3次元空間画像が表示されていたとする。
【0105】
図12(B)に示した状態から、
図12(C)に示すように、足部用位置指示具300を操作面401に接触させた状態で前進移動させたとする。この場合、足部用位置検出装置400の位置検出回路202においては、
移動方向と、重心Gを基準とする移動量が検出され、これが画像処理装置700に供給される。この場合の移動方向は、前進方向(踵からつま先に延伸した線の延伸方向)であり、移動量は、基準座標系のY軸のプラス方向に原点Oから重心Gまでの距離となる。また、上述したように、単位時間当たりの移動量から、単位時間当たりの移動速度が把握できるので、当該単位時間当たりの移動量に応じた移動速度で前進移動していることになる。
【0106】
この場合、画像処理装置700の画像処理部703は、足部用位置指示具300の前進移動は、3次元空間画像の拡大指示入力であると判別し、その移動量または移動速度に応じて、3次元空間画像を拡大し続けるようにディスプレイHDPに表示するように処理する。3次元空間画像の拡大は、視点が徐々に前進していくことにより、被写体が徐々に近づいてきて大きく見えるようになり、更に詳細な3次元空間画像に変わっていくことを意味する。即ち、画像の拡大は、遠くに見えていた森が、前進移動により段々と近づいてきて木が大きく見えるようになり、更に前進移動を続ければ、森の中に入って、当該森の中の詳細が見えるようになるといったように表示処理が行われる。
【0107】
また、
図12(B)に示した状態から、
図12(A)に示すように、足部用位置指示具300を操作面401に接触させた状態で後退移動させたとする。この場合、足部用位置検出装置400の位置検出回路202においては、
移動方向と、重心Gを基準とする移動量が検出され、これが画像処理装置700に供給される。この場合の移動方向は、後退方向(つま先から踵に延伸した線の延伸方向)であり、移動量は、基準座標系のY軸のマイナス方向に原点Oから重心Gまでの距離となる。この場合においても、単位時間当たりの移動量から、単位時間当たりの移動速度が把握できるので、当該単位時間当たりの移動量に応じた移動速度で後退移動していることになる。
【0108】
この場合、画像処理装置700の画像処理部703は、足部用位置指示具300の後退移動は、3次元空間画像の縮小指示入力であると判別し、その移動量または移動速度に応じて、3次元空間画像を縮小し続けるようにディスプレイHDPに表示するように処理する。3次元空間画像の縮小は、拡大の場合とは反対に、視点が徐々に後退していくことにより、被写体が徐々に離れて行き小さく見えるようになり、更には見えなくなってくことを意味する。即ち、画像の縮小は、例えば、森の中の詳細が見えている状態から、森を出て段々と森から離れて行き、大きく見えていた木が小さく見えるようになり、最終的には、森や当該森を構成していた木が見えなくなるといったように表示処理が行われる。
【0109】
なお、足部用位置指示具300が、操作面401上において、前進移動や後退移動をしなければ、移動方向や移動量は足部用位置検出装置400では検出されず、画像処理装置700には供給されない。このため、
図13に示すように、足部用位置指示具300のつま先側を回転させるようにしても、ディスプレイHDPに表示される3次元空間画像は変化しない。すなわち、足部用位置指示具300が初期位置(ホームポジション)にある状態(
図13(B))から、左回りに回転させても(
図13(A))、また、右回りに回転させても(
図13(C))、ディスプレイHDPに表示される3次元空間画像は変化することはない。
【0110】
しかし、足部用位置指示具300が、操作面401上において、前進移動や後退移動をしなくても、使用者の頭部に装着されたHMD500
は、頭部の回転に
伴って回転すれば、ディスプレイHDPの3次元空間画像は変化する。すなわち、
図14に示すように、足部用位置指示具300が全く移動しなくても、HMD500が回転すれば、ディスプレイHDPに表示される3次元空間画像は変化する。
図14(A)、(B)、(C)のいずれにおいても、足部用位置指示具300が初期位置(ホームポジション)にある。
【0111】
この状態で、使用者が頭部を左回りにφ度(-φ)分回転させると、回転方向と回転角度がHMD500から画像処理装置700に供給される。これに応じて、画像処理部703が、
図14(A)に示すように、左回りにφ度分回転させた3次元空間画像を形成し、これをディスプレイHDPに表示する。逆に、使用者が頭部を右回りにφ度(+φ)分回転させると、回転方向と回転角度がHMD500から画像処理装置700に供給される。これに応じて、画像処理部703が、
図14(C)に示すように、右回りにφ度分回転させた3次元空間画像を形成し、これをディスプレイHDPに表示する。
【0112】
なお、この実施の形態の足部入力システムの場合、足部用位置検出装置400の操作面401上に足部用位置指示具300を載置して、載置した状態のまま、左移動や右移動を行うようにしたとする。この場合には、移動方向と移動量が、画像処理装置700に供給される。これにより、HMD500のディスプレイHDPに表示させる3次元空間画像において、視点位置を左方向や右方向にずらすようにできる。この場合、3次元空間画像を、左方向や右方向にずらすとは、HMD500の回転のように、見る方向をずらすのではなく、3次元空間画像における使用者の視点の位置を左方向または右方向にずらすことを意味する。
【0113】
例えば、足部用位置指示具300を操作面401上において左移動させたとする。この場合、画像処理装置700の画像処理部703は、3次元空間画像における使用者の視点位置を左方向に移動させた場合に見える3次元空間画像を形成し、これをディスプレイHDPに表示する。同様に、足部用位置指示具300を操作面401上において右移動させたとする。この場合、画像処理装置700の画像処理部703は、3次元空間画像における使用者の視点位置を右方向に移動させた場合に見える3次元空間画像を形成し、ディスプレイHDPに表示する。
【0114】
図15、
図16は、第2の実施の形態の足部用入力システムを用いて構成される画像処理システムにおける指示入力について説明するための図である。
図8にも示したが、
図15に示すように、画像処理装置700は、360度画像領域GAに3次元空間画像を形成できるものである。すなわち、画像処理装置700は、360度の周囲に渡って、幅、高さ、奥行きのある画像(3次元空間画像)を形成し、これをHMD500のディスプレイHDPに表示できる。
【0115】
この場合、
図15において、矢印R1、R2が示すように、360度画像領域GAにおける向きの変更は、HMD500の向きに応じて変化させることができる。また、
図15において、底面に示した可動範囲規制領域402の周囲の両矢印で示したように、足部用位置指示具300の前進移動、後退移動によって、HMD500のディスプレイHDPに表示された3次元空間画像の拡大、縮小を行うことができる。
【0116】
例えば、
図16に示すように、360度画像領域GAを、例えば、6個の領域GA1、GA2、GA3、GA4、GA5、GA6に分割した場合を考える。この場合、どの領域の3次元空間画像をHMD500のディスプレイHDPに表示するかは、各領域上に矢印で示したように、HMD500の向きに応じて切り替えることができる。また、表示された領域の3次元空間画像の拡大、縮小は、足部用位置検出装置400の可動範囲規制領域402の周囲に両矢印で示したように、足部用位置検出装置400の操作面401上に載置した足部用位置指示具300の前進移動、後退移動によって行うことができる。
【0117】
なお、
図15、
図16には示さなかったが、足部用位置検出装置400の操作面401上に載置した足部用位置指示具300の左移動、右移動によって、3次元空間画像における視点位置を左または右に移動させた場合の3次元空間画像を形成できる。当該3次元空間画像は、画像処理装置700の画像処理部703で形成され、HMD500に供給されてディスプレイHDPに表示させることができる。
【0118】
図17は、第2の実施の形態の足部用入力システムにおける指示入力の検出の仕方について説明するための図である。
図17(A)、(C)、(E)は、足部用位置検出装置400の操作面401と、操作面401上で移動操作される足部用位置指示具300の位置指示ユニット303L、303R、303Cの移動の状態を示している。また、
図17(B)は、
図17(A)の操作面401上に位置する足部用位置指示具300の向きを示し、
図17(D)は、
図17(C)、(E)の操作面401上に位置する足部用位置指示具300の向きを示している。
【0119】
上述したように、この第2の実施の形態においては、足部用位置検出装置400の操作面401上に規定される基準座標系は、操作面401の中心を原点Oとする。また、基準座標系のX軸、Y軸の向きは、足部用位置指示具300の3つの位置指示ユニット303L、303R、303Cによって決まる位置指示座標系のx軸、y軸によって定まる。このため、
図17(B)に示した態様で足部用位置指示具300を操作面401上に載置すると、位置指示ユニット303L、303R、303Cが形成する二等辺三角形は、
図17(A)の位置P0に位置する。
【0120】
従って、基準座標系(原点O,X軸,Y軸)と位置指示座標系(原点G,x軸,y軸)は一致する。この場合に、足部用位置指示具300を前進移動させ、位置指示ユニット303L、303R、303Cが形成する二等辺三角形を位置P1まで移動したとする。前進移動であるので、単位時間当たりに移動距離+r分移動する速さで移動していると解釈して、3次元空間画像を拡大し続けるようにする。また、足部用位置指示具300を後退移動させ、位置指示ユニット303L、303R、303Cが形成する二等辺三角形を位置P2まで移動したとする。この場合、後退移動であるので、単位時間当たりに移動距離‐r分移動する速さで移動していると解釈して、3次元空間画像を縮小し続けるようにする。
【0121】
また、足部用位置指示具300を左移動させ、位置指示ユニット303L、303R、303Cが形成する二等辺三角形を位置P3まで移動したとする。この場合、左移動であるので、単位時間当たりに移動距離‐l分移動する速さで移動していると解釈して、3次元空間において、視点を左側に移動し続けるようにする。また、足部用位置指示具300を右移動させ、位置指示ユニット303L、303R、303Cが形成する二等辺三角形を位置P4まで移動したとする。この場合、右移動であるので、単位時間当たりに移動距離+l分移動する速さで移動していると解釈して、3次元空間において、視点を右側に移動し続けるようにする。
【0122】
また、
図17(C)、(D)に示すように、足部用位置指示具300を、ソール後部301bを中心にして、ソール前部301fを回転させたとする。この場合、基準座標系(原点O,X軸,Y軸)は、位置指示座標系(原点G,x軸,y軸)に応じて回転する。従って、
図17(C)に示すように、基準座標系(原点O,X軸,Y軸)と位置指示座標系(原点G,x軸,y軸)は一致する。この状態で、足部用位置指示具300を前進移動、後退移動、左移動、右移動させた場合には、
図17(A)、(B)を用いて説明した場合と同様の指示入力を行うことができる。
【0123】
また、
図17(A)、(B)や
図17(C)、(D)を用いて説明したように、重心Gが、基準座標系のX軸上やY軸上で移動するのではなく、
図17(E)に示すように、X軸からもY軸からも離れた位置に移動したとする。原点からの移動距離nを、足部用位置検出装置400では、基準座標系上において、Y軸方向には+r分、X軸方向には-l分移動したものとして把握できる。この場合、画像処理装置700においては、左前方に向かうように3次元空間画像を拡大し続ける処理を行うことができる。
【0124】
従って、従来から入力デバイスとして用いられているいわゆるジョイスティックを例えば前側に傾けた場合に、傾けた角度に応じた速度で表示画像を拡大させるなどのことが可能であった。具体的には、ジョイスティックを、少し傾けた場合にはゆっくりと画像が変化し、大きく傾けた場合には速く画像が変化するというように、画像を変化させることができた。これと同様の指示入力を、足部用入力システムを用いて行うことができる。もちろん、拡大だけではなく、ジョイスティックを種々の方向に傾けて、表示画像を変化させる場合の指示入力と同様の指示入力を、足部用入力システムを用いて行うことができる。
【0125】
この第2の実施の形態においては、足部用位置検出装置400の操作面401上に規定される基準座標系は、操作面401の中心を原点Oとする。また、基準座標系のX軸、Y軸の向きは、足部用位置指示具300の3つの位置指示ユニット303L、303R、303Cによって決まる位置指示座標系のx軸、y軸によって定まる。このように、定まる基準座標系において、足部用位置指示具300の重心Gがどのように移動するのかを検出し、その移動速度を検出することによって、3次元空間画像の拡大縮小、左右への視点移動などを柔軟に行うことができる。
【0126】
[実施の形態の効果]
上述した実施の形態の画像処理システムでは、HMD500の回転により見る方向を変え、これに応じて3次元空間画像を変化させることができる。これに加えて、足部用入力システムを用いることにより、足部用位置検出装置400の操作面401上において、足部用位置指示具300の前進移動、後退移動、左移動、右移動を行うことによって、3次元空間画像の拡大、縮小、左移動、右移動を実現できる。
【0127】
これにより、足部用入力システムを用いた柔軟な指示入力が可能になる。また、変化する3次元空間画像と使用者の身体の動き対する感覚に差を生じさせないように、使用者の足部を用いて、画像処理装置に対して種々の情報の入力を行い、表示される3次元空間画像を変化させることができる。このように、変化する3次元空間画像と使用者の身体の動き対する感覚に差を生じさせないようにできるので、使用者において、いわゆるVR酔いといった症状を引き起こさせることも抑制できる。
【0128】
[変形例]
<位置指示ユニットの設置位置のバリエーション>
上述した第1の実施の形態では、ソール前部101に位置指示ユニット101Uを設け、ソール後部103に位置指示ユニット103Uを設けた場合を説明した。また、第2の実施の形態では、ソール後部301bに、左位置指示ユニット303L、右位置指示ユニット303R、後位置指示ユニット303Cを設けた場合を説明した。しかしこれに限るものではない。位置指示ユニットの設け方には、種々のバリエーションがある。
【0129】
図18は、足部用位置指示具の位置指示ユニット(位置指示信号送信部)の設置位置のバリエーションについて説明するための図であり、図の上側がつま先側(ソール前部)、図の下側が踵側(ソール後部)になっている。
図18(A)の足部用位置指示具300Aは、ソール後部に対して長手方向に2つの位置指示ユニット303F、303Bを設けたものである。このように、足部用位置指示具300Aの長手方向に2つの位置指示ユニット303F、303Bを設けることにより、これら2つの位置指示ユニット303F、303Bを接続する直線をy軸とし、このy軸に直交する直線をx軸とする位置指示座標系を形成して、移動方向を特定できる。
【0130】
移動量は、位置指示ユニット303Fと位置指示ユニット303Bとの内のいずれか一方を基準にして、或いは、位置指示ユニット303Fと位置指示ユニット303Bとを結ぶ線分の中点を基準にして、原点Oとの距離を移動量として求めることができる。この他にも、位置指示ユニット303Fと位置指示ユニット303Bとの一方または両方の位置に応じて特定する足部用位置指示具300Aにおける位置を、移動量を求める際の基準とすることができる。
【0131】
図18(B)の足部用位置指示具300Bは、ソール前部に長手方向に2つの位置指示ユニット306F、306Bを設けた場合を示している。従って、
図18(A)の足部用位置指示具300Aと
図18(B)の足部用位置指示具300Bとでは、位置指示ユニットを設ける位置が、踵側かつま先側かの違いがある。しかし、
図18(B)に示した足部用位置指示具300Bの場合にも、
図18(A)に示した足部用位置指示具300Aの場合と同様にして、位置指示座標系を形成して、移動方向を特定できるとともに、移動量の検出が可能である。
【0132】
図18(C)の足部用位置指示具300Cは、ソール前部に2等辺三角形を
形成するように、3つの位置指示ユニット306L、306R、306Cを設けた場合を示している。従って、
図9、
図11等を用いて説明した第2の実施の形態の足部用位置指示具300と
図18(C)の足部用位置指示具300Cとでは、位置指示ユニットを設ける位置が、踵側かつま先側かの違いがある。しかし、
図18(C)に示した足部用位置指示具300Cの場合にも、
図9、
図11等を用いて説明した第2の実施の形態の足部用位置指示具300の場合と同様にして、位置指示座標系を形成して、移動方向を特定できるとともに、移動量の検出が可能である。
【0133】
図18(D)の足部用位置指示具300Dは、ソール後部に四角形を形成するように、4つの位置指示ユニット303L、303R、303F、303Bを設けた場合を示している。この場合には、位置指示ユニット303F、303Bを接続する直線をy軸とし、位置指示ユニット303L、303Rを接続する直線をx軸とする位置指示座標系を形成して、移動方向を特定できる。この例の場合の移動量は、例えば、位置指示ユニット303L、303R、303F、303Bが形成する四角形の中心を基準にして、原点Oとの距離を移動量として求めることができる。この他にも、位置指示ユニット303L、303R、303F、303Bの1つ以上の位置に応じて特定する足部用位置指示具300Dにおける位置を、移動量を求める際の基準とすることができる。
【0134】
図18(E)の足部用位置指示具300Eは、ソール後部に2等辺三角形を形成するように、3つの位置指示ユニット303L、303R、303Cを設けると共に、ソール前部に1つの位置指示ユニット306を設けた場合を示している。また、
図18(F)の足部用位置指示具300Fは、ソール後部に2等辺三角形を形成するように、3つの位置指示ユニット303L、303R、303Cを設けると共に、ソール前部に2つの位置指示ユニット306L、306Rを設けた場合を示している。
【0135】
これら足部用位置指示具300E、300Fの場合には、
図9、
図11等を用いて説明した第2の実施の形態の足部用位置指示具300の場合と同様にして、位置指示座標系を形成して、移動方向を特定できるとともに、移動量の検出が可能である。更に、足部用位置指示具300E、300Fの場合には、ソール後部とソール前部とに位置指示ユニットを備えている。
【0136】
これにより、
図5を用いて説明したように、ソール後部(踵側)を操作面401に接触させたまま、ソール前部(つま先側)を上げれば、その高さhと角度θを求めることが可能になる。これとは逆に、ソール前部(つま先側)を操作面401に接触させたまま、ソール後部(踵側)を上げれば、その高さhと角度θを求めることが可能になる。すなわち、高さhは、位置指示ユニットから送信された信号の位置検出センサ201における電圧レベルに応じて検出可能である。
【0137】
また、角度θは、足部用位置指示具300Eの場合には、求められた高さhと、ソール後部に設けられた3つの位置指示ユニットのより形成される二等辺三角形の重心Gから位置指示ユニット306までの距離l(エル)に基づいて求めることができる。また、足部用位置指示具300Fの場合には、求められた高さhと、ソール後部に設けられた3つの位置指示ユニットにより形成される二等辺三角形の重心Gから位置指示ユニット306Lと306Rの中点までの距離l(エル)に基づいて求めることができる。
【0138】
このようにして求められる高さhや角度θを画像処理装置700に供給することにより、画像処理装置700において、種々の画像処理を行うことが可能になる。例えば、ソール前部を上げれば、3次元空間画像の拡大を行い、ソール後部を上げれば3次元空間画像の縮小を行うといった拡大縮小処理が可能になる。また、ソール前部を上げれば、3次元空間画像における視点位置を上側方向に移動させ、ソール後部を上げれば3次元空間画像における視点位置を下側方向に移動させて、その場合に見える3次元空間画像を表示する視点位置の上下移動処理が可能になる。
【0139】
なお、後者の視点位置の上下移動処理は、3次元空間画像内において、登ったり、降りたりすることを可能にするものである。従って、HMD500を装着した頭部を見上げるように動かしたり、HMD500を装着した頭部を見下ろすように動かしたりして、視点位置は変えずに見る方向を変えた場合の3次元空間画像を表示する処理とは異なる処理である。このように、ソール前部やソール後部の上げ下げにより検出できる高さhや角度θを画像処理装置700に供給することより、これを利用した新たな画像処理が可能になる。
【0140】
なお、足部用位置指示具の位置指示ユニット(位置指示信号送信部)の設置位置のバリエーションについては、
図18に示したものに限るものではない。y軸、x軸とからなる位置指示座標系を形成でき、かつ、足部用位置指示具300の移動量を検出することが可能な種々の態様で、位置指示ユニットを設けることが可能である。従って、位置指示ユニットを、三角形を形成するように配置したり、四角形を形成するように配置したりする他にも、五角形、六角形というように、多角形を形成するように配置してもよい。
【0141】
また、
図18に示した足部用位置指示具300A~300Fのそれぞれにおいて、各位置指示ユニットは、異なる周波数の送信信号を送信するものである。この場合、足部用位置検出装置400では、何処に設けられた位置指示ユニットが、どの周波数の送信信号を送信するのかを把握しており、各位置指示ユニットによる指示位置を区別して検出可能になっている。
【0142】
また、二等辺三角形を形成するようにして配置される2つの位置指示ユニットについては、同じ周波数の送信信号を送信するようにしてもよい。また、複数の位置指示ユニットを設け、予め決められた順番で、位置指示信号の送信を時分割で切り替えるようにして、位置を指示するようにしてもよい。従って、この場合には、位置指示ユニットごとに送信信号の周波数を変える必要もない。
この場合には、底辺の両端に位置するものとして認識できると共に、頂点に位置する位置指示ユニットにより、設けられた方向も認識できるためである。
【0143】
<拡大、縮小の継続>
また、上述した実施の形態では、移動方向と移動量に応じて、3次元空間画像の拡大、縮小を行うものとして説明した。しかし、更に柔軟に拡大、縮小を行うようにすることもできる。例えば、足部用位置指示具300を前進移動させ、足部用位置指示具300の可動範囲規制板304が、操作面401のリング状凸部403に係合し、移動できなくなったとする。この場合でも、ソール後部301bを踏みつけておくことで、位置指示ユニットにおいて押圧力を検出し、足部用位置検出装置400を経由して画像処理装置700に供給できる。
【0144】
そこで、画像処理装置700では、足部用位置指示具300からの押圧力が一定値以上である場合には、3次元空間画像の拡大を継続させ、押圧力が一定値よりも低下したら、3次元空間画像の拡大を停止させることができる。同様に、足部用位置指示具300を後退移動させ、足部用位置指示具300の可動範囲規制板304が、操作面401のリング状凸部403に係合し、移動できなくなったとする。この場合に、画像処理装置700では、足部用位置指示具300からの押圧力が一定値以上である場合には、3次元空間画像の縮小を継続させ、押圧力が一定値よりも低下したら、3次元空間画像の縮小を停止させることができる。
【0145】
なお、ここでは、足部用位置指示具300の位置指示ユニットからの圧力値を用いるようにしたが、これに限るものではない。例えば、足部用位置指示具300を前進移動させ、後退移動に転じるまでは、3次元空間画像の拡大を継続させるようにしてもよい。同様に、足部用位置指示具300を後退移動させ、前進移動に転じるまでは、3次元空間画像の縮小を継続させるようにしてもよい。この場合、足部用位置指示具300を前進移動させ、目的とする状態にまで3次元空間画像を拡大したら、足部用位置指示具300を僅かに後退移動させる。これにより、3次元空間画像の拡大を停止させることができる。同様に、足部用位置指示具300を後退移動させ、目的とする状態にまで3次元空間画像を縮小したら、足部用位置指示具300を僅かに前進移動させる。これにより、3次元空間画像の縮小を停止させることができる。
【0146】
<足部用位置指示具の構成について>
また、足部用位置指示具300の構成も、上述した構成に限るものではない。スリッパ、サンダル、スニーカ等のいわゆる履物と同様にして、使用者の足部に装着することが可能で、位置指示ユニットを装着(搭載)できるものであればよい。この場合、ソール前部とソール後部とを接続するソール中部は、撓む材料(素材)によって形成されていることが望ましい。上述したように、踵側を操作面401上に接触させたまま、つま先側を上げたり、つま先側を操作面401上に接触させたまま、踵側を上げたりするといった操作を容易に行えるようにするためである。
【0147】
また、上述した第2の実施の形態の足部用位置指示具300の場合には、つま先側ベルト保持部301L、301R、踵側ベルト保持部302L、302Rを備え、これらに通すベルトによって、足部用位置指示具300を使用者の足部に装着するものとした。しかし、これに限るものではない。スリッパやサンダルのように、つま先部の上側部分を覆うような保持部が予め設けられていてもよいし、スニーカなどの一般的なシューズのように、足部の側面及びつま先部の上側部分を覆うような保持部を設けてもよい。
【0148】
<モードの設定>
また、上述した実施の形態では、足部用位置指示具300の前進移動、後退移動、左移動、右移動により、画像の拡大縮小、視点の左右への移動を可能にするモードを第1モードとする。このように足部の操作により、3次元空間画像を変化させることによって、いわゆるVR酔いといった症状の発生を抑制することができる。また、足部用位置指示具300の前進移動、後退移動により、画像の拡大縮小だけを可能にするモードを第2モードとする。この場合には、VR酔の発生をさらに抑制することができる。従って、VR酔いを発生しにくい使用者は、第1モードを使用し、VR酔いを発生し易い使用者は第2モードを使用するといったモードの使い分けが可能になる。
【0149】
<扁平コイルの利用>
足部用位置指示具100、300に利用可能な共振回路用のコイルには、絶縁導線を螺旋状に巻回して円筒状に形成した円筒型コイルと、絶縁導線を例えば渦巻状に巻回して薄型に形成した扁平型コイルとがある。円筒型コイルは、高さが例えば10mm以上となる場合が多いため、足部用位置指示具100、300の使用者の踵の周囲となる部分やつま先の周囲となる部分など、足部用位置指示具100、300のいわゆるソール(靴底)部の外縁に沿って配置することが考えられる。円筒状コイルを足部用位置指示具100、300の足裏部分に配置しようとするとソールが厚くなるためである。
【0150】
これに対して、扁平型コイルの場合には、厚みが例えば数ミリ程度と薄いため、足部用位置指示具の足裏部分に配置しても、ソール部の厚みは抑えることができる。また、扁平型コイルの場合には、傾きによる磁束の変化が生じ難くなるため、物理的な動きに対して変動が少ない信号を得やすくなる。そこで、足部用位置指示具のより具体的な変形例として、扁平型コイルをソール部の足裏部分に配置して構成した足部用位置指示具800について説明する。
【0151】
図19は、扁平型コイルを用いて構成する足部用位置指示具800について説明するための図である。
図19において、
図19(A)は、足部用位置指示具800を斜め上側より見た場合の図であり、
図19(B)は、足部用位置指示具800を斜め下側より見た場合の図である。
図19(A)に示すように、足部用位置指示具800は、略長方形状のソール部801と、ソール部801の長辺のそれぞれに、ベルト保持部802a、803a、802b、803bとを設けたものである。更に、ソール部801の裏面(下側の面)には、可動範囲規制用凸部804と可動範囲認識用盤805とが設けられる。
【0152】
ソール部801、ベルト保持部802a、803a、ベルト保持部802b、803bからなる部分は、例えば、ポリカーボネイト樹脂とABS樹脂の特徴を兼ね備えた熱可逆性樹脂であるポリカABS樹脂などの柔軟性に富んだ割れにくい素材により一体に形成されている。ベルト保持部802a、803a、ベルト保持部802b、803bのそれぞれにおいて、三角形状の開口は踵固定バンド通し穴であり、その下側の細長の開口は足の甲固定バンド通し穴である。
図19(A)に示したように、ベルト保持部802aとベルト保持部802bとは鏡面対称になっている。また、ベルト保持部803aとベルト保持部803bとは鏡面対称になっている。これにより、後述もするように、足部用位置指示具800は、前後左右の向きにかかわらず、使用者の足に装着できる。
【0153】
図19(A)において、可動範囲規制用凸部804と可動範囲認識用盤805とは、ソール部801に対して取り付けられる前の状態を示している。これらは後述もするように、ソール部801の裏面に対して取り付けられるものである。可動範囲規制用凸部804と可動範囲認識用盤805とは、ポリアセタール(POM)樹脂などの耐摩耗性と滑り性とが良好な素材を用いて形成される。可動範囲認識用盤805は、
図19(A)に示したように、所定の厚みを有し、内部に円形凹部と矩形凹部とからなるコイル等固定凹部が2つ設けられている。
【0154】
可動範囲認識用盤805の一方のコイル等固定凹部には、扁平コイル806aと回路基板807aとが嵌め込まれ、他方のコイル等固定凹部には、扁平コイル806bと回路基板807bとが嵌め込まれる。回路基板807a、807bのそれぞれには、コンデンサ等の回路部品が搭載されており、扁平コイル806aと回路基板807aとで1つの共振回路が構成され、扁平コイル806aと回路基板807aとで他の1つの共振回路が構成される。これにより、可動範囲認識用盤805には、2つの共振回路が搭載される。なお、扁平コイル806aと回路基板807aとで構成される共振回路と、扁平コイル806bと回路基板807bとで構成される共振回路とでは、共振周波数が異なる。
【0155】
図19(B)に示すように、可動範囲規制用凸部804は、ソール部801の裏面の一方の端部に固定され、可動範囲認識用盤805は、ソール部801の裏面の他方の端部に固定される。可動範囲規制用凸部804は、例えば、足部用位置検出装置400の操作面の外縁に係合し、足部用位置検出装置400の操作面401の範囲を認識できるようにするものである。可動範囲認識用盤805は、内部に搭載された共振回路が位置指示ユニットとして機能し、足部用位置検出装置400に対して位置指示を行う機能を実現する。
【0156】
図20は、扁平型コイルを用いて構成した足部用位置指示具800について説明するための図であり、足部用位置指示具800を上面(表面)側から見た場合を示している。このため、ソール部801の裏面に取り付けられる可動範囲規制用凸部804、可動範囲認識用盤805等は点線で示している。足部用位置指示具800においては、扁平型コイル806a、806bのそれぞれの中心が、矢印を付した点線で示したソール部801の中心線上に位置するように配置されている。この配置は、
図18(A)、(B)に示した配置に対応する。
【0157】
これにより、足部用位置指示具800を足部用位置検出装置400上で前後左右に移動させた場合に、扁平型コイル806a、806bと、足部用位置検出装置400との間で磁界の送受を行うことにより移動に応じた位置を指示できる。従って、足部用位置指示具800を、上述した第2の実施の形態の足部用位置指示具300と同様にして、足部用位置検出装置400上で用いることができる。
【0158】
図21は、足部用位置指示器800の使用者の足部への取り付け態様について説明するための図である。
図19(A)、
図20に示し、上述もしたように、ベルト保持部802aとベルト保持部803aとは鏡面対称になっており、ベルト保持部802bとベルト保持部803bとは鏡面対称になっている。このため、足部用位置指示具800は、使用者の足部の前後左右の向きにかかわらず、使用者の足部に固定できる。
【0159】
すなわち、
図21(A)に示すように、可動範囲規制用凸部804をつま先側にし、可動範囲認識用盤805を踵側にして使用者の足部に固定することができる。また、
図21(B)に示すように、可動範囲規制用凸部804を踵側にし、可動範囲認識用盤805をつま先側にして使用者の足部に固定することができる。また、使用者の左右のいずれの側の足部に対しても同様に固定することができる。
【0160】
なお、
図21(A)、(B)を用いて説明したように、足部用位置指示具800は、使用者の足部に対して異なる向きで装着することが可能である。この場合において、足部用位置指示具800の向き、すなわち、扁平型コイル806aと扁平型コイル806bとについて、使用者の足部に対して、どちらが前側(つま先側)に位置し、どちらが後側(踵側)に位置するのかは、ソフトウエア上で設定する。簡単には、可動範囲認識用盤805がつま先側に位置している場合には、足部に対して扁平型コイル
806aが前側で扁平型コイル806bが後側に位置していると設定できる。また、可動範囲認識用盤805が踵側に位置している場合には、足部に対して扁平型コイル806bが後側で扁平型コイル806aが前側に位置していると設定できる。
【0161】
また、
図20を用いて説明したように、扁平型コイル806a、806bは、それぞれ中心がソール部801の中心線上に位置するように配置されている。すなわち、扁平型コイル806a、806bは、ソール部801の長手方向に対して前後に配置されている。このため、例えば、
図21(A)に示したように、使用者の足部の踵側に可動範囲認識用盤805が位置するように足部用位置指示具800を装着した場合、踵側は足部用位置検出装置400の操作面401上から離さずにつま先を上げるようにしたとする。
【0162】
この場合、足部のより後側に位置する扁平型コイル806bからの磁界(信号)は強いままであるが、足部のより前側に位置する扁平型コイル806aからの磁界(信号)は弱くなるか、或いは、磁界(信号)が検出できなくなる。このような磁界の強い、弱い又は検出不可は、足部用位置検出装置400側で検知可能であるため、これを例えば、ボタンスイッチ機能の入力動作に適用できる。すなわち、
図21(A)に示した態様で足部用位置指示具800を使用者の足部に装着した場合、つま先を上げたらスイッチオン、つま先を下げたらスイッチオフといった動作に応じた処理が可能になる。より具体的には、つま先を上げたらジャンプするなどの動作に応じた処理が可能になる。
【0163】
同様に、
図21(B)に示したように、使用者の足部のつま先側に可動範囲認識用盤805が位置するように足部用位置指示具800を装着した場合には、つま先は足部用位置検出装置400の操作面401上から離さずに踵を上げるようにしたとする。この場合、足部のより前側に位置する扁平型コイル806bからの磁界(信号)は強いままであるが、足部のより後側に位置する扁平型コイル806aからの磁界(信号)は弱くなるか、或いは、磁界が検出できなくなる。このため、
図21(B)に示した態様で足部用位置指示具を使用者の足部に装着した場合、踵を上げたらスイッチオン、踵を下げたらスイッチオフといった動作に応じた処理が可能になる。より具体的には、踵を上げたら(つま先立ちしたら)ジャンプするなどの動作に応じた処理が可能になる。
【0164】
また、扁平型コイル806aと扁平型コイル806bの磁界(信号)の強度の差に応じて、つま先や踵がどれだけ挙げられているのかを推定し、俯角や仰角を定め、表示画像を変化させるといった処理も可能である。また、扁平型コイルを用いる場合であっても、
図18(A)、(B)に示した態様だけでなく、
図18(C)~(F)に示した態様で、扁平コイルを配置することも可能である。
【0165】
また、
図19~
図21を用いて説明した足部用位置指示具800の場合には、扁平型コイル806a、806bのそれぞれに対して、コンデンサを接続することにより共振回路を構成するものとして説明した。しかし、これに限るものではない。更に、扁平型コイルとコンデンサとにより構成される共振回路に対して、更に圧力センサを並列に接続して、
図3を用いて説明した態様の位置指示ユニットを構成し、これを用いるようにすることももちろん可能である。
【0166】
また、上述した足部用位置指示具800の場合、共振周波数の異なる2つの共振回路を搭載した構成となるため、足部用位置検出装置400側でスキャンを行わせる共振周波数の数を2つにすることができる。すなわち、共振周波数の異なる3つ以上の共振回路を搭載した足部用位置指示具よりも、検出すべき共振周波数の数を少なくできるので、スキャンレートを向上させ、より高頻度の指示位置情報の取得が可能になる。
【0167】
また、ベルト保持部802a、802b、ベルト保持部803a、803bに通すベルトの長さを調整することにより、使用者の足部の足裏に対して、可動範囲規制用凸部804と可動範囲認識用盤805の位置を調整することも可能である。これにより、足部用位置指示具800を、使用者ごとに使用し易いと感じる態様で、足部に対して装着することが可能になる。すなわち、使用者ごとに足部用位置指示具の使用感を向上させることができる。
【0168】
なお、足部用位置指示具800のベルト保持部802を含むつま先側を取り除いて、ベルト保持部803と可動範囲認識用盤805で構成される踵部を足裏の土踏まずに配置する構成であってもよい。すなわち、足部用位置指示具は、ベルト保持部803と可動範囲認識用盤805で構成されるより簡略化したものとすることも可能である。
【0169】
<その他の変形例>
第2の実施の形態の場合には、画像処理装置700に対して指示を出し、HMD500に表示する3次元空間画像を変化させるようにしたが、これに限るものではない。第1の実施の形態の場合のように、ディスプレイDPに表示させる画像を変化させる場合にも、第2の実施の形態の足部用位置指示具300と足部用位置検出装置400とからなる足部用入力システムを用いることもできる。
【0170】
基準座標系の原点Oは、
図10(A)に示したように、足部用位置検出装置400の操作面401上に設けられる円形状の可動範囲規制領域402の中心に固定とするものとして説明したが、これに限るものではない。例えば、上述した第2の実施の形態の足部用位置指示具300と足部用位置検出装置400とからなる足部用入力システムを用いる場合を例に考える。
【0171】
この場合の位置指示座標系は、上述したように、位置指示ユニット303L、303R、303Cの位置に応じて特定される。そして、ソール後部301bを押圧するようにし、位置指示ユニット303L、303R、303Cの1つ以上で、所定値以上の圧力が検出された場合の重心Gの位置を原点Oとする。この後、位置指示ユニット303L、303R、303Cに係る圧力が低下し、前進移動、後退移動、左移動、右移動された場合に、特定された位置指示座標系において、特定した原点Oから、どの方向にどれだけ重心Gが移動したのかを検知するようにできる。従って、この例の場合には、ソール後部301bを押圧するようにし、位置指示ユニット303L、303R、303Cの1つ以上で、所定値以上の圧力が検出されるごとに、重心Gの位置を原点Oとするようにできる。
【0172】
また、上述した第2の実施の形態において、HMD500は、ディスプレイHDPと6軸センサを備えるものとして説明したが、これに限るものではない。HMD500は、カメラ機能を備え、HMD500を頭部に装着した使用者の向いている方向の画像を撮影して画像処理装置700に供給するようにしてもよい。この場合、画像処理装置700において、HMD500からの撮影画像にアバターなどの画像を加えるなどの画像処理を施した3次元空間画像データを形成し、これをHMD500に供給して表示することができる。このように、HMD500には、HMD500に搭載されたカメラを通じて、リアルタイムに撮影した画像に処理を加えて形成した3次元画像データに応じた3次元空間画像を表示することも可能である。
【0173】
上述した実施の形態の説明からも分かるように、請求項における足部用位置指示具の機能は、実施の形態の足部用位置指示具300等が実現している。また、請求項のソール部、ソール前部、ソール後部の機能は、実施の形態のソール部301、ソール前部301f、ソール後部301bが実現している。また、請求項の位置指示信号送信部の機能は、実施の形態の位置指示ユニット303L、303R、303C等が実現している。
【0174】
また、請求項の足部用位置検出装置の機能は、実施の形態の足部用位置検出装置400等が実現している。また、請求項の位置検出センサの機能は、実施の形態の位置検出センサ201が実現し、請求項の検出回路の機能は、実施の形態の位置検出回路202が実現している。また、請求項における操作面の機能は、実施の形態の操作面401が実現している。請求項における装着部材の機能は、実施の形態におけるベルト保持部301L、301R、302L、302Rに取り付けられるベルトが実現する。
【0175】
上述した第2の実施の形態の足部用位置指示具300と足部用位置検出装置400とからなる足部用入力システムで行われる移動方向を検出して、画像処理装置700に供給する一連の方法が、足部用入力システムを用いた指示入力方法の一実施の形態である。
【符号の説明】
【0176】
100…足部用位置指示具、101…ソール前部、101U…位置指示ユニット、101L…コイル、101C…コンデンサ、101P…圧力センサ、102…ソール中部、103…ソール後部、103U…位置指示ユニット、103L…コイル、103C…コンデンサ、103P…圧力センサ、200…足部用位置検出装置、201…位置検出センサ、201X…X軸方向ループコイル群、X1~X40…ループコイル、201Y…Y軸方向ループコイル群、Y1~Y30…ループコイル、202…位置検出回路、204…発振器、205…電流ドライバ、206…選択回路、207切り替え接続回路、208…受信アンプ、209…位置検出用回路、210…圧力検出用回路、211…制御部、300、300A~300F…足部用位置指示具、301…ソール部、301f…ソール前部、301c…ソール中部、301b…ソール後部、301L、301R…つま先側ベルト保持部、302…踵側固定部、302L、302R…踵側ベルト保持部、302a…底面部、302SL、302SR…ソール保持部、303L…左位置指示ユニット、303R…右位置指示ユニット、303C…後位置指示ユニット、303F、303B…位置指示ユニット、306F、306B…位置指示ユニット、306L、306R、306C…位置指示ユニット、304…可動範囲規制板、G…重心、400…足部用位置検出装置、401…操作面、402…可動範囲規制領域、403…リング状凸部、404…認識用溝部、405…内壁部、0…原点、800…足部用位置指示具、801…ソール部、802a、802b…ベルト保持部、803a、803b…ベルト保持部、804…可動範囲規制用凸部、805…可動範囲認識用盤、806a、806b…扁平型コイル、807a、807b…回路基板