特許 6805524 入力装置、入力プログラム、及び入力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6805524

(24)【登録日】2020年12月8日

(45)【発行日】2020年12月23日

(54)【発明の名称】入力装置、入力プログラム、及び入力方法

(51)【国際特許分類】

   G06F 3/038 20130101AFI20201214BHJP

   G06F 3/0482 20130101ALI20201214BHJP

【ＦＩ】

   G06F3/038 310A

   G06F3/0482

【請求項の数】10

【全頁数】40

(21)【出願番号】特願2016-69428(P2016-69428)

(22)【出願日】2016年3月30日

(65)【公開番号】特開2017-182500(P2017-182500A)

(43)【公開日】2017年10月5日

【審査請求日】2019年1月15日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(74)【代理人】

【識別番号】100099025

【弁理士】

【氏名又は名称】福田 浩志

(72)【発明者】

【氏名】河合 淳

【審査官】 木内 康裕

(56)【参考文献】

【文献】 特開２０１４−１９１６２９（ＪＰ，Ａ）

【文献】 特開２０１２−０４３１９５（ＪＰ，Ａ）

【文献】 特開２０１１−０８１４８０（ＪＰ，Ａ）

【文献】 特開２０１５−１３３０８８（ＪＰ，Ａ）

【文献】 特開平１０−３２０１６７（ＪＰ，Ａ）

【文献】 特開２０１２−０３３１０４（ＪＰ，Ａ）

【文献】 特開平１０−１６１８０１（ＪＰ，Ａ）

【文献】 特開２０１５−０８７９２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３−３／０３９

Ｇ０６Ｆ ３／０４８−３／０４８９

(57)【特許請求の範囲】

【請求項1】

入力操作用のアイコンを含む複数の仮想表面であって、かつ複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が操作者から見て奥行き方向に位置するほど、前記アイコンの大きさが大きい前記複数の仮想表面を、前記操作者から見て奥行き方向に並べて配置し、かつ複数の前記仮想表面を透過させて３次元表示部に表示させる制御部と、
前記操作者の視点の位置を取得する視点取得部と、
前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する仮想表面に含まれる前記アイコンを選択する選択部と、
を備え、
前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の奥行き位置であって、かつ前記選択部により選択された前記アイコンとは異なる位置に、前記操作者から入力された情報を表示するように前記３次元表示部を制御する、
入力装置。

【請求項2】

前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の透過の度合いが低くなるように制御する
請求項１に記載の入力装置。

【請求項3】

前記仮想表面の各々は、前記仮想表面と異なる他の仮想表面と表示が重ならない位置にタブ領域を有する
請求項１又は請求項２に記載の入力装置。

【請求項4】

前記操作者の意思表示に関する情報を取得する意思取得部と、
前記意思取得部によって取得された前記操作者の意思表示に関する情報に基づいて、前記操作者の操作の種別を判定する判定部とを更に含み、
前記選択部は、前記選択された前記アイコンと、前記判定部によって判定された前記操作の種別とに基づいて、前記アイコンの選択を確定するか否かを判定する
請求項１〜請求項３の何れか１項に記載の入力装置。

【請求項5】

前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の表示の鮮明度合いが他の仮想表面の鮮明度合いに比べ高くなるように制御する
請求項１〜請求項４の何れか１項に記載の入力装置。

【請求項6】

前記操作者の頭部の位置及び角度を取得する頭部状態取得部を更に含み、
前記制御部は、前記頭部状態取得部によって検出された前記位置及び前記角度に基づいて、複数の前記仮想表面の表示位置を制御する
請求項１〜請求項５の何れか１項に記載の入力装置。

【請求項7】

複数の前記仮想表面に含まれる前記アイコンの各々は、前記アイコンの少なくとも一部分が、前記アイコンを含む前記仮想表面とは異なる他の仮想表面に含まれる前記アイコンと重ならないように配置される
請求項１〜請求項６の何れか１項に記載の入力装置。

【請求項8】

複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が前記操作者から見て奥行き方向に位置するほど、隣に配置された前記アイコンとの間隔が広い、
請求項１〜請求項７の何れか１項に記載の入力装置。

【請求項9】

入力操作用のアイコンを含む複数の仮想表面であって、かつ複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が操作者から見て奥行き方向に位置するほど、前記アイコンの大きさが大きい前記複数の仮想表面を、前記操作者から見て奥行き方向に並べて配置し、かつ複数の前記仮想表面を透過させて３次元表示部に表示させ、
前記操作者の視点の位置を取得し、
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記アイコンを選択し、
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の奥行き位置であって、かつ選択された前記アイコンとは異なる位置に、前記操作者から入力された情報を表示するように前記３次元表示部を制御する、
処理をコンピュータに実行させる入力プログラム。

【請求項10】

入力操作用のアイコンを含む複数の仮想表面であって、かつ複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が操作者から見て奥行き方向に位置するほど、前記アイコンの大きさが大きい前記複数の仮想表面を、前記操作者から見て奥行き方向に並べて配置し、かつ複数の前記仮想表面を透過させて３次元表示部に表示させ、
前記操作者の視点の位置を取得し、
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記アイコンを選択し、
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の奥行き位置であって、かつ選択された前記アイコンとは異なる位置に、前記操作者から入力された情報を表示するように前記３次元表示部を制御する、
処理をコンピュータに実行させる入力方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、入力装置、入力プログラム、及び入力方法に関する。

【背景技術】

【0002】

従来、視点位置データに基づき視線検出成功、視線検出失敗、まばたき中、同じ選択肢を選択しているなどの検出結果状況を判断し、その判断結果に応じて検出結果状況を表す検出結果情報を文字の選択枠の色を変えて利用者に通知する装置が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１−２５９２２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

両手を使用しない又は使用できない環境において、従来技術のように視線検出を用いて入力操作を行うことが考えられる。しかし、多様な入力操作を行う場合には、多数のアイコンを表示装置に表示する必要がある。視線検出を用いて入力操作を行う場合、多数のアイコンが表示装置に表示されている状態では、スムーズに入力操作を行うことができない場合がある。

【0005】

１つの側面として、本発明は、入力操作をスムーズに行うことを目的とする。

【課題を解決するための手段】

【0006】

１つの実施態様では、入力操作用のアイコンを含む複数の仮想表面を、操作者から見て奥行き方向に並べて配置し、かつ複数の前記仮想表面を透過させて３次元表示部に表示させる。そして、前記操作者の視点の位置を取得する。そして、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する仮想表面に含まれる前記アイコンを選択する。

【発明の効果】

【0007】

１つの側面として、入力操作をスムーズに行うことができる、という効果を有する。

【図面の簡単な説明】

【0008】

【図1】複数のアイコンを含む表示面における操作者の視線を説明するための図である。

【図2】本実施形態の操作用の３次元表示画像を説明するための説明図である。

【図3】第１実施形態の入力装置のブロック図である。

【図4A】仮想表面の一例を説明するための説明図である。

【図4B】仮想表面の一例を説明するための説明図である。

【図5】仮想表面の一例を説明するための説明図である。

【図6】両眼Head Mounted Display（ＨＭＤ）の一例を示す図である。

【図7】裸眼３Ｄディスプレイの一例を示す図である。

【図8】複数の透明ディスプレイの一例を示す図である。

【図9】装着型の両眼アイマークレコーダの一例を示す図である。

【図10】３Ｄ表示部と視線検出部との構成例を示す図である。

【図11】３Ｄ表示部と視線検出部との構成例を示す図である。

【図12】３Ｄ表示部と視線検出部との構成例を示す図である。

【図13】３Ｄ表示部と視線検出部との構成例を示す図である。

【図14】操作者の視点の位置の取得方法を説明するための説明図である。

【図15】口の形の変化の検出を説明するための説明図である。

【図16】操作入力部と判定処理部との処理の流れを説明するための説明図である。

【図17】操作入力部と判定処理部との処理の流れを説明するための説明図である。

【図18】操作入力部と判定処理部との処理の流れを説明するための説明図である。

【図19A】入力表示面の位置を制御する方法の一例を説明するための説明図である。

【図19B】仮想表面の透過の度合いを制御する方法の一例を説明するための説明図である。

【図20】アイコンのサイズが制御された仮想表面の一例を説明するための説明図である。

【図21】アイコンが重ならないように制御された仮想表面の一例を説明するための説明図である。

【図22】アイコンが重ならないように制御された各仮想表面の一例を説明するための説明図である。

【図23】アイコンの形状及び色が制御された仮想表面の一例を説明するための説明図である。

【図24】第１実施形態の入力装置として機能するコンピュータの概略構成を示すブロック図である。

【図25】第１実施形態の制御処理の一例を示すフローチャートである。

【図26】タブが付与された仮想表面の一例を説明するための説明図である。

【図27】仮想表面の内側にタブが付与された場合の例を説明するための説明図である。

【図28】鮮明度合いが制御された仮想表面の一例を説明するための説明図である。

【図29】第４実施形態の入力装置のブロック図である。

【図30】操作者の頭部の位置に応じて仮想表面の位置を制御する方法の一例を説明するための説明図である。

【図31】運動視差を説明するための説明図である。

【図32】第４実施形態の入力装置として機能するコンピュータの概略構成を示すブロック図である。

【図33】第４実施形態の制御処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して開示の技術の一例を詳細に説明する。

【0010】

＜本実施形態の概要＞
まず、各実施形態の詳細を説明する前に、本実施形態の概要について説明する。

【0011】

オフィス、屋外での作業中、または公共の場所など様々な環境下で、スムーズな入力操作が必要となる状況が増加している。例えば、両手を他の作業に使用していることにより入力デバイスを操作できない場合、混雑状況下で入力デバイスを操作できない場合、また、身体障害等により両手を使用できない場合など、両手を使えない状態で入力操作が必要とされる場合がある。そのため、両手を使わずに、スムーズに入力操作できる技術が求められている。

【0012】

本実施形態は、情報端末における入力操作技術に関し、特に、両手を使用しないまたは使用出来ない環境における入力操作技術に関するものである。

【0013】

図１に操作者の視線の移動を説明するための図を示す。図１に示すように、複数のアイコン４が１つの表示面１Ａに配置されている場合、アイコン４の配置の記憶は困難になる。そのため、操作者が目的のアイコン４を探索する場合に、操作者は多くのアイコン４を識別する必要が生じ、操作者の視線の移動の経路２Ａは長くなる。また、目的のアイコン４以外での視線の滞留時間が長くなる。

【0014】

一方、図１の表示面１Ｂに示すように、１面あたりのアイコン数を少なくすることにより、操作者がアイコン４の配置を記憶することが容易になる。そのため、識別対象となるアイコンの数が減少し、目的のアイコン４以外での視線の滞留時間が短くなる。また、操作者の視線の移動の経路２Ｂは短くなる。

【0015】

そこで、本実施形態では、両眼立体視が生じる３Ｄ表示部を用いて、入力に必要となる入力操作用の多数のアイコンを、奥行き方向を含めて３次元的に表示する。そして、視線を検出する視線検出部を用いて、操作者の３次元の視点の位置を検出し、操作者が選択しているアイコンを特定する。

【0016】

例えば、本実施形態では、図２に示すような操作用の３次元表示画像５を操作者に対して表示する。図２に示すように、操作用の３次元表示画像５には、複数の奥行き方向の位置に対応して各々設定した仮想的な表示面（以下、仮想表面と称する。）５Ａ，５Ｂ，５Ｃ，５Ｄが含まれている。図２では、仮想表面が４つである場合を示している。操作用の３次元表示画像５は、３次元空間において複数のアイコン４を複数の仮想表面に配置して半透過で表示する。また、３次元表示画像５は、入力表示面５Ｎを含む。入力表示面５Ｎによって、操作者の操作に応じて入力された文字等が表示される。

【0017】

また、本実施形態では、１つの仮想表面あたりに含まれるアイコンの数を少なくし、かつアイコン１つあたりのサイズを大きくする。

【0018】

本実施形態のように、半透過で表示されたアイコン４を３次元配置することにより、以下の（１）〜（３）の効果が期待される。

【0019】

（１）一覧性の向上
本実施形態では、半透過で表示されたアイコンを３次元に配置することにより、操作者は、全てのアイコンを一度に目視可能となる。更に、奥行き方向に並ぶアイコンをずらして配置することにより、見かけ上のアイコンの重なりが削減される。また、後述する運動視差を利用することにより、操作者は少し頭を動かす自然な動作で、奥行き方向に重なったアイコンも分離して見ることができる。このように、多数のアイコンの表示の一覧性を向上させ、表示ページの切り替えを伴わない直接的な選択と入力操作を可能にする。

【0020】

（２）探索し易さの向上
本実施形態では、従来の上下左右方向のアイコンの探索方向に加えて、奥行き方向の自由度が追加される。すなわち、奥行き方向を探索してから上下左右方向を探索する場合と、上下左右方向を探索してから奥行き方向を探索する場合との２つの探索方法が考えられる。これにより、各操作者の記憶状態、好み、探索対象のアイコンなどの相違によって、その時々の探索し易さに応じて、両方の探索方法を使い分けることができる。

【0021】

（３）選択性の向上
本実施形態では、「見る」という行為だけでアイコンの選択が可能なため、選択の迷いや間違いが少ない。例えば、アイコンの選択に複数回の選択及び確定操作が必要な場合、必要な選択を完全に記憶していないときや操作上などで誤選択してしまったときには、戻って選びなおす必要がある。

【0022】

例えば、表示ページの切り替え操作や、コンテキストメニューやフリック入力などの連続した複数回の選択及び確定操作や、テンキーでの文字入力のような選択後の連続確定操作などが、アイコンの選択に複数回の選択及び確定操作が必要な場合として挙げられる。

【0023】

しかし、本実施形態では、「見る」という行為だけでアイコンの選択が可能なため、選択の迷いや間違いが少なく、上記のような、誤選択及び戻って選び直すことが少ない。

【0024】

また、１面に全てのアイコンを配置するよりも、複数面に分割して配置した方が、操作者はアイコンの配置を記憶し易く、また操作者にとって探索し易い。また、１面あたりのアイコンの数が少ない方が、操作者がアイコンの配置を記憶し易く探索し易いため、視線の移動が少なくなる。

【0025】

視線の移動の観点から、複数の仮想表面を奥行き方向に配置することの優位性について説明する。例えば、複数の表示面を３次元に配置する場合と、分割した表示面を同一平面上に配置する場合とを比較すると、複数の表示面を３次元に配置する場合は、以下の（１）及び（２）の点で優位である。

【0026】

（１）複数のアイコンを入力する場合の、１選択あたりの平均的な視線の角度と移動量とが少なくて済む。
（２）検出すべき視線角度の範囲が狭くて済む。

【0027】

また、複数の表示面を３次元に配置する場合と、複数の表示面を同一奥行面上において表示を切り替える場合とを比較すると、複数の表示面を同一奥行面上において表示を切り替える場合は、以下の点で不利である。すなわち、表示されていない表示面については、入力したいアイコンがどの面にあるのかを操作者が記憶しておくか、実際に表示の切り替えをして確認する必要があり、操作者の負担が増加する。

【0028】

以上説明したように、３Ｄ表示を用いて、アイコンを含む仮想表面を３次元的に配置して表示し、３次元で操作者の視点の位置を検出して操作対象のアイコンを特定することで、多数のアイコンの一覧性と選択性とを向上させることができる。

【0029】

更に、本実施形態では、操作者から入力される複数種類の入力操作が判別される。例えば、カメラによって取得された口の形の変化や、咽頭マイクによって取得された小音量の発声音パターンなどに基づいて、入力操作が判別される。

【0030】

これにより、選択されたアイコンの素早い入力の確定のほか、使用頻度の高い入力操作（例えば、かな・漢字変換、Backspace（ＢＳ）、カーソル移動など）については、アイコンの選択を必要としない直接操作を可能にする。そのため、よりスムーズで多様な入力操作が実現される。

【0031】

以下、実施形態について詳述する。なお、以下の各実施形態では、操作者の視点の位置に応じてアイコンを選択する入力装置を例に説明する。

【0032】

＜第１実施形態＞
図３に示すように、第１実施形態に係る入力装置５０は、３Ｄ表示部５２と、視線検出部５４と、操作入力部５６と、制御部５８とを備えている。

【0033】

３Ｄ表示部５２は、複数の仮想表面を、操作者から見て奥行き方向に並べて配置し、かつ複数の仮想表面を透過させて３次元表示する。仮想表面の各々は、入力操作用のアイコン４を含んでいる。３Ｄ表示部５２は、後述する表示処理部６０によって生成された３次元表示画像を表示することにより、複数の仮想表面を３次元表示する。例えば、３Ｄ表示部５２によって、上記図２に示すような複数の仮想表面（５Ａ，５Ｂ，５Ｃ，５Ｄ）が３次元表示される。なお、最下層の仮想表面は透過させて表示してもよいし、透過させずに表示してもよい。例えば、上記図２に示す最下層の仮想表面５Ｄは、透過させて表示してもよいし、透過させずに表示してもよい。

【0034】

仮想表面に含まれる入力操作用のアイコンの一例を図４Ａ及び図４Ｂに示す。図４Ａに示す複数の仮想表面５Ａ，５Ｂ，５Ｃ，５Ｄ，５Ｅでは、主としてひらがなとアイコン４とが対応付けられている。また、仮想表面に含まれるアイコン「切替」が選択されることによって、図４Ｂに示す複数の仮想表面５Ａ，５Ｂ，５Ｃ，５Ｄ，５Ｅに切り替わる。複数の仮想表面５Ａ，５Ｂ，５Ｃ，５Ｄ，５Ｅでは、英字及び記号がアイコン４に対応付けられている。また、同様に、仮想表面５Ａ，５Ｂ，５Ｃ，５Ｄ，５Ｅに含まれるアイコン「切替」が選択されることによって、ひらがなはカタカナに切り替わる。

【0035】

また、入力操作用のアイコン４の他の例を図５に示す。図５に示す複数の仮想表面５Ａ，５Ｂ，５Ｃ，５Ｄでは、主としてローマ字とアイコン４とが対応付けられている。図５に示すアイコン４が選択されることによって、ローマ字入力が行われる。

【0036】

３Ｄ表示部５２は、例えば、両眼Head Mounted Display（ＨＭＤ）表示型のディスプレイや、裸眼立体視型のディスプレイによって実現される。

【0037】

図６に、両眼ＨＭＤ表示型のディスプレイ５２Ａの一例を示す。両眼ＨＭＤ表示型のディスプレイとしては、非透過型ＨＭＤと透過型ＨＭＤとがある。非透過型ＨＭＤについては、操作者６が非透過型ＨＭＤを装着すると外の様子を見ることはできない。一方、透過型ＨＭＤについては、操作者６が透過型ＨＭＤを装着しても外の様子を見ることができる。

【0038】

非透過型ＨＭＤは、四肢の身体障害者向けや、ＶＲゲーム向け（例えば、両手は、ゲーム操作のコントローラに使用される。）などでの、文字入力や操作入力の際に用いられる。

【0039】

透過型ＨＭＤは、保守、点検、又は組立など作業者向け（例えば、両手は工具等のために使用される。）のAugmented Reality（ＡＲ）作業支援システムでの、文字入力や操作入力の際に用いられる。また、透過型ＨＭＤは、競技場でのスポーツ観戦時の、目視内容(カメラ付きＨＭＤの場合)やＡＲ情報表示に対するソーシャルネットワークコミュニケーション向けの文字入力や操作入力の際に用いられる。

【0040】

裸眼立体視型のディスプレイとしては、例えば、レンチキュラレンズ式３Ｄディスプレイや、ホログラム式立体映像表示装置や、複数の透明ディスプレイを使用する方式などがある。

【0041】

図７に、レンチキュラレンズ式３Ｄディスプレイ５２Ｂの一例を示す。レンチキュラレンズ式３Ｄディスプレイ５２Ｂは、図７に示すように、ディスプレイ５２Ｃ上にレンズ５２Ｄを備え、操作者の両眼立体視が生じるような構成となっている。

【0042】

また、図８に、複数の透明ディスプレイ５２Ｅを使用する方式の一例を示す。複数の透明ディスプレイ５２Ｅは、操作者の両眼立体視が生ずるような構成となっている。

【0043】

裸眼立体視型のディスプレイは、四肢の身体障害者向けや、ＴＶゲーム向け（例えば、両手は、ゲーム操作のコントローラに使用される。）などでの、文字入力や操作入力の際に用いられる。また、裸眼立体視型のディスプレイは、デジタルサイネージや観光案内表示板などでのインタラクティブ操作のほか、特定の施設（例えば、エンターテインメントなど）での、表示物に対する情報表示や入力などの操作の際に用いられる。

【0044】

視線検出部５４は、操作者の視線を表す情報を取得する。例えば、視線検出部５４は、操作者の視線を表す情報として、操作者の両眼の画像を取得する。

【0045】

３Ｄ表示部５２として両眼ＨＭＤ表示型のディスプレイを用いる場合、視線検出部５４は３Ｄ表示部５２に備えられる。

【0046】

また、３Ｄ表示部５２として裸眼立体視型のディスプレイを用いる場合、３Ｄ表示部５２に固定される方式や、装着型の両眼アイマークレコーダを使用する方式などがある。

【0047】

例えば、視線検出部５４が３Ｄ表示部５２に固定される方式を用いる場合、可動式ズームカメラを用いて操作者の視線に関する情報を取得する。なお、入力装置５０に全景撮影用カメラが備えられている場合には、全景撮影用カメラを高解像度カメラとし、全景撮影用カメラと視線検出用カメラとを兼ねる構成としてもよい。

【0048】

図９に、装着型の両眼アイマークレコーダ５４Ａの一例を示す。両眼アイマークレコーダ５４Ａには、右眼用のセンサ５４Ｂと左眼用のセンサ５４Ｃとが備えられており、操作者の両眼の角膜反射の撮像画像が取得される。

【0049】

図１０〜図１３に、３Ｄ表示部５２と視線検出部５４との構成例を示す。

【0050】

図１０及び図１１は、３Ｄ表示部５２として透過型ＨＭＤ５２Ａを用いた場合の例である。

【0051】

図１０に示すように、透過型ＨＭＤ５２Ａによって仮想表面が表示され、操作者６によって作業コメント等が入力される。本実施形態の入力装置５０によって作業者の支援が行われるため、両手で作業をしながらコメントを入力することができる。

【0052】

また、図１１に示すように、透過型ＨＭＤ５２Ａによって仮想表面が表示され、操作者６によってメータ２３の値等が入力される。図１１に示すような構成例は、例えば、工場施設や機体整備など保守点検業務の端末として用いられる。

【0053】

図１２及び図１３は、３Ｄ表示部５２として裸眼立体視型のディスプレイ５２Ｂを用いた場合の例である。

【0054】

図１２に示すように、案内表示板としての裸眼立体視型のディスプレイ５２Ｂが３Ｄ表示部５２として機能し、操作者６が案内表示板を目視し、付加情報を取得したり、質問を入力すること等ができる。なお、操作者の視線はカメラ５４Ｄによって取得される。

【0055】

また、図１３に示すように、案内表示板としての裸眼立体視型のディスプレイ５２Ｂが３Ｄ表示部５２として機能し、デジタルサイネージや、施設案内端末等として用いることができる。なお、操作者の視線はカメラ５４Ｄによって取得される。

【0056】

本実施形態では、３Ｄ表示部５２が裸眼立体視型のディスプレイ５２Ｂによって実現される場合を例に説明する。また、本実施形態では、視線検出部５４がカメラ５４Ｄによって実現され、かつ３Ｄ表示部５２に固定される場合を例に説明する。

【0057】

操作入力部５６は、操作者の意思表示を表す情報を取得する。例えば、操作入力部５６は、操作者を表す画像又は操作者が発した音を取得する。操作入力部５６は、開示の技術の意思取得部の一例である。

【0058】

操作入力部５６は、操作者の顔面撮影用のカメラ、咽頭マイク、又は呼気スイッチ等によって実現される。

【0059】

顔面撮影用のカメラによって操作入力部５６が実現される場合、操作入力部５６は、操作者の顔を表す画像を取得する。

【0060】

操作入力部５６が咽頭マイクによって実現される場合、操作入力部５６は、操作者が発した音を取得する。咽頭マイクは、操作者が発する単純音を取得する。

【0061】

咽頭マイクと単純音とを用いることにより、口を閉じたままなど、はっきりした発声をすることなく、小音量による操作入力が実現される。例えば、オフィス程度の騒音環境より環境音が大きい場所であれば、ほぼ周囲に迷惑かけることなく操作が可能となる。

【0062】

操作入力部５６が呼気スイッチによって実現される場合、操作入力部５６は、操作者が発した呼気を取得する。

【0063】

なお、操作入力部５６としては複数のボタンスイッチによって実現してもよい。例えば、手による操作の通常ボタン、足による操作の通常ボタン、指の引っ張りの動きを取得するグローブ型などのウェアラブル入力装置によって実現されていてもよい。

【0064】

本実施形態では、操作入力部５６が顔面撮影用のカメラによって実現される場合を例に説明する。

【0065】

制御部５８は、視線検出部５４によって取得された操作者の顔を表す画像と、操作入力部５６によって取得された操作者の意思表示を表す情報とに基づいて、３Ｄ表示部５２の表示を制御する。制御部５８は、図３に示すように、表示処理部６０と、視点取得部６２と、判定処理部６４と、表示データ処理部６６と、入力処理部６８とを備えている。表示データ処理部６６は、開示の技術の選択部の一例である。判定処理部６４は、開示の技術の判定部の一例である。

【0066】

表示処理部６０は、後述する表示データ処理部６６及び入力処理部６８によって出力された制御信号に応じて、操作用の３次元表示画像を生成する。そして、表示処理部６０は、生成した３次元表示画像を３Ｄ表示部５２に対し出力する。

【0067】

操作用の３次元表示画像では、複数の仮想表面が、操作者から見て奥行き方向に並べて配置されている。また、複数の仮想表面は透過されて表示される。

【0068】

視点取得部６２は、視線検出部５４によって取得された操作者の両眼を表す画像に基づいて、３次元空間における操作者の視点の位置を取得する。

【0069】

図１４に、操作者の視点の位置の取得方法を説明するための図を示す。図１４に示すように、操作者の両眼中心位置を原点とする直交三軸座標系のｘ軸、ｙ軸、ｚ軸上の単位ベクトルをそれぞれｉ，ｊ，ｋとし、右眼の視線方向を示す単位ベクトルをｕ＝（ｌ，ｍ，ｎ）とすると、右眼の視線方向を示す直線は以下の（１）式で示される。なお、（ｘ０，ｙ０，ｚ０）は操作者の視点の位置、２Ｅは操作者の両眼間距離である。

【0070】

【数1】

【0071】

上記（１）式におけるｉ，ｊ，ｋは一次独立であるから、

【0072】

【数2】

【0073】

となる。ｌ，ｍ，ｎは視線方向を示す直線の方向余弦とする。同様に、左眼の視線方向を示す単位ベクトルをｖ＝（ｐ，ｑ，ｒ）とすると、左眼の視線方向を示す直線は、

【0074】

【数3】

【0075】

となる。上記(２)、(３)式より、以下の(４)式が成立する。

【0076】

【数4】

【0077】

そして、係数行列をＨ、右辺の定数項の行列をＣとおくと、以下に示す（５）式となる。

【0078】

【数5】

【0079】

なお、上記（５）式におけるＴは転置行列を示す。

【0080】

【数6】

【0081】

したがって、視点取得部６２は、上記（６）式を計算することで、操作者の視点の位置（ｘ０，ｙ０，ｚ０）を算出する。

【0082】

なお、座標系は、両眼中心位置を原点とするものに限らず、固定の表示装置や地点を基準にする場合や、操作開始時点の両眼中心を用いて頭部の位置の角度変化を反映させるなどしてもよい。本実施形態では、上記（６）式に従って算出された視点の位置を、世界座標系の視点の位置に変換し、世界座標系の視点の位置を後述する処理において用いる。

【0083】

判定処理部６４は、操作入力部５６によって取得された操作者の意思表示に関する情報に基づいて、操作者の操作の種別を判定する。操作の種別の判定内容としては、例えば、以下の（１）〜（５）が挙げられる。

【0084】

（１）選択されたアイコンの入力の確定
（２）かな漢字変換
（３）１文字削除（Back Space）
（４）カーソル移動（上、下、左、右）
（５）コンテキストメニュー表示

【0085】

顔面撮影用のカメラによって操作入力部５６が実現される場合、例えば、判定処理部６４は、操作入力部５６によって取得された画像に基づいて、図１５に示すように、口の形の変化を検出する。そして、判定処理部６４は、口の形に応じて予め対応付けられた操作の種別に基づいて、操作者の操作の種別を判定する。

【0086】

例えば、選択されたアイコンの入力の確定が「あ」の形に対応付けられ、入力の変換が「い」の形に対応付けられ、１文字削除（Back Space）が舌出しに対応付けられている。なお、顔面撮影用のカメラは、視線検出用のカメラと兼用してもよいし、別のカメラを用意してもよい。

【0087】

図１６に、操作入力部５６Ａが顔面撮影用のカメラによって実現される場合の処理の流れの概要を示す。図１６に示すように、操作入力部５６Ａの顔面撮影用のカメラによって操作者の顔を表す画像が取得され、判定処理部６４Ａによって、顔検出、口パーツ抽出、及び口形状の識別の各処理が行われる。

【0088】

操作入力部５６が咽頭マイクによって実現される場合、判定処理部６４は、操作入力部５６によって取得された単純音に基づいて、操作者の操作を判定する。

【0089】

例えば、判定処理部６４は、以下に示す（１）〜（５）に示すように単純音と操作の種別とが予め対応付けられた情報と、操作者が発した単純音とに基づいて、操作者の操作の種別を判定する。

【0090】

操作判定処理（判定割り当て例）
（１）選択されたアイコンの入力の確定：低音かつ短音 「ン"」
（２）１文字削除（Back Space）：高音かつ短音 「ム」
（３）変換：低音かつ中長音 「ヴン"」
（４）カーソル移動左←：低音かつ長音 「ヴーーー」
（５）カーソル移動右→：高音かつ長音 「ムーーー」

【0091】

図１７に、操作入力部５６が咽頭マイクによって実現される場合の処理の流れの概要を示す。図１７に示すように、操作入力部５６Ｂの咽頭マイクによって操作者が発した音が取得され、判定処理部６４Ｂによって、入力された音を判定する音入力判定、及び判定された音に対応付けられた操作の種別を判定する操作音識別の各処理が行われる。

【0092】

操作入力部５６が呼気スイッチによって実現される場合、判定処理部６４は、操作入力部５６によって取得された呼気に基づいて、操作者の操作を判定する。

【0093】

例えば、判定処理部６４は、以下に示す（１）〜（５）に示すように割り当てられた、操作者が発した呼気と操作とに応じて、操作者の操作を判定する。

【0094】

操作判定処理（判定割り当て例）
（１）選択されたアイコンの入力の確定：吐く（短） 「フ」
（２）１文字削除（Back Space）：吸う（長く） 「スーー」
（３）変換：吸う（短） 「スゥ」
（４）カーソル移動左←：吐く（長く） 「フー」
（５）カーソル移動右→：吐く（短連続で２回） 「フフ」

【0095】

図１８に、操作入力部５６が呼気スイッチによって実現される場合の処理の流れの概要を示す。図１８に示すように、操作入力部５６Ｃの呼気スイッチを構成する圧電素子によって操作者が発した呼気が電圧値に変換されて取得される。そして、判定処理部６４Ｃによって、取得された電圧値に基づく加圧パターンが示す呼気に対応付けられた操作の種別を判定する加圧パターン識別の処理が行われる。

【0096】

本実施形態では、判定処理部６４は、操作入力部５６Ａによって取得された画像に基づいて、上記図１５に示すように、操作者の口の形を検出する。そして、判定処理部６４Ａは、操作者の口の形に基づいて、上記図１６に示すように、操作者の操作の種別を判定する。

【0097】

表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置と、判定処理部６４によって判定された操作の種別とに基づいて、表示処理部６０によって生成される３次元表示画像を制御する。

【0098】

例えば、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に基づいて、操作者の視点の位置に対応するアイコン４を選択する。そして、表示データ処理部６６は、選択されたアイコン４が選択状態であることを表す操作用の３次元表示画像を生成するように、表示処理部６０へ制御信号を出力する。

【0099】

また、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置と、判定処理部６４によって判定された操作の種別とに基づいて、アイコン４の選択を確定するか否かを判定する。例えば、表示データ処理部６６は、操作の種別が「確定」である場合には、アイコン４の選択を確定する。

【0100】

そして、表示データ処理部６６は、アイコン４が確定状態であるような３次元表示画像を生成するように、表示処理部６０へ制御信号を出力する。また、表示データ処理部６６は、選択が確定されたアイコン４に対応するキーの情報（例えば文字「Ａ」等）を、入力処理部６８へ出力する。

【0101】

一方、表示データ処理部６６は、操作の種別が「確定」以外である場合（例えば、「入力の変換」「１文字削除」等）である場合には、操作の種別に応じた情報を、入力処理部６８へ出力する。

【0102】

また、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に応じて仮想表面の透過の度合いが変更された３次元表示画像を生成するように、表示処理部６０へ制御信号を出力する。

【0103】

具体的には、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に基づいて、視点の位置に対応する仮想表面とは異なる他の仮想表面の透過の度合いが高くなるように制御する。

【0104】

例えば、表示データ処理部６６は、操作者の視点の位置の奥行き方向の位置ｘ０で対応する仮想表面より手前の仮想表面の透過度を高くするように制御する。そして、表示データ処理部６６は、操作者の視点の位置が手前に戻れば、手前の仮想表面の透過度を元に戻すというように制御を行う。なお、仮想表面の１００％の透過は、透過表示した層を再度「見る」ことが出来なくなるため、例えば、仮想表面の枠のみが１００％透過しないように制御される。

【0105】

また、例えば、表示データ処理部６６は、視点の位置の仮想表面より手前の仮想表面のアイコン４の背景面（例えば、ウィンドウ）を透過度１００％になるように制御する。アイコン４本体と背景面の透過度を個別に変更し、奥側の表示面を注視し易くしながら、手前側のアイコン４の選択も容易になる。

【0106】

また、例えば、表示データ処理部６６は、視点の位置の奥行き方向の位置ｘ０で対応する仮想表面より手前、またはその他の仮想表面のアイコン４内の表示（例えば、文字刻印など）の透過度を高くするように制御する。

【0107】

また、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に応じて仮想表面の透過の度合いが変更された３次元表示画像を生成するように、表示処理部６０へ制御信号を出力する。

【0108】

また、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に基づいて、操作者の視点の位置の奥行き方向の位置ｘ０で対応する仮想表面の位置に応じて、入力表示面の位置を制御する。例えば、表示データ処理部６６は、図１９Ａに示すように、文字入力のための入力表示面５Ｎの奥行き方向の位置を、視点の位置の仮想表面の奥行き位置に移動させるように制御する。図１９Ａに示すように、操作者の視点の位置が仮想表面５Ａに含まれるアイコン４に対応している場合、表示データ処理部６６は、視点の位置に対応する仮想表面５Ａの奥行き位置に、入力表示面５Ｎが表示されるように制御する。また、操作者の視点の位置が仮想表面５Ａから仮想表面５Ｂのアイコン４へ移動した場合、表示データ処理部６６は、仮想表面５Ｂの奥行き位置に入力表示面５Ｎが表示されるように制御する。選択状態のアイコン４の仮想表面と入力表示面の奥行き方向の位置を合わせることで、不要な奥行き方向の視線移動が防止される。

【0109】

図１９Ｂに、表示データ処理部６６の処理の一例を説明するための説明図を示す。

【0110】

まず、図１９Ｂの場面７Ａに示すように、操作者の視点の位置が視点取得部６２によって取得される。場面７Ａでは、操作者の視点が、操作者から見て最も手前の仮想表面５Ａに位置していると検出される。

【0111】

そして、場面７Ａに示すように、操作者の視点によって「ａ」に対応するアイコン４が選択され、操作者の入力の確定操作によりアイコン４の文字「ａ」が入力される。

【0112】

この場合、図１９Ｂの場面７Ａに示すように、「ａ」に対応するアイコン４が選択状態であることを表す３次元表示画像が操作者に対して表示された後、「ａ」に対応するアイコン４が確定状態であることを表す操作用の３次元表示画像が操作者に対して表示される。また、上記図１９Ａにおいて説明したように、入力表示面５Ｎは、仮想表面５Ａと同じ奥行き位置に表示される。

【0113】

次に、図１９Ｂの場面７Ｂにおいて、操作者の視点の位置が手前から２層目の仮想表面５Ｂへ移動したことが視点取得部６２によって検出されると、表示データ処理部６６は、１層目の仮想表面５Ａの透過の度合いを引き上げるように制御する。また、表示データ処理部６６は、上記図１９Ａにおいて説明したように、入力表示面５Ｎの表示位置を、操作者の視点の位置に合わせて１層目の仮想表面５Ａから２層目の仮想表面５Ｂの奥行き位置に移動させるように制御する。

【0114】

場面７Ｂの例では、操作者の視点の位置が２層目の仮想表面５Ｂに移動した場合、表示データ処理部６６は、１層目の仮想表面５Ａの背景の透過の度合いを１００％、１層目の仮想表面５Ａのアイコン４上の文字の透過の度合いを引き上げるように制御する。

【0115】

なお、場面７Ｂに示すように、「ｋ」に対応するアイコン４が選択状態であることを表す操作用の３次元表示画像が操作者に対して表示される。なお、図１９Ａでは、アイコン内に示される斜線が選択状態であることを表し、アイコン内に示されるドットが確定状態を表す。

【0116】

次に、場面７Ｂにおいて選択された「ｋ」に対応するアイコン４に対する、操作者の入力の確定操作が行われることなく、場面７Ｃに示すように、操作者の視点の位置が２層目の仮想表面５Ｂ上で移動し、アイコン４「ｏ」が選択される。また、入力表示面５Ｎの表示位置が、仮想表面５Ｂの奥行き位置に表示されるように制御される。そして、「ｏ」が選択状態であることを表す操作用の３次元表示画像が表示される。そして、操作者の入力の確定操作によって、アイコン４の文字「ｏ」が入力表示面５Ｎに反映される。

【0117】

また、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に基づいて、視点の位置の奥行き方向の位置ｘ０に対応する仮想表面の透過の度合いが低くなるように制御してもよい。

【0118】

また、表示データ処理部６６は、複数の仮想表面に含まれるアイコン４の各々は、仮想表面の位置が操作者から見て奥行き方向に位置するほど、アイコン４の大きさが大きくなるように、仮想表面の表示を制御してもよい。また、表示データ処理部６６は、複数の仮想表面に含まれるアイコン４の各々は、仮想表面の位置が操作者から見て奥行き方向に位置するほど、隣に配置されたアイコン４との間隔が広くなるように、仮想表面の表示を制御してもよい。

【0119】

図２０に、奥行き方向に位置するほど、アイコン４の大きさが大きくなり、かつ隣に配置されたアイコン４との間隔が広くなるように制御された仮想表面の一例を示す。図２０に示すように、１層目の仮想表面５Ａのアイコン４、２層目の仮想表面５Ｂのアイコン４、及び３層目の仮想表面５Ｃのアイコン４は、仮想表面の階層に応じて大きさが制御されている。

【0120】

図２０に示すように仮想表面を制御することにより、奥行き方向の視点先のアイコン４の検出が容易になる。操作者の視点の位置が奥行き方向に行くほど、アイコン４のサイズと間隔を広くすることにより、遠い位置でのアイコン４間の視線の移動角度が大きくなる。すなわち、手前にある仮想表面上での視線の移動量と、奥行き方向に遠い位置にある仮想表面上での視線の移動量とを同等にすることができ、視点の位置の検出が容易になる。

【0121】

また、表示データ処理部６６は、アイコン４の少なくとも一部分が、アイコン４を含む仮想表面とは異なる他の仮想表面に含まれるアイコン４と重ならないように配置するように、仮想表面の表示を制御してもよい。

【0122】

図２１に、アイコン４が重ならないように配置された仮想表面の一例を示す。図２１は、複数の仮想表面を真正面から見た場合の、見かけ上のアイコン４の配置の例である。図２１では、アイコン４のカッコ内の表記が各仮想表面（５Ａ〜５Ｅ）に対応し、例えばアイコン４（５Ａ）は、仮想表面５Ａに含まれるアイコン４を表す。図２１に示すように、操作者の視線上において、各仮想表面のアイコン４があまり重ならないように配置される。

【0123】

図２２に、アイコン４が重ならないように配置された各層の仮想表面の例を示す。図２２に示すように、各仮想表面の表示サイズは異なり、操作者から見て手前の仮想表面のアイコン４は小さく表示され、操作者から見て奥の仮想表面のアイコン４は大きく表示されるように制御される。

【0124】

また、アイコン４の種類に応じてアイコン４が複数の仮想表面に分類されて配置されていてもよい。例えば、１層目にはひらがなのアイコン４を含む仮想表面が表示され、２層目には英字のアイコン４を含む仮想表面が表示され、３層目には数字を含む仮想表面が表示されるようにしてもよい。

【0125】

また、アイコン４の各々の形状又は色が、アイコン４の選択によって入力される情報の種類に応じて定められているようにしてもよい。

【0126】

さらに、アイコン４の各々の形状又は色が、仮想表面内のアイコン４の位置に応じて定められているようにしてもよい。

【0127】

図２３に、アイコン４の各々の形状及び色が、アイコン４の選択によって入力される情報の種類に応じて定められ、かつ仮想表面内のアイコン４の位置に応じて定められている場合の一例を示す。

【0128】

人間の視覚認識特性により、形と色とは独立して処理される。また、文字よりも、形と色の方が速く認識される。この特性を利用して、文字毎に異なる形状と色のアイコン４を使用することで、操作者の文字とアイコン４との配置の関連付け記憶が促進され、選択操作のアイコン探索の時間短縮が可能になる。

【0129】

また、異なる表示画面においては、同じ色や形が使われていても、識別への影響が少ないという特性がわかっている。この特性を利用して、奥行き方向に異なる表示面では、他の表示面と同じ色や形状を使ってもアイコン識別への影響が少なくて済む。

【0130】

従って、操作者によるアイコン４の識別が向上する。

【0131】

入力処理部６８は、表示データ処理部６６によって選択が確定されたアイコン４に対応するキーの情報を取得する。そして、入力処理部６８は、選択が確定されたアイコン４に対応するキーが、入力表示面に表示されるように、表示処理部６０へ制御信号を出力する。

【0132】

また、入力処理部６８は、表示データ処理部６６によって出力された操作の種別に応じた状態を入力表示面に反映するように、表示処理部６０へ制御信号を出力する。

【0133】

入力装置５０の制御部５８は、例えば図２４に示すコンピュータ８０で実現することができる。コンピュータ８０はＣＰＵ８１、一時記憶領域としてのメモリ８２、及び不揮発性の記憶部８３を備える。また、コンピュータ８０は、入出力Ｉ／Ｆ８４と、記録媒体８９に対するデータの読み込み及び書き込みを制御するｒｅａｄ／ｗｒｉｔｅ（Ｒ／Ｗ）部８５と、インターネット等のネットワークに接続されるネットワークＩ／Ｆ８６とを備える。ＣＰＵ８１、メモリ８２、記憶部８３、入出力Ｉ／Ｆ８４、Ｒ／Ｗ部８５、及びネットワークＩ／Ｆ８６は、バス８７を介して互いに接続される。

【0134】

記憶部８３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部８３には、コンピュータ８０を入力装置５０の制御部５８として機能させるための入力プログラム９０が記憶される。入力プログラム９０は、表示処理プロセス９２と、視点取得処理プロセス９３と、判定処理プロセス９４と、表示データ処理プロセス９５と、入力処理プロセス９６とを有する。

【0135】

ＣＰＵ８１は、入力プログラム９０を記憶部８３から読み出してメモリ８２に展開し、入力プログラム９０の各々が有するプロセスを順次実行する。

【0136】

ＣＰＵ８１は、表示処理プロセス９２を実行することで、図３に示す表示処理部６０として動作する。また、ＣＰＵ８１は、視点取得処理プロセス９３を実行することで、図３に示す視点取得部６２として動作する。また、ＣＰＵ８１は、判定処理プロセス９４を実行することで、図３に示す判定処理部６４として動作する。また、ＣＰＵ８１は、表示データ処理プロセス９５を実行することで、図３に示す表示データ処理部６６として動作する。また、ＣＰＵ８１は、入力処理プロセス９６を実行することで、図３に示す入力処理部６８として動作する。

【0137】

このように、入力プログラム９０を実行したコンピュータ８０が、入力装置５０として機能することになる。

【0138】

なお、入力プログラム９０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。

【0139】

次に、図２５を参照して、本実施形態に係る入力装置５０の作用について説明する。

【0140】

図２５は、入力装置５０の制御部５８で実行される制御処理のフローの一例を示す。

【0141】

入力装置５０の３Ｄ表示部５２によって操作用の３次元表示画像が表示され、視線検出部５４によって操作者の両眼の画像が逐次取得され、操作入力部５６によって操作者の顔画像が逐次取得されているときに、図２５に示す制御処理ルーチンが実行される。

【0142】

＜制御処理ルーチン＞

【0143】

ステップＳ１０において、視点取得部６２は、視線検出部５４によって取得された操作者の両眼を表す画像を取得する。

【0144】

ステップＳ１２において、視点取得部６２は、上記ステップＳ１０で取得された操作者の両眼を表す画像に基づいて、上記（１）式〜（３）式に従って、操作者の視線ベクトルを検出する。

【0145】

ステップＳ１４において、視点取得部６２は、上記ステップＳ１２で検出された視線ベクトルに基づいて、上記（４）式〜（６）式に従って、操作者の視点の位置を算出する。

【0146】

ステップＳ１６において、視点取得部６２は、上記ステップＳ１４で算出された操作者の視点の位置に基づいて、世界座標系の視点の位置を算出する。

【0147】

ステップＳ１８において、表示データ処理部６６は、上記ステップＳ１６で算出された操作者の視点の位置に基づいて、視点の位置に対応する位置に、操作可能なアイコン４が表示されているか否かを判定する。視点の位置に対応する位置に、操作可能なアイコン４が表示されている場合には、ステップＳ２０へ進む。一方、視点の位置に対応する位置に、操作可能なアイコン４が表示されていない場合には、ステップＳ２２へ進む。

【0148】

ステップＳ２０において、表示データ処理部６６は、上記ステップＳ１６で算出された操作者の視点の位置に対応するアイコン４を選択する。そして、表示データ処理部６６は、選択されたアイコン４が選択状態であることが表示された操作用の３次元表示画像を生成するように、表示処理部６０へ制御信号を出力する。表示処理部６０は、出力された制御信号に応じて、操作用の３次元表示画像を生成する。そして、表示処理部６０は、生成した操作用の３次元表示画像を３Ｄ表示部５２に対し出力する。そして、３Ｄ表示部５２は、表示処理部６０によって生成された操作用の３次元表示画像を操作者に対し表示する。

【0149】

ステップＳ２２において、表示データ処理部６６は、上記ステップＳ１６で得られた操作者の視点の位置に基づいて、仮想表面の透過の度合いを変更する。また、表示データ処理部６６は、上記ステップＳ１６で得られた操作者の視点の位置に応じて仮想表面の透過の度合いが変更された操作用の３次元表示画像を生成するように、表示処理部６０へ制御信号を出力する。表示処理部６０は、出力された制御信号に応じて、操作用の３次元表示画像を生成する。そして、表示処理部６０は、生成した操作用の３次元表示画像を３Ｄ表示部５２に対し出力する。３Ｄ表示部５２は、表示処理部６０によって生成された操作用の３次元表示画像を操作者に対し表示する。

【0150】

ステップＳ２４において、判定処理部６４は、操作入力部５６によって取得された操作者の画像を取得する。

【0151】

ステップＳ２６において、判定処理部６４は、上記ステップＳ２４で取得された画像に基づいて、操作者の操作を判定する。操作者の操作の種別が判定された場合には、ステップＳ２８へ進む。一方、何れの操作の種別にも判定されなかった場合には、操作者の操作が無いと判断し、ステップＳ１０へ戻る。

【0152】

ステップＳ２８において、判定処理部６４は、上記ステップＳ２６での判定結果に基づいて、操作の種別は入力の確定の操作であるか否かを判定する。操作の種別が入力の確定の操作である場合には、ステップＳ３０へ進む。一方、操作の種別が入力の確定の操作でない場合には、ステップＳ３４へ進む。

【0153】

ステップＳ３０において、表示データ処理部６６は、上記ステップＳ２０で選択された選択中のアイコンがあるか否かを判定する。選択状態のアイコンがある場合には、ステップＳ３２へ進む。一方、選択中のアイコン４がない場合には、ステップＳ１０へ戻る。

【0154】

ステップＳ３２において、表示データ処理部６６は、上記ステップＳ１６で取得された操作者の視点の位置に対応する、選択状態のアイコン４の表示が確定状態であるような３次元表示画像を生成するように、表示処理部６０へ制御信号を出力する。また、表示データ処理部６６は、選択が確定されたアイコン４に対応するキーの情報を、入力処理部６８へ出力する。

【0155】

ステップＳ３４において、入力処理部６８は、上記ステップＳ３２で出力されたキーの情報を取得する。そして、入力処理部６８は、選択が確定されたアイコン４に対応するキーが、入力表示に表示されるように、表示処理部６０へ制御信号を出力する。また、入力処理部６８は、上記ステップＳ２８で出力された操作の種別に応じた状態を入力表示面に反映するように、表示処理部６０へ制御信号を出力する。

【0156】

ステップＳ３６において、表示処理部６０は、上記ステップＳ３４で出力された制御信号に応じて、操作用の３次元表示画像を生成する。そして、表示処理部６０は、生成した表示画像を３Ｄ表示部５２に対し出力する。

【0157】

３Ｄ表示部５２は、生成された操作用の３次元表示画像を操作者に対し表示する。

【0158】

以上説明したように、本実施形態の入力装置５０は、入力操作用のアイコン４を含む複数の仮想表面を、操作者から見て奥行き方向に並べて配置し、かつ複数の仮想表面を透過させて３次元表示部に表示させる。そして、入力装置５０は、操作者の視点の位置に基づいて、視点の位置に対応するアイコン４を選択する。これにより、操作者は、入力操作をスムーズに行うことができる。

【0159】

また、本実施形態の入力装置５０は、多様な入力操作に対応する多数のアイコン４を、一覧性及び選択性が向上するように配置するため、操作者はアイコン４をスムーズに選択して操作することができる。

【0160】

＜第２実施形態＞
次に、第２実施形態に係る入力装置について説明する。第２実施形態では、仮想表面がタブ領域を有している。なお、第２実施形態に係る入力装置の構成は、図３に示す第１実施形態に係る入力装置５０の構成と同様であるため、同一符号を用いて、異なる部分について説明する。

【0161】

第２実施形態では、仮想表面毎にタブ領域が設けられ、操作者がタブ領域に視線を向けることで、操作者による視線の奥行き方向の注視が容易になる。なお、各仮想表面のタブ領域は他の仮想表面と重ならない部分に設けられる。

【0162】

図２６に、第２実施形態の仮想表面の一例を示す。図２６に示すように、仮想表面の各々は、当該仮想表面と異なる他の仮想表面と表示が重ならない位置にタブ領域３４を有している。

【0163】

第２実施形態の表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に基づいて、当該視点の位置の奥行き方向の位置ｘ０で対応する仮想表面とは異なる他の仮想表面の透過の度合いを制御する。例えば、表示データ処理部６６は、タブ領域が操作者によって注視された場合、当該タブ領域３４を有する仮想表面より手前の仮想表面の透過の度合いを高くするように制御する。

【0164】

なお、表示データ処理部６６は、仮想表面の透過の度合いを変更した場合も、タブ領域３４の透過の度合いは変化させないように制御してもよい。これにより、視点を合わせた仮想表面より手前の仮想表面に視点を戻すのが容易になる。

【0165】

なお、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に基づいて、当該視点の位置の奥行き方向の位置ｘ０に対応する仮想表面の透過の度合いが低くなるように制御してもよい。

【0166】

そして、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に応じて、仮想表面の透過の度合いが変更された操作用の３次元表示画像を生成するように、表示処理部６０へ制御信号を出力する。

【0167】

図２６を参照して、第２実施形態の表示データ処理部６６の処理の一例を説明する。

【0168】

まず、図２６の場面３０に示すように、操作者の視点の位置が視点取得部６２によって取得される。場面３０では、操作者の視点が、操作者から見て最も手前の仮想表面５Ａに位置していると検出される。

【0169】

そして、場面３０に示すように、操作者の視点によって「ａ」に対応するアイコン４が選択され、操作者の入力の確定操作により、選択されたアイコン４の文字「ａ」が入力される。

【0170】

この場合、図２６の場面３０に示すように、「ａ」に対応するアイコン４が選択状態であることを表す操作用の３次元表示画像が操作者に対して表示される。その後、「ａ」に対応するアイコン４が確定状態であることを表す操作用の３次元表示画像が操作者に対して表示される。また、入力表示面５Ｎは、仮想表面５Ａと同じ奥行き位置に表示される。

【0171】

次に、図２６の場面３１において、操作者の視点の位置が手前から２層目の仮想表面５Ｂへ移動したことが視点取得部６２によって検出されると、表示データ処理部６６は、１層目の仮想表面５Ａの透過の度合いを引き上げるように制御する。また、表示データ処理部６６は、入力表示面５Ｎの表示位置を、操作者の視点の位置に合わせて１層目の仮想表面５Ａから２層目の仮想表面５Ｂの奥行き位置に移動させるように制御する。

【0172】

場面３１の例では、操作者の視点の位置が２層目の仮想表面５Ｂに移動した場合、表示データ処理部６６は、１層目の仮想表面５Ａの背景の透過の度合いを１００％、１層目の仮想表面５Ａのアイコン４上の文字の透過の度合いを引き上げるように制御する。なお、タブ領域３４の透過の度合いは変更しない。

【0173】

なお、場面３１に示すように、「ｋ」のアイコン４が選択状態であることを表す操作用の３次元表示画像が操作者に対して表示される。

【0174】

次に、場面３１において選択されたアイコン４「ｋ」に対する操作者の入力の確定操作が行われることなく、場面３２に示すように、操作者の視点の位置が２層目の仮想表面５Ｂ上で移動し、「ｏ」のアイコン４が選択される。そして、「ｏ」が選択状態であることを表す操作用の３次元表示画像となる。そして、操作者の入力の確定操作によって、選択されたアイコン４の文字「ｏ」が入力表示面５Ｎに反映される。

【0175】

次に、場面３３に示すように、操作者の視点の位置が、２層目の仮想表面５Ｂから４層目の仮想表面５Ｄのタブ領域３４に移動する。

【0176】

そして、場面３５に示すように、１層目の仮想表面５Ａと同様に、２層目の仮想表面５Ｂ及び３層目の仮想表面５Ｃの透過度が高くなるように制御される。また、入力表示面５Ｎも４層目の仮想表面５Ｄの奥行き位置に移動される。

【0177】

なお、図２７に示すように、タブ領域３４を仮想表面の中央部に配置してもよい。タブ領域３４が中央部に配置されることにより、アイコン４の背景面外側にタブ領域３４が配置された場合に比べ、タブ領域３４を見るときの視線の上下左右移動が少なくなり、奥行き方向の素早い注視移動が可能となる。

【0178】

次に、第２実施形態に係る入力装置の作用について、第１実施形態と異なる点を説明する。

【0179】

上記第１実施形態では、上記図２５の制御処理ルーチンにおいて、ステップＳ２０で操作者の視点の位置に対応するアイコンの選択が行われた後に、ステップＳ２２において仮想表面の透過の度合いの制御が行われる。しかし、第２実施形態では、操作者の視点の位置に対応するタブ領域を含む仮想表面と異なる仮想表面の透過の度合いが制御される点が、第１実施形態の処理フローと異なる。

【0180】

以上説明したように、第２実施形態に係る入力装置において、仮想表面の各々は、当該仮想表面と異なる他の仮想表面と表示が重ならない位置にタブ領域を有する。そして、入力装置は、操作者の視点の位置に基づいて、視点の位置に対応するタブ領域を有する仮想表面とは異なる他の仮想表面の透過の度合いを制御する。これにより、入力操作をスムーズに行うことができる。

【0181】

また、操作者はタブ領域に視線を向ければよいため、奥行き方向の注視が容易になる。そのため、入力操作をスムーズに行うことができる。

【0182】

＜第３実施形態＞
次に、第３実施形態に係る入力装置について説明する。第３実施形態では、仮想表面の表示の鮮明度合いを制御する。なお、第３実施形態に係る入力装置の構成は、図３に示す第１又は第２実施形態に係る入力装置５０の構成と同様であるため、同一符号を用いて、異なる部分について説明する。

【0183】

第３実施形態の表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に基づいて、仮想表面の表示の鮮明度合いを制御する。

【0184】

例えば、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に基づいて、視点の位置の奥行き方向の位置ｘ０に対応する仮想表面の表示の鮮明度合いが高くなるように制御する。また、表示データ処理部６６は、視点取得部６２によって取得された操作者の視点の位置に基づいて、視点の位置の奥行き方向の位置ｘ０に対応する仮想表面とは異なる他の仮想表面の表示の鮮明度合いが低くなるように制御する。

【0185】

第３実施形態では、操作者の視点の位置の奥行き方向の位置ｘ０に対応する仮想表面以外の仮想表面の鮮明度を低下させ、視点が対応する仮想表面を注視し易くする。鮮明度を変更する方法としては、例えば、アンシャープネスフィルタ処理を用いる。

【0186】

図２８に、仮想表面の表示の鮮明度の変更を説明するための図を示す。図２８の例は、視点の位置の奥行き方向の位置ｘ０に対応する仮想表面と他の仮想表面の各々との距離に応じて、他の仮想表面の各々の表示の鮮明度が変更された例である。また、図２８の例は、仮想表面の表示をぼかすためのフィルタとして、ガウスフィルタが使用された例である。

【0187】

図２８の場面３７に示すように、１層目の仮想表面５Ａに操作者の視点の位置が対応しているため、２層目、３層目、４層目の仮想表面５Ｂ〜５Ｄの鮮明度が低くなるように制御される。また、図２８の場面３７の下段に示すように、視点の位置の奥行き方向の位置ｘ０に対応している仮想表面から遠い仮想表面ほど、鮮明度が低くなるように制御される。

【0188】

次に、図２８の場面３８において、２層目の仮想表面５Ｂに操作者の視点の位置が対応しているため、１層目、３層目、４層目の仮想表面５Ａ、５Ｃ、５Ｄの鮮明度が低くなるように制御される。また、同様に、図２８の場面３８の下段に示すように、視点の位置が対応している仮想表面から遠い仮想表面ほど、鮮明度が低くなるように制御される。

【0189】

図２８の場面３９において、４層目の仮想表面５Ｄのタブ領域３４に操作者の視点の位置が対応し、１層目、２層目、３層目の仮想表面５Ａ〜５Ｃの鮮明度が低くなるように制御される。また、同様に、図２８の場面３９の下段に示すように、視点の位置が対応している仮想表面から遠い仮想表面ほど、鮮明度が低くなるように制御される。

【0190】

以上説明したように、第３実施形態に係る入力装置において、操作者の視点の位置に基づいて、仮想表面の表示の鮮明度合いを制御する。これにより、入力操作をスムーズに行うことができる。

【0191】

また、視点が対応する仮想表面以外の仮想表面の鮮明度を低下させ、視点に対応する仮想表面が注視し易くなることにより、操作者は入力操作をスムーズに行うことができる。

【0192】

＜第４実施形態＞
次に、第４実施形態に係る入力装置について説明する。第４実施形態では、操作者の頭部の位置に応じて仮想表面の表示を制御する。なお、第４実施形態に係る入力装置において、第１〜第３実施形態に係る入力装置と同様の部分には、同一符号を付して詳細な説明を省略する。

【0193】

図２９に示すように、第４実施形態に係る入力装置４５０は、３Ｄ表示部５２と、視線検出部５４と、操作入力部５６と、頭部位置角度検出部４５７と、制御部４５８とを備えている。頭部位置角度検出部４５７は、開示の技術の頭部状態取得部の一例である。

【0194】

頭部位置角度検出部４５７は、操作者の頭部の位置及び角度を取得する。頭部位置角度検出部４５７は、様々な方式によって実現される。図３０に、頭部位置角度検出部４５７を実現する方式の例を示す。

【0195】

図３０に示すように、例えば、操作者が装着するＨＭＤの通信部４２Ａと所定の箇所に固定された複数の通信部４２Ｂとが、無線によって通信を行うことにより、操作者の頭部の位置及び角度を取得することができる。

【0196】

また、図３０に示すように、操作者が装着するＨＭＤの予め定めた位置に付されたマーカ（図示省略）と、固定側カメラ４３によって撮像された画像とに基づく方式により、操作者の頭部の位置及び角度を取得することができる。具体的には、固定側カメラ４３がＨＭＤのマーカ（図示省略）を撮像し、マーカの位置に応じて、操作者の頭部の位置及び角度を取得することができる。

【0197】

また、図３０に示すように、操作者が装着するＨＭＤのカメラ４４と、固定側マーカ４６とに基づく方式により、操作者の頭部の位置及び角度を取得することができる。具体的には、ＨＭＤのカメラ４４が固定側マーカ４６を撮像し、固定側マーカ４６の位置に応じて、操作者の頭部の位置及び角度を取得することができる。

【0198】

また、図３０に示すように、操作者が装着するＨＭＤのカメラ４４と周囲の固定物の特徴点検出に基づく方式により、操作者の頭部の位置及び角度を取得することができる。具体的には、ＨＭＤのカメラ４４が周囲の固定物の特徴点を検出し、特徴点の位置に応じて、操作者の頭部の位置及び角度を取得することができる。

【0199】

また、図３０に示すように、例えば、操作者が装着するＨＭＤに備えられた所定のセンサ４５に基づく方式により、操作者の頭部の位置及び角度を取得することができる。例えば、センサ４５は、加速度センサ、ジャイロセンサ、地磁気センサなどであり、センサ４５によって得られた値に基づいて、操作者の頭部の位置及び角度が取得される。

【0200】

制御部４５８は、図２９に示すように、表示処理部４６０と、視点取得部６２と、判定処理部６４と、視線位置変動算出部４６７と、表示データ処理部４６６と、入力処理部６８とを備えている。

【0201】

視線位置変動算出部４６７は、頭部位置角度検出部４５７によって取得された操作者の頭部の位置及び角度に基づいて、操作者の眼の位置の変動を算出する。

【0202】

表示データ処理部４６６は、視線位置変動算出部４６７によって算出された操作者の眼の位置の変動に基づいて、複数の仮想表面の表示位置を制御する。

【0203】

図３１に、仮想表面の位置の制御方法を説明するための説明図を示す。例えば、図３１に示すように、操作者が頭部を移動させると、眼の位置が変動し対象物の見え方が変化する。

【0204】

従って、表示データ処理部４６６は、視線位置変動算出部４６７によって算出された操作者の眼の位置の変動に基づいて、複数の仮想表面の見え方が変化するように、複数の仮想表面の位置を制御する。そして、表示データ処理部４６６は、複数の仮想表面の見え方が変化した操作用の３次元表示画像を生成するように、表示処理部６０へ制御信号を出力する。

【0205】

表示処理部６０は、表示データ処理部６６から出力された制御信号に応じて、操作用の３次元表示画像を生成する。

【0206】

入力装置４５０の制御部４５８は、例えば図３２に示すコンピュータ４８０で実現することができる。コンピュータ４８０はＣＰＵ８１、一時記憶領域としてのメモリ８２、及び不揮発性の記憶部４８３を備える。また、コンピュータ４８０は、入出力Ｉ／Ｆ８４と、記録媒体８９に対するデータの読み込み及び書き込みを制御するｒｅａｄ／ｗｒｉｔｅ（Ｒ／Ｗ）部８５と、インターネット等のネットワークに接続されるネットワークＩ／Ｆ８６とを備える。ＣＰＵ８１、メモリ８２、記憶部４８３、入出力Ｉ／Ｆ８４、Ｒ／Ｗ部８５、及びネットワークＩ／Ｆ８６は、バス８７を介して互いに接続される。

【0207】

記憶部４８３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４８３には、コンピュータ４８０を入力装置４５０の制御部４５８として機能させるための入力プログラム４９０が記憶される。入力プログラム４９０は、表示処理プロセス４９２と、視点取得処理プロセス９３と、判定処理プロセス９４と、表示データ処理プロセス４９５と、入力処理プロセス９６と、視線位置変動算出プロセス４９７とを有する。

【0208】

ＣＰＵ８１は、入力プログラム４９０を記憶部８３から読み出してメモリ８２に展開し、入力プログラム４９０の各々が有するプロセスを順次実行する。

【0209】

ＣＰＵ８１は、表示処理プロセス４９２を実行することで、図２９に示す表示処理部４６０として動作する。また、ＣＰＵ８１は、視点取得処理プロセス９３を実行することで、図２９に示す視点取得部６２として動作する。また、ＣＰＵ８１は、判定処理プロセス９４を実行することで、図２９に示す判定処理部６４として動作する。また、ＣＰＵ８１は、表示データ処理プロセス４９５を実行することで、図２９に示す表示データ処理部４６６として動作する。また、ＣＰＵ８１は、入力処理プロセス９６を実行することで、図２９に示す入力処理部６８として動作する。また、ＣＰＵ８１は、視線位置変動算出プロセス４９７を実行することで、図２９に示す入力処理部６８として動作する。

【0210】

このように、入力プログラム４９０を実行したコンピュータ８０が、入力装置４５０として機能することになる。

【0211】

なお、入力プログラム４９０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。

【0212】

次に、図３３を参照して、本実施形態に係る入力装置４５０の作用について説明する。

【0213】

図３３は、入力装置４５０の制御部４５８で実行される制御処理のフローの一例を示す。

【0214】

入力装置４５０の３Ｄ表示部５２によって３次元表示画像が表示され、視線検出部５４によって操作者の両眼の画像が逐次取得され、操作入力部５６によって操作者の顔画像が逐次取得される。そして、頭部位置角度検出部４５７によって操作者の頭部の位置及び角度が逐次検出されているときに、図３３に示す制御処理ルーチンが実行される。

【0215】

＜制御処理ルーチン＞

【0216】

ステップＳ４１０において、視線位置変動算出部４６７は、頭部位置角度検出部４５７によって取得された操作者の頭部の位置及び角度を取得する。

【0217】

ステップＳ４１２において、視線位置変動算出部４６７は、上記ステップＳ４１０で取得された操作者の頭部の位置及び角度に基づいて、操作者の眼の位置の変動を算出する。

【0218】

ステップＳ４１４において、表示データ処理部４６６は、上記ステップＳ４１２で算出された操作者の眼の位置の変動に基づいて、複数の仮想表面の見え方が変化するように、複数の仮想表面の位置を制御する。そして、表示データ処理部４６６は、複数の仮想表面の見え方が変化した操作用の３次元表示画像を生成するように、表示処理部４６０へ制御信号を出力する。そして、表示処理部４６０は、表示データ処理部４６６から出力された制御信号に応じて、操作用の３次元表示画像を生成する。そして、表示処理部４６０は、生成した３次元表示画像を３Ｄ表示部５２に対し出力する。３Ｄ表示部５２は、表示処理部４６０によって生成された３次元表示画像を操作者に対し表示する。

【0219】

以上説明したように、第４実施形態に係る入力装置において、操作者の頭部の位置及び角度に基づいて、操作者の眼の位置の変動を算出する。これにより、複数の仮想表面の見え方が変化し、操作者は入力操作をスムーズに行うことができる。

【0220】

次に、実施の形態の変形例を説明する。

【0221】

第２実施形態では、操作者の視点の位置に基づいて、当該視点の位置の奥行き方向の位置ｘ０で対応する仮想表面に応じて、仮想表面の透過の度合いを制御する場合を例に説明したがこれに限定されるものではない。例えば、操作者の視点の位置（ｙ０，ｚ０）に対応するタブ領域を有する仮想表面に応じて、仮想表面の透過の度合いを制御してもよい。また、当該視点の位置の奥行き方向の位置ｘ０で対応する仮想表面に応じて、仮想表面の透過の度合いを制御すると共に、仮想表面上の視点の位置（ｙ０，ｚ０）に対応するタブ領域を有する仮想表面に応じて、仮想表面の透過の度合いを制御してもよい。この場合には、視点の位置の奥行き方向の位置ｘ０で対応する仮想表面、及び視点の位置（ｙ０，ｚ０）に対応するタブ領域を有する仮想表面の何れか一方を優先して、仮想表面の透過の度合いを制御するようにすればよい。

【0222】

また、上記実施形態では、操作者からの文字の入力を受け付ける入力装置を例に説明したが、これに限定されるものではない。例えば、複雑な操作入力に関する入力装置（例えば、航空機の操作系、管制塔に備えられた機器の操作等）であってもよい。

【0223】

また、上記実施形態では、操作者からの操作入力を受け付ける入力装置を例に説明したが、これに限定されるものではない。操作入力は必須ではないため、例えば、入力装置は、操作者の視点の位置に対応する仮想表面に含まれるアイコンを選択する処理のみを行ってもよい。

【0224】

また、上記実施形態では、仮想表面の数が３層〜５層である場合を例に説明したが、これに限定されるものではなく、仮想表面は何層であってもよい。

【0225】

なお、上記実施形態では、操作者の視点の位置に対応するアイコンが選択され、アイコンが含まれる仮想表面の手前の仮想表面の透過の度合い（又は鮮明度合い）が制御される場合を例に説明したが、処理の流れはこれに限定されるものではない。例えば、操作者の視点の位置に対応する仮想表面が特定され、当該仮想表面の透過の度合いが制御され、その後の視点の移動に応じて、特定された仮想表面上のアイコンの選択されるように制御してもよい。

【0226】

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
入力操作用のアイコンを含む複数の仮想表面を、操作者から見て奥行き方向に並べて配置し、かつ複数の前記仮想表面を透過させて３次元表示部に表示させる制御部と、
前記操作者の視点の位置を取得する視点取得部と、
前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する仮想表面に含まれる前記アイコンを選択する選択部と、
を備えた入力装置。

【0227】

（付記２）
前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記仮想表面の各々の透過の度合いを制御する
付記１に記載の入力装置。

【0228】

（付記３）
前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の透過の度合いが低くなるように制御する
付記２に記載の入力装置。

【0229】

（付記４）
前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面より手前の仮想表面の透過の度合いが高くなるように制御する
付記２又は付記３に記載の入力装置。

【0230】

（付記５）
前記仮想表面の各々は、前記仮想表面と異なる他の仮想表面と表示が重ならない位置にタブ領域を有する
付記１〜付記４の何れか１項に記載の入力装置。

【0231】

（付記６）
前記操作者の意思表示に関する情報を取得する意思取得部と、
前記意思取得部によって取得された前記操作者の意思表示に関する情報に基づいて、前記操作者の操作の種別を判定する判定部とを更に含み、
前記選択部は、前記選択された前記アイコンと、前記判定部によって判定された前記操作の種別とに基づいて、前記アイコンの選択を確定するか否かを判定する
付記１〜付記５の何れか１項に記載の入力装置。

【0232】

（付記７）
前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記仮想表面の各々の表示の鮮明度合いを制御する
付記１〜付記６の何れか１項に記載の入力装置。

【0233】

（付記８）
前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の表示の鮮明度合いが他の仮想表面の鮮明度合いに比べ高くなるように制御する
付記７に記載の入力装置。

【0234】

（付記９）
前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面とは異なる他の仮想表面の表示の鮮明度合いが低くなるように制御する
付記７又は付記８に記載の入力装置。

【0235】

（付記１０）
前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面に対応する位置に、前記操作者から入力された情報を表示するように前記３次元表示部を制御する
付記１〜付記９の何れか１項に記載の入力装置。

【0236】

（付記１１）
前記操作者の頭部の位置及び角度を取得する頭部状態取得部を更に含み、
前記制御部は、前記頭部状態取得部によって検出された前記位置及び前記角度に基づいて、複数の前記仮想表面の表示位置を制御する
付記１〜付記１０の何れか１項に記載の入力装置。

【0237】

（付記１２）
複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が前記操作者から見て奥行き方向に位置するほど、前記アイコンの大きさが大きい
付記１〜付記１１の何れか１項に記載の入力装置。

【0238】

（付記１３）
複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が前記操作者から見て奥行き方向に位置するほど、隣に配置された前記アイコンとの間隔が広い
付記１〜付記１２の何れか１項に記載の入力装置。

【0239】

（付記１４）
複数の前記仮想表面に含まれる前記アイコンの各々は、前記アイコンの少なくとも一部分が、前記アイコンを含む前記仮想表面とは異なる他の仮想表面に含まれる前記アイコンと重ならないように配置される
付記１〜付記１３の何れか１項に記載の入力装置。

【0240】

（付記１５）
前記アイコンの種類に応じて前記アイコンが複数の前記仮想表面に分類されて配置される
付記１〜付記１４の何れか１項に記載の入力装置。

【0241】

（付記１６）
前記アイコンの各々の形状及び色の少なくとも一方は、前記アイコンの選択によって入力される情報の種類に応じて定められている
付記１〜付記１５の何れか１項に記載の入力装置。

【0242】

（付記１７）
前記アイコンの各々の形状及び色の少なくとも一方は、前記仮想表面内の前記アイコンの位置に応じて定められている
付記１〜付記１６に記載の入力装置。

【0243】

（付記１８）
前記制御部は、前記視点取得部によって取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面より奥の仮想表面の透過の度合いが高くなるように制御する
付記１〜付記１７の何れか１項に記載の入力装置。

【0244】

（付記１９）
入力操作用のアイコンを含む複数の仮想表面を、操作者から見て奥行き方向に並べて配置し、かつ複数の前記仮想表面を透過させて３次元表示部に表示させ、
前記操作者の視点の位置を取得し、
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記アイコンを選択する、
処理をコンピュータに実行させる入力プログラム。

【0245】

（付記２０）
取得された前記操作者の視点の位置に基づいて、前記仮想表面の各々の透過の度合いを制御する処理をコンピュータに実行させる
付記１９に記載の入力プログラム。

【0246】

（付記２１）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の透過の度合いが低くなるように制御する処理をコンピュータに実行させる
付記２０に記載の入力プログラム。

【0247】

（付記２２）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面より手前の仮想表面の透過の度合いが高くなるように制御する処理をコンピュータに実行させる
付記２０又は付記２１に記載の入力プログラム。

【0248】

（付記２３）
前記仮想表面の各々は、前記仮想表面と異なる他の仮想表面と表示が重ならない位置にタブ領域を有する
付記１９〜付記２２の何れか１項に記載の入力プログラム。

【0249】

（付記２４）
前記操作者の意思表示に関する情報を取得し、
前記取得部によって取得された前記操作者の意思表示に関する情報に基づいて、前記操作者の操作の種別を判定し、
選択された前記アイコンと、判定された前記操作の種別とに基づいて、前記アイコンの選択を確定するか否かを判定する処理をコンピュータに実行させる
付記１９〜付記２３の何れか１項に記載の入力プログラム。

【0250】

（付記２５）
取得された前記操作者の視点の位置に基づいて、前記仮想表面の表示の鮮明度合いを制御する処理をコンピュータに実行させる
付記１９〜付記２４の何れか１項に記載の入力プログラム。

【0251】

（付記２６）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の各々の表示の鮮明度合いが他の仮想表面の鮮明度合いに比べ高くなるように制御する処理をコンピュータに実行させる
付記１９〜付記２５の何れか１項に記載の入力プログラム。

【0252】

（付記２７）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面とは異なる他の仮想表面の表示の鮮明度合いが低くなるように制御する処理をコンピュータに実行させる
付記２６に記載の入力プログラム。

【0253】

（付記２８）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面に対応する位置に、前記操作者から入力された情報を表示するように前記３次元表示部を制御する処理をコンピュータに実行させる
付記２６又は付記２７に記載の入力プログラム。

【0254】

（付記２９）
前記操作者の頭部の位置及び角度を取得する頭部状態取得部によって検出された前記位置及び前記角度に基づいて、複数の前記仮想表面の表示位置を制御する処理をコンピュータに実行させる
付記１９〜付記２８の何れか１項に記載の入力プログラム。

【0255】

（付記３０）
複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が前記操作者から見て奥行き方向に位置するほど、前記アイコンの大きさが大きい
付記１９〜付記２９の何れか１項に記載の入力プログラム。

【0256】

（付記３１）
複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が前記操作者から見て奥行き方向に位置するほど、隣に配置された前記アイコンとの間隔が広い
付記１９〜付記３０の何れか１項に記載の入力プログラム。

【0257】

（付記３２）
複数の前記仮想表面に含まれる前記アイコンの各々は、前記アイコンの少なくとも一部分が、前記アイコンを含む前記仮想表面とは異なる他の仮想表面に含まれる前記アイコンと重ならないように配置される
付記１９〜付記３１の何れか１項に記載の入力プログラム。

【0258】

（付記３３）
前記アイコンの種類に応じて前記アイコンが複数の前記仮想表面に分類されて配置される
付記１９〜付記３２の何れか１項に記載の入力プログラム。

【0259】

（付記３４）
前記アイコンの各々の形状及び色の少なくとも一方は、前記アイコンの選択によって入力される情報の種類に応じて定められている
付記１９〜付記３３の何れか１項に記載の入力プログラム。

【0260】

（付記３５）
前記アイコンの各々の形状及び色の少なくとも一方は、前記仮想表面内の前記アイコンの位置に応じて定められている
付記１９〜付記３４の何れか１項に記載の入力プログラム。

【0261】

（付記３６）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面より奥の仮想表面の透過の度合いが高くなるように制御する処理をコンピュータに実行させる
付記１９〜付記３５の何れか１項に記載の入力プログラム。

【0262】

（付記３７）
入力操作用のアイコンを含む複数の仮想表面を、操作者から見て奥行き方向に並べて配置し、かつ複数の前記仮想表面を透過させて３次元表示部に表示させ、
前記操作者の視点の位置を取得し、
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記アイコンを選択する、
処理をコンピュータに実行させる入力方法。

【0263】

（付記３８）
取得された前記操作者の視点の位置に基づいて、前記仮想表面の各々の透過の度合いを制御する処理をコンピュータに実行させる
付記３７に記載の入力方法。

【0264】

（付記３９）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の透過の度合いが低くなるように制御する処理をコンピュータに実行させる
付記３８に記載の入力方法。

【0265】

（付記４０）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面より手前の仮想表面の透過の度合いが高くなるように制御する処理をコンピュータに実行させる
付記３８又は付記３９に記載の入力方法。

【0266】

（付記４１）
前記仮想表面の各々は、前記仮想表面と異なる他の仮想表面と表示が重ならない位置にタブ領域を有する
付記３７〜付記４０の何れか１項に記載の入力方法。

【0267】

（付記４２）
前記操作者の意思表示に関する情報を取得し、
前記取得部によって取得された前記操作者の意思表示に関する情報に基づいて、前記操作者の操作の種別を判定し、
選択された前記アイコンと、判定された前記操作の種別とに基づいて、前記アイコンの選択を確定するか否かを判定する処理をコンピュータに実行させる
付記３７〜付記４１の何れか１項に記載の入力方法。

【0268】

（付記４３）
取得された前記操作者の視点の位置に基づいて、前記仮想表面の各々の表示の鮮明度合いを制御する処理をコンピュータに実行させる
付記３７〜付記４２の何れか１項に記載の入力方法。

【0269】

（付記４４）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面の表示の鮮明度合いが他の仮想表面の鮮明度合いに比べ高くなるように制御する処理をコンピュータに実行させる
付記４３に記載の入力方法。

【0270】

（付記４５）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面とは異なる他の仮想表面の表示の鮮明度合いが低くなるように制御する処理をコンピュータに実行させる
付記４３又は付記４４に記載の入力方法。

【0271】

（付記４６）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面に対応する位置に、前記操作者から入力された情報を表示するように前記３次元表示部を制御する処理をコンピュータに実行させる
付記３７〜付記４５の何れか１項に記載の入力方法。

【0272】

（付記４７）
前記操作者の頭部の位置及び角度を取得する頭部状態取得部によって検出された前記位置及び前記角度に基づいて、複数の前記仮想表面の表示位置を制御する処理をコンピュータに実行させる
付記３７〜付記４６の何れか１項に記載の入力方法。

【0273】

（付記４８）
複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が前記操作者から見て奥行き方向に位置するほど、前記アイコンの大きさが大きい
付記３７〜付記４７の何れか１項に記載の入力方法。

【0274】

（付記４９）
複数の前記仮想表面に含まれる前記アイコンの各々は、前記仮想表面の位置が前記操作者から見て奥行き方向に位置するほど、隣に配置された前記アイコンとの間隔が広い
付記３７〜付記４８の何れか１項に記載の入力方法。

【0275】

（付記５０）
複数の前記仮想表面に含まれる前記アイコンの各々は、前記アイコンの少なくとも一部分が、前記アイコンを含む前記仮想表面とは異なる他の仮想表面に含まれる前記アイコンと重ならないように配置される
付記３７〜付記４９の何れか１項に記載の入力方法。

【0276】

（付記５１）
前記アイコンの種類に応じて前記アイコンが複数の前記仮想表面に分類されて配置される
付記３７〜付記５０の何れか１項に記載の入力方法。

【0277】

（付記５２）
前記アイコンの各々の形状及び色の少なくとも一方は、前記アイコンの選択によって入力される情報の種類に応じて定められている
付記３７〜付記５１の何れか１項に記載の入力方法。

【0278】

（付記５３）
前記アイコンの各々の形状及び色の少なくとも一方は、前記仮想表面内の前記アイコンの位置に応じて定められている
付記３７〜付記５２の何れか１項に記載の入力方法。

【0279】

（付記５４）
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記仮想表面より奥の仮想表面の透過の度合いが高くなるように制御する処理をコンピュータに実行させる
付記３７〜付記５３の何れか１項に記載の入力方法。

【0280】

（付記５５）
入力操作用のアイコンを含む複数の仮想表面を、操作者から見て奥行き方向に並べて配置し、かつ複数の前記仮想表面を透過させて３次元表示部に表示させ、
前記操作者の視点の位置を取得し、
取得された前記操作者の視点の位置に基づいて、前記視点の位置に対応する前記アイコンを選択する、
処理をコンピュータに実行させる入力プログラムを記憶した記憶媒体。

【符号の説明】

【0281】

４ アイコン
５ ３次元表示画像
５Ａ，５Ｂ，５Ｃ，５Ｄ，５Ｅ 仮想表面
５Ｎ 入力表示面
６ 操作者
３４ タブ領域
５０，４５０ 入力装置
５２ ３Ｄ表示部
５４ 視線検出部
５６ 操作入力部
５８，４５８ 制御部
６０，４６０ 表示処理部
６２ 視点取得部
６４ 判定処理部
６６，４６６ 表示データ処理部
６８ 入力処理部
８０，４８０ コンピュータ
８１ ＣＰＵ
８２ メモリ
８３，４８３ 記憶部
８９ 記録媒体
９０，４９０ 入力プログラム
９２，４９２ 表示処理プロセス
９３ 視点取得処理プロセス
９４ 判定処理プロセス
９５，４９５ 表示データ処理プロセス
９６ 入力処理プロセス
４９７ 視線位置変動算出プロセス
４５７ 頭部位置角度検出部
４６７ 視線位置変動算出部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19A】

【図19B】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】