知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-22
(45)【発行日】2024-01-30
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 3/04815 20220101AFI20240123BHJP
【ＦＩ】
G06F3/04815
【請求項の数】
5
(21)【出願番号】P 2019235304
(22)【出願日】2019-12-25
(65)【公開番号】P2021103495
(43)【公開日】2021-07-15
【審査請求日】2022-11-22
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】楓 育美
【審査官】田川 泰宏
(56)【参考文献】
【文献】特開２０１６－０１８３５１（ＪＰ，Ａ）
【文献】特開２００２－０５６４１１（ＪＰ，Ａ）
【文献】特開２０１０－１６０７３３（ＪＰ，Ａ）
【文献】国際公開第２０１２／０１１３２１（ＷＯ，Ａ１）
【文献】特開２００３－２１６６５０（ＪＰ，Ａ）
【文献】特開２０１９－２０７５７４（ＪＰ，Ａ）
【文献】特開２００９－２３７８６３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１－３／０４８９５
(57)【特許請求の範囲】
【請求項1】
プロセッサを有し、
前記プロセッサは、
空中に形成する立体的な像のデータを生成し、
ドキュメントの特性に基づいて、前記立体的な像内の特定の位置に当該ドキュメントを対応付ける情報処理装置であり、
前記プロセッサは、前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付け、
前記プロセッサは、空中に形成する前記立体的な像を面状の像に変化させると共に、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを当該面状の像内の位置に対応付ける、情報処理装置。
【請求項2】
プロセッサを有し、
前記プロセッサは、
空中に形成する立体的な像のデータを生成し、
ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける情報処理装置であり、
前記プロセッサは、前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付け、
前記プロセッサは、空中で行われるユーザのジェスチャに応じ、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける、情報処理装置。
【請求項3】
前記プロセッサは、ジェスチャの方向に応じ、除かれる前記少なくとも１つの特性を変化させる、請求項１又は２に記載の情報処理装置。
【請求項4】
コンピュータに、空中に形成する立体的な像のデータを生成する機能と、
ドキュメントの特性に基づいて、前記立体的な像内の特定の位置に当該ドキュメントを対応付ける機能と、
前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、
空中に形成する前記立体的な像を面状の像に変化させると共に、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを当該面状の像内の位置に対応付ける機能と、
を実現させるためのプログラム。
【請求項5】
コンピュータに、空中に形成する立体的な像のデータを生成する機能と、
ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける機能と、
前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、
空中で行われるユーザのジェスチャに応じ、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
現在、空気中に像を形成する技術が提案されており、一部の技術は入力用のインタフェースに応用されている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開２０１７－１２５９８４号
【発明の概要】
【発明が解決しようとする課題】
【0004】
空気中に形成された像を入力用のインタフェースとして用いる場合も、操作の仕方は物理的なディスプレイに表示されるインタフェースに対する操作の仕方と同様である。
【0005】
本発明は、空中像を利用してユーザに対する多様な情報の提示を可能にすることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、プロセッサを有し、前記プロセッサは、空中に形成する立体的な像のデータを生成し、ドキュメントの特性に基づいて、前記立体的な像内の特定の位置に当該ドキュメントを対応付ける情報処理装置であり、前記プロセッサは、前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付け、前記プロセッサは、空中に形成する前記立体的な像を面状の像に変化させると共に、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを当該面状の像内の位置に対応付ける、情報処理装置である。
請求項２に記載の発明は、プロセッサを有し、前記プロセッサは、空中に形成する立体的な像のデータを生成し、ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける情報処理装置であり、前記プロセッサは、前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付け、前記プロセッサは、空中で行われるユーザのジェスチャに応じ、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける、情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、ジェスチャの方向に応じ、除かれる前記少なくとも１つの特性を変化させる、請求項１又は２に記載の情報処理装置である。
請求項４に記載の発明は、コンピュータに、空中に形成する立体的な像のデータを生成する機能と、ドキュメントの特性に基づいて、前記立体的な像内の特定の位置に当該ドキュメントを対応付ける機能と、前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、空中に形成する前記立体的な像を面状の像に変化させると共に、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを当該面状の像内の位置に対応付ける機能と、を実現させるためのプログラムである。
請求項５に記載の発明は、コンピュータに、空中に形成する立体的な像のデータを生成する機能と、ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける機能と、前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、空中で行われるユーザのジェスチャに応じ、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、プロセッサを有し、前記プロセッサは、空中に形成する立体的な像のデータを生成し、ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける情報処理装置であり、前記プロセッサは、前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付け、前記プロセッサは、空中で行われるユーザのジェスチャに応じ、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける、情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、ジェスチャの方向に応じ、除かれる前記少なくとも１つの特性を変化させる、請求項１又は２に記載の情報処理装置である。
請求項４に記載の発明は、コンピュータに、空中に形成する立体的な像のデータを生成する機能と、ドキュメントの特性に基づいて、前記立体的な像内の特定の位置に当該ドキュメントを対応付ける機能と、前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、空中に形成する前記立体的な像を面状の像に変化させると共に、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを当該面状の像内の位置に対応付ける機能と、を実現させるためのプログラムである。
請求項５に記載の発明は、コンピュータに、空中に形成する立体的な像のデータを生成する機能と、ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける機能と、前記ドキュメントの少なくとも３つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、空中で行われるユーザのジェスチャに応じ、前記少なくとも３つの特性のうちの少なくとも１つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、目的とするドキュメントの選択を容易にできる。
請求項２記載の発明によれば、目的とするドキュメントの選択を容易にできる。
請求項３記載の発明によれば、空中の位置を規定する特性を容易に変更できる。
請求項４記載の発明によれば、空中像を利用してユーザに対する多様な情報の提示を可能にすることができる。
請求項５記載の発明によれば、空中像を利用してユーザに対する多様な情報の提示を可能にすることができる。
請求項２記載の発明によれば、目的とするドキュメントの選択を容易にできる。
請求項３記載の発明によれば、空中の位置を規定する特性を容易に変更できる。
請求項４記載の発明によれば、空中像を利用してユーザに対する多様な情報の提示を可能にすることができる。
請求項５記載の発明によれば、空中像を利用してユーザに対する多様な情報の提示を可能にすることができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１で使用する情報処理システムの構成例を示す図である。
【図2】ドキュメントと空中像の位置の関係を説明する図である。
【図3】立方体形状の空中像を用いた情報の提示例を説明する図である。
【図4】実施の形態１におけるプロセッサの処理動作の一例を説明するフローチャートである。
【図5】実施の形態１におけるプロセッサの処理動作の他の一例を説明するフローチャートである。
【図6】ジェスチャによる立方体形状の空中像の変形例を説明する図である。（Ａ）は、手のひらを立方体形状の空中像における四角形ＡＢＣＤに添えた状態を示し、（Ｂ）は手のひらを四角形ＥＦＧＨ’の上方に添えた状態を示し、（Ｃ）は手のひらを辺ＥＦ’の位置から辺ＧＨ’の位置まで移動させた後の空中像を示す。
【図7】ジェスチャによる立方体形状の空中像の他の変形例を説明する図である。（Ａ）は、手のひらを立方体形状の空中像における四角形ＡＥＣＧに添えた状態を示し、（Ｂ）は手のひらを四角形ＢＦＤＨ’の右辺に添えた状態を示し、（Ｃ）は手のひらを辺ＦＨ’の位置から辺ＢＤ’の位置まで移動させた後の空中像を示す。
【図8】ジェスチャによる立方体形状の空中像の他の変形例を説明する図である。（Ａ）は、手のひらを立方体形状の空中像における四角形ＡＢＥＦに添えた状態を示し、（Ｂ）は手のひらを四角形ＣＤＧＨ’の奥側に添えた状態を示し、（Ｃ）は手のひらを辺ＤＨ’の位置から辺ＣＧ’の位置まで移動させた後の空中像を示す。
【図9】ジェスチャで立方体形状の空中像を切り取る場合の変形例を説明する図である。（Ａ）は、立方体形状の空中像を横切るように手のひらを上面から下面に移動させ、更にＸ軸方向の左方向に払いのける場合を示し、（Ｂ）は変形後の空中像を示す。
【図10】ジェスチャで立方体形状の空中像を切り取る場合の他の変形例を説明する図である。（Ａ）は、立方体形状の空中像を横切るように手のひらを上面から下面に移動させ、更にＹ軸方向の奥側に払いのける場合を示し、（Ｂ）は変形後の空中像を示す。
【図11】ジェスチャで立方体形状の空中像を切り取る場合の他の変形例を説明する図である。（Ａ）は、立方体形状の空中像を水平方向に横切るように手のひらを移動させ、更に下方に払いのける場合を示し、（Ｂ）は変形後の空中像を示す。
【図12】ジェスチャによる空中像の拡大を説明する図である。（Ａ）は両手を空中像の対角方向に広げるように動かすジェスチャを示し、（Ｂ）は変形後の空中像を示す。
【図13】ジェスチャによる空中像の縮小を説明する図である。（Ａ）は両手を空中像の対角方向に近づけるように動かすジェスチャを示し、（Ｂ）は変形後の空中像を示す。
【図14】実施の形態１におけるプロセッサの処理動作の他の一例を説明するフローチャートである。
【図15】４つの検索の条件の全てを満たすドキュメントに関する情報を説明するデータテーブルの一例を説明する図である。
【図16】４つの検索の条件の全てを満たすドキュメントを空中像にマッピングした例を説明する図である。（Ａ）は空中像としての正三角錐に検索の条件を満たすドキュメントをマッピングして提示する例を示し、（Ｂ）はユーザのジェスチャにより特性の数を３つに低減した例を示し、（Ｃ）はユーザのジェスチャにより特性の数を２つに低減した例を示している。
【図17】３つの検索の条件の全てを満たすドキュメントに関する情報を説明するデータテーブルの他の例を説明する図である。
【図18】３つの検索の条件の全てを満たすドキュメントを空中像にマッピングした例を説明する図である。
【図19】条件の数を２つに低減する又は移動先に対応する２つの条件の重みを大きくする場合に用いるジェスチャの例を説明する図である。
【図20】条件の数を１つに低減する又は移動先に対応する１つの条件の重みを大きくする場合に用いるジェスチャの例を説明する図である。
【図21】条件の数を３つに低減する又は移動先に対応する３つの条件の重みを大きくする場合に用いるジェスチャの例を説明する図である。
【図22】空中像を医療分野で活用する例を説明する図である。
【図23】建築分野や住宅産業の分野に活用する例を説明する図である。
【図24】実施の形態２におけるプロセッサの処理動作の一例を説明するフローチャートである。
【図25】実施の形態２におけるプロセッサの処理動作の他の一例を説明するフローチャートである。
【図26】実施の形態２におけるプロセッサの処理動作の他の一例を説明するフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で使用する情報処理システム１の構成例を示す図である。
図１に示す情報処理システム１は、通り抜け可能な像（以下「空中像」ともいう）を形成する空中像形成装置１０と、空中像形成装置１０等を制御する制御装置２０と、指、指示棒、筆記具その他の物体による空中像に対する操作を検知するセンサ３０と、指示に用いる指先等の物体に触覚刺激を与える超音波触覚インタフェース装置４０とを有している。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で使用する情報処理システム１の構成例を示す図である。
図１に示す情報処理システム１は、通り抜け可能な像（以下「空中像」ともいう）を形成する空中像形成装置１０と、空中像形成装置１０等を制御する制御装置２０と、指、指示棒、筆記具その他の物体による空中像に対する操作を検知するセンサ３０と、指示に用いる指先等の物体に触覚刺激を与える超音波触覚インタフェース装置４０とを有している。
【0010】
本実施の形態の場合、物体の全体ではなく特定の部位を操作に使用する。例えば指先、指示棒、筆記具の先端を操作に使用する。
以下の説明では、基本的に物体の先端を検知の対象として説明する。もっとも、手の平を操作に用いることも可能である。その場合には、手の平の全体を検知の対象とする。
空中像は、空中に浮かぶように形成されるので、物体は、空中像を通り抜けることが可能である。
なお、本実施の形態における空中像は、現実の空間に存在するスクリーンに投影される像ではない。また、本実施の形態における空中像は、発光素子のアレイが実空間を高速に移動することで生じる残像現象により表示される像でもない。
以下の説明では、基本的に物体の先端を検知の対象として説明する。もっとも、手の平を操作に用いることも可能である。その場合には、手の平の全体を検知の対象とする。
空中像は、空中に浮かぶように形成されるので、物体は、空中像を通り抜けることが可能である。
なお、本実施の形態における空中像は、現実の空間に存在するスクリーンに投影される像ではない。また、本実施の形態における空中像は、発光素子のアレイが実空間を高速に移動することで生じる残像現象により表示される像でもない。
【0011】
空中像の例には、イメージ、文字、その組み合わせが含まれるが、これらに制限されない。また、空中像の大きさや形状にも制限はない。空中像は、線状の像であってもよいし、面状の像であってもよいし、立体的な形状の像であってもよい。面状の像の例には、三角形、四角形、その他の多角形、円形、より複雑な形状（星形、ハート形、人・物・動物のシルエットなど）が含まれる。立体的な形状の像の例には、球体、円柱、円錐、立方体、三角錐、角錐、角柱、正面体、これらの組み合わせ、および、人体、車、部屋など、より複雑な３次元の像が含まれる。
図１の場合、空中像の初期形状として立方体を想定する。
空中に形成される空中像は、立体の表面を規定する像に限らず、立体の表面を規定する像とその内部に対応する像の両方で構成されてもよい。換言すると、ボクセルにより表現される像でもよい。
また、空中像は、立体や平面の全体を規定する像に限らず、一部分の像でもよい。
本実施の形態の場合、空中像は、空中像が形成されている空間でユーザが物体を移動させることによって処理を指示するためのガイドとして使用される。また、空中像は、静止画像に限定されず、動画像でもよい。
図１の場合、空中像の初期形状として立方体を想定する。
空中に形成される空中像は、立体の表面を規定する像に限らず、立体の表面を規定する像とその内部に対応する像の両方で構成されてもよい。換言すると、ボクセルにより表現される像でもよい。
また、空中像は、立体や平面の全体を規定する像に限らず、一部分の像でもよい。
本実施の形態の場合、空中像は、空中像が形成されている空間でユーザが物体を移動させることによって処理を指示するためのガイドとして使用される。また、空中像は、静止画像に限定されず、動画像でもよい。
【0012】
空中像形成装置１０は、空中に空中像を直接形成する装置である。空中に空中像＃１を直接形成する方法は、既に様々なものが提案され、一部は実用化されている。例えば空中像の形成にハーフミラーを用いる方法、ビームスプリッタを用いる方法、微小なミラーアレイを用いる方法、微小なレンズアレイを用いる方法、視差バリアを用いる方法、プラズマ発光を用いる方法等がある。空中像形成装置１０が空中に空中像を形成する方法は、ここに挙げた方法や将来的に利用可能になるその他の方法を用いることができる。
空中像形成装置１０が空中に形成する空中像を規定するデータ（以下「空中像データ」という）は、制御装置２０が生成する。空中像データは、立体的な像のデータの一例である。
空中像形成装置１０が空中に形成する空中像を規定するデータ（以下「空中像データ」という）は、制御装置２０が生成する。空中像データは、立体的な像のデータの一例である。
【0013】
図１の場合、空中像の内部には、球形のアイコンが３つ配置されている。それぞれのアイコンは、１又は複数のドキュメントに対応づけられている。アイコンの大きさは一定とは限らない。例えば対応付けられているドキュメントの数が多いアイコンを、対応付けられるドキュメントの数が少ないアイコンよりも大きくしてもよい。反対に、対応付けられているドキュメントの数が少ないアイコンを、対応付けられるドキュメントの数が多いアイコンよりも小さくしてもよい。
なお、図１では、ドキュメントが対応付けられている位置にアイコンを配置しているが、対応関係があっても空中像の内部にはドキュメントの位置を示すアイコン等が視覚的に観察されないようにすることも可能である。
なお、図１では、ドキュメントが対応付けられている位置にアイコンを配置しているが、対応関係があっても空中像の内部にはドキュメントの位置を示すアイコン等が視覚的に観察されないようにすることも可能である。
【0014】
制御装置２０は、プログラムの実行を通じて空中像データの生成、検索の実行その他の処理を実行するプロセッサ２１と、プログラムや各種のデータを記憶する記憶装置２２と、外部との通信を実現するネットワークＩＦ（＝InterFace）２３と、これらを接続するバスその他の信号線２４とを有している。制御装置２０は、いわゆるコンピュータでも、インターネット上のサーバでもよい。制御装置２０は、情報処理装置の一例である。
プロセッサ２１は、例えばＣＰＵで構成される。記憶装置２２は、例えばＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、基本プログラムやアプリケーションプログラム等が記憶されたハードディスク装置とで構成される。
プロセッサ２１は、例えばＣＰＵで構成される。記憶装置２２は、例えばＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、基本プログラムやアプリケーションプログラム等が記憶されたハードディスク装置とで構成される。
【0015】
もっとも、ＲＯＭやＲＡＭがプロセッサ２１の一部に含まれることを妨げない。プロセッサ２１と記憶装置２２は、コンピュータを構成する。
センサ３０は、空中像が形成されている空間にある手、指、ペン、電子機器等の物体の位置を検知する。センサ３０は、物体の全体ではなく特定の部位を検知してもよい。一例では、センサ３０は、手の平の位置を検知してもよい。別の例では、センサ３０は、指の先端やペン型デバイスの先端の位置を検知しもよい。別の例では、センサ３０は、指先に装着されるデバイスやペン型デバイスに埋め込まれた特定の部品の位置を検出してもよい。以下の説明では、センサ３０が指先の位置を検知する例で説明する。
センサ３０には、例えば赤外線センサや撮像センサを使用する。センサ３０による位置の検知には、例えば数ミリ～約１センチメートルの幅を設ける。
センサ３０は、空中像が形成されている空間にある手、指、ペン、電子機器等の物体の位置を検知する。センサ３０は、物体の全体ではなく特定の部位を検知してもよい。一例では、センサ３０は、手の平の位置を検知してもよい。別の例では、センサ３０は、指の先端やペン型デバイスの先端の位置を検知しもよい。別の例では、センサ３０は、指先に装着されるデバイスやペン型デバイスに埋め込まれた特定の部品の位置を検出してもよい。以下の説明では、センサ３０が指先の位置を検知する例で説明する。
センサ３０には、例えば赤外線センサや撮像センサを使用する。センサ３０による位置の検知には、例えば数ミリ～約１センチメートルの幅を設ける。
【0016】
超音波触覚インタフェース装置４０は、超音波振動子を格子状に多数並べた超音波振動子アレイで構成される。本実施の形態における超音波触覚インタフェース装置４０は、空中像の特定の領域に焦点を結ぶように超音波を発生させる。もっとも、センサ３０により特定の領域への指先による操作が検知された場合に限り、超音波振動子アレイを作動させてもよい。
超音波振動子アレイが作動すると、特定の領域に音響放射圧と呼ばれる圧力が生じる。このため、音響放射圧が生じている位置に指先が位置すると、表面に押されるような触覚刺激が生まれる。
超音波振動子アレイが作動すると、特定の領域に音響放射圧と呼ばれる圧力が生じる。このため、音響放射圧が生じている位置に指先が位置すると、表面に押されるような触覚刺激が生まれる。
【0017】
本実施の形態の場合、触覚刺激はユーザの操作が受付けられたことを示すユーザへのフィードバックに用いられる他、空間内の特定の座標又は特定の領域に対応付けられているドキュメントの数や密度の表現に用いることも可能である。
例えば対応付けられているドキュメントの数が少ない位置やドキュメントの密度が低い位置での触覚刺激を弱く、対応付けられているドキュメントの数が多い位置やドキュメントの密度が高い位置での触覚刺激を強くしてもよい。この場合、触覚刺激の違いから、どのような特性の組み合わせに対応するドキュメントの数が多いか少ないかの通知が可能になる。
なお、超音波振動子アレイで発生される音響放射圧に代えて空気圧を用いて触覚刺激を与えてもよい。
例えば対応付けられているドキュメントの数が少ない位置やドキュメントの密度が低い位置での触覚刺激を弱く、対応付けられているドキュメントの数が多い位置やドキュメントの密度が高い位置での触覚刺激を強くしてもよい。この場合、触覚刺激の違いから、どのような特性の組み合わせに対応するドキュメントの数が多いか少ないかの通知が可能になる。
なお、超音波振動子アレイで発生される音響放射圧に代えて空気圧を用いて触覚刺激を与えてもよい。
【0018】
図２は、ドキュメントと空中像の位置の関係を説明する図である。図２の場合、記憶装置２２には、ドキュメントＡ、ドキュメントＢ、ドキュメントＣが記憶されている。
ドキュメントの保存形式に制限はなく、ＷＯＲＤ、ＪＰＥＧ、ＰＤＦ、ＭＯＶ、ＨＴＭＬなど様々な形式で保存されたものを用いることができる。また、ドキュメントの更なる例には、データベースに記憶されている各項目の情報も含まれる。例えば、測定データ、統計データ等も含まれる。本実施の形態におけるドキュメントの例には、テキスト、表、画像、動画、音声、及び、これらの組み合わせが含まれる。画像には、静止画だけでなく動画も含まれる。この他、画像には、ウェブ画面等も含まれる。
ドキュメントの保存形式に制限はなく、ＷＯＲＤ、ＪＰＥＧ、ＰＤＦ、ＭＯＶ、ＨＴＭＬなど様々な形式で保存されたものを用いることができる。また、ドキュメントの更なる例には、データベースに記憶されている各項目の情報も含まれる。例えば、測定データ、統計データ等も含まれる。本実施の形態におけるドキュメントの例には、テキスト、表、画像、動画、音声、及び、これらの組み合わせが含まれる。画像には、静止画だけでなく動画も含まれる。この他、画像には、ウェブ画面等も含まれる。
【0019】
本実施の形態の場合、ドキュメントは、その特性に基づいて、空中像の内の特定の位置に対応付けられている。ドキュメントの特性は、例えばドキュメントの属性、ドキュメントに付されているタグ情報、ドキュメントの内容の分析等により与えられる。特性の内容は、ドキュメントの内容や種類に応じて異なる。
本実施の形態の場合、ドキュメントがマッピングされるデータ空間上の座標系はｘ軸、ｙ軸、ｚ軸の３軸で規定される。各軸には、対応付けられるドキュメントの特性に応じた情報が割り当てられている。もっとも、各軸の全てが、ドキュメントの特性と共通である必要はない。例えば３軸のうちの２軸はドキュメントの特性と共通するが、残る１軸にはドキュメントの特性と関係がない情報が割り当てられていてもよい。
また、データ空間を規定する各座標軸に割り当てられている情報に、ドキュメントの特性を対応付ける変換用の規則や変換テーブルを使用してもよい。変換用の規則や変換テーブルを用いる場合、ドキュメントの特性を、データ空間を規定する各座標軸に割り当てられている情報に変換し、変換後の情報を用いて個々のドキュメントをデータ空間上にマッピングしてもよい。
本実施の形態の場合、ドキュメントがマッピングされるデータ空間上の座標系はｘ軸、ｙ軸、ｚ軸の３軸で規定される。各軸には、対応付けられるドキュメントの特性に応じた情報が割り当てられている。もっとも、各軸の全てが、ドキュメントの特性と共通である必要はない。例えば３軸のうちの２軸はドキュメントの特性と共通するが、残る１軸にはドキュメントの特性と関係がない情報が割り当てられていてもよい。
また、データ空間を規定する各座標軸に割り当てられている情報に、ドキュメントの特性を対応付ける変換用の規則や変換テーブルを使用してもよい。変換用の規則や変換テーブルを用いる場合、ドキュメントの特性を、データ空間を規定する各座標軸に割り当てられている情報に変換し、変換後の情報を用いて個々のドキュメントをデータ空間上にマッピングしてもよい。
【0020】
本実施の形態の場合、プロセッサ２１（図１参照）は、空中像が形成される実空間の座標（実空間のどこに空中像が形成されるかを示す情報）を、空中像形成装置１０（図１参照）を通じて取得している。本実施の形態の場合、実空間の座標は、Ｘ軸、Ｙ軸、Ｚ軸上の各位置で表される。なお、プロセッサ２１は、空中像が形成される実空間の座標を、センサ３０（図１参照）が監視する空間の情報として取得してもよい。
本実施の形態における記憶装置２２には、前述した位置の関係が記憶されている。このため、プロセッサ２１は、ドキュメントが対応する実空間上の位置の座標を通じて、実空間上に形成される空中像の位置の座標を知ることが可能である。
本実施の形態における記憶装置２２には、前述した位置の関係が記憶されている。このため、プロセッサ２１は、ドキュメントが対応する実空間上の位置の座標を通じて、実空間上に形成される空中像の位置の座標を知ることが可能である。
【0021】
図３は、立方体形状の空中像を用いた情報の提示例を説明する図である。図３に示す例は、空中像のデータ上の座標系について表している。
図３に示す空中像には、不特定のフォルダに含まれるドキュメントが対応付けられている。立方体の大きさは、対応付けられているドキュメントの数によらず一定でもよいし、対応付けられているドキュメントの数に応じて変化してもよい。
本実施の形態の場合、対応付けるドキュメントの数が多い場合には立方体が大きくなり、対応付けるドキュメントの数が少ない場合には立方体が小さくなる。もっとも、立方体の大きさの変化は、線形に限らず非線形でもよい。
また、空中像としての立方体の大きさの変化は段階的でもよい。例えば対応付けられているドキュメントの数が１０個までは第１のサイズ、１１個から１００個までは第２のサイズ、１０１個から１０００個までは第３のサイズというように段階的に変化してもよい。
図３に示す空中像には、不特定のフォルダに含まれるドキュメントが対応付けられている。立方体の大きさは、対応付けられているドキュメントの数によらず一定でもよいし、対応付けられているドキュメントの数に応じて変化してもよい。
本実施の形態の場合、対応付けるドキュメントの数が多い場合には立方体が大きくなり、対応付けるドキュメントの数が少ない場合には立方体が小さくなる。もっとも、立方体の大きさの変化は、線形に限らず非線形でもよい。
また、空中像としての立方体の大きさの変化は段階的でもよい。例えば対応付けられているドキュメントの数が１０個までは第１のサイズ、１１個から１００個までは第２のサイズ、１０１個から１０００個までは第３のサイズというように段階的に変化してもよい。
【0022】
空中像のデータ上の座標系への特性の割り当ては、初期設定により定めてもよいが、ユーザが個別に指示してもよい。ユーザによる特性の割り当てには、例えば液晶ディスプレイに表示される操作画面を用いてもよいし、特性の一覧に対応する空中像を用いてもよい。
例えば操作画面に、割り当てが可能な特性の一覧が表示されている場合、一覧の中から選択された特性を、同じ操作画面上の座標系の各軸に割り当ててもよい。この場合、一覧の中から選択された特性を、特定の座標の欄にドラッグ＆ドロップしてもよい。また例えば特性の一覧に対応する空中像の中から選択した特性を、立方体形状の空中像の希望する辺の位置にドラッグ＆ドロップしてもよい。
本実施の形態の場合、選択が可能な特性として、新旧を表す時間、関連度、キーワードへの関連度、人気、記事の長さ等を想定する。
図３に示す例の場合、立方体のＸ軸方向は時間を表している。図３の場合、右側ほど古く、左側ほど新しい。Ｙ軸方向は関連度を表している。関連度の例は、指定したキーワードに対する関連度、選択したドキュメントに対する関連度、検索者の興味関心（事前の登録により、又は、履歴情報を用いて特定する）に対する関連度である。図３の場合、奥側ほど関連度が低く、手前側ほど関連度が高い。Ｚ軸方向は人気を表している。図３の場合、高いほど人気が高く、低いほど人気が低い。
それぞれの軸方向が表す内容は、立方体を空中像として形成するときに、立方体上又は立方体の付近に提示してもよいし、提示しなくてもよい。軸方向が表す内容が提示されることで、ドキュメントがどのような特性に基づいて立方体内の座標に対応付けられているかをユーザが把握し易くなる。
例えば操作画面に、割り当てが可能な特性の一覧が表示されている場合、一覧の中から選択された特性を、同じ操作画面上の座標系の各軸に割り当ててもよい。この場合、一覧の中から選択された特性を、特定の座標の欄にドラッグ＆ドロップしてもよい。また例えば特性の一覧に対応する空中像の中から選択した特性を、立方体形状の空中像の希望する辺の位置にドラッグ＆ドロップしてもよい。
本実施の形態の場合、選択が可能な特性として、新旧を表す時間、関連度、キーワードへの関連度、人気、記事の長さ等を想定する。
図３に示す例の場合、立方体のＸ軸方向は時間を表している。図３の場合、右側ほど古く、左側ほど新しい。Ｙ軸方向は関連度を表している。関連度の例は、指定したキーワードに対する関連度、選択したドキュメントに対する関連度、検索者の興味関心（事前の登録により、又は、履歴情報を用いて特定する）に対する関連度である。図３の場合、奥側ほど関連度が低く、手前側ほど関連度が高い。Ｚ軸方向は人気を表している。図３の場合、高いほど人気が高く、低いほど人気が低い。
それぞれの軸方向が表す内容は、立方体を空中像として形成するときに、立方体上又は立方体の付近に提示してもよいし、提示しなくてもよい。軸方向が表す内容が提示されることで、ドキュメントがどのような特性に基づいて立方体内の座標に対応付けられているかをユーザが把握し易くなる。
【0023】
なお、各軸方向における指標の間隔は均等とは限らない。例えばＸ軸方向の場合、新しいに対応する左端と古いに対応する右端との間の時間間隔又は目盛りは、均等である必要はない。例えば時間情報が古いドキュメントの重みが小さいのであれば、左端の近くでは１年に対応する距離が、右端では１０年に相当してもよい。換言すると、各軸方向における指標の間隔は非線形でもよい。
勿論、図３に示す情報の割り当ては一例である。
勿論、図３に示す情報の割り当ては一例である。
【0024】
＜処理動作の例＞
以下では、本実施の形態における処理動作例について説明する。
図４は、実施の形態１におけるプロセッサ２１（図１参照）の処理動作の一例を説明するフローチャートである。
まず、プロセッサ２１は、空中像形成装置１０（図１参照）に形成させる空中像のデータを生成して空中像形成装置１０に出力する（ステップ１）。すなわち、プロセッサ２１は、空中像データを空中像形成装置１０に出力する。空中像形成装置１０は、受信した空中像データに基づき、空中に空中像を形成する。
以下では、本実施の形態における処理動作例について説明する。
図４は、実施の形態１におけるプロセッサ２１（図１参照）の処理動作の一例を説明するフローチャートである。
まず、プロセッサ２１は、空中像形成装置１０（図１参照）に形成させる空中像のデータを生成して空中像形成装置１０に出力する（ステップ１）。すなわち、プロセッサ２１は、空中像データを空中像形成装置１０に出力する。空中像形成装置１０は、受信した空中像データに基づき、空中に空中像を形成する。
【0025】
次に、プロセッサ２１は、処理対象であるドキュメントの特性を取得する（ステップ２）。
続いて、プロセッサ２１は、ドキュメントの特性に応じ、データ空間上における空中像内の特定の位置にドキュメントを対応付ける（ステップ３）。この段階のドキュメントは、データ空間上の座標系を基準とする特定の位置に対応付けられているだけであり、空中像内でユーザに認識されるとは限らない。
続いて、プロセッサ２１は、ドキュメントの特性に応じ、データ空間上における空中像内の特定の位置にドキュメントを対応付ける（ステップ３）。この段階のドキュメントは、データ空間上の座標系を基準とする特定の位置に対応付けられているだけであり、空中像内でユーザに認識されるとは限らない。
【0026】
図５は、実施の形態１におけるプロセッサ２１（図１参照）の処理動作の他の一例を説明するフローチャートである。図５に示す処理は、空中像に対する変形の指示の受付に関する処理に対応する。
まず、プロセッサ２１は、空中像の外側の空間で特定のジェスチャを検知したか否かを判定する（ステップ１１）。ジェスチャの内容は、センサ３０の検知信号に基づいてプロセッサ２１が検知する。特定のジェスチャの具体例については後述する。
まず、プロセッサ２１は、空中像の外側の空間で特定のジェスチャを検知したか否かを判定する（ステップ１１）。ジェスチャの内容は、センサ３０の検知信号に基づいてプロセッサ２１が検知する。特定のジェスチャの具体例については後述する。
【0027】
ステップ１１で否定結果が得られている間、プロセッサ２１は、ステップ１１の判定を繰り返す。
一方、ステップ１１で肯定結果が得られた場合、プロセッサ２１は、検知されたジェスチャの方向に応じて空中像を変形する（ステップ１２）。
この後、プロセッサ２１は、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける（ステップ１３）。
一方、ステップ１１で肯定結果が得られた場合、プロセッサ２１は、検知されたジェスチャの方向に応じて空中像を変形する（ステップ１２）。
この後、プロセッサ２１は、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける（ステップ１３）。
【0028】
以下、ステップ１１～１３における特定のジェスチャの例と変形後の空中像の形状の変化について説明する。
図６は、ジェスチャによる立方体形状の空中像の変形例を説明する図である。
（Ａ）は、手のひらを立方体形状の空中像における四角形ＡＢＣＤに添えた状態を示す。この状態から手のひらをＸ軸方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを四角形ＡＢＣＤと平行な四角形ＥＦＧＨがある方向（図の矢印の方向）に移動させるジェスチャに応じて、Ｘ軸方向と平行な空中像の辺ＡＥ、ＢＦ、ＣＧ、ＤＨの長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＡＥ、ＢＦ、ＣＧ、ＤＨの長さの減少も止まる。手のひらが、四角形ＥＦＧＨが形成されている位置に到達すると、空中像の辺ＡＥ、ＢＦ、ＣＧ、ＤＨは無くなる。つまり、四角形ＡＢＣＤと四角形ＥＦＧＨが合わさって、空中像は１つの四角形になる。この四角形は、四角形ＡＢＣＤと呼んでも四角形ＥＦＧＨと呼んでも、他の呼び方をしてもよいが、図６では四角形ＥＦＧＨ’と呼ぶ。空中像の最初の形状が立方体である場合には、直方体を経て、正方形へと変化することになる。
図６は、ジェスチャによる立方体形状の空中像の変形例を説明する図である。
（Ａ）は、手のひらを立方体形状の空中像における四角形ＡＢＣＤに添えた状態を示す。この状態から手のひらをＸ軸方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを四角形ＡＢＣＤと平行な四角形ＥＦＧＨがある方向（図の矢印の方向）に移動させるジェスチャに応じて、Ｘ軸方向と平行な空中像の辺ＡＥ、ＢＦ、ＣＧ、ＤＨの長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＡＥ、ＢＦ、ＣＧ、ＤＨの長さの減少も止まる。手のひらが、四角形ＥＦＧＨが形成されている位置に到達すると、空中像の辺ＡＥ、ＢＦ、ＣＧ、ＤＨは無くなる。つまり、四角形ＡＢＣＤと四角形ＥＦＧＨが合わさって、空中像は１つの四角形になる。この四角形は、四角形ＡＢＣＤと呼んでも四角形ＥＦＧＨと呼んでも、他の呼び方をしてもよいが、図６では四角形ＥＦＧＨ’と呼ぶ。空中像の最初の形状が立方体である場合には、直方体を経て、正方形へと変化することになる。
【0029】
（Ｂ）は手のひらを四角形ＥＦＧＨ’（この例では正方形）の上方（辺ＥＦ’）に添えた状態を示す。この状態から手のひらをＺ軸方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを辺ＥＦ’と平行な辺ＧＨ’がある方向（図の矢印の方向）に移動させるジェスチャに応じて、Ｚ軸方向と平行な空中像の辺ＥＧ’とＦＨ’の長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＥＧ’とＦＨ’の長さの減少も止まる。手のひらが、辺ＧＨ’が形成されている位置に到達すると、空中像の辺ＥＧ’とＦＨ’は無くなる。換言すると、辺ＥＦ’とＧＨ’が合わさって、空中像は（Ｃ）に示すような１つの線分になる。この線分は線分ＥＦ’と呼んでも線分ＧＨ’と呼んでも、他の呼び方をしてもよいが、ここでは線分ＧＨ”と呼ぶ。
【0030】
（Ｃ）は手のひらを辺ＥＦ’の位置から辺ＧＨ’の位置まで移動させた後の空中像を示す。図６では説明を省略しているが、手のひらを点Ｇ”又はＨ”に添え、その状態から他方の点Ｈ”又はＧ”の方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを点Ｇ”から点Ｈ”がある方向に移動させるジェスチャに応じて、辺ＧＨ”の長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＧＨ”の長さの減少も止まる。手のひらが、点Ｈ”が形成されている位置に到達すると、空中像は点Ｈ”だけになる。この点を点Ｇ”と呼んでも点Ｈ”と呼んでも、他の呼び方をしてもよい。なお、空中像が点だけになった状態は、全ての情報が１点にマッピングされることを意味する。
【0031】
図６では、片手で行うジェスチャによって空中像の形が変化する例を示したが、両手で行うジェスチャによって空中像の形が変化してもよい。例えば図６（Ａ）において、立方体の四角形ＡＢＣＤに片方の手を添え、四角形ＡＢＣＤと平行な四角形ＥＦＧＨにもう片方の手を添え、両方の手をＸ軸方向に移動させてもよい。それぞれの手の位置に応じて四角形ＡＢＣＤと四角形ＥＦＧＨの位置が変化し、それに伴って、辺ＡＥ、ＢＦ、ＣＧ、ＤＨの長さが増減する。両手を合わせるジェスチャが行われた場合には、両手が合わさった位置に空中像として四角形が残る。一方、両手を広げるジェスチャを行った場合には、両手の移動が止まった場所に四角形ＡＢＣＤと四角形ＥＦＧＨが移動する。この結果、立方体ＡＢＣＤＥＦＧＨは、辺ＡＥ、ＢＦ、ＣＧ、ＤＨの長さが増加した直方体に変化する。
なお、図６（Ｂ）と図６（Ｃ）に示す空中像に対しても、両手で行うジェスチャによって空中像の形が変化してもよい。
なお、図６（Ｂ）と図６（Ｃ）に示す空中像に対しても、両手で行うジェスチャによって空中像の形が変化してもよい。
【0032】
図６に示す空中像の変形は、空中に形成される空中像に割り当てられる特性の絞り込みへの活用が可能である。例えば（Ａ）では３つの特性の観点からドキュメントの位置の把握が可能であるが、（Ｂ）では２つの特性の観点からドキュメントの位置の把握が可能になる。更に、（Ｃ）では１つの特性の観点からドキュメントの位置の把握が可能になる。
例えばプロセッサ２１が、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける（ステップ１３）ときの詳細について図６の具体例を用いて説明すると、空中像が図６（Ａ）に示す立方体ＡＢＣＤＥＦＧＨから図６（Ｂ）に示す四角形ＥＦＧＨ’になるとき、空中像はＸ軸方向の長さを失っている。図６（Ａ）に示す立方体ＡＢＣＤＥＦＧＨのＸ軸方向、Ｙ軸方向、Ｚ軸方向がそれぞれ時間、関連度、人気を表している場合、図６（Ｂ）に示す四角形ＥＦＧＨ’のＹ軸方向とＺ軸方向のそれぞれは関連度と人気を表すといえる。つまり、立方体にドキュメントが対応付けられるとき、ドキュメントは時間、関連度、人気という３つの特性を表す位置に対応付けることになるが、正方形にドキュメントが対応付けられるとき、ドキュメントは関連度と人気という２つの特性を表す位置に対応付けられることになる。
例えばプロセッサ２１が、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける（ステップ１３）ときの詳細について図６の具体例を用いて説明すると、空中像が図６（Ａ）に示す立方体ＡＢＣＤＥＦＧＨから図６（Ｂ）に示す四角形ＥＦＧＨ’になるとき、空中像はＸ軸方向の長さを失っている。図６（Ａ）に示す立方体ＡＢＣＤＥＦＧＨのＸ軸方向、Ｙ軸方向、Ｚ軸方向がそれぞれ時間、関連度、人気を表している場合、図６（Ｂ）に示す四角形ＥＦＧＨ’のＹ軸方向とＺ軸方向のそれぞれは関連度と人気を表すといえる。つまり、立方体にドキュメントが対応付けられるとき、ドキュメントは時間、関連度、人気という３つの特性を表す位置に対応付けることになるが、正方形にドキュメントが対応付けられるとき、ドキュメントは関連度と人気という２つの特性を表す位置に対応付けられることになる。
【0033】
同様に、空中像が図６（Ｂ）に示す四角形ＥＦＧＨ’から図６（Ｃ）に示す線分ＧＨ”になるとき、空中像はＺ軸方向の長さを失っている。図６（Ｂ）に示す四角形ＥＦＧＨ’のＹ軸方向とＺ軸方向がそれぞれ関連度と人気を表している場合、Ｙ軸方向に平行な線分ＧＨ”は関連度を表しているといえる。つまり、線分にドキュメントが対応付けられるとき、ドキュメントは関連度という１つの特性を表す位置に対応付けられることになる。
因みに、空中像が図６（Ｃ）に示す線分ＧＨ”から点Ｈ”に変化するとき、空中像はＹ軸方向の長さを失っている。図６（Ｃ）に示す線分ＧＨ”は関連度を表している場合、点Ｈ”は、関連度という１つの特性も失うことになる。
因みに、空中像が図６（Ｃ）に示す線分ＧＨ”から点Ｈ”に変化するとき、空中像はＹ軸方向の長さを失っている。図６（Ｃ）に示す線分ＧＨ”は関連度を表している場合、点Ｈ”は、関連度という１つの特性も失うことになる。
【0034】
図７は、ジェスチャによる立方体形状の空中像の他の変形例を説明する図である。
（Ａ）は、手のひらを立方体形状の空中像における四角形ＡＥＣＧに添えた状態を示す。この状態から手のひらをＹ軸方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを四角形ＡＥＣＧと平行な四角形ＢＦＤＨがある方向（図の矢印の方向）に移動させるジェスチャに応じて、Ｙ軸方向と平行な空中像の辺ＡＢ、ＥＦ、ＣＤ、ＧＨの長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＡＢ、ＥＦ、ＣＤ、ＧＨの長さの減少も止まる。手のひらが、四角形ＢＦＤＨが形成されている位置に到達すると、空中像の辺ＡＢ、ＥＦ、ＣＤ、ＧＨは無くなる。つまり、四角形ＡＥＣＧと四角形ＢＦＤＨが合わさって、空中像は１つの四角形になる。この四角形は、四角形ＡＥＣＧと呼んでも四角形ＢＦＤＨと呼んでも、他の呼び方をしてもよいが、図７では四角形ＢＦＤＨ’と呼ぶ。空中像の最初の形状が立方体である場合には、直方体を経て、正方形へと変化することになる。
（Ａ）は、手のひらを立方体形状の空中像における四角形ＡＥＣＧに添えた状態を示す。この状態から手のひらをＹ軸方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを四角形ＡＥＣＧと平行な四角形ＢＦＤＨがある方向（図の矢印の方向）に移動させるジェスチャに応じて、Ｙ軸方向と平行な空中像の辺ＡＢ、ＥＦ、ＣＤ、ＧＨの長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＡＢ、ＥＦ、ＣＤ、ＧＨの長さの減少も止まる。手のひらが、四角形ＢＦＤＨが形成されている位置に到達すると、空中像の辺ＡＢ、ＥＦ、ＣＤ、ＧＨは無くなる。つまり、四角形ＡＥＣＧと四角形ＢＦＤＨが合わさって、空中像は１つの四角形になる。この四角形は、四角形ＡＥＣＧと呼んでも四角形ＢＦＤＨと呼んでも、他の呼び方をしてもよいが、図７では四角形ＢＦＤＨ’と呼ぶ。空中像の最初の形状が立方体である場合には、直方体を経て、正方形へと変化することになる。
【0035】
（Ｂ）は手のひらを四角形ＢＦＤＨ’（この例では正方形）の右辺（辺ＦＨ’）に添えた状態を示す。この状態から手のひらをＸ軸方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを辺ＦＨ’と平行な辺ＢＤ’がある方向（図の矢印の方向）に移動させるジェスチャに応じて、Ｘ軸方向と平行な空中像の辺ＢＦ’とＤＨ’の長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＢＦ’とＤＨ’の長さの減少も止まる。手のひらが、辺ＢＤ’が形成されている位置に到達すると、空中像の辺ＢＦ’とＤＨ’は無くなる。換言すると、辺ＢＦ’とＤＨ’が合わさって、空中像は（Ｃ）に示すような１つの線分になる。この線分は線分ＢＤ’と呼んでも線分ＦＨ’と呼んでも、他の呼び方をしてもよいが、ここでは線分ＢＤ”と呼ぶ。
【0036】
（Ｃ）は手のひらを辺ＦＨ’の位置から辺ＢＤ’の位置まで移動させた後の空中像を示す。図７では説明を省略しているが、手のひらを点Ｂ”又はＤ”に添え、その状態から他方の点Ｄ”又はＢ”の方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを点Ｂ”から点Ｄ”がある方向に移動させるジェスチャに応じて、辺ＢＤ”の長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＢＤ”の長さの減少も止まる。手のひらが、点Ｄ”が形成されている位置に到達すると、空中像は点Ｄ”だけになる。この点を点Ｂ”と呼んでも点Ｄ”と呼んでも、他の呼び方をしてもよい。なお、空中像が点だけになった状態は、全ての情報が１点にマッピングされることを意味する。
【0037】
図７の場合も、片手で行うジェスチャによって空中像の形が変化する例を示したが、両手で行うジェスチャによって空中像の形が変化してもよい。例えば図７（Ａ）において、立方体の四角形ＡＥＣＧに片方の手を添え、四角形ＡＥＣＧと平行な四角形ＢＦＤＨにもう片方の手を添え、両方の手をＹ軸方向に移動させてもよい。それぞれの手の位置に応じて四角形ＡＥＣＧと四角形ＢＦＤＨの位置が変化し、それに伴って、辺ＡＢ、ＥＦ、ＣＤ、ＧＨの長さが増減する。両手を合わせるジェスチャが行われた場合には、両手が合わさった位置に空中像として四角形が残る。一方、両手を広げるジェスチャを行った場合には、両手の移動が止まった場所に四角形ＡＥＣＧと四角形ＢＦＤＨが移動する。この結果、立方体ＡＢＣＤＥＦＧＨは、辺ＡＢ、ＥＦ、ＣＤ、ＧＨの長さが増加した直方体に変化する。なお、図７（Ｂ）と図７（Ｃ）に示す空中像に対しても、両手で行うジェスチャによって空中像の形が変化してもよい。
【0038】
図７に示す空中像の変形においても、空中に形成される空中像に割り当てられる特性の絞り込みへの活用が可能である。例えば（Ａ）では３つの特性の観点からドキュメントの位置の把握が可能であるが、（Ｂ）では２つの特性の観点からドキュメントの位置の把握が可能になる。更に、（Ｃ）では１つの特性の観点からドキュメントの位置の把握が可能になる。
例えばプロセッサ２１が、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける（ステップ１３）ときの詳細について図７の具体例を用いて説明すると、空中像が図７（Ａ）に示す立方体ＡＢＣＤＥＦＧＨから図７（Ｂ）に示す四角形ＢＦＤＨ’になるとき、空中像はＹ軸方向の長さを失っている。図７（Ａ）に示す立方体ＡＢＣＤＥＦＧＨのＸ軸方向、Ｙ軸方向、Ｚ軸方向がそれぞれ時間、関連度、人気を表している場合、図７（Ｂ）に示す四角形ＢＦＤＨ’のＸ軸方向とＺ軸方向のそれぞれは時間と人気を表すといえる。つまり、立方体にドキュメントが対応付けられるとき、ドキュメントは時間、関連度、人気という３つの特性を表す位置に対応付けることになるが、正方形にドキュメントが対応付けられるとき、ドキュメントは時間と人気という２つの特性を表す位置に対応付けられることになる。
例えばプロセッサ２１が、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける（ステップ１３）ときの詳細について図７の具体例を用いて説明すると、空中像が図７（Ａ）に示す立方体ＡＢＣＤＥＦＧＨから図７（Ｂ）に示す四角形ＢＦＤＨ’になるとき、空中像はＹ軸方向の長さを失っている。図７（Ａ）に示す立方体ＡＢＣＤＥＦＧＨのＸ軸方向、Ｙ軸方向、Ｚ軸方向がそれぞれ時間、関連度、人気を表している場合、図７（Ｂ）に示す四角形ＢＦＤＨ’のＸ軸方向とＺ軸方向のそれぞれは時間と人気を表すといえる。つまり、立方体にドキュメントが対応付けられるとき、ドキュメントは時間、関連度、人気という３つの特性を表す位置に対応付けることになるが、正方形にドキュメントが対応付けられるとき、ドキュメントは時間と人気という２つの特性を表す位置に対応付けられることになる。
【0039】
同様に、空中像が図７（Ｂ）に示す四角形ＢＦＤＨ’から図７（Ｃ）に示す線分ＢＤ”になるとき、空中像はＸ軸方向の長さを失っている。図７（Ｂ）に示す四角形ＢＦＤＨ’のＸ軸方向とＺ軸方向がそれぞれ時間と人気を表している場合、Ｚ軸方向に平行な線分ＢＤ”は人気を表しているといえる。つまり、線分にドキュメントが対応付けられるとき、ドキュメントは人気という１つの特性を表す位置に対応付けられることになる。
因みに、空中像が図７（Ｃ）に示す線分ＢＤ”から点Ｄ”に変化するとき、空中像はＺ軸方向の長さを失っている。図７（Ｃ）に示す線分ＢＤ”は人気を表している場合、点Ｄ”は、人気という１つの特性も失うことになる。
因みに、空中像が図７（Ｃ）に示す線分ＢＤ”から点Ｄ”に変化するとき、空中像はＺ軸方向の長さを失っている。図７（Ｃ）に示す線分ＢＤ”は人気を表している場合、点Ｄ”は、人気という１つの特性も失うことになる。
【0040】
図８は、ジェスチャによる立方体形状の空中像の他の変形例を説明する図である。
（Ａ）は、手のひらを立方体形状の空中像における四角形ＡＢＥＦに添えた状態を示す。この状態から手のひらをＺ軸方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを四角形ＡＢＥＦと平行な四角形ＣＤＧＨがある方向（図の矢印の方向）に移動させるジェスチャに応じて、Ｚ軸方向と平行な空中像の辺ＡＣ、ＢＤ、ＥＧ、ＦＨの長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＡＣ、ＢＤ、ＥＧ、ＦＨの長さの減少も止まる。手のひらが、四角形ＣＤＧＨが形成されている位置に到達すると、空中像の辺ＡＣ、ＢＤ、ＥＧ、ＦＨは無くなる。つまり、四角形ＡＢＥＦと四角形ＣＤＧＨが合わさって、空中像は１つの四角形になる。この四角形は、四角形ＡＢＥＦと呼んでも四角形ＣＤＧＨと呼んでも、他の呼び方をしてもよいが、図８では四角形ＣＤＧＨ’と呼ぶ。空中像の最初の形状が立方体である場合には、直方体を経て、正方形へと変化することになる。
（Ａ）は、手のひらを立方体形状の空中像における四角形ＡＢＥＦに添えた状態を示す。この状態から手のひらをＺ軸方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを四角形ＡＢＥＦと平行な四角形ＣＤＧＨがある方向（図の矢印の方向）に移動させるジェスチャに応じて、Ｚ軸方向と平行な空中像の辺ＡＣ、ＢＤ、ＥＧ、ＦＨの長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＡＣ、ＢＤ、ＥＧ、ＦＨの長さの減少も止まる。手のひらが、四角形ＣＤＧＨが形成されている位置に到達すると、空中像の辺ＡＣ、ＢＤ、ＥＧ、ＦＨは無くなる。つまり、四角形ＡＢＥＦと四角形ＣＤＧＨが合わさって、空中像は１つの四角形になる。この四角形は、四角形ＡＢＥＦと呼んでも四角形ＣＤＧＨと呼んでも、他の呼び方をしてもよいが、図８では四角形ＣＤＧＨ’と呼ぶ。空中像の最初の形状が立方体である場合には、直方体を経て、正方形へと変化することになる。
【0041】
（Ｂ）は手のひらを四角形ＣＤＧＨ’（この例では正方形）の奥側（辺ＤＨ’）に添えた状態を示す。この状態から手のひらをＹ軸方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを辺ＤＨ’と平行な辺ＣＧ’がある方向（図の矢印の方向）に移動させるジェスチャに応じて、Ｙ軸方向と平行な空中像の辺ＣＤ’とＧＨ’の長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＣＤ’とＧＨ’の長さの減少も止まる。手のひらが、辺ＣＧ’が形成されている位置に到達すると、空中像の辺ＣＤ’とＧＨ’は無くなる。換言すると、辺ＤＨ’とＣＧ’が合わさって、空中像は（Ｃ）に示すような１つの線分になる。この線分は線分ＣＧ’と呼んでも線分ＤＨ’と呼んでも、他の呼び方をしてもよいが、ここでは線分ＣＧ”と呼ぶ。
【0042】
（Ｃ）は手のひらを辺ＤＨ’の位置から辺ＣＧ’の位置まで移動させた後の空中像を示す。図８では説明を省略しているが、手のひらを点Ｃ”又はＧ”に添え、その状態から他方の点Ｇ”又はＣ”の方向に移動させるジェスチャに応じて、プロセッサ２１は空中像の形を変化させる。一例として、手のひらを点Ｃ”から点Ｇ”がある方向に移動させるジェスチャに応じて、辺ＣＧ”の長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺ＣＧ”の長さの減少も止まる。手のひらが、点Ｇ”が形成されている位置に到達すると、空中像は点Ｇ”だけになる。この点を点Ｃ”と呼んでも点Ｇ”と呼んでも、他の呼び方をしてもよい。空中像が点だけになった状態は、全ての情報が１点にマッピングされることを意味する。
【0043】
図８の場合も、片手で行うジェスチャによって空中像の形が変化する例を示したが、両手で行うジェスチャによって空中像の形が変化してもよい。例えば図８（Ａ）において、立方体の四角形ＡＢＥＦに片方の手を添え、四角形ＡＢＥＦと平行な四角形ＣＤＧＨにもう片方の手を添え、両方の手をＺ軸方向に移動させてもよい。それぞれの手の位置に応じて四角形ＡＢＥＦと四角形ＣＤＧＨの位置が変化し、それに伴って、辺ＡＣ、ＢＤ、ＥＧ、ＦＨの長さが増減する。両手を合わせるジェスチャが行われた場合には、両手が合わさった位置に空中像として四角形が残る。一方、両手を広げるジェスチャを行った場合には、両手の移動が止まった場所に四角形ＡＢＥＦと四角形ＣＤＧＨが移動する。この結果、立方体ＡＢＣＤＥＦＧＨは、辺ＡＣ、ＢＤ、ＥＧ、ＦＨの長さが増加した直方体に変化する。なお、図８（Ｂ）と図８（Ｃ）に示す空中像に対しても、両手で行うジェスチャによって空中像の形が変化してもよい。
【0044】
図８に示す空中像の変形においても、空中に形成される空中像に割り当てられる特性の絞り込みへの活用が可能である。例えば（Ａ）では３つの特性の観点からドキュメントの位置の把握が可能であるが、（Ｂ）では２つの特性の観点からドキュメントの位置の把握が可能になる。更に、（Ｃ）では１つの特性の観点からドキュメントの位置の把握が可能になる。
例えばプロセッサ２１が、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける（ステップ１３）ときの詳細について図８の具体例を用いて説明すると、空中像が図８（Ａ）に示す立方体ＡＢＣＤＥＦＧＨから図８（Ｂ）に示す四角形ＣＤＧＨ’になるとき、空中像はＺ軸方向の長さを失っている。図８（Ａ）に示す立方体ＡＢＣＤＥＦＧＨのＸ軸方向、Ｙ軸方向、Ｚ軸方向がそれぞれ時間、関連度、人気を表している場合、図８（Ｂ）に示す四角形ＣＤＧＨ’のＸ軸方向とＹ軸方向のそれぞれは時間と関連度を表すといえる。つまり、立方体にドキュメントが対応付けられるとき、ドキュメントは時間、関連度、人気という３つの特性を表す位置に対応付けることになるが、正方形にドキュメントが対応付けられるとき、ドキュメントは時間と関連度という２つの特性を表す位置に対応付けられることになる。
例えばプロセッサ２１が、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける（ステップ１３）ときの詳細について図８の具体例を用いて説明すると、空中像が図８（Ａ）に示す立方体ＡＢＣＤＥＦＧＨから図８（Ｂ）に示す四角形ＣＤＧＨ’になるとき、空中像はＺ軸方向の長さを失っている。図８（Ａ）に示す立方体ＡＢＣＤＥＦＧＨのＸ軸方向、Ｙ軸方向、Ｚ軸方向がそれぞれ時間、関連度、人気を表している場合、図８（Ｂ）に示す四角形ＣＤＧＨ’のＸ軸方向とＹ軸方向のそれぞれは時間と関連度を表すといえる。つまり、立方体にドキュメントが対応付けられるとき、ドキュメントは時間、関連度、人気という３つの特性を表す位置に対応付けることになるが、正方形にドキュメントが対応付けられるとき、ドキュメントは時間と関連度という２つの特性を表す位置に対応付けられることになる。
【0045】
同様に、空中像が図８（Ｂ）に示す四角形ＣＤＧＨ’から図８（Ｃ）に示す線分ＣＧ”になるとき、空中像はＹ軸方向の長さを失っている。図８（Ｂ）に示す四角形ＣＤＧＨ’のＸ軸方向とＹ軸方向がそれぞれ時間と関連度を表している場合、Ｘ軸方向に平行な線分ＣＧ”は時間を表しているといえる。つまり、線分にドキュメントが対応付けられるとき、ドキュメントは時間という１つの特性を表す位置に対応付けられることになる。
因みに、空中像が図８（Ｃ）に示す線分ＣＧ”から点Ｇ”に変化するとき、空中像はＸ軸方向の長さを失っている。図８（Ｃ）に示す線分ＣＧ”は時間を表している場合、点Ｇ”は、時間という１つの特性も失うことになる。
因みに、空中像が図８（Ｃ）に示す線分ＣＧ”から点Ｇ”に変化するとき、空中像はＸ軸方向の長さを失っている。図８（Ｃ）に示す線分ＣＧ”は時間を表している場合、点Ｇ”は、時間という１つの特性も失うことになる。
【0046】
図６～８では、空中像が三次元（立体図形）から二次元（平面図形）、二次元（平面図形）から一次元（線分）に変形する例を示したが、一次元（線分）から二次元（平面図形）、二次元（平面図形）から三次元（立体図形）に変形させてもよい。例えば、ユーザが図８（Ｃ）に示す線分ＣＧ”を両手で挟んだ状態からＹ軸方向に手を開くジェスチャに応じて、Ｘ軸方向に対応する時間という特性のみを表す線分ＣＧ”を、Ｘ軸方向に対応する時間という特性とＹ軸方向に対応する関連度という特性の２つの特性を表す四角形へと変化させる。
また、ユーザが図８（Ｂ）に示す四角形ＣＤＧＨ’を両手で挟んだ状態からＺ軸方向に手を開くジェスチャに応じて、Ｘ軸方向に対応する時間という特性とＹ軸方向に対応する関連度という特性の２つの特性を表す四角形ＣＤＧＨ’から、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向がそれぞれ時間、関連度、人気を表す立方体へと変化させてもよい。
また、ユーザが図８（Ｂ）に示す四角形ＣＤＧＨ’を両手で挟んだ状態からＺ軸方向に手を開くジェスチャに応じて、Ｘ軸方向に対応する時間という特性とＹ軸方向に対応する関連度という特性の２つの特性を表す四角形ＣＤＧＨ’から、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向がそれぞれ時間、関連度、人気を表す立方体へと変化させてもよい。
【0047】
空中像は、点Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈで表される立体図形、平面図形、線分以外に変形してもよい。例えば、図８（Ｂ）に示す四角形ＣＤＧＨ’を両手で挟んだ状態から、片方の手を四角形ＣＤＧＨ’上に残し、もう片方の手を四角形ＡＢＥＦと反対の側（図８（Ｂ）では四角形ＣＤＧＨ’より下の方向）に向かって離すジェスチャに応じて、四角形ＣＤＧＨ’を立方体ＡＢＣＤＥＦＧＨがあった位置とは異なる位置に向かって変形させて立体を形成してもよい。
別の例として、図８（Ｂ）の四角形ＣＤＧＨ’を両手で挟んだ状態から、片方の手を四角形ＡＢＥＦに向かって動かし、もう片方の手を四角形ＡＢＥＦと反対の側に向かって動かすジェスチャに応じて、変形後の立体の対抗する２つの面が、移動後の２つの手の位置に対応するように四角形ＣＤＧＨ’を変形させることも可能である。
別の例として、図８（Ｂ）の四角形ＣＤＧＨ’を両手で挟んだ状態から、片方の手を四角形ＡＢＥＦに向かって動かし、もう片方の手を四角形ＡＢＥＦと反対の側に向かって動かすジェスチャに応じて、変形後の立体の対抗する２つの面が、移動後の２つの手の位置に対応するように四角形ＣＤＧＨ’を変形させることも可能である。
【0048】
なお、ここで挙げたジェスチャは例にすぎず、上記のような空中像の変形を他のジェスチャに応じておこなってもよい。空中の２つの物体が離れている状態から接触した状態にするというジェスチャは、「縮める」、「減らす」という人間の感覚に沿ったものであると考えられ、逆に２つの物体が接触している状態から離れた状態にするというジェスチャは、「広げる」、「増やす」という人間の感覚に沿ったものであると考えられるため、ユーザに直感的にわかりやすいと感じてもらえることが期待できる。
ジェスチャは指先で行ってもよい。例えば、片手の２本の指先をそれぞれ平面図形や立体図形内の対向する線分や面に添えた状態から指先を近づけたりくっつけたりするジェスチャによって線分を平面図形に、平面図形を立体図形に変形させてもよい。また、片手の２本の指先で線分や平面図形をつまんだ状態から指先を離すジェスチャによって線分を平面図形に、平面図形を立体図形に変形させてもよい。さらに、ジェスチャは、人体の一部ではない物体（例：ロボットの手や、ユーザが手に持っているペンの先）の移動も含む。
ジェスチャは指先で行ってもよい。例えば、片手の２本の指先をそれぞれ平面図形や立体図形内の対向する線分や面に添えた状態から指先を近づけたりくっつけたりするジェスチャによって線分を平面図形に、平面図形を立体図形に変形させてもよい。また、片手の２本の指先で線分や平面図形をつまんだ状態から指先を離すジェスチャによって線分を平面図形に、平面図形を立体図形に変形させてもよい。さらに、ジェスチャは、人体の一部ではない物体（例：ロボットの手や、ユーザが手に持っているペンの先）の移動も含む。
【0049】
図９は、ジェスチャで立方体形状の空中像を切り取る場合の変形例を説明する図である。（Ａ）は、立方体形状の空中像をＹ軸に沿って横切るように手のひらを上面から下面に移動させ、更にＸ軸方向の左方向に払いのける場合を示し、（Ｂ）は変形後の空中像を示す。この例では、立方体形状の空中像の右側の部分が空中に残っている。
なお、手のひらを上下方向（ここではＺ軸方向）に移動させるだけの場合には、手のひらが移動した位置を挟んで、立方体形状の空中像を左側の部分と右側の部分に分離させることも可能である。空中像を複数の部位に切り分けることで、対応付けられているドキュメントを別フォルダに保存したり他のユーザに配分したりすることが可能になる。
なお、手のひらを上下方向（ここではＺ軸方向）に移動させるだけの場合には、手のひらが移動した位置を挟んで、立方体形状の空中像を左側の部分と右側の部分に分離させることも可能である。空中像を複数の部位に切り分けることで、対応付けられているドキュメントを別フォルダに保存したり他のユーザに配分したりすることが可能になる。
【0050】
また、立方体形状の空中像に対して手のひらをＺ軸方向に２回移動させると、立体形状の空中像のうちＸ方向の中央付近だけを残し、その左側の部分と右側の部分を空中から取り除くことも可能である。
図９に示す空中像の変形は、空中に形成される空中像に割り当てられるドキュメントの絞り込みへの活用が可能である。換言すると、空中像を通じて扱うドキュメント数の減少に用いることが可能である。
図９に示す空中像の変形は、空中に形成される空中像に割り当てられるドキュメントの絞り込みへの活用が可能である。換言すると、空中像を通じて扱うドキュメント数の減少に用いることが可能である。
【0051】
図１０は、ジェスチャで立方体形状の空中像を切り取る場合の他の変形例を説明する図である。（Ａ）は、立方体形状の空中像をＸ軸に沿って横切るように手のひらを上面から下面に移動させ、更にＹ軸方向の奥側に払いのける場合を示し、（Ｂ）は変形後の空中像を示す。この例では、立方体形状の空中像の手前側の部分が空中に残っている。なお、手のひらが立体形状の空中像を上下方向（ここではＺ軸方向）に横切った後に手前側に払いのけられる場合には、手のひらが移動した位置を挟んで、立方体形状の空中像の奥側の部分が空中に残ることになる。図１０の場合も、立体形状の空中像のうちＹ軸方向の中央部だけを残し、その奥側の部分と手前側の部分を空中から取り除くことも可能である。
【0052】
図１１は、ジェスチャで立方体形状の空中像を切り取る場合の他の変形例を説明する図である。（Ａ）は、立方体形状の空中像を水平方向（ここではＸ軸とＹ軸で規定される面に対して並行）に横切るように手のひらを移動させ、更に下方に払いのける場合を示し、（Ｂ）は変形後の空中像を示す。この例では、立方体形状の空中像の上面側の部分が空中に残っている。なお、手のひらが立体形状の空中像を水平方向に横切った後に上方（Ｚ軸の方向）に払いのけられる場合には、立方体形状の空中像の下面側の部分が空中に残ることになる。図１１の場合も、立体形状の空中像のうちＺ軸方向の中央部だけを残し、その上面側の部分と下面側の部分を空中から取り除くことも可能である。
【0053】
なお、立方体形状の空中像の一部分だけを取り除く変形には、特定の方向から見てＬ字形状や階段状に見えるような変形も可能である。
この他、空中像の大きさをジェスチャにより拡大又は縮小させることも可能である。
図１２は、ジェスチャによる空中像の拡大を説明する図である。（Ａ）は両手を空中像の対角方向に広げるように動かすジェスチャを示し、（Ｂ）は変形後の空中像を示す。なお、空中像の拡大は、立方体形状のままの変形に限らず、特定の方向への拡大でもよい。例えば両手を、対面する位置にある一対の四角形に添えた状態で、両手の距離を広げることで、立方体形状を直方体形状に変形してもよい。図１２の場合、２つの四角形ＡＢＣＤと四角形ＥＦＧＨに添えた状態で、その両手の距離をＸ軸の方向に広げると、立方体形状の空中像は、辺ＡＥ、ＢＦ、ＣＧ、ＤＨがＸ軸方向に延長された直方体形状に変形される。空中像を拡大する方向は、Ｙ軸の方向、Ｚ軸の方向でもよい。
図１３は、ジェスチャによる空中像の縮小を説明する図である。（Ａ）は両手を空中像の対角方向に近づけるように動かすジェスチャを示し、（Ｂ）は変形後の空中像を示す。なお、空中像の縮小は、立方体形状のままの変形に限らず、特定の方向への縮小でもよい。例えば両手を、対面する位置にある一対の四角形に添えた状態で、両手の距離を狭めることで、立方体形状を直方体形状に変形してもよい。図１３の場合、２つの四角形ＡＢＣＤと四角形ＥＦＧＨに添えた状態で、その両手の距離をＸ軸の方向に狭めると、立方体形状の空中像は、辺ＡＥ、ＢＦ、ＣＧ、ＤＨがＸ軸方向に短縮された直方体形状に変形される。空中像を縮小する方向は、Ｙ軸の方向、Ｚ軸の方向でもよい。
この他、空中像の大きさをジェスチャにより拡大又は縮小させることも可能である。
図１２は、ジェスチャによる空中像の拡大を説明する図である。（Ａ）は両手を空中像の対角方向に広げるように動かすジェスチャを示し、（Ｂ）は変形後の空中像を示す。なお、空中像の拡大は、立方体形状のままの変形に限らず、特定の方向への拡大でもよい。例えば両手を、対面する位置にある一対の四角形に添えた状態で、両手の距離を広げることで、立方体形状を直方体形状に変形してもよい。図１２の場合、２つの四角形ＡＢＣＤと四角形ＥＦＧＨに添えた状態で、その両手の距離をＸ軸の方向に広げると、立方体形状の空中像は、辺ＡＥ、ＢＦ、ＣＧ、ＤＨがＸ軸方向に延長された直方体形状に変形される。空中像を拡大する方向は、Ｙ軸の方向、Ｚ軸の方向でもよい。
図１３は、ジェスチャによる空中像の縮小を説明する図である。（Ａ）は両手を空中像の対角方向に近づけるように動かすジェスチャを示し、（Ｂ）は変形後の空中像を示す。なお、空中像の縮小は、立方体形状のままの変形に限らず、特定の方向への縮小でもよい。例えば両手を、対面する位置にある一対の四角形に添えた状態で、両手の距離を狭めることで、立方体形状を直方体形状に変形してもよい。図１３の場合、２つの四角形ＡＢＣＤと四角形ＥＦＧＨに添えた状態で、その両手の距離をＸ軸の方向に狭めると、立方体形状の空中像は、辺ＡＥ、ＢＦ、ＣＧ、ＤＨがＸ軸方向に短縮された直方体形状に変形される。空中像を縮小する方向は、Ｙ軸の方向、Ｚ軸の方向でもよい。
【0054】
以下では、空中に形成された空中像を用いたドキュメントの指定について説明する。
図１４は、実施の形態１におけるプロセッサ２１（図１参照）の処理動作の他の一例を説明するフローチャートである。図１４に示す処理は、ドキュメントの選択を検知する処理に対応する。
まず、プロセッサ２１は、空中に形成された空中像の内側の空間に移動した物体があるか否かを判定する（ステップ２１）。ここでの空中像は、前述したジェスチャによる変形後の形状を含んでいる。
ステップ２１で否定結果が得られている間、プロセッサ２１は、ステップ２１の判定を繰り返す。
図１４は、実施の形態１におけるプロセッサ２１（図１参照）の処理動作の他の一例を説明するフローチャートである。図１４に示す処理は、ドキュメントの選択を検知する処理に対応する。
まず、プロセッサ２１は、空中に形成された空中像の内側の空間に移動した物体があるか否かを判定する（ステップ２１）。ここでの空中像は、前述したジェスチャによる変形後の形状を含んでいる。
ステップ２１で否定結果が得られている間、プロセッサ２１は、ステップ２１の判定を繰り返す。
【0055】
一方、ステップ２１で肯定結果が得られた場合、プロセッサ２１は、物体の特定の位置に対応付けられているドキュメントを選択する（ステップ２２）。本実施の形態の場合、物体の特定の位置には、指先や指示棒の先端の位置を使用する。実空間内の座標系における位置として特定される。本実施の形態の場合、物体の位置は、実空間内の座標系における位置からデータ空間上の位置に変換される。その後、変換後のデータ空間上の位置に対応付けられているドキュメントが選択される。
この後、プロセッサ２１は、物体の位置に刺激を与える指示を出力する（ステップ２３）。ここでの指示は、超音波触覚インタフェース装置４０に出力される。
この後、プロセッサ２１は、物体の位置に刺激を与える指示を出力する（ステップ２３）。ここでの指示は、超音波触覚インタフェース装置４０に出力される。
【0056】
＜空中像を用いた操作の具体例＞
以下では、空中像を用いた操作の具体例を説明する。ここでは、コンピュータその他の不図示の情報端末を使用してインターネットやデータベース等を検索した結果を空中像に対応付けている場合の操作について説明する。
なお、説明の前提となる検索には、例えば、検索するキーワードを入力する欄と検索の方式を指示する欄が設けられた画面をユーザに提示し、検索条件を指定させる。検索の方式には、例えば複数のキーワードのいずれもが含まれるドキュメントが結果の上位に配置される確率が高いアンド検索、複数のキーワードが入力された場合に、個々のキーワードに対する検索の結果を合体させるＯＲ検索、複数のキーワードを１つのキーワードとして検索する完全一致検索、特定のキーワードを検索の結果から除外する除外検索がある。
検索の結果をユーザに提示する際のオプションとして、例えば、「検索の結果を空中像で表示」のようなチェックボックスを設け、検索結果を空中像にマッピングした状態で確認したいユーザにチェックさせてもよい。なお、検索結果は空中像だけに表示しなければならないわけではなく、検索で見つかったドキュメントやドキュメントの一覧を画面上に表示した上で、検索で見つかったドキュメントをマッピングした空中像をさらにユーザに提示してもよい。
以下では、空中像を用いた操作の具体例を説明する。ここでは、コンピュータその他の不図示の情報端末を使用してインターネットやデータベース等を検索した結果を空中像に対応付けている場合の操作について説明する。
なお、説明の前提となる検索には、例えば、検索するキーワードを入力する欄と検索の方式を指示する欄が設けられた画面をユーザに提示し、検索条件を指定させる。検索の方式には、例えば複数のキーワードのいずれもが含まれるドキュメントが結果の上位に配置される確率が高いアンド検索、複数のキーワードが入力された場合に、個々のキーワードに対する検索の結果を合体させるＯＲ検索、複数のキーワードを１つのキーワードとして検索する完全一致検索、特定のキーワードを検索の結果から除外する除外検索がある。
検索の結果をユーザに提示する際のオプションとして、例えば、「検索の結果を空中像で表示」のようなチェックボックスを設け、検索結果を空中像にマッピングした状態で確認したいユーザにチェックさせてもよい。なお、検索結果は空中像だけに表示しなければならないわけではなく、検索で見つかったドキュメントやドキュメントの一覧を画面上に表示した上で、検索で見つかったドキュメントをマッピングした空中像をさらにユーザに提示してもよい。
【0057】
＜具体例１＞
図１５は、４つの検索の条件の全てを満たすドキュメントに関する情報を説明するデータテーブルの一例を説明する図である。
図１５の場合、検索の条件＃１は、複合機又はプリンタを含むドキュメントであり、検索の条件＃２は、消耗品又は部品を含むドキュメントであり、検索の条件＃３は、通知を含むドキュメントであり、検索の条件＃４は、交換時期又は寿命を含むドキュメントである。
図１５は、４つの検索の条件の全てを満たすドキュメントに関する情報を説明するデータテーブルの一例を説明する図である。
図１５の場合、検索の条件＃１は、複合機又はプリンタを含むドキュメントであり、検索の条件＃２は、消耗品又は部品を含むドキュメントであり、検索の条件＃３は、通知を含むドキュメントであり、検索の条件＃４は、交換時期又は寿命を含むドキュメントである。
【0058】
図１５には、条件＃１～＃４の全てを満たすドキュメントとして、ドキュメントＡ、ドキュメントＢ、ドキュメントＣを例示している。
ドキュメントＡの総文字数は１０，０００であり、ドキュメントＢの総文字数は２０，０００であり、ドキュメントＣの総文字数は３０，０００である。
なお、ドキュメントＡには、条件＃１を満たすテキストが３０回出現し、条件＃２を満たすテキストが１０回出現し、条件＃３を満たすテキストが５回出現し、条件＃４を満たすテキストが２０回出現する。
条件間での出現の比率は、（条件＃１：条件＃２：条件＃３：条件＃４）＝（６：２：１：４）である。また、総文字数に対する出現回数の合計の割合は、０．００６５となる。なお、全体的な関連度を表す値は、４．５である。
ドキュメントＡの総文字数は１０，０００であり、ドキュメントＢの総文字数は２０，０００であり、ドキュメントＣの総文字数は３０，０００である。
なお、ドキュメントＡには、条件＃１を満たすテキストが３０回出現し、条件＃２を満たすテキストが１０回出現し、条件＃３を満たすテキストが５回出現し、条件＃４を満たすテキストが２０回出現する。
条件間での出現の比率は、（条件＃１：条件＃２：条件＃３：条件＃４）＝（６：２：１：４）である。また、総文字数に対する出現回数の合計の割合は、０．００６５となる。なお、全体的な関連度を表す値は、４．５である。
【0059】
ドキュメントＢには、条件＃１を満たすテキストが１０回出現し、条件＃２を満たすテキストが４０回出現し、条件＃３を満たすテキストが８０回出現し、条件＃４を満たすテキストが６０回出現する。
条件間での出現の比率は、（条件＃１：条件＃２：条件＃３：条件＃４）＝（１：４：８：６）である。また、総文字数に対する出現回数の合計の割合は、０．００９５となる。全体的な関連度を表す値は、５である。
ドキュメントＣには、条件＃１を満たすテキストが６回出現し、条件＃２を満たすテキストが６回出現し、条件＃３を満たすテキストが３０回出現し、条件＃４を満たすテキストが３回出現する。
条件間での出現の比率は、（条件＃１：条件＃２：条件＃３：条件＃４）＝（２：２：１０：１）である。また、総文字数に対する出現回数の合計の割合は、０．００１５となる。全体的な関連度を表す値は、１である。
条件間での出現の比率は、（条件＃１：条件＃２：条件＃３：条件＃４）＝（１：４：８：６）である。また、総文字数に対する出現回数の合計の割合は、０．００９５となる。全体的な関連度を表す値は、５である。
ドキュメントＣには、条件＃１を満たすテキストが６回出現し、条件＃２を満たすテキストが６回出現し、条件＃３を満たすテキストが３０回出現し、条件＃４を満たすテキストが３回出現する。
条件間での出現の比率は、（条件＃１：条件＃２：条件＃３：条件＃４）＝（２：２：１０：１）である。また、総文字数に対する出現回数の合計の割合は、０．００１５となる。全体的な関連度を表す値は、１である。
【0060】
図１６は、４つの検索の条件の全てを満たすドキュメントを空中像にマッピングした例を説明する図である。（Ａ）は空中像としての正三角錐に検索の条件を満たすドキュメントをマッピングして提示する例を示し、（Ｂ）はユーザのジェスチャにより特性の数を３つに低減した例を示し、（Ｃ）はユーザのジェスチャにより特性の数を２つに低減した例を示している。
【0061】
なお、全体的な関連度を示す指標も空中像として空中に形成されている。全体的な関連度を示す指標が空中に形成されることにより、正三角錐の内部にマッピングされているドキュメントの全体的な関連度の確認が容易になる。図１６の場合、空中像を用いて提示するドキュメントの数を、全体的な関連度を用いて調整し、ユーザによる確認を容易にしている。
全体的な関連度を示す指標を用いたドキュメント数の絞り込みは、確認を容易にする目的だけでなく、注目する関連度への絞り込みにも利用が可能である。例えば空中像にマッピングされるドキュメントの全体的な関連度を「２」と「３」に限定することも可能である。
図１６の場合には、ドキュメントの位置を同じ球形のアイコンで表現しているが、全体的な関連度に応じてアイコンの色を変更することも可能である。例えば全体的な関連度が高いドキュメントのアイコンを赤色で表現し、関連度が低いドキュメントのアイコンを青色で表現することも可能である。もっとも、関連度の高低ではなく、特定の関連度毎に特定の色を割り当ててもよい。
なお、関連度の高低は、触覚刺激の大きさで表現することも可能である。
全体的な関連度を示す指標を用いたドキュメント数の絞り込みは、確認を容易にする目的だけでなく、注目する関連度への絞り込みにも利用が可能である。例えば空中像にマッピングされるドキュメントの全体的な関連度を「２」と「３」に限定することも可能である。
図１６の場合には、ドキュメントの位置を同じ球形のアイコンで表現しているが、全体的な関連度に応じてアイコンの色を変更することも可能である。例えば全体的な関連度が高いドキュメントのアイコンを赤色で表現し、関連度が低いドキュメントのアイコンを青色で表現することも可能である。もっとも、関連度の高低ではなく、特定の関連度毎に特定の色を割り当ててもよい。
なお、関連度の高低は、触覚刺激の大きさで表現することも可能である。
【0062】
図１６の場合、正三角錐の各頂点Ａ～Ｄには、検索の条件＃１から＃４が対応付けられている。因みに、頂点Ａは条件＃４であり、頂点Ｂは条件＃１であり、頂点Ｃは条件＃２であり、頂点Ｄは条件＃３である。
なお、図１６の場合、全体的な関連度が１～５のドキュメントをマッピングの対象としている。このため、図１６の例では、図１５で説明したドキュメントＡ、Ｂ、Ｃの位置を示すアイコンが空中像にマッピングされている。
マッピングの対象とするドキュメントは、全体的な関連度を指で操作することにより、又は、不図示の入力画面等を操作することにより変更が可能である。
なお、図１６の場合、全体的な関連度が１～５のドキュメントをマッピングの対象としている。このため、図１６の例では、図１５で説明したドキュメントＡ、Ｂ、Ｃの位置を示すアイコンが空中像にマッピングされている。
マッピングの対象とするドキュメントは、全体的な関連度を指で操作することにより、又は、不図示の入力画面等を操作することにより変更が可能である。
【0063】
（Ｂ）に示す空中像は、ユーザのジェスチャによる変形後の空中像である。このため、ドキュメントＡ、ドキュメントＢ及びドキュメントＣは、頂点Ｂ、頂点Ｃ及び頂点Ｄで構成される正三角形の面内に再マッピングされている。ドキュメントが満たす条件の数が３つに減少することで、各ドキュメントと残る３つの条件との関係の把握が容易になる。
（Ｃ）に示す空中像は、ユーザのジェスチャによる変形後の空中像である。このため、ドキュメントＡ、ドキュメントＢ及びドキュメントＣは、頂点Ｃ及び頂点Ｄで構成される線分上に再マッピングされている。ドキュメントが満たす条件の数が２つに減少することで、各ドキュメントと残る２つの条件との関係の把握が容易になる。
勿論、空中像の変形やドキュメントＡ、ドキュメントＢ及びドキュメントＣの再マッピングは、プロセッサ２１（図１参照）がデータ空間上で行っている。
（Ｃ）に示す空中像は、ユーザのジェスチャによる変形後の空中像である。このため、ドキュメントＡ、ドキュメントＢ及びドキュメントＣは、頂点Ｃ及び頂点Ｄで構成される線分上に再マッピングされている。ドキュメントが満たす条件の数が２つに減少することで、各ドキュメントと残る２つの条件との関係の把握が容易になる。
勿論、空中像の変形やドキュメントＡ、ドキュメントＢ及びドキュメントＣの再マッピングは、プロセッサ２１（図１参照）がデータ空間上で行っている。
【0064】
なお、図１６の例では、空中像に表されるアイコンが個々のドキュメントを表しているが、複数のドキュメントを要素とする集合を表してもよい。この場合、アイコンの大きさは、対応するドキュメントの数を表してもよい。例えば対応するドキュメントの数が多いアイコンは、対応するドキュメントの数が少ないアイコンよりも大きく形成される。反対に、対応するドキュメントの数が少ないアイコンは、対応するドキュメントの数が多いアイコンよりも小さく形成される。なお、アイコンに対応するドキュメントの数は、アイコンの大きさによらず、色の種類、輝度の高さ、点滅パターン等の違いにより表現してもよい。これらは、目印の一例としてのアイコンの強調の一例である。また、前述したように、ドキュメントの数に応じてアイコンの位置の指先に与える触覚刺激を変えてもよい。
【0065】
＜具体例２＞
図１７は、３つの検索の条件の全てを満たすドキュメントに関する情報を説明するデータテーブルの他の例を説明する図である。
図１７の場合、検索の条件＃１は、複合機又はプリンタを含むドキュメントであり、検索の条件＃２は、消耗品又は部品を含むドキュメントであり、検索の条件＃３は、通知を含むドキュメントである。具体例２の場合、検索の条件の数は３つである。
図１７の場合も、条件＃１～＃３の全てを満たすドキュメントは、ドキュメントＡ、ドキュメントＢ、ドキュメントＣである。
ドキュメントＡの総文字数は１０，０００であり、ドキュメントＢの総文字数は２０，０００であり、ドキュメントＣの総文字数は３０，０００である。
図１７は、３つの検索の条件の全てを満たすドキュメントに関する情報を説明するデータテーブルの他の例を説明する図である。
図１７の場合、検索の条件＃１は、複合機又はプリンタを含むドキュメントであり、検索の条件＃２は、消耗品又は部品を含むドキュメントであり、検索の条件＃３は、通知を含むドキュメントである。具体例２の場合、検索の条件の数は３つである。
図１７の場合も、条件＃１～＃３の全てを満たすドキュメントは、ドキュメントＡ、ドキュメントＢ、ドキュメントＣである。
ドキュメントＡの総文字数は１０，０００であり、ドキュメントＢの総文字数は２０，０００であり、ドキュメントＣの総文字数は３０，０００である。
【0066】
なお、ドキュメントＡには、条件＃１を満たすテキストが３０回出現し、条件＃２を満たすテキストが１０回出現し、条件＃３を満たすテキストが５回出現する。図１７に示す例の場合、個々の条件毎に、総文字数に対する出現回数の割合を求めている。
ドキュメントＡの場合、条件＃１に対する出現回数の割合は０．００３であり、条件＃２に対する出現回数の割合は０．００１であり、条件＃３に対する出現回数の割合は０．０００５である。なお、全キーワードに対する出現回数は４５回であり、その出現の割合は０．００４５である。
ドキュメントＡの場合、条件＃１に対する出現回数の割合は０．００３であり、条件＃２に対する出現回数の割合は０．００１であり、条件＃３に対する出現回数の割合は０．０００５である。なお、全キーワードに対する出現回数は４５回であり、その出現の割合は０．００４５である。
【0067】
ドキュメントＢには、条件＃１を満たすテキストが１０回出現し、条件＃２を満たすテキストが４０回出現し、条件＃３を満たすテキストが８０回出現する。ドキュメントＢの場合、条件＃１に対する出現回数の割合は０．０００５であり、条件＃２に対する出現回数の割合は０．００２であり、条件＃３に対する出現回数の割合は０．００４である。なお、全キーワードに対する出現回数は１３０回であり、その出現の割合は０．００６５である。
ドキュメントＣには、条件＃１を満たすテキストが６回出現し、条件＃２を満たすテキストが６回出現し、条件＃３を満たすテキストが３０回出現する。ドキュメントＣの場合、条件＃１に対する出現回数の割合は０．０００２であり、条件＃２に対する出現回数の割合は０．０００２であり、条件＃３に対する出現回数の割合は０．００１である。なお、全キーワードに対する出現回数は４２回であり、その出現の割合は０．００１４である。
ドキュメントＣには、条件＃１を満たすテキストが６回出現し、条件＃２を満たすテキストが６回出現し、条件＃３を満たすテキストが３０回出現する。ドキュメントＣの場合、条件＃１に対する出現回数の割合は０．０００２であり、条件＃２に対する出現回数の割合は０．０００２であり、条件＃３に対する出現回数の割合は０．００１である。なお、全キーワードに対する出現回数は４２回であり、その出現の割合は０．００１４である。
【0068】
図１８は、３つの検索の条件の全てを満たすドキュメントを空中像にマッピングした例を説明する図である。図１８の場合も、空中像として正三角錐を使用する。
図１８の場合、頂点Ａは正三角錐の最高点を与え、頂点Ｂ、Ｃ、Ｄで特定される三角形ＢＣＤは正三角錐の底面を与えている。図１８に示す正三角錐内の高さ方向の位置は、全体的な関連度の高さを表している。ここでは、全体的な関連度を、全てのキーワードがドキュメント内に出現する割合とする。因みに、頂点Ｂは条件＃１であり、頂点Ｃは条件＃２であり、頂点Ｄは条件＃３である。
従って、正三角錐にマッピングされるドキュメントの高さが頂点Ａに近いほど全体的な関連度が高いことを示し、正三角錐にマッピングされるドキュメントの高さが底面を与える三角形ＢＣＤに近いほど全体的な関連度が低いことを示す。
図１８の場合、全キーワードに対する出現の割合が最も高いドキュメントＢの高さ方向の位置が最も高く、次にドキュメントＡ、最後にドキュメントＣである。
図１８の場合、全体的な関連度の指標が空中に形成されていない。この場合、マッピングされるドキュメントの数を減らすには、図９～図１１で説明したジェスチャにより、空中像の一部を切り取る手法を用いればよい。
図１８の場合、頂点Ａは正三角錐の最高点を与え、頂点Ｂ、Ｃ、Ｄで特定される三角形ＢＣＤは正三角錐の底面を与えている。図１８に示す正三角錐内の高さ方向の位置は、全体的な関連度の高さを表している。ここでは、全体的な関連度を、全てのキーワードがドキュメント内に出現する割合とする。因みに、頂点Ｂは条件＃１であり、頂点Ｃは条件＃２であり、頂点Ｄは条件＃３である。
従って、正三角錐にマッピングされるドキュメントの高さが頂点Ａに近いほど全体的な関連度が高いことを示し、正三角錐にマッピングされるドキュメントの高さが底面を与える三角形ＢＣＤに近いほど全体的な関連度が低いことを示す。
図１８の場合、全キーワードに対する出現の割合が最も高いドキュメントＢの高さ方向の位置が最も高く、次にドキュメントＡ、最後にドキュメントＣである。
図１８の場合、全体的な関連度の指標が空中に形成されていない。この場合、マッピングされるドキュメントの数を減らすには、図９～図１１で説明したジェスチャにより、空中像の一部を切り取る手法を用いればよい。
【0069】
前述した具体例１の場合、空中像を規定する特徴である条件の数を減らす場合、図６～図８で説明したジェスチャを用いているが、ここでは、別の手法を説明する。
図１９は、条件の数を２つに低減する又は移動先に対応する２つの条件の重みを大きくする場合に用いるジェスチャの例を説明する図である。
図１９の例では、条件の変更用に提示されるポインタを指先で頂点Ａと頂点Ｂを結ぶ線分に移動させる様子を表している。この例の場合、全体的な関連度と条件＃１の観点から、ドキュメントが再マッピングされる。
勿論、ポインタが他の線分の上に移動されると、移動先の線分を規定する２つの頂点に対応する条件の観点からドキュメントが再マッピングされる。
図１９は、条件の数を２つに低減する又は移動先に対応する２つの条件の重みを大きくする場合に用いるジェスチャの例を説明する図である。
図１９の例では、条件の変更用に提示されるポインタを指先で頂点Ａと頂点Ｂを結ぶ線分に移動させる様子を表している。この例の場合、全体的な関連度と条件＃１の観点から、ドキュメントが再マッピングされる。
勿論、ポインタが他の線分の上に移動されると、移動先の線分を規定する２つの頂点に対応する条件の観点からドキュメントが再マッピングされる。
【0070】
本実施の形態の場合、移動後のポインタの位置と線分を規定する２つの頂点との距離に応じて条件の重み付けの割合も変化する。
図１９の例では、移動後のポインタが頂点Ａと頂点Ｂを結ぶ線分の中間付近であるので、２つの条件に対する重み付けはほぼ等しくなる。一方、移動後のポインタが頂点Ｂに近い場合には、頂点Ｂに対応する条件に重みを付けて線分上におけるドキュメントの位置を再計算する。
図１９の例では、移動後のポインタが頂点Ａと頂点Ｂを結ぶ線分の中間付近であるので、２つの条件に対する重み付けはほぼ等しくなる。一方、移動後のポインタが頂点Ｂに近い場合には、頂点Ｂに対応する条件に重みを付けて線分上におけるドキュメントの位置を再計算する。
【0071】
なお、ポインタの提示は、不図示の入力装置に対する操作や予め定めた特定のジェスチャが検知された場合に実行される。
また、ポインタの選択は、例えば指先の位置がポインタと重なった状態が予め定めた時間以上継続する場合に検知される。この他、指先がポインタと重なった状態で不図示の物理キーで選択の確定を入力する操作、音声により選択の確定を入力する操作も可能である。また、指先等の移動の速度が予め定めた速度以下に低下した場合をポインタの選択に使用してもよい。また、ポインタを掴む等のジェスチャの活用も可能である。なお、これらの操作は、ポインタの選択に限らず、指先の位置の入力にも活用が可能である。
また、ポインタの選択は、例えば指先の位置がポインタと重なった状態が予め定めた時間以上継続する場合に検知される。この他、指先がポインタと重なった状態で不図示の物理キーで選択の確定を入力する操作、音声により選択の確定を入力する操作も可能である。また、指先等の移動の速度が予め定めた速度以下に低下した場合をポインタの選択に使用してもよい。また、ポインタを掴む等のジェスチャの活用も可能である。なお、これらの操作は、ポインタの選択に限らず、指先の位置の入力にも活用が可能である。
【0072】
図２０は、条件の数を１つに低減する又は移動先に対応する１つの条件の重みを大きくする場合に用いるジェスチャの例を説明する図である。
図２０の例では、条件の変更用に提示されるポインタを指先で頂点Ｂの近くに移動させる様子を表している。この例の場合、条件＃１の観点から、ドキュメントが再マッピングされる。
勿論、ポインタが他の頂点の近くに移動されると、移動先の頂点に対応する条件の観点からドキュメントが再マッピングされる。
本実施の形態の場合、移動後のポインタの位置と各頂点との距離に応じて条件の重み付けの割合も変化する。
図２０の例では、移動後のポインタが頂点Ｂと近接しているので、ほぼ条件＃１に重み付けて、ドキュメントの再マッピングが実行される。
図２０の例では、条件の変更用に提示されるポインタを指先で頂点Ｂの近くに移動させる様子を表している。この例の場合、条件＃１の観点から、ドキュメントが再マッピングされる。
勿論、ポインタが他の頂点の近くに移動されると、移動先の頂点に対応する条件の観点からドキュメントが再マッピングされる。
本実施の形態の場合、移動後のポインタの位置と各頂点との距離に応じて条件の重み付けの割合も変化する。
図２０の例では、移動後のポインタが頂点Ｂと近接しているので、ほぼ条件＃１に重み付けて、ドキュメントの再マッピングが実行される。
【0073】
図２１は、条件の数を３つに低減する又は移動先に対応する３つの条件の重みを大きくする場合に用いるジェスチャの例を説明する図である。
図２１の例では、条件の変更用に提示されるポインタを指先で頂点Ｂ、Ｃ及びＤで形成される底面の近くに移動させる様子を表している。図２１では、底面を網掛けで表している。
この例の場合、条件＃１、条件＃２及び条件＃３の観点から、ドキュメントが再マッピングされる。
勿論、ポインタが他の面の近くに移動されると、移動先の面に対応する条件の観点からドキュメントが再マッピングされる。
本実施の形態の場合、移動後のポインタの位置と各頂点との距離に応じて条件の重み付けの割合も変化する。
図２１の例では、移動後のポインタは頂点Ｂと頂点Ｃに近く、頂点Ｄからは離れている。このため、条件＃１と条件＃２に重み付けて、ドキュメントの再マッピングが実行される。
図２１の例では、条件の変更用に提示されるポインタを指先で頂点Ｂ、Ｃ及びＤで形成される底面の近くに移動させる様子を表している。図２１では、底面を網掛けで表している。
この例の場合、条件＃１、条件＃２及び条件＃３の観点から、ドキュメントが再マッピングされる。
勿論、ポインタが他の面の近くに移動されると、移動先の面に対応する条件の観点からドキュメントが再マッピングされる。
本実施の形態の場合、移動後のポインタの位置と各頂点との距離に応じて条件の重み付けの割合も変化する。
図２１の例では、移動後のポインタは頂点Ｂと頂点Ｃに近く、頂点Ｄからは離れている。このため、条件＃１と条件＃２に重み付けて、ドキュメントの再マッピングが実行される。
【0074】
＜具体例３＞
図２２は、空中像を医療分野で活用する例を説明する図である。図２２の例では、人体の皮膚を透明度の高い面で表現するとともに臓器を色付けで表現している。図２２の例では、臓器として、脳、骨、肺、胃、小腸、大腸等が表現されている。
図２２の場合、ユーザは、臓器単位で部位を指定又は特定することが可能である。もっとも、小腸の入り口付近、小腸の出口付近等のように、臓器の一部分の指定又は特定が可能でもよい。
図２２の場合、標準的な人体の模型に対して、症例の画像がマッピングされて表現されている。ここでの症例の画像は、前述したドキュメントに相当する。例えば画像認識の技術により、症例の画像が小腸と認識された場合、プロセッサ２１（図１参照）は、その画像に対して「小腸」の属性を付与し、模型上の小腸の位置にマッピングする。
図２２は、空中像を医療分野で活用する例を説明する図である。図２２の例では、人体の皮膚を透明度の高い面で表現するとともに臓器を色付けで表現している。図２２の例では、臓器として、脳、骨、肺、胃、小腸、大腸等が表現されている。
図２２の場合、ユーザは、臓器単位で部位を指定又は特定することが可能である。もっとも、小腸の入り口付近、小腸の出口付近等のように、臓器の一部分の指定又は特定が可能でもよい。
図２２の場合、標準的な人体の模型に対して、症例の画像がマッピングされて表現されている。ここでの症例の画像は、前述したドキュメントに相当する。例えば画像認識の技術により、症例の画像が小腸と認識された場合、プロセッサ２１（図１参照）は、その画像に対して「小腸」の属性を付与し、模型上の小腸の位置にマッピングする。
【0075】
なお、マッピングされた画像の存在をユーザに知らせるために、空中像のうち小腸だけを点滅させたり、他の臓器とは異なる色で表現させたりすることも可能である。
また、臓器に応じた触覚刺激を与えることも可能である。例えばユーザが、小腸に対応する部位に手を入れた場合、手が小腸に位置することを示す触覚刺激を与えることも可能である。
なお、図２２に示す角度からは背骨は見えないが、背骨の像も背骨の位置にマッピングされている。
また、臓器に応じた触覚刺激を与えることも可能である。例えばユーザが、小腸に対応する部位に手を入れた場合、手が小腸に位置することを示す触覚刺激を与えることも可能である。
なお、図２２に示す角度からは背骨は見えないが、背骨の像も背骨の位置にマッピングされている。
【0076】
このため、ユーザが、人体模型を回転させるジェスチャを行うと、模型の向きが変化し、人体の前面側の部位だけでなく背面側の部位にもユーザはアクセスすることが可能である。
もっとも、空中像による観察では、空中に形成される臓器の透過率を調整することにより、前面側の部位を透して背面側の部位を観察することも可能である。また、空中像の特性を活用し、前面側の臓器を通過して背面側の部位にアクセスすることも可能である。
もっとも、複数の部位が重なると観察が困難になることもあるので、背面側の部位は透過しないように空中像を形成させてもよい。前面側からは背面側の部位が見えない場合でも、前面側の部位を通過して背面側の部位にアクセスすることは可能である。
もっとも、空中像による観察では、空中に形成される臓器の透過率を調整することにより、前面側の部位を透して背面側の部位を観察することも可能である。また、空中像の特性を活用し、前面側の臓器を通過して背面側の部位にアクセスすることも可能である。
もっとも、複数の部位が重なると観察が困難になることもあるので、背面側の部位は透過しないように空中像を形成させてもよい。前面側からは背面側の部位が見えない場合でも、前面側の部位を通過して背面側の部位にアクセスすることは可能である。
【0077】
また、前述したジェスチャの応用により、人体の模型を解剖するように操作したり、特定の部位を取出すように操作したりすることも可能である。例えば人体の模型の皮膚を剥ぐようなジェスチャに連動させて、空中像を変形させてもよいし、臓器を取り出すジェスチャに応じて空中像から特定の臓器や部位を取り出すように変形させてもよい。空中像の場合には、ディスプレイへの表示とは異なり、臓器等の像を空中に立体的に表現することが可能であるので、ユーザの動きと空中像の変形とを連動させることも可能である。
【0078】
＜具体例４＞
図２３は、建築分野や住宅産業の分野に活用する例を説明する図である。図２３に示す例は、架空のモデルルームを空中像により表現している。
図２３の場合、架空のモデルルームのキッチンが空中像として表現されている。図２３の空中像には、電子レンジ、炊飯器等の家電が配置されている。この例の場合、家電フォルダには、家電に対応する取扱説明書のデータが記憶されており、その情報が空中像内の電子レンジや炊飯器等の位置に対応付けられている。この例の場合、取扱説明書がドキュメントに相当する。
図２３は、建築分野や住宅産業の分野に活用する例を説明する図である。図２３に示す例は、架空のモデルルームを空中像により表現している。
図２３の場合、架空のモデルルームのキッチンが空中像として表現されている。図２３の空中像には、電子レンジ、炊飯器等の家電が配置されている。この例の場合、家電フォルダには、家電に対応する取扱説明書のデータが記憶されており、その情報が空中像内の電子レンジや炊飯器等の位置に対応付けられている。この例の場合、取扱説明書がドキュメントに相当する。
【0079】
図２３の場合、プロセッサ２１（図１参照）は、個々の取扱説明書から対応する家電の種類を表す情報を抽出し、空中に形成されている家電の内空間に対応付ける。例えば電子レンジの取扱説明書のデータファイルは、空中像の電子レンジにマッピングされている。この場合、ユーザが電子レンジの像の内部に手を挿入すると、電子レンジの取扱説明書にアクセスすることが可能になる。例えば空中に電子レンジの取扱説明書の像が形成される。ユーザは、空中に形成された取扱説明書の像をジェスチャで操作し、目的とするページの内容を確認する。
また、ユーザが空中像として形成されている電子レンジを架空のモデルルームの外に出すジェスチャを行うことも可能である。この場合に、空中像に対応付けられている取扱説明書を、現在の保存場所からゴミ箱フォルダ等の別の場所に移動することも可能である。
また、ユーザが空中像として形成されている電子レンジを架空のモデルルームの外に出すジェスチャを行うことも可能である。この場合に、空中像に対応付けられている取扱説明書を、現在の保存場所からゴミ箱フォルダ等の別の場所に移動することも可能である。
【0080】
＜実施の形態２＞
本実施の形態では、ドキュメントを空中像に対応付けるための他の方法について説明する。
前述の実施の形態１の場合には、ドキュメントを対応付ける位置をデータ空間上における空中像を基準に設定したが、空中像との位置とは無関係にドキュメントを対応付ける位置を設定することも可能である。
以下では、図２４～図２６を使用して、実施の形態２における処理動作例を説明する。なお、情報処理システム１（図１参照）の構成等は実施の形態１と同様である。
本実施の形態では、ドキュメントを空中像に対応付けるための他の方法について説明する。
前述の実施の形態１の場合には、ドキュメントを対応付ける位置をデータ空間上における空中像を基準に設定したが、空中像との位置とは無関係にドキュメントを対応付ける位置を設定することも可能である。
以下では、図２４～図２６を使用して、実施の形態２における処理動作例を説明する。なお、情報処理システム１（図１参照）の構成等は実施の形態１と同様である。
【0081】
図２４は、実施の形態２におけるプロセッサ２１（図１参照）の処理動作の一例を説明するフローチャートである。図２４には、図４との対応部分に対応する符号を付して示している。
まず、プロセッサ２１は、空中像形成装置１０（図１参照）に形成させる空中像のデータを生成して空中像形成装置１０に出力する（ステップ１）。すなわち、プロセッサ２１は、空中像データを空中像形成装置１０に出力する。空中像データを受信した空中像形成装置１０は、空中に空中像データに対応する空中像を形成する。
この処理は、実施の形態１と同じである。
まず、プロセッサ２１は、空中像形成装置１０（図１参照）に形成させる空中像のデータを生成して空中像形成装置１０に出力する（ステップ１）。すなわち、プロセッサ２１は、空中像データを空中像形成装置１０に出力する。空中像データを受信した空中像形成装置１０は、空中に空中像データに対応する空中像を形成する。
この処理は、実施の形態１と同じである。
【0082】
次に、プロセッサ２１は、空中内における空中像の位置の情報を取得する（ステップ４１）。すなわち、プロセッサ２１は、実空間内の座標系を基準とした空中像の位置を取得する。
本実施の形態の場合、実空間内の座標系を基準とした空中像の位置として、例えば空中像を空中に形成する空中像形成装置１０が使用する座標系やセンサ３０（図１参照）が使用する座標系で特定された座標を使用する。
次に、プロセッサ２１は、処理対象であるドキュメントの特性を取得する（ステップ２）。
本実施の形態の場合、実空間内の座標系を基準とした空中像の位置として、例えば空中像を空中に形成する空中像形成装置１０が使用する座標系やセンサ３０（図１参照）が使用する座標系で特定された座標を使用する。
次に、プロセッサ２１は、処理対象であるドキュメントの特性を取得する（ステップ２）。
【0083】
続いて、プロセッサ２１は、ドキュメントの特性に応じ、空中像が形成される空中の特定の位置にドキュメントを対応付ける（ステップ４２）。本実施の形態の場合、空中像の位置は、実空間内の座標系を基準に認識されているので、プロセッサ２１は、実空間内の座標系を基準とした位置に各ドキュメントの位置を対応付ける。
対応付けに用いる座標系が異なるが、実空間内におけるドキュメントの位置は、実施の形態１と同じである。
対応付けに用いる座標系が異なるが、実空間内におけるドキュメントの位置は、実施の形態１と同じである。
【0084】
図２５は、実施の形態２におけるプロセッサ２１（図１参照）の処理動作の他の一例を説明するフローチャートである。図２５に示す処理は、空中像に対する変形の指示の受付に関する処理に対応する。図２５には、図５との対応部分に対応する符号を付して示している。
まず、プロセッサ２１は、空中像の外側の空間で特定のジェスチャを検知したか否かを判定する（ステップ１１）。この処理は、実施の形態１と同じである。
ステップ１１で否定結果が得られている間、プロセッサ２１は、ステップ１１の判定を繰り返す。
一方、ステップ１１で肯定結果が得られた場合、プロセッサ２１は、検知されたジェスチャの方向に応じて空中像を変形する（ステップ１２）。この処理も実施の形態１と同じである。
まず、プロセッサ２１は、空中像の外側の空間で特定のジェスチャを検知したか否かを判定する（ステップ１１）。この処理は、実施の形態１と同じである。
ステップ１１で否定結果が得られている間、プロセッサ２１は、ステップ１１の判定を繰り返す。
一方、ステップ１１で肯定結果が得られた場合、プロセッサ２１は、検知されたジェスチャの方向に応じて空中像を変形する（ステップ１２）。この処理も実施の形態１と同じである。
【0085】
この後、プロセッサ２１は、検知されたジェスチャの方向とドキュメントの特性に応じ、取得された実空間内の位置にドキュメントを対応付ける（ステップ５１）。具体的には、検知されたジェスチャの方向に対応する特性を除外し、残りの特性に基づいて、実空間内の位置に対応付ける。すなわち、プロセッサ２１は、実空間内の座標系を基準とした位置に各ドキュメントの位置を対応付ける。
【0086】
図２６は、実施の形態２におけるプロセッサ２１（図１参照）の処理動作の他の一例を説明するフローチャートである。図２６に示す処理は、ドキュメントの選択の操作を検知する処理に対応する。図２６には、図１４との対応部分に対応する符号を付して示している。
まず、プロセッサ２１は、空中に形成された空中像に対応する実空間の座標内に移動した物体があるか否かを判定する（ステップ６１）。ここでの空中像は、前述したジェスチャによる変形後の形状を含んでいる。
ステップ６１で否定結果が得られている間、プロセッサ２１は、ステップ６１の判定を繰り返す。
まず、プロセッサ２１は、空中に形成された空中像に対応する実空間の座標内に移動した物体があるか否かを判定する（ステップ６１）。ここでの空中像は、前述したジェスチャによる変形後の形状を含んでいる。
ステップ６１で否定結果が得られている間、プロセッサ２１は、ステップ６１の判定を繰り返す。
【0087】
一方、ステップ６１で肯定結果が得られた場合、プロセッサ２１は、物体の特定の位置に対応付けられているドキュメントを選択する（ステップ２２）。本実施の形態の場合、物体の特定の位置には、指先や指示棒の先端の位置を使用する。なお、ここでの物体の位置は、実空間内の座標系における位置として特定される。本実施の形態の場合、物体の位置は、実空間内の座標系における位置からデータ空間上の位置に変換される。その後、実空間内の座標に対応付けられているドキュメントが選択される。
この後、プロセッサ２１は、物体の位置に刺激を与える指示を出力する（ステップ２３）。ここでの指示は、超音波触覚インタフェース装置４０に出力される。
この後、プロセッサ２１は、物体の位置に刺激を与える指示を出力する（ステップ２３）。ここでの指示は、超音波触覚インタフェース装置４０に出力される。
【0088】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0089】
例えば前述の実施の形態の場合には、指先等の物体の位置をセンサ３０で検知しているが、操作に用いる物体から発せられる電波を受信することにより、空中像に対する物体の位置を検知してもよい。例えばブルートゥース（登録商標）信号を発信する指輪を装着した指先等の位置を不図示の位置検知装置により検知してもよい。ここでの位置検知装置は、三角測量の原理でブルートゥース信号を発信する指輪の位置を検知する。
前述の実施の形態１の場合、空中像を用いた操作の具体例１及び２において、空気中に形成される空中像に検索の結果をマッピングする例について説明したが、空中像に挿入されたユーザの指先が位置する座標に対応するドキュメントの内容を、検索の結果の提示に用いる立体形状の空中像とは別の空中像により提示してもよいし、物理的なディスプレイである液晶ディスプレイに提示してもよい。実施の形態２についても同様である。
前述の実施の形態１の場合、空中像を用いた操作の具体例１及び２において、空気中に形成される空中像に検索の結果をマッピングする例について説明したが、空中像に挿入されたユーザの指先が位置する座標に対応するドキュメントの内容を、検索の結果の提示に用いる立体形状の空中像とは別の空中像により提示してもよいし、物理的なディスプレイである液晶ディスプレイに提示してもよい。実施の形態２についても同様である。
【0090】
また、前述の実施の形態１においては、立体形状の空中像に検索の結果であるドキュメントがマッピングされる位置をアイコンで示す例を説明したが、空中像のうちユーザの指先の位置に目印となるアイコンその他の像を形成してもよい。ここでのアイコンは、指先の位置に対応するドキュメントの数に応じた形態で形成されるようにしてもよい。また、アイコンの位置に対応するドキュメントの数に応じた強さの触覚刺激をユーザの指先に与えてもよい。なお、ユーザの指先の位置に対応付けられたドキュメントが存在しない場合、触覚刺激は与えられないようにしてもよい。実施の形態２についても同様である。
【0091】
なお、前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ（＝Central Processing Unit）等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
【符号の説明】
【0092】
１…情報処理システム、２０…制御装置、２１…プロセッサ、３０…センサ、４０…超音波触覚インタフェース装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
