知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-22
(45)【発行日】2024-01-30
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 3/04815 20220101AFI20240123BHJP
G06F 3/01 20060101ALI20240123BHJP
【ＦＩ】
G06F3/04815
G06F3/01 570
【請求項の数】
20
(21)【出願番号】P 2019235296
(22)【出願日】2019-12-25
(65)【公開番号】P2021103493
(43)【公開日】2021-07-15
【審査請求日】2022-11-22
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】楓 育美
【審査官】田川 泰宏
(56)【参考文献】
【文献】特開２０１６－０２４７５２（ＪＰ，Ａ）
【文献】特開２０１２－０３３１０４（ＪＰ，Ａ）
【文献】特開２００５－１９６５３０（ＪＰ，Ａ）
【文献】特開２００８－１７６４３８（ＪＰ，Ａ）
【文献】特開２０１７－１６２１９５（ＪＰ，Ａ）
【文献】特開２０１２－１０８７２３（ＪＰ，Ａ）
【文献】国際公開第２０１２／１６０６５３（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１４／００８９８５９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１－３／０４８９５
(57)【特許請求の範囲】
【請求項1】
プロセッサを有し、前記プロセッサは、
空中に第１の領域が設けられ、当該第１の領域に対応する第１の面を有する第１の空中像が空中に形成されている場合に、
第１の空間から前記第１の領域を通って第２の空間に入った物体が検知された場合に第１の処理を行い、
前記第１の空間から前記第１の領域に入ったものの前記第２の空間に入らなかった物体が検知された場合に第２の処理を行い、
前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にある
ことを特徴とする情報処理装置。
【請求項2】
前記第１の処理は、前記第２の空間に第２の空中像を形成する処理であることを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記第２の処理は、前記第１の空間に第２の空中像を形成する処理であることを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記プロセッサは、前記第２の空中像が選択された場合に、第３の処理を行うことを特徴とする請求項２又は３に記載の情報処理装置。
【請求項5】
前記プロセッサは、前記第１の空間から前記第１の領域を通って前記第２の空間に入った物体が、更に当該第１の領域を通って当該第１の空間に入る場合に前記第１の処理を行い、前記第１の処理は、前記物体が前記第２の空間から前記第１の領域を通って前記第１の空間に入る際に通過する当該第１の領域に設けられたサブ領域に応じて変化する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項6】
前記プロセッサは、前記第１の空間から前記第１の領域を通って前記第２の空間に入った物体が、更に当該第１の領域を通って当該第１の空間に入る場合に前記第１の処理を行い、前記第１の処理は、前記物体が前記第１の空間から前記第１の領域を通って前記第２の空間に入る際に通過した第１のサブ領域と、前記物体が当該第２の空間から当該第１の領域を通って当該第１の空間に入る際に通過した第２のサブ領域の組み合わせに応じて変化する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項7】
プロセッサを有し、前記プロセッサは、
空中に第１の領域と第２の領域が設けられ、当該第１の領域に対応する第１の面と当該第２の領域に対応する第２の面とを有する第１の空中像が空中に形成されている場合に、
第１の空間から前記第１の領域を通って第２の空間に入り、当該第２の空間から前記第２の領域に入った物体が検知されたときに、当該第１の領域に対応する内容と当該第２の領域に対応する内容とに応じた処理を行い、
前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にある
ことを特徴とする情報処理装置。
【請求項8】
前記プロセッサは、前記物体が前記第１の領域の予め定めた位置にある場合、前記第２の空間に第２の空中像を形成させることを特徴とする請求項７に記載の情報処理装置。
【請求項9】
前記プロセッサは、前記物体が前記第２の空間の前記第２の空中像を選択した状態で前記第２の領域に入った場合に、前記第１の領域に対応する内容と、当該第２の領域に対応する内容と、当該第２の空中像に対応する内容とに応じた処理を行うことを特徴とする請求項８に記載の情報処理装置。
【請求項10】
前記第２の領域は複数のサブ領域を有し、前記プロセッサは、前記第１の領域に対応する内容と、前記第２の領域の一部であって前記物体が入ったサブ領域に対応する内容とに応じた処理を行う
ことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置。
【請求項11】
前記第１の領域は特定の機能に対応し、前記第２の領域が有する複数のサブ領域は、それぞれ、前記特定の機能の異なる設定に対応する
ことを特徴とする請求項１０に記載の情報処理装置。
【請求項12】
前記第１の領域は複数のサブ領域を有し、前記プロセッサは、前記第１の領域の一部であって前記物体が入ったサブ領域に対応する内容と、前記第２の領域に対応する内容とに応じた処理を行う
ことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置。
【請求項13】
前記第１の領域と前記第２の領域はそれぞれ複数のサブ領域を有し、前記プロセッサは、前記第１の領域の一部であって前記物体が入ったサブ領域に対応する内容と、前記第２の領域の一部であって当該物体が入ったサブ領域に対応する内容とに応じた処理を行う
ことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置。
【請求項14】
前記第１の空中像は、前記第１の領域に対応する前記第１の面と、前記第２の領域に対応する前記第２の面とを有する多面体であることを特徴とする請求項７～１３のいずれか１項に記載の情報処理装置。
【請求項15】
前記プロセッサは、前記物体の前記第１の領域への入り、又は、当該物体の前記第２の領域からの出に応じて、前記第１の空中像の形態を変化させることを特徴とする請求項７～１４のいずれか１項に記載の情報処理装置。
【請求項16】
前記プロセッサは、前記物体の前記第２の領域への入り、又は、当該物体の前記第１の領域からの出に応じて、前記第１の空中像の形態を変化させることを特徴とする請求項７～１４のいずれか１項に記載の情報処理装置。
【請求項17】
前記物体は指であり、前記プロセッサは、前記指の前記第１の領域への入り、又は、当該指の当該第１の領域からの出に応じて、当該指に刺激を与える指示を行う
ことを特徴とする請求項１～１６のいずれか１項に記載の情報処理装置。
【請求項18】
前記プロセッサは、ユーザの選択に応じて、前記第１の領域に対して特定の機能を割り当てる
ことを特徴とする請求項１～１７のいずれか１項に記載の情報処理装置。
【請求項19】
空中に第１の領域が設けられ、当該第１の領域に対応する第１の面を有する第１の空中像が空中に形成されている場合に、コンピュータに、
第１の空間から前記第１の領域を通って第２の空間に入った物体が検知された場合に第１の処理を行う機能と、
前記第１の空間から前記第１の領域に入ったものの前記第２の空間に入らなかった物体が検知された場合に第２の処理を行う機能と
を実行させるプログラムであって、
前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にある
ことを特徴とするプログラム。
【請求項20】
空中に第１の領域と第２の領域が設けられ、当該第１の領域に対応する第１の面と当該第２の領域に対応する第２の面とを有する第１の空中像が空中に形成されている場合に、コンピュータに、
第１の空間から前記第１の領域を通って第２の空間に入り、当該第２の空間から前記第２の領域に入った物体が検知されたときに、当該第１の領域に対応する内容と当該第２の領域に対応する内容とに応じた処理を行う機能を実行させるプログラムであって、
前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にある
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
現在、ジェスチャーを入力に用いる技術がある。例えばモニタその他の表示装置に表示される画像に対するユーザのジェスチャーを撮像した画像を解析し、操作の内容を特定する技術がある。また、ユーザが指示入力に用いる物体と表示装置の表示面との距離に応じ、操作の内容を特定する技術がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－３５１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
現在、空中に像を形成する技術が提案されており、一部の技術は入力用のインタフェースに応用されている。ただし、操作の仕方は物理的なディスプレイに対する操作の仕方と同様である。
【0005】
本発明は、物理的なディスプレイを操作する場合に比して、入力が可能な操作の種類を多様化することを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、プロセッサを有し、前記プロセッサは、空中に第１の領域が設けられ、当該第１の領域に対応する第１の面を有する第１の空中像が空中に形成されている場合に、第１の空間から前記第１の領域を通って第２の空間に入った物体が検知された場合に第１の処理を行い、前記第１の空間から前記第１の領域に入ったものの前記第２の空間に入らなかった物体が検知された場合に第２の処理を行い、前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にあることを特徴とする情報処理装置である。
請求項２に記載の発明は、前記第１の処理は、前記第２の空間に第２の空中像を形成する処理であることを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記第２の処理は、前記第１の空間に第２の空中像を形成する処理であることを特徴とする請求項１に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、前記第２の空中像が選択された場合に、第３の処理を行うことを特徴とする請求項２又は３に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記第１の空間から前記第１の領域を通って前記第２の空間に入った物体が、更に当該第１の領域を通って当該第１の空間に入る場合に前記第１の処理を行い、前記第１の処理は、前記物体が前記第２の空間から前記第１の領域を通って前記第１の空間に入る際に通過する当該第１の領域に設けられたサブ領域に応じて変化することを特徴とする請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記第１の空間から前記第１の領域を通って前記第２の空間に入った物体が、更に当該第１の領域を通って当該第１の空間に入る場合に前記第１の処理を行い、前記第１の処理は、前記物体が前記第１の空間から前記第１の領域を通って前記第２の空間に入る際に通過した第１のサブ領域と、前記物体が当該第２の空間から当該第１の領域を通って当該第１の空間に入る際に通過した第２のサブ領域の組み合わせに応じて変化することを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、プロセッサを有し、前記プロセッサは、空中に第１の領域と第２の領域が設けられ、当該第１の領域に対応する第１の面と当該第２の領域に対応する第２の面とを有する第１の空中像が空中に形成されている場合に、第１の空間から前記第１の領域を通って第２の空間に入り、当該第２の空間から前記第２の領域に入った物体が検知されたときに、当該第１の領域に対応する内容と当該第２の領域に対応する内容とに応じた処理を行い、前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にあることを特徴とする情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記物体が前記第１の領域の予め定めた位置にある場合、前記第２の空間に第２の空中像を形成させることを特徴とする請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記物体が前記第２の空間の前記第２の空中像を選択した状態で前記第２の領域に入った場合に、前記第１の領域に対応する内容と、当該第２の領域に対応する内容と、当該第２の空中像に対応する内容とに応じた処理を行うことを特徴とする請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記第２の領域は複数のサブ領域を有し、前記プロセッサは、前記第１の領域に対応する内容と、前記第２の領域の一部であって前記物体が入ったサブ領域に対応する内容とに応じた処理を行うことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置である。
請求項１１に記載の発明は、前記第１の領域は特定の機能に対応し、前記第２の領域が有する複数のサブ領域は、それぞれ、前記特定の機能の異なる設定に対応することを特徴とする請求項１０に記載の情報処理装置である。
請求項１２に記載の発明は、前記第１の領域は複数のサブ領域を有し、前記プロセッサは、前記第１の領域の一部であって前記物体が入ったサブ領域に対応する内容と、前記第２の領域に対応する内容とに応じた処理を行うことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置である。
請求項１３に記載の発明は、前記第１の領域と前記第２の領域はそれぞれ複数のサブ領域を有し、前記プロセッサは、前記第１の領域の一部であって前記物体が入ったサブ領域に対応する内容と、前記第２の領域の一部であって当該物体が入ったサブ領域に対応する内容とに応じた処理を行うことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置である。
請求項１４に記載の発明は、前記第１の空中像は、前記第１の領域に対応する前記第１の面と、前記第２の領域に対応する前記第２の面とを有する多面体であることを特徴とする請求項７～１３のいずれか１項に記載の情報処理装置である。
請求項１５に記載の発明は、前記プロセッサは、前記物体の前記第１の領域への入り、又は、当該物体の前記第２の領域からの出に応じて、前記第１の空中像の形態を変化させることを特徴とする請求項７～１４のいずれか１項に記載の情報処理装置である。
請求項１６に記載の発明は、前記プロセッサは、前記物体の前記第２の領域への入り、又は、当該物体の前記第１の領域からの出に応じて、前記第１の空中像の形態を変化させることを特徴とする請求項７～１４のいずれか１項に記載の情報処理装置である。
請求項１７に記載の発明は、前記物体は指であり、前記プロセッサは、前記指の前記第１の領域への入り、又は、当該指の当該第１の領域からの出に応じて、当該指に刺激を与える指示を行うことを特徴とする請求項１～１６のいずれか１項に記載の情報処理装置である。
請求項１８に記載の発明は、前記プロセッサは、ユーザの選択に応じて、前記第１の領域に対して特定の機能を割り当てることを特徴とする請求項１～１７のいずれか１項に記載の情報処理装置である。
請求項１９に記載の発明は、空中に第１の領域が設けられ、当該第１の領域に対応する第１の面を有する第１の空中像が空中に形成されている場合に、コンピュータに、第１の空間から前記第１の領域を通って第２の空間に入った物体が検知された場合に第１の処理を行う機能と、前記第１の空間から前記第１の領域に入ったものの前記第２の空間に入らなかった物体が検知された場合に第２の処理を行う機能とを実行させるプログラムであって、前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にあることを特徴とするプログラムである。
請求項２０に記載の発明は、空中に第１の領域と第２の領域が設けられ、当該第１の領域に対応する第１の面と当該第２の領域に対応する第２の面とを有する第１の空中像が空中に形成されている場合に、コンピュータに、第１の空間から前記第１の領域を通って第２の空間に入り、当該第２の空間から前記第２の領域に入った物体が検知されたときに、当該第１の領域に対応する内容と当該第２の領域に対応する内容とに応じた処理を行う機能を実行させるプログラムであって、前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にあることを特徴とするプログラムである。
請求項２に記載の発明は、前記第１の処理は、前記第２の空間に第２の空中像を形成する処理であることを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記第２の処理は、前記第１の空間に第２の空中像を形成する処理であることを特徴とする請求項１に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、前記第２の空中像が選択された場合に、第３の処理を行うことを特徴とする請求項２又は３に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記第１の空間から前記第１の領域を通って前記第２の空間に入った物体が、更に当該第１の領域を通って当該第１の空間に入る場合に前記第１の処理を行い、前記第１の処理は、前記物体が前記第２の空間から前記第１の領域を通って前記第１の空間に入る際に通過する当該第１の領域に設けられたサブ領域に応じて変化することを特徴とする請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記第１の空間から前記第１の領域を通って前記第２の空間に入った物体が、更に当該第１の領域を通って当該第１の空間に入る場合に前記第１の処理を行い、前記第１の処理は、前記物体が前記第１の空間から前記第１の領域を通って前記第２の空間に入る際に通過した第１のサブ領域と、前記物体が当該第２の空間から当該第１の領域を通って当該第１の空間に入る際に通過した第２のサブ領域の組み合わせに応じて変化することを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、プロセッサを有し、前記プロセッサは、空中に第１の領域と第２の領域が設けられ、当該第１の領域に対応する第１の面と当該第２の領域に対応する第２の面とを有する第１の空中像が空中に形成されている場合に、第１の空間から前記第１の領域を通って第２の空間に入り、当該第２の空間から前記第２の領域に入った物体が検知されたときに、当該第１の領域に対応する内容と当該第２の領域に対応する内容とに応じた処理を行い、前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にあることを特徴とする情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記物体が前記第１の領域の予め定めた位置にある場合、前記第２の空間に第２の空中像を形成させることを特徴とする請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記物体が前記第２の空間の前記第２の空中像を選択した状態で前記第２の領域に入った場合に、前記第１の領域に対応する内容と、当該第２の領域に対応する内容と、当該第２の空中像に対応する内容とに応じた処理を行うことを特徴とする請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記第２の領域は複数のサブ領域を有し、前記プロセッサは、前記第１の領域に対応する内容と、前記第２の領域の一部であって前記物体が入ったサブ領域に対応する内容とに応じた処理を行うことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置である。
請求項１１に記載の発明は、前記第１の領域は特定の機能に対応し、前記第２の領域が有する複数のサブ領域は、それぞれ、前記特定の機能の異なる設定に対応することを特徴とする請求項１０に記載の情報処理装置である。
請求項１２に記載の発明は、前記第１の領域は複数のサブ領域を有し、前記プロセッサは、前記第１の領域の一部であって前記物体が入ったサブ領域に対応する内容と、前記第２の領域に対応する内容とに応じた処理を行うことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置である。
請求項１３に記載の発明は、前記第１の領域と前記第２の領域はそれぞれ複数のサブ領域を有し、前記プロセッサは、前記第１の領域の一部であって前記物体が入ったサブ領域に対応する内容と、前記第２の領域の一部であって当該物体が入ったサブ領域に対応する内容とに応じた処理を行うことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置である。
請求項１４に記載の発明は、前記第１の空中像は、前記第１の領域に対応する前記第１の面と、前記第２の領域に対応する前記第２の面とを有する多面体であることを特徴とする請求項７～１３のいずれか１項に記載の情報処理装置である。
請求項１５に記載の発明は、前記プロセッサは、前記物体の前記第１の領域への入り、又は、当該物体の前記第２の領域からの出に応じて、前記第１の空中像の形態を変化させることを特徴とする請求項７～１４のいずれか１項に記載の情報処理装置である。
請求項１６に記載の発明は、前記プロセッサは、前記物体の前記第２の領域への入り、又は、当該物体の前記第１の領域からの出に応じて、前記第１の空中像の形態を変化させることを特徴とする請求項７～１４のいずれか１項に記載の情報処理装置である。
請求項１７に記載の発明は、前記物体は指であり、前記プロセッサは、前記指の前記第１の領域への入り、又は、当該指の当該第１の領域からの出に応じて、当該指に刺激を与える指示を行うことを特徴とする請求項１～１６のいずれか１項に記載の情報処理装置である。
請求項１８に記載の発明は、前記プロセッサは、ユーザの選択に応じて、前記第１の領域に対して特定の機能を割り当てることを特徴とする請求項１～１７のいずれか１項に記載の情報処理装置である。
請求項１９に記載の発明は、空中に第１の領域が設けられ、当該第１の領域に対応する第１の面を有する第１の空中像が空中に形成されている場合に、コンピュータに、第１の空間から前記第１の領域を通って第２の空間に入った物体が検知された場合に第１の処理を行う機能と、前記第１の空間から前記第１の領域に入ったものの前記第２の空間に入らなかった物体が検知された場合に第２の処理を行う機能とを実行させるプログラムであって、前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にあることを特徴とするプログラムである。
請求項２０に記載の発明は、空中に第１の領域と第２の領域が設けられ、当該第１の領域に対応する第１の面と当該第２の領域に対応する第２の面とを有する第１の空中像が空中に形成されている場合に、コンピュータに、第１の空間から前記第１の領域を通って第２の空間に入り、当該第２の空間から前記第２の領域に入った物体が検知されたときに、当該第１の領域に対応する内容と当該第２の領域に対応する内容とに応じた処理を行う機能を実行させるプログラムであって、前記第１の空間と前記第２の空間は、前記第１の領域を挟んで対向する位置にあることを特徴とするプログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、物理的なディスプレイを操作する場合に比して、入力が可能な操作の種類を多様化できる。
請求項２記載の発明によれば、奥行きを活用した情報の表示を実現できる。
請求項３記載の発明によれば、奥行きを活用して操作の種類を増やすことができる。
請求項４記載の発明によれば、奥行きを活用して操作の種類を増やすことができる。
請求項５記載の発明によれば、奥行きを活用した情報の表示を実現できる。
請求項６記載の発明によれば、奥行きを活用した情報の表示を実現できる。
請求項７記載の発明によれば、物理的なディスプレイを操作する場合に比して、入力が可能な操作の種類を多様化できる。
請求項８記載の発明によれば、奥行きを活用した情報の表示を実現できる。
請求項９記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１０記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１１記載の発明によれば、通り抜けが可能な空間を活用して操作の種類を多様化できる。
請求項１２記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１３記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１４記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１５記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１６記載の発明によれば、多様な入力を可能にできる。
請求項１７記載の発明によれば、操作を知覚させることができる。
請求項１８記載の発明によれば、ユーザ毎に異なる操作の入力に用いることができる。
請求項１９記載の発明によれば、物理的なディスプレイを操作する場合に比して、入力が可能な操作の種類を多様化できる。
請求項２０記載の発明によれば、物理的なディスプレイを操作する場合に比して、入力が可能な操作の種類を多様化できる。
請求項２記載の発明によれば、奥行きを活用した情報の表示を実現できる。
請求項３記載の発明によれば、奥行きを活用して操作の種類を増やすことができる。
請求項４記載の発明によれば、奥行きを活用して操作の種類を増やすことができる。
請求項５記載の発明によれば、奥行きを活用した情報の表示を実現できる。
請求項６記載の発明によれば、奥行きを活用した情報の表示を実現できる。
請求項７記載の発明によれば、物理的なディスプレイを操作する場合に比して、入力が可能な操作の種類を多様化できる。
請求項８記載の発明によれば、奥行きを活用した情報の表示を実現できる。
請求項９記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１０記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１１記載の発明によれば、通り抜けが可能な空間を活用して操作の種類を多様化できる。
請求項１２記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１３記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１４記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１５記載の発明によれば、通り抜けが可能な空間を活用した操作を実現できる。
請求項１６記載の発明によれば、多様な入力を可能にできる。
請求項１７記載の発明によれば、操作を知覚させることができる。
請求項１８記載の発明によれば、ユーザ毎に異なる操作の入力に用いることができる。
請求項１９記載の発明によれば、物理的なディスプレイを操作する場合に比して、入力が可能な操作の種類を多様化できる。
請求項２０記載の発明によれば、物理的なディスプレイを操作する場合に比して、入力が可能な操作の種類を多様化できる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１で使用する情報処理システムの構成例を示す図である。
【図2】第１の空中像の一例である空中像＃１と検知領域の位置関係を説明する図である。
【図3】検知の対象が指先である場合における指先と検知領域Ａとの関係を説明する図である。（Ａ）は指先が検知領域Ａの手前側にある状態を示す。（Ｂ）は指先が検知領域Ａにある状態を示す。（Ｃ）は指先が検知領域Ａの奥側にある状態を示す。
【図4】実施の形態１で使用するプロセッサの処理動作例を説明するフローチャートである。
【図5】実施の形態２で使用する情報処理システムの構成例を示す図である。
【図6】本実施の形態における処理の受付のフィードバック例を説明する図である。（Ａ）は指先がアイコンに対応する検知領域Ａの手前側にある状態のフィードバックを示す。（Ｂ）は指先がアイコンに対応する検知領域Ａにある状態のフィードバックを示す。（Ｃ）は指先がアイコンに対応する検知領域Ａの奥側にある状態のフィードバックを示す。
【図7】実施の形態３で使用する情報処理システムの構成例を示す図である。
【図8】４つのセンサに対応する４つの検知領域の位置関係を説明する図である。
【図9】実施の形態３で使用するプロセッサの処理動作例を説明するフローチャートである。
【図10】指先が検知領域Ａを通過した場合に実行される処理動作例を説明する図である。（Ａ）は指先が検知領域Ａを通過した状態を示し、（Ｂ）は通過の検知後に形成される第２の空中像の一例である空中像＃２ｂの位置を示す。
【図11】指先が検知領域Ａにある場合に実行される処理動作例を説明する図である。（Ａ）は指先が検知領域Ａにある状態を示し、（Ｂ）は通過の検知後に形成される第２の空中像の一例である空中像＃２ａの位置を示す。
【図12】検知領域Ａに含まれる第１の空中像の一例である空中像＃１の具体例と特定のサブ領域が処理の指示に用いられる場合を説明する図である。
【図13】検知領域Ａの手前側に形成される第２の空中像の一例である空中像＃２の具体例を示す図である。
【図14】実施の形態３の変形例３の処理動作例を説明するフローチャートである。
【図15】指先を検知領域Ａの手前側から検知領域Ａを通過させて検知領域Ａの奥側に移動させた後に、指先を奥側から検知領域Ａを再び通過させて手前側に戻すジェスチャーの例を説明する図である。（Ａ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以内に手前側に戻る場合に処理の指示に用いるサブ領域を示す。（Ｂ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以上経過した後に手前側に戻る場合に処理の指示に用いるサブ領域を示す。
【図16】実施の形態３の変形例４の処理動作例を説明するフローチャートである。
【図17】検知領域Ａを奥側に通過した指先が再び手前側に通過する動きを処理の指示に活用する例を説明する図である。（Ａ）は通過の検知からｔ秒以内に手前側に戻る場合に処理の指示に用いるサブ領域を示し、（Ｂ）は通過の検知からｔ秒以上経過した後に手前側に戻る場合に処理の指示に用いるサブ領域を示す。
【図18】実施の形態４で使用する情報処理システムの構成例を示す図である。
【図19】図１８の空中立体像の各面と検知領域との位置関係を説明する図である。（Ａ）は空中像＃１の各面に提示されている情報を示し、（Ｂ）はユーザから見て右側の面から空中立体像を見る場合における検知領域の設定例を示し、（Ｃ）はユーザが空中立体像の正面を見る場合における検知領域の設定例を示す。
【図20】実施の形態４で使用するプロセッサの処理動作例を説明するフローチャートである。
【図21】実施の形態４における処理の指示の具体例を説明する図である。
【図22】実施の形態４における処理の指示の他の具体例を説明する図である。
【図23】実施の形態４における処理の指示の他の具体例を説明する図である。
【図24】実施の形態４における処理の指示の他の具体例を説明する図である。
【図25】実施の形態４における処理の指示の他の具体例を説明する図である。
【図26】空中立体像の内側に空中像＃２が新たに形成された状態を示す図である。
【図27】ファイルの選択が終わった後の指先の動きを説明する図である。
【図28】選択の受付に伴う空中像＃１の形態の変化を説明する図である。
【図29】選択の受付に伴う空中像＃１の形態の他の変化を説明する図である。
【図30】ブルートゥース（登録商標）信号を発信する指輪の位置を検知する位置検知装置を有する情報処理システムを説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で使用する情報処理システム１の構成例を示す図である。
図１に示す情報処理システム１は、通り抜け可能な像（以下「空中像」ともいう）を形成する空中像形成装置１０と、空中像形成装置１０を制御する制御装置２０と、空中像が表示されている空間にある手、指、ペン、電子機器等の物体の位置を検知するセンサ３０とを有している。
以下では、空中像形成装置１０が空中に形成する像を「第１の空中像」と呼び、空中像＃１と表記する。
センサ３０は、物体の全体ではなく特定の部位を検知してもよい。一例では、センサ３０は、手の平の位置を検知してもよい。別の例では、センサ３０は、指の先端やペン型デバイスの先端の位置を検知しもよい。別の例では、センサ３０は、指先に装着されるデバイスやペン型デバイスに埋め込まれた特定の部品の位置を検出してもよい。以下の説明では、センサ３０が指先の位置を検知する例で説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で使用する情報処理システム１の構成例を示す図である。
図１に示す情報処理システム１は、通り抜け可能な像（以下「空中像」ともいう）を形成する空中像形成装置１０と、空中像形成装置１０を制御する制御装置２０と、空中像が表示されている空間にある手、指、ペン、電子機器等の物体の位置を検知するセンサ３０とを有している。
以下では、空中像形成装置１０が空中に形成する像を「第１の空中像」と呼び、空中像＃１と表記する。
センサ３０は、物体の全体ではなく特定の部位を検知してもよい。一例では、センサ３０は、手の平の位置を検知してもよい。別の例では、センサ３０は、指の先端やペン型デバイスの先端の位置を検知しもよい。別の例では、センサ３０は、指先に装着されるデバイスやペン型デバイスに埋め込まれた特定の部品の位置を検出してもよい。以下の説明では、センサ３０が指先の位置を検知する例で説明する。
【0010】
空中像＃１は、空中に浮かぶように形成されるので、物体は、空中像＃１を通り抜けることが可能である。
なお、本実施の形態における空中像＃１は、現実の空間に存在するスクリーンに投影される像ではない。また、本実施の形態における空中像は、発光素子のアレイが実空間を高速に移動することで生じる残像現象により表示される像でもない。
なお、本実施の形態における空中像＃１は、現実の空間に存在するスクリーンに投影される像ではない。また、本実施の形態における空中像は、発光素子のアレイが実空間を高速に移動することで生じる残像現象により表示される像でもない。
【0011】
空中像の例には、イメージ、文字、その組み合わせが含まれるが、これらに制限されない。また、空中像の大きさや形状にも制限はない。空中像は、面状の像であってもよいし、立体的な形状の像であってもよい。面状の像の例には、三角形、四角形、その他の多角形、円形、より複雑な形状（星形、ハート形、人・物・動物のシルエットなど）が含まれる。立体的な形状の像の例には、球体、円柱、円錐、立方体、三角錐、角錐、角柱、正面体、これらの組み合わせ、および、人体、車、部屋など、より複雑な３次元の像が含まれる。
本実施の形態の場合、空中像は、空中像が形成されている空間でユーザが物体を移動させることによって処理を指示するためのガイドとして使用される。また、空中像は、静止画像に限定されず、動画像でもよい。
本実施の形態の場合、空中像は、空中像が形成されている空間でユーザが物体を移動させることによって処理を指示するためのガイドとして使用される。また、空中像は、静止画像に限定されず、動画像でもよい。
【0012】
空中像形成装置１０は、空中に空中像を直接形成する装置である。空中に空中像＃１を直接形成する方法は、既に様々なものが提案され、一部は実用化されている。例えば空中像の形成にハーフミラーを用いる方法、ビームスプリッタを用いる方法、微小なミラーアレイを用いる方法、微小なレンズアレイを用いる方法、視差バリアを用いる方法、プラズマ発光を用いる方法等がある。空中像形成装置１０が空中に空中像を形成する方法は、ここに挙げた方法や将来的に利用可能になるその他の方法を用いることができる。
【0013】
制御装置２０は、プログラムの実行を通じて検索その他の処理を実行するプロセッサ２１と、プログラムや各種のデータを記憶する記憶装置２２と、外部との通信を実現するネットワークＩＦ（＝InterFace）２３と、これらを接続するバスその他の信号線２４とを有している。制御装置２０は、いわゆるコンピュータでも、インターネット上のサーバでもよい。制御装置２０は、情報処理装置の一例である。
プロセッサ２１は、例えばＣＰＵで構成される。記憶装置２２は、例えばＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、基本プログラムやアプリケーションプログラム等が記憶されたハードディスク装置とで構成される。
もっとも、ＲＯＭやＲＡＭがプロセッサ２１の一部に含まれることを妨げない。プロセッサ２１と記憶装置２２は、コンピュータを構成する。
プロセッサ２１は、例えばＣＰＵで構成される。記憶装置２２は、例えばＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、基本プログラムやアプリケーションプログラム等が記憶されたハードディスク装置とで構成される。
もっとも、ＲＯＭやＲＡＭがプロセッサ２１の一部に含まれることを妨げない。プロセッサ２１と記憶装置２２は、コンピュータを構成する。
【0014】
センサ３０は、空中像＃１が形成される位置に対応付けて設定されている検知領域を横切る物体を検知するデバイスである。
本実施の形態の場合、センサ３０は、赤外線センサを使用する。このため、人には、赤外線センサの検知領域Ａ及びＢが知覚されない。
センサ３０Ａの検知領域Ａは、空中像形成装置１０によって空中に形成される空中像＃１に対応して設けられる。本実施の形態では、検知領域Ａは、空中像が表示されている領域とその周辺を含むように設定されている。具体的には、検知領域Ａは、空中像＃１を基準面とする場合、基準面に対して概略平行で、基準面の法線方向に予め定めた幅を有する領域として設定される。より具体的には、検知領域Ａは、ユーザから見て空中像＃１の手前側の空間と奥側の空間のそれぞれの方向に、例えば数ミリ～約１センチメートルの幅を有する領域として設定される。なお、検知領域Ａの厚み方向の中心が空中像である必要はない。ここでの検知領域Ａは、第１の領域の一例である。
本実施の形態の場合、センサ３０は、赤外線センサを使用する。このため、人には、赤外線センサの検知領域Ａ及びＢが知覚されない。
センサ３０Ａの検知領域Ａは、空中像形成装置１０によって空中に形成される空中像＃１に対応して設けられる。本実施の形態では、検知領域Ａは、空中像が表示されている領域とその周辺を含むように設定されている。具体的には、検知領域Ａは、空中像＃１を基準面とする場合、基準面に対して概略平行で、基準面の法線方向に予め定めた幅を有する領域として設定される。より具体的には、検知領域Ａは、ユーザから見て空中像＃１の手前側の空間と奥側の空間のそれぞれの方向に、例えば数ミリ～約１センチメートルの幅を有する領域として設定される。なお、検知領域Ａの厚み方向の中心が空中像である必要はない。ここでの検知領域Ａは、第１の領域の一例である。
【0015】
なお、本実施の形態では、検知領域Ａは空中像＃１が形成されている領域とその周辺の領域を含むように設定しているが、空中像＃１が形成されている領域を含まないように設定してもよい。例えば空中像＃１が形成されている領域の手前側又は奥側に５ミリ程度離して検知領域Ａを設定してもよい。また、本実施の形態では、検知領域Ａに厚みを持たせたが、検知領域Ａは厚みを有さなくてもよい。検知領域Ａは、空中像＃１が形成されている領域と実質的に同じであってもよい。
センサ３０Ａは、１個の赤外線センサである必要はなく、複数個の赤外線センサでもよい。なお、複数個の赤外線センサを用いれば、三角測量の原理により、空中像＃１のうち物体が侵入した位置を検知することも可能である。
センサ３０Ａは、１個の赤外線センサである必要はなく、複数個の赤外線センサでもよい。なお、複数個の赤外線センサを用いれば、三角測量の原理により、空中像＃１のうち物体が侵入した位置を検知することも可能である。
【0016】
本実施の形態の場合、空中像＃１の奥側の空間には、センサ３０Ｂの検知領域Ｂが設けられている。センサ３０Ｂは、物体が空中像＃１を通り抜けた状態であることを検知するために設けられる。センサ３０Ｂの検知領域は、センサ３０Ａの検知領域と概略平行に設定される。
センサ３０Ｂも、１個の赤外線センサではなく複数個の赤外線センサであってもよい。
本実施の形態では、センサ３０Ａ及び３０Ｂとして赤外線センサを用いているが、撮像センサを用いてもよい。例えば空中像＃１の側面から画像を撮像すれば、指先が空中像＃１に重なっているか、通過したか等を検知することも可能である。また、空中像＃１が形成される領域を撮像センサで撮像することにより、検知領域Ａのうち処理対象となった領域の位置を検知することも可能である。
センサ３０Ｂも、１個の赤外線センサではなく複数個の赤外線センサであってもよい。
本実施の形態では、センサ３０Ａ及び３０Ｂとして赤外線センサを用いているが、撮像センサを用いてもよい。例えば空中像＃１の側面から画像を撮像すれば、指先が空中像＃１に重なっているか、通過したか等を検知することも可能である。また、空中像＃１が形成される領域を撮像センサで撮像することにより、検知領域Ａのうち処理対象となった領域の位置を検知することも可能である。
【0017】
図２は、空中像＃１と検知領域Ａ及びＢの位置関係を説明する図である。
本実施の形態では、空中像＃１を基準に設定される検知領域Ａに対してユーザがいる側を検知領域Ａの手前側の空間といい、ユーザがいない側を検知領域Ａの奥側の空間という。
手前側の空間は第１の空間の一例であり、奥側の空間は第２の空間の一例である。手前側の空間と奥側の空間は、検知領域Ａを挟んで対向する位置にある。
なお、前述した検知領域Ｂは、奥側の空間に、検知領域Ａと概略平行に設定される。
図２の例では、検知領域Ｂと検知領域Ａとの間に隙間を設けているが、この隙間は無くてもよい。いずれにしても、図２の例では、検知領域Ａと検知領域Ｂの隙間を誇張して表している。
本実施の形態では、空中像＃１を基準に設定される検知領域Ａに対してユーザがいる側を検知領域Ａの手前側の空間といい、ユーザがいない側を検知領域Ａの奥側の空間という。
手前側の空間は第１の空間の一例であり、奥側の空間は第２の空間の一例である。手前側の空間と奥側の空間は、検知領域Ａを挟んで対向する位置にある。
なお、前述した検知領域Ｂは、奥側の空間に、検知領域Ａと概略平行に設定される。
図２の例では、検知領域Ｂと検知領域Ａとの間に隙間を設けているが、この隙間は無くてもよい。いずれにしても、図２の例では、検知領域Ａと検知領域Ｂの隙間を誇張して表している。
【0018】
図３は、検知の対象が指先である場合における指先と検知領域Ａとの関係を説明する図である。（Ａ）は指先が検知領域Ａの手前側にある状態を示す。（Ｂ）は指先が検知領域Ａにある状態を示す。（Ｃ）は指先が検知領域Ａの奥側にある状態を示す。
一例として、検知領域Ａと検知領域Ｂのいずれでも物体が検知されていない状態のとき、指先の位置が（Ａ）の状態であるとみなすことが可能である。また、検知領域Ａで物体が検知され、検知領域Ｂでは物体が検知されていない状態のとき、指先の位置が（Ｂ）の状態であるとみなすことが可能である。また、検知領域Ａと検知領域Ｂの両方で物体が検知された状態のとき、指先の位置が（Ｃ）の状態であるとみなすことが可能である。
ここで、ユーザの指先の状態が一定時間内に、Ａ）から（Ｂ）に、更に、（Ｂ）から（Ａ）へと変化した場合、このユーザは、指先で検知領域Ａに対応して形成されている空中像＃１の面を指で触っているつもりだと考えることが可能である。指先の状態が一定時間内に、（Ａ）から（Ｂ）に、更に、（Ｂ）から（Ｃ）へと変化した場合、このユーザは指先を検知領域Ａに対応して形成されている空中像＃１の面を通り抜けさせているつもりだと考えることが可能である。
一例として、検知領域Ａと検知領域Ｂのいずれでも物体が検知されていない状態のとき、指先の位置が（Ａ）の状態であるとみなすことが可能である。また、検知領域Ａで物体が検知され、検知領域Ｂでは物体が検知されていない状態のとき、指先の位置が（Ｂ）の状態であるとみなすことが可能である。また、検知領域Ａと検知領域Ｂの両方で物体が検知された状態のとき、指先の位置が（Ｃ）の状態であるとみなすことが可能である。
ここで、ユーザの指先の状態が一定時間内に、Ａ）から（Ｂ）に、更に、（Ｂ）から（Ａ）へと変化した場合、このユーザは、指先で検知領域Ａに対応して形成されている空中像＃１の面を指で触っているつもりだと考えることが可能である。指先の状態が一定時間内に、（Ａ）から（Ｂ）に、更に、（Ｂ）から（Ｃ）へと変化した場合、このユーザは指先を検知領域Ａに対応して形成されている空中像＃１の面を通り抜けさせているつもりだと考えることが可能である。
【0019】
図４は、実施の形態１で使用するプロセッサ２１（図１参照）の処理動作例を説明するフローチャートである。図中の記号のＳはステップを意味する。
図４に示す処理動作は、空中像＃１の全体を検知面とする例である。
本実施の形態におけるプロセッサ２１は、センサ３０（図１参照）が手前側の空間から検知領域Ａに入った物体を検知したか否かを判定する（ステップ１）。
ステップ１で否定結果が得られている間、プロセッサ２１は、判定を繰り返す。
一方、ステップ１で肯定結果が得られると、プロセッサ２１は、手前側の空間から検知領域Ａに入った物体が検知領域Ａを通り抜けて奥側の空間に入ったか否かを判定する（ステップ２）。
図４に示す処理動作は、空中像＃１の全体を検知面とする例である。
本実施の形態におけるプロセッサ２１は、センサ３０（図１参照）が手前側の空間から検知領域Ａに入った物体を検知したか否かを判定する（ステップ１）。
ステップ１で否定結果が得られている間、プロセッサ２１は、判定を繰り返す。
一方、ステップ１で肯定結果が得られると、プロセッサ２１は、手前側の空間から検知領域Ａに入った物体が検知領域Ａを通り抜けて奥側の空間に入ったか否かを判定する（ステップ２）。
【0020】
ステップ２で肯定結果が得られた場合、プロセッサ２１は、処理対象に対して第１の処理を行う（ステップ３）。一方、ステップ２で否定結果が得られた場合、プロセッサ２１は、処理対象に対して第２の処理を行う（ステップ４）。例えば、処理対象を第１の状態にすることを第１の処理とし、第２の状態にすることを第２の処理とすることが可能である。
処理対象の一例は、端末である。ここでいう端末は、制御装置２０（図１参照）でもよいし、プロセッサ２１と通信可能な不図示の情報処理装置でもよい。不図示の情報処理装置には、例えば、テレビ、ビデオ、オーディオ機器、電子調理器、空調機、照明器具、ＰＣ、スマートフォン、タブレット等が含まれるが、これらに制限されない。第１の処理の処理対象と第２の処理の処理対象は同じであっても異なっていてもよい。
処理対象の一例は、端末である。ここでいう端末は、制御装置２０（図１参照）でもよいし、プロセッサ２１と通信可能な不図示の情報処理装置でもよい。不図示の情報処理装置には、例えば、テレビ、ビデオ、オーディオ機器、電子調理器、空調機、照明器具、ＰＣ、スマートフォン、タブレット等が含まれるが、これらに制限されない。第１の処理の処理対象と第２の処理の処理対象は同じであっても異なっていてもよい。
【0021】
第１の処理の処理対象となる端末と第２の処理の処理対象となる端末が同じである場合、検知領域Ａに対応する空中像＃１として、第１の処理と第２の処理の処理対象となる端末を示す像を提示するとよい。具体的には、第１の処理に恵理子さんのＰＣ（＝Personal Computer）をスリープモードにする処理が割り当てられ、第２の処理に恵理子さんのＰＣを再起動する処理を割り当てられている状態のときに、例えば、検知領域Ａに対応する空中像＃１として、「恵理子のＰＣ」というテキストを有する矩形や、恵理子さんのアバターとＰＣのアイコンを有する矩形を表示させるようにするとよい。つまり、ユーザが恵理子さんのＰＣを示す空中像の面を触れるように指を動かすと、ユーザの指先の状態が一定時間内に、図３の（Ａ）から（Ｂ）に、更に、（Ｂ）から（Ａ）へと変化することになり、恵理子さんのＰＣはスリープモードになる。一方、ユーザが恵理子さんのＰＣを示す空中像＃１の面を通り抜けるように指を動かすと、ユーザの指先の状態が一定時間内に、図３の（Ａ）から（Ｂ）に、更に、図３の（Ｂ）から（Ｃ）へと変化して、恵理子さんのＰＣは再起動される。
この一連のフローをユーザの視点から捉えると、空中像＃１は「通過可能なボタン」のように見え、指先やスタイラスの先をボタンに軽く触れさせる（便宜上「タッチ」と呼ぶ）のか、ボタンの奥深くまで動かすのか（便宜上「ディープタッチ」と呼ぶ）によって、同じボタンを使って異なる処理を指示することができるように見える。ユーザは、空中像＃１をガイドにして、指先の状態が一定時間内に、図３の（Ａ）から（Ｂ）に、更に、図３の（Ｂ）から（Ａ）へと変化するように指を動かすことで、第１の処理の実行を指示し、指先の状態が一定時間内に図３の（Ａ）から（Ｂ）に、更に、図３の（Ｂ）から（Ｃ）へと変化するように指を動かすことで、第２の処理の実行を指示することができる。
この一連のフローをユーザの視点から捉えると、空中像＃１は「通過可能なボタン」のように見え、指先やスタイラスの先をボタンに軽く触れさせる（便宜上「タッチ」と呼ぶ）のか、ボタンの奥深くまで動かすのか（便宜上「ディープタッチ」と呼ぶ）によって、同じボタンを使って異なる処理を指示することができるように見える。ユーザは、空中像＃１をガイドにして、指先の状態が一定時間内に、図３の（Ａ）から（Ｂ）に、更に、図３の（Ｂ）から（Ａ）へと変化するように指を動かすことで、第１の処理の実行を指示し、指先の状態が一定時間内に図３の（Ａ）から（Ｂ）に、更に、図３の（Ｂ）から（Ｃ）へと変化するように指を動かすことで、第２の処理の実行を指示することができる。
【0022】
処理対象は端末である必要はなく、文書、画像、音楽などのファイルであってもよい。これらのファイルは制御装置２０（図１参照）に保存されたものであってもよいし、プロセッサ２１と通信可能な不図示の情報処理装置端末に保存されたものであってもよい。第１の処理の処理対象と第２の処理の処理対象は同じであっても異なっていてもよい。
第１の処理の処理対象となるファイルと、第２の処理の処理対象となるファイルが同じである場合、検知領域Ａに対応する空中像＃１として、第１の処理と第２の処理の処理対象となるファイルを示す像を提示するとよい。具体的には、第１の処理に「特許法．ｄоｃｘ」という文書ファイルを選択する処理が割り当てられ、第２の処理に「特許法．ｄоｃｘ」という文書ファイルを開く処理が割り当てられている状態のときに、例えば、検知領域Ａに対応する空中像＃１として、「特許法．ｄоｃｘ」というファイル名を有する矩形や、「特許法．ｄоｃｘ」のプレビューを表示させるようにするとよい。つまり、ユーザが「特許法．ｄоｃｘ」を示す空中像＃１の面を触れるように指を動かすと、ユーザの指先の状態が一定時間内に（Ａ）から（Ｂ）に、その後、（Ｂ）から（Ａ）へと変化することになり、「特許法．ｄоｃｘ」が選択される。選択されたことを示すために、例えば、「特許法．ｄоｃｘ」を空中像＃１の色を変化させる。一方、ユーザが「特許法．ｄоｃｘ」を示す空中像＃１の面を通り抜けるように指を動かすと、ユーザの指先の状態が一定時間内に（Ａ）から（Ｂ）に、その後、（Ｂ）から（Ｃ）へと変化して、「特許法．ｄоｃｘ」が開く。なお、開いた「特許法．ｄоｃｘ」の中身は、空中像形成装置１０によって空中像として提示してもよいし、プロセッサ２１と通信可能なディスプレイ（不図示）に表示してもよい。
第１の処理の処理対象となるファイルと、第２の処理の処理対象となるファイルが同じである場合、検知領域Ａに対応する空中像＃１として、第１の処理と第２の処理の処理対象となるファイルを示す像を提示するとよい。具体的には、第１の処理に「特許法．ｄоｃｘ」という文書ファイルを選択する処理が割り当てられ、第２の処理に「特許法．ｄоｃｘ」という文書ファイルを開く処理が割り当てられている状態のときに、例えば、検知領域Ａに対応する空中像＃１として、「特許法．ｄоｃｘ」というファイル名を有する矩形や、「特許法．ｄоｃｘ」のプレビューを表示させるようにするとよい。つまり、ユーザが「特許法．ｄоｃｘ」を示す空中像＃１の面を触れるように指を動かすと、ユーザの指先の状態が一定時間内に（Ａ）から（Ｂ）に、その後、（Ｂ）から（Ａ）へと変化することになり、「特許法．ｄоｃｘ」が選択される。選択されたことを示すために、例えば、「特許法．ｄоｃｘ」を空中像＃１の色を変化させる。一方、ユーザが「特許法．ｄоｃｘ」を示す空中像＃１の面を通り抜けるように指を動かすと、ユーザの指先の状態が一定時間内に（Ａ）から（Ｂ）に、その後、（Ｂ）から（Ｃ）へと変化して、「特許法．ｄоｃｘ」が開く。なお、開いた「特許法．ｄоｃｘ」の中身は、空中像形成装置１０によって空中像として提示してもよいし、プロセッサ２１と通信可能なディスプレイ（不図示）に表示してもよい。
【0023】
第１の処理又は第２の処理を実行する指示を受け付けた場合、この空中像＃１は空中から消してもよいし、空中に残してもよい。空中像＃１を空中に残す場合、処理の指示を受け付けたことに応じて、空中像＃１の外観を変化させてもよい。例えば、色や透明度、大きさを変化させたり、処理が実行されたことを示すテキストやアイコンを該空中像に付加したりしてもよい。また、第１の処理を実行する指示を受け付けた場合と、第２の処理を実行する指示を受け付けた場合とで、空中像＃１の外観を異なる外観に変化させてもよい。
本実施の形態で第１の処理と第２の処理に割り当てた処理は単なる例にすぎず、第１の処理と第２の処理を逆に割り当ててもよいし、ここで挙げた処理以外の処理を割り当ててもよい。例えば、第１の処理に、「特許法．ｄоｃｘ」をデフォルトに設定された印刷装置から印刷する処理を割り当て、第２の処理に、「特許法．ｄоｃｘ」の印刷に用いる印刷装置の候補を提示する処理を割り当ててもよい。印刷装置の候補は、「特許法．ｄоｃｘ」を示す空中像＃１に提示されてもよいし、新たな空中像に提示されてもよいし、プロセッサ２１と通信可能なディスプレイ（不図示）に表示されてもよい。本実施の形態では、新たな空中像を第２の空中像と呼び、第１の空中像と区別する。第２の空中像を空中像＃２と表記する。
なお、空中には複数の空中像＃１が同時に形成されていてもよい。空中像＃１ａと空中像＃１ｂが同時に形成される場合、空中像＃１ａに対応する検知領域と、空中像＃１ｂに対応する検知領域をそれぞれ設ける。
本実施の形態で第１の処理と第２の処理に割り当てた処理は単なる例にすぎず、第１の処理と第２の処理を逆に割り当ててもよいし、ここで挙げた処理以外の処理を割り当ててもよい。例えば、第１の処理に、「特許法．ｄоｃｘ」をデフォルトに設定された印刷装置から印刷する処理を割り当て、第２の処理に、「特許法．ｄоｃｘ」の印刷に用いる印刷装置の候補を提示する処理を割り当ててもよい。印刷装置の候補は、「特許法．ｄоｃｘ」を示す空中像＃１に提示されてもよいし、新たな空中像に提示されてもよいし、プロセッサ２１と通信可能なディスプレイ（不図示）に表示されてもよい。本実施の形態では、新たな空中像を第２の空中像と呼び、第１の空中像と区別する。第２の空中像を空中像＃２と表記する。
なお、空中には複数の空中像＃１が同時に形成されていてもよい。空中像＃１ａと空中像＃１ｂが同時に形成される場合、空中像＃１ａに対応する検知領域と、空中像＃１ｂに対応する検知領域をそれぞれ設ける。
【0024】
＜実施の形態２＞
＜システム構成＞
図５は、実施の形態２で使用する情報処理システム１Ａの構成例を示す図である。図５には、図１との対応部分に対応する符号を付して示す。
図５に示す情報処理システム１Ａには、処理の指示の受付をユーザにフィードバックする超音波触覚インタフェース装置４０が追加されている。
超音波触覚インタフェース装置４０は、超音波振動子を格子状に多数並べた超音波振動子アレイで構成される。本実施の形態における超音波触覚インタフェース装置４０は、空中像の特定の領域に焦点を結ぶように超音波を発生させる。もっとも、センサ３０により特定の領域への指先の挿入が検知された場合に限り、超音波振動子アレイを作動させてもよい。
＜システム構成＞
図５は、実施の形態２で使用する情報処理システム１Ａの構成例を示す図である。図５には、図１との対応部分に対応する符号を付して示す。
図５に示す情報処理システム１Ａには、処理の指示の受付をユーザにフィードバックする超音波触覚インタフェース装置４０が追加されている。
超音波触覚インタフェース装置４０は、超音波振動子を格子状に多数並べた超音波振動子アレイで構成される。本実施の形態における超音波触覚インタフェース装置４０は、空中像の特定の領域に焦点を結ぶように超音波を発生させる。もっとも、センサ３０により特定の領域への指先の挿入が検知された場合に限り、超音波振動子アレイを作動させてもよい。
【0025】
超音波振動子アレイが作動すると、特定の領域に音響放射圧と呼ばれる圧力が生じる。このため、音響放射圧が生じている位置に指先が位置すると、表面に押されるような触覚刺激が生まれる。
図５に示す空中像の一部分には、アイコン１１の画像が配置されている。図５の例では、指先がアイコン１１に近づいているが、ユーザは、自身が行った処理の指示がプロセッサ２１Ａにどのように検知されたかが分からない。検知領域Ａのうちアイコン１１に対応付けられる領域は、検知領域Ａにおけるサブ領域の一例である。
本実施の形態の場合、プロセッサ２１Ａは、検知領域Ａの全体ではなく、アイコン１１に対応する領域に対する指先の位置を検知している。アイコン１１に対応する領域を確実に検知するには、アイコン１１が形成される高さの範囲を検知領域とする不図示のセンサ３０を配置することが望ましい。この場合、図５に示すセンサ３０の検知領域Ａと不図示のセンサ３０の検知領域とが交差する領域がサブ領域として設定される。
図５に示す空中像の一部分には、アイコン１１の画像が配置されている。図５の例では、指先がアイコン１１に近づいているが、ユーザは、自身が行った処理の指示がプロセッサ２１Ａにどのように検知されたかが分からない。検知領域Ａのうちアイコン１１に対応付けられる領域は、検知領域Ａにおけるサブ領域の一例である。
本実施の形態の場合、プロセッサ２１Ａは、検知領域Ａの全体ではなく、アイコン１１に対応する領域に対する指先の位置を検知している。アイコン１１に対応する領域を確実に検知するには、アイコン１１が形成される高さの範囲を検知領域とする不図示のセンサ３０を配置することが望ましい。この場合、図５に示すセンサ３０の検知領域Ａと不図示のセンサ３０の検知領域とが交差する領域がサブ領域として設定される。
【0026】
図６は、本実施の形態における処理の指示の受付のフィードバック例を説明する図である。（Ａ）は指先がアイコン１１（図５参照）に対応する検知領域Ａの手前側にある状態におけるフィードバックを示す。（Ｂ）は指先がアイコン１１に対応する検知領域Ａにある状態のフィードバックを示す。（Ｃ）は指先がアイコン１１に対応する検知領域Ａの奥側にある状態のフィードバックを示す。
一例として、指先がアイコン１１に対応する検知領域Ａにある状態では、指先にレベル１の触覚刺激が発生する。指先がアイコン１１に対応する検知領域Ａの奥側にある状態では、指先にレベル２の触覚刺激が発生する。本実施の形態の場合、レベル１よりレベル２の触覚刺激の方が大きい。なお、レベル１とレベル２の違いは、指先を空中像＃１に挿入するユーザにより、触覚刺激の強さの違いとして知覚されるように設定される。
もっとも、音響放射圧による触覚刺激は、指先が特定の検知領域に入ったことを発生条件として与えるのではなく、特定の検知領域から出ることを発生条件としてもよい。
一例として、指先がアイコン１１に対応する検知領域Ａにある状態では、指先にレベル１の触覚刺激が発生する。指先がアイコン１１に対応する検知領域Ａの奥側にある状態では、指先にレベル２の触覚刺激が発生する。本実施の形態の場合、レベル１よりレベル２の触覚刺激の方が大きい。なお、レベル１とレベル２の違いは、指先を空中像＃１に挿入するユーザにより、触覚刺激の強さの違いとして知覚されるように設定される。
もっとも、音響放射圧による触覚刺激は、指先が特定の検知領域に入ったことを発生条件として与えるのではなく、特定の検知領域から出ることを発生条件としてもよい。
【0027】
また、レベルの大きさの違いではなく、触覚刺激の回数を用いてもよい。例えば指先が検知領域Ａに留まる状態では、指先にレベル１の触覚刺激を例えば１秒間に１回発生させ、指先が検知領域Ａを通過して検知領域Ｂに達した状態では、指先にレベル１の触覚刺激を例えば１秒間に２回発生させてもよい。
もっとも、本実施の形態では、図５に示す検知領域Ａの全体ではなく、アイコン１１に対応する部分領域に対する指先の位置を検知の対象としているので、指先がアイコン１１以外の領域に位置する場合には、指先が検知領域Ａにある状態でも、指先が検知領域Ａの奥側の検知領域Ｂにある状態でも、ユーザは触覚刺激を知覚しない。
本実施の形態の場合には、触覚刺激を用いて、処理の指示の受付をユーザに通知しているが、空中に形成される空中像＃１の外観の変化により処理の指示の受付をユーザに通知させることも可能である。例えば、処理の指示を受け付けると、空中像＃１のうち、受け付けた処理の指示の処理対象を示す部分（ここではアイコン１１）の輝度や色調を変化させる等の方法を用いてもよい。また、超音波振動子アレイで発生される音響放射圧に代えて、空気圧を用いてもよい。
もっとも、本実施の形態では、図５に示す検知領域Ａの全体ではなく、アイコン１１に対応する部分領域に対する指先の位置を検知の対象としているので、指先がアイコン１１以外の領域に位置する場合には、指先が検知領域Ａにある状態でも、指先が検知領域Ａの奥側の検知領域Ｂにある状態でも、ユーザは触覚刺激を知覚しない。
本実施の形態の場合には、触覚刺激を用いて、処理の指示の受付をユーザに通知しているが、空中に形成される空中像＃１の外観の変化により処理の指示の受付をユーザに通知させることも可能である。例えば、処理の指示を受け付けると、空中像＃１のうち、受け付けた処理の指示の処理対象を示す部分（ここではアイコン１１）の輝度や色調を変化させる等の方法を用いてもよい。また、超音波振動子アレイで発生される音響放射圧に代えて、空気圧を用いてもよい。
【0028】
＜実施の形態３＞
＜システム構成＞
図７は、実施の形態３で使用する情報処理システム１Ｂの構成例を示す図である。図７には、図１との対応部分に対応する符号を付して示す。
本実施の形態における情報処理システム１Ｂは、検知の対象である指先と検知領域Ａとの位置関係に応じた位置に第２の空中像が追加で形成される場合について説明する。以下では、第２の空中像を空中像＃２と表現する。
図７に示す情報処理システム１Ｂは、センサ３０Ｃとセンサ３０Ｄが追加される点で、実施の形態１の情報処理システム１（図１参照）と相違する。
本実施の形態の場合、検知の対象である指先を指し示すユーザの位置から見て手前側から奥側の方向に、センサ３０Ｃ、センサ３０Ａ、センサ３０Ｂ、センサ３０Ｄが配置されている。
＜システム構成＞
図７は、実施の形態３で使用する情報処理システム１Ｂの構成例を示す図である。図７には、図１との対応部分に対応する符号を付して示す。
本実施の形態における情報処理システム１Ｂは、検知の対象である指先と検知領域Ａとの位置関係に応じた位置に第２の空中像が追加で形成される場合について説明する。以下では、第２の空中像を空中像＃２と表現する。
図７に示す情報処理システム１Ｂは、センサ３０Ｃとセンサ３０Ｄが追加される点で、実施の形態１の情報処理システム１（図１参照）と相違する。
本実施の形態の場合、検知の対象である指先を指し示すユーザの位置から見て手前側から奥側の方向に、センサ３０Ｃ、センサ３０Ａ、センサ３０Ｂ、センサ３０Ｄが配置されている。
【0029】
図８は、４つのセンサ３０Ａ～３０Ｄに対応する４つの検知領域Ａ～Ｄの位置関係を説明する図である。
センサ３０Ｃに対応する検知領域Ｃは、センサ３０Ａに対応する検知領域Ａよりも手前側の位置に配置される。センサ３０Ｃに対応する検知領域Ｃは、検知領域Ａ内に形成される第１の空中像よりも手前側の位置に形成される第２の空中像を含むように位置決めされる。以下、検知領域Ｃに対応する位置に形成される第２の空中像を空中像＃２ａと表記する。
センサ３０Ｄに対応する検知領域Ｄは、センサ３０Ｂに対応する検知領域Ｂよりも奥側の位置に配置される。センサ３０Ｄに対応する検知領域Ｄは、検知領域Ｂよりも奥側の位置に形成される第２の空中像を含むように位置決めされる。以下、検知領域Ｄに対応する位置に形成される第２の空中像を空中像＃２ｂと表記する。
ここでの空中像＃２ａ及び空中像＃２ｂは、第２の空中像の一例である。
センサ３０Ｃに対応する検知領域Ｃは、センサ３０Ａに対応する検知領域Ａよりも手前側の位置に配置される。センサ３０Ｃに対応する検知領域Ｃは、検知領域Ａ内に形成される第１の空中像よりも手前側の位置に形成される第２の空中像を含むように位置決めされる。以下、検知領域Ｃに対応する位置に形成される第２の空中像を空中像＃２ａと表記する。
センサ３０Ｄに対応する検知領域Ｄは、センサ３０Ｂに対応する検知領域Ｂよりも奥側の位置に配置される。センサ３０Ｄに対応する検知領域Ｄは、検知領域Ｂよりも奥側の位置に形成される第２の空中像を含むように位置決めされる。以下、検知領域Ｄに対応する位置に形成される第２の空中像を空中像＃２ｂと表記する。
ここでの空中像＃２ａ及び空中像＃２ｂは、第２の空中像の一例である。
【0030】
図９は、実施の形態３で使用するプロセッサ２１Ｂ（図７参照）の処理動作例を説明するフローチャートである。図９には、図４との対応部分に対応する符号を付して示している。
本実施の形態におけるプロセッサ２１Ｂも、ステップ２までの処理は、実施の形態１と同じである。すなわち、手前側の空間から検知領域Ａに入った物体が検知された場合、検知された物体がそのまま検知領域Ａにあるか検知領域Ａを通り抜けて奥側の空間に入ったかが判定される。
ステップ２で肯定結果が得られた場合、プロセッサ２１Ｂは、検知領域Ｂよりも奥側の空間に空中像＃２ｂを形成する（ステップ１１）。ステップ１１の内容は、ステップ３（図４参照）で実行される処理の一例である。
本実施の形態におけるプロセッサ２１Ｂも、ステップ２までの処理は、実施の形態１と同じである。すなわち、手前側の空間から検知領域Ａに入った物体が検知された場合、検知された物体がそのまま検知領域Ａにあるか検知領域Ａを通り抜けて奥側の空間に入ったかが判定される。
ステップ２で肯定結果が得られた場合、プロセッサ２１Ｂは、検知領域Ｂよりも奥側の空間に空中像＃２ｂを形成する（ステップ１１）。ステップ１１の内容は、ステップ３（図４参照）で実行される処理の一例である。
【0031】
図１０は、指先が検知領域Ａを通過した場合に実行される処理動作例を説明する図である。（Ａ）は指先が検知領域Ａを通過した状態を示し、（Ｂ）は通過の検知後に形成される第２の空中像の一例である空中像＃２ｂの位置を示す。
空中像＃２ｂは、空中像＃１を透過して見える位置に重ねて形成されてもよいが、ユーザから見て空中像＃１と重ならない位置に形成されてもよい。
また、図１０の例では、指先の検知後も、検知領域Ａに空中像＃１が形成されているが、指先の検知後は空中像＃２ｂだけが形成されるようにしてもよい。
空中像＃２ｂは、空中像＃１を透過して見える位置に重ねて形成されてもよいが、ユーザから見て空中像＃１と重ならない位置に形成されてもよい。
また、図１０の例では、指先の検知後も、検知領域Ａに空中像＃１が形成されているが、指先の検知後は空中像＃２ｂだけが形成されるようにしてもよい。
【0032】
図９の説明に戻る。
次に、プロセッサ２１Ｂは、検知領域Ｄに入った物体を検知したか否かを判定する（ステップ１２）。
ステップ１２で肯定結果が得られた場合、プロセッサ２１Ｂは、空中像＃２ｂに割り当てられている処理を実行する（ステップ１３）。ここでの処理の内容は、実施の形態１の場合のように、処理対象である端末を予め定めた状態に制御する処理でもよいし、別の空中像を形成する処理でもよい。ステップ１３で実行される処理は、第３の処理の一例である。
一方、ステップ１２で否定結果が得られた場合、プロセッサ２１Ｂは、そのまま処理を終了する。
次に、プロセッサ２１Ｂは、検知領域Ｄに入った物体を検知したか否かを判定する（ステップ１２）。
ステップ１２で肯定結果が得られた場合、プロセッサ２１Ｂは、空中像＃２ｂに割り当てられている処理を実行する（ステップ１３）。ここでの処理の内容は、実施の形態１の場合のように、処理対象である端末を予め定めた状態に制御する処理でもよいし、別の空中像を形成する処理でもよい。ステップ１３で実行される処理は、第３の処理の一例である。
一方、ステップ１２で否定結果が得られた場合、プロセッサ２１Ｂは、そのまま処理を終了する。
【0033】
ステップ２の処理に説明を戻す。ステップ２で否定結果が得られた場合、プロセッサ２１Ｂは、検知領域Ａよりも手前側の空間に空中像＃２ａを形成する（ステップ１４）。ステップ１４の内容は、ステップ４（図４参照）で実行される処理の一例である。
図１１は、指先が検知領域Ａにある場合に実行される処理動作例を説明する図である。（Ａ）は指先が検知領域Ａにある状態を示し、（Ｂ）は通過の検知後に形成される第２の空中像の一例である空中像＃２ａの位置を示す。
空中像＃２ａは、空中像＃１よりも手前側の位置に空中像＃１に重ねて形成されてもよい。この場合、空中像＃１は、空中像＃２ａを透過して見えることになる。この場合も、空中像＃２ａは、ユーザから見て空中像＃１と重ならない位置に形成されてもよい。
また、図１１の例では、指先の検知後も、検知領域Ａに空中像＃１が形成されているが、指先の検知後は空中像＃２ａだけが形成されるようにしてもよい。
図１１は、指先が検知領域Ａにある場合に実行される処理動作例を説明する図である。（Ａ）は指先が検知領域Ａにある状態を示し、（Ｂ）は通過の検知後に形成される第２の空中像の一例である空中像＃２ａの位置を示す。
空中像＃２ａは、空中像＃１よりも手前側の位置に空中像＃１に重ねて形成されてもよい。この場合、空中像＃１は、空中像＃２ａを透過して見えることになる。この場合も、空中像＃２ａは、ユーザから見て空中像＃１と重ならない位置に形成されてもよい。
また、図１１の例では、指先の検知後も、検知領域Ａに空中像＃１が形成されているが、指先の検知後は空中像＃２ａだけが形成されるようにしてもよい。
【0034】
図９の説明に戻る。
次に、プロセッサ２１Ｂは、検知領域Ｃに入った物体を検知したか否かを判定する（ステップ１５）。
ステップ１５で肯定結果が得られた場合、プロセッサ２１Ｂは、空中像＃２ａに割り当てられている処理を実行する（ステップ１６）。ここでの処理の内容も、実施の形態１の場合のように、処理対象である端末を予め定めた状態に制御する処理でもよいし、別の空中像を形成する処理でもよい。ステップ１６で実行される処理は、第３の処理の一例である。
一方、ステップ１５で否定結果が得られた場合、プロセッサ２１Ｂは、そのまま処理を終了する。
次に、プロセッサ２１Ｂは、検知領域Ｃに入った物体を検知したか否かを判定する（ステップ１５）。
ステップ１５で肯定結果が得られた場合、プロセッサ２１Ｂは、空中像＃２ａに割り当てられている処理を実行する（ステップ１６）。ここでの処理の内容も、実施の形態１の場合のように、処理対象である端末を予め定めた状態に制御する処理でもよいし、別の空中像を形成する処理でもよい。ステップ１６で実行される処理は、第３の処理の一例である。
一方、ステップ１５で否定結果が得られた場合、プロセッサ２１Ｂは、そのまま処理を終了する。
【0035】
ここでは、図１２及び図１３を用いて、図１１の具体例を説明する。
図１２は、検知領域Ａに含まれる空中像の具体例と特定のサブ領域が処理の指示に用いられる場合を説明する図である。図１３は、検知領域Ａの手前側に形成される空中像＃２ａの具体例を示す図である。
図１２では、ＰＣやスマートフォンに表示されるような画面が空中像＃１として表示されている。画面内には７個のボタン１１Ａ～１１Ｇが配置されている。ボタン１１Ａは「戻る」ボタンであり、ボタン１１Ｂは「情報」を表示するボタンであり、ボタン１１Ｃは「新規」のファイルを作成するボタンであり、ボタン１１Ｄは「開く」ボタンであり、ボタン１１Ｅは「上書き保存」ボタンであり、ボタン１１Ｆは「名前を付けて保存」ボタンであり、ボタン１１Ｇは「印刷」ボタンである。
図１２は、検知領域Ａに含まれる空中像の具体例と特定のサブ領域が処理の指示に用いられる場合を説明する図である。図１３は、検知領域Ａの手前側に形成される空中像＃２ａの具体例を示す図である。
図１２では、ＰＣやスマートフォンに表示されるような画面が空中像＃１として表示されている。画面内には７個のボタン１１Ａ～１１Ｇが配置されている。ボタン１１Ａは「戻る」ボタンであり、ボタン１１Ｂは「情報」を表示するボタンであり、ボタン１１Ｃは「新規」のファイルを作成するボタンであり、ボタン１１Ｄは「開く」ボタンであり、ボタン１１Ｅは「上書き保存」ボタンであり、ボタン１１Ｆは「名前を付けて保存」ボタンであり、ボタン１１Ｇは「印刷」ボタンである。
【0036】
検知領域Ａには、ボタン１１Ａ～１１Ｇに対応するサブ領域が設けられている。ここでは、センサ３０Ａ（図７参照）等を使用して、ユーザが空中像内に設けられたボタンのうち、どのボタンを「タッチ」又は「ディープタッチ」しようとしているのかを検知する。
例えば、「印刷」ボタン（すなわちボタン１１Ｇ）に対応するサブ領域に関して、指先が一定時間内に（Ａ）から（Ｂ）、更に（Ｂ）から（Ａ）に移動したことが検知された場合、図１３に示すように、空中像＃２ａの一例として、印刷物の出力先を選択するための選択肢群が、検知領域Ａに含まれる空中像の手前側に形成される。
この選択肢群には、６つの選択肢１２Ａ～１２Ｆが配置されている。選択肢１２Ａは印刷装置１号機を、選択肢１２Ｂは印刷装置２号機を、選択肢１２Ｃは印刷装置３号機を、選択肢１２Ｄは印刷装置４号機を、選択肢１２Ｅは印刷装置５号機を、選択肢１２Ｆは印刷装置６号機を示している。
例えば、「印刷」ボタン（すなわちボタン１１Ｇ）に対応するサブ領域に関して、指先が一定時間内に（Ａ）から（Ｂ）、更に（Ｂ）から（Ａ）に移動したことが検知された場合、図１３に示すように、空中像＃２ａの一例として、印刷物の出力先を選択するための選択肢群が、検知領域Ａに含まれる空中像の手前側に形成される。
この選択肢群には、６つの選択肢１２Ａ～１２Ｆが配置されている。選択肢１２Ａは印刷装置１号機を、選択肢１２Ｂは印刷装置２号機を、選択肢１２Ｃは印刷装置３号機を、選択肢１２Ｄは印刷装置４号機を、選択肢１２Ｅは印刷装置５号機を、選択肢１２Ｆは印刷装置６号機を示している。
【0037】
本実施例の場合、選択肢群に対応する検知領域Ｃ内およびその付近にある物体はセンサ３０Ｃ（図７参照）によって検知される。検知領域Ｃには、選択肢群内に設けられた選択肢１２Ａ～１２Ｆに対するサブ領域を設け、ユーザがどの選択肢を「タッチ」または「ディープタッチ」しようとしているのかを検知する。
プロセッサ２１Ｂ（図７参照）は、ユーザの指先が入ったサブ領域に対応する印刷装置に印刷の指示を送信する。例えば、選択肢１２Ｅに対応するサブ領域に関して、指先が一定時間内に、図３の（Ａ）から（Ｂ）に、更に（Ｂ）から（Ａ）に移動したことが検知された場合、プロセッサ２１Ｂは、印刷装置５号機に印刷の指示を送信する。
なお、図１３の場合、印刷物の出力先を選択するための選択肢群全体を１つの空中像＃２ａと捉えているが、選択肢１２Ａ～１２Ｆのそれぞれを異なる空中像と捉えてもよい。その場合は、空中に第２の空中像が６つ形成されていることになる。
プロセッサ２１Ｂ（図７参照）は、ユーザの指先が入ったサブ領域に対応する印刷装置に印刷の指示を送信する。例えば、選択肢１２Ｅに対応するサブ領域に関して、指先が一定時間内に、図３の（Ａ）から（Ｂ）に、更に（Ｂ）から（Ａ）に移動したことが検知された場合、プロセッサ２１Ｂは、印刷装置５号機に印刷の指示を送信する。
なお、図１３の場合、印刷物の出力先を選択するための選択肢群全体を１つの空中像＃２ａと捉えているが、選択肢１２Ａ～１２Ｆのそれぞれを異なる空中像と捉えてもよい。その場合は、空中に第２の空中像が６つ形成されていることになる。
【0038】
＜変形例１＞
図９に示すフローチャートの場合には、ステップ１５において、検知領域Ｃに指先がどこから入ったかを区別していないが、指先が奥側から検知領域Ｃに入ったか、手前側から検知領域Ｃに入ったかを判別して、それぞれ異なる処理を実行してもよい。
例えば指先が奥側からサブ領域に入った場合には、指先が入ったサブ領域に対応する印刷装置に印刷の指示を送信する一方、指先が手前側からサブ領域に入った場合には、指先が入ったサブ領域に割り振られている印刷装置の詳細情報を提示してもよい。ここで、詳細情報は第２の空中像を用いて提示してもよいが、新たに第３の空中像を形成して提示してもよい。
図９に示すフローチャートの場合には、ステップ１５において、検知領域Ｃに指先がどこから入ったかを区別していないが、指先が奥側から検知領域Ｃに入ったか、手前側から検知領域Ｃに入ったかを判別して、それぞれ異なる処理を実行してもよい。
例えば指先が奥側からサブ領域に入った場合には、指先が入ったサブ領域に対応する印刷装置に印刷の指示を送信する一方、指先が手前側からサブ領域に入った場合には、指先が入ったサブ領域に割り振られている印刷装置の詳細情報を提示してもよい。ここで、詳細情報は第２の空中像を用いて提示してもよいが、新たに第３の空中像を形成して提示してもよい。
【0039】
＜変形例２＞
図９に示すフローチャートの場合には、ステップ２で肯定結果が得られた場合もステップ２で否定結果が得られた場合も、それぞれに対応する位置に第２の空中像を形成し、対応する処理を実行しているが、いずれか一方の判定の結果後の処理を、実施の形態１に示す処理に置き換えてもよい。
例えばステップ１１～ステップ１３をステップ３（図４参照）と置き換えてもよい。この場合、プロセッサ２１Ｂ（図７参照）は、デフォルト設定されている印刷装置に対して印刷の指示を送信してもよい。
図９に示すフローチャートの場合には、ステップ２で肯定結果が得られた場合もステップ２で否定結果が得られた場合も、それぞれに対応する位置に第２の空中像を形成し、対応する処理を実行しているが、いずれか一方の判定の結果後の処理を、実施の形態１に示す処理に置き換えてもよい。
例えばステップ１１～ステップ１３をステップ３（図４参照）と置き換えてもよい。この場合、プロセッサ２１Ｂ（図７参照）は、デフォルト設定されている印刷装置に対して印刷の指示を送信してもよい。
【0040】
＜変形例３＞
この例では、検知領域Ａを手前側から奥側に通過した物体が、検知領域Ａの奥側から手前側に再び通過する物体の動きを処理の指示に活用する場合について説明する。
図１４は、実施の形態３の変形例３の処理動作例を説明するフローチャートである。図１４には、図９との対応部分に対応する符号を付して示す。図１４では、図９に示すステップ２で肯定結果が得られた後に実行される処理動作が異なる。
ステップ２で肯定結果が得られる場合とは、検知領域Ａを手前側から奥側に通り抜ける物体が検知される場合である。
図１４の場合、プロセッサ２１Ｂ（図７参照）は、通り抜けの検知から予め定めた時間内に同じ物体が再び検知領域Ａを通って手前側に出たか否かを判定する（ステップ２１）。この例の場合、検知領域Ａを通過した物体の検知だけでは、プロセッサ２１Ｂが実行する処理は確定しない。
この例では、検知領域Ａを手前側から奥側に通過した物体が、検知領域Ａの奥側から手前側に再び通過する物体の動きを処理の指示に活用する場合について説明する。
図１４は、実施の形態３の変形例３の処理動作例を説明するフローチャートである。図１４には、図９との対応部分に対応する符号を付して示す。図１４では、図９に示すステップ２で肯定結果が得られた後に実行される処理動作が異なる。
ステップ２で肯定結果が得られる場合とは、検知領域Ａを手前側から奥側に通り抜ける物体が検知される場合である。
図１４の場合、プロセッサ２１Ｂ（図７参照）は、通り抜けの検知から予め定めた時間内に同じ物体が再び検知領域Ａを通って手前側に出たか否かを判定する（ステップ２１）。この例の場合、検知領域Ａを通過した物体の検知だけでは、プロセッサ２１Ｂが実行する処理は確定しない。
【0041】
ステップ２１で肯定結果が得られた場合、プロセッサ２１Ｂは、検知領域Ａより奥側に出るときに物体が通過したサブ領域に応じた処理を実行する（ステップ２２）。ここでの処理は、２つ目も空中像＃２の形成や処理対象に対する処理の指示である。
一方、ステップ２１で否定結果が得られた場合、プロセッサ２１Ｂは、検知領域Ａの奥側から手前側に入るときに物体が通過したサブ領域に応じた処理を実行する（ステップ２３）。
図１５は、指先を検知領域Ａの手前側から検知領域Ａを通過させて検知領域Ａの奥側に移動させた後に、指先を奥側から検知領域Ａを再び通過させて手前側に戻すジェスチャーの例を説明する図である。（Ａ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以内に手前側に戻る場合に処理の指示に用いるサブ領域を示す。（Ｂ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以上経過した後に手前側に戻る場合に処理の指示に用いるサブ領域を示す。
一方、ステップ２１で否定結果が得られた場合、プロセッサ２１Ｂは、検知領域Ａの奥側から手前側に入るときに物体が通過したサブ領域に応じた処理を実行する（ステップ２３）。
図１５は、指先を検知領域Ａの手前側から検知領域Ａを通過させて検知領域Ａの奥側に移動させた後に、指先を奥側から検知領域Ａを再び通過させて手前側に戻すジェスチャーの例を説明する図である。（Ａ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以内に手前側に戻る場合に処理の指示に用いるサブ領域を示す。（Ｂ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以上経過した後に手前側に戻る場合に処理の指示に用いるサブ領域を示す。
【0042】
ここでのｔ秒は、ステップ２１（図１４参照）における予め定めた時間に相当する。
（Ａ１）はステップ２１で肯定結果が得られる場合に相当し、（Ｂ１）はステップ２１で否定結果が得られる場合に相当する。
（Ａ１）の場合も（Ｂ１）の場合も、指先は同じ経路を通過している。すなわち、最初に、検知領域Ａに配置されたサブ領域ＡＲ１を通過して奥側に移動し、手前側に戻るときは別のサブ領域ＡＲ２を通過している。
なお、この例は、物体がどのサブ領域を通過したかを検知可能な場合を前提とする。
（Ａ１）はステップ２１で肯定結果が得られる場合に相当し、（Ｂ１）はステップ２１で否定結果が得られる場合に相当する。
（Ａ１）の場合も（Ｂ１）の場合も、指先は同じ経路を通過している。すなわち、最初に、検知領域Ａに配置されたサブ領域ＡＲ１を通過して奥側に移動し、手前側に戻るときは別のサブ領域ＡＲ２を通過している。
なお、この例は、物体がどのサブ領域を通過したかを検知可能な場合を前提とする。
【0043】
（Ａ１）の場合のように、比較的短時間で指先が手前側に戻ってくる場合は、最初に通過したサブ領域ＡＲ１を、ユーザの意図した領域であるとみなして、サブ領域ＡＲ１に割り当てられている処理を実行する。サブ領域ＡＲ１は、第１のサブ領域の一例である。空中像＃１のうちサブ領域ＡＲ１が対応する位置には、図１２に示すボタンや図１３に示す選択肢等のオブジェクトが配置されている。
一方、（Ｂ１）の場合のように、指先が手前側に戻ってくるまでに比較的長時間を要する場合は、戻りの指先が通過するサブ領域ＡＲ２を、ユーザの意図した領域であるとみなして、サブ領域ＡＲ２に割り当てられている処理を実行する。サブ領域ＡＲ２は、第２のサブ領域の一例である。空中像＃１のうちサブ領域ＡＲ２が対応する位置にも、サブ領域ＡＲ１と同様、オブジェクトが配置されている。
なお、サブ領域ＡＲ１とサブ領域ＡＲ２のいずれを処理の指示に割り当てるかは、初期設定により定まる。もっとも、サブ領域ＡＲ１とサブ領域ＡＲ２に対する処理の指示の割り当ては、ユーザが設定可能としてもよい。
例えばステップ２１で肯定結果が得られた場合はステップ２３の処理を実行し、ステップ２１で否定結果が得られた場合はステップ２２の処理を実行する設定とすることも可能である。
一方、（Ｂ１）の場合のように、指先が手前側に戻ってくるまでに比較的長時間を要する場合は、戻りの指先が通過するサブ領域ＡＲ２を、ユーザの意図した領域であるとみなして、サブ領域ＡＲ２に割り当てられている処理を実行する。サブ領域ＡＲ２は、第２のサブ領域の一例である。空中像＃１のうちサブ領域ＡＲ２が対応する位置にも、サブ領域ＡＲ１と同様、オブジェクトが配置されている。
なお、サブ領域ＡＲ１とサブ領域ＡＲ２のいずれを処理の指示に割り当てるかは、初期設定により定まる。もっとも、サブ領域ＡＲ１とサブ領域ＡＲ２に対する処理の指示の割り当ては、ユーザが設定可能としてもよい。
例えばステップ２１で肯定結果が得られた場合はステップ２３の処理を実行し、ステップ２１で否定結果が得られた場合はステップ２２の処理を実行する設定とすることも可能である。
【0044】
＜変形例４＞
変形例３の場合には、指先を検知領域Ａの手前側から検知領域Ａを通過させて検知領域Ａの奥側に移動させた後に、指先を奥側から検知領域Ａを再び通過させて手前側に戻す場合に、指先が通過したサブ領域のうちのいずれか一方を処理の指示に用いているが、その両方を処理の指示に活用することも可能である。
図１６は、実施の形態３の変形例４の処理動作例を説明するフローチャートである。図１６には、図９との対応部分に対応する符号を付して示す。図１６では、図９に示すステップ２で肯定結果が得られた後に実行される処理動作が異なる。
図１６の場合も、プロセッサ２１Ｂ（図７参照）は、通り抜けの検知から予め定めた時間内に同じ物体が再び検知領域Ａを通って手前側に出たか否かを判定する（ステップ２１）。この例の場合も、検知領域Ａを通過した物体の検知だけでは、プロセッサ２１Ｂが実行する処理は確定しない。
変形例３の場合には、指先を検知領域Ａの手前側から検知領域Ａを通過させて検知領域Ａの奥側に移動させた後に、指先を奥側から検知領域Ａを再び通過させて手前側に戻す場合に、指先が通過したサブ領域のうちのいずれか一方を処理の指示に用いているが、その両方を処理の指示に活用することも可能である。
図１６は、実施の形態３の変形例４の処理動作例を説明するフローチャートである。図１６には、図９との対応部分に対応する符号を付して示す。図１６では、図９に示すステップ２で肯定結果が得られた後に実行される処理動作が異なる。
図１６の場合も、プロセッサ２１Ｂ（図７参照）は、通り抜けの検知から予め定めた時間内に同じ物体が再び検知領域Ａを通って手前側に出たか否かを判定する（ステップ２１）。この例の場合も、検知領域Ａを通過した物体の検知だけでは、プロセッサ２１Ｂが実行する処理は確定しない。
【0045】
ステップ２１で肯定結果が得られた場合、プロセッサ２１Ｂは、検知領域Ａの手前側から検知領域Ａを通過して奥側に出るときに物体が通過したサブ領域と、同じ物体が検知領域Ａの奥側から検知領域Ａを通過して手前側に入るときに物体が通過したサブ領域の組み合わせに応じた処理を実行する（ステップ３１）。ここでの処理は、空中像＃２の形成や処理対象である端末への指示である。
一方、ステップ２１で否定結果が得られた場合、プロセッサ２１Ｂは、事前の設定に基づきステップ２２又はステップ２３を実行する。
図１７は、指先を検知領域Ａの手前側から検知領域Ａを通過させて検知領域Ａの奥側に移動させた後に、指先を奥側から検知領域Ａを再び通過させて手前側に戻すジェスチャーの例を説明する図である。（Ａ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以内に手前側に戻る場合に処理の指示に用いるサブ領域を示し、（Ｂ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以上経過した後に手前側に戻る場合に処理の指示に用いるサブ領域を示す。
図１７の例では、（Ａ１）の場合に、サブ領域ＡＲ１とサブ領域ＡＲ２の両方が処理の指示に用いられる点で変形例３と異なっている。図１７の場合も、空中像＃１のうちサブ領域ＡＲ１が対応する位置とサブ領域ＡＲ２が対応する位置には、図１２に示すボタンや図１３に示す選択肢等のオブジェクトがそれぞれ配置されている。
一方、ステップ２１で否定結果が得られた場合、プロセッサ２１Ｂは、事前の設定に基づきステップ２２又はステップ２３を実行する。
図１７は、指先を検知領域Ａの手前側から検知領域Ａを通過させて検知領域Ａの奥側に移動させた後に、指先を奥側から検知領域Ａを再び通過させて手前側に戻すジェスチャーの例を説明する図である。（Ａ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以内に手前側に戻る場合に処理の指示に用いるサブ領域を示し、（Ｂ１）は指先が手前側から奥側に行くときに検知領域Ａを通過したタイミングからｔ秒以上経過した後に手前側に戻る場合に処理の指示に用いるサブ領域を示す。
図１７の例では、（Ａ１）の場合に、サブ領域ＡＲ１とサブ領域ＡＲ２の両方が処理の指示に用いられる点で変形例３と異なっている。図１７の場合も、空中像＃１のうちサブ領域ＡＲ１が対応する位置とサブ領域ＡＲ２が対応する位置には、図１２に示すボタンや図１３に示す選択肢等のオブジェクトがそれぞれ配置されている。
【0046】
＜変形例５＞
前述の変形例３及び４においては、検知領域Ａ内に予め複数のサブ領域が配置されている場合について説明したが、プロセッサ２１Ｂは、指先が手前側から検知領域Ａを通過したサブ領域の内容に応じて、空中像の内容を変更してもよい。例えば指先が検知領域Ａを手前側から奥側に通過する時点では図１２に示す空中像＃１が形成されているが、指先が検知領域Ａを奥側から手前側に通過する時点では図１３に示す空中像＃２ａの内容が検知領域Ａの位置に形成されていてもよい。この場合、空中像＃２ａは空中に形成されない。
前述の変形例３及び４においては、検知領域Ａ内に予め複数のサブ領域が配置されている場合について説明したが、プロセッサ２１Ｂは、指先が手前側から検知領域Ａを通過したサブ領域の内容に応じて、空中像の内容を変更してもよい。例えば指先が検知領域Ａを手前側から奥側に通過する時点では図１２に示す空中像＃１が形成されているが、指先が検知領域Ａを奥側から手前側に通過する時点では図１３に示す空中像＃２ａの内容が検知領域Ａの位置に形成されていてもよい。この場合、空中像＃２ａは空中に形成されない。
【0047】
＜実施の形態４＞
前述の実施の形態１～３では、第１の空中像が平面的な形状である場合を例示したが、本実施の形態では、第１の空中像が立体的な形状である場合について説明する。
図１８は、実施の形態４で使用する情報処理システム１Ｃの構成例を示す図である。図１８には、図１との対応部分に対応する符号を付して示している。
本実施の形態の場合、プロセッサ２１Ｃは、空中像形成装置１０による空中像＃１の形成や処理の指示の受け付けに用いられる。
前述の実施の形態１～３では、第１の空中像が平面的な形状である場合を例示したが、本実施の形態では、第１の空中像が立体的な形状である場合について説明する。
図１８は、実施の形態４で使用する情報処理システム１Ｃの構成例を示す図である。図１８には、図１との対応部分に対応する符号を付して示している。
本実施の形態の場合、プロセッサ２１Ｃは、空中像形成装置１０による空中像＃１の形成や処理の指示の受け付けに用いられる。
【0048】
図１８に示す空中像形成装置１０は、第１の空中像として、立体的な空中像（以下「空中立体像」という）を空中に形成する。図１８では、６つの面によって外郭が定められた立方体が空中に形成されているが、空中立体像は立方体に限られない。他の多面体でもよいし、より複雑な形状であってもよい。また、曲面を含む立体であってもよい。
図１８においては、６つの面のうちユーザから見て最も近い側にある正面の面を第１の面（面＃１）と呼び、その他の面と区別する。図１８の場合、ユーザは紙面の左側に位置している。しかし、正面の面以外の面を第１の面としてもよい。
図１８の立方体では、「ＡＡＡ」というテキストを有する面が第１の面である。この立方体は、第１の面と、「ＢＢＢ」というテキストを有する面（天井側）と、「ＣＣＣ」というテキストを有する面（ユーザから見て右側の面）と、図では隠れている残りの３つの面によって外郭が定められた立体である。図１８では、「ＢＢＢ」というテキストを有する面を第２の面ａと呼び、面＃２ａと表記する。また、「ＣＣＣ」というテキストを有する面を第２の面ｂと呼び、面＃２ｂと表記する。
図１８においては、６つの面のうちユーザから見て最も近い側にある正面の面を第１の面（面＃１）と呼び、その他の面と区別する。図１８の場合、ユーザは紙面の左側に位置している。しかし、正面の面以外の面を第１の面としてもよい。
図１８の立方体では、「ＡＡＡ」というテキストを有する面が第１の面である。この立方体は、第１の面と、「ＢＢＢ」というテキストを有する面（天井側）と、「ＣＣＣ」というテキストを有する面（ユーザから見て右側の面）と、図では隠れている残りの３つの面によって外郭が定められた立体である。図１８では、「ＢＢＢ」というテキストを有する面を第２の面ａと呼び、面＃２ａと表記する。また、「ＣＣＣ」というテキストを有する面を第２の面ｂと呼び、面＃２ｂと表記する。
【0049】
図１８では、センサ３０を１つだけ表しているが、図面の簡略化のためである。実際のセンサ３０は、必要な数だけ配置される。センサ３０として赤外線センサを用いる場合、各面に対して少なくとも２つのセンサ３０を配置する。もっとも、センサ３０が配置される面は、処理の指示の受付に使用される面に限ることが可能である。
図１８の場合、センサ３０は、ユーザに正対する正面側の面と、天井側の面と、左側の面の３つに設けられている。
図１８の場合、センサ３０は、ユーザに正対する正面側の面と、天井側の面と、左側の面の３つに設けられている。
【0050】
図１９は、図１８の空中立体像の各面と検知領域との位置関係を説明する図である。（Ａ）は空中立体像の各面に提示されている情報を示し、（Ｂ）はユーザから見て右側の面から空中立体像を見る場合における検知領域の設定例を示し、（Ｃ）はユーザが空中立体像の正面を見る場合における検知領域の設定例を示す。
本実施の形態では、第１の面が表示されている領域とその前後数ミリを、第１の面に対応する検知領域Ａとし、検知領域Ａとユーザの間の空間を第１の空間と呼ぶ。検知領域Ａは、前述の実施の形態と同じく、第１の領域の一例である。また、検知領域Ａは面であってもよく、例えば、第１の面と実質的に同じであってもよい。
本実施の形態では、第１の面が表示されている領域とその前後数ミリを、第１の面に対応する検知領域Ａとし、検知領域Ａとユーザの間の空間を第１の空間と呼ぶ。検知領域Ａは、前述の実施の形態と同じく、第１の領域の一例である。また、検知領域Ａは面であってもよく、例えば、第１の面と実質的に同じであってもよい。
【0051】
なお、図１９では、紙面上で「文書Ａ」、「自分にメール」、「印刷」というテキストが付された３つの面に対応して設定される検知領域を表しているが、他の３つの面のそれぞれにも検知領域を設定してもよい。各面に検知領域が設定されることで、空中立体像のどの面から指先が入っても、また、各面で囲まれた空間から指先が出ても、指先の動きを検知することが可能である。
また、空中に形成される空中立体像の形状や大きさが変化した場合には、変化後の空中立体像の形状に応じて検知領域の位置が再設定されることが望ましい。なお、空中立体像に対するユーザのジェスチャー等により空中立体像が回転する等して、ユーザに最も近い位置に現れるオブジェクトの内容が変化する場合には、変化後のオブジェクトに対する処理の割り当てに応じて検知領域の配置が変更される。
また、図１９では、ユーザから見て検知領域Ａよりも奥側の空間を第２の空間と呼ぶ。
また、図１９では、天井側の面に対応する検知領域Ｅと、ユーザから見て右側の面に対応する検知領域Ｆも設けられている。検知領域Ｅと検知領域Ｆは、いずれも第２の領域の一例である。
また、空中に形成される空中立体像の形状や大きさが変化した場合には、変化後の空中立体像の形状に応じて検知領域の位置が再設定されることが望ましい。なお、空中立体像に対するユーザのジェスチャー等により空中立体像が回転する等して、ユーザに最も近い位置に現れるオブジェクトの内容が変化する場合には、変化後のオブジェクトに対する処理の割り当てに応じて検知領域の配置が変更される。
また、図１９では、ユーザから見て検知領域Ａよりも奥側の空間を第２の空間と呼ぶ。
また、図１９では、天井側の面に対応する検知領域Ｅと、ユーザから見て右側の面に対応する検知領域Ｆも設けられている。検知領域Ｅと検知領域Ｆは、いずれも第２の領域の一例である。
【0052】
図２０は、実施の形態４で使用するプロセッサ２１Ｃ（図１８参照）の処理動作例を説明するフローチャートである。図２０には、図４との対応部分に対応する符号を付して示す。
本実施の形態におけるプロセッサ２１Ｃも、ステップ２までの処理は、実施の形態１と同じである。すなわち、手前側の空間から検知領域Ａに入った物体が検知された場合、検知された物体がそのまま検知領域Ａにあるか検知領域Ａを通り抜けて奥側の空間に入ったかが判定される。
ステップ２で否定結果が得られた場合、プロセッサ２１Ｃは、実施の形態１と同じくステップ４を実行する。
本実施の形態におけるプロセッサ２１Ｃも、ステップ２までの処理は、実施の形態１と同じである。すなわち、手前側の空間から検知領域Ａに入った物体が検知された場合、検知された物体がそのまま検知領域Ａにあるか検知領域Ａを通り抜けて奥側の空間に入ったかが判定される。
ステップ２で否定結果が得られた場合、プロセッサ２１Ｃは、実施の形態１と同じくステップ４を実行する。
【0053】
ステップ２で肯定結果が得られた場合、プロセッサ２１Ｃは、物体が別の検知領域を更に通り抜けたか否かを判定する（ステップ４１）。本実施の形態の場合、別の検知領域とは、検知領域Ｅ又は検知領域Ｆ（図１９参照）のことである。
ステップ４１で否定結果が得られた場合、プロセッサ２１Ｃは、実施の形態１と同じくステップ３を実行する。
ステップ４１で肯定結果が得られた場合、プロセッサ２１Ｃは、物体が通り抜けた面に形成されている像の内容の組み合わせ順に応じた処理を実行する（ステップ４２）。
ステップ４１で否定結果が得られた場合、プロセッサ２１Ｃは、実施の形態１と同じくステップ３を実行する。
ステップ４１で肯定結果が得られた場合、プロセッサ２１Ｃは、物体が通り抜けた面に形成されている像の内容の組み合わせ順に応じた処理を実行する（ステップ４２）。
【0054】
図２１は、実施の形態４における処理の指示の具体例を説明する図である。この例と次の図２２の例では、指先が入った２つの検知領域に応じて指示する処理が定められる。より具体的には、２つの検知領域のうちの一方によって処理対象が定められ、他方によって処理内容が定められる。図２１と図２２の例では、指先が最初に通った検知領域によって処理対象が定められ、その後に通った検知領域で処理内容が定められるが、指先が最初に通った検知領域によって処理内容を定め、その後に通った検知領域で処理対象を定めてもよい。
図２１に示す空中立体像の正面側の面に対応する検知領域Ａには文書Ａという処理対象が割り当てられており、天井側の面に対応する検知領域Ｅには自分にメールするという処理内容が割り当てられており、ユーザから見て右側の面に対応する検知領域Ｆには印刷という処理内容が割り当てられている。また、空中像の各面には、それぞれが対応する検知領域に割り当てられている処理対象や処理内容を表す「文書Ａ」、「自分にメール」、「印刷」というテキストが提示されている。なお、テキストの代わりにアイコンやプレビューなどを用いて処理対象や処理内容が示されてもよい。
図２１に示す空中立体像の正面側の面に対応する検知領域Ａには文書Ａという処理対象が割り当てられており、天井側の面に対応する検知領域Ｅには自分にメールするという処理内容が割り当てられており、ユーザから見て右側の面に対応する検知領域Ｆには印刷という処理内容が割り当てられている。また、空中像の各面には、それぞれが対応する検知領域に割り当てられている処理対象や処理内容を表す「文書Ａ」、「自分にメール」、「印刷」というテキストが提示されている。なお、テキストの代わりにアイコンやプレビューなどを用いて処理対象や処理内容が示されてもよい。
【0055】
図２１の場合、指先は、文書Ａに対応する検知領域Ａを通過した後、進行方向を上方の向きに変え、自分にメールする処理に対応する面に対応する検知領域Ｅを通過して空中立体像の外に出ている。
この例の場合、プロセッサ２１Ｃは、文書Ａをユーザ自身に宛ててメールする。なお、プロセッサ２１は、既知の認証技術等を使用してユーザを事前に認証している。
ユーザが文書Ａ以外の文書を処理対象として選択したいときのために、例えば、「文書Ａ」を示している第１の面に沿って指をスライドさせることによって、処理対象を他の文書に切り替えられるようにしてもよい。なお、検知領域に割り当てられている処理内容や処理対象をユーザに示すために、処理内容や処理対象が切り替えられた場合には、空中立体像の面に提示されている情報（ここでは「文書Ａ」や「印刷」などのテキスト）も更新するとよい。例えば、第１の面が「文書Ｂ」を示している状態で検知領域Ａを通過した後に検知領域Ｅを通過した場合、文書Ｂがユーザにメールされる。なお、処理内容も同様にして切り替え可能にしてもよい。
この例の場合、プロセッサ２１Ｃは、文書Ａをユーザ自身に宛ててメールする。なお、プロセッサ２１は、既知の認証技術等を使用してユーザを事前に認証している。
ユーザが文書Ａ以外の文書を処理対象として選択したいときのために、例えば、「文書Ａ」を示している第１の面に沿って指をスライドさせることによって、処理対象を他の文書に切り替えられるようにしてもよい。なお、検知領域に割り当てられている処理内容や処理対象をユーザに示すために、処理内容や処理対象が切り替えられた場合には、空中立体像の面に提示されている情報（ここでは「文書Ａ」や「印刷」などのテキスト）も更新するとよい。例えば、第１の面が「文書Ｂ」を示している状態で検知領域Ａを通過した後に検知領域Ｅを通過した場合、文書Ｂがユーザにメールされる。なお、処理内容も同様にして切り替え可能にしてもよい。
【0056】
図２２は、実施の形態４における処理の指示の他の具体例を説明する図である。図２２には、図２１との対応部分に対応する符号を付して示している。
図２２の場合、指先は、文書Ａに対応する検知領域Ａを通貨して検知領域Ａの奥側に移動した後、右方向に向きを変え、印刷に対応する検知領域Ｆを通過して空中立体像の外に出ている。
この例の場合、プロセッサ２１Ｃは、文書Ａの印刷を予め定められた印刷装置に指示する。
図２２の場合、指先は、文書Ａに対応する検知領域Ａを通貨して検知領域Ａの奥側に移動した後、右方向に向きを変え、印刷に対応する検知領域Ｆを通過して空中立体像の外に出ている。
この例の場合、プロセッサ２１Ｃは、文書Ａの印刷を予め定められた印刷装置に指示する。
【0057】
＜変形例１＞
図２０に示すフローチャートの場合には、ステップ４１において、物体が通過した領域内の位置を区別していないが、通過した領域内の位置を区別することにより、指示が可能な組み合わせの増加が期待される。
図２３は、実施の形態４における処理の指示の他の具体例を説明する図である。図２３には、図２１との対応部分に対応する符号を付して示している。
図２３では、処理対象であるファイルが既に選択された状態を示している。ファイルの選択は、空中でのジェスチャーによって行われてもよいし、不図示のタッチパネル上での操作やマウスやトラックパッドの操作等によって行ってもよい。
図２３に示す例では、説明の簡易化のため、空中立体像の面が検知領域と同一であるものとするが、これまでの実施例のように、検知領域に厚みをもたせてもよい。
図２０に示すフローチャートの場合には、ステップ４１において、物体が通過した領域内の位置を区別していないが、通過した領域内の位置を区別することにより、指示が可能な組み合わせの増加が期待される。
図２３は、実施の形態４における処理の指示の他の具体例を説明する図である。図２３には、図２１との対応部分に対応する符号を付して示している。
図２３では、処理対象であるファイルが既に選択された状態を示している。ファイルの選択は、空中でのジェスチャーによって行われてもよいし、不図示のタッチパネル上での操作やマウスやトラックパッドの操作等によって行ってもよい。
図２３に示す例では、説明の簡易化のため、空中立体像の面が検知領域と同一であるものとするが、これまでの実施例のように、検知領域に厚みをもたせてもよい。
【0058】
図２３に示す空中立体像では、正面側の面にＰＤＦファイルを作成する機能が割り当てられており、天井側の面にはメールを送信する機能が割り当てられており、ユーザから見て右側の面には記憶領域を選択する機能が割り当てられている。
図２３の場合、天井側の面と右側の面はそれぞれ４つのサブ領域に分割されている。天井側の面の４つのサブ領域には、メールの送信先の選択肢として、Ａさん、Ｂさん、Ｃさん、Ｄさんの名前が割り振られている。また、右側の面の４つのサブ領域には、記憶領域の選択肢としてＰＣ１、ＰＣ２、スマートフォン、タブレットが割り振られている。
図２３の場合、天井側の面と右側の面はそれぞれ４つのサブ領域に分割されている。天井側の面の４つのサブ領域には、メールの送信先の選択肢として、Ａさん、Ｂさん、Ｃさん、Ｄさんの名前が割り振られている。また、右側の面の４つのサブ領域には、記憶領域の選択肢としてＰＣ１、ＰＣ２、スマートフォン、タブレットが割り振られている。
【0059】
図２３の場合、指先は、空中立体像の正面側の面を通過した後、進行方向を上方に変え、天井側の面のＡさんに対応するサブ領域を通過して外の空間に出ている。
この例の場合、プロセッサ２１Ｃは、選択済みのファイルからＰＤＦファイルを作成し、作成されたＰＤＦファイルをＡさんに宛ててメールする。
図２４は、実施の形態４における処理の指示の他の具体例を説明する図である。図２４には、図２３との対応部分に対応する符号を付して示している。図２４に示す例でも、説明の簡易化のため、空中像の面が検知領域と同一であるものとする。
図２４の場合、指先は、空中立体像の正面を通過した後、右方向に向きを変え、右側の面のＰＣ１に対応するサブ領域を通過して外の空間に出ている。
この例の場合、プロセッサ２１Ｃは、選択済みのファイルからＰＤＦファイルを作成し、作成されたＰＤＦファイルをＰＣ１に記憶する。
図２３と図２４の例では、指先が最初に通った検知領域によって定められた処理を行った結果物に対して、指先が２つ目に通った検知領域によって定められた処理を行うという、一連の処理を指示していることになる。
なお、図２３及び図２４の例では、指先が各面の領域を通過しているが、空中像として空中に形成されている文書のアイコン等を空中で掴むことによって該文書の選択が可能な場合、文書のアイコン等を掴んだ状態で各面を通過させることも可能である。
なお、前述の説明では、指先が最初に通過する正面に複数のサブ領域が設定されていない例を説明したが、指先が最初に通過する正面に複数のサブ領域が設定されていてもよい。
この例の場合、プロセッサ２１Ｃは、選択済みのファイルからＰＤＦファイルを作成し、作成されたＰＤＦファイルをＡさんに宛ててメールする。
図２４は、実施の形態４における処理の指示の他の具体例を説明する図である。図２４には、図２３との対応部分に対応する符号を付して示している。図２４に示す例でも、説明の簡易化のため、空中像の面が検知領域と同一であるものとする。
図２４の場合、指先は、空中立体像の正面を通過した後、右方向に向きを変え、右側の面のＰＣ１に対応するサブ領域を通過して外の空間に出ている。
この例の場合、プロセッサ２１Ｃは、選択済みのファイルからＰＤＦファイルを作成し、作成されたＰＤＦファイルをＰＣ１に記憶する。
図２３と図２４の例では、指先が最初に通った検知領域によって定められた処理を行った結果物に対して、指先が２つ目に通った検知領域によって定められた処理を行うという、一連の処理を指示していることになる。
なお、図２３及び図２４の例では、指先が各面の領域を通過しているが、空中像として空中に形成されている文書のアイコン等を空中で掴むことによって該文書の選択が可能な場合、文書のアイコン等を掴んだ状態で各面を通過させることも可能である。
なお、前述の説明では、指先が最初に通過する正面に複数のサブ領域が設定されていない例を説明したが、指先が最初に通過する正面に複数のサブ領域が設定されていてもよい。
【0060】
また、ユーザがＰＤＦファイルを作成する以外の処理を一連の処理の１つ目の処理内容として選択したいときのために、例えば、「ＰＤＦファイルの作成」というテキストを有する第１の面に沿って指をスライドさせることによって、第１の面に割り当てられている処理内容を、他の処理内容に切り替えられるようにしてもよい。
さらに、切り替え後の処理内容に応じて、他の面に対応する検知領域に割り当てられている処理内容を変更してもよい。例えば、第１の面に対応する検知領域に割り当てられている処理がＰＤＦファイルを作成する処理からＤｒоｐｂоｘにアップロードする処理に切り替えられた場合、他の面に対応する検知領域に割り当てられている処理内容は、例えば、アップロード先のリンクをメールする処理などに切り替える。
なお、検知領域に割り当てられている処理内容をユーザに示すために、処理内容が切り替えられた場合には、空中立体像の面に提示されている情報（図２３と図２４では「ＰＤＦファイルの作成」や「ＰＣ１」、「ＰＣ２」など）も更新するとよい。
さらに、切り替え後の処理内容に応じて、他の面に対応する検知領域に割り当てられている処理内容を変更してもよい。例えば、第１の面に対応する検知領域に割り当てられている処理がＰＤＦファイルを作成する処理からＤｒоｐｂоｘにアップロードする処理に切り替えられた場合、他の面に対応する検知領域に割り当てられている処理内容は、例えば、アップロード先のリンクをメールする処理などに切り替える。
なお、検知領域に割り当てられている処理内容をユーザに示すために、処理内容が切り替えられた場合には、空中立体像の面に提示されている情報（図２３と図２４では「ＰＤＦファイルの作成」や「ＰＣ１」、「ＰＣ２」など）も更新するとよい。
【0061】
＜変形例２＞
前述した変形例１の場合には、事前に処理の対象であるファイルの選択が済んでいる場合について説明したが、ファイルの選択は、正面の面のサブ領域のいずれかを指先が通過した後に、空中立体像の内側で行ってもよい。
図２５は、実施の形態４における処理の指示の他の具体例を説明する図である。図２５には、図２４との対応部分に対応する符号を付して示している。図２５に示す例でも、説明の簡易化のため、空中像の面が検知領域と同一であるものとする。
図２５に示す空中立体像の場合、正面側の面には記憶領域にアクセスする機能が割り当てられており、天井側の面にはメールを送信する機能が割り当てられている。
前述した変形例１の場合には、事前に処理の対象であるファイルの選択が済んでいる場合について説明したが、ファイルの選択は、正面の面のサブ領域のいずれかを指先が通過した後に、空中立体像の内側で行ってもよい。
図２５は、実施の形態４における処理の指示の他の具体例を説明する図である。図２５には、図２４との対応部分に対応する符号を付して示している。図２５に示す例でも、説明の簡易化のため、空中像の面が検知領域と同一であるものとする。
図２５に示す空中立体像の場合、正面側の面には記憶領域にアクセスする機能が割り当てられており、天井側の面にはメールを送信する機能が割り当てられている。
【0062】
図２５の場合、正面側の面と天井側の面はそれぞれ４つのサブ領域に分割されている。正面側の面の４つのサブ領域には、ＰＣ１、ＰＣ２、スマートフォン、タブレットが割り振られている。また、天井側の面の４つのサブ領域には、Ａさん、Ｂさん、Ｃさん、Ｄさんの名前が割り振られている。
図２５の場合、指先は、空中立体像の正面に設けられた４つのサブ領域のうちＰＣ１を通過している。この例の場合、指先がＰＣ１を通過したことに応じて、ＰＣ１の記憶領域に記憶されているフォルダやファイルをアイコンで階層的に示すパネルが空中像＃２として空中立体像の内側に形成される。この空中像＃２の形成には、実施の形態２のステップ１１（図９参照）の技術を使用する。
図２５の場合、指先は、空中立体像の正面に設けられた４つのサブ領域のうちＰＣ１を通過している。この例の場合、指先がＰＣ１を通過したことに応じて、ＰＣ１の記憶領域に記憶されているフォルダやファイルをアイコンで階層的に示すパネルが空中像＃２として空中立体像の内側に形成される。この空中像＃２の形成には、実施の形態２のステップ１１（図９参照）の技術を使用する。
【0063】
図２６は、空中立体像の内側に空中像＃２が新たに形成された状態を示す図である。図２６においては、空中像＃２の視認性を高めるために、指先が最初に通過した空中像＃１の正面側の面を通過する前に表示されていた空中像上に提示されていた情報（ここでは「ＰＣ１」、「ＰＣ２」、「スマートフォン」、「タブレット」などのテキスト）や仕切り線は消えている。
図２６に示す空中像＃２では、ＰＣ１内にある店舗フォルダ、渋谷フォルダ、池袋フォルダ、新宿フォルダの４つのフォルダが提示されている。また、池袋フォルダには、２つのサブフォルダと、確定経費ファイルと、売上ファイルが含まれていることがわかる。
図２６の例では、売上ファイルが選択された状態を太枠で囲んで表している。ファイルの選択は、空中でのジェスチャー（例えば、売上ファイルが表示されている領域を指先が通過するように動かす）によって行われてもよいし、不図示のタッチパネル上での操作やマウスやトラックパッドの操作等によって行ってもよい。
図２６に示す空中像＃２では、ＰＣ１内にある店舗フォルダ、渋谷フォルダ、池袋フォルダ、新宿フォルダの４つのフォルダが提示されている。また、池袋フォルダには、２つのサブフォルダと、確定経費ファイルと、売上ファイルが含まれていることがわかる。
図２６の例では、売上ファイルが選択された状態を太枠で囲んで表している。ファイルの選択は、空中でのジェスチャー（例えば、売上ファイルが表示されている領域を指先が通過するように動かす）によって行われてもよいし、不図示のタッチパネル上での操作やマウスやトラックパッドの操作等によって行ってもよい。
【0064】
図２７は、ファイルの選択が終わった後の指先の動きを説明する図である。図２７には、図２６との対応部分に対応する符号を付して示している。
図２７の場合、指先は、Ｂさんに対応するサブ領域を通過して空中立体像の外に移動している。
このジェスチャーにより、プロセッサ２１Ｃは、ＰＣ１に記憶されている池袋フォルダ内の売上ファイルをＢさんに宛ててメールする。
図２７の例では、メール送信するファイルの選択後に空中立体像の内側に形成されていたフォルダやファイルを表す空中像＃２が消えているが、フォルダやファイルを表す空中像＃２の形成を維持してもよい。また例えばファイルの選択後は、正面の面に記憶領域を表す空中像＃１を再び形成してもよい。
図２７の場合、指先は、Ｂさんに対応するサブ領域を通過して空中立体像の外に移動している。
このジェスチャーにより、プロセッサ２１Ｃは、ＰＣ１に記憶されている池袋フォルダ内の売上ファイルをＢさんに宛ててメールする。
図２７の例では、メール送信するファイルの選択後に空中立体像の内側に形成されていたフォルダやファイルを表す空中像＃２が消えているが、フォルダやファイルを表す空中像＃２の形成を維持してもよい。また例えばファイルの選択後は、正面の面に記憶領域を表す空中像＃１を再び形成してもよい。
【0065】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0066】
例えば前述の実施の形態２では、空中像の選択や空中像におけるサブ領域の選択を音響放射圧でユーザに通知しているが、空中像の形態を変化させて通知してもよい。
図２８は、選択の受付に伴う空中立体像の形態の変化を説明する図である。図２８の場合、指先が空中立体像から外に出ることを条件として色が変化している。この例は、第１の領域からの出に応じて空中立体像の形態が変化する例である。なお、形態の変化は色に限らず、形状の変化でもよい。勿論、形態の変化は平面上の空中像の場合にも適用が可能である。
図２９は、選択の受付に伴う空中像の形態の他の変化を説明する図である。図２９の場合、指先が空中立体像の表面を奥側に通過することを条件として色が変化している。この例は、第１の領域への入りに応じて空中立体像の形態が変化する例である。
なお、図２８及び２９に示す形態の変化は、第２の領域への入り又は第２の領域からの出の検知への応用も可能である。
図２８は、選択の受付に伴う空中立体像の形態の変化を説明する図である。図２８の場合、指先が空中立体像から外に出ることを条件として色が変化している。この例は、第１の領域からの出に応じて空中立体像の形態が変化する例である。なお、形態の変化は色に限らず、形状の変化でもよい。勿論、形態の変化は平面上の空中像の場合にも適用が可能である。
図２９は、選択の受付に伴う空中像の形態の他の変化を説明する図である。図２９の場合、指先が空中立体像の表面を奥側に通過することを条件として色が変化している。この例は、第１の領域への入りに応じて空中立体像の形態が変化する例である。
なお、図２８及び２９に示す形態の変化は、第２の領域への入り又は第２の領域からの出の検知への応用も可能である。
【0067】
前述の実施の形態の場合には、センサ３０に対応する検知領域の手前側の空間から検知領域に入った指先などの物体が検知領域にあるか検知領域を通り抜けて検知領域の奥側の空間に入ったかに基づいて、物体と空中像の位置との関係又は物体とサブ領域の位置との関係を検知しているが、検知対象である物体から発せられる電波等を受信することにより、空中像に対する物体の位置を検知してもよい。
図３０は、ブルートゥース信号を発信する指輪５０の位置を検知する位置検知装置６０を有する情報処理システム１Ｄを説明する図である。図３０における位置検知装置６０は、三角測量の原理でブルートゥース信号を発信する指輪５０を検知する。プロセッサ２１Ｄは、位置検知装置６０で検知された指輪５０の位置情報を用いてユーザが行ったジェスチャーが「タッチ」なのか「ディープタッチ」なのかを判別し、その判別結果に応じた処理を実行してもよい。
図３０は、ブルートゥース信号を発信する指輪５０の位置を検知する位置検知装置６０を有する情報処理システム１Ｄを説明する図である。図３０における位置検知装置６０は、三角測量の原理でブルートゥース信号を発信する指輪５０を検知する。プロセッサ２１Ｄは、位置検知装置６０で検知された指輪５０の位置情報を用いてユーザが行ったジェスチャーが「タッチ」なのか「ディープタッチ」なのかを判別し、その判別結果に応じた処理を実行してもよい。
【0068】
なお、前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ（＝Central Processing Unit）等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
【符号の説明】
【0069】
１、１Ａ、１Ｂ、１Ｃ、１Ｄ…情報処理システム、２０…制御装置、２１、２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ…プロセッサ、３０、３０Ａ、３０Ｂ、３０Ｃ、３０Ｄ…センサ、４０…超音波触覚インタフェース装置、５０…指輪、６０…位置検知装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
