▶ パナソニックオートモーティブシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024066194
(43)【公開日】2024-05-15
(54)【発明の名称】制御装置および制御方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240508BHJP
G06F 3/0346 20130101ALI20240508BHJP
【ＦＩ】
G06F3/01 570
G06F3/0346 422
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022175603
(22)【出願日】2022-11-01
(71)【出願人】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】100123102
【弁理士】
【氏名又は名称】宗田 悟志
(72)【発明者】
【氏名】平井 敦士
【テーマコード（参考）】
5B087
5E555
【Ｆターム（参考）】
5B087AA09
5B087AB09
5B087CC33
5B087DD03
5E555AA10
5E555BA02
5E555BB02
5E555BC04
5E555CA12
5E555CA41
5E555CA42
5E555CB14
5E555CB66
5E555CC01
5E555CC03
5E555FA00
(57)【要約】
【課題】制御装置において、更なる改善を実現する技術を提供する。
【解決手段】座標取得部２６は、検知対象物の時系列の空間座標を取得する。空間座標は、第１方向の座標、第１方向に交差する第２方向の座標、および第１方向と第２方向とに交差する第３方向の座標を含む。機能実行部３４は、第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、第１時刻から第２時刻までの１以上の時刻における、第２方向の座標と、第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行する。
【選択図】図１
【解決手段】座標取得部２６は、検知対象物の時系列の空間座標を取得する。空間座標は、第１方向の座標、第１方向に交差する第２方向の座標、および第１方向と第２方向とに交差する第３方向の座標を含む。機能実行部３４は、第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、第１時刻から第２時刻までの１以上の時刻における、第２方向の座標と、第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
検知対象物の時系列の空間座標を取得する座標取得部であって、前記空間座標は、第１方向の座標、前記第１方向に交差する第２方向の座標、および前記第１方向と前記第２方向とに交差する第３方向の座標を含む、座標取得部と、
前記第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、前記第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行する機能実行部と、
を備える制御装置。
前記第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、前記第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行する機能実行部と、
を備える制御装置。
【請求項2】
前記空間座標に基づき、前記検知対象物の前記第１方向の速度を算出する算出部であって、前記検知対象物の前記第１方向の座標が小さくなるときの前記速度は負方向の速度である、算出部と、
前記速度が負方向の速度であり、かつ前記速度の絶対値が、所定値である第１速度閾値以上であるという前記第１条件が満たされるかを判定し、前記速度が正方向の速度であるという前記第２条件が満たされるかを判定する判定部と、
をさらに備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項１に記載の制御装置。
前記速度が負方向の速度であり、かつ前記速度の絶対値が、所定値である第１速度閾値以上であるという前記第１条件が満たされるかを判定し、前記速度が正方向の速度であるという前記第２条件が満たされるかを判定する判定部と、
をさらに備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項１に記載の制御装置。
【請求項3】
前記判定部は、前記速度が０または正方向の速度であるという前記第２条件が満たされるかを判定する、
請求項２に記載の制御装置。
請求項２に記載の制御装置。
【請求項4】
前記判定部は、前記速度が、正方向の速度であり、かつ所定値である第２速度閾値以上であるという前記第２条件が満たされるかを判定する、
請求項２に記載の制御装置。
請求項２に記載の制御装置。
【請求項5】
前記空間座標に基づき、前記検知対象物の前記第１方向の速度を算出する算出部であって、前記検知対象物の前記第１方向の座標が小さくなるときの前記速度は負方向の速度である、算出部と、
前記速度が負方向の速度であり、かつ前記速度の絶対値が、所定値である第１速度閾値以上であるという前記第１条件が満たされるかを判定し、前記速度が負方向の速度であり、かつ前記速度の絶対値が、前記第１速度閾値よりも小さい、所定値である第２速度閾値以下であるという前記第２条件が満たされるかを判定する判定部と、
をさらに備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項１に記載の制御装置。
前記速度が負方向の速度であり、かつ前記速度の絶対値が、所定値である第１速度閾値以上であるという前記第１条件が満たされるかを判定し、前記速度が負方向の速度であり、かつ前記速度の絶対値が、前記第１速度閾値よりも小さい、所定値である第２速度閾値以下であるという前記第２条件が満たされるかを判定する判定部と、
をさらに備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項１に記載の制御装置。
【請求項6】
前記電子機器はディスプレイであり、
前記第１方向は、前記ディスプレイの表示面の法線方向である、
請求項２から５のいずれか一項に記載の制御装置。
前記第１方向は、前記ディスプレイの表示面の法線方向である、
請求項２から５のいずれか一項に記載の制御装置。
【請求項7】
前記算出部は、前記空間座標に基づき、前記第２方向における前記検知対象物の所定時間当たりの移動量である第１移動量を定期的に算出し、
前記判定部は、前記第１移動量が、所定値である第１移動量閾値以下であるという第３条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件と前記第３条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項２から５のいずれか一項に記載の制御装置。
前記判定部は、前記第１移動量が、所定値である第１移動量閾値以下であるという第３条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件と前記第３条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項２から５のいずれか一項に記載の制御装置。
【請求項8】
前記算出部は、前記空間座標に基づき、前記第３方向における前記検知対象物の所定時間当たりの移動量である第２移動量を定期的に算出し、
前記判定部は、前記第２移動量が、所定値である第２移動量閾値以下であるという第４条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件と前記第３条件と前記第４条件とが満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項７に記載の制御装置。
前記判定部は、前記第２移動量が、所定値である第２移動量閾値以下であるという第４条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件と前記第３条件と前記第４条件とが満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項７に記載の制御装置。
【請求項9】
前記空間座標に基づき、前記第１時刻から前記第２時刻までの間のうち所定期間における、前記第２方向の座標を平均化した第１平均座標と、前記第３方向の座標を平均化した第２平均座標と、を算出する平均化部を備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１平均座標と、前記第２平均座標と、に基づいて、前記電子機器に対する処理を実行する、
請求項２から５のいずれか一項に記載の制御装置。
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１平均座標と、前記第２平均座標と、に基づいて、前記電子機器に対する処理を実行する、
請求項２から５のいずれか一項に記載の制御装置。
【請求項10】
前記算出部は、前記空間座標に基づき、前記第１時刻から前記第２時刻までの前記第１方向における前記検知対象物の移動量の合計である合計移動量を算出し、
前記判定部は、前記合計移動量が、所定値である合計移動量閾値以上であるという移動量条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、前記第２時刻で前記第２条件が満たされ、かつ前記移動量条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項２から５のいずれか一項に記載の制御装置。
前記判定部は、前記合計移動量が、所定値である合計移動量閾値以上であるという移動量条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、前記第２時刻で前記第２条件が満たされ、かつ前記移動量条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
請求項２から５のいずれか一項に記載の制御装置。
【請求項11】
検知対象物の時系列の空間座標を取得するステップであって、前記空間座標は、第１方向の座標、前記第１方向に交差する第２方向の座標、および前記第１方向と前記第２方向とに交差する第３方向の座標を含む、ステップと、
前記第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、前記第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行するステップと、
を備える制御方法。
前記第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、前記第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行するステップと、
を備える制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制御装置および制御方法に関する。
【背景技術】
【0002】
ジェスチャーによりユーザが指示を入力する情報処理装置が知られている（たとえば特許文献１参照）。この情報処理装置では、座標算出手段は、検知対象となる物体の少なくとも１箇所の座標を算出する。制御手段は、所定の順番が規定された複数の項目のうち少なくとも１つの項目が選択対象であることを表示手段に表示させ、座標の変化に基づいて、選択対象の項目を所定の順番に従って変更する。制御手段は、座標の変化が所定の条件を満たすと、選択対象の項目に応じた処理を実行する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－２１３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザによる操作入力を受け付ける制御装置において、更なる改善が求められている。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本開示のある態様の制御装置は、検知対象物の時系列の空間座標を取得する座標取得部であって、空間座標は、第１方向の座標、第１方向に交差する第２方向の座標、および第１方向と第２方向とに交差する第３方向の座標を含む、座標取得部と、第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、第１時刻から第２時刻までの１以上の時刻における、第２方向の座標と、第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行する機能実行部と、を備える。
【0006】
本開示の別の態様は、制御方法である。この方法は、検知対象物の時系列の空間座標を取得するステップであって、空間座標は、第１方向の座標、第１方向に交差する第２方向の座標、および第１方向と第２方向とに交差する第３方向の座標を含む、ステップと、第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、第１時刻から第２時刻までの１以上の時刻における、第２方向の座標と、第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行するステップと、を備える。
【発明の効果】
【0007】
上記の態様により、更なる改善を実現できる。
【図面の簡単な説明】
【0008】
【図1】第１の実施の形態の情報処理システムのブロック図である。
【図2】空中押し込み動作を説明するための斜視図である。
【図3】空中押し込み動作時の指先の位置と時間の関係の一例を示す図である。
【図6】別の第２条件を用いた、空中押し込み動作時の制御装置の処理を説明するための図である。
【図7】さらに別の第２条件を用いた、空中押し込み動作時の制御装置の処理を説明するための図である。
【図8】第２の実施の形態の情報処理システムの処理を説明するための図である。
【図9】第２の実施の形態の情報処理システムの処理を示すフローチャートである。
【図10】第３の実施の形態の情報処理システムのブロック図である。
【図11】第３の実施の形態の情報処理システムの処理を示すフローチャートである。
【図12】第４の実施の形態の空中押し込み動作時の制御装置の処理を説明するための図である。
【図13】第４の実施の形態の情報処理システムの処理を示すフローチャートである。
【図14】第２の実施の形態、第３の実施の形態、および第４の実施の形態を組み合わせた情報処理システムの処理を示すフローチャートである。
【図15】第５の実施の形態の情報処理システムに対する空中押し込み動作を説明するための図である。
【発明を実施するための形態】
【0009】
以下、各図面に示される同一または同等の構成要素、部材、工程には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。
【0010】
（第１の実施の形態）
図１は、第１の実施の形態の情報処理システム１のブロック図である。情報処理システム１は、センサ１０、制御装置１２、およびディスプレイ１４を備える。
図１は、第１の実施の形態の情報処理システム１のブロック図である。情報処理システム１は、センサ１０、制御装置１２、およびディスプレイ１４を備える。
【0011】
情報処理システム１は、室内等に設置されてもよく、自動車などの車両に搭載されてもよく、用途は特に限定されない。ユーザは、ディスプレイ１４に触れず空中で手の指先を動かすことで、動きに応じた操作を制御装置１２に対して入力でき、制御装置１２は入力された操作に応じた処理を実行する。ユーザが空中で指先を動かす動作は、空中タッチ動作またはジェスチャー動作とも呼べる。本実施の形態では、ユーザが指先をディスプレイ１４の表示面に向けて空中で押し込む動作を検出する処理について主に説明する。この動作は、空中押し込み動作または空中クリック動作とも呼べる。
【0012】
センサ１０は、例えば深度カメラであり、ディスプレイ１４の表示面１５の前に位置するユーザを撮像可能な位置に設置される。センサ１０は、ユーザを定期的に撮像し、撮像した時系列の距離画像を制御装置１２に出力する。撮像する頻度は、実験やシミュレーションにより適宜定めることができ、例えば、１秒間に複数回であってよい。距離画像は、画像内の各位置の空間座標の情報を含む。この空間座標は、センサ１０に固有の３次元直交座標系における座標である。
【0013】
制御装置１２は、センサ１０から供給された時系列の距離画像に基づいて、ユーザの指先の動きを認識し、指先の動きに応じた操作入力を受け付け、その操作に応じた処理を実行する。操作に応じた処理は、操作対象であるディスプレイ１４に対する処理を含む。操作対象は、ディスプレイ１４に限らず、例えば、照明装置、スピーカなどの他の電子機器であってもよい。
【0014】
指先は操作入力に利用される検知対象物の一例であり、検知対象物は指先には限られない。検知対象物の他の一例として、ユーザの身体の一部分である握り拳または手のひらなどが挙げられる。検知対象物は、ユーザの身体の一部分に限らず、ユーザの手に保持された物体またはユーザの身体に装着された物体であってもよい。
【0015】
ディスプレイ１４は、制御装置１２の制御に従い画像を表示する。ディスプレイ１４は、例えば、室内設置用の数十インチ以上の画面サイズのものでもよいし、車載用のより小さい画面サイズのものでもよい。
【0016】
図２は、空中押し込み動作を説明するための斜視図である。図２では、センサ１０と制御装置１２の図示を省略する。図２に示すように、情報処理システム１は、３次元直交座標系のＸ軸、Ｙ軸、Ｚ軸を規定する。Ｚ軸は、第１方向に延びる。第１方向は、Ｚ方向とも呼べる。図示する例では、第１方向は、ディスプレイ１４の表示面１５の法線方向である。第１方向の座標をＺ座標とする。例えば、表示面１５上のＺ座標が０であり、表示面１５から離れるほどＺ座標が大きくなる。Ｘ軸は、第１方向に直交する第２方向に延びる。第２方向は、Ｘ方向とも呼べる。第２方向の座標をＸ座標とする。Ｙ軸は、第１方向と第２方向とに直交する第３方向に延びる。第３方向は、Ｙ方向とも呼べる。第３方向の座標をＹ座標とする。Ｘ軸とＹ軸は、例えば、表示面１５内に延びる。
【0017】
図２に示すように、矢印Ａ１に沿って、ユーザが指先５０を表示面１５に近づけてから遠ざける空中押し込み動作を行った場合、制御装置１２は、この動作を検出する。
【0018】
図３は、空中押し込み動作時の指先５０の位置と時間の関係の一例を示す。図３は、等しい時間間隔で指先５０の位置を示す。指先５０のＺ座標が小さくなるときの指先５０のＺ方向の速度は負の値であるとする。指先５０のＺ方向の速度が負の値である場合、指先５０のＺ方向の速度は、負方向の速度であるとする。本発明者は、空中押し込み動作時の指先５０の座標の変化を解析した結果、図３に示すように、指先５０がディスプレイ１４に近づくときに指先５０のＺ方向の速度の絶対値が増加してから低下し、次に指先５０が停止し、次に指先５０が逆方向に戻ることを認識した。このような指先５０の動作は、押し込み動作の反動動作とも呼べる。
【0019】
そこで、制御装置１２は、指先５０のＺ方向の速度が負方向の速度であり、かつＺ方向の速度の絶対値が、正の所定値である第１速度閾値以上になった後、Ｚ方向の速度が負方向の速度から正方向の速度に反転した場合、Ｚ方向の速度が負方向の速度から正方向の速度に反転したときの指先５０のＸ座標とＹ座標を特定し、特定されたＸ座標とＹ座標に基づいて、押し込み動作に応じた処理を実行する。押し込み動作に応じた処理は、例えば、ディスプレイ１４の画面上における特定されたＸ座標とＹ座標の位置に、その位置がクリックされたこと、即ち、その位置が決定されたことを示す画像を表示させる処理を含んでよい。
【0020】
例えば、ディスプレイ１４に操作ボタンなどの複数の項目が表示されている場合、制御装置１２は、押し込み動作を検出する前に、複数の項目のうち、指先５０の向いている方向の項目を強調表示しない。つまり、制御装置１２は、押し込み動作を検出する前に、指先５０の位置に対応する選択対象の項目を特定できるような画像をディスプレイ１４に表示させない。
【0021】
よって、所望の位置が選択対象となっていることを目視で確認することなく、指先５０のＸ座標とＹ座標を決定するための動作を、比較的短時間で、直感的に、ユーザに行わせることができる。
【0022】
これに対して、比較例として、所定の決定動作を検出する前に、指先に対応する選択対象の項目をディスプレイに強調表示させる検出装置を検討する。この比較例では、指先の位置に応じて、複数の項目の中から選択対象の項目を変更できる。ユーザは、ディスプレイの前で指先を上下左右に動かし、所望の項目が選択対象の項目として強調表示された状態で、指先により所定の決定動作を行う。検出装置は、決定動作が完了したことを検出したときに選択対象となっている項目に決定し、決定した項目に応じた処理を実行する。比較例では、ユーザは、所望の項目が選択対象となっていることを目視で確認してから、決定動作を行うため、直感性を損なってしまう可能性がある。また、比較例の決定動作として、例えば、一定時間の間、指先を停止する動作、指先で円を描くなどの特定のジェスチャー動作、または一定の距離だけ手前に指先を引く動作などがある。これらの決定動作が完了したことを比較例の検出装置が検出するまでの時間は、比較的長い。
【0023】
本実施の形態では、既述のように、これらの比較例の課題を解決できる。例えば、ユーザが空中押し込み動作を異なる位置で連続して繰り返す場合、制御装置１２は、比較例よりも短時間で複数回の操作を受け付けることができる。
【0024】
以下、制御装置１２の動作をより詳しく説明する。図１に示すように、制御装置１２は、制御部２０および記憶部２２を備える。制御部２０は、画像取得部２４、座標取得部２６、算出部２８、判定部３０、機能実行部３４、および表示出力部３６を有する。
【0025】
制御部２０の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。制御装置１２は、例えばプロセッサとメモリとを備え、プロセッサがメモリにロードされたプログラムを実行することによって、制御部２０および制御部２０が有する各機能ブロックの機能を実現する。
【0026】
記憶部２２は、各種情報を記憶する。記憶部２２は、メモリまたはストレージのような、情報（言い換えるとデータ）を記憶するためのハードウェアにより実現される。記憶部２２は、座標情報、速度閾値情報、およびモード情報を保持する。座標情報は、センサ１０の設置位置の空間座標、センサ１０の取り付け角度、およびディスプレイ１４の設置位置の空間座標を含む。速度閾値情報は、第１速度閾値と第２速度閾値の情報を含む。座標情報、速度閾値情報、およびモード情報の詳細は後述する。
【0027】
画像取得部２４は、ディスプレイ１４の前に位置するユーザを撮像した時系列の距離画像をセンサ１０から取得し、取得したそれぞれの距離画像を画像認識することで、ユーザの指先５０を検出する。指先５０の検出には公知の画像認識技術を利用できる。画像取得部２４は、検出した指先５０の空間座標を時系列に取得し、座標取得部２６に出力する。
【0028】
座標取得部２６は、画像取得部２４から供給されたセンサ１０の座標系でのユーザの指先５０の空間座標と、記憶部２２に記憶された座標情報に含まれるセンサ１０の設置位置の空間座標およびセンサ１０の取り付け角度とに基づいて、情報処理システム１の３次元直交座標系でのユーザの指先５０の時系列の空間座標を演算し、取得する。座標取得部２６は、取得した空間座標を算出部２８に出力する。
【0029】
算出部２８は、座標取得部２６から供給された空間座標に基づき、指先５０のＺ方向の速度を時系列に算出し、算出したＺ方向の速度を判定部３０に供給する。
【0030】
判定部３０は、記憶部２２に記憶された速度閾値情報に基づいて、算出部２８から供給されたＺ方向の速度と、第１速度閾値と、第２速度閾値との大小関係を判定する。判定部３０は、指先５０のＺ方向の速度が負方向の速度であり、かつＺ方向の速度の絶対値が第１速度閾値以上であるという所定の第１条件が満たされるかを判定する。判定部３０は、第１条件が満たされた場合、クリックモードに遷移する。クリックモードとは、空中押し込み動作を受け付けるための動作受け付けモードである。
【0031】
判定部３０は、クリックモードにおいて、Ｚ方向の速度が、正方向の速度であり、かつ第２速度閾値以上であるという所定の第２条件が満たされるかを判定する。ここでは、第２速度閾値は、ゼロより僅かに大きい正の値である。第２速度閾値は、Ｚ方向の速度が負方向の速度から正方向の速度に反転した時刻を精度良く判定できるように定められてよい。つまり、第２条件は、Ｚ方向の速度が正方向の速度であることであってもよい。
【0032】
第１条件と第２条件は、それぞれ、指先５０のＺ方向の座標の変化に関する条件である。第１速度閾値と第２速度閾値は、実験またはシミュレーションにより適宜定めることができる。第１速度閾値と第２速度閾値は、ユーザが設定できてもよい。判定部３０は、判定結果を機能実行部３４に供給する。
【0033】
機能実行部３４は、判定部３０が、第１時刻で第１条件が満たされ、かつ第１時刻より後の第２時刻で第２条件が満たされると判定した場合、第２時刻における指先５０のＸ座標とＹ座標とに基づいて、ディスプレイ１４に対する処理を実行する。記憶部２２に保持されたモード情報は、クリックモードにおいて第２条件が満たされた場合に実行すべき処理内容に関する情報を含む。例えば、機能実行部３４は、記憶部２２に保持されたモード情報に基づき、決定したＸ座標とＹ座標および押し込み動作に応じた処理が実行された画像データを生成し、表示出力部３６に供給する。
【0034】
なお、機能実行部３４は、第２時刻における指先５０のＸ座標とＹ座標に限らず、第１時刻から第２時刻までの間の１の時刻における指先５０のＸ座標とＹ座標とに基づいて、処理を実行すればよい。
【0035】
表示出力部３６は、機能実行部３４から供給された画像データをディスプレイ１４に出力し、ディスプレイ１４に画像を表示させる。
【0036】
図４は、空中押し込み動作時の図１の制御装置１２の処理を説明するための図である。図４の横軸は、時刻０からの経過時間を示し、縦軸は、Ｚ座標とＺ方向の速度を示す。図４では、経過時間に応じた指先５０のＺ座標の変化を実線で示し、そのときのＺ方向の速度の変化を破線で示す。
【0037】
指先５０がディスプレイ１４の表示面に向けて移動を開始し、Ｚ方向の速度が負方向の速度になり、第１時刻ｔ１でＺ方向の速度の絶対値が第１速度閾値Ｖｔｈ１と等しくなる。その後、指先５０が停止し、表示面から離れる方向に移動し、Ｚ方向の速度が正方向の速度になり、第２時刻ｔ２でＺ方向の速度が第２速度閾値Ｖｔｈ２と等しくなる。機能実行部３４は、第２時刻ｔ２の指先５０のＸ座標とＹ座標を特定し、ディスプレイ１４に対する処理を実行する。
【0038】
次に、以上の構成による情報処理システム１の全体的な動作を説明する。図５は、図１の情報処理システム１の処理を示すフローチャートである。判定部３０は、Ｚ方向の速度が負方向の速度であり、かつＺ方向の速度の絶対値が第１速度閾値Ｖｔｈ１以上であるか判定する（Ｓ１０）。この条件が満たされなければ（Ｓ１０のＮ）、判定部３０はＳ１０の処理に戻る。Ｚ方向の速度が負方向の速度であり、かつＺ方向の速度の絶対値が第１速度閾値Ｖｔｈ１以上である場合（Ｓ１０のＹ）、判定部３０は、クリックモードに遷移する（Ｓ１２）。判定部３０は、Ｚ方向の速度が正方向の速度であり、かつ第２速度閾値Ｖｔｈ２以上であるか判定する（Ｓ１４）。この条件が満たされなければ（Ｓ１４のＮ）、判定部３０はＳ１４の処理に戻る。Ｚ方向の速度が正方向の速度であり、かつ第２速度閾値Ｖｔｈ２以上である場合（Ｓ１４のＹ）、機能実行部３４は、Ｚ方向の速度が正方向の速度であり、かつ第２速度閾値Ｖｔｈ２以上であると判定されたときの指先５０のＸ座標とＹ座標を取得し、処理を実行する（Ｓ１６）。判定部３０は、クリックモードを解除し（Ｓ１８）、Ｓ１０の処理に戻る。なお、判定部３０は、Ｓ１４の処理において所定時間が経過しても、Ｚ方向の速度が正方向の速度であり、かつ第２速度閾値Ｖｔｈ２以上であるという条件が満たされない場合、Ｓ１８の処理に移行してクリックモードを解除してよい。
【0039】
ここで、第２条件の別の例を説明する。判定部３０は、指先５０のＺ方向の速度が負方向の速度であり、かつＺ方向の速度の絶対値が第２速度閾値Ｖｔｈ２以下であるという第２条件が満たされるかを判定してもよい。第２速度閾値Ｖｔｈ２は、第１速度閾値Ｖｔｈ１よりも小さい。
【0040】
図６は、別の第２条件を用いた、空中押し込み動作時の制御装置１２の処理を説明するための図である。Ｚ方向の速度が負方向の速度になり、第１時刻ｔ１でＺ方向の速度の絶対値が第１速度閾値Ｖｔｈ１と等しくなった後、指先５０が停止する前に、第２時刻ｔ２ａでＺ方向の速度の絶対値が第２速度閾値Ｖｔｈ２と等しくなる。つまり、指先５０をＺ方向に移動させる速度の絶対値が低下したときに、制御装置１２は指先５０のＸ座標とＹ座標を決定できる。図４の例と比較して、第１時刻ｔ１から第２時刻ｔ２ａまでの時間を短くでき、制御装置１２は、空中押し込み動作が行われたことをより早いタイミングで決定できる。
【0041】
また、さらに別の第２条件を用いてもよい。判定部３０は、指先５０のＺ方向の速度が、第２速度閾値Ｖｔｈ２と等しいか、または、正方向の速度であるという第２条件が満たされるかを判定してもよい。第２速度閾値Ｖｔｈ２は、０である。図７は、さらに別の第２条件を用いた、空中押し込み動作時の制御装置１２の処理を説明するための図である。第１時刻ｔ１でＺ方向の速度の絶対値が第１速度閾値Ｖｔｈ１と等しくなった後、指先５０が停止した第２時刻ｔ２ｂで、Ｚ方向の速度は第２速度閾値Ｖｔｈ２と等しくなる。つまり、指先５０がＺ方向に関して停止したときに、制御装置１２は指先５０のＸ座標とＹ座標を決定できる。図４の例と比較して、第２速度閾値Ｖｔｈ２が小さいので、第１時刻ｔ１から第２時刻ｔ２ａまでの時間を短くでき、制御装置１２は、空中押し込み動作が行われたことをより早いタイミングで決定できる。
【0042】
（第２の実施の形態）
第２の実施の形態では、判定部３０がクリックモードに遷移するための条件が、Ｘ方向の移動量とＹ方向の移動量に関する条件も含むことが、第１の実施の形態と異なる。以下、第１の実施の形態との相違点を中心に説明する。
第２の実施の形態では、判定部３０がクリックモードに遷移するための条件が、Ｘ方向の移動量とＹ方向の移動量に関する条件も含むことが、第１の実施の形態と異なる。以下、第１の実施の形態との相違点を中心に説明する。
【0043】
図８は、第２の実施の形態の情報処理システム１の処理を説明するための図である。情報処理システム１が空中での指先５０のスライド動作またはフリック動作も受け付け可能な場合、指先５０が表示面１５に近づきながらスライド動作またはフリック動作を行う可能性がある。つまり、図８の矢印Ａ３の方向に指先５０が動く場合がある。この場合、第１の実施の形態の処理では、ユーザが空中での押し込み動作を行う意図を持たずに矢印Ａ３の方向に指先５０を動かした場合にも、判定部３０がクリックモードに遷移する可能性がある。
【0044】
そこで、本実施の形態では次の処理を行う。算出部２８は、算出した空間座標に基づき、Ｘ方向における指先５０の所定時間当たりの移動量である第１移動量と、Ｙ方向における指先５０の所定時間当たりの移動量である第２移動量と、を定期的に算出する。算出部２８は、算出した第１移動量と第２移動量を判定部３０に供給する。所定時間は、センサ１０による距離画像の撮像間隔の自然数倍であり、実験またはシミュレーションにより適宜定めることができる。
【0045】
記憶部２２は、図示しない移動量閾値情報をさらに保持する。移動量閾値情報は、所定値である第１移動量閾値と、所定値である第２移動量閾値の情報を含む。第１移動量閾値と第２移動量閾値は、実験またはシミュレーションにより適宜定めることができる。第１移動量閾値と第２移動量閾値は、ユーザが設定できてもよい。
【0046】
判定部３０は、記憶部２２に保持された移動量閾値情報に基づき、算出部２８で算出された第１移動量が第１移動量閾値以下であるという第３条件が満たされるかを判定し、かつ、算出部２８で算出された第２移動量が第２移動量閾値以下であるという第４条件が満たされるかを判定する。判定部３０は、第１条件、第３条件、および第４条件が満たされた場合、クリックモードに遷移する。
【0047】
図８に示す領域Ｒ１は、第１移動量閾値と第２移動量閾値で定められる領域の一例を示す。矢印Ａ３の方向に指先５０が動いた場合、指先５０の位置は領域Ｒ１を外れるため、第３条件と第４条件が満たされない。そのため、第２の実施の形態において判定部３０はクリックモードに遷移しない。よって、情報処理システム１においてユーザの意図しない動作が実行されることを抑制できる。
【0048】
一方、矢印Ａ２の方向に指先５０が動いた場合、指先５０の位置は領域Ｒ１に入っているため、第３条件と第４条件が満たされる。そのため、判定部３０はクリックモードに遷移する。
【0049】
機能実行部３４は、判定部３０が、第１時刻で第１条件と第３条件と第４条件とが満たされ、かつ第２時刻で第２条件が満たされると判定した場合、第１時刻から第２時刻までの１の時刻におけるＸ方向の座標とＹ方向の座標とに基づいて、ディスプレイ１４に対する処理を実行する。
【0050】
なお、判定部３０は、第３条件と第４条件のいずれか一方を用い、他方を用いずに処理を行ってもよい。例えば、情報処理システム１がＸ方向のみのスライド動作またはフリック動作を受け付け可能な場合、ユーザはＹ方向にスライド動作またはフリック動作を行う可能性は低い。そのような場合には、判定部３０は、第３条件を用い、第４条件を用いなくてもよい。これにより、制御部２０の処理を簡素化できる。
【0051】
図９は、第２の実施の形態の情報処理システム１の処理を示すフローチャートである。図９に示される処理では、図５のＳ１０の処理に替えてＳ１０ａの処理が行われる。判定部３０は、Ｘ方向の第１移動量が第１移動量閾値以下であり、Ｙ方向の第２移動量が第２移動量閾値以下であり、Ｚ方向の速度が負方向の速度であり、かつＺ方向の速度の絶対値が第１速度閾値Ｖｔｈ１以上であるか判定する（Ｓ１０ａ）。この条件が満たされなければ（Ｓ１０ａのＮ）、判定部３０はＳ１０ａの処理に戻る。第１移動量が第１移動量閾値以下であり、第２移動量が第２移動量閾値以下であり、Ｚ方向の速度が負方向の速度であり、かつＺ方向の速度の絶対値が第１速度閾値Ｖｔｈ１以上である場合（Ｓ１０ａのＹ）、判定部３０は、クリックモードに遷移する（Ｓ１２）。以降の処理は図５に示される処理と同様である。
【0052】
（第３の実施の形態）
第３の実施の形態では、機能実行部３４が、指先５０のＸ座標の平均値とＹ座標の平均値に基づいてディスプレイ１４に対する処理を実行することが、第１の実施の形態と異なる。以下、第１の実施の形態との相違点を中心に説明する。
第３の実施の形態では、機能実行部３４が、指先５０のＸ座標の平均値とＹ座標の平均値に基づいてディスプレイ１４に対する処理を実行することが、第１の実施の形態と異なる。以下、第１の実施の形態との相違点を中心に説明する。
【0053】
図１０は、第３の実施の形態の情報処理システム１のブロック図である。制御部２０は、平均化部３２をさらに備える。判定部３０は、判定結果を平均化部３２にも供給する。
【0054】
平均化部３２は、判定部３０による判定結果と算出部２８で算出された空間座標とに基づき、第１時刻から第２時刻までの間のうち所定期間における、指先５０のＸ方向の座標を平均化した第１平均座標と、指先５０のＹ方向の座標を平均化した第２平均座標と、を算出する。平均化部３２は、算出した第１平均座標と第２平均座標を機能実行部３４に供給する。
【0055】
平均化の対象とする所定期間は、第１時刻から第２時刻までの全体の期間であってもよいし、一部の期間であってもよい。所定期間の始点と終点は、第１平均座標と第２平均座標がユーザの意図した座標に近づきやすいように、実験またはシミュレーションにより適宜定めることができる。所定期間の始点と終点は、ユーザが設定できてもよい。
【0056】
機能実行部３４は、判定部３０が、第１時刻で第１条件が満たされ、第２時刻で第２条件が満たされると判定した場合、平均化部３２から供給された第１平均座標と、第２平均座標と、に基づいて、ディスプレイ１４に対する処理を実行する。
【0057】
この処理は、機能実行部３４が、Ｚ方向の座標の変化に関する第１条件が第１時刻で満たされた後、Ｚ方向の座標の変化に関する第２条件が第２時刻で満たされた場合、第１時刻から第２時刻までの複数の時刻における、指先５０のＸ方向の座標と、Ｙ方向の座標とに基づいて、ディスプレイ１４に対する処理を実行することに相当する。
【0058】
空中押し込み動作により表示面に近づいたときの指は、Ｘ方向とＹ方向に位置がぶれやすいため、指先５０のＸ座標とＹ座標が安定しない可能性がある。第１平均座標と第２平均座標を用いることで、指先５０の位置に対応するＸ座標とＹ座標の算出精度を向上できる。
【0059】
図１１は、第３の実施の形態の情報処理システム１の処理を示すフローチャートである。図１１に示される処理では、図５のＳ１２の処理とＳ１４の処理との間にＳ２０の処理が加わり、図５のＳ１６の処理に替えてＳ１６ａの処理が行われる。Ｓ１２の処理の次に、平均化部３２は、指先５０のＸ座標とＹ座標をそれぞれ平均化する（Ｓ２０）。次に、Ｚ方向の速度が正方向の速度であり、かつ第２速度閾値Ｖｔｈ２以上であるという条件が満たされなければ（Ｓ１４のＮ）、情報処理システム１の処理は、平均化部３２によるＳ２０の処理に戻る。一方、Ｚ方向の速度が正方向の速度であり、かつ第２速度閾値Ｖｔｈ２以上である場合（Ｓ１４のＹ）、機能実行部３４は、指先５０のＸ座標の第１平均座標と指先５０のＹ座標の第２平均座標を取得し、処理を実行する（Ｓ１６ａ）。
【0060】
なお、平均化部３２は、指先５０のＸ座標とＹ座標のそれぞれの重み付け平均を算出してもよい。重みは、第２時刻に近づくほど大きくなってもよく、第２時刻に近づくほど小さくなってもよい。重みは、第１平均座標と第２平均座標がユーザの意図した座標に近づきやすいように、実験またはシミュレーションにより適宜定めることができる。重みは、ユーザによらず所定値であってもよく、ユーザ毎に設定されてもよい。重みがユーザ毎に設定されることで、ユーザの押し込み動作の癖に合わせて、指先５０の位置に対応するＸ座標とＹ座標の算出精度をさらに向上できる。
【0061】
（第４の実施の形態）
第４の実施の形態では、空中押し込み動作を受け付けるための条件が、クリックモードにおけるＺ方向の移動量に関する条件も含むことが、第１の実施の形態と異なる。以下、第１の実施の形態との相違点を中心に説明する。
第４の実施の形態では、空中押し込み動作を受け付けるための条件が、クリックモードにおけるＺ方向の移動量に関する条件も含むことが、第１の実施の形態と異なる。以下、第１の実施の形態との相違点を中心に説明する。
【0062】
判定部３０は、判定結果を算出部２８にも供給する。算出部２８は、算出した空間座標に基づき、第１時刻から第２時刻までのＺ方向における指先５０の移動量の合計である合計移動量を算出し、判定部３０に供給する。
【0063】
記憶部２２は、図示しない移動量閾値情報をさらに保持する。移動量閾値情報は、所定値である合計移動量閾値の情報を含む。合計移動量閾値は、実験またはシミュレーションにより適宜定めることができる。合計移動量閾値は、ユーザが設定できてもよい。
【0064】
判定部３０は、記憶部２２に保持された移動量閾値情報に基づき、算出部２８で算出された合計移動量が合計移動量閾値以上であるという移動量条件が満たされるかを判定し、判定結果を機能実行部３４に供給する。
【0065】
機能実行部３４は、判定部３０が、第１時刻で第１条件が満たされ、第２時刻で第２条件が満たされ、かつ移動量条件が満たされると判定した場合、第１時刻から第２時刻までの１の時刻における指先５０のＸ方向の座標とＹ方向の座標とに基づいて、ディスプレイ１４に対する処理を実行する。
【0066】
図１２は、第４の実施の形態の空中押し込み動作時の制御装置１２の処理を説明するための図である。この例では、第１時刻ｔ１から第２時刻ｔ２までのＺ方向の合計移動量が合計移動量閾値以上であるため、機能実行部３４は、第２時刻ｔ２における指先５０のＸ座標とＹ座標に基づいて処理を実行する。
【0067】
例えば、移動量条件を考慮しない場合、ユーザが空中押し込み動作を行う意図を持たずに指先５０をＺ方向に動かした際にも、指先５０のＺ方向の速度が第１速度閾値Ｖｔｈ１以下になったと判定されて、ディスプレイ１４に対する処理が実行されうる。結果として、ユーザの意図しない、ディスプレイ１４に対する動作が実行される可能性がある。本実施の形態においては、移動量条件を考慮することによって、ユーザが空中押し込み動作を行う意図を持って指先５０を動かした場合にのみ、ディスプレイ１４に対する処理が実行される可能性を高めている。よって、ユーザの意図しない、ディスプレイ１４に対する処理が実行されることを抑制できる。
【0068】
図１３は、第４の実施の形態の情報処理システム１の処理を示すフローチャートである。図１３に示される処理では、図５のＳ１２とＳ１４の処理の間にＳ２２の処理が加わり、図５のＳ１４の処理に替えてＳ１４ａの処理が行われる。Ｓ１２の処理の次に、算出部２８は、Ｚ方向における指先５０の移動量を合計する（Ｓ２２）。次に、判定部３０は、Ｚ方向の速度が正方向の速度であり、Ｚ方向の速度が第２速度閾値Ｖｔｈ２以上であり、かつＺ方向の合計移動量が合計移動量閾値以上であるか判定する（Ｓ１４ａ）。この条件が満たされなければ（Ｓ１４ａのＮ）、情報処理システム１の処理は、算出部２８によるＳ２２の処理に戻る。Ｚ方向の速度が正方向の速度であり、Ｚ方向の速度が第２速度閾値Ｖｔｈ２以上であり、かつＺ方向の合計移動量が合計移動量閾値以上である場合（Ｓ１４ａのＹ）、情報処理システム１の処理は、機能実行部３４によるＳ１６の処理に移る。なお、判定部３０は、Ｓ１４ａの処理において、所定時間が経過しても、Ｚ方向の速度が正方向の速度であり、Ｚ方向の速度が第２速度閾値Ｖｔｈ２以上であり、かつＺ方向の合計移動量が合計移動量閾値以上であるという条件が満たされない場合、Ｓ１８の処理に移行してクリックモードを解除してよい。
【0069】
なお、以上の第２の実施の形態、第３の実施の形態、第４の実施の形態のうち任意の２つを組み合わせてもよいし、３つを組み合わせてもよい。組合せによって生じる新たな実施の形態は、組み合わされる実施の形態それぞれの効果をあわせもつ。
【0070】
図１４は、第２の実施の形態、第３の実施の形態、および第４の実施の形態を組み合わせた情報処理システム１の処理を示すフローチャートである。図１４に示される処理では、図９のＳ１２とＳ１４の処理の間に図１３のＳ２２と図１１のＳ２０の処理が加わる。図９のＳ１４の処理に替えて図１３のＳ１４ａの処理が行われ、図９のＳ１６の処理に替えて図１１のＳ１６ａの処理が行われる。
【0071】
Ｓ１２の処理の次に、算出部２８は、Ｚ方向における指先５０の移動量を合計する（Ｓ２２）。平均化部３２は、指先５０のＸ座標とＹ座標をそれぞれ平均化する（Ｓ２０）。Ｓ２２とＳ２０の処理の順序は逆でもよい。判定部３０は、Ｚ方向の速度が正方向の速度であり、Ｚ方向の速度が第２速度閾値Ｖｔｈ２以上であり、かつＺ方向の合計移動量が合計移動量閾値以上であるか判定する（Ｓ１４ａ）。この条件が満たされなければ（Ｓ１４ａのＮ）、情報処理システム１の処理は、算出部２８によるＳ２２の処理に戻る。Ｚ方向の速度が正方向の速度であり、Ｚ方向の速度が第２速度閾値Ｖｔｈ２以上であり、かつＺ方向の合計移動量が合計移動量閾値以上である場合（Ｓ１４ａのＹ）、機能実行部３４は、指先５０のＸ座標の第１平均座標と指先５０のＹ座標の第２平均座標を取得し、処理を実行する（Ｓ１６ａ）。
【0072】
（第５の実施の形態）
第５の実施の形態では、情報処理システム１は、第１の実施の形態と異なる方向の空中押し込み動作を検出する。以下、第１の実施の形態との相違点を中心に説明する。
第５の実施の形態では、情報処理システム１は、第１の実施の形態と異なる方向の空中押し込み動作を検出する。以下、第１の実施の形態との相違点を中心に説明する。
【0073】
図１５は、第５の実施の形態の情報処理システム１に対する空中押し込み動作を説明するための図である。図１５（ａ）は、情報処理システム１がＸ方向に平行な方向の空中押し込み動作を検出する例を示す。この例では、情報処理システム１は、Ｘ方向、Ｙ方向、およびＺ方向のいずれかに平行な空中押し込み動作を検出する。
【0074】
情報処理システム１は、第１スピーカ１６ａ、第２スピーカ１６ｂ、第３スピーカ１６ｃ、および第４スピーカ１６ｄをさらに備える。以下、これらのスピーカを区別しない場合には「スピーカ１６」と呼ぶ。第１スピーカ１６ａと第２スピーカ１６ｂは、ディスプレイ１４の左側にＹ方向に並んで配置されている。第３スピーカ１６ｃと第４スピーカ１６ｄは、ディスプレイ１４の右側にＹ方向に並んで配置されている。スピーカ１６は、操作対象である電子機器の一例である。ディスプレイ１４と３次元直交座標系の位置関係は、例えば、図２に示した例と同じである。
【0075】
図示する例では、ユーザは、第１スピーカ１６ａに向けて指先５０を右から左に動かす押し込み動作を行う。算出部２８は、指先５０の空間座標の変化に基づき、指先５０の移動方向がＸ軸、Ｙ軸、Ｚ軸のうちどの軸の正の方向または負の方向であるか特定する。この例では、算出部２８は、指先５０の移動方向がＸ軸の負の方向であることを特定する。算出部２８は、指先５０の空間座標に基づき、指先５０のＸ方向の速度を時系列に算出する。機能実行部３４は、指先５０のＸ方向の速度の絶対値が第１速度閾値Ｖｔｈ１以上になった後、Ｘ方向の速度が負方向の速度と正方向の速度との間で反転した場合、Ｘ方向の速度が負方向の速度と正方向の速度との間で反転したときの指先５０のＹ座標とＺ座標に基づいて、押し込み動作に応じた処理を実行する。押し込み動作に応じた処理は、例えば、Ｘ軸の負の方向に位置し、特定されたＹ座標とＺ座標に対応する位置の第１スピーカ１６ａの電源をオンさせる処理を含んでよい。
【0076】
ユーザが、第２スピーカ１６ｂに向けて指先５０を右から左に動かした場合、指先５０のＸ方向の速度が既述の条件を満たせば、機能実行部３４は、第２スピーカ１６ｂの電源をオンさせる。この例では、第２スピーカ１６ｂは、Ｘ軸の負の方向に位置し、かつ、指先５０のＸ方向の速度が負方向の速度と正方向の速度との間で反転したときの指先５０のＹ座標とＺ座標に対応する位置にある。
【0077】
一方、ユーザが、第３スピーカ１６ｃに向けて指先５０を左から右に動かした場合、算出部２８は、指先５０の空間座標の変化に基づき、指先５０の移動方向がＸ軸の正の方向であることを特定する。この場合、算出される指先５０のＸ方向の速度は正の値である。機能実行部３４は、指先５０のＸ方向の速度の絶対値が第１速度閾値Ｖｔｈ１以上になった後、Ｘ方向の速度が負方向の速度と正方向の速度との間で反転した場合、第３スピーカ１６ｃの電源をオンさせる。この例では、第３スピーカ１６ｃは、Ｘ軸の正の方向に位置し、かつ、Ｘ方向の速度が負方向の速度と正方向の速度との間で反転したときの指先５０のＹ座標とＺ座標に対応する位置にある。
【0078】
また、ユーザが、ディスプレイ１４の表示面に向けて指先５０を動かした場合、算出部２８は、指先５０の移動方向がＺ軸の負の方向であることを特定する。この場合、第１の実施の形態の処理が実行される。
【0079】
このように、情報処理システム１は、Ｘ方向、Ｙ方向、およびＺ方向のいずれかに平行な空中押し込み動作を検出できる。よって、ユーザは、空中押し込み動作により、ユーザの正面方向に位置する電子機器に限らず、左、右、上、または下方向に位置する電子機器を操作することもできる。
【0080】
図１５（ｂ）は、情報処理システム１が、Ｘ方向、Ｙ方向、およびＺ方向に交差する方向の空中押し込み動作を検出する例を示す。この例では、情報処理システム１は、任意の方向の空中押し込み動作を検出する。情報処理システム１は、ディスプレイ１４ａをさらに備える。ディスプレイ１４ａの表示面１５ａは、Ｘ方向、Ｙ方向、およびＺ方向に交差する。
【0081】
ユーザが、ディスプレイ１４ａの表示面１５ａの法線方向と平行に指先５０を動かすことを想定する。算出部２８は、ディスプレイ１４を基準として予め設定されている３次元直交座標系における指先５０の空間座標の変化に基づき、指先５０の移動方向を特定し、特定した移動方向に平行な方向を第１方向とする。算出部２８は、第１方向に直交する第２方向、および、第１方向と第２方向とに直交する第３方向を新たに設定する。つまり、算出部２８は、予め設定されている３次元直交座標系とは異なる、指先５０の移動方向を基準とした新たな３次元直交座標系を設定する。図示する例では、第１方向は、表示面１５ａの法線方向である。第２方向と第３方向は、例えば、表示面１５ａに平行な方向である。座標取得部２６は、新たな３次元直交座標系でのユーザの指先５０の時系列の空間座標を演算し、取得する。算出部２８は、新たな３次元直交座標系での指先５０の空間座標に基づき、指先５０の第１方向の速度を時系列に算出する。この場合、算出される指先５０の第１方向の速度は負の値であるとする。ここでは、第１方向について、表示面１５ａに近づく方向を負、表示面１５ａから遠ざかる方向を正とする。
【0082】
機能実行部３４は、指先５０の第１方向の速度が負方向の速度であり、かつ第１方向の速度の絶対値が第１速度閾値Ｖｔｈ１以上になった後、第１方向の速度が負方向の速度から正方向の速度に反転した場合、第１方向の速度が負方向の速度から正方向の速度に反転したときの指先５０の第２方向の座標と第３方向の座標に基づいて、押し込み動作に応じた処理を実行する。第２方向の座標と第３方向の座標は、新たな３次元直交座標系における座標である。押し込み動作に応じた処理は、例えば、第２方向と第３方向に平行なディスプレイ１４ａの表示面１５ａ上における、特定された第２方向の座標と第３方向の座標の位置に、その位置がクリックされたことを示す画像を表示させる処理を含んでよい。
【0083】
このように、情報処理システム１は、Ｘ方向、Ｙ方向、およびＺ方向に交差する方向の空中押し込み動作を検出できる。よって、ユーザは、空中押し込み動作により、ユーザの左下、右下、左上、または右上方向に位置する電子機器を操作することもできる。
【0084】
なお、第５の実施の形態に対して、第２の実施の形態、第３の実施の形態、第４の実施の形態のうち少なくとも１つを組み合わせてもよい。
【0085】
以上、本開示について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、また、そうした変形例も本開示の範囲にあることは当業者に理解されるところである。
【0086】
本開示の一態様は、次の通りである。
【0087】
［項目１］
検知対象物の時系列の空間座標を取得する座標取得部であって、前記空間座標は、第１方向の座標、前記第１方向に交差する第２方向の座標、および前記第１方向と前記第２方向とに交差する第３方向の座標を含む、座標取得部と、
前記第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、前記第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行する機能実行部と、
を備える制御装置。
この態様によれば、第２方向と第３方向の座標を決定するための動作を、短時間で、直感的に、ユーザに行わせることができる。
検知対象物の時系列の空間座標を取得する座標取得部であって、前記空間座標は、第１方向の座標、前記第１方向に交差する第２方向の座標、および前記第１方向と前記第２方向とに交差する第３方向の座標を含む、座標取得部と、
前記第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、前記第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行する機能実行部と、
を備える制御装置。
この態様によれば、第２方向と第３方向の座標を決定するための動作を、短時間で、直感的に、ユーザに行わせることができる。
【0088】
［項目２］
前記空間座標に基づき、前記検知対象物の前記第１方向の速度を算出する算出部であって、前記検知対象物の前記第１方向の座標が小さくなるときの前記速度は負方向の速度である、算出部と、
前記速度が負方向の速度であり、かつ前記速度の絶対値が、所定値である第１速度閾値以上であるという前記第１条件が満たされるかを判定し、前記速度が正方向の速度であるという前記第２条件が満たされるかを判定する判定部と、
をさらに備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目１に記載の制御装置。
この場合、検知対象物を第１方向に空中で押し込んだ後で戻す動作により、直感的に座標を決定できる。
前記空間座標に基づき、前記検知対象物の前記第１方向の速度を算出する算出部であって、前記検知対象物の前記第１方向の座標が小さくなるときの前記速度は負方向の速度である、算出部と、
前記速度が負方向の速度であり、かつ前記速度の絶対値が、所定値である第１速度閾値以上であるという前記第１条件が満たされるかを判定し、前記速度が正方向の速度であるという前記第２条件が満たされるかを判定する判定部と、
をさらに備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目１に記載の制御装置。
この場合、検知対象物を第１方向に空中で押し込んだ後で戻す動作により、直感的に座標を決定できる。
【0089】
［項目３］
前記判定部は、前記速度が０または正方向の速度であるという前記第２条件が満たされるかを判定する、
項目２に記載の制御装置。
この場合、検知対象物を第１方向に押し込んで停止させた後、座標を決定できる。
前記判定部は、前記速度が０または正方向の速度であるという前記第２条件が満たされるかを判定する、
項目２に記載の制御装置。
この場合、検知対象物を第１方向に押し込んで停止させた後、座標を決定できる。
【0090】
［項目４］
前記判定部は、前記速度が、正方向の速度であり、かつ所定値である第２速度閾値以上であるという前記第２条件が満たされるかを判定する、
項目２に記載の制御装置。
この場合、検知対象物を第１方向に押し込んだ後で戻したときに、座標を決定できる。
前記判定部は、前記速度が、正方向の速度であり、かつ所定値である第２速度閾値以上であるという前記第２条件が満たされるかを判定する、
項目２に記載の制御装置。
この場合、検知対象物を第１方向に押し込んだ後で戻したときに、座標を決定できる。
【0091】
［項目５］
前記空間座標に基づき、前記検知対象物の前記第１方向の速度を算出する算出部であって、前記検知対象物の前記第１方向の座標が小さくなるときの前記速度は負方向の速度である、算出部と、
前記速度が負方向の速度であり、かつ前記速度の絶対値が、所定値である第１速度閾値以上であるという前記第１条件が満たされるかを判定し、前記速度が負方向の速度であり、かつ前記速度の絶対値が、前記第１速度閾値よりも小さい、所定値である第２速度閾値以下であるという前記第２条件が満たされるかを判定する判定部と、
をさらに備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目１に記載の制御装置。
この場合、検知対象物を第１方向に移動させる速度を低下させたときに、座標を決定できる。
前記空間座標に基づき、前記検知対象物の前記第１方向の速度を算出する算出部であって、前記検知対象物の前記第１方向の座標が小さくなるときの前記速度は負方向の速度である、算出部と、
前記速度が負方向の速度であり、かつ前記速度の絶対値が、所定値である第１速度閾値以上であるという前記第１条件が満たされるかを判定し、前記速度が負方向の速度であり、かつ前記速度の絶対値が、前記第１速度閾値よりも小さい、所定値である第２速度閾値以下であるという前記第２条件が満たされるかを判定する判定部と、
をさらに備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目１に記載の制御装置。
この場合、検知対象物を第１方向に移動させる速度を低下させたときに、座標を決定できる。
【0092】
［項目６］
前記電子機器はディスプレイであり、
前記第１方向は、前記ディスプレイの表示面の法線方向である、
項目２から５のいずれか一項に記載の制御装置。
この場合、検知対象物を表示面に向かって空中で押し込む動作により、直感的に座標を決定できる。
前記電子機器はディスプレイであり、
前記第１方向は、前記ディスプレイの表示面の法線方向である、
項目２から５のいずれか一項に記載の制御装置。
この場合、検知対象物を表示面に向かって空中で押し込む動作により、直感的に座標を決定できる。
【0093】
［項目７］
前記算出部は、前記空間座標に基づき、前記第２方向における前記検知対象物の所定時間当たりの移動量である第１移動量を定期的に算出し、
前記判定部は、前記第１移動量が、所定値である第１移動量閾値以下であるという第３条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件と前記第３条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目２から６のいずれか一項に記載の制御装置。
この場合、ユーザの意図しない動作が実行されることを抑制できる。
前記算出部は、前記空間座標に基づき、前記第２方向における前記検知対象物の所定時間当たりの移動量である第１移動量を定期的に算出し、
前記判定部は、前記第１移動量が、所定値である第１移動量閾値以下であるという第３条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件と前記第３条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目２から６のいずれか一項に記載の制御装置。
この場合、ユーザの意図しない動作が実行されることを抑制できる。
【0094】
［項目８］
前記算出部は、前記空間座標に基づき、前記第３方向における前記検知対象物の所定時間当たりの移動量である第２移動量を定期的に算出し、
前記判定部は、前記第２移動量が、所定値である第２移動量閾値以下であるという第４条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件と前記第３条件と前記第４条件とが満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目７に記載の制御装置。
この場合、ユーザの意図しない動作が実行されることを抑制できる。
前記算出部は、前記空間座標に基づき、前記第３方向における前記検知対象物の所定時間当たりの移動量である第２移動量を定期的に算出し、
前記判定部は、前記第２移動量が、所定値である第２移動量閾値以下であるという第４条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件と前記第３条件と前記第４条件とが満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目７に記載の制御装置。
この場合、ユーザの意図しない動作が実行されることを抑制できる。
【0095】
［項目９］
前記空間座標に基づき、前記第１時刻から前記第２時刻までの間のうち所定期間における、前記第２方向の座標を平均化した第１平均座標と、前記第３方向の座標を平均化した第２平均座標と、を算出する平均化部を備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１平均座標と、前記第２平均座標と、に基づいて、前記電子機器に対する処理を実行する、
項目２から６のいずれか一項に記載の制御装置。
この場合、座標の算出精度を向上できる。
前記空間座標に基づき、前記第１時刻から前記第２時刻までの間のうち所定期間における、前記第２方向の座標を平均化した第１平均座標と、前記第３方向の座標を平均化した第２平均座標と、を算出する平均化部を備え、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、かつ前記第２時刻で前記第２条件が満たされると判定した場合、前記第１平均座標と、前記第２平均座標と、に基づいて、前記電子機器に対する処理を実行する、
項目２から６のいずれか一項に記載の制御装置。
この場合、座標の算出精度を向上できる。
【0096】
［項目１０］
前記算出部は、前記空間座標に基づき、前記第１時刻から前記第２時刻までの前記第１方向における前記検知対象物の移動量の合計である合計移動量を算出し、
前記判定部は、前記合計移動量が、所定値である合計移動量閾値以上であるという移動量条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、前記第２時刻で前記第２条件が満たされ、かつ前記移動量条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目２から６のいずれか一項に記載の制御装置。
この場合、ユーザの意図しない、電子機器に対する処理が実行されることを抑制できる。
前記算出部は、前記空間座標に基づき、前記第１時刻から前記第２時刻までの前記第１方向における前記検知対象物の移動量の合計である合計移動量を算出し、
前記判定部は、前記合計移動量が、所定値である合計移動量閾値以上であるという移動量条件が満たされるかを判定し、
前記機能実行部は、前記判定部が、前記第１時刻で前記第１条件が満たされ、前記第２時刻で前記第２条件が満たされ、かつ前記移動量条件が満たされると判定した場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、前記電子機器に対する処理を実行する、
項目２から６のいずれか一項に記載の制御装置。
この場合、ユーザの意図しない、電子機器に対する処理が実行されることを抑制できる。
【0097】
［項目１１］
検知対象物の時系列の空間座標を取得するステップであって、前記空間座標は、第１方向の座標、前記第１方向に交差する第２方向の座標、および前記第１方向と前記第２方向とに交差する第３方向の座標を含む、ステップと、
前記第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、前記第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行するステップと、
を備える制御方法。
この態様によれば、第２方向と第３方向の座標を決定するための動作を、短時間で、直感的に、ユーザに行わせることができる。
検知対象物の時系列の空間座標を取得するステップであって、前記空間座標は、第１方向の座標、前記第１方向に交差する第２方向の座標、および前記第１方向と前記第２方向とに交差する第３方向の座標を含む、ステップと、
前記第１方向の座標の変化に関する所定の第１条件が第１時刻で満たされた後、前記第１方向の座標の変化に関する所定の第２条件が第２時刻で満たされた場合、前記第１時刻から前記第２時刻までの１以上の時刻における、前記第２方向の座標と、前記第３方向の座標とに基づいて、操作対象である電子機器に対する処理を実行するステップと、
を備える制御方法。
この態様によれば、第２方向と第３方向の座標を決定するための動作を、短時間で、直感的に、ユーザに行わせることができる。
【符号の説明】
【0098】
１…情報処理システム、１０…センサ、１２…制御装置、１４，１５，１８…判定部、２０…制御部、２２…記憶部、２４…画像取得部、２６…座標取得部、２８…算出部、３０…判定部、３２…平均化部、３４…機能実行部、３６…表示出力部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】