特開 2022-175210 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022175210

(43)【公開日】2022-11-25

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20221117BHJP

   G06F 3/0346 20130101ALI20221117BHJP

   G06F 3/04812 20220101ALI20221117BHJP

   G06F 3/01 20060101ALI20221117BHJP

   G09G 5/00 20060101ALI20221117BHJP

   G09G 5/36 20060101ALI20221117BHJP

   G07B 1/00 20060101ALI20221117BHJP

   G07B 5/00 20060101ALI20221117BHJP

【ＦＩ】

G06F3/0484 120

G06F3/0346 422

G06F3/0481 120

G06F3/01 570

G09G5/00 550C

G09G5/00 510H

G09G5/36 520K

G09G5/36 520E

G07B1/00 E

G07B5/00 D

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021081438

(22)【出願日】2021-05-13

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】宮原 直也

【テーマコード（参考）】

3E026

5B087

5C182

5E555

【Ｆターム（参考）】

3E026CA01

5B087AA09

5B087AB02

5B087CC26

5B087CC33

5B087DE07

5C182AA02

5C182AA03

5C182AA04

5C182AB08

5C182AB11

5C182AB15

5C182AC02

5C182AC03

5C182BA01

5C182BA03

5C182BA04

5C182BA06

5C182BA14

5C182BA35

5C182BA65

5C182BA66

5C182BA75

5C182BC01

5C182BC22

5C182BC25

5C182BC26

5C182CB12

5C182CB32

5C182CB54

5C182CC21

5C182DA65

5E555AA06

5E555AA11

5E555BA05

5E555BA06

5E555BA31

5E555BB05

5E555BB06

5E555BB31

5E555BC08

5E555BC17

5E555CA42

5E555CB42

5E555CB66

5E555CC05

5E555CC07

5E555DA23

5E555DB02

5E555DB04

5E555DB06

5E555DB41

5E555DB53

5E555DC09

5E555DC13

5E555DC24

5E555DC61

5E555DC63

5E555DC84

5E555EA11

5E555EA14

5E555EA22

5E555FA00

(57)【要約】

【課題】ユーザによる非接触での操作を行い易くする。
【解決手段】被写体を撮影する撮影部と、前記被写体により非接触で操作される操作画面を生成する表示制御部と、を備え、前記表示制御部は、前記操作画面に前記被写体に対応する映像を配置し、かつ、前記操作画面における当該映像の位置に応じた指示位置に指示表示を配置する、情報処理装置。
【選択図】図４

【特許請求の範囲】

【請求項1】

被写体を撮影する撮影部と、
前記被写体により非接触で操作される操作画面を生成する表示制御部と、
を備え、
前記表示制御部は、前記操作画面に前記被写体に対応する映像を配置し、かつ、前記操作画面における当該映像の位置に応じた指示位置に指示表示を配置する、
情報処理装置。

【請求項2】

前記表示制御部は、前記撮影部により得られた映像に対し、左右反転処理を行って得られた映像を、前記被写体に対応する映像として前記操作画面に配置する、請求項１に記載の情報処理装置。

【請求項3】

前記表示制御部は、前記撮影部により得られた映像に対し、さらに解像度の圧縮または伸長を行って得られた映像を、前記被写体に対応する映像として前記操作画面に配置する、請求項２に記載の情報処理装置。

【請求項4】

前記情報処理装置は、前記指示位置および前記被写体による操作を認識する認識部をさらに有し、
前記操作画面は、前記被写体による操作の対象となる操作オブジェクトを含むエリアである第１エリアを含み、
前記第１エリアは、前記撮影部により得られた映像に基づき前記認識部が前記指示位置を認識可能なエリアである第２エリア内に位置する、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項5】

前記情報処理装置は、
前記操作画面を表示する表示部をさらに備え、
前記第１エリアは、前記第２エリアにおいて、前記表示部と前記撮影部の位置関係に応じて偏ったエリアに位置する、請求項４に記載の情報処理装置。

【請求項6】

前記表示制御部は、前記操作オブジェクトの背景として前記被写体に対応する映像を配置する、請求項４または５に記載の情報処理装置。

【請求項7】

前記被写体は手を含み、
前記認識部は、前記撮影部により得られた映像における前記手の指の移動量に基づいて前記被写体による操作を認識する、請求項４に記載の情報処理装置。

【請求項8】

前記認識部は、前記撮影部により得られた映像において、３本の指の下方向への移動量が所定の基準を満たし、かつ、手首の移動量が閾値以下であることに基づき、前記被写体による操作を認識する、請求項７に記載の情報処理装置。

【請求項9】

前記表示制御部は、前記被写体に対応する映像として、前記被写体の映像と異なる代替映像を前記操作画面に配置する、請求項１に記載の情報処理装置。

【請求項10】

被写体を撮影することと、
前記被写体により非接触で操作される操作画面を生成することと、
を含み、
前記操作画面を生成することは、前記操作画面に前記被写体に対応する映像を配置し、かつ、前記操作画面における当該映像の位置に応じた指示位置に指示表示を配置することを含む、コンピュータにより実行される情報処理方法。

【請求項11】

コンピュータを、
撮影部により撮影される被写体により非接触で操作される操作画面を生成する表示制御部を備え、
前記表示制御部は、前記操作画面に前記被写体に対応する映像を配置し、かつ、前記操作画面における当該映像の位置に応じた指示位置に指示表示を配置する、情報処理装置として機能させるための、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

近年、様々な場所にユーザによる操作を受け付けるユーザ操作型端末が設置されている。ユーザは、ユーザ操作型端末を自身で操作することで多様なサービスを受けることができる。例えば、映画館に設置されたユーザ操作型端末は座席の選択画面を表示し、ユーザがタッチ操作により座席を選択する。その後、ユーザ操作型端末は、決済処理を実行し、チケットを発券する。

【0003】

また、非接触による操作を検出するためのセンサーとして、ラインセンサー、ホバーセンサー、距離センサーなどが知られている。また、特許文献１にも、ジェスチャによる操作を受け付ける情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－２２５３７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、ユーザが非接触で操作を行う場合、操作画面における指示位置が現在どこにあるのか、および、自身のどの部位の位置に対応して操作画面における指示位置が決定されているのか、を把握することが困難であった。結果、ユーザが適切な操作を行い難く、誤操作が発生し得た。

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、非接触による操作を行い易くすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある観点によれば、被写体を撮影する撮影部と、前記被写体により非接触で操作される操作画面を生成する表示制御部と、を備え、前記表示制御部は、前記操作画面に前記被写体に対応する映像を配置し、かつ、前記操作画面における当該映像の位置に応じた指示位置に指示表示を配置する、情報処理装置が提供される。

【0008】

前記表示制御部は、前記撮影部により得られた映像に対し、左右反転処理を行って得られた映像を、前記被写体に対応する映像として前記操作画面に配置してもよい。

【0009】

前記表示制御部は、前記撮影部により得られた映像に対し、さらに解像度の圧縮または伸長を行って得られた映像を、前記被写体に対応する映像として前記操作画面に配置してもよい。

【0010】

前記情報処理装置は、前記指示位置および前記被写体による操作を認識する認識部をさらに有し、前記操作画面は、前記被写体による操作の対象となる操作オブジェクトを含むエリアである第１エリアを含み、前記第１エリアは、前記撮影部により得られた映像に基づき前記認識部が前記指示位置を認識可能なエリアである第２エリア内に位置してもよい。

【0011】

前記情報処理装置は、前記操作画面を表示する表示部をさらに備え、前記第１エリアは、前記第２エリアにおいて、前記表示部と前記撮影部の位置関係に応じて偏ったエリアに位置してもよい。

【0012】

前記表示制御部は、前記操作オブジェクトの背景として前記被写体に対応する映像を配置してもよい。

【0013】

前記被写体は手を含み、前記認識部は、前記撮影部により得られた映像における前記手の指の移動量に基づいて前記被写体による操作を認識してもよい。

【0014】

前記認識部は、前記撮影部により得られた映像において、３本の指の下方向への移動量が所定の基準を満たし、かつ、手首の移動量が閾値以下であることに基づき、前記被写体による操作を認識してもよい。

【0015】

前記表示制御部は、前記被写体に対応する映像として、前記被写体の映像と異なる代替映像を前記操作画面に配置してもよい。

【0016】

また、上記課題を解決するために、本発明の別の観点によれば、被写体を撮影することと、前記被写体により非接触で操作される操作画面を生成することと、を含み、前記操作画面を生成することは、前記操作画面に前記被写体に対応する映像を配置し、かつ、前記操作画面における当該映像の位置に応じた指示位置に指示表示を配置することを含む、コンピュータにより実行される情報処理方法が提供される。

【0017】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、撮影部により撮影される被写体により非接触で操作される操作画面を生成する表示制御部を備え、前記表示制御部は、前記操作画面に前記被写体に対応する映像を配置し、かつ、前記操作画面における当該映像の位置に応じた指示位置に指示表示を配置する、情報処理装置として機能させるための、プログラムが提供される。

【発明の効果】

【0018】

以上説明した本発明によれば、非接触による操作を行い易くすることが可能である。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態によるユーザ操作型端末１０の外観構成を示す説明図である。

【図2】ユーザ操作型端末１０の使用例を示す説明図である。

【図3】操作表示部１３６に表示される操作画面の具体例を示す説明図である。

【図4】操作画面に配置される映像およびポインタ表示の具体例を示す説明図である。

【図5】本発明の一実施形態によるユーザ操作型端末１０の構成を示す説明図である。

【図6】カメラ映像の処理に関するパラメータの具体例を示す説明図である。

【図7】ユーザ操作型端末１０の背面側から見たユーザ操作型端末１０を利用するユーザを示す説明図である。

【図8】カメラ１２０により得られるカメラ映像、および処理過程のカメラ映像を示す説明図である。

【図9】カメラ１２０による処理が終わったあとのカメラ映像（処理後カメラ映像）を示す説明図である。

【図10】特徴点の具体例を示す説明図である。

【図11】指示位置の認識結果例を示す説明図である。

【図12】指示位置の認識結果例を示す説明図である。

【図13】選択操作の具体例を示す説明図である。

【図14】操作画面に配置される映像およびポインタ表示の具体例を示す説明図である。

【図15】本発明の一実施形態によるユーザ操作型端末１０の動作を示す説明図である。

【図16】処理後カメラ映像の変形例を示す説明図である。

【図17】第２の変形例によるユーザ操作型端末１１におけるカメラ１２０と操作表示部１３６の位置関係を示す説明図である。

【図18】操作エリアＡ２と認識可能エリアＡ３の位置関係の変形例を示す説明図である。

【図19】ユーザ操作型端末１０のハードウェア構成を示したブロック図である。

【発明を実施するための形態】

【0020】

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0021】

また、本明細書および図面において、実質的に同一の機能構成または論理的意義を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成または論理的意義を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

【0022】

＜１．ユーザ操作型端末の概要＞
本発明の一実施形態は、ユーザによる操作を受け付けるユーザ操作型端末に関する。ユーザ操作型端末は、多様なサービスをユーザに提供し得る。例えば、ユーザ操作型端末は、ルート案内サービス、座席予約サービス、またはチケット発券サービスなどを提供することが可能である。まず、図１を参照して、このようなユーザ操作型端末の概要を説明する。

【0023】

図１は、本発明の一実施形態によるユーザ操作型端末１０の外観構成を示す説明図である。図１においては、自立型の情報端末をユーザ操作型端末１０として示しているが、アプリケーションがインストールされたスマートフォン、タブレット端末等の携帯型端末、タッチ式サイネージ用のディスプレイ等の情報表示装置をユーザ操作型端末１０として用いることも可能である。

【0024】

図１に示した例では、ユーザ操作型端末１０は、カメラ１２０、スピーカ１２４、操作表示部１３６、決済媒体部１４０およびチケット発券部１４４を備える。

【0025】

カメラ１２０は、被写体を撮影する撮影部の一例である。例えば、カメラ１２０は、ユーザ操作型端末１０の前にいるユーザを撮影すると、ユーザの映像を含むカメラ映像を取得する。なお、本発明の実施形態では、図１に示すように、操作表示部１３６の上に１台のカメラ１２０が設置されているが、カメラ１２０の台数、及び位置は特に限定されず、ユーザ操作型端末１０は任意の台数のカメラ１２０を任意の位置に備えてもよい。

【0026】

スピーカ１２４は、音声を再生する機能を有する。例えば、スピーカ１２４は、ユーザの操作を誘導する音声を出力してもよい。なお、本発明の実施形態では、図１に示すように、カメラ１２０の左右に１台ずつスピーカ１２４が設置されているが、スピーカ１２４の台数、及び位置は特に限定されず、ユーザ操作型端末１０は任意の台数のスピーカ１２４を任意の位置に備えてもよい。

【0027】

操作表示部１３６は、ユーザにより操作される操作画面を表示する表示部としての機能を有する。また、操作表示部１３６は、ユーザによるタッチ操作を検出する操作部としての機能も有する。例えば、表示部としての機能は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置により実現される。また、操作部としての機能は、例えばタッチパネルにより実現される。

【0028】

決済媒体部１４０およびチケット発券部１４４は、ユーザ操作型端末１０がチケット発券サービスを提供する機能を有する場合に設けられる。決済媒体部１４０は、チケット発券のための決済に利用される取引媒体が授受される開口部、および取引媒体に応じた決済処理を行う機能を有する。取引媒体としては、クレジットカードまたは現金が挙げられる。例えば、取引媒体がクレジットカードである場合、決済媒体部１４０は、挿入されたクレジットカードに記録された情報を読み取る。また、取引媒体が現金である場合、決済媒体部１４０は、現金の搬送路、現金カセットおよび現金の正当性を鑑別する鑑別部などを有する。入金時に決済媒体部１４０に投入された現金は、搬送路を介して鑑別部へ搬送され、鑑別部により正常な鑑別結果が得られた場合、金種に応じた現金カセットに搬送される。また、出金時には、現金カセットから現金が繰り出され、鑑別部が繰り出された紙幣を鑑別し、正常な鑑別結果が得られた場合に決済媒体部１４０に現金が搬送される。なお、電子マネーおよび仮想通貨を取引媒体として利用可能であり、この場合、決済媒体部１４０はユーザ操作型端末１０に設けられなくてもよい。

【0029】

チケット発券部１４４は、チケットを発券する機能をする。例えば、チケット発券部１４４は、ユーザが操作表示部１３６に表示されたチケットの検索結果から選択したチケットの情報を紙状媒体に印刷し、チケットの情報が印刷された紙状媒体であるチケットを排出する。

【0030】

（利用例）
ユーザは、上述したユーザ操作型端末１０を非接触で操作することも可能である。具体的には、ユーザ操作型端末１０は、カメラ１２０により得られたカメラ映像に含まれるユーザの映像の動きに基づいて、ユーザが操作画面において指し示している指示位置、および操作などを認識することが可能である。

【0031】

なお、図２に示したように、カメラ１２０は、操作表示部１３６の表示面に対向する範囲が撮影範囲に含まれるように配置されている。このため、ユーザ操作型端末１０の前に立つユーザは、操作表示部１３６に表示される操作画面を見ながら、非接触での操作を行うことが可能である。ここで、図３および図４を参照し、操作表示部１３６に表示される操作画面の具体例を説明する。

【0032】

図３は、操作表示部１３６に表示される操作画面の具体例を示す説明図である。図３に示すように、操作画面は、案内エリアＡ１および操作エリアＡ２を含む。案内エリアＡ１は、オペレータのアニメーション映像、および案内メッセージなどを含む。図３に示した例では、案内エリアＡ１に含まれる案内メッセージは「はじめに言語の選択をしてください。」である。

【0033】

操作エリアＡ２は、ユーザによる操作の対象となる操作オブジェクトを含むエリアである。図３に示した例では、操作エリアＡ２は、日本語に対応する操作オブジェクトＴ１、英語に対応する操作オブジェクトＴ２および中国語に対応する操作オブジェクトＴ３を含む。

【0034】

本発明の一実施形態によるユーザ操作型端末１０は、このような操作画面に、被写体に対応する映像を配置し、かつ、操作画面における当該映像の位置に応じた指示位置に指示表示を配置する。以下、図４を参照して、具体例を説明する。

【0035】

図４は、操作画面に配置される映像およびポインタ表示の具体例を示す説明図である。図４に示した例では、操作画面に、被写体に対応する映像としてユーザの映像４２を含むカメラ映像、および指示表示として機能するポインタ表示４４が配置されている。ポインタ表示４４が配置される指示位置は、ユーザの映像４２における手の位置に応じて決定される。図４に示した例では、ポインタ表示４４が操作オブジェクトＴ３に合わせられている。なお、図４にはポインタ表示４４として丸型の表示を示しているが、ポインタ表示４４の形状は特に限定されず、ポインタ表示４４はカーソル型または星形などの他の形状であってもよい。

【0036】

本発明の一実施形態によれば、上述したように、操作画面にユーザの映像４２およびポインタ表示４４が重畳的に配置される。従って、ユーザは、ポインタ表示４４に基づいて現在の指示位置を容易に把握することができる。また、ユーザは、ユーザの映像４２およびポインタ表示４４の位置関係に基づき、自分のどの部位の位置が指示位置に対応するかを容易に把握できるので、どの部位をどのように動かせばよいかも容易に把握することが可能である。結果、非接触によるユーザ操作型端末１０の操作を行い易くなる。以下、このような本発明の一実施形態によるユーザ操作型端末１０の構成および動作を順次詳細に説明する。

【0037】

＜ユーザ操作型端末の構成＞
図５は、本発明の一実施形態によるユーザ操作型端末１０の構成を示す説明図である。図５に示したように、本発明の一実施形態によるユーザ操作型端末１０は、カメラ１２０、スピーカ１２４、通信部１３２、操作表示部１３６、決済媒体部１４０、チケット発券部１４４および制御部１５０を有する。カメラ１２０、スピーカ１２４、操作表示部１３６、決済媒体部１４０およびチケット発券部１４４の機能は図２を参照して説明した通りであるので、ここでの詳細な説明を省略する。

【0038】

通信部１３２は、ネットワークを介して、上位のサーバ装置などと通信する機能を有する。例えば、通信部１３２は、ネットワークを介して操作画面をサーバ装置から受信し、ユーザによる操作内容をサーバ装置に送信してもよい。

【0039】

制御部１５０は、ユーザ操作型端末１０の動作全般を制御する。例えば、制御部１５０は、カメラ１２０、スピーカ１２４、通信部１３２、操作表示部１３６、決済媒体部１４０、チケット発券部１４４の制御を行う機能を有する。特に、本発明の一実施形態による制御部１５０は、図５に示したように、カメラ映像処理部１５２、操作認識部１５４および表示制御部１５６の機能を有する。

【0040】

（カメラ映像処理部１５２）
カメラ映像処理部１５２は、カメラ１２０により得られたカメラ映像を処理する。カメラ映像をそのまま操作画面の操作エリアに重ね合わせると、カメラ映像と操作画面の左右の関係がユーザの意図と反対になるし、カメラ映像の大きさが不適切になりかねない。このため、カメラ映像処理部１５２は、カメラ映像の左右反転処理、および解像度に関する処理などを実行する。制御部１５０には、カメラ映像処理部１５２による映像処理に用いられるパラメータとして、例えば図６に示すパラメータが設定されている。

【0041】

図６は、カメラ映像の処理に関するパラメータの具体例を示す説明図である。図６には、パラメータとして、カメラ映像の水平方向の解像度（横幅）、カメラ映像の垂直方向の解像度（縦幅）、カメラ映像を画面に表示するか否かを示す値、カメラ映像の表示座標（Ｘ座標）、カメラ映像の表示座標（Ｙ座標）、カメラ映像の水平方向の表示サイズ（横幅）、カメラ映像の垂直方向の表示サイズ（縦幅）を示している。カメラ映像を画面に表示するか否かを示す値について、「１」は表示するに対応し、「０」は表示しないに対応する。以下、図７～図９を参照して、図６に示したパラメータが設定されている状態においてカメラ映像処理部１５２により実行される処理の具体例を説明する。

【0042】

図７は、ユーザ操作型端末１０の背面側から見たユーザ操作型端末１０を利用するユーザを示す説明図である。図８は、カメラ１２０により得られるカメラ映像、および処理過程のカメラ映像を示す説明図である。図９は、カメラ１２０による処理が終わったあとのカメラ映像（処理後カメラ映像）を示す説明図である。

【0043】

図７に示した例では、ユーザは右手を顔の高さまで上げており、右手の位置が操作表示部１３６に向かって相対的に右側に位置している。一方、この状態でカメラ１２０により得られるカメラ映像は、図８の上段に示したように、ユーザの挙げている手が左側に位置しているカメラ映像である。

【0044】

カメラ映像処理部１５２は、図８の上段に示したカメラ映像を左右反転処理（ミラーリング）により図８の中段に示すように左右反転させる。続いて、カメラ映像処理部１５２は、図８の下段に示すように、Ｘ座標を反転させる。

【0045】

さらに、カメラ映像処理部１５２は、設定されているパラメータ（カメラ映像の表示サイズ）に従い、カメラ映像の解像度が１２８０：９６０になるように解像度の伸長を行う。これにより、図９に示した処理後カメラ映像が得られる。なお、元々のカメラ映像の解像度がカメラ映像の表示サイズとして設定されている解像度よりも大きい場合には、解像度の圧縮が行われる。

【0046】

（操作認識部１５４）
操作認識部１５４は、ユーザが処理後カメラ映像において指し示している位置である指示位置、および所定の操作などを認識する認識部である。以下、指示位置の認識方法、および所定の操作の認識方法を説明する。

【0047】

操作認識部１５４は、処理後カメラ映像において、ユーザの手を検出し、ユーザの手の特徴点を検出する。そして、操作認識部１５４は、１または２以上の特徴点の位置を用いて指示位置を認識する。

【0048】

図１０は、特徴点の具体例を示す説明図である。図１０には、特徴点０～２０の計２１の特徴点を示している。操作認識部１５４は、例えばこのような計２１の特徴点をユーザの手から検出する。さらに、操作認識部１５４は、例えば、人差し指、中指および薬指の各々の付け根の関節である特徴点５、９および１３の位置の平均値を指示位置として認識する。

【0049】

図１１および図１２は、指示位置の認識結果例を示す説明図である。図１１および図１２に示したように、操作認識部１５４は、手が開いた状態でも手が握られている状態においても、指示位置Ｐを認識することが可能である。

【0050】

続いて、所定の操作として、ユーザが３本の指（人差し指、中指および薬指）の位置を握ることで下げる操作の認識方法を説明する。ここでは、当該操作が操作オブジェクトを選択する選択操作（クリック操作）であるものとする。

【0051】

例えば、カメラ１２０のフレームレートが３０ｆｐｓである場合、概ね３０～４０ｍｓでカメラ映像の解析結果が通知される。このため、操作認識部１５４は、人差し指、中指および薬指の先端に対応する特徴点（８、１２および１６）のＹ座標の移動量が所定の基準を満たし、かつ、手首に対応する特徴点（０）の移動量が閾値以下であることに基づき、選択操作を認識してもよい。所定の基準は、人差し指、中指および薬指の先端に対応する特徴点（８、１２および１６）のうちの２つのＹ座標が１つ前のフレームから３０ｐ（ピクセル）以上下がったことであってもよい。

【0052】

上記の認識方法によれば、図１３に示すようにユーザが手首を下げずに手を握った場合に、ユーザが選択操作を行ったと認識できる。なお、認識に利用する指、および各指の移動量に関する条件などは設定ファイルにて変更可能である。

【0053】

（表示制御部１５６）
表示制御部１５６は、多様な表示画面を生成し、当該表示画面を操作表示部１３６に表示させる。例えば、表示制御部１５６は、上述した操作画面を生成し、操作画面を操作表示部１３６に表示させる。さらに、表示制御部１５６は、操作画面の操作エリアＡ２に重なるように、被写体に対応する映像およびポインタ表示を配置する。以下、図１４を参照して、具体例を説明する。

【0054】

図１４は、操作画面に配置される映像およびポインタ表示の具体例を示す説明図である。図１４において、認識可能エリアＡ３は第２エリアの一例であり、ユーザの映像４２を含む処理後カメラ映像が配置されるエリアである。操作認識部１５４は、当該認識可能エリアＡ３内で指示位置および選択操作などを認識可能である。操作エリアＡ２は、当該認識可能エリアＡ３内に位置する。

【0055】

例えば、図６に示したようにカメラ映像の表示座標（Ｘ座標）が「－１００」、カメラ映像の表示座標（Ｙ座標）が「－１１５」に設定されている場合、認識可能エリアＡ３の原点座標Ｏ３は、図１４に示したように、操作エリアＡ２の原点座標Ｏ２に対して、Ｘ座標で１００ｐ、Ｙ座標で１１５ｐずれて位置する。

【0056】

そして、表示制御部１５６は、認識可能エリアＡ３において、処理後カメラ映像を操作エリアＡ２の操作オブジェクトＴの背景となるように配置する。また、表示制御部１５６は、操作認識部１５４により認識された指示位置にポインタ表示４４を配置する。

【0057】

図１４においては、英語に対応する操作オブジェクトＴ２にポインタ表示４４が合わせられている。ユーザは、この状態で右手を握ることにより、英語に対応する操作オブジェクトＴ２を選択することが可能である。

【0058】

その他、表示制御部１５６は、案内画面、および選択操作に関する注意喚起画面、手の位置に関する注意喚起画面などを生成する。例えば、案内画面は、ユーザがユーザ操作型端末１０の操作を開始する際に、ユーザ操作型端末１０の操作方法を案内するために生成され、操作表示部１３６に表示される。案内画面は、カーソル表示４４をボタンに合わせて手を握ることによりボタンが選択可能であることを示すメッセージを含んでもよい。また、案内画面は、１０秒間隔など定期的に表示されてもよい。

【0059】

選択操作に関する注意喚起画面は、操作認識部１５４による手の検出の失敗が繰り返される場合、または、手首に対応する特徴点と人差し指または中指などの付け根に対応する特徴点のＹ軸方向での差分が設定値以下である場合などに表示される。選択操作に関する注意喚起画面は、手を起こして操作することを誘導するメッセージを含んでもよい。

【0060】

手の位置に関する注意喚起画面は、操作認識部１５４により検出された手の位置が操作エリアＡ２または操作画面外になった場合に表示される。手の位置に関する注意喚起画面は、操作エリアＡ２または操作画面内で操作することを誘導するメッセージを含んでもよい。

【0061】

＜ユーザ操作型端末の動作＞
以上、本発明の一実施形態によるユーザ操作型端末１０の構成を説明した。続いて、図１５を参照し、本発明の一実施形態によるユーザ操作型端末１０の動作を整理する。

【0062】

図１５は、本発明の一実施形態によるユーザ操作型端末１０の動作を示す説明図である。図１５に示したように、まず、ユーザがユーザ操作型端末１０の前に立つと、表示制御部１５６が操作画面を生成し（Ｓ３０４）、カメラ１２０がカメラ映像のカメラ映像処理部１５２への送信を開始する（Ｓ３０８）。

【0063】

そして、カメラ映像処理部１５２がカメラ映像に対して左右反転処理および解像度の処理を実行することで、処理後カメラ映像を得る（Ｓ３１２）。カメラ映像処理部１５２は、処理後カメラ映像を表示制御部１５６に供給する（Ｓ３１６）。

【0064】

そして、表示制御部１５６は処理後カメラ映像を操作認識部１５４に供給し、操作認識部１５４が、処理後カメラ映像から、指示位置および選択操作などを認識する（Ｓ３２４）。操作認識部１５４は、認識結果を表示制御部１５６に供給する（Ｓ３２８）。

【0065】

続いて、表示制御部１５６は、操作画面に処理後カメラ映像およびポインタ表示などを配置して、これら配置後の操作画面を操作表示部１３６に表示させる（Ｓ３３２）。また、選択操作が認識された場合には（Ｓ３３６／Ｙｅｓ）、制御部１５０は、ポインタ表示が合っている操作オブジェクトに応じた処理を実行する（Ｓ３４０）。

【0066】

＜作用効果＞
以上説明した本発明の一実施形態によれば、多様な作用効果が得られる。例えば、本発明の一実施形態によれば、操作画面にユーザの映像４２およびポインタ表示４４が重畳的に配置される。従って、ユーザは、ポインタ表示４４に基づいて現在の指示位置を容易に把握することができる。また、ユーザは、ユーザの映像４２およびポインタ表示４４の位置関係に基づき、自分のどの部位の位置が指示位置に対応するかを容易に把握できるので、どの部位をどのように動かせばよいかも容易に把握することが可能である。結果、非接触によるユーザ操作型端末１０の操作を行い易くなる。

【0067】

また、本発明の一実施形態によるカメラ映像処理部１５２は、カメラ１２０により得られたカメラ映像の解像度を例えばＸ座標上およびＹ座標上の各々で２倍に伸長して処理後カメラ映像を取得し、表示制御部１５６が当該処理後カメラ映像を操作画面に配置する。従って、解像度が伸長されていないカメラ映像が操作画面に配置される場合に比べて、ユーザはより少ない手の動きで指示位置の一定量の移動を実現することが可能である。

【0068】

また、本発明の一実施形態によれば、操作エリアＡ２が認識可能エリアＡ３内に位置する。従って、操作エリアＡ２の外枠に近い部分における操作も見切れることなく認識することが可能である。

【0069】

また、本発明の一実施形態によれば、例えば３本の指の動きで選択操作を認識することが可能である。通常のタッチ操作では１本の指でボタンが押下されるところ、タッチ操作と非接触での選択操作が区別されることにより、タッチ操作と非接触操作が併用される場合に誤認識の発生を抑制することが可能である。すなわち、ユーザは、タッチ操作または非接触操作のいずれの操作もストレスなく使うことが可能である。

【0070】

また、本発明の一実施形態によれば、処理後カメラ映像が操作オブジェクトの背景として配置されるので、操作オブジェクトの視認性を確保することが可能である。

【0071】

＜変形例＞
以上、本発明の一実施形態を説明した。以下では、上述した実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上述した実施形態に適用されてもよいし、組み合わせで上述した実施形態に適用されてもよい。また、各変形例は、上述した実施形態の構成に代えて適用されてもよいし、上述した実施形態の構成に対して追加的に適用されてもよい。

【0072】

（第１の変形例）
上記では、カメラ映像処理部１５２がカメラ映像の解像度を例えばＸ座標上およびＹ座標上の各々で２倍に伸長して処理後カメラ映像を取得する例を説明したが、カメラ映像の倍率は２倍に限定されない。例えば、カメラ映像処理部１５２は、設定されているパラメータに基づき、カメラ映像の解像度をＸ座標上およびＹ座標上の各々で４倍に伸長して処理後カメラ映像を取得してもよい。

【0073】

図１６は、処理後カメラ映像の変形例を示す説明図である。図１６に示したように、Ｘ座標上およびＹ座標上の各々で４倍に伸長された処理後カメラ映像は、横幅が２５６０ｐであり、縦幅が１９２０ｐである操作認識可能エリアＡ３に配置される。この場合、図１４に示した例に比べて、操作エリアＡ２に対するユーザの映像の大きさが大きくなる。従って、ユーザは、より小さい手の動きで指示位置を一定量移動させることが可能となる。

【0074】

（第２の変形例）
上記では、カメラ１２０が操作表示部１３６の上部中央に設置される例を説明したが、カメラ１２０は他の位置に設置されてもよい。また、操作エリアＡ２は、認識可能エリアＡ３においてカメラ１２０と操作表示部１３６との位置関係に応じて偏ったエリアに位置してもよい。以下、第２の変形例によるユーザ操作型端末１１を説明する。

【0075】

図１７は、第２の変形例によるユーザ操作型端末１１におけるカメラ１２０と操作表示部１３６の位置関係を示す説明図である。図１７に示した例では、カメラ１２０は操作表示部１３６の横に位置している。より具体的には、カメラ１２０は、ユーザ操作型端末１１の前に立つユーザから見て操作表示部１３６の右側に位置している。このようなユーザ操作型端末１１において、操作エリアＡ２が認識可能エリアＡ３の中央に位置すると、ユーザは、ユーザから見て操作エリアＡ２の右側の部分を操作し難くなる。

【0076】

そこで、図１８に示すように、操作エリアＡ２は、認識可能エリアＡ３においてユーザから見て左側に偏ったエリアに位置してもよい。かかる構成によれば、ユーザは操作エリアＡ２内での操作のために動かす腕の移動距離を短くすることが可能である。

【0077】

（第３の変形例）
上記では、ユーザの映像を含む処理後カメラ映像を操作表示部１３６が表示する例を説明した。しかし、操作表示部１３６には他の映像が表示されてもよい。例えば、表示制御部１５６は、ユーザの一部の部位の映像のみ、例えば、手の映像のみを操作画面に配置させてもよい。

【0078】

または、表示制御部１５６は、ユーザの映像に代えて、ユーザに対応する代替映像としてアバター映像を操作画面に配置してもよい。また、表示制御部１５６は、ユーザの映像に代えて、処理後カメラ映像における手の位置に手の代替映像を配置してもよい。いずれの例でも、ユーザは非接触による操作を行い易くなる。

【0079】

＜ハードウェア構成＞
以上、本発明の各実施形態を説明した。上述したカメラ映像の処理および表示制御などの情報処理は、ソフトウェアと、以下に説明するユーザ操作型端末１０のハードウェアとの協働により実現される。

【0080】

図１９は、ユーザ操作型端末１０のハードウェア構成を示したブロック図である。ユーザ操作型端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、ユーザ操作型端末１０は、ブリッジ２０５と、外部バス２０６と、インターフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインターフェース２１５とを備える。

【0081】

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ操作型端末１０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、図５を参照して説明した制御部１５０の機能が実現され得る。

【0082】

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0083】

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサー、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。ユーザ操作型端末１０のユーザは、該入力装置２０８を操作することにより、ユーザ操作型端末１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0084】

表示装置２０９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

【0085】

ストレージ装置２１１は、本実施形態にかかるユーザ操作型端末１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

【0086】

ドライブ２１２は、記憶媒体用リーダライタであり、ユーザ操作型端末１０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

【0087】

ネットワークインターフェース２１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インターフェースである。また、ネットワークインターフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

【0088】

＜補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0089】

例えば、本明細書のユーザ操作型端末１０の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ユーザ操作型端末１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

【0090】

また、ユーザ操作型端末１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したユーザ操作型端末１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

【符号の説明】

【0091】

１０、１１ ユーザ操作型端末
１２０ カメラ
１２４ スピーカ
１３２ 通信部
１３６ 操作表示部
１４０ 決済媒体部
１４４ チケット発券部
１５０ 制御部
１５２ カメラ映像処理部
１５４ 操作認識部
１５６ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】