特許 7203436 ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-04

(45)【発行日】2023-01-13

(54)【発明の名称】ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230105BHJP

   G06F 3/0346 20130101ALI20230105BHJP

   G06T 7/00 20170101ALI20230105BHJP

   G06T 7/20 20170101ALI20230105BHJP

【ＦＩ】

G06F3/01 570

G06F3/0346 422

G06T7/00 350C

G06T7/20 300A

【請求項の数】 12

(21)【出願番号】P 2020189577

(22)【出願日】2020-11-13

(65)【公開番号】P2022078706

(43)【公開日】2022-05-25

【審査請求日】2022-04-28

(73)【特許権者】

【識別番号】516209175

【氏名又は名称】ディープインサイト株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(74)【代理人】

【識別番号】100118256

【弁理士】

【氏名又は名称】小野寺 隆

(74)【代理人】

【識別番号】100166338

【弁理士】

【氏名又は名称】関口 正夫

(72)【発明者】

【氏名】小島 竜一

【審査官】星野 裕

(56)【参考文献】

【文献】特開２０１９－１２１１９１（ＪＰ，Ａ）

【文献】特開２０１５－０６９３６９（ＪＰ，Ａ）

【文献】特開２０２０－０５７１３９（ＪＰ，Ａ）

【文献】国際公開第２０１５／１０４９１９（ＷＯ，Ａ１）

【文献】特開２０１４－１７８８８７（ＪＰ，Ａ）

【文献】国際公開第２０１５／１０８１１２（ＷＯ，Ａ１）

【文献】特開２０１６－１６７２６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像を２値化した画像について、前記カメラ画像に含まれる対象物の端部を検出するために、前記２値化した画像上で方向の異なる、少なくとも斜め２方向にサーチする検出部と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備えたユーザインターフェイス装置。

【請求項2】

前記部分画像をディープラーニングによりクラス分けする形態認識部を備え、
前記選択部は、クラス分けされた部分画像から前記指示体が指示前の形態を示す部分画像と指示後の形態を示す部分画像とを選択する、請求項１に記載のユーザインターフェイス装置。

【請求項3】

前記指示体は、ユーザの親指と人差し指であり、
前記指示前の形態は、前記親指と前記人差し指が開いた状態であり、前記指示の形態は前記親指と前記人差し指が付いた状態である、請求項1又は２に記載のユーザインターフェイス装置。

【請求項4】

前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
前記指示体の位置を示す座標が入力されると、前記座標記憶部に記憶された前記座標の履歴を読み出して移動平均値を取り、該移動平均値を用いて入力された前記座標を補正して出力する移動平均値演算部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、請求項１から３のいずれか１項に記載のユーザインターフェイス装置。

【請求項5】

前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
生成した、前記指示体が指示前の形態か指示の形態かを示す情報に基づいて、前記指示体の形態の変化を検出し、形態が変化する際に前記指示体の位置をロックするためのロック制御信号を出力する座標ロック制御部と、
前記ロック制御信号が入力されない場合には、入力された、前記指示体の位置を示す座標を出力し、ロック制御信号が入力された場合には、前記座標記憶部に記憶された、ロックする直前の前記指示体の座標を読み出し、形態が変わる直前の前記指示体の座標を維持し、該指示体の座標を出力する座標選択部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、請求項１から４のいずれか１項に記載のユーザインターフェイス装置。

【請求項6】

前記指示体の位置を示す座標が入力されると、前記座標記憶部から、ロックする直前の前記指示体の位置を示す座標を読み出して座標変化量を検出する座標変化量検出部を備え、
前記座標ロック制御部は、前記指示体の形態の変化を検出した場合に、前記直前の座標からの変化量が、入力される所定の変化量を超えないときは前記ロック制御信号を出力し、入力される所定の変化量を超えるときは前記ロック制御信号を出力せず、前記ロック制御信号を出力後に、前記直前の座標からの変化量が、入力される所定の変化量を超えたときはロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、請求項５に記載のユーザインターフェイス装置。

【請求項7】

前記座標ロック制御部は、前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、ロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、請求項５に記載のユーザインターフェイス装置。

【請求項8】

前記座標ロック制御部が前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、入力される前記所定の変化量を前記所定の変化量より小さい値に書き換える、請求項６に記載のユーザインターフェイス装置。

【請求項9】

前記情報生成部は、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報を記憶する記憶部と、
前記記憶部から前記指示体の状態を読み出し、前記指示体の状態が変化し、変化後の前記指示体の状態が所定の回数連続して検出した場合に、前記指示体の状態の切り替え制御信号を出力する連続状態検出部と、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報が入力され、入力された情報が示す状態と、入力前に出力した状態と異なる場合に、前記切り替え制御信号を受けたときに、前記入力前に出力した状態を前記入力された情報が示す状態に切り替えて出力する状態選択部と、
前記入力前に出力した状態を記憶する選択状態記憶部と、
を備えた、
請求項１から８のいずれか１項に記載のユーザインターフェイス装置。

【請求項10】

前記指示体の位置が前記カメラ画像の領域から外れているかどうかを判断する判断部と、
前記指示体の位置が前記カメラ画像の領域から外れている場合に、ユーザに報知する報知部と、
を備えた、請求項１から９のいずれか１項に記載のユーザインターフェイス装置。

【請求項11】

請求項１から請求項１０のいずれか１項に記載のユーザインターフェイス装置と、
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステム。

【請求項12】

コンピュータに、
カメラ画像に含まれる対象物の端部を検出するために、前記カメラ画像上で方向の異なる、少なくとも斜め２方向にサーチする検出機能と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し機能と、
前記部分画像が、前記対象物として、指示のために形態が変わる指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択機能と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成機能と、
を実行させる、ユーザインターフェイス用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、指等の指示体の動きによって機器との間でやりとりされる情報を特定するユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラムに関する。

【背景技術】

【0002】

ユーザの指先の動きによってコンピュータへの入力を行うユーザインターフェイス装置が、例えば特許文献１に記載されている。
特許文献１には、ユーザの指先がタッチパネルに触れていなくても、指先の動きに応じてタッチパネル上に表示される画面を変更できるユーザインターフェイス装置が記載されている。具体的には、特許文献１には、ユーザインターフェイス装置が、ディスプレイに表示される表示画像を出力可能な画像出力手段と、ディスプレイの周辺の周辺画像を撮像する撮像手段と、撮像された周辺画像に基づいて、ユーザの指の状態を解析する解析手段と、解析された指の状態に基づいて、ユーザの操作意図を推測する推測手段と、ユーザの指先がディスプレイの表面に触れる前に、推測された操作意図に応じて、表示画像を変更するように画像出力手段を制御する制御手段とを備えていることが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１３３９４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

指等の指示体のカメラ画像から認識された指示体の動きによって機器との間で情報をやりとりするユーザインターフェイス装置においては、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することが求められる。
本発明は、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができるユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

（１） 本発明の第１の態様は、指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像を２値化した画像について、前記カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出部と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備えたユーザインターフェイス装置である。

【0006】

（２） 本発明の第２の態様は、上記（１）のユーザインターフェイス装置と、
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステムである。
（３） 本発明の第３の態様は、コンピュータに、
カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出機能と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し機能と、
前記部分画像が、前記対象物として、指示のために形態が変わる指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択機能と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成機能と、
を実行させる、ユーザインターフェイス用プログラムである。

【発明の効果】

【0007】

本発明によれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態の、ユーザインターフェイスシステムを示すブロック図である。

【図2】親指と人差し指とのピンチで数字キーを選択する動作を示す説明図である。

【図3】ユーザインターフェイス装置の構成を示すブロック図である。

【図4】右手を含むカメラ画像を示す図である。

【図5】右手の形を抽出した画像の上で指先をサーチする方法を説明する図である。

【図6】左手の形を抽出した画像の上で指先をサーチする方法を説明する図である。

【図7】部分画像をクラス分けした表を示す図である。

【図8】ユーザインターフェイス装置の動作を示すフローチャートである。

【図9】本発明の第２の実施形態のユーザインターフェイス装置のポインタ演算部を示すブロック図である。

【図10】本実施形態の第２の実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。

【図11】本発明の第３の実施形態のユーザインターフェイス装置のポインタ演算部を示すブロック図である。

【図12】本実施形態の第３の実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。

【図13】本発明の第４の実施形態のユーザインターフェイス装置のポインタ演算部を示すブロック図である。

【図14】本実施形態の第４の実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。

【図15】本発明の第５の実施形態のユーザインターフェイス装置のポインタ演算部を示すブロック図である。

【図16】本実施形態の第５の実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。

【図17】伸ばした親指で非選択状態を表した様子を示す図である。

【図18】伸ばした親指を回転させて選択状態を表した様子を示す図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について図面を用いて詳細に説明する。

【0010】

（第１の実施形態）
図１は、本発明の一実施形態の、ユーザインターフェイスシステムを示すブロック図である。図２は親指と人差し指とのピンチで数字キーを選択する動作を示す説明図である。図３は、ユーザインターフェイス装置の構成を示すブロック図である。図４は、右手を含むカメラ画像を示す図である。図５は、右手の形を抽出した画像の上で指先をサーチする方法を説明する図である。図６は、左手の形を抽出した画像の上で指先をサーチする方法を説明する図である。

【0011】

図１に示すように、ユーザインターフェイスシステム１は、ユーザインターフェイス装置１０Ａを有するパーソナルコンピュータ１０、撮像装置となるカメラ２０及び液晶表示装置等の表示装置３０を備えている。ここでは、パーソナルコンピュータ１０の一部がユーザインターフェイス装置１０Ａの一部として含む例について説明しているが、ユーザインターフェイス装置１０Ａは、パーソナルコンピュータ１０とは別に設けられてもよい。
図１に示すユーザインターフェイスシステム１は、黒色プレート上で、指示体となる親指と人差し指とを含むユーザの手をカメラ２０で撮影し、パーソナルコンピュータ１０が表示装置３０の表示画面のテンキー（数値入力用キー）上に親指と人差し指とを半透明にして表示する。

【0012】

ユーザが入力したい数字キー上で、親指と人差し指とをピンチする（つまむ）ことで、パーソナルコンピュータ１０は、親指と人差し指とのピンチで数字キーが選択されたと判断して、表示装置３０の表示画面の数字入力欄に数字を表示する。図１に示すようにテンキーには、０～９の数字キーの他に「ＤＥＬ」で示される削除キー、「ＣＬＲ」で示されるクリアキーがある。図２に示すように、親指と人差し指との間に指示点（例えば緑色の指示点）が表示され、この指示点を選択しようとするキー、ここでは削除キー上に置き、親指と人差し指とをピンチすることで、削除キーが選択され、数字入力欄の数字「９６３２」の内「２」を消すことができる。親指と人差し指との間に指示点を設けることで、キーが小さくとも選択が容易となるが、指示点は表示しなくともよい。

【0013】

親指と人差し指とを用いて、指先でつまむ動作は、誰でもなじみのある動きであり、選択操作に好適な動作であるため、本実施形態は親指と人差し指とを用いて、指先でつまむ動作を選択動作として用いている。親指と人差し指は指示体となるが、以下の説明では、親指と人差し指はキー上の位置を指定するポインタとして説明を行う。

【0014】

図２では右手で親指と人差し指とをピンチすることで、表示装置３０の表示画面の数字入力欄に数字を表示する例を示しているが、左手で親指と人差し指とをピンチすることで、表示装置３０の表示画面の数字入力欄に数字を表示してもよい。

【0015】

図３に示すように、ユーザインターフェイス装置１０Ａは、対象検出部１１、画像切り出し部１２、形態認識部１３、ポインタ選択部１４、ポインタ情報生成部１５、及びポインタ情報送信部１６を備えている。

【0016】

対象検出部１１は、カメラ画像を２値化し、対象となる部位（例えば、親指と人差し指）を検出し、指先の画像上の位置と指先を含む領域のサイズを出力する。
対象検出部１１には、カメラ２０で撮影されたカメラ画像が入力される。図４は、右手を含むカメラ画像を示す図である。図４では図示されていないが、右手以外の部分は背景色（ここでは黒色プレートの黒色）となっている。

【0017】

対象検出部１１はカメラ画像を２値化して手の形を抽出した画像の上で、指先を検出するために方向の異なる、斜め２方向の２軸でサーチを行う。２軸でサーチすることで、右手には右下方向に、左手には左下方向に走査してサーチし、最初にぶつかる点を指先とみなすことができる。

【0018】

図５は、右手の形を抽出した画像の上で指先をサーチする方法を説明する図である。図６は、左手の形を抽出した画像の上で指先をサーチする方法を説明する図である。
図５に示すように、２値化された右手の画像を第１サーチ軸でサーチすると、指先を抽出でき、図６に示すように、２値化された左手の画像を第２サーチ軸でサーチすると、指先を抽出できる。このように２軸でサーチを行うと、右手及び左手のいずれであっても指先を検出することできる（図５及び図６において、指先の検出位置を黒点で示す）。
図５及び図６に示すように、右手又は左手の画像を第１サーチ軸と第２サーチ軸の２軸でサーチすると、一方のサーチ軸では指先を抽出できるが、もう一方のサーチ軸の側で、指先ではない箇所（検出位置を黒点で示す）を抽出してしまう（誤検出する）。しかし、認識情報を使って後段のポインタ選択部１４で指先ではない箇所を除外できる。
指先をサーチするには、サーチ方向を下向きから３０°前後の方向に設定する（図５及び図６の角度θ１及び角度θ２を３０度前後とする）のが好適である。

【0019】

対象検出部１１は、第１サーチ軸と第２サーチ軸の２軸でサーチすることで得られた２つの画像上の指先の検出位置と指先を含む領域のサイズを出力する。サイズは規定値とし、画像切り出し部１２で切り出しを行う領域を規定する。図５及び図６に示す、第１切り出し矩形領域及び第２切り出し矩形領域は、画像切り出し部１２で切り出しを行う領域に対応している。
なお、サーチ軸を斜め２方向の２軸としたが、３軸以上としてもよい。

【0020】

画像切り出し部１２は、対象検出部１１から出力される、第１サーチ軸及び第２サーチ軸のサーチで検出された指先の検出位置と指先を含む領域のサイズに対応する部分画像を、カメラ２０から出力されるカメラ画像から切り出す。切り出した２つの部分画像は、図５又は図６の第１切り出し矩形領域及び第２切り出し矩形領域に対応している。
なお、カメラ画像の代わりに、前記２値化した画像から部分画像を取り出しても類似した効果が得られる。

【0021】

形態認識部１３は、画像切り出し部１２で切り出した部分画像を、ディープラーニングにより推論し、形態をクラス分けして、部分画像の位置と形態を出力する。

【0022】

カメラ２０で撮像した画像には、図２に示す、親指と人差し指とを含むユーザの手を撮像した画像の他に、種々の画像が含まれる。よって、部分画像も親指と人差し指の画像の他に、種々の画像が含まれる。形態認識部１３は、部分画像を、図７に示す表のような１３個の形態に、０～１２のクラス番号を割り当てて、ディープラーニングにより区分けする。
図７に示すように、クラス０では、親指と人差し指とが離れ、ポインタが非選択状態にあり、クラス１では、親指と人差し指とが付き、ポインタが選択状態にある。親指と人差し指とは指示体となり、非選択状態が指示前の形態、選択状態が指示の形態となる。
クラス２、３では、親指又は人差し指の一本で、ポインタでない状態（非ポインタ）にある。クラス４、５では、人差し指と中指との二本で、ポインタでない状態（非ポインタ）にあるが、クラス４では隙間があり、クラス５では隙間のない状態にある。クラス６、７では、人差し指と中指と薬指の三本で、ポインタでない状態（非ポインタ）にあるが、クラス６では隙間があり、クラス７では隙間のない状態にある。クラス８では、人差し指と中指と薬指と小指の四本で、ポインタでない状態（非ポインタ）にある。クラス９では指の付け根の横からのアングルであり、ポインタでない状態（非ポインタ）にある。クラス１０では手を握ったげんこつの状態であり、ポインタでない状態（非ポインタ）にある。クラス１１ではクラス０～１０以外の指の形状を示し、ポインタでない状態（非ポインタ）にある。クラス１２では指以外の形状を示し、ポインタでない状態（非ポインタ）にある。
なお図７ではクラス０、クラス１は右手の親指と人差し指の部分画像を示しているが、左手の親指と人差し指の部分画像も同様にクラス分けされる。

【0023】

ポインタ選択部１４は、部分画像の中から、形態がポインタ形状に該当するものだけを抽出し、ポインタの部分画像の位置と形態を出力する。本実施形態で、ポインタとして使用するのは、クラス０とクラス１のみであり、他の形状が画像に表れた場合は無視して抽出しない。この選択操作により、第１サーチ軸と第２サーチ軸の２軸でのサーチで検出された、指先ではない箇所を除外することができる。複数の候補が残る場合は、カメラ画像の最も上部に位置するものを選択する。これは、カメラの正面に立って指先を伸ばすと、手のどの構成要素よりも上側に指先が現れやすいためである。

【0024】

ポインタ情報生成部１５は、ポインタ選択部１４で抽出された部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報（ポインタの状態を示す情報）を生成し、ポインタの部分画像の位置とポインタの状態を示す情報を出力する。図２に示す、親指と人差し指との間に指示点（例えば緑色の指示点）の位置は、ポインタ情報生成部１５で決められる。
ポインタ情報送信部１６は、部分画像の位置とポインタの状態を示す情報を、パーソナルコンピュータ１０に含まれる呼び出し元のアプリケーションや、ユーザインターフェイス装置１０Ａの外部のホストデバイスに出力する。

【0025】

以上、ユーザインターフェイス装置１０Ａに含まれる機能ブロックについて説明した。
これらの機能ブロックを実現するために、ユーザインターフェイス装置１０Ａ又はユーザインターフェイス装置１０Ａを含むパーソナルコンピュータ１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備えたコンピュータ等で構成される。また、ユーザインターフェイス装置１０Ａは、プログラムやＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置も備える。

【0026】

そして、ユーザインターフェイス装置１０Ａ又はユーザインターフェイス装置１０Ａを含むパーソナルコンピュータ１０において、演算処理装置が補助記憶装置からプログラムやＯＳを読み込み、読み込んだプログラムやＯＳを主記憶装置に展開させながら、これらのプログラムやＯＳに基づいた演算処理を行なう。また、この演算結果に基づいて、各装置が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。

【0027】

次に、ユーザインターフェイス装置１０Ａの動作についてフローチャートを用いて説明する。図８はユーザインターフェイス装置の動作を示すフローチャートである。

【0028】

ステップＳ１１において、対象検出部１１は、カメラ画像を２値化し、対象となる部位を検出し、指先の画像上の位置と指先を含む領域のサイズを出力する。

【0029】

ステップＳ１２において、画像切り出し部１２は、指先の検出位置と指先を含む領域のサイズに対応する部分画像を、カメラ２０から出力されるカメラ画像から切り出す。

【0030】

ステップＳ１３において、形態認識部１３は、画像切り出し部１２で切り出した部分画像を、ディープラーニングにより推論し、形態をクラス分けして出力する。

【0031】

ステップＳ１４において、ポインタ選択部１４は、部分画像がポインタ形状（図７のクラス０及びクラス１）に該当するかどうかを判断する。ポインタ形状に該当する場合は、ステップＳ１５に移り、ポインタ形状に該当しない場合は、ステップＳ１１に戻る。

【0032】

ステップＳ１５において、ポインタ情報生成部１５は、部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報を生成する。

【0033】

ステップＳ１６において、ポインタ情報送信部１６は、ポインタの位置とポインタの状態を示す情報を、呼び出し元のアプリケーションや、外部のホストデバイスに送信する。

【0034】

以上説明した第１の実施形態のユーザインターフェイス装置において、ポインタの精度向上のために、以下の第２～第４の実施形態のユーザインターフェイス装置とすることができる。

【0035】

（第２の実施形態）
第１の実施形態のユーザインターフェイスシステムにおいて、ポインタが移動状態にある場合がある。この場合、表示装置３０の表示画面のポインタの移動が速いと、ユーザがポインタの操作が難しくなる。
例えば、親指と人差し指とが離れ、ポインタが非選択状態にあるときには、ポインタが移動状態にある場合がある。具体的には、図１に示すように、親指と人差し指のピンチ動作で、数字キー「２」を選択して表示装置３０の表示画面の数字入力欄に数字「２」を入力した後に、数字「２」を削除する場合には、ポインタは数字キー「２」上から削除キー「DEL」上に移動する。

【0036】

本実施形態では、ポインタ情報生成部が、ポインタの移動を滑らかなものとするため、過去のポインタ座標の履歴を用いて、移動平均を取って、ポインタの座標を補正する。
図９は本発明の第２の実施形態のユーザインターフェイス装置のポインタ情報生成部を示すブロック図である。本実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成は、ポインタ情報生成部の構成が異なる点を除いて第１の実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成と同じである。
本実施形態のユーザインターフェイス装置では、図３に示すポインタ情報生成部１５がポインタ情報生成部１５Ａに置き換わっている。

【0037】

図９に示すように、ポインタ情報生成部１５Ａは、ポインタ状態情報生成部１５０１、移動平均演算部１５０２、座標記憶部１５０３を備えている。
移動平均演算部１５０２は、ポインタ選択部１４から出力される、ポインタの位置を示す座標を、座標記憶部１５０３にポインタ座標の履歴として順次記憶する。移動平均演算部１５０２は、ポインタ選択部１４からポインタの位置を示す座標が入力されると、座標記憶部１５０３に記憶されたポインタ座標の履歴を読み出して移動平均値を取り、補正後のポインタの座標（ポインタの部分画像の位置を示す情報）を出力する。

【0038】

ポインタ状態情報生成部１５０１は図３に示すポインタ情報生成部１５と同様な動作を行い、ポインタ選択部１４で抽出された部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報（ポインタの状態を示す情報）を生成して、ポインタ情報送信部１６に出力する。

【0039】

ポインタ情報生成部１５Ａを含むユーザインターフェイス装置１０の動作は、ステップＳ１５の後にステップＳ１７が挿入されている点を除いて、図８に示すフローチャートと同じである。図１０は本実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。
ステップＳ１７では、移動平均演算部１５０２は、ポインタ選択部１４からポインタの位置を示す座標が入力されると、座標記憶部１５０３に記憶されたポインタ座標の履歴を読み出して移動平均値を取り、補正後のポインタの座標を出力する。ステップＳ１７はステップＳ１５と同時に行われてもよく、ステップＳ１５の前に行われてもよい。

【0040】

（第３の実施形態）
第１の実施形態のユーザインターフェイスシステムにおいて、ユーザの操作で形態（ポインタ状態）が変わる際に、ユーザが意図せずポインタの座標がぶれる場合がある。例えば、図１に示すように、表示装置３０の表示画面の数字入力欄に入力した数字「２」を削除するために、親指と人差し指とが開いた状態で、ポインタが削除キー「ＤＥＬ」上に移動し、削除キー「ＤＥＬ」上で停止し、親指と人差し指のピンチする場合に、ユーザが意図せずポインタの座標がぶれる場合がある。また、親指と人差し指のピンチした状態から親指と人差し指とを開く場合に、ユーザが意図せずポインタの座標がぶれる場合がある。
本実施形態では、ポインタ状態が変化する際にポインタの位置をロックし、選択状態が変わる直前の座標を維持する。

【0041】

図１１は本発明の第３の実施形態のユーザインターフェイス装置のポインタ情報生成部を示すブロック図である。本実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成は、ポインタ情報生成部の構成が異なる点を除いて第１の実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成と同じである。
本実施形態のユーザインターフェイス装置では、図３に示すポインタ情報生成部１５がポインタ情報生成部１５Ｂに置き換わっている。

【0042】

図１１に示すように、ポインタ情報生成部１５Ｂは、座標変化量検出部１５１１、座標記憶部１５１２、ポインタ状態情報生成部１５１３、座標ロック制御部１５１４、座標選択部１５１５及びカウンタ１５１６を備えている。ポインタ状態情報生成部１５１３は、図９に示したポインタ状態情報生成部１５０１と同様な機能を有する。

【0043】

座標記憶部１５１２は、座標選択部１５１５から出力される、ポインタの位置を示す座標（ポインタ座標）を順次記憶する。
座標変化量検出部１５１１は、ポインタ選択部１４からポインタの位置を示す座標（ポインタ座標）が入力されると、座標記憶部１５１２に記憶されたポインタ座標を読み出して座標変化量を検出し、座標ロック制御部１５１４に出力する。

【0044】

ポインタ状態情報生成部１５１３は、図９に示すポインタ情報生成部１５０１と同様な動作を行い、ポインタ選択部１４で抽出された部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報（ポインタの状態を示す情報）を生成して、座標ロック制御部１５１４及びポインタ情報送信部１６に出力する。

【0045】

座標ロック制御部１５１４は、ポインタ状態情報生成部１５１３から出力されるポインタの状態を示す情報に基づいて、ポインタ状態の変化を検出し、ポインタ状態が変化する際にポインタの位置をロックするために、座標選択部１５１５にロック制御信号を出力する。
座標ロック制御部１５１４は、座標変化量検出部１５１１から出力される直前の座標からの変化量（移動量に対応する）が、入力される所定の変化量（移動量に対応する）を超える場合はロック制御信号を出力しない。親指と人差し指のピンチした状態から親指と人差し指とを開き、別なキーに移動するために移動量が所定の移動量を超える場合には、ポインタの位置をロックする必要ないからである。
座標ロック制御部１５１４は、ロック制御信号を出力後に、座標変化量検出部１５１１から出力される直前の座標からの変化量（移動量に対応する）が、入力される所定の変化量を超える場合はロック解除制御信号を座標選択部１５１５に出力する。

【0046】

座標選択部１５１５は、ロック制御信号が入力されない場合には、ポインタ選択部１４から入力された、ポインタの位置を示す座標（ポインタ座標）を座標記憶部１５１２及びポインタ情報送信部１６に出力する。
一方、座標選択部１５１５は、ロック制御信号が入力された場合には、座標記憶部１５１２に記憶された、ロックする直前のポインタ座標を読み出し、このポインタ座標を座標記憶部１５１２及びポインタ情報送信部１６に出力する。こうして、ロック解除制御信号が入力されるまで、ポインタ状態が変化する際にポインタの位置がロックされる。
座標選択部１５１５は、ロック解除制御信号が入力された場合は、ポインタの位置のロックを解除し、ポインタ選択部１４から入力された、ポインタの位置を示す座標（ポインタ座標）をポインタ情報送信部１６に出力する。

【0047】

なお、座標ロック制御部１５１４は、ポインタ状態情報生成部１５１３から出力されるポインタの状態を示す情報に基づいて、ポインタ状態の変化を検出したときに、時間をカウントするカウンタ１５１６を動作させ、所定の時間経過したときに、ロック解除制御信号を座標選択部１５１５に出力してもよい。
また、ポインタ状態情報生成部１５１３から出力されるポインタの状態を示す情報に基づいて、ポインタ状態の変化を検出したときに、カウンタ１５１６を動作させ、所定の時間経過したときに、入力される所定の変化量を小さい値に書き換えてもよい。こうすることで、ロック解除制御信号を出力する基準となる所定の変化量が小さくなり、座標選択部１５１５でのロックが外れやすい状態となる。
ポインタ状態の変化を検出したときからの経過時間をカウンタ１５１６で測定しない場合には、カウンタ１５１６を設けなくともよい。

【0048】

なお、座標ロック制御部１５１４は、経過時間をカウンタ１５１６で測定する代わりに、カメラ画像のフレーム数をカウントしておき、フレーム数が所定の数を超えたときに、ロック解除制御信号を座標選択部１５１５に出力したり、入力される所定の変化量を小さい値に書き換えてもよい。

【0049】

ポインタ情報生成部１５Ｂを含むユーザインターフェイス装置１０の動作は、ステップＳ１５とステップＳ１６との間にステップＳ１８～ステップＳ２１が挿入されている点を除いて、図８に示すフローチャートと同じである。図１２は本実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。

【0050】

ステップＳ１８では、座標ロック制御部１５１４は、ポインタ状態情報生成部１５１３から出力されるポインタの状態を示す情報に基づいて、ポインタ状態の変化を検出し、ポインタ状態が変化するかどうかを判断する。ポインタ状態が変化する場合は、ステップＳ１９に移り、ポインタ状態が変化しない場合はロック制御信号を出力せず、ステップＳ２１に移る。

【0051】

ステップＳ１９では、座標ロック制御部１５１４は、座標変化量検出部１５１１から出力される、ロックする直前の座標からの変化量（移動量に対応する）が、入力される所定の変化量を超えるかどうかを判断する。変化量（移動量に対応する）が、入力される所定の変化量を超える場合にはロック制御信号を出力せずステップＳ２１に移る。入力される所定の変化量を超えない場合には、ステップＳ２０に移る。

【0052】

ステップＳ２０では、ポインタ状態が変化する際にポインタの位置をロックするために、座標選択部１５１５にロック制御信号を出力する。そして、座標選択部１５１５は、ロック制御信号が入力された場合には、選択状態が変わる直前のポインタ座標を維持（ロック）する。

【0053】

ステップＳ２１では、座標選択部１５１５は、ロック制御信号が入力されない場合には、入力されたポインタ座標を選択して、ポインタ情報送信部１６に出力する。
一方、座標選択部１５１５は、ロック制御信号が入力された場合には、座標記憶部１５１２に記憶された、ロックする直前のポインタ座標を読み出し、このポインタ座標を選択して、ポインタ情報送信部１６に出力する。そして、ロック解除制御信号が入力されるまで、選択状態が変わる直前のポインタ座標が維持（ロック）される。また、ポインタ状態情報生成部１５１３は、ポインタの状態を示す情報を生成して、ポインタ情報送信部１６に出力する。

【0054】

（第４の実施形態）
第１の実施形態のユーザインターフェイスシステムにおいて、ノイズ等により、瞬間的にポインタの状態の情報が失われる場合がある。ポインタの状態の情報が失われる問題への対応のため、本実施形態では、ポインタの状態の切り替えを、同じ変更状態の形態が所定の回数連続した場合に初めて行う。

【0055】

図１３は本発明の第４の実施形態のユーザインターフェイス装置のポインタ情報生成部を示すブロック図である。本実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成は、ポインタ情報生成部の構成が異なる点を除いて第１の実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成と同じである。
本実施形態のユーザインターフェイス装置では、図３に示すポインタ情報生成部１５がポインタ情報生成部１５Ｃに置き換わっている。

【0056】

図１３に示すように、ポインタ情報生成部１５Ｃは、ポインタ状態情報生成部１５２１、ポインタ状態記憶部１５２２、連続状態検出部１５２３、状態選択部１５２４及び選択状態記憶部１５２５を備えている。ポインタ状態情報生成部１５２１は、図９に示したポインタ状態情報生成部１５０１と同様な機能を有する。図１３において図示されていないが、ポインタ情報生成部１５Ｃは、ポインタの部分画像の位置を示す情報をポインタ情報送信部１６に出力する。

【0057】

ポインタ状態情報生成部１５２１は、図９に示すポインタ状態情報生成部１５０１と同様な動作を行い、ポインタ選択部１４で抽出された部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報（ポインタの状態を示す情報）を生成して、ポインタの状態を示す情報を、ポインタ状態記憶部１５２２に順次記憶するとともに状態選択部１５２４に出力する。

【0058】

連続状態検出部１５２３は、ポインタ状態記憶部１５２２からポインタの状態を読み出し、ポインタ状態が変化し、変化後のポインタ状態が所定の回数連続して検出した場合に、ポインタの状態の切り替え制御信号を状態選択部１５２４に出力する。

【0059】

状態選択部１５２４は、ポインタ状態情報生成部１５２１から出力されるポインタ状態と、選択状態記憶部１５２５から読み出したポインタ状態とを比較する。
状態選択部１５２４は、ポインタ状態情報生成部１５２１から出力されるポインタ状態と、選択状態記憶部１５２５から読み出したポインタ状態とが同じであれば、そのポインタ状態を示す情報をポインタ情報送信部１６に出力するとともに、選択状態記憶部１５２５に記憶する。
一方、状態選択部１５２４は、ポインタ状態情報生成部１５２１から出力されるポインタ状態が、選択状態記憶部１５２５から読み出したポインタ状態と異なる場合は、連続状態検出部１５２３からポインタの状態の切り替え制御信号を受けたときのみ、ポインタ状態を、ポインタ状態情報生成部１５２１から出力されるポインタ状態に切り替えて、切り替えたポインタ状態を、ポインタ情報送信部１６に出力するとともに、選択状態記憶部１５２５に記憶する。状態選択部１５２４は、ポインタの状態の切り替え制御信号を受けない場合は、ポインタ状態情報生成部１５２１から出力されるポインタ状態に切り替えることなく、選択状態記憶部１５２５から読み出したポインタ状態を、ポインタ情報送信部１６に出力するとともに、選択状態記憶部１５２５に記憶する。

【0060】

ポインタ情報生成部１５Ｃを含むユーザインターフェイス装置１０の動作は、ステップＳ１５とステップＳ１６との間にステップＳ２２～ステップＳ２５が挿入されている点を除いて、図８に示すフローチャートと同じである。図１４は本実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。

【0061】

ステップＳ２２では、連続状態検出部１５２３は、ポインタ状態記憶部１５２２からポインタの状態を読み出し、ポインタ状態が変化するかどうかを判断する。ポインタ状態が変化する場合はステップＳ２３に移り、ポインタ状態が変化しない場合はステップＳ１６に移る。

【0062】

ステップＳ２３では、連続状態検出部１５２３は、ポインタ状態記憶部１５２２からポインタの状態の履歴を読み出し、変化後のポインタ状態が所定の回数連続して検出できるかを判断する。同じポインタ状態が連続して検出できる場合はポインタの状態の切り替え制御信号を状態選択部１５２４に出力し、ステップＳ２４に移り、同じポインタ状態が連続して検出できない場合はステップＳ２５に移る。

【0063】

ステップＳ２４では、状態選択部１５２４は、ポインタ状態情報生成部１５２１から出力される変化したポインタ状態を選択する。

【0064】

ステップＳ２５では、状態選択部１５２４は、選択状態記憶部１５２５から読み出した変化前のポインタ状態を選択する。

【0065】

（第５の実施形態）
カメラ画像とその認識の状態をディスプレイに表示しないようなアプリケーションでは、ユーザがうっかり手をカメラの視野から外してしまってユーザインターフェイス装置で認識されなくなっても、その異常に気づきにくい。
本実施形態では、音や光でユーザに認識状況を報知する報知部を設ける。

【0066】

図１５は本発明の第５の実施形態のユーザインターフェイス装置のポインタ情報生成部を示すブロック図である。
本実施形態のユーザインターフェイス装置では、図３に示すユーザインターフェイス装置１０Ａにポインタ有無判断部１７と報知部１８とが追加されている。

【0067】

ポインタ有無判断部１７は、ポインタの位置がカメラ画像の領域から外れているかどうかを判断する。

【0068】

報知部１８は、ポインタ有無判断部１７の判断結果に基づいて、ポインタの位置がカメラ画像の領域から外れている場合は、音でユーザに認識状況を報知する鳴動デバイス、光でユーザに認識状況を報知するＬＥＤ等の発光素子である。
報知部１８は、鳴動デバイスを用いる場合、ポインタの認識状況に応じて、ユーザインターフェイス動作音を変えたり、あるいはユーザインターフェイス動作音をオン／オフすることで、ユーザに認識状況を報知する。
報知部１８は、ＬＥＤ等の発光素子を用いる場合、ユーザインターフェイス装置１０ＡにＬＥＤを取り付けて、発光色を、あるいは発光をオン／オフすることで点滅させて、ユーザに認識状況を報知する。

【0069】

ポインタ有無判断部１７と報知部１８とを含むユーザインターフェイス装置１０Ａの動作のフローチャートは、図８に示したステップＳ１６の後に、ステップＳ２６とステップＳ２７が挿入されている点を除いて、図８に示すフローチャートと同じである。
図１６は本実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。

【0070】

ステップＳ２６では、ポインタ有無判断部１７が、ポインタの位置がカメラ画像の領域から外れているかどうかを判断する。ポインタの位置がカメラ画像の領域から外れている場合はステップＳ２７に移り、ポインタの位置がカメラ画像の領域から外れていない場合は処理を終了する。
ステップＳ２７では、報知部１８がユーザに認識状況を報知する。その後、処理を終了する。

【0071】

以上、本発明の第1～第５の実施形態は、指示体として親指と人差し指とを用い、親指と人差し指とをピンチ動作で選択する選択対象はテンキーを例にとって説明したが、選択対象によっては両手を用いてピンチ動作で選択したい場合がある。例えば、選択対象がキーボードである場合、文字入力をする場合に両手を用いて入力したい場合がある。この場合には、キーボードの画像を２つに分け、左右の画像のそれぞれについて２軸でサーチすればよい。
本実施形態では、クラス０とクラス１の２種類のみをポインタに割り当てて選択、非選択の２つの状態を表しているが、他の実施形態として、４つの形態をポインタに割り当てて、ボタンＡの選択／非選択、ボタンＢの選択／非選択といった応用も可能である。
例えば、図７において、クラス０とクラス１の他に、クラス４とクラス５をポインタに割り当てて、ボタンＡの選択／非選択についてはクラス１とクラス０、ボタンＢの選択／非選択についてはクラス５とクラス４をポインタとすることができる。
クラス０とクラス１の２種類によるポインタの代わりに、クラス４とクラス５の２種類によるポインタを用いてもよい。

【0072】

本発明の第１～第５の実施形態は、親指と人差し指とをピンチ動作に限定されず、図１７及び図１８に示すように、伸ばした親指を図１７に示す形態から回転させて図１８に示す形態とすることで、親指の爪の面が９０°回転し、非選択、選択を表すことができる。図１７及び図１８において、点線の領域は指先を示す。
また、本発明は指示体が含まれているカメラ画像に対して適用でき、指示体は親指と人差し指に限定されない。例えば、手首から先の画像でジャンケンなどの形態を利用することで非選択、選択を表すことができる。
さらに、遠く離れたところからのアングルでカメラで撮像し、カメラ画像における人の立ち位置で位置を示し、手の上げ下げ(万歳、水平開き)で状態を示すことができる。
本発明の第２～第５の実施形態は、２つの実施形態又は３つ以上の実施形態を適宜組み合わせることができる。例えば、ポインタの移動を滑らかなものとし、且つユーザの操作で形態（ポインタ状態）が変わる際に、ユーザが意図せずポインタの座標がぶれることを抑制するために、第２の実施形態と第３の実施形態を組み合わせることができる。

【0073】

以上説明した第２～第４の実施形態は、第１の実施形態の２軸サーチを前提としているが、第２～第４の実施形態はポインタのポインタの精度向上のための構成であって、ポインタ情報生成部以外の構成は第１の実施形態の構成に限定されない。例えば、右手か左手かを予め指定すれば対象検出部１１は１軸サーチであっても指先を求めることができる。
また、第５の実施形態は第１～第４の実施形態のいずれかを前提としているが、第５の実施形態は指示体がカメラ画像から外れた場合に報知するための構成であって、特に第１～第４の実施形態の構成に限定されない。

【0074】

以上、本発明に係る実施形態について説明した。本実施形態のユーザインターフェイス装置に含まれる各構成部は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の制御システムに含まれる各構成部のそれぞれの協働により行なわれるサーボ制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

【0075】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。

【0076】

上述した各実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

【0077】

本開示によるユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラムは、上述した実施形態を含め、次のような構成を有する各種各様の実施形態を取ることができる。
（１） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像を２値化した画像について、前記カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出部と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備えたユーザインターフェイス装置。
このユーザインターフェイス装置によれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができる。

【0078】

（２） 前記部分画像をディープラーニングによりクラス分けする形態認識部を備え、
前記選択部は、クラス分けされた部分画像から前記指示体が指示前の形態を示す部分画像と指示後の形態を示す部分画像とを選択する、上記（１）に記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、機械的な２軸のサーチによる画像認識と、画像のディープラーニングとを組み合わせることで、計算コストの低減と柔軟性の高い認識を両立させることができる。

【0079】

（３） 前記指示体は、ユーザの親指と人差し指であり、
前記指示前の形態は、前記親指と前記人差し指が開いた状態であり、前記指示の形態は前記親指と前記人差し指が付いた状態である、上記（1）又は（２）に記載のユーザインターフェイス装置。

【0080】

（４） 前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
前記指示体の位置を示す座標が入力されると、前記座標記憶部に記憶された前記座標の履歴を読み出して移動平均値を取り、該移動平均値を用いて入力された前記座標を補正して出力する移動平均値演算部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、上記（１）から（３）のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、指示体の移動を滑らかなものとすることができる。

【0081】

（５） 前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
生成した、前記指示体が指示前の形態か指示の形態かを示す情報に基づいて、前記指示体の形態の変化を検出し、形態が変化する際に前記指示体の位置をロックするためのロック制御信号を出力する座標ロック制御部と、
前記ロック制御信号が入力されない場合には、入力された、前記指示体の位置を示す座標を出力し、ロック制御信号が入力された場合には、前記座標記憶部に記憶された、ロックする直前の前記指示体の座標を読み出し、形態が変わる直前の前記指示体の座標を維持し、該指示体の座標を出力する座標選択部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、上記（１）から（４）のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザの操作で指示体の形態が変わる際に、ユーザが意図せず指示体の座標がぶれることを抑えることができる。

【0082】

（６） 前記指示体の位置を示す座標が入力されると、前記座標記憶部から、ロックする直前の前記指示体の位置を示す座標を読み出して座標変化量を検出する座標変化量検出部を備え、
前記座標ロック制御部は、前記指示体の形態の変化を検出した場合に、前記直前の座標からの変化量が、入力される所定の変化量を超えないときは前記ロック制御信号を出力し、入力される所定の変化量を超えるときは前記ロック制御信号を出力せず、前記ロック制御信号を出力後に、前記直前の座標からの変化量が、入力される所定の変化量を超えたときはロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記（５）に記載のユーザインターフェイス装置。

【0083】

（７） 前記座標ロック制御部は、前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、ロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記（５）に記載のユーザインターフェイス装置。

【0084】

（８） 前記座標ロック制御部が前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、入力される前記所定の変化量を前記所定の変化量より小さい値に書き換える、上記（６）に記載のユーザインターフェイス装置。

【0085】

（９） 前記情報生成部は、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報を記憶する記憶部と、
前記記憶部から前記指示体の状態を読み出し、前記指示体の状態が変化し、変化後の前記指示体の状態が所定の回数連続して検出した場合に、前記指示体の状態の切り替え制御信号を出力する連続状態検出部と、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報が入力され、入力された情報が示す状態と、入力前に出力した状態と異なる場合に、前記切り替え制御信号を受けたときに、前記入力前に出力した状態を前記入力された情報が示す状態に切り替えて出力する状態選択部と、
前記入力前に出力した状態を記憶する選択状態記憶部と、
を備えた、
上記（１）から（８）のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ノイズ等により、瞬間的にポインタ情報が失われることを抑制できる。

【0086】

（１０） 前記指示体の位置が前記カメラ画像の領域から外れているかどうかを判断する判断部と、
前記指示体の位置が前記カメラ画像の領域から外れている場合に、ユーザに報知する報知部と、
を備えた、上記（１）から（９）のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザに指示体の位置が前記カメラ画像の領域から外れた状況を報知することができる。

【0087】

（１１） 上記（１）から（１０）のいずれかに記載のユーザインターフェイス装置と、
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステム。
このユーザインターフェイスシステムによれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出して、検出結果に基づいて表示装置の表示画面を操作することができる。

【0088】

（１２） コンピュータに、
カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出機能と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し機能と、
前記部分画像が、前記対象物として、指示のために形態が変わる指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択機能と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成機能と、
を実行させる、ユーザインターフェイス用プログラム。
このユーザインターフェイス用プログラムによれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができる。

【0089】

以上説明した（１）～（１２）の実施態様以外にも、本発明は次に示す実施態様とも認識できる。

【0090】

（１３） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
前記指示体の位置を示す座標が入力されると、前記座標記憶部に記憶された前記座標の履歴を読み出して移動平均値を取り、該移動平均値を用いて入力された前記座標を補正して出力する移動平均値演算部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、指示体の移動を滑らかなものとすることができる。

【0091】

（１４） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
生成した、前記指示体が指示前の形態か指示の形態かを示す情報に基づいて、前記指示体の形態の変化を検出し、形態が変化する際に前記指示体の位置をロックするためのロック制御信号を出力する座標ロック制御部と、
前記ロック制御信号が入力されない場合には、入力された、前記指示体の位置を示す座標を出力し、ロック制御信号が入力された場合には、前記座標記憶部に記憶された、ロックする直前の前記指示体の座標を読み出し、形態が変わる直前の前記指示体の座標を維持し、この指示体の座標を出力する座標選択部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザの操作で指示体の形態が変わる際に、ユーザが意図せず指示体の座標がぶれることを抑えることができる。

【0092】

（１５） 前記指示体の位置を示す座標が入力されると、前記座標記憶部から、ロックする直前の前記指示体の位置を示す座標を読み出して座標変化量を検出する座標変化量検出部を備え、
前記座標ロック制御部は、前記指示体の形態の変化を検出した場合に、前記直前の座標からの変化量が、入力される所定の変化量を超えないときは前記ロック制御信号を出力し、入力される所定の変化量を超えるときは前記ロック制御信号を出力せず、前記ロック制御信号を出力後に、前記直前の座標からの変化量が、入力される所定の変化量を超えたときはロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記（１４）に記載のユーザインターフェイス装置。

【0093】

（１６） 前記座標ロック制御部は、前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、ロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記（１４）に記載のユーザインターフェイス装置。

【0094】

（１７） 前記座標ロック制御部が前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、入力される前記所定の変化量を前記所定の変化量より小さい値に書き換える、上記（１５）に記載のユーザインターフェイス装置。

【0095】

（１８） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記情報生成部は、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報を記憶する記憶部と、
前記記憶部から前記指示体の状態を読み出し、前記指示体の状態が変化し、変化後の前記指示体の状態が所定の回数連続して検出した場合に、前記指示体の状態の切り替え制御信号を出力する連続状態検出部と、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報が入力され、入力された情報が示す状態と、入力前に出力した状態と異なる場合に、前記切り替え制御信号を受けたときに、前記入力前に出力した状態を前記入力された情報が示す状態に切り替えて出力する状態選択部と、
前記入力前に出力した状態を記憶する選択状態記憶部と、
を備えた、
ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ノイズ等により、瞬間的にポインタ情報が失われることを抑制できる。

【0096】

（１９） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記指示体の位置が前記カメラ画像の領域から外れているかどうかを判断する判断部と、
前記指示体の位置が前記カメラ画像の領域から外れている場合に、ユーザに報知する報知部と、
を備えた、ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザに指示体の位置が前記カメラ画像の領域から外れた状況を報知することができる。

【0097】

（２０） 上記（１３）から上記（１９）のいずれかに記載のユーザインターフェイス装置と、
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステム。

【0098】

（２１） コンピュータに、上記（１３）から（１９）のいずれかのユーザインターフェイス装置の各部の機能を実行させるための、ユーザインターフェイス用プログラム。

【符号の説明】

【0099】

１ ユーザインターフェイスシステム
１０ ユーザインターフェイス装置
１１ 対象検出部
１２ 画像切り出し部
１３形態認識部
１４ ポインタ選択部
１５ ポインタ情報生成部
１６ ポインタ情報送信部
２０ カメラ
３０ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】