【実施例】
【0018】
次に、本発明の実施例に係る電子装置の一例として車載装置について図面を参照して説明する。
図1は、車載装置の構成例を示すブロック図である。車載装置10は、CD、DVD、ブルーレイディスク、ハードディスク装置や地上波デジタルテレビ放送などから得られたオーディオデータやビデオデータを再生するマルチメディア再生部20と、自車位置周辺の道路地図を表示したり、目的地までの誘導経路を案内するナビゲーション部40と、ユーザーの指や手の動き等のジェスチャーを撮像する撮像カメラ60と、撮像カメラ60によるジェスチャー入力が検出可能な位置や範囲、または要求されるジェスチャーの方向や形態等のガイドを提示するガイド提示部80と、撮像カメラ60によって撮像された画像データに基づきジェスチャーを解析するジェスチャー解析部100と、メディア再生画面、ナビゲーション画面、ユーザー入力画面などを表示するディスプレイ120と、プログラムやデータ等を記憶する記憶部140、ジェスチャー入力、マウス、キーボード、タッチパネル等のユーザーからの指示を受け取る入力部160、マイクロコントローラやマイクロプロセッサ等を含みプログラムを実行することで各部を制御する制御部180を含んで構成される。
【0019】
撮像カメラ60は、ジェスチャー入力を検出するための検出手段であり、車内の所定の位置に取り付けられる。例えば、撮像カメラ60は、車内のルームミラー、ルームライト付近に設置され、ディスプレイ120の前方辺りで入力操作される、指や手の動き等のジェスチャーを撮像する。撮像カメラ60は、これ以外にも、ディスプレイ120の外縁部に一体的に取付けられたり、車内の天井、座席、インスツルメンツを配したダッシュボードなどに取り付けるようにしてもよい。
【0020】
ガイド提示部80は、LED光やレーザー光、または投射画像を用いて撮像カメラ60の検出エリア(または撮像エリア)を可視化させ、ジェスチャー入力が検出可能な位置や範囲を示すガイド指標を提示することができる。さらにガイド提示部80は、ディスプレイ120に表示されるユーザー入力画面が表示されたとき、そのユーザー入力画面が要求するジェスチャーを誘導する誘導指標をガイド指標の1つとして提示することができる。
【0021】
ガイド提示部80には、好ましくはレーザー光を出射するレーザー機構や投影画像を照射するプロジェクタが利用され、撮像カメラ60と同様に車内の所定の位置、例えば、車内のルームミラー、ルームライト付近に設置される。また、ガイド提示部80は、撮像カメラ60と一体化したモジュールであってもよい。ガイド提示部80は、ガイド指標を静止画のように可視化させてもよいし、ガイド指標を動的に変化させるものであってもよい。後者の場合、ガイド提示部80は、レーザー光の出射方向を搖動させるような搖動機構、あるいは出射方向を可変するための可変ミラーや回転するポリゴンミラー等を用いてガイド指標の動きを制御することが可能である。ガイド提示部80は、後述するようにガイド指標供給手段から供給された情報に基づきガイド指標の可視化を行う。
【0022】
図2は、撮像カメラとガイド提示部との関係を示す概略図である。撮像カメラ60は、例えば、ルームミラーに設置され、ジェスチャー入力が行われる位置、すなわち、ディスプレイ120の前方付近を撮像する。一方、ガイド提示部80は、例えば、天井のルームライト付近に設置され、撮像カメラ60の撮像範囲内であって、ジェスチャー入力の検出エリア190を可視化するガイド指標を提示する。ガイド提示部80から出力される光は、車内の任意の位置または空間を照明することで可視化される。図の例では、ガイド提示部80は、検出エリア190の境界192の4つのコーナーが可視化されるような投射パターンをガイド指標として照射する。投射パターンは、このようなコーナーの可視化以外にも、検出エリア190の全体の輪郭または境界を可視化するような投射パターンをガイド指標として照射してもよい。さらにガイド提示部80は、常時、投射パターンを可視化させる以外に、検出エリア190の境界がレーザースポットによって光学的に走査されるようなガイド指標であってもよい。さらに、ガイド提示部80は、レーザー光Lの出射方向を制御することにより、検出エリア190内に誘導指標194を提示することができる。誘導指標194は、例えば、誘導方向にレーザースポットが移動するような動的な指標であってもよい。
【0023】
ジェスチャー解析部100は、撮像カメラ60により撮像されたジェスチャーの画像データに基づき、入力されるジェスチャーを解析することができる。例えば、ジェスチャー解析部110は、画像データに映し出された指や手を抽出し、指や手の形状や動きを検出し、指や手の方向や、指や手が表す形態を解析する。指や手が表す形態を解析する場合には、予め登録されたジェスチャーのパターンと照合することで、ジェスチャー入力を識別するようにしてもよい。ジェスチャー入力には、例えば、基準に対して平行な前後方向、基準を直交する左右方向、円形方向の移動や、手を開く、握る、指で数を示す形態などの複数種類を含めることが可能であり、ジェスチャー解析部100は、入力されたジェスチャーの方向や形態を判別することができる。
【0024】
記憶部140は、プログラムを格納したり、プログラム以外にも、車載装置10のジェスチャー入力の判別に必要な多数の照合パターンを記憶することができる。一つの例では、ジェスチャーの判別に必要な照合パターンのデータベースに蓄積することができる。他の例では、制御部180は、外部ネットワークを介して、ジェスチャーの照合パターンなどを配信する配信サイトにアクセスし、そこから必要な情報を取得することができる。また、記憶部140は、ナビゲーション動作に必要な道路地図データや、メディア再生動作に必要な楽曲データなどを記憶することができる。
【0025】
制御部180は、好ましい態様では、ROM、RAMなどを含むマイクロコントローラから構成され、ROMまたはRAMは、車載装置の各部の動作を制御するための種々のプログラムを格納することができる。さらに本実施例では、レーザー光を用いて、ジェスチャー入力を検出可能な範囲を示すガイド指標や要求されるジェスチャーを誘導するガイド指標を可視化するガイド指標可視化プログラムを保持する。
【0026】
本実施例によるガイド指標可視化プログラムの機能的な構成を
図3に示す。ガイド指標可視化プログラム200は、ユーザー入力画面、メニュー画面、メディア再生画面やナビゲーション画面などをディスプレイ120に表示する画面表示手段202と、ディスプレイにユーザー入力画面が表示されたか否かを判定する判定手段204と、ディスプレイ120にユーザー入力画面が表示されたと判定されたとき、撮像カメラ60の撮像範囲内であって、ジェスチャー入力の検出エリアを示すガイド指標を作成するガイド指標作成手段206と、ガイド指標作成手段206により作成されたガイド指標をガイド提示部80へ供給するガイド指標供給手段208と、ジェスチャー解析部100の解析結果に基づきジェスチャーを判別するジェスチャー判別手段210と、ジェスチャー判別手段210からの判別結果に基づき、ジェスチャーによる入力を実行する入力実行手段212とを備えている。
【0027】
画面表示手段202は、メディア再生やナビゲーションなどのアプリケーションの実行に応じてユーザーに入力を促すユーザー入力画面を表示する。ユーザー入力画面は、いずれの態様であってもよく、例えば、入力を指示するもの、選択を指示するもの、スクロールを指示するもの、ドラッグを指示するもの、拡大や縮小などを示すものであり、これらの指示は、タッチパネルやマウスから入力することが可能である他、ジェスチャーによっても入力が可能である。例えば、メニューリストがユーザー入力画面として表示されたとき、ユーザーは、ジェスチャーによってメニューから所望の項目を選択することができる。
【0028】
判定手段204は、画面表示手段202によって表示された内容がユーザー入力画面であるか否かを判定し、この判定結果をガイド指標作成手段206へ提供する。
【0029】
ガイド指標作成手段206は、ディスプレイ120にユーザー入力画面が表示されたとき、撮像カメラ60の撮像範囲内に可視化されるガイド指標を作成する。
【0030】
図4は、ガイド指標作成手段が作成するガイド指標の一例である。ガイド指標作成手段206は、
図4(a)に示すように、ジェスチャー入力を検出可能な検出エリア190の外縁上の境界線を示すガイド指標192aを作成する。ガイド提示部80が投射画像を出射するプロジェクタである場合、ガイド指標作成手段206によって作成されたガイド指標が投射される。あるいは、ガイド提示部80がレーザー光を走査するレーザー機構である場合には、ガイド提示部80は、ガイド指標作成手段206によって作成されたガイド指標に従いレーザー光を走査する。これにより、
図4(a)に示すような矩形状のガイド指標192aが可視化される。また、ガイド指標作成手段206は、
図4(b)に示すように、検出エリア190のコーナーを示すガイド指標192b、
図4(c)に示すように、検出エリア190の中心点を示すガイド指標192c、
図4(d)に示すように、検出エリア190の内側を格子状に分割するガイド指標192d等を作成することができる。このようなガイド指標が提示されることで、検出エリア190の位置または範囲が可視化される。なお、
図4の例は、検出エリア190が矩形状であるが、検出エリアは、円形または他の形状であってもよい。
【0031】
さらにガイド指標作成手段206は、ユーザー入力画面が要求するジェスチャーの形態を誘導する誘導指標194(
図2を参照)を作成することができる。誘導指標194は、ジェスチャー入力の検出可能な位置または範囲を示すガイド指標192の一つである。好ましい態様では、ユーザー入力画面に関連付けしてジェスチャーの形態を示すジェスチャー情報が記憶部140に記憶される。画面表示手段202によってユーザー入力画面が表示されたと判定されたとき、ガイド指標作成手段206は、ユーザー入力画面に対応するジェスチャー情報を記憶部140から読出し、ジェスチャー情報に従い誘導指標を作成する。
図2の例では、ディスプレイ120のユーザー入力画面には、スクロールを指示する入力122と、項目を選択する選択ボタン124が含まれており、スクロールを指示する入力122に関連付けしたジェスチャー情報が記憶部140に記憶される。そして、ガイド指標作成手段206は、ジェスチャー情報に従い誘導指標194を作成し、ガイド提示部80にガイド指標194を表示させる。なお、ユーザー入力画面において要求されるジェスチャーの形態は、ユーザーが任意に設定できるようにしてもよい。
【0032】
図5は、ガイド指標作成手段が作成する誘導指標の一例である。ガイド指標作成手段206は、取得したジェスチャー情報に従い、
図5(a)に示すように、上下方向または左右方向のジェスチャーを誘導するための誘導指標194aを作成することができる。また、ガイド指標作成手段206は、これに限らず、円状のジェスチャーを要求する誘導指標194b、
図5(c)に示すような、L字のジェスチャーを要求する誘導指標194c、手を握るジェスチャーを要求する誘導指標194dなど、取得したジェスチャー情報に基づき種々の誘導指標を作成することができる。
【0033】
ガイド指標供給手段208は、ガイド指標作成手段206により作成されたガイド指標をガイド提示部80へ提供する。これにより、ガイド提示部80は、レーザー光による走査、または投射画像によりガイド指標を出力する。その結果、撮像カメラ60が撮像する撮像範囲内であってジェスチャー入力が検出可能な範囲に、ガイド指標が可視化させることができる。複数の誘導指標を提示する場合、誘導指標同士を重ね合わせるように同時に提示するが(
図5)、それぞれの誘導指標を順次個別に提示することも可能である。
【0034】
ジェスチャー判別手段210は、ジェスチャー解析部100によって解析されたジェスチャー画像を受け取り、当該ジェスチャー画像からジェスチャーを判別する。その判別結果は、入力実行手段212に提供される。
【0035】
入力実行手段212は、ジェスチャー判別手段210の判別結果に基づき、対応する入力操作を実行する。入力実行手段212は、例えば、メニュー画面から特定の項目を選択したり、道路地図をスクロールしたり、次の楽曲を再生したりする。
【0036】
次に、
図6のフローチャートに従って、本実施例の車載装置におけるジェスチャー入力のガイド指標の制御動作について説明する。車載装置10にて、ナビゲーション機能が起動されるものとする。ナビゲーション機能が実行されると、画面表示手段202は、ディスプレイ120にナビゲーション画面を表示するが、その動作の中で、目的地検索画面や施設検索画面などのユーザーからの入力を受け取るユーザー入力画面を表示する(S101)。
【0037】
判定手段204によってユーザー入力画面が表示されたと判定されると、撮像カメラ60は、ジェスチャー入力を可能にするため
図2に示すような検出エリア190の撮像を開始する(S102)。但し、撮像カメラ60は、必ずしもユーザー入力画面の表示に連動されなくてもよく、エンジンが始動されたとき、車載装置10が起動されたときなどに撮像を開始するようにしてもよい。
【0038】
ユーザー入力画面が表示されると、ガイド指標作成手段206は、ディスプレイ120に表示されたユーザー入力画面が関連するジェスチャー情報を有するか否かを判定する(S103)。ジェスチャー情報があると判定された場合には、ガイド指標作成手段206は、当該ジェスチャー情報を取得し、
図5に示すような誘導指標194を作成する(S104)。ジェスチャー情報の有無を判定することで、ガイド指標作成手段206に誘導指標194の作成を優先させることができる。
【0039】
ジェスチャー情報がないと判定された場合、ユーザー入力画面がジェスチャー情報を保持していないため、ガイド指標作成手段206は、
図4に示すような、ジェスチャー入力が検出可能な検出エリア190の範囲を示すガイド指標192を作成する(S106)。
【0040】
ガイド指標が作成されると、ガイド指標供給手段208は、ガイド指標をガイド提示部80へ供給する。ジェスチャー情報がありと判定された場合には、ジェスチャー入力の検出エリアの範囲を示すガイド指標とともに誘導指標がガイド提示部80へ供給される。ガイド指標を受け取ると、ガイド提示部80は、
図2に示すように、ジェスチャー入力の検出エリア190を示すガイド指標192および/または誘導指標194をユーザーに提示する(S107)。ガイド指標192や誘導指標194は、それぞれ検出エリア190の位置や範囲を可視化するものであり、ユーザーは視覚によりジェスチャーを実行すべきエリアを容易に認識することができ、検出エリア190を外れたジェスチャー入力が防止される。
【0041】
また、ガイド指標供給手段208は、予め設定された条件に従い、誘導指標194のみを提示することも可能である。誘導指標194は、ジェスチャー入力の検出エリアを示すと同時に、現在表示されているユーザー入力画面が要求する入力操作を示すものであり、ユーザーは、可視化された誘導指標194に従い、対応するジェスチャーを的確に入力することができる。
【0042】
次に、ユーザーは、可視化されたガイド指標に応答して、検出エリア190内でジェスチャーによる入力を行う。このジェスチャー入力が撮像カメラ60によって撮像され、ジェスチャー解析部100によってジェスチャー解析が行われた後、ジェスチャー判別手段210によってジェスチャーが判別される(S108)。好ましくは、ジェスチャー判別手段210は、予め用意された照合パターンを用いて、ジェスチャーの種別を判別する。
【0043】
入力実行手段212は、ジェスチャー判別手段210による判別結果に基づき、ジェスチャーによる入力を実行し、例えば、道路地図の表示エリアを移動や拡大/縮小、目的地の候補リストをスクロール、音声案内のボリュームを調整するなどを実行する(S109)。
【0044】
上記実施例では、ガイド提示部80は、レーザー光等の光学的手段を用いてガイド指標を可視化する例を示したが、ガイド提示部80は、ガイド指標をより鮮明に可視化させるためにスクリーンを提供してもよい。さらにジェスチャー入力を阻害しないよう、例えば、フォグスクリーン(霧スクリーン)が用いることも可能である。フォグスクリーンによってレーザー光が散乱し、ガイド指標がより鮮明に映し出される。なお、フォグスクリーンの厚さは、レーザー光等の出力と同様に、ユーザーが適宜設定することができ、ガイド指標の鮮明度を調整することができる。
【0045】
このように本実施例によれば、撮像カメラによるジェスチャー入力の検出エリアを示す誘導指標やガイド指標を可視化することで、ユーザーは、ジェスチャー入力すべきエリアや入力方法を容易に認識することができ、ジェスチャー入力による利便性が向上する。
【0046】
本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形・変更が可能である。