特許 6049429 処理装置、処理方法及び処理装置用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6049429

(24)【登録日】2016年12月2日

(45)【発行日】2016年12月21日

(54)【発明の名称】処理装置、処理方法及び処理装置用プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20161212BHJP

   G06F 3/16 20060101ALI20161212BHJP

   G01C 21/36 20060101ALI20161212BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/16 650

   G01C21/36

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2012-263071(P2012-263071)

(22)【出願日】2012年11月30日

(65)【公開番号】特開2014-109850(P2014-109850A)

(43)【公開日】2014年6月12日

【審査請求日】2015年10月27日

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100083839

【弁理士】

【氏名又は名称】石川 泰男

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(72)【発明者】

【氏名】木村 勝己

(72)【発明者】

【氏名】荒井 洋和

【審査官】 佐藤 匡

(56)【参考文献】

【文献】 特開２００５−１７８４７３（ＪＰ，Ａ）

【文献】 特開２０１２−００８７７２（ＪＰ，Ａ）

【文献】 特開平９−３２５８５１（ＪＰ，Ａ）

【文献】 国際公開第２００８／１４９４８２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１，３／０４８，３／１６，３／０３３

Ｇ１１Ｃ ２１／２６，２１／３６

(57)【特許請求の範囲】

【請求項1】

物体の存在を空間的に検出する物体検出手段と、
音を検出する音検出手段と、
前記検出された音の内容を認識する認識手段と、
前記存在の検出と前記音の検出のいずれが先であったかを判定する判定手段と、
前記検出された存在と、前記認識された内容と、の組み合わせに対応付けられた処理の内容と、前記判定手段による判定結果と、に基づいて、前記物体検出手段により検出された前記存在と、前記認識手段により認識された前記内容と、の組み合わせに対応した処理を実行する実行手段と、
を備えることを特徴とする処理装置。

【請求項2】

請求項１に記載の処理装置において、
前記実行手段は、前記存在の検出タイミングと前記音の検出タイミングとの差が予め設定されている閾値時間以下であった場合に、前記対応した処理を実行することを特徴とする処理装置。

【請求項3】

請求項２に記載の処理装置において、
前記閾値時間を変更する変更手段を更に備えることを特徴とする処理装置。

【請求項4】

請求項１から請求項３のいずれか一項に記載の処理装置において、
前記物体検出手段は、前記物体の移動状態を空間的に検出し、
前記処理の内容は、前記検出された移動状態と、前記認識された内容と、の組み合わせに対応付けられた前記処理の内容を示しており、
前記実行手段は、当該処理の内容と、前記判定結果と、に基づいて、検出された前記移動状態と、認識された前記内容と、の組み合わせに対応した前記処理を実行することを特徴とする処理装置。

【請求項5】

請求項４に記載の処理装置において、
前記移動状態は、前記物体の空間的な移動速度であることを特徴とする処理装置。

【請求項6】

請求項４に記載の処理装置において、
前記移動状態は、前記物体の空間的な移動方向であることを特徴とする処理装置。

【請求項7】

請求項１から請求項６のいずれか一項に記載の処理装置において、
前記音は使用者の音声であり、
前記認識手段は、前記音声の内容を認識することを特徴とする処理装置。

【請求項8】

物体の存在を空間的に検出する物体検出工程と、
音を検出する音検出工程と、
前記検出された音の内容を認識する認識工程と、
前記存在の検出と前記音の検出のいずれが先であったかを判定する判定工程と、
前記検出された存在と、前記認識された内容と、の組み合わせに対応付けられた処理の内容と、前記判定工程における判定結果と、に基づいて、前記物体検出工程において検出された前記存在と、前記認識工程において認識された前記内容と、の組み合わせに対応した処理を実行する実行工程と、
を含むことを特徴とする処理方法。

【請求項9】

物体の存在を空間的に検出する物体検出手段と、音を検出する音検出手段と、を備える処理装置に含まれるコンピュータを、
前記検出された音の内容を認識する認識手段、
前記存在の検出と前記音の検出のいずれが先であったかを判定する判定手段、及び、
前記検出された存在と、前記認識された内容と、の組み合わせに対応付けられた処理の内容と、前記判定手段として機能する前記コンピュータによる判定結果と、に基づいて、前記物体検出手段により検出された前記存在と、前記認識手段として機能する前記コンピュータにより認識された前記内容と、の組み合わせに対応した処理を実行する実行手段、
として機能させることを特徴とする処理装置用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、処理装置、処理方法及び処理装置用プログラムの技術分野に属する。

【背景技術】

【0002】

近年、例えば車両に搭載されている車載装置を操作する場合、車内が広くないことや運転上の安全等を考慮して、人の手の動きを赤外線センサ等のセンサにより検出し、当該検出した内容に応じて車載装置を制御することが行われている。この場合の車載装置としては、例えばナビゲーション装置やオーディオ装置などが挙げられる。またこのようなセンサを用いた制御について開示している先行技術文献としては、例えば下記特許文献１が挙げられる。下記特許文献１に記載されている技術では、人の手等の接近を検出すると、予め設定された操作案内画面を表示する構成とされている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００−３２９５７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら上記特許文献１に記載されている技術では、例えば上記センサ及び車載装置の周辺に存在する機器、例えば、シフトレバーやサイドブレーキ等を操作する場合、その操作のために動かした手に対して上記センサが反応してしまう場合がある。そしてこの場合には、結果として、操作者の意図しない処理がその車載装置で実行されてしまうという問題点があった。即ち、例えばシフトレバーを操作しようとしただけであるにもかかわらず、センサがその手に反応してしまうことで意図しない操作案内画面がその車載装置において表示されてしまうといった問題点があるのである。

【0005】

そこで本願は、上記の問題点に鑑みて為されたもので、その課題の一例は、上記のような機器の操作に伴って意図しない処理が実行されてしまうことを防止すると共に、より多くの種類の処理を使用者の意図に沿って実行することが可能な処理装置及び処理方法並びに当該処理装置用のプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、請求項１に記載の発明は、物体の存在を空間的に検出する第１発光部等の物体検出手段と、音を検出するマイク等の音検出手段と、前記検出された音の内容を認識する認識部等の認識手段と、前記存在の検出と前記音の検出のいずれが先であったかを判定するＣＰＵ等の判定手段と、前記検出された存在と、前記認識された内容と、の組み合わせに対応付けられた処理の内容と、前記判定手段による判定結果と、に基づいて、前記物体検出手段により検出された前記存在と、前記認識手段により認識された前記内容と、の組み合わせに対応した処理を実行するＣＰＵ等の実行手段と、を備える。

【0007】

上記の課題を解決するために、請求項８に記載の発明は、物体の存在を空間的に検出する物体検出工程と、音を検出する音検出工程と、前記検出された音の内容を認識する認識工程と、前記存在の検出と前記音の検出のいずれが先であったかを判定する判定工程と、前記検出された存在と、前記認識された内容と、の組み合わせに対応付けられた処理の内容と、前記判定工程における判定結果と、に基づいて、前記物体検出工程において検出された前記存在と、前記認識工程において認識された前記内容と、の組み合わせに対応した処理を実行する実行工程と、を含む。

【0008】

上記の課題を解決するために、請求項９に記載の発明は、物体の存在を空間的に検出する第１発光部等の物体検出手段と、音を検出するマイク等の音検出手段と、を備える処理装置に含まれるコンピュータを、前記検出された音の内容を認識する認識手段、前記存在の検出と前記音の検出のいずれが先であったかを判定する判定手段、及び、前記検出された存在と、前記認識された内容と、の組み合わせに対応付けられた処理の内容と、前記判定手段として機能する前記コンピュータによる判定結果と、に基づいて、前記物体検出手段により検出された前記存在と、前記認識手段として機能する前記コンピュータにより認識された前記内容と、の組み合わせに対応した処理を実行する実行手段、として機能させる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る処理装置の概要構成を示すブロック図である。

【図2】実施例に係る近接センサの概要構成を示すブロック図等であり、（ａ）は当該ブロック図であり、（ｂ）は検出空間を例示する図である。

【図3】実施例に係る近接センサが組み込まれたナビゲーション装置の前面を例示する正面図である。

【図4】実施例に係る連動リストを例示する図であり、（ａ）は第１リストを例示する図であり、（ｂ）は第２リストを例示する図である。

【図5】実施例に係る検出処理等を示すフローチャートであり、（ａ）は連動設定処理を示すフローチャートであり、（ｂ）は当該検出処理を示すフローチャートである。

【図6】実施例に係る検出処理を説明する図である。

【発明を実施するための形態】

【0010】

次に、本願を実施するための形態について図１を用いて説明する。なお図１は、実施形態に係る処理装置の概要構成を示すブロック図である。

【0011】

図１に示すように、実施形態に係る処理装置Ｓは、物体検出手段１と、音検出手段１０と、認識手段１１と、実行手段２０と、により構成されている。

【0012】

この構成において物体検出手段１は、物体Ｈの存在を空間的に検出し、その検出結果を実行手段２０に出力する。この場合の物体Ｈとは、例えば人の手、人の指、操作用のタッチペン等の物体が考えられる。

【0013】

一方、音検出手段１０は、音を検出し、その検出結果を認識手段１１に出力する。これにより認識手段１１は、検出された音の内容を認識し、その認識結果を実行手段２０に出力する。

【0014】

これらにより実行手段２０は、検出された物体Ｈの存在と、認識された音の内容と、の組み合わせに対応付けられた処理の内容を示す内容情報に基づいて、物体検出手段１により検出された物体Ｈの存在と、認識手段１１により認識された音の内容と、の組み合わせに対応した処理を実行する。この場合の処理とは、例えば物体Ｈが存在したときに表示すべき情報を表示する表示処理や、当該存在及び音の内容に対応して動作すべき装置を動作させる処理等が考えられる。

【0015】

以上説明したように、実施形態に係る処理装置Ｓによれば、物体Ｈの存在と音の内容との組み合わせに対応した処理が実行されるので、物体Ｈの存在のみを検出して処理を行うことに起因する誤った処理の実行を防止できる。また物体Ｈの存在と音の内容との組み合わせにより、多くの種類の処理を実行させることができる。

【実施例】

【0016】

次に、上述した実施形態に対応する具体的な実施例について、図２乃至図６を用いて説明する。なお以下に説明する実施例は、例えば赤外光を用いて物体Ｈとしての人の手（以下、単に「手」と称する）の存在を検出する近接センサに対して実施形態を適用した場合の実施例である。

【0017】

また、図２は実施例に係る近接センサの概要構成を示すブロック図等であり、図３は実施例に係る近接センサが組み込まれたナビゲーション装置の前面を例示する正面図であり、図４は実施例に係る連動リストを例示する図である。更に、図５は実施例に係る検出処理等を示すフローチャートであり、図６は実施例に係る検出処理を説明する図である。このとき図２及び図３では、図１に示した実施形態に係る処理装置Ｓにおける各構成部材に対応する実施例の構成部材それぞれについて、当該処理装置Ｓにおける各構成部材と同一の部材番号を用いている。

【0018】

図２（ａ）に示すように、実施例に係る近接センサＳは、例えば車載用のナビゲーション装置に組み込まれており、使用者の音声を検出してその内容を認識するためのマイク１０等を含む近接センサである。以下、実施例に係る近接センサＳが組み込まれているナビゲーション装置を、適宜、単に「ナビゲーション装置」と称する。そして近接センサＳは、ナビゲーション装置に手を触れることなく当該ナビゲーション装置の動作等を操作するといった場合に実施形態に係る物体Ｈの一例としての手Ｈの存在を空間的に検出すると共に、当該手Ｈを有する使用者が発話する音声の内容をも認識する近接センサである。

【0019】

より具体的に実施例に係る近接センサＳは、上記手Ｈの存在を検出するための赤外光をそれぞれ出射する第１発光部１Ａ１乃至第４発光部１Ａ４と、第１発光部１Ａ１及び第２発光部１Ａ２からそれぞれ出射された赤外光が手Ｈにより反射された反射光（この反射光も赤外光である）を受光する第１受光部１Ｂ１と、第３発光部１Ａ３及び第４発光部１Ａ４からそれぞれ出射された赤外光が手Ｈにより反射された反射光（この反射光もまた、赤外光である）を受光する第２受光部１Ｂ２と、第１発光部１Ａ１乃至第４発光部１Ａ４並びに第１受光部１Ｂ１及び第２受光部１Ｂ２をそれぞれ駆動するセンサドライバ５と、実施例に係る近接センサＳとしての手Ｈの有無及びその動きの検出結果並びに音声の認識結果に対応した例えば既定の地図画面のスクロール処理等を実行させるＣＰＵ２０と、例えば不揮発性領域及び揮発性領域を含むメモリ２１と、により構成されている。このとき図２（ａ）において一点鎖線で示すように、第１発光部１Ａ１乃至第４発光部１Ａ４、第１受光部１Ｂ１及び第２受光部１Ｂ２並びにセンサドライバ５により、実施形態に係る物体検出手段１の一例を構成する。更に、マイク１０が実施形態に係る音検出手段１０の一例に相当し、認識部１１が実施形態に係る認識手段１１の一例に相当する。また、ＣＰＵ２０が実施形態に係る実行手段２０の一例に相当する。

【0020】

更に近接センサＳのＣＰＵ２０はナビゲーション装置内の処理部３０に接続されている。この処理部３０として具体的には、例えば図２において図示しないディスプレイを含む表示処理部や、図示しないスピーカを含む音出力処理部等が処理部３０に該当する。

【0021】

以上の構成において第１発光部１Ａ１及び第２発光部１Ａ２と第１受光部１Ｂ１とは、図２（ｂ）に例示するように平面状の基台Ｂ上に配置されている。なお図２（ｂ）は、例えばナビゲーション装置の前面を上方から見下ろした状態を模式的に示す図である。このような配置により、第１発光部１Ａ１と第１受光部１Ｂ１とにより近接センサＳとしての検出空間Ａ１が形成され、また第１受光部１Ｂ１と第２発光部１Ａ２とにより近接センサＳとしての検出空間Ａ２が形成される。このときセンサドライバ５は、検出用の赤外線を第１発光部１Ａ１及び第２発光部１Ａ２から例えば時分割的に交互にそれぞれ出射させる。そして、第１受光部１Ｂ１をも駆動させるセンサドライバ５において、第１発光部１Ａ１及び第２発光部１Ａ２それぞれの出射タイミングに対応したタイミングで第１受光部１Ｂ１に赤外線の受光があったか否かを検出することにより、検出すべき手Ｈが、検出空間Ａ１又は検出空間Ａ２のいずれに存在するかを検出する。

【0022】

ここで図２（ｂ）に例示するように、検出空間Ａ１と検出空間Ａ２とは、それぞれの一部が重複するように形成される。従って、例えば図２（ｂ）に例示する領域Ａは、図２（ｂ）の第１発光部１Ａ１と第１受光部１Ｂ１とにより手Ｈが検出され得る領域であり、また図２（ｂ）に例示する領域Ｃは、図２（ｂ）中の第２発光部１Ａ２と第１受光部１Ｂ１とにより手Ｈが検出され得る領域である。そして図２（ｂ）における中央の領域Ｂは、第１発光部１Ａ１及び第２発光部１Ａ２と第１受光部１Ｂ１とにより手Ｈが検出され得る領域である。よってこれらにより、第１発光部１Ａ１並びに第２発光部１Ａ２及び第１受光部１Ｂ１の前面が領域Ａ乃至領域Ｃの三つに分割され、これらの領域については、その領域内に手Ｈがあるか否かが別個に検出される。これにより、ナビゲーション装置の前面上部の前方の空間における手Ｈの左右方向の動きが検出される（後述する図３参照）。そして、領域Ａ乃至領域Ｃのそれぞれにおいて手Ｈがあると検出された場合、センサドライバ５は、当該手Ｈが検出されること及びその動きを示す検出信号をＣＰＵ２０に出力する。

【0023】

一方、実施例に係る第３発光部１Ａ３及び第４発光部１Ａ４と第２受光部１Ｂ２とは、例えばナビゲーション装置の前面を上方から見下ろしたときの第１発光部１Ａ１及び第２発光部１Ａ２と第１受光部１Ｂ１の位置と同じ位置の基台Ｂ上に、それぞれ配置されている。即ち図３に例示するように、ナビゲーション装置ＮＶを正面から見たとき、第１発光部１Ａ１乃至第４発光部１Ａ４は、例えばナビゲーション装置ＮＶの前面に配置されたディスプレイＤの外側の縁部の四隅にそれぞれ配置されており、また第１受光部１Ｂ１は例えば当該縁部の上辺中央部に、第２受光部１Ｂ２は例えば当該縁部の下辺中央部に、それぞれ配置されている。なお実施例に係るマイク１０は、図３に例示するように当該縁部の右辺中央部に配置されている。そしてこのような配置により、第３発光部１Ａ３と第２受光部１Ｂ２とにより近接センサＳとしての三つ目の検出空間Ａ３が形成され、また第２受光部１Ｂ２と第４発光部１Ａ４とにより近接センサＳとしての四つ目の検出空間Ａ４が形成される。このときセンサドライバ５は、第１発光部１Ａ１及び第２発光部１Ａ２の場合と同様に、検出用の赤外線を第３発光部１Ａ３及び第４発光部１Ａ４から例えば時分割的に交互にそれぞれ出射させる。そして、第２受光部１Ｂ２をも駆動させるセンサドライバ５において、第３発光部１Ａ３及び第４発光部１Ａ４それぞれの出射タイミングに対応したタイミングで第２受光部１Ｂ２に赤外線の受光があったか否かを検出することにより、検出すべき手Ｈが、上記検出空間Ａ３又は検出空間Ａ４のいずれに存在するかを検出する。

【0024】

ここで、検出空間Ａ３と検出空間Ａ４とは、検出空間Ａ１及び検出空間Ａ２と同様に、それぞれの一部が重複するように形成される。従って、これも検出空間Ａ１及び検出空間Ａ２と同様に、第３発光部１Ａ３と第２受光部１Ｂ２とにより手Ｈが検出され得る領域と、第４発光部１Ａ４と第２受光部１Ｂ２とにより手Ｈが検出され得る領域と、第３発光部１Ａ３及び第４発光部１Ａ４と第２受光部１Ｂ２とにより手Ｈが検出され得る領域と、の三つが、検出空間Ａ３及び検出空間Ａ４により、それぞれ別個に形成される。よってこれらにより、第３発光部１Ａ３並びに第４発光部１Ａ４及び第２受光部１Ｂ２の前面が三つの領域に分割され、これらの領域については、その領域内に手Ｈがあるか否かが別個に検出される。これにより、ナビゲーション装置ＮＶの前面下部の前方の空間における手Ｈの左右方向の動きが検出される。そして、これら三つの領域のそれぞれにおいて手Ｈがあると検出された場合、センサドライバ５は、当該手Ｈが検出されること及びその動きを示す検出信号をＣＰＵ２０に出力する。

【0025】

これらに加えてセンサドライバ５は、第１発光部１Ａ１及び第２発光部１Ａ２と、第３発光部１Ａ３及び第４発光部１Ａ４と、の発光タイミングを更に異ならせて発光させる。これによりセンサドライバ５は、ナビゲーション装置ＮＶ（図３参照）の前面左部及び前面右部それぞれの前方の空間における手Ｈの上下方向の動きをも検出し、その検出結果に相当する検出信号をＣＰＵ２０に出力する。

【0026】

他方マイク１０は、第１発光部１Ａ１等と同様にナビゲーション装置ＮＶの前面に配置されており（図３参照）、使用者により発話された音声を検出すると、当該検出した音声に相当する音声信号を認識部１１に出力する。これにより認識部１１は、当該音声信号を既定の音声解析方法により解析し、上記発話された内容に相当する認識信号をＣＰＵ２０に出力する。

【0027】

一方メモリ２１には、実施例に係る連動リストＬ１及び連動リストＬ２がそれぞれ不揮発性に記憶されている。このとき連動リストＬ１及び連動リストＬ２が、実施形態に係る内部情報の一例に相当する。ここで連動リストＬ１は、使用者の音声の検出が手Ｈの動きの検出より先であった場合に、それらの組み合わせに対応して処理部３０において実行させるべき処理の内容が記述されている連動リストである。より具体的には、例えば図４（ａ）に例示するように、「ボリューム」なる使用者の音声が先に検出され、その後に検出された手Ｈの動きが所定の速度以上であった場合には、処理部３０としての音出力処理部における音のボリュームを大きくする旨が記述されている。なおこの場合の「所定の速度」の判定基準となる閾値速度は、例えばメモリ２１内に予め記憶されているものであってもよいし、使用者により設定又は変更可能に構成されていてもよい。また例えば図４（ａ）において、「縮尺」なる使用者の音声が先に検出され、その後に検出された手Ｈの動きが所定の速度未満であった場合には、処理部３０としての表示処理部において表示している地図の縮尺を小さくする旨が記述されている。

【0028】

これに対して連動リストＬ２は、使用者の音声の検出が手Ｈの動きの検出より後であった場合に、それらの組み合わせに対応して処理部３０において実行させるべき処理の内容が記述されている連動リストである。より具体的には、例えば図４（ｂ）に例示するように、手Ｈの左右の動き（当該動きは、処理部３０としての音声出力部におけるボリューム制御に予め関連付けられているとする）が先に検出され、その後に「大きく」なる使用者の音声が検出された場合には、上記音出力処理部における音のボリュームを大きくする旨が記述されている。また例えば図４（ｂ）において、手Ｈの上下の動き（当該動きは、処理部３０としての表示出力部における地図表示の縮尺制御に関連付けられているとする）が先に検出され、その後に「小さく」なる使用者の音声が検出された場合には、上記ディスプレイＤに表示中の地図の縮尺を小さくする旨が記述されている。

【0029】

なお以下の説明において、連動リストＬ１と連動リストＬ２とを纏めて扱う場合、単に「連動リストＬ」と称することとする。

【0030】

以上説明した第１発光部１Ａ１乃至第４発光部１Ａ４、第１受光部１Ｂ１及び第２受光部１Ｂ２、センサドライバ５並びにマイク１０及び認識部１１の動作、及びメモリ２１に記憶されている連動リストＬ１及び連動リストＬ２の内容に基づき、ＣＰＵ２０は、ナビゲーション装置ＮＶの前面前方の空間における手Ｈの上下左右方向の動き並びに使用者の発話内容をそれぞれ検出／認識し、その検出／認識された動き及び発話内容に対応して連動リストＬ１又は連動リストＬ２に記述されている内容に対応した処理を処理部３０に実行させる。即ち例えば、図４（ａ）に連動リストＬ１として例示するように、「ボリューム」なる使用者の音声が先にマイク１０で検出され、その後に第１発光部１Ａ１等により検出された手Ｈの動きが上記所定の速度以上であった場合にＣＰＵ２０は、処理部３０としての音出力処理部における音のボリュームを大きくするように、当該処理部３０を制御する。また例えば図４（ａ）において、「縮尺」なる使用者の音声が先に検出され、その後に検出された手Ｈの動きが上記所定の速度未満であった場合にＣＰＵ２０は、処理部３０としての表示処理部において表示している地図の縮尺を小さくするように、当該処理部３０を制御する。

【0031】

これに対して、例えば図４（ｂ）に連動リストＬ２として例示するように、処理部３０としての音声出力部におけるボリューム制御に予め関連付けられている手Ｈの左右の動きが先に第１発光部１Ａ１等により検出され、その後に「大きく」なる使用者の音声がマイク１０で検出された場合にＣＰＵ２０は、上記音出力処理部における音のボリュームを大きくするように処理部３０を制御する。また例えば図４（ｂ）において、処理部３０としての表示出力部における地図表示の縮尺制御に予め関連付けられている手Ｈの上下の動きが先に検出され、その後に「小さく」なる使用者の音声が検出された場合にＣＰＵ２０は、上記ディスプレイＤに表示中の地図の縮尺を小さくするように処理部３０を制御する。

【0032】

次に、実施例に係る近接センサＳにおける上記検出処理について、より具体的に図２乃至図６を用いて説明する。なお当該検出処理は、主としてＣＰＵ２０を中心として実行される。

【0033】

実施例に係る上記検出処理において、近接センサＳに対する電源電力が投入されると、初めに、上記第１発光部１Ａ１等を用いた手Ｈの動きの検出と、マイク１０による音声の検出及び認識と、を組み合わせて（即ち連動させて）処理部３０における処理の内容を制御するか否かの設定処理が行われる。即ち図５（ａ）に示すように、手Ｈの動きの検出と音声認識とを連動させて処理部３０における処理を制御する旨の指示が、例えば図示しない操作部を用いて実行されると、ＣＰＵ２０は当該指示の内容に対応する例えばフラグを、例えばメモリ２１内において不揮発性に設定し（ステップＳ２０）、上記設定処理を終了する。

【0034】

次にＣＰＵ２０は、実施例に係る上記検出処理を開始する。即ち図５（ｂ）に示すように当該検出処理としてＣＰＵ２０は、初めに、マイク１０によって使用者の音声が検出されたか否か、及び第１発光部１Ａ１等によりいずれかの検出空間において手Ｈの存在が検出されたか否かを、それぞれ監視している（ステップＳ１、ステップＳ３）。音声の検出及び手Ｈの存在の検出が共にない場合（ステップＳ１；ＮＯ、ステップＳ３；ＮＯ）、ＣＰＵ２０はそれぞれ、近接センサＳに対する電源投入がオフとされているか否かを判定する（ステップＳ１１）。ステップＳ１１の判定において電源投入が引き続き行われている場合（ステップＳ１１；ＮＯ）、ＣＰＵ２０は上記ステップＳ１及びステップＳ３それぞれに戻り、継続して手Ｈの動き及び音声それぞれの検出を監視する。

【0035】

一方ステップＳ１の監視において音声がマイク１０により検出された場合（ステップＳ１；ＹＥＳ）、当該検出されたタイミングを示す時刻情報が例えばメモリ２１に一時的に記憶されると共に、当該検出された音声に相当する音声信号が認識部１１に出力される。そして認識部１１は、出力されてきた音声信号の内容を認識する（ステップＳ２）。その後、当該認識結果はＣＰＵ２０に出力される。

【0036】

これと並行して、ステップＳ３の監視において手Ｈの動きが第１発光部１Ａ１等により検出された場合（ステップＳ３；ＹＥＳ）、当該検出されたタイミングを示す時刻情報が例えばメモリ２１に一時的に記憶されると共に、当該検出された動きに基づいて手Ｈの移動速度及び移動方向がセンサドライバ５により認識される（ステップＳ４）。より具体的にセンサドライバ５は、例えば手Ｈの存在を複数の検出空間において検出した場合、各検出空間における当該検出の時間差と、例えば第１発光部１Ａ１と第２発光部１Ａ２との間の距離と、に基づいて手Ｈの移動速度を検出する。またセンサドライバ５は、いずれの検出空間において手Ｈの存在を検出したかを判別することにより、ナビゲーション装置ＮＶの前方における手Ｈの移動方向を検出する。これらの検出結果は、その後ＣＰＵ２０に出力される。

【0037】

次にＣＰＵ２０は、手Ｈの動きの検出と音声認識とを連動させる旨のフラグが、上記ステップＳ２０の処理により設定されているか否かを確認する（ステップＳ５）。ステップＳ５の確認において、当該連動させる旨のフラグが設定されていない場合（ステップＳ５；ＮＯ）、ＣＰＵ２０は、従来と同様の処理として、上記ステップＳ２の処理により認識されている音声の内容に対応する処理部３０としての処理、又は上記ステップＳ４の処理により認識されている手Ｈの移動方向等に対応する処理部３０としての処理のいずれか又は双方を実行する（ステップＳ１５）。その後ＣＰＵ２０は上記ステップＳ１１の処理に移行する。

【0038】

一方ステップＳ５の確認において、手Ｈの動きの検出と音声認識とを連動させる旨のフラグが設定されている場合（ステップＳ５；ＹＥＳ）、次にＣＰＵ２０は、上記ステップＳ１の監視において音声が検出されたタイミングと上記ステップＳ２の監視において手Ｈの存在が検出されたタイミングとの差が、予め設定されている閾値時間内であるか否かを判定する（ステップＳ６）。このステップＳ６の判定には、上記ステップＳ２及びステップＳ４においてそれぞれメモリ２１等に一時的に記憶されている時刻情報が用いられる。ここでステップＳ６の判定は、手Ｈの動きの検出と音声認識とを連動させる場合において、実際に検出された手Ｈの動きと音声とが、連動の対象とすることを意図して行われたか否かを判定するための処理である。またこの場合の閾値時間としては、例えば０．５秒、１秒、１．５秒又は２秒のうちいずれかを、予めＣＰＵ２０内に設定しておくことが考えられる。この閾値時刻を本願に係る「変更手段」の一例に相当する図示しない操作部により使用者が変更可能としてもよいし、いずれかの閾値時間を固定的にＣＰＵ２０内に設定しておくこととしてもよい。

【0039】

ステップＳ６の判定において各タイミング同士の差が上記閾値時間より長かった場合（ステップＳ６；ＮＯ）、実際に検出された手Ｈの動きと音声とは連動の対象外であるとして、ＣＰＵ２０は次に、手Ｈの動きの検出と音声の検出のいずれが先であったかを判定する（ステップＳ１２）。このステップＳ１２の判定にも、上記ステップＳ２及びステップＳ４においてそれぞれメモリ２１等に一時的に記憶されている時刻情報が用いられる。ステップＳ１２の判定において上記ステップＳ１における音声の検出が先であった場合（ステップＳ１２；ＹＥＳ）、ＣＰＵ１２は従来の処理と同様のものとして、当該検出された音声の内容に対応する処理を処理部３０に実行させ（ステップＳ１３）、その後上記ステップＳ１１の処理に移行する。他方、ステップＳ１２の判定において上記音声の検出が後であった場合（ステップＳ１２；ＮＯ）、手Ｈの動きと音声とを連動させるように設定されているにも拘わらずそれぞれのタイミングの間が空き過ぎているとして、ＣＰＵ２０はステップＳ３における手Ｈの動きの検出が誤った検出であると判定し、この判定に対応した処理を実行する（ステップＳ１４）。このステップＳ１４の処理として具体的には、例えば、手Ｈの動きが検出されていても処理部３０としては無反応とさせるか、或いは当該誤検出である旨の告知を表示又は音声にて実行させる等の処理が考えられる。その後ＣＰＵ２０は、上記ステップＳ１１の処理に移行する。

【0040】

次に、上記ステップＳ６の判定において各タイミング同士の差が上記閾値時間内であった場合（ステップＳ６；ＹＥＳ）、ＣＰＵ２０は次に、図４に例示した連動リストＬ１及び連動リストＬ２がメモリ２１内に記憶されているか否かを確認する（ステップＳ７）。ステップＳ７の確認において各連動リストＬが記憶されていない場合（ステップＳ７；ＮＯ）、手Ｈの動きと音声とを連動させるように設定されているにも拘わらず連動リストＬが記憶されていないことになるので、ＣＰＵ２０は上記ステップＳ１２乃至ステップＳ１４の処理に移行する。

【0041】

一方、ステップ７の確認において各連動リストＬが記憶されている場合（ステップＳ７；ＹＥＳ）、次にＣＰＵ２０は、手Ｈの動きの検出と音声の検出のいずれが先であったかを判定する（ステップＳ８）。このステップＳ８の判定にも、上記ステップＳ２及びステップＳ４においてそれぞれメモリ２１等に一時的に記憶されている時刻情報が用いられる。ステップＳ８の判定において上記ステップＳ１における音声の検出が先であった場合（ステップＳ８；ＹＥＳ）、ＣＰＵ２０は、メモリ２１から上記連動リストＬ１の内容を読み出す。そしてＣＰＵ２０は、当該読み出した連動リストＬ１の記述内容と、上記ステップＳ２において認識された音声の内容及び上記ステップＳ４において認識された手Ｈの移動状態と、に基づいて、それらに対応する処理を処理部３０に実行させる（ステップＳ９）。その後ＣＰＵ２０は、上記ステップＳ１１の処理に移行する。

【0042】

他方、ステップＳ８の判定において上記音声の検出が後であった場合（ステップＳ８；ＮＯ）、ＣＰＵ２０は、メモリ２１から上記連動リストＬ２の内容を読み出す。そしてＣＰＵ２０は、当該読み出した連動リストＬ２の記述内容と、上記認識された音声の内容及び上記認識された手Ｈの移動状態と、に基づいて、それらに対応する処理を処理部３０に実行させる（ステップＳ１０）。その後ＣＰＵ２０は、上記ステップＳ１１の処理に移行する。

【0043】

なお実施例に係る上記検出処理において、音声が検出されたタイミングと手Ｈの存在が検出されたタイミングとが同時と判定される場合には、例えば、再度の発話を使用者に促すメッセージをディスプレイＤ上に表示するか、或いは音声として出力するように構成することができる。またこの他に、各タイミングが同時と判定された場合でも、いずれかのタイミングが先であるとして検出処理を進めるように構成することもできる。このとき、どちらのタイミングが先であるとするかは、例えば使用者によって設定可能としてもよいし、或いは予め設定されていてもよい。

【0044】

以上説明した実施形態に係る検出処理が実行されることにより、例えば図６に例示するように、第１発光部１Ａ１等及びマイク１０を備えるナビゲーション装置ＮＶの前方の空間内で手Ｈが左から右に移動され、これに対応して「ボリューム」という発生が使用者により為された場合、例えば手Ｈの検出が先であった場合には、上記連動リストＬ１の内容に基づき、手Ｈの移動速度に応じて処理部３０における音声出力部としてのボリュームが調整されることとなる（図４（ａ）参照）。

【0045】

以上説明したように、実施例に係る検出処理によれば、手Ｈの存在と音声の内容との組み合わせに連動させた処理が実行されるので、手Ｈの存在のみを検出して処理を行うことに起因する誤った処理の実行を防止できる。また手Ｈの存在と音声の内容との組み合わせにより、多くの種類の処理を実行させることができる。なお音声認識を手Ｈの検出に先んじて行う場合、例えば各検出空間Ａ１等を避けるように手Ｈを移動させた後に発話するようにすれば、意図しない処理が実行されることを更に少なくすることができる。

【0046】

また、手Ｈの動き及び音声それぞれの検出タイミングの差が既定の閾値時間以下であった場合に、手Ｈの存在と音声の内容との組み合わせに連動させた処理を実行する（上記ステップＳ６；ＹＥＳ参照）ので、手Ｈの存在と音声の検出とが関連する（連動する）と推測される場合に処理を実行することで、使用者の意図に沿った正確な処理を実行することができる。

【0047】

更に、処理を実行するか否かを判定するために用いられる閾値時間が変更可能とされる場合は、使用者の意図により沿った正確な処理を実行することができる。

【0048】

更にまた、連動リストＬが手Ｈの動きと音声の内容との組み合わせに対応付けられた処理の内容を示しており、当該連動リストＬに基づいて、手Ｈの動きと音声の内容との組み合わせに対応した処理を実行するので、種々の移動状態に応じた内容の処理を実行することができる。なお、音声の認識を先に行う連動リストＬ２の場合は、簡易な用語により先に認識した処理部３０における処理の詳細を手Ｈの動きにより表現することにより、発話用語の簡略化／短縮化を図ることができ、使用者における用語記憶に係る負担を軽減することができる。

【0049】

また、手Ｈの空間的な移動速度を検出する場合は当該移動速度に応じた内容の処理を実行することができ、手Ｈの空間的な移動方向を検出する場合は当該移動方向に応じた内容の処理を実行することができる。

【0050】

更に、検出される音声が使用者の音声であり、その音声の内容が認識されるので、使用者の意図に即した処理を正確に実行することができる。なおマイク１０における検出対象は、使用者の音声の他に、予め設定されてその内容が連動リストＬ内に記述されていれば、他の物の音であってもよい。

【0051】

また実施例に係る処理部３０の処理としては、上述してきたものの他に、例えば図４の連動リストＬ１として例示するように、表示処理としてのリストのスクロール処理やタブ表示の場合の遷移処理等が考えられる。

【0052】

更に上述した実施例では、手Ｈの動きの検出と音声の検出との前後関係を自動的に判定する構成としたが、これ以外に、手Ｈの動きと音声との前後関係を予めＣＰＵ２０内に設定しておき、その設定された順序で手Ｈの動き及び音声を検出させる構成としてもよい。このとき、音声の検出を先として設定した場合は、図５（ｂ）に示すフローチャートにおけるステップＳ８、ステップＳ１０、ステップＳ１２及びステップＳ１４の各処理が不要となる。また手Ｈの動きの検出を先として設定した場合は、図５（ｂ）に示すフローチャートにおけるステップＳ８、ステップＳ９、ステップＳ１２及びステップＳ１３の各処理が不要となる。

【0053】

更にまた上述した実施形態及び実施例では、物体Ｈが手Ｈである場合について説明したが、物体Ｈとしては手Ｈに限らず、赤外光を反射可能な物体であれば、どのような物でも検出対象とすることができる。

【0054】

また上述した実施形態及び実施例では、車載用のナビゲーション装置ＮＶにおける処理を制御するための近接センサＳに対して本願を適用した場合について説明したが、これ以外に、一般家庭の照明のオン／オフや明るさを制御するための赤外線式等の非接触式のスイッチによる手Ｈの存在の検出による照明の制御に、本願を適用することもできる。この場合には、手Ｈの動きに対応して照明操作用の音声を発するように構成すればよい。

【0055】

更に、図５に示したフローチャートに相当するプログラムを、フレキシブルディスク又はハードディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークを介して取得しておき、これを汎用のマイクロコンピュータ等に読み出して実行することにより、当該マイクロコンピュータ等を実施例に係るＣＰＵ２０として機能させることも可能である。

【符号の説明】

【0056】

１ 物体検出手段
１Ａ１ 第１発光部
１Ａ２ 第２発光部
１Ａ３ 第３発光部
１Ａ４ 第４発光部
１Ｂ１ 第１受光部
１Ｂ２ 第２受光部
５ センサドライバ
１０ 音検出手段（マイク）
１１ 認識手段（認識部）
２０ 実行手段（ＣＰＵ）
２１ メモリ
３０ 処理部
Ｈ 物体（手）
Ｓ 処理装置（近接センサ）
Ａ１、Ａ２、Ａ３、Ａ４ 検出空間
Ｌ１、Ｌ２ 連動リスト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】