【課題】複数の検索結果を示し、いずれかの施設の特徴を音声で紹介すると、ユーザは提示されたどの施設について紹介されているのか判別できない。この場合、所望の施設をユーザが適宜選択できず、課題となっていた。
【解決手段】サーバと通信を行う車両用装置2は、ユーザの検索指示に応じて検索された施設の位置をサーバから取得し、かかる施設の位置を含む地図を表示する。そして、地図に表示された抽出施設に関する施設情報SNを音声でユーザへ報知する。これにより、ユーザは、施設情報SNを音声で取得できるので、車両へ乗車中に表示画面23を注視しなくとも、地図に表示された位置情報と共に施設に関する情報を把握できる。特に、ユーザが運転中である場合には、前方に注意を払いつつ、施設に関する情報を把握することができる。
【発明を実施するための形態】
【0023】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0024】
<1.概要>
図1は、本実施の形態に係る通信システム10の概要を示す。通信システム10は、車両用装置2及び携帯端末3を備える。
通信システム10は、車両1に搭載される車両用装置2、車両1内に持ち込まれる携帯端末3を備える。
【0025】
車両用装置2は、目的地までのルートを案内するナビゲーション機能を備える電子制御装置であり、ディスプレイや、スピーカ、マイクロフォンを備える。携帯端末3は、無線回線及びインターネット等のネットワーク4を介し、音声認識サーバ5、検索サーバ6、及び地図サーバ7と相互にデータを送受信する携帯型の通信装置である。また、車両用装置2と携帯端末3とは、互いにデータの送受信を行う。
【0026】
ユーザは、様々な音声を発声することで、例えば所望する施設(POI:Point of interest)を検索し、検索で得られた施設の位置をナビゲーション機能の目的地に設定することができる。
【0027】
このような通信システム10による施設の検索は、まず、車両用装置2がユーザの音声を取得し、その音声を示す音声データを現在地の座標データと共に携帯端末3に送信することで開始する。携帯端末3は、受信した音声データと座標データとを音声認識サーバ5に送信する。
【0028】
音声認識サーバ5は、音声データに音声認識処理を実行し、音声データを文字データに変換し、文字データを検索サーバ6へ、座標データを地図サーバ7へ送信する。
【0029】
検索サーバ6は、文字データの意味に該当する施設をデータベースから検索し、検索結果を音声認識サーバ5に送信する。
【0030】
地図サーバ7は、座標データに基づき、現在地周辺の地図を生成し、地図データを音声認識サーバ5に送信する。音声認識サーバ5は、検索結果データと地図データとを携帯端末3に送信する。
【0031】
携帯端末3は、検索結果データと地図データと基づき、検索結果を一覧で表示する地図画像を生成し、車両用装置2へ送信する。例えば、ユーザが「近くのイタリアン・レストラン」と発声した場合、該当するレストランが点在する現在地周辺の地図画像が生成される。
【0032】
そして、ユーザは、車両用装置2のディスプレイに表示された地図画像から一つの施設を選択することで、例えば地図に表示されたレストランの位置をナビゲーション機能の目的地に設定することができる。
【0033】
このように、車両用装置2及び携帯端末3は、音声認識サーバ5、検索サーバ6、及び地図サーバ7と協働することで、車両1のユーザの発声に応じた情報を提供する検索機能を実現する。
【0034】
以下、このような検索機能を実現する通信システム10について、詳細に説明する。
【0035】
<2.構成>
<2−1.通信システムの構成>
図2は、通信システム10の備える車両用装置2及び携帯端末3の構成を示す。
図2下段は車両用装置2の構成である。
図2上段は携帯端末3の構成である。
【0036】
まず、車両用装置2の構成を説明する。車両用装置2は、制御部21、連携部22、ディスプレイ23、スピーカ24、マイクロフォン25、ナビゲーション部26、及び記憶部27を備える。
【0037】
制御部21は、車両用装置2の全体を統括的に制御するマイクロコンピュータであり、CPU、RAM、及びROMを備える。なお、制御部21の備える各部の動作は後述する。
【0038】
OLE_LINK1OLE_LINK2連携部22は、OLE_LINK1OLE_LINK2携帯端末3と近距離無線通信で接続し、携帯端末3と情報の送受信を行う。近距離無線通信は、例えば、ブルートゥース(Bluetooth:登録商標)や、ワイファイ(Wi-Fi:登録商標)、ジグビー(Zig Bee:登録商標)等の無線通信規格である。なお、連携部22による通信は、無線ではなく、有線で携帯端末3と通信可能に接続されてもよい。
【0039】
ディスプレイ23は、文字や図形を表示し、ドライバへ情報を提示する表示装置である。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイである。また、ディスプレイ23は、タッチパネルを備え、ユーザの操作に供される。
【0040】
スピーカ24は、制御部31からの信号に応じた音声を出力し、車両1のドライバに音声情報を報知する。
【0041】
マイクロフォン25は、ユーザの発話による音声を集音する。マイクロフォン25は、集音して得られた音声情報を制御部31に送信する。なお、道路上の騒音等を不必要に集音しないよう、正面方向を高感度に設計した単一指向性のマイクロフォンを採用することが望ましい。
【0042】
ナビゲーション部26は、目的地までの走行経路を案内するナビゲーション機能を実行する。ナビゲーション部26は、ユーザにより目的地が設定されると、GPS等の測位システムで取得される車両1の現在位置から目的地までの経路を導出し、ユーザへ案内を行う。
【0043】
記憶部27は、各種データを記憶するメモリである。例えば、EEPROM(Electrical Erasable Programmable Read-Only memory)、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性の記憶装置である。記憶部27は、プログラム27aを記憶している。
【0044】
プログラム27aは、制御部21により読み出され、制御部21が車両用装置2を制御するために実行されるファームウェアである。
【0045】
前述の制御部21は、記憶部27に記憶されたプログラム27aに従い、CPUの演算処理により実現される各種機能を備える。検索指示部21a、表示制御部21b、及び音声制御部21cは、プログラム27aに従い演算処理を行うことで実現される制御部21の機能である。
【0046】
検索指示部21aは、ユーザのタッチパネルへの入力やマイクロフォン25への発声に基づき、施設の検索条件を含む検索指示データを生成する。生成された検索指示データは、連携部22を介して携帯端末3から検索サーバ6へ送信される。
【0047】
表示制御部21bは、携帯端末3から送信された画像データをディスプレイ23に表示する。
【0048】
音声制御部21cは、携帯端末3から送信された音声データをスピーカ24に出力する。また、音声制御部21cは、マイクロフォン25から送信される音声データを取得する。
【0049】
目的地設定部21dは、ナビゲーション部26を制御し、ナビゲーション機能における目的地の設定を行う。
【0050】
次に、携帯端末3の構成について説明する。携帯端末3は、制御部31、通信部32、ディスプレイ33、スピーカ34、記憶部35、及び連携部36を備える。
【0051】
制御部31は、携帯端末3全体を統括的に制御するマイクロコンピュータであり、CPU、RAM、及びROMを備える。なお、制御部31の備える各部の動作は後述する。
【0052】
通信部32は、ネットワーク4を介してサーバと無線通信を行い、施設の検索や地図画像データの取得等に必要なデータの送受信を行う。例えば、施設の検索データを検索サーバ6に送信し、検索サーバ6から検索処理の施設データを取得する。携帯端末3は、通信部32を備えることにより、車両用装置2とサーバとの間におけるデータの中継器として機能する。
【0053】
ディスプレイ33は、文字や図形等の各種情報を表示して、車両1のドライバに情報を提示する表示装置である。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ等である。なお、ディスプレイ33は、タッチパネルを備え、ユーザの操作に供される。
【0054】
スピーカ34は、制御部31からの信号に応じた音声を出力し、車両1のドライバに音声情報を報知する。
【0055】
記憶部35は、フラッシュメモリ等の不揮発性の記憶装置であり、各種情報を記憶する。記憶部35は、プログラム35aを記憶している。
【0056】
プログラム35aは、制御部31により読み出され、制御部31が携帯端末3を制御するために実行されるファームウェアである。
【0057】
連携部36は、車両用装置2と近距離無線通信で接続し、車両用装置2と情報の送受信を行う。近距離無線通信は、例えば、ブルートゥース(Bluetooth:登録商標)や、ワイファイ(Wi-Fi:登録商標)、ジグビー(Zig Bee:登録商標)等の無線通信規格である。なお、連携部36による通信は、無線ではなく、有線で車両用装置2と通信可能に接続されてもよい。
【0058】
画像処理部31aは、ディスプレイに表示してユーザへ提示すべき画像を生成する。例えば、検索された施設の位置を地図上で指し示すPOI画像を生成し、地図画像に重畳する。画像処理部31aは、画像を生成するとスクリーンキャプチャを行い、生成した画像データを車両用装置2及びディスプレイ33へ送信する。
【0059】
音声処理部31bは、車両用装置2から送信された音声データに対し、雑音や無音期間の除去等を行う。音声処理部31bにより処理された音声データは、音声認識サーバ5へストリーミング送信され、音声認識サーバ5にて音声認識処理が行われる。
【0060】
<2−2.サーバの構成>
次に、ネットワーク4に接続された各サーバの構成について
図3から
図6を参照して説明する。まず、音声認識サーバ5について説明する。
図3は、音声認識サーバ5の構成である。音声認識サーバ5は、制御部51、通信部52、及び記憶部53を備える。
【0061】
制御部51は、CPU、RAM、及びROMを備えたコンピュータである。後述の記憶部53に記憶されたプログラム53cに従いCPUが演算処理を実行し、制御部51の各種機能が実現される。制御部51は、音声認識部51a、情報生成部51bを備える。
【0062】
音声認識部51aは、後述の音声認識辞書53aを参照し、ユーザの音声の特徴量に基づいてユーザの音声を文字に変換する。そして、音声認識処理の認識結果として、ユーザの音声を表す文字データを生成する。そして音声認識部51aは、音声認識処理の認識結果の文字データから、助詞や接続詞等の不用語を消去し、単語を抽出する。抽出した単語と、後述の意味判定辞書53bとに基づき、ユーザの音声の意味を判定する。音声認識部51aは、検索条件を満足するデータを音声データベースから検索する。検索条件は、例えば、「近く」等の距離や「レストラン」等の施設種別である。そして、音声認識部51aは、音声認識処理の処理結果として、検索結果を携帯端末3に通信部52を介して送信する。
【0063】
情報生成部51bは、音声認識部51aが抽出した単語に基づいてユーザの嗜好に関するデータを生成し、後述のユーザデータ53dに登録及び更新を行う。この際、発生頻度の高い単語を嗜好度の上位に登録する。
【0064】
通信部52は、ネットワーク4に接続され、ネットワーク4に接続可能な他の通信端末やサーバとデータ通信を行う。このため、通信部52は、携帯端末3及び後述の検索サーバ6とネットワーク4を介し、データの送受信を行う。
【0065】
記憶部53は、例えば、ハードディスク等の不揮発性の記憶装置であり、各種情報を記憶している。記憶部53は、音声認識辞書53a、意味判定辞書53b、プログラム53c、及びユーザデータ53dを記憶している。
【0066】
音声認識辞書53aは、音声認識部51aがユーザの音声を認識する際に参照する辞書である。音声認識辞書53aは、音声の特徴量と文字との対応関係を示すデータを含む。
【0067】
意味判定辞書53bは、音声認識部51aによりユーザの音声の意味を判定する際に参照される辞書である。音声認識辞書53aは、単語と意味との対応関係を示すデータを含む。
【0068】
プログラム53cは、制御部51により読み出され、制御部51が音声認識サーバ5を制御するために実行されるファームウェアである。
【0069】
ユーザデータ53dは、音声認識部51aが検索対象とするデータベースである。ユーザデータ53dは、ナビゲーション機能の目的地の候補となる多数の施設データを含み、情報生成部51bがユーザ情報を生成する際に参照される。ユーザデータ53dに含まれるデータは、情報生成部51bにより常時更新される。
【0070】
図4は、ユーザデータ53dの例を示す。ユーザデータ53dは、「種類」と「嗜好度」とからなるマトリックス状のデータベースである。
【0071】
「種類」は、施設の種類、及び施設で提供されるサービスの種類である。例えば、コンビニエンスストア、ガソリンスタンド、レストラン、中華、イタリアン、和食等の単語が入力される。「嗜好度」は、ユーザの嗜好の高さを「最も好き」、「次に好き」、「好き」の3段階で示す指標である。「嗜好度」には、施設の種類、又は施設で提供されるサービスの種類を示す単語が入力される。
【0072】
例えば、「種類」がコンビニエンスストアの場合、ユーザのコンビニエンスストアの種類に対する嗜好として「最も好き」に「Aマート」、「次に好き」に「Bチェーン」、「好き」に「Cストア」が入力される。また、例えば、「種類」が「中華料理」の場合、ユーザの中華料理の種類に対する嗜好として「最も好き」に四川料理、「次に好き」に広東料理、「好き」に北京料理が入力される。
【0073】
これらのデータがユーザデータ53dに登録されるタイミングは、ユーザの発声が音声認識サーバ5に入力された際である。音声認識部51aは、ユーザの発声に含まれる単語をデータベースに蓄積し、発生頻度の高い単語をユーザデータ53dに登録する。この際、発生頻度のより高い単語を嗜好度の高いデータに登録する。
【0074】
次に、検索サーバ6について説明する。
図5は、検索サーバ6の構成を示す。検索サーバ6は、制御部61、通信部62、及び記憶部63を備える。
【0075】
制御部61は、CPU、RAM、及びROMを備えたコンピュータである。後述の記憶部63に記憶されたプログラム63bに従いCPUが演算処理を実行し、制御部61の各種機能が実現される。
【0076】
通信部62は、ネットワーク4に接続され、ネットワーク4に接続可能な他の通信端末やサーバとデータ通信を行う。通信部62は、音声認識サーバ5とネットワーク4を介し、データの送受信を行う。
【0077】
記憶部63は、例えば、ハードディスク等の不揮発性の記憶装置であり、各種情報を記憶している。記憶部53は、音声認識辞書53a、意味判定辞書53b、プログラム53c、及びユーザデータ53dを記憶している。
【0078】
前述の制御部61は、施設検索部61aを備える。施設検索部61aは、ユーザの発声内容と後述の施設データベース63aに基づき、コンビニエンスストアやガソリンスタンド等の施設の位置を検索し、施設情報を音声認識サーバ5へ送信する。施設情報は、「施設名称」、施設の距離及び所在地を示す「簡易情報」、施設の特徴を紹介する「詳細情報」、及び施設の所在を緯度及び経度で示す「位置情報」からなる。なお、施設の距離は、目的地又は現在位置からの距離である。
【0079】
次に、地図サーバ7について説明する。
図6は、地図サーバ7の構成を示す。地図サーバ7は、制御部71、通信部72、及び記憶部73を備える。
【0080】
OLE_LINK3OLE_LINK4制御部71は、OLE_LINK3OLE_LINK4CPU、RAM、及びROMを備えたコンピュータである。後述の記憶部73に記憶されたプログラム73bに従いCPUが演算処理を実行し、制御部61の各種機能が実現される。また、制御部71は、地図生成部71aを備える。
【0081】
地図生成部71aは、携帯端末3から位置情報を取得し、後述の地図データベース73aを参照して当該位置周辺の地図を生成し、携帯端末3へ送信する。
【0082】
通信部72は、ネットワーク4に接続され、ネットワーク4に接続可能な他の通信端末やサーバとデータ通信を行う。通信部72は、携帯端末3とネットワーク4を介し、データの送受信を行う。
【0083】
記憶部73は、例えば、ハードディスク等の不揮発性の記憶装置であり、各種情報を記憶している。記憶部73は、地図データベース73a及びプログラム73bを記憶している。
【0084】
地図データベース73aは、緯度と経度に基づく道路の地図情報であり、ラスタデータ(画像)として記憶部73に記憶されている。また、地図データベース73aでは、地図データが、複数の縮尺別に用意される。例えば、「1/5000」、「1/1万」、「1/2万」、「1/4万」、「1/8万」、「1/16万」、「1/32万」、「1/64万」「1/128万」、及び「1/256万」の10種類の縮尺の地図データが地図データベース73aに含まれる。
【0086】
まず、
図7を参照する。通信システム10の処理の開始前は、車両用装置2の制御部21が、ディスプレイ23に車両1周辺の地図を含むナビゲーション画像を表示する。この状態において、連携部22と連携部36とで無線通信が行われ、車両用装置2と携帯端末3との通信が確立されると、通信システム10の処理が開始される。
【0087】
処理が開始されると、車両用装置2の制御部21が、ユーザが施設の検索を指示するために、タッチパネル上の「検索」ボタンをタッチしたか否か判断する(ステップS11)。制御部21は、ユーザのタッチがないと判断すると(ステップS11でNo)、繰り返し「検索」ボタンへのタッチの有無を判断する。
【0088】
一方、制御部21が、ユーザのタッチがあったと判断すると(ステップS11でYes)、音声制御部21cは、スピーカ34へ音声データを出力し、ユーザに対し音声入力の案内を行う(ステップS12)。音声入力の案内は、例えば、「お話し下さい」という音声をスピーカ34から出力する。
【0089】
ユーザが検索条件を発声すると、マイクロフォン25が音声を集音する(ステップS13)。音声制御部21cは、マイクロフォン25で集音した音声を音声データとして取得する。検索指示部21aは、連携部22を介し、音声データを検索指示命令と共に携帯端末3へ送信する(ステップS14)。なお、検索指示部21aにより送信される音声データは、検索指示命令に含まれる施設の検索条件である。
【0090】
音声データが送信されると、検索指示部21aは、緯度及び経度を示す目的地の座標データを携帯端末3へ送信する(ステップS15)。なお、検索指示部21aにより送信される座標データも、検索指示命令に含まれる施設の検索条件である。
【0091】
ここで、車両用装置2と携帯端末3との通信が確立された後のディスプレイ23の表示について説明する。
図8は、車両用装置2と携帯端末3との通信が確立された後のディスプレイ23の表示例を示す。ユーザUSがタッチパネル上の「検索」ボタンをタッチすると、携帯端末3の制御部31は、キャラクタ画像CGを生成し、車両用装置2へ送信する。車両用装置2は、ディスプレイ23の左半面に車両1周辺の地図を含むナビゲーション画像NVを表示し、右半面にキャラクタ画像CGを表示する。
【0092】
キャラクタ画像CGが表示されると、「お話し下さい。」との文字表示TPを表示すると共に、スピーカ24から「お話し下さい」と音声出力SNを行う。ユーザUSはこれに対し、例えば、「目的地付近で食事がしたい」等をマイクロフォン25へ向けて発話VOを行う。このようにキャラクタ画像CGを表示することで、ユーザUSは、キャラクタ画像CGとの対話形式により、円滑に施設の検索を行うことができる。
【0093】
再度
図7を参照し、通信システム10の処理手順を説明する。携帯端末3の制御部31は、連携部36を介し、ステップS14で車両用装置2から送信された音声データを受信する(ステップS31)。受信した音声データに対し、音声処理部は、雑音や無音期間の除去等の処理を行う(ステップS32)。
【0094】
次に、携帯端末3の制御部31は、連携部36を介し、ステップS15で車両用装置2から送信された座標データを受信する(ステップS33)。制御部31は、車両用装置2から送信された音声データと座標データとを音声認識サーバ5へ送信する(ステップS34)。
【0095】
音声認識サーバ5は、携帯端末3から送信された音声データと座標データとを受信すると(ステップS51)、音声データに対して音声認識部51aが音声認識辞書53a及び意味判定辞書53bを参照して音声認識処理を行う(ステップS52)。音声認識処理により、例えば、「目的地」、「付近」、及び「食事」とういう単語が抽出され、新たに音声認識データとして編集される。
【0096】
音声認識部51aが音声認識処理を行うと、制御部51は音声認識処理を行った音声認識データと座標データとを検索サーバ6へ送信する(
図9のステップS53)。
【0097】
検索サーバ6が音声認識サーバ5から音声認識データと座標データとを受信すると(ステップS71及びステップS72)、施設検索部61aが、音声認識データと座標データとに基づき、施設データベース63aを参照して施設の検索を実行する(ステップS73)。施設の検索は、座標データにより緯度・経度で示される地点付近に存在する飲食店を施設データベース63aから検索し、施設データを生成して処理される。なお、座標データにより緯度・経度で示される地点付近とは、座標データで示される緯度及び経度を中心とした位置から10分程度で移動可能な範囲が適当である。
【0098】
施設データは、施設名称、簡易情報、詳細情報、及び位置情報からなるデータリストである。かかる施設データが、検索サーバ6で検索された施設である抽出施設に関する施設情報である。なお、施設データの簡易情報には、施設の所在地の他、現在位置、目的地、又は所定位置から施設までの距離データが含まれる。
図10は、施設データIFの具体的な例を示す。例えば、施設名称として「イタリアン “buona”」、簡易情報として「距離:8.5km 所在地:中央区」、詳細情報として「イタリア直輸入の食材を使った自家製パスタ・・・」、位置情報として「北緯34度40分26秒 東経135度6分28秒」が入力される。施設データIFには、多数の施設が含まれ、これらの情報が各施設に該当して入力されている。
【0099】
施設データが生成されると、検索サーバ6は、施設データを音声認識サーバ5へ送信する(ステップS74)。
【0100】
音声認識サーバ5は、検索サーバ6から施設データを受信すると(ステップS54)、施設データに含まれる施設の簡易情報及び詳細情報を音声データに変換し(ステップS55)、受信した施設データ及び作成した音声データを携帯端末3へ送信する(ステップS56)。
【0101】
音声認識サーバ5は、施設データ及び音声データを携帯端末3へ送信すると、検索した施設の位置を示す座標データを地図サーバ7へ送信する(ステップS57)。
【0102】
地図サーバ7が音声認識サーバ5から施設の位置を示す座標データを受信すると(ステップS91)、地図生成部71aが、座標データで示される全ての施設の位置が含まれる範囲とその周辺範囲の地図画像を生成する(ステップS92)。なお、周辺範囲も含めて地図画像を生成するのは、ユーザが表示された範囲を超えて、すなわち地図を移動させて、地図を参照したいと望む場合もあるからである。
【0103】
地図生成部71aにより地図画像が生成されると、地図サーバ7の制御部71は、通信部72を介して音声認識サーバ5へ地図画像を送信する(ステップS93)。
【0104】
音声認識サーバ5は、地図サーバ7から地図画像を受信すると、受信した地図画像を携帯端末3へ転送する(ステップS58)。
【0105】
携帯端末3が地図画像を受信すると(ステップS36)、画像処理部31aが、検索結果画像を生成する(ステップS37)。検索結果画像は、POIや目的地を表示する画像を地図画像に重畳した画像である。
【0106】
画像処理部31aが検索結果画像を生成すると、制御部31は、連携部36を介し、検索結果画像データ、音声データ、及び施設データIFを車両用装置2へ送信する(ステップS38)。
【0107】
車両用装置2は、携帯端末3から検索結果画像、音声データ、及び施設データを受信すると(
図11のステップS16)、POIを示す画像と共に地図画像をディスプレイ23に表示する(ステップS17)。これにより、ユーザは目的地付近の地図とともにPOIの数と位置を把握できる。このように、地図サーバ7が地図画像を作成し、携帯端末3が地図画像とPOI画像を合成して検索結果画像を作成する。そして、車両用装置2が携帯端末3で作成された検索結果画像を表示する。
【0108】
次に、車両用装置2の制御部21は、表示された地図に複数の施設が存在するか否か判断する(ステップS18)。制御部21は、複数の施設が存在すると判断する場合(ステップS18でYes)、携帯端末3から送信された施設データを参照し、ユーザの嗜好度の最も高い施設を選択する(ステップS19)。表示制御部21bは、選択された施設のPIO画像に対し、施設名を表示する吹き出し画像を表示する(ステップS20)。すなわち、表示制御部21bは、施設情報の出力の対象となっている地図上の施設を特定する図形を表示する。地図上の施設を特定する図形は、地図上における施設の位置に該施設の情報を表示する図形でもよい。なお、制御部21は、複数の施設が存在しないと判断する場合(ステップS18でNo)、すなわち1つの施設しか存在しないと判断する場合は、かかる施設のPIO画像に対し、施設名を表示する吹き出し画像を表示する(ステップS20)。
【0109】
施設のPIO画像に対し、施設名を表示する吹き出し画像が表示されると、音声制御部21cは、携帯端末3から送信された音声データに基づき、吹き出し画像を表示した施設の簡易情報の内容をスピーカ24から音声出力する(ステップS21)。これにより、ユーザは、車両1へ乗車中にディスプレイ23を注視しなくとも、施設に関する情報を地図上の位置情報と共に把握することができる。また、ユーザは、嗜好に合致する施設の情報を優先して取得することができる。さらに、ユーザは、施設に関する情報に加え、どの施設が音声出力されているかを吹き出し画像により直ちに判別することができる。
【0110】
ここで、車両用装置2のディスプレイ23に施設のPIO画像に対し、施設名を表示する吹き出し画像が表示された例について説明する。
図12は、目的地GL付近に存在する複数の施設のPIO画像PIのうち、ユーザの嗜好度の高いPIO画像PIaに吹き出し画像BLが表示された車両用装置2のディスプレイ23の表示である。このようなディスプレイ23の表示状態において、簡易情報SNとして「イタリアン ブゥオナ、距離は8.5km、所在地は中央区です」がスピーカ24から音声出力される。これにより、ユーザはディスプレイ23を注視せずとも、目的地GLとPIO画像PIaとの位置関係及び簡易情報SNを把握できる。
【0111】
再度
図11を参照し、通信システム10の処理手順を説明する。ステップS21において、音声制御部21cが簡易情報を音声出力すると、表示制御部21bは、ユーザがディスプレイ23のタッチパネルを操作して地図の拡大操作を行っているか否か判断する(ステップS22)。なお、この場合、表示制御部21bは、タッチパネルに対する操作として、いわゆるピンチ・アウト操作を検出する。
【0112】
表示制御部21bは、地図の拡大操作が行われていると判断すると(ステップS22でYes)、地図拡大処理を実行する(ステップS23)。なお、地図拡大処理の詳細は後述する。
【0113】
一方、表示制御部21bは、地図の拡大操作が行われていないと判断すると(ステップS22でNo)、ユーザがディスプレイ23のタッチパネルを操作して地図の移動操作を行っているか否か判断する(ステップS24)。なお、この場合、表示制御部21bは、タッチパネルに対する操作として、いわゆるフリック操作を検出する。地図の移動とは、すなわち地図画像のスクロールである。
【0114】
表示制御部21bは、地図の移動操作が行われていると判断すると(ステップS24でYes)、地図移動処理を実行する(ステップS25)。なお、地図移動処理の詳細は後述する。
【0115】
一方、表示制御部21bが、地図の移動操作が行われていないと判断すると(ステップS24でNo)、目的地設定部21dが、ユーザにより目的地設定の操作が行われているか否か判断する(ステップS26)。ユーザはPOIを含む地図を参照し、簡易情報を聴取することで、該当のPOIに立ち寄りたいと考える場合があるからである。
【0116】
目的地設定部21dは、目的地設定の操作が行われていると判断すると(ステップS26でYes)、ナビゲーション部26を制御し、目的地の設定処理を実行する(ステップS27)。これにより、ユーザは、関心のあるPOIへ向け、ナビゲーションの支援を受けつつ移動することができる。目的地の設定処理が実行されると、本処理手順は終了する。
【0117】
一方、目的地設定部21dが、目的地設定の操作が行われていないと判断すると(ステップS26でNo)、音声制御部21cが、ディスプレイ23に表示されているPOIの全てについて簡易情報が音声出力されたか否か判断する(ステップS28)。
【0118】
全POIについて簡易情報が音声出力されていないと判断すると(ステップS28でNo)、処理はステップS19に戻る。再度実行されるステップS19では、制御部21は、携帯端末3から送信された施設データを参照し、簡易情報が音声出力されていない施設のうちユーザの嗜好度の最も高い施設を選択する。以降、前述のステップS20以下の処理が実行される。
【0119】
一方、全POIについて簡易情報が音声出力されたと判断すると(ステップS28でYes)、本処理手順は終了する。簡易情報が全て音声出力された以上、ユーザに対してさらに通知すべき情報はないからである。
【0120】
次に、ステップS23における地図拡大処理の詳細について説明する。地図拡大処理とは、ディスプレイ23に表示された地図を拡大して表示させ、拡大された地図中に表示された施設の内容について、音声で詳細に説明を行う処理である。これにより、ユーザは、地図に表示された複数の施設のうち、関心のある施設について地図を拡大操作することで、施設周辺を拡大された地図で把握できると共に、施設の内容を音声で詳細に知ることができる。
図13は、地図拡大処理の詳細を示すフローチャートである。
【0121】
なお、本処理は、ユーザがタッチパネル上に親指と人差し指等を乗せ、二本の指の間隔を押し広げる操作、いわゆるピンチ・アウト操作を行った場合に実行される。処理が開始されると、表示制御部21bは、ユーザのピンチ・アウト操作に対応して地図を拡大して表示する(ステップS111)。
【0122】
地図が拡大して表示されると、音声制御部21cは、拡大された地図中に施設が存在するか否か判断する(ステップS112)。
【0123】
音声制御部21cは、拡大された地図中に施設が存在しないと判断すると(ステップS112でNo)、地図中に施設が存在しない旨を、音声制御部21が音声で出力し、表示制御部21bがディスプレイ23に文字で表示してユーザへ通知する(ステップS113)。このように、音声と文字とで施設が存在しない旨をユーザに通知することで、ユーザに所望の施設を地図中に表示させるよう操作を促すことができる。ユーザに通知を行うと、表示制御部21bは、地図の拡大処理前の地図表示を行う(ステップS114)。拡大処理前の地図表示を行うと、本処理は
図11に示す処理手順に戻り、ステップS26以下を実行する。
【0124】
一方、音声制御部21cが、拡大された地図中に施設が存在すると判断すると(ステップS112でYes)、表示制御部21bは、施設の位置を示すPOI画像に吹き出し画像を付加して表示する(ステップS115)。
【0125】
表示制御部21bが吹き出し画像を表示すると、音声制御部21cが、吹き出しが表示された施設の詳細情報を携帯端末3から送信された施設データから取得して音声出力する(ステップS116)。施設の詳細情報を音声出力すると、本処理は
図11に示す処理手順に戻り、ステップS26以下を実行する。
【0126】
次に、地図拡大処理におけるディスプレイ23に表示される画像の例を説明する。
図14は、地図拡大処理におけるディスプレイ23に表示される画像の例を示す。
図14上段は、ユーザがディスプレイ23のタッチパネルへピンチ・アウト操作POを行った図である。図において、ユーザは施設PIoを含む領域に対し、ピンチ・アウト操作POを行っている。
【0127】
図14下段は、ユーザのピンチ・アウト操作POに基づき、拡大された地図表示である。地図中に施設PIoが存在し、POI画像に吹き出し画像BLが付加されている。また、スピーカ24からは、施設の詳細情報である「広東菜館、中国人シェフによる本格的な中華料理と・・・」が音声出力されている。これにより、ユーザは所望の施設PIo周辺の様子を詳細に視認できると共に、施設の詳細な特徴を聴取できる。
【0128】
次に、ステップS25における地図移動処理の詳細について説明する。地図移動処理とは、ディスプレイ23に表示された地図を移動して表示させ、移動された地図中に施設が存在するか検索し、移動して表示された新たな地図に検索された施設を表示する処理である。これにより、ユーザは、地図を移動させることで、当初表示された地図周辺に存在する施設をも把握できる。なお、地図表示の移動は、ユーザによるタッチパネルへのフリック操作等により行われる。
【0129】
図15及び
図16は、地図移動処理の詳細を示すフローチャートである。なお、車両用装置が地図移動処理に関する処理を実行すると、実行された処理に対応して携帯端末3、音声認識サーバ5、検索サーバ6も所定の処理を実行する。
【0130】
本処理は、ユーザがタッチパネルに触れた指をスライドさせる操作、いわゆるフリック操作を行った場合に実行される。処理が開始されると、表示制御部21bは、ユーザのフリック操作に対応して地図を移動して表示する(ステップS211)。なお、地図データは、前述の通り表示範囲に隣接する範囲も予め取得しているので、新たに地図データを取得する必要はない。移動範囲が大きく、新たな地図データが必要な場合は、地図サーバ7から取得すればよい。
【0131】
地図を移動して表示すると、音声制御部21cは、ユーザがマイクロフォン25へ発声を行ったか否か判断する(ステップS212)。ユーザの発声がないと判断する場合(ステップS212でNo)、処理は、ステップS211に戻り、地図表示を継続すると共にマイクロフォン25へ発声があるか判断する。なお、ユーザによる更なる地図移動のためのフリック操作の有無を判断し、かかる操作があった場合に地図を移動させて表示してもよい。
【0132】
一方、音声制御部21cが、ユーザがマイクロフォン25へ発声を行ったと判断すると(ステップS212でNo)、マイクロフォン25で集音した音声データを携帯端末3へ送信する(ステップS213)。音声データを受信した携帯端末3は、音声データを音声認識サーバ5へ転送する(ステップS231)。
【0133】
音声認識サーバ5は、音声データを受信すると(ステップS251)、音声認識処理を実行し(ステップS252)、音声認識処理の結果データを携帯端末3へ送信する(ステップS253)。
【0134】
携帯端末3は、音声認識処理の結果データを音声認識サーバ5から受信すると、車両用装置2へ転送する(ステップS232)。
【0135】
車両用装置2が音声認識処理の結果データを携帯端末3から受信すると(ステップS214)、音声制御部21cは、音声認識処理された音声が所定の音声であるか、すなわちユーザが所定の発声をしたか否か判断する(ステップS215)。なお、所定の発声とは、「この辺り」や「この付近」等の位置を表す言葉であり、かつ否定的意味の含まない言葉の発声である。このような言葉が、ユーザが表示されている地図において施設の検索を望むと判断できるからである。また、ユーザの発声が所定の発声であるか否かの判断処理(ステップS215)、及びかかる処理に付随する処理(ステップS216)は、携帯端末3又はサーバ5で行ってもよい。
【0136】
音声制御部21cが、音声認識処理された音声が所定の音声でないと判断する場合(ステップS215でNo)、処理は、ステップS211に戻り、ユーザによる更なる地図移動のためのフリック操作及びマイクロフォン25への発声に備えて待機する。
【0137】
一方、音声制御部21cが、音声認識処理された音声が所定の音声であると判断する場合(ステップS215でYes)、検索指示部21aは、移動した地図の表示上の中心点の座標データを検索指示命令と共に携帯端末3へ送信する(
図16のステップS216)。なお、検索指示部21aにより送信される座標データは、検索指示命令に含まれる施設の検索条件である。また、座標データは、緯度及び経度を示すデータである。
【0138】
座標データを受信した携帯端末3は、受信した座標データを音声認識サーバ5へ転送する(ステップS233)。そして、座標データを受信した音声認識サーバ5は、受信した座標データを検索サーバ6へ転送する(ステップS254)。
【0139】
検索サーバ6が座標データを受信すると(ステップS271)、施設検索部61aが座標データで示される緯度及び経度を中心とした所定範囲内において、前述の手法により施設の検索を行う(ステップS272)。なお、所定範囲とは、座標データで示される緯度及び経度を中心とした位置から10分程度で移動可能な範囲が適当である。検索サーバ6は、施設の検索を行うと、施設データIFを生成し、生成した施設データIFを音声認識サーバ5へ送信する(ステップS273)。
【0140】
音声認識サーバ5が検索サーバ6から施設データIFを受信すると(ステップS255)、情報生成部51bが施設データIFから音声データを作成する(ステップS256)。音声データは、施設データIFに含まれる施設の簡易情報及び詳細情報をスピーカ24から音声出力可能なデータ形式としたデータである。音声認識サーバ5は、音声データが作成されると、検索サーバ6から受信した施設データ及び作成した音声データを携帯端末3へ送信する(ステップS257)。
【0141】
携帯端末3は、施設データ及び音声データを音声認識サーバ5から受信すると(ステップS234)、検索結果画像を生成し(ステップS235)、生成した検索結果画像及び施設データを車両用装置2へ送信する(ステップS236)。ここで生成される検索結果画像は、POI画像及び吹き出し画像である。
【0142】
車両用装置2が、検索結果画像及び施設データを携帯端末3から受信すると(ステップS217)、処理は
図11のフローチャートへ戻り、ステップS17以降の処理が実行される。すなわち、車両用装置2の表示制御部21bにより、携帯端末3から受信した検索結果画像及び施設データに基づき、ユーザにより移動された地図にPOI画像及び吹き出し画像が付加されて表示される。これにより、ユーザは、地図を移動して所定の発声を行うことで、関心のある地点に立地する施設を参照することが可能となる。
【0143】
次に、地図移動処理におけるディスプレイ23に表示される画像の例を説明する。
図17は、地図移動処理においてディスプレイ23に表示される画像の例を示す。
図17上段は、ユーザがディスプレイ23のタッチパネルに対し、画面右端から左側へフリック操作FLを行った図である。
【0144】
図17中段は、ユーザUSのフリック操作FLにより、地図が移動して表示され、ユーザUSが「この付近」と発声VOを行った図である。移動して表示された地図には、目的地マーク「G」が画面の左端に移動している。また、POI画像PIは一つのみ表示されている。なお、前述の通り、「この辺り」や「この付近」等の位置を表し、かつ否定的意味の含まない言葉は、ユーザUSが表示されている地図において施設の検索を望むと判断できる言葉である。
【0145】
図17下段は、ユーザの発声に基づき、移動された地図上における施設の検索結果がPIO画像として表示され、かつ最もユーザの嗜好度の高い施設PIaの簡易情報が音声出力された図である。地図中に複数の施設PIが存在し、施設PIaに吹き出し画像BLが付加されている。また、スピーカ24からは、施設PIaの簡易情報SNである「蕎麦処K、距離は18.8km、所在地は東灘区です」が音声出力されている。これにより、ユーザは地図を移動して所定の発声を行うことで、関心のある地点に立地し、かつ嗜好度の高い施設PIaの位置を視認できると共に、施設PIaの簡易な情報を聴取できる。
【0146】
以上のように、本実施の形態においては、サーバと通信を行う車両用装置2は、ユーザの検索指示に応じて検索された施設の位置をサーバから取得し、かかる施設の位置を含む地図を表示する。そして、地図に表示された抽出施設に関する施設情報を音声でユーザへ報知する。これにより、ユーザは、施設に関する情報を音声で取得できるので、車両へ乗車中に表示画面を注視しなくとも、地図に表示された位置情報と共に施設に関する情報を把握することができる。特に、ユーザが運転中である場合には、前方に注意を払いつつ、施設に関する情報を把握することができる。
【0147】
また、車両用装置2は、地図の表示範囲が移動されると、地図の表示範囲内に抽出施設が複数存在する場合に、ユーザの嗜好に合致する抽出施設の施設情報を優先して音声で出力する。このため、ユーザは、嗜好に合致する施設の情報を優先して取得することができる。
【0148】
また、車両用装置2は、施設情報の音声出力の対象となっている施設に対し、地図上でかかる施設を特定する図形を表示する。これにより、ユーザは、施設に関する情報と、どの施設の情報が音声出力されているかを直ちに判別することができる。
【0149】
また、車両用装置2は、地図の表示が拡大されると、地図の表示範囲内に抽出施設が存在する場合、抽出施設の施設情報に含まれる詳細情報を音声で出力する。これにより、ユーザは、地図を拡大して表示することにより、関心のある施設について詳細な情報を取得できる。
【0150】
また、車両用装置2は、地図の表示範囲を移動され、かつユーザの所定の発声を取得した場合、施設の検索条件として表示されている地図の位置情報を含む検索指示を検索サーバへ送信する。これにより、ユーザは、施設の検索条件として、表示されている地図の位置情報を発声により検索サーバへ送信できる。なお、ユーザの所定の発声に、「この辺り」や「この付近」等の言葉を設定すると、ユーザは車両用装置2と対話するように操作が可能となり、利便性が向上する。
【0151】
<4.変形例>
以上、本発明の実施の形態について説明したが、この発明は上記実施の形態に限定されるものではない。様々な変形が可能である。以下、このような変形例について説明する。なお、上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜、組み合わせ可能である。
【0152】
上記実施の形態では、POI画像を表示した地図画像には、ナビゲーションのルート案内用の表示を行っていなかった。しかし、POI画像を表示した地図画像にナビゲーションのルート案内用の表示を行ってもよい。
図18は、POI画像を表示した地図画像にナビゲーションのルート案内用の表示RTを行った画像の例である。このように、ルート案内の表示RTを行うことで、ユーザは走行ルートからどれだけ離れた位置に検索した施設が立地するか把握できる。ユーザは、ルート案内の表示RTとPOI画像の位置とを比較し、検索した施設に立ち寄るか否か判断できる。ユーザにとっては、案内されたルートに近い施設のほうが立ち寄りやすいからである。
【0153】
また、上記実施の形態では、処理手順において車両用装置2が各種の判断処理、及びかかる判断処理に付随する処理を行っていたが、これら判断処理及び付随処理は携帯端末3又はサーバ5で行ってもよい。例えば、地図に表示された施設が複数であるか否かの判断(
図11のステップS18)、地図が拡大されたか否かの判断(
図11のステップS22)、地図が移動されたか否かの判断(
図11のステップS24)、目的地が設定されたか否かの判断(
図11のステップS26)、全ての施設が音声出力されたか否かの判断(
図11のステップS28)、地図中に施設があるか否かの判断(
図13のステップS112)、ユーザの発声が所定の発声であるか否かの判断(
図15のステップS215)、及びこれら判断処理に付随する処理は、携帯端末3又はサーバ5で行ってもよい。
【0154】
また、上記実施の形態では、施設の詳細情報を音声で出力したが、ディスプレイ23に文字で表示してもよい。この場合、吹き出し画像BLに詳細情報を文字で表示させるためのタッチパネル用ボタンを設けてもよい。
図18は、吹き出し画像BLに詳細情報を文字で表示させるためのタッチパネル用の詳細表示ボタンDBを設けた画像の例である。ユーザは、詳細表示ボタンDBをタッチすることで、該当施設の詳細な情報を表示させることができる。
【0155】
また、上記実施の形態では、車両用装置2にマイクロフォンを備えたが、携帯端末3にマイクロフォンを備え、携帯端末3のマイクロフォンからユーザの音声を入力し、所定のサーバへ送信してもよい。
【0156】
また、上記実施の形態では、車両用装置2は、車両1に搭載される装置として説明したが、携帯電話やスマートフォン等の車両1に固定して設置されない可搬性の装置であってもよい。
【0157】
また、上記実施の形態では、携帯端末3と車両用装置2とは、別体の装置として説明したが、一体の装置であってもよい。すなわち、上記実施の形態の通信システム10の機能と同等の機能を、車両で用いられる一つの車両用装置が備えていてもよい。
【0158】
また、上記実施の形態では、携帯端末3及び車両用装置2のユーザは、車両1のドライバであると説明したが、ドライバ以外のユーザであってもよい。
【0159】
また、上記実施の形態では、プログラムに従ったCPUの演算処理によりソフトウェアとして各機能が実現されると説明した。しかし、機能の一部は電気的なハードウェア回路により実現されてもよい。