(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-24
(45)【発行日】2023-09-01
(54)【発明の名称】車両用ナビゲーション装置
(51)【国際特許分類】
G01C 21/36 20060101AFI20230825BHJP
G09B 21/00 20060101ALI20230825BHJP
G09B 21/04 20060101ALI20230825BHJP
【FI】
G01C21/36
G09B21/00 F
G09B21/04
(21)【出願番号】P 2019062593
(22)【出願日】2019-03-28
【審査請求日】2021-12-09
(73)【特許権者】
【識別番号】390005430
【氏名又は名称】株式会社ホンダアクセス
(74)【代理人】
【識別番号】110003063
【氏名又は名称】弁理士法人牛木国際特許事務所
(74)【代理人】
【識別番号】100080089
【氏名又は名称】牛木 護
(74)【代理人】
【識別番号】100161665
【氏名又は名称】高橋 知之
(74)【代理人】
【識別番号】100188994
【氏名又は名称】加藤 裕介
(74)【代理人】
【識別番号】100207653
【氏名又は名称】中村 聡
(72)【発明者】
【氏名】森 優一
(72)【発明者】
【氏名】江成 祐樹
(72)【発明者】
【氏名】橋本 英樹
【審査官】小林 勝広
(56)【参考文献】
【文献】米国特許出願公開第2014/0046661(US,A1)
【文献】特表2004-516515(JP,A)
【文献】特開2004-254218(JP,A)
【文献】特開2014-236505(JP,A)
【文献】米国特許出願公開第2015/0120293(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/00-21/36、23/00-25/00
G06T 7/00- 7/90
G06V 10/00-20/90、30/418、
40/16、40/20
G08G 1/00-99/00
G09B 21/00-29/14
G10L 13/00-13/10、19/00-99/00
(57)【特許請求の範囲】
【請求項1】
車両に設けた撮影手段により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段と、
前記手話画像を音声言語に変換する手話画像変換手段と、
運転席と助手席の前方に配置した表示部とを備え、
前記手話画像変換手段により変換された音声言語を出力すると共に、他の車両乗員の音声言語を変換した文字言語を、前記表示部の助手席側に表示
し、
前記手話画像変換手段により変換された音声言語を文字言語として前記表示部の運転席側に表示することを特徴とする車両用ナビゲーション装置。
【請求項2】
前記音声言語の出力とナビゲーション音声とは、それぞれ異なる声色を用いることを特徴とする請求項1記載の車両用ナビゲーション装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用ナビゲーション装置に関する。
【背景技術】
【0002】
従来、手話を用いたコミュニケーションを支援するものとして、音声を認識する手段と、音声信号と手話画像との対応表を参照して、認識した音声を手話画像に変換する手段と、変換した手話画像を表示する手段とを備え、また、画像を撮影する手段と、撮影した画像から手話情報を認識する手段と、手話情報と音声信号との対応表を参照して、認識した手話情報を音声に変換する手段と、変換した音声を出力する手段とを備える情報端末(例えば特許文献1)がある。
【0003】
また、手話画像を認識する手話画像認識装置と、前記手話画像認識装置が認識した手話画像を自然言語に翻訳する手話画像翻訳装置と、を含み、前記手話画像翻訳装置は、機械学習により予め機械学習された手話画像データとのマッチングを行うことにより、手話を音声に変換する手話会話支援システム(例えば特許文献2)がある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2006-139138号公報
【文献】特開2017-204067号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1の情報端末では、音声と手話画像との変換が可能になるため、聴覚障害者と聴覚健常者との間でリアルタイムの会話を実現することができる。
【0006】
また、上記特許文献2の手話会話支援システムでは、手話を音声に変換することができる。
【0007】
ところで、車両の助手席や後部座席などで手話をした場合、運転者は運転中にその手話を見ることができないため、手話によりコミュニケーションを取ることができない。また、前後部の座席に座った乗員同士も、手話を見るには前部座席の乗員が無理な姿勢で後を向く必要があるため、手話でコミュニケーションを取ることは困難である。
【0008】
このような課題に対して、特許文献1の技術を用いたとしても、運転者は運転中に情報端末を使用することができず、また、特許文献2の技術を用いたとしても、運転中の運転者の話を手話者に伝えることができず、両者間でコミュニケーションを取ることができない。
【0009】
そこで、本発明は上記した問題点に鑑み、車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる車両用ナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために、請求項1に係る発明は、車両に設けた撮影手段により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段と、前記手話画像を音声言語に変換する手話画像変換手段と、運転席と助手席の前方に配置した表示部とを備え、前記手話画像変換手段により変換された音声言語を出力すると共に、他の車両乗員の音声言語を変換した文字言語を、前記表示部の助手席側に表示し、前記手話画像変換手段により変換された音声言語を文字言語として前記表示部の運転席側に表示することを特徴とする。
【0011】
また、請求項2に係る発明は、前記音声言語の出力とナビゲーション音声とは、それぞれ異なる声色を用いることを特徴とする。
【発明の効果】
【0012】
請求項1の構成によれば、車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる。
【0013】
請求項1の構成によれば、手話者が自身の手話内容が正しく表示されているか否かを視認できる。
【0014】
請求項2の構成によれば、ナビゲーション音声と手話内容とを区別することができる。
【図面の簡単な説明】
【0015】
【
図1】本発明の
参考例を示す車両用ナビゲーションシステムのブロック図である。
【
図2】同上、車両のフロントウインド周辺の外観図である。
【
図3】同上、手話変換制御手段のブロック図である。
【
図4】同上、音声出力処理のフローチャート図である。
【
図6】同上、パネルディスプレイの正面図であり、通常表示モードの表示の一例を示す。
【
図7】同上、パネルディスプレイの正面図であり、通常表示モードの表示の他の例を示す。
【
図8】同上、ナビゲーション画面縮小表示モードのパネルディスプレイの正面図である。
【
図9】同上、割込み表示モードのパネルディスプレイの正面図である。
【
図10】同上、時系列表示モードのパネルディスプレイの正面図である。
【
図11】本発明の実施例
1を示すパネルディスプレイの正面図である。
【
図12】同上、時系列表示モードのパネルディスプレイの正面図である。
【
図13】同上、マークを表示したパネルディスプレイの正面図である。
【
図14】本発明の実施例
2を示す車両用ナビゲーションシステムのブロック図である。
【
図15】同上、パネルディスプレイの正面図である。
【
図16】本発明の実施例
3を示す車両の側面説明図である。
【
図17】同上、フロントウインドに設けた表示部の正面図である。
【
図18】同上、パネルディスプレイの正面図である。
【
図19】本発明の実施例
4を示す車内の平面説明図である。
【
図20】本発明の実施例
5を示す車内の平面説明図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して、本発明の車両用ナビゲーション装置の実施例について説明する。
[参考例]
図1~
図10は本発明の
参考例を示し、同図に示すように、車両用ナビゲーションシステム1は、自走式の車両2に搭載されて目的地に到達するための情報(方向、地図、経路など)を運転者に伝達するナビゲーション装置3と、車両2に搭載された撮像手段たるカメラ4とを備える。前記ナビゲーション装置3は、車両2のインストルメントパネル5に固定或いは内蔵されると共に、車両2の車載電源(図示せず)から動作電源が供給される。
【0017】
前記ナビゲーション装置3は、車両2のインストルメントパネル5やインストルメントコンソールなどの車両内装部材に取り付けられるメインユニット10と、このメインユニット10の正面部に設けられたパネルディスプレイ11とを有する。このパネルディスプレイ11は、その前面に各種データを表示する表示部たるディスプレイ部12が設けられ、このディスプレイ部12は液晶パネルなどからなり、表示機能とタッチ操作による入力機能を有する。
【0018】
前記車両用ナビゲーションシステム1は、車載の音声入力部13と音声出力部14を備える。また、前記パネルディスプレイ11には、ナビゲーション装置3を操作する複数のスイッチ15が配置され、前記パネルディスプレイ11の正面に複数のスイッチ15が配置されている。また、音声出力部14としては、車載スピーカなどが用いられ、前記車両2内に音声やその他の音を出力し、それら音声入力部13及び音声出力部14は前記ナビゲーション装置3に電気的に接続されている。
【0019】
また、前記ナビゲーション装置3は、
図2の鎖線に示すように、インストルメントパネル5の上部にブラケットなどにより固定する後付けタイプのものでもよい。
【0020】
前記ナビゲーション装置3は、前記車両用ナビゲーションシステム1を制御するシステム制御手段6を備え、このシステム制御手段6はマイクロコンピュータなどからなる。前記システム制御手段6は、カーナビゲーションを制御するナビ制御手段7と、手話変換制御手段8とを備える。そして、システム制御手段6は前記メインユニット10に内蔵される。尚、システム制御手段6の機能の一部を、インターネットを使用したクラウドコンピューティングなどにより構成してもよい。
【0021】
前記ナビ制御手段7により、前記ディスプレイ部12には、車両2が目的地に到達するための情報を示すナビゲーション画面17が表示されると共に、車両2が目的地に到達するための情報を示すナビゲーション音声が前記音声出力部14から車両2内に出力される。
【0022】
また、前記ナビゲーション装置3は、ラジオ,CD等のオーディオ機能と、DVDやテレビジョンのような音と画像の出力機能を有し、前記音は前記音声出力部14から出力され、前記画像は前記ディスプレイ部12に表示される。
【0023】
前記音声入力部13としてはマイクなどが用いられる。前記音声入力部13は車両乗員の話す音声言語を検出して音声言語の電気信号である音声言語データとして出力し、前記システム制御手段6の制御により、前記音声言語データに基づいた音声言語が前記音声出力部14から出力される。
【0024】
また、音声入力部13が出力する音声言語データは、前記システム制御手段6の制御により文字言語に変換され、音声言語が文字言語として前記ディスプレイ部12に表示される。尚、前記音声出力部14を前記ナビゲーション装置3に設けてもよい。
【0025】
前記手話変換制御手段8は、手話を変換して前記音声出力部14から音声言語として出力(発話)し、前記ディスプレイ部12に手話を文字情報(言語)として出力するように制御する。
【0026】
このため一例として、前記手話変換制御手段8は、
図3に示すように、手話画像認識手段21,手話画像変換手段22,音声言語データ生成手段23,音声言語データ解析手段24,音声言語較正手段25,手話画像学習手段26,手話画像記憶手段27,標準手話画像データ記憶手段28及び学習手話画像データ記憶手段29を備える手話画像データ記憶手段30,音声言語辞書記憶手段31を備える。尚、前記カメラ4とナビゲーション装置3は有線又は無線により電気的に接続されている。
【0027】
前記カメラ4は、撮像した手話画像を前記手話画像認識手段21に出力し、この手話画像認識手段21は受信した手話画像を手話画像記憶手段27に記憶させる。前記手話画像認識手段21は手話画像の特徴的部分を抽出する。例えば、手話画像認識手段21は、手話者の頭部と手の相対的な位置を認識し、手話をする手の形態を認識するために手話者の手の輪郭部分を抽出し輪郭線を生成する。このように手話画像認識手段21は、形態画像処理を行う。前記手話画像認識手段21は手話者の映像と、形態画像処理された画像データを一組とする手話画像データとして生成する。または、手話画像認識手段21は、形態画像処理された画像データを手話画像データとして生成してもよい。
【0028】
前記手話画像認識手段21に手話画像が入力されると、手話画像は映像処理され、「手」及び「顔」にその形態を認識した線ないし画像を重ね合わせる。手話画像の認識や機械学習をするときに、この形態映像処理を施された手話画像に基づいて行われる。これにより、手話動作を単純化及び明確化することができ、画像処理における手話画像の認識精度を向上させることができる。また機械学習においても学習精度及び習熟度の向上を図ることができる。尚、このような画像処理は必須ではなく、画像処理を行わないで学習及びリアルタイム処理が行われてもよい。
【0029】
前記手話画像認識手段21は、生成された手話画像データを手話画像変換手段22に出力する。手話画像記憶手段27は、手話画像データ記憶手段30の標準手話画像データ記憶手段28に記憶されている標準手話画像データを参照し、標準手話画像データの中から手話画像データと一致するものがあるか否かを調べる。また、手話画像変換手段22は、学習手話画像データ記憶手段29に記憶されている学習手話画像データを参照し、学習手話画像データの中から手話画像データと一致するものがあるか否かを調べる。手話画像変換手段22は、手話画像データと標準手話画像データ及び/又は学習手話画像データとの関連付けを行う。
【0030】
手話画像変換手段22によって、標準手話画像データ及び/又は学習手話画像データと関連付けられた手話画像データは、音声言語データ生成手段23において、音声言語データに変換される。
【0031】
前記音声言語データ生成手段23で生成された音声言語データは音声言語データ解析手段24に出力される。この音声言語データ解析手段24は、音声言語データを解析し、音声言語辞書記憶手段31を参照して、文法的な誤りや語彙を自然な日本語に修正する。
【0032】
前記音声言語データ解析手段24で修正された音声言語データは、音声言語較正手段25に出力される。この音声言語較正手段25は、較正の対象となった手話画像データを特定し、手話画像学習手段26にその情報を出力する。手話画像学習手段26は、手話画像記憶手段27から該当する手話画像を読み出し、修正された音声言語と関連付けて学習手話画像データ記憶手段29のデータに追加する。これにより、学習手話画像データ記憶手段29には手話画像データが蓄積される。
【0033】
前記システム制御手段6は、前記手話変換制御手段8の前記音声言語データ解析手段24で生成された音声言語データを音声言語として前記音声出力部14から出力させると共に、前記ディスプレイ部12に文字言語として出力させる。
【0034】
また、前記システム制御手段6は、前記カメラ4により得られた手話画像データから、手話の開始を検出するトリガー信号制御手段35を備える。このトリガー信号制御手段35は、前記撮像データから手の動きを抽出し、手の動きを認識して手話の開始を検出し、トリガー信号を出力する。この場合、手話者の手が動くだけでなく、前記手話画像変換手段22により手話の一語を変換した後、トリガー信号を出力することが好ましい。
【0035】
図2は車両2の車内前方を示し、左右の運転席41と助手席42の間の前方に、前記ナビゲーション装置3のディスプレイ部12が配置されており、前記カメラ4は助手席42の車両乗員を撮像する。このため車両2のフロントウインド16の上部内面に、ブラケット44を取り付け、このブラケット44に前記カメラ4を取り付けている。この場合、車両2の前方を撮像するドライブレコーダ用のカメラ(図示せず)のブラケットに、前記カメラ4を取り付けてもよい。また、前記ディスプレイ部12は運転席41と助手席42の間の前方に位置する。また、運転席41の前方にはハンドル18が配置されている。
【0036】
次に、前記システム制御手段6による車両用ナビゲーションシステム1の制御について説明する。
【0037】
運転席41の発話者である運転者と助手席42の手話者とがコミュニケーションを取る場合、手話者が手話を開始すると、カメラ4の撮像データから前記トリガー信号制御手段35が手話の開始を検出し、前記手話画像認識手段21により手話画像を認識し、この手話画像データを前記手話画像変換手段22が音声言語データに変換する。そして、この音声言語データが前記音声出力部14から音声言語として出力(発話)され、これを運転者が聞き、手話の内容を理解することができる。
【0038】
図4のフローチャート図に示すように、前記手話画像変換手段22による手話画像の音声言語データへの変換が完了(ステップ101)し、その音声言語データに基づいて音声言語を出力する前に、目的地に到達するための情報を運転者に伝達するナビゲーション音声の出力中か否かを判断(ステップ102)する。ナビゲーション音声の出力中(ステップ102にて「YES」)であれば、ナビゲーション音声が終了(ステップ103にて「YES」)してから所定時間が経過した後(ステップ104にて「YES」)に、ステップ102の前に戻る。
【0039】
このようにナビゲーション音声の出力後、所定時間が経過する間にナビゲーション音声の出力が無ければ(ステップ102にて「NO」)、後述するステップ105を経て、音声言語を前記音声出力部14から出力(ステップ107)する。こうすることにより、ナビゲーション出力が終了(ステップ103にて「YES」)し、この終了後、所定時間が経過する前にナビゲーション音声の出力が開始された場合(ステップ102にて「YES」)、再び、ナビゲーション音声の出力が終了する(ステップ103にて「YES」)まで、音声言語は出力されない。
【0040】
尚、前記所定時間は1~2秒程度であり、任意に設定することができる。前記所定時間を2秒に設定した場合、ナビゲーション音声の出力が終了(ステップ103にて「YES」)し、2秒経過(ステップ104にて「YES」)する前に、再びナビゲーション音声の出力が有った場合(ステップ102にて「YES」)、再度ステップ103へと移行し、このようにナビゲーション音声の出力を、手話に基づく音声言語の出力より優先する。
【0041】
また、フローチャート図に図示しないが、前記システム制御手段6は、音声言語を出力(ステップ107)中に、ナビゲーション音声の出力が有る場合は、音声言語の出力を中断し、中断後所定時間が経過した後、音声言語の出力を初めから行うように制御する。このようにナビゲーション音声の出力を、手話に基づく音声言語の出力よりも優先する。尚、前記中断後の所定時間も1~2秒程度である。
【0042】
一方、音声言語データへの変換が完了(ステップ101)し、ナビゲーション音声の出力がなければ(ステップ102にて「NO」)、音声出力部14がラジオ,CD,DVDやテレビジョンなどのナビゲーション音声以外の音を出力中か否かを判断(ステップ105)し、ナビゲーション音声以外の音の出力中(ステップ105にて「YES」)であれば、手話に基づく言語音声の出力の間、ナビゲーション音声以外の音の現在の音量を下げるか、音量をゼロにするように音量を調整(ステップ106)する制御が行われる。尚、ステップ106の変形例として、ナビゲーション音声以外の音の現在の音量が所定音量以下の場合には、ナビゲーション音声以外の音の現在の音量を変更せず、ナビゲーション音声以外の音の現在の音量が所定音量を超える場合には、現在の音量を前記所定音量に下げるか現在の音量をゼロにするように制御してもよい。
【0043】
尚、ステップ106を経て音声言語を出力(ステップ107)した場合、音声言語の出力が完了すると、ナビゲーション音声以外の音の出力を元に戻す。また、図示しないが、後述する実施例のように、前記手話画像データを変換した音声言語データに基づいて、文字言語を前記ディスプレイ部12に表示する場合、この表示を前記音声言語の出力(ステップ107)と同時に開始することが好ましい。
【0044】
この場合、前記トリガー信号制御手段35により手話の開始を検出したら、手話に基づく音声言語の出力(ステップ107)前に、ナビゲーション音声以外の音を出力中の場合(ステップ105にて「YES」)は、その音量を下げるか、その音量をゼロにするように制御してもよい。或いは、ナビゲーション音声以外の音の現在の音量が所定音量以下の場合には、上述したステップ106の変形例のように制御してもよい。
【0045】
こうすれば手話者の手話を行っている動作に、運転者が気付かなくても、音量が変わることにより、次に、手話に基づく音声言語の出力(ステップ107)があることに運転者が気付く。
【0046】
前記システム制御手段6は、声色選択手段36を備え、この声色選択手段36により前記ナビゲーション音声と異なる声色で音声言語を出力することができる。この場合、前記声色選択手段36は、前記カメラ4により撮像した手話者の撮像データに基づき、このカメラ4で撮影された画像から該手話者の年齢層及び/又は性別を判別する年齢層・性別判別手段とを備え、この年齢層・性別判別手段により検出した手話者の年齢層・性別に基づいて声色を選択する。
【0047】
例えば、検出結果が女性であれば、女性の声色を選択し、検出結果が男性であれば男性の声色を選択して前記音声出力部14から出力する。尚、声色選択手段36を用いずに、手話に基づく言語音声とナビゲーション音声とを異なる声色に設定してもよい。
【0048】
このようにして音声を聴取することにより手話の内容を理解した運転者は、手話に基づく音声言語に対して発話することにより、会話のようにしてコミュニケーションを取ることができる。この運転者の話す音声言語は、システム制御手段6の音声文字変換手段37により文字言語に変換される。
【0049】
具体的には、前記音声入力部13が、運転者の話す音声言語を検出して音声言語の電気信号である音声言語データとして出力し、この音声言語データを前記音声文字変換手段37が文字言語データに変換し、この文字データに基づいて運転者の話した音声言語が文字言語としてディスプレイ部12に表示される。
【0050】
また、前記音声文字変換手段37は、運転者が発する音声言語と手話に基づく音声言語などから、運転者が発する音声言語を抽出して音声言語データを生成する。
【0051】
前記システム制御手段6は、発話又は/及び手話に基づき前記ディスプレイ部12に文字言語を表示する文字表示制御手段38を備える。この文字表示制御手段38は、発話又は/及び手話から生成した音声言語データに基づき、音声言語の内容を文字言語として前記ディスプレイ部12に表示する。
【0052】
文字言語の表示モードは前記スイッチ15やディスプレイ部12のタッチ操作による入力機能により選択することができ、通常表示モード,ナビゲーション画面縮小表示モード,割込み表示モードや時系列表示モードが選択可能である。尚、この例では、文字表示制御手段38は、運転者の発話に基づき前記ディスプレイ部12に文字言語を表示する。
【0053】
前記通常表示モードを選択した場合、前記文字表示制御手段38は、ナビゲーション画面17が表示されたディスプレイ部12の下部に、運転者の音声言語を変換した文字言語を表示する。尚、一度に表示する文字言語は1~2行程度が好ましく、
図5に示すように、前記ナビゲーション画面17に重ね合わせて表示される。また、一度に表示する文字言語の設定行数は任意に選択することができる。1回の運転者の音声言語による文字言語の行数が設定行数よりも多い場合は、1行の文字言語を読むために必要な既読所定時間が経過した後、文字言語の行が上方に移動し、最上部の行が消え、次の行の文字言語が追加表示される。このように既読所定時間の経過により文字言語表示を切り替えるため、手話者がボタンを押すなどの操作が不要となる。尚、文字言語の行は、文字言語が横に並んだものであるが、文字言語が縦に並んだ列で表示されてもよい。
【0054】
図5~
図7に前記通常表示モードの一例を示す。尚、この例では、1度に表示する文字言語は1行に設定している。手話者が手話をすると、この手話を変換(翻訳)した音声言語「今日は晴天ですね。」が、音声出力部14から出力される。これを聞いた運転者が音声言語「ドライブ日和です。」と発話すると、この音声言語を変換した文字言語がディスプレイ部12の下部に表示(
図5)され、表示された文字言語を手話者が読むことができる。
【0055】
前記「ドライブ日和です。」に応答して手話者が手話を行い、この手話を変換した音声言語「運転よろしくお願いします。」が音声出力部14から出力され、これに応答して運転者が音声言語「これから○○に行きます。約××時間で着く予定です。」と発話すると、この音声言語を変換した文字言語がディスプレイ部12の下部に表示(
図6)される。
【0056】
文字言語が1行に収まらない場合、先頭から1行に収まる文字言語「これから○○に行きます。」を初めに表示(
図6(A))した後、この初めの表示を消して次の文字言語の行「約××時間で着く予定です。」を表示(
図6(B))する。尚、1行の文字言語を読むために必要な必要既読時間が経過したら、初めの文字言語の行「これから○○に行きます。」を消して次の文字言語の行「約××時間で着く予定です。」を表示する。そして、必要既読時間は1~3秒程度とすることができる。
【0057】
或は、
図7に示すように、文字言語「これから○○に行きます。約××時間で着く予定です。」が右側から左側に移動するように表示してもよく、この場合、文字言語が1字ずつ左側に移動すると共に、右から文字言語が1字ずつ新たに表れ、左端に達した文字言語が1字ずつ消えていく。また、繰り返し表示するには、左端に達して消えた文字言語が1字ずつ右端から再表示されるようにしてもよい。
【0058】
前記ナビゲーション画面縮小表示モードを選択した場合、
図8に示すように、ディスプレイ部12において、表示されていたナビゲーション画面17(
図5参照)を縮小して上方左右一側に移動表示し、この縮小移動によりディスプレイ部12の下部にナビゲーション画面17の非表示範囲52が設けられ、この非表示範囲52に前記通常表示モードと同様に運転者の音声言語による文字言語を表示する。
【0059】
前記割込み表示モードを選択した場合、
図9に示すように、ディスプレイ部12において、表示されていたナビゲーション画面17の下部を消して非表示にした割込み表示範囲53を設け、この割込み表示範囲53に前記通常表示モードと同様に運転者の話による文字言語を表示する。
【0060】
前記時系列表示モードを選択した場合、文字言語の行が手話の順番にしたがって1行ずつ上に移動する。また、手話者が見易いように、文字言語はディスプレイ部12の左側に表示される。
【0061】
時系列表示モードの一例を
図10に示す。尚、コミュニケーションの内容は前記通常表示モードの一例と同じである。同図に示すように、手話を変換した文字言語「今日は晴天ですね。」の音声出力の後、運転者の初めの話が、文字言語「ドライブ日和です。」としてディスプレイ部12の下部に表示される。これに対して手話を変換した文字言語「運転よろしくお願いします。」が音声出力され、運転者の次の話を変換した文字言語「これから○○に行きます。約××時間で着く予定です。」が、2行に渡ってディスプレイ部12の下部に表示され、初めの文字言語「ドライブ日和です。」が上に移動する。
【0062】
尚、文字言語「これから○○に行きます。約××時間で着く予定です。」の2行を同時に表示してもよいし、この表示を前後に分けて、前段の文字言語「これから○○に行きます。」の1行を表示し、この1行が上に移動した後、残りの後段の文字言語「約××時間で着く予定です。」の1行を表示してもよい。また、文字言語が3行以上でも、同様に、全行を同時に表示してもよいし、1行ずつ表示してもよい。
【0063】
このようにディスプレイ部12に表示された文字言語を、助手席42の手話者が読むことにより、運転者の話を理解することができ、運転者は手話の内容を音声言語として聞くことができ、運転者と手話者で円滑にコミュニケーションを取ることができる。
【0064】
また、運転者にとっても、停車中に、ディスプレイ部12に表示された文字言語を読むことにより、自分が話した内容が正確に文字言語に変換されたかどうかを確認することができる。
【0065】
このように本参考例では、請求項1の一部に対応して、車両2に設けた撮影手段たるカメラ4により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段21と、手話画像を音声言語に変換する手話画像変換手段22と、運転席41と助手席42の前方に配置した表示部たるディスプレイ部12とを備え、手話画像変換手段22により変換された音声言語を出力すると共に、他の車両乗員の音声言語を変換した文字言語を、ディスプレイ部12の助手席側に表示するから、車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる。
【0066】
このように本参考例では、表示部たるディスプレイ部12には手話画像変換手段22により変換された音声言語が文字言語として表示されるから、手話者が自身の手話内容が正しく表示されているか否かを視認できる。
【0067】
このように本参考例では、請求項2に対応して、前記音声言語の出力とナビゲーション音声とは、それぞれ異なる声色を用いるから、ナビゲーション音声と手話内容とを区別することができる。
【0068】
以下、参考例上の効果として、手話に基づく音声言語の出力より、ナビゲーション音声の出力を優先するから、運転者と手話者のコミュニケーションがカーナビゲーションの邪魔にならない。また、手話に基づく音声言語の出力の間、ナビゲーション音声以外の音の現在の音量を下げるか、音量をゼロにするように音量を調整するから、音声言語が聞き取り易くなる。或いは、手話に基づく音声言語の出力の間、ナビゲーション音声以外の音の現在の音量が所定音量以下の場合には、ナビゲーション音声以外の音の現在の音量を変更せず、ナビゲーション音声以外の音の現在の音量が所定音量を超える場合には、現在の音量を前記所定音量に下げるか現在の音量をゼロにするから、音声言語が聞き取り易くなる。
【0069】
前記システム制御手段6は、声色選択手段36を備えるから、この声色選択手段36により前記ナビゲーション音声と異なる声色で音声言語を出力するから、ナビゲーション音声と手話に基づく音声言語との違いが判り易くなる。さらに、運転者が発する音声言語と手話に基づく音声言語の声色が異なることにより、音声文字変換手段37において、音声入力部13に入力した音声言語から運転者が発する音声言語のみを抽出し易くなる。また、声色選択手段36の年齢層・性別判別手段により検出した手話者の年齢層・性別に基づいて声色を選択するから、あたかも手話者が話しているようにコミュニケーションを取ることができる。
【0070】
また、前記文字表示制御手段38により、文字表示に、通常表示モード,ナビゲーション画面縮小表示モード,割込み表示モードや時系列表示モードなどの複数のモードを選択可能であるから、好みのモードを選択することができる。さらに、ナビゲーション画面縮小表示モードを選択した場合、ディスプレイ部12において、表示されていたナビゲーション画面17を縮小し、この縮小によりディスプレイ部12の下部にナビゲーション画面17の非表示範囲52が設けられ、この非表示範囲52に前記通常表示モードと同様に運転者の話による文字言語を表示するから、ナビゲーション画面17の一部を非表示にすることなく、言語音声の内容を文字言語で表示することができる。
【0071】
また、時系列表示モードでは、文字言語の行が手話の順番にしたがって1行ずつ上に移動するから、自身の手話の内容を時系列で確認することができる。
【実施例1】
【0072】
図11~
図13は本発明の実施例
1を示し、上記
参考例と同一部分に同一符号を付し、その説明を省略して詳述する。同図に示すように、この例では、前記手話変換制御手段8により、手話を音声言語データに変換し、前記文字表示制御手段38により、前記手話を変換した音声言語データに基づき、文字言語を前記ディスプレイ部12に表示する。
【0073】
この場合、前記文字表示制御手段38は、前記通常モード,ナビゲーション画面縮小表示モード,割込み表示モードの場合は、運転者の話を変換した文字言語と手話者の手話を変換した文字言語を、それら運転者の話と手話者の手話の順番に基づいてディスプレイ部12の下部に交互に表示する。
【0074】
以下、文字表示制御手段38による時系列モードの場合の制御について説明する。
図11に示すように、運転者の話を変換した文字言語は、助手席側であるディスプレイ部12の左側寄りに表示され、手話者の手話を変換した文字言語は、運転席側であるディスプレイ部12の右側寄りに表示される。この場合、左ハンドルの場合は、文字言語の表示位置が左右逆になる。
【0075】
こうすると左右の位置により、運転者と手話者のどちらに対応する文字言語であるかが容易に判り、また、助手席側の手話者からは運転者の話を変換した文字言語が近い位置にあるため、読み易くなる。
【0076】
時系列表示モードの一例を
図11~
図13に示す。尚、コミュニケーションの内容は前記実施例1の通常表示モードの一例と略同じである。手話を変換した文字言語「今日は晴天ですね。」が音声出力されると共に、ディスプレイ部12の下部に表示される。前記音声出力を聞いた運転者の初めの音声言語が文字言語「ドライブ日和です。」として、ディスプレイ部12の下部に表示されると共に、前記文字言語「今日は晴天ですね。」が1行上に移動して表示される(
図11(A))。
【0077】
この場合、手話者は、自身の手話を変換した文字言語「今日は晴天ですね。」が、ディスプレイ部12に表示されるため、自分の手話が正しく変換されたかどうかを確認でき、異なる場合は訂正する手話を行うことができる。
【0078】
前記文字言語「ドライブ日和です。」に対して手話者が手話で応答し、この手話を変換した文字言語「運転よろしくお願いします。」が音声出力されると共に、ディスプレイ部12の下部に表示され(
図11(B))、これ以前に表示されていた文字言語の行はそれぞれ1行ずつ上に移動する。上記手話に対して、運転者の次の話を変換した新しい2行の文字言語「これから○○に行きます。約××時間で着く予定です。」が、その行数である2行に渡ってディスプレイ部12の下部に表示され、この前に表示されていた文字言語の行は、それぞれ2行ずつ上に移動する。このように新しく表示される文字言語の行数だけ、前に表示された文字言語の行が上に移動する。尚、文字言語「これから○○に行きます。約××時間で着く予定です。」の2行を同時に表示してもよいし、文字言語「これから○○に行きます。」の1行を表示し、この1行が上に移動した後、残りの文字言語「約××時間で着く予定です。」の1行を表示してもよい。
【0079】
これに手話者が手話で応答し、この手話を変換した文字言語「着いたら、△△が見たいです。」が音声出力されると共に、ディスプレイ部12の下部に表示され(
図12)、この前に表示されていた文字言語の行はそれぞれ1行ずつ上に移動する。
【0080】
前記時系列表示モードでは、運転者の話と手話者の手話の順番で時系列的に文字言語表示され、新しい文字言語の行が表示されると、その新しい文字言語の行数だけ、ディスプレイ部12の下部から上方に向かって文字言語の行が移動する。従って、下から上に向かって文字言語の行の表示が古くなる。
【0081】
このように運転者の音声言語に基づく文字言語表示に加えて、手話に基づく文字言語表示を行うことにより、その手話に基づく文字言語表示を手話者が読むことにより、手話が正しく変換されたかどうか確認することができる。このため手話変換制御手段8は実施例で示したものより簡易な構成のものを用いることもできる。
【0082】
また、
図13に示すように、運転者の話に基づく文字言語には、運転者を示す運転者マーク41Mを近接して表示し、手話に基づく文字言語には、手話者を示す手話者マーク42Mを近接して表示してもよい。一例として、同図では、運転者マーク41Mはハンドル18を図案化し、手話者マーク42Mは手を図案化したものを示し、マーク41M,42Mは運転者,手話者を連想するものが好ましい。
【0083】
こうすることにより、文字言語表示が運転者の話の内容か手話の内容かを簡単に識別することができる。
【0084】
また、
図13では、ナビゲーション画面17に重ねて文字言語を表示しているが、ナビゲーションが不要な場合は、ナビゲーション画面17を非表示にして、運転者の話及び手話者の手話に基づく文字言語及びマーク41M,42Mのみを表示してもよい。
【0085】
また、運転者にとっても、音声言語出力の内容が判らなかったり、確認したりしたい場合は、停車中に、手話に基づく文字言語表示を読んで確認することもできる。
【0086】
このように本実施例では、手話画像変換手段22により翻訳された音声言語を出力すると共に、他の車両乗員たる運転者の音声言語を変換した文字言語を、ディスプレイ部12の助手席側に表示するから、上記参考例と同様な作用・効果を奏する。
【0087】
また、このように本実施例では、請求項1に対応して、手話画像変換手段22により変換された音声言語が文字言語としてディスプレイ部12の運転席側に表示されるから、運転者の音声言語に基づく文字言語表示に加えて、手話に基づく文字言語表示を行うことにより、その手話に基づく文字言語表示を手話者が読むことにより、手話者は自分の手話が正しく変換されたかどうか確認することができる。さらに、運転者の話を変換した文字言語を、ディスプレイ部12の左右一側である左側寄りに表示し、手話者の手話を変換した文字言語を、ディスプレイ部12の左右他側である右側寄りに表示することにより、運転者と手話者のどちらに対応する文字言語であるかが判り易くなる。
【実施例2】
【0088】
図14~
図15は本発明の実施例
2を示し、上記
参考例及び各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図は、助手席42以外で、後部座席43に手話者が乗車するタクシーなどの車両2の例を示す。
【0089】
前記カメラ4は、タクシーなどの車両2の後部座席43に乗車した手話者を撮像する位置に配置され、車両2のルーフや助手席42に設ける防護板(図示せず)などに取り付けられる。また、前記ナビゲーション装置3は手話者側表示装置60を備える。そして、助手席42の背凭れ部(図示せず)の後面に、表示部たるディスプレイ部12Aを備えた前記手話者側表示装置60が配置されている。
【0090】
前記手話者側表示装置60のディスプレイ部12Aは、車両2のルーフの下面に設けたリア席モニタでもよく、ディスプレイ部12Aは後部座席43に座った手話者が見える位置にあればよい。
【0091】
また、前記手話者側表示装置60は前記ナビゲーション装置3と有線又は無線により電気的に接続されており、そのディスプレイ部12Aには、前記システム制御手段6の制御により、前記ナビゲーション装置3のディスプレイ部12と同じ表示を同時に行うことができる。
【0092】
この場合、前記ディスプレイ部12Aには、前記ナビゲーション装置3のディスプレイ部12と同じ表示を行う以外にも、前記ナビゲーション画面17を除いた表示を行うように制御すれば、手話者にとってディスプレイ部12Aが見易いものとなる。
【0093】
図15は時系列表示モードによるディスプレイ部12Aの表示を示し、ディスプレイ部12Aはナビゲーション画面17を表示しない。尚、図示しないが運転者の前方のディスプレイ部12にはナビゲーション画面17を表示している。
【0094】
尚、手話者マーク42Mが付された文字言語は、表示と同時に音声出力部14から音声出力される。
【0095】
このように本実施例では、車両乗員のうち後部座席43の手話者による手話画像を認識する手話画像認識手段21を備え、手話画像変換手段22により変換された音声言語を出力すると共に、他の車両乗員たる運転者の言語を変換した文字言語を、表示部たるディスプレイ部12,12Aの助手席側に表示するから、上記各実施例と同様な作用・効果を奏する。
【0096】
また、この例では、運転者と手話者のコミュニケーションを正しく取ることができ、手話者の希望する行先や経路の間違いを防止することができる。
【実施例3】
【0097】
図16~
図18は本発明の実施例
3を示し、上記
参考例及び各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図は、前記車両用ナビゲーション装置3に、ヘッドアップディスプレイ装置61を付加した例を示し、前記ヘッドアップディスプレイ装置61は車両2に搭載され、ヘッドアップディスプレイ装置本体(以下、HUD本体という。)62と、前記フロントウインド16の内側に設けられた表示部たるコンバイナ63とを備える。この場合、前記ディスプレイ部12に加えて、コンバイナ63を備える。
【0098】
前記HUD本体62は車両2の前記インストルメントパネル5内にケース64を配置し、このケース64内に、表示器ユニット65,第1ミラー66及び第2ミラー67が配置されている。前記表示器ユニット65は、ブラケット68に、画像制御ECU69,光源70及び表示器71が取り付けられており、前記表示器ユニット65は、アクチュエータ(図示せず)により車両2の左右方向(幅方向)に移動可能に構成されている。尚、第1ミラー66を平面鏡にし、第2ミラー67を凹面鏡にしてもよい。
【0099】
そして、前記光源70からの光が液晶表示デバイス(LCD)等の前記表示器71を透過することで画像情報を有する光(情報画像ともいう。)に変換され、情報画像が第1ミラー66で反射され、さらに第2ミラー67により反射され、インストルメントパネル5の前部上方に設けられた透光部72を介してコンバイナ63により反射され、運転者73又は/及び助手席42の手話者74の注視位置(注視方向)を通じて視認される。
【0100】
前記システム制御手段6の前記文字表示制御手段38は、前記表示器71を制御し、運転者73の話す音声言語を前記コンバイナ63に文字言語として表示し、手話者の手話に基づき前記コンバイナ63に文字言語を表示する。
【0101】
また、前記ナビ制御手段7により前記表示器71を制御して前記コンバイナ63にナビゲーション画面17Aを表示することができる。
【0102】
前記ヘッドアップディスプレイ装置61は、前記コンバイナ63の表示を、助手席42の手話者74が視認可能、運転席41の運転者73が視認可能、前記手話者74と運転者73の両者が視認可能なものなどを用いることができる。
【0103】
助手席42の手話者74がコンバイナ63を視認可能な場合、コンバイナ63にナビゲーション画面17Aを表示する。このナビゲーション画面17Aは、直進,右折及び左折の針路方向を示す矢印表示75や、右折,左折までの距離表示などを表示してもよい。尚、コンバイナ63のナビゲーション画面17Aは、前記ディスプレイ部12のナビゲーション画面17とナビゲーションに関する表示は異なってもよく、例えば、地図は必ずしも表示しなくてよい。
【0104】
こうすると手話者74がコンバイナ63の表示を視認でき、例えば目的地に対してナビゲーション装置3が右折を選択し、
図17に示すように、右折を示す矢印表示75とその右折箇所迄の距離「700m」がコンバイナ63に表示され、これに対して、手話者74が異なる経路を希望する場合、「次は直進し、その先の信号で右折してください」の手話を行い、これを言語音声として音声出力部14が出力することにより、手話者74の希望を運転者73に伝えることができる。
【0105】
このように本実施例では、手話画像変換手段22により変換された音声言語を出力すると共に、他の車両乗員たる運転者73の音声言語を変換した文字言語を、表示部たるコンバイナ63の助手席側に表示するから、上記各実施例と同様な作用・効果を奏する。
【0106】
また、この例では、ヘッドアップディスプレイ装置61のコンバイナ63に文字言語表示を行うから、前方を見た状態で文字言語表示が見易いものとなる。また、助手席42の手話者74が見るコンバイナ63には、簡略化したナビゲーション画面17Aを表示したり、ナビゲーション画面を非表示にしたりできるから、文字言語表示が一層見易くなる。
【実施例4】
【0107】
図19は本発明の実施例
4を示し、上記
参考例及び各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図に示すように、この例の車両用ナビゲーション装置3は振動手段81を備え、手話者74が座る助手席42又は/及び後部座席43に前記振動手段81を設け、この振動手段81を前記システム制御手段6に電気的に接続している。尚、前記振動手段81はナビゲーション装置3の一部を構成する。
【0108】
そして、この例では、前記システム制御手段6は、運転者73の話を変換した文字言語をディスプレイ部12,コンバイナ63に表示すると共に、この表示と同時に助手席42又は/及び後部座席43を微振動させて文字言語が表示されたことを手話者74に知らせるように制御する。
【0109】
このように振動手段81は、文字言語が表示されたことを報知する報知手段であるから、振動により手話者74は運転者73が発話したことが判り、ディスプレイ部12,コンバイナ63の文字言語をすぐに読むことができ、コミュニケーションの際、表示部を常時見る必要がなくなる。
【0110】
このように本実施例では、手話画像変換手段22により変換された音声言語を出力すると共に、他の車両乗員たる運転者73の音声言語を変換した文字言語を、表示部たるディスプレイ部12,12A又はコンバイナ63の助手席側に表示するから、上記各実施例と同様な作用・効果を奏する。
【0111】
また、この例では、報知手段たる振動手段81を備えるから、コミュニケーションの最初が運転者73の話から始まる場合でも、話の始まりを振動により手話者74に知らせることができるから、運転者73の発言に手話者74が気付かないことが無く、円滑にコミュニケーションを取ることができる。
【実施例5】
【0112】
図20は本発明の実施例
5を示し、上記
参考例及び各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図は、運転席41又はハンドル18に振動手段81を設け、この振動手段81を前記システム制御手段6に電気的に接続している。
【0113】
そして、この例では、前記システム制御手段6は、手話の内容を音声出力部14から出力すると共に、手話を変換した文字言語をディスプレイ部12に表示し、これら出力及び表示と同時に運転席41又はハンドル18を微振動させ、手話を運転者73に知らせるように制御する。
【0114】
このように振動手段81は、文字言語が表示されたことを報知する報知手段であるから、振動により運転者73はディスプレイ部12に文字言語が表示されたことが判り、コミュニケーションの際、音声出力を省略しても、ディスプレイを常時見る必要がなく、文字言語の読み取りも短時間で済むから、停車中に文字言語を読むことにより、請求項に対応しないが、手話に基づく音声出力を省略することもできる。
【0115】
このように本実施例では、手話画像変換手段22により変換された音声言語を出力すると共に、他の車両乗員たる運転者73の音声言語を変換した文字言語を、表示部たるディスプレイ部12,12A又はコンバイナ63の助手席側に表示するから、各実施例と同様な作用・効果を奏する。
【0116】
また、実施例上の効果として、助手席42又は後部座席43の手話者74による手話に基づく文字言語表示を行うから、運転者73も手話者の場合、助手席42又は後部座席43の手話を見なくても、停車中にディスプレイ部12を見ることにより、手話の内容を認識することができる。尚、各実施例において、表示部として、コンバイナ63を用い、このコンバイナ63に、手話の内容及び/又は運転者73の音声言語に基づく文字言語を表示する場合、それら表示を運転中に運転者73が見ることができる。
【0117】
尚、本発明は、上記実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、手話画像変換手段は実施例に限定されず、各種のものを用いることができる。また、音声入力部は、ナビゲーション装置に組み込んだタイプや、運転者が装備するタイプのものなど、運転者の音声を入力できれば、各種のものを用いることができる。また、時系列モードでは、文字言語が横に並んだ横書きにおいて、文字言語が下から上に移動するように表示したが、文字言語が上から下に移動するように表示してもよいし、文字言語が縦に並んだ縦書きなら、右から左に移動又は左から右に文字言語が移動するように表示してもよい。また、他のモードでは、表示部の下側に文字言語を表示したが、その表示位置は表示部の上側や他の位置でもよい。さらに、参考例として、手話に換えてジェスチャーを翻訳してもよく、撮像手段により撮像されたジェスチャー画像をジェスチャー画像認識手段により認識し、このジェスチャー画像をジェスチャー画像変換手段により音声言語に変換してもよい。また、実施例で示した各種の設定時間は、実施例に限定されず、適宜選定可能である。
【符号の説明】
【0118】
2 車両
3 ナビゲーション装置
4 カメラ(撮像装置)
6 システム制御手段
12,12A ディスプレイ部(表示部)
13 音声入力部
14 音声出力部
21 手話画像認識手段
22 手話画像変換手段
41 運転席
42 助手席
63 コンバイナ(表示部)
73 運転者(他の車両乗員)