IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通テン株式会社の特許一覧

<>
  • 特許-車載装置及び車載用発光制御方法 図1
  • 特許-車載装置及び車載用発光制御方法 図2
  • 特許-車載装置及び車載用発光制御方法 図3
  • 特許-車載装置及び車載用発光制御方法 図4
  • 特許-車載装置及び車載用発光制御方法 図5
  • 特許-車載装置及び車載用発光制御方法 図6
  • 特許-車載装置及び車載用発光制御方法 図7
  • 特許-車載装置及び車載用発光制御方法 図8
  • 特許-車載装置及び車載用発光制御方法 図9
  • 特許-車載装置及び車載用発光制御方法 図10
  • 特許-車載装置及び車載用発光制御方法 図11
  • 特許-車載装置及び車載用発光制御方法 図12
  • 特許-車載装置及び車載用発光制御方法 図13
  • 特許-車載装置及び車載用発光制御方法 図14
  • 特許-車載装置及び車載用発光制御方法 図15
  • 特許-車載装置及び車載用発光制御方法 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】車載装置及び車載用発光制御方法
(51)【国際特許分類】
   B60R 11/02 20060101AFI20241210BHJP
   B60K 35/10 20240101ALI20241210BHJP
   B60K 35/22 20240101ALI20241210BHJP
   G06F 3/01 20060101ALI20241210BHJP
   G06F 3/16 20060101ALI20241210BHJP
【FI】
B60R11/02 B
B60R11/02 C
B60K35/10
B60K35/22
G06F3/01 510
G06F3/16 650
【請求項の数】 10
(21)【出願番号】P 2021104545
(22)【出願日】2021-06-24
(65)【公開番号】P2023003455
(43)【公開日】2023-01-17
【審査請求日】2024-02-27
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110001933
【氏名又は名称】弁理士法人 佐野特許事務所
(72)【発明者】
【氏名】宮内 伸隆
(72)【発明者】
【氏名】佐々木 哲也
【審査官】高島 壮基
(56)【参考文献】
【文献】特開2011-150695(JP,A)
【文献】特開2003-54290(JP,A)
【文献】特開2001-197166(JP,A)
【文献】特開2006-172755(JP,A)
【文献】特開2013-191979(JP,A)
【文献】特開2011-199400(JP,A)
【文献】国際公開第2020/054694(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B60R 11/02
B60K 35/00-37/20
G01C 21/00-21/36
G06F 3/01
3/16
G09B 29/00
(57)【特許請求の範囲】
【請求項1】
車両に設置されたオーディオ装置の出力音量の調節に供されるオーディオノブと、
発光により前記オーディオノブを照らす発光部と、
前記オーディオ装置のチューナ部の出力音響信号を再生するオーディオ機能動作、及び、前記オーディオ機能動作とは異なる他の機能動作の実行を制御する主制御部と、を備え、
前記主制御部は、前記オーディオ機能動作が実行されるときには第1制御に従って前記発光部を発光させ、前記他の機能動作が実行されるときには前記第1制御と異なる第2制御に従って前記発光部を発光させる
、車載装置。
【請求項2】
画像を表示する表示画面を更に備え、
前記主制御部は、前記他の機能動作が実行されるときには前記他の機能動作に対応する所定画像を前記表示画面に表示させ、前記他の機能動作の実行期間において前記表示画面の表示画像を前記所定画像から変更する場合、前記第2制御に従う前記発光部の発光を継続させる
、請求項1に記載の車載装置。
【請求項3】
前記他の機能動作の実行期間に、前記所定画像が前記表示画面に表示されている第1期間と、前記表示画面の表示画像が前記所定画像から変更された後の第2期間と、が含まれる場合において、前記第1期間と前記第2期間との間で前記他の機能動作の状態が同じであるとき、前記主制御部は、前記第1期間と前記第2期間とにおいて同じ発光態様で前記発光部を発光させる
、請求項2に記載の車載装置。
【請求項4】
前記他の機能動作の状態は複数あり、
前記主制御部は、前記他の機能動作の実行期間において、前記他の機能動作の現在の状態に応じ前記発光部の発光態様を制御する
、請求項3に記載の車載装置。
【請求項5】
前記主制御部は、前記他の機能動作の実行期間において表示変更条件が成立したときに前記表示画面の表示画像を前記所定画像から変更する
、請求項2~4の何れかに記載の車載装置。
【請求項6】
前記主制御部は、前記他の機能動作の実行期間において前記所定画像を前記表示画面に表示させているときに当該車載装置のユーザから前記表示画面の表示画像を前記所定画像から地図画像を含むナビゲーション画像に変更する指示を受けると前記表示変更条件が成立し、前記表示画面の表示画像を前記所定画像から前記ナビゲーション画像に変更する
、請求項5に記載の車載装置。
【請求項7】
前記主制御部は、前記他の機能動作の実行期間において前記所定画像を前記表示画面に表示させているときに前記車両の進行方向が後退方向に設定されると前記表示変更条件が成立し、前記表示画面の表示画像を前記所定画像から前記車両の外部を撮影したカメラ画像に変更する
、請求項5に記載の車載装置。
【請求項8】
前記他の機能動作は、当該車載装置のユーザによるハンズフリー通話を可能にするハンズフリー機能動作を含む
、請求項1~7の何れかに記載の車載装置。
【請求項9】
前記他の機能動作は、当該車載装置のユーザの発話内容を認識して当該発話内容に対して応答する音声認識機能動作を含む
、請求項1~8の何れかに記載の車載装置。
【請求項10】
車両に設置されたオーディオ装置の出力音量の調節に供されるオーディオノブ、及び、前記オーディオノブに対応付けて設けられた発光部を備えた車載装置にて用いられる車載用発光制御方法であって、
前記オーディオ装置のチューナ部の出力音響信号を再生するオーディオ機能動作、及び、前記オーディオ機能動作とは異なる他の機能動作の実行を制御する主制御ステップを有し、
前記主制御ステップにおいて、前記オーディオ機能動作が実行されるときには第1制御に従って前記発光部を発光させ、前記他の機能動作が実行されるときには前記第1制御と異なる第2制御に従って前記発光部を発光させる
、車載用発光制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載装置及び車載用発光制御方法に関する。
【背景技術】
【0002】
オーディオ機能を備えた車載装置の一種では、出力音量の調整に供されるオーディオノブが設けられる。
【0003】
他方、ハンズフリー通話用の機能動作、又は、音声認識用の機能動作を実行可能な車載装置もある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2015-7873号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ハンズフリー通話における現在の状態(着信、受話、保留、発信状態等)は、画像表示などにてユーザに通知されることが多い。しかしながら、ハンズフリー通話の状態が画像表示されているとき、他の必要な画像表示(例えばナビゲーション画像の表示)が妨げられる。これを考慮し、ハンズフリー通話の状態が画像表示されているときに所定操作を入力することで、他の必要な画像(例えばナビゲーション画像)が表示される状態に遷移(復帰)させるといった制御が検討される(図16参照)。
【0006】
但し、当該制御により、他の必要な画像(例えばナビゲーション画像)が表示される状態に遷移(復帰)させると、ハンズフリー通話の現在の状態がユーザにとって分かりにくくなる又は不明になる。ハンズフリー通話の現在の状態を示す専用のインジケータを設ければ、ハンズフリー通話の現在の状態がユーザに明確に伝わるが、専用のインジケータの設置はコスト増大等を招くため、採用し難い。ハンズフリー通話に特に注目したが音声認識等に関しても同様の事情が当てはまる。
【0007】
本発明は、機能動作の状態通知を良好に行い得る車載装置及び車載用発光制御方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る車載装置は、車両に設置されたオーディオ装置の出力音量の調節に供されるオーディオノブと、発光により前記オーディオノブを照らす発光部と、前記オーディオ装置のチューナ部の出力音響信号を再生するオーディオ機能動作、及び、前記オーディオ機能動作とは異なる他の機能動作の実行を制御する主制御部と、を備え、前記主制御部は、前記オーディオ機能動作が実行されるときには第1制御に従って前記発光部を発光させ、前記他の機能動作が実行されるときには前記第1制御と異なる第2制御に従って前記発光部を発光させる。
【発明の効果】
【0009】
本発明によれば、機能動作の状態通知を良好に行い得る車載装置及び車載用発光制御方法を提供することが可能となる。
【図面の簡単な説明】
【0010】
図1】本発明の実施形態に係る車載システムの全体構成図である。
図2】本発明の実施形態に係る車両の概略上面図である。
図3】本発明の実施形態に係る車両の車室内の様子を示す図である。
図4】本発明の実施形態に係るマルチメディア装置の正面図である。
図5】本発明の実施形態に係り、マルチメディア装置におけるオーディオノブと発光部との関係の変形例を示す図である。
図6図1の表示画面に表示され得るナビゲーション画像を示す図である。
図7】本発明の実施形態に属する第1実施例に係り、マルチメディア装置の動作フローチャートである。
図8】本発明の実施形態に属する第1実施例に係り、オーディオ動作に関わる発光制御の説明図である。
図9】本発明の実施形態に属する第1実施例に係り、ハンズフリー機能動作の実行期間における表示画像及び発光部の発光態様の例(3つの例)を示す図である。
図10】本発明の実施形態に属する第1実施例に係り、音声認識機能動作の実行期間における状態遷移の説明図である。
図11】本発明の実施形態に属する第1実施例に係り、音声認識機能動作の実行期間における表示画像及び発光部の発光態様の例(3つの例)を示す図である。
図12】本発明の実施形態に属する第2実施例に係り、ハンズフリー機能動作の実行期間にて表示画像が変更される様子を示す図である。
図13】本発明の実施形態に属する第3実施例に係り、音声認識機能動作の実行期間にて表示画像が変更される様子を示す図である。
図14】本発明の実施形態に属する第4実施例に係り、ハンズフリー機能動作の実行期間にて表示画像が変更される様子を示す図である。
図15】本発明の実施形態に属する第5実施例に係り、音声認識機能動作の実行期間にて表示画像が変更される様子を示す図である。
図16】参考技術の車載装置に係り、表示画面の表示内容の変化を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。例えば、後述の“1”によって参照されるマルチメディア装置は(図1参照)、マルチメディア装置1と表記されることもあるし、装置1と略記されることもあり得るが、それらは全て同じものを指す。
【0012】
図1に本発明の実施形態に係る車載システムSYSの全体構成を示す。車載システムSYSは、マルチメディア装置1、カメラ部2、GPS処理部3、車載センサ部4及び車内ネットワーク5を備える。図1には端末装置TM及び通信網NETも示されている。図2は車載システムSYSを搭載した車両CRの概略的な上面図である。図3に車両CRの車室内の一部を示す。車両CRの車室内において、運転席近傍には、運転手が操作する部品としてステアリングホイールCC1、シフトレバーCC2及びイグニッションスイッチCC3が設けられると共に、マルチメディア装置1が設置される。
【0013】
ステアリングホイールCC1は、運転手による回転操作を受け当該回転操作に応じて車両CRの進行方向を調整するための輪状の部品である。シフトレバーCC2は、運転手の操作に基づき、車両CRの進行可否及び車両CRの進行方向を設定したり、車両CRの変速を行ったりする。イグニッションスイッチCC3は、運転手の操作に基づき、車両CRの各電装機器に対する電源の供給又は非供給を指定すると共に、車両CRの動力源(エンジン等)の始動又は停止を指定する。
【0014】
マルチメディア装置1と、カメラ部2、GPS処理部3及び車載センサ部4とは、車両CRの内部に形成された車内ネットワーク5に接続され、車内ネットワーク5を介し、任意の情報及び信号を相互に双方向通信可能である、又は、任意の情報及び信号の一方向通信が可能である。車内ネットワーク5としてCAN(Controller Area Network)などを利用可能である。尚、図1では、車内ネットワーク5に接続される構成要素として、マルチメディア装置1、カメラ部2、GPS処理部3及び車載センサ部4のみが示されているが、それら以外にも図示されない様々な装置(例えば、パワーステアリングシステム、ブレーキシステム、レーダ装置、ドライブレコーダ)が車内ネットワーク5に接続されていて良い。
【0015】
車両CRは路面上を走行可能な車両(自動車等)である。但し、車両CRは任意の種類の車両であって良い。車両CRにおいて、運転席からステアリングホイールCC1に向かう向きを「前方」と定義し、ステアリングホイールCC1から運転席に向かう向きを「後方」と定義する。前後方向に直交し且つ路面に平行な方向を左右方向と定義する。左右方向における左、右は、車両CRの運転席に座り且つ前方を向いている、車両CRの運転手から見た左、右であるとする。
【0016】
カメラ部2は車両CRに設置された1以上のカメラから成り、カメラ部2に設けられる個々のカメラを単位カメラと称する。単位カメラは、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge-Coupled Device)イメージセンサなどの撮像素子及び光学系を備え、自身の視野(換言すれば撮影領域)内の撮影を行って、撮影により得られた画像(即ち視野内の像)を示す画像情報を生成する。単位カメラにより生成された画像情報を、以下、カメラ画像情報と称し、カメラ画像情報にて表される二次元画像をカメラ画像と称する。単位カメラは所定の撮影フレームレートにて自身の視野内の撮影を周期的に繰り返し行う。単位カメラにて生成されたカメラ画像情報は順次マルチメディア装置1に送られる。
【0017】
カメラ部2には、単位カメラの1つとしてカメラ2Rが設けられている(図2参照)。カメラ2Rは車両CRの外部であって且つ車両CRの後方側領域に視野を持つリアカメラであり、車両CRの車体の適所に設置される。図2からは明らかではないが、車両CRの外部であって且つ車両CRの後方側における所定領域内の路面がカメラ2Rの視野に含まれるよう、カメラ2Rの俯角が適切に設定される。
【0018】
尚、カメラ部2において、リアカメラとしてのカメラ2Rに加え、車両CRの外部であって且つ車両CRの前方側領域に視野を持つフロントカメラ、車両CRの外部であって且つ車両CRの右側領域に視野を持つライトカメラ、及び、車両CRの外部であって且つ車両CRの左側領域に視野を持つレフトカメラが設けられても良い。フロントカメラ、ライトカメラ及びレフトカメラの夫々も単位カメラの一種である。
【0019】
GPS処理部3は、GPS(Global Positioning System)を形成する複数のGPS衛星からの信号を受信することで車両CRの位置(現在地)を検出し、検出位置を示す車両位置情報を生成する。車両CRの位置とは車両CRの存在位置を意味する。車両位置情報では、車両CRの位置(現在地)が、地球上における経度及び緯度によって表現される。車両位置情報は所定周期で順次生成され、生成された車両位置情報は順次マルチメディア装置1に送られる。
【0020】
車載センサ部4は、車両CRに設置された複数の車載センサから成り、各車載センサを用いて車載センサ情報を生成する。車載センサ情報は所定周期で順次生成され、生成された車載センサ情報は順次マルチメディア装置1に送られる。図1には、当該複数のセンサに含まれる2つのセンサとして、シフトレバーセンサ4A及び車速センサ4Bが示されている。
【0021】
シフトレバーセンサ4Aは、車両CRのシフトレバーCC2の位置を検出するセンサであり、変位センサなどを用いて構成される。シフトレバーCC2の位置は、運転手の操作に基づきドライブ位置、リバース位置及びパーキング位置を含む複数の位置の何れかに設定される。シフトレバーCC2がドライブ位置にあるとき車両CRのアクセルペダルの踏み込みに応じて車両CRが前進し(前方に向けて走行し)、シフトレバーCC2がリバース位置にあるとき車両CRのアクセルペダルの踏み込みに応じて車両CRが後退する(後方に向けて走行する)。シフトレバーCC2がパーキング位置にあるとき車両CRのアクセルペダルの踏み込みに関わらず車両CRは前進も後退もしない。シフトレバーセンサ4Aによって検出されたシフトレバーCC2の位置を表す情報をシフト情報と称する。シフト情報は車載センサ情報に含まれる。
【0022】
車速センサ4Bは車両CRの走行速度(移動速度)を検出する。車速センサ4Bによって検出された車両CRの走行速度を表す情報を車速情報と称する。車速情報は車載センサ情報に含まれる。この他、車載センサ情報は、車両CRに設けられたアクセルペダルの踏み込み量を表すアクセル情報、車両CRに設けられたブレーキペダルの踏み込み量を表すブレーキ情報、及び、ステアリングホイールCC1の操舵角を表す操舵角情報などを含む。
【0023】
マルチメディア装置1の構成を説明する。マルチメディア装置1は、主制御部10、記憶部20、表示画面30、操作部40、マイクロホン50、発光部60、通信モジュール70及びオーディオ装置80を備える。但し、オーディオ装置80はマルチメディア装置1の外部に設けられる装置であっても良い。
【0024】
主制御部10は、CPU(Central Processing Unit)、RAM(Random Access Memory)及びROM(Read Only Memory)等を含んで構成され、マルチメディア装置1内の全体動作を統括的に制御する。
【0025】
記憶部20は、磁気ディスク又は半導体メモリ等から成り、或いは、それらの組み合わせから成り、各種プログラム及びデータを格納及び記憶する。記憶部20内のプログラムを主制御部10のCPUが実行することで各種機能が実現される。
【0026】
表示画面30は、液晶ディスプレイパネル又は有機エレクトロルミネッセンスパネル等から成り、主制御部10の制御の下、任意の画像を表示する。
【0027】
操作部40は、マルチメディア装置1のユーザからの各種操作を受け付ける。操作部40へ入力された操作の内容は主制御部10に伝達される。マルチメディア装置1のユーザ(以下、単にユーザと称する)は車両CRの乗員である。車両CRの運転手以外の乗員もユーザとなり得るが、以下では、車両CRの運転手がユーザであることを想定する。操作部40にはオーディオノブ41が設けられる。表示画面30にてタッチパネルが構成されていても良く、この場合、タッチパネルが操作部40の構成要素に含まれる。
【0028】
マイクロホン50は、マイクロホン50の周辺音を収音し、収音した音を電気信号である音声信号に変換して出力する。マイクロホン50の収音の対象は、主としてユーザの発話による音声である。ユーザ(ここでは運転手)の発話による音声を収音しやすい位置(例えばステアリングホイールCC1上の所定位置又は運転席近傍の所定位置)にマイクロホン50が設置される。
【0029】
発光部60は主制御部10の制御の下で発光する。より詳細には、発光部60は主制御部10から供給される電気信号を光信号に変換することで発光する発光素子により構成される。発光素子は例えば発光ダイオードである。但し、発光素子は光を発する素子であれば任意である。発光部60の発光は有機エレクトロルミネッセンスによる発光であっても良い。液晶とバックライトとの組み合わせで発光部60が形成されても良い。発光部60は、発光によりオーディオノブ41を照らす照明として機能して良い。この際、発光部60は、オーディオノブ41を外部から照らすものであっても良いし、オーディオノブ41自体が発光しているかのように見えるようオーディオノブ41を内側から照らすものであっても良い。尚、発光部60は単色のみにて発光可能な構成であっても良いが、以下では、発光部60は複数色にて発光可能な構成を有するものとする。
【0030】
通信モジュール70は、マルチメディア装置1に対する外部装置と無線による双方向通信を実現する。外部装置は端末装置TMを含む。端末装置TMは、マルチメディア装置1のユーザ(ここでは運転手)が所有する端末装置である。端末装置TMは、例えば、携帯電話機(スマートホンを含む)又はタブレット端末である。但し、端末装置TMは電話機能を有するものとする。通信モジュール70及び端末装置TMは、Bluetooth(登録商標)などの近距離無線通信回線により、互いに無線接続される。通信網NETは、移動体通信の基地局を有する移動体通信網、及び、インターネットを含む。通信モジュール70は通信網NETに無線接続され、インターネットに接続された他の任意の装置(サーバ装置等)も上記外部装置に含まれる。
【0031】
オーディオ装置80は、チューナ部81、オーディオアンプ82及びスピーカ83を備える。スピーカ83は、マルチメディア装置1に外部接続されたスピーカ(即ちマルチメディア装置1の外部に設けられ且つマルチメディア装置1に接続されたスピーカ)であっても良い。チューナ部81は所定の音源から取得した音響信号をオーディオアンプ82に出力する。具体的には例えば、チューナ部81は、オーディオ装置80に格納又は接続された音楽用記録媒体から楽曲等の音響信号を取得し、又は、放送局から受信した放送波よりラジオ番組等の音響信号を取得し、取得した音響信号をオーディオアンプ82に出力する。オーディオアンプ82は、チューナ部81から出力される音響信号を増幅し、得られた音響信号(チューナ部81の出力音響信号の増幅信号)をスピーカ83に供給するオーディオ機能動作を実行可能である。オーディオ機能動作が実行されるとき、チューナ部81から出力される音響信号がスピーカ83を用いて再生される(スピーカ83から音として出力される)ことになる。
【0032】
図4に、マルチメディア装置1を正面から見たときの装置1の外観の例を示す。マルチメディア装置1の正面視において、装置1は概略四角形のメイン筐体を有し、メイン筐体の所定位置に表示画面30が嵌め込まれると共に、表外画面30の嵌め込み位置からずれた位置にオーディオノブ41及び発光部60が設置される。オーディオノブ41(以下、ノブ41と略記され得る)は、オーディオ装置80の出力音量の調節及び設定に供されるつまみ状の操作部品であり、マルチメディア装置1のメイン筐体の表面から突出する。ユーザは、ノブ41を自身の指でつまんで回転させることでオーディオ装置80の出力音量を調整及び設定することができる。オーディオ装置80の出力音量(以下、単に出力音量と称されることがある)は、スピーカ83から出力される音の大きさに比例する量であり、当該音の大きさは出力音量が大きいほど大きい。マルチメディア装置1のユーザが表示画面30を視認しやすいように且つ表示画面30におけるタッチパネル及びノブ41を操作しやすいように、マルチメディア装置1は車両CRの運転席近傍に設置される。
【0033】
発光部60はノブ41に対応付けられて設けられる。ノブ41は、マルチメディア装置1のメイン筐体の表面から当該表面に直交する向きに突出する円筒状のつまみであり、ここでは、ノブ41の円筒状筐体を取り囲む位置に配列された1以上の発光素子により発光部60が形成されているものとする。図4において斜線領域が発光部60に相当する。但し、発光部60の形状は図4の例に限定されない。例えば、発光部60は、図5(a)に示す如く、ノブ41に隣接して配置された直線状の発光部60_1であっても良いし、図5(b)に示す如く、ノブ41の円筒状筐体の上面に設置された円形状の発光部60_2であっても良い。また、ノブ41及び発光部60は上記メイン筐体とは別の筐体(不図示)に設置されていても良い。
【0034】
図1を再度参照する。主制御部10のCPUが記憶部20内のプログラムを実行することで実現される機能ブロックとして、主制御部10は、ナビゲーション部11、ハンズフリー対応部12、音声認識対応部13及び発光制御部14を備える。
【0035】
ナビゲーション部11は、車両位置情報に基づき所定のナビゲーション動作を実行する。ナビゲーション動作は、表示画面30にナビゲーション画像を表示画面30に表示する処理を含む。図6の画像600はナビゲーション画像の例である。ナビゲーション画像600は、車両CRの現在位置及び車両CRの現在位置周辺の地図を表す地図画像を含む。ナビゲーション画像600において、地図画像上には、車両CRの現在位置を示すアイコン、及び、ユーザにより指定され且つ設定された目的地までのルートが重畳される。ナビゲーション動作は、そのルートに沿った車両CRの走行を案内する処理などを含む。
【0036】
ハンズフリー対応部12(以下、HF対応部12と称する)は、ハンズフリー通話を可能にするハンズフリー機能動作(以下、HF機能動作と称する)を実行する。本実施形態におけるハンズフリー通話はマルチメディア装置1のユーザによるハンズフリー通話であり、HF対応部12が、端末装置TM、通信モジュール70、マイクロホン50及びスピーカ83と協働することでハンズフリー通話が可能となる。
【0037】
ハンズフリー通話について説明を加える。説明の具体化及び明確化のため、マルチメディア装置1のユーザを第1人物と称し、車両CRの外部に位置する、マルチメディア装置1のユーザと異なる人物を第2人物と称する。端末装置TMと異なる、第2人物が使用する端末装置(スマートホンを含む携帯電話機等)を第2端末装置と称する。以下、端末装置TMを第1端末装置と称することがある。ハンズフリー通話において、第1人物は、マイクロホン50と車両CRに設置されたスピーカを用いて、電話による第2人物との会話が可能となる。ハンズフリー通話に用いられる、車両CRに設置されたスピーカは、ここでは、スピーカ83であるとする。但し、車両CRに設置された他のスピーカ(不図示)を用いてハンズフリー通話を実現するようにしても良い。
【0038】
第2端末装置は、第1端末装置(TM)にとっての相手側装置に相当する。第2人物が第2端末装置を用い電話回線にて第1端末装置(TM)を呼び出すことで、通信網NETを通じ着信信号が第1端末装置(TM)にて受信される。第1端末装置(TM)は、着信信号を受信すると、マルチメディア装置1に対して着信通知信号を送信する。着信信号及び着信通知信号には第2端末装置に対応付けられた識別情報(例えば第2端末装置の電話番号等)が含まれる。
【0039】
第1端末装置(TM)からの着信通知信号がマルチメディア装置1にて受信されることを契機に、HF対応部12は、HF機能動作の実行を開始する。ここで、HF機能動作の状態として受話状態を含む複数の状態がある(受話状態以外の状態については後述される)。受話状態を応答状態と読み代えても良い。受話状態では、第2人物の発話内容を示す音声信号が第1端末装置(TM)から通信モジュール70を通じてHF対応部12に入力され、HF対応部12は第2人物の発話内容を示す音声信号を、スピーカ83から出力させる。受話状態において、第1人物の発話内容(即ち、マルチメディア装置1のユーザの発話内容)を示す音声信号はマイクロホン50からHF対応部12に入力され、HF対応部12は第1人物の発話内容を示す音声信号を通信モジュール70を通じて第1端末装置(TM)に送信する。第1端末装置(TM)は、マルチメディア装置1から受信した音声信号(第1人物の発話内容を示す音声信号)を基地局及び移動体通信網を含む通信網NETに向けて送信する。これにより、第1人物の発話内容を示す音声信号が第2端末装置に伝達され、当該音声信号が第2端末装置にて再生される。第2端末装置が第1端末装置(TM)を呼び出したときのハンズフリー通話について説明したが、第1端末装置(TM)から第2端末装置を呼び出した上でハンズフリー通話を行うことも可能である。
【0040】
音声認識対応部13(以下、VR対応部13と称する)は、音声認識機能動作(以下、VR機能動作と称する)を実行する。VR機能動作は、ユーザの発話内容を認識する音声認識処理と、音声認識処理による認識結果を利用してユーザの発話内容に対し応答する応答処理と、を含む。マイクロホン50にて収音されたユーザの発話内容を表す音声信号を特にユーザ発話音声信号と称する。ユーザの発話期間においてマイクロホン50からユーザ発話音声信号が出力される。音声認識処理では、ユーザ発話音声信号に基づいてユーザの発話内容をテキストデータに変換すると共にユーザの発話内容を認識及び理解する。応答処理では、音声認識処理の結果に基づきユーザの発話内容に対応する適切な応答を行う。ソフトウェアによる人工知能によりVR機能動作を実現できる。
【0041】
発光制御部14は発光部60の発光を制御する。発光の制御は、発光部60の発光の有無の制御を含む他、発光部60の発光態様の制御を含む。発光部60の発光制御の内容は、HF機能動作又はVR機能動作が現在実行されているか否かに依存する(詳細は後述)。
【0042】
以下、複数の実施例の中で、車載システムSYSに関する幾つかの具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる(即ち複数の実施例の内の任意の2以上の実施例を組み合わせることも可能である)。
【0043】
<<第1実施例>>
第1実施例を説明する。図7を参照して、発光部60の発光制御、HF機能動作及びVR機能動作に注目したマルチメディア装置1の動作の流れを説明する。
【0044】
ステップS11を起点にして考える。ステップS11においてマルチメディア装置10は初期状態にある。初期状態ではHF機能動作及びVR機能動作が何れも実行されていないものとする。また、端末装置TMにて着信信号が受信されたときにはHF機能動作が行われるよう端末装置TM及びマルチメディア装置1が設定されているものとする(但し、着信拒否が設定されている場合を除く)。
【0045】
ステップS11に続くステップS12においてナビゲーション動作が実行開始される。ステップS12にてナビゲーション動作が実行開始された後は、特に記述なき限り、図6に示すようなナビゲーション画像600が表示画面30に継続表示されると解して良い。
【0046】
ステップS12の後、ステップS13に進む。ステップS13において、主制御部10(詳細にはHF対応部12)は端末装置TMから着信通知信号を受信したか否かを判断する。着信通知信号を受信した場合には(ステップS13のY)ステップS31に進む一方で、着信通知信号を受信してない場合には(ステップS13のN)ステップS14に進む。ステップS14において、主制御部10(詳細にはVR対応部13)は所定の音声認識起動条件が成立したか否かを判断する。音声認識起動条件が成立した場合には(ステップS14のY)ステップS51に進む一方で、音声認識起動条件が成立してない場合には(ステップS14のN)ステップS15に進む。音声認識起動条件は、例えば、ユーザが所定のウェイクアップキーワードを発話し、これによってウェイクアップキーワードを示すユーザ発話音声信号がマイクロホン50からVR対応部13に入力されることで成立する。或いは例えば、操作部40に対し所定のウェイクアップ操作が入力されることで音声認識起動条件が成立しても良い。
【0047】
ステップS15に進む場合、HF機能動作及びVR機能動作の何れもが非実行状態にある。また、上記オーディオ機能動作の実行を指示する所定操作がステップS11にて又はステップS15にて操作部40に入力されているものとする。そうすると、ステップS15において、主制御部10はオーディオ機能動作が実行されるようオーディオ装置80を制御し、結果、チューナ部81から出力される音響信号がスピーカ83から音として出力される。
【0048】
発光制御部14は、ステップS15において発光制御CNTを実行する。発光制御CNTにおいて発光部60の発光態様が制御される。例えば、発光制御CNTでは、音量設定値VOLADに応じた発光態様で発光部60が発光される。音量設定値VOLADはオーディオ機能動作におけるオーディオ装置80の出力音量の設定値を表す。故に、オーディオ機能動作において、オーディオ装置80の出力音量は音量設定値VOLADに従う音量となる。オーディオ機能動作が実行されているとき、ユーザはノブ41を操作することで音量設定値VOLADを任意に調整可能である。音量設定値VOLADは複数段階で調整される。
【0049】
図8に発光制御CNTの例を示す。図8の例において、発光部60の全体領域の内、斜線領域のみが発光している部分を表す。図8の例において、発光部60は自身の発光面積を複数段階で変化させることが可能に構成され、発光制御部14は音量設定値VOLADが増大するにつれて発光部60の発光面積を増大させる。発光制御CNTは、音量設定値VOLADに依らず発光部60を一定に発光させる制御であっても良い。尚、ステップS15に至った場合において仮にオーディオ機能動作が停止されているのであれば、発光制御部14は発光部60を完全に非発光としても良い。ステップS15の後、ステップS13に戻る。
【0050】
ステップS31において、HF対応部12は着信拒否が設定されているか否かを判断する。ユーザは、操作部40を操作することで着信拒否を設定又は非設定にすることができる。ステップS31において、着信拒否が設定されている場合には(ステップS31のY)ステップS13に戻る一方、着信拒否が設定されていない場合には(ステップS31のN)ステップS32に進む。
【0051】
ステップS32において、HF対応部12はHF機能動作を起動させる(即ちHF機能動作の実行を開始する)。また、ステップS32に至ると、発光制御部14は、発光部60の発光制御を発光制御CNT2Aに設定し、以後、HF機能動作が終了するまで発光制御CNT2Aにて発光部60の発光態様を制御する。発光制御CNT2Aにおいて発光部60の発光態様が制御される。発光制御CNT2Aと上述の発光制御CNTと後述の発光制御CNT2Bとは互いに異なる(ステップS15及びS51参照)。発光制御CNT2Aでは、HF機能動作の状態に応じ、互いに異なる複数の発光態様の何れかにて発光部60が発光し、HF機能動作の状態に応じた複数の発光態様は後述の発光態様LM2A_1、LM2A_2及びLM2A_3を含む(図9(a)~(c)参照)。
【0052】
HF機能動作の起動後、HF機能動作の状態(以下、HF状態と称する)は、着信状態、受話状態及び保留状態を含む複数の状態の何れかとなる。着信通知信号が受信されている状態において、ユーザが所定の受話指示操作を操作部40に入力する前にはHF状態は着信状態であり、その後、ユーザが所定の受話指示操作を操作部40に入力するとHF状態は着信状態から受話状態に切り替わる。HF状態が受話状態にあるとき、第1端末装置(TM)及び第2端末装置間の電話回線の接続状態が維持され、上述の如く第1人物(マルチメディア装置1のユーザ)及び第2人物間の電話による通話(第1人物にとってはハンズフリー通話)が可能である。
【0053】
HF状態が受話状態に遷移した後、ユーザが所定の保留指示操作を操作部40に入力すると、HF状態は保留状態に遷移する。保留状態では、第1端末装置(TM)及び第2端末装置間の電話回線の接続を維持したまま、第1端末装置(TM)及び第2端末装置間における第1及び第2人物の発話内容の音声信号のやり取りを停止する。従って保留状態では、第2端末装置のマイクロホンの収音内容(第2人物の発話内容を含む)を示す音声信号のスピーカ83からの出力は停止され、且つ、マイクロホン50の収音内容(第1人物の発話内容を含む)を示す音声信号の第2端末装置への伝達は停止される。HF状態の状態が保留状態であるときに、ユーザが所定の保留解除操作を操作部40に入力すると、HF状態は受話状態に復帰する。
【0054】
但し、HF状態が受話状態又は保留状態にあるときに、ユーザが所定の終話指示操作を操作部40に入力すると、或いは、第2端末装置の操作部(不図示)に所定の終話指示操作が入力されると、第1端末装置(TM)及び第2端末装置間の電話回線が遮断される。当該電話回線の遮断を“終話”と称する。
【0055】
ステップS32に続くステップS33において、主制御部10はHF状態が着信状態であること(端末装置TMに着信があること)をユーザに通知するための着信通知処理を実行する。着信通知処理では、図9(a)に示す如く所定の着信画像611が表示画面30に表示される。故に、ステップS11からステップS13、S31及びS32を経由してステップS33に至ると、表示画面30の表示画像がナビゲーション画像600から着信画像611に切り替わる。着信画像611は端末装置TMに着信があることを示す画像である。更に、着信通知処理では、図9(a)に示す如く、発光部60が所定の発光態様LM2A_1で発光される。ステップS33の後、ステップS34に進む。
【0056】
ステップS34において、HF対応部12はHF状態を確認する。HF状態が着信状態であればステップS33に戻るが、HF状態が着信状態から受話状態に切り替わっておればステップS35に進む。
【0057】
ステップS35において、主制御部10はHF状態が受話状態であること(端末装置TMを用いた電話の受話中であること)をユーザに通知するための受話中通知処理を実行する。受話中通知処理では、図9(b)に示す如く所定の受話中画像612が表示画面30に表示される。故に、HF状態が着信状態から受話状態に遷移すると、表示画面30の表示画像が着信画像611から受話中画像612に切り替わる。受話中画像612はHF状態が受話状態にあることを示す画像である。更に、受話中通知処理では、図9(b)に示す如く、発光部60が所定の発光態様LM2A_2で発光される。ステップS35の後、ステップS36に進む。尚、受話状態において第2人物の発話内容がスピーカ83から出力されるが、受話状態においてユーザがノブ41を操作すると受話状態でのスピーカ83の出力音量が調整される。受話状態においてスピーカ83の出力音量を調整するべくノブ41が操作されたとき、発光制御部14は、発光部60の発光態様を一時的に発光態様LM2A_2と異ならせても良い(例えば発光部60の発光態様を一時的にスピーカ83の出力音量に応じた発光態様にしても良い)。
【0058】
ステップS36において、HF対応部12はHF状態を確認する。HF状態が受話状態であればステップS35に戻るが、HF状態が受話状態から保留状態に切り替わっておればステップS37に進む。また、ステップS36において終話が発生しておればステップS39に進む。
【0059】
ステップS37において、主制御部10はHF状態が保留状態であることをユーザに通知するための保留中通知処理を実行する。保留中通知処理では、図9(c)に示す如く所定の保留中画像613が表示画面30に表示される。故に、HF状態が受話状態から保留状態に遷移すると、表示画面30の表示画像が受話中画像612から保留中画像613に切り替わる。保留中画像613はHF状態が保留状態にあることを示す画像である。更に、保留中通知処理では、図9(c)に示す如く、発光部60が所定の発光態様LM2A_3で発光される。ステップS37の後、ステップS38に進む。
【0060】
ステップS38において、HF対応部12はHF状態を確認する。HF状態が保留状態であれば(即ち保留状態が継続しておれば)ステップS37に戻る。保留状態が解除されることでHF状態が保留状態から受話状態に遷移している場合にはステップS35に戻る。また、ステップS38において終話が発生しておればステップS39に進む。
【0061】
ステップS39において、HF対応部12はHF機能動作を終了させる(即ちHF機能動作の実行を終了する)。また、ステップS39において、発光制御部14は、発光部60に対する発光制御CNT2Aを終了(停止)する。ステップS39の後、ステップS13に戻る。故に、ステップS15を経由した後にステップS39にて発光制御CNT2Aが終了すると、ステップS13を経由してステップS15に戻ることで発光部60が発光制御CNTにて発光される状態に戻る(但し、新たな着信通知信号の受信及び音声認識起動条件が非成立であると仮定)。
【0062】
図9(a)~(c)からは必ずしも明らかでないが、発光態様LM2A_1、LM2A_2及びLM2A_3は互いに異なる発光態様である。発光態様LM2A_1、LM2A_2及びLM2A_3が互いに異なる発光態様である限り、それらの発光態様は任意である。発光色、点滅の有無、点滅の周波数、及び、発光箇所の動きなどを異ならせることで、発光態様を相違させることができる。例えば、発光態様LM2A_1では発光部60の全体領域が赤の発光色にて高速点滅し、発光態様LM2A_2では発光部60の全体領域が緑の発光色にて低速点滅し、且つ、発光態様LM2A_3では発光部60が青の発光色にて回転点灯する。高速点滅とは、発光部60の発光素子を点灯させた後、発光部60の発光素子を消灯させる単位点滅動作を所定の第1周波数にて繰り返すことを指し、低速点滅とは、単位点滅動作を第1周波数よりも低い所定の第2周波数にて繰り返すことを指す。回転点灯とは、発光部60における発光箇所が所定軸周りに回転しているかのように見える発光態様(発光箇所が所定軸周りに変化してゆくように発光箇所を順次変化させてゆく発光態様)を指す。尚、図9(a)~(c)における画像611~613も互いに異なる画像である。発光態様LM2A_1、LM2A_2、LM2A_3による発光部60の発光は、現在のHF状態が、夫々、着信状態、受話状態、保留状態であることをユーザに通知する機能を持つ。発光態様LM2A_1、LM2A_2及びLM2A_3は、何れも、図7のステップS15にて発光制御CNTが実行されるときの発光部60の発光態様(図8参照)と異なっていて良い。
【0063】
ステップS14からステップS51に移行した場合の動作の流れを説明する。ステップS51において、VR対応部13はVR機能動作を起動させる(即ちVR機能動作の実行を開始する)。また、ステップS51に至ると、発光制御部14は、発光部60の発光制御を発光制御CNT2Bに設定し、以後、VR機能動作が終了するまで発光制御CNT2Bにて発光部60の発光態様を制御する。発光制御CNT2Bにおいて発光部60の発光態様が制御される。発光制御CNT2Bでは、VR機能動作の状態に応じ、互いに異なる複数の発光態様の何れかにて発光部60が発光し、VR機能動作の状態に応じた複数の発光態様は後述の発光態様LM2B_1、LM2B_2及びLM2B_3を含む(図11(a)~(c)参照)。
【0064】
VR機能動作の起動後、VR機能動作の状態(以下、VR状態と称する)は、発話待機状態、発話入力中状態及び対応中状態を含む複数の状態の何れかとなる。これらの状態間の遷移の様子を図10に示す。VR機能動作が起動すると、まずVR状態はユーザの発話開始を待機する発話待機状態となる。VR機能動作の起動後、ユーザが発話する期間をユーザ発話期間と称する。ユーザ発話期間においてVR状態は発話入力中状態である。発話入力中状態は、ユーザの発話の内容がマイクロホン50に入力されている最中の状態に相当する。VR対応部13は、ユーザ発話期間の開始タイミング及び終了タイミングを、マイクロホン50の出力音声信号の強度及びスペクトラム等に基づいて判断して良い。ユーザ発話期間の開始後、一定時間、ユーザの発話が途絶えたとき(例えば、マイクロホン50の出力音声信号における人の声の信号成分の強度が所定値以下である状態が一定時間継続したとき)、VR対応部13は、ユーザ発話期間が終了したと判断できる。ユーザ発話期間が終了すると、VR状態は発話入力中状態から対応中状態に遷移する。対応中状態にて、ユーザ発話期間におけるユーザの発話内容を認識する音声認識処理と、音声認識処理の認識結果を利用してユーザの発話内容に対し応答する応答処理と、が実行される。尚、音声認識処理はユーザ発話期間の途中から開始され得る。
【0065】
ユーザ発話期間中のユーザの発話内容に依存して、応答処理が完了した後にVR機能動作が終了するケースと、応答処理が完了した後にVR状態が発話待機状態に戻るケースと、がある。前者のケースは図7のステップS57からステップS58に移行するケースに対応し、後者のケースは図7のステップS57からステップS52に戻るケースに対応する。
【0066】
図7を参照し、ステップS51以降の処理の流れの説明に戻る。ステップS51に続くステップS52において、主制御部10はVR状態が発話待機状態であることをユーザに通知するための発話待機通知処理を実行する。発話待機通知処理では、図11(a)に示す如く所定の待機画像621が表示画面30に表示される。故に、ステップS11からステップS12~S14及びS51を経由してステップS52に至ると、表示画面30の表示画像がナビゲーション画像600から待機画像621に切り替わる。待機画像621はユーザの発話を待機していることを示す画像である。更に、発話待機通知処理では、図11(a)に示す如く、発光部60が所定の発光態様LM2B_1で発光される。ステップS52の後、ステップS53に進む。
【0067】
ステップS53において、VR対応部13はVR状態を確認する。VR状態が発話待機状態であればステップS52に戻るが、VR状態が発話待機状態から発話入力中状態に切り替わっておればステップS54に進む。ステップS51からステップS52に移行した後、ユーザの発話が開始されるとステップS54に進むことになる。
【0068】
ステップS54において、主制御部10はVR状態が発話入力中状態であることをユーザに通知するための発話入力中通知処理を実行する。発話入力中通知処理では、図11(b)に示す如く所定の入力中画像622が表示画面30に表示される。故に、VR状態が発話待機状態から発話入力中状態に遷移すると、表示画面30の表示画像が待機画像621から入力中画像622に切り替わる。入力中画像622はVR状態が発話入力中状態にあることを示す画像である。更に、発話入力中通知処理では、図11(b)に示す如く、発光部60が所定の発光態様LM2B_2で発光される。ステップS54の後、ステップS55に進む。
【0069】
ステップS55において、VR対応部13はVR状態を確認する。VR状態が発話入力中状態であればステップS54に戻るが、VR状態が発話入力中状態から対応中状態に切り替わっておればステップS56に進む。
【0070】
ステップS56において、主制御部10はVR状態が対応中状態であることをユーザに通知するための対応中通知処理を実行する。対応中通知処理では、図11(c)に示す如く所定の対応中画像623が表示画面30に表示される。故に、VR状態が発話入力中状態から対応中状態に遷移すると、表示画面30の表示画像が入力中画像622から対応中画像623に切り替わる。対応中画像623はVR状態が対応中状態にあることを示す画像である。更に、対応中通知処理では、図11(c)に示す如く、発光部60が所定の発光態様LM2B_3で発光される。
【0071】
ステップS56では、対応中通知処理が実行されつつ、VR対応部13により、ユーザ発話期間におけるユーザの発話内容を認識する音声認識処理と、音声認識処理の認識結果を利用してユーザの発話内容に対し応答する応答処理と、が実行される。応答処理が完了すると、対応中通知処理を停止してステップS57に進む。応答処理が開始される段階で対応中通知処理が停止されることもある。
【0072】
ステップS57において、VR対応部13はVR機能動作を継続すべきか否かを判断する。VR機能動作を継続すべきと判断した場合には(ステップS57のY)ステップS52に戻る一方、そうでない場合には(ステップS57のN)ステップS58に進む。
【0073】
ステップS57の判断処理はユーザ発話期間中のユーザの発話内容に依存する。例えば、以下の第1ケースを考える。第1ケースでは、ユーザ発話期間において、ユーザがオーディオの音量設定値VOLADを大きくすることを指示する発話を行う。第1ケースにおいて、VR対応部13はステップS56の応答処理にて音量設定値VOLADを一定値だけ増大させる。第1ケースでは、音量設定値VOLADの増大によりユーザの要望が満たされるため、VR対応部13はVR機能動作を終了して良いと判断し(ステップS57のN)、ステップS58に進む。
【0074】
また例えば、ユーザ発話期間におけるユーザの発話が、近隣のレストランを車両CRの目的地に設定することを指示する発話である第2ケースを考える。第2ケースに係るVR対応部13は、ステップS56の応答処理にて、車両位置情報を参照しつつ、通信モジュール70及び通信網NETを通じて車両CRの近隣のレストランを検索する。ここで、車両CRの近隣のレストランとして第1~第3レストランが見つかったものとする。そうすると、第2ケースに係るVR対応部13は、ステップS56の応答処理にて、第1~第3レストランの情報をユーザに示しつつ、第1~第3レストランの何れを車両CRの目的地に設定するかをユーザに問い合わせる通知を行う(当該通知は、スピーカ83を用いて、又は、表示画面30及びスピーカ83を用いて行われる)。このような第2ケースでは、上記問い合わせの通知の後、ユーザの回答が必要となるため、VR機能動作が継続されるべきであると判断され(ステップS57のY)、ステップS52に戻る。
【0075】
ステップS58において、VR対応部13はVR機能動作を終了させる(即ちVR機能動作の実行を終了する)。また、ステップS58において、発光制御部14は、発光部60に対する発光制御CNT2Bを終了(停止)する。ステップS58の後、ステップS13に戻る。故に、ステップS15を経由した後にステップS58にて発光制御CNT2Bが終了すると、ステップS13を経由してステップS15に戻ることで発光部60が発光制御CNTにて発光される状態に戻る(但し、着信通知信号の受信及び新たな音声認識起動条件が非成立であると仮定)。
【0076】
図11(a)~(c)からは必ずしも明らかでないが、発光態様LM2B_1、LM2B_2及びLM2B_3は互いに異なる発光態様である。発光態様LM2B_1、LM2B_2及びLM2B_3が互いに異なる発光態様である限り、それらの発光態様は任意である。発光色、点滅の有無、点滅の周波数、及び、発光箇所の動きなどを異ならせることで、発光態様を相違させることができる。例えば、発光態様LM2B_1では発光部60の全体領域が緑の発光色にて低速点滅し、発光態様LM2B_2では発光部60の全体領域が赤の発光色にて高速点滅し、且つ、発光態様LM2B_3では発光部60が青の発光色にて回転点灯する。低速点滅、高速点滅及び回転点灯の意義は上述した通りである。尚、図11(a)~(c)における画像621~623も互いに異なる画像である。発光態様LM2B_1、LM2B_2、LM2B_3による発光部60の発光は、現在のVR状態が、夫々、発話待機状態、発話入力中状態、対応中状態であることをユーザに通知する機能を持つ。発光態様LM2B_1、LM2B_2及びLM2B_3は、何れも、図7のステップS15にて発光制御CNTが実行されるときの発光部60の発光態様(図8参照)と異なっていて良い。
【0077】
上述の如く、発光制御部14は、オーディオ機能動作が実行されるときには発光制御CNTに従って発光部60を発光させ、他の機能動作(HF機能動作、VR機能動作)が実行されるときには他の発光制御(CNT2A、CNT2B)に従って発光部60を発光させる。これにより、オーディオ機能動作のために元々備えられたノブ41用の発光部60を用いて(従って新たな部材を追加することなく)、他の機能動作の実行に関わる情報(他の機能動作が実行されているか否か等)をユーザに通知することが可能となる。他の機能動作の実行期間において、仮に表示画面30の表示画像が他の機能動作用の画像から切り替わったとしても、他の発光制御(CNT2A、CNT2B)に従って発光部60が発光されるので、ユーザは他の機能動作の実行に関わる情報(他の機能動作が実行されているか否か等)を認識することが可能となる。
【0078】
<<第2実施例>>
第2実施例を説明する。第2実施例は第1実施例を基礎とする実施例であり、第1実施例に記載の事項は第2実施例にも適用される。
【0079】
第1実施例で述べた通り、主制御部10は、HF機能動作を実行する際、HF機能動作に対応する所定画像を表示画像30に表示させる。HF機能動作に対応する所定画像の例として、着信画像611、受話中画像612及び保留中画像613を挙げた(図9(a)~(c)参照)。ここで、図12を参照し、時刻t11から時刻t13までの期間はHF機能動作の実行期間であるとする。時刻t12は時刻t11より後であって且つ時刻t13よりも前の時刻であり、時刻t12にて表示変更条件が成立する(詳細には、時刻t12に至るまで表示変更条件は非成立であって時刻t12にて表示変更条件が成立する)。HF機能動作の実行期間は、図7のステップS32へ移行後、ステップS39に至るまでの期間に相当する。主制御部10は、HF機能動作の実行期間において、HF機能動作に対応する所定画像(611、612又は613)を表示画面30に表示させているときに所定の表示変更条件が成立すると(時刻t12)、表示画面30の表示画像をHF機能動作に対応する所定画像から所定の変更先画像に変更する。第2実施例において、表示変更条件は第1表示変更条件であって変更先画像はナビゲーション画像600である。第1表示変更条件の成立後、図7のステップS33、S35及びS37の処理による着信画像611、受話中画像612及び保留中画像613の表示は停止され(図9(a)~(c)参照)、表示画面30の表示画像はナビゲーション画像600とされる。
【0080】
一方、発光部60の発光を制御する発光制御部14は、HF機能動作の実行期間において、発光部60に対する発光制御を発光制御CNT2Aに維持する。故に、HF機能動作の実行期間において、発光制御部14は、表示変更条件の成立に応答して表示画面30の表示画像がHF機能動作に対応する所定画像から変更先画像に変更した後にも、発光制御CNT2Aに従う発光部60の発光を継続させる(図7のステップS32参照)。
【0081】
これにより、HF機能動作に対応する所定画像が表示されなくなっても、発光部60の発光態様により現在のHF状態(HF機能動作の状態)をユーザに知らせることが可能となる。
【0082】
ナビゲーション画像600の表示を伴うナビゲーション動作が継続実行されているときに、端末装置TMに着信があることでHF機能動作の実行期間に移行することがある。HF機能動作の実行期間ではHF機能動作に対応する所定画像(611、612又は613)が表示され、これによってユーザは現在のHF状態を知ることができるが、この際、ナビゲーション画像600の視認が妨げられる。
【0083】
ユーザは、HF機能動作の実行期間の任意のタイミングで所定のナビ復帰指示をマルチメディア装置1に入力することができる。例えば、操作部40に対し所定のナビ復帰操作を入力することでナビ復帰指示がマルチメディア装置1に入力される。HF機能動作の実行期間において、マルチメディア装置1へナビ復帰指示が入力されることで、第2実施例に係る表示変更条件である第1表示変更条件が成立する。主制御部10は、第1表示変更条件の成立を契機に表示画面30の表示画像をHF機能動作に対応する所定画像からナビゲーション画像600に変更する。ナビ復帰指示は当該変更の指示に相当する。
【0084】
このような構成を採用することで、HF機能動作の実行期間において、ユーザの希望に応じ、表示画面30の状態をナビゲーション画像600が表示される状態に戻すことができる(ナビゲーション画像600の非表示期間を短くすることが可能である)。
【0085】
図12の例では、表示画面30の表示画像が受話中画像612からナビゲーション画像600に戻ることで、以後、ユーザとしての運転手はナビゲーション画像600を視認できるが、HF機能動作の実行期間では、発光部60の発光制御CNT2Aが継続する(図7のステップS32参照)。このため、HF機能動作の実行期間の内、受話中画像612が表示画面30に表示される期間(第1期間)と、ナビゲーション画像600が表示画面30に表示される期間(第2期間)とで、HF状態(HF機能動作の状態)が同じであれば、発光制御部14は、前者の期間と後者の期間とにおいて同じ発光態様で発光部60を発光させる。図12の例では、時刻t12を境に表示画面30の表示画像が受話中画像612からナビゲーション画像600に変更されるが、時刻t12を境にHF状態は受話状態から変化しないので、上記の前者の期間及び後者の期間に亘って同じ発光態様LM2A_2で発光部60が発光することになる。
【0086】
時刻t12を境に表示画面30の表示画像が着信画像611又は保留画像613からナビゲーション画像600に変更される場合も同様である。更に、上述したように、発光態様LM2A_1~LM2A_3は互いに異なるので、発光態様LM2A_1~LM2A_3による発光部60の発光は現在のHF状態をユーザに通知する機能を持つ。
【0087】
故に、表示変更条件の成立に応答してHF機能動作に対応する所定画像(図12の例では受話中画像612)が表示されなくなっても、発光部60の発光態様により現在のHF状態(HF機能動作の状態)をユーザに知らせることが可能となる。つまり、ユーザは、ナビゲーション画像600の提供を受けつつ、必要に応じ発光部60を見ることで現在のHF状態(時刻t12直前のHF状態が継続しているか否か等)を確認することが可能となる。
【0088】
尚、ユーザによるマルチメディア装置1へのナビ復帰操作の入力を第2実施例に係る第1表示変更条件として説明したが、第2実施例の表示変更条件である第1表示変更条件は任意であって良い。例えば、HF機能動作の実行期間において、HF機能動作に対応する所定画像(611、612又は613)を表示画面30に表示開始してから、所定時間(例えば5秒)経過すると、第1表示変更条件が成立しても良い。
【0089】
<<第3実施例>>
第3実施例を説明する。第3実施例は第1実施例を基礎とする実施例であり、第1実施例に記載の事項は第3実施例にも適用される。
【0090】
第1実施例で述べた通り、主制御部10は、VR機能動作を実行する際、VR機能動作に対応する所定画像を表示画像30に表示させる。VR機能動作に対応する所定画像の例として、待機画像621、入力中画像622及び対応中画像623を挙げた(図11(a)~(c)参照)。ここで、図13を参照し、時刻t21から時刻t23までの期間はVR機能動作の実行期間であるとする。時刻t22は時刻t21より後であって且つ時刻t23よりも前の時刻であり、時刻t22にて表示変更条件が成立する(詳細には、時刻t22に至るまで表示変更条件は非成立であって時刻t22にて表示変更条件が成立する)。VR機能動作の実行期間は、図7のステップS51へ移行後、ステップS58に至るまでの期間に相当する。主制御部10は、VR機能動作の実行期間において、VR機能動作に対応する所定画像(621、622又は623)を表示画面30に表示させているときに所定の表示変更条件が成立すると(時刻t22)、表示画面30の表示画像をVR機能動作に対応する所定画像から所定の変更先画像に変更する。第3実施例において、表示変更条件は第1表示変更条件であって変更先画像はナビゲーション画像600である。第1表示変更条件の成立後、図7のステップS52、S54及びS56の処理による待機画像621、入力中画像622及び対応中画像623の表示は停止され(図11(a)~(c)参照)、表示画面30の表示画像はナビゲーション画像600とされる。
【0091】
一方、発光部60の発光を制御する発光制御部14は、VR機能動作の実行期間において、発光部60に対する発光制御を発光制御CNT2Bに維持する。故に、VR機能動作の実行期間において、発光制御部14は、表示変更条件の成立に応答して表示画面30の表示画像がVR機能動作に対応する所定画像から変更先画像に変更された後にも、発光制御CNT2Bに従う発光部60の発光を継続させる(図7のステップS51参照)。
【0092】
これにより、VR機能動作に対応する所定画像が表示されなくなっても、発光部60の発光態様により現在のVR状態(VR機能動作の状態)をユーザに知らせることが可能となる。
【0093】
ナビゲーション画像600の表示を伴うナビゲーション動作が継続実行されているときに、VR機能動作の実行期間に移行することがある。VR機能動作の実行期間ではVR機能動作に対応する所定画像(621、622又は623)が表示され、これによってユーザは現在のVR状態を知ることができるが、この際、ナビゲーション画像600の視認が妨げられる。
【0094】
ユーザは、VR機能動作の実行期間の任意のタイミングで所定のナビ復帰指示をマルチメディア装置1に入力することができる。ナビ復帰指示については、第2実施例にて述べた通りである。VR機能動作の実行期間において、マルチメディア装置1へナビ復帰指示が入力されることで、第3実施例に係る表示変更条件である第1表示変更条件が成立する。主制御部10は、第1表示変更条件の成立を契機に表示画面30の表示画像をVR機能動作に対応する所定画像からナビゲーション画像600に変更する。ナビ復帰指示は当該変更の指示に相当する。
【0095】
このような構成を採用することで、VR機能動作の実行期間において、ユーザの希望に応じ、表示画面30の状態をナビゲーション画像600が表示される状態に戻すことができ、ナビゲーション画像600の非表示期間を短くすることが可能である。
【0096】
図13の例では、表示画面30の表示画像が待機画像621からナビゲーション画像600に戻ることで、以後、ユーザとしての運転手はナビゲーション画像600を視認できるが、VR機能動作の実行期間では、発光部60の発光制御CNT2Bが継続する(図7のステップS51参照)。このため、VR機能動作の実行期間の内、待機画像621が表示画面30に表示される期間(第1期間)と、ナビゲーション画像600が表示画面30に表示される期間(第2期間)とで、VR状態(VR機能動作の状態)が同じであれば、発光制御部14は、前者の期間と後者の期間とにおいて同じ発光態様で発光部60を発光させる。図13の例では、時刻t22を境に表示画面30の表示画像が待機画像621からナビゲーション画像600に変更されるが、時刻t22を境にVR状態は発話待機状態から変化しないので、上記の前者の期間及び後者の期間に亘って同じ発光態様LM2B_1で発光部60が発光することになる。
【0097】
時刻t22を境に表示画面30の表示画像が入力中画像622又は対応中画像623からナビゲーション画像600に変更される場合も同様である。更に、上述したように、発光態様LM2B_1~LM2B_3は互いに異なるので、発光態様LM2B_1~LM2B_3による発光部60の発光は現在のVR状態をユーザに通知する機能を持つ。
【0098】
故に、表示変更条件の成立に応答してVR機能動作に対応する所定画像(図13の例では待機画像621)が表示されなくなっても、発光部60の発光態様により現在のVR状態(VR機能動作の状態)をユーザに知らせることが可能となる。つまり、ユーザは、ナビゲーション画像600の提供を受けつつ、必要に応じ発光部60を見ることで現在のVR状態(時刻t22直前のVR状態が継続しているか否か等)を確認することが可能となる。
【0099】
尚、ユーザによるマルチメディア装置1へのナビ復帰操作の入力を第3実施例に係る第1表示変更条件として説明したが、第3実施例の表示変更条件である第1表示変更条件は任意であって良い。例えば、VR機能動作の実行期間において、VR機能動作に対応する所定画像(621、622又は623)を表示画面30に表示開始してから、所定時間(例えば5秒)経過すると、第1表示変更条件が成立しても良い。
【0100】
<<第4実施例>>
第4実施例を説明する。第4実施例では第2実施例に対する変形技術を説明する。第2実施例の記載は特に記述なき限り第4実施例にも適用される。
【0101】
図12及び図14を参照する。図12に対応する第2実施例において、表示変更条件は第1表示変更条件であって且つ変更先画像はナビゲーション画像600であるのに対し、図14に対応する第4実施例において、表示変更条件は第2表示変更条件であって且つ変更先画像はリアカメラ画像630である。リアカメラ画像630はカメラ2R(リアカメラ;図2参照)の撮影により得られるカメラ画像である。
【0102】
車両CRの進行方向が後退方向に設定されたときに第2表示変更条件が成立する。即ち、シフトレバーCC2の位置がリバース位置と一致するとき、第2表示変更条件が成立する。主制御部10はシフト情報に基づいて第2表示変更条件の成否を判断できる。主制御部10は、HF機能動作の実行期間において、第2表示変更条件が成立すると、表示画面30の表示画像をHF機能動作に対応する所定画像からリアカメラ画像630に変更する。HF機能動作に対応する所定画像は、着信画像611、受話中画像612及び保留中画像613のいずれでも良いが、図14では当該所定画像の例として受話中画像612が示されている。第2表示変更条件の成立後、図7のステップS33、S35及びS37の処理による着信画像611、受話中画像612及び保留中画像613の表示は停止され(図9(a)~(c)参照)、表示画面30の表示画像はリアカメラ画像630とされる。
【0103】
第4実施例によれば、HF機能動作の実行期間において、リアカメラ画像630の表示が必要となったときに、速やかにリアカメラ画像630が表示される状態に移行させることができる。
【0104】
この場合においても、第2実施例と同様、HF機能動作の実行期間の内、受話中画像612が表示画面30に表示される期間(第1期間)と、リアカメラ画像630が表示画面30に表示される期間(第2期間)とで、HF状態(HF機能動作の状態)が同じであれば、発光制御部14は、前者の期間と後者の期間とにおいて同じ発光態様で発光部60を発光させる。図14の例では、時刻t12を境に表示画面30の表示画像が受話中画像612からリアカメラ画像630に変更されるが、時刻t12を境にHF状態は受話状態から変化しないので、上記の前者の期間及び後者の期間に亘って同じ発光態様LM2A_2で発光部60が発光することになる。故に、ユーザは、リアカメラ画像630の提供を受けつつ、必要に応じ発光部60を見ることで現在のHF状態(時刻t12直前のHF状態が継続しているか否か等)を確認することが可能となる。
【0105】
<<第5実施例>>
第5実施例を説明する。第5実施例では第3実施例に対する変形技術を説明する。第3実施例の記載は特に記述なき限り第5実施例にも適用される。第2実施例(図12)を第4実施例(図14)に変形するのと同様に、第3実施例(図13)を変形したものが第5実施例に相当する。
【0106】
図13及び図15を参照する。図13に対応する第3実施例において、表示変更条件は第1表示変更条件であって且つ変更先画像はナビゲーション画像600であるのに対し、図15に対応する第5実施例において、表示変更条件は第2表示変更条件であって且つ変更先画像はリアカメラ画像630である。
【0107】
リアカメラ画像630及び第2表示変更条件は第4実施例で述べた通りである。主制御部10は、VR機能動作の実行期間において、第2表示変更条件が成立すると、表示画面30の表示画像をVR機能動作に対応する所定画像からリアカメラ画像630に変更する。VR機能動作に対応する所定画像は、待機画像621、入力中画像622及び対応中画像623のいずれでも良いが、図15では当該所定画像の例として待機画像621が示されている。第2表示変更条件の成立後、図7のステップS52、S54及びS56の処理による待機画像621、入力中画像622及び対応中画像623の表示は停止され(図11(a)~(c)参照)、表示画面30の表示画像はリアカメラ画像630とされる。
【0108】
第5実施例によれば、VR機能動作の実行期間において、リアカメラ画像630の表示が必要となったときに、速やかにリアカメラ画像630が表示される状態に移行させることができる。
【0109】
この場合においても、第3実施例と同様、VR機能動作の実行期間の内、待機画像621が表示画面30に表示される期間(第1期間)と、リアカメラ画像630が表示画面30に表示される期間(第2期間)とで、VR状態(VR機能動作の状態)が同じであれば、発光制御部14は、前者の期間と後者の期間とにおいて同じ発光態様で発光部60を発光させる。図15の例では、時刻t22を境に表示画面30の表示画像が待機画像621からリアカメラ画像630に変更されるが、時刻t22を境にVR状態は発話待機状態から変化しないので、上記の前者の期間及び後者の期間に亘って同じ発光態様LM2B_1で発光部60が発光することになる。故に、ユーザは、リアカメラ画像630の提供を受けつつ、必要に応じ発光部60を見ることで現在のVR状態(時刻t22直前のVR状態が継続しているか否か等)を確認することが可能となる。
【0110】
<<第6実施例>>
第6実施例を説明する。第6実施例では、上述した事項に対する幾つかの補足事項、応用技術及び変形技術等を説明する。
【0111】
図7のフローチャートでは、第2端末装置が第1端末装置(TM)を呼び出したときのハンズフリー通話が注目されているが、第1端末装置(TM)から第2端末装置を呼び出した上でハンズフリー通話を行う場合にも、上述と同様の各動作及び各制御が可能である。例えば、HF機能動作において第1端末装置(TM)が第2端末装置を呼び出す際、ユーザは操作部40に所定の発信操作を入力する。発信操作の入力に応答してHF対応部12は第1端末装置(TM)から発信信号を通信網NETに向けて送信させる。当該発信信号に基づく着信信号が第2端末装置にて受信され、第2端末装置にて受話操作が入力されると、ハンズフリー通話が可能な状態となる。
【0112】
操作部40に対する発信操作の入力後、第2端末装置にて受話操作が入力されるまで、HF状態は発信状態にある。第2端末装置にて受話操作が入力されてハンズフリー通話が可能な状態は通話状態にある。通話状態は上述の受話状態と同じであると考えて良い。発信状態において、主制御部10はHF状態が発信状態であることをユーザに通知するための発信通知処理を実行する。発信通知処理では、所定の発信画像(不図示)を表示画面30に表示すると共に発光部60を所定の発光態様LM2A_4(不図示)で発光させる。発光態様LM2A_4はHF状態が発信状態であることをユーザに通知する機能を有する。発光態様LM2A_4は発光態様LM2A_1~LM2A_3の何れとも相違していて良い。
【0113】
発光態様LM2A_4は、HF機能動作の実行期間における発光部60の発光態様の1つであり、発光制御CNT2A図7のステップS32参照)に従う発光態様である。故に、HF機能動作の実行期間において、発光態様LM2A_4にて発光部60が発光しているときに上記表示変更条件が成立することで表示画面30の表示画像が発信画像から変更先画像(ナビゲーション画像600又はリアカメラ画像630)に変更されたとしても、HF状態が発信状態に保たれているのでれば、発光態様LM2A_4による発光部60の発光が継続する。
【0114】
図1のマルチメディア装置1は本発明に係る車載装置の一例である。マルチメディア装置1そのものが本発明に係る車載装置に相当すると考えることができる。或いは、マルチメディア装置1の構成要素の一部のみを有する車載装置を形成することも可能である。この際、車載装置は、少なくとも、ノブ41、発光部60及び主制御部10を備えていると良い。主制御部10が発光部60の発光を制御する方法を車載用発光制御方法と称することができる。
【0115】
車載装置を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。車載装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを車載装置に搭載可能なメモリに保存しておいても良い。そして、該プログラムをプログラム実行装置(例えば、車載装置に搭載可能なマイクロコンピュータであって、例えば主制御部10のCPU)上で実行することによって、その特定の機能を実現するようにしても良い。上記プログラムは任意の記録媒体に記憶されうる。上記プログラムを記憶する記録媒体は車載装置と異なる機器に搭載又は接続されても良い。
【0116】
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【符号の説明】
【0117】
SYS 車載システム
1 マルチメディア装置1
2 カメラ部
2R リアカメラ
3 GPS処理部
4 車載センサ部
4A シフトレバーセンサ
4B 車速センサ
10 主制御部
11 ナビゲーション部
12 ハンズフリー対応部(HF対応部)
13 音声認識対応部(VR対応部)
14 発光制御部
20 記憶部
30 表示画面
40 操作部
41 オーディオノブ
50 マイクロホン
60 発光部
70 通信モジュール
80 オーディオ装置
81 チューナ部
82 オーディオアンプ
83 スピーカ
TM 端末装置
NET 通信網
CC1 ステアリングホイール
CC2 シフトレバー
CC3 イグニッションスイッチ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16