(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
―第1の実施の形態―
図1は、本発明の一実施形態に係る画像表示システムの構成を示す図である。
図1に示す画像表示システム100は、車載装置1と携帯端末2とサーバ5とを備える。車載装置1と携帯端末2は、近距離無線通信と、映像・音声ケーブル3を介した有線通信で互いに接続される。車載装置1と携帯端末2の間で行われる近距離無線通信には、たとえばBluetooth(登録商標)などを用いることができる。映像・音声ケーブル3を介した有線通信には、たとえばHDMI(High-Definition Multimedia Interface)(登録商標)などを用いることができる。
【0012】
車載装置1は、車両内、たとえば車両のインストルメントパネル内などに設置されている。車載装置1には、表示部11と、操作キー(操作スイッチ)12a、12b、12c、12dおよび12eとが設けられている。表示部11は、各種の画像(静止画像、動画像、映像)を表示可能な表示モニタであり、たとえば液晶ディスプレイによって構成される。操作キー12a〜12eは、ユーザの入力操作を検出するための操作スイッチ類であり、車載装置1が実行中の処理に応じて様々な機能が割り当てられる。ユーザは、操作キー12a〜12eのうち任意の操作キーを操作することで、所望の機能を車載装置1に実行させることができる。なお、
図1では操作キー12a〜12dを押圧可能なボタン式のスイッチとし、操作キー12eを左右に回転可能なダイヤル式のスイッチとした例を示しているが、各操作キーの配置、構造、数などはこの例に限定されない。また、表示部11をタッチパネル式の表示モニタとし、操作キーの一部または全部を省略してもよい。
【0013】
携帯端末2は、ユーザが持ち運び可能な携帯型の情報端末であり、たとえば携帯電話、スマートフォン、タブレットPCなどである。携帯端末2には、表示部21が設けられている。表示部21は、各種の画像(静止画像、動画像、映像)を表示可能なタッチパネル式の表示モニタであり、たとえばタッチ位置を検出するタッチセンサと液晶ディスプレイとを組み合わせて構成される。ユーザは、表示部21に表示される画像の内容に応じて、表示部21上で任意の位置を指等でタッチすることで、所望の機能を携帯端末2に実行させることができる。なお、ここでは表示部21をタッチパネル式の表示モニタとした例を説明したが、タッチパネル式ではない通常の表示モニタとしてもよい。その場合、携帯端末2が実行する処理の内容に応じた各種の操作スイッチを携帯端末2に設けることが好ましい。あるいは、表示部21をタッチパネル式の表示モニタとし、さらに所定の操作に対応する操作スイッチを携帯端末2に設けてもよい。
【0014】
携帯端末2は、携帯電話網やインターネットなどにより構築された公衆通信回線網4との間で無線通信を行うことにより、公衆通信回線網4を介してサーバ5に接続することができる。サーバ5は、詳細を後述する画面調整情報に関するデータベース51が記憶されており、このデータベース51の管理を行う管理装置である。
【0015】
図2は、車載装置1および携帯端末2の構成を示すブロック図である。
図2に示すように車載装置1は、制御部10、表示部11、操作部12、音声出力部13、メモリ部14、近距離無線通信インタフェース部15および映像・音声信号入力部16を有する。一方、携帯端末2は、制御部20、表示部21、操作部22、音声出力部23、メモリ部24、近距離無線通信インタフェース部25、映像・音声信号出力部26、無線通信部27およびGPS(Global Positioning System)受信部28を有する。
【0016】
車載装置1において、制御部10は、マイクロプロセッサや各種周辺回路、RAM、ROM等によって構成されており、メモリ部14に記録されている制御プログラムを実行することにより各種機能を実現する。たとえば、制御部10は、映像データに基づいて表示画像を生成し、その表示画像を表示部11に表示させる表示制御機能を実現する。
【0017】
表示部11は、
図1を用いて前述したように、液晶ディスプレイ等によって構成される表示モニタである。操作部12は、ユーザの入力操作を検出するためのスイッチであり、たとえば
図1に示した操作キー12a〜12eによって実現される。なお、前述のように表示部11をタッチパネル式の表示モニタとすることで、表示部11と操作部12を一体化された構成としてもよい。操作部12に対して行われたユーザの入力操作内容は制御部10へ出力され、制御部10が行う処理に反映される。
【0018】
音声出力部13は、アンプ、スピーカ等を有しており、制御部10の制御によって各種の音声を出力することができる。たとえば、携帯端末2または不図示の記録媒体から読み出された音楽データを再生した音楽や、車両を目的地まで誘導するための誘導音声などが音声出力部13から出力される。
【0019】
メモリ部14は、不揮発性のデータ格納装置であり、たとえばHDD(ハードディスクドライブ)やフラッシュメモリ等によって実現される。メモリ部14には、たとえば制御部10において用いられる前述の制御プログラム、車載装置1の識別情報など、各種のデータが記憶されている。車載装置1の識別情報は、車載装置1の機種を識別するための情報であり、たとえば車載装置1の型番に関する情報を含む。メモリ部14におけるデータの読み出しおよび書き込みは、制御部10の制御により必要に応じて行われる。
【0020】
近距離無線通信インタフェース部15は、制御部10の制御により、携帯端末2との間で近距離無線通信を行う際に必要なインタフェース処理を行う。たとえば、制御部10から出力された情報を所定の無線信号形式に変換して携帯端末2へ送信したり、携帯端末2から所定の無線信号形式で出力された情報を受信して制御部10へ出力したりする。近距離無線通信インタフェース部15によるインタフェース処理は、Bluetooth等の所定の通信規格に従って行われる。この近距離無線通信インタフェース部15が行う処理により、車載装置1と携帯端末2との間で所定の近距離無線通信インタフェースが確立され、この近距離無線通信インタフェースを介した情報の入出力が行われる。
【0021】
映像・音声信号入力部16は、映像・音声ケーブル3を介して携帯端末2から入力される映像信号と音声信号を画面表示用の映像データと音声出力用の音声データにそれぞれ変換し、制御部10へ出力する。制御部10は、表示制御機能により、映像・音声信号入力部16が出力した映像データに基づいて表示部11に全画面表示させる表示画像を生成し、その表示画像を表示部11に表示させる。また、制御部10は、映像・音声信号入力部16により出力された音声データに基づいて、音声出力部13から音声を出力させる。この映像・音声信号入力部16が行う処理により、有線通信インタフェースである映像・音声ケーブル3を介して、携帯端末2からの映像信号および音声信号が車載装置1において入力される。
【0022】
一方、携帯端末2において、制御部20は、車載装置1の制御部10と同様にマイクロプロセッサや各種周辺回路、RAM、ROM等によって構成されており、メモリ部24に記録されている制御プログラムに基づいて各種の処理を実行する。
【0023】
表示部21は、前述したようなタッチパネル式の表示モニタである。操作部22は、ユーザの入力操作を検出するための部分である。なお、
図2では表示部21と操作部22を別々の構成として示しているが、実際には、操作部22はタッチパネル式の表示部21と一体化された構造を有している。あるいは、前述のように操作スイッチを携帯端末2に設けた場合は、その操作スイッチが操作部22に対応する。操作部22に対して行われたユーザの入力操作内容は制御部20へ出力され、制御部20が行う処理に反映される。
【0024】
音声出力部23は、アンプ、スピーカ等を有しており、制御部20の制御によって各種の音声を出力することができる。たとえば、携帯端末2を用いて通話を行ったときには、通話相手の音声が音声出力部23から出力される。
【0025】
メモリ部24は、車載装置1のメモリ部14と同様の不揮発性のデータ格納装置であり、制御部20の処理において利用するための各種のデータが記憶されている。このメモリ部24には、ユーザが予め入手した様々なアプリケーションプログラム(以下、単にアプリケーションと称する)が記憶されている。ユーザは、メモリ部24に記憶された各種アプリケーションの中からいずれかを選択して制御部20に実行させることにより、様々な機能を携帯端末2において実現することができる。また、メモリ部24には、携帯端末2の型番など、携帯端末2の機種を識別するための識別情報や、詳細を後述する校正用画像なども記憶されている。
【0026】
近距離無線通信インタフェース部25は、車載装置1の近距離無線通信インタフェース部15と同様に、所定の通信規格に基づいたインタフェース処理を行う。すなわち、近距離無線通信インタフェース部15と近距離無線通信インタフェース部25とが互いに無線通信で情報を授受することにより、車載装置1と携帯端末2の間で近距離無線通信インタフェースが確立され、この近距離無線通信インタフェースを介した相互の情報通信が実現される。
【0027】
映像・音声信号出力部26は、制御部20により生成された画像と音声を、たとえばHDMI等の所定の通信規格に応じた映像信号と音声信号にそれぞれ変換し、映像・音声ケーブル3を介して車載装置1へ出力する。この映像信号と音声信号が車載装置1において映像・音声信号入力部16に入力されると、携帯端末2において表示部21に表示されるのと同一の画面が車載装置1の表示部11にも表示される。また、携帯端末2において音声出力部23から出力されるのと同一の音声が車載装置1の音声出力部13からも出力される。こうした機能はビデオミラーリングと呼ばれている。
【0028】
無線通信部27は、携帯端末2を
図1の公衆通信回線網4に接続するための無線通信を行う。携帯端末2は、無線通信部27が行う無線通信により、公衆通信回線網4を介して、他の携帯端末との間で通話を行ったり、サーバ5から前述の画面調整情報などの情報を必要に応じてダウンロードしたりすることができる。
【0029】
GPS受信部28は、GPS衛星から送信されるGPS信号を受信して制御部20へ出力する。GPS信号には、携帯端末2の現在位置と現在時刻を求めるための情報として、そのGPS信号を送信したGPS衛星の位置と送信時刻に関する情報が含まれている。したがって、所定数以上のGPS衛星からGPS信号を受信することにより、これらの情報に基づいて現在位置と現在時刻を制御部20において算出することができる。
【0030】
本画像表示システムに備わる車載装置1と携帯端末2は、車載装置1と携帯端末2とが互いに接続された状態において、以下で説明する連携機能を有している。この連携機能を用いることにより、携帯端末2の表示部21で表示中の画面、たとえばメニュー画面を車載装置1の表示部11にも表示すること、携帯端末2において実行中のアプリケーションに応じた画像出力や音声出力を車載装置1で行うこと、車載装置1に対して行われたユーザの操作内容を携帯端末2において実行されているアプリケーションの動作に反映させることなどが可能となる。
【0031】
たとえば、携帯端末2においてナビゲーション用のアプリケーションを実行することにより、車両を目的地まで誘導するためのナビゲーション処理を行うことができる。このナビゲーション処理では、携帯端末2において現在位置付近の地図を描画した地図画面を作成し、その地図画面を表す画像情報を、前述の映像信号により、映像・音声信号出力部26から映像・音声ケーブル3を介して映像・音声信号入力部16へ出力する。これにより、携帯端末2から車載装置1へ地図画面を送信し、車載装置1の表示部11において現在位置付近の地図画面を表示できるようにする。また、車載装置1の操作部12または携帯端末2の操作部22を操作してユーザが目的地を設定すると、車両の現在位置を出発地として、その出発地から設定された目的地までの推奨経路を携帯端末2において探索する。そして、推奨経路上の誘導地点に車両が近づくと、その誘導地点における車両の進行方向に応じた誘導音声を携帯端末2から車載装置1へ送信する。これにより、車載装置1の音声出力部13から誘導音声を出力できるようにする。なお、このとき携帯端末2から車載装置1に対して、誘導音声出力の開始と終了のタイミングに応じてそれぞれ所定の信号を出力してもよい。このようにすれば、車載装置1においてラジオ放送や再生中のCD等による音声が出力されている場合であっても、その音声のボリュームを誘導音声の出力中には低下させ、ユーザが誘導音声を聞き取りやすくすることができる。以上説明したように、表示部11に地図画像を表示したり、音声出力部13から誘導音声を出力したりすることで、車載装置1は、ユーザが迷わずに車両を目的地まで運転できるようにするための報知をユーザに対して行う。
【0032】
なお、携帯端末2がナビゲーション用のアプリケーションを実行するために必要な地図データ等の各種データは、携帯端末2のメモリ部24において予め記憶されたものを使用してもよい。あるいは、メモリ部24には必要最小限のデータのみを記憶しておき、携帯端末2がナビゲーション用のアプリケーションを実行したときには、無線通信部27を用いて所定のサーバに接続し、必要なデータをその都度取得するようにしてもよい。
【0033】
携帯端末2では、上記のようなナビゲーション用のアプリケーションを含む複数のアプリケーションのうち、ユーザに選択されたアプリケーションを実行する。ユーザは、携帯端末2の表示部21に表示されるメニュー画面において、操作部22を操作して所望のアプリケーションを選択することにより、携帯端末2に実行させるアプリケーションの選択を行うことができる。このメニュー画面には、たとえば、連携機能を利用可能な各アプリケーションのアイコンが並べて表示されている。ユーザがメニュー画面上でいずれかのアイコンをタッチパネル操作等により選択すると、そのアイコンに対応するアプリケーションが携帯端末2において実行される。
【0034】
さらに携帯端末2は、映像・音声信号出力部26からの映像信号によりメニュー画面を車載装置1へ送信する。車載装置1は、携帯端末2から送信された映像信号に基づいて、表示部11にメニュー画面を表示する。このメニュー画面において、ユーザがタッチパネルの一部である操作部12のタッチ操作により所望のアプリケーションを選択すると、そのタッチ操作に応じた操作情報が近距離無線通信インタフェース部15により車載装置1から携帯端末2へ送信される。
【0035】
図3(a)は、携帯端末2の表示部21に表示されたメニュー画面の一例を示す。このメニュー画面には、携帯端末2において実行可能なアプリケーションA、B、C、D、E、およびFの6個のアイコン81〜86が並べて表示されている。
【0036】
図3(b)は、連携機能により車載装置1へ送信され、車載装置1の表示部11に表示されたメニュー画面の一例を示す。
図3(b)に示すメニュー画面においても、アイコン81〜86が並べて表示されている。ユーザは、操作キー12a〜12eなどを用いて、表示部11に表示されたアイコン81〜86のいずれかを選択することができる。表示部11に表示されたアイコン81〜86の中からいずれかが選択されると、その操作内容に関する情報が携帯端末2に出力され、選択されたアプリケーションが携帯端末2において実行される。
【0037】
車載装置1から送信された操作情報は、携帯端末2において近距離無線通信インタフェース部25により受信され、制御部20へ出力される。こうして受信された操作情報に基づいて、制御部20は、車載装置1においてどのアプリケーションがユーザに選択されたかを認識し、当該アプリケーションを実行する。これによりユーザは、携帯端末2の表示部21に表示されるメニュー画面を用いた場合と同様に、所望のアプリケーションを車載装置1において選択し、携帯端末2に実行させることができる。
【0038】
なお、制御部20は、各アプリケーションをフォアグランドまたはバックグランドで実行することができる。フォアグランドで実行した場合、そのアプリケーションは車載装置1および携帯端末2において画像表示や操作入力の対象とされる。一方、バックグランドで実行した場合、そのアプリケーションに応じた処理が制御部20により実行されるが、そのアプリケーションは車載装置1および携帯端末2において画像表示や操作入力の対象とはされない。ただし、音声についてはバックグランド実行中のアプリケーションから出力してもよい。
【0039】
車載装置1と携帯端末2とを互いに接続して前述のような連携機能を実現するために、携帯端末2には、アプリケーションマネージャと呼ばれるアプリケーションが予めインストールされてメモリ部24に記憶されている。すなわち、メモリ部24には、アプリケーションマネージャを含む複数のアプリケーションが記憶されている。車載装置1に携帯端末2が接続されると、このアプリケーションマネージャがメモリ部24から読み出され、制御部20において実行される。
【0040】
図4は、携帯端末2におけるソフトウェアの概略構成を示す図である。
図4において、アプリケーションマネージャ201は、サブアプリケーションMaと、サブアプリケーションMsとを有している。
【0041】
サブアプリケーションMaは、アプリケーションマネージャ201以外のアプリケーションを起動するためのランチャ機能を有している。制御部20は、サブアプリケーションMaをフォアグランドで実行することにより、これらの機能を利用することができる。たとえば、ランチャ機能を用いて、他のアプリケーションを呼び出し、サブアプリケーションMaに代えてそのアプリケーションを制御部20にフォアグランドで実行させることができる。
【0042】
サブアプリケーションMsは、携帯端末2を車載装置1に接続するための通信機能と、サーバ5のデータベース51から画面調整情報を取得するための画面調整情報取得機能とを有している。制御部20は、サブアプリケーションMsをバックグランドで実行することにより、これらの機能を利用することができる。たとえば、通信機能を用いて、携帯端末2と車載装置1との間で連携時に必要な各種の通信情報をやり取りすることができる。また、画面調整情報取得機能を用いて、車載装置1と携帯端末2との組み合わせに対応した画面調整情報をサーバ5から取得することができる。
【0043】
以上説明したように、アプリケーションマネージャ201は、制御部20においてフォアグランドで実行されるサブアプリケーションMaと、制御部20においてバックグランドで実行されるサブアプリケーションMsとに分けて構成されている。このようにすることで、アプリケーションマネージャ201の機能分担を最適化し、フォアグランドとバックグランドでそれぞれ実行するのに適した機能分担とすることができる。
【0044】
アプリケーションマネージャ201は、サブアプリケーションMaのランチャ機能により、アプリケーション202に含まれるアプリケーションのいずれかを呼び出す。呼び出されたアプリケーションは、サブアプリケーションMaに代えて制御部20によりフォアグランドで実行される。なお、
図4に対する以下の説明では、アプリケーションAが実行されているものとして説明する。
【0045】
OS(オペレーティングシステム)203は、携帯端末2の全体的な動作を管理するためのソフトウェアである。携帯端末2を車載装置1に接続した場合、OS203は、制御部20においてバックグランドで実行されるサブアプリケーションMsと、SPP(Serial Port Profile)プロファイル204およびHID(Human Interface Device Profile)プロファイル205との間で入出力される情報の仲介を行う。SPPプロファイル204およびHIDプロファイル205は、車載装置1と携帯端末2の間で行われる近距離無線通信において利用されるドライバであり、Bluetoothで用いられる規格の一部として標準化されている。
【0046】
SPPプロファイル204は、サブアプリケーションMsの通信機能により携帯端末2と車載装置1の間で入出力される通信情報の送受信処理を行う。携帯端末2から車載装置1へ送信される通信情報には、画面調整情報取得機能により取得された画面調整情報などが含まれる。車載装置1から携帯端末2へ送信される通信情報には、車載装置1の識別情報などが含まれる。一方、HIDプロファイル205は、車載装置1におけるユーザの操作内容に応じて車載装置1から出力される操作情報を受信するための処理を行う。SPPプロファイル204およびHIDプロファイル205により受信された各情報の内容は、OS203を介してサブアプリケーションMsに出力され、サブアプリケーションMsの通信機能により実行中のアプリケーションへと受け渡される。なお、これらの各情報の送受信は、車載装置1の近距離無線通信インタフェース部15と携帯端末2の近距離無線通信インタフェース部25との間で無線通信により行われる。
【0047】
制御部20においてサブアプリケーションMaをフォアグランドで実行中の場合、サブアプリケーションMaは、前述のランチャ機能により、ユーザに実行するアプリケーションを選択させるためのメニュー画面の画像を生成する。また、制御部20においてアプリケーションAをフォアグランドで実行中の場合、アプリケーションAは、所定の画像や音声を生成する。これらの画像や音声は、音声・画像メモリ206に一時的に記憶された後、HDMIドライバ207へ出力される。
【0048】
HDMIドライバ207は、HDMIで定められた方式に従って、サブアプリケーションMaやアプリケーションAにより生成された画像や音声を映像信号や音声信号に変換する処理を行う。HDMIドライバ207は、画像を映像信号に変換する際、その映像信号の画面サイズを所定値、たとえば720×576ピクセルに変更する。なお、映像信号の画面サイズは、携帯端末2の機種ごとに様々な値が設定されている。サブアプリケーションMaやアプリケーションAにより生成された画像のアスペクト比が所定の画面サイズのアスペクト比と異なる場合、サブアプリケーションMaやアプリケーションAにより生成された画像の縦横を同倍率で変倍しても所定の画面サイズにならない。HDMIドライバ207は、変倍した画像の上下または左右に帯状の領域を付加して画面サイズを調整する。たとえば、
図5(a)に示す1280×720ピクセル(アスペクト比16:9)の画像を720×576ピクセル(アスペクト比10:8)に変倍する場合、HDMIドライバ207は、
図5(b)に示すように、16:9のアスペクト比を保ったまま720×405ピクセルに縮小し、その画像の上下に幅が約86ピクセルの帯状の領域を付加する。なお、
図5(b)では、帯状の領域は、図示上の制限によりハッチングが掛けられているが、典型的には黒色で塗りつぶされている。以降、帯状の領域のことを黒帯領域と呼ぶ。なお、第1の実施の形態では、HDMIドライバ207が映像信号に変換する際に変更する画面サイズは、映像信号の基になる画像を生成したアプリケーションによらず、同じ携帯端末2であれば一定であるものとしている。
【0049】
HDMIドライバ207の変換処理により生成された映像信号や音声信号は、映像・音声信号出力部26により、映像・音声ケーブル3を介して車載装置1へ出力される。車載装置1は、黒帯領域が付加された映像信号を受信すると、表示制御機能により、映像信号から黒帯領域を除去し、除去後の画像を表示部11のアスペクト比に変倍して表示画像を生成する。
図3(b)は、その表示画像を表示部11に表示した一例を示している。なお、ここで黒帯領域の除去とは、黒帯領域の幅を厳密にゼロにする処理だけでなく、黒帯領域の幅を狭めて実質的にゼロに近づける処理を含む。
【0050】
前述の画面調整情報は、表示制御機能による表示画面の生成に用いられ、特に映像信号から黒帯領域を除去する際に用いられる。
図6は、画面調整情報のデータフォーマットの一例を示す。画面調整情報は、車載装置1の識別情報と、携帯端末2の識別情報と、黒帯領域の幅に関する情報とを有する。画面調整情報は、
図1に示したデータベース51に複数登録されており、それぞれ車載装置1と携帯端末2の組み合わせに対応する黒帯領域の幅を表す。黒帯領域の幅は、映像信号の上端側、下端側、左端側、右端側で除去する黒帯の幅をそれぞれ有する。
【0051】
図7は、第1の実施の形態に係る画像表示システムにおける車載装置1と携帯端末2の連携機能の初期動作に関するフローチャートである。
図7に示す動作は、車載装置1と携帯端末2が起動した状態から始まり、車載装置1の制御部10と携帯端末2の制御部20とが協働して行う。
【0052】
車載装置1の制御部10は、
図7の動作を開始するとステップS101に進み、携帯端末2の接続を検知したか否かを判定する。制御部10は、携帯端末2の接続を検知するまでステップS101の判定を繰り返し、携帯端末2の接続を検知するとステップS102に進み、近距離無線通信インタフェース部15を介して携帯端末2へ要求信号を送信し、映像信号の送信を要求する。その後、制御部10は、ステップS103に進み、映像信号を受信したか否かを判定する。制御部10は、映像信号を受信するまでステップS103の判定を繰り返す。
【0053】
携帯端末2の制御部20は、
図7の動作を開始するとステップS201に進み、要求信号を受信したか否かを判定する。制御部20は、ステップS102で送信された要求信号を受信するまでステップS201の処理を繰り返す。制御部20は、ステップS201において近距離無線通信インタフェース部25を介して要求信号を受信するとステップS202に進み、全面白色の校正用画像に関する映像信号を映像・音声信号出力部26を介して車載装置1へ送信する。この映像信号には、HDMIドライバ207により、白色の校正用画像の上下または左右に黒帯領域が付加される。なお、校正用画像は、携帯端末2のメモリ部24に記憶されている。
【0054】
車載装置1の制御部10は、映像・音声信号入力部16を介して校正用画像に関する映像信号を受信すると、ステップS103の判定を肯定判定し、ステップS104に進む。ステップS104において、制御部10は、表示制御機能によりその映像信号に対して黒帯領域の除去を行わずに表示画像を生成し、生成された表示画像を取得する。このとき表示制御機能により生成された表示画像のことを標本画像と呼ぶ。制御部10は、ステップS105において、その標本画像と、メモリ部14に記憶されている車載装置1の識別情報とを近距離無線通信インタフェース部15を介して携帯端末2へ送信する。その後、制御部10は、ステップS106に進み、画面調整情報を受信したか否かを判定する。制御部10は、画面調整情報を受信するまでステップS106の判定を繰り返す。
【0055】
携帯端末2の制御部20は、ステップS202の動作完了後、ステップS203に進み、標本画像および車載装置1の識別情報を受信したか否かを判定する。制御部20は、標本画像および車載装置1の識別情報を受信するまでステップS203の処理を繰り返す。車載装置1の制御部10がステップS105において標本画像および車載装置1の識別情報を送信すると、制御部20は、近距離無線通信インタフェース部25を介してそれらの情報を受信し、ステップS203の判定を肯定判定し、ステップS204に進む。
【0056】
ステップS204では、携帯端末2の制御部20は、ステップS203で受信した標本画像および車載装置1の識別情報と、メモリ部24に記憶されている携帯端末2の識別情報とに基づいて、サーバ5から画面調整情報を取得する。ステップS204の処理については、
図8を用いて後述する。ステップS205では、携帯端末2の制御部20は、ステップS204で取得した画面調整情報を近距離無線通信インタフェース部25を介して車載装置1へ送信し、初期動作を終了する。
【0057】
車載装置1の制御部10は、近距離無線通信インタフェース部15を介して画面調整情報を受信すると、ステップS106の判定を肯定判定し、ステップS107に進み、受信した画面調整情報を表示制御機能に適用し、初期動作を終了する。ステップS107以降、制御部10は、表示制御機能において、携帯端末2から受信した映像信号に対して画面調整情報に基づいて黒帯領域を除去し、除去後の画像を変倍して、表示画像を生成する。
【0058】
図8は、ステップS204の処理に関するフローチャートである。
図8に示す処理は、携帯端末2の制御部20とサーバ5とが協働して実行される。サーバ5は、予め立ち上がっており、
図8の処理が開始した時点でステップS301の処理を実行している。ステップS301では、サーバ5は、標本画像に関する情報と、車載装置1および携帯端末2の識別情報とを携帯端末2から受信したか否かを判定する。サーバ5は、それらの情報を受信するまでステップS301の処理を繰り返す。ステップS241では、携帯端末2の制御部20は、
図7のステップS203で受信した標本画像および車載装置1の識別情報と、メモリ部24に記憶されている携帯端末2の識別情報とをサーバ5へ送信する。サーバ5は、ステップS241で送信された情報を受信すると、ステップS301を肯定判定してステップS302に進む。
【0059】
サーバ5は、ステップS302において、ステップS301で受信した車載装置1の識別情報と携帯端末2の識別情報とに対応する画面調整情報がデータベース51に登録されているか否かを判定する。サーバ5は、ステップS301で受信した車載装置1の識別情報と携帯端末2の識別情報の組み合わせに対応する画面調整情報をデータベース51の中から検索する。サーバ5は、車載装置1の識別情報と携帯端末2の識別情報とに対応する画面調整情報がデータベース51に登録されている場合、ステップS307において検索により画面調整情報を取得し、ステップS306に進み、その画面調整情報を携帯端末2へ送信する。サーバ5は、画面調整情報がデータベース51に登録されておらず、検索により画面調整情報を取得できなかった場合は、ステップS303に進む。
【0060】
ステップS303では、サーバ5は、標本画像から黒帯領域を検出する。黒帯領域の検出は、たとえば、標本画像のすべての画素について輝度信号が所定値以上か否かを判別し、輝度信号が所定値未満の領域を黒帯領域として検出することにすればよい。また、標本画像に対してエッジ検出処理を行って黒帯領域とそれ以外の画像領域との境界を検出することにしてもよい。校正用画像が全面白色であるため、校正用画像と黒帯領域とが紛れることがなく、精度よく黒帯領域を検出することができる。
【0061】
ステップS304では、サーバ5は、ステップS303で標本画像の上端側に検出された黒帯領域の幅、下端側に検出された黒帯領域の幅、左端側に検出された黒帯領域の幅、右端側に検出された黒帯領域の幅をそれぞれ画素数単位で算出し、画面調整情報を生成する。
【0062】
ステップS305では、サーバ5は、ステップS304で生成された画面調整情報を車載装置1の識別情報および携帯端末2の識別情報に対応付けて画面調整情報としてデータベース51に登録する。以降、車載装置1と携帯端末2の同一の組み合わせについては、画面調整情報を新たに生成する必要がなく、データベース51に登録済みの画面調整情報を使用することができる。
【0063】
ステップS306では、サーバ5は、ステップS304で生成された画面調整情報を
携帯端末2へ送信し、ステップS301に戻る。
【0064】
ステップS242では、携帯端末2の制御部20は、ステップS306で送信された画面調整情報を受信する。したがって、制御部20は、画面調整情報の取得動作を完了する。制御部20は、
図8の動作を終了する。
【0065】
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)本発明の第1の実施の形態に係る画像表示システムは、表示部11を有する車載装置1と携帯端末2とを備える。車載装置1は、表示制御機能を実現する制御部10を有する。制御部10は、表示制御機能により、携帯端末2が出力する映像信号に基づいて、サイズ調整領域、すなわち黒帯領域が付加された標本画像を生成し(ステップS104)、近距離無線通信インタフェース部15を介してその標本画像を携帯端末2へ出力する(ステップS105)。携帯端末2は、画面調整情報取得機能を実現する制御部20を有する。制御部20は、HDMIドライバ207を介して車載装置1へ校正用画像に関する映像信号を出力し(ステップS202)、画面調整情報取得機能により標本画像に基づいて画面調整情報を取得し(ステップS204)、その画面調整情報を近距離無線通信インタフェース部25を介して車載装置1へ送信する(ステップS205)。車載装置1の制御部10は、表示制御機能により、携帯端末2により送信された画面調整情報に基づいて黒帯領域が所定量狭められた表示画像を生成する。したがって、ユーザが映像を快適に視聴することができる。
(2)車載装置1の制御部10は、表示制御機能により、画面調整情報を携帯端末2から受信する前は標本画像を生成し、画面調整情報を携帯端末2から受信した後は画面調整情報に応じて標本画像よりも黒帯領域が狭められた、たとえば黒帯領域が除去された表示画像を生成する。画面調整情報を取得した後は標本画像が生成されないため、画面調整情報がフレームごとに変わるということがなく、再生中に映像が伸縮することがないため、ユーザが映像を快適に視聴することができる。
特に車両に搭載される表示装置では、再生中に映像が伸縮すると、運転者の注意をそらし、脇見運転を引き起こすおそれがある。本発明によると、再生中に映像が伸縮することがないため、運転者の注意をそらすことがなく、脇見運転を抑制することができる。
(3)携帯端末2の制御部20は、画面調整情報取得機能により、画面調整情報が取得される前は、黒帯領域とは反対の全面白色の画像に関する映像信号を校正用画像の映像信号として送信する(ステップS202)。したがって、標本画像から精度よく黒帯領域を検出することができる。
(4)画面調整情報は、黒帯領域の幅に関する情報を含む。したがって、車載装置1が黒帯領域を除去する際に映像信号から取り出す領域を容易に判断することができるとともに、変倍する倍率を容易に算出することができる。
(5)画像表示システム100は、データベース51を有するサーバ5を有する。データベース51には、車載装置1と携帯端末2との組み合わせに対応付けて画面調整情報が記憶されている。
図8のステップS241において送信された車載装置1と携帯端末2との組み合わせに対応する画面調整情報がデータベース51に記憶されている場合は、サーバ5は、その画面調整情報をデータベース51から取得する(
図8のステップS307)。車載装置1と携帯端末2との組み合わせに対応する画面調整情報がデータベース51に記憶されていない場合は、サーバ5は、標本画像から黒帯領域を検出し(ステップS303)、その検出結果に基づいて画面調整情報を生成し(ステップS304)、データベース51に登録する(ステップS305)。したがって、車載装置1と携帯端末2との組み合わせに対応する画面調整情報をデータベース51に蓄積していくことにより、同一の演算を繰り返すことを防ぎ、画面表示システム全体の処理効率を向上させることができる。
(6)
図8に示すように、サーバ5を用いて、標本画像から黒帯領域を検出し、画面調整情報を生成することにした。したがって、車載装置1と携帯端末2に係る処理負荷を低減することができる。
【0066】
―第2の実施の形態―
第2の実施の形態に係る画像表示システムについて説明する。第2の実施の形態に係る画像表示システムは、
図1に示した第1の実施の形態に係る画像表示システム100と同一構成、すなわち車載装置1と携帯端末2とサーバ5とを備える。第2の実施の形態における車載装置1および携帯端末2の構成は、
図2に示した第1の実施の形態の車載装置1および携帯端末2の構成と同一である。第1の実施の形態では、HDMIドライバ207が映像信号に変換する際に変更する画面サイズは、映像信号の基になる画像を生成したアプリケーションによらず一定であるものとした。本発明の第2の実施の形態では、HDMIドライバ207が映像信号に変換する際に変更する画面サイズがアプリケーションごとに設定される場合を想定し、携帯端末2がアプリケーションごとに異なる画面調整情報を取得するようにする。
【0067】
第2の実施の形態における画面調整情報取得機能は、フォアグランドでどのアプリケーションが実行されているかを監視する機能を有し、フォアグランドで実行されているアプリケーションが切り替わるたびに画面調整情報を取得する。
【0068】
図9は、第2の実施の形態においてサーバ5のデータベース51に記憶されている画面調整情報のデータフォーマットの一例を示す。第2の実施の形態における画面調整情報は、車載装置1の識別情報、携帯端末2の識別情報および黒帯領域の幅に関する情報の他にアプリケーションの識別情報をさらに有する。画面調整情報にアプリケーションの識別情報をさらに設けることにより、アプリケーションごとに異なる画面調整情報を管理することができる。
【0069】
図10は、第2の実施の形態における画面調整情報取得機能に関するフローチャートである。
図10に示す動作は、
図7に示した初期動作が実行された状態、すなわちフォアグランドで実行されているアプリケーションについて画面調整情報が表示制御機能に適用された状態から始まり、車載装置1の制御部10と携帯端末2の制御部20とが協働して行う。なお、
図10に示す動作のうち
図7に示した動作と同様のステップについては、同一の符号を付し、その説明を省略する。
【0070】
携帯端末2の制御部20は、
図10の動作を開始するとステップS401に進む。ステップS401では、制御部20は、フォアグランドで実行されるアプリケーションが切り替わったか否かを判定する。制御部20は、フォアグランドで実行されるアプリケーションが切り替わるまでステップS401の動作を繰り返し、フォアグランドで実行されるアプリケーションが切り替わると、新たな画面調整情報を取得するためステップS202に進み、全面白色の校正用画像に関する映像信号を車載装置へ送信する。この映像信号には、HDMIドライバ207により、白色の校正用画像の上下または左右に黒帯領域が付加される。
【0071】
ステップS402では、制御部20は、ステップS203で受信した標本画像および車載装置1の識別情報と、携帯端末2の識別情報と、携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報に基づいて、サーバ5から画面調整情報を取得する。
【0072】
図11は、ステップS402の処理に関するフローチャートである。
図11に示す処理は、携帯端末2の制御部20とサーバ5とが協働して実行される。なお、
図10に示す動作のうち
図8に示した動作と同様のステップについては、同一の符号を付し、その説明を省略する。
【0073】
サーバ5は、
図11の処理が開始した時点でステップS501の処理を実行している。ステップS501では、サーバ5は、標本画像に関する情報と、車載装置1および携帯端末2の識別情報と、携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報とを携帯端末2から受信したか否かを判定する。サーバ5は、それらの情報を受信するまでステップS501の処理を繰り返す。ステップS441では、携帯端末2の制御部20は、
図10のステップS203で受信した標本画像および車載装置1の識別情報と、メモリ部24に記憶されている携帯端末2の識別情報と、携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報とをサーバ5へ送信する。サーバ5は、ステップS441で送信された情報を受信すると、ステップS301を肯定判定してステップS502に進む。
【0074】
サーバ5は、ステップS502において、ステップS501で受信した車載装置1の識別情報、携帯端末2の識別情報および携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報に対応する画面調整情報がデータベース51に登録されているか否かを判定する。サーバ5は、ステップS501で受信した車載装置1の識別情報と携帯端末2の識別情報の組み合わせに対応する画面調整情報をデータベース51の中から検索する。サーバ5は、車載装置1の識別情報、携帯端末2の識別情報および携帯端末2においてフォアグランドで実行されているアプリケーションの識別情報に対応する画面調整情報がデータベース51に登録されている場合は、ステップS307において検索によりその画面調整情報を取得し、ステップS306においてその画面調整情報を携帯端末2へ送信する。サーバ5は、画面調整情報がデータベース51に登録されておらず、検索により画面調整情報を取得できなかった場合は、ステップS303に進む。
【0075】
上述した第2の実施の形態によれば、次の作用効果が得られる。
(1)本発明の第2の実施の形態に係る画像表示システムでは、携帯端末2の制御部20は、アプリケーション202を実行するとともに、画面調整情報取得機能により実行中のアプリケーションが切り替わったか否かを判定する(
図10のステップS401)。そして、制御部20は、実行中のアプリケーションが切り替わったと判定されると、画面調整情報を取得する(ステップS401を肯定判定した後のステップS402)。したがって、映像データを映像信号に変換する際に変更する画面サイズがアプリケーションごとに設定される場合であっても、適切に映像を変換することができる。
【0076】
―第3の実施の形態―
第3の実施の形態に係る画像表示システムについて説明する。第3の実施の形態に係る画像表示システムは、画面調整情報をサーバ5ではなく、車載装置1で生成する。
図12は、第3の実施の形態に係る画像表示システム600の構成を示す。第3の実施の形態に係る画像表示システム600では、車載装置1と携帯端末2とを備える。第3の実施の形態における車載装置1および携帯端末2の構成は、
図2に示した第1の実施の形態の車載装置1および携帯端末2の構成と同一である。
【0077】
図13は、第3の実施の形態に係る画像表示システムにおける車載装置1と携帯端末2の連携機能の初期動作に関するフローチャートである。
図13に示す動作は、車載装置1と携帯端末2が起動した状態から始まり、車載装置1の制御部10と携帯端末2の制御部20とが協働して行う。なお、
図10に示す動作のうち
図7および
図8に示した動作と同様のステップについては、同一の符号を付し、その説明を省略する。
【0078】
ステップS701では、車載装置1の制御部10は、標本画像から黒帯領域を検出する。黒帯領域の検出は、たとえば、標本画像のすべての画素について輝度信号が所定値以上か否かを判別し、輝度信号が所定値未満の領域を黒帯領域として検出することにすればよい。また、標本画像に対してエッジ検出処理を行って黒帯領域とそれ以外の画像領域との境界を検出することにしてもよい。校正用画像が全面白色であるため、校正用画像と黒帯領域とが紛れることがなく、精度よく黒帯領域を検出することができる。
【0079】
ステップS702では、制御部10は、ステップS701で標本画像の上端側に検出された黒帯領域の幅、下端側に検出された黒帯領域の幅、左端側に検出された黒帯領域の幅、右端側に検出された黒帯領域の幅をそれぞれ画素数単位で算出し、画面調整情報を生成する。
【0080】
上述した第3の実施の形態によれば、次の作用効果が得られる。
(1)本発明の第3の実施の形態に係る車載装置1は、表示制御機能を実現する制御部10を有する。制御部10は、表示制御機能により、携帯端末2が出力する映像信号に基づいて、サイズ調整領域、すなわち黒帯領域が付加された標本画像を生成し(ステップS104)、その表示画像に基づいて画面調整情報を生成する(ステップS701〜S702)。車載装置1は、生成された画面調整情報に基づいて、黒帯領域が所定量狭められた表示画像を生成する。したがって、画面調整情報を車載装置1の中で生成することにしたため、サーバ5を用いることなく適切に映像を変換することができる。
【0081】
次のような変形も本発明の範囲内であり、変形例の一つもしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)上述の第1および第2の実施の形態では、画面調整情報をサーバ5で生成し、第3の実施の形態では、画面調整情報を車載装置1で生成したが、携帯端末2で画面調整情報を生成することにしてもよい。また、携帯端末2のメモリ部24にデータベース51を記憶させ、携帯端末2をデータベース51の管理装置として機能させてもよい。たとえば、
図8のステップS302〜S305およびステップS307の動作、または
図11のステップS303〜S305、ステップS307およびステップS502の動作を携帯端末2の制御部20に実行させることにしてもよい。
【0082】
(変形例2)上述の実施の形態では、サーバ5は、データベース51を記憶しているものとしたが、必ずしもデータベース51を記憶していなくてもよい。たとえば、サーバ5は、携帯端末2から標本画像を受信すると
図8のステップS302または
図11のステップS502の判定を飛ばしてその標本画像から黒帯領域を検出し、画面調整情報を生成することにしてもよい。また、上述した変形例1のように、携帯端末2において画面調整情報を生成する場合も同様に携帯端末2のメモリ部24等にデータベース51を記憶させず、
図8または
図11のステップS303およびステップS304の動作を携帯端末2の制御部20に実行させることにしてもよい。
【0083】
(変形例3)第3の実施の形態において、車載装置1は、データベース51を備えることにしてもよい。車載装置1がデータベース51を記憶している場合、携帯端末2の接続を検知した後、要求信号を送信する前に、携帯端末2の識別情報を取得し、データベース51に画面調整情報が登録されているか否かを判定し、登録されている場合はその画面調整情報を取得し、登録されていない場合は画面調整情報を生成することにすればよい。
【0084】
(変形例4)上述の実施の形態では、
図5(a)に示すような画面サイズの調整に用いる帯状の領域は、典型的には黒色で塗りつぶされており、黒帯領域と呼ぶことにした。しかし、この画面サイズの調整に用いる帯状の領域、すなわちサイズ調整領域の態様は、黒色の塗りつぶしでなくてもよく、たとえば白色や青色の塗りつぶしであってもよい。校正用画像は、サイズ調整領域の態様と明確に識別可能な態様であればよく、たとえばサイズ調整領域が白色の場合は、校正用画像を黒色の塗りつぶし等の態様にすればよい。また、サイズ調整領域が青色など、有彩色である場合は、校正用画像はサイズ調整領域と輝度、色相またはその両方が所定値以上異なる態様にすればよい。たとえば、サイズ調整領域が青紫色の場合は、校正用画像を青紫色の補色である黄色の塗りつぶし等の態様にすればよい。なお、校正用画像において、サイズ調整領域と明確に識別可能な態様である必要があるのは、画像の周縁部のみであって、画像の中心部の態様はサイズ調整領域と誤検出されないような態様であれば、如何なる態様であってもよい。たとえば、校正用画像の仕様に関する文字情報、携帯端末2の識別情報に関する文字情報などを校正用画像の中に含めることにしてもよい。
【0085】
(変形例5)上述の実施の形態では、画面調整情報は、黒帯領域の幅に関する情報を含むことにした。しかし、除去すべき黒帯領域の幅を車載装置1の制御部10が判断することができる情報であれば、画面調整情報は、必ずしも黒帯領域の幅に関する情報でなくてもよい。たとえば、標本画像から黒帯領域を除去した画像を縦方向と横方向にそれぞれ伸長する際の倍率を画面調整情報に含めることにしてもよい。たとえば、車載装置1は、縦方向の倍率がaの場合、標本画像の縦方向のサイズyに(1−1/a)/2を乗じて縦方向の黒帯領域の幅を算出することにしてもよい。横方向の黒帯領域の幅も同様である。また、標本画像中の黒帯領域以外の領域、すなわち映像領域の四隅の座標を画面調整情報とすることにしてもよい。
【0086】
(変形例6)上記の実施の形態では、
図4に示した携帯端末2におけるソフトウェアの概略構成には、HDMIドライバ207が含まれることにした。しかし、HDMIドライバ207の代わりに、または加えてMHL(登録商標)ドライバのようにHDMIとは異なる通信規格に従って、サブアプリケーションMaやアプリケーションにより生成された画像や音声を映像信号や音声信号に変換する処理を行うものを有することにしてもよい。
【0087】
(変形例7)上記の実施の形態では、車載装置1の表示部11をタッチパネルとし、この表示部11に携帯端末2から受信した画像を表示する場合の例を説明した。しかし、本発明の適用範囲はこれに限定されるものではない。携帯端末2などの情報端末と接続され、その情報端末から受信した画像をタッチパネルに表示するものである限り、どのような表示装置においても本発明を適用することができる。
【0088】
(変形例8)本発明は、情報端末が映像信号を表示装置へ出力し、映像信号を入力された表示装置がサイズ調整領域を含む第1の表示画像を映像信号に基づいて生成し、第1の表示画像を情報端末へ出力し、情報端末が第1の表示画像に基づいて、表示装置による表示画面の生成に用いられる画面調整情報を取得し、画面調整情報を表示装置へ送信し、表示装置が画面調整情報に基づき第2の表示画像を生成する画像表示方法を含む。
【0089】
また、以上では、画像表示システムについて本発明を説明したが、本発明の範囲内には画像表示システムに備わる車載装置の発明も含まれる。
【0090】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。