特許 6548891 サウンドデータ両方向ミラーリングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6548891

(24)【登録日】2019年7月5日

(45)【発行日】2019年7月24日

(54)【発明の名称】サウンドデータ両方向ミラーリングシステム

(51)【国際特許分類】

   H04M 1/00 20060101AFI20190711BHJP

【ＦＩ】

   H04M1/00 V

【請求項の数】4

【全頁数】10

(21)【出願番号】特願2014-231801(P2014-231801)

(22)【出願日】2014年11月14日

(65)【公開番号】特開2016-46796(P2016-46796A)

(43)【公開日】2016年4月4日

【審査請求日】2017年10月30日

(31)【優先権主張番号】10-2014-0110939

(32)【優先日】2014年8月25日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】591251636

【氏名又は名称】現代自動車株式会社

【氏名又は名称原語表記】ＨＹＵＮＤＡＩ ＭＯＴＯＲ ＣＯＭＰＡＮＹ

(73)【特許権者】

【識別番号】500518050

【氏名又は名称】起亞自動車株式会社

【氏名又は名称原語表記】ＫＩＡ ＭＯＴＯＲＳ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100117787

【弁理士】

【氏名又は名称】勝沼 宏仁

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田 幸裕

(74)【代理人】

【識別番号】100124372

【弁理士】

【氏名又は名称】山ノ井 傑

(72)【発明者】

【氏名】パク、ソン、ウ

【審査官】 望月 章俊

(56)【参考文献】

【文献】 特開２０１３−１９８０８５（ＪＰ，Ａ）

【文献】 特表２００５−５１０１４３（ＪＰ，Ａ）

【文献】 国際公開第２０１４／１０３０１５（ＷＯ，Ａ１）

【文献】 特開２００９−３００５３７（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１４１２９４（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１３／００４５６８９（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１５／００４３７４５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｍ１／００

(57)【特許請求の範囲】

【請求項1】

入力されるデータをディスプレイ部を介して映像またはサウンドで出力するディスプレイ装置；及び
前記ディスプレイ装置と有線で繋がれて前記データを前記ディスプレイ装置に出力するソース装置を含み、
前記ディスプレイ装置は、サウンドを受信するサウンド入力装置から受信された前記サウンドをエンコードして前記ソース装置に伝達するオーディオ伝送サーバーを含み、
前記ソース装置は、前記オーディオ伝送サーバーから伝達された前記エンコードされたサウンドを受信し、受信されたエンコードされたサウンドを内部に備えられたアプリケーションに伝達するオーディオ伝送クライアントを含み、
前記ソース装置は、
前記ディスプレイ装置に備えられた前記サウンド入力装置のオープン及びクローズを制御する制御信号を前記ディスプレイ装置に出力する第1データ伝送サーバー；及び
前記ディスプレイ装置から前記サウンド入力装置へ入力されるサウンドの入力終了信号を受信する第1データ伝送クライアントを含み、
前記ディスプレイ装置は、
前記第1データ伝送サーバーから前記制御信号を受信する第2データ伝送クライアント；及び
前記サウンドの入力終了信号を前記第1データ伝送クライアントに伝達する第2データ伝送サーバーをさらに含み、
前記ソース装置の内部に備えられたアプリケーションは、前記サウンド入力装置に入力されるサウンドを認識する音声認識アプリケーションであることを特徴とするサウンドデータ両方向ミラーリングシステム。

【請求項2】

前記ディスプレイ装置は、車両に備えられたインフォテインメントシステムであり、
前記ソース装置は、前記車両の搭乗者が所持した携帯端末であり、
前記インフォテインメントシステムと前記携帯端末とは、ミラーリンクで繋がれることを特徴とする請求項1に記載のサウンドデータ両方向ミラーリングシステム。

【請求項3】

前記ソース装置は、電話を送信/受信する通信装置をさらに含み、
前記ソース装置の内部に備えられたアプリケーションは、前記通信装置を制御する電話通話アプリケーションであることを特徴とする請求項2に記載のサウンドデータ両方向ミラーリングシステム。

【請求項4】

前記ディスプレイ装置と前記ソース装置とは、USBを介して有線で繋がれることを特徴とする請求項2に記載のサウンドデータ両方向ミラーリングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、サウンドデータ両方向ミラーリングシステムに関し、より詳しくは、ブルートゥースチャンネルの連結ではないミラーリンク有線連結を介してサウンドデータの両方向通信を提供するサウンドデータ両方向ミラーリングシステムに関する。

【背景技術】

【0002】

デジタルTV、IPTV（Internet Protocol Television）、VOD（Video On Demand）などのようなマルチメディアサービスが多様化され、端末機技術の発展に伴い、デジタル化されたビデオ、グラフィック、オーディオなどのようなマルチメディアコンテンツを自在にアクセス及びディスプレイすることができる使用者装置（user devices）、その中でも携帯端末（portable terminal）に対する要求が増加している。このような要求の増加とともに、最近は複数の使用者装置の間に有線または無線でデータを共有する技術と、有線または無線で画面を共有することができるミラーリング（display mirroring）技術などが使用者装置に採用されている。

【0003】

ディスプレイミラーリングを行うためには、遠隔に位置した使用者装置等の間の円滑なデータ伝送が求められる。現在ミラーリング技術は、伝送されるデータの種類に従い使用者装置等の間の方向性を有している。具体的に、車両のヘッドユニットと携帯端末とがミラーリングされた場合、ヘッドユニットのタッチまたは操作信号と係わるデータは携帯端末に伝送され、携帯端末の画面データはヘッドユニットに伝送される。そして、携帯端末のサウンドデータもまた一方の方向であるヘッドユニットへのみ伝送される。それによって、携帯端末とヘッドユニットとがミラーリングされた場合も、携帯端末の電話通話サービスまたは音声認識サービスの利用のためには、別途のブルートゥースチャンネルを介して携帯端末とヘッドユニットとの連結が必要であったし、これは使用者の不便をもたらす。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、有線で繋がれたミラーリンクで、ブルートゥース通信の連結がなくとも電話または音声認識サービスのようなサウンドデータの両方向通信が可能なサウンドデータ両方向ミラーリングシステムを提供することにある。

【課題を解決するための手段】

【0005】

本発明の一実施例に係るサウンドデータ両方向ミラーリングシステムは、入力されるデータをディスプレイ部を介して映像またはサウンドで出力するディスプレイ装置、及び前記ディスプレイ装置と有線で繋がれて前記データを前記ディスプレイ装置に出力するソース装置を含み、前記ディスプレイ装置は、サウンドを受信するサウンド入力装置から受信された前記サウンドをエンコードして前記ソース装置に伝達するオーディオ伝送サーバーを含み、前記ソース装置は、前記オーディオ伝送サーバーから伝達された前記エンコードされたサウンドを受信し、受信されたエンコードされたサウンドを内部に備えられたアプリケーション（application）に伝達するオーディオ伝送クライアントを含むことを特徴とする。

【0006】

実施例において、前記ディスプレイ装置は、車両に備えられたインフォテインメントシステムであり、前記ソース装置は、前記車両の搭乗者が所持した携帯端末であり、前記インフォテインメントシステムと前記携帯端末とは、ミラーリンクで繋がれることを特徴とする。

【0007】

実施例において、前記ソース装置は、電話を送信/受信する通信装置をさらに含み、前記ソース装置の内部に備えられたアプリケーションは、前記通信装置を制御する電話通話アプリケーションであることを特徴とする。

【0008】

実施例において、前記ディスプレイ装置と前記ソース装置とは、USB（universal serial bus）を介して有線で繋がれることを特徴とする。

【0009】

実施例において、前記ソース装置は、前記ディスプレイ装置に備えられた前記サウンド入力装置のオープン（open）及びクローズ（close）を制御する制御信号を前記ディスプレイ装置に出力する第1データ伝送サーバー、及び前記ディスプレイ装置から前記サウンド入力装置へ入力されるサウンドの入力終了信号を受信する第1データ伝送クライアントを含み、前記ディスプレイ装置は、前記第1データ伝送サーバーから前記制御信号を受信する第2データ伝送クライアント、及び前記サウンドの入力終了信号を前記第1データ伝送クライアントに伝達する第2データ伝送サーバーをさらに含むことを特徴とする。

【0010】

実施例において、前記ソース装置の内部に備えられたアプリケーションは、前記サウンド入力装置に入力されるサウンドを認識する音声認識アプリケーションであることを特徴とする。

【発明の効果】

【0011】

本発明に係るサウンドデータ両方向ミラーリングシステムは、有線で繋がれたミラーリンクで、ブルートゥース通信の連結がなくとも電話または音声認識サービスのようなサウンドデータの両方向通信が可能である。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施例に係るサウンドデータ両方向ミラーリングシステムの電話通話を示す図である。

【図2】本発明の一実施例に係るサウンドデータ両方向ミラーリングシステムの音声認識を示す図である。

【図3】本発明の一実施例に係るサウンドデータ両方向ミラーリングシステムで電話通話が行われる過程を示す図である。

【図4】本発明の一実施例に係るサウンドデータ両方向ミラーリングシステムで音声が認識される過程を示す図である。

【発明を実施するための最良の形態】

【0013】

本発明の利点及び特徴、そしてそれを果たす方法は図と共に詳しく後述されている実施例等を介して説明されるはずである。しかし、本発明は、ここで説明される実施例等に限定されず、他の形態に具体化されてもよい。但し、本実施例等は、本発明の属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施することができる程度に詳しく説明するために提供されるものである。

【0014】

図等において、本発明の実施例等は示された特定の形態に制限されるものではなく、明確性を期するため誇張されたものである。本明細書で特定の用語等が用いられたが、これは本発明を説明するための目的で用いられたものであり、意味限定や特許請求の範囲に記載された本発明の権利範囲を制限するために用いられたものではない。

【0015】

本明細書で「及び/または」との表現は、前後に羅列された構成要素等のうち少なくとも一つを含む意味として用いられる。さらに、「繋がれる/結合される」との表現は、他の構成要素と直接的に繋がれるか、他の構成要素を介して間接的に繋がれることを含む意味として用いられる。本明細書において単数形は、語句で特に言及しない限り複数形も含む。さらに、明細書で用いられる「含む」または「含んだ」と言及された構成要素、段階、動作及び素子は、一つ以上の他の構成要素、段階、動作及び素子の存在または追加を意味する。

【0016】

以下、図等を参照しつつ、本発明の実施例に対し詳しく説明する。

【0017】

有線でディスプレイ装置とソース装置とを連結し、当該ソース装置で生成された画面とサウンドとをディスプレイ装置を介して出力するシステムにおいて、当該ソース装置の画面とサウンドとがコピーされ、有線で繋がれた通信を介してディスプレイ装置に伝達される。そして、ディスプレイ装置に備えられた入力部を介して入力された制御信号も同様に、有線で繋がれた通信を介してソース装置に伝達される。これを介して、ディスプレイ装置の操作でソース装置を制御することができ、制御された画面とサウンドとはディスプレイ装置を介して出力される。

【0018】

このようなシステムの具体的な例としてミラーリンクシステムが代表的であり、ミラーリンクシステムは、現在車両に備えられたインフォテインメントシステムと、車両の搭乗者が所持する携帯端末とに適用される。ここで、ディスプレイ装置はインフォテインメントシステムでもよく、ソース装置は携帯端末でもよい。つまり、車両に適用されるミラーリンクを介して携帯端末より画面がさらに広く、サウンドの出力がさらに高い車両のインフォテインメントシステムを介して、携帯端末で実行される各種のアプリケーションを利用することができる。

【0019】

しかし、車両のインフォテインメントシステムと携帯端末とがミラーリンクで繋がれた場合、携帯端末から出力される画面及びサウンドはコピーされてディスプレイ装置に伝達されるだけであり、インフォテインメントシステムで生成されるサウンドは、別に繋がれたブルートゥース通信を介してのみ携帯端末に伝送される。具体的に、携帯端末に電話がかかって来るか電話をかける場合、別途のブルートゥース通信を介して音声データを両方向に送信/受信して電話通話機能を行う。これは音声認識サービスを利用する場合も同様である。結局、一般的なミラーリンクシステムは、ディスプレイ装置とソース装置とが有線で繋がれるとしても、サウンドデータを両方向に送信/受信するためには別途のブルートゥース連結が必要であり、これはミラーリンクの使用において煩わしさをもたらし、音声データの認識誤謬などをもたらす。

【0020】

本発明は、ミラーリンクシステムで、別途のブルートゥース通信の連結がなくとも既に繋がれた有線通信（例えば、USB）を介して両方向でサウンドデータを通信することができるため、運転手または車両使用者の便宜性を増大させ、車両のインフォテインメントシステムにエンベッドされた電話通話または音声認識アプリケーションが不要である。

【0021】

以下、ミラーリンクのディスプレイ装置で車両に備えられたインフォテインメントシステムは、ヘッドユニットを例に挙げて説明し、ソース装置で車両の搭乗者が所持した携帯端末は、スマートフォンを例に挙げて説明する。しかし、このような本発明はこのような例に限定されるものではない。

【0022】

図1は、本発明の一実施例に係るサウンドデータ両方向ミラーリングシステムの電話通話を示す図である。

【0023】

図1に示す通り、サウンドデータ両方向ミラーリングシステムは、ヘッドユニット100及びスマートフォン200を含み、ヘッドユニット100とスマートフォン200とは有線で繋がれている。ここで有線連結は、USB（universal serial bus）を利用した連結であってよい。

【0024】

スマートフォン200は、アプリケーション（APP1、APP2、APP3またはAPP4）で実行される画面またはサウンドを一層大きい画面及び一層良いスピーカーを備えた車両のヘッドユニット100に伝達する。このため、スマートフォン200は画面伝送サーバー201及びオーディオ伝送サーバー202を含む。画面伝送サーバー201及びオーディオ伝送サーバー202は、現在実行されるアプリケーション（例えば、APP1）で生成される画面またはサウンドをエンコードして有線で繋がれたヘッドユニット100に伝達する。

【0025】

ヘッドユニット100は、スマートフォン200で実行されるアプリケーション（例えば、APP1）で生成される画面またはサウンドを有線で繋がれた通信を介して受信し、画面表示装置121または音源出力装置を介して外部に出力する。

【0026】

このため、ヘッドユニット100は、スマートフォン200の画面伝送サーバー201から出力される画面データを受信する画面伝送クライアント101を含み、スマートフォン200のオーディオ（サウンド）伝送サーバー202から出力されるオーディオデータを受信するオーディオ伝送クライアント102を含む。

【0027】

ここで、画面伝送クライアント101及びオーディオ伝送クライアント102は、受信された画面及びオーディオデータをミラーリンクのためのミラーリンクAPP 111に伝達し、ミラーリンクAPP 111は、伝達された画面及びオーディオデータを画面表示装置121及び音源出力装置122に出力する。ここで、画面表示装置121はタッチスクリーンのようなディスプレイパネルが備えられたディスプレイ部でもよく、音源出力装置122は車両内部に備えられたスピーカーを備える音響装置でもよい。

【0028】

前記のように、ミラーリンクは、ソース装置であるスマートフォン200からヘッドユニット100へ画面及びサウンドデータが一方的に伝達される。その結果、一般的なミラーリンクシステムでは、スマートフォン200で実行されるアプリケーションが電話通話のための電話APP（APP4）211の場合、ヘッドユニットとスマートフォンとは別途のブルートゥース通信の連結が必要であった。

【0029】

しかし、本発明に係るサウンドデータ両方向ミラーリングシステムのヘッドユニット100はオーディオ伝送サーバー103を含み、スマートフォン200はオーディオ伝送クライアント203を含む。したがって、本発明に係るサウンドデータ両方向ミラーリングシステムは、ヘッドユニット100に備えられたサウンド入力装置（例えば、音声入力装置）123を介して入力されたサウンド（または音声）をスマートフォン200に伝送することができる。具体的に、音声入力装置123から入力された音声データは、ミラーリンクAPP 111を介してオーディオ伝送サーバー103に伝達され、オーディオ伝送サーバー103は、伝達された音声データをエンコードしてスマートフォン200に備えられたオーディオ伝送クライアント203に伝達する。つまり、本発明に係るサウンドデータ両方向ミラーリングシステムは、サウンドデータをスマートフォン200からヘッドユニット100に伝達することができ、ヘッドユニット100からスマートフォン200に伝達することができる。

【0030】

結局、本発明に係るサウンドデータ両方向ミラーリングシステムは、別途のブルートゥース通信の連結がなくとも、ミラーリンクされたスマートフォン200の電話通話機能または音声認識機能をヘッドユニット100を介して利用することができる。電話通話機能及び音声認識機能は、下記図3及び図4を介してより具体的に説明する。

【0031】

図2は、本発明の一実施例に係るサウンドデータ両方向ミラーリングシステムの音声認識を示す図である。図2に示す通り、図2のサウンドデータ両方向ミラーリングシステムは、図1に比べ、ヘッドユニット100にデータ伝送クライアント104及びデータ伝送サーバー105をさらに含み、スマートフォン200はデータ伝送サーバー204及びデータ伝送クライアント205をさらに含む。

【0032】

一般的なミラーリンクで音声認識は、スマートフォン200で音声認識アプリケーションが実行された場合、音声認識のための音声入力装置はスマートフォン200に備えられたマイクとなる。このような場合、車両内部で発生する各種のサウンドにより音声認識の誤謬が増加し、音声認識サービスの品質が低下される。

【0033】

しかし、図2のサウンドデータ両方向ミラーリングシステムは、前記のようにさらに含まれた構成要素104、105、204、205に基づき、有線で繋がれたスマートフォン200でヘッドユニット100に備えられた音声入力装置123のオープン（open）及びクローズ（close）を制御することができ、ヘッドユニット100に備えられた音声入力装置123を介して入力されたサウンドをスマートフォン200に伝達し、伝達されたサウンドの音声を認識するため、より正確に音声を認識することができる。

【0034】

図3は、本発明の一実施例に係るサウンドデータ両方向ミラーリングシステムで電話通話が行われる過程を示す図である。

【0035】

先ず、スマートフォンとヘッドユニットとがミラーリンクのためにUSBを介して有線で繋がれる（S310）。

【0036】

以後、スマートフォンに備えられた幾多のアプリケーションのうち何れか一つのアプリケーション（例えば、APP1）が実行され、実行されたAPP1の画面またはサウンドが繋がれたUSBを介してヘッドユニットへ出力される（S320）。

【0037】

以後、ヘッドユニットは、受信された画面またはサウンドを自体に備えられたディスプレイ部またはスピーカーを介して外部に出力する（S330）。

【0038】

このような状態で、スマートフォンに電話がかかって来るか電話を発信する場合、スマートフォンに備えられた電話APPが実行され、電話APPの実行で生成された電話画面またはサウンドがヘッドユニットへ出力される（S340）。

【0039】

ヘッドユニットは、受信された電話画面またはサウンドをS320ステップで出力される画面またはサウンドに代えて外部に出力する（S350）。ここで、ヘッドユニット100は、前記図1で説明したところのように、オーディオ伝送サーバー103を備えているため、ヘッドユニット100から入力された使用者の電話通話サウンドをスマートフォン200に伝達することができ、スマートフォン200はオーディオ伝送サーバー103から伝達されたサウンドを受信するオーディオ伝送クライアント203を含むため、本発明に係るサウンド両方向ミラーリングシステムは、別途のブルートゥース通信の連結がなくとも、スマートフォン200とミラーリングされたヘッドユニット100を介して電話通話サービスを提供することができる。すなわち、本発明に係るサウンド両方向ミラーリングシステムのヘッドユニット100に電話通話のための別途のエンベッド電話通話アプリケーションが不要である。

【0040】

図4は、本発明の一実施例に係るサウンドデータ両方向ミラーリングシステムで音声が認識される過程を示す図である。

【0041】

先ず、スマートフォンとヘッドユニットとがミラーリンクのためにUSBを介して有線で繋がれる（S411）。

【0042】

以後、スマートフォンに備えられた音声認識アプリケーション（例えば、音声認識APP）が実行され（S413）、実行された音声認識APPの画面またはサウンドが繋がれたUSBを介してヘッドユニットへ出力される（S415）。

【0043】

以後、ヘッドユニットは、受信された画面またはサウンドを自体に備えられたディスプレイ部またはスピーカーを介して外部に出力する（S417）。

【0044】

以後、使用者を介して発話された音声を受信するためにヘッドユニットに備えられた音声認識ボタンが入力される（S419）。

【0045】

以後、S419ステップで入力されたボタン入力信号がスマートフォンに伝達される（S421）。

【0046】

以後、S421ステップで伝達されたボタン入力信号に応じてスマートフォンで実行される音声認識APPは、ヘッドユニットに備えられた音声入力装置であるマイクをオープンするための制御信号をヘッドユニットに出力する（S423）。

【0047】

以後、ヘッドユニットは、受信された制御信号に応じて備えられたマイクが発話される音声を認識することができるようにオープンされる（S425）。

【0048】

以後、S425ステップでオープンされたマイクを介して、ヘッドユニットは音声発話を録音してスマートフォンに伝達する（S427）。

【0049】

以後、ヘッドユニットが音声発話の終了を認識し（S429）、スマートフォンに音声発話の終了を知らせる終了信号を伝達する（S431）。

【0050】

以後、S431ステップで伝達された終了信号に応じてスマートフォンで実行される音声認識APPは、ヘッドユニットに備えられた音声入力装置であるマイクをクローズするための制御信号をヘッドユニットに出力する（S433）。

【0051】

以後、ヘッドユニットは、受信された制御信号に応じてオープンされたマイクをクローズし（S435）、スマートフォンで実行される音声認識APPは、S427ステップでヘッドユニットから伝達された録音音声の音声を認識する（S437）。

【0052】

ここで、ヘッドユニット100は、前記図2で説明したところのように、オーディオ伝送サーバー103、データ伝送クライアント104及びデータ伝送サーバー105を備えているため、ヘッドユニット100から入力された使用者の電話通話サウンドをスマートフォン200に伝達するとともに、スマートフォン200から伝達されるマイク制御信号を音声入力装置123に伝達し、音声入力が終了した終了信号をスマートフォン200に伝達することができる。そして、スマートフォン200はオーディオ伝送クライアント203、データ伝送サーバー204、データ伝送クライアント205を含むため、ヘッドユニット100から入力されたサウンドを受信するとともに、ヘッドユニット100に備えられた音声入力装置123を制御する制御信号をヘッドユニット100に伝送し、ヘッドユニット100から音声発話の終了信号を受信することができる。

【0053】

結局、本発明に係るサウンド両方向ミラーリングシステムは、別途のブルートゥース通信の連結がなくとも、スマートフォン200とミラーリングされたヘッドユニット100を介して入力されたサウンドの音声を認識するサービスを提供することができる。すなわち、本発明に係るサウンド両方向ミラーリングシステムのヘッドユニット100に音声認識のための別途のエンベッド電話通話アプリケーションが不要であり、使用者より一層近いヘッドユニットから入力されたサウンドの音声を認識することができる。

【0054】

以上で、本発明は具体的な実施例を介して説明されているが、本発明は、その範囲から外れない限度内で多様に変形することができるのはよく理解されるはずである。したがって、本発明の範囲は、前述した実施例に限って定められてはならず、後述する特許請求の範囲及びこれと均等なものなどによって定められなければならない。前述の内容を考慮してみるとき、もし本発明の修正及び変更が請求項等及び同等物の範疇内に属するのであれば、本発明がその発明の変更及び修正を含むものと見做される。

【図1】

【図2】

【図3】

【図4】