7778815 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-11-21

(45)【発行日】2025-12-02

(54)【発明の名称】通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体

(51)【国際特許分類】

   H04M 1/00 20060101AFI20251125BHJP

   B60R 11/02 20060101ALI20251125BHJP

   B60R 16/02 20060101ALI20251125BHJP

   G10L 15/00 20130101ALI20251125BHJP

   G10L 15/10 20060101ALI20251125BHJP

   H04M 11/06 20060101ALI20251125BHJP

   H04N 7/14 20060101ALI20251125BHJP

   H04N 21/439 20110101ALI20251125BHJP

【ＦＩ】

H04M1/00 S

B60R11/02 M

B60R16/02 655Z

G10L15/00 200B

G10L15/00 200J

G10L15/10 200W

H04M11/06

H04N7/14 110

H04N21/439

【請求項の数】 10

(21)【出願番号】P 2023567303

(86)(22)【出願日】2021-12-14

(86)【国際出願番号】 JP2021045940

(87)【国際公開番号】W WO2023112113

(87)【国際公開日】2023-06-22

【審査請求日】2024-06-05

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】根岸 廣人

(72)【発明者】

【氏名】加峯 昂生

(72)【発明者】

【氏名】床井 晶勅

(72)【発明者】

【氏名】野田 靖之

【審査官】永井 啓司

(56)【参考文献】

【文献】特開２０１６－２１３７９１（ＪＰ，Ａ）

【文献】特開平０７－０１２９１４（ＪＰ，Ａ）

【文献】特開２００８－０５３９３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １１／０２

Ｂ６０Ｒ １６／０２

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／１０

Ｈ０４Ｎ ７／１４

Ｈ０４Ｎ ２１／４３９

Ｈ０４Ｍ １／００

１／２４－３／００

３／１６－３／２０

３／３８－３／５８

７／００－７／１６

１１／００－１１／１０

９９／００

(57)【特許請求の範囲】

【請求項1】

車両と共に移動する第１装置によって取得された前記車両における音声及び映像を第２装置に逐次送信する音声映像通信を行う通信システムであって、
前記車両の搭乗者からの音声に応じて、前記音声に基づいて特定される宛先に前記第１装置との接続に用いる接続情報を送信する送信部と、
前記接続情報を用いた前記第２装置からの接続試行に応じて、前記第１装置と前記第２装置とを通信可能に接続する通信接続部と、
を有し、
前記通信接続部は、前記接続情報を用いた接続試行に応じて、音声映像通信を開始するか否かの応答を求める確認メッセージを前記第１装置にて報知させ、
前記確認メッセージに対する応答に応じて、前記第１装置と前記第２装置とを通信可能に接続することを特徴とする通信システム。

【請求項2】

前記車両の搭乗者からの音声について音声認識を行う音声認識部を有し、
前記送信部は、前記音声認識部による音声認識の結果に基づいて特定される宛先に前記接続情報を送信することを特徴とする請求項１に記載の通信システム。

【請求項3】

複数の宛先の情報を記憶する記憶部を有し、
前記音声認識部は、前記車両の搭乗者からの音声を文字列に変換し、
前記送信部は、前記音声認識部により変換された文字列に対応する宛先を前記記憶部から読み出し、当該読み出された宛先に前記接続情報を送信することを特徴とする請求項２に記載の通信システム。

【請求項4】

複数の宛先と当該複数の宛先の各々を示す音声パターンとを関連付けて記憶する記憶部を有し、
前記送信部は、前記音声認識部による音声認識の結果に基づいて、当該認識された音声に対応する音声パターンに関連づけられた宛先を前記記憶部から読み出して当該読み出された宛先に前記接続情報を送信することを特徴とする請求項２に記載の通信システム。

【請求項5】

車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置であって、
前記車両の搭乗者からの音声について音声認識を行う音声認識部と、
前記音声認識部による音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信する送信部と、
前記接続情報を用いた接続試行に応じて、音声映像通信を開始するか否かの応答を求める確認メッセージを報知し、当該確認メッセージに対する前記車両の搭乗者からの応答に応じて、前記車両の搭乗者側の装置と前記宛先に対応する相手側の装置とを通信可能に接続する通信接続部と、
をすることを特徴とする情報処理装置。

【請求項6】

複数の宛先の情報を記憶する記憶部を有し、
前記音声認識部は、前記車両の搭乗者からの音声を文字列に変換し、
前記送信部は、前記音声認識部により変換された文字列に対応する宛先を前記記憶部から読み出し、当該読み出された宛先に前記接続情報を送信することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

複数の宛先と当該複数の宛先の各々を示す音声パターンとを対応付けて記憶する記憶部を有し、
前記送信部は、前記音声認識部による音声認識の結果に基づいて、対応する宛先を前記記憶部から読み出すことを特徴とする請求項５に記載の情報処理装置。

【請求項8】

車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置において実行される情報処理方法であって、
前記車両の搭乗者からの音声について音声認識を行う音声認識ステップと、
前記音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信するステップと、
前記接続情報を用いた接続試行に応じて、音声映像通信を開始するか否かの応答を求める確認メッセージを報知し、当該確認メッセージに対する前記車両の搭乗者からの応答に応じて、前記車両の搭乗者側の装置と前記宛先に対応する相手側の装置とを通信可能に接続する通信接続ステップと、
を有することを特徴とする情報処理方法。

【請求項9】

車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置に、
前記車両の搭乗者からの音声について音声認識を行う音声認識ステップと、
前記音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信するステップと、
前記接続情報を用いた接続試行に応じて、音声映像通信を開始するか否かの応答を求める確認メッセージを報知し、当該確認メッセージに対する前記車両の搭乗者からの応答に応じて、前記車両の搭乗者側の装置と前記宛先に対応する相手側の装置とを通信可能に接続する通信接続ステップと、
を実行させることを特徴とするプログラム。

【請求項10】

車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置に、
前記車両の搭乗者からの音声について音声認識を行う音声認識ステップと、
前記音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信するステップと、
前記接続情報を用いた接続試行に応じて、音声映像通信を開始するか否かの応答を求める確認メッセージを報知し、当該確認メッセージに対する前記車両の搭乗者からの応答に応じて、前記車両の搭乗者側の装置と前記宛先に対応する相手側の装置とを通信可能に接続する通信接続ステップと、
を実行させることを特徴とするプログラムを記憶する記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体に関し、例えば、移動体からの映像を外部に提供するための通信システム、情報処理装置、情報処理方法、プログラム及び記憶媒体に関する。

【背景技術】

【0002】

車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信ステムがある。例えば、特許文献１には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－２１３７９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のようなシステムでは、車両を運転するドライバーがダッシュボード等に配置された操作部を用いて音声通話の開始を要求する操作を行うことにより、音声通話のための通信が確立される。しかし、ドライバーが操作部を操作することができるのは車両が停車中のタイミングに限られ、運転中は操作することができないため、車両が走行を開始した後は音声通話をスムーズに開始することができないという問題があった。

【0005】

本発明は、上記した点に鑑みてなされたものであり、車両の走行中に任意のタイミングで音声映像通信を開始することが可能な通信システムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

請求項１に記載の発明は、車両と共に移動する第１装置によって取得された前記車両における音声及び映像を第２装置に逐次送信する音声映像通信を行う通信システムであって、前記車両の運転者からの音声に応じて、前記音声に基づいて特定される宛先に前記第１装置との接続に用いる接続情報を送信する送信部と、前記接続情報を用いた前記第２装置からの接続試行に応じて、前記第１装置と前記第２装置とを通信可能に接続する通信接続部と、を有することを特徴とする。

【0007】

請求項５に記載の発明は、車両において撮像された映像及び前記車両の搭乗者からの音声を逐次送信する音声映像通信を行う情報処理装置であって、前記車両の搭乗者からの音声について音声認識を行う音声認識部と、前記音声認識部による音声認識の結果に基づいて特定される宛先に、前記音声映像通信に用いる接続情報を送信する送信部と、を有することを特徴とする。

【図面の簡単な説明】

【0008】

【図1】実施例１に係る通信システムの全体構成図である。

【図2】実施例１に係る車両の前席部分の構成を示す図である。

【図3】実施例１に係る端末装置２０の構成及び端末装置２０における画像の表示態様を示す図である。

【図4】実施例１に係る車載装置のブロック図である。

【図5】登録者データベースに格納されている情報の一例を示す図である。

【図6】車載装置から送信される招待メッセージの一例を示す図である。

【図7】実施例１に係るサーバのブロック図である。

【図8】実施例１に係る端末装置のブロック図である。

【図9】車載装置の制御部が実行する開始処理ルーチンを示すフローチャートである。

【図10】サーバの制御部が実行する接続処理ルーチンを示すフローチャートである。

【図11】車載装置が実行する音声映像送信処理ルーチンを示すフローチャートである。

【図12】サーバが実行する音声映像送信処理ルーチンを示すフローチャートである。

【図13】登録者データベースに格納されている情報の変形例を示す図である。

【発明を実施するための形態】

【0009】

以下に本発明の好適な実施例を詳細に説明する。なお、以下の実施例における説明及び添付図面においては、実質的に同一または等価な部分には同一の参照符号を付している。

【0010】

図１は、本実施例に係る通信システム１００の全体構成図である。図１に示すように、通信システム１００は、移動体としての車両Ｍに搭載されている車載装置１０と端末装置２０とサーバ３０とが、ネットワークＮＷを介して接続されて構成されている。

【0011】

本実施例において、車載装置１０とサーバ３０とがネットワークＮＷを介して接続され、端末装置２０とサーバ３０とがネットワークＮＷを介して接続されている。言い換えれば、車載装置１０と端末装置２０とは、サーバ３０を介して情報の送受信が可能な構成となっている。

【0012】

ネットワークＮＷは、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）又は５Ｇ（5th Generation：第５世代移動通信システム）等の基地局への接続を介して通信を行う移動体通信網を経由するネットワークである。

【0013】

図２は、実施例１に係る車載装置１０が搭載されている車両Ｍの前席部分を示す図である。車載装置１０は、車両Ｍ内に設置された車外撮影カメラ１１、車内撮影カメラ１２、ＧＰＳ受信機１３、マイク１４、タッチパネルディスプレイ１５及びスピーカー１６の各々に接続されており、これらを制御する制御部を含む。車載装置１０は、例えば、車両Ｍの前席のダッシュボードＤＢ内の中央部に配置されている。

【0014】

第１撮影部としての車外撮影カメラ１１は、車両Ｍの外部の状況を撮影する撮像装置である。本実施例において、車外撮影カメラ１１は、フロントガラスＦＧを介して車両Ｍの前方の広い領域を撮影する広角カメラである。本実施例において、車外撮影カメラ１１は、ダッシュボードＤＢ上に配されている。

【0015】

第１撮影部としての車内撮影カメラ１２は、車両Ｍの内部の状況を撮影する撮像装置である。本実施例において、車内撮影カメラ１２は、車両Ｍの運転者を撮影するカメラである。本実施例において、車内撮影カメラ１２は、フロントガラスＦＧの上端または当該上端付近の天井部に設けられている。

【0016】

なお、上記した車外撮影カメラ１１及び車内撮影カメラ１２は、第１撮影部として１台のカメラで車両Ｍの外部の映像及び車両Ｍの内部の映像が撮影可能な多方向カメラであってもよい。

【0017】

ＧＰＳ受信機１３は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する受信機である。本実施例において、ＧＰＳ受信機１３は、ダッシュボードＤＢ上に配されている。

【0018】

第１集音部としてのマイク１４は、車内の音、例えば車両Ｍの運転者や同乗者（以下、これらをまとめて搭乗者と称する）が発した音声を受けて電気信号に変換する音声入力装置である。本実施例において、マイク１４は、ダッシュボードＤＢ上に配されている。

【0019】

第１表示部としてのタッチパネルディスプレイ１５は、車載装置１０の制御に基づいて画面表示を行うディスプレイと、車両Ｍの搭乗者からの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。本実施例において、タッチパネルディスプレイ１５は、ダッシュボードＤＢの中央部に配されている。

【0020】

タッチパネルディスプレイ１５には、例えば、地図に車両Ｍの現在の位置（以後、現在位置とも称する）及び移動予定経路（以後、移動経路とも称する）が重畳されたナビゲーション画像が表示される。

【0021】

第１音出力部としてのスピーカー１６は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。本実施例において、スピーカー１６は、２つのＡピラーＡＰの各々にそれぞれ設けられている。

【0022】

本実施例において、車両Ｍの搭乗者は、車載装置１０に接続されているマイク１４及びスピーカー１６を介して端末装置２０の操作者（以下、ユーザとも称する）と音声通話可能である。

【0023】

上記した車両Ｍの前席部分における車載装置１０、車外撮影カメラ１１、車内撮影カメラ１２、ＧＰＳ受信機１３、マイク１４、タッチパネルディスプレイ１５及びスピーカー１６の各々の位置は例示に過ぎず、これらは他の位置に配されていてもよい。

【0024】

例えば、車外撮影カメラ１１は、車両Ｍの前方の状況を撮影可能であればどこに設けられていてもよく、フロントガラスＦＧの上端または当該上端付近の天井部に設けられていてもよい。

【0025】

本実施例において、車載装置１０は、車外撮影カメラ１１によって撮影された車両Ｍの外部の映像である「車外映像」又は車内撮影カメラ１２によって撮影された車両Ｍの内部の映像である「車内映像」のいずれか一方を示す映像情報を、サーバ３０を介して端末装置２０に逐次送信する。なお、車内映像及び車外映像のどちらを送信するかは、タッチパネルディスプレイ１５を用いた操作により事前に選択することが可能である。また、車載装置１０は、車両Ｍの現在位置の情報及び車両Ｍの移動経路の情報をサーバ３０に逐次送信する。

【0026】

図３は、端末装置２０の構成及び端末装置２０に表示される画像の表示態様を示す図である。端末装置２０は、フレームＦと、当該フレームＦに収められているマイク２１、スピーカー２２及びタッチパネルディスプレイ２３とを含む通信機器である。本実施例において、端末装置２０は、通信を介して他者との通話が可能なスマートフォンである。

【0027】

第２集音部としてのマイク２１は、端末装置２０のユーザが発した音声を受けて電気信号に変換する音声入力装置である。マイク２１は、端末装置２０の一端部側に設けられている。

【0028】

音出力部又は第２音出力部としてのスピーカー２２は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。スピーカー２２は、端末装置２０の他端部側に設けられている。

【0029】

上記した車載装置１０の第１集音部としてのマイク１４によって集音された音を示す第１音情報は、端末装置２０の制御部によって音出力部としてのスピーカー２２から音出力される。言い換えれば、端末装置２０の制御部は、スピーカー２２を制御して移動体音としての車両Ｍにおいて集音された音を出力する音出力制御部である。

【0030】

第２集音部としてのマイク２１によって集音された音を示す第２音情報は、上記した車載装置１０の制御部によって第１音出力部としてのスピーカー１６から音出力される。

【0031】

表示部又は第２表示部としてのタッチパネルディスプレイ２３は、端末装置２０の制御に基づいて画面表示を行うディスプレイと、端末装置２０のユーザからの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。タッチパネルディスプレイ２３は、端末装置２０の中央に設けられている。

【0032】

本実施例において、端末装置２０の操作者は、上記したマイク２１及びスピーカー２２を介して車載装置１０が搭載されている車両Ｍの運転者と音声通話可能に構成されている。

【0033】

本実施例において、端末装置２０は、車載装置１０から送信された映像情報を、サーバ３０を介して逐次受信する。具体的には、端末装置２０は、車両Ｍにおいて撮影された車内映像又は車外映像の映像情報を、車載装置１０からサーバ３０を介して逐次受信する。

【0034】

また、本実施例において、端末装置２０は、サーバ３０から逐次送信される地図画像を示す画像データを逐次受信する。具体的には、端末装置２０は、サーバ３０が車両Ｍの現在位置及び移動経路に基づいて生成した地図画像を示す画像データを逐次受信する。

【0035】

上記したように、本実施例において、通信システム１００は、車載装置１０を搭載した車両Ｍの運転者と端末装置２０の操作者とが互いに音声通話可能に構成されている。また、本実施例において、通信システム１００は、車外撮影カメラ１１によって撮影されている車両Ｍの外部の映像及び車両Ｍの現在位置と移動経路とを含む地図画像が、端末装置２０のタッチパネルディスプレイ２３にリアルタイム表示可能に構成されている。

【0036】

言い換えれば、通信システム１００は、車載装置１０が端末装置２０に対してライブストリーミングを実施可能に構成されている。

【0037】

本実施例において、車載装置１０と端末装置２０との間の音声通信を確立しつつ、車載装置１０から端末装置２０に、車両Ｍの外部の映像等の映像と車両Ｍの現在位置と移動経路とをリアルタイムで送信する通信形態を、ここでは音声映像通信と称する。本実施例において、車載装置１０と端末装置２０とは、サーバ３０を介して音声映像通信を行っている。この音声映像通信により、端末装置２０を使用するユーザは、車両Ｍに仮想的に同乗する仮想同乗（Virtual Passenger、以下“ＶＰ”と称する）の体験をすることができる。

【0038】

端末装置２０が受信した上記映像及び地図画像は、タッチパネルディスプレイ２３に表示される。例えば、図３に示すように、第１の表示領域Ａ１には、上記した車両Ｍの外部（前方）の映像が表示され、第２の表示領域Ａ２には、車両Ｍの現在位置ＰＬ及び車両Ｍの移動経路Ｒが記されている地図画像が表示される。第１の表示領域Ａ１は、第２の表示領域Ａ２よりも大きい。言い換えれば、車両Ｍの外部の映像は、地図画像よりも大きい態様で表示されている。

【0039】

次に、通信システム１００を構成する車載装置１０、サーバ３０及び端末装置２０の各々の構成について、図４～７を参照して説明する。

【0040】

図４は、車載装置１０の構成を示すブロック図である。制御部１７は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）を含む処理装置である。

【0041】

記憶部１８は、制御部１７の処理に必要なデータを記憶管理する記憶デバイスである。記憶部１８は、例えば、ハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の記憶デバイスによって構成されている。記憶部１８は、地図データを記憶している。また、記憶部１８は、音声映像通信の相手として登録されている通話者（以下、登録通話者と称する）及びその連絡先情報を格納する登録者データベース１８１（以下、登録者ＤＢ１８１と称する）を有する。

【0042】

図５は、登録者ＤＢ１８１に登録されている情報の一例を示す図である。登録者ＤＢ１８１には、登録通話者の氏名及び招待メッセージの宛先となる連絡先の情報が格納されている。本実施例では、例えばスマートフォン等の電話番号が連絡先の情報として登録者ＤＢ１８１に格納されている。

【0043】

再び図４を参照すると、通信部１９は、制御部１７の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部１９は、例えば、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）を含む。通信部１９は、例えば、車両Ｍにおいて取得された音声、車両Ｍの車内映像又は車外映像、及び車両Ｍの現在位置情報をサーバ３０に送信する送信部として機能する。

【0044】

ここで、制御部１７の機能ブロックである音声認識部１７１及び招待メッセージ送信部１７２について説明する。

【0045】

音声認識部１７１は、マイク１４から入力された音声（以下、入力音声と称する）について音声認識を行う機能ブロックである。音声認識部１７１は、入力音声を文字列に変換することにより、音声認識を行う。例えば、車両Ｍの運転者によって「ＡさんとＶＰ！」という音声による呼びかけがなされた場合、音声認識部１７１は、これを文字列に変換し、Ａさんとの音声映像通信の開始を求める音声として音声認識する。

【0046】

招待メッセージ送信部１７２は、音声映像通信のための通信接続に用いる接続情報を含む招待メッセージを生成する。この接続情報は、例えばＵＲＬ（Uniform Resource Locator）等から構成され、車両Ｍの外部から車載装置１０との音声映像通信の通信接続を確立するための接続試行の操作に用いる接続情報である。招待メッセージ送信部１７２は、音声認識部１７１による音声認識の結果及び登録者ＤＢ１８１に格納されている連絡先情報により特定される宛先に向けて、招待メッセージを送信する。招待メッセージの送信は、例えば電話番号を宛先とするショートメッセージサービスを用いて行われる。

【0047】

図６は、車載装置１０から送信される招待メッセージの一例を示す図である。ここでは、招待メールが端末装置２０によって受信され、タッチパネルディスプレイ２３に表示される場合を例として示している。

【0048】

招待メッセージには、接続情報としてのＵＲＬが記載されている。末装置２０を操作する操作者は、招待メールに記載されているＵＲＬにアクセスして接続試行の操作を行う。この接続試行の操作に対し、運転者の確認操作が行われることにより、音声映像通信のための接続が確立される。

【0049】

図７は、サーバ３０の構成を示すブロック図である。制御部３１は、ＣＰＵやＲＡＭを含む処理装置である。

【0050】

通信部３２は、制御部３１の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部３２は、例えば、ネットワークＮＷに接続するためのＮＩＣを含む。

【0051】

通信部３２は、例えば、車両Ｍの外部及び内部の映像、車両Ｍの内部において取得された音声、及び車両Ｍの現在位置の情報を車載装置１０から受信する受信部として機能する。また、通信部３２は、例えば、車両Ｍの外部及び内部の映像、及び車両Ｍの内部において取得された音声を端末装置２０に送信する送信部として機能する。

【0052】

記憶部３３は、制御部３１の処理に必要なデータを記憶管理する記憶デバイスである。記憶部３３は、例えば、ハードディスク、フラッシュメモリ、ＳＳＤ等の記憶デバイスによって構成されている。

【0053】

ここで、制御部３１の機能ブロックについて説明する。各機能ブロックは、例えば記憶部３３に格納されているプログラムを制御部３１が読み出して実行することにより形成される。

【0054】

映像情報取得部３４は、車載装置１０から逐次送信される映像情報を、通信部３２を介して取得する機能ブロックである。具体的には、映像情報取得部３４は、車載装置１０から送信された車両Ｍの車内映像又は車外映像を映像情報として取得する。映像情報取得部３４は、受信した映像情報を、通信部３２を介して端末装置２０に転送する。

【0055】

車両情報取得部３５は、車載装置１０から逐次送信される現在位置情報、すなわち車両Ｍの現在位置情報を逐次取得する機能ブロックである。

【0056】

音声通信制御部３６は、車載装置１０と端末装置２０との音声通信を制御する機能ブロックである。具体的には、音声通信制御部３６は、音声映像通信において、車載装置１０と端末装置２０との間の音声通話を確立し、当該音声通話のデータを転送する機能を有する。

【0057】

接続制御部３７は、車載装置１０と端末装置２０との間の音声映像通信の接続制御を行う機能ブロックである。例えば、接続制御部３７は、車載装置１０から送信された招待メッセージに含まれる接続情報を用いて、端末装置２０において接続試行の操作が行われた場合、車両Ｍの運転者に音声映像通信のための接続を確立するか否かを確認する確認メッセージを、通信部３２を介して車載装置１０に送信する。

【0058】

図８は、端末装置２０の構成を示すブロック図である。制御部２４は、ＣＰＵやＲＡＭを含む処理装置である。

【0059】

通信部２５は、制御部２４の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部２５は、例えば、ネットワークＮＷに接続するためのＮＩＣを含む。

【0060】

通信部２５は、例えば、車両Ｍの外部の映像や車両Ｍの内部の映像をサーバ３０から受信する受信部として機能する。また、通信部２５は、タッチパネルディスプレイ２３を用いた操作入力に応じた情報をサーバ３０に送信する送信部として機能する。

【0061】

次に、本実施例における車載装置１０、端末装置２０及びサーバ３０の各々の具体的な動作の一例を、フローチャートを用いて説明する。

【0062】

まず、車載装置１０と端末装置２０との間の音声映像通信のための接続（以後、音声映像通信接続と称する）を確立するための接続処理について説明する。

【0063】

音声映像通信接続の処理は、車両Ｍの運転者が、マイク１４に向かって音声映像通信の開始を要求する音声を発したことをトリガーとして開始される。例えば、車両Ｍの運転者は、「Ａさん」を相手方として音声映像通信を開始したい場合、マイク１４に向かって、車載装置１０の音声認識機能を起動するための起動音声（ウェイクワード）を発し、続けてＡさんとの音声映像通信の開始を要求する音声、例えば「ＡさんとＶＰ！」という音声を発する。車載装置１０の制御部１７は、マイク１４を介して音声が入力されたことをトリガーとして開始処理ルーチンを開始する。

【0064】

図９は、車載装置１０と端末装置２０との間の音声映像通信接続の接続処理において、車載装置１０の制御部１７が実行する開始処理ルーチンＲＳＴ１を示すフローチャートである。

【0065】

制御部１７は、車両Ｍの内部で発せられた音声、すなわち車両Ｍの搭乗者からのがマイク１４を介して入力されたか否かを判定する（ＳＴＥＰ１０１）。

【0066】

音声が入力されていないと判定すると（ＳＴＥＰ１０１：ＮＯ）、開始処理ルーチンＲＳＴ１を終了する。一方、音声が入力されたと判定すると（ＳＴＥＰ１０１：ＹＥＳ）、制御部１７の音声認識部１７１は、入力音声に対して音声認識を行う（ＳＴＥＰ１０２）。

【0067】

制御部１７は、音声認識部１７１による音声認識の結果に基づいて、入力音声が登録通話者との音声映像通信の開始を求める音声であるか否かを判定する（ＳＴＥＰ１０３）。

【0068】

音声映像通信の開始を求める音声ではないと判定すると（ＳＴＥＰ１０３：ＮＯ）、開始処理ルーチンＲＳＴ１を終了する。一方、音声映像通信の開始を求める音声であると判定すると（ＳＴＥＰ１０３：ＹＥＳ）、制御部１７は、音声認識部１７１の音声認識により特定された登録通話者の連絡先情報を登録者ＤＢ１８１から読み出す（ＳＴＥＰ１０４）。例えば、音声認識部１７１の音声認識により、音声映像通信の相手方として要求された登録通話者が「Ａさん」であると特定された場合、制御部１７は、登録者ＤＢ１８１からＡさんの連絡先情報「０９０－１１××－××××」を読み出す。

【0069】

制御部１７の招待メッセージ送信部１７２は、音声映像通信のための接続情報を含む招待メッセージを生成し、生成した招待メッセージをＳＴＥＰ１０４で読み出された連絡先情報に対応する宛先に向けて送信する（ＳＴＥＰ１０５）。

【0070】

招待メッセージを受信した登録通話者（例えば、Ａさん）は、接続情報を用いて接続試行の操作を行う。例えば、端末装置２０によって招待メッセージを受信した場合、登録通話者は端末装置２０のタッチパネルディスプレイ２３を操作して招待メッセージに含まれる接続情報としてのＵＲＬをクリックすることにより、接続試行の操作を行う。この接続試行の操作に応じてサーバ３０が音声映像通信接続の処理を行うことにより、車載装置１０と端末装置２０との間の音声映像通信の接続が確立される。

【0071】

図１０は、サーバ３０の制御部３１が実行する音声映像通信接続の処理ルーチンＲＳＴ２を示すフローチャートである。

【0072】

制御部３１は、招待メッセージに含まれる接続情報を用いて接続試行の操作が行われたか否かを判定する（ＳＴＥＰ２０１）。

【0073】

接続試行の操作が行われていないと判定すると（ＳＴＥＰ２０１：ＮＯ）、処理ルーチンＲＳＴ２を終了する。一方、接続試行の操作が行われたと判定すると（ＳＴＥＰ２０１：ＹＥＳ）、制御部３１は、音声通信接続を行うか否かを車両Ｍの運転者に確認する確認メッセージを、通信部３２を介して車載装置１０に送信する（ＳＴＥＰ２０２）。

【0074】

送信された確認メッセージは、車載装置１０の通信部１９によって受信され、車両Ｍの搭乗者に向けて報知される。例えば、「Ａさんとの音声通信接続を開始しますか？」という文言の確認メッセージが、車載装置１０のタッチパネルディスプレイ１５に表示される。

【0075】

車両Ｍの運転者は、タッチパネルディスプレイ１５に表示された確認メッセージに対し、音声で応答を行う。例えば、車両Ｍの運転者は、「開始します」という音声での応答を行う。なお、ここでは音声通信接続を開始する旨の応答を「確認応答」と称する。確認応答の音声はマイク１４を介して車載装置１０に入力され、音声認識部１７１による音声認識が行われる。制御部１７は、音声認識部１７１による音声認識の結果に基づいて、確認応答を示す情報をサーバ３０に送信する。

【0076】

サーバ３０の制御部３１は、車載装置１０からの確認応答を、通信部３２を介して受信したか否かを判定する（ＳＴＥＰ２０３）。例えば、制御部３１は、車載装置１０から音声通話接続を行わない旨の応答があった場合、及びＳＴＥＰ２０２の確認メッセージの送信から所定時間内に車載装置１０からの確認応答がなかった場合、確認応答を受信していないと判定する。制御部３１は、確認応答を受信していないと判定すると（ＳＴＥＰ２０３：ＮＯ）、処理ルーチンＲＳＴ２を終了する。

【0077】

一方、確認応答を受信したと判定すると（ＳＴＥＰ２０３：ＹＥＳ）、制御部３１の接続制御部３７は、車載装置１０と端末装置２０との間の音声映像通信接続を確立する（ＳＴＥＰ２０４）。

【0078】

車載装置１０の制御部１７は、サーバ３０による音声映像通信接続の確立に応じて、車両Ｍにおいて取得された音声及び映像をサーバ３０に送信する音声映像送信処理ルーチンＲＥＸ１を開始する。

【0079】

図１１は、車載装置１０の制御部１７が実行する音声映像送信処理ルーチンＲＥＸ１を示すフローチャートである。

【0080】

制御部１７は、車載装置１０と端末装置２０との間の音声映像通信接続が確立され、音声映像通信が開始されたか否かを判定する（ＳＴＥＰ３０１）。制御部１７は、音声映像通信が開始されていないと判定すると（ＳＴＥＰ３０１：ＮＯ）、音声映像送信処理ルーチンＲＥＸ１を終了する。

【0081】

一方、音声映像通信が開始されたと判定すると（ＳＴＥＰ３０１：ＹＥＳ）、制御部１７は、車外撮影カメラ１１によって撮影された車両Ｍの外部の映像、車内カメラ１２によって撮影された車両Ｍの内部の映像、及びマイク１４を介して入力された音声を、サーバ３０に逐次送信する（ＳＴＥＰ３０２）。

【0082】

制御部１７は、音声映像通信が終了したか否かを判定する（ＳＴＥＰ３０３）。音声映像通信が終了していないと判定すると（ＳＴＥＰ３０３：ＮＯ）、ＳＴＥＰ１０２に戻り、制御部１７は映像及び音声の送信を繰り返し実行する。一方、音声映像通信が終了したと判定すると（ＳＴＥＰ３０３：ＹＥＳ）、制御部１７は、映像及び音声の送信を停止し（ＳＴＥＰ３０４）、処理を終了する。

【0083】

車載装置１０の制御部１７は、上記した音声映像送信処理ルーチンＲＥＸ１によって、車載装置１０と端末装置２０との音声映像通信が継続する限り、映像及び音声をサーバ３０に送信し続ける。

【0084】

図１２は、サーバ３０の制御部３１が実行する音声映像送信処理ルーチンＲＥＸ２を示すフローチャートである。

【0085】

制御部３１は、車載装置１０と端末装置２０との間の音声映像通信接続が確立され、音声映像通信が開始されたか否かを判定する（ＳＴＥＰ４０１）。制御部３１は、音声映像通信が開始されていないと判定すると（ＳＴＥＰ４０１：ＮＯ）、音声映像送信処理ルーチンＲＥＸ２を終了する。

【0086】

一方、音声映像通信が開始されたと判定すると（ＳＴＥＰ４０１：ＹＥＳ）、制御部３１の映像情報取得部３４及び音声接続制御部３６は、車載装置１０から送信された映像及び音声の逐次受信を開始する（ＳＴＥＰ４０２）。

【0087】

制御部３１は、ＳＴＥＰ４０２で受信した映像及び音声を、端末装置２０に転送する（ＳＴＥＰ４０３）。

【0088】

制御部３１は、音声映像通信が終了したか否かを判定する（ＳＴＥＰ４０４）。音声映像通信が終了していないと判定すると（ＳＴＥＰ４０４：ＮＯ）、ＳＴＥＰ４０２に戻り、制御部３１は、映像及び音声の受信、転送を継続する。

【0089】

一方、音声映像通信が終了したと判定すると（ＳＴＥＰ４０４：ＹＥＳ）、制御部３１は、映像及び音声の受信、転送を停止し（ＳＴＥＰ４０５）、処理を終了する。

【0090】

以上のように、本実施例の通信システム１００では、車両Ｍの運転者が、音声映像通信を開始すること及びその相手方を誰とするかを内容とする音声による呼びかけを行い、この音声による呼びかけに応じて連絡先情報を読み出し、接続処理を行うことにより、音声映像通信の接続が確立される。

【0091】

かかる構成によれば、運転者は音声映像通信を開始する際に車載装置１０のタッチパネル等の操作を行う必要がないため、車両の走行中に任意のタイミングで音声映像通信を開始することが可能となる。

【0092】

なお、本発明は上記実施例で示したものに限られない。例えば、上記実施例では、音声認識部１７１がマイク１４を介して入力された音声を文字列に変換し、変換された文字列に対応する宛先を招待メッセージ送信部１７２が登録者ＤＢ１８１から読み出して招待メッセージを送信する場合を例として説明した。しかし、音声認識部１７１は、例えばマイク１４を介して入力された音声が登録者ＤＢ１８１に格納されている音声パターンと一致するか否かを判定することにより音声認識を行ってもよい。

【0093】

図１３は、登録通話者の宛先とその宛先に対応する音声パターンが登録者データベースに登録されている場合の登録情報の一例を示す図である。音声認識部１７１は、マイク１４を介して入力された入力音声と一致する音声パターンが登録者データベースに格納されているか否かを判定する。制御部１７は、入力音声と一致する音声パターンに対応する登録通話者の連絡先の情報を読み出す。招待メッセージ送信部１７２は、読み出された連絡先の情報により特定される宛先に招待メッセージを送信する。

【0094】

また、上記実施例では、車載装置１０が車外撮影カメラ１１で撮影された車外映像及び車内撮影カメラ１２で撮影された車内映像のいずれか一方をサーバ３０に送信する場合を例として説明した。しかし、車載装置１０がサーバ３０に送信する段階では車外映像及び車内映像の両方を送信しておき、サーバ３０が端末装置２０に転送する段階で車外映像及び車内映像のいずれか一方を端末装置２０に送信する構成としてもよい。また、サーバ３０が車外映像及び車内映像の両方を端末装置２０に送信し、端末装置２０においていずれの映像を表示させるかを選択可能に構成されていてもよい。また、端末装置２０のタッチパネルディスプレイ２３に車内映像及び車外映像を同時に表示し、一方をメイン画面、他方をサブ画面として異なる大きさで表示するように構成されていてもよい。

【0095】

また、上記実施例では、スマートフォン等の電話番号が連絡先の情報として登録者ＤＢ１８１に格納され、電話番号を宛先とするショートメッセージサービスを用いて招待メッセージを送信する場合を例として説明した。しかし、これに限られず、電子メールのメールアドレスを連絡先の情報として登録者ＤＢ１８１に格納し、電子メールによって招待メッセージを送信する構成であってもよい。また、上記実施例の図５に示した処理ルーチンでは、招待メッセージ送信部１７２が連絡先情報の読み出し後に招待メッセージを作成しているが、宛先以外の部分、すなわち招待メッセージの内容に関する部分は当該処理ルーチンの実行以前に予め作成しておいてもよい。

【0096】

また、ショートメッセージサービスを用いて招待メッセージを送信する場合、文字数の制限があるため、メッセージ本文が長くなる場合には、苗字又は名前のいずれかのみを選択して招待メッセージに載せてもよい。例えば、図６に示す招待メッセージの例では、「山田太郎さん」が「山田さん」又は「太郎さん」として表示される。

【0097】

また、車載装置１０において車両Ｍの助手席等への同乗者の有無を検出し、同乗者の有無に関する情報を招待メッセージに加えて送信してもよい。同乗者の有無は、例えば車内撮影カメラ１２によって取得された車内映像やシートベルトの検知情報等に基づいて検出することができる。これにより、音声映像通信の相手方である登録通話者は、車両Ｍの同乗者の有無を事前に覚知することが出来る。

【0098】

また、招待メッセージの送信に加えて、車載装置１０において案内経路（移動予定経路）が設定されているか否かを検出し、案内経路の有無、運転予測時間、目的地の情報、案内経路の地図のＵＲＬ等をメッセージとして送信してもよい。これにより、音声映像通信の相手方である登録通話者は、音声映像通信への参加前に経路や運転時間等の情報を確認することが出来る。

【0099】

また、上記の通り、ショートメッセージサービスには文字制限があるため、メッセージとして送信する情報に優先順位を付けてもよい。例えば、名前が最も優先順位が高く、続いて同乗者の有無、苗字、経路設定の有無、目的地、経路を示すＵＲＬ、の順に優先順位が設定される。文字数の関係で全ての情報をメッセージに載せることができない場合には、優先順位が下位のものは送信情報から省略される。

【0100】

また、上記実施例では、車載装置１０と一台の端末装置（一人の登録通話者）との間で音声映像通信を行う場合を例として説明した。しかし、音声映像通信に参加する端末装置は複数であってもよい。複数の端末装置と同時に音声通信を行う場合には、参加するユーザの情報を招待メッセージに加えて送信してもよい。

【0101】

また、上記実施例では、招待メッセージに含まれる接続情報を用いて接続試行の操作が行われ、その接続試行に対する運転者による音声での確認応答がなされた場合に音声映像通信接続を行う場合を例として説明した。しかし、運転者による確認応答は音声によるものに限られず、タッチパネルディスプレイ１５を操作して確認応答を行ってもよい。また、運転者による確認応答を経ることなく、接続情報を用いて接続試行が行われたことに応じて音声映像接続を行う構成であってもよい。

【0102】

また、上記実施例において説明した車載装置１０の制御部１７やサーバ３０の制御部３１における一連の処理は、コンピュータが所定のプログラムを実行することにより行うものであってもよい。当該プログラムは、コンピュータに読み取り可能な記録媒体に記録されていてもよい。記録媒体のタイプは、特に限定されず、例えば、光ディスク、ハードディスク、またはフラッシュメモリもしくはＳＳＤ等の半導体メモリであってもよい。また、上記プログラムは、通信を介して車載装置１０、サーバ３０及び端末装置２０にダウンロードされインストールされてもよい。

【0103】

また、上記実施例において示した制御ルーチンは例示に過ぎず、用途または使用条件等に応じて適宜選択及び変更可能である。

【符号の説明】

【0104】

１００ 通信システム
１０ 車載装置
１１ 車外撮影カメラ
１２ 車内撮影カメラ
１３ ＧＰＳ受信機
１４ マイク
１５ タッチパネルディスプレイ
１６ スピーカー
１７ 制御部
１７１ 音声認識部
１７２ 招待メッセージ送信部
１８ 記憶部
１８１ 登録者ＤＢ
１９ 通信部
２０ 端末装置
２１ マイク
２２ スピーカー
２３ タッチパネルディスプレイ
２４ 制御部
２５ 通信部
３０ サーバ
３１ 制御部
３２ 通信部
３３ 記憶部
３４ 映像情報取得部
３５ 車両情報取得部
３６ 音声通信制御部
３７ 接続制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】