特開 2023-95039 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023095039

(43)【公開日】2023-07-06

(54)【発明の名称】通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

(51)【国際特許分類】

   H04L 67/63 20220101AFI20230629BHJP

   H04M 11/06 20060101ALI20230629BHJP

【ＦＩ】

H04L67/63

H04M11/06

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021210691

(22)【出願日】2021-12-24

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】根岸 廣人

【テーマコード（参考）】

5K201

【Ｆターム（参考）】

5K201AA05

5K201BA18

5K201BD02

5K201CA01

5K201CA06

5K201CC08

5K201CC10

5K201EC06

5K201ED04

5K201ED09

5K201EF09

(57)【要約】

【課題】
移動体内の第１装置と移動体外の第２装置との間の通信において、第２装置からの接続試行を第１装置からの応答が可能である蓋然性が高いタイミングで行うことを可能にし、円滑に通信を開始することを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の１つとしている。
【解決手段】
移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムであって、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、前記運転者状況情報に基づいて、前記音声映像通信の前記第２装置からの開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムであって、
前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、
前記運転者状況情報に基づいて、前記音声映像通信の前記第２装置からの開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御部と、を有することを特徴とする通信システム。

【請求項2】

前記開始関連情報は、前記第２装置のユーザによる前記音声映像通信の開始のための接続試行を行うか否かの判断に資する情報であることを特徴とする請求項１に記載の通信システム。

【請求項3】

前記運転者状況情報は、前記第１装置と、前記第２装置ではない他の装置との間で前記音声映像通信が行われているか否かを示す情報を含み、
前記表示制御部は、前記他の装置との間で前記音声映像通信が行われているか否かに基づいて、前記音声映像通信の開始に関連する情報を前記第２装置に表示させることを特徴とする請求項１又は２のいずれか１つに記載の通信システム。

【請求項4】

前記運転者状況情報は、前記移動体内に同乗者が存在するか否かを示す情報を含み、
前記表示制御部は、前記移動体内に同乗者が存在するか否かに基づいて、前記音声映像通信の開始に関連する情報を前記第２装置に表示させることを特徴とする請求項１乃至３のいずれか１つに記載の通信システム。

【請求項5】

前記運転者状況情報は、前記移動体の運転者にかかっている運転に関する負荷の大きさを示す運転負荷情報を含み、
前記表示制御部は、前記運転負荷情報に基づいて、前記音声映像通信の開始に関連する情報を前記第２装置に表示させることを特徴とする請求項１乃至４のいずれか１つに記載の通信システム。

【請求項6】

前記運転者状況情報は、前記運転者が会話中であるか否かを示す情報を含み、
前記表示制御部は、前記運転者が会話中であるか否かに基づいて、前記音声映像通信の開始に関連する情報を前記第２装置に表示させることを特徴とする請求項１乃至５のいずれか１つに記載の通信システム。

【請求項7】

前記表示制御部は、前記開始関連情報として、前記運転者が前記音声映像通信の開始の試行に対して応答可能な状況にあるか否かを示す情報を前記第２装置に表示させることを特徴とする請求項１乃至６のいずれか１つに記載の通信システム。

【請求項8】

前記表示制御部は、前記開始関連情報として、前記運転者が前記音声映像通信における応対が困難な状況にあるか否かを示す情報を前記第２装置に表示させることを特徴とする請求項１乃至７のいずれか１つに記載の通信システム。

【請求項9】

前記表示制御部は、前記開始関連情報として、前記第２装置からの前記音声映像通信の開始の試行の後の実行を推奨することを示す情報を前記第２装置に表示させることを特徴とする請求項１乃至８のいずれか１つに記載の通信システム。

【請求項10】

前記表示制御部は、前記第２装置からの、前記音声映像通信の接続に用いられる接続情報へのアクセスを受け付けると、前記開始関連情報を前記第２装置に表示させることを特徴とする請求項１乃至９のいずれか１つに記載の通信システム。

【請求項11】

移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、
前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、
前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御ステップと、
を含むことを特徴とする通信方法。

【請求項12】

コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、
前記コンピュータに、
前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、
前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御ステップと、
を実行させるための通信プログラム。

【請求項13】

コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムに、
前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、
前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御ステップと、
を実行させる通信プログラムを記憶するコンピュータ可読記憶媒体。

【請求項14】

移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、
前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、
前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記他の装置に表示させる表示制御部と、を有することを特徴とする通信装置。

【請求項15】

移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を取得して第２装置に送信する音声映像通信を行うサーバ装置であって、
前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、
前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御部と、を有することを特徴とするサーバ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関し、例えば、移動体からの映像及び音声をユーザに提供可能な通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関する。

【背景技術】

【0002】

車両内に位置する車内端末と当該車両の外部に位置する車外端末との間で通信を行う通信システムがある。

【0003】

例えば、特許文献１には、車両が信号待ち状態等の比較的安全な状態であると判断した場合には外部との連絡がリアルタイムで可能なように制御し、車両の状態が安全でないと判断した場合には、情報発信者に対して、「現在運転中で通話できない」旨のメッセージを自動的に送信する車両内情報配信システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３－１５８４８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１のような車両内情報配信システムにおいて、例えば、車両外から車両内の運転者に情報発信をするユーザは、情報の発信を実際に行わなければ、当該車両内情報配信システムから送信される「現在運転中で通話できない」等のメッセージを受けられないので、運転者にとって通話等が可能なタイミングか否かを事前に把握することができず、情報の発信を行う前に良いタイミングを計ることができないことが課題の１つとして挙げられる。

【0006】

本発明は上記した点に鑑みてなされたものであり、移動体内の第１装置と移動体外の第２装置との間の通信において、第２装置からの接続試行を第１装置からの応答が可能である蓋然性が高いタイミングで行うことを可能にし、円滑に通信を開始することを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の１つとしている。

【課題を解決するための手段】

【0007】

請求項１に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムであって、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、前記運転者状況情報に基づいて、前記音声映像通信の前記第２装置からの開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御部と、を有することを特徴とする。

【0008】

請求項１１に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御ステップと、を含むことを特徴とする。

【0009】

請求項１２に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御ステップと、を実行させるための通信プログラムである。

【0010】

請求項１３に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムに、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御ステップと、を実行させる通信プログラムを記憶するコンピュータ可読記憶媒体である。

【0011】

請求項１４に記載の発明は、移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記他の装置に表示させる表示制御部と、を有することを特徴とする。

【0012】

請求項１５に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を取得して第２装置に送信する音声映像通信を行うサーバ装置であって、前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、前記運転者状況情報に基づいて、前記音声映像通信の開始の試行に関連する開始関連情報を前記第２装置に表示させる表示制御部と、を有することを特徴とする。

【図面の簡単な説明】

【0013】

【図1】本発明の実施例に係る通信システムの概略を示す模式図である。

【図2】実施例に係る車両の前席部分の構成を示す図である。

【図3】実施例に係る車載装置の構成の一例を示すブロック図である。

【図4】実施例に係るサーバ装置の構成の一例を示すブロック図である。

【図5】実施例に係る運転者状況情報の一例を示す図である。

【図6】実施例に係る外部装置の正面図である。

【図7】実施例に係る外部装置の構成の一例を示すブロック図である。

【図8】実施例に係る通信システムにおいて行われる通信の一例を示すシーケンス図である。

【図9】実施例に係る外部装置に表示される表示画面の一例を示す図である。

【図10】実施例に係るサーバ装置によって実行されるルーチンの一例を示すフローチャートである。

【図11】実施例に係る外部装置に表示される表示画面の一例を示す図である。

【図12】実施例に係る外部装置に表示される表示画面の一例を示す図である。

【図13】実施例に係る通信システムの変形例における車載装置の構成の一例を示すブロック図である。

【発明を実施するための形態】

【0014】

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

【実施例0015】

［１．システムの構成］
実施例に係る車載装置１０を含む通信システム１００の構成について添付図面を参照しつつ説明する。

【0016】

図１は、本発明の実施例である通信システム１００を示している。図１に示すように、通信システム１００は、車載装置１０、サーバ３０及び外部装置４０を含んで構成されている。なお、図１においては、車載装置１０が移動体の一例としての自動車Ｍに搭載されている場合を示している。また、図１においては、外部装置４０の一例として、スマートフォンを示している。

【0017】

車載装置１０、サーバ３０及び外部装置４０は、ネットワークＮＷを介して、例えば、ＴＣＰ／ＩＰや、ＵＤＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えば、移動体通信網、Ｗｉ-Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築され得る。

【0018】

通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける音声及び映像を、第２装置としての外部装置４０に送信する音声映像通信が可能である。

【0019】

本実施例の通信システム１００においては、車載装置１０と外部装置４０との間で音声通話が確立された上で、車載装置１０から自動車Ｍにおいて撮影された映像が外部装置４０に配信される。

【0020】

以下の説明において、上記のように、車載装置１０と外部装置４０との間での音声通話を確立させつつ、自動車Ｍにおいて撮影された映像を車載装置１０から外部装置４０に配信する通信態様を音声映像通信の一態様としてのビデオ通信と称する。本実施例において、車載装置１０と外部装置４０とは、サーバ３０を介してビデオ通信を行っている。

【0021】

このようなビデオ通信が行われることで、車載装置１０から送信される映像を視聴している外部装置４０のユーザは、あたかも自動車Ｍの運転者と自動車Ｍに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置４０のユーザの自動車Ｍへの仮想同乗を実現することができる。また、このようなビデオ通信を実現可能な本実施例の通信システム１００のようなシステムを仮想同乗システムとも称する。

【0022】

通信システム１００において、ビデオ通信の開始の際のシーケンスの一例として、外部装置４０からの接続試行に対して車載装置１０からの承諾があったことによってビデオ通信を開始する場合を考える。外部装置４０からの接続試行があったタイミングで、車載装置１０のユーザである自動車Ｍの運転者にとって、自動車Ｍ内に現実の同乗者が存在する状況や、運転に集中していて余裕が無い状況など、ビデオ通信の接続試行に対する応答が困難であるか又はビデオ通信を開始したとしても会話等の応対が困難な状況である場合もある。

【0023】

このような場合、外部装置４０のユーザにとっては、運転者が応答可能な状況であるか否かは、事前に知ることができず、接続試行を行っても承諾されない場合は、時間を置いて再度接続試行をし直すなどの手間がかかる。また、接続試行を行って承諾されたとしても、運転者と殆ど会話ができないため、外部装置４０のユーザは、ビデオ通信を中断して後から接続試行をし直すことも考えられ、その場合にも余計な手間がかかる。

【0024】

そこで、本実施例では、運転者の状況に基づいて接続試行の開始に関連する情報、例えば、ビデオ通信の開始のための接続試行を行うか否かの判断に資する情報を外部装置４０に表示させることによって、外部装置４０のユーザにとって、接続試行のタイミングを計り易くする。

【0025】

以下、本実施例においては、車載装置１０がカーナビゲーション装置である場合を例に説明する。また、本実施例においては、車載装置１０が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ３０に送信し、サーバ３０が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。

【0026】

図２は、映像送信装置または映像生成装置としての車載装置１０を搭載している自動車Ｍの前席付近を示す斜視図である。図１では、取り付け例として、自動車Ｍの前席のダッシュボードＤＢ内に車載装置１０が取り付けられている場合を示す。

【0027】

ＧＰＳ受信機１１は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する装置である。ＧＰＳ受信機１１は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＰＳ受信機１１は、ＧＰＳ信号が受信できればどこに配されていてもよい。ＧＰＳ受信機１１は、受信したＧＰＳ信号を車載装置１０に送信することが可能である。

【0028】

車外カメラ１３は、自動車Ｍの前方を撮影する撮像装置である。本実施例において、車外カメラ１３は、前方が撮影方向となる様にダッシュボードＤＢに配されている。例えば、車外カメラ１３は、広角カメラであり、フロントガラスを介して自動車Ｍの前方の広い領域を撮影可能である。なお、車外カメラ１３は、ルームミラーＲＭに設けられても良く、フロントガラスＦＧの内側に取り付けられていてもよい。

【0029】

車内カメラ１５は、自動車Ｍの内部の状況を撮影する撮像装置である。本実施例において、車内カメラ１５は、フロントガラスＦＧの上端または当該上端付近の天井部に設けられており、自動車Ｍの運転者を撮影可能である。

【0030】

ビデオ通信時には、車外カメラ１３または車内カメラ１５によって撮像された映像が、外部装置４０に配信される。

【0031】

タッチパネル１７は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル１７は、例えば、ダッシュボードＤＢのセンターコンソールＣＣに配されている。タッチパネル１７は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル１７は、ダッシュボードＤＢ上に取り付けられていてもよい。

【0032】

タッチパネル１７は、車載装置１０の制御に基づいて画面表示を行うことが可能である。また、タッチパネル１７は、ユーザから受け付けたタッチパネル１７への入力操作を表す信号を車載装置１０に送信することが可能である。例えば、タッチパネル１７には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル１７を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。

【0033】

また、タッチパネル１７には、ビデオ通信に関する情報が表示されてもよく、ビデオ通信のための接続（以下、ビデオ接続とも称する）をするための操作の受付画面が表示されてもよい。自動車Ｍの乗員はタッチパネル１７への入力操作によって、ビデオ通信の接続操作を行ってもよい。

【0034】

スピーカ１９は、例えば、ＡピラーＡＰの室内側に設けられている。スピーカ１９は、車載装置１０の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ１９からは、音声通話における外部装置４０からの音声が発せられる。

【0035】

マイク２１は、車内の音を受音するマイク装置であり、例えば、ダッシュボードＤＢ上に配されている。マイク２１は、車内の音を受音可能であれば、ルームミラーＲＭまたはハンドル等、どこに設けられていてもよい。ビデオ通信時において、マイク２１に収音された音声が音声通話の音声として外部装置４０に送信される。また、ビデオ通信の開始に関する操作入力が、マイク２１を介して音声によって行われてもよい。

【0036】

図３は、車載装置１０の構成を示すブロック図である。例えば、車載装置１０は、システムバスを介して、記憶部２４と、制御部２５と、通信部２７と、が協働する装置である。

【0037】

着座センサ２２は、自動車Ｍの助手席やその他の席に同乗者が居るか否かを検出可能であり、例えば、当該検出された同乗者の有無を示す信号を出力可能なセンサである。着座センサ２２は、例えば、自動車Ｍの助手席やその他の席のシートの座面又は背面に設けられており、荷重を検知するセンサである。なお、同乗者の検出は、車内カメラ１５の映像を画像認識することでなされても良いし、他の赤外線センサ等の光電センサによって同乗者自体を直接検出することでなされてもよい。

【0038】

また、自動車Ｍには加速度センサ２３が搭載されている。加速度センサ２３は、自動車Ｍの加速度を測定可能であり、当該測定された加速度を示す信号を出力可能な例えばＭＥＭＳ加速度センサであってもよい。なお、加速度センサ２３は慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）であってもよい。また、加速度センサ２３は、車載装置１０に内蔵されていてもよい。

【0039】

記憶部２４は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成される記憶デバイスである。記憶部２４は、オペレーティングシステムや、端末用のソフトウェア等の、車載装置１０において実行される各種プログラムを記憶する。

【0040】

各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部２４に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

【0041】

また、記憶部２４は、また、道路地図を含む地図情報を記憶している。また、記憶部２４は、ビデオ通信の相手としての外部装置４０の連絡先を示す情報、例えば電話番号又はメールアドレス等の情報を記憶している。

【0042】

制御部２５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。制御部２５は、ＣＰＵがＲＯＭや記憶部２４に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部２５によって、ビデオ通信の開始や終了に関する情報を運転者に提示する機能、ビデオ通信時の動画配信機能、カーナビゲーション機能等が発揮される。

【0043】

制御部２５は、自動車Ｍに備えられている各種機器、すなわち、ＧＰＳ受信機１１、車外カメラ１３、車内カメラ１５、タッチパネル１７、スピーカ１９、マイク２１、着座センサ２２、及び加速度センサ２３と通信可能に接続されている。制御部２５は、自動車Ｍに備えられている各種機器からデータを取得する。

【0044】

具体的には、制御部２５は、ＧＰＳ受信機１１からの信号を逐次取得する。

【0045】

制御部２５は、車外カメラ１３及び車内カメラ１５によって撮像された映像を逐次取得する。

【0046】

制御部２５は、タッチパネル１７への入力操作を表す信号を取得する。

【0047】

また、制御部２５は、マイク２１によって収音された自動車Ｍにおける音声を逐次取得する。

【0048】

また、制御部２５は、着座センサ２２によって検出される同乗者の有無を示す情報を逐次取得する。また、制御部２５は、加速度センサ２３によって計測された加速度を示す信号を逐次取得する。

【0049】

通信部２７は、制御部２５の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部２７は、例えば、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）である。

【0050】

通信部２７は、上記したネットワークＮＷに接続されており、種々のデータをサーバ３０との間で送受信する。また、通信部２７は、サーバ３０を介して種々のデータを外部装置４０との間で送受信する。

【0051】

通信部２７は、例えば、自動車Ｍの外部又は内部の映像、現在位置情報及び移動経路等の情報をサーバ３０に送信する。また、通信部２７は、例えば、ビデオ通信に関してタッチパネル１７に表示させるための情報をサーバ３０から受信する。

【0052】

例えば、制御部２５は、ビデオ通信の開始前において、車外カメラ１３又は車内カメラ１５によって撮像された映像、着座センサ２２によるセンサ情報等のデータをサーバ３０に送信する。

【0053】

制御部２５は、ビデオ通信中、通信部２７を介して、車外カメラ１３又は車内カメラ１５によって撮像された映像をサーバ３０に逐次送信する。

【0054】

制御部２５は、通信部２７を介してサーバ３０からビデオ通信の開始や終了に関する表示情報を受信してタッチパネル１７に表示させる。また、制御部２５は、ビデオ通信の開始や終了に関する情報をスピーカ１９から音声によって出力してもよい。

【0055】

例えば、車載装置１０の制御部２５は、通信部２７を介して、車載装置１０の現在位置を特定可能な位置データとしての位置特定情報、すなわち本実施例では自動車Ｍの現在位置の情報をサーバ３０に送信可能である。また、例えば、制御部２５は、通信部２７を介して、サーバ３０にユーザから入力された目的地を含む情報を送信し、サーバ３０から、当該目的地への経路情報またはナビゲーション情報を受信可能である。

【0056】

制御部２５は、通信部２７を介して、ビデオ通信における音声通話のために、マイク２１によって収音された音声の音声データを外部装置４０に送信可能である。また、制御部２５は、通信部２７を介して、ビデオ通信における音声通話のために、外部装置４０に入力された音声の音声データを受信可能である。

【0057】

図４は、サーバ３０の構成を示すブロック図である。例えば、サーバ３０はシステムバスを介して、記憶部３１と、通信部３３と、制御部３５と、が協働している装置である。

【0058】

サーバ３０は、車載装置１０と外部装置４０との間で、自動車Ｍの運転者の状況を示す運転者状況情報を取得し、当該運転者状況情報に基づいて第２装置としての外部装置４０からのビデオ通信の開始の試行に関連する開始関連情報を外部装置４０に表示させる機能を有する。例えば、当該開始関連情報は、外部装置４０のユーザによるビデオ通信の開始のための接続試行を行うか否かの判断に資する情報である。

【0059】

また、サーバ３０は、ビデオ通信中において、車載装置１０と外部装置４０との間の音声通話を確立し、当該音声通話のデータを転送するＳＩＰサーバのような機能を有している。

【0060】

また、サーバ３０は、車載装置１０から自動車Ｍの位置特定情報及び自動車Ｍの乗員であるユーザが設定した目的地の情報を受信し、当該位置特定情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。

【0061】

記憶部３１は、例えば、ハードディスク装置及びＳＳＤ（solid state drive）等により構成されており、オペレーティングシステムや、サーバ３０用のソフトウェア等の各種プログラムを記憶する。

【0062】

各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部３１に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

【0063】

記憶部３１は、例えば、サーバ３０が、通信システム１００におけるビデオ通信の外部装置４０からの開始の試行に関連する開始関連情報を第２装置に表示させる制御を行うための通信プログラムを記憶している。

【0064】

また、記憶部３１は、道路地図を含む地図情報が保存されている地図情報データベース（図示せず）を記憶している。地図情報データベースの地図情報は、例えばナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。

【0065】

通信部３３は、上記したネットワークＮＷに接続されており、種々のデータを車載装置１０及び外部装置４０との間で送受信する。

【0066】

制御部３５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵが、ＲＯＭや記憶部３１に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0067】

制御部３５は、上述の通信プログラムを実行することで、自動車Ｍの運転者の状況に基づいて、通信システム１００における外部装置４０からのビデオ通信の開始の試行に関連する開始関連情報を外部装置４０に表示させる表示制御を実現する。

【0068】

制御部３５は、運転者状況情報取得部３７及び表示制御部３９を含んでいる。

【0069】

運転者状況情報取得部３７は、通信部３３を介して、車載装置１０から自動車Ｍの運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップを実行する機能部である。

【0070】

運転者状況情報取得部３７は、運転者状況情報として、他の音声映像通信が行われているか否かを示す情報を車載装置１０から取得する。運転者状況情報取得部３７は、車載装置１０と、外部装置４０ではない他の装置との間で通信が確立されてビデオ通信が行われているか否かを示す情報を車載装置１０から取得する。

【0071】

また、運転者状況情報取得部３７は、運転者状況情報として、自動車Ｍ内に同乗者が存在するか否かを示す情報を車載装置１０から取得する。運転者状況情報取得部３７は、例えば、自動車Ｍ内に備えられた着座センサのセンサ情報を受信し、当該受信したセンサ情報に基づいて同乗者の有無を示す情報を生成する。

【0072】

また、例えば、運転者状況情報取得部３７は、自動車Ｍの車内カメラ１５の映像を受信し、当該受信した自動車Ｍの内部の映像に基づいて、同乗者の有無を示す情報を生成してもよい。

【0073】

また、運転者状況情報取得部３７は、運転者状況情報として、自動車Ｍの運転者にかかっている運転に関する負荷の大きさを示す運転負荷情報を車載装置１０から取得する。

【0074】

運転者状況情報取得部３７は、例えば、車外カメラ１３によって取得された自動車Ｍの前方の映像を車載装置１０から取得し、当該前方の映像を用いて画像認識を行うことで運転負荷情報を取得する。

【0075】

例えば、運転者状況情報取得部３７は、自動車Ｍの前方の画像を用いた画像認識によって自動車Ｍの運転者にかかっている運転に関する負荷の大きさを推定するワークロード推定を実行し、当該ワークロード推定の結果として、負荷の大きさを示す数値を算出して運転負荷情報とする。

【0076】

当該ワークロード推定において、例えば、直進している場合よりも右左折をしている場合の方が負荷が高いと推定するなど、運転のシチュエーションに応じた負荷の推定が行われる。また、経路が生成されている場合は、例えば、交差点等の案内地点を通過中である場合に負荷が高いと推定されてもよい。

【0077】

当該ワークロード推定には、車外カメラ１３による前方画像に代えて、または当該前方画像に加えて、地図情報又は予め地図情報に紐づけられている画像が用いられても良い。例えば、自動車Ｍの現在位置に対応する交差点の形状等に基づいて、ワークロード推定が行われてもよい。例えば、十字路を通過中よりも三叉路や五差路を通過中に、大きい負荷を示す数値が運転負荷情報として算出されてもよい。

【0078】

なお、上記のワークロード推定は、自動車Ｍの運転者の生体情報に基づいて行われてもよい。その場合、運転者状況情報取得部３７は、例えば、自動車Ｍの運転者の脈拍や脳波等の生体情報を車載装置１０から取得し、当該生体情報に基づいて、運転者の負荷を示す数値を運転負荷情報として算出してもよい。

【0079】

また、運転者状況情報取得部３７は、運転者状況情報として、自動車Ｍの運転者が会話中であるか否かを示す情報を車載装置１０から取得する。運転者状況情報取得部３７は、例えば、自動車Ｍの運転者を撮影した車内カメラ１５の映像又は自動車Ｍ内で収音された音声を車載装置１０から取得し、当該取得した映像又は音声に基づいて、運転者が会話中であるか否かを判定してもよい。

【0080】

図５は、運転者状況情報取得部３７が取得して保持する運転者状況情報の一例を示す図である。例えば、運転者状況情報取得部３７は、図５に示すような運転者状況情報を逐次取得して更新する。

【0081】

例えば、運転者状況情報は、例えばＭＡＣアドレス等の車載装置１０を識別可能な識別子である車載装置ＩＤと、自動車Ｍの運転者の状況を示す情報とを含む。

【0082】

図５に示す例においては、ビデオ通信において運転者の状況を示す状況種別の各々に状況種別ＩＤとしてＳ１～Ｓ４が夫々付されている。図５に示すように、状況種別ＩＤ「Ｓ１」は、運転者が外部装置４０ではない他の外部装置のユーザとの間で「他の音声映像通信中である」という状況を示している。

【0083】

同様に、状況種別ＩＤ「Ｓ２」は、自動車Ｍ内に「現実の同乗者が居る」という状況、状況種別ＩＤ「Ｓ３」は、「運転者の負荷が高い」という状況、状況種別ＩＤ「Ｓ４」は、「運転者が会話中である」という状況を示している。

【0084】

図５中、「当否」欄には、自動車Ｍの運転者の状況が、状況種別Ｓ１～Ｓ４の各々に該当する場合に〇、該当しない場合に×が付されている。

【0085】

図５に示す例においては、状況種別Ｓ１～Ｓ４によって示される状況は、いずれも、運転者がビデオ通信の接続試行に対して応答が困難となり得る状況と考えられる。本実施例において、運転者の状況が応答が困難となり得る状況に該当する場合は、ビデオ通信の接続試行に対して応答が不可能な状況であるとして説明する。

【0086】

本実施例において、例えば、運転者の状況が、図５中の状況種別Ｓ１～Ｓ４のいずれか１つ以上に該当する場合に、ビデオ通信の接続試行に対して応答が不可能な状況と判断される。

【0087】

図５に示す例においては、自動車Ｍの運転者の状況は、「他の音声映像通信中である」という状況種別Ｓ１に該当せず（Ｓ１：×）、「運転者の負荷が高い」という状況種別Ｓ３に該当せず（Ｓ３：×）、「運転者が会話中である」という状況種別Ｓ４に該当しない（Ｓ４：×）が、「現実の同乗者がいる」という状況種別Ｓ２に該当している（Ｓ２：〇）状況である。このような場合、図５に示す例においては、運転者の状況はビデオ通信の接続試行に対して応答が不可能な状況と判断される。

【0088】

なお、運転者状況情報は図５に示した例に限られず、運転者状況情報取得部３７は、例えば、状況種別Ｓ１～Ｓ４のうちの少なくとも１つについて、該当するか否かを示す情報を取得すればよい。なお、運転者状況情報として、状況種別Ｓ１～Ｓ４以外の状況種別がさらに設定されていてもよい。

【0089】

また、運転者状況情報として、いずれの状況種別を使用するかについて、予め設定されていてもよく、運転者が選択して設定可能であってもよい。

【0090】

表示制御部３９は、運転者状況情報に基づいて、ビデオ通信の外部装置４０からの開始の試行に関連する開始関連情報を外部装置４０に表示させる表示制御ステップを実行する機能部である。

【0091】

表示制御部３９は、当該開始関連情報として、運転者状況情報取得部３７が取得した運転者状況情報に基づいて、外部装置４０のユーザによるビデオ通信の開始のための接続試行を行うか否かの判断に資する情報を外部装置４０に表示させる制御を行う。

【0092】

例えば、表示制御部３９は、当該開始関連情報として、運転者がビデオ通信の接続試行に対して応答可能な状況にあるか否かを示す情報を外部装置４０に表示させる。

【0093】

例えば、表示制御部３９は、当該開始関連情報として、ビデオ通信が開始された場合、運転者がビデオ通信における会話等の応対が困難な状況にあるか否かを示す情報を外部装置４０に表示させる。

【0094】

例えば、表示制御部３９は、当該開始関連情報として、外部装置４０からのビデオ通信の開始の試行の後の実行を推奨することを示す情報を外部装置４０に表示させる。

【0095】

例えば、表示制御部３９は、ビデオ通信を行う際の接続に用いられる接続情報としてのＵＲＬ(Uniform Resource Locator)への外部装置４０からのアクセスがあると、運転者状況情報取得部３７が取得した運転者状況情報を参照し、当該運転者状況情報に基づいて、開始関連情報を外部装置４０に表示させる。表示制御部３９は、例えば、運転者状況情報を参照する際に、図５に示した状況種別Ｓ１～Ｓ４のような運転者の状況を示す複数の状況種別を全て参照してもよく、当該複数の状況種別の一部のみを参照してもよい。

【0096】

例えば、表示制御部３９は、運転者状況情報に基づいて、運転者の状況がビデオ通信の接続試行に対する応答が可能な状況であるか否かの判定を行う。例えば、表示制御部３９は、図５に示した例において、運転者状況情報の状況種別Ｓ１～Ｓ４のいずれかに該当する場合に、ビデオ通信の接続試行に対する応答が不可能であると判定してもよい。

【0097】

例えば、当該判定の結果、運転者の状況が応答可能な状況である場合、表示制御部３９は、自動車Ｍの運転者はビデオ通信の接続試行に対する応答が可能な状況にあることを示す情報を外部装置４０に表示させる。

【0098】

例えば、当該判定の結果、運転者の状況が接続試行に対して応答不可能な状況である場合、表示制御部３９は、自動車Ｍの運転者はビデオ通信の接続試行に対する応答が不可能な状況にあることを示す情報を外部装置４０に表示させる。又は、表示制御部３９は、運転者の状況が応答不可能な状況である場合、外部装置４０からのビデオ通信の開始の試行の後の実行を推奨することを示す情報を外部装置４０に表示させてもよい。

【0099】

例えば、自動車Ｍの運転者が運転に集中していて余裕がないなどの運転の負荷が高いタイミングで、外部装置４０からのビデオ通信の開始の試行がなされ、車載装置１０において運転者への通知がなされると、運転者の注意力が削がれたり、パニックになったりして、運転に支障をきたす可能性がある。

【0100】

また、例えば、運転者が外部装置４０ではない他の装置との間でビデオ通信を行っているタイミング、自動車Ｍ内に同乗者が居るタイミング、又は自動車Ｍ内や他の通話相手との会話中であるタイミング等のタイミングで外部装置４０とのビデオ通信が開始されて、自動車Ｍにおける車外カメラ１３や車内カメラ１５の映像や車内の音声が外部装置４０に送信されると、運転者にとって都合が悪い場合もある。

【0101】

例えば、このようなタイミングで、外部装置４０のユーザがビデオ通信の接続試行を行っても、運転者は、ビデオ通信の開始を承諾しない蓋然性が高く、ビデオ通信を開始できない可能性が高い。このような場合、外部装置４０のユーザは、何度も接続試行を行わなければならず、手間がかかり、ストレスになることが考えられる。

【0102】

また、このようなタイミングでビデオ通信を開始したとしても、運転者は、満足に会話等の応対ができないと考えられる。

【0103】

本実施例においては、上記のような運転の負荷が高いタイミングや運転者にとって都合の悪いタイミングを、運転者がビデオ通信の接続試行に対する応答が不可能なタイミングであるとする。

【0104】

本実施例では、上記したように、サーバ３０の表示制御部３９が、運転者状況情報に基づいて、外部装置４０からのビデオ通信の開始の試行に関連する開始関連情報を外部装置４０に表示させる。

【0105】

これによって、外部装置４０のユーザは、例えば運転者が応答可能な状況にあるか否かを事前に知ることができる。さらに、当該ユーザは、外部装置４０に表示された情報に基づいて、運転者が通話等の応答が可能である蓋然性が高いタイミングで接続試行を行うことができ、スムーズにビデオ通信を開始することができる。また、運転者にとっては、応答できないタイミングでビデオ通信の開始の試行がなされることがなくなり、ストレスが軽減される。

【0106】

制御部３５は、通信部３３を介して、車載装置１０から自動車Ｍの現在位置を示す位置情報を取得する。また、制御部３５は、通信部３３を介して、車載装置１０から自動車Ｍの乗員が車載装置１０に入力した目的地の情報を取得する。制御部３５は、当該位置情報及び目的地の情報に基づいて、当該目的地までの経路を生成し、当該経路を示す情報を車載装置１０に送信する。

【0107】

また、制御部３５は、通信部３３を介して、車載装置１０から受信した映像及び音声を外部装置４０に転送する。制御部３５は、通信部３３を介して、外部装置４０から受信した音声を車載装置１０に転送する。

【0108】

図６は、外部装置４０の正面図である。上述のように、本実施例において、外部装置４０はスマートフォンである。

【0109】

タッチパネル４１は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル４１は、ユーザから受け付けたタッチパネル４１への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル４１には、車載装置１０から配信された映像が表示される。

【0110】

また、タッチパネル４１には、ビデオ通信に関する情報が表示され、ビデオ通信の接続を開始するための操作の受付画面が表示される。外部装置４０のユーザは、タッチパネル４１への入力操作によって、ビデオ通信の開始のための入力操作を行うことが可能である。

【0111】

スピーカ４３は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ４３からは、音声通話における車載装置１０からの音声が発せられる。

【0112】

マイク４５は、外部装置４０に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク４５によって収音された音声が音声通話の音声としてサーバ３０を介して車載装置１０に送信される。

【0113】

図７は、外部装置４０の構成の一例を示すブロック図である。例えば、外部装置４０は、システムバス（図示せず）を介して、記憶部４７と、制御部４９と、通信部５１と、が協働する装置である。

【0114】

記憶部４７は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、外部装置４０用のソフトウェア等の各種プログラムを記憶する。

【0115】

なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部４７に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

【0116】

制御部４９は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵがＲＯＭや記憶部４７に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0117】

制御部４９は、タッチパネル４１、スピーカ４３及びマイク４５に通信可能に接続されている。

【0118】

制御部４９は、タッチパネル４１への入力操作を示す信号及びマイク４５からの音声入力信号を受信することが可能である。例えば、制御部４９は、タッチパネル４１及びマイク４５によってユーザからなされたビデオ通信の開始のための入力操作を受け付けることが可能である。

【0119】

また、制御部４９は、タッチパネル４１に映像または画像信号を送信して表示をさせたり、スピーカ４３に音声信号を送信して、音を出力させたりすることが可能である。

【0120】

例えば、制御部４９は、ビデオ通信の開始の要求を受け付けるための開始画面や自動車Ｍの運転者が応答可能か否かを示す画面をタッチパネル４１に表示させる。

【0121】

また、例えば、制御部４９は、ビデオ通信中における映像をタッチパネル４１に表示させ、自動車Ｍにおいて収音されたビデオ通信中における音声をスピーカ４３に出力させる。

【0122】

通信部５１は、上記したネットワークＮＷに接続されており、種々のデータをサーバ３０との間で送受信する。また、通信部５１は、車載装置１０から送信された映像を始めとして、種々のデータを車載装置１０との間でサーバ３０を介して送受信する。

【0123】

外部装置４０の制御部４９は、通信部５１を介して、ビデオ通信の開始の要求を受け付けるための開始画面や自動車Ｍの運転者が応答可能か否かを示す画面を表示させるための情報を受信可能である。

【0124】

また、制御部４９は、通信部５１を介して、ビデオ通信における音声通話のために、マイク４５によって収音された音声の音声データを車載装置１０に送信可能である。また、制御部４９は、通信部５１を介して、ビデオ通信における音声通話のために、車載装置１０から送信された音声データを受信可能である。

【0125】

例えば、外部装置４０の制御部４９は、通信部５１を介して、サーバ３０から車載装置１０から送信された自動車Ｍの現在位置を特定可能な位置特定情報を受信可能である。また、例えば、制御部４９は、通信部５１を介して、サーバ３０から、自動車Ｍの経路情報またはナビゲーション情報を受信可能である。

【0126】

［２．ビデオ通信の開始］
図８は、通信システム１００においてビデオ通信が開始される際に、車載装置１０と外部装置４０との間でサーバ３０を介して行われる通信の一例を示すシーケンス図である。以下、車載装置１０のユーザである運転者が、自動車Ｍを運転する際に外部装置４０のユーザである仮想同乗者との間でビデオ通信を行うことを予定している場合について説明する。

【0127】

図８に示すように、運転者は、外部装置４０との間で行うビデオ通信の相手である仮想同乗者の連絡先を事前にサーバ３０に登録しておく（ステップＳ１１）。

【0128】

仮想同乗者の登録において、例えば、ニックネーム等の仮想同乗者を識別可能な名前と、仮想同乗者に情報を送信するために必要なメールアドレス又は電話番号等の宛先を示す情報との組を含む登録情報がサーバ３０に送信され、サーバ３０によって保持される。当該登録情報には、例えば、車載装置１０を識別可能な識別子が含まれる。

【0129】

当該仮想同乗者の登録は、車載装置１０のタッチパネル４１を介して行われるが、これに限られず、車載装置１０以外の、自動車Ｍの運転者が利用しているスマートフォン等の端末装置への入力情報がサーバ３０に送信されることによって行われてもよい。

【0130】

運転者が仮想同乗者の連絡先を事前に登録するタイミングは、例えば自動車Ｍの運転中のビデオ通信を予定している日の前日以前であってもよく、当該ビデオ通信の直前であってもよい。

【0131】

その後、運転者は、自動車Ｍの運転を開始すると、外部装置４０への招待メールの送信を指示する入力操作を車載装置１０に対して行う。当該入力操作は、車載装置１０のタッチパネル１７を介して行われてもよく、マイク２１を介して音声によって行われてもよい。

【0132】

運転者の入力操作によって、招待メール送信要求がサーバ３０に送信される（ステップＳ１２）。招待メール送信要求には、例えば、事前に登録されていた仮想同乗者が使用するメールアドレス又は外部装置４０の電話番号等の宛先を示す情報及び仮想同乗者を識別可能なニックネームが含まれる。

【0133】

サーバ３０は、招待メール送信要求を受信すると、招待メール送信要求に含まれる外部装置４０の宛先に招待メールを送信する（ステップＳ１３）。招待メールには、仮想同乗者がビデオ通信を行うための開始画面を開くためのＵＲＬが含まれる。

【0134】

仮想同乗者が、外部装置４０を用いて招待メールを開き、ＵＲＬをタップすると（ステップＳ１４）、サーバ３０によって、運転者の状況の判定が行われる（ステップＳ１５）。

【0135】

図８のステップＳ１５に示すように、運転者の状況が、ビデオ通信の接続試行に対して応答可能な状況である場合、ブラウザが立ち上がり、外部装置４０のタッチパネル４１に、仮想同乗者がビデオ通信の開始を希望する場合に操作するための開始画面が提示される（ステップＳ１６）。

【0136】

図９は、ステップＳ１６において外部装置４０のタッチパネル４１に表示される表示画面の一例を示す図である。図９に示すように、例えば、開始画面には、ビデオ通信の開始の要求を受け付けるための表示領域である開始ボタンが含まれる。

【0137】

開始画面には、例えば、運転者からビデオ通信の接続試行に対して応答が可能であることを示すメッセージが表示されてもよい。また、図９に示すように、当該開始画面には、本人確認のための識別情報を入力するための入力欄が設けられていてもよい。例えば、本人確認は、当該入力欄への電話番号の下４桁の入力によって行われてもよい。

【0138】

なお、開始画面からビデオ通信に関する利用規約及びプライバシーポリシーを確認できるようになっていてもよく、例えば、開始ボタンを押すと、当該利用規約及びプライバシーポリシーに同意したものとされる旨の表示がされていてもよい。

【0139】

仮想同乗者が開始ボタンをタップすると、ユーザによる開始ボタンの操作が受け付けられ（ステップＳ１７）、ビデオ通信の開始の要求がサーバ３０に送信される（ステップＳ１８）。

【0140】

サーバ３０は、ビデオ通信の開始の要求を受信すると、外部装置４０からのビデオ通信の開始の要求があったことを車載装置１０に通知することで、ビデオ通信の接続試行が行われる（ステップＳ１９）。

【0141】

ステップＳ１９において、例えば、車載装置１０がサーバ３０からの通知を受信すると、ビデオ通信の開始について承諾するか否かの選択ボタンがタッチパネル１７に表示される。例えば、運転者が承諾ボタンをタップすると、運転者がビデオ通信の開始を承諾したことを示す情報がサーバ３０に送信される（ステップＳ２０）。

【0142】

サーバ３０は、運転者がビデオ通信の開始を承諾したことを示す情報を受信すると、車載装置１０と外部装置４０との間の音声通話を確立させつつ、自動車Ｍにおいて撮影された映像を車載装置１０から外部装置４０に配信させるビデオ通信を開始する（ステップＳ２１）。

【0143】

このようにして、運転者がビデオ通信の接続試行に対して応答可能な状況にある場合、車載装置１０と外部装置４０とは、サーバ３０を介してビデオ通信を開始する。

【0144】

［３．サーバの動作］
以下、実施例の通信システム１００の動作を実現するためのサーバ３０の制御ルーチンについて説明する。以下、運転者状況情報取得部３７は、例えば、サーバ３０において招待メールの送信要求（図８、ステップＳ１２）が受信された後、運転者状況情報を随時取得し、最新の運転者状況情報を保持しているものとして説明する。

【0145】

図１０は、サーバ３０の表示制御部３９によって実行される表示制御ルーチンＲＴ１を示すフローチャートである。表示制御部３９は、例えば、サーバ３０に電源が投入されると、表示制御ルーチンＲＴ１を開始する。

【0146】

表示制御部３９は、表示制御ルーチンＲＴ１を開始すると、所定時間内にサーバ３０から外部装置４０に招待メールが送信されたか否かを判定する（ステップＳ１０１）。

【0147】

ステップＳ１０１において、表示制御部３９は、所定時間内にサーバ３０から外部装置４０に招待メールが送信されていないと判定する（ステップＳ１０１：ＮＯ）と、表示制御ルーチンＲＴ１を終了し、次の表示制御ルーチンＲＴ１を開始して、再びステップＳ１０１を実行する。

【0148】

ステップＳ１０１において、表示制御部３９は、所定時間内にサーバ３０から外部装置４０に招待メールが送信されたと判定する（ステップＳ１０１：ＹＥＳ）と、招待メールに含まれるＵＲＬへのアクセスがあったか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、例えば、仮想同乗者が外部装置４０を用いて招待メールに含まれるＵＲＬをタップし、外部装置４０が当該ＵＲＬにアクセスすると、招待メールに含まれるＵＲＬへのアクセスがあったと判定される。

【0149】

ステップＳ１０２において、表示制御部３９は、ＵＲＬへのアクセスが無いと判定する（ステップＳ１０２：ＮＯ）と、表示制御ルーチンＲＴ１を終了し、次の表示制御ルーチンＲＴ１を開始する。

【0150】

ステップＳ１０２において、表示制御部３９は、ＵＲＬへのアクセスがあったと判定する（ステップＳ１０２：ＹＥＳ）と、運転者状況情報取得部３７によって取得された運転者状況情報を参照する（ステップＳ１０３）。

【0151】

ステップＳ１０３において、表示制御部３９は、例えば図５に示したように、他のビデオ通信の有無、現実の同乗者の有無等を示す運転者状況情報を参照する。

【0152】

表示制御部３９は、ステップＳ１０３の実行後、運転者状況情報に基づいて、運転者はビデオ通信の接続試行に対する応答が可能な状況にあるか否かを判定する（ステップＳ１０４）。ステップＳ１０４において、例えば、運転者の状況を示す複数の状況種別の各々に該当するか否かに基づいて、運転者が応答可能な状況にあるか否かを判定する。

【0153】

ステップＳ１０４において、例えば、図５に例示したように、運転者がビデオ通信の接続試行に対する応答が困難となりうる状況を示す複数の状況種別のいずれかに該当する場合に、運転者がビデオ通信の接続試行に対する応答が不可能であると判定される。

【0154】

ステップＳ１０４において、表示制御部３９は、運転者は応答可能であると判定する（ステップＳ１０４：ＹＥＳ）と、ビデオ通信の開始に関する情報の提示及び操作入力の受付を行うための開始画面を外部装置４０のタッチパネル４１に表示させる（ステップＳ１０５）。ステップＳ１０５において、例えば、表示制御部３９は、図９に示したような開始ボタンを含む開始画面を外部装置４０に表示させる。

【0155】

ステップＳ１０４において、表示制御部３９は、運転者は応答不可能であると判定する（ステップＳ１０４：ＮＯ）と、運転者がビデオ通信の接続試行に対する応答が不可能である旨のメッセージを外部装置４０のタッチパネル４１に表示させる（ステップＳ１０６）。

【0156】

図１１は、ステップＳ１０６において、外部装置４０のタッチパネル４１に表示される応答不可画面の一例を示す図である。図１１に示すように、開始画面とともに、運転者がビデオ通信の接続試行に対して応答可能な状況にあるか否かを示す情報として、「〇〇さんは、只今応答できません」というメッセージが表示されている。

【0157】

また、図１１に示す例においては、外部装置４０からのビデオ通信の開始の試行の後の実行を推奨することを示す情報として、「後ほどの開始をおすすめします」というメッセージが表示されている。このような後の実行を推奨する旨のメッセージは、図１１に示すように応答不可能である旨のメッセージとともに表示されてもよく、応答不可能である旨のメッセージに代えて表示されてもよい。

【0158】

図１２は、ステップＳ１０６において、外部装置４０のタッチパネル４１に表示される応答不可画面の他の一例を示す図である。図１２に示す例においては、開始画面とともに、同乗者が存在するという運転者の状況を示した上で、ビデオ通信を開始できない旨のメッセージが表示されている。

【0159】

例えば、図１１又は図１２に示すような応答不可画面が表示された場合、仮想同乗者は、開始ボタンを押すこともできるが、この場合、自動車Ｍの運転者によってビデオ通信の開始が承諾されない可能性が高い。従って、仮想同乗者は、一旦は開始ボタンを押さないという判断をすることができ、時間をおいてから再度ＵＲＬへのアクセスを行って、外部装置４０のタッチパネル４１に表示される開始画面又は開始不可画面を確認することができる。従って、仮想同乗者は、何度も開始ボタンを押して接続試行を行う手間が省ける。

【0160】

表示制御部３９は、ステップＳ１０５又はステップＳ１０６の実行後、表示制御ルーチンＲＴ１を終了し、次の表示制御ルーチンを新たに開始する。

【0161】

なお、本実施例においては、運転者の運転の負荷が高い状況や運転者にとって都合の悪い状況等の状況をビデオ通信の接続試行に対して応答が困難となり得る状況と考えて、運転者の状況がこのような状況に該当する場合にはビデオ通信の接続試行に対する応答が不可能な状況と判断する場合について説明したが、これに限られない。

【0162】

運転の負荷が高い状況や運転者にとって都合の悪い状況を、ビデオ通信が開始されても会話等の応対が困難である状況として取り扱ってもよい。その場合は、例えば、表示制御部３９は、表示制御ルーチンＲＴ１のステップＳ１０４において、ビデオ通信中の応対が困難であるか否かを判定し、ステップＳ１０６において、運転者はビデオ通信が開始されても会話等の応対が困難であることを示す情報を外部装置４０に表示させるようにしてもよい。

【0163】

また、例えば、状況の種別毎に、ビデオ通信の接続試行に対する応答が不可能な状況又はビデオ通信中の会話等の応対が困難な状況として取り扱われてもよい。例えば、他のビデオ通信中である状況や運転の負荷が高い状況はビデオ通信の接続試行に対する応答が不可能な状況とし、同乗者が居る場合や運転者が会話中である場合はビデオ通信中の会話等の応対が困難な状況としてもよい。

【0164】

以上、詳細に説明したように、本実施例の通信システム１００は、サーバ３０を介して、第１装置としての車載装置１０と第２装置としての外部装置４０との間で音声通話を成立させつつ、車載装置１０が搭載されている自動車Ｍにおける映像を外部装置４０に送信するビデオ通信を行うことが可能である。

【0165】

本実施例の通信システム１００は、車載装置１０から移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、運転者状況情報に基づいて、ビデオ通信の外部装置４０からの開始の試行に関連する開始関連情報を外部装置４０に表示させる表示制御部と、を有する。

【0166】

例えば、当該開始関連情報は、外部装置４０のユーザである仮想同乗者によるビデオ通信の開始のための接続試行を行うか否かの判断に資する情報である。

【0167】

例えば、表示制御部は、開始関連情報として、自動車Ｍの運転者がビデオ通信の開始の試行に対して応答可能な状況にあるか否かを示す情報を外部装置４０に表示させることができる。

【0168】

また、例えば、表示制御部は、開始関連情報として、外部装置４０からのビデオ通信の開始の試行の後の実行を推奨することを示す情報を外部装置４０に表示させることができる。

【0169】

このような構成により、外部装置４０のユーザである仮想同乗者にとっては、外部装置４０に表示される開始関連情報を確認することで、当該開始関連情報に基づいて、ビデオ通信のための接続試行を行うか否かの判断をすることができる。

【0170】

仮想同乗者は、外部装置４０に表示される情報を確認することで、例えば運転者にとって通話等が可能なタイミングか否かを事前に把握することができ、接続試行を行う良いタイミングを計ることができる。従って、仮想同乗者は、自動車Ｍの運転者からビデオ通信の接続試行に対して応答が可能である蓋然性が高いタイミングでビデオ通信の開始を試みることができ、何度も接続試行を行う手間を省くことができる。また、仮想同乗者は、ビデオ通信を開始できたとしても、運転者が満足に会話等の応対ができないような状況を回避することができる。

【0171】

車載装置１０のユーザである自動車Ｍの運転者にとっては、例えばビデオ通信の応答が困難な状況下で何度も接続要求の通知が来ることを回避できる。従って、運転者は、運転中に承諾等の操作をする必要もなく、運転中にビデオ通信に関する通知が来ることでパニックになることを回避できる。

【0172】

つまり、車載装置１０及び外部装置４０の双方のユーザにとって、ストレスなくスムーズにビデオ通信を開始できる。

【0173】

従って、本実施例によれば、移動体内の第１装置と移動体外の第２装置との間の通信において、第２装置からの接続試行を第１装置からの応答が可能である蓋然性が高いタイミングで行うことを可能にし、円滑に通信を開始することを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することができる。

【0174】

［変形例］
図１３は、実施例の通信システム１００の変形例における車載装置６０の構成の一例を示すブロック図である。上記の実施例においてサーバ３０が有する運転者状況情報取得部３７及び表示制御部３９の機能を、本変形例においては車載装置６０が有している。

【0175】

具体的には、車載装置６０の制御部６１は、運転者状況情報取得部６３と、表示制御部６５とを有している。また、記憶部６７は、運転者状況情報に基づいて、外部装置４０からのビデオ通信の開始の試行に関連する開始関連情報を外部装置４０に表示させるための通信プログラムを記憶している。

【0176】

制御部６１は、車載装置１０の制御部３５と同様に、自動車Ｍに備えられた各種機器に通信可能に接続されている。

【0177】

例えば、車載装置６０が外部装置４０からのビデオ通信に用いられるＵＲＬへのアクセスがなされると、運転者状況情報取得部６３が、車載装置６０が搭載されている自動車Ｍの運転者の状況を示す運転者状況情報を取得する。

【0178】

例えば、運転者状況情報取得部６３は、運転者状況情報として、他の音声映像通信が行われているか否かを示す情報を取得する。運転者状況情報取得部６３は、車載装置１０と、外部装置４０ではない他の装置との間で通信が確立されてビデオ通信が行われているか否かを示す情報を取得する。

【0179】

また、運転者状況情報取得部６３は、運転者状況情報として、自動車Ｍ内に同乗者が存在するか否かを示す情報を取得する。運転者状況情報取得部６３は、例えば、自動車Ｍ内に備えられた着座センサのセンサ情報を受信し、当該受信したセンサ情報に基づいて同乗者の有無を示す情報を生成する。また、例えば、運転者状況情報取得部６３は、自動車Ｍの車内カメラ１５の映像を受信し、当該受信した自動車Ｍの内部の映像に基づいて、同乗者の有無を示す情報を生成してもよい。

【0180】

また、運転者状況情報取得部６３は、運転者状況情報として、自動車Ｍの運転者にかかっている運転に関する負荷の大きさを示す運転負荷情報を取得する。

【0181】

また、運転者状況情報取得部６３は、運転者状況情報として、自動車Ｍの運転者が会話中であるか否かを示す情報を取得する。運転者状況情報取得部６３は、例えば、自動車Ｍの運転者を撮影した車内カメラ１５の映像又は自動車Ｍ内で収音された音声に基づいて、運転者が会話中であるか否かを判定してもよい。

【0182】

車載装置６０の表示制御部６５は、運転者状況情報取得部６３が取得した運転者状況情報に基づいて、ビデオ通信の外部装置４０からの開始の試行に関連する開始関連情報を外部装置４０に表示させる制御を行う。当該開始関連情報は、例えば、外部装置４０のユーザによるビデオ通信の開始のための接続試行を行うか否かの判断に資する情報である。

【0183】

例えば、表示制御部６５は、開始関連情報として、運転者がビデオ通信の接続試行に対して応答可能な状況にあるか否かを示す情報を外部装置４０に表示させる。

【0184】

また、例えば、表示制御部６５は、開始関連情報として、外部装置４０のビデオ通信の開始の試行の後の実行を推奨することを示す情報を外部装置４０に表示させる。

【0185】

本変形例によれば、外部装置４０と車載装置６０との間のビデオ通信に関して、車載装置６０は、サーバ３０を介さずとも運転者状況情報に基づいて開始関連情報を外部装置４０に表示させる表示制御が可能である。

【0186】

また、本変形例によれば、サーバ３０を介さずに、外部装置４０と車載装置６０との間でビデオ通信を行うことが可能である。例えば、本変形例におけるビデオ通信は、サーバ３０を介さずに、車載装置１０と外部装置４０との間でＰ２Ｐ（Peer to Peer）通信などによって直接なされてもよい。

【0187】

上述した実施例及び変形例における車載装置１０、車載装置６０、サーバ３０及び外部装置４０の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。

【0188】

例えば、上記の実施例及び変形例において、外部装置４０からの開始の要求を受け付ける態様として、タッチパネル４１に表示された開始ボタンをタップする例について説明したが、これに限られない。当該開始の要求は、例えば、音声による入力操作によって受付けられてもよい。

【0189】

上記の実施例及び変形例においては、通信システム１００においてビデオ通信を行う例について説明したが、これに限られない。本発明は、通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける音声及び映像を第２装置としての外部装置４０に送信する音声映像通信を行う場合に適用可能である。つまり、本発明は、外部装置４０からは音声が送信されない態様での通信にも適用可能である。

【0190】

また、車載装置１０と外部装置４０は、必ずしも音声通話が出来なくともよい。例えば、車載装置１０と外部装置４０との間の通信態様は、ＹｏｕＴｕｂｅ（登録商標）やニコニコ生放送（登録商標）のように、双方向の音声通話を伴わず単に車載装置１０から外部装置４０に映像及び音声が配信される態様であっても良い。

【0191】

また、上記の実施例においては、車載装置１０と外部装置４０とがサーバ３０を介してビデオ通信を行うこととしたが、ビデオ通信は車載装置１０と外部装置４０との間で直接なされてもよい。

【0192】

また、通信システム１００で車載装置１０から外部装置４０に上記映像配信が行われつつ、通信システム１００とは別の経路で並行して車載装置１０と外部装置４０との間の音声通話が確立されていても良い。

【0193】

上記実施例及び変形例において、車載装置１０及び車載装置６０は、車載ナビゲーション装置であるとしたが、車載装置１０又は車載装置６０は、単に車外カメラ１３又は車内カメラ１５からの動画を配信可能であればよい。

【0194】

例えば、車載装置１０は、車載装置１０と同様の構成を有する端末装置と車外カメラ１３とタッチパネル１７とが一体化された構成であってもよい。具体的には、例えば、車載装置１０は、上記車載装置１０と同様の機能を発揮するアプリケーションを搭載したカメラ付きのスマートフォン、タブレットまたはＰＣ等の端末装置であってもよい。この場合、車載装置１０は、内蔵カメラが自動車Ｍのフロントガラスを通して自動車Ｍの前方を撮影可能なように、例えばクレードル等でダッシュボードＤＢ上に取り付けられ得る。

【0195】

また、車載装置１０は、自動車Ｍの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置１０は、ドライブレコーダのような構成を有していてもよく、例えば、車外カメラ１３と一体となった装置であってもよい。具体的には、車載装置１０は、例えば、車外カメラ１３の筐体内に上記した車載装置１０のビデオ通信機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置１０は、上記において説明したような種々の表示出力を行わないこととしてもよい。

【0196】

上記の実施例及び変形例において、外部装置４０はスマートフォンである場合について説明したが、これに限られない。外部装置４０は、仮想同乗者がビデオ通信に利用できる端末装置であって、ビデオ通信に関する表示又はメッセージの提示、ビデオ通信を行うために必要な操作入力の受付、音声データの送受信並びに映像の受信及び表示が可能に構成されていればよい。例えば、外部装置４０は、タブレット、ＰＣ、ウェアラブル端末等の端末装置であってもよい。

【0197】

上記の実施例及び変形例においては、車載装置１０及び車載装置６０が自動車Ｍに搭載される例を説明したが、車載装置１０は、自転車、バイク、船舶等他の移動体に搭載されていてもよい。また、車載装置１０がスマートフォンのようなカメラを内蔵したものであり、これを人が保持しており、例えば歩きながらビデオ通信を行って映像を配信することしてもよい。

【符号の説明】

【0198】

１０、６０ 車載装置
１３ 車外カメラ
１５ 車内カメラ
１７ タッチパネル
１９ スピーカ
２１ マイク
２２ 着座センサ
２３ 加速度センサ
２４ 記憶部
２５ 制御部
２７ 通信部
３０ サーバ
３１ 記憶部
３３ 通信部
３５ 制御部
３７ 運転者状況情報取得部
３９ 表示制御部
４０ 外部装置
４１ タッチパネル
４３ スピーカ
４５ マイク
４７ 記憶部
４９ 制御部
５１ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】