特開 2024-90876 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024090876

(43)【公開日】2024-07-04

(54)【発明の名称】通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240627BHJP

   G08G 1/09 20060101ALI20240627BHJP

   H04N 7/18 20060101ALI20240627BHJP

【ＦＩ】

G08G1/16 A

G08G1/09 F

H04N7/18 U

H04N7/18 J

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022207057

(22)【出願日】2022-12-23

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】床井 晶勅

(72)【発明者】

【氏名】根岸 廣人

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA07

5C054EA03

5C054EA05

5C054FC12

5C054FE13

5C054FE16

5C054FE26

5C054HA30

5H181AA01

5H181BB04

5H181CC04

5H181CC12

5H181CC27

5H181LL01

5H181LL04

5H181LL08

(57)【要約】      （修正有）

【課題】移動体から移動体外に画像を送信するシステムにおいて、移動体の運転者の状況に応じて適切な画像が送信されることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的とする。
【解決手段】移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する。前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付部と、前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信部とを有す。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムであって、
前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付部と、
前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、
前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信部と、
を有することを特徴とする通信システム。

【請求項2】

前記送信部は、前記運転負荷が閾値以上である場合に、前記取得画像を前記第２装置に送信することを特徴とする請求項１に記載の通信システム。

【請求項3】

前記運転負荷が閾値以上である場合に、前記受付部が前記領域の指定を受け付けたとしても、前記送信部は前記ユーザ指定拡大画像を前記第２装置に送信しないことを特徴とする請求項１に記載の通信システム。

【請求項4】

前記送信部は、前記運転負荷が閾値以上である場合に、前記受付部が前記領域の指定を受け付けると、前記運転者の運転負荷が高い旨の警告又は前記ユーザ指定拡大画像を送信できない旨の警告を前記第２装置に提示させるための情報を前記第２装置に送信することを特徴とする請求項１に記載の通信システム。

【請求項5】

前記画像生成部は、前記取得画像中の１又は複数の物体の各々を含む領域に印を付して選択画像を生成し、
前記送信部は、前記選択画像を前記第２装置に送信し、
前記受付部は、前記第２装置において表示された前記選択画像中の前記印を選択する入力操作を受け付けることで前記領域の指定を受け付けることを特徴とする請求項１に記載の通信システム。

【請求項6】

移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムであって、
前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付部と、
前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、
前記運転負荷が閾値よりも低い場合に、前記ユーザ指定拡大画像を前記第２装置に送信する送信部と、を有することを特徴とする通信システム。

【請求項7】

移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムであって、
前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付部と、
前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、
前記運転負荷の高さに応じて前記ユーザ指定拡大画像又は前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信部と、を有し、
前記送信部は、前記運転負荷が閾値以上であり、かつ、前記取得画像中の前記領域の指定がなされた領域に特定種の対象物が写っている場合には、前記ユーザ指定拡大画像を前記第２装置に送信することを特徴とする通信システム。

【請求項8】

前記特定種の対象物は移動体であることを特徴とする請求項７に記載の通信システム。

【請求項9】

前記特定種の対象物は前記取得画像中の運転時に注意が必要な物体であることを特徴とする請求項７に記載の通信システム。

【請求項10】

移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、
前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、
前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付ステップと、
前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成ステップと、
前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信ステップと、
を含むことを特徴とする通信方法。

【請求項11】

コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、
前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、
前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付ステップと、
前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成ステップと、
前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信ステップと、
を実行させるための通信プログラム。

【請求項12】

コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムに、
前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、
前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付ステップと、
前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成ステップと、
前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信ステップと、
を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体。

【請求項13】

移動体と共に移動し、前記移動体における画像である取得画像に基づく画像を取得して他の装置に送信し、かつ、前記他の装置から音声を受信する音声映像通信を行う通信装置であって、
前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
前記他の装置への前記他の装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付部と、
前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、
前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記他の装置に送信する送信部と、
を有することを特徴とする通信装置。

【請求項14】

移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行うサーバ装置であって、
前記第１装置から前記取得画像を取得する画像取得部と、
前記移動体において検出された検出情報を前記第１装置から取得し、前記検出情報に基づいて前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
前記第２装置への前記第２装置のユーザの入力操作を示す情報を前記第２装置から受信して、前記取得画像中の領域の指定を受け付ける受付部と、
前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、
前記運転負荷が閾値よりも低い場合に、前記ユーザ指定拡大画像を前記第２装置に送信し、かつ、前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信部と、
を有することを特徴とするサーバ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関し、例えば、移動体からの画像をユーザに提供可能な通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関する。

【背景技術】

【0002】

車両から撮像された画像に何らかの加工を施して表示する装置が知られている。

【0003】

例えば、特許文献１には、画像認識によって撮影画像データから道路標識等の対象物を認識し、当該対象物を認識しやすいように撮影画像データを補正して車内のモニタに表示する画像表示システムが開示されている。引用文献１には、当該対象物について、予め登録されている固定情報である場合の他、画像表示システムのタッチパネル等から選択または入力される可変情報である場合について開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－２９６９４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１のような画像表示システムを用いて、車両から撮影された撮影画像をその車両の外部に位置する車外端末の表示画面に表示する場合を考える。当該車外端末のユーザが運転の補助をする観点からいえば、撮影画像中の特定の対象物を認識し易いような画像を常に送信していても、対象物以外の周囲の歩行者や他車両等に注意を払う必要がある場合に、外部端末のユーザが、運転者が注意すべきものに気づきにくくなり、運転者に適切かつ必要な注意喚起ができなくなる場合があることが課題の一つとして挙げられる。

【0006】

本発明は上記した点に鑑みてなされたものであり、移動体から移動体外に画像を送信するシステムにおいて、移動体の運転者の状況に応じて適切な画像が送信されることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の１つとしている。

【課題を解決するための手段】

【0007】

請求項１に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムであって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付部と、前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信部と、を有することを特徴とする通信システムである。

【0008】

請求項６に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムであって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付部と、前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、前記運転負荷が閾値よりも低い場合に、前記ユーザ指定拡大画像を前記第２装置に送信する送信部と、を有することを特徴とする通信システムである。

【0009】

請求項７に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムであって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付部と、前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、前記運転負荷の高さに応じて前記ユーザ指定拡大画像又は前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信部と、を有し、前記送信部は、前記運転負荷が閾値以上であり、かつ、前記取得画像中の前記領域の指定がなされた領域に特定種の対象物が写っている場合には、前記ユーザ指定拡大画像を前記第２装置に送信することを特徴とする通信システムである。

【0010】

請求項１０に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付ステップと、前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成ステップと、前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信ステップと、を含むことを特徴とする通信方法である。

【0011】

請求項１１に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付ステップと、前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成ステップと、前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信ステップと、
を実行させるための通信プログラムである。

【0012】

請求項１２に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムに、前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、前記第２装置への前記第２装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付ステップと、前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成ステップと、前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信ステップと、を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体である。

【0013】

請求項１３に記載の発明は、移動体と共に移動し、前記移動体における画像である取得画像に基づく画像を取得して他の装置に送信し、かつ、前記他の装置から音声を受信する音声映像通信を行う通信装置であって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記他の装置への前記他の装置のユーザの入力操作を介して前記取得画像中の領域の指定を受け付ける受付部と、前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記他の装置に送信する送信部と、を有することを特徴とする通信装置である。

【0014】

請求項１４に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における画像である取得画像に基づく画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行うサーバ装置であって、前記第１装置から前記取得画像を取得する画像取得部と、前記移動体において検出された検出情報を前記第１装置から取得し、前記検出情報に基づいて前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記第２装置への前記第２装置のユーザの入力操作を示す情報を前記第２装置から受信して、前記取得画像中の領域の指定を受け付ける受付部と、前記領域の指定に基づいて前記取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、前記運転負荷が閾値よりも低い場合に、前記ユーザ指定拡大画像を前記第２装置に送信し、かつ、前記運転負荷が閾値以上である場合に、前記ユーザ指定拡大画像以外の前記取得画像に基づく画像を前記第２装置に送信する送信部と、を有することを特徴とするサーバ装置である。

【図面の簡単な説明】

【0015】

【図1】本発明の実施例１に係る通信システムの概略を示す模式図である。

【図2】実施例１に係る車両の前席部分の構成を示す図である。

【図3】実施例１に係る車載装置の構成の一例を示すブロック図である。

【図4】実施例１に係る外部装置の正面図である。

【図5】実施例１に係る外部装置の構成の一例を示すブロック図である。

【図6】実施例１に係るサーバ装置の構成の一例を示すブロック図である。

【図7A】実施例１に係る運転負荷の取得に用いるテーブルの一例を示す図である。

【図7B】実施例１に係る運転負荷の取得に用いるテーブルの一例を示す図である。

【図7C】実施例１に係る運転負荷の取得に用いるテーブルの一例を示す図である。

【図8】実施例１に係る外部装置に表示される選択画面の一例を示す図である。

【図9】実施例１に係る外部装置に表示される表示画面の一例を示す図である。

【図10】実施例１に係る外部装置に表示される選択画面の一例を示す図である。

【図11】実施例１に係る外部装置に表示される表示画面の一例を示す図である。

【図12】実施例１に係る外部装置に表示される選択画面の一例を示す図である。

【図13】実施例１に係る外部装置に表示される表示画面の一例を示す図である。

【図14】実施例１に係るサーバ装置によって実行されるルーチンの一例を示すフローチャートである。

【図15】実施例１に係るサーバ装置によって実行されるルーチンの他の一例を示すフローチャートである。

【図16】実施例２に係る通信システムの変形例における車載装置の構成の一例を示すブロック図である。

【発明を実施するための形態】

【0016】

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

【実施例0017】

実施例に係る車載装置１０を含む通信システム１００の構成について添付図面を参照しつつ説明する。

【0018】

図１は、本発明の実施例である通信システム１００を示している。図１に示すように、通信システム１００は、車載装置１０、外部装置３０及びサーバ５０を含んで構成されている。なお、図１においては、車載装置１０が移動体の一例としての自動車Ｍに搭載されている場合を示している。また、図１においては、外部装置３０の一例として、スマートフォンを示している。

【0019】

車載装置１０、外部装置３０及びサーバ５０は、ネットワークＮＷを介して、例えば、ＴＣＰ／ＩＰや、ＵＤＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えば、移動体通信網、Ｗｉ-Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築され得る。

【0020】

通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける映像及び音声を、第２装置としての外部装置３０に送信し、外部装置３０によって取得された音声を車載装置１０に送信する音声映像通信が可能である。

【0021】

本実施例の通信システム１００においては、車載装置１０と外部装置３０との間で音声通話が確立された上で、車載装置１０から自動車Ｍにおいて撮影された映像が外部装置３０に配信される。

【0022】

以下の説明において、上記のように、車載装置１０と外部装置３０との間での音声通話を確立させつつ、自動車Ｍにおいて撮影された映像を車載装置１０から外部装置３０に配信する通信態様を音声映像通信の一態様としてのビデオ通信と称する。本実施例において、車載装置１０と外部装置３０とは、サーバ５０を介してビデオ通信を行っている。

【0023】

このようなビデオ通信が行われることで、車載装置１０から送信される映像を視聴している外部装置３０のユーザは、あたかも自動車Ｍの運転者と自動車Ｍに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置３０のユーザの自動車Ｍへの仮想同乗を実現することができる。また、このようなビデオ通信を実現可能な本実施例の通信システム１００のようなシステムを仮想同乗システムとも称する。

【0024】

例えば、ビデオ通信中に、外部装置３０のユーザは、車載装置１０から送信される映像を見ることで、自動車Ｍの周囲の状況を、自動車Ｍの助手席に乗っているような感覚で見ることができる。例えば、外部装置３０のユーザは、ビデオ通信中に、自動車Ｍの周囲の景観を楽しむことができる。

【0025】

また、外部装置３０のユーザは、例えば、ビデオ通信中に、運転者への注意喚起等の補助をすることができる。具体的には、外部装置３０のユーザは、自動車Ｍの前方を撮影した画像を見ることで、自動車Ｍの運転者が左右の一方側に注意を向けている間に、逆側から他の車両が来ないか確認を行うといった、運転者に必要な注意を補完することで、運転の補助をすることができる。

【0026】

本実施例において、サーバ５０は、自動車Ｍにおいて撮影され車載装置１０によって取得された映像を車載装置１０から受信し、当該映像に基づく画像を外部装置３０に送信することが可能である。言い換えれば、サーバ５０は、車載装置１０によって取得された取得画像に基づく画像を外部装置３０に送信する。

【0027】

本明細書において、「取得画像に基づく画像」とは、取得画像そのもの、取得画像の一部を拡大処理した拡大画像及びその他の画像処理が施された取得画像を含むものとする。また、映像は、動画及び静止画を含む。

【0028】

例えば、サーバ５０は、車載装置１０によって取得された取得画像をそのまま送信するか又は取得画像の一部を拡大処理した拡大画像を送信することが可能である。また、サーバ５０は、取得画像中の外部装置３０のユーザが指定した領域を拡大したユーザ指定拡大画像を送信することが可能である。

【0029】

以下、本実施例においては、車載装置１０がカーナビゲーション装置である場合を例に説明する。また、本実施例においては、車載装置１０が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ５０に送信し、サーバ５０が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。

【0030】

図２は、車載装置１０を搭載している自動車Ｍの前席付近を示す斜視図である。図２では、取り付け例として、自動車Ｍの前席のダッシュボードＤＢ内に車載装置１０が取り付けられている場合を示す。

【0031】

ＧＰＳ受信機１１は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する装置である。ＧＰＳ受信機１１は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＰＳ受信機１１は、ＧＰＳ信号が受信できればどこに配されていてもよい。ＧＰＳ受信機１１は、受信したＧＰＳ信号を車載装置１０に送信することが可能である。

【0032】

車外カメラ１３は、自動車Ｍの前方を撮影する撮像装置である。本実施例において、車外カメラ１３は、前方が撮影方向となる様にダッシュボードＤＢに配されている。例えば、車外カメラ１３は、フロントガラスを介して自動車Ｍの前方を撮影可能である。なお、車外カメラ１３は、ルームミラーＲＭの近傍に設けられても良く、フロントガラスＦＧの内側に取り付けられていてもよい。ビデオ通信時には、車外カメラ１３によって撮像された映像が、外部装置３０に配信される。

【0033】

タッチパネル１５は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル１５は、例えば、ダッシュボードＤＢのセンターコンソールＣＣに配されている。タッチパネル１５は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル１５は、ダッシュボードＤＢ上に取り付けられていてもよい。

【0034】

タッチパネル１５は、車載装置１０の制御に基づいて画面表示を行うことが可能である。また、タッチパネル１５は、ユーザから受け付けたタッチパネル１５への入力操作を表す信号を車載装置１０に送信することが可能である。例えば、タッチパネル１５には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル１５を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。

【0035】

また、タッチパネル１５には、ビデオ通信に関する情報が表示されてもよく、ビデオ通信のための接続（以下、ビデオ接続とも称する）をするための操作の受付画面が表示されてもよい。自動車Ｍの乗員はタッチパネル１５への入力操作によって、ビデオ通信の接続操作を行ってもよい。

【0036】

スピーカ１７は、例えば、ＡピラーＡＰの室内側に設けられている。スピーカ１７は、車載装置１０の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ１７からは、音声通話における外部装置３０からの音声が発せられる。

【0037】

マイク１９は、車内の音を受音するマイク装置であり、例えば、ダッシュボードＤＢ上に配されている。マイク１９は、車内の音を受音可能であれば、ルームミラーＲＭまたはステアリングホイール２１等、どこに設けられていてもよい。ビデオ通信時において、マイク１９に収音された音声が音声通話の音声として外部装置３０に送信される。また、ビデオ接続のための操作入力等のビデオ通信に関する操作入力が、マイク１９を介して音声によって行われてもよい。

【0038】

ステアリングホイール２１は、自動車Ｍの操舵のための操縦操作を受け付ける部材である。ステアリングホイール２１は、ダッシュボードＤＢに対して回動可能に設けられている。ステアリングホイール２１が回動させられると、それに従って自動車Ｍの操舵輪となる車輪が回動動作する。

【0039】

図３は、車載装置１０の構成を示すブロック図である。例えば、車載装置１０は、システムバスを介して、記憶部２３と、制御部２５と、通信部２７と、が協働する装置である。

【0040】

ステアリングセンサ２１Ｓは、ステアリングホイール２１の回転量や回転方向、回転力等の操作に関する物理量を検出するセンサである。

【0041】

また、自動車Ｍには加速度センサ２２が搭載されている。加速度センサ２２は、自動車Ｍの加速度を測定可能であり、当該測定された加速度を示す信号を出力可能な例えばＭＥＭＳ加速度センサであってもよい。なお、加速度センサ２２は慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）であってもよい。また、加速度センサ２２は、車載装置１０に内蔵されていてもよい。

【0042】

記憶部２３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成される記憶デバイスである。記憶部２３は、オペレーティングシステムや、端末用のソフトウェア等の、車載装置１０において実行される各種プログラムを記憶する。

【0043】

各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部２３に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

【0044】

また、記憶部２３は、また、道路地図を含む地図情報を記憶している。また、記憶部２３は、ビデオ通信の相手としての外部装置３０の連絡先を示す情報、例えば電話番号又はメールアドレス等の情報を記憶している。

【0045】

制御部２５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。制御部２５は、ＣＰＵがＲＯＭや記憶部２４に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部２５によって、ビデオ通信時の動画配信機能、カーナビゲーション機能等が発揮される。

【0046】

制御部２５は、自動車Ｍに備えられている各種機器、すなわち、ＧＰＳ受信機１１、車外カメラ１３、タッチパネル１５、スピーカ１７、マイク１９、ステアリングセンサ２１Ｓ、及び加速度センサ２２と通信可能に接続されている。制御部２５は、自動車Ｍに備えられている各種機器からデータを取得する。

【0047】

具体的には、制御部２５は、ＧＰＳ受信機１１からのＧＰＳ信号を逐次取得する。

【0048】

制御部２５は、車外カメラ１３によって撮像された映像を逐次取得する。

【0049】

制御部２５は、タッチパネル１５への入力操作を表す信号を取得する。

【0050】

また、制御部２５は、マイク１９によって収音された自動車Ｍにおける音声を逐次取得する。

【0051】

また、制御部２５は、ステアリングセンサ２１Ｓによって取得された回転量や回転方向、回転力等の操作に関する物理量を示すセンサ情報を逐次取得する。

【0052】

また、制御部２５は、加速度センサ２２によって計測された加速度を示す信号を逐次取得する。

【0053】

通信部２７は、制御部２５の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部２７は、例えば、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）である。

【0054】

通信部２７は、上記したネットワークＮＷに接続されており、種々のデータをサーバ５０との間で送受信する。また、通信部２７は、サーバ５０を介して種々のデータを外部装置３０との間で送受信する。

【0055】

例えば、制御部２５は、通信部２７を介して、サーバ５０にユーザから入力された目的地を含む情報を送信し、サーバ５０から、当該目的地への経路情報またはナビゲーション情報を受信可能である。

【0056】

制御部２５は、ビデオ通信中、通信部２７を介して、車外カメラ１３によって撮像された映像をサーバ５０に逐次送信する。

【0057】

制御部２５は、ビデオ通信中、通信部２７を介して、自動車Ｍ内の検出機器によって検出された検出情報をサーバ５０に逐次送信する。具体的には、制御部２５は、ビデオ通信中、ＧＰＳ信号に基づいた自動車Ｍの現在位置情報をサーバ５０に逐次送信する。また、制御部２５は、加速度センサ２２によって検出された加速度センサ情報、及びステアリングセンサ２１Ｓによって検出されたステアリングセンサ情報を逐次送信する。

【0058】

これらの検出情報は、サーバ５０が送信する画像の態様を決定するために用いられる。例えば、当該検出情報は、自動車Ｍの運転者の運転負荷を推定するために用いられ、当該運転負荷に基づいて上記画像の態様が決定される。

【0059】

制御部２５は、通信部２７を介して、ビデオ通信に関してタッチパネル１５に表示させるための情報をサーバ５０から受信する。

【0060】

制御部２５は、通信部２７を介して、ビデオ通信における音声通話のために、マイク１９によって収音された音声の音声データを外部装置３０に送信可能である。また、制御部２５は、通信部２７を介して、ビデオ通信における音声通話のために、外部装置３０に入力された音声の音声データを受信可能である。

【0061】

図４は、外部装置３０の正面図である。上述のように、本実施例において、外部装置３０はスマートフォンである。

【0062】

タッチパネル３１は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル３１は、ユーザから受け付けたタッチパネル３１への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル３１には、車載装置１０から配信された映像が表示される。外部装置３０のユーザは、タッチパネル３１への入力操作によって、タッチパネル３１に表示される映像中の拡大表示させる領域の指定が可能である。

【0063】

また、タッチパネル３１には、ビデオ通信に関する情報が表示され、例えばビデオ通信の接続を開始するための操作の受付画面が表示される。外部装置３０のユーザは、タッチパネル３１への入力操作によって、ビデオ通信の開始のための入力操作を行うことが可能である。

【0064】

スピーカ３３は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ３３からは、音声通話における車載装置１０からの音声が発せられる。

【0065】

マイク３５は、外部装置３０に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク３５によって収音された音声が音声通話の音声としてサーバ５０を介して車載装置１０に送信される。

【0066】

図５は、外部装置３０の構成の一例を示すブロック図である。例えば、外部装置３０は、システムバス（図示せず）を介して、記憶部３７と、制御部３９と、通信部４１と、が協働する装置である。

【0067】

記憶部３７は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、外部装置３０用のソフトウェア等の各種プログラムを記憶する。

【0068】

なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部３７に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

【0069】

制御部３９は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵがＲＯＭや記憶部３７に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0070】

制御部３９は、タッチパネル３１、スピーカ３３及びマイク３５に通信可能に接続されている。

【0071】

制御部３９は、タッチパネル３１への入力操作を示す信号及びマイク３５からの音声入力信号を受信することが可能である。例えば、制御部３９は、タッチパネル３１及びマイク３５によってユーザからなされたビデオ通信の開始のための入力操作を受け付けることが可能である。

【0072】

また、制御部３９は、ビデオ通信中にタッチパネル３１を通してタッチパネル３１に表示される映像中の拡大表示させる領域の指定のための入力操作を受け付けることが可能である。

【0073】

また、制御部３９は、タッチパネル３１に映像または画像信号を送信して表示をさせたり、スピーカ３３に音声信号を送信して、音を出力させたりすることが可能である。

【0074】

例えば、制御部３９は、ビデオ通信の開始の要求を受け付けるための開始画面等の画面をタッチパネル３１に表示させる。

【0075】

また、制御部３９は、ビデオ通信中における映像をタッチパネル３１に表示させ、自動車Ｍにおいて収音されたビデオ通信中における音声をスピーカ３３に出力させる。上述したように、ビデオ通信中に表示される映像は、車載装置１０によって取得された取得画像に基づく画像が逐次表示されるものである。

【0076】

通信部４１は、上記したネットワークＮＷに接続されており、ユーザ指定拡大画像等の種々のデータをサーバ５０との間で送受信する。また、通信部４１は、車載装置１０から送信された音声や経路情報や外部装置３０において取得された音声等の種々のデータを車載装置１０との間でサーバ５０を介して送受信する。

【0077】

外部装置３０の制御部３９は、通信部４１を介して、ビデオ通信の開始画面等の画面を表示させるための情報を受信可能である。

【0078】

また、制御部３９は、ビデオ通信中において、サーバ５０から送信される取得画像に基づく画像を、通信部４１を介して逐次受信する。

【0079】

制御部３９は、例えば、タッチパネル３１に取得画像が表示されている際に、タッチパネル３１への入力操作によって取得画像中の領域が指定されると、当該取得画像中の領域の指定を示す情報を、通信部４１を介してサーバ５０に送信する。

【0080】

また、制御部３９は、通信部４１を介して、ビデオ通信における音声通話のために、マイク３５によって収音された音声の音声データを車載装置１０に送信可能である。また、制御部３９は、通信部４１を介して、ビデオ通信における音声通話のために、車載装置１０から送信された音声データを受信可能である。

【0081】

例えば、外部装置３０の制御部３９は、通信部４１を介して、サーバ５０から車載装置１０から送信された自動車Ｍの現在位置情報を受信可能である。また、例えば、制御部３９は、通信部４１を介して、サーバ５０から、自動車Ｍの経路情報またはナビゲーション情報を受信可能である。

【0082】

図６は、サーバ５０の構成を示すブロック図である。例えば、サーバ５０はシステムバスを介して、記憶部５１と、通信部５３と、制御部５５と、が協働している装置である。

【0083】

サーバ５０は、上述のように、ビデオ通信中において、車載装置１０から、車外カメラ１３によって撮影されて車載装置１０によって取得された取得画像を逐次受信する。また、サーバ５０は、自動車Ｍにおいて検出された検出情報、すなわち、自動車Ｍの現在位置情報、加速度センサ情報、又はステアリングセンサ情報を車載装置１０から逐次受信する。

【0084】

サーバ５０は、外部装置３０から領域の指定を示す情報を受信することで領域の指定を受け付ける機能を有する。

【0085】

サーバ５０は、車載装置１０から受信した検出情報に基づいて、自動車Ｍの運転者にかかっている運転負荷を取得する機能を有する。

【0086】

サーバ５０は、受け付けた領域の指定を示す情報及び取得した運転負荷に基づいて、取得画像中の指定された領域を拡大した拡大画像又は取得画像を送信する機能を有する。

【0087】

また、サーバ５０は、ビデオ通信中において、車載装置１０と外部装置３０との間の音声通話を確立し、当該音声通話のデータを転送するＳＩＰサーバのような機能を有している。

【0088】

また、サーバ５０は、車載装置１０から自動車Ｍの現在位置情報及び自動車Ｍの乗員であるユーザが設定した目的地の情報を受信し、当該現在情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。

【0089】

記憶部５１は、例えば、ハードディスク装置及びＳＳＤ（solid state drive）等により構成されており、オペレーティングシステムや、サーバ５０用のソフトウェア等の各種プログラムを記憶する。

【0090】

各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部５１に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

【0091】

記憶部５１は、例えば、サーバ５０が、自動車Ｍの運転者の運転負荷を取得し、外部装置３０への外部装置３０のユーザの入力操作を介して取得画像中の領域の指定を受け付けて、当該領域の指定に基づいて取得画像の一部を拡大したユーザ指定拡大画像（以下、単に拡大画像とも称する）を生成し、取得した運転負荷が閾値以上である場合に、ユーザ指定拡大画像以外の、取得画像に基づく画像を外部装置３０に送信するための通信プログラムを記憶している。

【0092】

また、記憶部５１は、道路地図を含む地図情報が保存されている地図データベース（図示せず）を記憶している。地図データベースの地図情報は、例えばナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。

【0093】

さらに、当該地図データベースにおいて、道路リンク毎又はノード毎に、その道路リンク又はノードを走行するドライバーの運転者にかかると推定される運転負荷の高さを示す運転負荷情報が対応付けられて記憶されている。

【0094】

例えば、道路リンクに対応付けられた運転負荷の高さは、道路リンクが属する道路の種別や幅員、車線数、交通量等に基づいて予め設定されたものである。例えば、ノードの場合は基本的に運転負荷が高いと推定されてもよく、さらに交通量等に応じてレベル分けされた運転負荷が対応付けられていてもよい。

【0095】

例えば、サーバ５０は、自動車Ｍの現在位置情報に基づいて、自動車Ｍが走行中の道路リンク又はノードに対応付けられた運転負荷の高さを、自動車Ｍの運転者の運転負荷として取得する。

【0096】

通信部５３は、上記したネットワークＮＷに接続されており、種々のデータを車載装置１０及び外部装置３０との間で送受信する。

【0097】

制御部５５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵが、ＲＯＭや記憶部５１に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0098】

制御部５５は、通信部５３を介して、車載装置１０から、車外カメラ１３によって撮影されて車載装置１０によって取得された取得画像を逐次受信し、画像取得部として機能する。また、制御部５５は、通信部５３を介して、自動車Ｍにおいて検出された検出情報、すなわち、自動車Ｍの現在位置情報、加速度センサ情報、又はステアリングセンサ情報を車載装置１０から逐次受信する。

【0099】

制御部５５は、上述の通信プログラムを実行することで、外部装置３０への外部装置３０のユーザの入力操作を介して取得画像中の領域の指定を受け付ける受付部５６としての処理を実行し、自動車Ｍの運転者の運転負荷を取得する運転負荷取得部５７としての処理を実行し、領域の指定に基づいて取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部５８としての処理を実行する。

【0100】

また、制御部５５は、受け付けられた領域の指定及び取得された運転負荷に応じて取得画像に基づく画像を外部装置３０に送信する送信制御部５９としての処理を実行する。言い換えれば、制御部５５は、機能部として、受付部５６、運転負荷取得部５７、画像生成部５８及び送信部としての送信制御部５９を有する。

【0101】

受付部５６は、外部装置３０への外部装置３０のユーザの入力操作を介して取得画像中の領域の指定を受け付ける機能部である。例えば、上述のように、外部装置３０のタッチパネル３１に取得画像が表示されている際に、タッチパネル３１への入力操作によって取得画像中の領域が指定されると、当該取得画像中の領域の指定を示す情報がサーバ５０に送信される。例えば、受付部５６は、外部装置３０から領域の指定を示す情報を受信することで、取得画像中の領域の指定を受け付ける。

【0102】

運転負荷取得部５７は、上述の如く、自動車Ｍの運転者の運転負荷を取得する運転負荷取得ステップを実行する機能部である。運転負荷取得部５７は、自動車Ｍにおいて検出された検出情報に基づいて、自動車Ｍの運転者の運転負荷を取得する。例えば、運転負荷取得部５７は、加速度センサ情報又はステアリングセンサ情報、すなわち実際の運転操作の状態に基づいて自動車Ｍの運転者の運転負荷を取得する。又は、運転負荷取得部５７は、自動車Ｍの現在位置情報に基づいて、地図データベースの道路リンクやノードに対応付けられた運転負荷情報を取得する。

【0103】

［運転操作の状態に基づく運転負荷の取得］
上述のように、運転負荷取得部５７は、実際の運転操作の状態に基づいて自動車Ｍの運転者の運転負荷を取得することが可能である。

【0104】

例えば、運転負荷取得部５７は、自動車Ｍの現在位置情報から速度を算出し、自動車Ｍの速度に基づいて自動車Ｍの運転者の運転負荷を取得する。速度に基づいた運転負荷の取得において、例えば、運転負荷の高さを「高」「低」の２段階で表し、速度が閾値以上である場合に運転負荷の高さを「高」と判定し、速度が閾値未満である場合に運転負荷の高さを「低」と判定することによって運転負荷を取得してもよい。

【0105】

また、運転負荷取得部５７は、例えば、自動車Ｍに設けられた加速度センサ２２によって検出された加速度センサ情報に基づいて、自動車Ｍの運転者の運転負荷を取得する。

【0106】

図７Ａは、加速度センサ情報が示す自動車Ｍの加速度に基づく運転負荷の高さの判定基準の一例であるテーブルＴＢ１を示す図である。テーブルＴＢ１は、例えば記憶部５１に記憶されている。テーブルＴＢ１には、前後方向の加速度の絶対値の閾値を０．３Ｇとし、自動車Ｍの前後方向の加速度の絶対値が、０．３Ｇ未満である場合には運転負荷「低」、０．３Ｇ以上である場合は運転負荷「高」とする判定基準が定められている。

【0107】

運転負荷取得部５７は、テーブルＴＢ１を参照して、自動車Ｍの前後方向の加速度の絶対値が０．３Ｇ未満である場合には運転負荷「低」、０．３Ｇ以上である場合は運転負荷「高」と判定することで、自動車Ｍの運転者の運転負荷を取得する。

【0108】

テーブルＴＢ１に基づいて、例えば、自動車Ｍの運転者が右左折のための減速、又は走行を開始する際の加速を行って、自動車Ｍの前後方向の加速度の絶対値が０．３Ｇ以上となった場合に、運転負荷「高」と判定され得る。例えば、自動車Ｍの運転者が安定した速度で走行中の場合や停車中であり、自動車Ｍの前後方向の加速度の絶対値が０．３Ｇ未満となった場合に、運転負荷「低」と判定され得る。

【0109】

例えば、運転負荷の取得に用いられる加速度センサ情報は、前後方向の加速度に限られず、左右方向の加速度が運転負荷の取得に用いられてもよい。

【0110】

また、運転負荷取得部５７は、例えば、自動車Ｍに設けられたステアリングセンサ２１Ｓによって検出されたステアリングセンサ情報に基づいて、自動車Ｍの運転者の運転負荷を取得する。

【0111】

図７Ｂは、ステアリングセンサ情報が示す自動車Ｍのステアリングホイール２１の回転量（切れ角）に基づく運転負荷の高さの判定基準の一例であるテーブルＴＢ２を示す図である。テーブルＴＢ２は、例えば記憶部５１に記憶されている。テーブルＴＢ２には、ステアリングホイール２１の操作していない状態の切れ角を０°として切れ角の閾値を９０°とし、自動車Ｍのステアリングホイール２１の切れ角が、９０°未満である場合には運転負荷「低」、９０°以上である場合は運転負荷「高」とする判定基準が定められている。

【0112】

運転負荷取得部５７は、テーブルＴＢ２を参照して、ステアリングホイール２１の切れ角が、９０°未満である場合には運転負荷「低」、９０°以上である場合は運転負荷「高」と判定することで、自動車Ｍの運転者の運転負荷を取得する。

【0113】

テーブルＴＢ２に基づいて、例えば、自動車Ｍの運転者が右左折の際にステアリングホイール２１を操作して９０°以上回転させている場合に、運転負荷「高」と判定され得る。例えば、自動車Ｍが直進中であり、ステアリングホイール２１の切れ角が、９０°未満である場合には、運転負荷「低」と判定され得る。

【0114】

［地図データベースによる運転負荷の取得］
上述したように、記憶部５１内の地図データベースにおいて、道路リンク毎又はノード毎に運転負荷情報が対応づけられて記憶されている。運転負荷取得部５７は、自動車Ｍの現在位置情報に基づいて、地図データベースにおいて自動車Ｍが走行中の道路リンクまたはノードに対応付けられた運転負荷情報を取得することで、自動車Ｍの運転者の運転負荷を取得することが可能である。

【0115】

図７Ｃは、地図データベースにおいて道路リンク及びノードに対応付けられた運転負荷情報の一例であるテーブルＴＢ３を示す図である。テーブルＴＢ３において、運転負荷の高さが「低」「中」「高」の３段階で表されて道路上の区間（リンク）毎又は交差点、合流、分岐（ノード）毎に対応付けられている。また、テーブルＴＢ３において、運転負荷は「通勤時間帯」及び「その他の時間帯」の２つの時間帯に分けて、時間帯ごとに道路リンクやノードに対応付けられている。

【0116】

運転負荷取得部５７は、自動車Ｍの現在位置情報に基づいて地図データベースを参照して自動車Ｍが現在走行中の道路リンク又はノードを特定する。また、運転負荷取得部５７は、テーブルＴＢ３を参照して、当該特定した道路リンク又はノードに対応付けられている運転負荷情報が示す運転負荷の高さを取得することで、自動車Ｍの運転者の運転負荷を取得する。

【0117】

図７Ｃに示す例においては、リンクについては道路の規模や交通量等に応じて「高」、「中」、「低」が対応付けられている。また、図７Ｃに示す例においては、交差点や合流地点等のノードについては、運転負荷が高いと推定されて、「高」が対応付けられている。また、図７Ｃに示す例においては、一部の道路リンク（具体的には、データＩＤ１，２，４，５）について、通勤時間帯ではその他の時間帯よりも運転負荷が高いと推定されて、その他の時間帯よりも高いレベルの運転負荷が対応付けられている。

【0118】

通勤時間帯は、例えば、午前７：００－９：００及び午後１７：００－１９：００等の時間帯であり、この時間帯における交通量等を考慮して運転負荷が推定される。時間帯ごとの運転負荷の推定は、上記した例に限られず、例えば時間帯を夜間と日中に分けて、交通量に加えて明るさの違い等も考慮して運転負荷が推定されてもよい。

【0119】

本実施例において、上述したような運転操作の状態に基づく運転負荷及び地図データベースに対応付けられた運転負荷のいずれを用いる場合であっても、車載装置１０からリアルタイムで検出情報を取得し、自動車Ｍの運転者の運転負荷をリアルタイムで取得することが可能である。

【0120】

なお、図７Ａ～図７Ｃにおいて、運転負荷の高さを「高」と「低」との２段階のレベルで判定する例及び「高」「中」「低」の３段階のレベルで判定する例について説明したが、これに限られない。運転負荷の高さは、３つ以上のレベルに分けて判定されてもよい。また、運転負荷を数値として算出し、運転負荷の高さを数値として表してもよい。

【0121】

運転負荷の高さは、複数の検出情報を組み合わせて取得されてもよい。例えば、加速度やステアリング切れ角等の運転の操作状態に基づいた運転負荷と、地図データベースの地図情報に対応付けられた運転負荷とを組み合わせてもよい。

【0122】

続いて、画像生成部５８について説明する。画像生成部５８は、上述の如く、領域の指定に基づいて取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成ステップを実行する機能部である。

【0123】

より詳細には、画像生成部５８は、サーバ５０が車載装置１０から動画の逐次受信するフレーム画像のうちの１つについて受け付けられた領域の指定を示す情報に従って、例えば、その後に受信した他のフレーム画像中の、当該領域の指定を示す情報によって特定される領域を拡大処理してユーザ指定拡大画像を生成してもよい。

【0124】

また、画像生成部は、取得画像中の領域の選択を受け付けるための選択画像を生成してもよい。例えば、画像生成部は、画像認識によって、取得画像中の１又は複数の物体を認識し、当該物体の各々を含む領域に印（マーカー）を付した選択画像を生成してもよい。例えば、当該選択画像において付される印は、物体を含む領域を矩形又は円形等の任意の形状の枠で囲んだマーカーであってもよい。

【0125】

選択画像は、外部装置３０に送信されて、タッチパネル３１に表示される。その場合、受付部５６は、選択画像中の印を選択する入力操作を示す信号を外部装置３０から受信することで領域の指定を受け付ける。

【0126】

図８は、外部装置３０のタッチパネル３１に選択画像が表示されている様子を示す図である。図８の選択画像は、自動車Ｍが直線道路を走行している際の自動車Ｍの前方を撮影した取得画像に、当該取得画像中の物体を囲むマーカーが重畳して表示されたものである。図８に示すように、自動車Ｍの前方には、直線道路が続いており、当該直性道路の両側に山ＭＴ１及びＭＴ２が写っている。

【0127】

図８に示す例においては、山ＭＴ１を囲むマーカーＳＬ１及び山ＭＴ２を囲むマーカーＳＬ２が表示されている。マーカーＳＬ１によって選択領域ＡＲ１が特定され、マーカーＳＬ２によって選択領域ＡＲ２が特定される。

【0128】

図８において、ユーザの指ＦによるマーカーＳＬ１を選択する入力操作が受け付けられている。マーカーＳＬ１を選択する入力操作が受け付けられると、マーカーＳＬ１を示す情報が外部装置３０からサーバ５０に送信される。この場合、画像生成部５８は、マーカーＳＬ１によって特定された選択領域ＡＲ１を拡大したユーザ指定拡大画像を生成する。

【0129】

次に、送信制御部５９について説明する。上述のように、送信制御部５９は、受け付けられた領域の指定及び取得された運転負荷に応じて取得画像に基づく画像を外部装置３０に送信する送信ステップを実行する機能部である。

【0130】

［送信制御］
送信制御部５９は、取得された運転負荷が閾値よりも低い場合に、ユーザ指定拡大画像を外部装置３０に送信する。一方、送信制御部５９は、取得された運転負荷が閾値以上である場合に、ユーザ指定拡大画像ではなく取得画像をそのまま外部装置３０に送信する。

【0131】

また、送信制御部５９は、取得された運転負荷が閾値以上であっても、指定された領域に内に特定種の対象物が写っている場合に、ユーザ指定拡大画像（この場合、特定対象物拡大画像とも言う）を外部装置３０に送信してもよい。

【0132】

以下、送信制御部５９による送信制御について具体的に説明する。

【0133】

［運転負荷が低い場合］
送信制御部５９は、例えば、自動車Ｍの運転負荷が閾値よりも低い場合に、画像生成部５８によって生成されたユーザ指定拡大画像を外部装置３０に送信する。

【0134】

ここで、図８に例示した場面における自動車Ｍの運転者にかかる運転負荷について説明する。上記したように、図８の場面では、自動車Ｍの前方に直線道路が続いている。

【0135】

このような直線道路を運転している状況では、例えば、運転操作の状態に基づいて運転負荷の情報を取得する場合、加速度が安定し、ステアリング切れ角が小さいために、運転負荷が閾値よりも低いとの情報が取得される。また、このような直線道路の場合、地図データベースに含まれる道路リンクに対応する運転負荷が低く設定され、運転負荷が閾値よりも低いとの情報が取得される。

【0136】

このように、運転負荷が閾値よりも低い場合、送信制御部５９は、外部装置３０のユーザが指定した領域のユーザ指定拡大画像を外部装置３０に送信する。送信されたユーザ指定拡大画像は、タッチパネル３１に表示される。

【0137】

図９は、運転負荷が閾値よりも低い場合に、図８の選択領域ＡＲ１が拡大されたユーザ指定拡大画像が外部装置３０のタッチパネル３１に表示されている例を示している。外部装置３０のユーザは、例えば、選択画像中の詳しく見たい領域を選択すると、その領域が拡大された画像がタッチパネル３１に表示される。

【0138】

［運転負荷が高い場合］
また、送信制御部５９は、例えば、自動車Ｍの運転負荷が閾値以上である場合に、取得画像に基づく画像であってユーザ指定拡大画像以外の画像を外部装置３０に送信する。

【0139】

例えば、自動車Ｍの運転負荷が閾値以上である場合、送信制御部５９は、取得画像をそのまま外部装置３０に送信する。

【0140】

図１０は、外部装置３０のタッチパネル３１に選択画像が表示されている様子を示す図である。図１０の選択画像は、自動車Ｍが右折を行っている際の自動車Ｍの前方を撮影した取得画像に、当該取得画像中の物体を囲むマーカーが重畳して表示されたものである。図１０に示すように、自動車Ｍの前方には、自動車Ｍが右折した先の道路が続いており、道路に設けられている横断歩道を横断中の歩行者Ｐ１及びＰ２が写っている。

【0141】

図１０に示す例においては、地物ＦＴを囲むマーカーＳＬ３及び歩行者Ｐ１及びＰ２を囲むマーカーＳＬ４が表示されている。マーカーＳＬ３によって選択領域ＡＲ３が特定され、マーカーＳＬ３によって選択領域ＡＲ３が特定される。

【0142】

このような右折の状況では、例えば、運転操作の状態に基づいて運転負荷の情報を取得する場合、加速度の変動が大きく、ステアリング切れ角が大きいために、運転負荷が高い（閾値以上である）との情報が取得される。また、図７Ｃに示したように、地図データベースに含まれる交差点ノードに対応する運転負荷が上述のように高く設定されているので、運転負荷が閾値以上であるとの情報が取得される。

【0143】

本実施例において、このような運転負荷が高い場面では、運転者には余裕がないので、外部装置３０のユーザが自動車Ｍの運転者に対して、歩行者が居ることについて注意を呼び掛けるなどの運転の補助を行うことが望まれる。取得画像中に写っている歩行者Ｐ１及びＰ２は、運転時に注意が必要な注意対象物体に該当する。

【0144】

例えば、注意対象物体には、歩行者や他車両等の移動体が含まれる。また、注意対象物体には、移動体の他に、信号機、道路標識及び道路標示等の物体が含まれる。

【0145】

図１０において、ユーザの指ＦによるマーカーＳＬ３を選択する入力操作が受け付けられている。マーカーＳＬ３を選択する入力操作が受け付けられると、マーカーＳＬ３を示す情報が外部装置３０からサーバ５０に送信される。画像生成部５８は、マーカーＳＬ３によって特定された選択領域ＡＲ３を拡大したユーザ指定拡大画像を生成する。

【0146】

送信制御部５９は、図１０に示す例のように、運転負荷が閾値以上である場合、外部装置３０のユーザが指定した領域のユーザ指定拡大画像を外部装置３０に送信しない制御が可能である。この場合、送信制御部５９は、例えば、取得画像をそのまま外部装置３０に送信する。送信された取得画像は、タッチパネル３１に表示される。

【0147】

図１１は、運転負荷が閾値以上である場合に、取得画像が外部装置３０のタッチパネル３１に表示されている例を示している。当該取得画像には注意対象物体である歩行者Ｐ１及びＰ２が写っているので、外部装置３０のユーザは、タッチパネル３１に表示されている画像を見ることで、歩行者Ｐ１及びＰ２を認識し、自動車Ｍの運転者に対して、歩行者Ｐ１及びＰ２への注意喚起を行って運転の補助をすることができる。

【0148】

例えば、このような運転の補助が望まれる場面で、外部装置３０のユーザが選択した領域が拡大された場合を考える。例えば、図１０の選択領域ＡＲ３には、注意対象物体ではない地物ＦＴが写っている。ユーザが選択領域ＡＲ３を選択し、選択領域ＡＲ３が拡大された拡大画像が表示されると、ユーザは注意対象物体である歩行者Ｐ１及びＰ２を認識することができず、運転の補助をすることができない。

【0149】

一方、ユーザが図１０の選択領域ＡＲ４を選択すれば、選択領域ＡＲ４には注意対象物体が写っているので、選択領域ＡＲ４が拡大された拡大画像が表示された場合、ユーザは運転の補助をすることができる。しかし、ユーザによる選択は任意であるため、ユーザが常に選択領域ＡＲ４を選択するとは限らない。

【0150】

そこで、本実施例においては、送信制御部５９は、運転の補助が望まれる場面では、ユーザによる領域の指定がなされても、その領域の拡大画像を送信しない制御を行う。従って、いずれの領域が選択されても、拡大画像は送信されない。例えば、図１０において選択領域ＡＲ４が選択された場合であっても、選択領域ＡＲ４は拡大表示されない。

【0151】

なお、画像生成部がＳＬ３の拡大画像を生成しているものとして説明したが、運転負荷が閾値以上である場合には画像生成部がＳＬ３の拡大画像を生成しないこととしてもよい。

【0152】

また、ユーザによる領域の指定を受け付けても、運転負荷が閾値以上であることによりユーザ指定拡大画像が送信されない場合、送信制御部５９は、運転者の運転負荷が高い旨の警告又はユーザ指定拡大画像を送信できない旨の警告を外部装置３０に表示させるための情報を外部装置３０に送信してもよい。

【0153】

［変形例］
上記したように、送信制御部５９は、取得された運転負荷が閾値以上であっても、指定された領域内に特定種の対象物が写っている場合に、ユーザ指定拡大画像（特定対象物拡大画像）を外部装置３０に送信する制御が可能である。特定種の対象物は、例えば、人や車両等の移動体である。特定種の対象物は、例えば、運転時に注意が必要な物体である。

【0154】

図１２は、図１０と同様の選択画面がタッチパネル３１に表示され、ユーザの指ＦによってマーカーＳＬ４を選択する入力操作が受け付けられている様子を示している。上記したように、マーカーＳＬ４によって特定される取得画像中の選択領域ＡＲ４には運転時に注意が必要な注意対象物体に該当する歩行者Ｐ１及びＰ２が写っている。

【0155】

図１２の場面は、図１０の場面と同様に、取得される運転負荷が閾値以上であるが、受け付けられた選択領域ＡＲ４には、注意対象物体が含まれている。この場合、送信制御部５９は、選択領域ＡＲ４を拡大した拡大画像を外部装置３０に送信する。送信された取得画像は、タッチパネル３１に表示される。

【0156】

図１３は、運転負荷が閾値以上である場合に、図１２においてユーザによる選択が受け付けられた選択領域ＡＲ４が拡大された拡大画像が外部装置３０のタッチパネル３１に表示されている例を示している。

【0157】

図１３には注意対象物体である歩行者Ｐ１及びＰ２が写っているので、外部装置３０のユーザは、タッチパネル３１に表示されている画像を見ることで、歩行者Ｐ１及びＰ２を認識し、自動車Ｍの運転者に対して、歩行者Ｐ１及びＰ２への注意喚起を行って運転の補助をすることができる。

【0158】

このように、送信制御部５９は、運転負荷が閾値以上となる運転の補助が望まれる場面において、領域の指定によって歩行者Ｐ１及びＰ２を含む選択領域ＡＲ４のように運転の補助に関わる物体を含む領域が指定された場合には、その領域の拡大画像を表示する制御を行う。

【0159】

［制御ルーチン］
図１４は、サーバ５０の制御部５５によって実行されるルーチンの一例である画像配信ルーチンＲＴ１を示すフローチャートである。制御部５５は、例えば、車載装置１０と外部装置３０との間でビデオ通信が開始されると、画像配信ルーチンＲＴ１を開始する。

【0160】

制御部５５は、画像配信ルーチンＲＴ１を開始すると、車外カメラ１３によって撮影されて車載装置１０によって取得された取得画像及び自動車Ｍにおいて検出された検出情報を車載装置１０から取得する（ステップＳ１０１）。ステップＳ１０１において、制御部５５は、通信部５３を介して取得画像及び検出情報を受信する。

【0161】

ステップＳ１０１において、例えば、加速度センサ情報、ステアリングセンサ情報、又は自動車Ｍの現在位置情報が取得される。

【0162】

ステップＳ１０１の実行後、制御部５５の受付部５６は、拡大領域の選択を受け付けたか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、受付部５６は、通信部５３を介して外部装置３０から、タッチパネル３１への入力操作によって指定された取得画像中の領域を示す情報を受信した場合に、拡大領域の選択を受け付けたと判定する。ステップＳ１０２において、例えば、受付部５６は、取得画像中の物体に付されたマーカーを示す情報を受信した場合に、拡大領域の選択を受け付けたと判定する。

【0163】

ステップＳ１０２において、拡大領域の選択を受け付けたと判定する（ステップＳ１０２：ＹＥＳ）と、制御部５５の画像生成部５８は、ステップＳ１０２において受け付けられた拡大領域の選択によって選択された取得画像中の領域を拡大したユーザ指定拡大画像を生成する（ステップＳ１０３）。

【0164】

ステップＳ１０３の実行後、制御部５５の運転負荷取得部５７は、ステップＳ１０１において取得された検出情報に基づいて、自動車Ｍの運転者の運転負荷を取得する（ステップＳ１０４）。ステップＳ１０４において、運転負荷取得部５７は、例えば、自動車Ｍの加速度センサ情報又はステアリングセンサ情報に基づいて、自動車Ｍの操作状態に基づいた運転負荷を取得する。

【0165】

ステップＳ１０４において、例えば、自動車Ｍの現在位置情報に基づいて、記憶部５１に記憶されている地図データベースを参照し、自動車Ｍが走行中の道路リンク又はノードに対応付けられている運転負荷を取得する。ステップＳ１０４において、例えば、加速度センサ情報、ステアリングセンサ情報及び自動車Ｍの現在位置情報を用いて運転負荷が取得されてもよい。

【0166】

ステップＳ１０４の実行後、制御部５５の送信制御部５９は、ステップＳ１０４において取得された運転負荷が所定のレベルよりも低いか否かを判定する（ステップＳ１０５）。ステップＳ１０５において、送信制御部５９は、運転負荷が閾値よりも低い場合に、所定のレベルよりも低いと判定する。

【0167】

ステップＳ１０５において、例えば、運転負荷の高さが「高」又は「低」で表されている場合には、運転負荷の高さが「低」である場合に、運転負荷が閾値よりも低いと判定される。例えば、運転負荷の高さが「高」、「中」及び「低」の３段階又はそれ以上の段階で表されている場合には、所定のレベル以下（例えば、「低」又は「中」以下）である場合に運転負荷が閾値よりも低いと判定される。ステップＳ１０３において、例えば、運転負荷が数値で表されている場合に、当該数値が閾値以下であるか否かが判定される。

【0168】

ステップＳ１０５において、運転負荷が所定のレベルよりも低いと判定する（ステップＳ１０５：ＹＥＳ）と、送信制御部５９は、ステップＳ１０３において生成されたユーザ指定拡大画像を外部装置３０に送信する（ステップＳ１０６）。

【0169】

ステップＳ１０６において、例えば、図９に例示したように、ユーザによって選択された領域を拡大したユーザ指定拡大画像が外部装置３０に送信されてタッチパネル３１に表示される。

【0170】

ステップＳ１０５において、運転負荷が所定のレベルよりも低くない、すなわち所定のレベル以上であると判定する（ステップＳ１０５：ＮＯ）と、送信制御部５９は、ステップＳ１０１において取得した取得画像を外部装置３０に送信する（ステップＳ１０７）。

【0171】

ステップＳ１０６において、例えば、図１１に例示したように、ユーザによって選択された領域が拡大されていない取得画像が外部装置３０に送信されてタッチパネル３１に表示される。

【0172】

なお、ステップＳ１０２において、拡大領域の選択を受け付けていないと判定された（ステップＳ１０２：ＮＯ）場合にも、取得画像がそのまま取得画像が外部装置３０に送信される。

【0173】

ステップＳ１０６又はステップＳ１０７の実行後、制御部５５は、画像配信ルーチンＲＴ１を終了し、次の画像配信ルーチンＲＴ１を新たに開始する。制御部５５が画像配信ルーチンＲＴ１を繰り返し実行することによって、ユーザ指定拡大画像又は取得画像が外部装置３０に逐次送信される。

【0174】

なお、ステップＳ１０３において、ユーザ指定拡大画像が生成されることとして説明したが、ユーザ指定拡大画像は、ユーザ指定拡大画像が送信される場合にのみ生成されることとしてもよい。例えば、ステップＳ１０５において、運転負荷が所定のレベルよりも低いと判定された場合に、画像生成部５８がユーザ指定拡大画像を生成することとしてもよい。

【0175】

例えば、画像配信ルーチンＲＴ１のステップＳ１０２において、複数の領域が指定された場合には、複数のユーザ指定拡大画像が外部装置３０に表示されるようにしてもよい。例えば、ステップＳ１０３において、複数の領域の各々を拡大して複数のユーザ指定拡大画像が生成されてもよい。その後、ステップＳ１０６において、複数のユーザ指定拡大画像が外部装置３０に送信されてもよい。

【0176】

当該複数のユーザ指定拡大画像が外部装置３０において表示される際に、当該複数のユーザ指定拡大画像の各々が時間を区切って、例えば所定時間（例えば、数秒）経過する毎に順に表示されるようにしてもよい。例えば、拡大画像の生成の際に拡大する領域内の物体の種類を特定し、物体の種類についての表示の優先度を予め設定しておき、複数のユーザ指定拡大画像について、優先度の高い順に表示されるようにしてもよい。

【0177】

例えば、元の画像の歩行者が写っている領域と自転車が写っている領域とが指定された場合に、歩行者を含む拡大画像と自転車が写っている拡大画像が生成されて外部装置３０に送信され、タッチパネル３１に表示されてもよい。

【0178】

例えば、拡大画像中の対象物の種類についての表示の優先度を歩行者＞自転車＞車・バイクとした場合、上記の２つの拡大画像は、例えば歩行者を５秒間拡大表示し、その後自転車を５秒間拡大表示するといった態様で表示されてもよい。

【0179】

［変形例の制御ルーチン］
図１５は、サーバ５０の制御部５５によって実行される上記変形例に係るルーチンの他の一例である画像配信ルーチンＲＴ２を示すフローチャートである。画像配信ルーチンＲＴ２は、ステップＳ２０７を含む点において上述した画像配信ルーチンＲＴ１と異なり、その他のステップについては、画像配信ルーチンＲＴ１と同様に進行する。

【0180】

画像配信ルーチンＲＴ２を開始すると、制御部５５は、画像配信ルーチンＲＴ１の場合と同様に、取得画像及び検出情報を車載装置１０から取得し（ステップＳ２０１）、拡大領域の選択を受け付けた場合（ステップＳ２０２：ＹＥＳ）、拡大領域の選択に基づいてユーザ指定拡大画像を生成し（ステップＳ２０３）、検出情報に基づいて自動車Ｍの運転者の運転負荷を取得する（ステップＳ２０４）。その後、送信制御部５９が、取得された運転負荷が所定のレベルよりも低いか否かを判定する（ステップＳ２０５）。

【0181】

ステップＳ２０５において、運転負荷が所定のレベルよりも低いと判定する（ステップＳ２０５：ＹＥＳ）と、送信制御部５９は、拡大領域の選択によって選択された領域を拡大したユーザ指定拡大画像を外部装置３０に送信する（ステップＳ２０６）。

【0182】

ステップＳ２０５において、運転負荷が所定のレベルよりも低くない、すなわち所定のレベル以上であると判定する（ステップＳ２０５：ＮＯ）と、送信制御部５９は、ステップＳ２０２において受け付けられた選択領域が注意対象物体を含むか否かを判定する（ステップＳ２０７）。ステップＳ２０７において、例えば、送信制御部５９は、予め設定された特定種の対象物が、取得画像中の選択された領域内に含まれるか否かを判定する。

【0183】

ステップＳ２０７において、例えば、図１２において説明したように、ユーザによる選択が受け付けられた選択領域に歩行者等の注意対象物体が含まれる場合に、注意対象物体を含むと判定される。

【0184】

ステップＳ２０７において、例えば、図１０において説明したように、ユーザによる選択が受け付けられた選択領域に、注意対象物体ではない地物等が写っている場合に、注意対象物体を含まないと判定される。

【0185】

ステップＳ２０７において、選択領域が注意対象物体を含むと判定する（ステップＳ２０７：ＹＥＳ）と、送信制御部５９は、ステップＳ２０６を実行し、ユーザ指定拡大画像を外部装置３０に送信する。例えばユーザ指定、拡大画像がタッチパネル３１に表示されると、外部装置３０のユーザは、ユーザ指定拡大画像に含まれる注意対象物体を認識することによって、自動車Ｍの運転者に対して運転の補助を行うことができる。

【0186】

ステップＳ２０７において、選択領域が注意対象物体を含まないと判定した（ステップＳ２０７：ＮＯ）場合、送信制御部５９は、ステップＳ２０１において取得した取得画像を外部装置３０に送信する（ステップＳ２０８）。

【0187】

ステップＳ２０２において、拡大領域の選択を受け付けていないと判定された（ステップＳ２０２：ＮＯ）場合にも、ステップＳ２０８が実行されて取得画像が外部装置３０に送信される。

【0188】

画像配信ルーチンＲＴ２の実行によって、複数のユーザ指定拡大画像が外部装置３０のタッチパネル３１に表示されてもよい。例えば、画像配信ルーチンＲＴ２のステップＳ２０２において、複数の領域が指定された場合には、ステップＳ２０３において、複数の領域の各々を拡大して複数のユーザ指定拡大画像が生成されてもよい。その後、ステップＳ２０７において、例えば、複数のユーザ指定拡大画像のうちの少なくとも１つが注意対象物を含む場合に、選択領域が注意対象物を含むと判定されてもよい。例えば、ステップＳ２０７において選択領域が注意対象物を含むと判定された場合のステップＳ２０６において、複数のユーザ指定拡大画像のうちの注意対象物を含む１又は複数の拡大画像が外部装置３０に送信されてもよい。

【0189】

以上、詳細に説明したように、本実施例の通信システム１００は、サーバ５０を介して、第１装置としての車載装置１０と第２装置としての外部装置３０との間で音声通話を成立させつつ、移動体に搭載されている車載装置１０によって取得された移動体における画像である取得画像に基づく画像を外部装置３０に送信するビデオ通信を行うことが可能である。

【0190】

本実施例の通信システム１００は、移動体の運転者の運転負荷を取得する運転負荷取得部と、第２装置への第２装置のユーザの入力操作を介して取得画像中の領域の指定を受け付ける受付部と、領域の指定に基づいて取得画像の一部を拡大したユーザ指定拡大画像を生成する画像生成部と、を有する。さらに、通信システム１００は、取得された運転負荷が閾値以上である場合に、ユーザ指定拡大画像以外の取得画像に基づく画像を第２装置に送信する送信部としての送信制御部を有する。

【0191】

このような構成により、送信制御部は、運転負荷が閾値よりも低い場合に、ユーザ指定拡大画像を第２装置に送信することができる。従って、本発明によれば、基本的には、第２装置のユーザが、取得画像中の見たい領域を選択すると、その領域が拡大されたユーザ指定拡大画像が第２装置に送信される。

【0192】

例えば、送信制御部は、運転負荷が閾値以上である場合に、取得画像を第２装置に送信する。それによって、例えば、運転負荷が高い状況では、取得画像に写っている可能性が高い、運転時に注意が必要な物体が含まれ得る態様で、取得画像に基づく画像が第２装置に送信される。

【0193】

例えば、送信制御部は、運転負荷が閾値以上であっても、領域の指定がなされた領域に特定種の対象物が写っている場合には、ユーザ指定拡大画像を第２装置に送信することができる。
それによって、例えば、運転負荷が高い状況では、取得画像に写っている運転時に注意が必要な物体が特定され、拡大された態様で、取得画像に基づく画像が第２装置に送信される。

【0194】

よって、本発明によれば、第２装置のユーザが指定する領域のユーザ指定拡大画像を当該ユーザに提示可能であり、かつ、当該ユーザによる運転の補助が望まれる状況において、運転の補助に資する画像を提示可能とすることができる。

【0195】

従って、移動体から移動体外に画像を送信するシステムにおいて、移動体の運転の状況に応じて適切な画像が表示されることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することができる。

【0196】

なお、外部装置３０に表示される画像は、通信量低減のため、車外カメラ１３が撮像した画像が高画質（例えば、フルＨＤ画質（1920×1080画素））の画像であっても、これを低画質（例えば、ＳＤ画質（720×480画素））にして送信される画像である場合がある。このように外部装置３０側で表示される画像の画質が低い場合、外部装置３０のユーザにとって画像に映っているものを認識しにくい場合がある。本発明においてユーザ指定拡大画像が送信される場合、画素数が低くなっても、拡大された領域を鮮明にまたは視認容易に表示することができる。

【実施例0197】

図１６は、実施例２の通信システム１００における車載装置６０の構成の一例を示すブロック図である。上記の実施例１においてサーバ５０が有する受付部５６、運転負荷取得部５７、画像生成部５８及び送信制御部５９の機能を、本実施例においては車載装置６０が有している。

【0198】

具体的には、車載装置６０の制御部６１は、受付部６２、運転負荷取得部６３、画像生成部６４及び送信制御部６５を有している。記憶部６７は、地図データベースを有しており、当該地図データベースにおいて、道路リンク及びノード毎に運転負荷が対応付けられている。

【0199】

また、記憶部６７は、自動車Ｍの運転者の運転負荷を取得し、外部装置３０への外部装置３０のユーザの入力操作を介して取得画像中の領域の指定を受け付けて、当該領域の指定に基づいて取得画像の一部を拡大したユーザ指定拡大画像を生成し、取得した運転負荷が閾値以上である場合に、ユーザ指定拡大画像以外の、取得画像に基づく画像を外部装置３０に送信するための通信プログラムを記憶している。

【0200】

制御部６１は、車載装置１０の制御部２５と同様に、自動車Ｍに備えられた各種機器に通信可能に接続されている。

【0201】

例えば、車載装置６０が外部装置３０との間でビデオ通信を開始すると、制御部６１は、上述の画像配信ルーチンＲＴ１又は画像配信ルーチンＲＴ２と同様のルーチンを実行する。

【0202】

具体的には、運転負荷取得部６３が自動車Ｍの運転者の運転負荷を取得し、受付部６２が外部装置３０への外部装置３０のユーザの入力操作を介して取得画像中の領域の指定を受け付けて、画像生成部６４が当該領域の指定に基づいて取得画像の一部を拡大したユーザ指定拡大画像を生成し、送信制御部６５が、取得した運転負荷が閾値以上である場合に、ユーザ指定拡大画像以外の取得画像に基づく画像を外部装置３０に送信する。

【0203】

車載装置６０からの取得画像に基づく画像の送信先はサーバ５０でもよく、外部装置３０に直接送信してもよい。本実施例において、サーバ５０は、車載装置６０から受信した画像を外部装置３０に転送する。

【0204】

本実施例によれば、サーバ５０を介さずに、外部装置３０と車載装置６０との間でビデオ通信を行って、取得画像中の領域の指定及び自動車Ｍの運転者の運転負荷に応じて、取得画像に基づく画像を車載装置６０から外部装置３０に配信することが可能である。

【0205】

例えば、本実施例におけるビデオ通信は、サーバ５０を介さずに、車載装置１０と外部装置３０との間でＰ２Ｐ（Peer to Peer）通信などによって直接なされてもよい。

【0206】

上述した実施例及び変形例における車載装置１０、車載装置６０、サーバ５０及び外部装置３０の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。

【0207】

上記の実施例及び変形例においては、通信システム１００においてビデオ通信を行う例について説明したが、これに限られない。本発明は、通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける映像を第２装置としての外部装置３０に送信し、かつ外部装置３０における音声を車載装置１０に送信する音声映像通信を行う場合に適用可能である。つまり、本発明は、車載装置１０からは音声が送信されない態様での通信にも適用可能である。

【0208】

また、上記の実施例においては、車載装置１０と外部装置３０とがサーバ５０を介してビデオ通信を行うこととしたが、ビデオ通信は車載装置１０と外部装置３０との間で直接なされてもよい。

【0209】

また、通信システム１００で車載装置１０から外部装置３０に上記映像配信が行われつつ、通信システム１００とは別の経路で並行して車載装置１０と外部装置３０との間の音声通話が確立されていても良い。

【0210】

上記実施例及び変形例において、自動車Ｍの前方を撮影した取得画像を用いる例について説明したが、これに限られない。例えば、自動車Ｍには、車内を撮影するカメラ、自動車Ｍの側方又は後方を撮影するカメラ、又は３６０度カメラが備えられていてもよい。自動車Ｍの前方以外の方向を撮影した取得画像に基づく画像が送信制御部によって送信されてもよい。

【0211】

例えば、運転負荷が高い場面では、自動車Ｍの側方又は後方の注意対象物体が写っている取得画像又はユーザ指定拡大画像等の取得画像に基づく画像が外部装置３０に送信されてもよい。また、例えば、運転負荷が低い場面では、外部装置３０のユーザは、自動車Ｍの側方又は後方が撮影された取得画像中の領域を指定して拡大表示させることができる。

【0212】

上記実施例及び変形例において、ユーザ指定拡大画像が生成される際に、拡大処理に加えて、輝度の調整、コントラストの調整、明度の調整、彩度の調整等の画像処理が行われてもよい。

【0213】

また、上記実施例及び変形例において、注意対象物体等の特定種の対象物を含むユーザ指定拡大画像（特定対象物拡大画像）を生成する際には、拡大される領域の大部分を対象物が占めるように拡大処理が行う場合に限られず、拡大される領域の一部に対象物が含まれるように行ってもよい。ユーザによる領域の指定に基づいて、元の画像中の一部の領域が拡大されることによって対象物が元の画像中の対象物よりも拡大されていればよい。例えば、ユーザによる領域の指定に基づいて、一部に対象物が含まれかつ当該対象物の周辺の景色を含むように拡大画像が生成されてもよい。また、拡大処理後の画像中、対象物が必ずしも中心に写っていなくともよい。

【0214】

上記の変形例において、例えば、ユーザによって指定された画像中の領域内に特定種の対象物が写っている場合に、ユーザ指定拡大画像中の対象物を含む領域を枠で囲うマーキングなどの対象物を目立たせる画像処理を行って表示してもよい。

【0215】

上記の実施例及び変形例において、図９及び図１３では、ユーザ指定拡大画像が外部装置３０のタッチパネル３１の全体に表示されている例について示したが、ユーザ指定拡大画像の表示態様はこれに限られない。例えば、タッチパネル３１の画面を複数の領域に分割して、拡大されていない画像（例えば、図１１）と、ユーザ指定拡大画像（例えば、図１３）とを、併せて表示してもよい。または、例えば、拡大されていない画像に拡大画像を重畳して表示してもよい。

【0216】

上記実施例及び変形例において、車載装置１０及び車載装置６０は、車載ナビゲーション装置であるとしたが、車載装置１０又は車載装置６０は、ナビゲーション機能を有していなくともよく、単に車外カメラ１３からの動画を配信可能であればよい。

【0217】

例えば、車載装置１０は、車載装置１０と同様の構成を有する端末装置と車外カメラ１３とタッチパネル１５とが一体化された構成であってもよい。具体的には、例えば、車載装置１０は、上記車載装置１０と同様の機能を発揮するアプリケーションを搭載したカメラ付きのスマートフォン、タブレットまたはＰＣ等の端末装置であってもよい。この場合、車載装置１０は、内蔵カメラが自動車Ｍのフロントガラスを通して自動車Ｍの前方を撮影可能なように、例えばクレードル等でダッシュボードＤＢ上に取り付けられ得る。

【0218】

また、車載装置１０は、自動車Ｍの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置１０は、ドライブレコーダのような構成を有していてもよく、例えば、車外カメラ１３と一体となった装置であってもよい。具体的には、車載装置１０は、例えば、車外カメラ１３の筐体内に上記した車載装置１０のビデオ通信機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置１０は、上記において説明したような種々の表示出力を行わないこととしてもよい。

【0219】

上記の実施例及び変形例において、外部装置３０はスマートフォンである場合について説明したが、これに限られない。外部装置３０は、仮想同乗者がビデオ通信に利用できる端末装置であって、ビデオ通信に関する表示又はメッセージの提示、ビデオ通信を行うために必要な操作入力の受付、音声データの送受信並びに映像の受信及び表示が可能に構成されていればよい。例えば、外部装置３０は、タブレット、ＰＣ、ウェアラブル端末等の端末装置であってもよい。

【0220】

上記の実施例及び変形例においては、車載装置１０及び車載装置６０が自動車Ｍに搭載される例を説明したが、車載装置１０は、自転車、バイク、船舶等他の移動体に搭載されていてもよい。

【0221】

本発明において、運転負荷の取得手段は実施例及び変形例において説明したものに限られず、運転者にかかる負荷を所定の指標を用いて測定又は推定するものであればよい。例えば、加速度センサ情報又はステアリングセンサ情報に代えて、又はこれらに加えて、ウィンカー、アクセルペダル、ブレーキペダル、又はシフトレバー等の操作状態を示すセンサ情報に基づいて運転負荷が取得されてもよい。例えば、上記した運転負荷の取得手段の他に、生体情報を用いる手段や画像認識によって自動車Ｍの周囲の状況から運転負荷を推定する手段を採用してもよい。