特開 2022-157413 映像送信装置、映像生成装置、映像送信方法、映像送信プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022157413

(43)【公開日】2022-10-14

(54)【発明の名称】映像送信装置、映像生成装置、映像送信方法、映像送信プログラム及び記憶媒体

(51)【国際特許分類】

   H04N 21/4402 20110101AFI20221006BHJP

   H04N 21/442 20110101ALI20221006BHJP

   H04N 7/18 20060101ALI20221006BHJP

   G06F 13/00 20060101ALI20221006BHJP

【ＦＩ】

H04N21/4402

H04N21/442

H04N7/18 J

G06F13/00 560A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021061613

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】根岸 廣人

(72)【発明者】

【氏名】加峯 昂生

(72)【発明者】

【氏名】床井 晶勅

(72)【発明者】

【氏名】野田 靖之

(72)【発明者】

【氏名】伊田 裕一

【テーマコード（参考）】

5B084

5C054

5C164

【Ｆターム（参考）】

5B084AA03

5B084AA12

5B084AB07

5B084AB31

5B084BA09

5B084BB11

5B084BB13

5B084CB05

5B084CB22

5B084CE06

5B084CE14

5B084CF12

5B084DB01

5B084DC03

5C054CA04

5C054CC02

5C054DA07

5C054EG01

5C054HA30

5C164FA07

5C164PA38

5C164UA04S

5C164UA42S

5C164UA45S

5C164UB02P

5C164UB26S

5C164UB41P

5C164YA21

(57)【要約】

【課題】
自動車等の移動体から送信される動画の視聴者のユーザエクスペリエンスを維持しつつ、動画の送信のための情報通信量を低減させることが可能な映像送信装置を提供することを目的とする。
【解決手段】
本発明の映像送信装置は、移動体と共に移動する映像送信装置であって、移動体の周囲の映像を逐次取得する映像取得部と、前記車両の速度を取得する速度情報取得部と、前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成部と、前記送信映像を送信する送信部と、を有することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体と共に移動する映像送信装置であって、
前記移動体の周囲の映像を逐次取得する映像取得部と、
前記移動体の速度を取得する速度情報取得部と、
前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成部と、
前記送信映像を送信する送信部と、
を有することを特徴とする映像送信装置。

【請求項2】

前記映像生成部は、前記速度が大きいほど前記画角が狭い送信映像を生成することを特徴とする請求項１に記載の映像送信装置。

【請求項3】

前記映像取得部は、前記移動体の前方の映像を取得することを特徴とする請求項１または２に記載の映像送信装置。

【請求項4】

移動体と共に移動する映像送信装置で実行される映像送信方法であって、
前記移動体の周囲の映像を逐次取得する映像取得ステップと、
前記移動体の速度を取得する速度情報取得ステップと、
前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成ステップと、
前記送信映像を送信する送信ステップと、
を有することを特徴とする映像送信方法。

【請求項5】

移動体と共に移動する映像送信装置に、
前記移動体の周囲の映像を逐次取得する映像取得ステップと、
前記移動体の速度を取得する速度情報取得ステップと、
前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成ステップと、
前記送信映像を送信する送信ステップと、
を実行させることを特徴とする映像送信プログラム。

【請求項6】

移動体と共に移動する映像送信装置に、
前記移動体の周囲の映像を逐次取得する映像取得ステップと、
前記移動体の速度を取得する速度情報取得ステップと、
前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成ステップと、
前記送信映像を送信する送信ステップと、
を実行させる映像送信プログラムを記憶するコンピュータ可読記憶媒体。

【請求項7】

前記移動体の周囲の映像を取得する映像取得部と、
前記映像を撮影している際の前記移動体の速度を取得する速度情報取得部と、
前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成部と、
を有することを特徴とする映像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像送信装置、映像生成装置、映像送信方法、映像送信プログラム及び記憶媒体に関し、例えば、移動体からの映像を外部に提供するための映像送信装置、映像生成装置、映像送信方法、映像送信プログラム及び記憶媒体に関する。

【背景技術】

【0002】

車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信ステムがある。例えば、特許文献１には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－２１３７９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のようなシステムにおいては、例えば、動画を車両から外部に送信または配信することによる情報通信量の過多が問題になる場合がある。しかし、当該情報通信量を減らすために、単に送信する動画の解像度を落としたりフレームレートを落としたりすると、当該動画を視聴しているユーザのユーザエクスペリエンスを損なう可能性がある。

【0005】

本発明は、上記した点に鑑みてなされたものであり、自動車等の移動体から送信される動画の視聴者のユーザエクスペリエンスを維持しつつ、動画の送信のための情報通信量を低減させることが可能な映像送信装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の発明は、移動体と共に移動する映像送信装置であって、移動体の周囲の映像を逐次取得する映像取得部と、前記車両の速度を取得する速度情報取得部と、前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成部と、前記送信映像を送信する送信部と、を有することを特徴とする映像送信装置である。

【0007】

請求項４に記載の発明は移動体と共に移動する映像送信装置で実行される映像送信方法であって、前記移動体の周囲の映像を逐次取得する映像取得ステップと、前記移動体の速度を取得する速度情報取得ステップと、前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成ステップと、前記送信映像を送信する送信ステップと、を有することを特徴とする映像送信方法である。

【0008】

請求項５に記載の発明は、移動体と共に移動する映像送信装置に、前記移動体の周囲の映像を逐次取得する映像取得ステップと、前記移動体の速度を取得する速度情報取得ステップと、前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成ステップと、前記送信映像を送信する送信ステップと、を実行させることを特徴とする映像送信プログラムである。

【0009】

請求項６に記載の発明は、移動体と共に移動する映像送信装置に、前記移動体の周囲の映像を逐次取得する映像取得ステップと、前記移動体の速度を取得する速度情報取得ステップと、前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成ステップと、前記送信映像を送信する送信ステップと、を実行させることを特徴とする映像送信プログラムを記憶するコンピュータ可読記憶媒体である。

【0010】

請求項７に記載の発明は、移動体の周囲の映像を取得する映像取得部と、前記映像を撮影している際の前記移動体の速度を取得する速度情報取得部と、前記映像を処理して前記速度に応じた画角の送信映像を生成する映像生成部と、を有することを特徴とする映像生成装置である。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例１である映像配信システムの図である。

【図2】車載装置を搭載した車両の前席部分の斜視図である。

【図3】車載装置の構成の一例を示すブロック図である。

【図4A】通常モードでエンコード処理された映像の一例である

【図4B】狭画角モードでエンコード処理された映像の一例である。

【図5】サーバの構成の一例を示すブロック図である。

【図6】外部装置の正面図である。

【図7】外部装置の構成の一例を示すブロック図である。

【図8】車載装置の動作ルーチンのフロー図である。

【図9】車載装置の動作ルーチンのフロー図である。

【発明を実施するための形態】

【実施例0012】

［１．システムの構成］
以下に、本発明の実施例１である映像配信システム１００について添付図面を参照しつつ説明する。

【0013】

図１は、本発明の実施例１である映像配信システム１００を示している。図１に示すように、映像配信システム１００は、車載装置１０、中継サーバ４０及び外部装置７０を含んで構成されている。なお、図１においては、車載装置１０が移動体の一例としての自動車Ｍに搭載されている場合を示している。また、図１においては、外部装置７０の一例として、スマートフォンを示している。

【0014】

車載装置１０、中継サーバ４０及び外部装置７０とは、ネットワークNWを介して、例えば、ＴＣＰ／ＩＰ、ＵＤＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えば、移動体通信網、Ｗｉ-Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築されて得る。

【0015】

本実施例の映像配信システム１００においては、車載装置１０と外部装置７０との間で音声通話が確立された上で、車載装置１０から自動車Ｍにおいて撮影された映像が外部装置７０に配信される。このように、車載装置１０と外部装置７０との間での音声通話を確立させつつ、自動車Ｍにおいて撮影された映像を車載装置１０から外部装置７０に配信する通信態様をビデオ通信と称する。

【0016】

このようなビデオ通信が行われることで、車載装置１０から送信される映像を視聴している外部装置７０のユーザは、あたかも自動車Ｍの運転者と自動車Ｍに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置７０のユーザの自動車Ｍへの仮想同乗を実現することができる。また、このようなビデオ通信を実現可能な本実施例の映像配信システム１００のようなシステムを仮想同乗システムとも称する。

【0017】

以下、実施例１においては、車載装置１０がカーナビゲーション装置である場合を例に説明する。また、実施例１においては、車載装置１０が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ４０に送信し、サーバ４０が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。

【0018】

図２は、映像送信装置または映像生成装置としての車載装置１０を搭載している自動車Ｍの前席付近を示す斜視図である。図１では、取り付け例として、自動車Ｍの前席のダッシュボードＤＢ内に車載装置１０が取り付けられている場合を示す。

【0019】

ＧＰＳ受信機１１は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する装置である。ＧＰＳ受信機１１は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＰＳ受信機１１は、ＧＰＳ信号が受信できればどこに配されていてもよい。ＧＰＳ受信機１１は、受信したＧＰＳ信号を車載装置１０に送信することが可能である。

【0020】

撮影部としての車外カメラ１２は、自動車Ｍの前方を撮影する撮像装置である。本実施例において、車外カメラ１２は、前方が撮影方向となる様にダッシュボードＤＢに配されている。例えば、車外カメラ１２は、広角カメラであり、フロントガラスを介して自動車Ｍの前方の広い領域を撮影可能である。ビデオ通信時には、車外カメラ１２によって撮像された映像が、外部装置７０に配信される。なお、車載カメラ１２は、車両の前方が撮影できれば、ルームミラーＲＭの裏等、どこに配されていてもよい。

【0021】

タッチパネル１４は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル１４は、例えば、ダッシュボードＤＢのセンターコンソールＣＣに配されている。タッチパネル１４は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル１４は、ダッシュボードＤＢ上に取り付けられていてもよい。

【0022】

タッチパネル１４は、車載装置１０の制御に基づいて画面表示を行うことが可能である。また、タッチパネル１４は、ユーザからの受け付けたタッチパネル１４への入力操作を表す信号を車載装置１０に送信することが可能である。例えば、タッチパネル１４には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル１４を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。

【0023】

また、タッチパネル１４には、ビデオ通信に関する情報が表示されたり、ビデオ通信の接続をするための操作の受付画面が表示されてもよい。自動車Ｍの乗員はタッチパネル１４への入力操作によって、ビデオ通信の接続操作を行ってもよい。

【0024】

スピーカー１５は、例えば、ＡピラーＡＰの室内側に設けられている。スピーカー１５は、車載装置１０の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカー１５からは、音声通話における外部装置７０からの音声が発せられる。

【0025】

マイク１７は、車内の音を受音するマイク装置であり、例えば、ダッシュボードＤＢ上に配されている。マイク１７は、車内の音を受音可能であれば、ルームミラーＲＭまたはハンドル等、どこに設けられていてもよい。ビデオ通信時において、マイク１７に収音された音声が音声通話の音声として外部装置７０に送信される。

【0026】

図３は、車載装置１０の構成を示すブロック図である。例えば、車載装置１０は、システムバス２１を介して、大容量記憶装置２３と、制御部２５と、入力部２７と、出力部２９と、エンコーダ部３０と、データ通信部３１と、が協働する装置である。

【0027】

なお、以下の説明において、自動車Ｍには加速度センサ１９が搭載されているものとして説明する。加速度センサ１９は、自動車Ｍの加速度を測定可能であり、当該測定された速度を示す信号を出力可能な例えばＭＥＭＳ加速度センサであってもよい。なお、加速度センサ１９は慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）であってもよい。また、加速度センサ１９は、車載装置１０に内蔵されていてもよい。

【0028】

大容量記憶装置２３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶する。また、大容量記憶装置２３は、道路地図を含む地図情報を保持している。

【0029】

各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置２３に記憶される各種プログラム（後述する車載装置１０における処理を実行するためのプログラムを含む）は、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

【0030】

制御部２５は、ＣＰＵ（Central Processing Unit）２５Ａ、ＲＯＭ（Read Only Memory）２５Ｂ、ＲＡＭ（Random Access Memory）２５Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ２５Ａが、ＲＯＭ２５Ｂや大容量記憶装置２３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部２５によって、ビデオ通信時の動画配信機能、カーナビゲーション機能等が発揮される。

【0031】

入力部２７は、車載装置１０の制御部２５と、車外カメラ１２、タッチパネル１４、マイク１７及び加速度センサ１９とを通信可能に接続するインタフェース部である。車載装置１０は、入力部２７を介して車外カメラ１２が撮影した映像を逐次取得することが可能である。言い換えれば、制御部２５は、入力部２７を介して、車外カメラ１２によって撮影された自動車の周囲の映像を示す映像データを逐次取得する映像取得部として機能する。

【0032】

制御部２５は、入力部２７を介して加速度センサ１９からの加速度の測定信号を逐次取得することが可能である。制御部２５は、当該加速度の測定信号に基づいて自動車Ｍの加速度及び速度を算出可能である。すなわち、制御部２５は、自動車Ｍの速度を取得する速度情報取得部として機能する。

【0033】

車載装置１０は、入力部２７を介して、タッチパネル１４への入力操作を示す信号を受信することが可能である。例えば、車載装置１０は、入力部２７を介して、タッチパネル１４及びマイク１７によってユーザからなされたビデオ通信の接続要求や、カーナビゲーションの目的地の設定入力を受け付けることが可能である。

【0034】

また、入力部２７は、車載装置１０とＧＰＳ受信機１１とを通信可能に接続するインタフェース部である。車載装置１０は、入力部２７を介して、ＧＰＳ受信機１１から、ＧＰＳ信号を受信し、当該ＧＰＳ信号から車載装置１０の現在位置、すなわち本実施例では自動車Mの現在位置の情報を取得することが可能である。言い換えれば、制御部２５は、ＧＰＳ受信機１１から自動車Ｍの位置情報を取得する位置情報取得部として機能する。

【0035】

出力部２９は、タッチパネル１４及びスピーカー１５と通信可能に接続されており、タッチパネル１４に映像または画像信号を送信して表示をさせたり、スピーカー１５に音声信号を送信して、音を出力させたりすることが可能である。

【0036】

エンコーダ部３０は、制御部２５からの命令に基づいて、カメラ１２によって撮像された映像（撮像映像とも称する）をエンコーディング（以下、エンコード処理とも称する）する部分である。エンコーダ部は、映像エンコード用のＣＰＵ、いわゆるＧＰＵを有しており、当該ＧＰＵによってエンコーディングがなされてもよい。

【0037】

エンコーダ部３０は、例えば、ＭＰＥＧ－４規格のエンコード方式で撮像映像をエンコーディングして映像エンコードデータとしてのエンコードデータを生成する。例えば、エンコーダ部３０は、Ｈ．２６４、Ｘｖｉｄ、ＤｉｖＸ、ＶＰ８、ＶＰ９等のコーデックを用いて、撮像映像からエンコードデータを生成する。

【0038】

データ通信部３１は、上記したネットワークＮＷに接続されており、種々のデータをサーバ４０との間で送受信する。また、データ通信部３１は、種々のデータをサーバ４０を介して外部装置７０との間で送受信する。

【0039】

例えば、車載装置１０の制御部２５は、データ通信部３１を介して、サーバ４０に車載装置１０の現在位置を特定可能な位置データとしての位置特定情報、すなわち本実施例では自動車Ｍの現在位置の情報を送信可能である。また、例えば、制御部２５は、データ通信部３１を介して、サーバ４０にユーザから入力された目的地を含む情報を送信し、サーバ４０から、当該目的地への経路情報またはナビゲーション情報を受信可能である。

【0040】

制御部２５は、データ通信部３１を介して、ビデオ通信における音声通話のために、マイク１７によって収音された音声の音声データを外部装置７０に送信可能である。また、制御部２５は、データ通信部３１を介して、ビデオ通信における音声通話のために、外部装置７０に入力された音声の音声データを受信可能である。

【0041】

また、制御部２５は、データ通信部３１を介して、エンコーダ部３０によってエンコーディングされたエンコードデータを外部装置７０に送信する。制御部２５は、データ通信部３１を介して、エンコードデータをバッファしつつ外部装置７０に送信する。

【0042】

本実施例において、エンコーダ部３０は、異なる複数の処理モードで撮影映像のエンコーディングを行う。エンコーダ部３０は、カメラ１２からの映像のエンコーディングについて複数の動作モードを有する。具体的には、例えば、エンコーダ部３０は、エンコーディングの動作モードとして、第１の画角モードとしての通常モード及び第２の画角モードとしての狭画角モードを有する。

【0043】

図４Ａは、通常モードでカメラ１２からの映像（以下、単にカメラ映像とも称する）をエンコード処理した際に生成されるエンコードデータが示す画像である。本実施例において、エンコーダ部３０は、通常モードでの動作時には、カメラ映像のそのままの映像である通常映像をエンコード処理し、当該通常映像のエンコード済みデータ（以下、通常エンコードデータ）を生成する。

【0044】

図４Ｂは、狭画角モードでカメラ映像をエンコード処理した際に生成されるエンコードデータが示す画像である。エンコーダ部３０は、狭画角モードでの動作時には、カメラ映像をエンコード処理して、当該カメラ映像よりも画角が狭い、すなわち通常映像よりも画角が狭い狭画角映像を表す狭画角映像エンコードデータを生成する。

【0045】

図４に示すように、エンコーダ部３０は、例えば、狭画角モードでの動作時には、カメラ映像、いわゆる通常映像の左端を含む部分及び右端を含む部分を取り除いた映像である狭画像をエンコード処理した狭画角映像エンコードデータを生成する。この狭画角映像エンコードデータは、上述のように通常映像の左右端を取り除いたものをエンコード処理しているので、通常映像エンコードデータよりもデータ量が少ない。

【0046】

車載装置１０は、上記した加速度センサ１９から得られた自動車Ｍの速度に応じて、エンコーダ部３０の動作モードを通常モードと狭画角モードとの間で変更する。

【0047】

一般的に人が自動車を運転している際に、人の視野は速度が上がるほど自動車前景の中央に集中し、視野が狭くなる傾向がある。同様に、自動車の前方映像を視聴している人の視野も映像の中央に集中して狭くなる傾向がある。よって、自動車Ｍの速度が大きいときの映像を観ている視聴者は、映像の両端部をほとんど見ない傾向がある。従って、自動車Ｍの速度が大きいときの映像が画角が狭い狭画角映像となっても視聴者のユーザエクスペリエンスには余り影響が出ない。

【0048】

よって、自動車Ｍの速度が大きいときに、エンコーダ部３０を狭画角モードで動作させて狭画像エンコードデータを外部に送信することで、外部の視聴者のユーザエクスペリエンスを維持しつつ情報通信量を低減することが可能である。

【0049】

また、視聴者が余り映像にのめり込むタイプではなく、自動車Ｍの速度が大きい場合であっても視聴者の映像に対する視野が狭くならない場合は、自動車Ｍの速度が上がった際に狭画角映像を視聴者に見せることで、運転者の実際の視野を再現することが可能となる。この場合には、運転者の実際の感覚を視聴者に伝えているという点で、良好なユーザエクスペリエンスを維持しつつ情報通信量の低減を行うことが出来る。

【0050】

なお、上記狭画角モードに変更するか否かの自動車Ｍの速度の閾値は、上回ると自動車Ｍの運転者の視界が大きく狭まるとされている速度、例えば時速７０ｋｍである。なお、運転者の視界は速度の上昇に応じて漸次狭くなる傾向がある。従って、速度が所定値（例えば、時速３０ｋｍ）を超えた後に狭画角モードでの動作が開始され、その後の速度の上昇に応じて、狭画角モードにおいて生成されるエンコードデータで示される映像の画角をだんだん狭くしていくこととしてもよい。

【0051】

すなわち、映像送信装置の映像生成部としてのエンコーダ部３０は、自動車Ｍの速度が大きいほど画角が狭い映像を示す送信映像としてのエンコードデータを生成する。

【0052】

図５は、サーバ４０の構成を示すブロック図である。例えば、サーバ４０はシステムバス４１を介して、大容量記憶装置４３と、制御部４５と、データ通信部４７と、が協働している装置である。サーバ４０は、ビデオ通信中において、車載装置１０と外部装置７０との間の音声通話を確立し、当該音声通話のデータを転送するＳＩＰサーバのような機能を有している。

【0053】

また、サーバ４０は、車載装置１０から自動車Ｍの位置特定情報及び自動車Ｍの乗員であるユーザが設定した目的地の情報を受信し、当該位置特定情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。

【0054】

また、サーバ４０は、車載装置１０から送られてきたエンコードデータを外部装置７０に転送する機能を有している。

【0055】

大容量記憶装置４３は、例えば、ハードディスク装置及びＳＳＤ（solid state drive）等により構成されており、オペレーティングシステムや、サーバ４０用のソフトウェア等の各種プログラムを記憶する。

【0056】

また、大容量記憶装置４３内には、道路地図を含む地図情報が保存されている地図情報データベース（図中、地図情報ＤＢと示す）４３Ａが含まれている。地図情報データベース４３Ａの地図情報は、例えば一般的なナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。

【0057】

制御部４５は、ＣＰＵ（Central Processing Unit）４５Ａ、ＲＯＭ（Read Only Memory）４５Ｂ、ＲＡＭ（Random Access Memory）４５Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ４５Ａが、ＲＯＭ４５Ｂや大容量記憶装置４３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0058】

データ通信部４７は、上記したネットワークＮＷに接続されており、種々のデータを車載装置１０及び外部装置７０との間で送受信する。

【0059】

制御部４５は、データ通信部４７を介して、車載装置１０から自動車Ｍの現在位置を示す位置特定情報を取得する。また、制御部４５は、データ通信部４７を介して、車載装置１０から自動車Ｍの乗員が車載装置１０に入力した目的地の情報を取得する。制御部４５は、当該位置特定情報及び目的地の情報に基づいて、当該目的地までの経路を生成し、当該経路を示す情報を車載装置１０に送信する。

【0060】

また、制御部４５は、データ通信部４７を介して、車載装置１０から受信したエンコードデータ及び音声を外部装置７０に転送する。制御部４５は、データ通信部４７を介して、外部装置７０から受信した音声を車載装置１０に転送する。

【0061】

図６は、外部装置７０の外観を示す正面図である。上述のように、実施例１において、外部装置７０はスマートフォンである。

【0062】

タッチパネル７１は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル７１は、ユーザからの受け付けたタッチパネル７１への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル７１には、車載装置１０から配信された映像が表示される。

【0063】

また、タッチパネル７１には、ビデオ通信に関する情報が表示されたり、ビデオ通信の接続をするための操作の受付画面が表示されてもよい。外部装置７０のユーザは、タッチパネル７１への入力操作によって、ビデオ通信の接続操作を行ってもよい。

【0064】

スピーカー７３は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカー７３からは、音声通話における車載装置１０からの音声が発せられる。

【0065】

マイク７５は、外部装置７０に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク７５に収音された音声が音声通話の音声として外部装置７０に送信される。

【0066】

図７は、外部装置７０の構成を示すブロック図である。例えば、外部装置７０は、システムバス８１を介して、大容量記憶装置８３と、制御部８４と、入力部８５と、出力部８６と、データ通信部８７、デコーダ部８８と、が協働する装置である。

【0067】

大容量記憶装置８３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶する。

【0068】

なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置８３に記憶される各種プログラム（後述する外部装置７０における処理を実行するためのプログラムを含む）は、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

【0069】

制御部８４は、ＣＰＵ（Central Processing Unit）８４Ａ、ＲＯＭ（Read Only Memory）８４Ｂ、ＲＡＭ（Random Access Memory）８４Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ８４Ａが、ＲＯＭ８４Ｂや大容量記憶装置８３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0070】

入力部８５は、タッチパネル７１及びマイク７５に対する入力インタフェース部である。制御部８４は、入力部８５を介して、タッチパネル７１への入力操作を示す信号およびマイク７５からの音声入力信号を受信することが可能である。例えば、制御部８４は、入力部８５を介して、タッチパネル７１及びマイク７５によってユーザからなされたビデオ通信の接続要求を受け付けることが可能である。

【0071】

出力部８６は、タッチパネル７１及びスピーカー７３への出力インタフェース部である。制御部は８４、出力部８６を介してタッチパネル７１に映像または画像信号を送信して表示をさせたり、スピーカー７５に音声信号を送信して、音を出力させたりすることが可能である。

【0072】

データ通信部８７は、上記したネットワークＮＷに接続されており、種々のデータをサーバ４０との間で送受信する。また、データ通信部８７は、車載装置１０から送信された映像のエンコードデータを始めとして、種々のデータをサーバ４０を介して車載装置１０との間で送受信する。すなわち、制御部８４は、データ通信部８７を介してエンコードデータを受信するエンコードデータ受信部として機能する。

【0073】

例えば、外部装置７０の制御部８４は、データ通信部３１を介して、サーバ４０から車載装置１０から送信された自動車Ｍの現在位置を特定可能な位置特定情報位置の情報を受信可能である。また、例えば、制御部８４は、データ通信部８７を介して、サーバ４０から、自動車Ｍの経路情報またはナビゲーション情報を受信可能である。

【0074】

また、制御部８４は、データ通信部８７を介して、ビデオ通信における音声通話のために、マイク７５によって収音された音声の音声データを車載装置１０に送信可能である。また、制御部８４は、データ通信部８７を介して、ビデオ通信における音声通話のために、車載装置１０から送信された音声データを受信可能である。

【0075】

映像出力部としてのデコーダ部８８は、制御部８４からの命令に基づいて、車載装置１０から受信したエンコードデータをデコーディングして再生し出力する部分である。デコーダ部８８は、エンコードデータのエンコード時のコーデック、例えば、ＭＰＥＧ－４規格のエンコード方式でエンコードデータをデコーディングして映像を再生して出力する。当該再生された映像は制御部８４によってタッチパネル７１に表示させられる。

【0076】

［２．車載装置の動作］
以下、実施例１のシステム１００の動作を実現するための車載装置１０の制御ルーチンについて説明する。以下、ビデオ通信で動画配信が開始されると、エンコーダ部は通常モードで動作をし、動画のエンコード処理が開始するものとして説明する。

【0077】

図８は、車載装置１０の制御部２５において実行される動画配信ルーチンＲＴ１を示すフローチャートである。制御部２５は、例えば、車載装置１０に電源が投入されると動画配信ルーチンＲＴ１を開始し、これを繰り返し実行する。

【0078】

まず、制御部２５は、車載装置１０が外部装置７０とのビデオ通信を開始しているか否かを判定する（ステップＳ１０１）。この判定は、例えば、車載装置１０において、ビデオ通信の発信がなされ、外部装置７０との間で通信が確立されているか否かに基づいてなされる。制御部２５は、ビデオ通信が開始されていないと判定すると（ステップＳ１０１：ＮＯ）、ルーチンＲＴ１を終了する。

【0079】

制御部２５は、車載装置１０がビデオ通信を開始していると判定する（ステップＳ１０１：ＹＥＳ）と、加速度センサ１９からの信号に基づいて自動車Ｍの速度を示す速度情報を取得し、車外カメラ１２から映像を取得し、当該取得した映像を自動車Ｍの速度に応じた動作モードでエンコードしてサーバ４０を介して外部装置７０に配信する動画配信動作を開始する（ステップＳ１０２）。なお、速度は、ＧＰＳ受信機１１からの信号に基づいて定まる自動車Ｍの位置の時間変化から算出されてもよい。

【0080】

言い換えれば、制御部２５は、ステップＳ１０２において、カメラ１２から映像を取得する映像取得部として機能する。また、ステップＳ１０２において、制御部２５は、映像データをエンコーディングして当該エンコーディングされたエンコードデータを送信するデータ送信部として機能する。

【0081】

また、上述のようにエンコーダ部３０は、カメラ映像をエンコードする際、自動車Ｍの速度に基づく制御部２５からの指示に応じて、通常モード及び狭画角モードでエンコード処理を行う。従って、ステップＳ１０２の動画配信動作において、制御部２５及びエンコーダ部３０は、カメラ１２からの映像を処理して自動車Ｍの速度に応じた画角の送信映像としての映像エンコードデータを生成する映像生成部として機能する。また、ステップＳ１０２において、制御部２５は、送信映像としての映像エンコードデータを送信する送信部として機能する。

【0082】

ステップＳ１０２は、本発明の映像送信方法、プログラム及び記憶媒体における速度情報取得ステップ、映像取得ステップ及びデータ送信ステップに対応する。

【0083】

ステップＳ１０２が実行され、動画配信動作が開始されると制御部２５は、車載装置１０と外部装置７０とのビデオ通信が終了したか否かを判定する（ステップＳ１０３）。制御部２５は、ビデオ通信が終了していない、すなわちビデオ通信が継続していると判定すると（ステップＳ１０３：ＮＯ）、繰り返しステップＳ１０３を実行する。すなわち、ビデオ通信が終了しない限り動作配信動作は継続する。

【0084】

制御部２５は、ステップＳ１０３において、外部装置７０とのビデオ通信が終了したと判定すると、動画配信動作を終了して（ステップＳ１０４）、ルーチンＲ１が終了する。言い換えれば、制御部２５は、外部装置７０とのビデオ通信が終了したと判定すると、速度情報の取得、映像の取得並びに当該映像のエンコード処理及び送信を終了する。

【0085】

図９は、車載装置１０の制御部２５において実行されるエンコード処理制御ルーチンＲＴ２を示すフローチャートである。制御部２５は、例えば、動画配信動作が開始されるとエンコード処理制御ルーチンＲＴ２を開始し、これを繰り返し実行する。なお、本実施例においては、動画配信動作が開始されると、エンコーダ部３０は、最初は通常モードでエンコード処理をするとして説明する。

【0086】

まず、制御部２５は、自動車Ｍの速度が閾値を超えている否かを判定する（ステップＳ２０１）。この判定は、上述のように、加速度センサ１９からの信号に基づいて自動車Ｍの速度を算出し、その算出値と閾値を比較することで行われる。ここで、閾値は、上述したように自動車Ｍの運転者の視界が大きく狭まるとされている速度、例えば時速７０ｋｍとしてもよい。

【0087】

制御部２５は、自動車Ｍの速度が閾値を超えた判定すると（ステップＳ２０１：ＹＥＳ）、エンコーダ部３０の動作を狭画角モードに切り替える（ステップＳ２０２）。なお、この狭画角モードへの切り替えの際、制御部２５は、エンコーダ部３０の動作を狭画角モードへ切り替えたこと通知する狭画角モード切替信号を、外部装置７０に送信してもよい。この通知に応じて、例えば、外部装置７０は狭画角モードで生成される狭画角エンコードデータに適した態様で効率的に当該狭画角エンコードデータをデコード処理することができる。

【0088】

制御部２５は、自動車Ｍの速度が閾値を超えていないと判定すると（ステップＳ２０１：ＮＯ）、ルーチンＲＴ２を終了する。

【0089】

制御部２５は、ステップＳ２０２の実行後、自動車Ｍの速度が閾値を下回ったか否かを判定する（ステップＳ２０３）。制御部２５は、自動車Ｍの速度が閾値を下回っていないと判定すると（ステップＳ２０３：ＮＯ）、ステップＳ２０３を繰り返し実行する。すなわち、自動車Ｍの速度が閾値を下回るまで、エンコーダ部３０は狭画角モードで動作する。

【0090】

制御部２５は、自動車Ｍの速度が閾値を下回ったと判定すると（ステップＳ２０３：ＹＥＳ）、エンコーダ部３０の動作を通常モードに切り替えて（ステップＳ２０４）、その後ルーチンＲＴ２を終了する。なお、この通常モードへの切り替えの際、制御部２５は、エンコーダ部の動作を通常モードへ切り替えたこと通知する通常モード切替信号を、外部装置７０に送信してもよい。この通知に応じて、例えば、外部装置７０は、エンコードデータのデコード処理の態様を、上記狭画角エンコードデータに応じた態様から通常エンコードデータに適した態様に戻すことができる。

【0091】

上記実施例において、車載装置１０は、車載ナビゲーション装置であるとしたが、車載装置１０は、単にカメラ１２からの動画を配信可能であればよい。また、車載装置１０は、スマートフォン、タブレット等、カメラ１２を内蔵する端末であり得る。この場合、車載装置１０は、内蔵カメラが自動車Ｍのフロントガラスを通して自動車Ｍの前方を撮影可能なように、例えばクレードル等でダッシュボードＤＢ上に取り付けられ得る。

【0092】

上述した実施例における車載装置１０、サーバ４０及び外部装置７０の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。

【0093】

また、上記実施例においては、車載装置１０と外部装置７０とがサーバ４０を介してビデオ通信を行うこととしたが、ビデオ通信は車載装置１０と外部装置７０との間で直接なされてもよい。また、車載装置１０と外部装置７０は、必ずしも音声通話が出来なくともよい。

【0094】

例えば、上記したＹｏｕＴｕｂｅ（登録商標）やニコニコ生放送（登録商標）のように、双方向の音声通話を伴わず単に車載装置１０から外部装置７０に映像及び音声が配信される態様であっても良い。

【0095】

上記実施例においては、車載装置１０において、車載装置１０と外部装置７０との通信が確立されてから動画配信動作が開始される場合を例に説明した。しかし、上記したＹｏｕＴｕｂｅ（登録商標）やニコニコ生放送（登録商標）の動画配信のような態様で動画配信がなされてもよい。すなわち、外部装置７０等の視聴者側の端末との通信の確立が無くとも、動画配信動作が開始されてもよい。具体的には、車載装置１０と外部装置７０等の視聴者側の端末との通信の確立が無くとも、車載装置１０によるサーバ４０への動画データのアップロードが開始されても良い。

【0096】

例えば、車載装置１０による動画配信動作は、車載装置１０とサーバ４０との通信が確立された後に、外部装置７０との通信接続の確立無しに開始されてもよい。この場合、不特定のまたは許可を受けた特定の外部装置７０がサーバ４０に接続することで、車載装置１０から配信された動画を受信し、外部装置７０のユーザが当該動画を視聴することが可能となる。

【0097】

また、映像配信システム１００で車載装置１０から外部装置７０に上記映像配信が行われつつ、映像配信システム１００とは別の経路で並行して車載装置１０と外部装置７０との間の音声通話が確立されていても良い。

【0098】

本実施例において、主に、車載装置１０と外部装置７０とがサーバ４０を介してビデオ通信を行うことについて説明したが、当該ビデオ通信は、サーバ４０を介さずに、車載装置１０と外部装置７０との間でＰ２Ｐ（Peer to Peer）通信などによって直接なされてもよい。

【0099】

本実施例において、車載装置１０がタッチパネル１４に接続されている場合について説明したが、これに限られない。例えば、車載装置１０は、自動車Ｍの運転者が携帯するスマートフォンと通信を行って、タッチパネル１４に代えて当該スマートフォンのディスプレイにビデオ通信に関する画面等を表示させてもよい。

【0100】

また、車載装置１０は、自動車Ｍの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置１０は、ドライブレコーダのような構成を有していてもよく、例えば、車外撮影カメラ１２と一体となった装置であってもよい。具体的には、車載装置１０は、例えば、車外撮影カメラ１２の筐体内に上記した車載装置１０のビデオ通信機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置１０は、上記において説明したような種々の表示出力を行わないこととしてもよい。

【0101】

さらに、本発明の映像送信装置は、本実施例における車載装置１０と同様の構成を有する端末装置と車外撮影カメラ１２とタッチパネル１４とが一体化された構成であってもよい。具体的には、例えば、本発明の映像送信装置は、上記車載装置１０と同様の機能を発揮するアプリを搭載したカメラ付きのスマートフォン、タブレットまたはＰＣ等であってもよい。

【0102】

本実施例において、自動車Ｍの外部の映像が車載装置１０から外部装置７０に送信される場合について説明したがこれに限定されない。例えば、自動車Ｍの内部、例えば客室を撮影する車内カメラが設けられ、車載装置１０から外部装置７０に送信される映像が、自動車Ｍの外部の映像から当該車内カメラによって撮影される自動車Ｍの内部の映像に切り替え可能であってよい。自動車Ｍの内部の映像が送信されている際には、外部装置７０のユーザは、例えば、自動車Ｍの内部の様子を見ながら自動車Ｍの運転者とコミュニケーションをとることができる。

【0103】

なお、外部装置７０に送信する映像を車外撮影カメラ１２の映像と車内カメラの映像との間で切り替える切換操作は、車載装置１０においてなされてもよい。また、当該切換操作は、外部装置７０のユーザによる当該外部装置７０への操作によって遠隔的になされてもよい。

【0104】

本実施例において、外部装置７０の制御部８４は、車載装置１０から送信されている自動車Ｍの外部の映像をサーバ４０を介して受信するとしたが、当該映像に加えて、自動車Ｍの現在地及び移動予定経路が記された地図画像や、自動車Ｍの運転者の氏名、自動車Ｍの走行速度などを受信してもよい。

【0105】

例えば、外部装置７０の制御部８４は、タッチパネル７１において、車載装置１０から受信した地図画像や自動車Ｍの運転者の氏名、自動車Ｍの走行速度を自動車Ｍの外部の映像に重ねて表示させてもよく、自動車Ｍの外部の映像とは異なる表示領域に表示させてもよい。このとき、地図画像や自動車Ｍの運転者の氏名、自動車Ｍの走行速度は、外部装置７０の操作者によって、その表示／非表示を自由に切り替え可能であってもよい。

【0106】

本実施例において、車載装置１０は、加速度センサ１９によって計測される自動車Ｍの加速度に基づいて自動車Ｍの速度を示す速度情報を取得するとしたが、自動車Ｍの速度を取得する方法はこれに限られない。例えば、車載装置１０は、自動車Ｍの移動距離と時間から算出される速度を取得してもよく、車速信号（車速パルス）を受信して自動車Ｍの速度を取得してもよい。

【0107】

上記実施例においては、車載装置１０が自動車Ｍに搭載される例を説明したが、車載装置１０は、自転車、バイク等他の移動体に搭載されていていてもよい。また、車載装置１０がスマートフォンのようなカメラを内蔵したものであり、これを人が保持しており、例えば歩きながらビデオ通信を行って映像を配信することしてもよい。

【符号の説明】

【0108】

１００ 映像配信システム
１０ 車載装置
２５、８４ 制御部
３０ エンコーダ部
３１、８７ データ通信部
８８ デコーダ部
４０ 中継サーバ
７０ 外部装置

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】