特開 2022-157463 映像送信装置、映像送信方法、プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022157463

(43)【公開日】2022-10-14

(54)【発明の名称】映像送信装置、映像送信方法、プログラム及び記録媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221006BHJP

   G08G 1/13 20060101ALI20221006BHJP

【ＦＩ】

H04N5/232 300

G08G1/13

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021061700

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】根岸 廣人

(72)【発明者】

【氏名】加峯 昂生

(72)【発明者】

【氏名】床井 晶勅

(72)【発明者】

【氏名】野田 靖之

(72)【発明者】

【氏名】伊田 裕一

【テーマコード（参考）】

5C122

5H181

【Ｆターム（参考）】

5C122DA14

5C122EA55

5C122FH08

5C122FH14

5C122FK23

5C122GC04

5C122GC06

5C122GC14

5C122GC19

5C122GC20

5C122GC53

5C122HA10

5C122HA65

5C122HA87

5C122HA89

5C122HA90

5C122HB01

5C122HB05

5H181AA01

5H181BB04

5H181CC04

5H181FF05

5H181FF10

5H181MC19

(57)【要約】

【課題】車外端末の操作者に対して、通信時の通信量を低くしつつ、車両の外部の映像を状況に応じて適切な態様で送信することが可能な映像送信装置及び映像送信方法を提供する。
【解決手段】
移動体と共に移動する映像送信装置であって、移動体の周囲の映像を逐次取得する映像取得部と、移動体の前方の景観の良否に関する景観情報を逐次取得する景観良否判定部と、景観の良否に応じたフレームレートの前記映像を送信する映像送信部と、を有することを特徴とする映像送信装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体と共に移動する映像送信装置であって、
前記移動体の周囲の映像を逐次取得する映像取得部と、
前記移動体の前方の景観の良否に関する景観情報を逐次取得する景観良否判定部と、
前記景観の良否に応じたフレームレートの前記映像を送信する映像送信部と、を有することを特徴とする映像送信装置。

【請求項2】

前記景観の良否は、前記映像の画像認識の結果に基づいて決定されることを特徴とする、請求項１に記載の映像送信装置。

【請求項3】

前記景観の良否は、地図上での前記移動体の位置が含まれる領域の属性情報に基づいて決定されることを特徴とする、請求項１に記載の映像送信装置。

【請求項4】

前記映像送信部は、前記景観が良好であるほどフレームレートの高い前記映像を送信することを特徴とする請求項１乃至３のいずれか１つに記載の映像送信装置。

【請求項5】

前記映像送信部は、前記映像をエンコーディングする際の動作モードとして第１のエンコードモード及び前記第１のエンコードモードよりもフレームレートを上げる態様で前記映像をエンコーディングする第２のエンコードモードを有するエンコード部を有し、
前記エンコード部は、前記景観が良好であるときに、前記第２のエンコードモードで動作することを特徴とする、請求項１乃至４のいずれか１つに記載の映像送信装置。

【請求項6】

前記第２のエンコードモードにおける前記映像の解像度は、前記第１のエンコードモードにおける前記映像の解像度よりも大きいことを特徴とする、請求項５に記載の映像送信装置。

【請求項7】

移動体と共に移動する映像送信装置が実行する映像送信方法であって、
前記移動体の周囲の映像を逐次取得する映像取得ステップと、
前記移動体の前方の景観の良否に関する景観情報を逐次取得する景観良否判定ステップと、
前記景観の良否に応じたフレームレートの前記映像を送信する映像送信ステップと、を有することを特徴とする映像送信方法。

【請求項8】

コンピュータに実行させるプログラムであって、
移動体の周囲の映像を逐次取得する映像取得ステップと、
前記移動体の前方の景観の良否に関する景観情報を逐次取得する景観良否判定ステップと、
前記景観の良否に応じたフレームレートの前記映像を送信する映像送信ステップと、を有することを特徴とするプログラム。

【請求項9】

請求項８に記載のプログラムが格納されている記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像送信装置、映像送信方法、プログラム及び記録媒体に関する。

【背景技術】

【0002】

車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信システムがある。例えば、特許文献１には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－２１３７９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のようなシステムにおいて、例えば、映像送信時の通信量が必要以上に多くなることを避けるために、通信量を極力抑えたモードで映像を車外端末に送信する場合がある。このような場合であっても、車両の運転者と車外端末の操作者との間で映像の共有感が薄れないことが好ましい。

【0005】

本発明は、上記した点に鑑みてなされたものであり、車外端末の操作者に対して、通信時の通信量を低くしつつ、車両の外部の映像を状況に応じて適切な態様で送信することが可能な映像送信装置及び映像送信方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明による映像送信装置は、移動体と共に移動する映像送信装置であって、移動体の周囲の映像を逐次取得する映像取得部と、移動体の前方の景観の良否に関する景観情報を逐次取得する景観良否判定部と、景観の良否に応じたフレームレートの映像を送信する映像送信部と、を有することを特徴とする。

【0007】

本発明による映像送信方法は、移動体と共に移動する映像送信装置が実行する映像送信方法であって、移動体の周囲の映像を逐次取得する映像取得ステップと、移動体の前方の景観の良否に関する景観情報を逐次取得する景観良否判定ステップと、景観の良否に応じたフレームレートの映像を送信する映像送信ステップと、を有することを特徴とする。

【0008】

本発明によるプログラムは、コンピュータに実行させるプログラムであって、移動体の周囲の映像を逐次取得する映像取得ステップと、移動体の前方の景観の良否に関する景観情報を逐次取得する景観良否判定ステップと、景観の良否に応じたフレームレートの映像を送信する映像送信ステップと、を有することを特徴とする。

【0009】

本発明による記録媒体は、上記プログラムが記録されている記録媒体である。

【図面の簡単な説明】

【0010】

【図1】実施例１に係る映像配信システムの構成を示す斜視図である。

【図2】実施例１に係る車両の前席部分の構成を示す図である。

【図3】実施例１に係る端末装置Ｔの構成の一例を示す図である。

【図4】実施例１に係る映像送信装置の構成の一例を示すブロック図である。

【図5】実施例１に係るサーバの構成の一例を示すブロック図である。

【図6】実施例１に係る端末装置の構成の一例を示すブロック図である。

【図7】実施例１に係る映像送信装置の制御ルーチンを示すフローチャートである。

【図8】実施例１に係る映像送信装置の制御ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について図面を参照して具体的に説明する。なお、図面において同一の構成要素については同一の符号を付け、重複する構成要素の説明は省略する。

【実施例0012】

図１は、実施例１に係る映像配信システム１００の構成を示す図である。図１に示すように、映像配信システム１００は、移動体としての車両Ｍに搭載されている車載装置１０と端末装置ＴとサーバＳとがネットワークＮＷを介して、例えば、ＴＣＰ／ＩＰや、ＵＤＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。

【0013】

ネットワークＮＷは、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）又は５Ｇ（5th Generation：第５世代移動通信システム）等の移動体通信網、Ｗｉ-Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築され得る。

【0014】

図２は、実施例１に係る車載装置１０が搭載されている車両Ｍの前席部分を示す斜視図である。車載装置１０は、車両Ｍ内に設置された車外撮影カメラ１２、車内撮影カメラ１３、ＧＰＳ受信機１４、マイク１５、タッチパネルディスプレイ１６及びスピーカー１７の各々に接続されており、これらを制御する制御部を含む。車載装置１０は、例えば、車両Ｍの前席のダッシュボードＤＢ内の中央部に配置されている。

【0015】

車外撮影カメラ１２は、車両Ｍの外部の状況を撮影する撮像装置である。本実施例において、車外撮影カメラ１２は、フロントガラスＦＧを介して車両Ｍの前方の広い領域を撮影する広角カメラである。本実施例において、車外撮影カメラ１２は、ダッシュボードＤＢ上に配されている。

【0016】

車内撮影カメラ１３は、車両Ｍの内部の状況を撮影する撮像装置である。本実施例において、車内撮影カメラ１３は、車両Ｍの運転者を撮影するカメラである。本実施例において、車内撮影カメラ１３は、フロントガラスＦＧの上端または当該上端付近の天井部に設けられている。

【0017】

ＧＰＳ受信機１４は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する受信機である。本実施例において、ＧＰＳ受信機１４は、ダッシュボードＤＢ上に配されている。

【0018】

マイク１５は、車内の音、例えば運転者が発した音声を受けて電気信号に変換する音声入力装置である。本実施例において、マイク１５は、ダッシュボードＤＢ上に配されている。

【0019】

タッチパネルディスプレイ１６は、車載装置１０の制御に基づいて画面表示を行うディスプレイと、車両Ｍの搭乗者（例えば運転者）からの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。本実施例において、タッチパネルディスプレイ１６は、ダッシュボードＤＢの中央部に配されている。

【0020】

タッチパネルディスプレイ１６には、例えば、地図に車両Ｍの現在の位置や移動予定経路が重畳されたカーナビゲーション画像が表示され得る。また、タッチパネルディスプレイ１６を介して目的地の設定がなされる等、カーナビゲーション機能に関する操作が可能であってもよい。

【0021】

スピーカー１７は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。本実施例において、スピーカー１７は、２つのＡピラーＡＰの各々にそれぞれ設けられている。

【0022】

本実施例において、車両Ｍの運転者は、車載装置１０に接続されているマイク１５及びスピーカー１７を介して端末装置Ｔの操作者と音声通話可能である。

【0023】

上記した車両Ｍの前席部分における車載装置１０、車外撮影カメラ１２、車内撮影カメラ１３、ＧＰＳ受信機１４、マイク１５、タッチパネルディスプレイ１６及びスピーカー１７の各々の位置は例示に過ぎず、これらは他の位置に配されていてもよい。

【0024】

例えば、車外撮影カメラ１２は、車両Ｍの前方の状況を撮影可能であればどこに設けられていてもよく、フロントガラスＦＧの上端または当該上端付近の天井部に設けられていてもよい。

【0025】

本実施例において、車載装置１０は、車外撮影カメラ１２によって撮像されている車両Ｍの外部（前方）の映像を示す映像情報を、サーバＳを介して端末装置Ｔに逐次送信している。

【0026】

図３は、端末装置Ｔの構成及び端末装置Ｔに表示される映像及び画像の表示態様を示す図である。図３は、端末装置Ｔにおいて、車両Ｍの前方に景観が美しい山々ＭＴが存在している風景映像が表示されている場合を示している。端末装置Ｔは、フレームＦと、当該フレームＦに収められているマイク２１、スピーカー２２及びタッチパネルディスプレイ２３とを含む通信機器である。本実施例において、端末装置Ｔは、通信を介して他者との通話が可能なスマートフォンである。

【0027】

マイク２１は、端末装置Ｔのユーザが発した音声を受けて電気信号に変換する音声入力装置である。マイク２１は、端末装置Ｔの一端部側に設けられている。

【0028】

スピーカー２２は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。スピーカー２２は、端末装置Ｔの他端部側に設けられている。

【0029】

タッチパネルディスプレイ２３は、端末装置Ｔの制御に基づいて画面表示を行うディスプレイと、端末装置Ｔのユーザからの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。タッチパネルディスプレイ２３は、端末装置Ｔの中央に設けられている。

【0030】

本実施例において、端末装置Ｔの操作者は、上記したマイク２１及びスピーカー２２を介して車載装置１０が搭載されている車両Ｍの運転者と音声通話可能に構成されている。

【0031】

本実施例において、端末装置Ｔは、車両Ｍの車載装置１０から逐次送信されている車両Ｍの外部の映像を示す映像情報を、サーバＳを介して逐次受信している。具体的には、端末装置Ｔは、車外撮影カメラ１２によって撮像されている車両Ｍの前方の映像を示す映像情報を、サーバＳを介して逐次受信している。

【0032】

上記したように、本実施例において、映像配信システム１００は、車載装置１０を搭載した車両Ｍの運転者と端末装置Ｔの操作者とが互いに音声通話可能に構成されている。また、本実施例において、映像配信システム１００は、車外撮影カメラ１２によって撮影されている車両Ｍの外部の映像が、端末装置Ｔのタッチパネルディスプレイ２３にリアルタイム表示可能に構成されている。言い換えれば、映像配信システム１００は、車載装置１０が端末装置Ｔに対してライブストリーミングを実施可能に構成されている。

【0033】

このように、車載装置１０と端末装置Ｔとの間の音声通信を確立しつつ、車載装置１０から端末装置Ｔに、車両Ｍの外部の映像等の映像と車両Ｍの現在位置と移動経路とをリアルタイムで送信する通信形態を、ビデオ通信と称する。本実施例において、車載装置１０と端末装置Ｔとは、サーバＳを介してビデオ通信を行っている。

【0034】

このようなビデオ通信が行われることで、車載装置１０から送信される映像を視聴している端末装置Ｔのユーザは、あたかも車両Ｍの運転者と車両Ｍに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、端末装置Ｔのユーザの車両Ｍへの仮想同乗を実現することができる。このようなビデオ通信によって構成されるシステムを仮想同乗システムと称する。

【0035】

以下に、図４～６を用いて映像配信システム１００を構成する車載装置１０、サーバＳ及び端末装置Ｔの各々の構成について説明する。

【0036】

図４は、車載装置１０の構成を示すブロック図である。制御部２５は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含む処理装置である。本実施例において、制御部２５は、コンピュータとして機能し、当該制御部２５によってビデオ通信時における映像送信機能が発揮される。

【0037】

エンコード部２６は、制御部２５からの命令に基づいて、車外撮影カメラ１２又は車内撮影カメラ１３によって撮像される映像（撮像映像とも称する）をエンコーディングする部分である。エンコード部２６は、映像エンコード用のＣＰＵ、いわゆるＧＰＵを有しており、当該ＧＰＵによってエンコーディングがなされてもよい。

【0038】

エンコード部２６は、例えば、ＭＰＥＧ－４規格のエンコード方式で撮像映像をエンコーディングして映像データとしてのエンコードデータを生成する。例えば、エンコード部２６は、Ｈ．２６４、Ｘｖｉｄ、ＤｉｖＸ、ＶＰ８、ＶＰ９等のコーデックを用いて、撮像映像からエンコードデータを生成する。

【0039】

通信部２７は、制御部２５の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部２７は、例えば、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）である。

【0040】

通信部２７は、上記したネットワークＮＷに接続されており、種々のデータを車載装置１０と端末装置Ｔとの間で送受信する。本実施例において、制御部２５、エンコード部２６及び通信部２７は、例えば、エンコード部２６によって生成された撮像映像のエンコードデータをサーバＳを介して端末装置Ｔに送信する映像送信部であり得る。

【0041】

記憶部２８は、制御部２５の処理に必要なデータを記憶管理する記憶デバイスである。記憶部２８は、例えば、ハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の記憶デバイスである。記憶部２８は、例えば、ビデオ通信の相手としての端末装置Ｔの連絡先を記憶している。また、記憶部２８は、例えば、上記したタッチパネルディスプレイ１６に表示させるための地図データを記憶している。

【0042】

以下、制御部２５の機能ブロックについて説明する。

【0043】

映像取得部３１は、上記した車外撮影カメラ１２又は車内撮影カメラ１３によって撮像される撮像映像を取得する部分である。制御部２５は、映像取得部３１が取得した撮像映像をエンコード部２６を介してエンコーディングし、当該エンコーディングされた撮像映像を通信部２７を介してサーバＳに送信する。

【0044】

画像認識部３２は、映像取得部３１が取得した撮像映像を示す画像に対して画像認識を行い、車両Ｍの前方における物体の認識結果を示す情報を取得する部分である。画像認識部３２は、例えば、画像から認識対象となる物体の輪郭を検出し、当該物体を他の物体などから分離した上で参照データとしての画像に照らし合わせることで、当該物体が何であるかを認識する。当該参照データとしての画像は、例えば、記憶部２８に記憶されている。

【0045】

本実施例において、画像認識部３２は、上記した撮像映像における車両Ｍの前方の景観の良否に関与し得る物体を認識する。具体的には、画像認識部３２は、例えば、車両Ｍの前方において美しい景観を構成する物体が存在しているかを認識する。より具体的には、画像認識部３２は、例えば、山、海、川、湖沼などの自然物や、ダム、橋梁、道路や家屋などの構造物を認識する。

【0046】

景観良否判定部３３は、画像認識部３２によって得られた画像認識結果に基づいて、車両Ｍの前方における景観の良否を決定する部分である。すなわち、景観良否判定部３３は、画像認識結果に基づいて車両Ｍの前方の景観の良否に関する景観情報を取得する景観情報取得部である。

【0047】

例えば、景観良否判定部３３は、画像認識部３２によって認識された美しい景観を構成する物体の有無や当該物体の存在位置などに基づいて、車両Ｍの前方における景観の良否を判定する。例えば、景観良否判定部３３は、車両Ｍの前方に上記した美しい景観を構成する自然物や構造物が位置しているというような画像認識結果を取得した場合、車両Ｍの前方の景観が良好であるものとして決定する。

【0048】

制御部２５は、景観良否判定部３３によって判定された車両Ｍの前方の景観の良否に基づいて、エンコード部２６による撮像映像のエンコーディングの態様を変化させる。

【0049】

ここで、本実施例におけるエンコード部２６によって行われる撮像映像送信時のエンコーディングの態様について説明する。以下、車外撮影カメラ１２は、例えば常時２７．５ｆｐｓなどの、以下に説明するエンコード処理後の映像データのフレームレートよりも十分高いフレームレートで撮影するものであって、当該エンコード処理によってフレームレートが落とされることで、フレームレート可変にエンコードデータが生成されるものとして説明する。

【0050】

エンコード部２６は、制御部２５の指示に基づいて、異なる複数のエンコードモードで撮影映像のエンコーディングを実施する。具体的には、エンコード部２６は、エンコーディング時の動作モードとして、第１のエンコードモードとしての通常モード及び第２のエンコードモードとしての高フレームレートモードを有する。

【0051】

第１のエンコードモードとしての通常モードは、第２のエンコードモードよりも低いフレームレートの撮像映像をエンコーディングするエンコードモードである。本実施例において、通常モードは、例えば、車両Ｍの前方の景観が良好ではないときに適用される。

【0052】

第２のエンコードモードとしての高フレームレートモードは、第１のエンコードモードよりもフレームレートを上げる態様で撮像映像をエンコーディングするエンコードモードである。本実施例において、高フレームレートモードは、例えば、車両Ｍの前方の景観が良好であるときに適用される。

【0053】

例えば、エンコード部２６は、車両Ｍの前方の景観が良好ではないときに、通常モードとして１０ｆｐｓのフレームレートで撮像映像のエンコーディングを行う。そして、エンコード部２６は、例えば、車両Ｍが当該車両Ｍの前方の景観が良好である道路を通行している場合にはエンコードモードが通常モードから高フレームレートモードに変更され、２４ｆｐｓのフレームレートで撮像映像のエンコーディングを行う。

【0054】

本実施例において、車載装置１０と端末装置Ｔとの間でビデオ通信が確立されると、車載装置１０から送信される車両Ｍの外部の映像は、車両Ｍの前方の映像の画像認識結果に基づいて決定される車両Ｍの前方の景観の良否に応じて、そのエンコーディングの態様が自動的に変更される。

【0055】

車載装置１０と端末装置Ｔとのビデオ通信において、例えば、図３に示したように、車両Ｍの前方の景観が良好であるときに、車両Ｍの運転者は、映像を視聴している端末装置Ｔの操作者、すなわち視聴者に対して当該景観をよく見せたいと感じる場合がある。また、当該映像を視聴している視聴者側においても景観の良い映像をよく見たいと感じる場合がある。

【0056】

このような場合、例えば、車両Ｍの外部の映像が全てフレームレートが低い通常モードの態様でエンコーディングされて送信されると、車両Ｍの運転者と端末装置Ｔの操作者との間において当該映像に対する感じ方にずれが生じる恐れがある。

【0057】

例えば、車両Ｍの前方の景観が美しい映像を互いに共有している際に、上記したフレームレートが低い通常モードによりエンコーディングがなされるという理由で、車両Ｍの運転者が感動している一方で端末装置Ｔの操作者にはその感動が伝わりにくいような状況が生じ得る。

【0058】

本実施例によれば、エンコード部２６は、ビデオ通信時の通信量を抑えるために通常モードによって低いフレームレートで映像のエンコーディングを行いつつ、車両Ｍの前方の景観が良好である場合には高フレームレートモードで映像のエンコーディングを行う。これにより、車載装置１０は、通信時の通信量を低くしつつ、状況に応じて車両Ｍの外部の映像を適切な態様で端末装置Ｔに送信することができる。

【0059】

従って、車両Ｍの外部の映像を受信した端末装置Ｔの操作者は、車両Ｍの前方の景観が良好である場合に、当該映像を高いフレームレートで視聴することができる。よって、車両Ｍの運転者と端末装置Ｔの操作者との間で、映像の共有感を高めることができ、円滑に情報の共有を行うことができる。

【0060】

図５は、サーバＳの構成を示すブロック図である。サーバＳは、ビデオ通信中において、車載装置１０と端末装置Ｔとの間の音声通話を確立し、当該音声通話のデータを転送するＳＩＰサーバのような機能を有している。

【0061】

制御部３５は、ＣＰＵやＲＯＭ、ＲＡＭを含む処理装置である。本実施例において、制御部３５は、ビデオ通信時において車載装置１０から送信される撮像映像を端末装置Ｔへ転送する。

【0062】

通信部３６は、制御部２５の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部３６は、例えば、ネットワークＮＷに接続するためのＮＩＣである。本実施例において、通信部３６は、エンコーディングされた車両Ｍの外部の映像を車載装置１０から受信する受信部であり得る。また、通信部３６は、エンコーディングされた車両Ｍの外部の映像を端末装置Ｔに送信する送信部であり得る。

【0063】

図６は、端末装置Ｔの構成を示すブロック図である。制御部３７は、ＣＰＵやＲＯＭ、ＲＡＭを含む処理装置である。

【0064】

通信部３８は、制御部３７の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部３８は、例えば、ネットワークＮＷに接続するためのＮＩＣである。本実施例において、通信部３８は、サーバＳから転送されるエンコーディングされた車両Ｍの外部の映像を受信する受信部であり得る。

【0065】

デコード部３９は、制御部３７からの命令に基づいて、サーバＳを介して車載装置１０から受信したエンコーディングされた車両Ｍの外部の映像をデコーディングして再生し出力する部分である。

【0066】

デコード部３９は、エンコードデータのエンコード時のコーデック、例えば、ＭＰＥＧ－４規格のエンコード方式でエンコードデータをデコーディングして映像を再生して出力する。当該再生された映像は、制御部３７によってタッチパネルディスプレイ２３に表示される。

【0067】

このように、端末装置Ｔは、ビデオ通信において車載装置１０から送信される車両Ｍの外部の映像（エンコーディングデータ）を受信してデコーディングを行うことで、タッチパネルディスプレイ２３上に当該映像を表示させることができる。また、端末装置Ｔは、上記した車載装置１０のデコーディング時の異なる複数のエンコードモードによって、車両Ｍの前方の景観の良否に応じて異なるフレームレートの映像を表示させることができる。

【0068】

以下に、本実施例における車載装置１０の具体的な動作について説明する。

【0069】

図７は、車載装置１０の制御部２５において実行される映像配信ルーチンＲＴ１を示すフローチャートである。制御部２５は、例えば、サーバＳを介して車載装置１０と端末装置Ｔとの間でビデオ通信のための接続（以後、ビデオ接続と称する）が確立されたことを開始トリガーとして映像配信ルーチンＲＴ１を開始する。

【0070】

具体的には、例えば、車両Ｍの運転者によって車載装置１０のタッチパネルディスプレイ１６に電源が投入されると、当該タッチパネルディスプレイ１６上にビデオ通話の受付画面が表示される。そして、当該画面においてビデオ接続の相手先として端末装置Ｔが選択されることで、車載装置１０と端末装置Ｔの間においてビデオ接続が確立される。これにより、制御部２５は、映像配信ルーチンＲＴ１を開始する。

【0071】

制御部２５は、ビデオ接続が確立されたことをしてビデオ通信が開始されているか否かを判定する（ステップＳ１０１）。制御部２５は、ビデオ通信が開始されていないと判定すると（ステップＳ１０１：ＮＯ）、映像配信ルーチンＲＴ１を終了する。

【0072】

制御部２５は、ビデオ通信が開始されたと判定すると（ステップＳ１０１：ＹＥＳ）、撮像映像を取得し、当該映像をエンコーディングしてサーバＳを介して端末装置Ｔに送信する映像配信動作を開始する（ステップＳ１０２）。

【0073】

具体的には、ステップＳ１０２において、制御部２５の映像取得部３１は、車外撮影カメラ１２から車両Ｍの外部の撮像映像を取得し、制御部２５の画像認識部３２は、当該撮像映像を示す画像に対して処理を行い、当該画像内にある物体を認識する。そして、景観良否判定部３３は、画像認識部３２による撮像映像を示す画像の認識結果、すなわち景観情報を取得する。制御部２５は、エンコード部２６及び通信部２７に指示を行い、撮像映像をエンコーディングして得られるエンコードデータをサーバＳを介して端末装置Ｔに送信する。

【0074】

制御部２５は、ステップＳ１０２の後に、ビデオ通信が終了したか否かを判定する（ステップＳ１０３）。制御部２５は、ビデオ通信が終了したと判定すると（ステップＳ１０３：ＹＥＳ）、映像配信動作を終了する（ステップＳ１０４）。言い換えれば、制御部２５は、外部装置７０とのビデオ通信が終了したと判定すると、撮像映像の取得、画像認識、当該撮像映像のエンコーディング及び送信を終了する。

【0075】

制御部２５は、ビデオ通信が終了していないと判定すると（ステップＳ１０３：ＮＯ）、ステップＳ１０３を繰り返し実行する。

【0076】

車載装置１０の制御部２５は、上記した映像配信ルーチンＲＴ１によって、車載装置１０と端末装置Ｔとのビデオ通信が継続する限り、車両Ｍの外部の映像をエンコーディングしてサーバＳを介して端末装置Ｔに送信し続ける。

【0077】

図８は、車載装置１０の制御部２５において実行されるフレームレート制御ルーチンＲＴ２を示すフローチャートである。制御部２５は、例えば、ビデオ通信によって車載装置１０において上記した映像配信動作が開始されたことを開始トリガーとしてフレームレート制御ルーチンＲＴ２を開始する。

【0078】

まず、制御部２５は、車両Ｍの前方の映像の認識結果に基づいて、車両Ｍの前方の景観が良好であるか否かを判定する（ステップＳ２０１）。制御部２５は、車両Ｍの前方の景観が良好ではないと判定すると（ステップＳ２０１：ＮＯ）、フレームレート制御ルーチンＲＴ２を終了する。

【0079】

制御部２５は、車両Ｍの前方の景観が良好であると判定すると（ステップＳ２０１：ＹＥＳ）、エンコード部２６のエンコードモードを高フレームレートモードに変更する（ステップＳ２０２）。具体的には、制御部２５は、エンコード部２６のエンコードモードを通常モードよりもエンコーディング時における撮像映像のフレームレートを上げる態様である高フレームレートモードに変更する。

【0080】

制御部２５は、ステップＳ２０２の後に、車両Ｍの前方の景観が良好であるか否かを判定する（ステップＳ２０３）。制御部２５は、車両Ｍの前方の景観が良好ではないと判定すると（ステップＳ２０３：ＮＯ）、エンコード部２６のエンコードモードを通常モードに変更する（ステップＳ２０４）。なお、制御部２５は、ステップＳ２０２において高フレームレートモードに変更した後に、一定時間が経過したことをしてフレームレートが低い通常モードに変更してもよい。

【0081】

制御部２５は、車両Ｍの前方の景観が良好であると判定すると（ステップＳ２０３：ＹＥＳ）、ステップＳ２０３を繰り返し実行する。

【0082】

なお、フレームレート制御ルーチンＲＴ２において、制御部２５は、通常モードから高フレームレートモードへの変更の際、及び高フレームレートモードから通常モードへの変更の際に、エンコード部２６のエンコーディング時のエンコードモードを変更したこと通知するモード変更信号を、端末装置Ｔに送信してもよい。

【0083】

本実施例によれば、上記したように、車載装置１０と端末装置Ｔとのビデオ通信中において、車載装置１０から送信される車両Ｍの外部の映像は、車両Ｍの前方の景観が良好であるとされた際に、そのエンコーディングの態様が自動的に変更される。

【0084】

従って、本実施例によれば、車載装置１０は、通信時の通信量を低くしつつ、状況に応じて車両Ｍの外部の映像を適切な態様で送信することができる。よって、本実施例によれば、通信時の通信量を低くしつつ、車両Ｍの運転者と端末装置Ｔの操作者との間において、円滑に情報の共有を行うことができる。

【0085】

なお、本実施例において、制御部２５の景観良否判定部３３は、景観情報としての車両Ｍの前方の映像における画像認識の結果に基づいて景観の良否を判定するとしたが、当該景観の良否を判定するための手法はこれに限られない。

【0086】

例えば、車両Ｍの現在位置及び地図情報を用いて景観の良否が決定されてもよい。制御部２５は、例えば、ＧＰＳ受信機１４を介して車両Ｍの現在位置を取得する位置情報取得部として機能してもよく、記憶部２８に記憶されている地図データには、地図上の領域ごとに属性情報が付与されていてもよい。具体的には、地図データには、例えば、リンクやノードごとにその周辺領域の環境として住宅密集地、海岸沿い、山沿い、工業地域、田園地域などといった属性を示す情報が付されていてもよい。景観良否判定部３３は、地図上の車両Ｍの現在位置及び上記した属性情報を景観情報として取得する。

【0087】

これにより、景観良否判定部３３は、地図上の車両Ｍの現在位置及び上記した属性情報に基づき、車両Ｍの現在位置を含む領域の属性情報が特定の属性情報である場合、例えば、上記した美しい景観を構成する自然物や構造物が存在し得る属性情報である場合に、景観が良好であるものと決定する。

【0088】

従って、制御部２５は、地図上における車両Ｍの現在位置を含む領域の属性情報に基づいて車両Ｍの前方の景観の良否を決定し、当該景観の良否に応じてエンコーディングの態様を変更させることができる。

【0089】

また、景観の良否は、車外撮影カメラ１２によって撮影される車両Ｍの前方の映像データを、当該映像データから景観の良否判定をする学習モデルを有するＡＩに入力し、その出力を得ることによって判定しても良い。

【0090】

なお、実施例１において、車載装置１０の制御部２５は、車両Ｍの前方の景観が良好である場合にエンコード部２６のエンコーディングの態様を変更させることについて、すなわち２段階でフレームレートを変更する例について説明したが、この態様の変更は３段階以上でなされてもよい。すなわち、映像のフレームレートを変更するエンコードモードは３つ以上あってもよい。

【0091】

例えば、車両Ｍの前方の景観の良好度合いを示す景観レベルが段階的に設定されていてもよく、制御部２５は、車両Ｍの前方の景観レベルが高いほど、すなわち、景観が良好であるほどフレームレートが高くなるエンコードモードで映像のエンコーディングを行ってもよい。

【0092】

本実施例において、エンコード部２６によるエンコーディング時における映像の解像度は、上記したエンコードモードに応じて変更されてもよい。例えば、制御部２５は、車両Ｍの前方の景観が良好である場合に高フレームレートモードで映像をエンコーディングする際に、当該映像の解像度を上げる態様としてもよい。これにより、端末装置Ｔのユーザは、景観が良好であり且つ解像度が高い映像を視聴することで、車両Ｍの運転者との間で感動を共有することができ、端末装置Ｔのユーザの車両Ｍへの同乗感を向上させることができる。

【0093】

本実施例において、車載装置１０と端末装置ＴとがサーバＳを介してビデオ通信を行うことについて説明したが、当該ビデオ通信は、車載装置１０と端末装置Ｔとの間でＰ２Ｐ（Peer to Peer）通信などによって直接なされてもよい。

【0094】

本実施例において、車載装置１０がタッチパネルディスプレイ１６に接続されている場合について説明したが、これに限られない。例えば、車載装置１０は、車両Ｍの運転者が携帯するスマートフォンと通信を行って、タッチパネルディスプレイ１６に代えて当該スマートフォンのディスプレイにビデオ通信に関する画面等を表示させてもよい。

【0095】

また、車載装置１０は、車両Ｍの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置１０は、ドライブレコーダのような構成を有していてもよく、例えば、車外撮影カメラ１２と一体となった装置であってもよい。具体的には、車載装置１０は、例えば、車外撮影カメラ１２の筐体内に上記した車載装置１０の機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置１０は、上記において説明したような種々の表示出力を行わないこととしてもよい。

【0096】

さらに、本願の映像送信装置は、本実施例における車載装置１０と同様の構成を有する端末装置（例えば、図４）と車外撮影カメラ１２とタッチパネルディスプレイ１６とが一体化された構成であってもよい。

【0097】

本実施例において、車両Ｍの外部の映像が車載装置１０から端末装置Ｔに送信される場合について説明したが、車載装置１０から端末装置Ｔに送信される映像は、車両Ｍの外部の映像から車内撮影カメラ１３によって撮影される車両Ｍの内部の映像に切り替えられてもよい。車両Ｍの内部の映像が送信されている際には、端末装置Ｔのユーザは、例えば、車両Ｍの内部の様子を見ながら車両Ｍの運転者とコミュニケーションをとることができる。

【0098】

なお、端末装置Ｔに送信する映像を車外撮影カメラ１２の映像と車内撮影カメラ１３の映像との間で切り替える切換操作は、車載装置１０においてなされてもよい。また、当該切換操作は、端末装置Ｔのユーザによる当該端末装置Ｔへの操作によって遠隔的になされてもよい。

【0099】

本実施例において、端末装置Ｔの制御部３７は、車載装置１０から送信されている車両Ｍの外部の映像をサーバＳを介して受信するとしたが、当該映像に加えて、車両Ｍの現在地及び移動予定経路が記された地図画像や、車両Ｍの運転者の氏名、車両Ｍの走行速度などを受信してもよい。

【0100】

例えば、端末装置Ｔの制御部３７は、タッチパネルディスプレイ２３において、車載装置１０から受信した地図画像や車両Ｍの運転者の氏名、車両Ｍの走行速度を車両Ｍの外部の映像上に表示させてもよく、又は車両Ｍの外部の映像とは異なる表示領域に表示させてもよい。このとき、地図画像や車両Ｍの運転者の氏名、車両Ｍの走行速度は、端末装置Ｔの操作者によって、その表示／非表示を自由に切り替え可能であってもよい。

【0101】

本実施例において、車載装置１０が車両Ｍに搭載される例を説明したが、車載装置１０は、自転車、バイク等他の移動体に搭載されていていてもよい。また、車載装置１０を人が保持しており、例えば歩きながらビデオ通信を行って映像を配信することしてもよい。

【0102】

本実施例において、端末装置Ｔは、スマートフォンである場合について説明したが、これに限られない。例えば、端末装置Ｔは、車載装置１０とビデオ通信が可能なタブレット端末であってもよい。

【0103】

本実施例において、車載装置１０の制御部２５が、車載装置１０と端末装置Ｔとのビデオ通信が確立されてから映像配信動作を開始する場合を例に説明した。しかしながら、制御部２５は、ＹｏｕＴｕｂｅ（登録商標）やニコニコ生放送（登録商標）の動画配信のような態様で動画配信がなされてもよい。すなわち、端末装置Ｔの操作者側の端末との通信の確立が無くとも、映像配信動作が開始されてもよい。具体的には、車載装置１０と端末装置Ｔの操作者側との端末との通信の確立が無くとも、車載装置１０によるサーバＳへの動画データのアップロードが開始されても良い。

【0104】

例えば、車載装置１０による映像配信動作は、車載装置１０とサーバＳとの通信が確立された後に、端末装置Ｔとの通信接続の確立無しに開始されてもよい。この場合、不特定の又は許可を受けた特定の端末装置ＴがサーバＳに接続することで、車載装置１０から配信された映像を受信し、端末装置Ｔの操作者が当該映像を視聴することが可能となる。

【0105】

なお、実施例１において説明した車載装置１０の制御部２５における一連の処理は、コンピュータにより実行させるプログラムとしてもよい。当該プログラムは、コンピュータに読み取り可能な記録媒体に記録されていてもよい。記録媒体のタイプは、特に限定されず、例えば、光ディスク、ハードディスク、またはフラッシュメモリもしくはＳＳＤ等の半導体メモリであってもよい。また、上記プログラムは、通信を介して車載装置１０、サーバＳ及び端末装置Ｔにダウンロードされインストールされてもよい。

【0106】

上記した実施例１において示した制御ルーチンは例示に過ぎず、用途または使用条件等に応じて適宜選択及び変更可能である。

【符号の説明】

【0107】

１００ 情報処理システム
Ｍ 車両
１０ 車載装置
Ｓ サーバ
Ｔ 端末装置
１２ 車外撮影カメラ
１３ 車内撮影カメラ
１４ ＧＰＳ受信機
１５、２１ マイク
１６、２３ タッチパネルディスプレイ
１７、２２ スピーカー
２５、３５、３７ 制御部
２６ エンコード部
２７、３６、３８ 通信部
２８ 記憶部
３１ 映像取得部
３２ 画像認識部
３３ 景観良否判定部
３９ デコード部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】