特開 2022-157267 映像送信装置、映像送信方法、プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022157267

(43)【公開日】2022-10-14

(54)【発明の名称】映像送信装置、映像送信方法、プログラム及び記録媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221006BHJP

   G08G 1/13 20060101ALI20221006BHJP

   G08G 1/01 20060101ALI20221006BHJP

【ＦＩ】

H04N5/232 300

G08G1/13

G08G1/01 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021061391

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】根岸 廣人

(72)【発明者】

【氏名】加峯 昂生

(72)【発明者】

【氏名】床井 晶勅

(72)【発明者】

【氏名】野田 靖之

(72)【発明者】

【氏名】伊田 裕一

【テーマコード（参考）】

5C122

5H181

【Ｆターム（参考）】

5C122DA14

5C122EA55

5C122FH08

5C122FH14

5C122FK23

5C122GC04

5C122GC06

5C122GC14

5C122GC19

5C122GC20

5C122GC53

5C122HA10

5C122HA65

5C122HA75

5C122HA89

5C122HA90

5C122HB01

5C122HB05

5H181AA01

5H181BB04

5H181CC04

5H181FF05

5H181FF10

5H181MC19

(57)【要約】

【課題】車外端末の操作者に対して、通信時の通信量を低くしつつ、車両の外部の映像を状況に応じて適切な態様で送信することが可能な映像送信装置及び映像送信方法を提供する。
【解決手段】
移動体と共に移動する映像送信装置であって、移動体の周囲の映像を逐次取得する映像取得部と、移動体の前方の視界の開け度合いに関する視界情報を逐次取得する視界状態判定部と、開け度合いに応じたフレームレートの映像を送信する映像送信部と、を有することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体と共に移動する映像送信装置であって、
前記移動体の周囲の映像を逐次取得する映像取得部と、
前記移動体の前方の視界の開け度合いに関する視界情報を逐次取得する視界状態判定部と、
前記開け度合いに応じたフレームレートの前記映像を送信する映像送信部と、を有することを特徴とする映像送信装置。

【請求項2】

前記開け度合いは、前記移動体が通行する道路の側方に沿って連続して位置する連続物の有無に基づいて決定されることを特徴とする、請求項１に記載の映像送信装置。

【請求項3】

前記開け度合いは、前記前方の視界内において、複数の物体が前記移動体が通行する道路の側方に沿って互いに間隔をあけて存在しているか否かに基づいて決定されることを特徴とする、請求項１又は２に記載の映像送信装置。

【請求項4】

前記開け度合いは、前記移動体と前記移動体が通行する道路の側方に沿って連続して位置する連続物との距離に基づいて決定されることを特徴とする、請求項１に記載の映像送信装置。

【請求項5】

前記開け度合いは、地図上での前記移動体の位置が含まれる領域の属性情報に基づいて決定されることを特徴とする、請求項１に記載の映像送信装置。

【請求項6】

前記映像送信部は、前記開け度合いが小さいときにフレームレートの高い前記映像を送信することを特徴とする請求項１乃至５のいずれか１つに記載の映像送信装置。

【請求項7】

前記映像送信部は、前記映像をエンコーディングする際の動作モードとして第１のエンコードモード及び前記第１のエンコードモードよりもフレームレートを上げる態様で前記映像をエンコーディングする第２のエンコードモードを有するエンコード部を有し、
前記エンコード部は、前記視界が開けていないときに、前記第２のエンコードモードで動作することを特徴とする、請求項１乃至６のいずれか１つに記載の映像送信装置。

【請求項8】

前記第２のエンコードモードにおける前記映像の解像度は、前記第１のエンコードモードにおける前記映像の解像度よりも小さいことを特徴とする、請求項７に記載の映像送信装置。

【請求項9】

移動体と共に移動する映像送信装置が実行する映像送信方法であって、
前記移動体の周囲の映像を逐次取得する映像取得ステップと、
前記移動体の前方の視界の開け度合いに関する情報を逐次取得する視界状態判定ステップと、
前記開け度合いに応じたフレームレートの前記映像を送信する映像送信ステップと、を有することを特徴とする映像送信方法。

【請求項10】

コンピュータに実行させるプログラムであって、
移動体の周囲の映像を逐次取得する映像取得ステップと、
前記移動体の前方の視界の開け度合いに関する情報を逐次取得する視界状態判定ステップと、
前記開け度合いに応じたフレームレートの前記映像を送信する映像送信ステップと、を有することを特徴とするプログラム。

【請求項11】

請求項１０に記載のプログラムが格納されている記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像送信装置、映像送信方法、プログラム及び記録媒体に関する。

【背景技術】

【0002】

車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信システムがある。例えば、特許文献１には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－２１３７９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のようなシステムにおいて、例えば、映像送信時の通信量が必要以上に多くなることを避けるために、通信量を極力抑えたモードで映像を車外端末に送信する場合がある。このような場合であっても、当該映像を見ている車外端末の操作者に違和感を与えないことが好ましい。

【0005】

本発明は、上記した点に鑑みてなされたものであり、車外端末の操作者に対して、通信時の通信量を低くしつつ、車両の外部の映像を状況に応じて適切な態様で送信することが可能な映像送信装置及び映像送信方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明による映像送信装置は、移動体と共に移動する映像送信装置であって、移動体の周囲の映像を逐次取得する映像取得部と、移動体の前方の視界の開け度合いに関する視界情報を逐次取得する視界状態判定部と、開け度合いに応じたフレームレートの映像を送信する映像送信部と、を有することを特徴とする。

【0007】

本発明による映像送信方法は、移動体と共に移動する映像送信装置が実行する映像送信方法であって、移動体の周囲の映像を逐次取得する映像取得ステップと、移動体の前方の視界の開け度合いに関する視界情報を逐次取得する視界状態判定ステップと、開け度合いに応じたフレームレートの映像を送信する映像送信ステップと、を有することを特徴とする。

【0008】

本発明によるプログラムは、コンピュータに実行させるプログラムであって、移動体の周囲の映像を逐次取得する映像取得ステップと、移動体の前方の視界の開け度合いに関する視界情報を逐次取得する視界状態判定ステップと、開け度合いに応じたフレームレートの映像を送信する映像送信ステップと、を有することを特徴とする。

【0009】

本発明による記録媒体は、上記プログラムが記録されている記録媒体である。

【図面の簡単な説明】

【0010】

【図1】実施例１に係る映像配信システムの構成を示す斜視図である。

【図2】実施例１に係る車両の前席部分の構成を示す図である。

【図3】実施例１に係る端末装置Ｔの構成の一例を示す図である。

【図4】実施例１に係る映像送信装置の構成の一例を示すブロック図である。

【図5】実施例１に係る端末装置Ｔの構成の一例を示す図である。

【図6】実施例１に係るサーバの構成の一例を示すブロック図である。

【図7】実施例１に係る端末装置の構成の一例を示すブロック図である。

【図8】実施例１に係る映像送信装置の制御ルーチンを示すフローチャートである。

【図9】実施例１に係る映像送信装置の制御ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について図面を参照して具体的に説明する。なお、図面において同一の構成要素については同一の符号を付け、重複する構成要素の説明は省略する。

【実施例0012】

図１は、実施例１に係る映像配信システム１００の構成を示す図である。図１に示すように、映像配信システム１００は、移動体としての車両Ｍに搭載されている車載装置１０と端末装置ＴとサーバＳとがネットワークＮＷを介して、例えば、ＴＣＰ／ＩＰや、ＵＤＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。

【0013】

ネットワークＮＷは、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）又は５Ｇ（5th Generation：第５世代移動通信システム）等の移動体通信網、Ｗｉ-Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築され得る。

【0014】

図２は、実施例１に係る車載装置１０が搭載されている車両Ｍの前席部分を示す斜視図である。車載装置１０は、車両Ｍ内に設置された車外撮影カメラ１２、車内撮影カメラ１３、ＧＰＳ受信機１４、マイク１５、タッチパネルディスプレイ１６及びスピーカー１７の各々に接続されており、これらを制御する制御部を含む。車載装置１０は、例えば、車両Ｍの前席のダッシュボードＤＢ内の中央部に配置されている。

【0015】

車外撮影カメラ１２は、車両Ｍの外部の状況を撮影する撮像装置である。本実施例において、車外撮影カメラ１２は、フロントガラスＦＧを介して車両Ｍの前方の広い領域を撮影する広角カメラである。本実施例において、車外撮影カメラ１２は、ダッシュボードＤＢ上に配されている。

【0016】

車内撮影カメラ１３は、車両Ｍの内部の状況を撮影する撮像装置である。本実施例において、車内撮影カメラ１３は、車両Ｍの運転者を撮影するカメラである。本実施例において、車内撮影カメラ１３は、フロントガラスＦＧの上端または当該上端付近の天井部に設けられている。

【0017】

ＧＰＳ受信機１４は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する受信機である。本実施例において、ＧＰＳ受信機１４は、ダッシュボードＤＢ上に配されている。

【0018】

マイク１５は、車内の音、例えば運転者が発した音声を受けて電気信号に変換する音声入力装置である。本実施例において、マイク１５は、ダッシュボードＤＢ上に配されている。

【0019】

タッチパネルディスプレイ１６は、車載装置１０の制御に基づいて画面表示を行うディスプレイと、車両Ｍの搭乗者（例えば運転者）からの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。本実施例において、タッチパネルディスプレイ１６は、ダッシュボードＤＢの中央部に配されている。

【0020】

タッチパネルディスプレイ１６には、例えば、地図に車両Ｍの現在の位置や移動予定経路が重畳されたカーナビゲーション画像が表示され得る。また、タッチパネルディスプレイ１６を介して目的地の設定がなされる等、カーナビゲーション機能に関する操作が可能であってもよい。

【0021】

スピーカー１７は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。本実施例において、スピーカー１７は、２つのＡピラーＡＰの各々にそれぞれ設けられている。

【0022】

本実施例において、車両Ｍの運転者は、車載装置１０に接続されているマイク１５及びスピーカー１７を介して端末装置Ｔの操作者と音声通話可能である。

【0023】

上記した車両Ｍの前席部分における車載装置１０、車外撮影カメラ１２、車内撮影カメラ１３、ＧＰＳ受信機１４、マイク１５、タッチパネルディスプレイ１６及びスピーカー１７の各々の位置は例示に過ぎず、これらは他の位置に配されていてもよい。

【0024】

例えば、車外撮影カメラ１２は、車両Ｍの前方の状況を撮影可能であればどこに設けられていてもよく、フロントガラスＦＧの上端または当該上端付近の天井部に設けられていてもよい。

【0025】

本実施例において、車載装置１０は、車外撮影カメラ１２によって撮像されている車両Ｍの外部（前方）の映像を示す映像情報を、サーバＳを介して端末装置Ｔに逐次送信している。

【0026】

図３は、端末装置Ｔの構成及び端末装置Ｔに表示される映像及び画像の表示態様を示す図である。図３は、端末装置Ｔにおいて、道路の側方に物体が迫っておらず、車両Ｍの前方の視界が開けている風景映像が表示されている場合を示している。端末装置Ｔは、フレームＦと、当該フレームＦに収められているマイク２１、スピーカー２２及びタッチパネルディスプレイ２３とを含む通信機器である。本実施例において、端末装置Ｔは、通信を介して他者との通話が可能なスマートフォンである。

【0027】

マイク２１は、端末装置Ｔのユーザが発した音声を受けて電気信号に変換する音声入力装置である。マイク２１は、端末装置Ｔの一端部側に設けられている。

【0028】

スピーカー２２は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。スピーカー２２は、端末装置Ｔの他端部側に設けられている。

【0029】

タッチパネルディスプレイ２３は、端末装置Ｔの制御に基づいて画面表示を行うディスプレイと、端末装置Ｔのユーザからの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。タッチパネルディスプレイ２３は、端末装置Ｔの中央に設けられている。

【0030】

本実施例において、端末装置Ｔの操作者は、上記したマイク２１及びスピーカー２２を介して車載装置１０が搭載されている車両Ｍの運転者と音声通話可能に構成されている。

【0031】

本実施例において、端末装置Ｔは、車両Ｍの車載装置１０から逐次送信されている車両Ｍの外部の映像を示す映像情報を、サーバＳを介して逐次受信している。具体的には、端末装置Ｔは、車外撮影カメラ１２によって撮像されている車両Ｍの前方の映像を示す映像情報を、サーバＳを介して逐次受信している。

【0032】

上記したように、本実施例において、映像配信システム１００は、車載装置１０を搭載した車両Ｍの運転者と端末装置Ｔの操作者とが互いに音声通話可能に構成されている。また、本実施例において、映像配信システム１００は、車外撮影カメラ１２によって撮影されている車両Ｍの外部の映像が、端末装置Ｔのタッチパネルディスプレイ２３にリアルタイム表示可能に構成されている。言い換えれば、映像配信システム１００は、車載装置１０が端末装置Ｔに対してライブストリーミングを実施可能に構成されている。

【0033】

このように、車載装置１０と端末装置Ｔとの間の音声通信を確立しつつ、車載装置１０から端末装置Ｔに、車両Ｍの外部の映像等の映像と車両Ｍの現在位置と移動経路とをリアルタイムで送信する通信形態を、ビデオ通信と称する。本実施例において、車載装置１０と端末装置Ｔとは、サーバＳを介してビデオ通信を行っている。

【0034】

このようなビデオ通信が行われることで、車載装置１０から送信される映像を視聴している端末装置Ｔのユーザは、あたかも車両Ｍの運転者と車両Ｍに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、端末装置Ｔのユーザの車両Ｍへの仮想同乗を実現することができる。このようなビデオ通信によって構成されるシステムを仮想同乗システムと称する。

【0035】

以下に、図４～７を用いて映像配信システム１００を構成する車載装置１０、サーバＳ及び端末装置Ｔの各々の構成について説明する。

【0036】

図４は、車載装置１０の構成を示すブロック図である。制御部２５は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含む処理装置である。本実施例において、制御部２５は、コンピュータとして機能し、当該制御部２５によってビデオ通信時における映像送信機能が発揮される。

【0037】

エンコード部２６は、制御部２５からの命令に基づいて、車外撮影カメラ１２又は車内撮影カメラ１３によって撮像される映像（撮像映像とも称する）をエンコーディングする部分である。エンコード部２６は、映像エンコード用のＣＰＵ、いわゆるＧＰＵを有しており、当該ＧＰＵによってエンコーディングがなされてもよい。

【0038】

エンコード部２６は、例えば、ＭＰＥＧ－４規格のエンコード方式で撮像映像をエンコーディングして映像データとしてのエンコードデータを生成する。例えば、エンコード部２６は、Ｈ．２６４、Ｘｖｉｄ、ＤｉｖＸ、ＶＰ８、ＶＰ９等のコーデックを用いて、撮像映像からエンコードデータを生成する。

【0039】

通信部２７は、制御部２５の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部２７は、例えば、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）である。

【0040】

通信部２７は、上記したネットワークＮＷに接続されており、種々のデータを車載装置１０と端末装置Ｔとの間で送受信する。本実施例において、制御部２５、エンコード部及び通信部２７は、例えば、エンコード部２６によって生成された撮像映像のエンコードデータをサーバＳを介して端末装置Ｔに送信する映像送信部であり得る。

【0041】

記憶部２８は、制御部２５の処理に必要なデータを記憶管理する記憶デバイスである。記憶部２８は、例えば、ハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の記憶デバイスである。記憶部２８は、例えば、ビデオ通信の相手としての端末装置Ｔの連絡先を記憶している。また、記憶部２８は、例えば、上記したタッチパネルディスプレイ１６に表示させるための地図データを記憶している。

【0042】

以下、制御部２５の機能ブロックについて説明する。

【0043】

映像取得部３１は、上記した車外撮影カメラ１２又は車内撮影カメラ１３によって撮像される撮像映像を取得する部分である。制御部２５は、映像取得部３１が取得した撮像映像をエンコード部２６を介してエンコーディングし、当該エンコーディングされた撮像映像を通信部２７を介してサーバＳに送信する。

【0044】

画像認識部３２は、映像取得部３１が取得した撮像映像を示す画像に対して画像認識を行い、車両Ｍの前方の視界における物体の認識結果を示す情報を取得する部分である。画像認識部３２は、例えば、画像から認識対象となる物体の輪郭を検出し、当該物体を他の物体などから分離した上で参照データとしての画像に照らし合わせることで、当該物体が何であるかを認識する。当該参照データとしての画像は、例えば、記憶部２８に記憶されている。

【0045】

本実施例において、画像認識部３２は、上記した撮像映像における車両Ｍの前方の視界の開け度合いに関与し得る物体を認識する。具体的には、画像認識部３２は、車両Ｍの前方において、車両Ｍが通行する道路の側方に沿って存在している物体を認識する。

【0046】

より具体的には、画像認識部３２は、例えば、防風柵、遮音壁、石垣、コンクリート壁、垣根又はガードレールなどの、道路の側方に沿って連続して位置している物体（以下、連続物と称する）を認識する。また、画像認識部３２は、例えば、車線分離のための複数のガイドポールや、木々又は農作物などの、道路の側方に沿って互いに間隔をあけて存在している物体（以下、不連続物と称する）を認識する。

【0047】

視界状態判定部３３は、画像認識部３２によって得られた画像認識結果に基づいて、車両Ｍの前方における視界の開け度合いを決定する部分である。すなわち、視界状態判定部３３は、画像認識結果に基づいて車両Ｍの前方の視界の開け度合いに関する視界情報を取得する視界情報取得部である。

【0048】

例えば、視界状態判定部３３は、画像認識部３２によって認識された物体の有無及び物体の存在位置に基づいて、車両Ｍの前方における視界の開け度合いを判定して視界情報を取得する。

【0049】

例えば、視界状態判定部３３は、車両Ｍが通行する道路の側方に沿って上記した連続物が位置しているというような画像認識結果を取得した場合、車両Ｍの前方の視界の開け度合いが小さい、すなわち、車両Ｍの前方の視界が開けていないものとして決定する。また、視界状態判定部３３は、車両Ｍが通行する道路の側方に何も位置していないか又は連続物や不連続物がほとんどないような画像認識結果を取得した場合、車両Ｍの前方の視界の開け度合いが大きい、すなわち、車両Ｍの前方の視界が開けているものとして決定する。

【0050】

制御部２５は、視界状態判定部３３によって判定された車両Ｍの前方の視界の開け度合いに基づいて、エンコード部２６による撮像映像のエンコーディングの態様を変化させる。

【0051】

ここで、本実施例におけるエンコード部２６によって行われる撮像映像送信時のエンコーディングの態様について説明する。以下、車外撮影カメラ１２は、例えば常時２７．５ｆｐｓなどの、以下に説明するエンコード処理後の映像データのフレームレートよりも十分高いフレームレートで撮影するものであって、当該エンコード処理によってフレームレートが落とされることで、フレームレート可変にエンコードデータが生成されるものとして説明する。

【0052】

エンコード部２６は、制御部２５の指示に基づいて、異なる複数のエンコードモードで撮影映像のエンコーディングを実施する。具体的には、エンコード部２６は、エンコーディング時の動作モードとして、第１のエンコードモードとしての通常モード及び第２のエンコードモードとしての高フレームレートモードを有する。

【0053】

第１のエンコードモードとしての通常モードは、第２のエンコードモードよりも低いフレームレートの撮像映像をエンコーディングするエンコードモードである。本実施例において、通常モードは、例えば、車両Ｍの前方の視界が開けているときに適用される。

【0054】

第２のエンコードモードとしての高フレームレートモードは、第１のエンコードモードよりもフレームレートを上げる態様で撮像映像をエンコーディングするエンコードモードである。本実施例において、高フレームレートモードは、例えば、車両Ｍの前方の視界が開けていないときに適用される。

【0055】

例えば、エンコード部２６は、車両Ｍの前方が開けているときに、通常モードとして１０ｆｐｓのフレームレートで撮像映像のエンコーディングを行う。そして、エンコード部２６は、例えば、車両Ｍが当該車両Ｍの前方が開けていない道路を通行している場合にはエンコードモードが通常モードから高フレームレートモードに変更され、２４ｆｐｓのフレームレートで撮像映像のエンコーディングを行う。

【0056】

本実施例において、車載装置１０と端末装置Ｔとの間でビデオ通信が確立されると、車載装置１０から送信される車両Ｍの外部の映像は、車両Ｍが通行している道路に沿って位置している物体の有無に基づいて決定される視界の開け度合いに応じて、そのエンコーディングの態様が自動的に変更される。

【0057】

図５は、車載装置１０と端末装置Ｔとのビデオ通信において、図３とは異なる車両Ｍの前方の映像が表示されている端末装置Ｔを示す図である。図５において、端末装置Ｔのタッチパネルディスプレイ２３には、車両Ｍの前方の映像としてのコンクリート壁ＣＷが側方に沿って設けられている道路を通行している様子が表示されている。すなわち、図５において、車両Ｍの前方の視界には、当該車両Ｍが通行している道路の側方に沿って上記した連続物が存在している。

【0058】

車載装置１０のエンコード部２６において、例えば、車両Ｍの外部の映像が全てフレームレートが低い通常モードの態様でエンコーディングされて送信される場合、当該映像を受信した端末装置Ｔの操作者、すなわち視聴者は、車両Ｍの前方の視界の開け度合いによって違和感を覚えることがある。

【0059】

具体的には、例えば、図５に示すように、車両Ｍが通行している道路の側方に沿ってのコンクリート壁ＣＷ等の連続物が設けられている場合、端末装置Ｔの操作者は、上記したフレームレートの低い通常モードの態様でエンコーディングされた映像の視聴時に、実際の車両Ｍの速度に比べて映像から視覚的に得られる速度感覚、いわゆる体感速度が速いと感じてしまうことがある。

【0060】

特に、車両Ｍが通行している道路の側方に沿って位置している物体の高さがカメラの目線よりも高い場合に、端末装置Ｔの操作者は体感速度が早いと感じてしまう。また、当該物体の高さがカメラの目線よりも高くない場合でも一方通行の道路などの道幅の狭い道路を車両Ｍが通行しており、当該物体との距離が近い場合などは、端末装置Ｔの操作者は、体感速度が速いと感じてしまうことがある。この体感速度の速さによって、映像を視聴している端末装置Ｔの操作者が違和感を生む可能性がある。

【0061】

また、車両Ｍの速度又は車両Ｍの運転手の実際の体感速度と端末装置Ｔの操作者の体感速度との隔たりにより、車両Ｍの運転者と端末装置Ｔの操作者との間で、映像の共有感が薄れてしまう恐れがある。また、例えば、端末装置Ｔの操作者に恐怖心を抱かせてしまう可能性がある。

【0062】

本実施例によれば、エンコード部２６は、ビデオ通信時の通信量を抑えるために通常モードによって低いフレームレートで映像のエンコーディングを行いつつ、車両Ｍの前方の視界が開けていない場合には高フレームレートモードで映像のエンコーディングを行う。これにより、車載装置１０は、通信時の通信量を低くしつつ、状況に応じて車両Ｍの外部の映像を適切な態様で端末装置Ｔに送信することができる。

【0063】

従って、車両Ｍの外部の映像を受信した端末装置Ｔの操作者は、違和感なく当該映像を視聴することができる。よって、車両Ｍの運転者と端末装置Ｔの操作者との間で、映像の共有感を高めることができ、円滑に情報の共有を行うことができる。

【0064】

図６は、サーバＳの構成を示すブロック図である。サーバＳは、ビデオ通信中において、車載装置１０と端末装置Ｔとの間の音声通話を確立し、当該音声通話のデータを転送するＳＩＰサーバのような機能を有している。

【0065】

制御部３５は、ＣＰＵやＲＯＭ、ＲＡＭを含む処理装置である。本実施例において、制御部３５は、ビデオ通信時において車載装置１０から送信される撮像映像を端末装置Ｔへ転送する。

【0066】

通信部３６は、制御部２５の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部３６は、例えば、ネットワークＮＷに接続するためのＮＩＣである。本実施例において、通信部３６は、エンコーディングされた車両Ｍの外部の映像を車載装置１０から受信する受信部であり得る。また、通信部３６は、エンコーディングされた車両Ｍの外部の映像を端末装置Ｔに送信する送信部であり得る。

【0067】

図７は、端末装置Ｔの構成を示すブロック図である。制御部３７は、ＣＰＵやＲＯＭ、ＲＡＭを含む処理装置である。

【0068】

通信部３８は、制御部３７の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部３８は、例えば、ネットワークＮＷに接続するためのＮＩＣである。本実施例において、通信部３８は、サーバＳから転送されるエンコーディングされた車両Ｍの外部の映像を受信する受信部であり得る。

【0069】

デコード部３９は、制御部３７からの命令に基づいて、サーバＳを介して車載装置１０から受信したエンコーディングされた車両Ｍの外部の映像をデコーディングして再生し出力する部分である。

【0070】

デコード部３９は、エンコードデータのエンコード時のコーデック、例えば、ＭＰＥＧ－４規格のエンコード方式でエンコードデータをデコーディングして映像を再生して出力する。当該再生された映像は、制御部３７によってタッチパネルディスプレイ２３に表示される。

【0071】

このように、端末装置Ｔは、ビデオ通信において車載装置１０から送信される車両Ｍの外部の映像（エンコーディングデータ）を受信してデコーディングを行うことで、タッチパネルディスプレイ２３上に当該映像を表示させることができる。また、端末装置Ｔは、上記した車載装置１０のデコーディング時の異なる複数のエンコードモードによって、車両Ｍの前方の視界の開け度合いに応じて異なるフレームレートの映像を表示させることができる。

【0072】

以下に、本実施例における車載装置１０の具体的な動作について説明する。

【0073】

図８は、車載装置１０の制御部２５において実行される映像配信ルーチンＲＴ１を示すフローチャートである。制御部２５は、例えば、サーバＳを介して車載装置１０と端末装置Ｔとの間でビデオ通信のための接続（以後、ビデオ接続と称する）が確立されたことを開始トリガーとして映像配信ルーチンＲＴ１を開始する。

【0074】

具体的には、例えば、車両Ｍの運転者によって車載装置１０のタッチパネルディスプレイ１６に電源が投入されると、当該タッチパネルディスプレイ１６上にビデオ通話の受付画面が表示される。そして、当該画面においてビデオ接続の相手先として端末装置Ｔが選択されることで、車載装置１０と端末装置Ｔの間においてビデオ接続が確立される。これにより、制御部２５は、映像配信ルーチンＲＴ１を開始する。

【0075】

制御部２５は、ビデオ接続が確立されたことをしてビデオ通信が開始されているか否かを判定する（ステップＳ１０１）。制御部２５は、ビデオ通信が開始されていないと判定すると（ステップＳ１０１：ＮＯ）、映像配信ルーチンＲＴ１を終了する。

【0076】

制御部２５は、ビデオ通信が開始されたと判定すると（ステップＳ１０１：ＹＥＳ）、撮像映像を取得し、当該映像をエンコーディングしてサーバＳを介して端末装置Ｔに送信する映像配信動作を開始する（ステップＳ１０２）。

【0077】

具体的には、ステップＳ１０２において、制御部２５の映像取得部３１は、車外撮影カメラ１２から車両Ｍの外部の撮像映像を取得し、制御部２５の画像認識部３２は、当該撮像映像を示す画像に対して処理を行い、当該画像内にある物体を認識する。そして、視界状態判定部３３は、画像認識部３２による撮像映像を示す画像における物体の認識結果、すなわち視界情報を取得する。制御部２５は、エンコード部２６及び通信部２７に指示を行い、撮像映像をエンコーディングして得られるエンコードデータをサーバＳを介して端末装置Ｔに送信する。

【0078】

制御部２５は、ステップＳ１０２の後に、ビデオ通信が終了したか否かを判定する（ステップＳ１０３）。制御部２５は、ビデオ通信が終了したと判定すると（ステップＳ１０３：ＹＥＳ）、映像配信動作を終了する（ステップＳ１０４）。言い換えれば、制御部２５は、外部装置７０とのビデオ通信が終了したと判定すると、撮像映像の取得、画像認識、当該撮像映像のエンコーディング及び送信を終了する。

【0079】

制御部２５は、ビデオ通信が終了していないと判定すると（ステップＳ１０３：ＮＯ）、ステップＳ１０３を繰り返し実行する。

【0080】

車載装置１０の制御部２５は、上記した映像配信ルーチンＲＴ１によって、車載装置１０と端末装置Ｔとのビデオ通信が継続する限り、車両Ｍの外部の映像をエンコーディングしてサーバＳを介して端末装置Ｔに送信し続ける。

【0081】

図９は、車載装置１０の制御部２５において実行されるフレームレート制御ルーチンＲＴ２を示すフローチャートである。制御部２５は、例えば、ビデオ通信によって車載装置１０において上記した映像配信動作が開始されたことを開始トリガーとしてフレームレート制御ルーチンＲＴ２を開始する。

【0082】

まず、制御部２５は、車両Ｍの前方の映像の認識結果としての上記した連続物（又は不連続物）の有無に基づいて、車両Ｍの前方の視界が開けているか否かを判定する（ステップＳ２０１）。制御部２５は、車両Ｍの前方の視界が開けていると判定すると（ステップＳ２０１：ＹＥＳ）、フレームレート制御ルーチンＲＴ２を終了する。

【0083】

制御部２５は、車両Ｍの前方の視界が開けていないと判定すると（ステップＳ２０１：ＮＯ）、エンコード部２６のエンコードモードを高フレームレートモードに変更する（ステップＳ２０２）。具体的には、制御部２５は、エンコード部２６のエンコードモードを通常モードよりもエンコーディング時における撮像映像のフレームレートを上げる態様である高フレームレートモードに変更する。

【0084】

制御部２５は、ステップＳ２０２の後に、車両Ｍの前方の視界が開けたか否かを判定する（ステップＳ２０３）。制御部２５は、車両Ｍの前方の視界が開けたと判定すると（ステップＳ２０３：ＹＥＳ）、エンコード部２６のエンコードモードを通常モードに変更する（ステップＳ２０４）。

【0085】

制御部２５は、車両Ｍの前方の視界が開けていないと判定すると（ステップＳ２０３：ＮＯ）、ステップＳ２０３を繰り返し実行する。

【0086】

なお、フレームレート制御ルーチンＲＴ２において、制御部２５は、通常モードから高フレームレートモードへの変更の際、及び高フレームレートモードから通常モードへの変更の際に、エンコード部２６のエンコーディング時のエンコードモードを変更したこと通知するモード変更信号を、端末装置Ｔに送信してもよい。

【0087】

本実施例によれば、上記したように、車載装置１０と端末装置Ｔとのビデオ通信中において、車載装置１０から送信される車両Ｍの外部の映像は、車両Ｍの前方の視界が開けていないとされた際に、そのエンコーディングの態様が自動的に変更される。

【0088】

従って、本実施例によれば、車載装置１０は、通信時の通信量を低くしつつ、状況に応じて車両Ｍの外部の映像を適切な態様で送信することができる。よって、本実施例によれば、通信時の通信量を低くしつつ、車両Ｍの運転者と端末装置Ｔの操作者との間において、円滑に情報の共有を行うことができる。

【0089】

なお、本実施例において、制御部２５の視界状態判定部３３は、視界情報としての画像認識による連続物（又は不連続物）の有無に基づいて視界の開け度合いを決定するとしたが、当該視界の開け度合いを決定するための手法はこれに限られない。

【0090】

例えば、車両Ｍは、ＬｉＤＡＲ（Light Detection And Ranging）やミリ波レーダなどの距離センサを備えていてもよく、当該距離センサによって車両Ｍと車両Ｍの側方から車前方にかけて位置する物体との距離が測定されてもよい。また、車載装置１０の制御部２５は、当該距離センサによって測定される車両Ｍと車両Ｍの側方から前方にかけて位置する物体との距離を取得する距離情報取得部として機能してもよい。

【0091】

これにより、視界状態判定部３３は、上記した距離に基づく点群データによって表される車両Ｍの側方から前方にかけて位置する物体を示す画像データを視界情報として取得し、当該視界情報における連続物（又は不連続物）の有無に基づいて視界の開け度合いを決定する。例えば、視界状態判定部３３は、車両Ｍの前方の視界に連続物（又は不連続物）がある場合には視界が開けていないものと決定する。

【0092】

従って、制御部２５は、距離センサを用いて車両Ｍと車両Ｍが通行する道路の側方に沿って位置する連続物（又は不連続物）との距離に基づいて車両Ｍの前方の視界の開け度合いを決定し、当該視界の開け度合いに応じてエンコーディングの態様を変更させることができる。

【0093】

また、視界の開け度合いを決定するための他の手法として、車両Ｍの現在位置及び地図情報を用いて視界の開け度合いが決定されてもよい。

【0094】

例えば、制御部２５は、ＧＰＳ受信機１４を介して車両Ｍの現在位置を取得する位置情報取得部として機能してもよく、記憶部２８に記憶されている地図データには、地図上の領域ごとに属性情報が付与されていてもよい。具体的には、地図データには、例えば、リンクやノードごとにその周辺領域の環境として山中、住宅密集地、海岸沿い、工業地域、田園地域などといった属性を示す情報が付されていてもよい。視界状態判定部３３は、地図上の車両Ｍの現在位置及び上記した属性情報を視界情報として取得する。

【0095】

これにより、視界状態判定部３３は、地図上の車両Ｍの現在位置及び上記した属性情報に基づき、車両Ｍの現在位置を含む領域の属性情報が特定の属性情報である場合、例えば、山中や住宅密集地などの道路の側方に連続物（又は不連続物）があり得る属性情報である場合に、視界が開けていないものと決定する。

【0096】

従って、制御部２５は、地図上における車両Ｍの現在位置を含む領域の属性情報に基づいて車両Ｍの前方の視界の開け度合いを決定し、当該視界の開け度合いに応じてエンコーディングの態様を変更させることができる。

【0097】

また、視界の開け度合いは、車外撮影カメラ１２によって撮影される車両Ｍの前方の映像データを、当該映像データから視界の開け度合いを判定する学習モデルを有するＡＩに入力し、その出力を得ることによって判定しても良い。

【0098】

なお、実施例１において、車載装置１０の制御部２５は、車両Ｍの前方の視界が開けていない場合にエンコード部２６のエンコーディングの態様を変更させることについて、すなわち２段階でフレームレートを変更する例について説明したが、この態様の変更は３段階以上でなされてもよい。すなわち、映像のフレームレートを変更するエンコードモードは３つ以上あってもよい。

【0099】

なお、車両Ｍにおける撮影環境、撮影対象、又は撮影機器の種類もしくは仕様によって、又は端末装置Ｔの種類又は仕様によって、上記した説明とは逆に、通常モードにおいて車両Ｍの前方の視界が開けている場合に、端末装置Ｔの操作者の体感速度が車両Ｍの速度又は車両Ｍの運転手の実際の体感速度よりも速いと感じてしまうことがある。このような場合、上記したエンコードモードを逆の態様にする。

【0100】

例えば、車載装置１０の制御部２５は、車両Ｍの前方の視界が開けていない場合には通常モードでエンコーディングを行い、車両Ｍの前方の視界が開けている場合には、通常モードよりもフレームレートを上げる態様である高フレームレートモードに変更してもよい。

【0101】

本実施例において、エンコード部２６によるエンコーディング時における映像の解像度は、上記したエンコードモードに応じて変更されてもよい。例えば、制御部２５は、車両Ｍの前方の視界が開けていない場合に高フレームレートモードでエンコーディングする際に、映像の解像度を下げる態様としてもよい。これにより、例えば、通常モードから高フレームレートモードへの変更によって映像のフレームレートが上がることによる通信量の増加を抑えることができる。

【0102】

本実施例において、車載装置１０と端末装置ＴとがサーバＳを介してビデオ通信を行うことについて説明したが、当該ビデオ通信は、車載装置１０と端末装置Ｔとの間でＰ２Ｐ（Peer to Peer）通信などによって直接なされてもよい。

【0103】

本実施例において、車載装置１０がタッチパネルディスプレイ１６に接続されている場合について説明したが、これに限られない。例えば、車載装置１０は、車両Ｍの運転者が携帯するスマートフォンと通信を行って、タッチパネルディスプレイ１６に代えて当該スマートフォンのディスプレイにビデオ通信に関する画面等を表示させてもよい。

【0104】

また、車載装置１０は、車両Ｍの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置１０は、ドライブレコーダのような構成を有していてもよく、例えば、車外撮影カメラ１２と一体となった装置であってもよい。具体的には、車載装置１０は、例えば、車外撮影カメラ１２の筐体内に上記した車載装置１０の機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置１０は、上記において説明したような種々の表示出力を行わないこととしてもよい。

【0105】

さらに、本願の映像送信装置は、本実施例における車載装置１０と同様の構成を有する端末装置（例えば、図４）と車外撮影カメラ１２とタッチパネルディスプレイ１６とが一体化された構成であってもよい。

【0106】

本実施例において、車両Ｍの外部の映像が車載装置１０から端末装置Ｔに送信される場合について説明したが、車載装置１０から端末装置Ｔに送信される映像は、車両Ｍの外部の映像から車内撮影カメラ１３によって撮影される車両Ｍの内部の映像に切り替えられてもよい。車両Ｍの内部の映像が送信されている際には、端末装置Ｔのユーザは、例えば、車両Ｍの内部の様子を見ながら車両Ｍの運転者とコミュニケーションをとることができる。

【0107】

なお、端末装置Ｔに送信する映像を車外撮影カメラ１２の映像と車内撮影カメラ１３の映像との間で切り替える切換操作は、車載装置１０においてなされてもよい。また、当該切換操作は、端末装置Ｔのユーザによる当該端末装置Ｔへの操作によって遠隔的になされてもよい。

【0108】

本実施例において、端末装置Ｔの制御部３７は、車載装置１０から送信されている車両Ｍの外部の映像をサーバＳを介して受信するとしたが、当該映像に加えて、車両Ｍの現在地及び移動予定経路が記された地図画像や、車両Ｍの運転者の氏名、車両Ｍの走行速度などを受信してもよい。

【0109】

例えば、端末装置Ｔの制御部３７は、タッチパネルディスプレイ２３において、車載装置１０から受信した地図画像や車両Ｍの運転者の氏名、車両Ｍの走行速度を車両Ｍの外部の映像上に表示させてもよく、又は車両Ｍの外部の映像とは異なる表示領域に表示させてもよい。このとき、地図画像や車両Ｍの運転者の氏名、車両Ｍの走行速度は、端末装置Ｔの操作者によって、その表示／非表示を自由に切り替え可能であってもよい。

【0110】

本実施例において、車載装置１０が車両Ｍに搭載される例を説明したが、車載装置１０は、自転車、バイク等他の移動体に搭載されていていてもよい。また、車載装置１０を人が保持しており、例えば歩きながらビデオ通信を行って映像を配信することしてもよい。

【0111】

本実施例において、端末装置Ｔは、スマートフォンである場合について説明したが、これに限られない。例えば、端末装置Ｔは、車載装置１０とビデオ通信が可能なタブレット端末であってもよい。

【0112】

本実施例において、車載装置１０の制御部２５が、車載装置１０と端末装置Ｔとのビデオ通信が確立されてから映像配信動作を開始する場合を例に説明した。しかしながら、制御部２５は、ＹｏｕＴｕｂｅ（登録商標）やニコニコ生放送（登録商標）の動画配信のような態様で動画配信がなされてもよい。すなわち、端末装置Ｔの操作者側の端末との通信の確立が無くとも、映像配信動作が開始されてもよい。具体的には、車載装置１０と端末装置Ｔの操作者側との端末との通信の確立が無くとも、車載装置１０によるサーバＳへの動画データのアップロードが開始されても良い。

【0113】

例えば、車載装置１０による映像配信動作は、車載装置１０とサーバＳとの通信が確立された後に、端末装置Ｔとの通信接続の確立無しに開始されてもよい。この場合、不特定の又は許可を受けた特定の端末装置ＴがサーバＳに接続することで、車載装置１０から配信された映像を受信し、端末装置Ｔの操作者が当該映像を視聴することが可能となる。

【0114】

なお、実施例１において説明した車載装置１０の制御部２５における一連の処理は、コンピュータにより実行させるプログラムとしてもよい。当該プログラムは、コンピュータに読み取り可能な記録媒体に記録されていてもよい。記録媒体のタイプは、特に限定されず、例えば、光ディスク、ハードディスク、またはフラッシュメモリもしくはＳＳＤ等の半導体メモリであってもよい。また、上記プログラムは、通信を介して車載装置１０、サーバＳ及び端末装置Ｔにダウンロードされインストールされてもよい。

【0115】

上記した実施例１において示した制御ルーチンは例示に過ぎず、用途または使用条件等に応じて適宜選択及び変更可能である。

【符号の説明】

【0116】

１００ 情報処理システム
Ｍ 車両
１０ 車載装置
Ｓ サーバ
Ｔ 端末装置
１２ 車外撮影カメラ
１３ 車内撮影カメラ
１４ ＧＰＳ受信機
１５、２１ マイク
１６、２３ タッチパネルディスプレイ
１７、２２ スピーカー
２５、３５、３７ 制御部
２６ エンコード部
２７、３６、３８ 通信部
２８ 記憶部
３１ 映像取得部
３２ 画像認識部
３３ 視界状態判定部
３９ デコード部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】