ホーム > 特許ランキング > 三菱自動車工業株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024064361
(43)【公開日】2024-05-14
(54)【発明の名称】映像処理装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20240507BHJP
H04N 21/2343 20110101ALI20240507BHJP
【ＦＩ】
H04N7/18 J
H04N7/18 V
H04N21/2343
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022172893
(22)【出願日】2022-10-28
(71)【出願人】
【識別番号】000006286
【氏名又は名称】三菱自動車工業株式会社
(74)【代理人】
【識別番号】110002664
【氏名又は名称】弁理士法人相原国際知財事務所
(72)【発明者】
【氏名】待鳥 寿文
(72)【発明者】
【氏名】林 勇
(72)【発明者】
【氏名】田中 寿英
(72)【発明者】
【氏名】元木 貴公
【テーマコード（参考）】
5C054
5C164
【Ｆターム（参考）】
5C054DA09
5C054EJ00
5C054FD00
5C054FE11
5C054HA30
5C164FA16
5C164GA05
5C164PA31
5C164SA25S
5C164SB02P
(57)【要約】
【課題】撮像機器で撮像された風景の映像を視聴する視聴者の映像酔いを抑制可能な映像処理装置を提供する。
【解決手段】車両に搭載された撮像機器で撮像された風景の映像を処理する映像処理装置は、映像をフォーカスエリアＦＡとフォーカスエリアＦＡの周囲の流し撮りエリアＰＡとに区分し、フォーカスエリアＦＡに表示するフォーカス映像と流し撮りエリアＰＡに表示する流し撮り映像とを合成した合成映像Ｖを生成し、生成された合成映像を他の端末に出力する。流し撮り映像は、フォーカス映像よりも所定時間あたりの撮像枚数が少ない映像である。
【選択図】図２
【解決手段】車両に搭載された撮像機器で撮像された風景の映像を処理する映像処理装置は、映像をフォーカスエリアＦＡとフォーカスエリアＦＡの周囲の流し撮りエリアＰＡとに区分し、フォーカスエリアＦＡに表示するフォーカス映像と流し撮りエリアＰＡに表示する流し撮り映像とを合成した合成映像Ｖを生成し、生成された合成映像を他の端末に出力する。流し撮り映像は、フォーカス映像よりも所定時間あたりの撮像枚数が少ない映像である。
【選択図】図２
【特許請求の範囲】
【請求項1】
車両に搭載された撮像機器で撮像された風景の映像を処理する映像処理装置であって、
前記映像をフォーカスエリアと前記フォーカスエリアの周囲の流し撮りエリアとに区分し、前記フォーカスエリアに表示するフォーカス映像と前記流し撮りエリアに表示する流し撮り映像とを合成した合成映像を生成する映像加工部と、
前記映像加工部で生成された前記合成映像を他の端末に出力する映像出力部とを備え、
前記流し撮り映像は、前記フォーカス映像よりも所定時間あたりの撮像枚数が少ない映像である映像処理装置。
前記映像をフォーカスエリアと前記フォーカスエリアの周囲の流し撮りエリアとに区分し、前記フォーカスエリアに表示するフォーカス映像と前記流し撮りエリアに表示する流し撮り映像とを合成した合成映像を生成する映像加工部と、
前記映像加工部で生成された前記合成映像を他の端末に出力する映像出力部とを備え、
前記流し撮り映像は、前記フォーカス映像よりも所定時間あたりの撮像枚数が少ない映像である映像処理装置。
【請求項2】
車速を含む車両情報する車両情報取得部をさらに備え、
前記映像加工部は、前記車両情報取得部が取得した車速に応じて前記流し撮り映像の前記撮像枚数を調整する請求項１に記載の映像処理装置。
前記映像加工部は、前記車両情報取得部が取得した車速に応じて前記流し撮り映像の前記撮像枚数を調整する請求項１に記載の映像処理装置。
【請求項3】
車両情報を取得する車両情報取得部をさらに備え、
前記映像加工部は、前記車両情報取得部が取得した車両情報に基づいて、前記フォーカスエリアを調整する請求項１に記載の映像処理装置。
前記映像加工部は、前記車両情報取得部が取得した車両情報に基づいて、前記フォーカスエリアを調整する請求項１に記載の映像処理装置。
【請求項4】
前記車両情報は、車速を含み、
前記映像加工部は、前記車両情報取得部が取得した車速が大きいほど、前記フォーカスエリアを小さくする請求項３に記載の映像処理装置。
前記映像加工部は、前記車両情報取得部が取得した車速が大きいほど、前記フォーカスエリアを小さくする請求項３に記載の映像処理装置。
【請求項5】
前記車両情報は、前記車両の振動情報を含み、
前記映像加工部は、前記車両情報取得部が取得した振動情報に基づいて、前記車両の振動を打ち消す方向に前記フォーカスエリアの位置を調整する請求項３に記載の映像処理装置。
前記映像加工部は、前記車両情報取得部が取得した振動情報に基づいて、前記車両の振動を打ち消す方向に前記フォーカスエリアの位置を調整する請求項３に記載の映像処理装置。
【請求項6】
前記車両情報は、前記車両のステアリングの操作情報を含み、
前記映像加工部は、前記車両情報取得部が取得した前記ステアリングの操作情報に基づいて、前記フォーカスエリアの位置を調整する請求項３に記載の映像処理装置。
前記映像加工部は、前記車両情報取得部が取得した前記ステアリングの操作情報に基づいて、前記フォーカスエリアの位置を調整する請求項３に記載の映像処理装置。
【請求項7】
前記車両の振動情報である振動情報を含む車両情報を取得する車両情報取得部を備え、
前記映像加工部または前記映像出力部は、前記車両情報取得部が取得した前記振動情報に基づいて、前記車両の振動を打ち消す方向に前記合成映像の位置を調整する請求項１から請求項６のいずれか一項に記載の映像処理装置。
前記映像加工部または前記映像出力部は、前記車両情報取得部が取得した前記振動情報に基づいて、前記車両の振動を打ち消す方向に前記合成映像の位置を調整する請求項１から請求項６のいずれか一項に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は映像処理装置に関し、特に風景が撮像された映像を処理する映像処理装置に関する。
【背景技術】
【0002】
従来、車両などに搭載された撮像装置で車外の風景の映像を撮像し、撮像した映像を乗員とは異なる場所にいる人に対して送信や配信を行う技術が知られている。例えば、特許文献１には、電車に搭載されたカメラで撮像した撮像動画を配信する際、電車の急ブレーキを検知した場合に、撮像動画の少なくとも一部分を見えなくする処理を施す動画配信サーバが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－９７４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、車両の乗員以外の者がスマートフォンやパーソナルコンピュータといった端末で車外の風景の映像を視聴する場合、遠隔端末で映像を見る視聴者は、車両に乗車していないため、視覚による映像情報以外の内耳や筋肉、関節への刺激となる情報を得ることが得ることができない。また、送信された映像には、多くのデジタル情報が含まれる。その結果、視聴者が映像酔いを起こす可能性がある。
【0005】
本発明はこのような課題に鑑みてなされたものであり、その目的とするところは、撮像機器で撮像された風景の映像を視聴する視聴者の映像酔いを抑制可能な映像処理装置を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の映像処理装置は、車両に搭載された撮像機器で撮像された風景の映像を処理する映像処理装置であって、前記映像をフォーカスエリアと前記フォーカスエリアの周囲の流し撮りエリアとに区分し、前記フォーカスエリアに表示するフォーカス映像と前記流し撮りエリアに表示する流し撮り映像とを合成した合成映像を生成する映像加工部と、前記映像加工部で生成された前記合成映像を他の端末に出力する映像出力部とを備え、前記流し撮り映像は、前記フォーカス映像よりも所定時間あたりの撮像枚数が少ない映像である。
【0007】
この構成により、フォーカスエリアの周囲の流し撮りエリアに表示する映像を、フォーカスエリアのフォーカス映像よりも撮像枚数が少ない流し撮り映像とすることで、合成映像を見る視聴者が周辺視野で視覚から得る情報を低減することができる。したがって、本発明の映像処理装置によれば、撮像機器で撮像された風景の映像を視聴する視聴者の映像酔いを抑制可能となる。
【0008】
また、上記映像処理装置は、車速を含む車両情報する車両情報取得部をさらに備え、前記映像加工部は、前記車両情報取得部が取得した車速に応じて前記流し撮り映像の前記撮像枚数を調整することが好ましい。この構成により、流し撮り映像の撮像枚数を車速に応じた適切な枚数とし、視聴者の映像酔いをより良好に抑制可能となる。
【0009】
また、上記映像処理装置は、車両情報を取得する車両情報取得部をさらに備え、前記映像加工部は、前記車両情報取得部が取得した車両情報に基づいて、前記フォーカスエリアを調整することが好ましい。この構成により、車両情報に基づいてフォーカスエリアを適切に調整し、映像酔いをより良好に抑制したり、視聴者により臨場感を与えたりすることができる。
【0010】
また、前記車両情報は、車速を含み、前記映像加工部は、前記車両情報取得部が取得した車速が大きいほど、前記フォーカスエリアを小さくすることが好ましい。この構成により、視聴者の映像酔いをより良好に抑制したり、視聴者により臨場感を与えたりすることができる。
【0011】
また、前記車両情報は、前記車両の振動情報を含み、前記映像加工部は、前記車両情報取得部が取得した振動情報に基づいて、前記車両の振動を打ち消す方向に前記フォーカスエリアの位置を調整することが好ましい。この構成により、合成映像が車両と共に振動したとしても、フォーカスエリアを振動させないようにし、視聴者の映像酔いを抑制することができる。
【0012】
また、前記車両情報は、前記車両のステアリングの操作情報を含み、前記映像加工部は、前記車両情報取得部が取得した前記ステアリングの操作情報に基づいて、前記フォーカスエリアの位置を調整することが好ましい。この構成により、車両が進行する予定の方向にフォーカス映像が映し出されるようにすることができるため、視聴者により臨場感を与えることができる。
【0013】
また、上記映像処理装置は、前記車両の振動情報である振動情報を含む車両情報を取得する車両情報取得部を備え、前記映像加工部または前記映像出力部は、前記車両情報取得部が取得した前記振動情報に基づいて、前記車両の振動を打ち消す方向に前記合成映像の位置を調整することが好ましい。この構成により、合成映像が車両と共に振動したとしても、車両が振動していないかのように合成映像を表示させることができ、視聴者の映像酔いを抑制することができる。
【発明の効果】
【0014】
本発明の映像処理装置によれば、撮像機器で撮像された風景の映像を視聴する視聴者の映像酔いを抑制可能となる。
【図面の簡単な説明】
【0015】
【図1】実施形態にかかる映像処理装置を含む撮像装置を示す概略構成図である。
【図2】映像加工部により生成される合成映像の一例を模式的に示す説明図である。
【図3】合成映像を生成する処理の一例を模式的に示す説明図である。
【図4】合成映像を生成する処理の他の例を模式的に示す説明図である。
【図5】フォーカスエリアの大きさを調整する例を模式的に示す説明図である。
【図6】車両の振動情報に基づいてフォーカスエリアの位置を調整する例を模式的に示す説明図である。
【図7】ステアリングの操作情報に基づいてフォーカスエリアの位置を調整する例を模式的に示す説明図である。
【図8】車両の振動情報に基づいて合成映像の位置を調整する例を示す説明図である。
【図9】合成映像に他の車両情報を表示する例を示す説明図である。
【発明を実施するための形態】
【0016】
以下、図面に基づき本発明の一実施形態について説明する。
【0017】
（撮像装置）
図１は、実施形態にかかる映像処理装置を含む撮像装置を示す概略構成図である。撮像装置１は、撮像機器１０と、映像処理装置２０とを備える。撮像装置１は、図示しない車両に搭載され、撮像機器１０で撮像された車外の風景の映像を映像処理装置２０で処理し、車両に乗員していない他者が有する他の端末としての遠隔端末５０へと送信する。
図１は、実施形態にかかる映像処理装置を含む撮像装置を示す概略構成図である。撮像装置１は、撮像機器１０と、映像処理装置２０とを備える。撮像装置１は、図示しない車両に搭載され、撮像機器１０で撮像された車外の風景の映像を映像処理装置２０で処理し、車両に乗員していない他者が有する他の端末としての遠隔端末５０へと送信する。
【0018】
遠隔端末５０は、撮像装置１から受信した映像を表示するディスプレイといった表示装置５２を備えたスマートフォン、パーソナルコンピュータ、テレビなどの端末である。遠隔端末５０による映像の視聴は、例えばドライブ後に映像を振り返って視聴したり、リアルタイムで車両の乗員と他者との間でビデオチャットを行ったりすることに利用される。また、車両の盗難時に映像を遠隔で確認するといった利用も考えられる。
【0019】
（撮像機器）
撮像機器１０は、フロントカメラ１１と、リアカメラ１２と、右サイドカメラ１３と、左サイドカメラ１４と、室内カメラ１５とを含む。フロントカメラ１１は、車両の前部に搭載され、車両前方の風景を撮像する。リアカメラ１２は、車両の後部に搭載され、車両後方の風景を撮像する。右サイドカメラ１３は、車両の右サイドに搭載され、車両右方の風景を撮像する。左サイドカメラ１４は、車両の左サイドに搭載され、車両左方の風景を撮像する。室内カメラ１５は、車室内に搭載されて車室内を撮像する。
撮像機器１０は、フロントカメラ１１と、リアカメラ１２と、右サイドカメラ１３と、左サイドカメラ１４と、室内カメラ１５とを含む。フロントカメラ１１は、車両の前部に搭載され、車両前方の風景を撮像する。リアカメラ１２は、車両の後部に搭載され、車両後方の風景を撮像する。右サイドカメラ１３は、車両の右サイドに搭載され、車両右方の風景を撮像する。左サイドカメラ１４は、車両の左サイドに搭載され、車両左方の風景を撮像する。室内カメラ１５は、車室内に搭載されて車室内を撮像する。
【0020】
各撮像機器１０は、単位時間Δｔ１（図３参照）ごとに静止画データとしての画像を撮像し、撮像した画像を時系列に沿って連続して並べることで動画データとしての映像を生成する。単位時間Δｔ１とは、撮像機器１０でのシャッタースピードであり、例えば３０ｍｓである。本実施形態では、フロントカメラ１１で撮像された風景の映像を映像処理装置２０で処理する例を説明する。
【0021】
（映像処理装置）
映像処理装置２０は、記憶装置（ＲＯＭ：Read Only Memory、ＲＡＭ：Random Access Memory、不揮発性ＲＡＭなど）、中央処理装置（ＣＰＵ：Central Processing Unit）などを含んで構成されるコントローラであり、図示しない車両に搭載される。映像処理装置２０は、映像入力部２２と、映像加工部２４と、映像出力部２６と、車両情報取得部２８とを備える。なお、映像処理装置２０は、例えばフロントカメラ１１といった撮像機器１０のいずれかに搭載されたコントローラであってもよい。
映像処理装置２０は、記憶装置（ＲＯＭ：Read Only Memory、ＲＡＭ：Random Access Memory、不揮発性ＲＡＭなど）、中央処理装置（ＣＰＵ：Central Processing Unit）などを含んで構成されるコントローラであり、図示しない車両に搭載される。映像処理装置２０は、映像入力部２２と、映像加工部２４と、映像出力部２６と、車両情報取得部２８とを備える。なお、映像処理装置２０は、例えばフロントカメラ１１といった撮像機器１０のいずれかに搭載されたコントローラであってもよい。
【0022】
映像入力部２２は、撮像機器１０で撮像された映像を取得する。具体的には、各撮像機器１０で撮像された単位時間Δｔ１（図３参照）ごとの画像を取得し、取得した画像データを映像加工部２４へと出力する。映像加工部２４は、映像入力部２２で取得された複数の画像を加工して合成映像Ｖ（図２、図３参照）を生成する。映像出力部２６は、映像加工部２４で生成された合成映像Ｖを例えばＨ．２６４といった方式の所定規格にしたがって圧縮し、外部通信ネットワークを介して遠隔端末５０へと送信する。上記所定規格にしたがって圧縮された合成映像Ｖは、遠隔端末５０において同じ所定規格したがって伸長され、表示装置５２に表示される。車両情報取得部２８については、後述する。
【0023】
（合成映像）
映像加工部２４による合成映像Ｖの生成について詳細に説明する。図２は、映像加工部２４により生成される合成映像Ｖの一例を模式的に示す説明図である。図２では、遠隔端末５０の表示装置５２に合成映像Ｖが表示されている状態を示している。また、図３は、合成映像Ｖを生成する処理の一例を模式的に示す説明図である。
映像加工部２４による合成映像Ｖの生成について詳細に説明する。図２は、映像加工部２４により生成される合成映像Ｖの一例を模式的に示す説明図である。図２では、遠隔端末５０の表示装置５２に合成映像Ｖが表示されている状態を示している。また、図３は、合成映像Ｖを生成する処理の一例を模式的に示す説明図である。
【0024】
映像加工部２４は、図２に示すように、映像内の範囲をフォーカスエリアＦＡと、フォーカスエリアＦＡの周囲に設けられる流し撮りエリアＰＡとに区分する。そして、映像加工部２４は、フォーカスエリアＦＡに表示するフォーカス映像ＦＶ（図３参照）と、流し撮りエリアＰＡに表示する流し撮り映像ＰＶ（図３参照）とを合成した合成映像Ｖを生成する。なお、図２および後述する図５から図９では、フォーカス映像ＦＶと流し撮り映像ＰＶとの区別を省略している。
【0025】
フォーカスエリアＦＡは、図２の実線円の内側の範囲であり、視聴者の中心視野を含むように、基本的に合成映像Ｖの中央部に設けられる。フォーカスエリアＦＡは、車両の進行方向といった合成映像Ｖの視聴者が注目する範囲である。流し撮りエリアＰＡは、図２の実線円の外側の範囲であり、合成映像Ｖの視聴者の周辺視野を含むように、フォーカスエリアＦＡの外側の範囲に当該フォーカスエリアＦＡと連続して設けられる。
【0026】
フォーカス映像ＦＶは、本実施形態では、撮像機器１０で撮像された映像データである。つまり、フォーカス映像ＦＶは、単位時間Δｔ１ごとに撮像された画像を時系列に沿って連続して並べたデータである。図３に示すように、所定時間Δｔ２の間に撮像機器１０が６枚の画像ＭＡ、ＭＢ、ＭＣ、ＭＤ、ＭＥ、ＭＦを撮像したとする。このとき、フォーカス映像ＦＶは、画像ＭＡ、ＭＢ、ＭＣ、ＭＤ、ＭＥ、ＭＦが時系列に沿って連続して並んだ映像となる。
【0027】
流し撮り映像ＰＶは、所定時間Δｔ２あたりの撮像枚数が、フォーカス映像ＦＶよりも少ない枚数で構成される映像である。所定時間Δｔ２あたりの撮像枚数とは、所定時間Δｔ２の間に異なる画像を時系列に沿って連続して並べる枚数である。所定時間Δｔ２は、撮像機器１０のシャッタースピードである単位時間Δｔ１よりも長く、単位時間Δｔ１の整数倍の時間として設定される。映像加工部２４は、所定時間Δｔ２の間に、所定の撮像枚数で同じ画像を繰り返し連続して並べることにより、流し撮り映像ＰＶを生成する。図３に示す例では、フォーカス映像ＦＶの撮像枚数が６枚であり、流し撮り映像ＰＶの撮像枚数が例えば２枚である。流し撮り映像ＰＶは、所定時間Δｔ２の間の最初に撮像された画像ＭＡが３枚連続して並んだ後、撮像機器１０が３枚目以降に撮像した最初の画像ＭＤが３枚連続して並んだ映像とされる。
【0028】
映像加工部２４は、同じ時刻ｔでのフォーカス映像ＦＶと流し撮り映像ＰＶとを合成した合成映像Ｖを生成する。それにより、図３に例示するように、フォーカス映像ＦＶの画像ＭＡ～ＭＣと流し撮り映像ＰＶの画像ＭＡとが合成された画像Ｍ１、Ｍ２、Ｍ３、フォーカス映像ＦＶの画像ＭＥ～ＭＦと流し撮り映像ＰＶの画像ＭＤとが合成された画像Ｍ４、Ｍ５、Ｍ６が時系列に沿って連続して並んだ映像となる。なお、合成映像Ｖにおいて、フォーカス映像ＦＶと流し撮り映像ＰＶとの境界部の画素のずれは、上記の圧縮伸長処理において周知の補完処理が行われることで補正される。
【0029】
以上の処理により、合成映像Ｖの視聴者の中心視野となるフォーカスエリアＦＡに表示されるフォーカス映像ＦＶに比べて、周辺視野となる流し撮りエリアＰＡに表示される流し撮り映像ＰＶは、所定時間Δｔ２あたりの撮像枚数が少ない動画となる。その結果、合成映像Ｖの視聴者が周辺視野で得る情報量が少なくなり、映像酔いを抑制することができる。また、視聴者が周辺視野で見る映像が流し撮りであることから、視聴者に対して臨場感を与えることができる。
【0030】
（合成映像の調整処理）
次に、合成映像Ｖの調整処理について説明する。上述したように、撮像装置１は、車両情報取得部２８を備えている。車両情報取得部２８は、ＣＡＮ通信などを介して、車両の図示しない制御装置から種々の車両情報を取得する。車両情報取得部２８は、取得した上記車両情報を映像加工部２４へと出力する。
次に、合成映像Ｖの調整処理について説明する。上述したように、撮像装置１は、車両情報取得部２８を備えている。車両情報取得部２８は、ＣＡＮ通信などを介して、車両の図示しない制御装置から種々の車両情報を取得する。車両情報取得部２８は、取得した上記車両情報を映像加工部２４へと出力する。
【0031】
車両情報は、例えば、車速センサなどにより検出される車両の現在の車速を含む。車両情報は、例えば、加速度センサなどにより検出される車両の現在の加速度を含む。車両情報は、例えば、加速度センサやジャイロセンサなどにより検出される車両の振動情報として、振動方向および振動の大きさの情報を含む。また、車両情報は、運転者が操作する図示しないステアリングの操作情報として、ステアリングの操作方向および操作量の情報を含む。
【0032】
（車速に応じた流し撮り映像の調整）
映像加工部２４は、例えば、車両情報取得部２８が取得した車速に応じて、所定時間Δｔ２あたりの流し撮り映像ＰＶの撮像枚数を調整する。図４は、合成映像Ｖを生成する処理の他の例を模式的に示す説明図である。いま、図３に示した例での車速に対し、図４に示した例で車速が倍になったと仮定する。このとき、映像加工部２４は、流し撮り映像ＰＶの所定時間Δｔ２あたりの撮像枚数を図３に示す例よりも少ない枚数（ここでは、１枚）とする。図４に示す例では、流し撮り映像ＰＶは、所定時間Δｔ２の間の最初に撮像された画像ＭＡのみが、所定時間Δｔ２の間に６枚連続して並んだ映像となる。その結果、合成映像Ｖは、画像Ｍ１、Ｍ２、Ｍ３の後、フォーカス映像ＦＶの画像ＭＥ～ＭＦと流し撮り映像ＰＶの画像ＭＡとが合成された画像Ｍ１４、Ｍ１５、Ｍ１６が時系列に沿って連続して並んだ映像となる。
映像加工部２４は、例えば、車両情報取得部２８が取得した車速に応じて、所定時間Δｔ２あたりの流し撮り映像ＰＶの撮像枚数を調整する。図４は、合成映像Ｖを生成する処理の他の例を模式的に示す説明図である。いま、図３に示した例での車速に対し、図４に示した例で車速が倍になったと仮定する。このとき、映像加工部２４は、流し撮り映像ＰＶの所定時間Δｔ２あたりの撮像枚数を図３に示す例よりも少ない枚数（ここでは、１枚）とする。図４に示す例では、流し撮り映像ＰＶは、所定時間Δｔ２の間の最初に撮像された画像ＭＡのみが、所定時間Δｔ２の間に６枚連続して並んだ映像となる。その結果、合成映像Ｖは、画像Ｍ１、Ｍ２、Ｍ３の後、フォーカス映像ＦＶの画像ＭＥ～ＭＦと流し撮り映像ＰＶの画像ＭＡとが合成された画像Ｍ１４、Ｍ１５、Ｍ１６が時系列に沿って連続して並んだ映像となる。
【0033】
これにより、流し撮り映像ＰＶの撮像枚数を車速に応じた適切な枚数とし、視聴者の映像酔いをより良好に抑制可能となる。すなわち、車速が大きいほど流し撮り映像ＰＶの所定時間Δｔ２あたりの撮像枚数が少なくなる。その結果、車速が大きくなり合成映像Ｖ中の風景がより速く流れるようになっても、流し撮り映像ＰＶでの情報量が増えることが抑制され、合成映像Ｖの視聴者の映像酔いを抑制することができる。
【0034】
なお、車速の増加に応じて流し撮り映像ＰＶの撮像枚数を何枚に設定するかは、映像酔いの抑制や臨場感の付与の観点から適宜調整されればよい。また、車速の増加に応じて流し撮り映像ＰＶを滑らかに表示させた方が視聴者の映像酔いを抑制することができる場合、フォーカス映像ＦＶの所定時間Δｔ２あたりの撮像枚数よりも少ない範囲で、車速が大きいほど流し撮り映像ＰＶの所定時間Δｔ２あたりの撮像枚数を多くするものとしてもよい。
【0035】
（車速に応じたフォーカスエリアの調整）
また、映像加工部２４は、例えば、上記車両情報に基づいて、フォーカスエリアＦＡを調整する。より具体的には、映像加工部２４は、車両情報に含まれる車速に応じてフォーカスエリアＦＡの大きさを調整する。図５は、フォーカスエリアＦＡの大きさを調整する例を模式的に示す説明図である。図中の破線円は、フォーカスエリアＦＡの一例であり、図中の実線円は、破線円で示す例に比べて車速が大きくなったときのフォーカスエリアＦＡを示している。このように、映像加工部２４は、車速が大きいほどフォーカスエリアＦＡを小さく設定する。つまり、車速が大きいほどフォーカス映像ＦＶが表示される範囲が小さくなり、流し撮り映像ＰＶが表示される範囲が大きくなる。その結果、車速が大きくなり映像中の風景がより速く流れるようになっても、視聴者の映像酔いをより良好に抑制することができる。また、車速が大きいほど流し撮りエリアＰＡが大きくなるため、視聴者に対して風景が早く流れる感覚、すなわち、臨場感をより与えることができる。
また、映像加工部２４は、例えば、上記車両情報に基づいて、フォーカスエリアＦＡを調整する。より具体的には、映像加工部２４は、車両情報に含まれる車速に応じてフォーカスエリアＦＡの大きさを調整する。図５は、フォーカスエリアＦＡの大きさを調整する例を模式的に示す説明図である。図中の破線円は、フォーカスエリアＦＡの一例であり、図中の実線円は、破線円で示す例に比べて車速が大きくなったときのフォーカスエリアＦＡを示している。このように、映像加工部２４は、車速が大きいほどフォーカスエリアＦＡを小さく設定する。つまり、車速が大きいほどフォーカス映像ＦＶが表示される範囲が小さくなり、流し撮り映像ＰＶが表示される範囲が大きくなる。その結果、車速が大きくなり映像中の風景がより速く流れるようになっても、視聴者の映像酔いをより良好に抑制することができる。また、車速が大きいほど流し撮りエリアＰＡが大きくなるため、視聴者に対して風景が早く流れる感覚、すなわち、臨場感をより与えることができる。
【0036】
（振動に応じたフォーカスエリアの調整）
また、映像加工部２４は、例えば上記車両情報に含まれる車両の振動情報に基づいて、フォーカスエリアＦＡの位置を調整する。図６は、車両の振動情報に基づいてフォーカスエリアＦＡの位置を調整する例を模式的に示す説明図である。いま、例えば車両が振動したことにより撮像機器１０も振動し、合成映像Ｖが上下方向、左右方向またはロール方向に振動したとする。このとき、合成映像Ｖ中のフォーカスエリアＦＡは、図中の破線円で示した位置となる。映像加工部２４は、車両の振動方向および振動の大きさの情報に基づいて、実線矢印に示すように、振動を打ち消す方向にフォーカスエリアＦＡの位置を調整する。その結果、実線円に示すように、フォーカスエリアＦＡが表示装置５２に表示される映像中の中心に位置することになる。これにより、合成映像Ｖが車両と共に振動したとしても、フォーカスエリアＦＡを振動させないようにし、合成映像Ｖの視聴者の映像酔いを抑制することができる。
また、映像加工部２４は、例えば上記車両情報に含まれる車両の振動情報に基づいて、フォーカスエリアＦＡの位置を調整する。図６は、車両の振動情報に基づいてフォーカスエリアＦＡの位置を調整する例を模式的に示す説明図である。いま、例えば車両が振動したことにより撮像機器１０も振動し、合成映像Ｖが上下方向、左右方向またはロール方向に振動したとする。このとき、合成映像Ｖ中のフォーカスエリアＦＡは、図中の破線円で示した位置となる。映像加工部２４は、車両の振動方向および振動の大きさの情報に基づいて、実線矢印に示すように、振動を打ち消す方向にフォーカスエリアＦＡの位置を調整する。その結果、実線円に示すように、フォーカスエリアＦＡが表示装置５２に表示される映像中の中心に位置することになる。これにより、合成映像Ｖが車両と共に振動したとしても、フォーカスエリアＦＡを振動させないようにし、合成映像Ｖの視聴者の映像酔いを抑制することができる。
【0037】
（ステアリング操作に応じたフォーカスエリアの調整）
また、映像加工部２４は、例えば上記車両情報のステアリングの操作情報に基づいて、フォーカスエリアＦＡの位置を調整する。図７は、ステアリングの操作情報に基づいてフォーカスエリアＦＡの位置を調整する例を模式的に示す説明図である。図中の破線円は、ステアリングの操作前のフォーカスエリアＦＡを示し、実線円は、ステアリングの操作後のフォーカスエリアＦＡを示す。例えばステアリングが左方向に操作された場合、映像加工部２４は、白抜き矢印および破線円から実線円の変化に示すように、ステアリングの操作方向および操作量に応じてフォーカスエリアＦＡを合成映像Ｖ中の左方向へと移動させる。このように、ステアリングの操作方向および操作量に応じてフォーカスエリアＦＡの位置を調整することで、車両が進行する予定の方向にフォーカス映像ＦＶが映し出されるようにすることができる。その結果、合成映像Ｖの視聴者に対して、より臨場感を与えることが可能となる。
また、映像加工部２４は、例えば上記車両情報のステアリングの操作情報に基づいて、フォーカスエリアＦＡの位置を調整する。図７は、ステアリングの操作情報に基づいてフォーカスエリアＦＡの位置を調整する例を模式的に示す説明図である。図中の破線円は、ステアリングの操作前のフォーカスエリアＦＡを示し、実線円は、ステアリングの操作後のフォーカスエリアＦＡを示す。例えばステアリングが左方向に操作された場合、映像加工部２４は、白抜き矢印および破線円から実線円の変化に示すように、ステアリングの操作方向および操作量に応じてフォーカスエリアＦＡを合成映像Ｖ中の左方向へと移動させる。このように、ステアリングの操作方向および操作量に応じてフォーカスエリアＦＡの位置を調整することで、車両が進行する予定の方向にフォーカス映像ＦＶが映し出されるようにすることができる。その結果、合成映像Ｖの視聴者に対して、より臨場感を与えることが可能となる。
【0038】
（振動に応じた合成映像の調整）
また、映像加工部２４は、例えば上記車両情報の車両の振動情報に基づいて、合成映像Ｖを調整する。図８は、車両の振動情報に基づいて合成映像Ｖの位置を調整する例を示す説明図である。例えば車両が振動したことにより撮像機器１０も振動し、図中に破線で示すように、合成映像Ｖが振動にあわせて上下方向、左右方向またはロール方向に振動したとする。映像加工部２４は、車両の振動方向および振動の大きさの情報に基づいて、実線矢印に示すように、振動を打ち消す方向に合成映像Ｖの位置を調整する。この場合、フォーカスエリアＦＡは、実線円に示すように、表示装置５２に表示される映像中の中心に位置することになる。これにより、合成映像Ｖが車両と共に振動したとしても、車両が振動していないかのように合成映像Ｖを表示させることができ、合成映像Ｖの視聴者の映像酔いを抑制することができる。
また、映像加工部２４は、例えば上記車両情報の車両の振動情報に基づいて、合成映像Ｖを調整する。図８は、車両の振動情報に基づいて合成映像Ｖの位置を調整する例を示す説明図である。例えば車両が振動したことにより撮像機器１０も振動し、図中に破線で示すように、合成映像Ｖが振動にあわせて上下方向、左右方向またはロール方向に振動したとする。映像加工部２４は、車両の振動方向および振動の大きさの情報に基づいて、実線矢印に示すように、振動を打ち消す方向に合成映像Ｖの位置を調整する。この場合、フォーカスエリアＦＡは、実線円に示すように、表示装置５２に表示される映像中の中心に位置することになる。これにより、合成映像Ｖが車両と共に振動したとしても、車両が振動していないかのように合成映像Ｖを表示させることができ、合成映像Ｖの視聴者の映像酔いを抑制することができる。
【0039】
（その他の合成映像の調整）
また、映像加工部２４は、上記車両情報に基づいて、その他の手法により合成映像Ｖを調整する。図９は、合成映像に他の車両情報を表示する例を示す説明図である。図示するように、例えば、映像加工部２４は、車両情報に含まれる加速度の情報に基づいて、合成映像Ｖ内に現在の加速度を示す加速度表示部４０を表示させる。加速度表示部４０は、例えば白色表示の箱内に加速度の大きさを示す黒色表示のバーを表示させるものである。また、映像加工部２４は、車両情報のうち、車両の振動情報に基づいて、合成映像Ｖ内に現在の車両の振動方向および振動量を示す矢印４２を表示させる。このように、合成映像Ｖ内に加速度の大きさや車両の振動情報を表示させることで、視聴者に対して、より臨場感を与えることができる。
また、映像加工部２４は、上記車両情報に基づいて、その他の手法により合成映像Ｖを調整する。図９は、合成映像に他の車両情報を表示する例を示す説明図である。図示するように、例えば、映像加工部２４は、車両情報に含まれる加速度の情報に基づいて、合成映像Ｖ内に現在の加速度を示す加速度表示部４０を表示させる。加速度表示部４０は、例えば白色表示の箱内に加速度の大きさを示す黒色表示のバーを表示させるものである。また、映像加工部２４は、車両情報のうち、車両の振動情報に基づいて、合成映像Ｖ内に現在の車両の振動方向および振動量を示す矢印４２を表示させる。このように、合成映像Ｖ内に加速度の大きさや車両の振動情報を表示させることで、視聴者に対して、より臨場感を与えることができる。
【0040】
また、映像加工部２４は、合成映像Ｖの下部に、車両を示すアイコンＩＣを表示させる。アイコンＩＣは、例えば車両を後方かつ上方から視たアイコンであり、映像処理装置２０の図示しない記憶装置に予め記憶される。アイコンＩＣは、各撮像機器１０で撮像された画像に基づいて、周知の手法により生成される俯瞰映像であってもよい。これにより、視聴者に対して、より臨場感を与えることができると共に、周辺視野における流し撮り映像ＰＶの情報量をさらに少なくし、映像酔いを抑制することができる。
【0041】
（実施形態の効果）
以上説明したように、実施形態にかかる映像処理装置２０は、車両に搭載された撮像機器１０で撮像された風景の映像を処理する映像処理装置２０であって、映像をフォーカスエリアＦＡとフォーカスエリアＦＡの周囲の流し撮りエリアＰＡとに区分し、フォーカスエリアＦＡに表示するフォーカス映像ＦＶと流し撮りエリアＰＡに表示する流し撮り映像ＰＶとを合成した合成映像Ｖを生成する映像加工部２４と、映像加工部２４で生成された合成映像Ｖを他の遠隔端末５０に出力する映像出力部２６とを備え、流し撮り映像ＰＶは、フォーカス映像ＦＶよりも所定時間Δｔ２あたりの撮像枚数が少ない映像である。
以上説明したように、実施形態にかかる映像処理装置２０は、車両に搭載された撮像機器１０で撮像された風景の映像を処理する映像処理装置２０であって、映像をフォーカスエリアＦＡとフォーカスエリアＦＡの周囲の流し撮りエリアＰＡとに区分し、フォーカスエリアＦＡに表示するフォーカス映像ＦＶと流し撮りエリアＰＡに表示する流し撮り映像ＰＶとを合成した合成映像Ｖを生成する映像加工部２４と、映像加工部２４で生成された合成映像Ｖを他の遠隔端末５０に出力する映像出力部２６とを備え、流し撮り映像ＰＶは、フォーカス映像ＦＶよりも所定時間Δｔ２あたりの撮像枚数が少ない映像である。
【0042】
この構成により、フォーカスエリアＦＡの周囲の流し撮りエリアＰＡに表示する映像を、撮像枚数を減らした流し撮り映像ＰＶとすることで、合成映像Ｖの視聴者が周辺視野で視覚から得る情報を低減することができる。したがって、映像処理装置２０によれば、撮像機器１０で撮像された風景の映像を視聴する視聴者の映像酔いを抑制可能となる。
また、流し撮り映像ＰＶの所定時間Δｔ２あたりの撮像枚数をフォーカス映像ＦＶよりも少ない枚数とすることで、流し撮り映像ＰＶとフォーカス映像ＦＶとが同じ撮像枚数である場合に比べて、圧縮後の合成映像Ｖを圧縮率が高い、容量の小さいデータとすることができる。その結果、合成映像Ｖのデータ保存量や、車両と遠隔端末５０との間の通信量の低減が可能となる。
また、流し撮り映像ＰＶの所定時間Δｔ２あたりの撮像枚数をフォーカス映像ＦＶよりも少ない枚数とすることで、流し撮り映像ＰＶとフォーカス映像ＦＶとが同じ撮像枚数である場合に比べて、圧縮後の合成映像Ｖを圧縮率が高い、容量の小さいデータとすることができる。その結果、合成映像Ｖのデータ保存量や、車両と遠隔端末５０との間の通信量の低減が可能となる。
【0043】
（変形例）
以上で実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。例えば、本実施形態では、フロントカメラ１１で撮像された風景の映像を映像処理装置２０で処理する例を説明したが、リアカメラ１２、右サイドカメラ１３および左サイドカメラ１４のいずれかにより撮像された風景の映像を対象としてもよい。また、上記撮像機器１０に代えて（または加えて）車両に全方位カメラ（３６０°カメラ）を搭載し、全方位カメラで撮像された風景の映像を対象としてもよい。
以上で実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。例えば、本実施形態では、フロントカメラ１１で撮像された風景の映像を映像処理装置２０で処理する例を説明したが、リアカメラ１２、右サイドカメラ１３および左サイドカメラ１４のいずれかにより撮像された風景の映像を対象としてもよい。また、上記撮像機器１０に代えて（または加えて）車両に全方位カメラ（３６０°カメラ）を搭載し、全方位カメラで撮像された風景の映像を対象としてもよい。
【0044】
また、本実施形態では、フォーカス映像ＦＶを撮像機器１０で撮像された映像としたが、映像加工部２４は、流し撮り映像ＰＶと同様に、フォーカス映像ＦＶの所定時間Δｔ２あたりの撮像枚数を適宜調整してもよい。
【0045】
また、本実施形態では、映像加工部２４が車両の振動情報に基づいて、振動を打ち消す方向に合成映像Ｖの位置を調整するものとしたが、振動情報に基づく合成映像Ｖの位置の調整は、映像出力部２６が行ってもよい。その場合、映像出力部２６に車両情報取得部２８からの車両情報が入力されればよい。同様に、合成映像Ｖへの加速度表示部４０、矢印４２またはアイコンＩＣの表示を、映像出力部２６が行ってもよい。
【符号の説明】
【0046】
１ 撮像装置
１０ 撮像機器
２０ 映像処理装置
２２ 映像入力部
２４ 映像加工部
２６ 映像出力部
２８ 車両情報取得部
５０ 遠隔端末
５２ 表示装置
ＦＡ フォーカスエリア
ＦＶ フォーカス映像
ＰＡ 流し撮りエリア
ＰＶ 流し撮り映像
Ｖ 合成映像
Δｔ１ 単位時間
Δｔ２ 所定時間
１０ 撮像機器
２０ 映像処理装置
２２ 映像入力部
２４ 映像加工部
２６ 映像出力部
２８ 車両情報取得部
５０ 遠隔端末
５２ 表示装置
ＦＡ フォーカスエリア
ＦＶ フォーカス映像
ＰＡ 流し撮りエリア
ＰＶ 流し撮り映像
Ｖ 合成映像
Δｔ１ 単位時間
Δｔ２ 所定時間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】