(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023167928
(43)【公開日】2023-11-24
(54)【発明の名称】映像表示装置および映像表示方法
(51)【国際特許分類】
G06F 3/04845 20220101AFI20231116BHJP
H04N 7/18 20060101ALI20231116BHJP
B60R 1/20 20220101ALI20231116BHJP
B60R 1/25 20220101ALI20231116BHJP
G07C 5/00 20060101ALI20231116BHJP
【FI】
G06F3/04845
H04N7/18 J
H04N7/18 U
B60R1/20 100
B60R1/25
G07C5/00 Z
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022079484
(22)【出願日】2022-05-13
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】清水 裕介
【テーマコード(参考)】
3E138
5C054
5E555
【Fターム(参考)】
3E138AA07
3E138MA01
3E138MB08
3E138MB10
3E138MD05
3E138MF05
3E138MF07
5C054CA04
5C054CC02
5C054DA07
5C054EA07
5C054GB02
5C054GB05
5C054GD01
5C054GD09
5C054HA27
5C054HA30
5E555AA64
5E555AA76
5E555BA23
5E555BA87
5E555BB23
5E555BC08
5E555BE10
5E555CA42
5E555CA45
5E555CB16
5E555CB74
5E555DA09
5E555DB57
5E555DC05
5E555FA00
(57)【要約】
【課題】車両の走行によって通過した位置の映像を即座に確認可能にすること。
【解決手段】映像表示装置10は、位置情報取得部29Aと、車両に設置された透過型表示パネル14と、車両の周囲の他車両から、他車両の周囲を撮影した、位置情報を含む映像を取得する映像取得部21Aと、表示させる範囲を特定する特定部24と、透過型表示パネル14の表面で操作可能な操作部15と、映像を再生する再生制御部27と、特定した範囲の映像を透過型表示パネル14に表示させる表示制御部28とを備え、映像取得部21は、操作が開始された場合に、車両の周囲の他車両が撮影している映像の取得を開始し、再生制御部27は、操作方向が車両の進行方向に沿って操作された場合、車両の進行方向の他車両が撮影している映像を再生し、操作方向が車両の進行方向とは反対方向に操作された場合、反対方向の他車両が撮影している映像を再生する。
【選択図】
図18
【特許請求の範囲】
【請求項1】
移動体の位置情報を取得する位置情報取得部と、
前記移動体に設置され、透過性を備える透過型表示パネルと、
前記移動体の周囲を走行している他の移動体から、前記他の移動体の周囲を撮影した、位置情報を含む映像を取得する映像取得部と、
前記映像取得部が取得した映像において、前記透過型表示パネルに表示させる範囲を特定する特定部と、
前記透過型表示パネルの表面で操作可能な操作部と、
前記映像取得部が取得した映像を再生する再生制御部と、
前記再生制御部が再生した映像における前記特定部が特定した範囲の映像を前記透過型表示パネルに表示させる表示制御部と、
を備え、
前記映像取得部は、前記操作部の操作が開始された場合に、前記移動体の周囲を走行している他の移動体が撮影している映像の取得を開始し、
前記再生制御部は、前記操作部の操作方向が前記移動体の進行方向に沿った第一方向に操作された場合、前記移動体の進行方向に存在する他の移動体が撮影している映像を再生し、前記操作部の操作方向が前記移動体の進行方向に沿った第一方向とは反対方向に操作された場合、前記移動体の進行方向と反対方向に存在する他の移動体が撮影している映像を再生する、
映像表示装置。
【請求項2】
前記映像取得部は、前記操作部の操作回数に応じて、前記移動体との距離が離れた他の移動体からの映像を取得する、
請求項1に記載の映像表示装置。
【請求項3】
前記映像取得部は、前記操作部の操作量または操作速度が大きいほど、前記移動体との距離が離れた他の移動体からの映像を取得する、
請求項1に記載の映像表示装置。
【請求項4】
前記映像取得部は、前記操作部の操作が開始されたときの前記移動体の移動速度が速いほど、前記移動体との距離が離れた前記他の移動体から映像を取得する、
請求項1に記載の映像表示装置。
【請求項5】
移動体に設置され、透過性を備える透過型表示パネルの表面で操作可能な操作部の操作が開始された場合に、前記移動体の周囲を走行している他の移動体が撮影している映像の取得を開始するステップと、
前記操作部の操作方向が前記移動体の進行方向に沿った第一方向に操作された場合、前記移動体の進行方向に存在する他の移動体が撮影している映像を取得して再生し、前記操作部の操作方向が前記移動体の進行方向に沿った第一方向とは反対方向に操作された場合、前記移動体の進行方向と反対方向に存在する他の移動体が撮影している映像を取得して再生するステップと、
を映像表示装置が実行する映像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像表示装置および映像表示方法に関する。
【背景技術】
【0002】
車両の周囲の映像を撮影するシステムが実用化されており、例えば、ドライブレコーダとして用いられる。このようなシステムで撮影された映像は、イベント記録等による保存が行われない場合は、一時的に記録された後に、新たな映像が上書される。ドライブレコーダの映像を、基準点である消失点を基準に画面においてフリック操作を行うことで、映像の送り再生や戻し再生を行う技術が開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術は、車両の搭乗者が車両の走行中に車両の周囲を視認しているときに、車両の走行によって通過した位置の映像を即座に確認することは困難である。
【0005】
本開示は、上記に鑑みてなされたものであって、車両の走行によって通過した位置の映像を即座に確認可能にすることを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る映像表示装置は、移動体の位置情報を取得する位置情報取得部と、前記移動体に設置され、透過性を備える透過型表示パネルと、前記移動体の周囲を走行している他の移動体から、前記他の移動体の周囲を撮影した、位置情報を含む映像を取得する映像取得部と、前記映像取得部が取得した映像において、前記透過型表示パネルに表示させる範囲を特定する特定部と、前記透過型表示パネルの表面で操作可能な操作部と、前記映像取得部が取得した映像を再生する再生制御部と、前記再生制御部が再生した映像における前記特定部が特定した範囲の映像を前記透過型表示パネルに表示させる表示制御部と、を備え、前記映像取得部は、前記操作部の操作が開始された場合に、前記移動体の周囲を走行している他の移動体が撮影している映像の取得を開始し、前記再生制御部は、前記操作部の操作方向が前記移動体の進行方向に沿った第一方向に操作された場合、前記移動体の進行方向に存在する他の移動体が撮影している映像を再生し、前記操作部の操作方向が前記移動体の進行方向に沿った第一方向とは反対方向に操作された場合、前記移動体の進行方向と反対方向に存在する他の移動体が撮影している映像を再生する。
【0007】
本開示に係る映像表示方法は、移動体に設置され、透過性を備える透過型表示パネルの表面で操作可能な操作部の操作が開始された場合に、前記移動体の周囲を走行している他の移動体が撮影している映像の取得を開始するステップと、前記操作部の操作方向が前記移動体の進行方向に沿った第一方向に操作された場合、前記移動体の進行方向に存在する他の移動体が撮影している映像を取得して再生し、前記操作部の操作方向が前記移動体の進行方向に沿った第一方向とは反対方向に操作された場合、前記移動体の進行方向と反対方向に存在する他の移動体が撮影している映像を取得して再生するステップとを映像表示装置が実行する。
【発明の効果】
【0008】
本開示によれば、車両の走行によって通過した位置の映像を即座に確認可能にすることができるという効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】
図1は、第一実施形態に係る映像表示装置の構成例を示すブロック図である。
【
図2】
図2は、車両の窓ガラスの撮影画角の一例を説明する概略図である。
【
図3】
図3は、リヤドアガラスの一例を説明する概略図である。
【
図4】
図4は、リヤドアガラスの他の例を説明する概略図である。
【
図5】
図5は、撮影画角と特定範囲とを説明する概略図である。
【
図6】
図6は、第一実施形態における操作部における操作の一例を説明する概略図である。
【
図7】
図7は、第一実施形態に係る映像表示装置における処理の流れの一例を示すフローチャートである。
【
図8】
図8は、第一実施形態における操作と表示映像との関係の一例を示す図である。
【
図9】
図9は、第一実施形態における操作と表示映像との関係の他の例を示す図である。
【
図10】
図10は、第二実施形態に係る映像表示装置の構成例を示すブロック図である。
【
図11】
図11は、第二実施形態における操作部における操作の一例を説明する概略図である。
【
図12】
図12は、第二実施形態に係る制御装置における処理の流れの一例を示すフローチャートである。
【
図13】
図13は、第二実施形態における操作と表示映像との関係の一例を示す図である。
【
図14】
図14は、第二実施形態における操作と表示映像との関係の他の例を示す図である。
【
図15】
図15は、第三実施形態に係る映像表示装置の構成例を示すブロック図である。
【
図16】
図16は、自車両と他車両との相対的な位置関係を説明する図である。
【
図17】
図17は、第四実施形態における操作部における操作の一例を説明する概略図である。
【
図18】
図18は、第四実施形態に係る制御装置における処理の流れの一例を示すフローチャートである。
【
図19】
図19は、第四実施形態における操作と表示映像との関係の一例を示す図である。
【
図20】
図20は、第四実施形態における操作と表示映像との関係の他の例を示す図である。
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、本開示に係る映像表示装置および映像表示方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
【0011】
[第一実施形態]
<映像表示装置>
図1は、第一実施形態に係る映像表示制御装置(以下、「制御装置」という。)20の構成例を示すブロック図である。
【0012】
本実施形態は、移動体の搭乗者が移動体の移動中に移動体の周囲を視認しているときに、移動体の移動によって通過した位置の状態や施設などを即座に確認することが困難であることを課題とする。本実施形態は、移動体の搭乗者が、移動体の移動によって通過した位置の状態や施設などを即座に確認可能にすることを目的とする。
【0013】
映像表示装置10は、例えば、車両、船舶、鉄道などの移動体の周囲の映像を再生して、移動体に配置された透過型表示パネル14に表示させる。本実施形態では、映像表示装置10は、車両の周囲の映像を戻し方向に再生して、車両に配置された透過型表示パネル14に表示させる。以下の各実施形態においては、移動体の例として車両を用いて説明する。
【0014】
戻し方向の再生とは、映像を時間の経過に沿った方向とは反対方向に再生することであり、言い換えると、巻き戻す方向に再生することである。
【0015】
映像表示装置10は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。また、映像表示装置10は、車両にあらかじめ設置されている装置やナビゲーション装置等の機能または構成を含んで実現されてもよい。映像表示装置10は、カメラ11と、記録部12と、インターフェース部(以下、「IF部」という。)13と、透過型表示パネル14と、操作部15と、制御装置20とを有する。
【0016】
カメラ11は、車両の周辺を撮影するカメラである。カメラ11は、一例としては、映像表示装置10に固有のカメラ、または、俯瞰映像表示システムと共用した俯瞰映像用のカメラなどである。カメラ11は、複数のカメラ群であってもよい。カメラ11は、例えば、車両の前方、車両の右側方、車両の左側方、および、車両の後方を撮影可能な位置に配置されている。カメラ11は、例えば、透過型表示パネル14ごとに設けられ、透過型表示パネル14越しに見た周辺の景色を撮影してもよい。つまり、カメラ11は、本発明が適用可能な透過型表示パネル14に対応した向きが撮影可能なカメラである。カメラ11は、例えば、車両の各窓ガラスに対応して配置され、各窓ガラスから見た周辺の景色を撮影してもよい。本実施形態では、カメラ11は、車両のアクセサリ電源がONである間や、車両が動作している間、映像を常時撮影する。カメラ11は、撮影した映像を制御装置20の映像取得部21に出力する。映像は、例えば毎秒27.5フレームの画像から構成される動画像である。
【0017】
図2は、車両の窓ガラスの撮影画角の一例を説明する概略図である。一例として、カメラ11を構成する複数のカメラのうち、右側方を撮影する右カメラ111の撮影画角200を説明する。右側方を撮影する右カメラ111は、例えば、右サイドミラーに配置されている。右側方を撮影する右カメラ111の撮影画角200は、右リヤドアガラス104から乗員が車両の外部を視認できる視認範囲201を含む。
【0018】
記録部12は、映像表示装置10におけるデータの一時記憶などに用いられる。記録部12は、例えば、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部記録部であってもよい。記録部12は、制御装置20の記録制御部22から出力された制御信号に基づいて、ループ記録映像を記録する。ループ記録映像とは、ループ記録された映像であり、ループ記録については後述する。
【0019】
IF部13は、CAN(Controller Area Network)などを介して、車両の車速情報を取得するためのインターフェースである。
【0020】
透過型表示パネル14は、一例としては、映像表示装置10に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。透過型表示パネル14は、例えば、透過型の有機EL(Electro Luminescence)ディスプレイが適切であるが、これに限定されず他の方式でもよい。透過型表示パネル14は、車両の周囲、つまり車両の外周部に設置され、映像が表示されていないときは透過性を備える。透過型表示パネル14は、車両の周囲の映像を表示させる。透過型表示パネル14は、制御装置20の表示制御部28から出力された映像信号に基づいて、映像を表示する。透過型表示パネル14は、カメラ11が撮影している映像、または、記録部12に記録された映像を表示する。
【0021】
透過型表示パネル14は、車両の窓ガラスに備えられているか、車両の窓ガラスを構成している。透過型表示パネル14は、映像が表示されていないときは、可視光領域において、例えば60%以上の透過率を有する。透過型表示パネル14は、映像が表示されているときは、映像が表示されている範囲の透過率が、例えば20%未満となるか、または透過しない。
【0022】
透過型表示パネル14は、車両の外部を視認可能な窓に適用可能である。透過型表示パネル14は、例えば、
図2に示す、車両のフロントガラス101、右フロントドアガラス102、左フロントドアガラス103、右リヤドアガラス104、左リヤドアガラス105、及び、リヤガラス106の少なくともいずれかに適用可能である。以下の説明では、透過型表示パネル14を車両の右リヤドアガラス104に適用するものとして説明する。
【0023】
図3は、リヤドアガラスの一例を説明する概略図である。
図4は、リヤドアガラスの他の例を説明する概略図である。透過型表示パネル14と操作部15であるタッチパネル形状は、適用するガラスの全面形状と同一であってもよいし、適用するガラスの全面形状より小さい矩形で構成されてもよい。
図3に示す例では、透過型表示パネル14と操作部15であるタッチパネル形状は、右リヤドアガラス104の全面形状と同一である。
図4に示す例では、透過型表示パネル14と操作部15であるタッチパネル形状は、右リヤドアガラス104の全面形状より小さい矩形である。
【0024】
操作部15は、映像表示装置10に対する各種操作を受付可能である。操作部15は、透過型表示パネル14の表面で操作可能である。操作部15は、例えば、透過型表示パネル14の表示画面上に重ねて配置されたタッチパネルである。例えば、操作部15は、スマートフォンの画面のように、タッチ操作、スワイプ操作、及び、フリック操作などのタッチパネルに対する各種操作を受け付け可能である。例えば、操作部15は、記録部12に記録した映像を再生する操作を受付可能である。操作部15は、操作情報を制御装置20の操作制御部25に出力する。
【0025】
<制御装置>
制御装置20は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置(制御装置)である。制御装置20は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置20には図示しない内部メモリが含まれ、内部メモリは制御装置20におけるデータの一時記憶などに用いられる。制御装置20は、その構成およびプログラムによって実現される機能として、映像取得部21と、記録制御部22と、特定部24と、操作制御部25と、車速情報取得部26と、再生制御部27と、表示制御部28とを有する。
【0026】
映像取得部21は、車両の周辺を撮影するカメラ11が撮影した周辺の映像を取得する。映像取得部21は、カメラ11の撮影動作を制御する、撮影制御部として機能してもよい。
【0027】
記録制御部22は、カメラ11が撮影した映像を記録部12に記録する。記録制御部22は、映像取得部21によって取得された映像を、記録部12に記録させる制御を行う。記録制御部22は、車両のアクセサリ電源がONである期間など、車両が動作している期間は、映像取得部21によって取得された映像を上書き可能な映像として記録部12に記録する。より詳しくは、記録制御部22は、映像取得部21によって取得された映像を記録部12に記録し続け、記録部12の容量が一杯になった場合、古い映像に新しい映像を上書きして記録するループ記録を行う。記録制御部22は、撮影した映像を、戻し方向再生に必要な時間だけ記録できればよい。例えば5分間から10分間程度の映像をループ記録すればよい。ループ記録可能な時間は、記録部12の記録可能容量によって決定される。記録制御部22は、カメラ11が左右各々など複数ある場合、各々の映像をループ記録する。
【0028】
特定部24は、カメラ11の画角に基づく映像から、予め決められた範囲を、透過型表示パネル14に表示させる特定範囲として特定する。特定部24は、車両のガラスに一番近い座席の搭乗者の平均的な顔(目)の位置から、ガラスを介して搭乗者が車外を視認できる範囲を特定する。特定部24は、例えば、右リヤドアガラス104の場合、右後部座席に着座する搭乗者の平均的な顔(目)の位置から、右リヤドアガラス104を介して搭乗者が車外を視認できる範囲を特定する。
【0029】
特定部24は、図示しない車内のカメラが撮影した映像から、搭乗者の顔の位置および向き、目の位置および向きを検出し、目の位置および向きに合わせて、特定範囲を変更してもよい。特定部24は、操作部15の操作が開始されたときの搭乗者の顔の位置および向き、目の位置および向きを検出し、操作部15の操作が開始されたときの範囲を特定し、操作部15の操作中は特定範囲の映像を表示させてもよい。
【0030】
図5は、カメラ11の撮影画角と、特定部24が特定した特定範囲とを説明する概略図である。特定部24は、カメラ11が撮影した映像200において、透過型表示パネル14に表示させる特定範囲202を特定する。特定部24は、透過型表示パネル14の形状に合わせて特定範囲202を特定する。例えば、透過型表示パネル14が
図3に示す形状である場合、特定部24は、適用するガラスの全面形状と同一の形状の特定範囲202を特定する。例えば、透過型表示パネル14が
図4に示す形状である場合、特定部24は、矩形状の特定範囲202を特定する。
【0031】
操作制御部25は、操作部15が受け付けた操作の操作情報を取得する。操作制御部25は、例えば、タッチ操作、スワイプ操作、及び、フリック操作などのタッチパネルに対する各種操作を示す操作情報を取得して制御信号を出力する。操作制御部25は、例えば、進行方向に沿った操作を取得して操作情報を示す制御信号を出力する。
【0032】
車両の進行方向に沿った操作とは、車両の前後いずれかの方向に対する操作である。例えば、映像の再生時に再生位置を指し示すシークバーに対する操作のように、前方から後方、または、後方から前方へのスワイプ操作のことである。従って、車両の側面に配置されているリヤドアガラスにおいては、車両の車室内側から見て左右方向の操作が、車両の進行方向に沿った操作である。
【0033】
図6は、第一実施形態における操作部における操作の一例を説明する概略図である。
図6は、一例として、右リヤドアガラス104を示す。操作制御部25は、例えば、搭乗者がスマートフォンの画面のようなタッチ操作を行った場合、操作開始点P11へのタッチ操作を示す制御信号を出力する。操作制御部25は、例えば、ユーザがスマートフォンの画面のようなスワイプ操作を行った場合、矢印A1で示すような後方から前方へのスワイプ操作を示す制御信号を出力する。
【0034】
車両の進行方向は、基本は前進方向とする。車両の後退時には、本発明は適用されない。このため、車両の進行方向はセンシングが不要である。車両の右リヤドアガラス104に配置された透過型表示パネル14の場合、例えば、車室内側から透過型表示パネル14に向かって進行方向は左側と予め設定されている。車両の左リヤドアガラス105に設置された透過型表示パネル14の場合、例えば、車室内側から透過型表示パネル14に向かって進行方向は右側と予め設定されている。
【0035】
車速情報取得部26は、CAN等を介して車両の車速を示す車速情報を取得する。車速情報取得部26は、制御装置20の必須の構成ではない。
【0036】
再生制御部27は、映像を再生するよう制御する。再生制御部27は、記録部12に記録された映像を再生するよう制御する。再生制御部27は、操作制御部25から出力された制御信号に基づいて、記録部12に記録されたループ記録映像を再生するよう制御する。
【0037】
再生制御部27は、操作制御部25から出力された制御信号に基づいて、映像を戻し方向再生するよう制御する。再生制御部27は、操作部15の操作が開始された場合に、操作部15の操作が開始されたときの映像を透過型表示パネル14に表示させ、操作部15の操作方向が車両の進行方向に沿って操作された場合、記録制御部22が記録した映像を、操作部15の操作が開始されたときの映像から戻し方向に再生するよう制御する。再生制御部27は、透過型表示パネル14のタッチ操作がされると、タッチ操作されたときの映像を停止した状態で表示させ、その後、透過型表示パネル14のスワイプ操作等がされると、表示中の映像を戻し方向再生するよう制御する。
【0038】
再生制御部27は、カメラ11によって撮影中の映像をリアルタイムで再生するように制御してもよい。より詳しくは、再生制御部27は、操作部15の操作が開始された場合に、操作部15の操作が開始されたときから撮影中の映像を透過型表示パネル14に表示させ、操作部15の操作方向が車両の進行方向に沿って操作された場合、記録制御部22が記録した映像を戻し方向に再生するよう制御してもよい。再生制御部27は、透過型表示パネル14のタッチ操作がされると、タッチ操作されたときから撮影中の映像に切り替わり、その後、透過型表示パネル14のスワイプ操作等がされると、表示中の映像を戻し方向再生するよう制御する。
【0039】
再生制御部27は、操作部15の操作方向が車両の進行方向に沿って操作された場合の操作速度に基づき、映像を戻し方向に再生する速度を変化させてもよい。本実施形態では、再生制御部27は、スワイプ操作の単位時間当たりの操作量、言い換えると操作速度に基づき、戻し方向に再生する速度を変化させる。再生制御部27は、例えば、100mm/sec程度の操作速度の場合、1倍速の戻し方向再生を行う。再生制御部27は、例えば、50mm/sec程度の操作速度の場合、0.5倍速の戻し方向再生を行う。再生制御部27は、例えば、200mm/sec程度の操作速度の場合、2倍速の戻し方向再生を行う。操作速度と再生速度とは、直線的に対応付けられていてもよく、段階的に対応付けられていてもよい。
【0040】
再生制御部27は、操作部15の操作が開始されたときの車両の走行速度に基づき、映像を戻し方向に再生する速度を変化させてもよい。より詳しくは、再生制御部27は、車速情報取得部26が取得した車速情報から、操作部15の操作が開始されたときの車両の走行速度に応じて、映像を戻し方向に再生する速度を変化させてもよい。再生制御部27は、例えば、操作部15の操作が開始された時点における車両の走行速度が0km/h以上20km/h以下の場合、0.5倍速の戻し方向再生を行う。再生制御部27は、操作部15の操作が開始された時点における車両の走行速度が20km/h以上60km/h以下の場合、1倍速で戻し方向再生を行う。再生制御部27は、操作部15の操作が開始された時点における車両の走行速度が60km/h以上の場合、2倍速で戻し方向再生を行う。車両の走行速度と再生速度とは、直線的に対応付けられていてもよく、段階的に対応付けられていてもよい。
【0041】
表示制御部28は、再生制御部27が再生した映像における特定部24が特定した範囲の映像を透過型表示パネル14に表示させる。
【0042】
表示制御部28は、透過型表示パネル14における映像の表示を制御する。表示制御部28は、再生制御部27からの制御信号に基づいて、映像を透過型表示パネル14に出力させる映像信号を出力する。より詳しくは、表示制御部28は、カメラ11が撮影している映像、または、記録部12に記録された映像の再生によって表示する映像信号を出力する。
【0043】
<制御装置における情報処理>
次に、
図7を用いて、制御装置20における処理の流れについて説明する。映像表示装置10が起動している間、
図7に示すフローチャートの処理が実行される。
【0044】
制御装置20は、撮影、記録を開始する(ステップS101)。より詳しくは、映像表示装置10は、カメラ11による車両の周辺の撮影を開始する。そして、制御装置20は、映像取得部21によって、カメラ11が撮影した車両の周辺の映像を取得する。そして、制御装置20は、記録制御部22によって、カメラ11が撮影した映像を記録部12にループ記録を行う。制御装置20は、ステップS102へ進む。
【0045】
制御装置20は、操作が開始されたか否かを判定する(ステップS102)。より詳しくは、制御装置20は、操作制御部25によって、操作部15に対するタッチ操作が受付された場合、操作が開始されたと判定する。制御装置20は、操作制御部25によって、操作が開始されたと判定する場合(ステップS102でYes)、ステップS103に進む。制御装置20は、操作制御部25によって、操作が開始されたと判定しない場合(ステップS102でNo)、ステップS108に進む。
【0046】
操作が開始されたと判定する場合(ステップS102でYes)、制御装置20は、操作開始時点の映像を表示させる(ステップS103)。より詳しくは、制御装置20は、特定部24によって、カメラ11の画角に基づく映像から、予め決められた範囲を、透過型表示パネル14に表示させる範囲として特定する。制御装置20は、再生制御部27によって、操作部15のタッチ操作が開始されたときの映像を再生するよう制御する。制御装置20は、表示制御部28によって、再生制御部27からの制御信号に基づいて、操作部15のタッチ操作が開始されたときの映像を透過型表示パネル14に表示させる。制御装置20は、ステップS104へ進む。
【0047】
制御装置20は、進行方向に沿ったスワイプ操作があるか否かを判定する(ステップS104)。より詳しくは、制御装置20は、操作制御部25によって、操作部15に対する車両の進行方向に沿ったスワイプ操作が受付された場合、進行方向に沿ったスワイプ操作があると判定する。制御装置20は、操作制御部25によって、進行方向に沿ったスワイプ操作があると判定する場合(ステップS104でYes)、ステップS105に進む。制御装置20は、操作制御部25によって、進行方向に沿ったスワイプ操作が開始されたと判定しない場合(ステップS104でNo)、ステップS108に進む。
【0048】
進行方向に沿ったスワイプ操作があると判定する場合(ステップS104でYes)、映像の戻し方向再生を開始する(ステップS105)。より詳しくは、制御装置20は、再生制御部27によって、記録制御部22が記録した映像を、操作部15の操作が開始されたときの映像から戻し方向に再生する。制御装置20は、表示制御部28によって、再生制御部27からの制御信号に基づいて、再生された映像を透過型表示パネル14に表示させる。制御装置20は、ステップS106へ進む。
【0049】
制御装置20は、操作が終了したか否かを判定する(ステップS106)。より詳しくは、制御装置20は、操作制御部25によって、ステップS104で開始されたスワイプ操作に対して、操作部15から搭乗者の指が離れた場合、操作が終了したと判定する。制御装置20は、操作制御部25によって、操作が終了したと判定する場合(ステップS106でYes)、ステップS107に進む。制御装置20は、操作制御部25によって、操作が開始されたと判定しない場合(ステップS106でNo)、ステップS106の処理を再度実行する。
【0050】
操作が終了したと判定する場合(ステップS106でYes)、制御装置20は、戻し方向再生を終了する(ステップS107)。より詳しくは、制御装置20は、再生制御部27によって、映像の戻し方向の再生を終了する。制御装置20は、表示制御部28によって、再生制御部27からの制御信号に基づいて、映像を透過型表示パネル14に表示させることを終了する。制御装置20は、ステップS108へ進む。
【0051】
制御装置20は、撮影、記録を終了するか否かを判定する(ステップS108)。例えば、車両の電源や動力がOFFにされたことや、操作部15に対する終了操作がされたことなどで、撮影、記録を終了することが判定される。制御装置20は、撮影、記録を終了すると判定された場合(ステップS108でYes)、本処理を終了する。制御装置20は、撮影、記録を終了すると判定されない場合(ステップS108でNo)、ステップS102の処理を再度実行する。
【0052】
図8は、第一実施形態における操作と表示映像との関係の一例を示す図である。
図8は、右方向に向けて時間が経過していることを示す。記録制御部22は、タッチ操作が検出された時刻ta0の時点で、時刻ta-2の時点より前からの映像を記録している。また、時刻ta0の時点においてもカメラ11による撮影は継続している。
図8に示す例では、搭乗者が時刻ta0の時点でタッチ操作を開始して、時刻ta1の時点までタッチ操作した指の動きがない状態を示している。再生制御部27は、時刻ta0の時点から時刻ta1の時点まで、時刻ta0の時点の映像を静止画として再生し、表示制御部28は、再生されている映像を透過型表示パネル14に表示させる。
【0053】
その後、搭乗者が時刻ta1の時点から時刻ta3の時点まで車両の進行方向にスワイプ操作を行う。再生制御部27は、時刻ta0の時点の映像から戻し方向再生を行い、時刻ta1の時点から時刻ta3の時点までの期間と同等の時間長の映像である時刻ta0の時点から時刻ta-2の時点までの映像を戻し方向再生する。時刻ta2はスワイプ操作の途中経過の時点を示す。時刻ta2の時点に対応する戻し方向再生箇所は時刻ta-1の時点である。
【0054】
スワイプ操作が終了した時刻ta3の時点で、再生制御部27は、再生を終了し、表示制御部28は、映像の表示を終了する。映像の表示が終了することで、透過型表示パネル14は透過状態となる。
【0055】
スワイプ操作が終了した時刻ta3の時点で操作部15から指が離れた後も、再生制御部27が、例えば1秒程度、戻し方向再生を継続してから、表示制御部28は、映像の表示を終了させてもよい。
【0056】
スワイプ操作が終了した時刻ta3の時点では、表示制御部28は、時刻ta-2の時点の映像を静止画として、例えば1秒程度表示させてから、映像の表示を終了させてもよい。
【0057】
時刻ta3の時点より後に、同一方向に再度のスワイプ操作が行われた場合、再生制御部27は、時刻ta-2の時点からさらに遡る戻し方向再生を行う。
【0058】
図8を用いて、スワイプ操作の操作速度に基づき、戻し方向に再生する速度を変化させる場合について説明する。例えば、0.5倍速の戻し方向再生を行う場合、時刻ta3の時点では、時刻ta-1の時点までの映像が戻し方向再生される。例えば、2倍速の戻し方向再生を行う場合、時刻ta3の時点では、時刻ta-2より前の時点の映像まで戻し方向再生される。
【0059】
図9は、第一実施形態における操作と表示映像との関係の他の例を示す図である。
図9においても、右方向に向けて時間が経過していることを示す。
図9に示す例では、搭乗者が時刻tb0の時点でタッチ操作を開始して、時刻tb1の時点までタッチ操作した指の動きがない状態を示している。再生制御部27は、時刻tb0の時点から撮影中の映像を再生し、表示制御部28は、映像を透過型表示パネル14に表示させる。その後、搭乗者が時刻tb1の時点から時刻tb3の時点まで車両の進行方向にスワイプ操作を行う。再生制御部27は、時刻tb1の時点から映像の戻し方向再生を行う。再生制御部27は、時刻tb1の時点から時刻tb3の時点までの期間の同等の時間長の映像である時刻tb1の時点から時刻tb2の時点までの期間の映像を戻し方向再生する。時刻tb2はスワイプ操作の途中経過の時点を示す。時刻tb2の時点に対応する戻し方向再生箇所は時刻tb1の時点である。
【0060】
<効果>
上述したように、本実施形態では、操作部15の操作が開始された場合に、操作部15の操作が開始されたときの映像を透過型表示パネル14に表示させる。本実施形態は、操作部15の操作方向が車両の進行方向に沿って操作された場合、記録制御部22が記録した映像を、操作部15の操作が開始されたときの映像から戻し方向に再生する。本実施形態によれば、操作によって、映像を即時に戻し方向に再生することができる。本実施形態によれば、車両の搭乗者が、車両の走行によって通過した位置の状態や施設などを即座に確認可能にすることができる。
【0061】
本実施形態は、操作部15の操作が開始された場合に、操作部15の操作が開始されたときから撮影中の映像を透過型表示パネル14に表示させる。本実施形態は、操作部15の操作方向が車両の進行方向に沿って操作された場合、記録制御部22が記録した映像を戻し方向に再生する。本実施形態によれば、撮影中の画像から、車両の走行によって通過した位置の状態や施設などを即座に確認可能にすることができる。
【0062】
本実施形態は、操作部15の操作方向が車両の進行方向に沿って操作された場合の操作速度に基づき、映像を戻し方向に再生する速度を変化させる。本実施形態によれば、操作速度に応じて、映像の再生速度を直感的に変化させることができる。
【0063】
本実施形態は、操作部15の操作が開始されたときの車両の走行速度に基づき、映像を戻し方向に再生する速度を変化させる。本実施形態によれば、車両の走行速度に応じて、再生速度を適切に変化させることができる。
【0064】
[第二実施形態]
図10ないし
図14を参照しながら、本実施形態に係る映像表示装置10について説明する。
図10は、第二実施形態に係る映像表示装置の構成例を示すブロック図である。
図11は、第二実施形態における操作部における操作の一例を説明する概略図である。
図12は、第二実施形態に係る制御装置における処理の流れの一例を示すフローチャートである。
図13は、第二実施形態における操作と表示映像との関係の一例を示す図である。
図14は、第二実施形態における操作と表示映像との関係の他の例を示す図である。
【0065】
本実施形態は、車両の搭乗者が車両の走行中に車両の周囲を視認しているときに、車両が走行している位置を含む周辺の過去の状態を即座に確認することが困難であることを課題とする。本実施形態は、移動体の搭乗者が、移動体が移動している位置を含む周辺の過去の状態を即座に確認可能にすることを目的とする。
【0066】
本実施形態では、映像表示装置10Aは、車両の位置と同一の位置で過去に撮影された映像を透過型表示パネル14に表示させる。映像表示装置10Aは、操作方向に応じて、車両の周囲の映像を戻し方向再生または順方向再生して、透過型表示パネル14に表示させる。
【0067】
映像表示装置10Aは、基本的な構成は第一実施形態の映像表示装置10と同様である。以下の説明においては、映像表示装置10と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、GNSS(Global Navigation Satellite System)受信部16Aと、位置情報取得部29Aとを備える点と、映像取得部21Aと、記録制御部22Aと、特定部24Aと、再生制御部27Aとにおける処理が第一実施形態と異なる。
【0068】
GNSS受信部16Aは、GNSS衛星からのGNSS信号を受信するGNSS受信機などで構成される。GNSS受信部16Aは、受信した位置情報信号を制御装置20の位置情報取得部29Aに出力する。
【0069】
位置情報取得部29Aは、車両の現在位置を示す位置情報を取得する。位置情報取得部29Aは、GNSS受信部16Aが受信したGNSS信号に基づいて、車両の現在位置の位置情報を公知の方法によって算出する。
【0070】
映像取得部21Aは、映像が撮影された位置情報を含む映像を取得する。
【0071】
映像取得部21Aは、記録部12に記録された映像を取得してもよい。
【0072】
記録制御部22Aは、カメラ11が撮影した映像を、撮影位置を対応付けて記録部12に記録する。記録制御部22Aは、カメラ11が撮影した映像を、位置情報取得部29Aが取得した位置情報とともに記録部12に記録する。
【0073】
特定部24Aは、映像取得部21Aが取得した映像において、透過型表示パネル14に表示させる範囲を特定する。
【0074】
再生制御部27Aは、映像取得部21Aが取得した映像を再生する。再生制御部27Aは、操作部15の操作方向に応じて、順方向再生または戻し方向再生を行う。
【0075】
順方向再生とは、これから走行する予定の場所の過去映像を再生することである。戻し方向再生とは、通過してきた場所の過去映像を再生することである。
【0076】
図11は、第二実施形態における操作部における操作の一例を説明する概略図である。
図11は、一例として、右リヤドアガラス104を示す。例えば、搭乗者がいわゆるシークバーのように、操作開始点P11から、第一方向である矢印A1の方向に沿ってスワイプ操作する。例えば、搭乗者がいわゆるシークバーのように、操作開始点P12から、第一方向と反対方向である第二方向である矢印A2の方向に沿ってスワイプ操作する。
【0077】
再生制御部27Aは、操作部15の操作が開始された場合に、映像取得部21Aが取得した、操作部15の操作が開始されたときの車両の位置と同一の位置で過去に撮影された映像を透過型表示パネル14に表示させ、操作部15の操作方向が車両の進行方向に沿った第一方向に操作された場合、映像を順方向で再生し、操作部15の操作方向が車両の進行方向に沿った第一方向とは反対方向に操作された場合、映像を戻し方向に再生する。再生制御部27Aは、例えば、車両の進行方向に沿った第一方向にスワイプ操作された場合、過去の映像を順方向で再生する。再生制御部27Aは、例えば、車両の進行方向に沿った第一方向と逆方向に向かってスワイプ操作された場合、過去の映像を戻し方向で再生する。
【0078】
再生制御部27Aは、操作部15の操作が開始されたときの車両の位置と同一の位置および進行方向で過去に撮影された映像を再生してもよい。
【0079】
再生制御部27Aは、操作部15が配置された窓ガラスに対応するカメラ11によって、過去に撮影した映像を再生してもよい。再生制御部27Aは、例えば、右リヤドアガラス104の操作部15が操作された場合、車両の右側を撮影するカメラ11が、過去に撮影した映像を再生してもよい。
【0080】
再生制御部27Aは、操作が開始されたときの車両の位置と同一の位置および進行方向で過去に撮影された映像映像が複数存在する場合、直近に撮影された映像を再生対象としてもよい。
【0081】
再生制御部27Aは、同一方向のスワイプ操作が繰り返された場合、操作が開始されたときの車両の位置と同一の位置および進行方向で過去に撮影された複数の映像を、スワイプ操作ごとに古い映像となるように再生してもよい。
【0082】
再生制御部27Aは、操作が開始されたときの車両の位置と同一の位置および進行方向で過去に撮影された映像映像が複数存在する場合、例えば、1年前など所定の期間前に撮影された映像を再生対象としてもよい。この場合、同一方向のスワイプ操作が繰り返された場合、さらに1年前など所定の期間前に撮影された映像を再生するなど、スワイプ操作ごとに古い映像となるように再生してもよい。
【0083】
例えば、例えば、スマートフォンの画面のようなスワイプ操作の場合、前方から後方へ、言い換えると、第一方向へスワイプ操作した場合、順方向再生を行う。後方から前方へ、言い換えると、第一方向と反対方向へスワイプ操作した場合、戻し方向再生を行う。
【0084】
再生制御部27Aは、操作部15の操作方向が車両の進行方向に沿って操作された場合の操作速度に基づき、映像を再生する速度を変化させてもよい。本実施形態では、再生制御部27Aは、スワイプ操作の単位時間当たりの操作量、言い換えると操作速度に基づき、順方向再生または戻し方向に再生する速度を変化させる。再生制御部27Aは、例えば、100mm/sec程度の操作速度の場合、1倍速で順方向再生または戻し方向再生を行う。再生制御部27Aは、例えば、50mm/sec程度の操作速度の場合、0.5倍速の順方向再生または戻し方向再生を行う。再生制御部27Aは、例えば、200mm/sec程度の操作速度の場合、2倍速の順方向再生または戻し方向再生を行う。操作速度と再生速度の対応は、直線的に対応付けられていてもよく、段階的に対応付けられていてもよい。
【0085】
再生制御部27Aは、操作部15の操作が開始されたときの車両の走行速度に基づき、映像を再生する速度を変化させてもよい。再生制御部27Aは、車速情報取得部26が取得した車速情報から、操作部15の操作が開始されたときの車両の走行速度に応じて、映像を順方向再生または戻し方向に再生する速度を変化させてもよい。再生制御部27Aは、例えば、操作部15の操作が開始された時点における車両の走行速度が0km/h以上20km/h以下の場合、0.5倍速の順方向再生または戻し方向再生を行う。再生制御部27Aは、例えば、操作部15の操作が開始された時点における車両の走行速度が20km/h以上60km/h以下の場合、1倍速で順方向再生または戻し方向再生を行う。再生制御部27Aは、例えば、操作部15の操作が開始された時点における車両の走行速度が60km/h以上の場合、2倍速で順方向再生または戻し方向再生を行う。車両の走行速度と再生速度の対応は、直線的に対応付けられていてもよく、段階的に対応付けられていてもよい。
【0086】
次に、
図12を用いて、制御装置20Aにおける処理の流れについて説明する。ステップS111、ステップS117の処理は、
図7に示すフローチャートのステップS102、ステップS106と同様の処理を行う。
【0087】
操作が開始されたと判定する場合(ステップS111でYes)、制御装置20Aは、操作開始時点と同一の位置で過去に撮影された映像を表示させる(ステップS112)。より詳しくは、制御装置20Aは、特定部24によって、過去に撮影された映像から、予め決められた範囲を、透過型表示パネル14に表示させる範囲として特定する。制御装置20Aは、再生制御部27Aによって、映像取得部21Aが取得した、操作部15の操作が開始されたときの車両の位置と同一の位置で過去に撮影された映像を再生するよう制御する。制御装置20Aは、表示制御部28によって、再生制御部27Aからの制御信号に基づいて、映像を透過型表示パネル14に表示させる。制御装置20Aは、ステップS113へ進む。
【0088】
制御装置20Aは、スワイプ操作があるか否かを判定する(ステップS113)。より詳しくは、制御装置20Aは、操作制御部25によって、操作部15に対するスワイプ操作が受付された場合、スワイプ操作があると判定する。制御装置20Aは、操作制御部25によって、スワイプ操作があると判定する場合(ステップS113でYes)、ステップS114に進む。操作制御部25によって、スワイプ操作があると判定しない場合(ステップS113でNo)、ステップS119に進む。
【0089】
スワイプ操作があると判定する場合(ステップS113でYes)、制御装置20Aは、操作方向が第一方向であるか否かを判定する(ステップS114)。制御装置20Aは、スワイプ操作の操作方向が第一方向であると判定する場合(ステップS114でYes)、ステップS115へ進む。制御装置20Aは、スワイプ操作の操作方向が第一方向であると判定しない場合(ステップS114でNo)、ステップS116へ進む。
【0090】
操作方向が第一方向であると判定する場合(ステップS114でYes)、制御装置20Aは、順方向再生を開始する(ステップS115)。より詳しくは、制御装置20Aは、再生制御部27Aによって、操作部15の操作が開始されたときの映像から順方向に再生するよう制御する。制御装置20Aは、表示制御部28によって、再生制御部27Aからの制御信号に基づいて、映像を透過型表示パネル14に表示させる。制御装置20Aは、ステップS117へ進む。
【0091】
操作方向が第一方向であると判定しない場合(ステップS114でNo)、制御装置20Aは、映像の戻し方向再生を開始する(ステップS116)。より詳しくは、制御装置20Aは、再生制御部27Aによって、操作部15の操作が開始されたときの映像から戻し方向に再生するよう制御する。制御装置20Aは、表示制御部28によって、再生制御部27Aからの制御信号に基づいて、映像を透過型表示パネル14に表示させる。制御装置20Aは、ステップS117へ進む。
【0092】
操作が終了したと判定する場合(ステップS117でYes)、制御装置20Aは、再生を終了する(ステップS118)。より詳しくは、制御装置20Aは、再生制御部27Aによって、映像の再生を終了する。制御装置20Aは、表示制御部28によって、再生制御部27Aからの制御信号に基づいて、映像を透過型表示パネル14に表示させることを終了する。制御装置20Aは、ステップS119へ進む。
【0093】
制御装置20Aは、終了するか否かを判定する(ステップS119)。例えば、車両の電源や動力がOFFにされたことや、操作部15に対する終了操作がされたことなどで、終了することが判定される。制御装置20Aは、終了すると判定された場合(ステップS119でYes)、本処理を終了する。制御装置20Aは、終了すると判定されない場合(ステップS119でNo)、ステップS113の処理を再度実行する。
【0094】
図13は、車両の進行方向に沿った第一方向にスワイプしたときの処理例を図示したものである。
図13は、右方向に向けて時間が経過していることを示す。再生制御部27Aは、タッチ操作が検出された時刻ta0の時点における車両の位置情報と同一の位置情報を含む、過去に撮影され記録された映像を取得する。
図13に示す例では、搭乗者は、時刻ta0の時点でタッチ操作を開始し時刻ta1の時点までタッチ操作した指の動きがない状態を示している。再生制御部27Aは、過去の映像における、時刻ta0の時点と同一の位置情報および進行方向を含む時刻tVa0の時点の映像を静止画として再生し、表示制御部28は、映像を透過型表示パネル14に表示させる。
【0095】
その後、搭乗者が時刻ta1の時点から時刻ta2の時点まで車両の進行方向に沿った第一方向にスワイプ操作を行う。再生制御部27Aは、時刻tVa0の時点から順方向再生を行い、時刻ta1の時点から時刻ta2の時点までの期間と同等の時間長の映像である時刻tVa0から時刻tVa1までの映像を順方向再生する。
【0096】
スワイプ操作が終了した時刻ta2の時点で、再生制御部27は、再生を終了し、表示制御部28は映像の表示を終了する。映像の表示が終了することで、透過型表示パネル14は透過状態となる。
【0097】
スワイプ操作が終了した時刻ta2の時点で操作部15から指が離れた後も、再生制御部27Aが、例えば1秒程度、戻し方向再生を継続してから、表示制御部28は、映像の表示を終了させてもよい。
【0098】
スワイプ操作が終了した時刻ta2の時点では、表示制御部28は、時刻tVa1の時点の映像を静止画として、例えば1秒程度表示させてから、映像の表示を終了させてもよい。
【0099】
時刻ta2の時点より後に、同一方向に再度のスワイプ操作が行われた場合、再生制御部27Aが、時刻tVa1の時点からさらに順方向で再生を行ってもよい。
【0100】
図14は、車両の進行方向とは反対方向にスワイプしたときの処理例を図示したものである。
図14においても、右方向に向けて時間が経過していることを示す。再生制御部27Aは、タッチ操作が検出された時刻tb0の時点における車両の位置情報と同一の位置情報を含む過去に撮影され記録された映像を取得する。
図14に示す例では、搭乗者が時刻tb0の時点でタッチ操作を開始し時刻tb1の時点までタッチ操作した指の動きがない。再生制御部27Aは、過去の映像における時刻tb0の時点と同一の位置情報および進行方向を含む時刻tVb0の映像を静止画として再生し、表示制御部28は、映像を透過型表示パネル14に表示させる。
【0101】
その後、搭乗者が時刻tb1の時点から時刻tb2の時点まで車両の進行方向に沿って第一方向とは反対方向にスワイプ操作を行う。再生制御部27Aは、時刻tVb0の時点から戻し方向再生を行い、時刻tb1の時点から時刻tb2の時点までの期間と同等の時間長の映像である時刻tVb0の時点から時刻tVb-1の時点までの映像を戻し方向に再生する。
【0102】
スワイプ操作が終了した時刻tb2の時点で、再生制御部27Aは、再生を終了し、表示制御部28は映像の表示を終了する。映像の表示が終了することで、透過型表示パネル14は透過状態となる。
【0103】
スワイプ操作が終了した時刻tb2の時点で操作部15から指が離れた後も、再生制御部27Aが、例えば1秒程度、戻し方向の再生を継続してから、表示制御部28は、映像の表示を終了させてもよい。
【0104】
スワイプ操作が終了した時刻tb2の時点では、表示制御部28は、時刻tVb-1の時点の映像を静止画として、例えば1秒程度表示させてから、映像の表示を終了させてもよい。
【0105】
時刻tb2の時点より後に、同一方向に再度のスワイプ操作が行われた場合、再生制御部27Aは、時刻tVb-1の時点からさらに戻し方向で再生を行ってもよい。
【0106】
上述したように、本実施形態では、操作部15の操作が開始された場合に、映像取得部21Aが取得した、操作部15の操作が開始されたときの車両の位置と同一の位置で過去に撮影された映像を透過型表示パネル14に表示させる。本実施形態では、操作部15の操作方向が車両の進行方向に沿った第一方向に操作された場合、映像を順方向で再生し、操作部15の操作方向が車両の進行方向に沿った第一方向とは反対方向に操作された場合、映像を戻し方向に再生する。本実施形態によれば、操作方向に応じて、映像を即時に戻し方向または順方向に再生することができる。本実施形態によれば、車両の搭乗者が、車両が走行している位置を含む周辺の過去の状態を即座に確認可能にすることができる。
【0107】
本実施形態では、カメラ11が撮影した映像を、位置情報とともに記録部12に記録する。本実施形態によれば、車両が走行している位置を含む周辺の過去の映像を容易に取得可能である。
【0108】
本実施形態では、操作部15の操作方向が車両の進行方向に沿って操作された場合の操作速度、または、操作部15の操作が開始されたときの車両の移動速度に基づき、映像を再生する速度を変化させる。本実施形態によれば、操作速度に応じて、映像の再生速度を直感的に変化させることができる。
【0109】
[第三実施形態]
図15を参照しながら、本実施形態に係る映像表示装置10について説明する。
図15は、第三実施形態に係る映像表示装置の構成例を示すブロック図である。映像表示装置10Bは、外部サーバに蓄積された、他車両で撮影された過去の映像を透過型表示パネル14に表示させる。映像表示装置10Bは、基本的な構成は第二実施形態の映像表示装置10Aと同様である。本実施形態では、通信部17Bを備える点と、映像取得部21Bにおける処理が第二実施形態と異なる。
【0110】
他車両に搭載された図示しないカメラで撮影された映像は、撮影時の時刻情報、位置情報、進行方向などを示す情報とともに、他車両の図示しない通信部を介して、図示しない外部サーバに蓄積されている。
【0111】
外部サーバは、複数の車両に搭載されたカメラによって撮影された映像を蓄積する。外部サーバは、各車両に搭載された映像表示装置10Bからの映像の取得要求に応じて、蓄積された映像を映像表示装置10Bへ送信する。より詳しくは、外部サーバは、車両の映像表示装置10Bから、映像の取得要求とともに、車両の現在位置と進行方向とを示す情報を受信する。外部サーバは、蓄積された他車両において過去に撮影された映像から、受信した車両の現在位置と同一の位置が含まれ、受信した車両の進行方向と同一の進行方向の映像を検出する。外部サーバは、複数の映像が検出された場合、例えば、直近の過去、または、所定期間前の過去などの所定の条件に応じて映像を選択する。そして、外部サーバは、検出した映像を映像表示装置10Bへ送信する。
【0112】
通信部17Bは、通信ユニットである。通信部17Bは、インターネットまたは携帯電話回線などいずれの方法で通信を行ってもよい。通信部17Bは、図示しない通信網を介して外部サーバとデータを通信可能に接続する。通信部17Bは、外部サーバから他車両において撮影された映像を受信する。
【0113】
映像取得部21Bは、他車両において撮影された映像を取得する。映像取得部21Bは、操作部15の操作が開始された場合に、通信部17Bによる通信を用いて、自車両の現在位置情報と進行方向を示す情報を映像の取得要求とともに外部サーバに送信する。映像取得部21Bは、外部サーバから、他車両において過去に撮影された、現在位置と同一の位置が含まれ、同一の進行方向の映像を取得する。
【0114】
再生制御部27Bは、外部サーバから、他通信部17Bが受信し映像取得部21Bが取得した映像を、操作部15の操作方向に合わせて再生する。本実施形態における制御装置20Bの処理は、
図12で示される第二実施形態における処理に対して、再生される映像を、操作開始地点と同一位置で他車両において過去に撮影された映像の再生に置き換えた処理である。また、
図13および
図14においては、操作開始地点と同一位置で他車両において撮影された過去の映像が表示映像となる。
【0115】
上述したように、本実施形態では、他の移動体において撮影された映像を用いて、車両が走行している位置を含む周辺の過去の状態を即座に確認可能にすることができる。
【0116】
[第四実施形態]
図16ないし
図20を参照しながら、本実施形態に係る映像表示装置10Bについて説明する。
図16は、自車両と他車両との相対的な位置関係を説明する図である。
図17は、第四実施形態における操作部における操作の一例を説明する概略図である。。
図18は、第四実施形態に係る制御装置における処理の流れの一例を示すフローチャートである。
図19は、第四実施形態における操作と表示映像との関係の一例を示す図である。
図20は、第四実施形態における操作と表示映像との関係の他の例を示す図である。
【0117】
本実施形態は、移動体の搭乗者が移動体の移動中に移動体の周囲を視認しているときに、移動体の移動によって通過した位置の現在の状態や、これから移動する予定の現在の状態を即座に確認することが困難であることを課題とする。本実施形態は、移動体の搭乗者が移動体の移動中に移動体の周囲を視認しているときに、移動体の移動によって通過した位置の現在の状態や、これから移動する予定の現在の状態を即座に確認可能にすることを目的とする。
【0118】
本実施形態では、映像表示装置10Bは、操作方向に応じて、車両の進行方向に存在する他車両が撮影している映像、または、車両の進行方向と反対方向に存在する他車両が撮影している映像を再生して、透過型表示パネル14に表示させる。映像表示装置10Bは、基本的な構成は第三実施形態の映像表示装置10Bと同様である。本実施形態では、映像取得部21Bと、再生制御部27Bとにおける処理が第三実施形態と異なる。
【0119】
外部サーバは、複数の車両に搭載されたカメラによって撮影された映像を取得する。外部サーバは、各車両に搭載された映像表示装置10Bからの映像の取得要求に応じて、取得した映像を映像表示装置10Bへ送信する。より詳しくは、外部サーバは、車両の映像表示装置10Bから、映像の取得要求とともに、車両の現在位置と進行方向とを示す情報を受信する。外部サーバは、蓄積された他車両において撮影された映像から、受信した現在位置から所定範囲内で、同一道路を走行している他車両で、映像を送信可能な他車両を検出する。そして、外部サーバは、検出した他車両からの映像を検出する。そして、外部サーバは、検出した映像を映像表示装置10Bへ送信する。
【0120】
映像取得部21Bは、操作部15の操作が行われた場合に、車両の進行方向または進行方向とは反対方向に存在する他車両が撮影している映像を取得可能な状態としてもよい。
【0121】
映像取得部21Bは、車両の周囲を走行している他車両から、他車両の周囲を撮影した、位置情報を含む映像を取得する。映像取得部21Bは、通信部17Bによる無線通信を用いて外部サーバと通信を行い、他車両が撮影している映像を取得する。映像取得部21Bは、操作部15の操作が開始された場合に、車両の周囲を走行している他車両が撮影している映像の取得を開始する。
【0122】
映像取得部21Bは、操作部15の操作回数に応じて、車両との距離が離れた他車両からの映像を取得してもよい。映像取得部21Bは、例えば、操作部15が1回操作されるごとに、1台ずつ離れた他車両で撮影された映像を取得してもよい。
【0123】
映像取得部21Bは、操作部15の操作量または操作速度が大きいほど、車両との距離が離れた他車両からの映像を取得してもよい。映像取得部21Bは、例えば、スワイプ操作の単位時間当たりの操作量、言い換えると操作速度に基づき、自車両との距離が離れた他車両から映像を取得して再生してもよい。映像取得部21Bは、例えば、100mm/sec未満の操作速度の場合、直近の他車両、または100m以内に存在する他車両から映像を取得して再生する。映像取得部21Bは、例えば、100mm/sec以上の操作速度の場合、直近から2番目の他車両、または100m以上200m以内に存在する他車両から映像を取得して再生する。
【0124】
映像取得部21Bは、操作部15の操作が開始されたときの車両の走行速度が速いほど、車両との距離が離れた他車両から映像を取得してもよい。映像取得部21Bは、例えば、操作部15の操作が開始された時点における車両の走行速度が0km/h以上20km/h以下の場合、直近の他車両、または100m以内に存在する他車両から映像を取得する。映像取得部21Bは、例えば、操作部15の操作が開始された時点における車両の走行速度が20km/h以上60km/h以下の場合、直近から2番目の他車両、または100m以上200m以内に存在する他車両から映像を取得する。映像取得部21Bは、操作部15の操作が開始された時点における車両の走行速度が60km/h以上の場合、直近から3番目の他車両、または200m以上500m以内に存在する他車両から映像を取得する。
【0125】
再生制御部27Bは、操作部15の操作方向が車両の進行方向に沿った第一方向に操作された場合、車両の進行方向に存在する他車両が撮影している映像を再生し、操作部15の操作方向が車両の進行方向に沿った第一方向とは反対方向に操作された場合、車両の進行方向と反対方向に存在する他車両が撮影している映像を再生する。
【0126】
再生制御部27Bは、操作部15の操作方向に応じて、車両の前方他車両から取得した映像、または、後方他車両から取得した映像を再生する。前方他車両から取得した映像の再生は、これから走行する予定の場所の映像の再生である。後方他車両から取得した映像の再生は、通過してきた場所の車両の通過後の映像の再生である。
【0127】
例えば、いわゆるシークバーのように前方から後方へ操作した場合、前方他車両から取得した映像を再生し、後方から前方へ操作した場合、後方他車両から取得した映像を再生する。
【0128】
例えば、スマートフォンの画面のように前方から後方へ、言い換えると、第一方向へスワイプ操作を行った場合、前方他車両から取得した映像を再生し、後方から前方へ、言い換えると、第一方向と反対方向へスワイプ操作を行った場合、後方他車両から取得した映像を再生する。
【0129】
図17は一例として、右リヤドアガラス104を示す。例えば、搭乗者がいわゆるシークバーのように、操作開始点P11から、第一方向である矢印A1の方向に沿ってスワイプ操作する。例えば、搭乗者がいわゆるシークバーのように、操作開始点P12から、第一方向と反対方向である第二方向である矢印A2の方向に沿ってスワイプ操作する。
【0130】
再生制御部27Bは、同一方向に再度のスワイプ操作が行われた場合、時刻tVc0の時点から時刻tVc1の時点までの期間で再生した他車両より自車両との距離が離れた他車両から映像を取得して再生する。再生制御部27Bは、例えば、1回目のスワイプ操作で、他車両Vaが撮影している映像を再生し、2回目のスワイプ操作で、他車両Vbが撮影している映像を再生する。他車両Va、他車両Vbは、いずれも自車両Vと同一道路を同一方向に向かって走行している。映像の取得を可能とする他車両との距離は、制限されてもよい。例えば、自車両から1km以内の他車両とする。
【0131】
再生制御部27Bは、操作部15の操作量または操作速度が大きいほど、車両との距離が離れた他車両からの映像を再生してもよい。再生制御部27Bは、例えば、スワイプ操作の単位時間当たりの操作量、言い換えると操作速度に基づき、自車両との距離が離れた他車両から映像を生してもよい。再生制御部27Bは、例えば、100mm/sec未満の操作速度の場合、直近の他車両、または100m以内に存在する他車両から映像を再生する。再生制御部27Bは、例えば、100mm/sec以上の操作速度の場合、直近から2番目の他車両、または100m以上200m以内に存在する他車両から映像を再生する。
【0132】
再生制御部27Bは、車速情報取得部26が取得した車速情報から、操作部15の操作が開始されたときの車両の走行速度に応じて、自車両との距離が離れた他車両から映像を取得して再生する。再生制御部27Bは、例えば、操作部15の操作が開始された時点における車両の走行速度が0km/h以上20km/h以下の場合、、直近の他車両、または100m以内に存在する他車両から映像を再生する。再生制御部27Bは、例えば、操作部15の操作が開始された時点における車両の走行速度が20km/h以上60km/h以下の場合、直近から2番目の他車両、または100m以上200m以内に存在する他車両から映像を再生する。再生制御部27Bは、例えば、操作部15の操作が開始された時点における車両の走行速度が60km/h以上の場合、直近から3番目の他車両、または200m以上500m以内に存在する他車両から映像を再生する。
【0133】
次に、
図18を用いて、制御装置20における処理の流れについて説明する。ステップS121、ステップS123、ステップS124、ステップS127ないしステップS129の処理は、
図12に示すフローチャートのステップS111、ステップS113、ステップS114、ステップS117ないしステップS119と同様の処理を行う。
【0134】
操作が開始されたと判定する場合(ステップS121でYes)、制御装置20Bは、外部サーバに、周囲を走行している他車両が撮影している映像の取得を要求する(ステップS122)。より詳しくは、制御装置20Bは、映像取得部21Bによって、外部サーバに対して、車両の周囲を走行している他車両の周囲を撮影した、位置情報を含む映像を取得可能な状態とする。制御装置20Bは、ステップS123へ進む。
【0135】
操作方向が第一方向であると判定する場合(ステップS124でYes)、進行方向に存在する他車両が撮影している映像を取得し、映像の再生を開始する(ステップS125)。より詳しくは、制御装置20Bは、映像取得部21Bによって、進行方向に存在する他車両が撮影している映像を取得する。制御装置20Bは、特定部24によって、進行方向に存在する他車両が撮影している映像から、予め決められた範囲を、透過型表示パネル14に表示させる範囲として特定する。制御装置20Bは、再生制御部27Bによって、映像取得部21Bによって取得した、進行方向に存在する他車両が撮影している映像を再生する。制御装置20Bは、表示制御部28によって、再生制御部27Bからの制御信号に基づいて、映像を透過型表示パネル14に表示させる。制御装置20Bは、ステップS127へ進む。
【0136】
操作方向が第一方向であると判定しない場合(ステップS124でNo)、進行方向の反対方向に存在する他車両が撮影している映像を取得し、映像の再生を開始する(ステップS126)。より詳しくは、制御装置20Bは、映像取得部21Bによって、進行方向の反対方向に存在する他車両が撮影している映像を取得する。制御装置20Bは、特定部24によって、進行方向の反対方向に存在する他車両が撮影している映像から、予め決められた範囲を、透過型表示パネル14に表示させる範囲として特定する。制御装置20Bは、再生制御部27Bによって、映像取得部21Bによって取得した、進行方向の反対方向に存在する他車両が撮影している映像を再生する。制御装置20Bは、表示制御部28によって、再生制御部27Bからの制御信号に基づいて、映像を透過型表示パネル14に表示させる。制御装置20Bは、ステップS127へ進む。
【0137】
図19、
図20は、車両の操作部15の操作を行ったときの処理例を図示したものである。映像取得部21Bは、タッチ操作が検出された時刻tc0の時点で、外部サーバに、車両の周囲において、同一の道路を同一方向に走行している他車両からの映像の取得要求を行う。
図19、
図20に示す例では、搭乗者は、時刻tc0の時点でタッチ操作を開始し時刻tc1の時点までタッチ操作した指の動きがない。再生制御部27Bは、時刻tc0の時点では、取得要求した映像の選択および再生を行わない。
【0138】
図19に示す例では、搭乗者は、時刻tc1の時点から時刻tc2の時点までの期間で、車両の進行方向である第一方向にスワイプ操作を行う。再生制御部27Bは、進行方向に存在する他車両から取得した映像を選択し、時刻tc1の時点から順方向再生を行い、時刻tc1の時点から時刻tc2の時点までの期間と同等の時間長の映像である時刻tVc0の時点から時刻tVc1の時点までの映像を再生する。
【0139】
図20に示す例では、搭乗者は、時刻tc1の時点から時刻tc2の時点までの期間で、車両の進行方向である第一方向と反対方向にスワイプ操作を行う。再生制御部27Bは、進行方向の反対方向に存在する他車両から取得した映像を選択し、時刻tc1の時点から順方向再生を行い、時刻tc1の時点から時刻tc2の時点までの期間と同等の時間長の映像である時刻tVc0の時点から時刻tVc1の時点までの映像を再生する。
【0140】
図19、
図20に示す例では、スワイプ操作が終了した時刻tc2の時点で、表示制御部28は、映像の表示を終了する。映像の表示が終了することで、透過型表示パネル14は透過状態となる。
【0141】
図19、
図20に示す例では、スワイプ操作が終了した時刻tc2の時点で操作部15から指が離れた後も、再生制御部27Bは、例えば1秒程度は他車両から取得した映像の再生が継続してから、表示制御部28は、映像の表示を終了させてもよい。
【0142】
図19、
図20に示す例では、スワイプ操作が終了した時刻tc2の時点では、表示制御部28は、時刻tVc1の時点の映像を静止画として、例えば1秒程度表示させてから、映像の表示を終了させてもよい。
【0143】
上述したように、本実施形態では、操作部15の操作方向が車両の進行方向に沿った第一方向に操作された場合、車両の進行方向に存在する他車両が撮影している映像を再生し、操作部15の操作方向が車両の進行方向に沿った第一方向とは反対方向に操作された場合、車両の進行方向と反対方向に存在する他車両が撮影している映像を再生する。本実施形態によれば、車両の搭乗者が車両の走行中に車両の周囲を視認しているときに、車両の走行によって通過した位置の現在の状態や、これから走行する予定の現在の状態を即座に確認可能にすることができる。
【0144】
本実施形態は、操作部15の操作回数に応じて、車両との距離が離れた他車両からの映像を取得することができる。
【0145】
本実施形態は、操作部15の操作量または操作速度が大きいほど、車両との距離が離れた他車両からの映像を取得することができる。
【0146】
本実施形態は、操作部15の操作が開始されたときの車両の移動速度が速いほど、車両との距離が離れた他車両から映像を取得することができる。
【0147】
本開示に係る映像表示装置10は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。
【0148】
図示した映像表示装置10の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
【0149】
映像表示装置10の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
【0150】
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
【0151】
<変形例>
上記では、操作部15に対するタッチ操作、スワイプ操作、及び、フリック操作について説明したが、これに限定されない。例えば、透過型表示パネル14に近接した手の動きを車室内カメラ(例えば、各透過型表示パネルの上方に設置)撮影し、手の軌跡で操作を行ってもよい。この場合、手を透過型表示パネル14に近接させ(操作開始)、車両の進行方向とは反対側に手を移動させる操作に適用してもよい。または、スマートリングのような指輪型デバイスを用いたジェスチャー操作に適用してもよい。
【0152】
第四実施形態においては、映像の取得は、対象となる他車両、外部サーバ、または、自車両のストリーミングが適切であり、自車両において他車両映像の記録は行わない。
【符号の説明】
【0153】
10 映像表示装置
11 カメラ
12 記録部
13 IF部
14 透過型表示パネル
15 操作部
16A GNSS受信部
20 制御装置(映像表示制御装置)
21 映像取得部
22 記録制御部
24 特定部
25 操作制御部
26 車速情報取得部
27 再生制御部
28 表示制御部
29A 位置情報取得部
101 フロントガラス
102 右フロントドアガラス
103 左フロントドアガラス
104 右リヤドアガラス
105 左リヤドアガラス
106 リヤガラス
200 画角
201 視認範囲
202 特定範囲