(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139885
(43)【公開日】2024-10-10
(54)【発明の名称】映像生成装置、撮像装置および映像生成方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20241003BHJP
H04N 23/60 20230101ALI20241003BHJP
H04N 23/61 20230101ALI20241003BHJP
H04N 5/91 20060101ALI20241003BHJP
G07C 5/02 20060101ALI20241003BHJP
G03B 15/00 20210101ALI20241003BHJP
【FI】
H04N7/18 F
H04N7/18 G
H04N7/18 U
H04N23/60 500
H04N23/61
H04N5/91
G07C5/02
G03B15/00 V
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023050822
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】渡辺 廉
【テーマコード(参考)】
3E138
5C054
5C122
【Fターム(参考)】
3E138AA07
3E138MA01
3E138MB08
3E138MC14
3E138MD05
3E138MF05
5C054CA04
5C054CC02
5C054CE00
5C054DA07
5C054EA01
5C054EA07
5C054FC12
5C054GB02
5C054HA26
5C054HA31
5C122DA03
5C122DA14
5C122FH11
5C122FH14
5C122GA21
5C122GC14
5C122GC52
5C122GC77
5C122HB01
(57)【要約】
【課題】複数の撮像装置が撮像した画像どうしを滑らかにつなぎ合わせる。
【解決手段】映像生成装置は、複数の車両に各々搭載されている複数の撮像装置から映像を動画データとして取得する動画取得部と、複数の撮像装置から複数の撮像装置の各々における現在の位置情報を取得する位置情報取得部と、追跡対象を特定する情報を外部装置から取得する対象取得部と、動画データと位置情報とから追跡対象を任意の方向から撮像している撮像装置を搭載している車両の近くに位置する他の車両に搭載されている撮像装置の視野の情報を取得する視野取得部と、視野取得部が取得した視野の情報に基づいて追跡対象を追跡する次の車両を決定する対象決定部と、追跡対象を任意の方向から撮影している撮像装置から取得した動画データと、次の車両に搭載されている撮像装置から取得した動画データとをつなぎ合わせ追跡対象を撮像した映像を生成する映像生成部とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数の車両に各々搭載されている複数の撮像装置から、前記撮像装置が撮像した映像を動画データとして取得する動画取得部と、
前記複数の撮像装置から、前記複数の撮像装置の各々における現在の位置情報を取得する位置情報取得部と、
追跡対象を特定する情報を外部装置から取得する対象取得部と、
前記動画データと、前記位置情報とから、前記追跡対象を任意の方向から撮像している撮像装置を搭載している車両の近くに位置する他の車両に搭載されている撮像装置の視野の情報を取得する視野取得部と、
前記視野取得部が取得した視野の情報に基づいて、前記追跡対象を追跡する次の車両を決定する対象決定部と、
前記追跡対象を任意の方向から撮影している撮像装置から取得した動画データと、前記次の車両に搭載されている撮像装置から取得した動画データとをつなぎ合わせ、前記追跡対象を撮像した映像を生成する映像生成部と
を備える映像生成装置。
【請求項2】
前記対象決定部は、前記他の車両に搭載されている撮像装置の視野における前記追跡対象の特徴を示す形状と、前記現在の車両に搭載されている撮像装置の動画データにおける前記追跡対象の特徴を示す形状との間の、形状の相似性に基づいて、前記他の車両を、前記追跡対象を追跡する車両として決定する請求項1に記載の映像生成装置。
【請求項3】
車両に搭載される撮像装置であって、
車両周囲を撮像する車載カメラが出力する映像データから動画データを生成する動画データ生成部と、
追跡対象を特定する情報を外部装置から取得する対象取得部と、
前記動画データに含まれる前記追跡対象を認識する画像認識部と、
前記画像認識部が前記動画データに前記追跡対象の任意の方向の画像が含まれていると判定した場合に、視野の情報を生成する視野生成部と、
を備える撮像装置。
【請求項4】
前記車両の近くに位置する他の車両に搭載されている撮像装置の情報を取得する他車両情報取得部と、
前記他の車両に搭載されている撮像装置の視野の情報を取得する視野取得部と、
前記視野取得部が取得した他車両に搭載されている撮像装置の視野の情報に基づいて、前記追跡対象を追跡する他の車両を決定する対象決定部、
をさらに備える請求項3に記載の撮像装置。
【請求項5】
複数の車両に各々搭載されている複数の撮像装置から、前記撮像装置が撮像した映像を動画データとして取得する動画取得ステップと、
前記複数の撮像装置から、前記複数の撮像装置の各々における現在の位置情報を取得する位置情報取得ステップと、
追跡対象を特定する情報を外部装置から取得する対象取得ステップと、
前記動画データと、前記位置情報とから、前記追跡対象を任意の方向から撮像している撮像装置を搭載している車両の近くに位置する他の車両に搭載されている撮像装置の視野の情報を取得する視野取得ステップと、
前記視野取得ステップにおいて取得された視野の情報に基づいて、前記追跡対象を追跡する次の車両を決定する対象決定ステップと、
前記追跡対象を任意の方向から撮影している撮像装置から取得した動画データと、前記次の車両に搭載されている撮像装置から取得した動画データとをつなぎ合わせ、前記追跡対象を撮像した映像を生成する映像生成ステップと
を備える映像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像生成装置、撮像装置および映像生成方法に関する。
【背景技術】
【0002】
従来、車両に搭載されたドライブレコーダによって、その周囲を走行する他車両の画像を収集するとともに、複数のドライブレコーダが撮像した画像どうしをつなぎ合わせる技術が開示されている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述したような従来の技術では、複数のドライブレコーダが撮像した画像どうしを滑らかにつなぎ合わせることができないという課題があった。
【0005】
本発明は、このような状況に鑑みてなされたものであって、複数のドライブレコーダが撮像した画像どうしを滑らかにつなぎ合わせることができる映像生成装置、撮像装置および映像生成方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
[1]本発明の一態様は、複数の車両に各々搭載されている複数の撮像装置から、前記撮像装置が撮像した映像を動画データとして取得する動画取得部と、前記複数の撮像装置から、前記複数の撮像装置の各々における現在の位置情報を取得する位置情報取得部と、追跡対象を特定する情報を外部装置から取得する対象取得部と、前記動画データと、前記位置情報とから、前記追跡対象を任意の方向から撮像している撮像装置を搭載している車両の近くに位置する他の車両に搭載されている撮像装置の視野の情報を取得する視野取得部と、前記視野取得部が取得した視野の情報に基づいて、前記追跡対象を追跡する次の車両を決定する対象決定部と、前記追跡対象を任意の方向から撮影している撮像装置から取得した動画データと、前記次の車両に搭載されている撮像装置から取得した動画データとをつなぎ合わせ、前記追跡対象を撮像した映像を生成する映像生成部とを備える映像生成装置である。
【0007】
[2]本発明の一態様は、車両に搭載される撮像装置であって、車両周囲を撮像する車載カメラが出力する映像データから動画データを生成する動画データ生成部と、追跡対象を特定する情報を外部装置から取得する対象取得部と、前記動画データに含まれる前記追跡対象を認識する画像認識部と、前記画像認識部が前記動画データに前記追跡対象の任意の方向の画像が含まれていると判定した場合に、視野の情報を生成する視野生成部と、を備える撮像装置である。
【0008】
[3]本発明の一態様は、複数の車両に各々搭載されている複数の撮像装置から、前記撮像装置が撮像した映像を動画データとして取得する動画取得ステップと、前記複数の撮像装置から、前記複数の撮像装置の各々における現在の位置情報を取得する位置情報取得ステップと、追跡対象を特定する情報を外部装置から取得する対象取得ステップと、前記動画データと、前記位置情報とから、前記追跡対象を任意の方向から撮像している撮像装置を搭載している車両の近くに位置する他の車両に搭載されている撮像装置の視野の情報を取得する視野取得ステップと、前記視野取得ステップにおいて取得された視野の情報に基づいて、前記追跡対象を追跡する次の車両を決定する対象決定ステップと、前記追跡対象を任意の方向から撮影している撮像装置から取得した動画データと、前記次の車両に搭載されている撮像装置から取得した動画データとをつなぎ合わせ、前記追跡対象を撮像した映像を生成する映像生成ステップとを備える映像生成方法である。
【発明の効果】
【0009】
本発明によれば、複数の撮像装置が撮像した画像どうしを滑らかにつなぎ合わせることができる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態の映像生成システムの装置構成の一例を示す図である。
【
図2】本実施形態の映像生成システムの機能構成の一例を示す図である。
【
図3】本実施形態の映像生成システムの機能構成の他の一例を示す図である。
【
図4】本実施形態の映像生成システムの動作の流れの一例を示す図である。
【
図5】対象車両の追跡の第1段階の様子の一例を示す図である。
【
図6】対象車両の追跡の第2段階の様子の一例を示す図である。
【
図7】本実施形態の第1の撮像車両が撮像した第1の視野画像の一例を示す図である。
【
図8】本実施形態の第2の撮像車両が撮像した第2の視野画像の一例を示す図である。
【
図9】本実施形態の映像生成システムの動作の流れの他の一例を示す図である。
【
図10】本実施形態の映像生成システムの動作の流れの変形例を示す図である。
【
図11】本実施形態のドライブレコーダの機能構成の一例を示す図である。
【
図12】本実施形態の映像生成システムの動作の流れの一例を示す図である。
【
図13】本実施形態の撮像車両の配置の一例を示す図である。
【
図14】本実施形態のドライブレコーダ間の通信の一例を示す図である。
【発明を実施するための形態】
【0011】
本発明の態様に係る映像生成システムについて、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「XXに基づいて」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づいて」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。
【0012】
[映像生成システム1の構成]
図1は、本実施形態の映像生成システム1の装置構成の一例を示す図である。映像生成システム1は、映像生成装置10と、複数のドライブレコーダ20(例えば、ドライブレコーダ20-1~ドライブレコーダ20-n;nは自然数)とを備える。
ドライブレコーダ20は、車両(例えば、自動車)に備えられる撮像装置である。ドライブレコーダ20は、車両の周囲の映像を記録する。以下の説明において、ドライブレコーダ20を備える車両のことを撮像車両Cともいう。
映像生成装置10は、複数のドライブレコーダ20が撮像した映像をそれぞれ取得する。映像生成装置10は、個別のドライブレコーダ20からそれぞれ取得した映像をつなぎ合わせることによって映像を生成する。以下の説明において、映像生成装置10がつなぎ合わせた映像のことを、つなぎ合わせ映像ともいう。
【0013】
図2は、本実施形態の映像生成システム1の機能構成の一例を示す図である。映像生成装置10およびドライブレコーダ20は、いずれもコンピュータ装置を備えており、コンピュータの演算によって機能を提供する。
【0014】
ドライブレコーダ20には、外部装置90から直接的または映像生成装置10を介して間接的に追跡対象の情報が提供される。追跡対象とは、例えば、特定の車両や人、動物など、移動する物体である。外部装置90は、複数の追跡対象の情報を提供してもよい。外部装置90とは、例えば、警察や消防などの公的組織や、探偵企業などの民間組織などが運用するコンピュータ装置である。本実施形態の一例の場合、警察の捜索対象となっている車両が追跡対象である。なお、例えば、捜索届が提出されている人物や、捜し猫・犬などの動物などが、追跡対象になることもありうる。以下の説明において、本実施形態で追跡対象となっている車両のことを、対象車両CTともいう。
【0015】
外部装置90には対象車両CTの外観の特徴量を示す情報が記憶されている。対象車両CTの外観の特徴量とは、例えば、ナンバープレートの文字や数字、車種や年式によって定まる外観形状、車体の塗装色、市販状態からの改造の有無、などである。
なお、追跡対象が人物である場合には、外観の特徴量とは、性別、身長、年齢、髪型、顔の特徴、着用している服の色や形状、歩き方の特徴、杖や車いすの利用有無、などであってもよい。また、追跡対象が動物である場合には、種類、大きさ、色、平均的な移動速度、などであってもよい。
【0016】
ドライブレコーダ20は、外部装置90から追跡対象を示す情報が提供されると、当該追跡対象の映像を撮像できた場合には、その追跡対象の映像を映像生成装置10に提供する。ただしドライブレコーダ20は、追跡対象が含まれない映像を映像生成装置10に提供する場合もある。
ここで、撮像車両Cの車載カメラが、対象車両CTを撮像している場合には、当該撮像車両Cの動画データを分析することにより、対象車両CTの位置や移動軌跡を特定することができる。
なお、以下の説明において、撮像車両Cの車載カメラの画角のことを「撮像車両Cの視野」ともいう。また、追跡対象を示す情報のことを「追跡対象情報」または単に「追跡対象」ともいう。
【0017】
一例として、撮像車両Cが警察車両であって、対象車両CTの追跡を任務として行っている場合がある。この場合には、撮像車両Cが対象車両CTを追跡し続けることにより、撮像車両Cの視野には、対象車両CTを撮像し続けることも可能である。
一方、撮像車両Cが、対象車両CTを追跡し続けることができない場合がある。例えば、撮像車両Cが民間(例えば、一般市民)の所有車であって、対象車両CTの追跡を任務としていない場合がある。この場合には、撮像車両Cの視野に対象車両CTが収まることは偶然である(あるいは必然性が低い)。この場合には、撮像車両Cの視野には、対象車両CTを撮像し続けることができない。
【0018】
このように撮像車両Cの視野に対象車両CTを撮像できなくなった場合でも、他の撮像車両Cは対象車両CTを撮像できる場合がある。例えば、第1の撮像車両C1と、第2の撮像車両C2とが前後に連なって走行している場合(つまり、第1の撮像車両C1が先行車で、第2の撮像車両C2が後続車である場合)がある。対象車両CTを撮像できている第1の撮像車両C1が右左折するなどして進行方向を変えると、対象車両CTが視野から消える。この場合、第1の撮像車両C1の後続車である第1の撮像車両C2が進行方向を変えずに直進していれば、第2の撮像車両C2は対象車両CTが撮像できることになる。
【0019】
そこで、本実施形態の映像生成システム1は、第1の撮像車両C1が対象車両CTを撮像できなくなったことを検出して、対象車両CTを撮像できる新たな第2の撮像車両C(例えば、上述の第2の撮像車両C2)を探索し、これら2つの撮像車両Cが提供する映像をつなぎ合わせる。このように構成された映像生成システム1によれば、対象車両CTの位置や移動軌跡をより長時間とらえることができる。
【0020】
映像生成システム1は、対象車両CTを任意の方向から追跡する新たな撮像車両Cの探索機能を、映像生成装置10に持たせてもよいし、ドライブレコーダ20に持たせてもよい。そこで、(1)映像生成装置10が新たな撮像車両Cを探索する場合と、(2)ドライブレコーダ20が新たな撮像車両Cを探索する場合とに分けて説明する。
【0021】
< (1)映像生成装置10が新たな撮像車両Cを探索する場合 >
本実施形態の場合において、映像生成システム1は、対象車両CTを認識する機能を、映像生成装置10に持たせてもよいし、ドライブレコーダ20に持たせてもよい。そこで、さらに場合分けをして、(1-1)ドライブレコーダ20が対象車両CTを認識する場合と、(1-2)映像生成装置10が対象車両CTを認識する場合とに分けて説明する。
【0022】
(1-1)ドライブレコーダ20が対象車両CTを認識する場合:
ドライブレコーダ20は、撮像した動画データのなかに対象車両CTの画像が含まれている場合に、映像生成装置10に対して動画データを送信する。映像生成装置10は、ドライブレコーダ20から受信した動画データに、対象車両CTの画像が含まれていることを前提にして、画像をつなぎ合わせる。
【0023】
映像生成装置10は、動画取得部110と、位置情報取得部120と、視野取得部130と、対象取得部140と、対象決定部150と、記憶部160と、映像生成部170とを、その機能部として備える。
ドライブレコーダ20は、車両(撮像車両C)に搭載され、車両の周囲の映像を記録する。ドライブレコーダ20は、対象取得部210と、動画データ生成部220と、位置情報記録部230と、画像認識部240と、視野生成部250と、送信部260と、記憶部270とを、その機能部として備える。
映像生成システム1において、映像生成装置10の対象取得部140とドライブレコーダ20の対象取得部210とは、少なくともどちらか一方のみを備えていればよい。
【0024】
[追跡対象の取得]
映像生成システム1において、外部装置90から提供される追跡対象(例えば、対象車両CTの情報)が、映像生成装置10に提供される構成の場合と、ドライブレコーダ20に提供される構成の場合とがある。
【0025】
対象車両CTの情報が映像生成装置10に提供される構成の場合、映像生成装置10の対象取得部140は、追跡対象(対象車両CTの情報)を特定する情報を外部装置90から取得する。
映像生成装置10の対象取得部140は、追跡対象(対象車両CTの情報)を特定する情報を外部装置90から取得する。映像生成装置10は、取得した追跡対象(対象車両CTの情報)をドライブレコーダ20に送信する。この場合、ドライブレコーダ20は、外部装置90が提供する対象車両CTの情報を、映像生成装置10を介して間接的に取得するともいえる。
【0026】
対象車両CTの情報がドライブレコーダ20に提供される場合の機能構成を
図3に示す。
図3は、本実施形態の映像生成システム1の機能構成の他の一例を示す図である。この場合、ドライブレコーダ20の対象取得部210は、追跡対象(対象車両CTの情報)を特定する情報を外部装置90から取得する。この場合、ドライブレコーダ20は、外部装置90が提供する対象車両CTの情報を、映像生成装置10を介さずに直接的に取得するともいえる。
【0027】
[ドライブレコーダの機能]
図2に戻り、ドライブレコーダ20の動画データ生成部220は、車両周囲を撮像する車載カメラ(不図示)が撮像した映像データを取得する。動画データ生成部320は、取得した映像データに基づいて、複数のフレームからなる動画データを生成する。動画データ生成部220は、生成した動画データに撮像時刻を示す時刻情報(例えば、タイムスタンプ)を付す。
位置情報記録部230は、GPS(Global Positioning System)など既知の手段によって、ドライブレコーダ20自身の位置(つまり、撮像車両Cの位置)を取得する。位置情報記録部230は、取得したドライブレコーダ20自身の位置を、動画データ生成部220が生成した動画データに紐づけて記録する。
【0028】
画像認識部240は、対象取得部310が取得した対象車両CTの情報と、動画データ生成部320が生成した動画データとに基づき、動画データに含まれる対象車両CT(追跡対象)を認識する。一例として、画像認識部240は、パターンマッチングや機械学習による既知の画像認識手段によって、動画データに対象車両CTの特徴量が含まれているか否かを判定することにより、動画データに含まれる対象車両CTを認識する。また、画像認識部240は、動画データの中に対象車両CTの任意の方向の画像が含まれているか否かを判定する。
【0029】
視野生成部250は、撮像車両Cの車載カメラの視野の情報を生成する。例えば視野生成部250は、撮像車両Cの車載カメラの視野の画像を視野画像Pとして生成し、視野画像Pを視野の画像とする。つまり、視野画像Pとは、撮像車両Cの車載カメラが撮像した画像である。視野生成部250は、画像認識部240の追跡対象の認識結果に基づいて視野画像Pに含まれる対象車両CTの特徴量の情報を、視野の情報として生成してもよい。
撮像車両Cと、対象車両CTとの相対的な位置関係によって、視野画像Pに、対象車両CTの画像が含まれている場合と、対象車両CTの画像が含まれていない場合とがある。例えば、対象車両CTの直後を撮像車両Cが走行している場合には、視野画像Pに対象車両CTの画像が含まれる場合がある。また、撮像車両Cの走行ルートが、対象車両CTの走行ルートから外れた場合には、視野画像Pに対象車両CTの画像が含まれていない場合がある。
【0030】
送信部260は、視野生成部250が生成した視野画像Pや、位置情報記録部230が取得した位置情報を、映像生成装置10に対して送信する。ここで、送信部260が送信する位置情報は、視野画像Pのもとになる動画データが撮像された位置を示す情報であってもよく、撮像車両Cの現在位置を示す情報であってもよい。つまり、送信部260は、対象車両CTを認識している状態と、対象車両CTを認識していない状態とのいずれであっても、現在位置を映像生成装置10に送信することができる。
【0031】
記憶部270は、半導体メモリなどの記憶素子を備えており、各種情報を記憶する。例えば、記憶部270は、動画データ生成部220が生成した動画データや、画像認識部240が対象車両CTを認識したあとの動画データなどが記憶される。以下の説明において、これら2種類の動画データを総称して、単に動画データともいう。記憶部270に記憶された動画データは、映像生成装置10の要求に基づいて映像生成装置10に提供されることもできる。
【0032】
[映像生成装置の機能]
映像生成装置10の動画取得部110は、複数のドライブレコーダ20から、ドライブレコーダ20が撮像した映像を動画データとして取得する。
位置情報取得部120は、複数のドライブレコーダ20から、ドライブレコーダ20自身の現在の位置情報を取得する。
視野取得部130は、ドライブレコーダ20から送信される動画データと位置情報とに基づいて、対象車両CT(追跡対象)を任意の方向から追跡している撮像車両C(例えば、第1の撮像車両C1)の近くに位置する他の撮像車両C(例えば、第2の撮像車両C2)の視野生成部250が生成した視野画像Pを取得する。本実施形態において、任意の方向とは対象車両CTの後方とする。つまり追跡している撮像車両Cと対象車両CTとは進行方向が同じであり、撮像車両Cは対象車両CTの車両後方を撮像するが、これに限定されない。任意の方向は対象車両CTの前方でもよい。この場合、追跡している撮像車両Cと対象車両CTとは進行方向が異なり、撮像車両Cは対象車両CTの車両前方を撮像する。さらに任意の方向は対象車両CTの左右どちらかの側方でもよい。
【0033】
対象決定部150は、視野取得部130が取得した視野画像Pに基づいて、対象車両CT(追跡対象)を任意の方向から追跡する次の車両を決定する。
記憶部160は、半導体メモリなどの記憶素子を備えており、各種情報を記憶する。例えば、記憶部160は、動画取得部110が取得した動画データや、位置情報取得部120が取得した位置情報を記憶する。
映像生成部170は、現在の車両(例えば、第1の撮像車両C1)の動画データと、次の車両(例えば、第2の撮像車両C2)の動画データとをつなぎ合わせ、追跡対象(対象車両CT)を任意の方向から撮像した映像を生成する。
次に、映像生成システム1の動作の流れについて説明する。
【0034】
[映像生成システム1の動作の流れ]
図4は、本実施形態の映像生成システム1の動作の流れの一例を示す図である。
(ステップS910)外部装置90は、追跡対象を特定する。例えば、外部装置90は、キーボードやマウスなどの操作デバイス(いずれも不図示)を備えており、操作者(例えば、警察の担当官)が追跡対象を指定する操作を受け付ける。外部装置90は、指定された追跡対象を、映像生成装置10に提供すべき追跡対象であると特定する。また、外部装置90は、既知のアルゴリズムによって、操作者の操作によらずに追跡対象を特定してもよい。
本実施形態の一例では、外部装置90は、複数の候補車両のなかから、対象車両CTを追跡対象として特定する。外部装置90は、特定した追跡対象の情報(対象車両CTについての追跡対象情報)を映像生成装置10に対して送信する。
【0035】
(ステップS111)映像生成装置10の対象取得部140は、外部装置90から追跡対象情報を取得する。この追跡対象情報には、対象車両CTの外観の特徴量を示す情報が含まれている。
(ステップS112)対象取得部140は、取得した追跡対象情報をドライブレコーダ20に送信する。つまり、対象取得部140は、ドライブレコーダ20に対象車両CTの特徴量を送信する。
【0036】
(ステップS211)ドライブレコーダ20の対象取得部210は、映像生成装置10から送信された追跡対象情報を受信する。つまり、対象取得部210は、映像生成装置10から対象車両CTの特徴量を受信する。
【0037】
(ステップS212)ドライブレコーダ20は、動作中において車載カメラ(不図示)を常に動作させて周囲の状況を撮像している。車載カメラは、撮像した映像データを動画データ生成部220に出力する。動画データ生成部220は、車載カメラが撮像した映像データから動画データを生成する。
【0038】
上述したように、動画データ生成部220は、生成した動画データに撮像時刻を示す時刻情報(例えば、タイムスタンプ)を付す。また、位置情報記録部230は、生成された動画データに、ドライブレコーダ20自身の位置(つまり、撮像車両Cの位置)を示す位置情報を紐づける。この結果、動画データには、撮像車両Cの視野画像Pと、当該画像が撮像された位置を示す位置情報とが、当該画像が撮像された時刻を示す時刻情報と、互いに紐づけられる。
以下の説明において、これら撮像車両Cの視野画像Pと、位置情報と、時刻情報とが互いに紐づけられた動画データのことを「動画データ生成部220が生成した動画データ」または単に「動画データ」ともいう。
【0039】
動画データ生成部220は、生成した動画データを画像認識部240に出力する。なお、動画データ生成部220は、生成した動画データを記憶部270に記憶させてもよい。
【0040】
画像認識部240は、動画データ生成部220が生成した動画データを取得する。なお、画像認識部240は、動画データ生成部220から直接的に動画データを取得してもよいし、動画データ生成部220から記憶部270を介して間接的に(つまり、記憶部270に記憶された)動画データを取得してもよい。
【0041】
画像認識部240は、動画データ生成部220が生成した動画データを画像処理することにより、動画データの中に対象車両CTの任意の方向の画像が含まれているか否かを判定する。すなわち、画像認識部240は、動画データに含まれる対象車両CTを認識する。
画像認識部240は、動画データに対象車両CTの任意の方向の画像が含まれていないと判定した場合(ステップS212;NO)には、ステップS212の処理を継続する。画像認識部240は、動画データに対象車両CTの任意の方向の画像が含まれていると判定した場合(ステップS212;YES)には、処理をステップS213に進める。
【0042】
(ステップS213)視野生成部250は、撮像車両Cの視野画像Pを生成し、送信部260は、撮像車両Cの視野画像Pと、位置情報と、時刻情報とが互いに紐づけられた動画データを、映像生成装置10に対して送信する。この動画データは、動画データ生成部220が生成した動画データのうち、ステップS212において対象車両CTの任意の方向の画像が含まれていると判定された動画データである。つまり、送信部260は、対象車両CTの画像が含まれている動画データを、映像生成装置10に送信する。
【0043】
(ステップS113)映像生成装置10の動画取得部110および位置情報取得部120は、ステップS213で送信された動画データ(および動画データに含まれる位置情報・時刻情報)を取得する。なお、以下の説明において、動画取得部110が位置情報を含む動画データを取得するものとし、位置情報取得部120の説明を省略する場合がある。
【0044】
ここで、映像生成装置10は、複数のドライブレコーダ20からそれぞれ送信される動画データを取得する。これら複数のドライブレコーダ20は、それぞれ、上述したステップS211からステップS213の処理を行っている。すなわち、これら複数のドライブレコーダ20は、生成した動画データに対象車両CTの任意の方向の画像が含まれているか否かを判定している。したがって、複数のドライブレコーダ20からそれぞれ送信される動画データには、いずれも対象車両CTの任意の方向の画像が含まれている。
【0045】
(ステップS114)動画取得部110は、取得した動画データを映像生成部170に出力する。映像生成部170は、動画取得部110から動画データを直接的に取得する。
なお、動画取得部110は、複数のドライブレコーダ20から取得した動画データを、それぞれ記憶部160に記憶させてもよい。この場合には、映像生成部170は、動画取得部110から記憶部160を介して、間接的に動画データを取得する。
【0046】
映像生成部170は、取得した複数の動画データ(つまり、それぞれの撮像車両Cから送信された、対象車両CTの画像を含む動画データ)を、対象車両CTの画像の特徴量と、位置情報と、時刻情報とに基づいて、時系列につなぎ合わせ、対象車両CTを任意の方向から撮像した映像を生成する。
図5から
図8を参照して、動画データのつなぎ合わせの一例について説明する。
【0047】
図5は、対象車両CTの追跡の第1段階の様子の一例を示す図である。同図において、対象車両CTが進行方向DTに走行している。対象車両CTの後方に、第1の撮像車両C1と、第2の撮像車両C2とが、対象車両CTに追従して走行している。第1の撮像車両C1は、第1のドライブレコーダ20-1を備えている。第2の撮像車両C2は、第2のドライブレコーダ20-2を備えている。
【0048】
第1の撮像車両C1は、対象車両CTの直後を走行している。この場合、第1の撮像車両C1の視野には、対象車両CTの後方が収まっている。つまり、第1のドライブレコーダ20-1が撮像した動画データには、対象車両CTの任意の方向の画像が含まれている。第2の撮像車両C2は、第1の撮像車両C1の直後を走行している。この場合、第2の撮像車両C2から見て第1の撮像車両C1が対象車両CTを隠す状態となり、第2の撮像車両C2の視野には、対象車両CTが収まらない。つまり、第2のドライブレコーダ20-2が撮像した動画データには、対象車両CTの画像が含まれない。
第1の撮像車両C1は、交差点を左折して進行方向を変えようとしている。
【0049】
図6は、対象車両CTの追跡の第2段階の様子の一例を示す図である。
第1の撮像車両C1が左折して、第1の撮像車両C1の走行方向が進行方向D1に変化する。この場合、第1の撮像車両C1の進行方向D1と、対象車両CTの進行方向DTとが一致しなくなるため、第1の撮像車両C1の視野から、対象車両CTが消失する。つまり、第1のドライブレコーダ20-1が撮像した動画データには、対象車両CTの画像が含まれなくなる。
一方、第1の撮像車両C1の直後を走行していた第2の撮像車両C2は、進行方向D2への走行を続ける。第2の撮像車両C2の進行方向D2と、対象車両CTの進行方向DTとが一致しており、かつ、第2の撮像車両C2の視野から第1の撮像車両C1が消失する。このため、第2の撮像車両C2の視野に、対象車両CTの後方が収まる。つまり、第2のドライブレコーダ20-2が撮像した動画データには、対象車両CTの任意の方向の画像が含まれている。
【0050】
図7は、本実施形態の第1の撮像車両C1が対象車両CTの追跡の第1段階において撮像した第1の視野画像P1の一例を示す図である。同図は、第1の撮像車両C1が左折する前(つまり、
図5に示した段階)における、第1の撮像車両C1の視野画像P(第1の視野画像P1)の一例を示している。第1の視野画像P1には、対象車両CTの任意の方向の画像(対象車両画像P-CT)が含まれている。
【0051】
図8は、本実施形態の第2の撮像車両C2が対象車両CTの追跡の第2段階において撮像した第2の視野画像P2の一例を示す図である。同図は、第1の撮像車両C1が左折した後(つまり、
図6に示した段階)における、第2の撮像車両C2の視野画像P(第2の視野画像P2)の一例を示している。第2の視野画像P2には、対象車両CTの後方の画像(対象車両画像P-CT)が含まれている。
なお、この一例においては、第2の視野画像P2には、左折する第1の撮像車両C1の画像(視野画像P-C1)も含まれている。
【0052】
視野取得部130は、動画データに含まれる対象車両CTの画像(つまり、視野画像Pである対象車両画像P-CT)と、位置情報とに基づいて、現在の車両(つまり、第1の撮像車両C1)の近くに位置する車両の動画データを取得する。
上述した一例では、現在の車両(例えば、第1の撮像車両C1)の近くに第2の撮像車両C2が位置する。この場合、視野取得部130は、第2の撮像車両C2が撮像した第2の視野画像P2を取得する。
すなわち、視野取得部130は、動画データと、位置情報とから、対象車両CT(追跡対象)を任意の方向から追跡している現在の車両の近くに位置する他の車両の視野画像Pを取得する。
【0053】
なお、現在の車両(例えば、第1の撮像車両C1)の近くに複数の撮像車両Cが位置する場合もありうる。この場合、視野取得部130は、第1の撮像車両C1の近くにいる複数の撮像車両Cのすべて、または一部から、視野画像Pを取得してもよい。
【0054】
対象決定部150は、視野取得部130が取得した動画データに対象車両CTの任意の方向の画像が含まれている場合には、当該動画データを撮像した撮像車両Cを、対象車両CTを任意の方向から追跡する次の車両として決定する。
上述した一例では、対象決定部150は、対象車両CTの車両後方が含まれる画像を撮像した、第2の撮像車両C2を、対象車両CTを後方から追跡する次の車両として決定する。
すなわち、対象決定部150は、視野取得部130が取得した視野画像Pに基づいて、対象車両CT(追跡対象)を任意の方向から追跡する次の車両を決定する。
【0055】
なお、上述したように、視野取得部130が、第1の撮像車両C1の近くにいる複数の撮像車両Cのすべて、または一部から視野画像Pを取得する場合(すなわち、視野画像Pの候補が複数ある場合)もあり得る。この場合、対象決定部150は、複数の視野画像Pの候補の中から、現在の撮像車両Cと次の撮像車両Cとの相対的な位置関係、対象車両CTの画像の状態、あるいは撮像車両Cの挙動に基づいて、対象車両CT(追跡対象)の任意の方向を追跡する次の車両を決定してもよい。
例えば、対象決定部150は、現在の撮像車両C(例えば、第1の撮像車両C1)の位置にもっとも近い位置にいる撮像車両C、または、現在の撮像車両Cが対象車両CTの任意の方向を追跡していた際の進行方向Dと同一の進行方向Dの撮像車両Cを、対象車両CT(追跡対象)の任意の方向を追跡する次の車両を決定してもよい。
また、対象決定部150は、より鮮明な対象車両CTの画像を撮像している撮像車両Cを、対象車両CTの任意の方向(追跡対象)を追跡する次の車両を決定してもよい。
また、対象決定部150は、視野画像Pのなか対象車両CTの画像の位置や大きさの変動が少ない画像を撮像している撮像車両Cを、対象車両CTの任意の方向(追跡対象)を追跡する次の車両を決定してもよい。
【0056】
ここで、対象決定部150は、現在の撮像車両C(例えば、第1の撮像車両C1)が撮像する対象車両CTの画像(対象車両画像P-CT)と、次の撮像車両Cが撮像する対象車両CTの画像(対象車両画像P-CT)との、画像の対応関係に基づいて、対象車両CT(追跡対象)の任意の方向を追跡する次の車両を決定してもよい。
例えば、対象決定部150は、他の車両(例えば、第2の撮像車両C2)の視野における対象車両CTの特徴を示す形状と、現在の車両(例えば、第1の撮像車両C1)の動画データにおける対象車両CTの特徴を示す形状との間の、形状の相似性に基づいて、他の車両を、対象車両CTの任意の方向を追跡する次の車両として決定する。
【0057】
ここで、対象車両CTの特徴を示す形状とは、例えば、上述した対象車両CTの外観の特徴量(例えば、ナンバープレートの文字や数字、車種や年式によって定まる外観形状、車体の塗装色、市販状態からの改造の有無)などである。
なお、この一例では追跡対象が車両であるとして説明するが、これに限られない。追跡対象が人物である場合には、追跡対象の特徴を示す形状とは、人物の外観の特徴量(例えば、性別、身長、年齢、髪型、顔の特徴、着用している服の色や形状、歩き方の特徴、杖や車いすの利用有無)などであってもよい。また、追跡対象が動物である場合には、追跡対象の特徴を示す形状とは、動物の外観の特徴量(例えば、種類、大きさ、色、平均的な移動速度)などであってもよい。
【0058】
また、形状の相似性とは、2つの画像に対して変換(例えば、拡大、縮小、回転、平行移動、台形、射影などの変換)による画像処理を施した場合に、互いの画像の形状が同一になることをいう。対象決定部150は、他の車両の視野における形状の相似性が一致するときに他の車両を次の車両に決定してもよく、形状の相似性が任意の閾値以上のときに他の車両を次の車両に決定してもよい。
対象決定部150は、形状の相似性に基づいて対象車両画像P-CTどうしの一致性を判定するため、現在の撮像車両Cの視野と、次の撮像車両Cの視野とが完全に一致していなくても、対象車両CTの任意の方向を追跡する次の車両を決定することができる。
【0059】
映像生成部170は、現在の車両(つまり、第1の撮像車両C1)の動画データ(第1の視野画像P1)と、次の車両(つまり、第2の撮像車両C2)の動画データ(第2の視野画像P2)とをつなぎ合わせた映像を生成する。
ここで、映像生成部170は、第1の視野画像P1の撮像時刻と、第2の視野画像P2の撮像時刻とを時系列に並べてつなぎ合わせる。
このように構成された映像生成システム1によれば、対象車両CTの任意の方向を追跡する撮像車両Cが変化(交代)しても、複数の撮像車両Cがそれぞれ撮像した対象車両画像P-CTどうしを、時系列の違和感なく滑らかに接続することができる。
【0060】
また、映像生成部170は、第1の視野画像P1と第2の視野画像P2とをつなぎ合わせる際に、上述した形状の相似性に応じた変換を施す画像変換を行ってもよい。例えば、映像生成部170は、第1の視野画像P1に含まれる対象車両画像P-CTの形状と、第2の視野画像P2に含まれる対象車両画像P-CTの形状とを一致させるように画像変換を行う。さらに、映像生成部170は、第1の視野画像P1の動画データの最後のフレームの対象車両画像P-CTの形状と、第2の視野画像P2の動画データの最初のフレームの対象車両画像P-CTの形状とが一致するように、一方または両方の対象車両画像P-CTの形状を時間軸で徐々に変化(例えば、モーフィング)させることにより、第1の視野画像P1に含まれる対象車両画像P-CTの形状と、第2の視野画像P2に含まれる対象車両画像P-CTの形状とを一致させてもよい。
【0061】
すなわち、映像生成システム1は、位置情報、時刻情報および対象車両画像P-CTの形状の少なくとも一つに基づいて、動画データどうしをつなぎ合わせる。
このように構成された映像生成システム1によれば、例えば、対象車両CTを任意の方向から追跡する撮像車両Cが変化(交代)しても、複数の撮像車両Cがそれぞれ撮像した対象車両画像P-CTどうしを、時系列および対象車両の撮像角度に違和感なく滑らかに接続することができる。
【0062】
(1-2)映像生成装置10が対象車両CTを認識する場合:
この場合、ドライブレコーダ20は、撮像した動画データに対象車両CTの画像が含まれているか否かに関わらず、映像生成装置10に対して動画データを送信する。映像生成装置10は、ドライブレコーダ20が送信した動画データに対象車両CTの画像が含まれているか否かを判定して、画像をつなぎ合わせる。
【0063】
[映像生成システム1の動作の流れ]
図9は、本実施形態の映像生成システム1の動作の流れの他の一例を示す図である。ステップS910及びステップS121は、上述したステップS910及びステップS111の動作と同様であるため説明を省略する。
【0064】
(ステップS221)ドライブレコーダ20は、動作中において車載カメラ(不図示)を常に動作させて周囲の状況を撮像している。車載カメラは、撮像した映像データを動画データ生成部220に出力する。ここで、映像データには対象車両CTの画像(対象車両画像P-CT)が含まれなくてもよい。
【0065】
送信部260は、撮像車両Cの映像データと、位置情報と、時刻情報とが互いに紐づけられた動画データを、映像生成装置10に対して送信する。
なお、動画データ生成部220が、生成した動画データを記憶部270に記憶させた場合、送信部260は、動画データ生成部220が記憶部270に記憶させた動画データを映像生成装置10に送信してもよい。
【0066】
(ステップS122)映像生成装置10の動画取得部110および位置情報取得部120は、ステップS221で送信された動画データ(および動画データに含まれる位置情報・時刻情報)を取得する。
【0067】
ここで、映像生成装置10は、複数のドライブレコーダ20からそれぞれ送信される動画データを取得する。これら複数のドライブレコーダ20は、それぞれ、上述したステップS221の処理を行っている。すなわち、これら複数のドライブレコーダ20は、生成した動画データを映像生成装置10に対して送信している。
ドライブレコーダ20が送信する動画データには、対象車両CTの画像(対象車両画像P-CT)が含まれる場合と、含まれない場合とがある。
【0068】
(ステップS123)映像生成装置10の画像認識部240(不図示;以下、単に映像生成装置10という。)は、ドライブレコーダ20の動画データ生成部220が生成した動画データを画像処理することにより、動画データの中に対象車両CTの任意の方向の画像が含まれているか否かを判定する。すなわち、映像生成装置10は、動画データに含まれる対象車両CTを認識する。
映像生成装置10は、動画データに対象車両CTの任意の方向の画像が含まれていないと判定した場合(ステップS123;NO)には、ステップS122に処理を戻す。映像生成装置10は、動画データに対象車両CTの任意の方向の画像が含まれていると判定した場合(ステップS123;YES)には、処理をステップS124に進める。
【0069】
(ステップS124)映像生成装置10は、対象車両CTの任意の方向の画像が含まれていると判定した動画データを、映像生成部170に出力する。映像生成部170は、動画取得部110から動画データを直接的に取得する。
なお、映像生成装置10は、動画取得部110は、対象車両CTの任意の方向の画像が含まれていると判定した動画データを記憶部160に記憶させてもよい。この場合には、映像生成部170は、記憶部160を介して間接的に、対象車両CTの任意の方向の画像が含まれる動画データを取得する。
【0070】
(ステップS125)映像生成部170は、複数の動画データどうしをつなぎ合わせるか否かを判定する。例えば、映像生成部170は、対象車両CTの任意の方向の画像が含まれる動画データが十分に収集された後に動画データどうしをつなぎ合わせてもよいし、対象車両CTの任意の方向の画像が含まれる動画データを新たに受信するごとに、動画データどうしをつなぎあわせてもよい。映像生成部170は、動画データどうしをつなぎ合わせないと判定した場合(ステップS125;NO)には、処理をステップS122に戻す。映像生成部170は、動画データどうしをつなぎ合わせると判定した場合(ステップS125;YES)には、処理をステップS126に進める。
【0071】
(ステップS126)映像生成部170は、取得した複数の動画データ(つまり、それぞれの撮像車両Cから送信された動画データのうち、対象車両CTの任意の方向の画像を含む動画データ)を、対象車両CTの画像の特徴量と、位置情報と、時刻情報とに基づいて、時系列につなぎ合わせる。
映像生成部170による動画データのつなぎ合わせ処理は、上述したステップS114の処理と同様であるため、説明を省略する。
【0072】
[映像生成システム1の動作の流れの変形例]
図10は、本実施形態の映像生成システム1の動作の流れの変形例を示す図である。上述した実施形態の一例では、ドライブレコーダ20が、視野画像Pと位置情報と時刻情報とを含む動画データを映像生成装置10に送信するとして説明した。この変形例では、ドライブレコーダ20が位置情報または時刻情報(もしくは位置情報と時刻情報の両方)を映像生成装置10に送信し、映像生成装置10の要求に基づいて視野画像Pの動画データを送信する点で、上述した実施形態と異なる。
【0073】
この変形例では、上述した
図5および
図6の状況(第1の撮像車両C1が対象車両CTを追跡している追跡の第1段階の状況で、第2の撮像車両C2に追跡を交代する追跡の第2段階の状況)を一例にして説明する。なお、
図10では、追跡対象の情報の送受信(上述したステップS910及びステップS121)の記載を省略している。
【0074】
ドライブレコーダ20-1およびドライブレコーダ20-2(以下、これらを総称してドライブレコーダ20ともいう。)は、動作中において車載カメラ(不図示)を常に動作させて周囲の状況を撮像している。ドライブレコーダ20は、動画データに時刻情報と位置情報とを紐づける。この結果、動画データには、撮像車両Cの視野画像Pと、当該画像が撮像された位置を示す位置情報とが、当該画像が撮像された時刻を示す時刻情報と、互いに紐づけられる。この変形例において、ドライブレコーダ20は、動画データ、位置情報および時刻情報を個別に映像生成装置10に送信することができる。
【0075】
(ステップS2311)ドライブレコーダ20-1は、動画データ、位置情報および時刻情報を映像生成装置10に送信する。
(ステップS2321)ドライブレコーダ20-2は、位置情報および時刻情報を映像生成装置10に送信する。つまり、ドライブレコーダ20-2は、この段階では動画データを映像生成装置10に送信しない。
【0076】
(ステップS131)映像生成装置10は、ドライブレコーダ20-2から位置情報および時刻情報を受信する。なお、
図10では記載を省略しているが、映像生成装置10は、複数の他のドライブレコーダ20からも位置情報および時刻情報を受信してもよい。
(ステップS132)映像生成装置10は、ドライブレコーダ20-1から動画データ、位置情報および時刻情報を受信する。
【0077】
(ステップS133)映像生成装置10の画像認識部(不図示;以下、単に映像生成装置10という。)は、ドライブレコーダ20-1から送信される動画データに対象車両CTの任意の方向からの画像が含まれなくなったか否かを判定する。映像生成装置10は、ドライブレコーダ20-1から送信される動画データに対象車両CTの任意の方向からの画像が含まれていると判定した場合(ステップS133;NO)には、処理をステップS131に戻す。映像生成装置10は、ドライブレコーダ20-1から送信される動画データに対象車両CTの任意の方向からの画像が含まれなくなったと判定した場合(ステップS133;YES)には、処理をステップS134に進める。例えば、映像生成装置10は、動画データの対象車両CTの特徴を示す形状が、直近の動画データの形状と比較して相似性に任意の閾値以上の変化があったときに含まれなくなったと判定(S133;YES)する。
【0078】
(ステップS134)対象決定部150は、複数の撮像車両Cのなかから、対象車両CTを任意の方向から追跡する次の撮像車両Cの候補を選択する。
具体的には、対象決定部150は、ステップS131においてドライブレコーダ20-2(および、複数の他のドライブレコーダ20)から受信した位置情報および時刻情報と、ステップS132においてドライブレコーダ20-1から受信した位置情報および時刻情報とを対比する。対象決定部150は、ドライブレコーダ20-1の位置情報および時刻情報に近い(例えば、最も近い)位置情報および時刻情報を送信したドライブレコーダ20を選択する。
上述した
図5および
図6の一例では、対象決定部150は、ドライブレコーダ20-2を選択する。
【0079】
(ステップS135)映像生成装置10は、ドライブレコーダ20-2に対して動画データ(視野画像P)の要求通知(画像要求通知)を送信する。
(ステップS2322)ドライブレコーダ20-2は、画像要求通知を受信する。
(ステップS2323)ドライブレコーダ20-2は、動画データを送信する。この段階で送信される動画データには、視野画像Pがさらに含まれている。すなわち、この段階では、ステップS2321の段階で送信される位置情報および時刻情報に比べて、情報量が多い動画データが送信される。
【0080】
(ステップS136)映像生成装置10は、ドライブレコーダ20-2から動画データを受信する。この動画データには、視野画像Pが含まれている。
(ステップS137)映像生成装置10は、ステップS136において受信した動画データに、対象車両CTの任意の方向からの画像が含まれているか否かを判定する。映像生成装置10は、動画データに対象車両CTの画像が含まれていないと判定した場合(ステップS137;NO)には、処理をステップS134に戻して、第2の撮像車両C2以外の他の撮像車両Cのなかから、対象車両CTの任意の方向からを追跡する次の撮像車両Cの候補を選択する。
映像生成装置10は、動画データに対象車両CTの任意の方向からの画像が含まれていると判定した場合(ステップS137;YES)には、処理をステップS138に進める。
【0081】
(ステップS138)映像生成部170は、取得した複数の動画データを、対象車両CTの画像の特徴量と、位置情報と、時刻情報とに基づいて、時系列につなぎ合わせる。
映像生成部170による動画データのつなぎ合わせ処理は、上述したステップS114の処理と同様であるため、説明を省略する。
【0082】
すなわち、この変形例では、映像生成システム1は、ドライブレコーダ20の選択を、位置情報・時刻情報による候補の選択と、選択された候補のなかから視野画像Pによる選択との2段階によって行う。
この変形例のように構成された映像生成システム1によれば、動画データに比べて情報量の比較的少ない位置情報や時刻情報に基づいて、映像生成装置10が動画データの要否を判定し、必要な場合に動画データをドライブレコーダ20から送信する。このため、映像生成システム1によれば、動画データの送信に必要な情報通信量を低減することができる。
【0083】
< (2)ドライブレコーダ20が新たな撮像車両Cを探索する場合 >
上述した実施形態では、映像生成装置10が、対象車両CTを追跡するドライブレコーダ20を決定する機能を有していた。
一方、本実施形態の場合には、ドライブレコーダ30が、対象車両CTを追跡するドライブレコーダ30を決定する機能を有している。すなわち、本実施形態の映像生成システム1は、対象車両CTを追跡するドライブレコーダ30を交代させる機能を、映像生成装置10によらず、ドライブレコーダ30どうしの通信によって実現する。
なお、以下の説明において、上述した(1)の場合と同様の構成・機能については、その説明を省略する。
【0084】
図11は、本実施形態のドライブレコーダ30の機能構成の一例を示す図である。ドライブレコーダ30は、撮像した動画データのなかに対象車両CTの任意の方向の画像が含まれている場合に、映像生成装置10に対して動画データを送信する。映像生成装置10は、ドライブレコーダ20が送信した動画データに対象車両CTの任意の方向の画像が含まれていることを前提にして、画像をつなぎ合わせる。この場合の映像生成装置10には、視野取得部130、対象決定部150が備えられなくてもよい。
【0085】
ドライブレコーダ30は、車両(撮像車両C)に搭載され、車両の周囲の映像を記録する。ドライブレコーダ30は、対象取得部310と、動画データ生成部320と、位置情報記録部330と、画像認識部340と、視野生成部390と、送信部400と、他車両情報取得部350と、視野取得部360と、記憶部370とを有する。これらの各機能部は、上述したドライブレコーダ20が備える対象取得部210、動画データ生成部220、位置情報記録部230、画像認識部240、視野生成部250、送信部260、および記憶部270と同様であるため、その説明を省略する。
【0086】
ドライブレコーダ30は、他車両情報取得部350と、視野取得部360と、対象決定部380をさらに備える点で、ドライブレコーダ20と異なる。
【0087】
他車両情報取得部350はドライブレコーダ30の近くに位置する他の車両から、他の車両の動画データ(視野画像P、位置情報および時刻情報)を含む他車両の情報を取得する。視野取得部360は、例えば他車両情報取得部350が取得した動画データに基づいて他の車両の視野画像P(視野の情報の一例)を取得する。ここで、他車両情報取得部350は、他の車両から、他の車両の位置情報および時刻情報のみを取得してもよい。この場合視野取得部360は、他の車両の位置情報および時刻情報に基づいて他の車両の視野画像Pを推定してもよい。
【0088】
対象決定部380は、動画データに対象車両CT(追跡対象)の任意の方向が存在する場合に、視野取得部360が取得した他車両の視野画像Pに基づいて、対象車両CTの任意の方向を追跡する他の車両を決定する。
すなわち、対象決定部380は、上述した映像生成装置10が備える対象決定部150に相当する機能を有する。
【0089】
[映像生成システム1の動作の流れ]
図12は、本実施形態の映像生成システム1の動作の流れの一例を示す図である。本実施形態の映像生成システム1では、ドライブレコーダ30には、対象車両CTの任意の方向を追跡しているドライブレコーダ30(親機)と、対象車両CTを追跡していないドライブレコーダ30(子機)との2種類のドライブレコーダ30が存在する。親機のドライブレコーダ30は、映像生成装置10に動画データを送信するとともに、子機のドライブレコーダ30に対して情報要求通知を送信することができる。情報要求通知とは、子機のドライブレコーダ30に対して映像生成装置10に動画データを要求することを示す通知である。この情報要求通知は、親機と子機との機能の切り替え(つまり、親子の役割入れ替え)指示も含んでいる。子機のドライブレコーダ30は、親機のドライブレコーダ30から情報要求通知を受信すると、自装置が親機となって動作する。親機のドライブレコーダ30は、情報要求通知を他のドライブレコーダ30に送信すると、親機としての役割を終え、子機として動作する。
【0090】
本実施形態では、上述した
図5および
図6の状況(第1の撮像車両C1が対象車両CTの任意の方向を追跡している状況で、第2の撮像車両C2に追跡を交代する状況)を一例にして説明する。つまり、
図5の状況において、ドライブレコーダ30-1が親機であり、ドライブレコーダ30-2が子機である。
図6の状況において、ドライブレコーダ30-2が親機に、ドライブレコーダ30-1が子機に切り替わる。
なお、
図12では、外部装置90から各ドライブレコーダ30に対して追跡対象の情報が提供されるステップ(上述したステップS910及びステップS121に相当)の記載を省略している。
【0091】
(ステップS321)ドライブレコーダ30-2は、動画データ(視野画像P、位置情報および時刻情報)をドライブレコーダ30-1に送信する。
(ステップS311)ドライブレコーダ30-1の他車両情報取得部350は、ドライブレコーダ30-2から位置情報および時刻情報を受信する。なお、
図12では記載を省略しているが、映像生成装置10は、複数の他のドライブレコーダ30からも位置情報および時刻情報を受信してもよい。
【0092】
(ステップS312)ドライブレコーダ30-1は、映像生成装置10に動画データを送信する。この段階でドライブレコーダ30-1が送信する動画データには、対象車両CTの任意の方向の画像が含まれている。
(ステップS141)映像生成装置10は、ドライブレコーダ30-1から動画データを受信する。この結果、映像生成装置10には、対象車両CTの任意の方向の画像が収集される。
【0093】
(ステップS313)ドライブレコーダ30-1は、自装置(つまり、ドライブレコーダ30-1)の動画データに、対象車両CTの任意の方向の画像が含まれなくなったか否かを判定する。
ドライブレコーダ30-1は、自装置(ドライブレコーダ30-1)の動画データに、対象車両CTの任意の方向の画像が含まれ続けていると判定した場合(ステップS313;NO)には、処理をステップS311に戻して、対象車両CTの任意の方向の画像の送信を継続する。この結果、映像生成装置10には、ドライブレコーダ30-1から送信される対象車両CTの任意の方向の画像が収集され続ける。
ドライブレコーダ30-1は、自装置(ドライブレコーダ30-1)の動画データに、対象車両CTの任意の方向の画像が含まれなくなったと判定した場合(ステップS313;YES)には、処理をステップS314に進める。
【0094】
(ステップS314)ドライブレコーダ30-1は、ステップS311において他のドライブレコーダ30から受信した動画データのうち、対象車両CTの任意の方向が含まれている動画データを検索する。ドライブレコーダ30-1は、複数の他のドライブレコーダ30のなかから、対象車両CTの任意の方向が含まれている動画データを送信したドライブレコーダ30(例えば、ドライブレコーダ30-2)を選択する。
(ステップS315)ドライブレコーダ30-1は、ステップS314において選択した他のドライブレコーダ30(例えば、ドライブレコーダ30-2)に対して、情報要求通知を送信する。
【0095】
なお、ドライブレコーダ30-1は、他のドライブレコーダ30に情報要求通知を送信すると、親機としての機能を終え、自装置からの映像生成装置10への動画データの送信を停止する。また、ドライブレコーダ30-1は、情報要求通知を送信したドライブレコーダ30(例えば、ドライブレコーダ30-2)に対する動画データの送信を開始する。
【0096】
(ステップS322)ドライブレコーダ30-2は、情報要求通知を受信する。
(ステップS323)ドライブレコーダ30-2は、親機としての動作を開始する。すなわち、ドライブレコーダ30-2は、映像生成装置10に対して動画データを送信する。この動画データには、対象車両CTの任意の方向の画像が含まれている。すなわち、ドライブレコーダ30-2によるステップS323の動作は、上述したステップS312におけるドライブレコーダ30-1の動作に相当する。
【0097】
(ステップS142)映像生成装置10は、ドライブレコーダ30-2から動画データを受信する。この動画データには、視野画像Pが含まれている。
(ステップS143)映像生成装置10は、ステップS141において受信した動画データと、ステップS142において受信した動画データとをつなぎ合わせる。すなわち、映像生成部170は、取得した複数の動画データを、対象車両CTの画像の特徴量と、位置情報と、時刻情報とに基づいて、時系列につなぎ合わせる。
映像生成部170による動画データのつなぎ合わせ処理は、上述したステップS114の処理と同様であるため、説明を省略する。
親機と子機との切り替えの具体例について
図13および
図14を参照して説明する。
【0098】
図13は、本実施形態の撮像車両Cの配置の一例を示す図である。
図14は、本実施形態のドライブレコーダ30間の通信の一例を示す図である。
同図に示す一例の場合、撮像車両C11が対象車両CTの後方を追跡している。すなわち、撮像車両C11が備えるドライブレコーダ30-1が親機であり、他の撮像車両C(撮像車両C12~撮像車両C15)が備えるドライブレコーダ30(ドライブレコーダ30-2~5)が子機である。
対象車両CTの後方を追跡していた撮像車両C11が左折し、進行方向D11に向けて走行する。このとき、撮像車両C11の視野から対象車両CTの後方が消失する。撮像車両C11が備えるドライブレコーダ30-1(親機)は、自装置の視野画像Pに対象車両CTの後方が含まれなくなったと判定する。ドライブレコーダ30-1は、いずれも子機である複数のドライブレコーダ30(ドライブレコーダ30-2~5)の視野画像Pを取得する。ドライブレコーダ30-1は、視野画像Pに対象車両CTの後方の画像が含まれている撮像車両Cのドライブレコーダ30を、次の親機として選択する。
この一例では、ドライブレコーダ30-1(親機)は、撮像車両C15のドライブレコーダ30-5を次の親機として選択する。ドライブレコーダ30-1は、ドライブレコーダ30-5に対して情報要求通知を送信して、親機の役割を終える。子機であるドライブレコーダ30-5は、ドライブレコーダ30-1から情報要求通知を受信すると、自装置の役割を子機から親機に切り替える。ドライブレコーダ30-5(親機)は、撮像した視野画像Pを映像生成装置10に送信する。
【0099】
なお、上述した一例では、対象車両CTの後続車(撮像車両C11)が、次の後続車(撮像車両C15)を次の親機として選択した。すなわち、映像生成システム1は、対象車両CTの後続車(撮像車両C11と、撮像車両C15)から見た視野画像Pどうしをつなぎ合わせる。また、対象車両CTの対向車(例えば、撮像車両C12と、撮像車両C12の不図示の後続車)から見た視野画像Pどうしをつなぎ合わせてもよい。
このように構成された映像生成システム1によれば、対象車両CTを任意の方向(例えば、後続車の視点や対向車の視点)から見た視野画像Pどうしをつなぎ合わせることができるため、動画データのつなぎ目における違和感を低減することができる。
【0100】
以上説明したように、本実施形態の映像生成システム1は、対象車両CT(追跡対象の一例)を複数のドライブレコーダによって撮像するとともに、撮像された対象車両CTの任意の方向の動画データどうしをつなぎ合わせる。このように構成された映像生成システム1によれば、対象車両CT(追跡対象)の任意の方向を長時間にわたって追跡した動画データを生成することができ、車両や人物、動物などの捜索や発見に役立てることができる。
【0101】
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。また、上述した各実施形態を適宜組み合わせてもよい。
【符号の説明】
【0102】
1…映像生成システム、10…映像生成装置、20,30…ドライブレコーダ、110…動画取得部、120…位置情報取得部、130…視野取得部、140…対象取得部、150…対象決定部、160…記憶部、170…映像生成部、210,310…対象取得部、220,320…動画データ生成部、230,330…位置情報記録部、240,340…画像認識部、250…視野生成部、260…送信部、270,370…記憶部、350…他車両情報取得部、360…視野取得部、380…対象決定部