特開 2024-123513 隊列走行画像生成装置、隊列走行画像生成システム、及び隊列走行画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123513

(43)【公開日】2024-09-12

(54)【発明の名称】隊列走行画像生成装置、隊列走行画像生成システム、及び隊列走行画像生成方法

(51)【国際特許分類】

   G06T 3/14 20240101AFI20240905BHJP

   G08G 1/00 20060101ALI20240905BHJP

   G06T 1/00 20060101ALI20240905BHJP

   G06T 7/38 20170101ALI20240905BHJP

   G06T 7/00 20170101ALI20240905BHJP

   H04N 7/18 20060101ALI20240905BHJP

【ＦＩ】

G06T3/00 750

G08G1/00 D

G06T1/00 330B

G06T7/38

G06T7/00 650B

H04N7/18 J

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023030991

(22)【出願日】2023-03-01

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】小島 幹

(72)【発明者】

【氏名】岩▲崎▼ 雄介

(72)【発明者】

【氏名】大沼 和親

【テーマコード（参考）】

5B057

5C054

5H181

5L096

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CE10

5B057DC03

5B057DC08

5C054CA04

5C054CC02

5C054DA07

5C054FE14

5C054HA30

5H181AA01

5H181AA06

5H181AA07

5H181BB04

5H181BB05

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF04

5H181FF05

5H181FF10

5H181LL01

5L096BA04

5L096CA05

5L096FA62

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】隊列走行車両の周辺監視に適した画像を提供する。
【解決手段】隊列走行画像生成装置は、隊列走行を行う複数の車両で構成される隊列走行車両で撮影された周囲画像と当該周囲画像の撮影時間とを前記隊列走行車両から取得し、前記隊列走行車両の各車両の走行順に基づき、前記撮影時間が同じ時間である複数の前記周囲画像を合成して前記隊列走行車両の周囲の合成画像を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

隊列走行を行う複数の車両で構成される隊列走行車両で撮影された周囲画像と当該周囲画像の撮影時間とを前記隊列走行車両から取得し、
前記隊列走行車両の各車両の走行順に基づき、前記撮影時間が同じ時間である複数の前記周囲画像を合成して前記隊列走行車両の周囲の合成画像を生成する、
隊列走行画像生成装置。

【請求項2】

前記周囲画像の撮影方向を取得し、
前記走行順に基づき、前記撮影方向が同じ方向であり、前記撮影時間が同じ時間である複数の前記周囲画像を合成して前記合成画像を生成する、
請求項１に記載の隊列走行画像生成装置。

【請求項3】

前記撮影時間順に基づいて前記合成画像を順次再生する動画を生成する、
請求項１または請求項２に記載の隊列走行画像生成装置。

【請求項4】

合成対象の隣接２画像を撮影する各カメラの位置関係に基づいて前記隣接２画像における画角を調整し、当該調整後の前記隣接２画像を合成する、
請求項１または請求項２に記載の隊列走行画像生成装置。

【請求項5】

合成対象の隣接２画像を撮影する各カメラの位置を結ぶ直線の中点を通り、当該直線に垂直な垂線上における前記中点からの距離が所定距離である画角決定点を決定し、
前記各カメラから前記画角決定点方向に延びる直線を境界とする領域を前記画角として調整する、
請求項４記載の隊列走行画像生成装置。

【請求項6】

前記隊列走行車両の周囲の物体の存在状況に応じて前記所定距離を決定する、
請求項５記載の隊列走行画像生成装置。

【請求項7】

地図画像に、前記地図画像上における前記隊列走行車両の存在位置に前記隊列走行車両の全体を表す隊列アイコンを重畳したアイコン重畳地図画像を生成し、
生成した前記隊列走行車両の周囲の前記合成画像と、前記アイコン重畳地図画像とを並べた表示画像を表示部に出力する、
請求項１または請求項２に記載の隊列走行画像生成装置。

【請求項8】

ユーザによって指示された領域における前記隊列走行車両の周囲の前記合成画像を前記表示部に出力する、
請求項７に記載の隊列走行画像生成装置。

【請求項9】

隊列走行を行う複数の車両で構成される隊列走行車両に対して隊列走行指令を行う隊列走行指令装置と、前記隊列走行車両の周囲の合成画像を生成する隊列走行画像生成装置と、前記隊列走行車両の各車両に搭載された車載装置と、を含み、
前記隊列走行指令装置は、前記隊列走行車両の各車両の走行順を前記隊列走行画像生成装置に送信し、
前記車載装置は、前記隊列走行車両で撮影された周囲画像と、前記周囲画像の撮影方向と、前記周囲画像の撮影時間と、を前記隊列走行画像生成装置に送信し、
前記隊列走行画像生成装置は、
前記隊列走行指令装置から送信された前記走行順を取得し、
前記車載装置から送信された前記周囲画像と、前記撮影方向と、前記撮影時間と、を取得し、
前記走行順に基づき、前記撮影方向が同じ方向であり、前記撮影時間が同じ時間である複数の前記周囲画像を合成して前記隊列走行車両の周囲の前記合成画像を生成する、
隊列走行画像生成システム。

【請求項10】

隊列走行を行う複数の車両で構成される隊列走行車両で撮影された周囲画像と当該周囲画像の撮影時間とを前記隊列走行車両から取得する取得工程と、
前記隊列走行車両の各車両の走行順に基づき、前記撮影時間が同じ時間である複数の前記周囲画像を合成して前記隊列走行車両の周囲の合成画像を生成する画像生成工程と、
をコントローラが実行する隊列走行画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、隊列走行画像生成装置、隊列走行画像生成システム、及び隊列走行画像生成方法に関する。

【背景技術】

【0002】

輸送コストの抑制等を目的として、隊列を組んで車両を走行させる隊列走行技術が注目されている。一方、単独走行の車両においては、車載カメラによって車両の周囲画像を撮影することで、当該周囲画像を用いて車両の周囲の状況を確認することが可能な技術が広く知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－２１９５５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

隊列走行では、その性能向上や事故発生時の検証において、個々の車両における周囲の状況だけでなく、隊列走行車両全体の周囲の状況を１つの画像を用いて確認できることも好ましいと考えられる。しかしながら、隊列走行を行う車両は時々刻々変化するため、専用のシステムを構成することはできず、各車両に搭載された当該車両用の周辺監視システムのカメラ等をうまく連携させて制御する必要がある。

【0005】

本発明は、上記の課題に鑑み、隊列走行車両の周辺監視に適した画像を提供することを目的とする。

【課題を解決するための手段】

【0006】

例示的な本発明の隊列走行画像生成装置は、隊列走行を行う複数の車両で構成される隊列走行車両で撮影された周囲画像と当該周囲画像の撮影時間とを前記隊列走行車両から取得し、前記隊列走行車両の各車両の走行順に基づき、前記撮影時間が同じ時間である複数の前記周囲画像を合成して前記隊列走行車両の周囲の合成画像を生成する。

【発明の効果】

【0007】

本発明によれば、隊列走行を行う複数の車両のそれぞれにおいて撮影された各車両の周囲画像が合成されて生成された隊列走行車両の周囲の合成画像を得ることができる。したがって、隊列走行車両の周辺監視に適した画像を提供することが可能になる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る隊列走行を行う複数の車両の模式図

【図2】実施形態の隊列走行画像生成システムの全体構成図

【図3】図２の車両及びサーバ装置の構成図

【図4A】撮影動画テーブルの一例を示す図

【図4B】カメラ特性テーブルの一例を示す図

【図4C】隊列走行テーブルの一例を示す図

【図4D】フレームテーブルの一例を示す図

【図4E】撮影状態テーブルの一例を示す図

【図4F】合成画像生成処理テーブルの一例を示す図

【図4G】合成画像生成処理統合テーブルの一例を示す図

【図5A】隊列走行車両の周囲状況（右側）を示す図

【図5B】各車両で撮影された周囲画像の拡大及び縮小処理を示す説明図

【図5C】２つの周囲画像の位置合わせ処理を示す説明図

【図5D】隊列走行車両の周囲画像（合成画像）を示す図

【図6A】図３の隊列走行画像生成装置が行う合成画像生成処理の一例を示すフローチャート

【図6B】図３のドライブレコーダが行うサーバ装置への画像データの送信処理の一例を示すフローチャート

【図7】画角調整処理に係る隊列走行を行う複数の車両の模式図

【図8】隊列走行を行う複数の車両のカーブ走行状態を示す模式図

【図9】隊列走行を行う複数の車両の周囲に隊列に属さない他車両が存在する状況を示す模式図

【図10】図３のサーバ装置の表示部の一例を示す正面図

【発明を実施するための形態】

【0009】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。

【0010】

図１は、実施形態に係る隊列走行を行う複数の車両の模式図である。隊列走行とは、複数の車両が隊列を組んだ状態で走行することを表す。本実施形態において、複数の車両Ｖ１、Ｖ２、Ｖ３によって隊列が構成される。なお、以下の説明において、特に車両を限定（区別）する場合を除き、各車両の識別符号「１」、「２」、「３」を省略し、単に「車両Ｖ」と総称することがある。図１中の矢印Ｆは隊列の前方（進行方向）を示し、矢印Ｂは隊列の後方を示す。また、説明を分かり易くするため、本例では３台の隊列走行を例に挙げて説明するが、２台、或いは４台以上の隊列走行でも本例と同様に本技術を適用できる。

【0011】

車両Ｖは、各々が任意の種類の自動車であり、例えば乗用車、バス、貨物運搬用のトラック等の車両である。車両Ｖ１、Ｖ２、Ｖ３のそれぞれには、車載装置１０が搭載される。また、各車両には、車両の前方、後方、左右両側方を撮影する複数のカメラが設置される。例えば、各車両には、前カメラＦＣ（ＦＣ１、ＦＣ２、ＦＣ３）と、後カメラＢＣ（ＢＣ１、ＢＣ２、ＢＣ３）と、左カメラＬＣ（ＬＣ１、ＬＣ２、ＬＣ３）と、右カメラＲＣ（ＲＣ１、ＲＣ２、ＲＣ３）と、の４台が設置される。そして、各カメラは各々の画角Ａの範囲の画像を撮影する。「画角Ａ」は、カメラの撮影範囲であり、例えば前カメラＦＣ１の場合は「画角ＡＦ１」である。

【0012】

図２は、実施形態の隊列走行画像生成システム１の全体構成図である。隊列走行画像生成システム１は、隊列走行を行う複数の車両Ｖで構成される車両群を１台の車両に見立てて、その周囲画像を生成するシステムである。隊列走行画像生成システム１は、各車両の車載装置１０と、サーバ装置３０等に構成された隊列走行画像生成装置３１と、を含む。

【0013】

車載装置１０及び隊列走行画像生成装置３１は、移動体通信網等による無線ネットワークＮを介し、双方向通信可能に接続されている。

【0014】

図３は、図２の車両Ｖ及びサーバ装置３０の構成図である。サーバ装置３０は、隊列走行管理センターに設置された隊列走行管理装置であって、本実施形態において、隊列走行画像生成装置３１と、隊列走行指令制御を行う隊列走行指令装置３５と、が構成されている。車載装置１０は、車両Ｖの周囲画像を撮影して記録するドライブレコーダ１１と、車両Ｖの隊列走行制御を行う隊列走行装置１６と、が構成されている。

【0015】

当該サーバ装置３０は、物理サーバであっても良いし、仮想サーバであっても良い。なお、本実施形態において、サーバ装置３０には、隊列走行画像生成装置３１と隊列走行指令装置３５とが、各々の制御プログラムや必要なハード部品等を設置することにより実現されている。

【0016】

まず、隊列走行について説明する。隊列走行を行う複数の車両Ｖ１、Ｖ２、Ｖ３は、各車両の車載装置１０が互いに自律移動（自律走行）制御を行うとともに、他車両（特に直前の車両）の走行状態に応じた連携走行制御も行い、当該隊列走行が実現される。

【0017】

なお、隊列走行技術自体については、詳細な記載を省略するが、代表的な隊列走行制御では、各車両Ｖにおける車載装置１０の隊列走行装置１６及びサーバ装置３０の隊列走行指令装置３５によって、主に次に示すような走行処理が行われる。

【0018】

隊列走行指令装置３５は、各車両（隊列走行対象車両：隊列走行が可能な制御装置等が搭載された車両）Ｖからの隊列走行要請、各車両Ｖの位置、目的地（走行予定経路）等に応じて各車両Ｖに隊列走行指令を送信する。隊列走行指令には、隊列走行（グループ）を識別する隊列走行グループ識別コード、グループを形成する車両Ｖの識別コード、各車両Ｖの隊列走行順位（先頭から何番目を走行するか）の情報が含まれる。

【0019】

次に、車両Ｖに搭載された車載装置１０について、その詳細構成を説明する。

【0020】

隊列走行装置１６は、コントローラ１６１と、記憶部１６２と、走行系インターフェース１６３と、を備える、所謂コンピュータによって構成される。隊列走行装置１６には、他の制御装置と共用するセンサ等の外部機器として、カメラ１２と、通信部１３と、位置検出部１４と、各種センサ（センサ部１５）と、が接続されている。これらの隊列走行装置１６、カメラ１２、通信部１３、位置検出部１４、センサ部１５、及びドライブレコーダ１１は、車載装置１０を構成し、車両Ｖに搭載される。

【0021】

コントローラ１６１は、演算処理等を行うプロセッサで構成され、隊列走行装置１６における各種動作の制御を行う。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。

【0022】

記憶部１６２は、揮発性メモリ及び不揮発性メモリを含んで構成され、隊列走行制御に必要な各種データを記憶する。揮発性メモリは、例えばＲＡＭ（Random Access Memory）により構成される。不揮発性メモリは、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブにより構成される。

【0023】

走行系インターフェース１６３は、例えば車両用のＬＡＮの通信アダプタ等で構成され、車両Ｖにおけるエンジン、操舵装置、ブレーキ装置等の走行系機器２２を制御する走行系制御装置２１とのデータ通信接続を行うためのインターフェースである。そして、隊列走行装置１６からの隊列走行制御信号が走行系制御装置２１に送信され、走行系制御装置２１が走行系機器２２を制御し、車両Ｖの隊列走行が行われる。

【0024】

カメラ１２は、車両Ｖの周囲画像を撮影する。カメラ１２は、本実施形態において、車両Ｖの前方、後方、左右両側方に設置され、これらの方向を撮影する前方カメラＦＣ、後方カメラＢＣ、左カメラＬＣ、右カメラＲＣにより構成される（図１参照）。

【0025】

通信部１３は、通信ネットワークを介して他の装置（車両内部の各装置、及び外部装置）との間でデータの通信を行うためのインタフェースである。通信部１３は、サーバ装置３０（隊列走行管理センターに設置される）との無線通信を行うための無線通信装置を含み、例えば５Ｇ通信（第５世代移動通信システム）の移動体電話網の送受信装置で構成される。

【0026】

位置検出部１４は、ＧＰＳ（Global Positioning System）受信機や、車速センサ、加速度センサで構成された位置測定装置等で構成され、車両Ｖの位置を検出する。

【0027】

センサ部１５は、車輪回転速センサやステアリング角度センサ、加速度センサ等の各種状態検出センサにより構成され、車両の速度、移動方向等の車両状態を検出する。なお、センサ部１５を構成する各センサは、走行系制御装置２１のセンサとしても兼用される。

【0028】

ドライブレコーダ１１は、車両Ｖの走行中等における周囲画像を記録する。なお、ドライブレコーダ１１は、車両Ｖの走行中だけでなく、駐車中等、ユーザが設定した車両状態における周囲画像を記録する。また、ドライブレコーダ１１は、必要に応じて、例えば加速度センサによる車両加速が衝突発生レベルの値となった場合に、記録された画像が消去されないように制御される。

【0029】

ドライブレコーダ１１は、コントローラ１１１と、記憶部１１２と、を備える。コントローラ１１１は、演算処理等を行うプロセッサで構成され、ドライブレコーダ１１における各種動作の制御を行う。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。

【0030】

記憶部１１２は、揮発性メモリ及び不揮発性メモリを含んで構成され、ドライブレコーダ１１の制御に必要な各種データ、及びカメラ１２により撮影された周囲画像等を記憶する。揮発性メモリは、例えばＲＡＭ（Random Access Memory）により構成される。不揮発性メモリには、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブにより構成される。

【0031】

記憶部１１２には、カメラ１２により撮影された画像の画像データ１１２ａ、これら画像データに関する撮影位置、撮影方向、撮影日時、撮影状態（ズーム率等）等の撮影状態データ１１２ｂ、カメラ１２の取付状態、画角（撮影領域）等のカメラ特性データ１１２ｃが記憶される。

【0032】

走行系制御装置２１は、コントローラ、記憶装置等を含む、所謂コンピュータにより構成され、車両Ｖの各種走行系機器２２の動作を制御する装置である。走行系機器２２は、エンジン、操舵装置、ブレーキ等の装置であり、走行系制御装置２１からの制御信号に基づいて動作する。

【0033】

次に、サーバ装置３０について、その詳細構成を説明する。

【0034】

隊列走行指令装置３５は、コントローラ３５１と、記憶部３５２と、を備える、所謂コンピュータによって構成される。隊列走行指令装置３５には、他の制御装置と共用する外部機器として、通信部３２と、ヒューマンインターフェース３３と、が接続され、車載装置１０等の外部装置との通信、及び隊列走行画像生成装置３１等のサーバ装置３０内の装置との通信が可能となっている。

【0035】

コントローラ３５１は、演算処理等を行うプロセッサで構成され、隊列走行指令装置３５における各種動作の制御を行う。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。

【0036】

記憶部３５２は、揮発性メモリ及び不揮発性メモリを含んで構成され、隊列走行指令制御に必要な各種データを記憶する。揮発性メモリは、例えばＲＡＭ（Random Access Memory）により構成される。不揮発性メモリには、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブにより構成される。

【0037】

記憶部３５２には、隊列走行指令に必要な各種情報、例えば隊列走行グループの識別情報、各隊列走行グループを構成する各車両の識別情報や走行位置、走行方法情報等の隊列走行データ３５２ａが記憶される。また、記憶部３５２には、隊列走行経路を生成する、また各車両及び隊列走行グループの走行位置（走行中の道路情報）を把握する等のため、地図情報３５２ｂが記憶されている。

【0038】

隊列走行画像生成装置３１は、コントローラ３１１と、記憶部３１２と、を備える、所謂コンピュータによって構成される。隊列走行画像生成装置３１には、他の制御装置と共用する外部機器として、通信部３２、ヒューマンインターフェース３３と、が接続され、車載装置１０等の外部装置との通信、及び隊列走行指令装置３５等のサーバ装置３０内の装置との通信が可能となっている。

【0039】

コントローラ３１１は、演算処理等を行うプロセッサで構成され、隊列走行画像生成装置３１における各種動作の制御を行う。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。

【0040】

記憶部３１２は、揮発性メモリ及び不揮発性メモリを含んで構成され、隊列走行画像生成制御に必要な各種データを記憶する。揮発性メモリは、例えばＲＡＭ（Random Access Memory）により構成される。不揮発性メモリには、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブにより構成される。

【0041】

記憶部３１２には、隊列走行グループの各車両が撮影した画像の画像データ３１２ａ、当該各画像データ３１２ａの撮影位置、撮影方向、撮影日時等の撮影状態データ３１２ｂが記憶される。また、記憶部３１２には、隊列走行グループの各車両が撮影した画像を合成する処理に必要な各種データ、例えば各撮影画像の相対位置関係や画像の撮影倍率の関係を示す画像合成用データ３１２ｃが記憶される。なお、本実施形態では、画像データ３１２ａ、撮影状態データ３１２ｂ、及び画像合成用データ３１２ｃを別データとしている（各データはリンク用の共通データが付され、各々関連付けされている）が、一体化したデータ（画像毎に１レコードとしてまとめられたデータ）としても良い。

【0042】

次に、隊列走行の動作・制御について説明する。隊列走行を行う複数の車両Ｖ１、Ｖ２、Ｖ３は、各車両の車載装置１０が互いに自律移動（自律走行）制御を行うとともに、他車両（特に直前の車両）の走行状態に応じた連携走行制御も行い、当該隊列走行が実現される。

【0043】

なお、隊列走行技術自体については、詳細な記載を省略するが、代表的な隊列走行制御では、各車両Ｖにおける車載装置１０の隊列走行装置１６及びサーバ装置３０の隊列走行指令装置３５によって、主に次に示すような走行処理が行われる。

【0044】

隊列走行指令装置３５は、各車両（隊列走行対象車両：隊列走行が可能な制御装置等が搭載された車両）Ｖからの隊列走行要請、各車両Ｖの位置、各車両Ｖが走行している道路の状況（隊列走行対象道路であるか否か、渋滞状況等）、目的地（走行予定経路）等の情報を受信し、当該受信した情報に応じて適切な隊列走行条件（隊列走行グループ編成、隊列走行経路、隊列走行における車両走行順位順）を設定して、各車両Ｖにこれら隊列走行条件を含む隊列走行指令を送信する。つまり、隊列走行指令装置３５は、隊列走行指令として、隊列走行（グループ）を識別する隊列走行グループ識別コード、グループを形成する車両Ｖの識別コード、各車両Ｖの隊列走行順位（先頭から何番目を走行するか）、隊列走行で走行する経路情報、等の情報を隊列走行を行う車両Ｖの隊列走行装置１６に送信する。

【0045】

隊列走行装置１６は、自車両に関する情報である自車両（車体）情報を取得する。自車両情報は、カメラ１２が撮影した周囲画像データ、位置検出部１４が検出した車両位置データ及び進行方向データ、センサ部１５が検出した車速データ、操舵方向データ、前方車両との相対位置データ（前方車両の距離と方向）等のデータである。また、各車両Ｖの隊列走行装置１６は、車車間通信によって、隊列走行グループにおける他車両に関する上述の自車両情報である他車両情報を取得する。取得した各種情報は、記憶部１６２に隊列走行データ１６２ａとして記憶される。

【0046】

また、隊列走行装置１６は、通信部１３を介してサーバ装置３０（隊列走行指令装置３５）から隊列走行指令を受信し、隊列走行指令に含まれる自車両がメンバーである隊列走行グループの識別コード、グループを形成する車両Ｖの識別コード、各車両Ｖの隊列走行順位の情報、隊列走行で走行する経路情報等を、記憶部１６２に隊列走行データ１６２ａとして記憶する。

【0047】

隊列の先頭車両Ｖ１の隊列走行装置１６では、隊列走行指令に含まれる自車両の隊列走行順位データ（隊列内走行順位１位：先頭）に基づき隊列における先頭車両Ｖ１であることを認識し、指令された隊列走行経路に沿って自動走行を行う。なお、自動走行は、経路と自車位置と地図とのマッチング処理に基づき、またカメラ１２で撮影された周囲画像の認識処理結果（道路における走行車線検出、障害物検出の結果等）に基づき、走行系制御装置２１を介して走行系機器２２を制御することにより実現できる。

【0048】

隊列の後続車両Ｖ２、Ｖ３の隊列走行装置１６は、隊列走行指令に含まれる自車両の隊列（内）走行順位データ（隊列走行順位２位、隊列走行順位３位）に基づき、隊列における後続（追従）車両Ｖ２、Ｖ３であることを認識し、指令された隊列走行順位で自動追従走行を行う。

【0049】

自動追従走行は、自車両の直前を走行する車両（隊列走行順位が１つ上位の車両）に追従走行する。自車両Ｖｎと自車両の直前を走行する車両Ｖｎ－１との間の車間距離と方向関係、つまり自車両Ｖｎの進行方向を基準方向とする直前を走行する車両Ｖｎ－１との相対的位置関係を、自車両の周辺情報（カメラ１２の撮影画像）、或いは車車間通信により得た車両Ｖｎ－１の車両データ（位置、進行方向（車両の向き）データ）等に基づいて検出される。そして、後続車両Ｖｎの隊列走行装置１６は、検出された車間距離を所定の距離範囲内に保ちながら、また走行方向が先行車両Ｖｎ－１方向となるように、走行系制御装置２１を介して走行系機器２２を制御する車両Ｖが自車両の直前を走行する車両Ｖに追従して走行するように制御される。

【0050】

なお、後続車両Ｖ２、Ｖ３の隊列走行装置１６は、割り込み車両等により隊列から逸脱した場合には、先頭車両Ｖ１の隊列走行装置１６と同様に指令された隊列走行経路に沿って自動走行を行い、適切な状況となった場合に隊列走行に復帰する自動走行制御を行う。

【0051】

このようにして、各車両Ｖにおける走行処理により、複数（本実施形態では３台）の車両Ｖは、隊列を組んだ状態で目的地に向けて走行する。

【0052】

次に、隊列走行車両群の周囲画像を生成するための各種処理について説明する。

【0053】

ドライブレコーダ１１は、コントローラ１１１と、記憶部１１２と、を備える。本例では、ドライブレコーダ１１は、図１に示す車両Ｖの前方、後方、左右両側方を撮影する４台のカメラ１２（前カメラＦＣ、後カメラＢＣ、左カメラＬＣ、右カメラＲＣ）と接続されている。

【0054】

コントローラ１１１は、カメラ１２の撮影した画像を記憶部１１２に記憶する。

【0055】

カメラ１２は、監視領域の画像を撮影する必要があるため、当該監視領域がカメラ１２の撮影範囲に含まれるように、適切な数、適当な性能（適当な画角等）のカメラ１２が、適当な位置・方向での車両Ｖに設置される。具体的には、本実施形態においては、一例として、上下方向の画角が１６０度、左右方向（対車両の前後方向）の画角が１６０度のカメラ１２を、車両の前面、後面、両側面に設置する。なお、一般的なカメラの画角はそのレンズ特性に基づき全方向（レンズ軸回りの全方向）に画角は同じである。また、各カメラ１２の向きが、水平面基準に下方２０度の向きに、車両Ｖにおけるカメラ設置面の法線方向の向きになるように（車両Ｖの前後左右方向になるように）、各カメラ１２が車両Ｖに設置される。このような配置による車両Ｖへのカメラ１２の取り付けにより、監視に必要な車両Ｖの周囲画像を略撮影することができる。

【0056】

なお、カメラ１２の画角、取り付け状態については、上記以外にも適宜、適当な画角、取り付け状態としても良い。例えば、１８０度カメラ（所謂魚眼レンズ）を用いれば、車両側面全領域をカバーできる。しかし、広角になる程カメラの周辺部分は歪が大きくなるため、車両種別等に適したカメラが使用するのが好ましい。また、カメラ１２には、上述のような画像の歪を補正する画像処理機能（カメラの特性に応じて予め補正処理内容が設定されている）が付加されており、出力画像の歪は除去されている。

【0057】

そして、このようなカメラ１２の取付状態（取付位置、向き等）のデータ、及びカメラ画角、ズーム等のカメラ特性のデータは、カメラ特性データ１１２ｃとして、記憶部１１２に記憶されている。

【0058】

記憶部１１２には、カメラ１２によって撮影された車両Ｖの周囲画像を示す画像データ１１２ａと、当該画像データの撮影状態データ１１２ｂと、が記憶される。なお、画像データ１１２ａは、動画データである。

【0059】

そして、記憶部１１２に記憶された画像データ１１２ａは、外部のドライブレコーダ撮影画像の閲覧装置等から読み出され、当該閲覧装置の表示パネルに表示して、車両走行状態の確認等に利用される。なお、記憶部１１２に記憶された撮影状態データ１１２ｂ（撮影位置、撮影日時データ等）は、画像データ１１２ａの選択（検索）のために利用される。

【0060】

記憶部１１２に記憶された画像データ１１２ａ、撮影状態データ１１２ｂ、カメラ特性データ１１２ｃは、隊列走行画像生成装置３１に送信されて、隊列走行画像（隊列走行車両の周囲画像）の生成処理に使用される。

【0061】

次に、隊列走行画像の生成方法について説明する。以下の説明例では、画像データ１１２ａ、撮影状態データ１１２ｂ、カメラ特性データ１１２ｃを、サーバ装置３０の隊列走行画像生成装置３１に送信し、隊列走行画像生成装置３１がこれらデータに基づき隊列走行画像を生成する方法について説明する。図４は、隊列走行画像生成処理の各段階で使用される各データテーブルの一例を示す図であり、データの変遷を示す図でもある。

【0062】

図４Ａに示す撮影動画テーブルＡＴＢは、車両Ｖ及びドライブレコーダ１１の特性情報、及びドライブレコーダ１１が収集（撮影）した画像（動画）データのデータテーブルであり、ドライブレコーダ１１の記憶部１１２に構成される。

【0063】

撮影動画テーブルＡＴＢは、記憶部１１２において画像データ１１２ａを記憶する。撮影動画テーブルＡＴＢは、画像ＩＤ、ファイルパス、撮影期間、撮影位置、カメラ向き、車両ＩＤの各データを記憶する。画像ＩＤデータは、カメラ１２で撮影された動画ファイル（データ）を識別するためのデータである。画像ＩＤデータは主キーの働きを持ち、画像ＩＤデータ毎にデータレコードが形成され、当該データレコードに画像ＩＤデータに対応するファイルパス、撮影期間、撮影位置、カメラ向きの各データが記憶される。

【0064】

ファイルパスデータは、動画データ本体の記憶場所を示すデータであり、当該記憶場所をアクセスすることで対応する動画データ本体を取得できる。つまり、画像ＩＤデータに対応する動画データ本体を記憶することと同等の意味をなす。撮影期間データは、動画ファイルの動画撮影期間を示すデータであり、撮影開始日時と撮影終了日時のデータから構成される。撮影位置データ、動画ファイルの動画の撮影位置を示すデータであり、撮影開始地点（始点）と撮影終了地点（終点）のデータから構成される。カメラ向きは、動画ファイルの動画の撮影を行ったカメラを示すデータであり、車両Ｖの前方、後方、左側方、右側方のどの方向を撮影するカメラか、つまり車両Ｖのどの方向の画像であるかを示す。車両ＩＤは、自車両の識別データである。

【0065】

このような撮影動画テーブルＡＴＢのデータにより、ユーザは、ドライブレコーダ１１における撮影画像を、撮影時間、撮影位置（地域）、車両を起点とする撮影方向を指定して、該当する撮影画像（動画）を見ることができる。

【0066】

撮影動画テーブルＡＴＢ（図４Ａ参照）、カメラ特性テーブルＣＡＴＢ（図４Ｂ参照）、隊列走行テーブルＣＯＴＢ（図４Ｃ参照）、フレームテーブルＦＴＢ（図４Ｄ参照）、及び撮影状態テーブルＰＴＢ（図４Ｅ参照）における、各データの登録は次のように行われる。

【0067】

ドライブレコーダ１１のコントローラ１１１は、各カメラ１２の出力する撮影画像データを入力して、入力画像データの各フレームにタイムスタンプを付加し、記憶部１１２に記憶する。また、コントローラ１１１は、各フレームのタイムスタンプとの一致比較が可能な時間間隔で、車両位置、車両向きデータを位置検出部１４及びセンサ部１５から入力し、入力時刻とともに撮影状態テーブルＰＴＢに記憶する。なお、この入力時間間隔は、車両位置、車両向きデータのタイムラグが十分に小さくなる間隔であり、処理負荷が大きくなり過ぎない間隔、例えば０.１秒間隔程度が好ましい。なお、ナビゲーション装置の車両位置計測間隔に合わせるのも、計時処理数が増えることによる負荷を抑制する効果があり、効果的である。

【0068】

そして、コントローラ１１１は、予め定めた期間（たとえばファイル化に適した時間間隔）の画像データをまとめて画像ファイルを生成し、また当該画像ファイルの画像における撮影期間（撮影開始日時、撮影終了日時）と撮影位置（撮影開始地点、撮影終了地点）のデータを撮影状態テーブルＰＴＢのデータに基づき算出して、画像ファイルに付加データとして追加する。また、コントローラ１１１は、画像入力元のカメラ１２のカメラ向きのデータ（入力ポートやプログラム内容により判断）と、自車の車両ＩＤ（自車情報として、予め記憶部１１２等に記憶しておく）を画像ファイルに付加データとして追加する。

【0069】

そして、コントローラ１１１は、撮影動画テーブルＡＴＢにデータレコードを生成し、これらの画像ファイル関連データを画像ＩＤデータを付加して記憶する。

【0070】

図４Ｂに示すカメラ特性テーブルＣＡＴＢは、車両Ｖに設置された各カメラ１２の特性データのデータテーブルであり、ドライブレコーダ１１の記憶部１１２に構成される。

【0071】

カメラ特性テーブルＣＡＴＢは、記憶部１１２において各カメラ１２の特性データを記憶する。カメラ特性テーブルＣＡＴＢは、カメラＩＤ、車両ＩＤ、カメラ向き、カメラ取付状態、画角、ズームの各データを記憶する。カメラＩＤデータは、車両Ｖに設置されたカメラ１２を識別するためのデータである。カメラＩＤデータは主キーの働きを持ち、カメラＩＤデータ毎にデータレコードが形成され、当該データレコードにカメラＩＤデータに対応する車両ＩＤ、カメラ向き、カメラ取付状態、画角、ズームの各データが記憶される。

【0072】

車両ＩＤデータは、カメラ１２が搭載された車両Ｖの識別コードである。同じ車両Ｖに搭載されるカメラであるので、カメラ特性テーブルＣＡＴＢには、車載装置１０が搭載された車両Ｖの車両ＩＤデータ、つまり同じＩＤデータが記憶される。カメラ方向データは、カメラ１２の車両Ｖを起点とした撮影方向のデータ（前後左右）である。なお、カメラ方向データは、撮影動画テーブルＡＴＢにおけるカメラ向きデータと同じコード（前・後・左・右）が使用されるので、カメラ方向データとカメラ向きデータが同じコードである撮影動画テーブルＡＴＢとカメラ特性テーブルＣＡＴＢのデータレコードは関連付けられる。

【0073】

カメラ取付状態データは、車両Ｖに対するカメラ１２の取付状態を示すデータであって、取付位置（車両前後左右上下方向詳細位置）、撮影方向（詳細角度：車両前水平方向角、上下方向角）のデータであり、撮影画像範囲の把握、撮影画像の視点位置・視方向を移動した補正画像等を生成する画像処理に用いられる。

【0074】

画角データは、カメラ１２の撮影画像の撮影（角度）範囲を示すデータであり、撮影画像範囲の把握、合成画像を生成する画像処理（画像の位置合わせ、切り出し処理）等に用いられる。ズームデータは、カメラ１２の撮影画像の撮影倍率を示すデータで、合成画像を生成する画像処理（画像のサイズ合わせ）等に用いられる。

【0075】

カメラ特性テーブルＣＡＴＢの各データは、車両Ｖのメーカー、ディーラ、ドライブレコーダの取付業者等の作業者、あるいはユーザの入力操作等により登録されることになる。コントローラ１１１は、作業者の入力操作を受け付け、入力操作内容に応じてカメラ特性テーブルＣＡＴＢにデータレコードを生成し、入力された各データを記憶する。

【0076】

図４Ｃに示す隊列走行テーブルＣＯＴＢは、車両Ｖの隊列走行状況データのデータテーブルであり、隊列走行装置１６の記憶部１６２に構成される。隊列走行テーブルＣＯＴＢは、記憶部１６２において車両Ｖの隊列走行状況データ（履歴）を記憶する。隊列走行テーブルＣＯＴＢは、隊列走行ＩＤ、車両ＩＤ、期間、隊列順位の各データを記憶する。

【0077】

隊列走行ＩＤデータは、隊列走行を識別データである。隊列走行ＩＤデータは主キーの働きを持ち、隊列走行ＩＤデータ毎にデータレコードが形成され、当該データレコードに隊列走行ＩＤデータに対応する車両ＩＤ、期間、隊列順位の各データが記憶される。

【0078】

車両ＩＤデータは、車両を識別するデータであり、ここでは自車両のデータが記憶される。なお、車両ＩＤデータは、他テーブルにおける車両ＩＤデータと同じ体系のデータ（コード）が使用される。期間データは、隊列走行の実行期間のデータであり、開始日時と終了日時のデータからなる。隊列順位データは、隊列走行時における（自）車両の走行順位（位置）であり、先頭車両の場合は１、最後尾の場合は隊列を構成する車両数となる。

【0079】

隊列走行テーブルＣＯＴＢの各データは、サーバ装置３０の隊列走行指令装置３５から送信される隊列走行関係情報（隊列走行指令等）に基づくデータである。コントローラ１１１は、隊列走行指令装置３５から送信される隊列走行関係情報を通信部１３を介して受信し、隊列走行テーブルＣＯＴＢにデータレコードを生成し、隊列走行関係情報における対応する各データを記憶する。なお、車両ＩＤデータは、自車両に対する車両データであり、車載装置１０の記憶部（記憶部１１２或いは記憶部１６２）に予め記憶（設定）されている。コントローラ１１１は、この車載装置１０の記憶部に予め記憶されている自車両Ｖの車両データを隊列走行テーブルＣＯＴＢに記憶する。

【0080】

画像（動画）データは、複数のフレーム（静止画）により構成されるが、この画像データにおけるデータ構造について、次に説明する。

【0081】

図４Ｄは、フレームテーブルＦＴＢの一例を示す図であり、画像データにおけるフレームデータをテーブル形式で示した模式図である。図４Ｅは、撮影状態テーブルＰＴＢの一例を示す図であり、画像データにおける各フレームの撮影時間等の付加データをテーブル形式で示した模式図である。

【0082】

画像（動画）データは、複数のフレーム（静止画）により構成され、画像が加工される場合は各フレームに対して画像処理が施される。以下、フレームデータを模式的にテーブルデータで表して、画像処理等の説明を行う。なお、実際の実際の処理においても、メモリにフレームデータを展開して、以下の説明に示すような処理等が行われる。

【0083】

図４Ｄに示すフレームテーブルＦＴＢは、記憶部１１２において各カメラ１２の撮影した動画データを形成するフレーム関連データを記憶する。フレームテーブルＦＴＢは、フレームＩＤ、画像ＩＤ、フレーム画像データ、タイムスタンプを記憶する。換言すれば、動画データは、フレームＩＤ、画像ＩＤ、フレーム画像データ、タイムスタンプからなるデータ群で構成され、フレームテーブルＦＴＢで示した構造のテーブルに記憶される。

【0084】

フレームＩＤは、フレームデータを識別するためのデータである。フレームＩＤデータは、主キーの働きを持ち、フレームＩＤデータ毎にデータレコードが形成され、当該データレコードにフレームＩＤデータに対応する画像ＩＤ、フレーム画像データ、タイムスタンプの各データが記憶される。

【0085】

画像ＩＤデータは、画像（動画）データの識別コードで、撮影動画テーブルＡＴＢにおける画像ＩＤデータと同じコードデータが使用される。つまり、画像ＩＤデータを持つフレームテーブルＦＴＢのデータレコードと撮影動画テーブルＡＴＢのデータレコードとは関連付けられる。フレーム画像データは、静止画本体の画像データである。

【0086】

タイムスタンプデータは、フレーム画像の撮影時間データで、対応するフレーム画像における動画撮影開始時刻からの経過時間である。したがって、当該動画撮影開始時刻データにタイムスタンプデータを加算することにより、フレーム画像の絶対時刻（例えば、世界標準時）を求めることができる。なお、タイムスタンプデータは、画像（動画）データの始点からの経過時間であるため、コントローラ１１１が、ドライブレコーダ１１の計時機能（内蔵時計の計時出力、ＧＰＳ受信機の受信日時データ）に基づき、画像撮影開始時点から各フレーム撮影時点までの時間を計測し、算出する。

【0087】

図４Ｅに示す撮影状態テーブルＰＴＢは、記憶部１１２において各カメラ１２の撮影した動画データを形成するフレーム関連データに付加する撮影関連データを記憶する。撮影状態テーブルＰＴＢは、絶対時刻、車両位置、車両向きを記憶する。

【0088】

絶対時刻は、例えば世界標準時データ等が使用され、車載装置１０が持つ計時装置の出力する日時データや、ＧＰＳ受信機が受信した日時時刻データが使用される。なお、絶対時刻は、主キーの働きを持ち、予め定めた所定時間間隔（制御に適した時間間隔で、本実施例の場合はフレームの撮影時間間隔撮影（例えば、フレーム周波数６０Ｈｚ））で計測される。絶対時刻の計測毎にデータレコードが形成され、当該データレコードに絶対時刻データと、当該絶対時刻における車両位置、車両向きの各データが記憶される。

【0089】

したがって、フレームテーブルＦＴＢのタイムスタンプデータを前述のように絶対時刻データに変換して、撮影状態テーブルＰＴＢの絶対時刻データとを比較し、同じ絶対時刻データのフレームテーブルＦＴＢと撮影状態テーブルＰＴＢのデータレコードを関連付けることができる。

【0090】

車両位置データは、車両位置のデータである。車両向きデータは、車両（前方）が向いている絶対方向（北を起点とした右回りの角度）のデータである。

【0091】

コントローラ１１１は、上述の所定時間間隔で、位置検出部１４、センサ部１５等から車両の位置データ、車両向きを入力し、フレームテーブルＦＴＢにデータレコードを生成して、絶対時刻、車両位置、車両向きを記憶する。

【0092】

なお、撮影状態テーブルＰＴＢは、フレームテーブルＦＴＢと別構成としたが、フレーム画像撮影時の車両位置データ、車両方向データをフレームＩＤのデータレコードに記憶することにより、フレームテーブルＦＴＢに統合することも可能である。

【0093】

車載装置１０（ドライブレコーダ１１）は、通信部１３により、これらの撮影動画テーブルＡＴＢ、カメラ特性テーブルＣＡＴＢ、フレームテーブルＦＴＢ、撮影状態テーブルＰＴＢのデータをサーバ装置３０（隊列走行画像生成装置３１）に送信する。そして、隊列走行画像生成装置３１（コントローラ３１１）は、これらデータを画像データ３１２ａ、撮影状態データ３１２ｂとして、記憶部３１２に記憶する。

【0094】

隊列走行画像生成装置３１は、各車両Ｖから収集したデータ（撮影動画テーブルＡＴＢ、カメラ特性テーブルＣＡＴＢ、フレームテーブルＦＴＢ、撮影状態テーブルＰＴＢのデータ）に基づき、隊列走行周囲画像を生成する。以下に、隊列走行周囲画像の生成方法を説明する。

【0095】

隊列走行画像生成装置３１（コントローラ３１１）は、隊列走行周囲画像生成の処理を行うが、説明を分かり易くするために概念的、模式的にデータの処理内容、変遷を示して説明する。

【0096】

図４Ｆは、合成画像生成処理テーブルＩＴＢの一例を示す図である。図４Ｇは、合成画像生成処理統合テーブルＵＩＴＢの一例を示す図である。図４Ｆに示す合成画像生成処理テーブルＩＴＢ、及び図４Ｇに示す合成画像生成処理統合テーブルＵＩＴＢは、隊列走行周囲画像生成の処理のためのデータを整理した形式で模式的に示したものであり、記憶部３１２において各データが展開されて同等の処理が行われる。なお、図４Ｆ及び図４Ｇのそれぞれにおける破線矢印は、矢印が指す両側の各データレコードが連続して繋がっていることを意味する。

【0097】

合成画像生成処理テーブルＩＴＢは、フレームＩＤ、画像ＩＤ、フレーム画像データ、絶対時刻、車両ＩＤ、車両位置、車両向き、カメラ向き、カメラ取付状態、画角、ズーム、隊列ＩＤ、及び隊列順位のデータを記憶する。

【0098】

コントローラ３１１は、撮影動画テーブルＡＴＢ、カメラ特性テーブルＣＡＴＢ、フレームテーブルＦＴＢ及び撮影状態テーブルＰＴＢのデータにおける各テーブルのデータレコードを関連づける画像ＩＤ、車両ＩＤ、カメラ向き、タイムスタンプ、絶対時刻のデータを用いて各テーブルのデータレコードを関連づけて、合成画像生成処理テーブルＩＴＢにフレームＩＤを主キー（レコード識別データ）とするデータレコードを生成し、各データを記憶する。なお、タイムスタンプについては、上述のように画像（動画）データの撮影期間（開始日時）データに基づき、絶対時刻に変換して記憶する。

【0099】

合成画像生成処理統合テーブルＵＩＴＢは、１枚（１フレーム）の隊列走行の周囲静止画像（フレーム）を生成するために、隊列走行をなす各車両の画像を収集して記憶したデータテーブルである。合成画像生成処理統合テーブルＵＩＴＢは、フレームＩＤ、画像ＩＤ、フレーム画像データ、絶対時刻、車両ＩＤ、車両位置、車両向き、カメラ向き、カメラ取付状態、画角、ズーム、隊列ＩＤ、及び隊列順位のデータを記憶する。

【0100】

合成静止画を作成するには、同じ隊列に属する各車両Ｖの同じ時間におけるフレームデータが必要となる。したがって、コントローラ３１１は、各車両Ｖに対する合成画像生成処理テーブルＩＴＢから、隊列ＩＤデータと絶対時刻データとが同じであるデータレコードを抽出して、合成画像生成処理統合テーブルＵＩＴＢのデータレコードとする。

【0101】

次に、合成画像生成処理統合テーブルＵＩＴＢのデータを用いて隊列走行の周囲静止画像（隊列走行画像）を合成する処理について説明する。

【0102】

コントローラ３１１は、各静止画の合成位置を決定する。この合成位置は、各車両Ｖの隊列順位データ及びカメラ取付状態データに基づいて決定される。具体的には、ｎ台の隊列走行の場合、先頭車両前方画像、先頭車両の右側方画像、２番目の走行車両の右側方画像、・・・、ｍ番目の走行車両の右側方画像、・・・、最後尾（ｎ番目）の走行車両の右側方画像、最後尾車両の後方画像、最後尾車両の左側方画像、ｎ－１番目の走行車両の左側方画像、・・・、ｍ番目の走行車両の左側方画像、・・・、先頭車両の左側方画像、先頭車両前方画像の順（位置）で、画像合成を行うことが決定される。そして、この順（位置）に従って、コントローラ３１１は、画像を隣接する画像を順次合成する、すなわち画像合成後に合成した画像に隣接する画像を順次合成する。

【0103】

なお、左右の側方画像だけを合成して表示する方法もある。その場合は、右側方画像、及び左側方画像を隊列順に各車両Ｖの左右各側方画像を合成する。

【0104】

次に、２画像（静止画）の合成方法について説明する。なお、この２画像の合成方法を順次合成対象の画像に適用して、全ての合成対象画像の合成画像を完成させる、すなわち３枚以上の画像を合成する。さらに、合成した各合成画像（静止画）を動画のフレームとしてタイムスタンプ（絶対時刻）順で順次表示することで合成画像（動画）の再生を行うことができる。言い換えれば、コントローラ３１１は、撮影時間順に基づいて合成画像を順次再生する動画を生成する。

【0105】

図５は、２画像の合成方法を説明する説明図であり、スティッチングという手法を使用したものである。

【0106】

図５Ａは、隊列走行車両の周囲状況（右側）を示す図である。本例では、図５Ａに示すように、例えば隊列走行車両の右側に、隊列に属さない他車両Ｘ１、Ｘ２、Ｘ３が存在している状況について説明する。なお、本例の隊列走行車両を構成する車両は、図１に示す車両Ｖ１、Ｖ２、Ｖ３である。

【0107】

隊列走行車両を構成する各車両Ｖのカメラ（右カメラＲＣ１、ＲＣ２、ＲＣ３）は、図５Ａに示す風景を撮影する。同じ時間で、車両Ｖ１の右カメラＲＣ１が撮影した周囲画像をフレーム画像ＦＰ０１（図５Ｂ参照）、車両Ｖ２の右カメラＲＣ２が撮影した周囲画像をフレーム画像ＦＰ０２（図５Ｂ参照）とする。コントローラ３１１は、隊列走行を行う複数の車両Ｖで構成される隊列走行車両で撮影された周囲画像と、当該周囲画像の撮影時間とを隊列走行車両から取得する。

【0108】

図５Ｂは、隊列走行車両を構成する各車両Ｖ１、Ｖ２で撮影された周囲画像（ＦＰ０１、ＦＰ０２）の拡大及び縮小処理を示す説明図である。コントローラ３１１は、図５Ｂに示すように、合成画像生成処理統合テーブルＵＩＴＢから対応するカメラのズームデータを読み出し、当該ズームデータを用いてフレーム画像ＦＰ０１及びフレーム画像ＦＰ０２を規定のサイズに拡大及び縮小処理を行い、サイズ補正されたフレーム画像ＣＦＰ０１及びフレーム画像ＣＦＰ０２を生成する。具体的には、ズームデータの逆数倍（処理に適当な画像サイズになる係数）の画像の拡大処理を行う。

【0109】

図５Ｃは、２つの周囲画像の位置合わせ処理を示す説明図である。コントローラ３１１は、図５Ｃに示すように、フレーム画像ＣＦＰ０１及びフレーム画像ＣＦＰ０２における同一物体画像の特徴点を画像認識処理により検出する。例えば、コントローラ３１１は、各フレーム画像の画像エッジを求めて、当該エッジ形状が同じと判断できる部分を同一物体として抽出し、当該の物体の代表点（中心点）を特徴点とする。図５Ｃに示す例では、中央に位置する他車両Ｘ２のドアミラーＸ２ｍと前輪タイヤＸ２ｗの中心とが特徴点ＣＨＰ１１、１２、２１、２２として抽出される。

【0110】

そして、コントローラ３１１は、フレーム画像ＣＦＰ０１の特徴点ＣＨＰ１１、１２の位置関係と、フレーム画像ＣＦＰ０２の特徴点ＣＨＰ２１、２２の位置関係とが同じになるように、フレーム画像ＣＦＰ０１及びフレーム画像ＣＦＰ０２の拡縮、回転、部分的伸縮等の処理を行う。つまり、コントローラ３１１は、特徴点ＣＨＰ１１と特徴点ＣＨＰ２１、及び特徴点ＣＨＰ１２と特徴点ＣＨＰ２２が重なるようにフレーム画像ＣＦＰ０１及びフレーム画像ＣＦＰ０２を重ね合わせると、各画像内の同じ物体が同一位置となるように各画像の調整を行う。

【0111】

そして、コントローラ３１１は、この調整が行われたフレーム画像ＣＦＰ０１及びフレーム画像ＣＦＰ０２を結合して、図５Ｄに示す合成画像ＣＯＭＰ０１を生成する。図５Ｄは、隊列走行車両の周囲画像（合成画像ＣＯＭＰ０１）を示す図である。

【0112】

なお、コントローラ３１１は、この結合処理の前に、フレーム画像ＣＦＰ０１における特徴点ＣＨＰ１１、１２を通る線よりフレーム画像ＣＦＰ０２側の領域を適当に切り取り、除去しても良い。また、コントローラ３１１は、この結合処理の前に、フレーム画像ＣＦＰ０２における特徴点ＣＨＰ２１、２２を通る線よりフレーム画像ＣＦＰ０１側の領域を適当に切り取り、除去しても良い。つまり、合成相手先のフレーム画像に同じ画像が存在する領域については、除去してから合成しても良い。この除去処理を行えば、微妙な位置ずれによる２重画像（画像ブレ）の発生を防止できる。

【0113】

そして、コントローラ３１１は、同様の処理により、先頭車両前方画像、先頭車両の右側方画像、２番目の走行車両の右側方画像、・・・、最後尾（ｎ番目）の走行車両の右側方画像、最後尾車両の後方画像、最後尾車両の左側方画像、ｎ－１番目の走行車両の左側方画像、・・・、先頭車両の左側方画像、先頭車両前方画像の順（位置）で、画像合成を行う。これにより、コントローラ３１１は、ｎ台の隊列走行車両群全体の周囲画像、つまり隊列走行車両全体を１台の車両と見立てた周囲画像を生成する。

【0114】

このようにして、コントローラ３１１は、隊列走行車両の各車両Ｖの走行順に基づき、撮影時間が同じ時間である、各車両Ｖで撮影された複数の周囲画像を合成し、隊列走行車両の周囲の合成画像（周囲画像）を生成する。詳細に言えば、コントローラ３１１は、撮影方向が同じ方向であり、撮影時間が同じ時間である、各車両Ｖで撮影された複数の周囲画像を合成し、隊列走行車両の周囲の合成画像（周囲画像）を生成する。すなわち、隊列走行車両の周辺監視に適した画像を提供することが可能である。

【0115】

ところで、隊列走行車両の場合、隊列走行を構成する各車両間の相対位置関係（車間距離・角度（向き））は時々刻々変化する。このため、画像合成に用いる各車両Ｖが撮影した画像の画角に課題がある。つまり、各車両Ｖのカメラ１２が撮影する範囲の重なり状態は、車間距離、各車両の向きの角度差によって変化する。例えば、極端な場合、各カメラ１２の撮影画像の重なりが無くなり、連続した合成画像（繋がった風景の画像）が生成できなくなる。また、逆に各カメラ１２の撮影画像の重なりが大きくなりすぎると、例えば位置合わせのために行う画像の特徴点の検出処理範囲が広くなるなど、画像合成処理の処理負荷が大きくなるという課題が発生する。

【0116】

このため、各カメラ１２の撮影画像範囲、所謂撮影画像の画角を適当に調整することが望まれる。なお、本実施形態においては、カメラ１２は固定型（撮影方向は車両Ｖに対して固定されている）であるため、画角の調整は撮影画像の切り出し位置（範囲）の調整となる。また、撮影方向をモータ等の回転機構により調整できるカメラ１２の場合は、カメラ１２の向きを調整することにより画角を調整でき、さらに撮影画像の切り出し位置（範囲）の調整も合わせて行うことも可能である。この画角調整の具体的方法については後述する。

【0117】

次に、隊列走行周囲画像の生成のための構成例、及びコントローラが行う処理について説明する。なお、各処理ステップの詳細については、上記のように説明した各データの処理等となる。

【0118】

隊列走行画像生成装置３１のコントローラ３１１は、その機能として、取得部３１１ａと、抽出部３１１ｂと、調整部３１１ｃと、合成部３１１ｄと、を備える。本実施形態においては、コントローラ３１１の機能は、記憶部３１２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

【0119】

取得部３１１ａは、通信部３２を介して、複数の車両Ｖのそれぞれで撮影された周囲画像のデータ、各カメラ１２に関するデータを取得する。また、隊列走行指令装置３５から、隊列走行に関するデータを取得する。つまり、撮影動画テーブルＡＴＢ（図４Ａ参照）、カメラ特性テーブルＣＡＴＢ（図４Ｂ参照）、隊列走行テーブルＣＯＴＢ（図４Ｃ参照）、及び撮影状態テーブルＰＴＢ（図４Ｅ参照）のデータを取得する。なお、フレームテーブルＦＴＢ（図４Ｄ参照）のデータは、撮影動画テーブルＡＴＢのデータに含まれるものである。

【0120】

抽出部３１１ｂは、隊列走行車両（周囲）画像を生成するに際し、取得部３１１ａによって取得されたデータの中から隊列走行周囲画像の合成に用いる画像を抽出する。具体的には、撮影動画テーブルＡＴＢ（フレームテーブルＦＴＢ）、カメラ特性テーブルＣＡＴＢ、隊列走行テーブルＣＯＴＢ、及び撮影状態テーブルＰＴＢに基づき、関連付け用のデータで関連付いている各データテーブルのデータレコードのデータを収集して、合成画像生成処理テーブルＩＴＢの各データレコードを生成する。そして、合成画像生成処理テーブルＩＴＢから、隊列ＩＤデータと絶対時刻データが同じであるデータレコードを抽出し、合成画像生成処理統合テーブルＵＩＴＢを生成する。なお、説明を分かり易くするため、図４Ｆに示す合成画像生成処理統合テーブルＵＩＴＢは、１つの合成画像（静止画（フレーム））を生成するためのデータレコードだけを表示した形態で示しているが、各合成画像毎に必要なデータレコードが収集されてこの合成画像生成処理統合テーブルＵＩＴＢが生成されることになる。

【0121】

調整部３１１ｃは、抽出部３１１ｂが抽出して生成した合成画像生成処理統合テーブルＵＩＴＢにおける各フレーム画像に対して画角の調整を行う。なお、画角調整の具体的方法は後述する。

【0122】

合成部３１１ｄは、調整部３１１ｃによって画角が調整された画像を合成し、合成静止画（フレーム）を生成する。そして、合成部３１１ｄは、生成した同じ隊列走行で、同じ走行時間帯の合成静止画（フレーム）を、その絶対時刻（合成前のフレームに付されている絶対時刻データ）順に並べて、隊列走行車両の周囲の合成動画を生成する。このようにして、隊列走行画像生成装置３１は、取得した複数の周囲画像を合成することで隊列走行周囲画像（静止画（フレーム）及び動画）を生成する。

【0123】

表示部３４は、隊列走行画像生成装置３１（コントローラ３１１（合成部３１１ｄ））によって生成された隊列走行周囲画像等の各種画像を表示する。表示部３４は、例えば液晶表示パネルであって、タッチパネル方式等の操作部を備え、表示した画像に関して外部から操作できる構成である。表示部３４における隊列走行周囲画像の表示例については後述する。

【0124】

図６Ａは、図３の隊列走行画像生成装置３１（コントローラ３１１）が行う合成画像生成処理の一例を示すフローチャートである。このフローチャートによる動作は、コントローラ３１１（コントローラ３１１を構成するコンピュータ）が実行するコンピュータプログラムにより実現される。

【0125】

このようなコンピュータプログラム（以降に説明するプログラムも含めて）は、コンピュータ読み取り可能な不揮発性記録媒体を用いて提供されること、或いは通信回線を用いてサーバ装置から通信で提供されること（所謂プログラムのダウンロード）等により、ユーザに提供される。また、このようなコンピュータプログラムは、１つのプログラムのみで構成されても良いが、複数のプログラムによって構成されても良い。

【0126】

図６Ａに示す処理は、当該サービスのセンター（サーバ装置３０）が動作中に繰り返し（動作が不都合なく適当に行われる適当な間隔で）実行される。

【0127】

ステップＳ１０１において、コントローラ３１１（取得部３１１ａ）は、隊列を構成する車両Ｖｎの車載装置１０から画像データの送信があったか判断し、画像データの送信があればステップＳ１０２に移り、無ければステップＳ１０３に移る。

【0128】

ステップＳ１０２において、コントローラ３１１（取得部３１１ａ）は、車載装置１０から送信された画像データを受信して記憶部３１２に記憶し、ステップＳ１０３に移る。

【0129】

ステップＳ１０３において、コントローラ３１１（取得部３１１ａ）は、ステップＳ１０２で受信した画像データと、隊列走行指令装置３５の持つ隊列走行データに基づき（予め取り込んでおいても良い）、図４Ｆに示す合成画像生成処理テーブルＩＴＢのような合成画像生成用のデータ群を生成し、ステップＳ１０４に移る。

【0130】

ステップＳ１０４において、コントローラ３１１は、隊列走行周囲画像の生成要求があったかどうか判断し、ステップＳ１０５に移り、無ければ処理を終える。

【0131】

ステップＳ１０５において、コントローラ３１１（抽出部３１１ｂ）は、隊列走行周囲画像の生成要求の条件（対象とする隊列走行グループ（隊列ＩＤ）、表示要求時間帯等）に基づき、ステップＳ１０３で生成したデータ群から合成画像生成用のデータを抽出し、ステップＳ１０６に移る。

【0132】

ステップＳ１０６において、コントローラ３１１（抽出部３１１ｂ）は、静止画合成用のデータをステップＳ１０５で抽出した合成画像生成用のデータから抽出し、ステップＳ１０７に移る。つまり、具体的に言えば、合成画像生成処理テーブルＩＴＢから、隊列ＩＤデータ（ステップＳ１０５で絞り込まれていれば不要）と絶対時刻データが同じであるデータレコードを抽出し、合成画像生成処理統合テーブルＵＩＴＢを生成する。

【0133】

ステップＳ１０７において、コントローラ３１１（調整部３１１ｃ）は、ステップＳ１０６で抽出した静止画合成用の画像データにおける画像（静止画）の画角調整を行い、ステップＳ１０８に移る。

【0134】

ステップＳ１０８において、コントローラ３１１（合成部３１１ｄ）は、ステップＳ１０７で画角調整した各画像（静止画）を合成して隊列走行の合成静止画を生成し、ステップＳ１０９に移る。

【0135】

ステップＳ１０９において、コントローラ３１１は、合成対象となる画像（静止画）の合成処理が全て完了したか判断し、完了していればステップＳ１１０に移り、完了していなければ次の合成処理対象画像を処理対象に設定してステップＳ１０６に戻る。

【0136】

ステップＳ１１０において、コントローラ３１１（合成部３１１ｄ）は、生成した隊列走行の合成静止画を絶対時刻順に合成し、隊列走行の合成動画を生成し、処理を終える。

【0137】

そして、コントローラ３１１は、ユーザからの隊列走行画像の表示要求等に応じて、生成した隊列走行の合成動画や、ユーザの指定した時刻における隊列走行の合成静止画を表示し、またそれらの画像データを提供する。

【0138】

なお、隊列走行指令装置３５のコントローラ３５１は、隊列走行データ３５２ａを常に更新し、また過去の隊列走行データも適宜保存、記憶している（隊列走行の合成画像生成の必要がなくなるまで保存する）。

【0139】

図６Ｂは、図３のドライブレコーダ１１（コントローラ１１１）が行うサーバ装置３０（隊列走行画像生成装置３１）への画像データの送信処理の一例を示すフローチャートである。このフローチャートによる動作は、ドライブレコーダ１１の動作中に、適当な間隔（例えば、ユーザが動作に違和感を感じない等、動作に支障がない時間間隔）で繰り返し実行される。

【0140】

ステップＳ２０１において、コントローラ１１１は、カメラ１２から画像データを取り込み、記憶部１１２に一時記憶し、ステップＳ２０２に移る。なお、ここでの画像データは、送信用にまとめられた画像データではなく、カメラ１２から出力されたフレームデータ群に近い形式のものである。

【0141】

ステップＳ２０２において、コントローラ１１１は、位置検出部１４からの位置データ、計時装置の時間データ（内蔵時計やＧＰＳ受信装置から出力される時刻データ）、及びセンサ部１５からの車両向きデータから、各時刻に紐づいた撮影状態データ（撮影状態テーブルＰＴＢのデータに対応）を生成して記憶部１１２に一時記憶し、ステップＳ２０３に移る。

【0142】

ステップＳ２０３において、コントローラ１１１は、サーバ装置３０（隊列走行画像生成装置３１）へ送信する画像データの生成タイミング（例えば、動画データとして静止画をまとめる場合に、適当なデータ容量となる時間間隔）かどうか判断し、生成タイミングである場合はステップＳ２０４に移り、生成タイミングで無ければステップＳ２０５に移る。

【0143】

ステップＳ２０４において、コントローラ１１１は、サーバ装置３０（隊列走行画像生成装置３１）へ送信する画像関連データ（撮影動画テーブルＡＴＢ、撮影状態テーブルＰＴＢ）を生成し（個々の静止画データ、撮影データをまとめ、圧縮処理等を施す）、記憶部１１２に記憶して、ステップＳ２０５に移る。

【0144】

ステップＳ２０５において、コントローラ１１１は、サーバ装置３０（隊列走行画像生成装置３１）へのデータの送信タイミング（例えば、車両Ｖの停車中等で、ドライブレコーダ１１のコントローラ１１１の負荷が小さいタイミング）かどうか判断し、送信タイミングである場合はステップＳ２０６に移り、送信タイミングで無ければ処理を終える。

【0145】

ステップＳ２０６において、コントローラ１１１は、画像合成に必要なデータ（ステップＳ２０４で生成した画像関連データ、図４Ｂで示したカメラ特性テーブルＣＡＴＢに対応するデータ等）をサーバ装置３０（隊列走行画像生成装置３１）に送信して、処理を終える。

【0146】

このような処理により、隊列走行車両の周囲の合成画像（動画、静止画）を生成することが可能となる。

【0147】

なお、本実施形態では、隊列走行画像生成装置３１が各車両Ｖのドライブレコーダ１１から取得した画像データに基づき隊列走行車両の周囲の合成画像（動画、静止画）を生成したが、つまりリアルタイムの隊列走行画像の生成ではなく、過去の隊列走行画像を生成するものであったが、リアルタイム（に近い状態）の隊列走行画像を生成することも可能である。この場合、ドライブレコーダ１１からリアルタイム（に近い状態）で隊列走行画像生成装置３１に画像データを送信する必要があるため、短い期間の画像データ、或いはフレーム（静止画）単位で画像データを送信することになる。

【0148】

また、本実施形態では、隊列走行画像生成装置３１が画像データ等から合成用の画像（フレーム）を作成して合成したが、各車両Ｖのドライブレコーダ１１（コントローラ１１１）が、一部処理を代わりに行って（例えば、自車両分の合成画像生成処理テーブルＩＴＢを作成）、隊列走行画像生成装置３１に送信するようにしても良い。

【0149】

さらに、隊列走行画像生成装置３１を車載装置１０に設置するようにしても良い。この場合、車載装置１０で隊列走行状態を把握し（隊列走行指令センター（サーバ装置３０）の隊列走行指令装置３５から隊列走行データ３５２ａを取得する）、各車両Ｖのドライブレコーダ１１から画像データを（移動体無線電話網や車車間通信を用いて）取得する。

【0150】

次に、画角調整処理について説明する。

【0151】

図７は、画角調整処理に係る隊列走行を行う複数の車両Ｖの模式図である。図７に示すように、ある状態１において、前方Ｆに向かって進行する３台の車両Ｖ１、Ｖ２、Ｖ３によって隊列が構成される。３台の車両Ｖは、前方Ｆから車両Ｖ１、車両Ｖ２、車両Ｖ３の順で隊列を組んでいる。

【0152】

先頭車両Ｖ１とその後続車両Ｖ２との間は、車間距離Ｄ１である。２番目の車両Ｖ２とその後続車両Ｖ３との間は、車間距離Ｄ２である。３台の車両Ｖの進行方向は同一方向であり、互いの進行方向に対する相対的な角度である車両間相対角度は０度である。なお、車間距離及び車両間相対角度は、位置検出部１４及びセンサ部１５によって検出された車両位置データ自体の情報（車両状態情報）と、車両Ｖの向きデータ（合成画像生成処理統合テーブルＵＩＴＢの各データ）等により検出できる。

【0153】

なお、本例において「車間距離」は、各車両Ｖのカメラ１２の位置を基準として説明する。また、カメラ１２の位置は、カメラ取付情報、車両（車体）情報、位置検出部１４による車両位置（位置検出部１４の設置位置により、当該車両位置に対する車両の基準位置が把握できる）に基づき、その絶対位置を算出できる。

【0154】

また、ここでは説明を分かり易くするため、車両Ｖの進行方向Ｆ右側の撮影画像のみに絞って説明する。

【0155】

各車両Ｖのカメラ１２は、前方Ｆに対して各車両Ｖの右方の周囲画像を撮影している。車両Ｖ１、Ｖ２、Ｖ３の各右カメラＲＣ１、ＲＣ２、ＲＣ３は、右カメラＲＣ１、ＲＣ２、ＲＣ３の持つ特性の画角ＡＲ１、ＡＲ２、ＡＲ３（カメラ構造によって決まる）で周囲画像を撮影する。このため、カメラＲＣ１とカメラＲＣ２の撮影画像の重なり状況と、カメラＲＣ２とカメラＲＣ３の撮影画像の重なり状況が異なる。このため、合成画像におけるこれら画像の重なり領域間の合成結果に差が生じて、合成画像に違和感を生じる可能性がある。また、撮影画像の重なり状況が異なると、合成処理における各種調整値の適正値に差が生じることも考えられ、処理が複雑になる、或いは合成結果（画像の重なり領域部分）に差が生じることが考えられる。

【0156】

図７に示す状況において、調整部３１１ｃは、周囲画像の画角調整処理を行う。なお、以下で説明では、隊列の所定位置を基準とした仮想的な座標を有する平面上に、仮想的な点、線を定めて処理を進めているが、実施には調整部３１１ｃ（コントローラ３１１）がこれら図示した処理に対応する演算処理により図７で示した処理を行うことになる他の方法によって処理を行っても良い。

【0157】

調整部３１１ｃは、合成画像生成処理統合テーブルＵＩＴＢにおける各車両Ｖのカメラ取付状態データに基づき、各右カメラＲＣ１、ＲＣ２、ＲＣ３における当該カメラ設置車両の位置に対する相対位置を算出する。言い換えれば、調整部３１１ｃは、車両Ｖの基準位置（車両Ｖの位置はこの基準位置（例えば、ＧＰＳ受信機設置位置）に対して検出される）と、カメラ取付位置（カメラ取付状態データ）との位置差を算出する。車両位置をこの相対位置分で移動補正することで各カメラ位置ＣＰ１、ＣＰ２、ＣＰ３が算出される。

【0158】

調整部３１１ｃは、車両位置データ、車両向きデータ、及びカメラ取付状態データに基づき、車間距離（位置の差）、進行方向に対する前方車両の方向の角度（以降、前方車両相対角度と称する）を算出する。なお、図７の例では、各車両Ｖは直線上に並んでいるので（同一車線上での直進状態）、前方車両相対角度は０度であり、以降の算出処理では用いられないデータとなる。

【0159】

調整部３１１ｃは、連続する２台の車両Ｖ１と車両Ｖ２、及び車両Ｖ２と車両Ｖ３の各右カメラＲＣ１、ＲＣ２、ＲＣ３のカメラ位置ＣＰ１、ＣＰ２、ＣＰ３の中点Ｐｍ１２、Ｐｍ２３を算出する。そして、調整部３１１ｃは、中点Ｐｍ１２、Ｐｍ２３を通り、各カメラ位置ＣＰ１、ＣＰ２、ＣＰ３を結んだ直線Ｌｓ１２、Ｌｓ２３に垂直な垂線Ｌｐ１２、Ｌｐ２３を引く（算出する）。調整部３１１ｃは、垂線Ｌｐ１２、Ｌｐ２３における直線Ｌｓ１２、Ｌｓ２３から予め定めた距離（長さ）Ｄｖ１２、Ｄｖ２３となる点を、画角決定点Ｐｉ１２、Ｐｉ２３として決定する。

【0160】

なお、距離（長さ）Ｄｖ１２、Ｄｖ２３については、隣接車線の車両（少なくとも一部）を画像で捉えることを考慮し、車線幅（高速道路３．５ｍ、一般道路３．０～３．５ｍ）の１．０～０．５倍程度に設定するのが好ましい。また、隊列走行が高速道路に限定される状況の場合には、距離（長さ）Ｄｖ１２、Ｄｖ２３は高速道路の車線幅（３．５ｍ）を基準にしたもの（１．７～３．５ｍ程度）が望ましい。なお、走行している道路種別に応じて、距離（長さ）Ｄｖ１２、Ｄｖ２３を変更しても良い。

【0161】

そして、調整部３１１ｃは、各右カメラＲＣ１、ＲＣ２、ＲＣ３の画角を、対応する画角決定点Ｐｉ１２、Ｐｉ２３の方向とする。つまり、調整部３１１ｃは、各カメラ位置ＣＰ１、ＣＰ２、ＣＰ３と対応する各画角決定点Ｐｉ１２、Ｐｉ２３を結ぶ直線を撮影画像の境界とする（角度）領域ＡＲ１、ＡＲ２、ＡＲ３の画像を切り取り、画像合成処理に用いる。なお、前後両端の右カメラＲＣ１、ＲＣ３の外側領域を決定する画角決定点については、隣接カメラとなる車両Ｖ１の前カメラＦＣ１、及び車両Ｖ３の後カメラＢＣ３に対して上述と同様の処理を行うことにより画角を決定する。

【0162】

図７では、各右カメラＲＣ１、ＲＣ２、ＲＣ３自体の持つ画角を破線で、調整後の合成画像生成処理に用いる画像の画角ＡＲ１、ＡＲ２、ＡＲ３を二点鎖線で示している。

【0163】

なお、画角決定点（Ｐｉｍｎ）がカメラ１２自体の画角範囲内にない場合は、カメラ１２自体の画角の画像を用いて画像合成処理を行うことになる。この場合、合成画像には無撮影領域が生じることになり、この部分については合成画像に適当な領域を設定し、黒画（単色画像等）表示やコメント表示（無撮影画像領域である旨を示す）を行うことが望ましい。

【0164】

上記のように、コントローラ３１１（調整部３１１ｃ）は、合成対象の隣接２画像を撮影する各カメラの位置関係に基づいて当該隣接２画像における画角を調整し、当該調整後の隣接２画像を合成する。この構成によれば、隊列走行を行う複数の車両Ｖ１、Ｖ２、Ｖ３のそれぞれにおいて撮影された各車両Ｖの周囲画像を、適正に画角調整して合成することができる。つまり、画角調整における調整条件を各カメラ画像について同等としているので、画像の重なり部分の歪（撮影画像周辺の歪）が同等となり（極端に悪くなる領域が無い）。これにより、合成処理を適切に行うことができ（合成位置の決定処理等）、また画像品質の均一化を図ることができる。また、適当に合成用画像の画角が調整されるので、画像処理対象のデータ容量が少なくなり、処理負荷を低減することができる。そして、距離（長さ）Ｄｖが適正に設定されているので、隣を走行する車両等が確実に合成画像に表示されることになる。

【0165】

次に、カーブ走行状態における動作について説明する。

【0166】

図８は、隊列走行を行う複数（３台）の車両Ｖのカーブ走行状態を示す模式図である。この説明において、図７と同様の構成要素等については、前と同じ符号または同じ名称を付してその説明を省略する場合がある。

【0167】

図８に示すように、先頭車両Ｖ１とその後続車両Ｖ２との間は、車間距離Ｄ１である。２番目の車両Ｖ２とその後続車両Ｖ３との間は、車間距離Ｄ３である。車両Ｖ１、Ｖ２の進行方向は、同一方向である。一方、車両Ｖ３は、カーブ走行であるため、車両Ｖ１、Ｖ２の進行方向に対して車両角度αを有する方向に進行している。なお、図７の説明状況と同様に、進行方向右側の右カメラＲＣ１、ＲＣ２、ＲＣ３の撮影画像の合成処理について説明する。また、先頭車両Ｖ１とその後続車両Ｖ２の位置関係は同じで、車両Ｖ３と他車両に位置関係が異なるので、説明を分かり易くするため（図７との比較のため）、各車両のカメラ位置をＣＰ１、ＣＰ２、ＣＰ３αとして説明する。

【0168】

調整部３１１ｃは、連続する２台の車両Ｖ１と車両Ｖ２、及び車両Ｖ２と車両Ｖ３の各右カメラＲＣ１、ＲＣ２、ＲＣ３のカメラ位置ＣＰ１、ＣＰ２、ＣＰ３αの中点Ｐｍ１２、Ｐｍ２３αを算出する。そして、調整部３１１ｃは、中点Ｐｍ１２、Ｐｍ２３αを通り、各カメラ位置ＣＰ１、ＣＰ２、ＣＰ３αを結んだ直線Ｌｓ１２、Ｌｓ２３αに垂直な垂線Ｌｐ１２、Ｌｐ２３αを引く（算出する）。調整部３１１ｃは、垂線Ｌｐ１２、Ｌｐ２３αにおける直線Ｌｓ１２、Ｌｓ２３αから予め定めた距離（長さ）Ｄｖ１２、Ｄｖ２３αとなる点を、画角決定点Ｐｉ１２、Ｐｉ２３αとして決定する。

【0169】

なお、図７の説明と同様に、距離（長さ）Ｄｖ１２、Ｄｖ２３αについては、隣接車線の車両（少なくとも一部）を画像で捉えることを考慮し、車線幅（高速道路３．５ｍ、一般道路３．０～３．５ｍ）の１．０～０．５倍程度に設定するのが好ましい。また、隊列走行が高速道路に限定される状況の場合には、距離（長さ）Ｄｖ１２、Ｄｖ２３αは高速道路の車線幅（３．５ｍ）を基準にしたもの（１．７～３．５ｍ程度）が望ましい。なお、走行している道路種別に応じて、距離（長さ）Ｄｖ１２、Ｄｖ２３αを変更しても良い。

【0170】

そして、調整部３１１ｃは、各カメラＲＣ１、ＲＣ２、ＲＣ３の画角を、対応する画角決定点Ｐｉ１２、Ｐｉ２３αの方向とする。つまり、調整部３１１ｃは、各カメラ位置ＣＰ１、ＣＰ２、ＣＰ３αと対応する各画角決定点Ｐｉ１２、Ｐｉ２３αを結ぶ直線を撮影画像の境界とする（角度）領域ＡＲ１、ＡＲ２、ＡＲ３αを画角として画像を切り取り、画像合成処理に用いる。なお、前後両端の右カメラＲＣ１、ＲＣ３の外側領域を決定する画角決定点については、隣接カメラとなる車両Ｖ１の前カメラＦＣ１、及び車両Ｖ３の後カメラＢＣ３に対して上述と同様の処理を行うことにより画角を決定する。

【0171】

図８においても、各右カメラＲＣ１、ＲＣ２、ＲＣ３自体の持つ画角を破線で、調整後の合成画像生成処理に用いる画像の画角ＡＲ１、ＡＲ２、ＡＲ３αを二点鎖線で示している。

【0172】

図８に示すように、向きが違う車両Ｖ２、Ｖ３の画角について、対象車両の側面が１８０度以上となる側（車両の右側）の画角ＡＲ３αは、各車両が直線上に並ぶ状態に比べて広い画角になる。そして、その反対側、すなわち対象車両の側面が１８０度以下となる側（車両の左側）の画角ＡＬ３αは、各車両Ｖが直線上に並ぶ状態に比べて狭い画角になる。

【0173】

次に、画角を決める距離（長さ）Ｄｖを可変する実施例について説明する。

【0174】

図９は、隊列走行を行う複数（３台）の車両Ｖの周囲に隊列に属さない他車両Ｘが存在する状況を示す模式図である。この説明において、図７、図８と同様の構成要素等については、前と同じ符号または同じ名称を付してその説明を省略する場合がある。

【0175】

図９に示す状況では、直線上に並んで走行している先頭車両Ｖ１及びその後続車両Ｖ２（Ｖ３）の右方に、隊列に属さない他車両Ｘが存在している。他車両Ｘは、車両Ｖ１、Ｖ２（Ｖ３）の進行方向Ｆの右側側面からＤｘの距離に位置している。

【0176】

このような状況で、調整部３１１ｃは、画角を決める距離（長さ）Ｄｖ１２を他車両Ｘまでの距離Ｄｘ以下の値、具体的には合成画像に他車両Ｘ全体が表示される距離とする。つまり、２つの右カメラＲＣ１、ＲＣ２が撮影した画像全体に他車両Ｘの全体（左側面全体）が含まれる距離とする。なお、簡易的には、距離（長さ）Ｄｖ１２を他車両Ｘまでの距離Ｄｘの半分程度とする。

【0177】

調整部３１１ｃは、車両Ｖの位置検出部１４、例えばレーダやソナー等で検出した他車両Ｘまでの距離Ｄｘを車両Ｖから取得し（撮影状態データ（撮影状態テーブルＰＴＢ）のデータに含める）、この距離Ｄｘに基づき画角を決める距離（長さ）Ｄｖ１２を決定する。そして、調整部３１１ｃは、この決定した距離（長さ）Ｄｖ１２に基づき、各右カメラＲＣ１、ＲＣ２、ＲＣ３の画像の画角ＡＲ１、ＡＲ２、ＡＲ３を決定する。

【0178】

このようにして、画角を決める距離（長さ）Ｄｖ１２は、隊列走行車両の周囲の物体（他車両Ｘ）の存在状況に応じて決定される。これにより、車両周囲状況、例えば隣接走行車線を走行する隊列外の他車両Ｘに応じた適切な画角の画像で合成画像（車両周囲の障害物等が適切に表示された合成画像）を生成できる。

【0179】

図１０は、図３のサーバ装置３０の表示部３４の一例を示す正面図である。図１０は、隊列走行車両の周囲画像の一表示例を示している。表示部３４は、画面３４ｓの全体に対し、ユーザによる操作入力を受け付ける操作部３４ｐとしてタッチパネルを有する。画面３４ｓは、例えば地図ウィンドウ３４１と、画像ウィンドウ３４２と、情報ウィンドウ３４３と、操作キー３４４と、を有する。

【0180】

地図ウィンドウ３４１は、例えば画面３４ｓの左側に配置される。地図ウィンドウ３４１には、アイコン重畳地図画像３４１ｍが表示されている。アイコン重畳地図画像３４１ｍは、隊列走行車両周辺の地図を表す地図画像に対して、当該地図画像上における隊列走行車両の存在位置に、隊列走行車両を表す隊列アイコン３４１ａを重畳した画像である。

【0181】

コントローラ３１１は、隊列走行車両周辺の地図情報を取得し、アイコン重畳地図画像３４１ｍを生成する。詳細に言えば、コントローラ３１１は、隊列走行車両の走行位置情報に基づき、外部のサーバや車載装置１０の地図情報１６２ｂ等から隊列走行車両周辺の地図画像を取得し、地図ウィンドウ３４１の大きさに応じた地図画像を切り取る。

【0182】

さらに、コントローラ３１１は、隊列走行車両の位置及び向きに基づき、隊列アイコン３４１ａを地図画像上の該当位置に配置して、地図画像に隊列アイコン３４１ａを重畳したアイコン重畳地図画像３４１ｍを生成する。なお、隊列アイコン３４１ａは、隊列走行車両を形成する各車両（Ｖ１、Ｖ２、Ｖ３）の位置及び向きに対応して、隊列アイコン３４１ａの外殻形状、隊列アイコン３４１ａ内の各車両（Ｖ１、Ｖ２、Ｖ３）の表示形状、及び向きを変更することが好ましい。

【0183】

地図ウィンドウ３４１には、さらに画像領域アイコン３４１ｂと、方向アイコン３４１ｃとが表示されている。画像領域アイコン３４１ｂは、画像ウィンドウ３４２に表示されている周囲画像３４２ａの範囲（画角）を表示している。方向アイコン３４１ｃは、当該表示画像範囲（周囲画像３４２ａ）の画角中心方向（水平面方向）を示している。画像ウィンドウ３４２の大きさは規定（制限）されているので、コントローラ３１１は、隊列走行周辺の位置・方向指定により、当該位置・方向の拡大画像を表示し、ユーザによる視認性の向上を図っている。なお、コントローラ３１１は、ユーザ操作により隊列走行全周辺３４１ｄのパノラマ画像全体を画像ウィンドウ３４２に表示する。

【0184】

なお、画像の視点・視方向変換処理を用いれば、車両周囲の任意の視点から任意の視方向を画像を、合成画像に基づいて生成できる。この場合、方向アイコン３４１ｃの根元を視点位置として、方向アイコン３４１ｃの方向を視方向として、コントローラ３１１は方向アイコン３４１ｃを生成して表示する。また、画像の視点・視方向変換処理を用いれば、視点位置及び視方向を上下方向にも移動でき、その場合、方向アイコン３４１ｃもその上下方向の移動に応じた形態で表示することが好ましい。

【0185】

画像ウィンドウ３４２は、例えば画面３４ｓの右側上方に配置される。画像ウィンドウ３４２には、合成された周囲画像３４２ａの全体、或いは一部が表示される。

【0186】

次に、画像表示の操作方法例について説明する。周囲画像３４２ａは、地図ウィンドウ３４１内の隊列アイコン３４１ａをタッチ操作することで、画像ウィンドウ３４２に表示される。また、地図ウィンドウ３４１内に、画像領域アイコン３４１ｂ及び方向アイコン３４１ｃが表示される。そして、方向アイコン３４１ｃの根元付近をドラッグ操作で移動させることで周囲画像３４２ａの視点位置が変更され、また方向アイコン３４１ｃの先端付近をドラッグ操作で移動させることで周囲画像３４２ａの視方向が変更され、視点位置及び視方向が変更された周囲画像３４２ａが画像ウィンドウ３４２に表示される。

【0187】

なお、コントローラ３１１は、ユーザの操作入力を検出し、当該検出された操作入力に応じた周囲画像３４２ａを生成して画像ウィンドウ３４２に表示する。

【0188】

情報ウィンドウ３４３は、例えば画面３４ｓの右側であって、画像ウィンドウ３４２の下方に配置される。情報ウィンドウ３４３には、周囲画像３４２ａを撮影したときの各種情報が表示されている。例えば、情報ウィンドウ３４３には、撮影日時、車両Ｖの時速、隊列情報、車両Ｖの位置等の情報が表示される。当該情報は一例であり、他の情報を表示しても良く、情報ウィンドウ３４３をスクロールすることで、すべての情報が見えるようにしても良い。

【0189】

これらの情報ウィンドウ３４３の表示等も、コントローラ３１１による、ユーザの操作入力の検出処理、当該検出された操作入力に応じた情報生成処理及び情報表示画像の生成処理により、実現される。

【0190】

操作キー３４４は、例えば画面３４ｓの右側下方に配置される。操作キー３４４は、隊列走行周囲画像の各種操作を行うためのキーであり、タッチパネルとその仮想の操作画像により構成される。隊列走行周囲画像が動画である場合、例えば操作用の画像として、動画の再生、停止、早送り、巻戻しの操作用の画像（図１０参照）が表示される。これらの画像表示、及び操作に基づく動作は、コントローラ３１１が、隊列走行周囲画像の表示状態及び入力操作状態の検出し、検出した表示状態に基づく操作画面画像を生成、表示し、また入力操作状態に応じた動作制御を行うことにより、実現される。

【0191】

上記のように、コントローラ３１１は、地図画像に、当該地図画像上における隊列走行車両の存在位置に隊列走行車両の全体を表す隊列アイコン３４１ａを重畳したアイコン重畳地図画像３４１ｍを生成する。さらに、コントローラ３１１は、隊列走行車両の周囲の合成画像（周囲画像３４２ａ）と、アイコン重畳地図画像３４１ｍとを並べた表示画像を表示部３４に出力する。この構成によれば、地図上の隊列走行車両の位置に対応する隊列走行周囲画像を、一画面上で容易に確認することが可能である。

【0192】

また、コントローラ３１１は、操作部３４ｐを介して、ユーザによって指示された領域における隊列走行車両の周囲の合成画像（周囲画像３４２ａ）を、表示部３４の画像ウィンドウ３４２に出力する。この構成によれば、ユーザは、所望する視点位置及び視線方向に対応する隊列走行周囲画像を、容易に確認することが可能である。

【0193】

＜留意事項等＞
本明細書中で実施形態として開示された種々の技術的特徴は、その技術的創作の趣旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではない。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれる。また、本明細書中で示した複数の実施形態は、可能な範囲で適宜組み合わせて実施して良い。

【0194】

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア資源によって実現されて良い。また逆に、ハードウェア資源によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されて良い。

【符号の説明】

【0195】

１ 隊列走行画像生成システム
１０ 車載装置
１１ ドライブレコーダ
１２ カメラ
１３ 通信部
１４ 位置検出部
１５ センサ部
１６ 隊列走行装置
３０ サーバ装置
３１ 隊列走行画像生成装置
３４ 表示部
３４ｐ 操作部
３４ｓ 画面
３５ 隊列走行指令装置
１１１ コントローラ
１１２ 記憶部
１６１ コントローラ
１６２ 記憶部
３１１ コントローラ
３１２ 記憶部
３４１ 地図ウィンドウ
３４１ａ 隊列アイコン
３４１ｂ 画像領域アイコン
３４１ｃ 方向アイコン
３４１ｍ アイコン重畳地図画像
３４２ 画像ウィンドウ
３４２ａ 周囲画像
ＡＲ１、ＡＲ２、ＡＲ３ 画角
ＣＰ１、ＣＰ２、ＣＰ３ カメラ位置
Ｌｐ１２、Ｌｐ２３、Ｌｐ２３α 垂線
Ｌｓ１２、Ｌｓ２３、Ｌｓ２３α 直線
Ｐｉ１２、Ｐｉ２３、Ｐｉ２３α 画角決定点
Ｐｍ１２、Ｐｍ２３、Ｐｍ２３α 中点
ＲＣ１、ＲＣ２、ＲＣ３ 右カメラ
Ｖ、Ｖ１、Ｖ２、Ｖ３、Ｖｎ 車両

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図4G】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】