特開 2022-164281 再生制御システム及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022164281

(43)【公開日】2022-10-27

(54)【発明の名称】再生制御システム及びコンピュータプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221020BHJP

   H04N 7/18 20060101ALI20221020BHJP

   H04N 5/92 20060101ALI20221020BHJP

   G03B 15/00 20210101ALI20221020BHJP

【ＦＩ】

H04N5/232 300

H04N5/232 290

H04N5/232 930

H04N7/18 J

H04N7/18 U

H04N5/92 010

G03B15/00 V

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021069677

(22)【出願日】2021-04-16

(71)【出願人】

【識別番号】391019681

【氏名又は名称】株式会社コムテック

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】田中 伸行

【テーマコード（参考）】

5C053

5C054

5C122

【Ｆターム（参考）】

5C053FA27

5C053GB06

5C053JA21

5C053LA01

5C053LA04

5C053LA06

5C054CA04

5C054CC02

5C054CF06

5C054EA01

5C054EA05

5C054EA07

5C054FC12

5C054FC14

5C054FD02

5C054FE12

5C054FE16

5C054GB01

5C054GB05

5C054HA30

5C122DA03

5C122DA14

5C122EA47

5C122FH04

5C122FH09

5C122FK23

5C122FK24

5C122GA34

5C122HA02

5C122HB01

5C122HB05

(57)【要約】

【課題】カメラの向きと移動体の進行方向とが一致していないことに起因するユーザの違和感を抑制可能な新規技術を提供する。
【解決手段】本開示の一側面に係るシステムでは、移動体に設けられたカメラ２０による撮影画像を表す動画像データが取得される。更に、動画像データに基づく再生画像として、正面方向が移動体の進行方向に調整された撮影画像が表示装置４０に表示されるように、動画像データを画像処理して再生画像を表示装置に表示させるための制御データが生成される。更に、制御データが、動画像データと関連付けて、記憶装置に書き込まれる。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体に設けられたカメラによる撮影画像を表す動画像データを取得するように構成される取得部と、
前記動画像データに基づく再生画像として、正面方向が前記移動体の進行方向に調整された前記撮影画像が表示装置に表示されるように、前記動画像データを画像処理して前記再生画像を前記表示装置に表示させるための制御データを生成し、前記制御データを、前記動画像データと関連付けて、記憶装置に書き込むように構成される設定部と、
を備える再生制御システム。

【請求項2】

請求項１記載の再生制御システムであって、
前記設定部は、前記動画像データに基づき、前記カメラの向きと前記移動体の進行方向との間の相対関係を判別し、前記相対関係に基づき前記制御データを生成する再生制御システム。

【請求項3】

請求項１記載の再生制御システムであって、
前記設定部は、前記再生画像が表示される再生画面とは別の設定画面として、前記調整に関するユーザによる設定操作を受け付けるための画面を、前記表示装置に表示させると共に、前記設定画面を通じて前記設定操作を受け付け、前記設定操作に基づき、前記制御データを生成する再生制御システム。

【請求項4】

請求項３記載の再生制御システムであって、
前記設定部は、前記設定操作に基づき、前記カメラの向きと前記移動体の進行方向との間の相対関係を判別し、前記制御データを生成する再生制御システム。

【請求項5】

請求項２記載の再生制御システムであって、
前記移動体は、車両であり、
前記移動体の進行方向は、前記車両の直進方向であり、
前記設定部は、前記撮影画像に写る車両内若しくは車両外の特定基準物に基づき、又は、前記撮影画像のオプティカルフローに基づき、前記相対関係を判別する再生制御システム。

【請求項6】

請求項４記載の再生制御システムであって、
前記移動体は、車両であり、
前記移動体の進行方向は、前記車両の直進方向であり、
前記設定操作は、前記撮影画像に写る車両内又は車両外の特定基準物を、前記設定画面に表示される前記撮影画像内で指し示す操作を含み、
前記設定部は、前記設定操作により指し示された前記特定基準物に基づき、前記相対関係を判別する
再生制御システム。

【請求項7】

請求項５又は請求項６記載の再生制御システムであって、
前記特定基準物は、前記撮影画像に写る前記車両内のフロントガラス、前記車両外の道路区画線、及び、前記車両外の地平線の一つを含む再生制御システム。

【請求項8】

請求項６記載の再生制御システムであって、
前記設定操作は、前記設定部の動作モードを指定する操作を含み、
前記設定部は、複数の動作モードのうち、前記設定操作により指定された動作モードで前記相対関係を判別し、
前記複数の動作モードは、
前記特定基準物として前記撮影画像に写る前記車両内の第一の基準物に基づき前記相対関係を判別する動作モード、
前記特定基準物として前記撮影画像に写る前記車両外の第二の基準物に基づき前記相対関係を判別する動作モード、及び、
前記撮影画像におけるオプティカルフローに基づき前記相対関係を判別する動作モード
のうちの二つ以上を含む再生制御システム。

【請求項9】

移動体に設けられたカメラによる撮影画像を表す動画像データを取得するように構成される取得部と、
前記取得部により取得された前記動画像データに基づき、表示装置の再生画面上に前記撮影画像に対応する再生画像が表示されるように、前記表示装置を制御するように構成される再生制御部と、
前記再生画面とは別の設定画面として、前記再生画像の正面方向を前記移動体の進行方向に調整するためのユーザによる設定操作を受け付けるための画面を、前記表示装置に表示させると共に、前記設定画面を通じて前記設定操作を受け付け、前記設定操作に基づき、前記調整のための前記動画像データの画像処理方式を設定するように構成される設定部と、
を備え、
前記再生制御部は、前記動画像データを、前記設定部により設定された前記画像処理方式に従って画像処理することによって、前記再生画像として、正面方向が前記移動体の進行方向に調整された前記撮影画像を前記表示装置に表示させる再生制御システム。

【請求項10】

請求項９記載の再生制御システムであって、
前記移動体は、車両であり、
前記移動体の進行方向は、前記車両の直進方向であり、
前記設定操作は、前記撮影画像に写る車両内又は車両外の特定基準物を、前記設定画面に表示される前記撮影画像内で指し示す操作を含み、
前記設定部は、前記設定操作により指し示された前記特定基準物に基づき、前記カメラの向きと前記車両の直進方向との間の相対関係を判別し、前記相対関係に基づき、画像処理方式を設定する再生制御システム。

【請求項11】

請求項１０記載の再生制御システムであって、
前記設定操作は、前記設定部の動作モードを指定する操作を含み、
前記設定部は、複数の動作モードのうち、前記設定操作により指定された動作モードで前記相対関係を判別し、
前記複数の動作モードは、
前記特定基準物として前記撮影画像に写る前記車両内の第一の基準物に基づき前記相対関係を判別する動作モード、
前記特定基準物として前記撮影画像に写る前記車両外の第二の基準物に基づき前記相対関係を判別する動作モード、及び、
前記撮影画像におけるオプティカルフローに基づき前記相対関係を判別する動作モード
のうちの二つ以上を含む再生制御システム。

【請求項12】

コンピュータに、
移動体に設けられたカメラによる撮影画像を表す動画像データを取得することと、
前記動画像データに基づく再生画像として、正面方向が前記移動体の進行方向に調整された前記撮影画像が表示装置に表示されるように、前記動画像データを画像処理して前記再生画像を前記表示装置に表示させるための制御データを生成し、前記制御データを、前記動画像データと関連付けて、記憶装置に書き込むことと、
を含む処理を実行させるためのコンピュータプログラム。

【請求項13】

コンピュータに、
移動体に設けられたカメラによる撮影画像を表す動画像データを取得することと、
取得した前記動画像データに基づき、表示装置の再生画面上に前記撮影画像に対応する再生画像が表示されるように、前記表示装置を制御することと、
前記再生画面とは別の設定画面として、前記再生画像の正面方向を前記移動体の進行方向に調整するためのユーザによる設定操作を受け付けるための画面を、前記表示装置に表示させると共に、前記設定画面を通じて前記設定操作を受け付けることと、
前記設定操作に基づき、前記調整のための前記動画像データの画像処理方式を設定することと、
を含む処理であって、
前記表示装置を制御することが、前記動画像データを、設定された前記画像処理方式に従って画像処理することによって、前記再生画像として、正面方向が前記移動体の進行方向に調整された前記撮影画像を前記表示装置に表示させることを含む
処理を実行させるためのコンピュータプログラム。

【請求項14】

コンピュータに、
記憶装置から、動画像データ及び前記動画像データに関連付けられた付属データを取得することと、
取得した前記動画像データを画像処理することによって、前記動画像データに記録された撮影画像に対応する再生画像を表示装置に表示させることと、
を実行させるためのコンピュータプログラムであって、
前記撮影画像は、移動体に搭載されたカメラの撮影画像であり、
前記付属データは、前記カメラの向きと前記移動体の進行方向との差を特定可能な情報を含み、
前記再生画像を前記表示装置に表示させることは、取得した前記付属データに基づき、前記再生画像として、正面方向が前記移動体の進行方向に調整された前記撮影画像が前記表示装置に表示されるように、前記動画像データを画像処理して、前記再生画像を前記表示装置に表示させることを含むコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、再生制御システム及びコンピュータプログラムに関する。

【背景技術】

【0002】

車両がカーブを曲がるときに撮影画像の中心から消失点がずれることに起因して、撮影画像を見るユーザに生じる違和感を抑制するために、中心位置補正機能を搭載した撮像装置が知られている（例えば特許文献１参照）。この撮像装置では、撮影画像のオプティカルフローに基づき、消失点の位置を算出し、消失点の位置と撮影画像の中心とが一致するように撮影画像を補正する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１０１４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

撮影画像を見るユーザに違和感が生じる現象は、車両が直進しているときであっても、カメラの向きが車両の直進方向からずれている場合に生じ得る。この場合にも、撮影画像を補正することが考えられる。

【0005】

しかしながら、撮影画像の補正に関して、従来技術には、改善の余地があった。例えば、動画像データを可搬性の記録メディアやサーバ装置に記録するドライブレコーダが知られている。

【0006】

ユーザは、記録メディアやサーバ装置に記録された動画像データを、車両外の別の装置、例えばパーソナルコンピュータで再生し得る。しかしながら、従来技術によれば、ユーザは、別の装置では、違和感の抑制のための補正機能を利用できず、補正なしの撮影画像を見なければならなかった。

【0007】

そこで、本開示の一側面によれば、カメラの向きが移動体の進行方向からずれていることに起因する再生画像に対するユーザの違和感を抑制するのに好適な新規技術を提供できることが望ましい。例えば、動画像データが、ドライブレコーダから離れて別の装置で再生され得る環境でも、カメラの向きが移動体の進行方向からずれていることに起因するユーザの違和感を抑制可能な新規技術を提供できることが望ましい。

【課題を解決するための手段】

【0008】

本開示の一側面によれば、取得部と、設定部とを備える再生制御システムが提供される。取得部は、移動体に設けられたカメラによる撮影画像を表す動画像データを取得するように構成される。

【0009】

設定部は、動画像データに基づく再生画像として、正面方向が移動体の進行方向に調整された撮影画像が表示装置に表示されるように、動画像データを画像処理して再生画像を表示装置に表示させるための制御データを生成するように構成される。設定部は更に、制御データを、動画像データと関連付けて、記憶装置に書き込むように構成される。

【0010】

この再生制御システムによれば、上述の通り、動画像データと関連付けられた制御データが記憶装置に書き込まれる。従って、ユーザが、動画像データに基づく再生画像を見ようとするとき、動画像データの再生装置は、動画像データに関連付けられた制御データに基づいて、動画像データの分析なし、又は、適切な画像処理のユーザからの指定若しくは探索なしに、再生画像の正面方向と移動体の進行方向とが一致するように動画像データを画像処理して、再生画像を表示装置に表示させることができる。

【0011】

従って、本開示の一側面によれば、カメラの向きと移動体の進行方向とが一致していないことに起因するユーザの違和感を有利に抑制可能な新規技術を提供することができる。

【0012】

本開示の一側面によれば、設定部は、動画像データに基づき、カメラの向きと移動体の進行方向との間の相対関係を判別し、相対関係に基づき制御データを生成するように構成されてもよい。こうした構成によれば、ユーザが相対関係を正確に把握していなくても、上記違和感を抑制するように再生画像を表示可能な適切な制御データを生成することができる。

【0013】

本開示の一側面によれば、設定部は、再生画像が表示される再生画面とは別の設定画面を表示装置に表示させると共に、設定画面を通じて設定操作を受け付けるように構成されてもよい。

【0014】

設定画面は、上記調整に関するユーザによる設定操作を受け付けるための画面であり得る。設定部は、上記設定操作に基づき、制御データを生成するように構成され得る。こうした構成によれば、ユーザの所望に応じて、又は、ユーザからの支援を受けて、制御データを生成することができる。

【0015】

本開示の一側面によれば、設定部は、設定操作に基づき、カメラの向きと移動体の進行方向との間の相対関係を判別して、制御データを生成するように構成されてもよい。

【0016】

本開示の一側面によれば、移動体は、車両であり得る。移動体の進行方向は、車両の直進方向であり得る。設定部は、撮影画像に写る車両内若しくは車両外の特定基準物に基づき、相対関係を判別するように構成されてもよい。

【0017】

車両内外には、相対関係を判別するために好適な基準物が存在する。従って、再生画像に写る特定基準物に基づけば、相対関係を適切に判別することができ、上記調整のための画像処理を適切に行うことができる。

【0018】

本開示の一側面によれば、設定部は、撮影画像のオプティカルフローに基づき、相対関係を判別するように構成されてもよい。オプティカルフローに基づけば、撮影画像に特定基準物が良好に写っていない場合又は段階においても、相対関係を判別することができる。

【0019】

本開示の一側面によれば、設定操作は、撮影画像に写る車両内又は車両外の特定基準物を、設定画面に表示される撮影画像内で指し示す操作を含んでもよい。設定部は、設定操作により指し示された特定基準物に基づき、相対関係を判別してもよい。

【0020】

こうした構成によれば、ユーザからの支援を受けて、相対関係を判別することができ、特定基準物をユーザからの指し示しなしに画像解析により識別するよりも、簡単に高い精度で相対関係を判別することができる。

【0021】

本開示の一側面によれば、特定基準物は、撮影画像に写る車両内のフロントガラス、車両外の道路区画線、及び、車両外の地平線の一つを例に含み得る。

【0022】

本開示の一側面によれば、設定操作は、設定部の動作モードを指定する操作を含んでもよい。設定部は、複数の動作モードのうち、設定操作により指定された動作モードで相対関係を判別するように構成されてもよい。

【0023】

複数の動作モードは、特定基準物として撮影画像に写る車両内の第一の基準物に基づき相対関係を判別する動作モード、特定基準物として撮影画像に写る車両外の第二の基準物に基づき相対関係を判別する動作モード、及び、撮影画像におけるオプティカルフローに基づき相対関係を判別する動作モードのうちの二つ以上を含んでもよい。

【0024】

複数の動作モードのうちの指定された一つに基づく相対関係の判別及び制御データの生成によれば、ユーザの所望に応じた動作モード、あるいは、ユーザが違和感の抑制及び／又は判別精度の点で最適だと考える動作モードでの判別及び制御データの生成が可能である。

【0025】

本開示の一側面によれば、取得部と、再生制御部と、設定部とを備える再生制御システムが提供されてもよい。取得部は、移動体に設けられたカメラによる撮影画像を表す動画像データを取得するように構成され得る。

【0026】

再生制御部は、取得部により取得された動画像データに基づき、表示装置の再生画面上に撮影画像に対応する再生画像が表示されるように、表示装置を制御するように構成され得る。

【0027】

設定部は、再生画面とは別の設定画面を、表示装置に表示させると共に、設定画面を通じて設定操作を受け付けるように構成され得る。設定画面は、再生画像の正面方向を移動体の進行方向に調整するためのユーザによる設定操作を受け付けるための画面であり得る。

【0028】

設定部は更に、設定操作に基づき、上記調整のための動画像データの画像処理方式を設定するように構成され得る。再生制御部は、動画像データを、設定部により設定された画像処理方式に従って画像処理することによって、再生画像として、正面方向が移動体の進行方向に調整された撮影画像を表示装置に表示させるように構成され得る。

【0029】

こうした構成によれば、ユーザからの操作に基づいて、適切な画像処理方式を設定し、再生画像の正面方向を移動体の進行方向に高精度に合わせることができ、再生画像に対するユーザの違和感を効果的に抑制することができる。

【0030】

本開示の一側面によれば、移動体が車両であるとき、設定操作は、撮影画像に写る車両内又は車両外の特定基準物を、設定画面に表示される撮影画像内で指し示す操作を含んでもよい。設定部は、設定操作により指し示された特定基準物に基づき、カメラの向きと車両の直進方向との間の相対関係を判別し、相対関係に基づき、再生画像の正面方向を車両の直進方向に調整するための動画像データの画像処理方式を設定するように構成されてもよい。

【0031】

本開示の一側面によれば、上述の再生制御システムが有する機能の一部及び全部が、コンピュータプログラムにより実現されてもよい。

【0032】

本開示の一側面によれば、コンピュータに、移動体に設けられたカメラによる撮影画像を表す動画像データを取得することと、動画像データに基づく再生画像として、正面方向が移動体の進行方向に調整された撮影画像が表示装置に表示されるように、動画像データを画像処理して再生画像を表示装置に表示させるための制御データを生成し、制御データを、動画像データと関連付けて、記憶装置に書き込むことと、を含む処理を実行させるためのコンピュータプログラムが提供されてもよい。

【0033】

本開示の一側面によれば、コンピュータに、移動体に設けられたカメラによる撮影画像を表す動画像データを取得することと、取得した動画像データに基づき、表示装置の再生画面上に撮影画像に対応する再生画像が表示されるように、表示装置を制御することと、再生画面とは別の設定画面として、再生画像の正面方向を移動体の進行方向に調整するためのユーザによる設定操作を受け付けるための画面を、表示装置に表示させると共に、設定画面を通じて設定操作を受け付けることと、設定操作に基づき、上記調整のための動画像データの画像処理方式を設定することと、を含む処理を実行させるためのコンピュータプログラムが提供されてもよい。表示装置を制御することは、動画像データを、設定された画像処理方式に従って画像処理することによって、再生画像として、正面方向が移動体の進行方向に調整された撮影画像を表示装置に表示させることを含み得る。

【0034】

本開示の一側面によれば、記憶装置から、上記動画像データ、及び、上記動画像データに関連付けられた制御データを取得し、取得した動画像データ及び制御データに基づき、動画像データに記録された撮影画像に対応する再生画像を表示装置に表示させる処理をコンピュータに実行させるためのコンピュータプログラムが提供されてもよい。

【0035】

本開示の一側面によれば、コンピュータに、記憶装置から、動画像データ及び動画像データに関連付けられた付属データを取得することと、取得した動画像データを画像処理することによって、動画像データに記録された撮影画像に対応する再生画像を表示装置に表示させることと、を実行させるためのコンピュータプログラムであって、撮影画像は、移動体に搭載されたカメラの撮影画像であり、付属データは、カメラの向きと移動体の進行方向との差を特定可能な情報を含み、再生画像を表示装置に表示させることは、取得した付属データに基づき、再生画像として、正面方向が移動体の進行方向に調整された撮影画像が表示装置に表示されるように、動画像データを画像処理して、再生画像を表示装置に表示させることを含むコンピュータプログラムが提供されてもよい。

【0036】

これらのコンピュータプログラムは、コンピュータ読取可能な一時的でない記録媒体に記録されて、又は、電気通信回線を通じて提供され得る。

【図面の簡単な説明】

【0037】

【図1】ドライブレコーダの構成を表すブロック図である。

【図2】制御部の機能ブロック図である。

【図3】制御部が実行する再生関連処理を表すフローチャートである。

【図4】制御部が実行する設定処理を表すフローチャートである。

【図5】設定モードの指定操作を説明する図である。

【図6】設定完了メッセージを表示する画面を例示する図である。

【図7】「フロントガラス」を用いた設定操作を説明する図である。

【図8】「地平線」を用いた設定操作を説明する図である。

【図9】「白線」を用いた設定操作を説明する図である。

【図10】図１０Ａは、再生画像の表示に関する説明図であり、図１０Ｂは、比較例としての調整なしの再生画像の表示に関する説明図である。

【図11】全景パノラマ表示モードにおける再生画像の表示に関する説明図である。

【図12】図１２Ａは、調整されたラウンド画像を説明する図であり、図１２Ｂは、比較例としての調整なしのラウンド画像を説明する図である。

【図13】サーバ装置を介して動画像データが車両外に持ち出される変形例のドライブレコーダに関する説明図である。

【発明を実施するための形態】

【0038】

以下に本開示の例示的実施形態を、図面を参照しながら説明する。
図１に示す本実施形態のドライブレコーダ１は、移動体としての四輪自動車等の車両に搭載されて、使用される電子機器である。

【0039】

例えば、ドライブレコーダ１は、運転者が車両の後方を視認するために使用される車室内のルームミラー（換言すればバックミラー）に固定されて、使用される。ルームミラーは、フロントガラス（換言すればウインドシールド）の上部において左右方向の中央に通常配置される。あるいは、ドライブレコーダ１は、ルームミラーとしての機能を備えたミラー型のドライブレコーダとして構成される。あるいは、ドライブレコーダ１は、フロントガラス又はその他の車室内の部位にステーを介して固定され、ルームミラーとは独立した状態で使用される。

【0040】

ドライブレコーダ１は、図１に示すように、制御部１０と、カメラ２０と、センサ類３０と、表示部４０と、操作部５０と、メディアリーダ／ライタ６０と、を備える。制御部１０は、プロセッサ１１と、メモリ１３とを備える。

【0041】

メモリ１３は、プロセッサ１１による処理実行時に作業領域として使用される揮発性メモリ（ＲＡＭ）と、電気的にデータ書換可能なフラッシュメモリ等の不揮発性メモリ（ＮＶＲＡＭ）とを備える。不揮発性メモリには、シャットダウン時にも記憶保持すべき、コンピュータプログラムやデータが記憶される。

【0042】

プロセッサ１１は、メモリ１３が記憶するコンピュータプログラムに従う処理を実行することにより、ドライブレコーダ１の各部を制御する。以下で説明する制御部１０が実行する処理は、プロセッサ１１がコンピュータプログラムに従って実行する処理により実現される。

【0043】

カメラ２０は、例えばドライブレコーダ１のフロントガラスを向く面に設けられ、車両の進路前方を含む車両の周囲を撮影するために使用される。カメラ２０は、広角カメラ、又は、方位角について３６０度撮影可能な全方位カメラであり得る。

【0044】

広角カメラの例には、方位角で１８０度以上の範囲を撮影可能な超広角カメラが含まれる。超広角カメラ及び全方位カメラは、複数の広角カメラの組合せにより構成されるカメラであり得る。カメラ２０により生成された車両周囲の撮影画像を表す動画像データは、制御部１０に入力される。

【0045】

センサ類３０は、車両の走行状態を計測するための一つ又は複数の機器から構成される。センサ類３０は、例えば、車両の位置を計測するＧＰＳ受信機等の測位器及び車両の加速度を計測する加速度センサを備える。加速度センサは、例えば、車両の衝撃を検知した時の車両周囲の撮影画像を表す動画像データを、重要データとして記録するために使用され得る。センサ類３０からの計測信号は、制御部１０に入力される。

【0046】

表示部４０は、車室内を向く表示面を有し、表示面を通じて運転者等の車両乗員向けの情報を表示する表示装置として構成される。表示部４０は、例えば液晶ディスプレイとして構成される。表示部４０は、制御部１０に制御されて、各種情報を表示する。

【0047】

操作部５０は、運転者又はその他の車両乗員に対応するユーザからの操作を受付可能なユーザインタフェースとして構成される。例えば、操作部５０は、表示部４０の表示面上に、タッチパネルを備え、タッチパネルに対するユーザ操作を通じて、表示面に対するユーザ操作を受け付けるように構成される。ユーザからの操作信号は、操作部５０を介して制御部１０に入力される。

【0048】

メディアリーダ／ライタ６０は、可搬性の記録メディア７０を接続及び取外し可能に構成され、接続された記録メディア７０に対するデータ読込及びデータ書込を制御部１０からの要求に応じて実行するように構成される。記録メディア７０は、フラッシュメモリを内蔵するメモリカードであり得る。記録メディア７０の例には、ＳＤカードが含まれる。

【0049】

続いて、制御部１０により実現される機能を、図２を用いて説明する。制御部１０は、コンピュータプログラムに従う処理の実行により、動画像記録部１１０と、再生部１２０と、画像処理部１３０と、設定部１５０として機能する。

【0050】

動画像記録部１１０は、カメラ２０から入力される動画像データを、メディアリーダ／ライタ６０を通じて記録メディア７０に書き込むように構成される。例えば、動画像記録部１１０は、カメラ２０から入力される動画像データを、所定時間毎に区切って、所定時間毎に、対応する時間の撮影画像を記録した録画ファイルとして記録メディア７０に書き込むように構成される。ドライブレコーダ１としての主たる機能、すなわち、車両走行時の車両周囲の撮影画像を記録する機能は、動画像記録部１１０によって実現される。

【0051】

動画像記録部１１０は、連続的に動画像データを記録せずに、センサ類３０からの入力に基づき、衝撃を検知した前後の限定された期間に限って、対応する期間の撮影画像を表す動画像データを記録メディア７０に記録するように構成されてもよい。

【0052】

記録メディア７０に記録される動画像データには、撮影日時や撮影位置を特定可能なデータが含まれていてもよい。撮影位置は、センサ類３０から取得可能な撮影時のＧＰＳ位置であり得る。

【0053】

再生部１２０は、操作部５０からの入力信号に従って、ユーザにより再生操作がなされたときに、ユーザから指定された期間の撮影画像が記録された動画像データ（例えば、対応する期間の撮影画像が記録された一つ以上の録画ファイル）を、メディアリーダ／ライタ６０を通じて記録メディア７０から読み出す。再生部１２０は、当該読み出しにより取得したデータを再生処理することにより、上記指定された期間の撮影画像に対応する再生画像、具体的には動画像を出力する。

【0054】

再生部１２０から出力される再生画像は、カメラ２０の画角２αに対応する撮影範囲全体の撮影画像である。例えば、カメラ２０が方位角に関して３６０度の画角２αを有する全方位カメラである場合、再生部１２０から出力される再生画像は、方位角３６０度のパノラマ画像であり得る。

【0055】

画像処理部１３０は、再生部１２０との協働により再生制御部として機能し、再生部１２０から入力される再生画像を画像処理して、表示用の再生画像に変換し、変換した表示用の再生画像を表示部４０に表示させるように構成される。画像処理は、記録メディア７０において動画像データと共に記録された当該動画像データに付属する再生制御データに従う方式で実行される。再生制御データ及び画像処理の詳細については後述する。

【0056】

再生部１２０から画像処理部１３０に入力される再生画像は、上記画像処理によって、その正面方向が撮影時の車両の進行方向に対応する表示用の再生画像に変換される。これにより、表示部４０には、ユーザにとって違和感のない再生画像が表示される。

【0057】

付言すると、表示部４０に表示される再生画像は、１６：９のアスペクト比の画像であり、カメラ２０の画角２αより狭い画角２βの画像である。すなわち、画像処理では、画角２αの再生画像から、その一部が抽出された画角２βの再生画像が生成される。

【0058】

設定部１５０は、上記画像処理として再生画像の正面方向を車両の進行方向に揃えるための処理を画像処理部１３０に実行させるために、操作部５０を通じたユーザの設定操作に従って、再生制御データを生成し、この再生制御データを動画像データと同じ記録メディア７０に動画像データと関連付けて記録するように構成される。

【0059】

続いて、制御部１０が、再生部１２０、画像処理部１３０、及び設定部１５０として機能するために実行する再生関連処理の詳細を、図３及び図４を用いて説明する。制御部１０は、ドライブレコーダ１の起動中、図３に示す再生関連処理を繰返し実行する。

【0060】

再生関連処理を開始すると、制御部１０は、操作部５０を通じてユーザからの操作信号が入力されるまで待機する（Ｓ１１０）。制御部１０は、操作信号が入力されると（Ｓ１１０でＹｅｓ）、Ｓ１２０以降の処理を実行する。

【0061】

Ｓ１２０において、制御部１０は、入力された操作信号に従うユーザの操作が、再生画像の正面方向を車両の進行方向に調整するための設定操作であるか否かを判断する（Ｓ１２０）。設定操作であると判断すると（Ｓ１２０でＹｅｓ）、制御部１０は、Ｓ１２５に移行し、上記調整のための設定処理を実行する。その後、制御部１０は、再生関連処理を終了する。

【0062】

一方、ユーザの操作が上記設定操作ではなく、記録メディア７０に記録された動画像データの再生操作であると判断すると（Ｓ１２０でＮｏ及びＳ１３０でＹｅｓ）、制御部１０は、表示部４０が表示する画面を、再生画面に切り替え、再生対象期間の指定操作を受け付ける（Ｓ１４０）。再生画面は、再生対象期間の指定操作を受け付けるためのグラフィカルユーザインタフェースを備えることができる。

【0063】

指定操作により、再生対象期間がユーザにより指定されると、制御部１０は、記録メディア７０内の動画像データに記録された撮影画像のうち、再生対象期間に該当する期間に撮影された撮影画像に対応する再生画像を表示部４０の再生画面上に表示させる処理を実行する（Ｓ１４５）。

【0064】

ここで、再生画面は、再生画像を表示すると共に、上記再生対象期間の指定操作を受け付けるためのグラフィカルユーザインタフェースに代えて、再生速度の変更、早送り、巻き戻し、及び停止などの動画再生に関するユーザからの操作を受け付けるためのグラフィカルユーザインタフェースを表示することができる。

【0065】

Ｓ１４５において、制御部１０は、再生部１２０及び画像処理部１３０として機能し、動画像データと共に記録メディア７０に記録される再生制御データに基づき、カメラ２０の向きと車両の進行方向との間のズレを考慮した画像処理を実行する。

【0066】

すなわち、制御部１０は、動画像データを再生処理すると共に、ズレを抑制する方向の画像処理を行うことにより、表示部４０に、撮影時の車両の進行方向に沿う視線で見た撮影画像に対応する再生画像を表示させる。再生終了後、制御部１０は、表示部４０が表示する画面を再生画面から、切替前の画面に戻し（Ｓ１５０）、図３に示す再生関連処理を終了する。

【0067】

この他、設定操作及び再生操作以外のユーザ操作がなされると（Ｓ１２０でＮｏ及びＳ１３０でＮｏ）、制御部１０は、なされた操作に対応した処理を実行し（Ｓ１６０）、再生関連処理を終了する。

【0068】

続いて、制御部１０がＳ１２５で実行する設定処理の詳細を、図４を用いて説明する。設定処理の実行により制御部１０は設定部１５０として機能する。設定処理を開始すると、制御部１０は、表示部４０が表示する画面を、設定画面に切り替える（Ｓ２１０）。設定画面に切り替える前の画面は、カメラ２０が現在撮影する画像に主たる操作を受け付けるためのグラフィカルユーザインタフェースを重畳表示したメイン画面（図示せず）であり得る。

【0069】

切替後の設定画面は、図５に示すように、カメラ２０が現在撮影する画像に上記調整に関する設定モードを指定するためのグラフィカルユーザインタフェースを重畳表示した画面であり得る。

【0070】

本実施形態によれば、ドライブレコーダ１は、上記調整に関する設定モードとして、「ベクトル」設定モード、「フロントガラス」設定モード、「地平線」設定モード、及び「白線」設定モードを有する。

【0071】

設定画面は、図５に示すように、これらの設定モードの一つの指定を、ユーザから受け付けるためのグラフィカルユーザインタフェースを備えることができる。図５に例示される設定画面は、設定モード毎の選択ボタンをグラフィカルユーザインタフェースとして備える。制御部１０は、これらの選択ボタンの一つが操作部５０を通じて押下操作されると、押下操作された選択ボタンに対応する設定モードが指定されたと判断することができる。設定画面は、設定操作をキャンセルするためのグラフィカルユーザインタフェースを更に備えることができる。

【0072】

制御部１０は、設定画面の表示後、設定モードの一つを指定する操作、又は、キャンセル操作がなされるまで待機する（Ｓ２２０，Ｓ２３０，Ｓ２４０，Ｓ２５０，Ｓ２８０）。設定モードの一つを指定する操作として、「ベクトル」設定モードを指定する操作がなされると（Ｓ２２０でＹｅｓ）、制御部１０は、動画像データに記録された現在から所定期間前までの撮影画像を分析して得られた撮影画像のオプティカルフローに基づき、撮影画像における消失点を検出する（Ｓ２２５）。

【0073】

制御部１０は更に、カメラ２０の正面方向と車両の直進方向との間の方位角方向の差δθとして、検出された消失点と撮影画像の上下に延びる中心線との間の撮影画像横方向の差Ｄｖを推定する（Ｓ２２５）。撮影画像横方向は、方位角方向に対応する。差Ｄｖは、撮影画像中心線から消失点への撮影画像横方向の符号付距離として表され得る。

【0074】

その後、制御部１０は、上記推定した差Ｄｖを記述する再生制御データを生成し、生成した再生制御データを、記録メディア７０に書き込む（Ｓ２６０）。この再生制御データは、差Ｄｖだけ、動画像データに記録された撮影画像の中心を撮影画像横方向にずらすように動画像データを画像処理して再生画像を生成するように指示するデータとして解釈される。

【0075】

この再生制御データに基づく画像処理によって、表示用の再生画像として、再生画像の正面方向が車両の直進方向に対応する再生画像が生成される。

【0076】

Ｓ２６０における再生制御データの書込前に、既に記録メディア７０に再生制御データが記録されている場合、制御部１０は、記録されている再生制御データに上書きする形式で、新たに生成した再生制御データを、記録メディア７０に書き込むことができる。

【0077】

別例として、制御部１０は、既に記録されている再生制御データに上書きせずに、追加する形式で、記録メディア７０に、新たに生成した再生制御データを書き込むことができる。この場合には、再生制御データに登録日時情報を含ませることができ、画像処理部１３０（換言すれば制御部１０）は、再生部１２０からの再生画像を、対応する撮影日時より前に登録された再生制御データのうち最新の再生制御データに基づいて画像処理することができる。あるいは、画像処理部１３０は、ユーザから指定された再生制御データに基づいて画像処理することができる。

【0078】

Ｓ２６０における処理後、制御部１０は、設定完了を説明する設定完了メッセージを、図６に示すように表示部４０に一時的に表示させた後、表示部４０が表示する画面を、Ｓ２１０における設定画面への切替前の画面に戻し（Ｓ２７０）、設定処理を終了する。

【0079】

切替前の画面の例には、上述したメイン画面が含まれる。設定処理後のメイン画面には、カメラ２０が現在撮影する画像に対応する再生画像として、直前に生成された再生制御データに基づいた画像処理が加えられた撮影画像が表示され得る。すなわち、正面方向が車両の直進方向に調整された撮影画像が再生画像として表示部４０に表示され得る。差Ｄｖを記述する再生制御データに基づけば、消失点が再生画像の中心線に配置されるように画像処理されたカメラ２０の撮影画像が表示部４０に表示され得る。

【0080】

Ｓ２７０の処理で出力される設定完了メッセージを表示する画面にも、図６に示すように、直前に生成された再生制御データに基づいた画像処理を加えた撮影画像が設定完了メッセージと共に表示され得る。

【0081】

この他、制御部１０は、設定画面を通じてユーザから「フロントガラス」設定モードを指定する操作がなされると（Ｓ２３０でＹｅｓ）、フロントガラスの境界をなぞる操作をユーザから受け付けるために、図７に示すように、表示部４０に、カメラ２０が現在撮影する画像を設定画面上にパノラマ表示させると共に、このパノラマ画像に写るフロントガラスの境界をなぞるように指示するメッセージを設定画面上に表示させる（Ｓ２３１）。パノラマ画像は、カメラ２０の画角２αに対応する撮影範囲全体の撮影画像である。

【0082】

ユーザは、このパノラマ画像に写るフロントガラスの境界をなぞる操作を、操作部５０を通じて行うことができる。図７に示す点線は、なぞられるフロントガラスの境界を示す。設定画面でのパノラマ表示は、フロントガラスの全体が写るように、それにより、フロントガラス全体の境界をなぞる操作が実現されることを目的に行われる。

【0083】

制御部１０は、ユーザによるフロントガラスの境界をなぞる操作が終了すると、その操作により特定されるパノラマ画像内のフロントガラスの形状の歪みに基づいて、上述の差δθとして、カメラ２０の正面方向とフロントガラスの正面方向との間の方位角方向の差Ｄｆを推定する（Ｓ２３５）。フロントガラスの正面方向は、車両の直進方向に対応する。差Ｄｆは、フロントガラスの正面方向からカメラ２０の正面方向への方位角方向への符号付角度として表され得る。

【0084】

現実のフロントガラスは、左右対称の形状を有する。従って、仮に差Ｄｆがゼロであるときには、パノラマ画像に写るフロントガラスは、その形状の中心から上下に延びる中心線に対して左右に対称である。これに対し、差Ｄｆが非ゼロであるときには、左右に延びる対辺が平行ではなく、中心線から左右に同距離の位置におけるフロントガラスの上下方向の長さが異なる。この長さの相違から、差Ｄｆは、幾何学的に推定可能である。差Ｄｆの推定に際しては、カメラ２０のレンズ特性（例えば歪曲収差）も考慮することができる。

【0085】

Ｓ２３５における差Ｄｆの推定後、制御部１０は、上述したＳ２６０，Ｓ２７０の処理を実行し、設定処理を終了する。これによりＳ２３５で推定された差Ｄｆは、再生制御データに記述されて、記録メディア７０に記憶される。この再生制御データは、差Ｄｆだけ、動画像データに記録された撮影画像の中心を撮影画像の方位角方向にずらすように動画像データを画像処理して再生画像を生成するように指示するデータとして解釈される。

【0086】

この他、制御部１０は、設定画面を通じてユーザから「地平線」設定モードを指定する操作がなされると（Ｓ２４０でＹｅｓ）、地平線をなぞる操作をユーザから受け付けるために、図８に示すように、表示部４０に、カメラ２０が現在撮影する画像を設定画面上にパノラマ表示させると共に、カメラ２０の撮影画像に写る地平線をなぞるように指示するメッセージを設定画面上に表示させる（Ｓ２４１）。

【0087】

制御部１０は、ユーザによる地平線をなぞる操作が終了すると、その操作により特定されるパノラマ画像内の地平線の、画像解析により特定されるフロントガラス下辺に対する傾斜に基づいて、上述の差δθとして、カメラ２０の正面方向とフロントガラスの正面方向との間の方位角方向の差Ｄｈを推定する（Ｓ２４５）。差Ｄｈは、フロントガラスの正面方向からカメラ２０の正面方向への方位角方向への符号付角度として表され得る。

【0088】

地平線は、方位角に関して、カメラ２０がどの向きにあっても、パノラマ画像上で同じように写る。これに対して、フロントガラス下辺は、上述した「フロントガラス」設定モードの説明にもあるように、カメラ２０の向きによって変化する。仮に差Ｄｈがゼロであるときには、地平線及びフロントガラスの下辺は、パノラマ画像の中心線に対して左右対称であり、カメラ２０のレンズ特性（歪曲収差）による歪みがなければ、地平線とフロントガラス下辺とは略平行である。これに対して、差Ｄｈが非ゼロであるときには、フロントガラスの下辺は、パノラマ画像の中心線に対して左右対称ではなく、地平線は、フロントガラス下辺に対して相対的に傾斜して写る。この傾きから、差Ｄｈは推定可能である。

【0089】

Ｓ２４５における差Ｄｈの推定後、制御部１０は、上述したＳ２６０，Ｓ２７０の処理を実行し、設定処理を終了する。これによりＳ２４５で推定された差Ｄｈは、再生制御データに記述されて、記録メディア７０に記憶される。この再生制御データは、差Ｄｈだけ、動画像データに記録された撮影画像の中心を撮影画像の方位角方向にずらすように動画像データを画像処理して再生画像を生成するように指示するデータとして解釈される。

【0090】

この他、制御部１０は、設定画面を通じてユーザから「白線」設定モードを指定する操作がなされると（Ｓ２５０でＹｅｓ）、Ｓ２５１に移行し、道路区画線としての白線をなぞる操作をユーザから受け付けるために、図９に示すように、表示部４０に、カメラ２０が現在撮影する画像を設定画面上にパノラマ表示させると共に、カメラ２０の撮影画像に写る白線をなぞるように指示するメッセージを設定画面上に表示させる（Ｓ２５１）。

【0091】

ここでいう白線は、道路の両側にある二本の車道外側線である。車道外側線は、通常白線の実線として道路に表示される。ユーザには、二本の車道外側線をなぞる操作が求められる。

【0092】

制御部１０は、ユーザによる白線をなぞる操作が終了すると、その操作により特定されるパノラマ画像内の白線の傾きに基づいて、上述の差δθとして、消失点とパノラマ画像の上下に延びる中心線との間のパノラマ画像横方向の差Ｄｗを推定する（Ｓ２５５）。二本の白線を延長したときのこれら白線の交点は、消失点に対応する。従って交点と中心線との差に基づいて、差Ｄｗは推定可能である。

【0093】

Ｓ２５５における差Ｄｗの推定後、制御部１０は、上述したＳ２６０，Ｓ２７０の処理を実行し、設定処理を終了する。これによりＳ２５５で推定された差Ｄｗは、再生制御データに記述されて、記録メディア７０に記憶される。この再生制御データは、差Ｄｗだけ、動画像データに記録された撮影画像の中心を撮影画像横方向にずらすように動画像データを画像処理して再生画像を生成するように指示するデータとして解釈される。

【0094】

この他、制御部１０は、キャンセル操作がなされると（Ｓ２８０でＹｅｓ）、表示部４０が表示する画面を、Ｓ２１０における設定画面への切替前の画面に戻し（Ｓ２９０）、当該設定処理を終了する。

【0095】

続いて、再生制御データに基づく画像処理部１３０での画像処理方法について説明する。再生制御データは、上述の通り、カメラ２０の正面方向と車両の直進方向との間の方位角方向の差δθと実質等価な差Ｄｖ，Ｄｆ，Ｄｈ，Ｄｗを記憶する。従って、以下では、カメラ２０の正面方向と車両の直進方向との間に方位角方向の差δθがあるときの画像処理方法を、図１０Ａを用いて説明する。

【0096】

付言すると、ここでいうカメラ２０の正面方向は、方位角について、カメラ２０から、カメラ２０により撮影される画像の中心に位置する被写体に向かう視線方向に対応する。以下では、説明のために、方位角θとして、車両の正面方向、すなわち車両の直進方向をゼロとする方位角を定義する。

【0097】

図１０Ａでは、カメラ２０の正面方向が車両の直進方向に対して方位角δθだけずれていることを示す。ここで、カメラ２０の画角が２αであり、仮にカメラ２０の正面方向が車両の直進方向に一致しているときに、動画像データに記録される撮影画像が方位角－α≦θ≦＋αまでの範囲の視界を写す撮影画像であるとの前提を置く。

【0098】

カメラ２０の正面方向が車両の直進方向に対して図１０Ａに示すように方位角のマイナス方向にδθだけずれている場合、動画像データには、方位角－α－δθ≦θ≦＋α－δθの範囲の撮影画像が記録される。すなわち、動画像データの撮影範囲は、方位角－α－δθ≦θ≦＋α－δθの範囲である。

【0099】

このとき、再生部１２０からの再生画像は、方位角δθでの撮影画像がまるで方位角ゼロであるように再生画像の中心に置かれた、撮影範囲が方位角－α－δθ≦θ≦＋α－δθの範囲の動画像である。すなわち、再生部１２０からの再生画像は、その中心が、換言すれば再生画像の正面方向が、方位角δθである画角２αの再生画像である。

【0100】

画像処理部１３０は、この再生画像を表示部４０に表示させるとき、図１０Ａに示すように、再生制御データに基づき、再生部１２０から出力される画角２αの再生画像から、それより狭い画角２βの再生画像として、方位角－β≦θ≦＋βの再生画像を抽出する。この抽出により、表示用の再生画像が生成される。上述の通り表示用の再生画像は、アスペクト比が１６：９の再生画像であり、カメラ２０の画角２αに対応する撮影範囲全体を表す上述のパノラマ画像とは異なる。

【0101】

画像処理部１３０は、上記抽出により生成された表示用の再生画像を表示部４０に表示させることにより、表示部４０に、再生画像の正面方向（換言すれば再生画像の中心）と車両の直進方向とが一致した画角２βの再生画像を表示させる。これにより表示部４０には、仮にカメラ２０が車両の直進方向からずれた方向を向いていたとしても、カメラ２０の撮影画像として、画像中心が方位角ゼロに調整された、表示範囲が方位角－β≦θ≦＋βの範囲の動画像が表示される。

【0102】

図１０Ｂには、比較例として、画像処理部１３０が差δθを考慮せず、再生部１２０からの再生画像の中心を方位角ゼロとみなして、画角２αの再生画像から、それより狭い画角２βの再生画像を抽出して、表示用の再生画像を生成する場合の、表示部４０における再生画像の表示範囲と、カメラ２０の正面と、車両直進方向（方位角ゼロ）との対応関係が示されている。この場合には、表示部４０に表示される再生画像の正面方向が車両の直進方向に一致しない。このため、表示部４０には、ユーザにとって違和感のある再生画像が表示される。人は、前を向いて進むときの視界の流れに慣れているため、表示部４０に表示される再生画像の正面方向が車両の直進方向に一致しない場合には、ユーザに違和感が生じることになる。

【0103】

以上に説明した本実施形態のドライブレコーダ１によれば、設定部１５０が、操作部５０及び設定画面を通じたユーザの設定操作に従って、正面方向が車両の直進方向に調整された撮影画像が表示装置に表示されるように、動画像データを画像処理するための再生制御データを生成し、これを動画像データと同一の記録メディア７０に書き込む。再生制御データの生成及び記録メディア７０への書込みは、画像処理方式の設定に対応する。

【0104】

従って、記録メディア７０がメディアリーダ／ライタ６０から取り外されて、ユーザが自身の所有するパーソナルコンピュータ等の別の装置で記録メディア７０に記録された動画像データに基づく再生画像を見るときにも、別の装置は、動画像データの分析なし、又は、適切な画像処理のユーザからの指定若しくは探索なしに、正面方向と進行方向とが一致するように動画像データを画像処理して再生画像を表示装置に表示させることができる。

【0105】

例えば、制御部１０がＳ１４５で実行する処理と同様の再生処理を、パーソナルコンピュータに実行させるためのソフトウェアを、例えば、ウェブページを通じて、ドライブレコーダ１のユーザに提供すれば、ユーザは、ドライブレコーダ１にて生成された再生制御データを有効活用して、パーソナルコンピュータにて、ドライブレコーダ１と同様に、正面方向が車両の進行方向に一致する再生画像を、パーソナルコンピュータに内蔵された又は接続された表示装置を通じて見ることができる。

【0106】

ドライブレコーダ１の表示部４０は、パーソナルコンピュータで使用される表示装置と比較して、表示面のサイズが小さい。従って、記録メディア７０で記録された動画像データに基づく再生画像を、パーソナルコンピュータで見ることができれば、ユーザにとって便利である。

【0107】

本実施形態によれば、ユーザは、動画像データに基づく再生画像をパーソナルコンピュータで見ることができるだけでなく、パーソナルコンピュータでの面倒な設定なしに、正面方向が車両の進行方向に調整された違和感のない再生画像を見ることができる。従って、本実施形態によれば、ユーザに便利なドライブレコーダ１を提供することができる。

【0108】

特に、ルームミラー型、又は、ルームミラーへの取り付け型のドライブレコーダ１によれば、ドライブレコーダ１が取り付けられるときだけでなく、ルームミラーの向きが変更されるときにも、カメラ２０の向きが車両の直進方向に対して相対的に変化するために、本実施形態のドライブレコーダ１が有する機能は、非常に役立つ。

【0109】

本実施形態によれば、再生画像の正面方向を車両の進行方向に調整するための設定モード、すなわち、設定部１５０の動作モードが、複数用意されていることも有利である。設定部１５０は、ユーザの設定モードの指定操作に応じて、設定モードを切り替え、指定された設定モードで、ユーザの設定操作を受け付けて、再生制御データを生成することができる。

【0110】

設定部１５０は、撮影画像に写る車両内若しくは車両外の特定基準物として、車両内のフロントガラス、車両外の地平線、車両外の道路区画線（白線）を用いて、カメラ２０の向きと車両の直進方向との間の相対関係を示す差Ｄｆ，Ｄｈ，Ｄｗを判別する。

【0111】

例えば、「フロントガラス」設定モードでは、設定部１５０は、車両内のフロントガラスの形状の歪みに基づいた相対関係の判別を、設定画面を通じた、フロントガラスの境界をなぞるという操作でのユーザによるフロントガラスの指し示しに基づいて行う。この際、表示部４０には、フロントガラスの指し示しによるユーザの適切な設定操作のために、再生画面とは別の設定画面として、再生画面に表示される１６：９の撮影画像とは異なる画角全体のパノラマ画像を含む画面が表示される。

【0112】

「地平線」設定モードでは、設定部１５０は、パノラマ画像に写る車両外の地平線と車両内のフロントガラス下辺との間の位置関係に基づいた相対関係の判別を、同じく再生画面とは異なるパノラマ画像を表示する設定画面を通じたユーザによる地平線の指し示しに基づいて行う。

【0113】

「白線」設定モードでは、設定部１５０は、パノラマ画像に写る車両外の白線の配置に基づいた相対関係の判別を、同じく再生画面とは異なるパノラマ画像を表示する設定画面を通じたユーザによる白線の指し示しに基づいて行う。

【0114】

カメラ２０の撮影画像に写る景色によれば、相対関係を判別するために好適な基準物は異なる。ユーザは、設定モードの選択により、適切な基準物を選んで、上記調整のための設定操作を行うことができ、それにより画像処理部１３０は、高精度に、再生画像の正面方向と車両の直進方向とを揃えることができる。特に設定画面には、特定基準物が写りやすいように、１６：９画像ではなく、パノラマ画像が表示されるので、ユーザは、適切に特定基準物を指し示して、調整のための設定操作を適切に行うことができる。

【0115】

更に、本実施形態によれば、特定基準物によらなくても、設定部１５０は、「ベクトル」設定モードによって、撮影画像のオプティカルフローに基づき、相対関係を判別することができる。従って、本実施形態によれば、撮影画像に特定基準物が良好に写らない車両周辺環境においても、車両を走行させれば、再生画像の正面方向と車両の進行方向との間の方向合わせを適切に行うことができる。

【0116】

また、本開示は、上記実施形態に限定されるものではなく、種々の態様を採ることができる。例えば、ドライブレコーダ１は、再生画像の表示モードとして、複数の表示モードを有していてもよい。制御部１０は、Ｓ１４５において、操作部５０から指定された表示モードで、再生対象期間の撮影画像を、再生画像として表示部４０に表示させるように、表示部４０を制御してもよい。この場合、画像処理部１３０は、再生部１２０から入力される再生画像が、指定された表示モードで表示されるように、画像処理を行うことができる。

【0117】

例えば、カメラ２０が全方位カメラであるとき、ドライブレコーダ１は、上記のアスペクト比が１６：９の再生画像を表示する表示モードである標準表示モードの他に、全景パノラマ表示モード、及びラウンド表示モードを有することができる。

【0118】

全景パノラマ表示モードは、動画像データに記録される画角２αが３６０度（＝２π）の撮影画像全体を表示部４０にパノラマ表示させるモードである。すなわち、α＝β＝１８０度（＝π）である。

【0119】

全景パノラマ表示モードにおいて、画像処理部１３０は、図１１に示すように、再生部１２０から再生画像として入力される撮影範囲が方位角－π－δθ≦θ≦＋π－δθの範囲の動画像のうち、方位角－π－δθ≦θ＜－πの画像領域を、方位角＋π－δθ≦θ＜＋πの画像領域と扱って、再生部１２０から入力される再生画像を表示用の再生画像に変換することができる。

【0120】

すなわち、画像処理部１３０は、画像処理として、方位角－π－δθ≦θ＜－πの画像領域を、方位角＋π－δθ≦θ＜＋πの画像領域に移動させるように、再生部１２０から入力される再生画像における対応する画像領域の配置を変更することにより、表示用の再生画像として、方位角ゼロを再生画像の中心においた方位角－π≦θ≦＋πの範囲の撮影画像を生成する処理を実行することができる。画像処理部１３０による画像処理又は再生部１２０による再生処理は、良好なパノラマ表示のために、レンズ特性による画像の歪みを抑制するための処理を含み得る。

【0121】

これにより表示部４０には、カメラ２０の撮影画像として、車両の直進方向を中心とした３６０度のパノラマ画像、すなわち、再生画像の正面方向と車両の直進方向とが一致した３６０度のパノラマ画像が表示される。

【0122】

この他、ラウンド表示モードは、図１２Ａに示すように、動画像データに記録される３６０度の撮影画像全体を表示部４０に円形に表示するモードである。円の周方向が方位角方向に対応する。ここでは、円形に表示される３６０度の撮影画像のことを、ラウンド画像と表現する。

【0123】

ラウンド表示モードにおいて、画像処理部１３０は、再生部１２０から入力される再生画像を、再生制御データに基づき画像処理して、車両の進行方向に対応する方位角ゼロの被写体部分が円の上部に配置されるラウンド画像を、表示部４０に表示させる。ラウンド画像の正面方向は、円の上方向に対応する。

【0124】

仮に再生制御データに基づかない場合には、ラウンド画像の上方向と車両の進行方向とが一致せず、図１２Ｂに示すように、差δθだけ、車両の進行方向がラウンド画像の上方向から傾いたラウンド画像が表示されることになる。

【0125】

画像処理部１３０は、再生制御データに基づく画像処理により、このような傾いたラウンド画像を差δθだけ回転させて、車両の進行方向に対応する方位角ゼロの被写体部分が円の上を向くラウンド画像を、表示部４０に表示させることができる。

【0126】

上記実施形態として、カメラ２０の正面方向と車両の直進方向との間の方位角方向の差δθを打ち消す方向への画像処理を説明したが、方位角方向の差δθと共に、カメラ２０の正面方向と基準方向との間の仰俯角方向の差δφが推定されてもよく、その推定値が再生制御データに記録されてもよい。

【0127】

動画像データの再生処理時には、仰俯角を加味した再生画像が表示されるように、方位角方向の差δθ及び仰俯角方向の差δφを打ち消す方向の画像処理が行われてもよい。ここでいう基準方向は、車両の直進方向に沿う水平面に平行な方向であってもよいし、車両乗員の一般的な視線を考慮して、水平面より下方に傾いた方向であってもよい。

【0128】

上記実施形態として、記録メディア７０を通じて動画像データが車両外の装置に提供される例を説明したが、動画像データは、例えばサーバ装置９０を通じて、車両外の装置である外部装置９５に提供されてもよい。この場合、再生制御データは、動画像データにメタデータとして内包され、それにより動画像データの本体と関連付けられた状態で、サーバ装置９０のストレージ９１に記録されてもよい。サーバ装置９０は、クラウドストレージに対応すると理解されてもよい。

【0129】

図１３に示す変形例によれば、ドライブレコーダ１がサーバ装置９０と広域ネットワークを通じて通信可能であることを前提に、ドライブレコーダ１の制御部１０が、Ｓ２６０において、生成した再生制御データを、動画像データ内にメタデータとして書込み、書き込んだ動画像データを、サーバ装置９０にアップロードする。

【0130】

サーバ装置９０にアップロードされた再生制御データを内包する動画像データは、外部装置９５によりダウンロードされる。外部装置９５の例には、パーソナルコンピュータ、スマートフォン、及びタブレットが含まれる。外部装置９５は、動画像データの再生処理時に、メタデータとして含まれる再生制御データを参照し、カメラ２０の向きと車両の進行方向との間のズレを考慮した画像処理を実行する。

【0131】

ドライブレコーダ１が、サーバ装置９０を通じて、外部装置９５に動画像データ及び再生制御データを提供することができることによれば、ユーザは、記録メディア７０の取り扱いなしに、便利に動画像データに基づく再生画像を外部装置９５において見ることができる。

【0132】

ユーザは特に、外部装置９５において、面倒な設定なしに、正面方向が車両の進行方向に調整された違和感のない再生画像を見ることができる。従って、変形例によれば、ユーザに便利なドライブレコーダ１を提供することができる。

【0133】

上記実施形態では、再生制御データの生成がドライブレコーダ１で行われたが、動画像データがサーバ装置９０を通じて、外部装置９５に提供され、図４に示す設定処理に対応する処理が外部装置９５で実行されて、再生制御データが生成されてもよい。この場合、再生制御データは、動画像データのメタデータとして、サーバ装置９０に記録され得る。

【0134】

再生制御データ付の動画像データは、ドライブレコーダ１又は外部装置９５において、サーバ装置９０からダウンロードされて、再生処理され得る。スマートフォンなどのタッチパネルを備える情報処理端末は、操作性が良好である。従って、情報処理端末を通じたユーザ操作に従って再生制御データを生成することによれば、ユーザによる設定に係る操作性を向上させることができる。

【0135】

この他、図４における設定処理に関して、ドライブレコーダ１は、上述した「ベクトル」設定モード等の他に、手動設定モードを有していてもよい。手動設定モードにおいて、制御部１０は、設定画面においてカメラ２０のパノラマ画像を表示し、パノラマ画像の中心位置を調整する操作をユーザから受け付けることができる。

【0136】

制御部１０は、調整後のパノラマ画像の中心位置の、調整前の位置からの調整量を、カメラ２０の向きと車両の進行方向との間のズレとみなして、再生制御データを生成し、動画像データの再生処理時には、再生制御データに基づいて、上記調整後の中心位置が画面中心に表示されるように画像処理を実行することができる。

【0137】

本開示の技術は、移動体としての車両に搭載されるドライブレコーダだけではなく、スマートフォンなどのカメラを備える携帯端末に適用されてもよい。上述のドライブレコーダ１は、カメラ２０を内蔵するが、ドライブレコーダ１は、車両に搭載される別個のカメラとケーブル接続される又は無線接続されるドライブレコーダであってもよい。グラフィカルユーザインタフェースは、再生画像又は撮影画像に重畳表示されなくてもよく、再生画像又は撮影画像領域とは別の領域に表示されてもよい。

【0138】

上記実施形態における１つの構成要素が有する機能は、複数の構成要素に分散して設けられてもよい。複数の構成要素が有する機能は、１つの構成要素に統合されてもよい。上記実施形態の構成の一部は、省略されてもよい。上記実施形態の構成の少なくとも一部は、他の上記実施形態の構成に対して付加又は置換されてもよい。特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

【符号の説明】

【0139】

１…ドライブレコーダ、１０…制御部、１１…プロセッサ、１３…メモリ、２０…カメラ、３０…センサ類、４０…表示部、５０…操作部、６０…メディアリーダ／ライタ、７０…記録メディア、９０…サーバ装置、９１…ストレージ、９５…外部装置、１１０…動画像記録部、１２０…再生部、１３０…画像処理部、１５０…設定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】