特許 5901825 映像処理装置及び映像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5901825

(24)【登録日】2016年3月18日

(45)【発行日】2016年4月13日

(54)【発明の名称】映像処理装置及び映像処理方法

(51)【国際特許分類】

   H04N 5/915 20060101AFI20160331BHJP

   H04N 5/91 20060101ALI20160331BHJP

【ＦＩ】

   H04N5/91 K

   H04N5/91 Z

【請求項の数】12

【全頁数】15

(21)【出願番号】特願2015-114125(P2015-114125)

(22)【出願日】2015年6月4日

【審査請求日】2015年6月4日

【早期審査対象出願】

(73)【特許権者】

【識別番号】512226273

【氏名又は名称】株式会社ファンクリエイト

(73)【特許権者】

【識別番号】513220562

【氏名又は名称】首都高技術株式会社

(74)【代理人】

【識別番号】100109380

【弁理士】

【氏名又は名称】小西 恵

(74)【代理人】

【識別番号】100109036

【弁理士】

【氏名又は名称】永岡 重幸

(72)【発明者】

【氏名】土佐林 憲

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２００９−０６０４７７（ＪＰ，Ａ）

【文献】 特開２０１３−０２６８３０（ＪＰ，Ａ）

【文献】 特開２００９−０６５３２４（ＪＰ，Ａ）

【文献】 特開２００９−１４７５４２（ＪＰ，Ａ）

【文献】 特開２０１１−０２３８８２（ＪＰ，Ａ）

【文献】 特開２０１１−０２９８５２（ＪＰ，Ａ）

【文献】 特開２０１２−９８１９９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ１／００−１／４０

３／００−５／５０

９／００−９／４０

Ｈ０４Ｎ５／２２２−５／２５７

５／７６

５／７６５

５／８０−５／９１

５／９１５

５／９２

５／９２２

５／９２８−５／９３

５／９３７−５／９４

５／９５−５／９５６

(57)【特許請求の範囲】

【請求項1】

車両へ取り付け可能であり、前記車両が走行する道路上の道路構造物を撮像して撮像された映像データを画像処理装置へ供給する撮像装置であって、
前記道路構造物を撮像する１つ又は複数の撮像部と、
前記撮像部の撮像時刻を取得する時刻取得部と、
前記撮像部の撮像位置を取得する位置取得部と、
前記車両の揺れを検出可能な位置に設置され、前記車両の加速度情報及び角速度情報を含む撮像姿勢を取得する姿勢取得部と、
前記撮像部の出力信号に基づいて、複数のフレームを含む映像データを順次生成する映像データ生成部と、
生成された前記映像データを記憶媒体に記憶する記憶部と、を備え、
前記映像データ生成部は、
前記映像データを生成する際に、前記映像データの前記フレームごとに、前記撮像時刻、前記撮像位置、及び前記撮像姿勢を含む撮像環境情報を、前記映像データの再生時に読み飛ばすべきことを示す制御コードを付加して、対応するフレームに書き込む、
ことを特徴とする撮像装置。

【請求項2】

前記時刻取得部は、
標準電波から得られる標準時刻情報を、前記撮像時刻として取得することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記位置取得部は、
測位衛星から送信される衛星信号から得られる測位情報を、前記撮像位置として取得することを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記姿勢取得部は、
３軸加速度センサおよび３軸ジャイロセンサの少なくとも一方で検出した情報を、前記撮像姿勢として取得することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。

【請求項5】

前記記憶部で記憶した前記映像データに基づいて、前記フレームと当該フレームに対応する前記撮像環境情報とを重畳させて表示部に表示する第一の表示制御部をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。

【請求項6】

請求項１に記載の撮像装置から供給される映像データを画像処理する画像処理装置であって、
前記撮像装置から前記映像データを取得する取得部と、
検出対象の道路構造物の画素の輝度値に対応する二値化閾値又は多値化閾値を設定する閾値設定部と、
設定された前記二値化閾値又は多値化閾値を用いて、取得された前記映像データを二値化処理又は多値化処理し、当該二値化処理又は多値化処理後の映像データに対して特異点抽出処理を施す処理部と、を備えることを特徴とする画像処理装置。

【請求項7】

前記閾値設定部は、検出対象の道路構造物と当該道路構造物の周囲との画素の輝度値の相違に基づいて二値化閾値又は多値化閾値を設定することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

ユーザが指定した撮像環境情報を取得する指定情報取得部と、
前記記憶部で記憶した前記映像データから、前記指定情報取得部で取得した情報が付加されたフレームを検索する画像検索部と、
前記画像検索部で検索したフレームを前記表示部に表示する第二の表示制御部と、を備えることを特徴とする請求項５に記載の撮像装置。

【請求項9】

車両に取り付け可能な撮像部により、前記車両が走行する道路上の道路構造物を撮像して、撮像された映像データを処理する映像処理方法であって、
前記撮像部が前記道路構造物を撮像するステップと、
前記撮像部の撮像時刻を取得するステップと、
前記撮像部の撮像位置を取得するステップと、
前記車両の加速度情報及び角速度情報を含む撮像姿勢を取得するステップと、
前記撮像部の出力信号に基づいて、複数のフレームを含む映像データを順次生成する映像データ生成ステップと、
生成された前記映像データを記憶媒体に記憶するステップと、を含み、
前記映像データ生成ステップは、
前記映像データを生成する際に、前記映像データの前記フレームごとに、前記撮像時刻、前記撮像位置、及び前記撮像姿勢を含む撮像環境情報を、前記映像データの再生時に読み飛ばすべきことを示す制御コードを付加して、対応するフレームに書き込む、
ことを特徴とする映像処理方法。

【請求項10】

コンピュータを、前記請求項１〜５及び８のいずれか１項に記載の撮像装置の各部として機能させるためのプログラム。

【請求項11】

コンピュータを、前記請求項６または７記載の画像処理装置の各部として機能させるためのプログラム。

【請求項12】

前記請求項１０または１１に記載のプログラムを記録した、コンピュータが読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置及び映像処理方法に関する。

【背景技術】

【0002】

従来、路面に関連する路面構造物や路面の周辺に設置された付属構造物等を含む道路構造物を点検する場合、点検用車両に搭載したカメラ等によって撮像した映像を点検者が確認している。
特許文献１には、車両にＣＣＤカメラを搭載し、当該ＣＣＤカメラが車両走行中に取得した路面映像をもとに路面のひびわれを検出する路面ひびわれ検出装置が開示されている。この路面ひびわれ検出装置は、１／３０秒毎に路面画像（フレーム）を取得すると共に、当該路面画像の取得タイミングで車両の走行距離データと時刻とを取得する。特許文献１において、上記時刻は、走行距離データの計測開始時刻を基準とする相対時刻（経過時間）である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９−９６５１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラ等で撮像された映像をもとに点検対象となる物体の状態を確認する場合、例えば、特定の時刻に撮像されたフレームを取り出して確認することができると、点検作業効率が一段と向上する。
しかしながら、上記特許文献１に記載の技術にあっては、各フレームの時刻情報は、計測開始時刻からの経過時間のみにより管理されている。そのため、映像からフレームを取り出す場合、「計測開始から何分何秒後のフレーム」という指定をすることしかできない。このように、特定の時刻を指定してフレームを取り出すことができないため、映像を効率的に確認することができない。
そこで、本発明は、映像データの確認作業効率を向上することができる映像処理装置及び映像処理方法を提供することを課題としている。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明に係る映像処理装置の一態様は、少なくとも撮像時刻を含む複数の撮像環境に関する情報を取得する撮像環境情報取得部と、被写体を結像する光学系および撮像素子を有する撮像部の出力信号に基づいて、複数のフレームを含む映像データを生成する映像データ生成部と、前記映像データに対して、フレームごとに前記撮像環境情報取得部で取得した情報を付加し、記憶媒体に記憶する記憶部と、を備える。
このように、各フレームと撮像時刻等の撮像環境に関する情報とを直接的に関連付けて記録するので、特定の時刻など、撮像環境を指定してフレームを取り出すことができる。したがって、映像データを効率良く確認することができる。

【0006】

また、上記撮像環境情報取得部は、上記撮像環境に関する情報として、上記撮像時刻と、撮像位置および撮像姿勢の少なくとも１つとに関する情報を取得してもよい。これにより、特定の位置を指定してフレームを取り出したり、特定の姿勢を指定してフレームを取り出したりすることができる。
さらに、上記撮像環境情報取得部は、標準電波から得られる標準時刻情報を、上記撮像時刻に関する情報として取得してもよい。これにより、正確な撮像時刻を各フレームに関連付けることができる。

【0007】

また、上記撮像環境情報取得部は、測位衛星から送信される衛星信号から得られる測位情報を、上記撮像位置に関する情報として取得してもよい。これにより、正確な撮像位置を各フレームに関連付けることができる。
さらに、上記撮像環境情報取得部は、３軸加速度センサおよび３軸ジャイロセンサの少なくとも一方で検出した情報を、上記撮像姿勢に関する情報として取得してもよい。これにより、加速度情報や角速度情報を撮像姿勢に関する情報として各フレームに関連付けることができる。

【0008】

また、上記記憶部で記憶した映像データに基づいて、フレームと当該フレームに対応する撮像環境に関する情報とを重畳させて表示部に表示する第一の表示制御部をさらに備えもよい。このように、映像データと撮像環境に関する情報とを１画面に表示することで、撮像環境の把握が容易となる。
さらに、ユーザが指定した上記撮像環境に関する情報を取得する指定情報取得部と、上記記憶部で記憶した映像データから、上記指定情報取得部で取得した情報が付加されたフレームを検索する画像検索部と、当該画像検索部で検索したフレームを表示部に表示する第二の表示制御部と、を備えてもよい。これにより、ユーザは、自身が指定した撮像環境に対応するフレームを容易に確認することができる。

【発明の効果】

【0009】

本発明によれば、映像データに対して、フレームごとに少なくとも撮像時刻を含む撮像環境情報を付加するので、映像データの確認作業効率を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態における映像処理システムの一例を示す概略構成図である。

【図2】撮像装置の構成を示すブロック図である。

【図3】映像ファイルの構成例である。

【図4】画像処理装置の構成を示すブロック図である。

【図5】画像検索結果の表示例である。

【図6】第２の実施形態の画像処理のフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態における映像処理システム１００の一例を示す概略構成図である。
図１に示すように、映像処理システム１００は、例えば車両２００に搭載可能である。車両２００は、例えば、高速道路をはじめとする各種道路において、毎日もしくは数日おきに行われる日常点検を実施するための点検用車両である。映像処理システム１００は、撮像装置１０と、画像処理装置２０とを備える。
撮像装置１０は、例えば車両２００の正面の屋根部分に取り付けられ、車両２００の周辺を撮像するデジタルビデオカメラである。また、この撮像装置１０は、例えば、アスペクト比１６：９の横長のハイビジョン映像を撮像するハイビジョンカメラである。これにより、アスペクト比４：３の映像に対し、人の視野に近い状態で映像を撮像することができる。撮像装置１０は、例えば車両２００が所定の点検対象道路を走行しているとき、若しくは車両２００が停車しているときに、当該車両２００の周辺の映像を撮像する。

【0012】

本実施形態では、撮像装置１０は、車両２００の前方の映像を撮像する。ここで、撮像装置１０の撮像範囲（方向や画角（視野角））は、検出対象に応じて適宜設定するものとする。なお、撮像装置１０は複数台設置することもできる。例えば、撮像装置１０は、車両２００の前方を撮像する第一のカメラと、車両２００の左側方を撮像する第二のカメラと、車両２００の右側方を撮像する第三のカメラとで構成することもできる。この場合、各カメラでそれぞれ撮像した撮像方向の異なる映像を１つの動画情報として出力可能な構成としてもよい。また、撮像装置１０は、車両の後方を撮像するように構成されていてもよい。

【0013】

画像処理装置２０は、撮像装置１０から映像ファイルを取得し、映像の表示制御を行う。この画像処理装置２０は、例えばノート型パーソナルコンピュータ（ノートＰＣ）により構成される。画像処理装置２０は、撮像装置１０と通信可能に有線または無線で接続されている。なお、画像処理装置２０は、ノートＰＣに限定されるものではなく、例えば、スマートフォンやタブレット端末などの携帯端末であってもよい。また、画像処理装置２０は、例えば、撮像装置１０に内蔵されていてもよい。さらに、画像処理装置２０は、例えば、撮像装置１０とネットワーク等を介して接続されたサーバ装置であってもよい。

【0014】

以下、撮像装置１０の構成について具体的に説明する。
図２に示すように、撮像装置１０は、撮像部１１と、信号処理部１２と、記録部１３と、時刻情報取得部１４と、位置情報取得部１５と、姿勢情報取得部１６と、を備える。
撮像部１１は、レンズ１１ａや撮像素子１１ｂ等を含んで構成される。レンズ１１ａは、被写体を結像するための光学系である。撮像素子１１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。撮像部１１は、レンズ１１ａで集めた光を撮像素子１１ｂに結像させ、結像された光像を光電変換により電気信号に変換し、これを撮像部１１の出力信号として信号処理部１２に出力する。

【0015】

信号処理部１２は、撮像部１１から得られた電気信号に所定の信号処理を施し、複数のフレームを含む映像データを生成する。本実施形態では、撮像時刻、撮像位置、撮像時の姿勢（撮像姿勢）などの撮像環境に関する情報（以下、「環境情報」と称す。）を、各フレームに対応付けて映像データを生成する。この映像データの生成方法については後述する。また、信号処理部１２は、エンコーダを介して映像データを圧縮処理するなどにより映像ファイルを生成する。ここでの圧縮方式は、例えば、Ｈ．２６４、ＭＰＥＧ４（Moving Picture Experts Group phase4）、ＭＪＰＥＧ（Motion-JPEG）などの規格に基づく。記録部１３は、信号処理部１２で生成した映像ファイルを、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気テープ等の磁気記録媒体、光ディスクや光磁気ディスク等の光／光磁気記憶媒体等の記録媒体に記録する。

【0016】

時刻情報取得部１４は、例えば、電波時計等に用いられる標準電波を受信する受信機を備え、当該受信機で受信した標準電波から得られる標準時刻情報を、撮像時刻を示す情報として信号処理部１２に出力する。ここで、標準電波としては、日本のＪＪＹ、米国のＷＷＶＢ、英国のＭＳＦ、及び、独国のＤＣＦ７７などがある。なお、インターネットを通じて時刻情報を提供する時刻情報提供サービスや放送の時報を利用して時刻情報を取得してもよいし、パソコンに内蔵された時計（例えば、画像処理装置２０に内蔵された時計）を利用して時刻情報を取得してもよい。

【0017】

位置情報取得部１５は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星から送信される信号を受信するＧＮＳＳ受信機を含んで構成される。位置情報取得部１５は、受信した信号から撮像装置１０の位置（車両２００の位置）を示す位置情報を取得し、その位置情報を、撮像位置を示す情報として信号処理部１２に出力する。なお、ＧＮＳＳとは、ＧＰＳ（米国）、ＧＡＬＩＬＥＯ（欧州）、ＣＬＯＮＡＳＳ（ロシア）、準天頂衛星（日本）などの測位衛星の総称である。
姿勢情報取得部１６は、例えば、３軸加速度センサ、３軸ジャイロセンサ等の３軸センサにより構成される。姿勢情報取得部１６は、撮像装置１０（車両２００）の加速度情報や角速度情報を取得し、取得した情報を、撮像姿勢を示す情報として信号処理部１２に出力する。

【0018】

なお、時刻情報取得部１４、位置情報取得部１５及び姿勢情報取得部１６は、それぞれ時刻情報、位置情報及び姿勢情報を取得可能な構成であれば、上記の構成に限定されない。また、時刻情報取得部１４、位置情報取得部１５及び姿勢情報取得部１６は、それぞれ撮像装置１０に内蔵してもよいし、車両２００に設置してもよい。例えば、姿勢情報取得部１６を車両２００のサスペンションによって車体の揺れが緩衝されない位置（例えば、車輪近傍）に設置した場合、路面の僅かな変動による揺れを検出することができる。

【0019】

信号処理部１２は、時刻情報取得部１４、位置情報取得部１５及び姿勢情報取得部１６から時刻情報、位置情報及び姿勢情報を入力し、これらの撮像情報が書き込まれた映像ファイルを生成する。
図３は、映像ファイルの一例を示す図である。この図３に示すように、映像ファイル３０は、ヘッダ部３１と映像データ部３２とを含んで構成されている。ヘッダ部３１には、映像ファイル３０のファイル名、ファイルの種類、ファイルサイズ等、映像ファイル３０の構造を示すヘッダ情報（Ｈ）が含まれる。また、映像データ部３２には、フレーム単位（１Ｆ，２Ｆ，…）の映像データが含まれる。映像データ部３２内におけるフレームとフレームとの間には、環境情報３３が、例えば数値データとして書き込まれる。環境情報３３は、例えば、対応するフレームの直前に書き込む。すなわち、第２フレーム（２Ｆ）の環境情報３３は、第１フレーム（１Ｆ）と第２フレーム（２Ｆ）との間に書き込む。なお、環境情報３３とそれに対応するフレームとの対応付けがされていれば、環境情報３３を書き込む位置は上記に限定されない。また、環境情報３３は、映像データの全フレームに対して書き込んでもよいし、所定間隔で書き込んでもよい。

【0020】

本実施形態においては、信号処理部１２は、環境情報３３を、映像データの再生に影響しない形で書き込む。例えば、環境情報３３は、フレームごとに設けられたヘッダ（フレームヘッダ）内に格納してもよいし、フレームごとのメタデータとして格納してもよい。また、映像再生時に環境情報３３が読み飛ばされるような制御コードを付加して環境情報３３を書き込んでもよい。なお、映像再生時に環境情報３３がコメントアウトされる形で環境情報３３を書き込んでもよい。環境情報３３の書き込み方法は、映像処理システム１００のユーザが適宜設定することができる。
このように、信号処理部１２は、各フレームに関連する環境情報３３を書き込みながらフレーム単位で映像データ部３２を順次生成していく。そして、信号処理部１２は、映像データ部３２の生成が完了すると、映像データ部３２に対応するヘッダ部３１を生成し、映像ファイル３０を生成する。信号処理部１２は、生成した映像ファイル３０を記録部１３に記録する。

【0021】

次に、画像処理装置２０の構成について具体的に説明する。
図４に示すように、画像処理装置２０は、画像取得部２１と、パラメータ取得部２２と、画像処理部２３と、表示制御部２４と、を備える。
画像取得部２１は、撮像装置１０から映像ファイル３０を取得し、これを画像処理部２３に出力する。パラメータ取得部２２は、ユーザが所定の操作部（例えば、キーボードやマウス等のポインティングデバイス）を操作して入力した、後述する画像処理に関するパラメータを取得する。画像処理部２３は、映像ファイル３０に対して、必要に応じてパラメータ取得部２２が取得したパラメータをもとに画像処理を施し、その結果を表示制御部２４に出力する。表示制御部２４は、画像処理部２３の画像処理結果を液晶ディスプレイ（ＬＣＤ）等のモニタで構成される表示部７１（図５）に表示する。例えば、画像処理部２０がノート型パーソナルコンピュータやタブレット等である場合、表示部７１はノート型パーソナルコンピュータの表示部である。

【0022】

本実施形態では、上記画像処理として、例えば画像検索処理を実施する。すなわち、画像処理部２３は、ユーザが上記パラメータとして検索条件を入力している場合、入力された検索条件を充足する画像（フレーム）を映像ファイル３０から検索する画像検索処理を実施する。
例えば、画像処理部２３は、ユーザが検索条件として時刻を指定している場合、映像データ内の環境情報３３を読み出し、ユーザが指定した時刻と同一の時刻に撮像されたフレームを検索する。また、ユーザが検索条件として位置を指定している場合には、映像データ部３２内の環境情報３３を読み出し、ユーザが指定した位置と同一の位置で撮像されたフレームを検索する。ここで、ユーザによる位置の指定は、例えば、緯度及び経度を入力することで実行されてもよいし、表示部等に表示されたマップ上の位置をポインティングデバイスで指示することで実行されてもよい。さらに、ユーザが検索条件として撮像姿勢を指定している場合には、映像データ部３２内の環境情報３３を読み出し、ユーザが指定した撮像姿勢で撮像されたフレームを検索する。

【0023】

上記の画像検索処理は、映像データ部３２から環境情報３３を抜き出す（検出する）処理を行うプログラムを実行することで実現可能である。ここで、環境情報３３に制御コードが付加されている場合には、当該制御コードをピックアップする処理を行うプログラムを実行することで、環境情報３３以外の付加情報と区別して検索処理を実現可能である。
画像処理部２３は、当該画像検索処理によって検索されたフレームを、画像検索結果として表示制御部２４に出力する。これにより、表示制御部２４は、画像処理部２３によって検索されたフレームを表示部に表示することができる。また、画像処理部２３は、画像検索処理によって検索されたフレームを、再生開始位置として表示制御部２４に出力することもできる。この場合、表示制御部２４は、画像処理部２３によって検索されたフレームから映像データを再生する。映像データの再生は、静止画でもよいし、動画でもよい。

【0024】

図５は、画像検索結果の表示画面の一例を示す図である。この図５に示すように、表示部７１は、撮像部１１により取得した映像データ（画像フレーム）を表示する映像表示領域７２と、環境情報３３を表示する環境情報表示領域７３とを有する。また、表示部７１は、映像データの再生や一時停止、停止、巻戻し、早送り等を指示可能なボタン７４等を表示することができる。環境情報表示領域７３には、映像表示領域７２に表示したフレームの撮像時刻、撮像位置、撮像姿勢を、例えば数値データで表示することができる。図５の例では、撮像時刻として西暦２０ＸＸ年ＸＸ月ＸＸ日のＸＸ時ＸＸ分が表示され、撮像位置として北緯（Ｎ）ＸＸ度ＸＸ分、東経（Ｅ）ＸＸ度ＸＸ分が表示され、３軸加速度センサの値（Ｇ）として、Ｘ．ＸＸＸ（ｃｍ／ｓ^２）が表示されている。尚、撮像位置は地図で表示してもよいし、撮像姿勢は波形で表示してもよい。環境情報の表示方法は適宜設定可能である。また、ユーザが環境情報の表示方法を切替可能な構成であってもよい。
このように、映像データの中からユーザが指定した撮像時刻や撮像位置の画像（フレーム）を容易に検索し、車両２００付近の映像に撮像時刻等を重畳して表示することができる。所望の時刻を指定して画像を表示することができるので、巻戻しや早送りの操作が不要である。

【0025】

以上の構成により、本実施形態では、ユーザが撮像装置１０の電源を投入すると、撮像装置１０は車両周辺の撮像を開始する。撮像装置１０は、車両２００の走行中及び停車中のいずれであっても撮像可能である。このとき、撮像装置１０は、所定のフレームレートで撮像処理を実行して各フレームの映像データを生成しながら、各フレームに関連する撮像時刻、撮像位置、撮像姿勢等に関する情報を環境情報３３として画像データに書き込み、映像ファイル３０を生成する。ここで、フレームレートは、例えば、２４ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓなどを採用することができる。撮像装置１０による撮像処理が終了すると、画像処理装置２０は、撮像装置１０から映像ファイル３０を取り込み、ユーザが指定した検索条件を充足する画像（フレーム）を検索し、表示する。なお、ユーザが指定した時刻の前後の所定時間を含む時間帯の画像（フレーム）を検索し、例えば、当該指定時刻を含む数分間の画像を表示してもよい。

【0026】

このように、本実施形態では、映像データの各フレームに環境情報３３を数値データとして書き込むので、特定の時刻や位置等を指定することで、映像ファイル３０の映像データ部３２から容易に対応するフレームを検索、表示することができる。また、環境情報３３は、映像再生時に影響のない形式で書き込むため、不具合を発生させることなく適切に映像データを再生することができる。尚、所定時間の間、動画で映像を再生したい場合、再生開始時刻と再生終了時刻を指定すればよい。また、図５の環境情報表示領域７３に表示する内容は、ユーザが適宜決定することができる。例えば、ユーザが加速度センサの計測値を表示する必要がないと考えるならば、時刻情報と位置情報のみを環境情報表示領域７３に表示してもよい。

【0027】

映像データの各フレームと時刻情報とを関連付ける方法としては、例えば、映像データに変換した時刻情報をフレームごとに画像合成して記録する方法がある。しかしながら、この場合、映像の再生画面上では各フレームの撮像時刻を確認することはできるが、特定の時刻のフレームを検索するためには、ユーザが映像を巻戻したり早送りしたりする必要がある。
また、映像データの各フレームには、ＬＴＣ（Longitudinal TimeCode）などに代表される時間．分．秒．フレーム番号からなるタイムコードが付与されている。しかしながら、例えば日本や米国等で採用されているＮＴＳＣ（National Television System Committee）方式の場合、フレーム数が２９．９７フレーム／秒であるため、実時間に対して、タイムコードの歩進が僅かにずれる。このずれを長時間において解消するための補正モードとしてドロップフレームがあるが、フレーム１枚１枚に正確な時刻を関連付けることは困難である。

【0028】

これに対して、本実施形態では、各フレームに時刻情報取得部１４によって取得した時刻情報をそれぞれ関連付けることができる。また、時刻情報取得部１４によって取得する時刻情報として、電波時計情報を用いるので、正確な撮像時刻を各フレームに関連付けることができる。
また、撮像時刻と共に、撮像位置や撮像姿勢（加速度、角速度等）といった撮像環境に関する情報を各フレームに付加し、各フレームとこれらの撮像環境に関する情報とを直接的に関連付けることができる。

【0029】

従来、各フレームに関連する情報は、映像データとは別に記録媒体等に記録されており、各フレームと各フレームに関連する情報とのリンクは、映像撮像時のタイムコード等を双方に付与することによりなされていた。しかしながら、この場合、映像データを処理する際に、記録媒体等からタイムコードを介して対応する情報を読み出さなければならない。このように、各フレームとそれに対応する各情報とが間接的に関連付けられた構成であると、映像データとは別に上記情報を記録、管理する必要があり不便であると共に、必要な情報の抽出や表示が非効率であるとの問題があった。これに対して、本実施形態では、各フレームとそれに対応する撮像環境に関する情報とを直接的に関連付けることができるので、上記のような問題がない。

【0030】

さらに、本実施形態では、撮像装置１０において、撮像部１１から得られる信号をもとに映像データを生成する際に、撮像時刻等の環境情報３３を一緒に書き込む。すなわち、ビデオカメラが出力した映像ファイルを加工して撮像情報を書き込む構成ではない。そのため、映像データと撮像情報との関連付けを行うために、ビデオカメラに映像ファイルの加工を行うための装置を接続する必要がない。したがって、システム内の機器数を削減することができる。また、機器間の接続不具合に起因して撮像情報の書き込み不具合が発生することを抑制することができる。
環境情報３３を用いて検索したフレームは、例えば、車両２００周辺の状態確認に用いることができる。例えば、ユーザが検索条件として時刻情報を指定した場合、指定した時刻に車両２００が走行していた場所及びその周辺の状態を確認することができる。

【0031】

また、ユーザが検索条件として点検の対象となる物体の設置位置を示す位置情報を指定した場合には、点検の対象となる物体が撮像されたフレームを検索、表示することができ、当該物体の異常等の確認が可能となる。ここで、点検の対象となる物体としては、例えば、車両２００が走行可能な道路、トンネル、橋などに関する構造物がある。例えば、舗装やジョイント部、道路区画線（白線）、マンホール、排水溝、中央分離帯、標識、看板、電柱、支柱、照明灯、街路灯、防音壁、ケーブル、ワイヤ、信号機、反射鏡、ガードレール、縁石、横断歩道橋、電話ボックス等は、上記構造物に含まれる。
さらに、ユーザが検索条件として撮像姿勢の許容値を指定した場合、車両２００に許容値を超える大きさの振動が発生した場所を撮像したフレームを検索、表示することができ、その場所の路面の状態を確認することができる。これにより、例えば、上記振動が発生した原因が路面の劣化である場合には、これを適切に把握することができる。また、上記振動が発生した場所が道路のジョイント部７５である場合には、当該ジョイント部の状態を確認することもできる。

【0032】

また、例えば図５に示すように、環境情報３３を道路の映像と共に１つの画面に表示するので、点検者は映像の撮像時刻、撮像位置及び撮像姿勢等を容易に把握することができる。したがって、例えば、映像データをもとに、点検者が目視で、もしくは画像処理により自動で上述した構造物等の異常を検出した場合には、異常を検出したフレームの撮像時刻や撮像位置等を容易に把握することができる。その結果、異常を検出した構造物の設置場所に、詳細点検や修理の作業員を向かわせるなどの適正な対応が可能となる。
尚、表示部７１は、映像表示領域７２と環境情報表示領域７３とを有するとしたが、環境情報表示領域７３を設けなくてもよい。即ち、環境情報３３を表示部７１において表示するかは、ユーザが適宜決定してよい。

【0033】

（第２の実施形態）
第１の実施形態において、振動が発生した場所が道路のジョイント部７５である場合には、当該ジョイント部７５の状態を確認することができるとした。撮像画像中において横方向に延びる物体が道路のジョイント部７５であるか否かの判断は、撮像した画像を用いて行ってもよいし、撮像した画像に画像処理を施した後の画像を用いて行ってもよい。後者の場合に採用される画像処理を、第２の実施形態として説明する。なお、以下の記載では、第１の実施形態との相違点のみを説明する。
第２の実施形態では、道路のジョイント部７５の検出を、以下のような特異点抽出に基づいて行う。図６は、第２の実施形態で採用する画像処理のフローチャートである。
この画像処理は、例えば画像処理装置２０の電源が投入されたタイミングで実行開始することができる。

【0034】

先ずステップＳ１で、画像取得部２１は、撮像部１１から撮影画像を取得し、ステップＳ２に移行する。なお、このステップＳ１では、撮影画像に対して種々の補正処理を行ってもよい。例えば、撮影画像に対してワイドダイナミックレンジ（ＷＤＲ）処理を行うことで、逆光が強いシーンや明暗の差が大きいシーンを撮影した画像の高品位化を図ることができる。
ステップＳ２では、画像処理部２３は、ステップＳ１で取得した画像データに対して所定の二値化閾値を用いて二値化処理を施す。

【0035】

この二値化閾値は、検出対象である道路のジョイント部７５を検出可能な値に設定する。一般に、路面にはアスファルト舗装が施されており、撮影画像において、当該アスファルト路面部分に対応する画素の輝度値（以下、「画素値」ともいう）は黒色の輝度値「０」に近い値となる。これに対して、ジョイント部７５では、路面上に金属製の継手部材や後打コンクリートが露出しており、撮影画像において、当該ジョイント部７５に対応する領域の画素値は、上記のアスファルト路面部分に対応する領域の画素値よりも白色の輝度値「２５５」に近い値となる。
したがって、道路構造物としてジョイント部７５を検出する場合には、二値化閾値をジョイント部７５に対応する領域の画素値の下限値と同等、若しくはそれよりも所定のマージン分だけ小さく（黒色の輝度値に近く）設定する。これにより、二値化処理の結果、ジョイント部に対応する画素は白、アスファルト路面に対応する画素は黒となる。

【0036】

次にステップＳ３で、画像処理部２３は、二値化画像から特異点を抽出し、ステップＳ４に移行する。ここで、特異点とは、二値化画像内において予め設定した注目画素値を有する画素である。注目画素値は、検出対象の道路構造物（ジョイント部７５）の二値化処理後の画素値に設定しておく。検出対象の道路構造物がジョイント部７５である場合、注目画素値は、二値化処理後の白色の輝度値「１」となる。なお、このステップＳ３では、特異点を抽出する前に、二値化画像に対して孤立点除去や膨張処理、収縮処理等を行ってノイズを除去するようにしてもよい。
ステップＳ４では、画像処理部２３は、ステップＳ３で抽出した特異点の連続性を判定する。具体的には、画像処理部２３は、先ず二値化画像に対してラベリング処理を施し、ジョイント部７５の候補となる領域（点群）を識別する。次に画像処理部２３は、各領域について、二値化画像の車両２００の幅方向に対応する方向（Ｘ方向）で連続する特異点の数Ｎｘと、車両２００の進行方向に対応する方向（Ｙ方向）で連続する特異点の数Ｎｙとを計測する。そして、これら特異点数Ｎｘ，Ｎｙがそれぞれ予め設定した判定範囲内であるか否かを判定することで、ジョイント部７５の有無を判定する。

【0037】

上記判定範囲は、検出対象であるジョイント部７５の撮影画像内での大きさをもとに設定する。ジョイント部７５は、道路の幅方向に沿って道路幅に相当する長さを有すると共に、車両の進行方向に沿って所定の幅（例えば、５００ｍｍ程度）を有する。したがって、検出対象がジョイント部７５である場合、特異点数Ｎｘの判定範囲は、ジョイント部７５の長さ（道路幅）に相当する画素数に基づいて設定し、特異点数Ｎｙの判定範囲は、ジョイント部７５の幅に相当する画素数に基づいて設定する。このように、抽出した特異点の点群の数に基づいて、ジョイント部７５の有無を判定する。なお、判定範囲の設定ファイルは、予め記憶部１３に記憶しておき、ユーザが適宜調整可能である。

【0038】

ステップＳ５では、画像処理部２３は、ステップＳ４の判定の結果、ジョイント部７５があると判断した場合にはステップＳ６に移行し、ジョイント部７５がないと判断した場合には後述するステップＳ８に移行する。
ステップＳ６では、画像処理部２３は、ステップＳ１で取得した撮影画像に対して環境情報３３を各フレーム（１Ｆ、２Ｆ、３Ｆ、・・・）に付加する。
ステップＳ７では、画像処理部２３と表示制御部２４は、上記環境情報付きの撮影画像を記憶部１３に保存すると共に、画像処理後のジョイント部７５の画像を表示部７１（映像表示領域７２）に表示可能である。
ステップＳ８では、画像処理部２３は、ジョイント部７５の検出処理を終了するか否かを判定する。例えば、車両２００の乗員が画像処理装置２０に設けられた処理終了ボタンを押すなどにより、ＣＰＵ２１が道路構造物の検出処理を終了するための指示を受信した場合に、当該検出処理を終了する。

【0039】

このように、ジョイント部７５の検出に際し、撮影画像から特異点を抽出し、当該特異点の連続性を判断する。すなわち、ジョイント部７５の撮影画像内における輝度が路面の輝度とは異なることを利用し、路面の輝度値とは異なる輝度値を有する画素を特異点として抽出する。そして、画像内において所定の方向に連続する特異点の数が所定の判定範囲内にあると判断した場合に、当該特異点の点群に対応する領域をジョイント部７５として検出する。そのため、検出対象のジョイント部７５の撮影画像内における大きさ及び姿勢に概ね一致する大きさ及び姿勢を有する特異点の点群を、ジョイント部７５として検出することができる。したがって、複雑な処理を必要とすることなく、適切にジョイント部７５の検出が可能となる。また、ジョイント部７５と同等の輝度値を有する構造物が存在する場合であっても、ジョイント部７５とは大きさや姿勢が異なる構造物は検出対象から除外することができる。したがって、ジョイント部７５を適切に検出することができる。本実施形態では、ジョイント部７５の輝度値を有する画素を特異点として抽出し、当該特異点の点群に基づいてジョイント部７５を検出するので、検出対象であるジョイント部７５とは輝度値の異なる影は検出対象から除外することができる。そして、特異点抽出に基づく画像処理を施した画像を表示部７１の映像表示領域７２に表示することができる。

【0040】

さらに、撮影画像に対して二値化処理を施すことで特異点を抽出する。したがって、比較的簡易な処理で特異点を抽出することができる。また、二値化処理で用いる二値化閾値は外部記憶媒体等に記憶し、検出対象の道路構造物の輝度値に応じて調整可能である。換言すると、上記二値化閾値を変更することで、検出可能となる道路構造物を変更することができる。したがって、非検出としたい道路構造物がある場合には、その道路構造物が検出されないように上記二値化閾値を設定することができる。

【0041】

また、上記判定範囲は外部記憶媒体等に記憶し、検出対象とする道路構造物に応じて調整可能である。そのため、上述した二値化閾値と同様に、上記判定範囲を変更することで、検出可能となる道路構造物を変更することができる。例えば、当該判定範囲を、車幅方向に道路幅相当の長さを有する領域に設定すれば、特異点の点群として、道路のジョイント部７５に対応する領域と道路の白線に対応する領域とを認識している場合であっても、ジョイント部７５に対応する領域のみをジョイント部７５である判断することができる。このように、解析に必要な道路構造物のみを検出するような設定とすることができるので、作業性を向上させることができる。

【0042】

なお、本実施形態の画像処理では、特異点を抽出する方法により道路構造物を検出するので、さまざまな道路構造物を検出対象とすることができる。すなわち、道路構造物はジョイント部７５に限定されず、撮影画像における道路構造物に対応する画素が特異点として抽出できれば、当該道路構造物の自動検出が可能である。路面に関連する路面構造物の場合、アスファルト路面とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。例えば、このような路面構造物としては、道路区画線（白線等）、轍、路面上の落下物、路面の損傷による穴などが挙げられる。また、路面周辺の付属構造物の場合にも同様に、周囲とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。例えば、このような付属構造物としては、標識、標識の文字、他車両のナンバープレートの文字、照明灯、防音壁やトンネル等の損傷部（亀裂、ボルト抜け部等）などが挙げられる。

【0043】

道路構造物を検出した撮影画像は、道路構造物の状態確認に用いることができる。すなわち、点検者は、当該撮影画像から道路構造物の異常の有無を判断することができる。また、トンネル内の照明や破線状の白線等、通常は等間隔で配列している道路構造物について、点検者は、照明切れや白線切れの有無を判断することもできる。
また、上記実施形態においては、特異点の抽出に際し、撮影画像を二値化処理する場合について説明したが、撮影画像を多値化処理し、多値化処理後の画像から、道路構造物の当該多値化処理後の輝度値を有する画素を特異点として抽出してもよい。

【0044】

さらに、特異点の抽出に際し、撮像画像に対して減色処理を施し、減色処理後の画像から特異点を抽出してもよい。例えば、フルカラーの撮像画像を、２５６色や１６色等に減色した画像に変換し、減色処理後の画像から検出対象の物体の色に対応する画素を選出し、これを特異点として抽出することができる。例えば、検出対象の物体が道路標識である場合、道路標識に主に用いられる色（赤、緑、青、黄など）に対応する画素を特異点として抽出する。また、例えば、検出対象の物体が錆である場合、錆の色（茶色、茶褐色など）に対応する画素を特異点として抽出する。これにより、より高精度に検出対象の物体を検出することができる。この検出方法は、検出対象の物体の色が既知である場合に有効である。

【0045】

（変形例）
上記実施形態においては、撮像環境に関する情報として、撮像時刻、撮像位置および撮像姿勢を取得する場合について説明したが、少なくとも撮像時刻を含んでいればよく、例えば撮像時の速度に関する情報や、撮像時の音に関する情報などを含んでもよい。また、撮像時の音（音声データ）は、各フレーム１Ｆ、２Ｆ、３Ｆに含まれてもよい。
また、上記実施形態においては、撮像装置１０を車両２００に設置する場合について説明したが、これに限定されるものではない。例えば、車両以外の移動体（ラジコン、ドローン（無人航空機）、ヘリコプターなど）に撮像装置１０を設置してもよいし、路肩等に撮像装置１０を固定してもよい。さらに、撮像装置１０は、店舗や施設等に設置することもできる。この場合、映像処理システム１００は、店舗や施設内を監視する監視システムとして機能させることができる。また、撮像装置１０は、人が携帯してもよい。

【0046】

また、上記実施形態においては、画像処理装置２０において、画像検索処理で検索したフレームを表示部に表示する場合について説明したが、検索したフレームを記録媒体に記録したり、サーバ装置へ転送したりするようにしてもよい。
なお、上記実施形態における画像処理装置２０で実行されるプログラムは、インストール可能なファイル形式または実行可能なファイル形式で、コンピュータが読み取り可能な記憶媒体に記憶されて提供されてもよい。また、上記実施形態における画像処理装置２０で実行されるプログラムは、インターネット等のネットワーク経由で提供されてもよい。
以上、本発明の実施形態について詳細に説明したが、上述した実施形態は、本発明を実施するにあたっての一例を示したにすぎず、本発明の技術的範囲は、上述した実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の修正又は変更が可能である。

【符号の説明】

【0047】

１０…撮像装置、１１…撮像部、１２…信号処理部、１３…記録部、１４…時刻情報取得部、１５…位置情報取得部、１６…姿勢情報取得部、２０…画像処理装置、２１…画像取得部、２２…パラメータ取得部、２３…画像処理部、２４…表示制御部、３０…映像データ、３１…ヘッダ部、３２…映像データ部、３３…環境情報、７１…表示部、７２…映像表示領域、７３…環境情報表示領域、７４…ボタン、１００…映像処理システム、２００…車両

【要約】

【課題】映像データの確認作業効率を向上することができる映像処理装置及び映像処理方法を提供する。
【解決手段】撮像装置１０は、少なくとも撮像時刻を含む複数の撮像環境に関する情報を取得し、被写体を結像する光学系および撮像素子を有する撮像部の出力信号に基づいて、複数のフレームを含む映像データを生成する。このとき、撮像装置１０は、映像データに対して、フレームごとに撮像環境に関する情報を付加し、記憶媒体に記憶する。
【選択図】 図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】