特開 2022-185883 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022185883

(43)【公開日】2022-12-15

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G07C 5/00 20060101AFI20221208BHJP

   G06T 7/20 20170101ALI20221208BHJP

【ＦＩ】

G07C5/00 Z

G06T7/20 100

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021093785

(22)【出願日】2021-06-03

(71)【出願人】

【識別番号】514274487

【氏名又は名称】リコーインダストリアルソリューションズ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】加藤 達也

(72)【発明者】

【氏名】栫 彰洋

【テーマコード（参考）】

3E138

5L096

【Ｆターム（参考）】

3E138AA07

3E138CB05

3E138MA02

3E138MB08

3E138MC06

3E138ME04

3E138MF05

5L096BA04

5L096CA05

5L096DA02

5L096FA66

5L096HA04

(57)【要約】

【課題】情報処理装置による処理負荷を低減すること。
【解決手段】本発明の一態様に係る情報処理装置は、複数の時系列画像を取得するステレオカメラと、前記ステレオカメラにより取得された前記時系列画像を記録する記録部と、前記複数の時系列画像間の対応点に関する視差に基づき、前記対象物の距離情報を取得する距離取得部と、前記対象物の距離に基づき、相対加速度情報を取得する相対加速度取得部と、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与えるトリガ判定部と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

複数の時系列画像を取得するステレオカメラと、
前記ステレオカメラにより取得された前記時系列画像を記録する記録部と、
前記複数の時系列画像間の対応点に関する視差に基づき、対象物の距離情報を取得する距離取得部と、
前記対象物の距離に基づき、相対加速度情報を取得する相対加速度取得部と、
前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与えるトリガ判定部と、を有する情報処理装置。

【請求項2】

前記トリガ判定部は、前記対象物の距離が所定の距離閾値以下である前記対象物の相対加速度に基づき、前記記録開始のトリガを与える請求項１に記載の情報処理装置。

【請求項3】

前記ステレオカメラは、路面と、前記路面の上の前記対象物と、を含む前記時系列画像を取得し、
前記距離取得部は、前記視差と、前記視差ごとの出現回数と、の関係を示すマップに基づき、前記路面からの高さが所定の高さ閾値以上である前記対象物の距離情報を取得し、
前記相対加速度取得部は、前記マップに基づき、前記路面からの高さが前記高さ閾値以上である前記対象物の前記相対加速度情報を取得する請求項１又は２に記載の情報処理装置。

【請求項4】

前記対象物の高さ、奥行き及び幅と、前記対象物の距離と、に基づき、前記記録部に記録される前記時系列画像に対してマーキングを行うマーキング部をさらに有する請求項１乃至３の何れか１項に記載の情報処理装置。

【請求項5】

情報処理装置による情報処理方法であって、前記情報処理装置が、
ステレオカメラにより、複数の時系列画像を取得し、
記録部により、前記ステレオカメラで取得された時系列画像を記録し、
距離取得部により、前記複数の時系列画像間の対応点に関する視差に基づき、対象物の距離情報を取得し、
相対加速度取得部により、前記対象物の距離に基づき、相対加速度情報を取得し、
トリガ判定部により、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与える情報処理方法。

【請求項6】

ステレオカメラにより、複数の時系列画像を取得し、
記録部により、前記ステレオカメラで取得された時系列画像を記録し、
距離取得部により、前記複数の時系列画像間の対応点に関する視差に基づき、対象物の距離情報を取得し、
相対加速度取得部により、前記対象物の距離に基づき、相対加速度情報を取得し、
トリガ判定部により、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与える
処理を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、カメラと、該カメラにより取得された画像を記録する記録部と、を含むドライブレコーダ等の情報処理装置が知られている。ドライブレコーダは、自動車等の移動体に設置され、移動体の周辺画像を記録する。ドライブレコーダの記録部に記録された画像は、再生表示されることにより、交通事故等の原因分析に役立てることができる。

【0003】

このような情報処理装置として、ステレオカメラにより取得された時系列画像から対象物に対する相対加速度を算出し、算出された相対加速度に応じ、時系列画像を記録する記録開始のトリガを記録部に与える構成が開示されている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の構成では、時系列画像に含まれている全ての対象物の相対加速度を算出するため、情報処理装置による処理負荷が大きくなる。

【0005】

本発明は、情報処理装置による処理負荷を低減することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理装置は、複数の時系列画像を取得するステレオカメラと、前記ステレオカメラにより取得された前記時系列画像を記録する記録部と、前記複数の時系列画像間の対応点に関する視差に基づき、前記対象物の距離情報を取得する距離取得部と、前記対象物の距離に基づき、相対加速度情報を取得する相対加速度取得部と、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与えるトリガ判定部と、を有する。

【発明の効果】

【0007】

本発明によれば、情報処理装置による処理負荷を低減できる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係るドライブレコーダの全体構成例のブロック図である。

【図2】実施形態に係る処理部のハードウェア構成例のブロック図である。

【図3】実施形態に係る処理部の機能構成例のブロック図である。

【図4】実施形態に係るドライブレコーダの全体動作例を示すフロー図である。

【図5】実施形態に係る処理部による処理例のフロー図である。

【図6】基準画像の一例を示す図である。

【図7】Ｖマップの一例を示す図である。

【図8】高さマップの一例を示す図である。

【図9】奥行きマップの一例を示す図である。

【図10】マーキングが施された基準画像の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部には同一符号を付し、重複した説明を適宜省略する。

【0010】

以下、ドライブレコーダを情報処理装置の一例として、実施形態を説明する。

【0011】

ドライブレコーダは、事故等が発生した時における状況記録を目的に自動車等の移動体に設置され、自動車のフロントガラスやダッシュボードに設けられたカメラにより自動車の外部又は内部を撮影した画像を記録するものである。

【0012】

＜構成例＞
（ドライブレコーダ１００の全体構成例）
図１は、実施形態に係るドライブレコーダ１００の全体構成の一例を示すブロック図である。図１に示すように、ドライブレコーダ１００は、ステレオカメラ１と、処理部２と、を備える。ドライブレコーダ１００は、自動車に搭載されており、自動車が進行する進行方向側をステレオカメラ１が撮影した画像を記録するものである。

【0013】

ステレオカメラ１は、右カメラ１１と、左カメラ１２と、を備える。右カメラ１１及び左カメラ１２の各々は、自動車進行方向側の被写体を略結像させるレンズと、該レンズによる像を撮像するＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、を備える。

【0014】

右カメラ１１及び左カメラ１２の各々は、自動車進行方向側における状況の時間的変化を撮影することによって取得された系列を示す複数の時系列画像を、処理部２に出力する。この時系列画像は、静止画又は動画である。動画は映像と称することもできる。

【0015】

右カメラ１１及び左カメラ１２は、自動車進行方向側に存在する被写体を略同一のタイミングで撮影することにより、左右一対の時系列画像を取得する。右カメラ１１及び左カメラ１２は、自動車が直進する方向に略直交する配列方向に沿って配列するように自動車に配置されている。この配置により、右カメラ１１により取得される時系列画像と、左カメラ１２により取得される時系列画像と、の間には、配列方向に沿った視差が生じる。

【0016】

処理部２は、右カメラ１１及び左カメラ１２により取得された一対の時系列画像に基づき、自動車進行方向側に存在する対象物に関する情報を演算により取得して、取得結果を記録部に記録する。

【0017】

（処理部２のハードウェア構成例）
図２は、処理部２のハードウェア構成の一例を示すブロック図である。処理部２は、コンピュータによって構築されており、ＣＰＵ(Central Processing Unit)２０１と、ＲＯＭ(Read Only Memory)２０２と、ＲＡＭ(Random Access Memory)２０３と、ＨＤＤ(Hard Disk Drive)２０４と、外部機器接続Ｉ／Ｆ(Interface)２０５と、メモリカード２０６と、を備える。これらは、システムバスＢを介して相互に電気的に接続している。

【0018】

ＣＰＵ２０１は、各種の演算処理及び制御処理を実行する。ＲＯＭ２０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤ２０４は、ＳＳＤ（Solid State Drive）であってもよい。

【0019】

外部機器接続Ｉ／Ｆ２０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ステレオカメラ１等の機器である。

【0020】

メモリカード２０６は、薄型でカード状の形状を有する補助記憶装置である。メモリカード２０６は、フラッシュメモリや超小型のハードディスクを内蔵し、他の構成部との間でデータ又は信号を送受するためのインターフェースを備える。

【0021】

（処理部２の機能構成例）
図３は、処理部２の機能構成の一例を示すブロック図である。図３に示すように、処理部２は、パラメータ算出部２１と、記録制御部２２と、記録部２３と、を備える。パラメータ算出部２１は、補正処理部２１１と、視差演算部２１２と、データ保持部２１３と、認識処理部２１４と、距離取得部２１５と、相対加速度取得部２１６と、を備える。記録制御部２２は、トリガ判定部２２１と、マーキング部２２２と、を備える。

【0022】

これらのうち、補正処理部２１１、視差演算部２１２、認識処理部２１４、距離取得部２１５、相対加速度取得部２１６、トリガ判定部２２１及びマーキング部２２２の機能は、ＣＰＵ２０１がＨＤＤ２０４等に記憶されている所定のプログラムを実行すること等により実現される。データ保持部２１３の機能はＨＤＤ２０４又はＲＡＭ２０３等により実現される。記録部２３の機能は、メモリカード２０６等により実現される。

【0023】

パラメータ算出部２１は、右カメラ１１及び左カメラ１２により取得された一対の時系列画像に基づき、対象物の距離情報及び相対加速度情報等のパラメータを算出し、算出結果を記録制御部２２に出力する。

【0024】

補正処理部２１１は、右カメラ１１及び左カメラ１２により取得された一対の時系列画像の各々における歪曲等のレンズ歪み、カメラの取付位置又はカメラの取付角度等の各種誤差を補正する。

【0025】

視差演算部２１２は、補正処理部２１１によって補正された一対の時系列画像に基づき、２つの時系列画像間の対応点に関する視差を演算により取得する。視差演算部２１２は、一対の時系列画像のうちの何れか一方を基準画像とし、他方を参照画像とする。以下では、右カメラ１１により取得される時系列画像を基準画像とし、左カメラ１２により取得される時系列画像を参照画像とする。

【0026】

視差演算部２１２は、視差の導出方法として、基準画像の画素ｐ（ｉ、ｊ）に対して対応点探索方法ＳＡＤ（Sum of Absolute Difference）法やＳＳＤ（Sum of Squared intensity Difference）法)等を用い、参照画像の対応画素q(i + d、 j)を探索する。この探索時に用いたdが視差となる。

【0027】

データ保持部２１３は、視差演算部２１２により取得された視差情報と、後述する対象物の高さ、奥行き、幅、距離及び時間の属性情報と、を保存する。

【0028】

認識処理部２１４は、データ保持部２１３に保存された視差情報に基づいてＶマップを生成し、生成したＶマップに基づき対象物の認識処理を実行する。ここで、Ｖマップとは横軸を視差、縦軸を出現回数とし、視差ごとの出現回数をカウントすることにより生成されるマップ情報である。Ｖマップは、視差と、視差ごとの出現回数と、の関係を示すマップの一例である。

【0029】

認識処理部２１４は、生成したＶマップを用いて路面形状を推定し、画像の奥行きを横軸、路面の高さを縦軸とした路面高さを示す路面高さマップを生成する。また認識処理部２１４は、横軸を画像の幅とし、縦軸を画像の奥行きとした、画像の奥行きを示す奥行きマップを生成する。

【0030】

認識処理部２１４は、路面高さマップが示す路面の高さよりも高い位置にある物体の高さ及び奥行きから、該物体がマーキングする対象である対象物であるか否かを判定する。具体的には、認識処理部２１４は、物体の路面からの高さが高さ閾値Ｈ［ｃｍ］以上であり、且つ奥行きが奥行き閾値Ｌ［ｃｍ］以上の場合に、物体を対象物であると判定する。ここで、マーキングとは、基準画像に所定のマークを付与することをいう。マークの形状には特段の制限はなく、点、直線、曲線、円形、楕円形又は多角形等の様々な形状のマークを適用可能である。

【0031】

高さ閾値Ｈと奥行き閾値Ｌは、想定する対象物の最小サイズに合わせて予め設定されており、ＲＯＭ２０２等に記憶されている。例えば、対象物が子供であるとすると、高さ閾値Ｈは５０［ｃｍ］、奥行き閾値Ｌは３０［ｃｍ］等に予め設定される。

【0032】

距離取得部２１５は、基準画像と参照画像間の対応点に関する視差から、三角測量の原理に基づいて、全ての対象物の距離情報を演算により取得する。対象物の距離は、より詳しくは、ステレオカメラ１から対象物までの距離である。

【0033】

距離取得部２１５は、取得した対象物の距離情報に基づき対象物の距離が所定の距離閾値Ｄ以下である場合に、対象物の属性情報として対象物の高さ、奥行き、幅、距離及び時間を対応付けてデータ保持部２１３に保存させる。

【0034】

相対加速度取得部２１６は、対象物の距離に基づき、対象物の距離が所定の距離閾値Ｄ以下である場合に相対加速度情報を取得する。具体的には、相対加速度取得部２１６は、データ保持部２１３が保持する前回取得された距離情報が示す距離と新たに取得された距離情報が示す距離の差分と、前回の距離情報取得時から今回の距離情報取得時までの経過時間と、に基づいて対象物の相対速度情報を取得する。

【0035】

そして相対加速度取得部２１６は、データ保持部２１３が保持する前回取得された相対速度情報が示す相対速度と新たに取得された相対速度情報が示す相対速度の差分と、前回の相対速度情報取得時から今回の相対速度情報取得時までの経過時間と、に基づいて対象物の相対加速度情報を取得する。

【0036】

記録制御部２２は、パラメータ算出部２１による算出結果に基づき、記録部２３への時系列画像の記録動作を制御する。本実施形態では、記録部２３は、一対の時系列画像のうちの基準画像を記録するが、記録部２３は参照画像を記録してもよい。

【0037】

トリガ判定部２２１は、距離取得部２１５により取得された対象物の距離情報、及び相対加速度取得部２１６により取得された相対加速度情報に基づき、記録部２３が基準画像を記録開始するトリガを与える。例えばトリガ判定部２２１は、今回取得された相対加速度情報が示す相対加速度が前回の相対加速度よりも大きくなった場合に記録開始のトリガを与える。

【0038】

マーキング部２２２は、記録部２３が記録する基準画像に、対象物を表すマーキングを施す処理を行う。

【0039】

記録部２３は、トリガ判定部２２１から付与されたトリガに応答して、マーキング部２２２によりマーキングが施された基準画像を記録する。記録部２３により記録された基準画像は、事故の原因分析等に利用される。

【0040】

＜動作例＞
（ドライブレコーダ１００の全体動作例）
図４は、ドライブレコーダ１００の全体動作の一例を示すフローチャートである。図４は、ドライブレコーダ１００におけるステレオカメラ１が一対の時系列画像の撮影を開始するタイミングをトリガにした動作を示している。ステレオカメラ１は、ドライブレコーダが搭載された自動車のエンジン始動に応答して撮影を開始してもよいし、自動車の運転者による撮影開始の操作入力に応答して撮影を開始してもよい。

【0041】

まず、ステップＳ４１において、ドライブレコーダ１００は、ステレオカメラ１による一対の時系列画像、即ち基準画像及び参照画像を取得する。

【0042】

続いて、ステップＳ４２において、ドライブレコーダ１００は、ステレオカメラ１が取得した基準画像及び参照画像に基づき、処理部２により対象物の距離情報及び対象物の相対加速度情報を取得する。またドライブレコーダ１００は、処理部２におけるトリガ判定部２２１によってトリガが与えられた場合には、記録部２３により基準画像を記録する。

【0043】

続いて、ステップＳ４３において、ドライブレコーダ１００は、動作を終了するか否かを判定し、終了すると判定した場合には（ステップＳ４３、Ｙｅｓ）、動作を終了する。一方、終了しないと判定した場合には（ステップＳ４３、Ｎｏ）、ステップＳ４１以降の動作を再度行う。

【0044】

このようにして、ドライブレコーダ１００は、記録部２３に基準画像を記録することができる。

【0045】

（処理部２による処理例）
図５は、処理部２による処理の一例を示すフローチャートである。図５は、図４におけるステップＳ４２の処理をより詳細に説明するものである。

【0046】

まず、ステップＳ５１において、補正処理部２１１は、ステレオカメラ１により取得された基準画像及び参照画像の各々における歪曲等のレンズ歪み、カメラの取付位置又はカメラの取付角度等の各種誤差を補正する。

【0047】

続いて、ステップＳ５２において、視差演算部２１２は、補正処理部２１１により補正された基準画像と参照画像との間の対応点に関する視差を取得する。

【0048】

続いて、ステップＳ５３において、認識処理部２１４は、データ保持部２１３に保存された視差情報に基づき、Ｖマップを生成する。

【0049】

続いて、ステップＳ５４において、認識処理部２１４は、Ｖマップを用いて路面形状を推定し、画像の奥行きを横軸、路面の高さを縦軸とした路面高さを示す路面高さマップを生成する。また認識処理部２１４は、横軸を画像の幅とし、縦軸を画像の奥行きとした画像の奥行きを示す奥行きマップを生成する。

【0050】

続いて、ステップＳ５５において、認識処理部２１４は、路面高さマップが示す路面の高さよりも高い位置にある物体の高さと奥行きから、該物体がマーキングする対象物であるか否かを判定する。

【0051】

ステップＳ５５において、対象物ではないと判定された場合には（ステップＳ５５、Ｎｏ）、処理部２は処理を終了する。一方、対象物があると判定された場合には（ステップＳ５５、Ｙｅｓ）、ステップＳ５６において、距離取得部２１５は、基準画像と参照画像との間の対応点に関する視差から、三角測量の原理に基づいて、全ての対象物の距離情報を取得する。

【0052】

続いて、ステップＳ５７において、距離取得部２１５は、対象物の距離は距離閾値Ｄ以下であるか否かを判定する。例えば、対象物の相対速度が６０［ｋｍ／ｈ］である場合には、１秒間に約１７［ｍ］進むため、少なくとも２秒間分のデータを蓄積するためには距離閾値Ｄは３４［ｍ］に予め設定される。つまり、距離閾値Ｄは、想定される相対速度の上限値に基づいて設定される。

【0053】

ステップＳ５７において、距離閾値Ｄ以下ではないと判定された場合には（ステップＳ５７、Ｎｏ）、処理部２は処理を終了する。一方、距離閾値Ｄ以下であると判定された場合には（ステップＳ５７、Ｙｅｓ）、ステップＳ５８において、認識処理部２１４は、対象物の属性情報をデータ保持部２１３に保存させる。

【0054】

続いて、ステップＳ５９において、相対加速度取得部２１６は、同じ対象物の属性情報がデータ保持部２１３に既に保存されているか否かを判定する。例えば、相対加速度取得部２１６は、認識処理部２１４が取得した属性情報と、データ保持部２１３に保存されている属性情報と、を対比することにより、この判定を行う。

【0055】

ステップＳ５９において、保存されていないと判定された場合には（ステップＳ５９、Ｎｏ）、処理部２は、処理を終了する。一方、保存されていると判定された場合には（ステップＳ５９、Ｙｅｓ）、ステップＳ６０において、相対加速度取得部２１６は、対象物の相対速度情報がデータ保持部２１３に既に保存されているか否かを判定する。

【0056】

ステップＳ６０において、保存されていないと判定された場合には（ステップＳ６０、Ｎｏ）、ステップＳ６１において、相対加速度取得部２１６は、対象物の相対速度情報を取得する。

【0057】

続いて、ステップＳ６２において、相対加速度取得部２１６は、対象物の相対速度情報をデータ保持部２１３に保存させる。その後、処理部２は処理を終了する。

【0058】

一方、ステップＳ６０において、対象物の相対速度情報が保存されていると判定された場合には（ステップＳ６０、Ｙｅｓ）、ステップＳ６３において、相対加速度取得部２１６は、対象物の相対加速度情報を取得し、取得した相対加速度情報を記録制御部２２に出力する。

【0059】

続いて、ステップＳ６４において、トリガ判定部２２１は、対象物の相対加速度情報がデータ保持部２１３に既に保存されているか否かを判定する。

【0060】

ステップＳ６４において、保存されていないと判定された場合には（ステップＳ６４、Ｎｏ）、処理部２は処理を終了する。一方、保存されていると判定された場合には（ステップＳ６４、Ｙｅｓ）、ステップＳ６５において、トリガ判定部２２１は、前回取得された相対加速度が今回取得された相対加速度よりも大きいか否かを判定する。

【0061】

ステップＳ６５において、大きくないと判定された場合には（ステップＳ６５、Ｎｏ）、処理部２は処理を終了する。一方、大きいと判定された場合には（ステップＳ６５、Ｙｅｓ）、ステップＳ６６において、マーキング部２２２は、対象物を表すマーキングを基準画像に施す処理を行う。その後、トリガ判定部２２１は、基準画像の記録開始のトリガを記録部２３に与える。記録部２３は、トリガ判定部２２１から与えられたトリガに応答して、マーキングが施された基準画像を記録する。

【0062】

このようにして、処理部２は、基準画像の記録開始のトリガを記録部２３に与えることができる。

【0063】

＜処理部２による処理結果例＞
図６乃至図９を参照して、処理部２による処理結果の一例を説明する。

【0064】

図６は、右カメラ１１により取得される基準画像６の一例を示す図である。基準画像６は、路面を示す路面画像６１と、路面上を歩行する歩行者を示す歩行者画像６２と、路面上を走行する対向車を示す対向車画像６３と、を含んでいる。左カメラ１２は、路面画像６１、歩行者画像６２及び対向車画像６３を含み、基準画像６に対して視差を有する参照画像を取得する。

【0065】

図７は、基準画像及び参照画像に基づき生成されるＶマップ７の一例を示す図である。Ｖマップ７の横軸は視差を、縦軸は出現回数を各々示している。出現回数は、視差が同一又は略同一である画素数ということもできる。黒丸のプロットは１回の出現回数を示し、図７に示す例では、視差が大きいほど出現回数が多くなっている。

【0066】

基準画像及び参照画像における路面に対応する領域では、視差に応じて、路面形状に対応する傾向に従って出現回数が増えるため、認識処理部２１４は、Ｖマップ７における該傾向を示す成分を抽出することにより、路面形状情報７１を取得することができる。

【0067】

図８は、認識処理部２１４により、Ｖマップ７に基づいて取得される高さマップ８の一例を示す図である。横軸は基準画像の奥行き（画像の縦方向）、縦軸は高さを各々示している。

【0068】

図９は、認識処理部２１４により、Ｖマップ７に基づいて取得される奥行きマップ９の一例を示す図である。横軸は基準画像の幅（画像の横方向）、縦軸は奥行き（画像の縦方向）を各々示している。

【0069】

認識処理部２１４は、高さマップ８における路面高さ８１よりも高い位置にある物体の高さ及び奥行きから、該物体がマーキングする対象となる対象物であるか否かを判定する。

【0070】

認識処理部２１４は、高さマップ８において、路面高さ８１よりも高い位置にある物体８２及び物体８３を検出する。また認識処理部２１４は、奥行きマップ９において、物体８２に対応する物体画像領域９２と、物体８３に対応する物体画像領域９３と、を抽出する。

【0071】

物体８２の高さが高さ閾値Ｈ以上で且つ奥行きが奥行き閾値Ｌ以上である場合には、認識処理部２１４は、物体８２を対象物であると判定する。同様に、物体８３の高さが高さ閾値Ｈ以上で且つ奥行きが奥行き閾値Ｌ以上である場合には、認識処理部２１４は、物体８３を対象物であると判定する。認識処理部２１４は、基準画像及び参照画像において、対象物に対応する領域をラベリングする。なお、ラベリングとは、画像内の連結した領域を抽出する解析手法をいう。

【0072】

図１０は、基準画像及び参照画像から取得された距離情報及び加速度情報に基づいて、マーキングが施された基準画像６ａの一例を示す図である。基準画像６ａは、路面画像６１と、歩行者画像６２と、歩行者を示す歩行者マーキング６４と、対向車画像６３と、対向車を示す対向車マーキング６５と、を含んでいる。記録部２３は、このようなマーキングが施された基準画像６ａを記録する。

【0073】

＜ドライブレコーダ１００の作用効果＞
従来、ドライブレコーダでは、自動車等の移動体に設けられた加速度センサにより所定レベル以上の振動が検出された場合に、画像の記録を開始するためのトリガが与えられるもの等が知られている。

【0074】

しかしながら加速度センサを用いると、自動車が走行する路面の凹凸や踏切通過等に応じた振動を加速度センサが検出することにより、画像の記録開始のトリガを誤って与える場合がある。このような場合、画像を無駄に記録するうえ、実際に事故が生じた際に記録部の空き容量がなくなり、記録すべき画像を記録できなくなる懸念がある。

【0075】

本実施形態に係るドライブレコーダ１００（情報処理装置）は、複数の時系列画像を取得するステレオカメラ１と、ステレオカメラ１により取得された基準画像（時系列画像）を記録する記録部２３と、を有する。またドライブレコーダ１００は、基準画像と参照画像との間（複数の時系列画像間）の対応点に関する視差に基づき、対象物の距離情報を取得する距離取得部２１５と、対象物の距離に基づき、相対加速度情報を取得する相対加速度取得部２１６と、対象物の距離情報及び相対加速度情報に基づき、記録部２３による記録開始のトリガを与えるトリガ判定部２２１と、を有する。

【0076】

ドライブレコーダ１００は、基準画像及び参照画像から相対加速度情報を取得することによりトリガを与えるか否かを判定するため、路面の凹凸や踏切通過等に応じた振動の影響を受けにくく、基準画像の記録開始のトリガを誤って与えることを抑制することができる。また、ドライブレコーダ１００は、ステレオカメラ１を用いたトリガ判定と、加速度センサを用いたトリガ判定と、を併用することにより、記録開始の誤動作をより抑制しつつ、より高精度に記録開始のトリガを与えることができる。

【0077】

また、例えば、基準画像及び参照画像に含まれる全ての対象物に対し、相対加速度情報を取得すると、ドライブレコーダの処理部による処理負荷が増大する場合がある。

【0078】

これに対し、ドライブレコーダ１００は、距離取得部２１５により取得した対象物の距離情報に基づいて、対象物の距離が所定の距離閾値Ｄ以下である場合に対象物の相対加速度情報を取得する。ドライブレコーダ１００を搭載する自動車から対象物が遠い位置に存在する場合には、対象物に自動車が接触する可能性は低く、記録部２３に記録開始のトリガを与える必要性も低い。そのため、ドライブレコーダ１００は、対象物が距離閾値Ｄよりも遠い位置に存在する場合には、対象物の相対加速度情報を取得する処理を行わないことにより、処理部２による処理負荷を低減することができる。またドライブレコーダ１００は、対象物の距離が所定の距離閾値Ｄ以下である場合にのみ、対象物の属性情報をデータ保持部２１３に保存することにより、データ保持部２１３の記憶容量を低減することができる。処理部２による処理負荷やデータ保持部２１３の記憶容量を低減することにより、ドライブレコーダ１００の低コスト化が可能になる。

【0079】

また、本実施形態では、ステレオカメラ１は、路面と、路面上の対象物と、を含む基準画像及び参照画像を取得する。距離取得部２１５は、ステレオカメラ１により取得された基準画像及び参照画像における視差と、視差ごとの出現回数と、の関係を示すＶマップ７（マップ）に基づき、路面からの高さが高さ閾値Ｈ以上である対象物の距離情報を取得する。相対加速度取得部２１６は、Ｖマップ７に基づき、路面からの高さが高さ閾値Ｈ以上である対象物の相対加速度情報を取得する。

【0080】

小さい石や小さい貨物等の低い対象物が路面上に存在する場合には、歩行者や前方車両、対向車両等が存在する場合と比較して事故が生じる可能性は低く、記録部２３に記録開始のトリガを与える必要性も低い。そのため、ドライブレコーダ１００は、路面上に高さ閾値Ｈよりも低い対象物が存在する場合には、対象物の相対加速度情報を取得する処理を行わないことにより、処理部２による処理負荷を低減することができる。またドライブレコーダ１００は、路面からの高さが高さ閾値Ｈ以上である対象物の属性情報のみをデータ保持部２１３に保存することにより、データ保持部２１３の記憶容量を低減することができる。処理部２による処理負荷やデータ保持部２１３の記憶容量を低減することにより、ドライブレコーダ１００の低コスト化が可能になる。

【0081】

またドライブレコーダ１００は、対象物の高さ、奥行き及び幅と、対象物の距離と、に基づき、記録部２３に記録される基準画像に対してマーキングを行うマーキング部２２２を有する。これにより、再生された基準画像を観察する観察者は、基準画像に含まれる対象物を視認しやすくなるため、記録部２３に記録された基準画像に基づく事故原因等の分析を容易に行うことができる。

【0082】

＜その他の好適な実施形態＞
以上、本発明の実施形態の例について記述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0083】

上述した実施形態では、ステレオカメラ１が２つのカメラを備える構成を例示したが、ステレオカメラ１は３つ以上のカメラを備えてもよい。またステレオカメラ１が水平方向における左右に配置された２つのカメラを備える構成を例示したが、ステレオカメラ１は、鉛直方向上下に配置された２つ以上のカメラを備えてもよい。

【0084】

上述した実施形態では、情報処理装置として、自動車に搭載されるドライブレコーダを例示したが、これに限定されるものではない。例えば、航空機や船舶、鉄道等に移動体に搭載され、移動体の周辺画像を記録する情報処理装置であっても、上述した実施形態と同様の効果を得ることができる。

【0085】

実施形態におけるドライブレコーダ１００は、ステレオカメラ１及び処理部２の他、処理結果に基づき自動車の速度等を制御する車両制御装置、処理結果を表示する表示装置、又は処理結果に基づき音声を発する音声制御部等を備えてもよい。

【0086】

実施形態は、情報処理方法も含む。例えば情報処理方法は、情報処理装置による情報処理方法であって、前記情報処理装置が、ステレオカメラにより、複数の時系列画像を取得し、記録部により、前記ステレオカメラで取得された時系列画像を記録し、距離取得部により、前記複数の時系列画像間の対応点に関する視差に基づき、前記対象物の距離情報を取得し、相対加速度取得部により、前記対象物の距離に基づき、相対加速度情報を取得し、トリガ判定部により、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与える。このような情報処理方法により、上述したドライブレコーダ１００と同様の効果を得ることができる。

【0087】

実施形態は、プログラムも含む。例えばプログラムは、ステレオカメラにより、複数の時系列画像を取得し、記録部により、前記ステレオカメラで取得された時系列画像を記録し、距離取得部により、前記複数の時系列画像間の対応点に関する視差に基づき、前記対象物の距離情報を取得し、相対加速度取得部により、前記対象物の距離に基づき、相対加速度情報を取得し、トリガ判定部により、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与える処理をコンピュータに実行させる。このようなプログラムにより、上述したドライブレコーダ１００と同様の効果を得ることができる。

【0088】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【符号の説明】

【0089】

１ ステレオカメラ
１１ 右カメラ
１２ 左カメラ
２ 処理部
２１ パラメータ算出部
２１１ 補正処理部
２１２ 視差演算部
２１３ データ保持部
２１４ 認識処理部
２１５ 距離取得部
２１６ 相対加速度取得部
２２ 記録制御部
２２１ トリガ判定部
２２２ マーキング部
２３ 記録部
６ 基準画像（時系列画像の一例）
６１ 路面画像
６２ 歩行者画像
６３ 対向車画像
６４ 歩行者マーキング
６５ 対向車マーキング
７ Ｖマップ（マップの一例）
７１ 路面形状情報
８ 高さマップ
８１ 路面高さ
８２、８３ 物体
９ 奥行きマップ
９２、９３ 物体画像領域
１００ ドライブレコーダ（情報処理装置の一例）

【先行技術文献】

【特許文献】

【0090】

【特許文献1】特開２０１８－１５５８５４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】