特開 2023-138690 画像処理装置及び画像処理方法並びに画像処理用プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023138690

(43)【公開日】2023-10-02

(54)【発明の名称】画像処理装置及び画像処理方法並びに画像処理用プログラム及び記録媒体

(51)【国際特許分類】

   G08G 1/01 20060101AFI20230922BHJP

【ＦＩ】

G08G1/01 C

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023129375

(22)【出願日】2023-08-08

(62)【分割の表示】P 2022014828の分割

【原出願日】2017-03-28

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】弁理士法人インテクト国際特許事務所

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(72)【発明者】

【氏名】伊藤 宏平

(72)【発明者】

【氏名】山崎 理

(72)【発明者】

【氏名】荻野 晃一

(72)【発明者】

【氏名】鎌田 喬浩

(72)【発明者】

【氏名】関谷 博之

(72)【発明者】

【氏名】矢野 健一郎

(57)【要約】

【課題】各車両における撮像結果に相当する画像情報を常時送信する場合に比してその送信先等での処理負荷を軽減させることが可能な画像処理装置を提供する。
【解決手段】自車の前方を撮像範囲とするカメラ１と、撮像範囲内に映っている前方車両と自車との関係が、自車の周辺の状況を示す撮像結果としてカメラ１の撮像結果を用いることが可能な特定関係となったか否かを判定する処理部２と、前方車両と自車との関係が特定関係となったタイミングに対応するカメラ１の撮像結果に相当する画像データを外部に送信するインターフェース３と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

移動体の前方を撮像範囲とする撮像手段と、
前記撮像範囲内に映っている他の移動体と前記移動体との関係が、前記移動体の周辺の状況を示す撮像結果として前記撮像手段の撮像結果を用いることが可能な特定関係となったか否かを判定する判定手段と、
前記関係が前記特定関係となったタイミングに対応する前記撮像結果に相当する画像情報を記録する記録手段と、
を備えることを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、画像処理装置及び画像処理方法並びに画像処理用プログラム及び記録媒体の技術分野に属する。より詳細には、車両等の移動体の前方を撮像範囲として撮像された撮像結果に相当する画像情報の処理を行う画像処理装置及び画像処理方法並びに当該画像処理装置用のプログラム及び当該プログラムが記録された記録媒体の技術分野に属する。

【背景技術】

【0002】

近年、一般の車両に搭載され且つその前方を撮像範囲とするカメラによる撮像結果に相当する画像情報を、サーバ装置において各車両からインターネット等のネットワークを介して収集し、それらに基づいて検出された道路状況を示す情報と共に当該画像情報そのものを他の車両等に提供する交通情報提供システムについての研究開発が行われている。このような交通情報提供システムでは、収集された各画像情報について、車両の運転者にとってそれらが有用な画像情報かあるか否かをサーバ装置において評価する必要がある。このような技術を開示した先行技術文献としては、例えば下記特許文献１が挙げられる。この特許文献１に開示されている技術では、上記のようにしてサーバ装置において収集した各画像情報に対して所定の画像解析処理をそれぞれ施し、例えば多数の車両が一定時間動いていないと解析された場合には、それが渋滞であることを示す有用な画像情報であると判定する構成とされている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－２１７４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１に記載されている技術では、上記収集される各画像情報の全てについて上記画像解析処理を施す必要があるため、特に渋滞により多数の車両が集中している場合等においては、サーバ装置としての処理負荷が課題となるという問題点があった。

【0005】

またこの場合、例えば各車両において上記の画像解析処理を行った結果をサーバ装置に送信する構成とすることも考えられる。しかしながらこの場合でも、各車両において必要な画像認識処理等を常時実行する必要があるため、結果として各車両における処理負荷が増大するという問題点もある。

【0006】

そこで本願は、上記の各問題点に鑑みて為されたもので、その課題の一例は、各車両における撮像結果に相当する画像情報を常時送信する場合に比して当該画像情報の送信先等での処理負荷を軽減させることが可能な画像処理装置及び画像処理方法並びに当該画像処理装置用のプログラム及び当該プログラムが記録された記録媒体を提供することにある。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、請求項１に記載の発明は、移動体の前方を撮像範囲とする撮像手段と、前記撮像範囲内に映っている他の移動体と前記移動体との距離が予め設定された閾値距離以上となったか否かを判定する判定手段と、前記距離が前記閾値距離以上となったと判定されたタイミングに対応する前記撮像結果に相当する画像情報を記録する記録手段と、を備える。

【0008】

上記の課題を解決するために、請求項７に記載の発明は、移動体の前方を撮像範囲とする撮像手段と、判定手段と、送信手段と、を備える画像処理装置において実行される画像処理方法であって、前記撮像範囲を前記撮像手段により撮像する撮像工程と、前記撮像範囲内に映っている他の移動体と前記移動体との距離が予め設定された閾値距離以上となったか否かを前記判定手段により判定する判定工程と、前記距離が前記閾値距離以上となったタイミングに対応する前記撮像結果に相当する画像情報を前記送信手段により外部に送信する送信工程と、を含む。

【0009】

上記の課題を解決するために、請求項８に記載の発明は、移動体の前方を撮像範囲とする撮像手段に接続されたコンピュータを、前記撮像手段を除く請求項１から請求項7のいずれか一項に記載の画像処理装置として機能させる。

【0010】

上記の課題を解決するために、請求項９に記載の発明は、請求項８に記載の画像処理用プログラムが、移動体の前方を撮像範囲とする撮像手段に接続されたコンピュータにより読み取り可能に記録されている。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る画像処理装置の概要構成を示すブロック図である。

【図2】実施例に係るドライブレコーダの概要構成を示すブロック図である。

【図3】実施例に係る画像処理を示すフローチャートである。

【図4】実施例に係る画像処理の効果を例示する図等であり、（ａ）は先行技術の場合の結果を例示する図であり、（ｂ）は実施例に係る画像処理の効果を例示する図である。

【発明を実施するための形態】

【0012】

次に、本願を実施するための形態について、図１を用いて説明する。なお図１は、実施形態に係る画像処理装置の概要構成を示すブロック図である。

【0013】

図１に示すように、実施形態に係る画像処理装置Ｓは、撮像手段１と、判定手段２と、記録手段２－１と、を備えて構成されている。

【0014】

この構成において撮像手段１は、移動体の前方を撮像範囲とする撮像手段である。

【0015】

そして判定手段２は、撮像手段１の撮像範囲内に映っている他の移動体と前記移動体との関係が、移動体の周辺の状況を示す撮像結果として撮像手段の撮像結果を用いることが可能な特定関係となったか否かを判定する。

【0016】

これにより記録手段２－１は、判定手段２により判定された上記関係が上記特定関係となったタイミングに対応する撮像手段１の撮像結果に相当する画像情報を記録する。

【0017】

以上説明したように、実施形態に係る画像処理装置Ｓの動作によれば、前方の撮像範囲内に映っている他の移動体との関係が、周辺の状況を示す撮像結果としてその撮像結果を用いることが可能な特定関係となったタイミングに対応する撮像結果に相当する画像情報を記録する。よって、当該画像処理を常時行う場合に比して画像処理装置の処理負荷を軽減させることができる。

【実施例0018】

次に、上述した実施形態に対応する具体的な実施例について、図２乃至図４を用いて説明する。なお以下に説明する実施例は、本願に係る「移動体」の一例としての車両に備えられたドライブレコーダにおける画像処理に本願を適用した場合の実施例である。なお以下の説明において、当該ドライブレコーダが搭載されている車両を単に「自車」と称する。

【0019】

また、図２は実施例に係るドライブレコーダの概要構成を示すブロック図であり、図３は実施例に係る画像処理を示すフローチャートであり、図４は実施例に係る画像処理の効果を例示する図等である。このとき図２では、図１に示した実施形態に係る画像処理装置Ｓにおける各構成部材に対応する実施例の構成部材それぞれについて、当該画像処理装置Ｓにおける各構成部材と同一の部材番号を用いている。

【0020】

図２に示すように、実施例に係るドライブレコーダＤＲは、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）撮像素子等からなるカメラ１と、ＣＰＵ、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等からなる処理部２と、インターフェース３と、操作ボタン又はタッチパネル等からなる操作部４と、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等からなる記録部５と、例えば加速度センサ及び車間距離センサ等からなるセンサ部６と、液晶ディスプレイ等からなるディスプレイ７と、により構成されている。このとき、カメラ１が実施形態に係る撮像手段１の一例に相当し、処理部２が実施例に係る判定手段２の一例及び記録手段２－１の一例にそれぞれ相当し、インターフェース３が実施例に係る送信手段３の一例に相当する。また処理部２が、本願に係る「第１判定手段」の一例、「第２判定手段」の一例及び「検出手段」の一例に、それぞれ相当する。

【0021】

以上の構成においてカメラ１は、自車の前方をその撮像範囲としており、処理部２の制御の下、当該撮像範囲を例えばサイクリックに（即ち巡回的に）撮像し、その撮像結果に相当する画像データを処理部２に出力する。この画像データが本願に係る「画像情報」の一例に相当する。一方インターフェース３は、処理部２の制御の下、インターネット等のネットワークを介した図示しない外部のサーバ装置との間のデータの授受、又は他の車両に搭載されている図示しないナビゲーション装置等との間のいわゆる車車間通信によるデータの授受を制御する。なお以下の説明において、上記図示しない外部のサーバ装置又は他の車両に搭載されている上記図示しないナビゲーション装置等を、単に「サーバ装置等」と称する。また操作部４は、ドライブレコーダＤＲにおける動作を指定するための使用者による操作が当該操作部４において実施された場合に、当該操作に対応する操作信号を生成して処理部２に出力する。更にセンサ部６は、自車に印加される加速度を例えば三軸方向についてそれぞれ検出し、当該検出した加速度を示す加速度データを処理部２に出力する。またセンサ部６は、自車の前方に存在する他の車両と自車との間の車間距離を検出し、当該検出した車間距離を示す距離データを処理部２に出力する。なお以下の説明において、当該他の車両を単に「前方車両」と称する。これらにより処理部２は、カメラ１から出力された上記画像データを記録部５に不揮発的に記録させる。そして処理部２は、以下に説明する実施例に係る画像処理により、必要な画像データを読み出してインターフェース３を介して上記サーバ装置等に送信する。更に処理部２は、センサ部２から出力された上記加速度データに基づいて自車の加速度又は速度を検出すると共に、センサ部２から出力された上記距離データに基づいて前方車両と自車との車間距離を検出する。また処理部２は、操作部４から出力された上記操作信号に基づいて、実施例に係る画像処理を含むドライブレコーダＤＲとしての処理を統括制御する。

【0022】

次に、実施例に係る画像処理について、図２及び図３を用いて具体的に説明する。図３にそのフローチャートを示すように、実施例に係る画像処理は、ドライブレコーダＤＲとしての図示しない電源スイッチがオンとされた以降、例えば一定時間ごとに開始される。実施例に係る画像処理が開始されたら、先ず処理部２は、例えば自車の前方の地点を含む混雑（渋滞）情報を取得する（ステップＳ１）。このステップＳ１は、例えば自車の速度が一定速度以下となった場合に混雑していると推測してもよいし、例えばＶＩＣＳ(登録商標）（Vehicle Information Communication System）又は車車間通信により当該混雑情報自体を取得してもよい。ステップＳ１で混雑情報を取得した場合、カメラ１の撮像範囲には自車の前方に存在する他の車両の後部が映っていることが推測される。そこで処理部２は次に、当該前方車両が発進したか否か、即ち前方車両の状態が停止状態から移動状態（走行状態）に変わったか否かを検出する（ステップＳ２）。このステップＳ２として例えば処理部２は、上記車間距離が一定値から徐々に長くなった場合に前方車両が発進したと検出してもよいし、カメラ１に映っている当該前方車両の画像自体を解析してその画像が小さくなっていった場合に前方車両が発進したと検出してもよい。また、当該画像に対していわゆるエッジ検出処理を施すことにより前方車両の発進を検出してもよい。その後処理部２は、ステップＳ２において前方車両の発進が実際に検出されたか否かを判定する（ステップＳ３）。そして、例えばステップＳ１で取得した混雑情報の精度が低い等の理由により前方車両がそもそも存在しない場合、当該発進は検出されないので（ステップＳ３：ＮＯ）、処理部２は上記ステップＳ１に戻って上述した処理を繰り返す。一方ステップＳ３の判定において前方車両の発進が検出された場合（ステップＳ３：ＹＥＳ）、次に処理部２は、自車が発進したか否か、即ち自車の状態が停止状態から発進状態に変わったか否かを検出する（ステップＳ４）。このステップＳ４として例えば処理部２は、センサ部６から出力される上記加速度データに基づいて、自車が前方への有意な加速度又は速度を有した場合に自車が発進したと検出するように構成することができる。その後処理部２は、ステップＳ４において自車の発進が実際に検出されたか否かを判定する（ステップＳ５）。そして、未だ自車の発進が検出されない場合（ステップＳ５：ＮＯ）、処理部２は上記ステップＳ４に戻って自車の発進の検出を待機する。一方ステップＳ５の判定において自車の発進が検出された場合（ステップＳ５：ＹＥＳ）、それより前に前方車両が発進していることから（ステップＳ３：ＹＥＳ参照）、自車と前方車両との間には、その状態をカメラ１で撮像して得られた撮像結果に相当する画像データを実施例に係るドライブレコーダＤＲから取得した上記サーバ装置等において、当該画像データを自車周辺の例えば混雑（渋滞）の状況を示す画像データとして有効に活用できる程度の距離（間隔）が空いていることになる。即ち上記サーバ装置等は、前方車両が先に発進して（ステップＳ３：ＹＥＳ参照）空いた空間（上記距離（間隔）に相当する空間）により、自車周辺の状況が認識し易くなった画像データを取得できることになる。そこで処理部２は、ステップＳ５で自車の発進が検出されたタイミングから予め設定された時間だけ前（例えば０．５秒前）の時点で撮像された撮像結果に相当する画像データを記録部５から読み出し、インターフェース３を介して当該読み出された画像データを上記サーバ装置等に送信（アップロード）する（ステップＳ６）。

【0023】

その後処理部２は、例えばドライブレコーダＤＲとしての電源がオフとされた等の理由により実施例に係る画像処理を終了するか否かを判定する（ステップＳ７）。ステップＳ７の判定において、実施例に係る画像処理を終了する場合（ステップＳ７：ＹＥＳ）、処理部２はそのまま当該画像処理を終了する。一方ステップＳ７の判定において、引き続き実施例に係る画像処理を継続する場合（ステップＳ７：ＮＯ）、処理部２は上記ステップＳ１に戻って上述した処理を繰り返す。

【0024】

以上説明したように、実施例に係る画像処理によれば、前方の撮像範囲内に映っている前方車両との間隔が、周辺の状況を示す撮像結果としてその撮像結果を用いることが可能な間隔まで開いたタイミング（図３ステップＳ５：ＹＥＳ参照）に対応する撮像結果に相当する画像データを外部のサーバ装置等に送信する。よって、ドライブレコーダＤＲから当該画像データを常時送信する場合に比して処理部２及び当該画像データの送信先での処理負荷を軽減させることができると共に、当該送信先において、当該画像データに相当する撮像結果を、例えば混雑の判定等に関する処理に有益に活用することができる。この効果についてより具体的に図４を用いて説明すると、例えば前方車両との間隔が空いていない状態で自車のカメラ１で撮像した撮像結果Ｇには、例えば図４（ａ）に例示するように前方車両Ｃが極めて間近に映っており、この状態の撮像結果Ｇに相当する画像データをサーバ装置等が取得しても、自車周辺の例えば混雑の状況を判定するために有用に用いることはできない。これに対して、前方車両Ｃとの間隔が十分に空いた状態（ステップＳ５：ＹＥＳ参照）においてカメラ１で撮像した撮像結果Ｇでは、例えば図４（ｂ）に例示するように前方車両Ｃが図４（ａ）に例示する場合に比して遠方に映っている。よってこの場合には、自車と前方車両Ｃとの間には、当該撮像結果Ｇに相当する画像データを上記サーバ装置等において自車周辺の状況の判定等に有効に活用できる程度の距離が空いている。従って、図４（ｂ）に例示する状態の撮像結果に相当する画像データをサーバ装置等が取得すれば、自車周辺の例えば自車のいる車線や他の車線における混雑の状況を判定するために有用にこれを用いることができるのである。

【0025】

また、前方車両が移動状態にあり、且つ自車が停止状態から移動状態に変わった時点に対応する撮像結果に相当する画像データが外部のサーバ装置等に送信されるので（図３ステップＳ５：ＹＥＳ参照）、処理部２及び当該画像データの送信先での処理負荷を軽減させることができると共に、当該送信先において、周辺の混雑の状況を的確に示す撮像結果を有益に活用することができる。

【0026】

更に、前方車両が停止状態から移動状態に変わった後に（図３ステップＳ３：ＹＥＳ参照）自車が停止状態から移動状態に変わった時点（図３ステップ５：ＹＥＳ参照）に対応する撮像結果に相当する画像データが外部のサーバ装置等に送信されるので、処理部２及び当該画像データの送信先での処理負荷を軽減させることができると共に、当該送信先において、周辺の混雑の状況をより的確に示す撮像結果を有益に活用することができる。

【0027】

更にまた、前方車両が映っている撮像結果に基づいて、当該前方車両が移動状態であるか否かを判定する場合は（図３ステップＳ２参照）、当該前方車両が移動状態にあることを確実に検出して必要な画像データを外部に送信することができる。

【0028】

また、自車の加速度又は速度に基づいて自車が停止状態から移動状態に変わったか否かを判定する場合は（図３ステップＳ４参照）、自車が停止状態から移動状態に変わったことを確実に検出して必要な画像データを外部に送信することができる。

【0029】

なお上述した実施例では、前方車両及び自車それぞれの発進を検出して前方車両と自車との間の距離が空いたか否かを判定した（図３ステップＳ２乃至ステップＳ５参照）。ここで、例えば低速で移動する渋滞内に前方車両と自車が共に存在している場合には、当該車間距離がなかなか開かない場合がある。よってこのような場合には、例えば、前方車両が停止状態から移動状態に変わってから、自車が停止状態から移動状態に変わるまでの時間が、経験的又は実験的或いは地域性（例えばその地点の渋滞としての特異性）に応じて予め設定された閾値時間以上となった時点に対応する撮像結果に相当する画像データを外部のサーバ装置等に送信するように構成してもよい。この場合にも、処理部２及び当該画像データの送信先での処理負荷を軽減させることができると共に、当該送信先において、周辺の混雑の状況を的確に示す撮像結果を有益に活用することができる。更には、前方車両が停止状態から移動状態に変わってから、自車が停止状態から移動状態に変わった際の前方車両の自車の距離が、経験的又は実験的或いは地域性（例えばその地点の渋滞としての特異性）に応じて予め設定された閾値距離以上となった時点に対応する撮像結果に相当する画像データを外部のサーバ装置等に送信するように構成してもよい。この場合にも、処理部２及び当該画像データの送信先での処理負荷を軽減させることができると共に、当該送信先において、周辺の混雑の状況を的確に示す撮像結果を有益に活用することができる。

【0030】

また上述した実施例では、自車に搭載されているドライブレコーダＤＲにおける画像処理に実施形態を適用した場合について説明したが、これ以外に、二輪車や鉄道車両に搭載されているドライブレコーダにおける画像処理に実施形態を適用することもできる。

【0031】

更に上述した実施例に加えて、例えば自車が信号待ちをしている場合において前方車両が自車の撮像範囲から消失した場合を上記ステップＳ５：ＹＥＳのタイミングとしもよい。この場合には、前方の視界が開けた状態の画像データを外部のサーバ装置等に送信することができる。

【0032】

更に、図３に示したフローチャートに相当するプログラムを、光ディスク又はハードディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークを介して取得しておき、これを汎用のマイクロコンピュータ等に読み出して実行することにより、当該マイクロコンピュータ等を実施例に係る処理部２として機能させることも可能である。

【符号の説明】

【0033】

１ 撮像手段（カメラ）
２ 判定手段（処理部）
２－１ 記録手段
３ インターフェース
ＤＲ ドライブレコーダ
Ｓ 画像処理装置
Ｃ 前方車両
Ｇ 撮像結果

【図1】

【図2】

【図3】

【図4】