特開 2023-83826 画像処理装置、画像処理方法、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023083826

(43)【公開日】2023-06-16

(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム

(51)【国際特許分類】

   G06T 7/12 20170101AFI20230609BHJP

   H04N 23/60 20230101ALI20230609BHJP

   G06T 5/00 20060101ALI20230609BHJP

   G06T 7/00 20170101ALI20230609BHJP

【ＦＩ】

G06T7/12

H04N5/232 290

G06T5/00 705

G06T5/00 720

G06T7/00 650Z

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2021197759

(22)【出願日】2021-12-06

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】渡辺 敏暢

【テーマコード（参考）】

5B057

5C122

5L096

【Ｆターム（参考）】

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057CE20

5B057DA08

5B057DA17

5B057DB02

5B057DB09

5B057DC16

5C122DA14

5C122EA12

5C122FH03

5C122FH09

5C122FH11

5C122FH18

5C122FH21

5C122GA01

5C122GA23

5C122HA13

5C122HA35

5C122HB01

5L096BA04

5L096EA37

5L096FA06

5L096FA69

(57)【要約】      （修正有）

【課題】車両に搭載する画像の画像処理を行い、補完する領域をワイパーが写り込む部分を除去することが可能な最小限の領域とする補完画像を生成する画像処理装置を提供する。
【解決手段】画像処理装置は、画像に写るワイパーの輪郭を抽出する輪郭抽出処理３２０と、輪郭抽出処理３２０により得られた輪郭で囲まれるワイパー領域を画像から除去し、除去部分を補完した補完画像を生成する画像補完処理３３０と、を実行する。
【選択図】図６

【特許請求の範囲】

【請求項1】

車両に搭載するカメラが撮像する画像の画像処理を行う画像処理装置であって、
前記画像に写るワイパーの輪郭を抽出する輪郭抽出処理と、
前記輪郭抽出処理により得られた輪郭で囲まれるワイパー領域を前記画像から除去し、除去部分を補間した補完画像を生成する画像補完処理と、
を実行する
ことを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記輪郭抽出処理は、動的輪郭モデルにより前記輪郭を抽出するように構成され、
前記動的輪郭モデルの初期値は、前記ワイパーの前記画像上の位置であるワイパー位置を基点として与えられる
ことを特徴とする画像処理装置。

【請求項3】

請求項２に記載の画像処理装置であって、
画像認識により前記画像に写る前記ワイパーを検出し、前記ワイパー位置を特定するワイパー検出処理をさらに実行するように構成され、
連続的に撮像された前記画像について前記画像処理を順次行う場合、
前記輪郭抽出処理において、前記画像処理装置は、
前回処理実行時の前記画像において前記ワイパーを検出しており、今回処理実行時の前記画像において前記ワイパーの検出が継続しているとき、前回処理実行時に抽出した前記輪郭を前記初期値として与える
ことを特徴とする画像処理装置。

【請求項4】

請求項２に記載の画像処理装置であって、
前記ワイパーの作動情報を取得し、前記ワイパーの作動がオンであることを受けて、前記輪郭抽出処理及び前記画像補完処理を実行するように構成されている
ことを特徴とする画像処理装置。

【請求項5】

請求項４に記載の画像処理装置であって、
前記作動情報に基づいて、前記ワイパー位置を予測するワイパー位置予測処理をさらに実行するように構成されている
ことを特徴とする画像処理装置。

【請求項6】

請求項５に記載の画像処理装置であって、
前記画像の撮像時刻及び前記作動情報の作動時刻に基づいて、前記ワイパー位置予測処理において予測する前記ワイパー位置と前記画像との時間的な同期をとる同期処理をさらに実行するように構成されている
ことを特徴とする画像処理装置。

【請求項7】

請求項４乃至請求項６のいずれか１項に記載の画像処理装置であって、
連続的に撮像された前記画像について前記画像処理を順次行う場合、
前記輪郭抽出処理において、前記画像処理装置は、
前回処理実行時において前記ワイパーの作動がオンであり、今回処理実行時において前記ワイパーの作動がオンで継続しているとき、前回処理実行時に抽出した前記輪郭を前記初期値として与える
ことを特徴とする画像処理装置。

【請求項8】

請求項１乃至請求項７のいずれか１項に記載の画像処理装置であって、
前記カメラが所定期間過去の間に撮像した前記画像を記憶するように構成され、
前記画像補完処理において、前記画像処理装置は、
所定期間過去の間に撮像された前記画像を用いて前記除去部分の補間を行う
ことを特徴とする画像処理装置。

【請求項9】

車両に搭載するカメラが撮像する画像の画像処理を行う画像処理方法であって、
前記画像に写るワイパーの輪郭を抽出する輪郭抽出処理と、
前記輪郭抽出処理により得られた輪郭で囲まれるワイパー領域を前記画像から除去し、除去部分を補完した補完画像を生成する画像補完処理と、
を含む
ことを特徴とする画像処理方法。

【請求項10】

請求項９に記載の画像処理方法であって、
前記輪郭抽出処理は、動的輪郭モデルにより前記輪郭を抽出することを含み、
前記動的輪郭モデルの初期値は、前記ワイパーの前記画像上の位置であるワイパー位置を基点として与えられる
ことを特徴とする画像処理方法。

【請求項11】

請求項１０に記載の画像処理方法であって、
画像認識により前記画像に写る前記ワイパーを検出し、前記ワイパー位置を特定するワイパー検出処理をさらに含み、
連続的に撮像された前記画像について前記画像処理を順次行う場合、
前記輪郭抽出処理は、前回処理実行時の前記画像において前記ワイパーを検出しており、今回処理実行時の前記画像において前記ワイパーの検出が継続しているとき、前回処理実行時に抽出した前記輪郭を前記初期値として与えることを含む
ことを特徴とする画像処理方法。

【請求項12】

請求項１０に記載の画像処理方法であって、
前記ワイパーの作動情報を取得し、前記ワイパーの作動がオンであることを受けて、前記輪郭抽出処理及び前記画像補完処理を実行することを含む
ことを特徴とする画像処理方法。

【請求項13】

請求項１２に記載の画像処理方法であって、
前記作動情報に基づいて、前記ワイパー位置を予測するワイパー位置予測処理をさらに含む
ことを特徴とする画像処理方法。

【請求項14】

請求項１３に記載の画像処理方法であって、
前記画像の撮像時刻及び前記作動情報の作動時刻に基づいて、前記ワイパー位置予測処理において予測する前記ワイパー位置と前記画像との時間的な同期をとる同期処理をさらに含む
ことを特徴とする画像処理方法。

【請求項15】

請求項１２乃至請求項１４のいずれか１項に記載の画像処理方法であって、
連続的に撮像された前記画像について前記画像処理を順次行う場合、
前記輪郭抽出処理は、前回処理実行時において前記ワイパーの作動がオンであり、今回処理実行時において前記ワイパーの作動がオンで継続しているとき、前回処理実行時に抽出した前記輪郭を前記初期値として与えることを含む
ことを特徴とする画像処理方法。

【請求項16】

請求項９乃至請求項１５のいずれか１項に記載の画像処理方法であって、
前記カメラが所定期間過去の間に撮像した前記画像を記憶することを含み、
前記画像補完処理は、所定期間過去の間に撮像された前記画像を用いて前記除去部分の補間を行うことを含む
ことを特徴とする画像処理方法。

【請求項17】

請求項９乃至請求項１６のいずれか１項に記載の画像処理方法をコンピュータに実行ささせる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両に搭載するカメラが撮像する画像の画像処理を行う画像処理装置、及び画像処理方法、並びに画像処理方法をコンピュータに実行させる画像処理プログラムに関する。

【背景技術】

【0002】

走行環境を撮像するために車両に搭載するカメラは、一般に車内に備えられ、ウィンドウガラスを通して撮像を行う。このとき、カメラが撮像する画像は、ワイパーの動作範囲にあるウィンドウガラスの部分を含むこととなる。このため、ワイパーが作動している場合、ワイパーの写り込みにより、画像認識の精度の低下や検知物体のトラッキング精度の低下の虞がある。

【0003】

特許文献１には、撮影中の外乱に起因するノイズを画像処理によって撮影画像から除去する画像処理装置が開示されている。特許文献１に係る画像処理装置は、所定の処理対象画像を基準にして、処理対象画像に近接する複数の関連画像のそれぞれについての動きベクトルを求め、複数の関連画像を動きベクトルにより動き補正し、動き補正された複数の関連画像及び処理対象画像の画素値を平均化処理して、処理対象画像に対応する合成画像を生成する。この合成画像により、特にワイパーが消された合成画像を生成する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１６／１５２００７号

【発明の概要】

【発明が解決しようとする課題】

【0005】

遠隔運転、自動運転、運転支援等における制御の実施において撮像した画像を利用する場合には、ワイパーが写り込む部分に対処する一方で、それ以外の部分については処理が実行されないことが望ましい。特許文献１で開示される画像処理装置は、画像データの平均化処理による合成画像の生成であるため、ワイパーを画像から十分に除去できない虞がある。また、必要な画像の情報が意図せずして失われる恐れがある。

【0006】

本開示は、上記の課題を鑑みてなされたものであり、補完する領域をワイパーが写り込む部分を除去することが可能な最小限の領域とする補完画像を生成することが可能な画像処理装置、及び画像処理方法、並びに画像処理方法をコンピュータに実行させる画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の開示は、車両に搭載するカメラが撮像する画像の画像処理を行う画像処理装置に関する。
第１の開示に係る画像処理装置は、前記画像に写るワイパーの輪郭を抽出する輪郭抽出処理と、前記輪郭抽出処理により得られた輪郭で囲まれるワイパー領域を前記画像から除去し、除去部分を補完した補完画像を生成する画像補完処理と、を実行する。

【0008】

第２の開示は、第１の開示に係る画像処理装置に対して、さらに以下の特徴を有する画像処理装置に関する。
前記輪郭抽出処理は、動的輪郭モデルにより前記輪郭を抽出するように構成される。
前記動的輪郭モデルの初期値は、前記ワイパーの前記画像上の位置であるワイパー位置を基点として与えられる。

【0009】

第３の開示は、第２の開示に係る画像処理装置に対して、さらに以下の特徴を有する画像処理装置に関する。
画像認識により前記画像に写る前記ワイパーを検出し、前記ワイパー位置を特定するワイパー検出処理をさらに実行するように構成される。
連続的に撮像された前記画像について前記画像処理を順次行う場合、前記輪郭抽出処理において、前記画像処理装置は、前回処理実行時の前記画像において前記ワイパーを検出しており、今回処理実行時の前記画像において前記ワイパーの検出が継続しているとき、前回処理実行時に抽出した前記輪郭を前記初期値として与える。

【0010】

第４の開示は、第２の開示に係る画像処理装置に対して、さらに以下の特徴を有する画像処理装置に関する。
前記ワイパーの作動情報を取得し、前記ワイパーの作動がオンであることを受けて、前記輪郭抽出処理及び前記画像補完処理を実行するように構成されている。

【0011】

第５の開示は、第４の開示に係る画像処理装置に対して、さらに以下の特徴を有する画像処理装置に関する。
前記作動情報に基づいて、前記ワイパー位置を予測するワイパー位置予測処理をさらに実行するように構成されている。

【0012】

第６の開示は、第５の開示に係る画像処理装置に対して、さらに以下の特徴を有る画像処理装置に関する。
前記画像の撮像時刻及び前記作動情報の作動時刻に基づいて、前記ワイパー位置予測処理において予測する前記ワイパー位置と前記画像との時間的な同期をとる同期処理をさらに実行するように構成されている。

【0013】

第７の開示は、第４乃至第６のいずれか１つの開示に係る画像処理装置に対して、さらに以下の特徴を有する画像処理装置に関する。
連続的に撮像された前記画像について前記画像処理を順次行う場合、前記輪郭抽出処理において、前記画像処理装置は、前回処理実行時において前記ワイパーの作動がオンであり、今回処理実行時において前記ワイパーの作動がオンで継続しているとき、前回処理実行時に抽出した前記輪郭を前記初期値として与える。

【0014】

第８の開示は、第１乃至第７のいずれか１つの開示に係る画像処理装置に対して、さらに以下の特徴を有する画像処理装置に関する。
前記カメラが所定期間過去の間に撮像した前記画像を記憶するように構成される。
前記画像補完処理において、前記画像処理装置は、所定期間過去の間に撮像された前記画像を用いて前記除去部分の補間を行う。

【0015】

第９の開示は、車両に搭載するカメラが撮像する画像の画像処理を行う画像処理方法に関する。
第９の開示に係る画像処理方法は、前記画像に写るワイパーの輪郭を抽出する輪郭抽出処理と、前記輪郭抽出処理により得られた輪郭で囲まれるワイパー領域を前記画像から除去し、除去部分を補完した補完画像を生成する画像補完処理と、を含む。

【0016】

第１０の開示は、第９の開示に係る画像処理方法に対して、さらに以下の特徴を有する画像処理方法に関する。
前記輪郭抽出処理は、動的輪郭モデルにより前記輪郭を抽出することを含む。
前記動的輪郭モデルの初期値は、前記ワイパーの前記画像上の位置であるワイパー位置を基点として与えられる。

【0017】

第１１の開示は、第１０の開示に係る画像処理方法に対して、さらに以下の特徴を有する画像処理方法に関する。
画像認識により前記画像に写る前記ワイパーを検出し、前記ワイパー位置を特定するワイパー検出処理をさらに含む。
連続的に撮像された前記画像について前記画像処理を順次行う場合、前記輪郭抽出処理は、前記画像処理装置は、前回処理実行時の前記画像において前記ワイパーを検出しており、今回処理実行時の前記画像において前記ワイパーの検出が継続しているとき、前回処理実行時に抽出した前記輪郭を前記初期値として与えることを含む。

【0018】

第１２の開示は、第１０の開示に係る画像処理方法に対して、さらに以下の特徴を有する画像処理方法に関する。
前記ワイパーの作動情報を取得し、前記ワイパーの作動がオンであることを受けて、前記輪郭抽出処理及び前記画像補完処理を実行することを含む。

【0019】

第１３の開示は、第１２の開示に係る画像処理方法に対して、さらに以下の特徴を有する画像処理方法に関する。
前記作動情報に基づいて、前記ワイパー位置を予測するワイパー位置予測処理をさらに含む。

【0020】

第１４の開示は、第１３の開示に係る画像処理方法に対して、さらに以下の特徴を有する画像処理方法に関する。
前記画像の撮像時刻及び前記作動情報の作動時刻に基づいて、前記ワイパー位置予測処理において予測する前記ワイパー位置と前記画像との時間的な同期をとる同期処理をさらに含む。

【0021】

第１５の開示は、第１２乃至第１４のいずれか１つの開示に係る画像処理方法に対して、さらに以下の特徴を有する画像処理方法に関する。
連続的に撮像された前記画像について前記画像処理を順次行う場合、前記輪郭抽出処理は、前記画像処理装置は、前回処理実行時において前記ワイパーの作動がオンであり、今回処理実行時において前記ワイパーの作動がオンで継続しているとき、前回処理実行時に抽出した前記輪郭を前記初期値として与えることを含む。

【0022】

第１６の開示は、第９乃至第１５のいずれか１つの開示に係る画像処理方法に対して、さらに以下の特徴を有する画像処理方法に関する。
前記カメラが所定期間過去の間に撮像した前記画像を記憶することを含む。
前記画像補完処理は、前記画像処理装置は、所定期間過去の間に撮像された前記画像を用いて前記除去部分の補間を行うことを含む。

【0023】

第１７の開示は、第９乃至第１６のいずれか１つの開示に係る画像処理方法をコンピュータに実行させる画像処理プログラムに関する。

【発明の効果】

【0024】

本開示に係る画像処理装置及び画像処理方法、並びに画像処理方法をコンピュータに実行させる画像処理プログラムによれば、ワイパーの輪郭を抽出し、抽出した輪郭で囲まれるワイパー領域の除去及び補完を行う。これにより、補完する領域をワイパーが写り込む部分を除去することが可能な最小限の領域とする補完画像を生成することができる。

【図面の簡単な説明】

【0025】

【図1】本実施形態に係る画像処理装置による画像処理の対象となる画像について説明するための概念図である。

【図2】ワイパーの動作状態が異なる画像の例を示す概念図である。

【図3】本実施形態に係る画像処理装置による画像処理方法の概要について説明するための概念図である。

【図4】前回処理実行時においてワイパーの輪郭を抽出しており、今回処理実行時において継続してワイパーの輪郭を抽出する場合に、今回処理実行時において与える初期値の例を示す概念図である。

【図5】第１実施形態に係る画像処理装置の概略構成を示すブロック図である。

【図6】第１実施形態に係る画像処理装置において、プロセッサが画像処理プログラムに従って実行する処理の構成を示すブロック図である。

【図7】図６に示す処理の構成により実現されるアルゴリズムを示すフローチャートである。

【図8】第２実施形態に係る画像処理装置において、プロセッサが画像処理プログラムに従って実行する処理の構成を示すブロック図である。

【図9】図８に示す処理の構成により実現されるアルゴリズムを示すフローチャートである。

【図10】第３実施形態に係る画像処理装置において、プロセッサが画像処理プログラムに従って実行する処理の構成を示すブロック図である。

【発明を実施するための形態】

【0026】

以下、図面を参照して本開示の実施の形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲などの数に言及した場合、特に明示した場合や原理的に明らかにその数が特定される場合を除いて、その言及した数に、本開示に係る思想が限定されるものではない。また、以下に示す実施の形態において説明する構成等は、特に明示した場合や原理的に明らかにそれに特定される場合を除いて、本開示に係る思想に必ずしも必須のものではない。なお、各図中、同一又は相当する部分には同一の符号を附しており、その重複説明は適宜に簡略化ないし省略する。

【0027】

１．概要
本実施形態に係る画像処理装置は、車両に搭載するカメラが撮像する画像の画像処理を行う。図１は、本実施形態に係る画像処理装置による画像処理の対象となる画像１０について説明するための概念図である。

【0028】

図１の（Ａ）は、画像１０を撮像するカメラ１１０、及びカメラ１１０を搭載する車両１の例を示している。図１の（Ｂ）は、カメラ１１０が撮像する画像１０の例を示している。

【0029】

図１の（Ａ）において、カメラ１１０は、車両１の前方の走行領域を撮像する。つまり、画像１０は、車両１の走行映像を構成するデータである。画像１０は、車両１の周囲環境を認識するための情報として利用することができる。例えば、自動運転技術、運転支援技術等において、画像１０の画像認識により、車両１の周囲の物体（他車両、障害物等）の検知や白線検知等が行われる。あるいは、遠隔運転技術において、遠隔運転のオペレータは、画像１０を視認することで車両１の周囲環境を認識する。

【0030】

ここで、カメラ１１０は、一般に、車両１の車内に備えられ、ウィンドウガラス２を通して撮像を行う。また、カメラ１１０の撮像領域は、ワイパー１２０の動作範囲にあるウィンドウガラス２の部分を含んでいる。これは、雨天時等におけるカメラ１１０のレンズの水滴の付着やウィンドウガラス２の表面に付着した水滴が残存することによる走行映像の乱れを防ぐためである。

【0031】

このため、図１の（Ｂ）に示すように、ワイパー１２０を作動している間は、画像１０にワイパー１２０が写り込むこととなる。画像１０にワイパー１２０が写り込むと、画像認識の精度や検知物体のトラッキング精度が低下する虞がある。

【0032】

図２は、ワイパー１２０の動作状態が異なる３つの場合（Ａ）、（Ｂ）、及び（Ｃ）における画像１０の例を示す概念図である。それぞれの画像１０には、検知の対象となる他車両３ａ及び３ｂが写っている。ここで図２は、（Ａ）、（Ｂ）、及び（Ｃ）の順に時間が進行する場合を示しており、例えば、他車両３ａに続いて右折しようとする状況で撮像される画像１０の例である。

【0033】

いま（Ａ）において画像１０の画像認識により他車両３ａを検知し、その後、他車両３ａのトラッキングを行う場合を考える。この場合に、（Ｂ）において、ワイパー１２０の写り込みにより他車両３ａの一部が隠れているため、他車両３ａを見失う虞がある。このとき、（Ｃ）において、再度、他車両３ａの検知及びトラッキングを行うこととなり、トラッキング精度が低下してしまう。

【0034】

また、図２に示す画像１０の画像認識により他車両３ｂの検知を行う場合を考える。この場合に、（Ｂ）から（Ｃ）にかけてワイパー１２０の写り込みにより他車両３ｂの一部が隠れている。このため、他車両３ｂの検知が困難となる。このように、画像認識の精度が低下する虞がある。

【0035】

このような課題に対して、本実施形態に係る画像処理装置は、カメラ１１０が撮像する画像１０を入力として、ワイパー１２０が写り込む部分を除去するように補完した補完画像を生成する。ここで、補完する領域は、ワイパー１２０が写り込む部分を除去することが可能な最小限の領域であることが望ましい。元の画像１０の情報が失われることを抑制するためである。

【0036】

そこで、本実施形態に係る画像処理装置は、画像１０に写るワイパー１２０の輪郭を抽出する。そして、抽出した輪郭で囲まれる領域（以下、「ワイパー領域」とも称する。）を画像１０から除去し、除去部分を補完した補完画像を生成する。特に、本実施形態に係る画像処理装置は、動的輪郭モデル（Active Contour）によりワイパー１２０の輪郭を抽出する。

【0037】

図３は、本実施形態に係る画像処理装置による画像処理方法の概要について説明するための概念図である。

【0038】

まず（１）に示すように、ワイパー１２０の画像１０上の位置であるワイパー位置１２１を特定する。図３では、ワイパー位置１２１として、画像１０上の一定の範囲を与えている。ただし、ワイパー位置１２１は、画像１０の特定の点として与えられても良いし、画像１０上の位置を規定する座標により与えられても良い。

【0039】

次に（２）に示すように、ワイパー位置１２１を基点として、動的輪郭モデルにより抽出する輪郭１２２の初期値を与える。図３では、輪郭１２２の初期値として、ワイパー位置１２１を基点とする長方形の形状を与えている。ただし、輪郭１２２の初期値は、車両１やカメラ１１０等の環境に応じて好適な形状を与えても良い。例えば、楕円の形状を与えても良い。

【0040】

なお、ワイパー位置１２１が画像１０上の特定の点や画像１０上の位置を規定する座標により与えられる場合は、特定の点や座標を基点として、一定の範囲を囲む所定の形状の輪郭１２２が初期値として与えられる。

【0041】

次に（３）に示すように、動的輪郭モデルによりワイパー１２０の輪郭１２２を抽出する。動的輪郭モデルは、初期値として与える形状を物体の形状に収束させるように漸次変形させる処理を繰り返すことで輪郭１２２を抽出する手法である。動的輪郭モデルにより、十分な繰り返し回数を与えることで、輪郭１２２の抽出漏れを抑制し、ワイパー１２０の写り込み部分に対応した輪郭１２２を確実に抽出することができる。なお、動的輪郭モデルのアルゴリズムは好適な公知技術を採用して良い。

【0042】

次に（４）に示すように、抽出した輪郭１２２で囲まれるワイパー領域１２３を画像１０から除去する。図３では、白抜きによりワイパー領域１２３の除去が行われている。そして（５）に示すように、除去部分を補完した補完画像１１を生成する。

【0043】

このように、本実施形態に係る画像処理装置によれば、ワイパー１２０の輪郭１２２を抽出し、抽出した輪郭１２２で囲まれる領域（ワイパー領域１２３）の除去及び補完により補完画像１１を生成する。特に、本実施形態に係る画像処理装置では、動的輪郭モデルにより輪郭１２２を抽出する。これにより、ワイパー１２０の写り込み部分に対応した輪郭１２２を確実に抽出し、補完する領域をワイパー１２０が写り込む部分を除去することが可能な最小限の領域とする補完画像１１を生成することができる。

【0044】

ところで、動的輪郭モデルは、一般に、初期値を漸次変形させる処理の繰り返し回数が増えるほどより所望の輪郭１２２を抽出することができる。しかし、自動運転や運転支援等において、走行映像としての画像１０の画像処理を行う場合、速やかに制御の判断を行うことが必要となるため処理時間は限られる。延いては、動的輪郭モデルにおける処理の繰り返し回数は限られる。一方で、輪郭１２２の初期値を物体の形状と近くなるように与えれば、少ない繰り返し回数で所望の輪郭１２２を抽出することができる。

【0045】

そこで、本実施形態に係る画像処理装置は、抽出したワイパー１２０の輪郭１２２を記憶する。そして、連続的に撮像された画像１０（例えば、走行映像）について画像処理を順次行う場合、前回処理実行時においてワイパー１２０の輪郭１２２を抽出しており、今回処理実行時において継続してワイパー１２０の輪郭１２２を抽出する場合、今回処理実行時における動的輪郭モデルの初期値を、前回処理実行時において抽出した輪郭１２２とする。

【0046】

ワイパー１２０は、画像処理の実行間隔程度の時間では位置や形状が大きく変化することがないため、前回処理実行時において抽出した輪郭１２２は、今回処理実行時においても画像１０に写るワイパー１２０の形状と近いことが予想される。従って、前回処理実行時において抽出した輪郭１２２を初期値として与えることで、今回処理実行時において限られた繰り返し回数で所望の輪郭１２２を抽出することができる。

【0047】

なお、初期値を与える位置は、今回処理実行時において特定したワイパー位置１２１を基点として良い。これにより、さらに初期値を画像１０に写るワイパー１２０の形状と近くすることができる。図４に、前回処理実行時においてワイパー１２０の輪郭１２２を抽出しており、今回処理実行時において継続してワイパー１２０の輪郭１２２を抽出する場合に、今回処理実行時において与える初期値の例を示す。

【0048】

また、このように動的輪郭モデルの初期値を与えることにより、ワイパー１２０が画像１０に写り込んだ直後の画像１０においては十分に輪郭１２２を抽出することができないとしても、その後の画像１０においては所望の輪郭１２２を抽出することができる。延いては、設計の容易さやロバスト性の向上、要求性能の低減等が期待できる。

【0049】

２．第１実施形態
２－１．画像処理装置
図５は、第１実施形態に係る画像処理装置１００の概略構成を示すブロック図である。画像処理装置１００は、メモリ２００と、プロセッサ３００と、を備えるコンピュータである。画像処理装置１００は、例えば、車両１に搭載されるＥＣＵ（Electronic Control Unit）の１つである。ただしこの場合、画像処理装置１００として機能するＥＣＵを示し、その他の機能を有するＥＣＵであっても良い。また、画像処理装置１００は、複数のＥＣＵにより構成されていても良い。この場合、画像処理装置１００は、メモリ２００とプロセッサ３００とを備える複数のＥＣＵにより構成されるシステムを示す。

【0050】

その他の画像処理装置１００の例として、通信ネットワーク（典型的には、インターネット）上に構成されたサーバー（仮想的であっても良い）が挙げられる。

【0051】

画像処理装置１００は、車両１に搭載するカメラ１１０が撮像する画像１０を取得することができるように構成されている。例えば、画像処理装置１００は、カメラ１１０とワイヤーハーネスを介して電気的に接続されるように構成される。あるいは、画像処理装置１００は、カメラ１１０と有線又は無線による通信ネットワーク（典型的には、インターネット）を介して互いに情報を通信することができるように構成される。

【0052】

メモリ２００は、種々のデータ２１０、及びプロセッサ３００で実行可能なプログラム２２０を記憶する。特にメモリ２００は、画像処理装置１００が取得する情報（カメラ１１０から取得する画像１０を含む）を、データ２１０として記憶する。ここで、画像処理装置１００は、所定期間過去の間に取得する情報をデータ２１０としてメモリ２００に記憶するように構成しても良い。例えば、所定期間過去の間の走行映像を構成する画像１０のデータを記憶するように構成しても良い。

【0053】

プロセッサ３００は、メモリ２００からデータ２１０及びプログラム２２０を読み出し、データ２１０に基づいてプログラム２２０に従う処理を実行する。また、プロセッサ３００は、処理の結果の一部をメモリ２００に記憶しても良い。ここで、プログラム２２０には、画像１０の画像処理を行うプログラム（以下、「画像処理プログラム」とも称する。）が含まれる。プロセッサ３００が画像処理プログラムに従う処理を実行することにより、画像処理装置１００による画像１０の画像処理が実現される。そして、画像処理装置１００は、画像１０の画像処理を行った結果を出力する。

【0054】

プロセッサ３００が画像処理プログラムに従って実行する処理には、画像１０を入力として、ワイパー１２０が写り込む部分を除去するように補完した補完画像１１を生成する処理が含まれる。そして、画像処理装置１００は、画像１０の画像処理を行った結果として、補完画像１１を出力する。

【0055】

２－２．処理
以下、プロセッサ３００が画像処理プログラムに従って実行する処理について説明する。

【0056】

図６は、プロセッサ３００が画像処理プログラムに従って実行する処理の構成を示すブロック図である。プロセッサ３００は、画像１０を入力として、ワイパー検出処理３１０と、輪郭抽出処理３２０と、画像補完処理３３０と、を実行し、補完画像１１を生成する。ワイパー検出処理３１０、輪郭抽出処理３２０、及び画像補完処理３３０は、画像処理プログラムの一部として記述される。

【0057】

ここで、プロセッサ３００は、カメラ１１０により連続的に撮像された画像１０について、画像処理プログラムに従う処理を順次実行する。例えば、カメラ１１０が車両１の走行映像を撮像する場合に、プロセッサ３００は、走行映像を構成する画像１０それぞれについて、時系列に沿って処理を順次実行する。

【0058】

ワイパー検出処理３１０において、プロセッサ３００は、画像１０に写るワイパー１２０を検出し、検出情報を算出する。ここで、画像１０に写るワイパー１２０を検出した場合、検出情報には、ワイパー位置１２１の情報が含まれる。画像１０にワイパー１２０が写っているか否か、及びワイパー位置１２１の検出は、画像１０の画像認識により行われる。なお、画像認識は、公知の技術を採用して良い。

【0059】

プロセッサ３００は、画像１０に写るワイパー１２０を検出したことを受けて、輪郭抽出処理３２０及び画像補完処理３３０を実行する。

【0060】

輪郭抽出処理３２０において、プロセッサ３００は、動的輪郭モデルによりワイパー１２０の輪郭１２２を抽出し、輪郭情報を算出する。また、算出した輪郭情報（今回処理結果）をデータ２１０としてメモリ２００に記憶する。ここで、前回処理実行時に画像１０に写るワイパー１２０を検出している場合、前回処理実行時に算出した輪郭情報（前回処理結果）をメモリ２００から取得する。そして、前回処理実行時に抽出した輪郭１２２を動的輪郭モデルの初期値として与える。一方で、前回処理実行時に画像１０に写るワイパー１２０を検出していない場合、所定の形状を初期値として与える。所定の形状は、プログラム２２０にあらかじめ記述されていて良い。あるいは、検出情報に基づいて定められる形状であっても良い。なお、初期値は、検出情報に含まれるワイパー位置１２１を基点として与えられる。

【0061】

画像補完処理３３０において、プロセッサ３００は、輪郭抽出処理３２０により抽出した輪郭１２２で囲まれるワイパー領域１２３を画像１０から除去し、除去部分を補完した補完画像１１を生成する。ここで、除去部分の補間は、公知の画像補完技術を採用して良い。例えば、深層学習を利用した画像補完技術を採用して良い。

【0062】

図７は、図６に示す処理の構成により実現されるアルゴリズムを示すフローチャートである。図７に示すフローチャートに係る処理は、処理の対象となる画像１０毎に実行される。また、プロセッサ３００が図７に示す処理を実行することにより、図３に示す画像処理方法が実現される。

【0063】

ステップＳ１００において、プロセッサ３００は、ワイパー検出処理３１０を実行し画像１０に写るワイパー１２０を検出したか否かを判定する。画像１０に写るワイパー１２０を検出した場合（ステップＳ１００；Ｙｅｓ）、処理はステップＳ１１０に進む。画像１０に写るワイパー１２０を検出していない場合（ステップＳ１００；Ｎｏ）、処理は終了する。

【0064】

ステップＳ１１０において、プロセッサ３００は、検出情報に基づいて前回処理実行時に画像１０に写るワイパー１２０を検出しているか否かを判定する。前回処理実行時に画像１０に写るワイパー１２０を検出している場合（ステップＳ１１０；Ｙｅｓ）、つまり前回処理実行時からワイパー１２０の検出が継続している場合、処理はステップＳ１２０に進む。前回処理実行時に画像１０に写るワイパー１２０を検出していない場合（ステップＳ１１０；Ｎｏ）、処理はステップＳ１３０に進む。

【0065】

ステップＳ１２０において、プロセッサ３００は、前回処理実行時に抽出した輪郭１２２を初期値として輪郭抽出処理３２０を実行する。ステップＳ１２０の後、処理はステップＳ１４０に進む。

【0066】

ステップＳ１３０において、プロセッサ３００は、前回処理実行時に抽出した輪郭１２２を初期値として輪郭抽出処理３２０を実行する。ステップＳ１３０の後、処理はステップＳ１４０に進む。

【0067】

ステップＳ１４０において、プロセッサ３００は、ステップＳ１２０又はステップＳ１３０において抽出した輪郭１２２をデータ２１０としてメモリ２００に記憶する。ステップＳ１４０の後、処理はステップＳ１５０に進む。

【0068】

ステップＳ１５０において、プロセッサ３００は、ステップＳ１２０又はステップＳ１３０において抽出した輪郭１２２で囲まれるワイパー領域１２３を画像１０から除去する。ステップＳ１５０の後、処理はステップＳ１６０に進む。

【0069】

ステップＳ１６０において、プロセッサ３００は、除去部分を補完するように画像補完処理３３０を実行する。ステップＳ１６０の後処理は終了する。

【0070】

３．第２実施形態
以下、第２実施形態に係る画像処理装置１００について説明する。ただし、第１実施形態に係る画像処理装置１００と重複する事項については適宜省略する。

【0071】

３－１．画像処理装置
第２実施形態に係る画像処理装置１００は、第１実施形態に係る画像処理装置１００に対して、ワイパー１２０の作動情報をさらに取得し、作動情報に基づいて、処理の実行の判断やワイパー位置１２１の予測を行うことを特徴とする。

【0072】

第２実施形態に係る画像処理装置１００の構成は、図５に示す第１実施形態に係る画像処理装置１００と同等であって良い。ただし、第２実施形態に係る画像処理装置１００は、ワイパー１２０の作動情報（オンオフ状態、間欠動作の周期等）を取得することができるように構成されている。例えば、画像処理装置１００は、ワイパー１２０の駆動を制御するＥＣＵとワイヤーハーネスを介して電気的に接続するように構成される。あるいは、ワイパー１２０の駆動を制御するＥＣＵと有線又は無線による通信ネットワークを介して互いに情報を通信することができるように構成される。

【0073】

３－２．処理
以下、第２実施形態に係る画像処理装置１００において、プロセッサ３００が画像処理プログラムに従って実行する処理について説明する。

【0074】

図８は、第２実施形態に係る画像処理装置１００において、プロセッサ３００が画像処理プログラムに従って実行する処理の構成を示すブロック図である。第２実施形態において、プロセッサ３００は、画像１０及び作動情報を入力として、ワイパー位置予測処理３４０と、輪郭抽出処理３２０と、画像補完処理３３０と、を実行し、補完画像１１を生成する。ワイパー位置予測処理３４０、輪郭抽出処理３２０、及び画像補完処理３３０は、画像処理プログラムの一部として記述される。

【0075】

ここで、プロセッサ３００は、カメラ１１０により連続的に撮像された画像１０（例えば、走行映像）について、画像処理プログラムに従う処理を順次実行する。

【0076】

ワイパー位置予測処理３４０において、プロセッサ３００は、作動情報に基づいてワイパー位置１２１を予測して算出する。例えば、作動情報として、ワイパー１２０の間欠動作の状態（動作中又はポーズ中）及び間欠動作の周期を取得することで、プロセッサ３００は、ワイパー１２０の動作の開始時点からの経過時間と間欠動作の周期からワイパー位置１２１を予測することができる。

【0077】

第２実施形態に係る画像処理装置１００では、プロセッサ３００は、ワイパー１２０の作動がオンであることを受けて、ワイパー位置予測処理３４０、輪郭抽出処理３２０、及び画像補完処理３３０を実行する。これにより、ワイパー１２０の作動がオフであり、画像１０にワイパー１２０が写ることがない場合に不必要に処理が実行されることを抑止することができる。

【0078】

輪郭抽出処理３２０において、プロセッサ３００は、動的輪郭モデルによりワイパー１２０の輪郭１２２を抽出し、輪郭情報を算出する。また、算出した輪郭情報（今回処理結果）をデータ２１０としてメモリ２００に記憶する。ここで、前回処理実行時にワイパー１２０の作動がオンである場合、前回処理実行時に算出した輪郭情報（前回処理結果）をメモリ２００から取得する。そして、前回処理実行時に抽出した輪郭１２２を動的輪郭モデルの初期値として与える。一方で、前回処理実行時にワイパー１２０の作動がオフである場合、所定の形状を初期値として与える。なお、初期値は、ワイパー位置予測処理３４０において算出したワイパー位置１２１を基点として与えられる。

【0079】

画像補完処理３３０は、第１実施形態に係る画像処理装置１００と同等であって良い。

【0080】

図９は、図８に示す処理の構成により実現されるアルゴリズムを示すフローチャートである。図９に示すフローチャートに係る処理は、処理の対象となる画像１０毎に実行される。

【0081】

ステップＳ１０１において、プロセッサ３００は、作動情報からワイパー１２０の作動がオンであるか否かを判定する。ワイパー１２０の作動がオンである場合（ステップＳ１０１；Ｙｅｓ）、処理はステップＳ１０２に進む。ワイパー１２０の作動がオフである場合（ステップＳ１０１；Ｎｏ）、処理は終了する。

【0082】

ステップＳ１０２において、プロセッサ３００は、ワイパー位置予測処理３４０を実行する。ステップＳ１０２の後、処理はステップＳ１１１に進む。

【0083】

ステップＳ１１１において、プロセッサ３００は、作動情報に基づいて前回処理実行時にワイパー１２０の作動がオンであったか否かを判定する。前回処理実行時にワイパー１２０の作動がオンであった場合（ステップＳ１１１；Ｙｅｓ）、つまり前回処理実行時からワイパー１２０の作動がオンで継続している場合、処理はステップＳ１２０に進む。前回処理実行時にワイパー１２０の作動がオフであった場合（ステップＳ１１１；Ｎｏ）、処理はステップＳ１３０に進む。

【0084】

ステップＳ１２０、ステップＳ１３０、ステップＳ１４０、ステップＳ１５０、及びステップＳ１６０については、図７において説明したものと同等であって良い。

【0085】

以上説明したように、第２実施形態に係る画像処理装置１００であっても、第１実施形態に係る画像処理装置１００と同等の機能を発揮することができる。また、ワイパー１２０の作動情報を取得してワイパー位置１２１を算出することにより、ワイパー位置１２１をより正確に特定することができる。延いては、動的輪郭モデルによる輪郭１２２の抽出をより高速に行うことができる。

【0086】

３－３．変形例
第２実施形態に係る画像処理装置１００は、以下のように変形した態様を採用しても良い。

【0087】

３－３－１．変形例１
第２実施形態に係る画像処理装置１００は、プロセッサ３００が、図６において説明したワイパー検出処理３１０をさらに実行するように構成されていても良い。これにより、ワイパー１２０の作動情報が取得できない場合にワイパー検出処理３１０により算出した検出情報を用いて処理を実行することを可能にするなど冗長な構成とすることができる。

【0088】

３－３－２．変形例２
第２実施形態に係る画像処理装置１００は、プロセッサ３００が、ワイパー位置予測処理３４０において予測するワイパー位置１２１と画像１０との時間的な同期をとる同期処理をさらに実行するように構成されていても良い。この場合、画像１０には撮像時刻の情報が付加され、ワイパー１２０の作動情報には作動時刻の情報が付加される。以下、同期処理の例について説明する。

【0089】

画像処理装置１００は、ワイパー１２０の作動情報について所定期間過去までの時系列データを取得するように構成される。そして、プロセッサ３００は、ワイパー位置予測処理３４０において、作動情報の時系列データそれぞれについてワイパー位置１２１を算出する。ここで、算出されるワイパー位置１２１は、作動情報に付加した作動時刻に対応する時系列データとなる。

【0090】

同期処理において、プロセッサ３００は、今回処理の対象となる画像１０の撮像時刻と対応するワイパー位置１２１を選択する。そして、プロセッサ３００は、同期処理において選択したワイパー位置１２１に基づいて、輪郭抽出処理３２０を実行する。

【0091】

さらに、画像補完処理３３０において生成した補完画像１１についてワイパー１２０が写り込む部分の除去が十分でない場合、同期処理において、プロセッサ３００は、１つ前の時刻又は１つ後の時刻のワイパー位置１２１を再度選択する。ここで、ワイパー１２０が写り込む部分の除去が十分でないことは、例えば、補完画像１１に残るワイパー１２０の部分の面積から判断する。あるいは、画像認識によりワイパー位置１２１を与えた場合に生成される補完画像１１との比較によって判断する。

【0092】

このように変形した態様を採用することにより、ワイパー位置１２１と画像１０との時間的な同期がとれていないことにより、ワイパー１２０が写り込む部分の除去が十分でない補完画像１１が生成されることを抑制することができる。

【0093】

４．第３実施形態
以下、第３実施形態に係る画像処理装置１００について説明する。ただし、第１実施形態に係る画像処理装置１００と重複する事項については適宜省略する。

【0094】

４－１．画像処理装置
第３実施形態に係る画像処理装置１００は、第１実施形態に係る画像処理装置１００に対して、所定期間過去の間に撮像された画像１０を記憶し、所定期間過去の間に撮像された画像１０を用いて、除去部分の補間を行うことを特徴とする。

【0095】

第３実施形態に係る画像処理装置１００の構成は、図５に示す第１実施形態に係る画像処理装置１００と同等であって良い。ただし、第３実施形態に係る画像処理装置１００は、所定期間過去の間に撮像された画像１０を、データ２１０としてメモリ２００に記憶するように構成されている。例えば、画像処理装置１００が走行映像を構成する画像１０を順次取得する場合に、画像処理装置１００は、所定期間過去の間の走行映像をデータ２１０としてメモリ２００に記憶する。

【0096】

３－２．処理
以下、第３実施形態に係る画像処理装置１００において、プロセッサ３００が画像処理プログラムに従って実行する処理について説明する。

【0097】

図１０は、第３実施形態に係る画像処理装置１００において、プロセッサ３００が画像処理プログラムに従って実行する処理の構成を示すブロック図である。

【0098】

プロセッサ３００は、画像１０を入力として、ワイパー検出処理３１０と、輪郭抽出処理３２０と画像補完処理３３０と、を実行し、補完画像１１を生成する。ワイパー検出処理３１０、輪郭抽出処理３２０、及び画像補完処理３３０は、画像処理プログラムの一部として記述される。

【0099】

ここで、プロセッサ３００は、カメラ１１０により連続的に撮像された画像１０について、画像処理プログラムに従う処理を順次実行する。

【0100】

ワイパー検出処理３１０、及び輪郭抽出処理３２０は、第１実施形態に係る画像処理装置１００と同等であって良い。

【0101】

画像補完処理３３０において、プロセッサ３００は、輪郭抽出処理３２０により抽出した輪郭１２２で囲まれるワイパー領域１２３を画像１０から除去し、除去部分を補完した補完画像１１を生成する。ここで、プロセッサ３００は、メモリ２００から所定期間過去の間に撮像された画像１０（過去画像）を取得し、過去画像を用いて除去部分を補完する。

【0102】

ワイパー１２０は継続的に動作していることから、今回処理の対象となる画像１０においてワイパー１２０が写り込む部分（除去部分）の環境は、所定期間過去の間に撮像した画像１０に写しだされていることが想定される。このため、第３実施形態に係る画像処理装置１００においては、過去画像を用いて除去部分を補完することにより、より正確に除去部分の補間をすることができる。

【0103】

除去部分の補間は、除去部分の環境が写し出されている過去画像を除去部分に当てはめるように行っても良いし、公知の画像補完技術により過去画像の情報を利用して行っても良い。

【0104】

図１０に示す処理の構成により実現されるアルゴリズムは、図７に示すフローチャートと同等であって良い。

【0105】

以上説明したように、第３実施形態に係る画像処理装置１００であっても、第１実施形態に係る画像処理装置１００と同等の機能を発揮することができる。また、画像補完処理３３０において、所定期間過去の間に撮像した画像１０を用いて除去部分の補間を行うことで、より正確な補完を実現することができる。

【0106】

５．その他の実施形態
第２実施形態に係る画像処理装置１００に対して、プロセッサ３００が、画像補完処理３３０において、所定期間過去の間に撮像された画像１０を用いて、除去部分の補間を行うように画像処理装置１００を構成することも可能である。

【0107】

６．効果
以上説明したように、本実施形態に係る画像処理装置１００及び画像処理方法によれば、ワイパー１２０の輪郭１２２を抽出し、ワイパー領域１２３の除去及び補完により補完画像１１を生成する。特に、本実施形態に係る画像処理装置１００では、動的輪郭モデルにより輪郭１２２を抽出する。これにより、ワイパー１２０の写り込み部分に対応した輪郭１２２を確実に抽出し、補完する領域をワイパー１２０が写り込む部分を除去することが可能な最小限の領域とする補完画像１１を生成することができる。

【0108】

延いては、遠隔運転技術、自動運転技術、運転支援技術等において、生成した補完画像１１を車両１の周囲環境を認識する情報として利用することにより、環境の認識性能の向上、運転の安全性の向上、マッピング精度の向上が期待できる。

【符号の説明】

【0109】

１ 車両
１０ 画像
１１ 補完画像
１００ 画像処理装置
１１０ カメラ
１２０ ワイパー
１２１ ワイパー位置
１２２ 輪郭
１２３ ワイパー領域
２００ メモリ
２１０ データ
２２０ プログラム
３００ プロセッサ（画像処理プログラム）
３１０ ワイパー検出処理
３２０ 輪郭抽出処理
３３０ 画像補完処理
３４０ ワイパー位置予測処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】