特許 7559934 画像処理装置、画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】画像処理装置、画像処理方法、プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240925BHJP

   G08G 1/00 20060101ALI20240925BHJP

   G06T 7/00 20170101ALI20240925BHJP

【ＦＩ】

G08G1/16 C

G08G1/00 D

G06T7/00 650A

【請求項の数】 8

(21)【出願番号】P 2023509985

(86)(22)【出願日】2021-03-30

(86)【国際出願番号】 JP2021013644

(87)【国際公開番号】W WO2022208685

(87)【国際公開日】2022-10-06

【審査請求日】2023-09-04

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】三島 吉弘

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２０２０－０２１１２１（ＪＰ，Ａ）

【文献】特開２００１－２３６５０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｇ０８Ｇ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

移動体に設けられた撮影装置が時間の経過に応じて繰り返し行った撮影に基づいて生成した各撮影画像を取得し、当該各撮影画像の各画素の、その撮影画像に写る複数の対象物に関する指定された複数の異なる領域クラスの何れに属するかを示す確率を算出する領域認識手段と、
前記移動体の前記各撮影画像の撮影タイミング間の移動量に基づいて前記撮影画像を水平方向に複数分割した各分割領域のうち、前記複数の対象物のうちの所定対象物の領域クラスに属する確率が閾値以上の前記所定対象物の明瞭性の高い分割領域を特定する分割領域特定手段と、
前記各撮影画像の前記所定対象物に関する表示の明瞭性の高い分割領域を組合せて明瞭画像を生成する明瞭画像生成手段と、
を備える画像処理装置。

【請求項2】

前記明瞭画像生成手段は、前記撮影画像に基づいて生成された鳥瞰画像における前記分割領域のうち、前記所定対象物に関する表示の明瞭性の高い分割領域を組合せ、その組み合わせにより生成された鳥瞰画像を前記撮影装置の視点に戻した明瞭画像を生成する
請求項１に記載の画像処理装置。

【請求項3】

前記移動体の前記各撮影画像の撮影タイミング間の移動量を取得する移動量取得手段と、
前記明瞭画像生成手段は、前記移動量に基づいて分割した前記分割領域を組み合わせて前記明瞭画像を生成する
請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記明瞭画像に写る移動体の位置を算出する位置算出手段と、
を備える請求項１から請求項３の何れか一項に記載の画像処理装置。

【請求項5】

前記移動体が車両であり、
前記撮影画像は前記車両の走行する道路の進行方向を撮影した画像であり、
前記所定対象物は前記道路の路面にペイントされた線である
請求項１から請求項４の何れか一項に記載の画像処理装置。

【請求項6】

前記分割領域特定手段は、前記撮影画像のフレームレートまたは前記移動体の速度に基づいて前記撮影画像を分割した分割領域を特定する
請求項１から請求項５の何れか一項に記載の画像処理装置。

【請求項7】

移動体に設けられた撮影装置が時間の経過に応じて繰り返し行った撮影に基づいて生成した各撮影画像を取得し、当該各撮影画像の各画素の、その撮影画像に写る複数の対象物に関する指定された複数の異なる領域クラスの何れに属するかを示す確率を算出し、
前記移動体の前記各撮影画像の撮影タイミング間の移動量に基づいて前記撮影画像を水平方向に複数分割した各分割領域のうち、前記複数の対象物のうちの所定対象物の領域クラスに属する確率が閾値以上の前記所定対象物の明瞭性の高い分割領域を特定し、
前記各撮影画像の前記所定対象物に関する表示の明瞭性の高い分割領域を組合せて明瞭画像を生成する
画像処理方法。

【請求項8】

画像処理装置のコンピュータを、
移動体に設けられた撮影装置が時間の経過に応じて繰り返し行った撮影に基づいて生成した各撮影画像を取得し、当該各撮影画像の各画素の、その撮影画像に写る複数の対象物に関する指定された複数の異なる領域クラスの何れに属するかを示す確率を算出する領域認識手段、
前記移動体の前記各撮影画像の撮影タイミング間の移動量に基づいて前記撮影画像を水平方向に複数分割した各分割領域のうち、前記複数の対象物のうちの所定対象物の領域クラスに属する確率が閾値以上の前記所定対象物の明瞭性の高い分割領域を特定する分割領域特定手段、
前記各撮影画像の前記所定対象物に関する表示の明瞭性の高い分割領域を組合せて明瞭画像を生成する明瞭画像生成手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラムに関する。

【背景技術】

【0002】

ドライブレコーダなどの車載装置により、日々、車両が走行している際の画像が生成されている。そのような撮影画像を用いて様々な解析を行うことができる。例えば、撮影画像に写る所定の対象物の検証などに利用する。一例としては、撮影画像が車両の走行する道路の進行方向を撮影した画像である場合には、道路標識の状態の後日の確認などに利用されてよい。なお関連技術として特許文献１が開示されている。特許文献１には、画像から道路標識を認識し、自動車両の制御に利用する車両制御情報を決定する技術が開示されている。このような画像中の対象物の認識においては画像が明瞭であることが望ましい。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０２０／０６６３０３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像中の所定対象物の明瞭さを向上することのできる画像処理技術が求められている。

【0005】

そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、画像処理装置は、移動体に設けられた撮影装置が時間の経過に応じて繰り返し行った撮影に基づいて生成した各撮影画像を取得し、当該各撮影画像の各画素の、その撮影画像に写る複数の対象物に関する指定された複数の異なる領域クラスの何れに属するかを示す確率を算出する領域認識手段と、前記撮影画像を水平方向に複数分割した各分割領域のうち、前記複数の対象物のうちの所定対象物の領域クラスに属する確率が閾値以上の前記所定対象物の明瞭性の高い分割領域を特定する分割領域特定手段と、前記各撮影画像の前記所定対象物に関する表示の明瞭性の高い分割領域を組合せて明瞭画像を生成する明瞭画像生成手段と、を備える。

【0007】

本発明の第２の態様によれば、画像処理方法は、移動体に設けられた撮影装置が時間の経過に応じて繰り返し行った撮影に基づいて生成した各撮影画像を取得し、当該各撮影画像の各画素の、その撮影画像に写る複数の対象物に関する指定された複数の異なる領域クラスの何れに属するかを示す確率を算出し、前記撮影画像を水平方向に複数分割した各分割領域のうち、前記複数の対象物のうちの所定対象物の領域クラスに属する確率が閾値以上の前記所定対象物の明瞭性の高い分割領域を特定し、前記各撮影画像の前記所定対象物に関する表示の明瞭性の高い分割領域を組合せて明瞭画像を生成する。

【0008】

本発明の第３の態様によれば、プログラムは、画像処理装置のコンピュータを、移動体に設けられた撮影装置が時間の経過に応じて繰り返し行った撮影に基づいて生成した各撮影画像を取得し、当該各撮影画像の各画素の、その撮影画像に写る複数の対象物に関する指定された複数の異なる領域クラスの何れに属するかを示す確率を算出する領域認識手段、前記撮影画像を水平方向に複数分割した各分割領域のうち、前記複数の対象物のうちの所定対象物の領域クラスに属する確率が閾値以上の前記所定対象物の明瞭性の高い分割領域を特定する分割領域特定手段、前記各撮影画像の前記所定対象物に関する表示の明瞭性の高い分割領域を組合せて明瞭画像を生成する明瞭画像生成手段、として機能させる。

【発明の効果】

【0009】

本発明によれば、画像中の所定対象物の明瞭さを向上することのできる画像処理技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態による画像処理システムの概要を示す図である。

【図2】本実施形態による画像処理装置のハードウェア構成図である。

【図3】本実施形態による画像処理装置の機能ブロック図である。

【図4】本実施形態による画像処理装置の処理概要を示す第一の図である。

【図5】本実施形態による画像処理装置の処理フローを示す図である。

【図6】本実施形態による画像処理装置の処理概要を示す第二の図である。

【図7】本実施形態による画像処理装置の最小構成を示す図である。

【図8】本実施形態による最小構成の画像処理装置の処理フローを示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。
図１は本実施形態による画像処理装置を含む画像処理システムの概要を示す図である。
図１で示すように画像処理システム１００は、画像処理装置１と、車両２０に搭載されたドライブレコーダ２とが、無線通信ネットワークや有線通信ネットワークを介して接続されることにより構成される。ドライブレコーダ２は、撮影機能が備わり、本実施形態においては、道路と当該道路を走行する前方車両を含み得る画像を生成する。ドライブレコーダ２は、撮影画像を画像処理装置１へ送信する。画像処理装置１はドライブレコーダ２から取得した撮影画像を記憶する。画像処理装置１は複数の車両２０のドライブレコーダ２から順次取得した撮影画像を用いて、所定の位置の明瞭画像を生成する。明瞭画像は所定対象物が明瞭に表示される画像である。

【0012】

図２は画像処理装置のハードウェア構成図である。
この図が示すように画像処理装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信モジュール１０５、データベース１０６等の各ハードウェアを備えたコンピュータである。

【0013】

図３は画像処理装置の機能ブロック図である。
画像処理装置１は電源が投入されると起動し、予め記憶する画像処理プログラムを実行する。これにより画像処理装置１には、取得部１１、領域認識部１２、分割領域特定部１３、明瞭画像生成部１４、移動量取得部１５、対象物推定部１６、位置算出部１７、記録部１８の各機能を発揮する。

【0014】

取得部１１は、ドライブレコーダ２が時間の経過に応じて繰り返し行った撮影に基づいて生成した各撮影画像を取得する。
領域認識部１２は、各撮影画像の各画素について、その撮影画像に写る複数の対象物に関する指定された複数の異なる領域クラスの何れに属するかを示す確率を算出する。
分割領域特定部１３は、撮影画像を水平方向に複数分割した各分割領域のうち、所定対象物の領域クラスに属する確率が閾値以上の所定対象物の明瞭性の高い分割領域を特定する。
明瞭画像生成部１４は、各撮影画像の所定対象物に関する表示の明瞭性の高い分割領域を組合せて明瞭画像を生成する。

【0015】

移動量取得部１５は、各画像の撮影タイミング間の移動量を取得する。
対象物推定部１６は、明瞭画像において所定対象物の領域を推定する。
位置算出部１７は、明瞭画像に写る移動体の位置を算出する。
記録部１８は、明瞭画像などの処理結果を記録する。

【0016】

図４は画像処理装置の処理概要を示す第一の図である。
図４には、撮影画像（４０）と、その撮影画像を用いた領域認識結果（４１）と、撮影画像の分割結果（４２）と、明瞭性の高い分割領域の特定結果（４３）と、明瞭画像の生成結果（４４）とを示す。

【0017】

画像処理装置１は、ドライブレコーダ２が時間の経過に応じて繰り返し行った撮影に基づいて生成した各撮影画像を取得する（４０）。画像処理装置１は、撮影画像に写る複数の対象物に関する指定された複数の異なる領域クラスの何れに属するかを示す確率を算出して各撮影画像の各画素が含まれる領域を認識する（４１）。画像処理装置１は、撮影画像を水平方向に複数分割した各分割領域を設定する（４２）。画像処理装置１は、各分割領域のうち本実施形態における所定対象物である道路にペイントされた白線の領域クラスに属する確率が閾値以上の白線の明瞭性の高い分割領域を複数の画像Ｆｎから特定する（４３）。画像処理装置１は各撮影画像の白線に関する表示の明瞭性の高い分割領域を組合せて明瞭画像を生成する（４４）。

【0018】

このような処理において、画像処理装置１は、撮影画像に基づいて生成された鳥瞰画像における分割領域のうち、所定対象物に関する表示の明瞭性の高い分割領域を組合せ、その組み合わせにより生成された鳥瞰画像を前記カメラの視点に戻した明瞭画像を生成するようにしてよい。

【0019】

また画像処理装置１は、車両２０の各画像の撮影タイミング間の移動量を取得し、当該移動量に基づいて分割した前記分割領域を組み合わせて明瞭画像を生成してよい。

【0020】

また画像処理装置１は、明瞭画像に基づいて移動体の鳥瞰画像における位置に応じた実空間上の位置を算出してよい。

【0021】

図５は画像処理装置の処理フローを示す図である。
以下、画像処理装置１の処理フローについて順を追って説明する。
車両２０が走行中、ドライブレコーダ２は、撮影により生成した撮影画像を含むセンシング情報を画像処理装置１へ出力する。なおセンシング情報には撮影時刻や、車両２０やドライブレコーダ２の識別子の情報が含まれてよい。センシング情報にはさらに、ドライブレコーダ２に備わるＧＰＳ機能が検出した位置情報（緯度、経度）や、ドライブレコーダ２が車両２０の速度センサから取得した速度が含まれてよい。センシング情報にはさらに、車両が走行している道路の識別子の情報が含まれてよい。センシング情報には、各撮影画像を撮影した際の車両２０の速度などの情報が含まれてもよい。撮影画像には道路、標識、道路上にペイントされた線や文字、建物、空などが写っている。画像処理装置１は取得したセンシング情報を、データベース１０６に順次記録する。つまりデータベース１０６は、車両２０やドライブレコーダ２の識別子、道路の識別子、撮影時刻、位置情報、速度、撮影画像を紐づけて記憶する。

【0022】

このような状況で後日、画像処理装置１は、明瞭画像の生成指示を取得する（ステップＳ１０１）。明瞭画像の生成指示には、車両２０やドライブレコーダ２の識別子、位置情報、道路の識別子、撮影時刻、などの処理対象となる所定位置の撮影画像を特定するための特定情報が含まれてよい。画像処理装置１の取得部１１は生成指示を取得する。取得部１１は生成指示に含まれる特定情報に基づいて、データベース１０６から複数の撮影画像を取得する。当該複数の撮影画像は、ドライブレコーダ２が車両２０の走行中に時間の経過に応じて繰り返し行った撮影に基づいて生成した各撮影画像である。取得部１１は取得した複数の撮影画像を領域認識部１２へ出力する。

【0023】

領域認識部１２は撮影画像（４０）を取得する。領域認識部１２は、撮影画像に写る被写体を、道路、標識、道路上にペイントされた線や文字、建物、空などの領域クラスごとに認識する（ステップＳ１０２）。領域認識部１２が撮影画像を複数の異なる対象を示す領域クラスごとに認識する技術は、公知の技術を用いてよい。この処理において、領域認識部１２は撮影画像の各画素の各領域クラスに属する確率を算出する。領域認識部１２は、撮影画像の各画素について、各領域のクラスに属する確率の情報を保持した領域認識情報を生成する。

【0024】

領域認識部１２は、各画素について各領域クラスに属する確率の情報を含む領域認識情報と撮影画像とを分割領域特定部１３へ出力する。分割領域特定部１３は、各撮影画像を、図４の（４２）で説明したように、水平方向に複数分割する（ステップＳ１０３）。撮影画像の分割による各領域を分割領域と呼ぶ。分割領域特定部１３は、複数の撮影画像における各分割領域における所定対象物の領域を特定する。具体的には分割領域特定部１３は、予め道路にペイントされた白線を所定対象物としてプログラムによって指示されている。白線は、例えば車道外側線、車線境界線、中央線などであってよい。分割領域特定部１３は、撮影画像中の各分割領域において、領域クラスのうち白線クラスの確率が所定の閾値以上の画素を特定する（ステップＳ１０４）。当該特定した画素の領域は、領域認識情報から得られた領域クラスに属する確率に基づいて特定した、白線の確率が高い撮影画像中の領域である。分割領域特定部１３は、撮影画像中の各分割領域において白線クラスの確率が所定の閾値以上の画素の範囲が大きい分割領域を特定する。

【0025】

分割領域特定部１３は、撮影画像中の各分割領域において１つまたは複数の分割領域を特定してよい。分割領域特定部１３は、撮影画像中の全ての分割領域において白線クラスの確率が所定の閾値以上の画素の範囲が小さいと判定した場合には、その撮影画像中から分割領域を特定しなくてもよい。なお、白線クラスの確率が所定の閾値以上の画素の範囲が大きいとは、例えば通常白線は、撮影画像において直線を示すが、分割領域特定部１３は、所定対象物が道路の路面の白線である場合には、その直線の長さが所定の閾値以上である場合に、白線クラスの確率が所定の閾値以上の画素の範囲が大きいと判定してよい。分割領域特定部１３は、所定対象物が他の対象物である場合には、当該対象物に応じた大きさや形状に基づいて、対象物の領域クラスの確率が所定の閾値以上の画素の範囲が大きいと判定してよい。分割領域特定部１３は、取得した複数の撮影画像について同様の処理を繰り返す。分割領域特定部１３が特定した分割領域は、白線クラスの確率が所定の閾値以上の画素の範囲が大きい画像領域であるため、対象物である白線が明瞭に写る画像領域である。分割領域特定部１３は、各撮影画像について白線が明瞭に写る分割領域を特定すると、特定した分割領域の情報と各撮影画像を明瞭画像生成部１４へ出力する。

【0026】

なお分割領域特定部１３は、明瞭画像が生成できるだけの量の分割領域の特定ができない場合には、明瞭画像の生成指示に含まれる位置情報に基づいて、その位置を所定の距離だけ進行方向に順に少しずらした各位置で撮影された複数の撮影画像の取得指示を取得部１１に出力する。この場合、取得部１１は新たに取得指示に基づいて再度複数の撮影画像を取得して、各処理部は、上記と同様の処理を繰り返してよい。これにより、分割領域特定部１３は、明瞭画像が生成できるだけの分割領域の特定を、少し異なる位置での撮影により生成された複数の撮影画像を用いて行うことができる。なお、明瞭画像が生成できるだけの量の分割領域の特定とは、例えば、本実施形態においては、撮影画像白線クラスの確率が所定の閾値以上の画素の範囲が大きい分割領域を組み合わせて、少なくとも撮影画像において道路クラスと特定された領域を覆うことができるだけの量の分割領域の特定を行うことであってよい。

【0027】

明瞭画像生成部１４は、特定された分割領域の情報が付与された撮影画像を取得する。明瞭画像生成部１４は、図４の（４３）で説明したように、各撮影画像において特定された分割領域の画像を統合する（ステップＳ１０４）。そして明瞭画像生成部１４は、白線が明瞭に写る明瞭画像（４４）を生成する（ステップＳ１０５）。

【0028】

図６は画像処理装置の処理概要を示す第二の図である。
図６では、分割領域特定部１３と明瞭画像生成部１４と移動量取得部１５の処理の詳細を示す。
図６には５つの第一撮影画像Ｆ１、第二撮影画像Ｆ２、第三撮影画像Ｆ３、第四撮影画像Ｆ４、第五撮影画像Ｆ５を変換した４つの撮影画像を示す。この撮影画像は、撮影装置から取得した撮影画像を鳥瞰画像に変換したものであってもよい。鳥瞰画像は撮影装置が生成した撮影画像の撮影視点を上空から地上真下方向の視点の画像に変換した場合の画像であり、公知の技術により画像変換を行う。以下、撮影画像が鳥瞰画像であるものとして説明する。移動量取得部１５は、第一撮影画像の撮影時刻から第二撮影画像の撮影時刻までに車両２０が移動した移動量ｘ１を算出する。同様に移動量取得部１５は、第二撮影画像の撮影時刻から第三撮影画像の撮影時刻までに車両２０が移動した移動量ｘ２、第三撮影画像の撮影時刻から第四撮影画像の撮影時刻までに車両２０が移動した移動量ｘ３を算出する。第四撮影画像の撮影時刻から第五撮影画像の撮影時刻までに車両２０が移動した移動量ｘ４を算出する。

【0029】

移動量ｘ１，ｘ２，ｘ３，ｘ４を総称して移動量ｘと呼ぶ。移動量取得部１５は連続した撮影による２つの撮影画像の撮影時刻の間に車両２０が移動した移動量ｘを、それら２つの撮影画像の撮影時刻に基づいて算出してよい。または、例えば移動量取得部１５は、オプティカルフロー法等の公知の技術を用いて、時系列に前後の撮影により生成された撮影画像の間における静止物の移動量を車両２０の移動量ｘとして算出してよい。または移動量取得部１５は、各撮影画像の撮影時刻から算出できる撮影間隔（時間）と、それら撮影画像に含まれる当該撮影画像が撮影された時の車両２０の平均速度とに基づいて、２つ撮影画像の撮影間隔に車両２０が移動した移動量ｘを算出してもよい。移動量取得部１５は２つの撮影画像の撮影位置情報の差異によりそれら２つ撮影画像の撮影間隔に車両２０が移動した移動量ｘを算出してもよい。移動量取得部１５は算出した移動量ｘ１，ｘ２，ｘ３，ｘ４を分割領域特定部１３へ出力する。

【0030】

分割領域特定部１３は第一撮影画像を分割する際に、移動量ｘ１，ｘ２，ｘ３，ｘ４の距離の比率に基づいて撮影画像の縦方向の幅を決定し、第一撮影画像Ｆ１の鳥瞰画像をその幅に応じて平行に４分割する。ここで車両２０の速度が一定である場合には、移動量ｘ１～ｘ４が同じとなり、第一撮影画像Ｆ１の縦方向の幅が均等に平行に４分割される。第一撮影画像Ｆ１の鳥瞰画像を４分割した各分割領域をＦ１－１，Ｆ１－２，Ｆ１－３，Ｆ１－４と呼ぶ。同様に分割領域特定部１３は第二撮影画像Ｆ２の鳥瞰画像を、分割領域Ｆ２－１，Ｆ２－２，Ｆ２－３，Ｆ２－４に分割する。また分割領域特定部１３は第三撮影画像Ｆ３の鳥瞰画像を、分割領域Ｆ３－１，Ｆ３－２，Ｆ３－３，Ｆ３－４に分割し、第三撮影画像Ｆ３の鳥瞰画像を、分割領域Ｆ３－１，Ｆ３－２，Ｆ３－３，Ｆ３－４に分割し、第四撮影画像Ｆ４の鳥瞰画像を、分割領域Ｆ４－１，Ｆ４－２，Ｆ４－３，Ｆ４－４に分割する。なお、分割領域Ｆ３－３，Ｆ４－２の特定には、第五撮影画像Ｆ５と図示しない第六撮影画像Ｆ６の撮影間隔に車両２０が移動した移動量ｘ５を用い、分割領域Ｆ３－４，Ｆ４－３の特定には、図示しない第六撮影画像Ｆ６と図示しない第七撮影画像Ｆ７の撮影間隔に車両２０が移動した移動量ｘ６を用い、分割領域Ｆ４－４の特定には、図示しない第七撮影画像Ｆ７と図示しない第八撮影画像Ｆ８の撮影間隔に車両２０が移動した移動量ｘ７を用いる。上述の例では４分割の場合を例示して説明したが、カメラ撮影間隔（フレームレート）や移動速度に応じて適切な分割数に変更してもよい。例えば分割領域特定部１３は、フレームレートや車両２０の移動速度を、分割数算出式に入力し、その結果得られた分割数に基づいて各撮影画像を分割してよい。この処理は、分割領域特定部１３が、撮影画像のフレームレートまたは車両２０の速度に基づいて撮影画像を分割した分割領域を特定する処理の一態様である。

【0031】

分割領域特定部１３は、第一撮影画像Ｆ１に設定された分割領域Ｆ１－１，Ｆ１－２，Ｆ１－３，Ｆ１－４のうち、白線が明瞭に写る分割領域を上述した処理により特定する。分割領域特定部１３は、第二撮影画像Ｆ２に設定された分割領域Ｆ２－１，Ｆ２－２，Ｆ２－３，Ｆ２－４のうち、白線が明瞭に写る分割領域を上述した処理により特定する。分割領域特定部１３は、第三撮影画像Ｆ３に設定された分割領域Ｆ３－１，Ｆ３－２，Ｆ３－３，Ｆ３－４のうち、白線が明瞭に写る分割領域を上述した処理により特定する。分割領域特定部１３は、第四撮影画像Ｆ４に設定された分割領域Ｆ４－１，Ｆ４－２，Ｆ４－３，Ｆ４－４のうち、白線が明瞭に写る分割領域を上述した処理により特定する。

【0032】

ここで分割領域特定部１３は、第一撮影画像Ｆ１において分割領域Ｆ１－１を、第二撮影画像Ｆ２において分割領域Ｆ２－１を、第三撮影画像Ｆ３において分割領域Ｆ３－１を、第四撮影画像Ｆ４において分割領域Ｆ４－１を、それぞれ白線が明瞭に写る分割領域として特定したとする。この場合、明瞭画像生成部１４は、分割領域Ｆ１－１、分割領域Ｆ２－１、分割領域Ｆ３－１、分割領域Ｆ４－１を縦方向に結合して明瞭画像Ｆ’を生成する。明瞭画像生成部１４は明瞭画像Ｆ’の鳥瞰画像を、ドライブレコーダ２に備わるカメラの視点に視点変換した明瞭画像を生成する。視点変換の技術は公知の技術を用いてよい。

【0033】

なお上述の例では撮影画像の鳥瞰画像を生成し、その鳥瞰画像を用いて分割領域の設定と、白線が明瞭に写る分割領域の特定を行う例を示しているが、画像処理装置１は鳥瞰画像を生成せずに、撮影画像のままで同様に分割領域の設定と、白線が明瞭に写る分割領域の特定を行うようにしてもよい。

【0034】

また上述の処理では、画像処理装置１は、明瞭画像Ｆ’を生成するために、第一撮影画像Ｆ１～第四撮影画像Ｆ４においてそれぞれ特定された分割領域の情報を用いているが、第一撮影画像Ｆ１よりも前の撮影により生成された撮影画像や、第四撮影画像Ｆ４よりも後の撮影により生成された撮影画像の各分割領域を用いて、明瞭画像Ｆ’を生成してもよい。

【0035】

明瞭画像生成部１４は生成した明瞭画像を対象物推定部１６へ出力する。明瞭画像に含まれる各分割領域の領域認識情報には明瞭画像の各画素についての各領域クラスの確率情報が含まれているが、対象物推定部１６は明瞭画像において再度、各画素の領域クラスごとの確率を算出し明瞭画像の領域認識情報を生成してよい。そして対象物推定部１６は、白線の領域クラスの確率が所定値以上となる画素を範囲に含む白線領域の画像の色を強調した明瞭画像を生成する。対象物推定部１６は明瞭画像を記録部１８へ出力する。記録部１８は明瞭画像をデータベース１０６に記録する。これにより、白線が明瞭に写る明瞭画像を生成することができる。対象物推定部１６は明瞭画像を位置算出部１７へ出力する。

【0036】

位置算出部１７は、明瞭画像に写る他の車両の白線との距離を算出する。例えば、位置算出部１７は、明瞭画像において車両が写っているかを判定する。位置算出部１７は、車両の機械学習によって生成した車両判定モデルに明瞭画像を入力してその結果に基づいて明瞭画像において車両が写っているかを判定してよい。または位置算出部１７は、明瞭画像における領域クラスの情報として車両の領域クラスの確率が高い範囲がある場合に、明瞭画像に車両が写っていると判定してよい。位置算出部１７は明瞭画像における車両の範囲を、車両の領域クラスの確率が高い画素の範囲に基づいて特定する。または位置算出部１７はパターンマッチングによって明瞭画像における車両の範囲を特定してもよい。位置算出部１７は明瞭画像における車両の範囲と白線との間の画素数に基づいて、車両と白線との距離を算出する。記録部１８は明瞭画像と、当該明瞭画像に写る車両と白線との距離の情報とを紐づけてデータベース１０６に記録する。

【0037】

以上の処理によれば、車両２０のドライブレコーダ２の撮影により生成された撮影画像に基づいて、所定対象物である白線が明瞭に写る明瞭画像を生成することができる。

【0038】

上述の処理によれば、所定対象物が白線である場合の例について説明したが、所定対象物は、道路上の標識、ガードレール、などの他の道路附帯物であってよい。

【0039】

上述の処理において、画像処理装置１が明瞭画像を生成する処理について説明したが、車両２０に備わるドライブレコーダ２やその他の車載装置が上述の画像処理装置１と同様に撮影画像から明瞭画像を生成するようにしてもよい。

【0040】

図７は画像処理装置の最小構成を示す図である。
図８は最小構成の画像処理装置の処理フローを示す図である。
画像処理装置１は少なくとも分割領域特定手段７１と、明瞭画像生成手段７２とを備えればよい。
分割領域特定手段７１は、撮影画像を水平方向に撮影画像を複数分割した各分割領域のうち、複数の対象物のうちの所定対象物の領域クラスに属する確率が閾値以上の所定対象物の明瞭性の高い分割領域を特定する（ステップＳ８０１）。
明瞭画像生成手段７２は、各撮影画像の所定対象物に関する表示の明瞭性の高い分割領域を組合せて明瞭画像を生成する（ステップＳ８０２）。

【0041】

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0042】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0043】

１・・・画像処理装置
２・・・ドライブレコーダ
１１・・・取得部
１２・・・領域認識部（領域認識手段）
１３・・・分割領域特定部（分割領域特定手段）
１４・・・明瞭画像生成部（明瞭画像生成手段）
１５・・・移動量取得部（移動量取得手段）
１６・・・対象物推定部
１７・・・位置算出部（位置算出手段）
１８・・・記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】