特開 2023-149233 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023149233

(43)【公開日】2023-10-13

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20231005BHJP

   G06T 7/00 20170101ALI20231005BHJP

   G08G 1/14 20060101ALI20231005BHJP

   H04N 7/18 20060101ALI20231005BHJP

【ＦＩ】

G06T7/60 200J

G06T7/00 650A

G08G1/14 A

H04N7/18 J

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022057688

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】大月 龍

(72)【発明者】

【氏名】岡部 吉正

(72)【発明者】

【氏名】佐藤 紘史

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FD03

5C054FE17

5C054HA30

5H181AA01

5H181CC04

5H181CC27

5H181FF04

5H181FF27

5H181FF33

5H181KK01

5H181KK03

5H181KK04

5H181KK08

5L096BA04

5L096CA05

5L096DA02

5L096EA26

5L096FA03

5L096JA11

(57)【要約】

【課題】俯瞰画像から適切に駐車枠線を検知する。
【解決手段】本開示の画像処理装置では、車両の周辺を撮影した撮影画像を、車両の上方の視点からの画像に変換した俯瞰画像を生成し、俯瞰画像から直線を検出し、検出した直線から、カメラの位置に基づいて放射状に延びる直線を除去して、残った直線から駐車枠を抽出する。このように、画像処理装置は、車両の移動量に基づいて補正した特徴量と、後の時点の俯瞰画像の直線の特徴量とを比較して、対応しない直線を除去して駐車枠を抽出するので、適切に駐車枠を抽出することができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両の周辺を撮影した撮影画像を、前記車両の上方の視点からの画像に変換した俯瞰画像を生成する生成部と、
前記俯瞰画像から直線を検出する検出部と、
前記検出部により検出された直線のうち、所定の除去条件に合致する直線を除いた直線に基づいて駐車枠を抽出する駐車枠抽出部と、
を備える画像処理装置。

【請求項2】

前記駐車枠抽出部は、前記検出部により検出された直線のうち、撮影基準箇所に基づいて放射状に延びる直線を、前記所定の除去条件に合致する直線とする、請求項１に記載の画像処理装置。

【請求項3】

前記生成部は、車両の移動中における第１時点の第１撮影画像と、前記第１時点より後の第２時点の第２撮影画像とのそれぞれの撮影画像の俯瞰画像を生成し、
前記検出部は、前記第１撮影画像に基づく俯瞰画像および前記第２撮影画像に基づく俯瞰画像のそれぞれから直線を検出し、各直線の特徴量を算出し、
前記駐車枠抽出部は、前記第１撮影画像に基づく俯瞰画像の直線の特徴量を前記車両の移動量に基づいて補正した結果に対応する、前記第２撮影画像に基づく俯瞰画像の直線の特徴量がない直線を、前記所定の除去条件に合致する直線とする、請求項１に記載の画像処理装置。

【請求項4】

前記生成部は、前記車両の前後方向を撮像した第３撮影画像と、前記車両の左右方向を撮像した撮影画像の第４撮影画像とのそれぞれの撮影画像の俯瞰画像を生成し、
前記検出部は、前記第３撮影画像に基づく俯瞰画像および前記第４撮影画像に基づく俯瞰画像のそれぞれから直線を検出し、各直線の特徴量を算出し、
前記駐車枠抽出部は、前記第３撮影画像に基づく俯瞰画像の直線の特徴量に対応する、前記第４撮影画像に基づく俯瞰画像の直線の特徴量がない直線を、前記所定の除去条件に合致する直線とする、請求項１に記載の画像処理装置。

【請求項5】

前記駐車枠抽出部は、前記検出部により検出された直線のうち、前記撮影画像から検出された立体物の領域に対応する直線を、前記所定の除去条件に合致する直線とする、請求項１に記載の画像処理装置。

【請求項6】

車両の周辺を撮影した撮像画像から立体物の領域を削除した画像を、前記車両の上方の視点からの画像に変換した俯瞰画像を生成する生成部と、
前記俯瞰画像から直線を検出する検出部と、
前記検出部により検出された直線に基づいて駐車枠を抽出する駐車枠抽出部と、
を備える画像処理装置。

【請求項7】

車両の周辺を撮影した画像を処理する画像処理装置に用いられる画像処理方法であって、
前記車両の周辺を撮影した撮影画像を、前記車両の上方の視点からの画像に変換した俯瞰画像を生成する生成ステップと、
前記俯瞰画像から直線を検出する検出ステップと、
前記検出ステップで検出した直線のうち、所定の除去条件に合致する直線を除いた直線に基づいて駐車枠を抽出する駐車枠抽出ステップと、
を含む画像処理方法。

【請求項8】

車両の周辺を撮影した画像を処理する画像処理装置に用いられる画像処理方法であって、
前記車両の周辺を撮影した撮像画像から立体物の領域を削除した画像を、前記車両の上方の視点からの画像に変換した俯瞰画像を生成する生成ステップと、
前記俯瞰画像から直線を検出する検出ステップと、
前記検出ステップで検出した直線に基づいて駐車枠を抽出する駐車枠抽出ステップと、
を含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

近年、駐車支援装置において、カメラ映像を俯瞰映像に変換して、直線を抽出することで駐車枠線を検知する技術がある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－００１３６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラ映像に他車両や標識などの立体物が含まれている場合、俯瞰映像に変換すると、当該立体物部分を駐車枠線と誤検知する可能性がある。

【0005】

本開示は、俯瞰画像から適切に駐車枠線を検知することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る画像処理装置は、車両の周辺を撮影した撮影画像を、車両の上方の視点からの画像に変換した俯瞰画像を生成する生成部と、俯瞰画像から直線を検出する検出部と、検出部により検出された直線のうち、所定の除去条件に合致する直線を除いた直線に基づいて駐車枠を抽出する駐車枠抽出部と、を備える。

【発明の効果】

【0007】

本開示に係る画像処理装置によれば、俯瞰画像から適切に駐車枠線を検知することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１実施形態にかかる画像処理装置を備える車両の一例を示す模式図である。

【図2】図２は、第１実施形態にかかる画像処理装置を備える車両の構成の一例を示すブロック図である。

【図3】図３は、第１実施形態にかかる俯瞰画像の一例を示す図である。

【図4】図４は、第１実施形態にかかる駐車枠検出処理手順を示すフローチャートである。

【図5A】図５Ａは、第２実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図5B】図５Ｂは、第２実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図5C】図５Ｃは、第２実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図5D】図５Ｄは、第２実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図5E】図５Ｅは、第２実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図6】図６は、第２実施形態にかかる駐車枠検出処理手順を示すフローチャートである。

【図7A】図７Ａは、第３実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図7B】図７Ｂは、第３実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図7C】図７Ｃは、第３実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図7D】図７Ｄは、第３実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図7E】図７Ｅは、第３実施形態にかかる駐車枠線を検出する方法を説明するための図である。

【図8】図８は、第３実施形態にかかる駐車枠検出処理手順を示すフローチャートである。

【図9】図９は、第４実施形態にかかる駐車枠検出処理手順を示すフローチャートである。

【図10】図１０は、第５実施形態にかかる駐車枠検出処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

（第１実施形態）
実施形態について図面を用いて説明する。

【0010】

（車両の構成例）
図１は、実施形態にかかる画像処理装置１００を備える車両１の一例を示す模式図である。図１（ａ）は車両１の側面図であり、図１（ｂ）は車両１の上面図である。

【0011】

図１に示すように、車両１は、車体２と、車体２の車長方向（±Ｙ方向）に沿って車体２に配置された２対の車輪３（１対のフロントタイヤ３ｆ及び１対のリアタイヤ３ｒ）とを備える。対になる２つのフロントタイヤ３ｆ及び対になる２つのリアタイヤ３ｒは、それぞれ車体２の車幅方向（±Ｙ方向に直交する±Ｘ方向）に沿って配置される。

【0012】

車両１は、車体２の±Ｘ方向の両端部であって、車体２の±Ｙ方向のフロントタイヤ３ｆ寄り、かつ、車高方向（±Ｘ方向および±Ｙ方向に直交する±Ｚ方向）における所定の高さ位置に１対のドアミラー４を備える。

【0013】

車両１は、車体２の内部に複数の座席５ａ～５ｄを備える。座席５ａ，５ｂは、フロントタイヤ３ｆ寄りに、±Ｘ方向に並んで配置される。座席５ｃ，５ｄは、リアタイヤ３ｒ寄りに、±Ｘ方向に並んで配置される。座席５ｃは座席５ｂの背後に配置され、座席５ｄは座席５ａの背後に配置される。なお、車両１が備える座席５の数および配置は図１の例に限られない。

【0014】

車両１は、車体２の所定の端面に複数のカメラ６ｓ，６ｆ，６ｒを備える。撮像部としてのカメラ６ｓ，６ｆ，６ｒは、可視光カメラ、より広域の光を検出可能なＣＣＤカメラ、またはＣＭＯＳカメラ等である。カメラ６ｓ，６ｆ，６ｒは、広角レンズを備えていることが好ましい。

【0015】

カメラ６ｓは、２つのドアミラー４のそれぞれに、例えばレンズを下方に向けて配置される。このように、カメラ６ｓは、車両１の左右方向を撮影するカメラである。カメラ６ｆは、車体２のフロントタイヤ３ｆ側の端面に、例えばレンズを斜め下方に向けて配置される。このように、カメラ６ｆは、車両１の前後方向を撮影するカメラである。カメラ６ｒは、車体２のリアタイヤ３ｒ側の端面に、例えばレンズを斜め下方に向けて配置される。カメラ６ｓ，６ｆ，６ｒにより、路面を含む車体２の周囲の画像が撮像される。

【0016】

なお、本明細書では、車体２のフロントタイヤ３ｆ側の端面を前面と称することがある。また、車体２のリアタイヤ３ｒ側の端面を後面と称することがある。また、車体２の±Ｘ方向の両端面を側面と称することがある。また、車両１内のいずれかの座席５ａ～５ｄに着座した状態で、右側にあたる側面を右側面、左側にあたる側面を左側面と称することがある。

【0017】

また、本明細書では、車体２の左側面に向かう方向を＋Ｘ方向とし、右側面に向かう方向を－Ｘ方向とする。また、車体２の前面側に向かう方向を＋Ｙ方向とし、後面側に向かう方向を－Ｙ方向とする。また、車体２の上方に向かう方向を＋Ｚ方向とし、下方（路面側）に向かう方向を－Ｚ方向とする。

【0018】

また、本明細書では、車両１が理想的な平面を有する路面に停車しているとき、車両１の±Ｘ方向の軸（Ｘ軸）及び±Ｙ方向の軸（Ｙ軸）は路面と平行であり、車両１の±Ｚ方向の軸（Ｚ軸）は路面に対する法線と平行であるものとする。

【0019】

車両１は、±Ｙ方向に沿って配置された２対の車輪３を用いて走行することが可能である。この場合、２対の車輪３が配置される±Ｙ方向が車両１の走行方向（移動方向）となり、ギアの切り替え等により前進（＋Ｙ方向へ走行）または後退（－Ｙ方向へ走行）することができる。また、操舵により右左折することもできる。

【0020】

画像処理装置１００は、例えば車両１に搭載され、カメラ６ｓ，６ｆ，６ｒからの画像に所定の変換を施す。画像変換は、例えばカメラ６ｓ，６ｆ，６ｒが斜め上から撮像した路面の画像を真上からの画像（俯瞰画像）となるように視点を変換する処理等である。これにより、駐車支援処理等の所定の処理に画像を利用することができる。このように、俯瞰画像は、車両１の上方の視点からの画像に変換した画像である。

【0021】

（画像処理装置の構成例）
図２は、実施形態にかかる画像処理装置１００を備える車両１の構成の一例を示すブロック図である。図２に示すように、車両１は、画像処理装置１００及び駐車支援装置２００を備える。

【0022】

画像処理装置１００は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｔｒｏｌ Ｕｎｉｔ）１０、入力装置３１、及び出力装置３２を備える。ただし、画像処理装置１００に、カメラ６（図１のカメラ６ｓ，６ｆ，６ｒ）、シートベルト着脱センサ７、及び着座センサ８が含まれてもよい。駐車支援装置２００は、ＥＣＵ１０及び車両制御装置２０を備える。ただし、駐車支援装置２００に、カメラ６、入力装置３１、及び出力装置３２が含まれてもよい。

【0023】

ＥＣＵ１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３を備えたコンピュータとして構成されている。ＥＣＵ１０に、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等から構成される記憶装置１４が内蔵されていてもよい。また、ＥＣＵ１０は、各種センサ等と検出信号および各種情報の送受信が可能なＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）ポート１５を備えている。

【0024】

ＥＣＵ１０のＲＡＭ１２、ＲＯＭ１３、記憶装置１４、及びＩ／Ｏポート１５の各構成は、例えば内部バスを介してＣＰＵ１１と各種情報の送受信が可能に構成されている。

【0025】

ＥＣＵ１０は、ＲＯＭ１３にインストールされているプログラムをＣＰＵ１１が実行することにより、駐車区画の検出処理および駐車区画への駐車経路の算出処理等の駐車支援処理を制御する。また、ＥＣＵ１０は、ＲＯＭ１３にインストールされているプログラムをＣＰＵ１１が実行することにより、上述のカメラ６からの画像を変換する等の画像処理を制御する。変換された画像は、例えば駐車支援処理における駐車区画の検出処理に用いられる。また、ＥＣＵ１０は、変換した画像を後述の出力装置３２に出力する処理を制御する。

【0026】

記憶装置１４は、例えばキャリブレーションデータ（不図示）及びマップデータ１４ａを記憶する。

【0027】

キャリブレーションは、車両１の製造時に生じるカメラ６の取り付け誤差等をキャンセルするため、例えば車両１の工場出荷の際などにカメラ６に対して行われる。キャリブレーションを行うことで、カメラ６の取り付け時の姿勢に若干のばらつきがあっても、路面に対する法線および路面に平行な平面、並びに路面の高さ位置（垂直方向における位置）が、個々のカメラ６の視点（画像）において共通に定まる。キャリブレーションデータには、カメラ６の画像処理時に基準となる路面に対する法線および路面に平行な平面、並びに路面の高さ位置等の情報が含まれる。

【0028】

マップデータ１４ａは、車両１内の複数の座席５（例えば図１の座席５ａ～５ｄ）に対する乗員の着座状況を示す乗員配置情報を含む。乗員の着座状況とは、例えば車両１内の乗員数および複数の座席５への着座位置、つまり、乗員の配置である。異なる乗員数および乗員配置を示す複数の乗員配置情報のそれぞれには、ＥＣＵ１０がカメラ６からの画像を変換するときに用いる画像変換用パラメータが紐づけられている。それぞれの画像変換用パラメータは、自身が紐づけられている乗員配置情報の乗員数および乗員配置に応じて、異なる設定値を有する。

【0029】

車両制御装置２０は、操舵アクチュエータ２１、舵角センサ２２、アクセルセンサ２３、ブレーキセンサ２４、及び車速センサ２５を備える。車両制御装置２０は、舵角センサ２２、アクセルセンサ２３、ブレーキセンサ２４、及び車速センサ２５等から車両１の各部の状態を示す情報を取得する。これらの情報に基づき、車両制御装置２０は、運転者によるアクセル及びブレーキ等の操作を受けつつ、操舵アクチュエータ２１を制御することで、例えば上述の駐車区画に車両１を駐車させる駐車支援を行う。

【0030】

シートベルト着脱センサ７は、乗員が車両１の座席５に着座したことを検出するセンサである。シートベルト着脱センサ７は、各々の座席５に設けられたシートベルトにそれぞれ取り付けられ、自身が取り付けられたシートベルトの着脱を検出する。シートベルト着脱センサ７は、シートベルトの装着を検出することで、その座席５への乗員の着座を検出する。

【0031】

着座センサ８は、例えば荷重を検出する荷重センサ等であり、車両１内の各々の座席５にそれぞれ取り付けられ、自身が取り付けられた座席５に加わる重量を検出する。すなわち、着座センサ８によっても、乗員が所定の座席５に着座したことを検出することができる。

【0032】

ＥＣＵ１０は、例えばシートベルト着脱センサ７からの信号を受け取って、車両１内の乗員数および着座位置を判定する。また、ＥＣＵ１０は、上述のマップデータ１４ａの複数の乗員配置情報の中から、判定した乗員数および着座位置と合致する乗員配置情報を選択することで、選択した乗員配置情報に紐づけられた画像変換用パラメータを記憶装置１４から読み出して画像変換に用いる。

【0033】

ただし、車両１内の乗員数および着座位置の判定に、シートベルト着脱センサ７に替えて、あるいは加えて、着座センサ８からの信号が用いられてもよい。

【0034】

車両制御装置２０が備える操舵アクチュエータ２１、舵角センサ２２、アクセルセンサ２３、ブレーキセンサ２４、及び車速センサ２５等の各構成、並びにカメラ６、シートベルト着脱センサ７、及び着座センサ８と、ＥＣＵ１０のＩ／Ｏポート１５とはバスにより接続される。これらを接続するバスは、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）バス等であってよい。

【0035】

表示部としての出力装置３２は、例えば車両１内に搭載され、車両１内の乗員が視認することが可能な液晶モニタ等の表示装置である。表示装置には、例えばカメラ６により撮像され、ＥＣＵ１０により変換された画像等が表示される。つまり、出力装置３２を備える画像処理装置１００は、処理した画像を出力する画像出力装置としても機能する。

【0036】

入力装置３１は、例えば液晶モニタと一体に成形されたタッチ式パネル等であり、車両１内の乗員による入力操作を受け付ける。乗員は、入力装置３１を介して画像処理装置１００に画像の表示を指示したり、駐車支援装置２００に駐車支援処理の開始を指示したりすることができる。

【0037】

なお、入力装置３１及び出力装置３２の構成は上記に限られず、また、入力装置３１と出力装置３２とが別体であってもよい。

【0038】

画像処理装置１００は、カメラ６からの画像を俯瞰画像に変換して、当該俯瞰画像から直線を抽出して、抽出した直線に基づいて駐車枠を特定する。画像中に駐車スペースだけでなく、他車両や標識等の立体物も含まれている場合を考える。この場合、立体物の部分は、俯瞰画像では直線となる。この結果、立体物による直線を駐車枠線と誤検出してしまう可能性がある。

【0039】

そこで、画像処理装置１００は、立体物に起因する直線を駐車枠線候補から除外して、除外した後に残った直線から駐車枠を抽出する。

【0040】

第１実施形態にかかる画像処理装置１００は、カメラ６からの画像を俯瞰画像に変換した結果、撮影基準箇所に基づいて放射状に延びる直線を、駐車枠線候補から除外して、駐車枠線を検出する。

【0041】

ここで、画像処理装置１００が撮像した画像を俯瞰画像に変換した例を図３に示す。図３は、俯瞰画像の一例を示す図である。図３に示すように俯瞰画像には、直線Ｌ１～Ｌ４等の複数の直線が含まれる。画像処理装置１００は、俯瞰画像から直線Ｌ１～Ｌ４等の直線を検出する。立体物を含む撮影画像の場合、当該撮像画像の俯瞰画像では、立体物部分がカメラ６の位置に基づき放射状に延びる直線になる傾向がある。この点を考慮して、画像処理装置１００は、放射状に延びる直線を駐車枠線候補から除外して、駐車枠線を検出する。

【0042】

図３の例の場合、画像処理装置１００は、直線Ｌ３および直線Ｌ４は、放射状に延びており、これらの直線を駐車枠線候補から除外する。画像処理装置１００は、対象直線の切片がカメラ６の位置と一致しているか否かを判定することで放射状に延びる直線を検出する。また、画像処理装置１００は、放射状に延びる直線を検出する方法として、対象直線と平行または垂直に交わる直線が無い場合に放射状に延びる直線であると判定してもよい。

【0043】

続いて、第１の実施形態にかかる駐車枠を検出する処理手順を図４に示すフローチャートを用いて説明する。図４は、第１の実施形態にかかる駐車枠を検出する処理手順を示すフローチャートである。

【0044】

画像処理装置１００は、カメラ６から取得した撮像画像（カメラ画像）を俯瞰画像（俯瞰映像）に変換する（ステップＳ１）。続いて、画像処理装置１００は、俯瞰画像から直線を検出してリスト化する（ステップＳ２）。続いて、画像処理装置１００は、俯瞰画像中の立体物に起因する直線を判定するループ処理を実行する（ステップＳ３）。

【0045】

画像処理装置１００は、リスト化した直線のそれぞれについてループ処理を実行する。また、当該ループ処理では、ステップＳ４～ステップＳ６の処理を実行する。ステップＳ４では、対象となる直線の切片がカメラ位置と一致するか否かを判定して、一致する場合（ステップＳ４：Ｙｅｓ）、対象となる直線をリストから削除して（ステップＳ５）、ステップＳ６へ進む。すなわち、画像処理装置１００は、当該直線が放射状に延びる直線と判定する。対象となる直線の切片がカメラ位置と一致するか否かを判定して、一致しない場合（ステップＳ４：Ｎｏ）、対象となる直線をリストから削除せずにステップＳ６へ進む。

【0046】

画像処理装置１００は、リストの直線に、ステップＳ４の判定処理を実行していない直線がある場合（ステップＳ６：Ｙｅｓ）、ステップＳ４に進み、未判定の直線について判定処理を実行する。また、リストの直線に、ステップＳ４の判定処理を実行していない直線がない場合（ステップＳ６：Ｎｏ）、ループ処理を終了し、ステップＳ７へ進む。ステップＳ７で、画像処理装置１００は、リストに残った直線を用いて駐車枠を検出する（ステップＳ７）。

【0047】

第１実施形態にかかる画像処理装置１００は、車両１の周辺を撮影した撮影画像を、車両１の上方の視点からの画像に変換した俯瞰画像を生成し、俯瞰画像から直線を検出し、検出した直線から、カメラ６の位置に基づいて放射状に延びる直線を除去して、残った直線から駐車枠を抽出する。

【0048】

このように、画像処理装置１００は、俯瞰画像から検出した直線のうち、立体物に起因する直線を除去して、駐車枠の直線を抽出するので、より適切に駐車枠を抽出することができる。

【0049】

（第２実施形態）
第２実施形態にかかる画像処理装置１００は、車両１の移動中における複数の撮影画像をそれぞれ変換した俯瞰画像を比較することで立体物に起因する直線を特定して、特定した直線を駐車枠線候補から除外して、除外した後に残った直線から駐車枠を抽出する。

【0050】

ここで、図５Ａ～図５Ｅを用いて、第２実施形態にかかる画像処理装置１００が、駐車枠線を検出する方法を説明する。図５は、第２実施形態にかかる画像処理装置１００が駐車枠線を検出する方法を説明するための図である。

【0051】

図５Ａは、移動中のある時点の車両１と立体物７０と駐車枠７１との位置関係を示す。車両１は、図５Ａに示す位置でカメラ６により撮影する。画像処理装置１００は、撮影した画像を俯瞰画像に変換する。図５Ｂは、図５Ａの位置で撮影した画像に基づいた俯瞰画像の例である。画像処理装置１００は、俯瞰画像から直線Ｌ１１～Ｌ１５を検出する。

【0052】

直線Ｌ１１は、立体物７０に対応する直線である。直線Ｌ１２～直線Ｌ１５は、駐車枠７１に対応する直線である。画像処理装置１００は、検出した直線の特徴量を算出する。ここでいう、特徴量は、直線の位置、角度、長さである。

【0053】

図５Ｃは、図５Ａの時点より後の時点における車両１と立体物７９と駐車枠７１との位置な関係を示す。車両１は、図５Ａに示した位置から右斜め方向に移動している。画像処理装置１００は、車両１の移動量を取得する。画像処理装置１００は、例えば、車両制御装置２０の各種装置や図示しないＧＰＳ受信機による現在位置情報に基づいて移動量を取得する。

【0054】

画像処理装置１００は、移動量に基づき図５Ｃの時点で撮影した撮影画像を俯瞰画像に変換した場合に抽出した直線を推定する。画像処理装置１００は、図５Ｂの俯瞰画像の直線の特徴量を移動量に基づいて補正することで、上記推定結果とする。ここで、図５Ｄに、図５Ｂの俯瞰画像の直線の特徴量を移動量に基づいて補正した結果を示す。

【0055】

図５Ｄに示す直線Ｌ１６～Ｌ２０は、図５Ｂに示した直線Ｌ１１～Ｌ１５のそれぞれの特徴量を移動量に基づいて補正したものである。

【0056】

画像処理装置１００は、図５Ｃの時点における撮影した画像を俯瞰画像に変換する。図５Ｅは、図５Ｃの位置で撮影した画像に基づいた俯瞰画像の例である。画像処理装置１００は、俯瞰画像から直線Ｌ２１～Ｌ２５を検出する。画像処理装置１００は、直線Ｌ２１～Ｌ２５のそれぞれの特徴量を算出する。そして、画像処理装置１００は、図５Ｄに示す直線Ｌ１６～Ｌ２０の特徴量と、図５Ｅに示す直線Ｌ２１～直線Ｌ２５の特徴量とを比較する。画像処理装置１００は、直線Ｌ１７～Ｌ２０が、それぞれ直線Ｌ２２～Ｌ２５と対応すると判定する。そして、画像処理装置１００は、直線Ｌ１６が、直線Ｌ２１と角度が異なるので対応しないと判定する。また、画像処理装置１００は、さらに他の直線Ｌ２２～Ｌ２５とも対応しないと判定する。画像処理装置１００は、図５Ｃの直線Ｌ１６に対応する直線Ｌ１１を駐車枠線候補から除外して、除外した後に残った直線Ｌ１２～Ｌ１６から駐車枠を抽出する。

【0057】

続いて、第２実施形態にかかる駐車枠を検出する処理手順を図６に示すフローチャートを用いて説明する。図６は、第２実施形態にかかる駐車枠を検出する処理手順を示すフローチャートである。

【0058】

画像処理装置１００は、カメラ６から取得した各時点（例えば、時刻ｔ－１、時刻ｔ）の撮影画像をそれぞれ俯瞰画像に変換する（ステップＳ１１）。続いて、画像処理装置１００は、それぞれの俯瞰画像から直線を検出してリスト化する（ステップＳ１２）。

【0059】

画像処理装置１００は、時刻ｔ―１の俯瞰画像から検出した直線の特徴量を算出する。また、画像処理装置１００は、時刻ｔの俯瞰画像から検出した直線の特徴量を算出する（ステップＳ１３）。画像処理装置１００は、時刻ｔ－１の俯瞰画像から検出した直線の特徴量を、時刻ｔ―１から時刻ｔにおける車両１の移動量に基づいて補正する（ステップＳ１４）。

【0060】

続いて、画像処理装置１００は、俯瞰画像中の立体物に起因する直線を判定するループ処理を実行する（ステップＳ１５）。

【0061】

画像処理装置１００は、リスト化した直線のそれぞれについてループ処理を実行する。また、当該ループ処理では、ステップＳ１６～ステップＳ１８の処理を実行する。ステップＳ１６では、対象となる直線（時刻ｔ－１の直線）を補正した直線の特徴量が、時刻ｔの直線と一致するか否かを判定して、一致しない場合（ステップＳ１６：Ｎｏ）、対象となる直線をリストから削除して（ステップＳ１７）、ステップＳ１８へ進む。すなわち、画像処理装置１００は、当該直線が駐車枠候補から除外する直線と判定する。対象となる直線（時刻ｔ－１の直線）を補正した直線の特徴量が、時刻ｔの直線と一致するか否かを判定して、一致する場合（ステップＳ１６：Ｙｅｓ）、対象となる直線をリストから削除せずにステップＳ１８へ進む。

【0062】

画像処理装置１００は、リストの直線に、ステップＳ１６の判定処理を実行していない直線がある場合（ステップＳ１８：Ｙｅｓ）、ステップＳ１６に進み、未判定の直線について判定処理を実行する。また、リストの直線に、ステップＳ１６の判定処理を実行していない直線がない場合（ステップＳ１８：Ｎｏ）、ループ処理を終了し、ステップＳ１９へ進む。ステップＳ１９で、画像処理装置１００は、リストに残った直線を用いて駐車枠を検出する（ステップＳ１９）。

【0063】

第２実施形態にかかる画像処理装置１００は、移動中の車両１におけるある時点の撮影画像の俯瞰画像から検出した直線の特徴量を算出し、当該特徴量を移動量に基づいて補正して、上記時点より後の時点の撮影画像の俯瞰画像から検出した直線の特徴量を算出する。画像処理装置１００は、補正後の特徴量に対応する、後の時点の俯瞰画像の直線の特徴量が無い場合、当該補正後の特徴量の直線を除去して、残った直線から駐車枠を抽出する。

【0064】

このように、画像処理装置１００は、車両の移動量に基づいて補正した特徴量と、後の時点の俯瞰画像の直線の特徴量とを比較して、対応しない直線を除去して駐車枠を抽出するので、適切に駐車枠を抽出することができる。

【0065】

（第３実施形態）
第３実施形態にかかる画像処理装置１００は、車両１の複数方向の撮影画像をそれぞれ変換した俯瞰画像を比較することで立体物に起因する直線を特定して、特定した直線を駐車枠線候補から除外して、除外した後に残った直線から駐車枠を抽出する。

【0066】

ここで、図７Ａ～図７Ｅを用いて、第３実施形態にかかる画像処理装置１００が、駐車枠線を検出する方法を説明する。図７は、第３実施形態にかかる画像処理装置１００が駐車枠線を検出する方法を説明するための図である。

【0067】

図７Ａは、車両１と立体物７０と駐車枠７１との位置関係を示す。車両１は、図７Ａに示す位置でカメラ６ｓ（車両１の左右方向を撮影するカメラ）により撮影する。画像処理装置１００は、撮影した画像を俯瞰画像に変換する。図７Ｂは、図７Ａの位置でカメラ６ｓが撮影した画像に基づいた俯瞰画像の例である。画像処理装置１００は、俯瞰画像から直線Ｌ３１～Ｌ３５を検出する。

【0068】

直線Ｌ３１は、立体物７０に対応する直線である。直線Ｌ３２～直線Ｌ３５は、駐車枠７１に対応する直線である。画像処理装置１００は、検出した直線の特徴量を算出する。

【0069】

続いて、画像処理装置１００は、直線Ｌ３１～直線Ｌ３５の特徴量を図７Ｃに示すように、車両１の後方部分の基準位置とするように補正する。

【0070】

また、車両１は、図７Ａに示した位置でカメラ６ｆ（車両１の前後方向を撮影するカメラ）により撮影する。画像処理装置１００は、撮影した画像を俯瞰画像に変換する。図７Ｄは、図７Ａの位置でカメラ６ｆが撮影した画像に基づいた俯瞰画像の例である。画像処理装置１００は、俯瞰画像から直線Ｌ４１～Ｌ４５を検出する。

【0071】

直線Ｌ４１は、立体物７０に対応する直線である。直線Ｌ４２～直線Ｌ４５は、駐車枠７１に対応する直線である。画像処理装置１００は、検出した直線の特徴量を算出する。

【0072】

続いて、画像処理装置１００は、直線Ｌ４１～直線Ｌ４５の特徴量を図７Ｅに示すように、車両１の後方部分の基準位置（図７Ｃに示した基準位置と同様）とするように補正する。

【0073】

そして、画像処理装置１００は、図７Ｃに示す直線Ｌ３１～Ｌ３５の特徴量と、図７Ｅに示す直線Ｌ４１～直線Ｌ４５の特徴量とを比較する。画像処理装置１００は、直線Ｌ３２～Ｌ３５が、それぞれ直線Ｌ４２～Ｌ４５と対応すると判定する。そして、画像処理装置１００は、直線Ｌ３１が、直線Ｌ４１と角度が異なるので対応しないと判定する。また、画像処理装置１００は、さらに他の直線Ｌ４２～４５とも対応しないと判定する。画像処理装置１００は、図７Ｂの直線Ｌ３１を駐車枠線候補から除外して、除外した後に残った直線Ｌ３２～Ｌ３５から駐車枠を抽出する。

【0074】

続いて、第３実施形態にかかる駐車枠を検出する処理手順を図８に示すフローチャートを用いて説明する。図８は、第３実施形態にかかる駐車枠の検出処理手順を示すフローチャートである。

【0075】

画像処理装置１００は、カメラ６ｓから取得した撮影画像をそれぞれ俯瞰画像に変換する（ステップＳ２１）。続いて、画像処理装置１００は、俯瞰画像から直線を検出してリスト化する（ステップＳ２２）。続いて、画像処理装置１００は、リスト化した直線の特徴量を算出する（ステップＳ２３）。続いて、画像処理装置１００は、上記俯瞰画像から検出した直線の内、カメラ６ｆの撮影範囲と重複する部分の直線の特徴量を、車両の後方の基準位置に合わせて補正したリストを生成する（ステップＳ２４）。

【0076】

画像処理装置１００は、カメラ６ｆから取得した撮影画像をそれぞれ俯瞰画像に変換する（ステップＳ２５）。続いて、画像処理装置１００は、俯瞰画像から直線を検出してリスト化する（ステップＳ２６）。続いて、画像処理装置１００は、リスト化した直線の特徴量を算出する（ステップＳ２７）。続いて、画像処理装置１００は、上記俯瞰画像から検出した直線の内、カメラ６ｓの撮影範囲と重複する部分の直線の特徴量を、車両の後方の基準位置に合わせて補正したリストを生成する（ステップＳ２８）。

【0077】

画像処理装置１００は、ステップＳ２４で生成したリストと、ステップＳ２８で生成したリストとを比較して対応する直線のペアを作る（ステップＳ２９）。画像処理装置１００は、ペアができなかった直線をステップＳ２４のリストから削除する（ステップＳ３０）。画像処理装置１００は、リストに残った直線を用いて駐車枠を検出する（ステップＳ３１）。

【0078】

第３実施形態にかかる画像処理装置１００は、車両１の左右方向の撮影画像の俯瞰画像から検出した直線の特徴量を算出し、車両１の前後方向の撮影画像の俯瞰画像から検出した直線の特徴量を算出する。画像処理装置１００は、補正後の特徴量に対応する、後の時点の俯瞰画像の直線の特徴量が無い場合、当該補正後の特徴量の直線を除去して、残った直線から駐車枠を抽出する。

【0079】

このように、画像処理装置１００は、左右方向の撮像画像の俯瞰画像から検出した直線の特徴量と、前後方向の撮像画像の俯瞰画像の直線の特徴量とを比較して、対応しない直線を除去して駐車枠を抽出するので、適切に駐車枠を抽出することができる。

【0080】

（第４実施形態）
第４実施形態にかかる画像処理装置１００は、車両１の撮影画像を俯瞰画像に変換し、さらに撮影画像から立体物を検出して、俯瞰画像における立体物の領域内の直線を駐車枠線候補から除外して、除外した後に残った直線から駐車枠を抽出する。

【0081】

ここで、第４実施形態にかかる駐車枠を検出する処理手順を図９に示すフローチャートを用いて説明する。図９は、第４実施形態にかかる駐車枠を検出する処理手順を示すフローチャートである。

【0082】

画像処理装置１００は、カメラ６から取得した撮像画像を俯瞰画像に変換する（ステップＳ４１）。続いて、画像処理装置１００は、俯瞰画像から直線を検出してリスト化する（ステップＳ４２）。続いて、画像処理装置１００は、ディープラーニング等の公知技術を適用して、撮影画像から立体物の領域を特定する（ステップＳ４３）。

【0083】

続いて、画像処理装置１００は、俯瞰画像中の立体物に起因する直線を判定するループ処理を実行する（ステップＳ４４）。

【0084】

画像処理装置１００は、リスト化した直線のそれぞれについてループ処理を実行する。また、当該ループ処理では、ステップＳ４５～ステップＳ４７の処理を実行する。ステップＳ４５では、対象となる直線が立体物の領域に対応するか否かを判定して、対象となる直線が立体物の領域に対応する場合（ステップＳ４５：Ｙｅｓ）、対象となる直線をリストから削除して（ステップＳ４６）、ステップＳ４７へ進む。対象となる直線が立体物の領域に対応しない場合（ステップＳ４５：Ｎｏ）、対象となる直線をリストから削除せずにステップＳ４７へ進む。

【0085】

画像処理装置１００は、リストの直線に、ステップＳ４５の判定処理を実行していない直線がある場合（ステップＳ４７：Ｙｅｓ）、ステップＳ４５に進み、未判定の直線について判定処理を実行する。また、リストの直線に、ステップＳ４５の判定処理を実行していない直線がない場合（ステップＳ４７：Ｎｏ）、ループ処理を終了し、ステップＳ４８へ進む。ステップＳ４８で、画像処理装置１００は、リストに残った直線を用いて駐車枠を検出する（ステップＳ４８）。

【0086】

第４実施形態にかかる画像処理装置１００は、撮影画像から立体物部分を特定し、俯瞰画像から検出した直線のうち、当該立体物部分に対応する直線を除去して、残った直線から駐車枠を抽出する。

【0087】

このように、画像処理装置１００は、俯瞰画像から検出した直線のうち、立体物部分に対応する直線を除去して駐車枠を抽出するので、適切に駐車枠を抽出することができる。

【0088】

（第５実施形態）
第５実施形態にかかる画像処理装置１００は、車両１の撮影画像から立体物を検出して、撮影画像において、立体物領域を削除して俯瞰画像に変換して、俯瞰画像から直線検出して検出した直線から駐車枠を抽出する。

【0089】

ここで、第４実施形態にかかる駐車枠を検出する処理手順を図９に示すフローチャートを用いて説明する。図９は、第５実施形態にかかる駐車枠を検出する処理手順を示すフローチャートである。

【0090】

画像処理装置１００は、ディープラーニング等により撮影画像から立体物を検出し、撮像画像の立体物部分を削除した画像を生成する（ステップＳ５１）。画像処理装置１００は、生成した画像から俯瞰映像に変換する（ステップＳ５２）。画像処理装置１００は、俯瞰画像から直線を検出し（ステップＳ５３）、検出した直線を用いて駐車枠を検出する（ステップＳ５４）。

【0091】

第５実施形態にかかる画像処理装置１００は、撮影画像から立体物部分を特定し、立体物部分を除去した画像を生成し、当該画像を俯瞰画像に変換して、俯瞰画像から直線を検出して、検出した直線から駐車枠を抽出する。

【0092】

このように、画像処理装置１００は、立体物部分を削除した画像を俯瞰画像に変換して直線を検出するため、立体物部分が直線として検出されなくなり、適切に駐車枠を抽出することができる。

【0093】

以上、本開示の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらに、異なる実施形態および変形例にわたる構成要素を適宜組み合わせてもよい。

【0094】

また、上述した実施の形態における「・・・部」という表記は、「・・・回路（circuitry）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。

【0095】

上記各実施形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

【0096】

また、上記各実施形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力端子と出力端子を備えてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0097】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサおよびメモリを用いて実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブル プロセッサ（Reconfigurable Processor）を利用してもよい。

【0098】

さらには、半導体技術の進歩又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適用等が可能性としてありえる。

【0099】

また、本明細書に記載された実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

【符号の説明】

【0100】

１ 車両
２ 車体
３ 車輪
４ ドアミラー
５（５ａ～５ｄ） 座席
６（６ｆ，６ｒ，６ｓ） カメラ
７ シートベルト着脱センサ
８ 着座センサ
１０ ＥＣＵ
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 記憶装置
１４ａ マップデータ
１５ Ｉ／Ｏポート
２０ 車両制御装置
３１ 入力装置
３２ 出力装置
１００ 画像処理装置
２００ 駐車支援装置

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図8】

【図9】

【図10】