特開 2022-190535 推定装置および推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190535

(43)【公開日】2022-12-26

(54)【発明の名称】推定装置および推定方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221219BHJP

   G06T 7/00 20170101ALI20221219BHJP

   G06T 7/60 20170101ALI20221219BHJP

【ＦＩ】

G08G1/16 D

G06T7/00 650Z

G06T7/60 150S

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021098903

(22)【出願日】2021-06-14

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】三野 敦

(72)【発明者】

【氏名】村角 周樹

(72)【発明者】

【氏名】垣田 直士

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181FF32

5H181FF33

5H181LL01

5H181LL02

5H181LL04

5H181LL08

5H181LL15

5L096BA04

5L096CA02

5L096EA31

5L096FA06

5L096FA67

5L096GA02

5L096GA32

5L096GA38

(57)【要約】

【課題】像画像に映るカーブミラーの推定精度を向上させること。
【解決手段】実施形態に係る推定装置は、抽出部と、第１推定部と、第２推定部とを備える。抽出部は、自車両の進行方向を撮像した撮像画像から所定条件を満たすエッジ点群を抽出する。第１推定部は、抽出部によって抽出されたエッジ点群に基づき、カーブミラーの形状を示すミラー形状を推定する。第２推定部は、第１推定部によって推定されたミラー形状の上部領域を除いた残領域のエッジ点群に基づき、ミラー形状を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

自車両の進行方向を撮像した撮像画像から所定条件を満たすエッジ点群を抽出する抽出部と、
前記抽出部によって抽出された前記エッジ点群に基づき、カーブミラーの形状を示すミラー形状を推定する第１推定部と、
前記第１推定部によって推定された前記ミラー形状の上部領域を除いた残領域の前記エッジ点群に基づき、前記ミラー形状を推定する第２推定部と
を備えることを特徴とする推定装置。

【請求項2】

前記第１推定部は、
前記エッジ点群に対する最小二乗法を用いた円弧近似によって、前記ミラー形状を推定し、
前記第２推定部は、
前記残領域の前記エッジ点群に対する前記円弧近似によって、前記ミラー形状を推定すること
を特徴とする請求項１に記載の推定装置。

【請求項3】

前記抽出部は、
前記撮像画像の各画素の色情報に基づいて、オレンジ色を有するエッジを前記エッジ点群として抽出すること
を特徴とする請求項１または２に記載の推定装置。

【請求項4】

前記第２推定部によって推定された前記ミラー形状に基づいて、前記撮像画像における前記カーブミラーの向きを決定する決定部と、
前記決定部によって決定された前記カーブミラーの向きに基づき、前記カーブミラーに映る移動物体の移動方向を算出する算出部と
を備えることを特徴とする請求項１、２または３に記載の推定装置。

【請求項5】

自車両の進行方向を撮像した撮像画像から所定条件を満たすエッジ点群を抽出する抽出工程と、
前記抽出工程によって抽出された前記エッジ点群に基づき、カーブミラーの形状を示すミラー形状を推定する第１推定工程と、
前記第１推定工程によって推定された前記ミラー形状の上部領域を除いた残領域の前記エッジ点群に基づき、前記ミラー形状を推定する第２推定工程と
を含むことを特徴とする推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定装置および推定方法に関する。

【背景技術】

【0002】

従来、車両の周囲を撮像した撮像画像からカーブミラーを抽出し、カーブミラーに映る特徴点の移動ベクトルに基づいて、自車両に近づいてくるあるいは自車両から遠ざかる移動物体を抽出する技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－２３４９９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、撮像画像に映るカーブミラーの推定精度の向上を図るうえで改善の余地があった。

【0005】

本発明は、上記に鑑みてなされたものであって、撮像画像に映るカーブミラーの推定精度を向上させることができる推定装置および推定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本願発明に係る推定装置は、抽出部と、第１推定部と、第２推定部とを備える。前記抽出部は、自車両の進行方向を撮像した撮像画像から所定条件を満たすエッジ点群を抽出する。前記第１推定部は、前記抽出部によって抽出された前記エッジ点群に基づき、カーブミラーの形状を示すミラー形状を推定する。前記第２推定部は、前記第１推定部によって推定された前記ミラー形状の上部領域を除いた残領域の前記エッジ点群に基づき、前記ミラー形状を推定する。

【発明の効果】

【0007】

本発明によれば、撮像画像に映るカーブミラーの推定精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、推定方法の概要を示す図である。

【図2】図２は、推定装置のブロック図である。

【図3】図３は、決定部による処理の一例を示す図である。

【図4】図４は、推定装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する推定装置および推定方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

【0010】

まず、図１を用いて、実施形態に係る推定装置および推定方法の概要について説明する。図１は、推定方法の概要を示す図である。なお、実施形態に係る推定方法は、図１に示す推定装置１によって実行される。

【0011】

図１に示すように、推定装置１は、たとえば、自車両ＭＣに搭載される。たとえば、推定装置１は、自車両ＭＣの進行方向（たとえば、前方）を撮像するカメラを備えたドライブレコーダであり、カメラで撮像した撮像画像から障害物を検出する障害物検知機能を有する。

【0012】

たとえば、図１に示すように、自車両ＭＣがＴ字路に進入する場合に、通常、自車両ＭＣの運転者は、カーブミラーＭを目視することで、Ｔ字路に他方向から進入する他車両Ｃの存在を確認する。

【0013】

これに対して、推定装置１は、撮像画像に対する画像処理を行うことで、カーブミラーＭに映る他車両Ｃ等の障害物を検出するとともに、たとえば、その存在を運転者へ報知することができる。

【0014】

これらの一連の処理においては、撮像画像からカーブミラーＭを正確に検出する必要がある。たとえば、カーブミラーＭの外縁形状を示すミラー形状を推定する手法として、エッジ処理によって、撮像画像からエッジを抽出したのちに、抽出したエッジの集合について最小二乗法を用いて円弧近似により推定する手法が考えられる。

【0015】

しかしながら、たとえば、通常、カーブミラーＭには、上部に鏡面から突出した庇部分がついているので、上記の庇部分のエッジを含めて円弧近似を行うと、推定したミラー形状と、実際のミラー形状とに乖離が生じるおそれがある。

【0016】

そこで、実施形態に係る推定装置１では、一旦、ミラー形状を推定したのち、庇部分のエッジを除いて、再度、ミラー形状を推定することとした。具体的には、図１に示すように、推定装置１は、まず、撮像画像から所定条件を満たすエッジ点群ｅｄを抽出する（ステップＳ１）。たとえば、エッジ点群ｅｄは、エッジの集合であり、エッジは、各画素の輝度勾配等によって抽出される。

【0017】

また、たとえば、エッジ点群ｅｄは、ミラー形状の候補となるエッジであり、たとえば、円弧状に広がるエッジの集合である。また、一旦、抽出したエッジ点群ｅｄに対して、たとえば、間引き処理等を行うことで、さらに、選抜することにしてもよい。

【0018】

つづいて、推定装置１は、ステップＳ１にて抽出したエッジ点群ｅｄに基づき、第１推定を行う（ステップＳ２）。第１推定においては、たとえば、エッジ点群ｅｄに対する最小二乗法を用いた円弧近似によって第１ミラー形状Ｍｅ１が推定される。

【0019】

ここで、第１ミラー形状Ｍｅ１は、ミラー形状を反映しているものの、カーブミラーＭの庇部分に対応するエッジを含んだエッジ点群ｅｄを用いている分だけ、実際のミラー形状との間で乖離しているおそれがある。

【0020】

そのため、推定装置１は、第１ミラー形状Ｍｅ１に対して領域を設定する（ステップＳ３）。具体的には、推定装置１は、第１ミラー形状Ｍｅ１に対して、上部に除外領域Ｅａと、除外領域Ｅａを除いた残領域Ｒａとを設定する。除外領域Ｅａは、庇部分が含まれ得る領域であり、残領域Ｒａは、庇部分を除いた領域である。通常、庇部分は、カーブミラーＭの上部に存在するので、推定装置１は、たとえば、第１ミラー形状Ｍｅ１の上部５０～３０％の領域を除外領域Ｅａとして設定する。

【0021】

その後、推定装置１は、残領域Ｒａのエッジ点群ｅｄに基づき、第２推定を行う（ステップＳ４）。第２推定においては、残領域Ｒａに含まれるエッジ点群ｅｄに対して、最小二乗法による円弧近似を行うことで、第２ミラー形状Ｍｅ２が推定される。

【0022】

このように、実施形態に係る推定装置１は、一旦、第１ミラー形状Ｍｅ１を推定した後に、残領域Ｒａのエッジ点群ｅｄに基づき、再度、第２ミラー形状Ｍｅ２を推定する。これにより、実施形態に係る推定装置１は、庇部分のエッジ点群ｅｄを除いた状態で、ミラー形状を推定することができるので、撮像画像に映るカーブミラーＭの推定精度を向上させることができる。

【0023】

次に、図２を用いて、実施形態に係る推定装置１の構成例について説明する。図２は、推定装置１のブロック図である。なお、図２には、推定装置１に加え、カメラ１００およびディスプレイ１１０を併せて示す。カメラ１００は、自車両ＭＣの進行方向を所定周期で撮像する。たとえば、カメラ１００は、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備える。

【0024】

ディスプレイ１１０は、車載ディスプレイであり、推定装置１によって検出されたカーブミラーＭに写る障害物に関する各種情報（たとえば、警告画像）を表示する。また、ディスプレイ１１０は、音声出力部を有し、障害物に関する各種情報として警告音を出力することにしてもよい。また、ディスプレイ１１０として、たとえば、自車両ＭＣのフロントガラスに映像を投影する、いわゆる、ヘッドアップディスプレイを採用することにしてもよい。

【0025】

図２に示すように、推定装置１は、記憶部１０と、制御部２０とを備える。記憶部１０は、たとえば、不揮発性メモリやデータフラッシュ、ハードディスクドライブといった記憶デバイスで構成される。記憶部１０には、ミラー検知情報１１、特徴点情報１２および各種プログラムなどが記憶される。

【0026】

ミラー検知情報１１は、カーブミラーＭの検出結果に関する各種情報である。たとえば、自車両ＭＣと、検出したカーブミラーＭとの相対位置、大きさ、向き等に関する情報がミラー検知情報１１として記憶部１０に記憶される。

【0027】

特徴点情報１２は、撮像画像から抽出した特徴点に関する各種情報である。たとえば、特徴点ごとの時系列変化に関する情報が特徴点情報１２として記憶部１０に記憶される。

【0028】

制御部２０は、抽出部２１と、第１推定部２２と、第２推定部２３と、決定部２４と、算出部２５と、出力部２６とを備え、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0029】

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２０の抽出部２１、第１推定部２２、第２推定部２３、決定部２４、算出部２５および出力部２６として機能する。

【0030】

また、制御部２０の抽出部２１、第１推定部２２、第２推定部２３、決定部２４、算出部２５および出力部２６の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0031】

抽出部２１は、自車両ＭＣの進行方向を撮像した撮像画像から所定条件を満たすエッジ点群ｅｄを抽出する。たとえば、抽出部２１は、撮像画像から各画素の輝度勾配等に基づき、エッジを抽出し、抽出したエッジからエッジ点群ｅｄを抽出する。

【0032】

たとえば、抽出部２１は、円弧状に分布するエッジをエッジ点群ｅｄとして抽出する。また、抽出部２１は、抽出したエッジの各画素の色情報を参照し、オレンジ色を有する画素を含むエッジをエッジ点群ｅｄとして抽出し、後段の処理に回すようにしてもよい。

【0033】

つまり、カーブミラーＭの外縁は、通常、オレンジ色であることから、オレンジ色の画素から成るエッジをエッジ点群ｅｄとして抽出することで、カーブミラーＭの色の特徴と一致するエッジのみを後段の処理に回すことができる。これにより、後段の処理負荷を軽減することができる。

【0034】

また、抽出部２１は、たとえば、抽出したエッジに対する各種間引き処理を行うことで、エッジ点群ｅｄのエッジ個数を削減することにしてもよい。たとえば、抽出部２１は、間引き処理によって、２～３割のエッジを間引くようにすることにしてもよい。

【0035】

このように、抽出部２１は、エッジを選抜したエッジ点群ｅｄを後段の処理に回すことで、後段の処理負荷を軽減することができ、カーブミラーＭの検出処理の迅速化を図ることができる。

【0036】

第１推定部２２は、抽出部２１によって抽出されたエッジ点群ｅｄに基づき、第１ミラー形状Ｍｅ１を推定する。通常、撮像画像において、カーブミラーＭは、楕円形状や真円形状に映る。

【0037】

そのため、第１推定部２２は、楕円形状や真円形状の第１ミラー形状Ｍｅ１をエッジ点群ｅｄに対する最小二乗法による円弧近似によって推定する。一般的に、カーブミラーＭの見え方は、楕円形状である場合が多く、第１推定部２２は、円弧近似によって楕円形状の第１ミラー形状Ｍｅ１を推定するようにしてもよい。言い換えれば、真円形状を推定するための円弧近似を省略することにしてもよい。

【0038】

第２推定部２３は、抽出部２１から受け取ったエッジ点群ｅｄに関する情報と、第１推定部２２から受け取った第１ミラー形状Ｍｅ１に関する情報とに基づいて、第２ミラー形状Ｍｅ２を推定する。

【0039】

具体的には、第２推定部２３は、まず、第１ミラー形状Ｍｅ１に基づき、除外領域Ｅａと、残領域Ｒａとを設定する(図１参照)。上述したように、除外領域Ｅａは、第１ミラー形状Ｍｅ１の上部に対応する領域であり、カーブミラーＭの庇部分が含まれ得る領域である。また、残領域Ｒａは、第１ミラー形状Ｍｅ１において、除外領域Ｅａを除いた領域である。

【0040】

つづいて、第２推定部２３は、残領域Ｒａに含まれるエッジ点群ｅｄを対象とした最小二乗法による円弧近似によって、第２ミラー形状Ｍｅ２を推定する。つまり、第２推定部２３は、庇部分のエッジが取り除かれたエッジ点群ｅｄを用いて、ミラー形状を推定する。

【0041】

これにより、第２ミラー形状Ｍｅ２では、第１ミラー形状Ｍｅ１に比べて実際のミラー形状との乖離が少なく、より正確に実際のミラー形状を反映したものとすることができる。

【0042】

決定部２４は、第２推定部２３によって推定された第２ミラー形状Ｍｅ２に基づき、カーブミラーＭの向きを決定する。たとえば、決定部２４は、第２ミラー形状Ｍｅ２の傾きに基づいて、カーブミラーＭの向きを決定する。

【0043】

図３は、決定部２４による処理の一例を示す図である。図３に示すように、たとえば、第２ミラー形状Ｍｅ２が楕円形状であるとすると、決定部２４は、第２ミラー形状Ｍｅ２の軸ａｘの傾きに基づき、カーブミラーＭの向きを決定する。なお、撮像画像においてカーブミラーＭは、通常、縦長の楕円として映ることから軸ａｘは、第２ミラー形状Ｍｅ２として推定される楕円の長軸に対応する。

【0044】

同図の左に示すように、たとえば、軸ａｘが下から上に向かって左側に傾斜している場合、決定部２４は、カーブミラーＭの向きを左向きとして決定する。また、同図の右に示すように、軸ａｘが下から上に向かって右側に傾斜している場合、決定部２４は、カーブミラーＭの向きを右向きとして決定する。

【0045】

このように、決定部２４は、第１ミラー形状Ｍｅ１よりも精度よく推定された第２ミラー形状Ｍｅ２を用いて、カーブミラーＭの向きを決定することで、カーブミラーＭの向きを精度よく決定することができる。なお、上述の決定部２４による処理は一例であり、これに限定されるものではない。第２ミラー形状Ｍｅ２を活用して、その他の手法によってカーブミラーＭの向きを決定することにしてもよい。

【0046】

図２の説明に戻り、算出部２５について説明する。算出部２５は、決定部２４に決定されたカーブミラーの向きに基づき、カーブミラーＭに映る移動物体の移動方向を算出する。

【0047】

たとえば、算出部２５は、第２ミラー形状Ｍｅ２の内部を鏡面とみなし、鏡面内の特徴点の時系列変化を示すオプティカルフローを算出する。たとえば、鏡面に移動物体が写っている場合には、移動物体の移動方向、移動速度に応じたオプティカルフローが算出される。

【0048】

つづいて、算出部２５は、オプティカルフローの向きと、カーブミラーＭの向きとに基づいて、移動物体の移動方向を算出する。たとえば、算出部２５は、カーブミラーＭの向きと、オプティカルフローの向きの関係性に基づいて、移動物体の移動方向を算出する。

【0049】

この際、仮に、カーブミラーＭの向きが逆であると、移動物体の向きは逆に算出されるおそれがある。これに対して、推定装置１では、第１ミラー形状Ｍｅ１よりも推定精度のよい第２ミラー形状Ｍｅ２を用いて、カーブミラーＭの向きを決定する。

【0050】

また、推定装置１では、第１ミラー形状Ｍｅ１よりも推定精度を向上させた第２ミラー形状Ｍｅ２を用いて、鏡面を推定するとともに、鏡面内部のオプティカルフローを用いて、移動物体の算出に使用する。

【0051】

つまり、推定装置１は、第２ミラー形状Ｍｅ２を用いて各種処理を行うことで、移動物体の検出精度の向上をも図ることができる。

【0052】

また、算出部２５は、移動物体の移動向きに基づき、カーブミラーＭに映り、自車両ＭＣへ接近する接近物体の有無を算出することにしてもよい。ここで、接近物体とは、たとえば、自車両ＭＣとは異なる方向からカーブミラーＭに接近する移動体を指す。たとえば、図１の例においては、Ｔ字路に向かって走行中の他車両Ｃが接近物体に対応する。なお、接近物体は、人、自転車、二輪バイク等であってもよい。

【0053】

たとえば、算出部２５は、接近物体が存在すると判定した場合には、出力部２６へ警告情報の出力指示を通知する。なお、接近物体の有無に関する判定については、特に限定されるものではなく、たとえば、任意の手法を用いることにしてもよい。

【0054】

出力部２６は、算出部２５は、から上記の警告情報の出力指示を受け取った場合に、警告情報をディスプレイ１１０へ出力する。ここで、警告情報とは、自車両ＭＣの運転者に、接近物体の存在を周知させるための情報である。たとえば、警告情報として、画像、イラスト、テキスト、音声などが挙げられる。

【0055】

次に、図４を用いて、実施形態に係る推定装置１が実行する処理手順について説明する。図４は、推定装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、推定装置１の制御部２０によって繰り返し実行される。

【0056】

図４に示すように、推定装置１は、撮像画像を取得すると（ステップＳ１０１）、撮像画像のエッジからエッジ点群ｅｄを抽出する（ステップＳ１０２）。つづいて、推定装置１は、ステップＳ１０２において抽出したエッジ点群ｅｄに基づき、第１推定を実行する（ステップＳ１０３）。

【0057】

つづいて、推定装置１は、第１推定の結果に基づき、第１ミラー形状Ｍｅ１に対して残領域Ｒａを設定し（ステップＳ１０４）、残領域Ｒａのエッジ点群ｅｄに基づき、第２推定を行うことで、第２ミラー形状Ｍｅ２を求める（ステップＳ１０５）。

【0058】

つづいて、推定装置１は、第２ミラー形状Ｍｅ２に基づき、カーブミラーＭの向きを決定し（ステップＳ１０６）、カーブミラーＭに映る移動物体の移動方向を算出する（ステップＳ１０７）。

【0059】

つづいて、推定装置１は、カーブミラーＭに映る移動物体のうち、自車両ＭＣに接近する接近物体があるか否かを判定し（ステップＳ１０８）、接近物体があると判定した場合には（ステップＳ１０８；Ｙｅｓ）、警告情報を出力して（ステップＳ１０９）、処理を終了する。

【0060】

また、推定装置１は、ステップＳ１０８の判定において、接近物体がないと判定した場合には（ステップＳ１０８；Ｎｏ）、ステップＳ１０９の処理を省略して、処理を終了する。

【0061】

上述したように、実施形態に係る推定装置１は、抽出部２１と、第１推定部２２と、第２推定部２３とを備える。抽出部２１は、自車両ＭＣの進行方向を撮像した撮像画像から所定条件を満たすエッジ点群ｅｄを抽出する。

【0062】

第１推定部２２は、抽出部２１によって抽出されたエッジ点群ｅｄに基づき、カーブミラーＭの形状を示すミラー形状を推定する。第２推定部２３は、前記第１推定部２２によって推定されたミラー形状の上部領域を除いた残領域Ｒａのエッジ点群ｅｄに基づき、ミラー形状を推定する。

【0063】

したがって、実施形態に係る推定装置１によれば、撮像画像に映るカーブミラーＭの推定精度を向上させることができる。

【0064】

ところで、上述した実施形態では、自車両ＭＣの前方を撮像した撮像画像からカーブミラーＭに映る移動物体を抽出する場合について説明したが、撮像画像は自車両ＭＣの側方や後方を撮像したものであってもよい。

【0065】

また、上述した実施形態では、カーブミラーＭに映る移動物体を検出した場合に、自車両ＭＣの運転者にその存在を報知する場合について説明したが、これに限定されるものではない。すなわち、本願発明を自動運転に適用することにしてもよい。たとえば、この場合、カーブミラーＭに映る移動物体を検出した場合に、減速等の各種衝突回避措置を行うようにしてもよい。

【0066】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0067】

１ 推定装置
２１ 抽出部
２２ 第１推定部
２３ 第２推定部
２４ 決定部
２５ 算出部
２６ 出力部
Ｍ カーブミラー
ｅｄ エッジ点群
Ｍｅ１ 第１ミラー形状
Ｍｅ２ 第２ミラー形状
Ｅａ 除外領域(上部領域)
Ｒａ 残領域

【図1】

【図2】

【図3】

【図4】