特許 7490306 物体検知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-17

(45)【発行日】2024-05-27

(54)【発明の名称】物体検知装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240520BHJP

   G01C 3/06 20060101ALI20240520BHJP

【ＦＩ】

G06T7/00 300F

G01C3/06 110V

G01C3/06 140

【請求項の数】 6

(21)【出願番号】P 2020100808

(22)【出願日】2020-06-10

(65)【公開番号】P2021196692

(43)【公開日】2021-12-27

【審査請求日】2023-03-02

(73)【特許権者】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(72)【発明者】

【氏名】中川 知基

【審査官】新井 則和

(56)【参考文献】

【文献】特開２００４－００５０６１（ＪＰ，Ａ）

【文献】星 仰，前田 祐輔，レンジ画像による電線形状の計測，情報処理学会第６６回全国大会 論文集（２），2004年03月09日，pp. 2-409-2-410

【文献】野田 祥希 外，画像解析によるエレベータロープ点検システム，第２５回画像センシングシンポジウム ＳＳＩＩ２０１９，2019年12月31日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

所定の検出範囲に含まれる各物体までの距離を検出する距離検出手段と、
前記検出範囲に対応する深度画像であって、前記距離検出手段によって検出された各物体までの距離が、各物体に対応する画素値である深度画像を作成する深度画像作成手段と、
前記深度画像に含まれる部分画像であって、線状の物体に対応する特定形状を有する部分画像を抽出する部分画像抽出手段と、
前記部分画像抽出手段によって抽出された部分画像に線状の物体を対応させて、この線状の物体を検知対象として特定する検知対象特定手段と、
を備え、前記部分画像抽出手段は、前記深度画像の中から、前記距離検出手段によって距離が得られなかった画素と、周囲と比べて距離が大きく異なる画素とを含む前記部分画像を抽出することを特徴とする物体検知装置。

【請求項2】

前記距離検出手段は、ステレオカメラと、前記ステレオカメラによる撮像によって得られた各画像に基づいて、前記検出範囲に対応する各画素毎に、各物体までの距離を算出する距離算出手段とを有することを特徴とする請求項１に記載の物体検知装置。

【請求項3】

前記検知対象特定手段は、前記部分画像の端部に、前記距離検出手段によって距離が得られた隣接物体が存在する場合に、この部分画像に対応する前記線状の物体を検知対象として特定することを特徴とする請求項１または２に記載の物体検知装置。

【請求項4】

前記検知対象特定手段は、前記部分画像の両端に前記隣接物体が存在する場合に、この部分画像に対応する前記線状の物体を検知対象として特定することを特徴とする請求項３に記載の物体検知装置。

【請求項5】

前記隣接物体までの距離を、前記線状の物体までの距離として設定する距離設定手段をさらに備えることを特徴とする請求項３または４に記載の物体検知装置。

【請求項6】

前記特定形状は、前記線状の物体が自重で垂れ下がる懸垂形状であることを特徴とする請求項１～５のいずれか一項に記載の物体検知装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シニアカー等の電動車両に搭載されて前方の物体を検知する物体検知装置に関する。

【背景技術】

【0002】

従来から、前方の走路をステレオカメラで撮像することにより走路領域までの３次元座標を計測し、走路領域内で傾斜や傾斜変化が予め設定された閾値を越える場合に、走路上に障害物が有ると判別するようにした車両用障害物検出装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２０５４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述した特許文献１に開示された車両用障害物検出装置では、駐車場や施設の入り口などにおいて人や車両などの進入を防止する目的で設けられたチェーンやロープなどの細い線状の物体が検知しづらいという問題があった。例えば、解像度が低いステレオカメラを用いてチェーン等を検知しようとすると、その一部の距離情報を得ることができず、チェーン等の全体を障害物として把握することができない。また、障害物として把握することができないため、チェーン等までの距離を検知することもできなかった。

【0005】

特に、最近では、シニアカーと称される小型の電動車両が高齢者向けに開発、市販されているが、このような電動車両に車両用障害物検出装置を搭載しようとすると、高価なステレオカメラを用いることはできず、安価なステレオカメラを用いた場合には高い解像度が期待できないため、上述した細い線状の物体の検知がさらに困難になり、チェーン等を検知可能な安価な手法が望まれる。

【0006】

本発明は、このような点に鑑みて創作されたものであり、その目的は、線状の物体の検知精度を上げることができる物体検知装置を提供することにある。また、本発明の他の目的は、線状の物体までの距離を検知することができる物体検知装置を提供することにある。

【課題を解決するための手段】

【0007】

上述した課題を解決するために、本発明の物体検知装置は、所定の検出範囲に含まれる各物体までの距離を検出する距離検出手段と、検出範囲に対応する深度画像であって、距離検出手段によって検出された各物体までの距離が、各物体に対応する画素値である深度画像を作成する深度画像作成手段と、深度画像に含まれる部分画像であって、線状の物体に対応する特定形状を有する部分画像を抽出する部分画像抽出手段と、部分画像抽出手段によって抽出された部分画像に線状の物体を対応させて、この線状の物体を検知対象として特定する検知対象特定手段とを備えている。特に、上述した部分画像抽出手段は、深度画像の中から、距離検出手段によって距離が得られなかった画素と、周囲と比べて距離が大きく異なる画素とを含む部分画像を抽出する。幅などが狭すぎて距離の検出が難しい線状の物体であっても、正確な距離の検出ができなかった画素を辿ることでこの物体の存在を確認することができ、線状の物体の検出精度を上げることができる。

【0008】

また、上述した距離検出手段は、ステレオカメラと、ステレオカメラによる撮像によって得られた各画像に基づいて、検出範囲に対応する各画素毎に、各物体までの距離を算出する距離算出手段とを有することが望ましい。ステレオカメラを用いることにより、複雑な検出機構を用いることなく、物体の検知が可能となる。

【0009】

また、上述した検知対象特定手段は、部分画像の端部に、距離検出手段によって距離が得られた隣接物体が存在する場合に、この部分画像に対応する線状の物体を検知対象として特定することが望ましい。線状の物体を支持している隣接物体の存在を確認することにより、線状の物体の検出精度をさらに上げることができる。

【0010】

また、上述した検知対象特定手段は、部分画像の両端に隣接物体が存在する場合に、この部分画像に対応する線状の物体を検知対象として特定することが望ましい。チェーンやロープなどの線状の物体についてはその両端で支持する必要があることから、両端の隣接物体の存在を確認することにより、チェーンやロープなどの線状の物体の検出精度をさらに上げることができる。

【0011】

また、上述した隣接物体までの距離を、線状の物体までの距離として設定する距離設定手段をさらに備えることが望ましい。これにより、検出が難しかった線状の物体までのおおよその距離を知ることが可能となる。

【0012】

また、上述した特定形状は、線状の物体が自重で垂れ下がる懸垂形状であることが望ましい。これにより、懸垂形状となるチェーンやロープなどの線状の物体を確実に検出することができる。

【図面の簡単な説明】

【0013】

【図1】一実施形態の物体検知装置の構成を示す図である。

【図2】深度画像とこの深度画像に含まれる懸垂形状の部分画像やその両端の隣接物体の一例を示す図である。

【図3】前方に存在する線状の物体を検知して警報を行う動作手順を示す流れ図である。

【発明を実施するための形態】

【0014】

以下、本発明を適用した一実施形態の物体検知装置について、図面を参照しながら説明する。

【0015】

図１は、一実施形態の物体検知装置の構成を示す図である。図１に示す物体検知装置１００は、シニアカー等の電動車両に搭載され、前方に横たわっているチェーンやロープなど線状の物体を検知し、必要に応じて警報を出力するためのものであり、ステレオカメラ１１０、距離算出部１２０、深度画像作成部１３０、部分画像抽出部１４０、検知対象特定部１５０、距離設定部１６０、警報出力部１７０を備えている。

【0016】

ステレオカメラ１１０は、左右に一定の間隔で配置された右カメラ１１０Ｒと左カメラ１１０Ｌを含んでおり、電動車両前方の検出範囲に含まれる物体をこれら２つのカメラで並行して撮像する。例えば、夜間時などの検知機能を高めるために、赤外線カメラが用いられている。

【0017】

距離算出部１２０は、右カメラ１１０Ｒと左カメラ１１０Ｌのそれぞれによって撮像された画像に含まれる同じ物体における視差や、右カメラ１１０Ｒと左カメラ１１０Ｌの間隔、焦点距離に基づいて、撮像範囲（検出範囲）に含まれる各画素毎に、各画素に対応する物体までの距離を算出する。ステレオカメラ１１０を用いた距離算出手法は、従来から行われている手法をそのまま用いることができるため、詳細は算出方法の説明は省略する。

【0018】

深度画像作成部１３０は、各画素の画素値を、距離算出部１２０によって算出した距離に対応させた深度画像を作成する。上述したように、本実施形態では、チェーンやロープなどの線状の物体を検知することを想定しているが、このような線状の物体の一部について、ステレオカメラ１１０の解像度が低いなどの理由から、距離算出部１２０による正確な距離算出が困難である。このため、深度画像作成部１３０によって作成された深度画像では、線状の物体に対応する一部の画素については、距離情報が失われる（正確に距離が検出できない）。なお、線状の物体の残りの部分については、何らかの距離が検出されるが、この部分の距離については周辺画素に対応する距離に比べて値が大きく異なることが考えられる。

【0019】

部分画像抽出部１４０は、深度画像作成部１３０によって作成された深度画像に含まれる部分画像であって、線状の物体に対応する特定形状を有する部分画像を抽出する。具体的には、部分画像抽出部１４０は、深度画像の中から、距離算出部１２０によって距離が得られなかった画素（距離情報が失われた画素）と、周囲と比べて距離が大きく異なる画素とを含む部分画像であって、特定形状を有する部分画像を抽出する。全体として距離検出が正確にできなかった線状の物体に対応する画素は、これら２種類の画素に分類されると考えられ、部分画像抽出部１４０によって、これら２種類の画素からなる部分形状が抽出される。

【0020】

また、特定形状としては、検知対象となる線状の物体の設置状態を考慮して設定される。例えば、両端を支持したチェーンやロープを想定している場合には、柔軟性のある線状の物体が自重により垂れ下がる「懸垂形状」を特定形状とし、懸垂曲線の式（ｆ（ｘ）＝ａ×ｃｏｓｈ（ｘ／ａ）、ａは任意の定数）にあてはまる上記の部分画像を抽出すればよい。また、踏切の遮断機の遮断桿（遮断棒）のような棒状の物体を想定している場合には、「片持ち梁形状」を特定形状とし、片持ち梁が自重で変形する形状にあてはまる上記の部分画像を抽出すればよい。

【0021】

検知対象特定部１５０は、部分画像抽出部１４０によって抽出された特定形状を有する部分画像に、この特定形状に対応する線状の物体（例えば、特定形状を「懸垂形状」とした場合にはチェーンやロープなど）を対応させて、この線状の物体を検知対象として特定する。なお、ここでの検知対象の特定とは、懸垂形状を有する線状の物体があることを特定することであって、この線状の物体がチェーンなのかロープをさらに区別する必要はない。

【0022】

ところで、上述したチェーン、ロープ、遮断桿などの線状の物体は、それのみが周囲から独立して存在することはなく、端部にそれらを支持する隣接物体が存在するはずである。この点を考慮して、検知対象特定部１５０は、部分画像の端部に、距離算出部１２０によって距離が得られた隣接物体（距離が算出されるためには、ある程度以上の面積を有する必要がある）が存在することが確認できた場合に限って、この部分画像に対応する線状の物体を検知対象として特定する。特に、チェーンやロープなどについては、両端に上記の隣接物体が存在する必要があるため（チェーンやロープを両端で支える必要があるため）、特定形状を懸垂形状とした場合には、部分画像の両端に隣接物体があることが確認できた場合に限って検知対象としての特定を行うようにしてもよい。

【0023】

図２は、深度画像とこの深度画像に含まれる懸垂形状の部分画像やその両端の隣接物体の一例を示す図である。部分画像抽出部１４０は、図２（Ａ）に示す深度画像の中から懸垂形状の部分画像Ａ（図２（Ｂ））を抽出する。また、検知対象特定部１５０は、この部分画像Ａの両端に配置された隣接物体Ｂ１、Ｂ２（図２（Ｂ））を深度画像の中から抽出し、これらの隣接物体Ｂ１、Ｂ２が存在することを確認した上で、部分画像Ａに対応する線状の物体を検知対象として設定する。

【0024】

距離設定部１６０は、検知対象特定部１５０によって特定された検知対象としての線状の物体に対応する隣接物体までの距離を、検知対象としての線状の物体までの距離として設定する。線状の物体の両端に隣接物体がある場合には、これら２つの隣接物体までの距離の平均値を線状の物体までの距離として設定したり、電動車両に近い側の隣接物体までの距離のみを採用したりしてもよい。

【0025】

警報出力部１７０は、距離設定部１６０によって設定した線状の物体までの距離が所定のしきい値（例えば５ｍ）以下のときに、所定の警報出力を行う。例えば、警報画面の表示や警報音の出力などを行うことにより、電動車両の搭乗者（利用者）に対して、前方に見えにくい線状の物体が存在することを知らせることができる。

【0026】

上述したステレオカメラ１１０、距離算出部１２０が距離検出手段に、距離算出部１２０が距離算出手段に、深度画像作成部１３０が深度画像作成手段に、部分画像抽出部１４０が部分画像抽出手段に、検知対象特定部１５０が検知対象特定手段に、距離設定部１６０が距離設定手段にそれぞれ対応する。

【0027】

本実施形態の物体検知装置１００はこのような構成を有しており、次に、その動作を説明する。

【0028】

図３は、前方に存在する線状の物体を検知して警報を行う動作手順を示す流れ図である。この一連の動作手順は、一定の時間間隔で繰り返し実施される。

【0029】

まず、ステレオカメラ１１０を用いて前方の検出範囲が撮像されると（ステップ１００）、距離算出部１２０は、これらの撮像によって得られた画像に基づいて、検出範囲内にある各物体に対応する距離を画素単位で算出する（ステップ１０２）。

【0030】

次に、深度画像作成部１３０は、距離算出部１２０による算出結果（画素単位の距離）を画素値に対応させた深度画像を作成する（ステップ１０４）。また、部分画像抽出部１４０は、この深度画像に含まれる特定形状の部分画像を抽出する処理を行い、深度画像内に部分画像があるか否かを判定する（ステップ１０６）。部分画像がない場合には否定判断が行われ、警報動作を行うことなく一連の動作が終了する。

【0031】

また、深度画像内に特定形状の部分画像がある場合にはステップ１０６の判定において肯定判断が行われる。次に、検知対象特定部１５０は、抽出された部分画像について、その端部に隣接物体があるか否かを判定する（ステップ１０８）。隣接物体が存在しない場合には否定判断が行われる。この場合には、抽出した部分画像に対応する物体を検知対象の物体として特定することなく一連の動作が終了する。

【0032】

また、部分画像の端部に隣接物体がある場合にはステップ１０８の判定において肯定判断が行われる。この場合には、検知対象特定部１５０は、この隣接画像が端部に存在する部分画像に対応する線状の物体を検知対象の物体として特定する（ステップ１１０）。また、距離設定部１６０は、隣接物体までの距離を、検知対象物としての線状の物体までの距離として設定する（ステップ１１２）。

【0033】

次に、警報出力部１７０は、検知対象物としての線状の物体までの距離が、警報出力の有無を判定するためのしきい値以下か否かを判定する（ステップ１１４）。しきい値より大きい場合には否定判断が行われる。この場合には、検知対象として特定された線状の物体に対する警報動作を行うことなく一連の動作が終了する。

【0034】

また、検知対象物としての線状の物体までの距離がしきい値以下の場合にはステップ１１４の判定において肯定判断が行われる。この場合には、警報出力部１７０は、所定の警報出力を行う（ステップ１１６）。

【0035】

このように、本実施形態の物体検知装置１００では、幅などが狭すぎて距離の検出が難しい線状の物体であっても、正確な距離の検出ができなかった画素を辿ることでこの物体の存在を確認することができ、線状の物体の検出精度を上げることができる。また、距離の検出にステレオカメラ１１０を用いることにより、複雑な検出機構を用いることなく、物体の検知が可能となる。

【0036】

また、線状の物体を支持している隣接物体の存在を確認したときに、特定形状の部分画像に対応する線状の物体を検知対象として設定することにより、線状の物体の検出精度をさらに上げることができる。特に、チェーンやロープなどの線状の物体についてはその両端で支持する必要があることから、両端の隣接物体の存在を確認することにより、チェーンやロープなどの線状の物体の検出精度をさらに上げることができる。また、隣接物体までの距離を、線状の物体までの距離として設定することにより、検出が難しかった線状の物体までのおおよその距離を知ることが可能となる。

【0037】

また、部分画像を抽出するための特定形状を、線状の物体が自重で垂れ下がる懸垂形状とすることにより、懸垂形状となるチェーンやロープなどの線状の物体を確実に検出することができる。

【0038】

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、特定形状の部分画像の端部に隣接物体が存在する場合に、この部分画像に対応する物体を検知対象として設定するようにしたが、隣接物体の有無にかかわらずこの部分画像に対応する物体を検知対象として設定するようにしてもよい。

【0039】

また、上述した実施形態では、シニアカー等の電動車両に搭載する物体検知装置について説明したが、他の車両に搭載する物体検知装置や、車両以外の場所に設定する物体検知装置に本発明を適用してもよい。

【産業上の利用可能性】

【0040】

上述したように、本発明によれば、幅などが狭すぎて距離の検出が難しい線状の物体であっても、正確な距離の検出ができなかった画素を辿ることでこの物体の存在を確認することができ、線状の物体の検出精度を上げることができる。

【符号の説明】

【0041】

１００ 物体検知装置
１１０ ステレオカメラ
１１０Ｒ 右カメラ
１１０Ｌ 左カメラ
１２０ 距離算出部
１３０ 深度画像作成部
１４０ 部分画像抽出部
１５０ 検知対象特定部
１６０ 距離設定部
１７０ 警報出力部

【図1】

【図2】

【図3】