特許 7334572 物体検知装置および物体検知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-21

(45)【発行日】2023-08-29

(54)【発明の名称】物体検知装置および物体検知プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230822BHJP

   G06T 7/00 20170101ALI20230822BHJP

   G06T 7/50 20170101ALI20230822BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650B

G06T7/50

【請求項の数】 10

(21)【出願番号】P 2019188276

(22)【出願日】2019-10-14

(65)【公開番号】P2021064158

(43)【公開日】2021-04-22

【審査請求日】2022-03-10

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001128

【氏名又は名称】弁理士法人ゆうあい特許事務所

(72)【発明者】

【氏名】重村 宗作

(72)【発明者】

【氏名】榊原 佑太

(72)【発明者】

【氏名】三野 敦

(72)【発明者】

【氏名】大林 幹生

(72)【発明者】

【氏名】杉原 邦泰

(72)【発明者】

【氏名】貴田 明宏

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２０１９－１５２６１７（ＪＰ，Ａ）

【文献】特開２０１０－１７６６６９（ＪＰ，Ａ）

【文献】特開２０１４－１９１４８５（ＪＰ，Ａ）

【文献】特開２０１７－０１０５３９（ＪＰ，Ａ）

【文献】特開２０１８－０９７７６５（ＪＰ，Ａ）

【文献】特開２００９－０３１２４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｒ ２１／００ － ２１／０１７

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １／００ － １／４０

(57)【特許請求の範囲】

【請求項1】

自車両（１０）に搭載されることで当該自車両の周囲に存在する物体（Ｂ）を検知するように構成された、物体検知装置（２０）であって、
撮像部（２１）により撮像された前記自車両の周囲の画像に基づいて検知された前記物体における、検知点の位置座標を取得する、座標取得部（２７１）と、
前記撮像部の特性に基づいて、前記検知点における前記位置座標の精度に対応する精度信頼度を設定する、精度信頼度設定部（２７４）と、
を備え、
前記精度信頼度設定部は、前記画像上の前記検知点の位置と、当該位置に対応する前記撮像部の前記特性としての距離分解能とに基づいて、前記精度信頼度を設定する、
物体検知装置。

【請求項2】

前記検知点における前記位置座標と前記精度信頼度とを対応付けて記憶する検知結果記憶部（２７５）をさらに備え、
前記精度信頼度設定部は、過去に検知され現在不検知の前記検知点に対応する前記精度信頼度を、前記自車両の移動距離に応じて低下させる、
請求項１に記載の物体検知装置。

【請求項3】

前記精度信頼度設定部は、
前記撮像部の前記特性に基づいて、前記検知点における前記位置座標の精度に対応する第一精度信頼度を設定する、第一精度信頼度設定部（７０１）と、
前記撮像部以外で前記物体を検知可能な物体検知センサ（２２）による検知結果の精度に対応する第二精度信頼度を設定する、第二精度信頼度設定部（７０２）と、
前記第一精度信頼度と前記第二精度信頼度とを統合する、精度信頼度統合部（７０３）と、
を備えた、
請求項１または２に記載の物体検知装置。

【請求項4】

前記第一精度信頼度設定部は、前記検知点における前記位置座標の位置誤差に対応する前記第一精度信頼度を設定し、
前記第二精度信頼度設定部は、前記物体検知センサを用いて検知された前記物体におけるセンサ検知点の前記位置座標の位置誤差に対応する前記第二精度信頼度を設定する、
請求項３に記載の物体検知装置。

【請求項5】

前記物体検知センサは、超音波センサである、
請求項３または４に記載の物体検知装置。

【請求項6】

自車両（１０）に搭載されることで当該自車両の周囲に存在する物体（Ｂ）を検知するように構成された物体検知装置（２０）により実行される物体検知プログラムであって、
前記物体検知装置により実行される処理は、
撮像部（２１）により撮像された前記自車両の周囲の画像に基づいて検知された前記物体における、検知点の位置座標を取得する処理と、
前記撮像部の特性に基づいて、前記検知点における前記位置座標の精度に対応する精度信頼度を設定する処理と、
を含み、
前記精度信頼度を設定する処理にて、前記画像上の前記検知点の位置と、当該位置に対応する前記撮像部の前記特性としての距離分解能とに基づいて、前記精度信頼度を設定する、
物体検知プログラム。

【請求項7】

前記物体検知装置により実行される処理は、前記検知点における前記位置座標と前記精度信頼度とを対応付けて記憶する処理をさらに含み、
前記精度信頼度を設定する処理にて、過去に検知され現在不検知の前記検知点に対応する前記精度信頼度を、前記自車両の移動距離に応じて低下させる、
請求項６に記載の物体検知プログラム。

【請求項8】

前記精度信頼度を設定する処理は、
前記撮像部の前記特性に基づいて、前記検知点における前記位置座標の精度に対応する第一精度信頼度を設定する処理と、
前記撮像部以外で前記物体を検知可能な物体検知センサ（２２）による検知結果の精度に対応する第二精度信頼度を設定する処理と、
前記第一精度信頼度と前記第二精度信頼度とを統合する処理と、
を含む、
請求項６または７に記載の物体検知プログラム。

【請求項9】

前記第一精度信頼度を設定する処理にて、前記検知点における前記位置座標の位置誤差に対応する前記第一精度信頼度を設定し、
前記第二精度信頼度を設定する処理にて、前記物体検知センサを用いて検知された前記物体におけるセンサ検知点の前記位置座標の位置誤差に対応する前記第二精度信頼度を設定する、
請求項８に記載の物体検知プログラム。

【請求項10】

前記物体検知センサとして、超音波センサを用いる、
請求項８または９に記載の物体検知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両に搭載されることで当該自車両の周囲に存在する物体を検知するように構成された、物体検知装置に関する。また、本発明は、かかる物体検知装置により実行される物体検知プログラムに関する。

【背景技術】

【0002】

特許文献１に記載の障害物検出装置は、障害物を検出する障害物検知センサを有し、上記障害物検知センサにより障害物を検知したときに利用者にその旨を知らせる。障害物検知センサは、複数のカメラの視差から障害物を検知するステレオカメラからなっている。

【0003】

特許文献１に記載の障害物検出装置には、信頼度算出部と、第１判断部と、第１注意喚起部とが設けられている。信頼度算出部は、障害物検知センサによる障害物の検知の信頼度を算出する。第１判断部は、算出された信頼度が閾値以下である場合に、当該信頼度が低下していると判断する。第１注意喚起部は、第１判断部により上記信頼度が低下している判断された場合に、利用者に注意喚起する。

【0004】

信頼度算出部は、ステレオカメラにて撮像した画像から信頼度を算出する。信頼度が低い状況は、ステレオカメラ方式にて誤判定を起こし易い状況である。

【0005】

具体的には、信頼度算出部は、例えば、ステレオカメラにて撮像した画像の輝度に基づいて信頼度を算出する。例えば、輝度を２５５階調で出力している場合、輝度閾値２３０以上のピクセル数をカウントし、カウント数が一定数以上の場合は、信頼度が低いと判定する。これにより、例えば、床面や金属のように光沢がある面での反射光が多い場合に誤判定を起こすことを防止でき、かつ利用者に障害物検知がうまく動作していないことを注意喚起することができる。

【0006】

また、信頼度算出部は、例えば、周辺の明るさを検出する照度センサの出力値に基づいて信頼度を算出する。照度が一定値以上、または一定値以下の場合に、信頼度が低くなっていることが判断される。照度が高い場合、逆光や反射光の影響でステレオカメラでの検知信頼性が低くなっている可能性が高いと判断することができる。また、照度が低い場合、夜間や暗所においてカメラでの検知信頼性が低くなっている可能性が高いと判断することができる。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１４－１９１４８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

この種の物体検知装置および物体検知方法において、物体の検知結果に基づく車両制御をよりいっそう安定的に行うことが求められている。本発明は、上記に例示した事情等に鑑みてなされたものである。すなわち、本発明は、例えば、物体の検知結果に基づく車両制御をよりいっそう安定的に行うことが可能な、物体検知装置および物体検知プログラムを提供する。

【課題を解決するための手段】

【0009】

請求項１に記載の物体検知装置（２０）は、自車両（１０）に搭載されることで、当該自車両の周囲に存在する物体（Ｂ）を検知するように構成されている。
この物体検知装置は、
撮像部（２１）により撮像された前記自車両の周囲の画像に基づいて検知された前記物体における、検知点の位置座標を取得する、座標取得部（２７１）と、
前記撮像部の特性に基づいて、前記検知点における前記位置座標の精度に対応する精度信頼度を設定する、精度信頼度設定部（２７４）と、
を備え、
前記精度信頼度設定部は、前記画像上の前記検知点の位置と、当該位置に対応する前記撮像部の前記特性としての距離分解能とに基づいて、前記精度信頼度を設定する。
請求項６に記載の物体検知プログラムは、自車両（１０）に搭載されることで当該自車両の周囲に存在する物体（Ｂ）を検知するように構成された物体検知装置（２０）により実行されるプログラムであって、
前記物体検知装置により実行される処理は、
撮像部（２１）により撮像された前記自車両の周囲の画像に基づいて検知された前記物体における、検知点の位置座標を取得する処理と、
前記撮像部の特性に基づいて、前記検知点における前記位置座標の精度に対応する精度信頼度を設定する処理と、
を含み、
前記精度信頼度を設定する処理にて、前記画像上の前記検知点の位置と、当該位置に対応する前記撮像部の前記特性としての距離分解能とに基づいて、前記精度信頼度を設定する。

【0010】

なお、出願書類において、各要素に括弧付きの参照符号が付される場合がある。しかしながら、この場合であっても、かかる参照符号は、各要素と後述する実施形態に記載の具体的手段との対応関係の単なる一例を示すものにすぎない。よって、本発明は、上記の参照符号の記載によって、何ら限定されるものではない。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る物体検知装置を搭載した車両の概略構成を示す平面図である。

【図2】図１に示された物体検知装置の概略的なシステム構成を示す機能ブロック図である。

【図3】図１に示された物体検知装置の動作概要を説明するための概略図である。

【図4】図１に示された物体検知装置の動作例を示すフローチャートである。

【図5】図１に示された物体検知装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0012】

（実施形態）
以下、本発明の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると、当該実施形態の理解が妨げられるおそれがある。このため、変形例については、当該実施形態に関する一連の説明の途中ではなく、その後にまとめて説明する。

【0013】

（車両全体構成）
図１を参照すると、車両１０は、いわゆる四輪自動車であって、平面視にて略矩形状の車体１１を備えている。以下、車両１０の車幅方向における中心を通り、且つ車両１０における車両全長方向と平行な仮想直線を、車両中心軸線ＬＣと称する。図１において、車幅方向は図中左右方向である。車両全長方向は、車幅方向と直交し且つ車高方向と直交する方向である。車高方向は、車両１０の車高を規定する方向であって、車両１０を水平面に走行可能な状態で安定的に載置した場合の重力作用方向と平行な方向である。さらに、走行により車両１０が移動する、車高方向と直交する任意の方向を、車両１０の「並進方向」と称することがある。

【0014】

説明の便宜上、車両１０における「前」「後」「左」「右」を、図１中にて矢印で示された通りに定義する。すなわち、車両全長方向は、前後方向と同義である。また、車幅方向は、左右方向と同義である。なお、車高方向は、車両１０の載置条件または走行条件により、重力作用方向と平行とはならない場合があり得る。もっとも、車高方向は多くの場合に重力作用方向に沿った方向となるため、車高方向と直交する「並進方向」は、「水平方向」、「面内方向」、「進入方向」、「進行方向」あるいは「進路方向」とも称され得る。

【0015】

車体１１における前側の端部である前面部１２には、フロントバンパー１３が装着されている。車体１１における後側の端部である後面部１４には、リアバンパー１５が装着されている。車体１１における側面部１６には、ドアパネル１７が装着されている。図１に示す具体例においては、左右にそれぞれ２枚ずつ、合計４枚のドアパネル１７が設けられている。前側の左右一対のドアパネル１７のそれぞれには、ドアミラー１８が装着されている。

【0016】

（物体検知装置）
車両１０には、物体検知装置２０が搭載されている。物体検知装置２０は、車両１０に搭載されることで、当該車両１０の外側且つその周囲に存在する物体Ｂを検知するように構成されている。以下、物体検知装置２０を搭載した車両１０を、「自車両１０」と略称することがある。

【0017】

本実施形態においては、物体検知装置２０は、撮像部２１と、超音波センサ２２と、レーダーセンサ２３と、車速センサ２４と、シフトポジションセンサ２５と、舵角センサ２６と、物体検知ＥＣＵ２７と、表示部２８と、音声出力部２９とを備えている。ＥＣＵはElectronic Control Unitの略である。以下、物体検知装置２０を構成する各部の詳細について、図１および図２を参照しつつ説明する。なお、図示の簡略化のため、物体検知装置２０を構成する各部の間の電気接続関係は、図１においては省略されている。

【0018】

撮像部２１は、自車両１０の周囲の画像を撮影しつつ当該自車両１０の移動に伴って移動するように、当該自車両１０に搭載されている。撮像部２１は、自車両１０の周囲の撮影画像に対応する画像情報を生成するように構成されている。本実施形態においては、撮像部２１は、デジタルカメラ装置であって、ＣＣＤあるいはＣＭＯＳ等のイメージセンサを備えている。ＣＣＤはCharge Coupled Deviceの略である。ＣＭＯＳはComplementary MOSの略である。

【0019】

本実施形態においては、車両１０には、複数の撮像部２１、すなわち、フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲが搭載されている。フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲのうちの、いずれかであることを特定しない場合に、以下、「撮像部２１」という単数形の表現、または「複数の撮像部２１」という表現が用いられることがある。

【0020】

フロントカメラＣＦは、自車両１０の前方の画像に対応する画像情報を取得するように、車体１１の前面部１２に装着されている。リアカメラＣＢは、自車両１０の後方の画像に対応する画像情報を取得するように、車体１１の後面部１４に装着されている。

【0021】

左側カメラＣＬは、自車両１０の左方の画像に対応する画像情報を取得するように、左側のドアミラー１８に装着されている。右側カメラＣＲは、自車両１０の右方の画像に対応する画像情報を取得するように、右側のドアミラー１８に装着されている。

【0022】

複数の撮像部２１の各々は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。すなわち、複数の撮像部２１の各々は、取得すなわち生成した画像情報を、物体検知ＥＣＵ２７にて受信可能に出力するようになっている。

【0023】

「ソナー」あるいは「ソナーセンサ」とも称される超音波センサ２２は、物体Ｂまでの距離を検出する測距センサであって、車体１１に装着されている。本実施形態においては、超音波センサ２２は、超音波である探査波を自車両１０の外側に向けて発信するとともに、超音波を含む受信波を受信可能に構成されている。すなわち、超音波センサ２２は、探査波の物体Ｂによる反射波を含む受信波を受信することで、物体Ｂ上の測距点との距離の検出結果である測距情報を出力するように設けられている。「測距点」は、物体Ｂの表面上における、超音波センサ２２から発信された探査波を反射したと推定される点であって、レーダーセンサ２３における「反射点」に対応する点である。

【0024】

物体検知装置２０は、少なくとも一個の超音波センサ２２を備えている。具体的には、本実施形態においては、複数の超音波センサ２２が設けられている。複数の超音波センサ２２は、それぞれ、車両中心軸線ＬＣから車幅方向におけるいずれか一方側にシフトして配置されている。また、複数の超音波センサ２２のうちの少なくとも一部は、車両中心軸線ＬＣと交差する方向に沿って探査波を発信するように設けられている。

【0025】

具体的には、フロントバンパー１３には、超音波センサ２２としての、第一フロントソナーＳＦ１、第二フロントソナーＳＦ２、第三フロントソナーＳＦ３、および第四フロントソナーＳＦ４が装着されている。同様に、リアバンパー１５には、超音波センサ２２としての、第一リアソナーＳＲ１、第二リアソナーＳＲ２、第三リアソナーＳＲ３、および第四リアソナーＳＲ４が装着されている。また、車体１１の側面部１６には、超音波センサ２２としての、第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４が装着されている。

【0026】

第一フロントソナーＳＦ１、第二フロントソナーＳＦ２、第三フロントソナーＳＦ３、第四フロントソナーＳＦ４、第一リアソナーＳＲ１、第二リアソナーＳＲ２、第三リアソナーＳＲ３、第四リアソナーＳＲ４、第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４のうちの、いずれかであることを特定しない場合に、以下、「超音波センサ２２」という単数形の表現、または「複数の超音波センサ２２」という表現が用いられることがある。

【0027】

或る一個の超音波センサ２２を「第一超音波センサ」と称し、別の一個の超音波センサ２２を「第二超音波センサ」と称して、「直接波」および「間接波」を、以下のように定義する。第一超音波センサに受信される受信波であって、第一超音波センサから発信された探査波の物体Ｂによる反射波に起因する受信波を、「直接波」と称する。すなわち、直接波は、探査波を送信した超音波センサ２２と、当該探査波の物体Ｂによる反射波を受信波として検知した超音波センサ２２とが、同一である場合の、当該受信波である。これに対し、第二超音波センサに受信される受信波であって、第一超音波センサから発信された探査波の物体Ｂによる反射波に起因する受信波を、「間接波」と称する。すなわち、間接波とは、探査波を送信した超音波センサ２２と、当該探査波の物体Ｂによる反射波を受信波として検知した超音波センサ２２とが、異なる場合の、当該受信波である。

【0028】

第一フロントソナーＳＦ１は、自車両１０の左前方に探査波を発信するように、フロントバンパー１３の前側表面における左端部に設けられている。第二フロントソナーＳＦ２は、自車両１０の右前方に探査波を発信するように、フロントバンパー１３の前側表面における右端部に設けられている。第一フロントソナーＳＦ１と第二フロントソナーＳＦ２とは、車両中心軸線ＬＣを挟んで対称に配置されている。

【0029】

第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、フロントバンパー１３の前側表面における中央寄りの位置にて、車幅方向に配列されている。第三フロントソナーＳＦ３は、自車両１０の略前方に探査波を発信するように、車幅方向について第一フロントソナーＳＦ１と車両中心軸線ＬＣとの間に配置されている。第四フロントソナーＳＦ４は、自車両１０の略前方に探査波を発信するように、車幅方向について第二フロントソナーＳＦ２と車両中心軸線ＬＣとの間に配置されている。第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、車両中心軸線ＬＣを挟んで対称に配置されている。

【0030】

上記の通り、車体１１の左側に装着された第一フロントソナーＳＦ１および第三フロントソナーＳＦ３は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一フロントソナーＳＦ１と第三フロントソナーＳＦ３とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

【0031】

すなわち、第一フロントソナーＳＦ１は、自己が発信した探査波に対応する直接波と、第三フロントソナーＳＦ３が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三フロントソナーＳＦ３は、自己が発信した探査波に対応する直接波と、第一フロントソナーＳＦ１が発信した探査波に対応する間接波との双方を受信可能に配置されている。

【0032】

同様に、車体１１の車幅方向における中央寄りに装着された第三フロントソナーＳＦ３および第四フロントソナーＳＦ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

【0033】

同様に、車体１１の右側に装着された第二フロントソナーＳＦ２および第四フロントソナーＳＦ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二フロントソナーＳＦ２と第四フロントソナーＳＦ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

【0034】

第一リアソナーＳＲ１は、自車両１０の左後方に探査波を発信するように、リアバンパー１５の後側表面における左端部に設けられている。第二リアソナーＳＲ２は、自車両１０の右後方に探査波を発信するように、リアバンパー１５の後側表面における右端部に設けられている。第一リアソナーＳＲ１と第二リアソナーＳＲ２とは、車両中心軸線ＬＣを挟んで対称に配置されている。

【0035】

第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、リアバンパー１５の後側表面における中央寄りの位置にて、車幅方向に配列されている。第三リアソナーＳＲ３は、自車両１０の略後方に探査波を発信するように、車幅方向について第一リアソナーＳＲ１と車両中心軸線ＬＣとの間に配置されている。第四リアソナーＳＲ４は、自車両１０の略後方に探査波を発信するように、車幅方向について第二リアソナーＳＲ２と車両中心軸線ＬＣとの間に配置されている。第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、車両中心軸線ＬＣを挟んで対称に配置されている。

【0036】

上記の通り、車体１１の左側に装着された第一リアソナーＳＲ１および第三リアソナーＳＲ３は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一リアソナーＳＲ１と第三リアソナーＳＲ３とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

【0037】

すなわち、第一リアソナーＳＲ１は、自己が発信した探査波に対応する直接波と、第三リアソナーＳＲ３が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三リアソナーＳＲ３は、自己が発信した探査波に対応する直接波と、第一リアソナーＳＲ１が発信した探査波に対応する間接波との双方を受信可能に配置されている。

【0038】

同様に、車体１１の車幅方向における中央寄りに装着された第三リアソナーＳＲ３および第四リアソナーＳＲ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

【0039】

同様に、車体１１の右側に装着された第二リアソナーＳＲ２および第四リアソナーＳＲ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二リアソナーＳＲ２と第四リアソナーＳＲ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

【0040】

第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４は、側面部１６の外側表面である車両側面から探査波を自車両１０の側方に発信するように設けられている。第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４は、それぞれ、直接波のみを受信可能に設けられている。

【0041】

第一サイドソナーＳＳ１は、自車両１０の左方に探査波を発信するように、前後方向について左側のドアミラー１８と第一フロントソナーＳＦ１との間に配置されている。第二サイドソナーＳＳ２は、自車両１０の右方に探査波を発信するように、前後方向について右側のドアミラー１８と第二フロントソナーＳＦ２との間に配置されている。第一サイドソナーＳＳ１と第二サイドソナーＳＳ２とは、車両中心軸線ＬＣを挟んで対称に設けられている。

【0042】

第三サイドソナーＳＳ３は、自車両１０の左方に探査波を発信するように、前後方向について左後側のドアパネル１７と第一リアソナーＳＲ１との間に配置されている。第四サイドソナーＳＳ４は、自車両１０の右方に探査波を発信するように、前後方向について右後側のドアパネル１７と第二リアソナーＳＲ２との間に配置されている。第三サイドソナーＳＳ３と第四サイドソナーＳＳ４とは、車両中心軸線ＬＣを挟んで対称に設けられている。

【0043】

複数の超音波センサ２２の各々は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。複数の超音波センサ２２の各々は、物体検知ＥＣＵ２７の制御下で探査波を発信するとともに、受信波の受信結果に対応する信号を発生して物体検知ＥＣＵ２７にて受信可能に出力するようになっている。受信波の受信結果に対応する信号に含まれる情報を、以下「測距情報」と称する。測距情報には、受信波の受信強度に関連する情報、および、距離情報が含まれる。「距離情報」は、複数の超音波センサ２２の各々と物体Ｂとの距離に関連する情報である。具体的には、例えば、距離情報には、探査波の発信から受信波の受信までの時間差に関連する情報が含まれる。

【0044】

レーダーセンサ２３は、レーダー波を送受信するレーザーレーダーセンサまたはミリ波レーダーセンサであって、車体１１の前面部１２に装着されている。レーダーセンサ２３は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。レーダーセンサ２３は、反射点の位置および相対速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように構成されている。「反射点」は、物体Ｂの表面上における、レーダー波を反射したと推定される点である。「相対速度」は、反射点すなわちレーダー波を反射した物体Ｂの、自車両１０に対する相対速度である。

【0045】

車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。車速センサ２４は、自車両１０の走行速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。自車両１０の走行速度を、以下単に「車速」と称する。シフトポジションセンサ２５は、自車両１０のシフトポジションに対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。舵角センサ２６は、自車両１０の操舵角に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。

【0046】

物体検知ＥＣＵ２７は、車体１１の内側に配置されている。物体検知ＥＣＵ２７は、いわゆる車載マイクロコンピュータであって、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性リライタブルメモリ、等を備えている。不揮発性リライタブルメモリは、例えば、ＥＥＰＲＯＭ、フラッシュＲＯＭ、ハードディスク、等である。ＥＥＰＲＯＭはElectronically Erasable and Programmable Read Only Memoryの略である。物体検知ＥＣＵ２７のＣＰＵ、ＲＯＭ、ＲＡＭおよび不揮発性リライタブルメモリを、以下単に「ＣＰＵ」、「ＲＯＭ」、「ＲＡＭ」および「不揮発記憶媒体」と略称する。ＲＯＭおよび不揮発記憶媒体は、コンピュータ読み取り可能な非遷移的実体的記憶媒体に相当するものである。

【0047】

物体検知ＥＣＵ２７は、ＣＰＵがＲＯＭまたは不揮発記憶媒体からプログラムを読み出して実行することで、各種の制御動作を実現可能に構成されている。このプログラムには、後述のフローチャートあるいはルーチンに対応するものが含まれている。また、ＲＡＭおよび不揮発記憶媒体は、ＣＰＵがプログラムを実行する際の処理データを一時的に格納可能に構成されている。さらに、ＲＯＭおよび／または不揮発記憶媒体には、プログラムの実行の際に用いられる各種のデータが、あらかじめ格納されている。各種のデータには、例えば、初期値、ルックアップテーブル、マップ、等が含まれている。

【0048】

物体検知ＥＣＵ２７は、複数の撮像部２１の各々、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等から受信した信号および情報に基づいて、物体検知動作を実行するように構成されている。また、物体検知ＥＣＵ２７は、表示部２８および音声出力部２９の動作を制御することで、物体検知状態に伴う報知動作を行うようになっている。

【0049】

表示部２８および音声出力部２９は、車両１０における車室内に配置されている。また、表示部２８および音声出力部２９は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。すなわち、表示部２８は、物体検知結果およびこれを用いた各種動作に伴う報知動作を、表示画面またはインジケータを用いた表示により行うように構成されている。また、音声出力部２９は、物体検知結果およびこれを用いた各種動作に伴う報知動作を、スピーカを用いた音声出力により行うように構成されている。

【0050】

本実施形態においては、物体検知ＥＣＵ２７は、駐車支援機能および衝突回避機能を含む運転支援機能を奏するように構成されている。具体的には、例えば、物体検知ＥＣＵ２７は、撮像部２１を用いて駐車スペースを検出するとともに、検出した駐車スペースへの自車両１０の移動を、超音波センサ２２等による障害物検知結果に基づいて支援するようになっている。「障害物」とは、自車両１０の周囲に存在する物体Ｂのうち、高さが所定の閾値よりも高いために乗り越え走行が困難または不可能なものをいう。また、物体検知ＥＣＵ２７は、撮像部２１を用いて検知した障害物を回避しつつ所定の算出経路を走行するために必要な、自車両１０の加減速制御量および操舵制御量を算出するようになっている。

【0051】

すなわち、物体検知装置２０は、運転支援装置５０の一部を構成するように設けられている。運転支援装置５０は、物体検知装置２０に加えて、入力操作部５１と、動力制御ＥＣＵ５２と、制動制御ＥＣＵ５３と、操舵制御ＥＣＵ５４とを備えている。入力操作部５１、動力制御ＥＣＵ５２、制動制御ＥＣＵ５３、および操舵制御ＥＣＵ５４は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。

【0052】

入力操作部５１は、車両１０における車室内に配置されている。入力操作部５１は、車両１０の乗員である操作者による入力操作を受け付けるための、スイッチ類および／または音声入力部を備えている。

【0053】

動力制御ＥＣＵ５２は、不図示の走行用モータおよび／またはエンジンの動作を制御して、車両１０の走行出力を制御するように設けられている。制動制御ＥＣＵ５３は、不図示のブレーキアクチュエータ等の駆動を制御して、車両１０の制動力を制御するように設けられている。操舵制御ＥＣＵ５４は、不図示の操舵用モータの駆動を制御して、車両１０の操舵量を制御するように設けられている。

【0054】

（物体検知ＥＣＵ）
図２を参照すると、物体検知ＥＣＵ２７は、マイクロコンピュータ上にて実現される、以下の機能構成を有している。すなわち、物体検知ＥＣＵ２７は、画像情報取得部２７０と、第一座標取得部２７１と、測距情報取得部２７２と、第二座標取得部２７３とを有している。また、物体検知ＥＣＵ２７は、精度信頼度設定部２７４と、検知結果記憶部２７５と、物体認識部２７６と、制御内容判定部２７７とを有している。以下、本実施形態における、物体検知ＥＣＵ２７の機能構成の詳細について説明する。

【0055】

画像情報取得部２７０は、自車両１０の周囲の撮影画像に対応する画像情報を取得するように設けられている。具体的には、画像情報取得部２７０は、撮像部２１により生成された画像情報を撮像部２１から受信するとともに、受信した画像情報を、不揮発記憶媒体を用いて時系列で所定容量分保持するようになっている。

【0056】

本発明に係る「座標取得部」に相当する第一座標取得部２７１は、撮像部２１により撮像された自車両１０の周囲の画像に基づいて検知された物体Ｂにおける、検知点の三次元的な位置座標を取得するように設けられている。「検知点」は、物体Ｂに対応する点、典型的には、物体Ｂの表面上の点として検知された点である。「位置座標」は、「三次元座標」あるいは「三次元位置座標」とも称され得る。以下、第一座標取得部２７１により、画像情報に基づいて位置座標が算出された検知点を、「カメラ検知点」と称することがある。

【0057】

第一座標取得部２７１は、画像情報取得部２７０にて取得した画像情報に基づいて、撮影画像における特徴点を抽出するように設けられている。また、第一座標取得部２７１は、抽出した特徴点に基づいて、移動ステレオの手法により、物体Ｂに対応する特徴点における三次元位置座標を算出するようになっている。

【0058】

特徴点は、撮影画像中の物体Ｂの形状を特徴付ける点である。具体的には、特徴点は、撮影画像の画角すなわち画像フレーム内における、特徴的な点すなわち画素である。例えば、特徴点は、隣接する画素との間での輝度変化が大きな画素である。なお、特徴点およびその抽出手法は、本願の出願時点にて周知である。特徴点の検出手法として、周知の手法（例えば、Sobelフィルタ、Laplacianフィルタ、Canny法、等。）を用いることが可能である。したがって、本明細書においては、特徴点の抽出手法の詳細については、説明を省略する。なお、特徴点の「抽出」は、「検出」とも表現され得る。

【0059】

第一座標取得部２７１は、一個の撮像部２１により異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体Ｂに対応するカメラ検知点における位置座標を取得するように設けられている。「一個の撮像部２１」は、例えば、自車両１０の前方に存在する物体Ｂを検知する場合は、フロントカメラＣＦである。すなわち、第一座標取得部２７１は、同一の撮像部２１により異なる自車両位置および時刻にて撮像された複数の撮影画像に基づいて、移動ステレオの手法により、物体Ｂに対応する特徴点における位置座標を算出するようになっている。移動ステレオは、単眼移動ステレオあるいはＳＦＭとも称される。ＳＦＭはStructure from Motionの略である。なお、移動ステレオあるいはＳＦＭについては、本願の出願時点において、すでに公知あるいは周知となっている。したがって、本明細書においては、移動ステレオあるいはＳＦＭの詳細については、説明を省略する。

【0060】

第一座標取得部２７１により位置座標が算出される、物体Ｂに対応する「検知点」は、抽出された特徴点のうち、異なる自車両位置および時刻にて撮像された複数の撮影画像間での対応付けが成功したものである。よって、「検知点」は、「特徴点」を含む概念と云うことが可能である。また、「検知点」は、「測距点」、あるいは、後述の「センサ検知点」を含む概念である。以下、「検知点」という用語を、カメラ検知点とセンサ検知点とを区別しない場合に用いる。

【0061】

第一座標取得部２７１により算出される、カメラ検知点の位置座標は、所定の原点を基準に設定されたＸＹＺ三次元座標系における位置座標である。「所定の原点」は、例えば、所定の基準時点における、フロントカメラＣＦの位置である。「所定の基準時点」は、例えば、物体検知装置２０による物体検知動作が開始された時点である。ＸＹＺ三次元座標系は、例えば、所定の基準時点における所定の原点を基準として、前方をＸ軸正方向とし、Ｙ軸正方向を車幅方向と平行とし、Ｚ軸正方向を車高方向と平行として設定した直交座標系である。

【0062】

測距情報取得部２７２は、超音波センサ２２による検知結果である測距情報を取得するように設けられている。すなわち、測距情報取得部２７２は、超音波センサ２２から測距情報を受信するとともに、受信した測距情報を、不揮発記憶媒体を用いて時系列で所定容量分保持するようになっている。

【0063】

第二座標取得部２７３は、取得した測距情報に基づいて、物体Ｂの自車両１０に対する並進方向についての相対位置情報を取得するように設けられている。すなわち、第二座標取得部２７３は、複数の超音波センサ２２を用いて取得した測距情報に基づく三角測量により、ＸＹＺ三次元座標系におけるＸＹ平面内の物体Ｂの位置情報を取得するようになっている。ＸＹＺ三次元座標系におけるＸＹ平面内の位置を、以下「並進位置」と称する。また、並進位置のＸＹ平面における座標を、以下「並進位置座標」と称する。さらに、第二座標取得部２７３は、位置情報の取得結果を、不揮発記憶媒体を用いて時系列で所定容量分保持するようになっている。

【0064】

精度信頼度設定部２７４は、撮像部２１の特性に基づいて、検知点における位置座標の精度に対応する精度信頼度を設定するように設けられている。「精度信頼度」は、検知点について取得すなわち算出された位置座標が、どの程度の精度を有しているかを示す指標である。よって、「精度信頼度」は、特許文献１に記載されているような、物体Ｂの検知結果に関する信頼度とは異なる。なお、「精度信頼度」は、「位置座標信頼度」、「位置信頼度」、あるいは「位置精度」とも称され得る。

【0065】

精度信頼度設定部２７４は、画像内の検知点の位置と、当該位置に対応する撮像部２１の特性とに基づいて、精度信頼度を設定するように構成されている。「画像内の検知点の位置」とは、特徴点抽出の元となった画像を規定する、略矩形状の画像フレームの内側における、検知点すなわち特徴点の位置である。本実施形態においては、精度信頼度設定部２７４は、第一精度信頼度設定部７０１と、第二精度信頼度設定部７０２と、精度信頼度統合部７０３とを有している。

【0066】

第一精度信頼度設定部７０１は、画像内のカメラ検知点の位置と、当該位置に対応する撮像部２１の特性とに基づいて、第一精度信頼度を設定するように設けられている。第一精度信頼度は、画像内のカメラ検知点の位置に依存して変化する撮像部２１の特性、具体的には、レンズ等の光学系における歪あるいは収差に依存する距離分解能に基づいて設定される精度信頼度である。

【0067】

本実施形態においては、第一精度信頼度設定部７０１は、カメラ検知点における位置座標の位置誤差に対応する第一精度信頼度を設定するようになっている。具体的には、第一精度信頼度設定部７０１は、複数の所定の位置誤差範囲の各々に対応付けられた、複数段階の第一精度信頼度から、画像内のカメラ検知点の位置に応じて一つを選択して設定するようになっている。より詳細には、第一精度信頼度は、最低信頼度のレベル１から最高信頼度のレベル７までの７段階で設定可能となっている。

【0068】

第二精度信頼度設定部７０２は、撮像部２１以外で物体Ｂを検知可能な物体検知センサである超音波センサ２２による検知結果の精度に対応する第二精度信頼度を設定するように設けられている。すなわち、第二精度信頼度設定部７０２は、超音波センサ２２を用いて検知された物体Ｂにおけるセンサ検知点の位置座標の位置誤差に対応する第二精度信頼度を設定するようになっている。「センサ検知点」は、直接波および間接波を用いた三角測量により物体Ｂ上の点として検知された点である。第二精度信頼度は、センサ検知点の並進位置座標についての精度信頼度であって、例えば、車速、舵角、超音波センサ２２における受信状態（例えば反射波受信強度等）、距離情報、等に基づいて設定され得る。

【0069】

具体的には、第二精度信頼度設定部７０２は、複数の所定の位置誤差範囲の各々に対応付けられた、複数段階の第二精度信頼度から、画像内の検知点の位置に応じて一つを選択して設定するようになっている。より詳細には、第二精度信頼度は、最低信頼度側のレベル２から最高信頼度側のレベル５までの４段階で設定可能となっている。レベルｋの第二精度信頼度は、レベルｋの第一精度信頼度と同一の位置誤差範囲を有している。ｋは２～５の整数である。換言すれば、第二精度信頼度設定部７０２は、第二精度信頼度を、第一精度信頼度設定部７０１により設定された第一精度信頼度と統合処理可能な状態で設定するようになっている。

【0070】

精度信頼度統合部７０３は、第一精度信頼度と第二精度信頼度とを統合することで、精度信頼度設定部２７４により設定すべき精度信頼度を決定するように設けられている。また、精度信頼度統合部７０３は、精度信頼度の統合結果に基づいて、車両制御に用いるべき検知点を選択するようになっている。

【0071】

具体的には、精度信頼度統合部７０３は、カメラ検知点とセンサ検知点とで並進位置が近接している場合、第一精度信頼度と第二精度信頼度とのうちの高い方の精度信頼度を選択するようになっている。また、精度信頼度統合部７０３は、第一精度信頼度と第二精度信頼度とのうちの低い方に対応する検知点を、車両制御に関して無効化するようになっている。

【0072】

精度信頼度設定部２７４は、検知点に対する精度信頼度の設定結果を、検知結果記憶部２７５に時系列で所定容量分格納するようになっている。すなわち、検知結果記憶部２７５は、検知点における位置座標と精度信頼度とを対応付けて記憶するように設けられている。また、精度信頼度設定部２７４は、過去に検知され現在不検知の検知点に対応する精度信頼度を、自車両１０の移動距離に応じて低下させるようになっている。

【0073】

物体認識部２７６は、第一座標取得部２７１および第二座標取得部２７３による取得結果と、精度信頼度設定部２７４による精度信頼度の設定結果とに基づいて、物体Ｂを認識するように設けられている。具体的には、物体認識部２７６は、第一座標取得部２７１による位置座標の算出結果と、第二座標取得部２７３にて取得した相対位置情報とに基づいて、物体ＢのＸＹＺ三次元座標系における位置および形状を認識するようになっている。

【0074】

制御内容判定部２７７は、物体認識部２７６による物体Ｂの認識結果に基づいて、制御内容を判定するようになっている。「制御内容」とは、物体Ｂの検知結果に応じて、当該物体Ｂとの衝突を回避しつつ所定の算出経路を走行するために必要な、自車両１０の加減速制御量および操舵制御量である。具体的には、制御内容判定部２７７は、要求される運転支援機能に応じた精度信頼度レベルを選択するとともに、選択した精度信頼度レベルの検知点を利用することで、制御内容を判定するようになっている。また、制御内容判定部２７７は、判定した制御内容を、車載通信回線を介して、動力制御ＥＣＵ５２、制動制御ＥＣＵ５３、および操舵制御ＥＣＵ５４に送信するようになっている。

【0075】

（動作概要）
以下、本実施形態に係る、物体検知装置２０すなわち物体検知ＥＣＵ２７における動作概要について、本実施形態の構成により奏される効果とともに説明する。

【0076】

複数の撮像部２１の各々、すなわち、フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲは、自車両１０の周囲の画像を撮影して、撮影画像に対応する画像情報を生成する。また、複数の撮像部２１の各々は、生成した画像情報を、物体検知ＥＣＵ２７にて受信可能に出力する。

【0077】

複数の超音波センサ２２の各々は、自車両１０の外側に向けて発信された探査波の反射波を含む受信波を受信することで、自車両１０の周囲に存在する物体Ｂ上の点との距離を測定する。また、複数の超音波センサ２２の各々は、取得した測距情報を、物体検知ＥＣＵ２７にて受信可能に出力する。

【0078】

レーダーセンサ２３は、物体Ｂ上の反射点の位置および相対速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。車速センサ２４は、車速に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。シフトポジションセンサ２５は、自車両１０のシフトポジションに対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。舵角センサ２６は、自車両１０の操舵角に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。

【0079】

物体検知ＥＣＵ２７は、複数の撮像部２１の各々から、画像情報を受信する。また、物体検知ＥＣＵ２７は、複数の超音波センサ２２の各々から、測距情報を受信する。また、物体検知ＥＣＵ２７は、レーダーセンサ２３、車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６からの出力信号を受信する。物体検知ＥＣＵ２７は、複数の超音波センサ２２の各々、複数の撮像部２１の各々、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等から受信した信号および情報に基づいて、物体検知動作および運転支援動作を実行する。

【0080】

画像情報取得部２７０は、自車両１０の周囲の撮影画像に対応する画像情報を、複数の撮像部２１の各々から取得する。取得された画像情報は、時系列で不揮発記憶媒体に格納される。第一座標取得部２７１は、画像情報取得部２７０にて取得した画像情報に基づいて、撮影画像における特徴点を抽出する。第一座標取得部２７１は、一個の撮像部２１により異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体Ｂに対応するカメラ検知点における位置座標を取得する。

【0081】

具体的には、例えば、自車両１０の前方に存在する物体Ｂを検知する例においては、画像情報取得部２７０は、フロントカメラＣＦの撮影画像に対応する画像情報をするとともに、受信した画像情報を時系列で所定容量分保持する。第一座標取得部２７１は、フロントカメラＣＦの撮影画像から抽出された特徴点を用いて、移動ステレオの手法により、物体Ｂに対応する特徴点における位置座標を算出する。

【0082】

測距情報取得部２７２は、複数の超音波センサ２２の各々から、物体Ｂに対応する測距情報を取得する。第二座標取得部２７３は、測距情報に基づいて、センサ検知点を取得する。また、第二座標取得部２７３は、測距情報に基づいて、物体Ｂの自車両１０に対する相対位置情報を取得する。そして、第二座標取得部２７３は、取得結果を、時系列で所定容量分保持する。

【0083】

ところで、撮像部２１を用いて物体Ｂの検知を行う場合、物体Ｂに対応する検知点の位置精度は、様々な要素により影響を受ける。例えば、位置精度は、撮像部２１に設けられた撮像素子の解像度および感度に依存する。また、位置精度は、照度、天候、等の撮影環境の影響を受ける。これらの要素による影響は、特許文献１を含む従来技術において広く考慮されている。なお、これらの影響は、画像フレーム内の全体に対して、ほぼ均等に及ぶものである。

【0084】

さらに、位置精度は、撮像部２１の特性、すなわち、レンズ等の光学系における歪あるいは収差に依存する距離分解能により、影響を受ける。かかる距離分解能は、画像フレーム内の位置に応じて変動する。具体的には、中央部よりも端部の方が、距離分解能が劣る。それにもかかわらず、検知点の検知結果を全て一律に扱うと、車両制御にバラツキが生じたり、実現したい制御（例えば、障害物の１０ｃｍ手前で自車両１０を停止させる制御等）ができなくなったりする等の問題が生じる。

【0085】

そこで、本実施形態においては、精度信頼度設定部２７４は、撮像部２１の特性に基づいて、検知点における位置座標の精度に対応する精度信頼度を設定する。具体的には、第一精度信頼度設定部７０１は、画像内のカメラ検知点の位置と、当該位置に対応する撮像部２１の特性とに基づいて、第一精度信頼度を設定する。第二精度信頼度設定部７０２は、超音波センサ２２を用いて検知された物体Ｂにおけるセンサ検知点の位置座標の位置誤差に対応する第二精度信頼度を設定する。精度信頼度統合部７０３は、第一精度信頼度と第二精度信頼度とを統合することで、精度信頼度設定部２７４により設定すべき精度信頼度を決定する。

【0086】

図３は、第一精度信頼度と第二精度信頼度との統合の概要を示す。図中、物体Ｂは、自車両１０の左前方に存在する駐車車両である。また、Ｐ１はカメラ検知点であり、Ｐ２はセンサ検知点である。すべてのカメラ検知点Ｐ１における第一精度信頼度はレベル４以下であり、すべてのセンサ検知点Ｐ２における第二精度信頼度はレベル７であるものとする。

【0087】

まず、精度信頼度統合部７０３は、すべてのカメラ検知点Ｐ１およびすべてのセンサ検知点Ｐ２のうち、最も精度信頼度レベルが低い検知点を特定する。図３の例では、図中最も右側に位置するカメラ検知点Ｐ１がこれに該当するものとする。特定した検知点を、以下「特定検知点」と称する。

【0088】

次に、精度信頼度統合部７０３は、特定検知点を中心として、精度信頼度レベルに対応する位置誤差に相当する半径Ｄの円形範囲内で、他の検知点を探索する。探索した検知点を、以下「探索検知点」と称する。

【0089】

続いて、精度信頼度統合部７０３は、特定検知点と探索検知点との間で、精度信頼度レベルを対比する。探索検知点の方が特定検知点よりも精度信頼度レベルが高信頼度側である場合、精度信頼度統合部７０３は、特定検知点およびこれに対応する位置座標を、無効化（例えば削除）する。これに対し、探索検知点の方が特定検知点よりも精度信頼度レベルが高信頼度側ではない場合、精度信頼度統合部７０３は、特定検知点およびこれに対応する位置座標を、有効化する。

【0090】

その後、精度信頼度統合部７０３は、次の特定検知点を特定して、上記と同様の処理を実行する。かかる処理を繰り返し行うことで、精度信頼度の統合が行われる。精度信頼度設定部２７４は、精度信頼度統合部７０３による精度信頼度の統合結果により、各検知点における精度信頼度を設定する。精度信頼度設定部２７４は、検知点に対する精度信頼度の設定結果を、検知結果記憶部２７５に時系列で所定容量分格納する。検知結果記憶部２７５は、検知点における位置座標と精度信頼度とを対応付けて記憶する。

【0091】

検知点と自車両１０との相対位置関係は、自車両１０の移動に伴って変動する。ここで、物体検知ＥＣＵ２７により取得される自車両１０の移動量と、実際の自車両１０の移動量との間には、誤差が生じる。かかる誤差は、自車両１０の走行距離が長くなるにしたがって大きくなる。このため、検知結果記憶部２７５に検知点を時系列で所定容量分保持する場合、古い検知点における位置精度は、自車両１０の走行距離が長くなるにしたがって低下する。

【0092】

そこで、本実施形態においては、精度信頼度設定部２７４は、過去に検知され現在不検知の検知点に対応する精度信頼度を、自車両１０の移動距離に応じて低下させる。一方、精度信頼度設定部２７４は、連続的に検知中の検知点については、精度信頼度を最新値に更新する。これにより、自車両１０の移動量算出誤差に伴う制御上の不具合の発生が、可及的に抑制され得る。

【0093】

物体認識部２７６は、第一座標取得部２７１および第二座標取得部２７３による取得結果と、精度信頼度設定部２７４による精度信頼度の設定結果とに基づいて、物体Ｂを認識する。具体的には、物体認識部２７６は、第一座標取得部２７１による位置座標の算出結果と、第二座標取得部２７３にて取得した相対位置情報とに基づいて、物体ＢのＸＹＺ三次元座標系における位置および形状を認識する。

【0094】

制御内容判定部２７７は、物体認識部２７６による物体Ｂの認識結果に基づいて、制御内容を判定する。具体的には、制御内容判定部２７７は、要求される運転支援機能に応じた精度信頼度レベルを選択するとともに、選択した精度信頼度レベルの検知点を利用することで、制御内容を判定する。また、制御内容判定部２７７は、判定した制御内容を、車載通信回線を介して、動力制御ＥＣＵ５２、制動制御ＥＣＵ５３、および操舵制御ＥＣＵ５４に送信する。

【0095】

本実施形態に係る物体検知装置２０、ならびに、これによって実行される物体検知方法および物体検知プログラムによれば、以下のような効果が奏され得る。以下、本実施形態に係る物体検知装置２０、ならびに、これによって実行される物体検知方法および物体検知プログラムを総称して、単に「本実施形態」と称する。

【0096】

本実施形態においては、第一座標取得部２７１は、撮像部２１により撮像された自車両１０の周囲の画像に基づいて検知された物体Ｂにおける、検知点の位置座標を取得する。精度信頼度設定部２７４は、撮像部２１の特性に基づいて、検知点における位置座標の精度に対応する精度信頼度を設定する。具体的には、精度信頼度設定部２７４は、画像内の検知点の位置と、当該位置に対応する撮像部２１の特性としての距離分解能とに基づいて、精度信頼度を設定する。

【0097】

本実施形態によれば、検知点の検知結果を精度信頼度に応じて適切に使用あるいは処理することで、物体Ｂの検知結果に基づく車両制御をよりいっそう安定的に行うことが可能となる。具体的には、高い精度信頼度レベルが要求される車両制御の場面、例えば、駐車スペース検出等においては、高い精度信頼度レベルの検知点を用いることで、精度の高い車両制御が実行される。一方、それ程高い精度信頼度レベルが要求されない車両制御の場面、例えば、駐車スペースへの自車両１０の駐車の際の切返し位置までの誘導等においては、大まかな物体Ｂの検知結果を用いることで、必要な車両制御が良好に実行される。

【0098】

本実施形態においては、検知結果記憶部２７５は、検知点における位置座標と、精度信頼度設定部２７４により設定された精度信頼度とを、対応付けて記憶する。また、精度信頼度設定部２７４は、過去に検知され現在不検知の検知点に対応する精度信頼度を、自車両１０の移動距離に応じて低下させる。これにより、自車両１０の移動量算出誤差に伴う制御上の不具合の発生が、可及的に抑制され得る。

【0099】

本実施形態においては、第一精度信頼度設定部７０１は、画像内のカメラ検知点の位置と、当該位置に対応する撮像部２１の特性とに基づいて、第一精度信頼度を設定する。第一精度信頼度は、画像内のカメラ検知点の位置に依存して変化する撮像部２１の特性に基づいて設定される精度信頼度である。第二精度信頼度設定部７０２は、撮像部２１以外で物体Ｂを検知可能な物体検知センサである超音波センサ２２による検知結果の精度に対応する第二精度信頼度を設定する。また、第二精度信頼度設定部７０２は、第二精度信頼度を、第一精度信頼度設定部７０１により設定された第一精度信頼度と統合処理可能な状態で設定する。

【0100】

本実施形態によれば、第一精度信頼度および第二精度信頼度が、ともに、位置座標の位置誤差に対応付けられた形式で設定される。このため、精度信頼度統合部７０３は、第一精度信頼度と第二精度信頼度とを統合することで、精度信頼度設定部２７４により設定すべき精度信頼度を決定することができる。すなわち、撮像部２１とそれ以外の物体検知センサとのフュージョンを良好に行うことが可能となる。

【0101】

（動作例）
以下、本実施形態の構成による、上記の動作概要に対応する具体的な動作例について、図４に示したフローチャートを用いて説明する。なお、図面中において、「ステップ」を単に「Ｓ」と略記する。

【0102】

物体検知装置２０、すなわち、物体検知ＥＣＵ２７のＣＰＵは、所定の起動条件成立中に、図４に示されたルーチンを、所定時間間隔で繰り返し起動する。かかるルーチンが起動されると、物体検知装置２０は、ステップ４０１～ステップ４０９の処理を順に実行する。

【0103】

ステップ４０１にて、物体検知装置２０は、前回の本ルーチン実行時点からの自車両１０の移動量を取得する。具体的には、物体検知装置２０は、車速センサ２４等の出力に基づいて、自車両１０の移動量を算出する。

【0104】

ステップ４０２にて、物体検知装置２０は、撮像部２１によって撮像された画像情報を取得する。ステップ４０３にて、物体検知装置２０は、カメラ検知点の位置座標を取得する。具体的には、物体検知装置２０は、今回取得した画像情報に基づいて、特徴点を抽出する。そして、物体検知装置２０は、前回および今回の特徴点の抽出結果を用いて、対応付けが成功した特徴点であるカメラ検知点に対応する位置座標を、移動ステレオ技術により取得する。

【0105】

ステップ４０４にて、物体検知装置２０は、カメラ検知点に対して、第一精度信頼度を設定する。第一精度信頼度の設定処理の詳細については後述する。

【0106】

ステップ４０５にて、物体検知装置２０は、超音波センサ２２による検知結果である測距情報を取得する。ステップ４０６にて、物体検知装置２０は、取得した測距情報に基づいて、センサ検知点およびこれに対応する並進位置座標を取得する。ステップ４０７にて、物体検知装置２０は、ステップ４０６にて取得したセンサ検知点およびこれに対応する並進位置座標に対して、第二精度信頼度を設定する。

【0107】

ステップ４０８にて、物体検知装置２０は、第一精度信頼度と第二精度信頼度とを統合することで、最終的な精度信頼度を設定する。ステップ４０９にて、物体検知装置２０は、ステップ４０３およびステップ４０６による位置座標取得結果と、ステップ４０８による精度信頼度の設定結果とに基づいて、物体Ｂを認識する。

【0108】

図５は、図４に示されたルーチンにおけるステップ４０４の処理である、第一精度信頼度の設定処理の詳細を示す。かかる処理において、物体検知装置２０は、まず、ステップ５０１～５０３の処理を順に実行する。

【0109】

ステップ５０１にて、物体検知装置２０は、カウンタＮの値を１に初期化する。ステップ５０２にて、物体検知装置２０は、カメラ検知点Ｐ１（Ｎ）の三次元的な位置座標を不揮発記憶媒体から読み出す。カメラ検知点Ｐ１（Ｎ）は、今回のステップ５０１の実行時点にて不揮発記憶媒体に格納されている全てすなわちＭ個のカメラ検知点Ｐ１（１）～Ｐ１（Ｍ）のうちのＮ番目のものである。Ｎは１以上Ｍ以下の自然数である。

【0110】

ステップ５０３にて、物体検知装置２０は、カメラ検知点Ｐ１（Ｎ）が今回検知されたものであるか否かを判定する。「今回検知」とは、今回のステップ５０３の処理実行時点で起動中の、図４に示されたルーチンにおけるステップ４０３にて、特徴点の対応付けが成功して三次元位置座標が算出されたことを意味する。

【0111】

カメラ検知点Ｐ１（Ｎ）が今回検知されたものである場合（すなわちステップ５０３＝ＹＥＳ）、物体検知装置２０は、ステップ５０４～５０８の処理を順に実行する。

【0112】

ステップ５０４にて、物体検知装置２０は、画像フレーム内におけるカメラ検知点Ｐ１（Ｎ）の位置を特定する。ステップ５０５にて、物体検知装置２０は、ステップ５０４にて特定した、画像フレーム内における位置での距離分解能を取得する。かかる距離分解能の取得は、例えば、画像フレーム内における位置と距離分解能との関係を規定したマップあるいはルックアップテーブルを用いて行われ得る。

【0113】

ステップ５０６にて、物体検知装置２０は、ステップ５０５にて取得した距離分解能に基づいて、カメラ検知点Ｐ１（Ｎ）に対応する第一精度信頼度を設定する。ステップ５０７にて、物体検知装置２０は、ステップ５０６にて設定した第一精度信頼度を、カメラ検知点Ｐ１（Ｎ）に対応付けつつ、不揮発記憶媒体に格納する。

【0114】

ステップ５０８にて、物体検知装置２０は、Ｎ＝Ｍであるか否かを判定する。Ｎ＜Ｍである場合（すなわちステップ５０８＝ＮＯ）、物体検知装置２０は、処理をステップ５０９に進行させる。ステップ５０９にて、物体検知装置２０は、Ｎの値を１インクリメントする。その後、物体検知装置２０は、処理をステップ５０２に戻す。Ｎ＝Ｍである場合（すなわちステップ５０８＝ＹＥＳ）、物体検知装置２０は、第一精度信頼度の設定処理を終了する。

【0115】

カメラ検知点Ｐ１（Ｎ）が今回検知されたものではない場合（すなわちステップ５０３＝ＮＯ）、物体検知装置２０は、ステップ５０４～５０６ではなくステップ５１０およびステップ５１１に処理を進行させてから、ステップ５０７の処理を実行する。

【0116】

ステップ５１０にて、物体検知装置２０は、ステップ４０１にて今回取得した自車両１０の移動量に基づいて、精度信頼度の低下量を設定する。かかる低下量の設定は、例えば、移動量と低下量との関係を規定した、計算式、アルゴリズム、マップ、あるいはルックアップテーブルを用いて行われ得る。

【0117】

ステップ５１１にて、物体検知装置２０は、ステップ５１０にて設定した低下量を用いて、カメラ検知点Ｐ１（Ｎ）に対応する第一精度信頼度を設定する。ステップ５０７にて、物体検知装置２０は、ステップ５１１にて設定した第一精度信頼度を、カメラ検知点Ｐ１（Ｎ）に対応付けつつ、不揮発記憶媒体に格納する。

【0118】

（変形例）
本発明は、上記実施形態に限定されるものではない。故に、上記実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態との相違点を主として説明する。また、上記実施形態と変形例とにおいて、相互に同一または均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。

【0119】

本発明は、上記実施形態にて示された具体的な装置構成に限定されない。すなわち、例えば、物体検知装置２０を搭載する車両１０は、四輪自動車に限定されない。具体的には、車両１０は、三輪自動車であってもよいし、貨物トラック等の六輪または八輪自動車でもよい。車両１０の種類は、内燃機関のみを備えた自動車であってもよいし、内燃機関を備えない電気自動車または燃料電池車であってもよいし、いわゆるハイブリッド自動車であってもよい。車体１１の形状および構造も、箱状すなわち平面視における略矩形状に限定されない。ドアパネル１７の数も、特段の限定はない。

【0120】

物体検知装置２０の適用対象についても、特段の限定はない。すなわち、例えば、物体検知装置２０は、運転支援装置５０に限定されない。具体的には、例えば、物体検知装置２０は、自動運転の定義におけるレベル２～レベル５に相当する、半自動運転あるいは自動運転に対しても、好適に適用可能である。この場合、運転支援装置５０は、「自動運転制御装置」と称され得る。

【0121】

撮像部２１の配置および個数は、上記の例に限定されない。すなわち、例えば、フロントカメラＣＦは、車室外に配置され得る。具体的には、例えば、フロントカメラＣＦは、車両１０における車室内に配置された不図示のルームミラーに装着され得る。左側カメラＣＬおよび右側カメラＣＲは、ドアミラー１８とは異なる位置に配置され得る。あるいは、左側カメラＣＬおよび右側カメラＣＲは、省略され得る。

【0122】

超音波センサ２２の配置および個数は、上記の具体例に限定されない。すなわち、例えば、図１を参照すると、第三フロントソナーＳＦ３が車幅方向における中央位置に配置される場合、第四フロントソナーＳＦ４は省略される。同様に、第三リアソナーＳＲ３が車幅方向における中央位置に配置される場合、第四リアソナーＳＲ４は省略される。第三サイドソナーＳＳ３および第四サイドソナーＳＳ４は、省略され得る。

【0123】

物体検知装置２０に用いられる各種センサ類は、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等に限定されない。すなわち、例えば、車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６のうちの少なくとも１つは、省略されたり、他のセンサに代替されたりしてもよい。

【0124】

上記実施形態においては、物体検知ＥＣＵ２７は、ＣＰＵがＲＯＭ等からプログラムを読み出して起動する構成であった。しかしながら、本発明は、かかる構成に限定されない。すなわち、例えば、物体検知ＥＣＵ２７は、上記のような動作を可能に構成されたデジタル回路、例えばＡＳＩＣあるいはＦＰＧＡを備えた構成であってもよい。ＡＳＩＣはApplication Specific Integrated Circuitの略である。ＦＰＧＡはField Programmable Gate Arrayの略である。

【0125】

上記実施形態において、物体検知ＥＣＵ２７は、物体検知装置２０の主要部を構成する。このため、撮像部２１～舵角センサ２６、表示部２８、および音声出力部２９は、上記実施形態において、物体検知装置２０の主要な構成要素ではなく、物体検知装置２０の付随的要素であるものと把握され得る。あるいは、例えば、少なくとも撮像部２１は、物体検知ＥＣＵ２７とともに、物体検知装置２０の主要な構成要素であるものと把握され得る。

【0126】

本発明は、上記実施形態にて示された具体的な機能構成および動作例に限定されない。例えば、撮像部２１は、画像情報取得部２７０を構成するものとして、物体検知装置２０の構成要素としても把握され得る。同様に、超音波センサ２２は、測距情報取得部２７２を構成するものとして、物体検知装置２０の構成要素としても把握され得る。あるいは、画像情報取得部２７０～制御内容判定部２７７のうちの一部または全部が、撮像部２１および／または超音波センサ２２に設けられていてもよい。

【0127】

第一座標取得部２７１における処理内容は、単眼移動ステレオに限定されない。具体的には、例えば、単眼移動ステレオと複眼ステレオとの統合処理が用いられ得る。単眼移動ステレオと複眼ステレオとの統合処理については、本願の出願時において、すでに公知または周知となっている。したがって、本明細書においては、複眼ステレオ処理、および、単眼移動ステレオと複眼ステレオとの統合処理についての詳細については、説明を省略する。

【0128】

測距情報取得部２７２は、超音波センサ２２の出力に代えて、あるいはこれとともに、レーダーセンサ２３の出力に基づいて、測距情報を取得してもよい。すなわち、探査波として、超音波または電磁波が用いられ得る。また、測距点すなわちセンサ検知点として、レーダーセンサ２３により取得された反射点が用いられ得る。この場合、反射点に関する相対位置情報は、超音波センサ２２により取得された測距点の代替として用いられ得る。あるいは、反射点に関する相対位置情報は、超音波センサ２２により取得された測距点の補正要素として用いられ得る。

【0129】

精度信頼度の設定に際しては、従来技術と同様に、照度、天候、等の撮影環境が考慮されてもよい。

【0130】

上記の具体例においては、フロントカメラＣＦによる撮影画像を用いた物体Ｂの検知動作を念頭に置いて説明した。しかしながら、本発明は、かかる態様に限定されない。すなわち、例えば、本発明は、リアカメラＣＢによる撮影画像を用いた物体Ｂの検知動作に対しても、好適に適用され得る。同様に、本発明は、左側カメラＣＬおよび右側カメラＣＲによる撮影画像を用いた物体Ｂの検知動作に対しても、好適に適用され得る。

【0131】

「取得」という表現と、「推定」「検出」「検知」「算出」等の類似の表現とは、技術的に矛盾しない範囲内において、適宜置換可能である。「検出」と「抽出」とも、技術的に矛盾しない範囲内において、適宜置換可能である。各判定処理における不等号は、等号付きであってもよいし、等号無しであってもよい。すなわち、例えば、「閾値未満」と「閾値以下」とは、技術的に矛盾しない範囲内において、互いに置換され得る。

【0132】

上記実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に本発明が限定されることはない。同様に、構成要素等の形状、方向、位置関係等が言及されている場合、特に必須であると明示した場合および原理的に特定の形状、方向、位置関係等に限定される場合等を除き、その形状、方向、位置関係等に本発明が限定されることはない。

【0133】

上記の各機能構成および方法は、コンピュータプログラムにより具体化された一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移的実体的記憶媒体に記憶されていてもよい。すなわち、本発明に係る装置あるいは方法は、上記の各機能あるいは方法を実現するための手順を含むコンピュータプログラム、あるいは、当該プログラムを記憶した非遷移的実体的記憶媒体としても表現可能である。

【0134】

変形例も、上記の例示に限定されない。また、複数の変形例が、互いに組み合わされ得る。さらに、上記実施形態の全部または一部と、変形例の全部または一部とが、互いに組み合わされ得る。

【符号の説明】

【0135】

１０ 自車両
２０ 物体検知装置
２１ 撮像部
２２ 超音波センサ
２７１ 第一座標取得部（座標取得部）
２７４ 精度信頼度設定部
２７５ 検知結果記憶部
７０１ 第一精度信頼度設定部
７０２ 第二精度信頼度設定部
７０３ 精度信頼度統合部

【図1】

【図2】

【図3】

【図4】

【図5】