特許 5921715 車載画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5921715

(24)【登録日】2016年4月22日

(45)【発行日】2016年5月24日

(54)【発明の名称】車載画像処理装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160510BHJP

   H04N 7/18 20060101ALI20160510BHJP

   G08G 1/16 20060101ALI20160510BHJP

   B60R 1/00 20060101ALI20160510BHJP

   B60R 21/00 20060101ALI20160510BHJP

【ＦＩ】

   G06T1/00 330A

   G06T1/00 330B

   H04N7/18 J

   G08G1/16 C

   B60R1/00 A

   B60R21/00 628D

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2014-549863(P2014-549863)

(86)(22)【出願日】2013年11月27日

(86)【国際出願番号】JP2013081898

(87)【国際公開番号】WO2014084256

(87)【国際公開日】20140605

【審査請求日】2015年5月11日

(31)【優先権主張番号】特願2012-258984(P2012-258984)

(32)【優先日】2012年11月27日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】100091096

【弁理士】

【氏名又は名称】平木 祐輔

(74)【代理人】

【識別番号】100105463

【弁理士】

【氏名又は名称】関谷 三男

(74)【代理人】

【識別番号】100102576

【弁理士】

【氏名又は名称】渡辺 敏章

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】清原 將裕

(72)【発明者】

【氏名】鈴木 智史

(72)【発明者】

【氏名】村松 彰二

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００４−２５４２１９（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１６２１０８（ＷＯ，Ａ１）

【文献】 特開２００７−１６１１９３（ＪＰ，Ａ）

【文献】 清原將裕 外３名，車両周辺監視のための移動体検出技術の開発，映像情報インダストリアル，産業開発機構（株），２０１２年 ５月 １日，第44巻 第5号，第45−51頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の前方、後方、側方にそれぞれ配置されたカメラで撮像したスルー画像を取得する画像取得部と、
該取得した各スルー画像を変換して俯瞰画像を生成する俯瞰画像生成部と、
前記スルー画像と前記俯瞰画像の少なくとも一方を用いて駐車枠を認識する駐車枠認識処理を行う駐車枠認識部と、を有し、
前記駐車枠認識部は、前記俯瞰画像を用いて、該俯瞰画像の所定範囲内の駐車枠を認識する第１駐車枠認識処理と、
前記俯瞰画像よりも遠方の領域のみを処理するように前記スルー画像の画像処理領域を設定し、前記スルー画像を用いて、前記画像処理領域の駐車枠を認識する第２駐車枠認識処理と、
を行うことを特徴とする車載画像処理装置。

【請求項2】

前記駐車枠認識部は、自車速が予め設定された閾値以下の場合、前記第１駐車枠認識処理を行い、自車速が前記閾値よりも高い場合、前記第１駐車枠認識処理と前記第２駐車枠認識処理を行うことを特徴とする請求項１に記載の車載画像処理装置。

【請求項3】

ユーザからの表示切替要求により前記俯瞰画像と前記スルー画像とを含む合成画像を選択表示可能な車内モニターを有し、
前記駐車枠認識部は、前記第１駐車枠認識処理を行っている状態で、前記車内モニターに前記合成画像が選択表示された場合に、前記第１駐車枠認識処理に替えて前記第２駐車枠認識処理を行うことを特徴とする請求項１に記載の車載画像処理装置。

【請求項4】

前記スルー画像と前記俯瞰画像の少なくとも一方を用いて歩行者を検知する歩行者検知処理を行う歩行者検知部と、
自車速に応じて前記駐車枠認識部による駐車枠認識処理及び前記歩行者検知部による歩行者検知処理を実行するか否かを決定するスケジューリング部と、を有し、
前記スケジューリング部は、
前記自車速が予め設定された閾値以下の場合に、前記駐車枠認識部による駐車枠認識処理と、前記歩行者検知部による歩行者検知処理の両方を行わせ、
前記自車速が前記閾値よりも高い場合に、前記駐車枠認識部による駐車枠認識処理のみを行わせることを特徴とする請求項１に記載の車載画像処理装置。

【請求項5】

第１画像処理回路と第２画像処理回路を有し、
前記スケジューリング部は、
前記自車速が前記閾値以下の場合に、前記第１画像処理回路と前記第２画像処理回路のいずれか一方により、前記歩行者検知部による歩行者検知処理を行わせ、前記第１画像処理回路と前記第２画像処理回路の他方により、前記駐車枠認識部による駐車枠認識処理を行わせ、
前記自車速が前記閾値よりも高い場合に、前記第１画像処理回路により前記駐車枠認識部による前記駐車枠認識処理の一部を行わせ、前記第２画像処理回路により前記駐車枠認識部による前記駐車枠認識処理の残りを行わせることを特徴とする請求項４に記載の車載画像処理装置。

【請求項6】

前記スルー画像と前記俯瞰画像の少なくとも一方を用いて自車走行レーンを認識するレーン認識部と、
前記自車速に応じて前記駐車枠認識部による駐車枠認識処理及び前記レーン認識部によるレーン認識処理を実行するか否かを決定するスケジューリング部と、を有し、
前記スケジューリング部は、
前記自車速が予め設定された第１閾値以下のときは前記駐車枠認識部による駐車枠認識処理のみを行わせ、
前記自車速が前記第１閾値よりも高く、かつ、予め設定された第２閾値以下のときは、前記駐車枠認識部による駐車枠認識処理と、前記レーン認識部によるレーン認識処理の両方を行わせ、
前記自車速が前記第２閾値よりも高い場合に、前記レーン認識部によるレーン認識処理のみを行わせることを特徴とする請求項１に記載の車載画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラで撮像した画像を用いて車両の外界を認識する車載画像処理装置に関する。

【背景技術】

【0002】

例えば、特許文献１には、車両の前後左右に搭載された４台の車載カメラで分担して車両の周囲全体を撮像し、それぞれのスルー画像を変換して組み合わせることにより俯瞰画像を生成し、俯瞰画像から駐車枠を認識する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−３０１１４０号公報

【特許文献2】特開２０１１−７７７７２号公報

【特許文献3】特開２０１０−１４６４７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、俯瞰画像をユーザに提示する装置は、俯瞰画像と自車進行方向のスルー画像を両方提示する。これは、俯瞰画像はドライバにとって自車周囲を確認するのに適している一方で、遠方や立体物の把握にはスルー画像のほうが適しているからである。

【0005】

画像処理により外界を認識しドライバをサポートするアプリケーションを実現する装置において、処理負荷の低減や装置の構成を簡易にするためユーザに提示する画像を処理する場合においても同様である。ユーザに提示する画像のうち俯瞰画像は、変換前の画像であるスルー画像と比較して視野が狭く（自車前方２ｍ程度）、遠方まで認識する場合には適していない。例えば高速道路のサービスエリアなどに対応するために、比較的高い車速まで駐車枠認識を実施したい場合は、俯瞰画像の視野よりも遠くまで駐車枠を認識したいというニーズがある。

【0006】

これに対して、スルー画像は、俯瞰画像よりも視野が広く、遠方まで認識することができるので、レーン認識などは、一般的にスルー画像を用いて画像処理することが多い。しかしながら、俯瞰画像は、変換前のスルー画像よりも画像処理的に扱いやすく、例えば白線からの逸脱予測などの場合には俯瞰画像からの方が算出が容易である。このように、アプリケーションによっては俯瞰画像を用いることで認識精度が向上するものが存在する。

【0007】

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車載カメラで撮像した画像から外界をより高い精度で認識することができる車載画像処理装置を提供することである。

【課題を解決するための手段】

【0008】

上記課題を解決する本発明の車載画像処理装置は、車両の前方、後方、側方にそれぞれ配置されたカメラで撮像したスルー画像を取得する画像取得部と、該取得した各スルー画像を変換して俯瞰画像を生成する俯瞰画像生成部と、前記スルー画像と前記俯瞰画像の少なくとも一方を用いて駐車枠を認識する駐車枠認識処理を行う駐車枠認識部と、を有し、前記駐車枠認識部は、前記俯瞰画像を用いて、該俯瞰画像の所定範囲内の駐車枠を認識する第１駐車枠認識処理と、前記スルー画像を用いて、前記俯瞰画像の所定範囲内よりも遠方の領域の駐車枠を認識する第２駐車枠認識処理を行うことを特徴としている。

【発明の効果】

【0009】

本発明の車載画像処理装置によれば、俯瞰画像を用いて所定範囲内の駐車枠を認識し、スルー画像を用いて俯瞰画像の所定範囲内よりも遠方の領域の駐車枠を認識するので、状況に応じた適切な画像を用いて画像処理を行うことができ、より高い精度で駐車枠を認識することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】第１実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。

【図2】俯瞰画像生成部の構成を説明するイメージ図。

【図3】駐車枠認識に用いる画像を合成する方法を説明するフローチャート。

【図4】俯瞰画像とリヤカメラ画像を合成したイメージ図。

【図5】俯瞰画像とフロントカメラ画像を合成したイメージ図。

【図6】駐車枠の認識方法の一例を説明するフローチャート。

【図7】俯瞰画像を用いた駐車枠の認識方法を説明するフローチャート。

【図8】スルー画像を用いた駐車枠の認識方法を説明するフローチャート。

【図9】駐車枠の認識方法の他の一例を説明するフローチャート。

【図10】第２実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。

【図11】表示の切り替え方法を説明するフローチャート。

【図12】表示の切り替えの一例を示すイメージ図。

【図13】駐車枠の認識方法の一例を説明するフローチャート。

【図14】第３実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。

【図15】歩行者検知方法の一例を説明するフローチャート。

【図16】歩行者検知方法の一例を説明するフローチャート。

【図17】第４実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。

【図18】スケジューリング方法を説明するフローチャート。

【図19】ＣＰＵの利用配分の一例を示す図。

【図20】第５実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。

【図21】レーン逸脱予測方法を説明するフローチャート。

【図22】レーン逸脱予測方法を説明するイメージ図。

【図23】スケジューリング方法を説明するフローチャート。

【図24】ＣＰＵの利用配分の一例を示す図。

【発明を実施するための形態】

【0011】

次に、本発明の各実施の形態について図面を用いて説明する。

【0012】

［第１実施の形態］
図１は、本実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図２は、俯瞰画像生成部の構成を説明するイメージ図である。

【0013】

車載画像処理装置は、自車１０に搭載されるカメラ装置内のハードウエアとソフトウエアによって実現される。車載画像処理装置は、その内部機能として、画像取得部１２、俯瞰画像生成部１３、画像合成部１４、駐車枠認識部１５を有する。

【0014】

画像取得部１２は、自車１０の前部、後部、右側部、左側部にそれぞれ取り付けられた前方カメラ１、後方カメラ２、右側方カメラ３、左側方カメラ４でそれぞれ撮像されたスルー画像を取得する。

【0015】

俯瞰画像生成部１３は、画像取得部１２で取得した各スルー画像を変換して、自車１０の上方に視点を移動させた俯瞰画像２５を生成する。俯瞰画像２５の生成は、公知技術を用いて行う。画像合成部１４は、各スルー画像の少なくとも一つと俯瞰画像を合成する。外界認識部である駐車枠認識部１５は、画像合成部１４により合成された合成画像からスルー画像と俯瞰画像の少なくともいずれか一方を用いて外界の駐車枠ＷＬを認識する処理を行う。

【0016】

図２に示す例は、自車１０の前部から駐車枠ＷＬに進入した状態を各カメラ１〜４で撮像したものである。駐車枠ＷＬは、車両１台分の大きさを区画するために、白色や黄色の塗料等を用いて地面に標示線ＷＬ１〜ＷＬ３を標示することによって形成されている。

【0017】

駐車枠ＷＬは、車幅方向両側を区画する標示線ＷＬ１、ＷＬ２と、車両前後方向を区画する標示線ＷＬ３を有している。各スルー画像２１〜２４には、自車の周囲に位置する駐車枠ＷＬが映し出されている。そして、各スルー画像２１〜２４を変換して生成した俯瞰画像２５には、標示線ＷＬ１、ＷＬ２と、車両前側の標示線ＷＬ３が、自車１０の周りを囲むように映し出されている。

【0018】

図３は、駐車枠認識に用いる画像を合成する方法を説明するフローチャート、図４は、俯瞰画像とリヤカメラ画像を合成したイメージ図、図５は、俯瞰画像とフロントカメラ画像を合成したイメージ図である。

【0019】

画像合成部１４は、自車１０のシフトポジション情報を取得する（ステップＳ１０１）。シフトポジション情報は、自車１０の駆動系を制御する制御装置からＣＡＮなどを介して取得される。シフトポジション情報には、自車１０のシフトポジションの位置の情報、例えばマニュアルトランスミッションの場合はシフトレバーの位置、オートマチックトランスミッションの場合はセレクタレバーの位置の情報が含まれている。

【0020】

そして、シフトポジション情報から後退（リバース）Ｒの位置が選択されているか否かを判断し（ステップＳ１０２）、後退Ｒの位置が選択されている場合は（ステップＳ１０２でＹＥＳ）、俯瞰画像２５と後方カメラ２のスルー画像２２を合成する（ステップＳ１０３）。後退Ｒ以外の位置が選択されている場合は（ステップＳ１０２でＮＯ）、俯瞰画像２５と前方カメラ１のスルー画像２１を合成する（ステップＳ１０４）。なお、上記した例では、一つのスルー画像と俯瞰画像とを合成する場合について説明したが、複数のスルー画像と俯瞰画像を合成してもよい。

【0021】

図６は、駐車枠の認識方法の一例を説明するフローチャート、図７は、俯瞰画像を用いた駐車枠の認識方法を説明するフローチャート、図８は、スルー画像を用いた駐車枠の認識方法を説明するフローチャートである。

【0022】

駐車枠認識部１５は、まず、俯瞰画像２５を用いて駐車枠を認識する第１駐車枠認識処理を行い（ステップＳ１１１）、次いで、スルー画像を用いて駐車枠を認識する第２駐車枠認識処理を行う（ステップＳ１１２）。

【0023】

第１駐車枠認識処理では、図７に示すように、まず、全ラインで横方向のエッジフィルタを適用し（ステップＳ１２１）、ピーク（立ち上がり・立ち下がり）を抽出する（ステップＳ１２２）。そして、所定間隔で立ち上がりと立ち下がりのペアが成り立つエッジのみを残し（ステップＳ１２３）、グルーピングした後（ステップＳ１２４）、長さでフィルタリングする（ステップＳ１２５）。そして、立ち上がりエッジ・立ち下がりエッジの上端と下端の座標を抽出し（ステップＳ１２６）、白線（標示線）２本を選択する（ステップＳ１２７）。

【0024】

そして、選択した２本の白線の角度差が所定値以下（〜Ｔｈθｍａｘ）であるか（ステップＳ１２８）、２本の白線の間隔が所定範囲内（ＴｈＷｍｉｎからＴｈＷｍａｘ）であるか（ステップＳ１２９）、２本の白線の下端のずれが所定範囲内（ＴｈＢｍｉｎ〜ＴｈＢｍａｘ）であるか（ステップＳ１３０）を判断し、これらステップＳ１２９〜Ｓ１３０の全ての条件を満たす場合には、ステップＳ１３１に移行する。ステップＳ１３１では、駐車枠ＷＬの四隅の点、すなわち、車両左側の白線（標示線ＷＬ２）の上端と下端、及び、車両右側の白線（標示線ＷＬ１）の上端と下端の４点の座標位置を登録する。

【0025】

そして、全ての組み合わせで確認したか否かを判断し（ステップＳ１３２）、確認した場合は（ステップＳ１３２でＹＥＳ）、第１駐車枠認識処理を終了し、未確認の場合は（ステップＳ１３２でＮＯ）、白線を２本選択する処理（ステップＳ１２７）に戻り、全ての組み合わせで確認したと判断されるまで（ステップＳ１３２でＹＥＳ）、以降の処理を繰り返し行う。

【0026】

第２駐車枠認識処理では、図８に示すように、まず、画像処理領域を設定する（ステップＳ１４１）。画像処理領域は、俯瞰画像２５よりも遠方の領域のみを処理するように設定する。そして、俯瞰画像を用いた駐車枠認識方法のステップＳ１２１、Ｓ１２２と同様に、全ラインで横方向のエッジフィルタを適用し（ステップＳ１４２）、ピーク（立ち上がり・立ち下がり）を抽出する（ステップＳ１４３）。それから、エッジ点全点についてカメラ幾何を用いて俯瞰変換する（ステップＳ１４４）。そして、俯瞰画像を用いた駐車枠認識方法のステップＳ１２３〜Ｓ１３２と同様の処理（ステップＳ１４５〜Ｓ１５４）を行い、第２駐車枠認識処理を終了する。

【0027】

本実施の形態における車載画像処理装置によれば、俯瞰画像とスルー画像をそれぞれ用いて駐車枠認識を行うので、俯瞰画像のみを用いたものと比較して、より広い遠方の領域までに亘って駐車枠認識を行うことができる。

【0028】

図９は、駐車枠の認識方法の他の一例を説明するフローチャートである。

【0029】

上記した駐車枠認識方法では、第１駐車枠認識処理と、第２駐車枠認識処理の両方を常に行う場合について説明したが、第１駐車枠認識処理と、第２駐車枠認識処理の両方を用いた駐車枠認識を行う場合と、第１駐車枠認識処理のみを行う場合のいずれか一方を状況に応じて適宜選択する構成としてもよい。

【0030】

駐車枠認識部１５は、図９に変形例１として示すように、まず、俯瞰画像２５を用いて駐車枠を認識する第１駐車枠認識処理を行う（ステップＳ１６１）。そして、自車１０の自車速ｖｓｐの情報を取得し（ステップＳ１６２）、自車速ｖｓｐが所定の閾値ｔｈｖｓｐ１よりも高いか否かを判断する（ステップＳ１６３）。

【0031】

ここで、自車速ｖｓｐが所定の閾値ｔｈｖｓｐ１よりも高いと判断した場合は（ステップＳ１６３でＹＥＳ）、スルー画像を用いた第２駐車枠認識処理を行い、自車速ｖｓｐが閾値ｔｈｖｓｐ１以下であると判断した場合は（ステップＳ１６３でＮＯ）、処理を終了する。

【0032】

図９に示す構成例によれば、自車１０の車速が高い場合には、俯瞰画像を用いた第１駐車枠認識処理と、スルー画像を用いた第２駐車枠認識処理の両方を行うので、俯瞰画像よりも広い遠方の領域までに亘って駐車枠認識を行うことができる。一方、車速が低い場合には、俯瞰画像を用いた第１駐車枠認識処理のみを行い、スルー画像を用いた第２駐車枠認識処理を行わないので、第２駐車枠認識処理の分だけ演算処理負荷を減らすことができ、他のアプリケーションの演算処理に用いるなど、ハードウエア資源の有効活用を図ることができる。また、スルー画像を用いた第２駐車枠認識処理に使用する演算処理の分を、俯瞰画像を用いた第１駐車枠認識処理に用いて高精度の駐車枠認識を行ってもよい。

【0033】

［第２実施の形態］
次に、本発明の第２実施の形態について図１０から図１３を参照しつつ以下に説明する。

【0034】

図１０は、第２実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図１１は、表示の切り替え方法を説明するフローチャート、図１２は、表示の切り替えの一例を示すイメージ図である。なお、第１実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

【0035】

本実施の形態において特徴的なことは、ユーザによって合成画像の表示を切り替えることが可能な構成としたことである。

【0036】

車載画像処理装置は、図１０に示すように、ユーザからの表示切替要求を取得する表示切替要求取得部１６を有する。表示切替要求取得部１６は、図１１に示すように、ユーザの表示切替要求の有無を判断し（ステップＳ２０１）、要求有りの場合は（ステップＳ２０１でＹＥＳ）、画像合成部１４に対して表示切替を指示し（ステップＳ２０２）、要求無しの場合は（ステップＳ２０１でＮＯ）、表示切替を指示しない。

【0037】

画像合成部１４は、例えば図１２に示すように、俯瞰画像とスルー画像を合成した合成画像３１を生成する。そして、表示切替要求を取得した表示切替要求取得部１６から表示切替要求の入力を受けた場合に、俯瞰画像とナビゲーション画面（地図情報と自車位置情報を示す画面）を合成した合成画像３２を生成する。これらの合成画像３１、３２は、車内モニター（図示せず）に選択表示される。なお、上記した例では、合成画像３２の例として俯瞰画像とナビゲーション画面を合成した場合について説明したが、スルー画像とナビゲーション画面を合成したものであってもよい。

【0038】

図１３は、駐車枠の認識方法の他の一例を説明するフローチャートである。

【0039】

駐車枠認識部１５は、俯瞰画像を用いて駐車枠認識を行っている状態で（ステップＳ２１１）、車内モニターの現在の表示が俯瞰画像とスルー画像を合成した合成画像であるか否かを判断する（ステップＳ２１２）。そして、俯瞰画像とスルー画像の合成画像であると判断された場合は（ステップＳ２１２でＹＥＳ）、スルー画像を用いて駐車枠認識を行う（ステップＳ２１３）。一方、現在の表示が俯瞰画像とスルー画像の合成画像ではないと判断された場合は（ステップＳ２１２でＮＯ）、俯瞰画像を用いた駐車枠認識を継続して行う。

【0040】

本実施の形態によれば、本実施の形態によれば、例えばユーザが複数の表示内容から任意に選択したモニター表示画像を選択できるシステム、かつ、車載画像処理装置の入力画像がモニター表示画面と同一である装置において、表示画面の状態に応じた駐車枠認識を実現することができる。

【0041】

［第３実施の形態］
次に、本発明の第３実施の形態について図１４から図１６を参照しつつ以下に説明する。

【0042】

図１４は、第３実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図１５は、歩行者検知方法の一例を説明するフローチャート、図１６は、歩行者検知方法の一例を説明するフローチャートである。なお、上記した各実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

【0043】

本実施の形態において特徴的なことは、上記した第１実施の形態の駐車枠認識に加えて、歩行者検知を俯瞰画像とスルー画像を用いて行う構成としたことである。

【0044】

車載画像処理装置は、図１４に示すように、各車載カメラ１〜４で撮像した画像を用いて歩行者検知を行う歩行者検知部１７を有する。歩行者検知部１７は、図１５に示すように、俯瞰画像を用いた第１歩行者検知処理（ステップＳ３１１）と、スルー画像を用いた第２歩行者検知処理（ステップＳ３１２）を行う。

【0045】

俯瞰画像を用いた第１歩行者検知処理と、スルー画像を用いた第２歩行者検知処理は、それぞれ公知技術を適用することができ、例えば俯瞰画像から歩行者検知する第１歩行者検知処理は、特開２０１１−７７７７２号公報（特許文献２）に記載のオプティカルフローを用いた方法を適用し、スルー画像から歩行者を検知する第２歩行者検知処理は、特開２０１０−１４６４７８号公報（特許文献３）に記載のオプティカルフローを用いた方法を適用することができる。

【0046】

図１６は、歩行者検知方法の他の一例を説明するフローチャートである。

【0047】

歩行者検知部１７は、図１６に変形例として示すように、まず、自車速ｖｓｐの情報を取得し（ステップＳ３２１）、自車速ｖｓｐが所定の閾値ｔｈｖｓｐ２を超えているか否かを判断する（ステップＳ３２２）。

【0048】

ここで、自車速ｖｓｐが所定の閾値ｔｈｖｓｐ２を超えていると判断した場合は（ステップＳ３２２でＹＥＳ）、スルー画像を用いた第２歩行者検知処理を行い、自車速ｖｓｐが閾値ｔｈｖｓｐ２以下と判断した場合は（ステップＳ３２２でＮＯ）、俯瞰画像を用いた第１歩行者検知処理を行う（ステップＳ３２４）。

【0049】

図１６に示す構成例によれば、自車１０の車速が高い場合には、スルー画像を用いた第２歩行者検知処理のみを行うので、俯瞰画像よりも広い遠方の領域までに亘って歩行者検知を行うことができる。

【0050】

［第４実施の形態］
次に、本発明の第４実施の形態について図１７から図１９を参照しつつ以下に説明する。

【0051】

図１７は、第４実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図１８は、スケジューリング方法を説明するフローチャート、図１９は、ＣＰＵの利用配分の一例を示す図である。なお、上記した各実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

【0052】

本実施の形態において特徴的なことは、第３実施の形態の構成にスケジューリング部１８を加えたことである。

【0053】

車載画像処理装置は、図１７に示すように、車速に応じて外界認識部による外界認識処理を実行するか否かを決定するスケジューリング部１８を有する。

【0054】

スケジューリング部１８は、図１８に示すように、自車速ｖｓｐの情報を取得し（ステップＳ４１１）、自車速ｖｓｐが所定の閾値ｔｈ＿ｖｌｏｗ以下か否かを判断する（ステップＳ４１２）。そして、自車速ｖｓｐが所定の閾値ｔｈ＿ｖｌｏｗ以下であると判断した場合は（ステップＳ４１２でＹＥＳ）、駐車枠認識処理と歩行者検知処理の両方を行わせる（ステップＳ４１３）。一方、自車速ｖｓｐが閾値ｔｈ＿ｖｌｏｗよりも高いと判断した場合は（ステップＳ４１２でＮＯ）、駐車枠認識処理のみを行わせる（ステップＳ４１４）。

【0055】

車載画像処理装置のハードウエアのＣＰＵは、例えば画像処理専用チップにより構成された第１画像処理回路と、汎用性チップにより構成された第２画像処理回路を有している。スケジューリング部１８は、車速条件に応じて、第１画像処理回路と第２画像処理回路の利用配分を行う。

【0056】

例えば、図１９に示すように、自車速ｖｓｐが閾値ｔｈ＿ｖｌｏｗ以下の場合、ステップＳ４１３で駐車枠認識処理と歩行者検知処理の両方が行われるが、第１画像処理回路に歩行者検知処理の全て（１００％）を行わせ、第２画像処理回路に駐車枠認識処理の全て（１００％）を行わせるように利用配分する。

【0057】

一方、自車速ｖｓｐが閾値ｔｈ＿ｖｌｏｗよりも早い場合、ステップＳ４１４で駐車枠認識のみが行われるが、第１画像処理回路に駐車枠認識処理の５０％を行わせ、第２画像処理回路に駐車枠認識処理の残りの５０％の処理を行わせるように利用配分する。

【0058】

本実施の形態によれば、２つのアプリケーションを同時動作する場合は、それぞれのチップに別々の処理を割り当て同時動作を実現することができ、１つのアプリケーションのみを動作させる場合は２つのチップを使い分けて処理周期を上げることができる。

【0059】

［第５実施の形態］
次に、本発明の第５実施の形態について図２０から図２４を参照しつつ以下に説明する。

【0060】

図２０は、第５実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図２１は、レーン逸脱予測方法を説明するフローチャート、図２２は、レーン逸脱予測方法を説明するイメージ図である。なお、上記した各実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

【0061】

本実施の形態において特徴的なことは、第４実施の形態の歩行者検知部１７の代わりにレーン逸脱予測部１９を設けたことである。

【0062】

車載画像処理装置は、図２０に示すように、レーン逸脱予測部１９を有する。レーン逸脱予測部１９は、自車１０が走行中に走行レーンから逸脱するのを予測するレーン逸脱予測処理を行う。

【0063】

レーン逸脱予測部１９は、図２１に示すように、スルー画像を用いてレーン認識を行い（ステップＳ５１１）、その結果を俯瞰画像に投影する（ステップＳ５１２）。スルー画像を用いたレーン認識方法は、公知の技術を用いて行うことができる。そして、その俯瞰画像を用いて自車両の走行レーンからの逸脱を予測する（ステップＳ５１３）。例えば、自車１０の走行中に走行レーンに対して予め設定された距離まで接近した場合に、走行レーンから逸脱するおそれがあると予測する。

【0064】

ステップＳ５１１のレーン認識により、図２２に示すように、合成画像３１のスルー画像２２上で自車１０の進行方向に沿って延在する２本の走行レーンＷＬ５、ＷＬ６が認識される。そして、ステップＳ５１２により、スルー画像２２で認識された走行レーンＷＬ５、ＷＬ６が、合成画像３１’の俯瞰画像２５に投影されて、ステップＳ５１３で俯瞰画像２５を用いたレーン逸脱の予測が行われる。

【0065】

俯瞰画像２５は、スルー画像２２よりも画像処理的に扱いやすい。したがって、スルー画像２２を用いるよりも俯瞰画像２５を用いた方が、レーン逸脱の予測を迅速且つ正確に行うことができる。

【0066】

図２３は、スケジューリング方法を説明するフローチャート、図２４は、ＣＰＵの利用配分の一例を示す図である。

【0067】

スケジューリング部１８は、図２３に示すように、自車速ｖｓｐの情報を取得し（ステップＳ５２１）、自車速ｖｓｐが所定の低速閾値ｔｈ＿ｖｌｏｗ以下か否かを判断する（ステップＳ５２２）。そして、自車速ｖｓｐが低速閾値ｔｈ＿ｖｌｏｗ以下であると判断した場合は（ステップＳ５２２でＹＥＳ）、駐車枠認識処理のみを行わせる（ステップＳ５２３）。

【0068】

一方、自車速ｖｓｐが低速閾値ｔｈ＿ｖｌｏｗよりも高いと判断した場合は（ステップＳ５２２でＮＯ）、自車速ｖｓｐが高速閾値ｔｈ＿ｖｈｉｇｈ以下か否かを判断する（ステップＳ５２４）。そして、自車速ｖｓｐが高速閾値ｔｈ＿ｖｈｉｇｈ以下であると判断した場合は（ステップＳ５２４でＹＥＳ）、駐車枠認識処理とレーン逸脱予測処理の両方を行わせる（ステップＳ５２５）。一方、自車速ｖｓｐが高速閾値ｔｈ＿ｖｈｉｇｈよりも高いと判断した場合は（ステップＳ５２４でＮＯ）、レーン逸脱予測処理のみを行わせる（ステップＳ５２６）。

【0069】

車載画像処理装置のハードウエアのＣＰＵは、例えば画像処理専用チップにより構成された第１画像処理回路と、汎用性チップにより構成された第２画像処理回路を有している。スケジューリング部１８は、車速条件に応じて、第１画像処理回路と第２画像処理回路の利用配分を行う。

【0070】

例えば図２４に示すように、自車速ｖｓｐが低速閾値ｔｈ＿ｖｌｏｗ以下の場合、ステップＳ５２３で駐車枠認識処理のみが行われるが、第１画像処理回路に駐車枠認識処理の５０％を行わせ、第２画像処理回路に駐車枠認識の残りの５０％を行わせるように、利用配分する。

【0071】

そして、自車速ｖｓｐが低速閾値ｔｈ＿ｖｌｏｗよりも高く、かつ、高速閾値ｔｈ＿ｖｈｉｇｈ以下の場合、ステップＳ５２５で駐車枠認識とレーン逸脱予測の両方が行われるが、第１画像処理回路に駐車枠検知処理の全て（１００％）を行わせ、第２画像処理回路にレーン逸脱予測処理の全て（１００％）を行わせるように利用配分する。

【0072】

そして、自車速ｖｓｐが高速閾値ｔｈ＿ｖｈｉｇｈよりも高い場合、ステップＳ５２６でレーン逸脱判定のみが行われるが、第１画像処理回路にレーン逸脱判定の５０％を行わせ、第２画像処理回路にレーン逸脱判定の残りの５０％を行わせるように、利用配分する。

【0073】

本実施の形態によれば、２つのアプリケーションを同時動作する場合は、それぞれのチップに別々の処理を割り当て同時動作を実現することができ、１つのアプリケーションのみを動作させる場合は２つのチップを使い分けて処理周期を上げることができる。

【0074】

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0075】

１〜４ カメラ
１０ 自車（車両）
１２ 画像取得部
１３ 俯瞰画像生成部
１４ 画像合成部
１５ 駐車枠認識部
１６ 表示切替要求取得部
１７ 歩行者検知部
１８ スケジューリング部
１９ レーン逸脱予測部
２１〜２４ スルー画像
２５ 俯瞰画像
ＷＬ 駐車枠
ＷＬ１〜ＷＬ３ 標示線
ＷＬ５、ＷＬ６ 走行ライン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】