特許 7093715 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-22

(45)【発行日】2022-06-30

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20220623BHJP

【ＦＩ】

G06T7/60 200J

【請求項の数】 4

(21)【出願番号】P 2018199816

(22)【出願日】2018-10-24

(65)【公開番号】P2020067795

(43)【公開日】2020-04-30

【審査請求日】2021-04-19

(73)【特許権者】

【識別番号】000000929

【氏名又は名称】ＫＹＢ株式会社

(74)【代理人】

【識別番号】110003339

【氏名又は名称】特許業務法人南青山国際特許事務所

(74)【代理人】

【識別番号】100104215

【弁理士】

【氏名又は名称】大森 純一

(74)【代理人】

【識別番号】100196575

【弁理士】

【氏名又は名称】高橋 満

(74)【代理人】

【識別番号】100168181

【弁理士】

【氏名又は名称】中村 哲平

(74)【代理人】

【識別番号】100117330

【弁理士】

【氏名又は名称】折居 章

(74)【代理人】

【識別番号】100160989

【弁理士】

【氏名又は名称】関根 正好

(74)【代理人】

【識別番号】100168745

【弁理士】

【氏名又は名称】金子 彩子

(74)【代理人】

【識別番号】100176131

【弁理士】

【氏名又は名称】金山 慎太郎

(74)【代理人】

【識別番号】100197398

【弁理士】

【氏名又は名称】千葉 絢子

(74)【代理人】

【識別番号】100197619

【弁理士】

【氏名又は名称】白鹿 智久

(72)【発明者】

【氏名】長谷部 敦俊

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１７－１００７８（ＪＰ，Ａ）

【文献】特開２０１１－１００１７４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１００２８６（ＵＳ，Ａ１）

【文献】齊藤隆仁, 外3名，“つくばチャレンジにおける屋外自律ナビゲーションシステムの開発”，ロボティクス・メカトロニクス 講演会２０１２ 講演論文集，日本，日本機械学会，2012年05月27日，p.(1A1-C08(1))-(1A1-C08(4))

【文献】田岡武司, 外4名，“自動車用白線認識アルゴリズムの一実現”，電子情報通信学会技術研究報告，日本，電子情報通信学会，2006年10月19日，第106巻, 第318号，p.63-68

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

移動体に設置された撮像部により撮像された視野画像を取得する取得部と、
前記視野画像をエッジ探索することで、線分を構成する複数の候補点を抽出する前処理部と、
前記複数の候補点の一軸方向に沿った間隔が所定以上離れているか否かに基づいて、前記線分を区間分割する後処理部と、
区間分割した各線分の中から、区間内候補点間の傾きの差分の平均値が所定の閾値以下である線分、水平方向に関するなす角度が所定角度未満である線分、または、最も線長の長い線分を検出対象として抽出する判定部と
を具備する画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記前処理部は、前記複数の候補点の各位置において前記移動体の進行方向における前記線分の線幅を算出し、算出した線幅が所定の範囲内にない候補点を無効とする
画像処理装置。

【請求項3】

請求項２に記載の画像処理装置であって、
前記前処理部は、前記視野画像をグレースケール画像に変換し、前記グレースケール画像の各画素を畳み込み演算することで前記複数の候補点を抽出する
画像処理装置。

【請求項4】

請求項２または３に記載の画像処理装置であって、
前記前処理部は、前記複数の候補点に基づく直線近似を算出し、算出した直線近似から所定以上外れた候補点を無効とする
画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視野画像から検出対象として所定の線分を検出する画像処理装置に関する。

【背景技術】

【0002】

従来、路面上に存在する車線区分線や停止線等の対象物を検出する画像処理技術として、車両に取り付けられた撮像装置により取得した路面画像をグレースケール画像に変換する手法が広く採用されている（例えば特許文献１段落［００２７］）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開２０１７／００９９２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

グレースケース化した画像を二値化してエッジを検出する手法は、光環境の変化に弱く、検出対象以外の候補点も検出対象として誤認識するおそれがある。また、エッジ検出のみでは、目的とする形状や長さなどを有する検出対象を精度よく検出することができないという問題がある。

【0005】

以上のような事情に鑑み、本発明の目的は、検出対象としての線分を精度よく検出することができる画像処理装置を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一形態に係る画像処理装置は、取得部と、前処理部と、後処理部と、判定部とを具備する。
前記取得部は、移動体に設置されたカメラにより撮像された視野画像を取得する。
前記前処理部は、前記視野画像をエッジ探索することで、線分を構成する複数の候補点を抽出する。
前記後処理部は、前記複数の候補点の一軸方向に沿った連続性に基づいて前記線分を区間分割する。
前記判定部は、区間分割した各線分の中から所定の条件を満たす線分を検出対象として抽出する。

【0007】

上記画像処理装置においては、複数の候補点を一軸方向に沿って連続性に基づいて区間分割し、その中から条件を満足する区間の線分を抽出するようにしているため、検出対象としての線分を精度よく検出することが可能となる。

【0008】

前記前処理部は、前記複数の候補点の各位置において前記移動体の進行方向における前記線分の線幅を算出し、算出した線幅が所定の範囲内にない候補点を無効とするように構成されてもよい。

【0009】

前記前処理部は、前記視野画像をグレースケール画像に変換し、前記グレースケール画像の各画素を畳み込み演算することで前記複数の候補点を抽出するように構成されてもよい。

【0010】

前記前処理部は、前記複数の候補点に基づく直線近似を算出し、算出した直線近似から所定以上外れた候補点を無効とするように構成されてもよい。

【0011】

前記後処理部は、前記複数の候補点の位置の間隔に基づき、前記線分を区間分割するように構成されてもよい。

【0012】

前記判定部は、区間分割した線分のうち、形状、傾き、長さおよび線幅の少なくとも１つが所定の条件を満たす線分を検出対象として抽出するように構成されてもよい。

【発明の効果】

【0013】

以上述べたように、本発明によれば、検出対象としての線分を精度よく検出することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る画像処理システムの構成例を示すブロック図である。

【図2】上記画像処理システムを備えた移動体１の概略側面図である。

【図3】本発明の一実施形態に係る画像処理装置の動作手順を示すフローチャートである。

【図4】上記画像処理装置における線分検出工程を説明する模式図である。

【図5】上記画像処理装置における線分検出工程を説明する模式図である。

【図6】上記画像処理装置における線分検出工程を説明する模式図である。

【図7】上記画像処理装置における線分検出工程を説明する模式図である。

【図8】上記画像処理システムの作用を説明する図である。

【発明を実施するための形態】

【0015】

以下、図面を参照しながら、本発明の実施形態を説明する。

【0016】

図１は、本発明の一実施形態に係る画像処理システム１００の構成例を示すブロック図である。図２は、画像処理システム１００を備えた移動体１の概略側面図である。

【0017】

本実施形態の画像処理システム１００は、図１及び図２に示すように、画像処理装置１０と、撮像部２０と、表示部３０とを有する。

【0018】

画像処理システム１００は、例えば、工場内で運行される移動体（例えばフォークリフト）に搭載され、移動体の走行路上における所定の検出対象（例えば停止線）の有無を判定し、検出対象を検出した場合にはその旨を運転手へ報知する安全支援システムとして構成される。

【0019】

［画像処理装置］
画像処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のコンピュータに用いられるハードウェア要素及び必要なソフトウェアにより実現される。画像処理装置１０は、ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、あるいは、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等を有してもよい。

【0020】

画像処理装置１０は、機能的に、取得部１１と、前処理部１２と、後処理部１３と、判定部１４と、表示制御部１５と、通信部１６と、メモリ１７とを有する。

【0021】

（取得部）
取得部１１は、移動体１に設置された撮像部２０（２１，２２）により撮像された視野画像を時系列に取得可能に構成される。取得部１１は、撮像部２０に対する撮影の指示及び撮影の停止を制御することが可能に構成されてもよい。

【0022】

撮像部２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を有し、移動体１の進行方向の視野を撮影するビデオカメラで構成される。撮像部２０は、図２に示すように前進用および後退用の２台のカメラ２１，２２を備えていてもよい。撮像部２０は、移動体１の走行方向の路面（あるいは床面）Ｓを撮影することが可能に移動体１の適宜の場所に設置される。

【0023】

視野画像は、典型的には、移動体１の走行方向の視野を撮影した動画であり、主として、移動体の走行方向における路面Ｓおよびその周囲の画像を含む。取得した視野画像のデータは、メモリ１６に蓄積され、あるいは、通信部１６を介して管理装置４０へ無線送信される。視野画像は、水平方向（Ｘ方向）および垂直方向（Ｙ方向）を有する直交座標系の二次元画像である。

【0024】

（前処理部）
前処理部１２は、視野画像Ｖ１をエッジ探索することで、線分を構成する複数の候補点を抽出することが可能に構成される。

【0025】

本実施形態において、前処理部１２は、撮像部２０において取得された視野画像をグレースケール画像に変換することで、各画素のＲＧＢ成分から輝度値を算出する。輝度値の算出方法は特に限定されず、本実施形態では、輝度の値が例えば８ビットの階調数（０－２５５）で算出される。

【0026】

（後処理部）
後処理部１３は、前処理部１２で抽出された複数の候補点の一軸方向に沿った連続性に基づいて前記線分を区間分割することが可能に構成される。

【0027】

一軸方向とは、典型的には、検出すべき線分の長手方向に相当する。一軸方向は、直線に限られず、部分的にあるいは全体的に湾曲した曲線部を含んでいてもよい。これにより、例えば、撮像部２０のレンズの収差による影響を抑えることができるとともに、検出対象である蓋然性が高い直線的な線分をも候補点として抽出することが可能となる。

【0028】

区間分割とは、後述するように、一軸方向に連続する候補点の集合を１つの線分として抽出し、一軸方向に連続しない候補点を異なる線分の候補点として抽出する処理をいう。このように区間分割された各線分を個々に分析することで、検出対象である蓋然性の高い線分の抽出精度を高めることができる。

【0029】

（判定部）
判定部１４は、区間分割した各線分の中から所定の条件を満たす線分を検出対象として抽出することが可能に構成される。本実施形態では、後述するように、後処理部１３において区間分割された線分のうち、形状、傾き、長さおよび線幅の少なくとも１つが所定条件を満たす線分を検出対象として抽出するように構成される。

【0030】

判定部１４は、後処理部１３の抽出処理の結果に基づいて、撮像部２０により撮像された視野画像に検出対象があるか否かを判定する。判定部１４は、所定のフレーム単位で視野画像における検出対象の存在の有無を判定するように構成される。判定部１４は、典型的には、取得部１１より時系列的に取得される視野画像をフレーム単位で更新するが、数フレームあるいは数十フレーム単位で更新するようにしてもよい。

【0031】

検出対象は特に限定されず、典型的には、移動体１が走行する路面（床面）Ｓ上に存在する直線成分をもった路上物、例えば、走行領域を規定する車線、荷物の載置区画を表示する枠線、一時停止ラインや進行方向の標識（あるいは標示）といった路上標示物が対象とされる。これらの路上標示物は、路面を構成する床材（コンクリートやアスファルト、あるいはこれらの上に塗装された塗膜）の上に、床材とは異なる色でペイントされ、あるいは貼り付けられている。

【0032】

本実施形態では、水平方向に延びる所定以上の長さの横線を検出対象としている。このような横線としては、典型的には、一時停止ライン（停止線）や横断歩道等が挙げられる。

【0033】

（表示制御部）
表示制御部１５は、視野画像を表示する表示部３０へ検出対象の存在を知らせる画像情報を表示させるための制御信号を生成するように構成される。これにより、表示部３０を介してユーザに路上への注意喚起を促すことができる。表示制御部１５は、特許請求の範囲の「信号生成部」に相当する。

【0034】

上記制御信号は、上記画像情報に代えて又はこれに加えて、図示しないスピーカやランプ等から音や光等の報知情報を出力させる信号であってもよい。

【0035】

（通信部）
通信部１６は、画像処理装置１０と管理装置４０との間で情報を送受信することが可能なアンテナ等を含む通信モジュールを備える。通信部１６は、取得部１１で取得された撮像部２０の画像、前処理部１２により抽出された複数の候補点に関する情報、後処理部１３により区間分割された線分に関する情報等を管理装置４０へ出力するように構成される。なお、通信部１６及び管理装置４０の設置は任意であり、必要に応じて省略されてもよい。

【0036】

（メモリ）
メモリ１７は、画像処理装置１０の各部の動作を実行するプログラムソフトウェアや演算パラメータが格納される。メモリ１７は、取得部１１により取得された視野画像、前処理部１２において抽出された複数の候補点に関する情報、後処理部１３により区間分割された線分に関する情報、判定部１４による検出対象の存在の有無の判定結果等が格納されてもよい。なお、メモリ１７は、画像処理装置１０とは別の記憶装置で構成されてもよい。

【0037】

［表示部］
表示部３０は、撮像部２０で撮影された視野画像を表示することが可能な液晶表示装置や有機ＥＬ表示装置等で構成され、典型的には、図２に示すように移動体１の運転席等に設置される。

【0038】

本実施形態の表示部３０には視野画像として移動体１の進行方向の前方視野が表示される。ここで前方視野とは、移動体１が前進している場合はカメラ２１により撮影される画像であり、移動体１が後退している場合はカメラ２２により撮影される画像である。

【0039】

＜画像処理システムの動作＞
次に、本実施形態の画像処理システム１００の典型的な動作について説明する。

【0040】

図３は、画像処理装置１０の動作手順を示すフローチャートである。以下、図３を適宜参照しながら画像処理装置１０の構成の詳細および画像処理方法について説明する。

【0041】

［ステップ１０１：視野画像取得］
移動体１が走行を開始すると、取得部１１は、撮像部２０から路面Ｓの視野画像を時系列的に取得する。視野画像は、表示部３０に表示される。表示部３０に表示される視野画像は典型的にはＲＧＢ画像である。

【0042】

［ステップ１０２：グレースケール変換］
次に、前処理部１２は、取得部１１から出力された視野画像をグレースケール画像Ｖ２に変換する画像処理を実行する。この画像処理は、時系列に所定のフレーム単位で実行される。画像処理の結果生成されたグレースケール画像Ｖ２はメモリ１７に記憶される。

【0043】

図４（Ａ）は、グレースケール画像Ｖ２の一部を示す模式図である。図中、白抜きの線状の領域（以下、形状を問わず、線分領域Ｔ１ともいう）が背景（床面Ｓ）よりも高輝度の領域を示している。この画像処理工程では、視野画像の各画素のＲＧＢ成分から輝度成分が８ビットの階調度（０～２５５）で算出される。典型的には、背景（床面Ｓ）のデータ（輝度値）は「０」であり、線分領域Ｔ１のデータ（輝度値）は、白色に近いほど高い数値となり、例えば、２００以上である。

【0044】

［ステップ１０３：候補点抽出］
続いて、前処理部１２は、グレースケール画像Ｖ２をエッジ探索することで、線分を構成する複数の候補点を抽出する処理を実行する。エッジ探索方法は特に限定されず、本実施形態では、グレースケール画像Ｖ２の各画素を畳み込み演算することで、上記複数の候補点を抽出する。

【0045】

図４（Ｂ）は、畳み込み演算によるエッジの探索方法を説明する模式図である。畳み込み演算は、例えば、注目画素を中心とする上下３画素の合計差分をとり、合計差分値が所定のプラスの閾値を超えたときの注目画素Ｃの位置をエッジの候補点Ｆ（図４（Ｃ）参照）とする。

【0046】

図４（Ｂ）の画素内の数値は、当該画素の輝度値に乗じられるゲイン（係数）であり、ここでは、注目画素の上部（－Ｙ方向）の３画素は「１」、注目画素の下部（＋Ｙ方向）の３画素は「－１」とされるが、ゲインの値は勿論これに限られない。同図に示すように、畳み込み窓の注目画素（図中Ｃで示す）が対象物Ｔのエッジにきたとき、上部３画素と下部３画素の差は最も大きくなる。上記閾値は、撮影条件や光環境の変化、周囲の照度などによって適宜設定することが可能であり、上記エッジ位置を候補点として抽出することが可能であれば特に限定されない。

【0047】

図４（Ｃ）は、候補点の探索方法を説明する模式図である。前処理部１２は、画像内の各Ｘ座標について畳み込み窓に基づいて候補点Ｆを探索する。探索方向は、Ｙ座標の図中下方（＋Ｙ方向）から上方（－Ｙ方向）に向かう方向（図中、矢印方向）であり、移動体１の進行方向に相当する。前処理部１２は、抽出された各候補点ＦのＹ座標を採用する。

【0048】

前処理部１２はさらに、抽出された各候補点の位置における線分領域Ｔ１の線幅を算出する。図５（Ａ）は、線幅の算出工程を説明する模式図である。同図に示すように、線分領域Ｔ１の線幅の算出に当たっては、各候補点Ｆの位置におけるＹ軸方向に沿った延長線上の線分領域Ｔ１の反対側のエッジに相当する終端点Ｒを探索し、Ｙ軸方向に相互に対向する候補点Ｆおよび終端点Ｒ各々のＹ座標の差分を当該位置における線幅とする。

【0049】

このとき、前処理部１２は、各候補点Ｆの位置における線分領域Ｔ１の線幅から、各候補点Ｆの位置における当該線分領域Ｔ１の平均線幅を算出する。

【0050】

終端点Ｒは、候補点Ｆの探索と同様な畳み込み演算によって抽出される。この場合、注目画素を中心とする上下３画素の合計差分をとり、合計差分値が所定のマイナスの閾値以下の注目画素Ｃの位置をエッジの終端点Ｒ（図５（Ａ）参照）とする。候補点Ｆおよび終端点Ｒの探索処理に畳み込み演算を採用することで、光環境の変化や周囲の照度などに左右されることなく精度よくエッジ検出が可能となる。

【0051】

前処理部１２は、算出した線幅が予め設定された許容範囲（最小値と最大値との間）に属さない場合には、当該線幅を形成する候補点Ｆおよび終端点Ｒをいずれも無効として除去する。上記許容範囲は、検出対象の種類（本実施形態では停止線）に応じて適宜設定可能である。この段階で、検出対象である蓋然性が低い線分の候補点Ｆを無効にすることで、検出対象の検出効率を向上させることができる。

【0052】

［ステップ１０４：直線近似算出］
続いて、図５（Ｂ）に示すように、前処理部１２は、各候補点Ｆの位置に基づいて、当該線分領域Ｔ１を構成する直線Ｌ１のパラメータ（傾き、切片）を算出する。算出方法は特に限定されず、例えば、RANSAC（Random Sample Consensus）等のアルゴリズムを用いた最小二乗法が適用される。

【0053】

線分領域Ｔ１の直線パラメータは、各候補点ＦのＹ座標と、求めた直線パラメータから算出したＹ座標とを比較し、これらの差分が閾値以内の候補点数をスコアとして記録する。この際、湾曲した線にも対応するために閾値に幅をもたせるのが好ましい。ただし、鳥瞰変換やレンズ歪み補正を行う場合にはこれに限られない。

【0054】

前処理部１２は、算出した直線近似式から所定以上外れた候補点Ｆ（図５（Ｂ）において線分領域Ｔ２の候補点Ｆに相当）を無効とする。これにより、検出対象である蓋然性の低い候補点Ｆを除去することができる。

【0055】

［ステップ１０５：無効候補点除去］
前処理部１２はさらに、各候補点Ｆについて各々の位置における線分領域Ｔ１の線幅の大きさを算出し、所定の範囲内にない線幅の領域を無効にする処理を実行する。本実施形態では、図６（Ａ）に模式的に示すように、各候補点ＦのＸ軸位置における線内部の候補点Ｆ１と線上部の候補点Ｆ２の画素値（輝度値）を用い、これらの差分（Ｆ１－Ｆ２）が所定の閾値を上回った候補点を最終候補点として抽出する。閾値以下の候補点Ｆについては、無効として除去される。

【0056】

線状領域Ｔ１が白色の場合、線内部の候補点Ｆ１の画素値は、理想的には、最大輝度値である２５５となる。一方、線上部の候補点Ｆ２の画素値は、典型的には、線内部よりも小さくなる。候補点Ｆ２，Ｆ３の位置は、検出対象とした予め設定された線分（本実施形態では停止線）の線幅に応じて適宜設定される。このとき、先の処理（ステップ１０３）で算出した平均線幅が参照されてもよい。また、上記差分の閾値も同様に、線状領域Ｔ１の周囲（床面Ｓ）の材質や色調に応じて適宜設定可能であり、例えば、床面Ｓがコンクリート（灰色）などの場合には、線内部と線上部との輝度値の差が大きくないため、閾値としては３０程度であってもよい。

【0057】

なお、条件を満たさない終端点Ｒの無効除去（ステップ１０３）、直線近似から外れた候補点Ｆの無効除去（ステップ１０４）などは、本ステップにおいて実行されてもよい。

【0058】

［ステップ１０６：線分の区間分割］
後処理部１３は、前処理部１２において無効な候補点が除去された候補点群の連続性を評価し、直線区間分割処理を実行する。連続性の判定は特に限定されず、本実施形態では、各候補点Ｆの位置の間隔に基づいて、線状領域を区間分割する。判定基準としては、例えば、以下の２条件が用いられる。

【0059】

（１）画像左から候補点のＸ座標を比較していき、間隔が所定単位（例えば５画素）以上離れていれば、別の区間として判断する。
（２）画像左から候補点のＹ座標を比較していき、間隔が「平均線幅×任意係数」以上離れていれば、別の区間として判断する。
分割した各候補線群（候補線１～３）を図６（Ｂ）に模式的に示す。各候補線群は、ステップ１０５と同様な処理で、直線近似される。

【0060】

後処理部１３は、区間分割した候補線群について、区間ごとの線幅を算出する。区間ごとの線幅は、候補点Ｆの探索時に求めた、各候補点Ｆの位置での線幅に基づいて、区間内での平均線幅として算出する。以下に式を示す。
区間線幅＝（区間内の線幅合計値）／（区間内の候補点数）

【0061】

［ステップ１０７：形状、傾き、線幅評価］
続いて、判定部１５は、区間分割した各線分の中から所定の条件を満たす線分を検出対象として抽出する処理を実行する。評価の対象には、各候補線の形状、傾きおよび線幅が含まれるが、これに限られず、これらの少なくとも１つ、あるいはこれら以外の他のパラメータが対象とされてもよい。

【0062】

図７（Ａ）は、候補線Ｔ３の形状評価方法を説明する模式図である。線形状の判定は、区間内候補点間の傾きに基づいて行われる。同図に示す線状領域Ｔ３は、区間分割された１つの線分である。画面の左から候補点Ｆ間の傾きを算出し、前回の傾きとの差分を合計する。最終的な差分の合計値を候補点数で平均化した値をスコアとし、当該スコアが閾値を上回った場合は無効とする。

【0063】

例えば、スコアが大きいということは、候補点間の傾きの変化が大きく、滑らかな線ではない。その一方で、候補点の直列性が良ければ、傾きの差分の合計値はゼロに近づくことになる。形状の評価は、単純に各候補点のＹ座標の変化量だけで判断することも可能であるが、急峻な変化なのか、なだらかな変化なのかを判断するためには、Ｘ座標の変化量も考慮する必要がある。

【0064】

図７（Ｂ）は、候補線Ｔ３の傾き評価方法を説明する模式図である。本実施形態では、検出対象が停止線であるため、移動体１の進行方向を考慮すると、候補線Ｔ３は画像Ｖ２の水平方向に関して所定以下の角度関係にあるはずである。そこで、本実施形態では、候補線Ｔ３の水平方向に関するなす角度θを測定し、これが所定角度以上（例えば４５度以上）の候補線は無効とする。これにより、走行車線などの進行方向に沿った線分と停止線との区別が可能となる。なお、候補線Ｔ３の傾きには、例えば、区間内の各候補点のＹ座標に基づいて算出される直線パラメータが参照される。

【0065】

図７（Ｃ）は、候補線Ｔ３の線長評価方法を説明する模式図である。形状評価および傾き評価を行った有効な候補線について、線長が算出される。算出方法は特に限定されず、ここでは各区間の候補点について区間内の左端と右端の座標を探索し、これらのＸ座標の差分を線長とする。厳密には、各候補点のＹ座標も考慮に入れるべきであるが、処理負荷の関係で簡略化してもよい。そして、各候補線の中から最も線長の長いものを最終候補として採用する。

【0066】

［ステップ１０８：検出対象の判定］
続いて、判定部１４は、最終候補として抽出された候補線Ｔ３が検出対象であるか否かを判定する。判定基準として、ここでは、当該候補線Ｔ３の線幅が検出対象である停止線の幅に相当するか否かが評価される。

【0067】

線幅の評価は、最短および最長の閾値に基づいて行われるが、線幅はピクセル単位で算出されているため、画像内での位置によって同じ線でも幅が異なる。そこで、判定部１４は、候補線の中心のＹ座標を算出し、その値に応じて調整した閾値範囲で線幅を評価する。

【0068】

線幅が閾値範囲内にある場合は、候補線Ｔ３が検出対象（停止線）であると判定して次の表示制御処理（ステップ１０９）に移行する。一方、線幅が閾値範囲を超えた場合は、候補線Ｔ３が停止線ではないと判断して無効とし、再び、ステップ１０１からの処理を繰り返す。

【0069】

［ステップ１０９：表示制御］
表示制御部１５は、停止線であると推定された候補線Ｔ３（以下、単に停止線ともいう）の座標と移動体１からの距離とを算出する。

【0070】

停止線の座標としては、以下のパラメータが算出される。
（１）線左端座標
候補線の線長評価（図７（Ｃ））で探索した候補線Ｔ３の左端Ｘ座標と、直線パラメータ（直線近似式）より算出されたＹ座標とを用いて、線左端座標が算出される。
（２）線右端座標
候補線の線長評価（図７（Ｃ））で探索した候補線Ｔ３の右端Ｘ座標と、直線パラメータ（直線近似式）より算出されたＹ座標とを用いて、線右端座標が算出される。
（３）線中心座標
画像中心のＸ座標と、直線パラメータ（直線近似式）より算出されたＹ座標とを用いて、線中心座標が算出される。画像中心の座標を採用するのは、画像中心が移動体１の中心であるとの前提に基づくものである。したがって、画像中心が移動体１の中心でない場合は、画像中心を移動体１の中心とする補正を行ってもよい。

【0071】

停止線までの距離としては、上記線中心座標のＹ座標を基に、移動体１から停止線までの実距離が算出される。移動体１から画像下端までの実距離はカメラ２１，２２の画角と取り付け高さ、角度から事前に算出できる。残りの画像下端から停止線までの距離は、停止線の画像下端からの距離（ピクセル数）より算出できる。

【0072】

停止線の座標および距離が算出された後、表示制御部１５は、表示部３０に表示される視野画像に停止線の位置を強調する任意の画像を表示する制御を実行する。図８は、視野画像Ｖ１の停止線ＶＦ（検出対象）の位置にそれを囲むように枠線Ｗが重畳表示された例を示している。枠線Ｗは、赤線や黄線など、運転者の注意を喚起できる色で表示されてもよい。また、枠線Ｗを太線で表示したり、点滅表示させたりしてもよい。形状は同図に示すように矩形に限られず、円形、楕円形、台形等であってもよい。さらに、枠線Ｗの表示制御に加えて、警報や音声によるアナウンスの発動、警告灯の発光動作が組み合わされてもよい。

【0073】

以上、本発明の実施形態について説明したが、本発明は上述の実施形態にのみ限定されるものではなく種々変更を加え得ることは勿論である。

【0074】

例えば以上の実施形態では、検出対象として、停止線等の水平方向に連続する所定長さの線成分を有する対象物を例に挙げて説明したが、車線等の垂直方向（視野画像内では斜め方向）に連続する所定長さの線成分を有する対象物を検出対象としてもよい。

【0075】

また、上記実施形態では、移動体１としてフォークリフトを例に挙げて説明したが、これに限られず、一般車両や自律走行ロボット等の有人または無人の他の移動体であってもよい。さらに、移動体１は、走行体に限られず、ドローン等の飛行体であってもよい。この場合、天井の梁や柱、建物の壁面等を検出対象とすることができる。

【0076】

加えて、上記実施形態では、検出対象は典型的には停止線であるがこれに限られず、路面Ｓに落下した物体等の対象物以外の他の対象物の検出にも、本発明は適用可能である。

【符号の説明】

【0077】

１…移動体
１０…画像処理装置
１１…取得部
１２…前処理部
１３…後処理部
１４…判定部
１５…表示制御部
２０…撮像部
３０…表示部
１００…画像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】