特許 5911623 道路のジョイント部の検出装置及び検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5911623

(24)【登録日】2016年4月8日

(45)【発行日】2016年4月27日

(54)【発明の名称】道路のジョイント部の検出装置及び検出方法

(51)【国際特許分類】

   G06T 7/00 20060101AFI20160414BHJP

   G08G 1/16 20060101ALI20160414BHJP

【ＦＩ】

   G06T7/00 150

   G08G1/16 C

【請求項の数】14

【全頁数】15

(21)【出願番号】特願2015-67281(P2015-67281)

(22)【出願日】2015年3月27日

【審査請求日】2015年3月27日

【早期審査対象出願】

(73)【特許権者】

【識別番号】512226273

【氏名又は名称】株式会社ファンクリエイト

(73)【特許権者】

【識別番号】513220562

【氏名又は名称】首都高技術株式会社

(74)【代理人】

【識別番号】100109380

【弁理士】

【氏名又は名称】小西 恵

(74)【代理人】

【識別番号】100109036

【弁理士】

【氏名又は名称】永岡 重幸

(72)【発明者】

【氏名】土佐林 憲

【審査官】 島倉 理

(56)【参考文献】

【文献】 特開２０１４−０１３４５１（ＪＰ，Ａ）

【文献】 特開２０１３−１９５７８３（ＪＰ，Ａ）

【文献】 特開２０１２−２２１３０３（ＪＰ，Ａ）

【文献】 特開２０１１−０８９９７７（ＪＰ，Ａ）

【文献】 特開２００３−００２２５６（ＪＰ，Ａ）

【文献】 特開２０１２−２１１８１５（ＪＰ，Ａ）

【文献】 特開２０１３−２０２９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

移動体に搭載された撮影部で撮影した当該移動体の周辺の撮影画像の各画像フレーム全体から、道路のジョイント部を検出するための二値化閾値または多値化閾値を用いて、二値化または多値化画像フレームを得る処理部と、
前記二値化または多値化画像フレームから特異点を抽出する特異点抽出部と、
前記特異点抽出部で抽出した特異点のうち、前記二値化または多値化画像フレーム内における所定の方向に連続する特異点の数に基づいて、前記ジョイント部を検出する検出部と、を備え、
前記二値化閾値及び多値化閾値は、前記ジョイント部と当該ジョイント部の周囲との画素の輝度値の相違に基づく値であることを特徴とする道路のジョイント部の検出装置。

【請求項2】

前記特異点抽出部は、前記処理部により得られた画像フレームから、前記ジョイント部の輝度値に対応する値の輝度値を有する画素を前記特異点として抽出することを特徴とする請求項１に記載の検出装置。

【請求項3】

ユーザが入力した情報に基づいて、前記二値化閾値または多値化閾値を調整可能な閾値調整部をさらに備えることを特徴とする請求項１または２に記載の検出装置。

【請求項4】

前記検出部は、前記連続する特異点の数が、前記ジョイント部の前記画像フレーム内における前記所定の方向における大きさに相当する判定範囲内にあるとき、前記画像フレーム内に前記ジョイント部が存在すると判断することを特徴とする請求項１〜３のいずれか１項に記載の検出装置。

【請求項5】

前記検出部は、前記ジョイント部の前記画像フレーム内における前記所定の方向における大きさを、前記移動体の車速と、前記ジョイント部の前記画像フレーム間での変位量とに基づいて導出することを特徴とする請求項４に記載の検出装置。

【請求項6】

ユーザが入力した情報に基づいて、前記判定範囲を調整可能な判定範囲調整部をさらに備えることを特徴とする請求項４または５に記載の検出装置。

【請求項7】

前記検出部で前記ジョイント部を検出したとき、当該ジョイント部が撮影されている前記画像フレームを記憶装置に記憶する記憶制御部をさらに備えることを特徴とする請求項１〜６のいずれか１項に記載の検出装置。

【請求項8】

前記記憶制御部は、前記画像フレームの撮影時刻および前記移動体の位置の少なくとも一方を、前記画像フレームと対応付けて前記記憶装置に記憶することを特徴とする請求項７に記載の検出装置。

【請求項9】

前記検出部で前記ジョイント部を検出したとき、当該ジョイント部が撮影されている前記画像フレームを表示部に表示する表示制御部をさらに備えることを特徴とする請求項１〜８のいずれか１項に記載の検出装置。

【請求項10】

前記表示制御部は、前記検出部で検出したジョイント部を強調表示することを特徴とする請求項９に記載の検出装置。

【請求項11】

前記検出部で前記ジョイント部を検出したとき、当該ジョイント部が撮影されている前記画像フレームをサーバ装置へ転送する転送部をさらに備えることを特徴とする請求項１〜１０のいずれか１項に記載の検出装置。

【請求項12】

処理部と、特異点抽出部と、検出部とを備える検出装置が実行する検出方法であって、
前記処理部が、移動体に搭載された撮影部で撮影した当該移動体の周辺の撮影画像の各画像フレーム全体から、道路のジョイント部を検出するための二値化閾値または多値化閾値を用いて、二値化または多値化画像フレームを得るステップと、
前記特異点抽出部が、前記二値化または多値化画像フレームから特異点を抽出するステップと、
前記検出部が、抽出した特異点のうち、前記二値化または多値化画像フレーム内における所定の方向に連続する特異点の数に基づいて、前記ジョイント部を検出するステップと、を含み、
前記二値化閾値及び多値化閾値は、前記ジョイント部と当該ジョイント部の周囲との画素の輝度値の相違に基づく値であることを特徴とする検出方法。

【請求項13】

コンピュータを、請求項１〜１１のいずれか１項に記載の検出装置の各部として機能させるためのプログラム。

【請求項14】

請求項１３に記載のプログラムを記録した、コンピュータが読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、道路のジョイント部を検出する検出装置及び検出方法に関する。

【背景技術】

【0002】

従来、路面に関連する構造物や路面の周辺に設置された付属構造物等を含む道路構造物の点検作業は、点検者が目視により行っていた。例えば、道路構造物の点検方法としては、点検者が、走行する点検車両から目視により道路構造物の状態を確認したり、点検車両に設置したカメラ等で撮影した全画像から道路構造物の状態を目視判定したりする方法が用いられてきた。しかしながら、前者の方法では、点検車両を低速走行させなければならず、道路渋滞を招くおそれがある。また、後者の方法では、点検者は道路構造物が撮影されていない画像についても確認しなければならず、非効率である。

【0003】

車載のカメラで撮影した画像から道路構造物を自動的に検出する装置としては、例えば特許文献１に記載の技術がある。この技術は、車両に設置したカメラで撮影した車両前方の路面上の画像に対しエッジ検出、パターン認識などの画像処理を行うことで、車両前方の路面上の構造物（例えば、道路のジョイント部）を識別するものである。ここでは、路面上の構造物についての位置情報を記憶したデータベースを予め準備しておき、当該データベースに記憶された構造物の位置に車両が接近したとき、車両前方に道路構造物が存在するか否かを判断している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２０２９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１に記載の技術にあっては、道路構造物の位置情報を記憶したデータベースを予め準備しておかなければ、道路構造物を適切に検出することができない。すなわち、例えば道路構造物として道路のジョイント部を検出対象とした場合、当該ジョイント部の設置位置や設置間隔等が未知である場合には、適切に当該ジョイント部を検出することができない。また、上記特許文献１に記載の技術では、パターン認識により道路構造物を検出している。このようにパターン認識を用いた検出方法では、例えば、道路のジョイント部を検出する場合、道路の幅方向に沿って互い違いに正対状態で形成される三角形や四角形などの継ぎ目をパターンマッチングにより検出することで、道路のジョイント部を検出することになる。しかしながら、ジョイント部の継ぎ目の形状にはさまざまなものがあり、すべてのマッチング用パターンを用意することは困難である。したがって、上記の検出方法では、ジョイント部の誤検出や検出漏れ等が発生しやすい。
そこで、本発明は、撮影画像から道路のジョイント部を容易且つ適切に検出することができる検出装置及び検出方法を提供することを課題としている。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る道路のジョイント部の検出装置の一態様は、移動体に搭載された撮影部で撮影した当該移動体の周辺の撮影画像の各画像フレーム全体から、道路のジョイント部を検出するための二値化閾値または多値化閾値を用いて、二値化または多値化画像フレームを得る処理部と、前記二値化または多値化画像フレームから特異点を抽出する特異点抽出部と、前記特異点抽出部で抽出した特異点のうち、前記二値化または多値化画像フレーム内における所定の方向に連続する特異点の数に基づいて、前記ジョイント部を検出する検出部と、を備え、前記二値化閾値及び多値化閾値は、前記ジョイント部と当該ジョイント部の周囲との画素の輝度値の相違に基づく値であることを特徴とする。したがって、従来のパターンマッチングを用いた場合のように、検出対象である物体（ジョイント部）に対応したマッチング用パターンを用意する必要がない。そのため、ジョイント部の誤検出や検出漏れを抑制することができる。

【0007】

また、上記の検出装置において、前記特異点抽出部は、前記処理部により得られた画像フレームから、前記ジョイント部の輝度値に対応する値の輝度値を有する画素を前記特異点として抽出してもよい。このように、ジョイント部の輝度値を有する画素を特異点として抽出するので、検出対象であるジョイント部とは輝度値の異なる物体は、仮に形状が同じであっても検出対象から除外することができる。したがって、ジョイント部を適切に検出することができる。

【0008】

上記の検出装置において、前記処理部は、前記撮影した画像フレームに対して所定の閾値で二値化処理および多値化処理のいずれかを施し、前記特異点抽出部は当該処理後の画像フレームから前記特異点として抽出している。このように、二値化処理または多値化処理を行って特異点を抽出するので、比較的簡易に特異点、即ち検出対象であるジョイント部の候補に対応する画素を抽出することができる。また、二値化処理または多値化処理を行うことで、データ量を削減することができ、処理を軽くすることができる。

【0009】

また、上記の検出装置において、ユーザが入力した情報に基づいて、前記閾値を調整可能な閾値調整部をさらに備えてもよい。このように、二値化処理または多値化処理で用いる閾値を調整することで、検出可能となるジョイント部を調整することができる。

【0010】

さらにまた、上記の検出装置において、前記検出部は、前記連続する特異点の数が、前記ジョイント部の前記画像フレーム内における前記所定の方向における大きさに相当する判定範囲内にあるとき、前記画像フレーム内に前記ジョイント部が存在すると判断してもよい。これにより、検出対象のジョイント部の画像フレーム内における大きさ及び姿勢に概ね一致する大きさ及び姿勢を有する特異点の点群を、検出対象のジョイント部として検出することができる。したがって、複雑な処理を必要とすることなく、適切にジョイント部の検出が可能となる。また、検出対象のジョイント部と同等の輝度値を有する物体が存在する場合であっても、検出対象のジョイント部とは大きさや姿勢が異なる物体は検出対象から除外することができる。したがって、所望のジョイント部を適切に検出することができる。

【0011】

また、上記の検出装置において、前記検出部は、前記ジョイント部の前記画像フレーム内における前記所定の方向における大きさを、前記移動体の車速と、前記ジョイント部の前記画像フレーム間での変位量とに基づいて導出してもよい。これにより、画像フレーム内のジョイント部の位置および大きさが、画像フレーム間で変位することを利用して判定範囲を設定することができる。したがって、例えば他車両の影などの移動体は、ジョイント部として検出されないようにすることができる。このように、より高精度にジョイント部を検出することができる。

【0012】

さらに、上記の検出装置において、ユーザが入力した情報に基づいて、前記判定範囲を調整可能な判定範囲調整部をさらに備えてもよい。このように、ジョイント部の検出に用いる判定範囲を調整することで、検出するジョイント部を調整することができる。したがって、所望のジョイント部を検出することができる。

【0013】

さらに、上記の検出装置において、前記検出部でジョイント部を検出したとき、当該ジョイント部が撮影されている前記画像を記憶装置に記憶する記憶制御部をさらに備えてもよい。これにより、移動体が撮影対象領域の移動を完了した後、点検者は記憶装置に記憶された画像を詳細に確認することができる。また、記憶装置には、ジョイント部が撮影されている画像のみを記憶するので、点検者はジョイント部の状態を効率良く確認することができる。
また、上記の検出装置において、前記記憶制御部は、前記画像の撮影時刻および前記移動体の位置の少なくとも一方を、前記画像と対応付けて前記記憶装置に記憶してもよい。これにより、点検者は、画像に映っているジョイント部の位置や、当該ジョイント部が撮影された時刻等を容易に把握することができる。

【0014】

さらにまた、上記の検出装置において、前記検出部でジョイント部を検出したとき、当該ジョイント部が撮影されている前記画像を表示部に表示する表示制御部をさらに備えてもよい。このように、検出対象であるジョイント部が撮影された画像を表示部に表示させるので、移動体を移動させながらモニタ上でジョイント部の状態を確認することができる。
また、上記の検出装置において、前記表示制御部は、前記検出部で検出したジョイント部を強調表示してもよい。これにより、ジョイント部の状態の確認作業を効率的に行うことができる。

【0015】

また、上記の検出装置において、前記検出部でジョイント部を検出したとき、当該ジョイント部が撮影されている前記画像をサーバ装置へ転送する転送部をさらに備えてもよい。このように、検出対象であるジョイント部が撮影された画像をサーバ装置へ転送するので、遠隔地にいる監視員等は、リアルタイムでジョイント部の状態を確認することができる。
また、本発明に係る検出方法の一態様は、処理部と、特異点抽出部と、検出部とを備える検出装置が実行する検出方法であって、前記処理部が、移動体に搭載された撮影部で撮影した当該移動体の周辺の撮影画像の各画像フレーム全体から、道路のジョイント部を検出するための二値化閾値または多値化閾値を用いて、二値化または多値化画像フレームを得るステップと、前記特異点抽出部が、前記二値化または多値化画像フレームから特異点を抽出するステップと、前記検出部が、抽出した特異点のうち、前記二値化または多値化画像フレーム内における所定の方向に連続する特異点の数に基づいて、前記ジョイント部を検出するステップと、を含み、前記二値化閾値及び多値化閾値は、前記ジョイント部と当該ジョイント部の周囲との画素の輝度値の相違に基づく値であることを特徴とする検出方法である。したがって、従来のパターンマッチングを用いた場合のように、検出対象であるジョイント部に対応したマッチング用パターンを用意する必要がない。そのため、ジョイント部の誤検出や検出漏れを抑制することができる。

【発明の効果】

【0016】

本発明によれば、検出対象のジョイント部の設置位置やパターンが未知であっても、移動体に搭載した撮影部で撮影した画像からジョイント部を容易且つ適切に検出することができる。また、撮影画像からジョイント部を自動的に検出するので、ジョイント部の状態確認作業を支援することができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態における検出装置の一例を示す概略構成図である。

【図2】検出装置のハードウェア構成の一例を示す図である。

【図3】画像処理装置の機能ブロック図である。

【図4】画像処理装置が実行する画像処理手順を示すフローチャートである。

【図5】撮影画像の一例である。

【図6】二値化処理後の画像データの一例である。

【図7】道路構造物の検出結果の表示例である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態における検出装置の一例を示す概略構成図である。本実施形態では、検出装置を、道路（歩道を含む）に関連する構造物（以下、「道路構造物」という。）を検出する道路構造物検出装置に適用する例を説明する。
この図１に示すように、道路構造物検出装置１００は、移動体である車両２００に搭載可能である。車両２００は、例えば、高速道路をはじめとする各種道路において、毎日もしくは数日おきに行われる日常点検を実施するための点検車両である。道路構造物検出装置１００は、カメラ１０と、画像処理装置２０と、ＧＰＳ受信機３０とを備える。

【0019】

カメラ１０は、例えば車両２００の正面の屋根部分に取り付けられ、車両２００の周辺を撮影する撮影部である。このカメラ１０は、例えば、アスペクト比１６：９の横長のハイビジョン映像を撮影するハイビジョンカメラである。これにより、アスペクト比４：３の映像に対し、人の視野に近い状態で映像を撮影することができる。
カメラ１０は、例えば車両２００が所定の点検対象道路を走行しているときに、当該車両２００の周辺を撮影することで、道路構造物を検出するための映像を撮影する。

【0020】

本実施形態では、カメラ１０は、車両２００の前方の映像を撮影する。ここで、カメラ１０の撮影範囲（方向や画角（視野角））は、検出対象である道路構造物に応じて適宜設定するものとする。検出対象が道路のジョイント部である場合には、カメラ１０の撮影範囲は、路面を撮影可能な範囲に設定する。一方、検出対象が道路の側部に設置された標識や照明、防音壁等である場合には、カメラ１０の撮影範囲は、道路の側部を撮影可能な範囲に設定する。
なお、カメラ１０は複数台設置することもできる。例えば、カメラ１０は、車両２００の前方を撮影する第一のカメラと、車両２００の左側方を撮影する第二のカメラと、車両２００の右側方を撮影する第三のカメラとで構成することもできる。この場合、各カメラでそれぞれ撮影した撮影方向の異なる映像を１つの動画情報として出力可能な構成とする。また、カメラ１０は、車両の後方を撮影するように構成されていてもよい。

【0021】

画像処理装置２０は、カメラ１０で撮影した映像データの各画像フレーム（画像データ）を取得し、取得した画像データに対して画像処理を行って道路構造物を検出する。この画像処理装置２０は、例えばノート型パーソナルコンピュータ（ノートＰＣ）により構成されており、画像処理によりカメラ１０から取得した画像データから特異点を抽出し、当該特異点に基づいて道路構造物を検出する。当該画像処理については後で詳述する。なお、画像処理装置２０は、ノートＰＣに限定されるものではなく、例えば、スマートフォンやタブレット端末などの携帯端末であってもよい。また、画像処理装置２０は、例えば、カメラ１０に搭載されていてもよい。
ＧＰＳ受信機３０は、ＧＰＳ（Global Positioning System）衛星から発信された信号を受信し、車両２００の走行位置を示す位置情報を画像処理装置２０に出力する。画像処理装置２０は、ＧＰＳ受信機３０から取得した位置情報を予め格納した道路情報とマッチングし、車両２００の走行位置を検出可能である。

【0022】

以下、画像処理装置２０の具体的構成について説明する。
図２は、画像処理装置２０のハードウェア構成の一例を示す図である。
画像処理装置２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、メモリ２４と、入力部２５と、表示部２６と、通信Ｉ／Ｆ２７と、システムバス２８とを備える。
ＣＰＵ２１は、画像処理装置２０における動作を統括的に制御するものであり、システムバス２８を介して、各構成部（２２〜２７）を制御する。

【0023】

ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

【0024】

メモリ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を予め記憶している。また、メモリ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。メモリ２４は、ＳＤカードやＵＳＢメモリ等の外部記憶媒体であってもよい。また、メモリ２４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気テープ等の磁気記録媒体、光ディスクや光磁気ディスク等の光／光磁気記憶媒体等の記憶媒体（記憶装置）であってもよい。

【0025】

入力部２５は、キーボードやマウス等のポインティングデバイスで構成され、画像処理装置２０のユーザは、入力部２５を介して当該画像処理装置２０に指示を与えることができるようになっている。
表示部２６は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。
通信Ｉ／Ｆ２７は、外部装置（図１では、カメラ１０やＧＰＳ受信機３０）と通信するためのインターフェースである。通信Ｉ／Ｆ２７は、例えばＬＡＮインターフェースである。
システムバス２８は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、メモリ２４、入力部２５、表示部２６及び通信Ｉ／Ｆ２７を通信可能に接続する。
すなわち、ＣＰＵ２１は、ＲＯＭ２２に記憶されたプログラムを実行することで、上述した画像処理を実現する。

【0026】

図３は、画像処理装置２０の機能ブロック図である。画像処理装置２０は、画像取得部１２１と、画像処理部１２２と、記憶制御部１２３と、表示制御部１２４と、パラメータ取得部１２５と、閾値調整部１２６と、判定範囲調整部１２７とを備える。
画像取得部１２１は、カメラ１０で撮影した映像から１画像フレーム相当の撮影画像を取得し、これを画像処理部１２２へ出力する。画像処理部１２２は、画像取得部１２１で取得した画像データに対して後述する画像処理を施し、その結果を記憶制御部１２３及び表示制御部１２４に出力する。記憶制御部１２３は、画像処理部１２２の画像処理結果をメモリ２４に記憶し、表示制御部１２４は、画像処理部１２２の画像処理結果を表示部２６に表示する。

【0027】

パラメータ取得部１２５は、ユーザ（例えば、車両２００の乗員等）が入力した、上記画像処理のパラメータに関する情報を取得する。当該パラメータは、後述する二値化閾値や判定範囲等である。例えば、パラメータ取得部１２５は、入力部２５によって入力された上記情報を取得可能に構成されている。閾値調整部１２６は、パラメータ取得部１２５で取得した情報をもとに、上記二値化閾値の設定ファイルを調整する。また、判定範囲調整部１２７は、パラメータ取得部１２５で取得した情報をもとに、上記判定範囲の設定ファイルを調整する。ここで、上記設定ファイルは、例えばメモリ２４に記憶されているものとする。

【0028】

図４は、画像処理装置２０のＣＰＵ２１で実行する画像処理手順を示すフローチャートである。この画像処理は、例えば画像処理装置２０の電源が投入されたタイミングで実行開始することができる。なお、当該画像処理の開始タイミングは上記のタイミングに限定されるものではない。例えば、画像処理装置２０に乗員が操作可能な処理開始ボタン等が設置されている場合、当該ボタンが押下されたことを検知したときに当該画像処理を開始するようにしてもよい。

【0029】

先ずステップＳ１で、ＣＰＵ２１は、カメラ１０から撮影画像を取得し、ステップＳ２に移行する。なお、このステップＳ１では、撮影画像に対して種々の補正処理を行ってもよい。例えば、撮影画像に対してワイドダイナミックレンジ（ＷＤＲ）処理を行うことで、逆光が強いシーンや明暗の差が大きいシーンを撮影した画像の高品位化を図ることができる。
ステップＳ２では、ＣＰＵ２１は、ステップＳ１で取得した画像データに対して所定の二値化閾値を用いて二値化処理を施す。二値化閾値の設定ファイルは、予めメモリ２４に記憶しておき、ユーザが適宜調整可能である。

【0030】

この二値化閾値は、検出対象である道路構造物を検出可能な値に設定する。一般に、路面にはアスファルト舗装が施されており、撮影画像において、当該アスファルト路面部分に対応する画素の輝度値（以下、「画素値」ともいう）は黒色の輝度値「０」に近い値となる。これに対して、例えばジョイント部では、路面上に金属製の継手部材や後打コンクリートが露出しており、撮影画像において、当該ジョイント部に対応する領域の画素値は、上記のアスファルト路面部分に対応する領域の画素値よりも白色の輝度値「２５５」に近い値となる。

【0031】

したがって、道路構造物としてジョイント部を検出する場合には、二値化閾値をジョイント部に対応する領域の画素値の下限値と同等、若しくはそれよりも所定のマージン分だけ小さく（黒色の輝度値に近く）設定する。これにより、二値化処理の結果、ジョイント部に対応する画素は白、アスファルト路面に対応する画素は黒となる。例えば、ステップＳ１で図５に示すような撮影画像を取得した場合、二値化処理の結果、図６に示すような二値化画像が得られる。図５に示すように、ジョイント部５１、白線５２、轍５３、照明灯の影５４などが撮影されている場合、二値化処理の結果、ジョイント部５１や白線５２、轍５３に対応する領域（６１〜６３）は白となり、照明灯の影５４に対応する領域（６４）は黒となる。

【0032】

次にステップＳ３で、ＣＰＵ２１は、二値化画像から特異点を抽出し、ステップＳ４に移行する。ここで、特異点とは、二値化画像内において予め設定した注目画素値を有する画素である。注目画素値は、検出対象の道路構造物の二値化処理後の画素値に設定しておく。例えば、検出対象の道路構造物が上記のジョイント部である場合、注目画素値は、二値化処理後の白色の輝度値「１」となる。なお、このステップＳ３では、特異点を抽出する前に、二値化画像に対して孤立点除去や膨張処理、収縮処理等を行ってノイズを除去するようにしてもよい。

【0033】

ステップＳ４では、ＣＰＵ２１は、ステップＳ３で抽出した特異点の連続性を判定する。具体的には、ＣＰＵ２１は、先ず二値化画像に対してラベリング処理を施し、道路構造物候補となる領域（点群）を識別する。次にＣＰＵ２１は、各領域について、二値化画像の車両２００の幅方向に対応する方向（Ｘ方向）で連続する特異点の数Ｎｘと、車両２００の進行方向に対応する方向（Ｙ方向）で連続する特異点の数Ｎｙとを計測する。そして、これら特異点数Ｎｘ，Ｎｙがそれぞれ予め設定した判定範囲内であるか否かを判定することで、道路構造物の有無を判定する。

【0034】

上記判定範囲は、検出対象である道路構造物の撮影画像内での大きさをもとに設定する。例えば、ジョイント部は、道路の幅方向に沿って道路幅に相当する長さを有すると共に、車両の進行方向に沿って所定の幅（例えば、５００ｍｍ程度）を有する。したがって、検出対象である道路構造物がジョイント部である場合、特異点数Ｎｘの判定範囲は、上記のジョイント部の長さ（道路幅）に相当する画素数に基づいて設定し、特異点数Ｎｙの判定範囲は、上記のジョイント部の幅に相当する画素数に基づいて設定する。このように、抽出した特異点の点群の数に基づいて、道路構造物の有無を判定する。なお、判定範囲の設定ファイルは、予めメモリ２４に記憶しておき、ユーザが適宜調整可能である。

【0035】

ステップＳ５では、ＣＰＵ２１は、ステップＳ４の判定の結果、道路構造物があると判断した場合にはステップＳ６に移行し、道路構造物がないと判断した場合には後述するステップＳ８に移行する。
ステップＳ６では、ＣＰＵ２１は、ステップＳ１で取得した撮影画像に対して関連情報を付加する。当該関連情報とは、撮影画像を撮影した時点での車両２００の位置情報、撮影画像を撮影した時刻情報、検出された道路構造物の種類を判別するための属性情報等を含む

【0036】

ステップＳ７では、ＣＰＵ２１は、上記関連情報付きの撮影画像をメモリ２４に保存すると共に、道路構造物の検出結果を表示部２６に表示可能である。図７は、当該検出結果の表示例を示す図である。図７に示すように、表示画面７１は画像表示部７２を備え、当該画像表示部７２に撮影画像を表示する。また、このとき、画像表示部７２において、検出した道路構造物に対して検出枠７３を重畳表示することにより、当該道路構造物を識別可能に強調表示することもできる。さらに、表示画面７１内に撮影画像を撮影した時刻を表示したり、撮影画像を撮影した場所（例えば地図）を表示するためのボタン７４を設けたりすることもできる。なお、検出結果の表示方法（強調表示の方法やボタン７４の表示位置など）は、これに限定されるものではない。

【0037】

ステップＳ８では、ＣＰＵ２１は、道路構造物の検出処理を終了するか否かを判定する。例えば、車両２００の乗員が画像処理装置２０に設けられた処理終了ボタンを押すなどにより、ＣＰＵ２１が道路構造物の検出処理を終了するための指示を受信した場合に、当該検出処理を終了する。そして、ＣＰＵ２１は、道路構造物の検出処理を継続すると判断した場合にはステップＳ１に戻り、道路構造物の検出処理を終了すると判断した場合には、そのまま図４に示す処理を終了する。
なお、図４において、ステップＳ２及びＳ３の処理が特異点抽出部に対応し、ステップＳ４の処理が検出部に対応している。

【0038】

以上のように、本実施形態では、車両２００が、点検対象道路である例えば高速道路の所定の点検開始位置に到達し、当該車両２００の乗員が、道路構造物の検出処理を開始するべく画像処理装置２０の電源を投入すると、画像処理装置２０は道路構造物の検出処理を開始する。このとき、画像処理装置２０は、カメラ１０から撮影画像を取り込み、当該撮影画像から特異点を抽出し、画像内で連続する特異点の数に基づいて道路構造物の有無を判定する。そして、画像処理装置２０は、道路構造物を検出すると、当該道路構造物が撮影された撮影画像をメモリ２４に保存する。また、画像処理装置２０は、当該撮影画像を、道路構造物の検出箇所を明示して表示部（モニタ）２６に表示する。画像処理装置２０は、上記の処理を、車両２００が点検対象道路の走行を完了するまで継続する。

【0039】

このように、道路構造物の検出に際し、撮影画像から特異点を抽出し、当該特異点の連続性を判断する。すなわち、道路構造物の撮影画像内における輝度が路面の輝度とは異なることを利用し、路面の輝度値とは異なる輝度値を有する画素を特異点として抽出する。そして、画像内において所定の方向に連続する特異点の数が所定の判定範囲内にあると判断した場合に、当該特異点の点群に対応する領域を道路構造物として検出する。

【0040】

そのため、検出対象の道路構造物の撮影画像内における大きさ及び姿勢に概ね一致する大きさ及び姿勢を有する特異点の点群を、検出対象の道路構造物として検出することができる。したがって、複雑な処理を必要とすることなく、適切に道路構造物の検出が可能となる。また、検出対象の道路構造物と同等の輝度値を有する構造物が存在する場合であっても、検出対象の道路構造物とは大きさや姿勢が異なる構造物は検出対象から除外することができる。したがって、所望の道路構造物を適切に検出することができる。

【0041】

さらに、撮影画像は、走行中の車両２００に搭載されたカメラ１０が撮影するので、当該撮影画像内の道路構造物の位置および大きさは、画像フレーム間で変位する。すなわち、撮影画像内の道路構造物は、徐々に車両２００に近づく方向に移動し、その大きさも大きくなる。その変位量は、車両２００の車速に応じて決定される。したがって、上記判定範囲は、車両２００の車速と、画像フレーム間での道路構造物の大きさの変位とに基づいて導出してもよい。これにより、例えば他車両の影などの移動体は、道路構造物として検出されないようにすることができる。このように、より高精度に道路構造物を検出することができる。

【0042】

撮影画像から特定の道路構造物を検出する方法としては、エッジを検出してパターンマッチングする方法が広く用いられている。しかしながら、検出対象の道路構造物が複数存在する場合、それぞれについてマッチング用のパターンを用意しなければならない。また、同じ道路構造物であっても、種類によってはそれぞれ形状が異なるため、パターンマッチングによる検出方法では、誤検出や検出漏れが発生しやすい。

【0043】

これに対して、本実施形態では、上述したように撮影画像から特異点を抽出し、特異点数に基づいて道路構造物を検出するため、パターンマッチングを用いた検出方法と比べて道路構造物の誤検出や検出漏れを抑制することができる。例えば、継ぎ目の形状がそれぞれ異なる数種類のジョイント部等についても適切に検出することが可能である。
また、エッジ検出により道路構造物を検出しようとした場合、車幅方向に伸びる影（例えば、図５に示す照明灯の影５４や他車両の影等）を道路のジョイント部として誤検出してしまうおそれがある。本実施形態では、道路構造物の輝度値を有する画素を特異点として抽出し、当該特異点の点群に基づいて道路構造物を検出するので、検出対象であるジョイント部とは輝度値の異なる影は検出対象から除外することができる。このように、所望の道路構造物を適切に検出することができる。

【0044】

さらに、撮影画像に対して二値化処理を施すことで特異点を抽出する。したがって、比較的簡易な処理で特異点を抽出することができる。また、二値化処理で用いる二値化閾値は外部記憶媒体等に記憶し、検出対象の道路構造物の輝度値に応じて調整可能である。換言すると、上記二値化閾値を変更することで、検出可能となる道路構造物を変更することができる。したがって、非検出としたい道路構造物がある場合には、その道路構造物が検出されないように上記二値化閾値を設定することができる。

【0045】

このように、解析に必要な道路構造物のみを検出するような設定とすることができるので、作業性を向上させることができる。なお、特異点の抽出に際し、撮影画像内の画素の彩度や色相を考慮するようにしてもよい。

【0046】

また、上記判定範囲は外部記憶媒体等に記憶し、検出対象とする道路構造物に応じて調整可能である。そのため、上述した二値化閾値と同様に、上記判定範囲を変更することで、検出可能となる道路構造物を変更することができる。例えば、当該判定範囲を、車幅方向に道路幅相当の長さを有する領域に設定すれば、特異点の点群として、道路のジョイント部に対応する領域と道路の白線に対応する領域とを認識している場合であっても、ジョイント部に対応する領域のみを検出対象の道路構造物である判断することができる。このように、解析に必要な道路構造物のみを検出するような設定とすることができるので、作業性を向上させることができる。
このように、二値化閾値や判定範囲を設定するための設定ファイルを外部記憶媒体等に記憶し、ユーザにより任意に調整可能とすることで、自由度の高い検出処理が可能となる。

【0047】

また、道路構造物を検出したときの撮影画像をメモリ２４に保存するので、車両２００が点検対象の道路の走行を完了した後、点検者は保存した撮影画像を詳細に確認することができる。メモリ２４には、道路構造物が撮影されている撮影画像のみを保存するので、点検者は道路構造物の状態を効率良く確認することができる。
撮影画像を保存するメモリ２４は、着脱可能な記憶媒体であってもよいし、着脱不可能な記憶媒体であってもよい。メモリ２４として着脱可能な外部記憶媒体を用いれば、車両２００以外の場所での撮影画像の確認や、別の場所にある管理システムへのデータのアップロード等が可能となる。

【0048】

さらに、メモリ２４に保存する撮影画像は、関連情報として車両位置情報や撮影時刻情報等を有するので、点検者は、撮影画像に映っている道路構造物の位置や、当該道路構造物が撮影された時刻等を容易に把握することができる。したがって、点検者は、撮影画像から道路構造物の異常を検出したとき、道路構造物の詳細点検や応急処置を行う車両を当該道路構造物の位置に適切に向かわせることができる。
また、道路構造物を検出したときの撮影画像をモニタ表示するので、車両２００の乗員はリアルタイムで道路構造物の状態を確認することができる。このとき、検出した道路構造物に対して検出枠を重畳表示する等、道路構造物を強調表示するので、乗員による点検作業効率を向上させることができる。

【0049】

このように、本実施形態では、カメラ１０で撮影した撮影画像をもとに道路構造物を自動で検出する。したがって、車両２００は、点検対象の道路を、車線規制を必要としない速度で走行することができる。点検車両の乗員が目視により道路構造物の状態を確認する点検方法の場合、当該点検車両は低速走行をしなければならず、点検作業に長時間を要する。また、車線規制を必要とするので、道路渋滞を招くおそれもある。これに対して、本実施形態では、短時間で作業を行うことができると共に、道路渋滞を招くおそれもない。

【0050】

また、本実施形態では、特異点を抽出する方法により道路構造物を検出するので、さまざまな道路構造物を検出対象とすることができる。すなわち、撮影画像における道路構造物に対応する画素が特異点として抽出できれば、当該道路構造物の自動検出が可能である。路面に関連する路面構造物の場合、アスファルト路面とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。また、路面周辺の付属構造物の場合にも同様に、周囲とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。

【0051】

道路構造物を検出した撮影画像は、道路構造物の状態確認に用いることができる。すなわち、点検者は、当該撮影画像から道路構造物の異常の有無を判断することができる。
このように、本道路構造物検出装置１００は、撮影画像から道路構造物を適切に自動検出することで、道路維持管理の一環である道路構造物の状態確認作業を支援することができる。

【0052】

（変形例）
なお、上記実施形態においては、道路構造物検出装置を走行車両に搭載する場合について説明したが、道路構造物検出装置を搭載する移動体は車両に限定されるものではない。例えば、ラジコン、ドローン（無人航空機）、ヘリコプターなどに道路構造物検出装置を搭載してもよい。

【0053】

また、上記実施形態においては、特異点の抽出に際し、撮影画像を二値化処理する場合について説明したが、撮影画像を多値化処理し、多値化処理後の画像から、道路構造物の当該多値化処理後の輝度値を有する画素を特異点として抽出してもよい。

【0054】

さらに、特異点の抽出に際し、撮像画像に対して減色処理を施し、減色処理後の画像から特異点を抽出してもよい。例えば、フルカラーの撮像画像を、２５６色や１６色等に減色した画像に変換し、減色処理後の画像から検出対象の道路構造物の色に対応する画素を選出し、これを特異点として抽出することができる。これにより、より高精度に検出対象の道路構造物を検出することができる。この検出方法は、検出対象の道路構造物の色が既知である場合に有効である。

【0055】

また、上記実施形態においては、画像処理装置２０が検出対象の物体（道路構造物）を検出した際、撮影画像をメモリ２４に保存する場合について説明したが、これに加えて当該撮影画像を画像処理装置２０の通信Ｉ／Ｆ２７を介してサーバ装置へ転送するようにしてもよい。また、撮影画像をメモリ２４に保存するのに代えて、当該撮影画像を画像処理装置２０の通信Ｉ／Ｆ２７を介してサーバ装置へ転送するようにしてもよい。これにより、遠隔地にいる点検者がリアルタイムで撮影画像を確認することができ、作業の効率化が図れる。したがって、仮に道路構造物に異常が発生している場合には、当該異常を迅速に検出することができ、道路構造物の位置に詳細点検及び応急処置を行うための車両を赴かせる等の対応を迅速に行うことができる。

【0056】

また、撮影画像をサーバ装置へ転送するタイミングは、これに限定されるものではない。例えば、画像処理装置２０が道路構造物を検出し、撮影画像を表示部２６へ表示した際に、車両２００の乗員が表示部２６の表示画面上で道路構造物の異常を検出、若しくは異常が疑われることを検出した場合に、撮影画像をサーバ装置へ転送するようにしてもよい。これにより、道路構造物の詳細点検が必要であることを遠隔地にいる管理者等に緊急通報することができる。

【0057】

なお、上記実施形態における画像処理装置２０で実行されるプログラムは、インストール可能なファイル形式または実行可能なファイル形式で、コンピュータが読み取り可能な記憶媒体に記憶されて提供されてもよい。また、上記実施形態における画像処理装置２０で実行されるプログラムは、インターネット等のネットワーク経由で提供されてもよい。
以上、本発明の実施形態について詳細に説明したが、上述した実施形態は、本発明を実施するにあたっての一例を示したにすぎず、本発明の技術的範囲は、上述した実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の修正又は変更が可能である。

【符号の説明】

【0058】

１０…カメラ、２０…画像処理装置、３０…ＧＰＳ受信機、５１…ジョイント部、５２…白線、５３…轍、５４…照明灯の影、７１…表示画面、７２…画像表示部、７３…検出枠、７４…ボタン、１００…道路構造物検出装置、１２１…画像取得部、１２２…画像処理部、１２３…記憶制御部、１２４…表示制御部、１２５…パラメータ取得部、１２６…閾値調整部、１２７…判定範囲調整部、２００…車両

【要約】

【課題】物体を適切に検出することができる物体検出装置及び物体検出方法を提供する。
【解決手段】物体検出装置（例えば、道路構造物検出装置）は、移動体（例えば、車両２００）に搭載され、移動体の周辺を撮影可能な撮影部（カメラ１０）と、撮影部で撮影した画像から特異点を抽出する特異点抽出部と、特異点抽出部で抽出した特異点に基づいて、物体（例えば、道路構造物）を検出する物体検出部と、を備える。このとき、物体検出部は、連続する特異点の数が、検出対象である物体の画像内の所定の方向における大きさに相当する判定範囲内にあるとき、当該画像内に物体が存在すると判断することができる。
【選択図】 図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】