特許 6710426 障害物検出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6710426

(24)【登録日】2020年5月29日

(45)【発行日】2020年6月17日

(54)【発明の名称】障害物検出方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200608BHJP

【ＦＩ】

   G06T7/00 650A

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2019-531669(P2019-531669)

(86)(22)【出願日】2016年12月19日

(65)【公表番号】特表2020-501281(P2020-501281A)

(43)【公表日】2020年1月16日

(86)【国際出願番号】CN2016110786

(87)【国際公開番号】WO2018112707

(87)【国際公開日】20180628

【審査請求日】2019年6月13日

【早期審査対象出願】

(73)【特許権者】

【識別番号】518413398

【氏名又は名称】深▲せん▼前海達闥云端智能科技有限公司

【氏名又は名称原語表記】ＣＬＯＵＤＭＩＮＤＳ （ＳＨＥＮＺＨＥＮ） ＲＯＢＯＴＩＣＳ ＳＹＳＴＥＭＳ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110000291

【氏名又は名称】特許業務法人コスモス国際特許商標事務所

(72)【発明者】

【氏名】南 一氷

(72)【発明者】

【氏名】廉 士国

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００４−１１７０７８（ＪＰ，Ａ）

【文献】 特開２０１１−０７６２１４（ＪＰ，Ａ）

【文献】 特開２００４−２４６５５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ ー ７／９０

(57)【特許請求の範囲】

【請求項1】

障害物検出方法であって、
検出対象画像を取得するステップと、
検出対象画像に含まれる画素情報に基づいて、前記検出対象画像を路面領域と非路面領域に分割するステップと、
前記路面領域により囲まれた非路面領域を検出して、少なくとも１つの非路面領域が前記路面領域により囲まれている場合、前記少なくとも１つの非路面領域を障害物領域として特定するステップとを含み、
前記少なくとも１つの非路面領域を障害物領域として特定する後、前記方法は、
それぞれ各々の前記障害物領域の外接矩形枠を特定するステップと、
外接矩形枠の４つの頂点に対応した各々の画素ドットの色成分値と前記外接矩形枠の重心に対応した画素ドットの色成分値の間のそれぞれの差異を決定するステップと、
前記差異を差異閾値と比較して、比較結果に基づいて前記障害物領域における障害物の有無を決定するステップとをさらに含むことを特徴とする障害物検出方法。

【請求項2】

前記路面領域により囲まれた非路面領域を検出する前記ステップは、
前記路面領域の最外層の輪郭線内に位置する非路面領域の輪郭線を検出するステップを含み、
少なくとも１つの非路面領域が前記路面領域により囲まれている場合、前記少なくとも１つの非路面領域を障害物領域として特定する前記ステップは、
少なくとも１つの非路面領域の輪郭線が前記路面領域の最外層の輪郭線に含まれる領域内に位置する場合、前記少なくとも１つの非路面領域を障害物領域として特定するステップを含むことを特徴とする請求項１に記載の方法。

【請求項3】

検出対象画像に含まれる画素情報に基づいて、前記検出対象画像を路面領域と非路面領域に分割する前記ステップは、
前記検出対象画像中の各画素ドットの色成分及び路面画素に対応した色成分の値の範囲を含む所定対応関係に基づいて、各画素ドットを路面画素又は非路面画素として特定するステップと、
前記路面画素の色を第１色、前記非路面画素の色を第２色として、前記検出対象画像に対応した二値画像を生成するステップとを含み、
前記二値画像において第１色の領域が路面領域、第２色の領域が非路面領域であることを特徴とする請求項１又は２に記載の方法。

【請求項4】

前記検出対象画像に対応した二値画像を生成する前記ステップは、
前記二値画像に対して、収縮、膨張及びフィルタリング操作のうちの少なくとも１種を含む前処理を行い、処理後の二値画像を得るステップを含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記所定対応関係にさらに所定種類の実物と画素の色成分値との対応関係が含まれており、
前記障害物領域に障害物が含まれていると決定した後、前記方法は、
それぞれ障害物の輪郭情報、位置情報及び前記障害物領域の画素の色成分値と前記所定対応関係から得られた障害物の種類を出力するステップをさらに含むことを特徴とする請求項３に記載の方法。

【請求項6】

障害物検出装置であって、
検出対象画像を取得する取得ユニットと、
検出対象画像に含まれる画素情報に基づいて、前記取得ユニットにより取得した前記検出対象画像を路面領域と非路面領域に分割する領域分割ユニットと、
前記路面領域により囲まれた非路面領域を検出する検出ユニットと、
前記検出ユニットによって少なくとも１つの非路面領域が前記路面領域により囲まれていると検出すると、前記少なくとも１つの非路面領域を障害物領域として特定する障害物特定ユニットとを備え、
前記障害物特定ユニットはさらに、それぞれ各々の前記障害物領域の外接矩形枠を特定し、
それぞれ各々の前記障害物領域の外接矩形枠を特定するステップと、
外接矩形枠の４つの頂点に対応した各々の画素ドットの色成分値と前記外接矩形枠の重心に対応した画素ドットの色成分値の間のそれぞれの差異を決定し、
前記差異を差異閾値と比較して、比較結果に基づいて前記障害物領域における障害物の有無を決定することを特徴とする障害物検出装置。

【請求項7】

前記検出ユニットは、具体的には、前記路面領域の最外層の輪郭線内に位置する非路面領域の輪郭線を検出し、
前記障害物特定ユニットは、具体的には、少なくとも１つの非路面領域の輪郭線が前記路面領域の最外層の輪郭線に含まれる領域内に位置する場合、前記少なくとも１つの非路面領域を障害物領域として特定することを特徴とする請求項６に記載の装置。

【請求項8】

前記領域分割ユニットは、具体的には、前記検出対象画像中の各画素ドットの色成分及び路面画素に対応した色成分の値の範囲を含む所定対応関係に基づいて、各画素ドットを路面画素又は非路面画素として特定し、
前記路面画素の色を第１色、前記非路面画素の色を第２色として、前記検出対象画像に対応した二値画像を生成し、
前記二値画像において第１色の領域が路面領域、第２色の領域が非路面領域であることを特徴とする請求項６又は７に記載の装置。

【請求項9】

前記領域分割ユニットはさらに、前記二値画像に対して、収縮、膨張及びフィルタリング操作のうちの少なくとも１種を含む前処理を行い、処理後の二値画像を得ることを特徴とする請求項８に記載の装置。

【請求項10】

前記所定対応関係にさらに所定種類の実物と画素の色成分値との対応関係が含まれており、
前記障害物特定ユニットはさらに、それぞれ障害物の輪郭情報、位置情報及び前記障害物領域の画素の色成分値と前記所定対応関係から得られた障害物の種類を出力する、ことを特徴とする請求項８に記載の装置。

【請求項11】

コンピュータ記憶媒体であって、請求項１−５のいずれか１項に記載の障害物検出方法を実行するために設計されたプログラムコードを含むコンピュータソフトウェア命令を記憶することを特徴とするコンピュータ記憶媒体。

【請求項12】

コンピュータ機器であって、
コンピュータ実行可能コードを記憶するメモリと、前記コンピュータ機器と外部機器とのデータ伝送を行う通信インターフェースと、前記コンピュータ実行可能コードを実行して請求項１−５のいずれか１項に記載の障害物検出方法を実行するように制御するプロセッサとを備えることを特徴とするコンピュータ機器。

【請求項13】

ロボットであって、請求項１２に記載のコンピュータ機器を備えることを特徴とするロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、人工知能の技術分野に関し、特に障害物検出方法及び装置に関する。

【背景技術】

【0002】

移動ロボットや盲導システムにおいて、障害物回避が必須な基本的な機能の１つであり、走行路面における障害物の効果的な検出が、障害物回避システムにおいて解決しなければならない重要な課題となっている。

【0003】

従来、一般的な障害物検出方式には、赤外線、超音波などに基づく非視覚的検出方式、Ｋｉｎｅｃｔ、双眼カメラなどに基づく立体視覚的検出方式及び単一カメラに基づく非立体視覚的検出方式がある。しかし、これらの方式のいずれにも対応した欠陥及び欠点があり、その中でも、赤外線、超音波などを用いた非視覚的検出方式は、検出精度が限られ、大体積の障害物を検出できるが、微小な障害物を検出できないため、安全性に乏しく、単一カメラに基づく障害物検出方式は、興味がある領域を指定することが多く、複雑な環境については、地面領域及び障害物を自動的に検出することができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願の実施例は、主に障害物の検出精度が限られる従来技術の問題を解決する障害物検出方法及び装置を開示する。

【課題を解決するための手段】

【0005】

上記目的を達成させるために、本願の実施例は下記技術案を採用する。

【0006】

第１態様によれば、
検出対象画像を取得するステップと、
検出対象画像に含まれる画素情報に基づいて、前記検出対象画像を路面領域と非路面領域に分割するステップと、
前記路面領域により囲まれた非路面領域を検出して、少なくとも１つの非路面領域が前記路面領域により囲まれている場合、前記少なくとも１つの非路面領域を障害物領域として特定するステップとを含む障害物検出方法を提供する。

【0007】

第２態様によれば、
検出対象画像を取得する取得ユニットと、検出対象画像に含まれる画素情報に基づいて、前記検出対象画像を路面領域と非路面領域に分割する領域分割ユニットと、前記路面領域により囲まれた非路面領域を検出する検出ユニットと、前記検出ユニットによって少なくとも１つの非路面領域が前記路面領域により囲まれていると検出すると、前記少なくとも１つの非路面領域を障害物領域として特定する障害物特定ユニットとを備える障害物検出装置を提供する。

【0008】

第３態様によれば、上記障害物検出方法を実行するために設計されたプログラムコードを含むコンピュータソフトウェア命令を記憶するコンピュータ記憶媒体を提供する。

【0009】

第４態様によれば、コンピュータの内部メモリに直接ロードでき、ソフトウェアコードを含み、前記コンピュータプログラムがコンピュータによりロードされて実行されると上記障害物検出方法を実行できるコンピュータプログラム製品を提供する。

【0010】

第５態様によれば、コンピュータ実行可能コードを記憶するメモリと、前記コンピュータ機器と外部機器とのデータ伝送を行う通信インターフェースと、前記コンピュータ実行可能コードを実行して上記障害物検出方法を実行するように制御するプロセッサとを備えるコンピュータ機器を提供する。

【0011】

第６態様によれば、上記コンピュータ機器を備えるロボットを提供する。

【発明の効果】

【0012】

本願の実施例による障害物検出方法は、検出対象画像を取得し、検出対象画像に含まれる画素情報に基づいて、検出対象画像に含まれる領域を地面領域と非地面領域に分割し、次に地面領域における非地面領域の有無を判断することによって障害物を特定する。従来技術による各種障害物検出方法に比べて、本願の実施例では、様々な物体の画素特徴の相違を利用し、微小な物体であっても、その画素特徴が路面の画素特徴と異なる限り、非地面領域として認識できる。したがって、本願の実施例は、地面領域と非地面領域を確実に区別して、さらに地面領域内に含まれる非地面領域を障害物領域として特定することができ、それによって、障害物の検出精度を向上できる。

【図面の簡単な説明】

【0013】

【図1】本願の実施例による障害物回避システムのアーキテクチャ模式図である。

【図2】本願の実施例による障害物検出方法のプロセスフロー模式図である。

【図3】本願の実施例が実用場面に応じて提供する障害物検出方法のプロセスフロー模式図である。

【図4】本願の実施例によるさらなる障害物検出方法のプロセスフロー模式図である。

【図5】本願の実施例が実用場面に応じて提供する障害物検出方法のプロセスフロー模式図である。

【図6】本願の実施例による障害物検出装置の構造模式図である。

【図7】本願の実施例による別の障害物検出装置の構造模式図である。

【図8】本願の実施例によるさらなる障害物検出装置の構造模式図である。

【図9】本願の実施例による障害物検出装置の構造模式図である。

【図10】本願の実施例によるさらなる障害物検出装置の構造模式図である。

【図11】本願の実施例によるさらなる障害物検出装置の構造模式図である。

【発明を実施するための形態】

【0014】

本願の実施例に説明されるシステムアーキテクチャ及びビジネス場面は本願の実施例の技術案をより明瞭に説明するものであり、本願の実施例による技術案を限定するものではなく、当業者にとって自明なように、システムアーキテクチャの進化と新しいビジネスシナリオの出現に伴い、本願の実施例による技術案は類似した技術的課題にも適用できる。

【0015】

なお、本願の実施例では、「一例として」又は「たとえば」などの用語は例、例証又は説明として用いられることを意味する。本願の実施例において「一例として」又は「たとえば」をもって説明されるすべての実施例又は設計案はほかの実施例又は設計案よりも好ましく又はより優位性を有すると理解すべきではない。詳しくは、「一例として」又は「たとえば」などの用語の使用は具体的な方式で関連概念を説明することを意図する。

【0016】

なお、本願の実施例では、「の（英語：ｏｆ）」、「対応（英語：ｃｏｒｒｅｓｐｏｎｄｉｎｇ、ｒｅｌｅｖａｎｔ）」及び「対応して（英語：ｃｏｒｒｅｓｐｏｎｄｉｎｇ）」は組み合わせて使用することがあるが、違いを強調しない場合、示される意味が同じである。

【0017】

障害物回避システムは、特定領域に障害物が存在するか否かを検出するものであり、移動ロボット、盲導システムなどに適用できる。障害物検出は障害物回避システムの基本的な機能である。本願の実施例は障害物回避システムを提供し、図１に示されるように、該障害物回避システム１０は、画像収集装置１１、障害物検出装置１２及び意思決定装置１３を備える。画像収集装置１１は、障害物検出のための特定領域の画像情報、たとえば移動ロボットが進んでいる前方の画像を収集して、収集した画像情報を障害物検出装置１２に送信する。一例として、該画像収集装置は１つ又は複数のカメラである。障害物検出装置１２は、画像収集装置１１が送信した画像情報を処理して、障害物の有無及び障害物の輪郭、サイズ、位置、種類などの情報を取得し、処理して取得した情報を意思決定装置１３に送信する。意思決定装置１３は、障害物検出装置１２が送信した情報に基づいて、どのように障害物を回避するか意思決定を行う。意思決定装置は処理演算機能を有するデバイスとしてもよい。画像収集装置１１及び意思決定装置１３の具体的な実現については、従来技術を参照すればよいため、ここで詳細な説明を省略する。

【0018】

発明者が研究した結果、異なる物体に対応した画素情報が異なり、且つ特定の物体に対しては、一般的な色が固定である。つまり、それに対応した画素の色成分、たとえばＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）値又はＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ、色相、彩度、明るさ）の値が特定の範囲にあり、たとえば通常路面が黄色、ブラウン又は黒色（たとえばアスファルト道路の色）であり、樹木が緑色である。それを踏まえて、本願の実施例は、画像の画素情報に基づいて路面領域と非路面領域を分割して、障害物を特定する方法を提供する。該方法は、図１に示される障害物回避システムに適用でき、図１に示される障害物回避システムに適用される場合、該方法の実行主体は図１中の障害物検出装置１２としてもよい。

【0019】

図２に示されるように、該方法は、ステップ１０１〜ステップ１０５を含む。

【0020】

１０１、検出対象画像を取得する。

【0021】

該検出対象画像は、検出対象領域を実際に撮影して得る画像であり、一般にカラー画像である。

【0022】

図１に示されるシステムに適用される場合、該検出対象画像は、画像収集装置１１を利用して検出対象領域を実際に撮影して、該検出対象画像を取得して該検出対象画像を障害物検出装置１２に送信するようにしてもよい。

【0023】

１０２、検出対象画像に含まれる画素情報に基づいて、前記検出対象画像を路面領域と非路面領域に分割する。

【0024】

検出対象画像に含まれる画素情報とは、検出対象画像中の各画素ドットに対応した色成分値、たとえばＲＧＢ値又はＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ、色相、彩度、明るさ）値などである。検出対象画像中のある画素ドットに対応した色成分値が路面画素と合致する場合、該画素を路面画素として特定し、否定の場合は、該画素を非路面画素として特定する。すべての路面画素からなる領域が路面領域、非路面画素からなる領域が非路面領域である。検出対象画像には、路面領域、非路面領域が１つ又は複数あり得る。

【0025】

本ステップの一実施態様において、まず、検出対象画像中の各画素に対応した実物の種類を特定し、実物の具体的な種類に基づいて実物に対応した領域が路面領域であるか非路面領域であるかを決定する。

【0026】

なお、室外道路に交通標識ラインが含まれる場合が多い。このため、本願の実施例において、画素に対応した実物の種類が路面又は交通標識ラインである場合、該実物に対応した画素を路面画素として特定し、実物が路面以外の実物、たとえば机や椅子、建物などである場合、該実物に対応した領域を非路面画素として特定する。

【0027】

本ステップの別の実施態様では、検出対象画像中の路面画素の有無だけを決定し、路面画素を含む領域を路面領域、ほかの領域を非路面領域として特定する。

【0028】

１０３、前記路面領域により囲まれた非路面領域を検出する。

【0029】

少なくとも１つの非路面領域が前記路面領域により囲まれている場合、検出対象領域に障害物が含まれていると初期判定し、下記ステップ１０４を実行し、否定の場合は、下記ステップ１０５を実行する。

【0030】

１０４、前記少なくとも１つの非路面領域を障害物領域として特定する。

【0031】

１０５、検出対象領域に障害物が含まれていないと決定する。

【0032】

ステップ１０３〜ステップ１０５の一実施態様において、路面領域の最外層の輪郭線内に位置する非路面領域の輪郭線を検出するステップと、少なくとも１つの非路面領域の輪郭線が前記路面領域の最外層の輪郭線に含まれる領域内に位置する場合、該少なくとも１つの非路面領域が路面領域により囲まれていると判定し、前記少なくとも１つの非路面領域を障害物領域として特定するステップとによって実現できる。

【0033】

上記ステップ１０１〜ステップ１０５をより明瞭に説明するために、図３に示されるように、検出対象画像に対して上記ステップ１０１〜ステップ１０５の処理を実行した後、該検出対象画像に地面領域と複数の非地面領域（図中に、それぞれ非地面領域１、非地面領域２、非地面領域３及び非地面領域４として示されている）が含まれると決定する。非地面領域３及び非地面領域４の輪郭線が地面領域１の最外側の輪郭線（図中の黒色の太輪郭線）内に位置し、それによって、非地面領域３及び非地面領域４を障害物領域として特定する。

【0034】

なお、本願の実施例による障害物検出方法は、該ステップ１０４までを実行することで、該障害物領域に障害物が含まれていると直接決定でき、つまり、障害物が検出されて、障害物の検出過程が完成するとされる。

【0035】

本願の実施例による障害物検出方法は、検出対象画像を取得し、検出対象画像に含まれる画素情報に基づいて、検出対象画像に含まれる領域を地面領域と非地面領域に分割し、次に非地面領域が地面領域により囲まれているか否かに基づいて障害物を特定する。従来技術による各種障害物検出方法に比べて、本願の実施例では、様々な物体の画素特徴の相違を利用し、微小な物体であっても、その画素特徴が路面の画素特徴と異なる限り、非地面領域として認識できる。したがって、本願の実施例は、地面領域と非地面領域を確実に区別して、さらに地面領域内に含まれる非地面領域を障害物領域として特定することができ、それによって、障害物の検出精度を向上できる。

【0036】

なお、本ステップ１０１の一実施態様において、該検出対象画像は単一カメラにより取得することができ、このような該検出対象画像の取得過程の複雑さ及びコストが低い。さらに、従来技術における単一カメラに基づく非立体視覚的検出方法に比べて、本願の実施例による障害物検出方法は、興味がある領域を指定する必要がなく、複雑な環境であっても地面領域と障害物を自動的に検出できるため、複雑な環境への適応性が高い。

【0037】

図２に示される方法に基づいて、本願の実施例は、検出対象画像中の画素情報に基づいて検出対象領域中の路面領域と非路面領域を特定する具体的な実施態様を提供する。図４に示されるように、具体的には、ステップ１０２は下記ステップ２０１とステップ２０２によって実現される。

【0038】

２０１、検出対象画像中の各画素ドットの色成分及び所定対応関係に基づいて、各画素ドットを路面画素又は非路面画素として特定する。

【0039】

前記所定対応関係は、路面画素に対応した色成分の値の範囲を含む。

【0040】

画素色成分がＲＧＢである場合を例にすると、該所定分類ルールの一実施態様は表１に示されるとおりである。

【0041】

【表1】

【0042】

２０２、路面画素の色を第１色、非路面画素の色を第２色として、検出対象画像に対応した二値画像を生成する。

【0043】

前記二値画像において第１色の領域が路面領域、第２色の領域が非路面領域である。前記第１色と第２色は２種の異なる色である。前記二値画像には前記第１色と第２色が含まれている。一例として、第１色が白色、第２色が黒色である場合、黒色と白色だけを含む二値画像が得られる。

【0044】

路面領域と非路面領域の分割精度を向上させるために、二値画像を取得した後、前記方法は、前記二値画像に対して、前処理を行い、処理後の二値画像を得るステップをさらに含むようにしてもよい。前記前処理は、収縮、膨張及びフィルタリング操作のうちの少なくとも１種を含む。

【0045】

収縮及び膨張は２種の基本的な形態学的操作である。形態学的操作とは形状に基づく一連の画像処理操作である。構造要素を入力画像として出力画像を発生させる。具体的には、収縮は、境界点を削除して境界を内部へ収縮させるプロセスである。それによって小さくて意味のない物体を削除するために使用でき、本願の実施例では、収縮操作は、隣り合う非路面領域を融合するために使用される。膨張操作は、物体と接触するすべての背景点を該物体に融合して、境界を外部へ膨脹させるプロセスであり、本願の実施例では、膨張操作は、非路面領域の面積を回復させて、実際のサイズに近づけるようにするために使用される。フィルタリング操作は、画像についてメディアンフィルタリングを行うことができ、メディアンフィルタリング法は、非線形平滑化技術であり、各画素ドットのグレイ値を該点のある近所の窓内におけるすべての画素ドットのグレイ値の中間値として設定する。本願の実施例では、メディアンフィルタリングは、ノイズ干渉を解消するために使用される。

【0046】

ステップ２０１〜ステップ２０２の具体的な実現過程をより明瞭に説明するために、図５に示されるように、本願の実施例には、検出対象画像から二値画像を取得して二値画像を前処理するための具体的な実現過程を提供する。ここで二値画像において黒色部分は非路面領域、白色部分は路面領域を示す。

【0047】

実用されるとき、障害物領域に障害物が含まれていると直接決定すると、誤差が存在する可能性がある。つまり、地面領域を障害物領域として認識することによる誤検出が発生し、その結果、ステップ１０４において特定された障害物領域には実際に障害物が含まれていない。このため、図２又は図４に示される方法に基づいて、ステップ１０２の実現過程において地面領域を障害物検出領域として認識することによる誤検出をできるだけ避けるために、本願の実施例の一実施態様では、障害物領域に障害物が含まれているか否かをさらに決定するための具体的な実現過程が追加されている。このため、ステップ１０４において、前記少なくとも１つの非路面領域を障害物領域として特定した後、図６に示されるように、前記方法は、ステップ３０１〜ステップ３０３を含む。

【0048】

３０１、それぞれの前記障害物領域の外接矩形枠を特定する。

【0049】

３０２、外接矩形枠の４つの頂点の重心に対応した画素ドットの色成分値の差異を決定する。

【0050】

３０３、前記差異を差異閾値と比較して、比較結果に基づいて前記障害物領域における障害物の有無を決定する。

【0051】

前記差異が所定差異閾値より大きい又は所定差異閾値以上である場合、前記障害物領域に障害物が含まれていると決定する。前記差異が所定差異閾値未満又は所定差異閾値以下である場合、前記障害物領域に障害物が含まれていないと決定する。

【0052】

一例として、図３に示される非地面領域３及び非地面領域４については、上記方法によって非地面領域３と非地面領域４に対応した領域を障害物が位置する領域として予備特定した後、それぞれ非地面領域３及び非地面領域４に対して、上記ステップ３０１〜３０３を実行して、それに障害物が含まれているか否かをさらに決定する必要がある。

【0053】

上記ステップ３０１〜ステップ３０３によって、本願の実施例による障害物検出方法は、すべての障害物領域をそれぞれさらに検出して、誤検出を減少させることができる。

【0054】

前記所定対応関係には、路面画素を含む以外、所定の種類のその他の実物と画素の色成分値との対応関係が含まれるようにしてもよい。

【0055】

また、画素色成分がＲＧＢである場合を例にすると、該所定分類ルールの一実施態様は表２に示されるとおりである。

【0056】

【表2】

【0057】

なお、上記ＲＧＢ値の範囲１、２、３及び４は例示的に説明するものに過ぎず、具体的に実現されるとき、該所定分類ルールは、実用されるときの各実物の画素を統計して分析した後、各種実物とそれに対応した画素情報との対応関係を確立して得られる。

【0058】

該所定分類ルールはタイムリー更新可能であり、たとえば、１つの新しい種類の実物の画素情報が学習されると、該実物とその画素情報との対応関係を確立して所定分類ルールに記憶できる。

【0059】

実用場面によって、たとえば、室内障害物検出用の所定分類ルール及び室外障害物検出用の所定分類ルールなど、それぞれ実用場面に対応した所定分類ルールを確立するようにしてもよい。室内障害物検出用の所定分類ルールには、通常、壁、机や椅子など、室内に一般的に見られる実物とその画素情報との対応関係が記憶されている。室外障害物検出用の所定分類ルールには、通常、交通標識ライン、樹木、建物、車両などとその画素情報との対応関係が記憶されている。このようにすると、障害物を検出する際、現在の場面に応じて当該場面に対応した所定ルールを呼び出し、該現在の場面を判断する具体的な実現過程については、たとえば従来技術における画像に基づく場面認識方法など、従来技術を参照すればよい。

【0060】

上記方法の追加として所定分類ルールの上記実施態様と組み合わせ、障害物回避の意思決定のためにより全面的な意思決定情報を提供するために、本願の実施例では、ステップ１０４「前記少なくとも１つの非路面領域を障害物領域として特定する」又はステップ３０３を実行して、障害物領域に障害物が含まれていると決定した後、図７に示されるように、前記方法は、ステップ４０１をさらに含む。

【0061】

４０１、それぞれ障害物の輪郭情報、位置情報及び障害物の種類を出力する。

【0062】

前記障害物の種類は、前記障害物領域の画素の色成分値と前記所定対応関係から得られる。該障害物の種類を特定する実現過程は、ステップ２０１の実行と同時に実行されてもよく、ステップ１０１実行後であってステップ５０１実行前のほかの過程中に実行されてもよい。

【0063】

本方法を図１に示されるシステムに適用する場合、障害物検出装置１２は、ステップ４０１において取得した情報を意思決定装置に送信し、意思決定装置１３はこれら情報に基づいて障害物回避の意思決定を行う。

【0064】

以上から明らかなように、本願の実施例では、障害物が検出された後、それぞれ路面領域と障害物の輪郭情報、位置情報及び障害物の種類などの情報を決定でき、それによって、障害物回避の意思決定のためにより全面的な意思決定情報を提供する。

【0065】

なお、ステップ１０２では、前記検出対象画像に含まれる画素情報に基づいて、前記検出対象画像を路面領域と非路面領域に分割した後、図８に示されるように、前記方法はさらにステップ５０１とステップ５０２とを含む。

【0066】

５０１、路面領域中のすべての画素ドットを路面画素の平均信頼レベルとして決定する。

【0067】

５０２、前記平均信頼レベルが所定の信頼レベル閾値未満である場合、改めて検出対象画像を取得する。

【0068】

前記平均信頼レベルが所定の信頼レベル閾値未満である場合、検出対象画像に路面が含まれておらず、又は路面が含まれているが、路面の状況又は光照射などの原因により検出されていないことを示す。このため、改めて検出対象画像を取得する必要がある。改めて取得した検出対象画像は、撮影角度を変えて撮影した画像としてもよい。

【0069】

当業者にとって明らかなように、本明細書に開示された実施例において説明する各例示的なユニットおよびアルゴリズムのステップに基づいて、本願はハードウェアまたはハードウェアとコンピュータソフトウェアの組み合わせとして実現できる。特定の機能がハードウェアによって実行されるか、コンピュータソフトウェアを利用してハードウェアを駆動する方式で実行されるかは、技術案の特定用途および設計の制限条件により決まる。当業者であれば、各特定の用途に応じて異なる方法により説明される機能を実現できるが、これら実現は本願の範囲に含まれる。

【0070】

本願の実施例は、上記方法の例に応じて障害物検出装置の機能モジュールを分割することができ、たとえば、各機能に対応して各機能モジュールを分割してもよいし、２つまたは２つ以上の機能を１つの処理モジュールに集積させてもよい。上記集積モジュールは、ハードウェアの形態として実現されてもよく、ソフトウェア機能モジュールの形態として実現されてもよい。なお、本願の実施例によるモジュールの分割は模式的なものであり、ロジック機能による分割に過ぎず、実際に実現するときに別の分割方式としてもよい。

【0071】

各機能に対応して各機能モジュールを分割する場合について、図９は上記実施例に係る障害物検出装置の一例の構造模式図を示しており、障害物検出装置１２は、取得ユニット７０１、領域分割ユニット７０２、検出ユニット７０３及び障害物特定ユニット７０４を備える。障害物検出装置は、取得ユニット７０１を利用して図２における過程１０１、図８における過程５０１、５０２を実行し、領域分割ユニット７０２を利用して図２中における過程１０２、図４中における過程２０１及び２０２を実行し、検出ユニット７０３を利用して、図２中における過程１０３を実行し、障害物特定ユニット７０４を利用して、図３中における過程１０４、１０５、３０１−３０３及び図７中における過程４０１を実行する。上記方法の実施例に係る各ステップのすべての関連内容は対応した機能モジュールの機能の説明に引用できるため、ここで詳細な説明を省略する。

【0072】

集積ユニットを用いる場合について、図１０は、上記実施例に係る障害物検出装置の一例の構造模式図を示している。障害物検出装置１２は、処理モジュール８０１及び通信モジュール８０２を備える。処理モジュール８０１は、障害物検出装置の動作を制御して管理し、たとえば、障害物検出装置は、処理モジュール８０１を利用して、図２中における過程１０１〜１０５、図４中における過程２０１〜２０２、図６における過程３０１〜３０３、図７中における過程４０１、図８中における過程５０１〜５０２及び／又は本明細書に説明された技術のほかの過程を実行する。障害物検出装置は、通信モジュール８０２を利用して、ほかのネットワークエンティティと通信し、たとえば図１中に示される機能モジュール又はネットワークエンティティと通信する。障害物検出装置１２はさらに、障害物検出装置のプログラムコード及びデータを記憶するための記憶モジュール８０３を備えてもよい。

【0073】

処理モジュール８０１は、プロセッサまたはコントローラ、たとえば中央プロセッサ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、汎用プロセッサ、デジタルシグナルプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）またはほかのプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネントまたはそれらの任意の組み合わせであってもよい。本願の開示内容において説明された各種例示的な論理ブロック、モジュールおよび回路を実現または実行できる。前記プロセッサは、計算機能を実現できる組み合わせとしてもよく、たとえば１つまたは複数のマイクロプロセッサの組み合わせ、ＤＳＰとマイクロプロセッサの組み合わせなどを含む。通信モジュール８０２は送受信器、送受信回路または通信インターフェースなどであってもよい。記憶モジュール８０３はメモリであってもよい。

【0074】

処理モジュール８０１がプロセッサ、通信モジュール８０２が送受信器、記憶モジュール８０３がメモリである場合、本願の実施例に係る障害物検出装置は図１１に示される障害物検出装置であってもよい。

【0075】

図１１に示されるように、該障害物検出装置１２は、プロセッサ９０１、送受信器９０２、メモリ９０３およびバス９０４を備える。送受信器９０２、プロセッサ９０１およびメモリ９０３はバス９０４を介して互いに接続され、バス９０４は周辺機器相互接続標準（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスまたは拡張業界標準アーキテクチャ（ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどとしてもよい。前記バスは、アドレスバス、データバス、制御バスなどに分類できる。表示し易さから、図１１中に１本の太線で示されているが、１本のバスまたは１種のタイプのバスだけがあるとは限らない。

【0076】

本願の開示内容において説明した方法またはアルゴリズムのステップはハードウェアの方式により実現されてもよいし、プロセッサでソフトウェア命令を実行する方式により実現されてもよい。本願の実施例はさらに記憶媒体を提供し、該記憶媒体はヒューマンマシンハイブリッド意思決定方法を実行するために設計されるプログラムコードを含む障害物検出装置用のコンピュータソフトウェア命令を記憶するメモリ９０３を含んでもよい。具体的には、ソフトウェア命令は対応したソフトウェアモジュールから構成でき、ソフトウェアモジュールはランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）または本分野において公知する任意の形態の記憶媒体に格納できる。一例として、記憶媒体がプロセッサに結合され、それによってプロセッサは該記憶媒体から情報を読み取ったり、該記憶媒体に情報を書き込んだりすることができる。勿論、記憶媒体はプロセッサの構成部分であってもよい。プロセッサおよび記憶媒体はＡＳＩＣに配置できる。また、該ＡＳＩＣはコアネットワーク・インターフェース・デバイスに配置できる。勿論、プロセッサおよび記憶媒体は独立部品としてコアネットワーク・インターフェース・デバイスに存在してもよい。

【0077】

本願の実施例はさらに、メモリ９０３に直接ロードでき、ソフトウェアコードを含み、コンピュータプログラムがコンピュータによりロードされて実行されると上記障害物検出方法を実行できるコンピュータプログラム製品を提供する。

【0078】

以上は本願の特定の実施形態に過ぎず、本願の保護範囲がそれに制限されず、当業者が本願の開示した技術範囲から逸出することなく、容易に想到し得る変化または置換はすべて本願の保護範囲に属する。このため、本願の保護範囲は特許請求の範囲の保護範囲を基準にする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】