(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025017825
(43)【公開日】2025-02-06
(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20250130BHJP
【FI】
G06T7/60 300A
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023121105
(22)【出願日】2023-07-25
(71)【出願人】
【識別番号】000005119
【氏名又は名称】カナデビア株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】三木 裕介
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA09
5L096CA18
5L096EA02
5L096EA43
5L096FA06
5L096FA18
5L096FA52
5L096FA59
5L096FA64
5L096FA67
5L096FA76
5L096GA07
(57)【要約】
【課題】物体の検出精度を改善することが可能な技術を提供する。
【解決手段】情報処理装置(1)は、深度情報を含む画像を取得し、画像から抽出した物体の輪郭情報を生成する輪郭情報生成部(12)と、輪郭情報のうち、物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、物体が検出対象か否かを判定する判定部(13)と、を備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する輪郭情報生成部と、
前記輪郭情報のうち、前記物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する判定部と、を備える情報処理装置。
【請求項2】
前記判定部は、前記輪郭情報中の前記物体の輪郭を構成する辺の数、および、前記物体の輪郭を囲む矩形の前記縦幅と前記横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する、
請求項1に記載の情報処理装置。
【請求項3】
前記判定部は、前記物体の輪郭を囲む矩形の前記縦幅と前記横幅とから得られる情報として、前記縦幅と前記横幅との比率、前記縦幅と前記横幅との長さ、前記矩形の面積、および前記物体の実幅の少なくとも1つ、または複数を用いて、前記物体が検出対象か否かを判定する、
請求項1または2に記載の情報処理装置。
【請求項4】
前記画像は、前記物体が傾いたスロープ上を流れている画像であり、
前記判定部は、前記輪郭情報中の前記物体の輪郭の長辺の方向が前記スロープの傾き方向と一致しない場合、当該輪郭の物体を前記検出対象の物体と判定する、
請求項1または2に記載の情報処理装置。
【請求項5】
前記輪郭を複数の直線で近似し、平行な直線の対が複数ある場合、前記輪郭を複数の輪郭に分割する輪郭分割部をさらに備える、
請求項1または2に記載の情報処理装置。
【請求項6】
前記輪郭に対して多角形近似を行い、所定値よりも長い前記輪郭の辺の中で平行な直線の対が複数ある場合、前記輪郭を複数の輪郭に分割する輪郭分割部をさらに備える、
請求項1または2に記載の情報処理装置。
【請求項7】
前記輪郭情報生成部は、前記深度情報を二値化して二値化画像を生成し、当該二値化画像に対して収縮処理を行って前記輪郭情報を生成する、
請求項1または2に記載の情報処理装置。
【請求項8】
前記輪郭情報生成部は、前記画像内の画素の深度情報と、隣接する画素の深度情報との差分が所定値以上の場合、当該画素が前記輪郭を構成しない画素であると判定する、
請求項1または2に記載の情報処理装置。
【請求項9】
前記深度情報を含む前記画像は、複数の連続画像であり、
前記判定部は、
前記複数の連続画像のそれぞれの画像において、前記物体が前記検出対象か否かを判定し、
連続画像のそれぞれの画像における判定結果に応じて、前記物体が前記検出対象か否かを総合的に判定する、
請求項1または2に記載の情報処理装置。
【請求項10】
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する輪郭情報生成部と、
前記輪郭情報生成部が生成した輪郭情報を複数の矩形で構成された矩形群画像に変換する矩形画像変換部と、
前記矩形画像変換部が生成した矩形群画像から処理対象とする矩形画像を選択する矩形画像選択部と、
前記矩形画像選択部が選択した矩形画像に対し、縦横比を算出する比率算出部と、
前記比率算出部の比率があらかじめ定められた閾値条件を満たす際に、前記矩形画像選択部が選択した矩形画像が検出対象物であると判定する対象物判定部と、を備える情報処理装置。
【請求項11】
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する輪郭情報生成部と、
前記輪郭情報のうち、前記物体の輪郭を構成する辺の数が所定範囲内の場合に、前記物体が検出対象であると判定する判定部と、を備える情報処理装置。
【請求項12】
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する工程と、
前記輪郭情報のうち、前記物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する工程と、
を含む、情報処理方法。
【請求項13】
コンピュータに、
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する処理と、
前記輪郭情報のうち、前記物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する処理と、
を実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、深度画像中に写る物体検出を行う情報処理装置に関する。
【背景技術】
【0002】
カメラで撮影した画像から画像中の物体を検出する技術が従来から知られている。例えば、下記の特許文献1には、シーン内の物体を検出及び認識し、物体の3D姿勢(3次元の位置及び向き)を求めるシステムが開示されている。当該システムでは、単一のカメラで撮影したビン内の遮蔽されていない部品のシーン内の欠損している深度エッジを完全にするために新規のエッジ連結を行い、ビン内の部品の3D姿勢を求めている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記システムは、製造及び組み立てなどを行う産業用ロボットに備え付けられているロボットアームでビンから部品をピッキングするといったように、一定の撮影環境下で同一形状のみの検出等を行っている。しかし、複数の形状や大きさなどが異なる物体の検出を行おうとしても、特許文献1の技術では欠損している部分の深度エッジを求めても物体の形状と合致しないなどの問題が生じ、画像中の物体の検出精度が低下する。
【0005】
本発明の一態様は、様々な形状の物体の検出精度を改善することが可能な情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する輪郭情報生成部と、前記輪郭情報のうち、前記物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する判定部と、を備える。
【0007】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する輪郭情報生成部と、前記輪郭情報生成部が生成した輪郭情報を複数の矩形で構成された矩形群画像に変換する矩形画像変換部と、前記矩形画像変換部が生成した矩形群画像から処理対象とする矩形画像を選択する矩形画像選択部と、前記矩形画像選択部が選択した矩形画像に対し、縦横比を算出する比率算出部と、前記比率算出部の比率があらかじめ定められた閾値条件を満たす際に、前記矩形画像選択部が選択した矩形画像が検出対象物であると判定する対象物判定部と、を備える。
【0008】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する輪郭情報生成部と、前記輪郭情報のうち前記物体の輪郭を構成する辺の数が所定範囲内の場合に、前記物体が検出対象であると判定する判定部と、を備える。
【0009】
また、上記の課題を解決するために、本発明の一態様に係る情報処理方法は、深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する工程と、前記輪郭情報のうち、前記物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する工程と、を含む。
【0010】
また、上記の課題を解決するために、本発明の一態様に係る情報処理プログラムは、コンピュータに、深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する処理と、前記輪郭情報のうち、前記物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する処理と、を実行させる。
【発明の効果】
【0011】
本発明の一態様によれば、物体の検出精度を改善することができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施形態1に係る情報処理システムの構成例を示すブロック図である。
【
図2】ごみ焼却施設において、ごみ収集車がごみをごみピット内に投下している様子を示す図である。
【
図5】本発明の実施形態1に係る情報処理装置の処理手順の一例を示すフローチャートである。
【
図6】
図5に示す物体検出の処理手順の詳細を示すフローチャートである。
【
図7】輪郭が複数の物体を含む場合を説明するための図である。
【
図8】本発明の実施形態2に係る情報処理装置の制御部の詳細を示す図ある。
【発明を実施するための形態】
【0013】
近年、ごみ焼却施設への焼却不適物(以下、単に不適物と呼ぶ)の投入が問題となっている。不適物が焼却炉に投入されることで、焼却炉における燃焼の悪化、焼却炉の灰出し設備での閉塞などが発生したり、場合によっては、焼却炉を緊急停止させたりすることもある。
【0014】
さらに、運搬される大量のごみの中から、運搬時に様々な不適物を精度良く見つけることは困難を極める。
【0015】
(実施形態1)
本発明の一実施形態に係る情報処理装置1は、上記のような問題点を解決できるものである。情報処理装置1は、ごみ焼却施設に搬入されたごみから不適物を検出する機能を備えている。具体的には、情報処理装置1は、ごみピットに投入される途中のごみを撮影した画像を用いて、不適物を検出する。なお、ごみピットについては
図3に基づいて後述する。また、不適物はごみの投下後に検出してもよい。また、不適物とは、ごみ焼却施設に設けられた焼却炉で焼却すべきでない物体である。なお、以下の説明において、不適物を検出対象の物体と呼ぶ場合もある。不適物の具体例は後述する。
【0016】
[情報処理システムの構成例]
図1は、本発明の一実施形態に係る情報処理システムの構成例を示すブロック図である。
図1に示すように、情報処理システム100は、情報処理装置1と、3D(3次元)カメラ2と、を備えている。なお、本実施形態においては、情報処理システム100がごみ焼却施設に配置される場合について説明するが、これに限定されるものではなく、物体を検出する如何なるシステムにおいても利用可能である。
【0017】
3Dカメラ2は、縦横の情報だけでなく奥行き(深度)も撮影可能なカメラである。3Dカメラ2は、ステレオ方式を利用したステレオカメラとして説明するが、これに限定されるものではなく、例えば、ToF(Time of Flight)方式を利用したToFカメラ、プロジェクター方式またはレーザードット方式を利用した構造化照明を含むカメラ等であってもよい。
【0018】
情報処理装置1は、制御部10と、記憶部20と、画像IF(Interface)部30と、通信部40と、入力部50と、出力部60と、を含む。情報処理装置1は、一例として、パーソナルコンピュータ、サーバ、ワークステーション等であってもよい。制御部10は、情報処理装置1の全体的な制御を行う機能を有しているが、詳細は後述する。
【0019】
記憶部20は、情報処理装置1が使用する各種データを記憶する記憶装置である。記憶部20としては、例えば、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)SDRAM(Synchronous DRAM)、HDD(Hard Disk Drive)、SSD(Solid-State Drive)、SD(Secure Digital)カード、eMMC(embedded Multi-Media Controller)等の単体、またはこれらの組合せを適用することができる。
【0020】
画像IF部30は、3Dカメラ2によって撮影された深度情報を含んだ画像を取得して、制御部10へ出力する。なお、3Dカメラ2は、画像に含まれる各画素の深度情報を画像と共に出力し、動画像として所定のフレーム周期で出力する。
【0021】
画像IF部30は、3Dカメラ2と情報処理装置1とを通信させるためのインターフェースである。画像IF部30は、有線通信用のものであってもよいし、無線通信用のものであってもよい。例えば、IF部として、USB(Universal Serial Bus)、LAN(Local-Area Network)や無線LAN等を適用することもできる。
【0022】
通信部40は、他の装置との間で通信を行う部位であり、例えば、無線LAN(Local Area Network)、有線LAN、WAN(Wide Area Network)、公衆回線網、モバイルデータ通信網、又は、これらのネットワークの組合せを用いることができる。
【0023】
入力部50は、情報処理装置1に対する各種データの入力を受け付ける部位であり、例えば、キーボード、マウス等のポインティングデバイス、タッチパネル、又は、これらの組合せを用いることができる。
【0024】
出力部60は、情報処理装置1が各種データを出力するための部位であり、例えば、液晶パネル等のディスプレイ装置、音声出力装置、プリンタ、又は、これらの組合せを用いることができる。なお、入力部50および出力部60は、例えば、USB(Universal Serial Bus)、無線LAN等を適用してもよい。
【0025】
〔ごみ画像の撮影〕
図2は、ごみ焼却施設において、ごみ収集車200がごみをごみピット内に投下している様子を示す図である。
図3は、ごみピット内を示す図である。ごみピットは、ごみ焼却施設に収集されたごみを一時的に格納する場所であり、ごみピット内のごみは順次焼却炉に送り込まれて焼却される。
図2に示すように、ごみ焼却施設には扉300A、300Bといった複数の扉(以降、区別する必要が無い場合、扉300と総称する)が設けられている。また、
図3に示すように、扉300の先にはごみピットが設けられている。つまり、扉300が開放されることで、ごみピットへごみを投下するための投下口が現れる。
図2に示すように、ごみ収集車200は、投下口からごみをごみピット内に投下する。
【0026】
3Dカメラ2は、
図3のスロープ600を流れるごみを撮影可能な位置に取り付けられる。例えば、
図2および
図3に示す取付箇所400に3Dカメラ2を取り付けてもよい。取付箇所400は、各扉300の表面に位置しているため、取付箇所400に3Dカメラ2を取り付けた場合、扉300が開いたときに3Dカメラ2がスロープ600の上方に位置することになり、この位置がごみの撮影に好適である。もちろん、3Dカメラ2の取り付け箇所は、スロープ600を流れるごみを撮影可能な任意の位置とすることができる。
【0027】
図4は、
図1に示す情報処理装置1の制御部10の詳細を説明するための図である。
図4に示すように、制御部10は、画像前処理部11と、輪郭情報生成部12と、判定部13と、輪郭分割部14と、を含む。また、判定部13は、辺数比較部131と、矩形算出部132と、矩形比較部133と、長さ比較部134と、面積比較部135と、実幅比較部136と、流れ比較部137と、を含む。
【0028】
3Dカメラ2がステレオカメラの場合、ステレオカメラには二つの通常のRGBまたはモノクロのカメラセンサが含まれており、両方のカメラセンサからの情報を比較して画素毎の深度情報(距離情報)を出力する。ここで、通常のカメラ画像も出力するようにしてもよい。また、本実施形態では、ステレオカメラの撮影対象がスロープ上を流れるゴミであるため、映像(動画像)の各フレームの画像を検出対象とするようにしてもよい。なお、以下の物体の輪郭の検出処理において、輪郭を情報として出力するものとするが、輪郭を画像として出力するようにしてもよい。
【0029】
画像前処理部11は、3Dカメラ2によって撮影された画像に含まれる深度情報を二値化する。例えば、画像前処理部11は、各画素の深度情報と、予め定められた閾値とを比較し、深度情報が閾値以上であれば「1」(もしくは画像がバイト単位の場合「255」)とし、深度情報が閾値よりも小さければ「0」とすることによって二値化を行う。これによって、後述の輪郭情報生成部12は物体の輪郭のみを含んだ輪郭情報を取得することができる。輪郭情報は、輪郭の情報、すなわち、輪郭の辺の数や辺の長さなどピクセル値から得られる様々な情報を含み、特定の情報に限定されるものではない。また、輪郭情報は画像であっても良い。
【0030】
深度情報は、例えば、8または16ビット等の情報であり、グレースケール画像等としても扱うことができる。深度情報の単位は、例えば、ミリメートルである。また、深度情報の画像は、例えば、輪郭が検出された部分のみとしてもよく、輪郭以外の画素は、例えば、無効値の「0」としてもよい。
【0031】
画像前処理部11は、二値化した画像(以下、二値化画像と呼ぶ。)に対して、収縮処理、分離処理、雑音除去処理、等の前処理を行う。二値化画像に対して収縮処理を行うことによって、隣接する物体を分離しやすくなる。分離ができない場合、複数の物体が一体型の輪郭として検出されることがあるため、画像前処理部11は、前処理として収縮処理を行う。
【0032】
また、画像前処理部11は、各画素の深度情報と、隣接する画素の深度情報とを比較し、第1の所定値(例えば、20cm)以上の深さ差がある場合、より深い画素の値を無効、例えば、二値化された深度情報を「0」にして分離処理を行う。二値化された深度情報を「0」にしない場合、重なった物体が一体型(1つ)の輪郭として検出される可能性があるためである。
【0033】
また、画像前処理部11は、二値化した深さ画像に含まれる小さい点を除去することによって、二値化した深さ画像の雑音除去処理を行う。
【0034】
輪郭情報生成部12は、二値化画像に含まれる複数の物体の輪郭を抽出して輪郭情報を生成する。例えば、物体の輪郭抽出には、下記の非特許文献1に記載されている方法を用いることができる。1つの物体の輪郭は、二値化された深さ画像における点の位置(x値、y値)の集合であってもよい。ここで、物体の輪郭の1つの直線の辺は、連続した2つの点になる。なお、輪郭情報生成部12が生成する輪郭情報には辺数も含まれる。
【0035】
[非特許文献1]Satoshi Suzuki and Keiichi Abe, "Topological Structural Analysis of Digitized Binary Images by Border Following", CVGIP 30, pp 32-46, 1985
判定部13は輪郭情報生成部12の結果を元に、各輪郭が検出対象の物体(不適物)であるのかを判定(検出)する。具体的には、下記の通り、辺数比較部131~流れ比較部137によって判定する。
【0036】
辺数比較部131は、辺数が所定の範囲内であるか否かを判定し、物体の輪郭の辺数が所定の範囲内であれば、物体が検出対象の物体の候補であるとして、検出処理を継続する。また、辺数比較部131は、物体の輪郭の辺数が所定の範囲内でない場合、例えば、辺数が少ない場合は当該物体が小さすぎると判断し、辺数が多い場合は当該物体の形状が複雑すぎると判断して、当該物体が検出対象の物体ではないと判断する。このように、物体の輪郭の辺数が所定の範囲内でない場合、当該物体が検出対象外の物体と判断することにより、演算量を削減することができる。
【0037】
矩形算出部132は、物体が検出対象の物体の候補である場合、物体の輪郭が丁度入る矩形(長方形および正方形を含む。)を算出する。例えば、下記の非特許文献2に記載されている方法を用いることができる。なお、物体の輪郭が丁度入る矩形とは、矩形の4辺の何れにも物体の輪郭が接するような矩形のことを指している。
【0038】
[非特許文献2]Godfried Toussaint, "Solving Geometric Problems with the Rotating Calipers", Proceedings of IEEE MELECON'83, Athens, Greece, May 1983
矩形比較部133は、矩形算出部132によって算出された矩形の長辺と短辺との比率が所定値の範囲内にある場合、対応する輪郭の物体を検出対象の物体として検出する。
【0039】
長さ比較部134は、物体の輪郭の形状から、物体の長さを求め、物体の長さが所定の範囲内にある場合、当該物体を検出対象の物体として検出するようにしてもよい。
【0040】
面積比較部135は、矩形の面積と対応する輪郭の面積との比率が所定値の範囲内にある場合、対応する輪郭の物体を検出対象の物体として検出するようにしてもよい。
【0041】
実幅比較部136は、物体の輪郭の形状から、物体の幅を求め、物体の幅が所定の範囲内にある場合、当該物体を検出対象の物体として検出するようにしてもよい。
【0042】
輪郭分割部14は、矩形比較部133によって物体が検出対象外の物体であると判断された場合、当該物体を分割できるかを判断する。輪郭分割部14は、物体を分割できると判断した場合、物体を分割して、再度矩形算出部132および矩形比較部133に上述の処理を行わせる。なお、物体を分割する方法については、後述する。
【0043】
上述のように、3Dカメラ2は、スロープ上を流れるごみを撮影可能な位置に取り付けられている。スロープ上に汚水等の液体物が付着している場合、スロープの傾き方向に液体物が付着するため、3Dカメラ2によってスロープの傾き方向に付着した液体物が撮影されることがある。3Dカメラ2、例えば、ステレオカメラは、色の違いの部分に深さを与えるため、スロープの傾き方向に付着した液体物を誤って検出対象の物体と判断する可能性がある。
【0044】
そこで、流れ比較部137は、物体の輪郭の長辺の方向がスロープの傾き方向と一致しない場合、当該輪郭の物体を検出対象の物体(不適物)として判定(検出)するようにしてもよい。すなわち、流れ比較部137は、物体の輪郭の長辺の方向がスロープの傾き方向と一致する場合、当該物体をスロープの傾き方向に付着した液体物であると判断する。判定部13は、以上説明した処理により、検出対象の物体か否かを判定する。
【0045】
[情報処理装置1の処理手順]
図5は、本発明の一実施形態に係る情報処理装置1の処理手順の一例を示すフローチャートである。まず、情報処理装置1は、3Dカメラ2からの映像入力を開始する(S1)。上述のように、この映像は、動画像として所定のフレーム周期で入力される。
【0046】
画像前処理部11は、3Dカメラ2から次の画像(1フレーム分の深度情報を含んだ画像)を取得し、画像内の各画素の深度情報と、予め定められた閾値とを比較し、深度情報が閾値以上であれば「1」(もしくは画像がバイト単位の場合「255」)とし、深度情報が閾値よりも小さければ「0」とすることによって二値化を行う(S2)。
【0047】
次に、画像前処理部11は、二値化画像に対して、収縮処理、分離処理、雑音除去処理、等の前処理を行う(S3)。そして、輪郭情報生成部12は、二値化画像に含まれる複数の物体の輪郭を抽出して輪郭情報を生成する(S4)。
【0048】
次に、判定部13は、二値化画像に含まれる複数の物体の輪郭の形状に基づいて、検出対象の物体を検出する(S5)。この物体検出処理の詳細は、後述する。
【0049】
次に、制御部10は、検出された検出対象の物体(不適物)に関する情報を記憶部20に記録すると共に、その情報を出力部60、例えばディスプレイ装置に表示させる(S6)。
【0050】
最後に、制御部10は、映像入力を終了するか否かを判定する(S7)。例えば、入力部50を介してユーザから処理終了の指示がある場合(S7,Yes)、処理を終了する。また、入力部50を介してユーザから処理終了の指示がない場合(S7,No)、ステップS2に戻って以降の処理を繰り返す。
【0051】
<物体検出処理(S5)の詳細な処理手順>
図6は、
図5に示す物体検出処理(S5)の詳細を説明するためのフローチャートである。
図6においては、長尺状の物体を、検出対象の物体(不適物)として説明する。
【0052】
長尺状の物体は、例えば、傘、丸太等の物体である。傘には、金属部品があり、焼却炉における燃焼の悪化、焼却炉の灰出し設備での閉塞などの原因となるため、検出対象の物体(不適物)としている。また、丸太は、焼却前における焼却炉入口の閉塞などの原因となるため、検出対象の物体(不適物)としている。
【0053】
まず、判定部13は、輪郭情報生成部12によって抽出された複数の輪郭の中から最初の輪郭を取得する(S51)。そして、辺数比較部131は、辺数が所定の範囲内であるか否かを判定する(S52)。なお、ステップS51の処理が再度実行される場合、判定部13は、複数の輪郭の中から次の輪郭を取得する。
【0054】
物体の輪郭の辺数が所定の範囲内でなければ(S52,No)、当該物体が検出対象の物体の候補ではないとして、ステップS68に処理が進む。また、物体の輪郭の辺数が所定の範囲内であれば(S52,Yes)、矩形算出部132は、物体の輪郭が丁度入る矩形を算出する(S53)。そして、矩形比較部133は、矩形の短辺を長辺で割った値(短辺/長辺)が、0.35(第2の所定値)よりも小さいか否かを判定する(S54)。ここで、0.35が長尺状の物体であるかを判定するための係数であり、検出したい物体の形状によって、この係数を変更するようにしてもよい。なお、物体の輪郭が丁度入る矩形とは、矩形の4辺の何れにも物体の輪郭が接するような矩形のことを指している。
【0055】
矩形の短辺を長辺で割った値が、0.35よりも小さい場合(S54,Yes)、当該物体が検出対象の物体の候補であるとして、ステップS59に処理が進む。また、矩形の短辺を長辺で割った値が、0.35以上の場合(S54,No)、輪郭分割部14は、当該物体の輪郭を分割できるかを判断する(S55)。
【0056】
図7は、輪郭が複数の物体を含む場合を説明するための図である。
図7の左図に示すように、2つの物体が1つの輪郭として抽出されている。輪郭分割部14は、
図7の中央図に示すように、この輪郭の中において直線で表されている部分を抽出する。
図7の中央図においては、点線で複数の直線を表示している。輪郭分割部14は、平行な直線の対が複数ある場合、
図7の右図に示すように、輪郭を複数の輪郭に分割する。
【0057】
また、輪郭分割部14は、輪郭に多角形近似を行い、輪郭の点数を減らして、輪郭をより少ない点数の輪郭に近似する。そして、輪郭の長い辺のみを残す。この時点で、
図7の中央図に示すものと同等となる。そして、輪郭分割部14は、平行な直線の対が複数ある場合、
図7の右図に示すように、輪郭を複数の輪郭に分割する。なお、検出効果向上のため、この2つの方法を同時に用いるようにしてもよい。
【0058】
輪郭分割部14によって輪郭が複数の輪郭に分割された場合、分割された輪郭の数だけ、ステップS56~S67の処理が行われることになる。ステップS56において、矩形算出部132は、輪郭分割部14によって分割された複数の輪郭の中から次の輪郭を取得する。そして、矩形算出部132は、物体の輪郭が丁度入る矩形を算出する(S57)。そして、矩形比較部133は、矩形の短辺を長辺で割った値が、0.35よりも小さいか否かを判定する(S58)。
【0059】
矩形の短辺を長辺で割った値が、0.35よりも小さい場合(S58,Yes)、当該物体が検出対象の物体の候補であるとして、ステップS59に処理が進む。また、矩形の短辺を長辺で割った値が、0.35以上の場合(S58,No)、当該物体が検出対象の物体の候補ではないとして、ステップS67に処理が進む。
【0060】
ステップS59において、長さ比較部134は、輪郭の長さ(長尺の長さ)を算出する。例えば、長さ比較部134は、ステップS53またはS57において算出された矩形の4点のそれぞれに対して、輪郭の中で最も近い点を探す。次に、長さ比較部134は、この輪郭の4点に対して、深度情報が有効である点、例えば、深度情報の二値化によって「1」(もしくは画像がバイト単位の場合「255」)とされた点(無効とされていない点)を探す。
【0061】
なお、輪郭情報は二値化画像から求められているため、輪郭の点の同じ画素の位置に、深度情報があるとは限らない。ここで、x軸とy軸とが通常の画像の軸であり、深さをz軸とした場合、ステレオカメラの内部パラメータを用いると、画素のx値、y値と実寸法(例えば、ミリメートル)のz値から、実寸法のx値とy値とを求めることができる。すなわち、ここで求まった深さ画像の4点は、全て実寸法の座標に変換でき、この4点の中で2点同士の最も長い距離(対角線は除外する)を、長尺状の輪郭の長さとする。
【0062】
次に、長さ比較部134は、長尺状の輪郭の長さが所定の範囲内であるか否かを判定する(S60)。長尺状の輪郭の長さが所定の範囲内でなければ(S60,No)、当該物体が検出対象の物体の候補ではないとして、ステップS67に処理が進む。また、長尺状の輪郭の長さが所定の範囲内であれば(S60,Yes)、面積比較部135は、矩形の面積と対応する輪郭の面積との比率を算出する(S61)。
【0063】
次に、面積比較部135は、矩形の面積と対応する輪郭の面積との比率が所定値の範囲内にあるか否かを判定する(S62)。矩形の面積と対応する輪郭の面積との比率が所定値の範囲内にない場合(S62,No)、当該物体が検出対象の物体の候補ではないとして、ステップS67に処理が進む。
【0064】
また、矩形の面積と対応する輪郭の面積との比率が所定値の範囲内にある場合(S62,Yes)、実幅比較部136は、ステップS59で説明した方法と同様の方法により、長尺状の輪郭の実幅を算出する(S63)。この場合、4点の中で2点同士の最も短い距離を、長尺状の輪郭の実幅とする。
【0065】
次に、実幅比較部136は、長尺状の輪郭の実幅が所定の範囲内であるか否かを判定する(S64)。長尺状の輪郭の実幅が所定の範囲内でなければ(S64,No)、当該物体が検出対象の物体の候補ではないとして、ステップS67に処理が進む。
【0066】
また、長尺状の輪郭の実幅が所定の範囲内であれば(S64,Yes)、流れ比較部137は、物体の輪郭の長辺の方向がスロープの傾き方向と一致するか(平行であるか)を判定する(S65)。物体の輪郭の長辺の方向がスロープの傾き方向と一致する場合(S65,Yes)、当該輪郭が検出対象の物体の候補ではないとして、ステップS67に処理が進む。
【0067】
また、物体の輪郭の長辺の方向がスロープの傾き方向と一致しない場合(S65,No)、判定部13は、輪郭の物体を検出対象の物体(不適物)とする(S66)。
【0068】
ステップS67において、判定部13は、輪郭分割部14によって分割された複数の輪郭の処理が終了したか否かを判定する。なお、ステップS54において、輪郭が1つの輪郭のみを含むと判定された場合は、ステップ68に処理が進むことになる。
【0069】
輪郭分割部14によって分割された複数の輪郭の処理が終了していない場合(S67,No)、ステップS56に戻って以降の処理が繰り返される。また、輪郭分割部14によって分割された複数の輪郭の処理が終了した場合(S67,Yes)、二値化画像内の全ての輪郭の処理が終了したか否かが判定される(S68)。
【0070】
処理が終了していない輪郭がある場合(S68,No)、ステップS51に戻って以降の処理が繰り返される。また、処理が終了していない輪郭がない場合(S68,Yes)、物体検出処理(S5)を終了する。
【0071】
なお、以上の説明においては、映像の単独画像での不適物の検出例であったが、精度向上のため、連続する単独画像上で同じ物体を追跡して、複数の画像において同じ物体が検出された場合にのみ当該物体を不適物と判断するようにしてもよい。
【0072】
また、
図6に示すフローチャート内で使用される数値を適宜変更することによって、それ以外の物体の検出、例えば、自動車に取り付けたカメラからの映像を用いて他の自動車等を検出する、または海の衛星写真から船を検出することも可能である。例えば、矩形の短辺を長辺で割った値の閾値を、検出する自動車の特有の値とすることによって、特定の自動車の検出も可能となる。
【0073】
[情報処理装置1の効果]
以上説明したように、本実施形態に係る情報処理装置1によれば、判定部13は、輪郭情報中の物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、物体が検出対象か否かを判定する。したがって、照明状況が変化する、複数の物体が重なっているまたは接触している、等の場合でも、検出対象の物体を適切に検出することができる。
【0074】
また、判定部13は、輪郭情報中の物体の輪郭を構成する辺の数、および、物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、物体が検出対象か否かを判定する。したがって、検出対象の物体をさらに適切に検出することができる。
【0075】
また、判定部13は、物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報として、縦幅と横幅との比率、縦幅と横幅との長さ、矩形の面積、および物体の実幅の少なくとも1つ、または複数を用いて、物体が検出対象か否かを判定する。したがって、検出対象の物体をさらに適切に検出することができる。
【0076】
また、輪郭の長辺の方向がスロープの傾き方向と一致しない場合、判定部13は、当該輪郭の物体を検出対象の物体として検出する。したがって、例えば、スロープ上に汚水等の液体物が付着している場合でも、誤って検出対象の物体と判定されることを防止することができる。
【0077】
また、輪郭分割部14は、輪郭を複数の直線で近似し、平行な直線の対が複数ある場合、輪郭を複数の輪郭に分割する。したがって、1つの輪郭に複数の物体の輪郭が含まれているような場合でも、適切に複数の輪郭に分割することができる。
【0078】
また、輪郭分割部14は、輪郭に対して多角形近似を行い、所定値よりも長い輪郭の辺の中で平行な直線の対が複数ある場合、輪郭を複数の輪郭に分割する。したがって、1つの輪郭に複数の物体の輪郭が含まれているような場合でも、適切に複数の輪郭に分割することができる。
【0079】
また、画像前処理部11は、深度情報を二値化して二値化画像を生成し、輪郭情報生成部12は当該二値化画像に対して収縮処理を行って輪郭情報を生成する。したがって、複数の物体が重なっているまたは接触している場合でも、それぞれ別の物体の輪郭として抽出することができる。
【0080】
画像前処理部11は、画像内の画素の深度情報と、隣接する画素の深度情報との差分が所定値以上の場合、当該画素が輪郭を構成しない画素であると判定する。したがって、複数の物体が重なっているまたは接触している場合でも、それぞれ別の物体の輪郭として抽出することができる。
【0081】
判定部13は、複数の連続画像のそれぞれの画像において、物体が検出対象か否かを判定し、連続画像のそれぞれの画像における判定結果に応じて、物体が検出対象か否かを総合的に判定する。したがって、検出対象の物体をさらに適切に検出することができる。
【0082】
また、判定部13は、輪郭情報中の物体の輪郭を構成する辺の数が所定範囲内の場合に、物体が検出対象であると判定する。したがって、検出対象の物体を適切に検出することができる。
【0083】
(実施形態2)
図8は、実施形態2に係る情報処理装置の制御部10Aの詳細を説明するための図である。
図8に示すように、制御部10Aは、輪郭情報生成部12と、判定部13Aと、を含む。また、判定部13Aは、矩形画像変換部123と、矩形画像選択部124と、比率算出部125と、対象物判定部126と、を含む。なお、
図4に示す実施形態1に係る情報処理装置1の制御部10と同様の構成および機能を有する部分は同じ参照番号を付すこととし、詳細な説明は繰り返さない。
【0084】
矩形画像変換部123は、輪郭情報生成部12が生成した輪郭情報を複数の矩形で構成された矩形群画像に変換する。矩形画像変換部123は、輪郭情報に含まれる複数の物体のそれぞれの輪郭が丁度入る矩形(長方形および正方形を含む。)を算出し、矩形群画像に変換する。例えば、上述の非特許文献2に記載されている方法を用いることができる。
【0085】
矩形画像選択部124は、矩形画像変換部123が生成した矩形群画像から処理対象とする矩形画像を選択する。例えば、矩形画像選択部124は、矩形群画像の中から、3Dカメラ2のより近くにある物体の矩形画像を順次選択し、その矩形画像を処理対象とする。
【0086】
比率算出部125は、矩形画像選択部124が選択した矩形画像に対し、縦横比を算出する。矩形画像の縦横比を算出する方法は、実施形態1において説明した方法と同様である。
【0087】
対象物判定部126は、比率算出部125によって算出された比率があらかじめ定められた閾値条件を満たす際に、矩形画像選択部124が選択した矩形画像が検出対象物であると判定する。
【0088】
[実施形態1に係る情報処理装置の効果]
以上説明したように、本実施形態に係る情報処理装置によれば、判定部13Aは、矩形画像の縦横比があらかじめ定められた閾値条件を満たす際に、当該矩形画像を検出対象物であると判定する。したがって、照明状況が変化する、複数の物体が重なっているまたは接触している、等の場合でも、検出対象の物体を適切に検出することができる。
【0089】
[ソフトウェアによる実現例]
情報処理装置1(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に、制御部10、制御部10A)としてコンピュータを機能させるためのプログラムにより実現することができる。
【0090】
この場合、上記装置は、上記プログラムを実行する,のハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0091】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0092】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0093】
〔まとめ〕
本発明の態様1に係る情報処理装置は、
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する輪郭情報生成部と、
前記輪郭情報のうち、前記物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する判定部と、を備える。
【0094】
本発明の態様2に係る情報処理装置は、態様1に記載の情報処理装置であって、
前記判定部は、前記輪郭情報中の前記物体の輪郭を構成する辺の数、および、前記物体の輪郭を囲む矩形の前記縦幅と前記横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する。
【0095】
本発明の態様3に係る情報処理装置は、態様1または2に記載の情報処理装置であって、
前記判定部は、前記物体の輪郭を囲む矩形の前記縦幅と前記横幅とから得られる情報として、前記縦幅と前記横幅との比率、前記縦幅と前記横幅との長さ、前記矩形の面積、および前記物体の実幅の少なくとも1つ、または複数を用いて、前記物体が検出対象か否かを判定する。
【0096】
本発明の態様4に係る情報処理装置は、態様1~3のいずれかに記載の情報処理装置であって、
前記画像は、前記物体が傾いたスロープ上を流れている画像であり、
前記判定部は、前記輪郭情報中の前記物体の輪郭の長辺の方向が前記スロープの傾き方向と一致しない場合、当該輪郭の物体を前記検出対象の物体と判定する。
【0097】
本発明の態様5に係る情報処理装置は、態様1~4のいずれかに記載の情報処理装置であって、
前記輪郭を複数の直線で近似し、平行な直線の対が複数ある場合、前記輪郭を複数の輪郭に分割する輪郭分割部をさらに備える。
【0098】
本発明の態様6に係る情報処理装置は、態様1~4のいずれかに記載の情報処理装置であって、
前記輪郭に対して多角形近似を行い、所定値よりも長い前記輪郭の辺の中で平行な直線の対が複数ある場合、前記輪郭を複数の輪郭に分割する輪郭分割部をさらに備える。
【0099】
本発明の態様7に係る情報処理装置は、態様1~6のいずれかに記載の情報処理装置であって、
前記輪郭情報生成部は、前記深度情報を二値化して二値化画像を生成し、当該二値化画像に対して収縮処理を行って前記輪郭情報を生成する。
【0100】
本発明の態様8に係る情報処理装置は、態様1~7のいずれかに記載の情報処理装置であって、
前記輪郭情報生成部は、前記画像内の画素の深度情報と、隣接する画素の深度情報との差分が所定値以上の場合、当該画素が前記輪郭を構成しない画素であると判定する。
【0101】
本発明の態様9に係る情報処理装置は、態様1~8のいずれかに記載の情報処理装置であって、
前記深度情報を含む前記画像は、複数の連続画像であり、
前記判定部は、
前記複数の連続画像のそれぞれの画像において、前記物体が前記検出対象か否かを判定し、
連続画像のそれぞれの画像における判定結果に応じて、前記物体が前記検出対象か否かを総合的に判定する。
【0102】
本発明の態様10に係る情報処理装置は、
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する輪郭情報生成部と、
前記輪郭情報生成部が生成した輪郭情報を複数の矩形で構成された矩形群画像に変換する矩形画像変換部と、
前記矩形画像変換部が生成した矩形群画像から処理対象とする矩形画像を選択する矩形画像選択部と、
前記矩形画像選択部が選択した矩形画像に対し、縦横比を算出する比率算出部と、
前記比率算出部の比率があらかじめ定められた閾値条件を満たす際に、前記矩形画像選択部が選択した矩形画像が検出対象物であると判定する対象物判定部と、を備える。
【0103】
本発明の態様11に係る情報処理装置は、
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する輪郭情報生成部と、
前記輪郭情報のうち、前記物体の輪郭を構成する辺の数が所定範囲内の場合に、前記物体が検出対象であると判定する判定部と、を備える。
【0104】
本発明の態様12に係る情報処理方法は、
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する工程と、
前記輪郭情報のうち、前記物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する工程と、
を含む。
【0105】
本発明の態様13に係るプログラムは、
コンピュータに、
深度情報を含む画像を取得し、前記画像から抽出した物体の輪郭情報を生成する処理と、
前記輪郭情報のうち、前記物体の輪郭を囲む矩形の縦幅と横幅とから得られる情報に基づいて、前記物体が検出対象か否かを判定する処理と、
を実行させる。
【0106】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0107】
1 情報処理装置
2 3Dカメラ
10,10A 制御部
11 画像前処理部
12 輪郭情報生成部
13,13A 判定部
14 輪郭分割部
20 記憶部
30 画像IF部
40 通信部
50 入力部
60 出力部
100 情報処理システム
131 辺数比較部
132 矩形算出部
133 矩形比較部
134 長さ比較部
135 面積比較部
136 実幅比較部
137 流れ比較部
123 矩形画像変換部
124 矩形画像選択部
125 比率算出部
126 対象物判定部