特許 7482654 エッジ検出システムおよびそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-02

(45)【発行日】2024-05-14

(54)【発明の名称】エッジ検出システムおよびそのプログラム

(51)【国際特許分類】

   G06T 7/13 20170101AFI20240507BHJP

   G06T 7/00 20170101ALI20240507BHJP

【ＦＩ】

G06T7/13

G06T7/00 350C

【請求項の数】 10

(21)【出願番号】P 2020041456

(22)【出願日】2020-03-11

(65)【公開番号】P2021144371

(43)【公開日】2021-09-24

【審査請求日】2023-03-11

(73)【特許権者】

【識別番号】511292161

【氏名又は名称】株式会社エクスビジョン

(74)【代理人】

【識別番号】100101982

【弁理士】

【氏名又は名称】久米川 正光

(72)【発明者】

【氏名】ムハンマド サクティ アルヴィッサリム

(72)【発明者】

【氏名】田畑 友啓

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２００２－１５８９２３（ＪＰ，Ａ）

【文献】特開２００６－３１６９０（ＪＰ，Ａ）

【文献】特開平８－２７２９７１（ＪＰ，Ａ）

【文献】国際公開第２０１２／００５２４２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１３

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、前記撮像画像中の物体のエッジを検出するエッジ検出システムにおいて、
前記撮像画像を極座標系に変換して、極座標画像を生成する極座標変換部と、
前記極座標変換部によって生成された極座標画像を所定の角度領域毎に分割する領域分割部と、
前記領域分割部によって分割されたそれぞれの角度領域におけるカラーまたはグレースケールの画像データに基づいて、物体のエッジを角度領域毎に識別する学習モデルと、
前記学習モデルによって識別された角度領域毎の物体のエッジを統合して、物体のエッジの二次元分布を生成する領域統合部と
を有することを特徴とするエッジ検出システム。

【請求項2】

前記学習モデルは、前記画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有することを特徴とする請求項１に記載されたエッジ検出システム。

【請求項3】

前記画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、前記内部パラメータを調整する学習処理部をさらに有することを特徴とする請求項２に記載されたエッジ検出システム。

【請求項4】

前記領域分割部は、前記角度領域が部分的にオーバーラップするように、前記極座標画像を分割することを特徴とする請求項１に記載されたエッジ検出システム。

【請求項5】

前記領域統合部によって生成された物体のエッジの二次元分布に基づいて、物体を認識する物体認識部をさらに有することを特徴とする請求項１から４のいずれかに記載されたエッジ検出システム。

【請求項6】

動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、前記撮像画像中の物体のエッジを検出するエッジ検出プログラムにおいて、
前記撮像画像を極座標系に変換して、極座標画像を生成する第１のステップと、
前記極座標画像を所定の角度領域毎に分割する第２のステップと、
前記角度領域のそれぞれにおけるカラーまたはグレースケールの画像データを学習モデルに入力して、物体のエッジを角度領域毎に識別する第３のステップと、
前記角度領域毎に識別された物体のエッジを統合して、物体のエッジの二次元分布を生成する第４のステップと
を有する処理をコンピュータに実行させることを特徴とするエッジ検出プログラム。

【請求項7】

前記学習モデルは、前記画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有することを特徴とする請求項６に記載されたエッジ検出プログラム。

【請求項8】

前記画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、前記内部パラメータを調整する第５のステップをさらに有することを特徴とする請求項７に記載されたエッジ検出プログラム。

【請求項9】

前記第２のステップは、前記角度領域が部分的にオーバーラップするように、前記極座標画像を分割することを特徴とする請求項６に記載されたエッジ検出プログラム。

【請求項10】

前記物体のエッジの二次元分布に基づいて、物体を認識する第６のステップをさらに有することを特徴とする請求項６から９のいずれかに記載されたエッジ検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを検出するエッジ検出システム、および、そのプログラムに関する。

【背景技術】

【0002】

従来、カメラによって取得された撮像画像中の物体を認識する手法が提案されている。例えば、特許文献１には、カメラによって取得された時系列的な画像群を入力とし、実空間情報によって学習する識別器を用いて物体を追跡する装置が開示されている。この識別器は、構造化ＳＶＭのアルゴリズムによって構築されており、物体追跡対象の画像毎に、この画像情報を入力することによって、物体の実空間での正解とされる位置情報を出力する。また、特許文献２には、オクルージョン発生時に専用の識別器を用いて物体を追従する装置が開示されている。この装置は、第１の識別器と、第２の識別器とを有し、これらはサポートベクタマシン（ＳＶＭ）などによって構築されている。第１の識別器は、物体が描出された画像を用いて、この物体についての学習を行う。第１の識別器によって、物体識別対象の各画像における物体の領域を識別して、この物体を追跡するために用いられる。第２の識別器は、オクルージョンの発生時に、この物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて、この物体についての学習を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－２０６７９５号公報

【文献】特開２０１６－１２６６２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、ボールなどの物体の動きを追跡するアルゴリズムとして、背景などとの境目を物体のエッジとして検出する手法が知られているが、状況によって検出精度の低下を招き易いという課題があった。例えば、多色模様のボールが回転によって混色した場合、その色味が背景の色味に近くなって、ボールの誤検出が生じ易い。

【0005】

本発明は、かかる事情に鑑みてなされたものであり、その目的は、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを精度良く検出することである。

【課題を解決するための手段】

【0006】

かかる課題を解決すべく、第１の発明は、極座標変換部と、領域分割部と、学習モデルと、領域統合部とを有し、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを検出するエッジ検出システムを提供する。極座標変換部は、撮像画像を極座標系に変換して、極座標画像を生成する。領域分割部は、極座標変換部によって生成された極座標画像を所定の角度領域毎に分割する。学習モデルは、領域分割部によって分割されたそれぞれの角度領域におけるカラーまたはグレースケールの画像データに基づいて、物体のエッジを角度領域毎に識別する。領域統合部は、学習モデルによって識別された角度領域毎の物体のエッジを統合して、物体のエッジの二次元分布を生成する。

【0007】

ここで、第１の発明において、上記学習モデルは、画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有していてもよい。この場合、画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、内部パラメータを調整する学習処理部を設けることが好ましい。

【0008】

第１の発明において、上記領域分割部は、角度領域が部分的にオーバーラップするように、極座標画像を分割してもよい。また、領域統合部によって生成された物体のエッジの二次元分布に基づいて、物体を認識する物体認識部をさらに設けてもよい。

【0009】

第２の発明は、以下のステップをコンピュータに実行させることによって、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを検出するエッジ検出プログラムを提供する。第１のステップでは、撮像画像を極座標系に変換して、極座標画像を生成する。第２のステップでは、極座標画像を所定の角度領域毎に分割する。第３のステップでは、角度領域のそれぞれにおけるカラーまたはグレースケールの画像データを学習モデルに入力して、物体のエッジを角度領域毎に識別する。第４のステップでは、角度領域毎に識別された物体のエッジを統合して、物体のエッジの二次元分布を生成する。

【0010】

ここで、第２の発明において、上記学習モデルは、画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有していてもよい。この場合、画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、内部パラメータを調整する第５のステップを設けることが好ましい。

【0011】

第２の発明において、上記第２のステップは、角度領域が部分的にオーバーラップするように、極座標画像を分割してもよい。また、上記物体のエッジの二次元分布に基づいて、物体を認識する第６のステップをさらに設けてもよい。

【発明の効果】

【0012】

本発明によれば、極座標画像を所定の角度領域毎に分割し、それぞれの角度領域におけるカラーまたはグレースケールの画像データを学習モデルに入力することによって、物体のエッジを角度領域毎に識別する。そして、角度領域単位で識別された物体のエッジ群を統合することで、物体のエッジの二次元的な分布が生成される。学習モデルを用いて物体のエッジを角度領域毎に識別することで、既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを精度良く検出することができる。

【図面の簡単な説明】

【0013】

【図1】エッジ検出システムのブロック図

【図2】撮像画像の一例を示す図

【図3】極座標画像の一例を示す図

【図4】極座標画像を分割した一例を示す図

【図5】学習モデルによるエッジ検出の説明図

【図6】極座標系における物体のエッジの二次元分布の一例を示す図

【図7】直交座標系における物体のエッジの二次元分布の一例を示す図

【発明を実施するための形態】

【0014】

図１は、本実施形態に係るエッジ検出システムのブロック図である。このエッジ検出システム１は、動きのある既知の物体（検出対象）に追従して撮像画像を連続的に撮像し、それぞれの撮像画像について、物体のエッジ、すなわち、物体とそれ以外のもの（背景など）との境目を検出する。エッジ検出システム１は、カメラ２と、極座標変換部３と、領域分割部４と、学習モデル５と、学習処理部６と、領域統合部７と、物体認識部８とを有する。

【0015】

カメラ２は、検出対象となる物体が移動する範囲（移動空間）がカメラ視野に収まるように配置されており、カラーまたはグレースケールの撮像画像（輝度画像）を極座標変換部３に出力する。なお、極座標変換部３において処理される撮像画像は、カメラ２によって取得された画像全体であってもよいが、その一部のみを切り出した部分画像であってもよい。

【0016】

極座標変換部３は、カメラ２によって取得された撮像画像（ｘｙ直交座標系）を極座標系に変換して、極座標画像を生成する。ここで、「極座標系」とは、原点Ｏからの距離ｒと角度θという２つの変数からなる座標系をいう。基本的に、直交座標系および極座標系は一対一の対応関係にあり、例えば、極座標系の基本形である円座標を考えた場合、以下の数式に基づいて座標変換が行われる。

【0017】

［変換式］
ｘ＝ｒ*cos θ
ｙ＝ｒ*sin θ

【0018】

例えば、検出対象となる物体の一例として、図２に示す模様付きの球（バレーボールの球）を想定する。この場合、撮像画像の中心を原点Ｏとして極座標変換が行われ、これによって、図３に示すような極座標画像が生成される。この極座標画像は、原点Ｏを中心とした３６０°全周における輝度の二次元分布を示しており、同図左側が球に由来した分布、同図右側が球以外の物（背景など）に由来した分布となる。

【0019】

領域分割部４は、極座標変換部３によって生成された極座標画像を所定の角度領域毎に分割して、横短冊状に延在する複数の角度領域を生成する。図４は、極座標画像を分割した一例を示す図である。角度領域の分解能、すなわち、１つの角度領域の縦幅は、予め規定されている。例えば、角度領域を１°（ｎ＝１）幅で分割し、３６０本の角度領域を規定してもよい。また、角度領域をｎ°（ｎ≧２）幅で分割して、３６０／ｎ本の角度領域を規定してもよい。さらに、隣り合った角度領域が部分的にオーバーラップするように、角度領域を規定してもよい。例えば、角度領域を２°幅とし、１°ずつオーバーラップさせることで、３５９本の角度領域を規定するといった如くである。

【0020】

学習モデル５は、領域分割部４によって分割されたそれぞれの角度領域の画像データ（輝度分布）に基づいて、物体のエッジを識別する。学習モデル５は、所与の問題解決能力を備えており、例えば、人の脳神経を模したニューラルネットワークを主体に構築することができる。ここで、「ニューラルネットワーク」とは、ニューロンを数理モデル化したものの組み合わせであって、入力層と、隠れ層と、出力層とを有する。入力層は、隠れ層に入力信号を伝達する際、活性化関数による重み付けが行われる。そして、隠れ層の層数に応じた重み付けを伴う伝達が繰り返され、出力層に伝達された信号が最終的に出力される。本明細書において、「ニューラルネットワーク」は、ニューラルネットワークとしての最も原始的な構成のみならず、畳み込みニューラルネットワーク（ＣＮＮ）や再起型ニューラルネットワーク（ＲＮＮ）の如く、その派生形や発展形などを広く包含する。

【0021】

学習モデル５は、所定の関数（Ｙ＝ｆ(Ｘ，θ))を備えており、その内部パラメータθ、例えば、ニューラルネットワークの結合重みは、それぞれの角度領域の画像データの特徴に応じて物体のエッジが適切に出力されるように、事前の学習によって予め調整されている。

【0022】

学習処理部６は、記画像データにおける物体のエッジの位置を教示する教示データを用いた教師あり学習によって、学習モデル５の学習処理を行う。この学習処理によって、学習モデル５の内部パラメータθが調整される。大量かつ多様な教師データを用いた教師あり学習を繰り返すことで、様々な入力に対して適切な出力が得られるように学習モデル５が最適化される。なお、学習モデル５としては、上述したニューラルネットワークの他、サポートベクターマシン、決定木、ベイジアンネットワーク、線形回帰、多変量解析、ロジスティック回帰分析、判定分析等の機械学習手法を用いてもよい。

【0023】

図５は、学習モデル５によるエッジ検出の説明図である。同図に示すように、物体のエッジｅ（点）は、学習モデル５に入力される角度領域毎に識別され、横短冊状の角度領域の延在方向（一次元方向）における位置として出力される。これにより、角度領域の入力数（３６０／ｎ本）に対して、最大でこれと同数のエッジｅが識別されることになる。なお、学習モデル５によるエッジ検出は、１つの学習モデル５に角度領域を順番に入力する逐次処理にて行ってもよいが、複数の学習モデル５を用いた並列処理にて行ってもよい。並列処理を行うことで、エッジ検出の全体的なスループットの向上を図ることができる。

【0024】

領域統合部７は、学習モデル５によって角度領域毎に識別されたエッジｅ（点）を元の極座標系に統合して、図６に示すような物体のエッジＥ（点の集合である線）を示す二次元分布を生成する。エッジＥ（線）を生成する際には、エッジｅ（点）の集合に対して、平均化、所定形状（円など）へのあてはめ、あるいは、平滑化などの処理が必要に応じて行われる。これにより、検出対象となる物体の輪郭が特定される。なお、領域統合部７は、極座標系の二次元分布に対して極座標逆変換を施すことによって、図７に示すような直交座標系の二次元分布を生成してもよい。

【0025】

物体認識部８は、領域統合部７によって生成された物体のエッジＥの二次元分布に基づいて、物体を認識する。例えば、直交座標に戻された二次元分布において、確率的ハフ変換で円を検出することによって、検出対象となる球を認識することができる。なお、物体の認識に関して、極座標系のままであって物体の形状（球の場合には半径や中心）を推定することが可能であるため、直交座標系への変換は必須ではなく、極座標系ベースで行ってもよい。

【0026】

このように、本実施形態によれば、極座標画像を所定の角度領域毎に分割し、それぞれの角度領域におけるカラーまたはグレースケールの画像データを学習モデル５に入力することによって、物体のエッジを角度領域毎に識別する。そして、角度領域単位で識別された物体のエッジ群を統合することで、物体のエッジの二次元的な分布が生成される。学習モデル５を用いて物体のエッジを角度領域毎に識別することで、既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを精度良く検出することができる。特に、本実施形態によれば、学習モデル５としてニューラルネットワークを用い、物体の誤検出が生じ易い状況について十分な学習を行っておくことで、物体の誤検出を有効に抑制できる。

【0027】

なお、本発明は、上述したエッジ検出システム１を構成する機能的なブロック３～８をコンピュータで等価的に実現するコンピュータ・プログラム（エッジ検出プログラム）として捉えることもできる。

【符号の説明】

【0028】

１ エッジ検出システム
２ カメラ
３ 極座標変換部
４ 領域分割部
５ 学習モデル
６ 学習処理部
７ 領域統合部
８ 物体認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】