特表 2022-514978 画像を分割する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-16

(54)【発明の名称】画像を分割する方法

(51)【国際特許分類】

   G06T 7/11 20170101AFI20220208BHJP

   G06T 7/60 20170101ALI20220208BHJP

【ＦＩ】

G06T7/11

G06T7/60 150G

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021537099

(86)(22)【出願日】2019-12-23

(85)【翻訳文提出日】2021-07-29

(86)【国際出願番号】 EP2019086962

(87)【国際公開番号】W WO2020136180

(87)【国際公開日】2020-07-02

(31)【優先権主張番号】BE2018/5955

(32)【優先日】2018-12-27

(33)【優先権主張国・地域又は機関】BE

(81)【指定国・地域】

(71)【出願人】

【識別番号】521275530

【氏名又は名称】ミントティー

【氏名又は名称原語表記】ＭＩＮＴＴ

【住所又は居所原語表記】ａｖｅｎｕｅ Ｌｏｕｉｓｅ ２５１， １０５０ Ｂｒｕｘｅｌｌｅｓ Ｂｅｌｇｉｕｍ

(74)【代理人】

【識別番号】110000659

【氏名又は名称】特許業務法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】ビール，シャビエール

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096CA18

5L096DA01

5L096EA05

5L096FA12

5L096FA33

5L096FA67

5L096FA68

5L096FA76

5L096GA55

(57)【要約】

本発明は、画像のピクセル内の曲線の評価に適用される、流域線によるセグメンテーションを含む画像を分割するためのコンピュータ実施方法に関する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像のセグメンテーション方法であって、
該方法はコンピュータ実施され、
（０）前記画像のピクセルを選択するステップと、
（ｉ）前記ピクセルの各々における曲率を評価するステップであって、
該曲率の値の領域が有限数の値に離散化され、該曲率が前記離散化された領域において評価される、ステップと、
（ｉｉ）前記画像に基づいて地形起伏を定義するステップであって、前記ピクセルの各々の高度は、ステップ（ｉ）で評価された前記曲率に対応する、ステップと、
（ｉｉｉ）ステップ（ｉｉ）で定義された前記地形起伏の流域を計算して、集水域を画定するステップと、
（ｉｖ）ステップ（ｉｉｉ）で計算された前記流域に基づいて前記ピクセルの分割を定義するステップと、
（ｖ）ステップ（ｉｖ）で定義された前記分割に基づいて、前記画像の１つまたは複数のピクセルのグループへのセグメンテーションを定義するステップと、
を含む、セグメンテーション方法。

【請求項2】

ステップ（０）は、前記画像のすべての前記ピクセルを選択することを特徴とする、請求項１に記載のセグメンテーション方法。

【請求項3】

ステップ（ｉ）が、
－前記領域からなる実有界区間内の前記曲率を評価する第１のサブステップと、
前記区間を有限数の値に離散化する第２のサブステップと、を含むことを特徴とする、請求項１または２のいずれか一項に記載のセグメンテーション方法。

【請求項4】

前記区間は、［０，ｒ］に対応する閉じた有界区間に対応し、ｒ＞０であることを特徴とする、請求項３に記載のセグメンテーション方法。

【請求項5】

前記画像が３Ｄ画像であることを特徴とする、請求項１から４のいずれか一項に記載のセグメンテーション方法。

【請求項6】

前記３Ｄ画像は、飛行時間型カメラから生成されることを特徴とする、請求項５に記載のセグメンテーション方法。

【請求項7】

ステップ（ｉ）が、以下のサブステップ、
（ｉ．１）前記曲率が評価されるピクセルごとに隣接ピクセルの集合を定義するステップと、
（ｉ．２）前記隣接ピクセルの共分散行列を計算するステップと、
（ｉ．３）ステップ（ｉ．２）で計算された前記共分散行列の固有値を計算するステップと、
（ｉ．４）ステップ（ｉ．３）で計算された前記固有値に基づいて前記曲率を評価するステップと、
を含むことを特徴とする、請求項５または６に記載の方法。

【請求項8】

前記曲率が値、

と一致し、λ１≦λ２≦λ３であり、昇順に並べられたステップ（ｉ．３）で計算された前記固有値を指定していることを特徴とする、請求項７に記載の方法。

【請求項9】

ステップ（ｉ．１）で定義された隣接ピクセルの前記集合は、前記曲率が評価される前記ピクセルを含み、前記曲率が評価される前記ピクセルを中心とする、９ピクセルの辺を有する正方形に実質的に分布する最大８１ピクセルからなることを特徴とする、請求項７または８に記載の方法。

【請求項10】

ステップ（ｉ．１）で定義された隣接ピクセルの前記集合は、前記曲率が評価される前記ピクセルを中心とする、３ピクセルの辺を有する正方形に実質的に分布する９ピクセルからなることを特徴とする、請求項９に記載の方法。

【請求項11】

前記ステップ（ｉ．３）はまた、ステップ（ｉ．２）で計算された前記共分散行列の前記固有ベクトルの計算を含み、
ステップ（ｉ）は、以下のサブステップ、
（ｉ．５）ステップ（ｉ．３）で計算された前記固有ベクトルに基づいて、前記曲率がステップ（ｉ．４）で評価される前記ピクセルの向きを決定するステップを含むことを特徴とする、請求項７から１０のいずれか一項に記載の方法。

【請求項12】

ステップ（ｉｉｉ）は、以下のサブステップ、
（ｉｉｉ．１）ステップ（ｉ）で評価された前記曲率が局所的に最小である前記ピクセルのサブセットを決定するステップと、
（ｉｉｉ．２）前記ピクセルの前記サブセットの前記ピクセルの各々からの水の仮想上昇によって前記地形起伏の氾濫をシミュレートするステップと、
（ｉｉｉ．３）ステップ（ｉｉｉ．２）の前記シミュレーションに基づいて前記流域を計算するステップと、
を含むことを特徴とする、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

ステップ（ｉｉｉ）は、以下のサブステップ、
（ｉｉｉ．１´）前記ピクセルの各々からの仮想的な水の流出による前記地形起伏の氾濫をシミュレートするステップと、
（ｉｉｉ．２´）ステップ（ｉｉｉ．１´）の前記シミュレーションに基づいて前記流域を計算するステップと、
を含むことを特徴とする、請求項１から１１のいずれか一項に記載の方法。

【請求項14】

ステップ（０）の前に前記画像を前処理するステップを含み、前記前処理するステップは、前記画像のノイズを低減するためのフィルタリングを含むことを特徴とする、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

ステップ（ｖ）で定義された前記セグメンテーションのピクセルのグループに対する後処理ステップをさらに含むことを特徴とする、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

請求項１から１５のいずれか一項に記載の方法を実行するための手段を備える、コンピュータシステム。

【請求項17】

命令を含むコンピュータプログラムであって、前記命令が、前記コンピュータプログラムが実行されると請求項１から１５のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【請求項18】

請求項１７に記載のコンピュータプログラムが記憶されたコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像のセグメンテーション方法に関する。

【背景技術】

【0002】

画像は、典型的には、多数のピクセルからなる。画像の特定の処理および／または情報抽出動作中に、画像を、操作がより容易な１つまたは複数のピクセルのグループに分割することが有用であり得る。これを行うために、画像セグメンテーション技術が使用される。
これらの技術は、典型的には、例えば、物体の検出、抽出、記述、追跡または認識を含む後続の目的のために、画像内の物体の領域を背景領域から分離することを可能にする。

【0003】

対象とする後続の目的および画像の種類に多かれ少なかれ適合する多くの画像セグメンテーション技術がある。しかしながら、これらの技術には、有効性の点でいくつかの欠点がある。繰り返す欠陥は、セグメンテーションの効率を制限し、オーバーセグメンテーション画像のさらなる処理において時間を浪費する画像オーバーセグメンテーションである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、既知の画像セグメンテーション技術よりも効率的な画像のセグメンテーション方法を提供することである。

【課題を解決するための手段】

【0005】

この目的のために、本発明は、画像のセグメンテーション方法であって、コンピュータ実施され、
（０）画像のピクセルを選択するステップと、
（ｉ）ピクセルの各々における曲率を評価するステップであって、
曲率の値の領域が有限数の値に離散化され、曲率が離散化された領域において評価される、ステップと、
（ｉｉ）画像に基づいて地形起伏を定義するステップであって、ピクセルの各々の高度は、ステップ（ｉ）で評価された曲率に対応する、ステップと、
（ｉｉｉ）ステップ（ｉｉ）で定義された地形起伏の流域を計算して、集水域を画定するステップと、
（ｉｖ）ステップ（ｉｉｉ）で計算された流域に基づいてピクセルの分割を定義するステップと、
（ｖ）ステップ（ｉｖ）で定義された分割に基づいて、画像の１つまたは複数のピクセルのグループへのセグメンテーションを定義するステップと
を含む、セグメンテーション方法を提供する。
本発明による方法は、特に効率的な方法で画像をセグメンテーションすることを可能にする。

【0006】

実際、本方法は、この画像上に表される物体および／またはシーンの幾何学形状が考慮されるという意味で、幾何学的に自然な画像のセグメンテーションを得ることを可能にする。これは、ステップ（ｉ）で評価された曲率が、例えば、各ピクセルの２次元空間データおよび／または各ピクセルの階調、および／または３Ｄ画像の各ピクセルの深度測定において、この幾何学形状を少なくとも部分的に符号化するためである。ステップ（ｉｉ）で定義された地形起伏は、より高い曲率を有するピクセルを起伏として強調表示する。ステップ（ｉｉｉ）で計算された流域は、当業者に知られている任意の技術、例えば、好ましくは流域セグメンテーション方法に従って計算することができる。この流域は、例えば曲率がゼロの背景壁とは異なる、より高い曲率を有するため、シーン内の物体領域および／または物体のエッジを更新することを可能にする。したがって、エッジは、曲率の連続性に従って完全に自然な方法で現れ、流域は、最大曲率の場所（したがって、不連続性）を正確にマークする。最後に、この流域は、ステップ（ｉｖ）において、ピクセルを流域によって分離される異なるグループに分割することを可能にし、これらのグループはシーンの物体領域に対応する。

【0007】

本発明による方法の大きな効率は、有利にはピクセルの曲率を考慮に入れ、（潜在的に任意に）近接したピクセルのグループ化に依存しないという事実にあり、そのようなグループ化は、一般に、オーバーセグメンテーション、すなわち、多すぎるピクセルのグループへのセグメンテーション、または、例えば、グループ内で互いに接続されていないピクセルのグループを含む欠陥のあるセグメンテーションの原因。

【0008】

ステップ（ｉ）における「曲率の値の領域が有限数の値に離散化され、曲率が離散化された領域において評価される」という用語は、「曲率は有限数の値に離散化される」と（より簡潔に、当業者の通常の専門用語によれば）考慮することと完全に等価である。特に、ステップ（ｉ）は、離散化された形態で評価された曲率を考慮に入れることを意図しているため、幾何学的に自然で特に効率的なセグメンテーション方法を提供することを可能にする。実際、そのような離散化された形態は、ほぼ同一の実際の曲率である２つの隣接ピクセルが同一の離散化された形態で評価される曲率を有するように、曲率の可能な値のスペクトルを大幅に低減することを可能にする。これは、有利には、ステップ（ｉｉ）において地形起伏を定義することを回避することを可能にし、これらはオーバーセグメンテーションを引き起こす可能性がある、多数の小さな地形変動の形態で画像内の不正確さおよび／またはノイズを反映する。このようにして、ステップ（ｖ）で得られるセグメンテーションはより良好な品質のものとなり、方法は比較的効率的となる。好ましくは、曲率が離散化される有限数の値は、１００～１６００の値、より好ましくは１５０～１２００の値、さらにより好ましくは２００～８００の値である。選択されるピクセルの数よりもはるかに小さいことが好ましい。

【0009】

好ましくは、画像は３Ｄ画像である。有利には、３Ｄ画像は、各ピクセルが曲率の幾何学的に自然な定義を可能にする深度データを含むように、３Ｄカメラ（または３Ｄ撮像システム）によって取り込まれた画像である。特に、この場合、３Ｄ画像は、（３次元の）ボクセルではなく、（２．５次元の）ピクセルで構成されることが好ましい。

【0010】

本発明による方法は、３Ｄカメラによって取り込まれたシーンを分析するのに特に有用である。その場合、シーンの分析は、好ましくは、例えば医療の状況において、または例えば３Ｄカメラによって時間通りまたは連続的に撮影される人物の転倒を検出するために、様々な目的のために使用される。

【0011】

本発明による方法は、任意のタイプの３Ｄ画像に適している。好ましくは、３Ｄ画像は、飛行時間型カメラから生成された画像である。そのような３Ｄカメラは当業者に知られている。そのような３Ｄカメラでは、深度の知覚は、３Ｄカメラの範囲内の物体から反射された光波面の形状から得られる。有利には、飛行時間型カメラは、物体および／またはシーンの完全な走査を必要とせずに、非常に短時間で複数の３Ｄ画像の取得を可能にする。

【0012】

より正確には、この場合、本発明による方法は、飛行時間型カメラによって生成された３Ｄ画像のセグメンテーション方法からなる。

【0013】

それにもかかわらず、本発明による方法は、飛行時間型カメラから生成された３Ｄ画像に決して限定されない。構造化光カメラ、ステレオカメラ、ＬＩＤＡＲ、レーダ、またはソナーなどの撮像システムによって取り込まれた画像は、本発明の範囲外にはならない。より一般的には、本発明による方法は、当業者に知られている任意の他の性質の画像をセグメンテーションするために使用することができる。

【0014】

本明細書の文脈において、「ピクセル」の概念は当業者に知られていると仮定される。簡単に言えば、ピクセルは画素である。３Ｄ画像内のピクセルは深度測定値を含むので、３次元空間で表現することができ、その３次元空間内の値を用いてノイズの多い測定値（またはランダム変数）として解釈することができ、それによって画像をポイントのクラウドと関連付けることができる。

【0015】

本明細書の文脈において、「曲率」は、多かれ少なかれ湾曲した特徴の定量的尺度を指す。リーマン多様体のポイントにおける曲率、例えばガウス曲率を評価することが知られている。本発明の文脈において、ピクセルにおいて評価される曲率のこの概念は、ピクセルに関連するポイントのクラウドを少なくとも局所的に補間する多様体のポイントにおける曲率に優先的に対応する。いくつかの曲率定義のうちの１つに関連する曲率を提供するそのような曲率を計算するいくつかの方法がある。このような曲率算出方法の選択に応じて、画像のセグメンテーションは変動しやすい。しかしながら、本発明は、画像のピクセルにおける（離散化された）曲率評価からの地形起伏の定義に主に基づいているため、この選択に限定されない。曲率計算方法および選択された離散化にかかわらず、ステップ（ｉ）で評価された曲率は、画像の基礎となる幾何学形状を効果的に取り込む。特に、幾何学的に自然な画像のセグメンテーションを得るという観点からの本発明による方法の有効性は、ステップ（ｉ）の好ましい実施に依存しない。ステップ（ｉ）の曲率の評価が主成分分析に基づくそのような好ましい実施は、以下で主張および論じられ、これは好ましくはノイズの多い測定値（またはランダム変数）として解釈されるピクセルの集合に（少なくとも局所的に）適用される。

【0016】

本明細書の文脈において、「離散化」（およびその派生語、例えば「離散化する」）という用語は、連続データ（すなわち、値の連続空間、典型的には実区間において任意の値をとることができるものである）の離散データ（すなわち、値の離散空間において任意の値をとることができるもの）への変換、または同様に、連続領域の離散（および好ましくは有限）領域への変換として理解されるべきである。そのような離散化は、例えば、そのような各連続データを最も近い離散値に（好ましくは、値の実際の線上の通常のユークリッド距離に対して）投影することによって、または換言すれば、連続データに最もよく近似する離散値を選択することによって行うことができる。非常に基本的な例として、区間［０，１０］が１１個の自然値０、１、２、３、４、５、６、７、８、９および１０に離散化される場合、この区間の連続データは、従来の丸めによってこの離散セットに投影され得る。例えば、この離散化により得られる離散空間では、連続空間［０，１０］における５．２３８６４の評価が５となる。したがって、連続空間において５に近いと評価される２つの値は、離散空間において正確に５となる。これは、曲率が好ましくは値の連続空間において評価され、次いで連続空間を離散化することによって得られた値の離散空間において離散化された形態で評価されるように、ステップ（ｉ）に適用される。

【0017】

より具体的には、好ましくは、ステップ（ｉ）は、
－領域からなる実有界区間内の曲率を評価する第１のサブステップと、
－区間を有限数の値に離散化する第２のサブステップと
を含む。

【0018】

好ましくは、これはまた、離散化された形態で、すなわち離散化された区間で曲率を（再）評価する第３のサブステップを含む。

【0019】

特に、ステップ（ｉ）は、一方では、（領域に対応する連続空間を構成する）実有界区間に属する特定の実数としての各ピクセルにおける曲率の評価を含み、他方では、この区間を有限数の値に離散化することを含み、これにより、この離散化は、そのような各曲率値に適用される。好ましい区間は、［０，ｒ］に対応する閉じた有界区間であり、ｒ＞０である。当業者は、［０，ｒ］：＝｛ｘ∈Ｒ：０≦ｘ≦ｒ｝を知っている。そのような実際の閉じた有界区間は（例えば、区間上でこの同じ有限数の連続的に等距離のポイントを選択することによって）有限数の値に容易かつ効率的に離散化することができるので、曲率をそのような区間でその値をとると考えることが特に有利である。これは、実数線のポイントの連続体においてその値をとるリーマン幾何学の古典的な規則的な曲率には当てはまらない。実際、リーマン曲率の評価において、そのような無限の連続空間を説明する有限数の値を選択することは明らかではない。好ましくは、区間は［０，１／３］である。値ｒ＝１／３は、曲率に係数を掛けることで変更できるため、あまり重要ではない。以下では、本発明の文脈に完全に適合し、［０，１／３］における曲率を評価することを可能にするステップ（ｉ）の好ましい実施が与えられる。この区間は、有利には、ｎ個の値（ｎ＞１の場合、好ましくは１００～１６００、より好ましくは１５０～１２００、さらにより好ましくは２００～８００の任意の自然数）に容易に離散化することができることに留意されたい。例えば、値（ｍ／３）（ｎ－１）^－１からなる離散空間を考え、ｍは０～ｎ－１の間の自然数で変化する。

【0020】

本明細書の文脈において、「地形起伏」という用語は、好ましくは、表面の高度変動の尺度を指す。この用語の意味は、優先的に、地形学の分野で有するものに対応する。ステップ（ｉｉ）で定義された地形起伏は、画像のピクセルにおける高度の関連付けに対応する。

【0021】

本明細書の文脈において、「流域」の概念には、好ましくは、地形学の分野の意味と同等の意味が与えられる。したがって、これは、地理的に「集水域」と呼ばれる、地形起伏を１つまたは複数の領域に分割する境界である。流域によって分離されたこのような隣接領域では、水、例えば雨水は、第１または第２の領域内のポイントから流れるかどうかに応じて、これらの領域のうちの１つのみにおいて異なる方向に流れる。この流域の概念は、連続的な地形起伏上で古典的に定義される。本発明の文脈では、地形起伏はピクセル単位で定義されるため、主に離散的である。この文脈には、流域の概念のいくつかの定義がある。本発明自体は、いかなるポイントにおいても、流域計算方法の選択によって限定されない。実際、本発明は、少なくとも、画像のピクセルにおける曲率から得られる地形起伏に基づいてこの流域計算を実行するという特徴に基づいており、特定の計算方法のこの選択に基づいていない。特に、幾何学的に自然な画像のセグメンテーションを得るという観点からの本発明による方法の有利な特徴は、ステップ（ｉｉｉ）の好ましい実施に依存しない。さらに、本発明のこの概要において後述するように、ステップ（ｉｉ）～（ｖ）が好ましくは既知の流域セグメンテーション方法によって実施される、流域を計算するいくつかの方法がある。

【0022】

本明細書の文脈では、セットの「分割」という用語は、セットの各要素が１つのみのサブセットに属するように、セットをサブセットに分割することである。典型的には、画像のセグメンテーションは、画像を構成するピクセルの１つまたは複数のピクセルのグループへの分割であり、これらのグループに基づき、もはや各ピクセルに基づかず、画像のさらなる処理および／または解析を容易にする。この処理および／またはこの解析を容易にするために、画像のセグメンテーションが効率的に行われることが重要である。

【0023】

有利には、本発明による方法は、ステップ（０）のために選択されたピクセルに対してステップ（ｉｖ）で定義された分割に基づいてステップ（ｖ）で効率的な画像セグメンテーションを定義することを可能にし、その結果、セグメンテーションのピクセルの各グループは、この分割の唯一のサブセットを含む。セグメンテーションの１つまたは複数のピクセルのグループは、ステップ（ｉｉｉ）で計算された流域によって排他的に分離される。

【0024】

好ましくは、画像はピクセルのセットからなり、ステップ（０）で選択されるピクセルはそのセット内のすべてのピクセルからなる。これにより、画像のすべてのピクセルに基づいてより正確な地形起伏を得ることができ、したがって、その流域をより正確に計算することができ、したがって、画像のより正確なセグメンテーションを定義することができる。本発明はこの実施形態に限定されず、ステップ（０）で選択されたピクセルのセットは、画像を構成するピクセルのセットのすべてのピクセルを含まなくてもよい。特に、ステップ（０）で選択されたピクセルは、画像のピクセルの少なくとも５０％、より好ましくは少なくとも９０％を含むことが好ましい。有利には、この場合、方法のステップ（ｉ）～（ｉｉｉ）は、画像のすべてのピクセルがステップ（０）から選択される場合よりも速く実行される。

【0025】

ここで、各ピクセルにおける曲率を評価するためのステップ（ｉ）の好ましい実施を紹介する。

【0026】

本発明の好ましい実施形態によれば、３Ｄ画像について、ステップ（ｉ）は、以下のサブステップ、
（ｉ．１）曲率が評価されるピクセルごとに隣接ピクセルの集合を定義するステップと、
（ｉ．２）隣接ピクセルの共分散行列を計算するステップと、
（ｉ．３）ステップ（ｉ．２）で計算された共分散行列の固有値を計算するステップと、
（ｉ．４）ステップ（ｉ．３）で計算された固有値に基づいて曲率を評価するステップと
を含む。

【0027】

これらのサブステップは、より好ましくは、ステップ（ｉ）の上述の第１のサブステップに含まれる。

【0028】

ステップ（ｉ）のこの好ましい実施形態は、各ピクセルにおける曲率の迅速かつ容易な計算を可能にする。局所的な曲率計算が使用されるべきであることに基づいて、ピクセルは離散構造を形成するという事実を十分に考慮する。この目的のために、ピクセルにおける曲率は、ピクセル近傍の局所的な幾何学形状を反映する、問題のピクセルを囲むいくつかの隣接ピクセルに対して評価される。これらの隣接ピクセルは、好ましくは、曲率が評価されるべきピクセルを含む。これらは、本明細書で前述したように、共分散行列を計算するために、３次元空間内の値を有するノイズの多い測定値（またはランダム変数）として解釈される。したがって、曲率が評価されるピクセルの隣接ピクセルについて、Ｐ_１，Ｐ_２，Ｐ_{３，．．．，}Ｐ_Ｎとして示され、Ｎ∈Ｎ＼｛０｝であり、１≦ｊ≦Ｎについて、ピクセルＰ_ｊが３次元空間内でトリプレットに関連する場合、

これらのピクセルの重心がトリプレットに対応する場合、

次に、隣接ピクセルの共分散行列は、以下に対応し、

【0029】

共分散行列のこの好ましい表現は、当業者に知られている従来の行列表記を使用する。特に、指数ｔは行列の転置に対応する。
サイズ（３、３）の対称性であるこの共分散行列、その対角化の問題、ならびにその固有値および固有ベクトルの計算に対処することができる。前述の好ましい文脈において、λ１≦λ２≦λ３が、昇順に並べられたステップ（ｉ．３）において計算された固有値を指定する場合、（サブステップ（ｉ．４）において評価された）曲率は、好ましくは、以下の値に一致し、

【0030】

この数は、隣接ピクセルを補間する多様体の曲率として解釈される。したがって、有利には、ステップ（ｉ）のこの好ましい実施形態は、ピクセルにおける曲率の単純かつ明示的な表現を提供する。後者は、実際の閉じた有界区間［０，１／３］においてその値をとる。次いで、この区間は、好ましくは（例えば、先に与えられた例のうちの１つに従って）（好ましくはステップ（ｉ）の上述の第２のサブステップにおいて）有限数の値に離散化され、この離散化は（例えば、前述したように、離散化された区間に最も近い離散値への丸めおよび／または投影に従って）評価された曲率に適用される。それにもかかわらず、曲率について述べた有理数は、任意選択的に、離散値として直接使用することができる。

【0031】

具体的には、ステップ（ｉ．２）および（ｉ．３）は、好ましくは、隣接ピクセルの主成分分析によって実施される。そのような解析は、上記で説明した計算を介して、共分散行列の固有ベクトルに関連する隣接ピクセルの主分散軸を定義することを可能にする。有利には、好ましくは、隣接ピクセルの補間多様体に対する法線ベクトルをこれらの固有ベクトルから取得することができ、その結果、曲率が評価されるピクセルの向きを決定することができる。簡単に説明すると、ステップ（ｉ．３）はまた好ましくは、ステップ（ｉ．２）で計算された共分散行列の固有ベクトルの計算を含み、
ステップ（ｉ）は、以下のサブステップ、
（ｉ．５）ステップ（ｉ．３）で計算された固有ベクトルに基づいて、曲率がステップ（ｉ．４）で評価されるピクセルの向きを決定するステップを含む。

【0032】

この向きは、ピクセルの向きをその隣接ピクセルのうちの１つまたは複数の向きと比較することによって、本発明による方法によって得られたセグメンテーションを検証するのに有用である。このようにして、ステップ（ｉｖ）の分割のピクセルのグループ、およびこれらのピクセルのグループによって表される物体領域の全体的な向きを強調表示することができる。さらに、この概要で後述するように、向きは、ステップ（ｖ）のセグメンテーションのピクセルのグループに対する追加のセグメンテーションプロセスで使用することもできる。この目的のために、ステップ（ｖ）のセグメンテーションのピクセルのグループの１つのエッジ上のピクセルに関連付けられた向きおよび／または他のパラメータは、ステップ（ｖ）のセグメンテーションのピクセルの別のグループの隣接するエッジ上のピクセルの向きおよび／または他のパラメータと比較され、これら２つのピクセルのグループが画像の同じ平面または同じ物体領域の一部を形成する可能性があるかどうかを判定する。

【0033】

好ましくは、ステップ（ｉ）の前述の好ましい実施形態のいずれか１つによれば、ステップ（ｉ．１）で定義された隣接ピクセルの集合は、曲率が評価されるピクセルを含む最大１００個のピクセルを含む。これらの最大１００個のピクセルは、好ましくは、正方形、ディスク、楕円形、長方形、菱形、十字形の中の幾何学形状に分布する。しかしながら、別の幾何学的形態は本発明の範囲外ではない。さらにより好ましくは、隣接ピクセルの集合は、曲率が評価されるピクセルを中心とする、９つのピクセルの辺を有する正方形に実質的に分布する最大８１個のピクセルからなる。「隣接ピクセル」という用語は、好ましくは最も近い隣接ピクセルを指す。しかしながら、この用語は、第２および／または第３および／または第４の最も近い隣接ピクセルの任意選択の選択を排除することはできない。

【0034】

好ましくは、隣接ピクセルの集合は、曲率が評価されるピクセルを含み、曲率が評価されるピクセルを中心とする５ピクセルの正方形に実質的に分布する最大２５ピクセルからなる。

【0035】

より好ましくは、この集合は、曲率が評価されるべきピクセルを中心とする、３ピクセルの辺を有する正方形に実質的に分布する９つのピクセルからなる。９つの隣接ピクセルのこの構成は、隣接ピクセルの数を最小限に抑えながら、各方向のピクセルの変化を考慮に入れた曲率を評価することを可能にし、これは、有利には曲率の計算の複雑さ、したがってこの曲率を数値的に評価するのに必要な時間を最小限に抑えることになるので、有利である。ここで、流域の計算のためのステップ（ｉｉｉ）の好ましい実施について論じる。

【0036】

好ましくは、ステップ（ｉｉｉ）の流域は、流域セグメンテーション方法で使用されるものと同様のアルゴリズム技術に基づいて計算される。そのような方法は、当業者に一般的に知られている。地形起伏に基づいて、起伏の氾濫の仮想シミュレーションによる流域の計算が提案される。この氾濫は、例えば、起伏の局所的な最小標高のポイントからの水の上昇によって、または起伏全体にわたる降雨と同様の水の全体的な流出によってシミュレートすることができる。したがって、ステップ（ｉｉｉ）のこれら２つの実施形態によれば、ステップ（ｉｉｉ）は、好ましくは、以下のサブステップ、
（ｉｉｉ．１）ステップ（ｉ）で評価された曲率が局所的に最小であるピクセルのサブセットを決定するステップと、
（ｉｉｉ．２）ピクセルのサブセットのピクセルの各々からの水の仮想上昇によって地形起伏の氾濫をシミュレートするステップと、
（ｉｉｉ．３）ステップ（ｉｉｉ．２）のシミュレーションに基づいて流域を計算するステップと
を含む。
または、以下のサブステップ、
（ｉｉｉ．１´）ピクセルの各々からの仮想的な水の流出による地形起伏の氾濫をシミュレートするステップと、
（ｉｉｉ．２´）ステップ（ｉｉｉ．１´）のシミュレーションに基づいて流域を計算するステップと
を含む。

【0037】

有利には、前述のように流域を計算するためのアルゴリズム方法は、ステップ（０）で選択されたピクセル数において線形複雑性を有し、これにより、非常に高速かつ効率的な性能が可能になる。

【0038】

実際には、本発明による方法が適用される画像は、異なるソースからの不正確さおよび／またはノイズを含む可能性が高い。このようにして、画像上に表現される表面は、時々、オーバーセグメンテーションにつながる可能性がある小さな変化を受ける。本発明による方法の効率にもかかわらず、特に３Ｄ画像では、画像上のこれらの不正確さおよび／またはノイズを可能な限り制限することが望ましい。したがって、本方法は、好ましくは、以下の技術的特徴、
－ステップ（０）および／またはステップ（ｉ）の前に、画像を前処理するステップであって、前処理ステップは好ましくは画像のノイズを低減するためのフィルタリングを含む、ステップ、および／または
－ステップ（ｖ）で定義されたセグメンテーションのピクセルのグループに対する後処理ステップのうちの１つまたは複数を含む。

【0039】

前述の後処理ステップは、当業者に知られているセグメンテーションプロセスのいずれか１つのステップを含むことができる。次いで、ステップ（ｖ）で定義されたセグメンテーションが画像のさらなる処理および／または分析を実行するために最も効率的であることを保証するために、本発明による方法の後に順次使用される。この後処理は、好ましくは、ステップ（ｖ）で定義されたセグメンテーションからの画像内の隣接ピクセルのグループの比較を含む。この比較の目的は、隣接ピクセルの２つのそのようなグループが画像の同じ平面および／または同じ物体領域の一部であり得るかどうかを判定することである。２つのそのようなグループの併合および／またはグループ化は、それらが実際に比較を考慮して画像の同じ平面または同じ物体領域の一部であり得る場合、優先的に実行される。このようにして、本発明のこの特定の実施形態による方法は、特に効率的な方法で連続的な平面および／または表面を配置することを可能にする。

【0040】

好ましくは、本発明のこの概要において前述したように、この比較は、ピクセルのグループのエッジにおけるピクセルの向きに基づいて行われ、向きは、好ましくはピクセルに対して主成分分析技術を使用して、ステップ（ｉ）において計算された。
本発明はまた、本発明による方法の実施形態のいずれかによる方法を実行するための手段を備えるコンピュータシステムを提供する。本発明はまた、コンピュータプログラムが実行されると、本発明の任意の一実施形態による方法を実行させる命令を含むコンピュータプログラムを提供する。本発明はまた、前述のコンピュータプログラムが記憶されるコンピュータ可読媒体を提供する。

【0041】

コンピュータシステムは、好ましくは、以下のハードウェアまたはコンピュータ機器、
－任意のアルゴリズム、好ましくはＰＣ型アーキテクチャまたは埋め込み型アーキテクチャ（ＡＲＭ）のアルゴリズムを実行するためのプロセッサを有する少なくとも１つのコンピュータと、
－アプリケーションおよび／またはアルゴリズムに特有のＡＳＩＣタイプの集積回路と、
－製造後に再構成可能（または再プログラム可能）であるＦＰＧＡタイプの論理集積回路と
のうちの少なくとも１つを備える。

【0042】

コンピュータ可読媒体は、デジタル情報を記憶することができる任意の媒体または媒体のセットを意味する。コンピュータ可読媒体は、例えば、以下の要素、すなわち、デジタルメモリ、サーバ、ＵＳＢキー、コンピュータのうちの少なくとも１つを備えることができる。クラウドにあってもよい。

【0043】

本発明による方法のすべての実施形態およびすべての利点は、必要な変更を加えて、本発明によるコンピュータシステム、本発明によるコンピュータプログラム、および本発明によるコンピュータ可読媒体に置き換えられる。

【0044】

本発明は、特定の実施形態に関連して上述されたが、これらは例示的なものであり、限定的であると見なされるべきではない。一般に、本発明が本発明の概要に示されたおよび／または記載された例に限定されないことは、当業者には明らかであろう。本発明は、新規な特徴の各々およびそれらのすべての組み合わせを含む。

【図面の簡単な説明】

【0045】

本発明の概要の理解は、添付の図１によって完了することができる。

【図1】本発明による画像セグメンテーション方法の簡略化されたフローチャートを表す。図示されたステップ（０）、（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）および（ｖ）は、特許請求され、本発明の概要に記載されたステップ（０）、（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）および（ｖ）に対応する。これらのステップは、この順序で実行される。

【発明を実施するための形態】

【0046】

一般に、本明細書の図面または図は概略的なものであり、限定的なものではない。図面における参照番号および／または文字の存在は、これらの番号および／または文字が特許請求の範囲に示されている場合であっても、限定するものではない。図面の描画は縮尺通りではない。さらに、同様の要素は同様の参照符号で示されており、同じまたは同様の要素は図中で同じ参照符号を有することがある。

【0047】

最初に、３Ｄ画像のための本発明による方法の簡単な例が提示され、画像のピクセルの大部分が好ましくはステップ（０）のために選択される。

【0048】

一例として、素壁の前に置かれた球体、例えば風船からなるシーンから正面の３Ｄ画像が取得されたとする。この場合、ステップ（ｉ）において、壁に関連するピクセルにおける曲率は実質的に０であり、球に関連付けられたピクセルにおける曲率は、０とは明らかに異なる厳密に正の数である。ステップ（ｉｉ）において、定義づけられる地形起伏は、球に関連するピクセルに対応する位置を除いて、実質的に平坦である。これらの位置では、球体のエッジ付近に急激な上昇が観察され、この上昇は円形であり、シーンの正面に露出された球体の面の中央のピクセルに対応する窪みを囲む。画像は３Ｄ画像であるため、画像上の球のエッジのピクセルと露出面の中央のピクセルとの間の区別は、３Ｄ画像のピクセルの深度測定を考慮して行われる。ステップ（ｉｉｉ）において、流域は、前述の急激な上昇に対する地形起伏に対応するほぼ円であることが明らかである。このようにして、ステップ（ｉｖ）において、ピクセルは、２つのグループ、すなわち、流域によって囲まれた球のグループと、壁のグループとに分割される。この基本的な例では、球を壁の前で有利な方法で強調表示することができる。

【0049】

ここで、飛行時間型カメラから生成された３Ｄ画像を分割するための本発明による方法の高い効率を示す例を開発する。

【0050】

一例として、３Ｄ画像は、実物体および／または実シーン上の角度、例えばシーン内の２つの壁の間の接合角を表すと仮定される。飛行時間型カメラによって取り込まれたそのような画像の場合、角度は、取得された３Ｄ画像上で、２つの壁を接続する曲線になり、その結果、これらの壁の間の接合部に続く急な角度の不連続性はない。したがって、２つの壁の間の接合部に関連付けられたピクセルにおける曲率の概念は、十分に定義され、有限数に関連付けられる。さらに、これに関連して本発明による方法の別の利点は、ステップ（ｉｉｉ）が、壁の面からの３Ｄ画像のセグメンテーションの実施を可能にすることであり、これは、壁の面が実質的にゼロの曲率であるためである。次いで、好ましくは、流域セグメンテーション方法ステップによる地形起伏の仮想氾濫によって、アルゴリズム的に計算された流域は、上記で説明したように、後者の近傍がより大きいが依然として明確に定義された曲率を呈するため、２つの壁の各々およびそれらの接合部を明確に区別することを可能にする。これに関連して、例えば、所定の半径に基づいて近くのピクセルをグループ化するセグメンテーション方法は、これらの２つの壁に関連付けられたピクセルの、多数のグループへの分割を作成し、その結果、２つの壁の各々およびそれらの接合部は、３Ｄ画像のセグメンテーションの終わりに明確に区別することができない。これは、本発明による方法が、特にそのような飛行時間型カメラによって取得された画像上で効率的、正確かつ迅速である理由である。これらのカメラは非常によく知られており、現在市場で広く使用されている。したがって、本発明による方法がこの文脈において有効であることは一層有利である。

【0051】

要約すると、本発明は、画像のピクセルにおける曲率の評価に適用される流域セグメンテーションを含むコンピュータ実施画像のセグメンテーション方法に関する。

【0052】

より具体的におよび／またはより一般的には、本発明による方法は、ピクセルを含む画像のセグメンテーション方法として説明することができ、方法は、コンピュータ実施され、以下のステップ、
（Ａ）各ピクセルにおける曲率を評価するステップと、
（Ｂ）ステップ（Ａ）の曲率の評価に流域セグメンテーションアルゴリズム方法を適用するステップと
を含む。

【0053】

特許請求された発明によるセグメンテーション方法は、ステップ（ｉ）（および／または（Ａ））で評価された曲率の離散化を含む。しかしながら、本発明の代替の実施形態では、ステップ（ｉ）がステップ「（ｉ）各ピクセルにおける曲率を評価するステップ、このステップは、サブステップ（ｉ．１）～（ｉ．４）を含む」に置き換えられる、本発明による（３Ｄ）画像のセグメンテーション方法が提案される（後者は、本発明の概要に記載されている）。実際、曲率の離散化はこの代替実施形態では言及されていないが、本発明の概要に記載されている曲率の計算方法の多くの利点は、この代替実施形態にそれ自体の発明の状態を与えるのに十分である。この場合、ステップ（ｉ）（および／または（Ａ））は次に主成分分析によって実施される。

【0054】

この文書において、動詞「備える」ならびにその変形、同義語および活用形の使用は、言及されたもの以外の要素の存在を決して排除することができないことに留意されたい。同様に、要素を導入するための本明細書における不定冠詞「ａ」、「ｏｎｅ」、または定冠詞「ｔｈｅ」の使用は、これらの要素の複数の存在を排除するものではない。

【0055】

本明細書の文脈において、「コンピュータ」は、好ましくは、本発明による方法を実行することができる任意の計算ユニットを意味すると理解される。そのようなコンピュータは、例えば、プロセッサ、および／またはコンピュータネットワーク、および／またはプログラマブルユニット、および／またはデータ処理システム、および／またはサーバを備えることができる。

【0056】

「コンピュータ可読媒体」は、好ましくは、デジタル情報を記憶することができる任意の媒体または媒体のセットである。そのような媒体は、例えば、デジタルメモリ、および／またはサーバ、および／またはＵＳＢスティック、および／またはコンピュータを含むことができる。

【図1】

【国際調査報告】