特表2022-541977 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ シャンハイ　センスタイム　インテリジェント　テクノロジー　カンパニー　リミテッドの特許一覧

特表2022-541977画像のラベリング方法、装置、電子機器及び記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-29

(54)【発明の名称】画像のラベリング方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

G06V 20/10 20220101AFI20220921BHJP

G06T 7/00 20170101ALI20220921BHJP

G06V 10/82 20220101ALI20220921BHJP

【ＦＩ】

G06V20/10

G06T7/00 640

G06T7/00 350C

G06V10/82

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021565978

(86)(22)【出願日】2021-03-30

(85)【翻訳文提出日】2021-11-05

(86)【国際出願番号】 CN2021084175

(87)【国際公開番号】W WO2022001256

(87)【国際公開日】2022-01-06

(31)【優先権主張番号】202010611570.X

(32)【優先日】2020-06-29

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519290264

【氏名又は名称】シャンハイセンスタイムインテリジェントテクノロジーカンパニーリミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】リーウェイジア

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA18

5L096DA01

5L096EA43

5L096FA06

5L096FA10

5L096FA12

5L096FA67

5L096GA34

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

本開示は、リモートセンシング画像を取得するステップと、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む画像のラベリング方法、装置、電子機器及び記憶媒体を提供する。

【特許請求の範囲】

【請求項1】

リモートセンシング画像を取得するステップと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、
前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む、
画像のラベリング方法。

【請求項2】

前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは、
前記リモートセンシング画像及びトレーニング済みの第１画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも１つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する前記局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む、
請求項１に記載の方法。

【請求項3】

【請求項4】

前記リモートセンシング画像における少なくとも１つの建物の各々に対応する前記局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは、
前記境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値以下の第２境界ボックスを選択するステップと、
前記第２境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第２境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第２画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む、
請求項２に記載の方法。

【請求項5】

前記少なくとも１つの境界ボックスの境界ボックス情報を取得した後、
前記リモートセンシング画像及び前記少なくとも１つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスをラベリングした第１ラベリングリモートセンシング画像を生成するステップと、
前記第１ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を更に含む、
請求項２～４のいずれか一項に記載の方法。

【請求項6】

第１ラベリング結果が含まれる第１リモートセンシング画像サンプルを取得するステップであって、前記第１リモートセンシング画像サンプルは、少なくとも１つの建物の画像を含み、前記第１ラベリング結果に、ラベリングした少なくとも１つの建物の輪廓情報、前記第１リモートセンシング画像サンプルの二値画像、及び前記第１リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第１リモートセンシング画像サンプルをトレーニング待ちの第１ニューラルネットワークに入力して前記第１リモートセンシング画像サンプルに対応する第１予測結果を得、前記第１予測結果及び前記第１ラベリング結果に基づいて前記トレーニング待ちの第１ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第１画像分割ニューラルネットワークを得るステップと、を更に含む、
請求項２～５のいずれか一項に記載の方法。

【請求項7】

第２ラベリング結果が含まれる第２リモートセンシング画像サンプルを取得するステップであって、各前記第２リモートセンシング画像サンプルは、前記第１リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第２ラベリング結果に、前記領域画像における前記目標建物の輪廓情報、前記第２リモートセンシング画像サンプルの二値画像、及び前記第２リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第２リモートセンシング画像サンプルをトレーニング待ちの第２ニューラルネットワークに入力して前記第２リモートセンシング画像サンプルに対応する第２予測結果を得、前記第２予測結果及び前記第２ラベリング結果に基づいて前記トレーニング待ちの第２ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第２画像分割ニューラルネットワークを得るステップと、を更に含む、
請求項４に記載の方法。

【請求項8】

【請求項9】

各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するステップを更に含む、
請求項８に記載の方法。

【請求項10】

各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するステップを更に含む、
請求項８又は９に記載の方法。

【請求項11】

前記建物に対応する前記局所二値画像、及び前記局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報に基づいて、前記建物に対応する頂点位置集合を決定するステップは、
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、前記画素点に対応する方向角情報及び前記画素点に対応する隣接画素点の方向角情報に基づいて、前記画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、前記建物に対応する頂点位置集合を決定するステップと、を含む、
請求項８に記載の方法。

【請求項12】

前記画素点に対応する方向角情報及び前記画素点に対応する隣接画素点の方向角情報に基づいて、前記画素点が建物の多角形輪廓の頂点であるかを決定するステップは、
前記画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、前記画素点が建物の多角形輪廓の頂点であると決定するステップを含む、
請求項１１に記載の方法。

【請求項13】

各画素点に対応するラベリング方向角情報はラベリング方向種類情報を含み、
前記画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる事前設定方向種類情報と角度範囲との間の対応関係及び前記目標角度により、前記画素点に対応するラベリング方向種類情報を決定するステップと、を更に含む、
請求項６又は７に記載の方法。

【請求項14】

リモートセンシング画像を取得するように構成される取得モジュールと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される決定モジュールであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む決定モジュールと、
前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するように構成される生成モジュールと、を備える、
画像ラベリング装置。

【請求項15】

電子機器であって、
プロセッサ、メモリ及びバスを備え、前記メモリに前記プロセッサで実行可能な機器可読命令が記憶されており、電子機器が動作する時に、前記プロセッサと前記メモリがバスによって通信し、前記機器可読命令が前記プロセッサにより実行される時に、請求項１～１３のいずれか一項に記載の画像のラベリング方法のステップを実行する、
電子機器。

【請求項16】

コンピュータプログラムが記憶されており、前記コンピュータプログラムが、プロセッサに、請求項１～１３のいずれか一項に記載の画像のラベリング方法を実行させる、
コンピュータ可読記憶媒体。

【請求項17】

コンピュータ可読コードを含み、前記コンピュータ可読コードが、電子機器で実行される時に、前記電子機器内のプロセッサに、請求項１～１３のいずれか一項に記載の画像のラベリング方法を実行させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本開示は、出願番号が２０２０１０６１１５７０．Ｘであり、出願日が２０２０年６月２９日の中国特許出願に基づいて提出され、この中国特許出願の優先権を主張し、この中国特許出願の全てが参照によって本願に組み込まれる。

【0002】

本開示は、コンピュータビジョンの技術分野に関し、特に、画像のラベリング方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0003】

建物輪廓抽出は、都市計画、環境管理、地理情報更新等に重要な基礎情報を提供することができる。現在、建物の形状が多様であり、しかも複雑であるため、全自動での建物輪廓抽出方法は、正確度が低く、実際の応用要求を満たすことが困難であり、伝統的な手動ラベリング方法に取って代わることができない。しかしながら、建物多角形に手動でラベルを付けることは面倒で手間のかかる作業であり、しかも一般に専門知識を有するリモートセンシングの画像処理専門家が行う作業であり、手動ラベリング方法の効率が低い。

【0004】

従って、ラベリング正確度とラベリング効率を両立する方法を提供することは非常に重要である。

【発明の概要】

【0005】

これに鑑みて、本開示は、少なくとも画像のラベリング方法、装置、電子機器及び記憶媒体を提供する。

【0006】

第１形態では、本開示の実施例は、
リモートセンシング画像を取得するステップと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、
前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む画像のラベリング方法を提供する。

【0007】

上記方法を採用すれば、リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定し、ここで方向角情報には輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含み、少なくとも１つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成することによって、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像の自動生成を可能にし、建物ラベリング効率を高くする同時に、建物の縁部輪廓における頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、建物に対応する局所二値画像及び方向角情報によって、建物の頂点位置を比較的正確に決定でき、更にラベリング画像を比較的正確に生成できる。

【0008】

可能な一実施形態では、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは、
前記リモートセンシング画像及びトレーニング済みの第１画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも１つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む。

【0009】

上記実施形態では、トレーニング済みの第１画像分割ニューラルネットワークによって、リモートセンシング画像の全局二値画像、全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも１つの建物の境界ボックスの境界ボックス情報を決定することによって、各建物に対応する局所二値画像及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を得ることができ、後続のラベリング画像の生成にデータのサポートを提供する。

【0010】

可能な一実施形態では、
前記境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値より大きい第１境界ボックスを選択するステップと、
前記第１境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第１境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、によって、
前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。

【0011】

可能な一実施形態では、
前記境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値以下の第２境界ボックスを選択するステップと、
前記第２境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第２境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第２画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、によって、
前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。

【0012】

一般的には、ニューラルネットワークの入力データのサイズが予め設置されたものであり、建物の境界ボックスのサイズが大きい場合、縮小、切り抜き等の方式によって境界ボックスのサイズを設置されたサイズ値に調整する必要があるため、境界ボックス内の情報の損失が発生し、更に境界ボックス内の建物の検出正確度を低くすることがある。上記問題を解決するために、上記実施形態では、境界ボックスのサイズに基づいて、建物の境界ボックスを、サイズが事前設定サイズ閾値より大きい第１境界ボックスとサイズが事前設定サイズ閾値より小さい第２境界ボックスとに分け、第１画像分割ニューラルネットワークの検出結果によって、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定し、第２画像分割ニューラルネットワークの検出結果によって、第２境界ボックス内の建物に対応する局所二値画像と方向角情報を決定することで、建物の検出結果を比較的正確にする。

【0013】

可能な一実施形態では、前記少なくとも１つの境界ボックスの境界ボックス情報を取得した後、
前記リモートセンシング画像及び前記少なくとも１つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスをラベリングした第１ラベリングリモートセンシング画像を生成するステップと、
前記第１ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を更に含む。

【0014】

ここで、少なくとも１つの境界ボックスの境界ボックス情報が得られた後、第１ラベリングリモートセンシング画像を生成してよく、これによって、ラベリング作業員は第１ラベリングリモートセンシング画像における境界ボックスに対して調整操作、例えば余分な境界ボックスの削除、欠けている境界ボックスの増加等を行って、境界ボックス情報の正確度を高くすることができ、更に後で得られるラベリング画像の正確度を高くすることができ、また、境界ボックスの調整操作が簡単で、操作が容易で、かかる時間が少なく、境界ボックス調整操作の効率が高い。

【0015】

可能な一実施形態では、
第１ラベリング結果が含まれる第１リモートセンシング画像サンプルを取得するステップであって、前記第１リモートセンシング画像サンプルは、少なくとも１つの建物の画像を含み、前記第１ラベリング結果に、ラベリングした少なくとも１つの建物の輪廓情報、前記第１リモートセンシング画像サンプルの二値画像、及び前記第１リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第１リモートセンシング画像サンプルをトレーニング待ちの第１ニューラルネットワークに入力して前記第１リモートセンシング画像サンプルに対応する第１予測結果を得、前記第１予測結果及び前記第１ラベリング結果に基づいて前記トレーニング待ちの第１ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第１画像分割ニューラルネットワークを得るステップと、によって、
前記第１画像分割ニューラルネットワークをトレーニングする。

【0016】

上記方式において、第１リモートセンシング画像サンプルを取得して第１ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第１画像分割ニューラルネットワークを得ることによって、第１画像分割ニューラルネットワークによって第１境界ボックス内の建物の局所二値画像と方向角情報を決定することを可能にする。

【0017】

可能な一実施形態では、
第２ラベリング結果が含まれる第２リモートセンシング画像サンプルを取得するステップであって、各前記第２リモートセンシング画像サンプルは、前記第１リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第２ラベリング結果に、前記領域画像における前記目標建物の輪廓情報、前記第２リモートセンシング画像サンプルの二値画像、及び前記第２リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第２リモートセンシング画像サンプルをトレーニング待ちの第２ニューラルネットワークに入力して前記第２リモートセンシング画像サンプルに対応する第２予測結果を得、前記第２予測結果及び前記第２ラベリング結果に基づいて前記トレーニング待ちの第２ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第２画像分割ニューラルネットワークを得るステップと、によって、
前記第２画像分割ニューラルネットワークをトレーニングする。

【0018】

上記方式において、第１リモートセンシング画像サンプルから第２リモートセンシング画像を切り取り、取得された第２リモートセンシング画像サンプルを用いて第２ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第２画像分割ニューラルネットワークを得ることによって、第２画像分割ニューラルネットワークによって第２境界ボックス内の建物の局所二値画像と方向角情報を決定することを可能にする。

【0019】

可能な一実施形態では、前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップは、
各建物に対して、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む。

【0020】

上記実施形態では、建物の頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、各建物に対応する局所二値画像及び方向角情報によって建物の頂点位置集合を比較的正確に決定でき、この頂点位置集合には建物の多角形輪廓上の各頂点の位置を含み、更に得られた頂点位置集合に基づいてラベリング画像を比較的正確に生成できる。

【0021】

可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するステップを更に含む。

【0022】

上記実施形態では、更に、トレーニングして得られた頂点修正ニューラルネットワークによって、頂点位置集合内の各頂点の位置を修正することで、修正後の各頂点の位置を真実位置とより一致させるようにしてよく、更に各建物にそれぞれ対応する修正後の頂点位置集合に基づいて、正確度の高いラベリング画像を得られる。

【0023】

可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、前記方法は、
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するステップを更に含む。

【0024】

ここで、ラベリング画像におけるいずれかの頂点の位置に対して調整操作を行ってもよく、頂点位置調整操作後のラベリング画像の正確度が高くなる。

【0025】

可能な一実施形態では、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップは、
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定するステップと、を含む。

【0026】

上記実施形態では、建物輪廓から複数の画素点を選択し、各画素点が頂点であるかを判断し、更に頂点である各画素点の位置に基づいて建物に対応する頂点位置集合を生成することによって、後続のラベリング画像の生成にデータのサポートを提供する。

【0027】

可能な一実施形態では、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップは、
この画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するステップを含む。

【0028】

上記実施形態では、画素点の方向角情報と隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定し、頂点決定プロセスが簡単で、要する時間が少ない。

【0029】

可能な一実施形態では、前記各画素点に対応するラベリング方向角情報はラベリング方向種類情報を含み、前記方法は、
この画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる事前設定方向種類情報と角度範囲との間の対応関係及び前記目標角度により、この画素点に対応するラベリング方向種類情報を決定するステップと、を更に含む。

【0030】

ここで、画素点の目標角度及び設置された異なる方向種類と角度範囲との間の対応関係によって、画素点に対応する方向種類情報を決定し、画素点の方向種類情報の決定プロセスが簡単で、迅速である。

【0031】

以下において、装置、電子機器等の効果の記述については上記方法の説明を参照し、ここで詳細な説明を省略する。

【0032】

第２形態では、本開示の実施例は、
リモートセンシング画像を取得するように構成される取得モジュールと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される決定モジュールであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む決定モジュールと、
前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するように構成される生成モジュールと、を備える画像ラベリング装置を提供する。

【0033】

可能な一実施形態では、前記決定モジュールは、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する場合に
前記リモートセンシング画像及びトレーニング済みの第１画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも１つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を実行するにように構成される。

【0034】

可能な一実施形態では、前記決定モジュールは、
前記境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値より大きい第１境界ボックスを選択するステップと、
前記第１境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第１境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、によって、
前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。

【0035】

可能な一実施形態では、前記決定モジュールは、更に、
前記境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値以下の第２境界ボックスを選択するステップと、
前記第２境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第２境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第２画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、によって、
前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。

【0036】

可能な一実施形態では、前記少なくとも１つの境界ボックスの境界ボックス情報を取得した後、
前記リモートセンシング画像及び前記少なくとも１つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスをラベリングした第１ラベリングリモートセンシング画像を生成するステップと、前記第１ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を実行するように構成される境界ボックス調整モジュールを更に備える。

【0037】

可能な一実施形態では、前記決定モジュールは、
第１ラベリング結果が含まれる第１リモートセンシング画像サンプルを取得するステップであって、前記第１リモートセンシング画像サンプルは、少なくとも１つの建物の画像を含み、前記第１ラベリング結果にはラベリングした少なくとも１つの建物の輪廓情報、前記第１リモートセンシング画像サンプルの二値画像、及び前記第１リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第１リモートセンシング画像サンプルをトレーニング待ちの第１ニューラルネットワークに入力して前記第１リモートセンシング画像サンプルに対応する第１予測結果を得、前記第１予測結果及び前記第１ラベリング結果に基づいて前記トレーニング待ちの第１ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第１画像分割ニューラルネットワークを得るステップと、によって、
前記第１画像分割ニューラルネットワークをトレーニングするように構成される。

【0038】

可能な一実施形態では、前記決定モジュールは、
第２ラベリング結果が含まれる第２リモートセンシング画像サンプルを取得するステップであって、各前記第２リモートセンシング画像サンプルは、前記第１リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第２ラベリング結果には前記領域画像における前記目標建物の輪廓情報、前記第２リモートセンシング画像サンプルの二値画像、及び前記第２リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第２リモートセンシング画像サンプルをトレーニング待ちの第２ニューラルネットワークに入力して前記第２リモートセンシング画像サンプルに対応する第２予測結果を得、前記第２予測結果及び前記第２ラベリング結果に基づいて前記トレーニング待ちの第２ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第２画像分割ニューラルネットワークを得るステップと、によって、
前記第２画像分割ニューラルネットワークをトレーニングするように構成される。

【0039】

可能な一実施形態では、前記生成モジュールは、前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するプロセスで、
各建物に対して、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を実行するように構成される。

【0040】

可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するように構成される頂点位置修正モジュールを更に備える。

【0041】

可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、前記装置は、
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するように構成される頂点位置調整モジュールを更に備える。

【0042】

可能な一実施形態では、前記生成モジュールは、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するプロセスで、
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定するステップと、を実行するように構成される。

【0043】

可能な一実施形態では、前記生成モジュールは、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するプロセスで、
この画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するように構成される。

【0044】

可能な一実施形態では、ラベリングした各画素点に対応する前記方向角情報が方向種類情報である場合、前記決定モジュールは、
この画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる方向種類情報と角度範囲との間の対応関係及び前記目標角度により、この画素点に対応する方向種類情報を決定するステップと、によって、
各画素点に対応する前記方向種類情報を取得するように構成される。

【0045】

第３形態では、本開示の実施例は、電子機器であって、プロセッサ、メモリ及びバスを備え、前記メモリに前記プロセッサで実行可能な機器可読命令が記憶されており、電子機器が動作する時に、前記プロセッサと前記メモリがバスによって通信し、前記機器可読命令が前記プロセッサにより実行される時に上記第１形態又はいずれかの実施形態に記載の画像のラベリング方法のステップを実行する電子機器を提供する。

【0046】

第４形態では、本開示の実施例は、コンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行する時に上記第１形態又はいずれかの実施形態に記載の画像のラベリング方法のステップを実行するコンピュータ可読記憶媒体を提供する。

【0047】

第５形態では、本開示の実施例は、更に、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行する時に、前記電子機器内のプロセッサが上記第１形態又はいずれかの実施形態に記載の画像のラベリング方法のステップを実行するコンピュータプログラムを提供する。

【0048】

本開示の上記の目的、特徴及びメリットをより明らかで分かりやすくするために、以下において、特に好ましい実施例を挙げ、添付された図面を参照しながら詳細に説明する。

【図面の簡単な説明】

【0049】

【図1】本開示の実施例に係る画像のラベリング方法を模式的に示すフローチャートを示す。

【図2】本開示の実施例に係る方向角情報決定方法を模式的に示すフローチャートを示す。

【図3】本開示の実施例に係る第１画像分割ニューラルネットワークのトレーニング方法を模式的に示すフローチャートを示す。

【図4】本開示の実施例に係る建物多角形輪廓の模式図を示す。

【図5】本開示の実施例に係る第２画像分割ニューラルネットワークのトレーニング方法を模式的に示すフローチャートを示す。

【図6】本開示の実施例に係るラベリング画像生成方法を模式的に示すフローチャートを示す。

【図7】本開示の実施例に係る頂点位置集合決定方法を模式的に示すフローチャートを示す。

【図8】本開示の実施例に係る画像ラベリング装置の構成の模式図を示す。

【図9】本開示の実施例に係る電子機器の構成の模式図を示す。

【発明を実施するための形態】

【0050】

本開示の実施例の技術的解決手段をより明瞭に説明するために、以下において、実施例に用いられる図面について簡単に説明し、ここの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の実施例の技術的解決手段を説明するために用いられる。以下の図面はただ本開示の一部の実施例を示すため、範囲を限定するものと見なしてはならなく、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の関連図面に想到し得ることを理解すべきである。

【0051】

本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下に本開示の実施例における図面を参照し、本開示の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例はただ本開示の実施例の一部に過ぎず、全ての実施例ではない。一般的には、この図面に記載され示された本開示の実施例のアセンブリは様々な配置方式によって配置、設定され得る。従って、以下において図面で提供された本開示の実施例に加えられる詳細な記載は、保護を主張される本開示の範囲を限定する意図がなく、本開示の選択実施例を示すものに過ぎない。本開示における実施例に基づき、当業者が創造的な労力を要することなく、得られた他の全ての実施例は、いずれも本開示の保護範囲に属する。

【0052】

一般的には、全自動建物抽出方法は、正確度が低く、実際の応用要求を満たすことが困難であるため、伝統的な手動ラベリング方法に取って代わって広く応用されることが不可能である。建物多角形に手動でラベルを付ける伝統的な方法は面倒で手間のかかる作業であり、そして一般に専門知識を有するリモートセンシングの画像処理専門家が行う作業であり、手動ラベリング方法の効率が低い。

【0053】

上記問題を解決するために、本開示の実施例は、建物ラベリング正確度を確保した上で、建物ラベリング効率を高くする画像のラベリング方法を提供する。

【0054】

本開示の実施例を理解しやすくするために、まず、本開示の実施例で開示される画像のラベリング方法について詳細に説明する。

【0055】

本開示の実施例に係る画像のラベリング方法は、端末装置にも、サーバにも利用可能である。ここで、端末装置はコンピュータ、スマートフォン、タブレット等であってよく、本開示の実施例はこれを限定しない。

【0056】

本開示の実施例に係る画像のラベリング方法を模式的に示すフローチャートである図１に示すように、この方法はＳ１０１－Ｓ１０３を含む。

【0057】

Ｓ１０１で、リモートセンシング画像を取得する。

【0058】

Ｓ１０２で、リモートセンシング画像に基づいて、リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定し、方向角情報は輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む。

【0059】

Ｓ１０３で、少なくとも１つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成する。

【0060】

上記方法において、リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定し、ここで方向角情報には輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含み、少なくとも１つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成することによって、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像の自動生成を可能にし、建物ラベリング効率を高くする。

【0061】

また、建物の縁部輪廓における頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、建物に対応する局所二値画像及び方向角情報によって、建物の頂点位置を比較的正確に決定でき、更にラベリング画像を比較的正確に生成できる。

【0062】

Ｓ１０１及びＳ１０２に関しては、
ここで、リモートセンシング画像は少なくとも１つの建物を記録した画像であってよい。リモートセンシング画像を取得した後、このリモートセンシング画像に含まれる各建物に対応する局所二値画像、及びこの局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。例えば、各建物に対応する局所二値画像において、建物対応領域内の画素点の画素値は１であってよく、局所二値画像における建物対応領域以外の背景領域内の画素点の画素値は０であってよい。ここで、方向角情報は輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む。

【0063】

選択可能な一実施形態として、本開示の実施例に係る方向角情報決定方法を模式的に示すフローチャートである図２に示すように、リモートセンシング画像に基づいて、リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは下記のステップを含んでよい。

【0064】

Ｓ２０１で、リモートセンシング画像及びトレーニング済みの第１画像分割ニューラルネットワークに基づいて、リモートセンシング画像の全局二値画像、全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも１つの建物の境界ボックスの境界ボックス情報を取得する。

【0065】

Ｓ２０２で、境界ボックス情報、全局二値画像、全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報及びリモートセンシング画像に基づいて、リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。

【0066】

【0067】

ステップＳ２０１で、リモートセンシング画像をトレーニング済みの第１画像分割ニューラルネットワークに入力することができ、リモートセンシング画像の全局二値画像、全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも１つの建物の境界ボックスの境界ボックス情報を得る。

【0068】

例示的に、全局二値画像は、リモートセンシング画像のサイズと同じであり、建物領域内の画素点の画素値が２５５であり、建物領域以外の背景領域内の画素点の画素値が０である二値画像であってよい。建物輪廓上の輪廓画素点の方向角情報はこの輪廓画素点の所在する輪廓辺と設置方向との間の角度であってよく、例えば、輪廓画素点Ａの方向角情報は１８０°であってよく、輪廓画素点Ｂの方向角情報は２５０°であってよく、又は、建物輪廓上の輪廓画素点の方向角情報はこの輪廓画素点に対応する方向種類であってもよく、例えば、輪廓画素点Ａの方向角情報は第１９方向種類であってもよく、輪廓画素点Ｂの方向角情報は第２６方向種類であってもよく、ここで、この方向種類はこの輪廓画素点の所在する輪廓辺と設置方向との間の角度によって決定されてもよい。

【0069】

例示的に、全局二値画像に含まれる各建物の輪廓情報により、各建物の境界ボックスを決定してもよく、この境界ボックスは建物の輪廓領域を囲んだ正方形ボックスであってよい。実施過程で、建物の長さ方向での第１サイズ最大値、幅方向での第２サイズ最大値を決定し、第１サイズ最大値と第２サイズ最大値のうちの大きい値をこの建物の境界ボックスのサイズ値として決定するようにしてよい。ここで、この境界ボックスの境界ボックス情報には境界ボックスのサイズ情報と境界ボックスの位置情報等を含んでよい。

【0070】

本開示の実施例に係る第１画像分割ニューラルネットワークのトレーニング方法を模式的に示すフローチャートである図３に示すように、下記のステップによって第１画像分割ニューラルネットワークをトレーニングして、トレーニング済みの第１画像分割ニューラルネットワークを得てよい。

【0071】

Ｓ３０１で、第１ラベリング結果が含まれる第１リモートセンシング画像サンプルを取得し、第１リモートセンシング画像サンプルは、少なくとも１つの建物の画像を含み、第１ラベリング結果に、ラベリングした少なくとも１つの建物の輪廓情報、第１リモートセンシング画像サンプルの二値画像、及び第１リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれる。

【0072】

Ｓ３０２で、第１リモートセンシング画像サンプルをトレーニング待ちの第１ニューラルネットワークに入力して第１リモートセンシング画像サンプルに対応する第１予測結果を得、また、第１予測結果及び第１ラベリング結果に基づいてトレーニング待ちの第１ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第１画像分割ニューラルネットワークを得る。

【0073】

ステップＳ３０１に関しては、取得された第１リモートセンシング画像は１つ又は複数の建物の画像を含み、第１ラベリング結果に、第１リモートセンシング画像サンプル内の各建物の輪廓情報、第１リモートセンシング画像サンプルの二値画像、及び第１リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれる。

【0074】

ここで、第１リモートセンシング画像サンプルにおける建物の縁部輪廓に位置する画素点のラベリング方向角情報は、この画素点の所在する建物の縁部輪廓辺と事前設定方向との間の角度により決定されてよく、建物の縁部輪廓の外に位置する他の画素点のラベリング方向角情報は事前設定値として設置されてよく、例えば、建物の縁部輪廓の外に位置する他の画素点のラベリング方向角情報を０に設置してよい。

【0075】

ラベリングした各画素点に対応するラベリング方向角情報が角度情報である場合、画素点の所在する建物の縁部輪廓辺と事前設定基準方向との間の目標角度をこの画素点のラベリング方向角情報として決定してよい。

【0076】

ラベリングした各画素点に対応するラベリング方向角情報が方向種類情報である場合、この画素点が所在する輪廓辺と設定された基準方向との間の目標角度を決定するステップと、異なる事前設定方向種類情報と角度範囲との間の対応関係及び目標角度により、この画素点に対応するラベリング方向種類情報を決定するステップと、により、各画素点に対応する方向種類情報を取得するようにしてよい。

【0077】

ここで、画素点の目標角度及び設置された異なる事前設定方向種類と角度範囲との間の対応関係によって、画素点に対応する方向種類情報を決定し、画素点の方向種類情報の決定プロセスが簡単で、迅速である。

【0078】

ここで、設置された異なる事前設定方向種類情報と角度範囲との間の対応関係は、角度範囲が［０°，１０°）であり、対応する事前設定方向種類情報が第１方向種類であり、ここで、この範囲に０°を含み、１０°を含まなく、角度範囲が［１０°，２０°）であり、対応する事前設定方向種類情報が第２方向種類であり、……、角度範囲が［３５０°，３６０°）であり、対応する事前設定方向種類情報が第３６方向種類である。更に、画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定した後、目標角度及び異なる事前設定方向種類情報と角度範囲との間の対応関係により、この画素点に対応するラベリング方向種類情報を決定してよい。例えば、画素点に対応する目標角度が１５°である場合、この画素点に対応するラベリング方向種類情報が第２方向種類である。

【0079】

実施過程で、更に、次式（１）により目標角度を用いて画素点に対応するラベリング方向種類情報を計算してもよく、

式（１）

【0080】

ここで、

は画素点ｉに対応する目標角度であり、Ｋは方向種類の数量であり、

は画素点ｉに対応する方向種類のマークであり、ここで、記号［］は整数化演算記号であってよい。例えば、画素点ｉが所在する輪廓辺と設置された基準方向との間の目標角度が１８０°であり、設置された方向種類の数量が３６であり、即ちＫが３６である場合、

であり、即ち、この画素点ｉに対応するラベリング方向種類情報が第１９方向種類であり、画素点ｉが所在する輪廓辺と設置された基準方向との間の目標角度が２２０°であり、設置された方向種類の数量が３６であり、即ち、Ｋが３６である場合、

であり、即ち、この画素点ｉに対応するラベリング方向種類情報が第２３方向種類である。

【0081】

建物多角形輪廓の模式図である図４を参照し、図には建物の多角形輪廓２１と角度例２２を含み、ここで、角度例内の０°方向を設置された基準方向としてよく、多角形輪廓２１は、第１輪廓辺２１１と第１輪廓辺の方向(1)、第２輪廓辺２１２と第２輪廓辺の方向(2)、第３輪廓辺２１３と第３輪廓辺の方向(3)、第４輪廓辺２１４と第４輪廓辺の方向(4)、第５輪廓辺２１５と第５輪廓辺の方向(5)、第６輪廓辺２１６と第６輪廓辺の方向(6)、第７輪廓辺２１７と第７輪廓辺の方向(7)、第８輪廓辺２１８と第８輪廓辺の方向(8)を含む。ここで、各輪廓辺に垂直であり、且つ建物外部に向く方向をこの輪廓辺の方向として決定してよい。

【0082】

更に、角度例２２をも参照にすれば、建物の多角形輪廓２１における各輪廓辺と基準方向との間の角度を知ることができる。即ち、第１輪廓辺と基準方向との間の角度が０°であり、第２輪廓辺と基準方向との間の角度が９０°であり、第３輪廓辺と基準方向との間の角度が１８０°であり、第４輪廓辺と基準方向との間の角度が９０°であり、第５輪廓辺と基準方向との間の角度が０°であり、第６輪廓辺と基準方向との間の角度が９０°であり、第７輪廓辺と基準方向との間の角度が１８０°であり、第８輪廓辺と基準方向との間の角度が２７０°である。

【0083】

ステップＳ３０２に関しては、取得された第１ラベリング結果が含まれる第１リモートセンシング画像サンプルをトレーニング待ちの第１ニューラルネットワークに入力して、第１リモートセンシング画像サンプルに対応する第１予測結果を得るようにしてよく、ここで、第１予測結果に、第１リモートセンシング画像サンプルに含まれる各建物の予測輪廓情報、第１リモートセンシング画像サンプルの予測二値画像、及び第１リモートセンシング画像サンプル内の各画素点に対応する予測方向角情報が含まれる。

【0084】

更に、第１予測結果と第１ラベリング結果に基づいて第１ニューラルネットワークの損失値を決定し、決定された損失値を用いて第１ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第１画像分割ニューラルネットワークを得るようにしてよい。例えば、第１予測結果内の各建物の予測輪廓情報と第１ラベリング結果内のラベリングした対応建物の輪廓情報を用いて第１損失値Ｌ_{ｂｏｕｎｄ}を決定し、第１予測結果内の第１リモートセンシング画像サンプルの予測二値画像と第１ラベリング結果内の第１リモートセンシング画像サンプルの二値画像を用いて第２損失値Ｌ_ｓｅｇを決定し、第１予測結果内の第１リモートセンシング画像サンプル内の各画素点に対応する予測方向角情報と第１ラベリング結果内の第１リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報を用いて第３損失値Ｌ_{ｏｒｉｅｎｔ}を決定し、第１損失値Ｌ_{ｂｏｕｎｄ}、第２損失値Ｌ_ｓｅｇ及び第３損失値Ｌ_{ｏｒｉｅｎｔ}の和Ｌ_{ｔｏｔａｌ}（即ち、Ｌ_{ｔｏｔａｌ}＝Ｌ_{ｂｏｕｎｄ}＋Ｌ_ｓｅｇ＋Ｌ_{ｏｒｉｅｎｔ}）を第１ニューラルネットワークの損失値として、第１ニューラルネットワークをトレーニングするようにしてよい。例示的に、交差エントロピー損失関数によって第１損失値、第２損失値及び第３損失値を計算してよい。

【0085】

【0086】

ステップＳ２０２で、選択可能な一実施形態として、下記の方式によって、リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。

【0087】

方式１として、境界ボックス情報に基づいて、少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値より大きい第１境界ボックスを選択するステップと、第１境界ボックスの境界ボックス情報に基づいて、全局二値画像から第１境界ボックス内の建物の局所二値画像を切り取り、全局二値画像に対応する方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、を含む。

【0088】

方式２として、境界ボックス情報に基づいて、少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値以下の第２境界ボックスを選択するステップと、第２境界ボックスの境界ボックス情報に基づいて、リモートセンシング画像から第２境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、ローカルリモートセンシング画像とトレーニング済みの第２画像分割ニューラルネットワークに基づいて、ローカルリモートセンシング画像に対応する建物の局所二値画像、及びローカルリモートセンシング画像に対応する局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む。

【0089】

ここで、建物の境界ボックスのサイズに基づいて方式１を選択するか、其れとも方式２を選択するかを決定してよく、それによってこの建物に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。ここで、建物の境界ボックスのサイズが事前設定サイズ閾値より大きい場合、方式１を選択して、この建物に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。建物の境界ボックスのサイズが事前設定サイズ閾値以下である場合、方式２を選択し、リモートセンシング画像から第２境界ボックスに対応するローカルリモートセンシング画像を切り取り、ローカルリモートセンシング画像とトレーニング済みの第２画像分割ニューラルネットワークに基づいて、ローカルリモートセンシング画像に対応する建物の局所二値画像、及びローカルリモートセンシング画像に対応する局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。

【0090】

一般的には、ニューラルネットワークの入力データのサイズが予め設置されたものであり、建物の境界ボックスのサイズが大きい場合、縮小、切り抜き等の方式によって境界ボックスのサイズを設置されたサイズ値に調整する必要があるため、境界ボックス内の情報の損失が発生し、更に境界ボックス内の建物の検出正確度を低くすることがある。上記問題を解決するために、上記実施形態では、境界ボックスのサイズに基づいて、建物の境界ボックスを、サイズが事前設定サイズ閾値より大きい第１境界ボックスとサイズが事前設定サイズ閾値より小さい第２境界ボックスとに分け、第１画像分割ニューラルネットワークの検出結果によって、第１境界ボックス内の建物に対応する局所二値画像と方向角情報を決定し、第２画像分割ニューラルネットワークの検出結果によって、第２境界ボックス内の建物に対応する局所二値画像と方向角情報を決定することで、建物の検出結果を比較的正確にする。

【0091】

方式１について説明し、境界ボックス情報で示す境界ボックスのサイズに基づいて、少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値より大きい第１境界ボックスを選択し、第１境界ボックスの境界ボックス情報で示す境界ボックスの位置に基づいて、全局二値画像から第１境界ボックス内の建物の局所二値画像を切り取り、この二値画像のサイズが第１境界ボックスのサイズと同じであってよく、全局二値画像に対応する方向角情報から第１境界ボックスに対応する方向角情報を抽出して、局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を得るようにしてよい。

【0092】

方式２について説明し、境界ボックス情報で示す境界ボックスのサイズに基づいて、少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値以下の第２境界ボックスを選択してよく、この第２境界ボックスは、検出されたリモートセンシング画像の少なくとも１つの境界ボックスのうち、第１境界ボックス以外の他の境界ボックスである。更に、第２境界ボックスの境界ボックス情報で示す境界ボックスの位置に基づいて、リモートセンシング画像から第２境界ボックスに対応するローカルリモートセンシング画像を切り取り、得られたローカルリモートセンシング画像をトレーニング済みの第２画像分割ニューラルネットワークに入力して、ローカルリモートセンシング画像に対応する建物の局所二値画像、及びローカルリモートセンシング画像に対応する局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。

【0093】

選択可能な一実施形態では、本開示の実施例に係る第２画像分割ニューラルネットワークのトレーニング方法を模式的に示すフローチャートである図５に示すように、下記のステップによってトレーニングして第２画像分割ニューラルネットワークを得てよい。

【0094】

Ｓ４０１で、第２ラベリング結果が含まれる第２リモートセンシング画像サンプルを取得し、各第２リモートセンシング画像サンプルは第１リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、第２ラベリング結果に、領域画像における目標建物の輪廓情報、第２リモートセンシング画像サンプルの二値画像、及び第２リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれる。

【0095】

Ｓ４０２で、第２リモートセンシング画像サンプルをトレーニング待ちの第２ニューラルネットワークに入力して第２リモートセンシング画像サンプルに対応する第２予測結果を得、第２予測結果及び第２ラベリング結果に基づいてトレーニング待ちの第２ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第２画像分割ニューラルネットワークを得る。

【0096】

ここで、第２リモートセンシング画像サンプルは第１リモートセンシング画像サンプルから切り取られた目標建物の領域画像であってよく、即ち、第２リモートセンシング画像サンプルは１つの目標建物を含み、第２リモートセンシング画像サンプルに対応するサイズが第１リモートセンシング画像サンプルより小さい。第２リモートセンシング画像サンプルに含まれる第２ラベリング結果は、第１リモートセンシング画像サンプルの第２ラベリング結果から取得してよく、例えば、第２リモートセンシング画像サンプル内の目標建物の輪廓情報は、第１リモートセンシング画像サンプルに含まれる各建物の輪廓情報から抽出して取得してよい。

【0097】

取得した第２ラベリング結果が含まれる第２リモートセンシング画像サンプルをトレーニング待ちの第２ニューラルネットワークに入力して、第２リモートセンシング画像サンプルに対応する第２予測結果を得るようにしてよく、ここで、第２予測結果に、第２リモートセンシング画像サンプルに含まれる各建物の予測輪廓情報、第２リモートセンシング画像サンプルの予測二値画像、及び第２リモートセンシング画像サンプル内の各画素点に対応する予測方向角情報が含まれる。更に、第２リモートセンシング画像サンプルに対応する第２予測結果と第２ラベリング結果に基づいて第２ニューラルネットワークの損失値を決定し、決定された第２ニューラルネットワークの損失値を用いて第２ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第２画像分割ニューラルネットワークを得るようにしてよい。ここで、第２ニューラルネットワークのトレーニングプロセスについては第１ニューラルネットワークのトレーニングプロセスを参照してもよいため、ここで詳細な説明を省略する。

【0098】

【0099】

選択可能な一実施形態では、少なくとも１つの境界ボックスの境界ボックス情報を取得した後、リモートセンシング画像及び少なくとも１つの境界ボックスの境界ボックス情報に基づいて、少なくとも１つの境界ボックスをラベリングした第１ラベリングリモートセンシング画像を生成するステップと、第１ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を更に含む。

【0100】

ここで、少なくとも１つの境界ボックスの境界ボックス情報を取得した後、リモートセンシング画像及び決定された少なくとも１つの境界ボックスの境界ボックス情報に基づいて、少なくとも１つの境界ボックスをラベリングした第１ラベリングリモートセンシング画像を生成するようにしてよく、また、ラベリング作業員が表示画面でこの第１ラベリングリモートセンシング画像を見て、第１ラベリングリモートセンシング画像に対して境界ボックス調整操作を行うことができるように、第１ラベリングリモートセンシング画像を表示画面に表示してもよい。

【0101】

例えば、第１ラベリングリモートセンシング画像における余分な境界ボックスに削除操作を施してよく、即ち、第１ラベリングリモートセンシング画像において、建物を含まない境界ボックスＡが存在する時に（第１ラベリングリモートセンシング画像においてこの境界ボックスＡが余分な境界ボックスとなる）、境界ボックスＡを第１ラベリングリモートセンシング画像から削除してもよい。また、第１ラベリングリモートセンシング画像に、欠けている境界ボックスを増加してもよく、即ち、第１ラベリングリモートセンシング画像に建物Ａを含むが、この建物Ａに対して対応する境界ボックスが検出されなかった時に（第１ラベリングリモートセンシング画像においてこの建物Ａの境界ボックスが欠けている）、この建物Ａに対応する境界ボックスを加えてもよい。更に、第１ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得る。

【0102】

【0103】

Ｓ１０３に関しては、
ここで、リモートセンシング画像に含まれる各建物にそれぞれ対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成してよい。

【0104】

選択可能な一実施形態では、本開示の実施例に係るラベリング画像生成方法を模式的に示すフローチャートである図６に示すように、少なくとも１つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップは、下記のステップを含んでよい。

【0105】

Ｓ５０１で、各建物に対して、この建物に対応する局所二値画像、及び局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定し、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含む。

【0106】

Ｓ５０２で、各建物にそれぞれ対応する頂点位置集合に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成する。

【0107】

上記実施形態では、建物の頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、各建物に対応する局所二値画像及び方向角情報によって建物の頂点位置集合を比較的正確に決定でき、この頂点位置集合は建物の多角形輪廓上の各頂点の位置を含み、更に得られた頂点位置集合に基づいてラベリング画像を比較的正確に生成できる。

【0108】

ステップＳ５０１に関しては、リモートセンシング画像に含まれる各建物に対して、この建物に対応する局所二値画像、及び局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定してよく、即ち、この建物に対応する頂点位置集合はこの建物に対応する建物多角形輪廓上の各頂点の位置情報を含む。

【0109】

選択可能な一実施形態として、本開示の実施例に係る頂点位置集合決定方法を模式的に示すフローチャートである図７に示すように、この建物に対応する局所二値画像、及び局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物多角形輪廓の複数の頂点位置で構成される頂点位置集合を決定する上記ステップＳ５０１は、下記のステップを含んでよい。

【0110】

Ｓ６０１で、局所二値画像内の建物輪廓から複数の画素点を選択する。

【0111】

Ｓ６０２で、複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定する。

【0112】

Ｓ６０３で、頂点であると決定された各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定する。

【0113】

【0114】

ステップＳ６０１について説明し、局所二値画像内の建物輪廓から複数の画素点を選択してよく、例えば、高密集度で点を抽出する方式によって建物輪廓から複数の画素点を選択してよい。

【0115】

ここで、選択された複数の画素点に順に番号を付けてもよく、例えば、１つの始点を特定し、始点位置の画素点の番号を０に設置し、時計方向に従って、番号が０の画素点と隣接する画素点の番号を１に設置し、これによって類推するように、選択された複数の画素点のうちの各画素点に対応番号を付けるようにしてよい。また、複数の画素点の画素座標を用いて、密集画素点座標集合Ｐ＝｛ｐ_０、ｐ_１、…、ｐ_ｎ｝を生成し、ｎは正の整数であり、ここで、ｐ_０は番号が０の画素点の画素座標であり、ｐ_ｎは番号がｎの画素点の画素座標である。

【0116】

ステップＳ６０２について説明し、選択された複数の画素点のうちの各画素点に対して判断を行い、この画素点が建物の多角形輪廓の頂点であるかを判断する。

【0117】

選択可能な一実施形態として、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップＳ６０２は、この画素点の方向角情報と隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するステップを含んでよい。

【0118】

【0119】

方向角情報が目標角度である場合、この画素点の目標角度と隣接画素点の目標角度との間の差異が設定された角度閾値以上であるかを判断し、差異が設定された角度閾値以上である場合、この画素点が建物の多角形輪廓の頂点であると決定し、差異が設定された角度閾値より小さい場合、この画素点が建物の多角形輪廓の頂点ではないと決定するようにしてよい。例えば、画素点ｐ_２に対して、この画素点ｐ_２の目標角度と隣接画素点ｐ_１の目標角度との間の差異が設定された角度閾値以上であるかを判断してよい。ここで、この角度閾値は実際の状況に応じて設置可能である。

【0120】

方向角情報が方向種類である場合、この画素点の方向種類と隣接画素点の方向種類との間の差異が設定された方向種類閾値以上であるかを判断し、差異が設定された方向種類閾値以上である場合、この画素点が建物の多角形輪廓の頂点であると決定し、差異が設定された方向種類閾値より小さい場合、この画素点が建物の多角形輪廓の頂点ではないと決定するようにしてよい。即ち、次式（２）によりこの複数の画素点のうちの各画素点が建物の多角形輪廓の頂点であるかを決定してよく、

式（２）

【0121】

ここで、

は画素点

が建物の多角形輪廓の頂点であることを表し、

は画素点

が建物の多角形輪廓の頂点ではないことを表し、

は画素点

の方向種類であり、

は画素点

の方向種類であり、

は設置された方向種類閾値であり、

の値は実際の状況に応じて設置可能である。

【0122】

ステップＳ６０３について説明し、更に、頂点であると決定された各画素点の位置に基づいてこの建物に対応する頂点位置集合を決定してよい。例示的に、頂点選択モジュールによって各建物に対応する頂点位置集合を決定してよい。例えば、建物に対応する局所二値画像、及び局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報を頂点選択モジュールに入力して、この建物に対応する頂点位置集合を決定するようにしてよい。

【0123】

ステップＳ５０２に関しては、各建物に対応する頂点位置集合が得られた後、各建物にそれぞれ対応する頂点位置集合に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成してよい。例えば、各建物に含まれる頂点の連結順序を決定し、各建物に対応する頂点を決定された連結順序に従って交差しないように連結して、各建物の多角形輪廓を得、各建物の多角形輪廓とリモートセンシング画像に基づいて、このリモートセンシング画像に対応するラベリング画像を生成するようにしてよい。

【0124】

選択可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された頂点位置集合内の各頂点の位置を修正するステップを更に含んでよい。

【0125】

ここで、頂点位置集合をトレーニング済みの頂点修正ニューラルネットワークに入力して、決定された頂点位置集合内の各頂点の位置を修正して、修正後の頂点位置集合を得るようにしてよく、更に、各建物にそれぞれ対応する修正後の頂点位置集合に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成してよい。

【0126】

【0127】

選択可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、この方法は、ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するステップを更に含んでもよい。

【0128】

ここで、ラベリング画像が得られた後、ラベリング画像を表示画面に表示してもよく、例えば、実行主体が表示画面を備えた端末装置である場合、ラベリング画像を端末装置の表示画面に表示してもよく、又は、実行主体がサーバである場合、表示装置の表示画面に表示可能なようにラベリング画像を表示装置に送信してもよく、これによって、ラベリング作業員が表示画面に表示されているラベリング画像を見て、ラベリング画像におけるいずれかの建物のいずれかの頂点の位置が実際状況と一致しない時にこの頂点の位置を調整することが可能になり、更にラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整して、頂点位置調整後のラベリング画像を得る。ここで、ラベリング画像への頂点位置調整操作は、ラベリング画像生成後にリアルタイムで行ってもよいし、ラベリング画像生成後に非リアルタイムで行ってもよい。

【0129】

【0130】

例示的に、リモートセンシング画像を取得した後、リモートセンシング画像をラベリングネットワークに入力して、このリモートセンシング画像に対応するラベリング画像を生成するようにしてよく、このラベリング画像はリモートセンシング画像内の少なくとも１つの建物の多角形輪廓をラベリングしたものである。ここで、ラベリングネットワークには第１画像分割ニューラルネットワーク、第２画像分割ニューラルネットワーク、頂点選択モジュール、頂点修正ニューラルネットワークを含んでよい。ラベリングネットワークの動作プロセスについては上記の記述を参照してもよく、ここで詳細な説明を省略する。

【0131】

具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならず、各ステップの実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。

【0132】

同様な構想に基づいて、本開示の実施例は、本開示の実施例に係る画像ラベリング装置の構成の模式図を示す図８に示すように、取得モジュール３０１、決定モジュール３０２、生成モジュール３０３、境界ボックス調整モジュール３０４、頂点位置修正モジュール３０５、頂点位置調整モジュール３０６を備える画像ラベリング装置を更に提供する。

【0133】

取得モジュール３０１は、リモートセンシング画像を取得するように構成され、
決定モジュール３０２は、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成され、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含み、
生成モジュール３０３は、前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するように構成される。

【0134】

可能な一実施形態では、前記決定モジュール３０２は、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する場合、
前記リモートセンシング画像及びトレーニング済みの第１画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも１つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を実行するように構成される。

【0135】

可能な一実施形態では、前記決定モジュール３０２は、
前記境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値より大きい第１境界ボックスを選択するステップと、
前記第１境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第１境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、によって、
前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。

【0136】

可能な一実施形態では、前記決定モジュール３０２は、更に、
前記境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値以下の第２境界ボックスを選択するステップと、
前記第２境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第２境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第２画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、によって、
前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。

【0137】

可能な一実施形態では、前記少なくとも１つの境界ボックスの境界ボックス情報を取得した後、
前記リモートセンシング画像及び前記少なくとも１つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスをラベリングした第１ラベリングリモートセンシング画像を生成するステップと、前記第１ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を実行するように構成される境界ボックス調整モジュール３０４を更に備える。

【0138】

可能な一実施形態では、前記決定モジュール３０２は、
第１ラベリング結果が含まれる第１リモートセンシング画像サンプルを取得するステップであって、前記第１リモートセンシング画像サンプルは、少なくとも１つの建物の画像を含み、前記第１ラベリング結果にはラベリングした少なくとも１つの建物の輪廓情報、前記第１リモートセンシング画像サンプルの二値画像、及び前記第１リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第１リモートセンシング画像サンプルをトレーニング待ちの第１ニューラルネットワークに入力して前記第１リモートセンシング画像サンプルに対応する第１予測結果を得、前記第１予測結果及び前記第１ラベリング結果に基づいて前記トレーニング待ちの第１ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第１画像分割ニューラルネットワークを得るステップと、によって、
前記第１画像分割ニューラルネットワークをトレーニングするように構成される。

【0139】

可能な一実施形態では、前記決定モジュール３０２は、
第２ラベリング結果が含まれる第２リモートセンシング画像サンプルを取得するステップであって、各前記第２リモートセンシング画像サンプルは、前記第１リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第２ラベリング結果には前記領域画像における前記目標建物の輪廓情報、前記第２リモートセンシング画像サンプルの二値画像、及び前記第２リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第２リモートセンシング画像サンプルをトレーニング待ちの第２ニューラルネットワークに入力して前記第２リモートセンシング画像サンプルに対応する第２予測結果を得、前記第２予測結果及び前記第２ラベリング結果に基づいて前記トレーニング待ちの第２ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第２画像分割ニューラルネットワークを得るステップと、によって、
前記第２画像分割ニューラルネットワークをトレーニングするように構成される。

【0140】

可能な一実施形態では、前記生成モジュール３０３は、前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するプロセスで、
各建物に対して、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を実行するように構成される。

【0141】

【0142】

【0143】

可能な一実施形態では、前記生成モジュール３０３は、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するプロセスで、
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定するステップと、を実行するように構成される。

【0144】

可能な一実施形態では、前記生成モジュール３０３は、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するプロセスで、
この画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するように構成される。

【0145】

可能な一実施形態では、ラベリングした各画素点に対応する前記方向角情報が方向種類情報である場合、前記決定モジュール３０２は、
この画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる方向種類情報と角度範囲との間の対応関係及び前記目標角度により、この画素点に対応する方向種類情報を決定するステップと、によって、
各画素点に対応する前記方向種類情報を取得するように構成される。

【0146】

いくつかの実施例では、本開示の実施例に係る装置に備える機能又はそれに含まれるモジュールは上述した方法実施例に記載の方法を実行するように配置されてもよく、その実現については上述した方法実施例の記載を参照してもよく、簡潔化するために、ここで詳細な説明を省略する。

【0147】

同様な技術構想に基づいて、本開示の実施例は電子機器を更に提供する。本開示の実施例に係る電子機器の構成の模式図である図９に示すように、プロセッサ４０１、メモリ４０２及びバス４０３を含む。ここで、メモリ４０２は実行命令を記憶するように構成され、内部メモリ４０２１と外部メモリ４０２２を含み、上述した内部メモリ４０２１は内部記憶装置とも呼ばれ、プロセッサ４０１内の演算データ及びハードディスク等の外部メモリ４０２２と交換するデータを一時保存するように構成され、プロセッサ４０１は内部メモリ４０２１を経由して外部メモリ４０２２とデータ交換を行い、電子機器４００の動作中で、プロセッサ４０１はバス４０３によってメモリ４０２と通信して、
リモートセンシング画像を取得するステップと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、
前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップといった命令を実行する。

【0148】

なお、本開示の実施例は、コンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行する時に上記の方法実施例に記載の画像のラベリング方法のステップを実行するコンピュータ可読記憶媒体を更に提供する。

【0149】

本開示の実施例に係る画像のラベリング方法によるコンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は上記の方法実施例に記載の画像のラベリング方法のステップを実行することに利用可能であり、上記の方法実施例を参照してもよく、ここで詳細な説明を省略する。

【0150】

本開示の実施例は、プロセッサにより実行される時に上記実施例のいずれか１種の方法を実現するコンピュータプログラムを更に提供する。該コンピュータプログラム製品はハードウェア、ソフトウェア又はそれらの組み合わせにより実現可能である。選択可能な一実施例において、前記コンピュータプログラム製品はコンピュータ記憶媒体として実現され、別の選択可能な一実施例において、コンピュータプログラム製品は、例えばソフトウェア開発キット（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ：ＳＤＫと略称）等のソフトウェア製品として実現される。

【0151】

説明の便宜上、上述したシステムと装置の動作プロセスについては上記の方法実施例に対応するプロセスを参照してもよいことが当業者に明らかであるため、ここで詳細な説明を省略する。本開示により提供されるいくつかの実施例では、開示するシステム、装置及び方法は、他の形態で実現できることを理解すべきである。上述した装置実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現時に別の形態で分割してもよく、更に例えば、複数のユニット又はコンポーネントは組み合わせてもよく、又は別のシステムに統合してもよく、又はいくつかの特徴を省略もしくは実行しなくてもよい。一方、図示又は説明した相互の結合又は直接結合又は通信接続はいくつかの通信インタフェース、機器又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

【0152】

分離部材として説明した前記ユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示した部材は物理ユニットであってもなくてもよく、一箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。

【0153】

また、本開示の各実施例における各機能ユニットは一つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、二つ又は二つ以上で一つのユニットに統合されてもよい。

【0154】

前記機能がソフトウェア機能ユニットの形式で実現され且つ独立した製品として販売又は使用される場合、プロセッサに実行可能な非揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような見解をもとに、本開示の技術的解決手段は実質的に従来技術に寄与する部分またはこの技術的解決手段の一部がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい）に本開示の各実施例に記載の方法のステップの全部又は一部を実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読出し専用メモリ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ：ＲＡＭ）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。

【0155】

以上は本開示の具体的な実施形態に過ぎず、本開示の保護範囲がそれに限定されるものでなく、本開示に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本開示の保護範囲に含まれる。従って、本開示の保護範囲は請求項の保護範囲に準ずるものとする。

【産業上の利用可能性】

【0156】

本開示の実施例は、リモートセンシング画像における少なくとも１つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定し、ここで方向角情報には輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含み、少なくとも１つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成することによって、リモートセンシング画像における少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像の自動生成を可能にし、建物ラベリング効率を高くする同時に、建物の縁部輪廓における頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、建物に対応する局所二値画像及び方向角情報によって、建物の頂点位置を比較的正確に決定でき、更にラベリング画像を比較的正確に生成できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2021-11-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

【請求項2】

【請求項3】

前記リモートセンシング画像における少なくとも１つの建物の各々に対応する前記局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは、
前記境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値より大きい第１境界ボックスを選択するステップと、
前記第１境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第１境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、を含み、又は、
前記リモートセンシング画像における少なくとも１つの建物の各々に対応する前記局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは、
前記境界ボックス情報に基づいて、前記少なくとも１つの境界ボックスからサイズが事前設定サイズ閾値以下の第２境界ボックスを選択するステップと、
前記第２境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第２境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第２画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む、
請求項２に記載の方法。

【請求項4】

【請求項5】

【請求項6】

【請求項7】

前記少なくとも１つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップは、
各建物に対して、前記建物に対応する前記局所二値画像、及び前記局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報に基づいて、前記建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合は前記建物の多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含み、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するステップを更に含み、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも１つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するステップを更に含む、
請求項１～６のいずれか一項に記載の方法。

【請求項8】

【請求項9】

【請求項10】

【請求項11】

【請求項12】

電子機器であって、
プロセッサ、メモリ及びバスを備え、前記メモリに前記プロセッサで実行可能な機器可読命令が記憶されており、電子機器が動作する時に、前記プロセッサと前記メモリがバスによって通信し、前記機器可読命令が前記プロセッサにより実行される時に、請求項１～１０のいずれか一項に記載の画像のラベリング方法のステップを実行する、
電子機器。

【請求項13】

コンピュータプログラムが記憶されており、前記コンピュータプログラムが、プロセッサに、請求項１～１０のいずれか一項に記載の画像のラベリング方法を実行させる、
コンピュータ可読記憶媒体。

【請求項14】

コンピュータ可読コードを含み、前記コンピュータ可読コードが、電子機器で実行される時に、前記電子機器内のプロセッサに、請求項１～１０のいずれか一項に記載の画像のラベリング方法を実行させる、
コンピュータプログラム。

【国際調査報告】

知財求人

知財求人お知らせサービス

知財のニュースを調べる
- 知財ニュース
- 知財周辺ニュース
企業の特許を調べる
知財のセミナーを調べる
知財,特許事務所への求職・転職
特許事務所をさがす
弁理士試験を受ける
- 年の弁理士試験情報
- 弁理士試験の合格率など統計
知財の法律をしらべる
期限日をしらべる
- 今日に対して意見書・補正書の期限
- 今日に対して審査請求期限日
知財の判決をしらべる
コンテンツ・リンク
運営会社
プレスの皆様へ
- お問い合わせ
ユーザーの皆様
- お問い合わせ・フィードバック
広告掲載を希望の皆様へ
- 広告掲載について
- 求人広告の掲載について

IP Force 特許公報掲載プロジェクト 2022.1.31 β版