特表2022-533168農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-07-21
(54)【発明の名称】農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220713BHJP
G06Q 50/02 20120101ALI20220713BHJP
【ＦＩ】
G06T7/00 350C
G06Q50/02
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021568572
(86)(22)【出願日】2019-09-25
(85)【翻訳文提出日】2021-11-16
(86)【国際出願番号】 CN2019107859
(87)【国際公開番号】W WO2020232942
(87)【国際公開日】2020-11-26
(31)【優先権主張番号】201910411396.1
(32)【優先日】2019-05-17
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521285193
【氏名又は名称】豊疆智能科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＦＪ ＤＹＮＡＭＩＣＳ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ
【住所又は居所原語表記】Ｎｏ．１， Ｄｏｎｇｆｅｎｇ Ｊｉｎｇｇｕａｎ Ａｖｅｎｕｅ， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｏｇｉｓｔｉｃｓ Ｐａｒｋ， Ｘｉａｎｇｚｈｏｕ Ｄｉｓｔｒｉｃｔ Ｘｉａｎｇｙａｎｇ， Ｈｕｂｅｉ ４４１１００ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際特許業務法人
(72)【発明者】
【氏名】呉 迪
(72)【発明者】
【氏名】陳 召弟
(72)【発明者】
【氏名】陳 旻▲しん▼
(72)【発明者】
【氏名】呉 晨健
(72)【発明者】
【氏名】陳 虹
【テーマコード（参考）】
5L049
5L096
【Ｆターム（参考）】
5L049CC01
5L096BA08
5L096CA04
5L096DA01
5L096EA03
5L096HA09
5L096HA11
5L096KA04
(57)【要約】
農地画像に基づく畳み込みニューラルネットワークの構築方法であって、少なくとも１つの農地の１セットの農地画像を取得するステップと、前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップと、前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップと、前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップと、前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップと、を含む。
【特許請求の範囲】
【請求項1】
農地画像に基づく畳み込みニューラルネットワークの構築方法であって、少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む、ことを特徴とする農地画像に基づく畳み込みニューラルネットワークの構築方法。
【請求項2】
前記ステップ１０２と前記ステップ１０３との間に、前記農地画像の各々及び対応する前記標準的に分割された農地画像をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像及び対応する前記標準的に分割された農地画像をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させるステップ１０７と、をさらに含む、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
【請求項3】
前記ステップ１０１は、前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける前記農地画像を抽出するステップ１０１２と、
所定条件を満たさない前記農地画像を除去するステップ１０１３と、をさらに含む、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
【請求項4】
前記ステップ１０３において、前記農地画像及び対応する前記標準的に分割された農地画像を８：２の比率で前記トレーニング画像セットと前記テスト画像セットに分割する、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
【請求項5】
前記ステップ１０４において、前記畳み込みニューラルネットワークは、ＥＮｅｔネットワークであり、前記ＥＮｅｔネットワークの活性化関数としてｐｒｅｌｕ活性化関数が用いられ、
【請求項6】
前記ステップ１０４は、前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を解像度が異なる複数種の画像にそれぞれ変換するステップ１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得るステップ１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４と、をさらに含む、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
【請求項7】
前記ステップ１０４１において、前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を、フル解像度４８０＊６４０、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の３つの解像度の画像に変換する、請求項６に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
【請求項8】
前記ステップ１０４２において、フル解像度４８０＊６４０の画像を改良されたＥＮｅｔネットワークで処理して対応する特徴図を取得し、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像をＥＮｅｔネットワークで処理して対応する特徴図を取得する、請求項７に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
【請求項9】
前記ステップ１０５において、最適化後のネットワークモデルのＢａｔｃｈＮｏｒｍ層のパラメータを畳み込み層に融合することで、モデルのテスト速度を向上させる、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
【請求項10】
前記ステップ１０５において、最適化後のネットワークモデルの後にガウス条件付き確率場を追加して処理させることで、境界分割の効果をさらに細分化する、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
【請求項11】
農地画像に基づく畳み込みニューラルネットワークモデルであって少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む、ことを特徴とする畳み込みニューラルネットワークモデル。
【請求項12】
農地画像に基づく畳み込みニューラルネットワークモデルの構築システムであって、少なくとも１つの農地の１セットの農地画像を取得するための画像取得ユニットと、
前記農地画像を分割して対応する標準的に分割された農地画像を取得するための画像分割ユニットと、
前記農地画像及び対応する前記標準的に分割された農地画像に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニットと、を含むことを特徴とするニューラルネットワークモデル構築システム。
【請求項13】
前記画像取得ユニット及び前記画像分割ユニットに作動可能に接続される、前記農地画像及び対応する前記標準的に分割された農地画像を対応するシングルチャンネルグレースケール画像に変換するための画像変換ユニットをさらに含む、請求項１２に記載の農地画像に基づく畳み込みニューラルネットワークモデルの構築システム。
【請求項14】
前記画像取得ユニット及び前記画像分割ユニットに作動可能に接続される、前記農地画像及び対応する前記標準的に分割された農地画像に対して増幅処理を行うための画像増幅ユニットをさらに含む、請求項１３に記載の農地画像に基づく畳み込みニューラルネットワークモデルの構築システム。
【請求項15】
前記農地画像及び対応する前記標準的に分割された農地画像を所定比率でトレーニング画像セット及びテスト画像セットに分割する画像分割ユニットをさらに含む、請求項１４に記載の農地画像に基づく畳み込みニューラルネットワークモデルの構築システム。
【請求項16】
前記ネットワークモデル構築ユニットは、モデル確立モジュールとモデル最適化モジュールと、をさらに含み、前記モデル確立モジュールは、前記トレーニング画像セットに基づいて畳み込みニューラルネットワークモデルを作成し、前記モデル最適化モジュールは、前記テスト画像セットに基づいて前記畳み込みニューラルネットワークモデルを最適化させる、請求項１４に記載の農地画像に基づく畳み込みニューラルネットワークモデルの構築システム。
【請求項17】
多解像度変換ユニットをさらに含み、前記多解像度変換ユニットは、前記農地画像及び対応する前記標準的に分割された農地画像を複数の異なる解像度の画像に変換する、請求項１２に記載の農地画像に基づく畳み込みニューラルネットワークモデルの構築システム。
【請求項18】
多解像度変換ユニットをさらに含み、前記多解像度変換ユニットは、前記農地画像及び対応する前記標準的に分割された農地画像を複数の異なる解像度の画像に変換する、請求項１６に記載の農地画像に基づく畳み込みニューラルネットワークモデルの構築システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像セマンティクス認識分野に関し、さらに農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムに関する。
【背景技術】
【0002】
現代の科学技術の進歩と現代の高効率農業の継続的な発展に伴い、農業の近代化の過程における自動化制御技術のかけがえのない位置と役割がますます注目されている。農業の自動化は、作業生産性を大幅に向上させ、作業強度を低下させ、作業の快適さを高め、農業生産を高効率かつ高精度で機械化することができる。自動化への発展は、必然的な選択である。
【0003】
特に近年、精密農業の概念が出現した。精密農業において、農地シーンに対する理解は、精密農業の発展と進歩を促進するための重要な技術である。コンピューターや関連する農業知識理論に基づく自動情報取得方法は、従来の情報取得方法に徐々に取って代わり、農業情報取得の主な手段になっている。
【0004】
農業情報取得技術において、精密農業が直面する主な研究課題は、農業作業環境を如何に正確、効果的かつ全面的に認識するかに関わる方法であり、すなわち、シーン理解タスクである。精密農業の開発の重要な方向と注目される内容は、コンピューターを使用して、ヒトと同様な周囲環境感知能力を農業機械に与え、農地シーンにおける画像分割、農地目標検出及び認識、三次元情報取得などの農業タスクを農業機械に自動的に行わせ、それにより、農地シーン理解における各タスクを完了させることである。研究の深化と技術の発展に伴い、セマンティック分割を含むさまざまな解決手段が継続的に提案され、ままます成熟に進歩して発展し、精密農業の実現、農業生産性の向上に対してより大きな意味を生じさせる。
【0005】
従来の農地生産方法は、農地や果樹園などを一括して管理し、施肥・除草・農薬噴霧・耕起などの操作を行うとき、農作物情報分布の空間的差異を考慮していないため、生産コストが向上したり、環境汚染が悪化したりしてしまう。これらの問題を解決するために、精密農業は、将来の農業発展のトレンドとなっており、農地画像のセマンティック分割は精密農業の前提と基盤である。現在、深層学習法は、農地の画像分割において非常に重要な役割を果たしている。畳み込みニューラルネットワークは、分割や分類などのさまざまな画像分析タスクで非常に有利な結果を達成し、強力な適用性を示している。
【0006】
現在、画像セマンティック分割の研究方法は、深層学習の分野に参入しており、ニューラルネットワークは、優れた結果を達成しているが、依然として細分化されていない分割結果やピクセル間の関係の不十分な考慮などの課題に直面しているため、セマンティック分割された画像詳細の一部が失われ、スペースに一貫性が欠けている。また、農地のシーンには、カテゴリ情報が多く、セマンティックオブジェクトの輪郭が十分に明確ではなく、作物の状態が更新され、自然環境が複雑で変更しやすいため、セマンティック分割の精度と適応性に悪影響を与えてしまう。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の１つの目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワーク構築方法は、畳み込みニューラルネットワークを農地画像の分割に導入することで、農地画像の分割精度を向上させる。
【0008】
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワーク構築方法は、農地画像をトレーニングサンプルとして畳み込みニューラルネットワークに入力し、農地画像に対してリアルタイムにセマンティクス分割を行うことで、農地画像のセマンティクス分割の精度を向上させる。
【0009】
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワークの構築過程では、効果的かつ使用可能な農地画像データセットを構築する。
【0010】
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、多解像度ネットワーク方法を用い、解像度が異なる画像のそれぞれを互いに独立したネットワークによりトレーニングし、同じ画像領域が異なる解像度で同じラベルを用いることを促進し、画素間の相互作用を強化させる。
【0011】
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、条件付き確率場をネットワーク後処理モジュールとして用い、画像の詳細を十分に考慮し、エッジを細分化し、画像分割効果を向上させる。
【0012】
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、最適化されたＥＮｅｔネットワークを用いて農地画像の分割を行い、高い実用性及び有効性を有する。
【0013】
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、畳み込みニューラルネットワークをＢａｔｃｈＮｏｒｍ層のパラメータに統合し、畳み込み層に融合することで、モデルのテスト速度を向上させる。
【0014】
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワーク構築方法は、操作しやすく、実現しやすい。
【0015】
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワーク構築方法で構築される農地画像に基づく畳み込みニューラルネットワークモデルは、画像分割効率が高く、使いやすい。
【課題を解決するための手段】
【0016】
これに対応して、以上の少なくとも１つの発明目的を実現するために、本発明は、農地画像に基づく畳み込みニューラルネットワークの構築方法を提供し、前記構築方法は、
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
【0017】
本発明のいくつかの好適な実施例では、前記ステップ１０２と前記ステップ１０３との間に、
前記農地画像の各々及び対応する前記標準的に分割された農地画像をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像及び対応する前記標準的に分割された農地画像をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させる、ステップ１０７と、をさらに含む。
前記農地画像の各々及び対応する前記標準的に分割された農地画像をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像及び対応する前記標準的に分割された農地画像をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させる、ステップ１０７と、をさらに含む。
【0018】
本発明のいくつかの好適な実施例では、前記ステップ１０１は、
前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける前記農地画像を抽出するステップ１０１２と、
所定条件を満たさない前記農地画像を除去するステップ１０１３と、をさらに含む。
前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける前記農地画像を抽出するステップ１０１２と、
所定条件を満たさない前記農地画像を除去するステップ１０１３と、をさらに含む。
【0019】
本発明のいくつかの好適な実施例では、前記ステップ１０３において、前記農地画像及び対応する前記標準的に分割された農地画像を８：２の比率で前記トレーニング画像セットと前記テスト画像セットに分割する。
【0020】
本発明のいくつかの好適な実施例では、前記ステップ１０４において、前記畳み込みニューラルネットワークは、ＥＮｅｔネットワークであり、前記ＥＮｅｔネットワークの活性化関数としてｐｒｅｌｕ活性化関数が用いられ、
式中において、前記ａｉは、学習可能パラメータである。
【0021】
本発明のいくつかの好適な実施例では、前記ステップ１０４は、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像のそれぞれを解像度が異なる複数種の画像に変換する１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得る１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４とをさらに含む。
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像のそれぞれを解像度が異なる複数種の画像に変換する１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得る１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４とをさらに含む。
【0022】
本発明のいくつかの好適な実施例では、前記ステップ１０４１において、前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を、フル解像度４８０＊６４０、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の３つの解像度画像にそれぞれ変換する。
【0023】
本発明のいくつかの好適な実施例では、前記ステップ１０４２において、フル解像度４８０＊６４０の画像を改良されたＥＮｅｔネットワークで処理して対応する特徴図を取得しハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像をＥＮｅｔネットワークで処理して対応する特徴図を得る。
【0024】
本発明のいくつかの好適な実施例では、前記ステップ１０５において、最適化後のネットワークモデルのＢａｔｃｈＮｏｒｍ層のパラメータを畳み込み層に融合することで、モデルのテスト速度を向上させる。
【0025】
本発明のいくつかの好適な実施例では、前記ステップ１０５において、最適化後のネットワークモデルの後にガウス条件付き確率場を追加して処理させることで、境界分割の効果をさらに細分化する。
【0026】
本発明の他の態様によれば、本発明は、
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含むことを特徴とする、農地画像に基づく畳み込みニューラルネットワークモデルをさら提供する。
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含むことを特徴とする、農地画像に基づく畳み込みニューラルネットワークモデルをさら提供する。
【0027】
本発明の他の態様によれば、本発明は、農地画像に基づく畳み込みニューラルネットワークモデルの構築システムをさら提供し、畳み込みニューラルネットワークモデルの構築システムは、
少なくとも１つの農地の１セットの農地画像を取得するための画像取得ユニットと、
前記農地画像を分割して対応する標準的に分割された農地画像を取得するための画像分割ユニットと、
前記農地画像及び対応する前記標準的に分割された農地画像に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニットと、を含む。
少なくとも１つの農地の１セットの農地画像を取得するための画像取得ユニットと、
前記農地画像を分割して対応する標準的に分割された農地画像を取得するための画像分割ユニットと、
前記農地画像及び対応する前記標準的に分割された農地画像に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニットと、を含む。
【0028】
本発明のいくつかの好適な実施例では、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システムは、前記画像取得ユニット及び前記画像分割ユニットに作動可能に接続される、前記農地画像及び対応する前記標準的に分割された農地画像を対応するシングルチャンネルグレースケール画像に変換するための画像変換ユニットをさらに含む。
【0029】
本発明のいくつかの好適な実施例では、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システムは、前記画像取得ユニット及び前記画像分割ユニットに作動可能に接続される、前記農地画像及び対応する前記標準的に分割された農地画像に対して増幅処理を行うための画像増幅ユニットをさらに含む。
【0030】
本発明のいくつかの好適な実施例では、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システムは、前記農地画像及び対応する前記標準的に分割された農地画像を所定比率でトレーニング画像セット及びテスト画像セットに分割するための画像分割ユニットをさらに含む。
【0031】
本発明のいくつかの好適な実施例では、前記ネットワークモデル構築ユニットは、モデル確立モジュールとモデル最適化モジュールと、をさらに含み、前記モデル確立モジュールは、前記トレーニング画像セットに基づいて畳み込みニューラルネットワークモデルを作成し、前記モデル最適化モジュールは、前記テスト画像セットに基づいて前記畳み込みニューラルネットワークモデルを最適化させる。
【0032】
本発明のいくつかの好適な実施例では、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システムは、前記農地画像及び対応する前記標準的に分割された農地画像を複数の異なる解像度の画像に変換するための多解像度変換ユニットをさらに含む。
【0033】
本発明の他の態様によれば、本発明は、農地画像に基づく畳み込みニューラルネットワークモデルの農地画像の分割方法をさら提供し、畳み込みニューラルネットワークモデルの農地画像の分割方法は、
農地のリアルタイム画像を取得するステップ３０１と、
前記リアルタイム画像を前記農地画像に基づく畳み込みニューラルネットワークモデルに入力し、前記リアルタイム画像に対応するリアルタイム分割画像を取得するステップ３０２と、を含み、
前記農地画像に基づく畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
農地のリアルタイム画像を取得するステップ３０１と、
前記リアルタイム画像を前記農地画像に基づく畳み込みニューラルネットワークモデルに入力し、前記リアルタイム画像に対応するリアルタイム分割画像を取得するステップ３０２と、を含み、
前記農地画像に基づく畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
【図面の簡単な説明】
【0034】
【図1】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワーク構築方法の模式的なブロック図である。
【図2】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワーク構築方法の模式的なフローチャート図である。
【図3】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワークモデルの一部のモジュールの模式図である。
【図4】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワークモデルの一部のモジュールの模式図である。
【図5】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワークモデルのトレーニング曲線の模式図である。
【図6】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワークモデルの画像分割効果の模式図である。
【図7】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワークモデルの画像分割効果の模式図である。
【図8】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワークモデルの構築システムの模式的なブロック図である。
【図9】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワークモデルの構築システムの変形実施形態の模式的なブロック図である。
【図10】本発明の１つの好適な実施例による、農地画像に基づく畳み込みニューラルネットワークモデルの農地画像の分割方法の模式的なブロック図である。
【発明を実施するための形態】
【0035】
以下の説明は、当業者が本発明を実施できるために、本発明を開示するためのものである。以下の説明における好ましい実施形態は単なる例であり、当業者は他の明白な変形を想到できる。以下の説明で限定される本発明の基本原理は、その他の実施案、変形案、改良案、同等案及び本発明の精神と範囲から逸脱しないその他の技術の解決手段に適用できる。
【0036】
当業者であれば理解できるように、本発明の説明において、「縦方向」、「横方向」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「頂」、「底」「内」、「外」などのような用語により示される方位又は位置関係は、図面に示される方位又は位置関係に基づくものであり、本発明の説明及び本発明の説明の簡単化のために過ぎず、示される装置又は要素が特定方位を有したり、特定方位で構成又は操作されたりすることを指示又は示唆するものではなく、従って、上記用語は、本発明に対する限定としては理解されない。
【0037】
理解されるように、用語の「１つ」は、「少なくとも１つ」又は「１つ又は複数」と理解されるべきであり、すなわち、１つの実施例では、１つの素子の数は、１つであってもよいが、他の実施例では、該素子の数は複数であってもよく、用語「１つ」は数に対する制限と理解すべきではない。
【0038】
明細書の図１～図７を参照すると、本発明に係る農地画像に基づく畳み込みニューラルネットワークモデルの構築方法１００が説明され、畳み込みニューラルネットワークモデルの構築方法１００は、
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
【0039】
さらに、前記ステップ１０２と前記ステップ１０３との間に、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させるステップ１０７と、をさらに含む。
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させるステップ１０７と、をさらに含む。
【0040】
前記ステップ１０１は、
前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける画像を抽出するステップ１０１２と、
所定条件を満たさない画像を除去するステップ１０１３と、をさらに含む、
前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける画像を抽出するステップ１０１２と、
所定条件を満たさない画像を除去するステップ１０１３と、をさらに含む、
【0041】
好適には、本好適な実施例では、取得された前記少なくとも１つの農地の前記少なくとも１つのビデオの長さは、３０ｓである。好適には、取得された前記少なくとも１つの農地の前記ビデオは、複数であり、それぞれ前記少なくとも１つの農地の複数の角度から取得される。さらに、取得された前記少なくとも１つの農地の前記ビデオが一日中の異なる時刻に取得され、それにより、一日中の光の変化による農地画像の分割に対する影響を低減させ、農地画像の分割精度を向上させる。好適には、前記少なくとも１つの農地に栽培される主要作物は、水稲及び野菜である。
【0042】
前記ステップ１０１３において、フレーム数に従って前記ビデオにおける前記農地画像１１０を取得した後、所定条件を満たさない画像、例えば、不明瞭な画像、分割すべき目標なしの画像などを除去し、それにより、前記農地画像１１０の精度を向上させ、農地画像の分割精度を向上させることに寄与する。
【0043】
前記ステップ１０２において、画像マーキングツールにより前記農地画像１１０の各々に対して対応する前記標準的に分割された農地画像１２０を作成することで、前記農地画像１１０の各々に対応する前記標準的に分割された農地画像１２０を取得する。当業者であれば理解できるように、本発明の別のいくつかの好適な実施の形態では、本発明の発明目的を実現できる限り、その他の方式で、前記農地画像１１０に対応する前記標準的に分割された農地画像１２０を取得してもよく、前記農地画像１１０に対応する前記標準的に分割された農地画像１２０を取得する具体的な方式は、本発明に対する限定を構成しない。
【0044】
好適には、本好適な実施例では、前記画像マーキングツールは、前記農地画像１１０の各々に対して対応する前記標準的に分割された農地画像１２０を作成するとき、用いるマーキングデータは、背景、農地及び障害物の３種類に分けられる。本発明の別のいくつかの好適な実施例では、前記画像マーキングツールは、前記農地画像１１０の各々に対して対応する前記標準的に分割された農地画像１２０を作成するとき、用いるマーキングデータは、あぜ、農地、ハーベスタ、人、収穫後の農地、空、建築、道路、木、ワイヤーロッド及び無効の１１種類に分けられ、マーキングデータをさらに細分化することにより、異なるカテゴリの検出精度を向上させる。
【0045】
理解できるように、畳み込みネットワークが損失を計算するのに必要とされるラベル画像がシングルチャンネルグレースケール画像であるため、前記農地画像１１０及び前記標準的に分割された農地画像１２０をシングルチャンネルグレースケール画像に変換することにより、前記畳み込みネットワークが損失を計算しやすくなる。
【0046】
前記ステップ１０７において、前記農地画像１１０及び前記標準的に分割された農地画像１２０の画像多様性を増加させ、モデルの一般化能力を向上させ、モデルに過剰適合現象が生じることを回避するために、前記農地画像１１０及び前記分割農地画像１２０を前処理する。具体的には、前記農地画像１１０及び前記標準的に分割された農地画像１２０の前処理方法は、反転、並進、ズーム、ノイズ追加などの方法で、前記農地画像１１０及び前記標準的に分割された農地画像１２０に対してそれぞれ画像データの増幅処理を行うことであり、画像トレーニングデータの多様性を増加させる。
【0047】
前記ステップ１０３において、増幅処理済みの前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を８：２の比率で前記トレーニング画像セット１３０及び前記テスト画像セット１４０に分割する。当業者であれば理解できるように、本発明の別のいくつかの好適な実施例では、本発明の発明目的を実現できる限り、７：３、６：４などのその他の比率で前記農地画像１１０及び前記標準的に分割された農地画像１２０を前記トレーニング画像セット１３０と前記テスト画像セット１４０に分割してもよく、前記トレーニング画像及び１３０と前記テスト画像セット１４０の分割比率は、本発明に対する限定を構成しない。
【0048】
前記ステップ１０４において、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築し、前記畳み込みニューラルネットワークは、ＥＮｅｔネットワークであり、前記トレーニング画像セット１３０における前記農地画像１１０のデータ及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、ネットワークモデルパラメータをトレーニングする。
【0049】
好適には、前記ＥＮｅｔネットワークの活性化関数としてｐｒｅｌｕ活性化関数が用いられ、
式中において、前記ａｉは、学習可能パラメータである。
【0050】
以下の表１を参照し、本発明で用いられる畳み込みニューラルネットワークモデルの詳細構造の表が示され、好適には、本好適な実施例では、用いられる畳み込みニューラルネットワークモデルは、ＥＮｅｔネットワークである。
【0051】
【表1】
【0052】
前記ステップ１０５において、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化させ、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０のデータを取得された前記農地画像に基づく畳み込みニューラルネットワークモデルに入力して認証し、また、認証結果に応じて、前記農地画像に基づく畳み込みニューラルネットワークモデルのスパーパラメータを絶えず調整することで、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化することを実現する。
【0053】
理解できるように、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証した後、最終的に最適化済みの前記農地画像に基づく畳み込みニューラルネットワークモデルを取得し、且つ最適化済みの前記農地画像に基づく畳み込みニューラルネットワークモデルを用いて実農地画像をテストでき、前記農地画像に基づく畳み込みニューラルネットワークモデルによる実農地画像に対する分割効果をテストする。
【0054】
さらに、前記少なくとも１つの農地の前記農地画像１１０を取得した後、前記農地画像１１０の大きさを統一的な所定サイズにズームする必要があり、それにより、前記農地画像１１０の後続処理が容易になる。
【0055】
前記ステップ１０５において、前記テスト画像セット１４０における前記農地画像１１０及び前記標準的に分割された農地画像１２０を用いて前記農地画像に基づく畳み込みニューラルネットワークモデルを認証するとき、認証結果が所定精度条件を満たさず、例えば、画像分割誤差が所定条件を超えると、前記農地画像に基づく畳み込みニューラルネットワークモデルのネットワーク構成を変更し、ネットワーク構成が変更された畳み込みニューラルネットワークに対して、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を用い、農地画像に基づく畳み込みニューラルネットワークモデルを再構築する。認証結果が前記所定精度条件を満たすと、終了する。
【0056】
本発明の第２の好適な実施例では、前記トレーニング画像１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築する前記ステップ１０４は、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０のそれぞれを解像度が異なる複数種の画像に変換するステップ１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得るステップ１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４と、をさらに含む。
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０のそれぞれを解像度が異なる複数種の画像に変換するステップ１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得るステップ１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４と、をさらに含む。
【0057】
好適には、前記ステップ１０４１において、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を、フル解像度４８０＊６４０、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の３つの異なる解像度の画像にそれぞれ変換する。
【0058】
よって、前記ステップ１０４２において、フル解像度４８０＊６４０の画像を改良されたＥＮｅｔネットワークで処理して対応する特徴図を取得し、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像をＥＮｅｔネットワークで処理して対応する特徴図を取得する。ここで、ＥＮｅｔを用いてハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像に対応する特徴図を取得するとき、ＥＮｅｔネットワークのダウンサンプリング部分のみを用い、ダウンサンプリング部分で得られた特徴図を８倍アップサンプリングして元の入力解像度の特徴図を得る。
【0059】
前記ステップ１０４３において、複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴図を融合図に融合し、複数の前記特徴画像を融合するとき、最大値法、すなわち、Ｆｉ＝ｍａｘ（Ｘｉ，Ｙｉ，Ｚｉ）を用いる。特徴画像を融合して得られた融合図を最終的なｓｏｆｔｍａｘ層に入力して計算し、ｓｏｆｔｍａｘ関数は、
【0060】
本発明の第３の好適な実施例では、前記ステップ１０４において、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築し、前記第３の好適な実施例では、前記ＥＮｅｔネットワークを変更し、前記ＥＮｅｔネットワークアップサンプリング過程におけるあらゆるＵｐｓａｍｐｌｉｎｇ層をＤｅｃｏｎｖｏｌｕｔｉｏｎ層に置き換わる。
【0061】
本発明の第４の好適な実施例では、前記ステップ１０４において、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築し、前記第４の好適な実施例では、前記ＥＮｅｔネットワークにおけるあらゆる統合層の後に、畳み込みコアの大きさが（１，１）の畳み込み層を追加する。
【0062】
本発明の第５の好適な実施例では、前記ステップ１０５において、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化させ、前記第５の好適な実施例では、最適化後のネットワークモデルパラメータを処理し、ＢａｔｃｈＮｏｒｍ層のパラメータを統合し、畳み込み層に融合することで、モデルのテスト速度を向上させる。特定の実施の形態では、畳み込み加重はＷで表し、畳み込みオフセットはＢで表し、畳み込み層計算はＷ＊Ｘ＋Ｂで表し、ＢＮ層における平均値はμで表し、分散はσで表し、スケーリングファクターはγで表し、オフセットはβで表し、小さい数（分母が０であることを防止する）は
【0063】
表２を参照すると、ＢＮ層が畳み込み層に統合された後の効果の比較（画像の解像度が４８０＊６４０）が示され、以下の表から分かるように、ＢＮ層が畳み込み層に統合された後、検出速度が著しく向上する。
【0064】
【表2】
【0065】
本発明の第６の好適な実施例では、前記ステップ１０５において、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化させ、前記第６の好適な実施例では、最適化されたネットワークモデルの後に、ガウス条件付き確率場を追加して処理させることで、境界分割の効果をさらに細分化する。
【0066】
本発明の他の態様によれば、本発明は、農地画像に基づく畳み込みニューラルネットワークモデルの構築システム２００をさら提供し、畳み込みニューラルネットワークモデルの構築システム２００は、
少なくとも１つの農地の１セットの農地画像１１０を取得するための画像取得ユニット２１と、
前記農地画像１１０を分割して対応する標準的に分割された農地画像１２０を取得するための画像分割ユニット２２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニット２３と、を含む。
少なくとも１つの農地の１セットの農地画像１１０を取得するための画像取得ユニット２１と、
前記農地画像１１０を分割して対応する標準的に分割された農地画像１２０を取得するための画像分割ユニット２２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニット２３と、を含む。
【0067】
さらに、前記農地画像に基づく畳み込みニューラルネットワーク構築システム２００は、前記画像取得ユニット２１及び前記画像分割ユニット２２に作動可能に接続される、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を対応するシングルチャンネルグレースケール画像に変換することで、この後に畳み込みネットワークが損失を計算しやすくなるための画像変換ユニット２４をさらに含む。
【0068】
前記畳み込みニューラルネットワークに基づく農地画像の分割システムは、前記画像取得ユニット２１及び前記画像分割ユニット２２に作動可能に接続される、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０に対して増幅処理を行うことにより、画像の多様性を向上させるための画像増幅ユニット２５をさらに含む。
【0069】
具体的には、前記画像増幅ユニット２５は、反転、並進、ズーム、及びノイズ追加などの方法を用い、それぞれ前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０に対して増幅処理を行うことができることにより、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０の多様性を向上させ、モデルの一般化能力を向上させ、モデルに過剰適合の現象が生じることを回避する。
【0070】
さらに、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システム２００は、前記画像取得ユニット２１及び前記画像分割ユニット２２にそれぞれ作動可能に接続される、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を所定比率で前記トレーニング画像セット１３０と前記テスト画像セット１４０に分割するための画像分割ユニット２６をさらに含む。好適には、前記画像分割ユニット２６は、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を８：２の比率で前記トレーニング画像セット１３０と前記テスト画像セット１４０に分割する。前記ネットワークモデル部材ユニット２３は、前記トレーニング画像セット１３０と前記テスト画像セット１４０に基づいて、対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築する。
【0071】
前記ネットワークモデル構築ユニット２３は、モデル確立モジュール２３１と、モデル最適化モジュール２３２と、をさらに含み、前記モデル確立モジュール２３１は、前記トレーニング画像セット１３０に基づいて、農地画像に基づく畳み込みニューラルネットワークモデルを作成し、前記モデル最適化モジュール２３２は、前記テスト画像セット１４０に基づいて、前記モデル最適化モジュール２３２で作成された前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化する。
【0072】
明細書の図９を参照すると、本発明に係る前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システム２００の変形実施形態が説明され、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システム２００は、前記画像取得ユニット２１及び前記画像分割ユニット２２にそれぞれ作動可能に接続される、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を異なる解像度を有する複数の画像に変換するための多解像度変換ユニット２７をさらに含み、好適には、前記多解像度変換ユニット２７は、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を、フル解像度４８０＊６４０、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の３つの異なる解像度の画像にそれぞれ変換する。
【0073】
よって、前記ステップ１０４２において、フル解像度４８０＊６４０の画像を改良されたＥＮｅｔネットワークで処理して対応する特徴図を取得し、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像をＥＮｅｔネットワークで処理して対応する特徴図を取得する。ＥＮｅｔを用いてハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像に対応する特徴図を取得するときに、ＥＮｅｔネットワークのダウンサンプリング部分のみを用い、ダウンサンプリング部分で得られた特徴図を８倍アップサンプリングして元の入力解像度の特徴図を得る。
【0074】
前記ステップ１０６３において、複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴図を融合図に融合し、複数の前記特徴画像を融合するとき、最大値法、すなわち、Ｆｉ＝ｍａｘ（Ｘｉ，Ｙｉ，Ｚｉ）を用いる。特徴画像を融合して得られた融合図を最終的なｓｏｆｔｍａｘ層に入力して計算し、ｓｏｆｔｍａｘ関数は、
【0075】
本発明の他の態様によれば、本発明は、農地画像の分割方法３００をさら提供し、農地画像の分割方法３００は、
農地のリアルタイム画像を取得するステップ３０１と、
前記リアルタイム画像を前記農地画像に基づく畳み込みニューラルネットワークモデルに入力し、前記リアルタイム画像に対応するリアルタイム分割画像を取得しステップ３０２と、を含む。
農地のリアルタイム画像を取得するステップ３０１と、
前記リアルタイム画像を前記農地画像に基づく畳み込みニューラルネットワークモデルに入力し、前記リアルタイム画像に対応するリアルタイム分割画像を取得しステップ３０２と、を含む。
【0076】
前記農地画像に基づく畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
【0077】
本発明の他の態様によれば、本発明は、農地画像に基づく畳み込みニューラルネットワークモデルをさら提供し、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
【0078】
本明細書の説明では、「１つの実施例」、「いくつかの実施例」、「例」、「特定の例」、又は「一部の例」などの用語を参照した説明は、該実施例又は例と組み合わせて説明されている特定の特徴、構造、材料又は特性が、本発明の少なくとも１つの実施例又は例に含まれることを意味する。本明細書において、上記用語の例示的な表現は、必ずしも同じ実施例又は例を意味するわけではない。さらに、説明された特定の特徴、構造、材料又は特性が、任意の１つ又は複数の実施例又は例においては適切な組み合わせで一体化されていてもよい。また、相互に矛盾しない状況で、当業者は本明細書に記載された異なる実施例又は例及び異なる実施例又は例の特徴を組み合わせることができる。
【0079】
当業者であれば理解できるように、上記説明及び図面に示された本発明の実施例は単なる例に過ぎず、本発明を限定するものではない。本発明の目的は完全かつ効果的に実現される。本発明の機能及び構造原理は実施例に示され説明され、前記原理から逸脱することなく、本発明の実施の形態は任意の変形又は修正を有することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】