特許 6935377 時空間画像の変化を自動推論するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6935377

(24)【登録日】2021年8月27日

(45)【発行日】2021年9月15日

(54)【発明の名称】時空間画像の変化を自動推論するためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210906BHJP

   G06N 5/04 20060101ALI20210906BHJP

   G06N 3/02 20060101ALI20210906BHJP

【ＦＩ】

   G06T7/00 350C

   G06N5/04

   G06N3/02

【請求項の数】14

【外国語出願】

【全頁数】25

(21)【出願番号】特願2018-172431(P2018-172431)

(22)【出願日】2018年9月14日

(65)【公開番号】特開2019-125340(P2019-125340A)

(43)【公開日】2019年7月25日

【審査請求日】2018年11月12日

(31)【優先権主張番号】201821001685

(32)【優先日】2018年1月15日

(33)【優先権主張国】IN

【前置審査】

(73)【特許権者】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】バット、プラクルティー ウィノドチャンドラ

(72)【発明者】

【氏名】サランギ、サナト

(72)【発明者】

【氏名】パップラ、スリニワス

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特表２０１７−５１５１８９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０２７５３４１（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０６５９９８８３（ＣＮ，Ａ）

【文献】 特開２０１７−０８４３２０（ＪＰ，Ａ）

【文献】 特表２００７−５３５３５９（ＪＰ，Ａ）

【文献】 Prakruti Bhatt et al.，Comparison of CNN Models for Application in Crop Health Assessment with Participatory Sensing，2017 IEEE Global Humanitarian Technology Conference (GHTC)，IEEE，2017年12月25日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8239295

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／００ − ５／０４

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

プロセッサ実装方法（３００）であって、
１つまたは複数の時間間隔で、対象となっている状況に関係する、空間情報および時間情報のうち少なくとも一方と相関させられ、関連づけられる複数の受信画像を受信するステップ（３０２）と、
前記１つまたは複数の時間間隔で、前記空間情報または前記時間情報、および適応しきい値に基づき、前記受信画像の少なくともサブセットを識別し、伝送するステップ（３０４）と、
変化した状況に関係する複数の画像のデータセットで事前にトレーニングされたニューラル・ネットワーク・モデルを通して前記受信画像を前方へ通過させることにより、前記受信画像から特徴を抽出するステップ（３０６）であって、前記受信画像からの特徴の抽出は、前記ニューラル・ネットワーク・モデルが抽出した前記特徴に形態学的特徴および色に関係がある特徴を含む更なる特徴を付加して、マスタ特徴セットを導出し、かつ次元削減法を使用して、マスタ特徴セットを圧縮することを含む、ステップ（３０６）と、
前記抽出した特徴を使用して前記受信画像を１つまたは複数のクラスにクラスタ化することにより、第１水準の推論を遂行するステップ（３０８）と、
対象となっている前記状況に基づき、前記１つまたは複数のクラスをタグと関連づけるステップ（３１０）と、
前記１つまたは複数のクラスを１つまたは複数のサブクラスに分類することにより、第２水準の推論を遂行するステップ（３１２）と、
を備え、前記クラスタ化するステップは、
シルエット（Ｓｉｌｈｏｕｅｔｔｅ）係数を使用して前記１つまたは複数のクラスの最適な数を決定するステップ（３０８ａ）と、
前記受信画像の各々と前記受信画像内のあらゆる他の画像との球面距離により表した第１の距離測度を算出するステップ（３０８ｂ−１）、
最大事後確率（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒｉ ｐｒｏｂａｂｉｌｉｔｙ、ＭＡＰ）に基づきクラス分布を使用して、クラスに属する前記受信画像内の各画像の尤度を算出するステップ（３０８ｂ−２）、および
前記受信画像の各々と前記１つまたは複数のクラスの各々の重心との間の球面距離により表した第２の距離測度を算出するステップ（３０８ｂ−３）
のうち少なくとも１つを遂行することにより、前記受信画像間で検出した類似性に基づき、前記１つまたは複数のクラスを識別するステップ（３０８ｂ）であって、
前記１つまたは複数のクラスの前記数は、前記決定した最適な数に等しいステップと、
正規化相互情報量（Ｎｏｒｍａｌｉｚｅｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ、ＮＭＩ）スコア、ランド（Ｒａｎｄ）指数、および純度測度のうち１つまたは複数を使用して、前記１つまたは複数のクラスの品質を検証するステップ（３０８ｃ）と、
を備え、前記分類するステップは、
対象となっている前記状況に関連する１つまたは複数のクラスに対応する１つまたは複数のサブクラスに関連する、前記マスタ特徴セットによりトレーニングされた複数の事前にトレーニングされたタグ付け器モデルを得るステップ（３１２ａ）と、
前記複数の事前にトレーニングされたタグ付け器モデルに基づき、前記第１水準の推論からの前記１つまたは複数のクラスを前記１つまたは複数のサブクラスに分類するステップ（３１２ｂ）と、
前記分類した１つまたは複数のサブクラスに関する信頼水準を算出するステップ（３１２ｃ）と、
事前に規定したしきい値以下の前記信頼水準に関連する前記受信画像を用いて前記複数の事前にトレーニングされたタグ付け器モデルを再度トレーニングして、複数の分類モデルを得るステップ（３１２ｄ）であって、前記複数の事前にトレーニングされたタグ付け器モデルを再度トレーニングする前に、関連メタデータを用いて、前記事前に規定したしきい値以下の信頼水準に関連する受信画像を評価する、ステップ（３１２ｄ）と、
前記１つまたは複数のクラス、その中の前記１つまたは複数のサブクラス、およびそれらの相互関係に基づき、前記分類モデルの知識オントロジを作成するステップ（３１２ｅ）と、
を備える、プロセッサ実装方法（３００）。

【請求項2】

受信する前記ステップは、前記受信画像に関連する少なくともいくつかのメタデータを得るステップと、前記関連付けられたタグに基づき、前記受信画像に関連する前記メタデータを更新するステップとを備える、請求項１に記載のプロセッサ実装方法。

【請求項3】

前記受信画像から前記特徴を抽出する前記ステップの前に、（ｉ）正規化、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ、ＰＣＡ）白色化、輝度補正、標準化、およびセグメント化のうち１つまたは複数を遂行することにより前記受信画像の品質を高めるための第１水準の前処理、ならびに（ｉｉ）回転、不要部分の切取り、移動、拡大縮小、およびズーミングのうち１つまたは複数を遂行することにより、前方の前記ニューラル・ネットワーク・モデルに渡すために前記受信画像を適合させる第２水準の前処理のうち少なくとも一方を備える前処理のステップを行う、請求項１に記載のプロセッサ実装方法。

【請求項4】

前記第１水準の推論を遂行する前記ステップは、前記１つまたは複数のクラスのうち１つまたは複数の内部で遂行される、請求項１に記載のプロセッサ実装方法。

【請求項5】

前記受信画像およびそれに関連する前記メタデータ、前記１つまたは複数のクラス、前記１つまたは複数のサブクラス、前記複数の分類モデル、ならびに前記知識オントロジを記憶するステップ（３１４）をさらに備える、請求項１に記載のプロセッサ実装方法。

【請求項6】

前記受信画像の前記少なくともサブセットを識別し、伝送する前記ステップは、
前記受信画像に関連するエントロピー値に基づき、前記受信画像が有効であるかどうかを判断するステップ、および
前記受信画像と、対象となっている前記状況に基づく前記適応しきい値である所定の数の先行画像を比較して、前記受信画像が前記先行画像に関連する前記１つまたは複数のサブクラスに適合するかどうかを判断するステップ
のうち１つまたは複数を遂行するステップを備える、請求項５に記載のプロセッサ実装方法。

【請求項7】

システム（２００）であって、
１つまたは複数のハードウェアプロセッサに動作可能に結合し、前記１つまたは複数のハードウェアプロセッサが実行するように構成された命令を記憶するための、１つまたは複数の内部データ記憶装置を備え、前記命令は、
入力モジュール（１２０ａ）であって、
１つまたは複数の時間間隔で、対象となっている状況に関係する、空間情報および時間情報のうち少なくとも一方と相関させられ、関連づけられる複数の画像を受信し、
前記１つまたは複数の時間間隔で、前記空間情報または前記時間情報、および適応しきい値に基づき、受信画像の少なくともサブセットを識別し、伝送する
ように構成された入力モジュール（１２０ａ）と、
変化した状況に関係する複数の画像のデータセットで事前にトレーニングされたニューラル・ネットワーク・モデルを通して前記受信画像を前方へ通過させることにより、前記受信画像から特徴を抽出するように構成された特徴抽出器（１２０ｃ、１３０ｃ）であって、前記受信画像からの特徴の抽出は、前記ニューラル・ネットワーク・モデルが抽出した前記特徴に形態学的特徴および色に関係がある特徴を含む更なる特徴を付加して、マスタ特徴セットを導出し、かつ次元削減法を使用して、マスタ特徴セットを圧縮することを含む、特徴抽出器（１２０ｃ、１３０ｃ）と、
前記抽出特徴を使用して前記受信画像を１つまたは複数のクラスにクラスタ化することにより、第１水準の推論を遂行し、
対象となっている前記状況に基づき、前記１つまたは複数のクラスをタグと関連づける
ように構成されたクラスタ化モジュール（１３０ｅ）と、
前記１つまたは複数のクラスを１つまたは複数のサブクラスに分類することにより、第２水準の推論を遂行するように構成された分類モジュール（１３０ｆ）と、
に備わり、前記クラスタ化するステップは、
シルエット係数を使用して前記１つまたは複数のクラスの最適な数を決定するステップと、
前記受信画像の各々と前記受信画像内のあらゆる他の画像との球面距離により表した第１の距離測度を算出するステップ、
最大事後確率（ＭＡＰ）に基づきクラス分布を使用して、クラスに属する前記受信画像内の各画像の尤度を算出するステップ、および
前記受信画像の各々と前記１つまたは複数のクラスの各々の重心との間の球面距離により表した第２の距離測度を算出するステップ
のうちの少なくとも１つを遂行することにより、前記受信画像間で検出した類似性に基づき、前記１つまたは複数のクラスを識別するステップであって、
前記１つまたは複数のクラスの前記数は、前記決定した最適な数に等しいステップと、
正規化相互情報量（ＮＭＩ）スコア、ランド指数、および純度測度のうち１つまたは複数を使用して、前記１つまたは複数のクラスの品質を検証するステップと、
を備え、前記分類するステップは、
対象となっている前記状況に関係する１つまたは複数のクラスに対応する１つまたは複数のサブクラスに関連する、前記マスタ特徴セットによりトレーニングされた複数の事前にトレーニングされたタグ付け器モデル（１３０ａ）を得るステップと、
前記複数の事前にトレーニングされたタグ付け器モデルに基づき、前記第１水準の推論から得た前記１つまたは複数のクラスを前記１つまたは複数のサブクラスに分類するステップと、
前記分類された１つまたは複数のサブクラスに関する信頼水準を算出するステップと、
事前に規定したしきい値以下の前記信頼水準に関連する前記受信画像を用いて前記複数の事前にトレーニングされたタグ付け器モデルを再度トレーニングして、複数の分類モデル（１２０ｄ、１３０ｄ）を得るステップであって、前記複数の事前にトレーニングされたタグ付け器モデルを再度トレーニングする前に、関連メタデータを用いて、前記事前に規定したしきい値以下の信頼水準に関連する受信画像を評価する、ステップと、
前記１つまたは複数のクラス、その中の前記１つまたは複数のサブクラス、およびそれらの相互関係に基づき、前記分類モデルの知識オントロジを作成するステップと、
を備える、システム（２００）。

【請求項8】

前記入力モジュールは、前記受信画像に関連する少なくともいくつかのメタデータを得て、前記関連付けられたタグに基づき、前記受信画像に関連する前記メタデータを更新するようにさらに構成される、請求項７に記載のシステム。

【請求項9】

前記特徴を抽出する前に、（ｉ）正規化、主成分分析（ＰＣＡ）白色化、輝度補正、標準化、およびセグメント化のうち１つまたは複数を遂行することにより前記受信画像の品質を高めるための第１水準の前処理、ならびに（ｉｉ）回転、不要部分の切取り、移動、拡大縮小、およびズーミングのうち１つまたは複数を遂行することにより、前方へ前記ニューラル・ネットワーク・モデルを通過させるために前記受信画像を適合させる第２水準の前処理のうち少なくとも一方を遂行することにより、前記受信画像を前処理するように構成された前処理モジュール（１２０ｂ、１３０ｂ）をさらに備える、請求項８に記載のシステム。

【請求項10】

前記クラスタ化モジュールは、前記１つまたは複数のクラスのうち１つまたは複数の内部で前記第１水準の推論を遂行するようにさらに構成される、請求項７に記載のシステム。

【請求項11】

前記受信画像およびそれに関連する前記メタデータ、前記１つまたは複数のクラス、前記１つまたは複数のサブクラス、前記複数の分類モデル、ならびに前記知識オントロジを記憶するように構成されたデータベース（１３０ｇ）をさらに備える、請求項９に記載のシステム。

【請求項12】

前記入力モジュールは、
前記受信画像に関連するエントロピー値に基づき、前記受信画像が有効であるかどうかを判断するステップ、および
前記受信画像と、対象となっている前記状況に基づく前記適応しきい値である所定の数の先行画像を比較して、前記受信画像が前記先行画像に関連する前記１つまたは複数のサブクラスに適合するかどうかを判断するステップ
のうち１つまたは複数を遂行することにより、前記受信画像の少なくともサブセットを識別し、伝送するようにさらに構成される、請求項１１に記載のシステム。

【請求項13】

前記システムは、（ｉ）ＩｏＴゲートウェイの役割を果たす前記入力モジュール（１２０ａ）を有するクラウド−エッジトポロジ（１００）で構成され、（ｉｉ）前記クラスタ化モジュール（１３０ｅ）、前記分類モジュール（１３０ｆ）、前記事前にトレーニングされたタグ付け器モデル（１３０ａ）、および前記データベース（１３０ｇ）は、クラウド（１３０）に基づく機器として実装され、（ｉｉｉ）前記前処理モジュール（１２０ｂ）は、クラウドエンド機器として、ならびにエッジ（１２０）エンド機器としても実装され、（ｉｖ）前記特徴抽出器（１２０ｃ、１３０ｃ）および分類モデル（１２０ｄ、１３０ｄ）は、クラウドエンド機器として実装され、エッジエンドがその現行バージョンで更新されるように前記エッジエンド上に導入される、請求項１２に記載のシステム。

【請求項14】

コンピュータプログラム製品内に具体化されたコンピュータ可読プログラムを有する非一時的コンピュータ可読媒体であって、前記コンピュータ可読プログラムは、コンピューティング機器上で実行されたとき、前記コンピューティング機器に、
１つまたは複数の時間間隔で、対象となっている状況に関係する、空間情報および時間情報のうち少なくとも一方と相関させられ、関連づけられる複数の受信画像を受信させ、
前記１つまたは複数の時間間隔で、前記空間情報または前記時間情報、および適応しきい値に基づき、前記受信画像の少なくともサブセットを識別させ、伝送させ、
変化した状況に関係する複数の画像のデータセットで事前にトレーニングされたニューラル・ネットワーク・モデルを通して前記受信画像を前方へ通過させることにより、前記受信画像から特徴を抽出させ、
前記抽出した特徴を使用して前記受信画像を１つまたは複数のクラスにクラスタ化することにより、第１水準の推論を遂行させ、
前記コンピューティング機器に、対象となっている前記状況に基づき、前記１つまたは複数のクラスをタグと関連づけさせ、
前記１つまたは複数のクラスを１つまたは複数のサブクラスに分類することにより、第２水準の推論を遂行させ、
前記受信画像からの特徴の抽出は、前記ニューラル・ネットワーク・モデルが抽出した前記特徴に形態学的特徴および色に関係がある特徴を含む更なる特徴を付加して、マスタ特徴セットを導出し、かつ次元削減法を使用して、マスタ特徴セットを圧縮することを含み、前記クラスタ化は、
シルエット係数を使用して前記１つまたは複数のクラスの最適な数を決定するステップと、
前記受信画像の各々と前記受信画像内のあらゆる他の画像との球面距離により表した第１の距離測度を算出するステップ、
最大事後確率（ＭＡＰ）に基づきクラス分布を使用して、クラスに属する前記受信画像内の各画像の尤度を算出するステップ、および
前記受信画像の各々と前記１つまたは複数のクラスの各々の重心との間の球面距離により表した第２の距離測度を算出するステップ
のうちの少なくとも１つを遂行することにより、前記受信画像間で検出した類似性に基づき、前記１つまたは複数のクラスを識別するステップであって、
前記１つまたは複数のクラスの前記数は、前記決定した最適な数に等しいステップと、
正規化相互情報量（ＮＭＩ）スコア、ランド指数、および純度測度のうち１つまたは複数を使用して、前記１つまたは複数のクラスの品質を検証するステップと
により遂行され、前記分類するステップは、
対象となっている前記状況に関連する１つまたは複数のクラスに対応する１つまたは複数のサブクラスに関連する、前記マスタ特徴セットによりトレーニングされた複数の事前にトレーニングされたタグ付け器モデルを得るステップと、
前記複数の事前にトレーニングされたタグ付け器モデルに基づき、前記第１水準の推論からの前記１つまたは複数のクラスを前記１つまたは複数のサブクラスに分類するステップと、
前記分類した１つまたは複数のサブクラスに関する信頼水準を算出するステップと、
事前に規定したしきい値以下の前記信頼水準に関連する前記受信画像を用いて前記複数の事前にトレーニングされたタグ付け器モデルを再度トレーニングして、複数の分類モデルを得るステップであって、前記複数の事前にトレーニングされたタグ付け器モデルを再度トレーニングする前に、関連メタデータを用いて、前記事前に規定したしきい値以下の信頼水準に関連する受信画像を評価する、ステップと、
前記１つまたは複数のクラス、その中の前記１つまたは複数のサブクラス、およびそれらの相互関係に基づき、前記分類モデルの知識オントロジを作成するステップと、
を備える、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１８年１月１５日に出願されたインド特許出願公開第２０１８２１００１６８５号明細書の優先権を主張する。前述の出願の内容全体は、参照により本明細書に組み込まれる。

【0002】

本明細書の本開示は、一般に画像の処理および分類に関し、より詳細には時空間画像の変化を自動推論するためのシステムおよび方法に関する。

【背景技術】

【0003】

所与の農業のシナリオに関して、最小の人間介在でコンピュータビジョンの要件を学習し、それに適応することができるシステムを開発することは、複雑な作業である。しかしながら、そのような能力は、特に植物を連続して監視するために使用するカメラを備えるＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）に必要である。具体的には、難題は、成長および健康に関連する事象などの、植物の生物学的過程に関連する事象を追跡することである。生育段階または健康状態を特定の段階で適時に、かつ局所的に識別することは、収穫高を改善するために非常に重要である。いろいろ違った農産物、それらの成長パターン、および寿命または病気もしくは欠乏などの外部要因による物理的外観の発現の差を考慮すると、これらの農作物の生活環の間に農作物の外観の変化だけを識別し、印を付けることは重要である。しかしながら、これを行う能力は、たとえば、冗長な画像を周期的に転送するのではなく、極めて重要な事象にタグを付けて、農場にある画像獲得システムからクラウドへ極めて重要な事象を転送するために極めて重要である。

【0004】

画像分類には、典型的には、監視された分類のための画像データセットにラベルを付けるために人間が介在するという主要な難題が伴う。深層畳込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）は、特徴抽出に関してより高い正確さを与えることが証明されている。しかしながら、深層畳込みニューラルネットワークは、分類モデルをトレーニングするために大量のラベル付データセットを必要とする。

【発明の概要】

【発明が解決しようとする課題】

【0005】

カメラセンサまたは等価の参加型検知シナリオを伴うＩｏＴの導入については、監視されている状況の具体的検知要件を満たすようにコンピュータビジョン解決策を構成することは、難題になっている。さらに、接続性が容易に利用できないエッジで、特に発展途上国の農村地域で処理するために、ＩｏＴプラットフォームに提出される画像をリアルタイムで解釈することは難題である。

【課題を解決するための手段】

【0006】

本開示の実施形態は、従来のシステムで本発明者らが認識した、上述の技術的問題の１つまたは複数に対する解決策として技術上の本改善を提示する。

【0007】

一様態では、プロセッサ実装方法が提供され、プロセッサ実装方法は、１つまたは複数の時間間隔で、対象となっている状況に関係する、空間情報および時間情報のうち少なくとも一方と相関させられ、関連づけられる複数の画像を受信するステップと、１つまたは複数の時間間隔で、空間情報または時間情報、および適応しきい値に基づき、受信画像の少なくともサブセットをインテリジェントに識別し、伝送するステップと、変化した状況に関係する複数の画像のデータセットで事前にトレーニングされたニューラル・ネットワーク・モデルを通して受信画像を前方へ通過させることにより、受信画像から特徴を抽出するステップと、抽出特徴を使用して、受信画像を１つまたは複数のクラスにクラスタ化することにより第１水準の推論を遂行するステップと、対象となっている状況に基づき、１つまたは複数のクラスをタグと関連づけるステップとを備え、クラスタ化するステップは、シルエット（Ｓｉｌｈｏｕｅｔｔｅ）係数を使用して、１つまたは複数のクラスの最適な数を決定するステップと、受信画像の各々と受信画像内のあらゆる他の画像の球面距離により表した第１の距離測度を算出するステップ、最大事後確率（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒｉ ｐｒｏｂａｂｉｌｉｔｙ、ＭＡＰ）に基づきクラス分布を使用して、クラスに属する受信画像内の各画像の尤度を算出するステップ、および受信画像の各々と１つまたは複数のクラスの各々の重心との間の球面距離により表した第２の距離測度を算出するステップのうち少なくとも１つを遂行することにより、受信画像間で検出した類似性に基づき、１つまたは複数のクラスを識別するステップであって、１つまたは複数のクラスの数は、決定した最適な数に等しいステップと、正規化相互情報量（Ｎｏｒｍａｌｉｚｅｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ、ＮＭＩ）スコア、ランド（Ｒａｎｄ）指数、および純度測度のうち１つまたは複数を使用して、１つまたは複数のクラスの品質を検証するステップとを備える。

【0008】

別の様態では、１つまたは複数のハードウェアプロセッサに動作可能に結合され、１つまたは複数のハードウェアプロセッサにより実行するように構成された命令を記憶するための１つまたは複数の内部データ記憶装置を備えるシステムが提供され、命令は、１つまたは複数の時間間隔で、空間情報および時間情報のうち少なくとも一方と相関させられ、関連づけられる、対象となっている状況に関係する複数の画像を受信し、かつ１つまたは複数の時間間隔で、空間情報または時間情報、および適応しきい値に基づき、受信画像の少なくともサブセットをインテリジェントに識別し、伝送するように構成された入力モジュールと、変化した状況に関係する複数の画像のデータセットで事前にトレーニングされたニューラル・ネットワーク・モデルを通して受信画像を前方へ通過させることにより、受信画像から特徴を抽出するように構成された特徴抽出器と、抽出特徴を使用して、受信画像を１つまたは複数のクラスにクラスタ化することにより第１水準の推論を遂行し、対象となっている状況に基づき、１つまたは複数のクラスをタグと関連づけるように構成されたクラスタ化モジュールとに備わり、クラスタ化するステップは、シルエット係数を使用して、１つまたは複数のクラスの最適な数を決定するステップと、受信画像の各々と受信画像内のあらゆる他の画像の球面距離により表した第１の距離測度を算出するステップ、最大事後確率（ＭＡＰ）に基づきクラス分布を使用して、クラスに属する受信画像内の各画像の尤度を算出するステップ、および受信画像の各々と１つまたは複数のクラスの各々の重心との間の球面距離により表した第２の距離測度を算出するステップのうち少なくとも１つを遂行することにより、受信画像間で検出した類似性に基づき、１つまたは複数のクラスを識別するステップであって、１つまたは複数のクラスの数は、決定した最適な数に等しいステップと、正規化相互情報量（ＮＭＩ）スコア、ランド（Ｒａｎｄ）指数、および純度測度のうち１つまたは複数を使用して、１つまたは複数のクラスの品質を検証するステップとを備える。

【0009】

さらに別の様態では、中に埋め込まれたコンピュータ可読プログラムを有する非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品が提供され、コンピュータ可読プログラムは、コンピューティング機器上で実行されたとき、コンピューティング機器に、１つまたは複数の時間間隔で、対象となっている状況に関係する、空間情報および時間情報のうち少なくとも一方と相関させられ、関連づけられる複数の画像を受信させ、１つまたは複数の時間間隔で、空間情報または時間情報、および適応しきい値に基づき、受信画像の少なくともサブセットをインテリジェントに識別させ、伝送させ、変化した状況に関係する複数の画像のデータセットで事前にトレーニングされたニューラル・ネットワーク・モデルを通して受信画像を前方に通過させることにより、受信画像から特徴を抽出させ、抽出特徴を使用して、受信画像を１つまたは複数のクラスにクラスタ化することにより第１水準の推論を遂行させ、対象となっている状況に基づき、１つまたは複数のクラスをタグと関連づけさせ、クラスタ化するステップは、シルエット係数を使用して、１つまたは複数のクラスの最適な数を決定するステップと、受信画像の各々と受信画像内のあらゆる他の画像の球面距離により表した第１の距離測度を算出するステップ、最大事後確率（ＭＡＰ）に基づきクラス分布を使用して、クラスに属する受信画像内の各画像の尤度を算出するステップ、および受信画像の各々と１つまたは複数のクラスの各々の重心との間の球面距離により表した第２の距離測度を算出するステップのうち少なくとも１つを遂行することにより、受信画像間で検出した類似性に基づき、１つまたは複数のクラスを識別するステップであって、１つまたは複数のクラスの数は、決定した最適な数に等しいステップと、正規化相互情報量（ＮＭＩ）スコア、ランド（Ｒａｎｄ）指数、および純度測度のうち１つまたは複数を使用して、１つまたは複数のクラスの品質を検証するステップとを備える。

【0010】

本開示の一実施形態では、入力モジュールは、受信画像に関連する少なくともいくつかのメタデータを得て、かつ関連タグに基づき、受信画像に関連するメタデータを更新するようにさらに構成される。

【0011】

本開示の一実施形態では、上記で説明したシステムは、特徴を抽出する前に、（ｉ）正規化、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ、ＰＣＡ）白色化、輝度補正、標準化、およびセグメント化のうち１つまたは複数を遂行することにより受信画像の品質を高めるための第１水準の前処理、ならびに（ｉｉ）回転、不要部分の切取り、移動、拡大縮小、およびズーミングのうち１つまたは複数を遂行することにより、前方のニューラル・ネットワーク・モデルまで通過させるために受信画像を適合させる第２水準の前処理のうち少なくとも一方を遂行することにより、受信画像を前処理するように構成された前処理モジュールをさらに備える。

【0012】

本開示の一実施形態では、特徴抽出器は、ニューラル・ネットワーク・モデルが抽出した特徴に形態学的特徴および色に関係がある特徴を含む追加の特徴を付加して、マスタ特徴セットを導出し、かつ次元削減法を使用して、マスタ特徴セットを圧縮するようにさらに構成される。

【0013】

本開示の一実施形態では、クラスタ化モジュールは、１つまたは複数のクラスのうち１つまたは複数の内部で第１水準の推論を遂行するようにさらに構成される。

【0014】

本開示の一実施形態では、上記で説明したシステムは、１つまたは複数のクラスを１つまたは複数のサブクラスに分類することにより第２水準の推論を遂行するように構成された分類モジュールをさらに備え、分類するステップは、対象となっている状況に関係する１つまたは複数のクラスに対応する１つまたは複数のサブクラスに関連する事前にトレーニングされた複数のタグ付け器モデルを得るステップであって、事前にトレーニングされたタグ付け器モデルは、マスタ特徴セットによりトレーニングされるステップと、複数の事前にトレーニングされたタグ付け器モデルに基づき、第１水準の推論から得られた１つまたは複数のクラスを１つまたは複数のサブクラスに分類するステップと、分類した１つまたは複数のサブクラスに関する信頼水準を算出するステップと、事前に規定したしきい値以下の信頼水準に関連する画像を用いて複数の事前にトレーニングされたタグ付け器モデルを再度トレーニングして、複数の分類モデルを得るステップと、１つまたは複数のクラス、それらの中の１つまたは複数のサブクラス、およびそれらの相互関係に基づき、分類モデルの知識オントロジを作成するステップとを備える。

【0015】

本開示の一実施形態では、分類モジュールは、事前にトレーニングされたタグ付け器モデルを再度トレーニングする前に、関連メタデータを用いて、事前に規定したしきい値以下の信頼水準に関連する受信画像を評価するようにさらに構成される。

【0016】

本開示の一実施形態では、上記で説明したシステムは、受信画像およびそれに関連するメタデータ、１つまたは複数のクラス、１つまたは複数のサブクラス、複数の分類モデル、ならびに知識オントロジを記憶するように構成されたデータベースをさらに備える。

【0017】

本開示の一実施形態では、入力モジュールは、受信画像のエントロピー値に基づき、受信画像が有効かどうかを判断するステップ、および受信画像と、対象となっている状況に基づく適応しきい値である所定数の先行画像を比較して、受信画像が先行画像に関連する１つまたは複数のサブクラスに適合するかどうかを判断するステップのうち１つまたは複数を遂行することにより、受信画像の少なくともサブセットをインテリジェントに識別し、伝送するようにさらに構成される。

【0018】

本開示の一実施形態では、システムは、（ｉ）ＩｏＴゲートウェイの役割を果たす入力モジュールを有するクラウド−エッジトポロジで構成され、（ｉｉ）クラスタ化モジュール、分類モジュール、事前にトレーニングされたタグ付け器モデル、およびデータベースがクラウドに基づく機器として実装され、（ｉｉｉ）前処理モジュールがクラウドエンド機器としてだけではなくエッジエンド機器としても実装され、（ｉｖ）特徴抽出器および分類モデルがクラウドエンド機器として実装され、エッジエンドがその現行バージョンで更新されるようにエッジエンド上に導入される。

【0019】

前述の一般的説明も以下の詳細な説明も、代表的なものであり、説明のためだけのものであり、特許請求される本開示の実施形態を限定するものではないことを理解されたい。

【0020】

本開示に組み込まれ、本開示の一部を構成する添付図面は、代表的実施形態を示し、説明と共に、開示する原理を説明するのに役立つ。

【図面の簡単な説明】

【0021】

【図1】当技術分野で公知の、クラウド−エッジトポロジの代表的図式表現を示す。

【図2】本開示の一実施形態による、図１のクラウド−エッジトポロジで構成されてもよい、時空間画像の変化を自動推論するためのシステムの機能モジュールを伴う代表的構成図を示す。

【図3】本開示の実施形態による、図２のシステムのクラウドエンドに実装された機能モジュール、およびそれらの相互接続の代表的構成図を示す。

【図4】本開示の一実施形態による、第１水準の推論を遂行するステップに伴う方法の流れを示す代表的構成図を示す。

【図5】本開示の一実施形態による、第２水準の推論のステップに伴う方法の流れを示す代表的構成図を示す。

【図6】本開示の一実施形態による、図１のクラウド−エッジトポロジのエッジ上に分類モデルを導入すること、およびそれに続く推論を表す代表的構成図を示す。

【図7】本開示の一実施形態による、時空間画像の変化を自動推論するためのコンピュータ実装方法を示す代表的流れ図である。

【発明を実施するための形態】

【0022】

本明細書のどの構成図も、本主題の原理を具体化する例示的システムの概念図を表すことを、当業者は認識されたい。同様に、どのフローチャート、流れ図、状態遷移図、擬似コードなども、コンピュータ可読媒体の形で実質的に表現されてもよいので、コンピューティング機器またはプロセッサにより、そのようなコンピューティング機器またはプロセッサが明示的に示されても、示されなくても、実行されてもよいさまざまな処理を表すことを認識されよう。

【0023】

添付図面を参照して、代表的実施形態について説明する。図では、参照番号の１つまたは複数の左端の数字は、参照番号が最初に出現する図を識別する。好都合なときはいつでも、同じまたは類似する部分を指すために、図面全体を通して同じ参照番号を使用する。開示する原理の例および特徴について本明細書で説明するが、開示する実施形態の精神および範囲を逸脱することなく、修正形態、適応形態、および他の実装形態が可能である。以下の詳細な説明は、ただ単に代表的であると考えられ、真の範囲および精神は、以下の特許請求の範囲により示されることが意図される。

【0024】

本開示は、特定の状況に関して相関関係がある画像を解析し、適切な推論を導出するエンド・ツー・エンド分散フレームワークを提供する。状況は、農業、交通、安全監視、家畜類監視、構造物の健全性の監視などに関係してもよい。本明細書では以後、農業の状況を参照して説明するが、本明細書で以後説明するシステムおよび方法は、本開示の精神を逸脱することなく、任意のそのような状況に適用されてもよいことが理解されてもよい。

【0025】

本開示に関連して、表現「相関関係がある画像」は、状況から言って関係がある画像を指す。さらにまた、本明細書で以後参照する表現「時空間画像」は、所与の時間にわたり特定の空間内で収集した画像を指す。本開示に関連して、表現「画像」は、今までどおり、直接得た画像、またはビデオから抽出した画像を指すことが留意されてもよい。

【0026】

深層畳込みニューラルネットワーク（ＣＮＮ）は、管理された分類を可能にするというよりも、ロバストな特徴を提供することが証明されている。しかしながら、人間が介在することによりタグを付けられた、状況特有のデータの大規模データベースが必要である。分類のために提供される画像が、制御された環境で取り込まれ、かつ分類のために使用するモデルが、なかったならば管理された分類が可能ではない場合がある特有のデータでトレーニングされることもまた絶対に必要である。データを収集するために、接続された機器をリアルタイムで監視することが基本となる。そのように収集されたリアル・タイム・データは、精密農業のような適用分野に関して非常に貴重な洞察を有する。本開示のシステムおよび方法は、情報源で所与の状況に関して画像の形で収集したデータにインテリジェントにタグを付けることを容易にして、拡張可能な手法で推論できるようにし、拡張性は、本開示のシステムおよび方法が取り扱うことができる画像の数および可能な分類階層だけではなく、取り扱ってもよい画像の可能なクラスにも関連がある。異なるカメラによって取り込まれ、制御されていない条件で取得した画像のロバストな特徴計算で直面する難題もまた、対処される。本開示は、管理されていないカテゴリ分類と管理されたカテゴリ分類の、ある種の組合せにより、時空間画像の変化を自動的に推論するのを容易にする。本開示のシステムおよび方法はまた、接続性のない場合に、エッジ上で得た画像のリアルタイム推論を可能にする。

【0027】

次に、類似する参照文字が一貫して図全体を通して、対応する特徴を示す図面を参照すると、より詳細には図１〜図７を参照すると、好ましい実施形態が示されており、これらの実施形態について、以下の代表的なシステムおよび方法に関連して説明する。

【0028】

図１は、当技術分野で公知のような、クラウド−エッジトポロジ１００の代表的図式表現を示し、図２は、本開示の一実施形態による、人を誤解させる信号中の誤りを検出し、誤りの重大度を算出するためのシステム２００の機能モジュールを伴う代表的構成図を示す。一実施形態では、システム２００は、１つまたは複数のコンピュータ上に常駐することができ、１つもしくは複数のプロセッサ（図示せず）、通信インタフェースもしくは入出力（ｉｎｐｕｔ／ｏｕｔｐｕｔ、Ｉ／Ｏ）インタフェース（図示せず）、およびメモリまたは１つもしくは複数のプロセッサに動作可能に結合した１つもしくは複数の内部データ記憶装置（図示せず）を含むことができる。１つまたは複数の内部データ記憶装置を、本開示に関連してメモリまたはデータベースと交換可能に呼ぶ場合がある。ハードウェアプロセッサである１つまたは複数のプロセッサ１０４を、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、中央処理装置、状態機械、グラフィックスコントローラ、論理回路、および／または動作命令に基づき信号を操作する任意の機器として実装することができる。他の能力の中でも、１つまたは複数のプロセッサは、代表的流れ図の形で図７に示す、本開示の方法３００のステップを実行するためにメモリ器に記憶されたコンピュータ可読命令をフェッチし、実行するように構成される。

【0029】

一実施形態では、システム２００を、ラップトップコンピュータ、デスクトップコンピュータ、ノートブック、ワークステーション、メインフレームコンピュータ、サーバ、ネットワークサーバ、クラウド、ハンドヘルド機器などのような、さまざまなコンピューティングシステムを伴って実装することができる。クライアント１２０を構成するコンピューティングシステムは、任意のタイプのネットワーク１１０を介して、サーバ１３０を構成するコンピューティングシステムと通信状態にある。Ｉ／Ｏインタフェースは、さまざまなソフトウェアインタフェースおよびハードウェアインタフェースを、たとえば、ウェブインタフェース、グラフィカル・ユーザ・インタフェースなどを含むことができ、有線ネットワーク、たとえばＬＡＮ、ケーブルなど、およびＷＬＡＮ、携帯電話、または衛星などの無線ネットワークを含む、多種多様のネットワーク１１０およびプロトコルタイプの範囲内で多重通信を容易にすることができる。一実施形態では、Ｉ／Ｏインタフェースは、いくつかの機器を互いに、または別のサーバに接続するための、１つまたは複数のポートを含むことができる。メモリは、たとえば、スタティック・ランダム・アクセス・メモリ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＳＲＡＭ）およびダイナミック・ランダム・アクセス・メモリ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＤＲＡＭ）などの揮発性メモリ、ならびに／または読出し専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能プログラム可能ＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、および磁気テープなどの不揮発性メモリを含む、当技術分野で公知の任意のコンピュータ可読媒体を含んでもよい。一実施形態では、メモリは、プログラムコードを実際に実行する間に採用されるローカルメモリ、大容量記憶領域、および実行中に大容量記憶領域からコードを取り出さなければならない回数を低減するために少なくともいくつかのプログラムコードの一時的記憶領域を提供するキャッシュメモリを含むことができる。一実施形態では、システム２００のさまざまな機能モジュール（図２を参照のこと）をメモリに記憶することができる。

【0030】

図７は、本開示の一実施形態による、時空間画像の変化を自動的に推論するためのコンピュータ実装方法３００を示す代表的流れ図である。次に、図２のシステム２００の構成要素および図３〜図６に提示した詳細を参照して、方法３００のステップについて詳細に説明し、ここで図３は、本開示の一実施形態による、図２のシステムのクラウドエンドに実装された機能モジュールおよびそれらの相互接続の代表的構成図を示し、図４は、本開示の一実施形態による、第１水準の推論を遂行するステップに伴う方法の流れを示す代表的構成図を示し、図５は、本開示の一実施形態による、第１水準の推論のステップに伴う方法の流れを示す代表的構成図を示し、図６は、本開示の一実施形態による、図１のクラウド−エッジトポロジのエッジ上に分類モデルを導入すること、およびそれに続く推論を表す代表的構成図を示す。処理ステップ、方法ステップ、技法などについて連続した順序で説明する場合があるが、そのような処理、方法、および技法を、代わりの順序で作動するように構成してもよい。換言すれば、説明する場合があるどのシーケンスまたは順序も、ステップをその順序で遂行するという要件を示すわけでは必ずしもない。本明細書で説明する処理のステップを、任意の実際的な順序で遂行してもよい。さらに、いくつかのステップを同時に遂行してもよい。

【0031】

本開示の一実施形態では、図２に示す本開示のシステム２００は、図１に示すように、クラウド−エッジトポロジ１００で構成され、そこでは、クラウド−エッジトポロジ１００のエッジエンドを、一般に参照番号１２０で表し、クラウド−エッジトポロジ１００のクラウドエンドを、一般に参照番号１３０で表し、ネットワーク１１０は、クラウドエンド１３０にエッジエンド１２０を接続する。一実施形態では、クラウド−エッジトポロジ１００は、ＩｏＴ実装であってもよい。対象となっている状況にそれぞれ関係し、かつ一般にエッジ１、…、エッジｎとして表される１つまたは複数のエッジエンド機器は、エッジエンド１２０に構成されてもよい。同様に、一般にシステム１、…、システムｎとして表される１つまたは複数のクラウドエンド機器は、クラウドエンド１３０に構成されてもよい。システム２００を構成する代表的機能モジュールは、ＩｏＴとクラウドエンド１３０の間の通信ギャップをブリッジするＩｏＴゲートウェイの役割を果たしてもよい入力モジュール１２０ａを含んでもよい。クラスタ化モジュール（１３０ｅ）、分類モジュール（１３０ｆ）、事前にトレーニングされたタグ付け器モデル（１３０ａ）、およびデータベース（１３０ｇ）を、クラウドエンド機器として実装してもよい。前処理モジュール（１２０ｂ）を、クラウドエンド機器としてだけではなくエッジエンド機器としても実装してもよい。特徴抽出器（１３０ｃ）および分類モデル（１３０ｄ）は、クラウドエンド機器として実装されてもよく、その場合、エッジエンドがクラウドエンド機器の現行バージョンで更新されるように、エッジエンド（１２０ｃ、１２０ｄ）上に導入される。

【0032】

図示する分散フレームワークにより、ＩｏＴ実装のエッジエンド１２０で受信した冗長な画像の効果的学習およびフィルタ処理、ならびにシステムの効率改善が可能になる。エッジエンドで実行することは、フレームワークの一部であるので、接続性がない場合にエッジエンド１２０上で、受信画像のリアルタイム推論を得ることができ、データ接続性が利用可能なときはいつでも、クラウドエンド１３０に画像をアップロードすることができる。リアルタイム推論を容易にする他に、分散フレームワークはまた、クラウドエンド１３０へのトラフィックを調整する。

【0033】

分散フレームワークは、リアルタイム推論およびトラフィック管理のための好ましいフレームワークであるが、本開示の機能モジュールを、単一の処理システムに一体化してもよいことを当業者は理解してもよい。

【0034】

したがって、本開示の一実施形態では、入力モジュール１２０ａは、ステップ３０２で、１つまたは複数の時間間隔で、対象となっている状況に関係する、たとえば農業の状況に関係する複数の画像を受信するように構成されてもよい。エッジエンド１２０で受信した画像を、空間情報および時間情報のうち少なくとも一方と相関させ、関連づける。対象となっている状況に関連する現場に設置されたカメラセンサから画像を取り込んでもよい。また、参加型検知適用の一部として、画像を得てもよい。一実施形態では、少なくともいくつかのメタデータを受信画像と関連づけてもよい。画像は、大部分は画像に関する支援情報が不完全である可能性が高い、複数のユーザ／情報源から得られるので、画像メタデータは、構造化されていない、正しくない、または不十分な場合がある。一実施形態では、エッジエンド１２０に知能がない場合、最初の限定された反復回数の間、エキスパートが介在することにより、メタデータを関連づけてもよい。一実施形態では、人間またはエキスパートシステムによるエキスパートが介在する間、インタフェースまたはコンソールを提示してもよい。

【0035】

一実施形態では、入力モジュールは、ステップ３０４で、１つまたは複数の時間間隔で、空間情報または時間情報、および適応しきい値に基づき、受信画像の少なくともサブセットを伝送するようにさらに構成されてもよい。第１の反復では、初期化の一部として、エッジエンド１２０に知能がない場合、受信画像のすべてをクラウドエンド１３０に伝送してもよい。その後、システム２００が自己学習し、クラウドエンド１３０でデータベース１３０ｇを強化するので、ステップ３０４はまた、本明細書で、後で説明するように、受信画像のサブセットをインテリジェントに識別し、伝送するステップを備えてもよい。

【0036】

一実施形態では、ステップ３１４で、受信画像および関連メタデータをクラウドエンド１３０に伝送した後、データベース１３０ｇに記憶してもよい。

【0037】

本開示の一実施形態では、クラウドエンド１３０上の特徴抽出器（１３０ｃ）は、ステップ３０６で、ニューラル・ネットワーク・モデルを通して受信画像を前方へ通過させることにより、受信画像から特徴を抽出するように構成されてもよい。本開示は、ニューラル・ネットワーク・モデルを使用して抽出した高水準のロバストな特徴を活用するのを容易にする。しかしながら、本開示によれば、ニューラル・ネットワーク・モデルが、状況特有のデータの大規模データベースで事前にトレーニングされる従来のシステムと異なり、ニューラル・ネットワーク・モデルは、変化した状況に関係する複数の画像のデータセットで事前にトレーニングされ、その結果、特徴を抽出するステップ３０６は、対象となっている範囲に非依存性になる。さらにまた、ニューラル・ネットワーク・モデルは、特有のデータセットでトレーニングされないので、システム２００は、異なるカメラによって取り込まれたすべてのタイプの画像、または遮蔽および角度変化を伴う、異なる輝度、背景のような制御されていない条件で取得した画像を解析することができる。

【0038】

一実施形態によれば、特徴抽出を備えるステップ３０６の前に、クラウドエンドで前処理モジュール（１３０ｂ）により受信画像の前処理を行ってもよい。一実施形態では、前処理は、（ｉ）正規化、主成分分析（ＰＣＡ）白色化、輝度補正、標準化、およびセグメント化のうち１つまたは複数を遂行することにより受信画像の品質を高めるための第１水準の前処理、ならびに（ｉｉ）回転、不要部分の切取り、移動、拡大縮小、およびズーミングのうち１つまたは複数を遂行することにより、前方へニューラル・ネットワーク・モデルを通過させるために受信画像を適合させる第２水準の前処理のうち少なくとも一方を遂行するステップを伴ってもよい。

【0039】

一実施形態では、特徴抽出器１３０ｃは、ニューラル・ネットワーク・モデルにより抽出した特徴に形態学的特徴および色に関係がある特徴などの追加の特徴を付加して、マスタ特徴セットを導出するようにさらに構成されてもよい。一実施形態では、次元削減法を使用して、マスタ特徴セットをさらにまた圧縮してもよい。

【0040】

本開示によれば、受信画像および関連特性の段階を識別することができるようにする、第１水準の粗い分類を伴う階層モードの分類を遂行する。識別した段階の各々の範囲内で、第２水準のより細かな分類事象を識別してもよい。一実施形態では、分類を複数の水準にネスティングしてもよく、たとえば、関係がある数多くの画像から農産物の外観に、特有の異常を見いだし、それにより、本開示のシステムおよび方法の推論能力の精度の水準を変えることが可能になる。クラスまたはカテゴリごとのカスケード式画像分類は、すべてのカテゴリを一緒にした単一水準の分類と比較して、よりよい正確さを与えることが留意されてもよい。

【0041】

一実施形態では、Ｋ平均法（Ｋ−ｍｅａｎｓ、ＫＭ）、ミニバッチＫ平均法（ｍｉｎｉ ｂａｔｃｈ Ｋ−ｍｅａｎｓ、ＭＢＫＭ）、ミーンシフト（ｍｅａｎ ｓｈｉｆｔ、ＭＳ）、アフィニティ伝播法（ａｆｆｉｎｉｔｙ ｐｒｏｐａｇａｔｉｏｎ、ＡＰ）、ＤＢＳＣＡＮ、凝集クラスタ化（Ａｇｇｌｏｍｅｒａｔｉｖｅ Ｃｌｕｓｔｅｒｉｎｇ、ＡＣ）、およびＢＩＲＣＨからなるグループから選択した、公知のクラスタ化法を、クラスタ化のために採用してもよい。しかしながら、公知の方法は、本開示によれば、変化した状況でニューラル・ネットワーク・モデルがトレーニングされるので、当技術分野で公知のように、十分なクラスタ化を提供しない場合があり、非常に大きな次元の抽出特徴をもたらす場合があり、クラスタ化が非効率になる。また、大きな次元の抽出特徴により、類似性を検出するために直線距離測度を使用する必要がなくなる。したがって、本開示によれば、本明細書で以下に説明するように、球面距離測度を採用する。

【0042】

したがって、本開示の一実施形態では、クラスタ化モジュール１３０ｅは、ステップ３０８で、本方法による抽出特徴を使用して、受信画像を１つまたは複数のクラスにクラスタ化することにより第１水準の推論を遂行するように構成されてもよく、そこでは、最初に、ステップ３０８ａで、シルエット係数を使用して、クラスの最適な数を決定する。次いで、ステップ３０８ｂで、受信画像間で検出した類似性に基づき、１つまたは複数のクラスを識別する。一実施形態では、類似性検出は、３つのステップ３０８ｂ−１、３０８ｂ−２、および３０８ｂ−３のうち少なくとも１つを遂行するステップを伴う。初期化の一部として、第１の反復で、ステップ３０８ｂ−１で、受信画像の各々と受信画像内の他のあらゆる画像の球面距離により表した第１の距離測度に基づき、類似性検出を算出する。その後の反復では、１つまたは複数の新しい画像を受信したとき、ステップ３０８ｂ−２およびステップ３０８ｂ−３のうち少なくとも一方を遂行してもよく、そこでは、ステップ３０８ｂ−２で、最大事後確率（ＭＡＰ）に基づきクラス分布を使用してクラスに属する受信画像内の各画像の尤度を算出し、ステップ３０８ｂ−３で、受信画像の各々とステップ３０８ｂ−１で識別した１つまたは複数のクラスの各々の重心との間の球面距離により表した第２の距離測度を算出する。ステップ３０８ｂ−３で第２の距離測度を算出することにより、各画像を個々に取り扱う必要がなくなり、１つまたは複数のクラスの重心だけが取り扱われ、それにより、処理時間が低減され、本方法が有効になる。本開示によれば、１つまたは複数のクラスの数は、ステップ３０８ａで決定した最適な数に等しい。一実施形態では、クラスタ化モジュール１３０ｅは、本明細書で上述のネスティングされた水準のクラスタ化の一部として、１つまたは複数のクラスのうち１つまたは複数の内部で第１水準の推論を遂行するように構成されてもよい。たとえば、それぞれクラスにクラスタ化された、特定の農産物の異なる生育段階の画像、たとえば、実生、茎の伸長、栄養期、発芽、開花、果実、熟成、しおれ、乾燥などの画像を、病気／害虫の識別のような事象に関してさらに分類することができる。クラスタ化のステップ３０８はまた、受信画像の抽出特徴とステップ３０８ｂ−１で識別した１つまたは複数のクラスに関連する特徴との間に類似性がない場合、新しいクラスにフラグを付けてもよい。

【0043】

本開示によれば、ステップ３０８で第１水準の推論を遂行すると、ステップ３０８ｃで、正規化相互情報量（ＮＭＩ）スコア、ランド指数、および純度測度のうち１つまたは複数を使用することにより、識別した１つまたは複数のクラスに関連する品質を検証する。有効性検査に不合格になる場合、１つまたは複数のクラスを再クラスタ化してもよい。また、１つまたは複数の新しい画像を受信し、かつステップ３０８ｂ−２で算出した尤度も、ステップ３０８ｂ−３で算出した第２の距離尺度も、クラスタ化を容易にするための明確な兆候を提供しないとき、再クラスタ化を開始してもよい。

【0044】

管理された分類のためにニューラル・ネットワーク・モデルの使用を伴う従来の取り組み方法とは対照的に、本開示による、クラスタ化の管理されない取り組み方法は、典型的には人間の介在に依存する、受信画像の厄介な画像ラベル付けの必要性をなくする。

【0045】

本開示の一実施形態では、ステップ３１０で、対象となっている状況に基づき１つまたは複数のクラスにタグを付けるために、人間またはエキスパートシステムによるエキスパートが介在するためのインタフェースまたはコンソールを提示してもよい。この介在は、初期化の間だけ必要となる場合があることが留意されてもよい。受信画像に関連するメタデータを、関連タグに基づき更新してもよい。

【0046】

本開示の一実施形態では、分類モジュール１３０ｆは、ステップ３１２で、１つまたは複数のクラスを１つまたは複数のサブクラスに分類することにより、第２水準の推論を遂行するように構成されてもよい。より細かく分類するために、ステップ３１２ａで、対象となっている状況に関係する、複数の事前にトレーニングされたタグ付け器モデル１３０ａを得る。事前にトレーニングされたタグ付け器モデル１３０ａを、対象となっている状況に関係する１つまたは複数のクラスに対応する１つまたは複数のサブクラスと関連づけて、上記で説明したクラスタ化するステップ３０８の前に抽出した同じマスタ特徴セットによりトレーニングする。さらにまた、タグ付け器モデル１３０ａの事前トレーニングは、限定された１組の状況特有の画像を使用するステップを伴い、そこでは、１組の画像は、入力モジュール１２０ａで受信した画像の一部であってもよい。事前にトレーニングされたタグ付け器モデル１３０ａは、ステップ３１２ｂで、第１水準の分類で識別した１つまたは複数のクラスを１つまたは複数のサブクラスへ分類するのを容易にする。一実施形態では、事前に規定されたしきい値以下の信頼水準に関連する画像を使用して、ステップ３１２ｄで、事前にトレーニングされたどのタグ付け器モデル１３０ａを再トレーニングしてもよいかに基づき、ステップ３１２ｃで、分類された１つまたは複数のサブクラスに関する信頼水準を計算してもよい。再度トレーニングされたタグ付け器モデルは、分類モデル１３０ｄを提示する。再トレーニングおよび関連する自己学習により、システム２００は、最初の反復だけで行われる最小の人間介在でインテリジェントになり、コンピュータビジョン要件に適応可能になる。本開示の一実施形態では、ステップ３１０で、人間またはエキスパートシステムによるエキスパートが介在するために提示されたインタフェースまたはコンソールは、対象となっている状況に基づき１つまたは複数のクラスに関連する１つまたは複数のサブクラスにタグを付けるステップを伴ってもよい。数回の反復および再トレーニング後、エキスパート検証およびタグ付けは必要ない場合があり、受信画像は、システム２００により自動的にタグが付けられてもよく、関連メタデータはまた、データベース１３０ｇで更新されてもよい。その結果、複数の事前にトレーニングされたタグ付け器モデル１３０ａは、対象となっている状況の全分類法を集合的に取り込むことができることが留意されてもよい。

【0047】

一実施形態では、分類モジュール１３０ｆは、ステップ３１２ｄで、事前にトレーニングされたタグ付け器モデル１３０ａを再度トレーニングする前に、得たメタデータを用いて、事前に規定されたしきい値以下の信頼水準に関連する受信データを評価して、エキスパートタグ付けに基づき、再トレーニングのための妥当な理由を保証するようにさらに構成されてもよい。

【0048】

一実施形態では、分類モジュール１３０ｆは、ステップ３１２ｅで、１つまたは複数のクラス、その中の１つまたは複数のサブクラス、およびそれらの相互関係に基づき、知識オントロジを作成するようにさらに構成されてもよい。受信画像から適応的に学習することにより受信画像から知識オントロジを作成することにより、本開示のシステムおよび方法は、新しい受信画像を分類することが可能になるだけではなく、特定の空間および／時間にわたり画像内の対象物の特性変化も識別することが可能になる。識別した特性の品質は、画像に関して利用可能なメタデータの水準に依存してもよい。事前にトレーニングされたタグ付け器モデル１３０ａの自己学習および再トレーニングは、各反復に伴い知能を追加し、かつ人間のエキスパートへの依存性をなくすことにより、知識モデルを強化するのに寄与することが留意されてもよい。対象となっている農業の状況に関しては、包括的知識オントロジの形で利用可能な、さまざまな農作物、それらの生育段階、および健康状態に関する分類モデルは、本開示のシステムおよび方法を使用して取り込んだ画像内の農作物を解釈するのに役立つ。たとえば、農業経営者が、移動体アプリケーションによって、病気にかかった農作物の画像を取り込む場合、本開示のシステムは、植物の生育段階、およびその段階の範囲内で病気の影響を受けた農作物を検出することができる。これはさらにまた、農作物を保護するために実装することができる、必要な救済策を示唆するのに役立つ可能性がある。さらに、カメラセンサを使用して農作物を監視している間、所与の生育条件にある植物の生育周期および健康もまた学習することができる。これは、特定の種類の農作物がどのように生育しているか、およびどういう状態にあるかに関して農業経営者と共有することができる知識に加えられる。

【0049】

一実施形態では、１つまたは複数のクラス、１つまたは複数のサブクラス、複数の分類モデル、および知識オントロジを、ステップ３１４の一部として、受信画像および関連メタデータが記憶されたデータベース１３０ｇに記憶してもよい。

【0050】

分散フレームワークの一部として、システム２００をクラウド−エッジトポロジで実装したとき、クラウドエンド１３０上の特徴抽出器１３０ｃおよび分類モデル１３０ｄを、特徴抽出器１２０ｃおよび分類モデル１２０ｄとしてエッジエンドに導入して、エッジエンド１２０とクラウドエンド１３０の間の接続性に依存することなく、受信画像に関してエッジ上でリアルタイム推論するために、これらの機能モジュールの現行バージョンがエッジエンド１２０で利用可能であることを確実にする。

【0051】

エッジエンド１２０で更新された機能モジュールは、入力モジュール１２０ａに知能を提供して、受信画像のサブセットをインテリジェントに識別し、その後の反復でクラウドエンド１３０に伝送することを可能にする。インテリジェントな識別は最初に、受信画像に関連するエントロピー値に基づき、受信画像が有効かどうかを判断するステップを伴う。次いで、有効な受信画像と、対象となっている状況に基づく適応しきい値である所定の数の先行画像を比較して、先行画像に関連する１つまたは複数のサブクラスに受信画像が適合するかどうかを判断する。

【0052】

従来、異なる分類方法が公知であるが、本開示のシステムおよび方法は、ラベル付けおよびエキスパートの介在が最小であるが、より高い正確さでデータベース内の画像を分類し、タグを付けるのを容易にする。タグを付けるために人間のエキスパートの介在が起動されるのは、最初の反復だけであってもよく、それも限定された１組の画像に対してであり、その後、事前にトレーニングされたタグ付け器モデルの自己学習および再トレーニングにより、本開示のシステムおよび方法に適応能力が提供される。本開示のシステムおよび方法は、画像を自動的に取り込み、階層的手法で画像を分類し、管理されていないクラスタ化と管理された分類の、ある種の組合せを使用して自己学習および再トレーニングして、多数の画像をカテゴリに分類し、適切にラベルを付けるのを容易にし、それにより、時空間画像の自動推論のための正確で拡張性のある効率的システムおよび方法を提供する。
評価結果

【0053】

「ＣＮＮを使用する分類」に広範囲に関係がある既存の方法を参照して、以下の実験は、ＣＮＮから抽出した特徴を使用する、本開示の階層的クラスタに基づく分類方法が正確に機能することを論証する。

【0054】

比較研究のために使用した画像データセットは、１０のクラスからなる。
１． 柑橘類果実−褐色の斑点
２． 柑橘類果実−白色の斑点
３． 柑橘類の葉−黄変
４． 柑橘類の樹幹−樹脂病
５． ブドウの葉−健康
６． ブドウの葉−黄変
７． 茶葉−黒い斑点
８． 茶葉−褐色の斑点
９． 茶葉−健康
１０． 茶葉−害虫が寄生した
比較研究を遂行するために使用したデータセットは、対象となっている方法すべてについて同じである。

【0055】

本開示の方法は、従来技術に比べて、事前にトレーニングされたＣＮＮから得た特徴を使用する、画像のクラスタ化（管理されない分類）を伴う。したがって、ＣＮＮを使用する管理された分類手法と本開示の方法の間の結果の比較を以下に提供する。

【0056】

方法１（従来技術）：画像を所定の数のクラス（可能なクラスすべて、単一水準の分類）に分類するために、状況に関係する、ラベルの付いた画像セットを用いてＣＮＮをトレーニングする。

【0057】

方法２（単一水準の分類を用いた、本開示の修正版）：事前にトレーニングされた（状況に非依存性の）ＣＮＮから特徴を抽出し、分類器を使用して、所定の数のサブクラスすべて（可能なクラスすべて、単一水準の分類）で画像を分類する。

【0058】

方法３（本開示）：事前にトレーニングされた（状況に非依存性の）ＣＮＮから特徴を抽出し、画像を広範なクラスにクラスタ化し、各クラスタをそのサブクラスにさらに分類する。

【0059】

本開示のシステム／方法の第１の反復で使用したデータの量は、２４３の画像であり、そこから、２１８の画像を使用して、分類システムをトレーニングおよび検証し、２５の画像を使用して、本開示のシステム／方法を試験する。
結果：

【0060】

方法１（従来技術）：上述のデータセットでＣＮＮモデルをトレーニングした。
分類の正確さ：５２％
混同行列：
ラベル：褐変柑橘類、柑橘類の葉、病気にかかったブドウ、健康なブドウ、茶葉の黒い斑点、茶葉の褐色の斑点、健康な茶葉、茶葉の害虫、樹幹の樹脂病、白い柑橘類。

【表1-1】

【0061】

分類レポート：

【0062】

【表1-2】

【0063】

方法１のＣＮＮ分類器は、データの量が過剰適合をもたらすことがほとんどないので、低い正確さを示す。

【0064】

方法２（単一水準の分類を用いた、本開示の修正版）：ＣＮＮから抽出した特徴について、分類器をトレーニングして、データを１０の公知のクラスに分類した。
分類の正確さ：８０％
混同行列：
ラベル：褐変柑橘類、柑橘類の葉、病気にかかったブドウ、健康なブドウ、茶葉の黒い斑点、茶葉の褐色の斑点、健康な茶葉、茶葉の害虫、樹幹の樹脂病、白い柑橘類。

【表2-1】

【0065】

【表2-2】

【0066】

これらの結果から、異なる病気／健康状態を有する同じ植物の葉の間に誤分類が存在することが留意されてもよい。単一水準の分類は、同じ種類の葉／果実のサブクラス間の軽微な差を区別することができないと推論してもよい。

【0067】

方法３（本開示）：
分類の正確さ：９３．７５％
混同行列：

【0068】

【表3】

【0069】

分類レポート：

【0070】

【表4】

【0071】

本開示の方法で識別したサブクラスは、対応する混同行列から分かるように、上記の方法１および方法２を使用して間違って分類された茶葉のクラスタからの画像に対して、より細かな分類を提供する。

【0072】

上記の方法１および方法２では、よりよい正確さに必要なデータの量はより多く、指摘された誤分類は、クラス間の高い類似性による。さらに、既存の１０のクラスと異なる新しいクラス１つだけが導入された場合でさえ、分類器を再度トレーニングする必要がある。また、クラスすべてを一緒に分類している間、いくつかのクラス間の高い類似性（たとえば、同じ農作物の葉の病状）のために、分類の正確さは低下する。

【0073】

本開示の方法３では、最初に利用可能なデータがより少ないときでさえ、正確さは比較的よい。クラスへの粗い第１水準のクラスタ化の形で複数の水準の分類を遂行し、サブクラスへのさらにより細かな分類を遂行することにより、得られる正確さが改善される。さらに、クラスタ方式の分類器は互いに依存しないので、新しいクラスを導入しなければならない場合、当技術分野で公知の方法１および方法２と異なり、分類システム全体を再度トレーニングする代わりに、そのクラスタのサブクラスに属する画像の分類器だけをトレーニングする必要がある。

【0074】

記載した説明は、当業者が実施形態を作成し、使用することができるようにする、本明細書の主題について説明している。主題の実施形態の範囲は、特許請求の範囲により規定され、当業者が思いつく他の修正形態を含んでもよい。そのような他の修正形態は、特許請求の範囲の文言と異ならない類似の要素を有する場合、または特許請求の範囲の文言とわずかな差を有する均等の要素を含む場合、特許請求の範囲に入ることが意図される。

【0075】

本明細書で規定する主題の実施形態の範囲は、当業者が思いつく他の修正形態を含んでもよい。そのような他の修正形態は、特許請求の範囲の文言と異ならない類似の要素を有する場合、または特許請求の範囲の文言とわずかな差を有する均等の要素を含む場合、特許請求の範囲に入ることが意図される。

【0076】

保護の範囲は、そのようなプログラムに、さらには中にメッセージを有するコンピュータ可読手段に拡張され、そのようなコンピュータ可読記憶手段は、プログラムがサーバもしくは移動体機器、または任意の適切なプログラム可能機器上で走るとき、方法の１つまたは複数のステップを実装するためのプログラムコード手段を含有することを理解されたい。ハードウェア機器は、たとえば、サーバもしくはパーソナルコンピュータなど、またはそれらの任意の組合せのような任意の種類のコンピュータを含む、プログラムすることができる任意の種類の機器とすることができる。機器はまた、たとえば、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）などのハードウェア手段、またはＡＳＩＣおよびＦＰＧＡなどのハードウェアとソフトウェアの組合せ、または少なくとも１つのマイクロプロセッサおよび中にソフトウェアモジュールが配置されたメモリとすることができる手段を含んでもよい。したがって、手段は、ハードウェア手段とソフトウェア手段の両方を含むことができる。本明細書で説明する方法を、ハードウェアおよびソフトウェアの形で実装することができる。機器はまた、ソフトウェア手段を含んでもよい。あるいは、たとえば複数のＣＰＵを使用して、異なるハードウェア機器上に実施形態を実装してもよい。

【0077】

本明細書の実施形態は、ハードウェア要素およびソフトウェア要素を備えることができる。ソフトウェアの形で実装された実施形態は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、それらに限定されない。本明細書で説明するさまざまなモジュールが遂行する機能を、他のモジュール、または他のモジュールの組合せで実装してもよい。本明細書が意図するところでは、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、もしくは機器により、またはそれらと共に使用するためのプログラムを備える、記憶する、伝達する、伝播する、または支援することができる任意の装置とすることができる。

【0078】

さらに、処理ステップ、方法ステップ、技法などについて連続した順序で説明する場合があるが、そのような処理、方法、および技法を、代わりの順序で作動するように構成してもよい。換言すれば、説明する場合があるステップのシーケンスまたは順序は、ステップをその順序で遂行するという要件を示すわけでは必ずしもない。本明細書で説明する処理のステップを、任意の実際的な順序で遂行してもよい。さらに、いくつかのステップを同時に遂行してもよい。

【0079】

例示するステップは、示されている代表的実施形態を説明するために提示され、進展している技術開発により、特定の機能を遂行する手法が変わることを認識されたい。これらの例は、例示のために本明細書に提示され、限定するために提示されているわけではない。さらに、説明の便宜上、機能構成要素の境界について、本明細書で任意に規定してきた。指定された機能およびそれらの関係が適切に遂行される限り、代わりの境界を規定することができる。代替形態（本明細書で説明する実施形態の均等形態、拡張形態、変形形態、偏向形態などを含む）は、本明細書に包含される教示に基づき、当業者に明らかであろう。そのような代替形態は、開示する実施形態の範囲および精神に入る。また、用語「ｃｏｍｐｒｉｓｉｎｇ（備える）」、「ｈａｖｉｎｇ（有する）」、「ｃｏｎｔａｉｎｉｎｇ（含有する）」、および「ｉｎｃｌｕｄｉｎｇ（含む）」、ならびに他の類似の形態は、意味が同等であることが意図され、これらの用語の任意の１つに続く１つまたは複数の項目が、そのような１つまたは複数の項目の網羅的な列挙であることを意味することも、列挙した１つまたは複数の項目だけに限定されることを意味することもないという点で、オープンエンド形式であることが意図される。また、本明細書および添付の特許請求の範囲で使用するとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、前後関係が他の方法で明確に規定しない限り、複数の参照を含むことを留意しなければならない。

【0080】

本開示および例はただ単に代表的であると考えられ、かつ開示する実施形態の真の範囲および精神は、以下の特許請求の範囲により示されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】