▶ コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-14
(45)【発行日】2024-05-22
(54)【発明の名称】連合学習機構を利用した画像ＩｏＴプラットフォーム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240515BHJP
G06N 3/04 20230101ALI20240515BHJP
G06N 3/08 20230101ALI20240515BHJP
G06N 3/098 20230101ALI20240515BHJP
G06N 20/00 20190101ALI20240515BHJP
【ＦＩ】
G06T7/00 350B
G06N3/04
G06N3/08
G06N3/098
G06N20/00
【請求項の数】
12
【外国語出願】
(21)【出願番号】P 2022092036
(22)【出願日】2022-06-07
(65)【公開番号】P2023051723
(43)【公開日】2023-04-11
【審査請求日】2023-01-25
(31)【優先権主張番号】17/490,086
(32)【優先日】2021-09-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519448326
【氏名又は名称】コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッド
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】天野 純
【審査官】新井 則和
(56)【参考文献】
【文献】国際公開第２０２１／０７９７９２（ＷＯ，Ａ１）
【文献】国際公開第２０２１／０７５０２３（ＷＯ，Ａ１）
【文献】特表２００９－５１４１０９（ＪＰ，Ａ）
【文献】特開２０２０－２０１７３１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／０１５０２６９（ＵＳ，Ａ１）
【文献】西川 由理 外，人物検出における学習データ拡張のためのＣｙｃｌｅＧＡＮの分散深層学習，情報処理学会研究報告 Ｖｏｌ．２０１９－ＨＰＣ－１７２ Ｎ０．５，2019年12月18日
【文献】Chetan Nadiger et al.，Federated Reinforcement Learning for Fast Personalization，2019 IEEE Second International Conference on Artificial Intelligence and Knowledge Engineering (AIKE)，2019年06月03日，https://ieeexplore.ieee.org/document/8791693
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ２０／００
Ｇ０６Ｎ ３／０８
Ｇ０６Ｎ ３／０４
(57)【特許請求の範囲】
【請求項1】
ネットワークを介して複数のエッジデバイスに接続されたクラウドサーバであって、事前学習され画像解析を最適化するために用いられる共通の機械学習（ＭＬ）モデルを格納するストレージと、
プロセッサと、を備え、前記プロセッサが、
ローカルに最適化されたＭＬモデルを作成するために、ローカルデータを用いて前記画像解析を最適化し、前記共通のＭＬモデルを修正する、前記複数のエッジデバイスの各々に、前記共通のＭＬモデルを配布することと、
前記ローカルに最適化されたＭＬモデルの収集や前記ローカルデータへのアクセスを行わずに、前記複数のエッジデバイスの各々から最適化結果の主要パラメータを収集することと、
より正確な画像解析のため前記共通のＭＬモデルを継続的に改善するために、前記主要パラメータを前記共通のＭＬモデルに所定のタイミングで反映させることにより、前記ストレージに格納された前記共通のＭＬモデルを更新することと、
を繰り返し実行し、
前記クラウドサーバが、前記複数のエッジデバイスの各々のデータ容量よりも大きなデータ容量を有するエッジサーバであって、前記ネットワークを介して画像解析を実行するエッジサーバに更に接続されており、
前記プロセッサが、前記複数のエッジデバイスの各々にダウンサイズした共通のＭＬモデルを、前記共通のＭＬモデルとして、配布する一方で、前記エッジサーバにはダウンサイズせずに前記共通のＭＬモデルを配布する、クラウドサーバ。
【請求項2】
前記ストレージが、前記共通のＭＬモデルを含む異なる種類の複数の共通のＭＬモデルを格納し、前記複数のエッジデバイスのうちの１つからの要求に応答して、前記プロセッサが、当該複数のエッジデバイスのうちの１つにおいて実行される画像解析に応じて、前記複数の共通のＭＬモデルのうちから配布する１つを選択する、請求項１に記載のクラウドサーバ。
【請求項3】
前記画像解析が、リアルタイムのオブジェクト検出とモーショントラッキングのためのビデオ画像解析であり、前記共通のＭＬモデルが、ディープニューラルネットワーク（ＤＮＮ）コンピュータビジョンアルゴリズムである、請求項１又は２に記載のクラウドサーバ。
【請求項4】
前記主要パラメータが、前記ローカルに最適化されたＭＬモデルが作成されたときに連続するビデオフレームから得られたオプティカルフローを含む、請求項１又は２に記載のクラウドサーバ。
【請求項5】
ネットワークを介して複数のエッジデバイスに接続されたクラウドサーバであるコンピュータによって実行される、プログラムであって、前記コンピュータに、事前学習され画像解析を最適化するために用いられる共通の機械学習（ＭＬ）モデルをストレージに格納することを実行させ、
ローカルに最適化されたＭＬモデルを作成するために、ローカルデータを用いて前記画像解析を最適化し、前記共通のＭＬモデルを修正する前記複数のエッジデバイスの各々に、前記共通のＭＬモデルを配布することと、
前記ローカルに最適化されたＭＬモデルの収集や前記ローカルデータへのアクセスを行わずに、前記複数のエッジデバイスの各々から最適化結果の主要パラメータを収集することと、
より正確な画像解析のため前記共通のＭＬモデルを継続的に改善するために、前記主要パラメータを前記共通のＭＬモデルに所定のタイミングで反映させることにより、前記ストレージに格納された前記共通のＭＬモデルを更新することと、
を繰り返し実行することを実行させ、
前記クラウドサーバが、前記複数のエッジデバイスの各々のデータ容量よりも大きなデータ容量を有するエッジサーバであって、前記ネットワークを介して画像解析を実行するエッジサーバに更に接続されており、
前記コンピュータが、前記複数のエッジデバイスの各々にダウンサイズした共通のＭＬモデルを、前記共通のＭＬモデルとして、配布する一方で、前記エッジサーバにはダウンサイズせずに前記共通のＭＬモデルを配布することを、更に実行する、プログラム。
【請求項6】
前記コンピュータが、前記共通のＭＬモデルを含む異なる種類の複数の共通のＭＬモデルを格納することと、
前記複数のエッジデバイスのうちの１つからの要求に応答して、当該複数のエッジデバイスのうちの１つにおいて実行される画像解析に応じて、前記複数の共通のＭＬモデルのうちから配布する１つを選択することと、を更に実行する、請求項５に記載のプログラム。
【請求項7】
前記画像解析が、リアルタイムのオブジェクト検出とモーショントラッキングのためのビデオ画像解析であり、前記共通のＭＬモデルが、ディープニューラルネットワーク（ＤＮＮ）コンピュータビジョンアルゴリズムである、請求項５又は６に記載のプログラム。
【請求項8】
前記主要パラメータが、前記ローカルに最適化されたＭＬモデルが作成されたときの連続するビデオフレームから得られたオプティカルフローを含む、請求項５又は６に記載のプログラム。
【請求項9】
ネットワークを介して複数のエッジデバイスに接続されたクラウドサーバを用いる連合学習（ＦＬ）方法であって、事前学習され画像解析を最適化するために用いられる共通の機械学習（ＭＬ）モデルのストレージへ格納することを備え、
ローカルに最適化されたＭＬモデルを作成するために、ローカルデータを用いて前記画像解析を最適化し、前記共通のＭＬモデルを修正する前記複数のエッジデバイスの各々に、前記共通のＭＬモデルを配布することと、
前記ローカルに最適化されたＭＬモデルの収集や前記ローカルデータへのアクセスを行わずに、前記複数のエッジデバイスの各々から最適化結果の主要パラメータを収集することと、
より正確な画像解析のため前記共通のＭＬモデルを継続的に改善するために、前記主要パラメータを前記共通のＭＬモデルに所定のタイミングで反映させることにより、前記ストレージに格納された前記共通のＭＬモデルを更新することと、
を繰り返し実行することを備え、
前記クラウドサーバが、前記複数のエッジデバイスの各々のデータ容量よりも大きなデータ容量を有するエッジサーバであって、前記ネットワークを介して画像解析を実行するエッジサーバに更に接続されており、
前記配布することが、前記複数のエッジデバイスの各々にダウンサイズした共通のＭＬモデルを、前記共通のＭＬモデルとして、配布する一方で、前記エッジサーバにはダウンサイズせずに前記共通のＭＬモデルを配布することを含む、方法。
【請求項10】
前記格納することが、前記共通のＭＬモデルを含む異なる種類の複数の共通のＭＬモデルを格納することを含み、前記配布することが、前記複数のエッジデバイスのうちの１つからの要求に応答して、当該複数のエッジデバイスのうちの前記１つにおいて実行される画像解析に応じて、前記複数の共通のＭＬモデルのうちから配布する１つを選択することを含む、請求項９に記載のＦＬ方法。
【請求項11】
前記画像解析が、リアルタイムのオブジェクト検出とモーショントラッキングのためのビデオ画像解析であり、前記共通のＭＬモデルが、ディープニューラルネットワーク（ＤＮＮ）コンピュータビジョンアルゴリズムである、請求項９又は１０に記載のＦＬ方法。
【請求項12】
前記主要パラメータが、前記ローカルに最適化されたＭＬモデルが作成されたときに連続するビデオフレームから得られたオプティカルフローを含む、請求項９又は１０に記載のＦＬ方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、連合学習（ＦＬ）機構を利用し、ユーザーのデータプライバシーを保護しながら、ユーザーに高度なビジョンベースの人工知能（ＡＩ）／機械学習（ＭＬ）ツールを提供する画像ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）プラットフォームに関する。
【発明の概要】
【発明が解決しようとする課題】
【0002】
画像ＩｏＴプラットフォームは、医療診断のための画像解析、人間の行動分析、セキュリティ制御などの分野で、ビジョンベースのＡＩ／ＭＬツールをユーザーに提供する。近年、画像ＩｏＴプラットフォームにおいて、ユーザーの利便性を損なわず、ユーザーのデータプライバシーを保護することが求められている。
【0003】
一方、従来のＦＬ機構は、ローカルデータを集中的に収集することなく、分散状態で一部のユーザーが協力して共通のＭＬモデルを構築する分散学習パラダイムとして利用されてきた。
【課題を解決するための手段】
【0004】
本願の１つまたは複数の実施形態は、クラウドサーバとエッジデバイス／サーバとで構成され、エッジデバイス／サーバのデータプライバシーを保護しつつ、共通のＭＬモデルを継続的に改善することにより、堅牢な共通のＭＬモデルによるＦＬ機構を実現するＩｏＴシステムで実施される画像ＩｏＴプラットフォームを提供する。
【0005】
１つまたは複数の実施形態により、ネットワークを介して複数のエッジデバイスに接続されたクラウドサーバであって、事前学習され画像解析を最適化するために用いられる共通の機械学習（ＭＬ）モデルを格納するストレージと、プロセッサと、を備え、プロセッサが、ローカルに最適化されたＭＬモデルを作成するために、ローカルデータを用いて画像解析を最適化し、共通のＭＬモデルを修正する複数のエッジデバイスの各々に、共通のＭＬモデルを配布することと、ローカルに最適化されたＭＬモデルの収集やローカルデータへのアクセスを行わずに、複数のエッジデバイスの各々から最適化結果の主要パラメータを収集することと、より正確な画像解析のため共通のＭＬモデルを継続的に改善するために、主要パラメータを共通のＭＬモデルに所定のタイミングで反映させることにより、ストレージに格納された共通のＭＬモデルを更新することと、を繰り返し実行し、クラウドサーバが、複数のエッジデバイスの各々のデータ容量よりも大きなデータ容量を有するエッジサーバであって、ネットワークを介して画像解析を実行するエッジサーバに更に接続されており、プロセッサが、複数のエッジデバイスの各々にダウンサイズした共通のＭＬモデルを、共通のＭＬモデルとして、配布する一方で、エッジサーバにはダウンサイズせずに共通のＭＬモデルを配布する、クラウドサーバを提供する。
【0006】
１つまたは複数の実施形態により、ネットワークを介して複数のエッジデバイスに接続されたクラウドサーバであるコンピュータによって実行される、プログラムであって、コンピュータに、事前学習され画像解析を最適化するために用いられる共通の機械学習（ＭＬ）モデルをストレージに格納することを実行させ、ローカルに最適化されたＭＬモデルを作成するために、ローカルデータを用いて画像解析を最適化し、共通のＭＬモデルを修正する複数のエッジデバイスの各々に、共通のＭＬモデルを配布することと、ローカルに最適化されたＭＬモデルの収集やローカルデータへのアクセスを行わずに、複数のエッジデバイスの各々から最適化結果の主要パラメータを収集することと、より正確な画像解析のため共通のＭＬモデルを継続的に改善するために、主要パラメータを共通のＭＬモデルに所定のタイミングで反映させることにより、ストレージに格納された共通のＭＬモデルを更新することと、を繰り返し実行することを実行させ、クラウドサーバが、複数のエッジデバイスの各々のデータ容量よりも大きなデータ容量を有するエッジサーバであって、ネットワークを介して画像解析を実行するエッジサーバに更に接続されており、コンピュータが、複数のエッジデバイスの各々にダウンサイズした共通のＭＬモデルを、共通のＭＬモデルとして、配布する一方で、エッジサーバにはダウンサイズせずに共通のＭＬモデルを配布することを、更に実行する、プログラムを提供する。
【0007】
１つまたは複数の実施形態により、ネットワークを介して複数のエッジデバイスに接続されたクラウドサーバを用いる連合学習（ＦＬ）方法であって、事前学習され画像解析を最適化するために用いられる共通の機械学習（ＭＬ）モデルのストレージへ格納することを備え、ローカルに最適化されたＭＬモデルを作成するために、ローカルデータを用いて画像解析を最適化し、共通のＭＬモデルを修正する複数のエッジデバイスの各々に、共通のＭＬモデルを配布することと、ローカルに最適化されたＭＬモデルの収集やローカルデータへのアクセスを行わずに、複数のエッジデバイスの各々から最適化結果の主要パラメータを収集することと、より正確な画像解析のため共通のＭＬモデルを継続的に改善するために、主要パラメータを共通のＭＬモデルに所定のタイミングで反映させることにより、ストレージに格納された共通のＭＬモデルを更新することと、を繰り返し実行することを備え、クラウドサーバが、複数のエッジデバイスの各々のデータ容量よりも大きなデータ容量を有するエッジサーバであって、ネットワークを介して画像解析を実行するエッジサーバに更に接続されており、配布することが、複数のエッジデバイスの各々にダウンサイズした共通のＭＬモデルを、共通のＭＬモデルとして、配布する一方で、エッジサーバにはダウンサイズせずに共通のＭＬモデルを配布することを含む、方法を提供する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
具体的な実施形態を、添付の図面を参照して詳細に説明する。複数の図における同様の構成要素は、一貫性を保つため、同様の参照符号で示される。簡略化のため、すべての図に同様の要素を表記していない場合がある。
【0010】
本開示の実施形態の以下の詳細な説明では、本開示のより徹底した理解を提供するために、多数の具体的な詳細が記載されている。しかし、当業者であれば、本開示はこれらの特定の詳細なしに実施され得ることが明らかであろう。他の例では、不必要に複雑な記述を避けるために、周知の特徴を詳細に記述していない。
【0011】
本願全体を通して、序数（例えば、第１、第２、第３など）は、要素（すなわち、本願の任意の名詞）に対する形容詞として使用することができる。序数の使用は、「前」「後」「単」などの用語の使用によって明示的に開示されない限り、要素の特定の順序を示唆または作成したり、要素を単一の要素のみに限定するものではない。むしろ、序数を使うのは、要素を区別するためである。一例として、第１の要素は第２の要素と区別され、第１の要素は複数の要素を包含し、要素の順序において第２の要素を継承する（または先行する）ことができる。
【0012】
単数形の「ａ」、「ａｎ」および「ｔｈｅ」は、文脈上明らかにそうでない場合を除き、複数の参照語を含むものと理解される。したがって、例えば、「水平ビーム」という言及は、そのようなビームの１つまたは複数の言及を含む。
【0013】
複数の従属請求項は導入されていないが、１つまたは複数の実施形態の従属請求項の主題を他の従属請求項と組み合わせることができることは、当業者には明らかであろう。
【0014】
［画像ＩｏＴプラットフォーム］
【0015】
本発明の１つまたは複数の実施形態は、画像ＩｏＴプラットフォーム、共通のＭＬモデル（すなわち、イメージングＡＩアルゴリズム）、及びセンシングデバイス（例えば、スマートカメラ）で構成されるエコシステムを提供する。画像ＩｏＴプラットフォームは、エッジデバイス／サーバのユーザー（ビジネスパートナーや顧客など）にＡＰＩドキュメント、サンプルコード、テストプログラムなどを含むソフトウェア開発キット（ＳＤＫ）を提供し、医療診断用画像解析、人間行動分析、セキュリティ制御などの分野における各種ビジネスで非接触・遠隔・リアルタイム対応を可能にする。
【0016】
［ＩｏＴシステム］
【0017】
１つまたは複数の実施形態において、画像ＩｏＴプラットフォームは、クラウドサーバとエッジデバイス／サーバとで構成され、エッジデバイス／サーバのデータプライバシーを保護しつつ、共通のＭＬモデルを継続的に改善することにより、堅牢な共通のＭＬモデルによるＦＬ機構を実現するＩｏＴシステムで実施される。
【0018】
図１は、本発明の１つまたは複数の実施形態に係るＩｏＴシステム１０００の概略図である。ＩｏＴシステム１０００は、クラウドサーバ１００と、複数のエッジデバイス２００と、クライアントサーバ３００と、管理サーバ４００とを備え、これらは、ネットワークインターフェース接続（図示せず）を介してネットワーク５００（例えば、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ））に接続されている。
【0019】
１つまたは複数の実施形態のクラウドサーバ１００は、クラウド環境で提供される仮想サーバであり、ビジネスパートナーや顧客にＳＤＫを提供する企業が所有する物理サーバ（例えば、パーソナルコンピュータ（ＰＣ））で実装してもよい。
【0020】
１つまたは複数の実施形態のエッジデバイス２００は、顧客によって使用され、センシングデバイス（例えば、セキュリティカメラ、モニタリングカメラ、スマートウォッチなど）及びセンシングデバイスに接続された携帯デバイス（例えば、スマートフォン、タブレット、ノートパソコンなど）を含む。
【0021】
１つまたは複数の実施形態のエッジサーバ３００は、企業のビジネスパートナーが所有するサーバ（例えば、ＰＣ）であり、エッジデバイス２００のものよりも高性能かつ大容量のデータ容量を有していてもよい。
【0022】
１つまたは複数の実施形態の管理サーバ４００は、ＩｏＴシステム１０００に設けられた物理サーバで実装される仮想サーバであり、クラウド環境においてクラウドサーバ１００と協働する。
【0023】
エッジデバイス２００、エッジサーバ３００、管理サーバ４００の数は図示例に限定されず、クラウドサーバ１００は、ネットワーク５００内の別のデバイス／サーバ、または別のネットワークにさらに接続されていてもよい。
【0024】
図２は、１つまたは複数の実施形態に係るＩｏＴシステムのハードウェア図である。ＩｏＴシステム１０００は、クラウドサーバ１００と、エッジデバイス２００Ａ－２００Ｃ（すなわち、セキュリティカメラ２００Ａ、モニタリングカメラ２００Ｂ、及びスマートフォン２００Ｃ）と、クライアントサーバ３００と、管理サーバ４００とを備え、これらはネットワーク５００を介して互いに接続されている。
【0025】
［クラウドサーバ］
【0026】
クラウドサーバ１００は、エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００の各々に、共通のＭＬモデルを配布する。エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００が後述するローカルに最適化されたＭＬモデルを作成した後、クラウドサーバ１００が最適化結果の主要パラメータ（複数可）を収集し、主要パラメータを反映してストレージ１２０に格納された共通のＭＬモデルを更新し、より正確な画像解析のために共通のＭＬモデルを継続的に改善させる。
【0027】
クラウドサーバ１００は、中央処理装置（ＣＰＵ）及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックス処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）と特定用途向け集積回路（ＡＳＩＣ）などのＡＩ／ＭＬアクセラレータ、ランダムアクセスメモリ（ＲＡＭ）、及び読出し専用メモリ（ＲＯＭ）を備えるプロセッサ１１０と、ハードディスクなどのストレージ１２０と、及び、タッチスクリーン、キーボード、マウス、マイク、タッチパッド、電子ペン、または任意の他のタイプの入力装置などの入力装置を含み得、かつ画面（例：液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチスクリーン、陰極線管（ＣＲＴ）モニタ、プロジェクタ、または任意の他のディスプレイデバイス）、スピーカー、プリンタ、外部ストレージ、または任意の他の出力装置などの出力装置をも含み得る入力／出力（Ｉ／Ｏ）インターフェース１３０と、を備える。
【0028】
図１に示すように、ストレージ１２０には、共通のＭＬモデルとして、正確な画像解析のためのイメージングＡＩアルゴリズムが格納されている。共通のＭＬモデルは、事前学習され（又は、以前に学習済み）、エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００において実行される画像解析を最適化するために用いられる。また、ストレージ１２０には、データ分析用ＡＩアプリケーション、リモートデバイス管理アプリケーション、企業のポータルサイト、その他各種アプリケーション、ＳＤＫを格納してもよい。
【0029】
１つまたは複数の実施形態において、ストレージ１２０は、エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００において実行される画像解析を最適化するために事前学習され使用される複数の（異なるサイズ及び／又は異なる種類の）共通のＭＬモデルを格納する。
【0030】
図２に戻り、プロセッサ１１０は、エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００の各々に、共通のＭＬモデルを配布する。１つまたは複数の実施形態において、エッジデバイス２００Ａ－２００Ｃ及びエッジサーバ３００のうちの１つからの要求に応答して、プロセッサ１１０は、エッジデバイス２００Ａ－２００Ｃ及びエッジサーバ３００のうちの１つにおいて実行される画像解析に応じて配布する共通のＭＬモデルのうちの１つを選択してもよい。これにより、ビジネスパートナーや顧客の精度目標に対して、より適切な画像解析を行うことができる。
【0031】
エッジデバイス２００Ａ－２００Ｃおよびエッジサーバ３００の各々は、共通のＭＬモデルに基づいて、そこに格納されたローカルデータを用いて画像解析を最適化し、共通のＭＬモデルを修正して、後述のようにローカルに最適化されたＭＬモデルを作成してもよい。その後、プロセッサ１１０は、ローカルに最適化されたＭＬモデルの収集やローカルデータへのアクセスを行わずに、エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００から、最適化結果の主要パラメータを収集する。
【0032】
そして、プロセッサ１１０は、共通のＭＬモデルの主要パラメータを所定のタイミングで反映させることにより、ストレージ１２０に格納された共通のＭＬモデルを更新し、より正確な画像解析のための共通のＭＬモデルの改善を継続的に行う。所定のタイミングとは、例えば、所定時間毎や、Ｉ／Ｏインターフェース１３０を介して入力された指示や、ネットワーク５００内や他のネットワーク内の他の装置／サーバから送信された指示を受信したタイミングなどである。
【0033】
エッジデバイス２００Ａ－２００Ｃのそれぞれについて、プロセッサ１１０は、共通のＭＬモデルの配信、主要パラメータの収集、主要パラメータの共通のＭＬモデルへの反映というサイクルを繰り返し実行し、継続的な改善を図る。このクロスサイロまたはクロスデバイスＦＬにより、プロセッサ１１０は、エッジデバイス２００Ａ－２００Ｃの各々のデータプライバシーを保護しつつ、堅牢な共通のＭＬモデルを構築することができる。
【0034】
同様に、クライアントサーバ３００の各々に関しても、プロセッサ１１０は、エッジデバイス２００Ａ－２００Ｃのサイクルとは独立して上記サイクルを繰り返し実行し、継続的な改善を図る。このクロスサイロまたはクロスサーバＦＬにより、プロセッサ１１０は、クライアントサーバ３００のデータプライバシーを保護しつつ、堅牢な共通のＭＬモデルを構築することができる。
【0035】
１つまたは複数の実施形態において、プロセッサ１１０は、共通のＭＬモデルとして、エッジデバイス２００Ａ－２００Ｃの各々にダウンサイズした共通のＭＬモデルを配布する一方で、エッジサーバ３００にはダウンサイズせずに共通のＭＬモデルを配布するが、これはエッジサーバ３００がエッジデバイス２００Ａ－２００Ｃよりも高い性能と大きなデータ容量を持っている可能性があるからである。共通のＭＬモデルは、データ圧縮などの公知のソフトウェアダウンサイジング手段でサイズダウンすることが可能である。
【0036】
［エッジデバイス］
【0037】
エッジデバイス２００Ａ－２００Ｃは、クラウドサーバ１００から受け取った共通のＭＬモデルに基づいて、そこに格納されたローカルデータを用いて画像解析を最適化し、共通のＭＬモデルを修正して、ローカルに最適化されたＭＬモデルを作成する。
【0038】
図２を参照して、エッジデバイス２００Ａ－２００Ｃの１つとして、セキュリティカメラ２００Ａの構成および機能について説明し、残りのエッジデバイス２００Ｂ－２００Ｃ（すなわち、モニタリングカメラ２００Ｂ、スマートフォン２００Ｃ等）については、それぞれがセキュリティカメラ２００Ａと同様の構成および機能を有していてもよいため、詳しい説明は割愛する。
【0039】
セキュリティカメラ２００Ａは、ローカルデータを用いてリアルタイムにオブジェクト検出やモーショントラッキングなどの画像処理を実行するスマートカメラであってもよい。セキュリティカメラ２００Ａは、中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）からなるプロセッサ２１０Ａ、ハードディスクなどのストレージ２２０Ａ、マイクなどの入力装置を含み、また、スピーカーなどの出力装置を含み得る入力／出力（Ｉ／Ｏ）インターフェース２３０Ａ、及び撮像装置２４０Ａを備える。１つまたは複数の実施形態において、プロセッサ２１０Ａは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックス処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）、及び特定用途向け集積回路（ＡＳＩＣ）などのＡＩ／ＭＬアクセラレータを含むことができる。１つまたは複数の実施形態において、小型化のためにＩ／Ｏインターフェース２３０Ａの少なくとも一部を省略することができる。撮像装置２４０Ａは、電荷結合素子（ＣＣＤ）センサやシーモス（ＣＭＯＳ）センサなどの撮像センサからなり、顧客や背景の静止画像や動画像を含む画像を撮像する。
【0040】
セキュリティカメラ２００Ａは、ネットワーク５００内でパーソナルコンピュータ（ＰＣ）やスマートフォン２００Ｃを含む携帯デバイスなど、顧客が所有する他の機器に接続されてもよい。セキュリティカメラ２００Ａは、撮影した画像を他の装置に送信してもよく、他の装置から送信される信号により、ネットワーク５００を介して、制御及び／又は管理されてもよい。１つまたは複数の実施形態において、他のデバイスは、セキュリティカメラ２００Ａの代わりに、プロセッサ２１０Ａ及びストレージ２２０Ａの機能を実行してもよい。
【0041】
図１に示すように、ストレージ２２０Ａには、ローカルに最適化されたＭＬモデルとして、正確な画像解析を実行するためのイメージングＡＩアルゴリズムが格納されている。１つまたは複数の実施形態において、ローカルに最適化されたＭＬモデルは、共通のＭＬモデルを修正することによって作成され、更新された共通のＭＬモデルに基づいて画像解析が最適化されるたびに、継続的に最適化される。１つまたは複数の実施形態において、画像解析は、リアルタイムのオブジェクト検出とモーショントラッキングのためのビデオ画像解析である。また、ストレージ２２０Ａは、画像ＡＩアクセラレーションアプリケーション（すなわち、グラフィックスアクセラレータアプリケーション）、撮像装置２４０Ａによって撮像された画像を含むローカルデータ、及びデバイス管理アプリケーションを格納してもよい。
【0042】
図２に戻り、プロセッサ２１０Ａは、共通のＭＬモデルを用いて、あるいは、利用可能であればローカルに最適化されたＭＬモデルを用いて、様々な異種視覚データの画像解析をリアルタイムで顧客先で実行する。
【0043】
クラウドサーバ１００から共通のＭＬモデルを受け取ると、プロセッサ２１０Ａは、画像解析を最適化し、共通のＭＬモデルを修正して、ローカルに最適化されたＭＬモデルを作成する。また、プロセッサ２１０Ａは、所定のタイミング、例えば、定期的又はクラウドサーバ１００からの要求を受信するタイミングで、最適化結果の主要パラメータ（複数可）をクラウドサーバ１００に送信する。
【0044】
１つまたは複数の実施形態において、プロセッサ２１０Ａは、Ｉ／Ｏインターフェース２３０Ａ上の画像処理及び画像表示を加速するためのグラフィックスアクセラレータを含んでもよい。
【0045】
なお、残りのエッジデバイス２００Ｂ－２００Ｃは、追加の構成要素で構成されてもよいことは言うまでもない。例えば、スマートフォン２００ＣはＩ／Ｏインターフェースとして、タッチパネルなどの入力装置やその他の種類の入力装置と、画面（例えば、液晶ディスプレイ（ＬＣＤ））などの出力装置やその他の種類の出力装置とで構成されてもよい。
【0046】
［エッジサーバ］
【0047】
セキュリティカメラ２００Ａと同様に、エッジサーバ３００は、クラウドサーバ１００から受け取った共通のＭＬモデルに基づいて、そこに格納されたローカルデータを用いて画像解析を最適化し、共通のＭＬモデルを修正して、ローカルに最適化されたＭＬモデルを作成する。
【0048】
図２に示されるように、エッジサーバ３００は、中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、及び読出し専用メモリ（ＲＯＭ）からなるプロセッサ３１０と、ハードディスクなどのストレージ３２０と、及び、タッチスクリーン、キーボード、マウス、マイク、タッチパッド、電子ペン、または任意の他のタイプの入力装置などの入力装置を含み得、かつ画面（例：液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチスクリーン、陰極線管（ＣＲＴ）モニタ、プロジェクタ、または任意の他のディスプレイデバイス）、スピーカー、プリンタ、外部ストレージ、または任意の他の出力装置などの出力装置をも含み得る入力／出力（Ｉ／Ｏ）インターフェース３３０と、を備える。１つまたは複数の実施形態において、プロセッサ３１０は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックス処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）、及び特定用途向け集積回路（ＡＳＩＣ）などのＡＩ／ＭＬアクセラレータを含むことができる。
【0049】
なお、エッジサーバ３００は、一般的なＰＣが構成する他の構成要素で構成されてもよいことは言うまでもない。１つまたは複数の実施形態において、エッジサーバ３００はまた、撮像装置２４０Ａのものと同様の構造及び機能を有する撮像装置を含んでよく、及び／又は、ネットワーク５００を介して捕捉画像を受け取るためにセキュリティカメラ２００Ａ及びモニタリングカメラ２００Ｂなどのセンシングデバイスに接続されてよい。
【0050】
プロセッサ３１０は、セキュリティカメラ２００Ａのプロセッサ２１０Ａと同様に機能することができる。具体的には、プロセッサ３１０は、様々な異種視覚データの画像解析をリアルタイムに実行し、画像解析を最適化し、ローカルに最適化されたＭＬモデルを作成する。また、プロセッサ３１０は、所定のタイミングで、最適化結果の主要パラメータ（複数可）をクラウドサーバ１００に送信する。
【0051】
［管理サーバ］
【0052】
管理サーバ４００は、クラウドサーバ１００と連携し、取引先や顧客のＩＤ、アカウント、ライセンスなどを管理する。例えば、管理サーバ４００は、クラウドサーバ１００からの要求に応じて、ＩＤ、アカウント、およびライセンスをクラウドサーバ１００に送信する。
【0053】
管理サーバ４００は、図２に例示したクラウドサーバ１００と同様の構成および機能を有していてもよい。図１に示すように、管理サーバ４００は、ＩＤ管理アプリケーション、アカウント管理アプリケーション、およびライセンス管理アプリケーションをストレージに格納することができる。
【0054】
［ＦＬ機構］
【0055】
ＩｏＴシステム１０００は、以下に示すような共通のグローバルデータセットを用いて、ニューラルネットワーク（ＮＮ）やディープニューラルネットワーク（ＤＮＮ）などの共通のアルゴリズムによって作成された共通のＭＬモデルを配布するＦＬ機構を実装している。
【0056】
図３－６は、１つまたは複数の実施形態に係るＦＬ機構の概念図である。
【0057】
図３は、ＦＬ機構のワークフローの一例を示す図である。１つまたは複数の実施形態において、中央サーバ（例えば、クラウドサーバ１００）は、共通のグローバルデータセットによって学習される初期モデル（例えば、共通のＭＬモデル）として統計モデルを選択する。（ステップ１）そして、中央サーバは、最初に事前学習した共通のＭＬモデルをエッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００に送信し、リアルタイムに動作させる（ステップ２）。各ノード（エッジデバイス／サーバなど）は、さらに初期モデルを各自のローカルデータセットでローカルに学習し（ステップ３）、ローカルに学習したモデルの部分（最適化モデルの主要パラメータなど）を中央サーバに返す。中央サーバは、ローカルに学習されたモデルの部分をプールし、他のデータにアクセスすることなく、１つの更新されたグローバルモデル（例えば、更新された共通のＭＬモデル）を生成する（ステップ４）。
【0058】
図４は、１つまたは複数の実施形態によるＦＬ機構のプロセスサイクルの例を示す図である。図４に示すように、クラウドサーバ１００は、まず、学習済みの共通のＭＬモデルをエッジデバイス２００Ａ－２００Ｃに配布し、共通のＭＬモデルのローカルに最適化された後のエッジデバイス２００Ａ－２００Ｃそれぞれから変化量（ΔまたはΣΔ）として示される主要パラメータを収集し、主要パラメータの総和（ΣΔ）を格納する。また、クラウドサーバ１００は、ＮＮ又はＤＮＮのパラメータであり、ＮＮ又はＤＮＮの隠れ層で入力データに適用又は乗算される共通のＭＬモデルの重み（Ｗ）を記憶している。また、１つまたは複数の実施形態において、クラウドサーバ１００は、重みと同様に、ＮＮ又はＤＮＮのパラメータであり、隠れ層で入力データに付加されるバイアス（Ｂ）を利用してもよい。クラウドサーバ１００は、主要パラメータの総和（ΣΔ）で共通のＭＬモデルを更新し、重みと主要パラメータを含む更新後の共通のＭＬモデル（Ｗ＋ΣΔ）を各エッジデバイス２００Ａ－２００Ｃに送信する。主要パラメータ（ΣΔ）を繰り返し反映させることで、共通のＭＬモデルは継続的に改善される。クラウドサーバ１００は、最適な画像解析という顧客の目標を満たすまで、このサイクルを繰り返すことができる。
【0059】
クラウドサーバ１００は、主要パラメータのみを収集することで、通信負荷を大幅に低減し、ストレージ１２０に格納するデータ量を節約することができる。さらに、エッジデバイス２００Ａ－２００Ｃは、主要パラメータのみを返すことにより、クラウドサーバ１００からの要求に対して迅速に応答することができる。また、エッジデバイス２００Ａ－２００Ｃは、自身のデータを共有する必要がないため、データプライバシー、データセキュリティ、データアクセス権などを保護することができる。
【0060】
図５は、動画像解析用ＦＬ機構の処理フローの一例を示す図である。クラウドサーバ１００は、まず、オプティカルフローを主要パラメータとするゴルフスイング練習のＲＧＢビデオクリップから、共通のＭＬモデルとしての「グローバルモデル」を作成する。この共通のＭＬモデルをエッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００のそれぞれに配布し、ローカルＲＧＢビデオクリップを用いてローカルに最適化し、ローカルに最適化された共通のＭＬモデルとして「ローカル修正モデル」を取得する。そして、エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００は、ローカルに最適化されたオプティカルフローのみを返し、クラウドサーバ１００は、エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００から返されたローカルに最適化されたオプティカルフローを用いて「グローバルモデル」の更新を行う。クラウドサーバ１００は、「グローバルモデル」が予め定められた所望の値を満たすまで、この処理を繰り返してもよい。
【0061】
画像解析がオブジェクト検出やモーショントラッキングのための動画像解析である場合、ローカルに得られる視覚データの不均一性（例えば、サイズや動きのばらつき）を克服するために、共通のＭＬモデルが最適化される。
【0062】
画像解析の精度を高めるために、Ｉｍａｇｅ ＮｅｔやＲｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなど、開発されたＤＮＮコンピュータビジョン（ＣＶ）アルゴリズムを使用することができる。先進的なＣＶアルゴリズムは、入力映像からオブジェクトのバウンディングボックスを作成し、監視し、リアルタイムに入力映像を処理することを意図しているが、このアルゴリズムの実装の多くは、時間情報を無視して同一フレーム内のオブジェクトの関係のみを扱っている。
【0063】
この問題を解決できるのが、オプティカルフロー（コンピュータビジョンにおいて、刺激物による人間の視覚認識を記述するために導入されたツール）である。オプティカルフローとは、対象物とセンシングデバイスとの相対的な移動によって生じる、連続するビデオフレーム間の対象物の見かけ上の動きのパターンであってよく、連続するビデオフレーム間に関係を作り出すことができる。例えば、オプティカルフローは、連続するビデオフレームにおける車両の動きの追跡や、連続するビデオフレームにおける人間の動作の認識が可能である。ＦＬ機構では、ローカルに使用するための最適化／カスタマイズのためにオプティカルフローのみを変更するため、ＤＮＮコンピュータビジョンアルゴリズムは、最適化／カスタマイズのために大きな変更／カスタマイズをせずに使用される。
【0064】
１つまたは複数の実施形態において、リアルタイムのオブジェクト検出及びモーショントラッキングのための共通のＭＬモデルは、オープンソース（例えば、オープンソースコンピュータビジョンライブラリ（ＯｐｅｎＣＶ）及びコルナ）からの従来のＤＮＮコンピュータビジョンアルゴリズムを含むことができる。また、１つまたは複数の実施形態のエッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００におけるオプティカルフローとして、画像内の特徴点を解析するスパースオプティカルフローを利用したが、画像全体の画素の動きを解析するデンスオプティカルフローも利用することが可能である。
【0065】
１つまたは複数の実施形態において、共通のＭＬモデルは、Ｙｏｕｔｕｂｅ－８ｍ Ｓｅｇｍｅｎｔｓ Ｄａｔａｓｅｔ又は２０ＢＮ－Ｓｏｍｅｔｈｉｎｇ－Ｓｏｍｅｔｈｉｎｇ Ｄａｔａｓｅｔ Ｖ２などのオープンソースビデオデータセットによって事前学習又は学習されてもよい。
【0066】
図６は、連続する映像フレーム間のオプティカルフローの一例を示す図である。図６において、「（ｘ、ｙ）」は画素の座標位置を示し、「Ｉ（ｘ、ｙ、ｔ）」は時刻「（ｔ）」に撮影された最初のビデオフレームにおける画素強度を示している。時刻「（ｔ＋ｄｔ）」に撮影された２つ目の映像フレームでは、画素の座標位置は「（ｘ＋ｄｘ、ｙ＋ｄｙ）」に移動し、画素強度は「Ｉ（ｘ＋ｄｘ、ｙ＋ｄｙ、ｔ＋ｄｔ）」と表現することができる。１フレーム目と２フレーム目では画素の強度が変わらないため、２次元平面上の画素の「Ｉ（ｘ、ｙ、ｔ）」と「Ｉ（ｘ＋ｄｘ、ｙ＋ｄｙ、ｔ＋ｄｔ）」から動きベクトル（ｕ、ｖ）を得ることができる。
【0067】
異なる時間軸のビデオフレームの注目領域から動きベクトルを推定することで、画像解析の最適化を実現することができる。動きベクトルは、物体と観測者の相対速度で定義される。動きベクトルを推定する方法としては、特異値分解（ＳＶＤ）を用いた最小二乗推定が標準的である。
【0068】
オプティカルフローを用いた運動推定のために最近開発されたオープンソースのディープラーニング（ＤＬ）アルゴリズムは以下の２つである。ＦｌｏｗＮｅｔは、オプティカルフローを計算するための最初の畳み込みニューラルネットワーク（ＣＮＮ）アプローチであり、ＲＡＦＴ（Ｒｅｃｕｒｒｅｎｔ Ａｌｌ－Ｐａｉｒｓ Ｆｉｅｌｄ Ｔｒａｎｓｆｏｒｍｓ）は、現在のオプティカルフロー推定の最先端手法である。ローカルビジネスパートナー及び／又は顧客は、ローカルビデオデータセットを使用して、特定のビデオアクション解析の最適化に最も適したＤＮＮアルゴリズムを選択し、画像ＩｏＴプラットフォームにおけるコンピュータビジョンアルゴリズム（すなわち、共通のＭＬモデル）をさらに最適化するためにオプティカルフローを返すことができる。
【0069】
［堅牢な共通のＭＬモデル構築のためのＦＬ方法］
【0070】
図７のフローチャートを参照して、堅牢な共通のＭＬモデル構築のためのＦＬ方法を説明する。図７の工程の１つまたは複数は、図１－２を参照して上述した、ＩｏＴシステム１０００の構成要素によって実行されてもよい。１つまたは複数の実施形態において、図７の工程の１つまたは複数が省略され、繰り返され、及び／又は図７に示す順序とは異なる順序で実行されてよい。従って、本発明の範囲は、図７に示す工程の具体的な配置に限定されると考えるべきでない。
【0071】
クラウドサーバ１００は、ネットワーク５００内で利用可能な共通のＭＬモデルを、所定のデータセット（例えば、ＲＧＢビデオクリップ）を用いて事前学習し、事前学習した共通のＭＬモデルをストレージ１２０に格納する（ステップＳ７０１）。
【0072】
クラウドサーバ１００は、所定のタイミングで、エッジデバイス２００Ａ－２００Ｃ及びエッジサーバ３００の少なくとも一方から要求を受信したか否かを判断する（ステップＳ７０２）。例えば、クラウドサーバ１００は、定期的に判定を行ってもよいし、要求を受信したタイミングで判定を行ってもよい。
【0073】
要求を受信したと判断した場合（ステップＳ７０２：Ｙｅｓ）、クラウドサーバ１００は、共通のＭＬモデルの中から、要求に関連する共通のＭＬモデルを選択する（ステップＳ７０３）。１つまたは複数の実施形態において、ストレージ１２０は、共通のＭＬモデルと要求との間の関連付け、及び／又は共通のＭＬモデルとエッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００において実行される画像解析との間の関連付けを予め記憶していてもよい。あるいは、配布する特定の共通のＭＬモデルを特定する情報を要求することもできる。
【0074】
共通のＭＬモデルを選択した後（ステップＳ７０３）、または、要求を受信したと判断した場合（ステップＳ７０２：Ｎｏ）、クラウドサーバ１００は、共通のＭＬモデルをエッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００に配布する（Ｓ７０４）。
【0075】
共通のＭＬモデルに基づいて、エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００は、ローカルデータを用いた画像解析の最適化を行い（ステップＳ７０５）、ローカルに最適化された共通のＭＬモデルを作成する（ステップＳ７０６）。
【0076】
クラウドサーバ１００は、エッジデバイス２００Ａ－２００Ｃ及び／又はエッジサーバ３００から、最適化結果の主要パラメータを収集する（Ｓ７０７）。
【0077】
主要パラメータを収集すると、クラウドサーバ１００は、ストレージ１２０に格納されている共通のＭＬモデルに主要パラメータを反映させ、継続的な改善を行う（Ｓ７０８）。
【0078】
クラウドサーバ１００は、定期的に又は終了要求を受信したタイミングで、エッジデバイス２００Ａ－２００Ｃ、エッジサーバ３００、又はネットワーク５００内の他のデバイス／装置のいずれかから終了要求を受信したか否かを確認する（Ｓ７０９）。終了要求を受信したと判断した場合（Ｓ７０９：Ｙｅｓ）、クラウドサーバ１００は、処理を終了させる。あるいは、クラウドサーバ１００は、所定の時間が経過した場合に、処理を終了させてもよい。
【0079】
終了要求を受信していないと判断すると（Ｓ７０９：Ｎｏ）、処理はステップ７０２に戻り、上記のサイクルが繰り返される。
【0080】
本発明の実施形態は、使用するプラットフォームにかかわらず、事実上あらゆる種類のコンピューティングシステムに実装できる。例えば、コンピューティングシステムは、１つまたは複数の可搬装置（例えば、ノート型コンピュータ、スマートフォン、パーソナルデジタルアシスタント、タブレット型コンピュータ又はその他の可搬装置）、デスクトップコンピュータ、サーバ、サーバシャーシにおけるブレード、又は１つまたは複数の実施形態を実施するための最低限の処理能力、メモリ及び入出力装置を少なくとも備えるその他の種類の１つまたは複数のコンピューティング装置であってよい。例えば図８に示すように、コンピューティングシステム（８０１）は、１つまたは複数のコンピュータプロセッサ（８０２）、関連するメモリ（８０３）（例えば、ランダムアクセスメモリ（ＲＡＭ）、キャッシュメモリ、フラッシュメモリ等）、１つまたは複数の記憶装置（８０４）（例えば、ハードディスク、コンパクトディスク（ＣＤ）ドライブやデジタル多用途ディスク（ＤＶＤ）ドライブといった光ドライブ、フラッシュメモリスティック等）、その他多くの構成要素及び機能を有してよい。コンピュータプロセッサ（８０２）は、指示を処理するための集積回路でもよい。例えば、コンピュータプロセッサは、１つまたは複数のコア又はプロセッサのマイクロコアでもよい。また、コンピューティングシステム（８０１）は、タッチスクリーン、キーボード、マウス、マイク、タッチパッド、電子ペン、又はその他の種類の入力装置といった１つまたは複数の入力装置（８０６）を備えてよい。また、コンピューティングシステム（８０１）は、スクリーン（例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチスクリーン、ブラウン管（ＣＲＴ）モニタ、プロジェクタ、又はその他の表示装置）、プリンタ、外部記憶装置、又はその他の出力装置等、１つまたは複数の出力装置（８０５）を備えてよい。１つまたは複数の出力装置は、入力装置と同じでも良いし、異なってもよい。コンピューティングシステム（８０１）は、ネットワークインターフェース接続（図示なし）を介してネットワーク（８０７）（例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネット等の広域ネットワーク（ＷＡＮ）、モバイルネットワーク、又はその他の種類のネットワーク）に接続されてよい。入力装置と出力装置は、ローカルにまたはリモートに（例えば、ネットワーク（８０７）を介して）コンピュータプロセッサ（８０２）、メモリ（８０３）及び記憶装置（８０４）に接続されてよい。コンピューティングシステムには多くの異なる種類があり、前述の入力装置及び出力装置は他の形態をとってもよい。
【0081】
本発明の実施形態を実施するためのコンピュータ読取り可能なプログラムコードの形態をとるソフトウェア指示は、全て又は一部が、一時的に又は恒久的に、ＣＤ、ＤＶＤ、記憶装置、ディスケット、テープ、フラッシュメモリ、物理メモリ、又はその他のコンピュータ読取り可能な記憶媒体といった非一時的なコンピュータ読取り可能な媒体に記憶されてよい。具体的には、ソフトウェア指示は、プロセッサによって実行された際に本発明の実施形態を実施するように構成されたコンピュータ読取り可能なプログラムコードに相当し得る。
【0082】
更に、前述のコンピューティングシステム（８０１）の構成要素は、そのうち一つ以上が遠隔に配され、ネットワーク（８０７）を介してその他の構成要素と接続されてもよい。また、本発明の１つまたは複数の実施形態は、複数のノードを有する分散システムに実装されてもよく、本発明の各部は、分散システム内の異なるノード上に位置してもよい。本発明の一実施形態では、ノードは別個のコンピューティング装置に相当する。あるいは、ノードは関連する物理メモリを有するコンピュータプロセッサに相当してもよい。あるいは、ノードは、共有メモリ及び／又は情報源を有するコンピュータプロセッサ又はコンピュータプロセッサのマイクロコアに相当してもよい。
【0083】
１つまたは複数の実施形態のＩｏＴシステムで実装される画像ＩｏＴプラットフォームは、画像解析技術に様々な改良を提供する。例えば、ＩｏＴシステムは、画像解析分野の各種業務において、エッジデバイス／サーバからの非接触、遠隔、リアルタイム応答を可能とし、エッジデバイス／サーバのデータプライバシーを保護しつつ、共通のＭＬモデルを継続的に改善することにより、堅牢な共通のＭＬモデルによるＦＬ機構を実現する。
【0084】
１つまたは複数の実施形態によれば、大規模なデータを集中的に収集することなく、主要パラメータのみを収集することで、通信負荷を大幅に軽減し、保存するデータ量を節約することができ、機器コストを削減することができる。また、エッジデバイス／サーバは、クラウドサーバ１００からの要求に対して迅速に応答でき、エッジデバイス／サーバ間で自身のデータを共有する必要がないため、データプライバシー、データセキュリティ、データアクセス権を保護しながら、高度な分散プラットフォームを構築することが可能である。
【0085】
１つまたは複数の実施形態によれば、配布される最も適した共通のＭＬモデルを選択することにより、コンピュータビジョンアルゴリズムのさらなる最適化と、ビジネスパートナー及び顧客の精度目標を満たすためのより適切な画像解析が可能となる。
【0086】
１つまたは複数の実施形態によれば、ＤＮＮコンピュータアルゴリズムを協働させることにより、非常に高い性能を有する画像ＩｏＴプラットフォームを提供することができる。
【0087】
１つまたは複数の実施形態によれば、ダウンサイズした共通のＭＬモデルを比較的小さなデータ容量を有するエッジデバイスに配布し、ダウンサイズしない共通のＭＬモデルを比較的大きなデータ容量を有するエッジサーバに配布することにより、画像ＩｏＴプラットフォームはスケーラブルであることが可能である。
【0088】
限られた数の実施形態に関連して本開示を説明したが、本開示の恩恵に浴する当業者であれば、本発明の範囲から逸脱することなく、様々な他の実施形態が考案可能であると理解できるであろう。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ限定されるものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
