特許 7603483 制御システム、学習システム、機器制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-12

(45)【発行日】2024-12-20

(54)【発明の名称】制御システム、学習システム、機器制御方法およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241213BHJP

   F24F 11/56 20180101ALN20241213BHJP

【ＦＩ】

G06F3/01 570

F24F11/56

【請求項の数】 11

(21)【出願番号】P 2021033841

(22)【出願日】2021-03-03

(65)【公開番号】P2022134602

(43)【公開日】2022-09-15

【審査請求日】2024-02-14

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100131152

【弁理士】

【氏名又は名称】八島 耕司

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(74)【代理人】

【識別番号】100148149

【弁理士】

【氏名又は名称】渡邉 幸男

(74)【代理人】

【識別番号】100181618

【弁理士】

【氏名又は名称】宮脇 良平

(74)【代理人】

【識別番号】100174388

【弁理士】

【氏名又は名称】龍竹 史朗

(72)【発明者】

【氏名】関 孝司

(72)【発明者】

【氏名】長沢 雅人

(72)【発明者】

【氏名】貴島 淳子

【審査官】宮本 昭彦

(56)【参考文献】

【文献】特開２０１９－１９７４５０（ＪＰ，Ａ）

【文献】特開２０２０－１６０８１５（ＪＰ，Ａ）

【文献】特開２０１７－１３８８８１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３９１６６６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３４４８５９（ＵＳ，Ａ１）

【文献】国際公開第２０２１／０２８９７０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｎ ３／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

複数の機器それぞれに対応する、利用者の同種のジェスチャを示すジェスチャ画像情報から前記同種のジェスチャ画像に対応する１種類の操作内容を特定するためのニューラルネットワークを記憶するニューラルネットワーク記憶部と、
前記複数の機器それぞれに設けられ前記複数の機器それぞれの利用者を撮像する撮像装置と、
前記撮像装置により撮像された前記利用者のジェスチャを示すジェスチャ画像情報を前記撮像装置から取得する画像取得部と、
前記ニューラルネットワーク記憶部が記憶するニューラルネットワークの中から、前記画像取得部が取得した前記ジェスチャ画像情報を生成した撮像装置が設けられた機器に対応するニューラルネットワークを選出する選出部と、
前記画像取得部が取得した前記ジェスチャ画像情報から、前記選出部により選出されたニューラルネットワークを用いて、前記ジェスチャ画像情報に対応する判定値を算出するニューラルネットワーク計算部と、
前記ニューラルネットワーク計算部により算出された前記判定値に対応づけられた前記機器に対する操作を識別する操作識別情報を特定する操作特定部と、
前記操作特定部により特定された前記操作識別情報に基づいて、前記ジェスチャ画像情報を生成した撮像装置が設けられた機器を制御する機器制御部と、
前記画像取得部が前記ジェスチャ画像情報を取得する毎に、前記ジェスチャ画像情報と、前記画像情報から算出された判定値に対応する操作識別情報と、に基づいて、前記選出部により選出されたニューラルネットワークを更新するとともに、予め設定されたニューラルネットワーク更新時期が到来する毎に、前記ニューラルネットワーク記憶部が記憶する前記複数の機器それぞれに対応するニューラルネットワークの中から最も計算量が少ないニューラルネットワークを特定し、前記複数の機器それぞれに対応するニューラルネットワーク全てを特定したニューラルネットワークに更新するニューラルネットワーク更新部と、を備える、
制御システム。

【請求項2】

前記選出部は、前記操作特定部が前記判定値に対応づけられた前記機器に対する操作識別情報の特定に失敗した場合、他の機器に対応するニューラルネットワークを新たに選出し、
前記ニューラルネットワーク計算部は、前記ジェスチャ画像情報から、新たに選出したニューラルネットワークを用いて、前記ジェスチャ画像情報に対応する判定値を再度算出し、
前記操作特定部は、前記ニューラルネットワーク計算部により再度算出された判定値に対応づけられた操作識別情報を特定し、
前記ニューラルネットワーク更新部は、前記ジェスチャ画像情報と、再度算出された判定値に対応する操作識別情報と、に基づいて、前記画像取得部が取得した前記ジェスチャ画像情報を生成した撮像装置が設けられた機器に対応するニューラルネットワークを更新する、
請求項１に記載の制御システム。

【請求項3】

前記利用者が操作機器に対して行った操作の内容を受け付ける操作受付部を更に備え、
前記ニューラルネットワーク更新部は、前記操作受付部が前記画像取得部により取得されたジェスチャ画像に対応する操作内容を修正するための修正操作を受け付けると、前記ジェスチャ画像情報と、前記修正操作による修正後の操作識別情報と、に基づいて、前記複数の機器それぞれのニューラルネットワーク全てを更新する、
請求項１または２に記載の制御システム。

【請求項4】

前記利用者が操作機器に対して新たな機器に対応するニューラルネットワークを新規に登録するための新規登録操作を受け付ける操作受付部を更に備え、
前記選出部は、前記操作受付部が前記新規登録操作を受け付けると、前記ニューラルネットワーク記憶部が既に記憶する複数の機器についてのニューラルネットワークの中から少なくとも１つのニューラルネットワークを選出し、
前記ニューラルネットワーク更新部は、前記選出部により選出された少なくとも１つのニューラルネットワークを新たに登録される少なくとも１つの機器それぞれについてのニューラルネットワークとして前記ニューラルネットワーク記憶部に記憶させる、
請求項１から３のいずれか１項に記載の制御システム。

【請求項5】

前記ニューラルネットワークは、畳み込みニューラルネットワークであり、
前記ニューラルネットワーク更新部は、前記ニューラルネットワーク更新時期が到来する毎に、前記ニューラルネットワーク記憶部が記憶する複数の機器それぞれに対応するニューラルネットワークの中から畳み込み層とプーリング層との少なくとも一方における計算量が最も少ないニューラルネットワークを特定し、前記複数の機器それぞれに対応するニューラルネットワークの全てを特定したニューラルネットワークで更新する、
請求項１から４のいずれか１項に記載の制御システム。

【請求項6】

前記撮像装置の性能と、前記撮像装置の設置位置と、前記撮像装置の周囲の明るさと、前記撮像装置により撮像される利用者のジェスチャ画像の背景画像と、のうちの少なくとも１つを含む撮像条件に基づいて、前記画像取得部が取得したジェスチャ画像情報を補正する画像補正部を更に備え、
前記ニューラルネットワーク計算部は、前記画像補正部による補正後の前記ジェスチャ画像情報から、前記選出部により選出されたニューラルネットワークを用いて、前記補正後のジェスチャ画像情報に対応する判定値を算出する、
請求項１から５のいずれか１項に記載の制御システム。

【請求項7】

前記利用者が操作機器に対して行った操作の内容を受け付ける操作受付部を更に備え、
前記ニューラルネットワーク更新部は、前記操作受付部が新たなジェスチャに対応する画像情報を登録するためのジェスチャ登録操作を受け付けると、前記画像取得部が取得した前記利用者の少なくとも１種類のジェスチャに対応する画像情報と、前記操作受付部が受け付けた操作の内容を識別する操作識別情報と、に基づいて、前記ニューラルネットワークを更新する、
請求項１から６のいずれか１項に記載の制御システム。

【請求項8】

前記撮像装置は、熱画像センサを有し、
前記撮像装置により撮像された利用者の熱画像に基づいて、利用者を特定する利用者特定部を更に備え、
前記ニューラルネットワーク計算部は、前記画像取得部が取得した前記ジェスチャ画像情報と、前記利用者特定部が特定した利用者を識別する利用者識別情報と、から、前記選出部により選出されたニューラルネットワークを用いて、前記ジェスチャ画像情報に対応する判定値を算出する、
請求項１から７のいずれか１項に記載の制御システム。

【請求項9】

複数の機器それぞれに対応する、利用者の同種のジェスチャを示すジェスチャ画像情報から前記同種のジェスチャ画像に対応する１種類の操作内容を特定するためのニューラルネットワークを記憶するニューラルネットワーク記憶部と、
前記複数の機器それぞれに設けられ前記複数の機器それぞれの利用者を撮像する撮像装置と、
前記撮像装置により撮像された前記利用者のジェスチャを示すジェスチャ画像情報を前記撮像装置から取得する画像取得部と、
前記ニューラルネットワーク記憶部が記憶するニューラルネットワークの中から、前記画像取得部が取得した前記ジェスチャ画像情報を生成した撮像装置が設けられた機器に対応するニューラルネットワークを選出する選出部と、
前記画像取得部が取得した前記ジェスチャ画像情報から、前記選出部により選出されたニューラルネットワークを用いて、前記ジェスチャ画像情報に対応する判定値を算出するニューラルネットワーク計算部と、
前記ニューラルネットワーク計算部により算出された前記判定値に対応づけられた前記機器に対する操作を識別する操作識別情報を特定する操作特定部と、
前記操作特定部により特定された前記操作識別情報に基づいて、前記操作識別情報を特定するための前記ジェスチャ画像情報を生成した撮像装置が設けられた機器を制御する機器制御部と、
前記画像取得部が前記ジェスチャ画像情報を取得する毎に、前記ジェスチャ画像情報と、前記画像情報から算出された判定値に対応する操作識別情報と、に基づいて、前記選出部により選出されたニューラルネットワークを更新するとともに、予め設定されたニューラルネットワーク更新時期が到来する毎に、前記ニューラルネットワーク記憶部が記憶する前記複数の機器それぞれに対応するニューラルネットワークの中から最も計算量が少ないニューラルネットワークを特定し、前記複数の機器それぞれに対応するニューラルネットワーク全てを特定したニューラルネットワークに更新するニューラルネットワーク更新部と、を備える、
学習システム。

【請求項10】

制御システムが、複数の機器それぞれに設けられ前記複数の機器それぞれの利用者を撮像する撮像装置により撮像された前記利用者のジェスチャを示すジェスチャ画像情報を前記撮像装置から取得するステップと、
前記制御システムが、前記複数の機器それぞれに対応する、利用者の同種のジェスチャを示すジェスチャ画像情報から前記同種のジェスチャ画像に対応する１種類の操作内容を特定するためのニューラルネットワークを記憶するニューラルネットワーク記憶部が記憶するニューラルネットワークの中から、取得した前記ジェスチャ画像情報を生成した撮像装置が設けられた機器に対応するニューラルネットワークを選出するステップと、
前記制御システムが、取得した前記ジェスチャ画像情報から、選出されたニューラルネットワークを用いて、前記ジェスチャ画像情報に対応する判定値を算出するステップと、
前記制御システムが、算出した前記判定値に対応づけられた前記機器に対する操作を識別する操作識別情報を特定するステップと、
前記制御システムが、特定した前記操作識別情報に基づいて、前記ジェスチャ画像情報を生成した撮像装置が設けられた機器を制御するステップと、
前記制御システムが、前記ジェスチャ画像情報を取得する毎に、前記ジェスチャ画像情報と、前記画像情報から算出された判定値に対応する操作識別情報と、に基づいて、選出されたニューラルネットワークを更新するステップと、
前記制御システムが、予め設定されたニューラルネットワーク更新時期が到来する毎に、前記ニューラルネットワーク記憶部が記憶する前記複数の機器それぞれに対応するニューラルネットワークの中から最も計算量が少ないニューラルネットワークを特定し、前記複数の機器それぞれに対応するニューラルネットワーク全てを特定したニューラルネットワークに更新するステップと、を含む、
機器制御方法。

【請求項11】

コンピュータを、
複数の機器それぞれに対応する、利用者の同種のジェスチャを示すジェスチャ画像情報から前記同種のジェスチャ画像に対応する１種類の操作内容を特定するためのニューラルネットワークを記憶するニューラルネットワーク記憶部、
前記複数の機器それぞれに設けられ前記複数の機器それぞれの利用者を撮像する撮像装置、
前記撮像装置により撮像された前記利用者のジェスチャを示すジェスチャ画像情報を前記撮像装置から取得する画像取得部、
前記ニューラルネットワーク記憶部が記憶するニューラルネットワークの中から、前記画像取得部が取得した前記ジェスチャ画像情報を生成した撮像装置が設けられた機器に対応するニューラルネットワークを選出する選出部、
前記画像取得部が取得した前記ジェスチャ画像情報から、前記選出部により選出されたニューラルネットワークを用いて、前記ジェスチャ画像情報に対応する判定値を算出するニューラルネットワーク計算部、
前記ニューラルネットワーク計算部により算出された前記判定値に対応づけられた前記機器に対する操作を識別する操作識別情報を特定する操作特定部、
前記操作特定部により特定された前記操作識別情報に基づいて、前記ジェスチャ画像情報を生成した撮像装置が設けられた機器を制御する機器制御部、
前記画像取得部が前記ジェスチャ画像情報を取得する毎に、前記ジェスチャ画像情報と、前記画像情報から算出された判定値に対応する操作識別情報と、に基づいて、前記選出部により選出されたニューラルネットワークを更新するとともに、予め設定されたニューラルネットワーク更新時期が到来する毎に、前記ニューラルネットワーク記憶部が記憶する前記複数の機器それぞれに対応するニューラルネットワークの中から最も計算量が少ないニューラルネットワークを特定し、前記複数の機器それぞれに対応するニューラルネットワーク全てを特定したニューラルネットワークに更新するニューラルネットワーク更新部、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御システム、学習システム、機器制御方法およびプログラムに関する。

【背景技術】

【0002】

操作者が電子キーを携帯した状態で操作対象を操作するために行う間接的操作を行ったときの電子キーの軌跡に基づいて間接的操作データを生成する間接的操作部と、電子キーの軌跡のグラフをテンプレート化した教師データと間接的操作データとが許容範囲内で一致する場合、間接的操作がなされたと判定する制御部と、を備える操作判定装置が提案されている（例えば特許文献１参照）。ここで、制御部は、間接的操作データが教師データの許容範囲からずれており、間接的操作が行われなかったと判定したにも関わらず、予め設定された期間内に、その間接的操作と同じ指示を行うことができる直接的操作が行われた場合、操作者が操作をやり直したと判定して当該間接的データによって間接的操作ができるように学習して教師データを更新する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１９７４５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１に記載されたような間接的操作、即ち、ジェスチャ操作に対応する操作内容を判定する操作判定装置では、ジェスチャ操作の認識精度を向上させることにより操作対象を適切に操作することができるようにすることが要請されている。

【0005】

本開示は上記事由に鑑みてなされたものであり、ジェスチャ操作により機器を適切に制御することができる制御システム、学習システム、機器制御方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本開示に係る制御システムは、
複数の機器それぞれに対応する、利用者の同種のジェスチャを示すジェスチャ画像情報から前記同種のジェスチャ画像に対応する１種類の操作内容を特定するためのニューラルネットワークを記憶するニューラルネットワーク記憶部と、
前記複数の機器それぞれに設けられ前記複数の機器それぞれの利用者を撮像する撮像装置と、
前記撮像装置により撮像された前記利用者のジェスチャを示すジェスチャ画像情報を前記撮像装置から取得する画像取得部と、
前記ニューラルネットワーク記憶部が記憶するニューラルネットワークの中から、前記画像取得部が取得した前記ジェスチャ画像情報を生成した撮像装置が設けられた機器に対応するニューラルネットワークを選出する選出部と、
前記画像取得部が取得した前記ジェスチャ画像情報から、前記選出部により選出されたニューラルネットワークを用いて、前記ジェスチャ画像情報に対応する判定値を算出するニューラルネットワーク計算部と、
前記ニューラルネットワーク計算部により算出された前記判定値に対応づけられた前記機器に対する操作を識別する操作識別情報を特定する操作特定部と、
前記操作特定部により特定された前記操作識別情報に基づいて、前記ジェスチャ画像情報を生成した撮像装置が設けられた機器を制御する機器制御部と、
前記画像取得部が前記ジェスチャ画像情報を取得する毎に、前記ジェスチャ画像情報と、前記画像情報から算出された判定値に対応する操作識別情報と、に基づいて、前記選出部により選出されたニューラルネットワークを更新するとともに、予め設定されたニューラルネットワーク更新時期が到来する毎に、前記ニューラルネットワーク記憶部が記憶する前記複数の機器それぞれに対応するニューラルネットワークの中から最も計算量が少ないニューラルネットワークを特定し、前記複数の機器それぞれに対応するニューラルネットワーク全てを特定したニューラルネットワークに更新するニューラルネットワーク更新部と、を備える。

【発明の効果】

【0007】

本開示によれば、ニューラルネットワーク更新部が、画像取得部がジェスチャ画像情報を取得する毎に、ジェスチャ画像情報と、画像情報から算出された判定値に対応する操作識別情報と、に基づいて、選出部により選出されたニューラルネットワークを更新する。また、ニューラルネットワーク更新部は、予め設定されたニューラルネットワーク更新時期が到来する毎に、ニューラルネットワーク記憶部が記憶する複数の機器それぞれに対応するニューラルネットワークの中から最も計算量が少ないニューラルネットワークを特定し、複数の機器それぞれに対応するニューラルネットワーク全てを特定したニューラルネットワークに更新する。これにより、複数の機器それぞれに対応するニューラルネットワークが、定期的にそれらの中で最も計算量が少ない、即ち、計算効率が良いニューラルネットワークに更新されるので、利用者が行うジェスチャに対応する操作内容を特定するまでの時間の短縮並びに操作内容を特定する精度の向上を図ることができる。

【図面の簡単な説明】

【0008】

【図1】本開示の実施の形態に係る制御システムの概略構成図

【図2】実施の形態に係る制御システムのハードウェア構成を示すブロック図

【図3】実施の形態に係る空気調和機の機能構成を示すブロック図

【図4】（Ａ）は利用者のジェスチャを示す画像の一例を示す図、（Ｂ）は他の利用者のジェスチャを示す画像の一例を示す図、

【図5】実施の形態に係るクラウドサーバの機能構成を示すブロック図

【図6】実施の形態に係る制御システムの動作説明図

【図7】実施の形態に係る制御システムの動作説明図

【図8】実施の形態に係る操作識別情報記憶部が記憶する情報の一例を示す図

【図9】実施の形態に係る制御システムの動作を示すシーケンス図

【図10】実施の形態に係る制御システムの動作を示すシーケンス図

【図11】実施の形態に係る制御システムの動作を示すシーケンス図

【図12】実施の形態に係る空気調和機が実行する機器制御処理の流れの一例を示すフローチャート

【図13】実施の形態に係る空気調和機が実行する機器制御処理の流れの一例を示すフローチャート

【図14】実施の形態に係るクラウドサーバが実行する操作決定処理の流れの一例を示すフローチャート

【図15】実施の形態に係るクラウドサーバが実行する重み係数決定処理の流れの一例を示すフローチャート

【図16】実施の形態に係るクラウドサーバが実行する操作決定処理の流れの一例を示すフローチャート

【発明を実施するための形態】

【0009】

以下、本開示の実施の形態に係る制御システムについて、図面を参照しながら説明する。本実施の形態に係る制御システムは、ニューラルネットワーク記憶部と、撮像装置と、画像取得部と、選出部と、ニューラルネットワーク計算部と、操作特定部と、機器制御部と、ニューラルネットワーク更新部と、を備える、ニューラルネットワーク記憶部は、複数の機器それぞれに対応する、利用者の同種のジェスチャを示すジェスチャ画像情報から同種のジェスチャ画像に対応する１種類の操作内容を特定するためのニューラルネットワークを記憶する。撮像装置は、複数の機器それぞれに設けられ複数の機器それぞれの利用者を撮像する。画像取得部は、撮像装置により撮像された利用者のジェスチャを示すジェスチャ画像情報を撮像装置から取得する。選出部は、ニューラルネットワーク記憶部が記憶するニューラルネットワークの中から、画像取得部が取得したジェスチャ画像情報を生成した撮像装置が設けられた機器に対応するニューラルネットワークを選出する。ニューラルネットワーク計算部は、画像取得部が取得したジェスチャ画像情報から、選出したニューラルネットワークを用いて、ジェスチャ画像情報に対応する判定値を算出する。操作特定部は、ニューラルネットワーク計算部により算出された判定値に対応づけられた機器に対する操作を識別する操作識別情報を特定する。機器制御部は、操作特定部により特定された操作識別情報に基づいて、ジェスチャ画像情報を生成した撮像装置が設けられた機器を制御する。ニューラルネットワーク更新部は、画像取得部がジェスチャ画像情報を取得する毎に、ジェスチャ画像情報と、画像情報から算出された判定値に対応する操作識別情報と、に基づいて、選出部により選出されたニューラルネットワークを更新する。また、ニューラルネットワーク更新部は、予め設定されたニューラルネットワーク更新時期が到来する毎に、ニューラルネットワーク記憶部が記憶する複数の機器それぞれに対応するニューラルネットワークの中から最も計算量が少ないニューラルネットワークを特定し、複数の機器それぞれに対応するニューラルネットワーク全てを特定したニューラルネットワークに更新する。

【0010】

本実施の形態に係る制御システムは、図１に示すように、建物Ｈに設置された複数（図１では２つ）の空気調和機１Ａ、１Ｂと、クラウドサーバ２と、を備える。建物Ｈには、空気調和機１Ａ、１Ｂそれぞれを操作するための操作機器６Ａ、６Ｂが設置されている。ここで、空気調和機１Ａ、１Ｂは、それぞれ、建物Ｈ内の部屋に設置されている。また、建物Ｈには、建物Ｈ内に構築された局所ネットワークＮＷ２に接続されたルータ８２と、ルータ８２および広域ネットワークＮＷ１に接続されたデータ回線終端装置８１と、が設置されている。広域ネットワークＮＷ１は、例えばインターネットである。また、局所ネットワークＮＷ２は、例えば有線ＬＡＮ（Local Area Network）または無線ＬＡＮである。データ回線終端装置８１は、モデム、ゲートウェイ等である。

【0011】

本実施の形態に係る空気調和機１Ａ、１Ｂは、図２に示すように、制御ユニット１００と、撮像装置１８１と、を有する。また、空気調和機１は、制御ユニット１００から入力される制御信号に基づいて動作する圧縮機（図示せず）と送風ファン（図示せず）とを有する。クラウドサーバ２と空気調和機１Ａ、１Ｂの撮像装置１８１および制御ユニット１００とから、後述のように、ニューラルネットワークの重み係数を更新する、即ち、ニューラルネットワークを学習させる学習システムが構成される。撮像装置１８１は、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いたカメラを有する。撮像装置１８１は、カメラにより撮像した画像に対応する画像信号を生成して、後述の制御ユニット１００の撮像インタフェース１０８へ出力する。

【0012】

制御ユニット１００は、ＣＰＵ（Central Processing Unit）１０１と、主記憶部１０２と、補助記憶部１０３と、ニューロエンジン１０４と、計時部１０５と、局所通信部１０６と、無線モジュール１０７と、撮像インタフェース１０８と、これらを相互に接続するバス１０９と、を備える。主記憶部１０２は、揮発性メモリから構成され、ＣＰＵ１０１の作業領域として用いられる。補助記憶部１０３は、半導体フラッシュメモリのような不揮発性メモリから構成され、制御ユニット１００の各種機能を実現するためのプログラムを記憶する。ニューロエンジン１０４は、予め設定されたノード数および層数を有するニューラルネットワークを用いた演算処理専用のハードウェアである。計時部１０５は、例えばリアルタイムクロックである。局所通信部１０６は、局所ネットワークＮＷ２に接続されており、ＣＰＵ１０１から通知される各種情報を局所ネットワークＮＷ２へ送出したり、局所ネットワークＮＷ２から受信した各種情報をＣＰＵ１０１へ通知したりする。無線モジュール１０７は、操作機器６Ａ、６Ｂとの間でBluetooth（登録商標）のような短距離無線通信規格に適合した通信方式で無線通信し、操作機器６Ａ、６Ｂから利用者が操作機器６Ａ、６Ｂに対して行った操作内容を示す操作情報を受信すると、その操作情報をＣＰＵ１０１へ通知する。なお、無線モジュール１０７は、例えばＩｒＤＡ（Infrared Data Association）規格に基づいて操作機器６Ａ、６Ｂとの間で赤外線通信を実行するものであってもよい。撮像インタフェース１０８は、撮像装置１８１から画像信号が入力されると、それに応じた画像情報を生成してＣＰＵ１０１へ通知する。

【0013】

ＣＰＵ１０１は、補助記憶部１０３が記憶するプログラムを主記憶部１０２に読み出して実行することにより、図３に示すように、画像取得部１１１、画像補正部１１２、操作受付部１１３、機器制御部１１４、操作識別情報送信部１１５、操作モード設定部１１６、利用者特定部１１７、画像送信部１１８および機器設定部１１９として機能する。また、補助記憶部１０３は、画像記憶部１３１と、利用者情報記憶部１３２と、操作モード記憶部１３３と、機器設定記憶部１３４と、操作情報記憶部１３５と、を有する。画像記憶部１３１は、撮像装置１８１で撮像された利用者のジェスチャを示すジェスチャ画像情報を記憶する。画像記憶部１３１は、例えば図４（Ａ）に示すように、例えば「空気調和機ＯＮ」の操作に対応するジェスチャ画像ＧＥ１１を示すジェスチャ画像情報、「空気調和機ＯＦＦ」の操作に対応するジェスチャ画像ＧＥ１２を示すジェスチャ画像情報、「空気調和機の温度設定変更」の操作に対応するジェスチャ画像ＧＥ１３を示すジェスチャ画像情報、または「空気調和機の温度設定維持」の操作に対応するジェスチャ画像ＧＥ１４を示すジェスチャ画像情報を記憶する。或いは、画像記憶部１３１は、例えば図４（Ｂ）に示すように、例えば「空気調和機ＯＮ」の操作に対応するジェスチャ画像ＧＥ２１を示すジェスチャ画像情報、「空気調和機ＯＦＦ」の操作に対応するジェスチャ画像ＧＥ２２を示すジェスチャ画像情報、「空気調和機の温度設定変更」の操作に対応するジェスチャ画像ＧＥ２３を示すジェスチャ画像情報、または「空気調和機の温度設定維持」の操作に対応するジェスチャ画像ＧＥ２４を示すジェスチャ画像情報を記憶する。

【0014】

図３に戻って、利用者情報記憶部１３２は、撮像装置１８１により利用者を撮像したときの利用者の画像に現れる利用者の輪郭、寸法等における特徴を示す画像特徴情報を、利用者を識別する利用者識別情報と対応づけて記憶している。操作モード記憶部１３３は、空気調和機１Ａ、１Ｂを操作するときの操作モードを示す操作モード情報を記憶する。ここで、操作モードには、利用者の操作機器６Ａ、６Ｂに対する操作のみにより空気調和機１Ａ、１Ｂの動作設定を変更することができる通常操作モードと、撮像装置１８１により撮像された利用者のジェスチャに応じても空気調和機１Ａ、１Ｂの動作設定が変更されるジェスチャ操作モードと、が含まれている。また、操作モードには、空気調和機１Ａ、１Ｂに新たに利用者のジェスチャを登録する、即ち、後述するクラウドサーバ２の操作識別情報記憶部２３３が記憶する操作識別情報と判定値情報との対応関係を更新するためのジェスチャ登録モードも含まれている。機器設定記憶部１３４は、空気調和機１Ａ、１Ｂの機器設定パラメータを示す機器設定情報を記憶する。

【0015】

図３に戻って、画像取得部１１１は、撮像装置１８１により撮像されたジェスチャ画像を示すジェスチャ画像情報を取得し、取得した画像情報を画像記憶部１３１に記憶させる。画像取得部１１１は、操作モード記憶部１３３が記憶する操作モード情報がジェスチャ登録モードを示す場合、操作モード記憶部１３３にジェスチャ登録モードを示す操作モード情報が記憶された後、計時部１０５が計時する時刻に基づいて予め設定された待ち時間だけ待機した後、撮像装置１８１により撮像された利用者のジェスチャに対応するジェスチャ画像情報を撮像装置１８１から取得する。

【0016】

画像補正部１１２は、画像取得部１１１が取得したジェスチャ画像情報を補正する。ここで、画像補正部１１２は、撮像装置１８１の性能、撮像装置１８１の設置位置、撮像装置１８１の周囲の明るさ、撮像装置１８１により撮像される利用者のジェスチャ画像の背景画像等の撮像条件に基づいて、ジェスチャ画像情報を補正する。画像補正部１１２は、例えば、ジェスチャ画像情報の中央部に利用者の画像が存在するとして利用者のジェスチャ画像を含む画像部分と背景画像部分との境界を大まかに設定し、次に、各画像部分の色分布に基づいて、グラフカットを実行することにより新たな境界を算出し、新たな境界により区画された各画像部分の色分布に基づいて、再度グラフカットを実行することにより新たな境界を算出することを繰り返すことにより利用者のジェスチャ画像を背景画像から抽出する。そして、画像補正部１１２は、抽出した利用者のジェスチャ画像を示すジェスチャ画像情報について、撮像装置１８１の設置位置に基づく画角補正を行った後、撮像装置１８１の画素数に基づいてジェスチャ画像の画素数を予め設定された基準画素数に変換するための平均化処理または補完処理を行い、その後、撮像装置１８１の周囲の明るさに基づく輝度補正（例えば逆光補正）を行った上で画像記憶部１３１に記憶させる。

【0017】

操作受付部１１３は、操作機器６Ａ、６Ｂから送信された操作情報を無線モジュール１０７が受信すると、受信した操作情報を受け付ける。そして、操作受付部１１３は、操作情報が空気調和機１Ａ、１Ｂの機器設定パラメータの更新に関するものである場合、その操作情報を操作識別情報送信部１１５および機器設定部１１９に通知する。また、操作受付部１１３は、操作情報が空気調和機１Ａ、１Ｂの操作モードの変更に関するものである場合、操作情報を操作モード設定部１１６に通知する。

【0018】

操作モード設定部１１６は、操作受付部１１３から操作情報が通知されると、通知された操作情報に基づいて、操作モード情報を特定し、特定した操作モード情報を操作モード記憶部１３３に記憶させる。

【0019】

利用者特定部１１７は、画像取得部１１１が取得した画像情報に基づいて、利用者の画像に現れる利用者の輪郭、寸法等における特徴を抽出する。そして、利用者特定部１１７は、利用者情報記憶部１３２が記憶する利用者識別情報の中から、抽出した特徴と同一の特徴を示す画像特徴情報に対応する利用者識別情報を、空気調和機１Ａ、１Ｂの利用者の利用者識別情報として特定する。また、利用者特定部１１７は、特定した空気調和機１Ａ、１Ｂの利用者の利用者識別情報を、利用者情報記憶部１３２に記憶させる。

【0020】

機器設定部１１９は、操作モード記憶部１３３が記憶する操作モード情報がジェスチャ操作モードを示す場合、クラウドサーバ２から送信される操作識別情報を取得すると、取得した操作識別情報に基づいて、機器設定パラメータを算出する。そして、機器設定部１１９は、算出した機器設定パラメータを示す機器設定情報を機器設定記憶部１３４に記憶させる。また、機器設定部１１９は、操作受付部１１３から操作識別情報が通知されると、その操作識別情報に基づいて機器設定パラメータを算出し、算出した機器設定パラメータを示す機器設定情報を機器設定記憶部１３４に記憶させる。そして、機器制御部１１４は、機器設定記憶部１３４が記憶する機器設定情報に基づいて、圧縮機および送風ファンの動作を制御する。

【0021】

操作識別情報送信部１１５は、操作受付部１１３から操作情報を取得すると、操作情報記憶部１３５が記憶する操作識別情報の中から、取得した操作情報に対応する操作識別情報を選出する。そして、操作識別情報送信部１１５は、選出した操作識別情報をクラウドサーバ２へ送信するとともに、操作識別情報を送信する旨を通知する操作識別情報送信通知情報を画像送信部１１８に通知する。

【0022】

画像送信部１１８は、操作モード記憶部１３３が記憶する操作モード情報がジェスチャ操作モードを示す場合、画像記憶部１３１に新たなジェスチャ画像情報が記憶されると、そのジェスチャ画像情報と、利用者情報記憶部１３２が記憶するそのジェスチャ画像情報に対応する利用者情報と、空気調和機１Ａ、１Ｂを識別する機器識別情報と、をクラウドサーバ２へ送信する。また、画像送信部１１８は、操作モード記憶部１３３が記憶する操作モード情報がジェスチャ登録モードを示す場合、操作識別情報送信部１１５から操作識別情報送信通知情報が通知されると、画像記憶部１３１が記憶する新たに記憶されたジェスチャ画像情報と、空気調和機１Ａ、１Ｂを識別する機器識別情報と、をクラウドサーバ２へ送信する。

【0023】

登録要求部１２０は、操作受付部１１３がクラウドサーバ２に対して空気調和機１Ａ、１Ｂに対応するニューラルネットワークを新規に登録するための新規登録操作を受け付けると、新規登録操作の操作内容に基づいて、利用者を特定する。ここで、登録要求部１２０は、操作機器６Ａ、６Ｂに対して利用者が新たに建物Ｈ内に設置した空気調和機１Ａ、１Ｂを登録するために新たに設置した空気調和機１Ａ、１Ｂの機器識別情報と利用者に関する情報を登録する新規機器登録操作を行うと、新規登録操作を受け付ける。そして、登録要求部１２０は、特定した利用者の利用者情報と空気調和機１Ａ、１Ｂの機器識別情報とを含む登録要求情報をクラウドサーバ２へ送信する。

【0024】

図２に戻って、クラウドサーバ２は、ＣＰＵ２０１と、主記憶部２０２と、補助記憶部２０３と、計時部２０５と、広域通信部２０６と、これらを相互に接続するバス２０９と、を備える。ＣＰＵ２０１は、例えばマルチコアプロセッサである。主記憶部２０２は、揮発性メモリから構成され、ＣＰＵ２０１の作業領域として用いられる。補助記憶部２０３は、大容量の不揮発性メモリから構成され、クラウドサーバ２の各種機能を実現するためのプログラムを記憶する。計時部２０５は、例えばリアルタイムクロックである。広域通信部２０６は、広域ネットワークＮＷ１に接続されている。

【0025】

ＣＰＵ２０１は、補助記憶部２０３が記憶するプログラムを主記憶部２０２に読み出して実行することにより、図５に示すように、画像取得部２１１、選出部２１２、ニューラルネットワーク計算部（以下、「ＮＮ計算部」と称する。）２１３、操作特定部２１４、操作識別情報通知部２１５、ニューラルネットワーク更新部（以下、「ＮＮ更新部」と称する。）２１６および操作識別情報取得部２１７として機能する。また、補助記憶部２０３は、ニューラルネットワーク記憶部（以下、「ＮＮ記憶部」と称する。）２３１と、画像記憶部２３２と、操作識別情報記憶部２３３と、を有する。画像記憶部２３２は、空気調和機１Ａ、１Ｂから取得したジェスチャ画像情報と利用者情報と空気調和機１Ａ、１Ｂの機器識別情報とを、互いに対応づけて記憶する。

【0026】

ＮＮ記憶部２３１は、空気調和機１Ａ、１Ｂそれぞれに対応する、利用者の同種のジェスチャを示すジェスチャ画像情報から同種のジェスチャ画像に対応する１種類の操作内容を特定するためのニューラルネットワークを記憶する。具体的には、ＮＮ記憶部２３１は、利用者のジェスチャ画像情報から利用者が行う操作を特定するためのニューラルネットワークの構造を示す情報と、そのニューラルネットワークにおける重み係数を示す情報と、を、対応する空気調和機１Ａ、１Ｂの機器識別情報に対応づけて記憶する。ここで、ニューラルネットワークの構造を示す情報には、ニューラルネットワークのノード数、層数、各ノードに対応する重み係数および活性化関数それぞれを示す情報が含まれる。このニューラルネットワークは、図６に示すように入力層Ｌ１０、隠れ層Ｌ２０および出力層Ｌ３０を有する。入力層Ｌ１０は、ジェスチャ画像情報に含まれる画素位置情報および画素値情報を隠れ層Ｌ２０へ入力する。

【0027】

隠れ層Ｌ２０は、予め設定された数Ｍ［ｊ］のノードｘ［ｊ，ｉ］（１≦ｉ≦Ｍ［ｊ］、Ｍ［ｊ］は正の整数）を含むＮ（Ｎは正の整数）個の層から構成されている。即ち、隠れ層Ｌ２０は、各ノード列同士が繋がれた構造を有する。ここで、各ノードｘ［ｊ，ｉ］の出力ｙ［ｊ，ｉ］は、下記式（１）の関係式で表される。

【数1】

ここで、Ｗ［ｊ，ｉ，ｋ］は、重み係数を示し、ｆ（＊）は、活性化関数を示す。この重み係数Ｗ［ｊ，ｉ，ｋ］が、前述のニューラルネットワークの構造を決めるニューラルネットワーク係数に相当する。また、活性化関数としては、シグモイド関数、ランプ関数、ステップ関数、ソフトマックス関数等の非線形関数が用いられる。隠れ層Ｌ２０は、ノードに入力される情報が前の層の各ノードの出力にそれぞれに重み係数を乗じたものの総和となっている。そして、総和を引数とする活性化関数の出力が次の層へ伝達される。出力層Ｌ３０は、隠れ層Ｌ２０の最終層からの出力ｙ［ｊ，ｉ］をそのまま出力する。 そして、ニューラルネットワーク記憶部１３４は、式（１）で表されるニューラルネットワークの構造を示す情報と、ニューラルネットワークの重み係数Ｗ［ｊ，ｉ，ｋ］を示す情報と、を記憶する。

【0028】

また、このニューラルネットワークは、いわゆる畳み込みニューラルネットワーク（ＣＮＮ）であって、隠れ層Ｌ２０が、畳み込み層と、プーリング層と、全結合層と、判定層と、を含む。畳み込み層では、複数の予め設定された幅の畳み込みフィルタを用いて畳み込み演算が行われる。この畳み込み層では、ジェスチャ画像情報が示す画像の部分的な領域における特徴の適合度合が算出されることで、どの特徴の画像がどこに位置するかを示す情報に変換される。また、畳み込み層では、例えば、２次元配列構造を有するフィルタと同数の情報が出力される。プーリング層では、畳み込み層からの出力に対する予め設定された幅での平均プーリング処理が行われる。また、プーリング層では、畳み込み層から入力される２次元配列構造を有する情報が２次元方向に平均化されて圧縮されることで、ジェスチャを判別するのに有効な情報だけが残される。これにより、ジェスチャ画像に含まれる利用者のオブジェクトの形状に多少の差異が存在していてもその差異によるジェスチャの判別への影響を取り除くことができる。そして、畳み込み層とプーリング層とが組み合わされて、入力層から入力される画像情報からその画像情報に対応する特徴量が算出される。特に、畳み込み層の計算とプーリング層の計算とが交互に複数回実行されるようにすることで、計算量を軽減することができる。全結合層は、複数の特徴量それぞれに重み係数を掛けて得られる値の総和を算出し、算出した総和を活性化関数により特徴変数に変換して出力する。ここで、活性化関数としては、例えばシグモイド関数が採用される。全結合層では、最終段のプーリング層が出力した情報が全て入力されて１次元構造の情報として出力する。なお、全結合層では、最終段のプーリング層に対応するノードの数が増加すると、その分、特徴量空間の分割数が増加し、その分、特徴量空間を分割してなる各領域を特徴づける特徴関数の数が増加する。判定層は、全結合層からの出力される特徴変数を、例えばソフトマックス関数を用いて予め設定された数値範囲内の判定値に変換することにより、画像情報に対応する操作内容を推定する。なお、図７に示すように、ＮＮ計算部２１３で処理する情報量は、入力層において情報量ＮＤ１だったものが、畳み込み層、プーリング層の後段に進むにつれて減少して全結合層の直前では情報量ＮＤ２まで減少する。これは、プーリング処理において、複数の特徴量を平均化して１つの特徴量に集約する処理が実行されることに起因する。そして、ニューラルネットワークの構造を示す情報には、畳み込みフィルタの幅を示す情報と、平均プーリング処理における幅を示す情報と、が含まれる。また、重み係数を示す情報には、畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数を示す情報と、全結合層における重み係数を示す情報と、が含まれる。また、ＮＮ記憶部２３１は、ニューラルネットワークの重み係数を決定する際に用いられる重み係数の初期値を示す情報も記憶する。

【0029】

操作識別情報記憶部２３３は、利用者が行う各種操作に付与された判定値の範囲を示す判定値情報を、利用者が行う操作内容を識別する操作識別情報に対応づけて記憶する。例えば図８に示すように、「空気調和機ＯＮ」の操作を識別する操作識別情報に対応する判定値の範囲がＮＵＭ１１以上ＮＵＭ１２未満に設定され、「空気調和機ＯＦＦ」の操作を識別する操作識別情報に対応する判定値の範囲がＮＵＭ２１以上ＮＵＭ２２未満に設定されている。また、「空気調和機の温度設定変更」の操作を識別する操作識別情報に対応する判定値の範囲がＮＵＭ３１以上ＮＵＭ３２未満に設定され、「空気調和機の温度設定維持」の操作を識別する操作識別情報に対応する判定値の範囲がＮＵＭ４１以上ＮＵＭ４２未満に設定されている。そして、各判定値の範囲は、互いに重複しないように設定されている。

【0030】

図５に戻って、画像取得部２１１は、空気調和機１Ａ、１Ｂから送信されるジェスチャ画像情報、利用者情報および機器識別情報を取得すると、これらを互いに対応づけて画像記憶部２３２に記憶させる。また、画像取得部２１１は、取得した機器識別情報を選出部２１２に通知する。この機器識別情報は、画像取得部２１１が取得したジェスチャ画像情報を生成した撮像装置１８１が設けられた空気調和機１Ａ、１Ｂを識別する情報である。

【0031】

選出部２１２は、ＮＮ記憶部２３１が記憶するニューラルネットワークの中から、画像取得部２１１から通知される機器識別情報に対応するニューラルネットワークを選出する。具体的には、選出部２１２は、画像取得部２１１から通知される機器識別情報に対応するニューラルネットワークの構造を示す情報と重み係数を示す情報とを選出する。そして、選出部２１２は、選出した複数の畳み込みフィルタそれぞれの重み係数を、選出したニューラルネットワークの複数の畳み込みフィルタに設定する。また、選出部２１２は、選出したニューラルネットワークの全結合層における重み係数を、選出したニューラルネットワークの全結合層に相当する部分に設定する。

【0032】

ＮＮ計算部２１３は、選出部２１２が機器識別情報に基づいて選出したニューラルネットワークを用いて、画像記憶部２３２が記憶するジェスチャ画像情報と利用者識別情報とから判定値を算出する。また、ＮＮ計算部２１３は、ニューラルネットワークにおける畳み込み層とプーリング層とに相当する部分を用いた演算処理を行うことにより、ジェスチャ画像情報および利用者情報とから特徴量を算出する。ここで、ＮＮ計算部２１３は、ジェスチャ画像情報および利用者情報に対して、複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返すことにより特徴量を算出する。そして、ＮＮ計算部２１３は、ジェスチャ画像情報および利用者情報に対応する特徴量について、ニューラルネットワークにおける全結合層と判定層とに相当する部分を用いた演算処理を行うことにより判定値を算出する。ＮＮ計算部２１３は、選出部２１２が選出したニューラルネットワークを用いて、例えば図４（Ａ）および（Ｂ）に示すような「空気調和機ＯＮ」に対応する同種のジェスチャの画像ＧＥ１１、ＧＥ２１を示す画像情報から「ＮＵＭ１１」以上「ＮＵＭ１２」未満の範囲に含まれる判定値を算出し、「空気調和機ＯＦＦ」に対応する同種のジェスチャの画像ＧＥ１２、ＧＥ２２を示す画像情報から「ＮＵＭ２１」以上「ＮＵＭ２２」未満の範囲に含まれる判定値を算出する。また、ＮＮ計算部２１３は、選出部２１２が選出したニューラルネットワークを用いて、例えば図４（Ａ）および（Ｂ）に示す「温度設定変更」に対応する同種のジェスチャの画像ＧＥ１３、ＧＥ２３を示す画像情報から「ＮＵＭ３１」以上「ＮＵＭ３２」未満の範囲に含まれる判定値を算出し、「温度設定維持」に対応する同種のジェスチャの画像ＧＥ１４、ＧＥ２４から「ＮＵＭ４１」以上「ＮＵＭ４２」未満の範囲に含まれる判定値を算出する。ＮＮ計算部２１３は、算出した判定値を示す判定値情報を操作特定部２１４およびＮＮ更新部２１６に通知する。このように、ＮＮ計算部２１３は、ジェスチャ画像情報が示す利用者が異なっている場合であってもそのジェスチャ画像情報が示すジェスチャが同種のジェスチャ操作に対応するものである場合、同一の判定値の範囲内に含まれる判定値を算出する。

【0033】

操作特定部２１４は、ＮＮ計算部２１３から判定値情報が通知されると、操作識別情報記憶部２３３が記憶する操作識別情報の中から、通知された判定値情報に対応する操作識別情報を特定する。そして、操作特定部２１４は、特定した操作識別情報を操作識別情報送信部２１５に通知する。操作識別情報送信部２１５は、画像記憶部２３２が記憶する機器識別情報に基づいて、操作特定部２１４から通知される操作識別情報を、その操作識別情報対応するジェスチャ画像情報の送信元の空気調和機１Ａ、１Ｂへ送信する。

【0034】

ＮＮ更新部２１６は、画像取得部２１１がジェスチャ画像情報、利用者情報および機器識別情報を取得する毎に、ジェスチャ画像情報と、ジェスチャ画像情報から算出された判定値に対応する操作識別情報と、に基づいて、選出部２１２により選出されたニューラルネットワークを更新する。具体的には、ＮＮ更新部２１６は、まず、ＮＮ計算部２１３から通知される判定値と、操作識別情報記憶部２３３が記憶する操作識別情報に対応する判定値情報が示す判定値の範囲の中央値と、の誤差を算出し、算出された誤差に基づく誤差逆伝播法（バックプロパゲーション）によりニューラルネットワークの重み係数を決定する。ここで、ＮＮ更新部２１６は、ニューラルネットワークの畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数およびニューラルネットワークの全結合層の重み係数を決定する。そして、ＮＮ更新部２１６は、決定した重み係数を示す情報で、ＮＮ記憶部２３１が記憶する選出部２１２により選出されたニューラルネットワークの重み係数を示す情報を更新する。

【0035】

また、ＮＮ更新部２１６は、予め設定されたニューラルネットワーク更新時期（以下、「ＮＮ更新時期」と称する。）が到来する毎に、ＮＮ記憶部２３１が記憶する空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワークの中から最も計算量が少ないニューラルネットワークを特定する。そして、ＮＮ更新部２１６は、空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワーク全てを特定したニューラルネットワークに更新する。

【0036】

次に、本実施の形態に係る制御システムの動作について図９および図１０を参照しながら説明する。まず、図９に示すように、空気調和機１Ａ、１Ｂが利用者によりジェスチャ登録モードに設定されたとする（ステップＳ１）。次に、空気調和機１Ａ、１Ｂは、操作モードがジェスチャ登録モードに設定された後、予め設定された待ち時間だけ経過したと判定すると（ステップＳ２）、待ち時間の間に利用者が操作機器６Ａ、６Ｂに対して行った操作に基づいて操作識別情報を特定する（ステップＳ３）。続いて、空気調和機１Ａ、１Ｂは、利用者が行う空気調和機１Ａ、１Ｂを操作するためのジェスチャを撮像して得られるジェスチャ画像情報を取得する（ステップＳ４）。このとき、空気調和機１Ａ、１Ｂは、空気調和機１に設けられたＬＥＤ（Light Emitting Diode）ランプ（図示せず）を点滅させたり、空気調和機１Ａ、１Ｂに設けられたブザー（図示せず）を鳴動させたりすることにより利用者のジェスチャを撮像する旨を利用者に報知するようにしてもよい。その後、空気調和機１Ａ、１Ｂは、取得したジェスチャ画像情報を補正する（ステップＳ５）。次に、空気調和機１Ａ、１Ｂは、補正後のジェスチャ画像情報に基づいて、空気調和機１Ａ、１Ｂの利用者を特定する（ステップＳ６）。続いて、空気調和機１Ａ、１Ｂが取得したジェスチャ画像情報と、特定した利用者を示す利用者情報と、空気調和機１Ａ、１Ｂが特定した操作識別情報と、空気調和機１Ａ、１Ｂの機器識別情報と、が、空気調和機１Ａ、１Ｂからクラウドサーバ２へ送信される（ステップＳ７）。

【0037】

一方、クラウドサーバ２は、ジェスチャ画像情報と利用者情報と操作識別情報と機器識別情報とを取得すると、取得したジェスチャ画像情報と利用者情報と機器識別情報とを互いに対応づけて画像記憶部２３２に記憶させる。次に、クラウドサーバ２は、機器識別情報に基づいて、ジェスチャ画像情報、操作識別情報および機器識別情報の送信元の空気調和機１Ａ、１Ｂに対応するニューラルネットワークを選出する（ステップＳ８）。続いて、クラウドサーバ２は、選出したニューラルネットワークを用いて、ジェスチャ画像情報および利用者情報から判定値を算出する（ステップＳ９）。その後、クラウドサーバ２は、算出した判定値を示す判定値情報を、空気調和機１Ａ、１Ｂから取得した操作識別情報に対応づけて操作識別情報記憶部２３３に記憶させる（ステップＳ１０）。

【0038】

次に、利用者が空気調和機１Ａ、１Ｂの操作モードをジェスチャ操作モードに変更するための操作モード変更操作を行ったとする。この場合、空気調和機１の操作モードが、ジェスチャ操作モードに設定される（ステップＳ１１）。続いて、空気調和機１Ａ、１Ｂは、利用者が行う空気調和機１Ａ、１Ｂを操作するためのジェスチャを撮像して得られるジェスチャ画像情報を取得すると（ステップＳ１２）、取得したジェスチャ画像情報を補正する（ステップＳ１３）。その後、空気調和機１Ａ、１Ｂは、ジェスチャ画像情報に基づいて、空気調和機１Ａ、１Ｂの利用者を特定する（ステップＳ１４）。次に、空気調和機１Ａ、１Ｂが取得したジェスチャ画像情報と、特定した利用者を示す利用者情報と、空気調和機１Ａ、１Ｂの機器識別情報と、が、空気調和機１Ａ、１Ｂからクラウドサーバ２へ送信される（ステップＳ１５）。続いて、クラウドサーバ２は、機器識別情報に基づいて、ジェスチャ画像情報、操作識別情報および機器識別情報の送信元の空気調和機１Ａ、１Ｂに対応するニューラルネットワークを選出する（ステップＳ１６）。その後、クラウドサーバ２は、選出したニューラルネットワークを用いて、ジェスチャ画像情報および利用者情報から判定値を算出する（ステップＳ１７）。

【0039】

次に、クラウドサーバ２は、操作識別情報記憶部２３３が記憶する操作識別情報の中から、算出した判定値に対応する操作識別情報を特定する（ステップＳ１８）。続いて、特定された操作識別情報が、クラウドサーバ２からジェスチャ画像情報、利用者情報および機器識別情報の送信元の空気調和機１Ａ、１Ｂへ送信される（ステップＳ１９）。一方、空気調和機１Ａ、１Ｂは、操作識別情報を取得すると、取得した操作識別情報に対応する機器設定パラメータを算出し、算出した機器設定パラメータを示す機器設定情報を生成して機器設定記憶部１３１が記憶する機器設定情報を更新する（ステップＳ２０）。このとき、空気調和機１Ａ、１Ｂは、機器設定記憶部１３４が記憶する更新後の機器設定情報に基づいて、圧縮機および送風ファンの動作を制御する。

【0040】

また、クラウドサーバ２は、操作識別情報記憶部２３３が記憶する特定した操作識別情報に対応する判定値と、ジェスチャ画像情報、利用者情報および機器識別情報から算出した判定値と、に基づいて、選出したニューラルネットワークの重み係数を決定する（ステップＳ２１）。その後、クラウドサーバ２は、決定した重み係数を示す情報でＮＮ記憶部２３１が記憶する選出したニューラルネットワークについての重み係数情報を更新する（ステップＳ２２）。

【0041】

また、図１０に示すように、予め設定されたＮＮ更新時期が到来すると、クラウドサーバ２は、ＮＮ記憶部２３１が記憶する空気調和機１Ａ、１Ｂそれぞれのニューラルネットワークにおける計算量を比較する（ステップＳ２３）。次に、クラウドサーバ２は、計算量が最も少ないニューラルネットワークを特定する（ステップＳ２４）。続いて、クラウドサーバ２は、空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワークの重み係数情報の全てを特定したニューラルネットワークの重み係数情報に更新する（ステップＳ２５）。

【0042】

また、前述のステップＳ１２からＳ１７までの一連の処理が実行された後、クラウドサーバ２が、操作識別情報の特定に失敗したと判定したとする（ステップＳ２６）。ここで、クラウドサーバ２は、選出したニューラルネットワークを用いて算出した判定値が、操作識別情報記憶部２３３が記憶する操作識別情報それぞれに対応する判定値情報が示す判定値の範囲から大きくずれており、いずれの判定値の範囲にも含まれない場合、操作識別情報の特定に失敗したと判定する。この場合、クラウドサーバ２は、選出したニューラルネットワークとは異なる他の空気調和機１Ａ、１Ｂに対応するニューラルネットワークを新たに選出する（ステップＳ２７）。そして、クラウドサーバ２は、新たに選出したニューラルネットワークを用いて、空気調和機１Ａ、１Ｂから取得したジェスチャ画像情報および利用者情報から判定値を算出する（ステップＳ２８）。その後、クラウドサーバ２が、算出した判定値に基づいて、操作識別情報が特定できた場合（ステップ２９）、特定した操作識別情報が、クラウドサーバ２からジェスチャ画像情報、利用者情報および機器識別情報の送信元の空気調和機１Ａ、１Ｂへ送信される（ステップＳ１９）。

【0043】

また、クラウドサーバ２は、操作識別情報記憶部２３３が記憶する特定した操作識別情報に対応する判定値と、先に選出したニューラルネットワークを用いてジェスチャ画像情報、利用者情報および機器識別情報から算出された判定値と、に基づいて、先に選出したニューラルネットワークの重み係数を決定する（ステップＳ３０）。次に、クラウドサーバ２は、決定した重み係数を示す情報でＮＮ記憶部２３１が記憶する先に選出したニューラルネットワークについての重み係数情報を更新する（ステップＳ３１）。

【0044】

また、利用者が新たに建物Ｈ内に設置した空気調和機１Ａ、１Ｂを登録するための新規機器登録操作を行ったとする。この場合、空気調和機１Ａ、１Ｂの操作モードが、新規登録モードに設定される（ステップＳ３２）。続いて、空気調和機１Ａ、１Ｂは、新規登録操作の操作内容に基づいて、利用者を特定する（ステップＳ３３）。その後、特定された利用者情報と空気調和機１Ａ、１Ｂの機器識別情報とが、空気調和機１Ａ、１Ｂからクラウドサーバ２へ送信される（ステップＳ３４）。一方、クラウドサーバ２は、特定された利用者情報と空気調和機１Ａ、１Ｂの機器識別情報とを取得すると、ＮＮ記憶部２３１が記憶するニューラルネットワークの中から、利用者情報に基づいて１つのニューラルネットワークを選出する（ステップＳ３５）。次に、クラウドサーバ２は、選出したニューラルネットワークの構造を示すＮＮ構造情報および重み係数を示す重み係数情報を、取得した機器識別情報に対応づけてＮＮ記憶部２３１に新たに記憶させる（ステップＳ３６）。

【0045】

また、図１１に示すように、ステップＳ１２からＳ２２までの一連の処理が実行されることにより機器設定情報が更新された後予め設定された基準時間内において、利用者が、空気調和機１Ａ、１Ｂの機器設定を変更するために空気調和機１Ａ、１Ｂをジェスチャ操作モードから手動操作モードに切り替える切替操作を行ったとする。即ち、利用者が、ジェスチャ操作により設定された空気調和機１Ａ、１Ｂの機器設定を修正するための修正操作を行ったとする。この場合、空気調和機１Ａ、１Ｂは、取得したジェスチャ画像に対応する操作内容を修正するための修正操作を受け付けて、空気調和機１Ａ、１Ｂの操作モードが、手動操作モードに設定される（ステップＳ３７）。続いて、空気調和機１Ａ、１Ｂは、操作モードが手動操作モードに設定された後、予め設定された待ち時間だけ経過したと判定すると（ステップＳ３８）、待ち時間の間に利用者が操作機器６Ａ、６Ｂに対して行った操作に基づいて操作識別情報を特定する（ステップＳ３９）。その後、特定された操作識別情報と空気調和機１Ａ、１Ｂの機器識別情報とが、空気調和機１Ａ、１Ｂからクラウドサーバ２へ送信される（ステップＳ４０）。一方、クラウドサーバ２は、操作識別情報と空気調和機１Ａ、１Ｂの機器識別情報とを取得すると、空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワークを選出する（ステップＳ４１）。次に、クラウドサーバ２は、操作識別情報記憶部２３３が記憶する特定した操作識別情報に対応する判定値と、ステップＳ１７において算出した判定値と、に基づいて、選出したニューラルネットワークそれぞれの重み係数を決定する（ステップＳ４２）。続いて、クラウドサーバ２は、各ニューラルネットワークについて決定した重み係数を示す情報で、ＮＮ記憶部２３１が記憶するニューラルネットワークの重み係数情報を更新する（ステップＳ４３）。

【0046】

次に、本実施の形態に係る空気調和機１Ａ、１Ｂが実行する機器制御処理について図１２および図１３を参照しながら説明する。この機器制御処理は、例えば空気調和機１Ａ、１Ｂへ電源が投入されたことを契機として開始される。また、操作受付部１１３は、利用者が操作機器６Ａ、６Ｂに対して操作モードを変更するための操作を行うことにより、操作機器６Ａ、６Ｂから操作モード情報を変更するための操作情報を受信すると、その操作情報を操作モード設定部１１６に通知するものとする。そして、操作モード設定部１１６は、操作受付部１１３から操作モード情報を変更するための操作情報が通知される毎に、通知された操作情報に基づいて、操作モード記憶部１３３が記憶する操作モード情報を更新するものとする。

【0047】

まず、操作受付部１１３は、空気調和機１Ａ、１Ｂに対応するニューラルネットワークをクラウドサーバ２のＮＮ記憶部２３１に新規に登録するための新規登録操作を受け付けたか否かを判定する（ステップＳ１０１）。ここで、操作受付部１１３が、新規登録操作を受け付けていないと判定すると（ステップＳ１０１：Ｎｏ）、後述のステップＳ１０４の処理が実行される。一方、操作受付部１１３が、新規登録操作を受け付けたと判定すると（ステップＳ１０１：Ｙｅｓ）、登録要求部１２０は、新規登録操作の操作内容に基づいて、利用者を特定する（ステップＳ１０２）。次に、登録要求部１２０は、特定した利用者の利用者情報と空気調和機１Ａ、１Ｂの機器識別情報とをクラウドサーバ２へ送信する（ステップＳ１０３）。

【0048】

続いて、操作受付部１１３は、操作モード記憶部１３３が記憶する操作モード情報を参照して空気調和機１がジェスチャ登録モードに設定されているか否かを判定する（ステップＳ１０４）。操作受付部１１３が、空気調和機１Ａ、１Ｂがジェスチャ登録モードに設定されていないと判定すると（ステップＳ１０４：Ｎｏ）、後述のステップＳ１１１の処理が実行される。一方、操作受付部１１３は、空気調和機１Ａ、１Ｂがジェスチャ登録モードに設定されていると判定すると（ステップＳ１０４：Ｙｅｓ）、ジェスチャ登録モードに設定された後予め設定された待ち時間だけ経過したか否かを判定する（ステップＳ１０５）。操作受付部１１３は、ジェスチャ登録モードに設定された後、未だ前述の待ち時間を経過していないと判定する限り（ステップＳ１０５：Ｎｏ）、ステップＳ１０５の処理を繰り返し実行する。一方、操作受付部１１３は、空気調和機１Ａ、１Ｂがジェスチャ登録モードに設定された後、前述の待ち時間だけ経過したと判定すると（ステップＳ１０５：Ｙｅｓ）、操作機器６Ａ、６Ｂから受信した操作情報が空気調和機１Ａ、１Ｂの機器設定パラメータの更新に関するものである場合、操作情報に対応する操作識別情報を特定する（ステップＳ１０６）。このとき、操作受付部１１３は、特定した操作識別情報を操作識別情報送信部１１５に通知する。

【0049】

その後、画像取得部１１１は、撮像装置１８１により撮像して得られる登録対象となるジェスチャのジェスチャ画像情報を取得する（ステップＳ１０７）。このとき、画像取得部１１１は、空気調和機１に設けられたＬＥＤランプを点滅させるための指令情報を、ＬＥＤランプを点灯させる点灯装置（図示せず）に通知したり、または、空気調和機１に設けられたブザーを鳴動させるための指令情報を、ブザーを駆動するブザー駆動部（図示せず）に通知したりすることにより利用者のジェスチャを撮像する旨を利用者に報知してもよい。次に、画像補正部１１２は、画像取得部１１１が取得したジェスチャ画像情報を補正する（ステップＳ１０８）。このとき、画像補正部１１２は、補正したジェスチャ画像情報を画像記憶部１３１に記憶させる。続いて、利用者特定部１１７は、画像記憶部１３１が記憶するジェスチャ画像情報に基づいて、利用者を特定する（ステップＳ１０９）。このとき、利用者特定部１１７は、特定した利用者の利用者情報を利用者記憶部１３２に記憶させる。その後、画像送信部１１８が、ジェスチャ画像情報、利用者情報および空気調和機１Ａ、１Ｂの機器識別情報をクラウドサーバ２へ送信するとともに、操作識別情報送信部１１５が、操作受付部１１３から通知される操作識別情報をクラウドサーバ２へ送信する（ステップＳ１１０）。

【0050】

次に、画像取得部１１１は、操作モード記憶部１３３が記憶する操作モード情報が示す操作モードがジェスチャ操作モードであるか否かを判定する（ステップＳ１１１）。画像取得部１１１が、操作モード記憶部１３３が記憶する操作モード情報がジェスチャ操作モードを示すものではないと判定すると（ステップＳ１１１：Ｎｏ）、再びステップＳ１０１の処理が実行される。一方、画像取得部１１１は、操作モード記憶部１３３が記憶する操作モード情報がジェスチャ操作モードを示すと判定すると（ステップＳ１１１：Ｙｅｓ）、利用者が空気調和機１Ａ、１Ｂを操作するためのジェスチャに対応するジェスチャ画像情報を取得したか否かを判定する（ステップＳ１１２）。ここで、画像取得部１１１が、ジェスチャ画像情報を取得していないと判定すると（ステップＳ１１２：Ｎｏ）、再びステップＳ１０１の処理が実行される。

【0051】

一方、画像取得部１１１が、利用者が空気調和機１Ａ、１Ｂを操作するためのジェスチャ画像情報を取得したと判定すると（ステップＳ１１２：Ｙｅｓ）、画像補正部１１２が、そのジェスチャ画像情報を補正する（ステップＳ１１３）。続いて、利用者特定部１１７は、画像記憶部１３１が記憶するジェスチャ画像情報に基づいて、利用者を特定する（ステップＳ１１４）。その後、画像送信部１１８が、ジェスチャ画像情報、利用者情報および空気調和機１Ａ、１Ｂの機器識別情報をクラウドサーバ２へ送信する（ステップＳ１１５）。次に、機器設定部１１９は、図１３に示すように、クラウドサーバ２から送信される操作識別情報を予め設定された待ち時間内に取得したか否かを判定する（ステップＳ１１６）。ここで、待ち時間は、例えば数ｓｅｃに設定される。機器設定部１１９が、操作識別情報を前述の待ち時間内に取得できなかったと判定すると（ステップＳ１１６：Ｎｏ）、ジェスチャ操作は行われなかったものとして再びステップＳ１０１の処理が実行される。一方、機器設定部１１９は、クラウドサーバ２から送信される操作識別情報を取得したと判定すると（ステップＳ１１６：Ｙｅｓ）、取得した操作識別情報に基づいて、機器設定パラメータを算出し、算出した機器設定パラメータを示す機器設定情報を機器設定記憶部１３４に記憶させる（ステップＳ１１７）。そして、機器制御部１１４は、機器設定記憶部１３４が記憶する機器設定情報に基づいて、圧縮機および送風ファンの動作を制御する。

【0052】

その後、操作受付部１１３は、計時部１０５により計時される時刻情報に基づいて、機器設定記憶部１３４が記憶する機器設定情報が更新されてからの経過時間が予め設定された基準時間を経過したか否かを判定する（ステップＳ１１８）。操作受付部１１３により機器設定情報が更新されてからの経過時間が前述の基準時間を経過したと判定すると（ステップＳ１１８：Ｙｅｓ）、再びステップＳ１０１の処理が実行される。一方、操作受付部１１３は、機器設定情報が更新されてからの経過時間が未だ前述の基準時間を経過していないと判定すると（ステップＳ１１８：Ｎｏ）、操作モード記憶部１３３が記憶する操作モード情報がジェスチャ操作モードから手動操作モードへ変更されたか否かを判定する（ステップＳ１１９）。即ち、操作受付部１１３は、画像取得部１１１により取得されたジェスチャ画像に対応する操作内容を修正するための修正操作を受け付けたか否かを判定する。操作受付部１１３が、未だ手動操作モードへ変更されていないと判定すると（ステップＳ１１９：Ｎｏ）、再びステップＳ１１８の処理が実行される。

【0053】

一方、操作受付部１１３は、手動操作モードに変更されたと判定すると（ステップＳ１１９：Ｙｅｓ）、手動操作モードに変更された後予め設定された待ち時間だけ経過したか否かを判定する（ステップＳ１２０）。操作受付部１１３は、手動操作モードに変更された後、未だ前述の待ち時間を経過していないと判定する限り（ステップＳ１２０：Ｎｏ）、ステップＳ１２０の処理を繰り返し実行する。一方、操作受付部１１３は、手動操作モードに変更された後、前述の待ち時間だけ経過したと判定すると（ステップＳ１２０：Ｙｅｓ）、操作機器６Ａ、６Ｂから受信した操作情報に対応する操作識別情報を特定する（ステップＳ１２１）。このとき、操作受付部１１３は、特定した操作識別情報を操作識別情報送信部１１５に通知する。次に、操作識別情報送信部１１５が、操作受付部１１３から通知される操作識別情報と空気調和機１Ａ、１Ｂの機器識別情報とをクラウドサーバ２へ送信する（ステップＳ１２２）。続いて、再びステップＳ１０１の処理が実行される。

【0054】

次に、本実施の形態に係るクラウドサーバ２が実行する操作決定処理について図１４から図１６を参照しながら説明する。この操作決定処理は、例えばクラウドサーバ２へ電源が投入された後、操作決定処理を実行するためのプログラムが起動したことを契機として開始される。まず、画像取得部２１１が、空気調和機１Ａ、１Ｂからジェスチャ画像情報、利用者情報および機器識別情報を取得し、操作識別情報取得部１１７が、空気調和機１Ａ、１Ｂから操作識別情報を取得したか否かを判定する（ステップＳ２０１）。ここで、画像取得部２１１が、空気調和機１Ａ、１Ｂからジェスチャ画像情報、利用者情報および機器識別情報を取得していない、或いは、操作識別情報取得部１１７が、空気調和機１Ａ、１Ｂから操作識別情報を取得していないと判定すると（ステップＳ２０１：Ｎｏ）、後述のステップＳ２０４の処理が実行される。一方、画像取得部２１１が、空気調和機１Ａ、１Ｂからジェスチャ画像情報、利用者情報および機器識別情報を取得し、且つ、操作識別情報取得部１１７が、空気調和機１Ａ、１Ｂから操作識別情報を取得したと判定したとする（ステップＳ２０１：Ｙｅｓ）。この場合、選出部２１２は、ＮＮ記憶部２３１が記憶するニューラルネットワークの中から、画像取得部２１１から通知される機器識別情報に対応するニューラルネットワークを選出する（ステップＳ２０２）。次に、ＮＮ計算部２１３は、選出部２１２が機器識別情報に基づいて選出したニューラルネットワークを用いて、画像記憶部２３２が記憶するジェスチャ画像情報と利用者識別情報とから判定値を算出し、操作特定部２１４が、算出した判定値を示す判定値情報を、空気調和機１Ａ、１Ｂから取得した操作識別情報に対応づけて操作識別情報記憶部２３３に記憶させる（ステップＳ２０３）。

【0055】

続いて、画像取得部２１１は、空気調和機１Ａ、１Ｂからジェスチャ画像情報、利用者情報および機器識別情報を取得したか否かを判定する（ステップＳ２０４）。ここで、画像取得部２１１が、空気調和機１Ａ、１Ｂからジェスチャ画像情報、利用者情報および機器識別情報を取得していないと判定すると（ステップＳ２０４：Ｎｏ）、後述のステップＳ２１４の処理が実行される。一方、画像取得部２１１が、空気調和機１Ａ、１Ｂからジェスチャ画像情報、利用者情報および機器識別情報を取得したと判定したとする（ステップＳ２０４：Ｙｅｓ）。この場合、選出部２１２は、ＮＮ記憶部２３１が記憶するニューラルネットワークの中から、画像取得部２１１から通知される機器識別情報に対応するニューラルネットワークを選出する（ステップＳ２０５）。次に、ＮＮ計算部２１３は、選出部２１２が機器識別情報に基づいて選出したニューラルネットワークを用いて、画像記憶部２３２が記憶するジェスチャ画像情報と利用者識別情報とから判定値を算出する（ステップＳ２０６）。続いて、操作特定部２１４は、算出された判定値に基づいて操作識別情報の特定に成功したか否かを判定する（ステップＳ２０７）。ここで、操作特定部２１４が、操作識別情報の特定に失敗したと判定すると（ステップＳ２０７：Ｎｏ）、選出部２１２は、選出したニューラルネットワークとは異なる他の空気調和機１Ａ、１Ｂに対応するニューラルネットワークの中に選出可能なニューラルネットワークが存在するか否かを判定する（ステップＳ２０８）。ここで、「選出可能なニューラルネットワーク」とは、操作識別情報の特定に失敗したニューラルネットワークに対応する空気調和機１Ａ、１Ｂと同種の他の空気調和機に対応するニューラルネットワークであり、ステップＳ２０７において操作機器識別情報の特定に失敗した後において選出部２１２により選出された履歴のないニューラルネットワークに相当する。そして、選出部２１２が、選出可能なニューラルネットワークが存在しないと判定すると（ステップＳ２０８：Ｎｏ）、操作識別情報を特定する処理が終了し、そのまま後述のステップＳ２１４の処理が実行される。一方、選出部２１２は、選出可能なニューラルネットワークが存在すると判定すると（ステップＳ２０８：Ｙｅｓ）、先に選出したニューラルネットワークとは異なる他の空気調和機１Ａ、１Ｂに対応するニューラルネットワークを新たに選出する（ステップＳ２０９）。その後、ＮＮ計算部２１３は、新たに選出したニューラルネットワークを用いて、空気調和機１Ａ、１Ｂから取得したジェスチャ画像情報および利用者情報から新たに判定値を算出する（ステップＳ２１０）。次に、再び、ステップＳ２０７の処理が実行される。

【0056】

一方、操作特定部２１４が、ステップＳ２０７において、算出された判定値に基づいて操作識別情報の特定に成功したと判定すると（ステップＳ２０７：Ｙｅｓ）、操作識別情報送信部２１５は、特定された操作識別情報を空気調和機１Ａ、１Ｂへ送信する（ステップＳ２１１）。その後、ＮＮ更新部２１６およびＮＮ計算部２１３は、重み係数決定処理を実行する（ステップＳ２１２）。

【0057】

ここで、本実施の形態に係るクラウドサーバ２が実行する重み係数決定処理について図１５を参照しながら詳細に説明する。まず、ＮＮ計算部２１３が、画像記憶部１３１が記憶するジェスチャ画像情報に対して、選出部２１２により選出された重み係数が設定された複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返す計算を実行する（ステップＳ３０１）。これにより、ＮＮ計算部２１３は、画像記憶部１３１が記憶するジェスチャ画像情報に対応する特徴量を算出する。次に、ＮＮ計算部２１３、算出した特徴量に対して、選出部２１２により選出された重み係数が設定された全結合層および判定層に相当する部分の計算を実行することにより判定値を算出する（ステップＳ３０２）。続いて、ＮＮ更新部２１６は、算出された判定値と操作識別情報記憶部２３３が記憶する判定値情報が示す判定値の範囲の中央値との誤差を算出する（ステップＳ３０３）。その後、ＮＮ更新部２１６は、算出された誤差に基づいて、誤差逆伝播法（バックプロパゲーション）によりニューラルネットワークの重み係数を新たに決定する（ステップＳ３０４）。

【0058】

図１４に戻って、次に、ＮＮ更新部２１６は、重み係数決定処理により決定された重み係数を示す重み係数情報で、ＮＮ記憶部２３１が記憶する選出部２１２により選出されたニューラルネットワークの重み係数情報を更新する（ステップＳ２１３）。続いて、ＮＮ更新部２１６は、計時部２０５が計時する時刻情報に基づいて、予め設定されたＮＮ更新時期が到来したか否かを判定する（ステップＳ２１４）。ＮＮ更新部２１６が、未だＮＮ更新時期が到来していないと判定すると（ステップＳ２１４：Ｎｏ）、再びステップＳ２０１の処理が実行される。一方、ＮＮ更新部２１６は、ＮＮ更新時期が到来したと判定すると（ステップＳ２１４：Ｙｅｓ）、図１６に示すように、ＮＮ記憶部２３１が記憶する空気調和機１Ａ、１Ｂそれぞれのニューラルネットワークにおける計算量を比較する（ステップＳ２１５）。その後、ＮＮ更新部２１６は、計算量が最も少ないニューラルネットワークを特定する（ステップＳ２１６）。次に、ＮＮ更新部２１６は、空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワーク全てを特定したニューラルネットワークに更新する（ステップＳ２１７）。具体的には、ＮＮ更新部２１６が、空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワークの重み係数情報の全てを、特定したニューラルネットワークの重み係数情報に更新する。

【0059】

続いて、操作識別情報取得部２１７は、空気調和機１Ａ、１Ｂから操作識別情報および機器識別情報を取得したか否かを判定する（ステップＳ２１８）。ここで、操作識別情報取得部２１７が、空気調和機１Ａ、１Ｂから操作識別情報および機器識別情報を取得していないと判定すると（ステップＳ２１８：Ｎｏ）、前述のステップＳ２０１の処理が実行される。一方、操作識別情報取得部２１７が、空気調和機１Ａ、１Ｂから操作識別情報および機器識別情報を取得したと判定したとする（ステップＳ２１８：Ｙｅｓ）。この場合、選出部２１２は、ＮＮ記憶部２３１が記憶するニューラルネットワークの全てを選出する（ステップＳ２１９）。その後、ＮＮ更新部２１６およびＮＮ計算部２１３は、全てのニューラルネットワークについて重み係数決定処理を実行する（ステップＳ２２０）。次に、ＮＮ更新部２１６は、重み係数決定処理により決定されたニューラルネットワークそれぞれの重み係数を示す重み係数情報で、ＮＮ記憶部２３１が記憶する対応するニューラルネットワークの重み係数情報を更新する（ステップＳ２２１）。続いて、再びステップＳ２０１の処理が実行される。

【0060】

以上説明したように、本実施の形態に係る制御システムでは、ＮＮ更新部２１６が、画像取得部１１１がジェスチャ画像情報を取得する毎に、ジェスチャ画像情報と、ジェスチャ画像情報から算出された判定値に対応する操作識別情報と、に基づいて、選出部２１２により選出されたニューラルネットワークの重み係数情報を更新する。また、ＮＮ更新部２１６は、予め設定されたＮＮ更新時期が到来する毎に、ＮＮ記憶部２３１が記憶する空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワークの中から最も計算量が少ないニューラルネットワークを特定し、空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワークの重み係数情報の全てを特定したニューラルネットワークの重み係数情報に更新する。これにより、空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワークの重み係数が、定期的にそれらの中で最も計算量が少ない、即ち、計算効率が良いニューラルネットワークの重み係数に更新されるので、利用者が行うジェスチャに対応する操作内容を特定するまでの時間の短縮並びに操作内容を特定する精度の向上を図ることができる。

【0061】

ところで、ニューラルネットワークは、ディープラーニング技術の発達により、音声認識、画像認識等に利用されるようになってきており、パターン認識機能、自動推定機能等を備えた機器にも活用されつつある。また、近年のニューラルネットワーク計算専用のＣＰＵの出現に伴い、ニューラルネットワークの計算機能をエッジ側、即ち、機器に搭載することも可能となってきており、機器においてニューラルネットワークの計算を実行するシステムも構築できるようになってきている。また、従来は利用者が機器に接続された操作機器の操作ボタンを押下することにより機器を操作することが一般的であったが、近年では、前述のパターン認識機能、自動推定機能を利用して、利用者による音声入力による操作、ジェスチャ操作を行うことができる機器も増加しつつある。本実施の形態に係る制御システムは、この種のシステムであり、空気調和機１Ａ、１Ｂが、それらに搭載された撮像装置１８１により利用者を撮影して得られたジェスチャ画像情報をクラウドサーバ２へ送信し、クラウドサーバ２においてニューラルネットワークを用いてジェスチャ画像情報から判定値を算出し、算出した判定値に基づいて操作識別情報を特定する。そして、特定した操作識別情報を空気調和機１Ａ、１Ｂへ送信することで空気調和機１Ａ、１Ｂが操作されるものが提供されつつある。このような制御システムにおいては、クラウドサーバ２が利用するニューラルネットワークの学習効果を高めて操作識別情報の特定における精度を向上させることが要請されている。そこで、本実施の形態に係る制御システムでは、ジェスチャ操作の内容が共通する空気調和機１Ａ、１Ｂにおいて、各空気調和機１Ａ、１Ｂに対応するニューラルネットワークの性能、具体的には、それらにおける計算量を比較し、計算量が少なく判定値の算出効率が良い方を特定して、他方のニューラルネットワークをそれに更新するといういわゆるニューラルネットワーク対戦方式を採用することで、ニューラルネットワークの学習効果を高める。

【0062】

また、本実施の形態に係る選出部２１２は、操作特定部２１４がＮＮ計算部２１３により算出された判定値に対応づけられた操作識別情報の特定に失敗した場合、他の空気調和機１Ａ、１Ｂに対応するニューラルネットワークを新たに選出する。そして、操作特定部２１４が、ＮＮ計算部２１３により新たに選出したニューラルネットワークを用いてジェスチャ画像情報から新に算出された判定値に対応づけられた操作識別情報の特定に成功したとする。この場合、ＮＮ更新部２１６は、ジェスチャ画像情報と、新たに算出された判定値に対応する操作識別情報と、に基づいて、選出部２１２が先に選出したニューラルネットワークの重み係数情報を更新する。これにより、操作特定部２１４が操作識別情報の特定に失敗したジェスチャ画像情報を教師データとしてニューラルネットワークを学習、即ち、重み係数情報の更新を行うことができるので、その分、ニューラルネットワークの重み係数の最適化を促進することができる。

【0063】

更に、本実施の形態に係るＮＮ更新部２１６は、空気調和機１Ａ、１Ｂの操作受付部１１３が前述の修正操作を受け付けると、ジェスチャ画像情報と、修正操作による修正後の操作識別情報と、に基づいて、空気調和機１Ａ、１Ｂそれぞれのニューラルネットワークの重み係数情報の全てを更新する。これにより、操作識別情報との対応関係の修正が必要なジェスチャ画像情報を教師データとしてニューラルネットワークを学習、即ち、重み係数情報の更新を行うことができるので、その分、ニューラルネットワークの重み係数の最適化を促進することができる。

【0064】

また、本実施の形態に係る選出部２１２は、操作受付部１１３が前述の新規登録操作を受け付けると、ＮＮ記憶部２３１が既に記憶する空気調和機１Ａ、１Ｂについてのニューラルネットワークの中から１つのニューラルネットワークを選出する。そして、ＮＮ更新部２１６は、選出した１つのニューラルネットワークを新たに登録される空気調和機についてのニューラルネットワークとしてＮＮ記憶部２３１に記憶させる。これにより、新たに登録される空気調和機についてニューラルネットワークの重み係数を早期に最適化することができるので、空気調和機の使用開始当初から利用者のジェスチャ画像情報に基づく操作識別情報の特定における精度を高めることができる。

【0065】

更に、本実施の形態では、空気調和機１Ａ、１Ｂの画像補正部１１２が、撮像装置１８１の撮像条件に基づいて、画像取得部１１１が取得したジェスチャ画像情報を補正する。そして、クラウドサーバ２のＮＮ計算部２１３は、画像補正部１１２による補正後のジェスチャ画像情報から、選出部２１２により選出されたニューラルネットワークを用いて、補正後のジェスチャ画像情報に対応する判定値を算出する。これにより、操作特定部２１４の操作識別情報の特定における精度を高めることができる。

【0066】

また、本実施の形態に係るＮＮ更新部２１６は、空気調和機１Ａ、１Ｂの操作受付部１１３が前述のジェスチャ登録操作を受け付けると、画像取得部１１１が取得した利用者の少なくとも１種類のジェスチャに対応する画像情報と、操作受付部１１３が受け付けた操作の内容を識別する操作識別情報と、に基づいて、ニューラルネットワークを更新する。これにより、利用者はジェスチャと操作内容との対応関係を自由に変更することができるので、利用者の利便性を高めることができる。

【0067】

以上、本開示の実施の形態について説明したが、本開示は前述の実施の形態によって限定されるものではない。例えば、ＮＮ計算部２１３が、選出部２１２が機器識別情報に基づいて選出したニューラルネットワークを用いて、画像記憶部２３２が記憶するジェスチャ画像情報のみから判定値を算出するものであってもよい。この場合、空気調和機１Ａ、１Ｂにおいて、利用者を特定する必要が無くなるので、その分、空気調和機１Ａ、１Ｂにおける処理負荷が軽減されるという利点がある。

【0068】

実施の形態では、クラウドサーバ２において、畳み込み層、プーリング層、全結合層および判定層の全ての計算を実行する例について説明した。但し、これに限らず、例えばクラウドサーバ２において、畳み込み層およびプーリング層の計算のみを実行し、空気調和機１Ａ、１Ｂにおいて、全結合層および判定層の計算を実行するようにしてもよい。この場合、クラウドサーバ２のＮＮ更新部２１６は、例えば、ＮＮ更新時期が到来する毎に、ＮＮ記憶部２３１が記憶する空気調和機１Ａ、１Ｂそれぞれに対応するニューラルネットワークの中から畳み込み層とプーリング層との少なくとも一方における計算量が最も少ないニューラルネットワークを特定するようにしてもよい。

【0069】

本構成によれば、クラウドサーバ２がニューラルネットワークの畳み込み層およびプーリング層の計算のみを実行する構成であっても、ニューラルネットワークの重み係数の最適化を促進することができる。

【0070】

実施の形態において、撮像装置１８１が、熱画像センサを備えるものであってもよい。この場合、利用者情報記憶部１３２は、撮像装置１８１により得られる利用者の熱画像が示す利用者の表面の温度分布から算出される利用者の表面における熱の発散が多い領域の位置を示す熱発散領域情報を、利用者識別情報と対応づけて記憶するようにすればよい。そして、利用者特定部１１７は、画像取得部１１１が取得した画像情報に含まれる熱画像が示す利用者の表面の温度分布から、利用者表面における熱の発散が多い領域を特定し、利用者情報記憶部１３２が記憶する熱発散領域情報と、特定した熱の発散が多い領域の位置と、に基づいて、空気調和機１Ａ、１Ｂの利用者を特定するものであってもよい。また、実施の形態において、撮像装置１８１が、例えば携帯端末等に搭載されているカメラであってもよい。この場合、撮像装置１８１により撮像された画像から利用者の画像を抽出する方法としては、周知の画像処理技術を採用すればよい。

【0071】

実施の形態では、ステップＳ２１２、Ｓ２１３の処理において、教師データを操作識別情報記憶部２３３が記憶する判定値情報が示す判定値の範囲の中央値に設定してニューラルネットワークをいわゆる教師有りの学習をさせる例について説明した。但し、これに限らず、例えばＮＮ計算部２１３が過去に算出した判定値をクラスタリングして判定値についての教師データを自動的に生成するいわゆる教師なしの学習を採用してもよい。

【0072】

実施の形態において、空気調和機１Ａ、１Ｂがそれぞれ異なるメーカにより製造されたものであってもよい。

【0073】

実施の形態では、ＮＮ計算部２１３が用いるニューラルネットワークが畳み込みニューラルネットワークである例について説明したが、これに限らず、ＮＮ計算部２１３が用いるニューラルネットワークが、例えば回帰型ニューラルネットワークのような他の構造のニューラルネットワークであってもよい。

【0074】

また、本開示に係る空気調和機１Ａ、１Ｂおよびクラウドサーバ２の各種機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現されてもよい。この場合、ソフトウェアまたはファームウェアは、プログラムとして記述され、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）およびＭＯ（Magneto-Optical Disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、前述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合等には、ＯＳ以外の部分のみを記録媒体に格納してもよい。

【0075】

さらに、搬送波に各プログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板（BBS，Bulletin Board System）に当該プログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前述の処理を実行できるように構成してもよい。

【産業上の利用可能性】

【0076】

本開示は、利用者が行うジェスチャに応じて空気調和機を制御することが可能な制御システムに好適である。

【符号の説明】

【0077】

１Ａ，１Ｂ 空気調和機、２ クラウドサーバ、６Ａ，６Ｂ 操作機器、８１ データ回線終端装置、８２ ルータ、１００ 制御ユニット、１０１，２０１ ＣＰＵ、１０２，２０２ 主記憶部、１０３，２０３ 補助記憶部、１０４ ニューロエンジン、１０５，２０５ 計時部、１０６ 局所通信部、１０７ 無線モジュール、１０８ 撮像インタフェース、１０９，２０９ バス、１１１，２１１ 画像取得部、１１２ 画像補正部、１１３ 操作受付部、１１４ 機器制御部、１１５，２１５ 操作識別情報送信部、１１６ 操作モード設定部、１１７ 利用者特定部、１１８ 画像送信部、１１９ 機器設定部、１２０ 登録要求部、１３１，２３２ 画像記憶部、１３２ 利用者情報記憶部、１３３ 操作モード記憶部、１３４ 機器設定記憶部、１３５ 操作情報記憶部、１８１ 撮像装置、２１２ 選出部、２１３ ＮＮ計算部、２１４ 操作特定部、２１６ ＮＮ更新部、２１７ 操作識別情報取得部、２３１ ＮＮ記憶部、２３３ 操作識別情報記憶部、Ｈ 建物、Ｌ１０ 入力層、Ｌ２０ 隠れ層、Ｌ３０ 出力層、ＮＷ１ 広域ネットワーク、ＮＷ２ 局所ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】