特開 2023-70316 家電製品、携帯情報端末、家電製品支援システム並びに家電製品支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023070316

(43)【公開日】2023-05-19

(54)【発明の名称】家電製品、携帯情報端末、家電製品支援システム並びに家電製品支援方法

(51)【国際特許分類】

   H04Q 9/02 20060101AFI20230512BHJP

   H04Q 9/00 20060101ALI20230512BHJP

   H04L 12/28 20060101ALI20230512BHJP

   F24C 7/04 20210101ALN20230512BHJP

【ＦＩ】

H04Q9/02 B

H04Q9/00 301D

H04L12/28 500D

F24C7/04 301Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021182405

(22)【出願日】2021-11-09

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】399048917

【氏名又は名称】日立グローバルライフソリューションズ株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】宮良 泰明

(72)【発明者】

【氏名】浅永 綾太

(72)【発明者】

【氏名】大泉 仁

(72)【発明者】

【氏名】今井 健太

【テーマコード（参考）】

3L087

5K048

【Ｆターム（参考）】

3L087AA01

3L087AA02

3L087AA03

3L087BA04

3L087DA24

5K048AA03

5K048BA01

5K048DC01

5K048EB02

5K048EB15

5K048FC01

5K048HA01

5K048HA02

(57)【要約】

【課題】携帯情報端末のカメラ機能を利用して家電製品の運転に反映する家電製品、携帯情報端末、家電製品支援システム並びに家電製品支援方法を提供することを目的とする。
【解決手段】ネットワーク上に設けられた画像処理部を主たる構成とし、ネットワークを介して各家庭の無線ＬＡＮルータ、および携帯情報端末と通信可能に構成され、画像処理部は、家電製品の制御対象物の状態を携帯情報端末で撮影した撮影画像を入手し、制御対象物の状態を解析する解析機能と、解析結果に応じて前記制御対象物の制御内容を定める制御内容決定機能とを備え、解析結果と制御内容をネットワーク経由で各家庭の無線ＬＡＮルータ、および携帯情報端末に伝送することを特徴とする家電製品支援システム。
【選択図】図１

【特許請求の範囲】

【請求項1】

ネットワーク上に設けられた画像処理部を主たる構成とし、ネットワークを介して各家庭の無線ＬＡＮルータ、および携帯情報端末と通信可能に構成され、
前記画像処理部は、家電製品の制御対象物の状態を前記携帯情報端末で撮影した撮影画像を入手し、制御対象物の状態を解析する解析機能と、解析結果に応じて前記制御対象物の制御内容を定める制御内容決定機能とを備え、解析結果と制御内容を前記ネットワーク経由で各家庭の前記無線ＬＡＮルータ、および前記携帯情報端末に伝送することを特徴とする家電製品支援システム。

【請求項2】

請求項１に記載の家電製品支援システムであって、
前記画像処理部は、前記解析結果と前記制御対象物の制御内容の関係をテーブルとして保持し、これを参照して制御内容を決定することを特徴とする家電製品支援システム。

【請求項3】

請求項１または請求項２に記載の家電製品支援システムで決定された制御内容を前記無線ＬＡＮルータ経由で得る家電製品であって、
家電製品の制御対象物の状態を画像解析した結果得られた制御内容を受信する受信機能と、受信した制御内容に設定するとともに、開始指示に従って運転を開始する制御機能を備えたことを特徴とする家電製品。

【請求項4】

請求項３に記載の家電製品であって、
家電製品は、カメラ機能非搭載の加熱調理器、ロボット掃除機、あるいは洗濯機であることを特徴とする家電製品。

【請求項5】

請求項１または請求項２に記載の家電製品支援システムに家電製品の制御対象物の状態を撮影した撮影画像を提供するための携帯情報端末であって、
携帯情報端末は家電製品アプリを搭載し、その表示画面には家電製品アプリの指示により制御対象物の状態を画像取得するように促す画面、制御対象物の状態及びその解析結果を表示し家電製品の運転開始を促す画面が表示されることを特徴とする携帯情報端末。

【請求項6】

携帯情報端末により家電製品の制御対象物の状態を撮影し、撮影画像について前記制御対象物の状態を解析し、解析結果に応じて前記家電製品の制御内容を決定して制御内容を前記家電製品に伝送し、前記家電製品は前記制御内容に従って運転を行うことを特徴とする家電製品支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、家電製品が携帯情報端末を介して通信を行うようにされた家電製品、携帯情報端末、家電製品支援システム並びに家電製品支援方法に関する。

【背景技術】

【0002】

近年の家電製品は、マイコンなど各種技術の導入、進展により多種多様な機能を備えており、より利便性が高い生活が実現されている。

【0003】

例えば特許文献１によれば、家電製品としてＩＨやレンジといった加熱調理器に関して、「調理対象物の状態に応じて加熱手段を制御することで、使用者が調理中又は調理後に追加操作を行うこと無く、調理対象物を適切に調理することができる加熱調理器を得ることを目的して、調理庫内の被調理物を加熱する加熱手段と、前記被調理物を撮影する撮影手段と、前記被調理物の温度を検出する温度検知手段と、前記撮影手段から得た画像データ、及び前記温度検知手段から得た温度データに基づいて前記加熱手段を制御する制御装置と、を備える」ことを提案している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－１８３７８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１によれば、初期の目的が達成でき、利便性の高い高機能加熱調理器が実現されているが、このためには新たに撮影手段（カメラ機能）を加熱調理器庫内に設置する必要があり、この結果製品価格が高価となり、大型化することを避けられない。したがって、もしカメラ機能を加熱調理器に搭載せずに、同等の機能を実現できるのであれば、安価で高機能な加熱調理器の提供が可能となる。

【0006】

他方において、加熱調理器以外の多くの家電製品はカメラ機能を備えていないのが一般的である。然らば、これらの加熱調理器以外の多くの家電製品に非搭載のままに、もしカメラ機能が付加されたとしたら、どのような家電製品の機能向上が図ることができるのか、本発明ではこの点に着目した。

【0007】

以上のことから本発明においては、携帯情報端末のカメラ機能を利用して家電製品の運転に反映する家電製品、携帯情報端末、家電製品支援システム並びに家電製品支援方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

以上のことから本発明においては、「ネットワーク上に設けられた画像処理部を主たる構成とし、ネットワークを介して各家庭の無線ＬＡＮルータ、および携帯情報端末と通信可能に構成され、画像処理部は、家電製品の制御対象物の状態を携帯情報端末で撮影した撮影画像を入手し、制御対象物の状態を解析する解析機能と、解析結果に応じて前記制御対象物の制御内容を定める制御内容決定機能とを備え、解析結果と制御内容をネットワーク経由で各家庭の無線ＬＡＮルータ、および携帯情報端末に伝送することを特徴とする家電製品支援システム」としたものである。

【0009】

また本発明においては、「家電製品支援システムで決定された制御内容を無線ＬＡＮルータ経由で得る家電製品であって、家電製品の制御対象物の状態を画像解析した結果得られた制御内容を受信する受信機能と、受信した制御内容に設定するとともに、開始指示に従って運転を開始する制御機能を備えたことを特徴とする家電製品」としたものである。

【0010】

また本発明においては、「家電製品支援システムに家電製品の制御対象物の状態を撮影した撮影画像を提供するための携帯情報端末であって、携帯情報端末は家電製品アプリを搭載し、その表示画面には家電製品アプリの指示により制御対象物の状態を画像取得するように促す画面、制御対象物の状態及びその解析結果を表示し家電製品の運転開始を促す画面が表示されることを特徴とする携帯情報端末」としたものである。

【0011】

また本発明においては、「携帯情報端末により家電製品の制御対象物の状態を撮影し、撮影画像について制御対象物の状態を解析し、解析結果に応じて家電製品の制御内容を決定して制御内容を家電製品に伝送し、家電製品は制御内容に従って運転を行うことを特徴とする家電製品支援方法」としたものである。

【発明の効果】

【0012】

家電製品側に多くのセンサーや、カメラ等を搭載することなく、高機能な製品をユーザが使用できる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施例１に係る家電製品支援システムの構成例を示す図。

【図2a】家電製品が加熱調理器の時の制御対象物の状態を示す図。

【図2b】家電製品が洗濯機の時の制御対象物の状態を示す図。

【図2c】家電製品がロボット掃除機の時の制御対象物の状態を示す図。

【図3a】撮影画像の解析結果と加熱調理器の制御内容の対応関係を示すテーブル。

【図3b】撮影画像の解析結果と洗濯機の制御内容の対応関係を示すテーブル。

【図3c】撮影画像の解析結果とロボット掃除機の制御内容の対応関係を示すテーブル。

【図4】加熱調理器と画像処理部と加熱調理器における処理フローを示す図。

【図5】一般家庭における代表的な家電製品に携帯情報端末のカメラ機能を付与する事での支援を可能とする全体システム構成例を示す図。

【発明を実施するための形態】

【0014】

以下、本発明の実施例について図面を用いて詳細に説明する。

【0015】

本発明では、家電製品に非搭載のカメラ機能として、携帯情報端末が有するカメラ機能に着目した。携帯情報端末のカメラ機能により、家電製品の制御対象物の状態を撮影し、撮影画像をクラウド側の家電製品支援システムで解析し、解析結果に基づいた制御内容を家電製品に伝達し、これを制御する。

【0016】

このことから、以下の説明においては実施例１においてクラウド側の家電製品支援システムについて説明し、実施例２においてカメラ機能非搭載の加熱調理器について説明し、実施例３ではカメラ機能非搭載の一般的な家電製品について説明し、実施例４では携帯情報端末について説明する。

【実施例0017】

図１は、本発明の実施例１に係る家電製品支援システムの構成例を示している。家電製品支援システム１は、画像処理部４０を主たる構成として、ネットワーク３０上に設けられ、各家庭の無線ＬＡＮルータ２０を介して個人所有の携帯情報端末１０と通信可能に構成されている。なお携帯情報端末１０は、無線ＬＡＮルータ２０を介さずに画像処理部４０に接続されるものであってもよい。

【0018】

この図において、個人所有の携帯情報端末１０は、家電製品アプリ１３を搭載しており、家電製品アプリ１３の指示に従いカメラ機能１１により撮影した家電製品６０の制御対象物の状態を撮影した撮影画像Ｐを、端末通信部１２からｗｉ－ｆｉ通信により各家庭の無線ＬＡＮルータ２０に伝送し，その後ネットワーク３０を経由して画像処理部４０に伝送する。

【0019】

家電製品支援システム１の主たる構成要件である画像処理部４０では、家電製品６０の制御対象物の状態を撮影した撮影画像Ｐを用いて制御対象物の状態を解析し、さらに画像処理部４０では、解析結果に基づいて家電製品６０の制御内容Ｃを決定し、ネットワーク３０を介して、各家庭の無線ＬＡＮルータ２０および携帯情報端末１０に伝送する。なお、画像処理部４０には予め作成された図３ａ，図３ｂ，図３ｃの解析結果／制御内容参照テーブル５０を備えているものとする。

【0020】

その後に、各家庭の無線ＬＡＮルータ２０あるいは携帯情報端末１０から、家電製品に対して、ｗｉ－ｆｉ通信あるいはｂｌｕｅｔｏｏｔｈ通信により制御内容Ｃが伝達され、家電製品６０は指示された制御内容Ｃに従って、運転を実行する。

【0021】

このため家電製品６０は、ｗｉ－ｆｉあるいはｂｌｕｅｔｏｏｔｈによる通信機能６１を備えており、さらに家電製品６０内の制御機能６２は外部から伝送経由で指示された制御内容Ｃに従って運転上の各種設定を変更して運転する機能を備えている。

【0022】

図２ａ，図２ｂ，図２ｃは，カメラ機能１１により撮影した家電製品６０の制御対象物の状態を示す図であり、家電製品６０がＩＨまたは電子レンジといった加熱調理器である場合に図２ａに示すように制御対象物は食材２０（２０ａ，２０ｂ，２０ｃ）であり、状態はその調理具合（原材料あるいは焼き具合など）である。また家電製品６０が洗濯機である場合に図２ｂに示すように制御対象物は衣類２１（２１ａ，２１ｂ，２１ｃ）であり、状態はその汚れ具合、衣類種別などであり、家電製品がロボット掃除機である場合に図２ｃに示すように制御対象物は床２２（２２ａ，２２ｂ，２２ｃ）であり、状態は部屋の汚れ具合（ごみの量など）である。

【0023】

図３ａ，図３ｂ，図３ｃは，画像処理部４０における撮影画像Ｐの解析結果と家電製品６０の制御内容Ｃの対応関係を示す解析結果／制御内容参照テーブルであり、予め作成されて画像処理部４０に保持されている。この解析結果／制御内容参照テーブルは、画像解析及び学習により、形成されている。なおこれらの図の詳細については、以下の実施例の中で詳細に説明する。

【0024】

ここで、家電製品６０の制御内容Ｃとは、加熱調理器である場合に加熱温度や加熱時間であり、洗濯機である場合に洗濯時間や水流の強度などであり、ロボット掃除機である場合に運転時間やごみが多い箇所の集中的掃除などである。これらは、家電製品ごとに適宜設定することが可能であり、これらの制御内容Ｃが可変に設定可能であればよい。図３ａ，図３ｂ，図３ｃの例では，制御内容Ｃは運転コースや運転メニューを指定することで実現したものである。

【0025】

なお、実施例１における画像処理部４０は、各種の家電製品について、またその型式別に解析結果／制御内容参照テーブルを準備しておくのがよく、家電製品アプリから製品種別、型式情報を含めて画像情報を受信したときに、適切な解析結果／制御内容参照テーブルを選択することで最適な制御内容を提供することが可能である。

【0026】

またインターネット上には、製品種別、型式情報をキーとする各種の製品情報があり、これを検索して解析結果／制御内容参照テーブルに反映することが可能である。さらには、制御内容Cによる家電製品運転後の制御対象物の状態を再度画像状態入手し、これを解析することで解析結果／制御内容参照テーブルに反映することで、精度向上を図ることが可能である。

【0027】

実施例１の家電製品支援システムによれば、画像情報から最適な家電製品の制御内容を提供することができ、この結果として家電製品の低価格、高機能を実現可能とすることができる。

【実施例0028】

実施例２では、家電製品６０が加熱調理器である場合について説明する。なおこの場合に、加熱調理器６０（ＩＨまたは電子レンジ）はカメラ機能非搭載であるが、図１に示すようにｗｉ－ｆｉあるいはｂｌｕｅｔｏｏｔｈによる通信機能６１を備えており、さらに加熱調理器内の制御機能６２は外部から伝送経由で指示された制御内容Ｃに従って運転上の各種設定を変更して運転する機能を備えているものとする。

【0029】

また携帯情報端末１０には、図１に示すように家電製品アプリ１３（加熱調理器アプリ）を備えており、加熱調理器アプリ１３による指示のもとに、加熱調理器庫内の食材の状態を携帯情報端末１０付属のカメラ機能１１により撮影し、撮影画像をクラウド側に伝送する。

【0030】

ここで加熱調理器アプリ１３による加熱調理への適用場面は、運転開始前と運転後があり、本発明はそのいずれであっても適用が可能である。図４は、加熱調理器アプリ１３の処理フローであり、初期設定段階と、運転開始前段階と、運転後段階に分けて示している。また図４には、加熱調理器アプリ１３の処理に連係する画像処理部側処理フローと加熱調理器側処理フローを含めて図示している。

【0031】

このうち初期設定段階の処理ステップＳ１では携帯情報端末１０に加熱調理器アプリ１３をダウンロードし、処理ステップＳ２では製品及び型式などの製品情報を設定する。

【0032】

係る設定完了後に加熱調理への適用が可能となり、適用場面のうち運転開始前段階では処理ステップＳ３において加熱調理器で調理開始する予定の食材２０を撮影するよう指示し、撮影を待つ。先に示した図２ａの食材２０の例では、２０ａは魚，２０ｂは肉，２０ｃはパエリア用の食材であり、処理ステップＳ４ではこの撮影画像Ｐを端末通信部１２からｗｉ－ｆｉ通信により各家庭の無線ＬＡＮルータ２０に伝送する。

【0033】

撮影画像Ｐを受信した画像処理部４０では、処理ステップＳ１１において撮影画像の画像解析を実施する。この解析によれば、図３ａに例示したように、図２ａの食材が魚２０ａである場合に、２０ｃｍの冷凍サンマであると判明し、図３aに例示したように、図２aの食材がパエリア２０ｃである場合に、食材はエビやコメであり、その一部は冷凍品、他は常温であることが判明する。なおこの場合の解析手法は、学習その他により実現可能であり、ここでの詳細説明を割愛する。

【0034】

続いて画像処理部４０では、処理ステップＳ１２において、解析結果から制御内容を決定する。この判定には予め作成された解析結果／制御内容参照テーブル５０を参照する形で実現が可能であり、例えば図２ａの食材が魚２０ａである場合に、２０ｃｍの冷凍サンマであると解析された結果に応じて、制御内容Cとして図３ａに例示したように、解凍＆焼き調理のコースの実行が必要と判定し、図２aの食材がパエリア２０ｃである場合に、レシピＡのコースによる加熱の実行が必要と判定する。また判定結果を、ネットワーク３０を介して、各家庭の無線ＬＡＮルータ２０および携帯情報端末１０に伝送する。

【0035】

この受信により携帯情報端末１０には、処理ステップＳ５において、解析結果や制御内容Ｃが表示され、処理ステップＳ６では確認の上加熱調理器の調理開始ボタンを操作するように促す表示がなされる。

【0036】

またこの受信時に加熱調理器では、処理ステップＳ２１において、受信機能６１で受信した制御内容Cに応じた設定が制御機能６２により行われ、処理ステップＳ２２の利用者が調理開始ボタンを操作したことの確認に応じて、処理ステップＳ２３では指示された制御内容Ｃに従って調理開始する。以上が、運転開始前段階における各部処理の流れである。

【0037】

これに対し、適用場面のうち運転後段階における処理フローは、基本的に上記運転開始前段階と同じであるので、相違部分のみ説明する。相違の第１点は、利用者が食材の焼き上がりをチェックするために中断し、あるいは予定の調理コースを完了したことにより加熱調理器が終了を判定し、通報した場合を処理ステップＳ２４で検知することである。さらに第２点は、携帯情報端末１０に処理ステップＳ７において中段または終了を表示したことである。

【0038】

第３点は、この通報を受けて利用者が再調理、追加調理を行うべく調理後食材の再度の撮影を実行することである。以降の流れは、基本的に運転開始前段階における各部処理と同じであるが、調理後であるために例えば図３ａの肉について、１５ｃｍのサーロインは加熱後であるが半生の状態であると解析され、この結果として制御内容Ｃとしては追加加熱１０分が必要であると判断された事例を示している。なお運転開始前段階における制御内容Ｃとしては調理メニューを与えるものであったが、運転後段階における制御内容Ｃとしては追加加熱時間を直接指示するものとするのがよい。

【0039】

なお、本発明のさらなる利用場面として、処理結果のＳＮＳ公開が可能である。この場合には、調理後の食材を携帯情報端末１０経由でＳＮＳ投稿する。上手く焼けた情報を利用者Ａが投稿できて、利用者Ａが有する同一製品をもつ利用者Ｂはその投稿情報をみて、その投稿情報をアプリで認識して、同一の調理工程を実施できる。ＳＮＳでは、製品情報タグをアプリで、自動で追加できる。

【0040】

実施例２の加熱調理器によれば、カメラ機能非搭載の加熱調理器としながら、搭載加熱調理器と同等の機能を達成することができる。