IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ TOTO株式会社の特許一覧

<>
  • 特開-吐水制御システム 図1
  • 特開-吐水制御システム 図2
  • 特開-吐水制御システム 図3
  • 特開-吐水制御システム 図4
  • 特開-吐水制御システム 図5
  • 特開-吐水制御システム 図6
  • 特開-吐水制御システム 図7
  • 特開-吐水制御システム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024172223
(43)【公開日】2024-12-12
(54)【発明の名称】吐水制御システム
(51)【国際特許分類】
   E03C 1/05 20060101AFI20241205BHJP
   G01V 8/10 20060101ALI20241205BHJP
   G06T 7/90 20170101ALI20241205BHJP
   G06V 10/56 20220101ALI20241205BHJP
【FI】
E03C1/05
G01V8/10 S
G06T7/90 C
G06V10/56
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023089792
(22)【出願日】2023-05-31
(71)【出願人】
【識別番号】000010087
【氏名又は名称】TOTO株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】田中 大平
(72)【発明者】
【氏名】木塚 里子
【テーマコード(参考)】
2D060
2G105
5L096
【Fターム(参考)】
2D060BA05
2D060BC00
2D060CA03
2D060CA04
2G105AA01
2G105BB17
2G105EE06
2G105HH04
5L096AA02
5L096AA06
5L096CA02
5L096DA03
5L096FA15
5L096GA38
5L096GA51
(57)【要約】
【課題】水まわりに関して使い勝手の良いシステムを提供可能にすること。
【解決手段】実施形態に係る吐水制御システムは、水受け部に向けて吐水する吐水部と、水まわり空間に関する画像を撮像する撮像部と、前記撮像部が撮像した画像に対して画像に関連する処理を実行し、前記画像に関連する処理結果に基づいて、前記吐水部を制御する制御部と、を備え、前記制御部は、前記水まわり空間の利用有無を示す情報に基づいて、前記水まわり空間が利用中と判定されている間に、異常状態に関する条件を満たす場合、前記異常状態であることを利用者に通知する。
【選択図】図2
【特許請求の範囲】
【請求項1】
水受け部に向けて吐水する吐水部と、
水まわり空間に関する画像を撮像する撮像部と、
前記撮像部が撮像した画像に対して画像に関連する処理を実行し、前記画像に関連する処理結果に基づいて、前記吐水部を制御する制御部と、
を備え、
前記制御部は、
前記水まわり空間の利用有無を示す情報に基づいて、前記水まわり空間が利用中と判定されている間に、異常状態に関する条件を満たす場合、前記異常状態であることを利用者に通知する
ことを特徴とする吐水制御システム。
【請求項2】
前記条件は、前記画像の色情報が、所定の閾値以上の場合、または、所定の閾値以下の場合であることの少なくとも1つを含む
ことを特徴とする請求項1に記載の吐水制御システム。
【請求項3】
前記条件は、前記水まわり空間が利用中と判定してから所定時間以上継続して、前記画像の色情報に所定以上の変化がない場合であることを含む
ことを特徴とする請求項1に記載の吐水制御システム。
【請求項4】
前記制御部は、
前記条件を満たした場合、前記異常状態に関する原因、または、異常箇所を判定し、判定結果を通知する
ことを特徴とする請求項1に記載の吐水制御システム。
【請求項5】
前記制御部は、
前記判定結果に応じて、前記吐水制御システムの管理者を通知先に追加し、前記管理者へ前記異常状態であることを通知する
ことを特徴とする請求項4に記載の吐水制御システム。
【請求項6】
前記制御部は、
前記条件を満たしていない間、自動モードで前記吐水部を制御し、前記条件を満たした場合、前記自動モードから、前記利用者による前記吐水部の制御に関する操作を受け付ける手動モードへ切り替える
ことを特徴とする請求項1~5のいずれか1つに記載の吐水制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
開示の実施形態は、吐水制御システムに関する。
【背景技術】
【0002】
従来、センシングに応じてキッチン等の水まわりにおける吐水部での吐止水を制御する技術が提供されている。例えば、吐水管を含む撮像対象領域が撮像された領域画像の画像情報(単に「画像」ともいう)に基づく対象物体の位置及び吐水口の位置に基づいて、吐水するか否かを判定するシステムが開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-178512号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の従来技術は、改善の余地がある。例えば、上述の従来技術では、撮像装置の故障、設置された空間の照度色温度等の照明環境、撮像時のレンズの状態等の撮像条件に応じて発生する撮影不良等に対応することが難しい。そのため、上述の従来技術では、撮影不良が発生した場合、キッチン空間等の撮像対象空間(「対象空間」ともいう)の撮像画像を正確に取得することができず、適切に吐水制御システムが動作しなかったり、誤動作をしたりする等の不具合につながる虞があり、水まわりに関するシステムの利用者にとって使い勝手が良いとは言い難い。そのため、水まわりに関して使い勝手の良いシステムを提供することが望まれている。
【0005】
開示の実施形態は、水まわりに関して使い勝手の良いシステムを提供可能にする吐水制御システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態の一態様に係る吐水制御システムは、水受け部に向けて吐水する吐水部と、水まわり空間に関する画像を撮像する撮像部と、前記撮像部が撮像した画像に対して画像に関連する処理を実行し、前記画像に関連する処理結果に基づいて、前記吐水部を制御する制御部と、を備え、前記制御部は、前記水まわり空間の利用有無を示す情報に基づいて、前記水まわり空間が利用中と判定されている間に、異常状態に関する条件を満たす場合、前記異常状態であることを利用者に通知することを特徴とする。
【0007】
実施形態の一態様に係る吐水制御システムによれば、撮影不良により適切な吐水制御が実行できない又はできていないことを利用者に通知することで、利用者に不信感を与えずに、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。その上で、吐水制御システムによれば、例えば、水まわり空間等の対象空間に利用者が存在しているにも関わらずに、所定の条件を満たす場合には、撮影不良が発生していると判断することで、撮影精度に関する異常状態を判定することができる。したがって、吐水制御システムは、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。なお、ここでいう異常状態には、例えば、キッチン空間等の水まわり空間に吐水制御システムを適用した場合、撮像部への付着物(水垢、ほこり、洗剤はね、食材切断時の飛散等)や湯気によるくもりなどの撮像部の異常や利用者が水まわり空間を利用する際の環境(照明等)の異常等が含まれる。
【0008】
実施形態の一態様に係る吐水制御システムにおいて、前記条件は、前記画像の色情報が、所定の閾値以上の場合、または、所定の閾値以下の場合であることの少なくとも1つを含む。
【0009】
実施形態の一態様に係る吐水制御システムによれば、対象空間を撮像した画像の色情報が真っ白や真っ黒など適切な範囲から外れている場合には、適切な吐水制御が実行できない又はできていないことを利用者に通知することで、利用者に不信感を与えずに、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。そのため、例えば、キッチン空間等の水まわり空間に吐水制御システムを適用する場合、吐水制御システムは、照明が強すぎて画像が白飛びする場合や照明が弱すぎて真っ暗な場合に対応することができる。また、例えば、キッチン空間等の水まわり空間に吐水制御システムを適用する場合において、吐水制御システムは、撮像装置(撮像部)をコンロやシンク周囲に設けることで、湯気の影響により撮像装置のレンズが一時的に曇った場合にも対応することができる。したがって、吐水制御システムは、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。
【0010】
実施形態の一態様に係る吐水制御システムにおいて、前記条件は、前記水まわり空間が利用中と判定してから所定時間以上継続して、前記画像の色情報に所定以上の変化がない場合であることを含む。
【0011】
実施形態の一態様に係る吐水制御システムによれば、撮像装置の異常であると判断し、適切な吐水制御が実行できない又はできていないことを利用者に通知することで、利用者に不信感を与えずに、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。そのため、例えば、キッチン空間等の水まわり空間に吐水制御システムを適用する場合において、吐水制御システムは、撮像装置をコンロ周囲に設けることで、油の影響により撮像装置のレンズが汚れた場合にも対応することができる。したがって、吐水制御システムは、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。
【0012】
実施形態の一態様に係る吐水制御システムにおいて、前記制御部は、前記条件を満たした場合、前記異常状態に関する原因、または、異常箇所を判定し、判定結果を通知する。
【0013】
実施形態の一態様に係る吐水制御システムによれば、撮影不良の原因または箇所について、通知することで撮影不良の解決に向けて適切な対処を促すことができる。したがって、吐水制御システムは、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。
【0014】
実施形態の一態様に係る吐水制御システムにおいて、前記制御部は、前記判定結果に応じて、前記吐水制御システムの管理者を通知先に追加し、前記管理者へ前記異常状態であることを通知する。
【0015】
実施形態の一態様に係る吐水制御システムによれば、撮影不良の原因や箇所により、例えば、利用者では対応できない事項に対し、システムの管理者に通知することで迅速なアフターケアを実施することができる。したがって、吐水制御システムは、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。
【0016】
実施形態の一態様に係る吐水制御システムにおいて、前記制御部は、前記条件を満たしていない間、自動モードで前記吐水部を制御し、前記条件を満たした場合、前記自動モードから、前記利用者による前記吐水部の制御に関する操作を受け付ける手動モードへ切り替える。
【0017】
実施形態の一態様に係る吐水制御システムによれば、撮影に関する異常が発生した際に自動水栓が機能しなくなることを抑制するために手動モードを有しており使い勝手に優れる。したがって、吐水制御システムは、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。
【発明の効果】
【0018】
実施形態の一態様によれば、水まわりに関して使い勝手の良いシステムを提供可能にすることができる。
【図面の簡単な説明】
【0019】
図1図1は、第1の実施形態に係る吐水制御システムの概略斜視図である。
図2図2は、第1の実施形態に係る吐水制御システムの構成例を示す図である。
図3図3は、第1の実施形態に係る情報処理に関する手順の一例を示すフローチャートである。
図4図4は、吐水制御システムにおける構成、異常パターン及び判定方法の一例を示す図である。
図5図5は、第2の実施形態に係る吐水制御システムの構成例を示す図である。
図6図6は、第2の実施形態に係る吐水制御システムにおける各種構成要素の概念図の一例を示す図である。
図7図7は、第2の実施形態に係る吐水制御システムのプライバシー配慮に関する処理の一例を示す図である。
図8図8は、第2の実施形態に係る吐水制御システムの行動予測に関する処理の一例を示す図である。
【発明を実施するための形態】
【0020】
以下、添付図面を参照して、本願の開示する吐水制御システムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【0021】
<1.第1の実施形態>
まず、第1の実施形態に係る吐水制御システム1について以下説明する。吐水制御システム1は、吐水及び止水(「吐止水」ともいう)を制御するために、センサが検知した情報を基に対象物体(「対象物」ともいう)を検出(認識)し、認識した対象物(「認識対象物」ともいう)に応じて吐止水の制御を実行する。例えば、対象物は、食材、食器、調理器具などのキッチン関連の物体、人の体、頭部、手などの人体の一部、コンロ部、シンク、吐水部などのキッチンを構成する要素などである。なお、吐水制御システム1等の各実施形態に係る吐水制御システムを処理主体として説明する処理は、吐水制御システムに含まれる装置構成に応じて、その処理を実行可能ないずれの装置が行ってもよい。
【0022】
<1-1.吐水制御システムの構成>
第1の実施形態に係る吐水制御システム1の構成について、図1及び図2を参照して説明する。図1は、第1の実施形態に係る吐水制御システムの概略斜視図である。図2は、第1の実施形態に係る吐水制御システムの構成例を示す図である。
【0023】
図1及び図2に示すように、吐水制御システム1は、キッチン本体2と、撮像部10と、制御部100と、電磁弁101~103とを有する。
【0024】
キッチン本体2は、水まわり機器本体(「水まわり機器」ともいう)である。キッチン本体2は、利用者が調理や食器等の物体の洗浄等の作業を行うための上面部20に、吐水部30と、シンク40と、コンロ部50とを有する。例えばキッチン本体2は、システムキッチンであってもよい。
【0025】
なお、キッチン本体2は、上記以外にも様々な構成を有する。キッチン本体2は、利用者の手動操作を受け付けるための構成を有する。例えば、キッチン本体2は、利用者による吐水部30の制御に関する操作を受け付ける操作部を有する。キッチン本体2は、レバーやハンドル等を操作部として有する。キッチン本体2の操作部は、後述する手動モードにおいて、利用者による吐水部30の制御に関する操作を受け付ける。
【0026】
また、吐水制御システム1において、キッチン本体2の上方、すなわちキッチン本体2の上面部20が臨む側にウォールキャビネット60と、レンジフード70とが設けられる。すなわち、ウォールキャビネット60及びレンジフード70は、キッチン本体2の上方に設置される。キッチンの上方とは、例えば、キッチン本体2が設置されたキッチン空間の上方を指しており、キッチンの天井も含む。
【0027】
なお、キッチン本体2は、水まわり機器の一例に過ぎず、水まわり機器は、キッチン本体2に限らず任意の構成であってもよい。例えば、水まわり機器は、吐水部と水受け部(シンク)とを有する洗面台であってもよい。この場合、水まわり機器は、コンロ部50、ウォールキャビネット60、レンジフード70等に対応する構成を有しなくてもよい。すなわち、水まわり機器は、吐水部とその吐水部からの吐水を受ける構成を有する様々な態様が採用可能である。
【0028】
図1及び図2に示す吐水制御システム1は、利用者から見た場合、上面部20には左側からコンロ部50、シンク40の順で配置され、キッチン本体2の上方には左側からレンジフード70、ウォールキャビネット60の順で配置される。なお、図1及び図2に示す配置は一例に過ぎず、利用者から見た場合、上面部20に左側からシンク40、コンロ部50の順で配置され、キッチン本体2の上方に左側からウォールキャビネット60、レンジフード70の順で配置されてもよい。また、キッチン本体2が一体でなく、シンク40、コンロ部50が分離して配置され、シンク40の上部にウォールキャビネット60、コンロ部50の上部にレンジフード70が配置されてもよい。
【0029】
キッチン本体2の上面部20は、利用者の作業に利用される。例えば、キッチン本体2の上面部20のうち、シンク40とコンロ部50との間の面は、利用者が食材を切る等の加工を行ったり、洗浄後の食器を置いたりすることに利用される作業面として機能する。また、作業面は、シンク40とコンロ部50との間に加え、シンク40の右側にも配置される等、複数配置されてもよい。
【0030】
吐水部30は、吐水管31の先端側の部分であるヘッド32に設けられた吐水口から水の放出(吐水)を行う。図1及び図2の例では、吐水部30は、制御部100による電磁弁101~103の制御に応じて、原水、浄水、お湯(温水)等の複数の種類の水の吐水を行う。また、電磁弁101~103の制御に応じて、原水、浄水、お湯(温水)等の水の流量を変更してもよい。なお、吐水部30は、原水のみを吐水する構成であってもよい。この場合、吐水制御システム1は、電磁弁101~103のうち、電磁弁101のみを有する。吐水部30とは、例えば、キッチン本体2から露出している部分を指す。
【0031】
シンク40は、上面部20の表面から落ち窪んだ凹部であり、吐水部30からの水を受ける水受け部として機能する。シンク40は、食器等の物体の洗浄等の作業に利用され、吐水部30等からの水等を流す排水溝を備えた水槽状の台であるが、詳細な説明は省略する。
【0032】
コンロ部50は、調理のための加熱に関する利用者の作業に利用されるコンロ用設備である。コンロ部50は、加熱部51と加熱部52とを有する。2つの加熱部51、52は、ガス、電気等の任意に熱源により加熱を行う。なお、コンロ部50は、1つの加熱部または3つ以上の加熱部を有してもよい。
【0033】
制御部100は、吐水に関する制御を行う制御装置である。制御部100は、撮像部10等の各センサにより検知された情報を基に、電磁弁101~103の切替え制御を行うことにより、吐水に関する制御を行う。制御部100は、撮像部10により撮像された画像から認識対象物を検出し、検出結果に基づいて吐水部30を制御する。また、電磁弁101~103に対する制御部100の制御の設定は、利用者自身が好みの設定に変更してもよい。例えば、食材に対する浄水吐水の流量を弱めることや、汚れに対する吐水を水に変更すること等の制御の設定が利用者自身により変更可能であってもよい。なお、制御部100は、画像から認識対象物を検出する際、撮影された画像に対して、明るさや色の補正(画像補正)、モノクロ・カラーの変換(画像変換)、対象物の特定(画像認識)、面積計測(画像特徴抽出)などの任意の処理を実施する。
【0034】
上記のように、制御部100は、撮像部10が撮像した画像に対して画像に関連する処理を実行し、画像に関連する処理結果に基づいて、吐水部を制御する。また、制御部100は、水まわり空間の利用有無を示す情報に基づいて、水まわり空間が利用中と判定されている間に、撮像部10が撮像した画像が異常状態に関する条件(「異常状態条件」ともいう)を満たす場合、異常状態であることを利用者に通知する。例えば、制御部100は、アプリケーション(「アプリ」ともいう)上での通知、LED等の光での通知、音での通知等の任意の態様により通知を行う。
【0035】
例えば、異常状態条件は、画像の色情報が、所定の閾値以上の場合、または、所定の閾値以下の場合であることの少なくとも1つを含む。また、異常状態条件は、水まわり空間が利用中と判定してから所定時間以上継続して、画像の色情報に所定以上の変化がない場合であることを含む。なお、上述した異常状態条件は一例に過ぎず、異常状態条件は、吐水制御システム1の異常状態に関する条件であれば、任意の条件が採用可能である。
【0036】
制御部100は、異常状態条件を満たした場合、異常状態に関する原因、または、異常箇所を判定し、判定結果を通知する。制御部100は、判定結果に応じて、吐水制御システム1を管理するシステム管理者(単に「管理者」ともいう)を通知先に追加し、管理者へ異常状態であることを通知する。制御部100は、異常状態条件を満たしていない間、自動モードで吐水部を制御し、異常状態条件を満たした場合、自動モードから、利用者による吐水部30の制御に関する操作を受け付ける手動モードへ切り替える。なお、手動モードは、レバーやハンドル等を用いた手動操作を受け付ける従来の手動のモードと同様であるため、詳細な説明は省略する。
【0037】
電磁弁101は、吐水部30に原水を吐水させるための弁として機能する。また、電磁弁102は、吐水部30に浄水を吐水させるための弁として機能する。電磁弁103は、吐水部30にお湯(温水)を吐水させるための弁として機能する。制御部100は、電磁弁101~103の各々と接続される。なお電磁弁101~103の代わりとして、流路切り換え弁1つで各吐水(原水、浄水、お湯等)を切り替えてもよい。
【0038】
例えば、制御部100は、吐水部30による原水の吐水及び止水を切り替える電磁弁101と接続する。制御部100は、電磁弁101を開閉する制御信号によって、吐水部30による原水の吐水及び止水を制御する。なお、電磁弁101を開閉する制御信号によって、吐水部30による原水の流量を変更してもよい。
【0039】
例えば、制御部100は、吐水部30による浄水の吐水及び止水を切り替える電磁弁102と接続する。制御部100は、電磁弁102を開閉する制御信号によって、吐水部30による浄水の吐水及び止水を制御する。なお、電磁弁102を開閉する制御信号によって、吐水部30による浄水の流量を変更してもよい。
【0040】
例えば、制御部100は、吐水部30によるお湯の吐水及び止水を切り替える電磁弁103と接続する。制御部100は、電磁弁103を開閉する制御信号によって、吐水部30によるお湯の吐水及び止水を制御する。なお、電磁弁103を開閉する制御信号によって、吐水部30によるお湯の流量を変更してもよい。
【0041】
また、制御部100は、撮像部10等の各センサと、インターネット等の所定のネットワークを介して、有線または無線により通信可能に接続される。例えば、制御部100は、他の装置との間で情報を送受信するための通信機能(通信部)を有する。制御部100の通信機能(通信部)は、通信装置、通信回路等によって実現される。制御部100は、通信機能により、任意のネットワークと有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、制御部100は、撮像部10等との間で情報の送受信を行う。なお、制御部100は、情報の送受信が可能であれば、各センサとどのように接続されてもよく、有線により通信可能に接続されてもよいし、無線により通信可能に接続されてもよい。
【0042】
また、制御部100は、異常状態であることの通知の送信先となる端末装置(情報処理装置)に情報を送信する。例えば、端末装置は、通知先となる主体が利用するスマートフォン等の携帯端末である。なお、携帯端末は、一例に過ぎず、端末装置は、情報の受信及び、受信した情報の表示または音声出力等の出力が可能であれば、スマートフォンに限らず、タブレット型端末、ノート型PC(Personal Computer)、デスクトップPC、携帯電話機、PDA(Personal Digital Assistant)等の任意の装置であってもよい。
【0043】
例えば、制御部100は、異常状態条件を満たすと判定した場合、端末装置に吐水制御システム1が異常状態であることを示す情報を送信する。例えば、制御部100は、水まわり空間の利用者が利用する端末装置(「利用者装置」ともいう)に異常状態であることを示す情報を送信することにより、利用者に異常状態を通知する。例えば、制御部100は、吐水制御システム1の管理者が利用する端末装置(「管理者装置」ともいう)に異常状態であることを示す情報を送信することにより、管理者に異常状態を通知する。
【0044】
制御部100は、任意の箇所に配置されてもよい。制御部100は、キッチン本体2に対応する空間(キッチンルーム)内に設けられてもよいし、キッチン本体2に対応する空間(キッチンルーム)外に設けられてもよい。
【0045】
制御部100の装置構成及び配置は、電磁弁101~103の切替え制御、各センサとの通信、及び処理が実現可能であれば、任意の形態が採用可能である。また、制御部100は、キッチン本体2内に配置されてもよい。制御部100は、キッチン本体2内ではなく、キッチン本体2外に配置されてもよい。なお、制御部100の詳細については後述する。
【0046】
撮像部10は、吐水制御を行うために用いる情報を取得するセンサ部として機能する。例えば、撮像部10は、シンク40内等の所定の領域を撮像することにより画像を取得するカメラモジュールや、イメージセンサを使用したセンサユニットである。撮像部10は、吐水部30の周囲の水まわり空間に関する画像を撮像する。例えば、撮像部10は、シンク40等含む水まわり空間の画像を撮像する。なお、撮像部10は、水まわり空間に限らず任意の対象空間を撮像してもよい。
【0047】
例えば、撮像部10は、キッチン本体2の上部(上側)に設けられる。撮像部10は、キッチン本体2の上方からキッチン本体2を臨む位置に設けられる。図1及び図2では、撮像部10がキッチン本体2の上方に設けられたウォールキャビネット60の下面に配置される場合を一例として示すが、撮像部10は、例えばキッチン本体2の上方に位置し、所望の範囲を撮像可能であれば、どのような位置に配置されてもよい。
【0048】
撮像部10は、CCD(Charge Coupled Device)センサ、またはCMOS(Complementary Metal Oxide Semiconductor)センサ等の任意のセンサが用いられる。例えば、撮像部10は、イメージセンサを用いたエリアセンサや測距センサである。である。撮像部10は、吐水部30の周囲の水まわり空間を撮像する。
【0049】
また、例えば、撮像部10は、シンク40を撮影する方向に向けて配置される。なお、撮像部10は、対象物を検知(撮像)可能であれば、どのような配置態様であってもよい。また、撮像部10は、静止画像を撮影してもよいし、動画像を撮影してもよい。
【0050】
撮像部10は、制御部100と所定のネットワークを介して、有線または無線により通信可能に接続される。撮像部10は、各種の情報を制御部100へ送信する。例えば、撮像部10は、取得した画像に関する情報を制御部100へ送信する。例えば、撮像部10は、Bluetooth(登録商標)やWi‐Fi(登録商標)等の所定の無線通信機能により、制御部100と通信可能に接続されてもよい。なお、制御部100と撮像部10とは、情報の送受信が可能であれば、どのような接続であってもよく、有線により通信可能に接続されてもよいし、無線により通信可能に接続されてもよい。例えば、撮像部10は、制御部100と、有線または無線により通信可能に接続されてもよい。
【0051】
なお、撮像部10等の各種センサを区別せずに説明する場合、「センサ」と記載する場合がある。また、撮像部10等の各種センサにより取得される情報を区別せずに説明する場合、「センサ情報」と記載する場合がある。センサ情報は、撮像部10により取得される情報等、吐水制御を行うために各種センサにより取得された情報を含む概念である。
【0052】
また、図1及び図2に示す吐水制御システム1の装置構成は一例に過ぎず、吐水制御システム1は、任意の装置構成が採用可能である。例えば、吐水制御システム1には、センサが含まれなくてもよい。この場合、吐水制御システム1の制御部100は、吐水制御システム1に含まれないセンサと通信し、センサから受信(取得)したセンサ情報を用いて、吐水の制御を行ってもよい。例えば、吐水制御システム1には、撮像部10が含まれなくてもよい。この場合、吐水制御システム1の制御部100は、吐水制御システム1に含まれない撮像部10と通信し、撮像部10から受信(取得)した画像を用いて、吐水の制御を行ってもよい。
【0053】
また、吐水制御システム1には、撮像部10以外のセンサも含まれてもよい。例えば、吐水制御システム1には、人体検知センサが含まれてもよい。人体検知センサは、人体を検知する機能を有する。例えば、人体検知センサは、赤外線信号を用いた焦電センサ等により実現される。例えば、人体検知センサは、μ(マイクロ)波センサ等により実現されてもよい。なお、上記は一例であり、人体検知センサは、上記に限らず、種々の手段により人体を検知してもよい。例えば、人体検知センサは、キッチン本体2が設けられた空間(キッチンルーム)内に入室した人(利用者など)を検知する。人体検知センサは、検知信号を制御部100へ送信する。
【0054】
<1-2.制御部(制御装置)の構成>
ここから、制御部100の各構成の詳細について説明する。制御部100は、例えば各種構成や処理を制御するために用いられる情報処理装置(コンピュータ)であってもよい。制御部100は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等を有し、制御部100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム等)がRAM等を作業領域として実行されることにより実現されてもよい。また、制御部100は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路を有してもよい。
【0055】
図2に示すように、制御部100は、切替部110と、処理部120と、記憶部130と、取得部140と、通知部150とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部100の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部100で実施する処理をクラウドサーバ(クラウドともいう)が代わりに実行してもよい。その場合、クラウドと制御部100は所定のネットワークを介して、有線または無線で接続される。
【0056】
切替部110は、処理部120からの指示に応じて、電磁弁101~103の開閉を切り替える。切替部110は、制御信号を電磁弁101~103に送信し、電磁弁101~103の開閉を切り替えることにより、吐水部30の吐水状態を制御する。
【0057】
処理部120は、撮像部10が撮像した画像に対して画像に関連する処理を実行し、画像に関連する処理結果に基づいて、吐水部を制御する。処理部120は、切替部110に指示することにより、吐水部30の吐水状態を制御する。例えば、処理部120は、物体の検知に応じて、吐水部30の吐水状態を切り替える。例えば、処理部120は、認識対象物の検出に応じて吐水部30の吐水状態を制御する。例えば、処理部120は、認識対象物を検知した場合、電磁弁101を開いて吐水部30から水を吐水する制御を実行する。
【0058】
なお、上記は一例に過ぎず、処理部120は、任意の情報に基づいて、切替部110に指示することにより、吐水部30の吐水を制御してもよい。例えば、処理部120は、認識対象物がコップである場合、電磁弁102を開いて吐水部30から水を吐水する制御を実行してもよい。例えば、処理部120は、認識対象物が人の手である場合、電磁弁103を開いて吐水部30から水を吐水する制御を実行してもよい。
【0059】
例えば、処理部120は、利用者の手動操作に基づいて、切替部110に指示することにより、吐水部30の吐水状態を制御してもよい。この場合、処理部120は、利用者による操作部に対する操作を示す情報に基づいて、吐水部30の吐水状態を制御してもよい。
【0060】
処理部120は、センサ情報を用いて認識対象物を検出する検出部として機能する。処理部120は、撮像部10が撮像した画像に含まれる認識対象物を検出する。処理部120は、検出有無を判定する判定部として機能する。なお、処理部120は、画像に含まれる認識対象物を検出する際、撮影された画像に対して、明るさや色の補正(画像補正)、モノクロ・カラーの変換(画像変換)、対象物の特定(画像認識)、面積計測(画像特徴抽出)などの任意の処理を実施する。
【0061】
処理部120は、画像処理により画像に含まれる物体及びその位置(座標等)を検出する。処理部120は、画像に含まれる物体及びその位置を示す情報を取得可能であれば、どのような処理により画像に含まれる物体及びその位置(範囲)の検出を行ってもよい。
【0062】
処理部120は、センサ情報を用いて吐水するか否かを判定し、吐水する場合には記憶部130に記憶された内容に基づいて吐水する水の種別として原水、浄水、及び湯水のいずれを吐水するかを選択する。処理部120は、電磁弁101~103のうち、選択した水の種別に対応する弁を開放すると決定する。処理部120は、決定した弁を開放することを指示する制御信号を生成する。処理部120は、生成した制御信号を用いて、電磁弁101~103の開閉を切り替えることを切替部110に指示する。なお、処理部120からの指示に応じて、電磁弁101~103の開閉を制御し、原水、浄水、お湯(温水)等の水の流量を変更してもよい。
【0063】
処理部120は、撮像部10が撮像した画像から認識対象物を判定する。処理部120は、撮像部10が撮像した画像から利用者の手及び物体を判定可能である。処理部120は、撮像部10が撮像した画像から手及び物体を判定可能である。
【0064】
処理部120は、水まわり空間の利用有無を示す情報に基づいて、水まわり空間が利用中であるか否かを判定する。処理部120は、センサにより検知されたセンサ情報を用いて、水まわり空間が利用中であるか否かを判定する。例えば、処理部120は、撮像部10により撮像された画像を用いて、水まわり空間が利用中であるか否かを判定する。例えば、処理部120は、撮像部10により撮像された画像に人が含まれる場合、水まわり空間が利用中であると判定する。例えば、処理部120は、撮像部10により撮像された画像に人の手または人の頭が含まれる場合、水まわり空間が利用中であると判定する。
【0065】
なお、処理部120は、撮像部10に限らず、任意センサにより検知されたセンサ情報を用いて、水まわり空間が利用中であるか否かを判定してもよい。例えば、処理部120は、人体検知センサにより検知されたセンサ情報を用いて、水まわり空間が利用中であるか否かを判定する。例えば、処理部120は、人体検知センサにより人が検知された場合、水まわり空間が利用中であると判定する。また、処理部120は、センサ情報に限らず、取得部140において携帯端末などの外部装置から受信した情報を用いて、水まわり空間が利用中であるか否かを判定してもよい。例えば、処理部120は、利用者が携帯端末を水回り空間に持ち込む場合に、携帯端末から通信された情報を取得部140が取得することで、水まわり空間が利用中であるか否かを判定してもよい。通信方法としては、例えば、Bluetooth等によりペアリングを行うことがあげられる。例えば、処理部120は、携帯端末がBluetooth等によりペアリングが行われている場合、水まわり空間が利用中であると判定してもよい。
【0066】
処理部120は、撮像部10により撮像された画像が異常状態条件を満たすか否かを判定する。処理部120は、水まわり空間が利用中と判定されている間に、撮像部10により撮像された画像が異常状態条件を満たすか否かを判定する。
【0067】
処理部120は、画像の色情報が、所定の閾値以上の場合、または、所定の閾値以下の場合であることの少なくとも1つを含む異常状態条件のうち少なくとも1つを満たすか否かを判定する。処理部120は、水まわり空間が利用中と判定してから所定時間以上継続して、画像の色情報に所定以上の変化がない場合であることを含む異常状態条件のうち少なくとも1つを満たすか否かを判定する。
【0068】
処理部120は、異常状態条件を満たした場合、異常状態に関する原因、または、異常箇所を判定する。処理部120は、異常状態条件を満たした場合、画像を解析することにより、異常状態に関する原因を判定する。処理部120は、異常状態条件を満たした場合、画像を解析することにより、異常箇所を判定する。例えば、処理部120は、記憶部130に記憶された異常判定情報を参照し、画像の解析結果が該当する異常状態条件を特定し、特定した異常状態条件に対応する異常パターンが、異常状態に関する原因であると判定する。
【0069】
処理部120は、判定結果に応じて、吐水制御システム1の管理者を通知先に追加する。処理部120は、判定結果が利用者による解決が難しい異常である場合、吐水制御システム1の管理者を通知先に追加する。処理部120は、判定結果が示す異常パターンがシステムの使い方以外の原因である場合、吐水制御システム1の管理者を通知先に追加する。例えば、処理部120は、記憶部130に記憶された異常判定情報を参照し、判定結果が該当する異常パターンを特定し、特定した異常パターンがシステムの使い方以外の原因である場合、吐水制御システム1の管理者を通知先に追加する。
【0070】
処理部120は、異常状態条件を満たしていない間、自動モードで吐水部を制御する。また、処理部120は、異常状態条件を満たした場合、自動モードから、利用者による吐水部30の制御に関する操作を受け付ける手動モードへ切り替える。
【0071】
記憶部130は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部130は、情報処理プログラムによって使用されるデータ等を非一時的に記録するコンピュータが読み取り可能な記録媒体である。記憶部130は、各種のセンサ部により検知された情報等の様々な情報を記憶する。記憶部130は、吐水の制御に用いる様々な情報を記憶する。
【0072】
記憶部130は、異常状態の判定に用いる様々な情報を記憶する。記憶部130は、異常状態条件を記憶する。例えば、記憶部130は、図4に示すような異常パターンに判定方法(異常状態条件)が対応付けられた情報(「異常判定情報」ともいう)を記憶する。
【0073】
記憶部130は、認識対象物の検出に用いる様々な情報を記憶する。例えば、記憶部130は、認識対象物の検出、吐水および止水の判定などを実施するプログラムを記憶する。例えば、記憶部130は、認識対象物の検出有無の判定処理に用いる閾値を記憶する。上記は一例に過ぎず、記憶部130は、処理に関する様々な情報を記憶する。
【0074】
なお、記憶部130は、上記に限らず、目的に応じて種々の情報を記憶してもよい。記憶部130は、各種センサにより検知されたセンサ情報を記憶してもよい。記憶部130は、センサ情報を取得された日時に対応付けて記憶してもよい。記憶部130は、センサ情報として画像を記憶してもよい。記憶部130は、画像に対応する処理結果を示す情報を、画像に対応付けて記憶する。記憶部130は、画像について判定された判定結果(認識対象物の有無等)を、画像に対応付けて記憶する。
【0075】
取得部140は、情報を取得する。取得部140は、記憶部130から各種情報を取得する。例えば、取得部140は、記憶部130から異常判定情報を取得する。取得部140は、キッチン本体2から各種情報を取得する。取得部140は、キッチン本体2に対応する空間(キッチンルーム)で収集された各種情報をキッチン本体2から取得する。取得部140は、キッチン本体2から利用者を識別する利用者識別情報を取得する。
【0076】
取得部140は、センサが検知したセンサ情報をセンサから取得する。取得部140は、センサによりセンシングされた利用者のセンサ情報を取得する。取得部140は、撮像部10から撮像部10により取得された画像に関する情報を受信する。取得部140は、受信した各種情報を記憶部130に格納してもよい。
【0077】
取得部140は、利用者による手動操作の情報を取得する。取得部140は、利用者による操作部に対する操作を示す情報を取得する。取得部140は、携帯端末などの外部装置から情報を受信する。例えば、取得部140は、携帯端末がBluetooth等によりペアリングが行われているか否かを示す情報を携帯端末などの外部装置から受信する。
【0078】
通知部150は、各種情報を送信する送信部として機能する。通知部150は、外部の情報処理装置へ情報を送信する。例えば、通知部150は、利用者装置や管理者装置等の端末装置へ各種情報を送信する。通知部150は、通知処理を実行する。例えば、通知部150は、端末装置へ異常に関する情報を送信することにより、通知処理を実行する。
【0079】
通知部150は、処理部120の判定結果に応じて、通知処理を実行する。通知部150は、異常状態条件を満たす場合、通知処理を実行する。通知部150は、水まわり空間が利用中と判定されている間に、異常状態条件を満たす場合、異常状態であることを利用者に通知する。
【0080】
通知部150は、処理部120により吐水制御システム1の管理者が通知先に追加された場合、管理者へ異常状態であることを通知する。通知部150は、異常状態条件を満たした場合、処理部120に判定された異常状態に関する原因、または、異常箇所を示す判定結果を通知する。通知部150は、判定結果に応じて、吐水制御システム1の管理者へ異常状態であることを通知する。通知部150は、異常通知に関するアプリがインストールされた端末装置へ異常状態を示す情報を送信することにより、アプリがインストールされた端末装置に異常状態を通知させる。
【0081】
通知部150は、異常状態条件を満たす場合、LED等の発光装置による光での通知を行ってもよい。例えば、通知部150は、吐水制御システム1のキッチン本体2の任意の箇所(例えば上面部20等)に設けられ、制御部100と通信可能なLED等の発光装置に指示し、発光装置の点灯により通知を行ってもよい。通知部150は、異常状態条件を満たす場合、スピーカ等の音声出力装置による音での通知を行ってもよい。例えば、通知部150は、吐水制御システム1のキッチン本体2の任意の箇所(例えば上面部20等)に設けられ、制御部100と通信可能なスピーカ等の音声出力装置に指示し、音声出力装置の音声出力により通知を行ってもよい。
【0082】
なお、上述した制御部100の構成は一例に過ぎず、制御部100は、上記に限らず様々な構成を有してもよい。例えば、制御部100は、情報を表示する機能を有する場合、表示部を有してもよい。
【0083】
<1-3.処理の流れ>
ここから、第1の実施形態に関する処理の流れについて説明する。また、以下では、吐水制御システム1を処理主体として説明するが、各処理は、吐水制御システム1に含まれる装置構成に応じて、制御部100、撮像部10等の各種センサ等、いずれの装置が行ってもよい。
【0084】
図3を用いて、情報処理に関する処理の流れについて説明する。図3は、第1の実施形態に係る情報処理に関する手順の一例を示すフローチャートである。具体的には、図3は、情報処理における異常状態に関する通知の概要を示すフローチャートである。
【0085】
吐水制御システム1は、撮像画像を取得する(ステップS101)。例えば、撮像部10は、シンク40等を含む撮像範囲の画像を撮像し、撮像した画像を制御部100に送信する。
【0086】
吐水制御システム1は、利用中であるか否かを判定する(ステップS102)。例えば、制御部100は、撮像部10、人体検知センサ等のセンサが検知したセンサ情報を用いて、利用者が水まわり空間を利用しているか否かを判定する。
【0087】
吐水制御システム1は、利用中ではないと判定した場合(ステップS102:No)、通知処理を実行せずに処理を終了する。例えば、制御部100は、利用中ではないと判定した場合、通知処理を実行せずに処理を終了する。なお、吐水制御システム1は、ステップS102における利用中であるか否かの判定を、撮像部10が撮像した画像以外のセンサ情報を用いる場合、ステップS102がYesである場合に、ステップS101の処理を実行してもよい。例えば、吐水制御システム1は、人体検知センサ等のセンサが検知したセンサ情報を用いて利用中であるか否かの判定を行う場合、ステップS102がYesである場合に、ステップS101の処理を実行してもよい。
【0088】
吐水制御システム1は、利用中であると判定した場合(ステップS102:Yes)、異常状態であるか否かを判定する(ステップS103)。例えば、制御部100は、撮像部10が撮像した画像が異常状態条件を満たすか否かを判定し、異常状態条件を満たす場合、異常状態であると判定する。
【0089】
吐水制御システム1は、異常状態ではないと判定した場合(ステップS103:No)、通知処理を実行せずに処理を終了する。例えば、制御部100は、異常状態ではないと判定した場合、通知処理を実行せずに処理を終了する。
【0090】
吐水制御システム1は、異常状態であると判定した場合(ステップS103:Yes)、通知処理を実行する(ステップS104)。例えば、制御部100は、異常状態であると判定した場合、異常状態であることを示す情報を利用者装置または管理者装置等の端末装置に送信することにより、通知処理を実行する。
【0091】
<1-4.異常判定例>
ここから、上述した吐水制御システム1の異常判定の一例について、図4を参照して説明する。図4は、吐水制御システムにおける構成、異常パターン及び判定方法の一例を示す図である。なお、上述した内容と同様の点については適宜説明を省略する。なお、図4に示す構成、異常パターン及び判定方法の組合せは、一例に過ぎず、吐水制御システム1における構成、異常パターン及び判定方法は任意の組合せが採用可能である。
【0092】
図4に示すように、異常状態については、構成の観点では、撮像部10についての異常状態(「第1種別の異常状態」ともいう)、制御部100についての異常状態(「第2種別の異常状態」ともいう)及び吐水部30等についての異常状態(「第3種別の異常状態」ともいう)に分類される。
【0093】
例えば、第1種別の異常状態には、撮像部10のカメラ(撮像機能)に関する異常や通信に関する異常等が含まれる。また、例えば、第2種別の異常状態には、制御部100のマイコン(プロセッサ)に関する異常や処理部(検出部の物体検出)に関する異常等が含まれる。また、例えば、第3種別の異常状態には、吐水部30の電磁弁101~103に関する異常や水栓に関する異常等が含まれる。
【0094】
例えば、吐水制御システム1は、上述した異常状態判定により、第1種別の異常状態の発生有無を判定する。図4に示すように、第1種別の異常状態は、カメラや通信の故障による異常パターン(「第1異常パターン」ともいう)とシステムの使い方による異常パターン(「第2異常パターン」ともいう)とが含まれる。
【0095】
第1異常パターンは、例えば撮像部10の故障などにより生じる異常パターンである。そのため、第1異常パターンの異常状態の場合、利用者自身の対応により異常状態の解消が難しい。そこで、吐水制御システム1は、第1異常パターンの異常状態である場合、吐水制御システム1の管理者を通知先に追加し、管理者へ異常状態であることを通知する。すなわち、吐水制御システム1は、利用者自身での対応での解消が難しい異常状態であると推定される場合、吐水制御システム1の管理者を通知先に追加し、管理者へ異常状態であることを通知する。
【0096】
吐水制御システム1は、撮像部10の撮像機能の故障または通信不可等により画像を取得できない場合、第1異常パターンの異常状態であると判定する。例えば、制御部100は、撮像部10から画像を取得できない場合、第1異常パターンの異常状態であると判定する。
【0097】
吐水制御システム1は、利用者が水まわり空間を利用中にも関わらず、制御部100で取得する画像に所定時間変化がない場合、第1異常パターンの異常状態であると判定する。例えば、制御部100は、水まわり空間を利用中と判定している場合に、画像に所定時間変換がない場合、第1異常パターンの異常状態であると判定する。
【0098】
また、吐水制御システム1は、画像が真っ白または真っ黒である場合、第1異常パターンの異常状態であると判定する。例えば、制御部100は、撮像部10から取得した画像が真っ白または真っ黒である場合、第1異常パターンの異常状態であると判定する。
【0099】
吐水制御システム1は、画像の色情報がMAX値(最大値)、MIN値(最小値)の場合、第1異常パターンの異常状態であると判定する。例えば、制御部100は、画像中の全画素の画素値が最大値または最小値である場合、第1異常パターンの異常状態であると判定する。
【0100】
また、吐水制御システム1は、その他の状態として、撮像部10のレンズのくもり、水垢、ほこりの付着がある場合、第1異常パターンの異常状態であると判定してもよい。例えば、制御部100は、画像を解析しレンズのくもり、水垢、ほこりの付着により生じる状態であると判定した場合、第1異常パターンの異常状態であると判定してもよい。
【0101】
第2異常パターンは、水まわり空間の照明等の吐水制御システム1の使用環境により生じる異常パターンである。そのため、第2異常パターンの異常状態の場合、利用者自身の対応により異常状態が解消される可能性が高い。そこで、吐水制御システム1は、第2異常パターンの異常状態である場合、利用者へ異常状態であることを通知する。
【0102】
吐水制御システム1は、例えば白飛び等が生じるような照明が明るすぎる場合、第2異常パターンの異常状態であると判定する。例えば、制御部100は、撮像部10から取得した画像が明るさに関する条件(「明るさ条件」)を満たす場合、第2異常パターンの異常状態であると判定する。
【0103】
吐水制御システム1は、画像の色情報が所定以上の場合、第2異常パターンの異常状態であると判定する。例えば、制御部100は、画像の色情報が明るさ条件を満たす場合、第2異常パターンの異常状態であると判定する。例えば、照明が明るいことで画像全体が白に近づくため、RGBの場合、全てMAX値(255)に近づく。そこで、制御部100は、画像が明るすぎると推定される場合、第2異常パターンの異常状態であると判定する。
【0104】
例えば、制御部100は、画像中の画素のうちRGBの画素値が所定の閾値(例えば220、255等、MAX値に近い任意の値)以上である画素の割合が所定値以上である場合、明るさ条件を満たすと判定し、第2異常パターンの異常状態であると判定する。また、制御部100は、画像中の全画素のうちRGBの画素値の平均値が所定の閾値以上である場合、明るさ条件を満たすと判定し、第2異常パターンの異常状態であると判定する。なお、上記は一例に過ぎず、制御部100は、任意の情報を適宜用いて、照明が明るすぎる場合を判定し、第2異常パターンの異常状態であると判定してもよい。
【0105】
なお、RGBは、色を表示する規格(表現形式)の一例に過ぎず、YUV、YCbCr等の任意の規格であってもよい。例えば、YUV、YCbCr等のRGB以外の規格を基に処理を行う場合、所定の閾値にはその規格に対応する値が設定される。
【0106】
吐水制御システム1は、画像の色情報が所定以下の場合、第2異常パターンの異常状態であると判定する。例えば、制御部100は、画像の色情報が暗さ条件を満たす場合、第2異常パターンの異常状態であると判定する。例えば、照明が暗いことで画像全体が黒に近づくため、RGBの場合、全てMIN値(0)に近づく。そこで、制御部100は、画像が暗すぎると推定される場合、第2異常パターンの異常状態であると判定する。
【0107】
例えば、制御部100は、画像中の画素のうちRGBの画素値が所定の閾値(例えば0、10等、MIN値に近い任意の値)以下である画素の割合が所定値以下である場合、暗さ条件を満たすと判定し、第2異常パターンの異常状態であると判定する。また、制御部100は、画像中の全画素のうちRGBの画素値の平均値が所定の閾値以下である場合、暗さ条件を満たすと判定し、第2異常パターンの異常状態であると判定する。なお、上記は一例に過ぎず、制御部100は、任意の情報を適宜用いて、照明が暗すぎる場合を判定し、第2異常パターンの異常状態であると判定してもよい。
【0108】
また、吐水制御システム1は、その他の状態として、撮像部10のレンズのくもり、水垢、ほこりの付着がある場合、第2異常パターンの異常状態であると判定してもよい。例えば、制御部100は、画像を解析しレンズのくもり、水垢、ほこりの付着により生じる状態であると判定した場合、第2異常パターンの異常状態であると判定してもよい。例えば、撮像部10のレンズのくもり、水垢、ほこりの付着がある場合、吐水制御システム1は、利用者のみに通知してもよいし、管理者へも通知してもよい。
【0109】
なお、吐水制御システム1は、第2種別の異常状態を判定してもよい。例えば、吐水制御システム1は、人等の物体検出できない場合、第2種別の異常状態であると判定してもよい。例えば、吐水制御システム1は、キッチン利用中にも関わらず、認識対象物(人)を検出しない場合、第2種別の異常状態であると判定してもよい。また、吐水制御システム1は、吐水状態を制御する制御信号を送信できない場合、第2種別の異常状態であると判定してもよい。例えば、吐水制御システム1は、認識対象物を検出しているにも関わらず吐水状態を制御する制御信号を送信していない場合、第2種別の異常状態であると判定してもよい。
【0110】
また、吐水制御システム1は、第3種別の異常状態を判定してもよい。例えば、吐水制御システム1は、吐止水、吐水態様を制御できない場合、第3種別の異常状態であると判定してもよい。例えば、吐水制御システム1は、吐水制御信号の送信後、撮像画像を基に吐止水状態を検出し、正しく制御していない場合、第3種別の異常状態を判定してもよい。
【0111】
カメラ自体の故障や利用者の使い方(照明環境、レンズ状態など)に応じて、撮像画像が正確に取得できない、撮像画像の質が低下するなどが発生し、システムが動作しない、誤動作するなどの不具合につながることがある。
【0112】
そこで、吐水制御システム1は、制御部100(マイコン)内の情報および処理結果を基に、撮像部10を含むシステムおよびシステムの利用状態の異常を判定し、通知を行うことで、システムの異常を早期に発見し、対応することが可能となる。なお、ここでいう処理結果には、撮像部10で取得した画像、物体検出の結果、吐水状態制御の結果等が含まれる。また、ここでいう通知には、アプリ上での通知、LED等の光での通知、音での通知等が含まれる。
【0113】
<2.第2の実施形態>
吐水制御システムが学習機能を有してもよい。この点について以下説明する。第2の実施形態に係る吐水制御システム1Aについて、図5を用いて説明する。図5は、第2の実施形態に係る吐水制御システムの構成例を示す図である。以下で示す例では、第1の実施形態に係る吐水制御システム1の構成において、学習機能が追加された場合を第2の実施形態として説明する。
【0114】
第2の実施形態に係る吐水制御システム1において、第1の実施形態に係る吐水制御システム1と同様の点については適宜説明を省略する。例えば、第2の実施形態に係る吐水制御システム1Aは、配置は第1の実施形態に係る吐水制御システム1と同様であるため、配置についての説明は省略する。
【0115】
<2-1.吐水制御システムの構成>
図5に示すように、吐水制御システム1Aは、キッチン本体2と、撮像部10と、制御部100Aと、電磁弁101~103とを有する。このように、吐水制御システム1Aは、制御部100に代えて制御部100Aを有する点で、吐水制御システム1と相違する。なお、吐水制御システム1Aは、上記に限らず、処理内容に応じて、様々な構成を有してもよい。
【0116】
例えば、吐水制御システム1Aは、キッチン本体2での吐水制御に関する情報の記憶などを実施するクラウドサーバ(「クラウド」ともいう)を有してもよい。この場合、吐水制御システム1Aでは、例えば制御部100Aは、クラウドと所定のネットワーク(インターネット)を介して、有線または無線により通信可能に接続される。なお、制御部100Aにおける切替部110、処理部120A、記憶部130A、取得部140A、通知部150、学習部160などの処理をクラウドが実施してもよい。
【0117】
<2-2.制御部(制御装置)の構成>
ここから、制御部100Aの各構成の詳細について説明する。制御部100Aは、例えば各種構成や処理を制御するために用いられる情報処理装置(コンピュータ)であってもよい。制御部100Aは、例えば、CPUやGPU等を有し、制御部100A内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム等)がRAM等を作業領域として実行されることにより実現されてもよい。また、制御部100Aは、例えば、ASICやFPGA等の集積回路を有してもよい。なお、第2の実施形態に係る制御部100Aにおいて、第1の実施形態に係る制御部100と同様の点については適宜説明を省略する。
【0118】
図5に示すように、制御部100Aは、切替部110と、処理部120Aと、記憶部130Aと、取得部140Aと、通知部150と、学習部160とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部100Aの内部構成は、図5に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0119】
切替部110は、学習部160による学習結果に基づく処理部120Aからの指示に応じて、吐水部30の吐水状態を制御する。吐水状態は、任意の吐水態様で吐水している状態、止水している状態を含む吐水部30の状態であり、吐水している状態、止水している状態を総称して「吐止水状態」ともいう。切替部110は、学習部160による吐水部30に対する利用者の行動情報の学習により、利用者に応じた吐水部30の吐水状態を制御する。なお、処理部120Aは、学習部160による学習結果に基づき、切替部110への指示を変更してもよい。
【0120】
処理部120Aは、処理部120と同様、検出部及び判定部として機能し、吐水制御に関する各種の処理を実行する。処理部120Aは、学習部160による学習結果に基づいて、検出結果に応じた吐水部30の吐水状態を制御するように切替部110を制御する。処理部120Aは、後述する解析#1、解析#2等の各種の解析処理を実行する。処理部120Aは、後述する行動予測等の各種の予測処理を実行する。
【0121】
記憶部130Aは、記憶部130と同様に各種の情報を記憶する。記憶部130Aは、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部130Aは、情報処理プログラムによって使用されるデータ等を非一時的に記録するコンピュータが読み取り可能な記録媒体である。記憶部130Aは、各種のセンサ部により検知された情報等の様々な情報を記憶する、記憶部130Aは、吐水の制御に用いる様々な情報を記憶する。
【0122】
記憶部130Aは、学習に関する様々な情報を記憶する。例えば、記憶部130Aは、学習処理に用いる情報を記憶する。例えば、記憶部130Aは、学習処理により生成されたモデルや規則(ルール)等に関する情報を記憶する。また、記憶部130Aは、図6に示す記憶部E3に格納される情報を記憶する。上記は一例に過ぎず、記憶部130Aは、処理に関する様々な情報を記憶する。
【0123】
取得部140Aは、取得部140と同様に各種の情報を取得する。取得部140Aは、情報を取得する。取得部140Aは、記憶部130Aから各種情報を取得する。取得部140Aは、受信した各種情報を記憶部130Aに格納してもよい。
【0124】
学習部160は、各種の学習処理を実行する。学習部160は、後述する学習等の各種の学習処理を実行する。
【0125】
<7-3.吐水制御システムの構成・処理例>
ここから、第2の実施形態に関する吐水制御システムについて説明する。なお、上述した処理と同様の点についての説明は適宜省略する。
【0126】
<7-3-1.構成例>
まず、図6を用いて、吐水制御システムにおける構成要素の一例について説明する。図6は、第2の実施形態に係る吐水制御システムにおける各種構成要素の概念図の一例を示す図である。なお、図6では、各構成要素と吐水制御システム1Aの装置との対応付けは一例であり、図6に示す各構成要素に対応する機能は、吐水制御システム1Aのいずれの装置が行ってもよい。
【0127】
図6に示す構成要素群FCBは、カメラE1、記憶部E3、水栓E11等の物理構成、制御#1で示す制御処理E2、解析#1で示す解析処理E5等の機能構成等が含まれる。吐水制御システム1Aは、カメラE1の撮像画像から認識対象物を検出する解析処理E5と、撮像画像をプライバシーに配慮したデータに処理する解析#2で示す解析処理E6を行い、その結果から吐水部30(図6では水栓E11に対応)の吐水状態を制御する。
【0128】
以下、図6に示す各構成要素の概要について説明する。例えば、カメラE1は、吐水制御システム1Aの撮像部10に対応する。また、制御処理E2は、吐水制御システム1Aの制御部100A(の処理部120A)が実行する制御に対応する。例えば、制御処理E2は、撮像部10により撮像された画像を一時的に記憶する処理や解析処理E5等の処理を行う主体への通知E4を行う処理に対応する。なお、後述するトリガE12が構成要素群FCBに含まれる場合、制御処理E2は、トリガがかかるまで画像を取得しなくてもよい。
【0129】
記憶部E3は、吐水制御システム1Aの制御部100Aの記憶部130Aに対応する。記憶部E3は、一時記憶E31を有し、一時記憶E31には、例えば後述する解析処理E6が行われる前の撮像部10で撮像されたままの画像(「生画像」ともいう)が一時的に格納される。なお、一時記憶E31に一時的に格納された生画像は、解析処理E6以降で削除される。
【0130】
解析処理E5は、吐水制御システム1Aの制御部100A(の処理部120A)が実行する制御に対応する。解析処理E5は、一時記憶E31に一時的に格納された生画像、通知E4により取得した情報及び後述する学習E9の処理結果を基に、認識対象物の検出処理を実行する。解析処理E5は、検出処理により、対象物、座標、時間情報等を抽出し、数値情報を生成する。解析処理E5は、検出処理により、予め設定されたカテゴリ(クラス、種類、分類などどもいう)のうち、対象物がいずれのカテゴリに属するかを判定してもよい。解析処理E5は、処理結果を記憶部E3に解析結果E32として格納する。例えば、解析処理E5の処理結果である数値情報が記憶部E3に解析結果E32として格納される。
【0131】
解析処理E6は、吐水制御システム1Aの制御部100A(の処理部120A)が実行する制御に対応する。解析処理E6は、解析処理E5の処理結果及び後述する学習E9の処理結果を基に、プライバシーに配慮した加工処理を実行する。解析処理E6は、処理結果を記憶部E3に解析結果E32として格納する。例えば、解析処理E6の処理結果である加工画像が記憶部E3に解析結果E32として格納される。
【0132】
例えば、解析処理E6は、解析処理E5の処理結果及び後述する学習E9の処理結果を基に、画像に対する加工処理を実行するが、この点の一例については図7を用いて説明する。図7は、第2の実施形態に係る吐水制御システムのプライバシー配慮に関する処理の一例を示す図である。
【0133】
吐水制御システム1Aは、プライバシー配慮に関する処理として、図7に示す第1プライバシー配慮処理PS1、第2プライバシー配慮処理PS2、第3プライバシー配慮処理PS3等を行う。例えば、吐水制御システム1Aは、第1プライバシー配慮処理PS1に示すように、解析処理E5による解析結果で特定したオブジェクト以外を削除する。吐水制御システム1Aは、自動制御に関連が有る情報を残し、自動制御に関連ない情報を削除する。
【0134】
例えば、吐水制御システム1Aは、第2プライバシー配慮処理PS2に示すように、人物(オブジェクト)を特定できないようにマスクする。吐水制御システム1Aは、生態認証に使われる部位全てにモザイク加工などの処理を実行する。吐水制御システム1Aは、人物(オブジェクト)を特定可能な箇所をアバター等のテンプレートに置き換えてもよい。吐水制御システム1Aは、利用者の年齢、性別、家族構成、認証等に使われる情報等が特定できないようにも配慮した加工を実行する。
【0135】
例えば、吐水制御システム1Aは、第3プライバシー配慮処理PS3に示すように、キッチン(オブジェクト)も人物・環境情報が入らないようマスクする。吐水制御システム1Aは、人物が反射して映る可能性がある箇所についてもモザイク加工などの処理を実行する。吐水制御システム1Aは、外の風景、近所のスーパー名(商品の値札に印字された文字情報等)が映る可能性がある箇所を加工する処理を実行する。吐水制御システム1Aは、人物情報・住んでいる環境(居住環境)がわからないように配慮した加工を実行する。このように、吐水制御システム1Aは、通常の画像解析とプライバシーに配慮した画像解析を行う。
【0136】
判定処理E7は、吐水制御システム1Aの制御部100A(の処理部120A)が実行する制御に対応する。判定処理E7は、記憶部E3に格納された解析結果E32及び後述する学習E9の処理結果を基に、判定処理を実行する。例えば、判定処理E7は、解析結果E32及び後述する学習E9の処理結果を基に、利用有無の判定や異常状態判定等の各種の判定処理を実行する。判定処理E7は、処理結果を記憶部E3に判定結果E33として格納する。例えば、判定処理E7の処理結果である判定結果がその判定に用いられた情報と対応付けられて、記憶部E3に判定結果E33として格納される。
【0137】
行動予測E8は、吐水制御システム1Aの制御部100A(の処理部120A)が実行する制御に対応する。行動予測E8は、記憶部E3に格納された解析結果E32及び判定結果E33を基に、行動予測の処理を実行する。例えば、行動予測E8は、解析結果E32及び判定結果E33を基に、次に行われる行動を予測する処理を実行するが、この点の一例については図8を用いて説明する。図8は、第2の実施形態に係る吐水制御システムの行動予測に関する処理の一例を示す図である。
【0138】
吐水制御システム1Aは、過去の解析情報を蓄積することにより傾向として行動予測を行う。図8では、吐水制御システム1Aは、第1状況SN1から第2状況SN2状況の変化に応じて、予測PD1に示す行動予測を行う。第1状況SN1は、ボウルを検知した状況に対応し、第2状況SN2は、ボウル及び氷を検知した状況に対応する。吐水制御システム1Aは、第1状況SN1から第2状況SN2状況への変化を基に、予測PD1に示すように、次の行動として利用者が水を溜める可能性があると予測する。この場合、吐水制御システム1Aは、吐水制御CN1に示すように、予測PD1を基に吐水を開始する制御を実行する。このように、吐水制御システム1Aは、直近の状況や過去の履歴を基に、解析結果から行動予測を行う。
【0139】
学習E9は、吐水制御システム1Aの制御部100A(の学習部160)が実行する制御に対応する。学習E9は、記憶部E3に格納された解析結果E32及び判定結果E33を基に、学習処理を実行する。例えば、学習E9は、過去の解析処理E5、解析処理E6及び判定処理E7を基に、解析処理E5、解析処理E6及び判定処理E7を更新(ブラッシュアップ)する。例えば、学習E9は、過去の解析処理E5、解析処理E6及び判定処理E7の情報を用いて、解析処理E5に用いるモデルを更新することにより、解析処理E5を更新(ブラッシュアップ)する。また、学習E9は、過去の解析処理E5、解析処理E6及び判定処理E7の情報を用いて、解析処理E6に用いるモデルを更新することにより、解析処理E6を更新(ブラッシュアップ)する。また、学習E9は、過去の解析処理E5、解析処理E6及び判定処理E7の情報を用いて、判定処理E7に用いるモデルを更新することにより、判定処理E7を更新(ブラッシュアップ)する。
【0140】
例えば、学習E9は、過去の解析処理E5、解析処理E6及び判定処理E7を基に、解析処理E5において様々な食器を検知可能になるように解析処理E5を更新する。例えば、学習E9は、過去の解析処理E5、解析処理E6及び判定処理E7を基に、解析処理E5において様々な人を検知可能になるように解析処理E5を更新する。例えば、学習E9は、過去の解析処理E5、解析処理E6及び判定処理E7の情報を用いて、解析処理E5に用いるモデルを更新することにより、解析処理E5において様々な人を検知可能にする。
【0141】
例えば、学習E9は、過去の解析処理E5、解析処理E6及び判定処理E7を基に、解析処理E5において様々な環境に対応可能になるように解析処理E5を更新する。なお、学習E9は、過去の解析処理E5、解析処理E6、判定処理E7及び行動予測E8を基に、行動予測E8において様々な行動傾向を予測可能になるように行動予測E8を更新してもよい。このように、吐水制御システム1Aは、解析結果のデータを活用して未来の解析を向上させ、より使い勝手のよくすることができる。
【0142】
制御#2で示す制御処理E10は、吐水制御システム1Aの制御部100A(の処理部120A)が実行する制御に対応する。例えば、制御処理E10は、記憶部E3に判定結果E33として格納された判定処理E7による判定結果を基に、水栓E11を制御する処理に対応する。上述したように水栓E11は、吐水制御システム1Aの吐水部30に対応する。
【0143】
トリガE12は、吐水制御システム1Aのセンサや端末装置(スマートフォン等)等に対応する。なお、トリガE12は、構成要素群FCBに含まれなくてもよい。例えば、トリガE12は、水栓E11が配置された水まわり空間の使用開始、使用終了、削除トリガ等を示す情報を検知する。
【0144】
制御#3で示す制御処理E13は、吐水制御システム1Aの制御部100A(の処理部120A)が実行する制御に対応する。例えば、制御処理E13は、トリガE12による検知に応じて、制御処理E2を実行するように通知したり、一時記憶E31に格納されたデータの削除を実行するように指示したりする。例えば、制御処理E13は、記憶部E3への判定結果E33の格納に応じて、一時記憶E31に格納されたデータの削除を実行するように指示する。例えば、制御処理E13は、記憶部E3への判定結果E33の格納完了、すなわち判定処理E7の完了に応じて、一時記憶E31に格納されたデータの削除を実行するように指示する。
【0145】
このように、吐水制御システム1Aは、プライバシーに配慮しつつ、解析結果のデータを活用して、未来の解析を向上させることができる。なお、上述した処理は一例に過ぎず、吐水制御システム1Aは、任意の処理を実行してもよい。例えば、吐水制御システム1Aは、以下に示すような吐水状態の制御を行ってもよい。例えば、吐水制御システム1Aは、吐水状態(吐止水および吐水態様)の制御について、異常を検知して自動モードから手動モードに切り替えるが、異常を検知せずとも、利用者の操作により、自動モードと手動モードを切り替えてもよい。また、吐水制御システム1Aは、吐水状態(吐止水および吐水態様)の制御について、利用者の操作により吐水状態の制御方法を変更してもよい。この場合、吐水制御システム1Aは、例えば、浄水に切り替える設定を原水に切り替える、流量の強弱の設定を変更するなど、吐水状態の制御を変更してもよい。また、吐水制御システム1Aは、利用者の操作として、アプリからの入力、スイッチなどの操作部の操作など任意の方法での操作を受け付けてもよい。
【0146】
例えば、吐水制御システム1Aは、以下に示すようなプライバシー配慮についての処理を行ってもよい。例えば、吐水制御システム1Aは、図6中の解析#2(プライバシー配慮)のタイミングは、図6中の解析#1以降であれば、任意のタイミングで実施してよい。なお、吐水制御システム1Aは、リアルタイムに吐水状態を制御するために、吐水状態の制御後に解析#2を実施することがより望ましい。
【0147】
例えば、吐水制御システム1Aは、撮像部10で取得した画像(生データ)の削除を、解析#2以降であれば、任意のタイミングで実施してよい。なお、一連の水まわり空間(キッチン等)の利用終了後に解析#2を実施することで、リアルタイムに吐水状態を制御することが可能なため、吐水制御システム1Aは、一連の水まわり空間の利用終了後に解析#2を実行することがより望ましい。
【0148】
例えば、吐水制御システム1Aが撮像画像を一時記憶(取得)するタイミングは、センサ等の任意のトリガを基に決定(実施)されてもよい。なお、トリガをもとに撮像画像を一時記憶(取得)する場合、吐水制御システム1Aは、撮像部10で取得した画像(生データ)を、トリガがオフになったとき、水まわり空間の使用終了や吐水制御の判定終了に伴う削除トリガを確認したとき、または、利用者からの操作によって指示があったとき等に削除する。
【0149】
例えば、吐水制御システム1Aは、行動予測および学習よりも、吐水状態の制御を優先して実施することが望ましい。また、例えば、吐水制御システム1Aは、学習等のリアルタイム性を要求されない処理を、夜間など、水まわり空間(キッチン等)を利用していない時間帯で実施することがより望ましい。
【0150】
例えば、吐水制御システム1Aの記憶部は、水まわり空間(キッチン等)内に限らず、水まわり空間(キッチン等)外(ネットワークを介したインターネット上も含む)にあってもよい。記憶部が水まわり空間(キッチン等)外にある場合、吐水制御システム1Aにおいて記憶部にデータを送信するタイミングは、解析#2を実施以降であれば、任意のタイミングであってもよく、リアルタイムに吐水状態を制御するため、一連の水まわり空間(キッチン等)の利用終了後にデータを送信することが望ましい。なお、その他のセンサにより、利用者を検出したにも関わらず、解析#1の結果として、利用者を検出できなかった場合、吐水制御システム1Aは、プライバシーの配慮のため該当データを削除し、送信対象等からも除外してもよい。
【0151】
例えば、吐水制御システム1Aにおいて、解析および行動予測、学習を実行する主体(装置)は、上記に限定されず、吐水制御システム1Aに含まれるいずれの装置(ハードウェア)が実施してもよい。また、解析および行動予測、学習を実行する場所についても、水まわり空間(キッチン等)内だけでなく、水まわり空間(キッチン等)外(ネットワークを介したインターネット上も含む)の任意の場所であってもよい。
【0152】
上述した実施形態では、吐水制御システム1の適用場所として、キッチンを用いて説明してきたが、例えば、トイレ空間に設けられた洗面スペースや、洗面化粧台など手洗いなどの吐止水行為が実行される場所に適用してもよい。なお、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0153】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【0154】
上述してきた各実施形態及び変形例について、以下のような構成であってもよいが、以下には限られない。
(1)
水受け部に向けて吐水する吐水部と、
水まわり空間に関する画像を撮像する撮像部と、
前記撮像部が撮像した画像に対して画像に関連する処理を実行し、前記画像に関連する処理結果に基づいて、前記吐水部を制御する制御部と、
を備え、
前記制御部は、
前記水まわり空間の利用有無を示す情報に基づいて、前記水まわり空間が利用中と判定されている間に、異常状態に関する条件を満たす場合、前記異常状態であることを利用者に通知する
ことを特徴とする吐水制御システム。
(2)
前記条件は、前記画像の色情報が、所定の閾値以上の場合、または、所定の閾値以下の場合であることの少なくとも1つを含む
ことを特徴とする(1)に記載の吐水制御システム。
(3)
前記条件は、前記水まわり空間が利用中と判定してから所定時間以上継続して、前記画像の色情報に所定以上の変化がない場合であることを含む
ことを特徴とする(1)または(2)に記載の吐水制御システム。
(4)
前記制御部は、
前記条件を満たした場合、前記異常状態に関する原因、または、異常箇所を判定し、判定結果を通知する
ことを特徴とする(1)~(3)のいずれか1つに記載の吐水制御システム。
(5)
前記制御部は、
前記判定結果に応じて、前記吐水制御システムの管理者を通知先に追加し、前記管理者へ前記異常状態であることを通知する
ことを特徴とする(4)に記載の吐水制御システム。
(6)
前記制御部は、
前記条件を満たしていない間、自動モードで前記吐水部を制御し、前記条件を満たした場合、前記自動モードから、前記利用者による前記吐水部の制御に関する操作を受け付ける手動モードへ切り替える
ことを特徴とする(1)~(5)のいずれか1つに記載の吐水制御システム。
【符号の説明】
【0155】
1、1A 吐水制御システム
2 キッチン本体(水まわり機器本体)
10 撮像部
20 上面部
30 吐水部
31 吐水管
32 ヘッド
40 シンク(水受け部)
100、100A 制御部(制御装置)
101、102、103 電磁弁
110 切替部
120、120A 処理部(判定部、検出部)
130、130A 記憶部
140、140A 取得部
150 通知部
160 学習部
図1
図2
図3
図4
図5
図6
図7
図8