知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6827758
(24)【登録日】2021年1月22日
(45)【発行日】2021年2月10日
(54)【発明の名称】移動式アシスト装置及び移動式アシスト方法
(51)【国際特許分類】
G08B 13/08 20060101AFI20210128BHJP
G08B 13/16 20060101ALI20210128BHJP
G08B 13/196 20060101ALI20210128BHJP
G08B 25/04 20060101ALI20210128BHJP
H05B 47/11 20200101ALI20210128BHJP
【ＦＩ】
G08B13/08 Z
G08B13/16 Z
G08B13/196
G08B25/04 E
H05B47/11
【請求項の数】11
【全頁数】29
(21)【出願番号】特願2016-200994(P2016-200994)
(22)【出願日】2016年10月12日
(65)【公開番号】特開2018-63826(P2018-63826A)
(43)【公開日】2018年4月19日
【審査請求日】2018年11月12日
(73)【特許権者】
【識別番号】000214984
【氏名又は名称】東芝映像ソリューション株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】特許業務法人スズエ国際特許事務所
(72)【発明者】
【氏名】野本 弘之
(72)【発明者】
【氏名】平尾 駿
(72)【発明者】
【氏名】井澤 秀人
(72)【発明者】
【氏名】嘉和知 玲子
(72)【発明者】
【氏名】本沢 邦朗
【審査官】
大橋 俊之
(56)【参考文献】
【文献】
特表２０１６−５１３９８１（ＪＰ，Ａ）
【文献】
特開２００５−１０３６７８（ＪＰ，Ａ）
【文献】
特開２００７−１３３６６９（ＪＰ，Ａ）
【文献】
韓国公開特許第１０−２０１６−００２８２３９（ＫＲ，Ａ）
【文献】
特開２００５−２５９４３７（ＪＰ，Ａ）
【文献】
特開２００６−２１０１１４（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０８Ｂ １３／０８
Ｇ０８Ｂ １３／１６
Ｇ０８Ｂ １３／１９６
Ｇ０８Ｂ ２５／０４
Ｈ０５Ｂ ４７／１１
(57)【特許請求の範囲】
【請求項1】
移動装置と、
前記移動装置に搭載され、周囲の明度を検出する照度センサ、人感センサを含む複数のセンサと、
前記移動装置に搭載され複数のエリアを記憶しているマッピング部と、
カメラと、
制御部とを有し、
前記制御部は、
前記複数のエリアのうち移動先エリアを決定する手段と、
前記移動先エリアで、前記照度センサの検出出力から周囲空間の明度を計測すると共に、計測結果に基づいて、照明具の動作を制御するための制御信号を出力する手段を有し、
前記明度の計測値が所定値に満たない場合、前記明度の計測値を一時記憶し、前記移動先エリアの前記照明具の明るさを大きくなる方向へ調整したとき、前記カメラにより撮影を行い、前記カメラによる撮影終了後、前記一時記憶している前記明度の計測値になるように前記照明具の明るさを調整する手段を有する、
移動式アシスト装置。
前記移動装置に搭載され、周囲の明度を検出する照度センサ、人感センサを含む複数のセンサと、
前記移動装置に搭載され複数のエリアを記憶しているマッピング部と、
カメラと、
制御部とを有し、
前記制御部は、
前記複数のエリアのうち移動先エリアを決定する手段と、
前記移動先エリアで、前記照度センサの検出出力から周囲空間の明度を計測すると共に、計測結果に基づいて、照明具の動作を制御するための制御信号を出力する手段を有し、
前記明度の計測値が所定値に満たない場合、前記明度の計測値を一時記憶し、前記移動先エリアの前記照明具の明るさを大きくなる方向へ調整したとき、前記カメラにより撮影を行い、前記カメラによる撮影終了後、前記一時記憶している前記明度の計測値になるように前記照明具の明るさを調整する手段を有する、
移動式アシスト装置。
【請求項2】
前記制御部は、
前記人感センサが人を検出していると判断したとき、前記照明具の照度の調整を停止する、請求項１記載の移動式アシスト装置。
前記人感センサが人を検出していると判断したとき、前記照明具の照度の調整を停止する、請求項１記載の移動式アシスト装置。
【請求項3】
前記制御部は、
前記人感センサが人を検出しているときは、前記照明具の照度の調整を停止し、マイク及び又はスピーカを起動する、請求項１記載の移動式アシスト装置。
前記人感センサが人を検出しているときは、前記照明具の照度の調整を停止し、マイク及び又はスピーカを起動する、請求項１記載の移動式アシスト装置。
【請求項4】
前記制御部は、
前記照明具の明るさを調整する前の照明による色味も記憶し、前記カメラによる撮影終了後、前記照明具の明るさを調整して照明による色味を調整前の状態に戻す、請求項１記載の移動式アシスト装置。
前記照明具の明るさを調整する前の照明による色味も記憶し、前記カメラによる撮影終了後、前記照明具の明るさを調整して照明による色味を調整前の状態に戻す、請求項１記載の移動式アシスト装置。
【請求項5】
前記制御部は、
前記マイクにより検出された音の音データを取得する手段と、
前記音の方向及び前記音の発生エリアを推定する手段と、
前記移動装置を制御して前記音の発生エリアへ本移動式アシスト装置を移動させ、前記カメラに前記音の方向を撮像させる手段を備えている、請求項３記載の移動式アシスト装置。
前記マイクにより検出された音の音データを取得する手段と、
前記音の方向及び前記音の発生エリアを推定する手段と、
前記移動装置を制御して前記音の発生エリアへ本移動式アシスト装置を移動させ、前記カメラに前記音の方向を撮像させる手段を備えている、請求項３記載の移動式アシスト装置。
【請求項6】
前記制御部は、
前記音の種類により、前記推定、前記移動装置の制御、前記撮像を制限する手段を備える、請求項５記載の移動式アシスト装置。
前記音の種類により、前記推定、前記移動装置の制御、前記撮像を制限する手段を備える、請求項５記載の移動式アシスト装置。
【請求項7】
前記制御部は、
前記音に関する学習手段を備え、前記音が学習手段で記憶されている音の場合は、前記推定、前記移動装置の制御、前記撮像を制限する手段を備える、請求項６記載の移動式アシスト装置。
前記音に関する学習手段を備え、前記音が学習手段で記憶されている音の場合は、前記推定、前記移動装置の制御、前記撮像を制限する手段を備える、請求項６記載の移動式アシスト装置。
【請求項8】
前記制御部は、
前記移動装置を制御して、移動している途中で、撮影に必要な明るさが不足する場合、移動系路の照明を点灯する手段を備える、請求項５記載の移動式アシスト装置。
前記移動装置を制御して、移動している途中で、撮影に必要な明るさが不足する場合、移動系路の照明を点灯する手段を備える、請求項５記載の移動式アシスト装置。
【請求項9】
前記制御部は、
前記移動装置を制御して、移動している途中で、移動系路を撮像し、過去の撮像データと今回の移動途中の撮像データとの差分から、障害物の有無を判断し、障害物を避けるように前記移動装置を制御する手段を備える、請求項５記載の移動式アシスト装置。
前記移動装置を制御して、移動している途中で、移動系路を撮像し、過去の撮像データと今回の移動途中の撮像データとの差分から、障害物の有無を判断し、障害物を避けるように前記移動装置を制御する手段を備える、請求項５記載の移動式アシスト装置。
【請求項10】
前記制御部は、
照明の照度を計測し、前記照明の明るさが不十分であった場合、警告を行う手段を備える請求項１記載の移動式アシスト装置。
照明の照度を計測し、前記照明の明るさが不十分であった場合、警告を行う手段を備える請求項１記載の移動式アシスト装置。
【請求項11】
移動装置と、前記移動装置に搭載され、周囲の明度を検出する照度センサ、人感センサを含む複数のセンサと、前記移動装置に搭載され複数のエリアを記憶しているマッピング部と、カメラと、制御部とを有する移動式アシスト装置のアシスト方法であって、
前記制御部は、
前記複数のエリアのうち移動先エリアを決定し、
前記移動先エリアで、前記照度センサの検出出力から周囲空間の明度を計測すると共に、計測結果に基づいて、照明具の動作を制御するための制御信号を出力し、
前記明度の計測値が所定値に満たない場合、前記明度の計測値を一時記憶し、前記移動先エリアの前記照明具の明るさを大きくなる方向へ調整したとき、前記カメラにより撮影を行い、前記カメラによる撮影終了後、前記一時記憶している前記明度の計測値になるように前記照明具の明るさを調整する、
移動式アシスト装置のアシスト方法。
前記制御部は、
前記複数のエリアのうち移動先エリアを決定し、
前記移動先エリアで、前記照度センサの検出出力から周囲空間の明度を計測すると共に、計測結果に基づいて、照明具の動作を制御するための制御信号を出力し、
前記明度の計測値が所定値に満たない場合、前記明度の計測値を一時記憶し、前記移動先エリアの前記照明具の明るさを大きくなる方向へ調整したとき、前記カメラにより撮影を行い、前記カメラによる撮影終了後、前記一時記憶している前記明度の計測値になるように前記照明具の明るさを調整する、
移動式アシスト装置のアシスト方法。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、移動式アシスト装置及び移動式アシスト方法に関する。
【背景技術】
【0002】
最近では、各種の監視システムが開発されている。監視システムには、カメラ、マイクなどが利用され、映像データ及び又はオーディオデータが取得され解析される。解析結果に応じて、不審者侵入などの各種の判定がなされる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第４８１９２２１号公報
【特許文献2】特許第４２４５３６７号公報
【特許文献3】特開２００４−２９５４０８号公報
【特許文献4】特開２００７−１３３６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
最近では、監視カメラ、マイクの他に、各種のセンサが開発されている。温度センサ、ガスセンサ、圧力センサ等は勿論であるが、小規模のデータプロセッサ、メモリ、通信機能を備えたセンサ（インターネット・オブ・シング：ＩｏＴと称されるものもある）も開発されている。このために監視システムとしては、各種センサの出力を情報取得源として利用し、総合的な状況判定を行う近代的な監視システムが要望されている。
【0005】
そこで本実施形態では、各種センサからのデータを総合的に判断して、次に制御すべき内容を判断し、監視効果を向上できる移動式アシスト装置を提供することを目的とする。
【0006】
また他の実施形態では、複数の監視センサの連携を実現し、アシスト機能を一層向上しえる移動式アシスト装置及び移動式アシスト方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
一実施形態によれば、移動装置と、前記移動装置に搭載され、周囲の明度を検出する照度センサ、人感センサを含む複数のセンサと、
前記移動装置に搭載され複数のエリアを記憶しているマッピング部と、
カメラと、
制御部とを有し、
前記制御部は、
前記複数のエリアのうち移動先エリアを決定する手段と、
前記移動先エリアで、前記照度センサの検出出力から周囲空間の明度を計測すると共に、計測結果に基づいて、照明具の動作を制御するための制御信号を出力する手段を有し、
前記明度の計測値が所定値に満たない場合、前記明度の計測値を一時記憶し、前記移動先エリアの前記照明具の明るさを大きくなる方向へ調整したとき、前記カメラにより撮影を行い、前記カメラによる撮影終了後、前記一時記憶している前記明度の計測値になるように前記照明具の明るさを調整する手段を有する、
移動式アシスト装置を提供できる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、実施の形態について図面を参照して説明する。図１において、移動式アシスト装置の概要について説明する。６００はホームゲートウエイ（ＨＧＷと記述する）であり、後述するようにネットワークに接続されることが可能である。このＨＧＷ６００は、移動装置（キャリング装置と称してもよい）６１８と一体となった移動型である。なおＨＧＷ６００は、静止型（固定型と称してもよい）もあり、移動型と合わせて総称としてアシスト装置６５０と称されてもよい。
【0010】
ＨＧＷ６００（アシスト装置６５０）は、カメラ６１１、マイク６１３、スピーカ６１５を少なくとも備えている。カメラ６１１、マイク６１３などは大きな意味でセンサと称されてもよい。カメラは複数備わってもよい。ＨＧＷ６００は、センサからピックアップデータと、内部の制御用アプリケーションに基づいて、移動装置６１８を制御することができる。この自己制御に基づいて、所在地の変更、オブジェクトの追跡などを行うことができる。
【0011】
図２は、上記ＨＧＷ６００の内部構成と、ネットワークとの関係を示している。
【0012】
サーバ１０００は、インターネット３００を介してＨＧＷ６００と接続可能である。ＨＧＷ６００は、メモリ６０１、制御部（システムコントローラと称してもよい）６０２、デバイス管理器６０３、ネットワークインターフェース（以下ネットワークＩ／Ｆ）６０５、センサ制御テーブル６０９、カメラ６１１、マイク６１３、スピーカ６１５などを備える。
【0013】
ＨＧＷ６００は、通信機能（通信装置と称してもよい）であるネットワークＩ／Ｆ）６０５を介して、各種の通信方式に対応可能である。センサは、メーカにより通信方式が異なる場合がある。例えば、通信方式としてＩＥＥＥ８０２．１５．４を採用しているセンサが存在したり、ＩＥＥＥ８０２．１５１を採用しているセンサが存在したり、ＩＥＥＥ８０２．１５．３ａを採用しているが存在したりする。さらには、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｇ、を採用しているセンサもある。
【0014】
そこで本実施形態のＨＧＷ６００は、ネットワークインターフェースとして各方式に対応できるインターフェースを装備することができる。
【0015】
またＨＧＷ６００は、先の移動装置６１８を駆動制御する駆動部６１８ａを備える。さらにＨＧＷ６００は、移動位置を記憶して地図を作成することができるマッピング部６１９を備える。
【0016】
またＨＧＷ６００は、周囲の明るさを検出する照明センサ６２２、周囲に人がいるかいないかを感知することができる人感センサ６２３を備えている。なお周囲照明が十分である場合、カメラ６１１が人感センサ６２３を兼用する場合もある。
【0017】
メモリ６０１（制御データ管理部と称されてもよい）は、アプリケーションマネージャ（以下ＡＰＰ−Ｍｇ）、イベントマネージャ（以下ＥＶＴ−Ｍｇ）、コンフィギュレーションマネージャ（以下ＣＯＮＦＩＧ−Ｍｇ）を含む。ＡＰＰ−Ｍｇは、ＨＧＷ６００の各種動作を制御するための複数のアプリケーションを管理している。ＥＶＴ−Ｍｇは、各種イベントの発生に起因する各種動作を制御するためのイベント用アプリケーションなどを管理している。さらにＣＯＮＦ−Ｍｇは、ＨＧＷ６００内の機能とこのＨＧＷ６００が関連している各種機能を認識して、例えば動作順位、動作制限などを行う構成用アプリケーションを管理している。
【0018】
システムコントローラ６０２は、ＨＧＷ６００内の各ブロックを統括してシーケンス制御することができる。また後でフローチャートを示して説明するＨＧＷの動作（判定、データ処理、解析動作、通信）等は、このシステムコントローラ６０２とメモリ６０１に格納されているアプリケーションに基づいて、実行される。
【0019】
ＥＶＴ−Ｍｇは、カメラ６１１、マイク６１３、スピーカ６１５、記録管理器（図示せず）等の制御を行うことができる。またＥＶＴ−Ｍｇは、ネットワークＩ／Ｆ６０５から取り込まれた外部センサからの検出データ及び又はカメラ６１１、マイク６１３からのデータを判定し、次のアクションや振る舞いを制御することができる。ＣＯＮＦＧ−Ｍｇは、ＨＧＷ６００内部の各機能ブロックの初期設定、機能の制限、機能の拡張、優先順位、動作時間などの設定を行うことができる。
【0020】
デバイス管理器６０３は、ＨＧＷ６００に関連して動作する他の装置を認証し、メモリ６０１に登録することができる。したがって、デバイス管理器６０３は、ネットワークＩ／Ｆ６０５を介して、接続される複数の他のセンサ、照明具１２０等、・・・・を管理することができる。またデバイス管理器６０３は、インターネット３００を介して接続されるサーバ１０００の識別データも登録しており、サーバ１０００を認識することができる。さらにまたデバイス管理器６０３は、インターネット３００を介して接続されるスマートフォーン等の識別データも登録しており、該スマートフォーンを認識することができる。
【0021】
またセンサ及び器具制御テーブル６０９は、各種センサ及び器具の名前、各種センサ及び器具の位置情報、各センサ及び器具を制御及び又は制御を制限するためのデータを記憶している。また各センサの名前や位置情報は、スマートフォーン等に表示させることができ、これにより、ユーザはセンサの種類や取り付け位置を確認することができる。
【0022】
ネットワークＩ／Ｆ６０５は、近距離無線を介して例えば家庭内の他のセンサや、制御対象（照明具１２０、・・・・）と接続される。図では、照明具１２０を代表して示している。この照明具１２０は、ネットワークとつながるＩ／Ｆ部１２２と、調光部１２３と、発光部１２４を備える。調光部１２３は、Ｉ／Ｆ部１２２を介して外部から与えられる指令に基づいて、発光部１２４の電流を制御することができ、この制御により、照明を明るく制御することも、暗く制御することも可能である。その他、情報取得用のセンサ、制御用のセンサ、制御されるセンサとしては、各種のセンサが存在する。
【0023】
ここで、移動位置を記憶して地図を作成することができるマッピング部６１９についてさらに説明する。マッピング部６１９は、例えば搭載しているカメラ６１１からの画像を応用することができる。マッピング部６１９のマッピング機能として、ＳＬＡＭ(Simultaneous Localization and Mapping: 自己位置推定と環境マップ生成の同時実行）機能がある。このＳＬＡＭ機能は、従来の移動体が、床の上をランダムに走行したのに対して、対象エリアの地図を作成し、その地図に従って動作（移動）系路を構築しながら動作する。このＳＬＡＭ機能は、カメラからの撮像データを参照して動作し、周囲の環境マップを内部生成し、そして現在位置情報を出力することができる。
【0024】
＜照明制御と撮像＞図３Ａ、図３Ｂは、上記移動式のＨＧＷ６００が明るい状態の部屋８００ａに侵入した場合と、暗い状態の部屋８００ｂに侵入した場合を示している。ＨＧＷ６００は、例えば定期点検で部屋を撮影するため部屋８００ａに侵入した場合、照度センサ６２２の測定値をチェックする。部屋８００ａは、明るいので、撮影を行う。部屋８００ａが明るいケースとしては、照明具１２０が十分な明るさで点灯している場合、或は窓８０２からの外光があり、部屋の中が十分な明るさである場合がある。
【0025】
これに対して、定期点検で部屋を撮影するため部屋８００ｂに侵入した場合、照度センサ６２２の測定値は、照度が低いことを示す。この場合、ＨＧＷ６００は、照明具１２０を制御し、点灯或いは調光制御により部屋を明るくし、撮影を行う。
【0026】
上記の説明は一例であり、ＨＧＷ６００による照明制御としては単純な例である。ＨＧＷ６００は、環境に応じてさらに複雑な制御を実施することができる。
【0027】
図４を参照して、ＨＧＷ６００の制御動作のさらなる例を説明する。この制御動作は、ＨＧＷ６００内のシステムコントローラ６０２により統括的に行われる。
【0028】
ＨＧＷ６００は、例えばユーザが設定したタイマーによる動作設定、或はユーザによる直接操作、さらには、他のセンサからの何らかの検出情報に基づいて動作を開始する。ユーザによる直接操作は、インターネットを介して例えばスマートフォーンからの指示を操作指令としてもよい。或いはユーザによる特定の音声指令に基づいて動作開始してもよい。ＨＧＷ６００の移動体が、後述する静止型のアシスト装置からの指令に基づき、移動を開始してもよい（アシスト装置の連携動作である）。
【0029】
ここで示す動作フローでは、予め過去に実行したＳＬＡＭ機能により宅内の部屋のマップが完成しているものとする。また、ＨＧＷ６００は、宅内マップデータと、他のセンサ（カメラ、ＧＰＳなど）との組み合わせに基づいて、自己の移動位置を把握しているものとする。
【0030】
動作が開始すると、移動対象となるエリアの一覧を取得する(ステップＳＢ１)。次に、ＨＧＷ６００の未到達エリアがあるかどうかの判定が行われる。この判定は、システムコントローラ６０２が、動作対象となるエリアの一覧を参照し、未到達のエリアが残っているかどうかを判定する(ステップＳＢ２)。未到達エリアが残っていない場合は、動作終了し、未到達エリアが残っている場合は、例えば優先順位の高い未到達エリアを判定する。次に未到達エリアと判定されたエリアは、ＨＧＷ６００が到達可能なエリアであるかどうかの判定を行う(ステップＳＢ３)。
【0031】
ステップＳＢ３で、到達可能なエリアであると判断した場合、ステップＳＢ４に進み、到達不可能なエリアであると判断した場合、ステップＳＢ２１に進む。到達不可能なエリアとして判断する材料としては、例えば部屋のセンサ付鍵がロックされている、或は、カメラでチェックした結果、途中に回避不可能な障害物がある、などがある。
【0032】
到達可能なエリアに到達した後（ステップＳＢ４）、ＨＧＷ６００は、周囲の照度を計測（ステップＳＢ５）。照度を計測した後、周囲空間の光色は、ＳＬＡＭ機能が正常に動作できる明るさであるかどうかの判定を行う(ステップＳＢ６)。
【0033】
ＳＬＡＭ機能が正常に動作できる明るさであった場合、所定動作を実行する(ステップＳＢ７)。所定動作とは、ＨＧＷ６００がこの位置に移動してきた目的に応じた動作である。
【0034】
例えば、部屋の温度測定のために移動してきた場合、ＨＧＷ６００は、部屋の温度センサからの温度情報を取得する。或は部屋に飾ってある花の撮影のために移動してきた場合、ＨＧＷ６００は、カメラ６１１を使って花を撮影する。さらには、部屋の窓の開閉状態などの監視のために移動してきた場合、部屋の窓センサからの開閉情報を取得、或はカメラを使って窓を撮影する。このような動作が完了しない場合は、ステップＳＢ５に戻る。なお、ＨＧＷ６００は、花の状態が水不足であると判断した場合は、自動給水器をオン制御し、予め設定されている水分を花に供給することができる。ＨＧＷ６００は、花を撮影する場合も、照明の状態を制御することができる。
【0035】
上記したような動作が完了した場合（ステップＳＢ８）、ＨＧＷ６００は、動作前に照明を制御したどうかの判定を行う(ステップＳＢ９)。ＨＧＷ６００は、動作前に照明を制御している場合、照明を制御前の状態に戻す制御行い(ステップＳＢ１０)、ステップＳＢ２に戻る。
【0036】
先のステップＳＢ３において、未到達のエリアには到達することが不可能であると判断した場合、当該エリアを動作（監視）対象エリアから除外し(ステップＳＢ２１)、ステップＳＢ２に戻る。
【0037】
先のステップＳＢ６において、ＨＧＷ６００が、周囲空間の光色は、ＳＬＡＭ機能が正常に動作できない明るさであるとの判定をしたとする。この場合は、ステップＳＢ２２に移行し、照明具がネットワーク制御対象であるかどうかの判定がなされる。次にネットワーク制御対象の照明具である場合は、照明具の制御が禁止されていないかどうかの判定がなされる(ステップＳＢ２３)。この時の参照データとしては、デバイス管理器６０３及び又はセンサ制御テーブル６０９（図２参照）のデータが利用される。
【0038】
照明具がネットワーク制御対象でない場合や、制御が禁止されている場合は、ステップＳＢ２１において、当該エリアが移動対象エリアから除外される。
【0039】
照明具の制御が禁止されていない場合、さらに人感センサ６２３が人を検出していないかどうかの判定がなされる。人感センサ６２３が人を検出していた場合、特定の動作目的を除いて、基本的には当該エリアでは動作対象エリアから除外する(ステップＳＢ２１)。特定の動作目的とは、部屋に人が存在する場合でも監視対象として設定されている場合は特定の動作目的である。例えば、病院のベッドに人が存在した場合でも、窓やカーテンの開閉状態を監視する場合がある。そこでこのような部屋は、予め例外の部屋（エリア）として登録される、つまりチェック必須エリアとして例えばマッピング部６１９に登録することができる。
【0040】
ステップＳＢ２４において、人感センサが人を検出していない場合、調光の試行回数の上限に達していないかどうかが判定される。これは、これまでの現在のエリアにおける照明の制御回数を参照し、規定の制御回数を超えていないかどうかをチェックするためである。そして照明の制御回数に制限を設けている。照明の制御回数に制限を設ける理由としてはＳＬＡＭ機能のための最適な照明環境はエリアごとに異なり、調光に複数回の試行を要する場合がある。しかしこの試行過程において、調光が上手くいかない場合、調光作業の無限ループとなる恐れがある。そこで無限ループを回避するために、調光回数に制限を設けている。
【0041】
上限に達していない場合は、照明の初期状態を記録（記憶）し（ステップＳＢ２６）、照明の制御を開始する（ステップＳＢ２７）。しかし上限を超えている場合は、ステップＳＢ１０に移る。
【0042】
照明の制御に関しては、全灯、色味の調整などが可能である。照明の制御が開始されると、ステップＳＢ５に移る。上記した制御ループにおいて、除外した対象エリアを除いて、未到達のエリアが零になったら、動作を終了する。そして例えば、自動的に充電台戻り充電を開始する。
【0043】
上記した例は、ＨＧＷ６００が、周囲の明るさ環境に応じて照明具の調光を行う例を述べた。しかし、照明具の調光と共に、カメラ６１１による撮影と連動させてもよいことは勿論である。或いは、ステップＳＢ２３において、人感センサが人を検出しているときは、調光を行わないとしたが、このとき、マイク６１３及び又はスピーカ６１５を動作オンさせてもよい。
【0044】
図５は、ＨＧＷ６００の照明制御動作の設定を、外部のスマートフォーンＧＵＩ−１から行う例を示している。スマートフォーンＧＵＩ−１のＨＧＷアプリケーションを起動し、ＨＧＷ６００をアクセスし、照明具のリストを表示することができる。そして各照明具に対して制御禁止時間帯を設定することができる。
【0045】
図５の例では、照明Ｇ（例えば玄関の照明具）に対しては、１９：００〜２１：００までは制御を禁止した例である。数値（この場合は時刻）の入力方法は各種の方法が可能であり、数字選択方式、或は画面に表示されたテンキーを選択して入力する方法がある。
【0046】
照明Ｆ１−１（例えば一階のリビングルーム）では、１７：００〜２３：００までを制御を禁止した例である。
【0047】
上記はスマートフォーンＧＵＩ−１により、ＨＧＷ６００による照明制御の禁止を設定する例を示した。しかし、他の指令をスマートフォーンＧＵＩ−１から、ＨＧＷ６００に送ることも可能である。ＨＧＷ６００は、スマートフォーンＧＵＩ−１からの指令により、例えば移動先エリアを撮影した映像をスマートフォーンＧＵＩ−１に送信することも可能である。例えば１日の中で、どのような種類の制御を行ったかを示すリストをスマートフォーンＧＵＩ−１に送ることも可能である。
【0048】
さらにまた、上記アシストシステムは、フル警備モードに設定されることができる。例えば、家主がしばらく（例えば１乃至２週間）外出し、部外者が家に来る予定がないときである。この場合は、スマートフォーンＧＵＩ−１のメニュー画面からフル警備モードを選択し、ボタンＡｒａＳ１０１の操作により、フル警備をオンに設定することができる。
【0049】
上記したように、本アシスト装置は、（Ａ１）・・・移動体と、移動体に搭載されたセンサと、前記センサの出力から周囲空間の明度を判断すると共に、判断結果に基づいて、他の器具の動作を制御するための制御信号を出力する制御部を備える。
【0050】
（Ａ２）・・・（Ａ１）において、複数のエリアを記憶しているマッピング部をさらに備え、前記制御部は、前記複数のエリアのうち移動先エリアを決定し、決定した移動先エリアにおいて、照度を計測する。
【0051】
（Ａ３）・・・（Ａ１）において、複数のエリアを記憶しているマッピング部をさらに備え、前記制御部は、前記複数のエリアのうち移動先エリアを決定し、決定した移動先エリアにおいて、照度を計測し、前記照度の計測値が所定値に満たない場合、当該決定した移動先エリアの照明具の照度を調整する。
【0052】
（Ａ４）・・・（Ａ３）において、さらにカメラを備え、前記決定した移動先エリアの前記照明具の照度を大きく調整したとき、前記カメラにより撮影を行う。
【0053】
（Ａ５）・・・（Ａ３）において、前記制御部は、人感センサを備え、前記人感センサが人を検出しているときは、前記照明具の照度の調整を停止する。
【0054】
（Ａ６）・・・（Ａ３）において、前記制御部は、人感センサを備え、前記人感センサが人を検出しているときは、前記照明具の照度の調整を停止し、マイク及び又はスピーカを起動する。
【0055】
（Ａ７）・・・（Ａ３）において、カメラと、複数のエリアを記憶している前記マッピング部を備え、前記制御部は、前記照度の計測値が所定値に満たない場合、前記照度の計測値を一時記憶し、前記決定した移動先エリアの前記照明具の照度を大きく調整したとき、前記カメラにより撮影を行い、
前記カメラによる撮影終了後、前記照明具の照明が前記一時記憶している計測値になるように該照明具を調整する。
【0056】
（Ａ８）・・・（Ａ７）において、前記制御部は、前記照明具の照度を調整する前の照明の色味も記憶し、前記カメラによる撮影終了後、前記照明具の照明の色味を調整前の状態に戻す。
【0057】
（Ａ９）・・・・（Ａ３）において、前記制御部は、前記照明具の照度の制御が禁止されている時間帯は、前記照明具の制御を行わない。
【0058】
（Ａ１０）・・・（Ａ３）において、前記制御部は、前記照明具をフラッシュ動作するように制御してもよい。
【0059】
（Ａ１１）・・・（Ａ３）において、前記移動体が静止型のアシスト装置からの指令に基づき、移動先に移動したとき、前記制御装置が、前記照明を制御するための制御信号を出力する。
【0060】
＜センサ情報の連携＞上記した移動式のアシスト装置６５０は、第１のセンサからの何らかの検出情報に基づいて動作を開始することができる。この場合、さらに第２、第３のセンサと連携を行ってもよい。
【0061】
図６は、家庭内のセンサ群及び被制御装置（照明具、エアコンディショナ、冷蔵庫、テレビジョン装置、アイロン、自動ドア、消化設備等を含む）とＨＧＷ６００との概略的な相互関係を示す説明図である。
【0062】
例えば、エアコンディショナを制御し、部屋の温度を下げた場合、なかなか温度が下がらない場合がある。このような場合、エアコンディショナが原因ではなく、窓が開いていたために、冷気が外部に漏れている場合がある。また、エアコンディショナを制御し、部屋の温度を下げたのであるが、室内温度センサが壊れているために、正確な温度に調整できない場合がある。
【0063】
これから説明する実施形態は、上記したような不具合が生じた場合、他のセンサとの連携を図り、良好な室内環境を整えることができるシステムを提供できる。
【0064】
図６において、ＨＧＷ６００は、家庭内のセンサ群及び被制御装置と有線或いは無線を通じて、通信を行うことができる。通信方式としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｚ−Ｗａｖｅ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などが採用される。
【0065】
２０００は、各種センサ群と被制御装置群を示す。これらをホームネットワーク端末群或いはインターネットオブシングス（いわゆるＩｏＴ素子群）と称してもよい。以下、このＩｏＴ素子群２０００に含まれる各センサ、各被制御装置を説明する。
【0066】
センサ２１００は、イベントを検出するセンサの一例である。例えば基板２１０１にスイッチ２１０２が設けられている。翌片２１０３は、一端がヒンジを介して基板２１０１の一端に取り付けられている。翌片２１０３は、例えばドア或いは窓が開いたときは、その回動部が基板２１０１から離れ、スイッチ２１０２をオンにする。これにより、基板２１０１に構成されている電源回路に対して電源からの電力が供給され、基板２１０１の電波発信器が起動し、所定のセンサＩＤを含む電波が出力される。このときは、スイッチ２１０２がオンした（つまりドア或いは窓が開いた）ことであり、この電波がＨＧＷ６００でキャッチされ、ＨＧＷ６００は、ドア或いは窓が開いていることを認識できる。前記した所定のセンサＩＤを含む電波が受信されていないときは、ＨＧＷ６００は、ドア或いは窓が閉じていることを認識できる。
【0067】
センサ２１１０は、他のイベントを検出するセンサの一例である。例えば基板２１１１に光電変換器（光電変換パネル）２１１２が取り付けられている。この光電変換器２１１２の出力は、電波発信器２１１３を駆動する。光電変換器２１１２は、光が照射されていないとすぐに放電して電力を失うように構成されている。したがって、例えば、カーテンが開いた、或いは照明が照射したような場合は、電波発信器２１１３からセンサＩＤを含む電波が出力される。逆にカーテンが閉じた、或いは照明がオフしたような場合は、電波発信器２１１３が停止し、電波出力が停止する。したがって、上記センサ２１１０は、カーテンが開閉、或いは照明のオンオフなどを検出するセンサとして利用可能である。
【0068】
さらには、光電変換器２１１２の受光面に、カラーフィルタを設けて、不要な光には反応しないように構成してもよい。
【0069】
なお、カーテンの開閉検出のために、上記センサ２１１０と、さらに同様な第２センサを追加してもよい。そして第２センサは、カーテンが開いたときは、カーテンにより光が遮られスイッチがオフし、カーテンが閉じたときは光が照射されるようになりスイッチがオンし、一定時間第２センサのＩＤを含む電波が出力されるように構成してもよい。このようにすると、一方のセンサが故障した場合、ＨＧＷ６００は、容易にその異常を判断することができる。したがって、ＨＧＷ６００システムは、カーテン開閉検出機能の検出能力を高めることができる。
【0070】
センサ１０１は、集積回路で構成される高度のセンサである。メモリ１１２、ネットワークＩ／Ｆ１１５を含む。またセンシング要素としての機能１１６、１１７を含む。しかしセンサの種類は、このような種類に限定されるものではなく各種の種類を使用することが可能である。
【0071】
メモリ１１２は、アプリケーションマネージャ（ＡＰＰ−Ｍｇ）、イベントマネージャ（ＥＶＴ−Ｍｇ）、コンフィギュレーションマネージャ（ＣＯＮＦＩＧ−Ｍｇ）を含む。ＣＯＮＦＩＧ−Ｍｇは、センサシステム全体動作をコントロールするための各種アプリケーションを管理している。ＥＶＴ−Ｍｇは、機能１１６、１１７からの検出データに基づいて、センサ１０１の次の動作を実行させるためのイベントアプリケーションを管理している。機能１１６、１１７は、センシング目的に応じて各種の要素がある。各種要素としては、例えば、カメラ、マイクである場合もある。さらに各種要素としては、熱センサ、温度センサ、湿度センサ、照明センサ、圧力センサ、スイッチ、などが含まれる。センサ１０１は、その利用目的において、１つ或いは複数のセンシング要素を備える場合もある。
【0072】
上記のセンサ１０１，１０２、１０３・・・・は、ドアの開閉を検知するセンサ、一定の大きさの音の発音を検知するセンサ、人の動きを検知するセンサ、窓の開閉を検知するセンサ、撮影を行うセンサとして利用することができ、例えば家庭内の種々の箇所に配置される。
【0073】
上記では移動型のＨＧＷ６００として説明したが、さらに、静止型のＨＧＷ６００ａが増設されてもよい。この場合、静止型のＨＧＷ６００ａは、例えばスレーブＨＧＷ６００ａとして設定されている。このＨＧＷ６００ａも移動体を除いて、図２で説明したＨＧＷ６００と同様な構成と機能を有するので、詳しい説明は省略する。
【0074】
２１２１は、例えば駐車場、玄関先、門に備えられる固定カメラであり、センサとして機能する。照明２１３１、２１３２、２１３３、消化設備２１２６等は、家庭内の各部屋の被制御装置である。また台所や室内温度測定箇所等に設置される温度センサ２１２２、窓ガラスの縁、扉などに取り付けられる圧力センサ２１３３、火災報知センサ２１２５、マイク（図示せず）もセンサ群に所属する。
【0075】
上記移動型ＨＧＷ６００、及び静止型のＨＧＷ６００ａは、上記したセンサ群及び被制御装置群の特性を組み合わせることで効率的に活用し、１つのセンサ或いは１つの被制御装置以上の種々の能力を発揮することができる。
【0076】
図７は、フル警備モードのときのシステム動作を示すフローチャートである。家主が例えば１週間乃至２週間外出する場合がある。このようなとき実施形態のシステムは、フル警備モードを設定することができる。
【0077】
現在、フル警備モードがスタートしているものとする（ステップＳＣ１）。今、静止型のＨＧＷ６００ａのカメラにより不審移動体が検出されたものとする（ステップＳＣ２）。ＨＧＷ６００ａは、例えば、定期的、或いは、音、人感センサなどからの検出信号に基づいて、カメラが起動し、撮像を開始する。撮像した映像データが、動き検出回路にて処理されることで、ＨＧＷ６００ａは不審移動体を検出することが可能である。不審移動体が検出された場合、ＨＧＷ６００ａはイベントとして、被写体を撮像する。撮像データは家庭内のネットワークに接続されている記録媒体（例えばＵＳＢ接続記録再生装置が用いられてもよい）に記録される。または、ネットワークを介してサーバ内の記録媒体に記録されてもよい。
【0078】
ＨＧＷ６００ａは、不審移動体を検出した場合、このことを移動型のＨＧＷ６００に通知する（ステップＳＣ３）。ＨＧＷ６００ａは、不審移動体の撮像を継続するが、不審移動体が視野の外に出てしまう場合がある（ステップＳＣ４）。例えば不審移動体が、ほかの部屋或いは玄関等へ移動する場合がある。このような場合、ＨＧＷ６００ａは、不審移動体がほかの部屋或いは玄関に移動したことを移動型のＨＧＷ６００に通知する（ステップＳＣ５）。
【0079】
この場合、ＨＧＷ６００ａは、不審移動体が移動した部屋を、予め登録されているマップ情報に基づいて、どの部屋に移動したかを移動型のＨＧＷ６００に通知することが好ましい。
【0080】
移動型のＨＧＷ６００は、不審移動体が移動した部屋或いは玄関に自らが移動し、当該不審移動体を撮影し、記録媒体に記録するために映像データを送信することができる。
【0081】
図８は、フル警備モードのときの他のシステム動作を示すフローチャートである。家主が例えば１週間乃至２週間外出する場合がある。このようなとき実施形態のシステムは、フル警備モードを設定することができる。
【0082】
例えば、移動型のＨＧＷ６００がマイクにより不審音を検出したとする（ステップＳＤ１、ＳＤ２）。ここで、移動型のＨＧＷ６００は、カメラにより周囲を撮像しても不審音の原因となっている不審物を撮像できない場合がある。
【0083】
すると、移動型のＨＧＷ６００は、各部屋など家庭内に設置されているセンサ（窓センサ、扉センサ、圧力センサ、温度センサ等）からのデータを取得し、データ解析を行う（ステップＳＤ３）。
【0084】
移動型のＨＧＷ６００は、データ解析により、不審音の信ぴょう性があるかどうか、つまり今までに習慣的になかった音（異常音）であるかどうかを判定する。この判定には、過去に検出した音の学習結果も利用される。例えば、常に近くを列車や車が通過して振動音がするエリアでは、学習結果が利用され、同じような音が検出されても、移動型のＨＧＷ６００は、不審音であると決定することはない。異常音としては、例えば窓ガラスをたたく、或は破壊するような音、衝突するような音、きしむ音などがある。
【0085】
なおペット（犬、猫、鳥など）が家庭内に居る場合、これらの鳴き声は、音声分析機能に基づいて分析され、異常音判定から除外することができる。
【0086】
不審音の信ぴょう性が高い場合、不審音の発生方向、発生場所が推定される（ステップＳＤ５）。そして移動型のＨＧＷ６００は、マップ情報に基づいて不審音がしたエリアに移動し、音の方向へカメラを向けて、イベントとして撮影を行う（ステップＳＤ６）。
【0087】
移動型のＨＧＷ６００は、移動途中においてもカメラにより、移動路の撮影を行い、障害物がある場合には、その障害物を避けて移動することができる。移動型のＨＧＷ６００は、マッピング部６１９内に障害物の無い撮像画像を予め登録している。このために、障害物が移動系路にあると、画像比較によりすぐに障害物が存在することを判断することが可能である。
【0088】
上記のようにカメラを用いた撮像を行う場合、ＨＧＷ６００は、先に説明したように、周囲空間が暗い場合は、近くの照明を点灯することができる。またこの時、照明の照度データも取得し、照度が不十分であった場合、警告として管理者に通知することが可能である。
【0089】
図９は、移動型のＨＧＷ６００が、被制御装置（例えばエアコン）をオン制御した後、エアコンが正常に機能しているかどうかを判定する実施形態を示している。移動型のＨＧＷ６００が、例えば遠隔操作やユーザの音声指令により部屋Ａ１の冷房エアコンをオンしたとする（ステップＳＥ１、ＳＥ２）。エアコンが冷房運転を開始し、一定時間が経過すると（ＳＥ３、ＳＥ４）、部屋Ａ１の温度が設定値近傍まで下がったかどうかをチェックする（ステップＳＥ５）。移動型のＨＧＷ６００は、冷房エアコンがスタートしたときの部屋Ａ１の温度を記憶し、該温度と一定時間経過後の部屋Ａ１の温度とを比較することができる。
【0090】
ここで部屋Ａ１の温度が所望の温度範囲であれば、処理は終了する（ステップＳＥ６）。しかし、部屋Ａ１の温度が所定範囲内に下がっていない場合、部屋Ａ１に設置されている各種センサからデータを収集する。
【0091】
センサとしては、例えば窓センサ、ドアセンサ、熱源（ガスコンロ、ヒータ等）のセンサからデータを収集する。ここで窓が開いていたり、ドアが開いていたり、熱源がオンしていた場合、部屋Ａ１の温度が下がらない原因となっている確率が高い。そこで、移動型のＨＧＷ６００は、現場に移動して、撮影を行い、管理者に通知する（ステップＳＥ１５）。
【0092】
またセンサからのデータを解析した後、原因が不明の場合も現場に移動して、撮影を行い、管理者に通知する（ステップＳＥ１４）。
【0093】
上記した実施形態において、冷房エアコンは、暖房エアコンと交換しても同様な処理により暖房エアコンの正常運転、或は異常状態を判断することができる。
【0094】
図１０は、上記した移動式のＨＧＷ６００のさらなる他の実施形態を説明するための説明図である。本移動式のＨＧＷ６００は、家庭内に設置されている各種センサ、各種被制御装置の正常異常状態を定期的或いはユーザの指令よりチェックする機能を備える。
【0095】
例えば、照明具１２０をオンオフ制御し、カメラ６１１及び又は照度センサの出力をチェックする。これにより、照明具１２０が正常に動作しているかどうかを判断することができる。また、複数の照明具を別々にオンオフ制御し、カメラ６１１及び又は照度センサが正常に動作しているかどうかの確認を行うこともできる。複数の照明具を別々にオンオフ制御したとき、いずれもカメラ６１１及び又は照度センサが反応しない場合は、カメラ６１１及び又は照度センサが故障している可能性がある。
【0096】
また照明具の制御を行い、照明具の照度を計測し、過去の計測データと比較することにより照明具の交換時期を判断することも可能である。なお照明具は、照度センサを内蔵するタイプもあるので、この照度センサからの出力データがＨＧＷ６００で採用されてもよい。
【0097】
さらに、ＨＧＷ６００は、エアコン２１２７をオンオフ制御し、温度センサ２１２２からの検出データに基づいて、エアコン２１２７が正常に動作しているかどうかを判定することもできる。エアコンが正常な場合、複数の温度センサからの検出出力を取得して解析すると、いずれかの温度センサが故障しているか否かを判断することも可能となる。
【0098】
さらにまた、窓２１２８の開閉状態をカメラ６１１により撮影し、画像データから窓２１２８が開いているかどうかを判断することができる。この時、窓センサ２１００がオンかオフかを判断することで、窓センサ２１００が正常か否かを判定することも可能である。
【0099】
このように被制御装置との制御状態とセンサの検出出力との論理的な整合性をチェックすることができる。
【0100】
上記したように本実施形態のＨＧＷ６００は、各種センサや各種被制御装置の点検を実施することができる。以下その主要な機能をまとめる。
【0101】
（１Ｂ）カメラ、マイク、通信装置、制御装置を搭載した移動装置を備え、前記制御装置が、前記マイクにより検出された音の音データを取得する手段と、前記音の方向及び前記音の発生エリアを推定する手段と、前記移動装置を制御することで、前記音の発生エリアへ移動して、前記カメラに前記音の方向を撮像させる手段を備えている。
【0102】
（２Ｂ）・・・（１Ｂ）において前記音の種類により、前記推定、前記移動装置の制御、前記撮像を制限する手段を備える。
【0103】
（３Ｂ）・・・（１Ｂ）において、前記音に関する学習手段を備え、前記音が学習手段で記憶されている音の場合は、前記推定、前記移動装置の制御、前記撮像を制限する手段を備えることができる。
【0104】
（４Ｂ）・・・（１Ｂ）において、前記移動装置を制御して、移動している途中で、撮影に必要な明るさが不足する場合、移動系路の照明を点灯する手段を備える。
【0105】
（５Ｂ）・・・（１Ｂ）において、前記移動装置を制御して、移動している途中で、移動系路を撮像し、過去の撮像データと今回の移動途中の撮像データとの差分から、障害物の有無を判断し、障害物を避けるように前記移動装置を制御する手段を備える。
【0106】
（６Ｂ）・・・（４Ｂ）において、前記照明の照度を計測し、前記照明の明るさが不十分であった場合、警告を行うことができる。
【0107】
（７Ｂ）・・・（１Ｂ）において第１の被制御装置を制御する手段と、前記第１の被制御装置に基づく現象に反応する第１のセンサの検出出力を取得する手段と、前記第１の被制御装置との制御状態と前記第１のセンサの検出出力との論理的な整合性をチェックする手段を備える。
【0108】
（８Ｂ）・・・（７Ｂ）において、前記第１の被制御装置が照明具であり、前記第１のセンサが照度センサである。
【0109】
（９Ｂ）・・・（７Ｂ）において、前記第１の被制御装置が１つであり、前記第１のセンサが複数である。
【0110】
（１０Ｂ）・・（７Ｂ）において、前記第１の被制御装置が１つであり、前記第１のセンサが複数であり、前記複数の第１のセンサが時間をずらしてオンし、前記複数の第１のセンサのいずれが故障かを判定する手段を備える。
【0111】
＜イベントの記録と、イベントのチェック機能＞本実施形態は、上記に限定されるものではない。
【0112】
図１１は、一実施形態である移動式アシスト装置が利用されるネットワークシステムの全体構成例を示す図である。
【0113】
図１１において、サーバ１０００は、インターネット３００を介してホームゲートウエイ（以下ＨＧＷと記す）６００と接続可能である。ＨＧＷ６００は、システムコントローラ６０２、デバイス管理器６０３、ネットワークインターフェース（以下ネットワークＩ／Ｆ）６０５、記録管理器６０７、カメラ６１１、マイク６１３、スピーカ６１５などを備える。またＨＧＷ６００は、センサ制御テーブル６０９を含む。
【0114】
メモリ（制御データ管理部）６０１は、先に説明した通りである。システムコントローラ６０２は、ＨＧＷ６００内の各ブロックを統括してシーケンス制御することができる。
【0115】
ＥＶＴ−ＭＧは、さらに記録管理器６０７の制御を行うことができる。
【0116】
またセンサ制御テーブル６０９は、センサ１０１、１０２、１０３、１０４が登録された各センサの名前、各センサの位置情報、各センサを制御するためのデータを記憶している。また各センサの名前や位置情報は、スマートフォーンＧＵＩ−１に表示されることができ、これにより、ユーザはセンサの種類や取り付け位置を確認することができる。
【0117】
ネットワークＩ／Ｆ６０５は、近距離無線を介して例えば家庭内の他のセンサ１０１、１０２、１０３、・・・・と接続される。他のセンサ１０１の構成を代表して示している。センサ１０１も制御データ管理部１１２、ネットワークＩ／Ｆ１１５を含む。またセンシング要素としての機能１１６、１１７を含む。しかしセンサの種類は、このような種類に限定されるものではなく各種の種類を使用することが可能である。
【0118】
メモリ（制御データ管理部）１１２は、アプリケーションマネージャ（ＡＰＰ−ＭＧ）、イベントマネージャ（ＥＶＴ−Ｍｇ）、コンフィギュレーションマネージャ（ＣＯＮＦＩＧ−Ｍｇ）を含む。ＣＯＮＦＩＧ−Ｍｇは、センサシステム全体動作をコントロールするための各種アプリケーションを管理している。ＥＶＴ−Ｍｇは、機能１１６、１１７からの検出データに基づいて、センサ１０１の次の動作を実行させるためのイベントアプリケーションを管理している。機能１１６、１１７は、センシング目的に応じて各種の要素がある。各種要素としては、例えば、ＨＧＷ６００と同様に、カメラ、マイクである場合もある。さらに各種要素としては、熱センサ、温度センサ、湿度センサ、照明センサ、圧力センサ、スイッチ、などが含まれる。センサ１０１は、その利用目的において、１つ或いは複数のセンシング要素を備える場合もある。
【0119】
上記のセンサ１０１，１０２、１０３・・・・は、ドアの開閉を検知するセンサ、一定の大きさの音の発音を検知するセンサ、人の動きを検知するセンサ、窓の開閉を検知するセンサ、撮影を行うセンサとして、例えば家庭内の種々の箇所に配置される。
【0120】
上記したシステムでは、センサ６１１（カメラ）、６１３（マイク）、他のセンサ１０１，１０２、・・・のいずれか１又は複数から検出信号が出力された場合、制御データ管理部６０１はイベント発生として認識する。すると制御データ管理部６０１は、記録管理器６０７を介してカメラ６１１を制御する。これにより、カメラ６１１は、イベント発生時点より以前（例えば１０分前）からキャッシュしている監視データを記録管理器６０７、制御データ管理部６０１を介して記憶媒体に送るとともに、続けて一定時間（例えば３分、５分、１０分、２０分或いは３０分など）撮像した監視データを送り続ける。この監視データとともに、本システムでは前記イベントが検出されたときのイベント関連データ（イベント属性データと称してもよい）も記憶媒体１０１０に送られる。
【0121】
イベント関連データは、例えばイベントの発生時刻、該イベントを検出したセンサの種類、センサの位置データ、記録開始時間、記録終了時間などのいずれか１つ或いは複数を含むことができる。
【0122】
図１１では、上記記憶媒体は、例えばサーバ１０００内のメモリであるが、必ずしもサーバ内の記憶媒体である必要はない。監視データの記憶場所は、ＨＧＷ６００内の記憶媒体でもよいし、ネットワークＩ／Ｆ６０５を介して接続された記憶媒体であってもよい。記憶媒体１０１０は、データ領域１０１１、管理領域１０２１を備える。データ領域１０１１に監視データ１０１２が格納され、管理領域１０２１にイベント関連データ１０２２が格納される。
【0123】
監視データ１０１２は、映像データのみならず、センサからの計測データも含む場合がある。例えば特定の箇所の温度の変化状況、湿度の変化状況、或いは圧力の変化状況などである。管理領域１０２１には、監視データを再生するための管理データが記述されている。この管理データが、先のイベント関連データも含む。管理データは、イベント関連データ、及びイベント関連データに対応する監視データの記録アドレスを含む。複数のイベントが発生した場合、複数のイベント関連データ、及び複数のイベント関連データに対応する複数の監視データが、存在する。
【0124】
イベント関連データは、イベント（センサ出力と称してもよい）の種類を含む。またイベントに基づいて監視データ（例えば監視映像）が記録されるが、イベント関連データは、その記録開始時間、記録終了時間なども含む。
【0125】
図１２は、イベントが発生したときに、記憶媒体に監視データが記録された場合の時間経過を示している。ここでは、ホームのリビングルームの各種センサを想定している。センサとして、ドア１の開閉検出センサ、ドア２の開閉検出センサ、窓１の開閉検出センサ、窓２の開閉検出センサ、マイク、動き検出センサ（撮像映像或いは赤外線センサなどが利用される）が存在するものとする。またＨＧＷ６００は、リビングルームの天井のコーナに配置され、そのカメラがリビングルーム内を撮影できるものとする。
【0126】
今、ドア１から子供１が入室して、時刻ｔ１にドア１が開き時刻ｔ２に閉じたものとする。時刻ｔ１には、カメラにより人の動きが検出される。ドアの開閉があると、例えば３分程度の録画が行われる。動き検出が連続するとこの検出期間は、録画が連続して行われる。録画が行われている間は、マイク６１３からも音声がピックアップされる。この結果、記憶媒体１０１０（但しＨＧＷ６００内或いはＨＧＷ６００に直接接続された記憶媒体があればその記憶媒体でも可）には、第１イベント（２つのイベントが発生している）に起因する監視データが記録データＲｅｃ１として記憶媒体に記録される。またこの時のイベント関連データとしては、ドア１に取り付けられているセンサＩＤ，カメラ６１１のＩＤ，記録Ｒｅｃ１の開始時間、終了時間を含む。また管理データ（イベント関連データ）には、記録Ｒｅｃ１が格納されている記憶媒体上のアドレスを含む。
【0127】
暫くして、今、ドア２から子供２が入室して、ドア２から時刻ｔ３にドア２が開き時刻ｔ４でドア２が閉じられたものとする。また時刻ｔ３では、カメラにより人の動きが検出される。この第２イベント（２つのイベントが発生している）に起因する監視データが記録データＲｅｃ２として記憶媒体に記録される。
【0128】
次に、時刻ｔ５で大きな音がマイク６１３によりピックアップされ、時刻ｔ６で人の動きが検出され、時刻ｔ７、ｔ８でドア１の開、閉が検出されたものとする。例えば、子供２が大声で歌を歌い、子供２の動きが検出され、子供１がドア１から出て行ったものとする。これにより、第３イベント（３つのイベントが発生している）に起因する監視データが記録データＲｅｃ３として記憶媒体に記録される。
【0129】
暫く経過後、時刻ｔ９で大きな音がマイク６１３によりピックアップされ、時刻ｔ１０でカメラ６１１により人の動きが検出され、時刻ｔ１１で窓１が開かれ、そして時刻ｔ１２で再度大きな音がマイク６１３によりピックアップされたものとする。例えば、子供２が大きな声で歌を歌い、次に子供２が窓１まで動き、窓１を開き、また大声で歌を歌ったものとする。これによりこの第４イベント（４つのイベントが発生している）に起因する監視データが記録データＲｅｃ４として記憶媒体に記録される。
【0130】
次に、時刻ｔ１３で子供１がドア１から入出し、時刻ｔ１４で窓１が閉じられたものとする。これによりこの第５イベント（３つのイベントが発生している）に起因する監視データが記録データＲｅｃ５として記憶媒体に記録される。
【0131】
上記のようにイベント関連データと監視データが記憶媒体に記録された場合、監視データがチェックされる場合、ＨＧＷ６００は、スマートフォーンＧＵＩ−１に対して種々の形で監視データを提示することができる。
【0133】
図１２で説明したような各センサからの検出信号は、イベント判定器６２５で判定される。イベントが検出された場合、記録指令器６２１が記録媒体１０１０へ監視データ１０１２を送り、記録を指令する。また同時にイベント関連データも記録媒体１０１０に送られて記録される。
【0134】
上記イベント判定器６２５は、スマートフォーンＧＵＩ−１から特定の指令信号が送られた場合、イベントとして判定することもできる。例えばスマートフォーンＧＵＩ−１を有する第１ユーザが、家に在宅する第２ユーザと電話会話しているとき、第１ユーザは、スマートフォーンＧＵＩ−１の特定キーを操作してイベント起動信号をＨＧＷ６００に送ることができる。また第１ユーザは、会話していないときであっても、スマートフォーンＧＵＩ−１の特定キーを操作してイベント起動信号をＨＧＷ６００に送ることができる。さらにまた、家庭内に在宅する第２ユーザは、センサを意識的に操作して、イベント起動信号をＨＧＷ６００に送ることができる。例えば、点検のために、照明のオンオフを感知するセンサを第２ユーザが意識的に操作して（例えば受光部を遮蔽・解放して）、イベント起動信号をＨＧＷ６００に送ることができる。
【0135】
監視データをチェックしたい場合、ユーザは、スマートフォーンＧＵＩ−１或いはネット接続されたテレビジョン受信装置ＧＵＩ−２を介して、所望のイベントに関する監視データの再生を、ＨＧＷ６００（システムコントローラ６０２）へ要求することができる。
【0136】
そのためにシステムコントローラ６０２は、記憶媒体１０３０から任意のイベント関連データ及び監視データを再生するための再生制御器６２３を備える。この再生制御器６２３は、早送り機能、逆送り機能、コマ送り機能、さらにはイベントを丸め込み処理を行うイベント処理器を含む。また大量のイベント関連データ及び監視データが記憶媒体１０１０に格納されているので、システムコントローラ６０２は、ユーザが効率的に希望の監視データをチェックできるように振る舞うことができる。このために、システムコントローラ６０２は、各種イベントの分類、選択を行い、表示リスト或いは表示配列を生成することができるフィルタリング部６３１、表示スタイル処理部６２９、を備える。生成された表示配列や再生された監視データは、表示用データ出力部６２７を介してスマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２などのモニタへ送信される。またシステムコントローラ６０２は、データやリストを一時的に保存するためのメモリ６２４を含む。
【0137】
システムコントローラ６０２は、スマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２と互いに通話を行い、上記した生成された表示配列や再生された監視データを当該モニタへ送信する。また、上記再生制御器６２３は、スマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２からの指令に応じて、イベントを撮影している映像の早送り機能、逆送り機能、コマ送り機能を実行することができる。また再生制御器６２３は、イベント関連データを処理するイベント処理器を含み、イベントの配列順、イベントの選択処理などを実行することができる。
【0138】
図１４は、例えばスマートフォーンＧＵＩ−１の画面にメニューが表示された状態を示す。このメニュー内の選択ボタンとして、例えば監視データ要求ボタン５０１、インターネット（１）接続ボタン５０２、インターネット（２）接続ボタン５０３、ホーン起動ボタン５０４、ゲーム（１）スタートボタン５０５、ゲーム（２）スタートボタン５０６などがある。また、センサリストボタン５０７を有し、このボタン５０７を操作すると、イベントを検出するための各種センサのリストを表示することができる。
【0139】
ここで監視データ要求ボタン５０１がタッチ操作されたものとする。すると、スマートフォーンＧＵＩ−１には、例えば図１５Ａ或いは図１５Ｂに示すように「どのようなイベントの画像をチェックしますか？」というメッセージと共に、ユーザに対して「全て」、「指定する」、「いつもの」と言うようなボタン５１２、５１３、５１４が表示される。
【0140】
ユーザが「全て」のボタン５１２をタッチ操作により選択すると、制御データ管理部６０１による制御の基で、イベント（センサを問わない全てのイベント）発生日時データと、各イベント発生時の監視データ（カメラにより撮像された画像データ）の一部（サムネール）が、スマートフォーンＧＵＩ−１に送られてくる。大量のイベント関連データ及び監視データが記憶媒体１０１０に格納されているので、表示スタート時の表示用データとしては、現在時刻よりも例えば５時間前に発生したイベントを中心に、その前後の時間の複数（３乃至５個）のイベントに関わるイベント関連データ及び対応する監視データの代表サムネールが選択されて表示される。代表サムネールは、例えばイベント発生時刻に対応する監視データ（画像データ）である。
【0141】
スマートフォーンＧＵＩ−１に「どのようなイベントの画像をチェックしますか？」というメッセージが表示されたとき、ユーザは「指定する」のボタン５１３をタッチ操作により選択することができる。この時は、起動しているセンサを取り付けた箇所の例えば名称（ドア１開閉、ドア２開閉、窓１開閉、窓２開閉、・・・等）のリスト５１７が表示される。ユーザは、画像チックを希望する発生イベントを、タッチ操作により、１つまたは複数選択することができる。図１５Ａでは、ドア１開閉、窓１開閉、動き検出・・等）の項目が選択されて、決定された例を示している。この例では、イベントの簡単な例を示しているが、現実ではさらに多くのイベントとイベント名称が設定されている。
【0142】
ユーザは、画像チェックを希望する発生イベントを、選択し、決定操作５１８を行うと、後で示すように、選択されたイベントが発生したときの監視データの代表サムネールと、対応するイベント関連データが表示される。この場合も、大量のイベント関連データ及び監視データが記憶媒体１０１０に格納されているので、表示スタート時の表示用データとしては、現在時刻よりも例えば５時間前に発生したイベントを中心に、その前後の時間の複数（３乃至５個）のイベントに関わるイベント関連データ及び対応する監視データの代表サムネールが選択されて表示される。
【0143】
スマートフォーンＧＵＩ−１に「どのようなイベントの画像をチェックしますか？」というメッセージが表示されたとき、ユーザは「いつもの」のボタン５１４をタッチ操作により選択することができる。このボタン５１４は、すでに「指定する」のボタン５１３が操作され、且つ決定操作５１８が行われた後に有効となる。この場合は、すでに指定されているイベントに基づいて、現在時刻よりも例えば５時間前に発生したイベントを中心に、その前後の時間の複数（３乃至５個）のイベントに関わるイベント関連データ及び対応する監視データの代表サムネールが選択されて表示される。
【0144】
図１５Ａは、選択された種類毎に独立して管理され、イベント関連データが時間順に配列される例を説明した。この配列例は、後の図１８Ａで説明する。しかしイベント関連データの表示例をこれに限らず図１５Ｂに示す設定により、種類が異なるイベントのイベント関連データを組み合わせて表示させることも可能である。
【0145】
即ち図１５Ｂに示すように、決定ボタン５１８ｂを操作する前に、組み合わせボタン５１８ａが表示されてもよい。組み合わせボタン５１８ａが操作された場合は、イベントリストの中で選択されている項目（今はドア２開閉と、動き検出の２つの項目が選択されている）のイベント関連データが時間順で組み合わせられて表示されるように設定することができる。即ち、組み合わせボタン５１８ａと決定ボタン５１８ｂが連続して操作された場合は、例えば後の図１８Ｂで説明するようなイベント関連データの配列と表示が行われる。
【0146】
上記したように、ユーザは、所望のイベントに関する監視データの再生を、制御データ管理部６０１に要求するのに先立って、ユーザは、どのようなイベントの画像再生を希望するのかを、制御データ管理部６０１に通知することができる。
【0147】
図１６Ａは、図１４に示したスマートフォーンＧＵＩ−１のメニューで、監視データ要求ボタン５０１が操作された後に、続いて表示される操作画面を示している。ここでは、先に説明したように、「どのようなイベントの画像をチェックしますか？」というメッセージと共に、ユーザに対して「全て」、「指定する」、「いつもの」と言うようなボタン５１２、５１３、５１４が表示される。ここで、例えば「いつもの」のボタン５１４が選択されたものとする。すると、例えば図１６Ｂに示すようなイベントリストが表示される。このイベントリストは、図１３に示した再生制御器６２３が記憶媒体１０３０からイベント関連データ及び監視データを読み取り、フィルタリング部６３１でフィルタ処理を行い、表示スタイル処理部６２９で生成したリストである。なお、フィルタリングは、まず再生制御部６２３がイベント関連データを記憶媒体１０１０から読み取り、イベント関連データに対するフィルタ処理を行い、抽出したイベント関連データに対応する監視データを記憶媒体１０１０から再生する順番であってもよい。
【0148】
上記の説明は、スマートフォーンＧＵＩ−１により、イベントリストを要求し、表示したが、テレビジョン受信装置ＧＵＩ−２によっても同様な動作が可能である。なおテレビジョン受信装置ＧＵＩ−２により操作を行うときは、リモートコントローラを介して画面上のカーソルを操作することで実現できる。
【0149】
また図１６Ｂでは、監視データのサムネールは、簡略化して示しているが、実際には、カメラ６１１の視野角の範囲の映像が撮影されている。
【0150】
今、図１６Ｂのリストの中からイベント５２１のサムネール５２２が、タッチ操作により選択されたとする。するとこのイベント５２１が発生した時点の例えば５分前から例えば１０分程度の監視データの連続再生が、再生制御器６２３（図１３に示した）により開始され、モニタへ送られる。このときの映像を図１７に示している。
【0151】
図１７の映像は、人物５２５が、ドア５２６を開けて部屋に入室し、ベッド５２７まで歩き、ベッド５２７に就寝した様子が撮影されている。再生制御器６２３は、スマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２からの指令に応じて、複数のイベント関連データに対応する複数の監視データがリスト表示され、前記リスト表示された前記複数の前記監視データの中から任意の監視データが選択された場合、当該指定された監視データの記録期間を連続再生する。
【0152】
また、再生制御器６２３（図１３に示した）は、スマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２からの指令に応じて、以下に述べるように、イベントを撮影している映像の早送り機能、逆送り機能、コマ送り機能を実行することができる。
【0153】
さらに、再生制御器６２３はイベント関連データを参照することができるので、複数の前記イベントに関連する複数の前記監視データを、順次連続して早送り再生又は通常再生することができる。
【0154】
さらにまた、再生制御器６２３は、指定された特定のイベントに関連する複数の監視データを、順次連続して早送り再生又は通常再生することができる。
【0155】
また、図１３に示した再生制御器６２３は、複数のイベント関連データを処理するイベント処理器を有し、イベント処理器は、特定のイベントに対応する複数のイベント関連データを纏めて丸めこむことができる。例えば、イベントは、パルス的に発生する場合もある。例えば大きな音の検出や、動き検出（例えばブラインドが風で揺れたときの動き検出）は単発的に発生する。このような場合は、検出時刻を一連の連続的な流れとして、丸め処理し、丸め処理したイベント関連情報に基づいて、監視データをチェックするとよい場合がある。
【0156】
上記した実施形態においては、イベント検出時にカメラ６１１で撮像した一定時間長（５分、１０分、１５分或いは２０分）の画像データを監視データとして保存した。ここでイベント毎に監視データを保存する時間長は、任意に変更可能であってもよい。またイベントの種類に応じて前記期間が異なっていてもよい。さらにまた、時間帯に応じて、監視データを保存する時間長が異なってもよい。
【0157】
イベントの配列方法（イベント関連データと対応するサムネールの配列方法）は、配列用アプリケーションにより、どのようにでも配列することが可能であり、当該イベント関連データと対応するサムネールを配列に応じて表示することができる。
【0158】
図１８Ａは、イベント関連データと、当該イベント関連データに関連する監視データのサムネールが、イベント毎に分類された場合の表示例を示している。分類は、動き検出のイベント、ドア１開閉のイベント、窓１開閉のイベント、照明１オンオフのイベントが例として示されている。
【0159】
今、スマートフォーンＧＵＩ−１には、ドア１開閉に関するイベント関連データ５２６ａ−５２６ｄと対応するサムネール５２５ａ―５２５ｄが示されている。イベント関連データ５２６ａ−５２６ｄはイベント発生時間順に配列されている。ここでユーザが、スマートフォーンＧＵＩ−１のタッチ操作面を矢印５３１ａの方向へ擦るように操作すれば、さらに時刻の遅いイベント関連データ及び対応サムネールが表示され、矢印５３１ｂの方向へ擦るように操作すれば、さらに時刻の早いイベント関連データ及び対応サムネールが表示される。
【0160】
また、ユーザが、スマートフォーンＧＵＩ−１のタッチ操作面を矢印５３２ａの方向へ擦るように操作すれば、さらに窓１開閉に関するイベント関連データ及び対応サムネールが表示され、矢印５３２ｂの方向へ擦るように操作すれば、動き検出に関するイベント関連データ及び対応サムネールが表示される。
【0161】
上記した実施形態においては、図１３、図１５Ｂで説明したように、イベント関連データ及び対応するサムネールを表示する場合、複数のイベントを組み合わせて表示することも可能である。図１３に示すように、制御データ管理部６０１は、フィルタリング部６３１を含む。このフィルタリング部６３１により、イベント関連データをその種類別にフィルタリングして分類したり、種類が異なるイベントのイベント関連データを組み合わせてリストアップ表示することができる。図１８Ｂではドア２開閉のイベントが生じたときと、音検出のイベントがあったときのイベント関連データ及び対応する監視データのサムネールを表示した例である。
【0162】
この場合もユーザが、スマートフォーンＧＵＩ−１のタッチ操作面を矢印５３１ａの方向へ擦るように操作すれば、さらに時刻の遅いイベント関連データ及び対応サムネールが表示され、矢印５３１ｂの方向へ擦るように操作すれば、さらに時刻の早いイベント関連データ及び対応サムネールが表示される。
【0163】
図１９は、スマートフォーンとこのスマートフォーンに表示されるイベント関連データのさらに他の関係及びさらに他の操作方法の一例を説明する図である。先の表示例（図１８Ａ−図１８Ｂ）は、イベント関連データがリスト表示された。しかし、監視データの表示が指定された後に、各イベントの発生ソース名が図１９に示すようにタイルスタイルで表示されていてもよい。この複数のタイル（ドア１、ドア２、窓１−窓４、照明１−５、音５６１、音・女子５６２、音・男子５６３・・・）の中から、ユーザが希望するタイルをプレスしたときに、例えば図１６Ｂに示すような表示状態に移行してもよい。音５６１が選択されたときは、全ての音に関するイベント関連データが表示対象となる。しかし、音・女子５６２が選択された場合は、女子の音に関するイベント関連データが表示対象となり、音・男子５６３が選択された場合は、男子の音に関するイベント関連データが表示対象となる。
【0164】
図２０には、管理領域１０２１に記録されるイベント関連データの構造と、データ領域１０１１に記録される監視データを示している。イベント関連データは、イベントの種類毎に分類されている。例えばドアの開閉、窓の開閉、照明のオンオフ、エアコンディショナのオンオフ、テレビジョン受信装置のオンオフ、動き検出などである。各種類の項目には、センサ識別データが付加されたセンサ項目（センサ１、センサ２、・・・・）が所属している。さらに各センサ項目に対しては、イベントデータが記述されている。イベントデータは、例えば、イベントの発生時刻、監視データの記録開始時刻、監視データの記録終了時刻、監視データの記録開始アドレス、監視データの記録終了アドレス、更にはサムネールアドレスなどが記述されている。監視データの記録開始アドレス、監視データの記録終了アドレス、更にはサムネールアドレスは、データ領域１０１１のアドレスを示しており、再生制御器６２３は、上記アドレスを参照して、必要なデータを記憶媒体１０３０から読出し再生することができる。
【0165】
この実施形態では、例えばテレビジョン受信装置ＧＵＩ−２において、監視データを高画質で表示可能とすることが容易である。また監視データは、インターネット３００を介して外部に送信されないので、特に個人的な監視データを管理する場合に有効である。なおインターネット３００を介して、サーバ１０００に送られるデータや、サーバ１０００からＨＧＷに送られてくるデータは、秘匿処理が施されている。
【0166】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0167】
１２０・・・照明具、３００・・・インターネット、６００・・・ＨＧＷ、６０１・・・メモリ、６０３・・・デバイス管理器、６０５・・・ネットワークＩ／Ｆ部、６０９・・・センサ及び器具制御テーブル、６１８・・・移動装置、６１８ａ・・・駆動部、６１９・・・マッピング部、６２２・・・照度センサ、人感センサ・・・６２３、１０００・・・サーバ、８００ａ，８００ｂ・・・部屋、２０００・・・各種センサ群と被制御装置群。