ホーム > 特許ランキング > ミサワホーム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-09
(45)【発行日】2024-07-18
(54)【発明の名称】宅内表示システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240710BHJP
G06Q 10/06 20230101ALI20240710BHJP
G06Q 30/02 20230101ALI20240710BHJP
G06F 3/0481 20220101ALI20240710BHJP
G06T 19/00 20110101ALI20240710BHJP
【ＦＩ】
G06F3/01 510
G06Q10/06
G06Q30/02
G06F3/0481
G06T19/00 600
【請求項の数】
5
(21)【出願番号】P 2021059006
(22)【出願日】2021-03-31
(65)【公開番号】P2022155665
(43)【公開日】2022-10-14
【審査請求日】2023-06-29
(73)【特許権者】
【識別番号】307042385
【氏名又は名称】ミサワホーム株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(72)【発明者】
【氏名】守谷 一希
【審査官】相川 俊
(56)【参考文献】
【文献】特開２０１８－１２４５１５（ＪＰ，Ａ）
【文献】特開２０１８－１８７７１２（ＪＰ，Ａ）
【文献】国際公開第２０１９／０２１５７５（ＷＯ，Ａ１）
【文献】特開２０１９－１６９１５４（ＪＰ，Ａ）
【文献】特開２０１５－１５６１２５（ＪＰ，Ａ）
【文献】特開２０２０－０００２７９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｑ １０／０６
Ｇ０６Ｑ ３０／０２
Ｇ０６Ｆ ３／０４８１
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
ユーザの状態及び住宅内のユーザの位置に係るユーザ情報を取得するためのユーザ情報取得部と、前記ユーザによって使用されて、現実世界の前記住宅における宅内風景に重ね合わせて仮想現実キャラクターを表示するための表示用デバイスと、
前記ユーザ情報取得部と前記表示用デバイスの各々と通信可能に接続されて、前記表示用デバイスに表示される前記仮想現実キャラクターの演出を制御する演出制御手段と、を備えており、
前記ユーザ情報取得部は、前記住宅の屋内空間の複数箇所に設置され、
前記住宅の屋内空間には、宅内座標情報が定義付けられ、
前記演出制御手段は、仮想的に構築された仮想世界のうち前記宅内座標情報に対応付けられた位置であって、かつ、前記ユーザ情報取得部によって取得した前記ユーザの位置に係るユーザ情報に対応した位置に、前記仮想現実キャラクターを表示させる制御を行い、さらに、前記ユーザ情報に基づいて生成された前記ユーザに伝達するためのメッセージ情報の出力と、前記メッセージ情報に対応する前記仮想現実キャラクターのアニメーション表示と、を含む演出の制御を行うことを特徴とする宅内表示システム。
【請求項2】
請求項１に記載の宅内表示システムにおいて、前記住宅内の機器及び設備に係る宅内情報を取得するための宅内情報取得部を更に備えており、
前記演出制御手段は、前記宅内情報取得部と通信可能に接続されており、前記宅内情報及び前記ユーザ情報に基づいて生成された前記メッセージ情報の出力と、前記メッセージ情報に対応する前記仮想現実キャラクターのアニメーション表示と、を含む演出の制御を行うことを特徴とする宅内表示システム。
【請求項3】
請求項１又は２に記載の宅内表示システムにおいて、前記演出制御手段は、仮想的に構築された仮想世界のうち前記宅内座標情報に対応付けられた位置であって、かつ、前記ユーザ情報取得部によって取得した前記ユーザの位置に係るユーザ情報に対応した位置で、前記アニメーション表示の一つとして前記仮想現実キャラクターが消える演出の制御を行うことを特徴とする宅内表示システム。
【請求項4】
請求項１から３のいずれか一項に記載の宅内表示システムにおいて、前記演出制御手段は、前記ユーザと前記仮想現実キャラクターとの間で交わされた会話から前記ユーザと前記仮想現実キャラクターとの親密度を推定する分析部を更に備えることを特徴とする宅内表示システム。
【請求項5】
請求項１から４のいずれか一項に記載の宅内表示システムにおいて、前記演出制御手段と連携し、かつ、前記住宅内に設けられた操作対象デバイスを操作する宅内デバイス操作手段を更に備えることを特徴とする宅内表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実を利用した宅内表示システムに関する。
【背景技術】
【0002】
従来、省エネルギーを目的とするものに限らず、住宅に設置されたセンサーや住宅設備に備えられたセンサーなどを用いて住民の行動パターンを解析し、さらに、ユーザと交わした会話の情報を加味してユーザの行動を支援する住宅エージェントサーバに係る技術が提案されている（特許文献１参照）。
このような技術によれば、住宅の住み心地を損なうことなく、ユーザの行動を支援することができる。
このような技術によれば、住宅の住み心地を損なうことなく、ユーザの行動を支援することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１５６１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザの行動を支援する一環として、ユーザに対してアドバイスや提案を行い、ユーザが、それに従って行動できるようにすることが求められている。
ところが、システムからのアドバイスや提案は、あくまでもコンピュータープログラムに基づくものであるため、ユーザが、そのアドバイスや提案に従ったとしても上手く行動を支援できない場合もある。そうした時にユーザは、システムに対し、例えば「この機械はアドバイスや提案の精度が低い」等のように、機械としての性能評価を下そうとする。そのため、システムに対する愛着が湧くこともなく、使用頻度の低下を招き、結果的にその分野の技術の発展を遅滞させることがある。
ところが、システムからのアドバイスや提案は、あくまでもコンピュータープログラムに基づくものであるため、ユーザが、そのアドバイスや提案に従ったとしても上手く行動を支援できない場合もある。そうした時にユーザは、システムに対し、例えば「この機械はアドバイスや提案の精度が低い」等のように、機械としての性能評価を下そうとする。そのため、システムに対する愛着が湧くこともなく、使用頻度の低下を招き、結果的にその分野の技術の発展を遅滞させることがある。
【0005】
本発明は上記事情に鑑みてなされたものであり、その課題は、ユーザに対して、アドバイスや提案を行うシステムへの愛着が湧くように促し、システムの使用頻度の向上を図ることである。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、例えば図１～図８に示すように、ユーザＵの状態及び住宅１内のユーザＵの位置に係るユーザ情報を取得するためのユーザ情報取得部３と、
前記ユーザＵによって使用されて、現実世界の前記住宅１における宅内風景Ｓ１，Ｓ２に重ね合わせて仮想現実キャラクターＣを表示するための表示用デバイス４，５と、
前記ユーザ情報取得部３と前記表示用デバイス４，５の各々と通信可能に接続されて、前記表示用デバイス４，５に表示される前記仮想現実キャラクターＣの演出を制御する演出制御手段（表示制御部６、第一サーバ７、第二サーバ８）と、を備えており、
前記ユーザ情報取得部３は、前記住宅１の屋内空間の複数箇所に設置され、
前記住宅１の屋内空間には、宅内座標情報１０が定義付けられ、
前記演出制御手段は、仮想的に構築された仮想世界のうち前記宅内座標情報１０に対応付けられた位置であって、かつ、前記ユーザ情報取得部３によって取得した前記ユーザＵの位置に係るユーザ情報に対応した位置に、前記仮想現実キャラクターＣを表示させる制御を行い、さらに、前記ユーザ情報に基づいて生成された前記ユーザＵに伝達するためのメッセージ情報の出力と、前記メッセージ情報に対応する前記仮想現実キャラクターＣのアニメーション表示と、を含む演出の制御を行うことを特徴とする。
前記ユーザＵによって使用されて、現実世界の前記住宅１における宅内風景Ｓ１，Ｓ２に重ね合わせて仮想現実キャラクターＣを表示するための表示用デバイス４，５と、
前記ユーザ情報取得部３と前記表示用デバイス４，５の各々と通信可能に接続されて、前記表示用デバイス４，５に表示される前記仮想現実キャラクターＣの演出を制御する演出制御手段（表示制御部６、第一サーバ７、第二サーバ８）と、を備えており、
前記ユーザ情報取得部３は、前記住宅１の屋内空間の複数箇所に設置され、
前記住宅１の屋内空間には、宅内座標情報１０が定義付けられ、
前記演出制御手段は、仮想的に構築された仮想世界のうち前記宅内座標情報１０に対応付けられた位置であって、かつ、前記ユーザ情報取得部３によって取得した前記ユーザＵの位置に係るユーザ情報に対応した位置に、前記仮想現実キャラクターＣを表示させる制御を行い、さらに、前記ユーザ情報に基づいて生成された前記ユーザＵに伝達するためのメッセージ情報の出力と、前記メッセージ情報に対応する前記仮想現実キャラクターＣのアニメーション表示と、を含む演出の制御を行うことを特徴とする。
【0007】
請求項１に記載の発明によれば、演出制御手段は、ユーザ情報に基づいて生成されたユーザＵに伝達するためのメッセージ情報の出力を含む演出の制御を行うので、メッセージ情報には必然的にユーザＵ自身に関する情報が含まれたものとなり、ユーザＵに、メッセージ情報に対する興味を抱かせやすくすることができる。また、演出制御手段は、このようなメッセージ情報に対応する仮想現実キャラクターＣのアニメーション表示を含む演出の制御を行うので、ユーザＵに、仮想現実キャラクターＣに対する興味を抱かせやすくすることができ、ユーザＵには、仮想現実キャラクターＣに対する愛着心が湧きやすくなる。これにより、ユーザＵに対して、アドバイスや提案等のメッセージ情報の出力を行うシステムへの愛着が湧くように促し、システムの使用頻度の向上を図ることができる。
また、演出制御手段は、仮想的に構築された仮想世界のうち宅内座標情報１０に対応付けられた位置に、仮想現実キャラクターＣを表示させる制御を行うので、宅内座標情報１０に対応付けられた位置であれば、どこでも仮想現実キャラクターＣを表示させることができる。これにより、住宅１内の様々な場所で仮想現実キャラクターＣの演出を楽しむことができるので、ユーザＵには、仮想現実キャラクターＣに対する愛着心が湧きやすくなり、結果的に、システムの使用頻度の向上に貢献できる。
また、演出制御手段は、仮想的に構築された仮想世界のうち宅内座標情報１０に対応付けられた位置に、仮想現実キャラクターＣを表示させる制御を行うので、宅内座標情報１０に対応付けられた位置であれば、どこでも仮想現実キャラクターＣを表示させることができる。これにより、住宅１内の様々な場所で仮想現実キャラクターＣの演出を楽しむことができるので、ユーザＵには、仮想現実キャラクターＣに対する愛着心が湧きやすくなり、結果的に、システムの使用頻度の向上に貢献できる。
【0008】
請求項２に記載の発明は、例えば図１～図８に示すように、請求項１に記載の宅内表示システムにおいて、
前記住宅１内の機器及び設備に係る宅内情報を取得するための宅内情報取得部２を更に備えており、
前記演出制御手段は、前記宅内情報取得部２と通信可能に接続されており、前記宅内情報及び前記ユーザ情報に基づいて生成された前記メッセージ情報の出力と、前記メッセージ情報に対応する前記仮想現実キャラクターＣのアニメーション表示と、を含む演出の制御を行うことを特徴とする。
前記住宅１内の機器及び設備に係る宅内情報を取得するための宅内情報取得部２を更に備えており、
前記演出制御手段は、前記宅内情報取得部２と通信可能に接続されており、前記宅内情報及び前記ユーザ情報に基づいて生成された前記メッセージ情報の出力と、前記メッセージ情報に対応する前記仮想現実キャラクターＣのアニメーション表示と、を含む演出の制御を行うことを特徴とする。
【0009】
請求項２に記載の発明によれば、演出制御手段は、宅内情報及びユーザ情報に基づいて生成されたメッセージ情報の出力を含む演出の制御を行うので、メッセージ情報には必然的にユーザＵが居住する住宅１の情報とユーザＵ自身に関する情報が含まれたものとなり、ユーザＵに、メッセージ情報に対する興味を抱かせやすくすることができる。また、演出制御手段は、このようなメッセージ情報に対応する仮想現実キャラクターＣのアニメーション表示を含む演出の制御を行うので、ユーザＵに、仮想現実キャラクターＣに対する興味を抱かせやすくすることができ、ユーザＵには、仮想現実キャラクターＣに対する愛着心が湧きやすくなる。これにより、ユーザＵに対して、アドバイスや提案等のメッセージ情報の出力を行うシステムへの愛着が湧くように促し、システムの更なる使用頻度の向上を図ることができる。
【0010】
請求項３に記載の発明は、例えば図５，図８に示すように、請求項１又は２に記載の宅内表示システムにおいて、
前記演出制御手段は、仮想的に構築された仮想世界のうち前記宅内座標情報１０に対応付けられた位置であって、かつ、前記ユーザ情報取得部３によって取得した前記ユーザＵの位置に係るユーザ情報に対応した位置で、前記アニメーション表示の一つとして前記仮想現実キャラクターが消える演出の制御を行うことを特徴とする。
前記演出制御手段は、仮想的に構築された仮想世界のうち前記宅内座標情報１０に対応付けられた位置であって、かつ、前記ユーザ情報取得部３によって取得した前記ユーザＵの位置に係るユーザ情報に対応した位置で、前記アニメーション表示の一つとして前記仮想現実キャラクターが消える演出の制御を行うことを特徴とする。
【0011】
請求項３に記載の発明によれば、住宅１内の様々な場所で仮想現実キャラクターＣの演出を楽しむことができるので、ユーザＵには、仮想現実キャラクターＣに対する愛着心が湧きやすくなり、結果的に、システムの使用頻度の向上に貢献できる。
【0012】
請求項４に記載の発明は、例えば図６に示すように、請求項１から３のいずれか一項に記載の宅内表示システムにおいて、
前記演出制御手段は、前記ユーザＵと前記仮想現実キャラクターＣとの間で交わされた会話から前記ユーザＵと前記仮想現実キャラクターＣとの親密度を推定する分析部７ｄを更に備えることを特徴とする。
前記演出制御手段は、前記ユーザＵと前記仮想現実キャラクターＣとの間で交わされた会話から前記ユーザＵと前記仮想現実キャラクターＣとの親密度を推定する分析部７ｄを更に備えることを特徴とする。
【0013】
請求項４に記載の発明によれば、演出制御手段は、ユーザＵと仮想現実キャラクターＣとの間で交わされた会話からユーザＵと仮想現実キャラクターＣとの親密度を推定する分析部７ｄを更に備えるので、推定された親密度の高低に合わせて仮想現実キャラクターＣからユーザＵに対する好感度を増減し、好感度が高くなるにつれて、仮想現実キャラクターＣの態度を他人行儀なものから親密なものへと変化させる。これにより、好感度に応じてユーザＵを思いやる発言や行動をとる等の演出を行うことができるので、ユーザＵには、仮想現実キャラクターＣに対する愛着心が更に湧きやすくなり、結果的に、システムの使用頻度の向上に貢献できる。
【0014】
請求項５に記載の発明は、例えば図５に示すように、請求項１から４のいずれか一項に記載の宅内表示システムにおいて、
前記演出制御手段と連携し、かつ、前記住宅１内に設けられた操作対象デバイスを操作する宅内デバイス操作手段２２を更に備えることを特徴とする。
前記演出制御手段と連携し、かつ、前記住宅１内に設けられた操作対象デバイスを操作する宅内デバイス操作手段２２を更に備えることを特徴とする。
【0015】
請求項５に記載の発明によれば、演出制御手段と連携し、かつ、住宅１内に設けられた操作対象デバイスを操作する宅内デバイス操作手段２２を更に備えるので、演出制御手段と連携する宅内デバイス操作手段２２によって、ユーザＵと仮想現実キャラクターＣとの会話や動作を通じて、操作対象デバイスの操作を行うことができる。これにより、ユーザＵは、単に仮想現実キャラクターＣの演出を楽しむだけでなく、仮想現実キャラクターＣを通じて住宅１の設備等をコントロールする楽しみを味わうことができる。しかも、ユーザＵが操作対象デバイスを直接操作したわけではなく、ユーザＵとの会話を通じて「（見かけ上は）仮想現実キャラクターＣが自分のために操作対象デバイスを操作してくれた」とユーザＵが感じることができるので、仮想現実キャラクターＣに対する愛着心が湧きやすくなり、結果的に、システムの使用頻度の向上に貢献できる。
【発明の効果】
【0016】
本発明によれば、ユーザに対して、アドバイスや提案を行うシステムへの愛着が湧くように促し、システムの使用頻度の向上を図ることができる。
【図面の簡単な説明】
【0017】
【図1】宅内表示システムの概要を示す図である。
【図2】宅内表示システムの構成を示す図である。
【図3】表示用デバイスの表示例を示す図である。
【図4】表示用デバイスの表示例を示す図である。
【図5】表示制御部の構成を示す図である。
【図6】第一サーバの構成を示す図である。
【図7】第二サーバの構成を示す図である。
【図8】現実世界に対応する仮想世界の概念図である。
【発明を実施するための形態】
【0018】
以下、図面を参照して本発明の実施の形態について説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。
【0019】
図１において符号１は、ユーザＵが居住する住宅を示す。この住宅１は、戸建て住宅とされているが、マンションやアパート等における住居でもよく、特に限定されるものではない。住宅１内には複数の部屋が設けられている。また、住宅１に居住するユーザＵは、一人でもよいし、複数人でもよい。
このような住宅１には、現実世界の宅内風景Ｓ１，Ｓ２に重ね合わせて仮想現実キャラクターＣを表示するための表示用デバイス４，５を用いることで、ユーザＵに対して仮想現実キャラクターＣを認識させ、仮想現実キャラクターＣを通じてアドバイスや提案を受けたり、会話をしたりする宅内表示システムが導入されている。
このような住宅１には、現実世界の宅内風景Ｓ１，Ｓ２に重ね合わせて仮想現実キャラクターＣを表示するための表示用デバイス４，５を用いることで、ユーザＵに対して仮想現実キャラクターＣを認識させ、仮想現実キャラクターＣを通じてアドバイスや提案を受けたり、会話をしたりする宅内表示システムが導入されている。
【0020】
宅内表示システムは、図２，図３に示すように、宅内情報取得部２と、ユーザ情報取得部３と、表示用デバイス４，５（表示用デバイス４、表示用デバイス５）と、表示制御部６と、第一サーバ７と、第二サーバ８と、を備える。本実施形態においては、表示制御部６と、第一サーバ７と、第二サーバ８によって、演出制御手段を構成している。
なお、本実施形態における宅内又は住宅内とは、ユーザＵが居住する家屋そのものだけを指すものではなく、その家屋が建つ敷地を含んでもよいし、含まなくてもよく、本実施形態においては敷地も含んでいる。
なお、本実施形態における宅内又は住宅内とは、ユーザＵが居住する家屋そのものだけを指すものではなく、その家屋が建つ敷地を含んでもよいし、含まなくてもよく、本実施形態においては敷地も含んでいる。
【0021】
〔宅内情報取得部について〕
まず、宅内情報取得部２は、住宅１内の機器や設備等に係る宅内情報を取得するための手段であり、表示制御部６と通信可能に接続されている。この宅内情報取得部２は、例えば、住宅１内の各所に配置された各種センサー又は各種センサーを利用したシステムや装置、デバイス等である。
宅内情報取得部２から取得した宅内情報は、仮想現実キャラクターＣがユーザＵに対する発言（アドバイス、提案等）や演出に影響を与えるものであり、表示制御部６は、取得した住宅１内の諸情報に基づいて、表示用デバイス４，５に表示する仮想現実キャラクターＣの発言や演出を制御することができる。
まず、宅内情報取得部２は、住宅１内の機器や設備等に係る宅内情報を取得するための手段であり、表示制御部６と通信可能に接続されている。この宅内情報取得部２は、例えば、住宅１内の各所に配置された各種センサー又は各種センサーを利用したシステムや装置、デバイス等である。
宅内情報取得部２から取得した宅内情報は、仮想現実キャラクターＣがユーザＵに対する発言（アドバイス、提案等）や演出に影響を与えるものであり、表示制御部６は、取得した住宅１内の諸情報に基づいて、表示用デバイス４，５に表示する仮想現実キャラクターＣの発言や演出を制御することができる。
【0022】
より具体的に説明すると、宅内情報取得部２としては、電力センサー、水道流量計、ガス流量計、温湿度センサー、開口部開閉センサー、在庫管理システム、傾きセンサー、二酸化炭素センサー等が挙げられる。住宅１に導入される宅内表示システムにおいては、宅内情報取得部２として、上記の各種センサー等のうち少なくとも電力センサー、温湿度センサーが採用されるが、
これに限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。本実施形態における以下の説明においても、最適な宅内情報取得部２としての各種センサー等が適宜選択されるものとする。
これに限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。本実施形態における以下の説明においても、最適な宅内情報取得部２としての各種センサー等が適宜選択されるものとする。
【0023】
電力センサーは、例えば、分電盤や、太陽光発電システム等の自家発電設備、蓄電池設備、住宅１内の各コンセントなどに接続されており、住宅１内における電力使用量を計測することができる。
このような電力センサーを住宅１内に適宜配置接続することにより、住宅１の全体の電力使用量はもちろんのこと、分電盤の構成や使用される電力センサーの数によっては、部屋ごとの電力使用量や、家電ごとの電力使用量を計測できるようになっている。電力使用量を計測することで、電力の使い過ぎを警告したり、電力が全く使われていないことを異変として察知したり、ユーザＵに提供される生活情報に役立てたりすることができる。また、ユーザＵの行動推定や行動予測にも活用できるほか、住宅１内で使用される各種家電製品、その他センサー類、デバイス類等の異常検知などにも活用できる。
このような電力センサーを住宅１内に適宜配置接続することにより、住宅１の全体の電力使用量はもちろんのこと、分電盤の構成や使用される電力センサーの数によっては、部屋ごとの電力使用量や、家電ごとの電力使用量を計測できるようになっている。電力使用量を計測することで、電力の使い過ぎを警告したり、電力が全く使われていないことを異変として察知したり、ユーザＵに提供される生活情報に役立てたりすることができる。また、ユーザＵの行動推定や行動予測にも活用できるほか、住宅１内で使用される各種家電製品、その他センサー類、デバイス類等の異常検知などにも活用できる。
【0024】
水道流量計は、例えば水道メーターに接続されており、住宅１内における水道使用量を計測することができる。住宅１内の水道使用量を計測することで、水の使い過ぎを警告したり、水が全く使われていないことを異変として察知したり、ユーザＵに提供される生活情報に役立てたりすることができる。また、ユーザＵの行動推定や行動予測、給湯設備等の各種設備における異常検知にも活用できる。
【0025】
ガス流量計は、例えばガスメーターに接続されており、住宅１内におけるガス使用量を計測することができる。ガスの使い過ぎを警告したり、ガスが全く使われていないことを異変として察知したり、ユーザＵに提供される生活情報に役立てたりすることができる。また、ユーザＵの行動推定や行動予測、給湯設備等の各種設備における異常検知にも活用できる。
【0026】
温湿度センサーは、住宅１内の各部屋及び屋外に設けられており、温湿度センサーが設けられた周囲の温度及び湿度を計測することができる。温度や湿度を計測することで、住宅１内の温熱環境が正常であるか否かを確認したり、ユーザＵに提供される生活情報に役立てたりすることができる。また、ユーザＵの好みの温熱環境などを記憶し、学習することができる。
【0027】
開口部開閉センサーは、窓や出入口に設けられた建具の開閉を検知することができる。建具の開閉を検知することで、ユーザＵによる住宅や部屋の出入りを確認したり、住宅１のセキュリティに役立てたりすることができる。また、窓や出入口に設けられた建具の閉め忘れ警告や、ユーザＵの宅内移動軌跡の推定などができる。
また、気象情報と建具の開閉検知情報に基づいて、仮想現実キャラクターＣによるユーザＵへのアドバイスや提案を適宜変更できる。
また、気象情報と建具の開閉検知情報に基づいて、仮想現実キャラクターＣによるユーザＵへのアドバイスや提案を適宜変更できる。
【0028】
在庫管理システムは、住宅１内の所定の場所（冷蔵庫やパントリー、その他の収納スペース）に収納された物品の在庫管理を行うために、住宅１に導入されたシステムである。カメラによって撮影された画像や重量センサーによる測定結果と、記憶された在庫データと、に基づいて物品の増減を検知できるようになっている。
【0029】
傾きセンサーは、加速度センサーとも称し、住宅１の構造部分に設けられて、住宅１内に生じた振動を計測できるようになっている。この傾きセンサーは、住宅１に設けられる地震計を構成しており、地震計と宅内表示システムとを連携させることで、地震計によって計測された計測結果を表示用デバイス４，５によって確認することが可能となる。
なお、地震計は、例えば、住宅１内に生じた振動の計測結果と、予め記憶されている住宅１の構成部材や構造に係る住宅情報から、地震によって住宅１に水平に力が作用した際に生じる層間変位角を算出して、その算出結果を被災度ランクとして表示できるようになっている。
なお、地震計は、例えば、住宅１内に生じた振動の計測結果と、予め記憶されている住宅１の構成部材や構造に係る住宅情報から、地震によって住宅１に水平に力が作用した際に生じる層間変位角を算出して、その算出結果を被災度ランクとして表示できるようになっている。
【0030】
二酸化炭素センサーは、住宅１内の二酸化炭素濃度を計測するためのものであり、住宅１内の二酸化炭素濃度が高くなった場合に、二酸化炭素を検知できる。高い濃度の二酸化炭素を検知した場合は、その検知情報に基づいて、仮想現実キャラクターＣによるユーザＵへのアドバイスや提案を適宜変更できる。
【0031】
〔ユーザ情報取得部について〕
続いて、ユーザ情報取得部３は、ユーザＵの状態や住宅１内における位置等に係るユーザ情報を取得するための手段であり、表示制御部６と通信可能に接続されている。このユーザ情報取得部３は、例えば、住宅１内の各所に配置された各種デバイス又は各種センサーである。
より具体的に説明すると、ユーザ情報取得部３としては、カメラ、マイク、ビーコン、圧電センサー、電波式測距センサー、ウェアラブル端末等が挙げられる。住宅１に導入される宅内表示システムにおいては、ユーザ情報取得部３として、上記の各種デバイスや各種センサーのうち少なくともカメラが採用されるが、これに限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。本実施形態における以下の説明においても、最適なユーザ情報取得部３としての各種デバイスや各種センサーが適宜選択されるものとする。
続いて、ユーザ情報取得部３は、ユーザＵの状態や住宅１内における位置等に係るユーザ情報を取得するための手段であり、表示制御部６と通信可能に接続されている。このユーザ情報取得部３は、例えば、住宅１内の各所に配置された各種デバイス又は各種センサーである。
より具体的に説明すると、ユーザ情報取得部３としては、カメラ、マイク、ビーコン、圧電センサー、電波式測距センサー、ウェアラブル端末等が挙げられる。住宅１に導入される宅内表示システムにおいては、ユーザ情報取得部３として、上記の各種デバイスや各種センサーのうち少なくともカメラが採用されるが、これに限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。本実施形態における以下の説明においても、最適なユーザ情報取得部３としての各種デバイスや各種センサーが適宜選択されるものとする。
【0032】
カメラは、住宅１内の様々な箇所に複数設置されており、ユーザＵを撮影するのはもちろんのこと、住宅１内の各所を撮影したり、冷蔵庫や収納スペースにおける物品の撮影を行ったりすることができる。
カメラには、ユーザＵの顔を判別する顔認証機能が付与されてもよく、その場合は、住宅１内の様々な箇所に設置されることで、ユーザＵがどこに移動したか追尾できるようになっている。すなわち、住宅１内におけるユーザＵの位置情報を取得することができる。
さらに、カメラには、熱画像センサー（サーモグラフィ）機能が付与されてもよく、その場合は、ユーザＵの体温を一時的又は継続的に計測することができるので、ユーザＵの健康状態や感情の起伏に基づく体温の変化を察知し、会話に活かすことができる。
また、カメラによって撮影された画像から、ユーザＵの状態を取得することができる。ユーザＵの状態とは、例えば立ったり座ったり、寝転がったり、歩いたり、といったユーザＵの立ち居振る舞い・日常の動作を指す。
ただし、カメラは、プライバシー保護が求められる場所には設置されないようにすることが望ましい。そのため、プライバシー保護が求められる場所においてはカメラ以外のセンサーやデバイス等の情報に基づいてユーザＵの情報を取得する。
カメラには、ユーザＵの顔を判別する顔認証機能が付与されてもよく、その場合は、住宅１内の様々な箇所に設置されることで、ユーザＵがどこに移動したか追尾できるようになっている。すなわち、住宅１内におけるユーザＵの位置情報を取得することができる。
さらに、カメラには、熱画像センサー（サーモグラフィ）機能が付与されてもよく、その場合は、ユーザＵの体温を一時的又は継続的に計測することができるので、ユーザＵの健康状態や感情の起伏に基づく体温の変化を察知し、会話に活かすことができる。
また、カメラによって撮影された画像から、ユーザＵの状態を取得することができる。ユーザＵの状態とは、例えば立ったり座ったり、寝転がったり、歩いたり、といったユーザＵの立ち居振る舞い・日常の動作を指す。
ただし、カメラは、プライバシー保護が求められる場所には設置されないようにすることが望ましい。そのため、プライバシー保護が求められる場所においてはカメラ以外のセンサーやデバイス等の情報に基づいてユーザＵの情報を取得する。
【0033】
マイクは、住宅１内の様々な箇所に複数設置されており、ユーザＵの声やその他の音声を収音することができる。マイクでユーザＵの声を聞き取ることによって、ユーザＵの位置情報を取得できる。さらに、マイクを利用することで、ユーザＵと仮想現実キャラクターＣとが会話できるようにしたり、生活音や生活音とは異なる異常音を聞き取ったりすることができる。また、マイクで収音したユーザＵの声やその他の音声の情報は、表示制御部６を介して第一サーバ７に送信される。
このようなマイクは、ユーザ情報取得部３としてユーザＵが発声している状態を取得するとともに、宅内情報取得部２として周囲の他の音声を取得するように機能する。また、マイクは、上記のようにユーザＵと仮想現実キャラクターＣとの会話に用いられるため、当該マイクの近傍には仮想現実キャラクターＣの声を出力するスピーカーが備えられていてもよい。すなわち、ユーザ情報取得部３には、マイクと共にスピーカーが含まれてもよいものとする。
このようなマイクは、ユーザ情報取得部３としてユーザＵが発声している状態を取得するとともに、宅内情報取得部２として周囲の他の音声を取得するように機能する。また、マイクは、上記のようにユーザＵと仮想現実キャラクターＣとの会話に用いられるため、当該マイクの近傍には仮想現実キャラクターＣの声を出力するスピーカーが備えられていてもよい。すなわち、ユーザ情報取得部３には、マイクと共にスピーカーが含まれてもよいものとする。
【0034】
ビーコンは、ビーコン信号を発信する信号発生器であって、住宅１内の様々な箇所に複数設置されており、ビーコン信号には、ビーコン信号発生器の位置情報が含まれている。
ビーコン信号発生器から発信されたビーコン信号は、表示用デバイス４，５が受信し、表示用デバイス４，５は、ビーコン信号に含まれる位置情報と表示用デバイス４，５を識別する識別情報とを表示制御部６に送信する設定となっている。表示制御部６は、これにより、表示用デバイス４，５の現在位置の情報を取得できるようになっている。
ビーコン信号発生器から発信されたビーコン信号は、表示用デバイス４，５が受信し、表示用デバイス４，５は、ビーコン信号に含まれる位置情報と表示用デバイス４，５を識別する識別情報とを表示制御部６に送信する設定となっている。表示制御部６は、これにより、表示用デバイス４，５の現在位置の情報を取得できるようになっている。
【0035】
圧電センサーは、圧力により歪を発生させて電圧を生じさせるものであり、住宅１の床に組み込まれている。このような圧電センサーが床に組み込まれていれば、ユーザＵの位置情報を容易に取得することができる。また、検知範囲が狭い面積であればユーザＵの姿勢が立ったり歩いたりしていることを判別でき、広い面積であればユーザＵの姿勢が座っていたり寝転んでいたりしていることを判別できる。
【0036】
電波式測距センサーは、部屋内に電波を発信し、部屋内にいるユーザＵに当たって反射した電波を受信することでユーザＵの位置情報を取得するためのセンサーである。発信する電波としては、ミリ波やマイクロ波がし合用され、特に、浴室や脱衣所、トイレ、寝室等のようにプライベート性の高い部屋に設けられることが好ましい。
なお、電波式のセンサーには、特定条件下（当該電波式のセンサーから近い、対象者が動いていない等）で人の心拍や呼吸数を計測できるものがあり、このようなユーザＵの生体情報を取得する電波式のセンサーを併せて用いてもよい。
なお、電波式のセンサーには、特定条件下（当該電波式のセンサーから近い、対象者が動いていない等）で人の心拍や呼吸数を計測できるものがあり、このようなユーザＵの生体情報を取得する電波式のセンサーを併せて用いてもよい。
【0037】
ウェアラブル端末は、ユーザＵが身体に装着し、ユーザＵの位置情報を表示制御部６に発信したり、ユーザＵの健康管理に係る情報を取得して表示制御部６に発信したりすることができる。本実施形態においては、特に、ユーザＵの血圧や心拍、体温など、ユーザＵの健康状態を把握できるものが採用される。
【0038】
〔表示用デバイスについて〕
続いて、表示用デバイス４，５は、図３，図４，図８に示すように、現実世界の宅内風景Ｓ１，Ｓ２に重ね合わせて仮想現実キャラクターＣを表示するための手段であり、表示制御部６と通信可能に接続されている。表示用デバイス４，５は、表示制御部６からの制御信号を受信し、その制御信号に基づいて動作して、各々の表示部４ａ，５ａに仮想現実キャラクターＣを表示することができる。
また、表示用デバイス４，５は、ビーコンからのビーコン信号を受信し、そのビーコン信号に含まれる位置情報と表示用デバイス４，５を識別する識別情報とを表示制御部６に送信するための機能を有する。
表示用デバイス４，５は、これらの機能を発揮するのに必要な演算部や記憶部、通信部等を有するものとし、記憶部には、仮想現実キャラクターＣを表示させるのに必要な各種データや各種プログラム（アプリケーション）が記憶されている。
続いて、表示用デバイス４，５は、図３，図４，図８に示すように、現実世界の宅内風景Ｓ１，Ｓ２に重ね合わせて仮想現実キャラクターＣを表示するための手段であり、表示制御部６と通信可能に接続されている。表示用デバイス４，５は、表示制御部６からの制御信号を受信し、その制御信号に基づいて動作して、各々の表示部４ａ，５ａに仮想現実キャラクターＣを表示することができる。
また、表示用デバイス４，５は、ビーコンからのビーコン信号を受信し、そのビーコン信号に含まれる位置情報と表示用デバイス４，５を識別する識別情報とを表示制御部６に送信するための機能を有する。
表示用デバイス４，５は、これらの機能を発揮するのに必要な演算部や記憶部、通信部等を有するものとし、記憶部には、仮想現実キャラクターＣを表示させるのに必要な各種データや各種プログラム（アプリケーション）が記憶されている。
【0039】
このような表示用デバイス４，５としては、例えばスマートフォン４、ＡＲ眼鏡５、ホログラム装置、プロジェクター等が挙げられる。
住宅１に導入される宅内表示システムにおいては、表示用デバイス４，５として、上記の各種デバイスのうち少なくともスマートフォン４又は／及びＡＲ眼鏡５が好適に採用されるが、これに限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。本実施形態における以下の説明においても、最適な表示用デバイスが適宜選択されるものとする。
住宅１に導入される宅内表示システムにおいては、表示用デバイス４，５として、上記の各種デバイスのうち少なくともスマートフォン４又は／及びＡＲ眼鏡５が好適に採用されるが、これに限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。本実施形態における以下の説明においても、最適な表示用デバイスが適宜選択されるものとする。
【0040】
スマートフォン４は、携帯情報端末の一つであり、スマートフォン４に代えてタブレット端末等の携帯情報端末が用いられてもよい。このようなスマートフォン４としては、図３に示すように、演算部や記憶部、通信部等のような携帯情報端末としての機能の他に、少なくとも、図示しないカメラ（アウトカメラ）と、表示部４ａと、スピーカー４ｂと、図示しないマイクと、インカメラ４ｃと、を備える。
記憶部は、仮想現実キャラクターＣを表示部４ａに表示させるのに必要な各種データや各種プログラムを記憶しており、演算部は、各種プログラムとの協働により、仮想現実キャラクターＣを表示部４ａに表示する処理を始めとする各種処理を行う。
記憶部は、仮想現実キャラクターＣを表示部４ａに表示させるのに必要な各種データや各種プログラムを記憶しており、演算部は、各種プログラムとの協働により、仮想現実キャラクターＣを表示部４ａに表示する処理を始めとする各種処理を行う。
【0041】
表示部４ａは、指等で触れることによってスマートフォン４の操作を行うことができるタッチパネルであり、アウトカメラ又はインカメラ４ｃの機能によって映し出される撮影対象（宅内風景Ｓ１やユーザＵの顔・体）を表示するとともに、仮想現実キャラクターＣを表示する。
【0042】
スピーカー４ｂは、仮想現実キャラクターＣの映像に対応する音（仮想現実キャラクターＣの発言や効果音、音楽等）を発する。なお、イヤフォンを接続することで代用することができる。
【0043】
マイクは、ユーザＵの声や周囲のその他の音を収音することができる。スマートフォン４における当該マイクは、住宅１内の各所に設けられた上記複数のマイクと同様の目的で使用される。すなわち、マイクを利用することで、ユーザＵと仮想現実キャラクターＣとが会話できるようにしたり、生活音や生活音とは異なる異常音を聞き取ったりすることができる。したがって、このスマートフォン４におけるマイクは、ユーザ情報取得部３としてユーザＵが発声している状態を取得することができる。
また、マイクに代えて、テキスト入力又はボタン操作によってユーザＵの意思を伝えられるようにしてもよい。この場合、仮想現実キャラクターＣの発言等も表示部４ａ上でテキスト出力される。すなわち、ユーザＵと仮想現実キャラクターＣとの会話は、筆談で行われてもよい。
また、マイクに代えて、テキスト入力又はボタン操作によってユーザＵの意思を伝えられるようにしてもよい。この場合、仮想現実キャラクターＣの発言等も表示部４ａ上でテキスト出力される。すなわち、ユーザＵと仮想現実キャラクターＣとの会話は、筆談で行われてもよい。
【0044】
スマートフォン４は、ユーザＵが例えば手に持って使用する。そして、スマートフォン４に組み込まれたカメラ機能を利用する専用のアプリケーションを起動することで、スマートフォン４の表示部４ａに表示された現実世界の宅内風景Ｓ１に、表示制御部６から受信した制御信号に基づく仮想現実キャラクターＣの画像を重ね合わせて表示できるようになっている。
【0045】
なお、表示用デバイス４がスマートフォン４の場合は、専用のアプリケーションを通じてユーザＩＤを入力し、ユーザ登録を行うことができる。すなわち、住宅１内にユーザＵが複数いる場合（例えば家族と同居の場合）に、ユーザＵの判別を行うことができる。
【0046】
ＡＲ眼鏡５は、ヘッドアップディスプレイ又はヘッドマウントディスプレイであり、図４に示すように、ユーザＵの視線の前方に透明な２つの表示部５ａが配置される。そして、上記スマートフォン４の場合における専用のアプリケーションを起動したときと同等の機能を発揮するのに必要な演算部や記憶部、通信部等を有する。これにより、表示部５ａに表示される情報（仮想現実キャラクターＣ）が、ユーザＵの通常の視界と重なって表示される。すなわち、現実世界の宅内風景Ｓ２に、表示制御部６から受信した制御信号に基づく仮想現実キャラクターＣの画像を重ね合わせて表示できるようになっている。
記憶部は、仮想現実キャラクターＣを表示部５ａに表示させるのに必要な各種データや各種プログラムを記憶しており、演算部は、各種プログラムとの協働により、仮想現実キャラクターＣを表示部５ａに表示する処理を始めとする各種処理を行う。
記憶部は、仮想現実キャラクターＣを表示部５ａに表示させるのに必要な各種データや各種プログラムを記憶しており、演算部は、各種プログラムとの協働により、仮想現実キャラクターＣを表示部５ａに表示する処理を始めとする各種処理を行う。
【0047】
本実施形態におけるＡＲ眼鏡５は、眼鏡型であるため、表示部５ａを保持するリム５ｂと、２つのリム５ｂ間のブリッジ５ｃと、鼻に当たるパッド５ｄと、リム５ｂから突出するヨロイ５ｅと、ヨロイ５ｅに回動可能に連結されて折りたたみ可能なテンプル５ｆと、を有する。
また、図示はしないが、ユーザＵの耳の近傍に配されるテンプル５ｆには、骨伝導スピーカー（通常のスピーカーでもよい）が設けられており、仮想現実キャラクターＣの映像に対応する音（仮想現実キャラクターＣの発言や効果音、音楽等）を聞くことができる。
さらに、図示はしないが、ユーザＵの声を収集するマイクを備えてもよい。すなわち、このＡＲ眼鏡５におけるマイクは、ユーザ情報取得部３としてユーザＵが発声している状態を取得することができる。マイクを備えない場合は、住宅１内の各所に設けられた上記複数のマイクを使用してユーザＵと仮想現実キャラクターＣとの会話を成立させる。
なお、眼鏡型に代えて、ゴーグル型を採用してもよいし、ヘルメット型でもよい。
また、図示はしないが、ユーザＵの耳の近傍に配されるテンプル５ｆには、骨伝導スピーカー（通常のスピーカーでもよい）が設けられており、仮想現実キャラクターＣの映像に対応する音（仮想現実キャラクターＣの発言や効果音、音楽等）を聞くことができる。
さらに、図示はしないが、ユーザＵの声を収集するマイクを備えてもよい。すなわち、このＡＲ眼鏡５におけるマイクは、ユーザ情報取得部３としてユーザＵが発声している状態を取得することができる。マイクを備えない場合は、住宅１内の各所に設けられた上記複数のマイクを使用してユーザＵと仮想現実キャラクターＣとの会話を成立させる。
なお、眼鏡型に代えて、ゴーグル型を採用してもよいし、ヘルメット型でもよい。
【0048】
このようなＡＲ眼鏡５は、ヘッドトラッキング機能やポジショナルトラッキング機能を有する。ヘッドトラッキング機能とは、頭の動きなど見ている方向に合わせて、映像が変化する機能を指し。ポジショナルトラッキング機能とは、空間認識により場所に合わせて映像が変化する機能を指す。これらのトラッキング機能があることで、没入感や一体感が生じやすく、高品質な拡張現実が可能となる。
【0049】
なお、このＡＲ眼鏡５でも、ユーザ登録を行うことも可能であるが、複数のユーザＵが使うことを考えると、ＡＲ眼鏡５ではユーザＵを特定しなくてもよい。
【0050】
ホログラム装置は、図示はしないが、３Ｄホログラム技術を用いて３次元映像（以下、３Ｄ映像）を映し出す装置を指す。すなわち、３Ｄ映像を何もない空間に投影し、まるで本物が目の前にあるかのように見せることができる。なお、非３Ｄホログラムによる一般的な３Ｄ映像では、正面からしか映像が立体的に見えないが、３Ｄホログラム技術による３Ｄ映像では、３Ｄ眼鏡を必要とせずに、側面や背面からも、本物同様に立体的な映像を見ることが可能となる。
本実施形態におけるホログラム装置は、３Ｄ映像作り出す光を照射する照射部と、スピーカーと、マイクと、を有する。このようなホログラム装置を使用すれば、スマートフォン４やＡＲ眼鏡５のようにデバイスを手に持ったり身に着けたりする必要なく、仮想現実キャラクターＣを空間に表示することができる。すなわち、現実世界の宅内風景（ホログラム装置のある部屋の風景）に、表示制御部６から受信した制御信号に基づく仮想現実キャラクターＣの画像を重ね合わせて表示できるようになる。
なお、ホログラム装置は、ペッパーズ・ゴースト、ボリュームディスプレイ、ファン型ディスプレイといった類似技術を採用したものでもよい。
本実施形態におけるホログラム装置は、３Ｄ映像作り出す光を照射する照射部と、スピーカーと、マイクと、を有する。このようなホログラム装置を使用すれば、スマートフォン４やＡＲ眼鏡５のようにデバイスを手に持ったり身に着けたりする必要なく、仮想現実キャラクターＣを空間に表示することができる。すなわち、現実世界の宅内風景（ホログラム装置のある部屋の風景）に、表示制御部６から受信した制御信号に基づく仮想現実キャラクターＣの画像を重ね合わせて表示できるようになる。
なお、ホログラム装置は、ペッパーズ・ゴースト、ボリュームディスプレイ、ファン型ディスプレイといった類似技術を採用したものでもよい。
【0051】
プロジェクターは、住宅１内に設けられた部屋の壁面等（壁面だけでなく、天井や床、家具の表面など）に映像を投影する装置であり、部屋内の高い位置に設置されている。本実施形態におけるプロジェクターは、シーリング照明と一体に構成されており、天井に設置されている。
本実施形態におけるプロジェクターは、映像を投影する投影部と、スピーカーと、マイクと、を有する。プロジェクターは、装置全体を回転させる機構や投影部に首振り機能に持たせることで、仮想現実キャラクターＣを部屋内の広い範囲で移動させる演出を行うことができる。
このようなプロジェクターを使用すれば、スマートフォン４やＡＲ眼鏡５のようにデバイスを手に持ったり身に着けたりする必要なく、仮想現実キャラクターＣを部屋の壁面等に表示することができる。すなわち、現実世界の宅内風景（プロジェクターのある部屋の風景）に、表示制御部６から受信した制御信号に基づく仮想現実キャラクターＣの画像を重ね合わせて表示できるようになる。
本実施形態におけるプロジェクターは、映像を投影する投影部と、スピーカーと、マイクと、を有する。プロジェクターは、装置全体を回転させる機構や投影部に首振り機能に持たせることで、仮想現実キャラクターＣを部屋内の広い範囲で移動させる演出を行うことができる。
このようなプロジェクターを使用すれば、スマートフォン４やＡＲ眼鏡５のようにデバイスを手に持ったり身に着けたりする必要なく、仮想現実キャラクターＣを部屋の壁面等に表示することができる。すなわち、現実世界の宅内風景（プロジェクターのある部屋の風景）に、表示制御部６から受信した制御信号に基づく仮想現実キャラクターＣの画像を重ね合わせて表示できるようになる。
【0052】
〔表示制御部について〕
続いて、表示制御部６は、表示用デバイス４，５に対して仮想現実キャラクターＣを表示させるための制御信号を送信して表示用デバイス４，５を動作させ、当該表示用デバイス４，５の表示部４ａ，５ａに仮想現実キャラクターＣを表示させるためのものである。
このような表示制御部６は、本実施形態における宅内表示システムを実現する上で必要な手段として、図５に示すように、演算部６ａと、記憶部６ｂと、通信部６ｃ～６ｆと、を有する。このような構成とすることで、表示制御部６によって、住宅１内の各種センサーや各種デバイス等に係るデータを収集し、収集したデータを分析したり判定・判断したりして、その結果に基づいて表示用デバイス４，５の制御を行うことができる。
続いて、表示制御部６は、表示用デバイス４，５に対して仮想現実キャラクターＣを表示させるための制御信号を送信して表示用デバイス４，５を動作させ、当該表示用デバイス４，５の表示部４ａ，５ａに仮想現実キャラクターＣを表示させるためのものである。
このような表示制御部６は、本実施形態における宅内表示システムを実現する上で必要な手段として、図５に示すように、演算部６ａと、記憶部６ｂと、通信部６ｃ～６ｆと、を有する。このような構成とすることで、表示制御部６によって、住宅１内の各種センサーや各種デバイス等に係るデータを収集し、収集したデータを分析したり判定・判断したりして、その結果に基づいて表示用デバイス４，５の制御を行うことができる。
【0053】
本実施形態における表示制御部６は、例えばホームゲートウェイによって構成されている。ホームゲートウェイは、通信部６ｃ～６ｆとして、プロバイダへの接続設定等を作成するルーター機能と、Ｗｉ－Ｆｉ接続可能になる無線ＬＡＮ機能と、電話機やＦＡＸを繋いで音声通話やＦＡＸの送受信を行うＶｏＩＰゲートウェイ電話網とＩＰネットワークの間の中継を行う機能と、光回線の回線終端装置としての機能と、を併せ持つ装置を指す。
なお、本実施形態における表示制御部６は、例えばホームゲートウェイによって構成されているものとしたが、これに限られるものではなく、パソコンやスマートフォン、タブレット端末等の他のコンピューター装置によって構成されてもよい。
なお、本実施形態における表示制御部６は、例えばホームゲートウェイによって構成されているものとしたが、これに限られるものではなく、パソコンやスマートフォン、タブレット端末等の他のコンピューター装置によって構成されてもよい。
【0054】
本実施形態における表示制御部６は、上記のように、ホームゲートウェイ４に対し、必要な機能を持たせて宅内表示システムを実現させることができるものである。そのため、後述する第一サーバ７や第二サーバ８等の外部装置との連携を行わずに本実施形態における宅内表示システムを構築してもよい。つまり、後述する第一サーバ７や第二サーバ８等の外部装置における全ての機能を表示制御部６に統合してもよい。
また、後述する第一サーバ７や第二サーバ８等の外部装置との連携の度合いも適宜変更してもよい。そのため、外部装置が備える機能を、表示制御部６に適用してもよいものとする。反対に、本実施形態における表示制御部６を、単にルーターやハブ等の機能を有する中継器として使用し、第一サーバ７や第二サーバ８等の外部装置との連携により本実施形態における宅内表示システムを構築してもよい。
なお、宅内表示システムにおけるセットアップや設定変更、メンテナンスは、スマートフォン４やパソコン等を通じて行うことができる。
また、後述する第一サーバ７や第二サーバ８等の外部装置との連携の度合いも適宜変更してもよい。そのため、外部装置が備える機能を、表示制御部６に適用してもよいものとする。反対に、本実施形態における表示制御部６を、単にルーターやハブ等の機能を有する中継器として使用し、第一サーバ７や第二サーバ８等の外部装置との連携により本実施形態における宅内表示システムを構築してもよい。
なお、宅内表示システムにおけるセットアップや設定変更、メンテナンスは、スマートフォン４やパソコン等を通じて行うことができる。
【0055】
以上のような表示制御部６のうち演算部６ａは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から構成され、宅内表示システムにおける各部の処理動作を統括的に制御する。具体的には、演算部６ａのＣＰＵは、ＲＯＭに記憶されている各種処理プログラムを読み出してＲＡＭに展開し、当該プログラムとの協働により各種処理を行う。
【0056】
記憶部６ｂは、ＨＤＤ（Hard Disk Drive）や不揮発性メモリー等により構成され、宅内表示システムを実現させるのに必要な各種データや各種プログラムを記憶している。具体的には、例えば、住宅１内に予め設定された宅内座標情報１０、仮想現実キャラクターＣを表示用デバイス４，５に表示させて適切に動作させるための表示制御プログラム２０等を記憶している。また、記憶部６ｂは、宅内表示システムに連携させた操作対象デバイスの操作を行うための宅内デバイス操作プログラム２１を記憶している。
なお、宅内情報取得部２から取得した宅内情報や、ユーザ情報取得部３から取得したユーザ情報、表示用デバイス４，５の位置情報は、演算部６ａのメモリーに記憶されるが、データ収集やデータベース構築のために記憶部６ｂに記憶させてもよい。記憶部６ｂに記憶された各情報は、後述する第一サーバ７に送信されて、データ収集やデータベース構築のために用いられる。
なお、宅内情報取得部２から取得した宅内情報や、ユーザ情報取得部３から取得したユーザ情報、表示用デバイス４，５の位置情報は、演算部６ａのメモリーに記憶されるが、データ収集やデータベース構築のために記憶部６ｂに記憶させてもよい。記憶部６ｂに記憶された各情報は、後述する第一サーバ７に送信されて、データ収集やデータベース構築のために用いられる。
【0057】
通信部６ｃ～６ｆは、ネットワークインターフェース等により構成され、通信ネットワークＮを介して接続された他の機器との間でデータの送受信を行う。当該他の機器には、宅内情報取得部２、ユーザ情報取得部３、表示用デバイス４，５、第一サーバ７、第二サーバ８の他にも、住宅１内で使用されるパソコン等の情報端末や電話機等の通信機、各種家電製品、その他センサー類、デバイス類等が含まれる。
本実施形態における通信部６ｃ～６ｆは、宅内用の各通信部６ｃ～６ｅと、宅外用通信部６ｆと、を有する。
本実施形態における通信部６ｃ～６ｆは、宅内用の各通信部６ｃ～６ｅと、宅外用通信部６ｆと、を有する。
【0058】
宅内用の通信部６ｃ～６ｅには、無線用通信部６ｃと、有線用通信部６ｄと、電話用通信部６ｅと、が含まれる。
無線用通信部６ｃは、表示制御部６に無線アクセスする他の機器との無線通信を可能にする無線通信インタフェースである。
有線用通信部６ｄは、表示制御部６に有線アクセスする他の機器との無線通信を可能にする無線通信インタフェースである。
電話用通信部６ｅは、図示しない電話機との適切な接続を可能にする音声通話接続インタフェースである。
宅内用の通信部としては、その他にも、ＵＳＢデバイスとの接続を可能にする通信インタフェースが含まれていてもよい。ＵＳＢデバイスとしては、例えばＵＳＢメモリーが挙げられ、このＵＳＢメモリー内に、宅内表示システムを実現させるのに必要な各種データや各種プログラムが記憶されていてもよい。
なお、住宅１内にはＬＡＮ（Local Area Network）による通信ネットワークが構築されており、この宅内通信ネットワークは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）等の様々な通信網が互いに通信可能に接続された集合的な通信網であってもよい。
無線用通信部６ｃは、表示制御部６に無線アクセスする他の機器との無線通信を可能にする無線通信インタフェースである。
有線用通信部６ｄは、表示制御部６に有線アクセスする他の機器との無線通信を可能にする無線通信インタフェースである。
電話用通信部６ｅは、図示しない電話機との適切な接続を可能にする音声通話接続インタフェースである。
宅内用の通信部としては、その他にも、ＵＳＢデバイスとの接続を可能にする通信インタフェースが含まれていてもよい。ＵＳＢデバイスとしては、例えばＵＳＢメモリーが挙げられ、このＵＳＢメモリー内に、宅内表示システムを実現させるのに必要な各種データや各種プログラムが記憶されていてもよい。
なお、住宅１内にはＬＡＮ（Local Area Network）による通信ネットワークが構築されており、この宅内通信ネットワークは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）等の様々な通信網が互いに通信可能に接続された集合的な通信網であってもよい。
【0059】
宅外用通信部６ｆは、後述する第一サーバ７や第二サーバ８等の外部装置との間に構築された通信ネットワークＮとの接続のための通信インタフェースである。
なお、通信ネットワークＮは、電話回線網、ＩＳＤＮ回線網、光ファイバー、移動体通信網、通信衛星回線、ＣＡＴＶ回線網、その他の専用線等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ（すなわち、インターネット）等を含んでいてもよい。また、ＬＡＮやＷＡＮ（Wide Area Network）、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ等の様々な通信網が互いに通信可能に接続された集合的な通信網であってもよい。また、接続の形態について、有線、無線及び有線と無線の混在を問わない。
なお、通信ネットワークＮは、電話回線網、ＩＳＤＮ回線網、光ファイバー、移動体通信網、通信衛星回線、ＣＡＴＶ回線網、その他の専用線等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ（すなわち、インターネット）等を含んでいてもよい。また、ＬＡＮやＷＡＮ（Wide Area Network）、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ等の様々な通信網が互いに通信可能に接続された集合的な通信網であってもよい。また、接続の形態について、有線、無線及び有線と無線の混在を問わない。
【0060】
このような表示制御部６は、各通信部６ｃ～６ｆを通じて他の機器との間で通信を行いつつ、表示制御プログラム２０を実行して、表示用デバイス４，５の表示部４ａ，５ａに仮想現実キャラクターＣを表示させることができる。表示制御プログラム２０は、演出制御手段における主要な構成要素の一つであり、表示用デバイス４，５の表示部４ａ，５ａに仮想現実キャラクターＣを表示させて、ユーザ情報に基づいて仮想現実キャラクターＣの発言や動作を制御するプログラムである。
このとき、表示用デバイス４，５を使用しているユーザＵの位置情報（宅内座標１２）と宅内座標情報１０との照合を行い、住宅１内の場所に対応した仮想現実キャラクターＣの演出を行うことができるようになっている。
また、表示制御プログラム２０は、仮想現実キャラクターＣの制御だけでなく、その他の情報の表示制御も行うことができる。すなわち、表示用デバイス４，５の表示部４ａ，５ａに、現実世界の住宅１における宅内風景Ｓ１，Ｓ２に重ね合わせて表示される全ての情報の制御を行うことができる。
このとき、表示用デバイス４，５を使用しているユーザＵの位置情報（宅内座標１２）と宅内座標情報１０との照合を行い、住宅１内の場所に対応した仮想現実キャラクターＣの演出を行うことができるようになっている。
また、表示制御プログラム２０は、仮想現実キャラクターＣの制御だけでなく、その他の情報の表示制御も行うことができる。すなわち、表示用デバイス４，５の表示部４ａ，５ａに、現実世界の住宅１における宅内風景Ｓ１，Ｓ２に重ね合わせて表示される全ての情報の制御を行うことができる。
【0061】
また、表示制御部６は、宅内デバイス操作手段を構成する宅内デバイス操作プログラム２１を実行して、操作対象デバイスの操作を行うことができる。この宅内デバイス操作プログラム２１は、ユーザＵが表示用デバイス４，５を使用している時のみ実行可能としてもよい。
なお、操作対象デバイスは、例えば各種スマート家電やＩｏＴ機器、各種住設備を指している。各種スマート家電やＩｏＴ機器としては、エアコンや洗濯機、ヘルスメーター、テレビ、ロボット掃除機、スマートＬＥＤ照明、防犯カメラ等、様々なものが挙げられ、そのどれもが、表示制御部６と通信可能に接続されて連携している。
また、各種住設備としては、例えば窓やドア、シャッター装置、給湯器、蓄電池等、様々なものが挙げられ、そのどれもが、表示制御部６と通信可能に接続されて連携している。
宅内デバイス操作プログラム２１の実行は、基本的に、ユーザＵと仮想現実キャラクターＣとの会話を通じて行われる。例えばユーザＵからの指示や承認（発言や拡張現実上での操作の動作）によって実行されてもよいし、仮想現実キャラクターＣからのアドバイスや提案によって実行されてもよい。これにより、見かけ上ではあるものの、「仮想現実キャラクターＣが自分のために操作対象デバイスを操作してくれた」とユーザＵが感じることができる。
例えばユーザＵが一定の場所から一定時間以上移動しない、ウェアラブル端末の判定で健康状態の悪化が疑われる等の緊急時には、ユーザＵと仮想現実キャラクターＣとの会話が無くても、宅内デバイス操作プログラム２１の実行のみによって電話機を操作できるようにしたり医療機関等に通報したりするような緊急時対応ができるようにしてもよい。
なお、操作対象デバイスは、例えば各種スマート家電やＩｏＴ機器、各種住設備を指している。各種スマート家電やＩｏＴ機器としては、エアコンや洗濯機、ヘルスメーター、テレビ、ロボット掃除機、スマートＬＥＤ照明、防犯カメラ等、様々なものが挙げられ、そのどれもが、表示制御部６と通信可能に接続されて連携している。
また、各種住設備としては、例えば窓やドア、シャッター装置、給湯器、蓄電池等、様々なものが挙げられ、そのどれもが、表示制御部６と通信可能に接続されて連携している。
宅内デバイス操作プログラム２１の実行は、基本的に、ユーザＵと仮想現実キャラクターＣとの会話を通じて行われる。例えばユーザＵからの指示や承認（発言や拡張現実上での操作の動作）によって実行されてもよいし、仮想現実キャラクターＣからのアドバイスや提案によって実行されてもよい。これにより、見かけ上ではあるものの、「仮想現実キャラクターＣが自分のために操作対象デバイスを操作してくれた」とユーザＵが感じることができる。
例えばユーザＵが一定の場所から一定時間以上移動しない、ウェアラブル端末の判定で健康状態の悪化が疑われる等の緊急時には、ユーザＵと仮想現実キャラクターＣとの会話が無くても、宅内デバイス操作プログラム２１の実行のみによって電話機を操作できるようにしたり医療機関等に通報したりするような緊急時対応ができるようにしてもよい。
【0062】
記憶部６ｂに記憶された宅内座標情報１０は、例えば、ユーザ情報取得部３として利用する上記のカメラから取得できる座標情報に基づいて算出することができる。すなわち、表示制御部６の記憶部６ｂには、宅内座標算出プログラム２２が記憶されており、演算部６ａによって実行されて宅内座標情報１０を算出する。
なお、宅内座標情報１０を算出するためのカメラは、部屋全体を見渡すことができるように、部屋の天井に設けられていることが好ましい。
また、宅内座標情報１０は、電波式測距センサーから取得できる座標情報や、住宅１の間取りを含む設計情報、操作対象デバイスである上記のロボット掃除機から取得できる座標情報、スマートフォン４の測距用アプリケーションによる測定情報等に基づいて補正することができる。特に、ロボット掃除機は、周囲にあるオブジェクト（定着設置物や家具等）までの距離や方向を正確に把握する空間センサーを備えるため、日常的に座標情報を取得できる。
なお、宅内座標情報１０を算出するためのカメラは、部屋全体を見渡すことができるように、部屋の天井に設けられていることが好ましい。
また、宅内座標情報１０は、電波式測距センサーから取得できる座標情報や、住宅１の間取りを含む設計情報、操作対象デバイスである上記のロボット掃除機から取得できる座標情報、スマートフォン４の測距用アプリケーションによる測定情報等に基づいて補正することができる。特に、ロボット掃除機は、周囲にあるオブジェクト（定着設置物や家具等）までの距離や方向を正確に把握する空間センサーを備えるため、日常的に座標情報を取得できる。
【0063】
図８は、現実世界に対応する仮想世界の概念図であり、仮想世界には、宅内座標算出プログラム２２によって算出された宅内座標情報１０が対応付けられている。つまり、宅内座標算出プログラム２２によって算出された宅内座標情報１０は、現実世界における住宅１の屋内空間を定義しており、仮想世界はそれに則って概念的に構築されていることになる。
仮想現実キャラクターＣは、宅内座標情報１０が対応付けられた仮想世界上のうち、あらゆる座標の位置で出現可能となっている。そのため、仮想現実キャラクターＣは、ある座標に唐突に出現したり、出発点となる一の座標から到達点となる他の座標までの間を移動したりすることができる。
仮想現実キャラクターＣは、宅内座標情報１０が対応付けられた仮想世界上のうち、あらゆる座標の位置で出現可能となっている。そのため、仮想現実キャラクターＣは、ある座標に唐突に出現したり、出発点となる一の座標から到達点となる他の座標までの間を移動したりすることができる。
【0064】
住宅１には、図８に示すように、例えばキッチン台１ａのような定着設置物が種々設けられている。このような定着設置物については、リフォームを行わない限り、その場所から移動することがないため、宅内座標情報１０を算出する際に座標が付与される。図８に示すキッチン台１ａにも宅内座標１１が付与されている。すなわち、仮想世界には、現実世界の住宅１におけるキッチン台１ａのある場所に、キッチン台１ａを示す宅内座標１１が対応付けられている。
なお、定着設置物ではないが、家具や家電のように移動頻度が低いものや移動が容易でない物についても、宅内座標情報１０を算出する際に座標が付与されてもよい。
仮想現実キャラクターＣは、このような定着設置物等の内部に入り込まないよう、定着設置物等の表面部分よりも外側の宅内座標１１に基づいて表示される。同様に、仮想現実キャラクターＣは、壁や床の内部に入り込まないように表示される。すなわち、宅内座標情報１０は、定着設置物等を含む各部屋の表層に設定されていることとなる。
なお、定着設置物ではないが、家具や家電のように移動頻度が低いものや移動が容易でない物についても、宅内座標情報１０を算出する際に座標が付与されてもよい。
仮想現実キャラクターＣは、このような定着設置物等の内部に入り込まないよう、定着設置物等の表面部分よりも外側の宅内座標１１に基づいて表示される。同様に、仮想現実キャラクターＣは、壁や床の内部に入り込まないように表示される。すなわち、宅内座標情報１０は、定着設置物等を含む各部屋の表層に設定されていることとなる。
【0065】
また、図８に示すように、仮想世界におけるユーザＵの位置（宅内座標１２）は、現実世界におけるユーザＵの位置に対応する。ユーザＵが現実世界の住宅１における屋内空間を動き回るとき、ユーザＵはまた、仮想世界における仮想空間を定義する宅内座標情報１０の座標範囲内を動き回る。具体的には、ユーザ情報取得部３によって取得することが可能なユーザＵの位置情報が反映されている。
【0066】
なお、本実施形態における宅内座標情報１０は、ｘ軸とｙ軸とｚ軸を含む三次元座標とされているが、これに限られるものではなく、ｘ軸とｙ軸を含む二次元座標とされてもよい。二次元座標の場合、仮想現実キャラクターＣが出現する高さ位置は、表示用デバイス４，５における表示部４ａ，５ａの高さ位置に対応する。
【0067】
〔第一サーバについて〕
続いて、第一サーバ７は、ユーザＵの行動を支援するための機能を備えたコンピューター装置であり、通信ネットワークＮを介して表示制御部６と通信可能に接続されている。そして、表示制御部６から、宅内情報取得部２によって取得した宅内情報や、ユーザ情報取得部３によって取得したユーザ情報（ユーザＵの声の情報を含む）、表示用デバイス４，５の位置情報等を受信し、その受信した情報に基づいて生成されたメッセージ情報を表示制御部６に送信する。メッセージ情報は、仮想現実キャラクターＣを通じてユーザＵに伝えられ、ユーザＵにアドバイスや提案を行うことで、ユーザＵの行動を支援することが可能となる。
このような第一サーバ７は、図６に示すように、少なくとも演算部７ａ、記憶部７ｂ、通信部７ｃ、分析部７ｄを備えて構成されている。その他に、マウスやキーボード等の操作部や、ディスプレイ等の表示部などを適宜備えるものとする。
続いて、第一サーバ７は、ユーザＵの行動を支援するための機能を備えたコンピューター装置であり、通信ネットワークＮを介して表示制御部６と通信可能に接続されている。そして、表示制御部６から、宅内情報取得部２によって取得した宅内情報や、ユーザ情報取得部３によって取得したユーザ情報（ユーザＵの声の情報を含む）、表示用デバイス４，５の位置情報等を受信し、その受信した情報に基づいて生成されたメッセージ情報を表示制御部６に送信する。メッセージ情報は、仮想現実キャラクターＣを通じてユーザＵに伝えられ、ユーザＵにアドバイスや提案を行うことで、ユーザＵの行動を支援することが可能となる。
このような第一サーバ７は、図６に示すように、少なくとも演算部７ａ、記憶部７ｂ、通信部７ｃ、分析部７ｄを備えて構成されている。その他に、マウスやキーボード等の操作部や、ディスプレイ等の表示部などを適宜備えるものとする。
【0068】
演算部７ａは、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成され、第一サーバ７の処理動作を統括的に制御する。具体的には、演算部７ａのＣＰＵは、ＲＯＭに記憶されている各種処理プログラムを読み出してＲＡＭに展開し、当該プログラムとの協働により各種処理を行う。
【0069】
記憶部７ｂは、ＨＤＤや不揮発性メモリー等により構成され、宅内表示システムを実現させるのに必要な各種データや各種プログラムを記憶している。具体的には、例えば、表示制御部６から受信した情報に基づくメッセージ情報を生成するためのメッセージ生成プログラム３０等を記憶している。
メッセージ生成プログラム３０は、演出制御手段における主要な構成要素の一つであって、表示制御部６から受信した情報に基づいて、仮想現実キャラクターＣが発言するメッセージ（アドバイスや提案を含む）を生成するためのものであり、仮想現実キャラクターＣは、第一サーバ７で生成されたメッセージ情報に基づいて、表示用デバイス４，５上で発言を行う。
メッセージ生成プログラム３０によって生成されたメッセージ情報は音声出力されてもよいし、表示用デバイス４，５上でテキスト出力されてもよい。
音声出力する場合は、表示用デバイス４，５のスピーカー４ｂから出力してもよいし、ユーザ情報取得部３における複数のスピーカーから出力してもよい。なお、メッセージ情報の種類は多岐にわたり、音声を事前に用意しておくことは困難であるため、いわゆるボーカロイド技術が取り入れられている。
表示部４ａ，５ａにテキスト出力する場合は、漫画の吹き出しのように表現したり、映画の字幕のように表現したり、その他の映像コンテンツの表現を採用したりする。これにより、例えばユーザＵに聴覚障害があっても仮想現実キャラクターＣの発言等を把握することができる。
メッセージ生成プログラム３０は、演出制御手段における主要な構成要素の一つであって、表示制御部６から受信した情報に基づいて、仮想現実キャラクターＣが発言するメッセージ（アドバイスや提案を含む）を生成するためのものであり、仮想現実キャラクターＣは、第一サーバ７で生成されたメッセージ情報に基づいて、表示用デバイス４，５上で発言を行う。
メッセージ生成プログラム３０によって生成されたメッセージ情報は音声出力されてもよいし、表示用デバイス４，５上でテキスト出力されてもよい。
音声出力する場合は、表示用デバイス４，５のスピーカー４ｂから出力してもよいし、ユーザ情報取得部３における複数のスピーカーから出力してもよい。なお、メッセージ情報の種類は多岐にわたり、音声を事前に用意しておくことは困難であるため、いわゆるボーカロイド技術が取り入れられている。
表示部４ａ，５ａにテキスト出力する場合は、漫画の吹き出しのように表現したり、映画の字幕のように表現したり、その他の映像コンテンツの表現を採用したりする。これにより、例えばユーザＵに聴覚障害があっても仮想現実キャラクターＣの発言等を把握することができる。
【0070】
また、記憶部７ｂは、表示制御部６から受信した情報と、メッセージ生成プログラム３０によって生成されたメッセージ情報と、仮想現実キャラクターの宅内座標情報や好感度が記憶されたデータベース４０を有する。データベース４０に記憶された各種情報は蓄積されて最適化される。
【0071】
通信部７ｃは、ネットワークインターフェース等により構成され、通信ネットワークＮを介して接続された外部機器（表示制御部６、第二サーバ８）との間でデータの送受信を行う。
【0072】
分析部７ｄは、ＡＩ（artificial intelligence）であり、ＣＰＵと分析部７ｄ内に記憶されている各種学習プログラムとの協働により実現されることとするが、専用のハードウエアにより構成されることとしてもよい。また、分析部７ｄは、記憶部７ｂ及びデータベース４０に蓄積された情報の機械学習を行うことができる。これにより、ユーザＵは、あたかも育成ゲームのような感覚で、仮想現実キャラクターＣと会話することができるようになる。
【0073】
より詳細に説明すると、分析部７ｄは、ユーザＵと仮想現実キャラクターＣとの間で交わされた会話のテキスト分析を行い、ユーザＵと仮想現実キャラクターＣとの親密度を推定する。この推定には、テキストに対して公知の親密度推定手法を用いる他、ユーザＵと仮想現実キャラクターＣとの会話のテキストと親密度とを関連付けた教師データを用いてもよい。
そして、推定された親密度の高低に合わせて仮想現実キャラクターＣからユーザＵに対する好感度を増減し、好感度が高くなるにつれて、メッセージ生成プログラムによるメッセージ情報の生成や、演出制御手段による仮想現実キャラクターＣのアニメーション表示を制御し、仮想現実キャラクターＣの態度を他人行儀なものから親密なものへと変化させる。これにより、好感度に応じてユーザＵを思いやる発言や行動をとる等の演出を行うことができる。なお、会話の情報は、会話の内容もさることながら、会話の量も親密度を量る上で重要となる。つまり、ユーザＵと仮想現実キャラクターＣとの会話が増える（接点が増える）ことも重視される。そのため、上述の親密度推定に、会話の量が多い場合に親密度を高めに推定しても良いし、会話の量のみから親密度を推定しても良い。
また、分析部７ｄは、ユーザＵと仮想現実キャラクターＣとの間で交わされた会話の情報（会話の内容）の自然言語処理分析を行い、ユーザの趣味嗜好や性格なども分析してもよい。この場合、ユーザの趣味嗜好や性格など抽出したユーザ情報の量が多いほど親密度を高くする。また、ユーザ情報の量を蓄積させ、この蓄積量に比例して好感度を設定しても良い。なお、このユーザの趣味嗜好や性格の内容自体をメッセージ生成プログラム３０において生成されるメッセージ情報に反映しても良い。
さらに、分析部７ｄは、ユーザＵから会話を振られたタイミングの情報と、ユーザＵから会話を断られたタイミングの情報と、を学習用データとして蓄積記憶して機械学習を行うことにより、会話を開始するのに最適なタイミングを分析する。これにより、どのようなタイミングで話しかければよいか、あるいは話しかけない方がよいのかを学習することができる。
なお、タイミングの分析を行う場合は、上記の各タイミングの情報だけでなく、会話の前後におけるユーザＵの位置情報や、カメラによるユーザＵの顔認識情報、マイクによるユーザＵの声認識情報、ウェアラブル端末による汗や体温、脈拍等の生体情報等を加味して分析を行ってもよい。これにより、どのようなシチュエーションで話しかければよいか、あるいは話しかけない方がよいのかを学習することができる。
そして、推定された親密度の高低に合わせて仮想現実キャラクターＣからユーザＵに対する好感度を増減し、好感度が高くなるにつれて、メッセージ生成プログラムによるメッセージ情報の生成や、演出制御手段による仮想現実キャラクターＣのアニメーション表示を制御し、仮想現実キャラクターＣの態度を他人行儀なものから親密なものへと変化させる。これにより、好感度に応じてユーザＵを思いやる発言や行動をとる等の演出を行うことができる。なお、会話の情報は、会話の内容もさることながら、会話の量も親密度を量る上で重要となる。つまり、ユーザＵと仮想現実キャラクターＣとの会話が増える（接点が増える）ことも重視される。そのため、上述の親密度推定に、会話の量が多い場合に親密度を高めに推定しても良いし、会話の量のみから親密度を推定しても良い。
また、分析部７ｄは、ユーザＵと仮想現実キャラクターＣとの間で交わされた会話の情報（会話の内容）の自然言語処理分析を行い、ユーザの趣味嗜好や性格なども分析してもよい。この場合、ユーザの趣味嗜好や性格など抽出したユーザ情報の量が多いほど親密度を高くする。また、ユーザ情報の量を蓄積させ、この蓄積量に比例して好感度を設定しても良い。なお、このユーザの趣味嗜好や性格の内容自体をメッセージ生成プログラム３０において生成されるメッセージ情報に反映しても良い。
さらに、分析部７ｄは、ユーザＵから会話を振られたタイミングの情報と、ユーザＵから会話を断られたタイミングの情報と、を学習用データとして蓄積記憶して機械学習を行うことにより、会話を開始するのに最適なタイミングを分析する。これにより、どのようなタイミングで話しかければよいか、あるいは話しかけない方がよいのかを学習することができる。
なお、タイミングの分析を行う場合は、上記の各タイミングの情報だけでなく、会話の前後におけるユーザＵの位置情報や、カメラによるユーザＵの顔認識情報、マイクによるユーザＵの声認識情報、ウェアラブル端末による汗や体温、脈拍等の生体情報等を加味して分析を行ってもよい。これにより、どのようなシチュエーションで話しかければよいか、あるいは話しかけない方がよいのかを学習することができる。
【0074】
また、分析部７ｄは、カメラによるユーザＵの顔認識情報や、マイクによるユーザＵの声認識情報、ウェアラブル端末による汗や体温、脈拍等の生体情報、ユーザＵの外出情報、気象情報等を蓄積記憶して機械学習を行うことにより、ユーザＵの健康状態を分析する。その分析の結果次第で、仮想現実キャラクターＣからユーザＵに投げかけられる発言や動作等の演出を変化させていくように設定されている。
例えば、ユーザＵが汗をかいていたり暑がっていたりすると、学習データに基づいて仮想現実キャラクターＣからユーザＵに対して暑いか否かを問いかけ、ユーザＵが暑いと答えた場合には、宅内デバイス操作プログラム２１を実行してエアコンを稼働させる。
また、予め設定された閾値以上の温度になった場合には、仮想現実キャラクターＣも暑さを感じさせる発言や動作等の演出を行う。反対に、予め設定された閾値以下の温度になった場合には、仮想現実キャラクターＣも寒さを感じさせる発言や動作等の演出を行う。
例えば、ユーザＵが汗をかいていたり暑がっていたりすると、学習データに基づいて仮想現実キャラクターＣからユーザＵに対して暑いか否かを問いかけ、ユーザＵが暑いと答えた場合には、宅内デバイス操作プログラム２１を実行してエアコンを稼働させる。
また、予め設定された閾値以上の温度になった場合には、仮想現実キャラクターＣも暑さを感じさせる発言や動作等の演出を行う。反対に、予め設定された閾値以下の温度になった場合には、仮想現実キャラクターＣも寒さを感じさせる発言や動作等の演出を行う。
【0075】
また、分析部７ｄは、その他にも、仮想現実キャラクターＣからのアドバイスや提案を受けて、ユーザＵがどのように対応したかを情報として蓄積記憶して機械学習を行うことにより、ユーザＵの行動パターンや嗜好等を分析する。さらに、ユーザＵの発言や行動を受けて、仮想現実キャラクターＣがどのような発言や演出を行ったかも情報として蓄積記憶して機械学習を行うことにより、ユーザＵの行動パターンや嗜好等を分析する。その分析の結果次第で、仮想現実キャラクターＣからユーザＵに投げかけられる発言や動作等の演出を変化させていくように設定されている。
【0076】
なお、仮想現実キャラクターＣの発言（メッセージ情報）や動作は、ユーザＵの発言や行動にしっかりと対応することが求められる。つまり、ユーザＵと仮想現実キャラクターＣとの会話において双方の受け答えが成立することが求められるが、必ずしも規則正しいものである必要はない。分析部７ｄによる分析の結果に応じて、メッセージ生成プログラム３０によってメッセージ情報を生成し、さらに、生成したメッセージ情報に応じて、表示制御プログラム２０によって仮想現実キャラクターＣの動作を制御し、発言や動作をランダムに生成してユーザＵとの会話を行ってもよい。
【0077】
〔第二サーバについて〕
続いて、第二サーバ８は、外部の各種情報配信サーバから諸情報を取得して宅内表示システムに提供するためのコンピューター装置であり、通信ネットワークＮを介して表示制御部６又は第一サーバ７と通信可能に接続されている。
外部の各種情報配信サーバから取得する諸情報としては、例えば、気象情報や交通情報、各種店舗等から提供された買い物情報、スポーツ・アート・花火大会等のイベント情報、桜の開花情報・紅葉の色づき情報・スキー場の積雪量等の行楽や観光に関する季節の情報などが含まれている。
このような第二サーバ８は、図７に示すように、少なくとも演算部８ａ、記憶部８ｂ、通信部８ｃを備えて構成されている。その他に、マウスやキーボード等の操作部や、ディスプレイ等の表示部などを適宜備えるものとする。
続いて、第二サーバ８は、外部の各種情報配信サーバから諸情報を取得して宅内表示システムに提供するためのコンピューター装置であり、通信ネットワークＮを介して表示制御部６又は第一サーバ７と通信可能に接続されている。
外部の各種情報配信サーバから取得する諸情報としては、例えば、気象情報や交通情報、各種店舗等から提供された買い物情報、スポーツ・アート・花火大会等のイベント情報、桜の開花情報・紅葉の色づき情報・スキー場の積雪量等の行楽や観光に関する季節の情報などが含まれている。
このような第二サーバ８は、図７に示すように、少なくとも演算部８ａ、記憶部８ｂ、通信部８ｃを備えて構成されている。その他に、マウスやキーボード等の操作部や、ディスプレイ等の表示部などを適宜備えるものとする。
【0078】
演算部８ａは、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成され、第二サーバ８の処理動作を統括的に制御する。具体的には、演算部８ａのＣＰＵは、ＲＯＭに記憶されている各種処理プログラムを読み出してＲＡＭに展開し、当該プログラムとの協働により各種処理を行う。
【0079】
記憶部８ｂは、ＨＤＤや不揮発性メモリー等により構成され、宅内表示システムを実現させるのに必要な各種データや各種プログラムを記憶している。具体的には、例えば、外部の各種情報配信サーバから諸情報を取得するための情報取得プログラムや、表示制御部６又は第一サーバ７からの情報提供要求の信号を受け付けて該当する情報の送信を行う情報送信プログラム等を記憶している。
【0080】
通信部８ｃは、ネットワークインターフェース等により構成され、通信ネットワークＮを介して接続された外部機器（表示制御部６、第一サーバ７、外部の各種情報配信サーバ）との間でデータの送受信を行う。
【0081】
なお、第二サーバ８は、外部の各種情報配信サーバから諸情報を取得して宅内表示システムに提供する機能に特化したサーバであるが、第一サーバ７に統合されていてもよい。すなわち、第二サーバ８の記憶部８ｂに記憶される各種データや各種プログラムを、第一サーバ７の記憶部７ｂに記憶して演算部７ａで実行できるようにする。
【0082】
〔仮想現実キャラクターについて〕
次に、仮想現実キャラクターＣについて詳細に説明する。
仮想現実キャラクターＣは、基本的には１軒の住宅１につき１体とするが、これに限られるものではなく、１軒の住宅１につき複数体としてもよい。複数体とする場合は、例えば同種の色違いにしたり、完全に別種にしたりして、複数体同時に出現できるようにしてもよい。
１軒の住宅１につき１体の仮想現実キャラクターＣのみ出現可能な設定とする場合、複数の表示用デバイス４，５が起動していても同時には出現しない設定とすることが好ましいが、複数の表示用デバイス４，５の位置が離間している場合は利便性向上のため、各表示用デバイス４，５に同時に出現できる設定としてもよい。
複数体の仮想現実キャラクターＣが出現可能な設定とする場合は、表示用デバイス４，５ごとに１体ずつ出現させてもよいし、同時に出現させてもよい。表示用デバイス４，５ごとに１体ずつ出現させる場合は、どの種類の仮想現実キャラクターＣが出現するかは完全にランダムにしてもよいし、表示用デバイス４，５ごとに割り振ってもよい。
次に、仮想現実キャラクターＣについて詳細に説明する。
仮想現実キャラクターＣは、基本的には１軒の住宅１につき１体とするが、これに限られるものではなく、１軒の住宅１につき複数体としてもよい。複数体とする場合は、例えば同種の色違いにしたり、完全に別種にしたりして、複数体同時に出現できるようにしてもよい。
１軒の住宅１につき１体の仮想現実キャラクターＣのみ出現可能な設定とする場合、複数の表示用デバイス４，５が起動していても同時には出現しない設定とすることが好ましいが、複数の表示用デバイス４，５の位置が離間している場合は利便性向上のため、各表示用デバイス４，５に同時に出現できる設定としてもよい。
複数体の仮想現実キャラクターＣが出現可能な設定とする場合は、表示用デバイス４，５ごとに１体ずつ出現させてもよいし、同時に出現させてもよい。表示用デバイス４，５ごとに１体ずつ出現させる場合は、どの種類の仮想現実キャラクターＣが出現するかは完全にランダムにしてもよいし、表示用デバイス４，５ごとに割り振ってもよい。
【0083】
仮想現実キャラクターＣは、ただの「召使い」として扱われるのではなく、性格や感情を持ち合わせ、好き／嫌い等の価値観を持つように設定される。その結果、ユーザＵは、仮想現実キャラクターＣに対して愛情・愛着が湧くようになり、親近感を覚え、思い入れがあり、放っておけない存在となり得る。
このような仮想現実キャラクターＣの容姿は、愛着が湧きやすく親近感を覚えやすいものが好ましい。本実施形態における仮想現実キャラクターＣは「妖精」の容姿となっているが、これに限られるものではない。例えば、デフォルメした動物や、子供の好きなテレビアニメとコラボレーションしてそのキャラクターを登場させてもよいし、スポンサー契約している有名人を実写で登場させてもよいし、その他のオリジナルのキャラクターを創作してもよい。また、都度更新し、新しい仕草や表情を取得したり、仮想現実キャラクターＣの入れ替えを行なったり、期間限定の仮想現実キャラクターＣを登場させたりして、ユーザＵの興味を継続させるようにしてもよい。
このような仮想現実キャラクターＣの容姿は、愛着が湧きやすく親近感を覚えやすいものが好ましい。本実施形態における仮想現実キャラクターＣは「妖精」の容姿となっているが、これに限られるものではない。例えば、デフォルメした動物や、子供の好きなテレビアニメとコラボレーションしてそのキャラクターを登場させてもよいし、スポンサー契約している有名人を実写で登場させてもよいし、その他のオリジナルのキャラクターを創作してもよい。また、都度更新し、新しい仕草や表情を取得したり、仮想現実キャラクターＣの入れ替えを行なったり、期間限定の仮想現実キャラクターＣを登場させたりして、ユーザＵの興味を継続させるようにしてもよい。
【0084】
仮想現実キャラクターＣは、表示用デバイス４，５の表示部４ａ，５ａに表示可能であり、表示用デバイス４，５の位置や向きに応じてどこにでも現れる設定となっている。さらに、アニメーション技術によって動作し、仮想現実キャラクターＣが現れた場所に合わせた様々な演出を行うことができ、演出に合わせて仕草や表情を変えることができる。
例えば図４に示す仮想現実キャラクターＣは、現実世界の宅内風景Ｓ２（キッチン）に出現した状態である。現実世界のキッチンでは鍋に火が掛けられており、仮想現実キャラクターＣは、一緒に料理を行うように演出されている。図示はしないが、仮想現実キャラクターＣは、一生懸命に調味料を振りかける仕草や表情をしており、ユーザＵは、一生懸命に料理を手伝う仮想現実キャラクターＣに対して親近感を覚える。また、ダイニングでは食事を楽しませる仕草をしたり、一緒に食事をしたりする。
例えば図４に示す仮想現実キャラクターＣは、現実世界の宅内風景Ｓ２（キッチン）に出現した状態である。現実世界のキッチンでは鍋に火が掛けられており、仮想現実キャラクターＣは、一緒に料理を行うように演出されている。図示はしないが、仮想現実キャラクターＣは、一生懸命に調味料を振りかける仕草や表情をしており、ユーザＵは、一生懸命に料理を手伝う仮想現実キャラクターＣに対して親近感を覚える。また、ダイニングでは食事を楽しませる仕草をしたり、一緒に食事をしたりする。
【0085】
仮想現実キャラクターＣの発言（メッセージ情報）は、メッセージ生成プログラム３０によってランダムに生成されることがある。これにより、仮想現実キャラクターＣを、気まぐれな性格であるように見せかけることができ、仮想現実キャラクターＣには仮想現実キャラクターＣの性格・価値観・考え方がある、と思わせるような演出を行うことができる。このような仮想現実キャラクターＣの気質に係る部分の設定については、例えばスマートフォン４における専用のアプリケーションで変更できるようにしてもよい。仮想現実キャラクターＣの性格としては、気まぐれの他にも、真面目、丁寧、目立ちたがり屋、臆病、楽観的、悲観的、ひょうきん等、様々なものが挙げられる。
【0086】
なお、本実施形態における仮想現実キャラクターＣは、ユーザＵに対してアドバイスや提案を行ったり、ユーザＵと会話したりすることでユーザＵの行動を支援するものであるが、これに限られるものではない。例えば容姿を、デフォルメした動物に変更し、単に愛玩用のバーチャルペットとして利用できるようにしてもよい。
【0087】
以上のような仮想現実キャラクターＣは、上記のように、住宅１内に予め設定された宅内座標情報１０に基づいて表示される。換言すれば、座標が設定された場所であれば、どこでも出現可能となっている。そして、表示用デバイス４，５の表示部４ａ，５ａに表示されて、表示部４ａ，５ａ内で動き回ったり、時には消えたり、身振り手振りを交えながら動作するとともに、アドバイスや提案を含む発言を行ってユーザＵと会話する。
また、ユーザＵとのやり取りを通じて宅内デバイス操作プログラム２１を実行し、各種宅内デバイスを操作することもできる。
また、ユーザＵとのやり取りを通じて宅内デバイス操作プログラム２１を実行し、各種宅内デバイスを操作することもできる。
【0088】
さらに、スマートフォン４等の携帯情報端末を表示用デバイス４とする場合は、住宅１の外部（敷地外）に仮想現実キャラクターＣを連れ出すことができる。換言すれば、専用のアプリケーションに対して、仮想現実キャラクターＣの連れ出し機能を付与する。外部に連れ出した場合は、例えばＧＰＳ（Global Positioning System）等の測位システムを利用し、専用のアプリケーションを起動させた場所に係る情報（第二サーバ８を通じて取得できる情報）と、仮想現実キャラクターＣの発言や動作をリンクさせるような演出を行ってもよい。
なお、スマートフォン４以外の表示用デバイス５であっても、スマートフォン４の場合と同様の機能を付与すれば、住宅１の外部（敷地外）に仮想現実キャラクターＣを連れ出すことができる。
なお、スマートフォン４以外の表示用デバイス５であっても、スマートフォン４の場合と同様の機能を付与すれば、住宅１の外部（敷地外）に仮想現実キャラクターＣを連れ出すことができる。
【0089】
〔宅内表示システムの機能〕
本実施形態における宅内表示システムは、表示用デバイス４，５の表示部４ａ，５ａに表示される仮想現実キャラクターＣをユーザインターフェースとして機能させており、ユーザＵは、仮想現実キャラクターＣを通じて宅内表示システムを利用する。宅内表示システムは、上記の各部（宅内情報取得部２、ユーザ情報取得部３、表示用デバイス４，５、表示制御部６、第一サーバ７、第二サーバ８）の構成を適宜組み合わせることにより、例えば以下のような機能を発揮する。すなわち、以下の機能は、ユーザＵと仮想現実キャラクターＣとの間でのやり取りを通じて実行される。
本実施形態における宅内表示システムは、表示用デバイス４，５の表示部４ａ，５ａに表示される仮想現実キャラクターＣをユーザインターフェースとして機能させており、ユーザＵは、仮想現実キャラクターＣを通じて宅内表示システムを利用する。宅内表示システムは、上記の各部（宅内情報取得部２、ユーザ情報取得部３、表示用デバイス４，５、表示制御部６、第一サーバ７、第二サーバ８）の構成を適宜組み合わせることにより、例えば以下のような機能を発揮する。すなわち、以下の機能は、ユーザＵと仮想現実キャラクターＣとの間でのやり取りを通じて実行される。
【0090】
●住宅１で使用されるエネルギー（電気、水道、ガス）の使用状況を判定する。判定の結果に応じてユーザＵにアドバイスや提案を行う。
●住宅１内の温湿度管理を行う。すなわち、温湿度センサー等によって取得した住宅１内の温熱環境情報（温湿度、電力使用状況など）、及びユーザＵとの会話等やユーザ情報取得部３によって取得したユーザＵの状態（暑いと感じている、今から外出しようとしている等）を考慮した宅内デバイス操作のアドバイスや提案を行う。
●ユーザＵとの会話等やユーザ情報取得部３によって、ユーザＵが家電の操作に困っていることを検知した場合に、その家電の周囲に仮想現実キャラクターＣを表示させ、仮想現実キャラクターＣの手足を使って操作方法を教えたり、家電のボタン上に、仮想の目印やマークを重ね合わせて表示して説明したりする。
●ユーザＵとの会話等やユーザ情報取得部３によって、ユーザＵが調理方法に困っていることを検知した場合に、キッチン台１ａの周囲に仮想現実キャラクターＣを表示させ、仮想現実キャラクターＣの手足を使って操作方法を教えたり、食材の上に、仮想の目印やマークを重ね合わせて表示して説明したりする。
●ユーザＵとの会話等やユーザ情報取得部３によって、ユーザＵが勉強に困っていることを検知した場合に、ユーザＵの周囲に仮想現実キャラクターＣを表示させ、仮想現実キャラクターＣがヒントや正しい解答へのアプローチを教える。
●ユーザＵとの会話等やユーザ情報取得部３によって、ユーザＵが探し物を探していることを検知した場合に、住宅１内に配置されたカメラに写り込んだ物品の中から、ユーザＵの探し物を見つけ出して、仮想現実キャラクターＣがユーザＵに教える。
●食品やその他の収納物品の在庫管理を行う。食品や物品の増減を検知して買い物の提案を行う。
●食品の在庫管理を行うことに加えて、ユーザＵとの会話等により取得したユーザＵの気分（今日は○○を食べたい）を考慮したレシピの提案と、必要に応じて買い物の提案を行う。
●気象情報、災害情報や防災情報等を含む情報のお知らせを行う。気象情報のうち、今日の天気等の情報は、表示部４ａ，５ａの表示画面における隅角に簡易表示する形でお知らせするようにしてもよい。
●交通情報のお知らせを行う。ユーザＵとの会話等やユーザ情報取得部３によって取得したユーザＵの状態（今から外出しようとしている）を考慮して交通情報をお知らせする。
●各種店舗等から提供された買い物情報のお知らせを行う。食品やその他の物品の在庫管理と連動してもよく、各種店舗等から広告収入を得て宣伝広告活動を行うようにしてもよい。その場合、宅内表示システムと、各種店舗等が構築した商品販売システム（例えば通販システム、宅配システム）とを連動させてもよい。
●スポーツ・アート・花火大会等のイベント情報のお知らせを行う。イベントの主催者や興行主、チケット販売業者等から広告収入を得て宣伝広告活動を行うようにしてもよい。その場合、宅内表示システムと、チケット販売システムとを連動させてもよい。
●桜の開花情報・紅葉の色づき情報・スキー場の積雪量等の行楽や観光に関する季節の情報のお知らせを行う。
●ユーザＵが表示用デバイス４，５を使用している場所やシチュエーションに応じた会話等を行う。
●ユーザＵの顔の表情や声のトーンを読み取り、その表情や声のトーンに応じた会話等を行う。例えば、ユーザＵが楽しげな時には、それに応じて楽しげな会話等を行う。ユーザＵが悲しそうな時には、それに応じた励ましの言葉を含むような会話や動作を行う。
●ユーザＵとの会話等を蓄積記憶して、ユーザＵの行動パターンや嗜好等を分析し、分析の結果に基づく会話や動作を行う。
●住宅１内におけるユーザＵの行動を蓄積記憶して、ユーザＵの行動パターンや嗜好等を分析し、分析の結果に基づく会話や動作を行う。また、ユーザＵの行動予測を行って、住宅１内における生活での安全性向上に係るアドバイスや提案を行う。
●ヘルスメーターやウェアラブル端末等によるユーザＵの身体測定や健康状態等の情報を蓄積記憶し、それに応じてユーザＵに健康に関するアドバイスや提案を行う。
●住宅１における防犯性の向上を図る。すなわち、住宅１内に配置されたカメラを含むユーザ情報取得部３によってユーザＵの判別ができるため、ユーザＵ以外の人を判別することが容易であり、ユーザＵ以外の人を確認した場合には、スマートフォン４にその情報を送信したり、場合によっては警察や警備会社に通報したりする。
●表示用デバイス４，５を使用していない時に、ユーザＵにお知らせがある場合は、住宅１内に配置されたスピーカーのうちユーザＵに近い場所に配置されたスピーカーから音声を発したり、呼び鈴等の合図の音で知らせたりする。また、スマートフォン４に通知を行うようにしてもよい。
●スマートフォン４等の携帯情報端末における専用のアプリケーションに対して、仮想現実キャラクターＣの連れ出し機能を付与し、住宅１の外部（敷地外）に仮想現実キャラクターＣを連れ出すことができる。撮影した写真や行った場所の情報を蓄積記憶し、今後のユーザＵとの会話に活かすようにする。
●外出時において地図情報システム及び測位システムと連携することで、目的地までのナビゲーションを行う。
●外出時において周辺地域の店舗情報や、スマートフォン４等の携帯情報端末におけるカメラに写り込んだ店舗の情報のお知らせを行う。
●外出時において食品やその他の収納物品の在庫のお知らせを行う。
●ユーザＵと、そのユーザＵと一緒にいる第三者（撮影した写真に写っている人物）との間の会話のきっかけを作るような発言等を行う。
●住宅１内の温湿度管理を行う。すなわち、温湿度センサー等によって取得した住宅１内の温熱環境情報（温湿度、電力使用状況など）、及びユーザＵとの会話等やユーザ情報取得部３によって取得したユーザＵの状態（暑いと感じている、今から外出しようとしている等）を考慮した宅内デバイス操作のアドバイスや提案を行う。
●ユーザＵとの会話等やユーザ情報取得部３によって、ユーザＵが家電の操作に困っていることを検知した場合に、その家電の周囲に仮想現実キャラクターＣを表示させ、仮想現実キャラクターＣの手足を使って操作方法を教えたり、家電のボタン上に、仮想の目印やマークを重ね合わせて表示して説明したりする。
●ユーザＵとの会話等やユーザ情報取得部３によって、ユーザＵが調理方法に困っていることを検知した場合に、キッチン台１ａの周囲に仮想現実キャラクターＣを表示させ、仮想現実キャラクターＣの手足を使って操作方法を教えたり、食材の上に、仮想の目印やマークを重ね合わせて表示して説明したりする。
●ユーザＵとの会話等やユーザ情報取得部３によって、ユーザＵが勉強に困っていることを検知した場合に、ユーザＵの周囲に仮想現実キャラクターＣを表示させ、仮想現実キャラクターＣがヒントや正しい解答へのアプローチを教える。
●ユーザＵとの会話等やユーザ情報取得部３によって、ユーザＵが探し物を探していることを検知した場合に、住宅１内に配置されたカメラに写り込んだ物品の中から、ユーザＵの探し物を見つけ出して、仮想現実キャラクターＣがユーザＵに教える。
●食品やその他の収納物品の在庫管理を行う。食品や物品の増減を検知して買い物の提案を行う。
●食品の在庫管理を行うことに加えて、ユーザＵとの会話等により取得したユーザＵの気分（今日は○○を食べたい）を考慮したレシピの提案と、必要に応じて買い物の提案を行う。
●気象情報、災害情報や防災情報等を含む情報のお知らせを行う。気象情報のうち、今日の天気等の情報は、表示部４ａ，５ａの表示画面における隅角に簡易表示する形でお知らせするようにしてもよい。
●交通情報のお知らせを行う。ユーザＵとの会話等やユーザ情報取得部３によって取得したユーザＵの状態（今から外出しようとしている）を考慮して交通情報をお知らせする。
●各種店舗等から提供された買い物情報のお知らせを行う。食品やその他の物品の在庫管理と連動してもよく、各種店舗等から広告収入を得て宣伝広告活動を行うようにしてもよい。その場合、宅内表示システムと、各種店舗等が構築した商品販売システム（例えば通販システム、宅配システム）とを連動させてもよい。
●スポーツ・アート・花火大会等のイベント情報のお知らせを行う。イベントの主催者や興行主、チケット販売業者等から広告収入を得て宣伝広告活動を行うようにしてもよい。その場合、宅内表示システムと、チケット販売システムとを連動させてもよい。
●桜の開花情報・紅葉の色づき情報・スキー場の積雪量等の行楽や観光に関する季節の情報のお知らせを行う。
●ユーザＵが表示用デバイス４，５を使用している場所やシチュエーションに応じた会話等を行う。
●ユーザＵの顔の表情や声のトーンを読み取り、その表情や声のトーンに応じた会話等を行う。例えば、ユーザＵが楽しげな時には、それに応じて楽しげな会話等を行う。ユーザＵが悲しそうな時には、それに応じた励ましの言葉を含むような会話や動作を行う。
●ユーザＵとの会話等を蓄積記憶して、ユーザＵの行動パターンや嗜好等を分析し、分析の結果に基づく会話や動作を行う。
●住宅１内におけるユーザＵの行動を蓄積記憶して、ユーザＵの行動パターンや嗜好等を分析し、分析の結果に基づく会話や動作を行う。また、ユーザＵの行動予測を行って、住宅１内における生活での安全性向上に係るアドバイスや提案を行う。
●ヘルスメーターやウェアラブル端末等によるユーザＵの身体測定や健康状態等の情報を蓄積記憶し、それに応じてユーザＵに健康に関するアドバイスや提案を行う。
●住宅１における防犯性の向上を図る。すなわち、住宅１内に配置されたカメラを含むユーザ情報取得部３によってユーザＵの判別ができるため、ユーザＵ以外の人を判別することが容易であり、ユーザＵ以外の人を確認した場合には、スマートフォン４にその情報を送信したり、場合によっては警察や警備会社に通報したりする。
●表示用デバイス４，５を使用していない時に、ユーザＵにお知らせがある場合は、住宅１内に配置されたスピーカーのうちユーザＵに近い場所に配置されたスピーカーから音声を発したり、呼び鈴等の合図の音で知らせたりする。また、スマートフォン４に通知を行うようにしてもよい。
●スマートフォン４等の携帯情報端末における専用のアプリケーションに対して、仮想現実キャラクターＣの連れ出し機能を付与し、住宅１の外部（敷地外）に仮想現実キャラクターＣを連れ出すことができる。撮影した写真や行った場所の情報を蓄積記憶し、今後のユーザＵとの会話に活かすようにする。
●外出時において地図情報システム及び測位システムと連携することで、目的地までのナビゲーションを行う。
●外出時において周辺地域の店舗情報や、スマートフォン４等の携帯情報端末におけるカメラに写り込んだ店舗の情報のお知らせを行う。
●外出時において食品やその他の収納物品の在庫のお知らせを行う。
●ユーザＵと、そのユーザＵと一緒にいる第三者（撮影した写真に写っている人物）との間の会話のきっかけを作るような発言等を行う。
【0091】
本実施形態における宅内表示システムの機能は以上のものに限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜追加や変更が可能となっている。
【0092】
本実施形態によれば、以下のような優れた効果を奏する。
すなわち、演出制御手段（表示制御部６、第一サーバ７、第二サーバ８）は、ユーザ情報に基づいて生成されたユーザＵに伝達するためのメッセージ情報の出力を含む演出の制御を行うので、メッセージ情報には必然的にユーザＵ自身に関する情報が含まれたものとなり、ユーザＵに、メッセージ情報に対する興味を抱かせやすくすることができる。また、演出制御手段は、このようなメッセージ情報に対応する仮想現実キャラクターＣのアニメーション表示を含む演出の制御を行うので、ユーザＵに、仮想現実キャラクターＣに対する興味を抱かせやすくすることができ、ユーザＵには、仮想現実キャラクターＣに対する愛着心が湧きやすくなる。これにより、ユーザＵに対して、アドバイスや提案等のメッセージ情報の出力を行うシステムへの愛着が湧くように促し、システムの使用頻度の向上を図ることができる。
すなわち、演出制御手段（表示制御部６、第一サーバ７、第二サーバ８）は、ユーザ情報に基づいて生成されたユーザＵに伝達するためのメッセージ情報の出力を含む演出の制御を行うので、メッセージ情報には必然的にユーザＵ自身に関する情報が含まれたものとなり、ユーザＵに、メッセージ情報に対する興味を抱かせやすくすることができる。また、演出制御手段は、このようなメッセージ情報に対応する仮想現実キャラクターＣのアニメーション表示を含む演出の制御を行うので、ユーザＵに、仮想現実キャラクターＣに対する興味を抱かせやすくすることができ、ユーザＵには、仮想現実キャラクターＣに対する愛着心が湧きやすくなる。これにより、ユーザＵに対して、アドバイスや提案等のメッセージ情報の出力を行うシステムへの愛着が湧くように促し、システムの使用頻度の向上を図ることができる。
【0093】
また、演出制御手段（表示制御部６、第一サーバ７、第二サーバ８）は、宅内情報及びユーザ情報に基づいて生成されたメッセージ情報の出力を含む演出の制御を行うので、メッセージ情報には必然的にユーザＵが居住する住宅１の情報とユーザＵ自身に関する情報が含まれたものとなり、ユーザＵに、メッセージ情報に対する興味を抱かせやすくすることができる。また、演出制御手段は、このようなメッセージ情報に対応する仮想現実キャラクターＣのアニメーション表示を含む演出の制御を行うので、ユーザＵに、仮想現実キャラクターＣに対する興味を抱かせやすくすることができ、ユーザＵには、仮想現実キャラクターＣに対する愛着心が湧きやすくなる。これにより、ユーザＵに対して、アドバイスや提案等のメッセージ情報の出力を行うシステムへの愛着が湧くように促し、システムの更なる使用頻度の向上を図ることができる。
【0094】
また、演出制御手段（表示制御部６、第一サーバ７、第二サーバ８）は、仮想的に構築された仮想世界のうち宅内座標情報１０に対応付けられた位置に、仮想現実キャラクターＣを表示させる制御を行うので、宅内座標情報１０に対応付けられた位置であれば、どこでも仮想現実キャラクターＣを表示させることができる。これにより、住宅１内の様々な場所で仮想現実キャラクターＣの演出を楽しむことができるので、ユーザＵには、仮想現実キャラクターＣに対する愛着心が湧きやすくなり、結果的に、システムの使用頻度の向上に貢献できる。
【0095】
また、演出制御手段（表示制御部６、第一サーバ７、第二サーバ８）は、ユーザＵと仮想現実キャラクターＣとの間で交わされた会話からユーザＵと仮想現実キャラクターＣとの親密度を推定する分析部７ｄを更に備えるので、推定された親密度の高低に合わせて仮想現実キャラクターＣからユーザＵに対する好感度を増減し、好感度が高くなるにつれて、仮想現実キャラクターＣの態度を他人行儀なものから親密なものへと変化させる。これにより、好感度に応じてユーザＵを思いやる発言や行動をとる等の演出を行うことができるので、ユーザＵには、仮想現実キャラクターＣに対する愛着心が更に湧きやすくなり、結果的に、システムの使用頻度の向上に貢献できる。
【0096】
また、演出制御手段（表示制御部６の表示制御プログラム２０、第一サーバ７、第二サーバ８）と連携し、かつ、住宅１内に設けられた操作対象デバイスを操作する宅内デバイス操作手段２２（宅内デバイス操作プログラム２１）を更に備えるので、演出制御手段と連携する宅内デバイス操作手段２２によって、ユーザＵと仮想現実キャラクターＣとの会話や動作を通じて、操作対象デバイスの操作を行うことができる。これにより、ユーザＵは、単に仮想現実キャラクターＣの演出を楽しむだけでなく、仮想現実キャラクターＣを通じて住宅１の設備等をコントロールする楽しみを味わうことができる。しかも、ユーザＵが操作対象デバイスを直接操作したわけではなく、ユーザＵとの会話を通じて「（見かけ上は）仮想現実キャラクターＣが自分のために操作対象デバイスを操作してくれた」とユーザＵが感じることができるので、仮想現実キャラクターＣに対する愛着心が湧きやすくなり、結果的に、システムの使用頻度の向上に貢献できる。
【符号の説明】
【0097】
Ｕ ユーザ
Ｃ 仮想現実キャラクター
Ｎ 通信ネットワーク
Ｓ１ 宅内風景（本棚のある部屋）
Ｓ２ 宅内風景（調理中の鍋）
１ 住宅
１ａ キッチン台
２ 宅内情報取得部
３ ユーザ情報取得部
４ 表示用デバイス（スマートフォン）
４ａ 表示部
４ｂ スピーカー
４ｃ インカメラ
５ 表示用デバイス（ＡＲ眼鏡）
５ａ 表示部
６ 表示制御部
６ａ 演算部
６ｂ 記憶部
６ｃ 無線用通信部
６ｄ 有線用通信部
６ｅ 電話用通信部
６ｆ 宅外用通信部
７ 第一サーバ
７ａ 演算部
７ｂ 記憶部
７ｃ 通信部
７ｄ 分析部
８ 第二サーバ
８ａ 演算部
８ｂ 記憶部
８ｃ 通信部
１０ 宅内座標情報
１１ 宅内座標（キッチン台の位置）
１２ 宅内座標（ユーザの位置）
２０ 表示制御プログラム
２１ 宅内デバイス操作プログラム
２２ 宅内座標算出プログラム
３０ メッセージ生成プログラム
４０ データベース
Ｃ 仮想現実キャラクター
Ｎ 通信ネットワーク
Ｓ１ 宅内風景（本棚のある部屋）
Ｓ２ 宅内風景（調理中の鍋）
１ 住宅
１ａ キッチン台
２ 宅内情報取得部
３ ユーザ情報取得部
４ 表示用デバイス（スマートフォン）
４ａ 表示部
４ｂ スピーカー
４ｃ インカメラ
５ 表示用デバイス（ＡＲ眼鏡）
５ａ 表示部
６ 表示制御部
６ａ 演算部
６ｂ 記憶部
６ｃ 無線用通信部
６ｄ 有線用通信部
６ｅ 電話用通信部
６ｆ 宅外用通信部
７ 第一サーバ
７ａ 演算部
７ｂ 記憶部
７ｃ 通信部
７ｄ 分析部
８ 第二サーバ
８ａ 演算部
８ｂ 記憶部
８ｃ 通信部
１０ 宅内座標情報
１１ 宅内座標（キッチン台の位置）
１２ 宅内座標（ユーザの位置）
２０ 表示制御プログラム
２１ 宅内デバイス操作プログラム
２２ 宅内座標算出プログラム
３０ メッセージ生成プログラム
４０ データベース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】