特許 7450687 デジタルインクを管理するホームＵＩシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-07

(45)【発行日】2024-03-15

(54)【発明の名称】デジタルインクを管理するホームＵＩシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240308BHJP

   G06F 3/041 20060101ALI20240308BHJP

   G06F 3/03 20060101ALI20240308BHJP

   G06F 40/171 20200101ALI20240308BHJP

   G06T 7/20 20170101ALI20240308BHJP

【ＦＩ】

G06F3/01 510

G06F3/041 595

G06F3/03 400Z

G06F40/171

G06T7/20 300

【請求項の数】 11

(21)【出願番号】P 2022172390

(22)【出願日】2022-10-27

(62)【分割の表示】P 2021513503の分割

【原出願日】2020-02-17

(65)【公開番号】P2023015146

(43)【公開日】2023-01-31

【審査請求日】2023-02-03

(31)【優先権主張番号】P 2019073696

(32)【優先日】2019-04-08

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000139403

【氏名又は名称】株式会社ワコム

(74)【代理人】

【識別番号】100176072

【弁理士】

【氏名又は名称】小林 功

(74)【代理人】

【識別番号】100169225

【弁理士】

【氏名又は名称】山野 明

(72)【発明者】

【氏名】井出 信孝

(72)【発明者】

【氏名】チェン ムーツィー

(72)【発明者】

【氏名】山本 定雄

(72)【発明者】

【氏名】フィリップ ダニエル ションゲン

(72)【発明者】

【氏名】ピーター バッハー

【審査官】円子 英紀

(56)【参考文献】

【文献】特開２００３－１９６２４５（ＪＰ，Ａ）

【文献】特開２００９－２１５８７１（ＪＰ，Ａ）

【文献】特開２００２－０７８０３６（ＪＰ，Ａ）

【文献】特開２０００－０７５９７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｆ ３／０４４

Ｇ０６Ｆ ３／０４６

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｆ ４０／１７１

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

デジタルインクを管理するホームＵＩシステムであって、
家の中の状態又は状態の変化を検出可能な複数の状態センサと、
前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を検出可能な筆跡センサをそれぞれ含む複数の家庭用デバイスと、
前記家庭用デバイスの存在又は前記筆跡センサの検出可能領域を前記人に向けて報知する１つ以上の報知手段と、
１つ以上の前記状態センサによる検出結果から報知が必要であると判定された場合、少なくとも１つの前記報知手段に対して報知を指示する制御手段と、
を備え、
前記家庭用デバイスは、家電製品、家具、備品、壁、床、窓、又は柱を含むことを特徴とするホームＵＩシステム。

【請求項2】

１つ以上の前記状態センサによる検出結果を示す状態データに対して解析処理を施し、前記解析処理による結果に基づく判定処理を通じて前記報知が必要であるか否かを判定する判定手段をさらに備え、
前記制御手段は、前記判定手段により前記報知が必要であると判定された場合に前記報知を指示する
ことを特徴とする請求項１に記載のホームＵＩシステム。

【請求項3】

前記判定処理は、前記家庭用デバイスに対する前記筆跡の入力の予兆があることを示す第１判定条件の成否に関する第１判定処理を含み、
前記判定手段は、少なくとも、前記第１判定処理にて前記第１判定条件を満たす場合に前記報知が必要であると判定する
ことを特徴とする請求項２に記載のホームＵＩシステム。

【請求項4】

前記判定処理は、さらに、前記報知の必要性が高いことを示す第２判定条件の成否に関する第２判定処理を含み、
前記判定手段は、さらに、前記第２判定処理にて前記第２判定条件を満たす場合に前記報知が必要であると判定する
ことを特徴とする請求項３に記載のホームＵＩシステム。

【請求項5】

前記判定手段は、前記第１判定処理にて前記第１判定条件を満たす場合に前記第２判定処理を行う一方、前記第１判定条件を満たさない場合に前記判定処理を終了することを特徴とする請求項４に記載のホームＵＩシステム。

【請求項6】

前記第１判定条件は、相対的に少ない数の前記状態センサから取得された前記状態データに関する条件であり、
前記第２判定条件は、相対的に多い数の前記状態センサから取得された前記状態データに関する条件である
ことを特徴とする請求項５に記載のホームＵＩシステム。

【請求項7】

前記判定手段は、前記状態データから算出される少なくとも１つの特徴量を入力側とし、前記報知の必要性の高さを示す判定値を出力側とする判定器を用いて、前記第２判定処理を行うことを特徴とする請求項４に記載のホームＵＩシステム。

【請求項8】

前記判定器は、演算規則を定めるための学習パラメータ群を強化学習により更新可能に構成されることを特徴とする請求項７に記載のホームＵＩシステム。

【請求項9】

前記特徴量には、前記筆跡の入力時点に関する時間特徴量、前記筆跡の入力場所に関する場所特徴量、前記家の内部環境に関する環境特徴量、前記筆跡の入力を行った筆記者の動きに関する動き特徴量、及び前記人の感情に関する感情特徴量のうちの少なくとも１つが含まれることを特徴とする請求項７に記載のホームＵＩシステム。

【請求項10】

前記家庭用デバイスにより前記筆跡の入力が検出された場合、１つ以上の前記状態センサによる検出結果を用いて前記筆跡の入力を行った筆記者を推定する推定手段をさらに備えることを特徴とする請求項１に記載のホームＵＩシステム。

【請求項11】

前記制御手段は、少なくとも１つの前記報知手段に対して時間差を設けた複数回にわたる前記報知を指示することを特徴とする請求項１に記載のホームＵＩシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルインクを管理するホームＵＩ（User Interface）システムに関する。

【背景技術】

【0002】

電子ペンから生成されるデジタルインクは、従来のペンが紙の上に筆跡を残すように、電子ペンの軌跡を再現するために用いられるデータである。デジタルインクとして、特許文献１には、コンピュータ内部のデータモデルとしてオブジェクト指向に基づくデジタルインクの例が、特許文献２にはデジタルインクのシリアライズフォーマットの例がそれぞれ開示されている。

【0003】

さらに、デジタルインクに、単なる筆跡を再現するためのデータという枠を超え、人間の行動の軌跡として「いつ、誰が、どこで、どんな状況で」書いたのかを記録可能としたデジタルインクデータが知られている。例えば、特許文献３には、デジタルインクとして、軌跡を示すストロークデータを誰が書いたのかを特定可能にするデジタルインクが、特許文献４には、ストロークデータを入力した際のコンテキストデータとして、著者、ペンＩＤ、時刻情報、ＧＰＳ（Global Positioning System）で取得された地域情報、などの情報を取得し、それらをメタデータとして記録可能にするデジタルインクが開示されている。

【0004】

また、近年では、「どのような思いあるいは感情で書いたか」の推定を支援するためにデジタルインクを用いることが検討されている。例えば、特許文献５には、手書きの文字や絵の時空間情報を定量化し特徴量を抽出することで、書き手の精神・心理・生理状態を把握し、判定する方法と装置が開示されている。特許文献６には、筆圧等の筆記状態と感情に対応する生体情報を関連付け、筆記状態のみから前記感情に対応する生体情報を導き出す感情推定システムが開示されている。

【0005】

このような、「いつ、どこで、どのような手書きをしたのか」を示すデジタルインクは、いわばその人間の軌跡、つまり行動あるいは感情のヒストリーデータといえる。このようなデジタルインクと、パーソナライズされたＡＩ（Artificial Intelligence）とを組み合わせることにより、さらに高度な生活の実現が期待される。

【0006】

例えば、特許文献７では、家の中の環境又は人の動きをセンシングし、その検出結果に基づいて各々の家庭用デバイスの動作を特徴付ける「ポリシー」を動的に変更するスマートホーム自動化システムが開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】米国特許第０７１５８６７５号明細書

【文献】米国特許第０７３９７９４９号明細書

【文献】特許第５８８６４８７号公報

【文献】米国特許公開第２０１６／０２２４２３９号明細書

【文献】特開２０１０－１３１２８０号公報

【文献】国際公開ＷＯ２０１８／０４３０６１号パンフレット

【文献】米国特許出願公開第２０１６／０２５９３０８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、家の中に設けられ又は家の一部を構成する家庭用デバイスに筆跡センサを組み込むことで、「家そのもの」をデジタルインクの入出力デバイスとして機能させることができる。ところが、家の各構成員が複数の家庭用デバイスに対してアクセス可能である場合、デジタルインクの入力時における家庭用デバイス又は筆記者の混在、あるいはデジタルインクの出力時における筆記情報の混在が起こり得る。これにより、例えば、［１］家庭用デバイスの見逃しによって使用機会を逸失する、［２］１本の電子ペンを共用する際に筆記者が特定できない、［３］複数の家庭用デバイスから断片的に入力された筆跡情報を十分に活用できない、などの運用上の不都合が生じてしまう。

【0009】

本発明の目的は、家そのものをデジタルインクの入出力デバイスとして機能させる際、デジタルインクの入力時における家庭用デバイス又は筆記者の混在に伴う不都合を抑制可能であり、あるいはデジタルインクが示す筆跡情報を効果的に出力可能である、デジタルインクを管理するホームＵＩシステムを提供することである。

【課題を解決するための手段】

【0010】

第１の本発明におけるデジタルインクを管理するホームＵＩシステムは、家の中の状態又は状態の変化を検出可能な複数の状態センサと、前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を検出可能な筆跡センサをそれぞれ含む複数の家庭用デバイスと、前記家庭用デバイスの存在又は前記筆跡センサの検出可能領域を前記人に向けて報知する１つ以上の報知手段と、１つ以上の前記状態センサによる検出結果から報知が必要であると判定された場合、少なくとも１つの前記報知手段に対して報知を指示する制御手段と、を備える。

【0011】

第２の本発明におけるデジタルインクを管理するホームＵＩシステムは、家の中の状態又は状態の変化を検出可能な複数の状態センサと、前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を検出可能な筆跡センサを含む家庭用デバイスと、前記家庭用デバイスにより筆跡の入力が検出された場合、１つ以上の前記状態センサによる検出結果を用いて筆跡の入力を行った筆記者を推定する推定手段と、を備える。

【0012】

第３の本発明におけるデジタルインクを管理するホームＵＩシステムは、家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を入力可能な筆跡センサをそれぞれ含む複数の家庭用デバイスと、筆跡の形態を示す筆跡データを前記家庭用デバイスと対応付けて記憶する記憶装置と、画像又は映像を表示可能に構成され、かつ１つ以上の前記家庭用デバイスに対応付けられた端末装置と、前記端末装置を介して所定の操作を受け付けた場合、前記記憶装置から前記端末装置に対応する前記家庭用デバイスの筆跡データを取得し、取得済みの筆跡データが示す手書き情報又は前記取得済みの筆跡データが指定するコンテンツ情報の表示を、前記端末装置に対して指示する制御手段と、を備える。

【0013】

第４の本発明におけるデジタルインクを管理するホームＵＩシステムは、家の中の状態又は状態の変化を検出可能な複数の状態センサと、前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を入出力可能なタッチパネルディスプレイを含む家庭用デバイスと、筆跡の形態を示す筆跡データを前記家庭用デバイスと対応付けて記憶する記憶装置と、１つ以上の前記状態センサにより前記家庭用デバイスの近くにいる前記人の所定の状態が検出された場合、前記記憶装置から前記家庭用デバイスに対応する筆跡データを取得し、取得済みの筆跡データが示す手書き情報の表示を、前記家庭用デバイスに対して指示する制御手段と、を備える。

【発明の効果】

【0014】

第１の本発明によれば、デジタルインクの入力時における家庭用デバイスの混在に伴う不都合を抑制することができる。
第２の本発明によれば、デジタルインクの入力時における筆記者の混在に伴う不都合を抑制することができる。
第３，４の本発明によれば、デジタルインクが示す筆跡情報を効果的に出力することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態におけるホームＵＩシステムの全体構成図である。

【図2】図１の家の部分的な間取りの一例を示す図である。

【図3A】環境情報ＤＢのセンサ情報が有するデータ構造の一例を示す図である。

【図3B】環境情報ＤＢの第１デバイス情報が有するデータ構造の一例を示す図である。

【図3C】環境情報ＤＢの第２デバイス情報が有するデータ構造の一例を示す図である。

【図4】ホームＵＩシステムの第１動作に関するフローチャートである。

【図5】図１のデータ解析部に含まれる判定器の構成を示す図である。

【図6A】家庭用デバイスによる報知の一例を示す図である。

【図6B】家庭用デバイスによる報知の一例を示す図である。

【図6C】家庭用デバイスによる報知の一例を示す図である。

【図7】ホームＵＩシステムの第２動作に関するフローチャートである。

【図8】図１のデータ解析部に含まれる識別器の構成を示す図である。

【図9】ホームＵＩシステムの第３動作に関するフローチャートである。

【図10A】端末装置による表示の一例を示す図である。

【図10B】端末装置による表示の一例を示す図である。

【図11】ホームＵＩシステムの第４動作に関するフローチャートである。

【図12A】家庭用デバイスによる表示の第１例を示す図である。

【図12B】家庭用デバイスによる表示の第１例を示す図である。

【図12C】家庭用デバイスによる表示の第１例を示す図である。

【図13A】家庭用デバイスによる表示の第２例を示す図である。

【図13B】家庭用デバイスによる表示の第２例を示す図である。

【図13C】家庭用デバイスによる表示の第２例を示す図である。

【発明を実施するための形態】

【0016】

本発明におけるデジタルインクを管理するホームＵＩシステムについて、添付の図面を参照しながら説明する。

【0017】

［ホームＵＩシステム１０の構成］
＜全体構成＞
図１は、本発明の一実施形態におけるホームＵＩシステム１０の全体構成図である。ホームＵＩシステム１０は、家１００の中の様々な場所で筆跡情報の入力及び出力が可能な「ユビキタスインクサービス」を提供可能に構成される。ホームＵＩシステム１０は、家１００に限られず、様々なプライベート空間に適用されてもよい。このホームＵＩシステム１０は、具体的には、デジタルインクサーバ１２と、ストレージ装置１４と、ＩｏＴ（Internet Of Things）ハブ１６と、複数の状態センサ１８と、複数の家庭用デバイス２０，２２と、端末装置２４と、を含んで構成される。

【0018】

デジタルインクサーバ１２は、デジタルインクの入力及び出力に関する統括的な制御を行うコンピュータであり、具体的には、通信部２６と、制御部２８と、記憶部３０と、を含んで構成される。

【0019】

通信部２６は、外部装置に対して電気信号を送受信するインターフェースである。制御部２８は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む処理演算装置によって構成される。制御部２８は、記憶部３０に格納されたプログラムを読み出して実行することで、データ取得部３２、データ解析部３４、及びデバイス制御部３６（制御手段）として機能する。

【0020】

記憶部３０は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、フラッシュメモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。

【0021】

ストレージ装置１４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）又はソリッドステートドライブ（ＳＳＤ：Solid State Drive）から構成され、デジタルインクサーバ１２が取り扱う様々なデータを記憶する。具体的には、ストレージ装置１４には、家１００での暮らしを通じて生成された筆跡情報が蓄積されるデータベース（以下、筆跡情報ＤＢ３８）と、家１００の環境情報が蓄積されるデータベース（以下、環境情報ＤＢ４０）が構築されている。

【0022】

ＩｏＴハブ１６は、家１００の中にある各々のＩｏＴ機器との間で双方向に通信可能な中継機器である。これにより、各々のＩｏＴ機器は、ＩｏＴハブ１６及びネットワークＮＷを通じて、自身が有するデータをデジタルインクサーバ１２に供給することができる。また、デジタルインクサーバ１２は、ネットワークＮＷ及びＩｏＴハブ１６を通じて、各々のＩｏＴ機器に対して必要な動作を指示することができる。本図の例では、ＩｏＴ機器は、状態センサ１８、家庭用デバイス２０，２２、又は端末装置２４である。

【0023】

状態センサ１８は、家１００の中の状態又は状態の変化を検出するセンサである。家１００の中の状態は、家１００の内部状態であってもよいし、家１００の中にいる人Ｈｍの状態であってもよい。家１００の内部状態には、空気、光、音を含む環境状態、あるいは家庭用デバイス２０，２２の配置状態や使用状態などが含まれる。また、人Ｈｍの状態には、位置、姿勢、動き、体調、感情などが含まれる。

【0024】

検出対象、家１００の間取り、設置コストなどに応じて、様々な種類の状態センサ１８が用いられる。例えば、状態センサ１８は、カメラ、照度計、温湿度計、音声センサ、超音波センサ、赤外線センサを含む非接触型のセンサであってもよいし、圧力センサ、触覚センサ、モーションセンサを含む接触型のセンサであってもよい。また、状態センサ１８は、家１００の中に配置された据置型のセンサであってもよいし、家１００の中に持ち込まれる可搬型（さらには、装着型あるいは非装着型）のセンサであってもよい。

【0025】

家庭用デバイス２０，２２は、家１００の中に設けられ、又は家１００の一部を構成するデバイスである。前者の例として、家電製品（後述する端末装置を含む）、家具、備品などが挙げられる。後者の例として、壁、床、窓、柱などが挙げられる。家庭用デバイス２０，２２は、自身の機能を発揮するための本体部５０と、人Ｈｍによる筆跡を検出可能な筆跡センサ５２と、を含んで構成される。この筆跡センサ５２は、電子ペン５４又は指の位置を検出するための複数のセンサ電極を含んで構成される。この電子ペン５４は、例えば、アクティブ静電方式（ＡＥＳ）又は電磁誘導方式（ＥＭＲ）のスタイラスである。

【0026】

ところで、家庭用デバイス２２は、別の家庭用デバイス２０とは異なり、本体部５０及び筆跡センサ５２の他にインジケータ５６をさらに備える。インジケータ５６は、人Ｈｍの五感に訴える情報を出力可能な標示器であり、例えば、ランプ、スピーカ、バイブレータ、ディスプレイから構成される。これにより、家庭用デバイス２２は、自身の存在又は検出可能領域を標示することができる。

【0027】

端末装置２４は、例えば、パーソナルコンピュータ、タブレット、スマートフォン、ＡＩスピーカを含む多機能・多目的装置から構成される。端末装置２４は、据置型の装置であってもよいし、可搬型の装置であってもよい。以下、情報の出力を通じて人Ｈｍに報知可能な装置（本図の例では、家庭用デバイス２２及び端末装置２４）をまとめて「報知デバイス５８」という場合がある。

【0028】

図２は、図１の家１００の部分的な間取りの一例を示す図である。家１００のキッチン１０２には、状態センサ１８としてカメラと、家庭用デバイス２０としての窓が設けられている。家１００の洗面所１０４には、状態センサ１８としての体重計と、家庭用デバイス２２としての壁が設けられている。また、家１００の構成員である人Ｈｍは、端末装置２４としてのスマートフォンを所持している。

【0029】

図３Ａ～図３Ｃは、図１の環境情報ＤＢ４０が有するデータ構造の一例を示す図である。より詳しくは、図３Ａはセンサ情報４２、図３Ｂは第１デバイス情報４４、図３Ｃは第２デバイス情報４６をそれぞれ示している。なお、環境情報ＤＢ４０には、家１００毎の間取りを示す地図データも併せて格納されている。

【0030】

図３Ａに示すように、センサ情報４２は、状態センサ１８の識別情報である「センサＩＤ」と、種別を示す「センサ種別」と、所在を示す「位置情報」と、検出可能範囲を示す「範囲情報」との間の対応関係を示すテーブルデータである。この位置情報は、例えば、階、部屋、区画、絶対座標（例えば、緯度・経度）又は基準点からの相対座標であってもよい。また、範囲情報は、検出範囲を画定可能な様々な情報であり、例えば、特徴点の座標・境界線の長さ・半径・角度範囲を含む幾何学情報であってもよいし、区画の名称（例えば、キッチン・洗面所）であってもよい。

【0031】

図３Ｂに示すように、第１デバイス情報４４は、家庭用デバイス２０，２２の識別情報である「第１デバイスＩＤ」と、種別を示す「デバイス種別」と、所在を示す「位置情報」と、アクセス可能範囲を示す「範囲情報」との間の対応関係を示すテーブルデータである。ここで、「アクセス可能範囲」とは、家１００の中の人Ｈｍがその場で、家庭用デバイス２０，２２を視認し得る範囲、あるいは家庭用デバイス２０，２２に接触し得る範囲を意味する。

【0032】

図３Ｃに示すように、第２デバイス情報４６は、報知デバイス５８の識別情報である「第２デバイスＩＤ」と、種別を示す「デバイス種別」と、所有者の識別情報である「ユーザＩＤ」と、報知デバイス５８と紐付けされた家庭用デバイス２０，２２の「第１デバイスＩＤ」との間の対応関係を示すテーブルデータである。例えば、報知デバイス５８が家庭用デバイス２２（インジケータ５６あり）である場合、この家庭用デバイス２２が報知デバイス５８として指定されてもよい。一方、報知デバイス５８が家庭用デバイス２０（インジケータ５６なし）である場合、端末装置２４が報知デバイス５８として指定されてもよい。

【0033】

［第１動作］
この実施形態におけるホームＵＩシステム１０は、以上のように構成される。続いて、ホームＵＩシステム１０の動作について、第１、第２、第３及び第４動作に分けてそれぞれ説明する。

【0034】

家庭用デバイス２０，２２に筆跡センサ５２を組み込む際、製品の見映えを向上させるため、筆跡センサ５２の形状が目立たないように家庭用デバイス２０，２２のデザインが設計される可能性がある。そうすると、家１００との調和性が高い家庭用デバイス２０，２２を配置する場合、ユーザは、カモフラージュ効果（あるいは、ステルス効果）によって、周囲の環境に溶け込んだ筆跡センサ５２の存在又は検出可能領域の位置を把握できなくなることがある。あるいは、家１００の中が暗い場合や、家庭用デバイス２０，２２の配置がずれて検出面が隠されている場合にも、同様の現象が起こり得る。

【0035】

そこで、ホームＵＩシステム１０は、家庭用デバイス２０，２２の所在又は筆跡センサ５２の検出可能範囲を、適所にいるユーザに適時に報知するための「第１動作」を行う。以下、この第１動作について、図４のフローチャート、図５～図６Ｃを参照しながら説明する。

【0036】

＜第１動作の流れ＞
図４のステップＳ１１において、デジタルインクサーバ１２のデータ取得部３２は、１つ又は複数の状態センサ１８から、家１００の中の状態又は状態の変化を示すデータ（以下、「状態データ」ともいう）を取得する。

【0037】

ステップＳ１２において、データ解析部３４は、ステップＳ１１で取得された状態データを用いて、後述する報知の要否に関する１次判定を行う。具体的には、データ解析部３４は、センサフュージョンを含む様々な解析手法を用いて状態データを多角的又は時系列的に解析し、人Ｈｍによる所定の動きを検知したか否かを確認する。ここで、「所定の動き」とは、家庭用デバイス２０，２２に対する筆記操作の予兆を示す動きを意味する。具体的には、［１］冷蔵庫の前に近づいて停止する動き、［２］体重計に乗る動き、などが挙げられる。前者は、人Ｈｍが、冷蔵庫の扉を開け、内容物を確認し、冷蔵庫の扉を閉じ、買い足しが必要な食材をメモする、という一連の行動の「予兆」に相当する。後者は、人が、体重計の上に乗り、今回の測定結果を確認し、体重計から降り、計測結果をメモする、という一連の行動の「予兆」に相当する。

【0038】

ステップＳ１３において、データ解析部３４は、ステップＳ１２での判定結果が１次の判定条件を満たすか否かを確認する。判定条件を満たさない場合（ステップＳ１３：ＮＯ）、ステップＳ１１に戻って、以下、この条件を満たすまでステップＳ１１～Ｓ１３を順次繰り返す。一方、判定条件を満たす場合（ステップＳ１３：ＹＥＳ）、次のステップＳ１４に進む。

【0039】

ステップＳ１４において、データ解析部３４は、ステップＳ１１で取得された状態データ、又は追加的に取得された状態データから、後述する２次判定に用いられる複数の特徴量を算出する。例えば、状態センサ１８がカメラである場合、筆記者の顔の特徴・身長・体形・服装を含む「身体特徴量」や、筆記者の利き手・筆記の癖を含む「動き特徴量」が抽出される。また、状態センサ１８が身体測定器である場合、筆記者の体重、体脂肪率・体組成を含む身体特徴量が抽出される。また、状態センサ１８がマイクロフォンである場合、筆記者の声紋・声量を含む身体特徴量や、喜怒哀楽の状態を示す「感情特徴量」が抽出される。

【0040】

ステップＳ１５において、データ解析部３４は、ステップＳ１４で算出された特徴量を用いて、後述する報知の要否に関する２次判定を行う。例えば、データ解析部３４は、複数の個別条件をすべて満たすか否かによって、あるいは、複数の個別条件の成否を得点化して報知の要否を判定することができる。あるいは、データ解析部３４は、機械学習がなされた判定器７０を用いることで、より高精度な判定を行ってもよい。

【0041】

図５は、図１のデータ解析部３４に含まれる判定器７０の構成を示す図である。この判定器７０は、例えば、入力層７２、中間層７４及び出力層７６からなる階層型ニューラルネットワークで構成される。判定器７０の演算規則は、学習パラメータの集合体である学習パラメータ群の値によって定められる。学習パラメータ群は、例えば、ニューロンに相当するユニットの活性化関数を記述する係数、シナプス結合の強さに相当する重み付け係数、各層を構成するユニットの個数、中間層７４の数を含んでもよい。学習パラメータ群は、学習の終了によって各値が確定された状態で記憶部３０（図１）に格納され、必要に応じて適時に読み出される。

【0042】

入力層７２は、人Ｈｍの状態又は状態の変化に関する特徴量を入力する層であり、複数のユニットから構成される。この特徴量は、筆記時点に関する「時間特徴量」、筆記場所に関する「場所特徴量」、家１００の内部環境に関する「環境特徴量」、筆記者の動きに関する「動き特徴量」、人の感情に関する「感情特徴量」又はその他の特徴量のうち少なくとも１種類の成分を含む入力ベクトルである。出力層７６は、判定値を出力する層であり、本図の例では１個のユニットから構成される。この判定値は、例えば［０，１］の範囲で正規化された指標であり、値が大きいほど報知の必要性が高く、値が小さいほど報知の必要性が低い旨の判定結果を示している。

【0043】

なお、上記した例では、ニューラルネットワークを用いて判定器７０を構築したが、機械学習の手法はこれに限られない。例えば、ロジスティック回帰モデル、サポートベクターマシン（ＳＶＭ）、ディシジョンツリー、ランダムフォレスト、ブースティング法を含む様々な手法を採用してもよい。

【0044】

ステップＳ１６において、データ解析部３４は、ステップＳ１５での判定結果が２次の判定条件を満たすか否かを確認する。ここでは、データ解析部３４は、判定器７０から出力された判定値が閾値（例えば、０．７）よりも大きい場合に判定条件を満たす一方、この判定値が閾値以下である場合に判定条件を満たさないと判定する。判定条件を満たさない場合（ステップＳ１６：ＮＯ）、ステップＳ１１に戻って、以下、この条件を満たすまでステップＳ１１～Ｓ１６を順次繰り返す。一方、判定条件を満たす場合（ステップＳ１６：ＹＥＳ）、次のステップＳ１７に進む。

【0045】

ステップＳ１７において、デバイス制御部３６は、家１００の中で利用可能な１つ以上の報知デバイス５８のうち、人Ｈｍの状態に適した報知デバイス５８を少なくとも１つ選定する。具体的には、デバイス制御部３６は、センサ情報４２及び第１デバイス情報４４を照合することで、検出可能範囲とアクセス可能範囲が部分的に重複する家庭用デバイス２０，２２のＩＤ（つまり、第１デバイスＩＤ）を抽出する。さらに、デバイス制御部３６は、第２デバイス情報４６を参照し、第１デバイスＩＤに対応する１つ又は複数の報知デバイス５８のＩＤ（つまり、第２デバイスＩＤ）を抽出する。

【0046】

ステップＳ１８において、デバイス制御部３６は、ステップＳ１７で選定された報知デバイス５８に対して、家庭用デバイス２０，２２に関する報知を指示する。具体的には、デバイス制御部３６は、報知を指示するための指令信号を、送信先である報知デバイス５８に向けて送出する。そうすると、報知デバイス５８は、ネットワークＮＷ及びＩｏＴハブ１６を経由して、デジタルインクサーバ１２からの指令信号を受け付ける。

【0047】

ステップＳ１９において、報知デバイス５８は、自装置が有する出力機能に応じた出力態様で、家庭用デバイス２０，２２の存在又は筆跡センサ５２の検出可能範囲を、近くにいる人Ｈｍに向けて報知する。

【0048】

図６Ａ～図６Ｃは、家庭用デバイス２２による報知の一例を示す図である。いずれも、図２に示す洗面所１０４の部分側面図であって、人Ｈｍが床１０６の上にある体重計（状態センサ１８）に乗る前後の状態を示している。

【0049】

図６Ａに示すように、人Ｈｍが体重計に載る前では、壁（家庭用デバイス２２）に埋設されたディスプレイ（インジケータ５６）は消灯している。この場合、１次の判定条件（図４のステップＳ１３）を満たさないので、ステップＳ１１～Ｓ１３が繰り返し実行される。

【0050】

そして、図６Ｂに示すように、人Ｈｍが体重計に乗ることで、１次，２次の判定条件（図４のステップＳ１３，Ｓ１６）を両方とも満たすようになり、壁のディスプレイが画面全体で発光を開始する。人Ｈｍは、この発光を視認することで筆跡センサ５２の検出可能範囲を把握することができる。

【0051】

そして、図６Ｃに示すように、ディスプレイの発光を開始してから所定の時間が経過した後、壁のディスプレイは、人Ｈｍが体重計に乗っているにもかかわらず消灯する。これにより、発光をそのまま継続する場合と比べて消費電力が削減される。

【0052】

その後、図４のステップＳ１１に戻り、このフローチャートを繰り返して実行することで、ホームＵＩシステム１０の第１動作が逐次行われる。

【0053】

なお、デジタルインクサーバ１２は、この第１動作と並行して、第２判定を行う判定器７０（図５）に対して強化学習を行ってもよい。この場合の学習スキームの一例として、［１］行動選択を「報知の有無」とし、報酬を「筆跡の入力があったこと」とする学習、［２］行動選択を「複数の報知態様」とし、報酬を「人Ｈｍによる反応があったこと」とする学習、［３］行動選択を「複数の報知内容」とし、報酬を「人Ｈｍによる反応があったこと」とする学習、［４］行動選択を「複数の家庭用デバイス２２」とし、報酬を「選択があったこと」とする学習、などが挙げられる。

【0054】

同様に、デジタルインクサーバ１２は、第１判定に対しても同様の学習（つまり、条件のクレンジング処理）を行ってもよい。例えば、複数の個別条件をすべて満たすか否かで第１判定を行う場合、全体の正答率が高くなるように個別条件の修正・削除・追加を行ってもよい。あるいは、複数の個別条件の成否を得点化して第１判定を行う場合、全体の正答率が高くなるように個別条件の重み付け係数を調整してもよい。

【0055】

＜第１動作のまとめ＞
以上のように、デジタルインクを管理するホームＵＩシステム１０は、家１００の中の状態又は状態の変化を検出可能な複数の状態センサ１８と、家１００に設けられ又は家１００の一部を構成するデバイスであって、人Ｈｍによる筆跡を検出可能な筆跡センサ５２をそれぞれ含む複数の家庭用デバイス２０，２２と、家庭用デバイス２０，２２の存在又は筆跡センサ５２の検出可能領域を人Ｈｍに向けて報知する１つ以上の報知デバイス５８（報知手段）と、１つ以上の状態センサ１８による検出結果から報知が必要であると判定された場合、少なくとも１つの報知デバイス５８に対して報知を指示するデバイス制御部３６（制御手段）と、を備える。

【0056】

このホームＵＩシステム１０を用いた報知方法及び報知プログラムでは、コンピュータとしてのデジタルインクサーバ１２が、１つ以上の状態センサ１８による検出結果から報知が必要であると判定された場合、少なくとも１つの報知デバイス５８に対して報知を指示する指示ステップ（図４のＳ１８）を実行する。このように構成するので、家庭用デバイス２０，２２の使用可能性が高い人Ｈｍの状態又は状態の変化を捉えた適時の報知が可能となり、デジタルインクの入力時における家庭用デバイス２０，２２の混在に伴う不都合（ここでは、使用機会の逸失）を抑制することができる。

【0057】

また、データ解析部３４（判定手段）は、状態センサ１８による検出結果を示す少なくとも１つの特徴量を入力側とし、報知の要否を示す判定値を出力側とする判定器７０を用いて報知の要否を判定し、デバイス制御部３６は、判定器７０を用いた判定結果に従って報知を指示してもよい。この判定器７０は、演算規則を定めるための学習パラメータ群を強化学習により更新可能に構成されてもよい。

【0058】

［第２動作］
例えば、家１００の中で、複数の構成員が１本の電子ペン５４を共用する状況が想定される。この場合、電子ペン５４の識別情報（以下、ペンＩＤ）を用いて、実際の筆記者を特定することができない。そこで、このホームＵＩシステム１０は、別の入力操作を伴わずに筆記者を推定するための「第２動作」を行う。以下、この第２動作について、図７のフローチャート及び図８を参照しながら説明する。

【0059】

＜第２動作の流れ＞
図７のステップＳ２１において、デジタルインクサーバ１２のデータ取得部３２は、家１００の中にある複数の家庭用デバイス２０，２２のうちいずれか１つから、人Ｈｍによる筆跡を示すデータ（以下、「筆跡データ」ともいう）を取得したか否かを確認する。まだ取得していない場合（ステップＳ２１：ＮＯ）、以下、筆跡データを取得するまでステップＳ２１に留まる。一方、筆跡データを取得した場合（ステップＳ２１：ＹＥＳ）、次のステップＳ２２に進む。

【0060】

ステップＳ２２において、データ取得部３２は、ステップＳ２１で取得された筆跡データの取得元である家庭用デバイス２０，２２に対応する状態データを取得する。具体的には、データ取得部３２は、図３Ａのセンサ情報４２及び図３Ｂの第１デバイス情報４４を照合し、検出可能範囲とアクセス可能範囲が部分的に重複する１つ以上の状態センサ１８から状態データを取得する。

【0061】

ステップＳ２３において、データ解析部３４は、ステップＳ２２で取得された状態データから特徴量を算出する。この算出は、図４のステップＳ１４の場合と同様の動作であるため、具体的な説明を省略する。

【0062】

ステップＳ２４において、データ解析部３４は、ステップＳ２３で算出された特徴量を用いて、筆跡の入力を行った筆記者を推定する。例えば、家１００の構成員毎に特徴量の基準値が記憶されている場合、データ解析部３４は、構成員毎に特徴量の類似度を定量的に評価し、評価値が最大となる構成員が筆記者であると推定する。あるいは、データ解析部３４は、機械学習がなされた識別器８０を用いることで、より高精度な推定を行ってもよい。

【0063】

図８は、図１のデータ解析部３４に含まれる識別器８０の構成を示す図である。この識別器８０は、例えば、入力層８２、中間層８４及び出力層８６からなる階層型ニューラルネットワークで構成される。学習パラメータ群の定義は、図５の判定器７０と同一であってもよいし、異なってもよい。本図の例では、ニューラルネットワークを用いて識別器８０が構築されているが、機械学習の手法はこれに限られない。

【0064】

入力層８２は、筆記が行われた状態に関する特徴量を入力する層であり、複数のユニットから構成される。この特徴量は、筆跡の形態に関する「筆跡特徴量」、筆記時点に関する「時間特徴量」、筆記場所に関する「場所特徴量」、筆記者の身体に関する「身体特徴量」、筆記者の動きに関する「動き特徴量」、又はその他の特徴量のうち少なくとも１種類の成分を含む入力ベクトルである。

【0065】

出力層８８は、家１００の構成員のラベル群を出力する層であり、本図の例では５個のユニットから構成される。このラベル群は、家族メンバ１～５の確からしさを示すラベル値を５つの成分とする出力ベクトルである。例えば、［０，１］の範囲に正規化されたラベル値に関して、出力されたラベル群のうち「家族メンバ１」のラベル値が最大である場合、筆記者は「家族メンバ１」であると推定される。

【0066】

ステップＳ２５において、デジタルインクサーバ１２は、ステップＳ２１で取得された筆跡データを、ステップＳ２３で推定された筆記者の識別情報（つまり、ユーザＩＤ）と併せてストレージ装置１４に供給する。これにより、筆跡データは、適切なユーザＩＤと対応付けられた状態で筆跡情報ＤＢ３８に蓄積される。

【0067】

その後、図７のステップＳ２１に戻り、このフローチャートを繰り返して実行することで、ホームＵＩシステム１０の第２動作が逐次行われる。

【0068】

＜第２動作による効果＞
以上のように、デジタルインクを管理するホームＵＩシステム１０は、家１００の中の状態又は状態の変化を検出可能な複数の状態センサ１８と、家１００に設けられ又は家１００の一部を構成するデバイスであって、人Ｈｍによる筆跡を検出可能な筆跡センサ５２を含む家庭用デバイス２０，２２と、家庭用デバイス２０，２２により筆跡の入力が検出された場合、１つ以上の状態センサ１８による検出結果を用いて筆跡の入力を行った筆記者を推定するデータ解析部３４（推定手段）と、を備える。

【0069】

また、このホームＵＩシステム１０を用いた推定方法及び推定プログラムでは、コンピュータとしてのデジタルインクサーバ１２が、家庭用デバイス２０，２２により筆跡の入力が検出された場合、１つ以上の状態センサ１８による検出結果を用いて筆跡の入力を行った筆記者を推定する推定ステップ（図７のＳ２４）を実行する。このように構成したので、筆記者の状態又状態の変化を捉えた高精度の推定が可能となり、デジタルインクの入力時における筆記者の混在に伴う不都合（ここでは、データの対応付けミス）を抑制することができる。

【0070】

［第３動作］
例えば、同一の人Ｈｍが、家１００での暮らしの中でふと閃いたアイディアを、最寄りの家庭用デバイス２０，２２に書き留めていくユースケースが想定される。ところが、断片的に蓄積された情報をそのまま放置しておくと、新たな創造活動に結び付かない可能性がある。そこで、ホームＵＩシステム１０は、人Ｈｍが過去に書き留めた筆記情報をより効果的に提示するための「第３動作」を行う。以下、この第３動作について、図９のフローチャート、図１０Ａ及び図１０Ｂを参照しながら説明する。

【0071】

＜第３動作の流れ＞
図９のステップＳ３１において、デジタルインクサーバ１２の制御部２８は、端末装置２４からの所定の操作を受け付けたか否かを確認する。ここで、「所定の操作」とは、例えば、デジタルインクの閲覧アプリを起動し、閲覧画面上のボタンをタップする操作が挙げられる。所定の操作を受け付けていない場合（ステップＳ３１：ＮＯ）、当該操作を受け付けるまでステップＳ３１に留まる。一方、所定の操作を受け付けた場合（ステップＳ３１：ＹＥＳ）、次のステップＳ３２に進む。

【0072】

ステップＳ３２において、データ取得部３２は、筆跡情報ＤＢ３８から所望の筆跡データを読み出す。この読み出しに先立ち、データ取得部３２は、第２デバイス情報４６を参照することで端末装置２４の第２デバイスＩＤを特定し、第２デバイスＩＤに対応付けられた１つ以上の第１デバイスＩＤを取得する。その後、データ取得部３２は、端末装置２４の所有者のユーザＩＤ及び第１デバイスＩＤに対応付けられた筆跡データの少なくとも一部を筆跡情報ＤＢ３８から読み出す。ここで、筆跡データを部分的に読み出す場合、データ取得部３２は、筆跡データの作成時間・作成場所などに関する検索条件を付与してもよいし、所定の割合で無作為に抽出してもよい。

【0073】

ステップＳ３３において、デバイス制御部３６は、ステップＳ３２で読み出された筆跡データから、表示対象である過去の筆記情報を決定する。ここで、「筆記情報」とは、筆跡が示す手書き情報、又は、電子書籍を含む電子コンテンツの中で筆跡により指定されるコンテンツ情報である。例えば、前者の筆跡は手書きメモ又は注釈コメントに対応し、後者の筆跡はアンダーライン・囲み線を含むアノテーションに対応する。

【0074】

ステップＳ３４において、デバイス制御部３６は、ステップＳ３１で操作を受け付けた端末装置２４に対して、ステップＳ３３で決定された筆記情報の表示を指示する。具体的には、デバイス制御部３６は、筆記情報を表示するための表示用データを、送信先である端末装置２４に向けて送出する。そうすると、端末装置２４は、ネットワークＮＷ及びＩｏＴハブ１６を経由して、デジタルインクサーバ１２からの表示用データを受信する。

【0075】

ステップＳ３５において、端末装置２４は、ステップＳ３４での指示とともに供給された表示用データを用いて、筆記情報を表示画面上に表示する。端末装置２４は、複数の筆記情報を時系列の順序で切り替えて表示してもよいし、複数の筆記情報を無作為の順序で切り替えて表示してもよい。この表示に際して、様々な表示形態（例えば、文字の大きさ・色・位置・向き・タイムスタンプの表示有無など）が用いられてもよいし、様々な制御方法（例えば、表示時間・切り替え周期・視覚効果など）が用いられてもよい。

【0076】

図１０Ａ及び図１０Ｂは、端末装置２４による表示の一例を示す図である。端末装置２４は、筆記時点Ｔ１における（Ａ）手書き情報１１１と、筆記時点Ｔ２における（Ｂ）コンテンツ情報１１２を含む複数の筆記情報を切り替えて表示する場合を想定する。なお、筆記時点Ｔ１は、筆記時点Ｔ２よりもかなり前の時点（例えば、数年前）に相当する。

【0077】

図１０Ａの手書き情報１１０は、タッチセンサの適用可能性に関するメモを示している。つまり、筆記時点Ｔ１では、酸化インジウムスズ（ＩＴＯ）からなるタッチセンサは、壁に適用され得る一方、「窓」への適用は技術上困難であり、「床」への適用は意義がないと判断されている。図１０Ｂのコンテンツ情報１１２は、タッチセンサに関する技術動向を示している。つまり、筆記時点Ｔ２では既に、金属メッシュパターンを用いたタッチセンサの実現性が高いことが示唆されている。

【0078】

人Ｈｍは、この表示を視認することで、タッチセンサを窓に組み込むことが技術的に実現可能となり、その結果、「家そのもの」をデジタルインクの入出力デバイスとみなす「ホームＵＩシステム」という新たなビジネスモデルの創出に繋がっていく。

【0079】

その後、図９のステップＳ３１に戻り、このフローチャートを繰り返して実行することで、ホームＵＩシステム１０の第３動作が逐次行われる。

【0080】

＜第３動作による効果＞
以上のように、デジタルインクを管理するホームＵＩシステム１０は、家１００に設けられ又は家１００の一部を構成するデバイスであって、人Ｈｍによる筆跡を入力可能な筆跡センサ５２をそれぞれ含む複数の家庭用デバイス２０，２２と、筆跡の形態を示す筆跡データを家庭用デバイス２０，２２と対応付けて記憶するストレージ装置１４（記憶装置）と、画像又は映像を表示可能に構成され、かつ１つ以上の家庭用デバイス２０，２２に対応付けられた端末装置２４と、端末装置２４を介して所定の操作を受け付けた場合、ストレージ装置１４から端末装置２４に対応する家庭用デバイス２０，２２の筆跡データを取得し、取得済みの筆跡データが示す手書き情報又は当該筆跡データが指定するコンテンツ情報の表示を、端末装置２４に対して指示するデバイス制御部３６（制御手段）と、を備える。

【0081】

このホームＵＩシステム１０を用いた表示方法及び表示プログラムでは、コンピュータとしてのデジタルインクサーバ１２が、端末装置２４を介して所定の操作を受け付けた場合、ストレージ装置１４から端末装置２４に対応する家庭用デバイス２０，２２の筆跡データを取得し、取得済みの筆跡データが示す手書き情報又は当該筆跡データが指定するコンテンツ情報の表示を、端末装置２４に対して指示する指示ステップ（図９のＳ３４）を実行する。このように構成したので、家庭用デバイス２０，２２から入力された過去の筆記情報を画像又は映像として特定の端末装置２４に一元的に表示可能となり、デジタルインクが示す筆跡情報を効果的に出力することができる。

【0082】

特に、端末装置２４が複数の手書き情報又は複数のコンテンツ情報を無作為に切り替えて表示する場合、人Ｈｍが思いもよらない断片的な情報の組み合わせを逐次的に提示可能となり、人Ｈｍの脳内において様々な切り口での情報の有機的結合が起こりやすくなり、人Ｈｍのさらなる創造活動に繋がる。

【0083】

［第４動作］
人Ｈｍは、過去の記憶を振り返ることで、心理的な快適さや脳の活性化、あるいは家庭への帰属感などの心身的効果を得ることができる。そこで、ホームＵＩシステム１０は、過去の筆記内容を想起させるための「第４動作」を行う。以下、この第４動作について、図１１のフローチャート，図１２Ａ～図１３Ｃを参照しながら説明する。

【0084】

＜第４動作の流れ＞
図１１のステップＳ４１において、デジタルインクサーバ１２のデータ取得部３２は、１つ又は複数の状態センサ１８から状態データを取得する。この取得は、図４のステップＳ１１の場合と同様の動作であるため、具体的な説明を省略する。

【0085】

ステップＳ４２において、データ解析部３４は、ステップＳ４１で取得された状態データを用いて、報知の要否に関する１次判定を行う。具体的には、データ解析部３４は、センサフュージョンを含む様々な解析手法を用いて状態データを多角的又は時系列的に解析し、人Ｈｍによる所定の状態を検知したか否かを確認する。ここで、「所定の状態」とは、例えば、家庭用デバイス２０，２２の近くでくつろいでいる状態を意味する。具体的には、［１］椅子やソファに座っている状態、［２］立ち止まっている状態、［３］特定の家庭用デバイス２０，２２を眺めている状態、などが挙げられる。

【0086】

ステップＳ４３において、データ解析部３４は、ステップＳ４２での判定結果が１次の判定条件を満たすか否かを確認する。判定条件を満たさない場合（ステップＳ４３：ＮＯ）、ステップＳ４１に戻って、以下、この条件を満たすまでステップＳ４１～Ｓ４３を順次繰り返す。一方、判定条件を満たす場合（ステップＳ４３：ＹＥＳ）、次のステップＳ４４に進む。

【0087】

ステップＳ４４において、データ解析部３４は、ステップＳ４１で取得された状態データ、又は追加的に取得された状態データから、２次判定に用いられる複数の特徴量を算出する。データ解析部３４は、図４のステップＳ１４の場合と同じ特徴量を算出してもよいし、異なる特徴量を算出してもよい。

【0088】

ステップＳ４５において、データ解析部３４は、ステップＳ４４で算出された特徴量を用いて、後述する表示の要否に関する２次判定を行う。例えば、データ解析部３４は、複数の個別条件をすべて満たすか否かによって、あるいは、複数の個別条件の成否を得点化して表示の要否を判定することができる。あるいは、データ解析部３４は、機械学習がなされた判定器９０を用いることで、より高精度な判定を行ってもよい。この判定器９０は、図５に示す判定器７０の場合と同様の構成をとり得る。

【0089】

ステップＳ４６において、データ解析部３４は、ステップＳ４５での判定結果が２次の判定条件を満たすか否かを確認する。ここでは、データ解析部３４は、判定器９０から出力された判定値が閾値よりも大きい場合に判定条件を満たす一方、この判定値が閾値以下である場合に判定条件を満たさないと判定する。判定条件を満たさない場合（ステップＳ４６：ＮＯ）、ステップＳ４１に戻って、以下、この条件を満たすまでステップＳ４１～Ｓ４６を順次繰り返す。一方、判定条件を満たす場合（ステップＳ４６：ＹＥＳ）、次のステップＳ４７に進む。

【0090】

ステップＳ４７において、データ解析部３４は、ステップＳ４２での解析結果に基づいて、人Ｈｍの近くにあってタッチパネルディスプレイを有する家庭用デバイス２２を１つ選定する。あるいは、データ解析部３４は、ステップＳ１７（図４）の場合と同様に、センサ情報４２及び第１デバイス情報４４の照合を通じて、家庭用デバイス２２を選定してもよい。

【0091】

ステップＳ４８において、データ取得部３２は、ステップＳ４７で選定された家庭用デバイス２２の筆跡データを筆跡情報ＤＢ３８から読み出す。この筆跡データには、筆跡が示す手書き情報が含まれる。なお、筆跡データを部分的に読み出す場合、データ取得部３２は、筆跡データの作成時間・作成場所などに関する検索条件を付与してもよいし、所定の割合で無作為に抽出してもよい。

【0092】

ステップＳ４９において、デバイス制御部３６は、ステップＳ４４で選定された家庭用デバイス２２に向けて、ステップＳ４５で読み出された筆跡データを含む表示用データを送出する。そうすると、家庭用デバイス２２は、ネットワークＮＷ及びＩｏＴハブ１６を経由して、デジタルインクサーバ１２からの表示用データを受信する。

【0093】

ステップＳ５０において、家庭用デバイス２２は、ステップＳ４６で供給された表示用データを用いて、手書き情報を表示画面上に表示する。家庭用デバイス２２は、ステップＳ３５（図８）の場合と同様に、複数の手書き情報を時系列の順序で切り替えて表示してもよいし、複数の手書き情報を無作為の順序で切り替えて表示してもよい。この表示に際して、様々な表示形態（例えば、文字の大きさ・色・位置・向き・タイムスタンプの表示有無・筆記者の表示有無など）が用いられてもよいし、様々な制御方法（例えば、表示時間・切り替え周期・視覚効果など）が用いられてもよい。

【0094】

図１２Ａ～図１２Ｃは、家庭用デバイス２２による表示の第１例を示す図である。ここで、家庭用デバイス２２は、電子書籍を閲覧可能なタブレットであり、無作為に抽出されたコンテンツ情報１２１，１２２，１２３を含む複数の筆記情報を切り替えて表示する。図１２Ａのコンテンツ情報１２１は童謡の一部に書き込まれた注釈、図１２Ｂのコンテンツ情報１２２は童話の一部に書き込まれた注釈、図１２Ｃは数学の図形に書き込まれた注釈をそれぞれ示している。

【0095】

図１３Ａ～図１３Ｃは、家庭用デバイス２２による表示の第２例を示す図である。ここで、家庭用デバイス２２は、タッチパネルディスプレイを備えるテーブルであり、無作為に抽出された手書き情報１２４，１２５，１２６を含む複数の筆記情報を切り替えて表示する。図１３Ａの手書き情報１２４は「母」が書いた買い物メモ、図１３Ｂの手書き情報１２５は「父」が書いたイラスト、図１３Ｃは「子供」が書いたメッセージをそれぞれ示している。

【0096】

家庭用デバイス２２は、まるで振り子時計が時を刻むかのように、一定の周期でゆっくりと切り替え表示を行う。人Ｈｍは、特別な意味が無いとも思えるこの表示を視認することで、家庭用デバイス２２に対する愛着が湧き、家１００の記憶を蘇らせる。つまり、人Ｈｍは、家１００の中にいるという帰属感を得る。

【0097】

その後、図１１のステップＳ４１に戻り、このフローチャートを繰り返して実行することで、ホームＵＩシステム１０の第４動作が逐次行われる。

【0098】

なお、デジタルインクサーバ１２は、この第４動作と並行して、第２判定を行う判定器９０（図５）に対して強化学習を行ってもよい。この強化学習は、例えば、行動選択を「表示の有無」とし、報酬を「人Ｈｍによる反応があったこと」とする学習スキームに基づいて行われてもよい。また、デジタルインクサーバ１２は、第１判定に対しても同様の学習（つまり、条件のクレンジング処理）を行ってもよい。

【0099】

＜第４動作による効果＞
以上のように、デジタルインクを管理するホームＵＩシステム１０は、家１００の中の状態又は状態の変化を検出可能な１つ又は複数の状態センサ１８と、家１００の中に設けられ又は家１００の一部を構成するデバイスであって、人Ｈｍによる筆跡を入出力可能なタッチパネルディスプレイを含む家庭用デバイス２２と、筆跡の形態を示す筆跡データを家庭用デバイス２２と対応付けて記憶するストレージ装置１４（記憶装置）と、１つ以上の状態センサ１８による検出結果から表示が必要であると判定された場合、ストレージ装置１４から人Ｈｍに近い位置にある家庭用デバイス２２に対応する筆跡データを取得し、取得済みの筆跡データが示す手書き情報の表示を、家庭用デバイス２２に対して指示するデバイス制御部３６（制御手段）と、を備える。

【0100】

また、このホームＵＩシステム１０を用いた表示方法及び表示プログラムでは、コンピュータとしてのデジタルインクサーバ１２が、１つ以上の状態センサ１８による検出結果から表示が必要であると判定された場合、ストレージ装置１４から人Ｈｍに近い位置にある家庭用デバイス２２に対応する筆跡データを取得し、取得済みの筆跡データが示す手書き情報の表示を、家庭用デバイス２２に対して指示する指示ステップ（図１１のＳ４９）を実行する。このように構成したので、家庭用デバイス２２に対して高い関心を示す人Ｈｍの状態又は状態の変化を捉えた適時の表示が可能となり、家庭用デバイス２２から入力された過去の筆記情報を画像又は映像として効果的に出力することができる。

【0101】

特に、家庭用デバイス２２が複数の手書き情報を無作為に切り替えて表示する場合、人Ｈｍが過去の記憶を逐次振り返ることが可能となり、心理的な快適さや脳の活性化などの心身的効果を得ることができる。また、特別な意味が無いとも思われる態様で表示することで、この人Ｈｍに対して、家１００の中にいるという帰属感を与えたり、家１００の記憶を蘇らせたりすることができる。

【0102】

また、データ解析部３４（判定手段）は、状態センサ１８による検出結果を示す少なくとも１つの特徴量を入力側とし、表示の要否を示す判定値を出力側とする判定器９０を用いて表示の要否を判定し、デバイス制御部３６は、判定器９０を用いた判定結果に従って表示を指示してもよい。この判定器９０は、演算規則を定めるための学習パラメータ群を強化学習により更新可能に構成されてもよい。

【0103】

［変形例］
なお、本発明は上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。

【0104】

第１動作のステップＳ１５（図４）又は第４動作のステップＳ４５（図１１）に関して、データ解析部３４は、家庭用デバイス２０，２２と家１００の間の調和度を示す特徴量を用いて報知の要否を判定してもよい。この特徴量は、カメラによる撮像画像を用いて算出されてもよいし、第１デバイス情報４４に予め格納されていてもよい。

【0105】

第１動作のステップＳ１２，Ｓ１５（図４）又は第４動作のステップＳ４２，Ｓ４５（図１１）に関して、報知又は表示の要否に関する２段階判定を行う場合、第１判定の機能を下流側の装置（例えば、図１のＩｏＴハブ１６）に担わせてもよい。これにより、エッジコンピューティングによる分散処理が可能となり、デジタルインクサーバ１２の負荷が軽減される。

【0106】

また、データ解析部３４は、相対的に少数の状態センサ１８を用いて１次判定を行うとともに、相対的に多数の状態センサ１８を用いて２次判定を行ってもよい。これにより、状態センサ１８との間の通信負荷を軽減することができる。同様に、データ解析部３４は、１回あたりの演算量が相対的に少ない判定処理を用いて１次判定を行うとともに、１回あたりの演算量が相対的に多い判定処理を用いて２次判定を行ってもよい。これにより、デジタルインクサーバ１２の演算負荷を軽減することができる。

【0107】

第１動作のステップＳ１９（図４）に関して、報知デバイス５８は、時間差を設けた複数回の報知を行ってもよい。例えば、報知デバイス５８は、指向性が相対的に低い出力態様（例えば、音）で第１の報知を行った後に、指向性が相対的に高い出力態様（例えば、光）で第２の報知を行ってもよい。

【0108】

第４動作のステップＳ４８（図１１）に関して、データ取得部３２は、予め設定された開示制限に従って、筆跡情報ＤＢ３８から読み出す筆跡データを制限してもよい。これにより、家庭内であっても誰にも見せたくないプライベート情報を保護可能となり、ホームＵＩシステム１０をより活用しやすくなる。

【0109】

［符号の説明］
１０…ホームＵＩシステム、１２…デジタルインクサーバ、１４…ストレージ装置（記憶装置）、１６…ＩｏＴハブ、１８…状態センサ、２０，２２…家庭用デバイス、２４…端末装置、３２…データ取得部、３４…データ解析部、３６…デバイス制御部（制御手段）、３８…筆跡情報ＤＢ、４０…環境情報ＤＢ、５０…本体部、５２…筆跡センサ、５４…電子ペン、５６…インジケータ、５８…報知デバイス（報知手段）、７０，９０…判定器、８０…識別器、１００…家、１１１，１２４，１２５，１２６…手書き情報、１１２，１２１，１２２，１２３…コンテンツ情報、Ｈｍ…人

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12A】

【図12B】

【図12C】

【図13A】

【図13B】

【図13C】