特表-19111465IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

再表2019-111465情報処理装置、情報処理方法、および記録媒体
<>
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000003
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000004
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000005
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000006
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000007
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000008
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000009
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000010
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000011
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000012
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000013
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000014
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000015
  • 再表WO2019111465-情報処理装置、情報処理方法、および記録媒体 図000016
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年6月13日
【発行日】2020年12月24日
(54)【発明の名称】情報処理装置、情報処理方法、および記録媒体
(51)【国際特許分類】
   G06F 3/01 20060101AFI20201127BHJP
   G06F 3/0487 20130101ALI20201127BHJP
   G09G 5/00 20060101ALI20201127BHJP
   G09G 5/38 20060101ALI20201127BHJP
   G09G 5/36 20060101ALI20201127BHJP
   G06T 15/04 20110101ALI20201127BHJP
【FI】
   G06F3/01 510
   G06F3/01 570
   G06F3/0487
   G09G5/00 550C
   G09G5/38 Z
   G09G5/00 550B
   G09G5/00 510H
   G09G5/36 530Y
   G09G5/00 550X
   G09G5/36 520P
   G06T15/04
【審査請求】未請求
【予備審査請求】未請求
【全頁数】38
【出願番号】特願2019-558008(P2019-558008)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年9月4日
(31)【優先権主張番号】特願2017-232613(P2017-232613)
(32)【優先日】2017年12月4日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】日下部 佑理
(72)【発明者】
【氏名】池田 拓也
(72)【発明者】
【氏名】井田 健太郎
【テーマコード(参考)】
5B080
5C182
5E555
【Fターム(参考)】
5B080AA00
5B080CA00
5B080FA02
5B080FA05
5B080GA21
5C182AA02
5C182AA03
5C182AA04
5C182AA13
5C182AB01
5C182AB02
5C182AB08
5C182AB21
5C182AB31
5C182AB33
5C182AB37
5C182AC02
5C182AC03
5C182AC34
5C182AC39
5C182AC43
5C182BA01
5C182BA03
5C182BA05
5C182BA06
5C182BA14
5C182BA27
5C182BA29
5C182BA30
5C182BA35
5C182BA39
5C182BA55
5C182BA56
5C182BA65
5C182BA66
5C182BA72
5C182BA75
5C182BB01
5C182BB11
5C182BB22
5C182BC11
5C182BC22
5C182BC25
5C182BC26
5C182CA01
5C182CA11
5C182CA33
5C182CA34
5C182CA54
5C182CB13
5C182CB42
5C182CB47
5C182DA19
5C182DA53
5C182DA64
5C182DA65
5C182FA08
5C182FA31
5C182FA68
5C182FA69
5E555AA25
5E555AA26
5E555AA57
5E555AA64
5E555BA02
5E555BA04
5E555BA29
5E555BB02
5E555BB04
5E555BB29
5E555BB38
5E555BC04
5E555CA03
5E555CA42
5E555CA44
5E555CA45
5E555CA46
5E555CA47
5E555CB10
5E555CB64
5E555CB65
5E555CB66
5E555DA21
5E555DB53
5E555DC13
5E555DC35
5E555DC37
5E555DD08
5E555EA04
5E555EA08
5E555EA22
5E555EA23
5E555EA24
5E555FA00
(57)【要約】
【課題】実物体に関連する通知に関し、より直感的な提示を行うことが可能な情報処理装置、情報処理方法、および記録媒体を提供する。
【解決手段】通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断する処理と、前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力する処理と、を行う制御部を備える、情報処理装置。
【選択図】図1
【特許請求の範囲】
【請求項1】
通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断する処理と、
前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力する処理と、を行う制御部を備える、情報処理装置。
【請求項2】
前記制御部は、
前記実物体が存在する場合は、前記実物体に関連する位置に前記通知内容を出力し、
前記実物体が存在しない場合は、前記通知対象者と同一空間内に、前記実物体を示す情報と共に前記通知内容を出力する、請求項1に記載の情報処理装置。
【請求項3】
前記実物体に関連する位置は、前記実物体上又は前記実物体周辺の少なくともいずれかである、請求項2に記載の情報処理装置。
【請求項4】
前記通知条件は、通知時間、通知場所、または前記通知対象者を少なくとも含む、請求項2に記載の情報処理装置。
【請求項5】
前記通知時間は、所定の時刻、タイマー設定、または所定のタイミングである、請求項4に記載の情報処理装置。
【請求項6】
前記制御部は、
前記通知時間の条件を満たした場合、前記通知場所において、前記実物体に、前記通知内容を表示する制御を行う、請求項4に記載の情報処理装置。
【請求項7】
前記制御部は、
空間内から取得されたセンシングデータに基づいて、前記通知対象者を認識し、
前記通知時間になった際、前記実物体が存在する場合は、前記実物体に前記通知内容を出力し、前記実物体が存在しない場合は、前記実物体を示す情報と共に前記通知内容を前記通知対象者の付近に出力する、請求項4に記載の情報処理装置。
【請求項8】
前記通知内容には、属性情報が関連付けられ、
前記制御部は、
前記属性情報に応じて、前記通知内容の出力を制御する、請求項4に記載の情報処理装置。
【請求項9】
前記属性情報は、重要度を含み、
前記制御部は、
前記重要度に応じて、前記通知内容を出力する際の出力態様を変更する、請求項8に記載の情報処理装置。
【請求項10】
前記属性情報は、セキュリティ条件を含み、
前記制御部は、
前記通知条件および前記セキュリティ条件が満たされた場合に、前記通知内容を出力する制御を行う、請求項8に記載の情報処理装置。
【請求項11】
前記属性情報は、繰り返し設定を含み、
前記制御部は、
前記繰り返し設定に従って、前記通知内容の出力を繰り返し出力する処理を行う、請求項8に記載の情報処理装置。
【請求項12】
前記制御部は、
空間に設けられた環境センサにより取得したセンシングデータに基づいて、入力者による前記通知内容を入力する第1の入力操作を検出する、請求項4に記載の情報処理装置。
【請求項13】
前記制御部は、
前記第1の入力操作は、操作体を用いた入力操作であって、
前記制御部は、
前記センシングデータに基づいて、前記操作体による軌跡を検出し、
検出した前記軌跡を投影する制御を行う、請求項12に記載の情報処理装置。
【請求項14】
前記制御部は、
前記センシングデータに基づいて、前記入力者による前記通知内容を登録する第2の入力操作を検出し、
前記第2の入力操作が検出された際に、前記投影した前記軌跡を通知情報として記憶部に記憶する処理を行う、請求項13に記載の情報処理装置。
【請求項15】
前記制御部は、
前記第1の入力操作に基づいて、前記通知内容と関連する前記実物体を認識し、
前記認識した前記実物体を示す情報を、前記通知内容と関連付けて前記記憶部に記憶する、請求項14に記載の情報処理装置。
【請求項16】
前記制御部は、
前記記憶部に記憶された前記通知情報を、前記通知条件を満たしているか否かに関わらず空間内の所定領域に表示する制御を行う、請求項14に記載の情報処理装置。
【請求項17】
前記制御部は、
前記通知情報に付加されたパラメータに基づいて、前記所定領域における前記通知情報の表示態様を制御する、請求項16に記載の情報処理装置。
【請求項18】
前記制御部は、
前記通知情報を、前記通知時間、前記通知対象者、または前記通知場所に応じてグルーピングし、前記所定領域に表示する、請求項16に記載の情報処理装置。
【請求項19】
プロセッサが、
通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断することと、
前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力することと、
を含む、情報処理方法。
【請求項20】
コンピュータを、
通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断する処理と、
前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力する処理と、を行う制御部として機能させるためのプログラムが記録された、記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、および記録媒体に関する。
【背景技術】
【0002】
従来、タスク管理やメッセージングなどの情報管理の方法として、アナログでは付箋やホワイトボード、デジタルでは、昨今広く普及しているスマートフォンや、スマートグラスの端末装置が利用されている。
【0003】
また、近年、多様なユーザインタフェースや新たなユーザインタラクションを実現する技術が提案されている。
【0004】
例えば下記特許文献1では、部屋の天井に取り付けたプロジェクタと照明のスイッチとを連動させることで、ユーザが家に帰って電気をつけた瞬間に足元にメッセージを表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2014−21428号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1では、情報を提示するタイミングが照明のスイッチをオンにしたときに限られており、出力場所も照明の下の領域に限定されていた。
【0007】
また、付箋やホワイトボードはその場所に固定され、情報を持ち歩くことができず、必要なタイミングで確認することが出来なかった。また、端末装置を用いれば情報を持ち歩くことができるが、端末装置を携帯していないタイミングではタスクやメッセージの通知に気付くことができない。
【0008】
また、タスクの消化に実物体を用いるものも想定されるが、従来の技術では、タスクの通知タイミングにおける実物体の存在の有無に関して十分に考慮されていなかった。
【0009】
そこで、本開示では、実物体に関連する通知に関し、より直感的な提示を行うことが可能な情報処理装置、情報処理方法、および記録媒体を提案する。
【課題を解決するための手段】
【0010】
本開示によれば、通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断する処理と、前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力する処理と、を行う制御部を備える、情報処理装置を提案する。
【0011】
本開示によれば、プロセッサが、通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断することと、前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力することと、を含む、情報処理方法を提案する。
【0012】
本開示によれば、コンピュータを、通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断する処理と、前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力する処理と、を行う制御部として機能させるためのプログラムが記録された、記録媒体を提案する。
【発明の効果】
【0013】
以上説明したように本開示によれば、実物体に関連する通知に関し、より直感的な提示を行うことが可能となる。
【0014】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0015】
図1】本開示の一実施形態による情報処理システムの概要について説明する図である。
図2】本実施形態に係るシステムの構成の一例を示すブロック図である。
図3】本実施形態に係るデジタルペンを用いた実物体に関連するタスクの入力について説明する図である。
図4】本実施形態によるシステムの登録処理の流れの一例を示すフローチャートである。
図5】本実施形態による登録UIの画面例を示す図である。
図6】本実施形態によるタスクの付加情報に含まれる通知条件の登録処理の一例を示すフローチャートである。
図7】本実施形態によるタスクの付加情報に含まれる属性情報の登録処理の一例を示すフローチャートである。
図8】本実施形態による手書き内容からの重要度の判断の一例を示す図である。
図9】本実施形態による通知処理の流れの一例を示すフローチャートである。
図10】本実施形態によるタスク重要度の出力表現の一例を示す図である。
図11】本実施形態による実物体が付近に無い場合のタスク表示の一例を示す図である。
図12】本実施形態による本実施形態によるプール表示の一例を示す図である。
図13】本実施形態による本実施形態によるプール表示の他の例を示す図である。
図14】本開示に係る情報処理装置のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【0016】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0017】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成例
2−1.入力装置200
2−2.センサ装置300
2−3.出力装置400
2−4.情報処理装置100
3.動作処理
3−1.登録処理
3−2.通知処理
4.補足
4−1.プール表示
4−2.適用例
4−3.効果
5.ハードウェア構成
6.まとめ
【0018】
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムは、情報処理装置100(図1では不図示)、センサ装置300(図1では、一例としてカメラを図示)、及び出力装置400(図1では、一例としてプロジェクタ410を図示)を含む。
【0019】
センサ装置300は、様々な情報をセンシングする装置である。例えば、センサ装置300は、カメラ、デプスセンサ、及びマイクロフォン等を含み、ユーザ及びユーザがいる空間に関する情報をセンシングする。例えば、センサ装置300は、ユーザの位置、姿勢、動き、視線、部屋の形状、及び家具、家電、ゴミ箱、インテリア用品、日用品等の実物体の配置等をセンシングする。センサ装置300は、単数であってもよいし複数であってもよい。
【0020】
出力装置400は、情報処理装置100からの様々な情報を出力する装置であって、例えばプロジェクタ410を想定する。プロジェクタ410は、センサ装置300がセンシングする空間に含まれる壁、床、テーブル、又はその他家具等の任意の場所(即ち、領域)を投影場所(即ち、投影面又は投影領域)として情報を投影することが可能である。また、プロジェクタ410は、空間内のどこへでも投影できるよう、複数台、若しくは所謂ムービングプロジェクタにより実現されてもよい。出力装置400は、単数であってもよいし複数であってもよい。
【0021】
(背景)
ここで、上述したように、従来から多様なユーザインタラクション技術が提案されているが、上記特許文献1に記載の技術では、情報を提示するタイミングが照明のスイッチをオンにしたときに限られており、出力場所も照明の下の領域に限定されていた。
【0022】
また、付箋やホワイトボードはその場所に固定され、情報を持ち歩くことができず、必要なタイミングで確認することが出来なかった。また、端末装置を用いれば情報を持ち歩くことができるが、端末装置を携帯していないタイミングではタスクやメッセージの通知に気付くことができない。
【0023】
また、タスクやメッセージには、「朝9時にゴミを捨てる」、「手紙をポストに出す」等、実物体に結び付くものも想定されるが、従来の技術では、実物体と関連した通知情報の入力や出力に関して十分に考慮されていなかった。
【0024】
そこで、本開示では、空間内における実物体に関連する通知に関し、より直感的な提示を行うことが可能な仕組みを提案する。
【0025】
例えば、図1に示すように、実物体10と関連付けられた通知情報を、所定の通知タイミングでユーザに通知する際に、ユーザの周辺に実物体10が存在する場合は、プロジェクタ410により実物体10上に通知情報20を投影することで、実物体に関連する通知をより直感的に行うことを可能とする。
【0026】
<<2.構成例>>
図2は、本実施形態に係るシステム1の構成の一例を示すブロック図である。図2に示すように、システム1は、情報処理装置100、入力装置200、センサ装置300、及び出力装置400を含む。
【0027】
<2−1.入力装置200>
入力装置200は、デジタルペン210、タッチパネル220、及びキーボード230を含む。
【0028】
デジタルペン210は、IR(赤外線)LED(Light Emitting Diode)等の発光部が搭載された電子操作体である。発光部は、デジタルペン210に設けられたボタン又はスイッチ等の操作、ペン先の接地面への押圧、ペンの揺動等により発光する。また、デジタルペン210は、デジタルペン210に設けられたボタン又はスイッチのユーザ操作、又はペンの動き等に基づく所定のコマンドを情報処理装置100に送信してもよい。
【0029】
タッチパネル220及びキーボード230は、スマートフォンやタブレット端末、スマートウォッチ、スマートアイグラス、PC等のデバイスに設けられ、ユーザ操作を検出して情報処理装置100へ送信する。また、タッチパネル220及びキーボード230は、住居内の壁や床、テーブル、ドア等に設けられたものであってもよい。
【0030】
ユーザは、入力装置200を用いて、空間内の任意の実物体に関連するタスクを情報処理装置100に入力することができる。ここで、図3に、デジタルペン210を用いた実物体に関連するタスクの入力について説明する図を示す。図3に示すように、ユーザは、デジタルペン210を用いて、タスクを消化する際に使用する予定の実物体10に対して筆記を行う。この場合、情報処理装置100は、実空間に設けられたセンサ装置300により、ペン先に設けられた発光部の輝点を検出して筆跡認識を行うと共に、プロジェクタ410により筆跡画像21を投影するヴィジュアルフィードバック制御を行う。また、情報処理装置100は、センサ装置300により実物体10を認識すると共に筆跡画像21をタスクとして登録する。このように、ユーザは、実空間のあらゆる実物体に対して自由に筆記を行うことができ、実物体に関連したタスクを直感的に登録することが可能となる。なお、タスクに関連する実物体がユーザの付近に存在しない場合は、実物体の名称等をデジタルペン210で筆記して情報処理装置100にタスクとして登録してもよい。また、実物体ではなくユーザ自身に紐付けて通知する必要のあるタスクの場合、その場で壁や床等にタスクの内容を筆記することで、ユーザ自身に関連付けられたタスクとして情報処理装置100に登録することも可能である。
【0031】
入力手段は、デジタルペン210の他、指先や音声、ジェスチャであってもよいし、スマートフォンやタブレット端末、スマートウォッチ、スマートアイグラス、PC等のデバイスを用いてもよい。また、入力装置200は、画像や動画といったメディア情報を取得して情報処理装置100に入力してもよい。
【0032】
なお、入力装置200は、上述した構成要素以外の任意のユーザによる情報入力が可能な構成要素を含んでいてもよい。例えば、入力装置200は、マウス、ボタン、スイッチ及びレバー等を含んでいてもよい。
【0033】
<2−2.センサ装置300>
センサ装置300は、人感センサ310、加速度センサ320、デプスセンサ330、マイクロフォン340、カメラ350、ジャイロセンサ360、及び地磁気センサ370を含む。
【0034】
人感センサ310は、人物の有無を検出する装置である。人感センサ310は、例えば赤外線等の光センサである。加速度センサ320、ジャイロセンサ360、および地磁気センサ370は、人物の動きを検出するモーションセンサであって、ユーザが所有するウェアラブルデバイスやスマートフォン等の端末装置に設けられていてもよい。デプスセンサ330は、赤外線測距装置、超音波測距装置、LiDAR(Laser Imaging Detection and Ranging)又はステレオカメラ等の深度情報を取得する装置である。マイクロフォン340は、周囲の音を収音し、アンプおよびADC(Analog Digital Converter)を介してデジタル信号に変換した音声データを出力する装置である。マイクロフォン340は、アレイマイクであってもよい。カメラ350は、RGBカメラ等の、レンズ系、駆動系、及び撮像素子を有し、画像(静止画像又は動画像)を撮像する撮像装置である。カメラ350は、複数であってもよいし、空間内の任意の方向を撮影できる可動式であってもよい。
【0035】
センサ装置300は、情報処理装置100による制御に基づいて情報をセンシングする。例えば、情報処理装置100は、カメラ350のズーム率及び撮像方向を制御することができる。
【0036】
なお、センサ装置300は、上述した構成要素以外の任意のセンシングが可能な構成要素を含んでいてもよい。例えば、センサ装置300は、照度センサ、力センサ、超音波センサ、気圧センサ、ガスセンサ(Co2)、サーモカメラ等の各種のセンサを含み得る。
【0037】
<2−3.出力装置400>
出力装置400は、プロジェクタ410、ディスプレイ420、スピーカ430、及び単一指向性スピーカ440を含む。なお、システム1は、出力装置400として、これらのうち一つ又は複数の組み合わせを含んでも良いし、同一種類の装置を複数含んでも良い。
【0038】
プロジェクタ410は、空間の任意の場所に画像を投影する投影装置である。プロジェクタ410は、例えば固定型の広角プロジェクタであってもよいし、Pan/Tilt駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。ディスプレイ420は、例えば、TV、タブレット端末、スマートフォン、PC等に設けられ得る。TVは、テレビジョン放送の電波を受信して、画像及び音声を出力する装置である。タブレット端末は、典型的にはスマートフォンより大きな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。スマートフォンは、典型的にはタブレットより小さな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。PCは、固定型のデスクトップPCであってもよいし、モバイル型のノートPCであってもよく、画像及び音声等を出力可能である。スピーカ430は、DAC(Digital Analog Converter)およびアンプを介して、音声データをアナログ信号に変換し、出力(再生)する。単一指向性スピーカ440は、単一の方向に指向性を形成可能なスピーカである。
【0039】
出力装置400は、情報処理装置100による制御に基づいて情報を出力する。情報処理装置100は、出力する情報の内容に加えて、出力方法も制御可能である。例えば、情報処理装置100は、プロジェクタ410の投影方向を制御したり、単一指向性スピーカ440の指向性を制御したりすることができる。
【0040】
なお、出力装置400は、上述した構成要素以外の任意の出力が可能な構成要素を含んでいてもよい。例えば、出力装置400は、HMD(Head Mounted Display)、AR(Augmented Reality)グラス、及び時計型デバイス等のウェアラブルデバイスを含んでいてもよい。また、出力装置400は、照明装置、空調装置、音楽再生装置、家電等を含んでいてもよい。
【0041】
<2−4.情報処理装置100>
情報処理装置100は、I/F(Interface)部110、筆跡認識部120、ジェスチャ検出部130、音声認識部131、マップ管理部140、ユーザ位置特定部150、ユーザ認識部160、制御部170、タイマー180、及び記憶部190を含む。
【0042】
・I/F部110
I/F部110は、情報処理装置100と他の機器とを接続するための接続装置である。I/F部110は、例えばUSB(Universal Serial Bus)コネクタ等により実現され、入力装置200、センサ装置300、及び出力装置400の各構成要素との間で情報の入出力を行う。また、例えばI/F部110は、無線/有線LAN(Local Area Network)、DLNA(登録商標)(Digital Living Network Alliance)、Wi−Fi(登録商標)、Bluetooth(登録商標)、又はその他専用線等により入力装置200、センサ装置300、及び出力装置400と接続する。また、I/F部110は、インターネットやホームネットワークを介して他の機器とを接続してもよい。
【0043】
・筆跡認識部120
筆跡認識部120は、センサ装置300によりセンシングされた情報に基づいて、デジタルペン210、又は指等の操作体により実空間内に筆記されたユーザの筆跡を認識する機能を有する。具体的には、筆跡認識部120は、カメラ350から取得した撮像画像(プロジェクタ410により投影された筆跡画像を撮像した撮像画像)を解析し、文字認識を行い、抽出した文字列の形態素解析及び意味解析等を行う。文字認識では、筆跡画像の他、筆跡時の動作(書き順、書き始め位置、書き終り位置等)も参照され得る。また、筆跡認識部120は、機械学習を用いたパターン認識等により筆者識別を行うことも可能である。筆跡認識部120は、認識結果を制御部170に出力する。
【0044】
・ジェスチャ検出部130
ジェスチャ検出部130は、センサ装置300によりセンシングされた情報に基づいてユーザのジェスチャを検出する機能を有する。具体的には、ジェスチャ検出部130は、センサ装置300に含まれる加速度センサ320、デプスセンサ330、カメラ350、ジャイロセンサ360、及び地磁気センサ370を用いて、ユーザの姿勢、頭、手や腕の動きといったジェスチャを検出する。ジェスチャ検出部130は、検出結果を制御部170に出力する。
【0045】
・音声認識部131
音声認識部131は、センサ装置300によりセンシングされた情報に基づいてユーザの音声を認識する機能を有する。具体的には、音声認識部131は、センサ装置300に含まれるマイクロフォン340により集音した音声情報からユーザの発話音声を抽出し、音声認識(テキスト化)を行い、取得した文字列から形態素解析及び意味解析等を行う。音声認識部131は、認識結果を制御部170に出力する。
【0046】
・マップ管理部140
マップ管理部140は、センサ装置300によりセンシングされた情報に基づいて空間内のマップ生成、および実物体の認識等のいわゆる空間認識を行う機能を有する。具体的には、マップ管理部140は、例えば赤外線測距、超音波測距、又はステレオカメラにより得られる深度情報に基づいて、壁面、天井、床、ドア、家具、及び生活用品等の、空間を形成する物体の形状を示す情報(空間の形状を示す情報)を取得する。空間の形状を示す情報は、2次元情報であってもよいし、ポイントクラウド等の3次元情報であってもよい。
【0047】
また、マップ管理部140は、赤外線測距、超音波測距、撮像画像及び深度情報に基づいて、空間内に存在する実物体の三次元位置情報を取得する。
【0048】
センサ装置300は、例えば居住空間の至る場所に設けられ、マップ管理部140は、居住空間における玄関、廊下、キッチン、リビング、ダイニング、書斎、寝室、風呂場、洗面所、ベランダ等のあらゆる部屋の認識や、各部屋における実物体の配置をマップ化することが可能である。
【0049】
・ユーザ位置特定部150
ユーザ位置特定部150は、マップ管理部140により認識された三次元空間内におけるユーザの位置を特定する機能を有する。具体的には、ユーザ位置特定部150は、ユーザ認識部160により認識されたユーザの位置が、マップ管理部140により認識された三次元空間内のどこに相当するかを認識(推定)する。ユーザ位置特定部150は、特定した空間内におけるユーザの位置を示す情報を制御部170に出力する。
【0050】
・ユーザ認識部160
ユーザ認識部160は、センサ装置300によりセンシングされた情報に基づいて空間内におけるユーザを認識し、ユーザに関する情報を取得する機能を有する。例えば、ユーザ認識部160は、センサ装置300に含まれるサーモカメラ、RGBカメラ、ステレオカメラ、赤外線センサ、又は超音波センサ等により取得された情報に基づいて、人物の有無、位置、視点の位置や視線方向を含む視線情報、姿勢、顔認識等による個人識別等を行う。ユーザ認識部160は、取得したユーザ情報を制御部170に出力する。
【0051】
以上説明した各種認識や検出は、定期的、継続的、又は断続的に行われて、認識結果および検出結果は、制御部170により記憶部190に記憶される。
【0052】
・制御部170
制御部170は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。制御部170は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部170は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
【0053】
また、制御部170は、表示データ生成部171及びタスク登録部173を含む。
【0054】
表示データ生成部171は、出力装置400により出力する表示データを生成する。具体的には、表示データ生成部171は、まず、センサ装置300から取得されたセンシングデータに基づいて、デジタルペン210または指先等で描かれた線の軌跡(すなわち、デジタルペン210または指先の移動位置)を認識する。例えば、表示データ生成部171は、カメラ350が取得した撮像画像や深度情報等に基づいて、デジタルペン210のペン先に設けられた発光部の輝点やユーザの指先の移動軌跡を解析する。そして、表示データ生成部171は、認識した軌跡を表示する筆跡画像(ユーザの手書き入力のフィードバックとなる画像であるため、本明細書では、軌跡を表示する画像を「筆跡画像」と称す)を生成する。
【0055】
また、表示データ生成部171は、タスク登録時の登録UI(ユーザーインターフェース)を生成する。また、表示データ生成部171は、記憶部190に登録されたタスクを通知する通知画像を生成する。
【0056】
タスク登録部173は、センサ装置300及び入力装置200から入力された情報に基づいて、タスク(通知情報の一例)を記憶部190に記憶(登録)する処理を行う。例えば、タスク登録部173は、筆跡認識部120により認識された文字列、又はカメラ350により撮像された若しくは表示データ生成部171により生成された筆跡画像(文字列、図表、イラスト等)(これらはいずれも通知内容の一例である)を、付加情報と共に、記憶部190の通知リスト(タスクリストと称してもよい)に記憶する。付加情報は、通知条件(通知時間、通知対象ユーザ、通知場所、タスク消化に用いる実物体)及び属性情報(重要度、セキュリティ情報、繰り返し設定)を含む。制御部170は、付加情報を、筆記された文字列、タスク登録時に表示した登録UIへの入力情報、ユーザのジェスチャ、又は音声等から抽出する。なお、タスク登録部173は、タスクとしてユーザ音声を登録してもよい。
【0057】
また、制御部170は、出力装置400による表示出力や音声出力の制御を行う。
【0058】
具体的には、本実施形態による制御部170は、記憶部190に登録されたタスクの通知条件が満たされたか否かを判断し、通知条件を満たした場合は、対応する通知内容を出力装置400から出力する制御を行う。例えば、制御部170は、タイマー180から出力されたタイマー情報、ユーザ位置特定部150により特定された空間内におけるユーザの位置、及びユーザ認識部160によるユーザの識別結果等に基づいて、登録された通知条件を満たしたか否かを判断する。
【0059】
また、制御部170は、通知するタスクに実物体情報が登録されている場合、通知対象者であるユーザと同一空間(例えば同じ部屋)に、所定の実物体が存在するか否かを判断する。そして、制御部170は、実物体が存在する場合、当該実物体に関連する位置、すなわち当該実物体上または当該実物体の周辺に、タスクとして登録された文字列又は筆跡画像等を表示(例えば投影)する制御を行う。なお、実物体自体に出力機能(表示部または音声出力部等)が設けられている場合、実物体からタスクとして登録された文字列又は筆跡画像等を表示したり、タスクとして登録された音声又は所定の通知音等を再生したりする制御を行ってもよい。また、実物体がユーザの死角にある場合(ユーザ(通知対象者)の頭部の向きや視線情報からユーザの死角を認識)、制御部170は、実物体又は実物体の近くにあるデバイスから音を鳴らしたり、実物体又は実物体の近くにあるデバイスの照明を点滅させたり、プロジェクタ410により実物体まで誘導する表示画像をユーザの視線方向に投影したりしてもよい。一方、実物体が存在しない場合、制御部170は、ユーザ(通知対象者)と同一空間内におけるいずれかの出力領域(例えば、ユーザの視線方向に位置する壁やテーブル等の投影領域)に、実物体を示す情報(実物体の名称又は画像等)と共に、タスクとして登録された文字列、又は筆跡画像等を表示する制御を行う。ユーザ(通知対象者)と同一空間内における出力領域には、ユーザが所有するスマートフォン、携帯電話端末、スマートウォッチ、スマートアイグラス、及びHMD等の携行品も含まれる。
【0060】
また、制御部170は、タスクを通知する際に、登録された属性情報に応じて、登録された文字列又は筆跡画像等を加工して表示してもよい。
【0061】
・タイマー180
タイマー180は、時間の計測を行い、タイマー情報を制御部170に出力する。
【0062】
・記憶部190
記憶部190は、制御部170の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
【0063】
記憶部190には、タスク登録部173により、タスク(通知情報)が記憶される。
【0064】
以上、本実施形態によるシステム1の各構成について具体的に説明した。なお図2に示すシステム1の構成は一例であって、本実施形態はこれに限定されない。例えば、図2には図示しないが、情報処理装置100に他の装置が接続されていてもよい。
【0065】
また、情報処理装置100は、複数の装置により構成されていてもよい。また、情報処理装置100は、スマートホーム端末、PC、ホームサーバ、エッジサーバ、中間サーバ、またはクラウドサーバにより実現されてもよい。
【0066】
<<3.動作処理>>
続いて、本実施形態によるシステム1の動作処理の流れについて、図面を用いて具体的に説明する。
【0067】
<3−1.登録処理>
まず、図4を参照して、本実施形態によるシステム1の登録処理の流れの一例について説明する。図4は、本実施形態によるシステム1の登録処理の流れの一例を示すフローチャートである。
【0068】
図4に示すように、まず、情報処理装置100は、入力装置200又はセンサ装置300から取得した情報に基づいて、ユーザによるデジタルペン210や指先を用いた環境物への入力操作(第1の入力操作)を検出する(ステップS103)。環境物とは、壁、床、窓、ドア、ベッド、机、テーブル、椅子、冷蔵庫、ごみ箱、ペットボトル等など環境を構成する物体であって、本実施形態による「実物体」を含む。実物体とは、上述したように、例えば家具、家電、ゴミ箱、インテリア用品、日用品等、実空間内に存在する物体であって、タスク消化に利用されることが想定されるあらゆるモノである。また、本実施形態による情報処理装置100は、センサ装置300から取得されたセンシングデータに基づいて、デジタルペン210や指先を用いた人間の手のストローク(文字や図表を描く手や腕の動き)、デジタルペン210のペン先に設けられた発光部(IR LED等)の輝点を解析し、ユーザの入力操作として環境物への手書き入力行為を検出することが可能である。情報処理装置100は、このような手書き入力行為の検出を、デジタルペン210のスイッチが入った際、所定のコマンド発話、または所定のジェスチャ動作等が検出された際に開始するようにしてもよい。
【0069】
次に、情報処理装置100は、検出した入力操作の入力モード(削除操作モード/筆記操作モード)を判断する(ステップS106)。入力モードは、ユーザの手のストロークやデジタルペン210のペン先の輝点の軌跡に基づいて判断してもよいし、デジタルペン210のスイッチの切り替えに基づいて判断してもよい。例えば、情報処理装置100は、デジタルペン210のペン先の輝点の軌跡が、取り消し線や所定の取り消しマークを形成している場合は、削除操作モードと判断する。また、情報処理装置100は、デジタルペン210のペン先の輝点の軌跡が、取り消し線や所定の取り消しマーク以外(例えば、何らかの図表、文字、記号、単なる線)を形成している場合は、筆記操作モードと判断する。
【0070】
次いで、筆記操作モードの場合、情報処理装置100は、入力処理を行う(ステップS109)。具体的には、情報処理装置100は、デジタルペン210または指先で描かれた線の軌跡(デジタルペン210または指先の移動位置から成る移動軌跡)を認識し、認識した軌跡を表示する画像を生成し、生成した画像を認識した移動軌跡上にプロジェクタ410から投影する制御を行う。これにより、ユーザは、端末装置の表示画面のような領域的な制約を受けずに、実空間のあらゆる環境物に対して手書き入力を行うことが可能となる。本実施形態では、手書き入力を採用することで、日常生活の中で、より直感的かつ簡便な入力を実現することが可能となり、住空間において発生し得るタスクの管理の利便性が格段に向上する。また、手書き入力した図表やイラスト、文字を、タスクとしてそのまま登録し、後述するタスク通知の際に表示することで、ユーザはタスクの内容や重要性、緊急性を直感的に把握し、また、自分が書いた文字を見ることで、入力時の自分自身の感情や状況を思い出すことが可能となる。
【0071】
一方、削除操作モードの場合、情報処理装置100は、削除処理を行う(ステップS112)。例えば情報処理装置100は、取り消し線の入力操作を検出した場合、取り消された文字や図表、イラスト等を非表示にする制御を行う。
【0072】
続いて、登録UIコールがあった場合(ステップS115/Yes)、情報処理装置100は、タスクに関連する付加情報を登録するための登録UIをユーザ周辺に表示する(ステップS118)。ユーザは、手書き入力したタスクを登録したい場合、登録処理に移行するトリガとなる動作(第2の入力操作、ここでは登録UIコール)を行う。登録UIコールは、デジタルペン210を用いて特定のマークを描画することでもよいし、所定のジェスチャ動作や音声、デジタルペン210の長押し操作であってもよい。
【0073】
ここで、図5に、登録UIの画面例を示す。図5に示すように、登録UI25は、例えばユーザがデジタルペン210で手書き入力を行っている実物体10の近くに投影表示される。登録UI25には、タスクに関連して登録する付加情報の入力欄(例えばプルダウン式、手書き入力式等)が表示されている。ユーザは、登録UI25から、通知時間、モノ(タスク消化に利用する実物体)、ユーザ(タスクを通知する通知対象者。登録者自身であってもよいし(すなわち、タスクの登録者と通知対象者が同一の人物)、家族等の他の人物であってもよい。また、通知対象者を指定しなくてもよい)、および場所(タスクを消化する場所、通知場所)を指定することができる。「モノ」(タスク消化に利用する実物体)の欄には、システム側で認識した実物体10の名称(例えば「ゴミ箱」)を提示し、ユーザに確認するようにしてもよい。また、ユーザは、登録UI25に表示された付加情報を全て入力しなくともよい。また、登録UI25に表示する項目は図5に示す例に限定されず、状況に応じて最適な登録UIを生成して表示するようにしてもよい。例えばユーザ毎に異なる登録UIを生成してもよいし、タスク登録の機械学習に基づいて予め想定される付加情報を候補として提示してもよいし、リビングや寝室等の場所に応じてその場所をよく利用する人物や時間を推定して付加情報の候補として提示してもよい。
【0074】
次に、情報処理装置100は、タスクの付加情報の入力を行う(ステップS121)。情報処理装置100は、センサ装置300から取得したセンシングデータに基づいて、表示した登録UI25にユーザがデジタルペン210や指等で入力した情報を取得する。本実施形態では一例として登録UIを表示する場合について説明したが、本実施形態はこれに限定されず、情報処理装置100は、登録UIを表示せずに、ユーザの音声、ジェスチャ、又は筆跡内容に基づいて付加情報を抽出してもよい。付加情報には、通知条件(通知時間、通知対象ユーザ、場所、タスク消化に用いる実物体)及び属性情報(重要度、セキュリティ情報、繰り返し設定(スヌーズ機能))が含まれる。
【0075】
そして、情報処理装置100は、完了処理を行う(ステップS124)。具体的には、情報処理装置100は、環境物に書かれた文字、図表、およびイラスト等を、付加情報と関連付けて記憶部190に記憶する処理(登録処理)を行う。環境物に書かれた文字、図表、およびイラスト等は、そのまま画像として保存されてもよいし、併せて認識したテキスト(文字列)や意味解析結果等の処理結果も保存されてもよい。タスクの保存形式は、例えばデジタルペン210で、タスク内容(通知内容)を「ゴミ出し」と筆記し、通知条件のうち時間条件を「XX/XXの朝9:00」、実物体をゴミ箱とした場合、以下に示す通りとなる。Object Dataは、実物体の場合は点群データが、ユーザの場合は顔認識データなどの識別データが入る。
【0076】
保存データ例
Tag, Object Data, Drawing, Data, Time
{“ゴミ箱”},{point cloud},{“hoge.png”},{YYYY.MM.DD.HH.MM.SS}
【0077】
また、情報処理装置100は、タスク保存を行った際は、音や映像により、登録が完了したことをユーザにフィードバックしてもよい。また、情報処理装置100は、登録後に、投影していた筆跡画像や登録UIを非表示にしてもよい。
【0078】
完了処理は、ユーザによる登録完了動作に応じて行ってもよい。例えば、ユーザは、投影された登録UI等、各種表示されたGUI上の完了ボタンを、デジタルペン210、タッチペン、指先等でタップしてもよい。また、登録完了動作は、デジタルペン210等で特定のマークを筆記したり、筆記したタスクを特定のマークで囲ったり、下線を引いたりすることであってもよい。また、登録完了動作は、筆記したタスクを手で払い除ける等のジェスチャであってもよいし、音声で「登録して」等の特定のコマンドを入力するものであってもよい。
【0079】
一方、上記ステップS115に示す登録UIコールがない場合(ステップS115/No)、情報処理装置100は、筆記内容はその場所に留まる落書きと認定する(ステップS127)。この場合、情報処理装置100は、一定時間経過後に、落書き認定された筆記内容を削除(非表示)にするようにしてもよい。これにより、ユーザは、床や壁、机等、どこにでも落書きをして楽しむことができる。
【0080】
以上、本実施形態による登録処理の流れについて図4を参照して説明した。なお、図4に示す動作処理は一例であって、本開示は図4に示す例に限定されない。例えば、本開示は、図4に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップS103〜S109の処理と、ステップS115〜S118の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。すなわち、先に登録UIコールを行って登録UIを表示させてから、タスク内容をデジタルペン210等で環境物(実物体を含む)に入力してもよい。
【0081】
また、図4に示す全ての処理が必ずしも実行されてなくともよい。例えば、ステップS115〜S118に示す登録UIコールの処理が無く、単に記載したタスクを登録するための登録コールとしてもよい。ユーザは、付加情報も記載した上で登録コールを行い、タスクと付加情報を登録することが可能である。また、ステップS112に示す削除処理のあと、ステップS115に示す登録UIコールに続いてもよい。一部の文字を削除した後、残りの文字やイラスト等をタスクとして登録することも想定されるためである。
【0082】
また、図7に示す全ての処理が必ずしも単一の装置で行われなくともよいし、各処理が必ずしも時間的に順次行われなくともよい。
【0083】
続いて、上記ステップS121〜S124に示す、本実施形態によるタスクの付加情報の登録について、図6図7を参照して具体的に説明する。
【0084】
図6は、本実施形態によるタスクの付加情報に含まれる通知条件の登録処理の一例を示すフローチャートである。図6に示すように、まず、情報処理装置100は、通知時間を登録する場合(ステップS133/Yes)、条件項目に応じて(ステップS136)、通知時刻の設定(ステップS139)、タイマー設定(ステップS142)、またはタイミング設定(ステップS145)を行う。
【0085】
通知時間に関する情報は、登録UIへのユーザ入力から取得されてもよいし、筆記内容から取得されてもよい。通知時刻の設定としては、年月日時分を設定することができる。また、タイマー設定が行われた場合、情報処理装置100は、タイマー180による時間計測を開始する。また、タイミング設定とは、日の入り、天候等における所定のタイミング、具体的には、「雨が降ったら」「晴れたら」「暑かったら」「夕方になったら」「朝に」等の様々な状況を通知タイミングとして設定することができる。情報処理装置100は、日の入り時刻や天候が変わると予報されている時刻などをクラウド等から取得して通知時刻として設定してもよい。
【0086】
次に、タスクの消化に利用する(関連する)実物体を登録する場合(ステップS148/Yes)、情報処理装置100は、実物体情報の登録を行う。実物体情報は、登録UIへのユーザ入力から取得されてもよいし、筆記内容から取得されてもよい。例えばデジタルペン210を用いてユーザが対象の実物体にタッチしたり、対象の実物体に特定のマークを筆記したり、対象の実物体を特定のマークで囲んだりすることで実物体を指定し、登録することができる。また、実物体の指定は、指先で実物体にタッチしたり、ジェスチャで実物体を指差したりする方法であってもよい。このように、タスク登録の際に実物体を用いることで、より直感的かつ簡便に実物体の指定を行うことが可能となる。なお、タスクの消化に関連する実物体は無機物に限らず、他のユーザやペット等であってもよい。
【0087】
なお、タスクに関連する実物体がユーザの付近に存在しない場合でも、タスクを思い付いた場合はその場でタスク内容の入力を開始することも想定される。この場合、実物体の指定は実物体の名称を筆記することで指定してもよい。例えば、ゴミ箱が近くにない場所で、「明日の朝9:00 ゴミ箱」といった筆記から、情報処理装置100は、タスク内容「明日の朝9:00」、実物体情報「ゴミ箱」を取得して登録する。
【0088】
次いで、通知対象者の設定を行う(ステップS154〜S160)。具体的には、例えば登録UI等でユーザ(登録者)が自分自身以外の者(他ユーザ。単数でも複数でもよい。)を指定した場合(ステップS154/Yes)、情報処理装置100は、指定された他ユーザを通知対象者として設定する(ステップS157)。なお、通知対象者は同居している家族であれば誰でもよい、というように不特定の場合、ユーザは、通知対象者を「特定無し」、「誰でも」と設定してもよい。
【0089】
一方、他ユーザが指定されなかった場合(ステップS154/No)、情報処理装置100は、タスクの登録者(ユーザ自身)を通知対象者に自動設定する(ステップS160)。
【0090】
このように、タスクの通知対象者は、タスクの登録者自身の他、住空間内に同居する他のユーザを指定したり、同居関係ではないがユーザが指定したユーザに設定したりすることが可能である。
【0091】
次に、通知場所を登録する場合(ステップS163/Yes)、情報処理装置100は、通知場所の設定処理を行う(ステップS166)。タスクを通知する場所は、玄関、キッチン、リビング、誰々の部屋、スマートフォン、TV、スマートウォッチ、通知対象者周辺等、実物体以外の環境物や携行品、状況を設定することが可能である。通知場所を設定しておくことで、例えば「明日の朝9:00 ゴミ箱」と入力した場合に、どの部屋にある「ゴミ箱」であるかを特定することも可能となる。通知場所の指定は、場所の名称で行ってもよいし、地図(例えば住空間の間取り図)を表示してユーザが配置したピンの位置を取得してもよい。
【0092】
以上、本実施形態による付加情報に含まれる通知条件の登録処理について具体的に説明した。なお、本実施形態による通知条件は上述した項目に限定されず、さらに他の項目を追加してもよいし、上述した全ての項目が登録されなくてもよい。例えば通知対象者や実物体、又は通知場所が未設定であってもよい。住空間内に同居する誰を対象としてもよいタスクであったり、タスクの消化に実物体を用いない場合も想定されるためである。
【0093】
また、以上説明した図6に示す動作処理は一例であって、本開示は図6に示す例に限定されない。例えば、本開示は、図6に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップS133〜S145の処理と、ステップS148〜S151の処理と、ステップS154〜S160の処理と、ステップS163〜S166の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。
【0094】
また、図6に示す全ての処理が必ずしも実行されてなくともよいし、全ての処理が必ずしも単一の装置で行われなくともよい。また、図6に示す各処理が必ずしも時間的に順次行われなくともよい。
【0095】
続いて、属性情報の登録処理について図7を参照して説明する。図7は、本実施形態によるタスクの付加情報に含まれる属性情報の登録処理の一例を示すフローチャートである。
【0096】
図7に示すように、まず、重要度を登録する場合(ステップS169/Yes)、情報処理装置100は、登録UIへのユーザ入力の内容や、筆記内容(すなわち手書き内容)から、重要度の設定を行う(ステップS172)。ここで、図8に、手書き内容からの重要度の判断の一例を示す。
【0097】
情報処理装置100は、図8に示すように、例えば筆記内容の文字認識の結果、「いつかやる」というテキストが抽出された場合には「重要度:低」を設定し、「ふつう」というテキストが抽出された場合には「重要度:中」を設定し、「だいじ!」というテキストが抽出された場合には「重要度:高」と設定する。
【0098】
また、情報処理装置100は、図8に示すような特定のマークが描画された場合にも、対応する重要度を設定してもよい。ユーザは、筆記したタスクや実物体を、図8に示す特定のマークで囲むことで重要度を設定することができる。なお、図8に示す特定のマークは、上記登録UIコール又は登録完了動作と兼ねたものであってもよい。ユーザが、筆記したタスクや実物体を、図8に示す特定のマークで囲むことで、重要度を設定すると共に、通知条件等を設定するための登録UIが表示されたり、通知条件等も既に筆記済みであれば、同時に登録を完了させてもよい。
【0099】
また、情報処理装置100は、手書き入力のペンの色(投影された筆跡の色)に応じて、図8に示すように重要度を設定してもよい。例えば、青色で筆記された場合は「重要度:低」、黄色で筆記された場合は「重要度:中」、赤色で筆記された場合は「重要度:高」としてもよい。筆跡の色は、ユーザがデジタルペン210のスイッチの操作等を行うことで任意に選択することができる。この場合、情報処理装置100は、表示データ生成部171により筆跡画像を生成する際に、ユーザが選択した色で筆跡を表示する画像を生成し、プロジェクタ410から投影する処理を行う。
【0100】
図8に示すテキスト、マークの形、および色と、重要度の対応付けは一例であって、本実施形態はこれに限定されない。また、このような対応付けは、予めシステム側でデフォルト設定していてもよいし、ユーザがカスタマイズ登録できるようにしてもよい。なお「重要度」は、緊急性や優先度といった意味も含む。
【0101】
このように、住空間内の環境物に対して行われた手書き入力の内容から自動的に重要度を設定することができる。また、タスク入力時のユーザの感情(「このタスクは大事」「重要」といった気持ち)は、マークの形やペンの色に反映していることが想定される。例えば、大事だと思うタスクは赤で書いたり、何重にもマークで囲ったりといった挙動が想定される。本実施形態では、手書き入力の内容からタスク登録を行うことで、このような入力時のユーザ感情も把握し、ユーザは、より直感的に入力を完了させることができる。
【0102】
次に、セキュリティレベルを登録する場合(ステップS175/Yes)、情報処理装置100は、登録UIへのユーザ入力の内容や筆記内容から、セキュリティレベルを設定する(ステップS178)。タスクのセキュリティレベルは、例えば、パブリック(例えば同居人全員が閲覧可能)、プライベート(例えば登録ユーザのみ閲覧可能)、およびカスタマイズ(例えば登録ユーザと特定の同居人のみ閲覧可能)等の設定が考えられる。
【0103】
次いで、繰り返し通知を登録する場合(ステップS181/Yes)、情報処理装置100は、登録UIへのユーザ入力の内容や筆記内容から、繰り返し通知の設定を行う(ステップS184)。繰り返し通知の設定では、例えば繰り返しの回数や頻度、具体的には、例えばタスクの完了動作が行われるまで何分毎に何回通知を繰り返す等の設定が行われ得る。また、繰り返し頻度が高く設定された場合、情報処理装置100は、通知対象者が外出する際に確実に通過する玄関にも繰り返し通知するよう、通知場所の設定を自動的に行ってもよい。玄関への通知設定は、上述した重要度が高い場合に設定してもよい。
【0104】
このように繰り返し通知の設定を行うことで、通知の見落としを防止することができる。また、このような繰り返し通知の設定は、登録UI等でユーザが毎回設定するようにしてもよいし、予めデフォルト又はカスタマイズされた内容で設定するようにしてもよいし、重要度が高い場合等、タスクの内容に応じて自動的に設定するようにしてもよい。
【0105】
以上、本実施形態による付加情報に含まれる属性情報の登録処理について具体的に説明した。なお、本実施形態による属性情報は上述した項目に限定されず、さらに他の項目を追加してもよいし、上述した全ての項目が登録されなくてもよい。
【0106】
また、図7に示す動作処理は一例であって、本開示は図7に示す例に限定されない。例えば、本開示は、図7に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップS169〜S172の処理と、ステップS175〜S178の処理と、ステップS181〜S184の処理は、並列に処理されてもよいし、逆の順番で処理されてもよい。
【0107】
また、図7に示す全ての処理が必ずしも実行されてなくともよいし、全ての処理が必ずしも単一の装置で行われなくともよい。また、図7に示す各処理が必ずしも時間的に順次行われなくともよい。
【0108】
<3−2.通知処理>
図9は、本実施形態による通知処理の流れの一例を示すフローチャートである。情報処理装置100は、センサ装置300から取得したセンシングデータに基づいて空間内の状況(人物の有無等)を継続的に認識しつつ、記憶部190に記憶されているタスクの付加情報を参照して通知制御を行う。
【0109】
図9に示すように、まず、情報処理装置100は、センサ装置300から取得したセンシングデータに基づいて、空間内に存在するユーザの認識を行う(ステップS203)。情報処理装置100は、空間内に存在する人物の存在の有無までであってもよいし、さらに顔画像、音声の特徴、生体センサデータ、ID等による個人識別を行ってもよい。
【0110】
次に、情報処理装置100は、セキュリティ条件(セキュリティレベル)がクリアされているか否かを判断する(ステップS206)。例えば情報処理装置100は、空間内に人物が複数居るか、および誰が居るかに応じて、セキュリティ条件をクリアしているか否かを判断する。なおセキュリティ条件が設定されていないタスクに関しては、当該処理はスキップされる。
【0111】
次いで、情報処理装置100は、タイミング情報の設定有無を確認する(ステップS209)。タイミング情報とは、上述した通知条件に含まれる通知時間である。
【0112】
次に、タイミング情報が設定されていない場合(ステップS209/Yes)、情報処理装置100は、タスクに関連付けられた実物体、通知対象者の付近、又は登録された所定の通知場所に、登録されたタスク内容を表示する(ステップS227)。この場合、情報処理装置100は、タスク内容を常に表示するよう制御してもよい。また、通知対象者が他の部屋に移動する場合、情報処理装置100は、通知対象者の移動に追従して周辺の壁や床、机の上等に投影し続けるようにしてもよい。表示するタスク内容は、例えば入力時に保存されたデジタルペン210や指等による手書きの筆跡画像である。
【0113】
次いで、タイミング情報が設定されている場合(ステップS209/Yes)、情報処理装置100は、タイミング条件が成立したか否かを判断する(ステップS212)。
【0114】
次に、タイミング条件が成立した場合、情報処理装置100は、タスクに関連付けられた実物体が通知対象者の付近(通知対象者と同空間)にあるか否かを検討する(ステップS215)。
【0115】
次いで、実物体が付近にある場合(ステップS215/Yes)、情報処理装置100は、当該実物体にタスク内容、通知条件、および属性を表示する制御を行う(ステップS218)。タスク内容とは、例えば入力時に保存されたデジタルペン210や指等による手書きの筆跡画像である。通知条件とは、例えば通知時間、通知対象者、通知場所である。属性を表示する制御とは、例えば重要度に応じた表示態様の変更である。例えば、情報処理装置100は、タスク内容を囲むマークの形、タスク内容の表示色、点滅、および背景色等の表示態様を、設定された重要度に応じて変更してもよい。また、情報処理装置100は、重要度が高い場合は、重要度の高さを示すテキスト(例えば、「重要!」、「大事!」等)を自動的に追加して表示してもよい。ここで、図10に、タスク重要度の出力表現の一例を示す。図10に示すように、重要度に応じたテキスト、(筆跡画像を囲む)マークの形、色、アニメーション、アラート音等が想定される。このように、同一モーダル内であってもタスクの属性に応じて出力表現を変更することで、タスクの重要性に応じた最適な表現で通知を行うことができる。
【0116】
なお、タスク登録時にタスク消化に関連する実物体が近くに無く、やむを得ずテキストや音声で実物体を指定した上で周囲の環境物(壁、ドア、床、又はテーブル等)に入力した場合であっても、関連情報として実物体情報が登録されている場合、通知タイミングで実物体が通知対象者の付近にある場合、実物体にタスク内容を表示して通知することが可能である。例えば、9:00にゴミ出しすることをゴミ箱のないキッチンで思い付いた場合、ユーザはキッチンの壁に「ゴミ箱、9:00、だいじ!」とデジタルペン210で書き込む。次いで、9時になりタイミング条件が成立した時点でユーザの付近にゴミ箱がある場合、情報処理装置100は、ゴミ箱にタスク内容を表示(投影)する。この際、情報処理装置100は、当該タスク内容は登録時に「だいじ!」と記載されて「重要度:高」に設定されているため、「9:00」の筆跡画像をギザギザの特定マーク(図10参照)で囲んで表示するようにしてもよい。
【0117】
また、図9に示すステップS218では、「実物体にタスク内容、通知条件、および属性を表示する」旨を記載したが、本実施形態はこれに限定されず、情報処理装置100は、例えばタスク内容のみを実物体に表示(投影)するようにしてもよいし、属性に応じて最適な表現に変換したタスク内容のみを表示するようにしてもよい。
【0118】
一方、実物体が通知対象者の付近にない場合(ステップS215/No)、情報処理装置100は、実物体を示す情報を生成し(A)、タスクの属性に応じて表示内容を最適な表現に変換する処理(B)を行う(ステップS221)。実物体を示す情報とは、テキスト(実物体の名称)、撮像画像(実物体を撮像した撮像画像)、イラスト(実物体のイラスト画像。実物体の名称に基づいてクラウドから取得してもよいし、自動生成してもよい)等である。タスクの属性に応じたタスク内容の最適な表現の変換は、上記ステップS218で説明した内容と同様である。また、かかる表現の変換は、タスク内容に限らず、生成した「実物体を示す情報」に対して行ってもよい。例えばタスク登録時に、ギザギザのついたマークで実物体を囲むことで重要度「高」が指定されていた場合、情報処理装置100は、実物体の画像を点滅させるアニメーションに変換したり、実物体の名称を表すテキストを生成した場合であればテキストの色を赤く変更してもよい。重要度に応じた出力表現のバリエーションは、図10に示した通りである。
【0119】
次いで、情報処理装置100は、通知対象者の付近に、実物体を示す情報、属性に応じて最適な表現に変換したタスク内容、および通知条件を表示する制御を行う(ステップS224)。ただし通知条件の表示は必須ではない。ここで、図11に、本実施形態による実物体が付近に無い場合のタスク表示の一例を示す。図11に示すように、情報処理装置100は、通知条件を満たした際にユーザの付近に所定の実物体が無い場合は、実物体を示す情報とタスク内容を含む通知情報22を、ユーザ周辺やユーザの視線方向に表示する。図11に示す例では、登録された実物体「ゴミ箱」が無いため、情報処理装置100は、「ゴミ箱」のテキストと共に、タスク内容「9:00」を表示する。また、情報処理装置100は、通知情報22に動きを与えてユーザの注意を引くようにしてもよい。
【0120】
このように、タスク通知時に実物体が通知対象者の付近に無い場合に、音声や触覚などの別モーダルに変換して通知することも可能であるが、通知時刻やユーザの状況、タスクの内容によってはそれらのモーダルが適さない可能性があるため、本実施形態では、実物体を示す情報を生成してタスク内容と併せて表示することで、より柔軟に通知処理を実行することが可能となる。
【0121】
なお、本実施形態では、表示するタスク内容の一例として手書き入力の筆跡画像を挙げたが、本実施形態はこれに限定されない。例えばタスクの登録がスマートフォンやタブレット端末等によりテキスト入力で行われた場合、情報処理装置100は、入力したユーザ固有の筆跡の癖を取り込んだ手書き風の文字にテキストを変換してタスク内容として表示してもよい。これにより、タスク内容に無機質なテキストにはない個人らしさを付与することが可能となる。また、例えばユーザAが入力し、ユーザBに対してタスクを表示する場合、ユーザAによるタスク消化の依頼であることを明記せずとも、筆跡の癖により個人の特定を行うことが可能となり、登録時の簡便化の一助となる。
【0122】
そして、タスク消化の完了動作が行われると(ステップS230/Yes)、情報処理装置100は、通知情報(タスク内容、通知条件、実物体の表示、および属性等)の表示を終了する(ステップS233)。タスク消化の完了動作は、ユーザがタスクの消化に取り掛かる際やタスクの消化を完了させたタイミングで行われ得る。例えば、ユーザはGUI上のタスク完了ボタンをタッチペンや指先で押してもよいし、通知情報と共に表示(投影)されたタスク完了ボタンを指先でタッチしてもよい。また、消化完了動作は、通知情報の表示領域に対してユーザが斜線やバツ印等の所定のマークをデジタルペン210や指等で描画することによって行ってもよいし、通知情報の表示領域を手で払い除けるジェスチャにより行ってもよい。また、音声で「タスクおしまい」等の特定のコマンドを入力することによって行ってもよい。情報処理装置100は、タスク消化の完了動作が行われると、通知情報の通知を終了すると共に、記憶部190から当該タスクの情報を削除してもよいし、通知リストの当該タスクに完了フラグを立ててもよい。
【0123】
一方、タスク消化の完了動作が行われない場合(ステップS230/No)、情報処理装置100は、繰り返し通知の設定が行われているか否かを判断する(ステップS236)。
【0124】
次いで、繰り返し通知の設定が行われている場合(ステップS236/Yes)、情報処理装置100は、設定された繰り返し条件が成立した際に(ステップS239)、タスクの表示(具体的には、タスク内容、通知条件、実物体を示す情報、および属性情報)を再度行う(ステップS242)。繰り返し通知は、設定された頻度で同じ場所(実物体がある場合は実物体)で繰り返し行われる。また、タスク消化の完了動作がなされないまま通知対象者が他の部屋や玄関に移動した場合、情報処理装置100は、通知対象者の付近に繰り返し通知するようにしてもよい。
【0125】
一方、繰り返し設定が行われていない場合(ステップS236/No)、情報処理装置100は、タスク消化の完了動作がなされるまでそのままタスク表示を維持する(ステップS245)。
【0126】
以上、本実施形態による通知処理について図9を参照して具体的に説明した。なお、図9に示す動作処理は一例であって、本開示は図9に示す例に限定されない。例えば、本開示は、図9に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップS203の処理と、ステップS206の処理と、ステップS209の処理が、並列に処理されてもよいし、逆の順番で処理されてもよい。
【0127】
また、図9に示す全ての処理が必ずしも実行されてなくともよい。例えば、通知対象者が特定されていない場合、情報処理装置100は、ステップS203において人物の個人識別を行わず、人物の存在有無のみを人感センサやカメラから検出するようにしてもよい。この場合、情報処理装置100は、例えばタイミング条件が成立した際に、空間内に人間の存在が確認出来れば、同空間内に存在するタスク消化に関連する実物体や、その人物の付近に、通知情報を表示するようにしてもよい。また、通知対象者が特定されていない場合に、情報処理装置100は、人間の存在有無に関わらず、タスク消化に関連する実物体や所定の通知場所に、通知情報を表示するようにしてもよい。
【0128】
また、情報処理装置100は、実物体の関連付けが行われていない場合は、タイミング条件が成立した場合、通知対象者の付近に(通知対象者の頭の向き等を検出して視線方向を判断できた場合は視線方向に)、又は登録された通知場所に、通知情報を表示するようにしてもよい。
【0129】
また、図9に示す全ての処理が必ずしも単一の装置で行われなくともよいし、各処理が必ずしも時間的に順次行われなくともよい。
【0130】
<<4.補足>>
続いて、本実施形態について以下補足する。
【0131】
<4−1.プール表示>
上述した実施形態では、登録したタスクを設定したタイミングでユーザに通知する場合について主に説明したが、本実施形態はこれに限定されず、登録したタスクを部屋の壁等の所定の場所(以下、プール場所とも称す)に常に表示してもよい。これにより、ユーザは、現在抱えているタスクの量をより直感的に理解することができる。表示されるタスクの画像データは、タスク内容に相当する筆跡画像だけであってもよいし、当該タスクの通知条件や属性を付加してもよい。
【0132】
情報処理装置100は、タスクの通知場所が例えば「キッチン」と登録された場合であっても、所定のプール場所には常に当該タスクを表示し、タイミング条件が成立した際に、当該タスクを「キッチン」に表示して通知する制御を行う。
【0133】
ここで、図12を参照して本実施形態によるプール表示の一例について説明する。図12左側に示すように、例えばキッチンやトイレでタスクを思い付いた場合、ユーザは、デジタルペン210又は指等で壁にタスクを筆記し、登録する。そして、情報処理装置100は、図12右側に示すように、登録されたタスクを所定のプール場所30(例えば部屋の壁など)にまとめて表示する。これによりユーザは一目で現在自身が抱えているタスクの量を把握することができる。
【0134】
本実施形態によるプール表現は図12に示す例に限定されず、例えば図13に示すように、袋状の表示27を用いてもよい。情報処理装置100は、例えば表示するタスクの数に応じて袋状の表示27の伸び具合や広がりを制御することで、タスクの重量感をより直感的に示すことができる。
【0135】
また、プール場所30に表示する各タスクの画像データには、質量、弾力性、引力、サイズ、又は色等のパラメータを持たせてもよい。情報処理装置100は、プール場所30にタスクの画像データを表示する際に、これらのパラメータに応じて表示位置、表示配置、表示の大きさ、表示の色、又は動き(アニメーション)等を制御し、滞留しているタスクの状態をさらに直感的にユーザに提示することを可能とする。
【0136】
「質量」とは、例えばタスク消化に要するコスト(時間、人員、道具等)に基づくパラメータであって、情報処理装置100は、プール表示する際のタスクの重量感を表現する際に用いる。具体的には、質量の多いタスク(例えば消化に時間が掛かる重いタスク)は、プール表示する際に下の方に表示し、質量の少ないタスク(例えば消化に時間が掛からない軽いタスク)は、プール表示する際に上の方に表示する。また、情報処理装置100は、新しく登録されたタスクをプール表示に加える際に、質量の多さに応じて、タスクが底に沈んでいくアニメーションや、上に浮かぶアニメーションを追加してもよい。
【0137】
質量パラメータは、ユーザが登録時に登録UI等で属性の一種として入力してもよい。例えば、とても重い:2時間以上、重い:1〜2時間、普通:30分〜1時間、軽い:5分〜30分、とても軽い:5分以下などが想定される。また、システム側が自動的にタスク内容に応じて予め設定した質量パラメータを付与してもよい。また、実際にタスク消化に掛かった時間を計測して傾向を学習し、情報処理装置100が、自動的に適切な質量パラメータを付与することも可能である。タスク消化に掛かった時間の計測は、例えばタスク通知時にタイマー画面を表示し、ユーザがタスク消化開始時にタイマー画面のスタートボタンをタップし、終了時にストップボタンをタップすることで、情報処理装置100は、実際のタスク消化に掛かった時間を記録することができる。
【0138】
「弾力性」とは、例えばタスクの新鮮さ、楽しさ、又は堅さ(オフィシャルのタスクかプライベートのタスクか等)といったタスクの状態に基づくパラメータであって、情報処理装置100は、プール表示する際のタスクの柔らかさを表現する際に用いる。具体的には、情報処理装置100は、弾力性パラメータが高いタスク(例えば最近登録されたタスク、楽しいタスク等)の画像データは、柔らかな色や模様、装飾を施して表示したり、弾むアニメーションを追加してもよい。弾力性パラメータは、ユーザが登録時に登録UI等で属性の一種として入力してもよいし、システム側が自動的にタスク内容に応じて予め設定したパラメータを付与してもよい。
【0139】
「引力」とは、他のタスクとの関連性の高さを示すパラメータである。関連性とは、タスク内容、又は通知条件の類似性や一致度である。例えば情報処理装置100は、プール表示を行う際に、引力パラメータの高いタスク同士は近くで表示させたり、磁力で引き合っているように見せる表示を行ってもよい。また、情報処理装置100は、引力パラメータの低いタスク同士は離れて表示させたり、磁力で反発しているように見せる表示を行ってもよい。引力パラメータは、ユーザが登録時に登録UI等で属性の一種として入力してもよいし(どのタスクと関連性が高い等)、システム側が自動的にタスク内容や通知条件に応じて設定してもよい。
【0140】
「サイズ」とは、例えばタスクの消化期限(登録された締切日時、又は通知時間等)や、消化に要するコスト等に基づいて設定されるパラメータである。例えば、情報処理装置100は、期限(又は通知時間)が迫ってきているタスクの画像データは、残り日数に反比例して大きく表示することで圧迫感を表現し、ユーザにタスクの消化を促すことが可能となる。タスクの締切日時は、通知条件とは別に登録UIにおいてユーザが入力できるようにしてもよい。
【0141】
「色」とは、例えばタスクの消化済み/未消化の状態、重要度(上記属性情報に含まれる)、消化場所(通知場所)、又は消化担当ユーザ(通知対象者)に基づくパラメータであって、情報処理装置100は、プール表示する際のタスクの表示色を決定する際に用いる。消化場所や消化担当ユーザ毎に異なる色で表示することで、ユーザは直感的にどこで消化するタスクがどれくらいあるのか、また、誰が消化するタスクがどれくらいあるのかを一目で把握することができる。また、重要度の高いタスクの画像データは赤色等の目立つ色で表示することで、ユーザは重要なタスクに注目することができる。また、未消済みのタスクを明度の低い色に変更し、あえて消滅させずにプール場所に表示を残しておくことで、ユーザは過去のタスク消化を振り返ることができると共に、達成感を味わうことが可能となる。情報処理装置100は、消化済みのタスクを時間経過と共に徐々に薄く(透過)し、最終的に消滅させてもよい。
【0142】
以上説明した各パラメータは一例であって、さらに他のパラメータを付加してもよいし、パラメータの算出に、上述した属性情報や通知条件、タスク内容、登録者等の情報を用いてもよい。
【0143】
また、情報処理装置100は、プール場所(またはプール場所に表示された袋や箱等の表示)の大きさをユーザのタスク消化キャパシティの大きさと見立て、ユーザのタスク消化キャパシティを越える場合はプール場所からタスクが溢れるよう表示制御してもよい。ユーザのタスク消化キャパシティを越える場合とは、例えば各タスクの消化に要する時間や期限までの日数、又はタスクの数量等に基づいて判断してもよいし、ユーザのタスク消化の実績に基づいて判断してもよいし、ユーザのスケジュールを兼ね合わせて判断してもよい。これにより、ユーザは自身が過剰にタスクを抱えていることを把握し、期限日時や通知時刻が到達するより先に、例えば小さなタスク(消化に要するコストが少ないため小さく表示されているタスク)から消化する等、タスク消化の計画を視覚的に立てることが容易となる。
【0144】
(グルーピング)
また、情報処理装置100は、通知対象者、通知場所、又は通知条件等が同一または似ているタスクはグルーピングしてプール表示してもよい。グルーピングの表現は、色によって分けてもよいし、塊として認識されるような包括線や図形で囲むことによって行ってもよいし、同一の動きのアニメーションにより行ってもよい。
【0145】
これにより、例えば夫が所有しているタスクおよび妻が所有しているタスクを分けて壁等に表示することで、各人が現在どのようなタスクをどの程度有しているかを互いに直感的に把握することができる。したがって、例えば家事の分担を決める際にも、互いの状況を把握してどちらが消化するかを有益に決定することができる。また、表示サイズや重量感を上述したパラメータで表示態様に反映させることで、例えば夫が妻用のプール表示からタスクの重さ等を考慮して自分のプール表示にタスクを移動させて引き受けるといったコミュニケーションも考えられる。情報処理装置100は、タスクが妻用のプール場所から夫用のプール場所に移動された際、タスクの通知条件に含まれる通知対象者(タスク消化者)を「妻」から「夫」に変更する。
【0146】
また、共有タスクの表示領域を追加することで、各人のタスクが一杯の場合は、共有タスクにタスクを移動し、二人で協力して消化することを視覚的に計画することができる。ユーザは、壁等に記載したタスクをジェスチャ等により消化担当者のプール表示領域にドラッグし、直感的な操作でタスク消化者(通知担当者)を指定することも可能である。
【0147】
(自動振り分け)
また、通知対象者(タスク消化者)毎のタスクを分けて表示している際に、いずれのユーザが消化してもよい共有のタスク(例えばゴミ捨て、掃除、買い出し等の家事)が登録された場合、情報処理装置100は、溜まっているタスクの少ないユーザに自動的に割振り、当該ユーザのプール場所にタスクを追加する表示制御を行ってもよい。
【0148】
また、情報処理装置100は、通知対象者毎のタスクと、共有タスクとをプール場所にグルーピングして表示し、共有タスクが多くなった場合には、いずれかのユーザに自動的に割振るようにしてもよい。
【0149】
情報処理装置100は、自動割振りによりタスクをいずれかのユーザに追加した場合、対象者にタスクを自動割振りしたことを通知してもよい。システムという第三者による自動割振りであることを対象者に伝えることで、客観的な判断により適正に割振りが行われたとユーザが理解し、快く受け入れることが期待できる。
【0150】
以上説明したプール表示のバリエーションは、いずれも任意に組合せることが可能である。
【0151】
<4−2.適用例>
次に、本実施形態によるシステムの適用例について説明する。
【0152】
(4−2−1.外出時に携帯すべき実物体を絶対に忘れないための施策)
例えば、ユーザAが出社前日の夜に明日の朝最寄りまでの道のりで手紙をポストに投函するタスクを思い付いた場合を想定する。ユーザAは、手紙の必着の締切が目前に迫っているため、自室の机の上に手紙を置き、デジタルペン210で手紙をタッチした後(関連する実物体の指定操作)、手紙の周りをギザギザのマークで囲み(重要なタスクであることを示す表現)、「明日の朝出す!」と書き込み、タスクの登録を行う。
【0153】
翌日の朝、起床したユーザAが机の前を通ると、昨日書いたマークと文言がプロジェクタ410で投影される。ユーザAは投影された通知情報を見てタスクを思い出したが、早急にトイレに行きたかったため手紙を持たずにトイレへ向かってしまった。その後、タスク完了動作がなされないため、情報処理装置100は、繰り返し設定に従って、タスク内容を繰り返しユーザに通知する。具体的には、情報処理装置100は、出発の準備をこなすユーザAに追従して周辺の壁やテーブルにタスクを表示し続けるが、ユーザAは忙しさのあまり気付かない場合もある。そして、最後にユーザが玄関に移動した際、情報処理装置100は、玄関のドアに、手紙の画像(実物体を示す表示)と「明日の朝出す!」という文言(筆跡画像)を点滅して表示し、最終通知によりユーザAに手紙を部屋に忘れたことを気付かせることができる。
【0154】
(4−2−2.オフィスシーンでホワイトボードの代替手段として利用)
本実施形態によるシステムは、オフィスシーンに適用することで、会議室内の壁や机、また、廊下の壁、個人の机等に対してもデジタルペン210又は指等でいつでもメモやタスクを描画、登録することが可能となる。
【0155】
例えば会社の廊下で偶然会った社員とデジタルペン210や指先で自由に文字やイラストを壁に描きながらブレストを行い、そこで思いついた重要なアイデアをタスクとして登録することができる。この際、ブレスト時に持ち合わせた資料や試作品をデジタルペン210で囲んだり特定のマークを付与することで周辺に設けられたカメラ350により撮像させ、撮像画像を壁に出力することも可能である。これにより、仮想と現実に縛られない情報の開示、共有が可能となる。
【0156】
登録したアイデアはシステム側に保存されるため、その後自席に戻った際に机に表示させたり、画像データやテキストデータとしてPCやタブレット端末等に表示させたりすることも可能である。
【0157】
また、思い付いたアイデアを、「他にもアイデアがあったら書いてください!」という文言と共に、廊下の壁にそのまま表示させておくことで、通り掛かりの他の社員も後から参加して書き込みを加える等、アイデアをブラッシュアップすることができる。また、情報処理装置100は、このような壁に描画されたアイデアの筆跡画像を、壁の前を社員が通り掛かった際に表示出力するよう制御してもよい。
【0158】
(4−2−3.外出時に思い付いたタスクを家に送信)
本実施形態によるシステムでは、外出先で登録したタスクを家の中で表示することも可能である。例えば、新しく購入したファンデーションで化粧を済ませて外出したが、肌に違和感を覚えたユーザは、ファンデーションが肌に合わなかったことが分かった。そこでスマートフォンのアプリケーションを起動し、タスク表示させたい実物体を「ファンデーション」と設定し、タスク内容を「使っちゃダメ。新しいファンデーション検討」と入力し、登録する。情報処理装置100は、登録されたタスクに基づいて、その日ユーザが帰宅し、寝室に入った場合に、寝室の化粧台に置かれているファンデーションの周りを特定のマークでハイライトし、「使っちゃダメ。新しいファンデーション検討」という文言を表示(投影)する。このように、外出先でスマートフォン等により登録したタスクも、家の中で関連する実物体に表示することができ、ユーザのタスク管理の利便性を格段に向上させることができる。
【0159】
<4−3.効果>
以上、本実施形態によるシステムについて具体的に説明した。
【0160】
本実施形態によれば、タスクを消化すべき場所やタスクの消化に利用する実物体上にタスク内容が出力(具体的には、表示投影)されるため、ユーザはタスクを直感的に把握し、すぐに作業に取り掛かることができ、効率性が高くなる。
【0161】
また、情報処理装置100は、通知条件を満たしたタスクを通知する時に、同じ場所で消化できる他のタスク(通知条件を満たしていないタスクを含む)も同時に出力してもよい。これにより、ユーザはついでに他のタスクも消化することができ、さらに効率性が高くなる。
【0162】
また、実物体がユーザ(通知対象者)の付近に無い場合であっても、実物体を示す情報を通知内容と共にユーザ周辺に表示することで、何のタスクであるかを、より直感的にユーザに把握させることができる。
【0163】
また、表示するタスク内容は、手書き入力の筆跡画像とすることで、文字、図表、及びイラストといった多様なタスク内容を扱うことができ、タスク管理の利便性が向上する。
【0164】
また、上述した実施形態では、通知情報の一例として「タスク」を用いたが、本実施形態はこれに限定されず、「アイデア」「メッセージ」「メモ」等であってもよい。イラストなどと共にメッセージを残し、生活時間帯の異なる家族に対してそれらを出力する家族間コミュニケーションも実現することが可能である。
【0165】
<<5.ハードウェア構成>>
次に、本開示の一実施形態に係る情報処理装置100のハードウェア構成例について説明する。図14は、本開示の一実施形態に係る情報処理装置100のハードウェア構成例を示すブロック図である。図14を参照すると、情報処理装置100は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【0166】
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【0167】
具体的には、CPU871は、情報処理装置100内の筆跡認識部120、ジェスチャ検出部130、マップ管理部140、ユーザ位置特定部150、ユーザ認識部、制御部170の動作を実現する。
【0168】
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【0169】
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
【0170】
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
【0171】
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【0172】
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【0173】
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
【0174】
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
【0175】
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
【0176】
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
【0177】
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Wi−Fi(登録商標)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
【0178】
<<5.まとめ>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0179】
例えば、上述した情報処理装置100に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置100の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【0180】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0181】
なお、本技術は以下のような構成も取ることができる。
(1)
通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断する処理と、
前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力する処理と、を行う制御部を備える、情報処理装置。
(2)
前記制御部は、
前記実物体が存在する場合は、前記実物体に関連する位置に前記通知内容を出力し、
前記実物体が存在しない場合は、前記通知対象者と同一空間内に前記実物体を示す情報と共に前記通知内容を出力する、前記(1)に記載の情報処理装置。
(3)
前記実物体に関連する位置は、前記実物体上又は前記実物体周辺の少なくともいずれかである、前記(2)に記載の情報処理装置
(4)
前記通知条件は、通知時間、通知場所、または前記通知対象者を少なくとも含む、前記(2)に記載の情報処理装置。
(5)
前記通知時間は、所定の時刻、タイマー設定、または所定のタイミングである、前記(4)に記載の情報処理装置。
(6)
前記制御部は、
前記通知時間の条件を満たした場合、前記通知場所において、前記実物体に、前記通知内容を表示する制御を行う、前記(4)または(5)に記載の情報処理装置。
(7)
前記制御部は、
空間内から取得されたセンシングデータに基づいて、前記通知対象者を認識し、
前記通知時間になった際、前記実物体が存在する場合は、前記実物体に前記通知内容を出力し、前記実物体が存在しない場合は、前記実物体を示す情報と共に前記通知内容を前記通知対象者の付近に出力する、前記(4)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記通知内容には、属性情報が関連付けられ、
前記制御部は、
前記属性情報に応じて、前記通知内容の出力を制御する、前記(4)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記属性情報は、重要度を含み、
前記制御部は、
前記重要度に応じて、前記通知内容を出力する際の出力態様を変更する、前記(8)に記載の情報処理装置。
(10)
前記属性情報は、セキュリティ条件を含み、
前記制御部は、
前記通知条件および前記セキュリティ条件が満たされた場合に、前記通知内容を出力する制御を行う、前記(8)または(9)に記載の情報処理装置。
(11)
前記属性情報は、繰り返し設定を含み、
前記制御部は、
前記繰り返し設定に従って、前記通知内容の出力を繰り返し出力する処理を行う、前記(8)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、
空間に設けられた環境センサにより取得したセンシングデータに基づいて、入力者による前記通知内容を入力する第1の入力操作を検出する、前記(4)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記制御部は、
前記第1の入力操作は、操作体を用いた入力操作であって、
前記制御部は、
前記センシングデータに基づいて、前記操作体による軌跡を検出し、
検出した前記軌跡を投影する制御を行う、前記(12)に記載の情報処理装置。
(14)
前記制御部は、
前記センシングデータに基づいて、前記入力者による前記通知内容を登録する第2の入力操作を検出し、
前記第2の入力操作が検出された際に、前記投影した前記軌跡を通知情報として記憶部に記憶する処理を行う、前記(13)に記載の情報処理装置。
(15)
前記制御部は、
前記第1の入力操作に基づいて、前記通知内容と関連する前記実物体を認識し、
前記認識した前記実物体を示す情報を、前記通知内容と関連付けて前記記憶部に記憶する、前記(14)に記載の情報処理装置。
(16)
前記制御部は、
前記記憶部に記憶された前記通知情報を、前記通知条件を満たしているか否かに関わらず空間内の所定領域に表示する制御を行う、前記(14)または(15)に記載の情報処理装置。
(17)
前記制御部は、
前記通知情報に付加されたパラメータに基づいて、前記所定領域における前記通知情報の表示態様を制御する、前記(16)に記載の情報処理装置。
(18)
前記制御部は、
前記通知情報を、前記通知時間、前記通知対象者、または前記通知場所に応じてグルーピングし、前記所定領域に表示する、前記(16)または(17)に記載の情報処理装置。
(19)
プロセッサが、
通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断することと、
前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力することと、
を含む、情報処理方法。
(20)
コンピュータを、
通知内容に関連付けられた通知条件が満たされた際に、前記通知内容に関連付けられた実物体が通知対象者と同一空間に存在するか否かを判断する処理と、
前記実物体が存在するか否かに応じて、前記実物体に関連する位置に前記通知内容を出力する処理と、を行う制御部として機能させるためのプログラムが記録された、記録媒体。
【符号の説明】
【0182】
1 システム
10 実物体
20 通知情報
21 筆跡画像
22 通知情報
100 情報処理装置
110 I/F部
120 筆跡認識部
130 ジェスチャ検出部
131 音声認識部
140 マップ管理部
150 ユーザ位置特定部
160 ユーザ認識部
170 制御部
171 表示データ生成部
173 タスク登録部
180 タイマー
190 記憶部
200 入力装置
210 デジタルペン
220 タッチパネル
230 キーボード
300 センサ装置
310 人感センサ
320 加速度センサ
330 デプスセンサ
340 マイクロフォン
350 カメラ
360 ジャイロセンサ
370 地磁気センサ
400 出力装置
410 プロジェクタ
420 ディスプレイ
430 スピーカ
440 単一指向性スピーカ
874 ホストバス
875 ブリッジ
876 外部バス
877 インターフェース
878 入力装置
879 出力装置
880 ストレージ
881 ドライブ
882 接続ポート
883 通信装置
901 リムーバブル記録媒体
902 外部接続機器
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
【国際調査報告】