特許 7074343 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-16

(45)【発行日】2022-05-24

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220517BHJP

【ＦＩ】

G06F3/01 510

【請求項の数】 19

(21)【出願番号】P 2018538033

(86)(22)【出願日】2017-06-20

(86)【国際出願番号】 JP2017022707

(87)【国際公開番号】W WO2018047433

(87)【国際公開日】2018-03-15

【審査請求日】2020-06-16

(31)【優先権主張番号】P 2016175441

(32)【優先日】2016-09-08

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(73)【特許権者】

【識別番号】501431073

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】中川 亜由美

(72)【発明者】

【氏名】酒井 士文

(72)【発明者】

【氏名】細川 知志

【審査官】菅原 浩二

(56)【参考文献】

【文献】特開２０１３－１７５９２３（ＪＰ，Ａ）

【文献】特開２００３－２３００７１（ＪＰ，Ａ）

【文献】特開２０１０－００３１１６（ＪＰ，Ａ）

【文献】特開２００２－２２９９９５（ＪＰ，Ａ）

【文献】特開２０１５－１５２９４０（ＪＰ，Ａ）

【文献】特表２０１５－５０４６１６（ＪＰ，Ａ）

【文献】特表２００７－５３２０５５（ＪＰ，Ａ）

【文献】特開２０１６－２１２７９３（ＪＰ，Ａ）

【文献】特開２００８－１７２５５１（ＪＰ，Ａ）

【文献】特開２０１５－０２５８５９（ＪＰ，Ａ）

【文献】特開２０１６－２１８８０１（ＪＰ，Ａ）

【文献】特開２０１６－５７８５５（ＪＰ，Ａ）

【文献】特開２００４－３４８４２９（ＪＰ，Ａ）

【文献】特開２００６－２３９５３（ＪＰ，Ａ）

【文献】特開２００９－２９４７４０（ＪＰ，Ａ）

【文献】特開２０１３－１７１４４０（ＪＰ，Ａ）

【文献】特開２０１３－２１０９５２（ＪＰ，Ａ）

【文献】特開２０１３－７３３７８（ＪＰ，Ａ）

【文献】国際公開第２０１２／００１８８０（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１１１３２７（ＷＯ，Ａ１）

【文献】国際公開第２０１２／１２７８３７（ＷＯ，Ａ１）

【文献】国際公開第２０１５／０６８４４０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／０１９５２９５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００２９８８４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

ユーザの状態を検知するセンサの検知出力と、外部サービスから送信される前記ユーザの行動に係る情報と、のうち少なくとも一方に基づき、前記ユーザの行動を推定する行動推定部と、
前記行動推定部により推定された前記ユーザの行動に基づいて前記ユーザによる補助器具の装着有無を判定する判定部と、
前記判定部により前記補助器具を装着していると判定された場合と、前記補助器具を装着していないと判定された場合とで、前記ユーザに対して情報を出力する出力モードを変更する出力制御部と、
を備える、
情報処理装置。

【請求項2】

前記出力制御部は、前記判定部により前記補助器具を習慣的に装着する前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、前記出力モードを変更する、
請求項１に記載の情報処理装置。

【請求項3】

前記判定部は、前記補助器具を装着していない状態と関連付いて学習された前記ユーザの行動が前記行動推定部により推定されたことに基づいて、前記ユーザが前記補助器具を装着していないと判定する、
請求項１または２に記載の情報処理装置。

【請求項4】

前記補助器具は、視力矯正器具または聴覚補助器具のうち少なくともいずれかを含む、請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記判定部は、前記ユーザの発話から前記行動推定部により推定された前記ユーザの行動に基づいて前記補助器具の装着有無を判定する、
請求項１～４のいずれか１項に記載の情報処理装置。

【請求項6】

前記判定部は、外部サービスから取得された情報から前記行動推定部により推定された前記ユーザの行動に基づいて前記補助器具の装着有無を判定する、
請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記判定部は、取得されたセンサ情報から前記行動推定部により推定された前記ユーザの行動に基づいて前記補助器具の装着有無を判定する、
請求項１～６のいずれか１項に記載の情報処理装置。

【請求項8】

前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、前記出力モードを、情報出力に係る出力強度が異なる出力モードに変更する、
請求項１～７のいずれか１項に記載の情報処理装置。

【請求項9】

前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、前記出力モードを、情報出力に係るモーダルが異なる出力モードに変更する、
請求項１～８のいずれか１項に記載の情報処理装置。

【請求項10】

前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、前記出力モードを、外部装置に出力情報を転送する出力モードに変更する、
請求項１～９のいずれか１項に記載の情報処理装置。

【請求項11】

前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、前記補助器具を装着していないユーザがいると判定されたことに基づいて、前記出力モードを変更する、
請求項１～１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、出力情報の対象となるユーザに係る前記補助器具の装着有無に基づいて前記出力モードを制御する、
請求項１～１１のいずれか１項に記載の情報処理装置。

【請求項13】

前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、前記複数ユーザに対応する複数の出力モードを制御する、
請求項１～１２のいずれか１項に記載の情報処理装置。

【請求項14】

前記出力制御部は、取得された環境条件にさらに基づいて、前記出力モードの制御を行う、
請求項１～１３のいずれか１項に記載の情報処理装置。

【請求項15】

前記出力制御部は、前記環境条件が静音環境の要求を示すことに基づいて視覚情報に係る出力モードを選択する、
請求項１４に記載の情報処理装置。

【請求項16】

前記環境条件は、前記ユーザに対する情報の出力により影響される第三者の行動を含む、
請求項１４または１５に記載の情報処理装置。

【請求項17】

ユーザの行動推定に用いられる情報を収集するセンサ部と、
前記ユーザに対する情報出力を行う出力部と、
を備え、
前記出力部は、前記センサ部により収集された情報と、外部サービスから収集された情報と、のうち少なくとも一方に基づき推定された前記ユーザの行動から判定される前記ユーザによる補助器具の装着有無に基づいて制御される出力モードに対応する情報出力を行う、
情報処理装置。

【請求項18】

前記出力部は、前記補助器具を習慣的に装着する前記ユーザが前記補助器具を装着していないと判定されたことに基づいて変更される出力モードに対応する情報出力を行う、
請求項１７に記載の情報処理装置。

【請求項19】

前記出力部は、前記出力モードに対応する視覚情報もしくは音声情報のいずれか、または双方に係る情報出力を行う、
請求項１７または１８に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置に関する。

【背景技術】

【0002】

近年、画像認識を行う種々の装置が開発されている。また、認識された情報に基づいて出力制御を行う装置が提案されている。例えば、特許文献１には、画像認識によりユーザが装着する眼鏡の特性を判定し、当該判定に基づき出力する文字や画像の大きさを補正する画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２５８５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載の画像処理装置は、撮像したユーザの画像に基づいて、眼鏡の装着有無や特性の判定を行っている。このため、ユーザが撮像装置の画角外に位置する場合には、上記の判定を行うことが困難である。

【0005】

また、特許文献１に記載の画像処理装置は、撮像が容易な眼鏡に対しては有効である一方、コンタクトレンズや補聴器など撮像が困難な補助器具に対しては適用することが難しい。

【0006】

そこで、本開示では、ユーザによる補助器具の装着有無をより柔軟に判定することが可能な、新規かつ改良された情報処理装置を提案する。

【課題を解決するための手段】

【0007】

本開示によれば、ユーザの状態を検知するセンサの検知出力と、外部サービスから送信される前記ユーザの行動に係る情報と、のうち少なくとも一方に基づき、前記ユーザの行動を推定する行動推定部と、前記行動推定部により推定された前記ユーザの行動に基づいて前記ユーザによる補助器具の装着有無を判定する判定部と、前記判定部により前記補助器具を装着していると判定された場合と、前記補助器具を装着していないと判定された場合とで、前記ユーザに対して情報を出力する出力モードを変更する出力制御部と、を備える、情報処理装置が提供される。

【0008】

また、本開示によれば、ユーザの行動推定に用いられる情報を収集するセンサ部と、前記ユーザに対する情報出力を行う出力部と、を備え、前記出力部は、前記センサ部により収集された情報と、外部サービスから収集された情報と、のうち少なくとも一方に基づき推定された前記ユーザの行動から判定される前記ユーザによる補助器具の装着有無に基づいて制御される出力モードに対応する情報出力を行う、情報処理装置が提供される。

【発明の効果】

【0009】

以上説明したように本開示によれば、ユーザによる補助器具の装着有無をより柔軟に判定することが可能となる。

【0010】

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態の概要およびシステム構成例を示す図である。

【図2】同実施形態に係る情報処理端末および情報処理サーバの機能ブロック図である。

【図3】同実施形態に係る行動推定について説明するための図である。

【図4A】同実施形態に係る情報処理サーバによる視覚情報に係る出力強度の制御例を示す図である。

【図4B】同実施形態に係る情報処理サーバによる聴覚情報に係る出力強度の制御例を示す図である。

【図5】同実施形態に係る情報処理サーバによるモーダルの制御例を示す図である。

【図6】同実施形態に係る情報処理サーバによる外部装置への出力情報の転送について説明するための図である。

【図7】同実施形態に係る情報処理サーバによる補助器具を装着していないユーザを優先した出力制御について説明するための図である。

【図8】同実施形態に係る情報処理サーバによる出力情報の対象ユーザを優先した出力制御について説明するための図である。

【図9】同実施形態に係る情報処理サーバによる複数ユーザに対応する複数の出力モードの制御について説明するための図である。

【図10】同実施形態に係る本実施形態に係る情報処理サーバによる環境条件に基づく出力制御について説明するための図である。

【図11】同実施形態に係る情報処理サーバによる出力制御の流れを示すフローチャートである。

【図12】同実施形態に係る情報処理サーバによる学習の流れを示すフローチャートである。

【図13】同実施形態に係る情報処理サーバによるフィードバックに基づく再学習の流れを示すフローチャートである。

【図14】本開示に係るハードウェア構成例である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．はじめに
１．２．実施形態の概要およびシステム構成例
１．３．情報処理端末２０の機能構成例
１．４．情報処理サーバ３０の機能構成例
１．５．行動推定の詳細
１．６．補助器具１０の装着有無に基づく出力制御
１．７．複数ユーザに係る出力制御
１．８．環境条件に基づく出力制御
１．９．出力制御の流れ
１．１０．学習の流れ
１．１１．フィードバックに基づく再学習の流れ
２．ハードウェア構成例
３．まとめ

【0014】

＜１．実施形態＞
＜＜１．１．はじめに＞＞
近年、情報技術の発展に伴い、様々な情報端末が普及している。ユーザは、日常において多くの情報端末から種々の情報を取得し得る。一方、情報端末を扱うユーザには、眼鏡のような補助器具を装着していない場合、情報端末から出力される情報を正確に知覚できない者もいる。このため、ユーザが補助器具を装着していない場合、情報端末が、例えば、文字や画像の出力サイズを補正することで、ユーザによる情報の知覚を補助する仕組みが有効となり得る。

【0015】

この際、ユーザによる補助器具の装着有無を判定する手法には、特許文献１に記載されるような画像認識を用いた処理が想定され得る。しかし、上述したように、画像認識を用いる手法では、ユーザが撮像装置の画角内に位置しない場合、補助器具の装着有無を判定することが困難である。

【0016】

また、情報端末が小型のエージェントのように配置が都度変化し得る装置の場合、眼鏡を装着していないユーザが情報端末を探し出すことができない可能性もある。

【0017】

さらには、画像認識を用いる手法では、コンタクトレンズや補聴器のように小型あるいは透明な補助器具の装着有無を判定することが困難である。

【0018】

本開示に係る技術思想は、上記の点に着目して発想されたものであり、眼鏡のほか、コンタクトレンズや補聴器など多くの補助器具に対して適用可能である。また、本開示に係る技術思想は、ユーザが情報端末から離れている場合でも補助器具の装着有無を判定することを可能とする。このために、本実施形態に係る情報処理サーバは、収集された情報からユーザの行動を推定し、当該行動に基づいて補助器具の装着有無を判定する機能を有する。

【0019】

＜＜１．２．実施形態の概要およびシステム構成例＞＞
まず、本実施形態の概要について説明する。上述したとおり、本実施形態では、ユーザの行動を推定し、当該行動に基づいて補助器具の装着有無が判定され得る。補助器具を装着するユーザは日常において様々な行動を行うが、上記のような行動には、補助器具の装着有無と強い相関を有するものが存在する。例えば、一般的に、ユーザは入浴や睡眠の際、補助器具を外す場合が多い。また、ユーザによっては、例えば、料理やあたたかい食事をする際や、運動を行う際に補助器具を外す習慣がある者もいる。本実施形態では、上記のような行動と補助器具の装着有無とを関連付けて学習することで、当該行動が推定された際、ユーザが補助器具を装着していないと判定することができる。

【0020】

図１は、本実施形態の概要およびシステム構成例を示す図である。図１を参照すると、本実施形態に係る情報処理システムは、情報処理端末２０、情報処理サーバ３０、および外部サービス４０を備える。また、情報処理端末２０と情報処理サーバ３０、および外部サービス４０と情報処理サーバ３０とは、互いに通信が行えるようにネットワーク５０を介して接続される。

【0021】

（補助器具１０）
本実施形態に係る補助器具１０は、視覚矯正器具、聴覚補助器具、移動補助器具などを含む。上記の視覚矯正器具は、例えば、眼鏡やコンタクトレンズなどを含んでよい。また、聴覚矯正器具は、例えば、補聴器や集音器などを含んでよい。また、移動補助器具は、車椅子や歩行器、松葉杖などの歩行補助杖を含んでよい。また、本実施形態に係る補助器具１０は、視覚矯正機能を有する眼鏡型のウェアラブルデバイスであってもよい。

【0022】

（情報処理端末２０）
本実施形態に係る情報処理端末２０は、ユーザに対し種々の情報を提示する情報処理装置である。本実施形態に係る情報処理端末２０は、例えば、ディスプレイ装置、プロジェクタ、各種のエージェント装置やロボットなどであり得る。また、本実施形態に係る情報処理端末２０は、携帯電話、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などであってもよい。本実施形態に係る情報処理端末２０は、ユーザの行動に係る情報を収集する機能と、ユーザに対し情報を出力する機能とを備える種々の装置として実現され得る。

【0023】

（情報処理サーバ３０）
本実施形態に係る情報処理サーバ３０は、情報処理端末２０や外部サービス４０から取得した情報に基づいて、ユーザの行動を推定し、当該行動に基づいて補助器具１０の装着有無を判定する情報処理装置である。また、本実施形態に係る情報処理サーバ３０は、判定した補助器具１０の装着有無に基づいて、情報処理端末２０による情報出力を制御する機能を有する。

【0024】

例えば、図１に示すように、情報処理サーバ３０は、推定した行動からユーザが眼鏡型の補助器具１０を装着していると判定した場合、補助器具１０を装着している状態のユーザＰ１ａに対して、文字情報Ｏ１を出力するよう情報処理端末２０を制御することができる。

【0025】

一方、情報処理サーバ３０は、推定した行動からユーザが補助器具１０を装着していないと判定した場合、補助器具１０を装着していない状態のユーザＰ１ｂに対し、音声情報Ｏ２を出力するよう情報処理端末２０を制御することができる。本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、補助器具１０を装着していない場合でも、出力される情報を正確に知覚することが可能となる。

【0026】

なお、情報処理サーバ３０が推定するユーザの行動には、例えば、入浴、睡眠、運動、料理、食事など、一般的にユーザが補助器具１０を外す行動や、個人によっては補助器具１０を外す行動が想定される。また、本実施形態に係る情報処理サーバ３０が推定するユーザの行動は上記の例に限定されず、ユーザが取り得る種々の行動であり得る。

【0027】

（外部サービス４０）
本実施形態に係る外部サービス４０は、ユーザの行動や行動に係る情報を情報処理サーバ３０に送信する種々のサービスであり得る。本実施形態に係る外部サービス４０は、例えば、予定管理アプリケーション、運動管理アプリケーション、健康管理アプリケーションなどであってもよい。また、本実施形態に係る外部サービス４０は、給湯器や照明器具、調理器具、時計などの家電を含んでよい。また、本実施形態に係る外部サービス４０は、携帯電話、スマートフォン、タブレット、ＰＣなどを含んでもよい。

【0028】

（ネットワーク５０）
ネットワーク５０は、情報処理端末２０と情報処理サーバ３０、および外部サービス４０と情報処理サーバ３０を接続する機能を有する。ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク５０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク５０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。

【0029】

以上、本実施形態に係るシステム構成例について説明した。なお、図１を用いた上記の説明では、情報処理端末２０および情報処理サーバ３０が、それぞれ独立した情報処理装置として実現される場合を例に述べたが、本実施形態に係るシステム構成例は、係る例に限定されない。本実施形態に係る情報処理端末２０および情報処理サーバ３０は、単一の情報処理装置として実現されてもよい。

【0030】

一方、本実施形態に係る情報処理端末２０および情報処理サーバ３０が有する各機能は、３台以上の複数の情報処理装置により実現されてもよい。本実施形態に係るシステム構成例は、扱われる情報量やシステムの仕様、運用条件などに応じて柔軟に変形され得る。

【0031】

＜＜１．３．情報処理端末２０の機能構成例＞＞
次に、本実施形態に係る情報処理端末２０の機能構成例について説明する。図２は、本実施形態に係る情報処理端末２０および情報処理サーバ３０の機能ブロック図である。図２を参照すると、本実施形態に係る情報処理端末２０は、センサ部２１０、出力部２２０、およびサーバ通信部２３０を備える。

【0032】

（センサ部２１０）
センサ部２１０は、ユーザの行動推定に用いられる種々の情報を収集する機能を有する。センサ部２１０は、例えば、ユーザの所在やユーザとの距離、発話、体温、また設置環境に係る情報を収集してよい。このため、本実施形態に係るセンサ部２１０は、例えば、マイクロフォン、人感センサ、温度センサ、照度センサ、ジャイロセンサ、加速度センサ、地磁気センサ、ＧＰＳ、撮像センサ、時計などを含んで構成され得る。

【0033】

（出力部２２０）
出力部２２０は、情報処理サーバ３０による制御に基づき、ユーザに対する情報出力を行う機能を有する。より具体的には、本実施形態に係る出力部２２０は、センサ部２１０や外部サービス４０が収集した情報から判定されるユーザによる補助器具１０の装着有無に基づいて制御される出力モードに対応する情報出力を行う機能を有する。

【0034】

この際、出力部２２０は、補助器具を習慣的に装着するユーザが補助器具１０を装着していないと判定されたことに基づいて変更される出力モードに対応する情報出力を行ってよい。

【0035】

また、出力部２２０は、上記の出力モードに対応する視覚情報や音声情報を出力する機能を有する。このため、本実施形態に係る出力部２２０は、視覚情報を出力するディスプレイ装置や音声情報を出力するスピーカを含んで構成され得る。上記のディスプレイ装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、タッチパネル、プロジェクタなどにより実現され得る。また、本実施形態に係る出力部２２０は、ＴＴＳ（Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ）などの音声合成機能を有してよい。

【0036】

（サーバ通信部２３０）
サーバ通信部２３０は、情報処理サーバ３０との情報通信を行う機能を有する。より具体的には、本実施形態に係るサーバ通信部２３０は、センサ部２１０が収集した種々のセンサ情報を情報処理サーバ３０に送信する。また、本実施形態に係るサーバ通信部２３０は、推定された行動から判定される補助器具１０の装着有無に基づいて決定された出力モードに対応する制御信号を情報処理サーバ３０から受信する。

【0037】

以上、本実施形態に係る情報処理端末２０の機能構成例について説明した。なお、上記で説明した機能構成はあくまで一例であり、本実施形態に係る情報処理端末２０の機能構成は、係る例に限定されない。本実施形態に係る情報処理端末２０は、情報処理サーバ３０が有する各種の機能を実現する構成をさらに備えてもよい。情報処理端末２０は、例えば、後述する行動推定部３１０、装着判定部３２０、出力制御部３３０、学習部３４０、学習ＤＢ３５０のうちの一部またはすべてを備えるように構成されてもよい。本実施形態に係る情報処理端末２０の機能構成は、柔軟に変更され得る。

【0038】

＜＜１．４．情報処理サーバ３０の機能構成例＞＞
次に、本実施形態に係る情報処理サーバ３０の機能構成例について説明する。図２を参照すると、本実施形態に係る情報処理サーバ３０は、行動推定部３１０、装着判定部３２０、出力制御部３３０、学習部３４０、学習ＤＢ３５０、および通信部３６０を備える。

【0039】

（行動推定部３１０）
行動推定部３１０は、情報処理端末２０や外部サービス４０から取得した情報に基づいてユーザの行動や状態を推定する機能を有する。具体的には、本実施形態に係る行動推定部３１０は、情報処理端末２０のセンサ部２１０により収集されたユーザの発話に基づいて、ユーザの行動を推定することができる。行動推定部３１０は、例えば、ユーザによる、「お風呂に入ろうかな」、という発話に基づいて、ユーザの入浴に係る行動を推定してもよい。本実施形態に係る行動推定部３１０が有する上記の機能によれば、ユーザが撮像センサの画角内に位置しない場合でも、ユーザによる補助器具１０の装着有無を判定することが可能となる。

【0040】

また、本実施形態に係る行動推定部３１０は、外部サービス４０から取得された情報に基づいて、ユーザの行動を推定することができる。行動推定部３１０は、例えば、給湯器が風呂にお湯はりを開始または終了したことに基づいて、ユーザの入浴に係る行動を推定してもよい。本実施形態に係る行動推定部３１０が有する上記の機能によれば、ユーザの行動をより高い精度で推定することが可能となる。

【0041】

さらには、本実施形態に係る行動推定部３１０は、情報処理端末２０や補助器具１０から取得されたセンサ情報に基づいて、ユーザの行動を推定することができる。行動推定部３１０は、例えば、情報処理端末２０がユーザの体温上昇を検知したことや、風呂場に設置される人感センサがユーザの所在を検知したことに基づいて、ユーザの入浴に係る行動を推定してもよい。本実施形態に係る行動推定部３１０が有する上記の機能によれば、ユーザの行動を多様な条件から推定することが可能となる。なお、本実施形態に係る行動推定の詳細については別途詳細に説明する。

【0042】

（装着判定部３２０）
装着判定部３２０は、ユーザによる補助器具１０の装着有無を判定する機能を有する。この際、本実施形態に係る装着判定部３２０は、行動推定部３１０により推定されたユーザの行動に基づいて、補助器具１０の装着有無を判定することができる。本実施形態に係る装着判定部３２０が有する上記の機能によれば、ユーザが撮像センサの画角内に位置しない場合や、補助器具１０の撮像が困難な場合においても、補助器具１０の装着有無を判定することが可能となる。

【0043】

また、本実施形態に係る装着判定部３２０は、補助器具１０を装着していない状態と関連付いて学習されたユーザの行動が推定されたことに基づいて、ユーザが補助器具１０を装着していないと判定してもよい。本実施形態に係る装着判定部３２０が有する上記の機能によれば、行動と補助器具１０の装着有無との相関をユーザごとに精度高く判定することが可能となる。なお、本実施形態に係る装着判定の詳細については別途詳細に説明する。

【0044】

（出力制御部３３０）
出力制御部３３０は、装着判定部３２０による補助器具１０の装着有無の判定に基づいて、情報処理端末２０による情報出力の出力モードを制御する機能を有する。より具体的には、本実施形態に係る出力制御部３３０は、装着判定部３２０により補助器具１０を習慣的に装着するユーザが補助器具１０を装着していないと判定されたことに基づいて、上記の出力モードを変更することができる。本実施形態に係る出力制御部３３０が有する上記の機能によれば、補助器具１０を装着していないユーザによる出力情報の知覚を補助することが可能となる。

【0045】

より具体的には、本実施形態に係る出力制御部３３０は、装着判定部３２０によりユーザが補助器具１０を装着していないと判定されたことに基づいて、情報出力に係る出力強度を制御することができる。出力制御部３３０は、例えば、情報処理端末２０が出力する文字や画像の大きさを拡大させてもよい。また、出力制御部３３０は、例えば、情報処理端末２０が出力する音声情報の音量を上げさせてもよい。本実施形態に係る出力制御部３３０が有する上記の機能によれば、補助器具１０を装着していないユーザが出力情報を知覚できる可能性を大きく向上させることができる。

【0046】

また、本実施形態に係る出力制御部３３０は、装着判定部３２０によりユーザが補助器具１０を装着していないと判定されたことに基づいて、情報処理端末２０の情報出力に係るモーダルを変更してもよい。出力制御部３３０は、例えば、眼鏡を装着していないユーザに対しては、文字情報の出力に代えて音声情報を出力させ、補聴器を装着していないユーザに対しては、音声情報に代えて文字情報を出力させることができる。本実施形態に係る出力制御部３３０が有する上記の機能によれば、補助器具１０を装着していない場合であっても、ユーザが出力情報を正確に知覚することが可能となる。

【0047】

また、本実施形態に係る出力制御部３３０は、装着判定部３２０によりユーザが補助器具１０を装着していないと判定されたことに基づいて、外部装置に出力情報を転送してもよい。出力制御部３３０は、例えば、装着判定部３２０によりユーザが眼鏡を装着していないと判定された場合、情報処理端末２０が出力すべき視覚情報をユーザが所持するスマートフォンなどの外部装置に転送することができる。本実施形態に係る出力制御部３３０が有する上記の機能によれば、補助器具１０を装着していないユーザが出力情報を知覚できる可能性をさらに向上させることができる。なお、本実施形態に係る出力制御の詳細については、別途詳細に説明する。

【0048】

（学習部３４０）
学習部３４０は、行動推定部３１０が推定したユーザの行動とユーザによる補助器具１０の装着有無とを関連付けて学習する機能を有する。この際、学習部３４０は、例えば、撮像センサにより撮像されたユーザの画像や、ユーザによる明示的な装着有無の入力に基づいて、ユーザの行動と補助器具１０の装着有無とを関連付けて学習してもよい。学習部３４０は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ニューラルネットワーク、回帰モデルなどの機械学習手法または統計的手法により上記の学習を行うことができる。

【0049】

また、学習部３４０は、出力情報に対するユーザのフィードバックに基づいて、行動と補助器具１０の装着有無とに係る再学習を行う機能を有してよい。本実施形態に係る学習部３４０が有する上記の機能によれば、例えば、一般知識に基づく学習結果をユーザごとに個人化し、より精度の高い学習を行うことが可能となる。また、本実施形態に係る学習部３４０は、上記の学習に係るデータを学習ＤＢ３５０に記憶させる機能を有する。

【0050】

（学習ＤＢ３５０）
学習ＤＢ３５０は、ユーザの行動と補助器具１０の装着有無との相関に係る学習データを記憶する機能を有する。学習ＤＢ３５０には、ユーザの行動と補助器具１０の装着有無との相関強度や、当該行動の推定時に用いられた各種の情報が関連付けて記憶されてよい。

【0051】

（通信部３６０）
通信部３６０は、情報処理端末２０や外部サービス４０との情報通信を行う機能を有する。具体的には、本実施形態に係る通信部３６０は、情報処理端末２０からユーザの発話情報やセンサ情報を受信する機能を有する。また、通信部３６０は、外部サービス４０や補助器具１０からユーザの行動推定に用いられる情報を受信する機能を有する。また、通信部３６０は、出力制御部３３０が生成する出力制御信号を情報処理端末２０に送信する機能を有する。

【0052】

以上、本実施形態に係る情報処理サーバ３０の機能構成例について説明した。なお、上記で説明した機能構成はあくまで一例であり、本実施形態に係る情報処理サーバ３０の機能構成は、係る例に限定されない。上述したとおり、本実施形態に係る情報処理サーバ３０が備える各構成のすべて、または一部は、情報処理端末２０の機能として実現されてもよい。また、情報処理サーバ３０が備える各構成の一部は、別の装置の機能として実現することもできる。例えば、学習部３４０や学習ＤＢ３５０は、情報処理サーバ３０とは異なる別の装置の機能として実現されてもよい。本実施形態に係る情報処理サーバ３０の機能構成は、柔軟に変更され得る。

【0053】

＜＜１．５．行動推定の詳細＞＞
次に、本実施形態に係る行動推定の詳細について説明する。上述したとおり、本実施形態に係る情報処理サーバ３０は、取得された種々の情報に基づいてユーザの行動を推定する機能を有する。本実施形態に係る情報処理サーバ３０は、例えば、ユーザの発話情報、外部サービス４０から取得された情報、および情報処理端末２０や補助器具１０により取得されたセンサ情報に基づいて、ユーザの行動を推定することができる。以下、本実施形態に係る行動推定について、具体例を挙げながら詳細に説明する。

【0054】

（ユーザの発話に基づく行動推定）
まず、本実施形態に係るユーザの発話に基づく行動推定について説明する。本実施形態に係る情報処理サーバ３０は、情報処理端末２０が収集した発話情報に基づいてユーザの行動を推定することができる。図３は、本実施形態に係る行動推定について説明するための図である。

【0055】

図３には、補助器具１０を装着していないユーザＰ１と、ユーザＰ１による、「お風呂入ろうかな」、という発話ＰＯ１が示されている。本実施形態に係る情報処理端末２０は、図３に示すようなユーザの発話ＰＯ１を検出し、係る情報を情報処理サーバ３０に送信してよい。図３に示す一例の場合、情報処理サーバ３０は、受信した情報に基づいて、ユーザの入浴に係る行動を推定することが可能である。

【0056】

同様に、本実施形態に係る情報処理サーバ３０は、例えば、「よいお湯だった」、という発話に基づいてユーザの入浴に係る行動を推定してもよいし、「そろそろ寝ようかな」、という発話に基づいてユーザの睡眠に係る行動を推定してもよい。

【0057】

また、補助器具１０が補聴器や集音器などである場合、ユーザが対話を行っている際には、ユーザが補助器具１０を装着していることが想定される。このため、本実施形態に係る情報処理サーバ３０は、ユーザの発話そのものを行動として推定してもよい。

【0058】

（外部サービス４０から取得される情報に基づく行動推定）
次に、本実施形態に係る外部サービス４０から取得される情報に基づく行動推定について説明する。本実施形態に係る情報処理サーバ３０は、外部サービス４０から取得された情報に基づいてユーザの行動を推定することができる。図３には、外部サービス４０が給湯器である場合の一例が示されている。この際、情報処理サーバ３０は、ネットワーク５０を介して、外部サービス４０からお湯はりの開始や終了に係る情報を受信してよい。情報処理サーバ３０は、受信した上記の情報に基づいて、ユーザの入浴に係る行動を推定することが可能である。

【0059】

また、情報処理サーバ３０は、必ずしもネットワーク５０を介して外部サービス４０の情報を取得しなくてもよい。情報処理サーバ３０は、例えば、図３に示すような外部サービス４０による音声出力ＳＯ１が検出されたことに基づいてユーザの行動を推定することもできる。この際、情報処理端末２０は、検出した外部サービス４０による音声出力ＳＯ１の情報を情報処理サーバ３０に送信してよい。

【0060】

また、図３には、外部サービス４０が給湯器である場合の一例が示されているが、本実施形態に係る外部サービス４０は、係る例に限定されない。本実施形態に係る外部サービス４０は、行動管理アプリケーションであってもよい。この場合、情報処理サーバ３０は、例えば、行動管理アプリケーションから取得したユーザのスケジュール情報に基づいて、ユーザの勉強に係る行動を推定してもよい。情報処理サーバ３０が有する上記の機能によれば、例えば、勉強をする際にはユーザが補助器具１０を装着する傾向があることなどが学習され得る。

【0061】

また、本実施形態に係る外部サービス４０は、運動管理アプリケーションであってもよい。この場合、情報処理サーバ３０は、運動管理アプリケーションから取得した運動スケジュール情報に基づいて、ユーザの運動に係る行動を推定してもよい。情報処理サーバ３０が有する上記の機能によれば、例えば、運動をする際にユーザが補助器具１０を外す傾向があることなどが学習され得る。

【0062】

また、本実施形態に係る外部サービス４０は、健康管理アプリケーションであってもよい。この場合、情報処理サーバ３０は、健康管理アプリケーションから取得されたユーザの健康状態に基づいて、ユーザの状態を推定してもよい。情報処理サーバ３０は、例えば、健康管理アプリケーションからユーザが目や耳に係る治療を受けていることを示す情報を取得することができる。情報処理サーバ３０が有する上記の機能によれば、例えば、目や耳に係る治療を受けている際には、ユーザが補助器具１０を外す傾向があることなどが学習され得る。

【0063】

また、本実施形態に係る外部サービス４０は、照明器具などの家電であってもよい。この場合、情報処理サーバ３０は、照明器具の消灯に係る情報を、ネットワーク５０を介して取得したことに基づいて、ユーザの睡眠に係る行動を推定することも可能である。または、情報処理サーバ３０は、情報処理端末２０のセンサ部２１０が有する照度センサにより照明器具の消灯が検知されたことに基づいて、ユーザの睡眠を推定してもよい。

【0064】

また、本実施形態に係る外部サービス４０は、スマートフォン、タブレット、ＰＣなどの装置であってもよい。この場合、情報処理サーバ３０は、上記のような装置から取得したユーザの検索履歴に基づいてユーザの行動を推定することができる。情報処理サーバ３０は、例えば、ユーザが検索した料理のレシピの履歴から、ユーザの料理や食事に係る行動を推定することができる。情報処理サーバ３０が有する上記の機能によれば、例えば、温かい食事をする際にユーザが補助器具１０を外す傾向があることなどが学習され得る。

【0065】

（センサ情報に基づく行動推定）
次に、本実施形態に係るセンサ情報に基づく行動推定について説明する。本実施形態に係る情報処理サーバ３０は、情報処理端末２０や補助器具１０、または別途設置されるセンサ装置により収集されたセンサ情報に基づいて、ユーザの行動を推定することができる。

【0066】

例えば、情報処理サーバ３０は、情報処理端末２０がユーザの体温上昇を検知したことに基づいて、ユーザの入浴に係る行動を推定することができる。また、例えば、情報処理サーバ３０は、情報処理端末２０が収集するセンサ情報に基づいて、ユーザが情報処理端末２０に近づいてくる動作やユーザによる情報処理端末２０の操作を推定してもよい。情報処理サーバ３０が有する上記の機能によれば、例えば、ユーザが情報処理端末２０に近づいてくる動作を行う場合や、ユーザが情報処理端末２０を手探りで操作する場合などには、ユーザが補助器具１０を外している状態が多いことなどが学習され得る。

【0067】

また、情報処理サーバ３０は、補助器具１０が収集したセンサ情報に基づいて、ユーザの行動を推定してもよい。例えば、補助器具１０が眼鏡型のウェアラブルデバイスである場合、情報処理サーバ３０は、補助器具１０から取得した加速度センサやジャイロセンサの情報に基づいて、ユーザが補助器具１０を外している状態を推定することもできる。また、情報処理サーバ３０は、ウェアラブルデバイスや補聴器などの補助器具１０が充電中であること示すセンサ情報を充電器や補助器具１０から取得したことに基づいて、上記の推定を行うことも可能である。

【0068】

また、情報処理サーバ３０は、別途設置されるセンサ装置により収集されたセンサ情報に基づいて、ユーザの行動を推定することができる。情報処理サーバ３０は、例えば、風呂場に設置される人感センサがユーザの所在を検知したことに基づいて、ユーザの入浴に係る行動を推定してもよい。

【0069】

以上、本実施形態に係る行動推定について具体例を挙げて説明した。上述したように、本実施形態に係る情報処理サーバ３０は、取得した種々の情報に基づいてユーザの行動を推定することができる。本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、ユーザの行動と補助器具１０との装着有無とを関連付けて学習することが可能となり、また学習結果に基づいてユーザの行動から補助器具１０の装着有無を判定することが可能となる。

【0070】

＜＜１．６．補助器具１０の装着有無に基づく出力制御＞＞
次に、本実施形態に係る補助器具１０の装着有無に基づく出力制御について説明する。上述したとおり、本実施形態に係る情報処理サーバ３０は、推定したユーザの行動から補助器具１０の装着有無を判定し、当該判定に基づいて情報処理端末２０の出力モードを制御する機能を有する。

【0071】

具体的には、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していないと判定した場合、情報出力に係る出力強度やモーダルを変更することができる。また、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していないと判定した場合、外部装置に出力情報を転送することができる。

【0072】

（出力強度の制御）
まず、本実施形態に係る情報処理サーバ３０による出力強度の制御について説明する。図４Ａは、情報処理サーバ３０による視覚情報に係る出力強度の制御例を示す図である。図４Ａの上部には、眼鏡型の補助器具１０を装着した状態のユーザＰ１ａと、情報処理端末２０が出力する視覚情報Ｏ１ａが示されている。ここで、図４Ａに示す視覚情報Ｏ１ａは、設定された通常のフォントサイズで出力されてよい。すなわち、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していると判定した場合、情報処理端末２０に通常サイズの視覚情報を出力させる。

【0073】

一方、図４Ａの下部には、補助器具１０を装着していない状態のユーザＰ１ｂと、情報処理端末２０が出力する視覚情報Ｏ１ｂが示されている。ここで、視覚情報Ｏ１ａと視覚情報Ｏ１ｂとを比較すると、視覚情報Ｏ１ｂは視覚情報Ｏ１ａよりも大きいフォントサイズで出力されていることがわかる。このように、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していないと判定した場合、情報処理端末２０に通常よりも大きいサイズで視覚情報を出力させる。情報処理サーバ３０は、例えば、ユーザが眼鏡を装着していない場合には、情報処理端末２０が再生するサイネージや動画の字幕サイズを大きくするなどの制御を行ってもよい。

【0074】

本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、眼鏡を装着していない場合でも、ユーザが視覚情報を知覚できる可能性を大きく向上させることができる。

【0075】

また、本実施形態に係る情報処理サーバ３０は、聴覚情報に係る出力強度の制御を行ってもよい。図４Ｂは、情報処理サーバ３０による聴覚情報に係る出力強度の制御例を示す図である。図４Ｂの上部には、補聴器型の補助器具１０を装着した状態のユーザＰ２ａと、情報処理端末２０が出力する聴覚情報Ｏ２ａが示されている。ここで、図４Ｂに示す聴覚情報Ｏ１ａは、設定された通常の音量で出力されてよい。すなわち、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していると判定した場合、情報処理端末２０に通常音量の聴覚情報を出力させる。

【0076】

一方、図４Ｂの下部には、補助器具１０を装着していない状態のユーザＰ２ｂと、情報処理端末２０が出力する聴覚情報Ｏ２ｂが示されている。ここで、聴覚情報Ｏ２ａと聴覚情報Ｏ２ｂとを比較すると、聴覚情報Ｏ２ｂは聴覚情報Ｏ２ａよりも大きな音量で出力されていることがわかる。このように、本実施形態に係る情報処理サーバ３０は、ユーザが補助器具１０を装着していないと判定した場合、情報処理端末２０に通常よりも大きな音量で聴覚情報を出力させる。本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、補聴器を装着していない場合でも、ユーザが聴覚情報を知覚できる可能性を大きく向上させることができる。

【0077】

（モーダルの制御）
次に、本実施形態に係る情報処理サーバ３０によるモーダルの制御について説明する。図５は、情報処理サーバ３０によるモーダルの制御例を示す図である。図５の上部には、眼鏡型の補助器具１０を装着していない状態のユーザＰ１ｂと、情報処理端末２０が出力する聴覚情報Ｏ２が示されている。このように、本実施形態に係る情報処理サーバ３０は、眼鏡を習慣的に装着するユーザが眼鏡を装着していないと状態であると判定した場合、通常モードで出力される視覚情報に代えて、聴覚情報を情報処理端末２０に出力させることができる。情報処理サーバ３０は、例えば、ユーザが眼鏡を装着していない場合には、情報処理端末２０が再生する動画を字幕から副音声に切り替える制御を行ってもよい。

【0078】

本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、ユーザが眼鏡を装着していない場合、音声情報による情報出力を行うことが可能となり、ユーザが出力情報を知覚できる可能性を大幅に高めることができる。

【0079】

一方、図５の下部には、補聴器型の補助器具１０を装着していない状態のユーザＰ２ｂと、情報処理端末２０が出力する視覚情報Ｏ１が示されている。このように、本実施形態に係る情報処理サーバ３０は、補聴器を習慣的に装着するユーザが補聴器を装着していないと状態であると判定した場合、通常モードで出力される聴覚情報に代えて、視覚情報を情報処理端末２０に出力させることができる。

【0080】

本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、ユーザが補聴器を装着していない場合、視覚情報による情報出力を行うことが可能となり、ユーザが出力情報を知覚できる可能性を大幅に高めることができる。

【0081】

（外部装置への出力情報の転送）
次に、本実施形態に係る外部装置への出力情報の転送について説明する。図６は、情報処理サーバ３０による外部装置６０への出力情報の転送について説明するための図である。本実施形態に係る外部装置６０は、例えば、ユーザの所持する携帯電話、スマートフォン、タブレット、ＰＣなどであってよい。図６には、眼鏡型の補助器具１０を装着していない状態のユーザＰ１ｂと、外部装置６０に転送される出力情報Ｏ３が示されている。このように、本実施形態に係る情報処理サーバ３０は、習慣的に眼鏡を装着するユーザが眼鏡を装着していない状態であると判定した場合、情報処理端末２０に出力させる出力情報を外部装置６０に転送することができる。本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、ユーザが手元にある外部装置６０を用いて出力情報を確認することができ、出力情報を知覚できる可能性を大きく向上させることが可能となる。

【0082】

なお、外部装置６０への出力情報の転送は、情報処理端末２０により実行されてもよい。この場合、情報処理サーバ３０は、情報処理端末２０に出力情報の転送を指示する制御信号を送信してよい。また、図６に示す一例では、情報処理端末２０に、外部装置６０へ出力情報を転送した旨のメッセージが表示されているが、外部装置６０に転送される出力情報は、同時に情報処理端末２０により出力されてもよい。また、図６では、情報処理サーバ３０が視覚情報の転送を行う場合の例が示されているが、情報処理サーバ３０は、聴覚情報を外部装置６０に転送してもよい。

【0083】

＜＜１．７．複数ユーザに係る出力制御＞＞
次に、本実施形態に係る複数ユーザに係る出力制御について説明する。上記では、情報処理サーバ３０が単一ユーザの補助器具１０の装着有無を判定し、当該判定に基づく出力制御を行う場合を例に述べた。一方、本実施形態に係る情報処理サーバ３０は、複数ユーザに係る補助器具１０の装着有無を判定し、当該判定に基づく出力制御を行うこともできる。以下、情報処理サーバ３０による複数ユーザに係る出力制御について、具体例を挙げて説明する。

【0084】

（補助器具１０を装着していないユーザの優先）
まず、本実施形態に係る情報処理サーバ３０による、補助器具１０を装着していないユーザを優先した出力制御の例について述べる。本実施形態に係る情報処理サーバ３０の出力制御部３３０は、装着判定部３２０が複数ユーザに係る補助器具１０の装着有無を判定した場合、補助器具１０を装着していないユーザがいると判定されたことに基づいて、出力モードを変更することができる。

【0085】

図７は、情報処理サーバ３０による補助器具１０を装着していないユーザを優先した出力制御について説明するための図である。図７には、眼鏡型の補助器具１０を装着しているユーザＰ１と補助器具１０を装着していないユーザＰ２、および情報処理端末２０により出力される聴覚情報Ｏ２が示されている。

【0086】

このように、本実施形態に係る情報処理サーバ３０は、眼鏡を装着していないユーザＰ２が出力情報を知覚できるように、通常モードで出力される視覚情報に代えて聴覚情報を出力させてもよい。すなわち、本実施形態に係る情報処理サーバ３０は、複数ユーザに係る補助器具１０の装着有無を判定し、補助器具１０を装着していないユーザを優先した出力制御を行うことができる。

【0087】

本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、補助器具１０を装着しているユーザと装着していないユーザが混在する場合でも、両ユーザが出力情報を知覚できる可能性を大きく高めることができる。

【0088】

なお、図７では、情報処理サーバ３０が情報出力に係るモーダルを制御する場合を例に述べたが、情報処理サーバ３０は、情報出力に係る出力強度を制御してもよい。

【0089】

（対象ユーザの優先）
次に、本実施形態に係る情報処理サーバ３０による、対象ユーザを優先した出力制御の例について述べる。本実施形態に係る情報処理サーバ３０の出力制御部３３０は、装着判定部３２０が複数ユーザに係る補助器具１０の装着有無を判定した場合、出力情報の対象となるユーザに係る補助器具１０の装着有無に基づいて出力モードを制御することができる。

【0090】

図８は、情報処理サーバ３０による出力情報の対象ユーザを優先した出力制御について説明するための図である。図８には、眼鏡型の補助器具１０を装着しているユーザＰ１と補助器具１０を装着していないユーザＰ２、および情報処理端末２０により出力される視覚情報Ｏ１が示されている。ここで、視覚情報Ｏ１は、ユーザＰ１を対象とした出力情報であってよい。

【0091】

このように、本実施形態に係る情報処理サーバ３０は、補助器具１０を装着していないユーザが存在する場合でも、出力情報が当該ユーザを対象とした情報でない際には、情報処理端末２０に通常モードでの出力を行わせてよい。すなわち、本実施形態に係る情報処理サーバ３０は、複数ユーザに係る補助器具１０の装着有無を判定した場合、出力情報の対象ユーザを優先した出力制御を行うことができる。

【0092】

本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、出力情報を必要とするユーザが正しく出力情報を知覚できる可能性を高めることができる。

【0093】

（複数ユーザに対応する複数の出力モードの制御）
次に、本実施形態に係る複数ユーザに対応する複数の出力モードの制御について説明する。本実施形態に係る情報処理サーバ３０の出力制御部３３０は、装着判定部３２０が複数ユーザに係る補助器具１０の装着有無を判定した場合、当該複数ユーザに対応する複数の出力モードを制御することができる。

【0094】

図９は、情報処理サーバ３０による複数ユーザに対応する複数の出力モードの制御について説明するための図である。図９には、眼鏡型の補助器具１０を装着しているユーザＰ１と補助器具１０を装着していないユーザＰ２、および情報処理端末２０により出力される視覚情報Ｏ１と聴覚情報Ｏ２が示されている。

【0095】

このように、本実施形態に係る情報処理サーバ３０は、補助器具１０を装着していないユーザと装着していないユーザが混在する場合、それぞれのユーザに対応する複数の情報出力を情報処理端末２０に行わせることができる。すなわち、本実施形態に係る情報処理サーバ３０は、補助器具１０を装着しているユーザＰ１に対応する視覚情報Ｏ１と、補助器具１０を装着していないユーザＰ２に対応する聴覚情報Ｏ２とを情報処理端末２０に出力させる。

【0096】

本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、補助器具１０を装着しているユーザと装着していないユーザが混在する場合でも、それぞれのユーザに適した出力情報の提示を行うことが可能となる。

【0097】

＜＜１．８．環境条件に基づく出力制御＞＞
次に、本実施形態に係る環境条件に基づく出力制御について説明する。上記の説明では、本実施形態に係る情報処理サーバ３０がユーザによる補助器具１０の装着有無に基づいて出力モードを変更する場合について述べた。一方、本実施形態に係る情報処理サーバ３０の出力制御部３３０は、取得された環境条件にさらに基づいて、出力モードの制御を行ってもよい。

【0098】

図１０は、本実施形態に係る情報処理サーバ３０による環境条件に基づく出力制御について説明するための図である。図１０には、眼鏡型の補助器具１０を装着していないユーザＰ２と第三者Ｐ３、および情報処理端末２０により出力される視覚情報Ｏ１が示されている。ここで、第三者Ｐ３は、例えば、図１０に示すように眠っている赤ん坊などが想定される。

【0099】

この場合、本実施形態に係る情報処理サーバ３０は、第三者Ｐ３の睡眠を妨害しないように、情報処理端末２０に聴覚情報を出力させず、視覚情報のみを出力させてよい。すなわち、本実施形態に係る情報処理サーバ３０の出力制御部３３０は、環境条件が静音環境の要求を示すことに基づいて視覚情報に係る出力モードを選択することができる。

【0100】

本実施形態に係る情報処理サーバ３０が有する上記の機能によれば、第三者の妨げにならない出力情報の提示を行うことが可能となる。

【0101】

なお、本実施形態に係る環境条件は、情報処理端末２０、外部サービス４０、外部装置６０、別途設置されるセンサ装置などから取得される種々の情報であってよい。情報処理サーバ３０は、例えば、情報処理端末２０が設置される部屋と隣接する部屋において、第三者の所在が検知されたことと照明器具が消灯していることが検知されたこととに基づいて、第三者の睡眠に係る行動を推定することができる。このように、本実施形態に係る環境条件には、推定された第三者の行動が含まれてよい。上記の第三者の行動には、睡眠のほか勉強や電話での会話などが想定される。

【0102】

＜＜１．９．出力制御の流れ＞＞
次に、本実施形態に係る情報処理サーバ３０による出力制御の流れについて説明する。図１１は、情報処理サーバ３０による出力制御の流れを示すフローチャートである。

【0103】

図１１を参照すると、まず、本実施形態に係る情報処理サーバ３０の通信部３６０が情報処理端末２０などからユーザの発話情報やセンサ情報を受信する（Ｓ１１０１）。

【0104】

また、通信部３６０は、外部サービス４０からサービス情報を受信する（Ｓ１１０２）。なお、ステップＳ１１０１における発話情報やセンサ情報の受信と、ステップＳ１１０２におけるサービス情報の受信は、図１１に示すフローとは異なる順番で行われてもよいし、同時に行われてもよい。また、ステップＳ１１０１およびステップＳ１１０２における各情報の受信は、片方のみが行われてもよい。

【0105】

次に、行動推定部３１０は、ステップＳ１１０１およびステップＳ１１０２において受信した各情報に基づいて、ユーザの行動推定を行う（Ｓ１１０３）。

【0106】

次に、装着判定部３２０は、ステップＳ１１０３で推定されたユーザの行動と学習ＤＢ３５０に記憶される学習結果とに基づいて、補助器具１０の装着有無を判定する（Ｓ１１０４）。

【0107】

ここで、装着判定部３２０が、ユーザが補助器具１０を装着していると判定した場合（Ｓ１１０４：装着）、出力制御部３３０は、通常の出力モードを設定する（Ｓ１１０５）。

【0108】

一方、装着判定部３２０が、ユーザが補助器具１０を装着していないと判定した場合（Ｓ１１０４：未装着）、出力制御部３３０は、出力モードの変更を行う（Ｓ１１０６）。

【0109】

次に、ステップＳ１１０５またはステップＳ１１０６において出力モードが設定されると、通信部３６０は、当該出力モードに応じて生成される制御信号を情報処理端末２０に送信し（Ｓ１１０７）、情報処理サーバ３０は一連の処理を終了する。

【0110】

＜＜１．１０．学習の流れ＞＞
次に、本実施形態に係る情報処理サーバ３０による学習の流れについて説明する。図１２は、情報処理サーバ３０による学習の流れを示すフローチャートである。

【0111】

図１２を参照すると、まず、本実施形態に係る情報処理サーバ３０の通信部３６０が情報処理端末２０などからユーザの発話情報やセンサ情報を受信する（Ｓ１２０１）。

【0112】

また、通信部３６０は、外部サービス４０からサービス情報を受信する（Ｓ１２０２）。なお、ステップＳ１２０１における発話情報やセンサ情報の受信と、ステップＳ１２０２におけるサービス情報の受信は、図１２に示すフローとは異なる順番で行われてもよいし、同時に行われてもよい。また、ステップＳ１２０１およびステップＳ１２０２における各情報の受信は、片方のみが行われてもよい。

【0113】

次に、行動推定部３１０は、ステップＳ１２０１およびステップＳ１２０２において受信した各情報に基づいて、ユーザの行動推定を行う（Ｓ１２０３）。

【0114】

次に、通信部３６０は、情報処理端末２０からユーザに係る画像情報を取得する（Ｓ１２０４）。

【0115】

次に、装着判定部３２０は、ステップＳ１２０４で取得された画像情報を分析し、ユーザによる補助器具１０の装着有無を判定する（Ｓ１２０５）。

【0116】

なお、ステップＳ１２０４における画像情報の取得とステップＳ１２０５における画像分析に基づく補助器具１０の装着有無判定は、必ずしも実行されなくてもよい。通信部３６０は、画像情報の代わりに、補助器具１０の装着有無に係るユーザの明示的な入力を取得してもよい。

【0117】

次に、学習部３４０は、ステップＳ１２０３において推定された行動とステップＳ１２０５において判定された補助器具１０の装着有無とを関連付けて学習を行い、学習結果を学習ＤＢ３５０に記憶させる（Ｓ１２０６）。

【0118】

＜＜１．１１．フィードバックに基づく再学習の流れ＞＞
次に、本実施形態に係るフィードバックに基づく再学習の流れについて説明する。本実施形態に係る情報処理サーバ３０は、出力情報に対するユーザのフィードバックに基づいて、行動と補助器具１０の装着有無とに係る再学習を行うことができる。図１３は、情報処理サーバ３０によるフィードバックに基づく再学習の流れを示すフローチャートである。

【0119】

図１３を参照すると、まず、情報処理サーバ３０の通信部３６０が情報処理端末２０から出力情報に対するユーザのフィードバックを受信する（Ｓ１３０１）。ここで、上記のフィードバックには、ユーザによる明示的な入力情報が含まれてよい。上記の明示的な入力情報には、例えば、ユーザによる、「今は眼鏡をかけています」、という発話や補助器具１０の装着有無を示す文字入力、ボタン操作などが挙げられる。

【0120】

また、上記のフィードバックには、ユーザによる文字サイズや音量の変更や、「大きい」、というユーザの発話など暗示的なフィードバックが含まれてよい。また、情報処理サーバ３０は、情報処理端末２０に、「今は眼鏡を装着していますか」、などの質問を出力させることで、上記のフィードバックを受信する機会を増加させてもよい。

【0121】

次に、学習部３４０は、フィードバックを受けた出力制御に係る学習データを学習ＤＢ３５０から取得する（Ｓ１３０２）。

【0122】

続いて、学習部３４０は、ステップＳ１３０１で取得したフィードバックとステップＳ１３０２で取得した学習データとの相関を推定する（Ｓ１３０３）。この際、学習部３４０は、例えば、曜日による傾向や、ユーザによる前後の行動などから上記の相関を推定してもよい。

【0123】

続いて、学習部３４０は、ステップＳ１３０１で取得したフィードバックとステップＳ１３０２で取得した学習データとに相関があるか否かを判定する（Ｓ１３０４）。すなわち、本実施形態に係る学習部３４０は、受信したフィードバックが例外ケースであるのか、あるいは規則性を伴うものであるのかを判定することができる。

【0124】

ここで、学習部３４０が、ステップＳ１３０１で取得したフィードバックとステップＳ１３０２で取得した学習データとに相関がないと判定した場合（Ｓ１３０４：Ｎｏ）、情報処理サーバ３０は、再学習に係る一連の処理を終了する。

【0125】

一方、学習部３４０が、ステップＳ１３０１で取得したフィードバックとステップＳ１３０２で取得した学習データとに相関があると判定した場合（Ｓ１３０４：Ｙｅｓ）、学習部３４０は、受信した情報に基づく再学習を実行し、学習結果を学習ＤＢ３５０に記憶させる（Ｓ１３０５）。

【0126】

＜２．ハードウェア構成例＞
次に、本開示に係る情報処理端末２０及び情報処理サーバ３０に共通するハードウェア構成例について説明する。図１４は、本開示に係る情報処理端末２０及び情報処理サーバ３０のハードウェア構成例を示すブロック図である。

【0127】

図１４を参照すると、情報処理端末２０及び情報処理サーバ３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

【0128】

（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

【0129】

（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

【0130】

（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。

【0131】

（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。

【0132】

（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

【0133】

（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

【0134】

（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

【0135】

（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

【0136】

（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

【0137】

（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

【0138】

（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。

【0139】

＜３．まとめ＞
以上説明したように、本実施形態に係る情報処理サーバ３０は、センサ情報や外部サービス４０から取得した情報に基づいてユーザの行動を推定し、当該行動と補助器具１０の装着有無とを関連付けて学習を行う機能を有する。また、情報処理サーバ３０は、推定した行動と学習結果とから、ユーザによる補助器具１０の装着有無を判定し、当該判定に基づく出力制御を行うことができる。係る構成によれば、ユーザによる補助器具の装着有無をより柔軟に判定することが可能となる。

【0140】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0141】

例えば、上記実施形態では、補助器具１０が視覚矯正器具または聴覚補助器具である場合を中心に説明したが、本技術はかかる例に限定されない。本開示に係る補助器具１０は、例えば、車椅子や歩行補助杖などの移動補助器具であってもよい。本開示に係る情報処理サーバ３０は、ユーザによる移動補助器具の装着有無を判定し、情報処理端末２０による情報出力を制御することもできる。上記の機能によれば、ユーザが、移動が困難である場合に、例えば、出力情報の出力強度を調整することで、情報処理端末２０から離れた場所に位置するユーザにも出力情報を提示することができる。

【0142】

また、例えば、本開示に係る情報処理サーバ３０は、補助器具１０以外の装着を判定し、当該判定に基づいて出力制御を行ってもよい。本開示に係る情報処理サーバ３０は、例えば、ユーザがイヤホンやヘッドホンなどを装着している場合には、視覚情報を優先して出力させるなどの制御を行うことができる。本技術によれば、ユーザの行動から種々の装置の装着有無を判定し、当該判定に基づく出力制御を行うことが可能である。

【0143】

また、本明細書の情報処理サーバ３０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理サーバ３０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

【0144】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0145】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザによる補助器具の装着有無を判定する判定部と、
前記判定部による前記補助器具の装着有無の判定に基づいて、出力モードの制御を行う出力制御部と、
を備え、
前記判定部は、推定された前記ユーザの行動に基づいて前記補助器具の装着有無を判定する、
情報処理装置。
（２）
前記出力制御部は、前記判定部により前記補助器具を習慣的に装着する前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、出力モードを変更する、
前記（１）に記載の情報処理装置。
（３）
前記判定部は、前記補助器具を装着していない状態と関連付いて学習された前記ユーザの行動が推定されたことに基づいて、前記ユーザが前記補助器具を装着していないと判定する、
前記（１）または（２）に記載の情報処理装置。
（４）
前記補助器具は、視力矯正器具または聴覚補助器具のうち少なくともいずれかを含む、
前記（１）～（３）のいずれかに記載の情報処理装置。
（５）
前記判定部は、前記ユーザの発話から推定された行動に基づいて前記補助器具の装着有無を判定する、
前記（１）～（４）のいずれかに記載の情報処理装置。
（６）
前記判定部は、外部サービスから取得された情報から推定された行動に基づいて前記補助器具の装着有無を判定する、
前記（１）～（５）のいずれかに記載の情報処理装置。
（７）
前記判定部は、取得されたセンサ情報から推定された行動に基づいて前記補助器具の装着有無を判定する、
前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、情報出力に係る出力強度を制御する、
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、情報出力に係るモーダルを変更する、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
前記出力制御部は、前記ユーザが前記補助器具を装着していないと判定されたことに基づいて、外部装置に出力情報を転送する、
前記（１）～（９）のいずれかに記載の情報処理装置。
（１１）
前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、前記補助器具を装着していないユーザがいると判定されたことに基づいて、前記出力モードを変更する、
前記（１）～（１０）のいずれかに記載の情報処理装置。
（１２）
前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、出力情報の対象となるユーザに係る前記補助器具の装着有無に基づいて前記出力モードを制御する、
前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）
前記出力制御部は、前記判定部が複数ユーザに係る前記補助器具の装着有無を判定した場合、前記複数ユーザに対応する複数の出力モードを制御する、
前記（１）～（１２）のいずれかに記載の情報処理装置。
（１４）
前記出力制御部は、取得された環境条件にさらに基づいて、前記出力モードの制御を行う、
前記（１）～（１３）のいずれかに記載の情報処理装置。
（１５）
前記出力制御部は、前記環境条件が静音環境の要求を示すことに基づいて視覚情報に係る出力モードを選択する、
前記（１４）に記載の情報処理装置。
（１６）
前記環境条件は、推定された第三者の行動を含む、
前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記ユーザの行動を推定する推定部、
をさらに備える、
前記（１）～（１６）のいずれかに記載の情報処理装置。
（１８）
ユーザの行動推定に用いられる情報を収集するセンサ部と、
前記ユーザに対する情報出力を行う出力部と、
を備え、
前記出力部は、前記センサ部または外部サービスから収集された情報から判定される前記ユーザによる補助器具の装着有無に基づいて制御される出力モードに対応する情報出力を行う、
情報処理装置。
（１９）
前記出力部は、前記補助器具を習慣的に装着する前記ユーザが前記補助器具を装着していないと判定されたことに基づいて変更される出力モードに対応する情報出力を行う、
前記（１８）に記載の情報処理装置。
（２０）
前記出力部は、前記出力モードに対応する視覚情報もしくは音声情報のいずれか、または双方に係る情報出力を行う、
前記（１８）または（１９）のいずれかに記載の情報処理装置。

【符号の説明】

【0146】

１０ 補助器具
２０ 情報処理端末
２１０ センサ部
２２０ 出力部
２３０ サーバ通信部
３０ 情報処理サーバ
３１０ 行動推定部
３２０ 装着判定部
３３０ 出力制御部
３４０ 学習部
３５０ 学習ＤＢ
３６０ 通信部
４０ 外部サービス
５０ ネットワーク
６０ 外部装置

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】