特許第6857024号(P6857024)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤマハ株式会社の特許一覧
特許6857024再生制御方法、システム、及び情報処理装置
<>
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000002
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000003
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000004
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000005
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000006
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000007
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000008
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000009
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000010
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000011
  • 特許6857024-再生制御方法、システム、及び情報処理装置 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6857024
(24)【登録日】2021年3月23日
(45)【発行日】2021年4月14日
(54)【発明の名称】再生制御方法、システム、及び情報処理装置
(51)【国際特許分類】
   H04R 3/00 20060101AFI20210405BHJP
   G06F 3/16 20060101ALI20210405BHJP
【FI】
   H04R3/00 310
   G06F3/16 530
   G06F3/16 540
【請求項の数】8
【全頁数】16
(21)【出願番号】特願2016-250790(P2016-250790)
(22)【出願日】2016年12月26日
(65)【公開番号】特開2018-107576(P2018-107576A)
(43)【公開日】2018年7月5日
【審査請求日】2019年10月11日
(73)【特許権者】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110000752
【氏名又は名称】特許業務法人朝日特許事務所
(72)【発明者】
【氏名】多田 幸生
【審査官】 堀 洋介
(56)【参考文献】
【文献】 特開2009−146192(JP,A)
【文献】 特開2012−230535(JP,A)
【文献】 特開2008−172659(JP,A)
【文献】 特開2004−312401(JP,A)
【文献】 特開2016−058798(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 3/00
G06F 3/16
(57)【特許請求の範囲】
【請求項1】
利用者の行動を特定するステップと、
前記行動中に前記利用者が利用している機能を特定するステップと、
前記利用者の前記機能に対する集中度合いの指標を特定するステップと、
特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定するステップと、
決定された前記制御内容に基づいて前記音響の再生を制御するステップと
複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを取得するステップと
を備え、
前記制御内容を決定するステップにおいて、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記音響の再生に係る制御内容が決定される
再生制御方法。
【請求項2】
前記制御内容は音量の変更を含む
ことを特徴とする請求項1に記載の再生制御方法。
【請求項3】
前記音響の再生を制御するステップにおいて、前記指標に基づいて、前記集中度合いが高い場合ほど前記音量を低くする
ことを特徴とする請求項2に記載の再生制御方法。
【請求項4】
前記制御内容は前記音響の再生の一時停止を含む
ことを特徴とする請求項1から請求項3のいずれか1項に記載の再生制御方法。
【請求項5】
前記機能に係る画像を表示する表示部に対する、前記利用者の視線を検出するステップを備え、
前記指標を特定するステップにおいて、前記視線の検出結果に基づいて、前記指標特定され
ことを特徴とする請求項1から請求項4のいずれか1項に記載の再生制御方法。
【請求項6】
前記利用者の情報の入力により指示された前記制御内容を、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方と対応付けて、記憶部に記録するステップを備え、
前記制御内容を決定するステップにおいて、特定された前記行動又は前記機能と対応付けて前記記憶部に記憶された前記制御内容に基づいて、前記音響の再生に係る制御内容を決定する
ことを特徴とする請求項1から請求項5のいずれか1項に記載の再生制御方法。
【請求項7】
利用者の行動を特定する行動特定部と、
前記行動中に前記利用者が利用している機能を特定する機能特定部と、
前記利用者の前記機能に対する集中度合いの指標を特定する指標特定部と、
特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定する決定部と、
決定された前記制御内容に基づいて前記音響の再生を制御する再生部と、
複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを記録したデータベースと、
前記データベースから前記データを取得する取得部と
を備え、
前記決定部は、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記制御内容を決定する
システム。
【請求項8】
利用者の行動を特定する行動特定部と、
前記行動中に前記利用者が利用している機能を特定する機能特定部と、
前記利用者の前記機能に対する集中度合いの指標を特定する指標特定部と、
特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定する決定部と、
決定された前記制御内容に基づいて前記音響の再生を制御する再生部と、
複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを記録したデータベースから前記データを取得する取得部と
を備え、
前記決定部は、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記制御内容を決定する
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、利用者の状況に応じて音響の再生を制御する技術に関する。
【背景技術】
【0002】
特許文献1には、運動の映像から視線を離す姿勢を含む運動を補助する発明が記載されている。この発明では、視線が離れる姿勢を含む運動であると判定した場合に、その運動に対応する音声情報を出力する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016−67519号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の発明では、利用者が運動するときの当該運動の姿勢に対して、音声情報の出力の有無が決められている。即ち、特許文献1の発明では、利用者が実際にどのような姿勢であるかを把握することを要しない。
本発明は、上述した背景の下になされたものであり、利用者が行動しているときの当該利用者の状況に応じて、音響の再生を制御することを目的とする。
ことを目的とする。
【課題を解決するための手段】
【0005】
上述した課題を解決するため、本発明の再生制御方法は、利用者の行動を特定する第1ステップと、前記行動中に前記利用者が利用している機能を特定する第2ステップと、前記利用者の前記機能に対する集中度合いの指標を特定する第3ステップと、特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定する第4ステップと、決定された前記制御内容に基づいて前記音響の再生を制御する第5ステップとを備える。
本発明の再生制御方法において、前記制御内容は音量の変更を含んでもよい。
この再生制御方法において、前記第5ステップにおいて、前記指標に基づいて、前記集中度合いが高い場合ほど前記音量を低くしてもよい。
本発明の再生制御方法において、前記制御内容は前記音響の再生の一時停止を含んでもよい。
本発明の再生制御方法において、前記機能に係る画像を表示する表示部に対する、前記利用者の視線を検出する第6ステップを備え、前記第3ステップにおいて、前記視線の検出結果に基づいて、前記指標を特定してもよい。
本発明の再生制御方法において、前記利用者の情報の入力により指示された前記制御内容を、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方と対応付けて、記憶部に記録する第7ステップを備え、前記第4ステップにおいて、特定された前記行動又は前記機能と対応付けて前記記憶部に記憶された前記制御内容に基づいて、前記音響の再生に係る制御内容を決定してもよい。
本発明の再生制御方法において、複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを取得する第8ステップを備え、前記第4ステップにおいて、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記音響の再生に係る制御内容を決定してもよい。
本発明のシステムは、利用者の行動を特定する行動特定部と、前記行動中に前記利用者が利用している機能を特定する機能特定部と、前記利用者の前記機能に対する集中度合いの指標を特定する指標特定部と、特定された前記行動と、前記機能と、前記指標とに基づいて、音響の再生に係る制御内容を決定する決定部と、決定された前記制御内容に基づいて前記音響の再生を制御する再生部と、複数の装置における、利用者の情報の入力により指示された前記制御内容と、当該入力が行われたときの前記行動、及び前記機能の少なくとも一方との関係に応じたデータを記録したデータベースと、前記データベースから前記データを取得する取得部とを備え、前記決定部は、特定された前記行動及び前記機能の少なくとも一方と、取得された前記データとに基づいて、前記制御内容を決定するシステムである。
【発明の効果】
【0006】
本発明によれば、利用者が行動しているときの当該利用者の状況に応じて、音響の再生を制御することができる。
【図面の簡単な説明】
【0007】
図1】本発明の第1実施形態に係る末装置、及び音響装置を利用する利用者を示す図である。
図2】同実施形態に係る端末装置の構成の一例を示すブロック図である。
図3】同実施形態に係る端末装置で実行される処理の一例を示すフローチャートである。
図4】本発明の第2実施形態に係る端末装置の構成の一例を示すブロック図である。
図5】同実施形態に係るテーブルの構成の一例を示す図である。
図6】同実施形態に係るテーブルの構成の一例を示す図である。
図7】同実施形態に係る端末装置で実行される処理の一例を示すフローチャートである。
図8】本発明の第3実施形態に係るシステムの全体構成の一例を示す図である。
図9】同実施形態に係る端末装置の構成の一例を示すブロック図である。
図10】同実施形態に係るデータベースの構成の一例を示す図である。
図11】同実施形態に係るシステムで実行される処理の一例を示すシーケンスチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施形態を説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る端末装置10、及び音響装置20を利用する利用者Uを示す図である。図1には、利用者Uの右耳に音響装置20が装着された様子が示されているが、左耳にも音響装置20が装着されているものとする。なお、図面においては、本実施形態の構成を分かりやすくするため、各要素の寸法を実際の寸法とは異ならせてある。
【0009】
端末装置10は、利用者Uにより利用される端末装置である。端末装置10は、例えば、アプリケーションプログラム(以下「アプリケーション」という。)を実行することにより、所定の機能を実現する。端末装置10は、少なくとも、音響を再生する機能を実現する。端末装置10は、音響を再生し、当該再生した音響に係る音響信号を音響装置20へ送信する。音響の再生は、例えば楽曲に係る音響信号を発生させる処理である。音響装置20は、外観がイヤホンと同等の装置である。音響装置20は、利用者Uの耳100に装着された状態で利用される。音響装置20は、端末装置10から音響信号を受信し、当該受信した音響信号が示す音を出力(放音)する。本実施形態では、端末装置10と音響装置20とが無線により接続されるが、有線により接続されてもよい。また、音響装置20は、イヤホン以外の音響装置、例えばヘッドフォン等であってもよい。
【0010】
図2は、端末装置10の構成の一例を示すブロック図である。端末装置10は、物理的な構成として、プロセッサ11と、センサ部12と、メモリ13と、入力部14と、撮像部15と、測位部16と、通信部17と、表示部18とを含む。
プロセッサ11は、端末装置10の各部を制御する制御部として機能する。プロセッサ11は、例えば、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、又はDSP(Digital Signal Processor)で例示されるハードウェア回路を含む。
【0011】
センサ部12は、1又は複数のセンサを含む。センサ部12は、利用者Uの行動を特定するための情報を計測する。センサ部12は、例えば、加速度センサAS、及びジャイロセンサGSを含む。加速度センサASは、端末装置10に作用した加速度を計測する。加速度センサASは、例えば3軸の加速度センサである。ジャイロセンサGSは、端末装置10に作用した角速度を計測する。ジャイロセンサGSは、例えば3軸のジャイロセンサである。
【0012】
メモリ13は、データを記憶する。メモリ13は、RAM(Random Access Memory)で例示される不揮発性メモリ、及びROM(Read only Memory)、EEPROM(Electrically Erasable ROM)、ハードディスク装置で例示される不揮発性メモリを含む記憶部である。不揮発性メモリは、例えばプロセッサ11により作業領域として用いられる。不揮発性メモリは、例えば、制御プログラムCP、アプリケーション、及び音響ファイルを記憶する。制御プログラムCPは、端末装置10を制御するためのプログラムである。アプリケーションとして、例えば、利用者Uのスケジュールを管理するためのアプリケーション(つまり、スケジューラ)、ニュースや天気予報等の情報を提供するアプリケーション、電子メールに係る機能を提供するアプリケーション(つまり、メーラ)、及びSNS(Social Networking Service)に係る機能を提供するアプリケーションがある。音響ファイルは、音響の再生に用いられるファイルである。
【0013】
入力部14は、端末装置10に情報を入力するために利用者Uにより用いられる。入力部14は、例えば、利用者Uが操作するタッチパネル又は物理ボタンを含む。入力部14は、利用者Uが音声により情報を入力するためのマイクロフォンを含んでもよい。
【0014】
撮像部15は、撮像し、当該撮像した画像を示す画像データを生成する。撮像部15は、例えば、CCD(Charge Coupled Device)で例示される撮像素子、及びレンズ151を含む。撮像部15は、いわゆるインカメラで、端末装置10を利用中である利用者Uの顔を撮像する。このため、レンズ151は、図1に示すように、端末装置10の正面側に配置されている。
【0015】
測位部16は、端末装置10(換言すると利用者U)の位置を測定(測位)し、測定した位置を示す位置情報を生成する。測位部16は、例えば、GPS(Global Positioning System)方式に基づいて測位するための受信機及び回路を含む。この場合、位置情報は、緯度及び経度の情報を含む。測位部16は、GPS以外の方式に基づいて測位してもよい。
【0016】
通信部17は、外部の装置と通信する。通信部17は、無線により通信するためのアンテナ及び回路を含む。通信部17は、例えばBluetooth(登録商標)の規格に基づいて、端末装置10に近接した音響装置20と通信する。通信部17は、Bluetooth以外の規格(例えば、Wi−Fi(登録商標))に基づいて、通信してもよい。
【0017】
表示部18は、表示面に画像を表示する。表示部18は、例えば液晶ディスプレイを含む。ただし、表示部18は、液晶方式以外の方式の表示装置(例えば、有機ELディスプレイ)を含んでもよい。
【0018】
次に、プロセッサ11の機能構成を説明する。プロセッサ11は、行動特定部111と、受付部112と、機能実行部113と、表示制御部114と、機能特定部115と、視線検出部116と、指標特定部117と、決定部118と、再生部119とを含む。プロセッサ11のこれらの機能のうち、機能実行部113を除く機能は、制御プログラムCPにより実現される。機能実行部113は、所定のアプリケーションにより実現される。
【0019】
行動特定部111は、利用者Uの行動を特定する。行動特定部111は、例えば、利用者Uが、現在、どこで、何をしているかを特定する。行動特定部111は、例えば、センサ部12により計測された情報、及び測位部16から供給された位置情報に基づいて、利用者Uの行動を特定する。また、行動特定部111は、スケジューラ機能と連携し、利用者Uのスケジュールに基づいて、利用者Uの行動を特定してもよい。また、行動特定部111は、利用者Uの過去の行動履歴に基づいて、利用者Uの行動を特定してもよい。行動特定部111は、特定した行動を、決定部118に通知する。
【0020】
受付部112は、入力部14を用いて、利用者Uによる情報の入力を受け付ける。受付部112は、入力を受け付けた情報を、機能実行部113、指標特定部117、及び再生部119に供給する。
【0021】
機能実行部113は、メモリ13に記憶されたアプリケーションに係る機能を実行する。機能実行部113は、実行中の機能、本実施形態ではフォアグラウンドで実行するアプリケーションを、機能特定部115に通知する。
【0022】
表示制御部114は、機能実行部113が実行中の機能に係る画像(画面)を、表示部18に表示させる。
【0023】
機能特定部115は、行動特定部111が特定した行動中に利用者Uが利用している機能を特定する。機能特定部115は、例えば、フォアグラウンドで実行するアプリケーションに係る機能が実行されていることを特定する。機能特定部115は、特定した機能を、指標特定部117、及び決定部118へ通知する。
【0024】
視線検出部116は、表示部18に対する利用者Uの視線を検出する。視線検出部116は、撮像部15から供給された画像データが示す画像を解析して、表示部18に利用者Uの視線が向いているかどうかを検出する。視線検出のアルゴリズムは、公知のアルゴリズムでよい。視線検出部116は、視線の検出結果を、指標特定部117に通知する。
【0025】
指標特定部117は、利用者Uの機能特定部115が特定した機能に対する集中度合いの指標を特定する。集中度合いの指標は、利用者Uが機能に集中している度合いを間接的に特定するための指標である。指標特定部117は、例えば、表示部18に表示した画像(コンテンツ)がスクロール中であるときのスクロール速度、利用者Uの操作の頻度(つまり、単位時間当たりの操作回数)、及び実行中の機能の継続利用時間のうちの1つ以上を、当該指標として特定する。スクロール速度が速く、操作の頻度が高く、又は継続利用時間が長い場合ほど、集中度合いが高いと推定される。また、指標特定部117は、視線検出部116による視線の検出結果を、指標として特定する。所定期間に占める利用者Uの視線が表示部18に向いている期間が長い場合ほど、集中度合いが高いと推定される。
【0026】
決定部118は、行動特定部111により特定された行動と、機能特定部115により特定された機能と、指標特定部117により特定された指標とに基づいて、音響の再生に係る制御内容を決定する。制御内容は、本実施形態では、音量の変更、再生の停止、所定の音(例えば、マスキング効果のある音)の出力、及びノイズキャンセリング機能の作動の1つ以上を含む。決定部118は、決定した制御内容を、再生部119に通知する。
【0027】
再生部119は、メモリ13に記憶された音響ファイルに基づいて、音響を再生する。この際、再生部119は、決定部118により決定された制御内容に基づいて、音響の再生を制御する。再生部119は、再生した音響に係る音響信号を、通信部17を用いて、音響装置20へ送信する。
【0028】
図3は、端末装置10で実行される処理の一例を示すフローチャートである。
端末装置10において受付部112は、入力部14を用いて、利用者Uからの情報の入力を受け付ける(ステップS1)。次に、端末装置10では、入力の種類が判定される(ステップS2)。機能の実行を指示する機能実行指示が入力されたと機能実行部113が判定した場合(ステップS2;機能実行指示)、機能実行部113は、指示された当該機能を実行する(ステップS3)。機能実行部113は、例えば、指示されたアプリケーションをフォアグラウンドで実行する。表示制御部114は、当該実行中の機能(アプリケーション)に係る画面を、表示部18に表示させる(ステップS4)。そして、端末装置10の処理は、ステップS1に戻される。
【0029】
ステップS2で音響の再生を指示する再生指示が入力されたと、再生部119が判定した場合、再生部119は音響を再生する(ステップS5)。具体的には、再生部119は、再生指示で指定された音響ファイルをメモリ13から読み出して、音響を再生する。利用者Uは、音響装置20により出力された音響を聴くことになる。
【0030】
音響が再生されている期間において、行動特定部111は、利用者Uの行動を特定する(ステップS6)。行動特定部111は、例えば、利用者Uが電車に乗っているかどうか、乗っている場合には現在位置がどこであるか、という行動を特定する。なお、電車に乗っているかどうかといった利用者Uの行動は、測位部16から供給された位置情報が示す位置、及び加速度センサASによって計測された加速度(より具体的には、加速度の時間的な変化)、及びジャイロセンサGSによって計測された角速度(より具体的には、角速度の時間的な変化)に基づいて推定される。利用者Uの現在位置は、測位部16から供給された位置情報が示す位置である。
【0031】
次に、機能特定部115は、行動特定部111が特定した行動中に利用者Uが利用している機能を特定する(ステップS7)。機能特定部115は、ここでは、フォアグラウンドで実行中のアプリケーションを特定する。次に、視線検出部116は、利用者Uの視線を検出する(ステップS8)。そして、指標特定部117は、実行中の機能に対する利用者Uの集中度合いの指標を特定する(ステップS9)。
【0032】
次に、決定部118は、行動特定部111により特定された行動と、機能特定部115により特定された機能と、指標特定部117により特定された指標とに基づいて、制御内容を決定する(ステップS10)。再生部119は、決定部118が決定した制御内容に基づいて、音響の再生を制御する(ステップS11)。行動、機能、及び集中度合いの指標と、制御内容との関係は、本実施形態では、予め決められているものとする。そして、端末装置10では、入力部14を用いて、利用者Uからの新たな情報の入力があったかどうかが判断される(ステップS12)。ステップS12で「NO」と判断された場合は、音響の再生を継続したまま、端末装置10の処理はステップS5に戻される。ステップS12で「YES」と判断された場合は、ステップS2に戻される。
【0033】
ここで、端末装置10における再生制御の具体例を説明する。
利用者Uが通勤中の電車の中で、端末装置10及び音響装置20を用いて音楽を聴いている場合を考える。端末装置10がニュースを提供するアプリケーションを実行し、利用者Uが当該ニュースを見ている場合、再生部119は利用者Uが指定した音量(通常音量)で、音響を再生する。利用者Uが、隙間時間に適した情報を見ている場合、又は娯楽性の高い情報を見ている場合、利用者Uは音楽も同時に楽しみたいと考えていると推察されるからである。
【0034】
次に、端末装置10により電子メールが受信され、利用者Uがこの電子メールへの返信を行おうとした場合を考える。例えば電子メールの送信元が、利用者Uの所属する会社である場合、利用者Uはその返信に係る作業に集中したい場合がある。そこで、決定部118は、機能特定部115によりメーラが特定された場合、音量を所定量だけ低下させることを決定する。再生部119は、音量を低下させる。この際、決定部118は、利用者Uが電車で移動している場合にはこの音量の変更を行うが、それ以外の場合は行わないようにしてもよい。また、決定部118は、集中度合いの指標に基づいて、音量を低下させる量を異ならせてもよい。利用者Uが表示部18に視線を向けている頻度が高いほど、実行中の機能に対する集中度が高いと推定される。そこで、決定部118は、集中度合いの指標に基づいて、利用者Uの集中度合いが高い場合ほど音量を低くする。
【0035】
その後、利用者Uの現在位置が、利用者Uが電車から降りる予定の駅に近づいた場合を考える。当該駅は、例えば、利用者Uの過去の行動履歴、スケジューラ機能、又は当該駅の事前登録に基づいて特定される。決定部118は、利用者Uの現在位置が、利用者Uが降りようとする駅の所定距離以内に近接すると、音響の再生を停止させることを決定する。そして、再生部119は、音響の再生を停止する。音響の再生の停止は、一時停止であってもよい。再生部119が音響の再生を一時停止した場合、次に当該音響の再生を開始するときは、一時停止した位置から再生を開始(再開)する。なお、一時停止でない停止の場合は、再生部119は、当該音響の先頭から再生を開始する。
このように、音響の再生が停止されることにより、利用者Uは、電車の車内アナウンスを聞きやすくなり、乗り過ごしの可能性が低くなる。この際、決定部118は、利用者Uの集中度合いが高い場合は、音響の再生を停止させるが、そうでない場合は、音量を維持又は所定量だけ下げて、音響の再生を継続してもよい。機能に対する利用者Uの集中度合いが低い場合、乗り過ごしの可能性は低いと考えられるからである。
【0036】
上述した利用者Uの行動、実行中の機能、及び集中度合いの指標と、制御内容との関係は、一例に過ぎない。決定部118は、例えば、音量の変更に代えて、音響の再生を停止させることを決定してもよい。これにより、利用者Uが、より作業に集中しやすくなる可能性があるからである。また、決定部118は、利用者Uが作業に集中しやすくなるように、所定の音を再生することを決定してもよい。この場合、再生部119は、ピンクノイズ、及びホワイトノイズで例示される、外部の音をマスキングする効果のある音(マスキング音)を再生してもよい。また、決定部118は、利用者Uが作業に集中しやすくなるように、ノイズキャンセリング機能を作動させることを決定してもよい。
【0037】
以上説明した第1実施形態の端末装置10によれば、利用者Uが行動しているときの利用者Uの状況に応じて、音響の再生を自律的に制御することができる。これにより、端末装置10は、利用者Uの行動、その行動中に利用する機能、及び当該機能に対する集中度合いに応じた、利用者Uにとって望ましい方法で、音響を再生することができる。
【0038】
[第2実施形態]
次に、本発明の第2実施形態を説明する。本実施形態の端末装置は、利用者U自らが調整した音量の変更を学習して、音響の再生の自律的な制御を行う点で、上述した第1実施形態と相違する。以下で説明する要素又は処理ステップのうち、上述した第1実施形態と同じ要素又は処理ステップについては同じ符号を用いて表し、対応する要素又は処理ステップについては符号の末尾に「A」を付して表す。
【0039】
図4は、端末装置10Aの構成の一例を示すブロック図である。端末装置10Aの物理的な構成は、上述した第1実施形態と同じである。ただし、本実施形態では、メモリ13にテーブルTが記憶されている。また、プロセッサ11の機能として、記録部120が含まれている。プロセッサ11の機能として、決定部118に代えて決定部118Aが含まれる。端末装置10Aのその余の構成は、端末装置10と同じである。
【0040】
プロセッサ11において、記録部120は、入力部14を用いた利用者Uの情報の入力により指示された制御内容を、当該入力が行われたときの利用者Uの行動、及び実行中の機能の少なくとも一方と対応付けて、メモリ13のテーブルTに記録する。決定部118Aは、利用者Uの行動、及び実行中の機能の少なくとも一方と対応付けてテーブルTに記録された制御内容に基づいて、音響の再生に係る制御内容を決定する。
【0041】
図5、及び図6は、テーブルTの構成の一例を示す図である。図5に示すテーブルTでは、行動「電車」に対応付けて、機能、及び「音量変更」が対応付けられている。「音量変更」は、音響の再生に係る制御内容の一例である。
行動「電車」は、利用者Uが電車に乗っていることを示す。図5の場合、利用者Uが電車に乗っているときに、機能「ニュース」、及び「SNS」が実行中のときには音量を変更しなかったが、機能「メール」(メーラ)が実行中のときには音量のレベルを「4」だけ低下させたことを意味する。図6に示すときのテーブルTでは、「電車(○駅〜#駅)」は、利用者Uが電車に乗って、○駅と#駅との間を移動していることを示す。図6の場合、利用者Uが電車に乗ってB駅とC駅との間を移動しているとき、機能「ニュース」、「メール」、及び「SNS」のいずれの実行中であっても、音量のレベルを「5」〜「7」だけ上昇させたことを意味する。
【0042】
図7は、端末装置10Aで実行される処理の一例を示すフローチャートである。
端末装置10において受付部112は、入力部14を用いて、利用者Uからの情報の入力を受け付ける(ステップS1)。次に、端末装置10では、その情報の入力の種類が判定される(ステップS2)。ここで、制御内容の変更を指示する変更指示が入力されたと再生部119が判定した場合(ステップS2;変更指示)、再生部119は変更指示で指示された制御内容に基づいて、音響の再生を制御する(ステップS13)。
【0043】
次に、行動特定部111は、利用者Uの行動を特定する(ステップS14)。次に、機能特定部115は、ステップS6の行動中に利用者Uが利用している機能を特定する(ステップS15)。
【0044】
次に、記録部120は、ステップS13の制御内容を、当該制御内容の入力が行われたときの利用者Uの行動、及び実行中の機能と対応付けて、メモリ13のテーブルTに記録する(ステップS16)。そして、端末装置10Aの処理は、ステップS12に進む。
【0045】
ステップS2で「再生指示」と判定された場合、上述した第1実施形態と同様、端末装置10AではステップS5〜S9の処理が実行される。次に、決定部118Aは、行動特定部111により特定された行動と、機能特定部115により特定された機能と、指標特定部117により特定された指標と、テーブルTとに基づいて、制御内容を決定する(ステップS10A)。再生部119は、決定部118Aが決定した制御内容に基づいて、音響の再生を制御する(ステップS11)。そして、端末装置10Aの処理は、ステップS12に進む。
【0046】
ここで、端末装置10Aにおける再生制御の具体例を説明する。
テーブルTが図5に示す状態であった場合を考える。この場合、利用者Uは、機能として「ニュース」又は「SNS」の利用中は音量を低下させていない。よって、隙間時間に適した情報を見ている場合、又は娯楽性の高い情報を見ている場合は、利用者Uは、自身が指定した音量で音響を聴きたいと考えている、と推定される。一方、利用者Uは、機能として「メール」の利用中は音量を「4」だけ低下させている。よって、「メール」に係る作業の実行中は、利用者Uが、音量を低下させて当該作業に集中したいと考えている、と推察される。そこで、決定部118Aは、ステップS10Aでは、実行中の機能が「ニュース」又は「SNS」である場合は、音量を変更(低下)させない。この際、決定部118Aは、行動、及び集中度合いの指標によらないで、音量を変更さないようにしてもよい。また、決定部118Aは、実行中の機能が「メール」である場合は、音量を所定量だけ低下させる。この際、決定部118Aは、例えば、音量を「4」だけ低下させる。また、決定部118Aは、行動、及び集中度合いの指標に応じて、音量を変更させる量を異ならせてもよい。例えば、決定部118Aは、行動が「電車」である場合は音量を低下させるが、他の行動の場合は低下させない。また、決定部118Aは、集中度が高いことを示す指標である場合ほど、音量を低下させる量を大きくしてもよい。
【0047】
次に、テーブルTが図6に示す状態であった場合を考える。この場合、利用者Uは、機能によらないで、A駅とB駅との間で音量を上昇させていることから、B駅とC駅との間では周辺が騒がしいと推定される。そこで、決定部118Aは、ステップS10Aでは、B駅とC駅との間では、音量を所定量だけ上昇させる。この際、決定部118Aは、例えば、過去の音量の変更量の平均である「6」だけ上昇させる。また、決定部118Aは、行動、及び集中度合いの指標に基づいて、音量を変更させる量を変更させてもよい。例えば、決定部118Aは、集中度が高いことを示す指標の場合ほど、音量を上昇させる量を小さくしてもよい。
なお、上述した利用者Uの行動、実行中の機能、及び集中度合いの指標と、制御内容との関係は、一例に過ぎない。本実施形態において、制御内容が音量の変更でなくてもよい。
【0048】
以上説明した第2実施形態の端末装置10Aによれば、上述した第1実施形態と同様の効果に加え、利用者Uがどの状況のときにどのように音量を変更させたか学習して、音響の再生の自律的な制御を行うことができる。これにより、個々の利用者の好みに合った態様で、自律的に音響の再生に係る制御を行うことができる。
【0049】
[第3実施形態]
次に、本発明の第3実施形態を説明する。本実施形態の端末装置は、他の端末装置の利用者が調整した音量の変更に基づいて、自律的に音響の再生に係る制御を行う点で、上述した第2実施形態と相違する。以下で説明する要素又は処理ステップのうち、上述した第1実施形態と同じ要素又は処理ステップについては同じ符号を用いて表し、対応する要素又は処理ステップについては符号の末尾に「B」を付して表す。
【0050】
図8は、本実施形態に係るシステム1の全体構成を示す図である。システム1は、複数の端末装置10Bと、サーバ装置30とを含む。複数の端末装置10Bのうちの1台を、利用者Uが利用するものとする。複数の端末装置10Bの各々の構成は、互いに同じである。複数の端末装置10B、及びサーバ装置30は、ネットワークNW経由の通信を行う。ネットワークNWは、例えば、インターネット、無線通信網、及びゲートウェイ装置を含む通信回線である。複数の端末装置10Bは、ネットワークNW経由で、サーバ装置30と通信する。
【0051】
サーバ装置30は、複数の端末装置10Bの各々から、音響の再生に係る制御内容を収集し、データベース310に記録する。データベース310は、例えばハードディスク装置により実現されるが、それ以外の記憶装置により実現されてもよい。また、サーバ装置30は、データベース310に記録したデータに基づいて、実行すべき音響の再生に係る制御内容を、各端末装置10Bに通知する。
【0052】
図9は、端末装置10Aの構成の一例を示すブロック図である。端末装置10Aの物理的な構成は、第2通信部19を備える点を除き、上述した第1実施形態と同じである。第2通信部19は、ネットワークNWと無線により通信する。第2通信部19は、例えば通信回路及びアンテナを含む。また、プロセッサ11の機能として、送信部121、及び取得部122が含まれている。プロセッサ11の機能として、決定部118に代えて決定部118Bが含まれる。端末装置10Aのその余の構成は、端末装置10と同じである。
【0053】
プロセッサ11において、送信部121は、入力部14を用いた利用者Uからの情報の入力に応じた制御内容を、当該入力が行われたときの利用者Uの行動、及び実行中の機能の少なくとも一方と対応付けて、第2通信部19を用いてサーバ装置30へ送信する。サーバ装置30は、複数の端末装置10Bの各々から、入力部14を用いた利用者Uの入力に応じた制御内容を、当該入力が行われたときの利用者の行動、及び実行中の機能の少なくとも一方と対応付けて、データベース310に記録する。
【0054】
図10は、データベース310の構成の一例を示す図である。データベース310は、入力部14を用いた利用者の情報の入力により指示された制御内容を、端末IDと、当該入力が行われたときの利用者Uの行動、及び実行中の機能とが対応付けて記録されている。端末IDは、端末装置10Bの識別子である。このように、データベース310は、図5,6で説明したテーブルTに記録されるデータを、複数の端末装置10Bについて記録した構成に等しい。
【0055】
取得部122は、サーバ装置30から、複数の端末装置10Bにおける制御内容と、利用者の行動及び機能の少なくとも一方との関係に応じたデータを、第2通信部19を用いて取得する。決定部118Bは、利用者Uの行動及び機能の少なくとも一方と、サーバ装置30から取得されたデータとに基づいて、音響の再生の制御内容を決定する。
【0056】
図11は、端末装置10Bで実行される処理の一例を示すフローチャートである。
端末装置10Bにおいて受付部112は、入力部14を用いて、変更指示の入力を受け付ける(ステップS21)。再生部119は、この変更指示で指示された制御内容に基づいて、音響の再生を制御する(ステップS22)。次に、行動特定部111は、利用者Uの行動を特定する(ステップS23)。次に、機能特定部115は、行動中に利用者Uが利用している機能を特定する(ステップS24)。
【0057】
次に、送信部121は、第2通信部19を用いて、ステップS22の制御内容を、当該制御内容の入力が行われたときの利用者Uの行動、及び実行中の機能と対応付けて、サーバ装置30へ送信(アップロード)する(ステップS25)。この送信のタイミングは任意でよく、定期的なタイミング(例えば1日1回)でもよいし、利用者Uにより指示されたタイミングでもよい。そして、サーバ装置30は、端末装置10Bから受信した、制御内容と、当該制御内容の入力が行われたときの利用者Uの行動、及び実行中の機能との関係を、データベース310に記録する(ステップS26)。
端末装置10Bからサーバ装置30へのデータのアップロードに係る処理は、以上である。次に、端末装置10Bがサーバ装置30からデータをダウンロードに係る処理を説明する。
【0058】
取得部122は、サーバ装置30から、複数の端末装置10Bにおける制御内容と、利用者の行動及び機能との関係に応じたデータを、第2通信部19を用いて取得(ダウンロード)する(ステップS27,S28)。この取得のタイミングは任意でよく、定期的なタイミング(例えば1日1回)でもよいし、利用者Uにより指示されたタイミングでもよい。
【0059】
再生部119により音響の再生が開始されると(ステップS29)、行動特定部111は、利用者Uの行動を特定する(ステップS30)。次に、機能特定部115は、行動中に利用者Uが利用している機能を特定する(ステップS31)。次に、視線検出部116は、利用者Uの視線を検出する(ステップS32)。そして、指標特定部117は、実行中の機能に対する利用者Uの集中度合いの指標を特定する(ステップS33)。
【0060】
そして、決定部118Bは、行動特定部111により特定された行動、機能特定部115により特定された機能、及び指標特定部117により特定された指標と、ステップS28で取得したデータとに基づいて、制御内容を決定する(ステップS34)。再生部119は、決定部118Bが決定した制御内容に基づいて、音響の再生を制御する(ステップS35)。
【0061】
図10に示すデータベース310である場合、決定部118Bは、A駅とB駅との間において、機能として「メール」の利用中は、音量を所定量下げ、「ニュース」又は「SNS」の利用中は、音量を変更(低下)させないようにする。複数の利用者が、かかる音量の変更をしているからである。また、利用者Uが電車に乗ってB駅とC駅との間を移動しているときは、決定部118Bは、実行中の機能によらないで、音量を所定量だけ上昇させる。複数の利用者が、かかる音量の変更をしているからである。
なお、上述した利用者Uの行動、実行中の機能、及び集中度合いの指標、並びにデータベース310と、制御内容との関係は、一例に過ぎない。本実施形態において、制御内容が音量の変更でなくてもよい。
【0062】
以上説明した第3実施形態の端末装置10Bによれば、上述した第1実施形態と同様の効果に加え、利用者Uが端末装置10Bの使用開始直後であっても、他の端末装置10Bにおける制御内容に基づいて、自律的に音響の再生に係る制御を行うことができる。
【0063】
[変形例]
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
上述した実施形態では、利用者Uは、音響装置20を用いて音響信号が示す音を聴いていたが、端末装置10(10A,10B)に設けられたスピーカからの音を聴取してもよい。利用者Uが耳に装着する音響装置20に代えて、固定的に配置される音響装置が用いられてもよい。当該音響装置は、例えば利用者Uの自宅等の場所に配置される放音装置で、音響信号が示す音を出力する。
【0064】
本発明の端末装置は、音響を再生する機能を有する外部の装置における、当該音響の再生を制御してもよい。この場合、当該端末装置は、音響の再生に係る制御内容を指示するデータを、当該外部装置に送信する。当該外部の装置は、例えばミュージックプレーヤであるが、パーソナルコンピュータ、テレビジョン、ハードディスクレコーダ等の、音響を再生する機能を有する装置であればよい。このように、本発明の端末装置は、少なくとも、利用者の行動、行動中に利用者が利用している機能、及び利用者の集中度合いの指標を特定し、これらに基づいて、音響の再生に係る制御内容を決定すればよい。
【0065】
本発明の端末装置は、利用者が手に持って使用する形態の装置でなくてもよい。本発明の端末装置は、眼鏡型、腕時計型、リストバンド型等の、利用者の身体の部位に装着可能な装置(つまり、ウェアラブルコンピュータ)であってもよい。
【0066】
本発明の機能は、アプリケーションにより実行される機能以外の機能、例えば、オペレーティングシステム、ミドルウェア等の、アプリケーション以外のソフトウェアにより実行される機能であってもよい。また、上述した実施形態で説明した、利用者の行動、機能、集中度合いの指標の具体的内容はあくまで一例であり、種々の変形が可能である。
【0067】
上述した実施形態のプロセッサ11が実現する機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の連携によって実現され得る。プロセッサ11の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk))等)、光記録媒体(光ディスク等)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、音響の再生を制御する再生制御方法として特定することもできる。
【符号の説明】
【0068】
1…システム、10,10A,10B…端末装置、11…プロセッサ、111…行動特定部、112…受付部、113…機能実行部、114…表示制御部、115…機能特定部、116…視線検出部、117…指標特定部、118,118A,118B…決定部、119…再生部、120…記録部、121…送信部、122…取得部、12…センサ部、13…メモリ、14…入力部、15…撮像部、16…測位部、17…通信部、18…表示部、19…第2通信部、20…音響装置、30…サーバ装置、310…データベース、AS…加速度センサ、GS…ジャイロセンサ、T…テーブル。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11