IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤフー株式会社の特許一覧

特開2024-155190情報提供装置、情報提供方法および情報提供プログラム
<>
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図1
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図2
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図3
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図4
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図5
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図6
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図7
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図8
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図9
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図10
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図11
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図12
  • 特開-情報提供装置、情報提供方法および情報提供プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155190
(43)【公開日】2024-10-31
(54)【発明の名称】情報提供装置、情報提供方法および情報提供プログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20241024BHJP
   G06F 3/16 20060101ALI20241024BHJP
   G01C 21/34 20060101ALI20241024BHJP
   G08G 1/005 20060101ALI20241024BHJP
【FI】
G06F3/01 510
G06F3/16 690
G01C21/34
G08G1/005
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023069664
(22)【出願日】2023-04-20
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 公開情報.pdf
(71)【出願人】
【識別番号】500257300
【氏名又は名称】LINEヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】二宮 一浩
(72)【発明者】
【氏名】ソウ カカ
(72)【発明者】
【氏名】植原 さり唯
(72)【発明者】
【氏名】渡邉 慶明
【テーマコード(参考)】
2F129
5E555
5H181
【Fターム(参考)】
2F129AA02
2F129BB22
2F129BB26
2F129DD13
2F129DD15
2F129DD19
2F129DD20
2F129DD45
2F129EE02
2F129EE43
2F129EE52
2F129EE78
2F129EE79
2F129EE81
2F129EE84
2F129EE96
2F129FF12
2F129FF15
2F129FF20
2F129FF32
2F129FF56
2F129FF58
2F129FF59
2F129FF62
2F129FF63
2F129FF65
2F129FF68
2F129HH02
2F129HH12
2F129HH19
2F129HH20
2F129HH33
2F129HH35
5E555AA44
5E555AA64
5E555AA76
5E555BA04
5E555BB38
5E555BC04
5E555BE10
5E555CA44
5E555CA50
5E555CB21
5E555CB66
5E555CC01
5E555DA02
5E555DA23
5E555DD06
5E555DD07
5E555EA07
5E555EA09
5E555EA25
5E555FA00
5H181AA21
5H181BB04
5H181BB05
5H181BB13
5H181BB20
5H181EE13
5H181FF13
5H181FF22
5H181FF25
5H181FF33
5H181FF40
(57)【要約】
【課題】アプリケーションの利用者の利便性を向上させること。
【解決手段】情報提供装置10は、利用者Uの頭部動作に関する動作情報を収集し、収集した動作情報に基づいて、利用者Uの頭部動作を推定し、推定した頭部動作に基づいて、利用者Uが利用する所定のアプリケーションに関する提供情報を生成し、生成した提供情報を利用者Uに通知する。
【選択図】図1
【特許請求の範囲】
【請求項1】
利用者の頭部の動作に関する動作情報を収集する収集部と、
前記動作情報に基づいて、前記利用者の前記動作を推定する推定部と、
推定された前記動作に基づいて、前記利用者が利用する所定のアプリケーションに関する提供情報を生成する生成部と、
前記提供情報を前記利用者に通知する通知部と、
を備えることを特徴とする情報提供装置。
【請求項2】
前記収集部は、
前記利用者が装着するイヤホンまたはヘッドホンを介して前記動作情報を収集し、
前記通知部は、
前記イヤホンまたは前記ヘッドホンを介して前記提供情報を前記利用者に通知する、
ことを特徴とする請求項1に記載の情報提供装置。
【請求項3】
前記収集部は、
ジャイロセンサが搭載された前記イヤホンまたは前記ヘッドホンによって取得されるセンサデータを前記動作情報として収集する、
ことを特徴とする請求項2に記載の情報提供装置。
【請求項4】
前記推定部は、
前記動作として、前記利用者の上向き動作、下向き動作、左向き動作、右向き動作、首振り動作、または視線方向を推定する、
ことを特徴とする請求項1に記載の情報提供装置。
【請求項5】
前記生成部は、
推定された前記動作に応じて、徒歩でのルート案内を実行するアプリケーションに関する前記提供情報を生成する、
ことを特徴とする請求項1に記載の情報提供装置。
【請求項6】
前記生成部は、
推定された前記動作が上向き動作である場合には、前記提供情報として前記利用者が移動するルート上の天気に関する気象情報を生成する、
ことを特徴とする請求項5に記載の情報提供装置。
【請求項7】
前記生成部は、
推定された前記動作が下向き動作である場合には、前記提供情報として前記利用者に直前に提供されたルート案内を含むルート案内情報を生成する、
ことを特徴とする請求項5に記載の情報提供装置。
【請求項8】
前記推定部は、
前記利用者の前記動作情報ごとに前記動作を学習した機械学習モデルを用いて、前記利用者の前記動作を推定する、
ことを特徴とする請求項1から7のうちいずれか1項に記載の情報提供装置。
【請求項9】
情報提供装置によって実行される情報提供方法であって、
利用者の頭部の動作に関する動作情報を収集する収集工程と、
前記動作情報に基づいて、前記利用者の前記動作を推定する推定工程と、
推定された前記動作に基づいて、前記利用者が利用する所定のアプリケーションに関する提供情報を生成する生成工程と、
前記提供情報を前記利用者に通知する通知工程と、
を含むことを特徴とする情報提供方法。
【請求項10】
利用者の頭部の動作に関する動作情報を収集する収集手順と、
前記動作情報に基づいて、前記利用者の前記動作を推定する推定手順と、
推定された前記動作に基づいて、前記利用者が利用する所定のアプリケーションに関する提供情報を生成する生成手順と、
前記提供情報を前記利用者に通知する通知手順と、
をコンピュータに実行させることを特徴とする情報提供プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提供装置、情報提供方法および情報提供プログラムに関する。
【背景技術】
【0002】
従来、スマートフォン等の端末装置に地図画面を表示するとともに、徒歩で目的地に向かう利用者に対して、音声によって目的地までのルート案内(ナビゲーション)をするアプリケーション(適宜、「地図アプリ」)に関する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-136901号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術は、徒歩での地図アプリを利用する利用者の利便性を向上させる上で改善の余地がある。例えば、従来技術では、音声によるルート案内中に、次の曲がり角や全体の進捗等を知りたい場合には、スマートフォン等の端末装置を取り出してロックを解除し、さらに地図アプリの地図画面を目視して確認する必要がある。
【0005】
本願は、上記に鑑みてなされたものであって、利用者の利便性を向上させる情報提供装置、情報提供方法および情報提供プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る情報提供装置は、利用者の頭部の動作に関する動作情報を収集する収集部と、前記動作情報に基づいて、前記利用者の前記動作を推定する推定部と、推定された前記動作に基づいて、前記利用者が利用する所定のアプリケーションに関する提供情報を生成する生成部と、前記提供情報を前記利用者に通知する通知部と、を備えることを特徴とする。
【0007】
また、本発明に係る情報提供方法は、情報提供装置によって実行される情報提供方法であって、前記動作情報に基づいて、前記利用者の前記動作を推定する推定工程と、推定された前記動作に基づいて、前記利用者が利用する所定のアプリケーションに関する提供情報を生成する生成工程と、前記提供情報を前記利用者に通知する通知工程と、を含むことを特徴とする。
【0008】
また、本発明に係る情報提供プログラムは、前記動作情報に基づいて、前記利用者の前記動作を推定する推定手順と、推定された前記動作に基づいて、前記利用者が利用する所定のアプリケーションに関する提供情報を生成する生成手順と、前記提供情報を前記利用者に通知する通知手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【0009】
本発明では、アプリケーションの利用者の利便性を向上させることができる。
【図面の簡単な説明】
【0010】
図1図1は、実施形態に係る情報提供システムの構成例および処理例を示す図である。
図2図2は、実施形態に係る情報提供システムの構成例を示すブロック図である。
図3図3は、実施形態に係る情報提供装置の構成例を示すブロック図である。
図4図4は、実施形態に係る情報提供装置の利用者情報記憶部の一例を示す図である。
図5図5は、実施形態に係る情報提供装置の提供情報記憶部の一例を示す図である。
図6図6は、実施形態に係る利用者端末の構成例を示すブロック図である。
図7図7は、実施形態に係る利用者端末の表示画面の具体例1を示す図である。
図8図8は、実施形態に係る利用者端末の表示画面の具体例2を示す図である。
図9図9は、実施形態に係る利用者端末の表示画面の具体例3を示す図である。
図10図10は、実施形態に係る利用者端末の表示画面の具体例4を示す図である。
図11図11は、実施形態に係るイヤホンの構成例を示すブロック図である。
図12図12は、実施形態に係る情報提供処理の流れの一例を示すフローチャートである。
図13図13は、ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0011】
以下に、本願に係る情報提供装置、情報提供方法および情報提供プログラムを実施するための形態(以下、実施形態)について図面を参照しつつ詳細に説明する。なお、この実施形態により、本願に係る情報提供装置、情報提供方法および情報提供プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0012】
〔実施形態〕
以下に、実施形態に係る情報提供システム100の構成および処理、情報提供装置10等の構成および処理、情報提供処理の流れを順に説明し、最後に実施形態の効果を説明する。
【0013】
〔1.情報提供システム100の構成および処理〕
図1を用いて、実施形態に係る情報提供システム100の構成および処理を説明する。図1は、実施形態に係る情報提供システム100の構成例および処理例を示す図である。以下では、情報提供システム100の構成例、情報提供システム100の処理例、情報提供システム100の効果の順に説明する。
【0014】
(1-1.情報提供システム100の構成例)
図1に示した情報提供システム100は、情報提供装置10、利用者端末20およびイヤホン30を有する。ここで、情報提供装置10と利用者端末20とは、図示しない所定の通信網を介して、有線または無線により通信可能に接続される。また、利用者端末20とイヤホン30とは、図示しない所定の通信手段を介して、有線または無線により通信可能に接続される。なお、情報提供システム100には、複数台の情報提供装置10、複数台の利用者端末20、または、複数個もしくは複数組のイヤホン30が含まれてもよい。
【0015】
(1-1-1.情報提供装置10)
情報提供装置10は、利用者端末20との間でデータの送受信を行う装置であり、例えば、サーバ装置やクラウドシステム等により実現される。図1の例では、情報提供装置10がサーバ装置により実現される場合を示す。
【0016】
(1-1-2.利用者端末20)
利用者端末20は、利用者Uによって使用されるデバイス(コンピュータ)である。利用者端末20は、利用者Uによる操作を受け付ける。また、利用者端末20は、利用者Uによって利用されるアプリケーションがインストールされる。なお、利用者端末20は、例えば、スマートフォンや、タブレット型端末や、スマートウォッチや、ノート型PC(Personal Computer)や、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。図1の例では、利用者端末20がスマートフォンにより実現される場合を示す。
【0017】
以下では、利用者Uによって利用されるアプリケーションとして、利用者Uが徒歩で目的地まで到着するまでの経路を音声でナビゲーションする地図アプリについて説明するが、利用者Uが利用するアプリケーションは特に限定されない。
【0018】
また、以下では、利用者端末20を利用者Uと表記する場合がある。すなわち、利用者Uを利用者端末20と読み替えることもできる。また、利用者Uを複数の対象者を表わすものとして使用することがある。
【0019】
(1-1-3.イヤホン30)
イヤホン30は、利用者Uが耳付近に装着する機器であって、電気信号を音響信号や振動信号に変換する変換器である。また、イヤホン30は、角速度を検知するジャイロセンサを有するが、利用者Uの頭部の動作(適宜、「頭部動作」)を検知するセンサを有すればよく、センサの種別は特に限定されない。また、イヤホン30は、有線方式でも無線方式でもよい。さらに、イヤホン30は、利用者Uがヘッドバンド等によって頭部に装着するヘッドホンであってもよい。
【0020】
(1-2.情報提供システム100の処理例)
以下では、情報提供システム100全体の処理例について説明する。なお、下記のステップS1~S5の処理は、異なる順序で実行することもできる。また、下記のステップS1~S5の処理のうち、省略される処理があってもよい。
【0021】
(1-2-1.動作情報通信処理)
情報提供システム100において、第1に、イヤホン30は、利用者端末20との間で動作情報を通信する(ステップS1)。例えば、イヤホン30は、利用者Uの動作情報を取得し、無線通信手段としてBluetooth(登録商標)を用いて、利用者端末20に動作情報を送信する。ここで、動作情報とは、利用者Uの頭部動作を推定するための情報であって、例えばイヤホン30に内蔵されるジャイロセンサ等のセンサを介して取得した、利用者Uの頭部の回転や向きの変化を示す角速度等の電気信号である。
【0022】
(1-2-2.動作情報送信処理)
情報提供システム100において、第2に、利用者端末20は、情報提供装置10に動作情報を送信する(ステップS2)。例えば、利用者端末20は、インターネット回線を用いて、イヤホン30から受信した動作情報を情報提供装置10に送信する。
【0023】
(1-2-3.頭部動作推定処理)
情報提供システム100において、第3に、情報提供装置10は、利用者Uの動作情報から利用者Uの頭部動作を推定する(ステップS3)。例えば、情報提供装置10は、ステップS3(1)に示すように、利用者Uの上向き動作を推定する。このとき、情報提供装置10は、例えば利用者Uが上を見上げて1.5秒経過した場合には、利用者Uの上向き動作を推定する。また、情報提供装置10は、ステップS3(2)に示すように、利用者Uの下向き動作を推定する。このとき、情報提供装置10は、例えば利用者Uが下を向いて1.5秒経過した場合には、利用者Uの下向き動作を推定する。さらに、情報提供装置10は、利用者Uの首振り動作(例:上下の首振り、左右の首振り)や、利用者Uの視線方向を推定してもよい。
【0024】
上記の頭部動作推定処理において、情報提供装置10は、学習済みの機械学習モデルを用いて利用者Uの頭部動作を推定することができる。例えば、情報提供装置10は、利用者Uごとの動作情報と、実際の頭部動作との関係性を学習したDNN(Deep Neural Network)等の機械学習モデルを用いて、頭部動作ごとの確率を出力することによって、利用者Uの頭部動作を推定する。
【0025】
(1-2-4.提供情報生成処理)
情報提供システム100において、第4に、情報提供装置10は、利用者Uに提供する提供情報を生成する(ステップS4)。ここで、提供情報とは、利用者Uが利用者端末20を介して利用するアプリケーションにおいて提供される情報であって、例えば利用者Uが利用している地図アプリが提供する気象情報やルート案内情報である。
【0026】
例えば、情報提供装置10は、利用者Uの上向き動作を推定した場合には、天気予報API(Application Programming Interface)を参照し、利用者Uが移動するルート上の雨雲の状況等の天気に関する気象情報を生成する。また、情報提供装置10は、利用者Uの下向き動作を推定した場合には、利用者Uの現在位置を特定し、利用者Uに直前に提供されたルート案内を含むルート案内情報を生成する。なお、気象情報やルート案内情報の具体例については後述する。
【0027】
さらに、情報提供装置10は、利用者Uの上下の首振り動作を推定した場合には、利用者Uが利用している地図アプリにおいて「YES」の指示を示す提供情報を生成したり、利用者Uの左右の首振り動作を推定した場合には、利用者Uが利用している地図アプリにおいて「NO」の指示を示す提供情報を生成したりすることもできる。また、情報提供装置10は、利用者Uが一定時間視線を固定することによって視線方向を推定した場合には、利用者Uが利用している地図アプリにおいて、利用者Uの視線方向にある建物、山、川等の名称を示す提供情報を生成することもできる。
【0028】
(1-2-5.提供情報通知処理)
情報提供システム100において、第5に、情報提供装置10は、利用者端末20に提供情報を通知する(ステップS5)。例えば、情報提供装置10は、インターネット回線を用いて、生成した提供情報を利用者端末20に送信する。
【0029】
(1-2-6.提供情報通信処理)
情報提供システム100において、第6に、利用者端末20は、イヤホン30との間で、提供情報を通信する(ステップS6)。例えば、利用者端末20は、イヤホン30との間で、無線通信手段としてBluetooth(登録商標)を用いて提供情報を通信する。
【0030】
(1-2-7.提供情報出力処理)
情報提供システム100において、第7に、イヤホン30は、提供情報を出力する(ステップS7)。例えば、イヤホン30は、ステップS7(1)に示すように、利用者Uの上向き動作を推定した場合には、気象情報として「まもなく雨が降り始めます。」等の音声を出力する。また、イヤホン30は、ステップS7(2)に示すように、利用者Uの下向き動作を推定した場合には、ルート案内情報として、進捗率である「全体の○%歩きました。」、目的地までの到着予定時間である「残り△分で到着予定です。」、利用者Uに提供した直前のルート案内である「まもなく右に曲がります。」、消費カロリーである「消費カロリーは××です。」等の音声を出力する。
【0031】
(1-2-8.頭部動作学習処理)
情報提供システム100において、第8に、情報提供装置10は、推定した頭部動作を学習する(ステップS8)。例えば、情報提供装置10は、利用者Uによる利用者端末20への操作を介して推定した上向き動作の精度が高い評価が機械学習モデルに入力された場合には、動作情報から算出される上向き動作の確率がより高い数値として出力されるようにバックプロパゲーション等を用いて学習する。また、情報提供装置10は、利用者Uによる利用者端末20への操作を介して推定した下向き動作の精度が低い評価が機械学習モデルに入力された場合には、動作情報から算出される下向き動作の確率がより低い数値として出力されるようにバックプロパゲーション等を用いて学習する。
【0032】
(1-2-9.その他)
上記のステップS1~S8の処理では、利用者Uによって利用されるアプリケーションとして地図アプリ、動作情報の取得機器や提供情報の出力機器としてイヤホン30について説明したが、情報提供システム100は、上記以外のアプリケーションや機器についても適用することができる。
【0033】
(1-2-9-1.アプリケーションの適用例)
情報提供システム100は、利用者Uによって利用されるアプリケーションとして、音楽を再生するアプリケーション(適宜、「音楽アプリ」)についても適用することができる。例えば、情報提供装置10は、利用者Uの上下の首振り動作を推定した場合には、現在再生されている曲を繰り返し再生したり、利用者Uの左右の首振り動作を推定した場合には、現在再生されている曲とは別の曲をランダムに再生したり、利用者Uの上向き動作を推定した場合には、現在再生されている曲の次の曲を再生したり、利用者Uの下向き動作を推定した場合には、現在再生されている曲の1つ前の曲を再生したり、利用者Uが一定時間視線を固定することによって視線の方向を推定した場合には、曲の再生を一時停止したりすることができる。
【0034】
(1-2-9-2.機器の適用例)
情報提供システム100は、動作情報の取得機器として、イヤホン30やヘッドホン以外の機器についても適用することができる。例えば、情報提供装置10は、利用者端末20のカメラによって撮像された利用者Uの動画像データを動作情報として収集することができる。このとき、情報提供装置10は、収集した動画像データを用いて利用者Uの頭部動作を推定する。すなわち、情報提供システム100は、自動車や自転車でのルート案内を実行するアプリケーション等を利用者Uが使用し、イヤホン30やヘッドホンによる音声案内を利用しない場合であっても、動作情報を取得し、頭部動作を推定することができる。
【0035】
また、情報提供システム100は、提供情報の出力機器として、イヤホン30以外の機器についても適用することができる。例えば、情報提供装置10は、Bluetooth(登録商標)によって接続された自動車の車載スピーカを介して、提供情報を出力させることもできる。さらに、情報提供装置10は、利用者端末20を介して、音声の他、映像を投射したり、振動を発生したりすることによって、提供情報を出力させることもできる。
【0036】
(1-3.情報提供システム100の効果)
以下では、情報提供システム100の処理の概要を説明した上で、情報提供システム100の効果について説明する。
【0037】
(1-3-1.概要)
情報提供システム100では、利用者Uが利用する地図アプリ等のアプリケーション起動中に、以下の処理が実行される。イヤホン30は、利用者Uの動作情報を取得し、利用者端末20との間で動作情報を通信する。利用者端末20は、受信した動作情報を情報提供装置10に送信する。情報提供装置10は、収集した利用者Uの動作情報から利用者Uの頭部動作を推定し、利用者Uに提供する提供情報を生成し、利用者端末20に提供情報を通知する。利用者端末20は、イヤホン30との間で、受信した提供情報を通信する。イヤホン30は、取得した提供情報を出力する。このとき、情報提供装置10は、推定した頭部動作を学習することもできる。
【0038】
(1-3-2.効果)
上述してきたように、情報提供システム100では、ジャイロセンサ等が搭載されたイヤホン30を活用し、地図アプリの地図画面等が表示された利用者端末20を取り出すことなく、ナビゲーションに必要な情報を必要なタイミングで入手することによって、地図アプリ等の利用者の利便性を向上させることができる。さらに、情報提供システム100は、地図アプリ以外の音楽アプリ等の広範なアプリケーションや、イヤホン30以外の機器についても適用することができるので、利用者Uの頭部動作をリモコンとして活用することが可能となり、アプリケーションの利用者Uの利便性を向上させることができる。
【0039】
〔2.情報提供システム100の各装置の構成および処理〕
図2図11を用いて、図1に示した情報提供システム100が有する各装置の構成および処理について説明する。以下では、実施形態に係る情報提供システム100全体の構成例を説明した上で、実施形態に係る情報提供装置10の構成例および処理例、利用者端末20の構成例および処理例、ならびにイヤホン30の構成例および処理例について詳細に説明する。
【0040】
(2-1.情報提供システム100全体の構成例)
図2を用いて、情報提供システム100全体の構成例について説明する。図2は、実施形態に係る情報提供システム100の構成例を示すブロック図である。図2に示すように、情報提供システム100は、情報提供装置10、利用者端末20およびイヤホン30を有する。情報提供装置10は、利用者端末20と所定の通信網Nによって通信可能に接続されている。なお、所定の通信網Nには、インターネットや専用線等の各種通信網を採用することができる。また、利用者端末20は、イヤホン30と所定の通信手段によって通信可能に接続されている。なお、所定の通信手段には、コネクタを介した有線接続、Bluetooth(登録商標)等を用いた無線接続等を採用することができる。
【0041】
(2-2.情報提供装置10の構成例および処理例)
図3を用いて、情報提供装置10の構成例および処理例について説明する。図3は、実施形態に係る情報提供装置10の構成例を示すブロック図である。図3に示すように、情報提供装置10は、通信部11、記憶部12および制御部13を有する。なお、情報提供装置10は、情報提供装置10の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0042】
(2-2-1.通信部11)
通信部11は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部11は、所定の通信網(ネットワーク)と有線または無線で接続され、各種装置との間で情報の送受信を行う。
【0043】
(2-2-2.記憶部12)
記憶部12は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部12は、図3に示すように、利用者情報記憶部12a、提供情報記憶部12bおよび推定モデル12cを有する。そして、記憶部12は、制御部13が動作する際に参照する各種情報や、制御部13が動作した際に取得した各種情報を記憶する。
【0044】
(2-2-2-1.利用者情報記憶部12a)
利用者情報記憶部12aは、後述する収集部13aによって収集される利用者情報を記憶する。ここで、図4を用いて、利用者情報記憶部12aが記憶する情報の一例を説明する。図4は、実施形態に係る情報提供装置10の利用者情報記憶部の一例を示す図である。図4の例において、利用者情報記憶部12aは、「利用者ID」、「利用者属性」、「履歴情報」、「位置情報」といった項目を有する。
【0045】
「利用者ID」は、利用者Uを識別するための識別情報を示す。「利用者属性」は、事前に登録された利用者Uの分類に寄与する情報であって、利用者Uの性別、年齢、年代、職業、年収、居住地、既婚・未婚の別、子供の有無、利用者Uの動画像、利用者Uが興味関心を有するカテゴリ等を含む情報である。「履歴情報」は、購買履歴、閲覧履歴、検索履歴、移動履歴、通信履歴等の情報である。「位置情報」は、利用者Uの利用者端末20から収集された利用者Uの現在位置、移動速度、移動手段等を示す情報である。
【0046】
図4では、利用者ID「UID#1」によって識別される利用者Uについて、利用者属性が「利用者属性#1」、履歴情報が「履歴情報#1」、位置情報が「位置情報#1」である例を示す。
【0047】
(2-2-2-2.提供情報記憶部12b)
提供情報記憶部12bは、後述する生成部13cによって生成され、後述する通知部13dによって通知される提供情報を記憶する。ここで、図5を用いて、提供情報記憶部12bが記憶する情報の一例を説明する。図5は、実施形態に係る情報提供装置10の提供情報記憶部12bの一例を示す図である。図5の例において、提供情報記憶部12bは、「利用者ID」、「提供情報」といった項目を有する。
【0048】
「利用者ID」は、利用者Uを識別するための識別情報を示す。「提供情報」とは、利用者Uが利用者端末20を介して利用するアプリケーションにおいて提供される情報であって、例えば利用者Uが利用している地図アプリが提供する気象情報やルート案内情報である。
【0049】
図5では、利用者ID「UID#1」で識別される利用者Uについて、提供情報が「提供情報#1」である例を示す。
【0050】
(2-2-2-3.推定モデル12c)
推定モデル12cは、後述する学習部13eによって学習された機械学習モデルである。例えば、推定モデル12cは、イヤホン30によって取得された利用者Uの頭部の回転や向きの変化を角速度の電気信号として出力された動作情報を説明変数とし、利用者Uの頭部動作ごとの0%~100%の範囲の確率を目的変数とする機械学習により学習された学習済みモデルである。
【0051】
(2-2-3.制御部13)
制御部13は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報提供装置10内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部13は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0052】
図3に示すように、制御部13は、収集部13a、推定部13b、生成部13c、通知部13dおよび学習部13eを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部13の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部13が有する各処理部の接続関係は、図3に示した接続関係に限られず、他の接続関係であってもよい。
【0053】
(2-2-3-1.収集部13a)
収集部13aは、利用者Uの利用者情報を収集する。例えば、収集部13aは、利用者情報として、利用者Uにおける利用者属性(例:性別、年齢、年代、職業、年収、居住地、既婚・未婚の別、子供の有無、利用者Uの動画像、利用者Uが興味関心を有するカテゴリ)、履歴情報(例:購買履歴、閲覧履歴、検索履歴、移動履歴、通信履歴)、位置情報(例:現在位置、移動速度、移動手段)等を利用者Uの利用者端末20から収集する。なお、収集部13aは、収集した利用者情報を利用者情報記憶部12aに格納する。
【0054】
収集部13aは、利用者の頭部の動作に関する動作情報を収集する。例えば、収集部13aは、利用者Uが装着するイヤホン30またはヘッドホンを介して動作情報を収集する。このとき、収集部13aは、ジャイロセンサが搭載されたイヤホン30またはヘッドホンによって取得されるセンサデータを動作情報として収集する。なお、収集部13aは、収集した動作情報を記憶部12に格納してもよい。
【0055】
具体的な例を挙げて説明すると、収集部13aは、動作情報として、イヤホン30によって取得された利用者Uの頭部の回転や向きの変化を示す角速度の電気信号を、利用者端末20を介して1秒ごとに収集する。
【0056】
また、収集部13aは、動作情報として、利用者端末20のカメラによって撮像された利用者Uの頭部の回転や向きの変化を示す動画像データを、1秒ごとに収集することもできる。
【0057】
(2-2-3-2.推定部13b)
推定部13bは、動作情報に基づいて、利用者Uの頭部の動作を推定する。例えば、推定部13bは、頭部の動作として、利用者Uの上向き動作、下向き動作、左向き動作、右向き動作、首振り動作、または視線方向を推定する。
【0058】
具体的な例を挙げて説明すると、推定部13bは、利用者Uが上向きに頭部の向きを変化した後、1.5秒以上静止している場合には、利用者Uの頭部動作が上向き動作であると推定する。同様に、推定部13bは、利用者Uが下向きに頭部の向きを変化した後、1.5秒以上静止した場合には、利用者Uの頭部動作が下向き動作であると推定する。また、推定部13bは、利用者Uが上向きおよび下向きの頭部の向きの変化を、交互に1秒以内に複数回行った場合には、利用者Uの頭部動作が上下の首振り動作であると推定する。また、推定部13bは、利用者Uが5秒以上静止している場合には、利用者Uの現在位置を示す位置情報を用いて利用者Uの視線方向を推定する。
【0059】
このとき、推定部13bは、利用者Uの動作情報ごとに頭部の動作を学習した機械学習モデルを用いて、利用者Uの頭部の動作を推定することができる。例えば、推定部13bは、利用者Uごとの動作情報と、実際の頭部動作との関係性を学習した機械学習モデルである推定モデル12cを用いて、頭部動作ごとの確率を出力し、最も確率が高い頭部動作を選択することによって、利用者Uの頭部動作を推定することができる。
【0060】
(2-2-3-3.生成部13c)
生成部13cは、推定された頭部の動作に基づいて、利用者Uが利用する所定のアプリケーションに関する提供情報を生成する。例えば、生成部13cは、推定された頭部の動作に応じて、徒歩でのルート案内を実行するアプリケーションに関する提供情報を生成する。
【0061】
このとき、生成部13cは、推定された頭部の動作が上向き動作である場合には、提供情報として利用者Uが移動するルート上の天気に関する気象情報を生成する。具体的な例を挙げて説明すると、生成部13cは、推定部13bによって利用者Uの上向き動作が推定された場合には、天気予報APIから利用者Uが移動するルート上の雨雲の状況等の天気予報を取得し、気象情報として「まもなく雨が降り始めます。」等の提供情報を生成する。
【0062】
また、生成部13cは、推定された頭部の動作が下向き動作である場合には、提供情報として利用者Uに直前に提供されたルート案内を含むルート案内情報を生成する。具体的な例を挙げて説明すると、生成部13cは、推定部13bによって利用者Uの下向き動作が推定された場合には、現在位置を特定し、現在位置から直前に利用者Uに提供済みのルート案内を再度提供するためのルート案内情報として「まもなく右に曲がります。」等の提供情報を生成する。
【0063】
また、生成部13cは、推定部13bによって利用者Uの下向き動作が推定された場合には、現在位置を特定し、現在位置を基準に進捗率を算出し、「全体の○%歩きました。」等のルート案内情報を含む提供情報を生成する。このとき、生成部13cは、例えば、出発地点から目的地点までの全体の歩行距離に対する出発地点から現在位置までの実際の歩行距離の割合を0%~100%の範囲で算出し、一の位を四捨五入することによって10%単位で進捗率を算出する。
【0064】
また、生成部13cは、推定部13bによって利用者Uの下向き動作が推定された場合には、現在位置を特定し、現在位置を基準に到着予定時間を推定し、「残り△分で到着予定です。」等のルート案内情報を含む提供情報を生成する。このとき、生成部13cは、例えば、地図アプリのボトムシートに表示されている残り時間を到着予定時間として推定する。
【0065】
また、生成部13cは、推定部13bによって利用者Uの下向き動作が推定された場合には、現在位置を特定し、消費カロリーを算出し、「消費カロリーは××です。」等のルート案内情報を含む提供情報を生成する。このとき、生成部13cは、例えば、出発地点から現在位置までの歩行時間[hour]に対して、所定の係数(例:散歩の運動強度3.5)や利用者Uの体重等を乗算することによって消費カロリーを算出する。
【0066】
また、生成部13cは、推定された頭部の動作が所定の方向に固定されている場合には、提供情報として利用者Uの視線方向の対象に関する対象情報を生成する。具体的な例を挙げて説明すると、推定部13bによって利用者Uの視線方向が推定された場合には、現在位置を特定し、現在位置から視線方向にある建物、山、川等を特定し、対象情報として、建物の名称である「あの建物は、Xビルです。」、山の名称である「あの山は、Y山です。」、川の名称である「あの川は、Z川です。」等の提供情報を生成する。
【0067】
なお、生成部13cは、利用者情報記憶部12aから利用者Uの位置情報を取得する。一方、生成部13cは、生成した提供情報を提供情報記憶部12bに格納する。
【0068】
(2-2-3-4.通知部13d)
通知部13dは、提供情報を利用者Uに通知する。例えば、通知部13dは、イヤホン30またはヘッドホンを介して提供情報を利用者Uに通知する。
【0069】
具体的な例を挙げて説明すると、通知部13dは、推定部13bによって利用者Uの上向き動作が推定された場合には、生成部13cによって生成された「まもなく雨が降り始めます。」等の気象情報を含む提供情報を利用者端末20に通知し、イヤホン30に音声として出力させる。
【0070】
また、通知部13dは、推定部13bによって利用者Uの下向き動作が推定された場合には、「全体の○%歩きました。」、「残り△分で到着予定です。」、「まもなく右に曲がります。」、「消費カロリーは××です。」等のルート案内情報を含む提供情報を通知し、イヤホン30に音声として上記の順番に出力させる。
【0071】
さらに、通知部13dは、音楽アプリ等の再生や停止等を制御することもできる。具体的な例を挙げて説明すると、通知部13dは、推定部13bによって利用者Uの上下の首振り動作が推定された場合には、「この音楽をリピート再生します。」等のメッセージを含む提供情報を通知するとともに、現在再生している曲を繰り返し再生するように、利用者端末20を制御することもできる。また、通知部13dは、推定部13bによって利用者Uの左右の首振り動作が推定された場合には、「別の音楽を再生します。」等のメッセージを含む提供情報を通知するとともに、現在再生している曲とは別の曲を再生するように、利用者端末20を制御することもできる。
【0072】
同様にして、通知部13dは、上下の首振り動作を「YES」の指示、左右の首振り動作を「NO」の指示として利用者端末20を制御することによって、ゲームアプリ等の広範なアプリケーションに適用することができる。
【0073】
なお、通知部13dは、提供情報記憶部12bから利用者Uの提供情報を取得する。一方、通知部13dは、通知した提供情報を利用者情報記憶部12aに履歴情報として格納してもよい。
【0074】
(2-2-3-5.学習部13e)
学習部13eは、利用者Uの動作情報が入力された際に、利用者Uの頭部の動作ごとの確率が出力されるように、機械学習モデルである推定モデル12cを学習させる。このとき、学習部13eは、バックプロパゲーション等により推定モデル12cを学習させてもよい。
【0075】
例えば、学習部13eは、利用者Uによる利用者端末20への操作を介して、推定部13bによって推定された上向き動作の精度が高い評価が推定モデル12cに入力された場合には、動作情報から算出される上向き動作の確率がより高い数値として出力されるように、バックプロパゲーション等を用いて学習させる。
【0076】
また、学習部13eは、利用者Uによる利用者端末20への操作を介して、推定部13bによって推定された下向き動作の精度が低い評価が推定モデル12cに入力された場合には、動作情報から算出される下向き動作の確率がより低い数値として出力されるように、バックプロパゲーション等を用いて学習させる。
【0077】
(2-3.利用者端末20の構成例および処理例)
図6を用いて、利用者端末20の構成例および処理例について説明する。図6は、実施形態に係る利用者端末20の構成例を示すブロック図である。図6に示すように、利用者端末20は、通信部21、記憶部22および制御部23を有する。
【0078】
(2-3-1.通信部21)
通信部21は、例えば、NIC、Bluetooth(登録商標)ハードウェア等によって実現される。そして、通信部21は、所定の通信網、通信手段等と有線または無線で接続され、各種装置との間で情報の送受信を行う。
【0079】
(2-3-2.記憶部22)
記憶部22は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。そして、記憶部22は、制御部23が動作する際に参照する各種情報や、制御部23が動作した際に取得した各種情報を記憶する。
【0080】
(2-3-3.制御部23)
制御部23は、例えば、CPUやMPU等によって、利用者端末20内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部23は、例えば、ASICやFPGA等の集積回路により実現される。
【0081】
図6に示すように、制御部23は、入出力部23a、送受信部23bおよび実行部23cを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部23の内部構成は、図6に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部23が有する各処理部の接続関係は、図6に示した接続関係に限られず、他の接続関係であってもよい。
【0082】
(2-3-3-1.入出力部23a)
入出力部23aは、当該利用者端末20への各種情報の入力を司る。例えば、入出力部23aは、マウスやキーボードやタッチパネル等で実現され、当該利用者端末20への設定情報等の入力を受け付ける。
【0083】
入出力部23aは、当該利用者端末20からの各種情報の表示を司る。例えば、入出力部23aは、ディスプレイ等で実現され、当該利用者端末20に記憶された設定情報等を表示する。
【0084】
入出力部23aは、情報提供装置10から通知された提供情報を表示する。例えば、入出力部23aは、利用者Uの頭部動作に対応する提供情報を閲覧可能な表示画面を表示する。
【0085】
(2-3-3-2.送受信部23b)
送受信部23bは、各種情報を受信する。例えば、送受信部23bは、イヤホン30が取得した動作情報を、無線通信手段としてBluetooth(登録商標)を用いて受信する。また、送受信部23bは、情報提供装置10が送信した提供情報を、インターネット回線を介して受信する。
【0086】
送受信部23bは、各種情報を送信する。例えば、送受信部23bは、イヤホン30から受信した動作情報を、インターネット回線を介して情報提供装置10に送信する。また、送受信部23bは、情報提供装置10から受信した提供情報を、無線通信手段としてBluetooth(登録商標)を用いてイヤホン30に送信する。
【0087】
(2-3-3-3.実行部23c)
実行部23cは、各種アプリケーションを実行する。例えば、実行部23cは、地図アプリを実行する。また、実行部23cは、音楽アプリ、ゲームアプリ等を実行することができる。
【0088】
(2-4.利用者端末20の表示画面の具体例)
図7図10を用いて、利用者端末20が表示する表示画面の具体例について説明する。以下では、地図アプリのトップ画面である具体例1、地図アプリのナビゲーション画面である具体例2、地図アプリの「ON/OFFボタン」による切替処理を示す具体例3、地図アプリの「ON/OFFボタン」による設定処理を示す具体例4の順に説明する。
【0089】
(2-4-1.具体例1)
図7を用いて、利用者端末20が表示する表示画面の具体例として、地図アプリのトップ画面である具体例1について説明する。図7は、実施形態に係る利用者端末20の表示画面の具体例1を示す図である。
【0090】
図7(1)に示すように、利用者端末20は、地図アプリを新規インストールした場合には、頭部動作をもとに提供情報を出力する機能である「あたまリモコン」を訴求する訴求ダイアログを表示する。また、利用者端末20は、地図アプリを既存アップデートした場合にも、「あたまリモコン」の訴求ダイアログを表示する。
【0091】
図7(2)に示すように、利用者端末20は、「あたまリモコン」のイメージを示す画像を表示する。
【0092】
図7(3)に示すように、利用者端末20は、「空を見上げると雨雲の接近情報がわかります」等の「あたまリモコン」の機能を示す見出しタイトルを表示する。
【0093】
図7(4)に示すように、利用者端末20は、「徒歩案内で「あたまリモコン」を使ってみましょう!」等の「あたまリモコン」の使用を促す本文テキストを表示する。
【0094】
図7(5)に示すように、利用者端末20は、「使い方を確認する(公式ブログに遷移します)」等の「あたまリモコン」の「使い方を確認するボタン」を表示する。このとき、利用者端末20は、利用者Uが当該ボタンをタップ操作することによって、「あたまリモコン」の使い方の詳細を示すウェブ上のブログを表示する。
【0095】
図7(6)に示すように、利用者端末20は、「今はやめておく」等の「あたまリモコン」の訴求ダイアログを閉じる「閉じるボタン」を表示する。このとき、利用者端末20は、利用者Uが当該ボタンをタップ操作することによって、「あたまリモコン」の訴求ダイアログを閉じ、地図アプリの画面を表示する。
【0096】
(2-4-2.具体例2)
図8を用いて、利用者端末20が表示する表示画面の具体例として、地図アプリのナビゲーション画面である具体例2について説明する。図8は、実施形態に係る利用者端末20の表示画面の具体例2を示す図である。
【0097】
図8Aに示すように、利用者端末20は、ナビゲーション画面において、「あたまリモコン」を訴求する訴求ダイアログを表示する(図8A(1)参照)。このとき、利用者端末20は、「機能を使ってみる(音声案内を有効にします)」等の「あたまリモコン」の使用する画面に遷移する「使ってみるボタン」を表示する(図8A(2)参照)。また、利用者端末20は、「今はやめておく」等の「あたまリモコン」の訴求ダイアログを閉じる「閉じるボタン」を表示する(図8A(3)参照)。
【0098】
図8Bに示すように、利用者端末20は、ナビゲーション画面において、「地図アプリがモーションとフィットネスのアクティビティへのアクセスを求めています」、「あたまリモコンの操作および屋内の位置精度向上に利用します」等の「あたまリモコン」の操作に関連するモーションフィットネスのアクティビティへのアクセスを確認するモーションフィットネス許可ダイアログを表示する(図8B(1)参照)。このとき、利用者端末20は、タップ操作によってイヤホン30からセンサデータを受信可能となる「OKボタン」を表示する(図8B(2)参照)。また、利用者端末20は、モーションフィットネス許可ダイアログを閉じる「許可しないボタン」を表示する(図8B(3)参照)。なお、利用者端末20は、今までモーションフィットネス許可ダイアログを表示していない場合に、当該ダイアログを表示する。
【0099】
図8Cに示すように、利用者端末20は、ナビゲーション画面において、「あたまリモコン」の上向き動作を説明するチュートリアルダイアログを表示する(図8C(1)参照)。このとき、利用者端末20は、「あたまリモコン」の上向き動作のイメージを示すアニメーション動画を表示する(図8C(2)参照)。また、利用者端末20は、「機能1:雨雲の接近情報を知る」等の「あたまリモコン」の上向き動作による機能を示す見出しタイトルを表示する(図8C(3)参照)。また、利用者端末20は、「空を見上げてみましょう。雨雲の接近情報をお伝えします。」等の「あたまリモコン」の上向き動作による機能を説明する本文テキストを表示する(図8C(4)参照)。また、利用者端末20は、「うまく反応しない場合」等の「あたまリモコン」の使い方やヘルプを説明するウェブ上のブログへ誘導するボタンを表示する(図8C(5)参照)。また、利用者端末20は、「あたまリモコン」のチュートリアルの進捗具合を示し、スワイプ操作によって前後の説明に遷移するページコントローラを表示する(図8C(6)参照)。また、利用者端末20は、タップ操作によって次の説明に遷移する「次へボタン」を表示する(図8C(7)参照)。また、利用者端末20は、×印等の「あたまリモコン」のチュートリアルダイアログを閉じる「閉じるボタン」を表示する(図8C(8)参照)。
【0100】
図8Dに示すように、利用者端末20は、ナビゲーション画面において、「あたまリモコン」の下向き動作を説明するチュートリアルダイアログを表示する(図8D(1)参照)。このとき、利用者端末20は、「あたまリモコン」の下向き動作のイメージを示すアニメーション動画を表示する(図8D(2)参照)。また、利用者端末20は、「機能2:ルート案内をもう一度聞く」等の「あたまリモコン」の下向き動作による機能を示す見出しタイトルを表示する(図8D(3)参照)。また、利用者端末20は、「足元を見てみましょう。ルート案内の他に、目的地までの到着予定時刻や、消費カロリーもわかります。」等の「あたまリモコン」の下向き動作による機能を説明する本文テキストを表示する(図8D(4)参照)。また、利用者端末20は、「うまく反応しない場合」等の「あたまリモコン」の使い方やヘルプを説明するウェブ上のブログへ誘導するボタンを表示する(図8D(5)参照)。また、利用者端末20は、「あたまリモコン」のチュートリアルの進捗具合を示し、スワイプ操作によって前後の説明に遷移するページコントローラを表示する(図8D(6)参照)。また、利用者端末20は、タップ操作によって次の説明に遷移する「次へボタン」を表示する(図8D(7)参照)。また、利用者端末20は、×印等の「あたまリモコン」のチュートリアルダイアログを閉じる「閉じるボタン」を表示する(図8D(8)参照)。
【0101】
図8Eに示すように、利用者端末20は、ナビゲーション画面において、「あたまリモコン」のチュートリアルの完了を示す説明完了ダイアログを表示する(図8E(1)参照)。このとき、利用者端末20は、「あたまリモコン」の説明完了を示すアニメーション動画を表示する(図8E(2)参照)。また、利用者端末20は、「音声案内で出かけましょう」等の「あたまリモコン」の説明完了を示す見出しタイトルを表示する(図8E(3)参照)。また、利用者端末20は、「「あたまリモコン」の説明は完了です。周囲に気を付けて、音声案内を楽しんでください。」等の「あたまリモコン」の説明完了を説明する本文テキストを表示する(図8E(4)参照)。また、利用者端末20は、「あたまリモコン」のチュートリアルの進捗具合を示し、スワイプ操作によって前後の説明に遷移するページコントローラを表示する(図8E(5)参照)。また、利用者端末20は、タップ操作によって次の説明に遷移する「次へボタン」を表示する(図8E(6)参照)。また、利用者端末20は、×印等の「あたまリモコン」の説明完了ダイアログを閉じる「閉じるボタン」を表示する(図8E(7)参照)。
【0102】
(2-4-3.具体例3)
図9を用いて、利用者端末20が表示する表示画面の具体例として、地図アプリの「ON/OFFボタン」による切替処理を示す具体例3について説明する。図9は、実施形態に係る利用者端末20の表示画面の具体例3を示す図である。図9A(1)、図9B(1)、図9C(1)および図9D(1)に示すように、利用者端末20は、ナビゲーション画面において、「あたまリモコン」のON状態とOFF状態とを切り替える「ON/OFFボタン」を表示する。
【0103】
図9Aに示すように、利用者端末20は、ナビゲーション画面において、「あたまリモコン」がON状態の場合には、「あたまリモコン」が起動していることを示す着色された「ON/OFFボタン」を表示する(図9A(1)参照)。
【0104】
図9Bに示すように、利用者端末20は、利用者UがON状態の「ON/OFFボタン」をタップ操作することによって、「あたまリモコン」が起動していないことを示す着色されていない「ON/OFFボタン」を表示し(図9B(1)参照)、「あたまリモコンをオフ」等のOFF状態に切り替えられたことを示すメッセージを一定時間(例:3秒間)表示し(図9B(2)参照)、図9Cに示した表示画面に遷移する。
【0105】
図9Cに示すように、利用者端末20は、ナビゲーション画面において、「あたまリモコン」がOFF状態の場合には、「あたまリモコン」が起動していないことを示す着色されていない「ON/OFFボタン」を表示する(図9C(1)参照)。
【0106】
図9Dに示すように、利用者端末20は、利用者UがOFF状態の「ON/OFFボタン」をタップ操作することによって、「あたまリモコン」が起動していることを示す着色された「ON/OFFボタン」を表示し(図9D(1)参照)、「あたまリモコンをオン」等のON状態に切り替えられたことを示すメッセージを一定時間(例:3秒間)表示し(図9D(2)参照)、図9Aに示した表示画面に遷移する。
【0107】
(2-4-4.具体例4)
図10を用いて、利用者端末20が表示する表示画面の具体例として、地図アプリの「ON/OFFボタン」による設定処理を示す具体例4について説明する。図10は、実施形態に係る利用者端末20の表示画面の具体例4を示す図である。
【0108】
図10Aに示すように、利用者端末20は、ナビゲーション画面において、「あたまリモコン」がOFF状態の場合には、「あたまリモコン」が起動していないことを示す着色されていない「ON/OFFボタン」を表示する(図10A(1)参照)。
【0109】
図10Bに示すように、利用者端末20は、利用者UがOFF状態の「ON/OFFボタン」をタップ操作することによって、「地図アプリがモーションとフィットネスのアクティビティへのアクセスを求めています」、「あたまリモコンの操作および屋内の位置精度向上に利用します」等の「あたまリモコン」の操作に関連するモーションフィットネスのアクティビティへのアクセスを確認するモーションフィットネス許可ダイアログを表示する(図10B(1)参照)。このとき、利用者端末20は、タップ操作によってイヤホン30からセンサデータを受信可能となる「OKボタン」や、モーションフィットネス許可ダイアログを閉じる「許可しないボタン」を表示する。
【0110】
また、図10Cに示すように、利用者端末20は、利用者UがOFF状態の「ON/OFFボタン」をタップ操作することによって、「機能の利用に必要な情報が取得できませんでした。モーションとフィットネスの許可をオンにしてください。」等の「あたまリモコン」のモーションフィットネスの許可を促すダイアログを表示してもよい(図10C(1)参照)。このとき、利用者端末20は、「設定ボタン」がタップ操作された場合には、モーションフィットネスを許可可能な設定画面に遷移する。一方、利用者端末20は、「閉じるボタン」のタップ操作された場合には、モーションフィットネスを許可することなく、ダイアログを閉じる。
【0111】
(2-5.イヤホン30の構成例および処理例)
図11を用いて、イヤホン30の構成例および処理例について説明する。図11は、実施形態に係るイヤホン30の構成例を示すブロック図である。図11に示すように、イヤホン30は、通信部31、センサ部32および制御部33を有する。
【0112】
(2-5-1.通信部31)
通信部31は、例えば、コネクタやBluetooth(登録商標)ハードウェア等によって実現される。そして、通信部31は、所定の通信網、通信手段等と有線または無線で接続され、各種装置との間で情報の送受信を行う。なお、通信部31は、無線通信手段として、Bluetooth(登録商標)の他、FM(Frequency Modulation)変調でのアナログ伝送、Wi-Fi(登録商標)、赤外線等を用いることもできる。
【0113】
(2-5-2.センサ部32)
センサ部32は、例えば、ジャイロセンサ、加速度センサ等の慣性センサによって実現される。そして、センサ部32は、イヤホン30を装着した利用者Uの頭部の回転や向きの変化を角速度や加速度として検知し、電気信号として出力する。
【0114】
(2-5-3.制御部33)
制御部33は、例えば、CPUやMPU等によって、イヤホン30内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部33は、例えば、ASICやFPGA等の集積回路により実現される。
【0115】
図11に示すように、制御部33は、入出力部33aおよび取得部33bを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部33の内部構成は、図11に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部33が有する各処理部の接続関係は、図11に示した接続関係に限られず、他の接続関係であってもよい。
【0116】
(2-5-3-1.入出力部33a)
入出力部33aは、利用者端末20から送信された提供情報を出力する。例えば、入出力部33aは、利用者Uの頭部動作に対応する提供情報を音声として出力する。また、入出力部33aは、利用者Uの頭部動作に対応する提供情報を、映像や振動として出力することもできる。
【0117】
(2-5-3-2.取得部33b)
取得部33bは、センサ部32によって出力されたセンサデータを取得する。例えば、取得部33bは、センサ部32によって出力された利用者Uの頭部の回転や向きの変化を示す角速度や加速度の電気信号を取得する。
【0118】
〔3.情報提供処理の流れ〕
図12を用いて、実施形態に係る情報提供装置10の情報提供処理の手順について説明する。図12は、実施形態に係る情報提供処理の流れの一例を示すフローチャートである。なお、下記のステップS101~S105は、異なる順序で実行することもできる。また、下記のステップS101~S105のうち、省略される処理があってもよい。
【0119】
(3-1.動作情報収集処理)
第1に、情報提供装置10の収集部13aは、動作情報収集処理を実行する(ステップS101)。例えば、収集部13aは、利用者端末20を介して、イヤホン30が取得した動作情報を収集する。
【0120】
(3-2.頭部動作推定処理)
第2に、情報提供装置10の推定部13bは、頭部動作推定処理を実行する(ステップS102)。例えば、推定部13bは、利用者Uの上向き動作、下向き動作等の頭部動作を推定する。
【0121】
(3-3.提供情報生成処理)
第3に、情報提供装置10の生成部13cは、提供情報生成処理を実行する(ステップS103)。例えば、生成部13cは、利用者Uの上向き動作を推定した場合には、天気予報APIを参照し、利用者Uが移動するルート上の雨雲の状況等の天気に関する気象情報を生成する。また、生成部13cは、利用者Uの下向き動作を推定した場合には、利用者Uの現在位置を特定し、利用者Uに直前に提供されたルート案内を含むルート案内情報を生成する。
【0122】
(3-4.提供情報通知処理)
第4に、情報提供装置10の通知部13dは、提供情報通知処理を実行する(ステップS104)。例えば、通知部13dは、利用者端末20に提供情報を通知し、イヤホン30に提供情報を音声として出力させる。
【0123】
(3-5.頭部動作学習処理)
第5に、情報提供装置10の学習部13eは、頭部動作学習処理を実行する(ステップS105)。例えば、学習部13eは、バックプロパゲーション等を用いて推定モデル12cを学習させる。
【0124】
〔4.実施形態の効果〕
最後に、実施形態の効果について説明する。以下では、実施形態に係る処理に対応する効果1~8について説明する。
【0125】
(4-1.効果1)
上述した実施形態に係る処理では、情報提供装置10は、利用者Uの頭部動作に関する動作情報を収集し、収集した動作情報に基づいて、利用者Uの頭部動作を推定し、推定した頭部動作に基づいて、利用者Uが利用する所定のアプリケーションに関する提供情報を生成し、生成した提供情報を利用者Uに通知する。このため、本処理では、アプリケーションの利用者Uの利便性を向上させることができる。
【0126】
(4-2.効果2)
上述した実施形態に係る処理では、情報提供装置10は、利用者Uが装着するイヤホン30またはヘッドホンを介して動作情報を収集し、イヤホン30またはヘッドホンを介して提供情報を利用者Uに通知する。このため、本処理では、イヤホン30またはヘッドホンを装着するアプリケーションの利用者Uの利便性を向上させることができる。
【0127】
(4-3.効果3)
上述した実施形態に係る処理では、情報提供装置10は、ジャイロセンサが搭載されたイヤホン30またはヘッドホンによって取得されるセンサデータを動作情報として収集する。このため、本処理では、ジャイロセンサが搭載されたイヤホン30またはヘッドホンを装着するアプリケーションの利用者Uの利便性を向上させることができる。
【0128】
(4-4.効果4)
上述した実施形態に係る処理では、情報提供装置10は、利用者Uの頭部動作として、利用者Uの上向き動作、下向き動作、左向き動作、右向き動作、首振り動作、または視線方向を推定する。このため、本処理では、利用者Uの頭部動作をリモコンとして活用することによって、アプリケーションの利用者Uの利便性を向上させることができる。
【0129】
(4-5.効果5)
上述した実施形態に係る処理では、情報提供装置10は、推定した利用者Uの頭部動作に応じて、徒歩でのルート案内を実行するアプリケーションに関する提供情報を生成する。このため、本処理では、地図アプリの利用者Uの利便性を向上させることができる。
【0130】
(4-6.効果6)
上述した実施形態に係る処理では、情報提供装置10は、推定した利用者Uの頭部動作が上向き動作である場合には、提供情報として利用者Uが移動するルート上の天気に関する気象情報を生成する。このため、本処理では、利用者Uの頭部動作に応じて天気予報を提供することによって、地図アプリの利用者Uの利便性を向上させることができる。
【0131】
(4-7.効果7)
上述した本実施形態に係る処理では、情報提供装置10は、推定した利用者Uの頭部動作が下向き動作である場合には、提供情報として利用者Uに直前に提供されたルート案内を含むルート案内情報を生成する。このため、本処理では、利用者Uの頭部動作に応じてルート案内を再度提供することによって、地図アプリの利用者Uの利便性を向上させることができる。
【0132】
(4-8.効果8)
上述した本実施形態に係る処理では、情報提供装置10は、利用者Uの動作情報ごとに利用者Uの頭部動作を学習した機械学習モデルを用いて、利用者Uの頭部動作を推定する。このため、本処理では、機械学習モデルを用いて、より正確に利用者Uの頭部動作を推定することによって、アプリケーションの利用者Uの利便性を向上させることができる。
【0133】
〔ハードウェア構成〕
また、上述してきた実施形態に係る情報提供装置10は、例えば、図13に示すような構成のコンピュータ1000によって実現される。以下、情報提供装置10を例に挙げて説明する。図13は、情報提供装置10の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、およびメディアインターフェイス(I/F)1700を有する。
【0134】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0135】
HDD1400は、CPU1100によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
【0136】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0137】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0138】
例えば、コンピュータ1000が実施形態に係る情報提供装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部13の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0139】
〔その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。
【0140】
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0141】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0142】
例えば、上述した情報提供装置10は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をAPIやネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。
【0143】
また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0144】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【符号の説明】
【0145】
10 情報提供装置
11 通信部
12 記憶部
12a 利用者情報記憶部
12b 提供情報記憶部
12c 推定モデル
13 制御部
13a 収集部
13b 推定部
13c 生成部
13d 通知部
13e 学習部
20 利用者端末
21 通信部
22 記憶部
23 制御部
23a 入出力部
23b 送受信部
23c 実行部
30 イヤホン
31 通信部
32 センサ部
33 制御部
33a 入出力部
33b 取得部
100 情報提供システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13