ホーム > 特許ランキング > ＬＩＮＥヤフー株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024132649
(43)【公開日】2024-10-01
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
G06F 16/9035 20190101AFI20240920BHJP
G06F 3/01 20060101ALI20240920BHJP
【ＦＩ】
G06F16/9035
G06F3/01 570
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023043503
(22)【出願日】2023-03-17
(71)【出願人】
【識別番号】500257300
【氏名又は名称】ＬＩＮＥヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】坪内 孝太
(72)【発明者】
【氏名】清水 徹
【テーマコード（参考）】
5B175
5E555
【Ｆターム（参考）】
5B175GA04
5E555AA62
5E555BA02
5E555BB02
5E555BC04
5E555BC08
5E555BD10
5E555CA42
5E555CA46
5E555CB65
5E555CB66
5E555CB67
5E555DA01
5E555DA23
5E555DB42
5E555DB48
5E555FA00
(57)【要約】
【課題】利用者が容易に適切な関連情報を参照することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供すること。
【解決手段】本開示に係る情報処理装置は、利用者端末にコンテンツを配信する配信部と、コンテンツを参照する利用者の状態を示すセンサデータを取得する取得部と、センサデータに基づいて、利用者が所定の行動を行ったことを検出する検出部と、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する特定部と、コンテンツの特定した範囲と関連性を有する関連情報を抽出する抽出部と、抽出した関連情報を音声により利用者端末に出力させる出力部と、を備える。
【選択図】図３
【解決手段】本開示に係る情報処理装置は、利用者端末にコンテンツを配信する配信部と、コンテンツを参照する利用者の状態を示すセンサデータを取得する取得部と、センサデータに基づいて、利用者が所定の行動を行ったことを検出する検出部と、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する特定部と、コンテンツの特定した範囲と関連性を有する関連情報を抽出する抽出部と、抽出した関連情報を音声により利用者端末に出力させる出力部と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
利用者端末にコンテンツを配信する配信部と、
コンテンツを参照する利用者の状態を示すセンサデータを取得する取得部と、
前記センサデータに基づいて、利用者が所定の行動を行ったことを検出する検出部と、
利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する特定部と、
前記コンテンツの特定した範囲と関連性を有する関連情報を抽出する抽出部と、
抽出した関連情報を音声により利用者端末に出力させる出力部と、
を備える、情報処理装置。
コンテンツを参照する利用者の状態を示すセンサデータを取得する取得部と、
前記センサデータに基づいて、利用者が所定の行動を行ったことを検出する検出部と、
利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する特定部と、
前記コンテンツの特定した範囲と関連性を有する関連情報を抽出する抽出部と、
抽出した関連情報を音声により利用者端末に出力させる出力部と、
を備える、情報処理装置。
【請求項2】
前記取得部は、前記センサデータとして、ジャイロセンサが計測した利用者の頭の動きの角速度を取得し、
前記検出部は、前記角速度に基づいて、利用者が頭を傾げた行動を検出する、
請求項１に記載の情報処理装置。
前記検出部は、前記角速度に基づいて、利用者が頭を傾げた行動を検出する、
請求項１に記載の情報処理装置。
【請求項3】
前記取得部は、前記センサデータとして、カメラが撮像した利用者の表情を示す画像データを取得し、
前記検出部は、前記画像データに基づいて、利用者が疑問に思った表情をした行動を検出する、
請求項１に記載の情報処理装置。
前記検出部は、前記画像データに基づいて、利用者が疑問に思った表情をした行動を検出する、
請求項１に記載の情報処理装置。
【請求項4】
前記抽出部は、利用者が参照していた範囲と、関連情報との関係を学習した生成モデルによって、利用者が参照した範囲に基づいて関連情報を生成して、生成された関連情報のなかから利用者に提供する関連情報を抽出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項5】
利用者端末にコンテンツを配信するステップと、
コンテンツを参照する利用者の状態を示すセンサデータを取得するステップと、
前記センサデータに基づいて、利用者が所定の行動を行ったことを検出するステップと、
利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定するステップと、
前記コンテンツの特定した範囲と関連性を有する関連情報を抽出するステップと、
抽出した関連情報を音声により利用者端末に出力させるステップと、
を含む、情報処理方法。
コンテンツを参照する利用者の状態を示すセンサデータを取得するステップと、
前記センサデータに基づいて、利用者が所定の行動を行ったことを検出するステップと、
利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定するステップと、
前記コンテンツの特定した範囲と関連性を有する関連情報を抽出するステップと、
抽出した関連情報を音声により利用者端末に出力させるステップと、
を含む、情報処理方法。
【請求項6】
利用者端末にコンテンツを配信するステップと、
コンテンツを参照する利用者の状態を示すセンサデータを取得するステップと、
前記センサデータに基づいて、利用者が所定の行動を行ったことを検出するステップと、
利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定するステップと、
前記コンテンツの特定した範囲と関連性を有する関連情報を抽出するステップと、
抽出した関連情報を音声により利用者端末に出力させるステップと、
をコンピュータに実行させる、情報処理プログラム。
コンテンツを参照する利用者の状態を示すセンサデータを取得するステップと、
前記センサデータに基づいて、利用者が所定の行動を行ったことを検出するステップと、
利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定するステップと、
前記コンテンツの特定した範囲と関連性を有する関連情報を抽出するステップと、
抽出した関連情報を音声により利用者端末に出力させるステップと、
をコンピュータに実行させる、情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
インターネットの普及によって、各種の情報を容易に参照することが可能となった。例えば、知りたい内容を表す言葉を検索クエリとして検索エンジンに入力して、検索を実行することによって、知りたい情報に容易にたどり着くことができる。しかしながら、このように検索してたどり着いたページの情報だけでは、知りたい内容を全て網羅しているとは言えない場合があった。
【0003】
例えば、下記の特許文献１には、一または複数の端末装置の各々に対して個別に提供されたコンテンツおよびコンテンツ内の所望の要素を識別する指定情報を、端末装置の各々から受信する手段と、端末装置の各々から受信した指定情報を保存する手段と、保存された指定情報から、特定のコンテンツに関する指定情報を抽出する手段と、抽出された特定のコンテンツに関する指定情報に基づき、特定のコンテンツもしくは特定のコンテンツの特定の要素に対するコンテンツ利用者の興味の動向を示す興味情報を作成する手段と、興味情報と特定のコンテンツに関する指定情報とを対応づけて所定の興味情報データベースに登録する手段と、を含む興味情報作成装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９－１１７９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載の興味情報作成装置は、利用者がコンテンツに関して興味を有する箇所を指定する必要があり、関連情報の参照に手間が掛かるという課題があった。
【0006】
本開示は上記課題を鑑み、利用者が容易に適切な関連情報を参照することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、利用者端末にコンテンツを配信する配信部と、コンテンツを参照する利用者の状態を示すセンサデータを取得する取得部と、前記センサデータに基づいて、利用者が所定の行動を行ったことを検出する検出部と、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する特定部と、前記コンテンツの特定した範囲と関連性を有する関連情報を抽出する抽出部と、抽出した関連情報を音声により利用者端末に出力させる出力部と、を備える。
【発明の効果】
【0008】
本開示によれば、利用者が容易に適切な関連情報を参照することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に、本開示に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本開示に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。
【0011】
（実施形態）
〔１．実施形態に係る情報処理〕
〔１－１．実施形態に係る情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１では、実施形態に係る情報処理が情報処理装置１００、利用者端末２００により実行される例を示す。以下、実施形態に係る情報処理についてステップごとに順を追って説明する。
〔１．実施形態に係る情報処理〕
〔１－１．実施形態に係る情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１では、実施形態に係る情報処理が情報処理装置１００、利用者端末２００により実行される例を示す。以下、実施形態に係る情報処理についてステップごとに順を追って説明する。
【0012】
まず、情報処理装置１００は、利用者端末２００にコンテンツを配信する（ステップＳ１）。例えば、情報処理装置１００は、ニュースの動画像、ニュースの記事のテキストや画像などをコンテンツとして、利用者端末２００に配信する。例えば、情報処理装置１００は、コンテンツが動画像である場合は、利用者端末２００に動画像を出力させてコンテンツを提供する。また、情報処理装置１００は、コンテンツがテキスト、及び画像である場合は、利用者端末２００にテキスト、及び画像を表示させることで、コンテンツを配信してよい。
【0013】
次に、情報処理装置１００は、利用者端末２００からコンテンツ参照時の利用者の状態を示すセンサデータを取得する（ステップＳ２）。例えば、情報処理装置１００は、センサデータとして、利用者端末２００のジャイロセンサによって計測された利用者のコンテンツ参照時の頭の動きを角速度によって表した計測データを取得してよい。また、情報処理装置１００は、センサデータとして、利用者端末２００の加速度センサによって計測された利用者のコンテンツ参照時の身体の動きを加速度によって表した計測データを取得してもよい。また、情報処理装置１００は、センサデータとして、利用者端末２００のカメラによって撮像された利用者の表情を示す画像データを取得してもよい。なお、センサデータは、計測された時期を含む情報であってよい。
【0014】
次に、情報処理装置１００は、センサデータに基づいて、利用者が所定の行動を行ったことを検出する（ステップＳ３）。ここで、所定の行動とは、利用者がコンテンツ参照時に求める情報と異なると感じたことや、利用者が参照中のコンテンツについて追加の情報が知りたいと感じたことを示唆する行動であってよい。例えば、利用者のコンテンツ参照時に、首を傾げた行動や、疑問に思った表情をした行動、所定の検索クエリによって検索した行動などであってよい。例えば、情報処理装置１００は、ジャイロセンサによって計測された利用者のコンテンツ参照時の頭の動きの角速度に基づいて、利用者が首を傾げた行動を検出してよい。また、例えば、情報処理装置１００は、利用者端末２００のカメラによって撮像された利用者の表情を示す画像データに基づいて、疑問に思った表情をした行動を検出してよい。なお、図１に示すように、情報処理装置１００は、所定の行動が検出された場合は、後述して説明するステップＳ４の処理に進み、所定の行動が検出されなかった場合は、ステップＳ２に戻って以降の処理を実行する。
【0015】
次に、情報処理装置１００は、利用者が所定の行動を行った時に参照していた範囲を特定する（ステップＳ４）。例えば、情報処理装置１００は、利用者端末２００からマウスの操作や、キーボードの操作、タッチパネルの操作などの操作情報を取得して、利用者が参照しているコンテンツ（例えば、図１に示すコンテンツＡ）の情報と、操作情報と、センサデータに基づいて、ステップＳ３において検出された所定の行動を行った時に参照していた範囲を特定してよい。例えば、情報処理装置１００は、利用者の表情を示す画像データに基づいて、視線検出処理を実行して、利用者の視線の先の範囲を、参照していた範囲として特定してよい。また、ステップＳ３において、利用者の首を傾げた行動が検出された場合は、首を傾げた時の操作情報に基づいて、操作情報が示す範囲を参照していた範囲として特定してよい。例えば、首を傾げた時のマウスのポインタの位置や、タッチパネルのタッチ位置を参照していた範囲として特定してよい。また、ステップＳ３において、疑問に思った表情をした行動が検出された場合も同様に、疑問に思った表情をした行動が検出された時にの操作情報に基づいて、操作情報が示す位置を参照していた範囲として特定してよい。
【0016】
次に、情報処理装置１００は、利用者が参照していた範囲に関連する関連情報を抽出する（ステップＳ５）。例えば、情報処理装置１００は、コンテンツの範囲に対応付けて記憶されている関連情報を後述して説明する関連情報記憶部１２３から抽出する。例えば、コンテンツがニュースの記事である場合であれば、ニュースの記事の文章の段落ごとに、関連情報を対応付けて記憶されている。また、ニュースの記事に付随する画像についても、関連情報が対応付けて記憶されている。そのため、ステップＳ４において、利用者が所定の行動を行った時に参照していた範囲として、ニュースの記事の文章の段落が特定されたとすると、情報処理装置１００は、当該の段落に対応付けて記憶されている関連情報を、関連情報記憶部１２３から抽出する。例えば、図１に示すように、情報処理装置１００は、関連情報記憶部１２３から関連情報Ａを抽出する。また、情報処理装置１００は、利用者が参照していた範囲と、関連情報との関係を学習した生成モデルによって、利用者が参照した範囲に基づいて関連情報を生成して、生成された関連情報のなかから利用者に提供する関連情報を抽出してもよい。また、情報処理装置１００は、利用者が参照していた範囲に対する関連情報が蓄積されたデータベースから関連情報を検索したうえで、検索結果に含まれる関連情報から利用者に提供する関連情報を抽出してもよい。
【0017】
次に、情報処理装置１００は、関連情報を音声として利用者端末２００に出力させる（ステップＳ６）。例えば、情報処理装置１００は、ステップＳ５において抽出された関連情報のテキストメッセージを音声として、利用者端末２００に出力させてよい。なお、情報処理装置１００は、ステップＳ５において抽出された関連情報を利用者端末２００に出力する方式は、音声に限定されることなく、その他の任意の方式によって利用者端末２００に出力させてもよい。
【0018】
これによれば、コンテンツを参照する利用者の状態を示すセンサデータに基づいて、利用者が所定の行動を行ったことを検出し、利用者が所定の行動を行った時に参照していた範囲を特定して、参照していた範囲に関連する関連情報を提供することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理装置１００を提供することができる。
【0019】
〔１－２．実施形態に係る情報処理の他の例〕
情報処理装置１００は、センサデータとして、ジャイロセンサが計測した利用者の頭の動きの角速度を取得し、角速度に基づいて、利用者が頭を傾げた行動を検出する。
情報処理装置１００は、センサデータとして、ジャイロセンサが計測した利用者の頭の動きの角速度を取得し、角速度に基づいて、利用者が頭を傾げた行動を検出する。
【0020】
この情報処理について順を追って説明する。まず、情報処理装置１００は、図１に示したステップＳ１と同じ処理を実行する。ステップＳ１は、上述した処理と同じであるから説明を省略する。
【0021】
次に、情報処理装置１００は、コンテンツを参照する利用者の状態を示すセンサデータとして、ジャイロセンサが計測した利用者の頭の動きの角速度を取得する（ステップＳ２－１）。例えば、情報処理装置１００は、利用者端末２００から利用者の頭の動きの角速度として、ヨー軸、ピッチ軸、及びロール軸の三軸に対応する角速度の値を取得する。情報処理装置１００は、利用者端末２００から利用者の頭の動きの角速度を取得したら、取得した角速度をセンサデータとして、センサデータ記憶部１２１に記憶する。
【0022】
次に、情報処理装置１００は、ジャイロセンサの角速度に基づいて、利用者が頭を傾げた行動を検出し、利用者が当該の行動を行った時に参照していた範囲を特定する（ステップＳ３－１）。例えば、情報処理装置１００は、利用者の頭の横方向の回転に対応する回転軸の角速度が所定の閾値を超えた場合に、利用者の頭を傾げる行動を検出してよい。この場合の所定の閾値は、図１に示す利用者Ｕが装着するヘッドフォン型のデバイスに設けられたジャイロセンサによって計測された利用者が頭を傾げたときの角速度の計測値を取得して、例えば、複数回にわたって計測された値の平均値としてよい。
【0023】
次に、情報処理装置１００は、図１に示したステップＳ４からＳ６と同じ処理を実行する。ステップＳ４からＳ６は、上述した処理と同じであるから説明を省略する。
【0024】
これによれば、センサデータとしてジャイロセンサが計測した利用者の頭の動きの角速度を取得し、ジャイロセンサの角速度に基づいて、利用者が頭を傾げた行動を検出して、当該の行動を行った時の利用者が参照していた範囲を特定して、参照していた範囲に関連する関連情報を提供することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理装置１００を提供することができる。
【0025】
〔１－３．実施形態に係る情報処理の他の例〕
情報処理装置１００は、センサデータとして、カメラが撮像した利用者の表情を示す画像データを取得し、画像データに基づいて、利用者が疑問に思った表情をした行動を検出する。
情報処理装置１００は、センサデータとして、カメラが撮像した利用者の表情を示す画像データを取得し、画像データに基づいて、利用者が疑問に思った表情をした行動を検出する。
【0026】
次に、情報処理装置１００は、センサデータとして、カメラが撮像した利用者の表情を示す画像データを取得する（ステップＳ２－２）。例えば、情報処理装置１００は、利用者端末２００が備えるフロントカメラによって撮像された利用者の表情を示す画像データを取得してよい。なお、情報処理装置１００が取得する画像データは、所定間隔ごとに撮像された静止画像であってもよく、任意の期間に亘って撮像された動画像であってもよい。情報処理装置１００は、利用者の表情を示す画像データを取得したら、取得した画像データをセンサデータとして、センサデータ記憶部１２１に記憶する。
【0027】
次に、情報処理装置１００は、利用者の画像データに基づいて、利用者が疑問に思った表情をした行動を検出し、利用者が当該の行動を行った時に参照していた範囲を特定する（ステップＳ３－２）。例えば、情報処理装置１００は、利用者の画像データに基づいて、利用者の表情の眉や頬、唇の動き、えくぼの有無、顎の角度といった特徴と、利用者の思念や、感情との関係を学習した学習済みモデルを用いて、利用者が疑問に思った表情をした行動を検出してよい。この場合の学習に用いるモデルは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であってよい。
【0028】
次に、情報処理装置１００は、図１に示したステップＳ４からＳ６と同じ処理を実行する。ステップＳ４からＳ６は、上述した処理と同じであるから説明を省略する。
【0029】
これによれば、センサデータとして、カメラが撮像した利用者の表情を示す画像データを取得し、画像データに基づいて、利用者が疑問に思った表情をした行動を検出して、当該の行動を行った時の利用者が参照していた範囲を特定して、参照していた範囲に関連する関連情報を提供することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理装置１００を提供することができる。
【0030】
〔２．情報処理システムの構成〕
次に、図２を用いて実施形態に係る情報処理システムの構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、情報処理装置１００と、利用者端末２００と、ネットワークＮを有する。以下、これらの構成について簡単に順を追って説明する。
次に、図２を用いて実施形態に係る情報処理システムの構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、情報処理装置１００と、利用者端末２００と、ネットワークＮを有する。以下、これらの構成について簡単に順を追って説明する。
【0031】
情報処理装置１００は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ Ｓｔａｔｉｏｎ）、サーバの機能を備えるコンピュータなどの情報処理装置であってよい。情報処理装置１００は、例えば、利用者端末２００からネットワークＮを介して送信されてきた情報に基づいて処理を行う。
【0032】
利用者端末２００は、利用者が利用する情報処理装置である。利用者端末２００は、例えば、ノート型ＰＣ、デスクトップ型ＰＣ、スマートフォン、タブレット型端末、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の情報処理装置であってよい。なお、図１に示す例においては、利用者端末２００がノート型ＰＣである場合を示している。
【0033】
ネットワークＮは、情報処理装置１００と、利用者端末２００を有線、又は無線により相互に通信可能に接続する。ネットワークＮが有線の場合は、ＩＥＥＥ８０２．３に規定されるイーサネット（登録商標）（ＥＴＨＥＲＮＥＴ（登録商標））により実現されてよい。また、ネットワークＮが無線の場合は、ＩＥＥＥ８０２．１１に規定される無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）により実現されてよい。
【0034】
〔３．情報処理装置の構成〕
次に、図３を用いて、情報処理装置１００の構成について説明する。
次に、図３を用いて、情報処理装置１００の構成について説明する。
【0035】
【0036】
（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カード等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、利用者端末２００などとの間で情報の送受信を行う。
通信部１１０は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カード等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、利用者端末２００などとの間で情報の送受信を行う。
【0037】
（記憶部１２０について）
記憶部１２０は、主記憶装置と外部記憶装置とを備える。主記憶装置は、制御部１３０が実行するプログラム、あるいは制御部１３０が処理するデータを記憶する。主記憶装置は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等のような半導体メモリ素子によって実現されてよい。外部記憶装置は、制御部１３０が処理するデータを保存する。外部記憶装置は、例えば、ハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気テープ、光ディスク等によって実現されてよい。
記憶部１２０は、主記憶装置と外部記憶装置とを備える。主記憶装置は、制御部１３０が実行するプログラム、あるいは制御部１３０が処理するデータを記憶する。主記憶装置は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等のような半導体メモリ素子によって実現されてよい。外部記憶装置は、制御部１３０が処理するデータを保存する。外部記憶装置は、例えば、ハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気テープ、光ディスク等によって実現されてよい。
【0038】
図３に示すように、記憶部１２０は、センサデータ記憶部１２１と、コンテンツ記憶部１２２と、関連情報記憶部１２３と、を有する。以下、これらの構成について順を追って説明する。
【0039】
（センサデータ記憶部１２１について）
センサデータ記憶部１２１は、センサデータに関係する情報を記憶する。ここで、図４を用いて、センサデータ記憶部１２１が記憶する情報の一例を説明する。図４は、実施形態に係る情報処理装置のセンサデータ記憶部に記憶される情報の一例を示す図である。
センサデータ記憶部１２１は、センサデータに関係する情報を記憶する。ここで、図４を用いて、センサデータ記憶部１２１が記憶する情報の一例を説明する。図４は、実施形態に係る情報処理装置のセンサデータ記憶部に記憶される情報の一例を示す図である。
【0040】
図４に示す例において、センサデータ記憶部１２１は、「利用者ＩＤ」、「センサデータ」という項目に係る情報を紐付けて記憶する。
【0041】
「利用者ＩＤ」は、利用者を識別する識別子であり、文字列や番号などによって表される。「センサデータ」は、「利用者ＩＤ」に紐付けられた利用者端末２００から取得したセンサデータに関する情報であり、例えば、角速度や、加速度、画像データなどのデータと、それらの計測日時を含む。
【0042】
すなわち、図４においては、利用者ＩＤ「ＵＩＤ＃１」により識別される利用者の利用者端末２００から取得されたセンサデータ「ＳＮＤＴ＃１」が記憶されていることを示している。
【0043】
なお、センサデータ記憶部１２１に記憶される情報は、「利用者ＩＤ」、「センサデータ」という項目に係る情報に限定されるものではなく、その他の任意のセンサデータに関係する情報が記憶されてよい。
【0044】
（コンテンツ記憶部１２２について）
コンテンツ記憶部１２２は、コンテンツに関係する情報を記憶する。図５は、実施形態に係る情報処理装置のコンテンツ記憶部に記憶される情報の一例を示す図である。
コンテンツ記憶部１２２は、コンテンツに関係する情報を記憶する。図５は、実施形態に係る情報処理装置のコンテンツ記憶部に記憶される情報の一例を示す図である。
【0045】
図５に示す例において、コンテンツ記憶部１２２は、「コンテンツＩＤ」、「コンテンツデータ」という項目に係る情報を紐付けて記憶する。
【0046】
「コンテンツＩＤ」は、コンテンツを識別する識別子であり、文字列や番号などによって表される。「コンテンツデータ」は、コンテンツのデータであり、例えば、ニュースの記事のテキストデータと画像データの組み合わせや、ニュースの動画データなどであってよい。
【0047】
すなわち、図５においては、コンテンツＩＤ「ＣＴＩＤ＃１」によって識別されるコンテンツとして、コンテンツデータ「ＣＤＤＴ＃１」が記憶されていることを示している。
【0048】
なお、コンテンツ記憶部１２２は、「コンテンツＩＤ」、「コンテンツデータ」という項目に係る情報に限定されることなく、その他の任意のコンテンツに関係する情報が記憶されてよい。
【0049】
（関連情報記憶部１２３について）
関連情報記憶部１２３は、利用者が参照していた範囲に関連する関連情報を記憶する。ここで、図６を用いて、関連情報記憶部１２３が記憶する情報の一例を説明する。図６は、実施形態に係る情報処理装置の関連情報記憶部に記憶される情報の一例を示す図である。
関連情報記憶部１２３は、利用者が参照していた範囲に関連する関連情報を記憶する。ここで、図６を用いて、関連情報記憶部１２３が記憶する情報の一例を説明する。図６は、実施形態に係る情報処理装置の関連情報記憶部に記憶される情報の一例を示す図である。
【0050】
図６に示す例において、関連情報記憶部１２３は、「コンテンツＩＤ」、「コンテンツ範囲」、「関連情報ＩＤ」、「関連情報」という項目に係る情報を紐付けて記憶する。
【0051】
「コンテンツＩＤ」は、関連情報が対応付けられたコンテンツを識別する識別子であり、文字列や番号などによって表される。「コンテンツ範囲」は、関連情報が対応付けられるコンテンツの範囲を示し、例えば、コンテンツがニュースの記事である場合であれば、記事の段落番号や、ニュースの動画である場合であれば、ニュースの動画の全体の流れの中における位置に関する情報であってよい。「関連情報ＩＤ」は、関連情報を識別する識別子であり、文字列や番号などによって表される。「関連情報」は、「関連情報ＩＤ」により識別される関連情報のデータであり、例えば、「コンテンツ範囲」が示すコンテンツの範囲に関連するテキストメッセージを読み上げた音声データであってよい。
【0052】
すなわち、図６においては、コンテンツＩＤ「ＣＴＩＤ＃１」により識別されるコンテンツのコンテンツ範囲「ＳＣＣＴ＃１－１」により示される範囲について、関連情報ＩＤ「ＲＬＩＮＦＩＤ＃１－１」により識別される関連情報として、関連情報「ＲＬＩＮＦ＃１－１」が記憶されていることが示されている。
【0053】
関連情報記憶部１２３に記憶される情報は、「コンテンツＩＤ」、「コンテンツ範囲」、「関連情報ＩＤ」、「関連情報」という項目に係る情報に限定されるものではなく、その他の任意の関連情報に関係する情報が記憶されてよい。
【0054】
（制御部１３０について）
次に、図３に戻って、制御部１３０について説明する。制御部１３０は、情報処理装置１００を制御するコントローラ（Ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、情報処理装置１００の記憶部１２０に記憶されている各種プログラムを読み出して、ＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））等の集積回路により実現されてもよい。
次に、図３に戻って、制御部１３０について説明する。制御部１３０は、情報処理装置１００を制御するコントローラ（Ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、情報処理装置１００の記憶部１２０に記憶されている各種プログラムを読み出して、ＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））等の集積回路により実現されてもよい。
【0055】
制御部１３０は、図３に示すように、配信部１３１と、取得部１３２と、検出部１３３と、特定部１３４と、抽出部１３５と、出力部１３６を有する。制御部１３０は、記憶部１２０からプログラムを読み出して、ＲＡＭを作業領域として実行することで、これらの機能を実現して、以下に説明する情報処理の機能や作用を実現または実行する。以下、これらの処理を、順を追って説明する。
【0056】
（配信部１３１について）
配信部１３１は、利用者端末２００にコンテンツを配信する。例えば、配信部１３１は、ニュースの動画像、ニュースの記事のテキストや画像などをコンテンツとして、利用者端末２００に配信する。例えば、配信部１３１は、コンテンツが動画像である場合は、利用者端末２００に動画像を出力させてコンテンツを提供する。また、配信部１３１は、コンテンツがテキスト、及び画像である場合は、利用者端末２００にテキスト、及び画像を表示させることで、コンテンツを配信してよい。
配信部１３１は、利用者端末２００にコンテンツを配信する。例えば、配信部１３１は、ニュースの動画像、ニュースの記事のテキストや画像などをコンテンツとして、利用者端末２００に配信する。例えば、配信部１３１は、コンテンツが動画像である場合は、利用者端末２００に動画像を出力させてコンテンツを提供する。また、配信部１３１は、コンテンツがテキスト、及び画像である場合は、利用者端末２００にテキスト、及び画像を表示させることで、コンテンツを配信してよい。
【0057】
（取得部１３２について）
取得部１３２は、コンテンツを参照する利用者の状態を示すセンサデータを取得する。例えば、取得部１３２は、センサデータとして、利用者端末２００のジャイロセンサによって計測された利用者のコンテンツ参照時の頭の動きを角速度によって表した計測データを取得してよい。また、取得部１３２は、センサデータとして、利用者端末２００の加速度センサによって計測された利用者のコンテンツ参照時の身体の動きを加速度によって表した計測データを取得してもよい。また、取得部１３２は、センサデータとして、利用者端末２００のカメラによって撮像された利用者の表情を示す画像データを取得してもよい。なお、センサデータは、計測された時期を含む情報であってよい。
取得部１３２は、コンテンツを参照する利用者の状態を示すセンサデータを取得する。例えば、取得部１３２は、センサデータとして、利用者端末２００のジャイロセンサによって計測された利用者のコンテンツ参照時の頭の動きを角速度によって表した計測データを取得してよい。また、取得部１３２は、センサデータとして、利用者端末２００の加速度センサによって計測された利用者のコンテンツ参照時の身体の動きを加速度によって表した計測データを取得してもよい。また、取得部１３２は、センサデータとして、利用者端末２００のカメラによって撮像された利用者の表情を示す画像データを取得してもよい。なお、センサデータは、計測された時期を含む情報であってよい。
【0058】
上述したように、取得部１３２は、センサデータとして、ジャイロセンサが計測した利用者の頭の動きの角速度を取得する。例えば、取得部１３２は、利用者端末２００が備えるジャイロセンサが計測した利用者の頭の動きの角速度として、ヨー軸、ピッチ軸、及びロール軸の三軸に対応する角速度の値を取得する。取得部１３２は、利用者端末２００から利用者の頭の動きの角速度を取得したら、取得した角速度をセンサデータとして、センサデータ記憶部１２１に記憶する。
【0059】
上述したように、取得部１３２は、センサデータとして、カメラが撮像した利用者の表情を示す画像データを取得する。例えば、取得部１３２は、利用者端末２００が備えるフロントカメラによって撮像された利用者の表情を示す画像データを取得してよい。なお、取得部１３２が取得する画像データは、所定間隔ごとに撮像された静止画像であってもよく、任意の期間に亘って撮像された動画像であってもよい。取得部１３２は、利用者の表情を示す画像データを取得したら、取得した画像データをセンサデータとして、センサデータ記憶部１２１に記憶する。
【0060】
（検出部１３３について）
検出部１３３は、センサデータに基づいて、利用者が所定の行動を行ったことを検出する。ここで、所定の行動とは、利用者がコンテンツ参照時に求める情報と異なると感じたことや、利用者が参照中のコンテンツについて追加の情報が知りたいと感じたことを示唆する行動であってよい。例えば、利用者のコンテンツ参照時に、首を傾げた行動や、疑問に思った表情をした行動、所定の検索クエリによって検索した行動などであってもよい。例えば、検出部１３３は、ジャイロセンサによって計測された利用者のコンテンツ参照時の頭の動きの角速度に基づいて、利用者が首を傾げた行動を検出してよい。また、例えば、検出部１３３は、利用者端末２００のカメラによって撮像された利用者の表情を示す画像データに基づいて、疑問に思った表情をした行動を検出してよい。
検出部１３３は、センサデータに基づいて、利用者が所定の行動を行ったことを検出する。ここで、所定の行動とは、利用者がコンテンツ参照時に求める情報と異なると感じたことや、利用者が参照中のコンテンツについて追加の情報が知りたいと感じたことを示唆する行動であってよい。例えば、利用者のコンテンツ参照時に、首を傾げた行動や、疑問に思った表情をした行動、所定の検索クエリによって検索した行動などであってもよい。例えば、検出部１３３は、ジャイロセンサによって計測された利用者のコンテンツ参照時の頭の動きの角速度に基づいて、利用者が首を傾げた行動を検出してよい。また、例えば、検出部１３３は、利用者端末２００のカメラによって撮像された利用者の表情を示す画像データに基づいて、疑問に思った表情をした行動を検出してよい。
【0061】
また、上述したように、検出部１３３は、取得部１３２がセンサデータとしてジャイロセンサが計測した利用者の頭の動きの角速度を取得した場合であれば、利用者の頭の横方向の回転に対応する回転軸の角速度が所定の閾値を超えた場合に、利用者の頭を傾げる行動を検出してよい。なお、この場合の所定の閾値は、図１に示す利用者Ｕが装着するヘッドフォン型のデバイスに設けられたジャイロセンサによって計測された利用者が頭を傾げたときの角速度の計測値を取得して、例えば、複数回にわたって計測された値の平均値としてよい。
【0062】
また、上述したように、検出部１３３は、取得部１３２がセンサデータとしてカメラが撮像した利用者の表情を示す画像データを取得した場合であれば、利用者の画像データに基づいて、利用者の表情の眉や頬、唇の動き、えくぼの有無、顎の角度といった特徴と、利用者の思念や、感情との関係を学習した学習済みモデルを用いて、利用者が疑問に思った表情をした行動を検出してよい。この場合の学習に用いるモデルは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であってよい。
【0063】
（特定部１３４について）
特定部１３４は、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する。例えば、特定部１３４は、利用者端末２００からマウスの操作や、キーボードの操作、タッチパネルの操作などの操作情報を取得して、利用者が参照しているコンテンツの情報と、操作情報と、センサデータに基づいて、検出部１３３が検出した所定の行動を行った時に参照していた範囲を特定してよい。例えば、特定部１３４は、利用者の表情を示す画像データに基づいて、視線検出処理を実行して、利用者の視線の先の範囲を、参照していた範囲として特定してよい。また、検出部１３３が、利用者の首を傾げた行動が検出された場合は、首を傾げた時の操作情報に基づいて、操作情報が示す範囲を参照していた範囲として特定してよい。例えば、首を傾げた時のマウスのポインタの位置や、タッチパネルのタッチ位置を参照していた範囲として特定してよい。また、検出部１３３が、疑問に思った表情をした行動が検出された場合も同様に、疑問に思った表情をした行動が検出された時にの操作情報に基づいて、操作情報が示す位置を参照していた範囲として特定してよい。
特定部１３４は、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する。例えば、特定部１３４は、利用者端末２００からマウスの操作や、キーボードの操作、タッチパネルの操作などの操作情報を取得して、利用者が参照しているコンテンツの情報と、操作情報と、センサデータに基づいて、検出部１３３が検出した所定の行動を行った時に参照していた範囲を特定してよい。例えば、特定部１３４は、利用者の表情を示す画像データに基づいて、視線検出処理を実行して、利用者の視線の先の範囲を、参照していた範囲として特定してよい。また、検出部１３３が、利用者の首を傾げた行動が検出された場合は、首を傾げた時の操作情報に基づいて、操作情報が示す範囲を参照していた範囲として特定してよい。例えば、首を傾げた時のマウスのポインタの位置や、タッチパネルのタッチ位置を参照していた範囲として特定してよい。また、検出部１３３が、疑問に思った表情をした行動が検出された場合も同様に、疑問に思った表情をした行動が検出された時にの操作情報に基づいて、操作情報が示す位置を参照していた範囲として特定してよい。
【0064】
（抽出部１３５について）
抽出部１３５は、コンテンツの特定した範囲と関連性を有する関連情報を抽出する。例えば、抽出部１３５は、コンテンツの範囲に対応付けて記憶されている関連情報を関連情報記憶部１２３から抽出する。関連情報記憶部１２３には、例えば、コンテンツがニュースの記事である場合であれば、ニュースの記事の文章の段落ごとに、関連情報を対応付けて記憶されている。また、ニュースの記事に画像についても、関連情報が対応付けて記憶されている。そのため、特定部１３４が、利用者が所定の行動を行った時に参照していた範囲として、ニュースの記事の文章の段落が特定されたとすると、抽出部１３５は、当該の段落に対応付けて記憶されている関連情報を、関連情報記憶部１２３から抽出する。
抽出部１３５は、コンテンツの特定した範囲と関連性を有する関連情報を抽出する。例えば、抽出部１３５は、コンテンツの範囲に対応付けて記憶されている関連情報を関連情報記憶部１２３から抽出する。関連情報記憶部１２３には、例えば、コンテンツがニュースの記事である場合であれば、ニュースの記事の文章の段落ごとに、関連情報を対応付けて記憶されている。また、ニュースの記事に画像についても、関連情報が対応付けて記憶されている。そのため、特定部１３４が、利用者が所定の行動を行った時に参照していた範囲として、ニュースの記事の文章の段落が特定されたとすると、抽出部１３５は、当該の段落に対応付けて記憶されている関連情報を、関連情報記憶部１２３から抽出する。
【0065】
また、抽出部１３５は、利用者が参照していた範囲と、関連情報との関係を学習した生成モデルによって、利用者が参照した範囲に基づいて関連情報を生成して、生成された関連情報のなかから利用者に提供する関連情報を抽出してもよい。また、抽出部１３５は、利用者が参照していた範囲に対する関連情報が蓄積されたデータベースから関連情報を検索したうえで、検索結果に含まれる関連情報から利用者に提供する関連情報を抽出してもよい。
【0066】
（出力部１３６について）
出力部１３６は、抽出した関連情報を音声により利用者端末２００に出力させる。例えば、出力部１３６は、抽出部１３５が抽出した関連情報のテキストメッセージを音声として、利用者端末２００に出力させてよい。なお、出力部１３６は、抽出された関連情報を利用者端末２００に出力する方式は、音声に限定されることなく、その他の任意の方式によって利用者端末２００に出力させてもよい。
出力部１３６は、抽出した関連情報を音声により利用者端末２００に出力させる。例えば、出力部１３６は、抽出部１３５が抽出した関連情報のテキストメッセージを音声として、利用者端末２００に出力させてよい。なお、出力部１３６は、抽出された関連情報を利用者端末２００に出力する方式は、音声に限定されることなく、その他の任意の方式によって利用者端末２００に出力させてもよい。
【0067】
〔４．利用者端末の構成〕
次に、図７を用いて、実施形態に係る利用者端末２００の構成について説明する。図７は、実施形態に係る利用者端末の構成例を示す図である。図７に示すように、利用者端末２００は、通信部２１０と、記憶部２２０と、入力部２３０と、出力部２４０と、センサ部２５０と、制御部２６０と、を有する。
次に、図７を用いて、実施形態に係る利用者端末２００の構成について説明する。図７は、実施形態に係る利用者端末の構成例を示す図である。図７に示すように、利用者端末２００は、通信部２１０と、記憶部２２０と、入力部２３０と、出力部２４０と、センサ部２５０と、制御部２６０と、を有する。
【0068】
通信部２１０は、例えば、ＮＩＣ、無線ＬＡＮカード等によって実現される。そして、通信部２１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、情報処理装置１００との間で各種の情報の送受信を行う。
【0069】
記憶部２２０は、主記憶装置と外部記憶装置とを備える。主記憶装置は、制御部２６０が実行するプログラム、あるいは制御部２６０が処理するデータを記憶する。主記憶装置は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ等のような半導体メモリ素子によって実現されてよい。外部記憶装置は、制御部２６０が処理するデータを保存する。外部記憶装置は、例えば、ハードディスクやＳＳＤ、磁気テープ、光ディスク等によって実現されてよい。
【0070】
入力部２３０は、利用者から各種の操作情報が入力される。例えば、入力部２３０は、タッチパネルにより表示面（例えば出力部２４０）を介して利用者からの各種操作を受け付けてもよい。また、入力部２３０は、利用者端末２００に設けられたボタンや、利用者端末２００に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0071】
出力部２４０は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって実現されるタブレット型端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、利用者端末２００は、入力部２３０がタッチパネルである場合は、出力部２４０である表示画面により利用者の入力を受け付け、利用者への出力も行う。また、出力部２４０は、スピーカーであってもよく、スピーカーにより音声を出力してよい。
【0072】
センサ部２５０は、利用者の状態を示すセンサデータを計測する。以下に、センサ部２５０の具体的な態様について説明する。なお、センサ部２５０は、利用者端末２００と一体構造として設けられる必要はなく、無線により利用者端末２００に接続されたデバイス（例えば、図１に示すヘッドフォン型のデバイス）に設けられたものであってもよい。
【0073】
センサ部２５０は、ジャイロセンサであってよい。ジャイロセンサは、可動電極に一方向に振動する一次振動を発生させておき、可動電極に回転が加わると振動方向と９０°の方向にコリオリの力が働くことにより二次振動が発生し、静電容量の変化が生じるため、これを検出する静電容量型ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ジャイロセンサであってよい。なお、静電容量の変化と可動電極の振動位相とにより角速度を求めることができる。
【0074】
センサ部２５０は、加速度センサであってもよい。加速度センサは、例えば、ＭＥＭＳにより可動電極と固定電極を作り、可動電極が動くことによる静電容量の変化と加速度の関係を用いて加速度を計測する静電容量式の加速度センサであってよい。なお、センサ部２５０は、三軸ジャイロセンサと、三軸加速度センサと、三軸磁気センサを組み合わせた９ＤｏＦ（Ｄｅｇｒｅｅ ｏｆ Ｆｒｅｅｄｏｍ）のＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）であってもよい。
【0075】
センサ部２５０は、カメラであってもよい。カメラは、光学素子と撮像素子を含む。光学素子は、例えばレンズ、ミラー、プリズム、フィルタなどの光学系を構成する素子である。撮像素子は、光学素子を通して入射した光を電気信号である画像信号に変換する素子である。なお、撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどであってよい。
【0076】
制御部２６０は、例えば、ＣＰＵやＭＰＵ等によって、利用者端末２００に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２６０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
【0077】
図７に示すように、制御部２６０は、受付部２６１と、提供部２６２と、を有する。
【0078】
受付部２６１は、利用者の操作を受け付ける。例えば、受付部２６１は、コンテンツに対する利用者の操作を受け付ける。受付部２６１は、出力部２４０のタッチパネルを介して、利用者の操作を受け付けてよく、例えば、コンテンツに対するスワイプ操作や、ドラッグ操作、フリック操作などを受け付けてよい。また、受付部２６１は、入力部２３０を介して、コンテンツに対するキーボード操作、マウス操作を受け付けてもよい。
【0079】
提供部２６２は、利用者に対してコンテンツを提供する。ここで、コンテンツは、ニュースの動画像、ニュースの記事のテキストや画像などであってよい。例えば、提供部２６２は、コンテンツが動画像である場合は、出力部２４０に動画像を出力させてコンテンツを提供する。また、提供部２６２は、コンテンツがテキスト、及び画像である場合は、出力部２４０にテキスト、及び画像を表示させることで、コンテンツを配信してよい。
【0080】
〔５．情報処理のフロー〕
次に、図８を用いて、実施形態に係る情報処理の手順について説明する。図８は、実施形態に係る情報処理の一例を示すフローチャートである。以下、図８に示すフローチャートに沿って、実施形態に係る情報処理の手順について説明する。
次に、図８を用いて、実施形態に係る情報処理の手順について説明する。図８は、実施形態に係る情報処理の一例を示すフローチャートである。以下、図８に示すフローチャートに沿って、実施形態に係る情報処理の手順について説明する。
【0081】
まず、情報処理装置１００は、利用者端末にコンテンツを配信する（ステップＳ１０１）。次に、情報処理装置１００は、コンテンツを参照する利用者の状態を示すセンサデータを取得する（ステップＳ１０２）。そして、情報処理装置１００は、センサデータに基づいて、利用者が所定の行動を行ったことを検出する（ステップＳ１０３）。そして、情報処理装置１００は、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する（ステップＳ１０４）。そして、情報処理装置１００は、コンテンツの特定した範囲と関連性を有する関連情報を抽出する（ステップＳ１０５）。そして、情報処理装置１００は、抽出した関連情報を音声により利用者端末に出力させる（ステップＳ１０６）。
【0082】
これによれば、コンテンツを参照する利用者の状態を示すセンサデータに基づいて、利用者が所定の行動を行ったことを検出し、利用者が所定の行動を行った時に参照していた範囲を特定して、参照していた範囲に関連する関連情報を提供することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理方法、及び情報処理プログラムを提供することができる。
【0083】
〔６．ハードウェア構成〕
また、上述した実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
また、上述した実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
【0084】
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが記憶される記憶装置であり、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等により実現される。
【0085】
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。
【0086】
なお、入力装置１０２０は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。
【0087】
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
【0088】
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
【0089】
例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、情報処理装置１００の制御部１３０の機能を実現する。
【0090】
〔７．構成と効果〕
本開示に係る情報処理装置１００は、利用者端末２００にコンテンツを配信する配信部１３１と、コンテンツを参照する利用者の状態を示すセンサデータを取得する取得部１３２と、センサデータに基づいて、利用者が所定の行動を行ったことを検出する検出部１３３と、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する特定部１３４と、コンテンツの特定した範囲と関連性を有する関連情報を抽出する抽出部１３５と、抽出した関連情報を音声により利用者端末２００に出力させる出力部１３６と、を備える。
本開示に係る情報処理装置１００は、利用者端末２００にコンテンツを配信する配信部１３１と、コンテンツを参照する利用者の状態を示すセンサデータを取得する取得部１３２と、センサデータに基づいて、利用者が所定の行動を行ったことを検出する検出部１３３と、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定する特定部１３４と、コンテンツの特定した範囲と関連性を有する関連情報を抽出する抽出部１３５と、抽出した関連情報を音声により利用者端末２００に出力させる出力部１３６と、を備える。
【0091】
この構成によれば、コンテンツを参照する利用者の状態を示すセンサデータに基づいて、利用者が所定の行動を行ったことを検出し、利用者が所定の行動を行った時に参照していた範囲を特定して、参照していた範囲に関連する関連情報を提供することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理装置１００を提供することができる。
【0092】
本開示に係る情報処理装置１００の取得部１３２は、センサデータとして、ジャイロセンサが計測した利用者の頭の動きの角速度を取得し、検出部１３３は、角速度に基づいて、利用者が頭を傾げた行動を検出する。
【0093】
この構成によれば、センサデータとしてジャイロセンサが計測した利用者の頭の動きの角速度を取得し、ジャイロセンサの角速度に基づいて、利用者が頭を傾げた行動を検出して、当該の行動を行った時の利用者が参照していた範囲を特定して、参照していた範囲に関連する関連情報を提供することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理装置１００を提供することができる。
【0094】
本開示に係る情報処理装置１００の取得部１３２は、センサデータとして、カメラが撮像した利用者の表情を示す画像データを取得し、検出部１３３は、画像データに基づいて、利用者が疑問に思った表情をした行動を検出する。
【0095】
この構成によれば、センサデータとして、カメラが撮像した利用者の表情を示す画像データを取得し、画像データに基づいて、利用者が疑問に思った表情をした行動を検出して、当該の行動を行った時の利用者が参照していた範囲を特定して、参照していた範囲に関連する関連情報を提供することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理装置１００を提供することができる。
【0096】
本開示に係る情報処理装置１００の抽出部１３５は、利用者が参照していた範囲と、関連情報との関係を学習した生成モデルによって、利用者が参照した範囲に基づいて関連情報を生成して、生成された関連情報のなかから利用者に提供する関連情報を抽出する。
【0097】
この構成によれば、利用者が参照した範囲と、関連情報との関係を学習した生成モデルによって、関連情報を生成して、生成された関連情報のなかから関連情報を抽出することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理装置１００を提供することができる。
【0098】
本開示に係る情報処理方法は、利用者端末２００にコンテンツを配信するステップと、コンテンツを参照する利用者の状態を示すセンサデータを取得するステップと、センサデータに基づいて、利用者が所定の行動を行ったことを検出するステップと、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定するステップと、コンテンツの特定した範囲と関連性を有する関連情報を抽出するステップと、抽出した関連情報を音声により利用者端末に出力させるステップと、を含む。
【0099】
この構成によれば、コンテンツを参照する利用者の状態を示すセンサデータに基づいて、利用者が所定の行動を行ったことを検出し、利用者が所定の行動を行った時に参照していた範囲を特定して、参照していた範囲に関連する関連情報を提供することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理方法を提供することができる。
【0100】
本開示に係る情報処理プログラムは、利用者端末２００にコンテンツを配信するステップと、コンテンツを参照する利用者の状態を示すセンサデータを取得するステップと、センサデータに基づいて、利用者が所定の行動を行ったことを検出するステップと、利用者が参照するコンテンツのうち、当該利用者が所定の行動を行った時に参照していた範囲を特定するステップと、コンテンツの特定した範囲と関連性を有する関連情報を抽出するステップと、抽出した関連情報を音声により利用者端末に出力させるステップと、をコンピュータに実行させる。
【0101】
この構成によれば、コンテンツを参照する利用者の状態を示すセンサデータに基づいて、利用者が所定の行動を行ったことを検出し、利用者が所定の行動を行った時に参照していた範囲を特定して、参照していた範囲に関連する関連情報を提供することができる。そのため、利用者が容易に適切な関連情報を参照することができる情報処理プログラムを提供することができる。
【0102】
以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0103】
また、上述してきた「部（ｓｅｃｔｉｏｎ、ｍｏｄｕｌｅ、ｕｎｉｔ）」は、「手段」や「回路」などに読み替えることができる。例えば、配信部１３１は、配信手段や配信回路に読み替えることができる。
【符号の説明】
【0104】
１ 情報処理システム
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ センサデータ記憶部
１２２ コンテンツ記憶部
１２３ 関連情報記憶部
１３０ 制御部
１３１ 配信部
１３２ 取得部
１３３ 検出部
１３４ 特定部
１３５ 抽出部
１３６ 出力部
２００ 利用者端末
２１０ 通信部
２２０ 記憶部
２３０ 入力部
２４０ 出力部
２５０ センサ部
２６０ 制御部
２６１ 受付部
２６２ 提供部
Ｎ ネットワーク
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ センサデータ記憶部
１２２ コンテンツ記憶部
１２３ 関連情報記憶部
１３０ 制御部
１３１ 配信部
１３２ 取得部
１３３ 検出部
１３４ 特定部
１３５ 抽出部
１３６ 出力部
２００ 利用者端末
２１０ 通信部
２２０ 記憶部
２３０ 入力部
２４０ 出力部
２５０ センサ部
２６０ 制御部
２６１ 受付部
２６２ 提供部
Ｎ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】