IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤフー株式会社の特許一覧

特開2024-39150情報処理装置、情報処理方法、及び情報処理プログラム
<>
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図1
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図2
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図3
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図4
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図5
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図6
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図7
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図8
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図9
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024039150
(43)【公開日】2024-03-22
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
   G06F 3/0488 20220101AFI20240314BHJP
【FI】
G06F3/0488
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022143485
(22)【出願日】2022-09-09
(71)【出願人】
【識別番号】500257300
【氏名又は名称】LINEヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】池松 香
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA11
5E555AA76
5E555BA05
5E555BA06
5E555BB05
5E555BB06
5E555BC17
5E555BD01
5E555CA12
5E555CB16
5E555CB17
5E555CB19
5E555CB40
5E555CB46
5E555CB49
5E555CB56
5E555DB22
5E555DB56
5E555DC02
5E555DC26
5E555DC27
5E555DD06
5E555EA07
5E555EA19
5E555FA00
(57)【要約】
【課題】複数のコンテンツが表示されている場合にコンテンツを的確に操作することが可能な情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【解決手段】本開示に係る情報処理装置は、利用者端末に操作処理の対象となる複数のコンテンツを表示させる表示制御部と、利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得する取得部と、利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別する判別部と、を備え、表示制御部は、判別部が判別した操作対象コンテンツの表示態様を変えて利用者端末に表示させる。
【選択図】図3
【特許請求の範囲】
【請求項1】
利用者端末に操作処理の対象となる複数のコンテンツを表示させる表示制御部と、
利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得する取得部と、
利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別する判別部と、を備え、
前記表示制御部は、前記判別部が判別した操作対象コンテンツの表示態様を変えて利用者端末に表示させる、
情報処理装置。
【請求項2】
利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作意図を判定する判定部と、をさらに備え、
前記表示制御部は、前記操作対象コンテンツの表示態様を前記判定部が判定した操作意図に沿って変化させて表示させる、
請求項1に記載の情報処理装置。
【請求項3】
前記判別部は、利用者が所定のコンテンツに対して操作を行った際の操作情報と、当該所定のコンテンツとの関係性を学習したモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別する、
請求項1に記載の情報処理装置。
【請求項4】
前記判別部は、コンテンツごとに異なるモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別する、
請求項3に記載の情報処理装置。
【請求項5】
前記表示制御部は、利用者から受け付ける操作方向がそれぞれ異なる複数の対象コンテンツを表示させ、
前記判別部は、前記操作情報と、各対象コンテンツが受け付ける操作方向とに基づいて、操作対象となるコンテンツを判別する、
請求項1に記載の情報処理装置。
【請求項6】
利用者端末に操作処理の対象となる複数のコンテンツを表示させるステップと、
利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得するステップと、
利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別するステップと、
判別した操作対象コンテンツの表示態様を変えて利用者端末に表示させるステップと、を含む、
情報処理方法。
【請求項7】
利用者端末に操作処理の対象となる複数のコンテンツを表示させるステップと、
利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得するステップと、
利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別するステップと、
判別した操作対象コンテンツの表示態様を変えて利用者端末に表示させるステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
コンテンツを複数表示してコンテンツに対する操作を受け付ける場合、複数のコンテンツの位置関係によっては、利用者が操作対象として意図するコンテンツを識別することができず、利用者の意図とは異なるコンテンツに対する操作として受け付けることがあった。その場合、利用者は操作をやり直して入力する必要があり、利用者に不便が生じていた。
【0003】
例えば、下記の特許文献1には、密集している操作対象を容易に選択することが可能な情報処理装置であって、第1の領域に手などの操作体が近接していると判断された場合に、第1の領域の表示内容を第1の領域とは異なる第2の領域に表示させる表示制御部と、第1の領域に対する操作を第2の領域に表示された表示内容に対する操作として表示する操作制御部と、を備える情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011-134273号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の特許文献1に記載の情報処理装置は、複数のコンテンツが表示されている場合に、利用者の意図する操作対象を正確に把握して、利用者の意図に沿ってコンテンツの表示態様を変えて表示することはできなかった。
【0006】
本開示は上記課題を鑑み、複数のコンテンツが表示されている場合にコンテンツを的確に操作することが可能な情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、利用者端末に操作処理の対象となる複数のコンテンツを表示させる表示制御部と、利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得する取得部と、利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別する判別部と、を備え、前記表示制御部は、前記判別部が判別した操作対象コンテンツの表示態様を変えて利用者端末に表示させる。
【発明の効果】
【0008】
本開示によれば、複数のコンテンツが表示されている場合にコンテンツを的確に操作することが可能な情報処理装置、情報処理方法、及び情報処理プログラムを提供することができる。
【図面の簡単な説明】
【0009】
図1図1は、実施形態に係る情報処理の一例を示す図である。
図2図2は、実施形態に係る情報処理システムの構成例を示す図である。
図3図3は、実施形態に係る情報処理装置の構成例を示す図である。
図4図4は、実施形態に係る情報処理装置の操作情報記憶部に記憶される情報の一例を示す図である。
図5図5は、実施形態に係る情報処理装置のモデルデータ記憶部に記憶される情報の一例を示す図である。
図6図6は、実施形態に係る情報処理装置のコンテンツ記憶部に記憶される情報の一例を示す図である。
図7図7は、実施形態に係る情報処理装置が利用者端末に表示させるコンテンツの一例を示す図である。
図8図8は、実施形態に係る利用者端末の構成例を示す図である。
図9図9は、実施形態に係る情報処理の一例を示すフローチャートである。
図10図10は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0010】
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。
【0011】
(実施形態)
〔1-1.実施形態に係る情報処理の一例〕
まず、図1を用いて、実施形態に係る情報処理の一例について説明する。図1は、実施形態に係る情報処理の一例を示す図である。まず、実施形態に係る情報処理の概要を説明した後に、個々の処理を詳細に説明する。
【0012】
図1では、情報処理装置100が利用者端末200に操作対象となる複数のコンテンツを表示させて、利用者端末200から利用者の操作情報を取得し、操作情報に基づいて操作対象コンテンツを判別し、操作情報に基づいて操作種別を判定し、判定した操作種別に基づいて操作対象コンテンツの表示態様を変えてコンテンツを表示させる処理が示されている。以下、図1を用いて、実施形態に係る情報処理の一例についてステップごとに説明する。
【0013】
まず、情報処理装置100は、操作対象となる複数のコンテンツを表示させる(ステップS1)。例えば、情報処理装置100は、利用者端末200に、電子ブックのページ画面や、テキストボックス、動画のスクロールバー、WEBページのスクロールバー、CAD(Computer‐Aided Design)のオブジェクトなどを含む操作対象となる複数のコンテンツを表示させて、利用者の操作情報を受け付ける。なお、操作対象となる複数のコンテンツが表示される状態とは、例えば、スワイプ操作を受け付けるスクロールバーが複数表示される場合や、スクロールバーとスワイプ操作を受け付けるページ画面が重ねて表示される状態などのことを指している。
【0014】
次に、情報処理装置100は、利用者端末200から利用者の操作情報を取得する(ステップS2)。例えば、情報処理装置100は、利用者端末200のタッチパネルに接触している利用者Uの指ごとのタッチ所要時間、タッチ移動速度(X軸、Y軸)、タッチダウン位置(X軸、Y軸)、タッチアップ位置(X軸、Y軸)、接触面積、タッチダウン‐アップ位置の差異を含む操作情報を取得する。
【0015】
次に、情報処理装置100は、操作情報に基づいて操作対象コンテンツを判別する(ステップS3)。例えば、情報処理装置100は、利用者が所定のコンテンツに対して操作を行った際の操作情報と、当該所定のコンテンツとの関係性を学習したモデルを用いて、操作対象コンテンツを判別する。すなわち、情報処理装置100は、利用者のタッチ操作の操作情報を学習済みモデルに入力することにより、利用者のタッチ操作の操作対象となるコンテンツを判別する。
【0016】
次に、情報処理装置100は、操作情報に基づいて操作種別を判定する(ステップS4)。例えば、情報処理装置100は、操作情報によると、利用者Uが2本の指でタッチを開始し、その後に2本の指の間隔を拡大する操作を行ったことが検出された場合に、操作種別をピンチアウト操作であると判定する。
【0017】
次に、情報処理装置100は、操作種別に基づいて操作対象コンテンツの表示態様を変えて表示させる(ステップS5)。例えば、情報処理装置100は、図1に示すコンテンツCT1を操作対象コンテンツと判別し、利用者の操作種別をピンチアウト操作であると判定した場合、コンテンツCT1を拡大して表示させる表示態様に変えて、コンテンツCT1を表示させる。
【0018】
これにより、情報処理装置100は、操作対象となる複数のコンテンツが表示されている場合であっても、利用者の操作対象となるコンテンツを把握して、利用者の操作意図に沿ってコンテンツの表示態様を変えて表示させることができる。
【0019】
〔1-2.実施形態に係る情報処理の他の例1〕
情報処理装置100は、コンテンツごとに異なるモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別する。
【0020】
この情報処理について順を追って説明する。まず、情報処理装置100は、図1に示したステップS1からS2までと同じ処理を実行する。ステップS1からS2までの処理は、前述した処理と同じであるから説明を省略する。
【0021】
次に、情報処理装置100は、操作情報に基づいて操作対象コンテンツを判別する(ステップS3)。この場合において、情報処理装置100は、コンテンツごとに異なるモデルを用いて、操作対象となるコンテンツを判別する。例えば、情報処理装置100は、表示された複数のコンテンツがスクロールバーである場合は、スクロールバーに対して操作を行った際の操作情報と、スクロールバーとの関係性を学習したモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別する。
【0022】
次に、情報処理装置100は、図1に示したステップS4からS5までと同じ処理を実行する。ステップS4からS5までの処理は、前述した処理と同じであるから説明を省略する。
【0023】
これにより、情報処理装置100は、操作対象となる複数のコンテンツが表示された場合であっても、利用者の操作意図に沿って操作対象コンテンツを判別して、利用者の操作意図に沿ってコンテンツの表示を変えて的確に表示させることが可能となる。
【0024】
〔1-3.実施形態に係る情報処理の他の例2〕
情報処理装置100は、利用者から受け付ける操作方向がそれぞれ異なる複数のコンテンツを表示させ、操作情報と、各コンテンツが受け付ける操作方向とに基づいて、操作対象となるコンテンツを判別する。
【0025】
この情報処理について順を追って説明する。まず、情報処理装置100は、利用者から受け付ける操作方向がそれぞれ異なる複数の対象コンテンツを表示させる(ステップS1)。この場合において、情報処理装置100は、例えば、縦方向のスワイプ操作を受け付けるスクロールバーと、横方向のスワイプ操作を受け付けるスクロールバーを利用者端末200に表示させる。また、情報処理装置100は、横方向のスワイプ操作を受け付けるページ画面と、縦方向のスワイプ操作を受け付けるページ画面を重ねて利用者端末200に表示させてもよい。
【0026】
次に、情報処理装置100は、図1に示したステップS2と同じ処理を実行する。ステップS2の処理は、前述した処理と同じであるから説明を省略する。
【0027】
次に、情報処理装置100は、操作情報に基づいて操作対象コンテンツを判別する(ステップS3)。この場合において、情報処理装置100は、操作情報と、各コンテンツが受け付ける操作方向とに基づいて、操作対象となるコンテンツを判別する。例えば、情報処理装置100は、縦方向のスワイプ操作を受け付けるスクロールバーと、横方向のスワイプ操作を受け付けるスクロールバーを利用者端末200に表示させた場合であって、利用者端末200から取得した操作情報が、横方向の指の移動を示している場合であれば、操作対象コンテンツを横方向のスワイプ操作を受け付けるスクロールバーと判別する。
【0028】
次に、情報処理装置100は、図1に示したステップS4からS5と同じ処理を実行する。ステップS4からS5の処理は、前述した処理と同じであるから説明を省略する。
【0029】
これにより、情報処理装置100は、利用者の操作意図に沿って操作対象コンテンツを判別し、利用者の操作意図に沿ってコンテンツの表示態様を変えてコンテンツを表示させることが可能となる。
【0030】
〔2.情報処理システムの構成〕
次に、図2を用いて実施形態に係る情報処理システムの構成について説明する。図2は、実施形態に係る情報処理システムの構成例を示す図である。図2に示すように、情報処理システム1は、情報処理装置100と、利用者端末200と、を含む。なお、図2に示した情報処理システム1は、複数台の情報処理装置100や、複数台の利用者端末200が含まれ構成されていてもよい。情報処理装置100と利用者端末200は所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。
【0031】
情報処理装置100は、例えばPC(Personal Computer)、WS(Work Station)、サーバの機能を備えるコンピュータなどの情報処理装置であってよい。情報処理装置100は、利用者端末200からネットワークNを介して送信されてきた情報に基づいて処理を行う。
【0032】
利用者端末200は、利用者が利用する情報処理装置である。利用者端末200は、例えば、スマートフォン、タブレット型端末、デスクトップ型PC、ノート型PC、携帯電話機、PDA(Personal Digital Assistant)等の情報処理装置であってよい。なお、図1に示す例においては、利用者端末200がスマートフォンである場合を示している。
【0033】
〔3.情報処理装置の構成〕
次に、図3を用いて、実施形態に係る情報処理装置100の構成について説明する。図3は、実施形態に係る情報処理装置の構成例を示す図である。図3に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130と、を有する。なお、図3に図示はしていないが、情報処理装置100は、情報処理装置100の管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0034】
(通信部110について)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、利用者端末200との間で情報の送受信を行う。
【0035】
(記憶部120について)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。図3に示すように、記憶部120は、操作情報記憶部121と、モデル記憶部122と、コンテンツ記憶部123と、を有する。
【0036】
(操作情報記憶部121について)
操作情報記憶部121は、利用者端末200から取得した利用者の操作情報を記憶する。ここで、図4を用いて、操作情報記憶部121が記憶する情報の一例を説明する。図4は、実施形態に係る情報処理装置の操作情報記憶部に記憶される情報の一例を示す図である。
【0037】
図4に示す例において、操作情報記憶部121は、「利用者ID」、「操作情報」という項目に係る情報を紐付けて記憶する。
【0038】
「利用者ID」は、利用者を識別する識別子であり文字列や番号などによって表される。「操作情報」は、「利用者ID」に紐付けられた利用者の操作情報であり、利用者の指ごとのタッチ所要時間、タッチ移動速度(X軸、Y軸)、タッチダウン位置(X軸、Y軸)、タッチアップ位置(X軸、Y軸)、接触面積、タッチダウン‐アップ位置の差異、などを含んでよい。
【0039】
すなわち、図4においては、利用者ID「UID#1」により識別された利用者の操作情報が操作情報「操作情報#1」であることを示している。
【0040】
なお、操作情報記憶部121に記憶される情報は、「利用者ID」、「操作情報」という項目に係る情報に限定されるものではなく、その他の任意の利用者の操作に関係する情報が記憶されてよい。
【0041】
(モデル記憶部122について)
モデル記憶部122は、利用者が所定のコンテンツに対して操作を行った際の操作情報と、当該所定のコンテンツとの関係性を学習した学習済みモデルを記憶する。図5は、実施形態に係る情報処理装置のモデル記憶部に記憶される情報の一例を示す図である。
【0042】
図5に示す例において、モデル記憶部122は、「モデルID」、「モデルデータ」という項目に係る情報を紐付けて記憶する。
【0043】
「モデルID」は、機械学習モデルを識別する識別子であり文字列や番号などによって表される。「モデルデータ」は、機械学習モデルのモデルデータを示す。例えば、機械学習モデルは、ニューラルネットワークなどであってよい。
【0044】
すなわち、図5において、モデルID「M#1」で識別されるモデルは、機械学習モデルM#1を示す。また、モデルデータ「MDT#1」は、機械学習モデルM#1のモデルデータを示す。
【0045】
ここで、機械学習モデルがニューラルネットワークである場合は、モデルデータ「MDT#1」には、例えば、ニューラルネットワークを構成する複数の層のそれぞれに含まれるノードが互いにどのように結合するかという結合情報や、結合されたノード間で入出力される数値に掛け合わされる結合係数などの各種情報が含まれる。
【0046】
なお、モデル記憶部122は、「モデルID」、「モデルデータ」という項目に係る情報に限定されることなく、その他の任意の機械学習モデルに関係する情報が記憶されてよい。
【0047】
(コンテンツ記憶部123について)
コンテンツ記憶部123は、利用者端末200に表示させる複数のコンテンツを記憶する。図6は、実施形態に係る情報処理装置のコンテンツ記憶部に記憶される情報の一例を示す図である。
【0048】
図6に示す例において、コンテンツ記憶部123は、「コンテンツID」、「コンテンツデータ」という項目に係る情報を紐付けて記憶する。
【0049】
「コンテンツID」は、コンテンツを識別する識別子であり文字列や番号などによって表される。「コンテンツデータ」は、利用者端末200に表示させるコンテンツのデータである。
【0050】
すなわち、図6においては、コンテンツID「CT#1」によって識別されるコンテンツとして、コンテンツデータ「CD#1」が示すコンテンツデータが記憶されていることを示している。
【0051】
なお、コンテンツ記憶部123は、「コンテンツID」、「コンテンツデータ」という項目に係る情報に限定されることなく、その他の任意のコンテンツに関係する情報が記憶されてよい。
【0052】
(制御部130について)
次に図3に戻って、制御部130について説明する。制御部130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
【0053】
図3に示すように、制御部130は、取得部131と、判別部132と、判定部133と、表示制御部134を有する。
【0054】
(取得部131について)
取得部131は、利用者端末200から利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得する。例えば、取得部131は、利用者端末200が利用者から受け付けたタッチ操作の操作情報として、利用者の指ごとのタッチ所要時間、タッチ移動速度(X軸、Y軸)、タッチダウン位置(X軸、Y軸)、タッチアップ位置(X軸、Y軸)、接触面積、タッチダウン‐アップ位置の差異を含む情報を取得する。取得部131は、操作情報を取得したら、取得した操作情報を操作情報記憶部121に記憶する。
【0055】
(判別部132について)
判別部132は、利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別する。すなわち、判別部132は、タッチ開始時の操作情報を示すタッチダウン位置(X軸、Y軸)だけではなく、タッチ開始後の操作情報を示すタッチ所要時間、タッチ移動速度(X軸、Y軸)、タッチアップ位置(X軸、Y軸)、接触面積、タッチダウン‐アップ位置の差異にも基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別する。
【0056】
具体的には、判別部132は、利用者が所定のコンテンツに対して操作を行った際の操作情報と、当該所定のコンテンツとの関係性を学習したモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別する。判別部132は、モデル記憶部122から学習済みモデルを読み出して、利用者のタッチ操作の操作情報を学習済みモデルに入力することにより、利用者のタッチ操作の操作対象となるコンテンツを判別する。この場合の、学習用のモデルには、例えば、ディープニューラルネットワーク(Deep Neural Network)を用いてよい。
【0057】
判別部132は、コンテンツごとに異なるモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別してもよい。例えば、判別部132は、操作対象となる複数のコンテンツとしてスクロールバーとページ画面が表示されている場合であれば、スクロールバーとページ画面に対する利用者のタッチ操作の操作情報と、スクロールバーとページ画面との関係性を学習したモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別する。すなわち、判別部132は、表示されている複数のコンテンツの組み合わせごとに異なるモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別する。
【0058】
判別部132は、操作情報と、各コンテンツが受け付ける操作方向とに基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別する。例えば、判別部132は、縦方向のスワイプ操作を受け付けるスクロールバーと、横方向のスワイプ操作を受け付けるスクロールバーを表示させた場合であって、利用者のタッチ操作の操作情報が、横方向の指の移動を示している場合であれば、操作対象コンテンツを横方向のスワイプ操作を受け付けるスクロールバーと判別する。また、判別部132は、利用者のタッチ操作の操作情報が、縦方向の指の移動を示している場合であれば、操作対象コンテンツを縦方向のスワイプ操作を受け付けるスクロールバーと判別する。
【0059】
(判定部133について)
判定部133は、利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作種別を判定する。判定部133は、操作情報に含まれる位置座標の変化に基づいて、フリック、スワイプ、ピンチイン、ピンチアウトを含む操作種別を判定する。なお、ここで、フリックは、タッチパネル上に指をタッチしたまま、ある程度の距離だけ素早く動かして、そのまま離す操作を指す。スワイプは、タッチパネルに指をタッチしたまま上下左右になでることを指す。ピンチインは、利用者が複数箇所(例えば2点)を共にタッチして、互いのタッチ位置を近づけるタッチ操作を指す。ピンチアウトは、利用者が複数箇所(例えば2点)を共にタッチして、互いのタッチ位置を遠ざけるタッチ操作を指す。
【0060】
すなわち、判定部133は、利用者のタッチ操作の操作情報に含まれるタッチ所要時間、タッチ移動速度(X軸、Y軸)、タッチダウン位置(X軸、Y軸)、タッチアップ位置(X軸、Y軸)、接触面積、タッチダウン‐アップ位置の差異などの情報に基づいて、利用者のタッチ操作の操作種別を、フリック、スワイプ、ピンチイン、ピンチアウトのうちのどれに該当するかを判定する。
【0061】
(表示制御部134について)
表示制御部134は、利用者端末200に操作処理の対象となる複数のコンテンツを表示させる。表示制御部134は、例えば、電子ブックのページ画面、テキストボックス、動画のスクロールバー、WEBページのスクロールバー、CAD(Computer‐Aided Design)のオブジェクトなどを含む複数のコンテンツを表示させる。なお、表示制御部134が表示させるコンテンツは、これに限定されるものではなく、VR(Virtual Reality)やMR(Mixed Reality)の技術を利用したコンテンツなどであってもよい。
【0062】
表示制御部134は、判定部133が判別した操作対象コンテンツの表示態様を変えて利用者端末200に表示させる。具体的には、表示制御部134は、操作対象コンテンツの表示態様を判定部133が判定した操作種別に基づいて変化させて表示させる。この表示制御部134の処理について図7を用いて説明する。
【0063】
図7は、実施形態に係る情報処理装置が利用者端末に表示させるコンテンツの一例を示す図である。図7には、スワイプ操作を受け付けるページ画面を示すコンテンツCT1と、スワイプ操作を受け付けるスクロールバーを示すコンテンツCT2が重ねて表示されている。例えば、判別部132がコンテンツCT1を操作対象コンテンツと判別し、判定部133が利用者の操作種別をスワイプ操作であると判定した場合、コンテンツCT1を横方向に移動させて、次のページ画面のコンテンツを表示させる表示態様の表示を行う。
【0064】
また、表示制御部134は、利用者から受け付ける操作方向がそれぞれ異なる複数のコンテンツを表示させる。例えば、表示制御部134は、縦方向のスワイプ操作を受け付けるスクロールバーと、横方向のスワイプ操作を受け付けるスクロールバーを利用者端末200に表示させる。表示制御部134は、横方向のスワイプ操作を受け付けるページ画面と、縦方向のスワイプ操作を受け付けるページ画面を重ねて利用者端末200に表示させてもよい。
【0065】
〔4.利用者端末の構成〕
次に、図8を用いて、実施形態に係る利用者端末200の構成について説明する。図8は、実施形態に係る利用者端末の構成例を示す図である。図8に示すように、利用者端末200は、通信部210と、入力部220と、出力部230と、制御部240と、を有する。
【0066】
通信部210は、例えば、NIC等によって実現される。そして、通信部210は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、情報処理装置100との間で各種の情報の送受信を行う。
【0067】
入力部220は、利用者から各種の操作情報が入力される。例えば、入力部220は、タッチパネルにより表示面(例えば出力部230)を介して利用者からの各種操作を受け付ける。なお、タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式などの様々な方式のものを用いてよい。抵抗膜方式は、抵抗を持つ金属薄膜によって透明電極を構成し、対向する二枚の抵抗膜の内の1枚に対して電圧をかけておき、操作した位置に応じた電圧を検知することで接触位置を検出する。静電容量方式は、指先と導電膜との間での静電容量の変化を捉えて接触位置を検出する。表面弾性波方式は、基板の複数の隅に圧電素子を取り付けて振動を発生させ、基板に指が接触した際の振動波の跳ね返りを捉えて接触位置を検出する。赤外線方式は、赤外線の遮断を捉えて接触位置を検出する。電磁誘導方式は、画面の下にEMR(Electro-Magnnetic Resonance)センサーを設けてEMRペンから発せられる磁界を捉えて接触位置を検出する。
【0068】
出力部230は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるタブレット型端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、利用者端末200は、入力部220がタッチパネルである場合は、出力部230である表示画面により利用者の入力を受け付け、利用者への出力も行う。また、出力部230は、スピーカーであり、スピーカーにより音声を出力してよい。
【0069】
制御部240は、例えば、CPUやMPU等によって、利用者端末200に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部240は、例えば、ASICやFPGA等の集積回路により実現されてもよい。
【0070】
図8に示すように、制御部240は、受付部241と、表示制御部242と、を有する。
【0071】
受付部241は、利用者からコンテンツに対する操作情報を受け付ける。また、例えば、受付部241は、出力部230に操作対象となる複数のコンテンツを表示させて、利用者から操作対象となる複数のコンテンツに対する操作情報を受け付ける。受付部241は、例えば、出力部230がタッチパネルである場合であれば、利用者の指ごとのタッチ座標の中心点座標や、移動速度、移動方向、接触面積などの情報をセンシングすることにより、利用者からコンテンツに対する操作情報を受け付けてよい。
【0072】
表示制御部242は、出力部230に表示される情報を制御する。例えば、表示制御部242は、利用者からスワイプ操作を受け付けるページ画面に対する操作を受け付けた場合であれば、利用者の操作にしたがって、現在表示されているページ画面の次のページのページ画面を表示させるように出力部230に制御指令を与える。なお、表示制御部242は、情報処理装置100の表示制御部136から送信された制御指令に基づいて、出力部230に制御指令を与えてもよいし、表示制御部242が単独で出力部230に制御指令を与えてもよい。
【0073】
〔5.情報処理のフロー〕
次に、図9を用いて、実施形態に係る情報処理装置100による情報処理の手順について説明する。図9は、実施形態に係る情報処理の一例を示すフローチャートである。例えば、情報処理装置100は、利用者端末200に操作処理の対象となる複数のコンテンツを表示させる(ステップS101)。そして、情報処理装置100は、利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得する(ステップS102)。そして、情報処理装置100は、操作情報に基づいて利用者のタッチ操作の操作対象となるコンテンツを判別する(ステップS103)。そして、情報処理装置100は、判別した操作対象コンテンツの表示態様を変えて表示させる(ステップS104)。
【0074】
〔6.ハードウェア構成〕
また、上述した実施形態に係る情報処理装置100は、例えば図10に示すような構成のコンピュータ1000によって実現される。図10は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
【0075】
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが記憶される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。
【0076】
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。
【0077】
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。
【0078】
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
【0079】
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
【0080】
例えば、コンピュータ1000が情報処理装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、情報処理装置100の制御部130の機能を実現する。
【0081】
〔7.構成と効果〕
本開示に係る情報処理装置100は、利用者端末200に操作処理の対象となる複数のコンテンツを表示させる表示制御部134と、利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得する取得部131と、利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別する判別部132と、を備え、表示制御部134は、判別部132が判別した操作対象コンテンツの表示態様を変えて利用者端末200に表示させる。
【0082】
この構成によれば、操作対象となる複数のコンテンツが表示されている場合であっても、利用者の操作対象となるコンテンツを把握して、コンテンツの表示態様を変えて表示させることができる。
【0083】
本開示に係る情報処理装置100は、利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作意図を判定する判定部133と、をさらに備え、表示制御部134は、操作対象コンテンツの表示態様を判定部133が判定した操作意図に沿って変化させて表示させる。
【0084】
この構成によれば、操作対象となる複数のコンテンツが表示されている場合であっても、利用者の操作種別を判定して、判定した操作種別に基づいて操作対象となるコンテンツの表示態様を変えて表示させることができる。
【0085】
本開示に係る情報処理装置100の判別部132は、利用者が所定のコンテンツに対して操作を行った際の操作情報と、当該所定のコンテンツとの関係性を学習したモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別する。
【0086】
この構成によれば、操作対象となる複数のコンテンツが表示されている場合であっても、学習済みモデルにより操作対象となるコンテンツを判別して、コンテンツの表示態様を変えて表示させることができる。
【0087】
本開示に係る情報処理装置100の判別部132は、コンテンツごとに異なるモデルを用いて、利用者のタッチ操作の操作対象となるコンテンツを判別する。
【0088】
この構成によれば、操作対象となる複数のコンテンツが表示されている場合であっても、コンテンツの種類に応じて異なるモデルを用いて、操作対象となるコンテンツを判別して、コンテンツの表示態様を変えて表示させることができる。
【0089】
本開示に係る情報処理装置100の表示制御部134は、利用者から受け付ける操作方向がそれぞれ異なる複数のコンテンツを表示させ、判別部132は、操作情報と、各コンテンツが受け付ける操作方向とに基づいて、操作対象となるコンテンツを判別する。
【0090】
この構成によれば、利用者から受け付ける操作方向がそれぞれ異なる複数のコンテンツが表示されている場合であっても、操作対象となるコンテンツを判別して、コンテンツの表示態様を変えて表示させることができる。
【0091】
また、本開示に係る情報処理方法は、利用者端末200に操作処理の対象となる複数のコンテンツを表示させるステップと、利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得するステップと、利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別するステップと、判別した操作対象コンテンツの表示態様を変えて利用者端末200に表示させるステップと、を含む。
【0092】
この構成によれば、操作対象となる複数のコンテンツが表示されている場合であっても、利用者の操作対象となるコンテンツを把握して、コンテンツの表示態様を変えて表示させることができる。
【0093】
また、本開示に係る情報処理プログラムは、利用者端末200に操作処理の対象となる複数のコンテンツを表示させるステップと、利用者のタッチ操作の位置座標、移動速度、及び接触面積を含む操作情報を取得するステップと、利用者のタッチ開始時の操作情報に加えてタッチ開始後の操作情報に基づいて、利用者のタッチ操作の操作対象となるコンテンツを判別するステップと、判別した操作対象コンテンツの表示態様を変えて利用者端末に表示させるステップと、をコンピュータに実行させる。
【0094】
この構成によれば、操作対象となる複数のコンテンツが表示されている場合であっても、利用者の操作対象となるコンテンツを把握して、コンテンツの表示態様を変えて表示させることができる。
【0095】
以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0096】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部131は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0097】
1 情報処理システム
100 情報処理装置
110 通信部
120 記憶部
121 操作情報記憶部
122 モデル記憶部
123 コンテンツ記憶部
130 制御部
131 取得部
132 判別部
133 判定部
134 表示制御部
200 利用者端末
210 通信部
220 入力部
230 出力部
240 制御部
241 受付部
242 表示制御部
N ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10