特許 7354196 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-22

(45)【発行日】2023-10-02

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20230925BHJP

   G06F 3/0488 20220101ALI20230925BHJP

【ＦＩ】

G06F3/04845

G06F3/0488

【請求項の数】 7

(21)【出願番号】P 2021150503

(22)【出願日】2021-09-15

(65)【公開番号】P2023043028

(43)【公開日】2023-03-28

【審査請求日】2023-01-13

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】池松 香

(72)【発明者】

【氏名】笹谷 奈翁美

(72)【発明者】

【氏名】鈴木 健司

【審査官】滝谷 亮一

(56)【参考文献】

【文献】特開２０１９－４６２０１（ＪＰ，Ａ）

【文献】特開２０１５－４９６２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８４５

Ｇ０６Ｆ ３／０４８８

(57)【特許請求の範囲】

【請求項1】

画面に表示される学習処理用の対象コンテンツの任意の位置に拡大縮小操作の中心点を表示させて、利用者に対して前記対象コンテンツに対する拡大縮小操作の操作指示を表示させる表示部と、
利用者の画面上における前記対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得する取得部と、
前記操作情報と、前記中心点座標との関係を機械学習モデルに学習させて、前記操作情報を入力すると、拡大縮小処理の中心点座標を出力する学習済みモデルを生成する生成部と、
前記学習済みモデルに操作情報を入力して、拡大縮小処理の中心点座標を出力する中心点出力部と、を備える、
情報処理装置。

【請求項2】

拡大縮小処理の対象コンテンツを表示させて、利用者の拡大縮小操作の操作情報を受け付ける受付部と、
前記中心点出力部が出力した中心点座標と前記受付部が受け付けた操作情報に基づいて、対象コンテンツを拡大又は縮小させて表示させる表示制御部と、をさらに備える、
請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、複数の利用者の前記対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得し、
前記生成部は、複数の利用者の前記操作情報と中心点座標との関係を機械学習モデルに学習させて、前記学習済みモデルを生成する、
請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記生成部は、利用者ごとの前記操作情報と中心点座標との関係を機械学習モデルに学習させて、利用者ごとに前記学習済みモデルを生成する、
請求項１又は請求項２に記載の情報処理装置。

【請求項5】

前記取得部は、手の震えがある利用者の前記操作情報と中心点座標を取得し、
前記生成部は、手の震えがある利用者の前記操作情報と中心点座標との関係を機械学習モデルに学習させて、前記学習済みモデルを生成する、
請求項１又は請求項２に記載の情報処理装置。

【請求項6】

画面に表示される学習処理用の対象コンテンツの任意の位置に拡大縮小操作の中心点を表示させて、利用者に対して前記対象コンテンツに対する拡大縮小操作の操作指示を表示させるステップと、
利用者の画面上における前記対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得するステップと、
前記操作情報と、前記中心点座標との関係を機械学習モデルに学習させて、前記操作情報を入力すると、拡大縮小処理の中心点座標を出力する学習済みモデルを生成するステップと、
前記学習済みモデルに操作情報を入力して、拡大縮小処理の中心点座標を出力するステップと、
を含む情報処理方法。

【請求項7】

画面に表示される学習処理用の対象コンテンツの任意の位置に拡大縮小操作の中心点を表示させて、利用者に対して前記対象コンテンツに対する拡大縮小操作の操作指示を表示させるステップと、
利用者の画面上における前記対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得するステップと、
前記操作情報と、前記中心点座標との関係を機械学習モデルに学習させて、前記操作情報を入力すると、拡大縮小処理の中心点座標を出力する学習済みモデルを生成するステップと、
前記学習済みモデルに操作情報を入力して、拡大縮小処理の中心点座標を出力するステップと、
をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

スマートフォンやタブレット型端末に用いられるタッチパネルに表示される画像などを拡大縮小する場合、ピンチ操作と呼ばれる２本の指でタッチパネルの画面をつまむような操作が行われる。ピンチ操作において画像などを拡大縮小する処理の中心点は、２本の指の間隔の中間点とすることが多い。しかしながら、ピンチ操作において指を広げる前の２本の指の間隔の中間点と、指を広げた後の２本の指の間隔の中間点は一致しないことが多い。これによる拡大縮小処理の中心点のズレは拡大縮小処理をするに連れて大きくなっていく。その為、利用者が意図した箇所とは異なる位置を中心として拡大縮小処理される場合が多い。

【0003】

例えば、特許文献１には、表示画面に表示しきれない画像に表示領域が設定されて表示領域に含まれる部分画像がタッチパネルを前側に有する表示部に表示され、ユーザーの指先がタッチパネルに触れた場合、表示領域が拡大され、ユーザーの指先がタッチパネルから離れた場合、表示領域が拡大前の大きさの表示領域に変更する表示装置が開示されている。しかしながら、特許文献１に開示された表示装置は、ピンチ操作によって画像を拡大縮小処理するものではない。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００９－１８７０５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は上記課題を鑑み、利用者の意図を適切に反映して対象コンテンツの拡大縮小処理の中心点座標を出力できる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、画面に表示される学習処理用の対象コンテンツの任意の位置に拡大縮小操作の中心点を表示させて、利用者に対して前記対象コンテンツに対する拡大縮小操作の操作指示を表示させる表示部と、利用者の画面上における前記対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得する取得部と、前記操作情報と、前記中心点座標との関係を機械学習モデルに学習させて、前記操作情報を入力すると、拡大縮小処理の中心点座標を出力する学習済みモデルを生成する生成部と、前記学習済みモデルに操作情報を入力して、拡大縮小処理の中心点座標を出力する中心点出力部と、を備える。

【発明の効果】

【0007】

本開示によれば、利用者の意図を適切に反映して対象コンテンツの拡大縮小処理の中心点座標を出力できる情報処理装置、情報処理方法、及び情報処理プログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理の一例を示す図である。

【図2】図２は、利用者端末に表示させる操作指示及び操作情報の取得処理の一例を示す図である。

【図3】図３は、実施形態に係る情報処理システムの構成例を示す図である。

【図4】図４は、実施形態に係る情報処理装置の構成例を示す図である。

【図5】図５は、実施形態に係る情報処理装置の操作情報記憶部に記憶される情報の一例を示す図である。

【図6】図６は、実施形態に係る情報処理装置のモデル記憶部に記憶される情報の一例を示す図である。

【図7】図７は、実施形態に係る利用者端末の構成例を示す図である。

【図8】図８は、実施形態に係る情報処理の一例を示すフローチャートである。

【図9】図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。

【0010】

（実施形態）
〔１－１．実施形態に係る情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１では、実施形態に係る情報処理が情報処理装置１００により実行される例を示す。

【0011】

図１では、情報処理装置１００が利用者端末２００に学習処理用の拡大縮小操作の中心点が表示された対象コンテンツ、及び操作指示を表示させて、利用者端末２００から利用者の拡大縮小操作の操作情報を取得し、操作情報を入力すると拡大縮小処理の中心点座標を出力する学習済みモデルを生成し、利用者端末２００に拡大縮小処理を受け付ける対象コンテンツを表示させて、利用者から拡大縮小操作の操作情報を受け付けて、操作情報を当該モデルに入力して中心点座標を出力し、中心点座標を中心として対象コンテンツの拡大縮小処理を行う例を示している。以下、図１を用いて、実施形態に係る情報処理の一例についてステップごとに説明する。

【0012】

まず、情報処理装置１００は、利用者端末２００の画面に学習処理用の拡大縮小操作の中心点が表示された対象コンテンツ、及び操作指示を表示させる（ステップＳ１）。この処理について図２を用いて説明する。図２は、利用者端末に表示させる操作指示及び操作情報の取得処理の一例を示す図である。例えば、情報処理装置１００は、図２の画面Ｃ１に示すように、利用者端末２００の出力部２３０に対象コンテンツＴＣと、当該の対象コンテンツＴＣの拡大縮小操作の中心点ＣＰと、利用者への操作指示Ｉ「以下の中心点を中心にして、対象コンテンツを拡大又は縮小するピンチ操作を実行してください」を表示させる。なお、中心点ＣＰは、図２に示したように対象コンテンツＴＣの中心に限定されるものではなく、任意の位置に表示させてよい。

【0013】

次に、情報処理装置１００は、利用者端末２００から利用者の拡大縮小操作の操作情報と中心点座標を取得する（ステップＳ２）。この処理について図２を用いて説明する。例えば、情報処理装置１００は、図２の画面Ｃ２に示すような利用者の右手でのピンチイン操作や、図２に図示はしていないが利用者の右手でのピンチアウト操作、利用者の左手でのピンチイン操作及びピンチアウト操作の操作情報と、その際の対象コンテンツの中心点座標を取得する。すなわち、情報処理装置１００は、利用者端末２００のタッチパネルに接触している利用者の２本の指の指ごとのタッチ所要時間、タッチ移動速度（Ｘ軸、Ｙ軸）、タッチダウン位置（Ｘ軸、Ｙ軸）、タッチアップ位置（Ｘ軸、Ｙ軸）、最大接触面積、タッチダウン‐アップ位置の差異、２本の指のタッチ座標間距離、２本の指のタッチ座標間距離の変位を含む操作情報を取得する。なお、対象コンテンツの中心点は任意の箇所に表示させてよいから、中心点座標は任意の位置の座標であってよい。

【0014】

次に、情報処理装置１００は、操作情報を入力すると中心点座標を出力する学習済みモデルを生成する（ステップＳ３）。例えば、情報処理装置１００は、機械学習モデルに対して、利用者端末２００に表示させた対象コンテンツＴＣの中心点ＣＰの中心点座標と、これに対する利用者のダッチダウン位置を含む操作情報を学習させて、利用者の操作情報を入力すると中心点座標を出力する学習済みモデルを生成する。

【0015】

次に、情報処理装置１００は、利用者端末２００から拡大縮小操作を受け付けたら、操作情報を学習済みモデルに入力し中心点座標を出力する（ステップＳ４）。例えば、情報処理装置１００は、利用者端末２００に電子ブック、テキストメッセージ、動画、ＷＥＢページ、ＣＡＤ（Ｃｏｍｐｕｔｅｒ‐Ａｉｄｅｄ Ｄｅｓｉｇｎ）、グラフィックス編集ソフトなどを含む拡大縮小処理の対象コンテンツを表示させて、利用者の拡大縮小操作の操作情報を受け付ける。次に、情報処理装置１００は、ステップＳ３において生成された学習済みモデルに対して利用者端末２００から受け付けた操作情報を入力して、対象コンテンツの拡大縮小処理の中心点座標を出力する。

【0016】

次に、情報処理装置１００は、学習済みモデルが出力した中心点座標を中心として対象コンテンツの拡大縮小処理を実行する（ステップＳ５）。例えば、情報処理装置１００は、対象コンテンツに対する利用者の拡大縮小操作の操作情報に基づいて、対象コンテンツの拡大縮小率を算出する。次に、情報処理装置１００は、ステップＳ４にて学習済みモデルが出力した中心点座標を中心として対象コンテンツに対して、算出した拡大縮小率を用いて拡大縮小処理を実行する。

【0017】

これにより、情報処理装置１００は、利用者の意図を適切に反映した中心点座標を中心として対象コンテンツの拡大縮小処理を実行することができる。

【0018】

〔１－２．実施形態に係る情報処理の他の例１（複数の利用者の操作情報を学習）〕
情報処理装置１００は、複数の利用者の対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得し、複数の利用者の操作情報と、中心点座標との関係を学習する。

【0019】

この情報処理について順を追って説明する。まず、情報処理装置１００は、図１に示したステップＳ１と同じ処理を実行する。ステップＳ１の処理は、前述した処理と同じであるから説明を省略する。

【0020】

次に、情報処理装置１００は、複数の利用者の拡大縮小操作の操作情報と中心点座標を取得する。例えば、情報処理装置１００は、利用者Ｕ１からＵ６の利用者端末２００Ａから２００Ｆから、利用者Ｕ１からＵ６の拡大縮小操作の操作情報と中心点座標を取得する。

【0021】

次に、情報処理装置１００は、複数の利用者の操作情報と中心点座標との関係を機械学習モデルに学習させて、操作情報を入力すると中心点座標を出力する学習済みモデルを出力する。

【0022】

次に、情報処理装置１００は、図１に示したステップＳ４からＳ５と同じ処理を実行する。ステップＳ４からＳ５の処理は、前述した処理と同じであるから説明を省略する。

【0023】

これにより、情報処理装置１００は、複数の利用者の操作情報と中心点座標との関係を学習させた学習モデルを生成することができる。その為、多様な利用者に対応することが可能な学習済みモデルを用いて拡大縮小処理の中心点座標を出力することができる。したがって、様々な利用者の意図に沿って対象コンテンツの拡大縮小処理を行うことができる。

【0024】

〔１－３．実施形態に係る情報処理の他の例２（利用者ごとにモデルを生成）〕
情報処理装置１００は、利用者ごとの操作情報と、中心点座標との関係を機械学習モデルに学習させて、利用者ごとに学習済みモデルを生成する。

【0025】

この情報処理について順を追って説明する。まず、情報処理装置１００は、図１に示したステップＳ１からＳ２と同じ処理を実行する。ステップＳ１からＳ２の処理は、前述した処理と同じであるから説明を省略する。

【0026】

次に、情報処理装置１００は、利用者ごとの操作情報と、中心点座標との関係を機械学習モデルに学習させて、利用者ごとに学習済みモデルを生成する。例えば、情報処理装置１００は、利用者Ｕ１の利用者端末２００Ａから取得した拡大縮小操作の操作情報と、中心点座標との関係を機械学習モデルに学習させて、利用者Ｕ１の操作情報と中心点座標と関係を学習させた利用者Ｕ１の学習済みモデルを生成する。

【0027】

次に、情報処理装置１００は、図１に示したステップＳ４からＳ５と同じ処理を実行する。ステップＳ４からＳ５の処理は、前述した処理と同じであるから説明を省略する。なお、本情報処理においては、ステップＳ４において、利用者Ｕ１から拡大縮小操作の操作情報を受け付けて、受け付けた操作情報を利用者Ｕ１の操作情報と中心点座標を学習させた学習済みモデルに入力し、拡大縮小処理の中心点座標を出力する。

【0028】

これにより、情報処理装置１００は、利用者ごとの拡大縮小操作の特徴を学習させた学習済みモデルを用いることで、利用者ごとに拡大縮小操作に大きな違いがあった場合であっても、適切に利用者の意図を反映した中心点を中心として対象コンテンツに対して拡大縮小処理することができる。

【0029】

〔１－４．実施形態に係る情報処理の他の例３（手の震えがある方のモデルを生成）〕
情報処理装置１００は、手の震えがある利用者の拡大縮小操作の操作情報を取得し、手の震えがある利用者の拡大縮小操作の操作情報と、中心点座標との関係を機械学習モデルに学習させて、学習済みモデルを生成する。

【0030】

この情報処理について順を追って説明する。まず、情報処理装置１００は、図１に示したステップＳ１からＳ２と同じ処理を実行する。ステップＳ１からＳ２の処理は前述した処理と同じであるが、本情報処理においては、ステップＳ２において操作情報と中心点座標を取得する利用者端末２００の利用者Ｕが、例えばパーキンソン病患者のような手の震えがある方である。

【0031】

次に、情報処理装置１００は、ステップＳ３からＳ５までと同じ処理を実行する。ステップＳ３からＳ５までの処理は前述した処理と同じであるから説明を省略する。なお、本情報処理においては、ステップＳ３において機械学習モデルに学習させる拡大縮小操作の操作情報は手の震えがある方の利用者端末２００から取得した拡大縮小操作の操作情報を用いる。その為、拡大縮小操作を行う手に震えがあったとしても、利用者の意図した中心点を出力する学習済みモデルを生成することができる。

【0032】

これにより、情報処理装置１００は、利用者の拡大縮小操作を行う手に震えがあったとしても、利用者の意図を適切に反映した中心点を中心として対象コンテンツの拡大縮小処理を行うことができる。

【0033】

〔２．情報処理システムの構成〕
次に、図３を用いて実施形態に係る情報処理システムの構成について説明する。図３は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、情報処理システム１は、情報処理装置１００と、利用者端末２００と、を含む。なお、図２に示した情報処理システム１は、複数台の情報処理装置１００や、複数台の利用者端末２００が含まれ構成されていてもよい。情報処理装置１００と、利用者端末２００と、は所定の通信網（ネットワークＮ）を介して、有線又は無線により通信可能に接続される。

【0034】

情報処理装置１００は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ Ｓｔａｔｉｏｎ）、サーバの機能を備えるコンピュータなどの情報処理装置であってよい。例えば、情報処理装置１００は、利用者端末２００からネットワークＮを介して送信されてきた情報に基づいて処理を行う。

【0035】

利用者端末２００は、利用者が利用する情報処理装置である。利用者端末２００は、例えば、スマートフォン、タブレット型端末、デスクトップ型ＰＣ、ノート型ＰＣ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の情報処理装置であってよい。なお、図１に示す例においては、利用者端末２００がスマートフォンである場合を示している。

【0036】

〔３．情報処理装置の構成〕
次に、図４を用いて、実施形態に係る情報処理装置１００の構成について説明する。図４は、実施形態に係る情報処理装置の構成例を示す図である。図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、を有する。なお、図４に図示はしていないが、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を出力するための出力部（例えば、液晶ディスプレイ等）を有してもよい。

【0037】

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、利用者端末２００と、の間で情報の送受信を行う。

【0038】

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク等の記憶装置によって実現される。図４に示すように、記憶部１２０は、操作情報記憶部１２１と、モデル記憶部１２２と、を有する。

【0039】

（操作情報記憶部１２１について）
操作情報記憶部１２１は、利用者端末２００から取得した利用者の操作情報を記憶する。ここで、図５を用いて、操作情報記憶部１２１が記憶する情報の一例を説明する。図５は、実施形態に係る情報処理装置の操作情報記憶部に記憶される情報の一例を示す図である。

【0040】

図５に示す例において、操作情報記憶部１２１は、「利用者ＩＤ」、「中心点座標」、「操作情報」という項目に係る情報を紐付けて記憶する。

【0041】

「利用者ＩＤ」は、利用者を識別する識別子であり文字列や番号などによって表される。「中心点座標」は、利用者端末２００に表示させた対象コンテンツの拡大縮小操作の中心点の座標を示す情報である。「操作情報」は、「利用者ＩＤ」に紐付けられた利用者の拡大縮小操作の操作情報であり、利用者の２本の指の指ごとのタッチ所要時間、タッチ移動速度（Ｘ軸、Ｙ軸）、タッチダウン位置（Ｘ軸、Ｙ軸）、タッチアップ位置（Ｘ軸、Ｙ軸）、最大接触面積、タッチダウン‐アップ位置、２本の指のタッチ座標間距離、２本の指のタッチ座標間距離の変位の差異などを含んでよい。

【0042】

すなわち、図５においては、利用者ＩＤ「ＵＩＤ＃１」により識別された利用者が中心点座標「中心点座標＃１」に対して、拡大縮小操作を実行した際の操作情報が操作情報「操作情報＃１」であることを示している。

【0043】

なお、操作情報記憶部１２１に記憶される情報は、「利用者ＩＤ」、「中心点座標」、「操作情報」という項目に係る情報に限定されるものではなく、その他の任意の利用者の拡大縮小操作に関係する情報が記憶されてよい。

【0044】

（モデル記憶部１２２について）
モデル記憶部１２２は、利用者の操作情報と中心点座標との関係を学習させて、利用者の操作情報を入力すると拡大縮小処理の中心点座標を出力するモデルを記憶する。図６は、実施形態に係る情報処理装置のモデル記憶部に記憶される情報の一例を示す図である。

【0045】

図６に示す例において、モデル記憶部１２２は、「モデルＩＤ」、「モデルデータ」という項目に係る情報を紐付けて記憶する。

【0046】

「モデルＩＤ」は、機械学習モデルを識別する識別子であり文字列や番号などによって表される。「モデルデータ」は、機械学習モデルのモデルデータを示す。例えば、「モデルデータ」には、利用者の操作情報を入力すると、対象コンテンツの拡大縮小処理の中心点座標を出力するモデルの為のデータが記憶される。なお、機械学習モデルは、例えばニューラルネットワークなどであってよい。

【0047】

ここで、機械学習モデルがニューラルネットワークである場合は、モデルデータ「モデルデータ＃１」には、例えば、ニューラルネットワークを構成する複数の層のそれぞれに含まれるノードが互いにどのように結合するかという結合情報や、結合されたノード間で入出力される数値に掛け合わされる結合係数などの各種情報が含まれる。

【0048】

すなわち、図６において、モデルＩＤ「モデルＩＤ＃１」により識別されるモデルのデータがモデルデータ「モデルデータ＃１」であることを示している。

【0049】

なお、モデル記憶部１２２に記憶される情報は、「モデルＩＤ」、「モデルデータ」という項目に係る情報に限定されるものではなく、その他の任意の機械学習モデルに関係する情報が記憶されてよい。

【0050】

（制御部１３０について）
次に図４に戻って、制御部１３０について説明する。制御部１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、情報処理装置１００の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。

【0051】

図４に示すように、制御部１３０は、表示部１３１と、取得部１３２と、生成部１３３と、受付部１３４と、中心点出力部１３５と、表示制御部１３６と、を有する。

【0052】

（表示部１３１について）
表示部１３１は、画面に表示される学習処理用の対象コンテンツの任意の位置に拡大縮小操作の中心点を表示させて、利用者に対して対象コンテンツに対する拡大縮小操作の操作指示を表示させる。例えば、表示部１３１は、図２の画面Ｃ１に示すように、利用者端末２００の出力部２３０に対象コンテンツＴＣと、当該の対象コンテンツＴＣの拡大縮小操作の中心点ＣＰと、利用者への操作指示Ｉ「以下の中心点を中心にして、対象コンテンツを拡大又は縮小するピンチ操作を実行してください」を表示させる。

【0053】

（取得部１３２について）
取得部１３２は、利用者端末２００から利用者の画面上における対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得する。具体的には、取得部１３２は、利用者端末２００の画面に対象コンテンツの拡大縮小操作の中心点座標が表示された状態での利用者の右手でのピンチイン操作、ピンチアウト操作の操作情報、利用者の左手でのピンチイン操作、ピンチアウト操作の操作情報と、その際の拡大縮小操作の中心点座標を取得する。なお、ピンチイン操作とは、２本の指でタッチパネルをつまむように動かす操作であり、２本の指の間隔を縮小する操作である。また、ピンチアウト操作とは、２本の指でタッチパネルをつまむように動かす操作であり、２本の指の間隔を拡大する操作である。取得部１３２は、利用者端末２００から操作情報と中心点座標を取得したら、取得した操作情報と中心点座標を利用者ＩＤに紐付けて操作情報記憶部１２１に記憶する。

【0054】

なお、操作情報は、利用者端末２００のタッチパネルに接触している利用者の２本の指の指ごとのタッチ所要時間、タッチ移動速度（Ｘ軸、Ｙ軸）、タッチダウン位置（Ｘ軸、Ｙ軸）、タッチアップ位置（Ｘ軸、Ｙ軸）、最大接触面積、タッチダウン‐アップ位置、２本の指のタッチ座標間距離、２本の指のタッチ座標間距離の変位の差異を含んでよい。ここで、タッチアップとは、タッチパネルに触れていた指やペンを離すことを意味し、タッチダウンとは、タッチパネルを指やペンが触れたことを意味する。

【0055】

取得部１３２は、利用者端末２００から複数の利用者の対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得する。例えば、取得部１３２は、利用者Ｕ１からＵ６の利用者端末２００Ａから２００Ｆから、利用者Ｕ１からＵ６の拡大縮小操作の操作情報と中心点座標を取得する。取得部１３２は、利用者端末２００から操作情報と中心点座標を取得したら、取得した操作情報と中心点座標を利用者ＩＤに紐付けて操作情報記憶部１２１に記憶する。

【0056】

取得部１３２は、利用者端末２００から手の震えがある利用者の操作情報と中心点座標を取得する。例えば、取得部１３２は、例えばパーキンソン病患者のような手の震えがある利用者の拡大縮小操作の操作情報と中心点座標を取得する。なお、パーキンソン病とは、震え、動作緩慢、筋強剛、姿勢保持障害を主な運動症状とする病気である。大脳の下の中脳の黒質ドパミン神経細胞が減ることで、体が動きにくくなり、手足の震えが起こる。取得部１３２は、利用者端末２００から操作情報と中心点座標を取得したら、取得した操作情報と中心点座標を利用者ＩＤに紐付けて操作情報記憶部１２１に記憶する。

【0057】

（生成部１３３について）
生成部１３３は、操作情報と、中心点座標との関係を機械学習モデルに学習させて、操作情報を入力すると、拡大縮小処理の中心点座標を出力する学習済みモデルを生成する。例えば、生成部１３３は、複数の利用者の操作情報と中心点座標との関係を機械学習モデルに学習させて、学習済みモデルを生成する。機械学習モデルは、例えば、ニューラルネットワークモデルであってよい。生成部１３３は、取得部１３２が取得した複数の利用者の操作情報と中心点座標とを機械学習モデルに学習させることで、学習済みモデルを生成する。

【0058】

また、生成部１３３は、利用者ごとの操作情報と中心点座標との関係を機械学習モデルに学習させて、利用者ごとに学習済みモデルを生成する。例えば、生成部１３３は、利用者Ｕ１の利用者端末２００Ａから取得した拡大縮小操作の操作情報と、中心点座標との関係を機械学習モデルに学習させて、利用者Ｕ１の操作情報と中心点座標との関係を学習させた学習済みモデルを生成する。なお、生成部１３３は、利用者Ｕ１以外のその他の利用者についても利用者ごとに学習済みモデルを生成してよい。

【0059】

また、生成部１３３は、手の震えがある利用者の操作情報と中心点座標との関係を機械学習モデルに学習させて、学習済みモデルを生成する。例えば、生成部１３３は、パーキンソン病患者などの手の震えがある利用者Ｕの利用者端末２００から取得した拡大縮小操作の操作情報と、中心点座標との関係を機械学習モデルに学習させて、利用者Ｕの操作情報と中心点座標との関係を学習させた学習済みモデルを生成する。これにより、利用者端末２００から取得した操作情報に手の震えがあった場合であっても、利用者の意図した中心点座標を出力する学習済みモデルを生成することができる。

【0060】

（受付部１３４について）
受付部１３４は、利用者端末２００に拡大縮小処理の対象コンテンツを表示させて、利用者端末２００から利用者の拡大縮小操作の操作情報を受け付ける。例えば、受付部１３４は、利用者端末２００に電子ブック、テキストメッセージ、動画、ＷＥＢページ、ＣＡＤ（Ｃｏｍｐｕｔｅｒ‐Ａｉｄｅｄ Ｄｅｓｉｇｎ）、グラフィックス編集ソフトなどを含む対象コンテンツを表示させて、利用者の拡大縮小操作の操作情報を受け付ける。なお、受付部１３４が受け付ける操作情報は取得部１３２が取得する操作情報と同様の情報であってよい。

【0061】

（中心点出力部１３５について）
中心点出力部１３５は、学習済みモデルに操作情報を入力して、拡大縮小処理の中心点座標を出力する。すなわち、中心点出力部１３５は、受付部１３４が受け付けた操作情報を生成部１３３が生成した学習済みモデルに入力して拡大縮小処理の中心点座標を出力する。なお、中心点座標は、例えば利用者端末２００の横方向をＸ方向、縦方向をＹ方向とした場合にＸ方向とＹ方向の座標値であってよい。

【0062】

（表示制御部１３６について）
表示制御部１３６は、中心点出力部１３５が出力した中心点座標と受付部１３４が受け付けた操作情報に基づいて、対象コンテンツを拡大又は縮小させて表示させる。例えば、表示制御部１３６は、ピンチ操作の１本目の指のピンチ開始点の座標を（ｘｘ１１，ｙｙ１１）、２本目の指のピンチ開始点の座標を（ｘｘ２１，ｙｙ２１）、１本目の指のピンチ終了点の座標を（ｘｘ１２，ｙｙ１２）、２本目の指のピンチ終了点の座標を（ｘｘ２２，ｙｙ２２）とすると、２本の指の間隔のピンチ開始時の距離Ｄ１と、ピンチ終了時の距離Ｄ２と、現在の拡大縮小率Ｒ１とに基づいて、例えば以下の式で拡大縮小率Ｒ２を求めてよい。

【0063】

Ｄ１＝√（（ｘｘ２１－ｘｘ１１）^２＋（ｙｙ２１－ｙｙ１１）^２）
Ｄ２＝√（（ｘｘ２２－ｘｘ１２）^２＋（ｙｙ２２－ｙｙ１２）^２）
Ｒ２＝Ｒ１×Ｄ２／Ｄ１

【0064】

表示制御部１３６は、上記の式で求められた拡大縮小率Ｒ２と、中心点出力部１３５が出力した中心点座標を中心として対象コンテンツに対して拡大縮小処理を実行する。

【0065】

〔４．利用者端末の構成〕
次に、図７を用いて、実施形態に係る利用者端末２００の構成について説明する。図７は、実施形態に係る利用者端末の構成例を示す図である。図７に示すように、利用者端末２００は、通信部２１０と、入力部２２０と、出力部２３０と、制御部２４０と、を有する。

【0066】

通信部２１０は、例えば、ＮＩＣ等によって実現される。そして、通信部２１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、情報処理装置１００との間で各種の情報の送受信を行う。

【0067】

入力部２２０は、利用者から各種の操作情報が入力される。例えば、入力部２２０は、タッチパネルにより表示面（例えば出力部２３０）を介して利用者からの操作情報を受け付けてもよい。なお、タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式などの様々な方式のものを用いてよい。抵抗膜方式は、抵抗を持つ金属薄膜によって透明電極を構成し、対向する２枚の抵抗膜の内の１枚に対して電圧をかけておき、操作した位置に応じた電圧を検知することで接触位置を検出する。静電容量方式は、指先と導電膜との間での静電容量の変化を捉えて接触位置を検出する。表面弾性波方式は、基板の複数の隅に圧電素子を取り付けて振動を発生させ、基板に指が接触した際の振動波の跳ね返りを捉えて接触位置を検出する。赤外線方式は、赤外線の遮断を捉えて接触位置を検出する。電磁誘導方式は、画面の下にＥＭＲ（Ｅｌｅｃｔｒｏ－Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）センサーを設けてＥＭＲペンから発せられる磁界を捉えて接触位置を検出する。

【0068】

出力部２３０は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって実現されるタブレット型端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、利用者端末２００は、入力部２２０がタッチパネルである場合は、出力部２３０である表示画面により利用者の入力を受け付け、利用者への出力も行う。

【0069】

制御部２４０は、例えば、ＣＰＵやＭＰＵ等によって、利用者端末２００に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２４０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。

【0070】

図７に示すように、制御部２４０は、表示部２４１と、取得部２４２と、受付部２４３と、を有する。

【0071】

表示部２４１は、出力部２３０としてのタッチパネルの画面に表示される学習処理用の対象コンテンツの任意の位置に拡大縮小操作の中心点を表示させて、利用者に対して対象コンテンツの拡大縮小の操作指示を表示させる。例えば、表示部２４１は、出力部２３０に図２の画面Ｃ１に示すような対象コンテンツＧと操作指示Ｉを含む画面を表示させてよい。表示部２４１が出力部２３０に表示させた画面を確認した利用者は、入力部２２０としてのタッチパネルに対象コンテンツに対する拡大縮小操作を入力する。

【0072】

表示部２４１は、出力部２３０としてのタッチパネルの画面に拡大縮小処理の対象となる対象コンテンツを表示させる。例えば、表示部２４１は、出力部２３０としてのタッチパネルの画面に電子ブック、テキストメッセージ、動画、ＷＥＢページ、ＣＡＤ（Ｃｏｍｐｕｔｅｒ‐Ａｉｄｅｄ Ｄｅｓｉｇｎ）、グラフィックス編集ソフトなどを含む対象コンテンツを表示させる。表示部２４１が出力部２３０に表示させた画面を確認した利用者は、入力部２２０としてのタッチパネルに操作情報を入力する。

【0073】

取得部２４２は、入力部２２０に入力された利用者の学習処理用の対象コンテンツに対する拡大縮小操作の操作情報を取得する。すなわち、取得部２４２は、表示部２４１が任意の位置に拡大縮小操作の中心点を含む対象コンテンツと、操作指示とを表示させた状態で、利用者の拡大縮小操作の操作情報を取得する。操作情報は、入力部２２０としてのタッチパネルに接触している利用者の２本の指の指ごとのタッチ所要時間、タッチ移動速度（Ｘ軸、Ｙ軸）、タッチダウン位置（Ｘ軸、Ｙ軸）、タッチアップ位置（Ｘ軸、Ｙ軸）、最大接触面積、タッチダウン‐アップ位置、２本の指のタッチ座標間距離、２本の指のタッチ座標間距離の変位の差異を含んでよい。

【0074】

受付部２４３は、入力部２２０に入力された拡大縮小処理用の対象コンテンツに対する拡大縮小操作の操作情報を受け付ける。すなわち、受付部２４３は、表示部２４１が拡大縮小処理の対象コンテンツを表示させた状態で、利用者の操作情報を取得する。なお、受付部２４３が受け付ける操作情報は取得部２４２が取得する操作情報と同様の情報であってよい。

【0075】

〔５．情報処理のフロー〕
次に、図８を用いて、実施形態に係る情報処理装置１００による情報処理の手順について説明する。図８は、実施形態に係る情報処理の一例を示すフローチャートである。例えば、情報処理装置１００は、画面に対象コンテンツの拡大縮小操作の中心点及び操作指示を表示させる（ステップＳ１０１）。そして、情報処理装置１００は、利用者の拡大縮小操作の操作情報と中心点座標を取得する（ステップＳ１０２）。そして、情報処理装置１００は、操作情報を入力すると、中心点座標を出力する学習済みモデルを生成する（ステップＳ１０３）。そして、情報処理装置１００は、利用者端末から拡大縮小操作を受け付けたら、操作情報を学習済みモデルに入力し中心点座標を出力する（ステップＳ１０４）。そして、情報処理装置１００は、学習済みモデルが出力した中心点座標を中心として対象コンテンツの拡大縮小処理を実行する（ステップＳ１０５）。

【0076】

〔６．ハードウェア構成〕
また、上述した実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0077】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが記憶される記憶装置であり、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等により実現される。

【0078】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

【0079】

なお、入力装置１０２０は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0080】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0081】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0082】

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、情報処理装置１００の制御部１３０の機能を実現する。

【0083】

〔７．構成と効果〕
本開示に係る情報処理装置１００は、画面に表示される学習処理用の対象コンテンツの任意の位置に拡大縮小操作の中心点を表示させて、利用者に対して対象コンテンツに対する拡大縮小操作の操作指示を表示させる表示部１３１と、利用者の画面上における対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得する取得部１３２と、操作情報と、中心点座標との関係を機械学習モデルに学習させて、操作情報を入力すると、拡大縮小処理の中心点座標を出力する学習済みモデルを生成する生成部１３３と、学習済みモデルに操作情報を入力して、拡大縮小処理の中心点座標を出力する中心点出力部１３５と、を備える。

【0084】

この構成によれば、情報処理装置１００は、利用者の意図を適切に反映して、対象コンテンツの拡大縮小処理の中心点座標を出力できる。

【0085】

また、本開示に係る情報処理装置１００は、拡大縮小処理の対象コンテンツを表示させて、利用者の拡大縮小操作の操作情報を受け付ける受付部１３４と、中心点出力部１３５が出力した中心点座標と受付部１３４が受け付けた操作情報に基づいて、対象コンテンツを拡大又は縮小させて表示させる表示制御部１３６と、をさらに備える。

【0086】

この構成によれば、情報処理装置１００は、利用者の意図を適切に反映した中心点座標を中心として対象コンテンツの拡大縮小処理を実行することができる。

【0087】

また、本開示に係る情報処理装置１００の取得部１３２は、複数の利用者の対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得し、生成部１３３は、複数の利用者の操作情報と中心点座標との関係を機械学習モデルに学習させて、学習済みモデルを生成する。

【0088】

この構成によれば、情報処理装置１００は、多様な利用者の拡大縮小操作の特徴を学習させた学習済みモデルを用いて拡大縮小処理の中心点座標を出力することができる。したがって、様々な利用者の意図に沿って拡大縮小処理を行うことができる。

【0089】

また、本開示に係る情報処理装置１００は、生成部１３３は、利用者ごとの操作情報と中心点座標との関係を機械学習モデルに学習させて、利用者ごとに学習済みモデルを生成する。

【0090】

この構成によれば、情報処理装置１００は、利用者ごとに拡大縮小操作に大きな違いがあった場合であっても、利用者の意図を適切に反映した中心点を中心として対象コンテンツを拡大縮小処理することができる。

【0091】

また、本開示に係る情報処理装置１００の取得部１３２は、手の震えがある利用者の操作情報と中心点座標を取得し、生成部１３３は、手の震えがある利用者の操作情報と中心点座標との関係を機械学習モデルに学習させて、学習済みモデルを生成する。

【0092】

この構成によれば、情報処理装置１００は、利用者の拡大縮小操作を行う手に震えがあったとしても、利用者の意図を適切に反映した中心点を中心として対象コンテンツの拡大縮小処理を行うことができる。

【0093】

また、本開示に係る情報処理方法は、画面に表示される学習処理用の対象コンテンツの任意の位置に拡大縮小操作の中心点を表示させて、利用者に対して対象コンテンツに対する拡大縮小操作の操作指示を表示させるステップと、利用者の画面上における対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得するステップと、操作情報と、中心点座標との関係を機械学習モデルに学習させて、操作情報を入力すると、拡大縮小処理の中心点座標を出力する学習済みモデルを生成するステップと、学習済みモデルに操作情報を入力して、拡大縮小処理の中心点座標を出力するステップと、を含む。

【0094】

この構成によれば、利用者の意図を適切に反映して、対象コンテンツの拡大縮小処理の中心点座標を出力できる。

【0095】

また、本開示に係る情報処理プログラムは、画面に表示される学習処理用の対象コンテンツの任意の位置に拡大縮小操作の中心点を表示させて、利用者に対して対象コンテンツに対する拡大縮小操作の操作指示を表示させるステップと、利用者の画面上における対象コンテンツに対する拡大縮小操作の操作情報と中心点座標を取得するステップと、操作情報と、中心点座標との関係を機械学習モデルに学習させて、操作情報を入力すると、拡大縮小処理の中心点座標を出力する学習済みモデルを生成するステップと、学習済みモデルに操作情報を入力して、拡大縮小処理の中心点座標を出力するステップと、を含む。

【0096】

この構成によれば、利用者の意図を適切に反映して、対象コンテンツの拡大縮小処理の中心点座標を出力できる。

【0097】

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0098】

また、上述してきた「部（ｓｅｃｔｉｏｎ、ｍｏｄｕｌｅ、ｕｎｉｔ）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部１３２は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0099】

１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 操作情報記憶部
１２２ モデル記憶部
１３０ 制御部
１３１ 表示部
１３２ 取得部
１３３ 生成部
１３４ 受付部
１３５ 中心点出力部
１３６ 表示制御部
２００ 利用者端末
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】