特許 7522885 情報処理装置、情報処理システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-17

(45)【発行日】2024-07-25

(54)【発明の名称】情報処理装置、情報処理システムおよびプログラム

(51)【国際特許分類】

   G06F 16/907 20190101AFI20240718BHJP

【ＦＩ】

G06F16/907

【請求項の数】 6

(21)【出願番号】P 2023042195

(22)【出願日】2023-03-16

【審査請求日】2023-03-16

(73)【特許権者】

【識別番号】507228172

【氏名又は名称】株式会社ＪＳＯＬ

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】平畑 聖也

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】特開２０１５－２２８１１１（ＪＰ，Ａ）

【文献】特開２００６－２２８２２８（ＪＰ，Ａ）

【文献】特開２０１３－００９１８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

画面に表示される表示内容に関連する情報を前記画面上の範囲である関連範囲に対応付けて格納する格納部と、
前記画面上で指定された前記画面の指定範囲を取得する範囲取得部と、
前記範囲取得部により取得された前記指定範囲と前記関連範囲の一致度に基づいて、前記指定範囲に含まれる前記関連範囲に対応付けられた前記情報を前記格納部から抽出して出力する情報出力部と、
を備える、情報処理装置。

【請求項2】

前記画面は所定のアプリケーションの機能により出力され、
前記情報は、前記所定のアプリケーションの使用を支援する情報である、請求項１に記載の情報処理装置。

【請求項3】

前記情報出力部は、前記一致度に基づいた優先順位に基づいて抽出した前記情報を出力し、または前記優先順位に基づいた態様で前記情報を出力する、請求項１または２に記載の情報処理装置。

【請求項4】

前記範囲取得部により取得された前記表示内容に関連する新たな前記情報を、前記関連範囲に対応付けて前記格納部に登録する登録部を備える、請求項１または２に記載の情報処理装置。

【請求項5】

請求項１または２に記載の情報処理装置と、
前記画面上で前記画面の前記指定範囲の指定を受け付ける端末と、
を備え、
前記範囲取得部は、前記端末を介して指定された前記指定範囲を取得し、
前記情報出力部は、前記情報を前記端末に向けて出力する、情報処理システム。

【請求項6】

画面に表示される表示内容に関連する情報を前記画面上の範囲である関連範囲に対応付けて格納する格納部と、
前記画面上で指定された前記画面の指定範囲を取得する範囲取得部と、
前記範囲取得部により取得された前記指定範囲と前記関連範囲の一致度に基づいて、前記指定範囲に対応付けられた前記表示内容に関連する前記情報を前記格納部から抽出して出力する情報出力部と、
を備える情報処理装置としてコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理システムおよびプログラムに関する。

【背景技術】

【0002】

特許文献１には、ユーザから入力された質問文章に応じて、当該質問文章に対応する質問候補文章をユーザに対して出力する質問回答部を備える情報提供システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－１６６２５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、端末等において表示される画面に関連する情報が必要な場合に、必要な情報を抽出するための検索キーとして使用する文章やキーワードを決めることが困難な場合がある。

【0005】

そこで、１つの側面では、本発明は、画面に対する操作に基づいて、容易に必要な情報にアクセスすることができる情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

１つの態様では、
画面に表示される表示内容に関連する情報を格納する格納部と、
前記画面上で指定された前記画面の指定範囲を取得する範囲取得部と、
前記範囲取得部により取得された前記指定範囲に対応付けられた前記表示内容に関連する前記情報を前記格納部から抽出して出力する情報出力部と、
を備える、情報処理装置が提供される。

【発明の効果】

【0007】

１つの側面では、本発明によれば、画面に対する操作に基づいて、容易に必要な情報にアクセスすることができる情報処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本実施例の情報処理装置が適用される情報処理システムの構成を示す図である。

【図2】質問・回答情報を抽出して出力する処理を示すフローチャートである。

【図3】アプリケーションが使用されている端末の画面表示を例示する図である。

【図3A】アプリケーションが使用されている端末の画面表示を例示する図である。

【図3B】アプリケーションが使用されている端末の画面表示を例示する図である。

【図3C】アプリケーションが使用されている端末の画面表示を例示する図である。

【図3D】アプリケーションが使用されている端末の画面表示を例示する図である。

【図3E】アプリケーションが使用されている端末の画面表示を例示する図である。

【図3F】アプリケーションが使用されている端末の画面表示を例示する図である。

【図4】格納部に格納されたデータのデータ構成例を示す図である。

【図5】質問・回答情報を格納部に登録する処理を示すフローチャートである。

【図6】質問を入力するための画面を例示する図である。

【図7】指定範囲と関連範囲をＨＴＭＬ文書の記述範囲に対応づけた場合をイメージした図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら実施例について詳細に説明する。

【0010】

本実施例の情報処理装置は、例えば、所定のアプリケーションを利用するユーザ支援のために使用することができる。具体的には、所定のアプリケーションの利用に役立つ情報（例えば、Ｑ＆Ａなどの形式での回答情報）をユーザに提示するに際し、情報処理装置１０は、蓄積された情報の中から必要な情報を適切に検索して選択し、ユーザに提供する機能を有する。

【0011】

一般に、Ｑ＆Ａなどの質問・回答情報が用意されている場合であっても、ユーザが多数の質問の中から適切な質問を抽出することは容易ではない。例えば、キーワードを検索キーとして使用し、質問を抽出する場合、適切な質問にたどり着くためには、ユーザは適切なキーワードを入力する必要がある。しかし、当該所定のアプリケーションに詳しくないユーザにとって、何が適切なキーワードであるかを判断することは難しい。また、そもそも、キーワードに類似する表現が他にもある場合には、キーワードとしてどの表現、表記が使用されているのか判断することができない。このように、画面における表示の意味を言葉で表現することが困難な場合や、表示の意味を示す適切な言葉が不明な場合には、質問・回答情報にアクセスすることが難しくなる。

【0012】

本実施例の情報処理装置によれば、例えば、ユーザは所定のアプリケーションにより表示される画面の中から、ユーザが理解できない領域や、ユーザが要求する回答に関連すると思われる領域を指定することができる。この場合、情報処理装置１０は、指定された画面の指定範囲に対応付けられた表示内容に関連する情報（例えば、質問・回答情報）を抽出し、ユーザに提示する。このため、ユーザは、適切なキーワードなどが分からなくても、画面上で領域を指定するだけで、必要な情報にアクセスすることができる。

【0013】

また、画面の指定範囲だけでは十分に情報を絞り込めない場合には、ユーザは要求する回答に関連すると思われる文字列を指定することができる。この場合には、指定された当該文字列による情報の検索が実行され、当該文字列によりさらに絞込まれた情報がユーザに提示される。

【0014】

図１は、本実施例の情報処理装置が適用される情報処理システムの構成を示す図である。

【0015】

図１に示すように、情報処理システムは、サーバ等のコンピュータとしての情報処理装置１０と、情報処理装置１０に接続される端末２１および端末２２を含んで構成される。

【0016】

情報処理装置１０は、画面に表示される表示内容に関連する情報を格納する格納部１１と、上記画面上で指定された画面の指定範囲を取得する範囲取得部１２と、範囲取得部１２により取得された指定範囲に対応付けられた表示内容に関連する上記の情報を格納部１１から抽出して出力する情報出力部１４と、新たな上記の情報を格納部１１に登録する登録部１５と、指定された文字列を取得する文字列取得部１２Ａと、を備える。

【0017】

格納部１１、範囲取得部１２、情報出力部１４、登録部１５、文字列取得部１２Ａとしての機能は、情報処理装置１０に実装されるプログラムにより提供することができる。また、これらの機能は、後述する端末２１に実装されるプログラム、後述する端末に実装されるプログラムにより補完されてもよい。

【0018】

端末２１は、所定のアプリケーション（例えば、アプリケーションＡ、アプリケーションＢ、アプリケーションＣ・・・のうちの一のアプリケーション））を利用するユーザにより使用される。端末２１は、情報処理装置１０と協働して、ユーザインタフェイス機能を含む、ユーザに必要な情報を提供するための機能を有する。このような機能は、端末２１に実装されるプログラムにより提供される。当該プログラムは、上記所定のアプリケーションのプログラムの一部、あるいは上記所定のアプリケーションとは別のプログラムとして端末２１に実装することができる。以下、「上記所定のアプリケーションとは別のプログラム」によりユーザに必要な情報を提供する事例で処理を説明する。本事例では「上記所定のアプリケーションとは別のプログラム」によりユーザに必要な情報を提供する事例で処理を説明するが、これに限らず「上記所定のアプリケーションのプログラム一部」によりユーザに必要な情報を提供する事例での処理を実行してもよい。

【0019】

次に、情報処理装置１０における処理について説明する。この処理では、端末２１を介するユーザの指示に基づいて、情報処理装置１０によりユーザに対して必要な情報が提供される。

【0020】

図２は、質問・回答情報を抽出して出力する処理を示すフローチャート、図３～図３Ｆは、アプリケーションが使用されている端末の画面表示を例示する図である。

【0021】

図２のステップＳ１０２では、範囲取得部１２は、端末２１の画面上で画面の指定範囲が設定されたか否か判断し、判断が肯定されればステップＳ１０４へ処理を進める。

【0022】

ここでは、図３に示す画面におけるウィンドウ１０１内に指定範囲を設定する例を示す。図２の処理は、ユーザが図３Ａに示すボタン１０２を操作することで開始される。ここで、ボタン１０２を含めた右下側の領域の表示は、アプリケーションＢにより展開される画面の一部ではなく、範囲取得部１２の機能の一部として提供される。なお、図３Ａは隠れているインジケータで情報処理装置１０が提供する機能を呼び出すパターンでの画面表示を例示するものであり、図２の処理をスタートさせる方法は任意である。

【0023】

図３Ａの例では、ユーザは、アプリケーションＢで展開される画面の右下側の領域にあるボタン１０２を操作することにより、ウィンドウ１０１を選択している。これにより、範囲取得部１２は、現在時点でアクティブなアプリケーションがアプリケーションＢであり、指定範囲の設定対象がアプリケーションＢであることを認識する。次に、図３Ｂに示すように、ユーザは、カーソル１０３を用いて、ウィンドウ１０１の中の指定範囲の始点を指定する。次に、図３Ｃに示すように、ユーザは、カーソル１０３を用いて、ウィンドウ１０１の中の指定範囲の終点を指定する。図３Ｄは、カーソル１０３を用いて指定された指定範囲の座標を示している。この例では、画面の左上の隅を原点（０，０）として、始点（１２０，９０）と終点（２２０，１７０）が指定され、始点（１２０，９０）と終点（２２０，１７０）により規定される矩形状の領域が指定範囲として設定されている。

【0024】

指定範囲は矩形に限定されず、その形状は任意である。例えば、ウィンドウ１０１の中の文字列（記載）の一部や画面に表示されるイメージ（例えば、文字列以外の図）を指定範囲とすることもできる。また、１つの指定範囲として、単一の領域または複数の領域を設定することができる。この場合、例えば、始点と終点との対を複数、指定することにより複数の領域を定め、これらの領域を併せた全体の範囲を、１つの指定範囲として設定してもよい。複数の領域の指定を許容することにより、質問・回答情報に関連する文字列等が複数の領域に存在する場合にも対応可能となる。

【0025】

このような操作により、端末２１のユーザが指定範囲を設定した場合に、ステップＳ１０２の判断が肯定される。

【0026】

ステップＳ１０４では、範囲取得部１２は、画面の指定範囲を取得する。例えば、図３Ａ～図３Ｄに示した手順によりユーザが指定範囲を設定した場合には、範囲取得部１２は、アプリケーションＢで表示されるウィンドウ１０１の中の始点（１２０，９０）と終点（２２０，１７０）により規定される矩形状の領域を指定範囲として取得する。なお、指定範囲に対応するアプリケーションがアプリケーションＢである旨は、例えば、ウィンドウ１０１が選択されたことに基づき、判断される。

【0027】

ステップＳ１０６では、情報出力部１４は、範囲取得部１２により取得された画面の指定範囲に基づいて、格納部１１に格納された質問の中から、指定範囲に近似する範囲の質問を抽出して出力する。

【0028】

図４は、格納部に格納されたデータのデータ構成例を示す図である。

【0029】

図４の例では、格納部１１には、関連範囲データと、質問・回答情報データとが格納される。情報出力部１４は、関連範囲データと質問・回答情報データを用いて質問・回答情報を抽出し、出力することができる。

【0030】

関連範囲データは、回答情報を特定する質問・回答情報ＩＤと、アプリケーションを示すアプリケーションＩＤと、当該質問・回答情報ＩＤに対応づけられた関連範囲とを互いに対応付けるデータである。

【0031】

アプリケーションＩＤは、質問・回答情報ＩＤにより特定される質問・回答情報（Ｑ＆Ａ）に対応するアプリケーションを特定するデータである。本実施例では、複数のアプリケーション（例えば、アプリケーションＡ、アプリケーションＢ、アプリケーションＣ・・・）に対応する質問・回答情報を格納部１１に格納することができる。

【0032】

関連範囲は、例えば、図３Ｄに示したような座標を用いて設定される。この場合、図３Ｄに示したように、始点と終点の座標を用いた矩形の領域を関連範囲として設定することができる。また、関連範囲の形状は任意であり、例えば、ウィンドウ１０１の中の文字列（記載）の一部や画面に表示されるイメージ（例えば、文字列以外の図）を関連範囲とすることもできる。また、１つの関連範囲として、単一の領域または複数の領域を設定することができる。

【0033】

一方、図４に示すように、質問・回答情報データは、質問・回答情報ＩＤと、質問・回答情報（Ｑ＆Ａ）とを対応付けるデータである。

【0034】

質問・回答情報は、Ｑ＆Ａの形態でアプリケーション（アプリケーションＩＤで示すアプリケーション）の使用を支援する情報であり、質問とそれに対する回答とを含んでいる。質問および回答は文字列を含むことができるが、文字列以外のイメージをさらに含んでもよい。なお、本実施例では、Ｑ＆Ａの形態の質問・回答情報を例示するが、情報の形態は任意である。

【0035】

情報出力部１４は、必要な質問・回答情報を抽出するに際し、指定範囲と関連範囲の一致度に基づいて質問・回答情報を抽出することができる。

【0036】

例えば、指定範囲に占める関連範囲の比率に基づいて一致度を算出してもよい。この場合、仮に、指定範囲のサイズ（面積、文字数など）を１００とし、指定範囲と関連範囲とが重複する範囲のサイズ（面積、文字数など）を６０とすると、一致度は６０％となる。

【0037】

また、例えば、関連範囲に占める指定範囲の比率に基づいて一致度を算出してもよい。この場合、仮に、関連範囲のサイズ（面積、文字数など）を１００とし、指定範囲と関連範囲とが重複する範囲のサイズ（面積、文字数など）を７０とすると、一致度は７０％となる。また、１つの指定範囲として、複数の領域が設定された場合には、関連範囲と重複する領域の個数を一致度に反映させてもよい。

【0038】

一致度の算出方法は任意であるが、前者の方法または後者の方法を適用してもよく、前者の方法と後者の方法とを併用してもよい。

【0039】

また、関連範囲を区画して細分化し、個々の区画に対して重み付けしてもよい。例えば、回答情報と密接な関連がある記載を含む区画に対する重み付けを、そうでない区画よりも大きくしてもよい。この場合、指定範囲と関連範囲とが重複する範囲のサイズの算出および一致度の算出に、重み付けを反映させることができる。このような重み付けにより、回答情報の抽出の精度を向上させることができる。

【0040】

情報出力部１４は、算出された一致度に基いて質問・回答情報を抽出することにより、ユーザにとって必要性が高いと思われる質問・回答情報を出力することが可能となる。例えば、情報出力部１４は、一致度が所定の閾値よりも大きな質問・回答情報のみを出力することができる。また、情報出力部１４は、一致度が高い順に、所定数の質問・回答情報のみを出力することができる。これらの方法により、出力される質問・回答情報の個数を抑制しつつ、ユーザが必要な質問・回答情報を得ることができる確率を向上させることができる。

【0041】

あるいは、情報出力部１４は、算出された一致度に基づき、質問・回答情報に優先順位を付して、あるいは優先順位に基づく順序や配置（画面上の配置）に従って質問・回答情報を出力することができる。この場合、例えば、多数の質問・回答情報が出力される場合であっても、ユーザは優先順位に基づいて容易に必要な質問・回答情報にアクセスすることが可能となる。この場合、情報出力部１４は、優先順位が上位の（一致度の高い）所定数の質問・回答情報を出力することができるが、ユーザの指示に応じて、より下位の質問・回答情報を追加して出力するようにしてもよい。

【0042】

一致度の算出方法や、出力される質問・回答情報を定める条件として、個々のアプリケーション（例えば、アプリケーションＡ、アプリケーションＢ、アプリケーションＣ・・・）に応じて異なる算出方法や条件を適用してもよい。どのアプリケーションについても、適切な質問・回答情報が適切な個数だけ出力されるように、アプリケーションの特性や、準備された質問・回答情報の個数の相違等に応じて算出方法や条件を、アプリケーションごとに適宜、設定することができる。

【0043】

図３Ｅの例では、領域１０５に、情報出力部１４により出力された質問・回答情報が表示されている。なお、この例では、領域１０５には、質問・回答情報のうちの質問が表示され、ユーザが質問を指定（クリック）すると、その質問に対する回答が展開表示される。ユーザは質問の一覧から自らが必要な質問・回答情報がどれであるか判断し、質問を選択することでその質問に対する回答にアクセスすることができる。なお、質問・回答情報の表示方法は任意であり、例えば、質問と回答（Ｑ＆Ａ）の両方を含む質問・回答情報の一覧を表示してもよい。

【0044】

次に、ステップＳ１０８では、文字列取得部１２Ａは、文字列が入力されたか否か判断し、判断が肯定されれば処理をステップＳ１１０へ進め、判断が否定されれば、処理をステップＳ１０２へ進める。

【0045】

ユーザは、例えば、図３Ｅに示すような画面に対して文字列を入力することにより、すでに抽出されている質問・回答情報に対して文字列を用いた絞り込みを行うことができる。この例では、ユーザは、領域１０６のボックス内に質問・回答情報を検索するためのキーワードを書き込み、ボタン１０７への操作によりキーワードを確定して入力することができる。この場合、ユーザは、情報出力部１４により出力された質問・回答情報を参照しつつキーワードを選択できる。例えば、質問・回答情報に含まれる文字列をキーワードとして使用することができる。このため、ユーザは適切なキーワードを容易に選択できる。

【0046】

ステップＳ１１０では、文字列取得部１２Ａは、ユーザにより入力されたキーワードを取得する。

【0047】

ステップＳ１１２では、情報出力部１４は、すでに抽出されている質問・回答情報に対し、取得されたキーワードを検索キーとして検索し、質問・回答情報をさらに絞り込んで出力する。その後、情報出力部１４は、処理をステップＳ１０８へ進める。

【0048】

質問・回答情報がさらに絞り込まれると、例えば、図３Ｆに示すように、領域１０５に表示されていた質問・回答情報（質問）が絞り込まれる。すなわち、質問・回答情報の個数が減少する。なお、図３Ｆの例では、キーワードとして、「削除」の文字列が入力された結果、領域１０５には、「削除」の文字列が含まれる質問・回答情報のみが表示される状態となる。

【0049】

このように、ユーザが選択したキーワードに基づいて絞り込まれた質問・回答情報が、端末２１の画面に表示される。このため、ユーザは、必要とする質問・回答情報に容易にアクセスすることができる。また、さらにキーワードを追加し、あるいはキーワードを変更して質問・回答情報を絞り込みたい場合には、ユーザはその新たなキーワードを入力することができる（ステップＳ１０８）。なお、キーワードをスペースで区切って入力することにより、キーワードを複数設定して絞り込むこともできる。

【0050】

次に、登録部１５（図１）により質問・回答情報を格納部１１に登録する手順について説明する。図５は、質問・回答情報を格納部に登録する処理を示すフローチャートである。

【0051】

図５のステップＳ２０２では、登録部１５は、質問・回答情報の質問が入力されたか否か判断し、判断が肯定されれば処理をステップＳ２０４へ進める。

【0052】

質問・回答情報の登録は、例えば、図１に示す端末２２を介して実行される。端末２２のユーザは、例えば、アプリケーションの開発者やアプリケーションに詳しい者であり、質問・回答情報を適切に作成する能力を有している者が想定される。

【0053】

まず、端末２２のユーザは、画面の指定範囲の設定と同様の手順により、端末２２において画面の関連範囲を設定する。ここでは、例えば、図３～図３Ｃに示したように、座標を用いて画面の関連範囲を設定することができる。

【0054】

次に、ユーザは、設定された関連範囲に対応する質問・回答情報を入力する。

【0055】

図６は、質問を入力するための画面を例示する図である。

【0056】

図６の例では、端末２２のユーザは、領域２０１のボックスに、質問・回答情報の質問を書込み、領域２０２のボタンへの操作により書き込まれた質問を入力することができる。同様の操作により、端末２２のユーザは、端末２２の画面を介して質問に対する回答を入力することができる。以上の手順により、質問と回答とからなる質問・回答情報が入力される。

【0057】

ステップＳ２０４～ステップＳ２０６では、登録部１５は、端末２２のユーザにより設定された関連範囲と、その関連範囲に対応付けられた質問・回答情報（入力された質問・回答情報）とを対応付けて格納部１１に格納する。具体的には、ステップＳ２０４では、登録部１５により新たな質問・回答情報ＩＤ（図４）が発行され、その質問・回答情報ＩＤに対応する関連範囲データと、質問・回答情報データの質問とが格納部１１に格納される。次に、ステップＳ２０６では、登録部１５は、ステップＳ２０４で格納された質問に対する回答（質問・回答情報データの回答）を格納部１１に格納する。

【0058】

質問・回答情報を登録するに際し、質問・回答情報に含まれる質問については、アプリケーションの使用者が入力した質問文を利用することもできる。例えば、アプリケーションを使用している端末２１のユーザが、図３Ｅに示す画面の領域２０１のボックス内に質問文を書き込み、領域２０２のボタンを操作することができる。これにより、画面の指定範囲とともに、その指定範囲に対応付けられた質問文を入力することができる。このように質問文の入力を受け付けることにより、例えば、端末２１のユーザが、必要な情報が質問・回答情報の中に見出せないような場合に、画面において質問文を入力し、質問文に対する回答を求めることが可能となる。この場合、入力された質問文に対しては、端末２２のユーザがリアルタイムに回答し、あるいは入力した質問文が保存され、端末２２のユーザなどが事後に回答することが考えられる。

【0059】

本実施例では、アプリケーションの使用者による実際の質問文が入力された場合に、端末２２のユーザは、その質問文を質問として使用した質問・回答情報を作成するとともに、関連範囲を設定し、登録部１５を介して格納部１１に質問・回答情報を登録することができる。この場合、アプリケーションの使用者、とくにそのアプリケーションに詳しくない使用者による実際の疑問点（質問）を反映させたかたちで、質問・回答情報を登録することが可能となる。これにより、アプリケーションの使用者が望む情報が得られる確度を向上させる方向で、質問・回答情報の内容の精度を高めることができる。この場合、質問・回答情報に含まれる質問として、アプリケーションの使用者が入力した質問文の文言をそのまま使用してもよいし、あるいは端末２２のユーザによって質問文の表現（文言）を修正した上で、質問・回答情報として登録してもよい。 図３Ｄに示す例では、指定範囲と関連範囲とを画面上における座標を用いて規定している。しかし、画面上に表示される範囲に対応する任意の言語による記述にこれらの範囲を対応付けてもよい。例えば、ＨＴＭＬ文書により画面上の文字列が記述されている場合、指定範囲と関連範囲とをＨＴＭＬ文書の記述範囲に対応づけることができる。例えば、ＨＴＭＬ文書のタグを介して指定範囲と関連範囲とを規定してもよい。この場合、端末２１のユーザが画面上の座標を介して指定範囲を設定すると、その指定範囲がＨＴＭＬ文書における範囲として認識可能とされればよい。

【0060】

図７は、指定範囲と関連範囲をＨＴＭＬ文書の記述範囲に対応づけた場合をイメージした図である。図７において、ＨＴＭＬ文書中の範囲３０１が、ウィンドウ１０１における指定範囲または関連範囲に対応している。

【0061】

このように、指定範囲と関連範囲をＨＴＭＬ文書の記述範囲に対応づけることにより、アプリケーションにおける画面表示にレスポンシブデザインが用いられている場合にも対応可能となる。例えば、ウィンドウ１０１の大きさを可変とし、ウィンドウ内での文字列の配置がウィンドウの大きさにより変動する場合にも対応することができる。

【0062】

また、範囲取得部１２は、ユーザにより設定された指定範囲をイメージとして取得し、さらに画像処理に基づいて当該イメージを文字列に変換してもよい。この場合、情報出力部１４は、範囲取得部１２により画像処理を介して得られた文字列を、関連範囲として設定された文字列と対比することにより、質問・回答情報を抽出することができる。

【0063】

以上説明したように、本実施例の情報処理装置１０によれば、画面の指定範囲に基づいて、その指定範囲に対応付けられた表示内容に関連する情報（質問・回答情報）を抽出し、出力している。このため、ユーザは、画面の指定範囲を設定するだけで、容易に必要な情報にアクセスすることができる。とくに、画面における表示の意味を言葉で表現することが困難な場合や、表示の意味を示す適切な言葉が不明な場合にも、容易に必要な情報を得ることができる。

【0064】

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

【符号の説明】

【0065】

１０ 情報処理装置
１１ 格納部
１２ 範囲取得部
１２Ａ 文字列取得部
１４ 情報出力部
１５ 登録部
２１ 端末
２２ 端末

【要約】

【課題】 画面に対する操作に基づいて、容易に必要な情報にアクセスすることができる情報処理装置を提供する。
【解決手段】 画面に表示される表示内容に関連する情報を格納する格納部と、前記画面上で指定された前記画面の指定範囲を取得する範囲取得部と、前記範囲取得部により取得された前記指定範囲に対応付けられた前記表示内容に関連する前記情報を前記格納部から抽出して出力する情報出力部と、を備える。前記画面は所定のアプリケーションの機能により出力され、前記情報は、前記所定のアプリケーションの使用を支援する情報である。
【選択図】 図１

【図1】

【図2】

【図3】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図4】

【図5】

【図6】

【図7】