知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023041614
(43)【公開日】2023-03-24
(54)【発明の名称】表示装置、表示方法、表示システム
(51)【国際特許分類】
G06F 16/583 20190101AFI20230316BHJP
G09G 5/00 20060101ALI20230316BHJP
G06V 30/19 20220101ALI20230316BHJP
G06F 3/04883 20220101ALI20230316BHJP
G06F 3/0484 20220101ALI20230316BHJP
H04L 67/53 20220101ALI20230316BHJP
【ＦＩ】
G06F16/583
G09G5/00 550C
G09G5/00 510A
G06V30/19 G
G06F3/04883
G06F3/0484
H04L67/53
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022092374
(22)【出願日】2022-06-07
(31)【優先権主張番号】P 2021148719
(32)【優先日】2021-09-13
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】高橋 仁人
【テーマコード（参考）】
5B064
5B175
5C182
5E555
【Ｆターム（参考）】
5B064AB04
5B064DD08
5B175DA02
5B175FB03
5B175HB03
5C182AA04
5C182AB02
5C182AB04
5C182AB06
5C182AB08
5C182AB11
5C182AB12
5C182AB14
5C182AB21
5C182AB37
5C182AC03
5C182AC33
5C182AC43
5C182BA03
5C182BA06
5C182BA14
5C182BA35
5C182BA65
5C182BA66
5C182BA75
5C182BB03
5C182BB11
5C182BC01
5C182BC22
5C182BC25
5C182BC26
5C182CA01
5C182CA21
5C182CB13
5C182CB14
5C182CB54
5C182DA44
5E555AA04
5E555AA76
5E555BA13
5E555BA28
5E555BB13
5E555BB28
5E555BC17
5E555CA13
5E555CA14
5E555CB11
5E555CB12
5E555CB46
5E555CC01
5E555CC05
5E555DA03
5E555DB41
5E555DB49
5E555DB53
5E555DB56
5E555DC13
5E555DC14
5E555DD06
5E555DD07
5E555EA07
5E555EA08
5E555EA24
5E555FA00
(57)【要約】
【課題】手書きデータを用いて情報を検索する表示装置を提供すること。
【解決手段】本発明は、外部から入力される画像を表示できる表示装置であって、手書きデータの入力を受け付ける手書きデータ入力部と、前記画像と前記手書きデータを表示する表示制御部と、手書きデータを文字認識してテキストデータに変換する文字認識部と、を有し、前記表示制御部は、前記画像の少なくとも一部と前記テキストデータの少なくとも一部を用いた検索結果を表示することを特徴とする。
【選択図】図１
【解決手段】本発明は、外部から入力される画像を表示できる表示装置であって、手書きデータの入力を受け付ける手書きデータ入力部と、前記画像と前記手書きデータを表示する表示制御部と、手書きデータを文字認識してテキストデータに変換する文字認識部と、を有し、前記表示制御部は、前記画像の少なくとも一部と前記テキストデータの少なくとも一部を用いた検索結果を表示することを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
外部から入力される画像を表示できる表示装置であって、
手書きデータの入力を受け付ける手書きデータ入力部と、
前記画像と前記手書きデータを表示する表示制御部と、
手書きデータを文字認識してテキストデータに変換する文字認識部と、を有し、
前記表示制御部は、前記画像の少なくとも一部と前記テキストデータの少なくとも一部を用いた検索結果を表示する、
ことを特徴とする表示装置。
手書きデータの入力を受け付ける手書きデータ入力部と、
前記画像と前記手書きデータを表示する表示制御部と、
手書きデータを文字認識してテキストデータに変換する文字認識部と、を有し、
前記表示制御部は、前記画像の少なくとも一部と前記テキストデータの少なくとも一部を用いた検索結果を表示する、
ことを特徴とする表示装置。
【請求項2】
手書き入力により前記画像の領域が指定され、前記領域と関連付けられた前記手書きデータが手書きされた場合、前記領域内の画像と前記テキストデータの少なくとも一部を用いた検索を行う検索部を有することを特徴とする請求項１に記載の表示装置。
【請求項3】
手書きされた枠により前記画像の領域が指定され、前記枠内の領域に前記手書きデータが手書きされた場合、前記検索部は、前記枠内の画像と前記テキストデータの少なくとも一部を用いた検索を行うことを特徴とする請求項２に記載の表示装置。
【請求項4】
前記検索部は、前記テキストデータを検索意図に変換し、
前記検索部は、前記検索意図に基づいて、前記枠内の画像によりＷｅｂサイトを検索することを特徴とする請求項３に記載の表示装置。
前記検索部は、前記検索意図に基づいて、前記枠内の画像によりＷｅｂサイトを検索することを特徴とする請求項３に記載の表示装置。
【請求項5】
前記検索部は、前記テキストデータに、前記検索意図と、前記枠内の画像又は前記枠内の画像の特徴の少なくともいずれかが検索に使用する情報として対応付けられた意図変換情報を参照し、
前記テキストデータに対応付けられた前記検索に使用する情報によりＷｅｂサイトを検索することを特徴とする請求項４に記載の表示装置。
前記テキストデータに対応付けられた前記検索に使用する情報によりＷｅｂサイトを検索することを特徴とする請求項４に記載の表示装置。
【請求項6】
前記テキストデータに対応付けられた前記検索に使用する情報が前記枠内の画像である場合、前記検索部は、前記枠内の画像と類似する画像を有するＷｅｂサイトを検索することを特徴とする請求項５に記載の表示装置。
【請求項7】
前記テキストデータに対応付けられた前記検索に使用する情報が前記枠内の画像と前記枠内の画像の特徴である場合、前記検索部は、前記枠内の画像と前記枠内の画像の特徴に類似する画像を有するＷｅｂサイトを検索することを特徴とする請求項５に記載の表示装置。
【請求項8】
前記テキストデータに対応付けられた前記検索意図が前記枠内の画像があるＷｅｂサイトのコピーライトである場合、
前記検索部は、前記枠内の画像と類似する画像を有するＷｅｂサイトを検索し、前記Ｗｅｂサイトのコピーライトを取得することを特徴とする請求項６に記載の表示装置。
前記検索部は、前記枠内の画像と類似する画像を有するＷｅｂサイトを検索し、前記Ｗｅｂサイトのコピーライトを取得することを特徴とする請求項６に記載の表示装置。
【請求項9】
前記テキストデータに対応付けられた前記検索意図が前記枠内の画像があるＷｅｂサイト内の類似する画像の検索である場合、
前記検索部は、前記枠内の画像と類似する画像を有するＷｅｂサイトを検索し、前記Ｗｅｂサイトから前記枠内の画像と類似する画像を取得することを特徴とする請求項６に記載の表示装置。
前記検索部は、前記枠内の画像と類似する画像を有するＷｅｂサイトを検索し、前記Ｗｅｂサイトから前記枠内の画像と類似する画像を取得することを特徴とする請求項６に記載の表示装置。
【請求項10】
表示装置が外部から入力される画像を表示する表示方法であって、
手書きデータの入力を受け付けるステップと、
前記画像と前記手書きデータを表示するステップと、
手書きデータを文字認識してテキストデータに変換するステップと、
前記画像の少なくとも一部と前記テキストデータの少なくとも一部を用いた検索結果を表示するステップと、
を有することを特徴とする表示方法。
手書きデータの入力を受け付けるステップと、
前記画像と前記手書きデータを表示するステップと、
手書きデータを文字認識してテキストデータに変換するステップと、
前記画像の少なくとも一部と前記テキストデータの少なくとも一部を用いた検索結果を表示するステップと、
を有することを特徴とする表示方法。
【請求項11】
外部から入力される画像を表示できる表示システムであって、
手書きデータの入力を受け付ける手書きデータ入力部と、
前記画像と前記手書きデータを表示する表示制御部と、
手書きデータを文字認識してテキストデータに変換する文字認識部と、を有し、
前記表示制御部は、前記画像の少なくとも一部と前記テキストデータの少なくとも一部を用いた検索結果を表示する、
ことを特徴とする表示システム。
手書きデータの入力を受け付ける手書きデータ入力部と、
前記画像と前記手書きデータを表示する表示制御部と、
手書きデータを文字認識してテキストデータに変換する文字認識部と、を有し、
前記表示制御部は、前記画像の少なくとも一部と前記テキストデータの少なくとも一部を用いた検索結果を表示する、
ことを特徴とする表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示方法、及び、表示システムに関する。
【背景技術】
【0002】
タッチパネル式のディスプレイにユーザーが専用の電子ペンや指などで描画した手書きデータを表示する電子黒板などの表示装置が知られている。従来のホワイトボードと異なり手書きデータを電子データで保存したり、ＰＣ（Personal Computer）等の外部装置と接続して外部装置が表示する資料の画像を表示装置が表示したりすることができる。
【0003】
例えば、表示装置を使った会議中などにあらたな資料が必要になる場合があるが、画像に基づいてコンテンツなどを取得する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、検索要求に含まれる撮像画像内のオブジェクトに類似するオブジェクトを検索し、検索されたオブジェクトに関連付けられた連携情報（例えば、撮像画像がＵＲＬを含む場合、ＵＲＬに示されるＷｅｂサイトの情報）を取得するシステムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、情報の検索に手書きデータが用いられていないという問題がある。表示装置では、電子ペンや指などで文字等を手書きでき、手書きデータを用いて検索すれば、より詳細な検索が可能になることが期待される。
【0005】
本発明は、上記課題に鑑み、手書きデータを用いて情報を検索する表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、外部から入力される画像を表示できる表示装置であって、手書きデータの入力を受け付ける手書きデータ入力部と、前記画像と前記手書きデータを表示する表示制御部と、手書きデータを文字認識してテキストデータに変換する文字認識部と、を有し、前記表示制御部は、前記画像の少なくとも一部と前記テキストデータの少なくとも一部を用いた検索結果を表示することを特徴とする。
【発明の効果】
【0007】
手書きデータを用いて情報を検索する表示装置を提供できる。
【図面の簡単な説明】
【0008】
【図1】表示装置が情報を検索する場合の操作方法を説明する図である。
【図2】通信システムの全体構成図の一例である。
【図3】表示装置のハードウェア構成図の一例である。
【図4】表示装置が表示する各画像レイヤの構成図の一例である。
【図5】外部映像の表示例を説明する図である。
【図6】表示装置が有する機能をブロックに分けて説明する機能ブロック図の一例である。
【図7】入力層から出力層までＬ層が全結合されたニューラルネットワークの一例を示す図である。
【図8】意図変換情報記憶部に記憶されている意図変換情報を模式的に示す図である。
【図9】通信システムの全体的な動作を示すシーケンス図の一例である。
【図10】検索部による検索手順を説明するフローチャート図の一例である。
【図11】表示装置が表示する検索結果の一例を示す図である。
【図12】表示装置が表示する検索結果の一例を示す図である。
【図13】表示システムの構成例を示す図である。
【図15】情報処理装置を有する通信システムの全体的な動作を示すフローチャート図の一例である。
【図16】通信システムが情報処理装置を有する場合に、検索部による検索手順を説明するフローチャート図の一例である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う表示方法について実施例を挙げながら説明する。
【0010】
【0011】
(1) 発表者がノートＰＣ６と表示装置２を接続して、「企画提案書」というファイルを表示装置２で表示している。
【0012】
(2) 図１では、ファイル内の市場予測の統計グラフ１０１が表示されている。
【0013】
(3) 例えば、発表者が統計グラフ１０１を枠１０２等で選択し、その近辺に「データの出所は？」という手書きデータ１０３を手書きすると、手書きデータ１０３を文字認識することでデジタル信号化する。
【0014】
(4) 表示装置２は、文字認識の結果に基づいて検索の意図が、統計グラフ１０１の出所であると判断する。表示装置２は囲まれた統計グラフ１０１の特徴に基づいて、統計グラフ１０１と同じ又は類似する情報があるＷｅｂサイト上のコピーライト情報を取得する。
【0015】
(5) 同様に、発表者が、「予測精度は？」という手書きデータ１０４を手書きすると、表示装置２は、手書きデータ１０４を文字認識することでデジタル信号化する。表示装置２は、文字認識の結果に基づいて検索の意図が、統計グラフ１０１と類似する統計グラフの検索であると判断し、統計グラフ１０１と同じ又は類似する情報があるＷｅｂサイトの他の情報を解析し、類似する統計グラフを提示することができる。類似する統計グラフにより、ユーザーが例えば統計グラフ１０１の予測がどの程度当たっているか推測できる。
【0016】
このように、本実施形態では、外部から入力された画像や画像の特徴に基づいて類似する画像を検索するだけでなく、手書きデータを文字認識してテキストデータに変換することで、外部から入力された画像に対し、テキストデータに応じた情報を提供することができる。
【0017】
＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
【0018】
ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。
【0019】
手書きデータが文字認識して変換されたテキストデータとは、コンピュータで扱われる1つ以上の文字である。テキストデータの実態は文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。
【0020】
テキストデータには、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。
【0021】
Ｗｅｂサイトとは、一般に特定のドメイン名の下にある複数のＷｅｂページの集まりをいう。ホームページと呼ばれることもある。
【0022】
検索意図とは、どのような検索を行うか、換言すると検索条件を決定する方針である。検索意図は、例えば検索の対象と検索に使用する情報（検索キー）である。
【0023】
＜システム構成例＞
図２は、本実施形態の通信システムの全体構成図である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置２や電子ペン等が利用されてもよい。
図２は、本実施形態の通信システムの全体構成図である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置２や電子ペン等が利用されてもよい。
【0024】
図２に示されているように、通信システム１は、複数の表示装置２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。
【0025】
また、表示装置２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザーの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。
【0026】
また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(High－Definition Multimedia Interface。登録商標)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、表示装置２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。
【0027】
一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザーの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。
【0028】
これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、通信システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
【0029】
なお、以下では、複数の表示装置２のうち任意の表示装置２を示す場合には「表示装置２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザーの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。
【0030】
また、本実施形態では、表示装置２の一例として、電子黒板を説明するが、これに限るものではなく、表示装置２の他の例として、表示装置２は、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、外部装置の一例として、ノートＰＣ６を説明するが、これに限るものではなく、外部装置の他の例として、外部装置は、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、記録媒体は、ＳＤカード等の各種記録メディアであってもよい。
【0031】
＜表示装置のハードウェア構成＞
続いて、図３を用いて、本実施形態の表示装置２のハードウェア構成を説明する。なお、図３は、表示装置２のハードウェア構成図である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。
続いて、図３を用いて、本実施形態の表示装置２のハードウェア構成を説明する。なお、図３は、表示装置２のハードウェア構成図である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。
【0032】
これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。
【0033】
ＳＳＤ２０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。したがって、表示装置２は、普段は汎用的な情報処理装置として利用されるが、ユーザーがアプリケーションプログラムを実行すると、表示装置２の専用機と同様、ユーザーが手書きすることができる。
【0034】
ネットワークＩ/Ｆ２０５は、通信ネットワーク９との通信を制御する。外部機器接続Ｉ/Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ５、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。
【0035】
また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。
【0036】
これらのうち、キャプチャデバイス２１１は、外付けのノートＰＣ６のディスプレイに対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ３等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ３上に電子ペン４やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ３の表示の明暗や色合い等を調整するためのスイッチ群である。
【0037】
更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0038】
なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
【0039】
＜レイヤの構成＞
図４は、表示装置２が表示する各画像レイヤの構成図である。図４に示すように、表示装置２は、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び、背景画像（Ｄ）を重畳して１つの画像を表示する。
図４は、表示装置２が表示する各画像レイヤの構成図である。図４に示すように、表示装置２は、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び、背景画像（Ｄ）を重畳して１つの画像を表示する。
【0040】
ＵＩ画像（Ａ）は、ＵＩ（ユーザインターフェース）画像であり、ユーザーが操作するメニューボタン等を表示する。
【0041】
ストローク画像（Ｂ）は、ユーザーが手書きした１つ以上のストロークデータ（手書きデータ）が表示される画像である。
【0042】
出力画像（Ｃ）は、外部装置（ノートＰＣ６等）が入力した画像（静止画、動画）である。外部装置にはサーバーやＵＳＢメモリ５等が含まれ、Ｗｅｂページや記憶媒体の動画も出力画像（Ｃ）に含まれる。
【0043】
背景画像（Ｄ）は、予め保持されている無地、グリッド表示等、手書きの際に背景となる画像である。なお、保存された静止画など、予め保持されている画像は背景画像となりうる。
【0044】
表示装置２は、４つのレイヤを選択的に表示することもできる。例えば、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、又は背景画像（Ｄ）のうち、１つ以上の任意の画像を表示させることができる。
【0045】
＜外部映像の表示例＞
図５は、外部映像の表示例を説明する図である。図５（ａ）に示すように、出力画像（Ｃ）に表示される外部映像１１０を表示装置２はディスプレイ３の全面に（又は一部に小さく表示してもよい）表示している。
図５は、外部映像の表示例を説明する図である。図５（ａ）に示すように、出力画像（Ｃ）に表示される外部映像１１０を表示装置２はディスプレイ３の全面に（又は一部に小さく表示してもよい）表示している。
【0046】
ユーザーは外部映像１１０を含む、ディスプレイ３上の任意の位置にストロークを手書きできる。図５（ａ）では、統計グラフ１０１が枠１０２で囲まれていると共に、枠で形成される領域内（以下、枠内という）に「データの出所は？」という手書きデータ１０３と「予測精度は？」という手書きデータ１０４が手書きされている。このように、枠内の手書きデータ１０３，１０４は、枠内の画像に関するどのような情報を検索するかという、検索意図の検出に使用される。なお、枠１０２の形状は、四角に限らず、三角形以上の多角形でもよいし、円形でもよい。枠１０２は始点と終点がほぼ同じ位置のストロークであればよい。また、枠１０２は、領域を特定できる手書きデータであればよい。枠１０２は、ほぼ閉じた領域を形成していればよく、完全に閉じている必要はない。枠１０２は、点線で形成されてもよい。枠１０２は、複数のストロークで形成されてもよく、「」、（）等で領域が特定されてもよい。
【0047】
また、図５（ｂ）に示すように、検索意図の検出に使用される手書きデータは枠内でなくてもよい。図５（ｂ）では、枠１０２の外部に同様の手書きデータ１０５，１０６があり、矢印１０７で枠１０２と関連付けられている（接続されている）。表示装置２は、枠１０２と関連付けられている手書きデータ１０５，１０６を検索意図の検出に使用する。
【0048】
また、図５（ｂ）の手書きデータでは、枠１０２がなくてもよい。この場合、表示装置２は、手書きデータの接続先のオブジェクト（統計グラフ１０１）を画像処理で検出し、特徴検出の対象とする。この場合の画像処理としては、画面内で独立しているオブジェクトを分割するセグメンテーションが知られている。
【0049】
＜機能について＞
図６は、表示装置２が有する機能をブロックに分けて説明する機能ブロック図の一例である。図６に示すように、表示装置２は、外部映像入力部８１、通信映像入力部８２、外部映像受信部８３、重畳画像生成部８４、手書きデータ入力部８５、筆記データ受信部８６、録画データ生成部８７、表示制御部８８、記憶部８９、文字認識部９０、画像特徴検出部９１、及び、検索部９２を有している。表示装置２が有するこれらの機能は、例えば、図３に示したＣＰＵ２０１がＳＳＤ２０４からＲＡＭ２０３に展開されたプログラムを実行することで実現される機能又は手段である。
図６は、表示装置２が有する機能をブロックに分けて説明する機能ブロック図の一例である。図６に示すように、表示装置２は、外部映像入力部８１、通信映像入力部８２、外部映像受信部８３、重畳画像生成部８４、手書きデータ入力部８５、筆記データ受信部８６、録画データ生成部８７、表示制御部８８、記憶部８９、文字認識部９０、画像特徴検出部９１、及び、検索部９２を有している。表示装置２が有するこれらの機能は、例えば、図３に示したＣＰＵ２０１がＳＳＤ２０４からＲＡＭ２０３に展開されたプログラムを実行することで実現される機能又は手段である。
【0050】
外部映像入力部８１は、ＣＰＵ２０１によるプログラムの実行とキャプチャデバイス２１１等により実現され、ノートＰＣ６が継続的に送信する外部映像の入力を受け付ける。入力される外部映像は、主にノートＰＣ６が自機のディスプレイに表示している画面の映像であるが、保存しているコンテンツを表示装置２に送信してもよい。
【0051】
通信映像入力部８２は、ＣＰＵ２０１によるプログラムの実行とネットワークＩ/Ｆ２０５等により実現され、無線ＬＡＮ、有線ＬＡＮ又はMiracast（登録商標）等の通信経由で送信された外部映像の入力を受け付ける。
【0052】
外部映像入力部８１と通信映像入力部８２は外部映像を外部映像受信部８３に入力する。外部映像受信部８３は、外部映像入力部８１が入力する外部映像、及び、通信映像入力部８２が入力する外部映像の少なくとも一方を重畳画像生成部８４に入力する。
【0053】
手書きデータ入力部８５は、ＣＰＵ２０１によるプログラムの実行と接触センサ２１４等により実現され、入力手段が入力した座標点列の入力を受け付ける。手書きデータ入力部８５は座標点列を筆記データ受信部８６に入力する。
【0054】
筆記データ受信部８６は、手書きデータ入力部８５から入力された座標点列を基にストロークデータを作成する。筆記データ受信部８６は、座標点列を補間し、設定された太さや色のストロークデータを作成する。筆記データ受信部８６はストロークデータを重畳画像生成部８４及び文字認識部９０に入力する。
【0055】
重畳画像生成部８４は、外部映像受信部８３から入力された外部映像に、筆記データ受信部８６から入力された手書きデータを重畳して（合成して）、ディスプレイ３への出力データを作成し、録画データ生成部８７と表示制御部８８に入力する。また、重畳画像生成部８４は、外部映像に手書きデータが重畳された画像と音声データを同期させる。これにより、録画データ生成部８７は、手書きデータを音声と共に保存できる。
【0056】
録画データ生成部８７は、外部映像を取り込む操作をユーザーが行うと、静止画又は動画を記憶部８９に保存する。表示制御部８８は、出力データをディスプレイ３に表示する。
【0057】
文字認識部９０は、筆記データ受信部８６から入力された手書きデータを文字認識することでテキストデータに変換する。文字認識部９０は、テキストデータを形態素解析することで品詞付きの単語に分解できる。なお、文字認識のアルゴリズムは各種開発されており、本実施形態ではどのアルゴリズムで文字認識してもよい。一例としてディープラーニングを用いた手法を後述する。文字認識部９０は、テキストデータを検索部９２に入力する。
【0058】
画像特徴検出部９１は、筆記データ受信部８６から入力された手書きデータに基づいて枠１０２を検出する。枠１０２の検出は必須でないが、説明の便宜上、枠１０２が手書きされるものとする。また、画像特徴検出部９１は外部映像受信部８３から入力された外部映像のうち枠内の画像を取り出す。画像特徴検出部９１は、枠内の画像をそのまま検索部９２に入力してもよいし、枠内の画像から特徴を検出してから画像と共に又は特徴のみを検索部９２に入力してもよい。
【0059】
したがって、検索部９２には以下の情報が入力される。
１．テキストデータと枠内の画像
２．テキストデータと枠内の画像の特徴
３．テキストデータと枠内の画像と枠内の画像の特徴
画像特徴検出部９１は、画像の特徴として色のヒストグラムを生成できる。また、画像特徴検出部９１は、枠内の画像にＯＣＲ処理を行い、得られた文字データ（手書きデータから変換されたテキストデータと区別して、「文字データ」と記載する）を画像の特徴とすることもできる。
１．テキストデータと枠内の画像
２．テキストデータと枠内の画像の特徴
３．テキストデータと枠内の画像と枠内の画像の特徴
画像特徴検出部９１は、画像の特徴として色のヒストグラムを生成できる。また、画像特徴検出部９１は、枠内の画像にＯＣＲ処理を行い、得られた文字データ（手書きデータから変換されたテキストデータと区別して、「文字データ」と記載する）を画像の特徴とすることもできる。
【0060】
なお、枠１０２の検出及び特徴の検出には、パターンマッチングや後述する機械学習により生成された分類器が使用されてよい。
【0061】
検索部９２は、図８にて後述する意図変換情報を参照し、テキストデータに対応付けられた検索意図を判断する。また、検索部９２は、テキストデータに対応付けられた検索に使用する情報を検索エンジンに入力しインターネットの情報を検索する。検索エンジンのＷｅｂサイト（例えば、google.com（登録商標）等）は既知であるとする。
【0062】
＜手書きデータに対する文字認識、枠内の画像の特徴検出＞
手書きデータに対する文字認識及び枠内の画像の特徴検出の方法として、機械学習を利用したり、パターンマッチングを利用したりする方法がある。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。パターンマッチングとは、予め特定したいパターンを用意しておき、データを検索する場合に、特定のパターンが出現するかどうか、またどこに出現するかを特定する手法のことである。
手書きデータに対する文字認識及び枠内の画像の特徴検出の方法として、機械学習を利用したり、パターンマッチングを利用したりする方法がある。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。パターンマッチングとは、予め特定したいパターンを用意しておき、データを検索する場合に、特定のパターンが出現するかどうか、またどこに出現するかを特定する手法のことである。
【0063】
図７は、入力層３１から出力層３３までＬ層が全結合されたニューラルネットワーク１１である。階層が深いニューラルネットワークをＤＮＮ（Deep Neural Network）という。入力層３１と出力層３３の間の層を中間層３２という。階層数やノード３５の数等はあくまで一例である。
【0064】
手書きデータに対する文字認識の場合、入力層３１には、ストロークデータ（座標点列）が入力される。ストロークデータは連続的に入力されるので、一定数の座標点列が入力される。一方、出力層３３のノード数は、分類したいカテゴリの数である。例えば文字への分類であれば、英語ではアルファベットの２６がノード数となる。文字単位でなく、単語単位の認識も可能であり、この場合は単語の数となる。日本語の場合は、ひらがな、カタカナ、及び漢字の数が出力層３３のノードの数となる。
【0065】
枠内の画像の特徴検出の場合、入力層３１には、枠内の画像（各画素の画素値）が入力される。前処理部が枠内の画像をマスに区切ってもよい。一方、出力層３３のノード数は、分類したいカテゴリの数である。例えば、枠内の画像に何が写ってるか（被写体）を分類するのであれば、分類したい被写体の種類の数である。例えば、人物、車、電車、動物、棒グラフ、円グラフ、折れ線グラフ、図形、など多種多様な分類が可能である。
【0066】
また、ニューラルネットワークによって、画像特徴検出部９１が枠内の画像のテクスチャ（網目、斜線、木、鉄、ガラスなどの質感）を検出することもできる。
【0067】
したがって、枠内の画像の特徴としては、例えば以下が得られる。
・色ヒストグラム
・文字データ（ＯＣＲ処理で得られる）
・被写体
・テクスチャ
ニューラルネットワーク１１では、第ｌ層（ｌ(エル)：２～Ｌ）の１つのノード３５に第ｌ－１層の全てのノード３５が接続され、第ｌ－１層のノード３５の出力ｚと結合の重みｗの積が第ｌ層のノードに入力される。
・色ヒストグラム
・文字データ（ＯＣＲ処理で得られる）
・被写体
・テクスチャ
ニューラルネットワーク１１では、第ｌ層（ｌ(エル)：２～Ｌ）の１つのノード３５に第ｌ－１層の全てのノード３５が接続され、第ｌ－１層のノード３５の出力ｚと結合の重みｗの積が第ｌ層のノードに入力される。
【0068】
第ｌ層の各ノードには活性化関数が配置されており、第ｌ層のノード３５では活性化関数で入力を０～１の間の値に変換して第ｌ+1層のノード３５に出力する。この処理が入力層３１から出力層３３まで繰り返えされる。活性化関数としては、ReLU、tanh、シグモイドなどが知られている。なお、入力層３１のノードは特徴ベクトルを第２層に伝えるだけでよく活性化されない。
【0069】
本実施例では、出力層３３のノードの出力をテキストデータ（文字や単語）、又は、画像の特徴に分類するので、機械学習では分類問題を扱う。したがって、出力層３３のノードの活性化関数はソフトマックス関数でよい。出力層の各ノードの出力と教師信号（正しい分類のノードが１で残りはゼロのワンホットベクトル）との誤差は、クロスエントロピーにより求められ、結合の重みｗとバイアスｂは、出力層３３の出力が教師信号に近づくように更新（学習）される。
【0070】
なお、ストロークデータや音声データのような連続データの分類には、再帰型ニューラルネットワーク（Recurrent Neural Network：以下、RNN）を適用するとよい。ＲＮＮは、ニューラルネットワークを拡張して時系列データを扱えるようにしたものである。また、画像の分類には畳み込みニューラルネットワーク（Convolutional Neural Network: CNN又はConvNet）が有効であることが知られている。
【0071】
また、機械学習の手法には、パーセプトロン、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがあり、本実施形態で説明する手法には限られない。
【0072】
＜検索意図の検出＞
検索部９２は、テキストデータの主に名詞を検索意図として採用することもできるし、テキストデータを検索意図に変換してもよい。図８は、意図変換情報記憶部７９に記憶されている、テキストデータを検索意図に変換する意図変換情報を示す。検索意図により検索条件が定まる。意図変換情報のテキストデータは、ユーザーが発話したテキストデータの少なくとも一部でよい。また、意図変換情報のテキストデータは、例えば形態素解析で得られた名詞でもよい。
検索部９２は、テキストデータの主に名詞を検索意図として採用することもできるし、テキストデータを検索意図に変換してもよい。図８は、意図変換情報記憶部７９に記憶されている、テキストデータを検索意図に変換する意図変換情報を示す。検索意図により検索条件が定まる。意図変換情報のテキストデータは、ユーザーが発話したテキストデータの少なくとも一部でよい。また、意図変換情報のテキストデータは、例えば形態素解析で得られた名詞でもよい。
【0073】
意図変換情報によれば、例えば「データの出所」というテキストデータが、「枠内の画像があるＷｅｂサイトのコピーライト」という検索意図に変換される。この場合、検索に使用される情報は枠内の画像である。また、検索の対象はこのＷｅｂサイトのコピーライトである。コピーライトは著作者を意味するので、だれが枠内の画像を作成したかを検索部９２が検索できる。
【0074】
また、「予測精度」というテキストデータが、「枠内の画像があるＷｅｂサイト内の類似する画像の検索」という検索意図に変換される。この場合、検索に使用される情報は枠内の画像である。また、検索の対象はこのＷｅｂサイト内の画像である。枠内の画像があるＷｅｂサイト内の類似する統計グラフ等があれば、ユーザーが保持する知見などから枠内の画像の精度を推測できる。
【0075】
また、「確認」というテキストデータが、「枠内の画像の文字データの信頼性」という検索意図に変換される。この場合、検索に使用される情報は画像の特徴（文字データ）である。また、検索の対象はインターネット上の情報であるが、枠内の画像や文字で検索の対象を絞ることもできる。検索部９２が枠内に記載された文字でＷｅｂサイトを検索すると、適合率が高いＷｅｂサイトがヒットする。ユーザーは保持する知見などから枠内の画像に記載された情報の精度を推測できる。
【0076】
また、「オリジナルの入手」というテキストデータが、「枠内の画像の高品質な画像の取得」という検索意図に変換される。この場合、検索に使用される情報は枠内の画像と画像の特徴（色のヒストグラム、テクスチャ）である。また、検索の対象はインターネット上の情報であるが、枠内の画像や文字で検索の対象を絞ることもできる。ユーザーが枠内の画像の解像度が低いなどの理由でオリジナルの画像データが欲しい場合がある。検索部９２は枠内の画像でＷｅｂサイトを検索し、更に、画像の特徴（色のヒストグラム、テクスチャ）で絞り込む。ユーザーは枠内の画像と比較することで枠内の画像の元となるオリジナルの画像を判断できる。
【0077】
また、「詳細」というテキストデータが、「枠内の画像があるＷｅｂサイトの詳細情報の取得」という検索意図に変換される。この場合、検索に使用される情報は枠内の画像とテキストデータである。また、検索の対象はこのＷｅｂサイトの内容である。ユーザーが枠内の画像の詳細な情報が欲しい場合がある。検索部９２は枠内の画像でＷｅｂサイトを検索し、更に、テキストデータ（詳細に続けて手書きされた任意のテキストデータ）で、このＷｅｂサイトの情報を取得する。
このように本実施形態の検索意図は、ユーザーによって特定された画像を用いてどのような検索を行うか、すなわち、ユーザーによって特定された画像を用いて検索条件を決定可能な情報である。また、本実施形態の検索に使用する情報は、ユーザーによって特定された画像から得られる情報である。
このように本実施形態の検索意図は、ユーザーによって特定された画像を用いてどのような検索を行うか、すなわち、ユーザーによって特定された画像を用いて検索条件を決定可能な情報である。また、本実施形態の検索に使用する情報は、ユーザーによって特定された画像から得られる情報である。
【0078】
＜動作手順＞
図９は、通信システム１の全体的な動作を示すシーケンス図の一例である。
図９は、通信システム１の全体的な動作を示すシーケンス図の一例である。
【0079】
S1：表示装置２に接続されたノートＰＣ６は外部映像を表示装置２に送信する。
【0080】
S2：表示装置２の外部映像入力部８１は外部映像の入力を受け付け、外部映像受信部８３に入力する。外部映像受信部８３は重畳画像生成部８４に外部映像を入力する。外部映像は、表示制御部８８によりディスプレイ３に表示される。
【0081】
S3：ユーザーが手書きした場合、手書きデータ入力部８５が手書きデータの入力を受け付ける。手書きデータ入力部８５は筆記データ受信部８６に手書きデータを入力する。筆記データ受信部８６は重畳画像生成部８４と文字認識部９０に手書きデータを入力する。
【0082】
S4：重畳画像生成部８４は、外部映像に手書きデータを重ねて表示制御部８８に入力する。表示制御部８８は外部映像に手書きデータが重畳された画像をディスプレイ３に表示する。なお、外部映像が動画の場合、フレームは次々に更新されるが、重畳画像生成部８４は新しい外部映像のフレームにそれまでの全ての手書きデータを重畳する処理を繰り返す。
【0083】
図１０は、検索部９２による検索手順を説明するフローチャート図の一例である。手書きデータが入力されると、画像特徴検出部９１は領域が指定されたか否かを判断する（Ｓ１１）。この領域は、枠１０２で囲まれた領域である。すなわち、画像特徴検出部９１は枠１０２を検出する。例えば、画像特徴検出部９１は、ストロークの始点と終点が一定距離内で、面積（ストロークの外接矩形の面積）が一定以上の場合、枠１０２が手書きされたと判断する。あるいは、画像特徴検出部９１は、パターン認識や機械学習の結果を使用してもよい。なお、枠１０２の検出に先立って、ユーザーはＵＩ画像（Ａ）のメニューからエリア選択を押下する。
【0084】
画像特徴検出部９１は枠内の画像を取得する（Ｓ１２）。枠内の画像は、簡単には枠の内接矩形又は枠の外接矩形の内部の画像である。
【0085】
次に、画像特徴検出部９１は、枠内の画像の特徴を検出する（Ｓ１３）。ここで検出される枠内の画像の特徴は、色のヒストグラム、文字データ（ＯＣＲ処理で得られる）、被写体、及び、テクスチャ等である。画像特徴検出部９１は、画像から検出可能な特徴であれば検出可能である。
【0086】
次に、文字認識部９０は、枠１０２に関連付けて（例えば枠内に）手書きデータが入力されたか否かを判断する（Ｓ１４）。「枠１０２に関連付けて」とは、枠内の他、手書きデータが枠１０２の外側の近辺に手書きされた場合も含む。なお、オブジェクト（例えば統計グラフ）が１つしかない場合は、ユーザーがオブジェクトを特定しなくてもよい。
【0087】
ステップＳ１４の判断がＹｅｓの場合、文字認識部９０は、枠１０２に関連付けて入力された手書きデータを文字認識する（Ｓ１５）。
【0088】
次に、検索部９２は、テキストデータと意図変換情報に基づいて検索意図を判断する（Ｓ１６）。この結果、検索部９２は、検索先のＷｅｂサイトや検索に使用する情報を決定できる。
【0089】
検索部９２は、検索に使用する情報で検索先のＷｅｂサイトを検索する（Ｓ１７）。枠内の画像の検索について説明する。検索部９２は、枠内の画像そのものをＷｅｂ上で公開されている検索エンジンに送信する。検索エンジンは枠内の画像の色、点、線、テクスチャ等を解析し、検索クエリ（１つ以上の単語を含む検索文）を生成する。検索エンジンは、検索クエリに基づいてキャッシュしている画像と一定以上類似する画像を特定する。検索エンジンは検索結果を返す。検索エンジンが行う枠内の画像の色、点、線、テクスチャ等の解析を検索部９２が行い、この解析結果を検索エンジンに渡してもよい。
【0090】
文字データの検索については、検索部９２が１つ以上の文字データを含む検索クエリを検索エンジンに送信する。検索エンジンはキャッシュしているＷｅｂサイトから文字データを含むＷｅｂサイトを特定する。検索エンジンは検索結果を返す。
【0091】
Ｗｅｂサイト内の検索については、検索範囲が当該Ｗｅｂサイトに制限される他は、同じ検索方法でよい。
【0092】
検索部９２は検索結果を表示制御部８８に入力するので、表示制御部８８は検索に使用される情報に適合した（ヒットした）情報をディスプレイ３に表示する（Ｓ１８）。
【0093】
＜検索結果の表示例＞
図１１は、表示装置２が表示する検索結果の一例を示す。図１１では、枠内の統計グラフ１０１に「データの出所は？」という手書きデータ１０３が手書きされたものとする。検索部９２は手書きデータ１０３を検索意図に変換する。この場合、検索部９２は、枠内の統計グラフ１０１でＷｅｂサイトを検索し、統計グラフ１０１が掲載されているＷｅｂサイトを特定する。そして、検索部９２はＷｅｂサイトのコピーライトを検索する。コピーライトは、一般に「Ｃを丸で囲んだ記号」「copyright」などの文字に続いて記載されるので、検索部９２はＷｅｂサイトからこれらの文字を検索すればよい。これにより、図１１では「2020 Sample Inc.」というコピーライト１３０が表示されている。
図１１は、表示装置２が表示する検索結果の一例を示す。図１１では、枠内の統計グラフ１０１に「データの出所は？」という手書きデータ１０３が手書きされたものとする。検索部９２は手書きデータ１０３を検索意図に変換する。この場合、検索部９２は、枠内の統計グラフ１０１でＷｅｂサイトを検索し、統計グラフ１０１が掲載されているＷｅｂサイトを特定する。そして、検索部９２はＷｅｂサイトのコピーライトを検索する。コピーライトは、一般に「Ｃを丸で囲んだ記号」「copyright」などの文字に続いて記載されるので、検索部９２はＷｅｂサイトからこれらの文字を検索すればよい。これにより、図１１では「2020 Sample Inc.」というコピーライト１３０が表示されている。
【0094】
なお、表示制御部８８は、検索した情報をポップアップ表示してもよいし、余白に表示してもよい。あるいは、表示制御部８８は、ディスプレイ３の右下などにバルーン（アイコン）で「検索しました」のように表示し、ユーザーの操作に応じて検索した情報をポップアップ表示してもよい。
【0095】
なお、表示装置２は、意図変換情報を使用せず、手書きデータから変換されたテキストデータでＷｅｂサイトを検索することもできる。例えば、ユーザーが「コピーライト」と手書きすれば、検索部９２は、統計グラフ１０１が掲載されているＷｅｂサイトからコピーライトを検索できる。このように、表示装置２は、枠内の画像でＷｅｂサイトを特定し、このＷｅｂサイト内で検索意図に応じた情報を取得できる。
【0096】
図１２は、表示装置２が表示する検索結果の一例を示す。図１２では、枠内の統計グラフ１０１に「予測精度は？」という手書きデータ１０４が手書きされたものとする。検索部９２は手書きデータ１０４を検索意図に変換する。この場合、検索部９２は枠内の統計グラフ１０１でＷｅｂサイトを検索し、統計グラフ１０１が掲載されているＷｅｂサイトを特定する。そして、検索部９２はＷｅｂサイト内の類似する統計グラフを検索する。これにより、図１２では別の棒グラフ１４０が表示されている。
【0097】
＜変形例＞
以上の本実施形態では、表示装置２単体で検索を行っているが、検索に関する処理をネットワーク上の情報処理装置が行ってもよい。このような情報処理装置をサーバー装置という。
以上の本実施形態では、表示装置２単体で検索を行っているが、検索に関する処理をネットワーク上の情報処理装置が行ってもよい。このような情報処理装置をサーバー装置という。
【0098】
図１３は、表示システム１００の構成例を示す。図１３の表示システム１００では、表示装置２と情報処理装置３００とが通信ネットワーク９を介して通信可能に接続されている。情報処理装置３００は一台以上のコンピュータであり、クラウドコンピューティングに対応していてもよい。また、情報処理装置３００はオンプレミスに存在しても、インターネット上に存在してもよい。図１３のような構成によれば、表示装置２は手書きデータと枠内の画像を情報処理装置３００に送信し、情報処理装置３００から検索結果を受信できる。
【0099】
図１４は、図１３の表示システム１００における、表示装置２と情報処理装置３００の機能ブロック図を示す。なお、図１４の説明では主に図６との相違を説明する。図１４の表示装置２は、通信部７４を有している。通信部７４は、手書きデータと枠内の画像をリアルタイムに情報処理装置３００に送信し、情報処理装置３００から検索結果を受信する。
【0100】
情報処理装置３００は通信部７５、文字認識部９０、画像特徴検出部９１、及び検索部９２を有している。この通信部７５は、手書きデータと枠内の画像を表示装置２から受信し、表示装置２に検索結果を送信する。文字認識部９０、画像特徴検出部９１、及び検索部９２の機能は、図６と同様でよい。
【0101】
このような構成によれば、検索に関する処理をネットワーク上の情報処理装置３００が行うことができる。文字認識や画像の特徴検出、検索を情報処理装置３００に集約できるので、保守が容易になる。
【0102】
＜主な効果＞
以上説明したように、本実施形態の表示装置２は、外部から入力された画像に類似する画像を検索するだけでなく、手書きデータを文字認識してテキストデータに変換することで、外部から入力された画像に対し、テキストデータに応じた情報を提供することができる。
以上説明したように、本実施形態の表示装置２は、外部から入力された画像に類似する画像を検索するだけでなく、手書きデータを文字認識してテキストデータに変換することで、外部から入力された画像に対し、テキストデータに応じた情報を提供することができる。
【0103】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0104】
例えば、表示装置２は、手書きデータをテキストデータに変換しているが、手書きデータのまま検索してもよい。この場合、検索エンジンは手書きデータを画像として検索する。
【0105】
また、表示装置２は、手書きデータをテキストデータに変換すると共に、音声データを認識し、テキストデータと音声データを検索に使用してもよい。
【0106】
また、本実施形態では、詳細を省略したが、テキストデータは文字コードとして、手書きデータは座標点データとして表示装置２に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置２でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。
【0107】
また、本実施形態では表示装置２の一例として電子黒板を説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。
【0108】
また、表示装置２がプロジェクターの場合、表示装置２はペン先の座標を超音波により検出してもよい。この場合、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は発光をカメラで撮像して方向を特定する。表示装置２は方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。この場合、プロジェクターには外部映像が入力されており、外部映像にストロークデータが重畳されている。
【0109】
また、図６などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0110】
また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。
【0111】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0112】
１ 通信システム
２ 表示装置
３ ディスプレイ
６ ノートＰＣ
２ 表示装置
３ ディスプレイ
６ ノートＰＣ
【先行技術文献】
【特許文献】
【0113】
【特許文献1】特開2019－021272号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】