特許 5953125 情報表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5953125

(24)【登録日】2016年6月17日

(45)【発行日】2016年7月20日

(54)【発明の名称】情報表示装置

(51)【国際特許分類】

   G06F 3/048 20130101AFI20160707BHJP

   G06F 3/14 20060101ALI20160707BHJP

   G09B 5/02 20060101ALI20160707BHJP

   G06F 17/30 20060101ALI20160707BHJP

【ＦＩ】

   G06F3/048

   G06F3/14 360C

   G09B5/02

   G06F17/30 310C

   G06F17/30 210A

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2012-121845(P2012-121845)

(22)【出願日】2012年5月29日

(65)【公開番号】特開2013-246762(P2013-246762A)

(43)【公開日】2013年12月9日

【審査請求日】2015年1月23日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100146835

【弁理士】

【氏名又は名称】佐伯 義文

(72)【発明者】

【氏名】上向 俊晃

(72)【発明者】

【氏名】加藤 恒夫

【審査官】 加内 慎也

(56)【参考文献】

【文献】 特開２００６−１５４８９０（ＪＰ，Ａ）

【文献】 特開２００５−２３６４３２（ＪＰ，Ａ）

【文献】 特開２００７−０１１６８３（ＪＰ，Ａ）

【文献】 特開２００３−２９６３５２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ３／１４

Ｇ０９Ｂ ５／０２

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

少なくとも一方の面から他方の面に光透過性を有する表示部と、
前記一方の面側にある、記録情報および付加情報それぞれが可視に設けられた媒体からの光束が前記表示部を透過し前記他方の面に到達することにより得られる透過可視情報を撮影し、前記透過可視情報の画像を生成する画像生成部と、
前記画像生成部が生成した前記画像を解析し、前記画像から前記記録情報および前記付加情報を検出する画像解析部と、
前記画像解析部が検出した前記記録情報および前記付加情報それぞれに関連付けられる第１の関連情報および第２の関連情報を取得する関連情報取得部と、
前記関連情報取得部が取得した前記第１の関連情報および前記第２の関連情報またはいずれかを前記表示部に表示させる表示制御部と、
を備えることを特徴とする情報表示装置。

【請求項2】

前記関連情報取得部は、
前記画像解析部が検出した前記記録情報および前記付加情報それぞれに基づき、第１の検索キーおよび第２の検索キーを生成するキー生成部と、
前記キー生成部が生成した前記第１の検索キーおよび前記第２の検索キーそれぞれに対応する前記第１の関連情報および前記第２の関連情報を検索する関連情報検索部と、
を備えることを特徴とする請求項１記載の情報表示装置。

【請求項3】

一つまたは複数の媒体それぞれについての情報を記憶する情報記憶部をさらに備え、
前記関連情報取得部は、前記情報記憶部から前記第１の関連情報および前記第２の関連情報を取得する
ことを特徴とする請求項１または２いずれか一項記載の情報表示装置。

【請求項4】

一つまたは複数の媒体それぞれについての情報を記憶する外部装置と通信する通信部をさらに備え、
前記関連情報取得部は、前記外部装置から前記第１の関連情報および前記第２の関連情報を取得する
ことを特徴とする請求項１または２いずれか一項記載の情報表示装置。

【請求項5】

前記画像解析部が検出した前記付加情報および時刻情報を対応付けて記憶する履歴情報記憶部をさらに備え、
前記画像解析部は、前記画像から前記付加情報を最初に検出したときの時刻を示す時刻情報と前記付加情報とを対応付けて前記履歴情報記憶部に記憶させ、
前記関連情報取得部は、取得した前記第２の関連情報を、前記履歴情報記憶部に記憶された時刻情報に応じて配列させ、
前記表示制御部は、前記関連情報取得部が配列させた前記第２の関連情報を前記表示部に表示させる
ことを特徴とする請求項１から４いずれか一項記載の情報表示装置。

【請求項6】

前記関連情報取得部は、取得した前記第２の関連情報から、前記履歴情報記憶部に記憶された時刻情報に応じて第３の関連情報を抽出し、
前記表示制御部は、前記関連情報取得部が抽出した前記第３の関連情報を前記表示部に表示させる
ことを特徴とする請求項５記載の情報表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報表示装置に関する。

【背景技術】

【0002】

学習参考書や専門書等の書籍の使用者（学習者）は、学習により、学習している頁の重要部分に手書きのコメントやマークを書き込むことがある。この書籍を用いた学習において、学習者は、学習している頁のさらに詳細な情報または関連する情報を、他の頁や他の書籍等から得たい場合がある。また、それとともに、学習者は、コメントに関する情報やマークに対応する情報の詳細情報を得たい場合もある。

【0003】

このような場合、従来では、例えば、その書籍の文章やコメントに含まれる単語や文を検索キーとして情報検索サイトのデータベースを検索する作業を行い、所望の情報を取得している。しかし、この作業は、当該書籍とは別の場所で、コンピュータ装置や携帯情報端末を用いて行われるものであるため、作業が煩雑であり、また、情報の表示場所が分散し、使い勝手が悪いという問題がある。

【0004】

従来、実物に関する情報（関連情報）をその実物とともに提示する技術として、透過型ディスプレイを用いる技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−１２２２８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記の透過型ディスプレイを通して視認される実物の情報と、その実物に対する関連情報とは、あらかじめ決定された固定の情報である。よって、この従来技術では、例えば、書籍で学習させている最中に、学習者により書き込まれたコメントに関する情報やマークに対応する情報の詳細情報等の関連情報を容易に取得し、これら関連情報を透過型ディスプレイに即時に表示させることができない。

【0007】

そこで、本発明は、上記の問題を解決するためになされたものであり、媒体に可視に設けられた記録情報および付加情報に対する関連情報を容易に取得し、この関連情報を即時に表示させる情報表示装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

［１］上記の課題を解決するため、本発明の一態様である情報表示装置は、少なくとも一方の面から他方の面に光透過性を有する表示部と、前記一方の面側にある、記録情報および付加情報それぞれが可視に設けられた媒体からの光束が前記表示部を透過し前記他方の面に到達することにより得られる透過可視情報を撮影し、前記透過可視情報の画像を生成する画像生成部と、前記画像生成部が生成した前記画像を解析し、前記画像から前記記録情報および前記付加情報を検出する画像解析部と、前記画像解析部が検出した前記記録情報および前記付加情報それぞれに関連付けられる第１の関連情報および第２の関連情報を取得する関連情報取得部と、前記関連情報取得部が取得した前記第１の関連情報および前記第２の関連情報またはいずれかを前記表示部に表示させる表示制御部と、を備えることを特徴とする。
［２］上記［１］記載の情報表示装置において、前記関連情報取得部は、前記画像解析部が検出した前記記録情報および前記付加情報それぞれに基づき、第１の検索キーおよび第２の検索キーを生成するキー生成部と、前記キー生成部が生成した前記第１の検索キーおよび前記第２の検索キーそれぞれに対応する前記第１の関連情報および前記第２の関連情報を検索する関連情報検索部と、を備えることを特徴とする。
［３］上記［１］または［２］いずれか一項記載の情報表示装置において、一つまたは複数の媒体それぞれについての情報を記憶する情報記憶部をさらに備え、前記関連情報取得部は、前記情報記憶部から前記第１の関連情報および前記第２の関連情報を取得することを特徴とする。
［４］上記［１］または［２］いずれか一項記載の情報表示装置において、一つまたは複数の媒体それぞれについての情報を記憶する外部装置と通信する通信部をさらに備え、前記関連情報取得部は、前記外部装置から前記第１の関連情報および前記第２の関連情報を取得することを特徴とする。
［５］上記［１］から［４］いずれか一項記載の情報表示装置において、前記画像解析部が検出した前記付加情報および時刻情報を対応付けて記憶する履歴情報記憶部をさらに備え、前記画像解析部は、前記画像から前記付加情報を最初に検出したときの時刻を示す時刻情報と前記付加情報とを対応付けて前記履歴情報記憶部に記憶させ、前記関連情報取得部は、取得した前記第２の関連情報を、前記履歴情報記憶部に記憶された時刻情報に応じて配列させ、前記表示制御部は、前記関連情報取得部が配列させた前記第２の関連情報を前記表示部に表示させることを特徴とする。
［６］上記［５］記載の情報表示装置において、前記関連情報取得部は、取得した前記第２の関連情報から、前記履歴情報記憶部に記憶された時刻情報に応じて第３の関連情報を抽出し、前記表示制御部は、前記関連情報取得部が抽出した前記第３の関連情報を前記表示部に表示させることを特徴とする。

【発明の効果】

【0009】

本発明によれば、媒体に可視に設けられた記録情報および付加情報に対する関連情報を容易に取得し、この関連情報を即時に表示させることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態である情報表示装置の、概略の外観を示す斜視図である。

【図2】同実施形態である情報表示装置が実際に使用されている状態を示す図である。

【図3】同実施形態である情報表示装置を適用した情報取得表示システムの全体構成、および情報表示装置の機能構成を示すブロック図である。

【図4】同実施形態である情報表示装置に設けられた二つの撮影部が透過可視情報を撮影する様子を模式的に示した図である。

【図5】図４に示した情報表示装置を、ＸＹ平面に直交し且つＤ−Ｄ線を含む平面で切った断面を模式的に示す図である。

【図6】同実施形態において、情報記憶部に記憶、またはサーバ装置に格納される媒体属性情報のデータ構成を示す図である。

【図7】同実施形態において、情報記憶部に記憶、またはサーバ装置に格納される媒体情報のデータ構成を示す図である。

【図8】同実施形態において、履歴情報記憶部に記憶される履歴情報のデータ構成を示す図である。

【図9】同実施形態である情報表示装置の、関連情報検索処理の処理手順を示すフローチャートである。

【図10】本発明の第２実施形態において、情報記憶部に記憶、またはサーバ装置に格納される媒体属性情報のデータ構成を示す図である。

【図11】同実施形態において、情報記憶部に記憶、またはサーバ装置に格納される媒体情報のデータ構成を示す図である。

【図12】同実施形態において、履歴情報記憶部に記憶される履歴情報のデータ構成を示す図である。

【図13】本発明の第３実施形態である情報表示装置の、概略の外観を示す斜視図である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態である情報表示装置（情報取得表示装置）は、媒体に設けられた視認可能な（可視である）情報（記録情報および付加情報）が透けて見える位置に設けられた状態で、その透けて見える情報（透過可視情報）から記録情報および付加情報を検出する。そして、この情報表示装置は、これら検出した記録情報および付加情報それぞれに関連付けられる関連情報を取得し、この関連情報を透過可視情報とともに表示する装置である。

【0012】

媒体は、文字列、文章、図、表、写真等の情報が視認可能に表されたものであり、例えば紙媒体である。具体的に、媒体は、書物（書籍、雑誌、パンフレット等）、ペーパー（広告ちらし等）である。本実施形態では、媒体として書物（書籍ともいう場合がある）を例とする。記録情報は、媒体にあらかじめ可視に設けられた情報である。記録情報は、例えば、紙媒体である書物に印刷された情報である。付加情報は、ユーザ（利用者ともいう）によって媒体に付加された情報である。例えば、付加情報は、紙媒体である書物に手書きで書き込まれたコメント、マーク（印）等の情報である。本実施形態において、記録情報および付加情報を、可視情報と呼ぶことがある。

【0013】

図１は、第１実施形態である情報表示装置の、概略の外観を示す斜視図である。同図に示すように、情報表示装置１は、表示部１０と、二つの撮影部２１（２１−１，２１−２）とを備える。

【0014】

表示部１０は、少なくとも、表示部１０越しに下方の面（背面、一方の面）から上方の面（表面、他方の面）に光透過性を有する表示パネルを備える。ただし、表示部１０越しに下方の面とは、図１において隠れている方の面である。以下、表示部１０の面を特定して指す場合は、上記の記載に準じる。表示部１０は、透過型表示装置（透過型ディスプレイ装置）により実現される。具体的に、透過型表示装置は、例えば、エレクトロルミネッセンス（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ；ＥＬ）素子を適用して実現されるＥＬディスプレイ装置である。このＥＬディスプレイ装置として、例えば、有機ＥＬディスプレイ装置および無機ＥＬディスプレイ装置が適用可能である。また、透過型表示装置として、例えば、透過型液晶ディスプレイ装置が適用可能である。

【0015】

撮影部２１−１および撮影部２１−２は、表示部１０越しに下方の面側にある、記録情報および付加情報それぞれが可視に設けられた媒体からの光束が表示部１０を透過し上方の面に到達することにより得られる透過可視情報の部分領域（部分透過可視情報）をそれぞれ撮影して部分画像を生成する。つまり、撮影部２１は、表示部１０越しに見える部分透過可視情報を撮影して画像化する。

【0016】

撮影部２１−１および撮影部２１−２は、表示部１０のフレーム部において対向する２辺それぞれの中央近傍（中央を含む）に、部分透過可視情報を撮影可能な方向に設けられる。このようにして、撮影部２１−１は、透過可視情報を領域分割して得られる二つの部分透過可視情報のうち一方を撮影して一方の部分画像を生成する。また、撮影部２１−２は、それら二つの部分透過可視情報のうち他方を撮影して他方の部分画像を生成する。ただし、撮影部２１−１および撮影部２１−２は、一方の部分画像と他方の部分画像とができるだけ重複せず、且つ両方の部分画像が透過可視情報の領域をできるだけ広く含むよう設けられる。

【0017】

図２は、情報表示装置１が実際に使用されている状態を示す図である。同図において、情報表示装置１は、表示部１０越しに下方の面を書物の紙面に向き合わせる向きで、且つ表示部１０越しに注目記載事項が見える位置で、紙面上に載置されている。注目記載事項とは、情報表示装置１の利用者が書物の記載事項の中で注目している事項である。つまり、表示部１０越しに視認される透過可視情報Ａ（破線で囲まれた領域内の情報）には、注目記載事項Ｂが含まれている。

【0018】

次に、本実施形態である情報表示装置１を適用した情報取得表示システムの構成について説明する。
図３は、情報表示装置１を適用した情報取得表示システムの全体構成、および情報表示装置１の機能構成を示すブロック図である。同図に示すように、本実施形態における情報取得表示システムは、情報表示装置１と、サーバ装置２とが、ネットワーク３を介して接続された構成を有する。
また、同図において、情報表示装置１は、表示部１０と、画像生成部２０と、画像解析部３０と、履歴情報記憶部４０と、関連情報取得部５０と、情報記憶部６０と、通信部７０と、表示制御部８０とを備える。

【0019】

表示部１０については前述したとおりであるので、ここでの説明を省略する。
画像生成部２０は、二つの撮影部２１（２１−１，２１−２）と、画像処理部２２とを備える。
撮影部２１−１および撮影部２１−２については前述したとおりであるので、ここでの説明を省略する。

【0020】

画像処理部２２は、撮影部２１−１が生成した一方の部分画像と撮影部２１−２が生成した他方の部分画像とをそれぞれ取り込み、これら両方の部分画像を合成して透過可視情報の画像である透過可視情報画像を生成する。両方の部分画像を合成するとは、画像処理部２２が、透過可視情報の領域に対応させて両方の部分画像をつなぎ合わせる処理を実行することである。

【0021】

具体的に、画像処理部２２は、例えば、各部分画像の一部領域同士が重複する場合は、これら重複する一部領域のうち一方の一部領域と各部分画像における重複しない領域とを連結する。なお、画像処理部２２は、各部分画像における収差を補正する画像処理を実行し、補正された部分画像同士を合成してもよい。
画像処理部２２は、生成した透過可視情報画像を画像解析部３０に供給する。

【0022】

つまり、画像生成部２０は、表示部１０越しに下方の面側にある、記録情報および付加情報それぞれが可視に設けられた媒体からの光束が表示部１０を透過し上方の面に到達することにより得られる透過可視情報をそれぞれ撮影し、この透過可視情報の画像（透過可視情報画像）を生成する。

【0023】

画像解析部３０は、画像生成部２０の画像処理部２２が供給する透過可視情報画像を取り込んでこの透過可視情報画像を解析し、その透過可視情報画像から付加情報および対応情報、ならびに記録情報を検出する。対応情報は、記録情報において付加情報に対応する情報である。

【0024】

具体的に、画像解析部３０は、公知の手書き文字認識処理を実行して透過可視情報画像から手書き情報を検出し、この手書き情報とこの手書き情報の属性を示す手書き属性情報とを付加情報とする。手書き情報は、例えば、ユーザによって媒体に手書きされることにより表現された文字、数字、記号等のキャラクタコードである。手書き属性情報は、例えば、手書き情報に付された、下線や囲み等の文字装飾、矢印等を示す情報である。また、画像解析部３０は、公知の文字認識処理を実行して、透過可視情報画像から手書き情報を除くテキストを検出し、このテキストのキャラクタコードであるテキスト情報を記録情報とする。媒体が書物である場合、テキストは、印刷された文字、数字、記号等である。また、画像解析部３０は、検出した記録情報から、手書き情報の近傍にある情報または手書き属性情報によって対応付けられる情報を、対応情報として抽出する。

【0025】

画像解析部３０は、付加情報および対応情報ならびに記録情報を、関連情報取得部５０に供給する。
また、画像解析部３０は、媒体において、透過可視情報画像から付加情報を最初に検出したときの時刻を示す時刻情報とその付加情報とを対応付けて、履歴情報記憶部４０に記憶させる。具体的に、画像解析部３０は、これら付加情報および対応情報の対の情報が履歴情報記憶部４０に記憶されているか否かを判定する。そして、画像解析部３０は、その対の情報が履歴情報記憶部４０に記憶されていないと判定した場合、それら付加情報および対応情報の対の情報を、現在時刻（例えば、年月日時分）を示す時刻情報とともに履歴情報記憶部４０に記憶させる。

【0026】

履歴情報記憶部４０は、媒体ごとの履歴情報を記憶する。履歴情報は、付加情報と対応情報と時刻情報とを含む。つまり、履歴情報は、情報表示装置１が、媒体に付加された手書き情報の履歴を示す情報である。履歴情報記憶部４０は、例えば、磁気ハードディスク装置、半導体ディスク装置、半導体記録装置により実現される。履歴情報の具体例については後述する。

【0027】

関連情報取得部５０は、画像解析部３０が供給する、付加情報および対応情報ならびに記録情報を取り込む。そして、関連情報取得部５０は、記録情報に関連付けられる関連情報（記録情報関連情報、第１の関連情報）を情報記憶部６０および外部装置またはいずれかから取得する。また、関連情報取得部５０は、付加情報および対応情報またはいずれかに関連付けられる関連情報（付加情報関連情報、第２の関連情報）を情報記憶部６０および外部装置またはいずれかから取得する。外部装置は、例えば、サーバ装置２である。
検索先（情報記憶部６０および外部装置）については、例えば、ユーザによる情報表示装置１の操作により、あらかじめ設定可能である。なお、検索先に、履歴情報記憶部４０を含めてもよい。

【0028】

関連情報取得部５０は、その機能構成として、キー生成部５１と、関連情報検索部５２とを備える。
キー生成部５１は、記録情報から検索キー（第１の検索キー）を生成する。また、キー生成部５１は、付加情報および対応情報またはいずれか（これらは、例えば任意に決定される）から検索キー（第２の検索キー）を生成する。

【0029】

具体的に、キー生成部５１は、例えば、記録情報を形態素解析して得られる名詞を第１の検索キーとする。また、キー生成部５１は、例えば、付加情報および対応情報またはいずれかを形態素解析して得られる名詞を第２の検索キーとする。
なお、キー生成部５１は、媒体の分野（例えば、日本歴史、科学、医学、機械等）別にキーワード・データベースを内蔵し、形態素解析して得られた名詞に基づき、媒体に対応するキーワード・データベースから検索キーを抽出してもよい。

【0030】

関連情報検索部５２は、キー生成部５１が生成した第１の検索キーに対応する、媒体の識別情報と頁を示す情報と含む第１の関連情報を、情報記憶部６０および外部装置またはいずれかから検索して取得する。また、関連情報検索部５２は、キー生成部５１が生成した第２の検索キーに対応する第２の関連情報を、情報記憶部６０および外部装置またはいずれかから検索して取得する。
関連情報検索部５２は、取得した第１の関連情報における、媒体の識別情報と頁を示す情報とを履歴情報記憶部４０の履歴情報に追記することにより、履歴情報記憶部４０の履歴情報を更新する。

【0031】

関連情報検索部５２は、取得した第２の関連情報を、履歴情報記憶部４０に記憶された時刻情報に応じて配列させる。例えば、関連情報検索部５２は、第２の関連情報を、時刻情報が示す時刻の早い順または遅い順に配列させる。
または、関連情報検索部５２は、取得した第２の関連情報から、履歴情報記憶部４０に記憶された時刻情報に応じて第３の関連情報を抽出する。例えば、関連情報検索部５２は、第２の関連情報から、所定の時刻情報が示す時刻以前またはその時刻以後の第３の関連情報を抽出する。

【0032】

関連情報検索部５２は、取得した第１の関連情報および第２の関連情報を表示制御部８０に供給する。ただし、関連情報検出部５２は、第２の関連情報を並び替えたり、第２の関連情報から第３の関連情報を抽出したりした場合、その並びのまま、または第３の関連情報を表示制御部８０に供給する。

【0033】

情報記憶部６０は、一つまたは複数の媒体それぞれについての情報を記憶する。この情報には、媒体属性情報および媒体情報が対応付けて含まれている。媒体属性情報は、媒体の各種属性を示す情報である。媒体情報は、媒体に可視に設けられた記録情報、および記録情報の属性を示す情報である。媒体属性情報および媒体情報の具体例については後述する。情報記憶部６０は、例えば、磁気ハードディスク装置、半導体ディスク装置、半導体記録装置により実現される。

【0034】

通信部７０は、ネットワーク３に接続された外部装置、例えばサーバ装置２と通信するための通信インタフェースである。通信部７０は、例えば、インターネット・プロトコル（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ；ＩＰ）により外部装置との通信を行う。

【0035】

表示制御部８０は、関連情報取得部５０の関連情報検索部５２が供給する第１の関連情報および第２の関連情報を取り込み、これら第１の関連情報および第２の関連情報またはいずれかを表示部１０に表示させる。表示制御部８０は、表示させる関連情報を、制御プログラムの実行によって、またはユーザによる操作にしたがって選択する。

【0036】

ネットワーク３は、通信回線であり、例えば、ＩＰにより通信可能なコンピュータ・ネットワークである。ネットワーク３は、例えば、ローカル・エリア・ネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ；ＬＡＮ）、家庭内ＬＡＮ（ホーム・ネットワーク）を含み、また、インターネットに接続されている。

【0037】

サーバ装置２は、ネットワーク３に接続される外部装置の一例である。サーバ装置２は、例えば、複数の媒体それぞれについての情報を格納する情報提供装置である。

【0038】

次に、情報表示装置１における、撮影部２１−１および撮影部２１−２の配置について説明する。
図４は、情報表示装置１に設けられた二つの撮影部２１が透過可視情報を撮影する様子を模式的に示した図である。ただし、同図は、情報表示装置１を、表示部１０の面が、直交するＸＹ両軸を含む平面（ＸＹ平面）に平行、且つ表示部１０の面の各辺がＸ軸またはＹ軸に平行となる姿勢で配置し、表示部１０越しに上方から見た平面図である。
同図において、撮影部２１−１および撮影部２１−２は、表示部１０のフレーム部においてＸ軸に平行な、対向する２辺それぞれの中央位置に設けられている。透過可視情報Ａを分離する二つの部分透過可視情報は、透過可視情報Ａの領域の中心を通り且つＸ軸に平行な直線Ｃで透過可視情報Ａの領域を分割した領域の情報である。

【0039】

撮影部２１−１は、撮影部２１−１側の部分透過可視情報を被写体として撮影する。また、撮影部２１−２は、撮影部２１−２側の部分透過可視情報を被写体として撮影する。図４に示すように、撮影部２１−１は、撮影によって一方の部分画像Ｓ１を生成する。また、撮影部２１−２は、撮影によって他方の部分画像Ｓ２を生成する。このように、撮影部２１−１および撮影部２１−２は、一方の部分画像Ｓ１と他方の部分画像Ｓ２とができるだけ重複せず、且つ両方の部分画像Ｓ１，Ｓ２が透過可視情報Ａの領域をできるだけ広く含むよう設けられている。

【0040】

なお、図４には、撮影部２１−１および撮影部２１−２の光学中心を通りＹ軸に平行な直線Ｄ−Ｄを示しているが、このＤ−Ｄ線については図５の説明で引用する。

【0041】

次に、撮影部２１−１および撮影部２１−２の内部構造について説明する。
図５は、図４に示した情報表示装置１を、ＸＹ平面に直交し且つＤ−Ｄ線を含む平面で切った断面を模式的に示す図である。図５において、情報表示装置１は、媒体Ｐの上に載置されている。表示部１０の上方から媒体Ｐに向けて進行する光束は、表示部１０を透過して媒体Ｐに到達する。そして、媒体Ｐで反射された光束は、表示部１０を透過する。これにより、媒体Ｐに可視に設けられた記録情報および付加情報に対応する透過可視情報が表示部１０の上方の面に現出する。

【0042】

図５は、撮影部２１−１および撮影部２１−２の内部構造を模式的に示している。ただし、撮影部２１−１および撮影部２１−２は同等の内部構造を有するため、ここでは、代表として、撮影部２１−１に符号を付して内部構造を説明する。
撮影部２１−１は、カーブミラー（第１の反射板）２１１と、ミラー（第２の反射板）２１２と、レンズ光学系２１３と、撮像部２１４とを備える。

【0043】

カーブミラー２１１は、表示部１０の上方の面に現出した、一方の部分透過可視情報からの光束を受光する位置に設けられる。カーブミラー２１１は、一方の部分透過可視情報におけるできるだけ広い範囲の情報からの光束を受光できるよう、曲率を有している。
ミラー２１２は、カーブミラー２１１が反射した光束を受光する位置に設けられる。ミラー２１２は、平面ミラーでもよいし、カーブミラーでもよい。
レンズ光学系２１３は、ミラー２１２が反射した光束を受光する位置に設けられる。レンズ光学系２１３は、単一または複数の集光レンズを含む。
撮像部２１４は、レンズ光学系２１３が集光した光束を受光する位置に設けられる。撮像部２１４は、固体撮像素子であり、例えば、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）イメージセンサ、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）イメージセンサにより実現される。

【0044】

よって、撮影部２１−１は、表示部１０の上方の面に現出した一方の部分透過可視情報からの光束をカーブミラー２１１で反射させ、さらにミラー２１２で反射させてレンズ光学系２１３に入射させる。そして、撮影部２１−１は、レンズ光学系２１３で集光させた光束を撮像部２１４で撮像させることにより、一方の部分画像を生成する。

【0045】

同様に、撮影部２１−２は、表示部１０の上方の面に現出した他方の部分透過可視情報からの光束をカーブミラー２１１で反射させ、さらにミラー２１２で反射させてレンズ光学系２１３に入射させる。そして、撮影部２１−２は、レンズ光学系２１３で集光させた光束を撮像部２１４で撮像させることにより、他方の部分画像を生成する。

【0046】

次に、情報表示装置１が記憶する各種情報について説明する。
図６は、情報記憶部６０に記憶、またはサーバ装置２に格納される媒体属性情報のデータ構成を示す図である。同図に示すように、媒体属性情報は、書籍ごとに、例えば、書籍識別情報と、書籍名称と、著者と、発行者と、発行所と、発行日と、版と、定価とを対応付けたレコードを含むデータテーブルである。
書籍識別情報は、書籍を特定する識別情報である。書籍名称は、書籍の名称（タイトル）である。著者は、書籍の著者の氏名である。発行者は、書籍の発行者の氏名である。発行所は、書籍の発行所の名称である。発行日は、書籍の発行年月日である。版は、書籍の内容のバージョンを示す情報である。定価は、書籍の定価である。
なお、媒体属性情報には、同図に示した情報に限らず、媒体の属性を示す情報を適宜設けてよい。例えば、媒体属性情報に、媒体の種類（書籍、雑誌、パンフレット、ペーパ等）、言語、書体、文体、対象年齢を含めてもよい。

【0047】

図７は、情報記憶部６０に記憶、またはサーバ装置２に格納される媒体情報のデータ構成を示す図である。同図に示すように、媒体情報は、書籍ごとに、例えば、書籍識別情報と、ページ番号と、テキスト情報と、図表識別情報と、図表位置情報と、図表タイトルと、図表説明とを対応付けたレコードを含むデータテーブルである。
書籍識別情報は、書籍を特定する識別情報である。図６に示した媒体属性情報と図７に示した媒体情報とは、書籍識別情報を主キーとして対応付けされる。ページ番号は、書籍の頁に付与されたページ番号である。テキスト情報は、当該頁に記載されたテキスト（文字列等）である。図表識別情報は、当該頁に図示された図または表を特定する識別情報である。図表タイトルは、当該頁に図示された図または表の名称（タイトル）である。図表説明は、当該頁に図示された図または表を説明するテキストである。

【0048】

図８は、履歴情報記憶部４０に記憶される履歴情報のデータ構成を示す図である。同図に示すように、履歴情報は、書籍ごとに、例えば、書籍識別情報と、ページ番号と、付加情報と、対応情報と、時刻情報とを対応付けたレコードを含むデータテーブルである。
書籍識別情報は、書籍を特定する識別情報である。ページ番号は、書籍の頁に付与されたページ番号である。付加情報は、当該頁に含まれる付加情報である。この付加情報は、文字列（手書き情報）と記号（手書き属性情報）とを含む。対応情報は、当該頁に含まれる対応情報である。時刻情報は、例えば、画像解析部３０が透過可視情報画像から付加情報を最初に検出したときの年月日時分を示す。

【0049】

次に、本実施形態である情報表示装置１の動作について説明する。
図９は、情報表示装置１の、関連情報検索処理の処理手順を示すフローチャートである。
ステップＳ１において、情報表示装置１は、自装置の載置状態を監視し、載置状態を検出した場合はステップＳ２の処理に移す（Ｓ１：ＹＥＳ）。載置状態とは、情報表示装置１が安定的に置かれた状態または固定された状態である。載置状態は、情報表示装置１が例えば利用者の手により把持されて安定的に支持されることも含む。情報表示装置１は、例えば加速度センサをフレーム部に内蔵させ、この加速度センサに載置状態を監視させる。

【0050】

ステップＳ２において、撮影部２１−１および撮影部２１−２は、表示部１０越しに下方の面側にある、記録情報および付加情報それぞれが可視に設けられた媒体からの光束が表示部１０を透過し上方の面に到達することにより得られる透過可視情報の部分領域（部分透過可視情報）をそれぞれ撮影して部分画像を生成する。
具体的に、撮影部２１−１は、透過可視情報を領域分割して得られる二つの部分透過可視情報のうち一方を撮影して一方の部分画像を生成し、この一方の部分画像を画像処理部２２に供給する。また、撮影部２１−２は、それら二つの部分透過可視情報のうち他方を撮影して他方の部分画像を生成し、この他方の部分画像を画像処理部２２に供給する。

【0051】

次に、ステップＳ３において、画像処理部２２は、撮影部２１−１が供給する一方の部分画像と撮影部２１−２が供給する他方の部分画像とをそれぞれ取り込み、これら両方の部分画像を合成して透過可視情報画像を生成する。次に、画像処理部２２は、生成した透過可視情報画像を画像解析部３０に供給する。

【0052】

次に、ステップＳ４において、画像解析部３０は、画像生成部２０の画像処理部２２が供給する透過可視情報画像を取り込んでこの透過可視情報画像を解析し、その透過可視情報画像から付加情報および対応情報、ならびに記録情報を検出する。

【0053】

次に、ステップＳ５において、画像解析部３０は、これら検出した付加情報および対応情報の対の情報が履歴情報記憶部４０に記憶されているか否かを判定し、未登録である場合はステップＳ６の処理に移し、登録済である場合はステップＳ７の処理に移す。

【0054】

ステップＳ６において、画像解析部３０は、未登録である、付加情報および対応情報の対の情報を、現在時刻を示す時刻情報とともに履歴情報記憶部４０に記憶させる。

【0055】

次に、ステップＳ７において、関連情報取得部５０のキー生成部５１は、画像解析部３０から取得した記録情報から、検索キー（第１の検索キー）を生成する。
次に、キー生成部５１は、画像解析部３０からそれぞれ取得した付加情報および対応情報またはいずれかから、検索キー（第２の検索キー）を生成する。

【0056】

次に、ステップＳ８において、関連情報取得部５０の関連情報検索部５２は、キー生成部５１が生成した第１の検索キーおよび第２の検索キーそれぞれに対応する第１の関連情報および第２の関連情報を、情報記憶部６０および外部装置またはいずれかから検索して取得する。

【0057】

具体的に、関連情報検索部５２は、第１の検索キーを適用して、情報記憶部６０および外部装置またはいずれかに記憶された媒体属性情報および媒体情報から、例えば、記録情報が設けられた媒体を示す書籍識別情報と、その媒体における該当するページ番号とを取得する。
次に、関連情報検索部５２は、第１の検索キーを適用して、上記取得した書籍識別情報に対応付けられた媒体情報における、上記該当するページ番号以外のページ番号に対応付けられたテキスト情報、図表タイトル、および図表説明を検索する。これにより、関連情報検索部５２は、同一の媒体における他の頁から、記録情報に関連する第１の関連情報を検索することができる。
または、関連情報検索部５２は、第１の検索キーを適用して、上記取得した書籍識別情報以外の書籍識別情報に対応付けられた媒体情報におけるテキスト情報、図表タイトル、および図表説明を検索する。これにより、関連情報検索部５２は、他の媒体から、記録情報に関連する第１の関連情報を検索することができる。

【0058】

また、関連情報検索部５２は、第２の検索キーを適用して、上記取得した書籍識別情報に対応付けられた媒体情報における、上記該当するページ番号以外のページ番号に対応付けられたテキスト情報、図表タイトル、および図表説明を検索する。具体的に、例えば、第２の検索キーに“Ｐ４３”や“４３ページ”等の文字列が含まれている場合、関連情報検索部５２は、ページ番号が“４３”であるレコードから、テキスト情報、図表タイトル、および図表説明を検索する。これにより、関連情報検索部５２は、同一の媒体における他の頁から、記録情報に関連する第２の関連情報を検索することができる。
または、関連情報検索部５２は、第２の検索キーを適用して、上記取得した書籍識別情報以外の書籍識別情報に対応付けられた媒体情報におけるテキスト情報、図表タイトル、および図表説明を検索する。これにより、関連情報検索部５２は、他の媒体から、記録情報に関連する第２の関連情報を検索することができる。

【0059】

次に、関連情報検索部５２は、取得した第２の関連情報を、履歴情報記憶部４０に記憶された時刻情報に応じて配列させる。例えば、関連情報検索部５２は、第２の関連情報を、時刻情報が示す時刻の早い順または遅い順に配列させる。
または、関連情報検索部５２は、取得した第２の関連情報から、履歴情報記憶部４０に記憶された時刻情報に応じて第３の関連情報を抽出する。例えば、関連情報検索部５２は、第２の関連情報から、所定の時刻情報が示す時刻以前またはその時刻以後の第３の関連情報を抽出する。

【0060】

次に、ステップＳ９において、表示制御部８０は、関連情報検索部５２が供給する第１の関連情報および第２の関連情報を取り込み、これら第１の関連情報および第２の関連情報またはいずれかを表示部１０に表示させる。

【0061】

［第２の実施の形態］
上述した第１実施形態は、媒体として書物を例とした。本発明の第２実施形態は、媒体として写真アルバムを例とするものである。

【0062】

本実施形態である情報表示装置は、第１実施形態と同等の構成を有する。したがって、本実施形態では、第１実施形態である情報表示装置１を用いることとし、その構成の説明を省略する。

【0063】

本実施形態における情報表示装置１が記憶する各種情報のデータ構成について説明する。
図１０は、情報記憶部６０に記憶、またはサーバ装置２に格納される媒体属性情報のデータ構成を示す図である。同図に示すように、媒体属性情報は、写真アルバムごとに、例えば、アルバム識別情報と、アルバム名称と、管理者と、作成日とを対応付けたレコードを含むデータテーブルである。
アルバム識別情報は、写真アルバムを特定する識別情報である。アルバム名称は、写真アルバムの名称（タイトル）である。管理者は、写真アルバムの管理者または作成者の氏名である。作成日は、写真アルバムの作成年月日である。

【0064】

図１１は、情報記憶部６０に記憶、またはサーバ装置２に格納される媒体情報のデータ構成を示す図である。同図に示すように、媒体情報は、写真アルバムごとに、例えば、アルバム識別情報と、ページ番号と、写真識別情報と、所在パス情報と、撮影日時と、印刷とを対応付けたレコードを含むデータテーブルである。
アルバム識別情報は、写真アルバムを特定する識別情報である。図１０に示した媒体属性情報と図１１に示した媒体情報とは、アルバム識別情報を主キーとして対応付けされる。ページ番号は、写真アルバムの頁に付与されたページ番号である。写真識別情報は、当該頁に貼付または収納された写真を特定する識別情報である。所在パス情報は、当該頁に貼付または収納された写真の電子データ（たとえば、静止画ファイルデータ）を記録する記録装置（例えば、コンピュータ装置）における、電子データの所在を示す情報である。撮影日時は、当該頁に貼付または収納された写真を撮影したときの年月日時分を示す情報である。印刷は、当該頁に貼付または収納された写真を印刷済みであるか否かを示す情報である。

【0065】

図１２は、履歴情報記憶部４０に記憶される履歴情報のデータ構成を示す図である。同図に示すように、履歴情報は、写真アルバムごとに、例えば、アルバム識別情報と、ページ番号と、付加情報と、対応情報と、時刻情報とを対応付けたレコードを含むデータテーブルである。
アルバム識別情報は、写真アルバムを特定する識別情報である。ページ番号は、写真アルバムの頁に付与されたページ番号である。付加情報は、当該頁に貼付または収納された写真に対する付加情報である。この付加情報は、例えば、写真の管理者が手書きしたコメント等の文字列である。対応情報は、当該頁に貼付または収納された写真に対する写真識別情報である。時刻情報は、例えば、画像解析部３０が透過可視情報画像から付加情報を最初に検出したときの年月日時分を示す。

【0066】

次に、本実施形態である情報表示装置１の動作について、第１実施形態で説明した図９のフローチャートを参照して説明する。ステップＳ１からステップＳ３までの処理については、第１実施形態と同様であるため、説明を省略する。

【0067】

ステップＳ４において、画像解析部３０は、画像生成部２０の画像処理部２２が供給する透過可視情報画像を取り込んでこの透過可視情報画像を解析し、その透過可視情報画像から付加情報および対応情報、ならびに記録情報を検出する。
具体的に、画像解析部３０は、公知の手書き文字認識処理を実行して透過可視情報画像から手書き情報を検出して付加情報を検出する。また、画像解析部３０は、公知の画像認識処理を実行して透過可視情報画像から写真の画像特徴量を記録情報として検出する。

【0068】

次に、ステップＳ５において、画像解析部３０は、検出した付加情報が履歴情報記憶部４０に記憶されているか否かを判定し、未登録である場合はステップＳ６の処理に移し、登録済である場合はステップＳ７の処理に移す。

【0069】

ステップＳ６において、画像解析部３０は、未登録である付加情報を、現在時刻を示す時刻情報とともに履歴情報記憶部４０に記憶させる。

【0070】

次に、ステップＳ７において、関連情報取得部５０のキー生成部５１は、画像解析部３０から取得した記録情報から、検索キー（第１の検索キー）を生成する。例えば、キー生成部５１は、画像特徴量を第１の検索キーとする。
次に、キー生成部５１は、画像解析部３０から取得した付加情報から、検索キー（第２の検索キー）を生成する。

【0071】

次にステップＳ８において、関連情報取得部５０の関連情報検索部５２は、キー生成部５１が生成した第１の検索キーに対応する第１の関連情報を、情報記憶部６０および外部装置またはいずれかから検索して取得する。また、関連情報検索部５２は、キー生成部５１が生成した第２の検索キーに対応する第２の関連情報を、情報記憶部６０および外部装置またはいずれか、ならびに履歴情報記憶部４０から検索して取得する。

【0072】

具体的に、関連情報検索部５２は、例えば、第１の検索キーである画像特徴量との類似度が所定レベル以上となる写真の画像を検索する。次に、関連情報検索部５２は、情報記憶部６０および外部装置またはいずれかに記憶された媒体属性情報および媒体情報から、例えば、検索した写真が設けられた媒体を示すアルバム識別情報と、写真の撮影日時とを取得する。
次に、関連情報検索部５２は、上記取得したアルバム識別情報に対応付けられた媒体情報における、上記撮影日時と同一の撮影日時に対応付けられた写真識別情報、所在パス情報、および印刷を検索する。これにより、関連情報検索部５２は、同一の媒体からから、同一の撮影日時の写真に関する情報を第１の関連情報として検索することができる。
または、関連情報検索部５２は、上記取得したアルバム識別情報以外のアルバム識別情報に対応付けられた媒体情報における、上記撮影日時と同一の撮影日時に対応付けられた写真識別情報、所在パス情報、および印刷を検索する。これにより、関連情報検索部５２は、他の媒体からから、同一の撮影日時の写真に関する情報を第１の関連情報として検索することができる。

【0073】

また、関連情報検索部５２は、第２の検索キーを適用して、履歴情報記憶部４０に記憶された履歴情報から付加情報を検索する。これにより、関連情報検索部５２は、写真に付加されたコメント等の付加情報を第２の関連情報として検索することができる。

【0074】

次に、ステップＳ９において、表示制御部８０は、関連情報検索部５２が供給する第１の関連情報および第２の関連情報を取り込み、これら第１の関連情報および第２の関連情報またはいずれかを表示部１０に表示させる。

【0075】

［第３の実施の形態］
本発明の第３実施形態は、前述した第１実施形態における撮影部２１の配置の別の例について説明する。
図１３は、第３実施形態である情報表示装置の、概略の外観を示す斜視図である。同図に示すように、情報表示装置１ａは、表示部１０と、撮影部２１と、支持部２３とを備える。表示部１０は、第１の実施形態における構成と同一であるため、ここでの説明を省略する。

【0076】

情報表示装置１ａは、一つの撮影部２１を備えている。この撮影部２１は、表示部１０越しに下方の面側にある、記録情報および付加情報それぞれが可視に設けられた媒体からの光束が表示部１０を透過し上方の面に到達することにより得られる透過可視情報を撮影し、この透過可視情報の画像を生成する。撮影部２１は、透過可視情報全体を視野に含めるよう、支持部２３を介して上方に設けられる。

【0077】

支持部２３は、撮影部２１を情報表示装置１ａのフレーム部から離間した場所に設けるためのアームである。支持部２３は、その一端に撮影部２１が設けられ、他端が着脱可能に情報表示装置１ａのフレーム部に取り付けられる。または、支持部２３は、折り畳み可能、または屈伸可能に情報表示装置１ａのフレーム部に取り付けられる。

【0078】

情報表示装置１ａには、一つの撮影部２１が備えられるため、画像処理部２２は、撮影部２１が生成した画像における収差を補正する画像処理を実行して、透過可視情報画像を生成する。

【0079】

以上詳述したとおり、本発明の第１実施形態〜第３実施形態における情報表示装置１，１ａは、媒体に設けられた視認可能な記録情報および付加情報が透けて見える位置に設けられた状態で、その透けて見える透過可視情報から記録情報および付加情報を検出する。そして、情報表示装置１，１ａは、これら検出した記録情報および付加情報それぞれに関連付けられる関連情報を装置の内部または外部から容易に取得し、この関連情報を表示部１０に即時に表示させることができる。

【0080】

なお、前述した第１実施形態および第２実施形態において、情報表示装置１に搭載される撮影部２１の個数は、二つに限られることなく、例えば、一つでもよいし、四つ、またはその他の複数でもよい。

【0081】

また、利用者から見た場合の情報表示装置１，１ａの向きは、図４を参照したときに、ＸＹ平面内で反時計周りに９０度、１８０度、または２７０度回転させた向きとしてもよい。

【0082】

また、上記説明した各実施形態における情報取得表示システムを、複数の情報表示装置がネットワーク３を介してサーバ装置２に接続されたシステムとしてもよい。
このシステムにおいて、サーバ装置２は、付加情報、対応情報、検索キーのうちいずれかを各情報表示装置から取得して頻度に応じて集計する集計部を備える。そして、集計部を備えるサーバ装置２は、集計部が集計した情報（集計情報）を各情報表示装置に供給する。
サーバ装置２から集計情報を取得した各情報表示装置は、その集計情報をランキング形式で表示部１０に表示させる。

【0083】

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0084】

１，１ａ 情報表示装置
２ サーバ装置
３ ネットワーク
１０ 表示部
２０ 画像生成部
２１，２１−１，２１−２ 撮影部
２２ 画像処理部
３０ 画像解析部
４０ 履歴情報記憶部
５０ 関連情報取得部
５１ キー生成部
５２ 関連情報検索部
６０ 情報記憶部
７０ 通信部
８０ 表示制御部
２１１ カーブミラー（第１の反射板）
２１２ ミラー（第２の反射板）
２１３ レンズ光学系
２１４ 撮像部
２３ 支持部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】