ホーム > 特許ランキング > コニカミノルタ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特許7115061表記変換装置、変換表示装置、変換表示システム、制御方法及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-01
(45)【発行日】2022-08-09
(54)【発明の名称】表記変換装置、変換表示装置、変換表示システム、制御方法及び記録媒体
(51)【国際特許分類】
G06F 3/048 20220101AFI20220802BHJP
G06F 3/0346 20130101ALI20220802BHJP
【ＦＩ】
G06F3/048
G06F3/0346 423
【請求項の数】
22
(21)【出願番号】P 2018120363
(22)【出願日】2018-06-26
(65)【公開番号】P2020003892
(43)【公開日】2020-01-09
【審査請求日】2021-05-19
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001900
【氏名又は名称】弁理士法人 ナカジマ知的財産綜合事務所
(72)【発明者】
【氏名】坂本 顕司
【審査官】三吉 翔子
(56)【参考文献】
【文献】国際公開第２０１０／０１８７７０（ＷＯ，Ａ１）
【文献】特表２０１７－５０２４３８（ＪＰ，Ａ）
【文献】特開２００６－３４４２４５（ＪＰ，Ａ）
【文献】特開２０１８－０４５４５９（ＪＰ，Ａ）
【文献】国際公開第２０１０／０２１２４０（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０４８
Ｇ０６Ｆ ３／０３４６
(57)【特許請求の範囲】
【請求項1】
表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置であって、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、
前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、
前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、
前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、
前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力手段と
を備え、
（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現である
ことを特徴とする表記変換装置。
【請求項2】
表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置であって、
前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、
前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、
前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、
前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、
前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力手段と
を備え、
前記決定手段により、決定される親和性のある表記法とは、利用者毎に馴染みのある表記法として予め登録されている表記法である
ことを特徴とする表記変換装置。
【請求項3】
前記決定手段は、前記複数の利用者に親和性のある表記法が複数存在する場合、前記複数の利用者のうち、最も多くの利用者に親和性のある一つの表記法を、前記第二表記法として決定することを特徴とする請求項１に記載の表記変換装置。
【請求項4】
表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置であって、
前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、
前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、
前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、
前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、
前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力手段と
を備え、
前記決定手段により、前記複数の利用者に親和性のある複数の表記法が、前記第二表記法として決定された場合、前記表記変換手段は、前記第一データを、それぞれ、決定された複数の表記法により変換する
ことを特徴とする表記変換装置。
【請求項5】
前記第二表示領域は、前記複数の表記法により、それぞれ、変換された前記第一データを表示する複数の部分領域に区分され、前記生成手段は、さらに、前記複数の部分領域を示す部分領域情報を生成し、
前記出力手段は、さらに、前記部分領域情報を出力する
ことを特徴とする請求項４に記載の表記変換装置。
【請求項6】
前記出力手段は、前記第二表示領域に、複数の前記変換された第一データの各々を、切り換えて表示させるため、複数の前記変換された第一データを、順次、出力することを特徴とする請求項４に記載の表記変換装置。
【請求項7】
前記生成手段は、前記第一表示領域の位置を示す前記位置情報を生成し、前記出力手段は、前記第二表示領域として、前記第一表示領域に前記第二データを表示させるため、前記位置情報を出力する
ことを特徴とする請求項１に記載の表記変換装置。
【請求項8】
さらに、前記第一表示領域の周辺の領域に、前記第二データのサイズより大きく、データが表示されていない空白領域が存在するか否かを判断する空白判断手段を備え、空白領域が存在すると判断される場合に、前記生成手段は、当該空白領域内において、前記第二表示領域の位置を示す前記位置情報を生成する
ことを特徴とする請求項１に記載の表記変換装置。
【請求項9】
前記視点判断手段は、さらに、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、第三表示領域内に存する前記視点の数が、所定数以上であるか否かを判断し、前記生成手段は、さらに、所定数以上である場合、前記第三表示領域を拡大した拡大領域の範囲を示す拡大範囲情報を生成し、
前記出力手段は、さらに、前記第三表示領域を拡大して表示するため、前記拡大範囲情報を前記表示装置に対して出力する
ことを特徴とする請求項１に記載の表記変換装置。
【請求項10】
前記表示面上において、前記第一表示領域から所定距離内に前記第二表示領域が存し、前記第一表示領域に接して前記第二表示領域が存し、前記第一表示領域に重複して前記第二表示領域が存し、又は、前記第一表示領域に包含されて前記第二表示領域が存することを特徴とする請求項１に記載の表記変換装置。
【請求項11】
前記生成手段は、さらに、前記第一表示領域内における表示色又は表示パターンと、前記第二表示領域内における表示色又は表示パターンとを示す同一の色パターン情報を生成し、
前記出力手段は、さらに、前記表示色又は前記表示パターンを用いて表示させるため、前記色パターン情報を前記表示装置に対して出力する
ことを特徴とする請求項１に記載の表記変換装置。
【請求項12】
さらに、前記表示面を注視する利用者の前記表示面における視点を検出する検出手段を備えることを特徴とする請求項１に記載の表記変換装置。
【請求項13】
前記検出手段は、前記利用者を被写体とする画像データを取得するカメラと、
前記画像データから前記利用者の立ち位置と前記利用者の視線方向とを抽出し、抽出した前記立ち位置と前記視線方向に基づいて、前記表示面に注視する前記利用者の当該表示面における視点を算出する算出部とを備える
ことを特徴とする請求項１２に記載の表記変換装置。
【請求項14】
前記表示装置は、矩形状の前記表示面を上方に向けた姿勢で設けられ、前記利用者は、前記表示装置の周囲に立ち、
前記生成手段は、さらに、前記第二データを構成する文字が、前記利用者の立ち位置から、正立して見えるように、前記第二データを回転させて配した画像データを生成し、
前記出力手段は、前記第二データとして、前記画像データを出力し、
前記表示装置は、前記第二表示領域に前記画像データを表示する
ことを特徴とする請求項１に記載の表記変換装置。
【請求項15】
表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置であって、
前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、
前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、
前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、
前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、
前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力手段と、
前記複数の利用者について、各々の利用者に親和性のある表記法を示す表記法情報を記憶している記憶手段とを備え、
前記決定手段は、前記記憶手段から前記表記法情報を取得し、取得した前記表記法情報により示される表記法を用いて、前記複数の利用者に親和性のある表記法を決定する
ことを特徴とする表記変換装置。
【請求項16】
前記視点判断手段は、利用者の顔面に装着され、カメラと算出部とを備えた当該表記変換装置外部の眼鏡から前記視点を取得し、前記カメラは、利用者の視線方向を撮影して画像データを生成し、
前記算出部は、前記画像データの中央部に写るオブジェクトの位置を視点として算出する
ことを特徴とする請求項１に記載の表記変換装置。
【請求項17】
前記視点判断手段は、利用者の顔面に装着され、カメラを備えた眼鏡型の前記表示装置から前記視点を取得し、前記表示装置は、前記カメラにより、利用者の視線方向を撮影して画像データを生成し、生成した前記画像データの中央部に写るオブジェクトの位置を視点として算出する
ことを特徴とする請求項１に記載の表記変換装置。
【請求項18】
表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換して表示する変換表示装置であって、前記第一表示領域に前記第一データを表示する表示手段と、
前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点を取得する視点取得手段と、
取得した前記視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する判断手段と、
前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、
前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、
前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、
前記第二データ及び前記位置情報を前記表示手段に対して出力する出力手段とを備え、
前記表示手段は、前記第二データ及び前記位置情報を受信し、前記第二表示領域に、前記第二データを表示し、
（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現である
ことを特徴とする変換表示装置。
【請求項19】
表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換して表示する変換表示システムであって、表記変換装置、表示装置及び検出装置を備え、
前記検出装置は、利用者の顔面に装着され、カメラと算出部とを備えた眼鏡であり、
前記カメラは、利用者の視線方向を撮影して画像データを取得し、
前記算出部は、前記画像データの中央部に写るオブジェクトの位置を視点として算出し、
前記表記変換装置は、
前記検出装置から取得し、前記表示面を注視する複数の利用者の当該表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、
前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、
前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、
前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、
前記第二データ及び前記位置情報を前記表示装置に対して出力する出力手段とを備え、
前記表示装置は、前記表示面を有し、前記表示面の前記第一表示領域に前記第一データを表示し、前記第二データ及び前記位置情報を受信し、前記第二表示領域に、前記第二データを表示し、
（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現である
ことを特徴とする変換表示システム。
【請求項20】
表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換して表示する変換表示システムであって、表記変換装置、掲示板及び検出表示装置を備え、
前記掲示板は、前記表示面を有し、
前記検出表示装置は、利用者の顔面に装着され、カメラを備えたメガネ型の表示装置であって、前記カメラにより、利用者の視線方向を撮影して画像データを取得し、取得した前記画像データの中央部に写るオブジェクトの位置を視点として算出し、前記画像データを表示し、
前記表記変換装置は、
前記検出表示装置から取得し、前記表示面に注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、
前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、
前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、
前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、
前記第二データ及び前記位置情報を前記検出表示装置に対して出力する出力手段とを備え、
前記検出表示装置は、前記第二データ及び前記位置情報を受信し、前記位置情報により示される前記第二表示領域に、前記第二データを表示し、
（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現である
ことを特徴とする変換表示システム。
【請求項21】
表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置において用いられる制御方法であって、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断ステップと、
前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定ステップと、
前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換ステップと、
前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成ステップと、
前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力ステップとを含み、
（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現である
ことを特徴とする制御方法。
【請求項22】
表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置において用いられる制御用のコンピュータープログラムを記録しているコンピューター読み取り可能な記録媒体であって、コンピューターである前記表記変換装置に、
前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断ステップと、
前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定ステップと、
前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換ステップと、
前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成ステップと、
前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力ステップと
を実行させ、
（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現である
ことを特徴とするコンピュータープログラムを記録している記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、日本語、英語のような言語表記、標準語と方言のような方言表記、漢字、片仮名、平仮名のような文字表示を含む表記方法において好適に利用できる表記変換技術に関し、特に、一の表記法により表記されたデータを別の表記法による表記に変換する技術に関する。
【背景技術】
【0002】
プリンター、複写機、複合機等の画像形成装置においては、各種設定を受け付ける操作パネルが設けられている。特許文献１の画像形成装置は、携帯端末から近距離無線通信により、利用者の国籍が含まれる個人情報データを受信し、受信した国籍に基づいて利用者の公用語を判断し、表示言語を設定する。これにより、利用者は、当該利用者が理解できる言語を用いて表示される操作パネルにより、画像形成装置に対する操作を行うことができる。
【0003】
しかし、異なる言語を使用する複数の利用者が共同して当該画像形成装置を操作しようとする場合を想定すると、第一の利用者が使用する第一の言語により、操作パネルの表示言語が設定されているなら、第一の利用者は、操作パネルの表示内容を理解でき、当該画像形成装置の操作を行えるものの、第二の言語を使用する第二の利用者にとっては、第一の言語では操作パネルの表示内容を理解できず、当該画像形成装置の操作は困難となる。
【0004】
この問題を解決するため、特許文献２によると、透過性タイプの頭部装着型の映像表示装置を装着し、利用者は、映像表示装置越しに見える風景に重ねて、映像表示装置に表示された映像を視認することができる。利用者が、この映像表示装置越しに英語の文字列を見ると、その文字列が注目領域に特定され、映像表示装置は、利用者情報に基づいて翻訳先の言語を日本語に決定し、注目領域内の英語の文字列を自動的に日本語に翻訳し、翻訳前の視界内の注目領域の英語の文字列に重なるように、日本語の文字列を表示する。
【0005】
例えば、英語を理解する第一の利用者が頭部装着型の映像表示装置を通して、日本語文字列を見ると、当該映像表示装置に日本語文字列を英語に翻訳した文字列が表示される。同様に、スペイン語を理解する第二の利用者が同じ映像表示装置を通して、上記の日本語文字列を見ると、当該映像表示装置に日本語文字列をスペイン語に翻訳した文字列が表示される。このため、第一の利用者及び第二の利用者は、日本語が理解できない場合であっても、上記の日本語文字列の意味を知ることができる。
【0006】
このようにして、異なる言語を使用する複数の利用者が共同して装置を操作しようとする場合における上記特許文献１の問題を解決している。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１７－２１１８５３号公報
【文献】特開２０１４－９３０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、特許文献２により開示された技術によると、第一の利用者は、第二の利用者がどこに注目しているか分からないし、第二の利用者も、第一の利用者がどこに注目しているか分からない。このように、互いに相手の注目箇所が分からないので、複数の利用者が共同して作業する場合に、複数の利用者間の意思疎通を阻害する一要因となっている。
【0009】
なお、以上においては、日本語、英語、スペイン語のような言語表現における問題を指摘したが、標準語と方言のような表現、漢字、片仮名、平仮名のような表記等においても、同様の問題が存在する。
【0010】
本発明は、上記の点に鑑み、異なる表記法に親和性のある複数の利用者が共同して作業する場合に、利用者間の意思疎通を図ることができる表記変換装置、変換表示装置、変換表示システム、制御方法及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するため、本発明の一態様は、表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置であって、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力手段とを備え、（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現であることを特徴とする。
【0018】
また、本発明の一態様は、表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置であって、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力手段とを備え、前記決定手段により、決定される親和性のある表記法とは、利用者毎に馴染みのある表記法として予め登録されている表記法であることを特徴とする。
【0019】
ここで、前記決定手段は、前記複数の利用者に親和性のある表記法が複数存在する場合、前記複数の利用者のうち、最も多くの利用者に親和性のある一つの表記法を、前記第二表記法として決定する、としてもよい。
【0020】
また、本発明の一態様は、表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置であって、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力手段とを備え、前記決定手段により、前記複数の利用者に親和性のある複数の表記法が、前記第二表記法として決定された場合、前記表記変換手段は、前記第一データを、それぞれ、決定された複数の表記法により変換することを特徴とする。
【0021】
ここで、前記第二表示領域は、前記複数の表記法により、それぞれ、変換された前記第一データを表示する複数の部分領域に区分され、前記生成手段は、さらに、前記複数の部分領域を示す部分領域情報を生成し、前記出力手段は、さらに、前記部分領域情報を出力する、としてもよい。
【0022】
ここで、前記出力手段は、前記第二表示領域に、複数の前記変換された第一データの各々を、切り換えて表示させるため、複数の前記変換された第一データを、順次、出力する、としてもよい。
【0023】
ここで、前記生成手段は、前記第一表示領域の位置を示す前記位置情報を生成し、前記出力手段は、前記第二表示領域として、前記第一表示領域に前記第二データを表示させるため、前記位置情報を出力する、としてもよい。
【0024】
ここで、さらに、前記第一表示領域の周辺の領域に、前記第二データのサイズより大きく、データが表示されていない空白領域が存在するか否かを判断する空白判断手段を備え、空白領域が存在すると判断される場合に、前記生成手段は、当該空白領域内において、前記第二表示領域の位置を示す前記位置情報を生成する、としてもよい。
【0025】
ここで、前記視点判断手段は、さらに、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、第三表示領域内に存する前記視点の数が、所定数以上であるか否かを判断し、前記生成手段は、さらに、所定数以上である場合、前記第三表示領域を拡大した拡大領域の範囲を示す拡大範囲情報を生成し、前記出力手段は、さらに、前記第三表示領域を拡大して表示するため、前記拡大範囲情報を前記表示装置に対して出力する、としてもよい。
【0026】
ここで、前記表示面上において、前記第一表示領域から所定距離内に前記第二表示領域が存し、前記第一表示領域に接して前記第二表示領域が存し、前記第一表示領域に重複して前記第二表示領域が存し、又は、前記第一表示領域に包含されて前記第二表示領域が存する、としてもよい。
【0027】
ここで、前記生成手段は、さらに、前記第一表示領域内における表示色又は表示パターンと、前記第二表示領域内における表示色又は表示パターンとを示す同一の色パターン情報を生成し、前記出力手段は、さらに、前記表示色又は前記表示パターンを用いて表示させるため、前記色パターン情報を前記表示装置に対して出力する、としてもよい。
【0028】
ここで、さらに、前記表示面を注視する利用者の前記表示面における視点を検出する検出手段を備える、としてもよい。
【0029】
ここで、前記検出手段は、前記利用者を被写体とする画像データを取得するカメラと、前記画像データから前記利用者の立ち位置と前記利用者の視線方向とを抽出し、抽出した前記立ち位置と前記視線方向に基づいて、前記表示面に注視する前記利用者の当該表示面における視点を算出する算出部とを備える、としてもよい。
【0030】
ここで、前記表示装置は、矩形状の前記表示面を上方に向けた姿勢で設けられ、前記利用者は、前記表示装置の周囲に立ち、前記生成手段は、さらに、前記第二データを構成する文字が、前記利用者の立ち位置から、正立して見えるように、前記第二データを回転させて配した画像データを生成し、前記出力手段は、前記第二データとして、前記画像データを出力し、前記表示装置は、前記第二表示領域に前記画像データを表示する、としてもよい。
【0031】
また、本発明の一態様は、表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置であって、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力手段と、前記複数の利用者について、各々の利用者に親和性のある表記法を示す表記法情報を記憶している記憶手段とを備え、前記決定手段は、前記記憶手段から前記表記法情報を取得し、取得した前記表記法情報により示される表記法を用いて、前記複数の利用者に親和性のある表記法を決定することを特徴とする。
【0032】
ここで、前記視点判断手段は、利用者の顔面に装着され、カメラと算出部とを備えた当該表記変換装置外部の眼鏡から前記視点を取得し、前記カメラは、利用者の視線方向を撮影して画像データを生成し、前記算出部は、前記画像データの中央部に写るオブジェクトの位置を視点として算出する、としてもよい。
【0033】
ここで、前記視点判断手段は、利用者の顔面に装着され、カメラを備えた眼鏡型の前記表示装置から前記視点を取得し、前記表示装置は、前記カメラにより、利用者の視線方向を撮影して画像データを生成し、生成した前記画像データの中央部に写るオブジェクトの位置を視点として算出する、としてもよい。
【0034】
また、本発明の別の態様は、表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換して表示する変換表示装置であって、前記第一表示領域に前記第一データを表示する表示手段と、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点を取得する視点取得手段と、取得した前記視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する判断手段と、前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、前記第二データ及び前記位置情報を前記表示手段に対して出力する出力手段とを備え、前記表示手段は、前記第二データ及び前記位置情報を受信し、前記第二表示領域に、前記第二データを表示し、（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現であること特徴とする。
【0035】
また、本発明の別の態様は、表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換して表示する変換表示システムであって、表記変換装置、表示装置及び検出装置を備え、前記検出装置は、利用者の顔面に装着され、カメラと算出部とを備えた眼鏡であり、前記カメラは、利用者の視線方向を撮影して画像データを取得し、前記算出部は、前記画像データの中央部に写るオブジェクトの位置を視点として算出し、前記表記変換装置は、前記検出装置から取得し、前記表示面を注視する複数の利用者の当該表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、前記第二データ及び前記位置情報を前記表示装置に対して出力する出力手段とを備え、前記表示装置は、前記表示面を有し、前記表示面の前記第一表示領域に前記第一データを表示し、前記第二データ及び前記位置情報を受信し、前記第二表示領域に、前記第二データを表示し、（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現であることを特徴とする。
【0036】
また、本発明の別の態様は、表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換して表示する変換表示システムであって、表記変換装置、掲示板及び検出表示装置を備え、前記掲示板は、前記表示面を有し、前記検出表示装置は、利用者の顔面に装着され、カメラを備えたメガネ型の表示装置であって、前記カメラにより、利用者の視線方向を撮影して画像データを取得し、取得した前記画像データの中央部に写るオブジェクトの位置を視点として算出し、前記画像データを表示し、前記表記変換装置は、前記検出表示装置から取得し、前記表示面に注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断手段と、前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定手段と、前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換手段と、前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成手段と、前記第二データ及び前記位置情報を前記検出表示装置に対して出力する出力手段とを備え、前記検出表示装置は、前記第二データ及び前記位置情報を受信し、前記位置情報により示される前記第二表示領域に、前記第二データを表示し、（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現であることを特徴とする。
【0037】
また、本発明の別の態様は、表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置において用いられる制御方法であって、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断ステップと、前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定ステップと、前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換ステップと、前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成ステップと、前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力ステップとを含み、（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現であることを特徴とする。
【0038】
また、本発明の別の態様は、表示面上の第一表示領域に第一表記法により表記された第一データを第二表記法による表記に変換する表記変換装置において用いられる制御用のコンピュータープログラムを記録しているコンピューター読み取り可能な記録媒体であって、コンピューターである前記表記変換装置に、前記表示面を注視する複数の利用者の前記表示面におけるそれぞれの視点のうち、複数の視点が前記第一表示領域内に存するか否かを判断する視点判断ステップと、前記第一表示領域内に複数の視点が存する場合に限り、前記第一表記法を除き、前記第一表示領域に視線を注ぐ複数の利用者に親和性のある表記法を、第二表記法として決定する決定ステップと、前記第一表示領域に表記されている前記第一データを、前記第二表記法により表記された第二データに変換する表記変換ステップと、前記表示面上において、第二表示領域の位置を示す位置情報を生成する生成ステップと、前記第二表示領域に前記第二データを表示させるため、前記第二データ及び前記位置情報を、外部の表示装置に対して出力する出力ステップとを実行させるためのコンピュータープログラムを記録し、（ａ）前記第一表記法は、第一言語による表現であり、前記第二表記法は、第二言語による表現であり、（ｂ）前記第一表記法は、漢字による表現であり、前記第二表記法は、片仮名、平仮名又はローマ字による表現であり、（ｃ）前記第一表記法は、片仮名、平仮名又はローマ字による表現であり、前記第二表記法は、漢字による表現であり、（ｄ）前記第一表記法は、全国的に規範として用いられる標準語による表現であり、前記第二表記法は、地域によって異なる発達をした方言による表現であり、又は、（ｅ）前記第一表記法は、方言による表現であり、前記第二表記法は標準語による表現であることを特徴とする。
【発明の効果】
【0039】
上記の態様によると、第一表記法により第一データが表示されている第一表示領域に、複数の利用者の視点が存するときに限り、これらの視点に視線を注ぐ複数の利用者に親和性のある第二表記法（第一表記法を除く）により、第一データを変換して、第二表示領域に、第二データを表示する。
【0040】
このように第二表示領域に第二データが表示されることにより、複数の利用者が第一表示領域に注目していることがわかる。つまり、第一表示領域に注目している一人の利用者は、自分以外にも、第一表示領域に注目している利用者が存在し、その利用者が、自分と同様に、第一表示領域に表示されている第一データに関心を持っていることを知ることができる。その結果、複数の利用者の間で、意思疎通を図ることができる。また、第二表示領域には、第二データが表示されるので、第一表記法に親和性のない利用者であっても、第一表示領域に表示された第一データの意味を知ることができる。
【図面の簡単な説明】
【0041】
【図1】実施の形態の翻訳表示装置１の外観斜視図を示す。
【図2】翻訳表示装置１が備えるカメラ１２ａ～１２ｄのそれぞれの水平画角３２１～３２４を示す。
【図3】翻訳表示装置１の内部の構成を示すブロック図である。
【図4】表示データテーブル１７１のデータ構造の一例を示す。
【図5】翻訳表示装置１の表示部１０２に表示されるテキストデータとユーザーの立ち位置との関係を示す。
【図6】ユーザー属性テーブル１９１のデータ構造の一例及び顔画像データの一例を示す。
【図7】画像データの一例を示す。
【図8】オブジェクト情報テーブル１２１のデータ構造の一例及びオブジェクトデータの一例を示す。
【図9】パーツ情報テーブル１３１のデータ構造の一例及びパーツデータの一例を示す。
【図10】ユーザー位置テーブル１４１のデータ構造の一例を示す。
【図11】水平方向テーブル１５６のデータ構造の一例を示す。
【図12】視線情報テーブル１５１のデータ構造の一例を示す。
【図13】視点位置テーブル１６１のデータ構造の一例を示す。
【図14】表示領域テーブル１８１のデータ構造の一例を示す。
【図15】翻訳テキストデータテーブル２０１のデータ構造の一例を示す。
【図16】（ａ）三方向に向いたユーザーの頭部の概略図を示す。（ｂ）ユーザーの頭部の水平方向の向きを示す。（ｃ）鉛直方向に対して三つの傾きを有するユーザーの頭部の概略図を示す。（ｄ）ユーザーの頭部の鉛直方向からの傾きを示す。
【図17】翻訳表示装置１の表示部１０２に表示されるテキストデータ及び翻訳テキストデータの一例を示す。
【図18】（ａ）第一表示領域３５１ａと第二表示領域３５２ａとが接触している場合の一例を示す。（ｂ）第一表示領域３５１ｂから、所定距離内に、第二表示領域３５２ｂが存する場合の一例を示す。（ｃ）第一表示領域３５１ｃに重複して、第二表示領域３５２ｃが存する場合の一例を示す。（ｄ）第一表示領域３５１ｄに包含されて第二表示領域３５２ｄが存する場合の一例を示す。（ｅ）第一表示領域３５１ｅ内の背景に施されたハッチングパターンと、第二表示領域３５２ｅ内の背景に施されたハッチングパターンとが一致する場合の一例を示す。（ｆ）第一表示領域３５１ｆ内の背景に施されたドットパターンと、第二表示領域３５２ｆ内の背景に施されたドットパターンとが一致する場合の一例を示す。（ｇ）第一表示領域３５１ｇと、第二表示領域３５２ｇとが、線画像３５３によりリンクされている場合の一例を示す。（ｈ）第一表示領域３５１ｈの枠の表示パターンと、第二表示領域３５２ｈの枠の表示パターンとが一致する場合の一例を示す。
【図21】（ａ）変形例（１）としての翻訳表示装置１の表示部１０２に表示されるテキストデータとユーザーの立ち位置との関係を示す。（ｂ）翻訳表示装置１の表示部１０２に大きく表示されるテキストデータ及び翻訳テキストデータの一例を示す。
【図22】変形例（２）としての翻訳表示装置１の表示部１０２に表示されるテキストデータとユーザーの立ち位置との関係、及び、表示部１０２に表示されるテキストデータ及び翻訳テキストデータの一例を示す。
【図23】変形例（３）としての翻訳表示システム５０１の概略構成を示す。
【図24】（ａ）変形例（４）としての翻訳表示システム５３１の概略構成を示す。（ｂ）メガネ５３３の表示部５３３ｂに表示される画像の一例を示す。
【発明を実施するための形態】
【0042】
１ 実施の形態
本発明の一の実施の形態としての翻訳表示装置１について説明する。
本発明の一の実施の形態としての翻訳表示装置１について説明する。
【0043】
１．１ 翻訳表示装置１
図１は、翻訳表示装置１の外観斜視図を示す。
図１は、翻訳表示装置１の外観斜視図を示す。
【0044】
翻訳表示装置１は、この図に示すように、テーブル型の表示装置である。翻訳表示装置１の天板には、矩形の表示部１０２が組み込まれ、天板の４つの隅には、それぞれ、カメラ１２ａ、１２ｂ、１２ｃ及び１２ｄが設置されている。翻訳表示装置１の本体部は、脚部１１により支持されている。また、天板の四周辺には、等間隔で、例えば、５ｃｍ間隔で、目盛り１５ａ、１５ｂ、１５ｃ、１５ｄが付されている。
【0045】
表示部１０２は、矩形状の表示面を上方に向けた姿勢で設けられている。ユーザーは、表示部１０２を備えた翻訳表示装置１の周囲に立つ。
【0046】
本明細書において、矩形の表示部１０２の一頂点１０２ａに原点を設定し、矩形の表示部１０２の短辺１０２ｂ及び長辺１０２ｃに沿って、Ｘ軸及びＹ軸を設定し、鉛直方向にＺ軸を設定する。また、翻訳表示装置１が存在する空間を、Ｘ－Ｙ－Ｚ座標により特定し、表示部１０２の表示面をＸ－Ｙ座標により特定する。
【0047】
図２は、カメラ１２ａ～１２ｄのそれぞれの水平画角３２１～３２４を示す。
【0048】
カメラ１２ａは、その光軸が、水平面から略２２．５度上方、対角の隅側に向くように、設置されており、その撮影方向は、固定されている。カメラ１２ａの水平画角３２１は、例えば、略９０度であり、垂直画角は、例えば、略４５度である。カメラ１２ｂ、１２ｃ及び１２ｄについても、カメラ１２ａと同様である。
【0049】
図２に示すように、カメラ１２ａ～１２ｄによる撮影範囲は、翻訳表示装置１の周囲をほぼ覆い尽くしているので、カメラ１２ａ～１２ｄにより、翻訳表示装置１の周囲に立つユーザー、特に、そのユーザーの顔を撮影することができる。
【0050】
１．２ 翻訳表示装置１の内部の構成
図３は、翻訳表示装置１の内部の構成を示すブロック図である。
図３は、翻訳表示装置１の内部の構成を示すブロック図である。
【0051】
この図に示すように、翻訳表示装置１は、カメラ１２ａ～１２ｄ、主制御部１０１、表示部１０２、出力部１０３、記憶部１０４、入力部１０５ａ～１０５ｄ、顔認識処理部１０６、位置算出部１０７、視線視点算出部１０８、表示領域検出部１０９、表示制御部１１０、翻訳部１１１及び合成部２２９から構成されている。
【0052】
ここで、主制御部１０１、記憶部１０４の一部、表示制御部１１０及び翻訳部１１１は、表示面上の一の表示領域に第一言語（第一表記法）により表記されたデータを第二言語（第二表記法）による表記に翻訳（変換）する翻訳装置（表記変換装置）を構成している。ここで、第一表記法は、第一言語による表現であり、第二表記法は、第二言語による表現である。また、カメラ１２ａ～１２ｄ、主制御部１０１、記憶部１０４の一部、入力部１０５ａ～１０５ｄ、顔認識処理部１０６、位置算出部１０７、視線視点算出部１０８及び表示領域検出部１０９は、表示面を注視するユーザーの表示面における視点を検出する検出手段を構成している。カメラ１２ａ～１２ｄは、それぞれ、ユーザーを被写体とする画像データを取得する。顔認識処理部１０６、位置算出部１０７、視線視点算出部１０８及び表示領域検出部１０９は、画像データからユーザーの立ち位置とユーザーの視線方向とを抽出し、抽出した立ち位置と視線方向に基づいて、表示面に注視するユーザーの表示面における視点を算出する算出部を構成している。
【0053】
翻訳表示装置１は、制御用のコンピュータープログラムを記憶しているメモリ及びコンピュータープログラムに従って動作するプロセッサーを含んでいる。主制御部１０１、顔認識処理部１０６、位置算出部１０７、視線視点算出部１０８、表示領域検出部１０９、表示制御部１１０及び翻訳部１１１は、それぞれ、プロセッサーがコンピュータープログラムに従って動作することにより、その機能を果たす。
【0054】
（１）記憶部１０４
記憶部１０４は、例えば、ハードディスクから構成されている。
記憶部１０４は、例えば、ハードディスクから構成されている。
【0055】
記憶部１０４は、画像データ１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ、オブジェクト情報テーブル１２１、オブジェクトデータ１２８、・・・、パーツ情報テーブル１３１、パーツデータ１３７ａ、１３７ｂ、１３７ｃ、・・・、ユーザー位置テーブル１４１、視線情報テーブル１５１、水平方向テーブル１５６、視点位置テーブル１６１、表示データテーブル１７１、表示領域テーブル１８１、ユーザー属性テーブル１９１、顔画像データ１９７ａ、１９７ｂ、１９７ｃ、・・・、翻訳テキストデータテーブル２０１、辞書データベース２１１、表示画像データ（図５）、及び、その他のデータ（図示していない）を記憶するための領域を備えている。
【0056】
（表示データテーブル１７１）
図４は、表示データテーブル１７１のデータ構造の一例を示す。
図４は、表示データテーブル１７１のデータ構造の一例を示す。
【0057】
表示データテーブル１７１は、表示部１０２により表示されるテキストデータ（第一データ）を格納するためのデータテーブルである。表示データテーブル１７１は、この図に示すように、予め、複数の表示データ関連情報１７２を含んでいる。
【0058】
各表示データ関連情報１７２は、データＩＤ１７３、表示位置１７４、幅１７５、高さ１７６、テキストデータ１７７及び使用言語１７８を含んでいる。
【0059】
データＩＤ１７３は、表示データ関連情報１７２を識別するための識別子である。表示位置１７４は、テキストデータ１７７を表示する第一表示領域の左下点の表示部１０２における座標値（Ｘ座標、Ｙ座標）を示す。幅１７５及び高さ１７６は、それぞれ、テキストデータ１７７を表示する第一表示領域の幅及び高さを示す。テキストデータ１７７は、表示部１０２の第一表示領域に表示される内容を示す。ここでは、翻訳の容易性を考慮して、テキストデータである。使用言語１７８は、テキストデータ１７７の言語を示す。
【0060】
図５は、一例として、表示データテーブル１７１に基づいて、翻訳表示装置１の表示部１０２に表示される表示画像データを示す。
【0061】
第一表示領域３０１、３０２、３０３、３０４、・・・には、それぞれ、表示データテーブル１７１において、データＩＤ「Ｋ００１」、「Ｋ００２」、「Ｋ００３」、「Ｋ００４」、・・・により識別される表示データ関連情報内のテキストデータが表示される。
【0062】
（ユーザー属性テーブル１９１）
図６は、ユーザー属性テーブル１９１のデータ構造の一例を示す。
図６は、ユーザー属性テーブル１９１のデータ構造の一例を示す。
【0063】
ユーザー属性テーブル１９１は、各ユーザーの属性を保持するデータテーブルである。
【0064】
ユーザー属性テーブル１９１は、この図に示すように、予め、複数のユーザー属性情報１９２を含んでいる。
【0065】
各ユーザー属性情報１９２は、ユーザーＩＤ１９３、ユーザー名１９４、使用言語１９５及び顔画像ＩＤ１９６から構成されている。
【0066】
ユーザーＩＤ１９３は、ユーザーを識別する識別子である。ユーザー名１９４は、ユーザーを示す名称である。使用言語１９５（表記法情報）は、当該ユーザーが理解可能な言語である。ここで、理解可能とは、当該ユーザーがその言語の文字を読んで（見て）理解できることを言うが、さらに、聞いて理解し、話すことができ、書くことができることを言うとしてもよい。このように、使用言語１９５は、各々のユーザーに親和性のある言語（表記法）を示す。顔画像ＩＤ１９６は、当該ユーザーの顔画像を表す顔画像データを識別する識別子である。
【0067】
（顔画像データ）
記憶部１０４は、複数の顔画像データを記憶するための領域を備えている。
記憶部１０４は、複数の顔画像データを記憶するための領域を備えている。
【0068】
図６には、顔画像データの一例も示している。
【0069】
図６に示す顔画像データ１９７ａ、１９７ｂ、１９７ｃ、１９７ｄ、・・・は、それぞれ、図６のユーザー属性テーブル１９１のユーザーＩＤ「Ｕ００１」、「Ｕ００２」、「Ｕ００３」、「Ｕ００４」、・・・に対応している。
【0070】
顔画像データは、ユーザーを認識するために用いられるので、ユーザーの顔の正面から撮影した顔画像が好ましい。さらに、ユーザーの顔の左側から撮影した顔画像、及び、顔の右側から撮影した顔画像を含めるとしてもよい。
【0071】
（画像データ）
記憶部１０４は、画像データ１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ（図３）を記憶するための領域を備えている。
記憶部１０４は、画像データ１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ（図３）を記憶するための領域を備えている。
【0072】
画像データ１１１ａ、１１１ｂ、１１１ｃ、１１１ｄは、それぞれ、カメラ１２ａ、１２ｂ、１２ｃ、１２ｄによる撮影により、生成された多階調の画像データである。画像データには、複数の画素が行列状に配されている。
【0073】
図７は、画像データの一例として、カメラ１２ａによる撮影により、生成された画像データ１１１ａを示す。画像データ１１１ａには、翻訳表示装置１の周囲に立つ複数のユーザーの画像３４３ａ、３４３ｂ、３４３ｃ、３４３ｄ、及び、翻訳表示装置１の天板の一部の画像３４３ｅが含まれている。カメラ１２ａの撮影方向は、固定されているので、画像データ１１１ａには、常に、翻訳表示装置１の天板の同じ部分が写り込んでいる。また、画像３４３ｅには、天板の周辺に付された目盛り３４４ａ、３４４ｂ、３４４ｃが写り込んでいる。このため、画像３４３ｅ内の目盛り３４４ａ、３４４ｂ、３４４ｃと、画像３４３ａ、３４３ｂ、３４３ｃ、３４３ｄとの位置関係から、画像３４３ａ、３４３ｂ、３４３ｃ、３４３ｄが表すユーザーの立ち位置を知ることができる。
【0074】
図７に示す画像データ１１１ａには、画像３４３ａ、３４３ｂ、３４３ｃ、３４３ｄのうち、ユーザーのそれぞれの顔部分であるオブジェクトデータ３４２ａ、３４２ｂ、３４２ｃ、３４２ｄを示している。各オブジェクトデータの形状は、矩形である。
【0075】
カメラ１２ｂ、１２ｃ、１２ｄによる撮影により、生成された画像データ１１１ｂ、１１１ｃ、１１１ｄについても、画像データ１１１ａと同様である。
【0076】
なお、画像データ１１１ａ、１１１ｂ、１１１ｃ、１１１ｄは、それぞれ、静止画であるが、動画像であるとしてもよい。
【0077】
（オブジェクト情報テーブル１２１）
図８は、オブジェクト情報テーブル１２１のデータ構造の一例を示す。
図８は、オブジェクト情報テーブル１２１のデータ構造の一例を示す。
【0078】
オブジェクト情報テーブル１２１は、カメラ１２ａ～１２ｄによる撮影により生成された画像データに写り込んだユーザーの顔部分であるオブジェクトデータを示すオブジェクト情報を記憶するためのデータテーブルである。
【0079】
オブジェクト情報テーブル１２１は、この図に示すように、複数のオブジェクト情報１２２を記憶するための領域を備えている。オブジェクト情報１２２は、一つのオブジェクトデータに対応しており、各オブジェクト情報１２２は、カメラＩＤ１２３、画像ＩＤ１２４、オブジェクトＩＤ１２５、オブジェクト範囲１２６及びユーザーＩＤ１２７を含んでいる。
【0080】
カメラＩＤ１２３は、当該オブジェクトデータを含む画像データを生成したカメラを識別するための識別子である。画像ＩＤ１２４は、当該オブジェクトデータを含む画像データを識別するための識別子である。オブジェクトＩＤは、当該オブジェクトデータを識別するための識別子である。オブジェクト範囲１２６は、画像データ内において、矩形状の当該オブジェクトデータの左下点と右上点が存在する座標を示す。ユーザーＩＤは、当該オブジェクトデータとしてその顔が写り込んだユーザーを識別する識別子である。
【0081】
なお、異なるカメラが一人のユーザーを撮影することもありうるので、オブジェクト情報テーブル１２１には、同一のユーザーについて、複数のオブジェクト情報が含まれる場合がある。
【0082】
（オブジェクトデータ）
記憶部１０４は、複数のオブジェクトデータ１２８、・・・を記憶するための領域を備えている。
記憶部１０４は、複数のオブジェクトデータ１２８、・・・を記憶するための領域を備えている。
【0083】
記憶部１０４に記憶されているオブジェクトデータ１２８、・・・は、画像データから、ユーザーの顔部分の画像データが切り出されたものである。
【0084】
図８には、オブジェクトデータの一例も示している。
【0085】
【0086】
オブジェクトデータは、ユーザーの立ち位置及びユーザーの視線を検出するために用いられる。
【0087】
（パーツ情報テーブル１３１）
図９は、パーツ情報テーブル１３１のデータ構造の一例を示す。
図９は、パーツ情報テーブル１３１のデータ構造の一例を示す。
【0088】
パーツ情報テーブル１３１は、この図に示すように、複数のパーツ情報１３２を記憶するための領域を備えている。
【0089】
ここで、オブジェクト（顔）を構成する部分（左目、右目、口、鼻、左耳、右耳等）をパーツと呼び、画像データ内のユーザーの顔部分であるオブジェクトデータから、左目、右目、口、鼻、左耳、右耳等の部分画像であるパーツデータが切り出される。ここで、パーツデータの形状は、矩形である。
【0090】
パーツ情報１３２は、一つのパーツデータに対応しており、各パーツ情報１３２は、オブジェクトＩＤ１３３、パーツＩＤ１３４、パーツ範囲１３５及びパーツタイプ１３６を含んでいる。
【0091】
オブジェクトＩＤ１３３は、当該パーツデータが含まれるオブジェクトデータを識別する識別子である。パーツＩＤ１３４は、当該パーツデータを識別する識別子である。パーツ範囲１３５は、当該パーツデータが含まれるオブジェクトデータ内において、矩形状の当該パーツデータの左下点と右上点が存在する座標を示す。パーツタイプ１３６は、当該パーツデータの種類を示す。つまり、パーツタイプ１３６は、当該パーツデータが左目、右目、口、鼻、左耳、右耳のいずれであるかを示す。
【0092】
（パーツデータ）
記憶部１０４は、複数のパーツデータ１３７ａ、・・・を記憶するための領域を備えている。
記憶部１０４は、複数のパーツデータ１３７ａ、・・・を記憶するための領域を備えている。
【0093】
記憶部１０４に記憶されているパーツデータ１３７ａ、・・・は、ユーザーの顔部分のオブジェクトデータから、その部分であるパーツの画像データが切り出されたものである。
【0094】
図９には、パーツデータの一例も示している。
【0095】
【0096】
パーツデータは、ユーザーの視線を検出するために用いられる。
【0097】
（ユーザー位置テーブル１４１）
図１０は、ユーザー位置テーブル１４１のデータ構造の一例を示す。
図１０は、ユーザー位置テーブル１４１のデータ構造の一例を示す。
【0098】
ユーザー位置テーブル１４１は、翻訳表示装置１の周囲におけるユーザーの立ち位置を示すユーザー位置情報を記憶するためのデータテーブルである。
【0099】
ユーザー位置テーブル１４１は、この図に示すように、複数のユーザー位置情報１４２を記憶するための領域を備えている。ユーザー位置情報１４２は、一人のユーザーに対応している。
【0100】
各ユーザー位置情報１４２は、ユーザーＩＤ１４３及びユーザー位置１４４を含む。
【0101】
ユーザーＩＤ１４３は、当該ユーザーを識別するための識別子である。ユーザー位置１４４は、翻訳表示装置１の周囲に立つユーザーの顔の中心部分の位置（つまり、ユーザーの立ち位置）を、Ｘ－Ｙ－Ｚ座標で示す。
【0102】
（水平方向テーブル１５６）
図１１は、水平方向テーブル１５６のデータ構造の一例を示す。
図１１は、水平方向テーブル１５６のデータ構造の一例を示す。
【0103】
水平方向テーブル１５６は、ユーザーの顔の水平方向の向きを算出するために用いるデータテーブルである。
【0104】
水平方向テーブル１５６は、この図に示すように、予め、複数の水平方向情報１５７を記憶している。水平方向情報１５７は、ユーザーの顔の一つの水平方向の向きに対応している。
【0105】
各水平方向情報１５７は、比率１５８及び水平方向角度１５９を含む。
【0106】
比率１５８は、左側交差位置と右側交差位置との間における中央線の位置を比率（％）で示す。具体的には、比率「左０」は、中央線が左側交差位置に一致することを示す。比率「左２５」は、左側交差位置と右側交差位置との間において、中央線が左側交差位置から２５％の位置に存在することを示す。比率「５０」は、中央線が、左側交差位置と右側交差位置との中央の位置に存在することを示す。比率「右２５」は、左側交差位置と右側交差位置との間において、中央線が右側交差位置から２５％の位置に存在することを示す。比率「右０」は、中央線が右側交差位置に一致することを示す。
【0107】
ここで、中央線、左側交差位置及び右側交差位置について、図１６（ａ）を参照しながら、説明する。
【0108】
中央線３６４ａは、ユーザーの頭部３６３ａにおいて、左目と右目との中間点を頭部の上下方向に貫く直線である。左側交差位置３６７は、両目を結ぶ線３６９と左側輪郭線３６６ａが交差する位置であり、右側交差位置３６８は、両目を結ぶ線３６９と右側輪郭線３６５ａが交差する位置である。なお、左側輪郭線３６６ａは、頭部３６３ａの左側の輪郭線を示し、右側輪郭線３６５ａは、頭部３６３ａの右側の輪郭線を示す。
【0109】
ここで、中央線と左側交差位置との距離を左距離と呼び、中央線と右側交差位置との距離を右距離と呼ぶ。
【0110】
水平方向角度は、ユーザーの顔の水平方向の向きを角度（度）で示す。
【0111】
例えば、図１１に示す水平方向テーブル１５６において、比率「左０」と水平方向角度「左９０」とが対応している。比率「左０」の場合、ユーザーの顔は、正面から、９０度だけ、左側を向いていることを示す。
【0112】
また、比率「左２５」と水平方向角度「左４５」とが対応している。ここで、比率「左２５」の場合、ユーザーの顔は、正面から、４５度だけ、左側を向いていることを示す。
【0113】
さらに、比率「５０」と水平方向角度「０」とが対応している。ここで、比率「５０」の場合、ユーザーの顔は、正面を向いていることを示す。
【0114】
その他の場合についても、同様である。
【0115】
（視線情報テーブル１５１）
図１２は、視線情報テーブル１５１のデータ構造の一例を示す。
図１２は、視線情報テーブル１５１のデータ構造の一例を示す。
【0116】
視線情報テーブル１５１は、ユーザーの視線を示す視線情報を記憶するためのデータテーブルである。
【0117】
視線情報テーブル１５１は、この図に示すように、複数の視線情報１５２を記憶するための領域を備えている。視線情報１５２は、一人のユーザーの視線に対応している。
【0118】
各視線情報１５２は、ユーザーＩＤ１５３、ユーザー位置１５４及び方向情報１５５を含む。
【0119】
ユーザーＩＤ１５３は、当該ユーザーを識別するための識別子である。ユーザー位置１４４は、翻訳表示装置１の周囲に立つユーザーの顔の中心部分の位置を、Ｘ－Ｙ－Ｚ座標で示す。方向情報１５５は、ユーザーの視線の向く方向を、ユーザー位置１４４からのベクトル（Ｘ、Ｙ、Ｚ）により、示す。
【0120】
（視点位置テーブル１６１）
図１３は、視点位置テーブル１６１のデータ構造の一例を示す。
図１３は、視点位置テーブル１６１のデータ構造の一例を示す。
【0121】
視点位置テーブル１６１は、表示部１０２の表示面における、ユーザーの視点を示す視点位置情報を記憶するためのデータテーブルである。
【0122】
視点位置テーブル１６１は、この図に示すように、複数の視点位置情報１６２を記憶するための領域を備えている。視点位置情報１６２は、一人のユーザーの視点に対応している。
【0123】
各視点位置情報１６２は、ユーザーＩＤ１６３及び視点位置１６４を含む。
【0124】
ユーザーＩＤ１６３は、当該ユーザーを識別するための識別子である。視点位置１６４は、表示部１０２の表示面における、ユーザーの視点の位置を、Ｘ－Ｙ座標で示す。
【0125】
（表示領域テーブル１８１）
図１４は、表示領域テーブル１８１のデータ構造の一例を示す。
図１４は、表示領域テーブル１８１のデータ構造の一例を示す。
【0126】
表示領域テーブル１８１は、表示部１０２により表示される各第一表示領域に注目しているユーザーを示す表示領域情報を記憶するためのデータテーブルである。
【0127】
表示領域テーブル１８１は、この図に示すように、複数の表示領域情報１８２を記憶するための領域を備えている。表示領域情報１８２は、一つのテキストデータに対応している。
【0128】
各表示領域情報１８２がデータＩＤ１８３のみを含む場合と、各表示領域情報１８２がデータＩＤ１８３及び一つ以上のユーザーＩＤ１８４を含む場合とがある。
【0129】
データＩＤ１８３は、表示部１０２により表示されるテキストデータを識別するための識別子である。ユーザーＩＤ１８４は、ユーザーを識別する識別子である。
【0130】
表示領域情報１８２がデータＩＤ１８３のみを含む場合、データＩＤ１８３により示されるテキストデータが表示される第一表示領域に注目しているユーザーが存在しないことを示す。また、表示領域情報１８２がデータＩＤ１８３及び一つのユーザーＩＤ１８４を含む場合、データＩＤ１８３により示されるテキストデータが表示される第一表示領域に、一人のユーザーが注目していることを示す。さらに、表示領域情報１８２がデータＩＤ１８３及び複数のユーザーＩＤ１８４を含む場合、データＩＤ１８３により示されるテキストデータが表示される第一表示領域に、複数のユーザーが注目していることを示す。
【0131】
（翻訳テキストデータテーブル２０１）
図１５は、翻訳テキストデータテーブル２０１のデータ構造の一例を示す。
図１５は、翻訳テキストデータテーブル２０１のデータ構造の一例を示す。
【0132】
翻訳テキストデータテーブル２０１は、翻訳されたテキスト（翻訳テキストデータ、第二データ）を示す翻訳情報を記憶するためのデータテーブルである。
【0133】
翻訳テキストデータテーブル２０１は、この図に示すように、複数の翻訳情報２０２を記憶するための領域を備えている。翻訳情報２０２は、一つのテキストデータに対応している。
【0134】
各翻訳情報２０２は、データＩＤ２０３、翻訳テキスト２０４及び使用言語２０５を含む。
【0135】
データＩＤ２０３は、表示部１０２により表示されるテキストデータを識別するための識別子である。翻訳テキスト２０４は、表示データテーブル１７１において、データＩＤ２０３により識別されるテキストデータを翻訳した結果の文字列である。使用言語２０５は、翻訳の際に用いられた言語を示す。
【0136】
（辞書データベース２１１）
辞書データベース２１１は、翻訳部１１１により用いられ、複数の言語について、第一言語の用語と第二言語の用語との対応関係を記憶しているデータベースである。
辞書データベース２１１は、翻訳部１１１により用いられ、複数の言語について、第一言語の用語と第二言語の用語との対応関係を記憶しているデータベースである。
【0137】
（２）カメラ１２ａ～１２ｄ及び入力部１０５ａ～１０５ｄ
カメラ１２ａは、対象を撮影して、画像データを生成し、生成した画像データを入力部１０５ａに対して出力する。入力部１０５ａは、カメラ１２ａから画像データを受信し、受信した画像データを画像データ１１１ａとして、カメラ１２ａを識別するカメラＩＤとともに、記憶部１０４に、書き込む。
カメラ１２ａは、対象を撮影して、画像データを生成し、生成した画像データを入力部１０５ａに対して出力する。入力部１０５ａは、カメラ１２ａから画像データを受信し、受信した画像データを画像データ１１１ａとして、カメラ１２ａを識別するカメラＩＤとともに、記憶部１０４に、書き込む。
【0138】
カメラ１２ｂ～１２ｄ及び入力部１０５ｂ～１０５ｄについても、カメラ１２ａ及び入力部１０５ａと同様であり、カメラ１２ｂ～１２ｄは、それぞれ、撮影により画像データを生成し、入力部１０５ｂ～１０５ｄは、画像データを記憶部１０４に、カメラＩＤとともに、画像データ１１１ｂ～１１１ｄとして、書き込む。
【0139】
（３）顔認識処理部１０６
顔認識処理部１０６は、記憶部１０４から、カメラＩＤとともに、各々の画像データを読み出し、読み出した画像データから、ユーザーの顔部分であるオブジェクトデータを切り出す。オブジェクトデータの切り出しは、例えば、画像データにおいて、目、鼻、口、耳のセットを認識することにより、行う。また、顔認識処理部１０６は、目、鼻、口、耳も、パーツデータとして、切り出す。さらに、顔認識処理部１０６は、パーツデータ毎に、当該パーツデータが目、鼻、口、耳のいずれであるかを判断して、そのパーツタイプを特定する。
顔認識処理部１０６は、記憶部１０４から、カメラＩＤとともに、各々の画像データを読み出し、読み出した画像データから、ユーザーの顔部分であるオブジェクトデータを切り出す。オブジェクトデータの切り出しは、例えば、画像データにおいて、目、鼻、口、耳のセットを認識することにより、行う。また、顔認識処理部１０６は、目、鼻、口、耳も、パーツデータとして、切り出す。さらに、顔認識処理部１０６は、パーツデータ毎に、当該パーツデータが目、鼻、口、耳のいずれであるかを判断して、そのパーツタイプを特定する。
【0140】
顔認識処理部１０６は、各画像データから、切り出したオブジェクトデータ、及び、パーツデータを、記憶部１０４に書き込む。
【0141】
また、顔認識処理部１０６は、切り出したオブジェクトデータを識別するオブジェクトＩＤを生成し、切り出したオブジェクトデータの範囲を示すオブジェクト範囲を生成する。次に、顔認識処理部１０６は、カメラＩＤ、画像ＩＤ、オブジェクトＩＤ及びオブジェクト範囲からなるオブジェクト情報を、オブジェクト情報テーブル１２１に書き込む。
【0142】
また、顔認識処理部１０６は、切り出したオブジェクトデータの特徴部分が、記憶部１０４に予め記憶されている顔画像データ１９７ａ、１９７ｂ、１９７ｃ、・・・のいずれかの特徴部分と一致するか否かを判断する。いずれかの顔画像データの特徴部分と一致する場合には、その顔画像データを識別する顔画像ＩＤに対応するユーザーＩＤを、ユーザー属性テーブル１９１から抽出する。顔認識処理部１０６は、抽出したユーザーＩＤを、オブジェクト情報テーブル１２１に書き込む。切り出したオブジェクトデータの特徴部分が、いずれの顔画像データの特徴部分とも一致しないする場合には、オブジェクト情報テーブル１２１には、ユーザーＩＤは、書き込まれない。
【0143】
また、顔認識処理部１０６は、オブジェクトデータから切り出したパーツデータ毎に、パーツデータを識別するパーツＩＤを生成し、切り出したパーツデータの範囲を示すパーツを生成する。次に、顔認識処理部１０６は、パーツデータ毎に、オブジェクトＩＤ、パーツＩＤ、パーツ範囲及びパーツタイプからなるパーツ情報を、パーツ情報テーブル１３１に書き込む。
【0144】
（４）位置算出部１０７
位置算出部１０７は、オブジェクト情報テーブル１２１から、オブジェクト情報毎に、オブジェクト範囲を抽出し、抽出したオブジェクト範囲と、画像データに含まれ、翻訳表示装置１の天板の周辺に付された目盛りの位置とを比較して、ユーザーの立ち位置を示すユーザー位置を、Ｘ－Ｙ－Ｚ座標で、算出する。なお、上記の通り、ユーザーの立ち位置とは、翻訳表示装置１の周囲に立つ当該ユーザーの顔の中心部分の位置を示す。位置算出部１０７は、ユーザーを識別するユーザーＩＤと、算出したユーザー位置とからなるユーザー位置情報を、ユーザー位置テーブル１４１に書き込む。
位置算出部１０７は、オブジェクト情報テーブル１２１から、オブジェクト情報毎に、オブジェクト範囲を抽出し、抽出したオブジェクト範囲と、画像データに含まれ、翻訳表示装置１の天板の周辺に付された目盛りの位置とを比較して、ユーザーの立ち位置を示すユーザー位置を、Ｘ－Ｙ－Ｚ座標で、算出する。なお、上記の通り、ユーザーの立ち位置とは、翻訳表示装置１の周囲に立つ当該ユーザーの顔の中心部分の位置を示す。位置算出部１０７は、ユーザーを識別するユーザーＩＤと、算出したユーザー位置とからなるユーザー位置情報を、ユーザー位置テーブル１４１に書き込む。
【0145】
（５）視線視点算出部１０８
（ユーザーの顔の水平方向の向きの算出）
視線視点算出部１０８は、次のようにして、ユーザー毎に、ユーザーの顔の水平方向の向きを算出する。
（ユーザーの顔の水平方向の向きの算出）
視線視点算出部１０８は、次のようにして、ユーザー毎に、ユーザーの顔の水平方向の向きを算出する。
【0146】
図１６（ａ）には、三方向に向いたユーザーの頭部の概略図を示す。つまり、左側を向くユーザーの頭部３６３ａ、正面を向くユーザーの頭部３６３ｂ、及び、右側を向くユーザーの頭部３６３ｃを示している。
【0147】
左側を向く頭部３６３ａにおいて、左目と右目との中間点を頭部３６３ａの上下方向に貫く直線である中央線３６４ａを設定し、頭部３６３ａの左側の輪郭を示す左側輪郭線３６６ａを設定し、頭部３６３ａの右側の輪郭を示す右側輪郭線３６５ａを設定すると、中央線３６４ａは、右側輪郭線３６５ａよりも、左側輪郭線３６６ａに近い位置に存在する。
【0148】
また、正面を向く頭部３６３ｂにおいて、頭部３６３ａと同様に、中央線３６４ｂ、左側輪郭線３６６ｂ、及び、右側輪郭線３６５ｂを設定すると、中央線３６４ｂは、右側輪郭線３６５ｂと左側輪郭線３６６ｂの略中央の位置に存在する。
【0149】
右側を向く頭部３６３ｃにおいて、頭部３６３ａと同様に、中央線３６４ｃ、左側輪郭線３６６ｃ、及び、右側輪郭線３６５ｃを設定すると、中央線３６４ｃは、左側輪郭線３６６ｃよりも、右側輪郭線３６５ｃに近い位置に存在する。
【0150】
このように、視線視点算出部１０８は、頭部の中央線が、左側輪郭線に近い側に存在するか、又は、右側輪郭線に近い側に存在するかを判断することにより、具体的には、水平方向テーブル１５６を用いて、ユーザーの顔の水平方向の向きを推定することができる。
【0151】
翻訳表示装置１の天板の４つの隅には、それぞれ、カメラ１２ａ、１２ｂ、１２ｃ及び１２ｄが設置されているので、いずれかのカメラがユーザーの頭部（特に、左目、右目、鼻、口等を含む顔部）を撮影することができる。その結果、図１６（ｂ）に示すように、ユーザーの頭部３６１ａ、３６１ｂ、３６１ｃが向いている水平方向の向き３６２ａ、３６２ｂ、３６２ｃを推定することができる。
【0152】
視線視点算出部１０８は、オブジェクト情報テーブル１２１に記憶されている各オブジェクトＩＤについて、記憶部１０４から一つのオブジェクトＩＤにより識別されるオブジェクトデータ読み出す。また、視線視点算出部１０８は、当該オブジェクトＩＤについて、パーツ情報テーブル１３１から、左目のパーツ情報内のパーツＩＤ及びパーツ範囲、並びに、右目のパーツ情報内のパーツＩＤ及びパーツ範囲を抽出し、抽出した左目のパーツＩＤ及び右目のパーツＩＤによりそれぞれ識別されるパーツデータを記憶部１０４から読み出す。
【0153】
次に、視線視点算出部１０８は、左目のパーツデータ及びパーツ範囲、右目のパーツデータ及びパーツ範囲、並びに、オブジェクトデータを用いて、中央線を算出する。また、視線視点算出部１０８は、オブジェクトデータを用いて、左側輪郭線及び右側輪郭線を算出する。次に、視線視点算出部１０８は、オブジェクトデータを用いて、中央線と左側輪郭線の左距離と、中央線と右側輪郭線との右距離との比率を算出する。例えば、中央線が、左側輪郭線と右側輪郭線との中央に存在する場合には、比率は、５０％である。中央線が、左側輪郭線と一致する場合には、比率は、左０％である。中央線が、右側輪郭線と一致する場合には、比率は、右０％である。中央線と左側輪郭線の左距離と、中央線と右側輪郭線との右距離との比率が１：３である場合、比率は、左２５％である。中央線と左側輪郭線の左距離と、中央線と右側輪郭線との右距離との比率が３：１である場合、比率は、右２５％である。
【0154】
次に、視線視点算出部１０８は、水平方向テーブル１５６から、算出した比率に対応する水平方向角度を抽出する。算出した比率に対応する水平方向角度が水平方向テーブル１５６に存在しない場合には、直線補間法を用いる。
【0155】
このようにして、ユーザーの顔が向いている水平方向の向きを算出する。
【0156】
（ユーザーの顔の鉛直方向からの傾きの算出）
視線視点算出部１０８は、次のようにして、ユーザー毎に、ユーザーの顔（頭部）の鉛直方向からの傾きを算出する。
視線視点算出部１０８は、次のようにして、ユーザー毎に、ユーザーの顔（頭部）の鉛直方向からの傾きを算出する。
【0157】
図１６（ｃ）には、鉛直方向に対して傾きのないユーザーの顔３７５ａ、鉛直方向に対してやや傾いたユーザーの顔３７５ｂ、及び、鉛直方向に対してさらに傾いたユーザーの顔３７５ｃを示す。
【0158】
鉛直方向に対して傾きのないユーザーの顔３７５ａでは、中央線３７４ａは、ほぼ鉛直方向を維持している。また、鉛直方向に対してやや傾いたユーザーの顔３７５ｂでは、中央線３７４ｂは、鉛直方向からやや傾いている。また、鉛直方向に対してさらに傾いたユーザーの顔３７５ｃでは、中央線３７４ｃは、鉛直方向からさらに傾いている。
【0159】
従って、ユーザーの頭部の中央線を用いれば、ユーザーの顔の鉛直方向からの傾きを知ることができる。つまり、図１６（ｄ）に示すように、ユーザーの顔３７１ａ、３７１ｂの中央線３７２ａ、３７２ｂの鉛直方向からの傾きから、視線方向３７３ａ、３７３ｂを知ることができる。
【0160】
ユーザーの顔の水平方向の向きを算出する場合と同様に、視線視点算出部１０８は、左目のパーツデータ及びパーツ範囲、右目のパーツデータ及びパーツ範囲、並びに、オブジェクトデータを用いて、中央線を算出する。
【0161】
次に、視線視点算出部１０８は、算出した中央線を基にして、中央線に鉛直をなす方向を算出し、これをユーザーの顔の鉛直方向からの傾きとする。
【0162】
（視線情報の生成）
視線視点算出部１０８は、ユーザー毎に、算出したユーザーの顔の水平方向の向きと、ユーザーの顔の鉛直方向からの傾きを合成して、ユーザーの視線が向く方向情報（Ｘ、Ｙ、Ｚ）を算出する。
視線視点算出部１０８は、ユーザー毎に、算出したユーザーの顔の水平方向の向きと、ユーザーの顔の鉛直方向からの傾きを合成して、ユーザーの視線が向く方向情報（Ｘ、Ｙ、Ｚ）を算出する。
【0163】
次に、視線視点算出部１０８は、ユーザー毎に、ユーザーを識別するユーザーＩＤ、ユーザー位置テーブル１４１に書き込まれたユーザー位置情報、及び、ユーザーの視線が向く方向情報からなる視線情報を、視線情報テーブル１５１に書き込む。
【0164】
（視点情報の生成）
視線視点算出部１０８は、視線情報テーブル１５１から、順に、視線情報を全て読み出す。視線視点算出部１０８は、読み出した視線情報に含まれるユーザー位置により示される位置を起点として、読み出した視線情報に含まれる方向情報が示す方向に、直線を延長し、延長した直線が表示部１０２の表示面と交差する点を、ユーザーの視点位置として算出する。視線視点算出部１０８は、ユーザーを識別するユーザーＩＤと視点位置とからなる視点位置情報を視点位置テーブル１６１に書き込む。
視線視点算出部１０８は、視線情報テーブル１５１から、順に、視線情報を全て読み出す。視線視点算出部１０８は、読み出した視線情報に含まれるユーザー位置により示される位置を起点として、読み出した視線情報に含まれる方向情報が示す方向に、直線を延長し、延長した直線が表示部１０２の表示面と交差する点を、ユーザーの視点位置として算出する。視線視点算出部１０８は、ユーザーを識別するユーザーＩＤと視点位置とからなる視点位置情報を視点位置テーブル１６１に書き込む。
【0165】
（６）表示領域検出部１０９
表示領域検出部１０９は、表示データテーブル１７１から、順に、表示データ関連情報を全て読み出し、読み出した表示データ関連情報内のデータＩＤを含む表示領域情報を、表示領域テーブル１８１に書き込む。この結果、表示領域テーブル１８１は、表示データテーブル１７１に含まれる表示データ関連情報と同じ数の表示領域情報を含むこととなる。
表示領域検出部１０９は、表示データテーブル１７１から、順に、表示データ関連情報を全て読み出し、読み出した表示データ関連情報内のデータＩＤを含む表示領域情報を、表示領域テーブル１８１に書き込む。この結果、表示領域テーブル１８１は、表示データテーブル１７１に含まれる表示データ関連情報と同じ数の表示領域情報を含むこととなる。
【0166】
次に、表示領域検出部１０９は、視点位置テーブル１６１から、順に、視点位置情報を全て読み出す。視点位置情報を読み出す毎に、表示領域検出部１０９は、読み出した視点位置情報に含まれる視点位置が、表示データテーブル１７１内の、どの表示データ関連情報により示される表示位置、幅、高さにより示される第一表示領域内に、存在するかを判断する。視点位置が第一表示領域内に存在する場合、表示領域テーブル１８１において、同じデータＩＤを含む表示領域情報内に、視点位置に対応するユーザーＩＤを書き込む。視点位置が第一表示領域内に存在しない場合、ユーザーＩＤの書き込みを行わない。
【0167】
こうして、第一表示領域毎に、その第一表示領域に注目するユーザーのユーザーＩＤをまとめることができる。
【0168】
（７）表示制御部１１０
表示制御部１１０は、表示データテーブル１７１から、全ての表示データ関連情報を読み出す。読み出した表示データ関連情報毎に、当該表示データ関連情報に含まれる表示位置、幅及び高さにより示される第一表示領域に、当該表示データ関連情報に含まれるテキストデータを表示した表示画像データを生成する。ここで、当該表示データ関連情報に含まれる使用言語、つまり、表示されるテキストデータの元になる言語を第一言語（第一表記法）と呼ぶ。次に、表示制御部１１０は、生成した表示画像データを合成部２２９に対して、出力する。
表示制御部１１０は、表示データテーブル１７１から、全ての表示データ関連情報を読み出す。読み出した表示データ関連情報毎に、当該表示データ関連情報に含まれる表示位置、幅及び高さにより示される第一表示領域に、当該表示データ関連情報に含まれるテキストデータを表示した表示画像データを生成する。ここで、当該表示データ関連情報に含まれる使用言語、つまり、表示されるテキストデータの元になる言語を第一言語（第一表記法）と呼ぶ。次に、表示制御部１１０は、生成した表示画像データを合成部２２９に対して、出力する。
【0169】
また、表示制御部１１０（視点判断手段）は、表示領域テーブル１８１に含まれる各表示領域情報について、複数のユーザーの視点が、一つの第一表示領域内に存在するか否か、一人のユーザーの視点のみが一つの第一表示領域内に存在するか否か、また、一つの第一表示領域内にユーザーの視点が存在しないかを判断する。つまり、表示制御部１１０は、表示面を注視する複数のユーザーの表示面におけるそれぞれの視点のうち、複数の視点が第一表示領域内に存するか否かを判断する。
【0170】
表示制御部１１０（決定手段）は、複数のユーザーの視点が、一つの第一表示領域内に存在する場合に限り、処理対象である表示領域情報に含まれるデータＩＤについて、用いられている使用言語（第一言語）を表示データテーブル１７１から取得し、取得した使用言語を除いて、一つの第一表示領域内に存在する複数の視点に視線を注ぐ複数のユーザーの使用言語をユーザー属性テーブル１９１から取得し、取得した複数のユーザーの使用言語のうち、少なくとも一つの言語を、第二言語（第二表記法）として決定する。つまり、表示制御部１１０は、取得した使用言語を用いて、第一表示領域に視線を注ぐ複数のユーザーに親和性のある言語（表記法）を、第二言語として決定する。ここで、表示制御部１１０（決定手段）により、決定される親和性のある表記法とは、ユーザー毎に馴染みのある表記法として予め登録されている表記法である、としてもよい。表示制御部１１０は、翻訳部１１１に対して、第一表示領域に表示されるテキストデータを、前記第二言語により翻訳するように、制御する。表示制御部１１０（生成手段）は、表示面上において第一表示領域に付随する第二表示領域の位置を示す位置情報を生成する。なお、位置情報の生成の詳細については、後述する。表示制御部１１０（出力手段）は、合成部２２９に対して、翻訳テキストデータ及び位置情報を出力する。
【0171】
ここで、複数のユーザーの視点が、一つの第一表示領域内に存在する場合、当該第一表示領域内に存在する複数の視点に視線を注ぐ複数のユーザーの使用言語が全て第一言語であるときには、第二表示領域の表示は、行わない。
【0172】
一方、表示制御部１１０は、一つのユーザーの視点のみが、一つの第一表示領域内に存在する場合、当該ユーザーの使用言語と、第一表示領域に表示されるテキストデータの言語が一致するか否かを判断する。
【0173】
一致しない場合、表示制御部１１０は、翻訳部１１１に対して、第一表示領域に表示されるテキストデータを、当該ユーザーの使用言語により翻訳するように、制御する。また、表示制御部１１０（生成手段）は、表示面上において第一表示領域に付随する第二表示領域の位置を示す位置情報を生成する。表示制御部１１０（出力手段）は、合成部２２９に対して、翻訳テキストデータ及び位置情報を出力する。この場合、第二表示領域に表示される翻訳テキストデータは、ハーフトーンにより表示される。
【0174】
当該ユーザーの使用言語と、第一表示領域に表示されるテキストデータの言語が一致する場合、表示制御部１１０は、処理を行わない。
【0175】
（８）翻訳部１１１
翻訳部１１１（表記変換手段）は、第一表示領域に表記されているテキストデータを、第二言語により翻訳（表記）された翻訳テキストデータに変換する。
翻訳部１１１（表記変換手段）は、第一表示領域に表記されているテキストデータを、第二言語により翻訳（表記）された翻訳テキストデータに変換する。
【0176】
具体的には、翻訳部１１１は、表示制御部１１０の制御により、決定した第二言語により、辞書データベース２１１を用いて、テキストデータを翻訳し、データＩＤ、翻訳されたテキストデータである翻訳テキスト及び使用言語からなる翻訳情報を、翻訳テキストデータテーブル２０１に書き込む。
【0177】
（９）合成部２２９
合成部２２９は、表示制御部１１０から、表示画像データを受信し、受信した表示画像データを、出力部１０３を介して、表示部１０２に出力し、表示部１０２に表示画像データを表示させる。
合成部２２９は、表示制御部１１０から、表示画像データを受信し、受信した表示画像データを、出力部１０３を介して、表示部１０２に出力し、表示部１０２に表示画像データを表示させる。
【0178】
また、合成部２２９は、表示制御部１１０から、翻訳テキストデータ及び位置情報を受信する。翻訳テキストデータ及び位置情報を受信すると、前に受信した表示画像データに、受信した位置情報により示される位置において、受信した翻訳テキストデータを合成し、合成した表示画像データを、出力部１０３を介して、表示部１０２に出力し、表示部１０２に表示画像データを表示させる。
【0179】
（１０）出力部１０３及び表示部１０２
出力部１０３は、合成部２２９から、表示画像データを受信し、受信した表示画像データを表示部１０２に対して出力する。
出力部１０３は、合成部２２９から、表示画像データを受信し、受信した表示画像データを表示部１０２に対して出力する。
【0180】
表示部１０２は、出力部１０３から、表示画像データを受信し、受信した表示画像データを表示する。
【0181】
表示画像データは、表示データテーブル１７１に含まれる表示位置において、その幅及び高さにより、テキストデータを含む。また、位置情報により示される位置において、翻訳テキストデータを含む。
【0182】
（１１）主制御部１０１
主制御部１０１は、カメラ１２ａ～１２ｄ、表示部１０２、出力部１０３、入力部１０５ａ～１０５ｄ、顔認識処理部１０６、位置算出部１０７、視線視点算出部１０８、表示領域検出部１０９、表示制御部１１０、翻訳部１１１及び合成部２２９を、統一的に制御する。
主制御部１０１は、カメラ１２ａ～１２ｄ、表示部１０２、出力部１０３、入力部１０５ａ～１０５ｄ、顔認識処理部１０６、位置算出部１０７、視線視点算出部１０８、表示領域検出部１０９、表示制御部１１０、翻訳部１１１及び合成部２２９を、統一的に制御する。
【0183】
１．３ 表示部１０２により表示される画面の例示
図１７は、表示部１０２に表示されるテキストデータ及び翻訳テキストデータの一例を示す。
図１７は、表示部１０２に表示されるテキストデータ及び翻訳テキストデータの一例を示す。
【0184】
この図に示すように、表示部１０２には、第一表示領域３０１において、日本語により、「原因と対策」が表示されている。第一表示領域３０１には、視点３１１ｃ、３１２ｃ及び３１３ｃが存在する。
【0185】
視点３１１ｃは、位置３１１ａに立ち、ユーザーＩＤ「Ｕ００１」により識別されるユーザーが注ぐ視線３１１ｂの先にある。このユーザーの使用する言語は、「英語」である。また、視点３１２ｃは、位置３１２ａに立ち、ユーザーＩＤ「Ｕ００２」により識別されるユーザーが注ぐ視線３１２ｂの先にある。このユーザーの使用する言語は、「日本語」である。さらに、視点３１３ｃは、位置３１３ａに立ち、ユーザーＩＤ「Ｕ００３」により識別されるユーザーが注ぐ視線３１３ｂの先にある。このユーザーの使用する言語は、「スペイン語」である。
【0186】
このように、第一表示領域３０１には、日本語が表示され、視点３１１ｃ、３１２ｃ及び３１３ｃが存在し、視点３１１ｃ及び３１３ｃに視線を注ぐユーザーが使用する言語は、表示された日本語ではなく、それぞれ、英語及びスペイン語であるので、第一表示領域３０１に付随する第二表示領域４０１ａ及び４０１ｂには、それぞれ、英語及びスペイン語により、「Ｃａｕｓｅ ａｎｄ Ａｃｔｉｏｎ」及び「Ｃａｕｓａ ｙ Ｍｅｄｉｄａｓ」が表示されている。
【0187】
従って、第一表示領域３０１に視点に視線を注ぐ三人のユーザーは、第一表示領域３０１に付随する第二表示領域４０１ａ、４０１ｂが表示されていることにより、第一表示領域３０１に注目する他のユーザーの存在を知ることができる。また、第一表示領域３０１に視点に視線を注ぐ三人のユーザーは、第一表示領域３０１及び付随する第二表示領域４０１ａ、４０１ｂに表示された文字データの意味を理解することができ、三人のユーザーの間において、意思の疎通を図ることができる。
【0188】
また、表示部１０２には、第一表示領域３０２において、日本語により、「気温」が表示されている。第一表示領域３０２には、視点３１４ｃが存在する。
【0189】
視点３１４ｃは、位置３１４ａに立ち、ユーザーＩＤ「Ｕ００４」により識別されるユーザーの視線３１４ｂの先にある。このユーザーの使用する言語は、「ドイツ語」である。
【0190】
このように、第一表示領域３０２には、日本語が表示され、視点３１４ｃが存在し、視点３１４ｃに視線を注ぐユーザーが使用する言語は、表示された日本語ではなく、ドイツ語であるので、第一表示領域３０２に付随する第二表示領域４０２には、ドイツ語により、「Ｔｅｍｐｅｒａｔｕｒ」と表示されている。ただし、第一表示領域３０２には、一つの視点３１４ｃしか存在しないので、第二表示領域４０２において、「Ｔｅｍｐｅｒａｔｕｒ」は、ハーフトーンにより表示される。
【0191】
また、表示部１０２には、第一表示領域３０３において、日本語により、「太陽の軌道」が表示されている。第一表示領域３０３には、視点３１５ｃ及び視点３１６ｃが存在する。
【0192】
視点３１５ｃは、位置３１５ａに立ち、ユーザーＩＤ「Ｕ００５」により識別されるユーザーの視線３１５ｂの先にある。このユーザーの使用する言語は、「英語」である。また、視点３１６ｃは、位置３１６ａに立ち、ユーザーＩＤ「Ｕ００６」により識別されるユーザーの視線３１６ｂの先にある。このユーザーの使用する言語は、「日本語」である。
【0193】
このように、第一表示領域３０３には、日本語が表示され、視点３１５ｃ及び３１６ｃが存在し、視点３１５ｃに視線を注ぐユーザーが使用する言語は、表示された日本語ではなく、英語であるので、第一表示領域３０３に付随する第二表示領域４０３には、英語により、「Ｓｕｎ’ｓ ｃａｒｅｅｒ」と表示されている。
【0194】
従って、第一表示領域３０３に視点に視線を注ぐ二人のユーザーは、第一表示領域３０３及び付随する第二表示領域４０３が表示されていることにより、第一表示領域３０３に注目するユーザーの存在を知ることができる。また、第一表示領域３０３に視点に視線を注ぐ二人のユーザーは、第一表示領域３０３及び付随する第二表示領域４０３に表示された文字データの意味を理解することができ、二人のユーザーの間において、意思の疎通を図ることができる。
【0195】
また、表示部１０２には、第一表示領域３０４において、日本語により、「衛星写真」が表示されている。第一表示領域３０４には、視点が存在しない。このため、翻訳された文字データの表示もない。
【0196】
（第一表示領域と第二表示領域との関係）
第一表示領域と、第一表示領域に付随する第二表示領域との位置の関係について、図１８（ａ）～（ｄ）を用いて、説明する。
第一表示領域と、第一表示領域に付随する第二表示領域との位置の関係について、図１８（ａ）～（ｄ）を用いて、説明する。
【0197】
図１８（ａ）は、第一表示領域３５１ａと第二表示領域３５２ａとが接触している場合の一例を示す。このように、第一表示領域３５１ａの一辺と、第二表示領域３５２ａの一辺が接触してもよい。第一表示領域３５１ａと第二表示領域３５２ａとが接触しているので、第一表示領域３５１ａと第二表示領域３５２ａとの関係が明らかである。
【0198】
この場合、表示制御部１１０（生成手段）は、表示面上において第一表示領域に接触する第二表示領域の位置を示す位置情報を生成する。
【0199】
図１８（ｂ）は、第一表示領域３５１ｂから、所定距離内に、第二表示領域３５２ｂが存する場合の一例を示す。このように、第一表示領域３５１ｂの近傍に、第二表示領域３５２ｂが存するとしてもよい。ここで、第一表示領域３５１ｂと第二表示領域３５２ｂとの距離は、例えば、第一表示領域３５１ｂの重心と、第二表示領域３５２ｂの重心との距離であるとしてもよい。また、所定距離は、例えば、第一表示領域３５１ｂと第二表示領域３５２ｂとが接触している場合における重心間の距離の２倍の距離であるとしてもよい。第一表示領域３５１ｂから、所定距離内に、第二表示領域３５２ｂが存するので、第一表示領域３５１ｂと第二表示領域３５２ｂとの関係が明らかである。
【0200】
この場合、表示制御部１１０（生成手段）は、表示面上において第一表示領域の近傍に存する第二表示領域の位置を示す位置情報を生成する。
【0201】
図１８（ｃ）は、第一表示領域３５１ｃに重複して、第二表示領域３５２ｃが存する場合の一例を示す。この場合、第一表示領域３５１ｃに表示されている文字が、第二表示領域３５２ｃに表示されている文字に重複しないことが好ましい。第一表示領域３５１ｃに重複して、第二表示領域３５２ｃが存するので、第一表示領域３５１ｃと第二表示領域３５２ｃとの関係が明らかである。
【0202】
この場合、表示制御部１１０（生成手段）は、表示面上において第一表示領域に重複する第二表示領域の位置を示す位置情報を生成する。
【0203】
図１８（ｄ）は、第一表示領域３５１ｄに包含されて第二表示領域３５２ｄが存する場合の一例を示す。この場合、第一表示領域３５１ｄに表示されている文字が、第二表示領域３５２ｄに表示されている文字に重複しないことが好ましい。第一表示領域３５１ｄに包含されて第二表示領域３５２ｄが存するので、第一表示領域３５１ｄと第二表示領域３５２ｄとの関係が明らかである。
【0204】
この場合、表示制御部１１０（生成手段）は、表示面上において第一表示領域に包含される第二表示領域の位置を示す位置情報を生成する。
【0205】
次に、第一表示領域における表示と第二表示領域における表示との対応関係について、図１８（ｅ）～（ｈ）を用いて、説明する。
【0206】
図１８（ｅ）は、第一表示領域３５１ｅ内の背景に施されたハッチングパターンと、第二表示領域３５２ｅ内の背景に施されたハッチングパターンとが一致する場合の一例を示す。さらに、ハッチングパターンの表示色が一致してもよい。このように、ハッチングパターンが同一であるので、第一表示領域３５１ｅと第二表示領域３５２ｅとの関係が明らかである。
【0207】
図１８（ｆ）は、第一表示領域３５１ｆ内の背景に施されたドットパターンと、第二表示領域３５２ｆ内の背景に施されたドットパターンとが一致する場合の一例を示す。さらに、ドットパターンの表示色が一致してもよい。このように、ドットパターンが同一であるので、第一表示領域３５１ｆと第二表示領域３５２ｆとの関係が明らかである。
【0208】
図１８（ｇ）は、第一表示領域３５１ｇと、第二表示領域３５２ｇとが、線画像３５３によりリンクされている場合の一例を示す。この図のように、二重線の線画像により、リンクされてもよいし、破線、一点鎖線、波線等の線画像により、リンクされているとしてもよい。このように、第一表示領域３５１ｇと、第二表示領域３５２ｇとが、線画像３５３によりリンクされているので、第一表示領域３５１ｇと第二表示領域３５２ｇとの関係が明らかである。
【0209】
図１８（ｈ）は、第一表示領域３５１ｈの枠の表示パターンと、第二表示領域３５２ｈの枠の表示パターンとが一致する場合の一例を示す。さらに、枠の表示色が一致してもよい。このように、枠の表示パターンが同一であるので、第一表示領域３５１ｈと第二表示領域３５２ｈとの関係が明らかである。
【0210】
また、第一表示領域内の文字の表示色と、第二表示領域内の文字の表示色が一致してもよい（不図示）。この場合、文字の表示色が同一であるので、第一表示領域内と第二表示領域内との関係が明らかである。
【0211】
なお、第一表示領域の表示色と、第一表示領域と対応関係がない第二表示領域の表示色とは、異なる色となるようにする。また、対応関係がない第一表示領域の表示パターンと第二表示領域の表示パターンとは、異なるパターンとなるようにする。
【0212】
上記の場合に、表示制御部１１０（生成手段）は、第一表示領域内における表示色又は表示パターンと、第二表示領域内における表示色又は表示パターンとを示す同一の色パターン情報を生成してもよい。また、表示制御部１１０（出力手段）は、表示色又は表示パターンを用いて表示させるため、色パターン情報を、合成部２２９に対して出力してもよい。
【0213】
【0214】
表示部１０２は、表示制御部１１０の制御により、表示データテーブル１７１に含まれる全ての表示データ関連情報について、その表示位置において、その幅及び高さにより、テキストデータを表示する。ここで、表示されるテキストデータの元になる言語を第一言語と呼ぶ（ステップＳ１０１）。
【0215】
次に、カメラ１２ａ～１２ｄは、それぞれ、対象を撮影して、画像データを生成し、生成した画像データを、入力部１０５ａ～１０５ｄを介して、記憶部１０４に、書き込む。顔認識処理部１０６は、記憶部１０４から画像データを取得する（ステップＳ１０２）。
【0216】
次に、顔認識処理部１０６は、取得した画像データからユーザーの顔を検出する（ステップＳ１０３）。次に、位置算出部１０７は、取得した画像データからユーザーの立ち位置を検出する（ステップＳ１０４）。次に、顔認識処理部１０６は、ユーザー属性テーブル１９１及びユーザーの顔画像データを用いて、ユーザーを特定する（ステップＳ１０５）。
【0217】
次に、視線視点算出部１０８は、ユーザーの顔の水平方向の向きを算出し（ステップＳ１０６）、続いて、ユーザーの顔の鉛直方向からの傾きを算出する（ステップＳ１０７）。続いて、視線視点算出部１０８は、ユーザーの顔の水平方向の向き及びユーザーの顔の鉛直方向からの傾きを用いて、ユーザーの視線を算出し（ステップＳ１０８）、続いて、表示部１０２の表示面におけるユーザーの視点を算出する（ステップＳ１０９）。
【0218】
次に、表示制御部１１０は、表示領域テーブル１８１に含まれる表示領域情報毎に、ステップＳ１１１～Ｓ１２４を繰り返す（ステップＳ１１０～Ｓ１２５）。
【0219】
表示制御部１１０は、一つの第一表示領域について、複数のユーザーの視点が、一つの第一表示領域内に存在するか否かを判断する。具体的には、表示制御部１１０は、一つの表示領域情報が、複数のユーザーＩＤを含むか否かを判断する（ステップＳ１１１）。
【0220】
複数のユーザーの視点が、一つの第一表示領域内に存在する場合、つまり、一つの表示領域情報が複数のユーザーＩＤを含む場合（ステップＳ１１１で「ＹＥＳ」）、表示制御部１１０は、これらの複数のユーザーの使用言語をユーザー属性テーブル１９１から取得し、取得した複数のユーザーの使用言語のうちの少なくとも一つの使用言語を第二言語に決定する。ただし、第二言語を決定する際に、第一言語を除く（ステップＳ１１２）。次に、翻訳部１１１は、テキストデータを翻訳して翻訳テキストデータを取得する（ステップＳ１１３）。次に、表示制御部１１０は、第一表示領域に付随するように、翻訳テキストデータを表示すべき第二表示領域を設定する（ステップＳ１１４）。次に、表示制御部１１０は、翻訳テキストデータ及び第二表示領域の位置を示す位置情報を合成部２２９に対して出力する（ステップＳ１１５）。次に、表示部１０２は、第二表示領域において、第二テキストデータを含む表示画像データを表示する（ステップＳ１１６）。
【0221】
複数のユーザーの視点が、一つの第一表示領域内に存在しない場合、つまり、一つの表示領域情報が複数のユーザーＩＤを含まない場合（ステップＳ１１１で「ＮＯ」）、表示制御部１１０は、一人のユーザーの視点のみが一つの第一表示領域内に存在するか否かを判断、つまり、一つの表示領域情報が、一つのユーザーＩＤのみを含むか否かを判断する（ステップＳ１１９）。
【0222】
一人のユーザーの視点のみが一つの第一表示領域内に存在する場合、つまり、一つの表示領域情報が、一つのユーザーＩＤのみを含む場合（ステップＳ１１９で「ＹＥＳ」）、表示制御部１１０は、当該一人のユーザーの使用言語をユーザー属性テーブル１９１から取得し、表示テキストデータの使用言語（第一言語）とユーザーの使用言語が一致するか否かを判断する（ステップＳ１２０）。表示テキストデータの使用言語とユーザーの使用言語が一致しない場合（ステップＳ１２０で「ＮＯ」）、翻訳部１１１は、テキストデータを翻訳して翻訳テキストデータを取得し（ステップＳ１２１）、次に、表示制御部１１０は、例えば、第一表示領域に付随するように、翻訳テキストデータを表示すべき第二表示領域を設定する（ステップＳ１２２）。次に、表示制御部１１０は、翻訳テキストデータ及び第二表示領域の位置を示す位置情報を合成部２２９に対して出力する（ステップＳ１２３）。次に、表示部１０２は、第二表示領域において、第二テキストデータを含む表示画像データを表示する。このとき、第二表示領域において、第二テキストデータは、ハーフトーンにより、表示される（ステップＳ１２４）。
【0223】
表示テキストデータの使用言語（第一言語）とユーザーの使用言語が一致する場合（ステップＳ１２０で「ＹＥＳ」）、表示制御部１１０は、何もしない。
【0224】
また、ユーザーの視点が一つの第一表示領域内に存在しない場合、つまり、一つの表示領域情報が、ユーザーＩＤを含まない場合（ステップＳ１１９で「ＮＯ」）、表示制御部１１０は、何もしない。
【0225】
ステップＳ１１１～Ｓ１２４の繰り返しが終了すると、表示制御部１１０は、制御をステップＳ１０２へ移し、処理を繰り返す。
【0226】
１．５ まとめ
以上説明したように、上記の実施の形態によると、第一言語によりテキストデータが表示されている第一表示領域に、複数のユーザーの視点が存するときに限り、これらの視点に視線を注ぐ複数のユーザーの使用する第二言語（第一言語を除く）により、テキストデータを変換して、第一表示領域に付随する第二表示領域に、翻訳テキストデータを表示する。
以上説明したように、上記の実施の形態によると、第一言語によりテキストデータが表示されている第一表示領域に、複数のユーザーの視点が存するときに限り、これらの視点に視線を注ぐ複数のユーザーの使用する第二言語（第一言語を除く）により、テキストデータを変換して、第一表示領域に付随する第二表示領域に、翻訳テキストデータを表示する。
【0227】
このように第一表示領域に付随する第二表示領域に翻訳テキストデータが表示されることにより、複数のユーザーが第一表示領域に注目していることがわかる。つまり、第一表示領域に注目している一人のユーザーは、自分以外にも、第一表示領域に注目しているユーザーが存在し、そのユーザーが、自分と同様に、第一表示領域に表示されているテキストデータに関心を持っていることを知ることができる。その結果、複数のユーザーの間で、意思疎通を図ることができる。また、第二表示領域には、翻訳テキストデータが表示されるので、第一言語を理解できないユーザーであっても、第一表示領域に表示されたテキストデータの意味を知ることができる。
【0228】
２ 変形例
本発明について、上記の実施の形態に基づいて説明しているが、上記の実施の形態に限定されない。以下に示すようにしてもよい。
本発明について、上記の実施の形態に基づいて説明しているが、上記の実施の形態に限定されない。以下に示すようにしてもよい。
【0229】
２．１ 変形例（１）
上記の実施の形態においては、図５に示すように、第一表示領域３０１にユーザーの視点３１１ｃ、３１２ｃ、３１３ｃが集まった場合であっても、第一表示領域３０１の大きさは、変更されない。しかし、本発明は、これには限定されない。
上記の実施の形態においては、図５に示すように、第一表示領域３０１にユーザーの視点３１１ｃ、３１２ｃ、３１３ｃが集まった場合であっても、第一表示領域３０１の大きさは、変更されない。しかし、本発明は、これには限定されない。
【0230】
表示部１０２の第一表示領域内に多くのユーザーの視点が集まる場合に、第一表示領域を大きくしてもよい。また、第一表示領域に付随して表示される第二表示領域も大きく表示してもよい。
【0231】
図２１（ａ）は、表示部１０２に表示されるテキストデータとユーザーの立ち位置との関係を示す。また、図２１（ｂ）は、翻訳表示装置１の表示部１０２に大きく表示されるテキストデータ及び翻訳テキストデータの一例を示す。
【0232】
図２１（ａ）に示すように、第一表示領域３０１に対して、多くのユーザーの視点が集まって存在している。一方で、第一表示領域３０２、３０３、３０４に対して、ユーザーの視点は集まっていない。
【0233】
このような場合に、第一表示領域３０１を大きくし、図２１（ｂ）に示すように、第一表示領域４２１ａとするとともに、第一表示領域４２１ａに付随する第二表示領域４２１ｂ及び４２１ｃも大きくしてもよい。
【0234】
また、この場合、図２１（ａ）の第一表示領域３０２、３０３、３０４を小さくし、その幅を細くしてもよい。また、図２１（ｂ）に示すように、第一表示領域４２１ａ並びに第二表示領域４２１ｂ及び４２１ｃの余白領域に、その余白領域の形状に合わせて、図２１（ａ）の第一表示領域３０２、３０３、３０４の形状を変形して、第一表示領域４２２、４２３、４２４のように、表示してもよい。例えば、図２１（ａ）においては、第一表示領域３０２、３０３、３０４は、Ｙ軸方向に長尺であるが、図２１（ｂ）においては、第一表示領域４２２、４２３、４２４は、Ｘ軸方向に長尺である。
【0235】
具体的には、表示制御部１１０（視点判断手段）は、第三表示領域内に存する複数の視点の数が、所定数以上であるか否かを判断してもよい。表示制御部１１０（生成手段）は、さらに、複数の視点の数が所定数以上である場合、第三表示領域を拡大した拡大領域の位置を示す拡大位置情報を生成する。表示制御部１１０（出力手段）は、さらに、拡大位置情報により示される拡大領域に、テキストデータを表示させるため、拡大位置情報を合成部２２９に対して出力する。
【0236】
また、複数の視点の数が所定数以上である場合、表示制御部１１０は、さらに、第二表示領域を拡大した領域の位置を示す第二拡大位置情報を生成し、翻訳テキストデータを拡大してもよい。表示制御部１１０は、さらに、第二拡大位置情報により示される拡大された第二表示領域に拡大された翻訳テキストデータを表示させるため、第二拡大位置情報及び拡大された翻訳テキストデータを合成部２２９に対して出力する
ここで、第三表示領域内に存する複数の視点の数が、所定数以上であるとは、例えば、第三表示領域内に存する複数の視点の数が、表示部１０２の表示面に存する全ての視点の数のうちの２５％（又は、５０％、７５％、９０％でもよい。）以上であることをいう。
ここで、第三表示領域内に存する複数の視点の数が、所定数以上であるとは、例えば、第三表示領域内に存する複数の視点の数が、表示部１０２の表示面に存する全ての視点の数のうちの２５％（又は、５０％、７５％、９０％でもよい。）以上であることをいう。
【0237】
このように、変形例（１）によると、第三表示領域内に多くのユーザーの視点が集まる場合に、第三表示領域を大きくし、第三表示領域に付随して表示される第二表示領域も大きくし、さらに、表示されるテキストデータ及び翻訳テキストデータを大きくしている。
【0238】
このため、第三表示領域に注目するユーザーは、大きく表示されたテキストデータ及び翻訳テキストデータにより、これらの文字をはっきりと視認できる。
【0239】
２．２ 変形例（２）
上記の実施の形態においては、図１７に示すように、第一表示領域３０１、３０２、３０３、３０４内に表示されるテキストデータ内の各文字は、Ｘ軸正方向からＸ軸負方向に見て、正立している。また、第二表示領域４０１ａ、４０１ｂ、４０２、４０３に表示される翻訳テキストデータについても、同様である。しかし、本発明は、これには、限定されない。
上記の実施の形態においては、図１７に示すように、第一表示領域３０１、３０２、３０３、３０４内に表示されるテキストデータ内の各文字は、Ｘ軸正方向からＸ軸負方向に見て、正立している。また、第二表示領域４０１ａ、４０１ｂ、４０２、４０３に表示される翻訳テキストデータについても、同様である。しかし、本発明は、これには、限定されない。
【0240】
ユーザーの視線の向きや、ユーザーの立ち位置に応じて、これらのユーザーに見やすいように、第一表示領域及び第二表示領域にそれぞれ表示されるテキストデータ内の各文字及び翻訳テキストデータ内の各文字が正立して見えるように、テキストデータ及び翻訳テキストデータの向きを調整してもよい。
【0241】
図２２は、翻訳表示装置１の表示部１０２に表示されるテキストデータ及び翻訳テキストデータとユーザーの立ち位置との関係、及び、表示部１０２に表示されるテキストデータ及び翻訳テキストデータの一例を示す。
【0242】
図５と同様に、この図においても、表示部１０２には、第一表示領域３０１において、日本語により、「原因と対策」が表示されている。第一表示領域３０１には、視点３１１ｃ、３１２ｃ及び３１３ｃが存在する。これらの視点に視線を注ぐユーザーの立ち位置等についても、図５と同じである。
【0243】
このように、第一表示領域３０１には、日本語（第一言語）が表示され、視点３１１ｃ、３１２ｃ及び３１３ｃが存在し、視点３１１ｃ及び３１３ｃに視線を注ぐユーザーが使用する言語は、表示された日本語ではなく、それぞれ、英語及びスペイン語（第二言語）であるので、図５と同様に、第一表示領域３０１に付随する第二表示領域４３３及び４３２には、それぞれ、英語及びスペイン語により、「Ｃａｕｓｅ ａｎｄ Ａｃｔｉｏｎ」及び「Ｃａｕｓａ ｙ Ｍｅｄｉｄａｓ」と表示されている。
【0244】
ただし、図５と異なるのは、第二表示領域４３３及び４３２には、視点３１１ｃ及び３１３ｃに視線を注ぐユーザーの立ち位置から見て、それぞれの表示文字が正立して見えるようにしている点である。さらに、第二表示領域４３１にも、視点３１２ｃに視線を注ぐユーザーの立ち位置から見て、日本語による文字データが正立して見えるようにしている。
【0245】
第一表示領域３０２に付随する第二表示領域４３４及び第一表示領域３０３に付随する第二表示領域４３５についても、同様である。
【0246】
具体的には、表示制御部１１０（生成手段）は、翻訳テキストデータを構成する文字が、ユーザーの立ち位置から、正立して見えるように、翻訳テキストデータを回転させて配した画像データを生成する。表示制御部１１０（出力手段）は、画像データを出力する。表示部１０２は、第二表示領域に翻訳テキストデータを回転させて配した画像データを表示する。
【0247】
このように、ユーザーの視線の向きや、ユーザーの立ち位置に応じて、表示内容が正立して見えるので、表示内容に対するユーザーの理解を促進することができる。
【0248】
２．３ 変形例（３）
上記の実施の形態においては、翻訳表示装置１の天板の４つの隅に設けられた４台のカメラ１２ａ、１２ｂ、１２ｃ及び１２ｄにより撮影されたユーザーの画像を用いて、ユーザーの視線方向及びユーザーの表示部１０２の表示面における視点を求めている。しかし、本発明は、これには限定されない。
上記の実施の形態においては、翻訳表示装置１の天板の４つの隅に設けられた４台のカメラ１２ａ、１２ｂ、１２ｃ及び１２ｄにより撮影されたユーザーの画像を用いて、ユーザーの視線方向及びユーザーの表示部１０２の表示面における視点を求めている。しかし、本発明は、これには限定されない。
【0249】
変形例（３）としての翻訳表示システム５０１は、表示面上の一部の第一表示領域に第一言語により表記されたテキストデータを第二言語に翻訳して表示するシステムであって、図２３に示すように、モニター５１１、翻訳装置５１２及びユーザーの顔面に装着されるメガネ５１３、５１４、５１５から構成されている、としてもよい。モニター５１１と翻訳装置５１２とは、ケーブル５１６により接続されている。
【0250】
翻訳表示システム５０１は、実施の形態における翻訳表示装置１における、ユーザーの視点を検出する構造部分をメガネ５１３、５１４、５１５に置き換え、翻訳表示装置１における表示部１０２をモニター５１１に置き換えたものである。
【0251】
このため、翻訳装置５１２は、実施の形態における翻訳表示装置１における、ユーザーの視点を検出する構造部分及び表示部１０２を除く残りの構成部分により、構成されている。
【0252】
メガネ５１３は、翻訳装置５１２との間で、近距離無線により、通信を行う。メガネ５１４、５１５も、メガネ５１３と同様に、翻訳装置５１２との間で、近距離無線により、通信を行う。
【0253】
メガネ５１３のフレーム部分には、メガネ５１３を装着したユーザーの視線方向を撮影するカメラ５１３ａ及び算出部が配置されている。カメラ５１３ａは、ユーザーの視線方向を撮影して画像データを生成し、算出部は、生成した画像データの中央部に写るオブジェクトの位置を視点として算出し、算出した視点を翻訳装置５１２に対して出力する。メガネ５１４、５１５も、メガネ５１３と同じ構造を有する。
【0254】
翻訳装置５１２は、メガネ５１３、５１４、５１５から、モニター５１１の表示面に注視する複数のユーザーの当該表示面におけるそれぞれの視点を取得し、取得した前記視点のうち、複数の視点が第一表示領域内に存するか否かを判断し、第一表示領域内に複数の視点が存する場合に限り、第一言語を除いて、当該複数の視点に視線を注ぐ複数のユーザーがそれぞれ理解する複数の言語のうち、少なくとも一つの言語を、第二言語として決定し、第一表示領域に表記されているテキストデータを、当該テキストデータの意味内容に関連し、前記第二言語により表現された翻訳テキストデータに翻訳し、表示面上において、第一表示領域に付随する第二表示領域の位置を示す位置情報を生成し、翻訳テキストデータ及び位置情報をモニター５１１に対して出力する。
【0255】
モニター５１１は、表示面を有し、表示面の第一表示領域にテキストデータを表示し、翻訳テキストデータ及び位置情報を受信し、位置情報により示される第二表示領域に、翻訳テキストデータを表示する。
【0256】
（まとめ）
以上説明したように、変形例（３）によると、第一表示領域に付随する第二表示領域に翻訳テキストデータが表示されることにより、複数のユーザーが第一表示領域に注目していることがわかる。つまり、第一表示領域に注目している一人のユーザーは、自分以外にも、第一表示領域に注目しているユーザーが存在し、そのユーザーが、自分と同様に、第一表示領域に表示されているテキストデータに関心を持っていることを知ることができる。
以上説明したように、変形例（３）によると、第一表示領域に付随する第二表示領域に翻訳テキストデータが表示されることにより、複数のユーザーが第一表示領域に注目していることがわかる。つまり、第一表示領域に注目している一人のユーザーは、自分以外にも、第一表示領域に注目しているユーザーが存在し、そのユーザーが、自分と同様に、第一表示領域に表示されているテキストデータに関心を持っていることを知ることができる。
【0257】
この結果として、第一表示領域に視点を注ぐ複数のユーザーの間の意思疎通を図ることができる。
【0258】
２．４ 変形例（４）
上記の実施の形態においては、翻訳表示装置１の天板の４つの隅に設けられた４台のカメラ１２ａ、１２ｂ、１２ｃ及び１２ｄにより撮影されたユーザーの画像を用いて、ユーザーの視線方向及びユーザーの表示部１０２の表示面における視点を求めている。しかし、本発明は、これには限定されない。
上記の実施の形態においては、翻訳表示装置１の天板の４つの隅に設けられた４台のカメラ１２ａ、１２ｂ、１２ｃ及び１２ｄにより撮影されたユーザーの画像を用いて、ユーザーの視線方向及びユーザーの表示部１０２の表示面における視点を求めている。しかし、本発明は、これには限定されない。
【0259】
変形例（４）として、図２４（ａ）に概略構成を示す翻訳表示システム５３１は、表示面上の一部の第一表示領域に第一言語により表示されたテキストデータを第二言語により翻訳して表示するシステムであって、ホワイトボード５３２、翻訳装置５３６、ユーザーの顔面に装着されるメガネ５３３、５３４、５３５から構成されている。
【0260】
翻訳表示システム５３１は、実施の形態における翻訳表示装置１における、ユーザーの視点を検出する構造部分及び表示部１０２を、メガネ５３３、５３４、５３５に置き換えたものである。
【0261】
このため、翻訳装置５３６は、実施の形態における翻訳表示装置１における、ユーザーの視点を検出する構造部分及び表示部１０２を除く残りの構成部分により、構成されている。
【0262】
メガネ５３３は、翻訳装置５３６との間で、近距離無線により、通信を行う。メガネ５３４、５３５も、メガネ５３３と同様に、翻訳装置５３６との間で、近距離無線により、通信を行う。
【0263】
ホワイトボード５３２は、表示面を有する。
【0264】
メガネ５３３は、ユーザーの顔面に装着され、カメラ５３３ａを備えたメガネ型の表示装置である。カメラ５３３ａにより、ユーザーの視線方向を撮影して画像データを生成し、生成した画像データの中央部に写るオブジェクトの位置を視点として算出し、算出した視点を、近距離無線により、翻訳装置５３６に対して送信する。また、メガネ５３３は、撮影により取得した画像データを表示する。
【0265】
メガネ５３４、５３５も、メガネ５３３と同じ構成を有している。
【0266】
翻訳装置５３６は、メガネ５３３、５３４、５３５から、ホワイトボード５３２の表示面に注視する複数のユーザーの当該表示面におけるそれぞれの視点を取得し、取得した前記視点のうち、複数の視点が第一表示領域内に存するか否かを判断し、第一表示領域内に複数の視点が存する場合に限り、第一言語を除いて、当該複数の視点に視線を注ぐ複数のユーザーがそれぞれ理解する複数の言語のうち、少なくとも一つの言語を、第二言語として決定し、第一表示領域に表記されているテキストデータを、第二言語法に翻訳し、表示面上において第一表示領域に付随する第二表示領域の位置を示す位置情報を生成し、翻訳テキストデータ及び位置情報をメガネ５３３、５３４、５３５に対して、近距離無線により、送信する。
【0267】
メガネ５３３、５３４、５３５は、翻訳装置５３６から、近距離無線により、翻訳テキストデータ及び第二表示領域の位置を示す位置情報を受信し、受信した位置情報により示される第二表示領域に、受信した翻訳テキストデータを表示する。
【0268】
（まとめ）
以上説明したように、変形例（４）によると、第一表示領域に付随する第二表示領域に翻訳テキストデータが表示されることにより、複数のユーザーが第一表示領域に注目していることがわかる。つまり、第一表示領域に注目している一人のユーザーは、自分以外にも、第一表示領域に注目しているユーザーが存在し、そのユーザーが、自分と同様に、第一表示領域に表示されているテキストデータに関心を持っていることを知ることができる。
以上説明したように、変形例（４）によると、第一表示領域に付随する第二表示領域に翻訳テキストデータが表示されることにより、複数のユーザーが第一表示領域に注目していることがわかる。つまり、第一表示領域に注目している一人のユーザーは、自分以外にも、第一表示領域に注目しているユーザーが存在し、そのユーザーが、自分と同様に、第一表示領域に表示されているテキストデータに関心を持っていることを知ることができる。
【0269】
この結果として、第一表示領域に視点を注ぐ複数のユーザーの間の意思疎通を図ることができる。
【0270】
２．５ その他の変形例
（１）上記実施の形態では、表示部１０２は、テキストデータ及び翻訳テキストデータの両方を表示している。つまり、図１７に示すように、表示部１０２は、第一表示領域３０１にテキストデータを表示し、第一表示領域３０１に付随する第二表示領域４０１ａ、４０１ｂに、翻訳テキストデータを表示している。しかし、これには、限定されない。
（１）上記実施の形態では、表示部１０２は、テキストデータ及び翻訳テキストデータの両方を表示している。つまり、図１７に示すように、表示部１０２は、第一表示領域３０１にテキストデータを表示し、第一表示領域３０１に付随する第二表示領域４０１ａ、４０１ｂに、翻訳テキストデータを表示している。しかし、これには、限定されない。
【0271】
表示部１０２は、テキストデータに代えて、第一表示領域３０１に、翻訳テキストデータを表示してもよい。
【0272】
具体的には、表示制御部１１０（生成手段）は、第一表示領域の位置を示す位置情報を生成し、表示制御部１１０（出力手段）は、第二表示領域として、第一表示領域に翻訳テキストデータを表示させるため、生成された位置情報を出力してもよい。
【0273】
第一表示領域に、複数のユーザーの視点が存在するとき、これらの視点に視線を注ぐ複数のユーザーのうち、第一言語を使用するユーザーがいないのであれば、表示面を有効に使用することができる。
【0274】
（２）上記実施の形態では、図１７に示すように、表示部１０２は、第一表示領域３０１にテキストデータを表示し、第一表示領域３０１に付随する第二表示領域４０１ａ、４０１ｂに、翻訳テキストデータを表示している。しかし、これには、限定されない。
【0275】
表示制御部１１０（空白判断手段）は、第一表示領域の周辺に、翻訳テキストデータを表示するために十分な大きさの空白領域が存在するか否かを判断してもよい。つまり、翻訳テキストデータの表示サイズよりも大きく、文字の表示されていない空白領域が存在するか否かを判断する。空白領域が存在すると判断する場合に、表示制御部１１０（生成手段）は、当該空白領域内において、第二表示領域の位置を示す位置情報を生成し、表示制御部１１０は、表示部１０２に、第一表示領域の周辺の空白領域に翻訳文字データを表示させる、としてもよい。
【0276】
一方、表示制御部１１０は、第一表示領域の周辺に、翻訳テキストデータを表示するため十分な大きさの空白領域が存在しないと判断する場合、翻訳テキストデータを表示するサイズをやや小さくした後に、例えば、そのサイズを、例えば、面積で５％～１０％だけ小さくした後に、再度、サイズの小さくなった翻訳テキストデータを表示するために十分な大きさの空白領域が存在するか否かを判断してもよい。空白領域が存在する場合に、その空白領域に、サイズの小さくなった翻訳文字データを表示させる、としてもよい。
【0277】
また、表示制御部１１０は、第一表示領域の周辺に、翻訳テキストデータを表示するために十分な大きさの空白領域が存在しないと判断する場合、例えば、第一表示領域を、当該第一表示領域の幅の５％～１０％程度の長さ分だけ、左方向又は右方向に、移動させた後に、又は、第一表示領域を、当該第一表示領域の高さの５％～１０％程度の長さ分だけ、上方向又は下方向に、移動させた後に、再度、空白領域が存在するか否かを判断してもよい。表示領域を移動させた後に、空白領域が存在する場合に、その空白領域に、翻訳テキストデータを表示させる、としてもよい。
【0278】
このように、文字が表示されていない空白領域に翻訳テキストデータを配置することにより、翻訳テキストデータにより、他の必要な文字等が覆い隠されることがない。
【0279】
（３）上記の実施の形態及び変形例においては、第一言語（第一表記法）により表現されたテキストデータを第一表示領域に表示し、テキストデータを第二言語（第二表記法）に翻訳して、翻訳テキストデータを第二表示領域に表示している。しかし、本発明は、これには限定されない。
【0280】
全国的に規範として用いられる標準語を一つの言語として捉え、地域によって異なる発達をした方言を別の言語として捉えてもよい。
【0281】
第一表記法は、全国的に規範として用いられる標準語による表現であり、第二表記法は、地域によって異なる発達をした方言による表現である、としてもよい。
【0282】
言い換えると、第一言語は、標準語であり、第二言語は、方言であるとしてもよい。第一言語である標準語により表現されたテキストデータを第一表示領域に表示し、テキストデータを第二言語である方言に翻訳して、翻訳テキストデータを第二表示領域に表示してもよい。
【0283】
また、第一表記法は、方言による表現であり、第二表記法は標準語による表現であるとしてもよい。
【0284】
言い換えると、第一言語は、方言であり、第二言語は、標準語であるしてもよい。第一言語である方言により表現されたテキストデータを第一表示領域に表示し、テキストデータを第二言語である標準語に翻訳して、翻訳テキストデータを第二表示領域に表示してもよい。
【0285】
この方法によると、標準語を理解する人と、方言を理解する人との間で、意思疎通を図ることができる。
【0286】
（４）上記の実施の形態及び変形例においては、第一言語（第一表記法）により表現されたテキストデータを第一表示領域に表示し、テキストデータを第二言語（第二表記法）に翻訳して、翻訳テキストデータを第二表示領域に表示している。しかし、本発明は、これには限定されない。
【0287】
第一表記法は、漢字による表現であり、第二表記法は、片仮名、平仮名又はローマ字による表現である、としてもよい。
【0288】
このとき、第一表記法である漢字により表記されたテキストデータを第一表示領域に表示し、テキストデータを第二表記法である片仮名（又は、平仮名、ローマ字）に変換して、変換テキストデータを第二表示領域に表示してもよい。
【0289】
また、第一表記法は、片仮名、平仮名又はローマ字による表現であり、第二表記法は、漢字による表現である、としてもよい。
【0290】
このとき、第一表記法である片仮名（又は、平仮名、ローマ字）により表記されたテキストデータを第一表示領域に表示し、テキストデータを第二表記法である漢字に変換して、変換テキストデータを第二表示領域に表示してもよい。
【0291】
この方法によると、漢字を理解する人と、片仮名、平仮名又はローマ字を理解する人との間で、意思疎通を図ることができる。
【0292】
（５）上記の実施の形態及び変形例においては、第一言語（第一表記法）により表現されたテキストデータを第一表示領域に表示し、テキストデータを第二言語（第二表記法）に翻訳して、翻訳テキストデータを第二表示領域に表示している。しかし、本発明は、これには限定されない。
【0293】
第一表記法は、所定の観念を象徴するシンボルマークによる表現であり、第二表記法は、当該シンボルマークにより象徴される観念を文字により表現するものである、としてもよい。また、第二表記法は、シンボルマークの説明文の表記である、としてもよい。ここで、シンボルマークは、所定の観念を象徴する図形である、としてもよい。
【0294】
第一表記法により表現されたシンボルマークを第一表示領域に表示し、シンボルマークが象徴する所定の観念を説明文として、第二表記法により表して、第二表示領域に、説明文を表示してもよい。説明文として、各言語により翻訳した翻訳テキストデータを用いるとしてもよい。
【0295】
シンボルマークは、例えば、社章、紋章、記章、国章、家紋 記号、ロゴ、印影であり、個人、家系、会社、団体などを象徴する図形である。この場合、説明文は、個人、家系、会社、団体などを示す名称等を文字表現したものである。
【0296】
また、シンボルマークは、例えば、地図記号である。その具体例は、神社、城跡、裁判所、灯台を示す地図記号であり、鉄道（新幹線）の路線を示す図形である。また、説明文の具体例は、それぞれ、「神社」、「城跡」、「裁判所」、「灯台」及び「新幹線」である。さらに、これらの説明文に対して、英語、スペイン語、フランス語の翻訳文を付加してもよい。
【0297】
また、シンボルマークは、例えば、電気回路の記号である。その具体例は、トランス、抵抗器、トランジスタを示す記号である。また、説明文の具体例は、それぞれ、「トランス」、「抵抗器」、「トランジスタ」である。さらに、これらの説明文に対して、英語、スペイン語、フランス語の翻訳文を付加してもよい。
【0298】
（６）上記の実施の形態及び変形例においては、第一表記法により表現されたデータを第一表示領域に表示し、データを第二表記法により変換して、変換されたデータを第二表示領域に表示している。このように、データと変換されたデータとの間には、一対一の関係がある。しかし、本発明は、これには限定されない。
【0299】
第一表示領域に、トランジスタを示す記号を表示し、第二表示領域に、説明文として「トランジスタ」及び詳細な説明として、当該トランジスタの電気的特性や温度特性を示すグラフを表示してもよい。
【0300】
また、第一表示領域に、神社を示す地図記号を表示し、第二表示領域に、説明文として「神社」及び詳細な説明として、神社の由来、歴史、信仰対象の説明などを表示してもよい。
【0301】
また、第一表示領域に、新幹線（鉄道）の路線を示す図形を表示し、第二表示領域に、説明文として「新幹線」及び詳細な説明として、列車の時刻表及び運行状況を表示してもよい。
【0302】
このように、第一表記法は、所定の観念を象徴する図形であるシンボルマークによる表現であり、第二表記法は、当該シンボルマークにより象徴される観念を文字により表現するものであるとしてもよい。また、第一表記法は、簡易な表現によるものであり、第二表記法は、当該簡易な表現を詳細に解説する表現によるものである、としてもよい。ここで、簡単な表現を詳細に解説する表現は、文字又は文字を含む図形によるものである、としてもよい。
【0303】
（７）上記の実施の形態及び変形例においては、第一表示領域に一つの視点のみが存在する場合に、第一表示領域に付随する第二表示領域に、ハーフトーンにより、翻訳テキストデータを表示する、としている。しかし、本発明は、これには限定されない。
【0304】
第一表示領域に一つの視点しか存在しない場合に、第二表示領域そのものを表示しない、としてもよい。
【0305】
（８）上記の実施の形態及び変形例においては、ユーザーの視点は、一点に固定されているとしている。しかし、本発明は、これには限定されない。
【0306】
ユーザーが第一表示領域に注目している場合、ユーザーの視点は、一点に固定しておらず、第一表示領域の内外において、不規則に移動していると考えられる。このような場合において、一定の期間（例えば、５秒間）のうち、例えば、８０％の期間内において、ユーザーの視点が第一表示領域の内側に存在すれば、ユーザーの視点は、第一表示領域内側に存在すると、みなしてもよい。
【0307】
（９）上記の実施の形態においては、ユーザー属性テーブル１９１（図６）に、ユーザーに対応して、当該ユーザーが使用する使用言語が記憶されており、ユーザー属性テーブル１９１から、ユーザーの使用言語を取得している。しかし、本発明は、これには限定されない。
【0308】
カメラにより撮影されたユーザーの顔画像から、当該ユーザーが使用する言語を認識できれば、そのような方法を用いてもよい。
【0309】
（１０）上記の実施の形態においては、表示制御部１１０（決定手段）は、一つの第一表示領域内に存在する複数の視点に視線を注ぐ複数のユーザーの使用言語をユーザー属性テーブル１９１から取得し、取得した複数のユーザーの使用言語のうち、少なくとも一つの言語を、第二言語（第二表記法）として決定している。
【0310】
ここで、第一表示領域に視点を注ぐ複数のユーザーに親和性のある表記法が複数存在する場合、前記複数のユーザーのうち、最も多くのユーザーに親和性のある一つの表記法を、第二表記法として決定してもよい。
【0311】
また、使用言語毎に、優先順位が設定されており、第一表示領域に視点を注ぐ複数のユーザーに親和性のある表記法が複数存在する場合、これらのユーザーの使用言語のうち、最も高い優先度が設定された使用言語を、第二表記法として決定してもよい。
【0312】
また、表示制御部１１０（決定手段）により、複数のユーザーに親和性のある複数の表記法が、第二表記法として決定された場合、翻訳部１１１（表記変換手段）は、テキストデータ（第一データ）を、それぞれ、決定された複数の言語（表記法）により翻訳（変換）してもよい。この場合に、複数の翻訳テキストデータが生成される。
【0313】
このように、複数の翻訳テキストデータが生成される場合、第二表示領域は、決定された複数の表記法により、それぞれ、翻訳テキストデータを表示する複数の部分領域に区分される、としてもよい。表示制御部１１０（生成手段）は、複数の部分領域を示す部分領域情報を生成してもよい。表示制御部１１０（出力手段）は、部分領域情報を出力してもよい。表示部１０２は、第二表示領域内の複数の部分領域に、それぞれ、翻訳テキストデータを表示する。
【0314】
また、上記のように、複数の翻訳テキストデータが生成される場合、表示制御部１１０（出力手段）は、一つの第二表示領域に、複数の翻訳テキストデータの各々を、切り換えて表示させるため、複数の翻訳テキストデータを、順次、出力する。表示部１０２は、一つの第二表示領域において、複数の翻訳テキストデータを、切換ながら、表示する。
【0315】
（１１）上述したように、各装置は、マイクロプロセッサーとメモリとを備えたコンピューターシステムである。メモリは、制御用のコンピュータープログラムを記憶しており、マイクロプロセッサーは、制御用のコンピュータープログラムに従って動作する、としてもよい。
【0316】
ここで、制御用のコンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0317】
また、制御用のコンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されている、としてもよい。
【0318】
（１２）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【0319】
本発明に係る表記変換装置は、第一表示領域に付随する第二表示領域に、第二データが表示された場合に、第一表示領域に視点を注ぐ複数の利用者は、第一表示領域に注目している利用者の存在を知って、異なる表記法を理解する利用者間の意思疎通を図ることができ、第一表記法により表記されたデータを第二表記法による表記に変換する技術として、有用である。
【符号の説明】
【0320】
１ 翻訳表示装置
１１ 脚部
１２ａ～１２ｄ カメラ
１０１ 主制御部
１０２ 表示部
１０３ 出力部
１０４ 記憶部
１０５ａ～１０５ｄ 入力部
１０６ 顔認識処理部
１０７ 位置算出部
１０８ 視線視点算出部
１０９ 表示領域検出部
１１０ 表示制御部
１１１ 翻訳部
２２９ 合成部
５０１ 翻訳表示システム
５１１ モニター
５１２ 翻訳装置
５１３～５１５ メガネ
５１３ａ～５１５ａ カメラ
５１６ ケーブル
５３１ 翻訳表示システム
５３２ ホワイトボード
５３３～５３５ メガネ
５３３ａ～５３５ａ カメラ
５３３ｂ～５３５ｂ 表示部
５３６ 翻訳装置
１１ 脚部
１２ａ～１２ｄ カメラ
１０１ 主制御部
１０２ 表示部
１０３ 出力部
１０４ 記憶部
１０５ａ～１０５ｄ 入力部
１０６ 顔認識処理部
１０７ 位置算出部
１０８ 視線視点算出部
１０９ 表示領域検出部
１１０ 表示制御部
１１１ 翻訳部
２２９ 合成部
５０１ 翻訳表示システム
５１１ モニター
５１２ 翻訳装置
５１３～５１５ メガネ
５１３ａ～５１５ａ カメラ
５１６ ケーブル
５３１ 翻訳表示システム
５３２ ホワイトボード
５３３～５３５ メガネ
５３３ａ～５３５ａ カメラ
５３３ｂ～５３５ｂ 表示部
５３６ 翻訳装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】