特許第6857757号(P6857757)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特許6857757画面表示システム、画面表示方法および画面表示処理プログラム
<>
  • 特許6857757-画面表示システム、画面表示方法および画面表示処理プログラム 図000002
  • 特許6857757-画面表示システム、画面表示方法および画面表示処理プログラム 図000003
  • 特許6857757-画面表示システム、画面表示方法および画面表示処理プログラム 図000004
  • 特許6857757-画面表示システム、画面表示方法および画面表示処理プログラム 図000005
  • 特許6857757-画面表示システム、画面表示方法および画面表示処理プログラム 図000006
  • 特許6857757-画面表示システム、画面表示方法および画面表示処理プログラム 図000007
  • 特許6857757-画面表示システム、画面表示方法および画面表示処理プログラム 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6857757
(24)【登録日】2021年3月24日
(45)【発行日】2021年4月14日
(54)【発明の名称】画面表示システム、画面表示方法および画面表示処理プログラム
(51)【国際特許分類】
   G06F 40/58 20200101AFI20210405BHJP
   G06K 9/00 20060101ALI20210405BHJP
   G06F 13/00 20060101ALI20210405BHJP
【FI】
   G06F40/58
   G06K9/00 S
   G06F13/00 550B
【請求項の数】7
【全頁数】13
(21)【出願番号】特願2020-14484(P2020-14484)
(22)【出願日】2020年1月31日
(62)【分割の表示】特願2016-173623(P2016-173623)の分割
【原出願日】2016年9月6日
(65)【公開番号】特開2020-102226(P2020-102226A)
(43)【公開日】2020年7月2日
【審査請求日】2020年1月31日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(72)【発明者】
【氏名】伊藤 可久
(72)【発明者】
【氏名】草深 宇翔
(72)【発明者】
【氏名】島村 潤
【審査官】 長 由紀子
(56)【参考文献】
【文献】 特開2014−86040(JP,A)
【文献】 国際公開第2015/069737(WO,A1)
【文献】 特開2016−58057(JP,A)
【文献】 特表2016−535335(JP,A)
【文献】 米国特許出願公開第2008/0233980(US,A1)
【文献】 米国特許出願公開第2003/0164819(US,A1)
【文献】 米国特許出願公開第2005/0185060(US,A1)
【文献】 韓国公開特許第10−2012−0023964(KR,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 40/00−58
G06F 13/00
G06K 9/00
(57)【特許請求の範囲】
【請求項1】
外部の端末により撮影された画像を受信する画像受信手段と、
画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶手段と、
前記画像受信手段により受信された画像の認識を要求する画像認識要求手段と、
前記画像認識要求手段による要求に応答して、前記受信された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力する画像認識手段と、
前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記画像認識手段から出力された文字列を翻訳し、
前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳する翻訳処理手段と、
前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳処理手段による翻訳処理後の文字列および前記翻訳処理手段による翻訳処理前の文字列をそれぞれ含む端末画面を生成し、
前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、前記翻訳処理手段による翻訳処理後の文字列を含む端末画面を生成する端末画面生成手段と、
前記端末画面生成手段により生成された端末画面を前記外部の端末に送信する端末画面送信手段と
を備えた画面表示システム。
【請求項2】
前記端末画面生成手段は、
前記翻訳処理手段による翻訳処理後の文字列を含む第1の端末画面、および、前記翻訳処理手段による翻訳処理前の文字列を含む第2の端末画面をそれぞれ生成し、
前記端末画面送信手段は、
前記生成した第1の端末画面、および前記第2の端末画面が前記外部の端末に順次表示されるように前記外部の端末に送信する請求項1に記載の画面表示システム。
【請求項3】
前記端末画面送信手段は、
前記生成した第1の端末画面、および前記第2の端末画面が前記外部の端末に交互に繰り返し表示されるように前記外部の端末に送信する請求項2に記載の画面表示システム。
【請求項4】
画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶装置を有する画面表示システムに適用される方法であって、
端末により撮影された画像を取得し、
前記取得された画像の認識を要求し、
前記要求に応答して、前記取得された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力し、
前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記出力された文字列を翻訳し、
前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳し、
前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳した後の文字列および前記翻訳する前の文字列をそれぞれ含む端末画面を生成し、
前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、翻訳処理後の文字列を含む端末画面を生成し、
前記生成された端末画面を前記端末に送信する画面表示方法。
【請求項5】
前記翻訳した後の文字列を含む第1の端末画面、および、前記翻訳する前の文字列を含む第2の端末画面をそれぞれ生成し、
前記生成した第1の端末画面、および前記第2の端末画面が前記端末に順次表示されるように前記端末に送信する請求項4に記載の画面表示方法。
【請求項6】
前記生成した第1の端末画面、および前記第2の端末画面が前記端末に交互に繰り返し表示されるように前記端末に送信する請求項5に記載の画面表示方法。
【請求項7】
請求項1に記載の画面表示システムの一部分として動作するコンピュータに用いられるプログラムであって、
前記コンピュータを、
前記画像受信手段、前記画像認識要求手段、前記翻訳処理手段、前記端末画面生成手段、および前記端末画面送信手段
として機能させるための画面表示処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画面表示システム、画面表示方法および画面表示処理プログラムに関する。
【背景技術】
【0002】
近年、撮像機能を備えたポータブル端末により撮影した画像を、Web上の画像認識サーバに送信すると、当該サーバにあるデータベースの辞書画像に基づいて撮影した画像が認識され、認識結果に応じた情報が端末に返信されて得られる画像認識サービス(おもてなしサービス)が考えられている(例えば、非特許文献1参照。)。
【0003】
図6は、従来の画面表示システムの構成例を示す機能ブロック図である。
この画面表示システムは、端末管理システム110、画像認識システム130、翻訳処理システム140を有する。
【0004】
端末管理システム110は、端末通信部111、端末制御部112、画像問合部113を有する。画像認識システム130は、画像認識部131、辞書画像記憶部132を有する。ユーザが所持するポータブル端末120は、管理システム通信部121、カメラ(撮像部)122、ディスプレイ(表示部)123を備える。
【0005】
図7は、従来の画面表示システムの動作の一例を示すシーケンス図である。
端末管理システム110の端末通信部111が、ポータブル端末120のユーザ操作によりカメラ122で撮影した認識対象の画像データを受信すると(T101〜T104)、この画像データが端末制御部112に送られる(T105)。端末制御部112は、送られた画像データの認識要求を画像問合部113に出力する(T106)。
【0006】
すると、画像問合部113は、認識対象の画像データを画像認識システム130の画像認識部131に送る(T107)。画像認識部131は、認識対象の画像データと辞書画像記憶部132に記憶されている多数の辞書画像データとの類似度を判定することで画像認識を行ない(T108)、この認識結果(端末管理システム110から送られた画像が文字列を含む画像である場合は、その文字列、端末管理システム110から送られた画像が文字列を含まない画像である場合は、この画像に含まれる物体(例えば花)の名称を示す文字列)を端末制御部112に応答する。(T109,T110)。
そして、端末制御部112は、認識結果で示される文字列の翻訳問い合わせを翻訳処理システム140に出力する(T111)。
【0007】
この翻訳問い合わせを受けて、翻訳処理システム140は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果(翻訳後文字列)を翻訳結果応答として端末制御部112に送る(T112)。
【0008】
端末制御部112は、この翻訳処理結果を取得すると、翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部111を介してポータブル端末120に送信する(T113,T114)。
【0009】
ポータブル端末120の管理システム通信部121は、翻訳後文字列を含む端末画面データをディスプレイ123に表示する。これにより、ユーザは当該表示された翻訳後文字列を確認する(T115,T116)。
【先行技術文献】
【非特許文献】
【0010】
【非特許文献1】NTT技術ジャーナル 2016 Vol.28 No.5 pp57-59「透過型ディスプレイを搭載したシンプルなポータブル端末によるおもてなしサービス実現に向けた技術検証に着手」
【発明の概要】
【発明が解決しようとする課題】
【0011】
上記の画像認識サービスに関連し、画像の認識結果に含まれる文字列を、翻訳処理により例えば日本語から英語に翻訳して、この翻訳結果をポータブル端末に提示する技術があるが、この翻訳結果を提示する際に、ユーザが意図した元文字列とは別の文字列の翻訳結果がポータブル端末に表示されても、ユーザは、これに気付かない可能性がある。
【0012】
具体的には、例えば、案内板に「○○」との文字列(元文字列)が記載されている場合で、この「○○」との文字列をユーザが上記のように撮影して、この文字列を翻訳して「〜Park」という翻訳結果を得られるとする。
【0013】
しかし、ユーザが上記の元文字列を撮影して、この文字列の翻訳結果を得ることを意図していたとしても、上記の「○○」に例えば「**」などの別の種類の文字列が案内板上で隣接しているなどの理由で、この別の文字列を誤って撮影して、この文字列の翻訳結果を得てしまう場合がある。この場合、ユーザは、この翻訳結果が上記の元文字列(「○○」)の翻訳結果であると誤認識してしまう場合がある。特に、上記の元文字列と別の種類の文字列が類似している場合は、上記の翻訳結果の誤認識の可能性が高くなる。
【0014】
本発明の目的は、画像認識に応じた翻訳結果の適切な確認を促すことができる画面表示システム、画面表示方法および画面表示処理プログラムを提供することである。
【課題を解決するための手段】
【0015】
上記目的を達成するために、この発明の実施形態における画面表示システムの第1の態様は、外部の端末により撮影された画像を受信する画像受信手段と、画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶手段と、前記画像受信手段により受信された画像の認識を要求する画像認識要求手段と、前記画像認識要求手段による要求に応答して、前記受信された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力する画像認識手段と、前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記画像認識手段から出力された文字列を翻訳し、前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳する翻訳処理手段と、前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳処理手段による翻訳処理後の文字列および前記翻訳処理手段による翻訳処理前の文字列をそれぞれ含む端末画面を生成し、前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、前記翻訳処理手段による翻訳処理後の文字列を含む端末画面を生成する端末画面生成手段と、前記端末画面生成手段により生成された端末画面を前記外部の端末に送信する端末画面送信手段とを有するシステムを提供する。
【0016】
上記構成のシステムの第2の態様は、第1の態様において、前記端末画面生成手段は、前記翻訳処理手段による翻訳処理後の文字列を含む第1の端末画面、および、前記翻訳処理手段による翻訳処理前の文字列を含む第2の端末画面をそれぞれ生成し、前記端末画面送信手段は、前記生成した第1の端末画面、および前記第2の端末画面が前記外部の端末に順次表示されるように前記外部の端末に送信するシステムを提供する。
【0017】
上記構成のシステムの第3の態様は、第2の態様において、前記端末画面送信手段は、前記生成した第1の端末画面、および前記第2の端末画面が前記外部の端末に交互に繰り返し表示されるように前記外部の端末に送信するシステムを提供する。
【0018】
本発明の実施形態における画面表示方法の第1の態様は、画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶装置を有する画面表示システムに適用される方法であって、端末により撮影された画像を取得し、前記取得された画像の認識を要求し、前記要求に応答して、前記取得された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力し、前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記出力された文字列を翻訳し、前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳し、前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳した後の文字列および前記翻訳する前の文字列をそれぞれ含む端末画面を生成し、前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、翻訳処理後の文字列を含む端末画面を生成し、前記生成された端末画面を前記端末に送信する方法を提供する。
【0019】
上記の方法の第2の態様は、第1の態様において、前記翻訳した後の文字列を含む第1の端末画面、および、前記翻訳する前の文字列を含む第2の端末画面をそれぞれ生成し、前記生成した第1の端末画面、および前記第2の端末画面が前記端末に順次表示されるように前記端末に送信する方法を提供する。
【0020】
上記の方法の第3の態様は、第2の態様において、前記生成した第1の端末画面、および前記第2の端末画面が前記端末に交互に繰り返し表示されるように前記端末に送信する方法を提供する。
【発明の効果】
【0021】
本発明によれば、画像認識に応じた翻訳結果の適切な確認を促すことが可能になる。
【図面の簡単な説明】
【0022】
図1】本発明の第1の実施形態における画面表示システムの構成例を示す機能ブロック図。
図2】本発明の第1の実施形態における画面表示システムの動作の第1の例を示すシーケンス図。
図3】本発明の第1の実施形態における画面表示システムの動作の第2の例を示すシーケンス図。
図4】本発明の第2の実施形態における画面表示システムの動作の一例を示すシーケンス図。
図5】本発明の第3の実施形態における画面表示システムの動作の一例を示すシーケンス図。
図6】従来の画面表示システムの構成例を示す機能ブロック図。
図7】従来の画面表示システムの動作の一例を示すシーケンス図。
【発明を実施するための形態】
【0023】
以下図面により本発明の実施の形態について説明する。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態における画面表示システムの構成例を示す機能ブロック図である。
この画面表示システムは、端末管理システム10、画像認識システム30、翻訳処理システム40を有する。
【0024】
端末管理システム10は、端末通信部11、端末制御部12、画像問合部13を有する。画像認識システム30は、画像認識部31、辞書画像記憶部32を有する。
端末管理システム10、画像認識システム30、翻訳処理システム40は、インターネットなどの通信ネットワークに接続されたサーバ装置によって構成され、当該サーバ装置に内蔵されるCPUがハードディスク等の記憶装置に予め記憶させたサーバ制御プログラム(画像認識システム30については画像認識プログラムを含み、翻訳処理システム40については翻訳処理プログラムを含む)を実行して電子回路各部の動作を制御することで、各部を機能させる。
なお、これらの端末管理システム10、画像認識システム30、翻訳処理システム40の一部または全部は一体の装置であってもよい。
【0025】
端末通信部11は、(1)通信ネットワークを介して接続されるポータブル端末20により撮影された画像データを受信して端末制御部12に送る機能、(2)当該端末制御部12に送られた画像データの認識結果に応じて、当該端末制御部12により生成された端末画面データを画面表示指示と共にポータブル端末20に送信する機能等を有する。
【0026】
端末制御部12は、(1)端末通信部11から送られた画像データの認識を画像問合部13に要求する機能、(2)画像認識システム30から画像データの認識結果を取得する機能、(3)認識結果の種別が文字列である場合は、この文字列の翻訳を翻訳処理システム40に問い合わせる機能、(4)翻訳処理結果を含む端末画面データを生成する機能、(5)端末画面データを端末通信部11に送る機能等を有する。
画像問合部13は、端末制御部12からの画像データの認識要求に応じて当該画像データを画像認識システム30に送る機能等を有する。
【0027】
画像認識システム30の画像認識部31は、(1)画像問合部13から送られた認識対象の画像データと辞書画像記憶部32に記憶されている多数の辞書画像データとの類似度を判定して画像認識し、その認識結果を端末制御部12に応答する機能を有する。
辞書画像記憶部32は、例えば世の中に存在する多種多様な物事を撮影した多数の画像データを当該画像データの内容を示す(表す)情報と共に辞書画像として記憶する。
【0028】
このように構成された端末管理システム10、画像認識システム30、翻訳処理システム40は、CPUが制御プログラムに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるような、各種の機能を実現する。
【0029】
なお、ポータブル端末20は、管理システム通信部21、カメラ(撮像部)22、ディスプレイ(表示部)23を備え、当該ポータブル端末20も同端末20に内蔵されるCPUがフラッシュROM等の記憶装置に予め記憶させた端末制御プログラムを実行して電子回路各部の動作を制御することで、管理システム通信部21、カメラ22、ディスプレイ23の各部を機能させる。
【0030】
管理システム通信部21は、(1)ユーザの操作に応じてカメラ22により撮影された画像データを通信ネットワーク上にあるサーバ装置の端末管理システム10に送信する機能、(2)当該送信した画像データの認識結果に応じた情報を含む端末画面データを端末管理システム10から受信してディスプレイ23に表示させる機能等を有する。
【0031】
次に、上記構成の画面表示システムの動作について説明する。
図2は、本発明の第1の実施形態における画面表示システムの動作の第1の例を示すシーケンス図である。
端末管理システム10の端末通信部11が、ポータブル端末20の利用開始後のユーザ操作により撮影した認識対象の画像データを受信すると(T1〜T4)、この画像データが端末制御部12に送られる(T5)。端末制御部12は、送られた画像データの認識要求を画像問合部13に出力する(T6)。
【0032】
すると、画像問合部13は、認識対象の画像データ(ここでは文字列「〜公園」を含む画像データ)を画像認識システムの画像認識部31に送る(T7)。画像認識部31は、認識対象の画像データと辞書画像記憶部32に記憶されている多数の辞書画像データとの類似度を判定することで画像認識を行ない(T8)、この認識結果(ここでは、上記の文字列「〜公園」を含む画像の当該文字列「〜公園」)およびその種別(認識結果が画像に含まれる文字列であるか否かを示す情報、ここでは「文字列」、または「その他(名称)」)を端末制御部12に応答する。(T9)。
本実施形態では、辞書画像データは、文字列の翻訳を意図した画像であるか否かを示す情報を含み、上記の画像認識において認識結果とされた辞書画像データが、文字列の翻訳を意図した画像であることを示す情報を含む場合は、認識結果とともに応答される上記の種別は、画像に含まれる文字列であることを示す情報(「文字列」)となる。また、上記の画像認識において認識結果とされた辞書画像データが、文字列の翻訳を意図しない画像であることを示す情報を含む場合は、認識結果とともに応答される上記の種別は、画像に含まれる文字列でなく、この画像に含まれる物体の名称を示す情報(「その他(名称)」)となる。
【0033】
そして、端末制御部12は、認識結果の種別が「文字列」であることを確認すると(T10)、認識結果で示される文字列(翻訳前文字列、ここでは「〜公園」)の翻訳問い合わせを翻訳処理システム40に出力する(T11)。
【0034】
この翻訳問い合わせを受けて、翻訳処理システム40は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果(翻訳後文字列、ここでは「〜park」)を翻訳結果応答として端末制御部12に送る(T12)。
【0035】
端末制御部12は、この翻訳処理結果を取得すると、先に得た翻訳前文字列、および翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部11を介してポータブル端末20に送信する(T13,T14)。
【0036】
ポータブル端末20の管理システム通信部21は、ユーザ操作により撮影した画像データの認識による翻訳前文字列および翻訳後文字列を含む端末画面データをディスプレイ23に表示する。これにより、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる(T15,T16)。
【0037】
図3は、本発明の第1の実施形態における画面表示システムの動作の第2の例を示すシーケンス図である。
図3に示す第2の例のシーケンス図において、図2で示した第1の例のシーケンス図と同様の動作部分については、同じ符号T1〜T9を付してその説明を省略する。ただし、認識対象の画像データは、文字列を含まない画像データであるとする。
【0038】
T9の後、端末制御部12は、認識結果の種別が「その他(名称)」、つまり、上記のように、認識対象の画像データが文字列を含まないことを確認すると(T10a)、認識結果で示される文字列(文字列を含まない画像データに含まれる物体(ここでは薔薇の花)の名称としての翻訳前文字列、ここでは「薔薇」)の翻訳問い合わせを翻訳処理システム40に出力する(T11a)。
【0039】
この翻訳問い合わせを受けて、翻訳処理システム40は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果(翻訳後文字列、ここでは「rose」)を翻訳結果応答として端末制御部12に送る(T12a)。
【0040】
端末制御部12は、この翻訳処理結果を取得すると、翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部11を介してポータブル端末20に送信する(T13a,T14a)。
ポータブル端末20の管理システム通信部21は、翻訳後文字列を含む端末画面データをディスプレイ23に表示する(T15a,T16a)。
【0041】
以上のように、本発明の第1の実施形態における画面表示システムによれば、ポータブル端末20により撮影された、文字列(例えば、「〜公園」)を含む画像データを受信して辞書画像記憶部32に記憶されている多数の辞書画像データに基づき画像認識処理した際に、この認識結果としての翻訳前文字列を翻訳して翻訳後文字列(例えば、「〜park」)を得て、これらの翻訳前文字列および翻訳後文字列をあわせてポータブル端末20に同時に表示する。
【0042】
これにより、ユーザが翻訳対象として意図していた文字列と異なる文字列を撮影してしまい、この文字列が翻訳前文字列として認識されたとしても、この翻訳前文字列を翻訳後文字列とを同時に確認できるので、ユーザが意図していた文字列の翻訳結果が得られているか否かを容易に確認することが可能になる。
【0043】
この確認により、翻訳前文字列が、ユーザが意図した文字列と異なる場合、ユーザは、誤った対象物を撮影してしまったことなどに気付くことができ、正しい対象物の再度の撮影を促すことができる。
【0044】
(第2の実施形態)
次に、第2の実施形態について説明する。図4は、本発明の第2の実施形態における画面表示システム動作を示すシーケンス図である。
図4に示す第2の実施形態のシーケンス図において、図2で示した第1の実施形態のシーケンス図と同じ動作部分については、同じ符号T1〜T24を付してその説明を省略する。
【0045】
ただし、T24では、端末制御部12は、この翻訳処理結果を取得すると、先に得た翻訳前文字列を含む第1の端末画面データ、および翻訳後文字列を含む第2の端末画面データをそれぞれ生成し、当該生成した端末画面データと、これらを例えば翻訳前文字列、翻訳後文字列の順、または逆の順で1種類ずつ順次表示させる指示である表示指示信号を端末通信部11を介してポータブル端末20に送信する。
【0046】
ポータブル端末20の管理システム通信部21は、ユーザ操作により撮影した画像データの認識による第1および第2の端末画面データを、表示指示信号で指示された順序でディスプレイ23に表示する。これにより、第1の実施形態と同様に、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる(T15a,T16a,T15b,T16b)。また、第1の実施形態と比較して、ユーザは、表示された翻訳前文字列と翻訳後文字列とを明確に区別できる。
【0047】
(第3の実施形態)
次に、第3の実施形態について説明する。図5は、本発明の第3の実施形態における画面表示システム動作を示すシーケンス図である。
図5に示す第3の実施形態のシーケンス図において、図2で示した第1の実施形態のシーケンス図と同じ動作部分については、同じ符号T1〜T24を付してその説明を省略する。
【0048】
ただし、T24では、端末制御部12は、この翻訳処理結果を取得すると、先に得た翻訳前文字列を含む第1の端末画面データ、および翻訳後文字列を含む第2の端末画面データをそれぞれ生成し、当該生成した端末画面データと、これらを例えば翻訳前文字列、翻訳後文字列の順、または逆の順で1種類ずつ所定回数だけまたは所定時間にわたって繰り返し表示させる(例えば、翻訳前文字列→翻訳後文字列→翻訳前文字列→翻訳後文字列→…)指示である表示指示信号を端末通信部11を介してポータブル端末20に送信する。
【0049】
ポータブル端末20の管理システム通信部21は、ユーザ操作により撮影した画像データの認識による第1および第2の端末画面データを、表示指示信号で指示された順序で所定回数だけ繰り返しディスプレイ23に表示する。これにより、第1の実施形態と同様に、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる(T15c,T16d,T15c,T16d)。また、第1の実施形態と比較して、ユーザは、表示された翻訳前文字列と翻訳後文字列とを明確に繰り返し区別できる。
【0050】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0051】
また、各実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラム(ソフトウエア手段)として、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段(実行プログラムのみならずテーブルやデータ構造も含む)を計算機内に構成させる設定プログラムをも含む。本システムを実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
【符号の説明】
【0052】
10,110…端末管理システム、11,111…端末通信部、12,112…端末制御部、13,113…画像問合部、20,120…ポータブル端末、21,121…管理システム通信部、22,122…カメラ(撮像部)、23,123…ディスプレイ(表示部)、30,130…画像認識システム、31,131…画像認識部、32,132…辞書画像記憶部、40,140…翻訳処理システム。
図1
図2
図3
図4
図5
図6
図7