特許 6038215 コンピュータプログラム、情報検索システム、及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6038215

(24)【登録日】2016年11月11日

(45)【発行日】2016年12月7日

(54)【発明の名称】コンピュータプログラム、情報検索システム、及びその制御方法

(51)【国際特許分類】

   G06F 17/30 20060101AFI20161128BHJP

【ＦＩ】

   G06F17/30 310C

   G06F17/30 170A

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2015-62074(P2015-62074)

(22)【出願日】2015年3月25日

(65)【公開番号】特開2016-181198(P2016-181198A)

(43)【公開日】2016年10月13日

【審査請求日】2015年12月2日

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】000139012

【氏名又は名称】株式会社リクルートホールディングス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】高梨 洋樹

【審査官】 吉田 誠

(56)【参考文献】

【文献】 特開２００５−０２５４７８（ＪＰ，Ａ）

【文献】 特開２００６−２７７１０８（ＪＰ，Ａ）

【文献】 特開平１０−３１２３８１（ＪＰ，Ａ）

【文献】 特開２０００−０２３０１２（ＪＰ，Ａ）

【文献】 特開平１０−２８３３６４（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１１４９８８（ＷＯ，Ａ１）

【文献】 欧州特許出願公開第２５８７３８９（ＥＰ，Ａ１）

【文献】 特開２００６−３１１２９（ＪＰ，Ａ）

【文献】 “【App】Google翻訳アプリがアップデートで凄い！ リアルタイム同時翻訳で海外旅行のお供に最強”，ゴゴ通信，２０１５年 ２月 ７日，ＵＲＬ，http://gogotsu.com/archives/3872

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

Ｇ０６Ｆ １７／２８

(57)【特許請求の範囲】

【請求項1】

ユーザが操作するコンピュータを、
認識及び検索対象ワードを含む画像を取得する撮像部、
前記画像を記憶する記憶部、
前記画像を表示する表示部、
前記画像において、前記ユーザが前記認識及び検索対象ワードを指定するマークとしてガイドラインを付与することを可能ならしめるマーク付与部、
前記画像全体における文字認識を行うことなく、前記ガイドラインに基づいて前記認識及び検索対象ワードを認識し、該認識及び検索対象ワードのテキストデータを取得する認識部、及び、
翻訳システムに前記認識及び検索対象ワードのテキストデータを引き渡し、検索システムに前記翻訳システムによる翻訳結果を引き渡し、且つ、前記検索システムから前記認識及び検索対象ワードに関連する情報を取得する翻訳検索部、
として機能させ、
前記表示部が、前記認識及び検索対象ワードの認識結果のテキスト及び翻訳結果のテキスト、並びに、前記認識及び検索対象ワードに関連する情報としての検索結果のテキスト及び検索結果の画像を、一画面に表示する、
コンピュータプログラム。

【請求項2】

前記認識部は、前記画像において前記ガイドラインを基準とする所定の範囲の画像処理を行う、
請求項１記載のコンピュータプログラム。

【請求項3】

前記認識及び検索対象ワードが、日本語である、
請求項１記載のコンピュータプログラム。

【請求項4】

認識及び検索対象ワードに関連する情報を、ユーザが操作するクライアント装置を介して該ユーザへ提供する情報検索システムであって、
前記認識及び検索対象ワードを含む画像を取得する撮像部と、
前記画像を記憶する記憶部と、
前記画像を表示する表示部と、
前記画像において、前記ユーザが前記認識及び検索対象ワードを指定するマークとしてガイドラインを付与することを可能ならしめるマーク付与部と、
前記画像全体における文字認識を行うことなく、前記ガイドラインに基づいて前記認識及び検索対象ワードを認識し、該認識及び検索対象ワードのテキストデータを取得する認識部と、
翻訳システムに前記認識及び検索対象ワードのテキストデータを引き渡し、検索システムに前記翻訳システムによる翻訳結果を引き渡し、且つ、前記検索システムから前記認識及び検索対象ワードに関連する情報を取得する翻訳検索部と、
を備え
前記表示部が、前記認識及び検索対象ワードの認識結果のテキスト及び翻訳結果のテキスト、並びに、前記認識及び検索対象ワードに関連する情報としての検索結果のテキスト及び検索結果の画像を、一画面に表示する、
情報検索システム。

【請求項5】

認識及び検索対象ワードに関連する情報を、ユーザが操作するクライアント装置を介して該ユーザへ提供する情報検索システムの制御方法であって、
撮像部により、前記認識及び検索対象ワードを含む画像を取得し、
記憶部により、前記画像を記憶し、
表示部により、前記画像を表示し、
マーク付与部により、前記画像において、前記ユーザが前記認識及び検索対象ワードを指定するマークとしてガイドラインを付与することを可能ならしめ、
認識部により、前記画像全体における文字認識を行うことなく、前記ガイドラインに基づいて前記認識及び検索対象ワードを認識し、該認識及び検索対象ワードのテキストデータを取得し、
翻訳検索部により、翻訳システムに前記認識及び検索対象ワードのテキストデータを引き渡し、検索システムに前記翻訳システムによる翻訳結果を引き渡し、且つ、前記検索システムから前記認識及び検索対象ワードに関連する情報を取得し、
前記表示部により、前記認識及び検索対象ワードの認識結果のテキスト及び翻訳結果のテキスト、並びに、前記認識及び検索対象ワードに関連する情報としての検索結果のテキスト及び検索結果の画像を、一画面に表示する、
情報検索システムの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータプログラム、情報検索システム、及びその制御方法に関する。

【背景技術】

【0002】

例えば、外国人旅行者や居住して間もない外国人（以下まとめて単に「外国人」という）が、異国の地で外食する際、飲食店のメニューは、その国の言語で記載されていることが多いため、その飲食メニューに記載されている料理等の内容をすぐに且つ正確に理解することは通常難しい。その場合、外国人は、辞書、翻訳装置（例えば特許文献１）、ウェブ上の翻訳エンジンやポータルサイト等を使って、複数（場合によってな非常に多数）のメニューの内容を一旦母国語に翻訳してから、所望のメニューを選択する必要がある。また、飲食メニューに限らず、外国人が母国語とは異なる言語で記載された事項の内容を知りたい場合も、同様である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−０１６７５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、辞書、翻訳装置、翻訳エンジン等を用いて複数の事項を母国語に変換する作業は、非常に手間がかかってしまう。また、そもそも、外国人が母国語と異なる言語を判読できない場合には、辞書、翻訳装置、翻訳エンジン等を用いることもできない可能性が非常に高い。例えば、日本語に馴染みがない外国人が、日本語で書かれた飲食メニュー（複雑なフォントや手書きで書かれたもの多々ある）の「読み方」を知らなければ、翻訳装置や翻訳エンジンへの入力すらできない。

【0005】

その一方で、従来知られているＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ:光学式文字読取装置）による読み取り方式を利用し、文字を含む撮像画像に含まれる事項をテキストデータに変換し、そのテキストデータをウェブ上の翻訳エンジンや検索エンジン、或いはそれらの機能を有するポータルサイトへ入力することにより、その内容を調べる方法も考えられる。しかし、この場合、一般的には、画像に含まれる全ての文字を認識してテキストデータを一旦取得した後、目的の事項に相当するテキストを取捨選択してから、翻訳エンジンや検索エンジンを利用することとなる。したがって、ＯＣＲ変換の際に、画像に含まれる情報全体の認識が必要なるため、データ量が多くなってしまうとともに、使い勝手も決してよいとは言えない。

【0006】

そこで、本発明は、かかる事情に鑑みてなされたものであり、外国人の母国語とは異なる言語で記載された検索対象ワードの情報を得る際に、検索対象ワードの認識における処理負荷及びデータ量を低減することにより、翻訳処理及び検索処理の迅速化に資するとともに、更に改良されたユーザインターフェイスを実現することが可能なコンピュータプログラム、情報検索システム、及びその制御方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一態様によるコンピュータプログラムは、ユーザが操作するコンピュータを、検索対象ワードを含む画像を取得する撮像部、その画像を記憶する記憶部、その画像を表示する表示部、その表示された画像において、ユーザが検索対象ワードを指定するマークを、例えば、その検索対象マークに対応する位置に付与することを可能ならしめるマーク付与部、及び、その付与されたマークに基づいて検索対象ワードを認識し、その検索対象ワードのテキストデータを取得する認識部として機能させるものである。

【0008】

また、本発明の一態様によるコンピュータプログラムは、コンピュータを、翻訳システムに前記検索対象ワードのテキストデータ引き渡し、検索システムに前記翻訳システムによる翻訳結果を引き渡し、且つ、前記検索システムから前記検索対象ワードに関連する情報を取得する翻訳検索部として機能させ、表示部が、その翻訳検索部によって取得された検索対象ワードに関連する情報を表示するように構成されてもよい。

【0009】

より具体的には、例えば、認識部が、上記の画像（検索対象ワードを含む画像）においてマークを基準とする所定の範囲の画像処理を行うように構成することができる。

【0010】

ここで、マークの種類は特に制限されず、例えば、開いた図形（両端を有する線等）又は閉じた図形（無端の円形、矩形、丸、三角、四角、多角等）である。

【0011】

さらに、検索対象ワードの言語も特に制限されず、例えば、それが日本語である場合に、本発明は極めて有用である。

【0012】

また、本発明の一態様による情報検索システムは、検索対象ワードに関連する情報を、ユーザが操作するクライアント装置を介してユーザへ提供するシステムであって、検索対象ワードを含む画像を取得する撮像部と、その画像を記憶する記憶部と、その画像を表示する表示部と、その画像において、ユーザが検索ワードを指定するマークを、例えば、その検索対象マークに対応する位置に付与することを可能ならしめるマーク付与部と、そのマークに基づいて検索対象ワードを認識し、その検索対象ワードのテキストデータを取得する認識部と、翻訳システムに検索対象ワードのテキストデータを引き渡し、検索システムに翻訳システムによる翻訳結果を引き渡し、且つ、検索システムから検索対象ワードに関連する情報を取得する翻訳検索部とを備えており、表示部が、その翻訳検索部によって取得された検索対象ワードに関連する情報を表示する。

【0013】

また、本発明の一態様による情報検索システムの制御方法は、検索対象ワードに関連する情報を、ユーザが操作するクライアント装置を介してそのユーザへ提供する情報検索システムを制御する方法であって、撮像部により、検索対象ワードを含む画像を取得し、記憶部により、その画像を記憶し、表示部により、その画像を表示し、マーク付与部により、その画像において、ユーザが検索対象ワードを指定するマークを、例えば、その検索対象マークに対応する位置に付与することを可能ならしめ、認識部により、そのマークに基づいて検索対象ワードを認識し且つ検索対象ワードのテキストデータを取得し、翻訳検索部により、翻訳システムに検索対象ワードのテキストデータを引き渡し、検索システムに翻訳システムによる翻訳結果を引き渡し、且つ、検索システムから検索対象ワードに関連する情報を取得し、表示部により、翻訳検索部によって取得された検索対象ワードに関連する情報を表示する。

【発明の効果】

【0014】

本発明によれば、検索対象ワードを含む画像を取得し且つ記憶し、表示されたその画像において、ユーザが検索対象ワードに対応する位置に自らマークを付与し、その付与されたマークに基づいて検索対象ワードを認識してそのテキストデータを取得することができる。したがって、画像全体の画像処理による文字認識が不要となり、ユーザが意図した検索対象ワードの認識を確実に実施することができるので、外国人の母国語とは異なる言語で記載された検索対象ワードの情報を得る際に、検索対象ワードの認識における処理負荷及びデータ量を低減することができる。また、これにより、翻訳処理及び検索処理の迅速化に資するとともに、更に改良されたユーザインターフェイスを実現することが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明による情報検索システムに係るネットワーク構成の好適な一実施形態を概略的に示すシステムブロック図である。

【図2】本発明による情報検索システムにおけるサーバ装置の好適な一実施形態の構成を概略的に示すブロック図である。

【図3】本発明による情報検索システムにおけるクライアント装置の好適な一実施形態の構成を概略的に示すブロック図である。

【図4】本発明による情報検索システムによって提供される検索サービスにおける基本的な処理の流れを示すフローチャートである。

【図5】（Ａ）〜（Ｅ）は、クライアント装置における表示画面の遷移の一例を示す平面図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。またさらに、必要に応じて示す上下左右等の位置関係は、特に断らない限り、図示の表示に基づくものとする。さらにまた、図面における各種の寸法比率は、その図示の比率に限定されるものではない。また、以下においては、理解を容易にするべく、検索ワードが日本語である実施の形態を例にとって説明するが、上述の如く、本発明はそれに限定されない。

【0017】

図１は、本発明による情報検索システムに係るネットワーク構成の好適な一実施形態を概略的に示すシステムブロック図である。情報検索システム１００は、ネットワーク２０を介して単数又は複数のクライアント装置３０（図示においては複数記載）に接続された検索サービスを提供するサーバ装置１０を備える。

【0018】

サーバ装置１０は、検索サービスを提供する機能の一部を有するネットワークノードであり、例えば、演算処理能力の高いホストコンピュータによって構成され、そのホストコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を発現するものである。本実施形態では、サーバ装置１０は、後述する検索対象ワードを翻訳する翻訳システム（翻訳エンジンや翻訳機能を有するポータルサイト等）、及び、検索システム（翻訳エンジンや翻訳機能を有するポータルサイト等）を提供する装置である。ここで、サーバ装置１０を構成するためのコンピュータは、ホストコンピュータに制限されず、例えば、汎用の通信端末装置によって構成されてもよい。また、サーバ装置１０を構成するホストコンピュータは、必ずしも１台である必要はなく、ネットワーク２０上に分散する複数のサブコンピュータから構成されてもよい。

【0019】

一方、ネットワーク２０は、例えば、有線ネットワーク（近距離通信網（ＬＡＮ）、広域通信網（ＷＡＮ）、又は付加価値通信網（ＶＡＮ）等）と無線ネットワーク（移動通信網、衛星通信網、ブルートゥース、ＷｉＦｉ(Wireless Fidelity)、ＨＳＤＰＡ(High Speed Downlink Packet Access)等）が混在して構成される通信網である。他方、クライアント装置３０は、検索サービスの提供を受ける機能を有するネットワークノードであり、例えば、ユーザが使用する汎用の通信端末装置によって構成される。

【0020】

このように構成された情報検索システム１００において、ユーザが操作するクライアント装置３０から、サーバ装置１０へのリクエスト（クエリ、要求等）信号が出力され、そのリクエスト信号が、ネットワーク２０経由でサーバ装置１０へ送信される。クライアント装置３０からのリクエスト信号を受信したサーバ装置１０は、そのリクエストに応じたレスポンス信号をクライアント装置３０へ返信し、そのレスポンス信号が、ネットワーク２０経由でクライアント装置３０へ送信される。これらの信号のやり取りにより、検索サービスの提供の一部が実現される。

【0021】

なお、本明細書においては、上述のとおり、演算処理能力の大小に拘わらず、検索サービスの一部を提供するネットワークノードを「サーバ装置」と称し、検索サービスの提供を受けるネットワークノードを「クライアント装置」と称する。また、サーバ装置１０とクライアント装置３０との間には、両者間の通信プロトコルを変換するゲートウェイサーバ等が介在してももちろんよい。

【0022】

さらに、サーバ装置１０又はクライアント装置３０を構成する汎用の通信端末装置としては、例えば、デスクトップ型パソコン、ノート型パソコン、タブレット型パソコン、ラップトップ型パソコン、スマートフォン等を含む携帯電話機が挙げられる。より具体的には、携帯電話機としては、ＰＤＣ（Personal Digital Cellular）、ＰＣＳ（Personal Communication System）、ＧＳＭ（登録商標）（Global System for Mobile communications）、ＰＨＳ（Personal Handy phone System）、ＰＤＡ（Personal Digital Assistant）等のハンドヘルド携帯端末を例示することができる。さらに、それらの携帯電話機におけるデータ通信方式として、例えば、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ−２０００（Code Division Multiple Access-2000）、ＩＭＴ−２０００（International Mobile Telecommunication-2000）、Ｗｉｂｒｏ（Wireless Broadband Internet）等の規格を挙げることができる。

【0023】

図２は、本発明による情報検索システムにおけるサーバ装置の好適な一実施形態の構成を概略的に示すブロック図である。同図に示す如く、サーバ装置１０は、プロセッサ１１、通信インタフェース１２、及び記憶資源１３を備える。プロセッサ１１は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット及び各種レジスタ（プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等）から構成され、記憶資源１３に格納されている本発明によるコンピュータプログラム４０を解釈及び実行し、単数又は複数のクライアント装置３０からのリクエストに対するレスポンスを返す。また、通信インタフェース１２は、ネットワーク２０を介してクライアント装置３０に接続するためのハードウェアモジュールであり、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。

【0024】

コンピュータプログラム４０は、複数のクライアント装置３０からのリクエストに応答して一連の情報検索処理（主として翻訳と検索）を行うためのプログラムであり、サーバ装置１０のメインプログラム（上述したサーバ用プログラム等）の動作中に適宜呼び出されて実行される複数のソフトウェアモジュールを備える。かかるソフトウェアモジュールは、それぞれ特定の処理を実行するためにモジュール化されたサブプログラムであり、例えば、プロシージャ、サブルーチン、メソッド、関数、及びデータ構造等を用いて作成されたものである。なお、「モジュール」とは、その部分だけでコンパイル可能な単位を示す（但し、これに制限されない）。

【0025】

具体的には、コンピュータプログラム４０は、検索サービスに含まれる種々の制御演算処理（例えば、検索対象ワードの認識、翻訳、及び検索における処理）を行う制御モジュール４１、及び、制御モジュール４１による処理結果等をクライアント装置３０に表示するための画像生成やその表示処理を行う画像モジュール４２のほか、ネットワーク２０との通信処理等を行うモジュールを備える。

【0026】

また、記憶資源１３には、制御モジュール４１が検索サービスに含まれる種々の制御演算処理を行う際に必要なパラメータ（例えば、検索対象ワードの認識で用いられるアルゴリズムの実行に必要なパラメータ等）、画像モジュール４２が画像生成やその表示処理を行う際のレイアウトや画面倍率操作等に必要なパラメータといった演算パラメータ５０が記憶されている。

【0027】

また、記憶資源１３は、例えば、物理デバイス（例えば、ディスクドライブ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体）の記憶領域が提供する論理デバイスである。複数の物理デバイスを１つの論理デバイスにマッピングしてもよく、或いは１つの物理デバイスを複数の論理デバイスにマッピングしてもよい。この記憶資源１３には、各クライアント装置３０のアクセス履歴、過去の検索対象ワード等を示すデータやログ等が保存されてもよい。

【0028】

図３は、本発明による情報検索システムにおけるクライアント装置の好適な一実施形態の構成を概略的に示すブロック図である。クライアント装置３０は、プロセッサ３１、音声出力デバイス３２、通信インタフェース３３、記憶資源３４、入力デバイス３５、表示デバイス３６、カメラ３７を備える。

【0029】

プロセッサ３１は、算術論理演算ユニット及び各種レジスタ（プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等）から構成され、記憶資源３４に格納されているプログラム６０（例えば、スマートフォンにインストールされた本発明による情報検索のためのアプリケーションプログラム）を解釈及び実行し、入力デバイス３５に入力された操作情報に従ってサーバ装置１０にリクエストを送信し、サーバ装置１０からのレスポンスを受信する。このプログラム６０は、具体的には、サーバ装置１０に接続して翻訳及び検索サービスの提供を受けるためのアプリケーションプログラムである。このアプリケーションプログラムは、例えばサーバ装置１０からネットワーク２０を通じて配信可能である。

【0030】

記憶資源３４は、物理デバイス（例えば、ディスクドライブ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体）の記憶領域が提供する論理デバイスであり、クライアント装置３０の処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、各種データ等も格納する。ドライバプログラムとしては、例えば、入力デバイス３５を制御するための入力デバイスドライバプログラムや、音声出力デバイス３２及び表示デバイス３６を制御するための出力デバイスドライバプログラム等が挙げられる。各種データとしては、例えば、検索サービスのメニュー表示の履歴や検索対象ワードの情報が掲載されているウェブページの履歴データ等が挙げられる。

【0031】

音声出力デバイス３２は、例えば、一般的なサウンドデータを再生可能なサウンドプレイヤである。また、通信インタフェース３３は、サーバ装置１０との接続インタフェースを提供するものであり、無線通信インタフェース又は有線通信インタフェースから構成される。さらに、入力デバイス３５は、ユーザからの入力操作を受け付けるインタフェースを提供するものであり、タッチパネル、キーボード、マウス等を例示することができる。また、表示デバイス３６は、検索サービス画面等の画像表示インタフェースをユーザに提供するものであり、例えば、有機ＥＬディスプレイ、液晶ディスプレイ、ＣＲＴディスプレイ等が挙げられる。さらに、カメラは、検索対象ワードを含む被写体の静止画像を撮像するためのものである。

【0032】

以上の例示の如く構成された本発明による情報検索システム１００を用いた検索サービスの提供における具体的な手順の一例について、図４及び図５を参照して更に説明する。図４は、本発明による情報検索システムによって提供される検索サービスにおける基本的な処理の流れを示すフローチャートであり、図５（Ａ）〜（Ｅ）は、その際のクライアント装置における表示画面の遷移及び処理の一例を示す平面図である。なお、図４においては、縦破線の向かって左側に、図５の表示画面の遷移及び処理に対応したクライアント装置における画面の表示処理を時系列的に示し、縦破線の向かって右側には、ユーザによるクライアント装置の操作を時系列的に示す。

【0033】

まず、ユーザが、クライアント装置３０にインストールされたアプリケーションプログラムの中から、本発明による情報検索システムを実行及び制御するためのアプリケーションプログラムであるプログラム６０を起動する（ステップＳＵ１）。このとき、プログラム６０の選択は、例えば、クライアント装置３０における表示デバイス３６のディスプレイ６１に表示されたアイコン等をタップや押下等することにより行う。

【0034】

プログラム６０が起動されると、クライアント装置３０の表示デバイス３６（表示部）に、図５（Ａ）に一例を示す起動画面が表示される（ステップＳＣ１）とともに、記憶資源３４（記憶部）に記憶された各種データがロードされる（かかるデータのロードが不要であってもよい）。データロードが完了すると、ディスプレイ６１には、ユーザの操作なしで自動的に図５（Ｂ）に示すカメラ画面が表示される（ステップＳＣ２）。

【0035】

ここで、本実施形態では、図５（Ｂ）に示す如く、日本語で書かれた飲食メニューが、被写体としてディスプレイ６１に表示されており、被写体を撮影するためのカメラボタン６３も、その被写体画像に重なるように表示されている。ユーザが、カメラボタン６３を押下して、飲食メニューのなかから意味を知りたいと想起したワード（検索対象ワード）を含む画像をカメラ（撮像部）で撮影すると（ステップＳＵ２）、撮影された画像が一旦記憶資源３４に保存された後、ディスプレイ６１に直ちに表示され、その表示画面の所定領域には、検索対象ワードの下方にガイドライン６４ａ（マーク）を引くことをユーザに促すメッセージ６４が表示される（図５（Ｃ））。つまり、ディスプレイ６１には、プロセッサ３１（マーク付与部）の指令により、検索対象ワード指定画面が表示される（ステップＳＣ３）。

【0036】

このとき、ユーザは、例えば指やスタイラスペンでディスプレイ６１の表面をなぞることにより、画像における検索対象ワードの下方にガイドライン６４ａを引くことができる（ステップＳＵ３）。図５（Ｃ）には、検索対象ワードとしてカタカナで手書き且つ横書きされた「チーズ」が認識対象文字として指定され、その文字に沿ってその下方にガイドライン６４ａが描画された状態を示す。

【0037】

ユーザがガイドライン６４ａを引き終わると、プロセッサ３１（認識部）は、そのガイドライン６４ａを基準とする所定の範囲を画像処理によって文字認識するべき領域６４ｂと判定する。続いて、プロセッサ３１（翻訳検索部）は、画像処理、機械学習、及び言語処理（認識結果補正）による文字認識を行い、領域６４ｂに記載された検索対象ワードが「チーズ」であることを認識する（ここまでステップＳＣ４）。

【0038】

この際の画像処理による文字認識の処理内容は、特に制限されず、例えば、一般的なＯＣＲ技術に代表される画像認識系アプリケーションを適用することができ、或いは、ＯＣＲ技術に代えて、データ学習を用いられるいわゆるディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技術を適用することもできる。かかるディープラーニング技術を含む文字認識は、例えば、画像処理、機械学習、及び言語処理（認識結果補正）のステップから構成することができ、それらの各ステップにおける処理内容は例えば以下のとおりである。

【0039】

＜画像処理＞
・ピクセル空間フィルタによる前処理及びＮＬＢｌａｃｋフィルタによる画像２値化
・濃度分布を使ったユーザ指定補助線（ガイドライン６４ａ）に応じたテキストブロック（図５（Ｃ）の例では、領域６４ｂ中の「チーズと」の部分）切り出し
・射影分布情報を用いたオブジェクト矩形切り出し
・アスペクト比分位数に基づいたオブジェクト矩形結合による文字矩形抽出
＜機械学習＞
・歪み及びノイズ付与によるフォント画像のデータ空間拡張
・Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｄｅｎｏｓｉｎｇ ＡｕｔｏＥｎｃｏｄｅｒ（ディープラーニング）を用いた教師なし像画像空間学習
・Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ディープラーニング）による文字種識別器の教師あり学習
・文字種頻度分布を利用したＳｏｆｔｍａｘスコアのドキュメント空間適応補正
＜言語処理（認識結果補正）＞
・ウェブ上の情報を用いた例えば飲食メニュー等に特化したＮ−ｇｒａｍ頻度分布の作成
・Ｎ−ｇｒａｍを併用した滑走窓を用いた認識スコア補正アルゴリズム
・一般語辞書を使った貧欲法による最適パス探索を用いた認識結果の最終補正

【0040】

このようにして、ステップＳＣ４において検索対象ワードである「チーズ」の認識が行われ、そのテキストデータが得られる。次で、プロセッサ３１は、「チーズ」のテキストデータを、ウェブ上に存在する又はスタンドアロンで動作する翻訳システムに引き渡す処理を行い、その翻訳システムによって、「チーズ」を異国語、例えば英語であれば「Ｃｈｅｅｓｅ」に翻訳する（ステップＳＣ５）。さらに、プロセッサ３１は、得られた翻訳ワード「Ｃｈｅｅｓｅ」をウェブ上に存在する又はスタンドアロンで動作する検索システムに引き渡す処理を行い、その検索エンジンによって、検索対象ワードの翻訳ワードである「Ｃｈｅｅｓｅ」に関連する情報を取得する（ステップＳＣ６）。それから、プロセッサ３１は、こうして得られた検索対象ワードに関連する情報を含む画像をディスプレイ６１に表示する（ステップＳＣ７）。

【0041】

図５（Ｄ）及び図５（Ｅ）は、ステップＳＣ７において表示されるディスプレイ６１の画面の一例である。図５（Ｄ）において、例えば、画面の上方には、日本語の検索対象ワード６６ｊである「チーズ」、及びその英語の翻訳ワード６６ｅである「Ｃｈｅｅｓｅ」が表示される。また、それらの下方の領域６６には、「Ｃｈｅｅｓｅ」のテキスト検索結果である英文テキスト６６ｔが表示される。さらに、その下方の領域６７には、「Ｃｈｅｅｓｅ」の画像検索結果である画像６７ｔが表示される。

【0042】

また、図５（Ｄ）における領域６６と領域６７の間には、遷移ボタン６２ａが表示されており、ユーザがその遷移ボタン６２ａを押下することにより、検索対象ワード６６ｊについての更なる検索結果がディスプレイ６１に表示される。図５（Ｅ）は、そのような更なる検索結果の表示画面（例えばウェブページ）の一例であり、画面の上方の領域６８には、検索対象ワード６６ｊ及び／又は翻訳ワード６６ｅを含むテキストヘッダー６８ｔが表示され、その下方の領域６９には、更なる関連情報６９ｔが表示される。

【0043】

さらに、これらの図５（Ａ）〜（Ｅ）に示す各画面には、戻るボタン６２ｂ及びホームボタン６２ｃも用意されている。ユーザは、戻るボタン６２ｂを押下することにより、随時、直前の画面を再表示させて閲覧することができ、ホームボタン６２ｃを押下することにより、図５（Ｂ）に示すカメラ画面へ一気に戻入することもできる。よって、ユーザが別の検索対象ワードに関連する情報を調べたい場合には、かかる戻るボタン６２ｂにより、図５（Ｂ）に示すカメラ画面又は図５（Ｃ）に示す検索対象ワード指定画面へ戻り、或いは、ホームボタン６２ｃを押下して、図５（Ｂ）に示すカメラ画面へ戻り、上述したステップＳＣ２，ＳＣ３からの一連の処理を再度実行することができる。一方、検索サービスの利用を終了する際には、ユーザの操作によりアプリケーションを終了する（ステップＳＵ４）。

【0044】

このように構成されたプログラム６０、情報検索システム１００、及びその制御方法によれば、クライアント装置３０のカメラでユーザが撮影した検索対象ワード６６ｊを含む被写体の画像をディスプレイ６１に表示した画面（検索対象ワード指定画面；図５Ｃ）において、ユーザがガイドライン６４ａ（マーク）を引くことにより、検索対象ワード６６ｊを指定することができる。そして、ユーザによって付与されたそのガイドライン６４ａに基づいて、所定の範囲である領域６４ｂの画像処理によって文字認識を行う（ステップＳＣ４）ので、撮影した画像全体の画像処理による文字認識が不要となり、ユーザが意図した検索対象ワード６６ｊの認識を確実に実施することができる。

【0045】

その結果、外国人の母国語とは異なる言語で記載された検索対象ワード６６ｊに関連する情報（図５（Ｄ）及び（Ｅ））を得る際に、検索対象ワード６６ｊの認識における処理負荷及びデータ量を低減することができる。また、これにより、翻訳処理及び検索処理の迅速化に資するとともに、更に改良されたユーザインターフェイスを実現することが可能となる。

【0046】

また、検索対象ワード６６ｊが日本語である場合、横書きと縦書き、更には斜め書きが存在し、また、それらが混在することが多々ある。これに対し、本発明によれば、検索対象ワード６６ｊを指定する際に、ユーザが検索対象ワード６６ｊに沿ってガイドライン６４ａを引いた上で、そのガイドライン６４ａに基づいて画像処理を行う領域６４ｂを画定する。よって、本発明は、検索対象ワード６６ｊが日本語である場合でも、その書き方の方向を問わず、検索対象ワード６６ｊを精度よく認識することができる。

【0047】

なお、上述したとおり、上記の各実施形態は、本発明を説明するための一例であり、本発明をその実施形態に限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。例えば、当業者であれば、実施形態で述べたリソース（ハードウェア資源又はソフトウェア資源）を均等物に置換することが可能であり、そのような置換も本発明の範囲に含まれる。

【0048】

また、より具体的には、検索対象ワードを指定するマーク（指定補助線）は、ガイドライン６４ａの如く、両端を有する開いた図形でもよいが、これに限らず、円形や矩形といった無端又は無端状の閉じた図形であってもよい。何れにしても、かかるマークを基準として、画僧処理により文字認識をするべき範囲を画定することができるので、上述した本発明による有利な作用効果を得ることができる。さらに、検索対象ワードは、飲食メニューに限られない。

【産業上の利用可能性】

【0049】

本発明によれば、画像全体の画像処理による文字認識が不要となり、ユーザが意図した検索対象ワードの認識を確実に実施することができる。これにより、外国人の母国語とは異なる言語で記載された検索対象ワードの情報を得る際に、検索対象ワードの認識における処理負荷及びデータ量を低減することができる。その結果、翻訳処理及び検索処理の迅速化に資するとともに、更に改良されたユーザインターフェイスを実現することが可能となる。したがって、本発明は、情報検索技術、及び、検索サービスを提供する分野における、プログラム、システム、及び方法の設計、製造、提供、販売等の活動に広く利用することができる。

【符号の説明】

【0050】

１０ サーバ装置
１１ プロセッサ
１２ 通信インタフェース
１３ 記憶資源
２０ ネットワーク
３０ クライアント装置
３１ プロセッサ
３２ 音声出力デバイス
３３ 通信インタフェース
３４ 記憶資源
３５ 入力デバイス
３６ 表示デバイス
４０ コンピュータプログラム
４１ 制御モジュール
４２ 画像モジュール
５０ 演算パラメータ
６０ プログラム（コンピュータプログラム）
６１ ディスプレイ
６２ａ 遷移ボタン
６２ｂ 戻るボタン
６２ｃ ホームボタン
６３ カメラボタン
６４ メッセージ
６４ａ ガイドライン
６４ｂ 領域
６６ 領域
６６ｅ 翻訳ワード
６６ｊ 検索対象ワード
６６ｔ 英文テキスト
６７ 領域
６７ｔ 画像
６８ 領域
６８ｔ テキストヘッダー
６９ 領域
６９ｔ 関連情報
１００ 情報検索システム
ＳＣ１〜ＳＣ７ ステップ
ＳＵ１〜ＳＵ４ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】