特開 2024-39177 表示内容通知プログラム、表示内容通知装置、表示内容通知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024039177

(43)【公開日】2024-03-22

(54)【発明の名称】表示内容通知プログラム、表示内容通知装置、表示内容通知方法

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20240314BHJP

   G06T 7/00 20170101ALI20240314BHJP

   G06F 3/0487 20130101ALI20240314BHJP

   B41J 29/42 20060101ALI20240314BHJP

【ＦＩ】

G06F3/04815

G06T7/00 300F

G06F3/0487

B41J29/42 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022143533

(22)【出願日】2022-09-09

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100179475

【弁理士】

【氏名又は名称】仲井 智至

(74)【代理人】

【識別番号】100216253

【弁理士】

【氏名又は名称】松岡 宏紀

(74)【代理人】

【識別番号】100225901

【弁理士】

【氏名又は名称】今村 真之

(72)【発明者】

【氏名】平野 智之

【テーマコード（参考）】

2C061

5E555

5L096

【Ｆターム（参考）】

2C061AQ05

5E555AA43

5E555BA06

5E555BA27

5E555BB06

5E555BB27

5E555BC17

5E555CA42

5E555CB45

5E555CC03

5E555DB03

5E555DB42

5E555DC13

5E555DD04

5E555EA22

5E555FA00

5L096AA02

5L096AA06

5L096CA02

5L096DA02

5L096DA04

5L096FA15

5L096FA66

5L096FA69

5L096FA72

5L096JA11

(57)【要約】

【課題】電子機器の機種に応じた適切な案内を行うことができない。
【解決手段】カメラを備えたコンピューターを制御するプログラムであって、前記カメラが対象機器を撮影した画像を解析して、前記対象機器の機種を特定する解析機能と、特定した機種に対応した翻訳ルールを複数の翻訳ルールの中から特定し、特定した翻訳ルールに基づいて前記画像に含まれる前記対象機器の表示内容を翻訳する翻訳機能と、翻訳結果をユーザーに通知する通知機能と、をコンピューターに実行させる表示内容通知プログラムを構成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラを備えたコンピューターを制御するプログラムであって、
前記カメラが対象機器を撮影した画像を解析して、前記対象機器の機種を特定する解析機能と、
特定した機種に対応した翻訳ルールを複数の翻訳ルールの中から特定し、特定した翻訳ルールに基づいて前記画像に含まれる前記対象機器の表示内容を翻訳する翻訳機能と、
翻訳結果をユーザーに通知する通知機能と、
をコンピューターに実行させる表示内容通知プログラム。

【請求項2】

前記解析機能は、前記画像に含まれるボタン・ＬＥＤ・液晶のうちの複数の位置を特定し、特定した複数の位置の相対位置に基づいて前記機種を特定する請求項１に記載の表示内容通知プログラム。

【請求項3】

前記解析機能は、前記カメラが撮影した焦点距離の情報を取得し、前記焦点距離から特定した複数の位置の相対距離を算出し、前記相対距離に基づいて前記機種を特定する、
請求項２に記載の表示内容通知プログラム。

【請求項4】

前記解析機能は、前記画像に含まれる前記機種の模様を識別することで前記機種を特定する、
請求項１に記載の表示内容通知プログラム。

【請求項5】

前記模様は機種名を示す文字列である、
請求項４に記載の表示内容通知プログラム。

【請求項6】

前記解析機能は、共通の翻訳ルールを使用する複数の機種の内のいずれの機種であるかを特定する、
請求項１に記載の表示内容通知プログラム。

【請求項7】

前記画像は動画像である、
請求項１に記載の表示内容通知プログラム。

【請求項8】

前記翻訳機能は、前記対象機器の表示内容を、前記コンピューターのオペレーティングシステムに設定されている言語に翻訳し、
前記通知機能は前記翻訳結果をディスプレイに表示する、
請求項１に記載の表示内容通知プログラム。

【請求項9】

ライブビュー動画に重ねて、前記対象機器を写し込む位置を示す補助線を表示させる撮影補助機能を備える、
請求項１に記載の表示内容通知プログラム。

【請求項10】

対象機器を撮影するカメラと、
前記カメラが撮影した画像を翻訳した翻訳結果をユーザーに通知する通知部と、
を備え、
前記翻訳結果は、前記画像の解析によって特定した前記対象機器の機種に対応した翻訳ルールを用いて行った翻訳の結果である、
表示内容通知装置。

【請求項11】

カメラで対象機器を撮影させ、
撮影した画像に含まれる表示内容を翻訳した翻訳結果をユーザーに通知する、
表示内容通知方法であって、
前記翻訳結果は、撮影した前記画像の解析によって特定した前記対象機器の機種に対応した翻訳ルールを用いて行った翻訳の結果である、
表示内容通知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示内容通知プログラム、表示内容通知装置、表示内容通知方法に関する。

【背景技術】

【0002】

従来、何らかの情報を通知するために点灯や点滅する複数のＬＥＤを備える電子機器について、ＬＥＤ部分をスマートフォン等が読み取り読み取った画像を分析して人間が理解できるメッセージで表現する手法が知られている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１７７７６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の技術では、電子機器の機種が特定されないため、機種に応じた適切な案内を行うことができない。

【課題を解決するための手段】

【0005】

上記課題を解決するための表示内容通知プログラムは、カメラを備えたコンピューターを制御するプログラムであって、カメラが対象機器を撮影した画像を解析して、対象機器の機種を特定する解析機能と、特定した機種に対応した翻訳ルールを複数の翻訳ルールの中から特定し、特定した翻訳ルールに基づいて画像に含まれる対象機器の表示内容を翻訳する翻訳機能と、翻訳結果をユーザーに通知する通知機能と、をコンピューターに実行させる。

【0006】

上記課題を解決するための表示内容通知装置は、対象機器を撮影するカメラと、カメラが撮影した画像を翻訳した翻訳結果をユーザーに通知する通知部と、を備え、翻訳結果は、画像の解析によって特定した対象機器の機種に対応した翻訳ルールを用いて行った翻訳の結果である。

【0007】

上記課題を解決するための表示内容通知方法は、カメラで対象機器を撮影させ、撮影した画像に含まれる表示内容を翻訳した翻訳結果をユーザーに通知する、表示内容通知方法であって、翻訳結果は、撮影した画像の解析によって特定した対象機器の機種に対応した翻訳ルールを用いて行った翻訳の結果である。

【図面の簡単な説明】

【0008】

【図1】表示内容通知装置のブロック図。

【図2】プリンターの操作パネルの一例を示す図。

【図3】プリンターの操作パネルの一例を示す図。

【図4】補助線の一例を示す図。

【図5】翻訳結果の通知例を示す図。

【図6】表示内容通知処理のフローチャート。

【発明を実施するための形態】

【0009】

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）表示内容通知装置の構成：
（２）表示内容通知処理：
（３）他の実施形態：

【0010】

（１）表示内容通知装置の構成：
図１は、本発明の実施形態にかかる表示内容通知装置としてのスマートフォン１０の構成を示すブロック図である。スマートフォン１０は、プロセッサー２０と、記録媒体３０と、ＵＩ部４０と、通信部５０と、カメラ６０とを含む。

【0011】

プロセッサー２０は、ＲＯＭ、記録媒体３０等に記憶される各種プログラムを実行することで、スマートフォン１０を制御する。プロセッサー２０は、単一のチップで構成されていてもよいし、複数のチップで構成されていてもよい。また、本実施形態では、プロセッサー２０は、ＣＰＵであるとするが、ＡＳＩＣ等により構成されてもよいし、ＣＰＵとＡＳＩＣとにより構成されてもよい。通信部５０は、外部の機器との間での有線又は無線の各種の通信プロトコルに従った通信に用いられる回路を備える。

【0012】

カメラ６０は、レンズやエリアイメージセンサーや画像処理回路を備え、被写体を撮影し画像を生成する。カメラ６０が起動されるとカメラ６０は所定の間隔で撮影し、カメラ６０が出力する画像をプロセッサー２０が取得してＵＩ部４０を制御してディスプレイにライブビュー動画として連続的に表示させる。ユーザーによって静止画の撮影が指示された場合、予め決められた静止画のフォーマットに変換された静止画ファイルが生成される。ユーザーによって動画の撮影が指示された場合、予め決められた動画フォーマットに変換した動画ファイルが生成される。

【0013】

ＵＩ部４０は、タッチパネル式のディスプレイを含む。ディスプレイは、プロセッサー２０の制御に従って、文字や画像など様々な情報を表示する。ライブビュー動画や、撮影された静止画や動画はディスプレイに表示され、ユーザーはこれらの画像をディスプレイによって視認することができる。また、ユーザーは、ディスプレイに表示された各種のアイコンやボタンをタッチ操作することにより、スマートフォン１０にインストールされたアプリケーションプログラムの起動、カメラ６０の起動、動画や静止画の撮影等、各種の指示をスマートフォン１０に対して入力することができる。

【0014】

記録媒体３０には、後述する表示内容通知プログラム２１を含む各種のプログラムや、翻訳ルール３０ａ、ユーザーズガイド３０ｂ、操作パネルデータ３０ｃ等の情報が記録されている。これらの情報についての詳細は後述する。また、記録媒体３０には、スマートフォン１０でユーザーが使用する言語を示す言語情報３０ｄが記録されてており、スマートフォン１０のオペレーティングシステムには言語情報３０ｄが示す言語がユーザーの使用言語として設定されている。

【0015】

表示内容通知プログラム２１は、プロセッサー２０が実行することができるアプリケーションプログラムの一つである。本実施形態において、表示内容通知プログラム２１は、電子機器の表示内容をカメラ６０で一定期間撮影させた動画を取得し、撮影された動画に基づいて電子機器の機種と、電子機器の表示内容を特定し、表示内容をユーザーに通知する機能をプロセッサー２０に実現させるプログラムである。本実施形態において、表示内容の翻訳の対象とする電子機器（対象機器）は、プリンターであることを想定している。

【0016】

対象機器としてのプリンターは、例えば図２や図３に示すように、機種によって様々なデザインの操作パネルを備えている。図２や図３に示す例の操作パネルは、ボタンとＬＥＤを備えており、液晶パネルは備えていない。図２や図３に示す操作パネルを備えるプリンターは、何らかのメッセージをユーザーに対して通知する場合、ＬＥＤを点灯あるいは点滅させる。複数のＬＥＤを予め決めた発光パターンで点灯または点滅（または消灯）させることで、電子機器は、当該発光パターンが示すメッセージを表現するように構成されている。

【0017】

例えば、図２の例では、Ｌ_１～Ｌ_５はそれぞれが対応するＬＥＤによって発光する部分（ＬＥＤ部と呼ぶ）であり、Ｂ_１～Ｂ_４はボタンである。なおボタンＢ_１の輪郭はＬＥＤによって発光する。ＬＥＤ部は、点灯状態においても消灯状態においても、操作パネルの外装面Ｐ_１の色と差異がある。Ｄ_１～Ｄ_５は、操作パネルの外装面Ｐ_１に形成された図柄である。

【0018】

また例えば、図３の例では、Ｌ_６～Ｌ_９はそれぞれＬＥＤ部であり、Ｂ_５～Ｂ_１０はボタンである。なおボタンＢ_５は、がＬＥＤによって発光する。ＬＥＤ部は、点灯状態においても消灯状態においても、操作パネルの外装面Ｐ_２の色と差異がある。Ｄ_６～Ｄ_１０は、操作パネルの外装面Ｐ_２に形成された図柄である。図２に示す例と図３に示す例とでは、ボタンやＬＥＤの配置や個数、種類が異なる。

【0019】

ユーザーは、これらのＬＥＤ部の発光パターンが示すメッセージを、プリンターの機種に対応したユーザーズガイドを参照して調べることができるが、次のような理由によりユーザーにとってその作業は負担となり得る。ユーザーズガイドは紙媒体、あるいは電子媒体として存在しうる。紙媒体のユーザーズガイドは、廃棄や紛失などでユーザーの手元に存在しない場合もある。また、プリンターメーカーが提供する電子媒体のユーザーズガイドを、例えばインターネットを介して閲覧することも可能であるが、対象機器の型番を検索しＬＥＤ部の発光パターンに該当する記載箇所を特定するという手間が生じる。また、紙媒体、電子媒体のいずれであっても、ＬＥＤ部の発光パターンをユーザーが判別する必要があり、ユーザーの負担となり得る。さらには、色覚に障害があるユーザーにおいては、ＬＥＤ部の発光パターンの判別が困難な場合がある。

【0020】

そこで本実施形態においては、ユーザーにスマートフォン１０のカメラ６０でプリンターの操作パネルを動画撮影させ、スマートフォン１０がライブビュー動画を解析することによって、プリンターの機種を特定する。そして、スマートフォン１０が、ＬＥＤ部の発光パターンを判別し、プリンターの機種に対応する翻訳ルール３０ａを参照して、発光パターンが示すメッセージに翻訳し、翻訳結果をスマートフォン１０のＵＩ部４０のディスプレイに表示することでユーザーに翻訳結果を通知する。その結果、ユーザーが自ら、対象機器の機種に対応するユーザーズガイドを特定し、対象機器の発光パターンを判別し、発光パターンについて記載されている箇所をユーザーズガイド内から探し当てる必要がなくなり、ユーザーの負担を軽減することができる。

【0021】

本実施形態において、対象機器であるプリンターはそれぞれ、いずれかの機種グループに分類される。機種グループは、操作パネルにおけるボタンの種類や個数、ＬＥＤ部の個数、ボタンやＬＥＤ部の配置が共通し、かつ、ＬＥＤ部の発光パターンが示すメッセージが共通する機種のグループである。翻訳ルール３０ａは、機種グループ毎に準備されている。翻訳ルール３０ａは、発光パターンと、当該発光パターンが示すメッセージを対応付けた情報である。より具体的に、本実施形態において、翻訳ルール３０ａは、発光パターンと、当該発光パターンが示すメッセージのユーザーズガイド３０ｂにおける記載箇所との対応関係を示す情報である。

【0022】

ユーザーズガイド３０ｂは、機種グループに対応した機器の操作マニュアルであり、複数の言語で記載されている。翻訳ルール３０ａには、発光パターンが示すメッセージの、各言語のユーザーズガイド３０ｂにおける記載箇所との対応関係が記載されている。なお、ユーザーズガイド３０ｂは、例えば、表示内容通知プログラム２１のインストールの際にユーザーが機種グループおよび言語を指定してプリンターメーカーのＷＥＢサイトからダウンロードされ記録媒体３０に保存される。あるいは、後述するように対象機器の機種グループが特定されユーザーの使用言語が特定された後に、当該ＷＥＢサイトから機種グループおよび言語に対応するユーザーズガイドがダウンロードされるように構成されてもよい。

【0023】

表示内容通知プログラム２１は、撮影補助部２１ａと、解析部２１ｂと、翻訳部２１ｃと、通知部２１ｄとを備える。撮影補助部２１ａの機能により、プロセッサー２０は、カメラ６０に動画を撮影させ、スマートフォン１０のＵＩ部４０のディスプレイにライブビュー動画として表示させる。また、撮影補助部２１ａの撮影補助機能により、プロセッサー２０は、ライブビュー動画に重ねて、対象機器を写し込む位置を示す補助線を表示させる。

【0024】

図４は、スマートフォン１０のディスプレイに表示された補助線（枠Ｆ）の例を示している。本実施形態において、プロセッサー２０は、ディスプレイにライブビュー動画を表示させるとともに、破線の補助線で囲まれた枠Ｆを表示させる。また、プロセッサー２０は、枠Ｆ内に対象機器のボタンやＬＥＤの端がフィットするように対象機器とスマートフォン１０のとの距離や、対象機器に対するスマートフォン１０の姿勢を調整するように促すメッセージＭを、ライブビュー動画に重ねて表示させる。そのためユーザーは、枠Ｆに示された領域内に対象機器の操作パネルが映り込むように、スマートフォン１０と対象機器との位置関係を調整することができる。その結果、ライブビュー動画の各フレーム画像は、枠Ｆに対応する領域に対象機器の操作パネルが含まれた画像となる可能性を高めることができる。仮に、枠Ｆに対して操作パネルが傾斜するなどして、操作パネルの全てのボタンやＬＥＤ等が枠Ｆ内に収まらないような画像が生成されると、後述する解析部２１ｂにおける解析精度が低下する可能性や、機種や発光パターンの特定に要する時間が長期化する可能性がある。枠Ｆ内に操作パネルの全体が映り込むように促すことにより、解析処理の精度が低下する可能性および処理時間が長期化する可能性を低減することができる。

【0025】

解析部２１ｂは、カメラ６０が対象機器を撮影した画像を解析して、対象機器の機種を特定する解析機能をプロセッサー２０に実現させる。本実施形態においては、プロセッサー２０は、対象機器に対応する機種グループを特定する。プロセッサー２０は、操作パネルの両端のボタンまたはＬＥＤが枠Ｆ内に映り込んで撮影されたライブビュー動画を構成する複数フレームの画像を取得する。プロセッサー２０は、そのうちの少なくとも１フレームの画像に基づいてボタンやＬＥＤ等を示すオブジェクトを検出する。例えば、プロセッサー２０は、フレーム画像に含まれる、輪郭線が円形のオブジェクトを抽出し、続いて、輪郭線の内側の領域に含まれる文字やアイコンをテンプレートマッチングにより検出する。プロセッサー２０は、輪郭線の内側の領域に文字やアイコンが含まれるオブジェクトを、当該文字やアイコンに対応する種類のボタンのオブジェクトと見なす。また、プロセッサー２０は、ボタンオブジェクト以外の、操作パネルの外装面の色と予め決められたレベル以上の差がある円形のオブジェクトをＬＥＤ部と見なす。また、プロセッサー２０は、操作パネルのボタンやＬＥＤ以外でパネル上に形成されている模様（例えばアイコン（Ｄ_１やＤ_５等）や文字、ロゴ等）を、テンプレートマッチングにより特定する。プロセッサー２０は、これらのオブジェクトのフレーム画像内の相対位置を特定する。例えば、ある特定のボタンのオブジェクトを基準として他のオブジェクトの位置関係を特定する。

【0026】

プロセッサー２０は、画像に含まれるボタンやＬＥＤを示すオブジェクトを示す複数の位置の相対位置に基づいて対象機器が属する機種グループを特定する。すなわち、プロセッサー２０は、各機種グループの操作パネルデータ３０ｃを参照し、画像に含まれるボタンやＬＥＤ等の各オブジェクトの配置（相対位置）と、ボタンやＬＥＤの配置が一致する機種グループを特定する。ここで、操作パネルデータ３０ｃは、機種グループ毎に、操作パネルに配置されたボタンやＬＥＤ、その他形成物等のオブジェクトの形状、色、位置関係を示す情報を含んでいる。

【0027】

対象機器の機種グループを特定すると、プロセッサー２０は、対象機器の表示内容の意味を特定する。翻訳部２１ｃは、特定した機種に対応した翻訳ルール３０ａを複数の翻訳ルール３０ａの中から特定し、特定した翻訳ルール３０ａに基づいて画像に含まれる対象機器の表示内容を翻訳する翻訳機能をプロセッサー２０に実現させる。具体的には、プロセッサー２０は、ＬＥＤ部の発光パターンを解析するため、特定した機種グループに対応する操作パネルデータ３０ｃを参照して、点灯状態のＬＥＤ部の色を示す情報を取得する。プロセッサー２０は、画像内のＬＥＤ部のうち点灯状態の色に該当するＬＥＤ部を当該画像においては点灯状態にあると見なし、それ以外のＬＥＤ部を消灯状態にあると見なす。

【0028】

プロセッサー２０は、ライブビュー動画（動画像）を解析し、各ＬＥＤ部の状態を判別する。すなわちプロセッサー２０は、ライブビュー動画を構成する各フレームの画像を時系列順に解析し、各ＬＥＤ部が点灯、消灯、あるいは点滅のいずれの状態であるかを判別する。プロセッサー２０は、一定期間点灯状態が継続するＬＥＤ部を点灯、一定期間消灯状態が継続するＬＥＤ部を消灯、一定期間において点灯状態と消灯状態が周期的に変化するＬＥＤ部を点滅と見なす。このようにしてプロセッサー２０は、各ＬＥＤ部について点灯・消灯・点滅のいずれの状態であるかを判定する。

【0029】

上述したように、本実施形態において、翻訳ルール３０ａは、各ＬＥＤ部の発光パターンと、当該発光パターンが示すメッセージについて記載されたユーザーズガイドの該当箇所とを対応付けた情報である。例えば、図２に示す操作パネルにおいて、Ｌ_１とＬ_２のＬＥＤ部は消灯状態でありＬ_３とＬ_４のＬＥＤ部が点滅状態である発光パターンと、当該発光パターンについて記載されたユーザーズガイド３０ｂの記載箇所とが対応付けられている。プロセッサー２０は、機種グループに対応する翻訳ルール３０ａを参照して各ＬＥＤ部の状態が示す発光パターンに対応するユーザーズガイドの該当箇所を特定する。より具体的には、プロセッサー２０は、言語情報３０ｄを参照し、スマートフォン１０のオペレーティングシステムに設定されている言語を特定する。そして、プロセッサー２０は、翻訳ルール３０ａを参照し、当該言語のユーザーズガイド３０ｂにおける、対象機器の表示内容（すなわち本実施形態の場合、ＬＥＤ部の発光パターン）についての記載箇所を特定する。言語に対応するユーザーズガイドが記録媒体３０に保存されていない場合、プロセッサー２０は対象機器のメーカーのＷＥＢサイトから対象機器の機種グループおよびユーザーの使用言語に対応するユーザーズガイドをダウンロードし、記録媒体３０に保存させる。プロセッサー２０は、ユーザーズガイド３０ｂの該当箇所を特定し、該当箇所の記載内容（テキスト、イラスト等）を取得する。プロセッサー２０は、機種グループおよびユーザーの使用言語に対応するユーザーズガイド３０ｂ内における、ＬＥＤ部の発光パターンが示すメッセージの記載内容を取得することによって、対象機器の表示内容を翻訳する。

【0030】

通知部２１ｄは、翻訳結果をユーザーに通知する通知機能をプロセッサー２０に実現させる。すなわち、プロセッサー２０は、上述した翻訳部２１ｃによる翻訳結果、すなわち、ユーザーズガイド３０ｂの該当箇所の記載内容（テキストやイラスト等）をＵＩ部４０のディスプレイに表示させることで、ユーザーに翻訳結果を通知する。

【0031】

図５は、スマートフォン１０のディスプレイに表示された翻訳結果の一例を示す図である。図５の例では、ＬＥＤの状態を示すイラストが表示される領域Ａ_１と、当該ＬＥＤの状態を示す説明文とその状態が示すメッセージとが表示される領域Ａ_２と、対処方法を示す文が表示される領域Ａ_３とがディスプレイに表示されていることを示している。なお、もちろん、領域Ａ_１からＡ_３のそれぞれにおいて、イラストや文章を一画面内に全て表示することができない場合は、ユーザーのスクロール操作によって全体をユーザーが閲覧可能に構成されている。

【0032】

以上のように、本実施形態においては、対象機器をカメラで撮影した画像を解析して対象機器の機種グループを特定し、機種グループに応じた翻訳ルールで対象機器の表示内容を翻訳し、翻訳結果をユーザーに通知する。そのため、ユーザーが自ら、対象機器の機種に対応するユーザーズガイドを特定し、対象機器の表示内容を判別し、表示内容について記載されている箇所をユーザーズガイド内から探し当てる必要がなくなり、ユーザーの負担を軽減することができる。

【0033】

（２）表示内容通知処理：
次に、表示内容通知プログラム２１による表示内容通知処理を図６のフローチャートを参照しながら説明する。ユーザーがスマートフォン１０のアプリケーション一覧から表示内容通知プログラム２１を選択してアプリケーションを起動した状態でカメラ６０を起動させることにより表示内容通知処理が開始される。なお、表示内容通知プログラム２１をユーザーが選択して起動させるとカメラ６０も連動して起動するように構成されてもよい。

【0034】

表示内容通知処理が開始されると、プロセッサー２０は、撮影補助部２１ａの機能により、ライブビュー動画に補助線枠を重ねて表示させる（ステップＳ１００）。すなわち、プロセッサー２０は、カメラ６０に動画を撮影させ、撮影された動画をライブビュー動画としてＵＩ部４０のディスプレイに表示させる。また、ディスプレイの予め決められた位置に図６に示すような枠Ｆ（補助線）をライブビュー動画に重ねて表示させる。

【0035】

続いて、プロセッサー２０は、解析部２１ｂの機能により、動画を解析する（ステップＳ１０５）。すなわち、プロセッサー２０は、カメラ６０が撮影したライブビュー動画を構成するフレーム画像を解析し、ボタンやＬＥＤ部等のオブジェクトのフレーム画像内における位置を特定する。

【0036】

続いて、プロセッサー２０は、解析部２１ｂの機能により、機種を特性する（ステップＳ１１０）。すなわち、プロセッサー２０は、ボタンやＬＥＤ等のオブジェクトの種類や位置関係を各機種グループの操作パネルデータ３０ｃと照合し、一致する機種グループを特定する。なお、機種が特定できない場合は、順次取得する新しいフレーム画像を対象にステップＳ１０５およびＳ１１０の処理が繰り返し行われる。

【0037】

続いて、プロセッサー２０は、翻訳部２１ｃの機能により、ＬＥＤ部の発光パターンを特定する（ステップＳ１１５）。すなわち、プロセッサー２０は、カメラ６０が一定期間撮影したライブビュー動画を構成する各フレーム画像を順次解析し、フレーム画像に含まれるＬＥＤ部毎に色を特定し、当該フレーム画像においてＬＥＤ部毎に点灯または消灯を判別する。また、プロセッサー２０は、各ＬＥＤの色の周期的な変化、すなわち点灯および消灯の周期的な変化の有無を判別する。周期的に変化しているＬＥＤ部が存在する場合、プロセッサー２０は、当該ＬＥＤ部を点滅状態と見なす。

【0038】

続いて、プロセッサー２０は、翻訳部２１ｃの機能により、機種に対応した翻訳ルールを特定し、特定した翻訳ルールに基づいて表示内容を翻訳する（ステップＳ１２０）。すなわち、プロセッサー２０は、記録媒体３０に記録された複数の翻訳ルール３０ａのうちステップＳ１１０で特定した機種グループに対応する翻訳ルール３０ａを特定する。プロセッサー２０は機種グループに対応する翻訳ルール３０ａを参照し、ステップＳ１１５で特定した発光パターンが示すメッセージが記載されたユーザーズガイド３０ｂの該当箇所を特定する。なお、この際に、プロセッサー２０は、ユーザーの使用言語に対応するユーザーズガイド３０ｂにおける、発光パターンが示すメッセージの該当箇所を特定する。プロセッサー２０は、特定した箇所に記載されたテキストやイラストを取得することによって、対象機器の表示内容を翻訳する。

【0039】

続いて、プロセッサー２０は、通知部２１ｄの機能により、翻訳結果をユーザーに通知する（ステップＳ１２５）。すなわちプロセッサー２０は、ユーザーズガイド３０ｂの該当箇所に記載されたメッセージの内容をＵＩ部４０のディスプレイに表示させることで、ユーザーに翻訳結果を通知する。

【0040】

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、対象機器として、プリンター以外にも、ＬＥＤ等の表示内容によってユーザーにメッセージを通知する様々な電子機器を想定してよい。

【0041】

解析機能においては、カメラが対象機器を撮影した画像を解析して対象機器の機種を特定することができればよい。「機種を特定する」ことは、少なくとも共通の翻訳ルールを使用する複数の機種のグループを特定することを示している。なお、もちろん、共通の翻訳ルールを使用する複数の機種の内のいずれの機種であるかを特定するように構成されてもよい。解析機能は、画像に含まれる機種を示す模様を識別することで機種を特定する構成であってもよい。当該模様は機種名や型番、シリーズ名を示す文字列であってもよい。

【0042】

対象機器は、液晶パネルを備えた機種であってもよい。対象機器が備える液晶パネルは、例えば数字や文字等を表示することはできるが、ユーザーズガイドの記載内容（テキストやイラスト）を表示するにはサイズや解像度が不十分であるものを想定してよい。解析機能は、画像に含まれるボタン・ＬＥＤ・液晶のうちの複数の位置を特定し、特定した複数の位置の相対位置に基づいて機種を特定するように構成されてもよい。

【0043】

なお、カメラから撮影の際の焦点距離を示す情報を取得し、ボタン・ＬＥＤ・液晶等の複数のオブジェクト間の画像内における距離を、焦点距離に基づいて実空間における相対距離に変換し、当該相対距離に基づいて機種を特定するように構成されてもよい。具体的には、対象機器の操作パネルにピントが合っている場合に、焦点距離を示す情報に基づいてカメラと操作パネルとの距離を特定可能である。カメラから当該距離離れた操作パネル上に配置された各オブジェクト間の画像内における距離は、予め準備された対応関係（カメラと操作パネルとの距離毎に準備された、操作パネル上のオブジェクト間の画像内における距離と実距離との対応関係）を参照すれば、実空間における距離に変換可能である。このようにしてオブジェクト間の実距離を取得することが可能である。なお、このように焦点距離を示す情報に基づいて機種を特定する場合、操作パネルデータには、操作パネル上における各オブジェクト間の距離の情報も含まれており、焦点距離に基づいて算出したオブジェクト間の相対距離と、操作パネルデータに記録されているオブジェクト間の距離とが一致する機種を特定するように構成される。

【0044】

解析機能は、カメラで撮影された画像を解析することができればよい。解析対象の画像は、ライブビュー動画であってもよいし、所定のフォーマットの静止画ファイルに変換して記録媒体に記録された静止画であってもよいし、所定の動画フォーマットの動画ファイルに変換して記録媒体に記録された動画であってもよい。

【0045】

通知機能において、翻訳結果の通知は、上記実施形態のように、表示内容通知装置の画面に表示することによって行われる構成であっても良いし、表示内容通知装置のスピーカから翻訳結果を示す音声を出力することによって行われる構成であっても良いし、その両方が行われる構成であっても良い。音声による通知の場合、例えば、各ＬＥＤの点灯点滅の状態を示す音声と、その状態が示すメッセージと、その状態に対する対処方法とが、音声によって出力されるように構成されてよい。

【0046】

さらに、本発明は、対象機器を撮影するカメラと、カメラが撮影した画像を翻訳した翻訳結果をユーザーに通知する通知部と、を備えた表示内容通知装置であって、翻訳結果は、画像の解析によって特定した対象機器の機種に対応した翻訳ルールを用いて行った翻訳の結果である表示内容通知装置の発明としても成立する。翻訳処理は、表示内容通知装置において実行される構成でもよいし、表示内容通知装置から依頼された外部のサーバーにおいて実行される構成でもよい。後者の場合、表示内容通知装置の通知部は、サーバーから返信された翻訳結果をユーザーに通知する。表示内容通知装置は、スマートフォンやタブレット等の携帯端末以外にも、カメラを備えたＰＣや、カメラとＰＣの組み合わせ等によって実現されてもよい。

【0047】

また、本発明は、カメラで対象機器を撮影させ、撮影した画像に含まれる表示内容を翻訳した翻訳結果をユーザーに通知する、表示内容通知方法であって、翻訳結果は、撮影した画像の解析によって特定した対象機器の機種に対応した翻訳ルールを用いて行った翻訳の結果である、表示内容通知方法の発明としても成立する。

【0048】

さらに、本発明は、コンピューターが実行するプログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、複数の装置が備える部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリーであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

【符号の説明】

【0049】

１０…スマートフォン、２０…プロセッサー、２１…表示内容通知プログラム、２１ａ…撮影補助部、２１ｂ…解析部、２１ｃ…翻訳部、２１ｄ…通知部、３０…記録媒体、３０ａ…翻訳ルール、３０ｂ…ユーザーズガイド、３０ｃ…操作パネルデータ、３０ｄ…言語情報、４０…ＵＩ部、５０…通信部、６０…カメラ、Ａ_１～Ａ_３…領域、Ｂ_１～Ｂ_１０…ボタン、Ｆ…枠（補助線）、Ｐ_１…外装面、Ｐ_２…外装面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】