特許 6851337 撮像装置、制御方法及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6851337

(24)【登録日】2021年3月11日

(45)【発行日】2021年3月31日

(54)【発明の名称】撮像装置、制御方法及び制御プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210322BHJP

   G03B 15/00 20210101ALI20210322BHJP

   G03B 17/18 20210101ALI20210322BHJP

【ＦＩ】

   H04N5/232 220

   H04N5/232 290

   H04N5/232 941

   G03B15/00 T

   G03B17/18 Z

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2018-20055(P2018-20055)

(22)【出願日】2018年2月7日

(65)【公開番号】特開2019-140449(P2019-140449A)

(43)【公開日】2019年8月22日

【審査請求日】2020年4月23日

(73)【特許権者】

【識別番号】000136136

【氏名又は名称】株式会社ＰＦＵ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】深澤 貴彦

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００７−３１８７７５（ＪＰ，Ａ）

【文献】 特開２０１６−０７６０９３（ＪＰ，Ａ）

【文献】 特開２００７−１２９４８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

本体と、
前記本体の一方の面側に配置され、且つ、入力画像を生成する画像生成部と、
前記本体の他方の面側に配置され、前記入力画像を表示する表示部と、
前記入力画像から所定の検出対象を検出する検出部と、
第１所定時間が経過しても前記検出部が前記検出対象を検出しない場合、前記表示部側から見た前記画像生成部の位置を前記表示部に表示させる表示制御部と、を有し、
前記表示部側から見た前記画像生成部の位置が前記表示部の中心以外の位置に配置され、
前記表示制御部は、前記第１所定時間より長い第２所定時間が経過しても依然前記検出部が前記検出対象を検出しない場合、前記検出対象の想定位置又は想定方向を前記表示部に表示させる、
ことを特徴とする撮像装置。

【請求項2】

前記検出部が前記検出対象を複数個検出した場合、前記表示制御部は、前記検出対象の確認を使用者に促すための画像を前記表示部に表示させる、請求項１に記載の撮像装置。

【請求項3】

前記検出部が前記検出対象の一部のみを検出した場合、前記表示制御部は、前記一部を強調した画像を前記表示部に表示させる、請求項１又は２に記載の撮像装置。

【請求項4】

前記表示制御部は、前記第２所定時間より長い第３所定時間が経過しても依然前記検出部が前記検出対象を検出しない場合、前記入力画像の、前記検出対象の前記想定位置又は前記想定方向に対応する部分を拡大して前記表示部に表示させる、請求項１〜３のいずれか一項に記載の撮像装置。

【請求項5】

本体と、前記本体の一方の面側に配置され、且つ、入力画像を生成する画像生成部と、前記本体の他方の面側に配置され、前記入力画像を表示する表示部と、前記入力画像から所定の検出対象を検出する検出部と、を有し、前記表示部側から見た前記画像生成部の位置が前記表示部の中心以外の位置に配置される撮像装置の制御方法であって、
第１所定時間が経過しても前記検出部が前記検出対象を検出しない場合、前記表示部側から見た前記画像生成部の位置を前記表示部に表示し、
前記第１所定時間より長い第２所定時間が経過しても依然前記検出部が前記検出対象を検出しない場合、前記検出対象の想定位置又は想定方向を前記表示部に表示させる、
ことを含むことを特徴とする制御方法。

【請求項6】

本体と、前記本体の一方の面側に配置され、且つ、入力画像を生成する画像生成部と、前記本体の他方の面側に配置され、前記入力画像を表示する表示部と、前記入力画像から所定の検出対象を検出する検出部と、を有し、前記表示部側から見た前記画像生成部の位置が前記表示部の中心以外の位置に配置される撮像装置の制御プログラムであって、
第１所定時間が経過しても前記検出部が前記検出対象を検出しない場合、前記表示部側から見た前記画像生成部の位置を前記表示部に表示し、
前記第１所定時間より長い第２所定時間が経過しても依然前記検出部が前記検出対象を検出しない場合、前記検出対象の想定位置又は想定方向を前記表示部に表示させる、
ことを前記撮像装置に実行させることを特徴とする制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置、制御方法及び制御プログラムに関し、特に、入力された画像から所定の検出対象を検出する撮像装置、制御方法及び制御プログラムに関する。

【背景技術】

【0002】

バーコードの記載された雑誌、電力使用量などを表示するメータ等をカメラ等の画像生成部で撮像し、撮像画像からバーコード、メータの数値等の検出対象を検出する撮像装置が利用されている。このような撮像装置では、検出対象を検出する場合、撮像装置を検出対象に近接させて撮像されることが多い。

【0003】

このような撮像装置の一例として、撮像手段により得られた画像の表示を行い、撮像された画像のバーコードを認識する携帯端末装置が開示されている（特許文献１を参照）。この携帯端末装置は、カメラが１フレーム分の画像を読み取り、その画像を表示するとき、本体背面のカメラの真後ろ（カメラ開口の正反対の場所）のＬＣＤ表示部上にカメラ位置を示すマークを表示する。携帯端末装置の使用者にとっては、そのマークが被写体である読み取り対象のコードにカメラを合わせるときの目安となり、撮影が容易になる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−３１８７７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

表示部側から見た画像生成部の位置が表示部の中心以外の位置に配置されている場合、表示部に画像生成部の位置を示すマークを表示するだけでは、使用者は画像生成部をどの方向に向ければよいか判断できず、検出対象を発見することが困難なことがある。

【0006】

本発明の目的は、表示部側から見た画像生成部の位置が表示部の中心以外の位置に配置されている撮像装置において、使用者に対して検出対象を発見しやすくすることにある。

【課題を解決するための手段】

【0007】

本発明の一側面に係る撮像装置は、本体と、本体の一方の面側に配置され、且つ、入力画像を生成する画像生成部と、本体の他方の面側に配置され、入力画像を表示する表示部と、入力画像から所定の検出対象を検出する検出部と、第１所定時間が経過しても検出部が検出対象を検出しない場合、表示部側から見た画像生成部の位置を表示部に表示させる表示制御部と、を有し、表示部側から見た画像生成部の位置が表示部の中心以外の位置に配置され、表示制御部は、第１所定時間より長い第２所定時間が経過しても依然検出部が検出対象を検出しない場合、検出対象の想定位置又は想定方向を表示部に表示させる。

【0008】

また、本発明の一側面に係る制御方法は、本体と、本体の一方の面側に配置され、且つ、入力画像を生成する画像生成部と、本体の他方の面側に配置され、入力画像を表示する表示部と、入力画像から所定の検出対象を検出する検出部と、を有し、表示部側から見た画像生成部の位置が表示部の中心以外の位置に配置される撮像装置の制御方法であって、第１所定時間が経過しても検出部が検出対象を検出しない場合、表示部側から見た画像生成部の位置を表示部に表示し、第１所定時間より長い第２所定時間が経過しても依然検出部が検出対象を検出しない場合、検出対象の想定位置又は想定方向を表示部に表示させることを含む。

【0009】

また、本発明の一側面に係る制御プログラムは、本体と、本体の一方の面側に配置され、且つ、入力画像を生成する画像生成部と、本体の他方の面側に配置され、入力画像を表示する表示部と、入力画像から所定の検出対象を検出する検出部と、を有し、表示部側から見た画像生成部の位置が表示部の中心以外の位置に配置される撮像装置の制御プログラムであって、第１所定時間が経過しても検出部が検出対象を検出しない場合、表示部側から見た画像生成部の位置を表示部に表示し、第１所定時間より長い第２所定時間が経過しても依然検出部が検出対象を検出しない場合、検出対象の想定位置又は想定方向を表示部に表示させる、ことを撮像装置に実行させる。

【発明の効果】

【0010】

本発明によれば、撮像装置、制御方法及び制御プログラムは、表示部側から見た画像生成部の位置が表示部の中心以外の位置に配置されている撮像装置において、使用者に対して検出対象を発見しやすくすることができる。

【図面の簡単な説明】

【0011】

【図1】実施形態において想定する場面の一例を示す概略図である。

【図2】実施形態に従った撮像装置１の概略構成の一例を示す図である。

【図3】記憶部１６及びＣＰＵ１７の概略構成を示す図である。

【図4】全体処理の動作の例を示すフローチャートである。

【図5】確認用表示画面の一例を示す図である。

【図6】表示制御処理の動作の例を示すフローチャートである。

【図7】検出部により検出された領域を強調した表示画像を含む画面の一例を示す図である。

【図8】表示部に表示される画像生成部の位置の一例を示す図である。

【図9】検出対象の想定位置の一例を示す図である。

【図10】検出対象の想定方向の一例を示す図である。

【図11】拡大前の表示画面の一例を示す図である。

【図12】拡大後の表示画面の一例を示す図である。

【図13】警告用表示画面の一例を示す図である。

【図14】他の実施形態に係る撮像装置の概略構成を示す図である。

【発明を実施するための形態】

【0012】

以下、本開示の一側面に係る画像処理装置について図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

【0013】

図１は、実施形態において想定する場面の一例を示す概略図である。

【0014】

図１に示すように、撮像装置１の使用者は、撮像装置１を保持してメータ２を撮像しようとしている。撮像装置１は、タブレットＰＣ（Personal Computer）、多機能携帯電話（いわゆるスマートフォン）、携帯情報端末、ノートＰＣ等の携帯可能な情報処理装置である。撮像装置１は、本体１０と、画像生成部１３と、表示部１４とを有する。

【0015】

画像生成部１３は、本体１０の一方の面側に配置され、入力画像を生成する。入力画像は、画像生成部１３によりメータ２が撮影されて出力されたデジタル画像データである。画像生成部１３は、後述するように、レンズを有する結像光学系、撮像センサ及びＡ／Ｄ変換器を有する。画像生成部１３のレンズは、表示部１４側から見て表示部１４の中心ａ以外の位置、例えば中心ａより左斜め上方の位置（本体１０における左上側）に配置されている。以下では、画像生成部１３の位置とは、画像生成部１３のレンズの位置を意味する。表示部１４は、本体１０の他方の面側に配置され、入力画像を表示する。

【0016】

メータ２は、黒色の筐体２１と、白色のプレート２２と、メータ部分２３とを有する。プレート２２は、筐体２１に配置される。メータ部分２３は、プレート２２に配置され、メータ２が計測した電力量等の数値を表示する。

【0017】

通常、使用者は、入力画像においてメータ部分２３を中心とする第２領域４２が撮像されるように撮像装置１の位置合わせを行う。この際、使用者は、撮像装置１の表示部１４の中心ａをメータ部分２３の正面に合わせるように撮像装置１の位置合わせを行う傾向にある。

【0018】

しかしながら、画像生成部１３は本体１０の左上側に配置されており、画像生成部１３の画角の中心はメータ部分２３より左上側にある。このため、メータ部分２３からずれた第１領域４１が撮像され、入力画像において、メータ部分２３は中央に撮像されず、メータ部分２３の一部又は全部が含まれない可能性がある。特に、撮像装置１とメータ部分２３とが近接している場合、図１に示す表示部１４に表示される画像のように、メータ部分２３が画像生成部１３の画角から外れ、撮像されないことがある。なお、点ｂは、画像生成部１３が生成した画像の座標系において、表示部１４の中心ａに対応する位置を示す点である。

【0019】

本実施形態に係る撮像装置は、このような場面において、表示部１４側から見た画像生成部１３の位置が表示部１４の中心以外の位置に配置されている撮像装置１において、使用者に対して検出対象であるメータ部分２３を発見しやすくすることを図る。

【0020】

図２は、実施形態に従った撮像装置１の概略構成の一例を示す図である。

【0021】

撮像装置１は、画像生成部１３及び表示部１４に加えて、通信部１１と、入力部１２と、向き検出部１５と、記憶部１６と、ＣＰＵ（Central Processing Unit）１７とを有する。以下、撮像装置１の各部について詳細に説明する。

【0022】

通信部１１は、主に２．４ＧＨｚ帯、５ＧＨｚ帯等を感受帯域とするアンテナを含む通信インターフェース回路を有する装置である。通信部１１は、アクセスポイント等との間でＩＥＥＥ（The Institute of Electrical and Electronics Engineers）８０２．１１規格の無線通信方式に基づいて無線通信を行う。そして、通信部１１は、アクセスポイントを介して外部のサーバ装置（不図示）とデータの送受信を行う。通信部１１は、アクセスポイントを介してサーバ装置から受信したデータをＣＰＵ１７に供給し、ＣＰＵ１７から供給されたデータをアクセスポイントを介してサーバ装置に送信する。なお、通信部１１は、外部の装置と通信できるものであればどのようなものであってもよい。例えば、通信部１１は、携帯電話通信方式に従って不図示の基地局装置を介してサーバ装置と通信するものでもよいし、有線ＬＡＮ通信方式に従ってサーバ装置と通信するものでもよい。

【0023】

入力部１２は、タッチパネル式の入力部、キーボード、マウス等の入力デバイス及び入力デバイスから信号を取得するインターフェース回路を有する装置である。入力部１２は、使用者の入力を受け付け、使用者の入力に応じた信号をＣＰＵ１７に対して出力する。

【0024】

画像生成部１３は、レンズを有する結像光学系と、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）からなる撮像素子を備える縮小光学系タイプの撮像センサと、Ａ／Ｄ変換器とを有する装置である。画像生成部１３は、ＣＰＵ１７からの指示に従って撮像対象（メータ）を順次撮影する（例えば３０フレーム／秒）。結像光学系は、撮像対象の像を撮像センサに結像する。撮像センサは、結像した像からアナログの画像信号を生成して、Ａ／Ｄ変換器に出力する。Ａ／Ｄ変換器は、出力されたアナログの画像信号をアナログデジタル変換してデジタルの画像データを順次生成し、ＣＰＵ１７に出力する。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなる撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）を利用してもよい。

【0025】

表示部１４は、液晶、有機ＥＬ（Electro-Luminescence）等から構成されるディスプレイ及びディスプレイに画像データ又は各種の情報を出力するインターフェース回路を有する装置である。表示部１４は、ＣＰＵ１７と接続されて、ＣＰＵ１７から出力された画像データをディスプレイに表示する。なお、タッチパネルディスプレイを用いて、入力部１２と表示部１４を一体に構成してもよく、本実施形態においては、入力部１２と表示部１４とが一体に構成されているタッチパネルディスプレイを使用する。

【0026】

向き検出部１５は、加速度センサを有し、ＣＰＵ１７からの要求に応じて、撮像装置１に加わる加速度を３軸方向毎に検出し、検出した加速度を用いて撮像装置１の向きを検出し、ＣＰＵ１７に対して出力する装置である。加速度センサは、例えば、ピエゾ抵抗効果を利用したピエゾ抵抗型の３軸加速度センサ、又は静電容量の変化を利用した静電容量型の３軸加速度センサとすることができる。

【0027】

記憶部１６は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶部等を有する装置である。また、記憶部１６には、撮像装置１の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等のコンピュータ読み取り可能な可搬型記録媒体からインストールされてもよい。コンピュータプログラムは、公知のセットアッププログラム等を用いて記憶部１６にインストールされる。

【0028】

ＣＰＵ１７は、予め記憶部１６に記憶されているプログラムに基づいて動作する。ＣＰＵ１７は、汎用プロセッサであってもよい。なお、ＣＰＵ１７に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、ＣＰＵ１７に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等が用いられてもよい。

【0029】

ＣＰＵ１７は、通信部１１、入力部１２、画像生成部１３、表示部１４、向き検出部１５及び記憶部１６と接続され、これらの各部を制御する。ＣＰＵ１７は、通信部１１を介したデータ送受信制御、入力部１２の入力制御、画像生成部１３の撮像制御、表示部１４の表示制御、向き検出部１５の向き検出制御、記憶部１６の制御等を行う。

【0030】

図３は、記憶部１６及びＣＰＵ１７の概略構成を示す図である。

【0031】

図３に示すように、記憶部１６には、画像生成制御プログラム１６１、検出プログラム１６２、表示制御プログラム１６３、入力検出プログラム１６４等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。ＣＰＵ１７は、記憶部１６に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作することにより、画像生成制御部１７１、検出部１７２、表示制御部１７３、入力検出部１７４等として機能する。

【0032】

図４は、撮像装置１による全体処理の動作の例を示すフローチャートである。

【0033】

以下、図４に示したフローチャートを参照しつつ、撮像装置１による全体処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め記憶部１６に記憶されているプログラムに基づき主にＣＰＵ１７により撮像装置１の各要素と協働して実行される。

【0034】

最初に、入力検出部１７４は、ユーザにより、入力部１２を用いてメータの撮影の開始を指示する撮影開始指示が入力され、入力部１２から撮影開始指示信号を受信すると、撮影開始指示を受け付ける（ステップＳ１１）。

【0035】

次に、表示制御部１７３は、入力検出部１７４が撮影開始指示を受け付けると、時間ｔの測定を開始する（ステップＳ１２）。時間ｔは、所定の検出対象の検出処理を開始してからの経過時間であり、後述する表示制御処理を実行する際に使用される。

【0036】

次に、画像生成制御部１７１は、画像生成部１３にメータ２を撮影させて１フレーム分の入力画像を生成させる（ステップＳ１３）。

【0037】

次に、検出部１７２は、入力画像からメータ部分を検出するメータ部分検出処理を実行する（ステップＳ１４）。

【0038】

まず、検出部１７２は、プレート２２を検出する。検出部１７２は、入力画像内の画素の水平及び垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値又は色値（Ｒ値、Ｂ値、Ｇ値）の差の絶対値が第１閾値を越える場合、その画素をエッジ画素として抽出する。検出部１７２は、ハフ変換又は最小二乗法等を用いて、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形をプレート２２として検出する。略直交とは、直角に対して±４５°以内の角度（４５°以上且つ１３５°以下）で交わることを意味する。または、検出部１７２は、抽出した各エッジ画素が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素を一つのグループとしてラベリングする。検出部１７２は、抽出したグループの内、最も面積が大きいグループで囲まれる領域をプレート２２として検出してもよい。

【0039】

次に、検出部１７２は、検出したプレート２２内の領域から、メータ部分２３を検出する。検出部１７２は、メータ部分２３を含むプレート２２が写っている画像が入力された場合に、メータ部分２３の位置情報を出力するように事前学習された識別器により、メータ部分２３を検出する。この識別器は、例えばディープラーニング等により、メータを撮影した複数の画像を用いて事前学習され、予め記憶部１６に記憶される。検出部１７２は、検出したプレート２２を含む画像を識別器に入力し、識別器から出力された位置情報を取得することにより、メータ部分２３を検出する。検出部１７２は、位置情報の座標を記憶部１６に記憶する。

【0040】

なお、検出部１７２は、プレート２２を検出する場合と同様に、入力画像内のエッジ画素に基づいて、メータ部分２３を検出してもよい。検出部１７２は、入力画像のプレート枠を含む領域からエッジ画素を抽出し、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形の領域をメータ部分２３として検出する。または、検出部１７２は、抽出した各エッジ画素が相互に連結するグループの内、最も面積が大きいグループで囲まれる矩形の領域をメータ部分２３として検出する。

【0041】

次に、検出部１７２は、入力画像の中にメータ部分２３が検出されたか否かを判定する（ステップＳ１５）。メータ部分２３が検出されなかった場合、表示制御部１７３は、後述する表示制御処理を実行し（ステップＳ２１）、ＣＰＵ１７は、処理をステップＳ１３に戻す。

【0042】

一方、メータ部分２３が検出された場合、検出部１７２は、メータ部分２３の領域に公知のＯＣＲ（Optical Character Recognition）技術を利用して文字認識処理を実行し（ステップＳ１６）、認識結果である数字を記憶部１６に一時的に記憶する。次に、検出部１７２は、認識結果が適切か否か、例えば、予め設定された桁数（例えば５桁）の数字か否かを判定する（ステップＳ１７）。認識結果が適切でない場合、表示制御部１７３は、後述する表示制御処理を実行し（ステップＳ２１）、ＣＰＵ１７は、処理をステップＳ１３に戻す。

【0043】

一方、認識結果が適切な場合、表示制御部１７３は、認識結果を登録するか否かを使用者に確認させるための確認用表示文字列を含む確認用表示画面を表示部１４に表示させる（ステップＳ１８）。

【0044】

図５は、確認用表示画面の一例を示す図である。

【0045】

表示制御部１７３は、検出部１７２が記憶部１６に一時的に記憶した５桁の数字「３５７１２」と、予め記憶部１６に記憶された文字列「を登録してよいですか？」とから構成される確認用表示文字列１４１「３５７１２を登録してよいですか？」を生成する。表示制御部１７３は、生成した確認用表示文字列１４１を入力画像に重畳させることにより、図５に示す確認用表示画面を生成して、表示部１４に表示させる。なお、表示制御部１７３は、確認用表示文字列１４１を入力画像に重畳させることに代えて、確認用表示画面を、入力画像を表示する領域Ａと確認用表示文字列１４１を表示する領域Ｂとに分割して、入力画像及び確認用表示文字列１４１を表示部１４に表示させてもよい。

【0046】

次に、入力検出部１７４は、認識結果を登録するか否かを指示する登録指示が入力部１２を用いて使用者により入力されるまで待機する。入力検出部１７４が、表示部１４に表示された「はい」の図形が使用者によりタッチされたことにより、認識結果を登録することを指示する登録指示信号を入力部１２から受信すると（ステップＳ１９のＹ）、検出部１７２は、一時的に記憶した認識結果を最終的な認識結果として記憶部１６に記憶して（ステップＳ２０）、一連の処理を終了する。入力検出部１７４が、表示部１４に表示された「いいえ」の図形が使用者によりタッチされたことにより、認識結果を登録しないことを指示する登録指示信号を入力部１２から受信すると（ステップＳ１９のＮ）、ＣＰＵ１７は、処理をステップＳ１２に戻す。以上により、フローチャートを用いた動作の説明を終了する。

【0047】

図６は、表示制御処理の動作の例を示すフローチャートである。図６に示す表示制御処理は、図４のステップＳ２１で実行される。

【0048】

最初に、表示制御部１７３は、検出部１７２が図４のステップＳ１６で一時的に記憶した認識結果に基づいて、検出対象であるメータ部分２３の一部のみが検出されたか否かを判定する（ステップＳ３１）。図４のステップＳ１６において検出部１７２が一時的に記憶した数字の桁数が予め設定された桁数未満である場合、表示制御部１７３は、メータ部分２３の一部のみが検出されたと判定する。

【0049】

メータ部分２３の少なくとも一部が検出された場合、即ちメータ部分２３の一部のみが検出された場合、表示制御部１７３は、検出部１７２がステップＳ１４で記憶した座標により特定される領域を強調した表示画像を表示部１４に表示させ（ステップＳ３２）、一連の処理を終了する。

【0050】

図７は、検出部により検出された領域を強調した表示画像を含む画面の一例を示す図である。

【0051】

図７に示すように、表示制御部１７３は、検出部１７２により検出された領域に対応するように強調領域を決定し、入力画像において強調領域と他の領域との境界に矩形枠１４５を重畳させることにより、検出された領域を強調した表示画像を生成する。表示制御部１７３は、生成した表示画像を表示部１４に表示させる。表示制御部１７３は、入力画像において矩形枠１４５の代わりに半透明の着色矩形を重畳させて表示画像を生成してもよい。強調領域は、検出された領域と同一の領域でも、検出された領域より大きな領域であってもよい。

【0052】

一方、メータ部分２３が全く検出されなかった場合、表示制御部１７３は、時間ｔが所定の条件を満足するか否かを判定する判定処理を実行する（ステップＳ３３）。

【0053】

時間ｔが第１所定時間未満の場合、表示制御部１７３は、入力画像を表示部１４に表示させて（ステップＳ３４）、一連の処理を終了する。

【0054】

一方、時間ｔが第１所定時間以上且つ第２所定時間未満の場合、表示制御部１７３は、表示部１４側から見た画像生成部１３の位置を表示部１４に表示させ（ステップＳ３５）、一連の処理を終了する。

【0055】

図８は、表示部１４に表示される画像生成部の位置の一例を示す図である。

【0056】

図８に示すように、表示制御部１７３は、表示部１４を制御し、第１マーク１４２を画像生成部１３の近傍に表示させる。例えば、撮像装置１の向きに応じて表示部１４に表示される表示画像の向きが定まる場合、撮像装置１は、撮像装置１の向き毎に画像生成部１３の位置に対応する表示画面内の座標を予め記憶部１６に記憶しておく。表示制御部１７３は、向き検出部１５から撮像装置１の向きを取得し、取得した向きに応じた座標を記憶部１６から取得し、表示画像において取得した座標に第１マーク１４２を重畳させることにより、画像生成部１３の位置を示す表示画像を生成する。表示制御部１７３は、生成した表示画像を表示部１４に表示させる。

【0057】

一方、時間ｔが第２所定時間以上且つ第３所定時間未満の場合、表示制御部１７３は、検出対象であるメータ部分２３が存在する想定位置又は想定方向を表示部１４に表示させ（ステップＳ３６）、一連の処理を終了する。

【0058】

図９は、表示部１４に表示される検出対象の想定位置の一例を示す図である。

【0059】

図９に示すように、表示制御部１７３は、検出対象であるメータ部分２３の想定位置を示す第２マーク１４３を表示部１４に表示させる。例えば、表示制御部１７３は、第１マーク１４２の表示の場合と同様にして画像生成部１３の位置に対応する座標を取得する。表示制御部１７３は、表示画像において取得した座標に最も近い角部の対角に位置する角部を中心とする所定範囲内を想定位置として特定する。

【0060】

画像生成部１３が表示部１４の中心ａより左斜め上方に配置されている場合、使用者が表示部１４の中心ａを検出対象であるメータ部分２３の正面に合わせると、メータ部分２３が中心ａから右斜め下方にずれて表示部１４に表示される。そこで、表示制御部１７３は、メータ部分２３が存在すると想定される、表示部１４の中心ａから見て右斜め下方に第２マーク１４３を表示させることにより、右斜め下方に使用者の注意を引きつけるようにする。これにより、使用者は、メータ部分２３を発見しやすくなる。

【0061】

図１０は、表示部１４に表示される検出対象の想定方向の一例を示す図である。

【0062】

図１０に示すように、表示制御部１７３は、画像生成部１３の位置を示す第１マーク１４２、及び、検出対象であるメータ部分２３の想定方向を示す第３マーク１４４を表示部１４に表示させる。例えば、表示制御部１７３は、第１マーク１４２の表示の場合と同様にして画像生成部１３の位置に対応する座標を取得する。表示制御部１７３は、表示画像において取得した座標に最も近い角部から、その角部の対角にある角部へ向かう方向を想定方向として特定する。

【0063】

表示制御部１７３は、メータ部分２３が存在すると想定される、表示部１４の中心ａから見て右斜め下方を示す第３マーク１４４を表示部１４に表示させることにより、右斜め下方に使用者の注意を引きつけるようにする。これにより、使用者は、メータ部分２３を発見しやすくなる。

【0064】

なお、表示制御部１７３は、第１マーク１４２を表示させずに第３マーク１４４を表示部１４に表示させてもよい。

【0065】

一方、時間ｔが第３所定時間以上の場合、表示制御部１７３は、メータ部分２３の想定位置又は想定方向に対応する部分を拡大した表示画面を表示部１４に表示させ（ステップＳ３７）、一連の処理を終了する。

【0066】

図１１は拡大前の表示画面の一例を示す図であり、図１２は拡大後の表示画面の一例を示す図である。

【0067】

表示制御部１７３は、メータ部分２３の想定位置又は表示画像上において想定方向側の角部を含むように拡大対象領域１４６を決定し、拡大対象領域１４６を表示部１４全体のサイズに拡大した拡大画像１４６ａを生成して表示部１４に表示させる。表示制御部１７３は、ニアレストネイバー法、バイリニア法等の公知の技術を利用して、拡大対象領域１４６を拡大する。表示制御部１７３がメータ部分２３の想定位置又は想定方向に対応する部分を拡大することにより、使用者は、メータ部分２３を発見しやすくなる。

【0068】

以上詳述したように、撮像装置１は、表示部側から見たカメラ位置が表示部の中心以外の位置に配置されている。撮像装置１は、第１所定時間が経過しても検出対象を検出しない場合、画像生成部の位置を表示し、第２所定時間が経過しても依然検出対象を検出しない場合、検出対象の想定位置又は想定方向を表示する。これにより、撮像装置１は、撮像装置１の使用者に対して、検出対象を発見しやすくすることができる。

【0069】

なお、撮像装置１は、図４のステップＳ１４において複数個のメータ部分２３を検出した場合、それぞれの領域に対してステップＳ１６の文字認識処理を実行してもよい。文字認識処理を実行した結果、複数個の認識結果を取得した場合、表示制御部１７３は、いずれか一つの認識結果を使用してステップＳ１８で確認用表示画面を生成し、表示部１４に表示させてもよい。また、表示制御部１７３は、ステップＳ１８の確認用画面の表示に代えて、検出対象の確認を使用者に促すための画像を含む警告用表示画面を表示部１４に表示させてもよい。

【0070】

図１３は、警告用表示画面の一例を示す図である。

【0071】

図１３に示すように、メータ２のメータ部分２３とは別に第２メータ３の第２メータ部分３３が検出された場合、撮像装置１は、どちらのメータ部分を認識結果として記憶すべきか判定できない。そこで、表示制御部１７３は、予め記憶部１６に記憶された「１つにして下さい」という文字列１４７を入力画像に重畳させることにより警告用表示画面を生成して、表示部１４に表示させる。

【0072】

一般に、複数個のメータが水平方向に隣接して配置されている場合、各メータのメータ部分は近くに配置されており、検出部１７２により複数のメータ部分が検出される可能性が高い。図１に示したように、画像生成部１３の画角の中心がメータ部分より左上側にある場合、使用者が撮影したいメータ部分は、表示部１４の中央ではなく右側にあることがある。その場合、使用者が撮影しようとしているメータ部分は表示画像において画像生成部１３の位置の反対側に写っている可能性が高い。そこで、使用者が表示画像において画像生成部１３の位置の反対側に注目するように、表示制御部１７３は、表示画像において画像生成部１３の位置の反対側の半面に半透明の図形１４８を重畳させた警告用表示画面を生成して、表示部１４に表示させてもよい。

【0073】

警告用表示画面が表示された場合、ＣＰＵ１７は、ステップＳ１９の処理を実行せずに、処理をステップＳ１２に戻す。

【0074】

また、表示制御部１７３は、図４のステップＳ１２で経過時間ｔの測定を開始する前に、入力画像を表示部１４に表示させてもよい。例えば、表示制御部１７３は、画像生成部１３側の角部から所定範囲内のみ入力画像を表示し、他の領域には黒色画像を表示させる。表示制御部１７３は、時間の経過とともに入力画像を表示させる範囲を画像生成部１３の対角に位置する角部に向けて拡大させていく。これにより、使用者は、画像生成部１３の位置を容易に想起することができる。

【0075】

また、表示制御部１７３が、図４のステップＳ１８〜Ｓ１９で検出された数字を登録するか否かを使用者に問い合わせることなく、検出部１７２が、ステップＳ２０で認識結果を記憶部１６に記憶してもよい。この場合、表示制御部１７３は、認識結果を表示部１４に表示させてもよい。

【0076】

また、表示制御部１７３は、図６のステップＳ３２における一部強調表示と、ステップＳ３４〜Ｓ３７の各表示とを同時に実行してもよい。

【0077】

また、本実施形態では、撮像装置をメータの数字を検出するために使用したが、検出対象はこれに限らず、バーコード、２次元コード等であってもよい。

【0078】

図１４は、他の実施形態に係る撮像装置の概略構成を示すブロック図である。

【0079】

撮像装置１ａの処理回路１８は、撮像装置１のＣＰＵ１７の代わりに、全体処理を実行する。処理回路１８は、画像生成制御回路１８１、検出回路１８２、表示制御回路１８３、入力検出回路１８４等を有する。

【0080】

画像生成制御回路１８１は、画像生成制御部の一例であり、画像生成制御部１７１と同様の機能を有する。画像生成制御回路１８１は、画像生成部１３からメータを撮影した入力画像を順次取得し、検出回路１８２及び表示制御回路１８３に出力する。

【0081】

検出回路１８２は、検出部の一例であり、検出部１７２と同様の機能を有する。検出回路１８２は、入力画像に写っているメータ内の数値を検出し、認識結果を記憶部１６に記憶する。検出回路１８２は、メータ内のメータ部分２３の領域の座標を検出し、検出座標を表示制御回路１８３に出力する。

【0082】

表示制御回路１８３は、表示制御部の一例であり、表示制御部１７３と同様の機能を有する。表示制御回路１８３は、入力画像、検出座標及び向き信号に基づいて表示画像を生成し、表示部１４に表示させる。

【0083】

入力検出回路１８４は、入力検出部の一例であり、入力検出部１７４と同様の機能を有する。入力検出回路１８４は、入力部１２から入力信号を取得し、画像生成制御回路１８１、検出回路１８２、表示制御回路１８３等に入力情報を出力する。

【0084】

以上詳述したように、撮像装置は、処理回路１８を用いる場合においても、使用者に対して検出対象を発見しやすくすることができる。

【符号の説明】

【0085】

１、１ａ 撮像装置
１０ 本体
１３ 画像生成部
１４ 表示部
１７２ 検出部
１７３ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】