特許 6804292 端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6804292

(24)【登録日】2020年12月4日

(45)【発行日】2020年12月23日

(54)【発明の名称】端末装置

(51)【国際特許分類】

   G06K 9/03 20060101AFI20201214BHJP

   G06K 9/20 20060101ALI20201214BHJP

【ＦＩ】

   G06K9/03 Z

   G06K9/20 340K

【請求項の数】6

【全頁数】22

(21)【出願番号】特願2016-256224(P2016-256224)

(22)【出願日】2016年12月28日

(65)【公開番号】特開2018-109801(P2018-109801A)

(43)【公開日】2018年7月12日

【審査請求日】2019年11月21日

(73)【特許権者】

【識別番号】503246015

【氏名又は名称】オムロンヘルスケア株式会社

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】出野 徹

(72)【発明者】

【氏名】北村 隆

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１０−２１８０６１（ＪＰ，Ａ）

【文献】 特開２０１３−１２５３９１（ＪＰ，Ａ）

【文献】 国際公開第２００８／０９９６６４（ＷＯ，Ａ１）

【文献】 特開２０１４−１３７７１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／０３，９／２０

(57)【特許請求の範囲】

【請求項1】

端末装置であって、
被写体として健康機器を撮像する撮像手段と、
前記撮像手段により生成された撮像画像に含まれる前記健康機器の画像から、前記健康機器のディスプレイに表示された測定値を示す文字列を認識する処理を実行する認識手段と、
前記表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字の認識の正確さを表わす確度が第１閾値未満であるか否かを判断する判断手段とを備え、
前記複数の認識文字のうちの少なくとも１つの認識文字についての前記確度が前記第１閾値未満である場合、前記認識手段は、前記撮像手段によりさらに生成されたＮ個（Ｎは１以上の整数）の撮像画像の各々から、前記表示された測定値を示す文字列を認識する処理をさらに実行し、
前記表示された測定値を示す文字列のＮ＋１回分の認識結果に基づいて、当該文字列に含まれる各文字について、当該文字が認識されることにより得られた少なくとも１つの認識文字のうち、最も認識回数の多い認識文字を特定し、当該特定された各認識文字から構成される認識文字列を、前記健康機器の測定値として決定する決定手段と、
前記決定手段の決定結果を出力する出力制御手段とをさらに備える、端末装置。

【請求項2】

前記複数の認識文字の各々についての前記確度が前記第１閾値以上である場合、前記決定手段は、前記複数の認識文字から構成される認識文字列を、前記健康機器の測定値として決定する、請求項１に記載の端末装置。

【請求項3】

前記出力制御手段は、前記表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々を、当該認識文字についての前記確度に応じた所定色で前記端末装置のディスプレイに表示させる、請求項１または２に記載の端末装置。

【請求項4】

前記出力制御手段は、前記表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての前記確度を示す情報を前記端末装置のディスプレイに表示させる、請求項１または２に記載の端末装置。

【請求項5】

前記判断手段は、前記表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての前記確度が前記第１閾値よりも小さい第２閾値未満であるか否かをさらに判断し、
前記複数の認識文字のうちの少なくとも１つの認識文字についての前記確度が前記第２閾値未満である場合、前記撮像手段により生成された撮像画像から、前記少なくとも１つの認識文字以外の残余の各認識文字に対応する各文字を含む領域を切り取った部分画像を生成する生成手段と、
前記生成手段により生成された複数の部分画像を合成する合成手段とをさらに備え、
前記認識手段は、前記合成手段により合成された画像から、前記表示された測定値を示す文字列を認識する処理を実行する、請求項１〜４のいずれか１項に記載の端末装置。

【請求項6】

前記出力制御手段は、前記健康機器の測定値として決定された認識文字列が表わす数値が所定範囲外である場合、異常情報を出力する、請求項１〜５のいずれか１項に記載の端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、端末装置に関し、特に、健康機器を撮像することにより、当該健康機器の測定結果を取り込むことが可能な端末装置に関する。

【背景技術】

【0002】

血圧および脈拍等のような人体の健康状態に関する様々な生体情報を測定する各種の測定機器が開発されている。このような測定機器の測定データを収集するための端末装置に取り込んで、ユーザの健康状態の確認等が行われている。

【0003】

例えば、特開２００１−２２４５５７号公報（特許文献１）は、データ入力装置を開示している。データ入力装置は、計測器のデータ表示部に表示されたデータの画像を得る画像取得手段と、得られた画像中の数字を読みとる数字読みとり手段と、読みとった数字を表示する表示手段とを含む。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１−２２４５５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に係る表示データ解析装置は、撮像画像から計測データの検出を行ない易くするために、計測装置に貼られる各種マーカ、計測データが表示される表示部の色および反射率情報等を利用することを検討している。しかしながら、特許文献１では、実際に検出された計測データの正確性については何ら検討されていないため、表示データ解析装置は、計測装置の表示部に表示されている計測データとは異なる計測データを出力してしまう可能性がある。

【0006】

本開示は、上記に鑑みてなされたものであって、ある局面における目的は、健康機器の表示部に表示された測定結果をより正確に取得することが可能な端末装置を提供することである。

【課題を解決するための手段】

【0007】

ある実施の形態に従う端末装置は、被写体として健康機器を撮像する撮像手段と、撮像手段により生成された撮像画像に含まれる健康機器の画像から、健康機器のディスプレイに表示された測定値を示す文字列を認識する処理を実行する認識手段と、表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字の認識の正確さを表わす確度が第１閾値未満であるか否かを判断する判断手段とを備える。複数の認識文字のうちの少なくとも１つの認識文字についての確度が第１閾値未満である場合、認識手段は、撮像手段によりさらに生成されたＮ個（Ｎは１以上の整数）の撮像画像の各々から、表示された測定値を示す文字列を認識する処理をさらに実行する。端末装置は、表示された測定値を示す文字列のＮ＋１回分の認識結果に基づいて、当該文字列に含まれる各文字について、当該文字が認識されることにより得られた少なくとも１つの認識文字のうち、最も認識回数の多い認識文字を特定し、当該特定された各認識文字から構成される認識文字列を、健康機器の測定値として決定する決定手段と、決定手段の決定結果を出力する出力制御手段とをさらに備える。

【0008】

好ましくは、複数の認識文字の各々についての確度が第１閾値以上である場合、決定手段は、複数の認識文字から構成される認識文字列を、健康機器の測定値として決定する。

【0009】

好ましくは、出力制御手段は、表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々を、当該認識文字についての確度に応じた所定色で端末装置のディスプレイに表示させる。

【0010】

好ましくは、出力制御手段は、表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度を示す情報を端末装置のディスプレイに表示させる。

【0011】

好ましくは、判断手段は、表示された測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度が第１閾値よりも小さい第２閾値未満であるか否かをさらに判断する。端末装置は、複数の認識文字のうちの少なくとも１つの認識文字についての確度が第２閾値未満である場合、撮像手段により生成された撮像画像から、少なくとも１つの認識文字以外の残余の各認識文字に対応する各文字を含む領域を切り取った部分画像を生成する生成手段と、生成手段により生成された複数の部分画像を合成する合成手段とをさらに備える。認識手段は、合成手段により合成された画像から、表示された測定値を示す文字列を認識する処理を実行する。

【0012】

好ましくは、出力制御手段は、健康機器の測定値として決定された認識文字列が表わす数値が所定範囲外である場合、異常情報を出力する。

【発明の効果】

【0013】

本開示によると、健康機器の表示部に表示された測定結果をより正確に取得することが可能となる。

【図面の簡単な説明】

【0014】

【図1】端末装置および健康機器を含むシステムの概略的な構成を示す図である。

【図2】端末装置のハードウェア構成の一例を表わすブロック図である。

【図3】血圧計の本体部の外観の一例を示す図である。

【図4】ガイドの表示方式（その１）を説明するための図である。

【図5】ガイドの表示方式（その２）を説明するための図である。

【図6】ガイドの表示方式（その３）を説明するための図である。

【図7】認識結果をリアルタイムで表示した画面例を示す図である。

【図8】複数の画像の合成方法を説明するための図である。

【図9】撮像方向の報知機能の説明するための図である。

【図10】ＨＤＲ機能を用いた撮像画像の生成方法を説明するための図である。

【図11】端末装置の機能構成を示すブロック図である。

【図12】端末装置の処理手順の一例を示すフローチャートである。

【図13】端末装置の処理手順の変形例を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0016】

＜全体構成＞
図１は、端末装置および健康機器を含むシステム１の概略的な構成を示す図である。

【0017】

図１を参照して、システム１は、ユーザ端末である端末装置１０と、ユーザの生体情報を測定するための健康機器の一例である血圧計２０、２１、および体重・体組成計２３を含む。なお、健康機器は、血圧計２０、２１および体重・体組成計２３に限られず、測定結果を表示可能な睡眠計、歩数計、体温計等であってもよい。

【0018】

血圧計２０は、本体とカフ（腕帯）とが別体である据置型の上腕式血圧計である。血圧計２１は、本体とカフとが一体となった腕時計型の手首式血圧計である。血圧計２１は、腕時計のように長時間腕に装着して、２４時間連続して脈動を１拍ごとに測定する機能や、常時装着して測定開始ボタンを押すだけで測定できる機能等を有する。これにより、血圧計２１は、ユーザの血圧の常時測定が可能となっている。体重・体組成計２３は、体重、体脂肪率、内臓脂肪レベル、皮下脂肪率等を測定可能であり、測定結果をディスプレイに表示する。なお、以下では、説明の便宜上、血圧計２０を「健康機器」の代表例として説明を行なう。

【0019】

端末装置１０は、例えば、カメラと、タッチパネルとを有するスマートフォンである。端末装置１０は、カメラを用いて各健康機器を撮像することにより生成した撮像画像の中から、各健康機器のディスプレイに表示された測定結果を検出（認識）する機能を有する。以下では、携帯機器であるスマートフォンを「端末装置」の代表例として説明を行なう。ただし、端末装置は、折り畳み式携帯電話、タブレット端末装置、ＰＤＡ（Personal Data Assistance）などのような撮像機能を有する他の端末装置であってもよい。

【0020】

詳細は後述するが、端末装置１０は、カメラを用いて、測定結果を表示している状態の健康機器を撮像（撮影）する。端末装置１０は、生成した撮像画像の中から、各種の認識方式を用いて測定結果を認識し、認識した測定結果を出力する。例えば、端末装置１０は、認識された測定値（最高血圧値等）を自装置のディスプレイに表示する。

【0021】

＜ハードウェア構成＞
（端末装置）
図２は、端末装置１０のハードウェア構成の一例を表わすブロック図である。図２を参照して、端末装置１０は、主な構成要素として、プロセッサ１５２と、メモリ１５４と、入力装置１５６と、ディスプレイ１５８と、無線通信部１６０と、通信アンテナ１６２と、カメラ１６３と、メモリインターフェイス（Ｉ／Ｆ）１６４と、通信インターフェイス（Ｉ／Ｆ）１６６と、スピーカ１６８と、マイク１７０と、方向センサ１７２とを含む。また、端末装置１０は、時刻を計時するための計時部をさらに含む。

【0022】

プロセッサ１５２は、典型的には、ＣＰＵ（Central Processing Unit）やＭＰＵ（Multi Processing Unit）といった演算処理部である。プロセッサ１５２は、メモリ１５４に記憶されたプログラムを読み出して実行することで、端末装置１０の各部の動作を制御する制御部として機能する。プロセッサ１５２は、当該プログラムを実行することによって、後述する端末装置１０の処理（ステップ）の各々を実現する。

【0023】

メモリ１５４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、フラッシュメモリなどによって実現される。メモリ１５４は、プロセッサ１５２によって実行されるプログラム、またはプロセッサ１５２によって用いられるデータなどを記憶する。

【0024】

入力装置１５６は、端末装置１０に対する操作入力を受け付ける。典型的には、入力装置１５６は、タッチパネルによって実現される。タッチパネルは、表示部としての機能を有するディスプレイ１５８上に設けられており、例えば、静電容量方式タイプである。タッチパネルは、所定時間毎に外部物体によるタッチパネルへのタッチ操作を検知し、タッチ座標をプロセッサ１５２に入力する。ただし、入力装置１５６は、ボタンなどを含んでいてもよい。

【0025】

無線通信部１６０は、通信アンテナ１６２を介して移動体通信網に接続し無線通信のための信号を送受信する。これにより、端末装置１０は、たとえば、ＬＴＥ（Long Term Evolution）などの移動体通信網を介して他の通信装置との通信が可能となる。

【0026】

カメラ１６３は、例えばＣＣＤ（Charge Coupled Device）方式、ＣＭＯＳ（Complementary Mental Oxide Semiconductor）方式その他の方式により実現される。

【0027】

メモリインターフェイス１６４は、外部の記憶媒体１６５からデータを読み出す。プロセッサ１５２は、メモリインターフェイス１６４を介して記憶媒体１６５に格納されているデータを読み出して、当該データをメモリ１５４に格納する。プロセッサ１５２は、メモリ１５４からデータを読み出して、メモリインターフェイス１６４を介して当該データを外部の記憶媒体１６５に格納する。

【0028】

記憶媒体１６５は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray（登録商標） Disc）、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）メモリカードなどの不揮発的にプログラムを格納する媒体を含む。

【0029】

通信インターフェイス（Ｉ／Ｆ）１６６は、他の装置との間で各種データをやり取りするための通信インターフェイスであり、アダプタやコネクタなどによって実現される。本実施の形態では、通信方式として、ＢＬＥ（Bluetooth（登録商標） low energy）が採用される。ただし、通信方式は、無線ＬＡＮなどによる無線通信方式であってもよいし、ＵＳＢ（Universal Serial Bus）などを利用した有線通信方式であってもよい。

【0030】

スピーカ１６８は、プロセッサ１５２から与えられる音声信号を音声に変換して端末装置１０の外部へ出力する。マイク１７０は、端末装置１０に対する音声入力を受け付けて、当該音声入力に対応する音声信号をプロセッサ１５２に与える。

【0031】

方向センサ１７２は、端末装置１０が向いている方向を検出する。具体的には、方向センサ１７２は、ディスプレイ１５８の表示面がどの方向に向いているのかを検出する。例えば、方向センサ１７２は、３軸加速度センサ、３軸ジャイロセンサおよび３軸地磁気センサの少なくとも１つを有する。これにより、端末装置１０は、方向センサ１７２を用いて自装置の傾きを３軸で検出することにより、ユーザが端末装置１０を把持しているときの端末装置１０の姿勢情報を取得することができる。なお、端末装置１０は、３軸地磁気センサにより、地磁気ベクトルを３軸で検出して、方位情報を取得してもよい。

【0032】

（健康機器）
健康機器は、後述するような情報処理を全体として提供できればよく、そのハードウェア構成については公知のものを採用することができる。例えば、健康機器は、各種処理を実行するためのプロセッサと、プログラムやデータなどを格納するためのメモリと、測定結果等を表示するためのディスプレイと、ユーザからの指示を受け付けるための入力インターフェイスと、時刻を計時するための計時部と、生体情報の測定に用いられる各種ハードウェアとを含む。例えば、血圧計２０は、当該各種ハードウェアとして、ユーザの上腕（または手首）に巻付け可能なカフと、圧電ポンプおよび排気弁等のカフ圧の調整機構と、カフ圧を検出するための圧力センサと、外気温を検出する温度センサとを含む。

【0033】

図３は、血圧計２０の本体部の外観の一例を示す図である。図３を参照して、血圧計２０の本体部２２は、ディスプレイ２４と、進む／戻るボタン２６と、ランプ２７と、ユーザ番号スイッチ２８と、血圧測定の開始／停止ボタン２９とを含む。なお、本体部２２の外表面には、ブランド情報４１（例えば、ブランド「ＡＡＡ」）と、血圧計２０の型式情報４３（例えば、型式「ＸＹＺ−ＡＢＣ」）とが設けられている。ユーザ番号スイッチ２８は、２人分の測定結果を別々に記憶する場合に用いられる。図３の例では、番号「１」のユーザが選択されている。ランプ２７は、カフの巻き方の適否を示すランプであり、図３の例では適切であることが示されている。

【0034】

ディスプレイ２４には、測定結果が表示される。具体的には、測定結果は、領域５０に表示される最高血圧値（例えば、１１８ｍｍＨｇ）、最低血圧値（例えば、７８ｍｍＨｇ）および脈拍数（例えば、７０泊／分）を含む測定値と、領域５２に表示される測定日時（例えば、７月１日７時３０分）と、領域５４に表示されるユーザ番号（例えば、「１」）と、領域５６に表示される現在の気温（例えば、２４度）と、領域５８に表示される各種メッセージ（例えば、測定完了を示すメッセージ）とを含む。なお、測定結果は、脈波状態を示す情報、カフの巻き方の適否を示す情報等を含んでいてもよい。

【0035】

＜測定結果の認識＞
本実施の形態に従う端末装置１０は、健康機器に表示された測定結果を認識するために用いられる各種機能を有している。以下、各種機能について説明する。

【0036】

（ガイドの表示）
血圧計２０の測定値を示す文字列を端末装置１０に認識させる際に、ユーザの操作を補助するために用いられるガイドの表示方式について説明する。なお、本実施の形態における「文字」とは、言葉（言語）を伝達し記録するために線、点等を組み合わせた記号を意味し、英数記号、漢字、かな文字等だけでなく、絵文字、スタンプ等の任意の図形に識別コードが付されたものを含むものとする。

【0037】

図４は、ガイドの表示方式（その１）を説明するための図である。なお、端末装置１０は、入力装置１５６を介して、文字認識モードへの移行指示をユーザから受け付けると、端末装置１０の動作モードを当該認識モードに移行させ、撮像画像に含まれる文字列の認識を開始する。端末装置１０は、文字認識モード中、所定周期で、撮像画像の生成、生成した撮像画像の表示、および文字認識処理を自動的に繰り返す。図４を参照して、表示方式（その１）では、文字認識モード中に、血圧計２０の測定値（最高血圧、最低血圧、脈拍）を収める範囲をガイダンスするための枠５１０を含む画面５００がディスプレイ１５８に表示される。ここで、図４中の画面５００は、血圧計２０の撮像画像と、枠５１０とを重ね合わせた画面である。

【0038】

枠５１０は、文字列を認識することが可能な認識範囲（解析範囲）の外周四隅を示す枠として表示される。そのため、枠５１０の内側が、認識範囲となる。端末装置１０は、認識範囲に収まるように撮像された測定結果を認識する処理を実行する。具体的には、端末装置１０は、当該測定結果に含まれる各種の文字列を認識する。

【0039】

ここで、端末装置１０は、血圧計２０のディスプレイ２４のどの領域にどのような情報が表示されるのかを示す画面情報をメモリ１５４に記憶している。そのため、例えば、認識範囲である枠５１０内にディスプレイ２４が収まるように撮像された場合、端末装置１０は、画面情報を用いることにより、認識された各文字列がどのような情報であるのかを特定できる。例えば、端末装置１０は、枠５１０内に収まったディスプレイ２４の領域５０において認識された複数の文字列「１１８」，「７８」，「７０」は、それぞれ最高血圧値、最低血圧値、脈拍数を示す文字列であることを特定できる。

【0040】

また、端末装置１０は、ユーザからの指示を受け付けて、被写体となる健康機器が血圧計２０であることを特定する。あるいは、端末装置１０は、撮像画像から、健康機器の特徴情報（形状、型式、ブランド）等を抽出し、抽出された特徴情報と、予め記憶している各健康機器の特徴情報とを比較することにより、被写体となる健康機器が血圧計２０であることを特定してもよい。

【0041】

表示方式（その１）によると、ユーザは、枠５１０内が認識範囲であることを把握できるため、端末装置１０による測定値の認識を容易にすることができる。

【0042】

図５は、ガイドの表示方式（その２）を説明するための図である。図５を参照して、表示方式（その２）では、文字認識モード中に、血圧計２０の形状の輪郭を表わすオブジェクト５２０を含む画面５３０がディスプレイ１５８に表示される。なお、端末装置１０は、血圧計２０の外表面に設けられた文字（ブランド情報４１等）を示すオブジェクトをさらに表示してもよい。なお、図５の例では、オブジェクト５２０の見易さのため、血圧計２０の撮像画像は示されていない。

【0043】

ユーザは、端末装置１０を動かすことにより、オブジェクト５２０に血圧計２０が重なるように撮像する。端末装置１０は、オブジェクト５２０に重なるように血圧計２０が撮像された場合、端末装置１０は、測定結果に含まれる各種の文字列を認識する。

【0044】

表示方式（その２）によると、端末装置１０が測定結果を認識し易くなる位置で血圧計２０を撮像するように、ユーザを誘導することができる。

【0045】

図６は、ガイドの表示方式（その３）を説明するための図である。図６を参照して、表示方式（その３）では、文字認識モード中に、四角形状の半透明オブジェクト５４０と、７セグメントにおける各セグメントを示す半透明オブジェクト５４２，５４４，５４６とを含む画面５５０がディスプレイ１５８に表示される。

【0046】

図３に示すように、血圧計２０の測定値（最高血圧値、最低血圧値、脈拍数）を示す文字列は、７セグメント表示方式の文字で構成されている。そこで、図６の例のように、最高血圧値に対する各セグメントを示す半透明オブジェクト５４２と、最低血圧値に対する各セグメントを示す半透明オブジェクト５４４と、脈拍数に対する各セグメントを示す半透明オブジェクト５４６とが表示される。また、半透明オブジェクト５４０は、認識範囲を示しており、図４における枠５１０の内側部分に相当する。なお、図６の例では、半透明の各オブジェクトの見易さのため、血圧計２０の撮像画像は示されていない。

【0047】

ユーザは、端末装置１０を動かすことにより、各オブジェクト５４２，５４４，５４６に、血圧計２０のディスプレイ２４に表示された測定値が重なるように撮像する。各オブジェクト５４２，５４４，５４６に、各測定値が重なるように撮像された場合、端末装置１０は、測定結果に含まれる各種の文字列を認識する。

【0048】

なお、端末装置１０は、血圧計２０の画面情報を用いることにより、ディスプレイ２４のどの領域に各測定値が表示されるのかを把握できる。そのため、端末装置１０は、各半透明オブジェクト５４２，５４４，５４６に各測定値が重なるように撮像された場合に、半透明オブジェクト５４０が示す認識範囲が、撮像画像に含まれるディスプレイ２４全体を含むように、各半透明オブジェクトの位置、大きさ等を設定することができる。

【0049】

表示方式（その３）によると、端末装置１０が測定結果を認識し易くなる位置で血圧計２０を撮像するように、ユーザを誘導することができる。７セグメント表示方式の場合、各セグメントが読みやすいため、ユーザが各測定値を各半透明オブジェクト５４２，５４４，５４６に合わせやすいという利点もある。ただし、血圧計２０の測定値を示す文字列が、７セグメント表示方式以外の表示方式（例えば、ドットマトリクス表示方式）で表示されている場合には、各半透明オブジェクト５４２，５４４，５４６もドットマトリクス表示方式で表示される。

【0050】

なお、端末装置１０は、上記の表示方式（その１）〜（その３）のうちの少なくとも２つを組み合わせた表示方式を用いてもよい。

【0051】

（認識確度の利用）
端末装置１０は、撮像画像から、血圧計２０のディスプレイ２４に表示された測定値（以下、「表示測定値」とも称する。）を示す文字列を認識して、当該認識した文字列を、血圧計２０の測定値とみなす。このとき、ディスプレイ１５８に表示される測定値の正確性（すなわち、表示測定値が示す数値と、認識した文字列が示す数値との一致度）をできるだけ高めるため、端末装置１０は、認識した文字（認識文字）の認識の正確さを示す確度を利用する。

【0052】

まず、端末装置１０は、撮像画像から、表示測定値を認識する処理を実行する。これにより、端末装置１０は、撮像画像から認識された認識文字列と、当該認識文字列に含まれる各認識文字についての確度とを取得する。なお、確度は、公知の技術を用いて算出されればよく、例えば、文字画像の特徴量と、メモリ１５４に予め登録されている辞書パターンとを比較することにより算出される。

【0053】

次に、端末装置１０は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度が閾値Ｔｈ１（例えば、８５％）未満であるか否かを判断する。例えば、図４に示されるように、最高血圧値を示す文字列「１１８」が撮像画像に含まれており、文字認識により認識文字列「１１８」が得られたとする。この場合、各認識文字「１」，「１」，「８」についての確度は、例えば、それぞれ「８５」，「９０」，「９５」のように取得される。端末装置１０は、各確度「８５」，「９０」，「９５」が閾値Ｔｈ１未満であるか否かを判断する。なお、端末装置１０は、最低血圧値を示す文字列、および脈拍数を示す文字列についても同様の判断を行なう。

【0054】

端末装置１０は、表示測定値に対応するすべての認識文字についての確度が閾値Ｔｈ１以上であると判断した場合、これらの認識文字から構成される認識文字列を血圧計２０の測定値としてディスプレイ１５８に表示する。例えば、最高血圧値に対応する複数の認識文字それぞれについての確度「８５」，「９０」，「９５」は、すべて閾値Ｔｈ１以上であるため、端末装置１０は、血圧計２０で測定された最高血圧値が「１１８」であると決定し（みなし）、当該決定結果（例えば、最高血圧値「１１８」）をディスプレイ１５８に表示する。

【0055】

一方、端末装置１０は、複数の認識文字のうちの少なくとも１つの認識文字についての確度が閾値Ｔｈ１未満である場合、所定回数（例えば、２回）分の撮像画像の各々から、表示測定値を示す文字列を認識する処理を実行する。例えば、最高血圧値を示す文字列「１１８」が撮像画像に含まれており、認識処理により認識文字列「１１０」が得られ、各認識文字「１」，「１」，「０」についての確度が、それぞれ「８５」，「９０」，「６０」であったとする。この場合、認識文字「０」についての確度「６０」は閾値Ｔｈ１未満であるため、端末装置１０は、所定回数分の撮像画像の各々から、表示測定値を示す文字列を認識する処理を実行する。

【0056】

次に、端末装置１０は、最初の撮像画像に含まれる表示測定値を示す文字列の認識結果と、追加で行なった２回分の撮像画像の各々に含まれる当該文字列の認識結果とに基づいて、血圧計２０の測定値として採用する認識文字列を決定する。

【0057】

例えば、最初の撮像画像に含まれる当該文字列における複数の文字が、それぞれ「１」，「１」，「０」と認識され、２回目の撮像画像における当該複数の文字がそれぞれ「１」，「１」，「８」と認識され、３回目の撮像画像における当該複数の文字がそれぞれ「１」，「１」，「８」と認識されたとする。この場合、百の位の文字が認識されることにより得られた認識文字は「１」のみであり、認識文字「１」として認識された回数は３回である。同様に、十の位の文字が認識されることにより得られた認識文字は「１」のみであり、認識文字「１」として認識された回数は３回である。一方、一の位の文字が認識されることにより得られた認識文字は「０」および「８」が存在し、認識文字「０」として認識された回数は１回であり、認識文字「８」として認識された回数は２回である。

【0058】

ここで、端末装置１０は、一の位の文字の認識結果である複数の認識文字「０」，「８」のうち、最も認識された回数の多い認識文字が「８」であることを特定する。なお、百の位の文字および十の位の文字については、それぞれ認識文字「１」が特定される。端末装置１０は、このように特定された各認識文字「１」，「１」，「８」から構成される認識文字列「１１８」を最高血圧値として決定し、当該決定結果をディスプレイ１５８に表示する。

【0059】

このように、端末装置１０は、認識文字についての確度が低いと判断した場合、再度、所定回数の認識処理を実行し、多数決により採用された各認識文字を血圧計２０の測定値として決定する。そのため、確度の低い認識文字から構成される認識文字列を血圧計２０の測定値として採用することがない。そのため、血圧計２０のディスプレイ２４に表示された測定値をより正確に取得することができる。

【0060】

（認識結果のリアルタイム表示）
ここで、端末装置１０が、撮像画像に含まれる表示測定値を示す文字列を誤認識した場合を想定する。この場合、端末装置１０は、誤った認識文字列を血圧計２０の測定値として決定し、決定結果が表示される。ユーザは、血圧計２０のディスプレイ２４に表示された測定値と、端末装置１０のディスプレイ１５８に表示された測定値とを比較することにより、端末装置１０が測定値を誤って認識していることを把握する。そのため、ユーザは、血圧計２０のディスプレイ２４に表示された測定値を端末装置１０に認識させる作業を行なう必要がある。

【0061】

上記作業をできるだけ回避するため、撮像画像に含まれる表示測定値の認識結果をリアルタイムでディスプレイ１５８に表示する機能について説明する。

【0062】

図７は、認識結果をリアルタイムで表示した画面例を示す図である。ここで、端末装置１０は、文字認識モード中、所定周期で、撮像画像の生成、撮像画像の表示、および撮像画像に含まれる文字列の認識を繰り返している。なお、血圧計２０のディスプレイ２４には、最高血圧値「１３３」、最低血圧値「１０６」、脈拍数「８２」が表示されているものとする。図７中の領域５７０は、外光等の映り込みで画面輝度が高くなっている領域を示している。

【0063】

図７を参照して、端末装置１０は、撮像画像から最高血圧値、最低血圧値、脈拍数それぞれの文字列「１３３」、「１０６」、「８２」を認識する。端末装置１０は、撮像画像と、枠５１０と、その認識結果であるオブジェクト５６２，５６４，５６６を含む画面６００とを表示する。なお、説明の容易化のため、画面６００には、血圧計２０のディスプレイ２４の部分の撮像画像のみを示している。また、ディスプレイ２４に表示される、測定値以外の文字列等についても省略している。

【0064】

オブジェクト５６２は、最高血圧値を示す文字列の認識結果（すなわち、認識文字列「１３３」）を示しており、オブジェクト５６４は、最低血圧値を示す文字列の認識結果（すなわち、認識文字列「１０６」）を示しており、オブジェクト５６６は、脈拍数を示す文字列の認識結果（すなわち、認識文字列「８２」）を示している。このことから、ユーザは、血圧計２０のディスプレイ２４に表示された測定値が、端末装置１０に正しく認識されていることを把握できる。その後、ユーザは、例えば、決定ボタン等を押下することにより、認識された文字列を血圧計２０の測定値として決定することができる。

【0065】

また、図７の例に示すように、端末装置１０は、複数の認識文字の各々を、当該認識文字についての確度に応じた所定の色で表示してもよい。具体的には、最高血圧値を示す文字列の認識結果であるオブジェクト５６２のうち、百の位の数字「１」についての確度は７０％以上から９０％未満であり、十の位および一の位の数字「３」についての確度は９０％以上である。そのため、端末装置１０は、オブジェクト５６２のうちの百の位の数字「１」と、十の位および一の位の数字「３」とを異なる色で表示する。これにより、ユーザは、認識文字列および当該認識文字列の色を確認しながら、端末装置１０のカメラ１６３の向きを変える等の操作を行なうことができる。

【0066】

（画像の合成）
ここでは、複数の撮像画像を合成する機能について説明する。図８は、複数の画像の合成方法を説明するための図である。ここでは、ある周期ｐで生成された撮像画像と、当該周期ｐの次の周期ｐ＋１で生成された撮像画像とを合成する方法について説明する。なお、説明の容易化のため、撮像画像７２２，７２６は、血圧計２０のディスプレイ２４の部分の撮像画像を示している。また、ディスプレイ２４に表示される、測定値以外の文字列等についても省略している。

【0067】

図８を参照して、周期ｐで生成された撮像画像７２２では、最高血圧値の一の位、最低血圧値の一の位、および脈拍数を示す各領域が、外光による映り込み等により画面輝度が高い領域７５２と重なっている。そのため、最高血圧値の一の位、最低血圧値の一の位、および脈拍数を示す各文字の認識結果である各認識文字についての確度は低くなり、例えば、閾値Ｔｈ２（例えば、４０％）未満となる。

【0068】

この場合、端末装置１０は、撮像画像７２２から、閾値Ｔｈ２未満の確度を有する当該各認識文字以外の残余の各認識文字に対応する各文字（この場合、最高血圧値の百および十の位の文字、および最低血圧値の十の位の文字）を含む領域を切り取った部分画像７２４を生成する。端末装置１０は、部分画像７２４をメモリ１５４に格納する。

【0069】

次に、周期ｐ＋１で生成された撮像画像７２６では、最高血圧値の百の位を示す領域が、画面輝度が高い領域７５４と重なっている。この場合、端末装置１０は、撮像画像７２６から、閾値Ｔｈ２未満の確度を有する認識文字以外の残余の各認識文字に対応する各文字（この場合、最高血圧値の百の位の文字以外の各文字）を含む領域を切り取った部分画像７２８を生成する。端末装置１０は、部分画像７２８をメモリ１５４に格納する。

【0070】

そして、端末装置１０は、メモリ１５４に格納された部分画像７２４および部分画像７２８を合成して合成画像７３０を生成する。端末装置１０は、合成画像から、表示測定値を示す文字列を認識する処理を再度実行する。合成画像には、比較的高い確度を有する認識文字に対応する文字のみが含まれるため、表示測定値を示す文字列の認識精度を向上させることができる。

【0071】

（撮像方向の報知）
図９は、撮像方向の報知機能の説明するための図である。なお、説明の容易化のため、図９では、ディスプレイ１５８の画面に表示される撮像画像のうち、血圧計２０のディスプレイ２４の部分の撮像画像のみを示している。なお、ディスプレイ２４に表示される、測定値以外の文字列等についても省略している。

【0072】

図９を参照して、端末装置１０は、ディスプレイ１５８に表示される画面８１０に含まれる撮像画像７０２と基準画像７００とを比較して、基準画像７００に対する撮像画像７０２の傾きを検出する。例えば、基準画像７００および撮像画像７０２に含まれるディスプレイ２４の形状、大きさ等を比較することにより当該傾きを検出する。また、図９の例では、ディスプレイ２４の奥行き方向、短辺方向、長辺方向をそれぞれ、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向と定義している。

【0073】

端末装置１０は、撮像画像７０２が基準画像７００に対してＸ軸周りに傾いていることを検出する。端末装置１０は、基準画像７００に対する傾きを低減するために、端末装置１０をＸ軸周りに回転させるように促すオブジェクト７７２を画面８１０に表示する。端末装置１０を回転させると、撮像画像７０８を含む画面８４０が得られる。なお、端末装置１０は、基準画像７００に対する傾きを低減するための回転方向を算出する際に、方向センサ１７２を介して検出された自装置の３軸の姿勢情報を用いてもよい。

【0074】

また、端末装置１０は、画面８２０に含まれる撮像画像７０４と基準画像７００とを比較して、基準画像７００に対する撮像画像７０４の傾きを検出する。続いて、端末装置１０は、撮像画像７０４が基準画像７００に対してＹ軸周りに傾いていることを検出する。端末装置１０は、基準画像７００に対する傾きを低減するために、端末装置１０をＹ軸周りに回転させるように促すオブジェクト７７４を画面８２０に表示する。端末装置１０を回転させると、撮像画像７０８を含む画面８４０が得られる。

【0075】

また、端末装置１０は、画面８３０に含まれる撮像画像７０６と基準画像７００とを比較して、基準画像７００に対する撮像画像７０６の傾きを検出する。続いて、端末装置１０は、撮像画像７０６が基準画像７００に対してＺ軸周りに傾いていることを検出する。端末装置１０は、基準画像７００に対する傾きを低減するために、端末装置１０をＺ軸周りに回転させるように促すオブジェクト７７６を画面８３０に表示する。端末装置１０を回転させると、撮像画像７０８を含む画面８４０が得られる。これにより、表示測定値を示す文字列の認識精度を向上させることができる。

【0076】

（ハイダイナミックレンジ合成）
白飛びが多い撮像画像、あるいは黒潰れが多い撮像画像の場合には、当該撮像画像からは全体的に確度の低い認識しか実行できない可能性が高い。そのため、端末装置１０は、ＨＤＲ（high dynamic range imaging）機能を用いて画像を生成してもよい。図１０では、血圧計２０のディスプレイ２４の部分の撮像画像のみを示している。なお、ディスプレイ２４に表示される、測定値以外の文字列等についても省略している。

【0077】

図１０は、ＨＤＲ機能を用いた撮像画像の生成方法を説明するための図である。図１０を参照して、端末装置１０は、血圧計２０のディスプレイ２４を撮像する際に、露光量を調整して、白飛びが少ない撮像画像７４２と、黒潰れが少ない撮像画像７４４とを生成する。そして、端末装置１０は、撮像画像７４２および撮像画像７４４を合成することにより、ハイダイナミックレンジ合成画像７４６を生成する。

【0078】

＜その他＞
本実施の形態に従う端末装置１０は、さらに以下のような機能を有する。

【0079】

（型式等の特定）
端末装置１０は、健康機器の識別情報（機器ＩＤ）と、当該健康機器の筐体の形状、筐体に設けられた文字情報、ディスプレイの配置位置、ボタンあるいはスイッチの配置位置等の特徴情報とを、関連付けてメモリ１５４に記憶している。

【0080】

端末装置１０は、健康機器の撮像画像から抽出される特徴情報と、メモリ１５４に記憶されている各種の健康機器の特徴情報とを比較することにより、撮像画像に含まれる健康機器の種類、型式、ブランド等を特定することが可能である。

【0081】

（異常値の判定）
端末装置１０は、撮像画像に含まれる表示測定値の文字列を認識することにより取得した最高血圧値、最低血圧値および脈拍数の各々が異常値である場合には、異常を報知してもよい。具体的には、端末装置１０は、取得した最高血圧値が所定範囲Ｒａ（例えば、４０〜２６０ｍｍＨｇ）に含まれない場合、最高血圧値が異常である旨を報知する。端末装置１０は、取得した最低血圧値が所定範囲Ｒｂ（例えば、４０〜２６０ｍｍＨｇ）に含まれない場合、最低血圧値が異常である旨を報知する。端末装置１０は、取得した脈拍数が所定範囲Ｒｃ（例えば、４０〜１８０拍／分）に含まれない場合、脈拍数が異常である旨を報知する。また、端末装置１０は、最高血圧値よりも最低血圧値の方が高い場合、これらの値が異常である旨を報知する。

【0082】

（重複データの排除）
端末装置１０は、測定結果の信頼性を確保およびメモリ１５４の有効利用のため、同一の測定結果を重複して記憶しないように構成されている。具体的には、端末装置１０は、取得した測定結果と、メモリ１５４に既に記憶されている測定結果とを比較してこれらが一致するか否かを判断する。例えば、端末装置１０は、各測定結果に含まれるユーザ番号、測定日時および測定値と、画像認識により特定された型式とを互いに比較する。そして、端末装置１０は、取得した測定結果の各情報と、記憶されている測定結果の各情報とが完全に一致する場合には、取得した測定結果をメモリ１５４に記憶しない。これにより、端末装置１０は、測定結果が重複して記憶されるのを防止することができる。

【0083】

＜機能構成＞
図１１は、端末装置１０の機能構成を示すブロック図である。図１０を参照して、端末装置１０は、撮像部２０２と、出力制御部２０４と、認識部２０６と、判断部２０８と、決定部２１０と、異常判定部２１２と、画像生成部２１４と、合成部２１６と、傾き検出部２１８とを含む。

【0084】

撮像部２０２は、所定周期ごとに被写体を撮像して撮像画像を生成する。本実施の形態では、撮像部２０２は、被写体としての血圧計２０の画像を含む撮像画像を生成する。撮像部２０２は、主にプロセッサ１５２およびカメラ１６３が連係することによって実現される機能である。撮像部２０２は、生成した撮像画像を順次、出力制御部２０４、認識部２０６および画像生成部２１４に出力する。

【0085】

出力制御部２０４は、撮像部２０２により順次撮像して生成された撮像画像をディスプレイ１５８に表示させる。ある局面では、出力制御部２０４は、撮像部２０２により生成された撮像画像と、ユーザの操作を補助するためのガイドとをディスプレイ１５８に表示させる。

【0086】

ガイドは、血圧計２０のディスプレイ２４に表示される測定結果を示す文字列が認識部２０６により認識されるときに、当該認識処理が容易になるように、ユーザによる撮像操作を補助するために表示される。ガイドは、認識部２０６の認識範囲を示すオブジェクト（例えば、枠５１０，半透明オブジェクト５４０）を含む。また、ガイドは、当該認識範囲を示すオブジェクト内に存在する、７セグメントにおける各セグメントを示すオブジェクト（例えば、半透明オブジェクト５４２，５４４，５４６）をさらに含む。さらに、ガイドは、血圧計２０の形状を表わすオブジェクト（例えば、オブジェクト５２０）を含んでもよい。

【0087】

認識部２０６は、撮像部２０２により生成された撮像画像に含まれる血圧計２０の画像の中から、血圧計２０のディスプレイ２４に表示された測定結果を示す文字列を認識する。測定結果は、例えば、測定値（最高血圧値、最低血圧値、脈拍数）、測定日時、気温、ユーザ番号、各種メッセージ、カフの巻き方の適否を示す情報（記号）、および脈波状態を示す情報（記号）を含む。また、認識部２０６は、ディスプレイ２４に表示された測定値（表示測定値）を示す文字列（例えば、最高血圧値を示す文字列）の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字の認識の正確さを表わす確度を算出する。認識部２０６は、認識結果（各認識文字および確度）を判断部２０８および決定部２１０に出力する。

【0088】

判断部２０８は、当該複数の認識文字の各々について、当該認識文字についての確度が閾値Ｔｈ１未満であるか否かを判断する。

【0089】

判断部２０８が、当該複数の認識文字のうちの少なくとも１つの認識文字についての確度が閾値Ｔｈ１未満であると判断した場合、認識部２０６は、撮像部２０２によりさらに生成されたＮ個（Ｎは１以上の整数）の撮像画像の各々から、表示測定値を示す文字列を認識する処理をさらに実行する。

【0090】

決定部２１０は、所定条件に基づいて、表示測定値を示す文字列の認識結果である認識文字列を、血圧計２０の測定値として決定する。

【0091】

具体的には、判断部２０８が、当該複数の認識文字のうちの少なくとも１つの認識文字についての確度が閾値Ｔｈ１未満であると判断した場合、決定部２１０は、表示測定値を示す文字列（例えば、最高血圧値を表わす文字列「１１８」）のＮ＋１回分の認識結果（すなわち、Ｎ＋１個の認識文字列）に基づいて、当該文字列に含まれる各文字（文字「１」，「１」，「８」）について、当該文字の認識結果として得られた少なくとも１つの認識文字（例えば、文字「８」の認識結果として得られた２つの認識文字「８」，「０」）のうち、最も認識回数の多い認識文字を特定する。

【0092】

決定部２１０は、当該特定された各認識文字（例えば、百の位の文字「１」について特定された認識文字「１」，十の位の文字「１」について特定された認識文字「１」，一の位の文字「８」について特定された認識文字「８」）から構成される認識文字列（例えば、認識文字列「１１８」）を、血圧計２０の測定値として決定する。

【0093】

一方、判断部２０８が、複数の認識文字の各々についての確度が閾値Ｔｈ１以上であると判断した場合、決定部２１０は、当該複数の認識文字から構成される認識文字列を、血圧計２０の測定値として決定する。換言すると、決定部２１０は、認識部２０６により最初に認識された認識文字列に含まれる各認識文字についての確度が閾値Ｔｈ１以上である場合には、当該最初に認識された認識文字列を、血圧計２０の測定値として決定する。

【0094】

決定部２１０は、決定結果をメモリ１５４に記憶するとともに、出力制御部２０４および異常判定部２１２に出力する。出力制御部２０４は、決定部２１０の決定結果を出力する。例えば、出力制御部２０４は、当該決定結果をディスプレイ１５８に表示させる。なお、出力制御部２０４は、通信インターフェイス１６６（または無線通信部１６０）を介して、外部装置に当該決定結果を出力してもよいし、スピーカ１６８を介して、当該決定結果を音声出力してもよい。

【0095】

異常判定部２１２は、血圧計２０の測定値として決定部２１０により決定された認識文字列が表わす数値に基づいて、異常の有無を判定する。例えば、異常判定部２１２は、当該数値が所定範囲内である場合には異常なしと判定し、当該数値が所定範囲外である場合には異常ありと判定する。異常判定部２１２は、判定結果を出力制御部２０４に出力する。出力制御部２０４は、異常判定部２１２により異常ありと判定された場合、異常情報を出力する。例えば、出力制御部２０４は、当該数値が所定範囲外である旨を示すエラー通知をディスプレイ１５８に表示させる。

【0096】

ここで、他の局面において、判断部２０８は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度が閾値Ｔｈ２（＜閾値Ｔｈ１）未満であるか否かをさらに判断してもよい。判断部２０８は、当該判断結果を画像生成部２１４または傾き検出部２１８に出力する。

【0097】

判断部２０８が、複数の認識文字（例えば、認識文字「１」，「２」，「０」）のうちの少なくとも１つの認識文字（例えば、認識文字「０」）についての確度が閾値Ｔｈ２未満であると判断した場合、画像生成部２１４は、撮像部２０２により生成された撮像画像から、当該少なくとも１つの認識文字以外の残余の各認識文字（例えば、認識文字「１」，「２」）に対応する各文字（例えば、文字「１」，「２」）を含む領域を切り取った部分画像（例えば、部分画像７２４，７２８）を生成する。画像生成部２１４は、部分画像を合成部２１６に出力する。

【0098】

合成部２１６は、画像生成部２１４により生成された複数の部分画像を合成する。合成部２１６は、合成画像を認識部２０６に出力する。認識部２０６は、合成部２１６により合成された合成画像（例えば、合成画像７３０）から、表示測定値を示す文字列を認識する処理を実行する。

【0099】

また、さらに他の局面において、判断部２０８が、複数の認識文字のうちの少なくとも１つの認識文字についての確度が閾値Ｔｈ２未満であると判断した場合、傾き検出部２１８は、基準画像に対する、撮像部２０２により生成された撮像画像の傾きを検出する。出力制御部２０４は、基準画像に対する撮像画像の傾きを低減するための回転方向をディスプレイ１５８に表示させる。

【0100】

なお、出力制御部２０４は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々を、当該認識文字についての確度に応じた所定の色でディスプレイ１５８に表示させてもよい。また、出力制御部２０４は、当該認識文字についての確度を示す情報をディスプレイ１５８に表示させてもよい。例えば、当該確度を示す情報は、枠５１０内の予め定められた位置に表示される。また、出力制御部２０４は、当該認識文字の近傍に当該認識文字の確度を示す情報を表示させてもよい。

【0101】

＜処理手順＞
図１２は、端末装置１０の処理手順の一例を示すフローチャートである。

【0102】

図１２を参照して、端末装置１０のプロセッサ１５２は、カメラ１６３を用いて撮像された血圧計２０の撮像画像を生成し、当該撮像画像をディスプレイ１５８に表示する（ステップＳ１０）。プロセッサ１５２は、ユーザの操作を補助するためのガイドをディスプレイ１５８に表示する（ステップＳ１２）。プロセッサ１５２は、撮像画像の中から血圧計２０のディスプレイ２４に表示された測定値（表示測定値）を示す文字列を認識する（ステップＳ１４）。

【0103】

プロセッサ１５２は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々についての確度が閾値Ｔｈ１以上（すなわち、各認識文字についての確度がすべて閾値Ｔｈ１以上）か否かを判断する（ステップＳ１６）。複数の認識文字の各々についての確度が閾値Ｔｈ１以上である場合（ステップＳ１６においてＹＥＳ）、プロセッサ１５２は、当該複数の認識文字から構成される認識文字列を、血圧計２０の測定値として決定し（ステップＳ２４）、決定結果（認識文字列が示す数値）をディスプレイ１５８に表示して（ステップＳ２６）、処理を終了する。

【0104】

複数の認識文字のうちの少なくとも１つの認識文字についての確度が閾値Ｔｈ１未満である場合（ステップＳ１６においてＮＯ）、プロセッサ１５２は、認識処理の対象となった撮像画像とは別の撮像画像から、表示測定値を示す文字列の認識処理を再実行する（ステップＳ１８）。プロセッサ１５２は、表示測定値を示す文字列の認識処理が所定回数実行されたか否かを判断する（ステップＳ２０）。

【0105】

当該認識処理が所定回数実行されていない場合には（ステップＳ２０においてＮＯ）、プロセッサ１５２は、ステップＳ１８の処理を繰り返す。当該認識処理が所定回数実行された場合には（ステップＳ２０においてＹＥＳ）、プロセッサ１５２は、所定回数分の認識結果に基づいて特定された各認識文字から構成される認識文字列を、血圧計２０の測定値として決定する（ステップＳ２２）。具体的には、プロセッサ１５２は、表示測定値を示す文字列に含まれる各文字について、当該文字が認識されることにより得られた少なくとも１つの認識文字のうち、最も認識回数の多い認識文字を特定する。そして、プロセッサ１５２は、決定結果をディスプレイ１５８に表示して（ステップＳ２６）、処理を終了する。

【0106】

（変形例）
図１３は、端末装置１０の処理手順の変形例を示すフローチャートである。

【0107】

図１３を参照して、ステップＳ５０〜Ｓ５６の処理は、それぞれ図１２中のステップＳ１０〜Ｓ１６の処理と同様であるため、その詳細な説明は繰り返さない。表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々についての確度が閾値Ｔｈ１（例えば、８５％）以上である場合（ステップＳ５６においてＹＥＳ）、ステップＳ６６，Ｓ６８の処理を実行する。ステップＳ６６，Ｓ６８の処理は、それぞれ図１２中のステップＳ２４，Ｓ２６の処理と同様であるため、その詳細な説明は繰り返さない。

【0108】

複数の認識文字のうちの少なくとも１つの認識文字についての確度が閾値Ｔｈ１未満である場合（ステップＳ５６においてＮＯ）、プロセッサ１５２は、当該複数の認識文字の各々についての確度が閾値Ｔｈ２（例えば、４０％）以上か否かを判断する（ステップＳ５８）。複数の認識文字の各々についての確度が閾値Ｔｈ２以上である場合（ステップＳ５８においてＹＥＳ）、ステップＳ６０〜Ｓ６４，Ｓ６８の処理を実行する。ステップＳ６０〜Ｓ６４，Ｓ６８の処理は、それぞれ図１２中のステップＳ１８〜Ｓ２２，Ｓ２６の処理と同様であるため、その詳細な説明は繰り返さない。

【0109】

複数の認識文字のうちの少なくとも１つの認識文字についての確度が閾値Ｔｈ２未満である場合（ステップＳ５８においてＮＯ）、プロセッサ１５２は、生成された撮像画像から、少なくとも１つの認識文字以外の残余の各認識文字（すなわち、閾値Ｔｈ２以上の比較的高い確度を有する認識文字）に対応する各文字を含む領域を切り取った部分画像を生成する（ステップＳ７０）。プロセッサ１５２は、生成した部分画像をメモリ１５４に格納する。

【0110】

プロセッサ１５２は、所定数の部分画像がメモリ１５４に格納されているか否かを判断する（ステップＳ７２）。所定数の部分画像が格納されていない場合には（ステップＳ７２においてＮＯ）、プロセッサ１５２はステップＳ５０からの処理を繰り返す。所定数の部分画像が格納されている場合には（ステップＳ７２においてＹＥＳ）、プロセッサ１５２は、当該所定数の部分画像を合成する（ステップＳ７４）。プロセッサ１５２は、合成画像から、表示測定値を示す文字列を認識する処理を実行する（ステップＳ７６）。

【0111】

プロセッサ１５２は、合成画像から認識された認識文字列に含まれる複数の認識文字の各々についての確度が閾値Ｔｈ１以上か否かを判断する（ステップＳ７８）。当該複数の認識文字の各々についての確度が閾値Ｔｈ１以上である場合には（ステップＳ７８においてＹＥＳ）、プロセッサ１５２はステップＳ６６の処理を実行する。当該複数の認識文字のうちの少なくとも１つの認識文字についての確度が閾値Ｔｈ１未満である場合には（ステップＳ７８においてＮＯ）、プロセッサ１５２はエラー報知をして（ステップＳ８０）、処理を終了する。

【0112】

＜利点＞
本実施の形態によると、端末装置１０は、認識文字についての確度が低いと判断した場合、再度、所定回数の認識処理を実行し、多数決により採用された各認識文字から構成される認識文字列を測定値として決定し、当該決定された認識文字列をディスプレイ１５８に表示する。そのため、確度の低い認識文字がそのままディスプレイ１５８に表示されることがなく、ディスプレイ１５８に表示される測定値の正確性を高めることができる。

【0113】

また、本実施の形態によると、表示測定値を示す文字列を認識する際には、ユーザの操作を補助するためのガイドが表示される。また、ガイドとして、枠、認識範囲、７セグメント表示方式の各セグメント等を示すオブジェクトが表示されるため、最適な位置で血圧計２０を撮像するように、ユーザを誘導することができる。

【0114】

＜その他の実施の形態＞
（１）上述した実施の形態において、端末装置１０は、測定結果に含まれる各種情報を利用して、測定値の信頼性を評価してもよい。例えば、端末装置１０のプロセッサ１５２（評価部）は、測定日時から撮像日時までの期間を算出し、当該算出された期間が所定期間内か否かを判断する。プロセッサ１５２は、当該算出された期間が所定期間内ではない場合、測定結果の信頼性が低いと評価する。この場合、プロセッサ１５２は、当該算出された期間が所定期間内ではない旨のエラー通知を出力してもよい。

【0115】

（２）上述した実施の形態では、図９において、基準画像７００に対する撮像画像７０２の傾きに基づいて、適切な撮像方向をユーザに報知する構成について説明したが、当該構成に限られない。具体的には、以下のステップＡ〜Ｆの処理を実行してもよい。

【0116】

端末装置１０は、基準画像７００に対する撮像画像７０２の傾きを検出する（ステップＡ）。端末装置１０は、当該傾きに基づいて、基準画像７００に対する傾きを低減するように撮像画像７０２を補正する（ステップＢ）。端末装置１０は、補正した撮像画像７０２から、表示測定値を示す文字列を認識する処理を実行する（ステップＣ）。端末装置１０は、表示測定値に対応するすべての認識文字についての確度が所定閾値（例えば、閾値Ｔｈ１）以上であるか否かを判断する（ステップＤ）。

【0117】

表示測定値に対応するすべての認識文字についての確度が所定閾値以上であると判断した場合、端末装置１０は、これらの認識文字から構成される認識文字列を血圧計２０の測定値としてディスプレイ１５８に表示する（ステップＥ）。

【0118】

一方、複数の認識文字のうちの少なくとも１つの認識文字についての確度が所定閾値未満である場合、端末装置１０は、基準画像７００に対する傾きを低減するために、端末装置１０を適切な方向に回転させるように促すオブジェクト（例えば、オブジェクト７７２，７７４，７７６）をディスプレイ１５８に表示し（ステップＦ）、再度、ステップＡからの処理を繰り返す。

【0119】

（３）上述した実施の形態において、コンピュータを機能させて、上述のフローチャートで説明したような制御を実行させるプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、二次記憶装置、主記憶装置およびメモリカードなどの一時的でないコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

【0120】

プログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本実施の形態にかかるプログラムに含まれ得る。

【0121】

また、本実施の形態にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本実施の形態にかかるプログラムに含まれ得る。

【0122】

（４）上述の実施の形態として例示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能である。また、上述した実施の形態において、その他の実施の形態で説明した処理や構成を適宜採用して実施する場合であってもよい。

【0123】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0124】

１ システム、１０ 端末装置、２０，２１ 血圧計、２２ 本体部、２３ 体組成計、２４，１５８ ディスプレイ、２６ 進む／戻るボタン、２７ ランプ、２８ ユーザ番号スイッチ、２９ 開始／停止ボタン、４１ ブランド情報、４３ 型式情報、１５２ プロセッサ、１５４ メモリ、１５６ 入力装置、１６０ 無線通信部、１６２ 通信アンテナ、１６３ カメラ、１６４ メモリインターフェイス、１６５ 記憶媒体、１６６ 通信インターフェイス、１６８ スピーカ、１７０ マイク、１７２ 方向センサ、２０２ 撮像部、２０４ 出力制御部、２０６ 認識部、２０８ 判断部、２１０ 決定部、２１２ 異常判定部、２１４ 画像生成部、２１６ 合成部、２１８ 傾き検出部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】