特許 7283312 情報読取装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-22

(45)【発行日】2023-05-30

(54)【発明の名称】情報読取装置及びプログラム

(51)【国際特許分類】

   G06V 30/413 20220101AFI20230523BHJP

   G06K 7/00 20060101ALI20230523BHJP

   G06K 7/10 20060101ALI20230523BHJP

   G06K 7/14 20060101ALI20230523BHJP

   G06V 30/164 20220101ALI20230523BHJP

   G06V 30/24 20220101ALI20230523BHJP

【ＦＩ】

G06V30/413

G06K7/00 004

G06K7/10 372

G06K7/10 456

G06K7/14 013

G06K7/14 017

G06K7/14 039

G06V30/164

G06V30/24 620D

【請求項の数】 10

(21)【出願番号】P 2019158524

(22)【出願日】2019-08-30

(65)【公開番号】P2020161106

(43)【公開日】2020-10-01

【審査請求日】2022-01-21

(31)【優先権主張番号】P 2019054173

(32)【優先日】2019-03-22

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】高見 弘樹

(72)【発明者】

【氏名】葛谷 匡昭

(72)【発明者】

【氏名】月安 聡

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１５－１７６２８２（ＪＰ，Ａ）

【文献】特開２０１６－１４８９２５（ＪＰ，Ａ）

【文献】特開２０１７－０９１４８４（ＪＰ，Ａ）

【文献】特開２０１６－０８９２９２（ＪＰ，Ａ）

【文献】特開２０１５－０９９５１２（ＪＰ，Ａ）

【文献】特開２０１４－０５６３８２（ＪＰ，Ａ）

【文献】特開２０１３－１３８７５７（ＪＰ，Ａ）

【文献】特開２００７－０６６０００（ＪＰ，Ａ）

【文献】Qiyue Yu，Ｎ．Ｎ．を用いた生産情報読み取りシステムの開発，第７４回（平成２４年）全国大会講演論文集（２） 人工知能と認知科学，日本，一般社団法人情報処理学会，2012年03月06日，p.2-239－p.2-240

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／４１３

Ｇ０６Ｋ ７／００

Ｇ０６Ｋ ７／１０

Ｇ０６Ｋ ７／１４

Ｇ０６Ｖ ３０／１６４

Ｇ０６Ｖ ３０／２４

(57)【特許請求の範囲】

【請求項1】

撮像部と、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取部と、
前記撮像部により文字情報が撮像された撮像画像に対して前記文字情報を読み取るための文字認識処理を行う文字認識部と、
を備える情報読取装置であって、
前記情報コード読取部により前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正部と、
前記情報コード読取部により読み取られた情報コードが明色系セルと暗色系セルとの明暗を反転させた反転コードであるか否かについて判定する明暗反転判定部と、
を備え、
前記文字認識部は、前記画像補正部により前記撮像画像が補正されると、当該補正された撮像画像に対して、前記文字認識処理を行い、
前記情報コード読取部は、所定の明暗判定閾値を基準に明色系セルと暗色系セルとに区分けして前記デコード処理を行い、
前記画像補正部は、
前記情報コード読取部により読み取られた情報コードが前記反転コードであると前記明暗反転判定部により判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像を補正し、
前記情報コード読取部により読み取られた情報コードが前記反転コードでないと前記明暗反転判定部により判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像を補正し、
前記明暗反転判定部により前記情報コード読取部により読み取られた情報コードが前記反転コードであると判定されることで、一部が前記暗色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像を補正し、
前記明暗反転判定部により前記情報コード読取部により読み取られた情報コードが前記反転コードでないと判定されることで、一部が前記明色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像を補正することを特徴とする情報読取装置。

【請求項2】

撮像部と、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取部と、
前記撮像部により文字情報が撮像された撮像画像に対して前記文字情報を読み取るための文字認識処理を行う文字認識部と、
を備える情報読取装置であって、
前記情報コード読取部により前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正部を備え、
前記文字認識部は、前記画像補正部により前記撮像画像が補正されると、当該補正された撮像画像に対して、前記文字認識処理を行い、
前記画像補正部は、前記情報コード読取部により前記情報コードが読み取られると、当該情報コードを構成する明色系セルと暗色系セルとの前記撮像画像における明暗差が所定の明暗差閾値以上となる場合に、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正することを特徴とする情報読取装置。

【請求項3】

前記デコード処理が失敗した前記撮像画像について前記情報コードの一部が撮像されているか否かについて判定するコード判定部を備え、
前記画像補正部は、前記コード判定部により前記情報コードの一部が撮像されていると判定されると、前記撮像画像のうち前記情報コードの一部に相当する範囲が単色の画像範囲となるように当該撮像画像を補正することを特徴とする請求項１又は２に記載の情報読取装置。

【請求項4】

前記情報コードは、三隅にファインダパターンが配置されるとともに前記ファインダパターン間に２つのタイミングパターンが配置されるＱＲコードであり、
前記コード判定部は、３つの前記ファインダパターンの少なくとも１つと前記タイミングパターンの一部が撮像されることで、前記情報コードの一部が撮像されていると判定することを特徴とする請求項３に記載の情報読取装置。

【請求項5】

前記情報コードのセル配列方向を検出する検出部を備え、
前記文字認識部は、前記検出部により検出されたセル配列方向を基準に前記撮像画像に対して前記文字認識処理を行うことを特徴とする請求項１～４のいずれか一項に記載の情報読取装置。

【請求項6】

前記画像補正部は、前記情報コード読取部により前記情報コードが読み取られると、前記明暗差が前記所定の明暗差閾値未満となる場合には、前記撮像画像において前記情報コードに相当する範囲のうち、当該情報コードを構成する明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像を補正することを特徴とする請求項２に記載の情報読取装置。

【請求項7】

前記情報コードは、複数の明色系セル及び暗色系セルを配列してなるコード領域内に前記明色系セル及び前記暗色系セルと異なる空き領域を有し、
前記画像補正部は、前記情報コード読取部により前記空き領域を有する前記情報コードが読み取られる場合には、前記撮像画像のうち、前記コード領域に相当する範囲を補正対象から除外することを特徴とする請求項１～６のいずれか一項に記載の情報読取装置。

【請求項8】

前記情報コードは、複数の明色系セル及び暗色系セルを配列してなるコード領域内に前記明色系セル及び前記暗色系セルと異なる空き領域を有し、
前記画像補正部は、前記情報コード読取部により前記空き領域を有する前記情報コードが読み取られる場合には、前記撮像画像のうち、前記コード領域から前記空き領域を除いた範囲が単色の画像範囲となるように当該撮像画像を補正することを特徴とする請求項１～６のいずれか一項に記載の情報読取装置。

【請求項9】

撮像部を備えた情報読取装置に、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取ステップと、
前記情報コード読取ステップにより前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正ステップと、
前記画像補正ステップにより前記撮像画像が補正されると、当該補正された撮像画像に対して、文字情報を読み取るための文字認識処理を行う文字認識ステップと、
前記情報コード読取ステップにより読み取られた情報コードが明色系セルと暗色系セルとの明暗を反転させた反転コードであるか否かについて判定する明暗反転判定ステップと、
を実行させるプログラムであって、
前記情報コード読取ステップでは、所定の明暗判定閾値を基準に明色系セルと暗色系セルとに区分けして前記デコード処理が行われ、
前記画像補正ステップでは、
前記情報コード読取ステップにより読み取られた情報コードが前記反転コードであると前記明暗反転判定ステップにより判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正され、
前記情報コード読取ステップにより読み取られた情報コードが前記反転コードでないと前記明暗反転判定ステップにより判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正され、
前記明暗反転判定ステップにより前記情報コード読取ステップにより読み取られた情報コードが前記反転コードであると判定されることで、一部が前記暗色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正され、
前記明暗反転判定ステップにより前記情報コード読取ステップにより読み取られた情報コードが前記反転コードでないと判定されることで、一部が前記明色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正されることを特徴とするプログラム。

【請求項10】

撮像部を備えた情報読取装置に、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取ステップと、
前記情報コード読取ステップにより前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正ステップと、
前記画像補正ステップにより前記撮像画像が補正されると、当該補正された撮像画像に対して、文字情報を読み取るための文字認識処理を行う文字認識ステップと、
を実行させるプログラムであって、
前記画像補正ステップでは、前記情報コード読取ステップにより前記情報コードが読み取られると、当該情報コードを構成する明色系セルと暗色系セルとの前記撮像画像における明暗差が所定の明暗差閾値以上となる場合に、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像が補正されることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像した文字情報及び情報コードを読み取る情報読取装置及びプログラムに関するものである。

【背景技術】

【0002】

近年、バーコードやＱＲコード（登録商標）などの情報コードを読み取る情報コード読取機能に加えて、撮像した文字情報を認識する文字認識機能を兼ね備えた情報読取装置が多く利用されている。このような情報読取装置は、スマートフォンのように個人が所有する携帯端末に対して所定のアプリケーションプログラムをインストールすることでも実現することができる。

【0003】

このような情報コードと文字情報との双方を読取対象とする情報読取装置として、例えば、下記特許文献１に開示される光学的文字読取装置が知られている。この光学的文字読取装置では、バーコードとこのバーコードの直下に配置されるバーコード対応文字とを読取対象としており、バーコードの読み取りがエラーとなると、このバーコードの位置を基準にバーコード対応文字の位置を特定して文字認識するための処理を行っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平０９－２３７３１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、撮像した文字情報を認識する際にその撮像画像にバーコードも含まれていると、バーコードのバーの部分が大文字「Ｉ」や小文字「ｌ」、数字「１」等に誤認されてしまうという問題がある。この問題は、バーコードだけでなく、ＱＲコードなど他の種別の情報コードでも同様に生じるものであり、文字情報とともに撮像された情報コードに起因して文字誤認が生じてしまう可能性がある。

【0006】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、文字情報と情報コードとが撮像された撮像画像から文字情報を正確に認識し得る構成を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
撮像部（２３）と、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取部（２１）と、
前記撮像部により文字情報が撮像された撮像画像に対して前記文字情報を読み取るための文字認識処理を行う文字認識部（２１）と、
を備える情報読取装置（１０）であって、
前記情報コード読取部により前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正部（２１）と、
前記情報コード読取部により読み取られた情報コードが明色系セルと暗色系セルとの明暗を反転させた反転コードであるか否かについて判定する明暗反転判定部と、
を備え、
前記文字認識部は、前記画像補正部により前記撮像画像が補正されると、当該補正された撮像画像に対して、前記文字認識処理を行い、
前記情報コード読取部は、所定の明暗判定閾値を基準に明色系セルと暗色系セルとに区分けして前記デコード処理を行い、
前記画像補正部は、
前記情報コード読取部により読み取られた情報コードが前記反転コードであると前記明暗反転判定部により判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像を補正し、
前記情報コード読取部により読み取られた情報コードが前記反転コードでないと前記明暗反転判定部により判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像を補正し、
前記明暗反転判定部により前記情報コード読取部により読み取られた情報コードが前記反転コードであると判定されることで、一部が前記暗色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像を補正し、
前記明暗反転判定部により前記情報コード読取部により読み取られた情報コードが前記反転コードでないと判定されることで、一部が前記明色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像を補正することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0008】

請求項１の発明では、情報コード読取部により情報コードが読み取られると、撮像部により撮像された撮像画像のうち情報コードに相当する範囲が単色（例えば、白色）の画像範囲となるように当該撮像画像が画像補正部により補正され、当該補正された撮像画像に対して、文字認識部により文字認識処理が行われる。

【0009】

これにより、文字情報を認識するために撮像された撮像画像に情報コードが含まれている場合であっても、情報コードに相当する範囲が単色の画像範囲に補正されて実質的に文字認識対象外となる。このため、情報コードに起因する文字誤認が抑制されるので、文字情報と情報コードとが撮像された撮像画像から文字情報を正確に認識することができる。
特に、画像補正部において、情報コード読取部により読み取られた情報コードが反転コードであると明暗反転判定部により判定されると、撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色（例えば、黒色）の画像範囲となるように当該撮像画像が補正される。また、画像補正部において、情報コード読取部により読み取られた情報コードが反転コードでないと明暗反転判定部により判定されると、撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色（例えば、白色）の画像範囲となるように当該撮像画像が補正される。
表示媒体に対して反転コードとともに表示されている文字情報は白抜き文字で表示され、この白抜き文字の周囲は暗色系の背景となる可能性が高い。このため、反転コードに相当する範囲に加えて、撮像画像のうち所定の明暗判定閾値よりも明度が低くなる範囲、すなわち、白抜き文字の周囲の暗色系の背景を、暗色系の単色の画像範囲に補正して実質的に文字認識対象外とすることで、情報コード（反転コード）だけでなく背景の模様等に起因する文字誤認が抑制されやすくなる。その一方で、表示媒体に対して明色系セルと暗色系セルとの明暗が反転していない通常の情報コードとともに表示されている文字情報は黒文字で表示され、この黒文字の周囲は明色系の背景となる可能性が高い。このため、情報コードに相当する範囲に加えて、撮像画像のうち所定の明暗判定閾値よりも明度が高くなる範囲、すなわち、黒文字の周囲の明色系の背景を、明色系の単色の画像範囲に補正して実質的に文字認識対象外とすることで、情報コードだけでなく背景の模様等に起因する文字誤認が抑制されやすくなる。したがって、文字認識部による文字認識精度をより一層向上させることができる。
さらに、画像補正部において、情報コード読取部により読み取られた情報コードが反転コードであると明暗反転判定部により判定されることで、一部が暗色系の単色の画像範囲に補正された撮像画像に対して行った文字認識処理が失敗すると、補正前の撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正される。また、画像補正部において、情報コード読取部により読み取られた情報コードが反転コードでないと明暗反転判定部により判定されることで、一部が明色系の単色の画像範囲に補正された撮像画像に対して行った文字認識処理が失敗すると、補正前の撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正される。
これにより、反転コードとともに黒文字で表示されている文字情報を撮像しており、黒文字の周囲の背景が暗色系の単色の画像範囲に補正されたために文字認識が失敗しても、その背景が明色系の単色の画像範囲に補正されて再度文字認識処理が行われるので、背景の模様等に起因する文字誤認をさらに抑制することができる。その一方で、明色系セルと暗色系セルとが反転していない通常の情報コードとともに白抜き文字で表示されている文字情報を撮像しており、白抜き文字の周囲の背景が明色系の単色の画像範囲に補正されたために文字認識が失敗しても、その背景が暗色系の単色の画像範囲に補正されて再度文字認識処理が行われるので、背景の模様等に起因する文字誤認をさらに抑制することができる。

【0010】

請求項３の発明では、コード判定部により情報コードの一部が撮像されていると判定されると、撮像画像のうち情報コードの一部に相当する範囲が単色の画像範囲となるように当該撮像画像が画像補正部により補正される。

【0011】

これにより、デコードされた情報コードの部分だけでなく、デコードできなくても情報コードの一部と認識された部分も実質的に文字認識対象外となるため、情報コードに起因する文字誤認をより一層抑制することができる。

【0012】

請求項４の発明では、３つのファインダパターンの少なくとも１つとタイミングパターンの一部が撮像されることで、情報コードの一部が撮像されているとコード判定部により判定される。ファインダパターン及びタイミングパターンは、その目的から容易に認識できるように形成されているため、ＱＲコードの一部が撮像される場合でもそのＱＲコードの一部に相当する範囲を容易かつ正確に把握することができる。

【0017】

請求項５の発明では、検出部により検出された情報コードのセル配列方向を基準に撮像画像に対して文字認識処理が行われる。これにより、文字情報の文字配列方向と情報コードのセル配列方向とが同じ方向である場合には、文字情報の文字配列方向を特定できることから、検出されたセル配列方向を基準に文字情報が認識しやすくなるように回転補正した撮像画像に対して文字認識処理を行うことで、文字認識部による文字認識精度をより一層向上させることができる。また、文字情報の文字配列方向が情報コードのセル配列方向に対して所定角度ずれている場合でも、検出されたセル配列方向から上記所定角度ずれた方向を基準に文字情報が認識しやすくなるように回転補正した撮像画像に対して文字認識処理を行うことで、文字認識部による文字認識精度をより一層向上させることができる。

【0018】

請求項２の発明では、画像補正部において、情報コード読取部により情報コードが読み取られると、当該情報コードを構成する明色系セルと暗色系セルとの撮像画像における明暗差が所定の明暗差閾値以上となる場合に、撮像画像のうち情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像が補正される。

【0019】

例えば、印刷媒体の表面側に文字情報が印刷されるとともに裏面側に情報コードが印刷されており、その表面側の文字情報を撮像して文字認識する際に、その撮像画像に、裏面側の情報コードが薄くかすんだ状態で写り込んでしまう場合がある。このような撮像画像では、情報コードの少なくとも一部が文字情報に重なっている状態で撮像されている場合に、そのデコード処理が成功すると、情報コードに相当する範囲が単色の画像範囲に補正されてしまうために、文字情報の一部が欠損してしまうという問題がある。

【0020】

そこで、読み取られた情報コードを構成する明色系セルと暗色系セルとの撮像画像における明暗差が上記所定の明暗差閾値以上となる場合に、撮像画像のうち、情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する。すなわち、上述のように裏面側の情報コードが薄くかすんだ状態で写り込んでしまうような撮像状態では、上記明暗差が上記所定の明暗差閾値未満となることで、情報コードに相当する範囲が補正対象とならなくなる。このため、意図しない情報コードが薄くかすんだ状態で文字情報に重なるように撮像される場合であっても、画像補正に起因する文字情報の欠損等を防止することができる。

【0021】

請求項６の発明では、画像補正部において、情報コード読取部により情報コードが読み取られると、上記明暗差が上記所定の明暗差閾値未満となる場合には、撮像画像において情報コードに相当する範囲のうち、当該情報コードを構成する明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像が補正される。

【0022】

これにより、上述のように裏面側の情報コードが薄くかすんだ状態で写り込んでしまうような撮像状態では、上記明暗差が上記所定の明暗差閾値未満となることで、情報コードを構成する明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像が補正される。このため、意図しない情報コードが薄くかすんだ状態で文字情報に重なるように撮像される場合であっても、鮮明な文字情報は補正されずに不鮮明でかすれた情報コードの部分のみが補正対象となるため、文字認識部による文字認識精度をより一層向上させることができる。

【0023】

請求項７の発明では、情報コードは、複数の明色系セル及び暗色系セルを配列してなるコード領域内に明色系セル及び暗色系セルと異なる空き領域を有している。そして、画像補正部では、情報コード読取部により空き領域を有する情報コードが読み取られる場合には、撮像画像のうち、コード領域に相当する範囲が補正対象から除外される。

【0024】

これにより、空き領域内に文字認識すべき文字情報が配置される場合には、その文字情報が情報コードとともに単色の画像範囲となるように補正されてしまうことを防止することができる。

【0025】

請求項８の発明では、情報コードは、複数の明色系セル及び暗色系セルを配列してなるコード領域内に明色系セル及び暗色系セルと異なる空き領域を有している。そして、画像補正部では、情報コード読取部により空き領域を有する情報コードが読み取られる場合には、撮像画像のうち、コード領域から空き領域を除いた範囲が単色の画像範囲となるように当該撮像画像が補正される。

【0026】

このようにしても、空き領域内に文字認識すべき文字情報が配置される場合には、その文字情報が単色の画像範囲となるように補正されてしまうことを防止することができる。特に、コード領域から空き領域を除いた範囲が単色の画像範囲となるように補正されるため、文字認識すべき文字情報の周囲が単色の画像範囲となるので、文字認識部による文字認識精度をより一層向上させることができる。

【0027】

請求項９の発明によれば、請求項１と同様の効果を奏するプログラムを実現できる。
請求項１０の発明によれば、請求項２と同様の効果を奏するプログラムを実現できる。

【図面の簡単な説明】

【0028】

【図1】第１実施形態に係る情報読取装置と読取対象となる文字情報及び情報コードとを概略的に示す説明図である。

【図2】情報読取装置の電気的構成を概略的に示すブロック図である。

【図3】第１実施形態において制御部にて行われる読取処理の流れを例示するフローチャートである。

【図4】図４（Ａ）は、文字情報とともにデコード可能にバーコードが撮像された撮像画像を示す説明図であり、図４（Ｂ）は、図４（Ａ）においてバーコードに相当する範囲が補正された撮像画像を示す説明図である。

【図5】図５（Ａ）は、文字情報とともにバーコードの一部が撮像された撮像画像を示す説明図であり、図５（Ｂ）は、図５（Ａ）においてバーコードの一部に相当する範囲が補正された撮像画像を示す説明図である。

【図6】図６（Ａ）は、文字情報とともにマージンが認識されない状態でバーコードが撮像された撮像画像を示す説明図であり、図６（Ｂ）は、図６（Ａ）においてバーコードに相当する範囲が補正された撮像画像を示す説明図である。

【図7】図７（Ａ）は、文字情報とともにＱＲコードの一部が撮像された撮像画像を示す説明図であり、図７（Ｂ）は、図７（Ａ）においてＱＲコードの一部に相当する範囲が補正された撮像画像を示す説明図である。

【図8】第２実施形態において制御部にて行われる読取処理の流れを例示するフローチャートである。

【図9】図９（Ａ）は、文字情報とともに反転コードが撮像された撮像画像を示す説明図であり、図９（Ｂ）は、図９（Ａ）において反転コード及び背景等が黒色の画像範囲に補正された撮像画像を示す説明図である。

【図10】図１０（Ａ）は、文字情報とともに非反転コードが撮像された撮像画像を示す説明図であり、図１０（Ｂ）は、図１０（Ａ）において非反転コード及び背景等が白色の画像範囲に補正された撮像画像を示す説明図である。

【図11】バーコードやＱＲコードのセル配列方向と文字情報の文字配列情報とが読取基準方向に対して傾いた状態を説明する説明図である。

【図12】第３実施形態において制御部にて行われる読取処理の流れを例示するフローチャートである。

【図13】図１３（Ａ）は、セル配列方向及び文字配列方向が読取基準方向に対して同じ角度で傾くように情報コード及び文字情報が撮像された撮像画像を示す説明図であり、図１３（Ｂ）は、セル配列方向に応じて図１３（Ａ）の撮像画像を回転補正等した状態の撮像画像を示す説明図である。

【図14】図１４（Ａ）は、文字配列方向がセル配列方向に対して所定角度だけずれるように情報コード及び文字情報が撮像された撮像画像を示す説明図であり、図１４（Ｂ）は、セル配列方向に応じて図１４（Ａ）の撮像画像を回転補正等した状態の撮像画像を示す説明図である。

【図15】第４実施形態において制御部にて行われる読取処理の流れを例示するフローチャートである。

【図16】図１６（Ａ）は、薄くかすんだバーコードが文字情報に重なるように撮像された撮像画像を示す説明図であり、図１６（Ｂ）は、図１６（Ａ）においてバーコードに相当する範囲が補正された撮像画像を示す説明図であり、図１６（Ｃ）は、図１６（Ａ）においてバーコードの明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが補正された撮像画像を示す説明図である。

【図17】第５実施形態の要部を説明する説明図であり、図１７（Ａ）は、空き領域内に文字情報が配置された情報コードを撮像した撮像画像を示し、図１７（Ｂ）は、図１７（Ａ）の撮像画像においてコード領域から空き領域を除いた範囲が補正された状態を示す。

【発明を実施するための形態】

【0029】

以下、本発明に係る情報読取装置及びプログラムを具現化した第１実施形態について、図面を参照して説明する。
図１に示すように、本実施形態に係る情報読取装置１０は、ユーザによって携帯されて様々な場所で用いられるスマートフォンなどの携帯型の情報処理端末として構成されている。この情報読取装置１０は、図２に示すように、ＣＰＵ等からなる制御部２１、メモリ２２、カメラとして構成される撮像部２３、制御部２１によって表示内容が制御されるタッチパネル２４、タッチパネル２４に対するタッチ操作やキー操作に信号を制御部２１に出力する操作部２５、外部機器等と通信するための通信部２６などを備えるように構成されている。

【0030】

本実施形態に係る情報読取装置１０は、所定のアプリケーションプログラム（以下、読取アプリともいう）がインストールされることで、撮像部２３により情報コードが撮像された撮像画像に対してその情報コードを読み取るためのデコード処理を行う機能や撮像部２３により文字情報が撮像された撮像画像に対してその文字情報を読み取るための文字認識処理を行う機能（ＯＣＲ）を有するように構成されている。特に、本実施形態では、読取アプリが起動されることで制御部２１にてなされる読取処理により、文字情報を読み取る際に情報コードまで撮像された場合でも、情報コードに起因する文字誤認を抑制して文字情報が認識される。

【0031】

以下、本実施形態において、制御部２１にてなされる読取処理について、図３に示すフローチャートを参照して詳述する。なお、図１に例示するように、表示媒体Ｒの表示面において、バーコードＢが近くに印字されている「２０１９年０３月０６日」を文字情報Ｗとして認識する場合を例に説明する。

【0032】

操作部２５に対する所定の操作に応じて読取アプリが起動されて制御部２１により読取処理が開始されると、図３のステップＳ１０１の撮像処理がなされる。この処理では、撮像部２３の撮像方向を文字情報Ｗに向けた状態で操作部２５に対する読取操作等がなされることで、撮像部２３により文字情報Ｗが撮像される。

【0033】

続いて、ステップＳ１０３に示す明暗判定閾値設定処理がなされ、上記ステップＳ１０１にて撮像された撮像画像の明暗分布に基づいて、情報コードを白セル（明色系セル）と黒セル（暗色系セル）とに区分けする際の基準となる所定の明暗判定閾値が設定される。そして、ステップＳ１０５の判定処理にて、上述のように撮像された撮像画像について、情報コードが撮像されているか否かについて判定される。ここで、図４（Ａ）に示す撮像画像Ｐ１ａのように、文字情報ＷとともにバーコードＢがデコード可能に撮像されていると、ステップＳ１０５にてＹｅｓと判定される。

【0034】

この場合には、ステップＳ１０７に示すデコード処理がなされ、上述のように設定された明暗判定閾値を基準に、撮像した情報コードを解読するための処理がなされる。なお、上記ステップＳ１０７は、「情報コード読取ステップ」の一例に相当し、このステップＳ１０７におけるデコード処理を行う制御部２１は、「情報コード読取部」の一例に相当し得る。

【0035】

このデコード処理が成功すると（Ｓ１０９でＹｅｓ）、ステップＳ１１１に示す第１画像補正処理がなされる。この処理では、上述のように撮像された撮像画像のうちデコードが成功した情報コードに相当する範囲が周囲との色の境界をなくすように単色の画像範囲に補正（置換）される。図４（Ａ）に示す撮像画像Ｐ１ａのように、バーコードＢの周囲が白色の背景であれば、上記第１画像補正処理により、図４（Ｂ）に示す撮像画像Ｐ１ｂのように、補正前の撮像画像Ｐ１ａにおいて、バーコードＢに相当する範囲が白色の画像範囲に補正される。すなわち、デコードに成功した情報コードが取り除かれるように撮像画像が補正される。なお、上記ステップＳ１１１及び後述するステップＳ１１３は、「画像補正ステップ」の一例に相当し、このステップＳ１１１における第１画像補正処理及び後述するステップＳ１１３における第２画像補正処理を行う制御部２１は、「画像補正部」の一例に相当し得る。

【0036】

続いて、ステップＳ１１５に示す文字認識処理がなされる。上述のように一部が単色の画像範囲に補正されていると、この補正された撮像画像に対して、公知の文字認識技術（ＯＣＲ技術）を用いた文字認識処理が行われる。このように、バーコードＢがない状態で文字情報Ｗを認識するため、バーコードＢに起因する文字誤認をなくすことができる。なお、上記ステップＳ１１５は、「文字認識ステップ」一例に相当し、このステップＳ１１５における文字認識処理を行う制御部２１は、「文字認識部」の一例に相当し得る。

【0037】

一方、図５（Ａ）に示す撮像画像Ｐ２ａのように、バーコードＢの一部のみが撮像されている場合には、バー（黒セル）とスペース（白セル）との並びからバーコードが撮像されていると判断されても（Ｓ１０５でＹｅｓ）、ステップＳ１０７でのデコード処理が失敗する（Ｓ１０９でＮｏ）。なお、デコードが失敗する撮像画像について情報コードが撮像されているか否かについて判定することになる上記ステップＳ１０５の判定処理を行う制御部２１は、デコード処理が失敗した撮像画像について情報コードの一部が撮像されているか否かについて判定する「コード判定部」の一例に相当し得る。

【0038】

この場合には、ステップＳ１１３に示す第２画像補正処理がなされる。この処理では、上述のように撮像された撮像画像のうちバーコードＢの一部（情報コードの一部）に相当する範囲が周囲との色の境界をなくすように単色の画像範囲に補正（置換）される。図５（Ａ）に示す撮像画像Ｐ２ａのように、情報コードが撮像されていると認識された上でそのデコードに失敗したバーコードＢの一部の周囲が白色の背景であれば、図５（Ｂ）に示す撮像画像Ｐ２ｂのように、補正前の撮像画像Ｐ２ａにおいて、バーコードＢの一部に相当する範囲が白色の画像範囲に補正される（Ｓ１１３）。すなわち、デコードが失敗したとしても情報コードの一部が撮像されている場合には、その情報コードの撮像されている範囲の全てが取り除かれるように撮像画像が補正される。そして、上述のように補正された撮像画像に対して、上記ステップＳ１１５の文字認識処理が行われる。なお、バーコードＢを構成するセルの一部が欠損等しているためにバーコードと認識できてもそのデコードが失敗した場合でも、そのバーコードＢに相当する範囲が単色の画像範囲に補正される（Ｓ１１３）。

【0039】

また、図６（Ａ）に示す撮像画像Ｐ３ａのように、バーコードＢの全体が撮像されても、必要なマージンが認識できないように撮像されている場合には、デコード処理が失敗する（Ｓ１０９でＮｏ）。このような場合でも、図６（Ｂ）に示す撮像画像Ｐ３ｂのように、補正前の撮像画像Ｐ３ａにおいて、バーコードＢに相当する範囲が単色の画像範囲に補正されて（Ｓ１１３）、この補正された撮像画像に対して、上記ステップＳ１１５の文字認識処理が行われる。

【0040】

また、上記ステップＳ１０１の撮像処理にて情報コードが撮像されていない場合には、ステップＳ１０５の判定処理にてＮｏと判定されて、撮像画像が補正されることなく、上記ステップＳ１１５の文字認識処理が行われる。

【0041】

以上説明したように、本実施形態に係る情報読取装置１０では、制御部２１にてなされる読取処理において、情報コードが読み取られると（Ｓ１０９でＹｅｓ）、撮像部２３により撮像された撮像画像のうち情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像が補正され（Ｓ１１１）、当該補正された撮像画像に対して、文字認識処理が行われる（Ｓ１１５）。

【0042】

そして、本実施形態に係るプログラムは、撮像部２３を備えた情報読取装置１０に、撮像部２３により情報コードが撮像された撮像画像に対して情報コードを読み取るためのデコード処理を行う情報コード読取ステップ（Ｓ１０７）と、情報コード読取ステップにより情報コードが読み取られると、撮像画像のうち情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正ステップ（Ｓ１１１，Ｓ１１３）と、画像補正ステップにより撮像画像が補正されると、当該補正された撮像画像に対して、文字情報を読み取るための文字認識処理を行う文字認識ステップ（Ｓ１１５）と、を実行させる。

【0043】

これにより、文字情報を認識するために撮像された撮像画像に情報コードが含まれている場合であっても、情報コードに相当する範囲が単色の画像範囲に補正されて実質的に文字認識対象外となる。このため、情報コードに起因する文字誤認が抑制されるので、文字情報と情報コードとが撮像された撮像画像から文字情報を正確に認識することができる。

【0044】

さらに、コード判定部により情報コードの一部が撮像されていると判定されると、撮像画像のうち上記情報コードの一部に相当する範囲が単色の画像範囲となるように当該撮像画像が補正される。

【0045】

これにより、デコードされた情報コードの部分だけでなく、デコードできなくても情報コードの一部と認識された部分も実質的に文字認識対象外となるため、情報コードに起因する文字誤認をより一層抑制することができる。

【0046】

なお、情報コードに相当する範囲又は情報コードの一部に相当する範囲は、単色の画像範囲として、白色の画像範囲に補正されることに限らず、情報コードの周囲の背景の色等に応じて、明色系の単色の画像範囲に補正されてもよいし、暗色系の単色の画像範囲に補正されてもよい。

【0047】

また、文字情報Ｗとともに撮像される情報コードは、バーコードＢに限らず、ＱＲコードなどの他のコード種別の情報コードであってもよい。このような情報コードであっても、デコードに成功した場合には（Ｓ１０９でＹｅｓ）、撮像画像のうちデコード成功した情報コードに相当する範囲が単色の画像範囲に補正され、上述のようにデコード可能に撮像されていないためにデコード失敗した場合には（Ｓ１０９でＮｏ）、そのデコード失敗した情報コードに相当する範囲が単色の画像範囲に補正されることで、情報コードに起因する文字誤認を抑制することができる。

【0048】

特に、ＱＲコードは、方形状のコード領域の三隅にファインダパターンＦＰが配置されるとともにファインダパターンＦＰ間にコード領域の外縁に平行となる２つのタイミングパターンＴＰが配置される構成である。このため、図７（Ａ）に示す撮像画像Ｐ４ａのように、３つのファインダパターンＦＰの少なくとも１つとタイミングパターンＴＰの一部が撮像された場合には、ＱＲコードの一部が撮像されているとして、上記ステップＳ１１３の第２画像補正処理により、図７（Ｂ）に示す撮像画像Ｐ４ｂのように、補正前の撮像画像Ｐ４ａにおいて、ＱＲコードの一部に相当する範囲が単色（図７（Ｂ）では白色）の画像範囲に補正される。ここで、撮像画像においてＱＲコードの一部に相当する範囲は、ファインダパターンＦＰ及びタイミングパターンＴＰの位置及び配列方向等に基づいて求めることができる。このように、ファインダパターンＦＰ及びタイミングパターンＴＰは、その目的から容易に認識できるように形成されているため、ＱＲコードの一部が撮像される場合でもそのＱＲコードの一部に相当する範囲を容易かつ正確に把握することができる。

【0049】

［第２実施形態］
次に、第２実施形態に係る情報読取装置及びプログラムについて、図面を参照して説明する。
本第２実施形態では、情報コードを含めた撮像画像全体を補正対象とする点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0050】

文字情報及び情報コードが表示される表示媒体の表示面には、背景として模様等が表示される場合があり、この模様等に起因して文字誤認が生じてしまう可能性がある。このため、例えば、撮像画像において明度が所定値よりも高い範囲を一律に白色の画像範囲となるように補正することで、明色系の模様等を撮像画像から取り除くことができる。その一方で、読み取るべき文字情報が白抜き文字で表示されている場合には、その白抜き文字の周囲も白く補正されてしまうと、文字認識できなくなる。同様に、暗色系の模様等を撮像画像から取り除くために、明度が所定値よりも低い範囲を一律に黒色の画像範囲となるように補正する際、読み取るべき文字情報が黒文字で表示されている場合には、その黒文字の周囲も黒く補正されてしまうと、文字認識できなくなる。

【0051】

そこで、本実施形態における読取処理では、読み取った情報コードが明色系セルと暗色系セルとの明暗を反転させた反転コードであるか否かを判定して、反転コードであると判定される場合には、撮像画像において上記明暗判定閾値よりも明度が低くなる範囲を暗色系の単色の画像範囲となるように補正する。表示媒体に対して反転コードとともに表示されている文字情報は白抜き文字で表示され、この白抜き文字の周囲は暗色系の背景となる可能性が高いからである。また、読み取った情報コードが反転コードでないと判定される場合には、撮像画像において上記明暗判定閾値よりも明度が高くなる範囲を明色系の単色の画像範囲となるように補正する。表示媒体に対して明色系セルと暗色系セルとの明暗が反転していない通常の情報コード（以下、非反転コードともいう）とともに表示されている文字情報は黒文字で表示され、この黒文字の周囲は明色系の背景となる可能性が高いからである。

【0052】

以下、本実施形態において、制御部２１にてなされる読取処理について、図８に示すフローチャートを参照して詳述する。
上記第１実施形態と同様に、撮像画像の明暗分布に基づいて明暗判定閾値が設定され（図８のＳ１０３）、そのデコード処理が成功すると（Ｓ１０９でＹｅｓ）、ステップＳ１１７に示す判定処理にて、デコード成功した情報コードが反転コードか否かについて判定される。なお、上記ステップＳ１１７の判定処理を行う制御部２１は、「明暗反転判定部」の一例に相当し得る。

【0053】

ここで、デコード成功した情報コードが反転コードであることから、ステップＳ１１７にてＹｅｓと判定されると、ステップＳ１１９の暗色系画像補正処理がなされる。この処理では、認識すべき文字情報が白抜き文字で表示されていることを前提に、撮像画像において反転コードに相当する範囲と上記明暗判定閾値よりも明度が低くなる範囲とを暗色系の単色（例えば、黒色）の画像範囲となるように補正する。例えば、図９（Ａ）に示す撮像画像Ｐ５ａのように、明暗が反転したバーコードＢが反転コードとして撮像されている場合には、認識すべき文字情報Ｗが白抜き文字であるとして、上記ステップＳ１１９の暗色系画像補正処理により、図９（Ｂ）に示す撮像画像Ｐ５ｂのように、補正前の撮像画像Ｐ５ａにおいて、反転コードに相当する範囲と上記明暗判定閾値よりも明度が低くなる範囲とが、黒色の画像範囲となるように補正される。これにより、文字情報Ｗと背景部分とのコントラストが大きくなる。そして、このように文字情報Ｗと背景部分とのコントラストが大きくなるように補正された撮像画像に対して、ステップＳ１２１に示す文字認識処理が行われる。

【0054】

上記ステップＳ１２１における文字認識処理が成功すると（Ｓ１２３でＹｅｓ）、本読取処理が終了する。その一方で、上記ステップＳ１２１における文字認識処理が失敗すると（Ｓ１２３でＮｏ）、認識すべき文字情報が白抜き文字ではなく黒文字であるとして、上記ステップＳ１２５の明色系画像補正処理により、上記ステップＳ１０１にて撮像された撮像画像において、反転コードに相当する範囲と上記明暗判定閾値よりも明度が高くなる範囲とを明色系の単色（例えば、白色）の画像範囲となるように補正する。そして、このように補正された撮像画像に対して、ステップＳ１２７に示す文字認識処理が行われる。

【0055】

また、デコード成功した情報コードが非反転コードであることから、ステップＳ１１７にてＮｏと判定されると、ステップＳ１２９の明色系画像補正処理がなされる。この処理では、認識すべき文字情報が黒文字で表示されていることを前提に、撮像画像において非反転コードに相当する範囲と上記明暗判定閾値よりも明度が高くなる範囲とを明色系の単色（例えば、白色）の画像範囲となるように補正する。例えば、図１０（Ａ）に示す撮像画像Ｐ６ａのように、バーコードＢが非反転コードとして撮像されている場合には、認識すべき文字情報Ｗが黒文字であるとして、上記ステップＳ１２９の明色系画像補正処理により、図１０（Ｂ）に示す撮像画像Ｐ６ｂのように、補正前の撮像画像Ｐ６ａにおいて、非反転コードに相当する範囲と上記明暗判定閾値よりも明度が高くなる範囲とが、白色の画像範囲となるように補正される。これにより、文字情報Ｗと背景部分とのコントラストが大きくなる。そして、このように文字情報Ｗと背景部分とのコントラストが大きくなるように補正された撮像画像に対して、ステップＳ１３１に示す文字認識処理が行われる。

【0056】

上記ステップＳ１３１における文字認識処理が成功すると（Ｓ１３３でＹｅｓ）、本読取処理が終了する。その一方で、上記ステップＳ１３１における文字認識処理が失敗すると（Ｓ１３３でＮｏ）、認識すべき文字情報が黒文字ではなく白抜き文字であるとして、上記ステップＳ１３５の暗色系画像補正処理により、上記ステップＳ１０１にて撮像された撮像画像において、非反転コードに相当する範囲と上記明暗判定閾値よりも明度が低くなる範囲とを暗色系の単色（例えば、黒色）の画像範囲となるように補正する。そして、このように補正された撮像画像に対して、ステップＳ１３７に示す文字認識処理が行われる。

【0057】

以上説明したように、本実施形態に係る情報読取装置１０では、制御部２１にてなされる読取処理において、読み取られた情報コードが反転コードであると判定されると、撮像画像のうち、反転コードに相当する範囲と所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正される。また、読み取られた情報コードが反転コードでないと判定されると、撮像画像のうち、非反転コードに相当する範囲と所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正される。

【0058】

このように、表示媒体に対して反転コードとともに表示されている文字情報は白抜き文字で表示され、この白抜き文字の周囲は暗色系の背景となる可能性が高いとして、反転コードに相当する範囲に加えて、撮像画像のうち所定の明暗判定閾値よりも明度が低くなる範囲、すなわち、白抜き文字の周囲の暗色系の背景を、暗色系の単色の画像範囲に補正して実質的に文字認識対象外とすることで、反転コードだけでなく背景の模様等に起因する文字誤認が抑制されやすくなる。その一方で、表示媒体に対して非反転コードとともに表示されている文字情報は黒文字で表示され、この黒文字の周囲は明色系の背景となる可能性が高いとして、非反転コードに相当する範囲に加えて、撮像画像のうち所定の明暗判定閾値よりも明度が高くなる範囲、すなわち、黒文字の周囲の明色系の背景を、明色系の単色の画像範囲に補正して実質的に文字認識対象外とすることで、非反転コードだけでなく背景の模様等に起因する文字誤認が抑制されやすくなる。したがって、文字認識処理による文字認識精度をより一層向上させることができる。

【0059】

特に、読み取られた情報コードが反転コードであると判定されることで、一部が暗色系の単色の画像範囲に補正された撮像画像に対して行った文字認識処理が失敗すると（Ｓ１２３でＮｏ）、補正前の撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正される。また、読み取られた情報コードが反転コードでないと判定されることで、一部が明色系の単色の画像範囲に補正された撮像画像に対して行った文字認識処理が失敗すると（Ｓ１３３でＮｏ）、補正前の撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正される。

【0060】

これにより、反転コードとともに黒文字で表示されている文字情報を撮像しており、黒文字の周囲の背景が暗色系の単色の画像範囲に補正されたために文字認識が失敗しても、その背景が明色系の単色の画像範囲に補正されて再度文字認識処理が行われるので、背景の模様等に起因する文字誤認をさらに抑制することができる。その一方で、非反転コードとともに白抜き文字で表示されている文字情報を撮像しており、白抜き文字の周囲の背景が明色系の単色の画像範囲に補正されたために文字認識が失敗しても、その背景が暗色系の単色の画像範囲に補正されて再度文字認識処理が行われるので、背景の模様等に起因する文字誤認をさらに抑制することができる。

【0061】

［第３実施形態］
次に、第３実施形態に係る情報読取装置及びプログラムについて、図面を参照して説明する。
本第３実施形態では、情報コードのセル配列方向を基準に撮像画像に対して文字認識処理を行う点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0062】

バーコードやＱＲコード等の情報コードは、そのセル配列方向Ｆ１が撮像画像においてどの向きになったとしても問題なくデコードすることができる。これに対して、文字情報は、撮像画像中の文字配列方向Ｆ２によっては文字誤認が生じてしまう可能性がある。例えば、図１１に例示する撮像画像Ｐ７のように、バーコードＢのセル配列方向Ｆ１やＱＲコードＱのセル配列方向Ｆ１が撮像画像においてどの向きになったとしても問題なくデコードすることができる。これに対して、図１１に例示するように、文字情報Ｗとなる「１７７」の文字配列方向Ｆ２が撮像画像での読取基準方向（図１１のＸ方向参照）に対して１８０°回転するように撮像されていると、例えば、「ＬＬｌ」のように文字誤認が生じてしまう可能性がある。

【0063】

このため、文字情報を撮像して読み取る場合には、その文字情報の文字配列方向Ｆ２が撮像画像での上記読取基準方向に対して０°近くになるように、撮像する方向を限定する必要がある。そうすると、情報コードを読み取る情報読取装置であっても、文字情報も読取対象とする場合には、読取対象の向き等を意識してその読取対象を撮像する必要があり、情報読取装置の利便性が悪くなるという問題が生じる。

【0064】

そこで、本実施形態における読取処理では、文字情報の文字配列方向Ｆ２と情報コードのセル配列方向Ｆ１とが同じ方向となることを前提に、情報コード及び文字情報が撮像された撮像画像を、情報コードのセル配列方向Ｆ１が上記読取基準方向に一致するように撮像画像を回転補正し、この回転補正した撮像画像に対して文字認識処理を行う。

【0065】

以下、本実施形態において、制御部２１にてなされる読取処理について、図１２に示すフローチャートを参照して詳述する。
上記第１実施形態と同様に、撮像画像の明暗分布に基づいて明暗判定閾値が設定され（図１２のＳ１０３）、そのデコード処理が成功すると（Ｓ１０９でＹｅｓ）、ステップＳ１４１に示すセル配列方向検出処理がなされる。この処理では、デコードに成功した情報コードのセル配列方向Ｆ１が検出される。なお、ステップＳ１４１のセル配列方向検出処理を行う制御部２１は、「検出部」の一例に相当し得る。

【0066】

続いて、ステップＳ１４３に示す第３画像補正処理がなされる。この処理では、上述のように検出したセル配列方向Ｆ１が上記読取基準方向に一致するように撮像画像が回転補正され、この回転補正された撮像画像のうち情報コードに相当する範囲が周囲との色の境界をなくすように単色の画像範囲に補正（置換）される。そして、ステップＳ１１５に示す文字認識処理にて、上述のように回転補正等された撮像画像に対して、文字認識処理が行われる。

【0067】

このため、例えば、図１３（Ａ）に示す撮像画像Ｐ８ａのように、セル配列方向Ｆ１及び文字配列方向Ｆ２が上記読取基準方向に対して同じ角度で傾くようにバーコードＢ及び文字情報Ｗが撮像されている場合には、図１３（Ｂ）に示す撮像画像Ｐ８ｂのように、セル配列方向Ｆ１が上記読取基準方向に一致するように撮像画像Ｐ８ａが回転補正されて、この回転補正された撮像画像のうち情報コードに相当する範囲が単色（図１３（Ｂ）では白色）の画像範囲に補正される（Ｓ１４３）。そして、このように回転補正等された撮像画像に対して、文字認識処理が行われる。

【0068】

以上説明したように、本実施形態に係る情報読取装置１０では、上記セル配列方向検出処理により検出された情報コードのセル配列方向Ｆ１を基準に、セル配列方向Ｆ１が上記読取基準方向に一致するように回転補正等した撮像画像に対して文字認識処理が行われる。これにより、文字情報の文字配列方向Ｆ２と情報コードのセル配列方向Ｆ１とが同じ方向である場合には、文字情報の文字配列方向Ｆ２を特定できることから、検出されたセル配列方向Ｆ１を基準に文字情報が認識しやすくなるように回転補正等した撮像画像に対して文字認識処理を行うことで、文字認識精度をより一層向上させることができる。

【0069】

本実施形態の第１変形例として、文字情報の文字配列方向Ｆ２が情報コードのセル配列方向Ｆ１に対して所定角度θだけずれていることを事前に把握できる場合には、この所定角度θを利用して撮像画像を回転補正等してもよい。すなわち、検出されたセル配列方向Ｆ１から上記所定角度θだけずれた方向が上記読取基準方向に一致するように回転補正等した撮像画像に対して文字認識処理を行うことでも、文字認識精度をより一層向上させることができる。

【0070】

具体的には、例えば、図１４（Ａ）に示す撮像画像Ｐ９ａのように、文字配列方向Ｆ２がセル配列方向Ｆ１に対して所定角度θだけずれるようにバーコードＢ及び文字情報Ｗが撮像されている場合には、図１４（Ｂ）に示す撮像画像Ｐ８ｂのように、検出されたセル配列方向Ｆ１から上記所定角度θだけずれた方向が上記読取基準方向に一致するように撮像画像Ｐ８ａが回転補正される。そして、この回転補正された撮像画像のうち情報コードに相当する範囲が単色の画像範囲に補正されて（Ｓ１４３）、このように補正された撮像画像に対して文字認識処理が行われる。このように、上記所定角度θを考慮して文字情報が認識しやすくなるように回転補正等した撮像画像に対して文字認識処理を行うことでも、文字認識精度をより一層向上させることができる。

【0071】

また、本実施形態の第２変形例として、上記読取処理においてデコードが失敗した場合でも（Ｓ１０９でＮｏ）、その失敗したデコードのセル配列方向を検出できる場合には、上述したように、検出されたセル配列方向を基準に文字情報が認識しやすくなるように回転補正等した撮像画像に対して文字認識処理を行うことで、文字認識精度をより一層向上させることができる。

【0072】

情報コードのセル配列方向Ｆ１を基準に回転補正等した撮像画像に対して文字認識処理を行う本実施形態及び変形例等の特徴的構成は、他の実施形態等にも適用することができる。

【0073】

［第４実施形態］
次に、第４実施形態に係る情報読取装置及びプログラムについて、図面を参照して説明する。
本第４実施形態では、明度差が小さな情報コードを補正対象外とする点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0074】

例えば、印刷媒体の表面側に文字情報が印刷されるとともに裏面側に情報コードが印刷されており、その表面側の文字情報を撮像して文字認識する際に、その撮像画像に、裏面側の情報コードが薄くかすんだ状態で写り込んでしまう場合がある。また、ペットボトル等の透明部材の一面に表示された文字情報を撮像して文字認識する際に、その撮像画像に、透明部材の反対側の面の情報コードが薄くかすんだ状態で写り込んでしまう場合がある。

【0075】

このような撮像画像では、情報コードの少なくとも一部が文字情報に重なっている状態で撮像されている場合に、制御部２１にてなされる読取処理においてデコード処理が成功すると、情報コードに相当する範囲が単色の画像範囲に補正されてしまうために、文字情報の一部が欠損してしまうという問題がある。例えば、図１６（Ａ）に示すように、薄くかすんだバーコードＢが文字情報Ｗに重なるように撮像画像Ｐ１０ａが撮像されており、このバーコードＢのデコードが成功すると、図１６（Ｂ）に示すように、上記ステップＳ１１１の第１画像補正処理にてバーコードＢに相当する範囲が白色の画像範囲に補正されるために、文字情報Ｗの一部が欠損してしまう。

【0076】

そこで、本実施形態では、読み取られた情報コードを構成する明色系セルと暗色系セルとの撮像画像における明暗差（情報コードの明度差）が所定の明暗差閾値以上となる場合に、撮像画像のうち、情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する。すなわち、上述のように裏面側の情報コードが薄くかすんだ状態で写り込んでしまうような撮像状態では、情報コードの明度差が上記所定の明暗差閾値未満となることで、情報コードに相当する範囲を補正対象外とする。

【0077】

以下、本実施形態において、制御部２１にてなされる読取処理について、図１５に示すフローチャートを参照して詳述する。
上記第１実施形態と同様に、撮像画像の明暗分布に基づいて明暗判定閾値が設定され（図１５のＳ１０３）、そのデコード処理が成功すると（Ｓ１０９でＹｅｓ）、ステップＳ１５１に示す判定処理がなされる。この判定処理では、デコードに成功した情報コードを構成する明色系セルと暗色系セルとの撮像画像における明暗差（例えば、ＰＣＳ（Print Contrast Signal）値）が求められて、この情報コードの明暗差が所定の明暗差閾値以上であるか否かについて判定される。

【0078】

ここで、例えば、図４（Ａ）に示すように、鮮明なバーコードＢが撮像されていることから、情報コードの明度差が高くなって上記所定の明暗差閾値以上になると、ステップＳ１５１にてＹｅｓと判定されて、上記ステップＳ１１１以降の処理がなされる。

【0079】

一方、例えば、図１６（Ａ）に示すように、薄くかすむように不鮮明な状態でバーコードＢが撮像されていることから、情報コードの明度差が低くなって上記所定の明暗差閾値未満になると、ステップＳ１５１にてＮｏと判定される。この場合には、上記ステップＳ１１１の第１画像補正処理がなされることなく、上記ステップＳ１１５の文字認識処理がなされる。すなわち、薄くかすむように不鮮明な状態で撮像されたバーコードＢが補正対象外となる。

【0080】

このように、本実施形態では、情報コードの明暗差が所定の明暗差閾値以上となる場合に、その情報コードに相当する範囲が補正対象となり、情報コードの明暗差が上記所定の明暗差閾値未満となる場合には、その情報コードに相当する範囲が補正対象とならなくなる。このため、意図しない情報コードが薄くかすんだ状態で文字情報に重なるように撮像される場合であっても、画像補正に起因する文字情報の欠損等を防止することができる。

【0081】

なお、本実施形態の変形例として、情報コードの明暗差が上記所定の明暗差閾値未満となる場合には、撮像画像において情報コードに相当する範囲のうち、当該情報コードを構成する明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像が補正されてもよい。この場合には、図１６（Ａ）に例示する撮像画像Ｐ１０ａが撮像されていると、図１６（Ｃ）に示す撮像画像Ｐ１０ｃのように、撮像画像Ｐ１０ａのうち、バーコードＢの明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像が補正される。

【0082】

これにより、意図しない情報コードが薄くかすんだ状態で文字情報に重なるように撮像される場合であっても、鮮明な文字情報は補正されずに不鮮明でかすれた情報コードの部分のみが補正対象となるため、文字認識部による文字認識精度をより一層向上させることができる。

【0083】

なお、明度差が小さな情報コードを補正対象外とする本実施形態の特徴的構成や情報コードの明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように撮像画像を補正する変形例の特徴的構成は、他の実施形態等にも適用することができる。

【0084】

［第５実施形態］
次に、第５実施形態に係る情報読取装置及びプログラムについて、図面を参照して説明する。
本第５実施形態では、情報コードのコード領域内に文字認識すべき文字情報が配置される点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0085】

文字認識すべき文字情報は、情報コードの近くに配置されることに限らず、複数の明色系セル及び暗色系セルを配列してなる情報コードのコード領域内に配置される場合がある。例えば、図１７（Ａ）に例示する撮像画像Ｐ１１ａの情報コードＣのように、コード領域Ｃａ内に明色系セル及び暗色系セルと異なる空き領域Ｃｂが設けられて、この空き領域Ｃｂ内に文字情報Ｗが配置される場合がある。

【0086】

このように情報コードのコード領域内に配置される文字情報を撮像した場合、上記第１実施形態における読取処理では、デコードに成功した情報コードに相当する範囲が単色の画像範囲に補正されるため、コード領域内の文字情報も単色の画像範囲に補正されてしまうという問題がある。

【0087】

そこで、本実施形態における読取処理では、ステップＳ１１１の第１画像補正処理において、空き領域を有する情報コードが読み取られている場合には、撮像画像のうち、コード領域に相当する範囲を補正対象から除外する。このため、例えば、空き領域を有する情報コードには、空き領域を有することを示す情報やコード領域に占める空き領域の範囲を示す情報等を読取可能に記録することで、読み取った情報コードが空き領域を有しているか否かや空き領域の範囲等を、情報読取装置１０にて容易に把握することができる。

【0088】

これにより、空き領域内に文字認識すべき文字情報が配置される場合には、その文字情報が情報コードとともに単色の画像範囲となるように補正されてしまうことを防止することができる。

【0089】

本実施形態の変形例として、空き領域を有する情報コードが読み取られる場合には、ステップＳ１１１の第１画像補正処理において、撮像画像のうち、コード領域から空き領域を除いた範囲が単色の画像範囲となるように当該撮像画像が補正されてもよい。この場合には、図１７（Ａ）に例示する撮像画像Ｐ１１ａが撮像されていると、図１７（Ｂ）に示す撮像画像Ｐ１１ｂのように、撮像画像Ｐ１１ａのうち、コード領域Ｃａから空き領域Ｃｂを除いた範囲が単色の画像範囲となるように当該撮像画像が補正される。

【0090】

このようにしても、空き領域内に文字認識すべき文字情報が配置される場合には、その文字情報が単色の画像範囲となるように補正されてしまうことを防止することができる。特に、コード領域から空き領域を除いた範囲が単色の画像範囲となるように補正されるため、文字認識すべき文字情報の周囲が単色の画像範囲となるので（図１７（Ｂ）参照）、文字認識部による文字認識精度をより一層向上させることができる。

【0091】

なお、空き領域を有する情報コードを読み取った際にコード領域に相当する範囲を補正対象から除外する本実施形態の特徴的構成や空き領域を有する情報コードを読み取った際にコード領域から空き領域を除いた範囲が単色の画像範囲となるように撮像画像を補正する変形例の特徴的構成は、他の実施形態等にも適用することができる。

【0092】

なお、本発明は上記各実施形態及び変形例等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）本発明は、情報コードのうちバーコードのみを読取対象とする情報読取装置に適用されてもよい。この場合、上記読取処理におけるデコード処理では、バーコードのみをデコード対象とすることに限らず、他のコード種別の一次元コードをデコード対象としてもよい。一次元コードのデコードに要する時間は、二次元コードに対して短くなるため、全てのコード種別の一次元コードについてデコード処理を行っても、本読取処理に関して読取時間に与える影響が少ないからである。

【0093】

（２）上記読取処理では、文字認識処理の認識結果にかかわらず、デコード処理のデコード結果を利用した処理を行ってもよい。

【0094】

（３）本発明は、スマートフォンなどの携帯型の情報処理端末に対して上記読取アプリがインストールされることで構成される情報読取装置に適用されることに限らず、例えば、ＲＦタグ等の無線タグを読み書き可能な無線タグ処理機能などの他の機能を有する携帯端末に対して上記読取アプリ等がインストールされることで構成される情報読取装置に適用されてもよいし、据え置き型の情報読取装置に適用されてもよい。

【符号の説明】

【0095】

１０…情報読取装置
２１…制御部（情報コード読取部，文字認識部，コード判定部，明暗反転判定部，検出部）
２３…撮像部
Ｂ…バーコード（情報コード）
Ｆ１…セル配列方向
Ｆ２…文字配列方向
Ｗ…文字情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】