IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デンソーウェーブの特許一覧

<>
  • 特開-携帯型の文字認識装置 図1
  • 特開-携帯型の文字認識装置 図2
  • 特開-携帯型の文字認識装置 図3
  • 特開-携帯型の文字認識装置 図4
  • 特開-携帯型の文字認識装置 図5
  • 特開-携帯型の文字認識装置 図6
  • 特開-携帯型の文字認識装置 図7
  • 特開-携帯型の文字認識装置 図8
  • 特開-携帯型の文字認識装置 図9
  • 特開-携帯型の文字認識装置 図10
  • 特開-携帯型の文字認識装置 図11
  • 特開-携帯型の文字認識装置 図12
  • 特開-携帯型の文字認識装置 図13
  • 特開-携帯型の文字認識装置 図14
  • 特開-携帯型の文字認識装置 図15
  • 特開-携帯型の文字認識装置 図16
  • 特開-携帯型の文字認識装置 図17
  • 特開-携帯型の文字認識装置 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024180278
(43)【公開日】2024-12-26
(54)【発明の名称】携帯型の文字認識装置
(51)【国際特許分類】
   G06V 30/146 20220101AFI20241219BHJP
   G06V 30/142 20220101ALI20241219BHJP
   G06V 10/14 20220101ALI20241219BHJP
   G06V 10/24 20220101ALI20241219BHJP
   G06T 5/80 20240101ALI20241219BHJP
   G06T 7/70 20170101ALI20241219BHJP
   H04N 23/60 20230101ALI20241219BHJP
【FI】
G06V30/146
G06V30/142
G06V10/14
G06V10/24
G06T5/80
G06T7/70 B
H04N23/60 500
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2024060237
(22)【出願日】2024-04-03
(31)【優先権主張番号】P 2023099468
(32)【優先日】2023-06-16
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】501428545
【氏名又は名称】株式会社デンソーウェーブ
(74)【代理人】
【識別番号】110000110
【氏名又は名称】弁理士法人 快友国際特許事務所
(72)【発明者】
【氏名】山村 響
(72)【発明者】
【氏名】山下 勉
(72)【発明者】
【氏名】浅原 英行
【テーマコード(参考)】
5B029
5B057
5C122
5L096
【Fターム(参考)】
5B029AA01
5B029BB02
5B029BB04
5B029BB17
5B057AA02
5B057AA20
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD12
5B057DA07
5B057DA15
5B057DB02
5B057DB09
5B057DC22
5C122DA04
5C122DA09
5C122EA61
5C122FH04
5C122FH06
5C122FH10
5C122FH11
5C122FH14
5C122HA88
5C122HB01
5L096AA06
5L096BA08
5L096BA17
5L096CA14
5L096CA17
5L096DA02
5L096DA03
5L096EA07
5L096FA14
5L096FA66
5L096FA67
5L096FA69
(57)【要約】
【課題】携帯型の文字認識装置において、文字を撮像した画像を補正する新たな技術を提供する。
【解決手段】文字認識装置は、光源と、前記光源によって照射される光の像を所定の外観を有する指示マーカへ変換する変換素子と、前記指示マーカが投影された文字を撮像するイメージセンサと、前記イメージセンサから特定の画像を取得する取得部であって、前記特定の画像は、前記文字を撮像した特定の文字画像と、前記指示マーカを撮像した特定のマーカ画像と、を含む、前記取得部と、前記特定のマーカ画像の外観が前記所定の外観から変形している度合いを利用して、前記特定の画像から、前記特定の文字画像の外観を補正した補正後の画像を生成する生成部と、前記補正後の画像に対する文字認識の処理を実行する処理実行部と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
携帯型の文字認識装置であって、
光源と、
前記光源によって照射される光の像を所定の外観を有する指示マーカへ変換する変換素子と、
前記指示マーカが投影された文字を撮像するイメージセンサと、
前記イメージセンサから特定の画像を取得する取得部であって、前記特定の画像は、前記文字を撮像した特定の文字画像と、前記指示マーカを撮像した特定のマーカ画像と、を含む、前記取得部と、
前記特定のマーカ画像の外観が前記所定の外観から変形している度合いを利用して、前記特定の画像から、前記特定の文字画像の外観を補正した補正後の画像を生成する生成部と、
前記補正後の画像に対する文字認識の処理を実行する処理実行部と、
を備える、文字認識装置。
【請求項2】
前記所定の外観は、第1直線と、前記第1直線と直交する第2直線と、を含む十字型の形状を含み、
前記生成部は、前記特定のマーカ画像の外観において前記第1直線が前記第2直線によって分割される比率が、前記所定の外観において前記第1直線が前記第2直線によって分割される比率から変化している度合いを利用して、前記補正後の画像を生成する、請求項1に記載の文字認識装置。
【請求項3】
前記所定の外観は、複数個のドッドを直線状に並べて構成された直線を含み、
前記生成部は、前記特定のマーカ画像の外観において前記複数個のドッドが並ぶ間隔が、前記所定の外観において前記複数個のドッドが並ぶ間隔から変化している度合いを利用して、前記補正後の画像を生成する、請求項1に記載の文字認識装置。
【請求項4】
前記所定の外観は、横幅に対する縦幅の比率が特定の比率である平面図形を含み、
前記生成部は、前記特定のマーカ画像の外観における前記横幅に対する前記縦幅の比率が前記特定の比率から変化している度合いを利用して、前記補正後の画像を生成する、請求項1に記載の文字認識装置。
【請求項5】
前記所定の外観は、前記平面図形と、前記平面図形の内側の所定の位置に投影される内側図形と、を含み、
前記生成部は、
前記特定のマーカ画像の外観において前記内側図形が前記所定の位置から移動した方向から前記文字認識装置の姿勢の向きを推定し、
推定した前記姿勢の向きと、前記度合いと、を利用して、前記補正後の画像を生成する、請求項4に記載の文字認識装置。
【請求項6】
前記所定の外観は、第3直線と、前記第3直線から所定の角度で延びる第4直線と、で構成された屈曲図形を含み、
前記生成部は、前記特定のマーカ画像の外観における前記第3直線と前記第4直線の間の角度が前記所定の角度から変化している度合いを利用して、前記補正後の画像を生成する、請求項1に記載の文字認識装置。
【請求項7】
前記文字認識装置は、さらに、
前記特定のマーカ画像が前記所定の外観から欠けた外観を有する場合に、所定の報知動作を実行する報知部を備える、請求項4から6のいずれか一項に記載の文字認識装置。
【請求項8】
前記所定の外観は、複数個のドッドを直線状に等間隔に並べて構成された第5直線を含み、
前記生成部は、前記特定のマーカ画像の外観において前記複数個のドッドが並ぶ間隔が、前記等間隔から、中心よりも端部が広い他の間隔へ変化している場合に、前記補正後の画像を生成し、
前記処理実行部は、
前記特定のマーカ画像の外観において前記複数個のドッドが並ぶ間隔が、前記等間隔から前記他の間隔へ変化している場合に、前記補正後の画像に対する前記文字認識の処理を実行し、
前記特定のマーカ画像の外観において前記複数個のドッドが並ぶ間隔が、前記等間隔である場合に、前記特定の画像に対する前記文字認識の処理を実行する、請求項1に記載の文字認識装置。
【請求項9】
前記所定の外観は、水平方向に延びる前記第5直線と、前記第5直線と直交する第6直線と、を含む十字型の形状を含み、
前記第6直線は、複数個のドッドを直線状に等間隔に並べて構成されており、
前記生成部は、
前記特定のマーカ画像の外観において、前記第6直線のうち、前記第5直線より上側のドッドの間隔に対する、前記第6直線のうち、前記第5直線より下側のドッドの間隔の比率を利用して、前記文字認識装置の姿勢の向きを推定し、
推定した前記姿勢の向きを利用して、前記補正後の画像を生成する、請求項8に記載の文字認識装置。
【請求項10】
前記生成部は、曲面に表示された文字を補正する所定のアルゴリズムを利用して、前記補正後の画像を生成する、請求項8又は9に記載の文字認識装置。
【請求項11】
前記生成部は、複数個の前記特定の画像のそれぞれから、前記補正後の画像を生成し、
前記処理実行部は、複数個の前記特定の画像から生成された複数個の前記補正後の画像のそれぞれに対して、前記文字認識の処理を試行する、請求項8又は9に記載の文字認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示する技術は、文字認識の処理を実行する携帯型の文字認識装置に関する。
【背景技術】
【0002】
特許文献1の撮像文字認識装置は、撮影時に傾いている文字の傾きを補正する傾き補正を実行し、傾き補正によって補正された文字に対する文字認識を行う。撮像文字認識装置は、例えば、車のナンバープレート認識に利用され、カメラは、斜め前方から一定の傾きを有する位置に設置される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】再表01/026041号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
携帯型の文字認識装置では、ユーザは、文字認識装置を持ち歩き、様々な場所に表示された文字を文字認識装置で撮像する。文字が表示される場所の状況も様々である。本明細書では、携帯型の文字認識装置において、文字を撮像した画像を補正する新たな技術を提供する。
【課題を解決するための手段】
【0005】
本明細書で開示する文字認識装置は、光源と、前記光源によって照射される光の像を所定の外観を有する指示マーカへ変換する変換素子と、前記指示マーカが投影された文字を撮像するイメージセンサと、前記イメージセンサから特定の画像を取得する取得部であって、前記特定の画像は、前記文字を撮像した特定の文字画像と、前記指示マーカを撮像した特定のマーカ画像と、を含む、前記取得部と、前記特定のマーカ画像の外観が前記所定の外観から変形している度合いを利用して、前記特定の画像から、前記特定の文字画像の外観を補正した補正後の画像を生成する生成部と、前記補正後の画像に対する文字認識の処理を実行する処理実行部と、を備える。
【0006】
上記の構成によれば、指示マーカが文字に投影されることにより、ユーザは、文字認識の対象の文字を指定することができる。特定の文字画像は、様々な原因により、本来の文字の外観(即ち正面から撮像した文字の外観)から変形する。例えば、文字認識装置を斜めの姿勢で把持して、高所の文字を撮像する場合である。この場合、指示マーカも文字が表示されている面に対して斜めに投影され、斜めに投影された指示マーカの外観は所定の外観から変形する。文字認識装置の斜めの姿勢と特定のマーカ画像の外観が所定の外観から変形している度合いとの間には所定の相関関係が存在する。特定のマーカ画像の外観が所定の外観から変形している度合いを利用すれば、文字認識装置の斜めの姿勢に起因して変形している特定の文字画像の外観を本来の文字の外観に近づけるように補正することができる。なお、高所の文字を撮像する状況は、一例であり、例えば、低所の文字の撮像、斜めの壁や湾曲した壁等の特殊な表面に表示された文字の撮像等が想定される。
【0007】
前記所定の外観は、第1直線と、前記第1直線と直交する第2直線と、を含む十字型の形状を含み、前記生成部は、前記特定のマーカ画像の外観において前記第1直線が前記第2直線によって分割される比率が、前記所定の外観において前記第1直線が前記第2直線によって分割される比率から変化している度合いを利用して、前記補正後の画像を生成してもよい。
【0008】
例えば、高所の文字を撮像する場合には、文字に投影された指示マーカの外観において、第1直線のうちの第2直線より下側の部分が元の長さから縮み、第1直線のうちの第2直線よりも上側の部分が元の長さよりも延びる。上記の構成によれば、第2直線によって分割される第1直線の比率が変化する度合いを利用して、特定の文字画像の外観を補正することができる。
【0009】
前記所定の外観は、複数個のドッドを直線状に並べて構成された直線を含み、前記生成部は、前記特定のマーカ画像の外観において前記複数個のドッドが並ぶ間隔が、前記所定の外観において前記複数個のドッドが並ぶ間隔から変化している度合いを利用して、前記補正後の画像を生成してもよい。
【0010】
例えば、所定の外観において複数個のドッドが等間隔に並んでいることを想定する。高所の文字を撮像する場合には、文字に投影された指示マーカの外観において、複数個のドッドが並ぶ間隔が下側から上側へ向かうにつれて徐々に広がる。上記の構成によれば、複数個のドッドが並ぶ間隔が変化する度合いを利用して、特定の文字画像の外観を補正することができる。なお、所定の外観において複数個のドッドが並ぶ間隔が予め決まっていればよく、所定の外観において複数個のドッドは等間隔に並んでいなくてもよい。
【0011】
前記所定の外観は、横幅に対する縦幅の比率が特定の比率である平面図形を含み、前記生成部は、前記特定のマーカ画像の外観における前記横幅に対する前記縦幅の比率が前記特定の比率から変化している度合いを利用して、前記補正後の画像を生成してもよい。
【0012】
例えば、所定の外観において横幅と縦幅が等しいことを想定する。高所の文字を撮像する場合には、文字に投影された指示マーカの外観において、縦幅が横幅よりも長くなる。上記の構成によれば、横幅に対する縦幅の比率が変化する度合いを利用して、特定の文字画像の外観を補正することができる。なお、所定の外観において特定の比率が予め決まっていればよく、所定の外観において縦幅と横幅は等しくなくてもよい。
【0013】
前記所定の外観は、前記平面図形と、前記平面図形の内側の所定の位置に投影される内側図形と、を含み、前記生成部は、前記特定のマーカ画像の外観において前記内側図形が前記所定の位置から移動した方向から前記文字認識装置の姿勢の向きを推定し、推定した前記姿勢の向きと、前記度合いと、を利用して、前記補正後の画像を生成してもよい。
【0014】
例えば、高所の文字を撮像する場合には、文字に投影された指示マーカの外観において、内側図形は、所定の位置から下側へ移動する。また、低所の文字を撮像する場合には、文字に投影された指示マーカの外観において、内側図形は、所定の位置から上側へ移動する。即ち、内側図形が所定の位置から移動した方向により、文字認識装置の姿勢の向きを推定することができる。上記の構成によれば、文字認識装置の姿勢の向きも考慮して、特定の文字画像の外観を補正することができる。
【0015】
前記所定の外観は、第3直線と、前記第3直線から所定の角度で延びる第4直線と、で構成された屈曲図形を含み、前記生成部は、前記特定のマーカ画像の外観における前記第3直線と前記第4直線の間の角度が前記所定の角度から変化している度合いを利用して、前記補正後の画像を生成してもよい。
【0016】
例えば、屈曲図形が上側に開いた形状であることを想定する。高所の文字を撮像する場合には、文字に投影された指示マーカの外観において、屈曲図形の間の角度が所定の角度よりも広がる。上記の構成によれば、屈曲図形の間の角度が変化する度合いを利用して、特定の文字画像の外観を補正することができる。なお、所定の外観において屈曲図形の角度が予め決まっていればよく、屈曲図形は下側に開いた形状でもよい。
【0017】
前記文字認識装置は、さらに、前記特定のマーカ画像が前記所定の外観から欠けた外観を有する場合に、所定の報知動作を実行する報知部を備えてもよい。
【0018】
例えば、文字が箱の縁の付近に表示されている場合において、当該文字を斜めから撮像すると、指示マーカが箱の縁に重なり、特定のマーカ画像が所定の外観から欠けた外観を有する可能性がある。特定のマーカ画像が所定の外観から欠けると、特定のマーカ画像の外観が所定の外観から変形している度合いを正確に算出することができない。この場合、特定の文字画像の外観が正しく補正されない可能性がある。上記の構成によれば、ユーザは、所定の報知動作を知覚して、特定の文字画像の外観が正しく補正されない可能性があることを知ることができる。例えば、ユーザは、所定の報知動作を知覚した後に、情報読取装置の姿勢を調整することができる。
【0019】
前記所定の外観は、複数個のドッドを直線状に等間隔に並べて構成された第5直線を含み、前記生成部は、前記特定のマーカ画像の外観において前記複数個のドッドが並ぶ間隔が、前記等間隔から、中心よりも端部が広い他の間隔へ変化している場合に、前記補正後の画像を生成し、前記処理実行部は、前記特定のマーカ画像の外観において前記複数個のドッドが並ぶ間隔が、前記等間隔から前記他の間隔へ変化している場合に、前記補正後の画像に対する前記文字認識の処理を実行し、前記特定のマーカ画像の外観において前記複数個のドッドが並ぶ間隔が、前記等間隔である場合に、前記特定の画像に対する前記文字認識の処理を実行してもよい。
【0020】
特定の文字画像は、文字が曲面(例えば、湾曲した壁、ビン等)に表示されている場合にも、本来の文字の外観(即ち平面に表示される文字の外観)から変化する。発明者は、第5の直線を含む指示マーカが曲面に投影されると、複数個のドッドの間隔が等間隔から上記の他の間隔へ変化することを発見した。上記の構成によれば、特定のマーカ画像の外観の変化から文字が曲面に表示されているか否かを推定することができる。そして、文字が曲面に表示されていることが推定される場合に、文字が曲面に表示されていることに起因して変形している特定の文字画像の外観を本来の文字の外観に近づけるように補正することができる。
【0021】
前記所定の外観は、水平方向に延びる前記第5直線と、前記第5直線と直交する第6直線と、を含む十字型の形状を含み、前記第6直線は、複数個のドッドを直線状に等間隔に並べて構成されており、前記生成部は、前記特定のマーカ画像の外観において、前記第6直線のうち、前記第5直線より上側のドッドの間隔に対する、前記第6直線のうち、前記第5直線より下側のドッドの間隔の比率を利用して、前記文字認識装置の姿勢の向きを推定し、推定した前記姿勢の向きを利用して、前記補正後の画像を生成してもよい。
【0022】
文字が曲面に表示され、さらに、仰視又は俯瞰で撮像すると、特定の文字画像の外観が、曲面に加え、文字認識装置の姿勢に起因して、本来の文字の外観から変形する。例えば、仰視で指示マーカを投影する場合には、第5直線より下側のドッドの間隔が元の間隔から狭くなり、第5直線よりも上側のドッドの間隔が元の間隔よりも広くなる。反対に、俯瞰で指示マーカを投影する場合には、第5直線より下側のドッドの間隔が元の間隔から広くなり、第5直線よりも上側のドッドの間隔が元の間隔よりも狭くなる。上側のドッドの間隔に対する下側のドッドの間隔の比率を利用して、文字認識装置の姿勢の向きを推定することができる。上記の構成によれば、曲面に加え、文字認識装置の姿勢に起因して変形した特定の文字画像の外観を本来の文字の外観に近づけるように補正することができる。
【0023】
前記生成部は、曲面に表示された文字を補正する所定のアルゴリズムを利用して、前記補正後の画像を生成してもよい。
【0024】
前記生成部は、複数個の前記特定の画像のそれぞれから、前記補正後の画像を生成し、
前記処理実行部は、複数個の前記特定の画像から生成された複数個の前記補正後の画像のそれぞれに対して、前記文字認識の処理を試行してもよい。
【0025】
上記の構成によれば、ユーザは、複数個の補正後の画像に対する文字認識の処理の結果の中から、ユーザが望む結果を選択することができる。
【図面の簡単な説明】
【0026】
図1】情報読取装置10の概念図である。
図2】情報読取装置10のブロック図である。
図3】文字認識実行処理のフローチャート図である。
図4】イメージセンサ20が水平方向を向いている具体的なケースA1である。
図5】イメージセンサ20が上向きである具体的なケースA2である。
図6】イメージセンサ20が下向きである具体的なケースA3である。
図7】第2実施例においてイメージセンサ20が水平方向を向いている具体的なケースB1である。
図8】第2実施例においてイメージセンサ20が上向きである具体的なケースB2である。
図9】第2実施例においてイメージセンサ20が下向きである具体的なケースB3である。
図10】第2実施例において指示マーカの形状が欠けている具体的なケースB4である。
図11】第3実施例においてイメージセンサ20が水平方向を向いている具体的なケースC1である。
図12】第3実施例においてイメージセンサ20が上向きである具体的なケースC2である。
図13】第3実施例においてイメージセンサ20が下向きである具体的なケースC3である。
図14】曲面から情報を読み取る具体的なケースD1である。
図15】第4実施例に係る文字認識実行処理のフローチャート図である。
図16】曲面から情報を読み取る具体的なケースD2である。
図17】曲面から情報を読み取る具体的なケースD3である。
図18】曲面から情報を読み取る具体的なケースD4である。
【発明を実施するための形態】
【0027】
(第1実施例)
(情報読取装置10の構成;図1図2
本実施例の情報読取装置10は、対象物(例えば段ボール)の表面から情報を読み取るための携帯型の装置である。例えば、対象物には、情報コード(例えばバーコード、二次元コード、多段のバーコード等)が表示される。情報読取装置10は、対象物上の情報コードを撮像して、情報コードをデコードし、情報コードに記録されている情報を取得する。また、対象物には、文字が表示される。情報読取装置10は、対象物上の文字を撮像し、当該文字の画像に対する文字認識の処理を実行して、当該文字を示すデータを取得する。なお、図1に示す情報読取装置10の外観は、一例に過ぎない。
【0028】
情報読取装置10は、操作部12と、表示部14と、イメージセンサ20と、マーカ投影部22と、制御部30と、を備える。操作部12は、複数のキーを備える。ユーザは、操作部12を操作することによって、様々な指示を情報読取装置10に入力することができる。表示部14は、様々な情報を表示するためのディスプレイである。また、表示部14は、ユーザの操作を受け付け可能なタッチパネル(即ち操作部12)として機能してもよい。イメージセンサ20は、対象物の画像を撮像するセンサであり、例えば、CCDイメージセンサである。
【0029】
マーカ投影部22は、指示マーカ50を投影する。マーカ投影部22は、光源24と、変換素子26と、を備える。変換素子26は、光源24に対面している。変換素子26は、光源24によって照射されるビームの像(例えば円型)を所定の外観を有する指示マーカ50へ変換する。本実施例では、所定の外観は、十字型の形状を含む。変換素子26は、例えば、計算機合成ホログラムである。なお、変形例では、光源24は、方向が定まらない光を照射してもよく、この場合には、マーカ投影部22は、変換素子26から照射される光をビームに変換する他の素子を含んでもよい。
【0030】
イメージセンサ20及びマーカ投影部22は、情報読取装置10の筐体に固定されている。マーカ投影部22の向き、即ち、指示マーカ50を投影する光が照射される照射方向は、イメージセンサ20の画角の向きに対して固定されている。
【0031】
制御部30は、CPU32と、不揮発性メモリ及び揮発性メモリなどによって構成されるメモリ34と、を備える。CPU32は、メモリ34に記憶されているプログラム40に従って、様々な処理を実行する。例えば、CPU32は、操作部12に読取の開始の指示が入力される場合に、指示マーカ50を投影する光をマーカ投影部22に照射させる。CPU32は、イメージセンサ20による撮像を開始する。CPU32は、イメージセンサ20によって撮像された画像(以下では「撮像画像」と記載)に対する読取処理を実行する。例えば、情報コードが撮像画像に含まれる場合には、読取処理は、情報コードをデコードする処理を含む。また、例えば、文字の画像が撮像画像に含まれる場合には、読取処理は、撮像画像に対する文字認識の処理を含む。
【0032】
撮像画像には、対象物の表面の画像だけでなく、対象物の表面に投影された指示マーカ50の画像も含まれる。本実施例では、マーカ投影部22によって投影される指示マーカ50は、対象物の表面を指示する用途だけでなく、対象物の表面に表示されている文字の撮像画像を補正する用途でも利用される。
【0033】
(情報読取装置10の使用態様;図1
例えば、図1に示す3個の段ボール100a~100cのそれぞれから情報を読み取る状況が想定される。段ボール100bは、ユーザの正面に位置している。段ボール100aは、段ボール100aの上段に位置している。段ボール100cは、段ボール100bの下段に位置している。段ボール100bの表面の文字を読み取る状況では、ユーザは、イメージセンサ20の向きが水平となるように、情報読取装置10を把持する。ユーザは、文字を正面から撮像することができる。一方、段ボール100aの表面の文字を読み取る状況では、段ボール100aが高所に位置していることに起因して、ユーザは、文字を正面から撮像することを難しいと感じる。ユーザは、情報読取装置10を上向きの姿勢で把持し、文字を斜め下から撮像する。この場合、文字の撮像画像は、台形に歪む。また、段ボール100cの表面の文字を読み取る状況では、段ボール100cが低所に位置していることに起因して、ユーザは、文字を正面から撮像することを難しいと感じる。ユーザは、情報読取装置10を下向きの姿勢で把持し、文字を斜め上から撮像する。この場合も、文字の撮像画像は、台形に歪む。文字の撮像画像が台形に歪むと文字認識を正確に実行できない可能性がある。本実施例では、後述する図3の処理において、台形に歪んだ文字の撮像画像が補正される。
【0034】
(文字認識実行処理;図3
図3を参照して、CPU32がプログラム40に従って実行する文字認識実行処理について説明する。図3の処理は、操作部12に読取の開始の指示が入力されることをトリガとして開始する。
【0035】
S10では、CPU32は、イメージセンサ20から取得した撮像画像から文字を検出するのか否かを判断する。具体的には、CPU32は、撮像画像の中に文字に特有の特徴を有する画像が含まれる場合に、撮像画像から文字を検出すると判断する。一方、CPU32は、撮像画像の中に文字に特有の特徴を有する画像が含まれない場合に、撮像画像から文字を検出しないと判断する。CPU32は、撮像画像から文字を検出する場合(S10でYES)に、S24に進む。S24では、CPU32は、撮像画像に対する文字認識の処理を実行して、文字を示すデータを取得する。文字認識の処理によって取得されたデータは、例えば、表示部14に表示される。また、例えば、当該データは、外部の装置(例えばサーバ)に送信される。S24が終了すると、CPU32は、図3の処理のトリガの監視に戻る。
【0036】
また、CPU32は、撮像画像から文字を検出しない場合(S10でNO)に、S12に進む。例えば、撮像画像が台形に歪んでいると、撮像画像から文字を検出できない場合がある。
【0037】
S12では、CPU32は、撮像画像の中からマーカ画像を抽出する。マーカ画像は、指示マーカ50を示す画像である。指示マーカ50は、所定値以上の輝度を有する。CPU32は、撮像画像の中か、所定値以上の輝度を有する画像を抽出することにより、マーカ画像を抽出する。
【0038】
S14では、CPU32は、マーカ画像の外観を分析する。指示マーカ50は、所定の外観を有する。本実施例では、指示マーカ50の外観は、十字型である。指示マーカ50を投影する光が対象物の表面に対して法線方向で照射される場合には、当該表面に投影される指示マーカ50の外観は、所定の外観から変化しない。しかし、指示マーカ50を投影する光が対象物の表面に対して斜めから照射される場合には、当該表面に投影される指示マーカ50の外観は、所定の外観から変形する。指示マーカ50を投影する光が対象物の表面に照射する角度と指示マーカ50の外観が所定の外観から変形する度合いとの間に所定の相関関係がある。このため、指示マーカ50の外観が所定の外観から変形する度合いから指示マーカ50を投影する光が対象物の表面に照射する角度を求めることができる。上述したように、イメージセンサ20の画角の向きは、指示マーカ50の照射方向に対して固定されている。このため、指示マーカ50を投影する光が対象物の表面に照射する角度からイメージセンサ20が対象物を撮像する角度、いわゆる、仰俯角を求めることができる。仰俯角を利用することにより、斜めから撮像された画像に対する台形補正を実行することができる。S14では、CPU32は、マーカ画像の外観を分析して、指示マーカ50の外観が所定の外観から変形する度合い(以下では「変形度合い」と記載)を算出する。例えば、プログラム40には、上記の相関関係を表したテーブルが記憶されている。当該テーブルは、変形度合いと仰俯角とを対応付ける。なお、変形例では、プログラム40には、上記の相関関係を表す所定の数式が記憶されていてもよい。
【0039】
S18では、CPU32は、プログラム40に記憶されているテーブルを利用して、S14で算出された変形度合いからイメージセンサ20の仰俯角を取得する。S20では、CPU32は、S18で取得した仰俯角を利用して、撮像画像に対する台形補正を実行する。これにより、撮像画像内の文字の画像を補正した補正後の画像が生成される。ここで、台形補正は、周知の技術であるので、具体的な説明は省略する。
【0040】
S22では、CPU32は、S20で生成された補正後の画像から文字を検出するのか否かを判断する。S22の具体的な処理の内容は、S10と同様である。CPU32は、補正後の画像から文字を検出すると判断する場合(S22でYES)に、S24に進む。S22でYESと判断された後に実行されるS24では、補正後の画像に対する文字認識の処理が実行される。一方、CPU32は、補正後の画像から文字を検出しないと判断する場合(S22でNO)に、S26に進む。
【0041】
S26では、CPU32は、S20の補正を実行しても文字認識が失敗したことを示すエラーを報知する。例えば、CPU32は、当該エラーを示すメッセージを表示部14に表示する。S26が終了すると、CPU32は、図3の処理のトリガの監視に戻る。
【0042】
(具体的なケースA1;図4
ケースA1は、図1の段ボール100bの表面から情報を読み取るケースである。段ボール100bの表面には、文字102が表示されている。本ケースでは、情報読取装置10は、水平の姿勢で把持され、指示マーカ50を投影する光は、段ボール100bの表面に対して法線方向で照射される。本ケースでは、指示マーカ50の外観は所定の外観から変形しない。
【0043】
図4に示されるように、指示マーカ50の外観は、第1直線54と第2直線56とを含む十字型の外観である。第2直線56は、第1直線54と直交する。第1直線54及び第2直線56は、複数個のドッドを直線状に並べて構成されている。第1直線54の複数個のドッドは、等間隔に並んでいる。第2直線56の複数個のドッドも、等間隔に並んでいる。第1直線54は、第2直線56によって、上側の直線54aと下側の直線54bに分割される。また、第2直線56は、第1直線54によって、左側の直線56aと右側の直線56bに分割される。所定の外観において、上側の直線54aの長さは下側の直線54bの長さと同じであり、左側の直線56aの長さは右側の直線56bの長さと同じである。なお、変形例では、所定の外観において、上側の直線54aの長さは下側の直線54bの長さと異なってもよいし、左側の直線56aの長さは右側の直線56bの長さと異なってもよい。
【0044】
本ケースでは、撮像画像において文字102の画像は台形に歪んでいない。このため、CPU32は、撮像画像から文字を検出し(S10でYES)、撮像画像に対する文字認識の処理を実行する(図3のS24)。
【0045】
(具体的なケースA2;図5
ケースA2は、図1の高所の段ボール100aの表面から情報を読み取るケースである。本ケースでは、情報読取装置10は、上向きの姿勢で把持され、イメージセンサ20は、特定の仰角で段ボール100aの表面を撮像する。そして、指示マーカ50を投影する光は、段ボール100aの表面に対して斜め下から照射される。
【0046】
本ケースでは、指示マーカ50の外観は所定の外観から変形する。具体的には、上側の直線54aを構成する複数個のドッドの間隔が、元の間隔よりも広がり、下側の直線54bを構成する複数個のドッドの間隔が、元の間隔よりも狭くなる。また、図5では、簡略化して描いているが、第1直線54において、最下のドッドから最上のドッドに至るまで間隔が段階的に広がる。第1直線54を構成する複数個のドッドの間隔が段階的に広がる変化率とイメージセンサ20の仰角の間には所定の相関関係が存在する。この相関関係は、例えば、テーブルの形式でプログラム40に含まれる。
【0047】
本ケースでは、CPU32は、文字102の画像が台形に歪んでいることに起因して、撮像画像から文字を検出しない(図3のS10でNO)。CPU32は、撮像画像から、図5に示すような変形後のマーカ画像を抽出する(S12)。CPU32は、変形後のマーカ画像を分析して、ドッドの間隔が段階的に広がる変化率を算出し(S14)、テーブルから当該変化率に対応する仰角を取得する(S18)。CPU32は、取得済みの仰角を利用して、撮像画像に対する台形補正を実行し、補正後の画像を生成する(S20)。CPU32は、補正後の画像から文字を検出したと判断し(S22でYES)、補正後の画像に対する文字認識の処理を実行する(S24)。
【0048】
(具体的なケースA3;図6
ケースA3は、図1の低所の段ボール100cの表面から情報を読み取るケースである。本ケースでは、情報読取装置10は、下向きの姿勢で把持され、イメージセンサ20は、特定の俯角で段ボール100cの表面を撮像する。そして、指示マーカ50を投影する光は、段ボール100cの表面に対して斜め上から照射される。
【0049】
本ケースでは、上側の直線54aを構成する複数個のドッドの間隔が、元の間隔よりも狭くなり、下側の直線54bを構成する複数個のドッドの間隔が、元の間隔よりも広くなる。また、図6では、簡略化して描いているが、第1直線54において、最上のドッドから最下のドッドに至るまで間隔が段階的に広がる。第1直線54を構成する複数個のドッドの間隔が段階的に広がる変化率とイメージセンサ20の俯角の間には所定の相関関係が存在する。この相関関係は、例えば、テーブルの形式でプログラム40に含まれる。
【0050】
本ケースでは、CPU32は、文字102の画像が台形に歪んでいることに起因して、撮像画像から文字を検出しない(図3のS10でNO)。本ケースは、イメージセンサ20の俯角が算出される点を除いて、ケースA2と同様である。本ケースでも、撮像画像を補正した後に、文字認識の処理が実行される。
【0051】
(本実施例の効果)
図5及び図6のケースA2及びA3に示すように、指示マーカ50を構成する複数個のドッドの間隔が段階的に広がる変化率を利用して、台形に歪んだ文字102の画像を補正することができる。文字102が斜めから撮像される場合でも、文字102の画像の外観を、文字102を正面から撮像した外観に近づけることができる。文字102が斜めから撮像される場合でも文字認識を実行することができる。また、携帯型の情報読取装置10は、マーカ投影部22を標準的に備える。標準的に備えるマーカ投影部22を利用して、斜めから撮像した画像を補正することができる。マーカ投影部22を利用することにより、仰俯角を測定するセンサ(例えば角速度センサ)が不要である。
【0052】
また、例えば、文字102が、段ボール100aの上端の付近に表示されている状況が想定される。この場合には、直線54aの上端のドッドが段ボール100aの表面の外側に投影され得る。しかし、複数個のドッドのうちの上端以外の残りのドッドが、段ボール100aの表面に投影されているため、CPU32は、当該残りのドッドから、複数個のドッドが段階的に広がる変化率を算出することができる。指示マーカ50を複数個のドッドで構成することにより、指示マーカ50の全体が対象物の表面に投影されなくても、斜めから撮像した画像を補正することができる。
【0053】
また、情報読取装置10が、左右のいずれかに傾いた姿勢で把持される状況も想定される。この場合には、文字102の画像が台形に歪み、さらに、第2直線56を構成する複数個のドッドの間隔が段階的に広がる。例えば、情報読取装置10が左側に傾いた姿勢で把持される場合には、右側の直線56bのドッドの間隔が狭まり、左側の直線56aのドッドの間隔が広がる。文字102を斜め右及び斜め左のいずれかの方向から撮像する場合は、CPU32は、第2直線56を構成する複数個のドッドの間隔が段階的に広がる変化率を利用して、台形に歪んだ文字102の画像を補正することができる。
【0054】
(第1実施例の変形例)
文字102の台形補正は、指示マーカ50を構成する複数個のドッドの間隔が段階的に広がる変化率に代えて、上側の直線54aの長さに対する下側の直線54bの長さの比率の変化率を利用して実行されてもよい。例えば、情報読取装置10が水平の姿勢で把持される図4のケースA1では、上側の直線54aの長さに対する下側の直線54bの長さの比率は、「1」である。また、例えば、情報読取装置10が上向きの姿勢で把持される図5のケースA2では、上側の直線54aの長さが延び、下側の直線54bの長さが縮む。このため、ケースA2では、上側の直線54aの長さに対する下側の直線54bの長さの比率は、1よりも小さい値である。また、例えば、情報読取装置10が下向きの姿勢で把持される図6のケースA3では、上側の直線54aの長さが縮み、上側の直線54bの長さが延びる。このため、ケースA3では、上側の直線54aの長さに対する下側の直線54bの長さの比率は、1よりも大きい値である。このように、第1直線54が第2直線56によって分割される比率は、情報読取装置10の姿勢によって変化する。第1直線54が第2直線56によって分割される比率の変化率とイメージセンサ20の仰俯角の間には所定の相関関係が存在する。当該相関関係を利用して、台形に歪んだ文字102の画像を補正することができる。なお、本変形例では、第1直線54及び第2直線56は、間隔を有しない一本の直線であってもよい。また、指示マーカ50の元の外観において、上側の直線54aと下側の直線54bの長さは異なってもよいし、左側の直線56aと右側の直線56bの長さも異なってもよい。
【0055】
(対応関係)
情報読取装置10、イメージセンサ20、指示マーカ50が、それぞれ、「文字認識装置」、「イメージセンサ」、「指示マーカ」の一例である。光源24、変換素子26が、それぞれ、「光源」、「変換素子」の一例である。第1直線54、第2直線56が、それぞれ、「第1直線」、「第2直線」の一例である。図4のケースA1における指示マーカ50の外観が、「元の外観」の一例である。図5のケースA2において台形に変形している文字102の画像が、「特定の文字画像」の一例である。図5のケースA2においてドッドの間隔が広がっている指示マーカ50の画像が、「特定のマーカ画像」の一例である。
【0056】
イメージセンサ20から撮像画像を取得するCPU32が、「取得部」の一例である。S20の処理を実行するCPU32、S24の処理を実行するCPU32が、それぞれ、「生成部」、「処理実行部」の一例である。
【0057】
(第2実施例)
本実施例では、指示マーカ50の所定の外観が異なる点と、図3の文字認識実行処理の内容が異なる点と、を除いて、第1実施例と同様である。図7に示すように、本実施例の指示マーカ50の外観は、外側図形60と、外側図形60の内側に位置する内側図形62と、を含む。所定の外観において、外側図形60は円形である。指示マーカ50を投影する光が斜めに照射されると、外側図形60は、円形から楕円形に変形する(図8参照)。
【0058】
(文字認識実行処理;図3
本実施例では、CPU32は、S14において、マーカ画像の変形度合いを算出するとともに、マーカ画像の外観が楕円形であるのか否かを分析する。S16では、CPU32は、マーカ画像の外観が楕円形から一部で欠けている(図10参照)のか否かを判断する。CPU32は、マーカ画像の外観が楕円形から一部で欠けていると判断する場合(S16でYES)に、S26に進む。一方、CPU32は、マーカ画像の外観が楕円形であると判断する場合(S16でNO)に、S18に進む。
【0059】
(具体的なケースB1;図7
ケースB1は、情報読取装置10が水平の姿勢で把持されて、図1の段ボール100bの表面から情報が読み取られるケースである。本ケースでは、指示マーカ50の外観は所定の外観から変形しない。
【0060】
所定の外観において、外側図形60は、円形であり、外側図形60の縦幅は、外側図形60の横幅と同じである。所定の外観において、外側図形60の横幅に対する外側図形60の縦幅の比率は、「1」である。また、内側図形62は、ドッドであり、内側図形62の輝度は、外側図形60の輝度よりも高い。所定の外観において、内側図形62は、円形である外側図形60の中心に位置している。
【0061】
本ケースでは、撮像画像において文字102の画像は台形に歪んでいない。このため、CPU32は、撮像画像から文字を検出し(S10でYES)、撮像画像に対する文字認識の処理を実行する(図3のS24)。
【0062】
(具体的なケースB2;図8
ケースB2は、情報読取装置10が上向きの姿勢で把持されて、図1の高所の段ボール100aの表面から情報が読み取られるケースである。
【0063】
本ケースでは、指示マーカ50の外観は所定の外観から変形する。具体的には、外側図形60が、円形から楕円形に変形し、外側図形60の縦幅が外側図形60の横幅よりも長くなる。外側図形60の横幅に対する外側図形60の縦幅の比率が、「1」から「1」よりも大きい値に変化する。横幅に対する縦幅の比率の変化率とイメージセンサ20の仰角の間には所定の相関関係が存在する。この相関関係は、例えば、テーブルの形式でプログラム40に含まれる。
【0064】
また、指示マーカ50を投影する光が斜め下から対象物に照射される場合には、内側図形62は、外側図形60の中心から下側へ移動する。内側図形62が中心から移動した方向を分析することにより、イメージセンサ20が上向きであるのか下向きであるのかを判断することができる。例えば、プログラム40には、仰角に対応するテーブルと、俯角に対応するテーブルと、が記憶される。CPU32は、内側図形62が外側図形60の中心から下側へ移動していると分析する場合に、仰角に対応するテーブルを利用する。一方、CPU32は、内側図形62が外側図形60の中心から上側へ移動していると分析する場合に、俯角に対応するテーブルを利用する。
【0065】
本ケースでは、CPU32は、変形後のマーカ画像の外観が楕円系であり、内側図形62が外側図形60の中心から下側へ移動していると分析する(S14)。CPU32は、横幅に対する縦幅の比率を算出する(S14)。CPU32は、マーカ画像の外観が楕円形であると判断し(S16でNO)、仰角に対応するテーブルから当該比率の変化率に対応する仰角を取得する(S18)。CPU32は、取得済みの仰角を利用して、撮像画像に対する台形補正を実行し(S20)、補正後の画像に対する文字認識の処理を実行する(S24)。
【0066】
(具体的なケースB3;図9
ケースB3は、情報読取装置10が下向きの姿勢で把持されて、図1の低所の段ボール100cの表面から情報が読み取られるケースである。
【0067】
本ケースは、内側図形62が外側図形60の中心から上側へ移動する点を除いて、ケースB2と同様である。本ケースでは、CPU32は、俯角に対応するテーブルから、S14で算出した比率の変化率に対応する俯角を取得する(S18)。CPU32は、取得済みの俯角を利用して、撮像画像に対する台形補正を実行し(S20)、補正後の画像に対する文字認識の処理を実行する(S24)。
【0068】
(具体的なケースB4;図10
本ケースは、指示マーカ50の外側図形60の下側が欠けている点を除いて、ケースB3と同様である。図10に示すように、指示マーカ50が段ボール100cの下端に近い場合には、外側図形60の下側が欠ける。外側図形60の下側が欠けると横幅に対する縦幅の比率を正確に算出することができない。本ケースでは、CPU32は、マーカ画像の外観が一部で欠けていると判断し(S16でYES)、マーカ画像が欠けているエラーをユーザに報知する(S26)。これにより、ユーザは、情報読取装置10の姿勢を調整して、情報読取装置10に文字認識実行処理を再び実行させることができる。
【0069】
(本実施例の効果)
図8及び図9のケースB2及びB3に示すように、外側図形60の横幅に対する外側図形60の縦幅の比率の変化率を利用して、台形に歪んだ文字102の画像を補正することができる。
【0070】
(対応関係)
外側図形60、内側図形62が、それぞれ、「平面図形」、「内側図形」の一例である。円形の中心が、「所定の場所」の一例である。
【0071】
(第3実施例)
(指示マーカ50の外観;図11
本実施例は、指示マーカ50の所定の外観が異なる点を除いて、第2実施例と同様である。図11に示すように、本実施例の指示マーカ50の外観は、4個の角図形70a~70dと、中心図形72と、を含む。4個の角図形70a~70dは、枠の4隅の角に対応する。4個の角図形70a~70dのそれぞれは、2本の直線で構成されており、所定の外観では、当該2本の直線は直交する。中心図形72は、十字型の図形であり、4個の角図形70a~70dによって構成される枠の中心に位置している。なお、変形例では、中心図形72の外観は、十字型に限らず、例えば、円形、多角形等であってもよい。また、他の変形例では、指示マーカ50の所定の外観は、中心図形72を含まなくてもよい。
【0072】
(具体的なケースC1;図11
ケースC1は、情報読取装置10が水平の姿勢で把持されて、図1の段ボール100bの表面から情報が読み取られるケースである。本ケースでは、指示マーカ50の外観は所定の外観から変形しない。
【0073】
所定の外観において、4個の角図形70a~70dの全てについて、当該角図形70a~70dを構成する2本の直線は直交する。本ケースでは、撮像画像において文字102の画像は台形に歪んでいない。このため、CPU32は、撮像画像から文字を検出し(S10でYES)、撮像画像に対する文字認識の処理を実行する(図3のS24)。
【0074】
(具体的なケースC2;図12
ケースC2は、情報読取装置10が上向きの姿勢で把持されて、図1の高所の段ボール100aの表面から情報が読み取られるケースである。
【0075】
本ケースでは、指示マーカ50の外観は所定の外観から変形する。上側の角図形70a及び70bにおいて、2本の直線の間の角度が直角から鋭角へ変化する。直角から鋭角へ変化する変化率とイメージセンサ20の仰角の間には所定の相関関係が存在する。この相関関係は、例えば、テーブルの形式でプログラム40に含まれる。
【0076】
本ケースでは、CPU32は、変形後のマーカ画像において、上側の角図形70a及び70bの2本の直線の間の角度が鋭角であると分析する(S14)。CPU32は、直角から鋭角への変化率を算出する(S14)。CPU32は、マーカ画像の外観において、上側の角図形70a及び70bのいずれも欠けていないと判断し(S16でNO)、テーブルから変化率に対応する仰角を取得する(S18)。CPU32は、取得済みの仰角を利用して、撮像画像に対する台形補正を実行し(S20)、補正後の画像に対する文字認識の処理を実行する(S24)。
【0077】
また、本ケースでは、下側の角図形70c及び70dにおいて、2本の直線の間の角度が直角から鈍角へ変化する。変形例では、プログラム40は、さらに、下側の角図形70c及び70dにおいて直角から鈍角へ変化する変化率とイメージセンサ20の仰角の間の所定の相関関係を示すテーブルを含んでもよい。本変形例では、例えば、上側の角図形70a及び70bが段ボール100aの外側に投影される場合であっても、下側の角図形70c及び70dにおけるテーブルからイメージセンサ20の仰角を求めることができる。なお、他の変形例では、プログラム40は、上側の角図形70a及び70bにおける仰角のテーブルを含まず、下側の角図形70c及び70dおける仰角のテーブルを含んでいてもよい。
【0078】
(具体的なケースC3;図13
ケースC3は、情報読取装置10が下向きの姿勢で把持されて、図1の低所の段ボール100cの表面から情報が読み取られるケースである。
【0079】
本ケースでは、上側の角図形70a及び70bにおいて、2本の直線の間の角度が直角から鈍角へ変化する。直角から鈍角へ変化する変化率とイメージセンサ20の俯角の間には所定の相関関係が存在する。この相関関係は、例えば、テーブルの形式でプログラム40に含まれる。
【0080】
本ケースでは、CPU32は、変形後のマーカ画像において、上側の角図形70a及び70bの2本の直線の間の角度が鈍角であると分析する(S14)。CPU32は、直角から鈍角への変化率を算出する(S14)。CPU32は、テーブルから変化率に対応する俯角を取得する(S18)。CPU32は、取得済みの俯角を利用して、撮像画像に対する台形補正を実行し(S20)、補正後の画像に対する文字認識の処理を実行する(S24)。
【0081】
また、本ケースでは、下側の角図形70c及び70dにおいて、2本の直線の間の角度が直角から鋭角へ変化する。変形例では、プログラム40は、さらに、下側の角図形70c及び70dにおいて直角から鋭角へ変化する変化率とイメージセンサ20の俯角の間の所定の相関関係を示すテーブルを含んでもよい。なお、他の変形例では、プログラム40は、上側の角図形70a及び70bにおける俯角のテーブルを含まず、下側の角図形70c及び70dおける俯角のテーブルを含んでいてもよい。
【0082】
(本実施例の効果)
図12及び図13のケースC2及びC3に示すように、角図形70a及び70bの角度の変化率を利用して、台形に歪んだ文字102の画像を補正することができる。
【0083】
(対応関係)
角図形70a~70dのそれぞれが、「屈曲図形」の一例である。角図形70aの2本の直線が、「第3直線」及び「第4直線」の一例である。
【0084】
(第4実施例)
(曲面に表示される文字に対する文字認識;図14
文字102を曲面200(例えば、湾曲した壁、ビン等)に表示することが想定される。この場合、文字102の外観は、曲面200の影響を受けて、本来の文字の外観から歪み、当該文字の撮像画像も、同様に、本来の文字の外観から歪む。文字102が曲面200に表示される場合でも、文字認識を正確に実行できない可能性がある。本実施例では、情報読取装置10は、第1実施例と同様の十字型の指示マーカ50を利用して、曲面200に表示される文字の撮像画像を補正する。指示マーカ50は、第1直線54と第2直線56を含み、各直線54及び56は、複数個のドッドを等間隔で直線上に並べて構成される。
【0085】
発明者は、等間隔に並ぶ複数個のドッドで構成された指示マーカ50が曲面200に投影されると、複数個のドッドの間隔が等間隔から他の間隔へ変化することを発見した。例えば、第2直線56が曲面200のカーブに沿って投影されると、複数個のドッドの間隔は、第2直線56の中心(第1直線54と第2直線56が交差する箇所)よりも第2直線56の端部が広い他の間隔へ変化する。指示マーカ50の直線54及び56の少なくとも一方において、複数個のドッドが等間隔から他の間隔へ変化しているか否かを判断することにより、文字102を表示する媒体が曲面200を有するのか否かを判断することができる。
【0086】
(文字認識実行処理;図15
S102、S104は、図3のS12、S14と同様である。S110では、CPU32は、マーカ画像の外観を分析し、指示マーカ50が投影された表面が曲面200であるのか否かを判断する。具体的には、CPU32は、S102で抽出されたマーカ画像において、直線54及び56の少なくとも一方の複数個のドッドの間隔が等間隔でない他の間隔であるか否かを判断する。CPU32は、マーカ画像において、直線54及び56の少なくとも一方の複数個のドッドの間隔が他の間隔である場合に、指示マーカ50が投影された表面が曲面200であると判断して(S110でYES)、S112以降の処理に進む。
【0087】
S112では、CPU32は、第1直線54のうちの上側の直線54aのドッドの間隔が、第1直線54のうちの下側の直線54bのドッドの間隔と異なるのか否かを判断する。CPU32は、上側の直線54aのドッドの間隔が、下側の直線54bのドッドの間隔と異なると判断する場合(S112でYES)に、S114に進む。S114は、図3のS18と同様であり、CPU32は、第1実施例と同様に、イメージセンサ20の仰俯角を取得する。S114が終了すると、CPU32は、S120に進む。
【0088】
また、CPU32は、上側の直線54aのドッドの間隔が、下側の直線54bのドッドの間隔と同じであると判断する場合(S112でYES)に、S114をスキップして、S120に進む。
【0089】
S120では、CPU32は、曲面200に表示された文字を補正する所定のアルゴリズムを利用して、撮影画像を補正する。所定のアルゴリズムは、例えば、魚眼レンズ等の広角レンズを利用して撮像された画像を歪みの無い画像へ補正する既存のアルゴリズムである。本実施例では、所定のアルゴリズムを利用した補正の結果は、中心のドッドの間隔に対する端部のドッドの間隔の変化率に関わらず同じである。なお、変形例では、所定のアルゴリズムでは、中心のドッドの間隔に対する端部のドッドの間隔の変化率を利用した補正の調整が実行されてもよい。補正の調整は、例えば、所定のアルゴリズム内の所定の係数の補正であり、例えば、上記の変化率と上記の係数との間に所定の相関関係が存在してもよい。
【0090】
S120の処理により、曲面200に起因する歪みが補正される。さらに、S120では、S114で仰俯角が取得される場合に、CPU32は、当該仰俯角を利用して、所定のアルゴリズムで補正された撮影画像に対する台形補正を実行する。ここで、台形補正の方法は、図3のS18と同様である。
【0091】
S122、S124、S126は、図3のS22、S24、S26と同様である。CPU32は、S124又はS126の処理が終了すると、S128に進む。S128では、CPU32は、S120の補正が所定回数(例えば3回)に亘って実行されたのか否かを判断する。CPU32は、S120の補正が所定回数に亘って実行されていないと判断する場合(S128でNO)に、S102に戻る。一方、CPU32は、S120の補正が所定回数に亘って実行されたと判断する場合(S128でYES)に、図15の処理を終了する。即ち、図15の処理では、複数個の撮像画像のそれぞれから、補正後の画像が生成される(S120)。そして、複数個の補正後の画像のそれぞれに対して、文字認識の処理が実行される(S124)。これにより、文字認識の処理の結果が複数個得られ、ユーザは、複数個の結果の中から、ユーザが望む結果を選択することができる。
【0092】
また、CPU32は、マーカ画像において、直線54及び56の複数個のドッドの間隔が等間隔である場合に、指示マーカ50が投影された表面が曲面200でないと判断して(S110でNO)、S112~122の処理をスキップして、S124に進む。即ち、指示マーカ50が投影された表面が曲面200でない場合には、S120における補正が実行されず、撮影画像に対する文字認識の処理が実行される。
【0093】
(具体的なケースD1;図14
ケースD1は、曲面200上の文字102を正面から撮像するケースである。本ケースでは、第2直線56の左側の直線56aのドッドの間隔が、中央よりも左端で広く、第2直線56の右側の直線56bのドッドの間隔が、中央よりも右側で広い。また、第1直線54の上側の直線54aのドッドの間隔は、直線54の下側の直線54bのドッドの間隔と同じである。
【0094】
本ケースでは、情報読取装置10は、指示マーカ50が投影された表面が曲面200であり、かつ、上側の直線54aのドッドの間隔が、下側の直線54bのドッドの間隔と同じである判断する(図15のS110でYES、S112でNO)。情報読取装置10は、所定のアルゴリズムを利用した補正を実行するものの、台形補正を実行しない(S120)。即ち、文字102が曲面200に表示されていることに起因して変形している撮像画像内の文字の画像の外観を本来の文字の外観に近づけるように補正することができる。
【0095】
(具体的なケースD2;図16
ケースD2は、情報読取装置10を上向きの姿勢で把持して、曲面200上の文字102を撮像するケースである。本ケースでは、第2直線56のドッドが図14のケースD1と同様に変化し、さらに、第1直線54の上側の直線54aのドッドの間隔が、直線54の下側の直線54bのドッドの間隔よりも広い。
【0096】
本ケースでは、情報読取装置10は、指示マーカ50が投影された表面が曲面200であり、かつ、上側の直線54aのドッドの間隔が、下側の直線54bのドッドの間隔と異なると判断する(図15のS110でYES、S112でYES)。情報読取装置10は、第1実施例の同様の方法により、イメージセンサ20の仰角を取得する(S114)。そして、情報読取装置10は、所定のアルゴリズムを利用した補正に加えて、S114で取得した仰角を利用した台形補正を実行する(S120)。即ち、文字102が曲面200に表示されていることと文字102が斜めから撮像されることとの双方に起因して変形している撮像画像内の文字の画像の外観を本来の文字の外観に近づけるように補正することができる。
【0097】
(具体的なケースD3;図17
ケースD3は、情報読取装置10を下向きの姿勢で把持して、曲面200上の文字102を撮像するケースである。本ケースでは、第2直線56のドッドが図14のケースD1と同様に変化し、さらに、第1直線54の下側の直線54bのドッドの間隔が、直線54の上側の直線54aのドッドの間隔よりも広い。
【0098】
本ケースでは、情報読取装置10は、図15のS110でYES、S112でYESと判断し、S114において、イメージセンサ20の俯角を取得する(S114)。そして、情報読取装置10は、所定のアルゴリズムを利用した補正に加えて、S114で取得した俯角を利用した台形補正を実行する(S120)。本ケースでも、ケースD2と同様に、像画像内の文字の画像の外観を本来の文字の外観に近づけるように補正することができる。
【0099】
(具体的なケースD4;図17
ケースD4では、曲面200が球体の曲面である。本ケースでは、第2直線56のドッドが図14のケースD1と同様に変化し、さらに、第1直線54の上側の直線54aのドッドの間隔が、中央よりも上端で広く、第1直線54の下側の直線54bのドッドの間隔が、中央よりも右側で広い。
【0100】
本ケースでも、情報読取装置10は、図14のケースD1と同様に、所定のアルゴリズムを利用した補正を実行するものの、台形補正を実行しない。球体上の曲面200に起因して変形している文字の画像の補正でも、上記の所定のアルゴリズムが利用される。即ち、文字102が球体上の曲面200に表示されていることに起因して変形している撮像画像内の文字の画像の外観を本来の文字の外観に近づけるように補正することができる。
【0101】
(対応関係)
図14図16図18における第2直線56が、「第5直線」の一例である。図16及び図17における第1直線54が、「第6直線」の一例である。
【0102】
以上、本明細書で開示する技術の具体例を説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。
【0103】
(変形例1) 「文字認識装置」は、情報コードのデコードと文字認識の処理との双方を実行可能な多機能の情報読取装置10に限らず、例えば、文字認識の処理のみを実行可能な装置であってもよい。
【0104】
(変形例2) 第1実施例において、指示マーカ50は、第1直線54及び第2直線56の一方を含み、第1直線54及び第2直線56の他方を含まなくてもよい。例えば、上向きの姿勢で文字102を撮像する場合には、第1直線54を含み、第2直線56を含まない指示マーカ50が利用され、第1直線54のドッドの間隔の変化率を利用して、文字の画像を補正してもよい。
【0105】
(変形例3) 第2実施例において、外側図形60の所定の外観は、円形以外の他の図形、例えば、多角形、楕円形、長円であってもよい。別言すれば、「特定の比率」は、「1」以外の値であってもよい。また、第2実施例において、内側図形62の所定の外観は、ドッド以外の他の図形、例えば、多角形、楕円形、長円であってもよい。
【0106】
(変形例4) 第2実施例において、指示マーカ50は、外側図形60を含み、内側図形62を含まなくてもよい。本変形例では、情報読取装置10の姿勢の向きは、例えば、仰俯角を測定するセンサを利用して判断してもよい。
【0107】
(変形例5) 第2実施例において、指示マーカ50の所定の外観において、内側図形62は、外側図形60の内側において、中心とは異なる位置に配置されていてもよい。これは、情報読取装置10の姿勢の向きは、内側図形62が所定の外観における位置から移動した方向によって判断できるからである。本変形例では、中心とは異なる位置が、「所定の位置」の一例である。
【0108】
(変形例6) 第3実施例において、指示マーカ50の所定の外観は、4個の角図形70a~70dのうちの少なくとも1個を含めばよい。また、所定の外観において、4個の角図形70a~70dのうちの少なくとも1個における2本の直線の間の角度は、所定の鋭角又は所定の鈍角であってもよい。仰俯角との相関関係は、所定の外観における2本の直線の間の角度が所定の鋭角又は所定の鈍角から変化した変化率に依拠しているからである。
【0109】
(変形例7) 第2及び第3実施例において、図3のS16及びS26の処理は実行されなくてもよい。本変形例では、「報知部」を省略可能である。
【0110】
(変形例8) 図15のS112及びS114の処理は実行されなくてもよい。本変形例では、指示マーカ50は、第2直線56を含み、第1直線54を含まなくてもよい。本変形例では、「第6直線」を省略可能である。
【0111】
(変形例9) 図15のS128の処理は実行されなくてもよい。本変形例では、「複数個の前記補正後の画像のそれぞれに対して、前記文字認識の処理を試行する」ことを省略可能である。
【0112】
本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【符号の説明】
【0113】
10 :情報読取装置
12 :操作部
14 :表示部
20 :イメージセンサ
22 :マーカ投影部
24 :光源
26 :変換素子
30 :制御部
32 :CPU
34 :メモリ
40 :プログラム
50 :指示マーカ
54 :第1直線
54a、54b :直線
56 :第2直線
56a、56b :直線
60 :外側図形
62 :内側図形
70a~70d:角図形
72 :中心図形
100a~100c :段ボール
102 :文字
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18