知財求人 - 知財ポータルサイト「IP Force」
特開2024-578画像補正装置、文字認識装置、画像補正方法、文字認識方法、プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024000578
(43)【公開日】2024-01-09
(54)【発明の名称】画像補正装置、文字認識装置、画像補正方法、文字認識方法、プログラム及び記録媒体
(51)【国際特許分類】
G06V 30/16 20220101AFI20231226BHJP
G06T 3/608 20240101ALI20231226BHJP
【ＦＩ】
G06V30/16
G06T3/60 715
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022099314
(22)【出願日】2022-06-21
(71)【出願人】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(72)【発明者】
【氏名】堀場 裕司
(72)【発明者】
【氏名】近藤 昌紀
【テーマコード（参考）】
5B029
5B057
【Ｆターム（参考）】
5B029AA05
5B029BB02
5B029CC27
5B029EE04
5B029EE05
5B057AA02
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD03
5B057CD12
5B057CE09
5B057DA08
5B057DB02
5B057DB09
5B057DC30
(57)【要約】 （修正有）
【課題】容易に正対化画像を生成できる画像補正装置、文字認識装置、画像補正方法、文字認識方法、プログラム及び記録媒体を提供する。
【解決手段】画像補正装置１において、画像取得部は、対象物を含む補正対象画像を取得する。端末情報取得部は、補正対象画像取得時の撮像端末の姿勢の情報である端末姿勢情報を取得し、距離情報取得部は、撮像端末から前記対象物までの距離の情報である対象物距離情報を取得する。基準姿勢情報取得部は補正対象画像取得時の対象物の姿勢である情報基準姿勢情報を取得する。基準面設定部は、端末姿勢情報、対象物距離情報及び基準姿勢情報に基づいて、正対化基準面を設定する。画像補正部は、端末姿勢情報及び基準姿勢情報に基づいて、補正対象画像を正対化基準面から垂直方向から見た正対化画像に補正する。
【選択図】図１
【解決手段】画像補正装置１において、画像取得部は、対象物を含む補正対象画像を取得する。端末情報取得部は、補正対象画像取得時の撮像端末の姿勢の情報である端末姿勢情報を取得し、距離情報取得部は、撮像端末から前記対象物までの距離の情報である対象物距離情報を取得する。基準姿勢情報取得部は補正対象画像取得時の対象物の姿勢である情報基準姿勢情報を取得する。基準面設定部は、端末姿勢情報、対象物距離情報及び基準姿勢情報に基づいて、正対化基準面を設定する。画像補正部は、端末姿勢情報及び基準姿勢情報に基づいて、補正対象画像を正対化基準面から垂直方向から見た正対化画像に補正する。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像取得部、端末情報取得部、距離情報取得部、基準姿勢情報取得部、基準面設定部、および画像補正部を含み、
前記画像取得部は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得部は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得部は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得部は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定部は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正部は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する、
画像補正装置。
前記画像取得部は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得部は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得部は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得部は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定部は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正部は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する、
画像補正装置。
【請求項2】
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、請求項１記載の画像補正装置。
【請求項3】
前記画像取得部は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正部は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、請求項１または２記載の画像補正装置。
前記画像補正部は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、請求項１または２記載の画像補正装置。
【請求項4】
前記画像補正部は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
請求項３記載の画像補正装置。
請求項３記載の画像補正装置。
【請求項5】
前記画像補正部は、前記撮影プレビュー画像から文字を含む領域を前記所定の範囲としてトリミングする、請求項４記載の画像補正装置。
【請求項6】
画像補正部、文字候補選定部、および文字認識部を含み、
前記画像補正部は、請求項１または２記載の画像補正装置であり、
前記文字候補選定部は、前記画像補正部により補正された画像から文字候補領域を選定し、
前記文字認識部は、前記画像補正部により補正された画像から文字認識を行う、文字認識装置。
前記画像補正部は、請求項１または２記載の画像補正装置であり、
前記文字候補選定部は、前記画像補正部により補正された画像から文字候補領域を選定し、
前記文字認識部は、前記画像補正部により補正された画像から文字認識を行う、文字認識装置。
【請求項7】
画像取得工程、端末情報取得工程、距離情報取得工程、基準姿勢情報取得工程、基準面設定工程、および画像補正工程を含み、
前記画像取得工程は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得工程は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得工程は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得工程は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定工程は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正工程は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する、
画像補正方法。
前記画像取得工程は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得工程は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得工程は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得工程は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定工程は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正工程は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する、
画像補正方法。
【請求項8】
画像補正工程、文字候補選定工程、および文字認識工程を含み、
前記画像補正工程は、請求項７記載の画像補正方法であり、
前記文字候補選定工程は、前記画像補正工程により補正された画像から文字候補領域を選定し、
前記文字認識工程は、前記画像補正工程により補正された画像から文字認識を行う、文字認識方法。
前記画像補正工程は、請求項７記載の画像補正方法であり、
前記文字候補選定工程は、前記画像補正工程により補正された画像から文字候補領域を選定し、
前記文字認識工程は、前記画像補正工程により補正された画像から文字認識を行う、文字認識方法。
【請求項9】
画像取得手順、端末情報取得手順、距離情報取得手順、基準姿勢情報取得手順、基準面設定手順、および画像補正手順を含み、
前記画像取得手順は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記各手順を、コンピュータに実行させるためのプログラム。
前記画像取得手順は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記各手順を、コンピュータに実行させるためのプログラム。
【請求項10】
画像補正手順、文字候補選定手順、および文字認識手順を含み、
前記画像補正手順は、請求項９記載のプログラムにより実行され、
前記文字候補選定手順は、前記画像補正手順により補正された画像から文字候補領域を選定し、
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行い、
前記各手順を、コンピュータに実行させるためのプログラム。
前記画像補正手順は、請求項９記載のプログラムにより実行され、
前記文字候補選定手順は、前記画像補正手順により補正された画像から文字候補領域を選定し、
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行い、
前記各手順を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像補正装置、文字認識装置、画像補正方法、文字認識方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
生産ラインを流れる製品について、誤出荷、取り違えなどを防止するために製品を個別に管理する必要がある。この際、バーコードやRFID等のタグを取り付けて管理されることが一般的に行われている。他方、鉄鋼製品等、製品加工時の環境が過酷な製品では、タグの耐久性が足りず、取り付けることができない。この場合、製品に直接文字を印字（例えば、刻印印字、スタンプ印字、ステンシル吹き付け等）して管理が行われている（例えば、特許文献１等）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１６４９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような状況において、画像認識により製品の識別情報を取得するため、製品の画像を撮像するが、刻印等は照明の都合上写真に写りづらい。また、製品を常に正面から撮像できるとは限らない。そして、斜め画像の場合、画像認識を用いて文字認識等を行う際の精度が下がるという課題がある。この点は、刻印等によって物品を管理している様々な分野において同様である。このため、容易に画像を正対化する手法が求められている。
【0005】
そこで本発明は、容易に正対化画像を生成できる画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の画像補正装置は、
画像取得部、端末情報取得部、距離情報取得部、基準姿勢情報取得部、基準面設定部、および画像補正部を含み、
前記画像取得部は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得部は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得部は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得部は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定部は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正部は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する。
画像取得部、端末情報取得部、距離情報取得部、基準姿勢情報取得部、基準面設定部、および画像補正部を含み、
前記画像取得部は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得部は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得部は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得部は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定部は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正部は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する。
【0007】
前記目的を達成するために、本発明の文字認識装置は、
画像補正部、文字候補選定部、および文字認識部を含み、
前記画像補正部は、前記本発明の画像補正装置であり、
前記文字候補選定部は、前記画像補正部により補正された画像から文字候補領域を選定し、
前記文字認識部は、前記画像補正手順により補正された画像から文字認識を行う。
画像補正部、文字候補選定部、および文字認識部を含み、
前記画像補正部は、前記本発明の画像補正装置であり、
前記文字候補選定部は、前記画像補正部により補正された画像から文字候補領域を選定し、
前記文字認識部は、前記画像補正手順により補正された画像から文字認識を行う。
【0008】
本発明の画像補正方法は、
画像取得工程、端末情報取得工程、距離情報取得工程、基準姿勢情報取得工程、基準面設定工程、および画像補正工程を含み、
前記画像取得工程は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得工程は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得工程は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得工程は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定工程は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正工程は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する。
画像取得工程、端末情報取得工程、距離情報取得工程、基準姿勢情報取得工程、基準面設定工程、および画像補正工程を含み、
前記画像取得工程は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得工程は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得工程は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得工程は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定工程は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正工程は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する。
【0009】
前記目的を達成するために、本発明の文字認識方法は、
画像補正工程、文字候補選定工程、および文字認識工程を含み、
前記画像補正工程は、前記本発明の画像補正方法であり、
前記文字候補選定工程は、前記画像補正工程により補正された画像から文字候補領域を選定し、
前記文字認識工程は、前記画像補正手順により補正された画像から文字認識を行う。
画像補正工程、文字候補選定工程、および文字認識工程を含み、
前記画像補正工程は、前記本発明の画像補正方法であり、
前記文字候補選定工程は、前記画像補正工程により補正された画像から文字候補領域を選定し、
前記文字認識工程は、前記画像補正手順により補正された画像から文字認識を行う。
【0010】
本発明の第１のプログラムは、画像取得手順、端末情報取得手順、距離情報取得手順、基準姿勢情報取得手順、基準面設定手順、および画像補正手順を含み、
前記画像取得手順は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記各手順を、コンピュータに実行させるためのプログラムである。
前記画像取得手順は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記各手順を、コンピュータに実行させるためのプログラムである。
【0011】
本発明の第２のプログラムは、
画像補正手順、文字候補選定手順、および文字認識手順を含み、
前記画像補正手順は、前記第１のプログラムにより実行され、
前記文字候補選定手順は、前記画像補正手順により補正された画像から文字候補領域を選定し、
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行い、前記各手順を、コンピュータに実行させるためのプログラムである。
画像補正手順、文字候補選定手順、および文字認識手順を含み、
前記画像補正手順は、前記第１のプログラムにより実行され、
前記文字候補選定手順は、前記画像補正手順により補正された画像から文字候補領域を選定し、
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行い、前記各手順を、コンピュータに実行させるためのプログラムである。
【発明の効果】
【0012】
本発明によれば、容易に正対化画像を生成できる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0015】
［実施形態１］
本実施形態の画像補正装置について、図１を用いて説明する。図１は、本実施形態の画像補正装置１０の一例の構成を示すブロック図である。図１に示すように、画像補正装置１（以下、「本装置１」ともいう）は、画像取得部２、端末情報取得部３、距離情報取得部４、基準姿勢情報取得部５、基準面設定部６、画像補正部７を含む。また、図示していないが、本装置１は、例えば、記憶部を含んでもよい。
本実施形態の画像補正装置について、図１を用いて説明する。図１は、本実施形態の画像補正装置１０の一例の構成を示すブロック図である。図１に示すように、画像補正装置１（以下、「本装置１」ともいう）は、画像取得部２、端末情報取得部３、距離情報取得部４、基準姿勢情報取得部５、基準面設定部６、画像補正部７を含む。また、図示していないが、本装置１は、例えば、記憶部を含んでもよい。
【0016】
本装置１は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。本装置１は、対象物を撮像可能な撮像端末（例えば、カメラ付きのスマートフォン、タブレット端末等）であってもよいし、前記撮像端末と通信可能な装置であってもよい。さらに、本装置１は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0017】
図２に、本装置１０のハードウェア構成のブロック図を例示する。本装置１０は、例えば、ＣＰＵ１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、出力装置１０６、通信デバイス（通信部）１０７等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。
【0018】
ＣＰＵ１０１は、例えば、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、本装置１の全体の制御を担う。本装置１において、ＣＰＵ１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、ＣＰＵ１０１が、画像取得部２、端末情報取得部３、距離情報取得部４、基準姿勢情報取得部５、基準面設定部６、画像補正部７として機能する。本装置１は、演算装置として、ＣＰＵを備えるが、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、ＣＰＵとこれらとの組合せを備えてもよい。
【0019】
バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンタ、外部入力装置、外部表示装置、スピーカ等の音声出力装置、カメラ等の外部撮像装置、および加速度センサ、地磁気センサ、方向センサ等の各種センサ等があげられる。本装置１は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、ユーザの端末等の他の装置と接続することもできる。
【0020】
メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。ＣＰＵ１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。
【0021】
記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。本装置１が、例えば、前記記憶部を含む場合、記憶装置１０４が前記記憶部として機能する。記憶装置１０４は、例えば、後述する補正対象画像、基準姿勢情報、対象物距離情報、正対化基準面、および正対化画像の少なくとも一つを記憶していてもよい。
【0022】
本装置１において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１によって生成した情報、本装置１が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0023】
本装置１０は、例えば、さらに、入力装置１０５、出力装置１０６を備える。入力装置１０５は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。出力装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等の表示装置；スピーカ等の音声出力装置；プリンタ；等があげられる。本実施形態１において、入力装置１０５と出力装置１０６とは、別個に構成されているが、入力装置１０５と出力装置１０６とは、タッチパネルディスプレイのように、一体として構成されてもよい。
【0024】
つぎに、本実施形態の画像補正方法の一例を、図３のフローチャートに基づき説明する。本実施形態の画像補正方法は、例えば、図１から図２に示す画像補正装置１を用いて、次のように実施する。なお、本実施形態の画像補正方法は、図１から図２の画像補正装置１の使用には限定されない。
【0025】
まず、画像補正装置１の画像取得部２は、補正対象画像を取得する（Ｓ１、画像取得工程）。前記補正対象画像は、例えば、対象物を含む画像である。画像取得部２は、本装置１が備えるカメラ等の撮像装置により、前記補正対象画像を取得してもよいし、通信回線網を介して本装置外部の撮像装置から前記補正対象画像を取得してもよい。前記補正対象画像は、例えば、動画でもよいし静止画でもよく、また、撮像済みの画像でもよいし、撮像プレビュー画像でもよい。前記補正対象画像が撮像プレビュー画像である場合、画像取得部２は、例えば、前記撮像プレビュー画像をリアルタイムに取得する。画像取得部２は、例えば、取得した前記補正対象画像を記憶装置１０４またはメモリ１０２に記憶してもよい。
【0026】
つぎに、端末情報取得部３は、端末姿勢情報を取得する（Ｓ２、端末情報取得工程）。前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、例えば、撮像端末が備えるジャイロセンサ、加速度センサ、地磁気センサ、距離センサ（例えば、3D-Lidar等の光学センサ、ミリ波センサ、超音波センサ等）等から推定できる。また、前記端末姿勢情報は、例えば、補正対象画像取得時の撮像端末を外部から撮像し、前記撮像した画像から前記撮像端末の姿勢を推定した情報でもよい。前記端末姿勢情報は、例えば、ジャイロセンサの情報を含むことが好ましい。前記姿勢情報は、例えば、Ｘ軸（例えば、Ｒｏｌｌ軸ともいう）、Ｙ軸（例えば、Ｐｉｔｃｈ軸ともいう）およびＺ軸（例えば、Ｙａｗ軸ともいう）の３軸における撮像端末の姿勢座標系の情報である。端末情報取得部３は、例えば、取得した前記端末姿勢情報を記憶装置１０４またはメモリ１０２に記憶してもよい。
【0027】
前記端末姿勢情報は、例えば、その他の情報を含んでもよい。前記その他の情報は、例えば、撮影場所の情報、撮影日時情報、ユーザの識別情報（氏名、ＩＤ、端末識別情報等）を含んでもよい。
【0028】
つぎに、距離情報取得部４は、対象物距離情報を取得する（Ｓ３、距離情報取得工程）。前記対象物距離情報は、例えば、予め規定された所定の距離（例えば、暫定撮影距離ともいう）でもよいし、撮像端末が備える距離センサ（例えば、3D-Lidar等の光学センサ、ミリ波センサ、超音波センサ等）により、撮像端末から対象物までの距離を測定した距離でもよいし、前記補正対象画像に含まれる対象物の大きさから推定した距離でもよい。前記対象物の大きさからの距離の推定は、例えば、実際の距離と、画像中における画素数とを対応づけた距離変換情報を利用することで、前記対象物が存在する距離を算出できる。前記距離変換情報は、例えば、前記記憶部に記憶されていてもよいし、外部のデータベースに記憶されていてもよい。
【0029】
つぎに、基準姿勢情報取得部５は、基準姿勢情報を取得する（Ｓ４、基準姿勢情報取得工程）。前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、例えば、予め設定された所定の値でもよいし、対象物が備えるジャイロセンサ、加速度センサ、地磁気センサ等から推定した情報でもよい。また、前記基準姿勢情報は、例えば、補正対象画像取得時の対象物を外部から撮像し、前記撮像した画像から前記対象物の姿勢を推定した情報でもよい。前記画像は、例えば、前記撮像端末により撮像された前記補正対象画像でもよいし、それ以外の装置が撮像した画像でもよい。前記基準姿勢情報は、例えば、Ｘ軸（例えば、Ｒｏｌｌ軸ともいう）、Ｙ軸（例えば、Ｐｉｔｃｈ軸ともいう）およびＺ軸（例えば、Ｙａｗ軸ともいう）の３軸における対象物の姿勢座標系の情報である。基準姿勢情報取得部５は、例えば、取得した前記基準姿勢情報を記憶装置１０４またはメモリ１０２に記憶してもよい。
【0030】
つぎに、基準面設定部６は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定する（Ｓ５、基準面設定工程）。前記正対化基準面は、例えば、前記対象物における任意の平面があげられる。前記対象物が、例えば、生産ラインにおける鋼板である場合、前記正対化基準面は、例えば、前記鋼板において識別番号等が印字された面があげられる。
【0031】
そして、画像補正部７は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する（Ｓ６、画像補正工程）。画像補正部７は、例えば、前記補正対象画像における任意に指定した４点の座標について、前記端末姿勢情報および前記基準姿勢情報に基づいて、対象物を前記正対化基準面の垂直方向から見た際に対応する４点の座標を推定し、射影変換により補正対象画像を正対化画像に補正する。前記４点の座標は、特に制限されず、例えば、補正対象画像における任意の座標が指定できるが、例えば、補正対象画像に含まれる対象物の特徴点の周辺領域の座標であることが好ましい。前記特徴点は、例えば、対象物の識別情報（例えば、刻印、ステンシル印字、スタンプ印字等がされた製品管理番号等）があげられる。また、画像補正部７は、例えば、前記補正対象画像が撮影プレビュー画像である場合、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する。また、画像補正部７は、例えば、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正してもよい。前記所定の範囲は、例えば、前記撮影プレビュー画像における文字を含む領域があげられる。この場合、画像補正部７は、例えば、公知の文字認識技術を用いて前記撮影プレビュー画像から文字候補領域を抽出し、前記文字候補領域を基準とした矩形範囲をトリミングし、トリミング後の画像を正対化画像に補正できる。なお、文字候補領域の抽出において、例えば、本装置１により生成された正対化画像を用いた機械学習により作成した学習済みモデルを用いて、前記プレビュー画像から文字候補領域を抽出してもよい。
【0032】
図４を用いて、本装置１による画像補正の具体例を説明する。以下の説明において、画像補正装置１は、カメラ機能付きタブレット端末であり、前記タブレット端末を用いて、生産ラインにある鉄鋼製品の画像を撮像する場合を例に挙げて説明するが、本発明は以下の例示に何ら制限されない。
【0033】
まず、図４（Ａ）に示すように、本装置１であるタブレット端末１のカメラ機能により、対象物３０を捉え、補正対象画像として、カメラのプレビュー画像を取得する。つぎに、端末姿勢情報として、タブレット端末１のジャイロセンサから、図４（Ａ）において実線の矢印で示すモバイル端末（タブレット端末）の姿勢座標系を取得する。また、基準姿勢情報として、図４（Ａ）において破線の矢印で示す対象物の姿勢座標系を取得する。つぎに、本装置１は、前記プレビュー画像に含まれる対象物を検出し、検出した対象物の大きさから、本装置１と対象物までの距離を推定する。つぎに、本装置１は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、前記プレビュー画像における対象物の面を特定し、前記面を正対化基準面に設定する。つぎに、本装置１は、図４（Ｂ）に黒色丸印で示す、前記プレビュー画像における任意に指定した４点の座標を指定する。そして、前記４点の座標について、前記端末姿勢情報および前記基準姿勢情報に基づいて、対象物３０を前記正対化基準面の垂直方向から見た際に対応する４点の座標（図４（Ｂ）において、白色丸印で示す）を推定し、射影変換により補正対象画像を正対化画像に補正する。
【0034】
本実施形態の画像補正装置１によれば、前記端末姿勢情報に基づいて、前記補正対象画像を、正対化基準面に対して正対した正対化画像を容易に生成できる。
【0035】
［実施形態２］
本実施形態は、本発明の文字認識装置の例である。本発明の文字認識装置は、画像補正部と、文字候補選定部と、文字認識部とを含み、前記画像補正部が、前記本発明の画像補正装置であり、前記文字候補選定部は、前記画像補正部により補正された画像から文字候補領域を選定し、前記文字認識部は、前記画像補正部により補正された画像から文字認識を行うこと以外は特に限定されない。
本実施形態は、本発明の文字認識装置の例である。本発明の文字認識装置は、画像補正部と、文字候補選定部と、文字認識部とを含み、前記画像補正部が、前記本発明の画像補正装置であり、前記文字候補選定部は、前記画像補正部により補正された画像から文字候補領域を選定し、前記文字認識部は、前記画像補正部により補正された画像から文字認識を行うこと以外は特に限定されない。
【0036】
本実施形態の文字認識装置について、図５を用いて説明する。図５は、本実施形態の文字認識装置２０の一例の構成を示すブロック図である。また、図５に示すように、文字認識装置２０は、画像補正部１、文字候補選定部２１、および文字認識部２２を備える。文字認識装置２０は、例えば、記憶部を備えてもよい（図示せず）。本実施形態の文字認識装置２０は、システムとしてサーバに組み込まれていてもよい。また、本実施形態の文字認識装置２０は、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ）であってもよい。また、図示していないが、文字認識装置２０は、通信回線網を介して、外部装置および装置管理者の外部端末の少なくとも一方と接続可能であってもよい。文字認識装置２０が前記装置管理者の外部端末と接続可能である場合、装置管理者は、外部端末から文字認識装置２０の管理を実施してもよい。
【0037】
前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でもよいし、無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（World Wide Web）、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ(Wireless Fidelity）、ＬＰＷＡ（Low Power Wide Area）等があげられる。
【0038】
前記外部装置は、例えば、ＰＣ；携帯電話、スマートフォン、タブレット端末等の携帯端末；スマートウォッチ、スマートグラス、ウェアラブル端末等があげられる。前記外部装置は、例えば、カメラ、スキャナ等の撮像手段、ＩＣ（integrated circuit）カードリーダ、マイク等の音声入力手段等を備えてもよい。
【0039】
図６に、文字認識装置２０のハードウェア構成のブロック図を例示する。文字認識装置２０は、例えば、ＣＰＵ（中央処理装置）１０１、メモリ２０２、バス２０３、記憶装置２０４、入力装置２０５、出力装置２０６、通信デバイス２０７等を備える。文字認識装置２０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス２０３を介して接続されている。
【0040】
ＣＰＵ２０１は、例えば、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、文字認識装置２０の全体の制御を担う。文字認識装置２０において、ＣＰＵ２０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、ＣＰＵ２０１が、画像補正部１、文字候補選定部２１、および文字認識部２２として機能する。文字認識装置２０は、演算装置として、ＣＰＵを備えるが、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、ＣＰＵとこれらとの組合せを備えてもよい。文字候補選定部２１の処理として、例えば、深層学習処理を利用した処理を行う場合、文字認識装置２０は、ＧＰＵを備えていることが好ましい。
【0041】
メモリ２０２は、例えば、メインメモリを含む。前記メインメモリは、主記憶装置ともいう。ＣＰＵ２０１が処理を行う際には、例えば、後述する記憶装置２０４（補助記憶装置）に記憶されている本発明のプログラム１０５等の種々の動作プログラムを、メモリ２０２が読み込む。そして、ＣＰＵ２０１は、メモリ２０２からデータを読み出し、解読し、前記プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ２０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。
【0042】
バス２０３は、例えば、外部機器とも接続できる。前記外部機器は、例えば、カメラ等の撮像装置、前記外部装置、外部記憶装置、プリンター、スピーカ等の音声出力装置等があげられる。文字認識装置２０は、例えば、バス２０３に接続された通信デバイス２０８により、前記通信回線網に接続でき、前記通信回線網を介して、前記外部機器と接続することもできる。
【0043】
記憶装置２０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置２０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置２０４は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置２０４は、例えば、前記記憶媒体と前記ドライブとが一体化されたハードディスクドライブ（ＨＤＤ）であってもよい。
【0044】
文字認識装置２０は、例えば、さらに、入力装置２０６、ディスプレイ２０７を備える。入力装置２０６は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。ディスプレイ２０７は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等の表示装置があげられる。本実施形態２において、入力装置２０６とディスプレイ２０７とは、別個に構成されているが、入力装置２０６とディスプレイ２０７とは、タッチパネルディスプレイのように、一体として構成されてもよい。
【0045】
文字認識装置２０において、メモリ２０２および記憶装置２０４は、ユーザからのアクセス情報およびログ情報、ならびに、外部データベース（図示せず）から取得した情報を記憶することも可能である。
【0046】
つぎに、本実施形態の文字認識方法について、図７のフローチャートを用いて説明する。本実施形態の文字認識方法は、例えば、図５および図６に示す本実施形態の文字認識装置２０を用いて実施できる。なお、本発明の文字認識方法は、文字認識装置２０の使用に限定されない。
【0047】
まず、文字認識装置２０の画像補正部１により、前記実施形態１の画像補正方法におけるＳ１～Ｓ６と同様にして、Ｓ１～Ｓ６を実施し、補正対象画像を取得し、前記補正対象画像を前記正対化基準面から垂直方向から見た正対化画像に補正する。
【0048】
つぎに、文字認識装置２０の文字候補選定部２１は、前記画像補正部により補正された画像から文字候補領域を選定する（Ｓ１１、文字候補選定工程）。文字候補選定部２１は、例えば、画像補正部１により補正された画像、すなわち、前記正対化画像において、文字を含むと判定された領域（文字矩形領域）を前記文字候補領域として選定する。正対化画像が文字を含むか否かの判定は、例えば、深層学習を利用した処理により実行してもよいし、公知の画像処理手法を利用して実行してもよい。前記深層学習を利用した文字候補領域の選定は、例えば、文字認識装置２０が含むＧＰＵにより実行することが好ましい。
【0049】
つぎに、文字認識装置２０の文字認識部２２が、画像補正部１により補正された画像（正対化画像）から文字認識を行う（Ｓ１２、文字認識工程）。本発明の文字認識装置による文字認識処理は、特に制限されず、例えば、一般の文字認識処理（例えば、光学文字認識（Optical character recognition：ＯＣＲ））と同様にして実施できる。
【0050】
本発明の文字認識装置によれば、画像補正部１により正対化した正対化画像から文字認識が可能であるため、例えば、結果的に、文字認識の精度を向上させることができる。
【0051】
［実施形態３］
本実施形態の第１のプログラムは、前述の画像補正方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態の第１のプログラムは、コンピュータに、画像取得手順、端末情報取得手順、距離情報取得手順、基準姿勢情報取得手順、基準面設定手順、および画像補正手順を実行させるためのプログラムである。
本実施形態の第１のプログラムは、前述の画像補正方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態の第１のプログラムは、コンピュータに、画像取得手順、端末情報取得手順、距離情報取得手順、基準姿勢情報取得手順、基準面設定手順、および画像補正手順を実行させるためのプログラムである。
【0052】
前記画像取得手順は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する。
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する。
【0053】
また、本実施形態の第１のプログラムは、コンピュータを、画像取得手順、端末情報取得手順、距離情報取得手順、基準姿勢情報取得手順、基準面設定手順、および画像補正手順として機能させるプログラムということもできる。
【0054】
本実施形態の第１のプログラムは、前記本発明の画像補正装置および画像補正方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
【0055】
［実施形態４］
本実施形態の第２のプログラムは、前述の文字認識方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態の第２のプログラムは、コンピュータに、画像補正手順および文字認識手順を実行させるためのプログラムである。
本実施形態の第２のプログラムは、前述の文字認識方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態の第２のプログラムは、コンピュータに、画像補正手順および文字認識手順を実行させるためのプログラムである。
【0056】
前記画像補正手順は、前記第１のプログラムにより実行され、
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行う。
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行う。
【0057】
また、本実施形態の第２のプログラムは、コンピュータを、画像補正手順および文字認識手順として機能させるプログラムということもできる。
【0058】
本実施形態の第２のプログラムは、前記本発明の文字認識装置および文字認識方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
【0059】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0060】
＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得部、端末情報取得部、距離情報取得部、基準姿勢情報取得部、基準面設定部、および画像補正部を含み、
前記画像取得部は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得部は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得部は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得部は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定部は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正部は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する、
画像補正装置。
（付記２）
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、付記１記載の画像補正装置。
（付記３）
前記画像取得部は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正部は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、付記１または２記載の画像補正装置。
（付記４）
前記画像補正部は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
付記３記載の画像補正装置。
（付記５）
前記画像補正部は、前記撮影プレビュー画像から文字を含む領域を前記所定の範囲としてトリミングする、付記４記載の画像補正装置。
（付記６）
画像補正部、文字候補選定部、および文字認識部を含み、
前記画像補正部は、付記１から５のいずれかに記載の画像補正装置であり、
前記文字候補選定部は、前記画像補正部により補正された画像から文字候補領域を選定し、
前記文字認識部は、前記画像補正部により補正された画像から文字認識を行う、文字認識装置。
（付記７）
画像取得工程、端末情報取得工程、距離情報取得工程、基準姿勢情報取得工程、基準面設定工程、および画像補正工程を含み、
前記画像取得工程は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得工程は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得工程は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得工程は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定工程は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正工程は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する、
画像補正方法。
（付記８）
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、付記７記載の画像補正方法。
（付記９）
前記画像取得工程は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正工程は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、付記７または８記載の画像補正方法。
（付記１０）
前記画像補正工程は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
付記９記載の画像補正方法。
（付記１１）
前記画像補正工程は、前記撮影プレビュー画像から文字を含む領域を前記所定の範囲としてトリミングする、付記１０記載の画像補正方法。
（付記１２）
画像補正工程、文字候補選定工程、および文字認識工程を含み、
前記画像補正工程は、付記７から１１のいずれかに記載の画像補正方法であり、
前記文字候補選定工程は、前記画像補正工程により補正された画像から文字候補領域を選定し、
前記文字認識工程は、前記画像補正工程により補正された画像から文字認識を行う、文字認識方法。
（付記１３）
画像取得手順、端末情報取得手順、距離情報取得手順、基準姿勢情報取得手順、基準面設定手順、および画像補正手順を含み、
前記画像取得手順は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記各手順を、コンピュータに実行させるためのプログラム。
（付記１４）
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、付記１３記載のプログラム。
（付記１５）
前記画像取得手順は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正手順は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、付記１３または１４記載のプログラム。
（付記１６）
前記画像補正手順は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
付記１５記載のプログラム。
（付記１７）
前記画像補正手順は、前記撮影プレビュー画像から文字を含む領域を前記所定の範囲としてトリミングする、付記１６記載のプログラム。
（付記１８）
画像補正手順、文字候補選定手順、および文字認識手順を含み、
前記画像補正手順は、付記１３から１７のいずれかに記載のプログラムにより実行され、
前記文字候補選定手順は、前記画像補正手順により補正された画像から文字候補領域を選定し、
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行い、
前記各手順を、コンピュータに実行させるためのプログラム。
（付記１９）
画像取得手順、端末情報取得手順、距離情報取得手順、基準姿勢情報取得手順、基準面設定手順、および画像補正手順を含み、
前記画像取得手順は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記各手順を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記２０）
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、付記１９記載の記録媒体。
（付記２１）
前記画像取得手順は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正手順は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、付記１９または２０記載の記録媒体。
（付記２２）
前記画像補正手順は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
付記２１記載の記録媒体。
（付記２３）
前記画像補正手順は、前記撮影プレビュー画像から文字を含む領域を前記所定の範囲としてトリミングする、付記２２記載の記録媒体。
（付記２４）
画像補正手順、文字候補選定手順、および文字認識手順を含み、
前記画像補正手順は、付記１３から１７いずれかに記載のプログラムにより実行され、
前記文字候補選定手順は、前記画像補正手順により補正された画像から文字候補領域を選定し、
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行い、
前記各手順を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得部、端末情報取得部、距離情報取得部、基準姿勢情報取得部、基準面設定部、および画像補正部を含み、
前記画像取得部は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得部は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得部は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得部は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定部は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正部は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する、
画像補正装置。
（付記２）
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、付記１記載の画像補正装置。
（付記３）
前記画像取得部は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正部は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、付記１または２記載の画像補正装置。
（付記４）
前記画像補正部は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
付記３記載の画像補正装置。
（付記５）
前記画像補正部は、前記撮影プレビュー画像から文字を含む領域を前記所定の範囲としてトリミングする、付記４記載の画像補正装置。
（付記６）
画像補正部、文字候補選定部、および文字認識部を含み、
前記画像補正部は、付記１から５のいずれかに記載の画像補正装置であり、
前記文字候補選定部は、前記画像補正部により補正された画像から文字候補領域を選定し、
前記文字認識部は、前記画像補正部により補正された画像から文字認識を行う、文字認識装置。
（付記７）
画像取得工程、端末情報取得工程、距離情報取得工程、基準姿勢情報取得工程、基準面設定工程、および画像補正工程を含み、
前記画像取得工程は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得工程は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得工程は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得工程は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定工程は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正工程は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する、
画像補正方法。
（付記８）
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、付記７記載の画像補正方法。
（付記９）
前記画像取得工程は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正工程は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、付記７または８記載の画像補正方法。
（付記１０）
前記画像補正工程は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
付記９記載の画像補正方法。
（付記１１）
前記画像補正工程は、前記撮影プレビュー画像から文字を含む領域を前記所定の範囲としてトリミングする、付記１０記載の画像補正方法。
（付記１２）
画像補正工程、文字候補選定工程、および文字認識工程を含み、
前記画像補正工程は、付記７から１１のいずれかに記載の画像補正方法であり、
前記文字候補選定工程は、前記画像補正工程により補正された画像から文字候補領域を選定し、
前記文字認識工程は、前記画像補正工程により補正された画像から文字認識を行う、文字認識方法。
（付記１３）
画像取得手順、端末情報取得手順、距離情報取得手順、基準姿勢情報取得手順、基準面設定手順、および画像補正手順を含み、
前記画像取得手順は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記各手順を、コンピュータに実行させるためのプログラム。
（付記１４）
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、付記１３記載のプログラム。
（付記１５）
前記画像取得手順は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正手順は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、付記１３または１４記載のプログラム。
（付記１６）
前記画像補正手順は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
付記１５記載のプログラム。
（付記１７）
前記画像補正手順は、前記撮影プレビュー画像から文字を含む領域を前記所定の範囲としてトリミングする、付記１６記載のプログラム。
（付記１８）
画像補正手順、文字候補選定手順、および文字認識手順を含み、
前記画像補正手順は、付記１３から１７のいずれかに記載のプログラムにより実行され、
前記文字候補選定手順は、前記画像補正手順により補正された画像から文字候補領域を選定し、
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行い、
前記各手順を、コンピュータに実行させるためのプログラム。
（付記１９）
画像取得手順、端末情報取得手順、距離情報取得手順、基準姿勢情報取得手順、基準面設定手順、および画像補正手順を含み、
前記画像取得手順は、補正対象画像を取得し、
前記補正対象画像は、対象物を含む画像であり、
前記端末情報取得手順は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得手順は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記対象物までの距離の情報であり、
前記基準姿勢情報取得手順は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、
前記基準面設定手順は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正手順は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記各手順を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記２０）
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、付記１９記載の記録媒体。
（付記２１）
前記画像取得手順は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正手順は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、付記１９または２０記載の記録媒体。
（付記２２）
前記画像補正手順は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
付記２１記載の記録媒体。
（付記２３）
前記画像補正手順は、前記撮影プレビュー画像から文字を含む領域を前記所定の範囲としてトリミングする、付記２２記載の記録媒体。
（付記２４）
画像補正手順、文字候補選定手順、および文字認識手順を含み、
前記画像補正手順は、付記１３から１７いずれかに記載のプログラムにより実行され、
前記文字候補選定手順は、前記画像補正手順により補正された画像から文字候補領域を選定し、
前記文字認識手順は、前記画像補正手順により補正された画像から文字認識を行い、
前記各手順を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0061】
本発明によれば、容易に正対化画像を生成できる。このため、本発明は、画像を利用する分野において広く有用である。
【符号の説明】
【0062】
１ 画像補正装置
２ 画像取得部
３ 端末情報取得部
４ 距離情報取得部
５ 基準姿勢情報取得部
６ 基準面設定部
７ 画像補正部
１０１ ＣＰＵ
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
２０ 文字認識装置
２１ 文字候補選定部
２２ 文字認識部
２０１ ＣＰＵ
２０２ メモリ
２０３ バス
２０４ 記憶装置
２０５ 入力装置
２０６ 出力装置
２０７ 通信デバイス
２ 画像取得部
３ 端末情報取得部
４ 距離情報取得部
５ 基準姿勢情報取得部
６ 基準面設定部
７ 画像補正部
１０１ ＣＰＵ
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
２０ 文字認識装置
２１ 文字候補選定部
２２ 文字認識部
２０１ ＣＰＵ
２０２ メモリ
２０３ バス
２０４ 記憶装置
２０５ 入力装置
２０６ 出力装置
２０７ 通信デバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】