(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024000958
(43)【公開日】2024-01-09
(54)【発明の名称】識別管理支援装置、識別管理支援端末、識別管理支援システム装置、識別管理支援方法、プログラム及び記録媒体
(51)【国際特許分類】
G06V 30/16 20220101AFI20231226BHJP
G06V 30/20 20220101ALI20231226BHJP
【FI】
G06V30/16
G06V30/20
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023034231
(22)【出願日】2023-03-07
(31)【優先権主張番号】P 2022099313
(32)【優先日】2022-06-21
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(74)【代理人】
【識別番号】100227019
【弁理士】
【氏名又は名称】安 修央
(72)【発明者】
【氏名】堀場 裕司
(72)【発明者】
【氏名】近藤 昌紀
(72)【発明者】
【氏名】竹内 拓也
(72)【発明者】
【氏名】遠山 貴大
【テーマコード(参考)】
5B029
5B064
【Fターム(参考)】
5B029AA05
5B029EE04
5B064AA05
5B064CA05
5B064DA27
(57)【要約】
【課題】 容易に識別管理を行うことができる識別管理支援装置を提供する。
【解決手段】 本発明の識別管理支援装置は、正対化画像取得部、読取部、判定部、及び出力部を含み、
前記正対化画像取得部は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取部は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定部は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力部は、前記判定結果を出力する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
正対化画像取得部、読取部、判定部、及び出力部を含み、
前記正対化画像取得部は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取部は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定部は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力部は、前記判定結果を出力する、識別管理支援装置。
【請求項2】
前記読取部は、文字認識モデルに前記正対化管理画像を入力して、前記正対化管理画像が含む文字を認識して前記識別情報を読み取る、請求項1記載の識別管理支援装置。
【請求項3】
特徴情報抽出部、および特徴情報管理部を含み、
前記特徴情報抽出部は、前記正対化管理画像から識別管理対象の特徴情報を抽出し、
前記特徴情報管理部は、前記識別情報が前記管理識別情報と一致する場合、前記特徴情報と前記識別情報とを紐づけて管理する、
請求項1または2記載の識別管理支援装置。
【請求項4】
前記判定部は、前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、請求項3記載の識別管理支援装置。
【請求項5】
前記判定部は、
前記識別情報と管理識別情報とを照合し、前記識別情報の少なくとも一部が前記管理識別情報と一致しない場合、
前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、請求項4記載の識別管理支援装置。
【請求項6】
画像取得部、端末情報取得部、距離情報取得部、基準姿勢情報取得部、基準面設定部、画像補正部、および出力部を含み、
前記画像取得部は、補正対象画像を取得し、
前記補正対象画像は、識別管理対象物を含む画像であり、
前記端末情報取得部は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得部は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記識別管理対象物までの距離の情報であり、
前記基準姿勢情報取得部は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記識別管理対象物の姿勢の情報であり、
前記基準面設定部は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正部は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記出力部は、前記正対化画像を前記正対化管理対象画像として、請求項1または2記載の識別管理支援装置に出力する、識別管理支援端末。
【請求項7】
サーバと端末とを含み、
前記サーバと前記端末とは、通信回線網を介して通信可能であり、
前記サーバは、請求項1または2に記載の識別管理支援装置であり、
前記端末は、請求項6記載の識別管理支援端末である、識別管理支援システム装置。
【請求項8】
正対化画像取得工程、読取工程、判定工程、及び出力工程を含み、
前記正対化画像取得工程は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取工程は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定工程は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力工程は、前記判定結果を出力する、識別管理支援方法。
【請求項9】
正対化画像取得手順、読取手順、判定手順、及び出力手順を含み、
前記正対化画像取得手順は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取手順は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定手順は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力手順は、前記判定結果を出力し、
前記各手順をコンピュータに実行させるためのプログラム。
【請求項10】
正対化画像取得手順、読取手順、判定手順、及び出力手順を含み、
前記正対化画像取得手順は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取手順は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定手順は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力手順は、前記判定結果を出力し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、識別管理支援装置、識別管理支援端末、識別管理支援システム装置、識別管理支援方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
生産ラインを流れる製品について、誤出荷、取り違えなどを防止するために製品を個別に管理する必要がある。この際、バーコードやRFID等のタグを取り付けて管理されることが一般的に行われている。他方、鉄鋼製品等、製品加工時の環境が過酷な製品では、タグの耐久性が足りず、取り付けることができない。この場合、製品に直接文字を印字(例えば、刻印印字、スタンプ印字、ステンシル吹き付け等)して管理が行われている(例えば、特許文献1等)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような状況において、画像認識により製品の識別情報を取得するため、製品の画像を撮像するが、刻印等は照明の都合上写真に写りづらい。また、製品を常に正面から撮像できるとは限らない。そして、このように印字された文字は、通常の光学文字認識(Optical character recognition:OCR)処理では文字認識を行うことが困難である。このため、作業者により、作業手順書に記載の識別番号と、製品に付された識別番号の目視確認が行われており、手間がかかり、ヒューマンエラーの原因にもなるという課題がある。この点は、刻印等によって物品を管理している様々な分野において同様である。
【0005】
そこで本発明は、容易に識別管理を行うことができる識別管理支援装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の識別管理支援装置は、
正対化画像取得部、読取部、判定部、及び出力部を含み、
前記正対化画像取得部は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取部は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定部は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力部は、前記判定結果を出力する。
【0007】
本発明の識別管理支援端末は、
画像取得部、端末情報取得部、距離情報取得部、基準姿勢情報取得部、基準面設定部、画像補正部、および出力部を含み、
前記画像取得部は、補正対象画像を取得し、
前記補正対象画像は、識別管理対象物を含む画像であり、
前記端末情報取得部は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得部は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記識別管理対象物までの距離の情報であり、
前記基準姿勢情報取得部は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記識別管理対象物の姿勢の情報であり、
前記基準面設定部は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正部は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記出力部は、前記正対化画像を前記正対化管理対象画像として、前記本発明の識別管理支援装置に出力する。
【0008】
本発明の識別管理支援システム装置は、
サーバと端末とを含み、
前記サーバと前記端末とは、通信回線網を介して通信可能であり、
前記サーバは、前記本発明の識別管理支援装置であり、
前記端末は、前記本発明の記載の識別管理支援端末である。
【0009】
本発明の識別管理支援方法は、
正対化画像取得工程、読取工程、判定工程、及び出力工程を含み、
前記正対化画像取得工程は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取工程は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定工程は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力工程は、前記判定結果を出力する。
【0010】
本発明のプログラムは、
正対化画像取得手順、読取手順、判定手順、及び出力手順を含み、
前記正対化画像取得手順は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取手順は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定手順は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力手順は、前記判定結果を出力し、
前記各手順をコンピュータに実行させるためのプログラム。
【0011】
本発明の記録媒体は、前記本発明のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0012】
本発明によれば、容易に識別管理を行うことができる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、実施形態1の識別管理支援装置の一例の構成を示すブロック図である。
【
図2】
図2は、実施形態1の識別管理支援装置のハードウェア構成の一例を示すブロック図である。
【
図3】
図3は、実施形態1の識別管理支援装置を含む識別管理支援システム装置の一例の構成を示すブロック図である。
【
図4】
図4は、実施形態1の識別管理支援端末のハードウェア構成の一例を示すブロック図である。
【
図5】
図5は、実施形態1の識別管理支援端末における処理の一例を示すフローチャートである。
【
図6】
図6は、実施形態1の識別管理支援装置における処理の一例を示すフローチャートである。
【
図7】
図7は、実施形態1の識別管理支援システムの利用を説明するための模式図である。
【
図8】
図8は、実施形態2の識別管理支援装置の一例の構成を示すブロック図である。
【
図9】
図9は、実施形態2の識別管理支援装置における処理の一例を示すフローチャートである。
【
図10】
図10は、実施形態2の識別管理支援装置の利用を説明するための模式図である。
【発明を実施するための形態】
【0014】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0015】
本発明において識別管理を行う識別管理対象物は、特に制限されず、例えば、識別情報によって管理されている物品であれば特に制限されない。具体例として、前記識別管理対象物は、例えば、生産ラインにおける原料、中間品、完成品;倉庫における在庫品等があげられる。
【0016】
[実施形態1]
本実施形態の識別管理支援装置について、
図1を用いて説明する。
図1は、本実施形態の識別管理支援装置1の一例の構成を示すブロック図である。
図1に示すように、識別管理支援装置1(以下、「本装置1」ともいう)は、正対化画像取得部2、読取部3、判定部4、および出力部5を含む。また、図示していないが、本装置1は、例えば、記憶部を含んでもよい。
【0017】
本装置1は、例えば、前記各部を含む1つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置1は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、WWW(World Wide Web)、電話回線、LAN(Local Area Network)、SAN(Storage Area Network)、DTN(Delay Tolerant Networking)、LPWA(Low Power Wide Area)、L5G(ローカル5G)、等があげられる。無線通信としては、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ローカル5G、LPWA等が挙げられる。前記無線通信としては、各装置が直接通信する形態(Ad Hoc通信)、インフラストラクチャ(infrastructure通信)、アクセスポイントを介した間接通信等であってもよい。本装置1は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置1は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ(PC、例えば、デスクトップ型、ノート型)、スマートフォン、タブレット端末等であってもよい。さらに、本装置1は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0018】
図2に、本装置1のハードウェア構成のブロック図を例示する。本装置1は、例えば、CPU101、メモリ102、バス103、記憶装置104、入力装置105、出力装置106、通信デバイス(通信部)107等を含む。本装置1の各部は、それぞれのインタフェース(I/F)により、バス103を介して相互に接続されている。
【0019】
CPU101は、例えば、コントローラ(システムコントローラ、I/Oコントローラ等)等により、他の構成と連携動作し、本装置1の全体の制御を担う。本装置1において、CPU101により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、CPU101が、正対化画像取得部2、読取部3、判定部4、および出力部5として機能する。本装置1は、演算装置として、CPUを備えるが、GPU(Graphics Processing Unit)、APU(Accelerated Processing Unit)等の他の演算装置を備えてもよいし、CPUとこれらとの組合せを備えてもよい。
【0020】
バス103は、例えば、外部装置とも接続できる。前記外部装置は、例えば、後述する識別管理支援端末、外部記憶装置(外部データベース等)、プリンタ、外部入力装置、外部出力装置、スピーカ等の音声出力装置、カメラ等の外部撮像装置、および加速度センサ、地磁気センサ、方向センサ等の各種センサ等があげられる。本装置1は、例えば、バス103に接続された通信デバイス107により、外部ネットワーク(前記通信回線網)に接続でき、外部ネットワークを介して他の装置と接続することもできる。
【0021】
メモリ102は、例えば、メインメモリ(主記憶装置)が挙げられる。CPU101が処理を行う際には、例えば、後述する記憶装置104に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ102が読み込み、CPU101は、メモリ102からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。また、メモリ102は、例えば、ROM(読み出し専用メモリ)であってもよい。
【0022】
記憶装置104は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置104には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置104は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、CD-ROM、CD-R、CD-RW、MO、DVD、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置104は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ(HDD)、及びソリッドステートドライブ(SSD)であってもよい。本装置1が、例えば、前記記憶部を含む場合、記憶装置104が前記記憶部として機能する。記憶装置104は、例えば、後述する文字認識モデル、管理識別情報を記憶していてもよい。
【0023】
本装置1において、メモリ102及び記憶装置104は、ログ情報、外部データベース(図示せず)や外部の装置から取得した情報、本装置1によって生成した情報、本装置1が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。なお、少なくとも一部の情報は、例えば、メモリ102及び記憶装置104以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0024】
本装置1は、例えば、さらに、入力装置105、出力装置106を備える。入力装置105は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス;キーボード;カメラ、スキャナ等の撮像手段;ICカードリーダ、磁気カードリーダ等のカードリーダ;マイク等の音声入力手段;等があげられる。出力装置106は、例えば、LEDディスプレイ、液晶ディスプレイ等の表示装置;スピーカ等の音声出力装置;プリンタ;等があげられる。本実施形態1において、入力装置105と出力装置106とは、別個に構成されているが、入力装置105と出力装置106とは、タッチパネルディスプレイのように、一体として構成されてもよい。
【0025】
本装置1は、例えば、識別管理支援端末20と通信可能であってもよい。この場合、例えば、識別管理支援装置1とおよび識別管理支援端末20とを含むシステム全体を、識別管理支援システム装置100ともいう。
【0026】
図3を用いて、本発明の識別管理支援装置1および識別管理支援端末20を含む識別管理支援システム装置100について説明する。
図3は、本発明の識別管理支援装置1および識別管理支援端末20を含む識別管理支援システム装置100の構成の一例を示すブロック図である。
図3に示すように、識別管理支援装置1と、識別管理支援端末20とは、通信回線網30を介して互いに接続可能である。通信回線網30は、前述の通りであり、識別管理支援装置1と、識別管理支援端末20との接続は、例えば、有線でも無線でもよい。識別管理支援システム装置100において、識別管理支援装置1は、例えば、サーバ装置であってもよく、識別管理支援端末20は、例えば、生産ラインの現場作業員が使用する小型の装置(例えば、スマートフォン、タブレット端末)であってもよい。なお、識別管理支援端末20は、例えば、識別管理支援装置1の一部又は全部の処理を実行可能であってもよい。また、識別管理支援装置1は、例えば、識別管理支援端末20の一部又は全部の処理を実行可能であってもよい。
【0027】
識別管理支援端末20(以下、「端末20」ともいう)は、例えば、画像取得部21、端末情報取得部22、距離情報取得部23、基準姿勢情報取得部24、基準面設定部25、画像補正部26、及び出力部27を含む。識別管理支援端末20は、これらの構成を備えていれば特に制限されず、具体例としては、例えば、携帯電話、スマートフォン、タブレット端末等の携帯端末;スマートウォッチ、スマートグラス、ウェアラブル端末等の形態であってもよい。識別管理支援端末20は、例えば、携帯性等の観点から、スマートフォン、タブレット端末等の携帯端末であることが好ましい。
【0028】
図4に、識別管理支援端末20のハードウェア構成のブロック図を例示する。
図4に示すように、識別管理支援端末20は、例えば、CPU201、メモリ202、バス203、記憶装置204、入力装置205、出力装置206、通信デバイス207等を備える。識別管理支援端末20の各構成の説明は、識別管理支援装置1の各構成の説明を援用できる。識別管理支援端末20の各部は、それぞれのインタフェース(I/F)により、バス203を介して接続されている。識別管理支援端末20において、CPU201が、画像取得部21、端末情報取得部22、距離情報取得部23、基準姿勢情報取得部24、基準面設定部25、画像補正部26、及び出力部27として機能する。記憶装置204は、例えば、後述する補正対象画像、基準姿勢情報、対象物距離情報、正対化基準面、および正対化画像の少なくとも一つを記憶していてもよい。
【0029】
つぎに、本実施形態の識別管理支援方法の一例を、
図5及び
図6のフローチャートに基づき説明する。本実施形態の識別管理支援方法は、例えば、
図3に示す識別管理支援装置1を含む識別管理支援システム装置100を用いて、次のように実施できる。
図5は、識別管理支援端末20の処理を示すフローチャートであり、
図6は、識別管理支援装置1の処理を示すフローチャートである。なお、本実施形態の識別管理支援方法は、
図3の識別管理支援システム装置100の使用には限定されない。また、以下の説明においては、識別管理支援装置1として、
図3に示すような、識別管理支援端末20から、識別管理支援装置1が通信により情報を取得するサーバ-クライアント型の識別管理支援システム装置100を例に挙げて説明するが、本発明は以下の例には何ら制限されず、例えば、識別管理支援システム装置100における識別管理支援端末20の処理の一部又は全部が、識別管理支援装置1により実行されてもよい。また、以下の説明において、生産ラインの作業員が識別管理支援端末20を有し、生産ラインにおける中間品の識別管理を行う場合を例に挙げて説明するが、本発明は以下の例示には何ら制限されない。
【0030】
まず、識別管理支援装置1による処理に先立ち、前記作業員は、識別管理支援端末20の画像取得部21により、補正対象画像を取得する(S21、画像取得工程)。前記補正対象画像は、例えば、識別管理対象物を含む画像である。画像取得部21は、識別管理支援端末20が備えるカメラ等の撮像装置により、前記補正対象画像を取得してもよいし、通信回線網を介して識別管理支援端末20外部の撮像装置から前記補正対象画像を取得してもよい。前記補正対象画像は、例えば、動画でもよいし静止画でもよく、また、撮像済みの画像でもよいし、撮像プレビュー画像でもよい。前記補正対象画像が撮像プレビュー画像である場合、画像取得部21は、例えば、前記撮像プレビュー画像をリアルタイムに取得する。画像取得部21は、例えば、取得した前記補正対象画像を記憶装置204またはメモリ202に記憶してもよい。
【0031】
つぎに、端末情報取得部22は、端末姿勢情報を取得する(S22、端末情報取得工程)。前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、例えば、撮像端末が備えるジャイロセンサ、加速度センサ、地磁気センサ、距離センサ(例えば、3D-Lidar等の光学センサ、ミリ波センサ、超音波センサ等)等から推定できる。また、前記端末姿勢情報は、例えば、補正対象画像取得時の撮像端末を外部から撮像し、前記撮像した画像から前記撮像端末の姿勢を推定した情報でもよい。前記端末姿勢情報は、例えば、ジャイロセンサの情報を含むことが好ましい。前記姿勢情報は、例えば、X軸(例えば、Roll軸ともいう)、Y軸(例えば、Pitch軸ともいう)およびZ軸(例えば、Yaw軸ともいう)の3軸における撮像端末の姿勢座標系の情報である。端末情報取得部22は、例えば、取得した前記端末姿勢情報を記憶装置204またはメモリ202に記憶してもよい。
【0032】
前記端末姿勢情報は、例えば、その他の情報を含んでもよい。前記その他の情報は、例えば、撮影場所の情報、撮影日時情報、作業員の識別情報(氏名、ID、端末識別情報等)を含んでもよい。
【0033】
つぎに、距離情報取得部23は、対象物距離情報を取得する(S23、距離情報取得工程)。前記対象物距離情報は、例えば、予め規定された所定の距離(例えば、暫定撮影距離ともいう)でもよいし、撮像端末が備える距離センサ(例えば、3D-Lidar等の光学センサ、ミリ波センサ、超音波センサ等)により、撮像端末から識別管理対象物までの距離を測定した距離でもよいし、前記補正対象画像に含まれる識別管理対象物の大きさから推定した距離でもよい。前記識別管理対象物の大きさからの距離の推定は、例えば、実際の距離と、画像中における画素数とを対応づけた距離変換情報を利用することで、前記識別管理対象物が存在する距離を算出できる。前記距離変換情報は、例えば、前記記憶部に記憶されていてもよいし、外部のデータベースに記憶されていてもよい。
【0034】
つぎに、基準姿勢情報取得部24は、基準姿勢情報を取得する(S24、基準姿勢情報取得工程)。前記基準姿勢情報は、前記補正対象画像取得時の前記対象物の姿勢の情報であり、例えば、予め設定された所定の値でもよいし、対象物が備えるジャイロセンサ、加速度センサ、地磁気センサ等から推定した情報でもよい。また、前記基準姿勢情報は、例えば、補正対象画像取得時の対象物を外部から撮像し、前記撮像した画像から前記対象物の姿勢を推定した情報でもよい。前記画像は、例えば、前記撮像端末により撮像された前記補正対象画像でもよいし、それ以外の装置が撮像した画像でもよい。前記基準姿勢情報は、例えば、X軸(例えば、Roll軸ともいう)、Y軸(例えば、Pitch軸ともいう)およびZ軸(例えば、Yaw軸ともいう)の3軸における識別管理対象物の姿勢座標系の情報である。基準姿勢情報取得部24は、例えば、取得した前記基準姿勢情報を記憶装置204またはメモリ202に記憶してもよい。
【0035】
つぎに、基準面設定部25は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定する(S25、基準面設定工程)。前記正対化基準面は、例えば、前記識別管理対象物における任意の平面があげられる。前記識別管理対象物が、例えば、生産ラインにおける鋼板である場合、前記正対化基準面は、例えば、前記鋼板において識別番号等が印字された面があげられる。
【0036】
そして、画像補正部26は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正する(S26、画像補正工程)。画像補正部26は、例えば、前記補正対象画像における任意に指定した4点の座標について、前記端末姿勢情報および前記基準姿勢情報に基づいて、対象物を前記正対化基準面の垂直方向から見た際に対応する4点の座標を推定し、射影変換により補正対象画像を正対化画像に補正する。前記4点の座標は、特に制限されず、例えば、補正対象画像における任意の座標が指定できるが、例えば、補正対象画像に含まれる識別管理対象物の特徴点の周辺領域の座標であることが好ましい。前記特徴点は、例えば、対象物の識別情報(例えば、刻印、ステンシル印字、スタンプ印字等がされた製品管理番号等)があげられる。また、画像補正部26は、例えば、前記補正対象画像が撮影プレビュー画像である場合、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する。また、画像補正部26は、例えば、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正してもよい。前記所定の範囲は、例えば、前記撮影プレビュー画像における文字を含む領域があげられる。この場合、画像補正部26は、例えば、公知の文字認識技術を用いて前記撮影プレビュー画像から文字候補領域を抽出し、前記文字候補領域を基準とした矩形範囲をトリミングし、トリミング後の画像を正対化画像に補正できる。なお、文字候補領域の抽出において、例えば、本端末20により生成された正対化画像を用いた機械学習により作成した学習済みモデルを用いて、前記プレビュー画像から文字候補領域を抽出してもよい。
【0037】
図7を用いて、本端末20による画像補正の具体例を説明する。以下の説明において、画像補正端末20は、カメラ機能付きタブレット端末であり、前記タブレット端末を用いて、生産ラインにある鉄鋼製品の画像を撮像する場合を例に挙げて説明するが、本発明は以下の例示に何ら制限されない。
【0038】
まず、
図7(A)に示すように、本端末20であるタブレット端末20のカメラ機能により、識別管理対象物40を捉え、補正対象画像として、カメラのプレビュー画像を取得する。つぎに、端末姿勢情報として、タブレット端末20のジャイロセンサから、
図7(A)において実線の矢印で示すモバイル端末(タブレット端末)の姿勢座標系を取得する。また、基準姿勢情報として、
図7(A)において破線の矢印で示す対象物の姿勢座標系を取得する。つぎに、本端末20は、前記プレビュー画像に含まれる対象物を検出し、検出した対象物の大きさから、本端末20と対象物までの距離を推定する。つぎに、本端末20は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、前記プレビュー画像における識別管理対象物の面を特定し、前記面を正対化基準面に設定する。つぎに、本端末20は、
図7(B)に黒色丸印で示す、前記プレビュー画像における任意に指定した4点の座標を指定する。そして、前記4点の座標について、前記端末姿勢情報および前記基準姿勢情報に基づいて、識別管理対象物40を前記正対化基準面の垂直方向から見た際に対応する4点の座標(
図7(B)において、白色丸印で示す)を推定し、射影変換により補正対象画像を正対化画像に補正する。
【0039】
そして、端末20の出力部27は、前記正対化画像を前記正対化管理対象画像として、識別管理支援装置1に出力する(S27、出力工程)。前記出力は、例えば、無線または有線により端末20と識別管理支援装置1とを接続することで出力できる。
【0040】
つぎに、識別管理支援装置1の正対化画像取得部2は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得する(S1、正対化画像取得工程)。正対化画像取得部2は、例えば、無線また有線により識別管理支援装置1と接続された端末20から前記正対化管理画像を取得できる。なお、本発明の識別管理支援装置1は、これには限定されず、例えば、正対化画像取得部2は、例えば、端末20から前記補正対象画像、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報を取得し、前記補正対象画像を前記正対化管理画像に補正してもよい。この場合、生体化画像取得部2は、例えば、画像取得部、端末情報取得部、距離情報取得部、基準姿勢情報取得部、基準面設定部、画像補正部を含み、
図5におけるS21~S26を実行可能である。
【0041】
つぎに、読取部3は、前記正対化管理画像から識別管理対象に付された識別情報を読み取る(S2、読取工程)。前記読取は、例えば、機械学習を用いた文字認識法処理があげられる。具体的に、読取部3は、例えば、文字認識モデルに前記正対化管理画像を入力して、前記正対化管理画像が含む文字を認識して前記識別情報を読み取ることができる。前記文字認識モデルは、例えば、前記正対化管理対象画像を入力した場合に、前記正対化管理対象画像が含む文字を出力するように生成されたモデルである。前記文字認識モデルは、例えば、本装置1が構築してもよいし、予めメモリ102及び記憶装置104に記憶されていてもよいし、通信回線網を介して外部の学習済みモデル製造装置から取得してもよい。前記文字は、例えば、英字、数字、記号、ひらがな、カタカナ、漢字、その他の文字があげられる。なお、読取部3による処理は上記の例示には限定されない。読取部3の別の処理の例については、実施形態3で後述する。
【0042】
前記文字認識モデルは、例えば、文字認識対象画像(正対化管理画像)を入力する入力層と、前記文字認識結果を出力する出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層とを含む。前記文字認識モデルは、人工知能ソフトウェアの一部であるプログラムモジュールであってもよい。多層化ネットワークとしては、例えば、ニューラルネットワーク等が挙げられる。前記ニューラルネットワークとしては、例えば、畳み込みニューラルネットワーク(Convolution Neural Network:CNN)等が挙げられるが、CNNに限定されず、CNN以外のニューラルネットワーク、SVM(Support Vector Machine)、ベイジアンネットワーク、回帰木等の他の学習アルゴリズムで構築された学習済みモデルであってもよい。
【0043】
前記文字認識モデルは、例えば、前記正対化管理画像と、前記正対化管理画像が含む文字情報の組を文字認識用教師データとした機械学習によって生成できる。なお、前記文字認識モデルは、例えば、予め生成された学習済モデルでもよい。また、前記学習済モデルは、前記文字認識用教師データと、既に生成された学習済モデルとを用いて、再学習させた学習済モデル(派生モデル)でもよい。さらに、前記学習済モデルは、文字認識用教師データを用いて生成した学習済モデルを用いて転移学習することにより得られた学習済モデルでもよいし、文字認識用教師データを用いて生成した学習済モデルをモデル圧縮することに生成した学習済モデルでもよい。
【0044】
つぎに、判定部4は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定する(S3、判定工程)。前記管理識別情報は、例えば、前記識別管理対象物に本来付与されているはずの識別情報であり、具体例としては、生産来における作業手順書に記載の識別情報、倉庫における在庫品の識別情報等があげられる。前記管理識別情報は、例えば、予めメモリ102及び記憶装置104に記憶されていてもよいし、通信回線網を介して外部のデータベースまたはサーバから取得してもよい。また、前記管理識別情報が作業手順書に記載の識別情報である場合、例えば、識別管理支援端末20により前記作業手順書を撮像した画像から前記管理識別情報を読み取ってもよい。
【0045】
そして、出力部5は、前記判定結果を出力する(S4、出力工程)。前記判定結果は、例えば、前記識別情報と前記識別管理情報とが一致しているか否かの情報を含む。また、前記判定結果は、例えば、前記識別情報と、前記正対化管理画像とを紐づけた情報とを含んでもよい。出力部5は、例えば、識別管理支援端末20に前記判定結果を出力してもよいし、その他の装置に前記判定結果を出力してもよい。前記その他の装置は、例えば、本装置1の管理者の装置、外部データベース、生産ラインの管理者の端末等があげられる。
【0046】
対象物を撮像した画像から文字認識を行う場合、入力される画像が撮像される角度は様々であるため、文字認識用の教師データの生成においても、同一の対象を複数の角度から撮像した画像が必要になり、データが膨大な量になる。また、工場などの生産現場において、学習用の教師データを撮像しようにも、ロット番号等は長期間(例えば、1年等)かけないと印字されない文字が存在するため、教師用データの収集に時間がかかる。これに対し、本実施形態の識別管理支援装置は、正対化画像から抽出した正対化背景画像および正対化文字画像を合成した合成文字画像を教師データとした文字認識モデルに正対化管理画像を入力することで、管理対象物の識別情報を読み取り、管理識別情報と照合できる。このため、本発明によれば、容易に識別管理を行うことができる。
【0047】
[実施形態2]
実施形態2は、本発明の識別管理支援装置の他の例である。
【0048】
本実施形態の識別管理支援装置は、実施形態1の識別管理支援装置1の構成に加えて、特徴情報抽出部、および特徴情報管理部を含むこと以外は前記実施形態1の識別管理支援装置1と同様であり、その説明を援用できる。本実施形態の識別管理支援装置1Aは、例えば、特徴情報抽出部、および特徴情報管理部を含み、前記特徴情報抽出部は、前記正対化管理画像から識別管理対象の特徴情報を抽出し、前記特徴情報管理部は、前記識別情報が前記管理識別情報と一致する場合、前記特徴情報と前記識別情報とを紐づけて管理する。
【0049】
図8は、本実施形態の識別管理支援装置1Aの一例の構成を示すブロック図である。
図8に示すように、識別管理支援装置1Aは、実施形態1の識別管理支援装置1の構成に加えて、特徴情報抽出部6および特徴情報管理部7を備える。識別管理支援装置1Aのハードウェア構成は、
図2の識別管理支援装置1のハードウェア構成において、CPU101が、
図1の識別管理支援装置1の構成に代えて、
図8の識別管理支援装置1Aの構成を備える以外は同様である。
【0050】
つぎに、本実施形態の識別管理支援方法について、
図9のフローチャートを用いて説明する。本実施形態の識別管理支援方法は、例えば、
図8に示す本実施形態の識別管理支援装置1Aを用いて実施できる。なお、本発明の識別管理支援方法は、識別管理支援装置1Aの使用に限定されない。
【0051】
まず、前記実施形態1のS1~S3と同様にしてS1~S3を実施する。
【0052】
特徴情報抽出部6は、例えば、前記正対化管理画像から識別管理対象の特徴情報を抽出する(S11、特徴情報抽出工程)。特徴情報抽出部6は、例えば、一般的な画像認識処理により、識別管理対象の特徴情報を抽出できる。前記特徴情報は、例えば、局所特徴量である。前記局所特徴量は、特に制限されず、例えば、SVM(Support Vector Machine)またはGLVQ(Generalized Learning Vector Quantization)に基づく特徴量、メトリック型DNN(Deep Neural Network)に基づく特徴量、SIFT(Scale-Invariant Feature Transform)特徴量、SURF(Speeded-Up Robust Features)特徴量、HOG(Histograms of Oriented Gradients)特徴量、Bright特徴量等が挙げられる。前記特徴量の抽出は、例えば、公知の技術を用いることができる。
【0053】
なお、
図9においては、前記識別情報が前記管理識別情報と一致する場合(S3、Yes)に、S11を実施しているが、本発明はこれには制限されず、S11はS3よりも上流の工程(例えば、S2と並行して)において実施してもよい。
【0054】
つぎに、特徴情報管理部7は、例えば、前記識別情報が前記管理識別情報と一致する場合(S3、Yes)、前記特徴情報と前記識別情報とを紐づけて管理する(S12、特徴情報管理工程)。特徴情報管理部7は、例えば、本装置1Aのメモリ102または記憶装置104に前記特徴情報と前記識別情報とを紐づけて記憶することにより管理してもよいし、外部のデータベースに前記特徴情報と前記識別情報とを紐づけて記憶することにより管理してもよい。
【0055】
そして、前記実施形態1のS4と同様にしてS4を実施し、処理を終了する(END)。本実施形態の装置1AのS4において、判定部4は、例えば、前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定できる。前記特徴情報の判定は、例えば、前記識別情報の判定と同時に実行してもよいし、別個に実行してもよく、後者の場合は、その実行順序は特に制限されない。
【0056】
また、本実施形態の装置1Aにおいて、例えば、判定部4は、前記識別情報と管理識別情報とを照合し、前記識別情報の少なくとも一部が前記管理識別情報と一致しない場合(S3、No)、前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定してもよい。これにより、例えば、管理対象物に付された識別情報に汚れや欠けがあり、前記識別情報の読み取りの少なくとも一部に失敗したとしても、上流工程において記録された管理対象物の特徴情報と、管理対象画像により特定される管理対象物の特徴情報とを照合できるため、より精度よく識別管理を行うことができる。なお、判定部4の処理はこれには制限されず、例えば、前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定し、前記特徴情報が前記管理識別情報に紐づけられた特徴情報と一致しない場合に、前記識別情報と管理識別情報とを照合してもよい。
【0057】
図10を用いて、本装置1Aによる識別管理の例を説明する。
図10(A)に示すように生産ラインの作業員は、生産ラインを流れる識別管理対象物(鋼材)を、識別管理支援端末20であるタブレット端末により撮影する。識別管理支援端末20は、識別管理対象物の撮像画像のうち、識別管理対象物における識別情報(X01-12345)を含む画像を、正対化管理画像として識別管理支援装置1Aに出力する。識別管理支援装置1Aは、正対化管理画像を文字認識して識別管理対象物の識別情報(X01-12345)を読み取る。そして、読み取った識別情報と、作業手順書に記載されている管理識別情報(鋼材No:X01-12345)とを照合し、一致しているかを判定する。
図10(A)においては、識別情報と管理識別情報とが一致しているため、さらに、正対化管理画像から製品の特徴情報を抽出し、前記識別情報と特徴情報とを紐づけて記憶部に記憶して管理する。つぎに、
図10(B)は、前記識別情報の少なくとも一部が前記管理識別情報と一致しない場合の例である。
図10(B)に示す正対化管理画像においては、識別管理対象物に付された識別情報の一部がかすれている。このため、識別管理支援装置1Aは、正対化管理画像における文字認識に失敗して、識別情報を「X01-1234
8」と読み取っている。前述のように、管理識別情報は「X01-12345」であるため、識別情報と、管理識別情報とは一致しない。この場合、識別管理支援装置1Aは、識別管理対象物の特徴情報を抽出し、管理されている特徴情報と、識別情報との組を照会する。そして、管理されている特徴情報と、抽出された特徴情報とが一致している場合、識別管理対象物は、当該管理識別情報を付された物であると判定し、結果を返却する。なお、この場合において、例えば、識別管理対象物の識別情報のうち、読み取ることができた識別情報と、管理識別情報との一致度を加味して判定してもよい。
【0058】
[実施形態3]
実施形態3は、本発明の識別管理支援装置における、読取部の他の例である。
【0059】
本実施形態の読取部4は、例えば、画像取得部、文字列候補領域設定部、評価値算出部、画像選択部、及び、文字列認識部を含む。
【0060】
まず、画像取得部は、文字列認識対象画像として、前記正対化管理画像を取得する(画像取得工程)。前記文字列認識対象画像は、例えば、文字列の認識を行う候補となる画像であり、文字列を含む画像であってもよいし、文字列を含まない画像であってもよいし、文字列を含むか否か不明な画像でもよい。前記文字列は、例えば、既知の文字列であってもよいし、未知の文字列であってもよいが、既知の文字列であることが好ましい。前記文字列が含む文字は、特に制限されず、例えば、英字、数字、記号、ひらがな、カタカナ、漢字、その他の文字およびこれらの組み合わせがあげられる。前記文字列の具体例としては、例えば、生産ラインにおける製品を識別する情報(シリアルナンバー、製造番号、ロット番号等)があげられる。前記文字列認識対象画像に含まれる文字列は、例えば、通常のOCR処理によっては文字認識が困難な文字を含むことが好ましい。「通常のOCR処理によっては文字認識が困難な文字」とは、特に制限されず、例えば、ステンシル吹付、スタンプ印字、または刻印印字等の手段によって印字された文字、または手書き文字等があげられる。画像取得部は、前記実施形態1のS1工程で取得した前記正対化管理画像を前記文字列認識対象画像として取得する。前記文字列認識対象画像は、例えば、動画でもよいし静止画でもよく、また、撮像済みの画像でもよいし、撮像プレビュー画像でもよい。前記文字列認識対象画像が撮像プレビュー画像である場合、画像取得部は、例えば、前記撮像プレビュー画像をリアルタイムに取得する。画像取得部は、例えば、取得した前記文字列認識対象画像を記憶装置104またはメモリ102に記憶してもよい。
【0061】
つぎに、文字列候補領域設定部は、前記文字列認識対象画像に対し、文字列候補領域を設定する(文字列候補領域設定工程)。文字列候補領域設定部は、例えば、前記文字列認識対象画像が文字を含むか否かを認識し、認識した前記文字を含む領域を前記文字列候補領域として設定できる。文字列候補領域設定部は、例えば、深層学習を利用した処理により前記文字を認識してもよいし、公知の画像処理手法を利用して前記文字を認識してもよい。前記深層学習を利用した文字の認識は、例えば、本装置1が含むGPUにより実行してもよいし、CPUにより実行してもよいし、CPUGPUにより実行してもよい。また、文字列候補領域設定部は、例えば、基準文字列情報を用いて前記文字列認識対象画像に対し、前記文字列候補領域を設定してもよい。前記基準文字列情報は、例えば、前記文字列認識対象画像に含まれる可能性のある文字列のテンプレートの情報である。前記基準文字列情報は、例えば、1種類でもよいし2種類以上の複数であってもよいが、2種類以上の複数であることが好ましい。この場合、文字列候補領域設定部は、例えば、前記文字列認識対象画像と前記基準文字列情報とを比較し、前記文字列認識対象画像において、前記基準文字列情報の少なくとも一つと一致する可能性のある領域を前記文字列候補領域として設定できる。前記基準文字列情報は、例えば、前記記憶部に記憶されていてもよいし、外部のデータベースに記憶されていてもよい。文字列候補領域設定部は、例えば、設定した文字列候補領域について、バインディングボックス等を表示して視覚的に表示可能であってもよい。この場合、文字列候補領域設定部は、例えば、認識した文字の周囲に所定の大きさの余白を設定し、前記余白を含む文字周辺の領域を前記文字列候補領域として設定できる。前記余白の大きさは、特に制限されず、任意の大きさが設定できる。前記文字列候補領域が文字及び文字の余白を含むことにより、例えば、文字列が含む文字の一部が文字列候補領域から外れることを抑制できる。文字列候補領域設定部は、例えば、設定した前記文字列候補領域を記憶装置104またはメモリ102に記憶してもよい。この場合、例えば、文字列候補領域設定部は、前記文字列候補領域と、文字列候補領域を設定した文字列認識対象画像とを紐づけて記憶できる。
【0062】
つぎに、評価値算出部は、前記文字列候補領域が設定された文字列認識対象画像の評価値を算出する(評価値算出工程)。前記評価値は、前記文字列候補領域の文字認識適性を示す指標である。評価値算出部は、例えば、前記評価値として、文字列を構成する文字の一致数、文字認識の確信度、及び撮像条件の値からなる群から選択された少なくとも一つを算出することが好ましい。前記文字列を構成する文字の一致数および前記文字認識の確信度は、例えば、深層学習を利用した処理により、前記文字列候補領域を評価して前記確信度を算出してもよいし、テンプレートマッチング等の公知のパターンマッチング処理を用いた画像処理方法により、前記文字列候補領域の文字列候補と基準文字列情報とを比較することにより算出してもよい。前記基準文字列情報は、例えば、前述の通りである。前記深層学習を利用した処理は、例えば、テンプレートマッチングに類似する構造の深層学習ネットワークを用いることにより実行できる。評価値算出部は、例えば、前記文字列候補領域と前記基準文字列情報とを比較して、例えば、前記文字列候補領域が含む文字列を構成する各文字について、前記基準文字情報を構成する文字との一致数を算出できる。評価値算出部は、例えば、前記パターンマッチング処理により、前記文字列候補領域の文字列候補と基準文字列情報との類似度を算出し、算出した類似度(確信度ともいう)を、前記評価値として算出できる。前記撮像条件の値は、特に制限されず、例えば、前記文字列認識対象画像の撮像品質を示す指標である。前記撮像条件の具体例としては、例えば、エッジ強度、及びコントラスト等の値があげられる。評価値算出部は、例えば、前記評価値として、例えば、前記文字列認識対象画像の背景画像と、文字列認識対象画像の文字領域の濃淡値をそれぞれ算出し、前記濃淡値の差を前記コントラストとして算出できる。また、評価値算出部は、例えば、前記評価値として、前記文字列認識対象画像の画素値の変化の大きさをエッジ強度として算出できる。評価値算出部が算出する評価値は、例えば、1種類でもよいが、2種類以上の複数であることが好ましく、文字列を構成する文字の一致数、文字認識の確信度、及び撮像条件の値の組み合わせであることがさらに好ましい。評価値算出部は、例えば、算出した前記評価値を記憶装置104またはメモリ102に記憶してもよい。この場合、評価値算出部は、例えば、前記文字列候補領域と、文字列候補領域を設定した文字列認識対象画像とを紐づけて記憶できる。
【0063】
つぎに、画像選択部は、前記評価値が閾値以上の文字列認識対象画像を文字列認識用画像として選択する(画像選択工程)。前記閾値は、特に制限されず、例えば、前記評価値の種類毎に設定できる。前記評価値が前記文字認識の確信度を含む場合、前記閾値は、例えば、前記テンプレートマッチングの確信度の任意の値を設定できる。具体例として、前記テンプレートマッチングの確信度が0~1.0で算出される場合、前記閾値は、例えば、0.4以上、0.5以上、0.6以上、0.65以上、0.7以上、又は0.8以上に設定できる。前記評価値が前記文字の一致数を含む場合、前記閾値は、例えば、前記文字の一致数の絶対値を設定してもよいし、文字列全体に対する一致した文字の割合を設定してもよい。前記評価値が前記撮像条件の値を含む場合、前記閾値は、例えば、前記文字列認識対象画像における、背景画像と文字領域の濃淡値の差を設定できる。具体例として、前記撮像条件がエッジ強度である場合、例えば、前記濃淡値の差の閾値を20以上に設定できる。また、前記撮像条件がコントラストである場合、前記濃淡値の差の閾値を10以上に設定できる。前記評価値が複数の種類の指標を含む場合、画像選択部は、例えば、全ての評価値が閾値以上である文字列認識対象画像を文字列認識用画像として選択してもよいし、一部の評価値が閾値以上である文字列認識対象画像を文字列認識用画像として選択してもよい。画像選択部が、例えば、複数の評価値に基づいて文字列認識用画像を選択することでより適切な画像を前記文字列認識用画像として選択できる。また、前記文字列認識対象画像がプレビュー画像である場合、画像選択部は、前記閾値以上の文字列認識対象画像を、前記文字列認識用画像として選択し、選択した画像を撮像してもよい。画像選択部は、例えば、選択した前記文字列認識用画像を記憶装置104またはメモリ102に記憶してもよい。
【0064】
また、画像選択部は、例えば、前記評価値が閾値未満の状況が所定条件を満たす場合、前記評価値に基づいて文字列認識用画像を選択してもよい。前記「状況が所定条件を満たす場合」は、例えば、文字列認識用画像の撮像時間が所定時間を超えた場合、文字列認識対象画像の撮影回数が所定回数を超えた場合、前記文字列認識用画像のデータの大きさが所定の大きさを超えた場合等があげられる。前記評価値に基づく選択は、例えば、前記評価値が最も高い画像を選択してもよいし、前記評価値が高い順に複数の画像を選択してもよい。
【0065】
つぎに、文字列認識部は、前記文字列認識用画像から文字列認識を行う(文字列認識工程)。前記文字列認識は、例えば、深層学習を利用した処理により前記文字列を認識してもよいし、一般の文字列認識処理(例えば、光学文字列認識(Optical character recognition:OCR))と同様にして実施してもよい。前記深層学習を利用した文字列の認識は、例えば、本装置1が含むGPUにより実行してもよいし、CPUにより実行してもよいし、CPUGPUにより実行してもよい。
【0066】
本実施形態の読取部によれば、文字列認識対象画像の評価値を算出し、前記評価値に基づいて選択した文字認識用画像から文字列を認識することにより、前記識別情報を読み取ることができる。このため、本実施形態の読取部によれば、文字列認識用画像の撮像条件のばらつきを抑制でき、結果的に、文字認識の精度を向上できる。また、例えば、生産ライン等において、中間品や製品等の管理番号の認識を画像処理により行う場合、管理番号を含む画像の撮像条件が安定しないと文字認識の精度が出ず、作業員のフラストレーションがたまり、さらに撮像条件が不安定になるという悪循環が発生する場合がある。このような場合において、本発明の文字列認識支援装置によれば、文字列候補領域の評価値に基づいて文字列認識用画像を選択できるため、文字認識の精度を向上させることが可能となる。
【0067】
[実施形態4]
本実施形態のプログラムは、前述の識別管理支援方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、正対化画像取得手順、読取手順、判定手順、及び出力手順を実行させるためのプログラムである。
【0068】
前記正対化画像取得手順は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、前記読取手順は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定手順は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力手順は、前記判定結果を出力する。
【0069】
また、本実施形態のプログラムは、コンピュータを、正対化画像取得手順、読取手順、判定手順、及び出力手順として機能させるプログラムということもできる。
【0070】
本実施形態のプログラムは、前記本発明の識別管理支援装置および識別管理支援方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、フラッシュメモリー(例えば、SSD(Solid State Drive)、USBフラッシュメモリー、SD/SDHCカード等)、光ディスク(例えば、CD‐R/CD‐RW、DVD‐R/DVD‐RW、BD‐R/BD‐RE等)、光磁気ディスク(MO)、フロッピー(登録商標)ディスク(FD)等があげられる。また、本実施形態のプログラム(例えば、プログラミング製品、又はプログラム製品ともいう)は、例えば、外部のコンピュータから配信される形態であってもよい。前記「配信」は、例えば、通信回線網を介した配信でもよいし、有線で接続された装置を介した配信であってもよい。本実施形態のプログラムは、配信された装置にインストールされて実行されてもよいし、インストールされずに実行されてもよい。
【0071】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0072】
この出願は、2022年6月21日に出願された日本出願特願2022-99313を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
【0073】
<付記>
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
(付記1)
正対化画像取得部、読取部、判定部、及び出力部を含み、
前記正対化画像取得部は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取部は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定部は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力部は、前記判定結果を出力する、識別管理支援装置。
(付記2)
前記読取部は、文字認識モデルに前記正対化管理画像を入力して、前記正対化管理画像が含む文字を認識して前記識別情報を読み取る、付記1記載の識別管理支援装置。
(付記3)
特徴情報抽出部、および特徴情報管理部を含み、
前記特徴情報抽出部は、前記正対化管理画像から識別管理対象の特徴情報を抽出し、
前記特徴情報管理部は、前記識別情報が前記管理識別情報と一致する場合、前記特徴情報と前記識別情報とを紐づけて管理する、
付記1または2記載の識別管理支援装置。
(付記4)
前記判定部は、前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、付記3記載の識別管理支援装置。
(付記5)
前記判定部は、
前記識別情報と管理識別情報とを照合し、前記識別情報の少なくとも一部が前記管理識別情報と一致しない場合、
前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、付記4記載の識別管理支援装置。
(付記6)
画像取得部、端末情報取得部、距離情報取得部、基準姿勢情報取得部、基準面設定部、画像補正部、および出力部を含み、
前記画像取得部は、補正対象画像を取得し、
前記補正対象画像は、識別管理対象物を含む画像であり、
前記端末情報取得部は、端末姿勢情報を取得し、
前記端末姿勢情報は、前記補正対象画像取得時の撮像端末の姿勢の情報であり、
前記距離情報取得部は、対象物距離情報を取得し、
前記対象物距離情報は、前記撮像端末から前記識別管理対象物までの距離の情報であり、
前記基準姿勢情報取得部は、基準姿勢情報を取得し、
前記基準姿勢情報は、前記補正対象画像取得時の前記識別管理対象物の姿勢の情報であり、
前記基準面設定部は、前記端末姿勢情報、前記対象物距離情報、および前記基準姿勢情報に基づいて、正対化基準面を設定し、
前記画像補正部は、前記端末姿勢情報および前記基準姿勢情報に基づいて、前記補正対象画像を、前記正対化基準面から垂直方向から見た正対化画像に補正し、
前記出力部は、前記正対化画像を前記正対化管理対象画像として、付記1から5のいずれかに記載の識別管理支援装置に出力する、識別管理支援端末。
(付記7)
前記端末姿勢情報が、撮像端末のジャイロセンサの情報を含む、付記6記載の識別管理支援端末。
(付記8)
前記画像取得部は、前記補正対象画像として、撮影プレビュー画像をリアルタイムに取得し、
前記画像補正部は、前記撮影プレビュー画像をリアルタイムに前記正対化画像に補正する、付記6または7記載の識別管理支援端末。
(付記9)
前記画像補正部は、前記撮影プレビュー画像から所定の範囲をトリミングし、トリミング後の画像を正対化画像に補正する、
付記6から8のいずれかに記載の識別管理支援端末。
(付記10)
サーバと端末とを含み、
前記サーバと前記端末とは、通信回線網を介して通信可能であり、
前記サーバは、付記1から5のいずれかに記載の識別管理支援装置であり、
前記端末は、付記6から9のいずれかに記載の識別管理支援端末である、識別管理支援システム装置。
(付記11)
正対化画像取得工程、読取工程、判定工程、及び出力工程を含み、
前記正対化画像取得工程は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取工程は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定工程は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力工程は、前記判定結果を出力する、識別管理支援方法。
(付記12)
前記読取工程は、文字認識モデルに前記正対化管理画像を入力して、前記正対化管理画像が含む文字を認識して前記識別情報を読み取る、付記11記載の識別管理支援方法。
(付記13)
特徴情報抽出工程、特徴情報管理工程を含み、
前記特徴情報抽出工程は、前記正対化管理画像から識別管理対象の特徴情報を抽出し、
前記特徴情報管理工程は、前記識別情報が前記管理識別情報と一致する場合、前記特徴情報と前記識別情報とを紐づけて管理する、
付記11または12記載の識別管理支援方法。
(付記14)
前記判定工程は、前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、付記13記載の識別管理支援方法。
(付記15)
前記判定工程は、
前記識別情報と管理識別情報とを照合し、前記識別情報の少なくとも一工程が前記管理識別情報と一致しない場合、
前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、付記14記載の識別管理支援方法。
(付記16)
正対化画像取得手順、読取手順、判定手順、及び出力手順を含み、
前記正対化画像取得手順は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取手順は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定手順は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力手順は、前記判定結果を出力し、
前記各手順をコンピュータに実行させるためのプログラム。
(付記17)
前記読取手順は、文字認識モデルに前記正対化管理画像を入力して、前記正対化管理画像が含む文字を認識して前記識別情報を読み取る、付記16記載のプログラム。
(付記18)
特徴情報抽出手順、特徴情報管理手順を含み、
前記特徴情報抽出手順は、前記正対化管理画像から識別管理対象の特徴情報を抽出し、
前記特徴情報管理手順は、前記識別情報が前記管理識別情報と一致する場合、前記特徴情報と前記識別情報とを紐づけて管理する、
付記16または17記載のプログラム。
(付記19)
前記判定手順は、前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、付記18記載のプログラム。
(付記20)
前記判定手順は、
前記識別情報と管理識別情報とを照合し、前記識別情報の少なくとも一手順が前記管理識別情報と一致しない場合、
前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、付記19記載のプログラム。
(付記21)
正対化画像取得手順、読取手順、判定手順、及び出力手順を含み、
前記正対化画像取得手順は、識別管理対象画像取得時の撮像端末の姿勢情報を用いて、識別管理対象画像を正対化基準面に対し垂直方向から見た画像に補正した正対化管理画像を取得し、
前記読取手順は、前記正対化管理画像から識別管理対象に付された識別情報を読み取り、
前記判定手順は、前記識別情報を管理識別情報と照合し、前記識別情報が前記管理識別情報と一致するかを判定し、
前記出力手順は、前記判定結果を出力し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
(付記22)
前記読取手順は、文字認識モデルに前記正対化管理画像を入力して、前記正対化管理画像が含む文字を認識して前記識別情報を読み取る、付記21記載の記録媒体。
(付記23)
特徴情報抽出手順、特徴情報管理手順を含み、
前記特徴情報抽出手順は、前記正対化管理画像から識別管理対象の特徴情報を抽出し、
前記特徴情報管理手順は、前記識別情報が前記管理識別情報と一致する場合、前記特徴情報と前記識別情報とを紐づけて管理する、
付記21または22記載の記録媒体。
(付記24)
前記判定手順は、前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、付記23記載の記録媒体。
(付記25)
前記判定手順は、
前記識別情報と管理識別情報とを照合し、前記識別情報の少なくとも一手順が前記管理識別情報と一致しない場合、
前記特徴情報と、前記管理識別情報に紐づけられた特徴情報とを照合し、前記特徴情報が、前記管理識別情報に紐づけられた特徴情報と一致するかを判定する、付記24記載の記録媒体。
【産業上の利用可能性】
【0074】
本発明によれば、容易に識別管理を行うことができる。このため、本発明は、物品を管理する様々な分野において広く有用である。
【符号の説明】
【0075】
1 識別管理支援装置
2 正対化画像取得部
3 読取部
4 判定部
5 出力部
6 特徴抽情報出部
7 特徴情報管理部
101 CPU
102 メモリ
103 バス
104 記憶装置
105 入力装置
106 出力装置
107 通信デバイス
20 識別管理支援端末
21 画像取得部
22 端末情報取得部
23 距離情報取得部
24 基準姿勢情報取得部
25 基準面設定部
26 画像補正部
27 出力部
201 CPU
202 メモリ
203 バス
204 記憶装置
205 入力装置
206 出力装置
207 通信デバイス