特許 6567384 情報認識装置、情報認識方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6567384

(24)【登録日】2019年8月9日

(45)【発行日】2019年8月28日

(54)【発明の名称】情報認識装置、情報認識方法、およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20190819BHJP

   G06K 9/00 20060101ALI20190819BHJP

   H04N 5/225 20060101ALI20190819BHJP

【ＦＩ】

   G06T1/00 430J

   G06K9/00 H

   H04N5/225 410

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2015-195940(P2015-195940)

(22)【出願日】2015年10月1日

(65)【公開番号】特開2017-68747(P2017-68747A)

(43)【公開日】2017年4月6日

【審査請求日】2018年5月1日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】大川 泰弘

(72)【発明者】

【氏名】君山 健二

(72)【発明者】

【氏名】青木 泰浩

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１４−１３２２５７（ＪＰ，Ａ）

【文献】 米国特許第０８６２８０１４（ＵＳ，Ｂ１）

【文献】 特開２０１４−１５４９８１（ＪＰ，Ａ）

【文献】 蚊野浩，コンピュテーショナルフォトグラフィ−ライトフィールドカメラLytroの動作原理とアルゴリズム−，[online]，２０１３年，ＵＲＬ，http://www.cc.kyoto-su.ac.jp/~kano/pdf/paper/2013%20Gakushinn%20Lytro.pdf

【文献】 梅田修一、比留間伸行，ライトフィールドカメラを導入した焦点調節模擬システムの設計，ＦＩＴ２０１３，２０１３年

【文献】 蚊野浩、中島弘喜 ，超解像処理によるライトフィールドカメラ画像の高画素化，第１８回画像センシングシンポジウム 講演論文集，日本，２０１２年 ６月 ６日，IS3-08-1〜IS3-08-7

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｋ ９／００

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

文字または記号による住所情報が付与された荷物を撮影することによって得られたライトフィールドデータに基づき、前記荷物において前記住所情報が存在する領域にフォーカスが合った検出用画像を生成する検出用画像生成部と、
前記検出用画像生成部によって生成された前記検出用画像に基づき、前記住所情報が存在する領域を示す文字領域データを検出する検出部と、
前記検出部によって検出された前記文字領域データに基づいて、前記住所情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する認識用画像生成部と、
前記認識用画像生成部によって生成された前記認識用画像に基づき、前記住所情報を認識し、前記住所情報を認識できた場合、認識結果を区分装置に送信する認識部と、
を備える情報認識装置。

【請求項2】

前記検出用画像生成部は、前記ライトフィールドデータに基づき互いに視点の異なる複数のサブ画像を生成し、前記複数のサブ画像の位置をずらして重ね合わせることで前記検出用画像を生成する
請求項１記載の情報認識装置。

【請求項3】

前記ライトフィールドデータに基づき、前記荷物までの距離を画素ごとに算出することにより、距離マップを生成する距離マップ生成部を更に備え、
前記検出用画像生成部は、前記距離マップ生成部によって生成された前記距離マップに基づき、前記複数のサブ画像を重ね合わせる際の位置ずらし量を制限することで、前記住所情報が存在する領域にフォーカスの合う範囲を制限する
請求項２記載の情報認識装置。

【請求項4】

前記認識用画像生成部は、超解像処理を行うことにより前記認識用画像を生成する
請求項１記載の情報認識装置。

【請求項5】

前記認識用画像生成部は、前記ライトフィールドデータに基づき互いに視点の異なる複数のサブ画像を生成し、前記複数のサブ画像を用いて前記超解像処理を行う
請求項４記載の情報認識装置。

【請求項6】

前記認識用画像生成部は、前記ライトフィールドデータに基づき撮影タイミングの異なる複数のサブ画像を生成し、前記複数のサブ画像を用いて前記超解像処理を行う
請求項４記載の情報認識装置。

【請求項7】

文字または記号による住所情報が付与された荷物を撮影することによって得られたライトフィールドデータに基づき、前記荷物において前記住所情報が存在する領域にフォーカスが合った検出用画像を生成する検出用画像生成工程と、
前記検出用画像生成工程で生成された前記検出用画像に基づき、前記住所情報が存在する領域を示す文字領域データを検出する検出工程と、
前記検出工程で検出された前記文字領域データに基づいて、前記住所情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する認識用画像生成工程と、
前記認識用画像生成工程で生成された前記認識用画像に基づき、前記住所情報を認識し、前記住所情報を認識できた場合、認識結果を区分装置に送信する認識工程と、
を備える情報認識方法。

【請求項8】

コンピュータを、
文字または記号による住所情報が付与された荷物を撮影することによって得られたライトフィールドデータに基づき、前記荷物において前記住所情報が存在する領域にフォーカスが合った検出用画像を生成する検出用画像生成部、
前記検出用画像生成部によって生成された前記検出用画像に基づき、前記住所情報が存在する領域を示す文字領域データを検出する検出部、
前記検出部によって検出された前記文字領域データに基づいて、前記住所情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する認識用画像生成部、
前記認識用画像生成部によって生成された前記認識用画像に基づき、前記住所情報を認識し、前記住所情報を認識できた場合、認識結果を区分装置に送信する認識部、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報認識装置、情報認識方法、およびプログラムに関する。

【背景技術】

【0002】

近年、物流分野においては、不定形の荷物パッケージに記載されている宛名をＯＣＲ装置により認識することが行われている。荷物パッケージのサイズや形状は様々であるため、宛名に対するカメラのフォーカスを、ＯＣＲ装置の認識処理に適した範囲に保つことが困難である。これに起因して、ＯＣＲ装置の認識エラーや認識不能が発生して、宛名の認識率が低下する場合がある。

【0003】

上記に関連し、荷物パッケージに記載されている宛名を、ライトフィールドカメラで撮影する技術が知られている。例えば、ライトフィールドカメラの一種として、マイクロレンズアレイによって入射光を分光し、分光した複数の方向の光を、イメージセンサを用いて検出するカメラが知られている。ライトフィールドカメラによって検出された画像データ（ライトフィールドデータ）に基づき、広範囲でフォーカスが合っている画像を再構成することができる。

【0004】

しかしながら、ライトフィールドカメラを物流分野に適用する場合において、宛名以外の領域にもフォーカスが合っている場合、宛名以外の領域に付与された文字を宛名であると誤検出する可能性がある。また、ライトフィールドカメラで再構成される画像は、ライトフィールドカメラの構造上解像度が低い。このため、ＯＣＲ装置の認識エラーや認識不能が発生して、宛名の認識率が低下する場合がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−１７６７１６号公報

【特許文献2】特開２０１４−１６６８７号公報

【非特許文献】

【0006】

【非特許文献1】上野梨紗子，他２名，「１ショットで２次元可視画像と距離画像を撮影可能な超小型複眼カメラモジュール」，東芝レビュー，Ｖｏｌ．６９，Ｎｏ．６，２０１４，Ｐ．３２〜３５

【非特許文献2】山本琢麿，他２名，「多眼カメラを用いたデジタルリフォーカス技術」，東芝レビュー，Ｖｏｌ．６９，Ｎｏ．１１，２０１４，Ｐ．３０〜３３

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、対象物の誤検出を抑制するとともに、対象物に付与された対象情報の認識率を向上させることができる情報認識装置、情報認識方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0008】

実施形態の情報認識装置は、検出用画像生成部と、検出部と、認識用画像生成部と、認識部とを持つ。前記検出用画像生成部は、文字または記号による住所情報が付与された荷物を撮影することによって得られたライトフィールドデータに基づき、前記荷物において前記住所情報が存在する領域にフォーカスが合った検出用画像を生成する。前記検出部は、前記検出用画像生成部によって生成された前記検出用画像に基づき、前記住所情報が存在する領域を示す文字領域データを検出する。前記認識用画像生成部は、前記検出部によって検出された前記文字領域データに基づいて、前記住所情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する。前記認識部は、前記認識用画像生成部によって生成された前記認識用画像に基づき、前記住所情報を認識し、前記住所情報を認識できた場合、認識結果を区分装置に送信する。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係る情報認識システム１０の全体構成を示す図。

【図2】ライトフィールドカメラ１００の詳細な構成を示す図。

【図3】マイクロレンズアレイ１２０の構造を示す図。

【図4】マイクロレンズアレイ１２０とイメージセンサ１３０との関係を示す図。

【図5】第１の実施形態に係る情報認識装置２００のブロック図。

【図6】認識用画像生成部２５０の詳細な構成を示すブロック図。

【図7】再構成処理部２５３の詳細な構成を示すブロック図。

【図8】第１の実施形態に係る情報認識装置２００の動作を示すフローチャート。

【図9】視差と対象物までの距離との関係を説明するための図。

【図10】第２の実施形態に係る情報認識装置７００のブロック図。

【発明を実施するための形態】

【0010】

以下、実施形態の情報認識装置、情報認識方法、およびプログラムを、図面を参照して説明する。

【0011】

（第１の実施形態）
図１は、第１の実施形態に係る情報認識システム１０の全体構成を示す図である。図１に示されるように、本実施形態の情報認識システム１０は、ライトフィールドカメラ１００と、情報認識装置２００と、ビデオコーディングシステム（以下、「ＶＣＳ」と称する）５００とを備える。

【0012】

ライトフィールドカメラ１００は、ベルトコンベア３１０上を移動する荷物（対象物の一例）４００を撮影する。ライトフィールドカメラ１００は、荷物４００から反射されてカメラに到達した光線の位置情報だけでなく、光線の進む方向に関する情報についても検出する。ライトフィールドカメラ１００によって検出された画像データ（ライトフィールドデータ）に対して所定の処理が行われることで、フォーカスを任意の位置に合わせたり、視点を変えたりした画像を再構成することができる。

【0013】

ライトフィールドカメラ１００は、荷物４００の画像データ（ライトフィールドデータ）を情報認識装置２００に送信する。情報認識装置２００は、ライトフィールドカメラ１００から受信したライトフィールドデータに基づき、ＯＣＲ処理を行うことによって荷物４００の宛名領域（対象情報が存在する領域）４１０に記載されている住所情報（対象情報）を認識する。情報認識装置２００は、認識結果（住所情報）を区分装置３００に送信する。住所情報は、例えば、数字によって記載された郵便番号、文字や数字、記号によって記載された住所、またはこれらの組み合わせである。

【0014】

区分装置３００は、例えば複数の段および複数の列に区画された複数の区分ポケット（不図示）、およびＶＣＳポケット（不図示）を含む。区分装置３００は、情報認識装置２００から受信した認識結果（住所情報）に応じて、ベルトコンベア３１０によって搬送されてくる荷物４００の区分先を切り替え、区分先の区分ポケットに荷物４００を集積する。

【0015】

情報認識装置２００は、宛名領域４１０に記載されている住所情報を認識できなかった場合、住所情報を認識できなかった旨の通知を区分装置３００に送信する。区分装置３００は、情報認識装置２００から住所情報を認識できなかった旨の通知を受信すると、荷物４００の区分先をＶＣＳポケットに切り替える。

【0016】

また、情報認識装置２００は、宛名領域４１０に記載されている住所情報を認識できなかった場合、荷物４００の画像データおよびＶＣ依頼を、ネットワークＮＷを介してＶＣＳ５００に送信する。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等である。

【0017】

ＶＣＳ５００は、情報認識装置２００により住所情報を認識できなかった荷物４００の画像を表示し、作業者の視認により住所情報の認識を補助するシステムである。ＶＣＳ５００の各端末は、荷物４００の画像を表示装置によって表示し、キーボードやタッチパネル等の入力デバイスによって作業者による住所情報の入力を受け付ける。

【0018】

ＶＣＳ５００は、作業者による住所情報の入力を受け付けると、入力された住所情報を、ネットワークＮＷを介して情報認識装置２００に送信する。情報認識装置２００は、ＶＣＳ５００から受信した住所情報を区分装置３００に送信する。これによって、ＯＣＲ処理によって住所情報を認識できなかった荷物４００が、正しい区分先に区分される。

【0019】

図２は、ライトフィールドカメラ１００の詳細な構成を示す図である。ライトフィールドカメラ１００は、メインレンズ１１０、マイクロレンズアレイ１２０、およびイメージセンサ１３０を備える。メインレンズ１１０は、被写体（荷物４００）からの光が入射するレンズである。マイクロレンズアレイ１２０は、複数のマイクロレンズを備えるレンズアレイである。イメージセンサ１３０は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。イメージセンサ１３０は、例えば、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のセンサである。

【0020】

図３は、マイクロレンズアレイ１２０の構造を示す図である。図３に示されるように、マイクロレンズアレイ１２０は、マイクロレンズが格子状に配列されたレンズアレイである。メインレンズ１１０から入射した光線群は、光線の方向にしたがって、マイクロレンズアレイ１２０によって分解される。

【0021】

図４は、マイクロレンズアレイ１２０とイメージセンサ１３０との関係を示す図である。図４に示されるように、マイクロレンズアレイ１２０によって分解された光線は、円形の分解像１５０ａおよび１５０ｂとして、イメージセンサ１３０上に投影される。ここでは、説明を簡単にするために２つの分解像１５０ａおよび１５０ｂを示したが、実際には複数のマイクロレンズのそれぞれに対応する複数の分解像がイメージセンサ１３０上に投影される。

【0022】

マイクロレンズアレイ１２０から投影された複数の分解像をイメージセンサ１３０の複数の画素が受光することで、光線の入射方向ごとの強度を検出することができる。イメージセンサ１３０によって検出された画像データ（ライトフィールドデータ）は、複数のマイクロレンズごとの分解像の集まりとなる。

【0023】

図５は、第１の実施形態に係る情報認識装置２００のブロック図である。情報認識装置２００は、制御装置２１０と、ライトフィールドデータメモリ２２０と、検出用画像生成部２３０と、距離マップ生成部２４０と、認識用画像生成部２５０と、画像メモリ２７０と、検出部２８０と、認識部（ＯＣＲ部）２９０とを備える。

【0024】

制御装置２１０は、ＣＰＵ（Central Processing Unit）等のプロセッサと、プロセッサが実行するプログラムを格納するプログラムメモリとを備える。なお、制御装置２１０は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアであってもよい。

【0025】

ライトフィールドデータメモリ２２０および画像メモリ２７０は、制御装置２１０によって読出しおよび書込みが可能なメモリであり、例えばＲＡＭ（Random Access Memory）である。

【0026】

検出用画像生成部２３０、距離マップ生成部２４０、認識用画像生成部２５０、検出部２８０、および認識部（ＯＣＲ）２９０は、例えば、制御装置２１０のプロセッサが、プログラムメモリに格納されたプログラムを実行することにより実現される。画像メモリ管理情報２６０は、画像メモリ２７０に格納された画像を管理するための情報である。

【0027】

ライトフィールドデータメモリ２２０は、ライトフィールドカメラ１００から受信したライトフィールドデータを記憶する。距離マップ生成部２４０は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。距離マップ生成部２４０は、読み出したライトフィールドデータに基づき、被写体までの距離を画素ごとに算出することにより、距離マップを生成する。以下、距離マップの生成方法について説明する。

【0028】

距離マップ生成部２４０は、ライトフィールドデータ中の各分解像（図４の１５０ａおよび１５０ｂ等）から同じ相対座標の画素を抽出して組み合わせることにより、第１のサブ画像を生成する。次に、距離マップ生成部２４０は、相対座標を変更し、ライトフィールドデータ中の各分解像から同じ相対座標の画素を抽出して組み合わせることにより、第２のサブ画像を生成する。第１のサブ画像と第２のサブ画像は、互いに視点の異なる画像である。

【0029】

距離マップ生成部２４０は、第１のサブ画像中の注目画素の位置および第２のサブ画像中の注目画素の位置に基づいて、視差を算出する。例えば、距離マップ生成部２４０は、第１のサブ画像および第２のサブ画像に対してテンプレートマッチングを行うことによって、注目画素における視差を算出する。

【0030】

次に、距離マップ生成部２４０は、算出した視差に基づき、注目画素における、ライトフィールドカメラ１００から被写体までの距離を算出する。例えば、距離マップ生成部２４０は、ステレオ画像処理のアルゴリズムを用いて、ライトフィールドカメラ１００から被写体までの距離を算出する。

【0031】

これと同様に、距離マップ生成部２４０は、他の複数の画素についてもライトフィールドカメラ１００から被写体までの距離を算出する。これによって、距離マップ生成部２４０は、各画素についてのライトフィールドカメラ１００から被写体までの距離を示す距離マップを生成することができる。距離マップ生成部２４０は、生成した距離マップを検出用画像生成部２３０および認識用画像生成部２５０に出力する。

【0032】

検出用画像生成部２３０は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。検出用画像生成部２３０は、読み出したライトフィールドデータおよび距離マップ生成部２４０から出力された距離マップに基づき、検出用画像を生成する。以下、検出用画像の生成方法について説明する。

【0033】

検出用画像生成部２３０が、視差を補正するようにサブ画像を位置合わせして重ね合わせると、ぼけのないフォーカスが合った画像が得られる。ここで、「フォーカスが合った」とは、被写体の文字のエッジが立ってはっきり見える状態、または被写体のある１点で反射した光が、レンズによってセンサの１点（または十分小さな領域）に集光されている状態を意味する。一方、検出用画像生成部２３０が、位置合わせをせずに複数のサブ画像を重ね合わせると、ぼけたフォーカスの合っていない画像が得られる。検出用画像生成部２３０は、サブ画像を重ね合わせる際の位置ずらし量を制限することで、フォーカスの合う範囲を制限することができる。

【0034】

検出用画像生成部２３０は、距離マップ生成部２４０によって生成された距離マップに基づき、複数のサブ画像を重ね合わせる際の位置ずらし量を制限することで、住所情報が存在する領域にフォーカスの合う範囲を制限する。これによって、検出用画像生成部２３０は、宛名領域４１０に付与された住所情報が存在する領域にフォーカスが合った検出用画像を生成することができる。

【0035】

検出用画像生成部２３０は、生成した検出用画像を画像メモリ２７０に格納する。制御装置２１０は、画像メモリ２７０に格納された画像を、画像メモリ管理情報２６０を用いて管理する。画像メモリ管理情報２６０は、画像メモリ２７０に格納された画像の識別情報、種類（検出用画像または認識用画像を示す情報）、およびアドレス等の情報を含む。

【0036】

検出部２８０は、画像メモリ２７０から検出用画像を読み出し、読み出した検出用画像に対して、２値化処理、エッジ強調、およびエッジ検出等の画像処理を施して、住所情報が記載されている領域を文字領域データとして検出する。検出部２８０は、検出した文字領域データを認識用画像生成部２５０および認識部２９０に出力する。

【0037】

このように、検出用画像生成部２３０は、住所情報が存在する領域にフォーカスを合わせるとともに、それ以外の領域をぼかした検出用画像を生成する。これによって、住所情報が記載されている領域を検出部２８０が誤検出することを抑制することができる。なお、本実施形態においては、住所情報が存在する領域にフォーカスを合わせられるように、メインレンズ１１０のフォーカスを事前に調整しておく必要がある。

【0038】

認識用画像生成部２５０は、検出部２８０によって検出された文字領域データに基づき、住所情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する。このように、住所情報が存在する領域のみに対して高解像度化処理を行うことで、認識用画像生成部２５０の負荷を低減するとともに、認識用画像生成部２５０の認識処理を高速化することができる。

【0039】

認識用画像生成部２５０は、高解像度化処理として超解像処理を行う。以下、認識用画像の生成方法について説明する。

【0040】

図６は、認識用画像生成部２５０の詳細な構成を示すブロック図である。図６に示されるように、認識用画像生成部２５０は、サブ画像生成部２５１、位置合わせ処理部２５２、再構成処理部２５３、および補間拡大処理部２５４を備える。サブ画像生成部２５１は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。サブ画像生成部２５１は、読み出したライトフィールドデータと、検出部２８０から出力された文字領域データとに基づき、住所情報が存在する領域についての視点の異なる複数のサブ画像（サブ画像３およびサブ画像４）を生成する。

【0041】

具体的に、サブ画像生成部２５１は、文字領域データに基づき、住所情報が存在する領域のライトフィールドデータを抽出する。サブ画像生成部２５１は、住所情報が存在する領域のライトフィールドデータ中の各分解像から同じ相対座標の画素を抽出して組み合わせることにより、第３のサブ画像を生成する。

【0042】

次に、距離マップ生成部２４０は、相対座標を変更し、住所情報が存在する領域のライトフィールドデータ中の各分解像から同じ相対座標の画素を抽出して組み合わせることにより、第４のサブ画像を生成する。第３のサブ画像と第４のサブ画像は、互いに視点の異なる画像である。サブ画像生成部２５１は、生成した第３のサブ画像および第４のサブ画像を、位置合わせ処理部２５２、再構成処理部２５３、および補間拡大処理部２５４に出力する。

【0043】

位置合わせ処理部２５２は、入力された第３のサブ画像および第４のサブ画像において同一部分と見なせる点である対応点を探索し、２つの点の移動量を動きベクトルとして算出する。位置合わせ処理部２５２は、算出した動きベクトルを再構成処理部２５３に出力する。

【0044】

補間拡大処理部２５４は、バイリニアやバイキュービックアルゴリズム等の補間アルゴリズムによって、第１解像度の第３のサブ画像（基準画像）を、第１解像度よりも高解像である第２解像度を表すことが可能な画素数に増加して初期画像を生成する補間拡大処理を行う。ここで、解像度は画像がどれだけ細かな部分を表現しているかを示すパラメータであり、画素数はどれだけ詳細な部分を表現可能なフォーマットかを示すパラメータである。補間拡大処理では、画素数は増加するが、解像度は増加しない。補間拡大処理部２５４は、生成した初期画像を再構成処理部２５３に出力する。

【0045】

再構成処理部２５３は、サブ画像生成部２５１から出力された第３および第４のサブ画像、位置合わせ処理部２５２から出力された動きベクトル、および補間拡大処理部２５４から出力された初期画像に基づき、認識用画像を生成する。

【0046】

図７は、再構成処理部２５３の詳細な構成を示すブロック図である。図７に示されるように、再構成処理部２５３は、予測画像生成部２５５と、誤差計算部２５６と、誤差補正部２５７と、画像バッファ２５８とを備えている。

【0047】

画像バッファ２５８は、補間拡大処理部２５４から出力された初期画像を一時的に格納する。予測画像生成部２５５は、画像バッファ２５８から初期画像を読み出す。予測画像生成部２５５は、読み出した初期画像と、位置合わせ処理部２５２から出力された動きベクトルとに基づき、予測画像を生成する。ここで、補間拡大処理の拡大率に応じて動きベクトルがスケーリングして用いられる。予測画像生成部２５５は、生成した予測画像を誤差計算部２５６に出力する。

【0048】

誤差計算部２５６は、予測画像生成部２５５から出力された予測画像と、サブ画像生成部２５１から出力された第１解像度の第４のサブ画像との誤差を計算して誤差画像を生成する。誤差計算部２５６は、生成した誤差画像を誤差補正部２５７に出力する。

【0049】

誤差補正部２５７は、誤差計算部２５６から出力された誤差画像に基づき、画像バッファ２５８に格納された初期画像を補正することにより、初期画像を高解像度化する。再構成処理部２５３は、誤差計算部２５６によって計算された誤差が所定の閾値以下になるまで上記の処理を繰り返すことによって、高解像度化された認識用画像を生成する。

【0050】

図５に示されるように、認識用画像生成部２５０は、生成した認識用画像を画像メモリ２７０に格納する。認識部２９０は、画像メモリ２７０から認識用画像を読み出す。認識部２９０は、読み出した認識用画像に対してＯＣＲ処理を行うことにより、宛名領域４１０に付与された住所情報を認識する。

【0051】

このように、認識部２９０は、認識用画像生成部２５０によって生成された高解像度の認識用画像に対してＯＣＲ処理を行う。これによって、宛名領域４１０に付与された住所情報の認識率を向上させることができる。

【0052】

認識部２９０は、住所情報を認識できた場合、認識結果（住所情報）を区分装置３００に送信する。一方、認識部２９０は、住所情報を認識できなかった場合、ＶＣ依頼および認識用画像を、ネットワークＮＷを介してＶＣＳ５００に送信する。

【0053】

ＶＣＳ５００は、認識部２９０からＶＣ依頼を受信すると、認識部２９０から受信した認識用画像を表示装置に表示する。作業者によって住所情報がＶＣＳ５００に入力されると、ＶＣＳ５００は入力された住所情報を、ネットワークＮＷを介して認識部２９０に送信する。認識部２９０は、ＶＣＳ５００から受信した住所情報を区分装置３００に送信する。これによって、認識部２９０によって住所情報を認識できなかった荷物４００は、正しい区分先に区分される。

【0054】

図８は、第１の実施形態に係る情報認識装置２００の動作を示すフローチャートである。本フローチャートを実行するためのプログラムは、制御装置２１０のプログラムメモリに格納されている。

【0055】

距離マップ生成部２４０は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す（ステップＳ１）。次に、距離マップ生成部２４０は、読み出したライトフィールドデータに基づき、距離マップを生成する（ステップＳ２）。

【0056】

検出用画像生成部２３０は、ライトフィールドデータメモリ２２０からライトフィールドデータを読み出す。その後、検出用画像生成部２３０は、ライトフィールドデータおよび距離マップ生成部２４０によって生成された距離マップに基づき、検出用画像を生成する（ステップＳ３）。

【0057】

検出部２８０は、検出用画像生成部２３０によって生成された検出用画像に基づき、住所情報が存在する領域を示す文字領域データを検出する（ステップＳ４）。その後、制御装置２１０は、検出部２８０によって文字領域データが検出されたか否かを判断する（ステップＳ５）。

【0058】

検出部２８０によって文字領域データが検出されなかった場合（ステップＳ５：ＮＯ）、制御装置２１０は、本フローチャートによる処理を終了する。検出部２８０によって文字領域データが検出された場合（ステップＳ５：ＹＥＳ）、認識用画像生成部２５０は、検出部２８０によって検出された文字領域データを用いて、住所情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する（ステップＳ６）。

【0059】

認識部２９０は、認識用画像生成部２５０によって生成された認識用画像に対してＯＣＲ処理を行うことにより、宛名領域４１０に付与された住所情報を認識する（ステップＳ７）。その後、認識部２９０は、住所情報を認識できたかどうかを判断する（ステップＳ８）。住所情報を認識できた場合（ステップＳ８：ＹＥＳ）、認識部２９０は、認識した住所情報を区分装置３００に送信する（ステップＳ９）。

【0060】

一方、住所情報を認識できなかった場合（ステップＳ８：ＮＯ）、認識部２９０は、ＶＣ依頼および認識用画像を、ネットワークＮＷを介してＶＣＳ５００に送信する（ステップＳ１０）。その後、認識部２９０は、ＶＣＳ５００から住所情報を受信し（ステップＳ１１）、受信した住所情報を区分装置３００に送信する（ステップＳ９）。これによって、認識部２９０によって住所情報を認識できなかった荷物４００は、正しい区分先に区分される。

【0061】

以上説明したように、第１の実施形態に係る情報認識装置は、住所情報が存在する領域にフォーカスが合った検出用画像を生成する検出用画像生成部２３０と、検出用画像に基づき住所情報が存在する領域を検出する検出部２８０と、住所情報が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する認識用画像生成部２５０と、認識用画像に基づき宛名領域４１０に付与された住所情報を認識する認識部２９０とを持つ。これにより、宛名領域４１０の誤検出を抑制するとともに、宛名領域４１０に付与された住所情報の認識率を向上させることができる。

【0062】

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、距離マップ生成部２４０が、ライトフィールドデータを用いて複数のサブ画像を生成し、生成した複数のサブ画像に基づいて距離マップを生成していた。しかしながら、複数のサブ画像に基づいて算出される視差の絶対値は小さいため、その値を元に距離マップ生成部２４０によって算出される距離は誤差が大きい。以下、この理由を説明する。

【0063】

図９は、視差と対象物までの距離との関係を説明するための図である。図９において、対象物６００と、第１の視点６０１と、第２の視点６０２と、左サブ画像面６１１と、右サブ画像面６１２とが示されている。ここで、第１の視点６０１と第２の視点６０２との間の距離をＢ、焦点距離をＦ、対象物までの距離をＺ、左サブ画像における対象物６００の位置と左サブ画像の中心との差をＤＬ、右サブ画像における対象物６００の位置と右サブ画像の中心との差をＤＲとする。

【0064】

この場合、視差ｄ＝ＤＬ−ＤＲとなり、距離Ｚ＝ＦＢ／ｄとなる。このように、視差ｄと距離Ｚは反比例するため、視差ｄの絶対値が小さいほど距離Ｚの変化量は大きくなる。第１の実施形態においては、複数のサブ画像に基づいて算出される視差の絶対値が小さいため、算出される距離の誤差は大きくなってしまう。そこで、第２の実施形態においては、距離を測定するセンサを用いて距離マップを生成することとした。以下、第２の実施形態について詳細に説明する。

【0065】

図１０は、第２の実施形態に係る情報認識装置７００のブロック図である。図１０において、図５の各部に対応する部分には同一の符号を付し、説明を省略する。情報認識装置７００は、制御装置２１０と、ライトフィールドデータメモリ２２０と、検出用画像生成部２３０と、認識用画像生成部２５０と、画像メモリ２７０と、検出部２８０と、認識部（ＯＣＲ）２９０とを備える。なお、本実施形態に係る情報認識装置７００は、距離マップ生成部２４０（図５）を有しない。

【0066】

距離マップは、距離センサ（不図示）によって生成される。距離センサは、ライトフィールドカメラ１００に取り付けられたセンサである。距離センサは、ライトフィールドカメラ１００から荷物４００までの距離を測定し、測定した距離に基づいて距離マップを生成する。

【0067】

例えば、距離センサは、赤外線光源および赤外線検出器を備え、赤外線検出器付近に取り付けられた赤外線光源により対象物を照射し、対象物からの反射光を赤外線検出器により検出し、検出した反射光の強度に基づいて距離を測定してもよい。この場合、距離センサは、距離が遠くなるにつれて反射光が減衰する性質を利用して、反射光の強度に基づいて距離を算出する。また、距離センサは、レーザ光源により特定のパターンを対象物に投影し、距離に応じて荷物４００の表面からの反射パターンが変化する性質を利用して距離を算出してもよい。

【0068】

距離センサは、生成した距離マップを、検出用画像生成部２３０および認識用画像生成部２５０に出力する。距離マップの作成以降の処理は、第１の実施形態と同様であるので説明を省略する。

【0069】

以上説明したように、第２の実施形態に係る情報認識装置７００は、距離センサによって生成された距離マップを用いて検出用画像を生成する。これによって、ライトフィールドカメラ１００から荷物４００までの距離をより正確に求めることができ、宛名領域４１０の誤検出を抑制するとともに、宛名領域４１０に付与された住所情報の認識率を更に向上させることができる。

【0070】

なお、第１および第２の実施形態において、検出部２８０は１つの宛名領域を検出することとしたが、複数の宛名領域を検出してもよい。宛名の配置パターンが既知の場合は、一定間隔で搬送される複数の荷物の宛名を同時に認識したり、荷物の宛名以外の位置に貼り付けられたバーコードを同時に読み取ったりしてもよい。

【0071】

また、第１および第２の実施形態において、認識用画像生成部２５０は住所情報が存在する領域のみを高解像度化して認識用画像を生成したが、画像全体を高解像度化して認識用画像を生成してもよい。この場合、認識部２９０は、検出部２８０によって検出された文字領域データに基づいて、全体を高解像度化された認識用画像から住所情報が存在する領域の画像を抽出し、抽出した画像に対してＯＣＲ処理を行ってもよい。

【0072】

また、第１および第２の実施形態において、認識用画像生成部２５０は、ライトフィールドデータに基づき互いに視点の異なる複数のサブ画像を生成し、生成した複数のサブ画像を用いて超解像処理を行うこととしたが、これに限らない。例えば、認識用画像生成部２５０は、ライトフィールドデータに基づき撮影タイミングの異なる複数のサブ画像を生成し、生成した複数のサブ画像を用いて超解像処理を行ってもよい。

【0073】

（第３の実施形態）
上記第１の実施形態および第２の実施形態においては、宛名領域４１０に付与された住所情報を認識することとしたが、認識対象はこれに限られない。例えば、第３の実施形態において、認識部２９０は、道路を通行している車両のナンバープレートに対して認識処理を行う。認識部２９０は、第１の実施形態および第２の実施形態のいずれをナンバープレートの認識処理に適用してもよい。以下、第３の実施形態について詳細に説明する。

【0074】

第３の実施形態において、ライトフィールドカメラ１００は路側に設置されている。ライトフィールドカメラ１００は、車両のナンバープレートを撮影することにより、ライトフィールドデータを取得する。検出用画像生成部２３０は、ナンバープレートのライトフィールドデータに基づき、ナンバープレートが存在する領域にフォーカスが合った検出用画像を生成する。

【0075】

検出部２８０は、検出用画像に基づき、ナンバープレートが存在する領域を検出する。認識用画像生成部２５０は、ナンバープレートが存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する。認識部２９０は、認識用画像に基づき、ナンバープレートに記載されているナンバー情報を認識する。

【0076】

以上説明したように、第３の実施形態において、ライトフィールドカメラ１００は、道路を通行している車両のナンバープレートのライトフィールドデータを取得する。情報認識装置２００および７００は、ナンバープレートのライトフィールドデータを用いて上述の認識処理を行うことにより、ナンバープレートの誤検出を抑制するとともに、ナンバープレートに付与されたナンバー情報の認識率を向上させることができる。

【0077】

（第４の実施形態）
第４の実施形態において、認識部２９０は、路側に設置されている道路標識に対して認識処理を行う。認識部２９０は、第１の実施形態および第２の実施形態のいずれを道路標識の認識処理に適用してもよい。以下、第４の実施形態について詳細に説明する。

【0078】

第４の実施形態において、ライトフィールドカメラ１００は車両に搭載されている。ライトフィールドカメラ１００は、道路標識を撮影してライトフィールドデータを取得する。検出用画像生成部２３０は、道路標識のライトフィールドデータに基づき、道路標識が存在する領域にフォーカスが合った検出用画像を生成する。

【0079】

検出部２８０は、検出用画像に基づき、道路標識が存在する領域を検出する。認識用画像生成部２５０は、道路標識が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する。認識部２９０は、認識用画像に基づき、道路標識に示される情報を認識する。

【0080】

以上説明したように、第４の実施形態において、ライトフィールドカメラ１００は、路側に設置されている道路標識のライトフィールドデータを取得する。情報認識装置２００および７００は、道路標識のライトフィールドデータを用いて上述の認識処理を行うことにより、道路標識の誤検出を抑制するとともに、道路標識に付与された情報の認識率を向上させることができる。

【0081】

以上説明した少なくともひとつの実施形態によれば、対象物が存在する領域にフォーカスが合った検出用画像を生成する検出用画像生成部２３０と、検出用画像に基づき対象物が存在する領域を検出する検出部２８０と、対象物が存在する領域に対して高解像度化処理を行うことにより、認識用画像を生成する認識用画像生成部２５０と、認識用画像に基づき対象物の情報を認識する認識部２９０とを持つ。これにより、対象物の誤検出を抑制するとともに、対象物に付与された対象情報の認識率を向上させることができる。

【0082】

なお、上記実施形態による情報認識装置２００および７００は、内部にコンピュータシステムを有している。そして、上述した情報認識装置２００および７００の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【0083】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0084】

１０…情報認識システム、１００…ライトフィールドカメラ、２００…情報認識装置、２１０…制御装置、２３０…検出用画像生成部、２４０…距離マップ生成部、２５０…認識用画像生成部、２８０…検出部、２９０…認識部、３００…区分装置、３１０…ベルトコンベア、４００…荷物、４１０…宛名領域、５００…ビデオコーディングシステム（ＶＣＳ）、７００…情報認識装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】