特許 6837880 画像処理装置、画像処理システム、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6837880

(24)【登録日】2021年2月15日

(45)【発行日】2021年3月3日

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20210222BHJP

   G06T 7/593 20170101ALI20210222BHJP

   G06T 3/40 20060101ALI20210222BHJP

   G06T 3/00 20060101ALI20210222BHJP

   G06T 5/00 20060101ALI20210222BHJP

【ＦＩ】

   G06T1/00 315

   G06T7/593

   G06T3/40 730

   G06T3/00 720

   G06T5/00 725

【請求項の数】14

【全頁数】22

(21)【出願番号】特願2017-50498(P2017-50498)

(22)【出願日】2017年3月15日

(65)【公開番号】特開2018-156192(P2018-156192A)

(43)【公開日】2018年10月4日

【審査請求日】2019年9月6日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】君山 健二

(72)【発明者】

【氏名】鈴木 美彦

(72)【発明者】

【氏名】二神 拓也

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特表２０１４−５３１６３６（ＪＰ，Ａ）

【文献】 特開２００５−２９３２９０（ＪＰ，Ａ）

【文献】 特開２０１２−１４７２５２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０６１９４０（ＷＯ，Ａ１）

【文献】 特開２０１１−０７０５７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ ３／４０

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

プログラムを記憶するメモリと、
前記メモリに記憶された前記プログラムを実行するプロセッサと、
を備え、
前記プロセッサは、
文字または記号による対象情報が付与された対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成し、
生成された前記３次元データを平面化することにより、２次元データを生成し、
生成された前記２次元データに基づき、前記対象情報の認識に用いられる認識用画像を生成し、
さらに、前記プロセッサは、
前記距離画像からノイズを除去し、
前記ノイズを除去された前記距離画像の前記対象物の高さ方向のスケールを、前記対象物の画像の横方向のスケールおよび縦方向のスケールに基づいて調整し、
前記対象物の高さ方向のスケールを調整された前記距離画像に基づき、前記対象物の各画素の３次元空間上における座標を算出し、
算出された３次元空間上の前記座標と、前記対象物の画像とに基づいて、前記３次元データを生成する
画像処理装置。

【請求項2】

前記プロセッサは、前記距離画像が取得された際の信頼度に基づいて前記距離画像に含まれる距離情報に重み付けをして、前記３次元データを生成する
請求項１記載の画像処理装置。

【請求項3】

前記プロセッサは、
前記対象物の位置の基準となるベース面を検出し、
検出された前記ベース面を基準として、生成された前記３次元データを平面化することにより、前記２次元データを生成する
請求項１または２記載の画像処理装置。

【請求項4】

前記プロセッサは、前記３次元データにおける各点間の距離を維持しつつ、前記各点の高さ方向の座標を前記ベース面の高さまで下降させる
請求項３記載の画像処理装置。

【請求項5】

前記プロセッサは、生成された前記２次元データに対して、解像度を高めるための超解像処理を行う
請求項１から４の何れか１項に記載の画像処理装置。

【請求項6】

前記プロセッサは、前記２次元データに対して、自己相似性を用いる方式の前記超解像処理を行う
請求項５記載の画像処理装置。

【請求項7】

前記プロセッサは、前記２次元データに対して、最近傍探索により初期画像を生成する方式の前記超解像処理を行う
請求項５記載の画像処理装置。

【請求項8】

前記プロセッサは、前記２次元データに対して前記超解像処理を行うことにより、高解像度化された２値化画像を前記認識用画像として生成する
請求項５記載の画像処理装置。

【請求項9】

前記プロセッサは、
前記対象物の画像において、前記対象情報の周辺における光が反射している領域を検出し、
検出された前記領域に基づき、生成された２次元データにおける光の反射を、画像処理によって抑制する
請求項１から８の何れか１項に記載の画像処理装置。

【請求項10】

前記プロセッサは、前記３次元データに基づき、前記対象情報が記載されている領域における白地部分と、鏡面反射によって白とびが発生した部分とを識別する
請求項９記載の画像処理装置。

【請求項11】

前記プロセッサは、インペインティング処理により、周辺の画素を用いた穴埋めを行うことで、検出された前記領域における光の反射を抑制する
請求項９または１０記載の画像処理装置。

【請求項12】

文字または記号による対象情報が付与された対象物の画像を取得する画像取得装置と、
前記対象情報の認識に用いられる認識用画像を生成する画像処理装置と、を備え、
前記画像処理装置は、
プログラムを記憶するメモリと、
前記メモリに記憶された前記プログラムを実行するプロセッサと、
を備え、
前記プロセッサは、
前記画像取得装置によって取得された前記対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成し、
生成された前記３次元データを平面化することにより、２次元データを生成し、
生成された前記２次元データに基づき、前記認識用画像を生成し、
さらに、前記プロセッサは、
前記距離画像からノイズを除去し、
前記ノイズを除去された前記距離画像の前記対象物の高さ方向のスケールを、前記対象物の画像の横方向のスケールおよび縦方向のスケールに基づいて調整し、
前記対象物の高さ方向のスケールを調整された前記距離画像に基づき、前記対象物の各画素の３次元空間上における座標を算出し、
算出された３次元空間上の前記座標と、前記対象物の画像とに基づいて、前記３次元データを生成する
画像処理システム。

【請求項13】

文字または記号による対象情報が付与された対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成し、
前記３次元データを平面化することにより、２次元データを生成し、
前記２次元データに基づき、前記対象情報の認識に用いられる認識用画像を生成する画像処理方法であって、
前記距離画像からノイズを除去し、
前記ノイズを除去された前記距離画像の前記対象物の高さ方向のスケールを、前記対象物の画像の横方向のスケールおよび縦方向のスケールに基づいて調整し、
前記対象物の高さ方向のスケールを調整された前記距離画像に基づき、前記対象物の各画素の３次元空間上における座標を算出し、
算出された３次元空間上の前記座標と、前記対象物の画像とに基づいて、前記３次元データを生成する
画像処理方法。

【請求項14】

コンピュータに、
文字または記号による対象情報が付与された対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成させ、
前記３次元データを平面化させることにより、２次元データを生成させ、
前記２次元データに基づき、前記対象情報の認識に用いられる認識用画像を生成させる
プログラムであって、
さらに、コンピュータに、
前記距離画像からノイズを除去させ、
前記ノイズを除去された前記距離画像の前記対象物の高さ方向のスケールを、前記対象物の画像の横方向のスケールおよび縦方向のスケールに基づいて調整させ、
前記対象物の高さ方向のスケールを調整された前記距離画像に基づき、前記対象物の各画素の３次元空間上における座標を算出させ、
算出された３次元空間上の前記座標と、前記対象物の画像とに基づいて、前記３次元データを生成させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置、画像処理システム、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

近年、物流分野においては、不定形の荷物パッケージに記載されている宛名をＯＣＲ（(Optical Character Recognition）装置により認識することが行われている。荷物パッケージが紙袋やビニール袋の場合、荷物の形状に応じて荷物パッケージが変形し、荷物パッケージに記載された宛名も変形する。

【0003】

宛名の変形が小さい場合、ＯＣＲ装置は、宛名画像の歪みを画像処理によって補正することで、宛名に記載された住所情報を認識することができる。しかしながら、宛名が大きく変形した場合は、ＯＣＲ装置が宛名を誤認識したり、認識不能となったりする場合があった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−１２３０４３号公報

【特許文献2】特開２０１２−２２４７４号公報

【特許文献3】特開２００１−５３９６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、対象物に付与された対象情報の認識率を向上させることができる画像処理装置、画像処理システム、画像処理方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の画像処理装置は、３次元データ生成部と、２次元データ生成部と、認識用画像生成部とを持つ。３次元データ生成部は、文字または記号による対象情報が付与された対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成する。２次元データ生成部は、前記３次元データ生成部によって生成された前記３次元データを平面化することにより、２次元データを生成する。認識用画像生成部は、前記２次元データ生成部によって生成された前記２次元データに基づき、前記対象情報の認識に用いられる認識用画像を生成する。

【図面の簡単な説明】

【0007】

【図1】第１実施形態に係る画像処理システム１０の全体構成を示す図。

【図2】第１実施形態に係る第２画像取得部１２０を用いた距離の測定処理の一例を示す図。

【図3】第１実施形態に係る画像処理装置２００のブロック図。

【図4】第１実施形態に係る画像処理装置２００の処理を示すフローチャート。

【図5】第２実施形態に係る画像処理装置２００のブロック図。

【図6】第２実施形態に係る画像処理装置２００の処理を示すフローチャート。

【図7】第３実施形態に係るライトフィールドカメラ１２０の詳細な構成を示す図。

【図8】第３実施形態に係るマイクロレンズアレイ１２６の構造を示す図。

【図9】第３実施形態に係るマイクロレンズアレイ１２６とイメージセンサ１２７との関係を示す図。

【図10】第３実施形態に係る視差の計算を説明するための図。

【図11】第４実施形態に係るマイクロレンズアレイ１２６の構造を示す図。

【発明を実施するための形態】

【0008】

以下、実施形態の画像処理装置、画像処理システム、画像処理方法、およびプログラムを、図面を参照して説明する。

【0009】

（第１実施形態）
図１は、第１実施形態に係る画像処理システム１０の全体構成を示す図である。図１に示されるように、本実施形態の画像処理システム１０は、画像取得装置１００と、画像処理装置２００と、区分装置３００と、ビデオコーディングシステム（以下、「ＶＣＳ」と称する）５００とを備える。

【0010】

画像処理装置２００は、画像取得装置１００および区分装置３００と通信可能に接続されている。また、画像処理装置２００は、ＶＣＳ５００とネットワークＮＷを介して接続されている。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等である。

【0011】

画像取得装置１００は、第１画像取得部１１０と、第２画像取得部１２０と、照明１３０と、照明１４０とを備える。第１画像取得部１１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal oxide semiconductor）センサが一直線に配列されたラインスキャンセンサである。照明１３０および照明１４０は、ベルトコンベア３１０上の荷物（対象物の一例）４００に光を照射する。第１画像取得部１１０は、ベルトコンベア３１０によって一定速度で搬送される荷物４００を連続的に撮影することによって、荷物４００の画像を取得する。画像取得装置１００は、第１画像取得部１１０によって取得された荷物４００の画像を画像処理装置２００に送信する。

【0012】

図２は、第１実施形態に係る第２画像取得部１２０を用いた距離の測定処理の一例を示す図である。第２画像取得部１２０は、例えば、視点の異なる複数の画像を取得するステレオカメラであり、荷物４００の距離画像を生成するために用いられる。第２画像取得部１２０は、第１カメラ１２１と、第２カメラ１２２とを備える。第１カメラ１２１は左画像を取得し、第２カメラ１２２は右画像を取得する。

【0013】

図１および図２において、Ｙ軸は荷物４００が搬送される方向の軸であり、Ｘ軸はＹ方向に直交する方向の軸であり、Ｚ軸は荷物４００の高さ方向の軸である。以降、第１カメラ１２１と第２カメラ１２２とを結ぶベースラインのＺ軸方向の位置を「基準位置」と称する。

【0014】

図２においては、左画像面１２３と、右画像面１２４とが示されている。ここで、第１カメラ１２１と第２カメラ１２２との間の距離（ベースライン長）をＢ、焦点距離をＦ、基準位置から荷物４００までの距離をＤＺ、左画像における荷物４００の位置と左画像の中心との差をＤＬ、右画像における荷物４００の位置と右画像の中心との差をＤＲとする。

【0015】

この場合、視差ｄ＝ＤＬ−ＤＲとなり、距離ＤＺ＝Ｆ×Ｂ／ｄとなる。焦点距離Ｆは、第１カメラ１２１と第２カメラ１２２に使用されるレンズによって決まる値である。距離Ｂは、第１カメラ１２１の位置および第２カメラ１２２の位置によって決まる値である。視差ｄは、左画像および右画像に対してテンプレートマッチングを行うことにより求められる。

【0016】

第２画像取得部１２０は、取得した右画像および左画像を画像処理装置に送信する。画像処理装置２００は、第２画像取得部１２０から受信した右画像および左画像に基づき、画素ごとに距離ＤＺを求めることで、荷物４００の距離画像を生成することができる。距離画像は、例えば、距離が長いほど輝度値が高い（または低い）画像である。画像取得装置１００は、生成した距離画像を画像処理装置２００に送信する。

【0017】

画像処理装置２００は、画像取得装置１００から受信した荷物４００の画像および生成した距離画像に基づき、荷物４００の宛名領域（対象情報が存在する領域）４１０に記載されている住所情報（対象情報）を認識する。画像処理装置２００は、認識結果（住所情報）を区分装置３００に送信する。住所情報は、例えば、数字によって記載された郵便番号、文字や数字、記号によって記載された住所、またはこれらの組み合わせである。

【0018】

区分装置３００は、例えば複数の段および複数の列に区画された複数の区分ポケット（不図示）、およびＶＣＳポケット（不図示）を含む。区分装置３００は、画像処理装置２００から受信した認識結果（住所情報）に応じて、ベルトコンベア３１０によって搬送される荷物４００の区分先を切り替え、区分先の区分ポケットに荷物４００を集積する。

【0019】

画像処理装置２００は、宛名領域４１０に記載されている住所情報を認識できなかった場合、住所情報を認識できなかった旨の通知を区分装置３００に送信する。区分装置３００は、画像処理装置２００から住所情報を認識できなかった旨の通知を受信すると、荷物４００の区分先をＶＣＳポケットに切り替える。

【0020】

また、画像処理装置２００は、宛名領域４１０に記載されている住所情報を認識できなかった場合、荷物４００の画像データおよびＶＣ依頼を、ネットワークＮＷを介してＶＣＳ５００に送信する。

【0021】

ＶＣＳ５００は、画像処理装置２００により住所情報を認識できなかった荷物４００の画像を表示し、作業者の視認により住所情報の認識を補助するシステムである。ＶＣＳ５００の各端末は、荷物４００の画像を表示装置によって表示し、キーボードやタッチパネル等の入力デバイスによって作業者による住所情報の入力を受け付ける。

【0022】

ＶＣＳ５００は、作業者による住所情報の入力を受け付けると、入力された住所情報を、ネットワークＮＷを介して画像処理装置２００に送信する。画像処理装置２００は、ＶＣＳ５００から受信した住所情報を区分装置３００に送信する。これによって、ＯＣＲ処理によって住所情報を認識できなかった荷物４００が、正しい区分先に区分される。

【0023】

なお、画像処理装置２００が距離画像を生成することとしたが、これに限られない。例えば、画像取得装置１００が、第２画像取得部１２０によって取得された左画像および右画像に基づいて距離画像を生成し、生成した距離画像を画像処理装置２００に送信してもよい。

【0024】

図３は、第１実施形態に係る画像処理装置２００のブロック図である。画像処理装置２００は、距離画像生成部２１０と、３次元データ生成部２２０と、２次元データ生成部２３０と、認識用画像生成部２４０と、認識部２５０とを備える。

【0025】

距離画像生成部２１０、３次元データ生成部２２０、２次元データ生成部２３０、認識用画像生成部２４０、および認識部２５０は、ＣＰＵ（Central Processing Unit）等のプロセッサが、プログラムメモリに記憶されたプログラムを実行することで実現される。なお、距離画像生成部２１０、３次元データ生成部２２０、２次元データ生成部２３０、認識用画像生成部２４０、および認識部２５０は、プロセッサがプログラムを実行するのと同様の機能を有するＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、およびＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアにより実現されてもよい。

【0026】

前述したように、距離画像生成部２１０は、第２画像取得部１２０から受信した右画像および左画像に基づき、画素ごとに距離ＤＺを求めることで、荷物４００の距離画像を生成する。距離画像生成部２１０は、生成した距離画像を３次元データ生成部２２０に出力する。

【0027】

３次元データ生成部２２０は、ノイズ除去部２２１と、スケーリング部２２２と、モデリング部２２３と、３次元マッピング部２２４とを備える。２次元データ生成部２３０は、ベース面検出部２３１と、平面化部２３２とを備える。

【0028】

距離画像生成部２１０によって生成された距離画像には、視差の計算誤差などによりはずれ値が含まれる。このため、ノイズ除去部２２１は、距離画像生成部２１０から入力された距離画像からノイズを除去する。例えば、ノイズ除去部２２１は、メディアンフィルタを用いてノイズを除去する。ノイズ除去部２２１は、ノイズが除去された距離画像をスケーリング部２２２に出力する。

【0029】

スケーリング部２２２は、ノイズ除去部によってノイズを除去された距離画像のＺ方向（荷物４００の高さ方向）のスケールを、Ｘ方向（荷物４００の画像の横方向）のスケールおよびＹ方向（荷物４００の画像の縦方向）のスケールに基づいて調整する。スケーリング部２２２は、Ｚ方向のスケールを調整された距離画像をモデリング部２２３に出力する。

【0030】

モデリング部２２３は、スケーリング部２２２によってＺ方向のスケールを調整された距離画像に基づき、荷物４００の各画素の３次元空間上における座標（ｘ，ｙ，ｚ）を算出する。例えば、モデリング部２２３は、スプライン補間を行うことによって、距離画像における不完全な部分の座標を補間する。モデリング部２２３は、算出した３次元空間上における座標の集合（３次元モデル）を、３次元マッピング部２２４に出力する。

【0031】

３次元マッピング部２２４は、モデリング部２２３によって算出された３次元空間上の座標の集合と、第１画像取得部１１０から受信した荷物４００の画像とに基づいて、３次元データを生成する。具体的には、３次元マッピング部２２４は、第１画像取得部１１０から受信した荷物４００の画像に基づいて、荷物４００の各画素の３次元空間上における座標（ｘ，ｙ，ｚ）に、輝度値を対応付けることで、荷物４００の３次元データを生成する。３次元マッピング部２２４は、生成した３次元データをベース面検出部２３１に出力する。

【0032】

ベース面検出部２３１は、荷物４００の位置の基準となるベース面を検出する。例えば、ベース面は、荷物４００が置かれている面である。例えば、ベース面検出部２３１は、３次元マッピング部２２４によって生成された３次元データに対してＲＡＮＳＡＣ（RANdom SAmple Consensus）アルゴリズムを実行することで、ベース面を検出する。ベルトコンベア３１０の配置と第２画像取得部１２０の配置が固定である場合、ベース面検出部２３１は、ベース面を１度検出すればよい。ベース面検出部２３１は、検出したベース面のデータおよび３次元データを平面化部２３２に出力する。

【0033】

平面化部２３２は、ベース面検出部２３１によって検出されたベース面を基準として、３次元マッピング部２２４によって生成された３次元データを平面化することにより、２次元データを生成する。具体的には、平面化部２３２は、３次元データにおける各点間の距離を維持しつつ、各点のＺ方向の座標をベース面の高さまで下降させる。３次元データは、最終的には引き伸ばされた状態になり、歪の生じた住所情報（対象情報）が記載された面が平面化される。これによって、住所情報（対象情報）の歪みが補正される。平面化部２３２は、生成した２次元データを認識用画像生成部２４０に出力する。

【0034】

３次元空間上の各座標がベース面上に移動したため、平面化部２３２によって生成された２次元データには、単位面積当たりで粗密が生じている。このため、平面化部２３２によって生成された２次元データを補正して、住所情報（対象情報）の認識に適した画像を生成する必要がある。

【0035】

したがって、認識用画像生成部２４０は、平面化部２３２によって生成された２次元データに基づき、住所情報（対象情報）の認識に用いられる認識用画像を生成する。具体的には、認識用画像生成部２４０は、２次元のグリッドによって示される各画素の輝度を計算することで、認識用画像を生成する。

【0036】

また、認識用画像生成部２４０は、平面化部２３２によって生成された２次元データに対して、解像度を高めるための超解像処理を行ってもよい。例えば、認識用画像生成部２４０は、２次元データに対して、最近傍探索により初期画像を形成し、自己相似性を用いる方式の超解像処理を行ってもよい。これによって、住所情報の認識率を向上させることができる。

【0037】

認識部２５０は、２値化画像に対して認識処理を行う。このため、認識用画像生成部２４０は、２次元データに対して超解像処理を行うことにより、高解像度化された２値化画像を認識用画像として生成する。認識用画像生成部２４０は、生成した認識用画像を認識部２５０に出力する。

【0038】

認識部２５０は、認識用画像生成部２４０によって生成された認識用画像に対してＯＣＲ処理を行う。認識部２５０は、宛名領域４１０内の文字情報を検出できた場合には、住所情報を認識することができる。一方、認識部２５０は、宛名領域４１０内の文字情報を検出できなかった場合には、住所情報を認識できない。

【0039】

認識部２５０は、住所情報を認識できた場合、認識された住所情報を区分装置３００に送信する。一方、認識部２５０は、住所情報を認識できなかった場合、ＶＣ依頼および認識用画像を、ネットワークＮＷを介してＶＣＳ５００に送信する。

【0040】

ＶＣＳ５００は、認識部２５０からＶＣ依頼を受信すると、認識部２５０から受信した認識用画像を表示装置に表示する。作業者によって住所情報がＶＣＳ５００に入力されると、ＶＣＳ５００は入力された住所情報を、ネットワークＮＷを介して認識部２５０に送信する。認識部２５０は、ＶＣＳ５００から受信した住所情報を区分装置３００に送信する。これによって、認識部２５０によって住所情報を認識できなかった荷物４００は、正しい区分先に区分される。

【0041】

図４は、第１実施形態に係る画像処理装置２００の処理を示すフローチャートである。本フローチャートを実行するためのプログラムは、画像処理装置２００のプログラムメモリに格納されている。

【0042】

まず、画像処理装置２００は、第１画像取得部１１０から荷物４００の画像を取得する（Ｓ１）。また、距離画像生成部２１０は、第２画像取得部１２０から受信した複数の画像に基づき、距離画像を生成する（Ｓ２）。次に、ノイズ除去部２２１は、距離画像からノイズを除去する（Ｓ３）。スケーリング部２２２は、ノイズ除去部２２１によってノイズを除去された距離画像のＺ方向のスケールを、Ｘ方向のスケールおよびＹ方向のスケールに基づいて調整する（Ｓ４）。

【0043】

モデリング部２２３は、スケーリング部２２２によってＺ方向のスケールを調整された距離画像に基づき、荷物４００の各画素の３次元空間上における座標を算出する（Ｓ５）。３次元マッピング部２２４は、モデリング部２２３によって算出された３次元空間上の座標の集合と、第１画像所得部１１０から取得した荷物４００の画像とに基づいて、３次元データを生成する（Ｓ６）。

【0044】

ベース面検出部２３１は、荷物４００の位置の基準となるベース面を検出する（Ｓ７）。平面化部２３２は、ベース面検出部２３１によって検出されたベース面を基準として、３次元マッピング部２２４によって生成された３次元データを平面化することにより、２次元データを生成する（Ｓ８）。

【0045】

認識用画像生成部２４０は、平面化部２３２によって生成された２次元データに基づき、住所情報の認識に用いられる認識用画像を生成する（Ｓ９）。認識部２５０は、認識用画像生成部２４０によって生成された認識用画像に対してＯＣＲ処理を行う（Ｓ１０）。

【0046】

次に、認識部２５０は、住所情報を認識できたか否かを判定する（Ｓ１１）。認識部２５０は、住所情報を認識できたと判定した場合、後述するＳ１４に処理を移行させる。一方、認識部２５０は、住所情報を認識できなかったと判定した場合、ＶＣ依頼および認識用画像を、ネットワークＮＷを介してＶＣＳ５００に送信する（Ｓ１２）。その後、認識部２５０は、ネットワークＮＷを介してＶＣＳ５００から住所情報を受信する（Ｓ１３）。

【0047】

認識部２５０は、Ｓ１１において認識された住所情報、またはＳ１３において受信された住所情報を、区分装置３００に送信する（Ｓ１４）。これによって、認識部２５０によって住所情報を認識できなかった荷物４００は、正しい区分先に区分される。

【0048】

以上説明したように、第１実施形態の画像処理装置２００は、３次元データ生成部２２０と、２次元データ生成部２３０と、認識用画像生成部２４０とを持つ。３次元データ生成部２２０は、荷物４００の画像と距離画像とに基づいて、荷物４００の３次元データを生成する。２次元データ生成部２３０は、３次元データ生成部２２０によって生成された３次元データを平面化することにより、２次元データを生成する。認識用画像生成部２４０は、２次元データ生成部２３０によって生成された２次元データに基づき、住所情報の認識に用いられる認識用画像を生成する。これによって、第１実施形態の画像処理装置２００は、荷物４００に付与された住所情報の認識率を向上させることができる。

【0049】

（第２実施形態）
次に、第２実施形態について説明する。荷物４００のパッケージにビニール等の光沢のある物質が使用されている場合は、照明の光がパッケージの表面で鏡面反射するため、第１画像取得部１１０によって取得された荷物４００の画像に白とび（輝度値の飽和）が生じる。荷物４００の画像に白とびが生じると、住所情報（対象情報）の認識ができない場合がある。このため、第２実施形態の画像処理装置２００は、住所情報の周辺における光が反射している領域を検出し、２次元データにおける光の反射を、画像処理によって抑制する。これによって、住所情報の認識率を向上させることができる。以下、第２実施形態について詳細に説明する。

【0050】

図５は、第２実施形態に係る画像処理装置２００のブロック図である。図５において、図３の各部に対応する部分には同一の符号を付し、説明を省略する。画像処理装置２００は、距離画像生成部２１０と、３次元データ生成部２２０と、２次元データ生成部２３０と、認識用画像生成部２４０と、認識部２５０とに加えて、反射領域検出部２６０と、反射抑制部２７０とを備える。

【0051】

住所情報（対象情報）に鏡面反射が生じている場合には、住所情報を再現することができないため、認識部２５０はＶＣＳ５００にＶＣ依頼を行う。一方、住所情報の周辺の画像に鏡面反射（白とび）が生じると、認識部２５０は、鏡面反射によって輝度が急激に変化する部分（エッジ）を文字の一部であると誤認識する可能性がある。この場合、反射抑制部２７０は、住所情報の認識率を向上させるため、鏡面反射を抑制する処理を行う。

【0052】

反射抑制部２７０が、住所情報が記載されている領域に対して鏡面反射の抑制処理を行うと、かえって住所情報の認識率が下がる。このため、反射領域検出部２６０は、３次元マッピング部２２４によって生成された荷物４００の３次元データに基づいて、住所情報が記載されている可能性が高い真上（Ｚ方向）を向いた面における輝度の高い領域を、反射抑制処理の対象から除外する。

【0053】

反射領域検出部２６０は、真上（Ｚ方向）を向いた面か否かを、この面の法線ベクトルを用いて判別する。反射領域検出部２６０は、真上（Ｚ方向）を向いた面以外の面における輝度の高い領域を鏡面反射領域と判定する。これによって、反射領域検出部２６０は、荷物４００の３次元データに基づき、住所情報が記載されている領域における白地部分と、鏡面反射によって白とびが発生した部分とを識別することができる。

【0054】

図５に示されるように、第１画像取得部１１０は、反射領域検出部２６０に荷物４００の画像を出力する。また、３次元マッピング部２２４は、反射領域検出部２６０に３次元データを出力する。反射領域検出部２６０は、荷物４００の画像において、住所情報の周辺における光が反射している領域を検出する。具体的に、反射領域検出部２６０は、第１画像取得部１１０から入力された荷物４００の画像における輝度値が飽和している領域を、鏡面反射領域として検出する。

【0055】

また、反射領域検出部２６０は、３次元マッピング部２２４から入力された荷物４００の３次元データに基づいて、真上（Ｚ方向）を向いた面における輝度の高い領域を、鏡面反射領域から除外する。反射領域検出部２６０は、検出した鏡面反射領域を、反射抑制部２７０に出力する。

【0056】

反射抑制部２７０は、反射領域検出部２６０によって検出された鏡面反射領域に基づき、平面化部２３２によって生成された２次元データにおける光の反射を、画像処理によって抑制する。例えば、反射抑制部２７０は、インペインティング処理などの既存アルゴリズムを実行することによって、鏡面反射領域に対して反射抑制処理を行う。インペインティング処理において、反射抑制部２７０は、周辺の画素を用いた穴埋めを行うことで、反射領域検出部２６０によって検出された鏡面反射領域における光の反射を抑制する。反射抑制部２７０は、違和感を無くすための穴埋め処理よりも、新たなエッジ（輝度が急激に変化する部分）を生じさせない穴埋め処理を優先して行ってもよい。

【0057】

反射抑制部２７０は、反射抑制処理が行われた２次元データを、認識用画像生成部２４０に出力する。これ以降の処理は、第１実施形態と同様であるので、説明を省略する。

【0058】

図６は、第２実施形態に係る画像処理装置２００の処理を示すフローチャートである。本フローチャートを実行するためのプログラムは、画像処理装置２００のプログラムメモリに格納されている。

【0059】

まず、画像処理装置２００は、第１画像取得部１１０から荷物４００の画像を取得する（Ｓ１）。また、距離画像生成部２１０は、第２画像取得部１２０から受信した複数のサブ画像に基づき、距離画像を生成する（Ｓ２）。次に、ノイズ除去部２２１は、距離画像からノイズを除去する（Ｓ３）。スケーリング部２２２は、ノイズ除去部２２１によってノイズを除去された距離画像のＺ方向のスケールを、Ｘ方向のスケールおよびＹ方向のスケールに基づいて調整する（Ｓ４）。

【0060】

モデリング部２２３は、スケーリング部２２２によってＺ方向のスケールを調整された距離画像に基づき、荷物４００の各画素の３次元空間上における座標を算出する（Ｓ５）。３次元マッピング部２２４は、モデリング部２２３によって算出された３次元空間上の座標の集合と、画像取得装置１００から入力された荷物４００の画像とに基づいて、３次元データを生成する（Ｓ６）。

【0061】

ベース面検出部２３１は、荷物４００の位置の基準となるベース面を検出する（Ｓ７）。平面化部２３２は、ベース面検出部２３１によって検出されたベース面を基準として、３次元マッピング部２２４によって生成された３次元データを平面化することにより、２次元データを生成する（Ｓ８）。

【0062】

反射領域検出部２６０は、画像取得装置１００から取得した荷物４００の画像において、住所情報の周辺における光が反射している鏡面反射領域を検出する（Ｓ１５）。反射抑制部２７０は、反射領域検出部２６０によって検出された鏡面反射領域に基づき、平面化部２３２によって生成された２次元データおける光の反射を、画像処理によって抑制する（Ｓ１６）。

【0063】

認識用画像生成部２４０は、反射抑制部２７０によって反射抑制処理が行われた２次元データに基づき、住所情報の認識に用いられる認識用画像を生成する（Ｓ９）。認識部２５０は、認識用画像生成部２４０によって生成された認識用画像に対してＯＣＲ処理を行う（Ｓ１０）。以降の処理は、第１実施形態と同様であるので、説明を省略する。

【0064】

以上説明したように、第２実施形態の画像処理装置２００は、反射領域検出部２６０と、反射抑制部２７０とを持つ。反射領域検出部２６０は、荷物４００の画像において、住所情報の周辺における光が反射している鏡面反射領域を検出する。反射抑制部２７０は、反射領域検出部２６０によって検出された鏡面反射領域に基づき、平面化部２３２によって生成された２次元データにおける光の反射を、画像処理によって抑制する。これによって、第２実施形態の画像処理装置２００は、荷物４００に付与された住所情報の認識率を更に向上させることができる。

【0065】

（第３実施形態）
次に、第３実施形態について説明する。第１実施形態および第２実施形態においては、第２画像取得部１２０は、視点の異なる複数の画像を取得するステレオカメラであることとした。これに対し、第３実施形態においては、第２画像取得部１２０は、ライトフィールドカメラであることとする。以下、第３実施形態について詳細に説明する。

【0066】

第２画像取得部（ライトフィールドカメラ）１２０は、ベルトコンベア３１０上を移動する荷物４００を撮影する。第２画像取得部１２０は、荷物４００から反射されて第２画像取得部１２０に到達した光線の位置情報だけでなく、光線の進む方向に関する情報についても取得する。第２画像取得部１２０によって取得された画像データ（ライトフィールドデータ）に対して所定の処理が行われることで、フォーカスを任意の位置に合わせたり、視点を変えたりした画像を再構成することができる。以下、第２画像取得部１２０をライトフィールドカメラ１２０と称する。

【0067】

図７は、第３実施形態に係るライトフィールドカメラ１２０の詳細な構成を示す図である。図７において、Ｙ軸は荷物４００が搬送される方向の軸であり、Ｘ軸はＹ方向に直交する方向の軸であり、Ｚ軸は荷物４００の高さ方向の軸である。

【0068】

ライトフィールドカメラ１２０は、メインレンズ１２５、マイクロレンズアレイ１２６、およびイメージセンサ１２７を備える。メインレンズ１２５は、被写体（荷物４００）からの光が入射するレンズである。マイクロレンズアレイ１２６は、複数のマイクロレンズを備えるレンズアレイである。イメージセンサ１２７は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。イメージセンサ１２７は、例えば、ＣＣＤや、ＣＭＯＳ等のセンサである。

【0069】

図７に示されるライトフィールドカメラ１２０は複眼方式であるが、これに限られない。例えば、多眼方式等、他の方式のライトフィールドカメラであっても同等の効果が得られる。また、本実施形態のライトフィールドカメラ１２０は虚像光学系であるが、これに限られない。例えば、実像光学系であっても同等の効果が得られる。

【0070】

図８は、第３実施形態に係るマイクロレンズアレイ１２６の構造を示す図である。図８に示されるように、マイクロレンズアレイ１２６は、マイクロレンズが格子状に配列されたレンズアレイである。メインレンズ１２５から入射した光線群は、光線の方向にしたがって、マイクロレンズアレイ１２６によって分解される。図８においては、１３×１３のマイクロレンズアレイ１２６が示されているが、マイクロレンズの数はこれに限られない。

【0071】

また、本実施形態においては、マイクロレンズは光軸から見た形状が円形であることとしたが、これに限られない。例えば、マイクロレンズは、多角形（例えば、四角形）であってもよい。

【0072】

図９は、第３実施形態に係るマイクロレンズアレイ１２６とイメージセンサ１２７との関係を示す図である。図９に示されるように、マイクロレンズアレイ１２６によって分解された光線は、円形のサブ画像１２８ａおよび１２８ｂとして、イメージセンサ１２７上に投影される。ここでは、説明を簡単にするために２つのサブ画像１２８ａおよび１２８ｂを示したが、実際には複数のマイクロレンズのそれぞれに対応する複数のサブ画像がイメージセンサ１２７上に投影される。

【0073】

マイクロレンズアレイ１２６から投影された複数のサブ画像をイメージセンサ１２７の複数の画素が受光することで、光線の入射方向ごとの強度を検出することができる。イメージセンサ１２７によって検出された画像データ（ライトフィールドデータ）は、複数のマイクロレンズごとのサブ画像の集まりとなる。

【0074】

ライトフィールドカメラ１２０は、取得したライトフィールドデータを画像処理装置２００に送信する。画像処理装置２００の距離画像生成部２１０は、ライトフィールドカメラ１２０から受信したライトフィールドデータに基づき、距離画像を生成する。以下、距離画像の生成方法について説明する。

【0075】

距離画像生成部２１０は、ライトフィールドデータに基づき、マイクロレンズを介して得られるサブ画像ごとに、ライトフィールドカメラ１２０から被写体までの距離を算出する。これによって、距離画像生成部２１０は、距離画像を生成することができる。距離画像は、例えば、距離が長いほど輝度値が高い（または低い）画像である。距離画像生成部２１０は、隣接する複数のサブ画像に対してテンプレートマッチングを行うことにより視差を算出し、算出した視差に基づき、ステレオ画像処理のアルゴリズムを用いて距離を求める。

【0076】

図１０は、第３実施形態に係る視差の計算を説明するための図である。中央のマイクロレンズ１２６ａは、マイクロレンズ１２６ｂおよび１２６ｃと、Ｙ方向において隣接している。また、中央のマイクロレンズ１２６ａは、マイクロレンズ１２６ｄおよび１２６ｅと、Ｘ方向において隣接している。

【0077】

以下、中央のマイクロレンズ１２６ａを介して得られるサブ画像についての、ライトフィールドカメラ１２０から被写体までの距離の算出処理について具体的に説明する。距離画像生成部２１０は、中央のマイクロレンズ１２６ａを介して得られるサブ画像と、４つのマイクロレンズ１２６ｂから１２６ｅを介して得られる４つのサブ画像のそれぞれに対してテンプレートマッチングを行うことにより、４つの視差を算出する。

【0078】

具体的に、距離画像生成部２１０は、マイクロレンズ１２６ａを介して得られるサブ画像と、マイクロレンズ１２６ｂを介して得られるサブ画像とに基づき視差Ｄ１を算出する。また、距離画像生成部２１０は、マイクロレンズ１２６ａを介して得られるサブ画像と、マイクロレンズ１２６ｃを介して得られるサブ画像とに基づき視差Ｄ２を算出する。また、距離画像生成部２１０は、マイクロレンズ１２６ａを介して得られるサブ画像と、マイクロレンズ１２６ｄを介して得られるサブ画像とに基づき視差Ｄ３を算出する。また、距離画像生成部２１０は、マイクロレンズ１２６ａを介して得られるサブ画像と、マイクロレンズ１２６ｅを介して得られるサブ画像とに基づき視差Ｄ４を算出する。

【0079】

次に、距離画像生成部２１０は、４つの視差Ｄ１からＤ４の平均値Ｄａｖｅに基づき、ステレオ画像処理のアルゴリズムを用いて、中央のマイクロレンズ１２６ａを介して得られるサブ画像についての被写体までの距離を算出する。距離画像生成部２１０は、以上の処理を全てのマイクロレンズに対して行うことにより、距離画像を生成する。距離画像生成部２１０は、生成した距離画像をノイズ除去部２２１に出力する。

【0080】

なお、距離画像生成部２１０は、平均値Ｄａｖｅを用いて距離を算出することとしたが、これに限られない。例えば、距離画像生成部２１０は、テンプレートマッチングの結果の信頼度に基づいて最良と推定できる視差を４つの視差Ｄ１からＤ４の中から選択し、選択した視差に基づき、ステレオ画像処理のアルゴリズムを用いて、中央のマイクロレンズ１２６ａを介して得られるサブ画像についての被写体までの距離を算出してもよい。

【0081】

以上説明したように、第３実施形態における距離画像生成部２１０は、ライトフィールドカメラ１２０によって取得された荷物４００の画像データ（ライトフィールドデータ）に基づいて、距離画像を生成してもよい。これによって、第３実施形態においても、荷物４００に付与された住所情報の認識率を向上させることができる。

【0082】

なお、モデリング部２２３は、距離画像が取得された際の信頼度（テンプレートマッチングの結果の信頼度）に基づいて、距離画像に含まれる距離情報に重み付けをして、３次元データを生成してもよい。これによって、モデリング部２２３は、より高精度に３次元データを生成することができる。

【0083】

（第４実施形態）
次に、第４実施形態について説明する。第３実施形態においては、ライトフィールドカメラ１２０をエリアセンサとして用いることとした。これに対し、第４実施形態においては、ライトフィールドカメラ１２０をラインセンサとして用いることとする。これによって、ライトフィールドカメラ１２０の構成を簡易化することができる。以下、第４実施形態について詳細に説明する。

【0084】

図１１は、第４実施形態に係るマイクロレンズアレイ１２６の構造を示す図である。図１１に示されるように、マイクロレンズアレイ１２６は、マイクロレンズが格子状に配列されたレンズアレイである。メインレンズ１２５から入射した光線群は、光線の方向にしたがって、マイクロレンズアレイ１２６によって分解される。

【0085】

マイクロレンズアレイ１２６は、Ｙ方向（短手方向）の長さよりも、Ｘ方向（長手方向）の長さの方が長い。ここで、Ｙ方向は、ベルトコンベア３１０上を移動する荷物４００の移動方向であり、Ｘ方向は、Ｙ方向に直交する方向である。図１１に示されるマイクロレンズアレイ１２６は、３行×１５列＝４５個のマイクロレンズを有するが、マイクロレンズの個数はこれに限られない。

【0086】

荷物４００は、ライトフィールドカメラ１２０に対してＹ方向に相対的に移動しながら、ライトフィールドカメラ１２０によって撮影される。ライトフィールドカメラ１２０によって取得されたライトフィールドデータは、複数のマイクロレンズを介して得られた複数のマイクロ画像の集合であって、Ｙ方向の画素数よりも、Ｘ方向の画素数の方が多い。

【0087】

ライトフィールドカメラ１２０は、１回の撮影で１次元の画素値を出力する。ベルトコンベア３１０によって等速度で搬送される荷物４００を、ライトフィールドカメラ１２０が連続して撮影することにより、荷物４００の二次元画像が得られる。このため、図１１に示されるように、１ラインの画像を得るために必要な範囲のみにマイクロレンズアレイ１２６とイメージセンサ１２７が配置される。

【0088】

ライトフィールドカメラ１２０は、ライトフィールドカメラ１２０の長手方向（Ｘ方向）が荷物４００の移動方向（Ｙ方向）に対して直角となるように配置される。本実施形態においては、マイクロレンズは光軸から見た形状が円形であることとしたが、これに限られない。例えば、マイクロレンズは、多角形（例えば、四角形）であってもよい。また、本実施形態のライトフィールドカメラ１２０に代えて、従来のライトフィールドカメラからの出力の一部のみを用いることで代用してもよい。

【0089】

本実施形態のライトフィールドカメラ１２０を用いることで、照明１３０および照明１４０によって照らされる範囲を、ライン形状の範囲に限定することができる。照明１３０および照明１４０は広い範囲を照らす必要が無いため、照明１３０および照明１４０を小型化および低コスト化することができる。また、荷物４００が連続して重なりながら搬送される場合や、荷物４００が移動方向に長い形状である場合であっても、ライトフィールドカメラ１２０は荷物４００の全体を撮影することができる。なお、ライン形状の範囲を集中して照らすために、照明１３０および照明１４０と荷物４００との間にレンズを配置してもよい。

【0090】

以上説明したように、第４実施形態における距離画像生成部２１０は、ラインセンサとして使用されるライトフィールドカメラ１２０によって取得された荷物４００の画像データ（ライトフィールドデータ）に基づいて、距離画像を生成する。これによって、第４実施形態においては、照明を小型化および低コスト化することができるとともに、荷物４００の形状に関わらず距離画像を生成することができる。

【0091】

なお、第１実施形態から第４実施形態において、画像取得装置１００の位置が固定され、荷物４００が画像取得装置１００の撮影位置を通過することとしたが、これに限られない。例えば、荷物４００の位置が固定され、画像取得装置１００が移動して荷物４００を撮影してもよい。また、画像取得装置１００および荷物４００の両方が移動することにより、画像取得装置１００が対象物を撮影してもよい。

【0092】

（第５実施形態）
上記第１実施形態から第４実施形態においては、宛名領域４１０に付与された住所情報を認識することとしたが、認識対象はこれに限られない。例えば、第５実施形態において、認識部２５０は、道路を通行している車両のナンバープレートに対して認識処理を行う。認識部２５０は、第１実施形態から第４実施形態のいずれをナンバープレートの認識処理に適用してもよい。以下、第５実施形態について詳細に説明する。

【0093】

第５実施形態において、画像取得装置１００は路側に設置されている。第１画像取得部１１０および第２画像取得部１２０は、車両のナンバープレートを撮影する。距離画像生成部２１０は、第２画像取得部１２０によって取得されたナンバープレートの画像に基づいて、距離画像を生成する。

【0094】

３次元データ生成部２２０は、第１画像取得部１１０によって取得されたナンバープレートの画像と、距離画像生成部２１０によって生成された距離画像とに基づいて、ナンバープレートの３次元データを生成する。２次元データ生成部２３０は、３次元データ生成部２２０によって生成された３次元データを平面化することにより、２次元データを生成する。

【0095】

認識用画像生成部２４０は、２次元データ生成部２３０によって生成された２次元データに基づき、ナンバープレートの認識に用いられる認識用画像を生成する。これによって、ナンバープレート（対象物）に記載されたナンバー情報（対象情報）の認識率を向上させることができる。

【0096】

（第６実施形態）
第６実施形態において、認識部２５０は、路側に設置されている道路標識に対して認識処理を行う。認識部２５０は、第１実施形態から第４実施形態のいずれを道路標識の認識処理に適用してもよい。以下、第６実施形態について詳細に説明する。

【0097】

第６実施形態において、画像取得装置１００は車両に搭載されている。第１画像取得部１１０および第２画像取得部１２０は、道路標識を撮影する。距離画像生成部２１０は、第２画像取得部１２０によって取得された道路標識の画像に基づいて、距離画像を生成する。

【0098】

３次元データ生成部２２０は、第１画像取得部１１０によって取得された道路標識の画像と、距離画像生成部２１０によって生成された距離画像とに基づいて、道路標識の３次元データを生成する。２次元データ生成部２３０は、３次元データ生成部２２０によって生成された３次元データを平面化することにより、２次元データを生成する。

【0099】

認識用画像生成部２４０は、２次元データ生成部２３０によって生成された２次元データに基づき、道路標識の認識に用いられる認識用画像を生成する。これによって、道路標識（対象物）に記載された情報（対象情報）の認識率を向上させることができる。

【0100】

なお、第１実施形態から第６実施形態において、距離画像生成部２１０は、ステレオカメラまたはライトフィールドカメラによって撮影された画像に基づいて距離画像を生成することとしたが、これに限られない。例えば、第２画像取得部１２０は、基準位置から荷物４００までの距離を測定する距離センサであってもよい。この場合、距離画像生成部２１０は、距離センサによって測定された距離に基づいて距離画像を生成してもよい。

【0101】

また、第１実施形態から第６実施形態において、画像処理装置２００は認識部２５０を備えることとしたが、これに限られない。例えば、認識部２５０は、画像処理装置２００と通信可能なＯＣＲ装置に設けられてもよい。

【0102】

以上説明した少なくともひとつの実施形態によれば、画像処理装置２００は、３次元データ生成部２２０と、２次元データ生成部２３０と、認識用画像生成部２４０とを持つ。３次元データ生成部２２０は、住所情報が付与された荷物４００の画像と、基準位置から荷物４００までの距離を画素ごとに示す距離画像とに基づいて、荷物４００の３次元データを生成する。２次元データ生成部２３０は、３次元データ生成部２２０によって生成された３次元データを平面化することにより、２次元データを生成する。認識用画像生成部２４０は、２次元データ生成部２３０によって生成された２次元データに基づき、住所情報の認識に用いられる認識用画像を生成する。これによって、荷物４００（対象物）に付与された住所情報（対象情報）の認識率を向上させることができる。

【0103】

なお、上記実施形態による画像処理装置２００は、内部にコンピュータシステムを有している。そして、上述した画像処理装置２００の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【0104】

上記実施形態は、以下のように表現することができる。
情報を記憶する記憶部と、
前記記憶部に記憶されたプログラムを実行するハードウェアプロセッサと、を備え、
前記記憶部には、前記ハードウェアプロセッサに、
文字または記号による対象情報が付与された対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成させ、
前記３次元データを平面化させることにより、２次元データを生成させ、
前記２次元データに基づき、前記対象情報の認識に用いられる認識用画像を生成させる
前記プログラムが格納されている、
画像処理装置。

【0105】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
文字または記号による対象情報が付与された対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成する３次元データ生成部と、
前記３次元データ生成部によって生成された前記３次元データを平面化することにより、２次元データを生成する２次元データ生成部と、
前記２次元データ生成部によって生成された前記２次元データに基づき、前記対象情報の認識に用いられる認識用画像を生成する認識用画像生成部と、
を備える画像処理装置。
［Ｃ２］
前記３次元データ生成部は、
前記距離画像からノイズを除去するノイズ除去部と、
前記ノイズ除去部によって前記ノイズを除去された前記距離画像の前記対象物の高さ方向のスケールを、前記対象物の画像の横方向のスケールおよび縦方向のスケールに基づいて調整するスケーリング部と、
前記スケーリング部によって前記対象物の高さ方向のスケールを調整された前記距離画像に基づき、前記対象物の各画素の３次元空間上における座標を算出するモデリング部と、
前記モデリング部によって算出された３次元空間上の前記座標と、前記対象物の画像とに基づいて、前記３次元データを生成する３次元マッピング部と、を備える
［Ｃ１］記載の画像処理装置。
［Ｃ３］
前記モデリング部は、前記距離画像が取得された際の信頼度に基づいて前記距離画像に含まれる距離情報に重み付けをして、前記３次元データを生成する
［Ｃ２］記載の画像処理装置。
［Ｃ４］
前記２次元データ生成部は、
前記対象物の位置の基準となるベース面を検出するベース面検出部と、
前記ベース面検出部によって検出された前記ベース面を基準として、前記３次元データ生成部によって生成された前記３次元データを平面化することにより、前記２次元データを生成する平面化部と、を備える
［Ｃ１］から［Ｃ３］の何れか１つに記載の画像処理装置。
［Ｃ５］
前記平面化部は、前記３次元データにおける各点間の距離を維持しつつ、前記各点の高さ方向の座標を前記ベース面の高さまで下降させる
［Ｃ４］記載の画像処理装置。
［Ｃ６］
前記認識用画像生成部は、前記２次元データ生成部によって生成された前記２次元データに対して、解像度を高めるための超解像処理を行う
［Ｃ１］から［Ｃ５］の何れか１つに記載の画像処理装置。
［Ｃ７］
前記認識用画像生成部は、前記２次元データに対して、自己相似性を用いる方式の前記超解像処理を行う
［Ｃ６］記載の画像処理装置。
［Ｃ８］
前記認識用画像生成部は、前記２次元データに対して、最近傍探索により初期画像を生成する方式の前記超解像処理を行う
［Ｃ６］記載の画像処理装置。
［Ｃ９］
前記認識用画像生成部は、前記２次元データに対して前記超解像処理を行うことにより、高解像度化された２値化画像を前記認識用画像として生成する
［Ｃ６］記載の画像処理装置。
［Ｃ１０］
前記対象物の画像において、前記対象情報の周辺における光が反射している領域を検出する反射領域検出部と、
前記反射領域検出部によって検出された前記領域に基づき、２次元データ生成部によって生成された２次元データにおける光の反射を、画像処理によって抑制する反射抑制部と、を更に備える
［Ｃ１］から［Ｃ９］の何れか１つに記載の画像処理装置。
［Ｃ１１］
前記反射領域検出部は、前記３次元データに基づき、前記対象情報が記載されている領域における白地部分と、鏡面反射によって白とびが発生した部分とを識別する
［Ｃ１０］記載の画像処理装置。
［Ｃ１２］
前記反射抑制部は、インペインティング処理により、周辺の画素を用いた穴埋めを行うことで、前記反射領域検出部によって検出された前記領域における光の反射を抑制する
［Ｃ１０］または［Ｃ１１］記載の画像処理装置。
［Ｃ１３］
文字または記号による対象情報が付与された対象物の画像を取得する画像取得装置と、
前記対象情報の認識に用いられる認識用画像を生成する画像処理装置と、を備え、
前記画像処理装置は、
前記画像取得装置によって取得された前記対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成する３次元データ生成部と、
前記３次元データ生成部によって生成された前記３次元データを平面化することにより、２次元データを生成する２次元データ生成部と、
前記２次元データ生成部によって生成された前記２次元データに基づき、前記認識用画像を生成する認識用画像生成部と、
を備える画像処理システム。
［Ｃ１４］
文字または記号による対象情報が付与された対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成し、
前記３次元データを平面化することにより、２次元データを生成し、
前記２次元データに基づき、前記対象情報の認識に用いられる認識用画像を生成する
画像処理方法。
［Ｃ１５］
コンピュータに、
文字または記号による対象情報が付与された対象物の画像と、基準位置から前記対象物までの距離を画素ごとに示す距離画像とに基づいて、前記対象物の３次元データを生成させ、
前記３次元データを平面化させることにより、２次元データを生成させ、
前記２次元データに基づき、前記対象情報の認識に用いられる認識用画像を生成させる
プログラム。

【符号の説明】

【0106】

１０…画像処理システム、１００…画像取得装置、１１０…第１画像取得部、１２０…第２画像取得部、２００…画像処理装置、２１０…距離画像生成部、２２０…３次元データ生成部、２２１…ノイズ除去部、２２２…スケーリング部、２２３…モデリング部、２２４…３次元マッピング部、２３０…２次元データ生成部、２３１…ベース面検出部、２３２…平面化部、２４０…認識用画像生成部、２５０…認識部、２６０…反射領域検出部、２７０…反射抑制部、３００…区分装置、４００…荷物、４１０…宛名領域、５００…ビデオコーディングシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】