特許 6535196 画像処理装置、画像処理方法および画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6535196

(24)【登録日】2019年6月7日

(45)【発行日】2019年6月26日

(54)【発明の名称】画像処理装置、画像処理方法および画像処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190617BHJP

【ＦＩ】

   G06T7/00 510F

【請求項の数】8

【全頁数】24

(21)【出願番号】特願2015-75185(P2015-75185)

(22)【出願日】2015年4月1日

(65)【公開番号】特開2016-194858(P2016-194858A)

(43)【公開日】2016年11月17日

【審査請求日】2018年3月27日

(73)【特許権者】

【識別番号】500232640

【氏名又は名称】キヤノンイメージングシステムズ株式会社

(72)【発明者】

【氏名】稲葉 泰

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開平１−１３０２８８（ＪＰ，Ａ）

【文献】 特開２００８−１８７５９１（ＪＰ，Ａ）

【文献】 三須俊彦 外３名，オブジェクト追跡と背番号認識の連携による動画像用スポーツ選手同定手法，ＦＩＴ（情報科学技術フォーラム）２００３，２００３年，第１８７−１８９頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

複数の入力画像を順次または並列に対象画像として繰り返し処理を行う画像処理装置であって、
撮影環境情報に基づいて前記複数の入力画像の処理順序を決定する画像ソート部と、
前記画像ソート部で決定された前記処理順序に従って、前記対象画像内に存在する被写体を特定するための識別情報の認識処理を行い、当該認識処理結果と前記対象画像との紐付けを行う識別情報認識部と、
前記識別情報認識部で処理された前記対象画像内に前記識別情報が紐付けられていない被写体が存在する場合に、前記対象画像と前記処理順序の時系列において前または後に連続して位置する参照画像との類似度の比較を行う時系列画像比較部と、
前記時系列画像比較部の比較結果に基づいて前記参照画像のいずれか１つに紐付けられた識別情報を前記対象画像に紐付ける識別情報紐付け部と、を備えること
を特徴とする画像処理装置。

【請求項2】

前記画像処理装置は、前記被写体の顔の目や口の器官位置に基づき顔特徴量を算出する顔特徴量算出部をさらに備え、
前記時系列画像比較部は、前記顔特徴量算出部が算出した前記顔特徴量に基づいた比較を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像処理装置は、前記入力画像内の基準物と前記被写体との位置に基づき相対位置量を算出する相対位置量算出部をさらに備え、
前記時系列画像比較部は、前記相対位置量算出部が算出した前記相対位置量に基づいた比較を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記画像処理装置は、
前記入力画像のサイズ、撮影条件または撮影位置情報のうち一つまたは複数を取得する画像情報取得部と、
前記入力画像のうち背景部分を除いた被写体領域を抽出する被写体抽出部と、
前記被写体領域の構図に基づき構図特徴量を算出する構図特徴量算出部と、
前記被写体領域の色相分布に基づき画像特徴量を算出する画像特徴量算出部と、をさらに備え、
前記時系列画像比較部は、前記画像情報取得部が取得した画像情報、前記構図特徴量算出部が算出した前記構図特徴量または前記画像特徴量算出部が算出した前記画像特徴量に基づいた比較を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記画像処理装置は、前記識別情報認識部が紐付けた前記識別情報を取得する識別情報取得部をさらに備え、
前記時系列画像比較部は、前記識別情報取得部が取得した前記識別情報に基づいた比較を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記識別情報紐付け部は、前記対象画像に既に前記前の参照画像または前記後の参照画像と同じ識別情報が紐づけられている場合に、前記識別情報を紐付けないことを特徴とする請求項１乃至請求項５の何れか１項に記載の画像処理装置。

【請求項7】

複数の入力画像を順次または並列に対象画像として繰り返し処理を行う画像処理装置の画像処理方法であって、
撮影環境情報に基づいて前記複数の入力画像の処理順序を決定する画像ソートステップと、
前記画像ソートステップで決定された前記処理順序に従って、前記対象画像内に存在する被写体を特定するための識別情報の認識処理を行い、当該認識処理結果と前記対象画像との紐付けを行う識別情報認識ステップと、
前記識別情報認識ステップで処理された前記対象画像内に前記識別情報が紐付けられていない被写体が存在する場合に、前記対象画像と前記処理順序の時系列において前または後に連続して位置する参照画像との類似度の比較を行う時系列画像比較ステップと、
前記時系列画像比較ステップの比較結果に基づいて前記参照画像のいずれか１つに紐付けられた識別情報を前記対象画像に紐付ける識別情報紐付けステップと、を備えること
を特徴とする画像処理方法。

【請求項8】

請求項１乃至請求項６の何れか１項に記載の各手段をコンピュータに機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マラソン大会などのイベントで撮影された写真の画像処理方法に関するものである。

【背景技術】

【0002】

テーマパークやイベント会場などで来園者やイベント参加者などの人物画像をカメラで撮影してデータベースに登録し、来園者やイベント参加者などがデータベースを検索し、所望の人物画像を選択して購入できる画像注文システムがある。

【0003】

本出願人は、この様な画像注文システムにおいて、人物画像からイベント参加者のゼッケン番号の認識精度を向上させる目的で、入力画像から人物を検出し、検出した人物の顔位置からゼッケンが存在する領域を推定し、推定した領域からゼッケン番号を含む領域を検出することで、検出した領域に対して画像処理を行い、画像処理後の画像からゼッケン番号の文字認識を行い、認識結果と入力画像との紐付けを行う画像処理装置を提案している（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特願２０１４−２５９２５８

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、出願人自らが先に提案した特許文献１の画像処理装置をさらに拡張・発展させ、大量の撮影画像を処理する画像処理装置において、ゼッケン番号が不明確な場合にも、複数の入力画像間で画像を比較することにより被写体とゼッケン番号の紐付けを行う画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、請求項１に記載の画像処理装置は、複数の入力画像を順次または並列に対象画像として繰り返し処理を行う画像処理装置であって、撮影環境情報に基づいて前記複数の入力画像の処理順序を決定する画像ソート部と、前記画像ソート部で決定された前記処理順序に従って、前記対象画像内に存在する被写体を特定するための識別情報の認識処理を行い、当該認識処理結果と前記対象画像との紐付けを行う識別情報認識部と、前記識別情報認識部で処理された前記対象画像内に前記識別情報が紐付けられていない被写体が存在する場合に、前記対象画像と前記処理順序の時系列において前または後に連続して位置する参照画像との類似度の比較を行う時系列画像比較部と、前記時系列画像比較部の比較結果に基づいて前記参照画像のいずれか１つに紐付けられた識別情報を前記対象画像に紐付ける識別情報紐付け部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、複数の入力画像間で被写体または特徴量の類似度を利用して、入力画像内の被写体とゼッケン番号を高速に紐付けることが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の第１の実施形態による画像処理装置１００の一例を示すブロック図である。

【図2】画像処理装置１００が、被写体の顔特徴量に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明するためのフローチャートである。

【図3】画像処理装置１００が、顔の特徴量に基づいてゼッケン番号と人物画像との紐付けを行うまでの実施例の画像である。

【図4】本発明の第２の実施形態による画像処理装置２００の一例を示すブロック図である。

【図5】画像処理装置２００が、人物の相対位置関係に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明するためのフローチャートである。

【図6】画像処理装置２００が、人物の相対位置関係に基づいてゼッケン番号と人物画像との紐付けを行うまでの実施例の画像である。

【図7】本発明の第３の実施形態による画像処理装置３００の一例を示すブロック図である。

【図8】画像処理装置３００が、画像情報、構図特徴量および画像特徴量に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明するためのフローチャートである。

【図9】画像処理装置３００が、画像情報と画像の特徴量に基づいてゼッケン番号と人物画像との紐付けを行うまでの実施例の画像である。

【図10】本発明の第４の実施形態による画像処理装置４００の一例を示すブロック図である。

【図11】画像処理装置４００が、前後画像のゼッケン番号の情報に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明するためのフローチャートである。

【図12】画像処理装置４００が、前後画像のゼッケン番号の情報に基づいてゼッケン番号と人物画像との紐付けを行うまでの実施例の画像である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態による画像処理装置の一例について図面を参照して説明する。

【0010】

［第1の実施形態］
＜画像処理装置１００の構成＞
図１は、本発明の第１の実施形態による画像処理装置１００の一例を示すブロック図である。

【0011】

図示の画像処理装置１００は、パーソナルコンピュータ（ＰＣ）などの装置である。携帯電話や、ＰＤＡ、スマートフォンやタブレット端末などの装置でもよい。

【0012】

画像処理装置１００は、ハードウェア構成として、ＣＰＵ、メモリ、通信部、および記憶部（ともに不図示）を備えている。

【0013】

ＣＰＵは画像処理装置１００の全体の制御を司る。メモリはＲＡＭおよびＲＯＭなどである。

【0014】

通信部はＬＡＮ、無線通信路およびシリアルインターフェースなどに接続するためのインターフェースであって、撮影装置から撮影画像を受信するための機能部である。

【0015】

記憶部には、ソフトウェアであるオペレーティングシステム（以下、ＯＳと呼ぶ：不図示）、画像読み込み部１０１、画像ソート部１０２、一枚処理部１１０、複数枚処理部１２０および他の機能に係るソフトウェアが記憶されている。なお、これらのソフトウェアはメモリに読み出されて、ＣＰＵの制御に従い動作する。

【0016】

以下、各機能部が備える機能について詳述していく。

【0017】

画像読み込み部１０１は、撮影画像およびディスプレイ描画などを入力画像としてメモリから読み込み、画像処理装置１００のメモリ上に展開させる。具体的には、ＪＰＥＧファイルなどの圧縮されたイメージファイルを解凍し、各画素単位のＲＧＢ値順に配列したラスターイメージに展開し、ＰＣ内のメモリ上に展開させる。このとき、読み込んだ入力画像の画素数が十分に大きくない場合は、被写体検出部１１１における被写体の検出や、画像処理部１１４、文字認識部１１５での認識精度を十分に保つため、画素間を補間し、十分な画素数に拡大してもよい。また、必要以上に画素数が大きい場合は、処理を高速化させるために、画素を間引いて、縮小してもよい。また、入力画像の縦横関係を補正するために、必要に応じて入力画像を回転させてもよい。

【0018】

画像ソート部１０２は、画像処理装置１００のメモリ上に展開された入力画像を所定の順序でソートする。例えば、入力画像の更新時間・作成時間または入力画像内に記録されたイメージの撮影時間を取得し、時系列で入力画像をソートする。ここで、入力画像のファイルフォーマットは例えばＪＰＥＧであり、入力画像が数万枚以上と膨大になる場合には、ソート処理に膨大な時間がかかるため、数十枚単位で区分するなどソートする単位を変更してもよい。

【0019】

一枚処理部１１０は、被写体検出部１１１、ゼッケン領域推定部１１２、ゼッケン文字領域検出部１１３、画像処理部１１４および文字認識部１１５を備え、画像ソート部１０２でソートされた順に入力画像を一枚ずつ（順次または並列して）処理する機能部である。例えば、時系列に早い順または遅い順で並んだ入力画像を処理する。

【0020】

被写体検出部１１１は、入力画像内に存在するそれぞれの被写体領域を検出する。被写体の検出方法は、例えば、被写体が人物である場合、人物の顔、口や目などの器官の特徴による検出方法や、頭部の形状特徴による検出方法、人物の肌領域などの色相による検出などがあり、これに限定したものではなく、複数の検出方法を組み合わせてもよい。以下、被写体を人物として説明する。

【0021】

ゼッケン領域推定部１１２は、被写体検出部１１１により検出された入力画像内の人物領域から、顔の位置や肩幅のサイズに基づき、顔より下方向の胴体部分にゼッケン文字領域が存在していると推測する。なお、ゼッケンだけに限定したものではなく、ユニフォームの背番号や被写体の一部に直接書かれた識別情報などでもよい。また、下方向に限定し推測するものではなく、人物の姿勢や入力画像の構図によって適宜変更可能である。

【0022】

ゼッケン文字領域検出部１１３は、ゼッケン領域推定部１１２により推定された各領域に対して、文字となりうる領域を検出する。ここで文字は、数字、アルファベット、平仮名、片仮名、漢字、数字および記号やバーコードのパターンなど被写体を一意に識別できる識別子のことである。

【0023】

画像処理部１１４は、ゼッケン文字領域検出部１１３の各領域に対して、文字認識を行うための前処理となる画像処理を行う。

【0024】

文字認識部１１５は、画像処理部１１４が処理した入力画像に対して、候補となる文字の画像特徴を記載した辞書データベース（不図示）に基づき、文字認識を行い、その認識結果を人物画像と紐付ける。人物画像とは、入力画像中の人物が存在する部分である。

【0025】

複数枚処理部１２０は、顔特徴量算出部１２１、類似度算出部１２２、文字紐付け部１２３を備えており、一枚処理部１１０の処理結果に基づき、対象とする入力画像を時間的に前後する入力画像を参照して処理するための機能部である。

【0026】

顔特徴量算出部１２１は、被写体検出部１１１にて、各入力画像内の人物の顔を検出した被写体に対して、目や口などの器官を元にした顔特徴量を算出する。

【0027】

類似度算出部１２２は、各入力画像間において、各人物の顔特徴量をそれぞれ比較し類似度を算出する。

【0028】

文字紐付け部１２３では、対象とする入力画像内に文字が紐付けされていない人物がいる場合、類似度算出部１２２で算出した類似度に基づき、他の入力画像から最も当該人物と推測される被写体を検出し、紐付けされている文字を、対象とする入力画像の人物に紐付ける。

【0029】

＜画像処理装置１００の処理フロー＞
図２は、図１に示す画像処理装置１００が、被写体の顔特徴量に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明するためのフローチャートである。

【0030】

以下の説明において、対象とする入力画像を対象画像、ソートによって対象画像と連続し、時間的に連続した前後ｎ枚ずつの入力画像を参照画像とする。ここで、前後ｎ枚ずつの入力画像の枚数は、イベント状況や撮影画像の撮影間隔などによって変化させてもよい。また、入力画像（例えばＪＰＥＧ画像）内の撮影時刻などに基づいて一定時間内に撮影された入力画像という条件で可変することも可能である。加えて、参照画像は必ずしも対象画像の前後の参照画像ではなく、前のみの参照画像、後のみの参照画像または前後の参照画像がない場合もある。

【0031】

まず、撮影画像全体の処理について図２Ａのフローチャートを用いて説明する。

【0032】

画像読み込み部１０１が入力画像として対象画像および前後ｎ枚ずつの（２ｎ＋１）枚の読み込みを行い処理を開始し、画像ソート部１０２が読み込んだ（２ｎ＋１）枚を撮影時間などに基づき時間的に連続した画像としてソートを行う（ステップＳ２０１）。ソートすることによって、顔認証した場合に、時系列で前後する他の入力画像内に対象人物が写っている場合が多くなるためである。

【0033】

一枚処理部１１０および複数枚処理部１２０が、入力画像として読み込んだ（２ｎ＋１）枚について順次または並列で処理を行う（ステップＳ２０２）。詳細は図２Ｂで後述する。

【0034】

複数枚処理部１２０が、すべての撮影画像について処理が完了したか判断する（ステップＳ２０３）。処理が完了した場合（ステップＳ２０３でＹｅｓ）は、処理フローを終了する。すべての撮影画像について処理が完了していない場合（ステップＳ２０３でＮｏ）は、ステップＳ２０１へ戻り次の入力画像として（２ｎ＋１）枚を読み込む。

【0035】

次に、ステップＳ２０２の処理について図２Ｂのフローチャートを用いて説明する。

【0036】

ステップＳ２１１〜ステップＳ２１８までは一枚処理部１１０が行う処理であり、ステップＳ２１９〜ステップＳ２２７は複数枚処理部１２０が行う処理である。

【0037】

まず、被写体検出部１１１が読み込んだ対象画像のラスターイメージ全体をスキャンし、人物の可能性のある画像領域が存在するか判断する（ステップＳ２１１）。

【0038】

対象画像内に人物の可能性がある画像領域が存在する場合（ステップＳ２１１でＹｅｓ）は、ステップＳ２１２へ進む。対象画像内に人物の可能性がある画像領域が存在しない場合（ステップＳ２１１でＮｏ）は、処理フローを終了する。

【0039】

被写体検出部１１１が対象画像内の人物の可能性がある画像領域から人物を検出する（ステップＳ２１２）。

【0040】

ゼッケン領域推定部１１２は、被写体検出部１１１が検出した人物領域毎にゼッケン文字領域が含まれていると推定してスキャンする領域を決定する（ステップＳ２１３）。スキャンする領域は、入力画像の上下および人物領域の幅より決定し、人物の顔より下方向の領域に設定する。ここで、被写体検出部１１１が用いる検出方法によってスキャンする領域の上下サイズおよび幅を変更してもよい。

【0041】

人物毎に決定されたスキャンする領域から、ゼッケン文字領域検出部１１３がゼッケン文字領域を検出する（ステップＳ２１４）。ゼッケン文字領域の候補として、数字や文字などのゼッケン番号と予想される画像領域を検出し、一文字または複数文字を含む画像領域を検出する。ここでゼッケン番号と表現しているが、数字に限定されるものではない。

【0042】

対象画像内のすべての人物に対して、ゼッケン文字領域検出部１１３が画像領域を検出したかを判断し（ステップＳ２１５）、未検出の人物が存在する場合(ステップＳ２１５でＮｏ)は、ステップＳ２１３の処理に戻り、すべての人物に対してゼッケン文字領域の検出を行う。

【0043】

対象画像内のすべての人物についてゼッケン文字領域の検出が終了(ステップＳ２１５でＹｅｓ)すると、検出した各ゼッケン文字領域に対して、画像処理部１１４が文字認識を行うための前処理となる画像処理を行う（ステップＳ２１６）。ここで画像処理とは、歪み補正、傾き補正、奥行き補正などである。詳細な処理の説明は、本出願人が先に提出した特願２０１４−２５９２５８にて説明している。

【0044】

すべてのゼッケン文字領域の画像処理が終了すると、各ゼッケン文字領域に対して、文字認識部１１５が文字認識を行う（ステップＳ２１７）。

【0045】

文字認識部１１５が文字認識の結果を人物画像に対して紐付ける（ステップＳ２１８）。

【0046】

すべてのゼッケン文字領域の文字認識が終了すると１枚の入力画像（ここでは対象画像）の処理を終了する。

【0047】

同様に前後ｎ枚ずつの参照画像においても、ステップＳ２１１〜ステップＳ２１８の人物検出と文字認識を行い、人物画像に対して紐付けられた文字の結果を得ることができる。

【0048】

複数枚処理部１２０が、対象画像と同様に参照画像について文字認識の結果について紐付けを終えているか判断する（ステップＳ２１９）。対象画像と参照画像について紐付けがすべて終わっている場合はステップＳ２２０へ進み、終わっていない場合はステップＳ２１９へ戻り、対象画像および参照画像の（２ｎ＋１）枚の紐付けが終わるまで待機する。

【0049】

文字認識部１１５が対象画像内で文字が紐付けられていない人物がいるか検出する（ステップＳ２２０）。対象画像内のすべての人物に適当な文字が紐付けられている場合（ステップＳ２２０でＮｏ）、処理フローを終了する。

【0050】

何らかの文字が紐付けられていない人物がいる場合（ステップＳ２２０でＹｅｓ）、文字認識部１１５が前後ｎ枚ずつの参照画像内の何らかの文字が紐付けられた人物を検出する（ステップＳ２２１）。

【0051】

参照画像内で何らかの文字が紐付けられた人物がいる場合（ステップＳ２２１でＹｅｓ）、顔特徴量算出部１２１が対象画像内の文字が紐付けられていない人物の顔の特徴量を算出する（ステップＳ２２２）。参照画像内で何らかの文字が紐付けられた人物がいない場合（ステップＳ２２１でＮｏ）、処理フローを終了する。

【0052】

次に、顔特徴量算出部１２１が参照画像内で何らかの文字が紐付けられた人物の顔の特徴量を算出する（ステップＳ２２３）。

【0053】

類似度算出部１２２が対象画像の文字が紐付けられていない人物の顔の特徴量と、参照画像内で文字が紐付けられた人物の顔の各特徴量において、それぞれの類似度を算出する（ステップＳ２２４）。類似度は、例えば値１００を持って規格化され、類似度が高いほどそれぞれの特徴量が酷似しており、同一人物である可能性が高い事を示している。

【0054】

ここで、顔の器官に基づいた特徴量は、顔の向きに依存する傾向がある。対象画像内の人物が右向きならば、特徴量は右向きの影響を受けていると考えられる。そこでより正確な類似度を算出するため、参照画像内の右向きの人物だけを抽出し、顔特徴量算出部１２１が特徴量を算出し、類似度算出部１２２が各特徴量を比較し類似度を算出してもよい。

【0055】

そしてステップＳ２２４で算出された類似度の中から、類似度算出部１２２が、類似度の最大値を算出する（ステップＳ２２５）。

【0056】

類似度の最大値が、事前に決定づけられた閾値以上あるかを判断する（ステップＳ２２６）。閾値以上の場合（ステップＳ２２６でＹｅｓ）は、文字紐付け部１２３が参照画像内の最大値にあたる特徴量に対応する人物に紐付けられた文字を、対象画像内の文字が紐付けられていない人物に紐付けする（ステップＳ２２７）。閾値未満の場合（ステップＳ２２６でＮｏ）は、処理フローを終了する。

【0057】

ここで、類似度の閾値は、機械学習等によって算出された固定の値でもよく。また、顔向き毎に閾値を変えてもよい。また対象画像の解像度や状態等によって、動的に変化させることも可能である。

【0058】

図３は、入力画像の一例であり、本図を使って、画像処理装置１００が、顔の特徴量に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明する。

【0059】

画像３０１および画像３０２は同じ人物を撮影した画像であり、画像ソート部１０２がソートした場合に時間的に連続する入力画像である。この画像３０１および画像３０２を用いて図２Ｂで説明したフローの各ステップを説明する。

【0060】

画像３０１は、顔が正面を向いているが、胴体が横向きでありゼッケン番号の一部が隠れてしまい、ゼッケン番号を文字認識部１１５がすべて認識することができない。画像処理部１１４および文字認識部１１５にて、画像処理して数字を認識するが、正しく数字を認識できない結果となることがステップＳ２１１〜ステップＳ２１８を通して分かっているものとする。

【0061】

また、画像３０２は、同様に顔は正面を向いており、ゼッケン番号を文字認識部１１５がすべて正しく認識することができることがステップＳ２１１〜ステップＳ２１８を通して分かっているものとする。

【0062】

ステップＳ２１９において、複数枚処理部１２０が画像３０１と画像３０２の紐付けを終了したと判断し、ステップＳ２２０に進む。

【0063】

ステップＳ２２０において、文字認識部１１５が画像３０１で人物検出したが、紐付けられている文字がないため、ステップＳ２２１にて文字認識部１１５が、連続した画像３０２に文字が紐付けられた人物がいるかを判断する。

【0064】

ステップＳ２２２において、顔特徴量算出部１２１が画像３０１の人物の顔の特徴量を算出する。次にステップＳ２２３にて、顔特徴量算出部１２１が画像３０２の人物の顔特徴量を算出する。

【0065】

ステップＳ２２４において、類似度算出部１２２が、ステップＳ２２２およびステップＳ２２３で算出した顔の特徴量の類似度を算出する。

【0066】

ステップＳ２２５において、類似度算出部１２２が類似度の最大値を算出する。ステップＳ２２６にて、閾値と比較し、類似度の最大値が閾値以上であるので、ステップＳ２２７において文字紐付け部１２３が画像３０２の文字を画像３０１の人物に紐付ける。

【0067】

以上、説明したとおり、本発明の第１実施形態によれば、入力画像内のゼッケンの文字が正しく認識できない場合に、時間的に連続した他の入力画像の人物の顔の特徴量を用いることで、他の画像の文字列を紐付けすることが可能である。

【0068】

［第２の実施形態］
＜画像処理装置２００の構成＞
続いて、本発明の第２の実施形態について説明する。

【0069】

第１の実施形態は、顔の器官検出と顔特徴量を算出し、対象画像と参照画像において、人物の顔向きが同様であり、参照画像において、ゼッケンの文字が正しく認識されている場合という条件が必要であった。

【0070】

しかしながら、実際のイベントの撮影画像では、ランニングのフォームによりゼッケンが腕と重なるなど、全桁のゼッケン文字がすべて正しく認識できない場合も多く発生する。第２の実施形態は、第１の実施形態が適用できない場合に補間するものであり、他の入力画像内の人物や基準物との相対的な位置関係から対象となる人物を推測し、他の入力画像の文字列を紐付けることが特徴である。

【0071】

図４は、第２の実施形態による画像処理装置２００の一例を示すブロック図である。

【0072】

本実施形態では第１の実施形態で説明した画像処理装置１００の構成と画像読み込み部１０１〜文字認識部１１５が同様である。第１の実施形態とは、複数枚処理部１２０の人物位置検出部１２４と相対位置量算出部１２５が異なる。なお、図１に示す画像処理装置１００と同様の構成要素については同一の参照番号を付して説明を省略する。

【0073】

人物位置検出部１２４は、被写体検出部１１１にて検出した人物に対して、入力画像内における人物位置を算出する。

【0074】

相対位置量算出部１２５は、複数の入力画像間における基準物と人物の相対位置の動き量を算出する。ここで基準物とは、対象となる人物の相対位置が推測可能である並進する人物や、沿道のガードレールやビルなどの静体物である。相対位置が推測可能であれば、これに限定するものではない。

【0075】

文字紐付け部１２３は、相対位置量算出部１２５により、基準物からの相対位置が同じと判断された場合、参照画像の該当人物の文字を対象画像の人物に紐付ける。

【0076】

＜画像処理装置２００の処理フロー＞
図５は、図４に示す画像処理装置２００が、人物の相対位置関係に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明するためのフローチャートである。

【0077】

以下の説明において、第１の実施形態と同様に、対象とする入力画像を対象画像、ソートによって対象画像と連続し、時間的に連続した前後ｎ枚ずつの入力画像を参照画像とする。

【0078】

撮影画像全体の処理は、第１の実施形態において図２Ａで説明したステップＳ２０１〜ステップＳ２０３と同様である。一枚処理部１１０と複数枚処理部１２０が、入力画像として読み込んだ（２ｎ＋１）枚について順次または並列で行うステップＳ２０２の本実施形態における詳細について図５を用いて説明する。

【0079】

ステップＳ５０１〜ステップＳ５０８までは一枚処理部１１０が行う処理であり、ステップＳ５０９〜ステップＳ５１７は複数枚処理部１２０が行う処理である。

【0080】

ステップＳ５０１〜ステップＳ５０８までは、第１の実施形態において図２Ｂのフローチャートで説明したステップＳ２１１〜ステップＳ２１８と同様である。

【0081】

被写体検出部１１１が読み込んだ対象画像のラスターイメージ全体をスキャンし、人物の可能性のある画像領域が存在するか判断する（ステップＳ５０１）。

【0082】

対象画像内に一人以上の人物の可能性がある画像領域が存在する場合（ステップＳ５０１でＹｅｓ）は、ステップＳ５０２へ進む。対象画像内に人物の可能性がある画像領域が存在しない場合（ステップＳ５０１でＮｏ）は、処理フローを終了する。

【0083】

被写体検出部１１１が対象画像内の人物の可能性がある画像領域から人物を検出する（ステップＳ５０２）。

【0084】

ゼッケン領域推定部１１２は、被写体検出部１１１が検出した人物領域毎にゼッケン文字領域が含まれていると推定してスキャンする領域を決定する（ステップＳ５０３）。スキャンする領域は、入力画像の上下および人物領域の幅より決定し、人物の顔より下方向の領域に設定する。ここで、被写体検出部１１１が用いる検出方法によってスキャンする領域の上下サイズおよび幅を変更してもよい。

【0085】

人物毎に決定されたスキャンする領域から、ゼッケン文字領域検出部１１３がゼッケン文字領域を検出する（ステップＳ５０４）。ゼッケン文字領域の候補として、数字や文字などのゼッケン番号と予想される画像領域を検出し、一文字または複数文字を含む画像領域を検出する。

【0086】

対象画像内のすべての人物に対して、ゼッケン文字領域検出部１１３が画像領域を検出したかを判断し（ステップＳ５０５）、未検出の人物が存在する場合(ステップＳ５０５でＮｏ)は、ステップＳ５０３の処理に戻り、すべての人物に対してゼッケン文字領域の検出を行う。

【0087】

対象画像内のすべての人物についてゼッケン文字領域の検出が終了(ステップＳ５０５でＹｅｓ)すると、検出した各ゼッケン文字領域に対して、画像処理部１１４が文字認識を行うための前処理となる画像処理を行う（ステップＳ５０６）。

【0088】

すべてのゼッケン文字領域の画像処理が終了すると、各ゼッケン文字領域に対して、文字認識部１１５が文字認識を行う（ステップＳ５０７）。

【0089】

文字認識部１１５が文字認識の結果を人物画像に対して紐付ける（ステップＳ５０８）。

【0090】

すべてのゼッケン文字領域の文字認識が終了すると１枚の入力画像（ここでは対象画像）の処理を終了する。

【0091】

同様に前後ｎ枚ずつの参照画像においても、ステップＳ５０１〜ステップＳ５０８の人物検出と文字認識を行い、人物画像に対して紐付けられた文字の結果を得ることができる。

【0092】

複数枚処理部１２０が、対象画像と同様に参照画像について文字認識の結果について紐付けを終えているか判断する（ステップＳ５０９）。対象画像と参照画像についての紐付けがすべて終わっている場合はステップＳ５１０へ進み、終わっていない場合はステップＳ５０９へ戻り、対象画像および参照画像の（２ｎ＋１）枚の紐付けが終わるまで待機する。

【0093】

文字認識部１１５が対象画像内で文字が紐付けられていない人物がいるか検出する（ステップＳ５１０）。対象画像内のすべての人物に適当な文字が紐付けられている場合（ステップＳ５１０でＮｏ）、処理フローを終了する。

【0094】

何らかの文字が紐付けられていない人物ａがいる場合（ステップＳ５１０でＹｅｓ）、対象画像内に何らか紐付けられた文字がある人物ｂがいるかを検索する（ステップＳ５１１）。紐付けられた文字がある人物がいない場合（ステップＳ５１１でＮｏ）は、処理フローを終了する。

【0095】

紐付けられた文字がある人物ｂがいる場合（ステップＳ５１１でＹｅｓ）、前後ｎ枚ずつの参照画像において、人物ｂに紐付けられた文字と同じ文字に紐付けられた人物ｂ´がいるかを検出する（ステップＳ５１２）。

【0096】

同じ文字に紐付けられた人物ｂ´がいる場合（ステップＳ５１２でＹｅｓ）、人物位置検出部１２４が対象画像における人物ａと人物ｂのそれぞれの位置を検出する（ステップＳ５１３）。同じ文字に紐付けられた人物ｂ´がいない場合（ステップＳ５１２でＮｏ）は、処理フローを終了する。

【0097】

さらに、相対位置量算出部１２５が、対象画像内の人物ａと人物ｂの位置から相対位置を算出する（ステップＳ５１４）。

【0098】

そして、人物位置検出部１２４が前後ｎ枚ずつの参照画像の人物ｂ´の位置を検出する（ステップＳ５１５）。

【0099】

相対位置量算出部１２５が、参照画像内の人物ｂ´に対して、ステップＳ５１４で算出した対象画像内の人物ａと人物ｂの相対位置において、人物が存在し、かつ紐付けられた文字があるかを検出する（ステップＳ５１６）。

【0100】

紐付けられた文字があった場合（ステップＳ５１６でＹｅｓ）、文字紐付け部１２３が紐付けられた文字を対象画像の人物ａに紐付ける（ステップＳ５１７）。紐付けられた文字がなかった場合（ステップＳ５１６でＮｏ）は、処理フローを終了する。

【0101】

図６は、入力画像の一例であり、本図を使って、画像処理装置２００が、人物の相対位置関係に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明する。

【0102】

画像６０１および画像６０４は並走する二人の同じ人物を撮影した画像であり、画像ソート部１０２がソートした場合に時間的に連続する入力画像である。この画像６０１および画像６０４を用いて図５で説明したフローの各ステップを説明する。

【0103】

画像６０１には、人物６０２と人物６０３が撮影されている。人物６０２のゼッケンの文字は、文字認識部１１５ですべて認識できるが、人物６０３のゼッケンは一部手で隠れているためすべて認識することはできないことがステップＳ５０１〜ステップＳ５０８を通して分かっているものとする。

【0104】

また、時間的に連続した画像６０４において、人物６０５と人物６０６が撮影されており、文字認識部１１５が、二人（人物６０５および人物６０６）のゼッケンの文字が認識することができることがステップＳ５０１〜ステップ５０８を通して分かっているものとする。

【0105】

ステップＳ５０９において、複数枚処理部１２０が画像６０１と画像６０４の紐付けを終了したと判断し、ステップＳ５１０に進む。

【0106】

ステップＳ５１０において、画像６０１内で紐付けられた文字がない人物ａとして、人物６０３が該当する。

【0107】

ステップＳ５１１において、画像６０１内で文字が紐付けられた人物ｂとして、人物６０２が該当する。

【0108】

ステップＳ５１２において、画像６０４内で人物ｂと同じ文字が紐付けられた人物ｂ´として、人物６０５が検出される。

【0109】

ステップＳ５１３において、人物位置検出部１２４が人物６０２と人物６０３の位置を検出する。

【0110】

ステップＳ５１４において、相対位置量算出部１２５が人物６０２に対する人物６０３の相対位置を算出する。

【0111】

ステップＳ５１５において、人物位置検出部１２４が人物６０５の位置を検出する。

【0112】

ステップＳ５１６において、相対位置量算出部１２５が人物６０５の相対位置から人物６０６を検出する。

【0113】

ステップＳ５１７において、文字紐付け部１２３が人物６０６のゼッケンの文字を人物６０３に紐付ける。

【0114】

ここで、人物６０３へ相対位置の基準物として、並走している人物６０２を選択したが、基準物は相対位置が推測可能である沿道のガードレールやビルなどの静体物でもよい。

【0115】

以上、説明したとおり、本発明の第２の実施形態によれば、入力画像内のゼッケンが正しく認識できない場合に、時間的に連続した他の入力画像の人物や基準物との相対的な位置関係を用いることで、他の入力画像の文字列を紐付けすることが可能である。

【0116】

［第３の実施形態］
＜画像処理装置３００の構成＞
続いて、本発明の第３の実施形態について説明する。

【0117】

第１および第２の実施形態は、入力画像内における人物を検索し、人物に紐付けられている文字を対象となる画像の人物に紐付ける方法だった。

【0118】

第３の実施形態は、入力画像内から背景画像を除いた人物領域を抽出し、その特徴量を比較することで、人物に紐付けられた文字を人物に対して転写するのではなく、参照画像に紐付けられている文字を対象画像に対して転写し、処理を高速化することが特徴である。

【0119】

図７は、第３の実施形態による画像処理装置３００の一例を示すブロック図である。

【0120】

本実施形態では第１の実施形態で説明した画像処理装置１００の構成と画像読み込み部１０１〜文字認識部１１５が同様である。第１の実施形態とは、複数枚処理部１２０の画像情報取得部１２６、人物領域抽出部１２７、人物構図算出部１２８および画像特徴量算出部１２９が異なる。なお、図１に示す画像処理装置１００と同様の構成要素については同一の参照番号を付して説明を省略する。

【0121】

画像情報取得部１２６は、入力画像の縦横のサイズ、撮影条件および撮影位置情報といった画像情報を取得する。ここで、撮影条件とは、絞り、ズームやフォーカスなどのカメラの設定情報である。また、撮影位置情報とは、例えばカメラに取り付けられたＧＰＳまたは、カメラの通信部においてＷｉ−ＦｉやｉＢｅａｃｏｎなどの情報から推測された位置情報である。

【0122】

人物領域抽出部１２７は、入力画像内から背景画像を除いた人物が写っている人物領域を抽出する。入力画像内から背景画像を除いた領域を抽出することで背景画像の影響を低減させることができる。また、入力画像内の人物は一人でも複数人でもよい。

【0123】

人物構図算出部１２８は、画像全体に対する人物領域の位置から、撮影構図に基づいた構図特徴量を算出する。

【0124】

画像特徴量算出部１２９は、人物領域の画像の色相分布に基づいた画像特徴量を算出する。

【0125】

文字紐付け部１２３は、時間的に連続した入力画像の画像サイズがほぼ同等であり、画像特徴量算出部１２９で算出した画像特徴量が類似している場合は、同等の対象者に対する入力画像であると判断し、参照画像に紐付けされている文字のすべてを対象画像に紐付ける。

【0126】

＜画像処理装置３００の処理フロー＞
図８は、図７に示す画像処理装置３００が、画像情報、構図特徴量および画像特徴量に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明するためのフローチャートである。

【0127】

以下の説明において、文字の紐付けを行う入力画像を対象画像として、時間的に連続し対象画像より早いｎ枚の入力画像を前の参照画像とする。一方、時間的に連続し対象画像より遅いｎ枚の入力画像を後の参照画像とする。

【0128】

ここで、ｎは１でも複数でもよく、入力画像間の撮影時間の差を考慮して可変としてもよい。

【0129】

撮影画像全体の処理は、第１の実施形態において図２Ａで説明したステップＳ２０１〜ステップＳ２０３と同様である。一枚処理部１１０と複数枚処理部１２０が、入力画像として読み込んだ（２ｎ＋１）枚について順次または並列で行うステップＳ２０２の本実施形態における詳細について図８を用いて説明する。

【0130】

ステップＳ８０１は、第１の実施形態において説明した図２ＢのステップＳ２１１〜ステップＳ２１８に相当し、各入力画像の人物を検出し、文字認識結果を紐付ける。

【0131】

文字認識部１１５が、前の参照画像に紐付けられた文字列を抽出する（ステップＳ８０２）。

【0132】

文字認識部１１５が、前の参照画像内の人物に紐付けられている文字が一つ以上あるかを判断する（ステップＳ８０３）。紐付けられている文字が一つ以上ある場合（ステップＳ８０３でＹｅｓ）は、ステップＳ８０４に進む。紐付けられている文字がない場合（ステップＳ８０３でＮｏ）は、ステップＳ８１２に進む。

【0133】

画像情報取得部１２６が、対象画像と紐付けられている文字の画像の縦横サイズ、撮影条件および撮影位置情報を取得し、画像情報が同様であるかを判断する（ステップＳ８０４）。画像情報が同様（一致するかほぼ同等）であった場合（ステップＳ８０４でＹｅｓ）、ステップＳ８０５に進む。画像情報が異なっている場合は（ステップＳ８０４でＮｏ）、撮影対象を変化させているとみなしステップＳ８１２に進む。

【0134】

人物領域抽出部１２７が、前の参照画像と対象画像から被写体検出部１１１で検出した人物領域に基づいて背景画像を除いた人物領域を抽出する（ステップＳ８０５）。

【0135】

人物構図算出部１２８が、対象画像および前の参照画像の画像全体に対して、人物領域がどのような位置にあるかによって、人物の構図による構図特徴量を算出する（ステップＳ８０６）。ここで、構図とは、画像の中央付近に人物を配置した日の丸構図や、人物全体を画像の３分割に配置した３分割構図などを示す。構図特徴量は、構図の度合いに応じて数値化したものである。

【0136】

人物構図算出部１２８が、前の参照画像と対象画像の構図特徴量を比較する（ステップＳ８０７）。前の参照画像と対象画像の構図特徴量が同等である場合（ステップＳ８０７でＹｅｓ）、ステップＳ８０８に進む。構図特徴量が異なっている場合（ステップＳ８０７でＮｏ）は、ステップＳ８１２に進む。

【0137】

画像特徴量算出部１２９が、対象画像および前の参照画像の色相分布から画像特徴量を算出する（ステップＳ８０８）。ここで、色相分布を算出する色相は画像全体ではなく、背景部分を削除した人物が撮影されている区域のみとしてもよい。また、画像特徴量としては色相分布のみならず、明暗分布も考慮してもよい。加えて、入力画像を小区域に分割した区域毎の特徴量とその位置関係としてもよい。

【0138】

画像特徴量算出部１２９が、対象画像の画像特徴量と前の参照画像の画像特徴量を比較する（ステップＳ８０９）。

【0139】

対象画像と前の参照画像の画像特徴量が類似している場合（ステップＳ８０９でＹｅｓ）、対象画像に既に紐付けられている文字があるか判断する（ステップＳ８１０）。画像特徴量が類似していない場合（ステップＳ８０９でＮｏ）は、ステップＳ８１２に進む。

【0140】

前の参照画像に紐付けられている文字で、対象画像に紐付けられていない文字がある場合は（ステップＳ８１０でＮｏ）、対象画像に前の参照画像の文字を紐付ける（ステップＳ８１１）。対象画像に紐付けられていない文字がない場合は（ステップＳ８１０でＹｅｓ）、ステップＳ８１２に進む。

【0141】

ステップＳ８１２〜ステップＳ８２１は、ステップＳ８０１〜ステップＳ８１１の処理を、後の参照画像に対して、前の参照画像と同様に施したものである。

【0142】

文字認識部１１５が、後の参照画像に紐付けられた文字列を抽出する（ステップＳ８１２）。

【0143】

文字認識部１１５が、後の参照画像内の人物に紐付けられている文字が一つ以上あるかを判断する（ステップＳ８１３）。紐付けられている一つ以上ある場合（ステップＳ８１３でＹｅｓ）は、ステップＳ８１４に進む。紐付けられている文字がない場合（ステップＳ８１３でＮｏ）は、処理フローを終了する。

【0144】

画像情報取得部１２６が、対象画像と紐付けられている文字の画像の縦横サイズ、撮影条件および撮影位置情報を取得し、画像情報がほぼ同等であるかを判断する（ステップＳ８１４）。画像情報がほぼ同等であった場合（ステップＳ８１４でＹｅｓ）、ステップＳ８１５に進む。画像情報が大きく異なっている場合は（ステップＳ８１４でＮｏ）、撮影対象を変化させているとみなし処理フローを終了する。

【0145】

人物領域抽出部１２７が、後の参照画像と対象画像から被写体検出部１１１で検出した人物領域に基づいて背景画像を除いた人物領域を抽出する（ステップＳ８１５）。

【0146】

人物構図算出部１２８が、対象画像および後の参照画像の画像全体に対して、人物領域がどのような位置にあるかによって、人物の構図による構図特徴量を算出する（ステップＳ８１６）。

【0147】

人物構図算出部１２８が、後の参照画像と対象画像の構図特徴量を比較する（ステップＳ８１７）。後の参照画像と対象画像の構図特徴量が同等である場合（ステップＳ８１７でＹｅｓ）、ステップＳ８１８に進む。構図特徴量が異なっている場合（ステップＳ８１７でＮｏ）は、処理フローを終了する。

【0148】

画像特徴量算出部１２９が、対象画像および後の参照画像の色相分布から画像特徴量を算出する（ステップＳ８１８）。

【0149】

画像特徴量算出部１２９が、対象画像の画像特徴量と後の参照画像の画像特徴量を比較する（ステップＳ８１９）。

【0150】

対象画像と後の参照画像の画像特徴量が類似している場合（ステップＳ８１９でＹｅｓ）、対象画像に既に紐付けられている文字があるか判断する（ステップＳ８２０）。画像特徴量が類似していない場合（ステップＳ８１９でＮｏ）は、処理フローを終了する。

【0151】

後の参照画像に紐付けられている文字で、対象画像に紐付けられていない文字がある場合は（ステップＳ８２０でＮｏ）、文字紐付け部１２３が対象画像に後の参照画像の文字を紐付ける（ステップＳ８２１）。対象画像に紐付けられていない文字がない場合（ステップＳ８２０でＹｅｓ）は、処理フローを終了する。

【0152】

ただし、ステップＳ８２０において、対象画像Ａに紐付けられている文字を検索する場合は、ステップＳ８１１にて、前の参照画像から既に紐付けられた文字も含めてチェックし、同様の文字は紐付けないよう排他する。

【0153】

図９は、入力画像の一例であり、本図を使って、画像処理装置３００が、画像情報と入力画像の特徴量に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明する。

【0154】

画像９０１および画像９０２は、画像ソート部１０２がソートした時間的に連続する入力画像である。この画像９０１および画像９０２を用いて図８で説明したフローの各ステップを説明する。ここで、画像９０２を対象画像とし、画像９０１を前の参照画像とする。ステップＳ８０１〜ステップ８０２の処理を既に行い、画像９０２に画像９０１の文字がまだ紐付けられていないものとする。また、前の参照画像のみある場合の例として説明し、後の参照画像についてのステップＳ８１２〜ステップＳ８２１の処理は省略する。

【0155】

ステップＳ８０３において、文字認識部１１５が、画像９０１に人物に紐付けられている文字が一つ以上あると判断する。

【0156】

ステップＳ８０４において、画像情報取得部１２６が、画像９０１と画像９０２の入力画像の縦横サイズ、撮影条件および撮影位置情報を取得し、画像情報がほぼ同等であると判断する。

【0157】

ステップＳ８０５において、人物領域抽出部１２７が画像９０１および画像９０２から背景画像を除いた人物領域を切り出す。

【0158】

ステップＳ８０６において、人物構図算出部１２８が画像９０１と画像９０２の構図特徴量を算出する。

【0159】

ステップＳ８０７において、人物構図算出部１２８が画像９０１と画像９０２の構図特徴量を比較し、その構図特徴量が同等であると判断する。

【0160】

ステップＳ８０８において、画像特徴量算出部１２９が、画像９０１および画像９０２の色相分布を画像特徴量として算出する。

【0161】

ステップＳ８０９において、画像特徴量算出部１２９が、画像９０１と画像９０２の画像特徴量を比較し、画像特徴量が類似していると判断する。

【0162】

ここで、画像特徴量について類似の判定は、例えば、色相分布の各抽出点を算出し、その最大値をもって１００に規格化し、各抽出点での差分量から判断する。

【0163】

ステップＳ８１０において、文字紐付け部１２３が、画像９０２に画像９０１の文字が紐付けられていないと判断する。

【0164】

ステップＳ８１１において、文字紐付け部１２３が、画像９０１に紐付けられた文字を画像９０２に紐付ける。

【0165】

以上、説明したとおり、本発明の第３実施形態によれば、入力画像内のゼッケンが正しく認識できない場合に、入力画像内から背景画像を除いた人物領域を抽出し、時間的に連続した他の入力画像の構図特徴量や画像特徴量を用いて、他の入力画像の文字列を紐付けすることが可能である。

【0166】

［第４の実施形態］
＜画像処理装置４００の構成＞
続いて、本発明の第４の実施形態について説明する。

【0167】

第１〜第３の実施形態は、入力画像内の特徴量(顔特徴量、相対位置、構図特徴量および画像特徴量)を算出し、他の入力画像の文字を紐付ける方法であった。第４の実施形態では、画像内のイメージを参照することなく、入力画像の時間的な連続性を利用して、対象画像に対して文字を紐付ける方法である。画像処理を伴わないため、高速に処理することが特徴である。

【0168】

図１０は、第４の実施形態による画像処理装置４００の一例を示すブロック図である。

【0169】

本実施形態では第１の実施形態で説明した画像処理装置１００の構成と画像読み込み部１０１および画像ソート部１０２が同様である。第一の実施形態とは、文字取得部１３０および文字比較部１３１が異なる。

【0170】

文字取得部１３０は、複数枚の入力画像に対してそれぞれの画像に紐付けられた文字を抽出する。

【0171】

文字比較部１３１は、文字取得部１３０が抽出した複数文字を比較する。

【0172】

文字紐付け部１２３は、文字比較部１３１で比較した結果、対象画像の前および後に同一の文字が存在し、対象画像に当該文字が紐付けられていない場合、対処画像に文字を紐付ける。

【0173】

＜画像処理装置４００の処理フロー＞
図１１は、図１０に示す画像処理装置４００が、前後画像のゼッケン番号の情報に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明するためのフローチャートである。

【0174】

以下の説明において、文字の紐付けを行う入力画像を対象画像として、時間的に連続し対象画像より早いｎ枚の入力画像を前の参照画像とする。一方、時間的に連続し対象画像より遅いｎ枚の入力画像を後の参照画像とする。

【0175】

撮影画像全体の処理は、第１の実施形態において図２Ａで説明したステップＳ２０１〜ステップＳ２０３と同様である。一枚処理部１１０と複数枚処理部１２０が、入力画像として読み込んだ（２ｎ＋１）枚について順次または並列で行うステップＳ２０２の本実施形態における詳細について図１１を用いて説明する。

【0176】

ステップＳ１１０１は、第１の実施形態において説明した図２ＢのステップＳ２１１〜ステップＳ２１８に相当し、各入力画像の人物を検出し、文字認識結果を紐付ける。

【0177】

文字取得部１３０が、対象画像の前の参照画像の文字列を抽出する（ステップＳ１１０２）。

【0178】

次に、文字取得部１３０が、ステップＳ１１０２の抽出結果として文字が一つ以上あるかを判断する（ステップＳ１１０３）。

【0179】

前の参照画像に文字が一つもない場合（ステップＳ１１０３でＮｏ）、処理フローを終了する。

【0180】

前の参照画像に文字が一つ以上ある場合（ステップＳ１１０３でＹｅｓ）、次のステップＳ１１０４に進む。

【0181】

文字取得部１３０が、対象画像の後の参照画像の文字列を抽出する（ステップＳ１１０４）。

【0182】

次に、文字取得部１３０が、ステップＳ１１０４の抽出結果として文字が一つ以上あるかを判断する（ステップＳ１１０５）。

【0183】

後の参照画像に文字が一つもない場合（ステップＳ１１０５でＮｏ）、処理フローを終了する。

【0184】

後の参照画像に文字が一つ以上ある場合（ステップＳ１１０５でＹｅｓ）、次のステップＳ１１０６に進む。

【0185】

対象画像の前の参照画像の文字と、後の参照画像の文字で、同一のものがあるか検索する（ステップＳ１１０６）。同一の文字がない場合（ステップＳ１１０６でＮｏ）、処理フローを終了する。同一の文字がある場合（ステップＳ１１０６でＹｅｓ）、ステップＳ１１０７に進む。

【0186】

文字比較部１３１が、対象画像に同一の文字があるか検索する（ステップＳ１１０７）。

【0187】

対象画像に同一の文字がある場合（ステップＳ１１０７でＹｅｓ）、処理フローを終了する。

【0188】

対象画像に同一の文字がない場合（ステップＳ１１０７でＮｏ）、文字紐付け部１２３が前後の同一文字を対象画像に紐付ける（ステップＳ１１０８）。

【0189】

図１２は、入力画像の一例であり、本図を使って、画像処理装置４００が、前後の入力画像のゼッケン番号の情報に基づいてゼッケン番号と人物画像との紐付けを行うまでを説明する。

【0190】

画像１２０１〜画像１２０３は、画像ソート部１０２がソートした時間的に連続する入力画像である。この画像１２０１〜画像１２０３を用いて図１１で説明したフローの各ステップを説明する。ここで、画像１２０２を対象画像とし、画像１２０１を前の参照画像、画像１２０３を後の参照画像とする。また、画像１２０１〜画像１２０３についてステップＳ１１０１の処理を既に行ったものとする。

【0191】

ステップＳ１１０２〜ステップＳ１１０３において、文字取得部１３０が、画像１２０１から文字列を抽出し、ゼッケン番号として「４３６５９」を取得する。

【0192】

同様にステップＳ１１０４〜ステップＳ１１０５において、文字取得部１３０が、画像１２０３から文字列を抽出し、ゼッケン番号として「４３６５９」を取得する。

【0193】

ステップＳ１１０６において、画像１２０１で取得した文字列と画像１２０３で取得した文字列とが同一であると判断する。

【0194】

ステップＳ１１０７において、画像１２０１は人物のゼッケンが隠れており、文字が認識できないと判断する。

【0195】

ステップＳ１１０８において、前の参照画像である画像１２０１と、後の参照画像である画像１２０３において、認識された文字が同一である場合、画像１２０２に同一の文字を紐付ける。

【0196】

以上、説明したとおり、本発明の第４実施形態によれば、入力画像内のゼッケンが正しく認識できない場合に、時間的に連続した前後の入力画像の文字の同一性に基づいて、他の入力画像の文字列を紐付けすることが可能である。

【0197】

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

【0198】

実施に当たっては、第１の実施形態〜第４の実施形態の何れかを用いてもよいし、何れか複数を組み合わせてもよい。また、複数の実施形態を組み合わせる場合は、入力画像内の人物の密集度等の情報から、より精度が高まるよう組み合わせる順番を変化させてもよい。

【0199】

なお、第３の実施形態で前の参照画像で同じ文字が紐付けられている場合に、後の参照画像では紐付けないよう排他する例示をしたが、第１の実施形態、第２の実施形態および第４の実施形態についても同様に排他してもよい。

【0200】

以上のように第１の実施形態〜第４の実施形態によれば、イベント参加者の写真にゼッケン文字を紐付けするシステムにおいて、ゼッケン文字を入力画像から正しく認識できない場合においても、他の入力画像に紐付けられた文字を高速に紐付けることにより、写真撮影から公開までの時間的遅延を減らし購入意欲を向上させ、画像注文システムの購買率向上が期待できる。

【0201】

なお、本実施形態では被写体を人物として説明したが、人物に限定したものではなく被写体は動物、車両などでもよい。また、撮影画像内の人物画像に文字認識結果を紐付けるとして説明したが、撮影画像そのものに紐付けてもよい。

【0202】

また、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して処理を実行することによっても達成することができる。

【0203】

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータで読み取り可能な記憶媒体は本発明を構成することになる。

【0204】

また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されるように構成してもよい。

【0205】

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたあと、このプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を実行し、その処理に応じて上述した実施形態が実現される場合も含んでいる。

【0206】

なお、プログラムコードを供給するため、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤやＤＶＤに代表される光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等の記憶媒体を用いることができる。または、プログラムコードは、ネットワークを介してダウンロードしてもよい。

【符号の説明】

【0207】

１００、２００、３００、４００：画像処理装置
１０１：画像読み込み部
１０２：画像ソート部
１１０：一枚処理部
１１１：被写体検出部
１１２：ゼッケン領域推定部
１１３：ゼッケン文字領域検出部
１１４：画像処理部
１１５：文字認識部
１２０：複数枚処理部
１２１：顔特徴量算出部
１２２：類似度算出部
１２３：文字紐付け部
１２４：人物位置検出部
１２５：相対位置量算出部
１２６：画像情報取得部
１２７：人物領域抽出部
１２８：人物構図算出部
１２９：画像特徴量算出部
１３０：文字取得部
１３１：文字比較部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】