特許 7552913 判定方法、判定プログラム、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】判定方法、判定プログラム、及び情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240910BHJP

   G06T 7/60 20170101ALI20240910BHJP

   G06V 40/40 20220101ALI20240910BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/60 200K

G06V40/40

【請求項の数】 9

(21)【出願番号】P 2023537789

(86)(22)【出願日】2021-07-27

(86)【国際出願番号】 JP2021027739

(87)【国際公開番号】W WO2023007586

(87)【国際公開日】2023-02-02

【審査請求日】2023-10-25

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(72)【発明者】

【氏名】松濤 智明

【審査官】山田 辰美

(56)【参考文献】

【文献】国際公開第２０２０／１５２９１７（ＷＯ，Ａ１）

【文献】特開２０１８－１６９９４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ ４０／４０

(57)【特許請求の範囲】

【請求項1】

カメラにより異なる時刻に撮影された複数の画像を取得し、
前記複数の画像のそれぞれに、人物の顔の画像領域と、前記顔の画像領域外に位置する線形状の画像領域とが含まれる場合に、前記顔の画像領域と前記線形状の画像領域との位置関係についての前記複数の画像間での変化状況に基づいて、前記人物の顔が表示物であるか否かの判定を行う、
ことをコンピュータが行うことを特徴とする判定方法。

【請求項2】

前記複数の画像のそれぞれにおける前記顔の画像領域を検出し、
前記複数の画像のそれぞれについて、各画素の位置におけるエッジ強度を各画素の値として表した複数のエッジ強度画像を生成し、
前記複数のエッジ強度画像を用いて、前記複数の画像のそれぞれにおける前記線形状の画像領域を検出する、
ことを特徴とする請求項１記載の判定方法。

【請求項3】

前記複数のエッジ強度画像のそれぞれより前記顔の画像領域を除外した複数の残余のエッジ強度画像に対し、特定画素を含む画素列に隣接する画素列から該特定画素に隣接する画素であってエッジ強度が最大である該画素を選択して次の特定画素とする特定画素の選択の画素列毎の繰り返しを、残余のエッジ強度画像の一端に並ぶ最初の画素列に含まれる画素のうちでエッジ強度が最大の画素を最初の特定画素として該最初の画素列に隣接する画素列から列順に行い、
前記複数の残余のエッジ強度画像のそれぞれにおいて前記画素の選択の繰り返しによって得られる特定画素群によって形成される画像領域を検出することによって、前記複数の画像のそれぞれにおける前記線形状の画像領域を検出する、
ことを特徴とする請求項２に記載の判定方法。

【請求項4】

前記判定では、前記複数の画像間で前記位置関係についての変化が同期しているか否かの判定を行い、同期していないと判定した場合には、前記人物の顔が表示物ではないとの判定を下すことを特徴とする請求項１から３のうちのいずれか一項に記載の判定方法。

【請求項5】

前記複数の画像を用いて算出される、前記顔の画像領域と前記線形状の画像領域とのそれぞれについての動きベクトルの類似度に基づいて、前記位置関係についての変化が同期しているか否かの判定を行うことを特徴とする請求項４に記載の判定方法。

【請求項6】

前記判定では、前記位置関係についての変化が前記複数の画像間で同期しているか否かの判定を行い、同期していると判定した場合には、前記線形状の画像領域が前記表示物の輪郭を表しているか否かを判定し、前記線形状の画像領域が前記表示物の輪郭を表していると判定した場合に、前記人物の顔が表示物であるとの判定を下すことを特徴とする請求項１から３のうちのいずれか一項に記載の判定方法。

【請求項7】

前記線形状の画像領域が前記表示物の輪郭を表しているか否かの判定は、前記線形状の画像領域を構成する各画素の位置におけるエッジ強度と、前記顔の画像領域に表されている前記人物の左右の眼の位置を結ぶ線分に対する、前記線形状の画像領域を近似した直線の傾きと、前記直線についての前記顔の画像領域に表されている前記人物の鼻の位置からの距離とのうちの少なくとも１つ以上を用いて行うことを特徴とする請求項６に記載の判定方法。

【請求項8】

カメラにより異なる時刻に撮影された複数の画像を取得し、
前記複数の画像のそれぞれに、人物の顔の画像領域と、前記顔の画像領域外に位置する線形状の画像領域とが含まれる場合に、前記顔の画像領域と前記線形状の画像領域との位置関係についての前記複数の画像間での変化状況に基づいて、前記人物の顔が表示物であるか否かの判定を行う、
処理をコンピュータに実行させるための判定プログラム。

【請求項9】

カメラにより異なる時刻に撮影された複数の画像を取得する取得部と、
前記複数の画像のそれぞれに、人物の顔の画像領域と、前記顔の画像領域外に位置する線形状の画像領域とが含まれる場合に、前記顔の画像領域と前記線形状の画像領域との位置関係についての前記複数の画像間での変化状況に基づいて、前記人物の顔が表示物であるか否かの判定を行う判定部と、
を備えることを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の判定の技術に関する。

【背景技術】

【0002】

生体認証技術は、指紋、顔、静脈などの生体特徴を用いて本人確認を行う技術である。生体認証技術では、確認が必要な場面において取得した生体特徴を、予め登録しておいた生体特徴と比較（照合）し、両者が一致するか否かを判定することによって本人確認を行う。

【0003】

生体認証技術のうちのひとつである顔認証技術は、非接触で本人確認できる手段として注目されている。顔認証技術は、パーソナル・コンピュータ（ＰＣ）やスマートフォンなどの個人利用の端末のアクセス管理、入退室の管理、空港での搭乗ゲートでの本人確認など、様々な用途で利用されている。

【0004】

この顔認証技術において生体特徴として利用する顔画像の情報は、指紋認証や手のひら静脈認証などの他の生体認証技術において生体特徴として利用する情報とは異なり、特殊なセンサを用いずに、一般的なカメラでの撮影によっても取得できてしまう。また、顔画像は、ソーシャル・ネットワーキング・サービス（ＳＮＳ）などでインターネット上に公開されている場合も多い。このため、公開されている顔画像を印刷した写真や、当該顔画像が表示されているスマートフォンなどの画面をカメラに提示することによって他人が本人になりすます不正行為が行われる懸念がある。

【0005】

そこで、カメラにより撮影された撮影画像が、人物の実物を撮影したものか、あるいは、人物の写真や人物を映している表示画面などといった人物の表示物を撮影したものかを判定するための技術が幾つか提案されている（例えば、特許文献１～特許文献５参照）。

【0006】

例えば、生体情報（例えば、顔画像）を取得する対象物が生体であるか非生体であるかを判別する生体判別装置が知られている。この装置は、対象物の生体情報を含む画像を取得し、この取得された画像から生体領域（顔領域）を検出し、この検出された生体領域の画像特徴を、あらかじめ求められた正常な対象物が所定の位置に存在したときに得られる生体領域の画像特徴と比較する。この装置は、この比較の結果、両画像特徴の間に所定値以上の差があると判断したときに当該対象物は非生体であると判別する。また、この装置は、別の手法として、顔の周囲の背景領域において、矩形状あるいは曲線や多角形などで生体領域を囲う物体を検出したときに非生体であると判別する。

【0007】

また、例えば、身分証明書を撮影した画像の、あおり歪みを正確に、しかも自動的に補正できるようにすることで、身分証明書に記載された内容を好適に認識させるという身分証明書撮影システムが知られている。このシステムは、撮像装置により得られた画像において、顔検出手段により顔が検出された場合に、写真検出手段による写真領域の検出を行い、写真検出手段により得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正する。

【0008】

また、例えば、認証時のなりすましを精度良く検出するという顔認証処理装置が知られている。この装置は、顔認識部と、枠検出部と、配置判定部と、有効判定部と、を備える。顔認識部は、対象人物を撮像した撮像画像を取得し、撮像画像の入力画像において対象人物の顔を検出する。枠検出部は、入力画像において直線状の枠を検出する。配置判定部は、顔の検出により取得した顔位置情報と、枠の検出により取得した枠位置情報とを用いて、対象人物の顔を囲む枠が存在するかどうかを判定する。有効判定部は、枠の配置判定結果に基づき、対象人物の顔情報の認証結果の有効性を判定する。

【0009】

また、例えば、対象人物の認証時に行われ得る画像を用いたなりすましを高精度に検出し、なりすましによる悪意ある第三者の不正行為を効果的に抑止するという、顔認証システムが知られている。このシステムにおいて、フラットパネル検出部は、２台の撮像装置のそれぞれにより同一の顔画像が撮像された２つの撮像画像を入力する。２つの顔検出部は、２つの撮像画像のそれぞれの顔画像を検出する。判定部は、２つの顔画像に対応する特徴点と、２つの顔画像とに基づいて、２つの顔画像が平面であるか否かを判定する。有効判定部は、２つの顔画像が平面であるか否かの判定結果に基づいて、顔認証結果の有効性を判定する。

【0010】

また、例えば、写真等による不正行為を排除するとともに、不正行為の誤判定による利便性の低下を防止するという、顔認証システムが知られている。このシステムは、管理区域に隣接した認証領域を通行する人物の顔認証を行うというものであり、画像取得手段と、記憶手段と、顔照合手段と、画策判定手段と、認証手段とを備える。記憶手段は、管理区域側から認証領域を撮影して人物の顔を含む顔画像を順次取得する。記憶手段は、予め登録された利用者の登録顔画像を記憶する。顔照合手段は、取得した顔画像と登録顔画像とを照合する。画策判定手段は、顔画像の時間的変化が小さいとき不正行為と判定する。認証手段は、登録顔画像と照合一致し、且つ、不正行為と判定されていない人物を利用者として認証する。このシステムにおいて、画策判定手段は、顔画像における所定の局所領域の変化を検出したときには不正行為ではないと判定する。

【0011】

この他、画像の判定において利用される技術として、例えば、撮影画像から、人の顔の画像領域を検出する技術が提案されている（例えば、非特許文献１参照）。

【先行技術文献】

【特許文献】

【0012】

【文献】特開２００６－９９６１４号公報

【文献】特開２０１１－９９８６号公報

【文献】特開２０１８－１６９９４３号公報

【文献】特開２０１９－１９７４２６号公報

【文献】特開２０１４－２１９７０３号公報

【非特許文献】

【0013】

【文献】Kaipeng Zhang et al., "Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks", IEEE Signal Processing Letters (SPL), Volume 23, Issue 10, Oct. 2016, p.1499-1503

【発明の概要】

【発明が解決しようとする課題】

【0014】

撮影画像が、人物の実物を撮影したものか、あるいは、人物の写真や人物を映している表示画面などといった人物の表示物を撮影したものかの判定を、１枚の撮影画像に基づいて行うと、十分な判定精度が得られないことがある。例えば、ある時点で取得された１枚の撮影画像において、実際には背景の物体の画像であるにも関わらず、当該物体の画像としての枠の画像が顔画像の周辺に位置してしまうことにより、当該撮影画像が表示物を撮影したものと誤判定してしまうことがある。

【0015】

１つの側面において、本発明は、撮影画像が人物の表示物を撮影したものか否かの判定の精度を向上させることを目的とする。

【課題を解決するための手段】

【0016】

１つの案では、コンピュータは、カメラにより異なる時刻に撮影された複数の画像を取得する。取得した複数の画像のそれぞれに、人物の顔の画像領域と、顔の画像領域外に位置する線形状の画像領域とが含まれる場合に、コンピュータは、人物の顔が表示物であるか否かの判定を行う。コンピュータは、この判定を、顔の画像領域と当該線形状の画像領域との位置関係についての複数の画像間での変化状況に基づいて行う。

【発明の効果】

【0017】

１つの側面によれば、撮影画像が人物の表示物を撮影したものか否かの判定の精度が向上する。

【図面の簡単な説明】

【0018】

【図1】例示的な情報処理装置の構成を示す図である。

【図2】線形状の画像領域を検出する手法を説明する図である。

【図3】人物の実物を撮影して得られる撮影画像の例である。

【図4】コンピュータのハードウェア構成例を示す図である。

【図5】撮影画像判定処理の処理内容を示したフローチャートである。

【図6】線形状領域検出処理の処理内容を示したフローチャートである。

【図7】垂直方向領域検出処理の処理内容を示したフローチャートである。

【図8】水平方向領域検出処理の処理内容を示したフローチャートである。

【図9A】判定処理の処理内容を示したフローチャート（その１）である。

【図9B】判定処理の処理内容を示したフローチャート（その２）である。

【発明を実施するための形態】

【0019】

以下、図面を参照しながら、実施形態を詳細に説明する。

【0020】

図１は、例示的な情報処理装置１の構成を示している。この情報処理装置１は、カメラ２での撮影画像が、人物の実物を撮影して得られたものであるか、あるいは、人物の表示物を撮影して得られたものであるかの判定を行う。

【0021】

情報処理装置１は、画像取得部１０、第一領域検出部１１、第二領域検出部１２、及び、判定部１３を備えている。

【0022】

画像取得部１０は、カメラ２により異なる時刻に撮影された複数の画像を取得する。

【0023】

第一領域検出部１１は、画像取得部１０により取得される複数の画像のそれぞれにおける、人物の顔の画像領域を検出する。なお、撮影画像から人の顔の画像領域を検出する手法として幾つかの手法が知られている。第一領域検出部１１は、これらの手法のいずれを用いてもよく、例えば、前掲した非特許文献１において提案されている手法を用いてもよい。

【0024】

第二領域検出部１２は、画像取得部１０により取得される複数の画像のそれぞれにおける人物の顔の画像領域外の残余の領域から、所定の条件を満たす形状の画像領域を検出する。

【0025】

判定部１３は、画像取得部１０により取得される複数の画像に表されている人物の顔が表示物であるか否かの判定を行う。判定部１３は、この判定を、第一領域検出部１１により検出される顔の画像領域と第二領域検出部１２により検出される前述の形状の画像領域との位置関係についての、当該複数の画像間での変化状況に基づいて行う。

【0026】

次に、撮影画像の画像領域から線形状の画像領域を検出する手法について、図２を参照しながら説明する。本手法は、図１の情報処理装置１における第二領域検出部１２が、線形状の画像領域を、所定の条件を満たす形状の画像領域として検出するために用いる手法である。

【0027】

図２において、［Ａ］として示されている画像例は、人物の顔の写真（表示物）を撮影して得られる撮影画像である。写真用紙は曲がりやすいため、本来は直線状であるはずの写真の縁部の枠の形状が、この画像例では曲線状になっている。

【0028】

本手法では、まず、各画素の位置におけるエッジ強度を各画素のエッジ強度として表したエッジ強度のマップが、エッジ強度画像として、撮影画像から生成される。

【0029】

図２において、［Ｂ］はエッジ強度画像の例であって、［Ａ］の画像のうちの一部の領域（撮影画像のエッジ強度画像から顔の画像領域を除外した残余の領域の一部）である縦横それぞれ７画素の領域（枠の一部を含む領域）についてのものである。このエッジ強度画像の例では、各画素についてのエッジ強度の値が、それぞれの画素の位置に配置されて表されている。

【0030】

次に、線形状の画像領域を構成する画素の選択が行われる。なお、以降の説明では、線形状の画像領域を構成する画素を「特定画素」と称することとする。この特定画素の選択は以下の手順により行われる。

【0031】

なお、この手順の説明では、図２の［Ｂ］のエッジ強度画像において、上端の画素列（横に並ぶ画素列）を第一列の画素列と称し、当該第一列の画素列の下に隣接する画素列を第二列の画素列と称することとする。以下、同様に、第三列、第四列、第五列、第六列の画素列を定め、このエッジ強度画像における下端の画素列を第七列の画素列と称することとする。

【0032】

初めに、エッジ強度画像における第一列の画素列に含まれる画素のうちでエッジ強度が最大である画素が、最初の特定画素として選択される。

【0033】

図２の［Ｂ］のエッジ強度画像において、第一列の画素列を構成している７個の画素のうちでエッジ強度が最大である画素はエッジ強度の値が「５０」である画素である。従って、この画素が最初の特定画素として選択される。なお、図２の［Ｂ］では、選択された特定画素の位置に網掛けを施すようにしている。

【0034】

次に、エッジ強度画像において、上述した特定画素の選択における選択対象であった画素列（特定画素が含まれていた画素列）に隣接する画素列から、特定画素に隣接している画素であってエッジ強度が最大である当該画素が次の特定画素として選択される。

【0035】

前述したように、最初に行われた画素の選択では、図２の［Ｂ］のエッジ強度画像における選択対象である第一列の画素列からエッジ強度の値が「５０」である画素が特定画素として選択される。よって、この場合、特定画素の選択における選択対象の画素列に隣接する画素列は第二列の画素列となる。この第二列の画素列に含まれる画素のうちで特定画素に隣接している画素は、エッジ強度の値がそれぞれ「４４」、「６７」、「３８」である３つの画素である。これら３つの隣接画素のうちでエッジ強度が最大の画素はエッジ強度の値が「６７」の画素であるので、この画素が次の特定画素として選択される。

【0036】

このようにして次の特定画素が選択された後は、上述した次の特定画素の選択が画素列毎に繰り返される。

【0037】

図２の［Ｂ］のエッジ強度画像において、第二列の画素列からエッジ強度の値が「６７」である特定画素が選択されると、今度は、特定画素の選択における選択対象の画素列に隣接する画素列は第三列の画素列となる。この第三列の画素列に含まれる画素のうちで特定画素に隣接している画素は、エッジ強度の値がそれぞれ「５８」、「４０」、「２７」である３つの画素である。この３つの画素のうちでエッジ強度が最大の画素はエッジ強度の値が「５８」の画素であるので、この画素が次の特定画素として選択される。

【0038】

以降、同様にして、第四列、第五列、第六列、第七列の各画素列を選択対象として、次の特定画素の選択が繰り返し行われる。この選択の繰り返しによって、当該各画素列からエッジ強度の値がそれぞれ「７６」、「６４」、「５１」、「５７」である各画素が特定画素として選択される。

【0039】

次に、特定画素の選択の繰り返しにより得られる特定画素群によって形成される画像領域をエッジ強度画像において検出することによって、撮影画像における線形状の画像領域が検出される。

【0040】

これまでに説明した選択の結果として、図２の［Ｂ］のエッジ強度画像における第一例から第七列の各画素列から、エッジ強度の値がそれぞれ「５０」、「６７」、「５８」、「７６」、「６４」、「５１」、「５７」である画素が特定画素として選択される。これらの特定画素からなる特定画素群によって形成される線形状の画像領域が、図２の［Ａ］に例示した撮影画像から検出される。

【0041】

図２において、［Ｃ］の画像例は、［Ａ］の画像例に対して行った線形状の画像領域の検出の結果を破線で表している。なお、この［Ｃ］の画像例では、人物の顔の写真の縁部の左枠と右枠とのそれぞれに沿って線形状の画像領域が検出されたことが表されている。これは、［Ａ］の画像を左右で分割して得られる２つの分割画像のそれぞれに対して線形状の画像領域の検出を行ったことによるものである。

【0042】

本実施形態では、以上のようにして撮影画像の画像領域から線形状の画像領域が検出される。なお、以下の説明では、線形状の画像領域を「線形状領域」と称することがある。

【0043】

次に、撮影画像に表されている人物の顔が表示物であるか否かの判定する手法について説明する。本手法は、図１の情報処理装置１における判定部１３が用いる手法である。

【0044】

前述したように、図２における［Ａ］の画像例は、人物の顔の写真（表示物）を撮影して得られる撮影画像である。このような撮影画像では、人物の顔の画像領域と、前述したようにして検出される線形状領域（写真の縁部の枠）との位置関係についての、異なる時刻での撮影により得られた撮影画像間での変化が同期すると推定される。

【0045】

一方、図３の画像例は、人物の実物を撮影して得られる撮影画像の例である。この画像例には人物の背景として壁が映っている。この壁には線状物が含まれており、この線状物も撮影画像に映っている。

【0046】

前述した線形状領域を検出する手法では、このような線状物の画像領域も撮影画像から検出されてしまう。但し、このような撮影画像では、人物の顔の画像領域と線形状領域（壁の線状物）との位置関係についての、異なる時刻での撮影により得られた撮影画像間での変化は同期せず、独立して変化すると推定される。

【0047】

そこで、本手法では、人物の顔の画像領域と線形状領域との位置関係についての、異なる時刻での撮影により得られた撮影画像間での変化が同期しているか否かの判定が行われる。そして、この判定において、両者の位置関係の変化が同期していないと判定された場合には、撮影画像に含まれている人物の顔が表示物ではないとの判定が下される。

【0048】

なお、上述の判定は、例えば、異なる時刻に撮影された複数の撮影画像を用いて算出される、顔の画像領域と線形状領域とのそれぞれについての動きベクトルの類似度に基づいて行われるようにしてもよい。

【0049】

一方、上述の判定において、両者の位置関係の変化が同期していると判定された場合には、撮影画像に含まれている人物の顔が表示物であるとの判定が下されるようにしてもよい。

【0050】

また、両者の位置関係の変化が同期していると判定された場合には、線形状領域が表示物の輪郭（写真やディスプレイ装置等の縁部の枠）を表しているか否かの判定が行われるようにしてもよい。そして、この判定において、線形状領域が表示物の輪郭を表していると判定された場合に、人物の顔が表示物であるとの判定が下されるようにして、人物の顔が表示物であるとの判定の精度を更に向上させるようにしてもよい。

【0051】

ところで、表示物が含まれている撮影画像では、当該表示物の輪郭に関して以下のような特徴を有することが推定される。
・表示物の輪郭は撮影画像において明確であり、当該輪郭を構成する画素についてのエッジ強度は強い可能性が高い。
・撮影画像において、表示物の輪郭を表す線形状は、表示物に表されている人物の顔の向きに対して、平行若しくは垂直に近い可能性が高い。
・撮影画像において、表示物の輪郭を表す線形状と表示物に表されている人物の顔との間の距離は近い可能性が高い。

【0052】

そこで、これらの特徴を利用して、線形状領域が表示物の輪郭を表しているか否かの判定が行われるようにしてもよい。すなわち、例えば、線形状領域を構成する各画素の位置におけるエッジ強度（特定画素群に含まれる各画素についてのエッジ強度）を用いて、この判定が行われるようにしてもよい。また、顔の画像領域に表されている人物の左右の眼の位置を結ぶ線分に対する、線形状領域を近似した直線の傾きを、人物の顔の向きに対する線形状領域の向きを表す指標とし、この近似直線の傾きを用いて、この判定が行われるようにしてもよい。あるいは、当該近似直線と顔の画像領域に表されている人物の鼻の位置との間の距離を、線形状領域と人物の顔との間の距離を表す指標とし、当該近似直線と鼻の位置との間の距離を用いて、この判定が行われるようにしてもよい。また、これらの、エッジ強度と近似直線の傾きと距離とのうちのいずれか２つを用いて、この判定が行われるようにしてもよい。更には、上述した、エッジ強度と近似直線の傾きと距離との３つ全てを用いて、この判定が行われるようにしてもよい。

【0053】

また、上述のようにエッジ強度と近似直線の傾きと距離とを用いて上述の判定が行われるときに、当該エッジ強度と当該近似直線の傾きと当該距離とを用いて、線形状領域が表示物の輪郭を表していることの確度が算出されるようにしてもよい。そして、この場合に、算出された確度と所定の確度閾値との大小比較の結果に基づいて、線形状領域が表示物の輪郭を表しているか否かの判定が行われるようにしてもよい。

【0054】

なお、線形状領域が表示物の輪郭を表していることの確度として、例えば、下記の式（１）を計算することによって算出される確度Ｒを用いるようにしてもよい。

【0055】

Ｒ ＝ α×μ＋β×ｃｏｓθ＋γ／ｄ ・・・・・・・・・・・式（１）

【0056】

なお、式（１）において、μは、線形状領域を構成する各画素の位置におけるエッジ強度の平均値（特定画素群を構成する各特定画素についてのエッジ強度の平均値）である。また、式（１）において、θは、顔の画像領域に表されている人物の左右の眼の位置を結ぶ線分に対する、線形状領域についての近似直線の傾きである。また、ｄは、当該近似直線と顔の画像領域に表されている人物の鼻の位置との間の距離である。なお、α、β、及びγは、それぞれ、μ、θ、及びｄの各値についての確度Ｒに対する重要度に応じて定められる重み付け定数であり、例えば実験により適切な値を予め求めておく。

【0057】

なお、式（１）は、表示物の輪郭を表す線形状が、表示物に表されている人物の顔の向きに対して平行に近い場合、より具体的には、傾きθの値が－４５°≦θ≦＋４５°の場合に用いられる。一方、表示物の輪郭を表す線形状が、表示物に表されている人物の顔の向きに対して垂直に近い場合、より具体的には、傾きθの値が－９０°＜θ＜－４５°若しくは＋４５°＜θ≦＋９０°の場合には、確度Ｒの算出式として、下記の式（２）が用いられる。

【0058】

Ｒ ＝ α×μ＋β×ｃｏｓ（９０°－｜θ｜）＋γ／ｄ ・・・・式（２）

【0059】

本実施形態では、以上のようにして、撮影画像に表されている人物の顔が表示物であるか否かの判定が行われる。

【0060】

なお、図１の情報処理装置１を、コンピュータとソフトウェアとの組合せにより構成するようにしてもよい。

【0061】

図４はコンピュータ２０のハードウェア構成例を示している。

【0062】

コンピュータ２０は、構成要素として、例えば、プロセッサ２１、メモリ２２、記憶装置２３、読取装置２４、通信インタフェース２６、及び入出力インタフェース２７の各ハードウェアを備えている。これらの構成要素はバス２８を介して接続されており、構成要素間で相互にデータの授受を行える。

【0063】

プロセッサ２１は、例えば、シングルプロセッサであっても、マルチプロセッサ及びマルチコアであってもよい。プロセッサ２１は、メモリ２２を利用して、例えば、後述する撮影画像判定処理の手順を記述した撮影画像判定プログラムを実行する。

【0064】

メモリ２２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでよい。記憶装置２３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。また、ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

【0065】

読取装置２４は、プロセッサ２１の指示に従って着脱可能記憶媒体２５にアクセスする。着脱可能記憶媒体２５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ－ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。ＣＤは、Ｃｏｍｐａｃｔ Ｄｉｓｃの略称である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略称である。

【0066】

通信インタフェース２６は、例えば、プロセッサ２１の指示に従って通信ネットワーク（不図示）を介してデータを送受信する。

【0067】

入出力インタフェース２７は、カメラ２から送られてくる撮影画像の画像データ等の各種のデータを取得する。また、入出力インタフェース２７は、プロセッサ２１から出力される、後述の判定処理の結果を出力する。

【0068】

このコンピュータ２０のプロセッサ２１により実行されるプログラムは、例えば、下記の形態で提供される。
（１）記憶装置２３に予めインストールされている。
（２）着脱可能記憶媒体２５により提供される。
（３）プログラムサーバなどのサーバから通信ネットワークを介して通信インタフェース２６へ提供される。

【0069】

なお、コンピュータ２０のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の機能部の一部または全部の機能がＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。ＳｏＣは、Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐの略称である。

【0070】

次に、撮影画像判定処理について説明する。図５は、この撮影画像判定処理の処理内容を示したフローチャートである。図４のコンピュータ２０とソフトウェアとの組合せにより図１の情報処理装置１を構成する場合には、この撮影画像判定処理を記述した判定プログラムをプロセッサ２１に実行させるようにする。

【0071】

図５において、まず、Ｓ１００では、複数枚の撮影画像を取得する処理が行われる。この処理では、カメラ２により異なる時刻に撮影されて得られた複数枚の時系列の画像を、入出力インタフェース２７を介してカメラ２から取得してメモリ２２に蓄える処理が行われる。

【0072】

プロセッサ２１は、このＳ１００の処理を実行することで図１の画像取得部１０の機能を提供する。

【0073】

次に、Ｓ２００では、Ｓ１００の処理により取得された複数の画像のそれぞれにおいて人物の顔の画像領域を検出する処理が行われる。

【0074】

前述したように、撮影画像から人の顔の画像領域を検出する手法として幾つかの手法が知られている。Ｓ２００の処理では、これらの手法のいずれを用いてもよく、例えば、前掲した非特許文献１において提案されている手法を用いてもよい。

【0075】

プロセッサ２１は、このＳ２００の処理を実行することで図１の第一領域検出部１１の機能を提供する。

【0076】

なお、以下の説明では、このＳ２００の処理により撮影画像から検出される画像領域である人物の顔の画像領域を、「顔領域」と称することがある。

【0077】

次に、Ｓ３００において線形状領域検出処理が行われる。この線形状領域検出処理は、Ｓ１００の処理により取得される複数の画像のそれぞれにおいて、Ｓ２００の処理により検出される顔領域外の残余の領域から線形状領域を検出する処理である。この線形状領域検出処理の詳細は後述する。

【0078】

次に、Ｓ４００において判定処理が行われる。この判定処理は、Ｓ１００の処理により取得された複数の画像に表されている人物の顔が表示物であるか否かの判定を行う処理である。この判定は、Ｓ２００とＳ３００との処理によりそれぞれ検出された顔領域とセ化掲示用領域との位置関係についての、複数の画像間での変化状況に基づき、前述した手法に従って行われる。この判定処理の詳細は後述する。

【0079】

Ｓ４００の処理を終えると、この撮影画像判定処理が終了する。

【0080】

次に、図５のＳ３００の処理である線形状領域検出処理の詳細を説明する。図６は線形状領域検出処理の処理内容を示したフローチャートである。プロセッサ２１は、この線形状領域検出処理を実行することによって図１の第二領域検出部１２の機能を提供する。

【0081】

なお、この線形状領域検出処理は、図５のＳ１００の処理により取得された複数の撮影画像のそれぞれを処理対象として実行される処理である。

【0082】

図６において、まず、Ｓ３１０では、図５のＳ１００の処理により取得された複数の撮影画像のそれぞれを回転変換して複数の矩形画像を生成する処理が行われる。

【0083】

画像を回転させる変換処理として、例えばアフィン変換（Affine Transformation）が知られている。本実施形態では、撮影画像に対する回転変換の手法としてアフィン変換を用いることとする。

【0084】

Ｓ３１０の処理では、まず、図５のＳ２００の処理によって撮影画像より検出した顔領域から、左右の眼の位置を検出する処理が行われる。次に、撮影画像を回転変換して、この左右の眼の位置を結ぶ線分を水平にする処理が行われる。次に、この回転変換後の撮影画像の端部に対してトリミングを行って、上端及び下端の辺が上述の線分に平行であり、左端及び右端の辺が前述の線分に対して垂直である矩形画像を生成する処理が行われる。

【0085】

なお、図５のＳ１００の処理により取得された撮影画像が、このような矩形画像の特徴を既に有している場合には、Ｓ３１０の処理を行わないようにして、矩形画像に対して行われる以降の処理を撮影画像に対して行うようにしてもよい。

【0086】

次に、Ｓ３２０では、Ｓ３１０の処理で生成した複数の矩形画像から、複数のエッジ強度画像を生成する処理が行われる。

【0087】

画像からエッジを抽出する手法として幾つかの手法が知られている。本実施形態では、これらの手法のうちのラブラシアンフィルタ（Laplacian Filter）を用いて、矩形画像からエッジ強度画像を生成することとする。

【0088】

次に、Ｓ３３０では、Ｓ３２０の処理により生成されたエッジ強度画像から、元の撮影画像における顔領域に対応する領域を除外した残余のエッジ強度画像を生成する処理が行われる。この処理により、Ｓ３２０の処理により生成された複数のエッジ強度画像のそれぞれにおいて、元の撮影画像における顔領域に対応する領域に含まれる各画素についてのエッジ強度が「０」に設定されて、複数の残余のエッジ強度画像が生成される。

【0089】

次に、Ｓ３４０において垂直方向領域検出処理が行われ、続くＳ３５０において水平方向領域検出処理が行われる。これらはどちらも、Ｓ３３０の処理により生成された残余のエッジ強度画像を用いて、前述した手法に従って矩形画像から線形状領域を検出する処理である。但し、垂直方向領域検出処理は垂直方向の線形状領域を検出処理であり、水平方向領域検出処理は水平方向の線形状領域を検出処理である。これらの処理の詳細は後述する。

【0090】

Ｓ３４０及びＳ３５０の処理を終えると、線形状領域検出処理が終了し、プロセッサ２１は、図５の撮影画像判定処理へと処理を戻す。

【0091】

以上までの処理が線形状領域検出処理である。

【0092】

次に、図６のＳ３４０の処理である垂直方向領域検出処理の詳細を説明する。図７は垂直方向領域検出処理の処理内容を示したフローチャートである。

【0093】

図７において、まず、Ｓ３４１では、Ｓ３３０の処理により生成された残余のエッジ強度画像における上端の画素列に含まれる画素のうちでエッジ強度が最大の画素を、最初の特定画素として選択する処理が行われる。この処理により選択される最初の特定画素の位置が線形状領域の始端となる。

【0094】

次に、Ｓ３４２において、この処理が実行される直近に実行された処理（前述のＳ３４１若しくは後述のＳ３４３の処理）によって選択された特定画素を含む画素列の下に隣接する画素列から、当該特定画素に隣接する画素（隣接画素）を抽出する処理が行われる。

【0095】

次に、Ｓ３４３において、Ｓ３４２の処理により抽出された隣接画素のうちでエッジ強度が最大の隣接画素を、次の特定画素として選択する処理が行われる。

【0096】

次に、Ｓ３４４において、Ｓ３４３の処理により選択された特定画素についてのエッジ強度が、所定の強度閾値以上であるか否かを判定する処理が行われる。

【0097】

このＳ３４４の処理は、Ｓ３４３の処理により選択された特定画素についてのエッジ強度が、線領域の画像領域としてみなし得る程度のエッジ強度であるか否かを判定するためのものである。

【0098】

Ｓ３４４の判定処理において、特定画素についてのエッジ強度が所定の強度閾値以上であると判定されたとき（判定結果がＹＥＳのとき）にはＳ３４５に処理が進む。一方、この判定処理において、特定画素についてのエッジ強度が所定の強度閾値に満たないと判定されたとき（判定結果がＮＯのとき）には、Ｓ３４３の処理により選択された特定画素の位置が線形状領域の終端であるとみなしてＳ３４６に処理が進む。

【0099】

次に、Ｓ３４５において、Ｓ３４３の処理により選択された特定画素を含む画素列が、Ｓ３３０の処理により生成された残余のエッジ強度画像における下端の画素列か否かを判定する処理が行われる。この判定処理において、特定画素を含む画素列が下端の画素列であると判定されたとき（判定結果がＹＥＳのとき）には、Ｓ３４３の処理により選択された特定画素の位置が線形状領域の終端であるとみなしてＳ３４６に処理が進む。一方、この判定処理において、特定画素を含む画素列が下端の画素列ではないと判定されたとき（判定結果がＮＯのとき）には、線形状領域が更に画像の下方向に続いている可能性があるので、Ｓ３４２に処理が戻って上述した処理が繰り返される。

【0100】

次に、Ｓ３４６において、Ｓ３４１の処理とＳ３４３の処理の繰り返しとによって選択された各特定画素からなる特定画素群を、垂直方向の線形状領域として矩形画像から検出する処理が行われる。

【0101】

Ｓ３４６の処理を終えると、垂直方向領域検出処理が終了し、プロセッサ２１は、図６の線形状領域検出処理へと処理を戻す。

【0102】

以上までの処理が垂直方向領域検出処理である。この垂直方向領域検出処理におけるＳ３４１の処理において最初の特定画素の選択の対象である画素列は、残余のエッジ強度画像における上端の画素列である。エッジ強度画像は矩形画像から生成されたものであり、矩形画像の上端の辺は、顔領域における左右の眼の位置を結ぶ線分に平行である。従って、Ｓ３４２からＳ３４５の処理の繰り返しは、最初の画素列が当該線分と平行である場合の第一の選択の繰り返しの一例であり、Ｓ３４６の処理による垂直方向の線形状領域の検出は、第一の線形状の画像領域の検出に相当する。

【0103】

次に、図６のＳ３５０の処理である水平方向領域検出処理の詳細を説明する。図８は水平方向領域検出処理の処理内容を示したフローチャートである。

【0104】

前述した垂直方向領域検出処理は、垂直方向の線形状領域の探索を、画像の上方から下方に向かって行うのに対し、これより説明する水平方向領域検出処理は、水平方向の線形状領域の探索を、画像の左方から右方に向かって行う。

【0105】

図８において、まず、Ｓ３５１では、Ｓ３３０の処理により生成された残余のエッジ強度画像における左端の画素列に含まれる画素のうちでエッジ強度が最大の画素を、最初の特定画素として選択する処理が行われる。この処理により選択される最初の特定画素の位置が線形状領域の始端となる。

【0106】

次に、Ｓ３５２において、この処理が実行される直近に実行された処理（前述のＳ３５１若しくは後述のＳ３５３の処理）によって選択された特定画素を含む画素列の右に隣接する画素列から、当該特定画素に隣接する画素（隣接画素）を抽出する処理が行われる。

【0107】

次に、Ｓ３５３において、Ｓ３５２の処理により抽出された隣接画素のうちでエッジ強度が最大の隣接画素を、次の特定画素として選択する処理が行われる。

【0108】

次に、Ｓ３５４において、Ｓ３５３の処理により選択された特定画素についてのエッジ強度が、所定の強度閾値以上であるか否かを判定する処理が行われる。

【0109】

このＳ３５４の処理は、図７のＳ３４４の処理と同様に、Ｓ３５３の処理により選択された特定画素についてのエッジ強度が、線領域の画像領域としてみなし得る程度のエッジ強度であるか否かを判定するためのものである。

【0110】

Ｓ３５４の判定処理において、特定画素についてのエッジ強度が所定の強度閾値以上であると判定されたとき（判定結果がＹＥＳのとき）にはＳ３５５に処理が進む。一方、この判定処理において、特定画素についてのエッジ強度が所定の強度閾値に満たないと判定されたとき（判定結果がＮＯのとき）には、Ｓ３５３の処理により選択された特定画素の位置が線形状領域の終端であるとみなしてＳ３５６に処理が進む。

【0111】

次に、Ｓ３５５において、Ｓ３５３の処理により選択された特定画素を含む画素列が、Ｓ３３０の処理により生成された残余のエッジ強度画像における右端の画素列か否かを判定する処理が行われる。この判定処理において、特定画素を含む画素列が右端の画素列であると判定されたとき（判定結果がＹＥＳのとき）には、Ｓ３５３の処理により選択された特定画素の位置が線形状領域の右端であるとみなしてＳ３５６に処理が進む。一方、この判定処理において、特定画素を含む画素列が右端の画素列ではないと判定されたとき（判定結果がＮＯのとき）には、線形状領域が更に画像の右方向に続いている可能性があるので、Ｓ３５２に処理が戻って上述した処理が繰り返される。

【0112】

次に、Ｓ３５６において、Ｓ３５１の処理とＳ３５３の処理の繰り返しとによって選択された各特定画素からなる特定画素群を、水平方向の線形状領域として矩形画像から検出する処理が行われる。

【0113】

Ｓ３５６の処理を終えると、水平方向領域検出処理が終了し、プロセッサ２１は、図６の線形状領域検出処理へと処理を戻す。

【0114】

以上までの処理が水平方向領域検出処理である。この水平方向領域検出処理におけるＳ３５１の処理において最初の特定画素の選択の対象である画素列は、残余のエッジ強度画像における左端の画素列である。エッジ強度画像は矩形画像から生成されたものであり、矩形画像の左端の辺は、顔領域における左右の眼の位置を結ぶ線分に対して垂直である。従って、Ｓ３５２からＳ３５５の処理の繰り返しは、最初の画素列が当該線分に対して垂直である場合の第二の選択の繰り返しの一例であり、Ｓ３５６の処理による水平方向の線形状領域の検出は、第二の線形状の画像領域の検出に相当する。

【0115】

次に、図５のＳ４００の処理である判定処理の詳細を説明する。図９Ａ及び図９Ｂは判定処理の処理内容を示したフローチャートである。プロセッサ２１は、この判定処理を実行することによって図１の判定部１３の機能を提供する。

【0116】

図９Ａに示されているＳ４０１からＳ４０５にかけての各処理は、図６のＳ３４０の処理で検出された垂直方向の線形状領域と図６のＳ３５０の処理で検出された水平方向の線形状領域とのそれぞれについて行われる。

【0117】

図９Ａにおいて、まず、Ｓ４０１では、図１のＳ１００の処理により取得された複数の画像のそれぞれの矩形画像について、線形状領域の構成画素についてのエッジ強度の平均値μを、算出する処理が行われる。

【0118】

次に、Ｓ４０２において、当該複数の画像のそれぞれの矩形画像について、線形状領域を近似した直線を求め、この近似直線についての、矩形画像における顔領域に表されている人物の左右の眼の位置を結ぶ線分に対する傾きθを算出する処理が行われる。なお、本実施形態では、最小二乗法を用いて、線形状領域の各構成画素の位置から線形状領域についての近似直線を求めることとするが、他の手法を用いて近似直線を求めるようにしてもよい。

【0119】

次に、Ｓ４０３において、図１のＳ１００の処理により取得された複数の画像のそれぞれの矩形画像において、Ｓ４０２の処理により求めた近似直線と顔領域に表されている人物の鼻の位置との間の距離ｄを算出する処理が行われる。

【0120】

次に、Ｓ４０４において、図１のＳ１００の処理により取得された複数の画像から選択された２枚の画像についての２枚の矩形画像のそれぞれにおける線形状領域を、当該２枚の矩形画像間で対応付ける処理が行われる。

【0121】

このＳ４０４の処理において、２枚の画像は、例えば、図１のＳ１００の処理により取得された複数の画像において時系列で連続してカメラ２により撮影された画像が選択される。このような２枚の画像の間では、写真の外枠や背景である壁の線状物が表されている線形状領域に大きな差異はなく、従って、Ｓ４０１からＳ４０３の各処理により算出されたエッジ強度の平均値μ、傾きθ、及び距離ｄの各値はいずれも近い値となると思われる。そこで、これらの各値が当該２枚の画像についての矩形画像の間で近い値である線形状領域を、２枚の矩形画像間で対応付ける処理が、Ｓ４０４の処理として行われる。

【0122】

次に、Ｓ４０５において、Ｓ４０４の処理により対応付けた線形状領域についての動きベクトルを、当該２枚の矩形画像のそれぞれにおける当該線形状領域の位置（例えば線形状領域の重心位置）に基づいて算出する処理が行われる。

【0123】

次に、Ｓ４０６において、当該２枚の矩形画像のそれぞれにおける顔領域についての動きベクトルを、当該２枚の矩形画像のそれぞれにおける当該顔領域の位置（例えば当該顔領域に表されている人物の鼻の位置）に基づいて算出する処理が行われる。

【0124】

次に、Ｓ４０７において、線形状領域についての動きベクトルと、顔領域についての動きベクトルとのコサイン類似度を算出する処理が行われる。なお、このＳ４０７の処理において、線形状領域についての動きベクトルとして、垂直方向と水平方向との線形状領域についての動きベクトルの平均が用いられる。なお、垂直方向と水平方向との線形状領域についての動きベクトルは、Ｓ４０５の処理により算出されている。また、このＳ４０７の処理において、顔領域についての動きベクトルとして、Ｓ４０６の処理により算出された動きベクトルが用いられる。

【0125】

次に、図９ＢのＳ４０８において、Ｓ４０７の処理により算出されたコサイン類似度の値が所定の類似度閾値以上であるか否かを判定する処理が行われる。この判定処理は、線形状領域と顔領域との位置関係についての変化が同期しているか否かを判断するための処理である。この判定処理において、コサイン類似度の値が類似度閾値以上であると判定されたとき（判定結果がＹＥＳのとき）には、線形状領域と顔領域との位置関係についての変化が同期していると判断して、Ｓ４０９に処理を進める。一方、この判定処理において、コサイン類似度の値が類似度閾値よりも小さいと判定されたとき（判定結果がＮＯのとき）には、線形状領域と顔領域との位置関係についての変化が同期していないと判断して、Ｓ４１２に処理を進める。

【0126】

次に、Ｓ４０９において、Ｓ４０１からＳ４０３の各処理により算出されたエッジ強度の平均値μ、傾きθ、及び距離ｄの各値を用いて、線形状領域が表示物の輪郭を表していることの確度Ｒを算出する処理が行われる。この処理では、垂直方向の線形状領域についての確度Ｒの算出には前述した式（２）が用いられ、水平方向の線形状領域についての確度Ｒの算出には前述した式（１）が用いられる。

【0127】

次に、Ｓ４１０において、垂直方向と水平方向とのそれぞれの線形状領域についての確度Ｒの平均値と所定の確度閾値との大小比較を行う処理が行われる。この処理は、線形状領域が表示物の輪郭を表しているか否かを判断するための処理である。この大小比較において、確度Ｒの平均値が確度閾値以上であると判定したとき（判定結果がＹＥＳのとき）には、線形状領域が表示物の輪郭を表していると判断して、Ｓ４１１に処理を進める。一方、この大小比較において、確度Ｒの平均値が確度閾値よりも小さいと判定したとき（判定結果がＮＯのとき）には、線形状領域が表示物の輪郭を表していないと判断して、Ｓ４１２に処理を進める。

【0128】

なお、Ｓ４１０の処理において、線形状領域が表示物の輪郭を表しているか否かを判断するために、垂直方向と水平方向とのそれぞれの線形状領域についての確度Ｒの総和と所定の確度閾値との大小比較を行うようにしてもよい。

【0129】

次に、Ｓ４１１において、図５のＳ１００の処理により取得された複数の画像に表されている人物の顔は表示物であるとの判定結果を出力する処理が行われる。その後、このＳ４１１の処理を終えると、図９Ａ及び図９Ｂに示した判定処理が終了し、プロセッサ２１は図５の撮影画像判定処理へと処理を戻す。

【0130】

一方、Ｓ４１２では、図５のＳ１００の処理により取得された複数の画像に表されている人物の顔は表示物ではない（人物の実物である）との判定結果を出力する処理が行われる。その後、このＳ４１２の処理を終えると、図９Ａ及び図９Ｂに示した判定処理が終了し、プロセッサ２１は図５の撮影画像判定処理へと処理を戻す。

【0131】

以上までの処理が判定処理である。

【0132】

以上の各処理を図４のコンピュータ２０が行うことによって、撮影画像が人物の表示物を撮影したものか否かの判定が精度良く行われる。

【0133】

以上、開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

【0134】

例えば、図７の垂直方向領域検出処理では、垂直方向の線形状領域が１つ検出される。この代わりに、例えば、図１のＳ１００の処理により取得される撮影画像を左右で２分割し、分割した画像のそれぞれに対して垂直方向領域検出処理を行うことによって、垂直方向の線形状領域を２つ検出するようにしてもよい。

【0135】

また、同様に、図１のＳ１００の処理により取得される撮影画像を上下で２分割し、分割した画像のそれぞれに対して図８の水平方向領域検出処理を行うことによって、水平方向の線形状領域を２つ検出するようにしてもよい。

【0136】

また、例えば、図７の垂直方向領域検出処理では、画像の上端を始端とし、画像の下端よりも上の位置と終端とする垂直方向の線形状領域が検出される場合がある。このような線形状領域が検出された場合には、画像の下端を始端とし、当該始端から画像の上方に延びる垂直方向の線形状領域を更に検出するようにしてもよい。

【0137】

このような垂直方向の線形状領域の検出は、図７の垂直方向領域検出処理における注目画素の選択を、画像の下端の画素列から上方に順次行うようにすればよい。より詳細には、図７のＳ３４４の判定結果がＮＯの場合に、Ｓ３４１からＳ３４６の処理に類似した処理を行うようにすればよい。

【0138】

この類似した処理が図７の処理と異なる点について説明すると、この類似した処理では、Ｓ３４１の処理の代わりに、残余のエッジ強度画像における下端の画素列に含まれる画素のうちでエッジ強度が最大の画素を、最初の特定画素として選択する処理が行われる。また、Ｓ３４２の処理の代わりに、この処理が実行される直近に実行された処理によって選択された特定画素を含む画素列の上に隣接する画素列から、当該特定画素に隣接する画素（隣接画素）を抽出する処理が行われる。そして、Ｓ３４６の処理の代わりに、Ｓ３４３の処理により選択された特定画素を含む画素列が、Ｓ３３０の処理により生成された残余のエッジ強度画像における上端の画素列か否かを判定する処理が行われる。

【0139】

また、例えば、図８の水平方向領域検出処理では、画像の左端を始端とし、画像の右端よりも左の位置と終端とする水平方向の線形状領域が検出される場合がある。このような線形状領域が検出された場合には、画像の右端を始端とし、当該始端から画像の左方に延びる水平方向の線形状領域を更に検出するようにしてもよい。

【0140】

このような水平方向の線形状領域の検出は、図８の水平方向領域検出処理における注目画素の選択を、画像の右端の画素列から左方に順次行うようにすればよい。より詳細には、図８のＳ３５４の判定結果がＮＯの場合に、Ｓ３５１からＳ３５６の処理に類似した処理を行うようにすればよい。

【0141】

この類似した処理が図７の処理と異なる点について説明すると、この類似した処理では、Ｓ３５１の処理の代わりに、残余のエッジ強度画像における右端の画素列に含まれる画素のうちでエッジ強度が最大の画素を、最初の特定画素として選択する処理が行われる。また、Ｓ３５２の処理の代わりに、この処理が実行される直近に実行された処理によって選択された特定画素を含む画素列の左に隣接する画素列から、当該特定画素に隣接する画素（隣接画素）を抽出する処理が行われる。そして、Ｓ３５６の処理の代わりに、Ｓ３５３の処理により選択された特定画素を含む画素列が、Ｓ３３０の処理により生成された残余のエッジ強度画像における左端の画素列か否かを判定する処理が行われる。

【0142】

なお、このようにして垂直方向と水平方向との線形状領域を複数検出した場合には、図９Ａ及び図９Ｂの判定処理では、検出された複数の線形状領域のそれぞれについて、Ｓ４０１からＳ４０５にかけての各処理を行うようにする。そして、Ｓ４０７の処理では、線形状領域についての動きベクトルとして、検出された複数の線形状領域のそれぞれについての動きベクトルの平均を用いるようにする。また、Ｓ４０９の処理では、複数の線形状領域のそれぞれについて線形状領域が表示物の輪郭を表していることの確度Ｒを算出する処理を行い、Ｓ４１０の処理では、算出した確度Ｒについての平均値若しくは総和と確度閾値との大小比較を行うようにする。

【符号の説明】

【0143】

１ 情報処理装置
２ カメラ
１０ 画像取得部
１１ 第一領域検出部
１２ 第二領域検出部
１３ 判定部
２０ コンピュータ
２１ プロセッサ
２２ メモリ
２３ 記憶装置
２４ 読取装置
２５ 着脱可能記憶媒体
２６ 通信インタフェース
２７ 入出力インタフェース
２８ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】