特表 2024-539262 ペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】ペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法

(51)【国際特許分類】

   G06T 7/73 20170101AFI20241018BHJP

   A01K 29/00 20060101ALI20241018BHJP

【ＦＩ】

G06T7/73

A01K29/00 E

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024524484

(86)(22)【出願日】2022-09-30

(85)【翻訳文提出日】2024-04-23

(86)【国際出願番号】 KR2022014739

(87)【国際公開番号】W WO2023075185

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】10-2021-0146299

(32)【優先日】2021-10-29

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】523022044

【氏名又は名称】ペットナウ インコーポレイテッド

【氏名又は名称原語表記】ＰＥＴＮＯＷ ＩＮＣ．

【住所又は居所原語表記】＃５０８，７５ Ｔｅｃｈｎｏ １－ｒｏ，Ｙｕｓｅｏｎｇ－ｇｕ，Ｄａｅｊｅｏｎ ３４０１４ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】イム、チュン ホ

(72)【発明者】

【氏名】パク、テ ヒョン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096CA02

5L096DA02

5L096EA14

5L096FA02

5L096FA06

5L096FA09

5L096FA59

5L096FA66

5L096FA69

5L096FA72

5L096GA51

5L096JA11

(57)【要約】

ペットの識別のための鼻紋のイメージを取得する過程で、正面イメージであるか否かを判別することが可能な方法及び装置を提供する。本発明によるペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法は、前記ペットの顔面が含まれたイメージを取得するステップと、前記イメージから前記ペットの鼻領域を抽出するステップと、前記鼻領域から前記鼻の輪郭を表す特徴点を抽出するステップと、前記特徴点の位置関係に基づいて、前記鼻領域が正面であるか否かを判断するステップと、を含む。

【特許請求の範囲】

【請求項1】

ペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法であって、
前記ペットの顔面が含まれたイメージを取得するステップと、
前記イメージから前記ペットの鼻領域を抽出するステップと、
前記鼻領域から鼻の輪郭を表す特徴点を抽出するステップと、
前記特徴点の位置関係に基づいて、前記鼻領域が正面であるか否かを判断するステップと、を含む、方法。

【請求項2】

前記特徴点を抽出するステップは、
前記イメージに予め定義されたパターンタイプに対応するカーネルをそれぞれ適用して、前記イメージのピクセルごとにそれぞれのカーネルとの敏感度を表す特徴ベクトルを導出するステップと、
前記特徴ベクトルから前記鼻の輪郭を表す前記特徴点を抽出するステップと、を含む、請求項１に記載の方法。

【請求項3】

前記特徴点を連結して生成した骨格モデルと、前記ペットの鼻モデルとを比較して前記特徴点の連結関係及び位置を較正するステップをさらに含む、請求項２に記載の方法。

【請求項4】

前記鼻領域が正面であるか否かを判断するステップは、
前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成するステップと、
前記鼻の左端を表す特徴点と前記縦軸線間の距離と、前記鼻の右端を表す特徴点と前記縦軸線間の距離とを比較して、前記顔面のヨー（Ｙａｗ）方向の回転如何を判断するステップと、を含む、請求項１に記載の方法。

【請求項5】

前記鼻領域が正面であるか否かを判断するステップは、
前記鼻の左端と右端を表す特徴点を連結する横軸線を構成するステップと、
前記ペットの鼻孔の開口部を構成する特徴点の方向性を表すベクトルが前記横軸を基準として基準範囲内に位置するか否かに基づいて、前記顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断するステップと、を含む、請求項１に記載の方法。

【請求項6】

前記鼻領域が正面であるか否かを判断するステップは、
前記鼻の開口部に相当する特徴点の位置に対する、前記ペットの鼻孔の最上端に相当する特徴点の位置、及び前記ペットの鼻孔の最下端に相当する特徴点の位置に基づいて前記顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断するステップを含む、請求項１に記載の方法。

【請求項7】

前記鼻領域が正面であるか否かを判断するステップは、
前記ペットの左鼻孔を構成する特徴点を連結した左鼻孔面積と、前記ペットの右鼻孔を構成する特徴点を連結した右鼻孔面積とを比較して、前記顔面に回転が発生したか否かを判断するステップを含む、請求項１に記載の方法。

【請求項8】

前記鼻領域が正面であるか否かを判断するステップは、
前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成するステップと、
前記ペットの左鼻孔の内側端を表す特徴点と前記縦軸線間の距離と、前記ペットの右鼻孔の内側端を表す特徴点と前記縦軸線間の距離とを比較して、前記顔面に回転が発生したか否かを判断するステップと、を含む、請求項１に記載の方法。

【請求項9】

前記鼻領域が正面であるか否かを判断するステップは、
前記特徴点のうち、前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成するステップと、
前記縦軸線と前記ペットの鼻孔領域とが重なる場合、前記ペットの顔面が正面ではないと判断するステップと、を含む、請求項１に記載の方法。

【請求項10】

前記ペットの顔面が正面ではないと判断されると、前記ペットの顔面が含まれたイメージが有効ではないと判断し、前記イメージを捨てるステップと、
次のフレームのイメージに対する有効性検査を行うステップと、をさらに含む、請求項１に記載の方法。

【請求項11】

ペットの鼻紋学習又は認識のためのイメージの適合性を検査するための装置であって、
前記ペットを撮影して、前記ペットの顔面が含まれたイメージを生成するカメラと、
前記イメージを処理して前記イメージの適合性を検査するプロセッサと、を含み、
前記プロセッサは、
前記イメージから前記ペットの鼻領域を抽出し、
前記鼻領域から鼻の輪郭を表す特徴点を抽出し、
前記特徴点の位置関係に基づいて、前記鼻領域が正面であるか否かを判断する、装置。

【請求項12】

前記プロセッサは、
前記イメージに予め定義されたパターンタイプに対応するカーネルをそれぞれ適用して、前記イメージのピクセルごとにそれぞれのカーネルとの敏感度を表す特徴ベクトルを導出し、
前記特徴ベクトルから前記鼻の輪郭を表す前記特徴点を抽出する、請求項１１に記載の装置。

【請求項13】

前記プロセッサは、
前記特徴点を連結して生成した骨格モデルと、前記ペットの鼻モデルとを比較して、前記特徴点の連結関係及び位置を較正する、請求項１２に記載の装置。

【請求項14】

前記プロセッサは、
前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成し、
前記鼻の左端を表す特徴点と前記縦軸線間の距離と、前記鼻の右端を表す特徴点と前記縦軸線間の距離とを比較して、前記顔面のヨー（Ｙａｗ）方向の回転如何を判断する、請求項１１に記載の装置。

【請求項15】

前記プロセッサは、
前記鼻の左端と右端を表す特徴点を連結する横軸線を構成し、
前記ペットの鼻孔の開口部を構成する特徴点の方向性を表すベクトルが前記横軸を基準として基準範囲内に位置するか否かに基づいて前記顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断する、請求項１１に記載の装置。

【請求項16】

前記プロセッサは、
前記鼻の開口部に相当する特徴点の位置に対する前記ペットの鼻孔の最上端に相当する特徴点の位置、及び前記ペットの鼻孔の最下端に相当する特徴点の位置に基づいて、前記顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断する、請求項１１に記載の装置。

【請求項17】

前記プロセッサは、
前記ペットの左鼻孔を構成する特徴点を連結した左鼻孔面積と、前記ペットの右鼻孔を構成する特徴点を連結した右鼻孔面積とを比較して、前記顔面に回転が発生したか否かを判断する、請求項１１に記載の装置。

【請求項18】

前記プロセッサは、
前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成し、
前記ペットの左鼻孔の内側端を表す特徴点と前記縦軸線間の距離と、前記ペットの右鼻孔の内側端を表す特徴点と前記縦軸線間の距離とを比較して、前記顔面に回転が発生したか否かを判断する、請求項１１に記載の装置。

【請求項19】

前記プロセッサは、
前記特徴点のうち、前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成し、
前記縦軸線と前記ペットの鼻孔領域とが重なる場合、前記ペットの顔面が正面ではないと判断する、請求項１１に記載の装置。

【請求項20】

前記プロセッサは、
前記ペットの顔面が正面ではないと判断されると、前記ペットの顔面が含まれたイメージが有効ではないと判断し、前記イメージを捨て、次のフレームのイメージに対する有効性検査を行う、請求項１１に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法に係り、より具体的には、イヌの鼻紋のようにペットを識別することが可能なオブジェクトのイメージが人工知能に基づく機械学習又は識別に適するか否かを判断してフィルタリングするための方法及び装置に関する。

【背景技術】

【0002】

現代社会において人と共に生活しながら情緒的に頼ることができるペットへの需要が高まっている。これにより、ペットに対する健康管理などのために多様なペットについての情報をデータベース化して管理する必要性が増加している。ペットを管理するために、人の指紋のようにペットの識別情報が必要であり、ペットに応じて使用できるオブジェクトがそれぞれ定義できる。例えば、イヌの場合、鼻紋（鼻のシワの形状）がそれぞれ異なるので、イヌごとに鼻紋を識別情報として使用することができる.

【0003】

図１の（ａ）に示すように、鼻紋を登録する方法は、人の指紋又は顔面を登録するのと同様に、ペットの鼻を含む顔面を撮影し（Ｓ１１０）、鼻紋を含むイメージをデータベース（サーバ）に格納及び登録する過程（Ｓ１２０）によって行われる。また、鼻紋を照会する方法は、図１の（ｂ）に示すように、ペットの鼻紋を撮影し（Ｓ１３０）、撮影された鼻紋と一致する鼻紋及びこれに関連する情報を探索し（Ｓ１４０）、撮影された鼻紋と一致する情報を出力する過程（Ｓ１５０）によって行われ得る。図１に示すように、ペットの鼻紋を登録し照会する過程によって各ペットを識別し、当該ペットの情報を管理することができる。ペットの鼻紋情報は、データベースに格納され、ＡＩに基づく学習又は認識のためのデータとして使用できる。

【0004】

しかし、ペットの鼻紋を取得し格納する際に、幾つかの問題点が存在する。

【0005】

まず、写真は、撮影角度、焦点、距離、サイズ、環境などによって認識が難しいことがある。人の顔面認識技術を鼻紋認識に適用しようとする試みがあったが、人の顔面情報は、十分なデータが蓄積されたのに対し、ペットの鼻紋情報は十分なデータが確保されないため、認識率が低いという問題点がある。具体的には、ＡＩに基づく認識が行われるためには、機械が学習することが可能な形態に加工された学習データが必要であるが、ペットの鼻紋は十分なデータが蓄積されないため、鼻紋の認識に困難がある。

【0006】

また、ペットの鼻紋認識のためには、鮮明な鼻のシワを有するイメージが要求されるが、人間とは異なり、ペットはしばらく動作を止めるような行為を行うことができないため、鮮明な鼻のシワのイメージを取得することが容易ではない。特に、鼻紋の学習又は識別においてなるべく鼻の正面のイメージが好ましいが、イヌのようなペット動物が動くと、正面イメージが撮影されないことがある。正面ではないイメージの場合、鼻紋の学習又は認識に適しないため、当該イメージは捨てられることが好ましい。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、ペットの識別のための鼻紋のイメージを取得する過程で、正面イメージであるか否かを判別することができる方法及び装置を提供する。

【0008】

本発明の解決課題は、上述したものに限定されず、上述していない他の解決課題は、以降の記載から当業者に明確に理解できるであろう。

【課題を解決するための手段】

【0009】

本発明によるペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法は、前記ペットの顔面が含まれたイメージを取得するステップと、前記イメージから前記ペットの鼻領域を抽出するステップと、前記鼻領域から前記鼻の輪郭を示す特徴点を抽出するステップと、前記特徴点の位置関係に基づいて、前記鼻領域が正面であるか否かを判断するステップと、を含む。

【0010】

本発明によれば、前記特徴点を抽出するステップは、前記イメージに予め定義されたパターンタイプに対応するカーネルをそれぞれ適用して、前記イメージのピクセルごとにそれぞれのカーネルとの敏感度を表す特徴ベクトルを導出するステップと、前記特徴ベクトルから前記鼻の輪郭を表す前記特徴点を抽出するステップと、を含むことができる。

【0011】

本発明によれば、前記特徴点を抽出するステップは、前記特徴点を連結して生成した骨格モデルと、前記ペットの鼻モデルとを比較して前記特徴点の連結関係及び位置を較正するステップをさらに含むことができる。

【0012】

本発明によれば、前記鼻領域が正面であるか否かを判断するステップは、前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成するステップと、前記鼻の左端を表す特徴点と前記縦軸線間の距離と、前記鼻の右端を表す特徴点と前記縦軸線間の距離とを比較して、前記顔面のヨー（Ｙａｗ）方向の回転如何を判断するステップと、を含むことができる。

【0013】

本発明によれば、前記鼻領域が正面であるか否かを判断するステップは、前記鼻の左端と右端を表す特徴点を連結する横軸線を構成するステップと、前記ペットの鼻孔の開口部を構成する特徴点の方向性を表すベクトルが前記横軸を基準として基準範囲内に位置するか否かに基づいて、前記顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断するステップと、を含むことができる。

【0014】

本発明によれば、前記鼻領域が正面であるか否かを判断するステップは、前記鼻の開口部に相当する特徴点の位置に対する、前記ペットの鼻孔の最上端に相当する特徴点の位置、及び前記ペットの鼻孔の最下端に相当する特徴点の位置に基づいて前記顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断するステップを含むことができる。

【0015】

本発明によれば、前記鼻領域が正面であるか否かを判断するステップは、前記ペットの左鼻孔を構成する特徴点を連結した左鼻孔面積と、前記ペットの右鼻孔を構成する特徴点を連結した右鼻孔面積とを比較して、前記顔面に回転が発生したか否かを判断するステップを含むことができる。

【0016】

本発明によれば、前記鼻領域が正面であるか否かを判断するステップは、前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成するステップと、前記ペットの左鼻孔の内側端を表す特徴点と前記縦軸線間の距離と、前記ペットの右鼻孔の内側端を表す特徴点と前記縦軸線間の距離とを比較して、前記顔面に回転が発生したか否かを判断するステップと、を含むことができる。

【0017】

本発明によれば、前記鼻領域が正面であるか否かを判断するステップは、前記特徴点のうち、前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成するステップと、前記縦軸線と前記ペットの鼻孔領域とが重なる場合、前記ペットの顔面が正面ではないと判断するステップと、を含むことができる。

【0018】

本発明によれば、ペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法は、前記ペットの顔面が正面ではないと判断されると、前記ペットの顔面が含まれたイメージが有効ではないと判断し、前記イメージを捨てるステップと、次のフレームのイメージに対する有効性検査を行うステップと、をさらに含むことができる。

【0019】

本発明によるペットの鼻紋学習又は認識のためのイメージの適合性を検査するための装置は、前記ペットを撮影して、前記ペットの顔面が含まれたイメージを生成するカメラと、前記イメージを処理して前記イメージの適合性を検査するプロセッサと、を含む。前記プロセッサは、前記イメージから前記ペットの鼻領域を抽出し、前記鼻領域から前記鼻の輪郭を表す特徴点を抽出し、前記特徴点の位置関係に基づいて、前記鼻領域が正面であるか否かを判断することができる。

【0020】

本発明によれば、前記プロセッサは、前記イメージに予め定義されたパターンタイプに対応するカーネルをそれぞれ適用して、前記イメージのピクセルごとにそれぞれのカーネルとの敏感度を表す特徴ベクトルを導出し、前記特徴ベクトルから前記鼻の輪郭を表す前記特徴点を抽出することができる。

【0021】

本発明によれば、前記プロセッサは、前記特徴点を連結して生成した骨格モデルと、前記ペットの鼻モデルとを比較して、前記特徴点の連結関係及び位置を較正することができる。

【0022】

本発明によれば、前記プロセッサは、前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成し、前記鼻の左端を表す特徴点と前記縦軸線間の距離と、前記鼻の右端を表す特徴点と前記縦軸線間の距離とを比較して、前記顔面のヨー（Ｙａｗ）方向の回転如何を判断することができる。

【0023】

本発明によれば、前記プロセッサは、前記鼻の左端と右端を表す特徴点を連結する横軸線を構成し、前記ペットの鼻孔の開口部を構成する特徴点の方向性を表すベクトルが前記横軸を基準として基準範囲内に位置するか否かに基づいて前記顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断することができる。

【0024】

本発明によれば、前記プロセッサは、前記鼻の開口部に相当する特徴点の位置に対する前記ペットの鼻孔の最上端に相当する特徴点の位置、及び前記ペットの鼻孔の最下端に相当する特徴点の位置に基づいて、前記顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断することができる。

【0025】

本発明によれば、前記プロセッサは、前記ペットの左鼻孔を構成する特徴点を連結した左鼻孔面積と、前記ペットの右鼻孔を構成する特徴点を連結した右鼻孔面積とを比較して、前記顔面に回転が発生したか否かを判断することができる。

【0026】

本発明によれば、前記プロセッサは、前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成し、前記ペットの左鼻孔の内側端を表す特徴点と前記縦軸線間の距離と、前記ペットの右鼻孔の内側端を表す特徴点と前記縦軸線間の距離とを比較して、前記顔面に回転が発生したか否かを判断することができる。

【0027】

本発明によれば、前記プロセッサは、前記特徴点のうち、前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成し、前記縦軸線と前記ペットの鼻孔領域とが重なる場合、前記ペットの顔面が正面ではないと判断することができる。

【0028】

本発明によれば、前記プロセッサは、前記ペットの顔面が正面でないと判断されると、前記ペットの顔面が含まれたイメージが有効ではないと判断し、前記イメージを捨て、次のフレームのイメージに対する有効性検査を行うことができる。

【発明の効果】

【0029】

本発明によれば、鼻の輪郭を表す特徴点を抽出し、特徴点の位置関係に基づいて、顔面に回転が発生したか否かを判断することにより、正面ではない鼻紋イメージをフィルタリングすることができる。

【0030】

本発明の効果は、上述したものに限定されず、上述していない他の効果は、以降の記載から当業者に明確に理解できるであろう。

【図面の簡単な説明】

【0031】

【図1】ペットの管理のための概略手順を示す。

【図2】本発明によるオブジェクトイメージの適合度判断が適用されたペットの鼻紋管理のための手順を示す。

【図3】ペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法のフローチャートである。

【図4】顔面の回転方向の一例を示す。

【図5】本発明による鼻紋イメージにおける鼻の輪郭を表す特徴点の例を示す。

【図6】鼻紋イメージからＨａａｒ－ｌｉｋｅ特徴を抽出するためのカーネル、及びカーネルを適用する場合の例を示す。

【図7】鼻紋イメージからＨａａｒ－ｌｉｋｅ特徴を抽出するためのカーネル、及びカーネルを適用する場合の例を示す。

【図8】骨格モデルと鼻モデルとを比較して特徴点の位置を検査及び更正する過程の例を示す。

【図9】鼻の輪郭を表す特徴点の位置情報を用いて回転如何及び回転程度を判断する場合の例を示す。

【図10】鼻の輪郭を表す特徴点の位置情報を用いて回転如何及び回転程度を判断する場合の例を示す。

【図11】鼻の輪郭を表す特徴点の位置情報を用いて回転如何及び回転程度を判断する場合の例を示す。

【図12】鼻の輪郭を表す特徴点の位置情報を用いて回転如何及び回転程度を判断する場合の例を示す。

【図13】鼻の輪郭を表す特徴点の位置情報を用いて回転如何及び回転程度を判断する場合の例を示す。

【図14】鼻の輪郭を表す特徴点の位置情報を用いて回転如何及び回転程度を判断する場合の例を示す。

【図15】ペットの鼻紋学習又は認識のためのイメージの適合性を検査するための装置のブロック図である。

【発明を実施するための形態】

【0032】

以下、添付図面を参照して、本発明の実施形態について、本発明の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。本発明は、種々の異なる形態で実現でき、ここで説明する実施形態に限定されない。

【0033】

本発明を明確に説明するために、説明と関係のない部分は省略し、明細書全体にわたり、同一又は類似の構成要素に対しては同一の参照符号を付す。

【0034】

また、幾つかの実施形態において、同一の構成を有する構成要素については、同一の符号を用いて代表的な実施形態でのみ説明し、それ以外の他の実施形態では、代表的な実施形態とは異なる構成についてのみ説明する。

【0035】

明細書全体において、ある部分が他の部分と「連結（又は結合）」されているとするとき、これは、「直接的に連結（又は結合）」されている場合だけでなく、別の部材を挟んで「間接的に連結（又は結合）」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、これは、特に反対の記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことができることを意味する。

【0036】

他に定義されない限り、技術的又は科学的用語を含んでここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般に理解されるのと同じ意味を持っている。一般的に使用される辞書に定義されている用語は、関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本出願において明確に定義しない限り、理想的又は過度に形式的な意味で解釈されない。

【0037】

本文書では、イヌの鼻のシワの形状（鼻紋）を活用して識別情報を抽出する内容を中心に説明するが、本発明において、ペットの範囲はイヌに限定されず、また、識別情報として使用される特徴として、鼻紋に限定されず、様々なペットの身体的特徴が使用できる。

【0038】

前述したように、ＡＩに基づく学習又は識別に適したペットの鼻紋イメージが十分ではなく、ペットの鼻紋イメージはその品質が低い可能性が大きいため、ＡＩに基づく学習又は識別のために鼻紋イメージを選別的にデータベースに格納する必要がある。特に、本発明は、正面の鼻紋イメージのみが学習に使用できるようにフィルタリングする方法を提供する。

【0039】

図２は、本発明によるオブジェクトイメージの適合度判断が適用されたペットの鼻紋管理のための手順を示す。本発明は、ペットの鼻紋を撮影した後、撮影された鼻紋イメージが学習又は識別のためのデータとして適するか否かを先に判断し、適すると判断された場合、認識のためのサーバに伝送及び格納して以後の学習又は識別のためのデータとして使用する。

【0040】

本発明による鼻紋管理手順は、鼻紋取得手順と鼻紋認識手順とを含む。

【0041】

本発明によれば、新規にペットの鼻紋を登録するとき、ペットの含まれた画像を撮影した後、ペットの顔領域から鼻紋イメージを抽出し、特に、当該鼻紋イメージが当該ペットの識別又は学習のために適するか否かを先に判断する。撮影されたイメージが識別又は学習に適すると判断された場合、当該イメージがサーバ（人工知能ニューラルネットワーク）へ伝送されてデータベースに格納される。

【0042】

鼻紋を介してペットの識別情報を照会する場合、同様に、ペットの含まれた画像を撮影した後、ペットの顔領域から鼻紋イメージを抽出し、特に、当該鼻紋イメージが当該ペットの識別又は学習のために適するか否かを先に判断する。撮影されたイメージが識別又は学習に適すると判断された場合、当該イメージがサーバに伝送され、既に格納された鼻紋イメージとのマッチングを介して当該ペットの識別情報を抽出する。

【0043】

鼻紋登録手続の場合、図２に示すように、ペットを撮影し（Ｓ２０５）、撮影されたペットのイメージから先ず鼻領域を検出し（Ｓ２１０）、撮影されたイメージが学習又は識別用に適するかに対する品質検査を介して適合な鼻紋イメージを出力し（Ｓ２１５）、出力されたイメージが人工ニューラルネットワークを構成するサーバに伝送されて格納及び登録される（Ｓ２２０）。

【0044】

図３は、ペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法のフローチャートである。

【0045】

本発明によるペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法は、ペットの顔面が含まれたイメージを取得するステップ（Ｓ３１０）と、イメージからペットの鼻領域を抽出するステップ（Ｓ３２０）と、鼻領域から鼻の輪郭を表す特徴点を抽出するステップ（Ｓ３３０）と、特徴点の位置関係に基づいて、鼻領域が正面であるか否かを判断するステップ（Ｓ３４０）と、を含む。

【0046】

本発明によれば、鼻の輪郭を表す特徴点を抽出し、特徴点の位置関係に基づいて、顔面に回転が発生したか否かを判断することにより、正面ではなく鼻紋イメージをフィルタリングすることができる。鼻紋イメージが正面イメージではないと判断される場合、当該フレームのイメージは、学習又は身元識別のために使用されなくなる。本発明による鼻紋イメージの品質検査は、一定単位のフレームごとに独立して行われ、適合な品質を有する鼻紋イメージが検出されると、当該イメージがニューラルネットワークサーバに伝送されて当該ペットの学習又は身元識別のために使用される。

【0047】

図４は、顔面の回転方向の例を示す。図４に示すように、３次元物体の回転は、それぞれピッチ（Ｐｉｔｃｈ）、ロール（Ｒｏｌｌ）、ヨー（Ｙａｗ）方向に表現できる。三次元個体であるペットの鼻が正面を向くか否かは、図４に示すように、ピッチ方向とヨー方向に対する鼻の回転量が許容可能な範囲以内であるか否かを判断することにより検査できる。ロール方向の回転の場合、ロール回転が検出されると、当該イメージをロール回転とは反対方向に回転させることにより、鼻紋の正面イメージを取得することができるので、本文書では、ピッチ方向とヨー方向の回転を検出する方法について重点的に説明する。本発明によれば、撮影された二次元イメージにおける鼻の回転を判断するために、ペットの鼻が左右対称であるという特徴を用いて、鼻の回転方向及び回転量が検査できる。

【0048】

したがって、本発明は、鼻の輪郭を形成する特徴点を先ず定義し、各特徴点の位置関係から鼻の回転如何、回転方向及び回転量を判断することにより、当該鼻紋イメージが正面イメージであるか否かを判断することができる。鼻の輪郭を形成する特徴点として、鼻の上端、下端、左端、右端などを含むことができるとともに、鼻孔の上端、下端、左端、右端を含むことができる。

【0049】

例えば、図５に示すように、鼻紋イメージに対して３４個の特徴点が定義でき、各特徴点の番号は次の通りに設定できる。
－鼻の上端：１、鼻の下端：１８、鼻の左端：４、鼻の右端：２４
－左鼻孔の上端：８、左鼻孔の下端：１２、左鼻孔の内側端：１０、左鼻孔の開口部：５～６、１３～１４
－右鼻孔の上端：２８、右鼻孔の下端：３２、右鼻孔の内側端：３０、右鼻孔の開口部：２５～２６、３３～３４

【0050】

前記特徴点番号以外にも、図５に示すように、鼻の垂直中心線を中心に左右対称に特徴点が設定できる。このような特徴点の位置関係に応じて鼻が向く方向（例えば左、右）を判断することができる。

【0051】

各特徴点の位置関係に基づいて顔面の回転如何を判断する方法の説明に先立ち、鼻紋イメージからこれらの特徴点を抽出する過程について説明する。

【0052】

本発明によれば、特徴点を抽出するステップ（Ｓ３３０）は、イメージに予め定義されたパターンタイプに対応するカーネルをそれぞれ適用するステップと、カーネルを適用してイメージのピクセルごとにそれぞれのカーネルとの敏感度を表す特徴ベクトルを導出するステップと、特徴ベクトルから鼻の輪郭を表す特徴点を抽出するステップと、を含む。

【0053】

ペットの鼻紋イメージから特徴点を抽出する方法として、Ｈａａｒ－ｌｉｋｅ特徴、Ｈｉｓｔｏｇｒａｍ－ｏｆ－Ｇｒａｄｉｅｎｔ（ＨｏＧ）特徴抽出技法などが用いられることができる。Ｈａａｒ－ｌｉｋｅ特徴又はＨｏＧ特徴を用いて地域特徴値（ｌｏｃａｌ ｆｅａｔｕｒｅ）を抽出した後、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）又は様々な機械学習によって特徴点が抽出できる。

【0054】

例えば、Ｈａａｒ－ｌｉｋｅ特徴の場合、境界線及び直線などの抽出に特化した特徴抽出方法である。図６に示すように、様々な形状のＨａａｒ－ｌｉｋｅカーネルが定義できる。例えば、境界線特徴（Ｅｄｇｅ ｆｅａｔｕｒｅ）を抽出するカーネルとして、Ｈａａｒ－ｌｉｋｅカーネルが図６のように定義できる。図６において、（ａ）、（ｂ）、（ｃ）、（ｄ）は、当該領域内に位置する境界線（Ｅｄｇｅ）に敏感に反応するカーネルであり、（ｅ）、（ｆ）、（ｇ）、（ｈ）、（ｉ）、（ｊ）、（ｋ）、（ｌ）は、当該領域内に位置する直線に敏感に反応するカーネルであり、（ｍ）、（ｎ）は、当該領域の中心に位置する個体に敏感に反応するカーネルである。例えば、（ａ）は垂直方向の境界線に敏感に反応するカーネル、（ｂ）は水平方向の境界線に敏感に反応するカーネル、（ｅ）は細い直線に敏感に反応するカーネルである。

【0055】

図６は、例示として１４個のＨａａｒ－ｌｉｋｅカーネルを図式しているが、その大きさや形状、方向などによって無数に多くのカーネルが定義できる。予め定義されたパターンタイプに対応するそれぞれのカーネルと入力イメージに対して畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）演算を行うことにより、画像の各ピクセルに対する特徴ベクトルを抽出することができる。これらの特徴ベクトルは、イメージそれぞれのピクセル位置ごとにそれぞれのＨａａｒ－ｌｉｋｅカーネルにどれだけ敏感に反応したかを示す。

【0056】

例えば、図７を参照すると、鼻の最上部位置を表す特徴点は、多くの場合、横線状の境界線成分を有する。これにより、図６のカーネル（ａ）と高い関連性を示し、畳み込みの値が大きくなる。これに対し、鼻の左側部を表す特徴点は、多くの場合、縦線状の境界線成分を有する。これにより、図６のカーネル（ａ）とは低い関連性を示し、畳み込みの値が小さくなる。

【0057】

このような原理によって、イメージの大きさを変化させながらイメージのピクセルごとにｎ個のカーネルを用いて特徴情報を抽出する。このような方法で特徴点ごとに特徴情報を抽出することができ、多量のイメージから取得した特徴情報は、主成分分析（Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、機械学習方法、又はニューラルネットワークを用いた方法によって学習できる。

【0058】

Ｈａａｒ－ｌｉｋｅ特徴が境界線情報に基づいて抽出するのに対し、ＨｏＧ特徴抽出方法は、イメージを一定の大きさの断片に分割した後、各断片内で方向性情報を判断し、これを数字に変換することにより、各断片の特徴情報を抽出する。これとは異なるイメージ処理方法を用いて特徴情報を抽出することができるのは当たり前である。

【0059】

本発明は、前述したＨａａｒ－ｌｉｋｅ特徴、ＨｏＧ特徴の他にも、様々な特徴抽出方法を併合して使用することができる。各ピクセルから抽出された特徴情報は、統合されて特徴ベクトルとして定義できる。このように抽出された特徴ベクトルから主成分分析、又は様々な機械学習方法によって鼻紋イメージのモデルを学習させることができる。新たに入力されたイメージ内で特徴点を見つけるために、前述した特徴抽出器を用いてピクセル別の特徴ベクトルを抽出し、前述した学習モデルを用いて最も可能性の高いピクセルを選択することにより、特徴点を見つけることができる。

【0060】

このような方法を使用すると、それぞれの特徴点を独立して見つけることができる。しかし、上記で定義した複数の特徴点は、位置上の連関性を持っている。例えば、最上端（１番）の特徴点は、他の特徴点よりも縦軸上で最も高い位置にあり、鼻孔を表す特徴点は、鼻の外郭を表す特徴点よりも内側に位置しなければならない。このような位置関連性を用いるために、特徴点間の相対的な位置関係を用いた検出方法を提案することができる。

【0061】

本発明によれば、特徴点を抽出するステップ（Ｓ３３０）は、特徴点を連結して生成した骨格モデルと、ペットの鼻モデルとを比較して特徴点の連結関係及び位置を較正するステップと、をさらに含むことができる。

【0062】

例えば、図８の左側に示すように、各特徴点を順次連結する直線を形成し、これを用いて骨格モデル（Ｓｋｅｌｅｔｏｎ ｍｏｄｅｌ）を生成することができる。このような骨格モデルは、鼻の輪郭線に位置すると仮定することができ、それぞれの特徴点を骨格モデルの法線方向に移動することにより、モデルを鼻の形状に整列（ｆｉｔｔｉｎｇ）することができる。このような過程が成功的に行われるためには、各特徴点の初期位置設定が必要であるが、これは、前述した個別特徴点検出方法を用いて定義することができる。

【0063】

また、このような過程によって個別特徴点が正しく検出されたか、例えば鼻孔の開口部の特徴点が互いに交差してねじれていないかなどを点検することができ、必要に応じて特徴点間の位置を交換するか或いは鼻輪郭線に特徴点を整列する過程を行うことにより、誤って検出された特徴点の位置を正すことができる。また、一部の特徴点の検出に失敗して欠落が発生しても、骨格モデルを用いて、隣接する特徴点の位置から欠落した特徴点の位置を推測することができる。

【0064】

このような過程を経ることにより、ペットの鼻の特徴点情報を効率よく抽出することができ、特徴点の位置関係と幾何学的相関関係を用いて、鼻が正面を向くのか、或いはＰｉｔｃｈ／Ｒｏｌｌ／Ｙａｗ軸の回転が発生したかを判断することができる。

【0065】

前述したように、鼻紋イメージから鼻の輪郭を表す特徴点を抽出した後、各特徴点の位置関係を分析して、ペットのイメージが正面イメージであるかを判断することができる。以下、鼻紋イメージの特徴点によって顔面の回転如何を判断する方法について説明する。

【0066】

本発明によれば、特徴点の位置関係に基づいて、鼻領域が正面であるか否かを判断するステップ（Ｓ３４０）は、鼻の上端と下端を表す特徴点を連結する縦軸線１－１８を構成するステップと、特徴点のうち、互いに対称な特徴点４、２４と縦軸線１－１８間の距離を比較して顔面のヨー（Ｙａｗ）方向の回転如何を判断するステップと、を含む。

【0067】

図９に示すように、鼻全域の上端１と下端１８とを連結する線（縦軸線）、及び鼻全域の左端４と右端２４とを連結する線（横軸線）を基準線として、左右の相互対応する点の相対位置を測定することができる。これにより、縦軸線の左側と右側の類似度を測定することができ、縦軸線に基づいて鼻がどちらに回転したか、ヨー（Ｙａｗ）方向の回転如何と回転程度を予測することができる。

【0068】

例えば、図９において、１と１８とを結ぶ線、および４と２４とを結ぶ線は、それぞれ鼻の縦軸、横軸を意味する。正方向から撮影した場合、対称性によって４から縦軸までの距離、及び２４から縦軸までの距離は互いに類似する。互いに対応する点のペア間でこのような距離を測定し、距離の差分値を演算することにより、容易にヨー（Ｙａｗ）方向の回転程度を予測することができる。

【0069】

また、本発明によれば、顔面に回転が発生したか否かを判断するステップ（Ｓ３４０）は、鼻の左端４と右端２４を表す特徴点を連結する横軸線４－２４を構成するステップと、ペットの鼻孔の開口部を構成する特徴点の方向性を表すベクトルが前記横軸を基準として基準範囲内に位置するか否かに基づいて、顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断するステップと、を含む。

【0070】

本発明によれば、鼻孔の開口部６－５－１４－１３、２６－２５－３４－３３の方向性情報を把握して、鼻が上方を向くか或いは下方を向くかを判断することができる。図１０に示すように、鼻孔の開口部の４点を基準として開口部の方向性をベクトルとして定義することができる。例えば、開口部ベクトルが横軸を基準として基準値範囲内にある場合には鼻のピッチ方向を正面、基準値範囲よりも高い範囲にある場合にはピッチ方向を上方向、基準値範囲よりも低い範囲にある場合にはピッチ方向を下方向と判断することができる。

【0071】

また、本発明によれば、顔面に回転が発生したか否かを判断するステップ（Ｓ３４０）は、鼻の開口部に相当する特徴点６－５－１４－１３、２６－２５－３４－３３の位置に対するペットの鼻孔の最上端に相当する特徴点８、２８の位置、及びペットの鼻孔の最下端に相当する特徴点１２、３２の位置に基づいて、顔面のピッチ方向の回転如何を判断するステップを含むことができる。

【0072】

本発明によれば、鼻孔部分の最上端／最下端（それぞれ８番、１２番、２８番、３２番）の特徴点と開口部の相対的高さ情報を使用すると、現在鼻が向くピッチ（Ｐｉｔｃｈ）方向を容易に予測することができる。図９に示すように、鼻が正面を向く場合、開口部６－５－１４－１３、２６－２５－３４－３３の位置に比べて、鼻孔の最上端８、２８は上方に位置し、最下端１２、３２は開口部６－５－１４－１３、２６－２５－３４－３３と同様の高さに位置する。これに対し、図１１のように鼻が下方向を向く場合、最上端の位置と開口部の位置とが類似するなどの特徴を有する。したがって、このような相対的高さ情報を使用すると、容易にピッチ方向の回転如何を判断することができる。

【0073】

本発明によれば、特徴点の位置関係に基づいて、鼻領域が正面であるか否かを判断するステップ（Ｓ３４０）は、ペットの左鼻孔を構成する特徴点を連結した左鼻孔面積と、ペットの右鼻孔を構成する特徴点を連結した右鼻孔面積とを比較して、顔面に回転が発生したか否かを判断するステップを含む。

【0074】

本実施形態によれば、特徴点を連結した多角形を用いて鼻の領域を分割し、領域の面積を測定することにより、鼻の方向性を判断することができる。理想的な状況で鼻の左右が対称である場合、左右の分割領域の面積も類似すると仮定することができ、鼻が回転するほど左右の分割領域の大きさの差が増加する。この方法は、ピッチ（Ｐｉｔｃｈ）回転に影響を少なく受けるので、ピッチ（Ｐｉｔｃｈ）とヨー（Ｙａｗ）方向に同時に回転が発生した場合に有用に使用できる。

【0075】

例えば、図１２に示すように鼻孔の面積比率を用いて、ピッチ方向の角度変化に影響を少なく受けながらもヨー（Ｙａｗ）方向を判断することができる。図１２において、鼻が上端に回転（Ｐｉｔｃｈ）し、左側に回転（Ｙａｗ）した状態である。縦軸（１番と１８番とを連結した線）が鼻の中心を外れた状態なので、対応点対称性を利用した方法ではヨー（Ｙａｗ）判断が難しいことがある。しかし、鼻孔の面積を確認してみると、右鼻孔部分が確実に大きく測定されるので、当該イメージにおいてヨー（Ｙａｗ）回転が発生したことが確認できる。

【0076】

本発明によれば、特徴点の位置関係に基づいて、鼻領域が正面であるか否かを判断するステップ（Ｓ３４０）は、前記鼻の上端と下端を表す特徴点を連結する縦軸線を構成するステップと、ペットの左鼻孔の内側端を表す特徴点と縦軸線間の距離と、ペットの右鼻孔の内側端を表す特徴点と縦軸線間の距離とを比較して、顔面に回転が生じたか否かを判断するステップと、を含む。

【0077】

本実施形態によれば、縦軸線（１番と１８番とを結ぶ直線）、及び鼻孔までの最短距離比率を用いてヨー（Ｙａｗ）方向性を得ることができる。理想的な状況で鼻が正面を向いて左右対称をなす場合、図１３において左鼻孔の内側端特徴点１０から縦軸線１－１８までの距離と、右鼻孔の内側端特徴点３０から垂直軸までの距離とは類似する。

【0078】

前述した鼻領域全体の左端と右端の場合、ピッチ（Ｐｉｔｃｈ）回転とヨー（Ｙａｗ）回転が同時に発生しながら、一部の不正確な結果が発生する可能性がある。しかし、経験的に縦軸線１－１８と鼻孔内側特徴点１０、３０との距離は、ピッチの影響が少なく、ヨー回転の影響が大きく作用する。したがって、図１３に示すように、縦軸線１－１８から右鼻孔の内側端（左側１０番、右側３０番）までの距離をそれぞれ測定することにより、ヨー（Ｙａｗ）回転程度を推定することができる。鼻がピッチ方向とヨー方向に大きく回転した場合、一方の鼻孔が他の鼻孔に比べて縦軸線１－１８に近く位置するので、２つの内側端までの距離差が一定値を外れる場合、ヨー（Ｙａｗ）回転が発生したことを推測することができる。

【0079】

本発明によれば、顔面に回転が発生したか否かを判断するステップ（Ｓ３４０）は、特徴点のうち、鼻の上端と下端を表す特徴点を連結する縦軸線を構成するステップと、縦軸線とペットの鼻孔領域とが重なる場合、ペットの顔面が正面ではないと判断するステップと、を含む。

【0080】

図１４に示すように鼻が大きく回転して一方の鼻孔が全く見えない場合が発生することがある。このような写真は、そのまま鼻紋認識には使用し難いので、別途分類して処理しなければならない。一方の鼻孔が見えないほどに激しく回転した場合、特徴点の検出に失敗するか、或いは自然に発生できない特徴点の位置が検出される。例えば、図１４の場合、鼻の縦軸線１－１８が鼻孔領域と重なり、一方の鼻孔に相当する特徴点２５～３４が検出されない。このように異常な特徴点配置を判断することにより、鼻が正面対称型ではない形態で撮影されたことを判断することができる。

【0081】

また、本発明によるペットの鼻紋学習又は認識のためのイメージの適合性を検査するための方法は、ペットの顔面が正面でないと判断されれば、ペットの顔面が含まれたイメージが有効でないと判断し、当該イメージを捨てるステップをさらに含む。

【0082】

前述した方法だけでなく、特徴点の位置関係を用いて、鼻紋イメージのペットの正面を撮影したイメージであるか否かを判断するための様々な方法が使用できる。

【0083】

本発明によれば、鼻の輪郭を表す特徴点を抽出し、特徴点の位置関係に基づいて、顔面に回転が発生したか否かを判断することにより、正面ではない鼻紋イメージをフィルタリングすることができる。鼻紋イメージが正面写真ではないと判断される場合、当該フレームのイメージは、ペットの鼻紋学習又は身元識別のために使用されない。本発明による鼻紋の正面如何判断は、複数のフレームイメージに対してそれぞれ個別に行われることができ、特定のフレームに対する検査結果、正面イメージである場合に当該イメージを用いて鼻紋の学習又は認識を行うことができる。

【0084】

本明細書で説明した鼻紋イメージの検査は、スマートフォンやタブレットなどの電子装置によって行われることができる。以下、本発明によるペットの鼻紋学習又は認識のためのイメージの適合性を検査するための装置及び動作について説明する。前述した鼻紋イメージの正面如何（適合性）検査は、ペットの鼻紋認識のためのプログラム又はアプリケーションがインストールされたスマートフォンやタブレットなどの装置によって行われることができる。

【0085】

図１５は、ペットの鼻紋を学習又は認識のためのイメージの適合性を検査するための装置のブロック図である。本発明によるペットの鼻紋学習又は認識のためのイメージの適合性を検査するための装置１５００は、ペットを撮影して、ペットの顔面が含まれたイメージを生成するカメラ１５１０と、イメージを処理してイメージの適合性を検査するプロセッサ１５２０と、を含む。プロセッサ１５２０は、イメージから前記ペットの鼻領域を抽出し、鼻領域から鼻の輪郭を表す特徴点を抽出し、特徴点の位置関係に基づいて、鼻領域が正面であるか否かを判断する。

【0086】

カメラ１５１０は、レンズなどの光学モジュールと入力された光から画像信号を生成する ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を含むことができ、画像撮影を介して画像データを生成してプロセッサ１５２０に提供することができる。

【0087】

プロセッサ１５２０は、装置１５００の各モジュールを制御し、画像処理のために必要な演算を行う。プロセッサ１５２０は、その機能によって複数のマイクロプロセッサ（プロセッシング回路）で構成されることができる。プロセッサ１５２０は、前述したように、ペット（例：イヌ）の識別のためのオブジェクトとして鼻領域を検出し、当該鼻領域が正面イメージであるか否かを判断することができる。

【0088】

さらに、装置１５００は、外部オブジェクトとの通信のための通信モジュール１５３０、データ格納のためのメモリ１５４０、画面出力のためのディスプレイ１５５０を含むことができる。

【0089】

通信モジュール１５３０は、有線／無線ネットワークを介して外部の個体（ｅｎｔｉｔｙ）とデータを送信又は受信することができる。特に、通信モジュール１５３０は、サーバとの通信を介して人工知能に基づく処理のためのデータを交換することができる。メモリ１５４０は、画像データ及び画像処理のために必要な情報を格納し、ディスプレイ１５５０は、撮影中の画像と共に鼻紋認識のためのインターフェース（ＵＩ）を表示することができる。それだけでなく、装置１５００は、その必要に応じて多様な構成を含むことができる。

【0090】

本発明によれば、プロセッサ１５２０は、イメージに予め定義されたパターンタイプに対応するカーネルをそれぞれ適用して、イメージのピクセルごとにそれぞれのカーネルとの敏感度を表す特徴ベクトルを導出し、特徴ベクトルから鼻の輪郭を表す特徴点を抽出することができる。例えば、プロセッサ１５２０は、図６のようなカーネルを鼻紋イメージに適用することにより特徴ベクトルを導出し、特徴ベクトルから図５のように鼻の輪郭を表す特徴点を抽出することができる。

【0091】

本発明によれば、プロセッサ１５２０は、特徴点を連結して生成した骨格モデルと、ペットの鼻モデルとを比較して、特徴点の連結関係及び位置を較正することができる。例えば、プロセッサ１５２０は、図８のように生成した骨格モデルとペットの鼻モデルとを比較して、特徴点の連結関係及び位置を較正することができる。

【0092】

本発明によれば、プロセッサ１５２０は、鼻の上端と下端を表す特徴点を連結する縦軸線を構成し、鼻の左端を表す特徴点と縦軸線間の距離と、鼻の右端を表す特徴点と縦軸線間の距離とを比較して前記顔面のヨー（Ｙａｗ）方向の回転如何を判断することができる。例えば、プロセッサ１５２０は、図９のように鼻の上端と下端を表す特徴点を連結する縦軸線１－１８を構成し、鼻の左端を表す特徴点４と縦軸線１－１８間の距離と、鼻の右端を表す特徴点２４と縦軸線１－１８間の距離とを比較して、前記顔面のヨー（Ｙａｗ）方向の回転如何を判断することができる。

【0093】

本発明によれば、プロセッサ１５２０は、鼻の左端と右端を表す特徴点を連結する横軸線を構成し、ペットの鼻孔の開口部を構成する特徴点の方向性を表すベクトルが横軸を基準として基準範囲内に位置するか否かに基づいて、顔面のピッチ方向の回転如何を判断することができる。例えば、プロセッサ１５２０は、図１０のように鼻の左端と右端を表す特徴点を連結する横軸線４－２４を構成し、ペットの鼻孔の開口部を構成する特徴点の方向性を表すベクトルが横軸４－２４を基準として基準範囲内に位置するか否かに基づいて、顔面のピッチ方向の回転如何を判断することができる。

【0094】

本発明によれば、プロセッサ１５２０は、鼻の開口部に相当する特徴点の位置に対するペットの鼻孔の最上端に相当する特徴点の位置、及びペットの鼻孔の最下端に相当する特徴点の位置に基づいて、顔面のピッチ方向の回転如何を判断することができる。例えば、プロセッサ１５２０は、図１１のように鼻の開口部に相当する特徴点６－５－１４－１３、２６－２５－３４－３３の位置に対する、ペットの鼻孔の最上端に相当する特徴点８、２８の位置、及びペットの鼻孔の最下端に相当する特徴点１２、３２の位置に基づいて顔面のピッチ（Ｐｉｔｃｈ）方向の回転如何を判断することができる。

【0095】

本発明によれば、プロセッサ１５２０は、ペットの左鼻孔を構成する特徴点を連結した左鼻孔面積と、ペットの右鼻孔を構成する特徴点を連結した右鼻孔面積とを比較して、顔面に回転が発生したか否かを判断することができる。例えば、プロセッサ１５２０は、図１２のようにペットの左鼻孔を構成する特徴点７－８－９－１０－１１－１２－１３を連結した左鼻孔面積と、ペットの右鼻孔を構成する特徴点２６－２７－２８－２９－３０－３１－３２－３３を連結した右鼻孔面積とを比較して、顔面に回転が発生したか否かを判断することができる。

【0096】

本発明によれば、プロセッサ１５２０は、鼻の上端と下端を表す特徴点を連結する縦軸線を構成し、ペットの左鼻孔の内側端を表す特徴点と縦軸線間の距離と、ペットの右鼻孔の内側端を表す特徴点と縦軸線間の距離とを比較して、顔面に回転が発生したか否かを判断することができる。例えば、プロセッサ１５２０は、図１３のように鼻の上端と下端を表す特徴点を連結する縦軸線１－１８を構成し、ペットの左鼻孔の内側端を表す特徴点１０と縦軸線１－１８間の距離と、ペットの右鼻孔の内側端を表す特徴点３０と縦軸線１－１８間の距離とを比較して、顔面に回転が発生したか否かを判断することができる。

【0097】

本発明によれば、プロセッサ１５２０は、特徴点のうち、鼻の上端と下端を表す特徴点を連結する縦軸線を構成し、縦軸線とペットの鼻孔領域とが重なる場合、ペットの顔面が正面ではないと判断することができる。例えば、プロセッサ１５２０は、図１４に示すように、特徴点のうち、鼻の上端と下端を表す特徴点を連結する縦軸線１－１８を構成し、縦軸線１－１８とペットの鼻孔領域６－７－８－９－１０－１１－１２－１３とが重なる場合、ペットの顔面が正面ではないと判断することができる。

【0098】

本発明によれば、プロセッサ１５２０は、ペットの顔面が正面でないと判断されると、ペットの顔面が含まれたイメージが有効でないと判断し、当該イメージを捨て、次のフレームのイメージに対する有効性検査を行うことができる。

【0099】

本実施形態及び本明細書に添付された図面は、本発明に含まれる技術的思想の一部を明確に示しているものに過ぎず、本発明の明細書及び図面に含まれている技術的思想の範囲内で当業者が容易に類推することが可能な変形例及び具体的な実施形態はいずれも、本発明の権利範囲に含まれることが自明であるといえる。

【0100】

したがって、本発明の思想は、説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等であるか或いは等価的変形がある全てのものは、本発明の思想の範疇に属するというべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】