ホーム > 特許ランキング > ＰＥＴＮＯＷ ＩＮＣ．
特表2024-518492ペットの識別のためのオブジェクトを撮影するための方法及び電子装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-01
(54)【発明の名称】ペットの識別のためのオブジェクトを撮影するための方法及び電子装置
(51)【国際特許分類】
A01K 11/00 20060101AFI20240423BHJP
G06V 10/82 20220101ALI20240423BHJP
G06V 40/10 20220101ALI20240423BHJP
G06T 7/00 20170101ALI20240423BHJP
【ＦＩ】
A01K11/00 E
G06V10/82
G06V40/10
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023569731
(86)(22)【出願日】2022-06-27
(85)【翻訳文提出日】2023-11-09
(86)【国際出願番号】 KR2022009095
(87)【国際公開番号】W WO2023277473
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】10-2021-0083753
(32)【優先日】2021-06-28
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0083754
(32)【優先日】2021-06-28
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0083841
(32)【優先日】2021-06-28
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】523022044
【氏名又は名称】ペットナウ インコーポレイテッド
【氏名又は名称原語表記】ＰＥＴＮＯＷ ＩＮＣ．
【住所又は居所原語表記】＃５０８，７５ Ｔｅｃｈｎｏ １－ｒｏ，Ｙｕｓｅｏｎｇ－ｇｕ，Ｄａｅｊｅｏｎ ３４０１４ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】パク、テ ヒョン
(72)【発明者】
【氏名】イム、チュン ホ
【テーマコード（参考）】
5B043
5L096
【Ｆターム（参考）】
5B043AA09
5B043BA04
5B043CA09
5B043GA02
5L096AA02
5L096AA06
5L096CA02
5L096FA16
5L096FA18
5L096FA25
5L096FA69
5L096GA30
5L096HA11
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
本発明は、演算複雑度を減少させながらペットの識別のためのオブジェクトを効果的に検出することが可能な画像処理方法及び電子装置を提供する。本発明によるペットの識別のためのオブジェクトを検出するための方法は、前記ペットの含まれた原画像を取得するステップと、前記原画像に対する画像処理を介して第１特徴領域と前記ペットの種を決定するステップと、前記決定されたペットの種に基づいて前記第１特徴領域内で前記ペットの識別のためのオブジェクトを検出するステップと、を含む。
【特許請求の範囲】
【請求項1】
ペットの識別のためのオブジェクトを検出するための方法であって、前記ペットの含まれた原画像を取得するステップと、
前記原画像に対する画像処理を介して第１特徴領域と前記ペットの種を決定するステップと、
前記決定されたペットの種に基づいて前記第１特徴領域内で前記ペットの識別のためのオブジェクトを検出するステップと、を含む、方法。
【請求項2】
前記ペットの種を決定するステップは、前記原画像に対する第１前処理を適用するステップと、
前記前処理された画像で前記ペットの種を決定し、前記第１特徴領域を設定するステップと、
前記第１特徴領域に対する第１後処理を介して第１特徴値を抽出するステップと、を含む、請求項１に記載の方法。
【請求項3】
前記第１特徴領域を設定するステップは、学習用ニューラルネットワークを用いて、前記前処理された画像から複数の特徴画像を生成するステップと、
前記複数の特徴画像にそれぞれに対して予め定義された境界ボックスを適用するステップと、
前記境界ボックス内で各ペットの種類別の確率値を計算するステップと、
特定の動物種に対して前記計算された確率値が基準値以上である場合、前記境界ボックスが含まれるように前記第１特徴領域を構成するステップと、を含む、請求項２に記載の方法。
【請求項4】
前記第１特徴値が基準値より大きい場合、前記ペットを識別するためのオブジェクト検出が行われ、前記第１特徴値が基準値より小さい場合、追加の処理が省略される、請求項２に記載の方法。
【請求項5】
前記原画像に対する第１前処理を適用するステップは、前記原画像を原解像度よりも低い第１解像度の画像に変換するステップと、
前記第１解像度に変換された画像に対して前記第１前処理を適用するステップと、を含む、請求項２に記載の方法。
【請求項6】
前記ペットの識別のためのオブジェクトを検出するステップは、前記ペットの種を識別するための第１特徴領域に対する第２前処理を適用するステップと、
前記第２前処理された第１特徴領域で前記ペットの種に基づいて前記ペットの識別のための第２特徴領域を設定するステップと、
前記第２特徴領域に対する第２後処理を適用して第２特徴値を抽出するステップと、を含む、請求項１に記載の方法。
【請求項7】
前記第１特徴領域に対する第２前処理は、前記第１特徴領域の設定のための第１前処理が適用される第１解像度よりも高い第２解像度で行われる、請求項６に記載の方法。
【請求項8】
前記第２特徴領域を設定するステップは、前記ペットの種に応じて前記第１特徴領域で前記ペットの識別のためのオブジェクトが位置する確率に基づいて前記第２特徴領域を設定するステップを含む、請求項６に記載の方法。
【請求項9】
前記第２特徴値が基準値より大きい場合、前記第２特徴領域を含むイメージがサーバに伝送される、請求項６に記載の方法。
【請求項10】
前記第１特徴領域を生成するステップは、前記画像で前記ペットの種を決定するための特徴領域候補を生成するステップと、
前記特徴領域候補それぞれの信頼度値に基づいて位置及び大きさが決定された第１特徴領域を生成するステップと、を含む、請求項１に記載の方法。
【請求項11】
ペットの識別のためのオブジェクトを検出するための電子装置であって、前記ペットの含まれた原画像を生成するカメラと、
前記原画像に対する画像処理を介して第１特徴領域と前記ペットの種を決定し、前記決定されたペットの種に基づいて第１特徴領域内で前記ペットの識別のためのオブジェクトを検出するプロセッサと、
前記ペットの識別のためのオブジェクトが有効である場合に前記オブジェクトのイメージをサーバに伝送する通信モジュールと、を含む、電子装置。
【請求項12】
前記プロセッサは、前記原画像に対する第１前処理を適用し、
前記前処理された画像で前記ペットの種を決定して前記第１特徴領域を設定し、
前記第１特徴領域に対する第１後処理を介して第１特徴値を抽出する、請求項１１に記載の電子装置。
【請求項13】
前記プロセッサは、学習用ニューラルネットワークを用いて、前記前処理された画像から複数の特徴画像を生成し、
前記複数の特徴画像にそれぞれに対して予め定義された境界ボックスを適用し、
前記境界ボックス内で各ペットの種類別の確率値を計算し、
特定動物種に対して前記計算された確率値が基準値以上である場合、前記境界ボックスが含まれるように前記第１特徴領域を構成する、請求項１２に記載の電子装置。
【請求項14】
前記第１特徴値が基準値より大きい場合、前記ペットを識別するためのオブジェクト検出が行われ、前記第１特徴値が基準値より小さい場合、追加の処理が省略される、請求項１２に記載の電子装置。
【請求項15】
前記プロセッサは、前記原画像を原解像度よりも低い第１解像度の画像に変換し、
前記第１解像度に変換された画像に対して前記第１前処理を適用する、請求項１２に記載の電子装置。
【請求項16】
前記プロセッサは、前記ペットの種を識別するための第１特徴領域に対する第２前処理を適用し、
前記第２前処理された第１特徴領域で前記ペットの種に基づいて前記ペットの識別のための第２特徴領域を設定し、
前記第２特徴領域に対する第２後処理を適用して第２特徴値を抽出する、請求項１１に記載の電子装置。
【請求項17】
前記第１特徴領域に対する第２前処理は、前記第１特徴領域の設定のための第１前処理が適用される第１解像度よりも高い第２解像度で行われる、請求項１６に記載の電子装置。
【請求項18】
前記プロセッサは、前記ペットの種に応じて前記第１特徴領域で前記ペットの識別のためのオブジェクトが位置する確率に基づいて前記第２特徴領域を設定する、請求項１６に記載の電子装置。
【請求項19】
前記第２特徴値が基準値より大きい場合、前記第２特徴領域を含むイメージが前記サーバに伝送される、請求項１６に記載の電子装置。
【請求項20】
前記プロセッサは、前記画像で前記ペットの種を決定するための特徴領域候補を生成し、
前記特徴領域候補それぞれの信頼度値に基づいて位置及び大きさが決定された第１特徴領域を生成する、請求項１１に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ペットの識別のためのオブジェクトを撮影するための方法及び電子装置に関し、より具体的には、人工知能に基づく学習又は識別に適したペットの識別用オブジェクトのイメージを取得するための方法及び電子装置に関する。
【背景技術】
【0002】
現代社会において人と共に生活しながら情緒的に頼ることができるペットへの需要が高まっている。これにより、ペットに対する健康管理などのために多様なペットについての情報をデータベース化して管理する必要性が増加している。ペットを管理するために、人の指紋のようにペットの識別情報が必要であり、ペットに応じて使用できるオブジェクトがそれぞれ定義できる。例えば、イヌの場合、鼻紋（鼻のシワの形状）がそれぞれ異なるので、イヌ毎に鼻紋を識別情報として使用することができる。
【0003】
図１の（ａ）に示すように、鼻紋を登録する方法は、人の指紋又は顔面を登録するのと同様に、ペットの鼻を含む顔面を撮影し（Ｓ１１０）、及び鼻紋を含むイメージをデータベースに格納及び登録する過程（Ｓ１２０）によって行われる。また、鼻紋を照会する方法は、図１の（ｂ）に示すように、ペットの鼻紋を撮影し（Ｓ１３０）、撮影された鼻紋と一致する鼻紋及びこれに関連する情報を探索し（Ｓ１４０）、及び撮影された鼻紋と一致する情報を出力する過程（Ｓ１５０）によって行われ得る。図１に示すように、ペットの鼻紋を登録し照会する過程によって各ペットを識別し、当該ペットの情報を管理することができる。ペットの鼻紋情報は、データベースに格納され、ＡＩに基づく学習又は識別のためのデータとして使用できる。
【0004】
しかし、ペットの鼻紋を取得し格納する際に、幾つかの問題点が存在する。
【0005】
まず、写真は、撮影角度、焦点、距離、大きさ、環境などによって認識が難しいことがある。人の顔面認識技術を鼻紋認識に適用しようとする試みがあったが、人の顔面情報は、十分なデータが蓄積されたのに対し、ペットの鼻紋情報は十分なデータが確保されないため、認識率が低いという問題点がある。具体的には、ＡＩに基づく認識が行われるためには、機械が学習することが可能な形態に加工された学習データが必要であるが、ペットの鼻紋は十分なデータが蓄積されないため、鼻紋の認識に困難がある。
【0006】
また、ペットの鼻紋認識のためには、鮮明な鼻のシワを有するイメージが要求されるが、人間とは異なり、ペットはしばらく動作を止めるような行為を行うことができないため、鮮明な鼻のシワのイメージを取得することが容易ではない。例えば、イヌは、顔面を動き続けたり舌をペロペロしたりするため、所望の品質の鼻紋イメージを取得することが非常に難しい。例えば、鼻紋認識のために鼻のシワが鮮明に撮影された画像が要求されるが、実際に撮影されたイメージはほとんど揺れなどにより鼻のシワが鮮明に撮影されない場合が多い。かかる問題を解決するために、イヌの鼻を強制的に固定させた状態で撮影する方法が考慮されているが、ペットに強制的な行為を行うようにするため不適切であると評価されている。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、演算複雑度を減少させながらペットの識別のためのオブジェクトを効果的に検出することが可能な画像処理方法及び電子装置を提供する。
【0008】
本発明は、演算複雑度を減少させながらペットの識別のためのオブジェクトを効果的に検出する可能な画像処理方法及び電子装置を提供する。
【0009】
本発明は、ペットの識別のためのオブジェクトのイメージを取得する過程で低品質のイメージを効果的にフィルタリングすることが可能な方法及び電子装置を提供する。
【0010】
本発明の解決課題は、上述したものに限定されず、上述していない他の解決課題は、以降の記載から当業者に明確に理解できるであろう。
【課題を解決するための手段】
【0011】
本発明によるペットの識別のためのオブジェクトを検出するための方法は、前記ペットの含まれた原画像を取得するステップと、前記原画像に対する画像処理を介して第１特徴領域と前記ペットの種を決定するステップと、前記決定されたペットの種に基づいて第１特徴領域内で前記ペットの識別のためのオブジェクトを検出するステップと、を含む。
【0012】
本発明によれば、前記ペットの種を決定するステップは、前記原画像に対する第１前処理を適用するステップと、前記前処理された画像で前記ペットの種を決定して前記第１特徴領域を設定するステップと、前記第１特徴領域に対する第１後処理を介して第１特徴値を抽出するステップと、を含むことができる。
【0013】
本発明によれば、前記第１特徴領域を設定するステップは、学習用ニューラルネットワークを用いて、前記前処理された画像から複数の特徴画像を生成するステップと、前記複数の特徴画像にそれぞれに対して予め定義された境界ボックスを適用するステップと、前記境界ボックス内で各ペットの種類別の確率値を計算するステップと、特定の動物種に対して前記計算された確率値が基準値以上である場合、前記境界ボックスが含まれるように前記第１特徴領域を構成するステップと、を含むことができる。
【0014】
本発明によれば、前記第１特徴値が基準値より大きい場合、前記ペットを識別するためのオブジェクト検出が行われ、前記第１特徴値が基準値より小さい場合、追加の処理が省略され得る。
【0015】
本発明によれば、前記原画像に対する第１前処理を適用するステップは、前記原画像を原解像度よりも低い第１解像度の画像に変換するステップと、前記第１解像度に変換された画像に対して前記第１前処理を適用するステップと、を含むことができる。
【0016】
本発明によれば、前記ペットの識別のためのオブジェクトを検出するステップは、前記ペットの種を識別するための第１特徴領域に対する第２前処理を適用するステップと、前記第２前処理された第１特徴領域で前記ペットの種に基づいて前記ペットの識別のための第２特徴領域を設定するステップと、前記第２特徴領域に対する第２後処理を適用して第２特徴値を抽出するステップと、を含むことができる。
【0017】
本発明によれば、前記第１特徴領域に対する第２前処理は、前記第１特徴領域の設定のための第１前処理が適用される第１解像度よりも高い第２解像度で行われることができる。
【0018】
本発明によれば、前記第２特徴領域を設定するステップは、前記ペットの種に応じて前記第１特徴領域で前記ペットの識別のためのオブジェクトが位置する確率に基づいて前記第２特徴領域を設定するステップを含むことができる。
【0019】
本発明によれば、前記第２特徴値が基準値より大きい場合、前記第２特徴領域を含むイメージがサーバに伝送されることができる。
【0020】
本発明によれば、前記第１特徴領域を生成するステップは、前記画像で前記ペットの種を決定するための特徴領域候補を生成するステップと、前記特徴領域候補それぞれの信頼度値に基づいて位置及び大きさが決定された第１特徴領域を生成するステップと、を含むことができる。
【0021】
本発明による電子装置は、前記ペットの含まれた原画像を生成するカメラと、前記原画像に対する画像処理を介して第１特徴領域と前記ペットの種を決定し、前記決定されたペットの種に基づいて前記第１特徴領域内で前記ペットの識別のためのオブジェクトを検出するプロセッサと、前記ペットの識別のためのオブジェクトが有効である場合に前記オブジェクトのイメージをサーバに伝送する通信モジュールと、を含む。
【0022】
本発明によれば、前記プロセッサは、前記原画像に対する第１前処理を適用し、前記前処理された画像で前記ペットの種を決定して前記第１特徴領域を設定し、前記第１特徴領域に対する第１後処理を介して第１特徴値を抽出することができる。
【0023】
本発明によれば、前記プロセッサは、学習用ニューラルネットワークを用いて、前記前処理された画像から複数の特徴画像を生成し、前記複数の特徴画像にそれぞれに対して予め定義された境界ボックスを適用し、前記境界ボックス内で各ペットの種類別の確率値を計算し、特定動物種に対して前記計算された確率値が基準値以上である場合、前記境界ボックスが含まれるように前記第１特徴領域を構成することができる。
【0024】
本発明によれば、前記第１特徴値が基準値より大きい場合、前記ペットを識別するためのオブジェクト検出が行われ、前記第１特徴値が基準値より小さい場合、追加の処理が省略され得る。
【0025】
本発明によれば、前記プロセッサは、前記原画像を原解像度よりも低い第１解像度の画像に変換し、前記第１解像度に変換された画像に対して前記第１前処理を適用することができる。
【0026】
本発明によれば、前記プロセッサは、前記ペットの種を識別するための第１特徴領域に対する第２前処理を適用し、前記第２前処理された第１特徴領域で前記ペットの種に基づいて前記ペットの識別のための第２特徴領域を設定し、前記第２特徴領域に対する第２後処理を適用して第２特徴値を抽出することができる。
【0027】
本発明によれば、前記第１特徴領域に対する第２前処理は、前記第１特徴領域の設定のための第１前処理が適用される第１解像度よりも高い第２解像度で行われることができる。
【0028】
本発明によれば、前記プロセッサは、前記ペットの種に応じて前記第１特徴領域で前記ペットの識別のためのオブジェクトが位置する確率に基づいて前記第２特徴領域を設定することができる。
【0029】
本発明によれば、前記第２特徴値が基準値より大きい場合、前記第２特徴領域を含むイメージが前記サーバに伝送されることができる。
【0030】
本発明によれば、前記プロセッサは、前記画像で前記ペットの種を決定するための特徴領域候補を生成し、前記特徴領域候補それぞれの信頼度値に基づいて位置及び大きさが決定された第１特徴領域を生成することができる。
【発明の効果】
【0031】
本発明によるペットの識別のためのオブジェクトを検出するための方法及び電子装置は、ペットを撮影した後に直ちに鼻紋の学習又は識別のためのイメージを選別し、サーバのデータベースに格納するようにすることにより、学習又は識別のためのペットの鼻に対応するオブジェクトのイメージを効果的に取得することができる。
【0032】
また、本発明によるペットの識別のためのオブジェクトを検出するための方法及び電子装置は、ペットの種を先ず決定した後、ペットの鼻紋イメージを抽出することにより演算複雑度を減少させることができる。
【0033】
本発明によれば、ペットの種を決定するための特徴領域を決定する過程で、複数の特徴領域候補それぞれの信頼度値を考慮してより広い領域の最終特徴領域を生成するので、以後、最終特徴領域内でペットの識別用オブジェクトを検出することにより、より正確な検出を可能にする。
【0034】
本発明によれば、撮影されたイメージでイヌの鼻のようにペットの識別のためのオブジェクトイメージの品質を検査することにより、当該イメージが人工知能ベースの学習又は識別に適したイメージであるかを確認することができ、適したイメージのみを保存して学習又は識別のためのニューラルネットワークを最適化することができる。
【0035】
本発明の効果は、上述したものに限定されず、上述していない他の効果は、以降の記載から当業者に明確に理解できるであろう。
【図面の簡単な説明】
【0036】
【図1】ＡＩに基づくペットの管理のための概略的な手順を示す。
【図2】本発明による学習又は識別用オブジェクトイメージの適合度判断が適用されたＡＩに基づくペットの鼻紋管理のための手順を示す。
【図3】本発明によるペットの管理システムでペットの識別のためのオブジェクトを検出するための手順を示す図である。
【図4】本発明が適用されたペットの識別オブジェクトを検出するためのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面の例を示す。
【図5】本発明によるペットの識別のためのオブジェクトを検出する過程を示す。
【図6】本発明による特徴領域を設定するための過程を示す。
【図7】本発明によるペットの識別のためのオブジェクトを検出するための過程を示すフローチャートである。
【図8】本発明によるペットの種を決定するための特徴領域を導出する過程を示す。
【図9】本発明によるペットの識別のためのオブジェクトのイメージを処理する過程を示すフローチャートである。
【図10】入力イメージにキャニー境界線（Ｃａｎｎｙ ｅｄｇｅ）検出器を適用した結果イメージの例を示す。
【図11】キャニー境界線検出器を適用した結果イメージにおいてぶれの有無を判断するために使用される境界線が位置したピクセルブロックのパターン形態の一例を示す。
【図12】ペットの識別のためのオブジェクトのイメージをフィルタリングするための方法のフローチャートである。
【図13】本発明による電子装置のブロック図である。
【発明を実施するための形態】
【0037】
以下、添付図面を参照して、本発明の実施形態について、本発明の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。本発明は、種々の異なる形態で実現でき、ここで説明する実施形態に限定されない。
【0038】
本発明を明確に説明するために、説明と関係のない部分は省略し、明細書全体にわたり、同一又は類似の構成要素に対しては同一の参照符号を付す。
【0039】
また、幾つかの実施形態において、同一の構成を有する構成要素については、同一の符号を用いて代表的な実施形態でのみ説明し、それ以外の他の実施形態では、代表的な実施形態とは異なる構成についてのみ説明する。
【0040】
明細書全体において、ある部分が他の部分と「連結（又は結合）」されているとするとき、これは、「直接的に連結（又は結合）」されている場合だけでなく、別の部材を挟んで「間接的に連結（又は結合）」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、これは、特に反対の記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことができることを意味する。
【0041】
他に定義されない限り、技術的又は科学的用語を含んでここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般に理解されるのと同じ意味を持っている。一般的に使用される辞書に定義されている用語は、関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本出願において明確に定義しない限り、理想的又は過度に形式的な意味で解釈されない。
【0042】
本文書では、イヌの鼻のシワの形状（鼻紋）を活用して識別情報を抽出する内容を中心に説明するが、本発明において、ペットの範囲はイヌに限定されず、また、識別情報として使用される特徴として、鼻紋に限定されず、様々なペットの身体的特徴が使用できる。
【0043】
前述したように、ＡＩに基づく学習又は識別に適したペットの鼻紋イメージが十分ではなく、ペットの鼻紋イメージはその品質が低い可能性が大きいため、ＡＩに基づく学習又は識別のために鼻紋イメージを選別的にデータベースに格納する必要がある。
【0044】
図２は、本発明による学習又は識別用鼻紋イメージの適合度判断が適用されたＡＩに基づくペットの鼻紋管理のための手順を示す。本発明は、ペットの鼻紋を撮影した後、撮影された鼻紋イメージがＡＩに基づく学習又は識別のためのデータとして適するか否かを先に判断し、適すると判断された場合、ＡＩに基づく学習又は認識のためのサーバに伝送及び格納して以後の学習又は識別のためのデータとして使用する。
【0045】
図２に示すように、本発明による鼻紋管理手順は、鼻紋取得手順と鼻紋認識手順とを含む。
【0046】
本発明によれば、新規にペットの鼻紋を登録するとき、ペットの含まれた画像を撮影した後、ペットの顔領域から鼻紋イメージを抽出し、特に、当該鼻紋イメージが当該ペットの識別又は学習のために適するか否かを先に判断する。撮影されたイメージが識別又は学習に適すると判断された場合、当該イメージがサーバ（人工知能ニューラルネットワーク）へ伝送されてデータベースに格納される。
【0047】
鼻紋を介してペットの識別情報を照会する場合、同様に、ペットの含まれた画像を撮影した後、ペットの顔領域から鼻紋イメージを抽出し、特に、当該鼻紋イメージが当該ペットの識別又は学習に適するか否かを先に判断する。撮影されたイメージが識別又は学習に適すると判断された場合、当該イメージがサーバに伝送され、予め格納された鼻紋イメージとのマッチングを介して当該ペットの識別情報を抽出する。
【0048】
鼻紋登録手続の場合、図２の（ａ）に示すように、ペットを撮影し（Ｓ２０５）、撮影されたペットのイメージから先ず顔領域（以後、第１特徴領域として説明される）を検出し（Ｓ２１０）、顔領域内で鼻が占める領域（以後、第２特徴領域として説明される）を検出し、撮影されたイメージが学習又は識別用に適するかに対する品質検査を介して鼻紋イメージを出力し（Ｓ２１５）、出力されたイメージが人工ニューラルネットワークを構成するサーバに伝送されて格納及び登録される（Ｓ２２０）。
【0049】
鼻紋照会手順の場合、図２の（ｂ）に示すように、ペットを撮影し（Ｓ２３０）、ペットのイメージから顔領域を検出し（Ｓ２３５）、顔領域内で鼻が占める領域を検出し、撮影されたイメージが学習又は識別用に適するかに対する品質検査を介して鼻紋イメージを出力するが（Ｓ２４０）、これは、鼻紋登録手順と類似している。以後の手順は、出力された鼻紋イメージを予め格納及び学習された鼻紋イメージと比較して一致する情報を探索する過程（Ｓ２４５）と、探索結果に対する出力過程（Ｓ２５０）が行われる。
【0050】
図３は、本発明によるペットの鼻紋管理システムでペットの鼻に対応するオブジェクトを検出するための手順を示す。
【0051】
図３を参照すると、まず、ペットを撮影して初期イメージが生成され（Ｓ３０５）、初期イメージから顔領域を検出するステップが先に行われる（Ｓ３１０）。その後、顔領域内でペットの種を考慮して鼻領域を検出するステップが行われる（Ｓ３１５）。１次的に顔領域を先に検出し、２次的に鼻領域を検出することは、階段式（ｃａｓｃａｄｅｄ）検出によってすべての種を考慮して鼻領域を検出することよりも演算複雑度を低めることができ、検出正確度も向上させることができるためである。その後、検出された鼻領域のイメージが今後の鼻紋の識別又は学習に適するか否かを検査するための品質検査が行われ（Ｓ３２０）、品質検査結果、適したイメージと判断された場合、当該イメージをサーバに伝送して鼻紋の識別に使用されるか、或いは今後の学習又は識別のために格納されることができる（Ｓ３２５）。
【0052】
また、本発明によれば、イヌの鼻のシワ（鼻紋）のようにペットの識別のためのオブジェクトのイメージがぼやけて撮影されないよう、検出された鼻領域に焦点が合わせられるようにカメラを制御することができる（Ｓ３３０）。これは、カメラの焦点が鼻領域に合うようにすることで、鼻の焦点がずれることによりイメージの品質が低下することを防止するためである。
【0053】
【0054】
図４を参照すると、撮影中の画像からペットの種を識別して、現在撮影中のペットがイヌであるか否かを判断する。撮影中のペットがイヌでない場合、図４の（ａ）のように「イヌを見つけることができません」のような文章を出力し、撮影中のペットがイヌである場合、イヌの鼻紋を取得するための手順を行う。撮影中のペットがイヌであるか否かを判断するために、画像に含まれたペットの顔領域を先に抽出し、顔領域に含まれたイメージを既存の学習されたデータと比較して当該ペットの種（ｓｐｅｃｉｅｓ）を決定することができる。
【0055】
以後、図４の（ｂ）乃至（ｅ）のように、イヌの顔においてイヌの鼻に該当する領域を設定した後、鼻に該当する領域に焦点を合わせて撮影が行われることができる。すなわち、ペットの識別のためのオブジェクトに該当する領域の位置（中心点）に焦点が合わせられるようにカメラを制御することができる。また、ユーザに現在追跡中のオブジェクト（例：鼻）に焦点が合わせられて撮影されていることをフィードバックするために、追跡中のオブジェクトの位置にグラフィックエレメントをオーバーレイ（ｏｖｅｒｌａｙ）することができる。追跡中のオブジェクトの位置に当該オブジェクトの検出状態を示すグラフィックエレメントを表示することにより、現在撮影中のペットでオブジェクト認識が行われていることがユーザに認知できる。
【0056】
図４の（ｂ）乃至（ｅ）に示すように、現在撮影中のオブジェクトのイメージ品質が良好な場合（オブジェクトのイメージの品質が基準条件を満足する場合）、良好品質状態を示す第１グラフィックエレメント４１０ａ（例：笑うアイコン又は緑色アイコン）をオブジェクトにオーバーレイして出力することができる。現在撮影中のオブジェクトのイメージ品質が不良である場合（オブジェクトのイメージの品質が基準条件を満足しない場合）、不良品質状態を示す第２グラフィックエレメント４１０ｂ（例えば、泣くアイコン又は赤色アイコン）をオブジェクトにオーバーレイして出力することができる。
【0057】
図４に示すように、イヌが持続的に動く場合にも、イヌの鼻を追跡しながら鼻に焦点を合わせて撮影が行われることができる。このとき、各撮影された画像において、イヌの鼻紋イメージがペットの識別又は学習のために適するか否かを判断し、適合性に対する程度が出力されてもよい。
【0058】
例えば、撮影されたイヌの鼻紋イメージがペットの識別又は学習のために適するかに対する程度が数値として計算でき、適合度に対する数値に応じて、適合度が低いほど「Ｂａｄ」方向に、適合度が高いほど「Ｇｏｏｄ」方向にゲージが満たされる形態のスコア情報４２０が出力され得る。すなわち、画像においてオブジェクトの撮影品質を示すスコア情報４２０が出力されることができる。
【0059】
また、現在撮影されている鼻紋のイメージに対する品質評価（大きさ、明るさ、鮮明度など）を行い、人工知能に基づく識別又は学習に適した鼻紋イメージが撮影されるようにユーザにフィードバックを提供するメッセージ４３０を出力することができる。例えば、イヌの鼻紋イメージの大きさが基準値より小さい場合、より大きい大きさの鼻紋イメージが撮影されるように、図４の（ｃ）に示すように、「イヌの鼻の距離を合わせてください」のようなメッセージを出力することができる。また、ペットの識別のために適した品質を有するオブジェクトのイメージが取得される進行程度を示す進行率情報４４０が出力されることができる。例えば、適した品質を有する鼻紋イメージが４枚必要であり、現在までに適したイメージが１枚取得された場合、図４の如く、進行率が２５％であることを示す進行率情報４４０が出力されることができる。
【0060】
イヌの鼻紋イメージが十分に取得された場合、撮影を終了し、当該イヌの鼻紋イメージと共に識別情報をデータベースに格納するか、或いは当該イヌの識別情報を出力することができる。
【0061】
本発明において、ペットの顔領域を先に検出した後、顔領域内で鼻領域を検出する。これは、演算複雑度を低減させながらオブジェクト検出難易度を下げるためである。画像を撮影する過程で検出しようとするオブジェクト以外の物体、又は不要であるか或いは誤った情報が画像に含まれることができる。したがって、本発明は、撮影中の画像に所望のオブジェクト（ペットの鼻）が存在するか否かを先に判断する。
【0062】
また、ペットの鼻紋を識別するためには、一定水準以上の解像度を有する画像が要求されるが、画像の解像度が高くなるほど画像の処理のための演算量が増加するという問題がある。また、ペットの種類が増加するにつれて、各ペットの種類別に学習方法が異なるため、人工知能の演算難易度がさらに増加するという問題がある。特に、類似した種類の動物は、類似した形状を有するため（例：イヌの鼻とオオカミの鼻とは類似する）、類似した動物に対して動物の種類と共に鼻を分類することは非常に高い演算難易度を有することができる。
【0063】
したがって、本発明は、このような演算複雑度を低減させるために、階段式（ｃａｓｃａｄｅｄ）オブジェクト検出方法を使用する。例えば、ペットを撮影しながらペットの顔領域を先に検出した後、ペットの種類を識別し、検出されたペットの顔領域と識別されたペットの種類に基づいて当該ペットの鼻領域を検出する。これは、相対的に演算複雑度の低い低解像度でペットの種類を識別する過程を先に行い、ペットの種類によって決定されたオブジェクト検出方法を適用してペットの顔領域で高解像度を維持し、鼻領域検出を行うのである。したがって、本発明は、相対的に演算複雑度を低減させながらも効果的にペットの鼻領域を検出することができる。
【0064】
図５は、本発明によるペットの識別のための全般的な画像処理過程を示す。図５に示すように、本発明による入力画像を処理する方法は、カメラから入力画像を受け取るステップ（Ｓ５０５）と、入力画像の大きさを調整して１次処理画像を生成する第１前処理ステップ（Ｓ５１０）と、第１前処理ステップで生成された処理画像から動物の位置と動物の種を検出する第１特徴領域検出ステップ（Ｓ５１５）と、第１特徴領域検出ステップの結果物から動物画像の第１特徴値を抽出する第１後処理ステップ（Ｓ５２０）と、第１後処理ステップを介して処理された画像からペットの種に応じてペットの識別のためのオブジェクト（例：鼻）を検出するための検出器を決定するステップ（Ｓ５２５）と、ペットの識別のための画像処理のために画像の大きさを調節する第２前処理ステップ（Ｓ５３０）と、第１特徴検出ステップで検出することが可能な動物の種にそれぞれ対応する少なくとも１つの第２特徴領域検出ステップ（Ｓ５３５）と、それぞれの第２特徴領域検出ステップに対応して動物画像の第２特徴値を抽出する第２後処理ステップ（Ｓ５４０）と、を含む。
【0065】
第１前処理ステップ
【0066】
原本画像に対する第１前処理を適用するステップ（Ｓ５１０）は、原本画像の大きさ、比率、方向などを調節してオブジェクトの検出に適した形態に画像を変換するステップである。
【0067】
カメラ技術の発達に伴い、入力画像は、大部分が数百万乃至数千万のピクセルで構成され、このように大きい画像を直接処理することは好ましくない。オブジェクト検出が効率よく作動するためには、入力画像の処理に適するように前処理過程を行わなければならない。このような過程は、数学的には座標系変換で行われる。
【0068】
入力画像内の任意の４点を処理画像の４つの頂点に対応させ、任意の座標系変換過程を経ることにより、任意の処理画像を生成することができるのは明白である。ところが、座標系変換過程において任意の非線形変換関数を使用する場合、特徴領域検出器の結果として取得した境界ボックスから入力画像の特徴領域を得る逆変換が可能でなければならない。例えば、入力画像の任意の４点を処理画像の４つの頂点に対応させて線形変換するアフィン変換（Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を使用すると、容易にその逆変換過程を得ることができるので、これを使用することが好ましい。
【0069】
入力画像内の任意の４点を決定する方法の一例として、入力画像の４つの頂点をそのまま使用する方法が考えられる。或いは、横長さと縦長さが同じ比率で変換されるように、入力画像に余白を付加するか、或いは入力画像の一部を切り取る方法を使用することができる。或いは、入力画像の大きさを縮小させるために、多様な補間方法を適用することができる。
【0070】
第１特徴領域検出ステップ
【0071】
本ステップは、前処理された画像内でペットが存在する領域とその動物の種を先に検出することにより、後述する第２特徴領域検出ステップで使用できる第１特徴領域を設定し、併せて各ペットの種に最適化された第２特徴領域検出器を選択することにより、最終的な特徴点検出性能を上げることを目的とする。
【0072】
本過程において、オブジェクト検出及び分類方法は、関連分野における通常の知識を有する者であれば、どれでも容易に結合することができる。しかし、従来の方法に比べて、人工ニューラルネットワークに基づく方法が性能に優れていることが知られているので、できる限り人工ニューラルネットワークに基づく特徴検出技法を使用することが好ましい。例えば、人工ニューラルネットワークに一枚のイメージに対して様々な大きさの物体を検出するアルゴリズムであるＳＳＤ（Ｓｉｎｇｌｅ Ｖｉｓｉｏｎ－Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｉｏｎ）方式の特徴検出器が使用できる。
【0073】
上述した前処理器によって正規化された入力画像は、人工ニューラルネットワークによって階層的に第１特徴画像乃至第ｎ特徴画像を構成する。このとき、階層ごとに特徴画像を抽出する方法は、人工ニューラルネットワークの学習ステップで機械的に学習できる。
【0074】
このように抽出された階層的特徴画像は、階層ごとに対応する予め定義されたボックス（Ｐｒｉｏｒｉ Ｂｏｘ）リストと結合されて境界ボックス、個体種類、及び信頼度値リストを生成する。このような演算過程も、人工ニューラルネットワークの学習ステップで機械的に学習できる。例えば、その結果値は、下記表１のような形式で返還される。この時、ニューラルネットワークが判断することが可能な種の個数は、ニューラルネットワーク設計ステップで決定され、暗黙的にオブジェクトが存在しない場合、すなわち「背景」が定義される。
【0075】
【表1】
【0076】
このような結果ボックスは、ＮＭＳ（Ｎｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）ステップによって重畳する結果ボックスを併合して、最終的に画像内に存在するオブジェクト検出結果として返還される。ＮＭＳは、複数個の特徴領域候補から最終的な特徴領域を導き出す過程であって、特徴領域候補は、図６のような手順によって表１の確率値を考慮して生成できる。
【0077】
次に、この過程を詳細に説明する。
【0078】
１．背景を除いたそれぞれの種に対してそれぞれ次の過程を行う。
【0079】
Ａ．境界ボックスリストにおいて、当該種である確率が特定の閾値よりも低いボックスを除外する。残ったボックスがなければ、結果なしで終了する
【0080】
Ｂ．前記境界ボックスリストにおいて、当該種である確率の最も高いボックスを第１ボックス（第１境界領域）として指定し、境界ボックスリストから除外する。
【0081】
Ｃ．残りの境界ボックスリストに対して、確率の高い順に従ってそれぞれ次の過程を行う。
【0082】
ｉ．第１ボックスとのＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ、積集合対和集合の面積比)を演算する。
【0083】
ｉｉ．ＩｏＵが特定閾値よりも高ければ、このボックスは第１ボックスと重畳するボックスである。第１ボックスと併合する。
【0084】
Ｄ．第１ボックスを結果ボックスリストに追加する。
【0085】
Ｅ．境界ボックスリストにボックスが残っていると、残ったボックスを対象として再びＣステップから繰り返し行う。
【0086】
２つのボックスＡとＢに対して、ＩｏＵは、下記数式１のように効果的に演算することができる。
【0087】
［数式１］
【数1】
【0088】
すなわち、本発明によれば、特徴領域候補を生成するステップは、特徴画像から特定動物種に該当する確率が最も高い第１境界領域（第１ボックス）を選択するステップと、特徴画像から選択された境界領域（第１ボックス）を除く残りの境界領域に対して確率値の順序に従って第１境界領域との積集合対和集合の面積比（ＩｏＵ）を計算し、積集合対和集合の面積が基準面積比よりも大きい境界領域を特徴画像の特徴領域候補に含ませるステップと、を含むことができる。
【0089】
次に、前記過程で第１ボックスと重畳するボックスを併合する方法について説明する。例えば、第１ボックスはそのまま維持し、第２ボックスは境界ボックスリストから削除する方法で併合することができる（Ｈａｒｄ ＮＭＳ）。又は、第１ボックスはそのまま維持し、第２ボックスが特定の種である確率を（０，１）の間の値だけ重み付けて減少させ、減衰された結果値が特定の閾値よりも小さければ、初めて境界ボックスリストから削除する方法で併合することができる（Ｓｏｆｔ ＮＭＳ）。
【0090】
本発明が提案する一実施形態として、下記数式２のように、第１ボックス（第１特徴領域候補）と第２ボックス（第１特徴領域候補）を確率値に従って併合する新規方法（Ｅｘｐａｎｓｉｏｎ ＮＭＳ）を使用することができる。
【0091】
［数式２］
【数2】
【0092】
このとき、ｐ１、ｐ２は、それぞれ第１ボックス（第１特徴領域候補）、第２ボックス（第１特徴領域候補）の確率値であり、Ｃ（ｘ、ｙ）
１、Ｃ（ｘ、ｙ）
２、Ｃ（ｘ、ｙ）
ｎは、それぞれ第１ボックス、第２ボックス、併合されたボックスの中央点の（ｘ、ｙ）座標値を表す。同様の方法で、Ｗ１、Ｗ２、Ｗｎは、それぞれ第１ボックス、第２ボックス、併合されたボックスの横幅を表し、Ｈ１、Ｈ２、Ｈｎは、縦高さを表す。併合されたボックスの確率値は、第１ボックスの確率値を使用することができる。本発明による拡張型ＮＭＳによって導出される第１特徴領域は、各特徴領域候補において特定の種が位置する信頼度値を考慮して決定される。
【0093】
すなわち、第１特徴領域が位置する中心点Ｃ（ｘ、ｙ）
ｎは、数式２のように特徴領域候補の中心点Ｃ（ｘ、ｙ）
１、Ｃ（ｘ、ｙ）
２に対する信頼度値ｐ１、ｐ２の加重和によって決定できる。
【0094】
また、第１特徴領域の幅Ｗｎは、数式２のように特徴領域候補の幅Ｗ１、Ｗ２に対する信頼度値ｐ１、ｐ２の加重和によって決定され、第１特徴領域の高さＨｎは、特徴領域候補の高さＨ１、Ｈ２に対する信頼度値ｐ１、ｐ２の加重和によって決定できる。
【0095】
前記実施形態によって新しいボックスを生成することにより、既存のＨａｒｄ－ＮＭＳ又はＳｏｆｔ－ＮＭＳ方式と対比したとき、幅がさらに大きいボックスを得る。本実施形態によれば、多段階検出器を行うための前処理検出では、一定部分の余白を追加する構成が可能であるが、本発明による拡張型ＮＭＳ（Ｅｘｐａｎｓｉｏｎ ＮＭＳ）を用いることにより、このような余白を適応的に決定することができる。
【0096】
図８は、既存のＮＭＳと比較して本発明による拡張型ＮＭＳを適用してペットの特徴領域を検出する場合の例を示す。図８の（ａ）は、原画像で生成された複数の特徴領域候補を示し、図８の（ｂ）は、既存のＮＭＳによって導出された第１特徴領域の例を示し、図８の（ｃ）は、本発明による拡張型ＮＭＳを適用して導出された第２特徴領域の例を示す。図８の（ｂ）に示すように、既存のＮＭＳ（Ｈａｒｄ ＮＭＳ、Ｓｏｆｔ ＮＭＳ）は、複数のボックス（特徴領域候補）のうち、信頼度が最も大きい１つのボックス（特徴領域候補）を選択するため、以降に行われる第２特徴領域検出過程で鼻領域のように鼻紋を取得するのに必要な領域が外れる可能性がある。
【0097】
したがって、本発明は、複数のボックス（特徴領域候補）に対して信頼度値に基づく加重平均を適用し、図８の（ｃ）のように幅と高さが大きい１つのボックスを第１特徴領域（ペットの顔領域）に設定し、第１特徴領域内でペットの識別のための第２特徴領域（鼻領域）を検出することができる。本発明のように、より拡張された第１特徴領域を設定することにより、以降に行われる第２特徴領域が検出されない誤りの発生を減少させることができる。
【0098】
最後に、このように決定された一つ又は複数の境界ボックスに対して、前処理ステップで使用した任意の変換過程に対する逆変換過程を経ることにより、原本画像における特徴領域を得ることができるのは当たり前である。構成によっては、原本画像における特徴領域に一定量の余白を付加することにより、後述する第２検出ステップをよく行うことができるように調整することができる。
【0099】
第１後処理ステップ
【0100】
前述した第１特徴領域設定ステップ（Ｓ５１５）で取得された入力画像の各特徴領域に対して、追加的な後処理ステップを行うことにより、第１特徴値を生成することができる。例えば、入力画像の第１特徴領域に対する明るさ情報（第１特徴値）を取得するために、下記数式３のような演算を行うことができる。
【0101】
［数式３］
【数3】
【0102】
このとき、ＬはＢＴ．６０１標準によるＬｕｍａ値であり、ＶはＨＳＶ色空間で定義する明度値である。Ｍ、Ｎは対象特徴領域の横幅と縦高さである。
【0103】
このように追加的に生成した第１特徴値を用いて、第１特徴領域検出ステップ（Ｓ５１５）で取得した第１特徴領域が本特許と結合される応用分野で使用するのに適するかを予測することができる。追加的に生成される第１特徴値は、応用分野に応じて適切に設計されなければならないのは自明である。応用分野で定義する第１特徴値の条件を満たさない場合、選択的に後述する第２特徴領域設定及びオブジェクト検出ステップを省略するようにシステムを構成することができる。
【0104】
第２特徴領域検出ステップ
【0105】
本ステップは、動物が存在する領域から、具体的に応用分野で必要とする特徴領域を抽出することを目的とする。例えば、動物の顔領域から目、鼻、口、耳の位置を検出する応用分野を、例えば、第１特徴領域検出ステップでは動物の顔領域と動物の種情報を先ず区分し、第２特徴領域検出ステップでは動物の種に応じて目、鼻、口、耳の位置を検出することを目的とする。
【0106】
この過程において、第２特徴領域検出ステップは、それぞれの動物の種に特化された互いに独立した複数個の特徴領域検出器で構成されることができる。例えば、第１特徴領域検出ステップで犬、猫、ハムスターを区分することができれば、３つの第２特徴領域検出器を備え、それぞれを犬、猫、ハムスターに対して特化されるように設計することが好ましい。こうすることにより、個別特徴領域検出器で学習すべき特徴の種類を減少させて学習複雑度を減少させることができ、かつ、学習データ収集の面でもより少ない数字のデータのみでもニューラルネットワーク学習が可能となるのは自明である。
【0107】
それぞれの第２特徴領域検出器は、互いに独立して構成されるので、通常の知識を有する者であれば、独立した個別検出器を容易に構成することができる。それぞれの特徴領域検出器は、それぞれの種で検出しようとする特徴情報に合わせて個別的に構成することが好ましい。又は、システム構成の複雑度を減少させるために、一部又は全ての第２特徴領域検出器が同じ構造の特徴領域検出器を共有するが、学習パラメータ値を交替することにより、それぞれの種に適するようにシステムを構成する方法を使用することができる。さらに、第２特徴領域検出器として第１特徴領域検出ステップと同じ構造の特徴領域検出器を使用するが、学習パラメータ値とＮＭＳ方法のみを交替することにより、システム複雑度をさらに減少させる方法を考慮することもできる。
【0108】
第１特徴領域検出ステップ及び第１後処理ステップを介して設定された１つ又は複数の特徴領域に対して、第１特徴領域検出ステップで検出した種情報を用いてどの第２特徴領域検出器を使用するか決定し、決定された第２特徴領域検出器を用いて第２特徴領域検出ステップを行う。
【0109】
まず、前処理過程を行う。この時、座標を変換する過程で、逆変換が可能な変換過程を使用しなければならないのは自明である。第２前処理過程では、入力画像内で検出された第１特徴領域を第２特徴領域検出器の入力画像に変換しなければならないので、変換関数の設計に必要な４つの点は、第１特徴領域の４つの頂点と定義することが好ましい。
【0110】
第２特徴領域検出器を介して取得した第２特徴領域は、第１特徴領域を用いて検出された値であるので、全体入力画像内で第２特徴領域を演算するときには、第１特徴領域を考慮しなければならない。
【0111】
第２特徴領域検出器を介して取得した第２特徴領域に対して、第１後処理ステップと同様に追加的な後処理ステップを行うことにより、第２特徴値を生成することができる。例えば、画像の鮮明度を求めるために、ソーベルフィルタ（Ｓｏｂｅｌ ｆｉｌｔｅｒ）を適用するか、或いは特徴領域の間に検出の有無及び相対的な位置関係を用いて、検出しようとする動物の姿勢などの情報を求めることができる。さらに、以降に説明されるようなイメージ品質検査（例えば、焦点ずれ（Ｆｏｃｕｓ ｂｌｕｒ）、ぶれ（Ｍｏｔｉｏｎ ｂｌｕｒ））が行われることができる。
【0112】
このように追加的に生成した第２特徴値を用いて、第２オブジェクト検出ステップで取得した特徴領域が本特許と結合される応用分野で使用するのに適するかを予測することができる。追加的に生成される第２特徴値は、応用分野に応じて適切に設計されなければならないのは自明である。応用分野で定義する第２特徴値の条件を満たさない場合、第２検出領域だけでなく、第１検出領域を検出結果から除外するなど、応用分野に適するようにデータを取得することができるように設計することが好ましい。
【0113】
システム拡張
【0114】
本発明では、２ステップの検出ステップを構成することにより、第１特徴位置検出ステップでは動物の位置と種を検出し、その結果に基づいて、第２特徴位置検出ステップで使用する検出器を選択するシステムと構成方法の例を挙げた。
【0115】
このような階段式構成（ｃａｓｃａｄｅ ｃｏｎｆｉｇｕｒａｔｉｏｎ）は、容易に多層階段式構成に拡張できる。例えば、第１特徴位置検出ステップでは動物の身体全体を検出し、第２特徴位置検出ステップでは動物の顔の位置と腕脚の位置を検出し、第３特徴位置検出ステップでは顔から目、鼻、口、耳の位置を検出するなどの応用構成が可能である。
【0116】
このような多層階段式構成を使用することにより、同時に複数階層の特徴位置の取得が可能なシステムを容易に設計することができる。多層階段式システムを設計する際に、層数を決定するには、取得しようとする特徴位置の階層ドメイン、全体システムの動作時間及び複雑度、そしてそれぞれの個別特徴領域検出器を構成するのに必要なリソースなどを考慮すれば最適の階層構造を設計することができるのは自明である。
【0117】
図７は、本発明によるペットの鼻紋管理システムにおいてペットの鼻に対応するオブジェクトを検出するための方法のフローチャートである。
【0118】
本発明によるペットの識別のためのオブジェクトを検出するための方法は、ペット（例えば、イヌ）の含まれた原画像を取得するステップ（Ｓ７１０）と、原画像に対する画像処理を介して第１特徴領域とペットの種を決定するステップ（Ｓ７２０）と、決定されたペットの種に基づいて第１特徴領域内でペットの識別のためのオブジェクト（例えば、鼻）を検出するステップ（Ｓ７３０）と、を含む。
【0119】
ステップＳ７１０で、ペットのオブジェクト認識のためのアプリケーションが実行された状態で活性化されたカメラを介してペットの含まれた原画像が取得される。ここで、ペットが円滑に撮影されるように照度や焦点などが調節できる。ここで取得された画像が図５及び図６の入力画像として提供されてもよい。その後、上述したように、階段式（ｃａｓｃａｄｅｄ）オブジェクト検出のためにペットの種を決定するステップ（Ｓ７２０）、及びペットのオブジェクトを検出するステップ（Ｓ７３０）が行われることができる。
【0120】
ステップＳ７２０で、ペットの種を識別するための手順が行われる。本発明によれば、前記ペットの種を決定するステップ（Ｓ７２０）は、原画像に対する第１前処理を適用するステップと、前処理された画像においてペットの種を識別し、前記第１特徴領域を設定するステップと、第１特徴領域に対する第１後処理を介して第１特徴値を抽出するステップと、を含むことができる。
【0121】
原画像に対する第１前処理を適用するステップは、先に図５のステップＳ５１０を参照して説明したように、原画像の大きさ、比率、方向などを調節してオブジェクトの検出に適した形態に画像を変換するステップである。
【0122】
第１特徴領域を設定するステップは、画像中にペットが存在する領域とそのペットの種を検出するステップであり、後述する第２特徴領域検出ステップで使用可能な第１特徴領域を設定するとともに、各ペットの種に最適化された第２特徴領域検出器を選択することにより最終的な特徴点検出性能を改善するためである。
【0123】
本発明によれば、第１特徴領域を設定するステップは、学習用ニューラルネットワークを用いて、前記前処理された画像を複数の特徴画像に区分するステップと、複数の特徴画像に、それぞれに対して予め定義された境界ボックスを適用するステップと、境界ボックス内で各ペットの種類別の確率値を計算するステップと、特定動物種に対して計算された確率値が基準値以上である場合、境界ボックスが含まれるように第１特徴領域を構成するステップと、を含むことができる。
【0124】
前述したように、前処理器によって正規化された入力画像は、人工ニューラルネットワークによって階層的に第１特徴画像から第ｎ特徴画像までを構成する。このとき、階層ごとに特徴画像を抽出する方法は、人工ニューラルネットワークの学習ステップで機械的に学習できる。
【0125】
このように抽出された階層的特徴画像は、階層ごとに対応する予め定義された境界ボックス（Ｐｒｉｏｒｉ Ｂｏｘ）リストと結合され、境界ボックス、オブジェクト種類、及び信頼度値（確率値）リストを生成し、結果として表１のような形式で出力できる。
【0126】
その後、特定境界ボックスで特定動物種類の確率値が基準値以上である場合、当該境界ボックスが第１特徴領域に含まれるように第１特徴領域を設定する。
【0127】
一方、上述したようにペットの顔領域（第１特徴領域）を決定するための過程は、高い解像度が要求されないため、相対的に低い解像度で行われることができる。すなわち、原画像に対する第１前処理を適用するステップは、原画像を原解像度よりも低い第１解像度の画像に変換するステップと、第１解像度に変換された画像に対して第１前処理を適用するステップと、を含むことができる。
【0128】
一方、ペットの種を識別するための第１特徴領域が設定されると、第１特徴領域に対する第１後処理を介して第１特徴値が抽出される。これは、取得された画像から抽出されたイヌの鼻紋イメージが、以後に学習又は識別に使用されるデータとして適するか否かを先に判断するためである。
【0129】
すなわち、第１特徴値が基準値より大きい場合、ペットを識別するためのオブジェクト検出が行われ、前記第１特徴値が基準値より小さい場合、追加の処理が行われず、他の画像に対する処理が行われる。第１特徴値は、実施形態によって様々であり、例えば、処理される画像の明るさ情報が使用できる。
【0130】
ステップＳ７３０で、ペットを識別するためのオブジェクトの検出が行われる。ペットを識別するためのオブジェクトとして、目、鼻、口、耳などの様々な部位が使用できるが、代表的に、鼻紋を使用するための鼻を中心に説明することとする。本ステップは、先立って行ったペットの種を考慮して行われる。ペットがイヌである場合、イヌに最適化された識別のためのオブジェクト検出が行われることができる。最適化されたオブジェクト検出は、動物の種類によって異なり得る。さらに、撮影された画像に含まれているペットが複数種類である場合、動物ごとに識別のためのオブジェクト検出が行われることができる。
【0131】
ペットの識別のためのオブジェクトを検出するステップは、ペットの種を識別するための第１特徴領域に対する第２前処理を適用するステップと、第２前処理された第１特徴領域においてペットの種に基づいて前記ペットの識別のための第２特徴領域を設定するステップと、前記第２特徴領域に対する第２後処理を適用するステップと、を含むことができる。
【0132】
ペットの識別のためのオブジェクトを検出するための第２前処理は、第１前処理と同様に画像の大きさなどを調節する過程である。第１特徴領域に対する第２前処理は、前記第１前処理が適用される第１解像度よりも高い第２解像度で行われることができる。これは、動物の種類を決定する過程とは異なり、ペットの識別のためのオブジェクト（例えば、鼻）を検出し、識別用データ（鼻紋イメージ）を検査する過程は、相対的に高い品質のイメージが要求されるためである。以後、前処理された画像に対してペットの識別のためのオブジェクトとして第２特徴領域が設定される。
【0133】
第２特徴領域を設定するステップは、ペットの種に応じて、第１特徴領域（例えば、顔領域）でペットの識別のためのオブジェクト（例えば、鼻）が位置する確率に基づいて第２特徴領域（例、鼻領域）を設定するステップを含む。先立ってステップＳ７２０でペットの種が決定されると、当該種に応じて最適化された個別特徴領域検出器及びパラメータが選択され、選択された検出器及びパラメータを用いて、より小さい演算複雑度で当該ペットの識別用オブジェクト（例えば、鼻領域）を検出することができる。
【0134】
第２特徴領域として検出されたペットの識別用オブジェクトのイメージが以後学習又は識別に使用されるのに適するか否かを検査するための後処理が行われることができる。後処理に対する結果として、当該イメージの適合度を示す第２特徴値が導出できる。第２特徴値が基準値よりも大きい場合、前記第２特徴領域を含むイメージがサーバに伝送される。
【0135】
図１３は、本発明による電子装置１３００のブロック図である。本発明による電子装置１３００は、カメラ１３１０、プロセッサ１３２０、通信モジュール１３３０、メモリ１３４０、ディスプレイ１３５０を含むことができる。
【0136】
カメラ１０１０は、レンズなどの光学モジュールと入力された光から画像信号を生成するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を含むことができ、画像撮影を介して画像データを生成してプロセッサ１３２０に提供することができる。
【0137】
プロセッサ１３２０は、電子装置１３００の各モジュールを制御し、画像処理のために必要な演算を行う。プロセッサ１３２０は、その機能によって複数のマイクロプロセッサ（プロセッシング回路）で構成されることができる。プロセッサ１３３０は、前述したように、ペット（例：イヌ）の識別のためのオブジェクト（例：鼻）を検出し、当該オブジェクトに対するイメージの有効性判断を行うことができる。
【0138】
通信モジュール１３３０は、有線／無線ネットワークを介して外部の個体（ｅｎｔｉｔｙ）との間でデータを送信又は受信することができる。特に、通信モジュール１３３０は、学習又は識別のためにサーバとの通信を介して人工知能に基づく処理のためのデータを交換することができる。
【0139】
さらに、電子装置１３００は、画像データ及び画像処理のために必要な情報を格納するメモリ１３４０と、ユーザに画面を出力するディスプレイ１３５０と、を含んで、用途に応じて多様なモジュールを含むことができる。
【0140】
本発明による電子装置１３００は、ペットの含まれた原画像を生成するカメラ１３１０と、原画像に対する画像処理を介して第１特徴領域と前記ペットの種を決定し、決定されたペットの種に基づいて第１特徴領域内でペットの識別のためのオブジェクトを検出するプロセッサ１３２０と、ペットの識別のためのオブジェクトが有効である場合、前記オブジェクトのイメージをサーバに伝送する通信モジュール１３３０と、を含む。
【0141】
本発明によれば、プロセッサ１３２０は、原画像に対する第１前処理を適用し、前処理された画像でペットの種を決定して第１特徴領域を設定し、第１特徴領域に対する第１後処理によって第１特徴値を抽出することができる。
【0142】
本発明によれば、プロセッサ１３２０は、学習用ニューラルネットワークを用いて、前記前処理された画像から複数の特徴画像を生成し、前記複数の特徴画像にそれぞれに対して予め定義された境界ボックスを適用し、前記境界ボックス内で各ペットの種類別の確率値を計算し、特定動物種に対して前記計算された確率値が基準値以上である場合、境界ボックスが含まれるように第１特徴領域を構成することができる。
【0143】
本発明によれば、第１特徴値が基準値よりも大きい場合、ペットを識別するためのオブジェクト検出が行われ、第１特徴値が基準値よりも小さい場合、追加の処理が省略され得る。
【0144】
本発明によれば、プロセッサ１３２０は、原画像を原解像度よりも低い第１解像度の画像に変換し、第１解像度に変換された画像に対して第１前処理を適用することができる。
【0145】
本発明によれば、プロセッサ１３２０は、ペットの種を識別するための第１特徴領域に対する第２前処理を適用し、第２前処理された第１特徴領域においてペットの種に基づいてペットの識別のための第２特徴領域を設定し、第２特徴領域に対する第２後処理を適用して第２特徴値を抽出することができる。
【0146】
本発明によれば、第１特徴領域に対する第２前処理は、第１特徴領域の設定のための第１前処理が適用される第１解像度よりも高い第２解像度で行われることができる。
【0147】
本発明によれば、プロセッサ１３２０は、ペットの種に応じて、第１特徴領域においてペットの識別のためのオブジェクトが位置する確率に基づいて第２特徴領域を設定することができる。
【0148】
本発明によれば、第２特徴値が基準値より大きい場合、第２特徴領域を含むイメージがサーバに伝送されることができる。
【0149】
本発明によれば、プロセッサ１３２０は、画像においてペットの種を決定するための特徴領域候補を生成し、特徴領域候補それぞれの信頼度値に基づいて位置及び大きさが決定された第１特徴領域を生成することができる。
【0150】
図９は、ペットの識別のためのオブジェクトのイメージを処理するための方法のフローチャートである。
【0151】
本発明によるペットの識別のためのオブジェクトのイメージを処理するための方法は、ペットの含まれた画像を取得するステップ（Ｓ９１０）と、画像においてペットの種を決定するための特徴領域候補を生成するステップ（Ｓ９２０）と、特徴領域候補それぞれの信頼度値に基づいて位置及び大きさが決定された第１特徴領域を設定するステップ（Ｓ９３０）と、第１特徴領域でペットを識別するためのオブジェクトを含む第２特徴領域を設定するステップ（Ｓ９４０）と、第２特徴領域で前記オブジェクトのイメージを取得するステップ（Ｓ９５０）と、を含むことができる。
【0152】
本発明によれば、特徴領域候補を生成するステップは、人工ニューラルネットワークを用いて階層的に特徴画像を生成するステップと、特徴画像それぞれに対して予め定義された境界領域を適用して、各境界領域で特定種のペットが位置する確率値を計算するステップと、確率値を考慮して特徴領域候補を生成するステップと、を含むことができる。
【0153】
前処理器によって正規化された入力画像は、人工ニューラルネットワークによって階層的に第１特徴画像から第ｎ特徴画像が生成され、階層ごとに特徴画像を抽出する方法は、人工ニューラルネットワークの学習ステップで機械的に学習できる。
【0154】
抽出された階層的特徴画像は、階層ごとに対応する予め定義された境界領域（境界ボックス）のリストと結合され、境界領域ごとに特定動物種類が位置する確率値のリストが表１のように生成される。ここで、特定動物種類であるか否かが判断できない場合、「背景」と定義できる。
【0155】
次に、本発明による拡張型ＮＭＳを適用して、各特徴画像においてペットの顔などの種の識別のための第１特徴領域の候補（特徴領域候補）が生成される。各特徴領域候補は、先に導き出された特定動物種別の確率値を用いて導出できる。
【0156】
本発明によれば、特徴領域候補を生成するステップは、特徴画像から特定動物種に該当する確率が最も高い第１境界領域を選択するステップと、特徴画像から選択された第１境界領域を除く残りの境界領域に対して、確率値の順序に従って前記第１境界領域との重畳度を計算し、前記重畳度が基準重畳度よりも大きい境界領域を特徴画像の特徴領域候補に含ませるステップと、を含むことができる。このとき、重畳度を評価するために、例えば、２つの境界領域間の積集合対和集合の面積比を使用することができる。
【0157】
すなわち、下記の手順によって、図８（ａ）のような特徴領域候補が生成できる。
【0158】
１．背景を除くそれぞれの種に対して、それぞれ次の過程を行う。
【0159】
Ａ．境界ボックスリストから、当該種である確率が特定の閾値よりも低いボックスを除く。残ったボックスがなければ、結果なしで終了する。
【0160】
Ｂ．上記の境界ボックスリストにおいて、当該種である確率が最も高いボックスを第１ボックス（第１境界領域）として指定し、境界ボックスリストから除く。
【0161】
Ｃ．残りの境界ボックスリストに対して、確率の高い順序に従ってそれぞれ次の過程を行う。
【0162】
ｉ．第１ボックスとの重畳度を演算する。例えば、積集合対和集合の面積比（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用することができる。
【0163】
ｉｉ．前記重畳度の値が特定の閾値よりも高ければ、このボックスは、第１ボックスと重畳するボックスである。第１ボックスと併合する。
【0164】
Ｄ．第１ボックスを結果ボックスリストに追加する。
【0165】
Ｅ．境界ボックスリストにボックスが残っている場合、残ったボックスを対象として再びＣステップから繰り返す。
【0166】
２つのボックスＡ及びＢに対して、例えば、積集合対和集合の面積比は、前述した数式１のように効果的に演算することができる。
【0167】
図８を参照して説明したように、本発明によって導出されたそれぞれの特徴領域候補から各特徴領域候補の信頼度値に基づいて第１特徴領域（例えば、ペットの顔領域）が導出できる。
【0168】
本発明によれば、第１特徴領域が位置する中心点（Ｃ（ｘ、ｙ）
ｎ）は、数式２のように特徴領域候補の中心点Ｃ（ｘ、ｙ）
１、Ｃ（ｘ、ｙ）
２に対する信頼度値ｐ１、ｐ２の加重和によって決定できる。
【0169】
本発明によれば、第１特徴領域の幅Ｗｎは、数式２のように特徴領域候補の幅Ｗ１、Ｗ２に対する信頼度値ｐ１、ｐ２の加重和によって決定され、第１特徴領域の高さＨｎは、特徴領域候補の高さＨ１、Ｈ２に対する信頼度値ｐ１、ｐ２の加重和によって決定できる。
【0170】
本発明は、複数のボックス（特徴領域候補）に対して信頼度値に基づく加重平均を適用して幅と高さが大きい１つのボックスを第１特徴領域（ペットの顔領域）に設定し、第１特徴領域内でペットの識別のための第２特徴領域（鼻領域）を検出することができる。本発明のように、より拡張された第１特徴領域を設定することにより、以降に行われる第２特徴領域が検出されない誤りの発生を減少させることができる。
【0171】
以後、第１特徴領域（例えば、イヌの顔領域）内でペットの識別のための第２特徴領域（例えば、鼻領域）に対する検出が行われる。本ステップは、前述したペットの種を考慮して行われる。ペットがイヌである場合、イヌに最適化された識別のためのオブジェクト検出が行われることができる。最適化されたオブジェクト検出は、動物の種類によって異なり得る。
【0172】
第２特徴領域を設定するステップは、ペットの種に応じて第１特徴領域（例えば、顔領域）においてペットの識別のためのオブジェクト（例えば、鼻）が位置する確率に基づいて第２特徴領域（例えば、鼻領域）を設定するステップを含む。
【0173】
また、第２特徴領域として検出されたペットの識別用オブジェクトのイメージが以後に学習又は識別に使用されるのに適するか否かを検査するための後処理が行われることができる。後処理に対する結果として、当該イメージの適合度を表す第２特徴値が導出できる。第２特徴値が基準値よりも大きい場合、前記第２特徴領域を含むイメージがサーバに伝送され、前記第２特徴値が基準値よりも小さい場合、前記第２特徴領域を含むイメージは捨てられる。
【0174】
本発明による電子装置１３００は、ペットの含まれた画像を生成するカメラ１３１０と、カメラ１３２０から提供された画像を処理してペットの識別のためのオブジェクトのイメージを生成するプロセッサ１３３０と、を含む。プロセッサ１３３０は、画像においてペットの種を決定するための特徴領域候補を生成し、特徴領域候補それぞれの信頼度値に基づいて位置及び大きさが決定された第１特徴領域を設定し、前記第１特徴領域において前記ペットを識別するためのオブジェクトを含む第２特徴領域を設定し、前記第２特徴領域から前記オブジェクトのイメージを取得することができる。
【0175】
本発明によれば、プロセッサ１３２０は、人工ニューラルネットワークを用いて階層的に前記画像から複数の特徴画像を生成し、前記特徴画像それぞれに対して予め定義された境界領域を適用して各境界領域で特定種のペットが位置する確率値を計算し、前記確率値を考慮して前記特徴領域候補を生成することができる。
【0176】
本発明によれば、プロセッサ１３２０は、前記特徴画像から特定動物種に該当する確率が最も高い第１境界領域を選択し、前記特徴画像から前記選択された境界領域を除く残りの境界領域に対して、前記確率値の順序に従って前記第１境界領域との重畳度を計算し、前記重畳度が基準重畳度よりも大きい境界領域を前記特徴画像の特徴領域候補に含ませることができる。このとき、重複度を計算するために、２つの境界領域間の積集合対和集合の面積比が使用できる。
【0177】
本発明によれば、第１特徴領域が位置する中心点は、特徴領域候補の中心点に対する信頼度値の加重和によって決定できる。
【0178】
本発明によれば、第１特徴領域の幅は、特徴領域候補の幅に対する信頼度値の加重和によって決定され、第１特徴領域の高さは、前記特徴領域候補の高さに対する信頼度値の加重和によって決定されることができる。
【0179】
本発明によれば、プロセッサ１３２０は、次の画像からオブジェクトの変更された位置を検出し、次の画像において位置が変更されたオブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断し、変更された位置に焦点を設定した状態で次の撮影を行うようにカメラ１３１０を制御することができる。
【0180】
本発明によれば、プロセッサ１３２０は、画像からペットの種を決定するための第１特徴領域を設定し、第１特徴領域内でペットの識別のためのオブジェクトを含む第２特徴領域を設定することができる。
【0181】
本発明によれば、プロセッサ１３２０は、ペットの識別のためのオブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断することができる。
【0182】
本発明によれば、プロセッサ１３２０は、オブジェクトのイメージの品質が基準条件を満足するか否かを判断し、品質が基準条件を満足する場合、オブジェクトのイメージをサーバに伝送し、品質が基準条件を満足しない場合、オブジェクトのイメージを捨て、次の画像に対する撮影を行うようにカメラ１３１０を制御することができる。
【0183】
前述した過程によって導出されたオブジェクトのイメージ（例えば、鼻紋イメージ）に対して、人工知能ベースの学習又は識別に適するか否かが検査される。イメージの品質検査は、様々な品質条件によって行われることができるが、これは、ニューラルネットワーク設計者によって定義できる。例えば、実際のイヌの写真であること、鼻紋がはっきりと写っていること、異物がないこと、正面から写ったイメージであること、周辺余白が一定の割合以下であることなどが条件として含まれることができる。このような条件は、数値化、客観化が可能であることが好ましい。品質に劣るイメージがニューラルネットワークに保存される場合、全般的なニューラルネットワークの性能下落をもたらすおそれがあるため、基準以下の品質を有するイメージは事前にフィルタリングすることが好ましいであろう。このようなフィルタリング処理は、上述した第１後処理ステップ又は第２後処理ステップで行われることができる。
【0184】
オブジェクトのイメージに対する品質を検査するための実施形態として、焦点ずれによる品質低下、及びカメラ又はオブジェクトのぶれによる品質低下を検出する方案について説明する。
【0185】
本発明によるペットの識別のためのオブジェクトのイメージをフィルタリングするための方法は、ペットの含まれた画像を取得するステップ（Ｓ１２１０）と、画像においてペットの種を決定し、第１特徴領域を設定するステップ（Ｓ１２２０）と、決定されたペットの種を考慮して第１特徴領域内でペットを識別するためのオブジェクトを含む第２特徴領域を設定するステップ（Ｓ１２３０）と、第２特徴領域でオブジェクトのイメージに対する品質を検査してオブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するステップ（Ｓ１２４０）と、を含む。
【0186】
また、本発明によれば、第１特徴領域に対する後処理（品質検査）を行い、第１特徴領域のイメージが適切な品質を有する場合に限って第２特徴領域検出及び適合性判断が行われることができる。すなわち、第１特徴領域を設定するステップは、第１特徴領域において前記オブジェクトのイメージに対する品質を検査して前記オブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するステップを含み、第２特徴領域は、第１特徴領域において前記オブジェクトのイメージが人工知能ベースの学習又は識別に適すると判断される場合に設定できる。第１特徴領域において前記オブジェクトのイメージが人工知能ベースの学習又は識別に適さないと判断されると、現在フレームのイメージを捨てて次のフレームのイメージを撮影することができる。
【0187】
第１特徴領域に対する品質検査（第１後処理）は、実施形態によって省略されてもよい。すなわち、第１後処理過程が省略され、直ちに第２特徴領域の検出が行われることができる。
【0188】
オブジェクトのイメージに対する品質検査は、第１特徴領域又は第２特徴領域の位置ごとに異なる重みを適用することにより行われることができる。
【0189】
第１後処理ステップでオブジェクトのイメージ品質検査のための方法によって上述の明るさ評価を行うことができる。例えば、第１特徴領域に対して上述した数式２の演算を行い、ＢＴ．６０１標準による明るさ値とＨＳＶ色空間における明度（Ｖａｌｕｅ）情報をピクセル単位で抽出し、その平均値が第１明るさ基準値よりも小さい場合には、画像が暗すぎると判断し、第２明るさ基準値よりも大きい場合には、画像が明るすぎると判断し、画像が暗すぎるか明るすぎる場合には、第２特徴領域検出などの後続のステップを省略し、処理を終了することができる。また、第１特徴領域のうち、重要であると判断される領域に重みを付与して判断することができる。
【0190】
本発明によれば、オブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するステップは、オブジェクトのイメージにおいてオブジェクトに対する焦点ずれの程度（Ｄｅｆｏｃｕｓ ｂｌｕｒ）を判断するステップを含むことができる。
【0191】
焦点ずれによる品質低下（Ｄｅｆｏｃｕｓ ｂｌｕｒ）を検出するための方法は、次のとおりである。Ｄｅｆｏｃｕｓ ｂｌｕｒは、カメラの焦点が合わないため、目的の領域（例えば、鼻紋領域）がぼやける現象を意味する。Ｄｅｆｏｃｕｓ ｂｌｕｒが発生する場合として、携帯電話カメラでオートフォーカス調整が行われる間に取得された写真などが挙げられる。
【0192】
Ｄｅｆｏｃｕｓ ｂｌｕｒが発生したイメージを判別するために、画像から高周波成分（特定値よりも高い周波数を有する成分）を抽出して処理することができる。画像に対して、高周波成分は、明るさ及び色が急激に変化する箇所、すなわち画像内の物体境界線に主に位置し、低周波成分は、周辺に類似した明るさ及び色を有する箇所に主に位置する。したがって、焦点が合って鮮明なイメージであるほど、画像内に高周波成分が強く分布する。これを判断するために、例えば、ラプラス作用素（Ｌａｐｌａｃｉａｎ ｏｐｅｒａｔｏｒ）を活用することができる。ラプラス作用素は、入力信号に２階導微分を行い、入力信号の高周波成分を残して低周波成分を効果的に除去することができる。したがって、ラプラス作用素を使用すると、効果的に画像内の物体境界線を見つけることができ、また境界線がどれほど鮮明であるかを数値で得ることができる。
【0193】
例えば、下記数式４のような５×５ＬｏＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）カーネルを入力写真に畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）演算することにより、画像内の境界線位置と境界線の鮮明度情報を得ることができる。
【0194】
［数式４］
【数4】
【0195】
Ｄｅｆｏｃｕｓ ｂｌｕｒが少なくて境界線が鮮明な写真は、ラプラス作用素を適用した結果値が０から相対的に大きい値の範囲まで分布し、逆にＤｅｆｏｃｕｓ ｂｌｕｒが大きくて境界線がぼやけて撮影された写真は、ラプラス作用素を適用した結果値が０から相対的に小さい値の範囲で分布する。したがって、ラプラス作用素を適用した結果値の分布をモデル化することにより、鮮明度を把握することができる。
【0196】
このような方法の一例として、ラプラス作用素を適用した結果イメージの分散値を用いて鮮明度を把握することができる。或いは、分布図（Ｈｉｓｔｏｇｒａｍ）分析によって、ラプラシアン（Ｌａｐｌａｃｉａｎ）値分布の１０分位分布図を求め、最高－最低区間の分布比率を演算するなど、様々な統計的手法を採用することができる。そのような方法は、使用しようとする応用分野に応じて選択的に適用することができる。
【0197】
すなわち、本発明によれば、オブジェクトに対する焦点ずれの程度を判断するステップは、第２特徴領域のイメージに２階導微分を行うラプラス作用素（Ｌａｐｌａｃｉａｎ ｏｐｅｒａｔｏｒ）を適用して高周波成分の分布図を示すイメージを抽出するステップと、高周波成分の分布図から第２特徴領域のイメージの焦点ずれを示す値を計算するステップと、を含むことができる。
【0198】
鼻領域においても位置によって鮮明度の重要度に差が生じる。すなわち、画像中央部である場合、鼻の中央部である確率が高く、画像の縁部に移動するほど鼻の外郭部であるか、或いは鼻の周辺の毛領域である可能性が増加する。このような空間的特性を反映するために、画像を一定領域に分割し、それぞれの領域ごとに異なる重みを付与して鮮明度を判定する方法を考慮することができる。例えば、前記画像を９分割したり、画像の中央を基準に楕円を描いたりするなど、関心領域を設定した後、当該領域に１よりも大きいｗの重みを掛けるなどの方法を考慮することができる。
【0199】
すなわち、本発明によれば、第２特徴領域の中心部に適用される重みは、第２特徴領域の周辺部に適用される重みよりも大きく設定されることができる。中心部に周辺部よりも大きい重みを適用することにより、イヌの鼻紋などの識別用オブジェクトに対して集中的にイメージ品質検査が行われることができる。
【0200】
このようにラプラス作用素を用いて判別したＤｅｆｏｃｕｓ ｂｌｕｒ点数は、０に近いほど画像に境界線が薄く存在し、その値が大きいほど画像に境界線が強く存在することを意味する。したがって、Ｄｅｆｏｃｕｓ ｂｌｕｒ点数が閾値（ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ）よりも大きい場合には、鮮明なイメージと分類し、そうでない場合には、ぼやけたイメージと判断することができる。このような閾値は、事前に収集したデータを用いて経験的に決定するか、或いはカメラで毎回複数枚の入力画像を累積して観察することにより、適応的に決定することができる。
【0201】
本発明によれば、オブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するステップは、前記オブジェクトのイメージにおいて前記オブジェクトのぶれ程度を判断するステップを含むことができる。
【0202】
以下、ぶれによる品質低下（ｍｏｔｉｏｎ ｂｌｕｒ）を検出する方案について説明する。Ｍｏｔｉｏｎ ｂｌｕｒは、カメラの露光時間中に撮影対象とカメラの相対的な位置がぶれながら、目的の領域がぶれたかのように撮影される現象をいう。このような写真が取得される場合であって、光量が少ない環境で携帯電話カメラの露出時間設定を長く設定して撮影する場合、１枚の写真を撮影する露光時間中にイヌが動くか或いはユーザの手がぶれることにより発生することがある。
【0203】
このようなイメージの特徴分析のために様々な境界線検出器（ｅｄｇｅ ｄｅｔｅｃｔｏｒ）を使用することができる。例えば、キャニー境界線（Ｃａｎｎｙ ｅｄｇｅ）検出器の場合、連続して続く境界線を効率よく検出する境界線検出器として知られている。
【0204】
図１０の上方対角線方向にぶれが発生したイメージにキャニー境界線検出器を適用した結果イメージの例である。図１０に示すように、イメージにキャニー境界線検出器を適用した結果、鼻紋領域の境界線が対角線（／）方向に一貫して発生することが確認される。
【0205】
当該境界線の方向性を分析することにより、ぶれの有無を効果的に判断することができる。方向性分析方法の一例を挙げて説明すると、キャニー境界線検出器で検出された境界線は、常に周辺ピクセルに連結されているという特徴がある。したがって、周辺ピクセルとの連結関係を分析することにより方向性を分析することができる。本発明の一実施形態によれば、キャニー境界線検出器が適用されたイメージにおいて境界線が位置した一定大きさのピクセルブロックにおけるパターン分布を分析することにより、全体的なぶれ方向及び程度が計算できる。
【0206】
図１１は、キャニー境界線検出器を適用した結果イメージにおけるぶれの有無を判断するために使用される境界線が位置したピクセルブロックのパターン形態の例を示す。
【0207】
例えば、図１１の（ａ）のように３×３ピクセルが境界線として検出された場合を例示として挙げて詳細に説明すると、次の通りである。説明の便宜上、図１１のように、９つのピクセルを位置に応じてそれぞれ番号付けて説明する。
【0208】
中央の５番ピクセルの場合、常に境界線であると判明されると仮定することができる。５番ピクセルが境界線でない場合、この３×３ピクセルの配列は境界線配列ではないため、処理をスキップするか、或いは境界線でないピクセルとして集計することができる。
【0209】
中央の５番ピクセルが境界線ピクセルである場合、残りの周辺８個のピクセルが境界線であるか否かを基準にして合計２８＝２５６個のパターンを定義することができる。例えば、図１１の（ａ）の場合、｛１、２、３、４、６、７、８、９｝番ピクセルの境界線か否かに基づいて（０１０００１００）パターンであり、これを１０進法に換算して６８番目のパターンと命名することができる。このような命名方法は、実現状況を容易にするように変更できる。
【0210】
【数5】
【0211】
【数6】
【0212】
このような方法で２５６種のパターンに対してルックアップテーブル（Ｌｏｏｋｕｐ Ｔａｂｌｅ）を作成することができる。このときに出られる組み合わせは、例えば、次のように８つの方向に定義することができる。
【数7】
【0213】
このような方法に基づいて、キャニー境界線（Ｃａｎｎｙ ｅｄｇｅ）検出器の結果画像から境界ピクセルの方向性統計情報を作成することができる。このような統計情報に基づいて、当該画像にＭｏｔｉｏｎ ｂｌｕｒが発生したかを効果的に判断することができる。このような判断基準は、経験的に分類方法を設計するか、或いは機械学習方法を用いて大量のデータに基づいて判別することができるのは自明である。このような方法としては、例えば、判断ツリー（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）、ランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ）などの方法を用いるか、或いは深層ニューラルネットワークを用いた分類器（Ｃｌａｓｓｉｆｉｅｒ）を設計することができる。
【0214】
すなわち、本発明によれば、オブジェクトのぶれ程度を判断するステップは、図１０に示すように、第２特徴領域のイメージにキャニー境界線（Ｃａｎｎｙ ｅｄｇｅ）検出器を適用して、オブジェクトのイメージにおいて連続して続く境界線からなる境界線イメージを構成するステップと、図１０のような境界線イメージにおいて前記境界線が含まれたブロックの方向パターンの分布を分析するステップと、方向パターンの分布からオブジェクトのぶれ程度を示す値を計算するステップと、を含むことができる。
【0215】
上述した統計情報を作成する際に、鼻領域が周辺領域よりもさらに重要な情報を有するのは自明である。したがって、画像内の一定の領域から統計情報を別途収集して重みを与えるなどの方法を用いることができる。このような方法の一例として、上述したラプラス作用素を用いたＤｅｆｏｃｕｓ ｂｌｕｒ判別で使用した方法を用いることができる。すなわち、方向パターンの分布からオブジェクトのぶれ程度を示す値を計算するステップは、第２特徴領域のブロックごとに重みを適用して方向パターンの分布程度を計算するステップを含み、第２特徴領域の中心部に位置したブロックの重みは、前記第２特徴領域の周辺部に位置したブロックの重みよりも大きく設定できる。
【0216】
図１２は、ペットの識別のためのオブジェクトのイメージをフィルタリングするための方法のフローチャートである。本発明によるペットの識別のためのオブジェクトのイメージをフィルタリングする方法は、ペットの含まれた画像を取得するステップ（Ｓ１２１０）と、画像からペットの種を決定し、第１特徴領域を設定するステップ（Ｓ１２２０）と、決定されたペットの種を考慮して第１特徴領域内でペットを識別するためのオブジェクトを含む第２特徴領域を設定するステップ（Ｓ１２３０）と、第２特徴領域においてオブジェクトのイメージに対する品質を検査してオブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するステップ（Ｓ１２４０）と、を含む。オブジェクトのイメージに対する品質検査は、第１特徴領域又は第２特徴領域の位置ごとに異なる重みを適用することにより行われることができる。
【0217】
一方、第１特徴領域を設定するステップ（Ｓ１２２０）の後、第１特徴領域においてオブジェクトのイメージに対する品質を検査してオブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するステップ（Ｓ１２３０）が行われることができる。このとき、第２特徴領域は、前記第１特徴領域における前記オブジェクトのイメージが人工知能ベースの学習又は識別に適すると判断される場合に設定されることができる。第１特徴領域に対する品質検査（第１後処理）は、実施形態によって省略されてもよい。
【0218】
第１特徴領域において前記オブジェクトのイメージに対する品質を検査して、前記オブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するステップは、第１特徴領域における明るさが基準範囲に属するか否かを判断するステップを含むことができる。本ステップは、第１特徴領域からＢＴ．６０１標準によるＬｕｍａ情報とＨＳＶ色空間の明度情報を抽出し、その平均値が第１閾値と第２閾値との間にあるか否かを判断するステップを含むことができる。本ステップで平均値を演算する際に、画像内の位置によって異なる重みを適用することができる。
【0219】
本発明によれば、オブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するステップは、オブジェクトのイメージからオブジェクトに対する焦点ずれの程度（Ｄｅｆｏｃｕｓ ｂｌｕｒ）を判断するステップを含むことができる。
【0220】
本発明によれば、オブジェクトに対する焦点ずれの程度を判断するステップは、第２特徴領域のイメージに２階導微分を行うラプラス作用素（Ｌａｐｌａｃｉａｎ ｏｐｅｒａｔｏｒ）を適用して高周波成分の分布図を示すイメージを抽出するステップと、高周波成分の分布図から第２特徴領域のイメージの焦点ずれを示す値を計算するステップと、を含むことができる。
【0221】
本発明によれば、第１特徴領域又は第２特徴領域の中心部に適用される重みは、第１特徴領域又は第２特徴領域の周辺部に適用される重みよりも大きく設定できる。
【0222】
本発明によれば、オブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するステップは、前記オブジェクトのイメージにおける前記オブジェクトのぶれ程度を判断するステップを含むことができる。
【0223】
本発明によれば、オブジェクトのぶれ程度を判断するステップは、第２特徴領域のイメージにキャニー境界線線（Ｃａｎｎｙ ｅｄｇｅ）検出器を適用して、オブジェクトのイメージにおいて連続的に続く境界線からなる境界線イメージを構成するステップと、同じ境界線イメージにおいて前記境界線の含まれたブロックの方向パターンの分布を分析するステップと、方向パターンの分布からオブジェクトのぶれ程度を示す値を計算するステップと、を含むことができる。
【0224】
本発明によれば、方向パターンの分布からオブジェクトのぶれ程度を示す値を計算するステップは、第２特徴領域のブロックごとに重みを適用して方向パターンの分布程度を計算するステップを含み、第２特徴領域の中心部に位置したブロックの重みは、前記第２特徴領域の周辺部に位置したブロックの重みよりも大きく設定できる。
【0225】
本発明による電子装置１３００は、ペットの含まれた画像を生成するカメラ１３１０と、カメラ１３１０から提供された画像を処理してペットの識別のためのオブジェクトのイメージを生成するプロセッサ１３２０と、を含む。プロセッサ１３２０は、画像でペットの種を決定するための第１特徴領域を設定し、決定されたペットの種を考慮して第１特徴領域内でペットを識別するためのオブジェクトを含む第２特徴領域を設定し、第２特徴領域においてオブジェクトのイメージに対する品質を検査して、オブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断するように設定される。
【0226】
本発明によれば、プロセッサ１３１０は、第１特徴領域においてオブジェクトのイメージに対する品質を検査して前記オブジェクトのイメージが人工知能ベースの学習又は識別に適するか否かを判断することができる。ここで、第２特徴領域検出及び品質検査は、第１特徴領域におけるオブジェクトのイメージが人工知能ベースの学習又は識別に適する場合に限って行われることができる。
【0227】
本発明によれば、プロセッサ１３１０は、第１特徴領域における明るさが基準範囲に属するか否かを判断することができる。第１特徴領域に対する品質検査（第１後処理）は、実施形態によって省略されてもよい。
【0228】
ここで、オブジェクトのイメージに対する品質検査は、第１特徴領域又は第２特徴領域の位置ごとに異なる重みを適用することにより行われることができる。
【0229】
本発明によれば、プロセッサ１３１０は、前記オブジェクトのイメージにおける前記オブジェクトに対する焦点ずれの程度を判断することができる。
【0230】
本発明によれば、プロセッサ１３１０は、第２特徴領域のイメージから高周波成分の分布図を表すイメージを抽出し、前記高周波成分の分布図から、前記第２特徴領域のイメージの焦点ずれを表す値を計算することができる。
【0231】
本発明によれば、第１特徴領域又は第２特徴領域の中心部に適用される重みは、第１特徴領域又は第２特徴領域の周辺部に適用される重みよりも大きく設定されることができる。
【0232】
本発明によれば、プロセッサ１３１０は、オブジェクトのイメージにおけるオブジェクトのぶれ程度を判断することができる。
【0233】
本発明によれば、プロセッサ１３１０は、第２特徴領域のイメージの境界線からなる境界線イメージを構成し、前記境界線イメージにおいて前記境界線の含まれたブロックの方向パターンの分布を分析し、前記方向パターンの分布から、前記オブジェクトのぶれ程度を表す値を計算することができる。
【0234】
本発明によれば、プロセッサ１３１０は、第２特徴領域のブロックごとに重みを適用して方向パターンの分布程度を計算し、第２特徴領域の中心部に位置したブロックの重みは、第２特徴領域の周辺部に位置したブロックの重みよりも大きく設定できる。
【0235】
本実施形態及び本明細書に添付された図面は、本発明に含まれる技術的思想の一部を明確に示しているものに過ぎず、本発明の明細書及び図面に含まれている技術的思想の範囲内で当業者が容易に類推することが可能な変形例及び具体的な実施形態はいずれも、本発明の権利範囲に含まれることが自明であるといえる。
【0236】
したがって、本発明の思想は、説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等又は等価的変形がある全てのものは、本発明の思想の範疇に属するというべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【国際調査報告】