特表 2024-539465 ペットの生体情報を取得する電子装置およびその動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】ペットの生体情報を取得する電子装置およびその動作方法

(51)【国際特許分類】

   H04N 23/61 20230101AFI20241018BHJP

   H04N 23/69 20230101ALI20241018BHJP

   H04N 23/63 20230101ALI20241018BHJP

   H04N 23/71 20230101ALI20241018BHJP

   H04N 23/45 20230101ALI20241018BHJP

   G06T 7/246 20170101ALI20241018BHJP

   G06T 7/73 20170101ALI20241018BHJP

【ＦＩ】

H04N23/61

H04N23/69

H04N23/63 330

H04N23/71

H04N23/45

G06T7/246

G06T7/73

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024529968

(86)(22)【出願日】2022-12-09

(85)【翻訳文提出日】2024-05-21

(86)【国際出願番号】 KR2022019991

(87)【国際公開番号】W WO2023106874

(87)【国際公開日】2023-06-15

(31)【優先権主張番号】10-2021-0177064

(32)【優先日】2021-12-10

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0113809

(32)【優先日】2022-09-07

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0170852

(32)【優先日】2022-12-08

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】523022044

【氏名又は名称】ペットナウ インコーポレイテッド

【氏名又は名称原語表記】ＰＥＴＮＯＷ ＩＮＣ．

【住所又は居所原語表記】＃５０８，７５ Ｔｅｃｈｎｏ １－ｒｏ，Ｙｕｓｅｏｎｇ－ｇｕ，Ｄａｅｊｅｏｎ ３４０１４ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】パク、テ ヒョン

(72)【発明者】

【氏名】イム、チュン ホ

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA09

5C122DA19

5C122FD02

5C122FE03

5C122FF01

5C122FF22

5C122FH10

5C122FH11

5C122FH14

5C122FK12

5C122FK25

5C122FK29

5C122FK34

5C122FK37

5C122FK40

5C122FK41

5C122FL03

5C122GA01

5C122GA31

5C122GC14

5C122GC52

5C122HA26

5C122HA35

5C122HA46

5C122HA75

5C122HA76

5C122HA86

5C122HB01

5C122HB05

5L096BA08

5L096HA05

5L096JA11

(57)【要約】

ペットの生体情報を取得する電子装置は、ディスプレイと、前記ディスプレイの表示方向に向けて画像を撮影する前面カメラと、前記ディスプレイおよび前記前面カメラと機能的に結合されたプロセッサと、前記プロセッサと機能的に結合されたメモリと、を含む。前記プロセッサは、前記前面カメラを介して撮影される前記ペットの画像を撮影し、前記ペットの画像を前記ディスプレイを介して表示し、前記ペットの画像から特徴オブジェクトを抽出し、前記特徴オブジェクトの画像を前記メモリに記憶する。

【特許請求の範囲】

【請求項1】

ペットの生体情報を取得する電子装置であって、
ディスプレイと、
前記ディスプレイの表示方向に向けて画像を撮影する前面カメラと、
前記ディスプレイおよび前記前面カメラと機能的に結合されたプロセッサと、
前記プロセッサと機能的に結合されたメモリと、を含み、
前記プロセッサは、
前記前面カメラを介して前記ペットの画像を撮影し、
前記ペットの画像を前記ディスプレイを介して出力し、
前記ペットの画像から特徴オブジェクトを抽出し、
前記特徴オブジェクトの画像を前記メモリに記憶する、電子装置。

【請求項2】

前記プロセッサは、
前記ペットの画像における前記特徴オブジェクトの位置にグラフィックまたはメッセージをオーバーラップさせ、
前記グラフィックまたはメッセージがオーバーラップしたペットの画像を前記ディスプレイを介して出力する、請求項１に記載の電子装置。

【請求項3】

前記グラフィックまたはメッセージは、前記特徴オブジェクトの撮影状態を示す、請求項２に記載の電子装置。

【請求項4】

前記ディスプレイの表示領域に備えられるタッチセンサをさらに含み、前記プロセッサは、
前記タッチセンサから前記ディスプレイに接触した接触物または付着物の位置を取得し、
前記接触物または付着物の位置に焦点が設定されるように前記前面カメラを制御する、請求項１に記載の電子装置。

【請求項5】

前記プロセッサは、
前記ディスプレイの表示領域に標識物を表示し、
前記特徴オブジェクトの位置を追跡して前記標識物が前記特徴オブジェクトにオーバ―ラップするように前記標識物を移動させ、
前記標識物の位置に焦点が設定されるように前記前面カメラを制御する、請求項１に記載の電子装置。

【請求項6】

前記プロセッサは、
前記ペットの画像から前記ペットの位置または姿勢を判断し、
前記ペットの位置または姿勢に基づいて撮影ガイドのためのグラフィックまたはメッセージを前記ディスプレイを介して出力する、請求項１に記載の電子装置。

【請求項7】

前記電子装置の姿勢を測定するジャイロセンサ（ｇｙｒｏｓｃｏｐｅ ｓｅｎｓｏｒ）をさらに含み、
前記プロセッサは、
前記ジャイロセンサから前記電子装置の姿勢情報を取得し、
前記姿勢情報に基づいて前記画像の反転方向を決定する、請求項１に記載の電子装置。

【請求項8】

前記電子装置の周辺の照度を測定する照度センサをさらに含み、
前記プロセッサは、前記照度センサから前記電子装置の周辺の照度情報を取得し、
前記照度情報に基づいて前記前面カメラの露出（ｅｘｐｏｓｕｒｅ）を制御する、請求項１に記載の電子装置。

【請求項9】

前記ディスプレイの表示方向とは反対方向の画像を撮影する背面カメラをさらに含み、
前記プロセッサは、
前記前面カメラの属性情報を確認し、
前記前面カメラの属性情報に基づいて前記前面カメラの活性化可否を判断する、請求項１に記載の電子装置。

【請求項10】

前記前面カメラの属性情報は、マニュアルフォーカス支援の有無、撮影フォーマット、および撮影サイズを含む、請求項９に記載の電子装置。

【請求項11】

前記プロセッサは、前記前面カメラの属性情報、および前記前面カメラの活性化可否を前記ディスプレイを介して出力する、請求項９に記載の電子装置。

【請求項12】

前記プロセッサは、前記前面カメラの活性化が不可能である場合、前記背面カメラを活性化させる、請求項９に記載の電子装置。

【請求項13】

前記プロセッサは、前記前面カメラが活性化可能である場合、前記前面カメラと前記背面カメラのうちのいずれかを選択するようにするインターフェースを前記ディスプレイを介して出力する、請求項９に記載の電子装置。

【請求項14】

前記プロセッサは、前記特徴オブジェクトの画像に対する品質を評価し、
品質条件を満たす前記特徴オブジェクトの画像を通信モジュールを介してサーバに伝送し、
前記品質評価条件は、前記特徴オブジェクトの画像を撮影したカメラが前記前面カメラであるか前記背面カメラであるかによって異なるように設定される、請求項９に記載の電子装置。

【請求項15】

ペットの生体情報を取得する電子装置の動作方法であって、
前面カメラを介して前記ペットの画像を撮影するステップと、
ディスプレイを介して前記画像を出力するステップと、
前記画像から特徴オブジェクトを抽出するステップと、
前記特徴オブジェクトの画像をメモリに記憶するステップと、を含み、
前記前面カメラは、前記ディスプレイの表示方向に向けて画像を撮影する、電子装置の動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ペットの生体情報を取得する電子装置および電子装置の動作方法に関する。

【背景技術】

【0002】

現代社会において人と共に生活しながら情緒的に頼ることができるペットへの需要が高まっている。ペットの生涯周期管理および健康管理などの多様な付加サービスのために、ペットに対する情報をデータベース化して管理する必要性が増加している。ここには、ペットの個体識別情報が必要であり、ペットに応じて使用できるオブジェクトがそれぞれ定義できる。例えば、ヒトの指紋と同様に、イヌの鼻紋（鼻のシワの形状）が個体別に全て異なることが知られており、一般に成犬（生後６ヶ月）になると、残った生涯周期の間、その特徴が変形しないことが知られている。よって、イヌの場合、鼻紋を、身元を識別するための手段として使用することができるといえる。

【0003】

ただし、特定の姿勢を取ったり各種センサを使用したりすることができる人間とは異なり、ペットは、特定の姿勢を取ったりセンサを使用したりすることが容易ではない。言語コミュニケーションが不可能であるため、物理力または固定枠などのツールを使って強制的に特定の姿勢に固定したりセンサに接触させたりするなどの方法が考えられるが、ペットの権利保護およびペット保護者の拒否感の面では望ましくないといえる。また、ペットを固定する人と生体情報取得装置を操作する人が必要なので、生体情報の取得を一人で進めるには困難が大きいという現実的な問題点がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、カメラを用いてペットの生体情報を取得するにあたり、被撮影者が撮影中の場面をリアルタイムで確認することができるようにすることにより、撮影を容易に行えるようにする電子装置および電子装置の動作方法を提供する。

【0005】

本発明の解決課題は、上述したものに限定されず、上述していない他の解決課題は、以降の記載から当業者に明確に理解できるであろう。

【課題を解決するための手段】

【0006】

ペットの生体情報を取得する電子装置は、ディスプレイと、前記ディスプレイの表示方向に向けて画像を撮影する前面カメラと、前記ディスプレイおよび前記前面カメラと機能的に結合されたプロセッサと、前記プロセッサと機能的に結合されたメモリと、を含む。前記プロセッサは、前記前面カメラを介して撮影される前記ペットの画像を撮影し、前記ペットの画像を前記ディスプレイを介して表示し、前記ペットの画像から特徴オブジェクトを抽出し、前記特徴オブジェクトの画像を前記メモリに記憶する。

【0007】

本発明によれば、前記プロセッサは、前記ペットの画像における前記特徴オブジェクトの位置にグラフィックまたはメッセージをオーバーラップさせ、前記グラフィックまたはメッセージがオーバーラップしたペットの画像を前記ディスプレイを介して出力する。

【0008】

本発明によれば、前記グラフィックまたはメッセージは、前記特徴オブジェクトの撮影状態を示す。

【0009】

本発明によれば、前記電子装置は、前記ディスプレイの表示領域に備えられるタッチセンサをさらに含む。前記プロセッサは、前記タッチセンサから前記ディスプレイに接触した接触物または付着物の位置を取得し、前記接触物または付着物の位置に焦点が設定されるように前記前面カメラを制御する。

【0010】

本発明によれば、前記プロセッサは、前記ディスプレイの表示領域に標識物を表示し、前記特徴オブジェクトの位置を追跡して前記標識物が前記特徴オブジェクトにオーバ―ラップするように前記標識物を移動させ、前記標識物の位置に焦点が設定されるように前記前面カメラを制御する。

【0011】

本発明によれば、前記プロセッサは、前記ペットの画像から前記ペットの位置または姿勢を判断し、前記ペットの位置または姿勢に基づいて撮影ガイドのためのグラフィックまたはメッセージを前記ディスプレイを介して出力する。

【0012】

本発明によれば、前記電子装置は、前記電子装置の姿勢を測定するジャイロセンサ（ｇｙｒｏｓｃｏｐｅ ｓｅｎｓｏｒ）をさらに含む。前記プロセッサは、前記ジャイロセンサから前記電子装置の姿勢情報を取得し、前記姿勢情報に基づいて前記画像の反転方向を決定する。

【0013】

本発明によれば、前記電子装置は、前記電子装置の周辺の照度を測定する照度センサをさらに含む。前記プロセッサは、前記照度センサから前記電子装置の周辺の照度情報を取得し、前記照度情報に基づいて前記前面カメラの露出（ｅｘｐｏｓｕｒｅ）を制御する。

【0014】

本発明によれば、前記電子装置は、前記ディスプレイの表示方向とは反対方向の画像を撮影する背面カメラをさらに含む。前記プロセッサは、前記前面カメラの属性情報を確認し、前記前面カメラの属性情報に基づいて前記前面カメラの活性化可否を判断する。

【0015】

本発明によれば、前記前面カメラの属性情報は、マニュアルフォーカス支援の有無、撮影フォーマット、および撮影サイズを含む。

【0016】

本発明によれば、前記プロセッサは、前記前面カメラの属性情報、および前記前面カメラの活性化可否を前記ディスプレイを介して出力する。

【0017】

本発明によれば、前記プロセッサは、前記前面カメラの活性化が不可能である場合、前記背面カメラを活性化させる。

【0018】

本発明によれば、前記プロセッサは、前記前面カメラが活性化可能である場合、前記前面カメラと前記背面カメラのうちのいずれかを選択するようにするインターフェースを前記ディスプレイを介して出力する。

【0019】

本発明によれば、前記プロセッサは、前記特徴オブジェクトの画像に対する品質を評価し、品質条件を満たす前記特徴オブジェクトの画像を通信モジュールを介してサーバに伝送する。前記品質評価条件は、前記特徴オブジェクトの画像を撮影したカメラが前記前面カメラであるか前記背面カメラであるかによって異なるように設定される。

【0020】

本発明によるペットの生体情報を取得する電子装置の動作方法は、前面カメラを介して前記ペットの画像を撮影するステップと、ディスプレイを介して前記画像を出力するステップと、前記画像から特徴オブジェクトを抽出するステップと、前記特徴オブジェクトの画像をメモリに記憶するステップと、を含む。前記前面カメラは、前記ディスプレイの表示方向に向けて画像を撮影する。

【発明の効果】

【0021】

本発明によれば、ペットを撮影するにあたり、ディスプレイの表示方向に向けて画像を撮影する前面カメラを介してペットの画像を撮影することにより、ユーザが撮影中のペットの画像をリアルタイムで確認することができ、より識別または学習に適したペットの生体情報を取得することができる。

【0022】

本発明の効果は、上述したものに限定されず、上述していない他の効果は、以降の記載から当業者に明確に理解できるであろう。

【図面の簡単な説明】

【0023】

【図1】前面カメラがディスプレイ領域の内部に取り付けられた電子装置の例を示す。

【図2】前面カメラがディスプレイ領域の外部に取り付けられた電子装置の例を示す。

【図3】本発明による電子装置の構成を説明するためのブロック図である。

【図4】ペットの生体情報を取得する電子装置と生体情報を処理するサーバを示す。

【図5】本発明によるペットの生体情報を取得するための電子装置の動作方法を示すフローチャートである。

【図6】前面カメラを用いてペットの生体情報を取得する方法を説明するための図である。

【図7】ペットの生体認識のための特徴オブジェクトの位置にグラフィックがオーバーラップして表示される場合を示す。

【図8】ペットの画像における撮影状態を示すグラフィックまたはメッセージを出力する過程を示すフローチャートである。

【図9】ペットの画像における撮影状態を示すグラフィックの例を示す。

【図10】ディスプレイに付着した付着物を用いて前面カメラの焦点を制御する過程を示すフローチャートである。

【図11】ディスプレイに付着した付着物の例を示す。

【図12】撮影ガイドのためのグラフィックまたはメッセージを出力する過程を示すフローチャートである。

【図13】ペットの位置による撮影ガイドのためのグラフィックおよびメッセージの例を示す。

【図14】ペットの姿勢による撮影ガイドのためのグラフィックおよびメッセージの例を示す。

【図15】電子装置の姿勢情報に基づいて反転方向を決定する過程を示すフローチャートである。

【図16】電子装置の姿勢に応じて画像を反転させる過程を示す。

【図17】電子装置の姿勢に応じて画像を反転させる過程を示す。

【図18】カメラの露出を制御する過程を示すフローチャートである。

【図19】照度センサが備えられ電子装置を示す。

【図20】前面カメラまたは背面カメラを活性化する過程を示すフローチャートである。

【図21】前面カメラまたは背面カメラを選択するようにするインターフェースの例を示す。

【図22】品質評価および画像伝送過程を含む電子装置の動作方法を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、添付図面を参照して、本発明の実施形態について、本発明の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。本発明は、種々の異なる形態で実現でき、ここで説明する実施形態に限定されない。

【0025】

本発明を明確に説明するために、説明と関係のない部分は省略し、明細書全体にわたり、同一または類似の構成要素に対しては同一の参照符号を付す。

【0026】

また、幾つかの実施形態において、同一の構成を有する構成要素については、同一の符号を用いて代表的な実施形態でのみ説明し、それ以外の他の実施形態では、代表的な実施形態とは異なる構成についてのみ説明する。

【0027】

明細書全体において、ある部分が他の部分と「連結（または結合）」されているとするとき、これは、「直接的に連結（または結合）」されている場合だけでなく、別の部材を挟んで「間接的に連結（または結合）」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、これは、特に反対の記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことができることを意味する。

【0028】

他に定義されない限り、技術的または科学的用語を含んでここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般に理解されるのと同じ意味を持っている。一般的に使用される辞書に定義されている用語は、関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本出願において明確に定義しない限り、理想的または過度に形式的な意味で解釈されない。

【0029】

本発明は、ペットの生体情報を取得するための電子装置１および電子装置１の動作方法を提供しようとする。ペットの生体情報は、ペットの身元確認のために取得される。ペットの生体情報は、虹彩、顔面形状、身体形状、鼻のシワの形状（鼻紋）を含むことができる。本文書では、ペットの生体情報として子イヌの鼻紋を撮影する内容を中心に説明するが、本発明において、ペットの範囲は子イヌに限定されず、また、識別情報として使用される特徴としては、鼻紋に限定されず、様々なペットの身体的特徴が使用できる。

【0030】

本発明によれば、電子装置１は、前面カメラ３１を用いてペットを撮影し、撮影された画像からペットの生体情報を取得する。前面カメラ３１は、電子装置１のディスプレイ２０が向ける方向を意味する。電子装置１は、スマートフォンやタブレットなどのモバイル機器であってもよい。また、電子装置１は、コンピューティング装置（例えば、ラップトップコンピュータ、デスクトップコンピュータ）に該当することもできる。折り畳み式携帯電話のように折り畳むタイプのモバイル機器の場合、折り畳む前および折り畳んだ後のそれぞれに対して前面カメラ３１が存在することができる。本発明による電子装置１において、前面カメラ３１は、ディスプレイ２０の内部に備えられてもよく、外部に備えられてもよい。

【0031】

図１は、前面カメラ３１がディスプレイ領域の内部に取り付けられた電子装置１の例を示す。図１の（ａ）は、前面カメラ３１がディスプレイ領域の内部に取り付けられた電子装置１の前方Ｆを示し、図１の（ｂ）は、電子装置１の後方Ｒを示す。電子装置１の外観は、フレーム１０、ディスプレイ２０、前面カメラ３１、および背面カメラ３２から構成できる。図１において、前面カメラ３１は、ディスプレイ２０の画面領域の内部に構成できる。前面カメラ３１および背面カメラ３２は、それぞれ複数のカメラから構成されてもよい。一方、図２に示すように、前面カメラ３１がディスプレイ領域の外側に取り付けられてもよい。

【0032】

図３を参照すると、本発明による電子装置１は、ディスプレイ２０、前面カメラ３１、プロセッサ４０およびメモリ５０を含む。選択的に、電子装置１は背面カメラ３２をさらに含んでもよい。選択的に、電子装置１は、ジャイロセンサ７１、タッチセンサ７２または照度センサ７３をさらに含んでもよい。選択的に、電子装置１は、通信モジュール６０、スピーカ８１またはマイク８２をさらに含んでもよい。

【0033】

ディスプレイ２０は、視覚情報を出力する装置である。ディスプレイ２０はパネルおよび制御回路を含むことができる。パネルにはタッチセンサ７２が備えられてもよい。特に、ディスプレイ２０は、撮影中のペットの画像（プレビュー画像、キャプチャされたフレーム）を出力することができる。また、ディスプレイ２０は、ペットの生体情報を取得する過程でユーザに情報を提供するインターフェースを出力することができる。

【0034】

カメラ（前面カメラ３１または背面カメラ３２）は、画像（静止画または動画）を撮影する装置である。カメラは、１つ以上のイメージセンサ、レンズ、カメラコントローラ、画像処理プロセッサおよびフラッシュを含むことができる。カメラは、ペットの生体情報を取得するための画像を撮影することができる。ペットの生体情報を取得するための特徴オブジェクトが適切に識別できるように、カメラの特性（例えば、焦点、露出）が制御できる。前面カメラ３１は、図１に示すように、ディスプレイ２０の表示方向に向けて画像を撮影するカメラであり、背面カメラ３２は、図２に示すように、ディスプレイ２０の表示方向とは反対方向に向けて画像を撮影するカメラである。カメラは、電子装置１に内蔵されたカメラだけでなく、電子装置１に有線または無線で結合された外付けカメラも含んでもよい。

【0035】

プロセッサ４０は、電子装置１の動作を行うための演算およびデータ処理、そして電子装置１の各モジュールを制御することができる。プロセッサ４０は、メモリ５０に記憶された１つ以上のソフトウェアプログラムを実行することができる。プロセッサ４０は、電子装置１の全般的な動作を管理するオペレーティングシステムを実行する汎用プロセッサ（例えば、ＣＰＵ）を含むことができる。また、プロセッサ４０は、特定の演算処理のための専用プロセッサ（例えば、ＧＰＵ、ＮＰＵ）を含むことができる。プロセッサ４０は、１つまたはそれ以上のプロセッシング回路を含むことができる。プロセッサ４０は、ペットの生体情報を取得するためのデータ処理および制御動作を行うことができる。

【0036】

メモリ５０は、電子装置１の動作のためのオペレーティングシステム、アプリケーションなどのプログラム、およびプログラムの実行過程で使用されるデータを記憶することができる。メモリ５０は、揮発性メモリ（例えば、ＤＲＡＭ）および不揮発性メモリ（例えば、フラッシュメモリ）を含むことができる。メモリ５０は、ペットの生体情報を取得するための画像を記憶することができる。

【0037】

通信モジュール６０は、電子装置１と外部オブジェクト（例えば、サーバ、基地局、ＩｏＴ機器、モバイル機器）と通信することができる環境を提供する。通信モジュール６０は、アンテナ、ＲＦ回路および通信プロセッサを含むことができる。通信モジュール６０は、外部オブジェクトから受信されたデータをプロセッサ４０に提供することができる。通信モジュール６０は、プロセッサ４０から提供されたデータを変換して外部オブジェクトへ伝送することができる。通信モジュール６０は、プロセッサ４０から提供されたペットの生体認識のための画像データを受信し、画像データをサーバ２へ伝送することができる。図４に示すように、電子装置１はサーバ２と通信することができる。電子装置１は、ペットの生体情報を取得し、取得した生体情報をサーバ２へ伝送することができる。サーバ２は、生体情報をデータベースに格納することができる。サーバ２は、生体情報からペットの学習または識別のためのデータ処理を行うことができる。サーバ２は、生体情報からペットの識別情報を生成し、ペットの識別情報を電子装置１へ伝送することができる。

【0038】

すなわち、本発明によるペットの生体情報を取得する電子装置１は、ディスプレイ２０と、ディスプレイ２０の表示方向に向けて画像を撮影する前面カメラ３１と、ディスプレイ２０および前面カメラ３１と機能的に結合されたプロセッサ４０と、プロセッサ４０と機能的に結合されたメモリ５０と、を含む。ペットの生体情報を取得するために、プロセッサ４０は、前面カメラ３１を介してペットの画像を撮影し、ペットの画像をディスプレイ２０を介して出力し、ペットの画像から特徴オブジェクトを抽出し、特徴オブジェクトの画像をメモリ５０に記憶する。

【0039】

図５は、本発明によるペットの生体情報を取得するための電子装置１の動作方法を示すフローチャートである。以下、本発明によるペットの生体情報を取得するための電子装置１の動作方法は、プロセッサ４０によって行われることができる。本発明によるペットの生体情報を取得するための電子装置１の動作方法は、前面カメラ３１を介してペットの画像を撮影するステップ（Ｓ５１０）と、ディスプレイ２０を介して画像を出力するステップ（Ｓ５２０）と、画像から特徴オブジェクトを抽出するステップ（Ｓ５３０）と、特徴オブジェクトの画像をメモリ５０に記憶するステップ（Ｓ５４０）と、を含む。前面カメラ３１は、ディスプレイ２０の表示方向に向けて画像を撮影する。ここで、前面カメラ３１の撮影方向は、ディスプレイ２０の表示方向と同じ方向に該当することもでき、実質的に同じ範囲以内の方向（０度から９０度以内の方向）に該当することもできる。

【0040】

前面カメラ３１を用いてペットの生体情報を取得する過程は、図６に示すように、ユーザＨＭが電子装置１を把持した状態でペットＰＴを撮影することにより行われることができる。背面カメラ３２を用いる場合に比べて、前面カメラ３１を用いてペットＰＴの生体情報取得のための撮影を行うと、様々な利点がある。一般に、子犬のようなペットは、撮影を認識しないので、カメラを凝視せずに他の方向を見る。また、ほとんどのペットは、じっとしておらず、首を動かし続ける習性があるため、生体認識に適した形態の正面写真が撮影され難い。さらに、ほとんどのユーザは、撮影に熟練していないため、動物の生体認識に適した形態の画像を撮影することが難しい。

【0041】

一方、図６のように前面カメラ３１を用いてペットを撮影すると、ユーザが現在撮影中のペットの画像をリアルタイムで確認することができるため、よりペットの生体認識に適した形態の画像を取得することができる。また、ユーザは、ペットを抱えた状態で撮影することができ、ユーザとペットがより楽な状態で撮影が行われるので、より生体認識に適した形態の画像を取得することができる。

【0042】

ステップＳ５１０で、前面カメラ３１は、電子装置１の前方（ディスプレイ２０の表示方向）に向けて画像を撮影する。ペットの生体情報を取得するために、前面カメラ３１は、ペットの顔を撮影することができる。前面カメラ３１の撮影に先立ち、プロセッサ４０は、前面カメラ３１を活性化するか否かを決定することができる。すなわち、プロセッサ４０は、前面カメラ３１を用いてペットの生体情報を取得するための画像を撮影するか否かを決定することができる。前面カメラ３１を活性化するか否かを判断する過程は、図２０を参照して説明される。また、前面カメラ３１の撮影に先立ち、ペットの生体認識のためのアプリケーションプログラムが実行できる。

【0043】

ステップＳ５２０で、ディスプレイ２０を介してペットの画像が出力される。図７に示すように、プロセッサ４０は、ディスプレイ２０を介して、前面カメラ３１を介して撮影されたペットの画像（プレビュー画像）を出力することができる。このとき、ペットの生体認識のためのアプリケーションプログラムのユーザインターフェースが一緒に出力できる。ディスプレイ２０を介してペットの画像を出力することにより、ユーザは、現在のペットの撮影状態を確認することができる。

【0044】

ステップＳ５３０で、プロセッサ４０は、ペットの画像から特徴オブジェクトを抽出する。特徴オブジェクトは、ペットの生体認識のために個体ごとに異なる特徴を有するオブジェクトを指す。例えば、特徴オブジェクトは、顔の形状、鼻のしわの形状、虹彩を含むことができる。本文書は、鼻のしわの形状（鼻紋）を特徴オブジェクトとして子イヌの鼻の画像を取得する過程を例として説明する。プロセッサ４０は、学習データおよびオブジェクト検出アルゴリズムを用いて動物の特徴オブジェクトを抽出することができる。実施形態によって、プロセッサ４０は、ペットの顔領域を先ず検出し、顔領域内で鼻領域を検出することができる。プロセッサ４０は、撮影されたペットの画像フレームごとに特徴オブジェクトを抽出することができる。また、プロセッサ４０は、Ｎ番目のフレーム（Ｎは、２以上の自然数）ごとに特徴オブジェクトを抽出することもできる。例えば、図７に示すように、子イヌの鼻領域１００が特徴オブジェクトとして検出できる。

【0045】

ステップＳ５４０で、プロセッサ４０は、抽出された特徴オブジェクトの画像をメモリ５０に記憶する。プロセッサ４０は、特徴オブジェクトの画像に関連情報を一緒に記憶することができる。関連情報は、ユーザ情報、撮影時刻、カメラ情報、照度情報を含むことができる。プロセッサ４０は、特徴オブジェクトの画像の品質を評価することができる。すなわち、電子装置１の動作方法は、特徴オブジェクトの画像に対する品質評価を行うステップをさらに含むことができる。プロセッサ４０は、品質評価のための条件を定義し、画像が品質条件を満たすか否かを決定することにより、当該特徴オブジェクトの画像が生体認識に適した画像であるか否かを判断することができる。品質評価条件は、鮮明度、明るさ、大きさを含むことができる。実施形態によって、プロセッサ４０は、特徴オブジェクトの画像がペットの正面写真であるか否かを判断することができる。プロセッサ４０は、品質条件を満たす特徴オブジェクトの画像を通信モジュール６０を介してサーバ２に伝送することができる。すなわち、電子装置１の動作方法は、特徴オブジェクトの画像品質が基準を満たす場合、特徴オブジェクトの画像をサーバ２へ伝送するステップをさらに含むことができる。また、プロセッサ４０は、特徴オブジェクトの画像を生体認識に適した形態に変換する画像処理を行うことができる。

【0046】

その後、サーバ２が特徴オブジェクトの画像に対する処理、学習、または生体認識を行うことができる。サーバ２は、特徴オブジェクトの画像から特徴値を抽出することができる。ペットの登録手順の場合、サーバ２は、特徴オブジェクトの画像と特徴値、そして当該ペットの身元情報をデータベースに格納することができる。ペットの識別手順の場合、サーバ２は、抽出された特徴値にマッチングする（類似する）ペットを検索し、ペットの識別情報を電子装置１へ伝送することができる。

【0047】

本発明によれば、プロセッサ４０は、ペットの画像における特徴オブジェクトの位置にグラフィックまたはメッセージをオーバーラップさせ、グラフィックまたはメッセージがオーバーラップしたペットの画像をディスプレイ２０を介して出力する。グラフィックまたはメッセージは、特徴オブジェクトの撮影状態を示す。図８を参照すると、ペットの画像を出力するステップ（Ｓ５２０）は、ペットの画像における特徴オブジェクトの位置にグラフィックまたはメッセージをオーバーラップさせるステップ（Ｓ７１０）と、グラフィックまたはメッセージがオーバーラップしたペットの画像ディスプレイ２０を介して出力するステップ（Ｓ７２０）と、を含む。ペットの生体認識のための特徴オブジェクトの位置および当該特徴オブジェクトの撮影状態をグラフィックまたはメッセージで出力することにより、ユーザは、動物の生体認識のための撮影が適切に行われているか否かを判断することができる。例えば、図９に示すように、プロセッサ４０は、ペットの特徴オブジェクトの位置にグラフィック１５０を標識物２００としてオーバーラップさせて表示することができる。グラフィック１５０は、ペットの撮影状態を示すアイコンであり得る。特徴オブジェクトの品質評価結果に応じて、グラフィック１５０の形状または色が異なるように表示できる。また、プロセッサ４０は、ペットの撮影状態に対する情報を示すメッセージ１７０を出力することができる。

【0048】

本発明によれば、電子装置１は、ディスプレイ２０の表示領域２０Ａに備えられるタッチセンサ７２をさらに含む。プロセッサ４０は、タッチセンサ７２からディスプレイ２０に接触した接触物２１０の位置を取得し、接触物２１０の位置に焦点が設定されるように前面カメラ３１を制御することができる。接触物は、例えば、手や電子ペンなどであり得る。図１０に示すように、ペットの画像を撮影するステップ（Ｓ５１０）は、タッチセンサ７２からディスプレイ２０に接触した接触物２１０または付着物２２０の位置を取得するステップ（Ｓ１０１０）と、接触物２１０または付着物２２０の位置に焦点が設定されるように前面カメラ３１を制御するステップ（Ｓ１０２０）と、を含む。図１１に示すように、電子装置１のディスプレイ２０の表示領域２０Ａに付着物２２０が付着できる。付着物２２０は、ディスプレイ２０の表面に物理的に付着できる。標識物２００および付着物２２０は、ユーザをして、撮影中のペットの特徴オブジェクトが特定の領域に位置するように誘導する物体である。物理的な付着物２２０だけでなく、ディスプレイ２０に表示されるアイコン形態のガイドが標識物２００として使用されることもできる。付着物２２０の位置Ｘ１、Ｙ２がタッチセンサ７２によって検出され、プロセッサ４０は、検出された位置Ｘ１、Ｙ１に前面カメラ３１の焦点が設定されるように制御することができる。プロセッサ４０が画像における特徴オブジェクトの位置を判別すると、ディスプレイに表示されるアイコン形態の標識物２００は、検出されたオブジェクトの位置を追跡移動し、特徴オブジェクトにオーバーラップして表示され得る。この場合、プロセッサ４０は、標識物２００の位置に前面カメラ３１の焦点が設定されるように制御することができる。

【0049】

一実施形態として、ディスプレイ２０が一部の光を反射するように構成され、鏡のように機能することもできる。動物の形状がディスプレイ２０で反射されることにより、ユーザは、ペットの状態を確認しながら前面カメラ３１を用いて生体認識のための撮影を行うことができる。

【0050】

本発明によれば、プロセッサ４０は、ペットの画像からペットの位置または姿勢を判断し、ペットの位置または姿勢に基づいて撮影ガイドのためのグラフィックまたはメッセージをディスプレイ２０を介して出力する。図１２を参照すると、ディスプレイ２０を介して画像を出力するステップ（Ｓ５２０）は、ペットの画像からペットの位置または姿勢を判断するステップ（Ｓ１２１０）と、ペットの位置または姿勢に基づいて撮影ガイドのためのグラフィックまたはメッセージをディスプレイ２０を介して出力するステップ（Ｓ１２２０）と、を含む。図１３を参照すると、撮影中のペットの位置が偏っており、特徴オブジェクトの検出が不可能である場合、プロセッサ４０は、ユーザがペットの位置に電子装置１を回転または移動させるようにするガイドグラフィック３１０を出力することができる。また、図１３に示すように、ユーザが電子装置１をペットの位置に回転または移動させるようにするメッセージ３２０を出力することができる。

【0051】

図１４に示すように、ペットが首を回して前面写真が取得できない場合、プロセッサ４０は、ユーザをして、ペットの前面写真が取得できるように誘導するガイドグラフィック３３０またはガイドメッセージ３４０を出力することができる。プロセッサ４０は、ペットの顔の回転方向を検出することができる。プロセッサ４０は、ペットの顔の回転方向とは反対方向に首を回すように誘導するガイドグラフィック３３０またはガイドメッセージ３４０を出力することができる。

【0052】

本発明によれば、電子装置１は、電子装置１の姿勢を測定するジャイロセンサ７１をさらに含む。プロセッサ４０は、ジャイロセンサ７１から電子装置１の姿勢情報を取得し、姿勢情報に基づいて画像の反転方向を決定することができる。図１５を参照すると、ディスプレイ２０を介して画像を出力するステップ（Ｓ５２０）は、ジャイロセンサ７１から電子装置１の姿勢情報を取得するステップ（Ｓ１５１０）と、姿勢情報に基づいて画像の反転方向を決定するステップ（Ｓ１５２０）と、を含む。前面カメラ３１を介して撮影する場合、ユーザの認識の便宜のために撮影された画像を反転させてディスプレイ２０に出力することが好ましい。プロセッサ４０は、前面カメラ３１で撮影された画像を垂直軸（Ｙ軸）または水平軸（Ｘ軸）に対して反転させ、反転した画像をディスプレイ２０を介して出力することができる。ジャイロセンサ７１を使用しない場合、プロセッサ４０は、撮影された画像からペットの撮影方向を判断し、撮影方向に応じて反転方向を決定することもできる。また、ユーザによって入力されたた撮影方向に応じて反転方向が決定されることもできる。

【0053】

例えば、図１６に示すように、電子装置１が立てられた状態（縦モード）でペットを撮影する場合、プロセッサ４０は、垂直軸ＹＡに対して画像を反転させ、反転した画像をディスプレイ２０に出力することができる。図１７に示すように、電子装置１が横になった状態（横モード）でペットを撮影する場合、プロセッサ４０は、水平軸ＸＡに対して画像を反転させ、反転した画像をディスプレイ２０に出力することができる。

【0054】

本発明によれば、電子装置１は、周辺の照度を測定する照度センサ７３をさらに含む。プロセッサ４０は、照度センサ７３から電子装置１の周辺の照度情報を取得し、照度情報に基づいて前面カメラ３１の露出（ｅｘｐｏｓｕｒｅ）を制御する。図１８を参照すると、ペットの画像を撮影するステップ（Ｓ５１０）は、照度センサ７３から電子装置１の周辺の照度情報を取得するステップ（Ｓ１８１０）と、照度情報に基づいて前面カメラ３１の露出を制御するステップ（Ｓ１８２０）と、を含む。照度センサ７３は、図１９に示すように、電子装置１の前面に備えられることができる。照度センサ７３は、ディスプレイ２０、前面カメラ３１に隣接して設置されるので、前面カメラ３１を介してペットの画像を撮影するとき、プロセッサ４０は、照度センサ７３によって測定された照度情報を用いて前面カメラ３１の露出量を制御することができる。

【0055】

一方、本発明によれば、電子装置１の前面カメラ３１を用いてペットの生体認識のための撮影を行う前に、前面カメラ３１の活性化可否を判断する過程が行われることができる。電子装置１の前面カメラ３１は、背面カメラ３２に比べて低下した機能を有する場合が多い。したがって、前面カメラ３１を用いてペットを撮影するとき、生体認識に適していない画像が取得される可能性がある。よって、プロセッサ４０は、事前に前面カメラ３１がペットの生体認識に適したカメラであるか否かをまず判断し、前面カメラ３１が適すると判断される場合、前面カメラ３１を活性化させ、ペットを撮影することができる。前面カメラ３１を活性化するか否かを判断する過程は、ペットの生体認識のためのアプリケーションプログラムが実行されるときに行われることができる。背面カメラ３２は、前面カメラ３１とは反対方向の画像を撮影するカメラである。

【0056】

プロセッサ４０は、まず、電子装置１のメモリ５０に記憶されたカメラ管理プログラムを実行し、カメラ管理プログラムを介して、電子装置１に内蔵された或いは付着したカメラのリスト（カメラＩＤリスト）を確認する。抽出されたカメラの中に前面カメラ３１が存在する場合、プロセッサ４０は、前面カメラ３１を介して画像を撮影するか否かを決定することができる。

【0057】

本発明によれば、プロセッサ４０は、前面カメラ３１の属性情報を確認し、前面カメラの属性情報に基づいて、前面カメラ３１の活性化可否を判断する。前面カメラ３１の属性情報は、マニュアルフォーカス（ｍａｎｕａｌ ｆｏｃｕｓ）支援、撮影フォーマット、撮影サイズ、ハードウェアレベル情報を含むことができる。前面カメラ３１の属性情報は、カメラ管理プログラムのデータとして保存できる。例えば、プロセッサ４０は、前面カメラ３１がマニュアルフォーカスを支援するカメラであり、撮影フォーマットと撮影サイズが所定の条件を満たし、カメラのハードウェアレベルが基準レベルを満たす場合、前面カメラ３１がペットの生体情報の取得に使用できるカメラであると決定することができる。

【0058】

プロセッサ４０は、前面カメラ３１の属性情報および前面カメラ３１の活性化可否をディスプレイ２０を介して出力することができる。前面カメラ３１の属性情報および前面カメラ３１の活性化可否を表示することにより、ユーザがペットの生体情報取得のために前面カメラ３１を使用することができるか否かを確認することができる。

【0059】

前面カメラが活性化可能でない場合、プロセッサ４０は、背面カメラ３２を活性化させることができる。すなわち、プロセッサ４０は、前面カメラ３１を活性化せずに背面カメラ３２を用いてペットの生体認識のための撮影を行うことができる。

【0060】

プロセッサ４０は、前面カメラ３１が活性化可能である場合、前面カメラ３１と背面カメラ３２のうちのいずれかを選択するようにするためのインターフェースを出力することができる。例えば、前面カメラが活性化可能である場合、プロセッサ４０は、ユーザがカメラを選択するようにするインターフェースを出力することができる。例えば、基本的に背面カメラ３２を活性化してプレビュー画像を表示しながら、図２１に示すようにアプリケーション画面の右下端にカメラを切り替えることができるアイコン４００を出力することができる。アイコン４００に対するタッチ入力がタッチセンサ７２によって検出される場合、プロセッサ４０は、前面カメラ３１を活性化して、前面カメラ３１によって撮影される画像をプレビュー画像としてディスプレイ２０に表示することができる。前面カメラ３１の撮影中に再びアイコン４００に対するタッチ入力が検出されると、プロセッサ４０は、再び背面カメラ３２によって撮影される画像をプレビュー画像としてディスプレイ２０に出力することができる。他の例として、撮影を開始する前に、ユーザが前面カメラ３１または背面カメラ３２のうちのいずれかを選択するようにするリストを出力することができる。

【0061】

前面カメラ３１が選択される場合、プロセッサ４０は、前面カメラ３１を活性化してペットの生体認識のための画像を取得する。背面カメラ３２が選択される場合、プロセッサ４０は、背面カメラ３２を活性化してペットの生体認識のための画像を取得する。

【0062】

すなわち、本発明による電子装置１の動作方法は、前面カメラ３１を活性化するか否かを判断するステップを含む。図２０に示すように、前面カメラ３１を活性化するか否かを判断するステップは、前面カメラ３１の属性情報を確認するステップ（Ｓ２００５）と、前面カメラ３１の属性情報とに基づいて、前面カメラ３１の活性化可否を判断するステップ（Ｓ２０１０）と、を含む。前面カメラ３１の属性情報および活性化可否をディスプレイ２０を介して出力するステップ（Ｓ２０４０）が実行できる。前面カメラ３１の活性化が可能である場合、前面カメラ３１と背面カメラ３２のうちのいずれかを選択するようにするインターフェースを出力するステップ（Ｓ２０１５）が実行できる。インターフェースを介して前面カメラ３１が選択されるか否かを判断するステップ（Ｓ２０２０）と、前面カメラ３１が選択された場合、前面カメラ３１を活性化するステップ（Ｓ２０２５）と、前面カメラ３１が選択されていない場合、背面カメラ３２を活性化するステップ（Ｓ２０３０）とが実行される。その後、選択されたカメラを介してペットの生体認識のための画像を撮影する過程が実行できる。

【0063】

一方、前面カメラ３１または背面カメラ３２を介してペットの生体認識のための特徴オブジェクトの画像が取得された後、当該特徴オブジェクトの画像がペットの学習または識別に適したか否かを判断する品質評価が行われることができる。本発明によれば、プロセッサ４０は、特徴オブジェクトの画像に対する品質を評価することができる。特徴オブジェクトの画像の品質を評価するために定義される条件は、鮮明度、明るさ、サイズを含むことができる。品質評価条件は、特徴オブジェクトの画像を撮影したカメラが前面カメラ３１であるか背面カメラ３２であるかによって異なり得る。例えば、特徴オブジェクトの画像の大きさを介して画像品質を判断するとき、前面カメラ３１で撮影された画像の大きさ条件は、背面カメラ３２よりも大きく設定できる。一般に、前面カメラ３１は、背面カメラ３２に比べて低い性能のカメラで構成される。例えば、前面カメラ３１は、背面カメラ３２に比べて全体的な画質が低下し、手ブレ防止機能であるＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）機能を支援しないことがある。したがって、前面カメラ３１を介して画像を撮影したとき、より高いレベルの品質条件で特徴オブジェクトの画像の品質評価が行われることができる。これにより、前面カメラ３１を介して撮影された場合でも、特徴オブジェクトの画像を介してペットの生体認識が円滑に行われるようにすることができる。

【0064】

図２２に示すように、電子装置１の動作方法は、前面カメラ３１を介してペットの画像を撮影するステップ（Ｓ２２１０）と、ディスプレイ２０を介して画像を出力するステップ（Ｓ２２２０）と、画像から特徴オブジェクトを抽出するステップ（Ｓ２２３０）と、特徴オブジェクトの画像をメモリ５０に記憶するステップ（Ｓ２２４０）と、特徴オブジェクトの画像に対する品質を評価するステップ（Ｓ２２５０）と、品質条件を満たす特徴オブジェクトの画像を通信モジュール６０を介してサーバ２に伝送するステップ（Ｓ２２６０）と、を含む。品質評価条件は、特徴オブジェクトの画像を撮影したカメラが前面カメラ３１であるか背面カメラ３２であるかによって異なるように設定される。

【0065】

電子装置１のプロセッサ４０は、サーバ２に特徴オブジェクトの画像を伝送するとき、画像データと共に関連情報として、当該画像を撮影したカメラ情報を伝送することができる。サーバ２は、カメラ情報を介してどのカメラで撮影されたかを知ることができる。サーバ２は、カメラ情報に基づいて特徴オブジェクトの処理方法を決定することができる。すなわち、サーバ２は、画像を撮影したカメラが前面カメラ３１であるか背面カメラ３２であるかによって異なるように画像を処理することができる。

【0066】

本実施形態および本明細書に添付された図面は、本発明に含まれる技術思想の一部を明確に示しているものに過ぎず、本発明の明細書および図面に含まれた技術思想の範囲内で当業者が容易に類推することができる変形例および具体的な実施形態はいずれも本発明の権利範囲に含まれることが自明であるといえる。

【0067】

したがって、本発明の思想は、説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等または等価的な変形があるものはいずれも本発明の思想の範疇に属するというべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【国際調査報告】