(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023125869
(43)【公開日】2023-09-07
(54)【発明の名称】個体識別システム及び個体識別方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230831BHJP
A01K 29/00 20060101ALI20230831BHJP
【FI】
G06T7/00 350C
A01K29/00 B
【審査請求】有
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2022030217
(22)【出願日】2022-02-28
(71)【出願人】
【識別番号】514235307
【氏名又は名称】アニコム ホールディングス株式会社
(74)【代理人】
【識別番号】100096714
【弁理士】
【氏名又は名称】本多 一郎
(74)【代理人】
【識別番号】100124121
【弁理士】
【氏名又は名称】杉本 由美子
(74)【代理人】
【識別番号】100176566
【弁理士】
【氏名又は名称】渡耒 巧
(74)【代理人】
【識別番号】100180253
【弁理士】
【氏名又は名称】大田黒 隆
(74)【代理人】
【識別番号】100169236
【弁理士】
【氏名又は名称】藤村 貴史
(72)【発明者】
【氏名】中沢 聡
(72)【発明者】
【氏名】真島 諒
(72)【発明者】
【氏名】小泉 亮人
(72)【発明者】
【氏名】カオ ティン
(72)【発明者】
【氏名】稲垣 亜奈
(72)【発明者】
【氏名】大越 美江
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096EA39
5L096FA32
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】簡易な方法で、動物の画像を用いて個体を識別する手段を備える動物の個体識別システムや個体識別方法を提供する。
【解決手段】動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える個体識別システム。
【選択図】
図1
【特許請求の範囲】
【請求項1】
動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、
動物の顔画像の入力を受け付ける受付手段と、
学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、
前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える個体識別システム。
【請求項2】
前記年齢の影響を受けやすい特徴量に対して、それ以外の特徴量の重みを増すようにして重みを調整することによって、年齢の影響を受けやすい特徴量の重み付けを小さくする請求項1記載の個体識別システム。
【請求項3】
前記年齢の影響を受けやすい特徴量が、画像から抽出される各特徴量の中で年齢の影響の受けやすさ順で上位10%以内に含まれる特徴量である請求項1又は2記載の個体識別システム。
【請求項4】
前記年齢の影響を受けやすい特徴量が、画像から抽出される各特徴量の中で年齢の影響の受けやすさ順で上位5%以内に含まれる特徴量である請求項1~3のいずれか一項記載の個体識別システム。
【請求項5】
前記年齢の影響の受けやすさが、動物の年齢を分類するために重要な特徴量を出力することのできる重要度判定用学習済みモデルによって出力されたものである請求項3又は4記載の個体識別システム。
【請求項6】
前記学習済みモデルが、ニューラルネットワークである請求項1~5のいずれか一項記載の個体識別システム。
【請求項7】
前記学習済みモデルが、畳み込みニューラルネットワークである請求項6記載の個体識別システム。
【請求項8】
前記特徴量抽出手段に含まれる学習済みモデルが、前記データベースに記憶される特徴量を抽出するのに用いられる学習済みモデルと同一の学習済みモデルである請求項1~7のいずれか一項記載の個体識別システム。
【請求項9】
前記データベースが記憶する特徴量が、同一個体を撮影した複数の画像から抽出された特徴量を平均化して得られる特徴量である請求項1~8のいずれか一項記載の個体識別システム。
【請求項10】
前記特徴量抽出手段が、同一個体を撮影した複数の画像から特徴量を抽出し、前記判定手段においてデータベースに記憶されている特徴量との比較に用いられる特徴量が、同一個体を撮影した複数の画像から抽出した特徴量を平均化して得られる特徴量である請求項1~9のいずれか一項記載の個体識別システム。
【請求項11】
動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、
入場又は退場しようとする動物の顔画像の入力を受け付ける受付手段と、
学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、
前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える入退場管理システム。
【請求項12】
前記データベースは、個体識別情報として、吠え傾向、攻撃性、活発性及び社交性からなる群から選ばれる一つ以上の性向を記憶する請求項11記載の入退場管理システム。
【請求項13】
入場又は退場しようとする動物が、所定の性向を有することがデータベースに記憶されている個体と同一の個体であると判定手段が判定した場合、アラートをするアラート手段をさらに有する請求項12記載の入退場管理システム。
【請求項14】
動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、
動物病院において診察を受けようとする動物の顔画像の入力を受け付ける受付手段と、
学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、
前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える診察管理システム。
【請求項15】
動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、
ペットサロンにおいてトリミング又はシャンプーを受けようとする動物の顔画像の入力を受け付ける受付手段と、
学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、
前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える受付管理システム。
【請求項16】
動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、
捜索対象となっている動物の候補となる動物の顔画像の入力を受け付ける受付手段と、
学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、
前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える捜索管理システム。
【請求項17】
動物の顔画像の入力を受け付けるステップと、
学習済みモデルを用いて、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出ステップと、
動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定ステップと、を備える個体識別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、個体識別システム及び個体識別方法に関し、詳しくは、動物の顔の画像から、動物の個体を識別するシステム及び方法に関する。
【背景技術】
【0002】
犬や猫、ウサギを始めとする愛玩動物、牛や豚を始めとする家畜は、人間にとってかけがえのない存在である。近年、愛玩動物いわゆるペットが人間と同じように扱われることが増えており、ペットの個体識別へのニーズが高まっている。
【0003】
例えば、ペット用のトリミングサロン、ペットが同伴できるペットカフェ、ドッグラン、ペットとともに宿泊できる宿泊施設など、ペットが利用できる店舗やサービスが身近になってきている。このようなペットが利用できる店舗やサービスを運営しようとする場合、ペットの個体ごとに料金を徴収したり、ペットの個体を登録し、過去のサービス提供履歴を参照しながらサービスを提供するというように、ペットの個体を識別し、判別することに対するニーズがある。
【0004】
また、ペットが行方不明になった場合、ペット捜索サービスに依頼することがあるが、行方不明になったペットを探す場合、飼い主から提供されたペットの写真を元に、ペットの捜索が行われるのが一般的であり、当該写真に映った個体と、捜索対象の動物であると疑われている個体との同一性判断が問題となることから、ペットの写真からの個体識別が求められる。
【0005】
また、ペット保険を提供する場合、保険がかけられているペットとそうではないペットとを識別する必要がある。例えば、ペット保険の保険証を契約者に提供し、契約者が当該保険証を動物病院の窓口で提示することで保険金の支払いを受けられるようにするためには、当該保険証に記載されているペットの個体が、実際に診療を受けたペットの個体と同一でなくてはならない。現状では、このようなペット保険を提供しようとする場合、ペット保険運営会社がペットの顔写真付きの保険証を契約者に発行し、契約者が、動物病院の受付において、当該保険証を提示し、動物病院が、保険証に掲載されているペットの写真と診察を受けたペットとを目視で比較し、個体の同一性を判断せざるを得ない。
【0006】
そこで、簡易な方法で、ペットの個体を識別できる手段が求められている。
【0007】
特許文献1には、ネットワークカメラと、そのカメラにより撮影した野生動物が、未だ捕獲設備の内部に現存するか否かを検知する現存検知センサーと、上記ネットワークカメラから受信した電子メールを閲覧できるスマートフォンやタブレット端末、パソコンなどのユーザー情報端末とを備え、捕獲設備の据付け現場から遠く離れた遠隔地に居る監視者が、上記ネットワークカメラから1回だけ又は1枚だけ受信した電子メールの静止画を閲覧しつつ、ネットワークカメラや捕獲設備を遠隔操作できる個体識別式の野生動物捕獲システムが開示されている。
【0008】
また、特許文献2には、ユーザ端末が撮影の際に撮影対象が振り向く周波数の音を出す撮影手段を有し、動物識別情報登録手段が、撮影手段により撮影された写真の写真データをユーザ端末から受信して、受信した写真データを動物識別情報として管理DBに登録し、通知手段が、写真の画像を比較して類似度を算出するマッチングにより特定された前記動物関連情報を前記ユーザ端末に通知する動物探索システムが開示されている。
【0009】
また、特許文献3には、複数のペットの個体識別を行うペットの個体識別システムであって、ペット画像から特徴量を抽出して、ペットの識別子と対応付けて保存し、個体識別を行う為にペットの別の画像を取得し、当該別の画像から特徴量を抽出して、保存されている特徴量と比較して、識別結果が正しくないと判断される場合にはユーザに訂正を促し、ユーザの訂正を取得した場合は前記識別結果を更新し、前記別の画像および別の画像から抽出された特徴量の少なくとも一方をペットの識別子に関連付けて登録するペットの個体識別システムが開示されている。
【0010】
しかしながら、特許文献1や2には、学習済みモデルを用いて、動物の画像から個体を識別する手段は開示されていない。また、特許文献3に記載された個体識別システムは、識別結果が正しくないと判断される場合にはユーザに訂正を促し、ユーザの訂正を取得した場合は前記識別結果を更新し、前記別の画像および別の画像から抽出された特徴量の少なくとも一方をペットの識別子に関連付けて登録するというものであり、ユーザからの識別結果の訂正を前提とするものである。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開2019-4703号公報
【特許文献2】特開2016-224640号公報
【特許文献3】特開2019-71895号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
そこで、本発明は、簡易な方法で、動物の画像を用いて個体を識別する手段を備える動物の個体識別システムや個体識別方法を提供することを目的とする。
【課題を解決するための手段】
【0013】
動物を対象とする健康保険、いわゆるペット保険を運営する保険会社には、膨大な数の動物の画像と、その動物の個体に関する情報が蓄積されており、本発明者らは、これらを用いて上記課題が解決できないかを検討してきた。その結果、動物の画像から学習済みモデルを用いて抽出した特徴量を比較することで、簡易に個体識別が可能となることを見出し、さらに、年齢の影響を受けやすい特徴量の重み付けを小さくすることで、より正確に個体識別が可能となり得ることを見出し、本発明を完成するに至った。
【0014】
すなわち、本発明は以下の[1]~[17]である。
[1]動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える個体識別システム。
[2]前記年齢の影響を受けやすい特徴量に対して、それ以外の特徴量の重みを増すようにして重みを調整することによって、年齢の影響を受けやすい特徴量の重み付けを小さくする[1]の個体識別システム。
[3]前記年齢の影響を受けやすい特徴量が、画像から抽出される各特徴量の中で年齢の影響の受けやすさ順で上位10%以内に含まれる特徴量である[1]又は[2]の個体識別システム。
[4]前記年齢の影響を受けやすい特徴量が、画像から抽出される各特徴量の中で年齢の影響の受けやすさ順で上位5%以内に含まれる特徴量である[1]~[3]のいずれかの個体識別システム。
[5]前記年齢の影響の受けやすさが、動物の年齢を分類するために重要な特徴量を出力することのできる重要度判定用学習済みモデルによって出力されたものである[3]又は[4]の個体識別システム。
[6]前記学習済みモデルが、ニューラルネットワークである[1]~[5]のいずれかの個体識別システム。
[7]前記学習済みモデルが、畳み込みニューラルネットワークである[6]の個体識別システム。
[8]前記特徴量抽出手段に含まれる学習済みモデルが、前記データベースに記憶される特徴量を抽出するのに用いられる学習済みモデルと同一の学習済みモデルである[1]~[7]のいずれかの個体識別システム。
[9]前記データベースが記憶する特徴量が、同一個体を撮影した複数の画像から抽出された特徴量を平均化して得られる特徴量である[1]~[8]のいずれかの個体識別システム。
[10]前記特徴量抽出手段が、同一個体を撮影した複数の画像から特徴量を抽出し、前記判定手段においてデータベースに記憶されている特徴量との比較に用いられる特徴量が、同一個体を撮影した複数の画像から抽出した特徴量を平均化して得られる特徴量である[1]~[9]のいずれかの個体識別システム。
[11]動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、入場又は退場しようとする動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える入退場管理システム。
[12]前記データベースは、個体識別情報として、吠え傾向、攻撃性、活発性及び社交性からなる群から選ばれる一つ以上の性向を記憶する[11]の入退場管理システム。
[13]入場又は退場しようとする動物が、所定の性向を有することがデータベースに記憶されている個体と同一の個体であると判定手段が判定した場合、アラートをするアラート手段をさらに有する[12]の入退場管理システム。
[14]動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、動物病院において診察を受けようとする動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える診察管理システム。
[15]動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、ペットサロンにおいてトリミング又はシャンプーを受けようとする動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える受付管理システム。
[16]動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、捜索対象となっている動物の候補となる動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える捜索管理システム。
[17]動物の顔画像の入力を受け付けるステップと、学習済みモデルを用いて、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出ステップと、動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定ステップと、を備える個体識別方法。
【発明の効果】
【0015】
本発明により、簡易な方法で、動物の画像を用いて個体を識別する手段を備える動物の個体識別システムや個体識別方法を提供することが可能となる。本発明の個体識別システム及び個体識別方法は、ドッグランやブリーダーの犬舎、運動場の出入りの際の個体識別、ホテル、病院、ペットサロンの受付時の個体識別、迷子の捜索の際の個体識別など様々な応用が可能である。
【図面の簡単な説明】
【0016】
【
図3】本発明の個体識別システムの一実施態様を表す構成概略図である。
【
図4】本発明の入退場管理システムの一実施態様を表す構成概略図である。
【
図5】本発明の入退場管理システムによる入退場管理の流れの一例を表すフローチャート図である。
【発明を実施するための形態】
【0017】
<個体識別システム>
本発明の個体識別システムは、動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える。
【0018】
[データベース]
本発明のデータベースは、動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶するものである。好ましくは、動物の顔画像から抽出された特徴量と当該顔画像に係る動物の個体の個体識別情報を紐付けて記憶、格納する。個体識別情報としては、例えば、当該動物の種、品種、性別、年齢、体重、体長が挙げられる。その他、各動物ごとにIDナンバーを付してもよい。さらに、当該動物の通院歴、手術歴、薬の投与歴といった健康に関する情報や、トリミング履歴、シャンプー履歴、爪切り履歴といったペットサロンの利用履歴に関する情報などを個体識別情報に付してもよい。また、個体識別情報として、吠え傾向、攻撃性、活発性及び社交性からなる群から選ばれる一つ以上の性向を記憶することもできる。データベースは、データベースサーバーの形で管理してもよく、クラウドサーバー上で管理してもよく、分散データベースとしてもよい。
【0019】
データベースが記憶する特徴量を抽出する学習済みモデルとしては、人工知能(AI)が好ましい。人工知能(AI)とは、人間の脳が行っている知的な作業をコンピュータで模倣したソフトウェアやシステムであり、具体的には、人間の使う自然言語を理解したり、論理的な推論を行ったり、経験から学習したりするコンピュータプログラムなどのことをいう。人工知能としては、汎用型、特化型のいずれであってもよく、ディープニューラルネットワーク、畳み込みニューラルネットワーク等のいずれであってもよく、公開されているソフトウェアを使用することができる。データベースに記憶される特徴量を抽出する学習済みモデルと、後述する特徴量抽出手段が含む学習済みモデルは、同一の学習済みモデルであることが好ましい。
【0020】
また、学習済みモデルを更新した場合に、データベースが記憶する特徴量が自動的に更新されることが好ましい。具体的には、学習済みモデルが更新された際に、データベースが記憶する特徴量の抽出に利用された画像を探索し、更新された学習済みモデルを用いて、当該画像から改めて特徴量の抽出を行うプログラムを有することが好ましい。なお、このプログラムをシステム稼働率の低い時間帯、例えば夜間に実行させることで、システムの負荷を抑制することができる。
【0021】
データベースに記憶される特徴量は、同一の個体を撮影した複数の画像からそれぞれ抽出された特徴量を平均化して得られたものであることが好ましい。特徴量を平均化することで、データベースに記憶される特徴量のブレを抑えることができる。ここでいうブレとは、画像撮影時点での瞬きや表情変化といった被写体の動きおよび光や焦点位置といった環境に依る動きをいう。このように特徴量を平均化することで、その個体の持つ固有の特徴をデータベースに記憶することが可能となり、判定精度を向上させることができる。また、データベースには平均化された特徴量のみを記憶させておけばよく、すべての画像の特徴量を記憶させておく必要はない。したがって、本発明によれば、データベースの負荷を軽減することもできる。
【0022】
本発明における平均化とは、複数の画像からそれぞれ抽出した特徴量から、代表的な特徴量を導き出す手法を指す。したがって、一般的な平均値である相加平均や相乗平均を計算する手法に加えて、中央値や最頻値を求める手法も本発明における平均化として扱う。
【0023】
また、それぞれの特徴量を平均化する際に外れ値を除外してから平均化してもよい。外れ値を除外することで判定精度を向上させることができる。なお、既知の方法で外れ値かどうかを検定できる。例えば、偏差を不偏標準偏差で割った検定統計量を求め、この値が有意点より大きいかどうかで検定する。
【0024】
また、それぞれの特徴量を平均化する際に画像の重要度に応じた重さを特徴量に乗じた加重平均をしてもよい。画像の重みづけを施すことで判定精度を向上させることができる。例えば、自然な表情かつ正面を向いた画像については重さを大きくし、瞬きをしている横を向いた画像については重さを小さくするといった操作を行う。
【0025】
なお、平均値として中央値や最頻値を用いる場合には、加重平均をすることはできないが、画像の重要性に応じて、カウント数を変更することによって判定精度を向上させることができる。例えば、新しくアップロードされた画像については、異なる2枚の画像として扱い、古い画像については1枚の画像として扱うといった操作を行う。
【0026】
[受付手段]
本発明の受付手段は、ヒトを除く動物の顔画像の入力を受け付ける手段である。画像としては静止画であっても、動画であってもよい。本明細書において「画像」といった場合、静止画と動画の双方を含む。動画の場合、顔画像とは、顔が写っている動画である。動画の中に顔が写っている場面が含まれていればよい。動画は連続した静止画の集合であり、静止画と同様の処理が可能である。動物としては、犬、猫、ウサギ、フェレット等の哺乳類、鳥類、爬虫類、愛玩動物が挙げられ、哺乳類が好ましく、犬及び猫がより好ましい。画像の受付方法は、スキャン、画像データの入力、送信、その場で撮影しての画像取り込み、リアルタイムで撮影された動画のアップロードなどいずれの方法であってもよい。顔画像のフォーマットは特に限定されないが、顔画像は、動物の顔を正面から撮影した写真であることが好ましく、
図1に表すような動物の顔が大きく写っている写真がより好ましい。そのような写真として、ヒトの運転免許証の写真のような写真が挙げられる。
図2のように、動物の健康保険証に用いられる画像も好ましい。また、入退場を管理したい区画の入り口に設置したカメラが、動物を撮影し、得られた静止画又は動画をサーバーにアップロードすることによりサーバの受付手段が画像を受け付けるという構成であれば、動物の入退場の際の個体識別が可能となる。
【0027】
画像は、白黒、グレースケール、カラーのいずれであってもよい。動物の顔全体が写っていない画像、画像編集ソフトウェアで形状が編集された画像、複数の動物が写っている画像、目や耳が判別出来ないほど顔が小さく写っている画像あるいは不鮮明な画像は好ましくない。画像については、ノーマライゼーションが施され、解像度等が統一されたものが好ましい。
【0028】
[特徴量抽出手段]
本発明の特徴量抽出手段は、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する手段である。学習済みモデルとしては、人工知能(AI)が好ましい。人工知能(AI)とは、人間の脳が行っている知的な作業をコンピュータで模倣したソフトウェアやシステムであり、具体的には、人間の使う自然言語を理解したり、論理的な推論を行ったり、経験から学習したりするコンピュータプログラムなどのことをいう。人工知能としては、汎用型、特化型のいずれであってもよく、ディープニューラルネットワーク、畳み込みニューラルネットワーク等のいずれであってもよく、公開されているソフトウェアを使用することができる。
【0029】
学習済みモデルを生成するために、人工知能を教師データを用いて学習させる。学習としては、機械学習とディープラーニング(深層学習)のいずれであってもよいが、ディープラーニングが好ましい。ディープラーニングは、機械学習を発展させたものであり、特徴量を自動的に見つけ出す点に特徴がある。
【0030】
学習済みモデルを生成するための学習方法としては、特に制限されず、公開されているソフトウェアを用いることができる。例えば、NVIDIAが公開しているDIGITS (the Deep Learning GPU Training System)を用いることができる。その他、例えば、「サポートベクターマシン入門」(共立出版)等において公開されている公知のサポートベクターマシン法(Support Vector Machine法)等によって学習させてもよい。学習用のデータセットとしては、ImageNetなど公開されているデータセットを用いることができる。
【0031】
学習のための教師データは、動物の顔画像とその動物の品種である。教師データとしての動物の顔画像は、上記受付方法で説明した顔画像と同様であっても異なっていてもよい。教師データとして用いる動物の顔画像としては、動物の眼、鼻、口、耳及び顔の輪郭を含む顔全体の画像を用いることが好ましい。
【0032】
学習済みモデルとしては、ニューラルネットワークが好ましく、畳み込みニューラルネットワークがさらに好ましい。学習済みモデルは、個体識別の対象となる動物種の画像を特に学習したものであることが好ましい。また、データベースに記憶される特徴量を抽出する学習済みモデルと、特徴量抽出手段が含む学習済みモデルは、同一の学習済みモデルであることが好ましい。同一の学習済みモデルを用いることで、学習済みモデルを通じて抽出される特徴量の数が同じになり、一致率(例えばコサイン類似度)の計算が容易になる。学習済みモデルの例としては、ImageNetを使って学習を行ったEfficientNetが挙げられる。また、公開されているニューラルネットワークを用いて、犬の顔画像から品種、年齢、個体識別といった分類や推定ができるように学習させ、犬の顔画像から特徴量を抽出できるような学習済みモデルが好ましい。
【0033】
[判定手段]
本発明の判定手段は、データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定するものである。そして、比較の際に、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較を行う。判定手段は、例えば、特徴量同士のコサイン類似度を計算し、その値が所定値以上になった場合に、同一の個体であるとの判定を行うソフトウェアを含む。コサイン類似度を計算する際には、データベースに登録されている特徴量の重心である重心特徴量を求め、各特徴量から重心特徴量を除したものを用いることもできる。また、正規化した特徴量をコサイン類似度の計算に用いることもできる。さらに、特徴量抽出手段が抽出した特徴量とのコサイン類似度が高い個体をデータベースの中から検索し、同一個体の候補を選択するというソフトウェアを含むものであってもよい。加えて、同一個体の判定手法として、コサイン類似度の代わりにユークリッド距離を用いることもできる。
【0034】
年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較をする方法は特に限定されない。例えば、年齢の影響を受けやすい特徴量の重みを小さくしたり、あるいは、年齢の影響を受けやすい特徴量以外の特徴量の重みを大きくすることで、年齢の影響を受けやすい特徴量の重みを相対的に小さくすることでもよい。また、年齢からの影響を最も受けやすい特徴量の重みを最も小さくし、以降順々に段々と重みを大きくしていくという方法であってもよい。重み付けとは、例えば、特徴量の一致度を計算する際に、ある特徴量が計算結果に与える影響を大きくする或いは小さくするように、計算式に所定の係数を掛け合わせることが挙げられる。例えば、特徴Aについてデータベース中の特徴量と画像から抽出された特徴量の一致度を計算する際には、係数として1をかけ、特徴Aよりも重みを大きくしたい別の特徴Bを計算する際には、係数として1よりも大きな数、例えば2をかけるということを行う。
【0035】
年齢の影響を受けやすい特徴量としては、特に限定されず、皺、毛色、肌つやなど、年齢の影響が現れやすい特徴に関する特徴量としてもよい。あるいは、年齢ごとに画像を複数用意し、画像から抽出された特徴量と、年齢との関連付けを行い、年齢との相関が強い特徴量としてもよい。また、年齢又は年齢クラス(例えば、0歳、3~5歳、8歳以上のクラス分け)ごとに画像を用意し、画像から抽出した特徴量(特徴量ベクトル)を用意し、ディープラーニングモデルを用いて、学習を行い、年齢又は年齢クラスを分けるために重要な特徴量やその重要度を出力することで、年齢の影響を受けやすい特徴量をピックアップすることもできる。ディープラーニングモデルとしては、好ましくは、特徴重要度(interpretability)を視覚化することのできるディープラーニングモデル、各特徴の学習モデルへの貢献度を定量的に示すことのできるディープラーニングモデルが挙げられる。ディープラーニングモデルに特に制限はないが、表データのディープラーニングモデルとして知られるTabNet、FT-Transformer、NODE等が挙げられる。どの特徴量が年齢の影響を受けやすい特徴量であるのかは、予め決定されていることが好ましく、必ずしも本発明のシステムの中にどの特徴量が年齢の影響を受けやすいのかを決定する手段を備えている必要はない。
【0036】
比較に際しては、画像から抽出される各特徴量の中で年齢の影響の受けやすさ順で並べた場合に上位10%以内に含まれる特徴量を、年齢の影響を受けやすい特徴量として比較を行うことが好ましく、上位5%以内のものを、年齢の影響を受けやすい特徴量とすることが好ましい。
【0037】
[品種判定手段]
本発明のシステムは、さらに、品種判定手段を備えることが好ましい。品種判定手段は、品種判定用の学習済みモデルを用いて、前記受付手段に入力された動物の画像からその動物の品種を判定する手段である。品種を判定し、その品種に応じた学習済みモデルを使用することで、個体識別の精度を上げることが可能となる。なお、品種判定手段を備えない場合は、別途利用者の端末等から品種情報を入力する構成とすることもできる。
【0038】
品種判定手段に関する画像の詳細については上記と同様である。
【0039】
品種判定用の学習済みモデルは、動物の画像と前記動物の品種との関係を学習した学習済みモデルである。好ましくは、動物の画像とその動物の品種とを教師データとして用いて学習を行い、入力を動物の画像とし、出力をその動物の品種の判定とする学習済みモデルを含む。教師データ用の動物の画像については、上記と同様である。また、品種判定用の学習済みモデルは、上記の学習済みモデルと異なるアルゴリズム、ソフトウェア、ライブラリ、学習方法を用いてもよいし、同一のアルゴリズム、ソフトウェア、ライブラリ、学習方法を用いてもよい。
【0040】
品種とは、生物の種以下の生物集団の単位である。例えば、犬でいうと、犬の品種は犬種とも呼ばれ、具体的には、トイプードル、チワワ、ミニチュア・ダックスフント、柴犬、ポメラニアン、ヨークシャー・テリア、ミニチュア・シュナウザー、シー・ズー、フレンチ・ブルドッグ、パピヨン、マルチーズ、ラブラドール、ダルメシアン、チャウチャウ等が挙げられる。猫でいうと、猫の品種は猫種とも呼ばれ、スコティッシュ・フォールド、アメリカン・ショートヘア、ノルウェージャン・フォレストキャット、ロシアンブルー、ブリティッシュ・ショートヘア、ラグドール、メイン・クーン、ペルシャ等が挙げられる。ウサギでいうと、ネザーランドドワーフ、ホーランドロップ、ロップイヤー、ミニレッキス、ドワーフロップ、アメリカンファジーロップ等が挙げられる。
【0041】
[出力]
本発明の判定手段は、入力情報として、動物の顔画像を受け付けると、上記学習済みモデルによって、当該動物の個体識別の判定を行う。
出力の形式は特に限定されず、例えば、パソコンの画面上において、入力手段に入力された画像にかかる個体と同一の個体を、画像と個体識別情報とを表示をすることで個体識別結果を出力することができる。特徴量の一致率が近い個体がデータベース内に複数存在する場合は、同一個体の候補を複数提示してもよい。また、付随的な情報として、個体識別結果の確実性を同時に出力してもよい。例えば、「この子は○○ちゃん(信頼度:80%)」といった具合である。
本発明の個体識別システムは、判定手段から判定結果を受信し、判定結果を出力する出力手段を別途有していてもよい。
【0042】
本発明の個体識別システムの実施形態の一例を
図3によって説明する。
データベース12には、予め、複数の個体の動物について、顔画像、学習済みモデルを用いて顔画像から抽出された特徴量、及び、個体識別情報が記憶されている。
動物の入退場を管理したい区域の入り口などに設置されているカメラ等の撮影手段16によって、動物の顔を含む画像が撮影される。そうすると、撮影された画像がネットワークを通じて受付手段15に入力される。
処理演算部17は、特徴量抽出手段(学習済みモデル)18を用いて、受付手段15に入力された画像から特徴量を抽出する。その後、処理演算部17は、データベース12を参照し、データベース12に記憶されている動物の顔画像に係る特徴量と当該受け付けられた画像から得られた特徴量について、判定手段11を用いて一致率を計算し、同一の個体であるか否かを判定する。一致率を計算する際に、年齢の影響を受けやすい特徴量については重み付けを小さくして計算を行う。データベース12に記憶されている動物の顔画像それぞれについて、判定を繰り返し、同一の個体であると判定された場合には、当該動物の顔画像とともに、当該動物の個体識別情報を出力手段14により、端末13の画面上に出力する。
【0043】
図3中、端末13は、例えば、動物の入退場を管理したい区域の入り口などに設置された端末である。端末13は、例えばパーソナルコンピュータやタブレット端末などが挙げられる。端末13は、CPUなどの処理部、ハードディスク、ROMあるいはRAMなどの記憶部、液晶パネルなどの表示部、マウス、キーボード、タッチパネルなどの入力部、ネットワークアダプタなどの通信部などを含んで構成される。
【0044】
本実施形態では、カメラなどの撮影手段によって動物の画像を撮影し、個体識別を行う態様を説明したが、利用者が、ドッグラン、ペットサロン、ペット保険などの利用申込み時に、その場でスマートフォンのカメラを使って対象となる動物の顔写真を撮影し、それを入力、送信するという態様であってもよい。例えば、ユーザは、端末13の画面上に表示される指示に従って保険対象となる動物の顔写真を撮影し、適切な写真が撮れたらそれを受付手段15に送信する。このとき、サーバが、別途、画像判定プログラムからなる写真撮影補助手段を備え、写真撮影補助手段が、動物の顔全体が撮像されていること、動物の顔の正面からの写真であるといった、個体の同一性判定に好適な写真であるかどうかを判定し、その判定結果をインターフェースや端末を通じてユーザに伝達するという構成を備えていてもよい。
【0045】
本実施形態においては、サーバはコンピュータによって構成されるが、本発明にかかる機能を有する限りにおいて、どのような装置であってもよい。サーバは、クラウド上にあるサーバであってもよい。また、本実施形態では、判定手段や受付手段がサーバに格納され、端末とインターネットやLAN等の接続手段で接続される態様を説明したが、本発明はこれに限定されず、判定手段、受付手段、インターフェース部が一つのサーバや装置内に格納される態様や、端末を別途必要としない態様等であってもよい。
【0046】
記憶部10は、例えばROM、RAMあるいはハードディスクなどから構成される。記憶部10には、サーバの各部を動作させるための情報処理プログラムが記憶され、特に、判定手段11が記憶される。
【0047】
判定手段11は、上記のように、各画像に係る特徴量の一致率を計算し、一致率の値から同一個体であるか否かを判定するソフトウェアである。
【0048】
処理演算部17は、記憶部に記憶された判定手段11を用いて、同一性判定を実行する。
【0049】
インターフェース部(通信部)は、受付手段15と出力手段14を備え、例えば撮影手段から、動物の顔画像を受け付け、端末に対して、同一性の判定結果や、撮影された個体と同一の個体に関する個体識別情報を出力する。
【0050】
<入退場管理システム>
本発明の入退場管理システムは、動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、入場又は退場しようとする動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備えるものである。
【0051】
本発明の入退場管理システムは、例えば、ペットホテル、ドッグラン、ペットカフェなど、特定の領域や部屋への動物の入退場を把握、管理したい場合に使用することができる。
【0052】
受付手段は、限定されず、例えば、室内に固定された監視カメラ、ネットワークカメラ、スマートフォンに備え付けのカメラ等の撮影手段によって撮影された画像をネットワークを通じて受け付けることができる。
【0053】
データベース、特徴量抽出手段、判定手段、出力手段については上記と同様である。
【0054】
本発明の入退場管理システムの実施形態の一例を
図4によってペットホテルの事例で説明する。
まず、ペットホテルの利用者は、端末13を通じてペットホテルのウェブサイト上で会員登録を行い、ペットホテルに宿泊させたいペットの種、品種、名前、生年月日、体重、性別、予防接種の有無等の個体識別情報とともに、ペットの顔画像を登録する。登録されたペットの個体識別情報は、ペットホテルが管理するデータベース12に格納される。また、学習済みモデルを用いて登録された顔画像から特徴量が抽出され、個体識別情報と紐付けられてデータベースに記憶される。
次に、利用者は、端末13を通じてウェブサイト上でペットホテルの予約を行い、予約された日時にペットを連れてペットホテルを訪れる。
ペットホテルの従業員が、ペットホテルに備え付けられたカメラ等の撮影手段16によって、ペットを撮影する。そうすると、撮影された画像がネットワークを通じて受付手段15に入力される。
処理演算部17は、特徴量抽出手段(学習済みモデル)18を用いて、受付手段15に入力された画像から特徴量を抽出する。その後、処理演算部17は、データベース12を参照し、データベース12に記憶されているペットの顔画像に係る特徴量と当該受け付けられた画像から得られた特徴量について、判定手段11を用いて一致率を計算し、同一の個体であるか否かを判定する。一致率を計算する際に、年齢の影響を受けやすい特徴量については重み付けを小さくして計算を行う。データベース12に記憶されているペットの顔画像それぞれについて、判定を繰り返し、同一の個体であると判定された場合には、当該ペットの顔画像とともに、当該ペットの個体識別情報を出力手段14により、ホテルの端末の画面上に出力する。ペットホテルの利用者の所有する端末13にも判定結果を出力してもよい。
このとき、ペットホテルの従業員は、出力された判定結果とペットの個体識別情報を利用して、ペットホテルを利用しようとするペットが、会員登録されたペットと同一の個体であることを判断し、当該ペットを入場させることができる。
【0055】
図4中、端末13は、利用者(ユーザ)が利用する端末である。端末13は、例えばパーソナルコンピュータやタブレット端末などが挙げられる。端末13は、CPUなどの処理部、ハードディスク、ROMあるいはRAMなどの記憶部、液晶パネルなどの表示部、マウス、キーボード、タッチパネルなどの入力部、ネットワークアダプタなどの通信部などを含んで構成される。
【0056】
利用者は、申込み時や会員登録時に、その場でスマートフォンのカメラを使って対象となる動物の顔写真を撮影し、それを入力、送信するという態様であってもよい。例えば、ユーザは、端末13の画面上に表示される指示に従って保険対象となる動物の顔写真を撮影し、適切な写真が撮れたらそれをデータベース12に送信する。このとき、サーバが、別途、画像判定プログラムからなる写真撮影補助手段を備え、写真撮影補助手段が、動物の顔全体が撮像されていること、動物の顔の正面からの写真であるといった、個体の同一性判定に好適な写真であるかどうかを判定し、その判定結果をインターフェースや端末を通じてユーザに伝達するという構成を備えていてもよい。
【0057】
本実施形態においては、サーバはコンピュータによって構成されるが、本発明にかかる機能を有する限りにおいて、どのような装置であってもよい。サーバは、クラウド上にあるサーバであってもよい。
【0058】
記憶部10は、例えばROM、RAMあるいはハードディスクなどから構成される。記憶部10には、サーバの各部を動作させるための情報処理プログラムが記憶され、特に、判定手段11が記憶される。
【0059】
判定手段11は、上記のように、各画像に係る特徴量の一致率を計算し、一致率の値から同一個体であるか否かを判定するソフトウェアである。
【0060】
処理演算部17は、記憶部に記憶された判定手段11を用いて、同一性判定を実行する。
【0061】
インターフェース部(通信部)は、受付手段15と出力手段14を備え、例えば撮影手段から、動物の顔画像を受け付け、端末に対して、同一性の判定結果や、撮影された個体と同一の個体に関する個体識別情報を出力する。
【0062】
本実施形態の入退場管理システムにより、ペットホテルは、簡易な方法で、利用者が連れてきたペットが会員登録されたペットと同一の個体であることを判断することができ、ペットホテルの受付をスムーズに行うことができる。
【0063】
本発明の入退場管理システムの実施態様に基づく個体識別のフローチャートを
図5に示す。利用者がペットの顔写真を撮影し、それを端末を用いて、サーバの受付手段に入力すると、特徴量抽出手段が、入力された顔画像から特徴量を抽出する(ステップS1)。サーバの処理演算部は、判定手段を用いて、アップロードされた顔画像と、予めデータベースに登録された動物の顔画像について、年齢の影響を受けやすい特徴量の重み付けを小さくなるように調整する(ステップS2)。サーバの処理演算部は、判定手段を用いて、アップロードされた顔画像と、予めデータベースに登録された動物の顔画像について、特徴量の比較を行い、同一の個体であるか否かを判定する(ステップS3)。出力手段は、判定結果を端末画面に表示するなどして出力し、ペットホテルの従業員に提示する(ステップS4)。
【0064】
<診察管理システム>
本発明の診察管理システムは、動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、動物病院において診察を受けようとする動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備えるものである。
【0065】
本発明の診察管理システムは、例えば、ペット保険の提供者が、ペット保険の対象となっているペットが診察を受けたかどうかを把握したい場合に使用することができる。
【0066】
<受付管理システム>
本発明の受付管理システムは、動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、ペットサロンにおいてトリミング又はシャンプーを受けようとする動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備える受付管理システム。
【0067】
本発明の受付管理システムは、例えば、ペットサロンが、サービスの対象となるペットが会員登録されているペットかどうかや、過去のサービス提供履歴を把握したい場合に使用することができる。
【0068】
<捜索管理システム>
本発明の管理システムは、動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースと、捜索対象となっている動物の候補となる動物の顔画像の入力を受け付ける受付手段と、学習済みモデルを含み、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出手段と、前記データベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定手段と、を備えるものである。
【0069】
本発明の動物の管理システムは、例えば、迷子になったペットを捜索する際に、見つかった動物が捜索対象となっているペットかどうかを確認したい場合に使用することができる。
【0070】
<個体識別方法>
本発明の個体識別方法は、動物の顔画像の入力を受け付けるステップと、学習済みモデルを用いて、前記受付手段に入力された顔画像から特徴量を抽出する特徴量抽出ステップと、動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を、年齢の影響を受けやすい特徴量の重み付けを小さくしたうえで比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定する判定ステップと、を備えるものである。
【0071】
動物の顔画像の入力を受け付けるステップは、例えば、上記の受付手段を用いて動物の顔画像の入力を受け付けるステップである。
特徴量抽出ステップは、学習済みモデルを用いて、前記受付手段に入力された顔画像から特徴量を抽出するステップである。学習済みモデルは、上記の個体識別システムにおいて説明した学習済みモデルと同様である。
判定ステップは、動物の顔画像から学習済みモデルを用いて抽出された特徴量及び動物の個体識別情報を記憶したデータベースに記憶されている特徴量と、前記特徴量抽出手段が抽出した特徴量を比較することにより、前記受付手段に入力された動物の顔画像が、データベースに記憶された個体識別情報に係る動物個体と同一の個体の画像であるか否かを判定するステップである。例えば、上記の判定手段を用いて、特徴量の一致率を計算し、同一個体であるかどうか判定するステップである。
【実施例0072】
[参考例1]
9頭のミニチュア・ダックスフントそれぞれの顔画像(眼とその周囲のみが映った画像。一例として、
図6(A)~(C)のカラー写真。500×500ピクセルに統一した。)を用意した。
各画像を、学習済みモデルに入力し、特徴量を抽出した。
EfficientNetB7にImageNetのウェイトを持つモデルを学習済みモデルとして用いた。
次に、個体識別を行いたいミニチュア・ダックスフントの顔画像A(識別対象個体。
図7)を用意し、上記学習済みモデルを用いて特徴量を抽出した。上記9頭の中には、識別対象個体と同一の個体が含まれている。
【0073】
9頭の画像それぞれの特徴量について、顔画像Aの特徴量とのコサイン類似度を計算し、スケーリングされたコサイン類似度のソフトマックス関数を用いて、9頭での合計が100%になるように調整した。
その結果、9頭のうち、顔画像一致率が93%と一番高かった個体が、識別対象個体と同一の個体の画像であることが分かった。
【0074】
[参考例2]
参考例1と同じような顔画像を9個体(ミニチュア・ダックスフントA~I)のそれぞれについて、複数枚用意した。これらの画像を「データベース画像」とする。
参考例1と同じ学習済みモデルを用いて、各顔画像から特徴量を抽出した。9個体それぞれについて、複数枚の顔画像の特徴量について平均化(相加平均)を行った。平均化に用いた顔画像の枚数を表1に記載されているように、2枚、4枚、8枚、16枚、32枚、64枚、128枚というように変更して平均化を行った。表1中、平均化に用いた枚数が「1」となっているのは、1枚の画像を用いており、平均化を行っていない例である。9個体それぞれについて得られた特徴量を、「平均化特徴量」とする。
次に、識別対象用のミニチュア・ダックスフントの顔画像をミニチュア・ダックスフントA~Iのそれぞれについて10枚ずつ用意し、上記参考例1と同じ学習済みモデルを用いて特徴量を抽出した。これらの特徴量を「識別対象特徴量」とする。
9個体それぞれについて、識別対象特徴量と、平均化特徴量との間で、コサイン類似度を計算し、コサイン類似度が高いものを同一の個体と判定した。
判定結果として、実際に同一の個体を同一と判定できた場合を「正解」と定義した。例えば、ミニチュア・ダックスフントAの識別対象用の画像を、データベース画像の中からミニチュア・ダックスフントAの画像と同じ個体の画像であると判定できた場合が「正解」である。9個体×10枚の画像の合計90枚のうち、正解できた割合を「正解率」とした。
平均化に用いた枚数と正解率との関係を表1に示す。
表1から明らかなように、特徴量の平均化を行うことで正解率を上げることが可能となった。
【0075】
【0076】
[実施例1]
チワワについて、年齢を0歳、3~5歳、8歳以上の3つのクラスに分けて、それぞれのクラスについて530枚の画像(静止画。顔が写っているもの)を用意した。
EfficientNetB7をファインチューニングしたモデルを学習済みモデルとして、各画像から特徴量(ベクトル)を抽出した。
次に、TabNetを用いて、各画像について、特徴量と年齢のクラスに関する情報からなる学習データセットを用いて学習を行い、年齢クラスを分けるために重要な特徴量とその重要度を出力した。学習データセットの一例を下記表に示す。ファイル名が、各動物の画像のファイル名であり、画像に写っている犬の年齢クラスが、0歳以下、3~5歳、又は8歳以上であることを示すものである。「vector1」、「vector2」等が、各特徴であり、その下の数値が、各特徴に係る特徴量(ベクトル)である。
【0077】
【0078】
特徴量は1792個あった。上記で導き出した重要度(年齢の影響を受けやすい度合い)が上位1%に含まれる特徴量の重み(比率)を1とし、それ以外の特徴量の重みを2とした。重みを1とした特徴量は合計18個であった。
個体識別用に、データベースに0歳、又は3~5歳のチワワの画像22頭分から抽出した特徴量を登録しておき、検証データとして、データベースに含まれる個体と同一個体8頭分の画像を合計で51枚用意し、特徴量を抽出した。
下記計算式に従い、コサイン類似度によって、データベースに登録された各個体の特徴量と検証データに係る画像の特徴量の一致率を計算した。重み(weights 本実施例では1又は2)は下記計算式の分子にかけた。
【0079】
その結果、検証データ51枚のうち、正答したもの(検証データに写っている個体と同一の個体を登録データから正確にピックアップできたもの)は、23枚であった。登録データと検証データの一致率が、重み付けを行わないで計算した場合よりも上がったか、下がったかについて、下記表に示す。下記表から明らかなように、正答したものは一致率が上がり、誤答したものは一致率が下がっている。つまり、正答した場合は、重み付けを行わない場合よりも、より正確に判定ができていることが分かる(より自信を持って判定ができている)。重み付けの値や同一個体と判断するための一致率の閾値などを調整することで正答率を上げることが可能と考えられる。
【0080】
前記年齢の影響を受けやすい特徴量に対して、それ以外の特徴量の重みを増すようにして重みを調整することによって、年齢の影響を受けやすい特徴量の重み付けを小さくする請求項1又は2記載の個体識別システム。
前記年齢の影響を受けやすい特徴量が、画像から抽出される各特徴量の中で年齢の影響の受けやすさ順で上位10%以内に含まれる特徴量である請求項1又は2記載の個体識別システム。
前記特徴量抽出手段に含まれる学習済みモデルが、前記データベースに記憶される特徴量を抽出するのに用いられる学習済みモデルと同一の学習済みモデルである請求項1~7のいずれか一項記載の個体識別システム。
前記データベースが記憶する特徴量が、同一個体を撮影した複数の画像から抽出された特徴量を平均化して得られる特徴量である請求項1~8のいずれか一項記載の個体識別システム。
前記特徴量抽出手段が、同一個体を撮影した複数の画像から特徴量を抽出し、前記判定手段においてデータベースに記憶されている特徴量との比較に用いられる特徴量が、同一個体を撮影した複数の画像から抽出した特徴量を平均化して得られる特徴量である請求項1~9のいずれか一項記載の個体識別システム。
前記データベースは、個体識別情報として、吠え傾向、攻撃性、活発性及び社交性からなる群から選ばれる一つ以上の性向を記憶する請求項11記載の入退場管理システム。
入場又は退場しようとする動物が、所定の性向を有することがデータベースに記憶されている個体と同一の個体であると判定手段が判定した場合、アラートをするアラート手段をさらに有する請求項12記載の入退場管理システム。
前記年齢の影響を受けやすい特徴量に対して、それ以外の特徴量の重みを増すようにして重みを調整することによって、年齢の影響を受けやすい特徴量の重み付けを小さくする請求項1又は2記載の個体識別システム。
前記年齢の影響を受けやすい特徴量が、画像から抽出される各特徴量の中で年齢の影響の受けやすさ順で上位10%以内に含まれる特徴量である請求項1又は2記載の個体識別システム。
前記年齢の影響を受けやすい特徴量が、画像から抽出される各特徴量の中で年齢の影響の受けやすさ順で上位5%以内に含まれる特徴量である請求項1又は2記載の個体識別システム。
前記特徴量抽出手段に含まれる学習済みモデルが、前記データベースに記憶される特徴量を抽出するのに用いられる学習済みモデルと同一の学習済みモデルである請求項1~7のいずれか一項記載の個体識別システム。
前記データベースが記憶する特徴量が、同一個体を撮影した複数の画像から抽出された特徴量を平均化して得られる特徴量である請求項1~8のいずれか一項記載の個体識別システム。
前記特徴量抽出手段が、同一個体を撮影した複数の画像から特徴量を抽出し、前記判定手段においてデータベースに記憶されている特徴量との比較に用いられる特徴量が、同一個体を撮影した複数の画像から抽出した特徴量を平均化して得られる特徴量である請求項1~9のいずれか一項記載の個体識別システム。
前記データベースは、個体識別情報として、吠え傾向、攻撃性、活発性及び社交性からなる群から選ばれる一つ以上の性向を記憶する請求項11記載の入退場管理システム。
入場又は退場しようとする動物が、所定の性向を有することがデータベースに記憶されている個体と同一の個体であると判定手段が判定した場合、アラートをするアラート手段をさらに有する請求項12記載の入退場管理システム。