(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024110644
(43)【公開日】2024-08-16
(54)【発明の名称】属性判定装置、属性判定方法及び属性判定プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240808BHJP
G06V 40/16 20220101ALI20240808BHJP
【FI】
G06T7/00 660A
G06V40/16 Z
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023015347
(22)【出願日】2023-02-03
(71)【出願人】
【識別番号】000001432
【氏名又は名称】グローリー株式会社
(74)【代理人】
【識別番号】100114306
【弁理士】
【氏名又は名称】中辻 史郎
(74)【代理人】
【識別番号】100148655
【弁理士】
【氏名又は名称】諏訪 淳一
(72)【発明者】
【氏名】栗岡 克仁
(72)【発明者】
【氏名】和田 幸洋
(72)【発明者】
【氏名】栗林 英範
(72)【発明者】
【氏名】小林 誉幸
(72)【発明者】
【氏名】中尾 幸司
(72)【発明者】
【氏名】東本 真治
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096GA30
5L096HA11
(57)【要約】
【課題】年代や性別等の人物の属性を効率良く判定することを課題とする。
【解決手段】属性判定装置10は、撮像部13から取得した属性判定対象者の顔画像とにおいセンサ部14から取得した属性判定対象者においデータとに基づいて属性判定対象者の属性を判定する装置である。属性判定装置10は、年代算出部17において、顔画像及びにおいデータに基づいて属性判定対象者の年代を算出し、属性判定対象者の年代を出力する。また、属性判定装置10は、性別算出部21において、顔画像及びにおいデータに基づいて属性判定対象者の性別を算出し、属性判定対象者の性別を出力する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
人物の属性を判定する属性判定装置であって、
前記人物の顔画像を取得する顔画像取得部と、
前記人物のにおい情報を取得するにおい情報取得部と、
前記人物の顔画像及び前記人物のにおい情報に基づいて、前記人物の属性を判定する属性判定部と
を備えたことを特徴とする属性判定装置。
【請求項2】
人物の年代及び性別を含む属性を判定する属性判定装置であって、
前記人物の顔画像を取得する顔画像取得部と、
前記人物のにおい情報を取得するにおい情報取得部と、
前記人物の顔画像に基づいて、前記人物の属性を推定する第1の属性推定部と、
前記人物のにおい情報に基づいて、前記人物の属性を推定する第2の属性推定部と、
前記第1の属性推定部による属性の推定結果と、前記第2の属性推定部による属性の推定結果とに基づいて、前記属性を判定する属性判定部と
を備えたことを特徴とする属性判定装置。
【請求項3】
前記属性判定部は、
前記人物の顔画像に基づいて、人間の確からしさを示す顔パラメータを算定する顔パラメータ算定部と、
前記人物のにおい情報に基づいて、人間の確からしさを示すにおいパラメータを算定するにおいパラメータ算定部と、
少なくとも前記第1の属性推定部による属性の推定結果と、前記第2の属性推定部による属性の推定結果と、前記顔パラメータと、前記においパラメータとに基づいて、前記属性を判定する判定部と
を備えたことを特徴とする請求項2に記載の属性判定装置。
【請求項4】
前記属性判定部は、
前記人物の顔画像に基づいて、人間の確からしさを示す顔パラメータを算定する顔パラメータ算定部と、
前記人物のにおい情報に基づいて、人間の確からしさを示すにおいパラメータを算定するにおいパラメータ算定部と、
あらかじめ設定された顔推定の信頼度に基づいて、前記顔パラメータを補正する顔パラメータ補正部と、
あらかじめ設定されたにおい推定の信頼度に基づいて、前記においパラメータを補正するにおいパラメータ補正部と、
前記第1の属性推定部による属性の推定結果と、前記第2の属性推定部による属性の推定結果と、補正後の顔パラメータと、補正後のにおいパラメータとに基づいて、前記属性を判定する判定部と
を備えたことを特徴とする請求項2に記載の属性判定装置。
【請求項5】
前記属性判定部は、
前記第1の属性推定部による性別の推定結果と、前記第2の属性推定部による性別の推定結果とが同一である場合には、該性別が前記人物の性別であると判定することを特徴とする請求項2に記載の属性判定装置。
【請求項6】
前記属性判定部は、
前記第1の属性推定部による性別の推定結果と、前記第2の属性推定部による性別の推定結果とが異なり、前記補正後の顔パラメータが前記補正後のにおいパラメータよりも大きい場合には、前記第1の属性推定部による性別の推定結果が前記人物の性別であると判定することを特徴とする請求項4に記載の属性判定装置。
【請求項7】
前記属性判定部は、
前記第1の属性推定部による性別の推定結果と、前記第2の属性推定部による性別の推定結果とが異なり、前記補正後の顔パラメータが前記補正後のにおいパラメータよりも小さい場合には、前記第2の属性推定部による性別の推定結果が前記人物の性別であると判定することを特徴とする請求項4に記載の属性判定装置。
【請求項8】
前記属性判定部は、
前記第1の属性推定部による年代の推定結果と、前記第2の属性推定部による年代の推定結果とが同一である場合には、該年代が前記人物の年代であると判定することを特徴とする請求項2に記載の属性判定装置。
【請求項9】
前記属性判定部は、
前記第1の属性推定部による年代の推定結果と、前記第2の属性推定部による年代の推定結果とが異なる場合には、前記補正後の顔パラメータに基づく顔年齢と前記補正後のにおいパラメータに基づくにおい年齢とに基づいて算出された年代が前記人物の年代であると判定することを特徴とする請求項4に記載の属性判定装置。
【請求項10】
人物の属性を判定する属性判定装置における属性判定方法であって、
前記人物の顔画像を取得する顔画像取得工程と、
前記人物のにおい情報を取得するにおい情報取得工程と、
前記人物の顔画像及び前記人物のにおい情報に基づいて、前記人物の属性を判定する属性判定工程と
を含むことを特徴とする属性判定方法。
【請求項11】
人物の属性を判定する属性判定装置において実行される属性判定プログラムであって、
前記人物の顔画像を取得する顔画像取得手順と、
前記人物のにおい情報を取得するにおい情報取得手順と、
前記人物の顔画像及び前記人物のにおい情報に基づいて、前記人物の属性を判定する属性判定手順と
をコンピュータに実行させることを特徴とする属性判定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物の属性を効率良く判定することができる属性判定装置、属性判定方法及び属性判定プログラムに関する。
【背景技術】
【0002】
従来、人物の年齢や性別等の属性を判定する技術が知られている。例えば、特許文献1には、人物の顔が含まれる画像を複数の領域に分割し、分割した複数の領域毎に人物属性を推定し、領域毎の人物属性の推定結果に関する情報を表示する人物属性提示装置が開示されている。すなわち、この特許文献1では、人物の目、鼻、口などの特徴部ごとに、該人物の属性を推定している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1のものは、人物の目、鼻、口などの特徴部がマスク又はサングラス等により隠されたならば、人物の属性の推定精度が低下するという問題がある。また、環境光の影響、顔の角度等により人物の顔画像が正確に取得されない場合にも、人物の属性の推定精度が低下してしまう。このため、人物の属性をいかに効率良く判定するかが重要な課題となっている。
【0005】
本発明は、上記従来技術による問題点(課題)を解決するためになされたものであって、人物の属性を効率良く判定することができる属性判定装置、属性判定方法及び属性判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するため、本発明は、人物の属性を判定する属性判定装置であって、前記人物の顔画像を取得する顔画像取得部と、前記人物のにおい情報を取得するにおい情報取得部と、前記人物の顔画像及び前記人物のにおい情報に基づいて、前記人物の属性を判定する属性判定部とを備えた。
【0007】
また、本発明は、人物の年代及び性別を含む属性を判定する属性判定装置であって、前記人物の顔画像を取得する顔画像取得部と、前記人物のにおい情報を取得するにおい情報取得部と、前記人物の顔画像に基づいて、前記人物の属性を推定する第1の属性推定部と、前記人物のにおい情報に基づいて、前記人物の属性を推定する第2の属性推定部と、前記第1の属性推定部による属性の推定結果と、前記第2の属性推定部による属性の推定結果とに基づいて、前記属性を判定する属性判定部とを備えた。
【0008】
また、本発明は、上記発明において、前記属性判定部は、前記人物の顔画像に基づいて、人間の確からしさを示す顔パラメータを算定する顔パラメータ算定部と、前記人物のにおい情報に基づいて、人間の確からしさを示すにおいパラメータを算定するにおいパラメータ算定部と、少なくとも前記第1の属性推定部による属性の推定結果と、前記第2の属性推定部による属性の推定結果と、前記顔パラメータと、前記においパラメータとに基づいて、前記属性を判定する判定部とを備えた。
【0009】
また、本発明は、上記発明において、前記属性判定部は、前記人物の顔画像に基づいて、人間の確からしさを示す顔パラメータを算定する顔パラメータ算定部と、前記人物のにおい情報に基づいて、人間の確からしさを示すにおいパラメータを算定するにおいパラメータ算定部と、あらかじめ設定された顔推定の信頼度に基づいて、前記顔パラメータを補正する顔パラメータ補正部と、あらかじめ設定されたにおい推定の信頼度に基づいて、前記においパラメータを補正するにおいパラメータ補正部と、前記第1の属性推定部による属性の推定結果と、前記第2の属性推定部による属性の推定結果と、補正後の顔パラメータと、補正後のにおいパラメータとに基づいて、前記属性を判定する判定部とを備えた。
【0010】
また、本発明は、上記発明において、前記属性判定部は、前記第1の属性推定部による性別の推定結果と、前記第2の属性推定部による性別の推定結果とが同一である場合には、該性別が前記人物の性別であると判定する。
【0011】
また、本発明は、上記発明において、前記属性判定部は、前記第1の属性推定部による性別の推定結果と、前記第2の属性推定部による性別の推定結果とが異なり、前記補正後の顔パラメータが前記補正後のにおいパラメータよりも大きい場合には、前記第1の属性推定部による性別の推定結果が前記人物の性別であると判定する。
【0012】
また、本発明は、上記発明において、前記属性判定部は、前記第1の属性推定部による性別の推定結果と、前記第2の属性推定部による性別の推定結果とが異なり、前記補正後の顔パラメータが前記補正後のにおいパラメータよりも小さい場合には、前記第2の属性推定部による性別の推定結果が前記人物の性別であると判定する。
【0013】
また、本発明は、上記発明において、前記属性判定部は、前記第1の属性推定部による年代の推定結果と、前記第2の属性推定部による年代の推定結果とが同一である場合には、該年代が前記人物の年代であると判定する。
【0014】
また、本発明は、上記発明において、前記属性判定部は、前記第1の属性推定部による年代の推定結果と、前記第2の属性推定部による年代の推定結果とが異なる場合には、前記補正後の顔パラメータに基づく顔年齢と前記補正後のにおいパラメータに基づくにおい年齢とに基づいて算出された年代が前記人物の年代であると判定する。
【0015】
また、本発明は、人物の属性を判定する属性判定装置における属性判定方法であって、
前記人物の顔画像を取得する顔画像取得工程と、前記人物のにおい情報を取得するにおい情報取得工程と、前記人物の顔画像及び前記人物のにおい情報に基づいて、前記人物の属性を判定する属性判定工程とを含む。
【0016】
また、本発明は、人物の属性を判定する属性判定装置において実行される属性判定プログラムであって、前記人物の顔画像を取得する顔画像取得手順と、前記人物のにおい情報を取得するにおい情報取得手順と、前記人物の顔画像及び前記人物のにおい情報に基づいて、前記人物の属性を判定する属性判定手順とをコンピュータに実行させる。
【発明の効果】
【0017】
本発明によれば、人物の属性を効率良く判定することができる。
【図面の簡単な説明】
【0018】
【
図1】
図1は、実施形態1に係る属性判定装置の概要を説明するための説明図である。
【
図2】
図2は、
図1に示した年代算出部の概要を説明するための説明図である。
【
図3】
図3は、
図1に示した性別算出部の概要を説明するための説明図である。
【
図4】
図4は、
図1に示した属性判定装置の構成を示す機能ブロック図である。
【
図5】
図5は、
図4に示した顔年代データ推定部の処理を説明する説明図である。
【
図6】
図6は、
図4に示したにおい年代データ推定部の処理を説明する説明図である。
【
図7】
図7は、年代信頼度、年代、パラメータ及び補正パラメータの一例を示す図である。
【
図8】
図8は、
図4に示した顔性別データ推定部の処理を説明する説明図である。
【
図9】
図9は、
図4に示したにおい性別データ推定部の処理を説明する説明図である。
【
図10】
図10は、性別信頼度、性別、性別パラメータ及び性別補正パラメータの一例を示す図である。
【
図11】
図11は、
図4に示した属性判定装置の処理手順を示したフローチャートである。
【
図12】
図12は、年代算出処理の処理手順を示したフローチャートである。
【
図13】
図13は、顔年代データ推定処理の処理手順を示したフローチャートである。
【
図14】
図14は、におい年代データ推定処理の処理手順を示したフローチャートである。
【
図15】
図15は、性別算出処理の処理手順を示したフローチャートである。
【
図16】
図16は、顔性別データ推定処理の処理手順を示したフローチャートである。
【
図17】
図17は、におい性別データ推定処理の処理手順を示したフローチャートである。
【発明を実施するための形態】
【0019】
以下に、本発明に係る属性判定装置、属性判定方法及び属性判定プログラムの実施形態を図面に基づいて詳細に説明する。
【0020】
<属性判定装置10の概要>
本実施形態に係る属性判定装置10の概要について説明する。
図1は、実施形態に係る属性判定装置10の概要を説明するための説明図である。
図2は、
図1に示した年代算出部17の概要を説明するための説明図であり、
図3は、
図1に示した性別算出部21の概要を説明するための説明図である。ここでは、属性を判定する人物(以下、「属性判定対象者」と言う)の年代及び性別を属性として特定する場合について説明する。
【0021】
図1に示す属性判定装置10は、属性判定対象者の属性を判定する装置であり、年代算出部17と、性別算出部21とを有する。また、属性判定装置10には、撮像部13及びにおいセンサ部14が接続される。撮像部13は、CCD(Charge Coupled Device)等からなる撮像装置であり、属性判定対象者の顔画像を撮像して属性判定装置10に送信する。においセンサ部14は、においを検出して数値化するセンサであり、属性判定対象者のにおいを検出して属性判定装置10に送信する。なお、半導体式センサ、水晶振動子式センサ、FETバイオセンサ又は膜型表面応力センサなどをにおいセンサ部として用いることができる。
【0022】
年代算出部17は、顔画像データ(以下、単に「顔画像」と言う)及びにおいデータに基づいて、属性判定対象者の年代を算出する処理部である。
図2に示すように、年代算出部17は、顔年代データ推定部18が顔画像に基づいて顔年代データを推定し、におい年代データ推定部19がにおいデータに基づいてにおい年代データを推定し、年代特定部20がこれらのデータから属性判定対象者の年代を算出する。なお、年代算出部17の詳細な説明については後述する。
【0023】
性別算出部21は、顔画像及びにおいデータに基づいて、属性判定対象者の性別を算出する処理部である。
図3に示すように、性別算出部21は、顔性別データ推定部22が顔画像に基づいて顔性別データを推定し、におい性別データ推定部23がにおいデータに基づいてにおい性別データを推定し、性別特定部24がこれらのデータから属性判定対象者の性別を算出する。なお、性別算出部21の詳細な説明については後述する。
【0024】
このように、本実施形態に係る属性判定装置10は、顔画像及びにおいデータに基づいて、属性判定対象者の年代を算出して出力するとともに、顔画像及びにおいデータに基づいて、属性判定対象者の性別を算出して出力する。その結果、例えば属性判定対象者が「20代女性」、「50代男性」等という属性が出力される。
【0025】
<属性判定装置10の構成>
次に、属性判定装置10の構成について説明する。
図4は、
図1に示した属性判定装置10の構成を示す機能ブロック図である。
図4に示すように、属性判定装置10は、表示部11と、入力部12と、撮像部13と、においセンサ部14と、記憶部15と、制御部16とを有する。なお、撮像部13及びにおいセンサ部14についてはすでに説明したため、ここではその詳細な説明を省略する。
【0026】
表示部11は、各種情報を表示する液晶ディスプレイなどの表示デバイスである。入力部12は、マウスやキーボードなどの入力デバイスである。記憶部15は、ハードディスク装置や不揮発性メモリなどの記憶デバイスであり、画像年代学習済モデル15aと、におい年代学習済モデル15bと、画像性別学習済モデル15cと、におい性別学習済モデル15dと、年代信頼度データ15eと、性別信頼度データ15fとを記憶する。
【0027】
画像年代学習済モデル15aは、複数の顔画像と、各顔画像に含まれる被写体となる人物の年代とを対応付けた学習データを用いて生成された学習済モデルである。具体的には、畳み込み多層ニューラルネットワーク(CNN)に対して学習データに含まれる顔画像と正解となる年代とを入力し、バックプロパゲーションを行う処理を繰り返すことにより、画像年代学習済モデル15aが生成される。
【0028】
におい年代学習済モデル15bは、複数の人物のにおいデータと、各においデータの人物の年代とを対応付けた学習データを用いて生成された学習済モデルである。具体的には、画像年代学習済モデル15aと同様にCNNを用いて、におい年代学習済モデル15bが生成される。
【0029】
画像性別学習済モデル15cは、複数の顔画像と、各顔画像に含まれる被写体となる人物の性別とを対応付けた学習データを用いて生成された学習済モデルである。具体的には、画像年代学習済モデル15aと同様にCNNを用いて、画像性別学習済モデル15cが生成される。
【0030】
におい性別学習済モデル15dは、複数の人物のにおいデータと、各においデータの人物の性別とを対応付けた学習データを用いて生成された学習済モデルである。具体的には、画像年代学習済モデル15aと同様にCNNを用いて、におい性別学習済モデル15dが生成される。
【0031】
年代信頼度データ15eは、年代判定を行った年代判定結果の信頼度であり、「顔年代信頼度」と「におい年代信頼度」とからなる。例えば、信頼度の上限を100%とした場合に、「顔画像を用いたならば、かなり高い確率(例えば80%)で『判定結果としての年代』を信頼できる」とされたならば、顔年代信頼度が「80」とされる。また、「においを用いたならば、低い確率(例えば20%)でしか『判定結果としての年代』を信頼できない」とされた場合には、におい年代信頼度が「20」とされる。なお、顔年代信頼度とにおい年代信頼度の和は「100」となる。
【0032】
性別信頼度データ15fは、性別判定を行った性別判定結果の信頼度であり、「顔性別信頼度」と「におい性別信頼度」とからなる。例えば、信頼度の上限を100%とした場合に、「顔画像を用いたならば、かなり高い確率(例えば80%)で『判定結果としての性別』を信頼できる」とされたならば、顔性別信頼度が「80」とされる。また、「においを用いたならば、低い確率(例えば20%)でしか『判定結果としての性別』を信頼できない」とされた場合には、におい性別信頼度が「20」とされる。なお、顔性別信頼度とにおい性別信頼度の和は「100」となる。
【0033】
制御部16は、属性判定装置10の全体を制御する制御部であり、画像取得部16aと、におい取得部16bと、年代算出部17と、性別算出部21とを有する。実際には、これらのプログラムをCPUにロードして実行することにより、画像取得部16aと、におい取得部16bと、年代算出部17と、性別算出部21とにそれぞれ対応するプロセスを実行させることになる。
【0034】
画像取得部16aは、属性判定対象者の顔画像を取得する処理部である。具体的には、撮像部13を制御して属性判定対象者の顔画像を撮像する。におい取得部16bは、属性判定対象者のにおいデータを取得する処理部である。具体的には、においセンサ部14を制御して属性判定対象者のにおいデータを取得する。
【0035】
年代算出部17は、属性判定対象者の年代を算出する処理部であり、顔年代データ推定部18と、におい年代データ推定部19と、年代特定部20とを有する。顔年代データ推定部18は、顔画像に基づいて顔年代を算出する処理部である。また、顔画像に基づいて人間の確からしさのパラメータである顔パラメータを算出する。そして、顔パラメータ及び顔年代信頼度に基づいて、顔補正パラメータを算出する。その後、顔年代データ推定部18は、顔年代及び顔補正パラメータに基づいて顔年代データを生成する処理を行う。
【0036】
におい年代データ推定部19は、においデータに基づいてにおい年代を算出する処理部である。また、においデータに基づいて人間の確からしさのパラメータであるにおいパラメータを算出する。そして、においパラメータ及びにおい年代信頼度に基づいて、におい補正パラメータを算出する。その後、におい年代データ推定部19は、におい年代及びにおい補正パラメータに基づいてにおい年代データを生成する処理を行う。
【0037】
年代特定部20は、顔年代データ推定部18において算出された顔年代データと、におい年代データ推定部19により算出されたにおい年代データとに基づいて、属性判定対象者の年代を特定する処理を行う。具体的には、顔年代データに含まれる顔年代の推定結果とにおい年代データに含まれるにおい年代の推定値が同一である場合は、該年代の推定結果を属性判定対象者の年代であると判定する処理を行う。
【0038】
また、顔年代データに含まれる顔年代の推定結果とにおい年代データに含まれるにおい年代の推定結果が同一でない場合は、顔年代データに含まれる顔補正パラメータの比率Apと、におい年代データに含まれるにおい補正パラメータの比率Bpを算出する。そして、顔年代の中央値と顔補正パラメータの比率Apを掛け合わせて顔年齢を算出する。その後、におい年代の中央値とにおい補正パラメータの比率Bpを掛け合わせにおい年齢を算出し、顔年齢とにおい年齢を加算し推定年齢を算出する。そして、該推定年齢から年代を判定する処理を行う。
【0039】
性別算出部21は、顔性別データ推定部22と、におい性別データ推定部23と、性別特定部24とを有する。顔性別データ推定部22は、顔画像に基づいて顔性別を算出する。また、顔画像に基づいて人間の確からしさのパラメータである顔性別パラメータを算出する。そして、顔性別パラメータ及び顔性別信頼度に基づいて顔性別補正パラメータを算出する。その後、顔性別データ推定部22は、顔性別及び顔性別補正パラメータに基づいて顔性別データを生成する処理を行う。
【0040】
におい性別データ推定部23は、においデータに基づいてにおい性別を算出する。また、においデータに基づいて人間の確からしさのパラメータであるにおい性別パラメータを算出する。そして、におい性別パラメータ及びにおい性別信頼度に基づいてにおい性別補正パラメータを算出する。その後、におい性別データ推定部23は、におい性別及びにおい性別補正パラメータに基づいてにおい性別データを生成する処理を行う。
【0041】
性別特定部24は、顔性別データ推定部22において算出された顔性別データと、におい性別データ推定部23において算出されたにおい性別データとに基づいて属性判定対象者の性別を特定する処理を行う。具体的には、顔性別データに含まれる性別の推定結果とにおい性別データに含まれる性別の推定結果が同一である場合は、該性別の判定結果を属性判定対象者の性別であると判定する処理を行う。
【0042】
また、顔性別データに含まれる性別の推定結果とにおい性別データに含まれる性別の推定結果が同一でない場合は、顔性別データに含まれる顔性別補正パラメータの比率Cpと、におい性別データに含まれるにおい性別補正パラメータの比率Dpを算出し、CpがDpより大きい場合は、顔性別データによる性別推定を有効とする。また、DpがCpより大きい場合は、におい性別データによる性別推定を有効とする。そして、CpとDpがほぼ同じ場合は、不定と判定する処理を行う。
【0043】
<顔年代データ推定部18の処理>
次に、
図4に示す顔年代データ推定部18の処理について説明する。
図5は、顔年代データ推定部18の処理を説明する説明図である。
図5に示すように、顔年代データ推定部18は、顔年代算出部18aと、顔パラメータ算出部18bと、顔補正パラメータ算出部18cと顔年代データ処理部18dを有する。
【0044】
顔年代算出部18aは、画像年代学習済モデル15aを用いて、属性判定対象者の顔年代を算出する処理部である。具体的には、属性判定対象者の顔画像を画像年代学習済モデル15aに入力したならば、該画像年代学習済モデル15aから属性判定対象者の年代が出力される。
【0045】
顔パラメータ算出部18bは、顔画像から人間の確からしさである顔パラメータを算出する。ここではその詳細な説明を省略するが、あらかじめ多数の人間の顔画像と各正解データ、多数の人間以外の画像と各正解データを学習用データとして深層学習を行い、学習済モデルを生成しておく。そして、属性判定対象者の顔画像を学習済モデルに入力したならば、該学習済モデルから人間の確からしさが百分率で出力される。例えば、極めて人間らしい場合には顔パラメータが100に近づき、人間らしくない場合には顔パラメータが0に近づく。
【0046】
顔補正パラメータ算出部18cは、人間の確からしさを表わす顔パラメータ及び属性判定装置10にあらかじめ設定されている顔年代信頼度に基づいて顔補正パラメータを算出する。具体的には、例えば、顔画像から算出された顔パラメータが50(
図7(c)参照)であり、顔年代信頼度が80%(
図7(a)参照)であった場合に、顔補正パラメータは、顔パラメータの50に、顔年代信頼度の0.8を掛け合わせ、顔補正パラメータを40(
図7(c)参照)と算出する。
【0047】
顔年代データ処理部18dは、顔年代及び顔補正パラメータに基づいて顔年代データを生成する。例えば、顔年代算出部18aで算出した顔年代が20(
図7(b)参照)、顔補正パラメータを40(
図7(c)参照)とすると、該顔年代と該顔補正パラメータを1つのデータとして顔年代データを生成する。
【0048】
<におい年代データ推定部19の処理>
次に、
図4に示すにおい年代データ推定部19の処理について説明する。
図6は、におい年代データ推定部19の処理を説明するための説明図である。
図6に示すように、におい年代データ推定部19は、におい年代算出部19aと、においパラメータ算出部19bと、におい補正パラメータ算出部19cとにおい年代データ処理部19dを有する。
【0049】
におい年代算出部19aは、におい年代学習済モデル15bを用いて、属性判定対象者のにおい年代を算出する処理部である。具体的には、属性判定対象者のにおいデータをにおい年代学習済モデル15bに入力したならば、該におい年代学習済モデル15bから属性判定対象者の年代が出力される。
【0050】
においパラメータ算出部19bは、においデータから人間の確からしさであるにおいパラメータを算出する。ここではその詳細な説明を省略するが、あらかじめ多数の人間のにおいデータと各正解データ、多数の人間以外のにおいと各正解データを学習用データとして深層学習を行い、学習済モデルを生成しておく。そして、属性判定対象者のにおいデータを学習済モデルに入力したならば、該学習済モデルから人間の確からしさが百分率で出力される。例えば、極めて人間らしい場合にはにおいパラメータが100に近づき、人間らしくない場合にはにおいパラメータが0に近づく。
【0051】
におい補正パラメータ算出部19cは、人間の確からしさを表すにおいパラメータ及び属性判定装置10にあらかじめ設定されているにおい年代信頼度に基づいてにおい補正パラメータを算出する。具体的には、例えば、においデータから算出されたにおいパラメータが100(
図7(c)参照)であり、におい年代信頼度が20%(
図7(a)参照)であった場合に、におい補正パラメータは、においパラメータの100に、におい年代信頼度の0.2を掛け合わせ、におい補正パラメータを20(
図7(c)参照)と算出する。
【0052】
<年代特定部20の処理>
次に、
図4に示した年代特定部20の処理について説明する。年代特定部20は、顔年代データ推定部18で推定された顔年代データと、におい年代データ推定部19で推定されたにおい年代データとに基づいて、属性判定対象者の年代の特定を行う。具体的には、顔年代データに含まれる顔年代と、におい年代データに含まれるにおい年代が同一の場合は、該年代を属性判定対象者の年代と特定する。
【0053】
また、顔年代とにおい年代が同一でない場合には、顔補正パラメータの比率Apとにおい補正パラメータの比率Bpを算出する。例えば、顔補正パラメータが40(
図7(c)参照)であり、におい補正パラメータが20(
図7(c)参照)である場合は、顔補正パラメータの比率Apは、40/(40+20)=0.66と算出する。また、におい補正パラメータの比率Bpは、20/(40+20)=0.33と算出する。
【0054】
そして、顔画像による年齢を顔年代の20(
図7(b)参照)の中央値25及び顔補正パラメータの比率Apの0.66を掛け合わせ25×0.66=16.5と算出する。また、においデータによる年齢をにおい年代の50(
図7(b)参照)の中央値55及びにおい補正パラメータの比率Bpの0.33を掛け合わせ55×0.33=18.15と算出する。そして、顔年齢の16.5と、におい年齢の18.15とを加算し、推定年齢を34.65と算出し、年代を30代と特定する。
【0055】
<顔性別データ推定部22の処理>
次に、
図4に示した顔性別データ推定部22の処理について説明する。
図8は、顔性別データ推定部22の処理について説明する説明図である。
図8に示すように、顔性別データ推定部22は、顔性別算出部22aと、顔性別パラメータ算出部22bと、顔性別補正パラメータ算出部22cと顔性別データ処理部22dを有する。
【0056】
顔性別算出部22aは、画像性別学習済モデル15cを用いて、属性判定対象者の顔性別を算出する処理部である。具体的には、属性判定対象者の顔画像を画像性別学習済モデル15cに入力したならば、該画像性別学習済モデル15cから属性判定対象者の性別が出力される。
【0057】
顔性別パラメータ算出部22bは、顔画像から人間の確からしさである顔性別パラメータを算出する。ここではその詳細な説明を省略するが、あらかじめ多数の人間の顔画像と各正解データ、多数の人間以外の画像と各正解データを学習用データとして深層学習を行い、学習済モデルを生成しておく。そして、属性判定対象者の顔画像を学習済モデルに入力したならば、該学習済モデルから人間の確からしさが百分率で出力される。例えば、極めて人間らしい場合には顔性別パラメータが100に近づき、人間らしくない場合には顔性別パラメータが0に近づく。
【0058】
顔性別補正パラメータ算出部22cは、人間の確からしさを表わす顔パラメータ及び属性判定装置10にあらかじめ設定されている顔性別信頼度に基づいて顔性別補正パラメータを算出する。具体的には、例えば、顔画像から算出された顔性別パラメータが50(
図10(c)参照)であり、顔性別信頼度が80%(
図10(a)参照)であった場合に、顔性別補正パラメータは、顔性別パラメータの50に、顔性別信頼度の0.8を掛け合わせ、顔補正パラメータを40(
図10(c)参照)と算出する。
【0059】
顔性別データ処理部22dは、顔性別及び顔性別補正パラメータに基づいて顔性別データを生成する。例えば、顔性別算出部22aで算出した顔性別が女性(
図10(b)参照)、顔性別補正パラメータを40(
図10(c)参照)とすると、該顔性別と該顔性別補正パラメータを1つのデータとして顔性別データを生成する。
【0060】
<におい性別データ推定部23の処理>
次に、
図4に示すにおい性別データ推定部23の処理について説明する。
図9は、におい性別データ推定部23の処理を説明するための説明図である。
図9に示すように、におい性別データ推定部23は、におい性別算出部23aと、におい性別パラメータ算出部23bと、におい性別補正パラメータ算出部23cとにおい性別データ処理部23dを有する。
【0061】
におい性別算出部23aは、におい性別学習済モデル15dを用いて、属性判定対象者のにおい性別を算出する処理部である。具体的には、属性判定対象者のにおいデータをにおい性別学習済モデル15dに入力したならば、該におい性別学習済モデル15dから属性判定対象者の性別が出力される。
【0062】
におい性別パラメータ算出部23bは、においデータから人間の確からしさであるにおい性別パラメータを算出する。ここではその詳細な説明を省略するが、あらかじめ多数の人間のにおいデータと各正解データ、多数の人間以外のにおいと各正解データを学習用データとして深層学習を行い、学習済モデルを生成しておく。そして、属性判定対象者のにおいデータを学習済モデルに入力したならば、該学習済モデルから人間の確からしさが百分率で出力される。例えば、極めて人間らしい場合にはにおい性別パラメータが100に近づき、人間らしくない場合にはにおい性別パラメータが0に近づく。
【0063】
におい性別補正パラメータ算出部23cは、人間の確からしさを表すにおいパラメータ及び属性判定装置10にあらかじめ設定されているにおい性別信頼度に基づいてにおい性別補正パラメータを算出する。具体的には、例えば、においデータから算出されたにおい性別パラメータが100(
図10(c)参照)であり、におい性別信頼度が20%(
図10(a)参照)であった場合に、におい性別補正パラメータは、におい性別パラメータの100に、におい性別信頼度の0.2を掛け合わせ、におい性別補正パラメータを20(
図10(c)参照)と算出する。
【0064】
<性別特定部24の処理>
次に、
図4に示した性別特定部24の処理について説明する。性別特定部24は、顔性別データ推定部22で算出された顔性別データ及びにおい性別データ推定部23で算出されたにおい性別データに基づいて性別の特定を行う。具体的には、顔性別データに含まれる顔性別と、におい性別データに含まれるにおい性別が同一の場合は、該性別を属性判定対象者の性別と特定する。
【0065】
また、顔性別とにおい性別が同一でない場合には、顔性別補正パラメータの比率Cpとにおい性別補正パラメータの比率Dpを算出する。例えば、顔性別補正パラメータが40(
図10(c)参照)であり、におい性別補正パラメータが20(
図10(c)参照)である場合は、顔性別補正パラメータの比率Cpは、40/(40+20)=0.66と算出する。また、におい性別補正パラメータの比率Dpは、20/(40+20)=0.33と算出する。
【0066】
そして、顔性別補正パラメータの比率Cp(0.66)と、におい性別補正パラメータの比率Dp(0.33)とを比較し、この場合はCp>Dpであるため、顔による性別推定を有効とし、性別は女性(
図10(b)参照)と判定する。なお、におい性別補正パラメータの比率Dpが顔性別補正パラメータの比率Cpよりも大きい場合は、においによる性別推定を有効とする。また、顔性別補正パラメータの比率Cpがにおい性別補正パラメータの比率Dpより大きくなく、におい性別補正パラメータの比率Dpが顔性別補正パラメータの比率Cpより大きくない場合には、性別不定として判定する。
【0067】
<属性判定装置10の処理手順>
次に、属性判定装置10の処理手順について説明する。
図11は、
図4に示した属性判定装置10の処理手順を示したフローチャートである。
図11に示すように、属性判定装置10は、撮像部13により属性判定対象者の顔画像を取得する(ステップS101)。そして、属性判定装置10は、においセンサ部14により属性判定対象者のにおいデータを取得する(ステップS102)。
【0068】
その後、属性判定装置10は、取得した顔画像及びにおいデータに基づいて年代算出処理を行う(ステップS103)。そして、属性判定装置10は、取得した顔画像及びにおいデータに基づいて性別算出処理を行い(ステップS104)、一連の処理を終了する。
【0069】
<年代算出処理の処理手順>
次に、
図11に示した年代算出処理の処理手順について説明する。
図12は、年代算出処理の処理手順を示したフローチャートである。
図12に示すように、属性判定装置10は、取得した顔画像に基づいて、顔年代データ推定処理を行う(ステップS201)。その後、属性判定装置10は、取得した顔画像及びにおいデータに基づいて、におい年代データ推定処理を行う(ステップS202)。
【0070】
そして、属性判定装置10は、顔年代データ推定処理で算出された顔年代と、におい年代データ推定処理で算出されたにおい年代が同一か否かを判定する(ステップS203)。顔年代とにおい年代が同一である場合は(ステップS203:Yes)、顔年代又はにおい年代を属性判定対象者の年代として特定し(ステップS204)、
図11のS104に移行する。
【0071】
一方、属性判定装置10は、顔年代とにおい年代が同一でない場合は(ステップS203:No)、顔補正パラメータ及びにおい補正パラメータに基づいて、顔補正パラメータの比率Apを算出する(ステップS205)。そして、属性判定装置10は、顔補正パラメータ及びにおい補正パラメータに基づいて、におい補正パラメータの比率Bpを算出する(ステップS206)。
【0072】
その後、属性判定装置10は、顔年代及び顔補正パラメータの比率Apに基づいて顔年齢を算出する(ステップS207)。そして、属性判定装置10は、におい年代及びにおい補正パラメータの比率Bpに基づいてにおい年齢を算出する(ステップS208)。その後、属性判定装置10は、顔年齢とにおい年齢を加算し推定年齢を算出し、推定年齢に基づいて属性判定対象者の年代を特定し(ステップS209)、
図11のS104に移行する。
【0073】
<顔年代データ推定処理の処理手順>
次に、
図12に示した顔年代データ推定処理の処理手順について説明する。
図13は、顔年代データ推定処理の処理手順を示すフローチャートである。
図13に示すように、属性判定装置10は、顔画像から顔年代を算出する(ステップS301)。そして、属性判定装置10は、顔画像から顔パラメータを算出する(ステップS302)。
【0074】
そして、属性判定装置10は、顔パラメータと顔年代信頼度とに基づいて、顔補正パラメータを算出する(ステップS303)。その後、属性判定装置10は、顔年代及び顔補正パラメータを1つのデータとして顔年代データを生成し(ステップS304)、
図12のS202に移行する。
【0075】
<におい年代データ推定処理の処理手順>
次に、
図12に示したにおい年代データ推定処理の処理手順について説明する。
図14は、におい年代データ推定処理の処理手順を示すフローチャートである。
図14に示すように、属性判定装置10は、においデータからにおい年代を算出する(ステップS401)。そして、属性判定装置10は、においデータからにおいパラメータを算出する(ステップS402)。
【0076】
その後、属性判定装置10は、においパラメータとにおい年代信頼度とに基づいて、におい補正パラメータを算出する(ステップS403)。その後、属性判定装置10は、におい年代及びにおい補正パラメータを1つのデータとしてにおい年代データを生成し(ステップS404)、
図12のS203に移行する。
【0077】
<性別算出処理の処理手順>
次に、
図11に示した性別算出処理の処理手順について説明する。
図15は、性別算出処理の処理手順を示すフローチャートである。
図15に示すように、属性判定装置10は、顔画像に基づいて顔性別データ推定処理を行う(ステップS501)。そして、属性判定装置10は、においデータに基づいてにおい性別データ推定処理を行う(ステップS502)。
【0078】
そして、属性判定装置10は、顔性別データ推定処理で算出された顔性別と、におい性別データ推定処理で算出されたにおい性別が同一か否かを判定する(ステップS503)。顔性別とにおい性別が同一である場合は(ステップS503:Yes)、顔性別又はにおい性別を属性判定対象者の性別として特定し(ステップS504)、
図11のメインフローに移行して処理を終了する。
【0079】
一方、属性判定装置10は、顔性別とにおい性別が同一でない場合は(ステップS503:No)、顔性別補正パラメータ及びにおい性別補正パラメータに基づいて、顔性別補正パラメータの比率Cpを算出する(ステップS505)。そして、属性判定装置10は、顔性別補正パラメータ及びにおい性別補正パラメータに基づいて、におい性別補正パラメータの比率Dpを算出する(ステップS506)。
【0080】
その後、属性判定装置10は、顔性別補正パラメータの比率Cpがにおい性別パラメータの比率Dpより大きいか否かを判定する(ステップS507)。顔性別補正パラメータの比率Cpがにおい性別補正パラメータの比率Dpよりも大きい場合は(ステップS507:Yes)、顔画像による性別の算出を有効とし(ステップS508)、
図11のメインフローに移行し、処理を終了する。
【0081】
一方、属性判定装置10は、顔性別補正パラメータの比率Cpがにおい性別補正パラメータの比率Dpよりも大きくない場合は(ステップS507:No)、におい性別補正パラメータの比率Dpが顔性別補正パラメータの比率Cpより大きいか否かを判定する(ステップS509)。におい性別補正パラメータの比率Dpが顔性別補正パラメータの比率Cpより大きい場合は(ステップS509:Yes)、においデータによる性別の算出を有効とし(ステップS510)、
図11のメインフローに移行し、処理を終了する。
【0082】
また、属性判定装置10は、におい性別補正パラメータの比率Dpが顔性別補正パラメータの比率Cpより大きくない場合は(ステップS509:No)、性別推定を不定と判定し(ステップS511)、
図11のメインフローに移行し、処理を終了する。
【0083】
<顔性別データ推定処理の処理手順>
次に、
図15に示した顔性別データ推定処理の処理手順について説明する。
図16は、顔性別データ推定処理の処理手順を示すフローチャートである。
図16に示すように、属性判定装置10は、顔画像から顔性別を算出する(ステップS601)。そして、属性判定装置10は、顔画像から顔性別パラメータを算出する(ステップS602)。
【0084】
そして、属性判定装置10は、顔性別パラメータと顔性別信頼度とに基づいて、顔性別補正パラメータを算出する(ステップS603)。その後、属性判定装置10は、顔性別パラメータと顔性別補正パラメータに基づいて顔性別データを生成し(ステップS604)、
図15のS502に移行する。
【0085】
<におい性別データ推定処理の処理手順>
次に、
図15に示したにおい性別データ推定処理の処理手順について説明する。
図17は、におい性別データ推定処理の処理手順を示すフローチャートである。
図17に示すように、属性判定装置10は、においデータからにおい性別を算定する(ステップS701)。そして、属性判定装置10は、においデータからにおい性別パラメータを算出する(ステップS702)。
【0086】
その後、属性判定装置10は、におい性別パラメータ及びにおい性別信頼度に基づいて、におい性別補正パラメータを算出する(ステップS703)。その後、属性判定装置10は、におい性別及びにおい性別補正パラメータを1つのデータとしてにおい性別データを生成し(ステップS704)、
図15のS503に移行する。
【0087】
<ハードウエアとの関係>
次に、本実施形態に係る属性判定装置10と、コンピュータの主たるハードウエア構成の対応関係について説明する。
図18は、ハードウエア構成の一例を示す図である。
【0088】
一般的に、コンピュータは、CPU41、ROM42、RAM43及び不揮発性メモリ44などがバス45により接続された構成となる。不揮発性メモリ44の代わりにハードディスク装置が設けられていてもよい。説明の便宜上、基本的なハードウエア構成のみを示している。
【0089】
ここで、ROM42又は不揮発性メモリ44には、オペレーティングシステム(以下、単に「OS」と言う)の起動に必要となるプログラム等が記憶されており、CPU41は、電源投入時にROM42又は不揮発性メモリ44からOSのプログラムをリードして実行する。
【0090】
一方、OS上で実行される各種のアプリケーションプログラムは、不揮発性メモリ44に記憶されており、CPU41がRAM43を主メモリとして利用しつつアプリケーションプログラムを実行することにより、アプリケーションに対応するプロセスが実行される。
【0091】
そして、本実施形態に係る属性判定装置10の属性判定プログラムについても、他のアプリケーションプログラムと同様に不揮発性メモリ44等に記憶され、CPU41が、かかる属性判定プログラムをロードして実行することになる。本実施形態に係る属性判定装置10の場合には、
図2に示した画像取得部16a、におい取得部16b、年代算出部17及び性別算出部21に対応するルーチンを含む属性判定プログラムが不揮発性メモリ44等に記憶される。CPU41により属性判定プログラムがロード実行されることにより、画像取得部16a、におい取得部16b、年代算出部17及び性別算出部21に対応する属性判定プロセスが生成される。
【0092】
上述してきたように、本実施形態では、属性判定装置10は、撮像部13から属性判定対象者の顔画像を取得するとともに、においセンサ部14から属性判定対象者のにおいデータを取得する。そして、属性判定装置10は、年代算出部17において、顔画像に基づいて顔年代データ推定部18により顔年代データを算出するとともに、におい年代データ推定部19において、においデータに基づいてにおい年代データを算出する。そして、属性判定装置10は、顔年代データ及びにおい年代データに基づいて、年代特定部20において、属性判定対象者の年代を算出する。また、属性判定装置10は、性別算出部21において、顔画像に基づいて顔性別データ推定部22により顔性別データを算出するとともに、におい性別データ推定部23において、においデータに基づいてにおい性別データを算出する。そして、属性判定装置10は、顔性別データ及びにおい性別データに基づいて、性別特定部24において、属性判定対象者の性別を算出するように構成したため、年代や性別等の人物の属性を効率良く判定することができる。
【0093】
なお、上記の実施形態では、においによる人間の確からしさを求めることとしたが、かかるにおいには、人間が発するにおいのほかに、人が纏う香水や香料などのにおいも含まれる。
【0094】
また、上記の実施形態では、顔画像そのものを学習済モデルに入力する場合を示したが、本発明はこれに限定されるものではなく、顔画像の特徴量を抽出し、この特徴量を学習済モデルに入力することもできる。
【0095】
また、上記の実施形態では、深層学習の学習済モデルを用いた場合について説明したが、本発明はこれに限定されるものではなく、ライトGBM、ランダムフォレスト等の機械学習を用いて学習済モデルを生成することもできる。また、学習済モデルの代わりに統計的手法を用いることもできる。例えば、あらかじめ求めた年代ごとのデータを求めておき、属性判定対象者のデータとの相互相関をとり、相関値の最も高い年代とすることができる。
【0096】
また、上記の実施形態では、属性として年代及び性別について判定をする場合について説明したが、本発明はこれに限定されるものではなく、属性として人種、居住地、職業などの判定に適用することができる。
【0097】
上記の実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【産業上の利用可能性】
【0098】
本発明に係る属性判定装置、属性判定方法及び属性判定プログラムは、人物の顔情報とにおい情報を取得し、顔画像による属性判定と、においによる属性判定との両方の判定結果を総合的に判定することで、年代や性別等の人物属性の判定制度を向上する場合に適している。
【符号の説明】
【0099】
10 属性判定装置
11 表示部
12 入力部
13 撮像部
14 においセンサ部
15 記憶部
15a 画像年代学習済モデル
15b におい年代学習済モデル
15c 画像性別学習済モデル
15d におい性別学習済モデル
15e 年代信頼度データ
15f 性別信頼度データ
16 制御部
16a 画像取得部
16b におい取得部
17 年代算出部
18 顔年代データ推定部
18a 顔年代算出部
18b 顔パラメータ算出部
18c 顔補正パラメータ算出部
18d 顔年代データ処理部
19 におい年代データ推定部
19a におい年代算出部
19b においパラメータ算出部
19c におい補正パラメータ算出部
19d におい年代データ処理部
20 年代特定部
21 性別算出部
22 顔性別データ推定部
22a 顔性別算出部
22b 顔性別パラメータ算出部
22c 顔性別補正パラメータ算出部
22d 顔性別データ処理部
23 におい性別データ推定部
23a におい性別算出部
23b におい性別パラメータ算出部
23c におい性別補正パラメータ算出部
23d におい性別データ処理部
24 性別特定部
41 CPU
42 ROM
43 RAM
44 不揮発性メモリ
45 バス