特開 2017-41218 顔画像から体重を推定するシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-41218(P2017-41218A)

(43)【公開日】2017年2月23日

(54)【発明の名称】顔画像から体重を推定するシステム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20170203BHJP

   G06T 7/00 20170101ALI20170203BHJP

   G01G 19/44 20060101ALI20170203BHJP

【ＦＩ】

   G06T1/00 340A

   G06T7/00 350B

   G01G19/44 D

【審査請求】未請求

【請求項の数】8

【出願形態】書面

【全頁数】10

(21)【出願番号】特願2015-175154(P2015-175154)

(22)【出願日】2015年8月20日

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．イーサネット

(71)【出願人】

【識別番号】515244829

【氏名又は名称】石▲崎▼ 仁一

(72)【発明者】

【氏名】石▲崎▼ 仁一

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057AA20

5B057BA02

5B057BA23

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD02

5B057CD03

5B057CD05

5B057CF05

5B057CH11

5B057CH14

5B057CH20

5B057DA16

5B057DA20

5B057DB02

5B057DB09

5B057DC02

5B057DC03

5B057DC05

5B057DC08

5B057DC16

5B057DC33

5B057DC36

5B057DC40

5L096BA08

5L096CA02

5L096CA25

5L096DA02

5L096EA13

5L096EA15

5L096EA16

5L096EA31

5L096FA34

5L096FA66

5L096FA67

5L096HA07

5L096HA11

5L096JA11

5L096KA04

(57)【要約】      （修正有）

【課題】複数の顔画像を分析し、体重に影響する部分とそうでない部分との相関関係から体重測定を行うことを可能とする。
【解決手段】ユーザーの携帯端末１００_１〜１００_Ｎから複数の顔画像をネットワーク網ＮＷ１に送信する。送られた顔画像データはインターネット網を経て情報処理装置２００に蓄積する。蓄積された顔画像データはインターネット網を経由してＰＣより閲覧、解析を行う事が出来、顔について、目と目の間、鼻、口、顔の輪郭の幅や、顔の輪郭上の複数の接線が交わる際の角度といったデータについて解析を行う。解析したデータから上記相関関係に従って体重測定を行い、情報処理装置２００に蓄積しつつユーザーの携帯端末１００_１〜１００_Ｎに表示する。ＰＣは顔画像解析から学習し、上記相関関係の統計データを改めることで体重測定精度を向上させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

人物の顔画像からその人物の体重を推定するための機械学習システムであって、（ａ）人物の顔画像に含まれる頭部の形状を表現する特徴量となる座標の集合を入力とし、その人物の体重の推定値を出力することができる推定アルゴリズムと、（ｂ）人物の顔画像に含まれる頭部の座標の集合を入力とし、その人物の体重の正解データを出力とすることで、推定アルゴリズムに含まれる可変パラメータが自動的に学習され、推定あるゴリズムの精度を向上させることができる学習アルゴリズムと、（ｃ）システムの利用者によって、顔写真とその写真撮影時の体重をシステムにアップロードすることができる、正解データ収集支援アプリケーションと、を含む機械学習システム。

【請求項2】

前記推定アルゴリズムは、線形回帰、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワークを用いた統計的推定、強化学習、深層学習の内の１つまたは複数を含む、請求項１に記載の機械学習システム。

【請求項3】

前記学習アルゴリズムは、線形回帰、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットフークを用いた統計的推定、強化学習、深層学習の内の１つまたは複数を含む、請求項１に記載の機械学習システム。

【請求項4】

前期正解データ収集支援アプリケーションは、スマートフォンおよびパーソナルコンピュータ上で動作するネイティブアプリケーションもしくはブラウザアプリケーション。

【請求項5】

前記頭部の形状を表現する特徴量となる座標の集合に対する、請求項２および請求項３の機械学習効率を高めるための補正処理であって、（ａ）画像サイズに精度が依存しないようにするための正規化補正、（ｂ）画像の鉛直軸もしくは水平軸に対する顔の回転角度に精度が依存しないようにするための角度補正、（ｃ）画像の中央座標に対する顔の中央座標の位置ベクトルが精度に依存しないようにするための平行移動補正を、１つまたは複数含む補正処理。

【請求項6】

前期正規化補正は、頭部画像を画像処理することにより得られる、両側の外眼角点もしくは画側の内眼角点の間の距離を、距離の単位として画像全体を正規化する補正方法を含む正規化補正。

【請求項7】

前期角度補正は、頭部画像を画像処理することにより得られる、両側の外眼角点もしくは両側の内眼角点を結ぶことよって形成される直線の傾きを増減させるように画像全体に回転処理を施す方法を含む角度補正。

【請求項8】

前期平行移動補正は、頭部画像を画像処理することにより得られる、両側の外眼角点もしくは両側の内眼角点を結ぶことよって形成される直線の中点の座標、もしくは、鼻根点の座標、もしくは、眉間点の座標のいずれかを原点として、画像全体に平行移動処理を施す方法を含む平行補正。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物の顔画像からその人物の体重を推定するプログラム、情報処理装置、ネットワーク装置、サーバ装置に関する。

【背景技術】

【0002】

体重計は一般的に体重を計測する装置として使用されている。この体重計の応用として、例えば、体重を測定した後にその値を外部の記憶装置に送信し、その人物の体重測定の履歴を記録することが可能な高機能体重計が存在する。

【0003】

顔認識技術は一般的に人物画像の中から顔画像を検出するために使用されている。この技術を用いた応用技術として、例えば、顔画像を検出した後に、その顔画像の特徴からその人物の年齢や性別を推定することが可能な技術が存在する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許公開２００４−２６５４３１

【特許文献2】特許出願２００４−１１０８８０

【発明が解決しようとする課題】

【0005】

以上のような体重計には次のような課題があった。体重を計測するためには、自宅に据え置きされている体重計に乗る必要があるため、外出先から気軽に使用することができない。また、体重を外部記憶装置に記録できる機能を有する高機能体重計は、その機能を有しない一般的な体重計に比べて高価であるため、その機能による費用対効果が低いと考える消費者に対しては普及しにくい。

【0006】

さらに、次のような理由により、これらの課題は解決を求められている。『総務省国民生活に関する世論調査１９９６』によると、国民生活における関心事項の割合において第一位が「自分の健康」（４４％）、第三位が「家族の健康」（３６％）となっており、国民が医療やヘルスケアに高い関心を持っていることが示されている。特に、近年は生活習慣病予防の観点や、容姿外見に関する美的観点から、体重やＢＭＩを正常値に保つことが重用視されている。そのため、場所を選ばず自動的に体重を記録して管理することに対するニーズが高くなっている。

【課題を解決するための手段】

【0007】

上記の課題を解決すべく、本発明は、顔認識技術を応用して人物の顔画像からその人物の体重を推定すること、および、外部記録装置と組み合わせて体重を自動的に記憶することを可能にするソフトウェアとシステム構成を提供する。

【0008】

本発明の利用者は、スマートフォンやパーソナルコンピュータ、携帯型ゲーム機、電子書籍リーダーなどの、既に保有している可搬な端末上でソフトウェアを動作させる。ソフトウェアは顔画像からその人物の体重を推定すし、推定された体重は電子記録媒体に自動的に記録され管理される。

【発明の効果】

【0009】

本発明は、既に広く普及しているスマートフォンなどの端末でも利用可能であるため、場所を選ばず体重を推定して記録することが可能になる。そのため、体重を計測する際に自宅に据え置きされている体重計に乗る必要性がなくなる。また、体重を外部記憶装置に記録できる機能を有する高機能体重計を高額で入手する必要性がなくなる。以上により、本発明は前述の課題を解決する効果を有する。

【0010】

また、システムには様々な人物の顔画像と体重の推定結果が蓄積されていくが、蓄積された推定結果には、正しく推定できなかったものも含まれることが想定される。利用者は自身の体重がシステムによって正しく推定されてなかったと感じた場合、正しい値をシステムに送信することによって、推定体重の修正を申し出ることができる。システムは、修正された値を学習用データとして機械学習を行うことにより、それ以降の推定精度を向上させる。

【0011】

さらに、利用者は自身の顔写真と健康状態をシステムに送信することができる。システムは、顔写真と健康状態を学習用データとして機械学習を行うことにより、顔写真からその人物の健康状態を推定できるようになる。

【図面の簡単な説明】

【0012】

【図1】 体重測定システムの構成の概略を示す図

【図2】 クライアント端末のハードウェア構成を示すブロック図

【図3】 情報処理装置のハードウェア構成を示すブロック図

【図4】 利用者ＤＢのデータ構成例

【図5】 体重ＤＢのデータ構成例

【図6】 体重推定の結果を表示するまでの流れを示す図

【図7】 クライアント端末上への推定体重の表示例を示す図

【図8】 解析に使用する顔の箇所の例１

【図9】 解析手法の概略図１

【図10】 解析に使用する顔の箇所の例２

【図11】 解析手法の概略図２

【発明を実施するための形態】

【0013】

請求項１およびせい請求項２に係る本発明は以下のシステム構成と処理フローを提供する。

【0014】

まず、システム構成について概説する。

【0015】

システムには、利用者が保有しているクライアント端末１００を少なくとも必要とする。このクライアント端末１００は、スマートフォンやパーソナルコンピュータ、携帯型ゲーム機、電子書籍リーダーなどが該当する。いずれの場合も、クライアント端末１００は、ソフトウェアを実行するためのＣＰＵおよびメモリと、利用者に対して情報を表示するためのディスプレイを少なくとも必要とする。

【0016】

クライアント端末１００が高性能なＣＰＵやメモリを有しており、ＣＰＵ負荷が大きい複雑な画像処理プログラムを実行することが可能である場合、後述の体重推定プログラム９００をクライアント端末１００の内部で実行することが可能である。このように、他の端末に依存せず単独の端末だけで動作する方式を「スタンドアロン型アプリケーション方式」と命名する。本発明は、スタンドアロン型アプリケーション方式によって体重推定プログラム９００を動作させ、利用者に対して結果を表示するということを可能にする。

【0017】

しかし、本発明は、必ずしもスタンドアロン型アプリケーション方式をとる必要はない。他の機器とネットワークを介して連携することで動作する方式を「クライアントサーバ型アプリケーション方式」と命名する。本発明は、例えば、計算用サーバ機のような情報処理装置２００の内部で体重推定プログラム９００を実行し、クライアント端末１００にその結果を表示するという方式を取ることも可能である。この場合、クライアント端末１００には情報処理装置２００と通信するための通信部が必要である。

【0018】

これより以下では、本発明をクライアントサーバ型アプリケーション方式で実現した場合の詳細について記述されているが、本発明は、スタンドアロン型アプリケーション方式でも実現可能であることに留意されたい。

【0019】

図１はこの発明をクライアントサーバ型アプリケーション方式で実施する際のシステムの形態を示す図である。システムには少なくとも、利用者が保有しているクライアント端末１００と、後述の体重推定プログラム９００が動作する情報処理装置２００と、それらをネットワーク接続するためのネットワーク網ＮＷ１と、利用者情報を記録するための利用者データベースＤＢ１と、顔写真情報を記録するための顔写真データベースＤＢ２と、顔写真の実データを保存しておくためのストレージＳＴＲ１とを必要とする。

【0020】

図１において、複数のクライアント端末１００を図示しており、それぞれ１００＿１、１００＿２、および１００＿Ｎと記載している。クライアント端末１００は、例えば、スマートフォンやタブレット端末、携帯型のゲーム機、電子書籍リーダーであってもよい。
また、全てのクライアント端末１００がネットワーク網ＮＷ１を介して単一の情報処理装置２００と接続さてているが、情報処理装置２００は複数存在しても良い。また、その場合、任意のクライアント端末１００は、ネットワーク網ＮＷ１を介して任意の情報処理装置２００と接続することができる。また、ネットワーク網ＮＷ１は、クライアント端末１００と情報処理装置２００を接続するための任意のネットワークであり、例えば、インターネット、広域イーサネット、ＶＰＮ、ＬＡＮなどである。

【0021】

図２は、クライアント端末１００のハードウェア構成を示すブロック図である。クライアント端末１００は、制御部１１０、記憶部１２０、通信部１３０、演算部１４０、入力部１５０、表示部１６０を少なくとも備える。制御部１１０は、クライアント端末１００の各部の動作を制御するものである。記憶部１２０はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といったメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）といった記憶装置である。通信部１３０は、ネットワーク網ＮＷ１を介して情報処理装置２００と接続するための機能を有する、ネットワークアダプタといった有線通信もしくは無線通信装置である。演算部１４０は、プログラムを実行するための機能を有する、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や算術論理ユニットＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ Ｌｏｇｉｃ Ｕｎｉｔ）、各種レジスターやカウンター、命令解読と実行制御をつかさどる装置である。入力部１５０は、クライアント端末１００の利用者がクライアント端末１００を操作したり、クライアント端末１００に情報を入力したりするための、マウス、キーボード、タッチパネル、カメラといった入力装置である。表示部１６０は、クライアント端末１００の利用者に情報を視覚的に伝えるための、液晶素子や有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）素子を用いた表示パネルと、表示パネルの各素子を駆動する駆動回路とを備える表示装置である。

【0022】

図３は、情報処理端末２００のハードウェア構成を示すブロック図である。情報処理端末２００は、制御部２１０、記憶部２２０、通信部２３０、演算部２４０を少なくとも備える。制御部２１０は、情報処理端末２００の各部の動作を制御するものである。記憶部２２０はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といったメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）といった記憶装置である。通信部２３０は、ネットワーク網ＮＷ１を介してクライアント端末１００と接続するための機能を有する、ネットワークアダプタといった有線通信もしくは無線通信装置である。演算部２４０は、プログラムを実行するための機能を有する、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や算術論理ユニットＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ Ｌｏｇｉｃ Ｕｎｉｔ）、各種レジスターやカウンター、命令解読と実行制御をつかさどる装置である。

【0023】

図４は、利用者データベースＤＢ１に記録されるデータの構成例を表す図である。１利用者ごとに、利用者ＩＤ、氏名、身長といった要素が記録される。利用者ＩＤは、利用者を区別するための固有の文字列である。氏名は、利用者がシステムに登録した氏名である。身長は、利用者がシステムに登録した身長である。

【0024】

図５は、体重データベースＤＢ２に記録されるデータの構成例を表す図である。１つの体重データごとに、体重ＩＤ、利用者ＩＤ、顔画像のＵＲＬ、推定された体重、実際の体重、日時、健康状態といった要素が記録される。体重ＩＤとは、体重データを区別するための固有の文字列である。利用者ＩＤとは、この体重データがどの利用者と紐づいているかを表す文字列で、図４で示した利用者ＩＤのことである。顔画像のＵＲＬとは、実際の顔画像の保存場所を表すＵＲＬである。推定された体重とは、後述の体重推定プログラム９００によって推定されたその利用者の体重である。日時とは、このデータが体重データベースＤＢ２に書き込まれた日時である。

【0025】

次に、処理フローについて概説する。

【0026】

図６は、クライアント端末１００の表示部１６０に、推定体重を表示するまでの流れの一例を表す図である。利用者は、利用者を識別するためのＩＤと顔写真と体重の正解データを、クライアント端末１００から情報処理装置２００に対して送信することが出来る。ただし、ここでは、正解データとは請求項１に記載されているデータである。また、正解データの送信は必須ではない。情報処理装置２００は受け取ったＩＤで利用者データベースＤＢ１から利用者情報を検索する。情報処理装置２００は受け取った顔写真から体重計算に必要な特徴量を抽出する。情報処理装置２００は後述の体重推定プログラム９００を実行して体重を推定する。情報処理装置２００体重データベースＤＢ２に、図５に示した要素を書き込む。推定された体重をクライアント端末１００に返信する。クライアント端末は、受け取った推定体重を表示する。

【0027】

図７は、クライアント端末１００の表示画面の例を示した図である。図７ではクライアント端末がスマートフォンである場合を例にしている。１５０はスマートフォンの表示部であり、その中に顔写真の表示部Ｌ００１、推定体重の表示部Ｌ００２を内在する。また、情報処理装置２００に対して写真を送るアクションを開始させるボタンＢｔ４、スマートフォン内部に保存されている顔写真を選択するボタンＢｔ１、スマートフォンに内蔵されているカメラを起動させたり、フロントカメラとバックカメラを切り替えるボタンＢｔ２などが含まれていても良い。

【0028】

図８は、体重推定プログラム９００が体重の推定に使用する、頭部の形状を表現する特徴量の例１である。眼を開いた状態て？内眼角において上下の眼瞼か？移行する点を「内眼角点」と呼び、両方の内眼角点間の距離を「両内眼角点間距離」と呼ぶ。頭部側面て？最も外側にある点を「側頭点」と呼び、両方の側頭点間の距離を「両側頭点間距離」と呼ぶ。頬骨弓のうち最も外側にある点を「頬骨弓点」よ呼び、両方の頬骨弓点間の距離を「両頬骨弓点間距離」と呼ぶ。下顎角か？最も外側に突出している点を「顎角点」と呼び、両方の顎角点間の距離を「両顎角点間距離」と呼ぶ。なお、これらの距離は請求項６および請求項７および請求項８で示される補正が適用されている。

【0029】

図９は、体重推定手法の概略図である。両側頭点間距離、両頬骨弓点間距離、両顎角点間距離を入力とし、体重を出力とする関数によって、体重を推定する。いかなる関数系を用いても良いが、図９では各変数の一次結合関数を例として図示している。なお、関数には可変パラメータが含まれており、請求項３の機械学習システムを用いてパラメータを学習することができる。

【0030】

図１０は、体重推定プログラム９００が体重の推定に使用する、頭部の形状を表現する特徴量の例２である。顎角点の両端の輪郭を直線で近似し、その２本の直線の間の角を「顎角点角度」と呼ぶ。両方の顎角点角の平均値を「平均顎角点角度」と呼ぶ。

【0031】

図１１は、体重推定手法の概略図である。平均顎角点角度の余弦と、その人物のＢＭＩとには相関関係が存在しており、横軸にＢＭＩ、縦軸に平均顎角点角度の余弦をとった座標空間にデータをプロットした場合、線形の関数で近似することができる。平均顎角点角度からＢＭＩを推定し、推定されたＢＭＩに身長の二乗を乗算することによって体重を推定する。なお、線形関数の傾きは請求項３の機械学習システムを用いて学習することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】