(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-23
(45)【発行日】2022-07-01
(54)【発明の名称】天候推定装置および天候推定方法
(51)【国際特許分類】
G01W 1/02 20060101AFI20220624BHJP
G06T 1/00 20060101ALI20220624BHJP
【ＦＩ】
G01W1/02 A
G06T1/00 340B
【請求項の数】
14
(21)【出願番号】P 2018042638
(22)【出願日】2018-03-09
(65)【公開番号】P2019158433
(43)【公開日】2019-09-19
【審査請求日】2020-12-11
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、総務省、電波資源拡大のための研究開発の委託事業、産業技術力強化法第１９条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000005821
【氏名又は名称】パナソニックホールディングス株式会社
(74)【代理人】
【識別番号】110001379
【氏名又は名称】特許業務法人 大島特許事務所
(72)【発明者】
【氏名】加賀屋 智之
【審査官】佐野 浩樹
(56)【参考文献】
【文献】国際公開第２０１７／２１６９１９（ＷＯ，Ａ１）
【文献】国際公開第２０１７／２１６９２０（ＷＯ，Ａ１）
【文献】特開２０１４－１９２９１０（ＪＰ，Ａ）
【文献】特開２００６－０９９６１１（ＪＰ，Ａ）
【文献】特開２００７－０１０３９５（ＪＰ，Ａ）
【文献】特開２０１２－１７３７６１（ＪＰ，Ａ）
【文献】国際公開第２０１２／１６１２９１（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０５２６００２３（ＣＮ，Ａ）
【文献】特開平０７－１４６３７５（ＪＰ，Ａ）
【文献】特開２０１７－１８７３７１（ＪＰ，Ａ）
【文献】丸田 直美 他，現代社会における衣服着用率の季節変化 第二報 気象データによる予測，日本生気象学会雑誌，2004年，Vol. 40，pp. 361-368
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｗ １／００ － １／１８ 、
Ｇ０６Ｆ１９／００ 、
Ｇ０６Ｑ１０／００ －１０／１０ 、３０／００ －３０／０８ 、
５０／００ －５０／２０ 、５０／２６ －９９／００ 、
Ｇ０６Ｔ １／００ － １／４０ 、 ３／００ － ５／５０ 、
９／００ － ９／４０
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
撮像画像に基づき天候を推定する天候推定装置であって、天候を推定する処理を行うプロセッサを備えており、
前記プロセッサは、
複数の人物を含む撮像画像から前記複数の人物それぞれの特定部位を検出するとともに、前記複数の人物それぞれの特定部位の装身物を検出し、
検出された前記装身物と、装身物に対応付けて予め設定された気象データと、前記撮像画像中の前記複数の人物それぞれの特定部位のうち検出された前記特定部位の数である検出数とに基づいて、前記人物の周囲の天候を推定することを特徴とする天候推定装置。
【請求項2】
前記複数の人物それぞれの特定部位は、前記複数の人物それぞれの上半身または下半身であり、前記プロセッサは、
前記上半身の前記検出数が所定の数以上である場合、前記下半身の前記検出数が前記上半身の検出数より多いか否かにかかわらず、前記上半身の装身物に対応付けられた気象データに基づいて前記天候を推定し、
前記上半身が検出された数が所定の数未満である場合、前記上半身と前記下半身のうち、前記検出数が多い方の装身物に対応付けられた気象データに基づいて前記天候を推定することを特徴とする請求項１に記載の天候推定装置。
【請求項3】
前記プロセッサは、前記検出数の多い特定部位に対応する気象データが、前記検出数の少ない特定部位の装身物に対応する気象データよりも、前記推定の結果に大きく影響するように前記天候を推定することを特徴とする請求項１に記載の天候推定装置。
【請求項4】
前記プロセッサは、検出された前記装身物における、予め定められた種類の装身物の割合を算出し、
算出された割合と、前記予め定められた種類の装身物に対応する前記気象データとに基づいて前記天候を推定することを特徴とする請求項１ないし請求項３に記載の天候推定装置。
【請求項5】
前記プロセッサは、２以上の前記予め定められた種類の装身物について、装身物の種類毎に、その種類の装身物の割合と、その種類の装身物に対応する前記気象データとを積算し、
前記各種類の装身物の前記積算値を合計し、
その合計値に基づいて前記天候を推定することを特徴とする請求項４に記載の天候推定装置。
【請求項6】
前記プロセッサは、前記装身物の使用状態も検出し、前記気象データは、前記使用状態に応じて異なるように設定されていることを特徴とする請求項１ないし請求項５に記載の天候推定装置。
【請求項7】
前記気象データは、地域、季節、または時間帯に応じて異なるように設定されていることを特徴とする請求項１ないし請求項６のいずれかに記載の天候推定装置。
【請求項8】
前記気象データは、前記人物の性別や年齢層に応じて異なるように設定されていることを特徴とする請求項１ないし請求項７のいずれかに記載の天候推定装置。
【請求項9】
前記装身物は、前記人物の服装または持ち物の少なくとも一方を含むことを特徴とする請求項１ないし請求項８のいずれかに記載の天候推定装置。
【請求項10】
前記天候は、気温、降雨量、および風速から選択される少なくとも１つを含むことを特徴とする請求項１ないし請求項９のいずれかに記載の天候推定装置。
【請求項11】
前記プロセッサは、前記人物の前記装身物と前記気象データとを対応付けて機械学習することによって構築した天候識別器を用いて、前記人物の周囲の天候を推定することを特徴とする請求項１ないし請求項１０のいずれかに記載の天候推定装置。
【請求項12】
前記プロセッサは、過去に検出された装身物とその装身物が検出された時刻における実際の気象データとを
対応付けて機械学習することによって、前記天候識別器を構築することを特徴とする請求項１１に記載の天候推定装置。
【請求項13】
前記天候識別器は、前記気温、降雨量、および風速毎に用意されることを特徴とする請求項１１または請求項１２に記載の天候推定装置。
【請求項14】
撮像画像に基づき天候を推定する天候推定方法であって、複数の人物を含む撮像画像から前記複数の人物それぞれの特定部位を検出するとともに、前記複数の人物それぞれの特定部位の装身物を検出するステップと、
検出された前記装身物と、装身物に対応付けて予め設定された気象データと、前記撮像画像中の前記複数の人物それぞれの特定部位のうち検出された前記特定部位の数である検出数とに基づいて、前記人物の周囲の天候を推定するステップと、
を有することを特徴とする天候推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像画像に基づき天候を推定する天候推定装置および天候推定方法に関する。
【背景技術】
【0002】
近年、ショッピングモール等でのマーケティング活用を目的として、監視カメラで人物を撮像した撮像画像に基づき、来店者の人数や属性（例えば、性別、年齢層）を推定することが行われている。このようなマーケティング分析では、例えば来店動向や購買動向等のより詳細な分析を行うために、天候（気象）を考慮することが考えられる。例えば、雨の日は、晴れの日と比べて、来店者が減少する傾向が高いためである。
【0003】
マーケティング分析において天候を考慮するためには、ショッピングモールまたは来店者の所在地の局地的な天候（気象）情報を取得することが必要となる。このような局地的な気象情報を取得するための従来技術として、ネットワークに接続された基地局およびＧＰＳ予測基地と、前記基地局に接続可能な携帯端末とを備えた気象予測システムであって、携帯端末のユーザが、携帯端末において現在位置を気象予測地点として指定する操作入力を行うことにより、現在位置を含む区域の局地的な気象予測結果情報を確認するようにした技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１２－２４２０８８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の特許文献１の従来技術は、携帯端末の操作等に時間や手間がかかるため、ユーザに操作等への協力を求める必要があり、ショッピングモール等の不特定多数の来店者が訪問する環境には適していない。また、上記の特許文献１の従来技術は、観測データ等を用いて天候（気象）を予測しているため、実際の局地的な天候情報や、例えば数分間または数十分間等の短時間の天候情報（例えば、短時間の降雨等）を取得することができなかった。そこで、監視カメラの撮像画像に基づき来店者の人数や属性を推定するときに、それと同時に、撮像画像に基づき来店者の周囲の天候を推定することが考えられる。しかし、気温、風等は、それ自体を撮像することはできないので撮像画像から判断することは難しく、降雨の有無も撮像画像から判断することは難しい。そのため、従来は、撮像画像に基づき、気温、降雨量、風速等の天候を推定することはできなかった。
【0006】
本開示は、このような従来技術の課題を鑑みて案出されたものであり、撮像画像に基づき局地的および短時間の天候を推定することを可能とする天候推定装置および天候推定方法を提供することを主目的とする。
【課題を解決するための手段】
【0007】
本開示の天候推定装置は、撮像画像に基づき天候を推定する天候推定装置であって、天候を推定する処理を行うプロセッサを備えており、前記プロセッサは、複数の人物を含む撮像画像から前記複数の人物それぞれの特定部位を検出するとともに、前記複数の人物それぞれの特定部位の装身物を検出し、検出された前記装身物と、装身物に対応付けて予め設定された気象データと、前記撮像画像中の前記複数の人物それぞれの特定部位のうち検出された前記特定部位の数である検出数とに基づいて、前記人物の周囲の天候を推定することを特徴とする。
【0008】
本開示の天候推定方法は、撮像画像に基づき天候を推定する天候推定方法であって、複数の人物を含む撮像画像から前記複数の人物それぞれの特定部位を検出するとともに、前記複数の人物それぞれの特定部位の装身物を検出するステップと、検出された前記装身物と、装身物に対応付けて予め設定された気象データと、前記撮像画像中の前記複数の人物それぞれの特定部位のうち検出された前記特定部位の数である検出数とに基づいて、前記人物の周囲の天候を推定するステップと、を有することを特徴とする。
【発明の効果】
【0009】
本開示によれば、撮像画像に基づき局地的および短時間の天候を推定することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本開示に係る天候推定装置を含む天候推定システムの概要を示す構成図
【図2】天候推定装置の概略構成を示すブロック図
【図3】天候推定装置における天候推定処理の流れを示すフロー図
【図4】撮像画像から検出された服装の例を示す図であり、（ａ）ショートパンツ、（ｂ）Ｔシャツとショートパンツ、（ｃ）セーターをそれぞれ示す
【図5】撮像画像から検出された服装の例を示す図であり、（ａ）ダウンジャケット、（ｂ）コートをそれぞれ示す
【図6】撮像画像から検出された持ち物の例を示す図であり、（ａ）開いた状態の傘、（ｂ）閉じた状態の傘、（ｃ）レインコートをそれぞれ示す
【図7】撮像画像から検出された持ち物の例を示す図であり、（ａ）サングラス、（ｂ）自転車をそれぞれ示す
【図8】気象データの一例を示す表
【図9】天候の推定結果をマーケティング用に使用した例を示す図
【発明を実施するための形態】
【0011】
前記課題を解決するためになされた第１の発明は、撮像画像に基づき天候を推定する天候推定装置であって、天候を推定する処理を行うプロセッサを備えており、前記プロセッサは、人物を含む撮像画像から人物を検出するとともに、その人物の装身物を検出し、検出された前記装身物と、装身物に対応付けて予め設定された気象データとに基づいて、前記人物の周囲の天候を推定することを特徴とする。
【0012】
これによると、撮像画像中の人物の装身物に基づいて、その人物の周囲の天候を推定することができる。これにより、撮像画像に基づき局地的および短時間の天候を推定することが可能となる。
【0013】
また、第２の発明は、上記第１の発明において、前記プロセッサは、検出された前記装身物における、予め定められた種類の装身物の割合を算出し、算出された割合と、前記予め定められた種類の装身物に対応する前記気象データとに基づいて前記天候を推定することを特徴とする。
【0014】
これによると、撮像画像から検出された装身物における、予め定められた種類の装身物の割合に基づいて天候を推定することができる。装身物は特定の天候でのみ使用されるものも多いので、このように、装身物の種類に基づいて天候を推定することにより、天候をより精度よく推定することが可能となる。
【0015】
また、第３の発明は、上記第２の発明において、前記プロセッサは、２以上の前記予め定められた種類の装身物について、装身物の種類毎に、その種類の装身物の割合と、その種類の装身物に対応する前記気象データとを積算し、前記各種類の装身物の前記積算値を合計し、その合計値に基づいて前記天候を推定することを特徴とする。
【0016】
これによると、撮像画像から検出された装身物における、２以上の予め定められた種類の装身物の割合に基づいて天候を推定することができる。これにより、複数の種類の装身物の検出結果に基づいて、天候をより精度よく推定することが可能となる。
【0017】
また、第４の発明は、上記第１の発明ないし第３の発明のいずれかにおいて、前記プロセッサは、前記装身物の使用状態も検出し、前記気象データは、前記使用状態に応じて異なるように設定されていることを特徴とする。
【0018】
これによると、装身物の使用状態を考慮して天候を推定することができる。これにより、天候をより精度よく推定することが可能となる。
【0019】
また、第５の発明は、上記第１の発明ないし第４の発明のいずれかにおいて、前記気象データは、地域、季節、または時間帯に応じて異なるように設定されていることを特徴とする。
【0020】
これによると、地域、季節、または時間帯を考慮して天候を推定することができる。これにより、天候をより精度よく推定することが可能となる。
【0021】
また、第６の発明は、上記第１の発明ないし第５の発明のいずれかにおいて、前記気象データは、前記人物の性別や年齢層に応じて異なるように設定されていることを特徴とする。
【0022】
これによると、人物の性別や年齢層を考慮して天候を推定することができる。これにより、天候をより精度よく推定することが可能となる。
【0023】
また、第７の発明は、上記第１の発明ないし第６の発明のいずれかにおいて、前記装身物は、前記人物の服装または持ち物の少なくとも一方を含むことを特徴とする。
【0024】
これによると、前記人物の服装または持ち物の少なくとも一方に基づき天候を推定することができるので、天候をより容易に推定することが可能となる。
【0025】
また、第８の発明は、上記第７の発明において、前記服装は、前記人物の身体の特定部位の服装であることを特徴とする。
【0026】
これによると、例えば上半身、下半身、頭部、足部等の人物の身体の特定部位の服装に基づいて、天候をより容易かつ精度よく推定することが可能となる。
【0027】
また、第９の発明は、上記第８の発明において、前記特定部位の服装は、前記人物の上半身または下半身の少なくとも一方の服装であることを特徴とする。
【0028】
これによると、人物の上半身または下半身の少なくとも一方の服装に基づき厚着や薄着を判断することが可能となるので、これにより、天候を容易かつ精度よく推定することが可能となる。
【0029】
また、第１０の発明は、上記第１の発明ないし第９の発明のいずれかにおいて、前記天候は、気温、降雨量、および風速から選択される少なくとも１つを含むことを特徴とする。
【0030】
これによると、気温、降雨量、および風速から選択される少なくとも１つを推定することが可能となる。
【0031】
また、第１１の発明は、上記第１の発明ないし第１０の発明のいずれかにおいて、前記プロセッサは、前記人物の前記装身物と前記気象データとを対応付けて機械学習することによって構築した天候識別器を用いて、前記人物の周囲の天候を推定することを特徴とする。
【0032】
これによると、機械学習によって構築した天候識別器を用いて装身物と天候との関係を識別することができる。これにより、人間では認識できない装身物と天候との関係も反映して、天候を推定することができる。
【0033】
また、第１２の発明は、上記第１１の発明において、前記プロセッサは、過去に検出された装身物とその装身物が検出された時刻における実際の気象データとを対応付けて機械学習することによって、前記天候識別器を構築することを特徴とする。
【0034】
これによると、過去の天候（気象）の記録と装身物との関係を機械学習させることができるので、天候をより正確に推定可能な天候識別器を構築することができる。
【0035】
また、第１３の発明は、上記第１１の発明または第１２の発明において、前記天候識別器は、前記気温、降雨量、および風速毎に用意されることを特徴とする。
【0036】
このように、気温、降雨量、および風速毎に天候識別器を用意すると、天候の推定精度を向上させることが可能となる。
【0037】
また、第１４の発明は、撮像画像に基づき天候を推定する天候推定方法であって、人物を含む撮像画像から人物を検出するとともに、その人物の装身物を検出するステップと、検出された前記装身物と、装身物に対応付けて予め設定された気象データとに基づいて、前記人物の周囲の天候を推定するステップと、を有することを特徴とする。
【0038】
これによると、撮像画像中の人物の装身物に基づいて、その人物の周囲の天候を推定することができる。これにより、撮像画像に基づき局地的および短時間の天候を推定することが可能となる。
【0039】
以下、本開示の実施形態について、図面を参照しながら説明する。本実施形態では、ショッピングモール等でのマーケティング活用を目的として、監視カメラで人物を撮像した撮像画像に基づき来店者の人数や属性（例えば、性別、年齢層）を推定するときに、それと同時に、撮像画像に基づき来店者の周囲の天候（気象）を推定する場合について説明する。本実施形態では、天候として、気温、降水量、または風速を推定する。
【0040】
図１は、本開示の天候推定システム１の概要を示す構成図である。図１に示すように、この天候推定システム１は、１以上のカメラ２と、天候推定装置３とを主として備えている。カメラ２と天候推定装置３とは、専用回線やＬＡＮ（Local Area Network）等のネットワーク４を介して互いに接続されている。
【0041】
カメラ２は、公知の撮像機能や通信機能を有する監視カメラ（ビデオカメラ）であり、予め定められた監視領域を静止画像または動画像として時系列に撮像する。本実施形態では、カメラ２は複数設けられ、本システム１が適用される施設（ショッピングモール等）の周囲の屋外における所定領域を撮像するものとする。カメラ２の撮像により生成された撮像画像（静止画像または動画像）は、ネットワーク４を介して天候推定装置３に適宜送信される。なお、カメラ２は、予め定められた監視領域を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
【0042】
天候推定装置３は、公知の構成を有するサーバ（コンピュータ）から構成され、カメラ２から受信した撮像画像を解析して、撮像画像から人物を検出する。そして、撮像画像から人物が検出された場合には、撮像画像からその人物の装身物を検出し、検出された装身物に基づいてその人物の周囲の天候を推定する。本実施形態では、人物の装身物として、服装と持ち物を用いる。
【0043】
図２は、天候推定装置３の概略構成を示すブロック図である。天候推定装置３は、公知のハードウェア構成を備えており、所定の制御プログラム（例えば天候推定プログラム）に基づき天候推定システム１における各処理を統括的に実行するプロセッサ１１、このプロセッサ１１のワークエリア等として機能する揮発性メモリであるＲＡＭ１２、プロセッサ１１が実行する制御プログラムやデータを格納する不揮発性メモリであるＲＯＭ１３、天候推定装置３の動作に必要なプログラムやデータを記憶するストレージを有する記憶部１４、ユーザに必要な情報を表示するモニタを有する表示部１５、ユーザの入力操作を可能とするキーボードやマウス等の入力デバイスを有する入力部１６、ネットワーク４を介した通信を実行する通信モジュールを有する通信部１７等を備えている。
【0044】
天候推定装置３の各機能は、図２に示したハードウェア構成において、プロセッサ１１が所定の制御プログラムを実行することによって実現可能である。なお、天候推定装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
【0045】
図３は、天候推定装置３における天候推定処理の流れを示すフロー図である。以下の処理は、天候推定装置３のプロセッサ１１（図２参照）で行われ、外部装置であるカメラ２（図１参照）から人物を含む撮像画像を取得したときに開始される。
【0046】
まず、ステップＳＴ１０１では、撮像画像から人物を検出する。人物の検出は、ディープラーニング（例えば、Faster R-CNN）等の公知の機械学習手法によって構築した識別器（分類器）を用いて行うことができる。なお、撮像画像からの人物の検出は、サポートベクターマシン（ＳＶＭ：Support Vector Machine）等の他の機械学習手法によって構築した識別器や、テンプレートマッチング等の公知の画像処理手法等を用いて行ってもよい。
【0047】
続くステップＳＴ１０２では、撮像画像から検出された人物のそれぞれに、識別子（ＩＤ）であるｉ（ｉ＝１...Ｎ、Ｎは検出数）を割り振る（ステップＳＴ１０２）。そして、識別子が付与された人物ｉに対して、ステップＳＴ１０３－１０５の各処理を実施する。なお、本システム１はシッピングモール等に適用されるので、撮像画像から複数の人物が検出される場合が多い。
【0048】
次に、撮像画像から人物ｉの服装を検出する（ステップＳＴ１０３）。服装の検出は、人物を検出する場合と同様に、ディープラーニングまたはＳＶＭ等の公知の機械学習手法によって構築した識別器や、テンプレートマッチング等の公知の画像処理手法等を用いて行うことができる。
【0049】
【0050】
図４（ａ）では「ショートパンツ」が、図４（ｂ）では「Ｔシャツ」と「ショートパンツ」が、図４（ｃ）では「セーター」が、服装として検出されている。また、図５（ａ）では「ダウンジャケット」が、図５（ｂ）では「コート」が、服装として検出されている。なお、図４（ａ）、図５（ａ）、図５（ｂ）の人物は女性であり、図４（ｂ）および図４（ｃ）の人物は男性である。人物の性別は、公知の機械学習手法によって構築した識別器を用いて、撮像画像から検出可能である。
【0051】
本開示では、「服装」という用語には、人間が身にまとうもの全てが含まれる。したがって、図４および図５に示したもの以外にも、例えば、靴、帽子、マフラー、手袋等が服装として検出可能である。例えば、図５（ａ）の例では、靴である「ブーツ」を服装として検出されている。
【0052】
図３のフロー図に戻り、ステップＳＴ１０３に続くステップＳＴ１０４では、撮像画像から人物ｉの持ち物を検出する。持ち物の検出は、人物や服装を検出する場合と同様に、ディープラーニングまたはＳＶＭ等の公知の機械学習手法によって構築した識別器や、テンプレートマッチング等の公知の画像処理手法等を用いて行うことができる。
【0053】
【0054】
図６（ａ）では開いた状態の「傘」が、図６（ｂ）では閉じた状態の「傘」が、図６（ｃ）では「レインコート」が、持ち物として検出されている。「傘」は、その使用状態（開閉状態）も検出されている。また、図７（ａ）では「サングラス」が、図７（ｂ）では「自転車」が、持ち物として検出されている。
【0055】
本開示では、「持ち物」という用語には、人間が持っているものまたは使用しているもの全てが含まれる。したがって、図６および図７に示したもの以外にも、例えば、日傘、うちわ、タオル等が持ち物として検出可能である。
【0056】
図３のフロー図に戻り、ステップＳＴ１０４に続くステップＳＴ１０５では、人物の変数ｉの値を１増加させるとともに、１増加させた後の変数ｉの値がＮに達したか否かを判定する（ステップＳＴ１０５）。Ｎに達したと判定された場合（ステップＳＴ１０５：Ｙｅｓ）は、次のステップＳＴ１０６に進み、Ｎに達していないと判定された場合（ステップＳＴ１０５：Ｎｏ）は、先のステップＳＴ１０３に戻る。
【0057】
次のステップＳＴ１０６では、撮像画像から検出された装身物における、各装身物の割合を算出する。本実施形態では、撮像画像から検出された服装における各服装の割合と、撮像画像から検出された持ち物における各持ち物の割合とを、それぞれ分けて算出することとする。
【0058】
具体的には、服装については、例えば撮像画像から１０人の人物が検出されており、その１０人のうちの４人の服装がダウンジャケット（図５（ａ）参照）であり、５人の服装がセーター（図４（ｃ）参照）であり、１人の服装がＴシャツ（図４（ｂ）参照）である場合は、ダウンジャケットの割合は４０％、セーターの割合は５０％、Ｔシャツの割合は１０％であると算出される。
【0059】
持ち物についても同様であり、例えば撮像画像から１０人の人物が検出されており、その１０人のうちの８人が開いた状態の傘（図６（ａ）参照）を持っており、２人がレインコート（図６（ｃ））を着ている場合は、傘（開）の割合は８０％、レインコートの割合は２０％であると算出される。
【0060】
なお、各装身物（服装または持ち物）の割合の算出精度を高めるためには、母数を増やすことが望ましい。したがって、このステップＳＴ１０６では、所定時間（例えば５分）にわたって撮像された複数フレーム分の撮像画像を使用して、各装身物の割合を算出することが望ましい。なお、１フレームの撮像画像中に多数（例えば数十人）の人物が存在する場合は、１フレームの撮像画像を使用しても、各装身物の割合を精度よく算出可能である。
【0061】
続くステップＳＴ１０７では、装身物毎に、その装身物の割合と、その装身物に対応する気象データとを積算する。気象データは、装身物の種類毎に、気温、降雨量、または風速として予め設定されている。例えば、撮像画像から検出された服装におけるダウンジャケットの割合が４０％であり、ダウンジャケットに対応付けられた気象データ（気温）が「５度」である場合は、下記の計算式により、ダウンジャケットについての積算値は「２」となる。
（５×０．４）＝２
（５×０．４）＝２
【0062】
図８は、気象データの一例を示す表である。気象データは、天候推定装置３のユーザが経験やデータ等に基づき設定してもよいし、ディープラーニングやＳＶＭ等の公知の機械学習手法によって構築した識別器を使用して設定してもよい。
【0063】
服装については、各服装に、その服装に対応すると考えられる気温が設定されている。図８の例では、ショートパンツには「２５度」、Ｔシャツには「２０度」、セーターには「１０度」、ダウンジャケットには「５度」、コートには「５度」の気温がそれぞれ設定されている。
【0064】
持ち物については、各持ち物に、その持ち物に対応すると考えられる降水量または風速が設定されている。図８の例では、「傘（開）」には「３０ｍｍ／ｈ」、レインコートには「５０ｍｍ／ｈ」の降雨量が設定されている。また、レインコートには「２０ｍｍ／ｓ」の風速、自転車には「３ｍ／ｓ」の風速が設定されている。そして、サングラスには、「０ｍｍ／ｈ」の降雨量が設定されている。
【0065】
降雨量が多いとき、すなわち雨が激しいときは、傘よりもレインコートが使用されることが多いので、レインコートの降雨量は傘の降雨量よりも多く設定されている。また、風が強いときは、傘ではなくレインコートが使用されることが多いので、レインコートには、強い風である「２０ｍ／ｓ」風速が設定されている。また、自転車は、風が強いときには使用されにくいので、自転車には、弱い風である「３ｍ／ｓ」の風速が設定されている。そして、サングラスは、晴れたときにしか使用されないので、サングラスには、「０ｍｍ／ｈ」の降雨量が設定されている。
【0066】
また、気象データは、装身物（服装または持ち物）の使用状態に応じて異なるように設定するとよい。例えば、コートについては、コートの前が閉じている場合には気温は５度に設定するが、コートの前が開いている場合には、気温は高いと考えられるため、気温は５度よりも高い気温（例えば１０度）に設定するとよい。また、傘については、傘が開いている場合には３０ｍｍ／ｈの降水量を設定するが、閉じている場合には、雨は降っていないと考えられるため、降水量は０ｍｍ／ｈに設定するとよい。また、レインコートについては、レインコートを着ている場合には、５０ｍｍ／ｈの降雨量を設定するが、レインコートを脱いでいる場合には、雨は降っていないと考えられるので、降水量は０ｍｍ／ｈに設定するとよい。
【0067】
また、気象データは、地域、季節、または時間帯に応じて異なるように設定するとよい。とりわけ、服装については、地域、季節、または時間帯によって、その服装に対応すると考えられる気温が大きく異なるためである。
【0068】
また、気象データは、人物の性別や年齢層に応じて異なるように設定するとよい。例えば、ショートパンツについては、男性は気温が高いときに着用するが、女性はファッションとして気温に関係なく着用することがあるためである。また、子供は、大人と比べて、ショートパンツを着用する傾向が高くなるためである。
【0069】
また、気象データは、特定の値ではなく、上限値および下限値を有する範囲であってもよい。また、気象データは、ガウス分布（正規分布）の平均および分散、あるいは他の確率的または統計的な値であってもよい。このように、気象データとして、範囲、平均、分散等を用いると、地域、季節、時間帯、性別、または年齢層に応じた、適切な気象データを設定することが可能となる。
【0070】
図３のフロー図に戻り、ステップＳＴ１０７に続くステップＳＴ１０８では、ステップＳＴ１０７で算出した各装身物の積算値を合計し、その合計値に基づいて天候を推定する。上述したように、本実施形態では、天候として、気温、降雨量、または風速を推定する。なお、気温、降雨量、または風速は、個別に推定してもよいし、複数を同時に推定してもよい。
【0071】
気温に関しては、撮像画像から検出された服装における各服装の割合と、図８の気象データとに基づき推定することができる。例えば、服装におけるダウンジャケットの割合が４０％、セーターの割合が５０％、Ｔシャツの割合が１０％である場合、図８の表に示すように、各服装に対応付けられた気温は、ダウンジャケットは「５度」、セーターは「１０度」、Ｔシャツは「２０度」であるので、各服装の積算値の合計値は、下記の計算式より「９」となる。したがって、気温は９度と推定することができる。
（５×０．４）＋（１０×０．５）＋（２０×０．１）＝９
（５×０．４）＋（１０×０．５）＋（２０×０．１）＝９
【0072】
また、各服装の割合ではなく、例えば上半身、下半身、頭部、足部等の人物の身体の特定部位の服装に基づいて、気温を推定するようにしてもよい。このようにすると、検出数の多い身体部位の服装に基づいて気温を推定することができるので、気温の推定精度を向上させることが可能となる。例えば、傘を差している人物が多く、上半身の服装の検出数よりも、下半身の服装の検出数が多い場合には、下半身の服装に基づいて気温を推定するとよい。なお、一般的に、上半身の服装は、他の部位の服装と比べて天候に応じて変化しやすいので、上半身の服装の検出数が十分な数である場合には、下半身の服装の検出数が上半身の服装の検出数よりも多くても、上半身の服装に基づいて気温を推定するようにするとよい。
【0073】
また、単一の特定部位ではなく、複数の特定部位の服装に基づいて天候を推定するようにしてもよい。具体的には、複数の特定部位における各部位毎に天候を推定し、各部位の推定結果を統合することによって天候を推定するとよい。この場合は、検出数が多く正しい推定結果が得られた可能性の高い部位の推定結果は、最終的な推定に対する影響が大きくなるように、他の部位の推定結果よりも重み付けするとよい。また、気温の細かい変化が反映されるように、気温に応じて服装が変化しやすい部位（例えば、上半身等）の推定結果は、最終的な推定に対する影響が大きくなるように、気温に応じて服装が変化しにくい部位（例えば、足部等）の推定結果よりも重み付けするようにするとよい。
【0074】
また、人物の上半身または下半身の少なくとも一方の服装（すなわち、人物の全体的な服装）に基づいて、気温を推定するようにしてもよい。この場合は、例えば、全身の服装が「薄着」の場合には、気温は高いと推定し、「厚着」の場合には、気温は低いと推定するようにするとよい。具体的には、図４および図５に示した例では、図４（ａ）および図４（ｂ）の場合は、全身の服装を「薄着」と識別して気温は高いと推定し、図４（ｃ）、図５（ａ）、および図５（ｂ）の場合は、全身の服装を「厚着」と識別して気温は低いと推定するとよい。
【0075】
「薄着」および「厚着」の識別は、機械学習手法によって構築した識別器を使用して行うとよい。この場合、図４（ａ）および図４（ｂ）のような全身の服装を「薄着」とラベル付けし、図４（ｃ）、図５（ａ）、および図５（ｂ）のような全身の服装を「厚着」とラベル付けして機械学習を行うとよい。
【0076】
また、降雨量に関しては、撮像画像から検出された持ち物における傘およびレインコートの割合と、図８の気象データとに基づき推定することができる。例えば、持ち物における傘（開）の割合が８０％、レインコートの割合が２０％である場合、図８の表に示すように、傘（開）およびレインコートに対応付けられた降水量は、傘（開）は「３０ｍｍ／ｈ」で、レインコートは「５０ｍｍ／ｈ」であるので、傘およびレインコートの各々についての割合と気象データとの積を合計した値は、下記の計算式より「３４」となる。したがって、降水量は３４ｍｍ／ｈと推定することができる。
（３０×０．８）＋（５０×０．２）＝３４
（３０×０．８）＋（５０×０．２）＝３４
【0077】
また、本実施形態では、撮像画像から検出された装身物毎に、その装身物の割合と、その装身物に対応する気象データとを積算し、各装身物の積算値の合計値に基づいて天候を推定したが、上記の積算は行わず、予め定められた装身物の割合と、その装身物に対応する気象データとに基づいて、天候を推定するようにしてもよい。
【0078】
その場合、気温に関しては、撮像画像から検出された服装における、予め定められた服装の割合に基づき推定することもできる。例えば、服装における、ダウンジャケットまたはコートの割合が予め定められた閾値（例えば７０％）を超えた場合には、図８の表に示すようにダウンジャケットまたはコートの気温は「５度」なので、気温は５度と推定することができる。
【0079】
また、降雨量に関しては、撮像画像から検出された持ち物におけるサングラスの割合と、図８の気象データとに基づき推定することができる。例えば、持ち物におけるサングラスの割合が予め定められた閾値（例えば７０％）を超えた場合には、図８の表に示すようにサングラスの降雨量は「０ｍｍ/ｈ」なので、降雨量は０ｍｍ/ｈと推定することができる（図８参照）。なお、人物がサングラスを顔にかけていない場合には、雨または曇りの場合が考えられるため、このような推定は行わない。
【0080】
また、風速に関しては、撮像画像から検出された持ち物におけるレインコートの割合と、図８の気象データとに基づき推定することができる。例えば、持ち物におけるレインコートの割合が予め定められた閾値（例えば７０％）を超えた場合には、図８の表に示すようにレインコートの風速は「２０ｍ／ｓ」なので、風速は２０ｍ／ｓであると判断するようにしてもよい。なお、人物がレインコートを着用していない場合（例えば手に持っている場合）には、風が強くないと考えられるため、このような推定は行わない。
【0081】
また、風速に関しては、撮像画像から検出された持ち物における自転車の割合と、図８の気象データとに基づき推定することができる。例えば、持ち物における自転車の割合が予め定められた閾値（例えば７０％）を超えた場合には、図８の表に示すように自転車の風速は「３ｍ／ｓ」なので、風速は３ｍ／ｓであると判断するようにしてもよい。なお、人物がその自転車に乗っておらず、自転車を押して歩いている場合には、風が強いと考えられるため、このような推定は行わない。
【0082】
このように、本開示に係る天候推定処理によれば、撮像画像中の人物の装身物（服装または持ち物）に基づいて、その人物の周囲の天候を推定することができる。これにより、撮像画像に基づき、局地的および短時間（例えば、５分または１０分）の天候を容易かつ精度よく推定することが可能となる。天候の推定結果は、リアルタイムの天候情報として利用してもよいし、蓄積してマーケティング用に使用してもよい。
【0083】
図９は、天候の推定結果を蓄積してマーケティング用に使用した例を示す表である。図９の例では、「早朝」、「午前」、「午後」、「深夜」の各時間帯における、来店者の数および性別と、気温との関係を表に示している。来店者の数および性別は、公知の機械学習手法によって構築した識別器を用いて、撮像画像から検出可能である。このように、本開示によれば、撮像画像から検出した人物の属性情報（この例では、性別）に加えて、撮像画像から検出した天候（この例では、気温）を表示することが可能となる。これにより、天候を考慮した、より詳細なマーケティングデータの作成およびより詳細なマーケティング分析が可能となる。
【0084】
また、気象データを機械学習手法によって構築した識別器（天候識別器）を使用して設定する場合は、天候の推定後に、実際の天候情報を教師データとし、その気象データに対応する時刻に検出された装身物と対応付けて追加学習するようにするとよい。このようにすると、次回以降の、天候の推定精度を向上させることが可能となる。同様に、この天候識別器を最初に構築するときには、過去の気象データを教師データとし、その気象データに対応する時刻に検出された装身物とを対応付けて、機械学習するようにするとよい。
【0085】
また、上記の天候識別器は、気温、降雨量、および風速毎に用意することが望ましい。推定の対象となる天候毎に（すなわち、気温、降雨量、および風速毎に）、装身物と気象データとの関係は異なるためである。このように、気温、降雨量、および風速毎に天候識別器を用意すると、天候の推定精度を向上させることが可能となる。
【0086】
また、本実施形態では、天候として、気温、降水量、および風速を推定したが、本開示は、それら以外にも、例えば降雪量、風向き、湿度、日照時間等の他の様々な天候の推定に適用することも可能である。
【0087】
また、本実施形態では、天候を予測したが、本開示は、室内の環境（室温等）の推定にも適用可能である。この場合、例えば服装に基づき、室温を推定するようにするとよい。
【0088】
また、本実施形態では、検出された全ての人物の装身物に基づき天候を推定したが、検出された人物のうちの一部の人物の装身物に基づいて天候を推定するようにしてもよい。この場合、天候の推定は、最も割合の多い装身物のみ、あるいは、所定の割合以上の装身物のみに基づいて行うようにするとよい。例えば、９５％の人物がダウンジャケットを着ており、５％の人物がＴシャツを着ている場合、Ｔシャツと天候との関連性は薄い可能性が高い。このような場合には、Ｔシャツを無視することにより、天候をより精度よく推定することが可能となる。なお、割合の低い装身物を、完全に無視するのではなく、割合の高い装身物よりも重み付けを軽くするようにしてもよい。
【0089】
以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る天候推定装置および天候推定方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【0090】
本開示に係る天候推定装置および天候推定方法は、撮像画像に基づき局地的および短時間天候を推定することを可能とする、天候推定装置および天候推定方法等として有用である。
【符号の説明】
【0091】
１ 天候推定システム
２ カメラ
３ 天候推定装置
４ ネットワーク
１１ プロセッサ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 記憶部
１５ 表示部
１６ 入力部
１７ 通信部
２ カメラ
３ 天候推定装置
４ ネットワーク
１１ プロセッサ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 記憶部
１５ 表示部
１６ 入力部
１７ 通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】