ホーム > 特許ランキング > 株式会社Ｒｉｄｇｅ－ｉ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-05-01
(45)【発行日】2023-05-12
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230502BHJP
【ＦＩ】
G06T7/00 660Z
G06T7/00 350B
【請求項の数】
7
(21)【出願番号】P 2021195921
(22)【出願日】2021-12-02
【審査請求日】2022-01-06
(73)【特許権者】
【識別番号】518301154
【氏名又は名称】株式会社Ｒｉｄｇｅ－ｉ
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】西野 剛平
(72)【発明者】
【氏名】メクトビ ヤシン
(72)【発明者】
【氏名】オウ カンキン
【審査官】笠田 和宏
(56)【参考文献】
【文献】特開２０１９－１９２２８５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
人物が記録される第１画像情報を受け付ける受付部と、複数の人物が記録される画像と、当該画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、前記受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定部と、
前記推定部によって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、前記受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得部と、
前記推定部によって推定される人数が前記閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、前記受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得部と、
を備える情報処理装置。
【請求項2】
前記第１取得部は、人物の存在が推定される可能性が高い箇所と、人物の存在が推定される可能性が低い箇所とを範囲とする当該範囲の間で、人物の存在の有無を示すヒートマップを学習した第２学習済モデルを利用して、人物の人数を推定する請求項１に記載の情報処理装置。
【請求項3】
前記第１取得部は、前記受付部によって受け付ける第１画像情報と、予め特定される人物の特徴とに基づいて、人物の存在の有無を示すヒートマップを生成し、当該ヒートマップと、第２学習済モデルとに基づいて、人物の人数を推定する請求項１又は２に記載の情報処理装置。
【請求項4】
前記推定部は、人物が記録される第２画像情報及び第２学習済モデルに基づいて推定される人物の人数と、第２画像情報及び第３学習済モデルに基づいて推定される人数と、第２画像情報に記録される人数とを学習することにより生成される第１学習済モデルを利用して、人物の人数を推定する請求項１～３のいずれか１項に記載の情報処理装置。
【請求項5】
人物が記録される第１画像情報を受け付ける受付部と、複数の人物が記録される画像と、ヒートマップを利用した人数の推定及び人物の認識を利用した人数の推定のいずれかの選択とを学習することにより生成される第１学習済モデルと、前記受付部によって受け付ける第１画像情報とに基づいて、第１取得部及び第２取得部のいずれかで人物を推定するかを選択する選択部と、
前記選択部により前記第１取得部が選択される場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、前記受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する前記第１取得部と、
前記選択部により前記第２取得部が選択される場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、前記受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する前記第２取得部と、
を備える情報処理装置。
【請求項6】
コンピュータが、人物が記録される第１画像情報を受け付ける受付ステップと、
複数の人物が記録される画像と、当該画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、前記受付ステップによって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定ステップと、
前記推定ステップによって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、前記受付ステップによって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得ステップと、
前記推定ステップによって推定される人数が前記閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、前記受付ステップによって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得ステップと、
を実行する情報処理方法。
【請求項7】
コンピュータに、人物が記録される第１画像情報を受け付ける受付機能と、
複数の人物が記録される画像と、当該画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、前記受付機能によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定機能と、
前記推定機能によって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、前記受付機能によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得機能と、
前記推定機能によって推定される人数が前記閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、前記受付機能によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得機能と、
を実現させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来から、混雑状況を推定する装置がある。特許文献１に記載される画像処理装置は、入力画像に基づいて混雑度のレベルに応じたヒートマップを生成し、そのヒートマップを利用して混雑度を推定する。さらに、画像処理装置は、推定される混雑度に応じて、通常の混雑度の際の解析部（通常時用画像解析部）と、混雑時用の解析部（混雑時用画像解析部）とのいずれかを選択し、選択した画像解析部を利用して画像解析を行う。
【先行技術文献】
【特許文献】
【0003】
【文献】再表２０１８／０６１９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献１に記載される画像解析装置は、人物の滞留及び置き去りにされた物体の検出を行う際に利用される。
しかしながら、画像に記録される人物の数（人数）を推定することが要望される場合があり、特許文献１に記載される技術では人数を推定することができなかった。
しかしながら、画像に記録される人物の数（人数）を推定することが要望される場合があり、特許文献１に記載される技術では人数を推定することができなかった。
【0005】
本開示は、画像に基づいて人数を推定することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【課題を解決するための手段】
【0006】
一態様の情報処理装置は、人物が記録される第１画像情報を受け付ける受付部と、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定部と、推定部によって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得部と、推定部によって推定される人数が閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得部と、を備える。
【発明の効果】
【0007】
一態様によれば、人物が記録される第１画像情報を受け付け、その第１画像情報と第１学習済モデルとに基づいて第１画像情報に関する推定を行い、その推定が第１の場合に、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得し、上述した推定が第１の場合とは異なる第２の場合に、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得することができる。
【図面の簡単な説明】
【0008】
【図1】一実施形態に係る情報処理装置について説明するための図である。
【図2】一実施形態に係る情報処理装置について説明するためのブロック図である。
【図3】一実施形態に係る情報処理方法について説明するための第１のフローチャートである。
【図4】一実施形態に係る情報処理方法について説明するための第２のフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について説明する。
【0010】
【0011】
情報処理装置１は、例えば、画像に記録される人物の数（人数）を推定する人数推定装置等として構成されてもよい。また、情報処理装置１は、例えば、画像に記録される内容を推定する推定装置等として構成されてもよい。
【0012】
情報処理装置１は、例えば、サーバ、デスクトップ、ラップトップ及びタブレット等のコンピュータであってもよい。
情報処理装置１は、第１画像情報１０１と、第１学習済モデル２０１とに基づいて、第１画像情報１０１に記録される人物の人数を推定する。第１学習済モデル２０１は、例えば、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される学習済モデルであってもよい。
また、情報処理装置１は、第１画像情報１０１と、第１学習済モデル２０１とに基づいて、ヒートマップを利用した人数推定を行うか、又は、人物認識を利用して人数推定を行うかを選択してもよい。この場合、第１学習済モデル２０１は、複数の人物が記録される画像と、ヒートマップを利用した人数の推定及び人物の認識を利用した人数の推定のいずれかの選択とを学習することにより生成される学習済モデルであってもよい。
情報処理装置１は、第１画像情報１０１と、第１学習済モデル２０１とに基づいて、第１画像情報１０１に記録される人物の人数を推定する。第１学習済モデル２０１は、例えば、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される学習済モデルであってもよい。
また、情報処理装置１は、第１画像情報１０１と、第１学習済モデル２０１とに基づいて、ヒートマップを利用した人数推定を行うか、又は、人物認識を利用して人数推定を行うかを選択してもよい。この場合、第１学習済モデル２０１は、複数の人物が記録される画像と、ヒートマップを利用した人数の推定及び人物の認識を利用した人数の推定のいずれかの選択とを学習することにより生成される学習済モデルであってもよい。
【0013】
情報処理装置１は、上述したように推定される人数が予め設定される閾値以上の場合、及び、ヒートマップを利用した人数推定が選択される場合、第１画像情報１０１と、第２学習済モデル２０２とに基づいて、第１画像情報１０１に記録される人物の人数を取得する。第２学習済モデル２０２は、例えば、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される学習済モデルであってもよい。
【0014】
一方、情報処理装置１は、上述したように推定される人数が閾値未満の場合、及び、人物認識を利用した人数推定が選択される場合、第１画像情報１０１と、第３学習済モデル２０３とに基づいて、第１画像情報１０１に記録される人物それぞれを認識する。第３学習済モデル２０３は、例えば、人物が記録される画像と、人物とを学習することにより生成される学習済モデルであってもよい。情報処理装置１は、認識した人物の数を集計することにより、第１画像情報１０１に記録される人物の数を取得する。
【0015】
【0016】
情報処理装置１は、例えば、通信部２１、記憶部２２、表示部２３及び制御部１１等を備える。通信部２１、記憶部２２及び表示部２３は、出力部の一実施形態であってもよい。制御部１１は、例えば、受付部１２、推定部１３、選択部１４、第１取得部１５、第２取得部１６及び出力制御部１７等を備える。なお、選択部１４については、後述する変形例において説明する。制御部１１は、例えば、情報処理装置１の演算処理装置等によって構成されてもよい。制御部１１（例えば、演算処理装置等）は、例えば、記憶部２２等に記憶される各種プログラム等を適宜読み出して実行することにより、各部（例えば、受付部１２、推定部１３、選択部１４、第１取得部１５、第２取得部１６及び出力制御部１７等）の機能を実現してもよい。
【0017】
通信部２１は、例えば、情報処理装置１の外部にある装置（外部装置）等との間で種々の情報の送受信が可能である。
【0018】
記憶部２２は、例えば、種々の情報及びプログラムを記憶してもよい。記憶部２２の一例は、メモリ、ソリッドステートドライブ及びハードディスクドライブ等であってもよい。
【0019】
表示部２３は、例えば、種々の文字、記号及び画像等を表示することが可能である。
【0020】
受付部１２は、人物が記録される第１画像情報を受け付ける。第１画像情報は、動画情報及び静止画情報であってもよい。
受付部１２は、例えば、外部にある装置（外部装置）等から第１画像情報を受け付けてもよい。この場合の外部装置は、例えば、サーバ及びカメラ（図示せず）等であってもよい。カメラは、例えば、屋外及び室内等に配されてもよく、一例として監視カメラ等であってもよい。カメラは、例えば、所定の方向（被写体等）を撮像して画像情報を生成してもよい。サーバは、例えば、カメラで生成される画像情報を取得して蓄積してもよい。
すなわち、受付部１２は、例えば、通信部２１を介して、サーバに蓄積される画像情報（第１画像情報）を受け付けてもよい。
また、受付部１２は、例えば、カメラで生成される画像情報（第１画像情報）を受け付けてもよい。この場合、受付部１２は、例えば、通信部２１を介して、カメラから送信される画像情報（第１画像情報）を受け付けてもよい。また、受付部１２は、例えば、カメラで生成される画像情報を記録したメモリ（図示せず）が情報処理装置１のインターフェース（図示せず）に挿入される場合、そのメモリから画像情報（第１画像情報）を受け付けてもよい。
受付部１２は、例えば、外部にある装置（外部装置）等から第１画像情報を受け付けてもよい。この場合の外部装置は、例えば、サーバ及びカメラ（図示せず）等であってもよい。カメラは、例えば、屋外及び室内等に配されてもよく、一例として監視カメラ等であってもよい。カメラは、例えば、所定の方向（被写体等）を撮像して画像情報を生成してもよい。サーバは、例えば、カメラで生成される画像情報を取得して蓄積してもよい。
すなわち、受付部１２は、例えば、通信部２１を介して、サーバに蓄積される画像情報（第１画像情報）を受け付けてもよい。
また、受付部１２は、例えば、カメラで生成される画像情報（第１画像情報）を受け付けてもよい。この場合、受付部１２は、例えば、通信部２１を介して、カメラから送信される画像情報（第１画像情報）を受け付けてもよい。また、受付部１２は、例えば、カメラで生成される画像情報を記録したメモリ（図示せず）が情報処理装置１のインターフェース（図示せず）に挿入される場合、そのメモリから画像情報（第１画像情報）を受け付けてもよい。
【0021】
推定部１３は、第１学習済モデルと、受付部１２によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する。第１学習済モデルは、例えば、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される学習済モデルであってもよい。すなわち、第１学習済モデルは、例えば、複数の人物が記録される、複数のパターンの画像（複数の画像）と、各パターンの画像それぞれに記録される人物の数（人数）とを学習した学習済モデルであってもよい。
【0022】
この場合、第１学習済モデルは、例えば、人物が記録される画像と、その画像を後述する第２学習済モデルに入力して推定される人数と、その画像を後述する第３学習済モデルを利用して推定される人数とを学習して生成される学習済モデルであってもよい。この際、第１学習済モデルは、例えば、その画像を後述する第２学習済モデルに入力して推定される人数と、その画像を後述する第３学習済モデルを利用して推定される人数とうち、どちらがより正しい人数かをさらに学習して生成される学習済モデルであってもよい。そのような第１学習済モデルを利用する場合、推定部１３は、例えば、人物が記録される第２画像情報及び第２学習済モデルに基づいて推定される人物の人数と、第２画像情報及び第３学習済モデルに基づいて推定される人数と、第２画像情報に記録される人数とを学習することにより生成される第１学習済モデルを利用して、人物の人数を推定してもよい。第２画像情報は、例えば、学習に利用される、人物が記録される画像情報であってもよい。
【0023】
上述した第１学習済モデルは、例えば、制御部１１（例えば、学習部（図示せず）等）によって学習を行うことにより生成されてもよい。
また、第１学習済モデルは、例えば、情報処理装置１の外部にある装置（外部装置（例えば、学習装置（図示せず）等）によって学習を行うことにより生成されてもよい。外部装置が第１学習済モデルを生成する場合、情報処理装置１は、例えば、通信部２１を介して、又は、メモリ（図示せず）等を利用して第１学習済モデルを取得してもよい。
また、第１学習済モデルは、例えば、情報処理装置１の外部にある装置（外部装置（例えば、学習装置（図示せず）等）によって学習を行うことにより生成されてもよい。外部装置が第１学習済モデルを生成する場合、情報処理装置１は、例えば、通信部２１を介して、又は、メモリ（図示せず）等を利用して第１学習済モデルを取得してもよい。
【0024】
第１取得部１５は、推定部１３によって推定される人数が閾値以上の場合、第２学習済モデルと、受付部１２によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する。第２学習済モデルは、例えば、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される学習済モデルであってもよい。
【0025】
すなわち、第２学習済モデルは、例えば、人物の存在が推定される可能性が高い箇所と、人物の存在が推定される可能性が低い箇所とを範囲とするその範囲の間で、人物の存在の有無を示すヒートマップを学習した学習済モデルであってもよい。この場合、第１取得部１５は、例えば、人物の存在が推定される可能性が高い箇所と、人物が推定される可能性が低い箇所とを範囲とするその範囲の間で、人物の存在の有無を示すヒートマップを学習した第２学習済モデルを利用して、人物の人数を推定してもよい。ヒートマップは、例えば、色の違い又は色の濃淡等により、人物の存在の有無が表現されてもよい。ヒートマップは、例えば、種々の公知の方法により作成することが可能である。
【0026】
第２学習済モデルは、例えば、複数の人物が記録される、複数のパターンのヒートマップ（複数のヒートマップのパターン）と、各パターンのヒートマップそれぞれに記録される人物の数（人数）とを学習した学習済モデルであってもよい。
上述した第２学習済モデルは、例えば、制御部１１（例えば、学習部（図示せず）等）によって学習を行うことにより生成されてもよい。
また、第２学習済モデルは、例えば、情報処理装置１の外部にある装置（外部装置（例えば、学習装置（図示せず）等）によって学習を行うことにより生成されてもよい。外部装置が第２学習済モデルを生成する場合、情報処理装置１は、例えば、通信部２１を介して、又は、メモリ（図示せず）等を利用して第２学習済モデルを取得してもよい。
上述した第２学習済モデルは、例えば、制御部１１（例えば、学習部（図示せず）等）によって学習を行うことにより生成されてもよい。
また、第２学習済モデルは、例えば、情報処理装置１の外部にある装置（外部装置（例えば、学習装置（図示せず）等）によって学習を行うことにより生成されてもよい。外部装置が第２学習済モデルを生成する場合、情報処理装置１は、例えば、通信部２１を介して、又は、メモリ（図示せず）等を利用して第２学習済モデルを取得してもよい。
【0027】
第１取得部１５は、例えば、受付部１２によって受け付ける第１画像情報に基づいて、人物の存在の有無を示すヒートマップを生成してもよい。第１取得部１５は、例えば、種々の公知の方法を利用して、第１画像情報に基づくヒートマップを生成することが可能である。一例として、第１取得部１５は、受付部１２によって受け付ける第１画像情報と、予め特定される人物の特徴とに基づいて、人物の存在の有無を示すヒートマップを生成してもよい。人物の特徴は、例えば、人物の身体の輪郭（外形）等であってもよく、それ以外の他の種々の特徴であってもよい。第１取得部１５は、例えば、上述したようにヒートマップを生成すると、そのヒートマップと、第２学習済モデルとに基づいて、人物の人数を推定してもよい。
【0028】
第２取得部１６は、推定部１３によって推定される人数が閾値未満の場合、第３学習済モデルと、受付部１２によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する。第３学習済モデルは、例えば、画像に基づいて人物を認識するための学習済モデルであってもよい。すなわち、第３学習済モデルは、例えば、人物が記録される画像と、人物とを学習することにより生成される学習済モデルであってもよい。第３学習済モデルは、例えば、人物が記録される、複数のパターンの画像（複数の画像）と、各パターンの画像それぞれに記録される人物とを学習した学習済モデルであってもよい。一例として、第３学習済モデルは、人物として、人物の特徴を学習したものであってもよい。この場合の人物の特徴は、例えば、人物の身体の輪郭、顔（顔の特徴（例えば、眼、鼻及び口等））、人物の後ろ姿、人物の横方向の姿、人物の骨格、及び、人物の身体の特徴点（例えば、関節等）を始めとする種々の特徴であってもよい。
【0029】
上述した第３学習済モデルは、例えば、制御部１１（例えば、学習部（図示せず）等）によって学習を行うことにより生成されてもよい。
また、第３学習済モデルは、例えば、情報処理装置１の外部にある装置（外部装置（例えば、学習装置（図示せず）等）によって学習を行うことにより生成されてもよい。外部装置が第３学習済モデルを生成する場合、情報処理装置１は、例えば、通信部２１を介して、又は、メモリ（図示せず）等を利用して第３学習済モデルを取得してもよい。
また、第３学習済モデルは、例えば、情報処理装置１の外部にある装置（外部装置（例えば、学習装置（図示せず）等）によって学習を行うことにより生成されてもよい。外部装置が第３学習済モデルを生成する場合、情報処理装置１は、例えば、通信部２１を介して、又は、メモリ（図示せず）等を利用して第３学習済モデルを取得してもよい。
【0030】
第２取得部１６は、例えば、第１画像情報と、上述した第３学習済モデルとに基づいて、第１画像情報に記録される１又は複数の人物を認識する。第２取得部１６は、例えば、認識した人物の数に基づいて、第１画像情報に記録される人物の数（人数）を取得する。
【0031】
第１取得部１５及び第２取得部１６において利用される上述した閾値は、例えば、同一（又は、異なる）値であってもよい。閾値は、ヒートマップを利用して人数を推定する（第２学習済モデルを利用する）場合と、人物認識を利用して人数を推定する（第３学習済モデル）場合とで、どちらがより正確な人数を出力できるか予め実験等を行うことにより設定されてもよい。
一般的に、第１画像情報に記録される人物の数（人数）が相対的に多い場合には、ヒートマップを利用して人数を推定する（第２学習済モデルを利用する）場合がより正確な人数を出力することができる。一方、第１画像情報に記録される人物の数（人数）が相対的に少ない場合には、人物認識を利用して人数を推定する（第３学習済モデル）がより正確な人数を出力することができる。状況に応じて適切な値は異なるが、一例として、閾値は、５０人、６０人、７０人、８０人及び９０人等の種々の値であってもよい。
一般的に、第１画像情報に記録される人物の数（人数）が相対的に多い場合には、ヒートマップを利用して人数を推定する（第２学習済モデルを利用する）場合がより正確な人数を出力することができる。一方、第１画像情報に記録される人物の数（人数）が相対的に少ない場合には、人物認識を利用して人数を推定する（第３学習済モデル）がより正確な人数を出力することができる。状況に応じて適切な値は異なるが、一例として、閾値は、５０人、６０人、７０人、８０人及び９０人等の種々の値であってもよい。
【0032】
出力制御部１７は、第１取得部１５による推定結果、及び、第２取得部１６による推定結果を出力するよう出力部を制御してもよい。出力部は、例えば、通信部２１、記憶部２２及び表示部２３等であってもよい。
すなわち、出力制御部１７は、第１取得部１５による推定結果に関する情報、及び、第２取得部１６による推定結果に関する情報を外部（外部装置）に送信するよう通信部２１を制御してもよい。この場合の外部装置は、例えば、サーバ及びユーザ端末（図示せず）等であってもよい。ユーザ端末は、例えば、情報処理装置１のユーザが使用する端末であってもよく、具体的な一例として、デスクトップ、ラップトップ、タブレット及びスマートフォン等であってもよい。
出力制御部１７は、第１取得部１５による推定結果に関する情報、及び、第２取得部１６による推定結果に関する情報を記憶するよう記憶部２２を制御してもよい。
出力制御部１７は、第１取得部１５による推定結果、及び、第２取得部１６による推定結果を表示するよう表示部２３を制御してもよい。
すなわち、出力制御部１７は、第１取得部１５による推定結果に関する情報、及び、第２取得部１６による推定結果に関する情報を外部（外部装置）に送信するよう通信部２１を制御してもよい。この場合の外部装置は、例えば、サーバ及びユーザ端末（図示せず）等であってもよい。ユーザ端末は、例えば、情報処理装置１のユーザが使用する端末であってもよく、具体的な一例として、デスクトップ、ラップトップ、タブレット及びスマートフォン等であってもよい。
出力制御部１７は、第１取得部１５による推定結果に関する情報、及び、第２取得部１６による推定結果に関する情報を記憶するよう記憶部２２を制御してもよい。
出力制御部１７は、第１取得部１５による推定結果、及び、第２取得部１６による推定結果を表示するよう表示部２３を制御してもよい。
【0033】
［情報処理方法］
次に、一実施形態に係る情報処理方法について説明する。
次に、一実施形態に係る情報処理方法について説明する。
【0034】
まず、一実施形態に係る情報処理方法として、学習方法の一例について説明する。
図３は、一実施形態に係る情報処理方法について説明するための第１のフローチャートである。
図３は、一実施形態に係る情報処理方法について説明するための第１のフローチャートである。
【0035】
ステップＳＴ１０１において、制御部１１は、人物が記録される第２画像情報を取得する。
【0036】
ステップＳＴ１０２において、制御部１１は、ステップＳＴ１０１で取得する第２画像情報と、第２学習済モデルとに基づいて、第２画像情報に記録される人物の数（人数）を推定する。第２学習済モデルは、例えば、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される学習済モデルであってもよい。すなわち、第２学習済モデルは、例えば、人物の存在が推定される可能性が高い箇所と、人物が推定される可能性が低い箇所とを範囲とするその範囲の間で、人物の存在の有無を示すヒートマップを学習した学習済モデルであってもよい。
【0037】
ステップＳＴ１０３において、制御部１１は、ステップＳＴ１０１で取得する第２画像情報と、第３学習済モデルとに基づいて、第２画像情報に記録される人物の数（人数）を推定する。第３学習済モデルは、例えば、画像に基づいて人物を認識するための学習済モデルであってもよい。すなわち、第３学習済モデルは、例えば、人物が記録される画像と、人物とを学習することにより生成される学習済モデルであってもよい。制御部１１は、例えば、第２画像情報と、第３学習済モデルとに基づいて、第２画像情報に記録される１又は複数の人物を認識する。制御部１１は、例えば、認識した人物の数に基づいて、第２画像情報に記録される人物の数（人数）を取得する。
【0038】
ステップＳＴ１０４において、制御部１１は、ステップＳＴ１０１で取得する第２画像情報、ステップＳＴ１０２で推定される人数、及び、ステップ１０３で推定される人数を学習して第１学習済モデルを生成する。この場合、制御部１１は、ステップＳＴ１０２で推定される人数、及び、ステップ１０３で推定される人数のうち、どちらがより正確かをさらに学習してもよい。
【0039】
なお、上述したステップＳＴ１０１～ステップＳＴ１０４は、情報処理装置１の外部にある装置（外部装置）が行ってもよい。この場合、情報処理装置１は、ステップＳＴ１０４で生成される第１学習済モデル、ステップＳＴ１０２で利用される第２学習済モデル、及び、ステップＳＴ１０３で利用される第３学習済モデルを取得してもよい。
【0040】
次に、一実施形態に係る情報処理方法として、人数推定方法の一例について説明する。
図４は、一実施形態に係る情報処理方法について説明するための第２のフローチャートである。
図４は、一実施形態に係る情報処理方法について説明するための第２のフローチャートである。
【0041】
ステップＳＴ２０１において、受付部１２は、人物が記録される第１画像情報を受け付ける。
【0042】
ステップＳＴ２０２において、推定部１３は、第１学習済モデルと、ステップＳＴ２０１で受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する。第１学習済モデルは、例えば、ステップＳＴ１０４で生成される学習済モデルであってもよく、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される学習済モデルであってもよい。
【0043】
ステップＳＴ２０３において、制御部１１（例えば、推定部１３等）は、ステップＳＴ２０２の推定結果に基づいて、第１取得部１５及び第２取得部１６のうち一方を選択する。すなわち、制御部１１（例えば、推定部１３等）は、第２学習済モデルを利用した人数推定（第１取得部１５）と、第３学習済モデルを利用した人数推定（第２取得部１６）とのうち、ステップＳＴ２０２の推定結果に応じてより正確な人数を推定できる機能を選択する。第２学習済モデル（第１取得部１５）が選択される場合には、処理は、ステップＳＴ２０４に進む。第３学習済モデル（第２取得部１６）が選択される場合には、処理は、ステップＳＴ２０５に進む。
【0044】
ステップＳＴ２０４において、第１取得部１５は、第２学習済モデルと、ステップＳＴ２０１で受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する。
第２学習済モデルは、例えば、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される学習済モデルであってもよい。すなわち、第２学習済モデルは、例えば、人物の存在が推定される可能性が高い箇所と、人物が推定される可能性が低い箇所とを範囲とするその範囲の間で、人物の存在の有無を示すヒートマップを学習した学習済モデルであってもよい。換言すると、第２学習済モデルは、例えば、人物の存在が推定される可能性が高い箇所と、人物が推定される可能性が低い箇所とを範囲とするその範囲の間で、人物の存在の有無を示すヒートマップを学習して生成される学習済モデルであってもよい。
第１取得部１５は、ステップＳＴ２０１で受け付ける第１画像情報と、予め特定される人物の特徴とに基づいて、人物の存在の有無を示すヒートマップを生成してもよい。第１取得部１５は、例えば、上述したようにヒートマップを生成すると、そのヒートマップと、第２学習済モデルとに基づいて、人物の人数を推定してもよい。
第２学習済モデルは、例えば、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される学習済モデルであってもよい。すなわち、第２学習済モデルは、例えば、人物の存在が推定される可能性が高い箇所と、人物が推定される可能性が低い箇所とを範囲とするその範囲の間で、人物の存在の有無を示すヒートマップを学習した学習済モデルであってもよい。換言すると、第２学習済モデルは、例えば、人物の存在が推定される可能性が高い箇所と、人物が推定される可能性が低い箇所とを範囲とするその範囲の間で、人物の存在の有無を示すヒートマップを学習して生成される学習済モデルであってもよい。
第１取得部１５は、ステップＳＴ２０１で受け付ける第１画像情報と、予め特定される人物の特徴とに基づいて、人物の存在の有無を示すヒートマップを生成してもよい。第１取得部１５は、例えば、上述したようにヒートマップを生成すると、そのヒートマップと、第２学習済モデルとに基づいて、人物の人数を推定してもよい。
【0045】
ステップＳＴ２０５において、第２取得部１６は、第３学習済モデルと、ステップＳＴ２０１で受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する。第３学習済モデルは、例えば、画像に基づいて人物を認識するための学習済モデルであってもよい。すなわち、第３学習済モデルは、例えば、人物が記録される画像と、人物とを学習することにより生成される学習済モデルであってもよい。
【0046】
ステップＳＴ２０６において、出力制御部１７は、ステップＳＴ２０４による推定結果、及び、ステップＳＴ２０５による推定結果を出力するよう出力部を制御してもよい。出力部は、例えば、通信部２１、記憶部２２及び表示部２３等であってもよい。
【0047】
［変形例］
次に、本実施形態の変形例について説明する。
次に、本実施形態の変形例について説明する。
【0048】
（変形例１）
まず、第１の変形例について説明する。第１変形例では、上述した「推定部１３」の代わりに後述する「選択部１４」が配されてもよい。又は、「推定部１３」と後述する「選択部１４」とがまとめて１つの機能として構成されてもよい。
まず、第１の変形例について説明する。第１変形例では、上述した「推定部１３」の代わりに後述する「選択部１４」が配されてもよい。又は、「推定部１３」と後述する「選択部１４」とがまとめて１つの機能として構成されてもよい。
【0049】
第１変形例では、受付部１２は、上述した構成と同様の構成であってもよい。
【0050】
選択部１４は、第１学習済モデルと、受付部１２によって受け付ける第１画像情報とに基づいて、第１取得部１５及び第２取得部１６のいずれかで人物を推定するかを選択する。この場合の第１学習済モデルは、例えば、複数の人物が記録される画像と、ヒートマップを利用した人数の推定及び人物の認識を利用した人数の推定のいずれかの選択とを学習することにより生成される学習済モデルであってもよい。すなわち、第１学習済モデルは、例えば、人物が記録される画像と、その画像を後述する第２学習済モデルに入力して推定される人数と、その画像を後述する第３学習済モデルを利用して推定される人数と、を学習して生成される学習済モデルであってもよい。この場合、第１学習済モデルは、例えば、さらに、第２学習済モデルを利用した人数推定と第３学習済モデルを利用した人数推定とのうちどちらがより正しい人数か（適切な推定結果が得られるのが第１取得部１５及び第２取得部１６のうちどちらか）学習した学習済モデルであってもよい。選択部１４は、第１学習済モデルを利用して、第１画像情報に記録される人物の数（人数）を推定するのが適切な機能として、第１取得部１５及び第２取得部１６のうち一方を出力する。
【0051】
第１取得部１５は、選択部１４によって第１取得部１５が出力される（選択される）場合、第２学習済モデルと、第１画像情報とに基づいて、第１画像情報に記録される人物の数（人数）を推定する。すなわち、第１取得部１５は、選択部１４により第１取得部１５が選択される場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付部１２によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する。第２学習済モデルは、上述した実施形態で説明したものと同様の構成であってもよい。
【0052】
第２取得部１６は、選択部１４によって第２取得部１６が出力される（選択される）場合、第３学習済モデルと、第１画像情報とに基づいて、第１画像情報に記録される人物を認識する。第２取得部１６は、そのように認識した人物の数に基づいて、第１画像情報に記録される人物の数（人数）を推定する。すなわち、第２取得部１６は、選択部１４により第２取得部１６が選択される場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付部１２によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する。第３学習済モデルは、上述した実施形態で説明したものと同様の構成であってもよい。
【0053】
（変形例２）
次に、第２の変形例について説明する。
上述した実施形態及び第１変形例では、第１画像情報に記録される人物の数（人数）を推定する際に利用されることについて説明したが、情報処理装置１で行う推定は、人数に限定されることはなく、種々の物体の内容であってもよい。種々の物体の内容は、画像情報（第３画像情報）に記録されるものであってもよく、一例として、屋内及び室内の状況、及び、季節それぞれの状況（春夏秋冬）等であってもよい。
次に、第２の変形例について説明する。
上述した実施形態及び第１変形例では、第１画像情報に記録される人物の数（人数）を推定する際に利用されることについて説明したが、情報処理装置１で行う推定は、人数に限定されることはなく、種々の物体の内容であってもよい。種々の物体の内容は、画像情報（第３画像情報）に記録されるものであってもよく、一例として、屋内及び室内の状況、及び、季節それぞれの状況（春夏秋冬）等であってもよい。
【0054】
受付部１２は、物体が記録される第３画像情報を受け付ける。受付部１２は、上述した実施形態と同様の構成であってもよい。
【0055】
推定部１３は、第４学習済モデルと、受付部１２によって受け付ける第３画像情報に基づいて、第３画像情報に記録される内容を推定する。第４学習済モデルは、例えば、複数の物体が記録される画像と、その画像に記録される物体の内容とを学習することにより生成される学習済モデルであってもよい。すなわち、第４学習済モデルは、例えば、１又は複数の物体が記録される、複数のパターンの画像（複数の画像）と、各パターンの画像それぞれに記録される物体の内容とを学習した学習済モデルであってもよい。
【0056】
また、第２変形例では、上述した第１変形例と同様に、推定部１３の代わりに選択部１４が配されてもよい。すなわち、選択部１４は、第４学習済モデルと、受付部１２によって受け付ける第３画像情報とに基づいて、第１取得部１５及び第２取得部１６のいずれかで物体の内容を推定するかを選択してもよい。この場合の第４学習済モデルは、例えば、１又は複数の物体が記録される画像と、ヒートマップを利用した物体の内容の状態推定及び物体の認識を利用した内容の状態推定のいずれかの選択とを学習することにより生成される学習済モデルであってもよい。すなわち、第４学習済モデルは、例えば、１又は複数の物体が記録される画像と、その画像を後述する第５学習済モデルに入力して推定される物体の内容の状態と、その画像を後述する第６学習済モデルを利用して推定される物体の内容の状態と、を学習して生成される学習済モデルであってもよい。この場合、第４学習済モデルは、例えば、さらに、第５学習済モデルを利用した物体内容の状態の推定と第６学習済モデルを利用した物体内容の状態の推定とのうちどちらがより正しい状態か（適切な推定結果が得られるのが第１取得部１５及び第２取得部１６のうちどちらか）学習した学習済モデルであってもよい。
【0057】
第１取得部１５は、推定部１３によって推定される物体の内容が第１の場合に、第５学習済モデルと、受付部１２によって受け付ける第３画像情報とに基づいて、第３画像情報に記録される物体の内容を取得する。第５学習済モデルは、例えば、物体の内容の状態を示すヒートマップと、そのヒートマップ内の物体の内容とを学習することにより生成される学習済モデルであってもよい。
また、第１取得部１５は、選択部１４によって第１取得部１５が出力される（選択される）場合、第５学習済モデルと、第３画像情報とに基づいて、第４画像情報に記録される物体の内容（状態）を推定する。
また、第１取得部１５は、選択部１４によって第１取得部１５が出力される（選択される）場合、第５学習済モデルと、第３画像情報とに基づいて、第４画像情報に記録される物体の内容（状態）を推定する。
【0058】
第２取得部１６は、推定部１３によって推定される物体の内容が第１の場合とは異なる第２の場合に、第６学習済モデルと、受付部１２によって受け付ける第３画像情報とに基づいて、第３画像情報に記録される物体それぞれを認識し、認識した結果に基づいて物体の内容を取得する。第６学習済モデルは、例えば、物体が記録される画像と、物体とを学習することにより生成される学習済モデルであってもよい。
また、第２取得部１６は、選択部１４によって第２取得部１６が出力される（選択される）場合、第６学習済モデルと、第３画像情報とに基づいて、第３画像情報に記録される物体を認識する。第２取得部１６は、そのように認識した物体に基づいて、第１画像情報に記録される物体の内容（状態）を推定する。
また、第２取得部１６は、選択部１４によって第２取得部１６が出力される（選択される）場合、第６学習済モデルと、第３画像情報とに基づいて、第３画像情報に記録される物体を認識する。第２取得部１６は、そのように認識した物体に基づいて、第１画像情報に記録される物体の内容（状態）を推定する。
【0059】
上述した情報処理装置１の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１の受付部１２、推定部１３、選択部１４、第１取得部１５、第２取得部１６及び出力制御部１７（制御部１１）は、コンピュータの演算処理装置等による受付機能、推定機能、選択機能、第１取得機能、第２取得機能及び出力制御機能（制御機能）としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、例えば、メモリ、ソリッドステートドライブ、ハードディスクドライブ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の受付部１２、推定部１３、選択部１４、第１取得部１５、第２取得部１６及び出力制御部１７（制御部１１）は、コンピュータの演算処理装置等を構成する受付回路、推定回路、選択回路、第１取得回路、第２取得回路及び出力制御回路（制御回路）として実現されてもよい。
また、情報処理装置１の通信部２１、記憶部２２及び表示部２３（出力部）は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能（出力機能）として実現されもよい。また、情報処理装置１の通信部２１、記憶部２２及び表示部２３（出力部）は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路（出力回路）として実現されてもよい。また、情報処理装置１の通信部２１、記憶部２２及び表示部２３（出力部）は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置（出力装置）として構成されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、例えば、メモリ、ソリッドステートドライブ、ハードディスクドライブ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の受付部１２、推定部１３、選択部１４、第１取得部１５、第２取得部１６及び出力制御部１７（制御部１１）は、コンピュータの演算処理装置等を構成する受付回路、推定回路、選択回路、第１取得回路、第２取得回路及び出力制御回路（制御回路）として実現されてもよい。
また、情報処理装置１の通信部２１、記憶部２２及び表示部２３（出力部）は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能（出力機能）として実現されもよい。また、情報処理装置１の通信部２１、記憶部２２及び表示部２３（出力部）は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路（出力回路）として実現されてもよい。また、情報処理装置１の通信部２１、記憶部２２及び表示部２３（出力部）は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置（出力装置）として構成されてもよい。
【0060】
情報処理装置１は、上述した複数の各部のうち１又は任意の複数を組み合わせることが可能である。
本開示では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
本開示では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
【0061】
［本実施形態の態様及び効果］
次に、本実施形態の一態様及び各態様が奏する効果について説明する。なお、本実施形態は以下に記載する各態様に限定されることはなく、上述した各部を適宜組み合わせて実現されてもよい。また、以下に記載する効果は一例であり、各態様が奏する効果は以下に記載するものに限定されることはない。
次に、本実施形態の一態様及び各態様が奏する効果について説明する。なお、本実施形態は以下に記載する各態様に限定されることはなく、上述した各部を適宜組み合わせて実現されてもよい。また、以下に記載する効果は一例であり、各態様が奏する効果は以下に記載するものに限定されることはない。
【0062】
（態様１）
一態様の情報処理装置は、人物が記録される第１画像情報を受け付ける受付部と、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定部と、推定部によって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得部と、推定部によって推定される人数が閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得部と、を備える。
これにより、情報処理装置は、第１画像情報に基づいて、人物の数（人数）を推定することができる。
また、第１画像情報に記録される人物の数（人数）が相対的に多い場合には、ヒートマップを利用して人数を推定する（第２学習済モデルを利用する）場合がより正確な人数を出力することができる。一方、第１画像情報に記録される人物の数（人数）が相対的に少ない場合には、人物認識を利用して人数を推定する（第３学習済モデル）がより正確な人数を出力することができる。したがって、情報処理装置は、第１画像情報に記録される人数に応じて第１取得部及び第２取得部のうち一方を選択して利用するので、より正確な人数を推定することができる。
一態様の情報処理装置は、人物が記録される第１画像情報を受け付ける受付部と、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定部と、推定部によって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得部と、推定部によって推定される人数が閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得部と、を備える。
これにより、情報処理装置は、第１画像情報に基づいて、人物の数（人数）を推定することができる。
また、第１画像情報に記録される人物の数（人数）が相対的に多い場合には、ヒートマップを利用して人数を推定する（第２学習済モデルを利用する）場合がより正確な人数を出力することができる。一方、第１画像情報に記録される人物の数（人数）が相対的に少ない場合には、人物認識を利用して人数を推定する（第３学習済モデル）がより正確な人数を出力することができる。したがって、情報処理装置は、第１画像情報に記録される人数に応じて第１取得部及び第２取得部のうち一方を選択して利用するので、より正確な人数を推定することができる。
【0063】
（態様２）
一態様の情報処理装置では、第１取得部は、人物の存在が推定される可能性が高い箇所と、人物の存在が推定される可能性が低い箇所とを範囲とするその範囲の間で、人物の存在の有無を示すヒートマップを学習した第２学習済モデルを利用して、人物の人数を推定することとしてもよい。
これにより、情報処理装置は、第１画像情報に記録される人物の数（人数）が相対的に多い場合でも、ヒートマップを利用して、人数をより正確に取得することができる
一態様の情報処理装置では、第１取得部は、人物の存在が推定される可能性が高い箇所と、人物の存在が推定される可能性が低い箇所とを範囲とするその範囲の間で、人物の存在の有無を示すヒートマップを学習した第２学習済モデルを利用して、人物の人数を推定することとしてもよい。
これにより、情報処理装置は、第１画像情報に記録される人物の数（人数）が相対的に多い場合でも、ヒートマップを利用して、人数をより正確に取得することができる
【0064】
（態様３）
一態様の情報処理装置では、第１取得部は、受付部によって受け付ける第１画像情報と、予め特定される人物の特徴とに基づいて、人物の存在の有無を示すヒートマップを生成し、そのヒートマップと、第２学習済モデルとに基づいて、人物の人数を推定することとしてもよい。
これにより、情報処理装置は、第１画像情報に記録される人物の数（人数）が相対的に多い場合でも、ヒートマップを利用して、人数をより正確に取得することができる
一態様の情報処理装置では、第１取得部は、受付部によって受け付ける第１画像情報と、予め特定される人物の特徴とに基づいて、人物の存在の有無を示すヒートマップを生成し、そのヒートマップと、第２学習済モデルとに基づいて、人物の人数を推定することとしてもよい。
これにより、情報処理装置は、第１画像情報に記録される人物の数（人数）が相対的に多い場合でも、ヒートマップを利用して、人数をより正確に取得することができる
【0065】
（態様４）
一態様の情報処理装置では、推定部は、人物が記録される第２画像情報及び第２学習済モデルに基づいて推定される人物の人数と、第２画像情報及び第３学習済モデルに基づいて推定される人数と、第２画像情報に記録される人数とを学習することにより生成される第１学習済モデルを利用して、人物の人数を推定することとしてもよい。
これにより、情報処理装置は、第１画像情報に基づいて、第１取得部及び第２取得部のうちいずれで人数を推定するのがより適切かを推定することができる。すなわち、情報処理装置は、第１取得部及び第２取得部のうち、人数の推定により適した機能を選択することができる。
一態様の情報処理装置では、推定部は、人物が記録される第２画像情報及び第２学習済モデルに基づいて推定される人物の人数と、第２画像情報及び第３学習済モデルに基づいて推定される人数と、第２画像情報に記録される人数とを学習することにより生成される第１学習済モデルを利用して、人物の人数を推定することとしてもよい。
これにより、情報処理装置は、第１画像情報に基づいて、第１取得部及び第２取得部のうちいずれで人数を推定するのがより適切かを推定することができる。すなわち、情報処理装置は、第１取得部及び第２取得部のうち、人数の推定により適した機能を選択することができる。
【0066】
（態様５）
一態様の情報処理装置は、人物が記録される第１画像情報を受け付ける受付部と、複数の人物が記録される画像と、ヒートマップを利用した人数の推定及び人物の認識を利用した人数の推定のいずれかの選択とを学習することにより生成される第１学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１取得部及び第２取得部のいずれかで人物を推定するかを選択する選択部と、選択部により第１取得部が選択される場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得部と、選択部により第２取得部が選択される場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得部と、を備える。
これにより、情報処理装置は、上述した態様と同様の効果を奏することができる。
一態様の情報処理装置は、人物が記録される第１画像情報を受け付ける受付部と、複数の人物が記録される画像と、ヒートマップを利用した人数の推定及び人物の認識を利用した人数の推定のいずれかの選択とを学習することにより生成される第１学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１取得部及び第２取得部のいずれかで人物を推定するかを選択する選択部と、選択部により第１取得部が選択される場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得部と、選択部により第２取得部が選択される場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付部によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得部と、を備える。
これにより、情報処理装置は、上述した態様と同様の効果を奏することができる。
【0067】
（態様６）
一態様の情報処理装置は、物体が記録される第３画像情報を受け付ける受付部と、複数の物体が記録される画像と、その画像に記録される物体の内容とを学習することにより生成される第４学習済モデルと、受付部によって受け付ける第３画像情報に基づいて、第３画像情報に記録される内容を推定する推定部と、推定部によって推定される物体の内容が第１の場合に、物体の内容の状態を示すヒートマップと、そのヒートマップ内の物体の内容とを学習することにより生成される第５学習済モデルと、受付部によって受け付ける第３画像情報とに基づいて、第３画像情報に記録される物体の内容を取得する第１取得部と、推定部によって推定される物体の内容が第１の場合とは異なる第２の場合に、物体が記録される画像と、物体とを学習することにより生成される第６学習済モデルと、受付部によって受け付ける第３画像情報とに基づいて、第３画像情報に記録される物体それぞれを認識し、認識した結果に基づいて物体の内容を取得する第２取得部と、を備える。
これにより、情報処理装置は、上述した態様と同様の効果を奏することができる。
一態様の情報処理装置は、物体が記録される第３画像情報を受け付ける受付部と、複数の物体が記録される画像と、その画像に記録される物体の内容とを学習することにより生成される第４学習済モデルと、受付部によって受け付ける第３画像情報に基づいて、第３画像情報に記録される内容を推定する推定部と、推定部によって推定される物体の内容が第１の場合に、物体の内容の状態を示すヒートマップと、そのヒートマップ内の物体の内容とを学習することにより生成される第５学習済モデルと、受付部によって受け付ける第３画像情報とに基づいて、第３画像情報に記録される物体の内容を取得する第１取得部と、推定部によって推定される物体の内容が第１の場合とは異なる第２の場合に、物体が記録される画像と、物体とを学習することにより生成される第６学習済モデルと、受付部によって受け付ける第３画像情報とに基づいて、第３画像情報に記録される物体それぞれを認識し、認識した結果に基づいて物体の内容を取得する第２取得部と、を備える。
これにより、情報処理装置は、上述した態様と同様の効果を奏することができる。
【0068】
（態様７）
一態様の情報処理方法では、コンピュータが、人物が記録される第１画像情報を受け付ける受付ステップと、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、受付ステップによって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定ステップと、推定ステップによって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付ステップによって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得ステップと、推定ステップによって推定される人数が閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付ステップによって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得ステップと、を実行する。
これにより、情報処理方法は、上述した一態様の情報処理装置と同様の効果を奏することができる。
一態様の情報処理方法では、コンピュータが、人物が記録される第１画像情報を受け付ける受付ステップと、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、受付ステップによって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定ステップと、推定ステップによって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付ステップによって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得ステップと、推定ステップによって推定される人数が閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付ステップによって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得ステップと、を実行する。
これにより、情報処理方法は、上述した一態様の情報処理装置と同様の効果を奏することができる。
【0069】
（態様８）
一態様の情報処理プログラムは、コンピュータに、人物が記録される第１画像情報を受け付ける受付機能と、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、受付機能によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定機能と、推定機能によって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付機能によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得機能と、推定機能によって推定される人数が閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付機能によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得機能と、を実現させる。
これにより、情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。
一態様の情報処理プログラムは、コンピュータに、人物が記録される第１画像情報を受け付ける受付機能と、複数の人物が記録される画像と、その画像に記録される人物の人数とを学習することにより生成される第１学習済モデルと、受付機能によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を推定する推定機能と、推定機能によって推定される人数が閾値以上の場合、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、受付機能によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得機能と、推定機能によって推定される人数が閾値未満の場合、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、受付機能によって受け付ける第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得機能と、を実現させる。
これにより、情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。
【符号の説明】
【0070】
１ 情報処理装置
１１ 制御部
１２ 受付部
１３ 推定部
１４ 選択部
１５ 第１取得部
１６ 第２取得部
１７ 出力制御部
２１ 通信部
２２ 記憶部
２３ 表示部
１１ 制御部
１２ 受付部
１３ 推定部
１４ 選択部
１５ 第１取得部
１６ 第２取得部
１７ 出力制御部
２１ 通信部
２２ 記憶部
２３ 表示部
【要約】
【課題】画像に基づいて人数を推定することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置は、人物が記録される第１画像情報を受け付ける受付部と、第１学習済モデルと第１画像情報とに基づいて、第１画像情報に関する推定を行う推定部と、推定部によって推定される内容が第１の場合に、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得部と、推定部によって推定される内容が第２の場合に、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得部と、を備える。
【選択図】図１
【解決手段】情報処理装置は、人物が記録される第１画像情報を受け付ける受付部と、第１学習済モデルと第１画像情報とに基づいて、第１画像情報に関する推定を行う推定部と、推定部によって推定される内容が第１の場合に、人物の存在の有無を示すヒートマップと、そのヒートマップ内の人物の人数とを学習することにより生成される第２学習済モデルと、第１画像情報とに基づいて、第１画像情報に記録される人物の人数を取得する第１取得部と、推定部によって推定される内容が第２の場合に、人物が記録される画像と、人物とを学習することにより生成される第３学習済モデルと、第１画像情報とに基づいて、第１画像情報に記録される人物それぞれを認識し、認識した結果に基づいて人物の人数を取得する第２取得部と、を備える。
【選択図】図１
【図1】
【図2】
【図3】
【図4】