7809271 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2026-01-23

(45)【発行日】2026-02-02

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06Q 30/0203 20230101AFI20260126BHJP

【ＦＩ】

G06Q30/0203

【請求項の数】 9

(21)【出願番号】P 2021202578

(22)【出願日】2021-12-14

(65)【公開番号】P2023087988

(43)【公開日】2023-06-26

【審査請求日】2024-09-03

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２１年１月５日に開催された「２０２１ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＷＯＲＫＳＨＯＰ ＯＮ ＡＤＶＡＮＣＥＤ ＩＭＡＧＥ ＴＥＣＨＮＯＬＯＧＹ （ＩＷＡＩＴ２０２１）」において発表。

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２１年２月１９日に開催された「令和２年度 北海道大学 数理・データサイエンス教育研究センターシンポジウム 地方創生に向けたＤＸ時代を牽引する人材育成 第２部 ニトリ未来社会デザイン講座セッション」において発表。

(73)【特許権者】

【識別番号】500560129

【氏名又は名称】株式会社ニトリホールディングス

(73)【特許権者】

【識別番号】504173471

【氏名又は名称】国立大学法人北海道大学

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】本間 勇紀

(72)【発明者】

【氏名】藤後 廉

(72)【発明者】

【氏名】阿部 真育

(72)【発明者】

【氏名】長谷山 美紀

(72)【発明者】

【氏名】小川 貴弘

【審査官】板垣 有紀

(56)【参考文献】

【文献】米国特許第０８２１９４３８（ＵＳ，Ｂ１）

【文献】特開２０２１－１２５０４８（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１２２２４９３（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１６／０２０３５２４（ＵＳ，Ａ１）

【文献】特開２０１７－１６２４３２（ＪＰ，Ａ）

【文献】特開２０２０－１３５３２９（ＪＰ，Ａ）

【文献】国際公開第２０２０／０９０１２６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

実店舗に来店した顧客の関心を推定する情報処理システムであって，
前記情報処理システムは，
実店舗内を撮像する店内カメラである撮像装置で前記実店舗におけるソファまたはベッドを展示販売する売り場を撮像した画像情報を受け付ける画像情報受付処理部と，
前記画像情報に写っている人物の姿勢推定をする姿勢推定処理を行う姿勢推定処理部と，
前記姿勢推定処理の結果による前記人物の画像情報における姿勢と位置とを用いて前記人物のソファまたはベッドに対する関心を示す情報を，教師データに設定する前処理部と，
前記教師データを用いて関心推定モデルの学習処理を行わせる学習処理部と，
前記関心推定モデルを用いて，処理対象とする画像情報に写っている人物のソファまたはベッドに対する関心を示す情報を出力する関心推定処理部と，を有しており，
前記前処理部は，
前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドの展示領域に位置し，かつ前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドを試用する姿勢である場合には，前記人物のソファまたはベッドに対する関心があることを示す情報を設定し，
前記試用する姿勢は，
前記展示販売するソファまたはベッドに対して座る，寝る姿勢のいずれかである，
ことを特徴とする情報処理システム。

【請求項2】

前記前処理部は，
前記人物が前記画像情報における前記実店舗の通路として設定されている領域に位置する場合には，前記人物はソファまたはベッドに対する関心がないことを示す情報を設定する，
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記前処理部は，
前記人物に対する前記姿勢推定処理による姿勢情報を用いて解析対象画像情報を抽出し，
前記解析対象画像情報に対応する姿勢情報による前記人物の前記画像情報における姿勢と位置とを用いて，前記人物のソファまたはベッドに対する関心を示す情報を，前記教師データに設定する，
ことを特徴とする請求項１または請求項２に記載の情報処理システム。

【請求項4】

前記前処理部は，
前記画像情報に対する姿勢情報を用いて前記姿勢推定ができたフレームと前記姿勢推定ができなかったフレームを判定し，
前記姿勢推定ができなかったフレーム数が連続して第１の基準値以下である場合には，それらのフレームを姿勢推定ができたフレームとし，
前記姿勢推定ができたフレーム数が連続して，前記第１の基準値より大きい値である第２の基準値以上である場合には，それらのフレームを解析対象画像情報として抽出する，
ことを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記情報処理システムは，
前記関心推定処理部による関心を示す情報を用いて，所定の出力処理を行う出力処理部，
を有しており，
前記出力処理部は，
関心ありと判定した場合には，関心がある顧客の存在を示す通知を出力する，
ことを特徴とする請求項１から請求項４のいずれかに記載の情報処理システム。

【請求項6】

前記情報処理システムは，
前記関心推定処理部による関心を示す情報を用いて，所定の出力処理を行う出力処理部，を有しており，
前記出力処理部は，
関心ありと判定した場合には，前記人物の姿勢情報における対象部位の位置がどの領域にあるかを集計することで，前記画像情報のどの領域に関心が集まっているかを出力する，
ことを特徴とする請求項１から請求項５のいずれかに記載の情報処理システム。

【請求項7】

実店舗に来店した顧客の関心を推定する関心推定モデルのための教師データを作成する情報処理システムであって，
前記情報処理システムは，
実店舗内を撮像する店内カメラである撮像装置で前記実店舗におけるソファまたはベッドを展示販売する売り場を撮像した画像情報を受け付ける画像情報受付処理部と，
前記画像情報に写っている人物の姿勢推定をする姿勢推定処理を行う姿勢推定処理部と，
前記姿勢推定処理の結果による姿勢情報による前記人物の画像情報における姿勢と位置とを用いて前記人物のソファまたはベッドに対する関心を示す情報と，前記姿勢情報の一部または全部とを対応づけたデータセットを教師データとして作成する前処理部と，を有しており，
前記前処理部は，
前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドの展示領域に位置し，かつ前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドを試用する姿勢である場合には，前記人物のソファまたはベッドに対する関心があることを示す情報を設定し，
前記試用する姿勢は，
前記展示販売するソファまたはベッドに対して座る，寝る姿勢のいずれかである，
ことを特徴とする情報処理システム。

【請求項8】

コンピュータを，
実店舗内を撮像する店内カメラである撮像装置で前記実店舗におけるソファまたはベッドを展示販売する売り場を撮像した画像情報を受け付ける画像情報受付処理部，
前記画像情報に写っている人物の姿勢推定をする姿勢推定処理を行う姿勢推定処理部，
前記姿勢推定処理の結果による前記人物の画像情報における姿勢と位置とを用いて前記人物のソファまたはベッドに対する関心を示す情報を，教師データに設定する前処理部，
前記教師データを用いて関心推定モデルの学習処理を行わせる学習処理部，
前記関心推定モデルを用いて，処理対象とする画像情報に写っている人物のソファまたはベッドに対する関心を示す情報を出力する関心推定処理部，として機能させ，
前記前処理部は，
前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドの展示領域に位置し，かつ前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドを試用する姿勢である場合には，前記人物のソファまたはベッドに対する関心があることを示す情報を設定し，
前記試用する姿勢は，
前記展示販売するソファまたはベッドに対して座る，寝る姿勢のいずれかである，
ことを特徴とする情報処理プログラム。

【請求項9】

コンピュータを，
実店舗内を撮像する店内カメラである撮像装置で前記実店舗におけるソファまたはベッドを展示販売する売り場を撮像した画像情報を受け付ける画像情報受付処理部，
前記画像情報に写っている人物の姿勢推定をする姿勢推定処理を行う姿勢推定処理部，
前記姿勢推定処理の結果による姿勢情報による前記人物の画像情報における姿勢と位置とを用いて前記人物のソファまたはベッドに対する関心を示す情報と，前記姿勢情報の一部または全部とを対応づけたデータセットを教師データとして作成する前処理部，として機能させ，
前記前処理部は，
前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドの展示領域に位置し，かつ前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドを試用する姿勢である場合には，前記人物のソファまたはベッドに対する関心があることを示す情報を設定し，
前記試用する姿勢は，
前記展示販売するソファまたはベッドに対して座る，寝る姿勢のいずれかである，
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は，情報処理システムに関する。とくに実店舗に来店した顧客の関心を推定する情報処理システムに関する。

【背景技術】

【0002】

従来，小売業界では，過去の売上げ，新商品，値下げ品などの店舗側の立場による画一的な情報の発信が行われてきた。しかし，これまでの画一的な情報発信から，顧客一人一人の過去の購入履歴や購買行動などの顧客側の関心に合わせたＯｎｅ ｔｏ Ｏｎｅ（ワン・トゥ・ワン）マーケティングの手法が注目を浴びている。

【0003】

たとえばＥＣサイトであれば，顧客のインターネット上の購買行動を収集しており，ログインさえしていれば購入の有無に関わらず顧客情報と購買行動が紐付くので，Ｏｎｅ ｔｏ Ｏｎｅマーケティングの実現は容易である。しかし，実店舗の場合には，来店した顧客の購買行動を取得することはできず，顧客情報は会計をする際のポイントカードや顧客の申告などによって初めて分かるのであり，この場合には，後日，限定的な顧客に対して購入履歴から推定される商品のクーポンを発行する，広告を行うなどといったマーケティングしか行えない。そのため，顧客が実店舗に来店をして商品を見ているときに顧客の関心を推定することは，販売員が常時見ていない限り困難である。

【0004】

そこで，実店舗に来店をした顧客について，商品を購入する前に関心を推定する方法として，たとえば下記特許文献１，特許文献２などのシステムがある。

【先行技術文献】

【特許文献】

【0005】

【文献】ＷＯ２０１５／０３３５７７号公報

【文献】特開２０２１－４７８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では，３次元カメラを用いて顧客を撮影し，顧客の顔や視線を認識することで，当該顧客の商品に対する関心を推定するシステムである。このシステムの場合，３次元カメラという特殊なカメラを実店舗に設置する必要があり，その設置コストの負担が生じる。

【0007】

また，顧客の顔や視線を認識するためには，顧客の顔や視線の方向を正確に認識しなければならないが，カメラの設置場所と顧客との距離が離れている場合などは，その認識は容易ではない。また，単に，移動のために顔や視線が向いている場合もあり，顧客の顔や視線の方向にある商品を必ずしも関心を持って見ているとは限らない。さらに，コンビニエンスストアやスーパーマーケットのように，陳列棚に陳列されている商品の場合には，陳列棚に向いている顔や視線の先に当該商品しか存在しないので，顔や視線の方向と商品への関心との関連付けができる場合もある。しかし，家具などを販売する大型店舗では，商品は陳列棚に陳列されているだけではなく，家具などの商品が広く展示されている。そのため，顔や視線の方向の先には複数の商品が存在し，顔や視線の方向を推定しただけでは，当該顧客がどの商品に関心があるかを特定することはできない。すなわち，顔や視線の方向と顧客の商品への関心との関連付けが必ずしもできない。

【0008】

特許文献２も特許文献１と同様に，実店舗に来店した顧客の視線の方向を推定することで，顧客の商品への関心を推定するシステムである。そのため，特許文献１と同様に，顔や視線の方向と顧客の商品への関心との関連付けが必ずしもできないという課題がある。

【課題を解決するための手段】

【0009】

そこで本発明者は上記課題に鑑み，商品が展示されている実店舗であっても，そこに来店した顧客の商品への関心を推定することができる情報処理システムを発明した。

【0010】

第１の発明は，実店舗に来店した顧客の関心を推定する情報処理システムであって，前記情報処理システムは，実店舗内を撮像する店内カメラである撮像装置で前記実店舗におけるソファまたはベッドを展示販売する売り場を撮像した画像情報を受け付ける画像情報受付処理部と，前記画像情報に写っている人物の姿勢推定をする姿勢推定処理を行う姿勢推定処理部と，前記姿勢推定処理の結果による前記人物の画像情報における姿勢と位置とを用いて前記人物のソファまたはベッドに対する関心を示す情報を，教師データに設定する前処理部と，前記教師データを用いて関心推定モデルの学習処理を行わせる学習処理部と，前記関心推定モデルを用いて，処理対象とする画像情報に写っている人物のソファまたはベッドに対する関心を示す情報を出力する関心推定処理部と，を有しており，前記前処理部は，前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドの展示領域に位置し，かつ前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドを試用する姿勢である場合には，前記人物のソファまたはベッドに対する関心があることを示す情報を設定し，前記試用する姿勢は，前記展示販売するソファまたはベッドに対して座る，寝る姿勢のいずれかである，情報処理システムである。

【0011】

本発明を用いることによって，商品が展示されている実店舗においても，来店した顧客の商品への関心を推定することができる。

【0013】

上述の発明において，前記前処理部は，前記人物が前記画像情報における前記実店舗の通路として設定されている領域に位置する場合には，前記人物はソファまたはベッドに対する関心がないことを示す情報を設定する，情報処理システムのように構成することができる。

【0014】

コンビニエンスストアやスーパーマーケットなどのように，陳列棚に商品が陳列されている小売店とは異なり，家具などの商品を販売する店舗では，通路の両脇に商品が展示されている。そのため，商品が展示されている領域や，展示されている商品を試用する姿勢を判定することによって，関心の有無を判定できる。そのため，教師データにおける人物の商品に対する関心を示す情報の設定は，本発明のように行うとよい。

【0015】

上述の発明において，前記前処理部は，前記人物に対する前記姿勢推定処理による姿勢情報を用いて解析対象画像情報を抽出し，前記解析対象画像情報に対応する姿勢情報による前記人物の前記画像情報における姿勢と位置とを用いて，前記人物のソファまたはベッドに対する関心を示す情報を，前記教師データに設定する，情報処理システムのように構成することができる。

【0016】

撮像装置で撮像した画像情報については，すべてに人物が写っているとは限らない。そのため，人物が写っている画像情報は，姿勢推定処理ができるか否かによって判定できるので，そのような画像情報を解析対象画像情報として抽出し，その画像情報に対して関心を示す情報を設定することがよい。これによって，より適切な教師データとすることができる。

【0017】

上述の発明において，前記前処理部は，前記画像情報に対する姿勢情報を用いて前記姿勢推定ができたフレームと前記姿勢推定ができなかったフレームを判定し，前記姿勢推定ができなかったフレーム数が連続して第１の基準値以下である場合には，それらのフレームを姿勢推定ができたフレームとし，前記姿勢推定ができたフレーム数が連続して，前記第１の基準値より大きい値である第２の基準値以上である場合には，それらのフレームを解析対象画像情報として抽出する，情報処理システムのように構成することができる。

【0018】

姿勢推定ができなかったフレーム数が連続して第１の基準値，たとえば３フレーム以下であれば姿勢推定ができたフレームとして取り扱ってもよい。また，姿勢推定ができたフレーム数が連続して第２の基準値以上，たとえば１０フレーム以上ないと，関心推定を行うための教師データとして適切ではない。そのため，本発明のように構成をすることで，適切な教師データとすることができる。

【0019】

上述の発明において，前記情報処理システムは，前記関心推定処理部による関心を示す情報を用いて，所定の出力処理を行う出力処理部，を有しており，前記出力処理部は，関心ありと判定した場合には，関心がある顧客の存在を示す通知を出力する，情報処理システムのように構成することができる。

【0020】

本発明のように構成することで，商品に関心がある顧客の存在を，たとえば従業員に通知でき，それによって，関心がある顧客に対する接客を行わせることができる。

【0021】

上述の発明において，前記情報処理システムは，前記関心推定処理部による関心を示す情報を用いて，所定の出力処理を行う出力処理部，を有しており，前記出力処理部は，関心ありと判定した場合には，前記人物の姿勢情報における対象部位の位置がどの領域にあるかを集計することで，前記画像情報のどの領域に関心が集まっているかを出力する，情報処理システムのように構成することができる。

【0022】

本発明のように構成することで，画像情報におけるどの領域に，顧客の関心が高いかがわかる。そのため，当該領域にある商品への関心が高いと推定し，出力できる。

【0027】

第７の発明は，実店舗に来店した顧客の関心を推定する関心推定モデルのための教師データを作成する情報処理システムであって，前記情報処理システムは，実店舗内を撮像する店内カメラである撮像装置で前記実店舗におけるソファまたはベッドを展示販売する売り場を撮像した画像情報を受け付ける画像情報受付処理部と，前記画像情報に写っている人物の姿勢推定をする姿勢推定処理を行う姿勢推定処理部と，前記姿勢推定処理の結果による姿勢情報による前記人物の画像情報における姿勢と位置とを用いて前記人物のソファまたはベッドに対する関心を示す情報と，前記姿勢情報の一部または全部とを対応づけたデータセットを教師データとして作成する前処理部と，を有しており，前記前処理部は，前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドの展示領域に位置し，かつ前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドを試用する姿勢である場合には，前記人物のソファまたはベッドに対する関心があることを示す情報を設定し，前記試用する姿勢は，前記展示販売するソファまたはベッドに対して座る，寝る姿勢のいずれかである，情報処理システムである。

【0028】

本発明のように構成することで，来店した顧客の商品への関心を推定する関心推定モデルを学習するための教師データを作成することができる。

【0031】

第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，実店舗内を撮像する店内カメラである撮像装置で前記実店舗におけるソファまたはベッドを展示販売する売り場を撮像した画像情報を受け付ける画像情報受付処理部，前記画像情報に写っている人物の姿勢推定をする姿勢推定処理を行う姿勢推定処理部，前記姿勢推定処理の結果による前記人物の画像情報における姿勢と位置とを用いて前記人物のソファまたはベッドに対する関心を示す情報を，教師データに設定する前処理部，前記教師データを用いて関心推定モデルの学習処理を行わせる学習処理部，前記関心推定モデルを用いて，処理対象とする画像情報に写っている人物のソファまたはベッドに対する関心を示す情報を出力する関心推定処理部，として機能させ，前記前処理部は，前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドの展示領域に位置し，かつ前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドを試用する姿勢である場合には，前記人物のソファまたはベッドに対する関心があることを示す情報を設定し，前記試用する姿勢は，前記展示販売するソファまたはベッドに対して座る，寝る姿勢のいずれかである，情報処理プログラムである。

【0033】

第７の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，実店舗内を撮像する店内カメラである撮像装置で前記実店舗におけるソファまたはベッドを展示販売する売り場を撮像した画像情報を受け付ける画像情報受付処理部，前記画像情報に写っている人物の姿勢推定をする姿勢推定処理を行う姿勢推定処理部，前記姿勢推定処理の結果による姿勢情報による前記人物の画像情報における姿勢と位置とを用いて前記人物のソファまたはベッドに対する関心を示す情報と，前記姿勢情報の一部または全部とを対応づけたデータセットを教師データとして作成する前処理部，として機能させ，前記前処理部は，前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドの展示領域に位置し，かつ前記人物が前記画像情報における前記実店舗で展示販売するソファまたはベッドを試用する姿勢である場合には，前記人物のソファまたはベッドに対する関心があることを示す情報を設定し，前記試用する姿勢は，前記展示販売するソファまたはベッドに対して座る，寝る姿勢のいずれかである，情報処理プログラムである。

【発明の効果】

【0036】

本発明の情報処理システムを用いることによって，商品が展示されている実店舗であっても，そこに来店した顧客の商品への関心を推定することができる。

【図面の簡単な説明】

【0037】

【図1】本発明の情報処理システムの全体の処理機能の一例を模式的に示すブロック図である。

【図2】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図3】本発明の情報処理システムにおける学習処理の処理プロセスの一例を示すフローチャートである。

【図4】本発明の情報処理システムにおける関心推定処理の処理プロセスの一例を示すフローチャートである。

【図5】画像情報入力受付処理部で入力を受け付ける画像情報の一例を示す図である。

【図6】姿勢推定処理をした画像情報の一例を示す図である。

【図7】画像情報において，各パーツの位置情報を２次元座標に変換をして示したものと，各パーツの位置情報とその信頼度を示した姿勢情報のファイルの一例を示している。

【図8】撮像装置で関心の有無を示す領域の一例を示す図の一例である。

【図9】ソファに座っている人物の姿勢情報に基づいて，当該顧客は商品に関心があると推定することを示す図である。

【図10】教師データの一例を示す図である。

【図11】展示商品への関心度合いを出力する処理を模式的に示す図である。

【図12】図１２（ａ）のヒートマップに基づいて，図１２（ｂ）の展示商品が関心度合いが高いことを模式的に示す図である。

【発明を実施するための形態】

【0038】

本発明の情報処理システム１の全体の処理機能の一例のブロック図を図１に示す。情報処理システム１は管理端末２で機能する。

【0039】

管理端末２は，情報処理システム１の中心的な処理機能を実現するコンピュータである。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

【0040】

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

【0041】

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

【0042】

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。さらに，管理端末２における各機能は一台で実現されるのみならず，複数台にその機能が分散していてもよい。また一部の処理がインターネットなどにあるサーバなどで実行されていてもよい。

【0043】

管理端末２は，撮像装置３から撮像した画像情報を受け付け，所定の処理を実行する。撮像装置３は，実店舗に設置されており，実店舗内の状況を撮像する店内カメラである。撮像装置３としては，たとえば防犯カメラを用いることができるが，それに限定するものではない。なお，撮像装置３の撮像方向は固定されていることが好ましいが，それに限定するものではない。

【0044】

撮像装置３は実店舗内の状況を撮像しているので，実店舗に来店した顧客，試用できる展示品のある売り場（展示商品売り場）などを撮像する。なお，展示商品売り場とは，コンビニエンスストアやスーパーマーケットとは異なり，商品および／または商品の試用品が，直接，売り場に置かれ，顧客がその商品を試用可能となっているような売り場をいう。たとえば，家具，大型家電（冷蔵庫，洗濯機，テレビ，マッサージ機など），一人用ソファや椅子などと同等の大きさがある大型クッションなどの大型日用品・寝具・雑貨品，自動車や二輪車などの大型商品を販売する売り場が一例としてあげられる。

【0045】

情報処理システム１は，画像情報受付処理部２０と記憶部２１と姿勢推定処理部２２と前処理部２３と学習処理部２４と関心推定処理部２５と出力処理部２６とを有する。

【0046】

画像情報受付処理部２０は，撮像装置３で撮像した画像情報の入力を受け付け，後述する記憶部２１に記憶させる。たとえば防犯カメラである撮像装置３が実店舗の店内の状況を撮像した撮像画像情報を，撮像装置３から入力を受け付け，それを記憶部２１に記憶させる。なお必要に応じて，撮像日時，撮像対象を示す情報など，関連する情報を合わせて入力を受け付けて，記憶部２１に記憶させてもよい。また撮像画像情報としては動画像，静止画像のいずれであってもよい。

【0047】

記憶部２１は，画像情報受付処理部２０で入力を受け付けた画像情報を記憶する。また本発明の情報処理システム１の処理で必要な情報を記憶する。

【0048】

姿勢推定処理部２２は，画像情報受付処理部２０で入力を受け付けて記憶部２１に記憶した画像情報を用いて，当該画像情報に写っている人物の姿勢を推定する。姿勢推定処理部２２は，画像情報におけるフレームごとに，当該画像情報に写っている人物の姿勢を推定する。たとえば姿勢推定処理部２２における姿勢推定処理には，ＯｐｅｎＰｏｓｅ，ＨＲＮｅｔ（Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ），ＳＴ－ＧＣＮなどの姿勢推定プログラムが知られており，それらを用いることができるが，それらに限定するものでもない。画像情報に写っている人物の姿勢を推定することができれば，如何なるプログラムを用いてもよい。

【0049】

前処理部２３は，後述する関心推定処理部２５における関心推定モデルを作成するための前処理を実行する。前処理部２３における前処理としては，解析対象画像情報を抽出して解析対象データセットを出力する処理，教師データの作成処理などの各処理がある。

【0050】

まず解析対象画像情報の抽出処理を説明する。姿勢推定処理部２２において姿勢推定処理を実行するために入力される画像情報には，人物が写っているフレームと，人物が写っていないフレームとがある。そのため，姿勢推定をできたフレームは解析対象画像情報として抽出し，姿勢推定ができなかったフレームは，処理の対象から除外する。姿勢推定ができたか否かは，姿勢推定プログラムが出力する出力値に基づいて判定することができる。また，解析対象画像情報としての抽出，除外は，抽出したフレームのみを解析対象画像情報として切り出してもよいし，あるいは解析対象画像情報として抽出する，あるいは解析対象画像情報として抽出しないを示すアノテーションをフレームごとに付することで，識別可能としてもよい。

【0051】

そして前処理部２３は，上述のように，抽出した解析対象画像情報と，その解析対象画像情報に対応する姿勢推定プログラムの出力値とをデータセットとして対応づける。

【0052】

前処理部２３における教師データの作成処理は，解析対象画像情報における人物の位置および／または姿勢に基づいて当該人物が商品に関心があるか否かを示す情報を設定し，教師データとして作成する。教師データとしては，上記データセットのうち，フレームごとに，姿勢推定プログラムの出力値および／または位置情報の一部または全部に，当該フレームに写っている人物が商品に関心があるか否かを示す情報を対応づけたデータセット（教師データ）として作成できる。

【0053】

商品に関心があるかを人物の位置に基づいて判定するためには，当該人物がどこにいるか，たとえば実店舗の主通路にいるか否かによって判定をする。また商品に関心があるかを人物の姿勢に基づいて判定するためには，当該人物が展示してある商品を試用する姿勢，たとえば座る，寝る，手に取る，扉を開ける，扉を閉めるなど，人間が展示してある商品を試用する際に通常とるであろう姿勢をとっている場合には商品に関心があると判定する。

【0054】

人物が商品に関心があるかの判定は，所定の担当者が解析対象画像情報を視認しながら目視で設定してもよいし，解析対象画像情報に対応する姿勢推定プログラムの出力値，画像情報における当該人物の位置情報（座標情報）に基づいて自動的に設定してもよい。

【0055】

学習処理部２４は，前処理部２３で作成したデータセットを教師データとして用いて，関心推定モデルの学習処理を実行する。関心推定モデルとしては，深層学習（ディープラーニング）を用いることが好ましい。この場合，中間層が多数の層からなるニューラルネットワークに対して教師データを入力し，各層のニューロン間の重み付け係数を最適化することで関心推定モデルを学習させることができる。

【0056】

関心推定処理部２５は，撮像装置３が撮像して画像情報受付処理部２０で入力を受け付けた，関心推定の処理対象とする画像情報に写っている人物が，商品に関心があるかを，学習処理部２４における関心推定モデルを用いて推定する。

【0057】

出力処理部２６は，関心推定処理部２５で出力した出力値を用いて，関心がある顧客の存在を店員に通知するなど，所定の出力処理を実行する。

【実施例1】

【0058】

つぎに本発明の情報処理システム１を用いた処理プロセスの一例を図３および図４のフローチャートを用いて説明する。以下の説明では，撮像装置３として，家具を展示販売する売り場を撮影する防犯カメラを用いた場合を説明する。

【0059】

まず本発明の情報処理システム１を用いた学習処理の処理プロセスの一例を図３のフローチャートを用いて説明する。

【0060】

まず防犯カメラなどの撮像装置３で撮像した，学習に用いるための実店舗の画像情報（撮像画像情報）の入力を，画像情報受付処理部２０で受け付け，記憶部２１に記憶させる（Ｓ１００）。撮像画像情報としてはどのようなものであってもよいが，たとえば１秒１フレームとする。画像情報入力受付処理部で入力を受け付けた撮像画像情報の一例を，図５に示す。図５では，防犯カメラで実店舗を撮像した画像情報であり，１秒１フレームの画像情報である。なお，実際には，一定時間，たとえば１日の営業時間中の防犯カメラの画像情報などの入力を受け付けるとよい。

【0061】

そして姿勢推定処理部２２は，入力を受け付けて，記憶部２１に記憶させた撮像画像情報に対して，撮像画像情報に写っている人物の姿勢推定処理を行う（Ｓ１１０）。姿勢推定処理としてＯｐｅｎＰｏｓｅを用いた場合，たとえばフレームごとに撮影されている人物の各パーツについてｘ座標，ｙ座標，信頼度の３変数で一単位とし，合計２５カ所のパーツのデータ群（姿勢情報）として出力する。すなわち，撮影されている人物の２５カ所のパーツを，それぞれ３変数で示すことで，当該人物の姿勢を推定する。画像情報に写っている人物に対して姿勢推定処理をした状態の画像情報の一例を模式的に示すのが図６である。また，あるフレームにおける姿勢情報のファイルの一例を図７に示す。図７（ａ）は，画像情報において，各パーツの位置情報を２次元座標（ｘ座標，ｙ座標）に変換をして示したものであり，図７（ｂ）は，図７（ａ）の各パーツの位置情報とその信頼度を示した姿勢情報のファイルの一例を示している。

【0062】

姿勢情報（一例として図７（ｂ））は，ファイルとしてフレームごとに対応づけられていてよいし，そうでなくてもよい。なお，姿勢情報が抽出されたフレームについては，姿勢推定ができたフレーム（人物が写っているフレーム）であることを示す情報が付され，姿勢情報が抽出されなかったフレームについては，姿勢推定ができなかったフレーム（人物が写っていないフレーム）であることを示す情報が付される。

【0063】

そして前処理部２３は，姿勢推定処理部２２における姿勢推定処理を実行すると，姿勢推定をできたフレーム（人物が写っているフレーム）を抽出し，解析対象画像情報として抽出をする（Ｓ１２０）。この際に解析対象画像情報として抽出するフレームとしては，たとえば姿勢情報として有意な情報が記録されているフレームを抽出すればよい。この抽出としては，たとえば姿勢推定ができたフレームであることを示す情報，姿勢推定ができなかったフレームであることを示す情報などに基づいて行える。

【0064】

この際に，前処理部２３は，姿勢推定ができないフレーム（人物が写っていないフレーム，または人物が写っているが認識されなかったフレーム）が連続して一定数以内（たとえば３フレーム以内）であれば，姿勢推定ができたフレーム（人物が写っているフレーム）と見なし，および／または姿勢推定ができたフレーム（人物が写っているフレーム，または人物は写っていないが姿勢が推定されたフレーム）について連続して所定のフレーム数以上（たとえば１０フレーム）ある場合に，それらの一連のフレームを解析対象画像情報として抽出をする。たとえば，姿勢推定ができたフレームが１５フレーム連続している場合にはこの１５フレームを解析対象画像情報として抽出する。また，姿勢推定ができたフレームが８フレーム連続しているだけの場合には，この８フレームは除外し，解析対象画像として抽出しない。

【0065】

姿勢推定ができないフレームが連続して３フレームあった場合には，その３フレームを姿勢推定ができたフレームと見なし，それらフレームも含めて姿勢推定ができたフレームが１５フレーム連続している場合にはこの１５フレームを解析対象画像として抽出する。また，姿勢推定ができないフレームが連続して３フレームあった場合には，その３フレームの姿勢推定ができたフレームと見なし，それらフレームも含めて姿勢推定ができたフレームが８フレーム連続しているだけの場合には，この８フレームは除外し，解析対象画像として抽出しない。

【0066】

さらに，姿勢推定ができないフレームが連続して４フレーム以上あった場合には，その４フレームは除外し，解析対象画像情報として抽出しない。

【0067】

なお，撮影画像情報のうち，どの画像情報を解析対象画像情報として抽出するかは任意に条件を設定でき，上記は一例に過ぎず，他の条件であってもよい。

【0068】

そして，前処理部２３は，抽出した解析対象画像情報と，その解析対象画像情報に対応する姿勢情報とをデータセットとして対応づける（Ｓ１３０）。

【0069】

このように対応づけたデータセットに対して，解析対象画像情報における人物の位置および／または姿勢に基づいて，当該人物が商品に関心があるか否かを示す情報を判定し，教師データとして設定をする（Ｓ１４０）。

【0070】

解析対象画像情報における人物の位置に基づいて，当該人物が関心があるか否かを判定する場合には，あらかじめ撮像装置３で撮像可能な範囲について，人物が位置することで関心があることを示す領域，関心がないことを示す領域を設定しておき，解析対象画像情報に写っている人物の位置情報が，どの領域に位置するかで関心の有無を判定する。図８に撮像装置３で関心の有無を示す領域の一例を示す。図８では領域１は主通路であり，この領域に人物がいる場合には商品に関心がないと設定する。領域２は撮像装置３から離れた位置であるため判定が困難であるため商品に関心がない領域と設定する。領域３および領域４は主通路の両脇に設けられた商品の展示領域であり，この領域に人物が位置する場合には商品に関心があると設定する。そして解析対象画像情報に写っている人物の位置情報（たとえば姿勢情報における各パーツの座標に基づいて算出される平均の座標，ある特定のパーツの座標など）がどの領域になるか，たとえば領域１，領域２に位置すれば当該顧客は商品に関心がないと判定し，領域３，領域４に位置すれば当該顧客は商品に関心があると判定する。

【0071】

解析対象画像情報における人物の姿勢に基づいて，当該人物が関心があるか否かを示す情報を判定する場合には，あらかじめ展示されている商品を試用する姿勢情報を設定しておき，その姿勢情報に類似する姿勢情報となる場合には，当該顧客は商品に関心があると推定してもよい。たとえば図９では，ソファに座っている人物の姿勢情報に基づいて，当該顧客は商品に関心があると推定している。

【0072】

なお，解析対象画像情報における人物の位置と姿勢の双方を用いて，当該人物が関心があるか否かを判定してもよい。たとえば図８に示すように，当該人物の位置情報が領域１または領域２に位置しており，さらに当該人物の姿勢情報が図９に示すように，展示されている商品を試用する情報の場合には，商品に関心があると推定をしてもよい。この場合には，領域３または領域４に位置する場合，領域１または領域２に位置しておりかつ商品を試用する姿勢情報の場合には，商品に関心があると判定できる。これによって，領域３または領域４にある家具であるが，領域１，領域２の境界付近にあり，人物は領域１，領域２に存在している場合に，当該人物が当該家具を試用する行動を関心があると推定することができる。

【0073】

また，当該人物の位置情報が領域３または領域４に位置しており，さらに当該人物の姿勢情報が図９に示すように，展示されている商品を試用する情報の場合には，商品に関心があると推定してもよい。この場合には，領域３または領域４に位置しても，必ずしも当該人物が商品に関心があるわけではない（たとえば，通路として通っている場合）ことから，当該領域にある家具に対して試用をする行動の場合に，関心があると推定するものである。

【0074】

また，関心があるか否かの判定は，データセットにおける姿勢情報を用いて，コンピュータが自動的に判定をしてもよいし，所定の担当者が解析対象画像情報を視認し，判定をしてもよい。

【0075】

関心があるか否かを示す情報は，姿勢情報に対応づけたデータセット（教師データ）として作成される。このような教師データの一例を図１０に示す。図１０の教師データでは，「ａｎｎｏｔａｔｉｏｎ」として「関心があるか否か」を示す情報が，「ｐｏｓｅ＿ｅｓｔｉｍａｔｉｏｎ」として「姿勢情報」が記録されている。なお，「ａｎｎｏｔａｔｉｏｎ」として「０」は関心なし，「１」は関心あり，「２」は姿勢情報に誤認識があったなど何らかの事情によって解析対象から除外することを示している。

【0076】

以上のように，前処理部２３が作成した教師データを用いて，学習処理部２４が学習させることで，関心推定モデルを生成する（Ｓ１５０）。

【0077】

つぎに学習処理をした後の関心推定モデルを用いて関心推定処理を行う場合の処理プロセスを図４のフローチャートを用いて説明する。

【0078】

関心推定モデルを用いて関心推定処理を行う場合の処理対象となる画像情報として，防犯カメラなどの撮像装置３で撮像した画像情報の入力を，画像情報受付処理部２０で受け付け，記憶部２１に記憶させる（Ｓ２００）。

【0079】

そして，姿勢推定処理部２２は，当該処理対象とする画像情報について，画像情報に写っている人物の姿勢推定処理を行う（Ｓ２１０）。姿勢推定処理部２２における姿勢推定処理は，Ｓ１１０と同様である。

【0080】

そして，関心推定処理部２５は，姿勢推定処理部２２による姿勢情報を入力値として，関心推定モデルに入力をする（Ｓ２２０）。なお，入力する姿勢情報は，姿勢推定処理部２２において人物が写っていると判定したフレーム（姿勢情報があるフレーム）について行うとよい。

【0081】

これによって，関心推定モデルで所定の演算が実行され，関心推定確率が出力される。この関心推定確率は，フレームごとに出力されるので，関心推定処理部２５は，関心推定確率と所定の閾値とを比較し，関心推定確率が閾値より大きい場合には関心ありと判定し，関心推定確率が閾値以下の場合には関心なしと判定する。この判定は各フレームごとに行ってもよいし，たとえば連続する所定のフレームの関心推定確率の平均値など所定の演算をした値と閾値とを比較してもよい。

【0082】

出力処理部２６は，関心推定処理部２５において，関心ありと判定した場合には，関心がある顧客の存在を店員に通知するなど，所定の出力処理を実行する（Ｓ２３０）。たとえば，処理対象の画像情報を撮像した撮像装置３の付近に，商品に関心がある顧客がいることの通知を店員が所持する可搬型通信端末（スマートフォンやタブレット型コンピュータなどの通信装置７４）に通知する，などがある。

【0083】

また，出力処理部２６は，上述のように関心ありの顧客がいることを店員に通知するほか，どの展示されている商品に関心があったかを出力してもよい。この場合，関心推定処理部２５において，関心ありと判定した場合には，対応する処理対象とする画像情報のどの位置に人物が位置するかを判定する。たとえば処理対象の画像情報を所定の大きさの小領域に分割し（たとえば画像情報に対応した４０×３０のブロック上に分割し），当該人物がどの小領域に位置するかを判定する。人物がどの小領域に位置するかは，上述のように，たとえば関心ありと判定したフレームが対応する姿勢情報における各パーツの座標に基づいて算出される平均の座標位置で判定できる。

【0084】

そして関心推定処理部２５において関心ありと判定したすべてのフレームについて，そこに写っている人物のパーツがどの小領域に位置しているかを集計することで，どの小領域に関心が集まっているかを特定できる。それを出力することで，小領域ごとの関心度合い，すなわちその小領域にある展示してある商品に対する関心を出力することができる。これを模式的に示すのが図１１である。図１１（ａ）は，関心推定処理部２５が関心推定モデルを用いて関心があると推定したフレームであり，図１１（ｂ）は画像情報を小領域に分割した場合に，人物のパーツ（たとえば肩の座標）がどの小領域にいたかを模式的に示す図であり，図１１（ｃ）は各フレームごとに関心ありと判定した小領域を集計した場合のヒートマップの一例である。

【0085】

このようなヒートマップによって，どの小領域に関心度合いが高いかを確認できるので，当該小領域に展示してある商品に対する関心度合い特定できる。たとえば図１１（ｃ）のヒートマップの場合には，図１２に示す展示商品に関心度合いが高いことが分かる。

【0086】

出力処理部２６は，図１２（ａ）（図１１（ｃ））のようにヒートマップなどの関心度合いを示す情報，グラフ，表などを出力してもよいし，図１２（ｂ）に示すように，関心度合いが高い小領域に展示してある商品などを出力してもよい。

【実施例2】

【0087】

上述の実施例では関心推定モデルとしてニューラルネットワークを用いた場合を説明したが，異常検知モデル（ＤＡＧＭＭ），弱異常検知モデルを用いてもよい。異常検知モデルとは，ある正常状態のみを学習しておき，それとは異なる状態を異常状態として検知するモデルである。また，弱異常検知モデルとは，大量の正常状態のデータと，少量の異常状態のデータを学習しておき，異常状態を検知するモデルである。

【0088】

このモデルを用いる場合には，学習処理部２４は，前処理部２３において関心がないと判定したフレームの姿勢情報を教師データとして学習モデルに読み込ませ，学習をさせた関心推定モデルとする。

【0089】

このように異常検知モデル，弱異常検知モデルを用いて学習させた関心推定モデルに対して，上述のＳ２００乃至Ｓ２２０のように，処理対象の画像情報に基づく姿勢情報を入力値として入力させ，関心推定確率を算出させる。

【0090】

これによって，関心のある場合，関心のない場合の双方を学習させる必要がなくなり，学習させる負担が軽減できる。また，撮像装置３として防犯カメラを用いる場合，関心のある画像情報と，関心のない画像情報では，圧倒的に関心のない画像情報が多く，関心のある画像情報は少ないことから，データの偏りが生じ，認識精度が生じる可能性があるが，それに対応することができる。

【0091】

上述の各実施例における各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。

【産業上の利用可能性】

【0092】

本発明の情報処理システム１を用いることによって，商品が展示されている実店舗であっても，そこに来店した顧客の商品への関心を推定することができる。

【符号の説明】

【0093】

１：情報処理システム
２：管理端末
３：撮像装置
２０：画像情報受付処理部
２１：記憶部
２２：姿勢推定処理部
２３：前処理部
２４：学習処理部
２５：関心推定処理部
２６：出力処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】