(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023087988
(43)【公開日】2023-06-26
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
G06Q 30/0203 20230101AFI20230619BHJP
【FI】
G06Q30/02 312
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2021202578
(22)【出願日】2021-12-14
【新規性喪失の例外の表示】新規性喪失の例外適用申請有り
(71)【出願人】
【識別番号】500560129
【氏名又は名称】株式会社ニトリホールディングス
(71)【出願人】
【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
(74)【代理人】
【識別番号】100205084
【弁理士】
【氏名又は名称】吉浦 洋一
(72)【発明者】
【氏名】本間 勇紀
(72)【発明者】
【氏名】藤後 廉
(72)【発明者】
【氏名】阿部 真育
(72)【発明者】
【氏名】長谷山 美紀
(72)【発明者】
【氏名】小川 貴弘
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049BB02
(57)【要約】
【課題】
実店舗に来店した顧客の関心を推定する情報処理システムを提供することを目的とする。
【解決手段】
撮像装置で実店舗内を撮像した画像情報を受け付ける画像情報受付処理部と,画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部と,姿勢推定処理の結果による人物の画像情報における位置および/または姿勢に基づく人物の商品に対する関心を示す情報を,教師データに設定する前処理部と,教師データを用いて関心推定モデルの学習処理を行わせる学習処理部と,関心推定モデルを用いて,処理対象とする画像情報に写っている人物の商品に対する関心を示す情報を出力する関心推定処理部と,を有する情報処理システムである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
実店舗に来店した顧客の関心を推定する情報処理システムであって,
前記情報処理システムは,
撮像装置で実店舗内を撮像した画像情報を受け付ける画像情報受付処理部と,
前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部と,
前記姿勢推定処理の結果による前記人物の画像情報における位置および/または姿勢に基づく前記人物の商品に対する関心を示す情報を,教師データに設定する前処理部と,
前記教師データを用いて関心推定モデルの学習処理を行わせる学習処理部と,
前記関心推定モデルを用いて,処理対象とする画像情報に写っている人物の商品に対する関心を示す情報を出力する関心推定処理部と,
を有することを特徴とする情報処理システム。
【請求項2】
前記撮像装置は,
前記実店舗内を撮像する店内カメラであって,
前記前処理部は,
前記人物が前記画像情報における前記実店舗の展示商品の領域に位置する場合,および/または,前記人物が前記画像情報における前記実店舗の展示商品を試用する姿勢である場合には,前記人物の商品に対する関心があることを示す情報を設定する,
ことを特徴とする請求項1に記載の情報処理システム。
【請求項3】
前記撮像装置は,
前記実店舗内を撮像する店内カメラであって,
前記前処理部は,
前記人物が前記画像情報における前記実店舗の通路として設定されている領域に位置する場合には,前記人物は商品に対する関心がないことを示す情報を設定する,
ことを特徴とする請求項1または請求項2に記載の情報処理システム。
【請求項4】
前記前処理部は,
前記人物に対する前記姿勢推定処理による姿勢情報を用いて解析対象画像情報を抽出し,
前記解析対象画像情報に対応する姿勢情報による前記人物の前記画像情報における位置および/または姿勢に基づいて,前記人物の商品に対する関心を示す情報を,前記教師データに設定する,
ことを特徴とする請求項1から請求項3のいずれかに記載の情報処理システム。
【請求項5】
前記前処理部は,
前記画像情報に対する姿勢情報を用いて前記姿勢推定ができたフレームと姿勢推定ができなかったフレームを判定し,
前記姿勢推定ができなかったフレーム数が連続して第1の基準値以下である場合には,それらのフレームを姿勢推定ができたフレームとし,
前記姿勢推定ができたフレーム数が連続して,前記第1の基準値より大きい値である第2の基準値以上である場合には,それらのフレームを解析対象画像情報として抽出する,
ことを特徴とする請求項4に記載の情報処理システム。
【請求項6】
前記情報処理システムは,
前記関心推定処理部による関心を示す情報を用いて,所定の出力処理を行う出力処理部,
を有しており,
前記出力処理部は,
関心ありと判定した場合には,関心がある顧客の存在を示す通知を出力する,
ことを特徴とする請求項1から請求項5のいずれかに記載の情報処理システム。
【請求項7】
前記情報処理システムは,
前記関心推定処理部による関心を示す情報を用いて,所定の出力処理を行う出力処理部,
を有しており,
前記出力処理部は,
関心ありと判定した場合には,前記人物の前記姿勢情報における対象部位の位置がどの領域にあるかを集計することで,前記画像情報のどの領域に関心が集まっているかを出力する,
ことを特徴とする請求項1から請求項5のいずれかに記載の情報処理システム。
【請求項8】
実店舗に来店した顧客の関心を推定する情報処理システムであって,
前記情報処理システムは,
実店舗内を撮像した画像情報における人物の姿勢情報と,前記人物の商品に対する関心を示す情報とを対応づけたデータセットを教師データとして用いて関心推定モデルを学習させる学習処理部と,
処理対象とする画像情報における人物の姿勢情報を入力したときの前記関心推定モデルからの出力に基づいて,前記処理対象とする画像情報における人物の商品に対する関心を推定する関心推定処理部と,
を有することを特徴とする情報処理システム。
【請求項9】
前記関心推定モデルは,異常検知モデルまたは弱異常検知モデルを用いており,
前記学習処理部は,
防犯カメラにより実店舗内を撮像した画像情報における人物の姿勢情報と,前記人物の商品に対する関心がないことを示す情報とを対応づけたデータセットを教師データとして用いて前記関心推定モデルを学習させる,
ことを特徴とする請求項8に記載の情報処理システム。
【請求項10】
実店舗に来店した顧客の関心を推定する関心推定モデルのための教師データを作成する情報処理システムであって,
前記情報処理システムは,
撮像装置で前記実店舗内を撮像した画像情報を受け付ける画像情報受付処理部と,
前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部と,
前記姿勢推定処理の結果による姿勢情報による前記人物の画像情報における位置および/または姿勢に基づく前記人物の商品に対する関心を示す情報と,前記姿勢情報の一部または全部とを対応づけたデータセットを教師データとして作成する前処理部と,
を有することを特徴とする情報処理システム。
【請求項11】
実店舗に来店した顧客の関心を推定する関心推定モデルを用いる情報処理システムであって,
前記情報処理システムは,
撮像装置で前記実店舗内を撮像した画像情報を受け付ける画像情報受付処理部と,
前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部と,
前記姿勢推定処理の結果による姿勢情報を入力したときの前記関心推定モデルからの出力に基づいて,前記画像情報における人物の商品に対する関心を推定する関心推定処理部と,
を有することを特徴とする情報処理システム。
【請求項12】
コンピュータを,
撮像装置で実店舗における展示商品売り場を撮像した画像情報を受け付ける画像情報受付処理部,
前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部,
前記姿勢推定処理の結果による前記人物の画像情報における位置および/または姿勢に基づく前記人物の商品に対する関心を示す情報を,教師データに設定する前処理部,
前記教師データを用いて関心推定モデルの学習処理を行わせる学習処理部,
前記関心推定モデルを用いて,処理対象とする画像情報に写っている人物の商品に対する関心を示す情報を出力する関心推定処理部,
として機能させることを特徴とする情報処理プログラム。
【請求項13】
コンピュータを,
実店舗における展示商品売り場を撮像した画像情報における人物の姿勢情報と,前記人物の商品に対する関心を示す情報とを対応づけたデータセットを教師データとして用いて,前記実店舗に来店した顧客の関心を推定する関心推定モデルを学習させる学習処理部,
処理対象とする画像情報における人物の姿勢情報を入力したときの前記関心推定モデルからの出力に基づいて,前記処理対象とする画像情報における人物の商品に対する関心を推定する関心推定処理部,
として機能させることを特徴とする情報処理プログラム。
【請求項14】
コンピュータを,
撮像装置で実店舗における展示商品売り場を撮像した画像情報を受け付ける画像情報受付処理部,
前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部,
前記姿勢推定処理の結果による姿勢情報による前記人物の画像情報における位置および/または姿勢に基づく前記人物の商品に対する関心を示す情報と,前記姿勢情報の一部または全部とを対応づけたデータセットを教師データとして作成する前処理部,
として機能させることを特徴とする情報処理プログラム。
【請求項15】
コンピュータを,
撮像装置で実店舗における展示商品売り場を撮像した画像情報を受け付ける画像情報受付処理部,
前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部,
前記姿勢推定処理の結果による姿勢情報を入力したときの,前記実店舗に来店した顧客の関心を推定する関心推定モデルからの出力に基づいて,前記画像情報における人物の商品に対する関心を推定する関心推定処理部,
として機能させることを特徴とする情報処理プログラム。
【請求項16】
実店舗に来店した顧客の関心を推定する関心推定モデルを学習させるための教師データとなるデータセットであって,
撮像装置で前記実店舗における展示商品売り場を撮像した画像情報に写っている人物の姿勢情報の一部または全部と,前記画像情報における人物の商品に対する関心を示す情報とを対応づけている,
ことを特徴とするデータセット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は,情報処理システムに関する。とくに実店舗に来店した顧客の関心を推定する情報処理システムに関する。
【背景技術】
【0002】
従来,小売業界では,過去の売上げ,新商品,値下げ品などの店舗側の立場による画一的な情報の発信が行われてきた。しかし,これまでの画一的な情報発信から,顧客一人一人の過去の購入履歴や購買行動などの顧客側の関心に合わせたOne to One(ワン・トゥ・ワン)マーケティングの手法が注目を浴びている。
【0003】
たとえばECサイトであれば,顧客のインターネット上の購買行動を収集しており,ログインさえしていれば購入の有無に関わらず顧客情報と購買行動が紐付くので,One to Oneマーケティングの実現は容易である。しかし,実店舗の場合には,来店した顧客の購買行動を取得することはできず,顧客情報は会計をする際のポイントカードや顧客の申告などによって初めて分かるのであり,この場合には,後日,限定的な顧客に対して購入履歴から推定される商品のクーポンを発行する,広告を行うなどといったマーケティングしか行えない。そのため,顧客が実店舗に来店をして商品を見ているときに顧客の関心を推定することは,販売員が常時見ていない限り困難である。
【0004】
そこで,実店舗に来店をした顧客について,商品を購入する前に関心を推定する方法として,たとえば下記特許文献1,特許文献2などのシステムがある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】WO2015/033577号公報
【特許文献2】特開2021-47810号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1では,3次元カメラを用いて顧客を撮影し,顧客の顔や視線を認識することで,当該顧客の商品に対する関心を推定するシステムである。このシステムの場合,3次元カメラという特殊なカメラを実店舗に設置する必要があり,その設置コストの負担が生じる。
【0007】
また,顧客の顔や視線を認識するためには,顧客の顔や視線の方向を正確に認識しなければならないが,カメラの設置場所と顧客との距離が離れている場合などは,その認識は容易ではない。また,単に,移動のために顔や視線が向いている場合もあり,顧客の顔や視線の方向にある商品を必ずしも関心を持って見ているとは限らない。さらに,コンビニエンスストアやスーパーマーケットのように,陳列棚に陳列されている商品の場合には,陳列棚に向いている顔や視線の先に当該商品しか存在しないので,顔や視線の方向と商品への関心との関連付けができる場合もある。しかし,家具などを販売する大型店舗では,商品は陳列棚に陳列されているだけではなく,家具などの商品が広く展示されている。そのため,顔や視線の方向の先には複数の商品が存在し,顔や視線の方向を推定しただけでは,当該顧客がどの商品に関心があるかを特定することはできない。すなわち,顔や視線の方向と顧客の商品への関心との関連付けが必ずしもできない。
【0008】
特許文献2も特許文献1と同様に,実店舗に来店した顧客の視線の方向を推定することで,顧客の商品への関心を推定するシステムである。そのため,特許文献1と同様に,顔や視線の方向と顧客の商品への関心との関連付けが必ずしもできないという課題がある。
【課題を解決するための手段】
【0009】
そこで本発明者は上記課題に鑑み,商品が展示されている実店舗であっても,そこに来店した顧客の商品への関心を推定することができる情報処理システムを発明した。
【0010】
第1の発明は,実店舗に来店した顧客の関心を推定する情報処理システムであって,前記情報処理システムは,撮像装置で実店舗内を撮像した画像情報を受け付ける画像情報受付処理部と,前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部と,前記姿勢推定処理の結果による前記人物の画像情報における位置および/または姿勢に基づく前記人物の商品に対する関心を示す情報を,教師データに設定する前処理部と,前記教師データを用いて関心推定モデルの学習処理を行わせる学習処理部と,前記関心推定モデルを用いて,処理対象とする画像情報に写っている人物の商品に対する関心を示す情報を出力する関心推定処理部と,を有する情報処理システムである。
【0011】
本発明を用いることによって,商品が展示されている実店舗においても,来店した顧客の商品への関心を推定することができる。
【0012】
上述の発明において,前記撮像装置は,前記実店舗内を撮像する店内カメラであって,前記前処理部は,前記人物が前記画像情報における前記実店舗の展示商品の領域に位置する場合,および/または,前記人物が前記画像情報における前記実店舗の展示商品を試用する姿勢である場合には,前記人物の商品に対する関心があることを示す情報を設定する,情報処理システムのように構成することができる。
【0013】
上述の発明において,前記撮像装置は,前記実店舗内を撮像する店内カメラであって,前記前処理部は,前記人物が前記画像情報における前記実店舗の通路として設定されている領域に位置する場合には,前記人物は商品に対する関心がないことを示す情報を設定する,情報処理システムのように構成することができる。
【0014】
コンビニエンスストアやスーパーマーケットなどのように,陳列棚に商品が陳列されている小売店とは異なり,家具などの商品を販売する店舗では,通路の両脇に商品が展示されている。そのため,商品が展示されている領域や,展示されている商品を試用する姿勢を判定することによって,関心の有無を判定できる。そのため,教師データにおける人物の商品に対する関心を示す情報の設定は,本発明のように行うとよい。
【0015】
上述の発明において,前記前処理部は,前記人物に対する前記姿勢推定処理による姿勢情報を用いて解析対象画像情報を抽出し,前記解析対象画像情報に対応する姿勢情報による前記人物の前記画像情報における位置および/または姿勢に基づいて,前記人物の商品に対する関心を示す情報を,前記教師データに設定する,情報処理システムのように構成することができる。
【0016】
撮像装置で撮像した画像情報については,すべてに人物が写っているとは限らない。そのため,人物が写っている画像情報は,姿勢推定処理ができるか否かによって判定できるので,そのような画像情報を解析対象画像情報として抽出し,その画像情報に対して関心を示す情報を設定することがよい。これによって,より適切な教師データとすることができる。
【0017】
上述の発明において,前記前処理部は,前記画像情報に対する姿勢情報を用いて前記姿勢推定ができたフレームと姿勢推定ができなかったフレームを判定し,前記姿勢推定ができなかったフレーム数が連続して第1の基準値以下である場合には,それらのフレームを姿勢推定ができたフレームとし,前記姿勢推定ができたフレーム数が連続して,前記第1の基準値より大きい値である第2の基準値以上である場合には,それらのフレームを解析対象画像情報として抽出する,情報処理システムのように構成することができる。
【0018】
姿勢推定ができなかったフレーム数が連続して第1の基準値,たとえば3フレーム以下であれば姿勢推定ができたフレームとして取り扱ってもよい。また,姿勢推定ができたフレーム数が連続して第2の基準値以上,たとえば10フレーム以上ないと,関心推定を行うための教師データとして適切ではない。そのため,本発明のように構成をすることで,適切な教師データとすることができる。
【0019】
上述の発明において,前記情報処理システムは,前記関心推定処理部による関心を示す情報を用いて,所定の出力処理を行う出力処理部,を有しており,前記出力処理部は,関心ありと判定した場合には,関心がある顧客の存在を示す通知を出力する,情報処理システムのように構成することができる。
【0020】
本発明のように構成することで,商品に関心がある顧客の存在を,たとえば従業員に通知でき,それによって,関心がある顧客に対する接客を行わせることができる。
【0021】
上述の発明において,前記情報処理システムは,前記関心推定処理部による関心を示す情報を用いて,所定の出力処理を行う出力処理部,を有しており,前記出力処理部は,関心ありと判定した場合には,前記人物の前記姿勢情報における対象部位の位置がどの領域にあるかを集計することで,前記画像情報のどの領域に関心が集まっているかを出力する,情報処理システムのように構成することができる。
【0022】
本発明のように構成することで,画像情報におけるどの領域に,顧客の関心が高いかがわかる。そのため,当該領域にある商品への関心が高いと推定し,出力できる。
【0023】
第8の発明は,実店舗に来店した顧客の関心を推定する情報処理システムであって,前記情報処理システムは,実店舗内を撮像した画像情報における人物の姿勢情報と,前記人物の商品に対する関心を示す情報とを対応づけたデータセットを教師データとして用いて関心推定モデルを学習させる学習処理部と,処理対象とする画像情報における人物の姿勢情報を入力したときの前記関心推定モデルからの出力に基づいて,前記処理対象とする画像情報における人物の商品に対する関心を推定する関心推定処理部と,を有する情報処理システムである。
【0024】
本発明のように構成しても,第1の発明と同様に,来店した顧客の商品への関心を推定することができる。
【0025】
上述の発明において,前記関心推定モデルは,異常検知モデルまたは弱異常検知モデルを用いており,前記学習処理部は,防犯カメラにより実店舗内を撮像した画像情報における人物の姿勢情報と,前記人物の商品に対する関心がないことを示す情報とを対応づけたデータセットを教師データとして用いて前記関心推定モデルを学習させる,情報処理システムのように構成することができる。
【0026】
撮像装置として防犯カメラを用いる場合,関心がある顧客の画像情報よりも,関心がない顧客の画像情報の方が多くなる。その場合,関心推定モデルの教師データとして双方を用いると,データの偏りが生じる可能性がある。そこで,関心推定モデルとして異常検知モデルまたは弱異常検知モデルを用いることで,商品に対する関心がない場合のみ,または商品に対する関心がない場合と少量の関心がある場合のデータのみを教師データとすることができる。これによって,教師データの偏りによる精度の悪化を防止することができる。また,教師データの数を減らすこともできる。
【0027】
第10の発明は,実店舗に来店した顧客の関心を推定する関心推定モデルのための教師データを作成する情報処理システムであって,前記情報処理システムは,撮像装置で前記実店舗内を撮像した画像情報を受け付ける画像情報受付処理部と,前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部と,前記姿勢推定処理の結果による姿勢情報による前記人物の画像情報における位置および/または姿勢に基づく前記人物の商品に対する関心を示す情報と,前記姿勢情報の一部または全部とを対応づけたデータセットを教師データとして作成する前処理部と,を有する情報処理システムである。
【0028】
本発明のように構成することで,来店した顧客の商品への関心を推定する関心推定モデルを学習するための教師データを作成することができる。
【0029】
第11の発明は,実店舗に来店した顧客の関心を推定する関心推定モデルを用いる情報処理システムであって,前記情報処理システムは,撮像装置で前記実店舗内を撮像した画像情報を受け付ける画像情報受付処理部と,前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部と,前記姿勢推定処理の結果による姿勢情報を入力したときの前記関心推定モデルからの出力に基づいて,前記画像情報における人物の商品に対する関心を推定する関心推定処理部と,を有する情報処理システムである。
【0030】
本発明のように構成しても,第1の発明と同様に,来店した顧客の商品への関心を推定することができる。
【0031】
第1の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,撮像装置で実店舗における展示商品売り場を撮像した画像情報を受け付ける画像情報受付処理部,前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部,前記姿勢推定処理の結果による前記人物の画像情報における位置および/または姿勢に基づく前記人物の商品に対する関心を示す情報を,教師データに設定する前処理部,前記教師データを用いて関心推定モデルの学習処理を行わせる学習処理部,前記関心推定モデルを用いて,処理対象とする画像情報に写っている人物の商品に対する関心を示す情報を出力する関心推定処理部,として機能させる情報処理プログラムである。
【0032】
第8の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,実店舗における展示商品売り場を撮像した画像情報における人物の姿勢情報と,前記人物の商品に対する関心を示す情報とを対応づけたデータセットを教師データとして用いて,前記実店舗に来店した顧客の関心を推定する関心推定モデルを学習させる学習処理部,処理対象とする画像情報における人物の姿勢情報を入力したときの前記関心推定モデルからの出力に基づいて,前記処理対象とする画像情報における人物の商品に対する関心を推定する関心推定処理部,として機能させる情報処理プログラムである。
【0033】
第10の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,撮像装置で実店舗における展示商品売り場を撮像した画像情報を受け付ける画像情報受付処理部,前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部,前記姿勢推定処理の結果による姿勢情報による前記人物の画像情報における位置および/または姿勢に基づく前記人物の商品に対する関心を示す情報と,前記姿勢情報の一部または全部とを対応づけたデータセットを教師データとして作成する前処理部,として機能させる情報処理プログラムである。
【0034】
第11の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,撮像装置で実店舗における展示商品売り場を撮像した画像情報を受け付ける画像情報受付処理部,前記画像情報に写っている人物の姿勢推定処理を行う姿勢推定処理部,前記姿勢推定処理の結果による姿勢情報を入力したときの,前記実店舗に来店した顧客の関心を推定する関心推定モデルからの出力に基づいて,前記画像情報における人物の商品に対する関心を推定する関心推定処理部,として機能させる情報処理プログラムである。
【0035】
実店舗に来店した顧客の関心を推定する関心推定モデルを学習させるための教師データとしては,本発明のように構成することが好ましい。すなわち,実店舗に来店した顧客の関心を推定する関心推定モデルを学習させるための教師データとなるデータセットであって,撮像装置で前記実店舗における展示商品売り場を撮像した画像情報に写っている人物の姿勢情報の一部または全部と,前記画像情報における人物の商品に対する関心を示す情報とを対応づけている,データセットである。
【発明の効果】
【0036】
本発明の情報処理システムを用いることによって,商品が展示されている実店舗であっても,そこに来店した顧客の商品への関心を推定することができる。
【図面の簡単な説明】
【0037】
【
図1】本発明の情報処理システムの全体の処理機能の一例を模式的に示すブロック図である。
【
図2】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。
【
図3】本発明の情報処理システムにおける学習処理の処理プロセスの一例を示すフローチャートである。
【
図4】本発明の情報処理システムにおける関心推定処理の処理プロセスの一例を示すフローチャートである。
【
図5】画像情報入力受付処理部で入力を受け付ける画像情報の一例を示す図である。
【
図6】姿勢推定処理をした画像情報の一例を示す図である。
【
図7】画像情報において,各パーツの位置情報を2次元座標に変換をして示したものと,各パーツの位置情報とその信頼度を示した姿勢情報のファイルの一例を示している。
【
図8】撮像装置で関心の有無を示す領域の一例を示す図の一例である。
【
図9】ソファに座っている人物の姿勢情報に基づいて,当該顧客は商品に関心があると推定することを示す図である。
【
図11】展示商品への関心度合いを出力する処理を模式的に示す図である。
【
図12】
図12(a)のヒートマップに基づいて,
図12(b)の展示商品が関心度合いが高いことを模式的に示す図である。
【発明を実施するための形態】
【0038】
本発明の情報処理システム1の全体の処理機能の一例のブロック図を
図1に示す。情報処理システム1は管理端末2で機能する。
【0039】
管理端末2は,情報処理システム1の中心的な処理機能を実現するコンピュータである。
図2にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,情報を表示するディスプレイなどの表示装置72と,情報の入力が可能なキーボードやマウスなどの入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置74とを有している。
【0040】
コンピュータがタッチパネルディスプレイを備えている場合には,表示装置72と入力装置73とが一体的に構成されていてもよい。タッチパネルディスプレイは,たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが,それに限定するものではない。
【0041】
タッチパネルディスプレイは,そのディスプレイ上で,直接,所定の入力デバイス(タッチパネル用のペンなど)や指などによって入力を行える点で,表示装置72と入力装置73の機能が一体化した装置である。
【0042】
本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は,その処理順序を適宜変更することもできる。また,処理の一部を省略してもよい。さらに,管理端末2における各機能は一台で実現されるのみならず,複数台にその機能が分散していてもよい。また一部の処理がインターネットなどにあるサーバなどで実行されていてもよい。
【0043】
管理端末2は,撮像装置3から撮像した画像情報を受け付け,所定の処理を実行する。撮像装置3は,実店舗に設置されており,実店舗内の状況を撮像する店内カメラである。撮像装置3としては,たとえば防犯カメラを用いることができるが,それに限定するものではない。なお,撮像装置3の撮像方向は固定されていることが好ましいが,それに限定するものではない。
【0044】
撮像装置3は実店舗内の状況を撮像しているので,実店舗に来店した顧客,試用できる展示品のある売り場(展示商品売り場)などを撮像する。なお,展示商品売り場とは,コンビニエンスストアやスーパーマーケットとは異なり,商品および/または商品の試用品が,直接,売り場に置かれ,顧客がその商品を試用可能となっているような売り場をいう。たとえば,家具,大型家電(冷蔵庫,洗濯機,テレビ,マッサージ機など),一人用ソファや椅子などと同等の大きさがある大型クッションなどの大型日用品・寝具・雑貨品,自動車や二輪車などの大型商品を販売する売り場が一例としてあげられる。
【0045】
情報処理システム1は,画像情報受付処理部20と記憶部21と姿勢推定処理部22と前処理部23と学習処理部24と関心推定処理部25と出力処理部26とを有する。
【0046】
画像情報受付処理部20は,撮像装置3で撮像した画像情報の入力を受け付け,後述する記憶部21に記憶させる。たとえば防犯カメラである撮像装置3が実店舗の店内の状況を撮像した撮像画像情報を,撮像装置3から入力を受け付け,それを記憶部21に記憶させる。なお必要に応じて,撮像日時,撮像対象を示す情報など,関連する情報を合わせて入力を受け付けて,記憶部21に記憶させてもよい。また撮像画像情報としては動画像,静止画像のいずれであってもよい。
【0047】
記憶部21は,画像情報受付処理部20で入力を受け付けた画像情報を記憶する。また本発明の情報処理システム1の処理で必要な情報を記憶する。
【0048】
姿勢推定処理部22は,画像情報受付処理部20で入力を受け付けて記憶部21に記憶した画像情報を用いて,当該画像情報に写っている人物の姿勢を推定する。姿勢推定処理部22は,画像情報におけるフレームごとに,当該画像情報に写っている人物の姿勢を推定する。たとえば姿勢推定処理部22における姿勢推定処理には,OpenPose,HRNet(High Resolution Network),ST-GCNなどの姿勢推定プログラムが知られており,それらを用いることができるが,それらに限定するものでもない。画像情報に写っている人物の姿勢を推定することができれば,如何なるプログラムを用いてもよい。
【0049】
前処理部23は,後述する関心推定処理部25における関心推定モデルを作成するための前処理を実行する。前処理部23における前処理としては,解析対象画像情報を抽出して解析対象データセットを出力する処理,教師データの作成処理などの各処理がある。
【0050】
まず解析対象画像情報の抽出処理を説明する。姿勢推定処理部22において姿勢推定処理を実行するために入力される画像情報には,人物が写っているフレームと,人物が写っていないフレームとがある。そのため,姿勢推定をできたフレームは解析対象画像情報として抽出し,姿勢推定ができなかったフレームは,処理の対象から除外する。姿勢推定ができたか否かは,姿勢推定プログラムが出力する出力値に基づいて判定することができる。また,解析対象画像情報としての抽出,除外は,抽出したフレームのみを解析対象画像情報として切り出してもよいし,あるいは解析対象画像情報として抽出する,あるいは解析対象画像情報として抽出しないを示すアノテーションをフレームごとに付することで,識別可能としてもよい。
【0051】
そして前処理部23は,上述のように,抽出した解析対象画像情報と,その解析対象画像情報に対応する姿勢推定プログラムの出力値とをデータセットとして対応づける。
【0052】
前処理部23における教師データの作成処理は,解析対象画像情報における人物の位置および/または姿勢に基づいて当該人物が商品に関心があるか否かを示す情報を設定し,教師データとして作成する。教師データとしては,上記データセットのうち,フレームごとに,姿勢推定プログラムの出力値および/または位置情報の一部または全部に,当該フレームに写っている人物が商品に関心があるか否かを示す情報を対応づけたデータセット(教師データ)として作成できる。
【0053】
商品に関心があるかを人物の位置に基づいて判定するためには,当該人物がどこにいるか,たとえば実店舗の主通路にいるか否かによって判定をする。また商品に関心があるかを人物の姿勢に基づいて判定するためには,当該人物が展示してある商品を試用する姿勢,たとえば座る,寝る,手に取る,扉を開ける,扉を閉めるなど,人間が展示してある商品を試用する際に通常とるであろう姿勢をとっている場合には商品に関心があると判定する。
【0054】
人物が商品に関心があるかの判定は,所定の担当者が解析対象画像情報を視認しながら目視で設定してもよいし,解析対象画像情報に対応する姿勢推定プログラムの出力値,画像情報における当該人物の位置情報(座標情報)に基づいて自動的に設定してもよい。
【0055】
学習処理部24は,前処理部23で作成したデータセットを教師データとして用いて,関心推定モデルの学習処理を実行する。関心推定モデルとしては,深層学習(ディープラーニング)を用いることが好ましい。この場合,中間層が多数の層からなるニューラルネットワークに対して教師データを入力し,各層のニューロン間の重み付け係数を最適化することで関心推定モデルを学習させることができる。
【0056】
関心推定処理部25は,撮像装置3が撮像して画像情報受付処理部20で入力を受け付けた,関心推定の処理対象とする画像情報に写っている人物が,商品に関心があるかを,学習処理部24における関心推定モデルを用いて推定する。
【0057】
出力処理部26は,関心推定処理部25で出力した出力値を用いて,関心がある顧客の存在を店員に通知するなど,所定の出力処理を実行する。
【実施例0058】
つぎに本発明の情報処理システム1を用いた処理プロセスの一例を
図3および
図4のフローチャートを用いて説明する。以下の説明では,撮像装置3として,家具を展示販売する売り場を撮影する防犯カメラを用いた場合を説明する。
【0059】
まず本発明の情報処理システム1を用いた学習処理の処理プロセスの一例を
図3のフローチャートを用いて説明する。
【0060】
まず防犯カメラなどの撮像装置3で撮像した,学習に用いるための実店舗の画像情報(撮像画像情報)の入力を,画像情報受付処理部20で受け付け,記憶部21に記憶させる(S100)。撮像画像情報としてはどのようなものであってもよいが,たとえば1秒1フレームとする。画像情報入力受付処理部で入力を受け付けた撮像画像情報の一例を,
図5に示す。
図5では,防犯カメラで実店舗を撮像した画像情報であり,1秒1フレームの画像情報である。なお,実際には,一定時間,たとえば1日の営業時間中の防犯カメラの画像情報などの入力を受け付けるとよい。
【0061】
そして姿勢推定処理部22は,入力を受け付けて,記憶部21に記憶させた撮像画像情報に対して,撮像画像情報に写っている人物の姿勢推定処理を行う(S110)。姿勢推定処理としてOpenPoseを用いた場合,たとえばフレームごとに撮影されている人物の各パーツについてx座標,y座標,信頼度の3変数で一単位とし,合計25カ所のパーツのデータ群(姿勢情報)として出力する。すなわち,撮影されている人物の25カ所のパーツを,それぞれ3変数で示すことで,当該人物の姿勢を推定する。画像情報に写っている人物に対して姿勢推定処理をした状態の画像情報の一例を模式的に示すのが
図6である。また,あるフレームにおける姿勢情報のファイルの一例を
図7に示す。
図7(a)は,画像情報において,各パーツの位置情報を2次元座標(x座標,y座標)に変換をして示したものであり,
図7(b)は,
図7(a)の各パーツの位置情報とその信頼度を示した姿勢情報のファイルの一例を示している。
【0062】
姿勢情報(一例として
図7(b))は,ファイルとしてフレームごとに対応づけられていてよいし,そうでなくてもよい。なお,姿勢情報が抽出されたフレームについては,姿勢推定ができたフレーム(人物が写っているフレーム)であることを示す情報が付され,姿勢情報が抽出されなかったフレームについては,姿勢推定ができなかったフレーム(人物が写っていないフレーム)であることを示す情報が付される。
【0063】
そして前処理部23は,姿勢推定処理部22における姿勢推定処理を実行すると,姿勢推定をできたフレーム(人物が写っているフレーム)を抽出し,解析対象画像情報として抽出をする(S120)。この際に解析対象画像情報として抽出するフレームとしては,たとえば姿勢情報として有意な情報が記録されているフレームを抽出すればよい。この抽出としては,たとえば姿勢推定ができたフレームであることを示す情報,姿勢推定ができなかったフレームであることを示す情報などに基づいて行える。
【0064】
この際に,前処理部23は,姿勢推定ができないフレーム(人物が写っていないフレーム,または人物が写っているが認識されなかったフレーム)が連続して一定数以内(たとえば3フレーム以内)であれば,姿勢推定ができたフレーム(人物が写っているフレーム)と見なし,および/または姿勢推定ができたフレーム(人物が写っているフレーム,または人物は写っていないが姿勢が推定されたフレーム)について連続して所定のフレーム数以上(たとえば10フレーム)ある場合に,それらの一連のフレームを解析対象画像情報として抽出をする。たとえば,姿勢推定ができたフレームが15フレーム連続している場合にはこの15フレームを解析対象画像情報として抽出する。また,姿勢推定ができたフレームが8フレーム連続しているだけの場合には,この8フレームは除外し,解析対象画像として抽出しない。
【0065】
姿勢推定ができないフレームが連続して3フレームあった場合には,その3フレームを姿勢推定ができたフレームと見なし,それらフレームも含めて姿勢推定ができたフレームが15フレーム連続している場合にはこの15フレームを解析対象画像として抽出する。また,姿勢推定ができないフレームが連続して3フレームあった場合には,その3フレームの姿勢推定ができたフレームと見なし,それらフレームも含めて姿勢推定ができたフレームが8フレーム連続しているだけの場合には,この8フレームは除外し,解析対象画像として抽出しない。
【0066】
さらに,姿勢推定ができないフレームが連続して4フレーム以上あった場合には,その4フレームは除外し,解析対象画像情報として抽出しない。
【0067】
なお,撮影画像情報のうち,どの画像情報を解析対象画像情報として抽出するかは任意に条件を設定でき,上記は一例に過ぎず,他の条件であってもよい。
【0068】
そして,前処理部23は,抽出した解析対象画像情報と,その解析対象画像情報に対応する姿勢情報とをデータセットとして対応づける(S130)。
【0069】
このように対応づけたデータセットに対して,解析対象画像情報における人物の位置および/または姿勢に基づいて,当該人物が商品に関心があるか否かを示す情報を判定し,教師データとして設定をする(S140)。
【0070】
解析対象画像情報における人物の位置に基づいて,当該人物が関心があるか否かを判定する場合には,あらかじめ撮像装置3で撮像可能な範囲について,人物が位置することで関心があることを示す領域,関心がないことを示す領域を設定しておき,解析対象画像情報に写っている人物の位置情報が,どの領域に位置するかで関心の有無を判定する。
図8に撮像装置3で関心の有無を示す領域の一例を示す。
図8では領域1は主通路であり,この領域に人物がいる場合には商品に関心がないと設定する。領域2は撮像装置3から離れた位置であるため判定が困難であるため商品に関心がない領域と設定する。領域3および領域4は主通路の両脇に設けられた商品の展示領域であり,この領域に人物が位置する場合には商品に関心があると設定する。そして解析対象画像情報に写っている人物の位置情報(たとえば姿勢情報における各パーツの座標に基づいて算出される平均の座標,ある特定のパーツの座標など)がどの領域になるか,たとえば領域1,領域2に位置すれば当該顧客は商品に関心がないと判定し,領域3,領域4に位置すれば当該顧客は商品に関心があると判定する。
【0071】
解析対象画像情報における人物の姿勢に基づいて,当該人物が関心があるか否かを示す情報を判定する場合には,あらかじめ展示されている商品を試用する姿勢情報を設定しておき,その姿勢情報に類似する姿勢情報となる場合には,当該顧客は商品に関心があると推定してもよい。たとえば
図9では,ソファに座っている人物の姿勢情報に基づいて,当該顧客は商品に関心があると推定している。
【0072】
なお,解析対象画像情報における人物の位置と姿勢の双方を用いて,当該人物が関心があるか否かを判定してもよい。たとえば
図8に示すように,当該人物の位置情報が領域1または領域2に位置しており,さらに当該人物の姿勢情報が
図9に示すように,展示されている商品を試用する情報の場合には,商品に関心があると推定をしてもよい。この場合には,領域3または領域4に位置する場合,領域1または領域2に位置しておりかつ商品を試用する姿勢情報の場合には,商品に関心があると判定できる。これによって,領域3または領域4にある家具であるが,領域1,領域2の境界付近にあり,人物は領域1,領域2に存在している場合に,当該人物が当該家具を試用する行動を関心があると推定することができる。
【0073】
また,当該人物の位置情報が領域3または領域4に位置しており,さらに当該人物の姿勢情報が
図9に示すように,展示されている商品を試用する情報の場合には,商品に関心があると推定してもよい。この場合には,領域3または領域4に位置しても,必ずしも当該人物が商品に関心があるわけではない(たとえば,通路として通っている場合)ことから,当該領域にある家具に対して試用をする行動の場合に,関心があると推定するものである。
【0074】
また,関心があるか否かの判定は,データセットにおける姿勢情報を用いて,コンピュータが自動的に判定をしてもよいし,所定の担当者が解析対象画像情報を視認し,判定をしてもよい。
【0075】
関心があるか否かを示す情報は,姿勢情報に対応づけたデータセット(教師データ)として作成される。このような教師データの一例を
図10に示す。
図10の教師データでは,「annotation」として「関心があるか否か」を示す情報が,「pose_estimation」として「姿勢情報」が記録されている。なお,「annotation」として「0」は関心なし,「1」は関心あり,「2」は姿勢情報に誤認識があったなど何らかの事情によって解析対象から除外することを示している。
【0076】
以上のように,前処理部23が作成した教師データを用いて,学習処理部24が学習させることで,関心推定モデルを生成する(S150)。
【0077】
つぎに学習処理をした後の関心推定モデルを用いて関心推定処理を行う場合の処理プロセスを
図4のフローチャートを用いて説明する。
【0078】
関心推定モデルを用いて関心推定処理を行う場合の処理対象となる画像情報として,防犯カメラなどの撮像装置3で撮像した画像情報の入力を,画像情報受付処理部20で受け付け,記憶部21に記憶させる(S200)。
【0079】
そして,姿勢推定処理部22は,当該処理対象とする画像情報について,画像情報に写っている人物の姿勢推定処理を行う(S210)。姿勢推定処理部22における姿勢推定処理は,S110と同様である。
【0080】
そして,関心推定処理部25は,姿勢推定処理部22による姿勢情報を入力値として,関心推定モデルに入力をする(S220)。なお,入力する姿勢情報は,姿勢推定処理部22において人物が写っていると判定したフレーム(姿勢情報があるフレーム)について行うとよい。
【0081】
これによって,関心推定モデルで所定の演算が実行され,関心推定確率が出力される。この関心推定確率は,フレームごとに出力されるので,関心推定処理部25は,関心推定確率と所定の閾値とを比較し,関心推定確率が閾値より大きい場合には関心ありと判定し,関心推定確率が閾値以下の場合には関心なしと判定する。この判定は各フレームごとに行ってもよいし,たとえば連続する所定のフレームの関心推定確率の平均値など所定の演算をした値と閾値とを比較してもよい。
【0082】
出力処理部26は,関心推定処理部25において,関心ありと判定した場合には,関心がある顧客の存在を店員に通知するなど,所定の出力処理を実行する(S230)。たとえば,処理対象の画像情報を撮像した撮像装置3の付近に,商品に関心がある顧客がいることの通知を店員が所持する可搬型通信端末(スマートフォンやタブレット型コンピュータなどの通信装置74)に通知する,などがある。
【0083】
また,出力処理部26は,上述のように関心ありの顧客がいることを店員に通知するほか,どの展示されている商品に関心があったかを出力してもよい。この場合,関心推定処理部25において,関心ありと判定した場合には,対応する処理対象とする画像情報のどの位置に人物が位置するかを判定する。たとえば処理対象の画像情報を所定の大きさの小領域に分割し(たとえば画像情報に対応した40×30のブロック上に分割し),当該人物がどの小領域に位置するかを判定する。人物がどの小領域に位置するかは,上述のように,たとえば関心ありと判定したフレームが対応する姿勢情報における各パーツの座標に基づいて算出される平均の座標位置で判定できる。
【0084】
そして関心推定処理部25において関心ありと判定したすべてのフレームについて,そこに写っている人物のパーツがどの小領域に位置しているかを集計することで,どの小領域に関心が集まっているかを特定できる。それを出力することで,小領域ごとの関心度合い,すなわちその小領域にある展示してある商品に対する関心を出力することができる。これを模式的に示すのが
図11である。
図11(a)は,関心推定処理部25が関心推定モデルを用いて関心があると推定したフレームであり,
図11(b)は画像情報を小領域に分割した場合に,人物のパーツ(たとえば肩の座標)がどの小領域にいたかを模式的に示す図であり,
図11(c)は各フレームごとに関心ありと判定した小領域を集計した場合のヒートマップの一例である。
【0085】
このようなヒートマップによって,どの小領域に関心度合いが高いかを確認できるので,当該小領域に展示してある商品に対する関心度合い特定できる。たとえば
図11(c)のヒートマップの場合には,
図12に示す展示商品に関心度合いが高いことが分かる。
【0086】
出力処理部26は,
図12(a)(
図11(c))のようにヒートマップなどの関心度合いを示す情報,グラフ,表などを出力してもよいし,
図12(b)に示すように,関心度合いが高い小領域に展示してある商品などを出力してもよい。
上述の実施例では関心推定モデルとしてニューラルネットワークを用いた場合を説明したが,異常検知モデル(DAGMM),弱異常検知モデルを用いてもよい。異常検知モデルとは,ある正常状態のみを学習しておき,それとは異なる状態を異常状態として検知するモデルである。また,弱異常検知モデルとは,大量の正常状態のデータと,少量の異常状態のデータを学習しておき,異常状態を検知するモデルである。
このモデルを用いる場合には,学習処理部24は,前処理部23において関心がないと判定したフレームの姿勢情報を教師データとして学習モデルに読み込ませ,学習をさせた関心推定モデルとする。
このように異常検知モデル,弱異常検知モデルを用いて学習させた関心推定モデルに対して,上述のS200乃至S220のように,処理対象の画像情報に基づく姿勢情報を入力値として入力させ,関心推定確率を算出させる。
これによって,関心のある場合,関心のない場合の双方を学習させる必要がなくなり,学習させる負担が軽減できる。また,撮像装置3として防犯カメラを用いる場合,関心のある画像情報と,関心のない画像情報では,圧倒的に関心のない画像情報が多く,関心のある画像情報は少ないことから,データの偏りが生じ,認識精度が生じる可能性があるが,それに対応することができる。
上述の各実施例における各処理については,本発明の明細書に記載した順序に限定するものではなく,その目的を達成する限度において適宜,変更することが可能である。