特許 7568913 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-08

(45)【発行日】2024-10-17

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241009BHJP

   G06T 7/00 20170101ALI20241009BHJP

   G06T 1/00 20060101ALI20241009BHJP

   G06T 1/40 20060101ALI20241009BHJP

【ＦＩ】

G06T7/20 300

G06T7/00 350C

G06T1/00 340B

G06T1/40

【請求項の数】 12

(21)【出願番号】P 2020194558

(22)【出願日】2020-11-24

(65)【公開番号】P2022083232

(43)【公開日】2022-06-03

【審査請求日】2023-08-04

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】山本 琢麿

【審査官】山田 辰美

(56)【参考文献】

【文献】国際公開第２０１８／１６３５５５（ＷＯ，Ａ１）

【文献】特開２００５－２０２６５３（ＪＰ，Ａ）

【文献】国際公開第２０２０／１０７５１０（ＷＯ，Ａ１）

【文献】特表２０１２－５３２３６６（ＪＰ，Ａ）

【文献】特開２０２０－０８６９１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １／４０

(57)【特許請求の範囲】

【請求項1】

画像データに映る第１人物を含む第１のＢＢＯＸを抽出する抽出部と、
前記画像データをニューラルネットワークに入力したときに、前記画像データが入力されたニューラルネットワークの中間出力として、前記第１人物の姿勢に関する姿勢情報を取得する姿勢情報取得部と、
前記画像データをニューラルネットワークに入力したときに、前記画像データが入力されたニューラルネットワークの中間出力として、前記画像データの特徴に関する特徴情報を取得する特徴情報取得部と、
前記姿勢情報と前記特徴情報とを融合させた融合データに基づき、前記第１人物の行っている動作の対象となる第１物品を含む第２のＢＢＯＸと、前記第１物品及び前記第１人物との関係を特定する特定部と、
前記ニューラルネットワークの推定結果として、前記第１のＢＢＯＸと、前記第２のＢＢＯＸと、前記第１物品及び前記第１人物との関係と、をそれぞれ対応づけたインタラクションを生成する生成部と、を有する
画像処理装置。

【請求項2】

前記特定部は、前記第１物品と前記第１人物の関係の特定において、前記第１物品が前記第１人物に実際に接しているか否かを特定する
請求項１記載の画像処理装置。

【請求項3】

前記姿勢情報は、前記第１人物の指の位置に関する情報を含む
請求項１記載の画像処理装置。

【請求項4】

前記姿勢情報は、前記第１人物の首の角度に関する情報を含む
請求項１記載の画像処理装置。

【請求項5】

前記姿勢情報は、前記第１人物の肘の角度に関する情報を含む
請求項１記載の画像処理装置。

【請求項6】

前記姿勢情報は、前記第１人物の視線の方向に関する情報を含む
請求項１記載の画像処理装置。

【請求項7】

前記ニューラルネットワークにおける中間出力は、所定以上の階層における中間出力である
請求項１記載の画像処理装置。

【請求項8】

前記画像データは、動画又は静止画データを含む
請求項１記載の画像処理装置。

【請求項9】

前記第１物品は、前記第１人物と接触する物品である
請求項１記載の画像処理装置。

【請求項10】

前記第１物品は、前記第１人物が手に持っている物品である
請求項１記載の画像処理装置。

【請求項11】

画像データに映る第１人物を含む第１のＢＢＯＸを抽出し、
前記画像データをニューラルネットワークに入力したときに、前記画像データが入力されたニューラルネットワークの中間出力として、前記第１人物の姿勢に関する姿勢情報を取得し、
前記画像データをニューラルネットワークに入力したときに、前記画像データが入力されたニューラルネットワークの中間出力として、前記画像データの特徴に関する特徴情報を取得し、
前記姿勢情報と前記特徴情報とを融合させた融合データに基づき、前記第１人物の行っている動作の対象となる第１物品を含む第２のＢＢＯＸと、前記第１物品及び前記第１人物との関係を特定し、
前記ニューラルネットワークの推定結果として、前記第１のＢＢＯＸと、前記第２のＢＢＯＸと、前記第１物品及び前記第１人物との関係と、をそれぞれ対応づけたインタラクションを生成する
画像処理方法。

【請求項12】

画像データに映る第１人物を含む第１のＢＢＯＸを抽出する抽出処理と、
前記画像データをニューラルネットワークに入力したときに、前記画像データが入力されたニューラルネットワークの中間出力として、前記第１人物の姿勢に関する姿勢情報を取得する姿勢情報取得処理と、
前記画像データをニューラルネットワークに入力したときに、前記画像データが入力されたニューラルネットワークの中間出力として、前記画像データの特徴に関する特徴情報を取得する特徴情報取得処理と、
前記姿勢情報と前記特徴情報とを融合させた融合データに基づき、前記第１人物の行っている動作の対象となる第１物品を含む第２のＢＢＯＸと、前記第１物品及び前記第１人物との関係を特定する特定処理と、
前記ニューラルネットワークの推定結果として、前記第１のＢＢＯＸと、前記第２のＢＢＯＸと、前記第１物品及び前記第１人物との関係と、をそれぞれ対応づけたインタラクションを生成する生成処理と、を
画像処理装置が有するコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

近年、人物の行動を分析する行動分析に対する需要が高まっている。行動分析は、例えば、撮影した静止画や動画などの画像を解析することで実行される。行動分析は、例えば、何かの道具を手に持って作業を行う作業者に対する作業認識や、店舗などにおいて商品を手に取る顧客の購買行動認識などに使用される。

【0003】

行動分析結果の用途によっては、対象人物が何をしているか（アクション）、及び対象人物が何を持っているか、又は何に対してアクションをしているかなど、人と物品との関係を示すインタラクションが重要となる場合がある。

【0004】

画像からインタラクションを検出するする技術は、以下に開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８‐２０６３２１号公報

【文献】米国特許出願公開第２０１９／０２８６８９２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、画像から対象人物のインタラクションを検出する場合、物品と対象人物との関連が誤認識される場合がある。例えば、ある画像では、対象人物の手に重複するように、ある物品が映っている場合がある。この場合、当該物品が、対象人物が手に持っているものか、あるいは偶然に手の付近に映っている（手とカメラの間に存在する）ものなのかを、判断することが困難である。

【0007】

そこで、一開示は、画像処理において、対象人物と物品の関係の誤認識を抑制する画像処理装置、画像処理方法、及び画像処理プログラムを提供する。

【課題を解決するための手段】

【0008】

画像データに映る第１人物を抽出し、前記第１人物の姿勢に関する姿勢情報を取得する姿勢情報取得部と、前記画像データの特徴に関する特徴情報を取得する特徴情報取得部と、前記姿勢情報と前記特徴情報に基づき、前記第１人物の行っている動作、及び前記第１人物の行っている動作の対象となる第１物品と前記第１人物との関係を特定する特定部と、を有する。

【発明の効果】

【0009】

一開示は、画像処理において、対象人物と物品の関係の誤認識を抑制する画像処理装置、画像処理方法、及び画像処理プログラムを提供する。

【図面の簡単な説明】

【0010】

【図1】図１は、画像処理システム１０の構成例を示す図である。

【図2】図２は、画像処理装置１００の構成例を表す図である。

【図3】図３は、解析対象の画像及びインタラクション特定の結果の例を示す図である。

【図4】図４は、インタラクション特定処理Ｓ１００の処理フローチャートの例を示す図である。

【図5】図５は、画像特徴の抽出の例を示す図である。

【図6】図６は、姿勢情報の抽出の例を示す図である。

【図7】図７は、画像特徴と姿勢情報の融合の例を示す図である。

【図8】図８は、インタラクション特定の例を示す図である。

【図9】図９は、インタラクション特定の例を示す図である。

【発明を実施するための形態】

【0011】

［第１の実施の形態］
第１の実施の形態について説明する。

【0012】

＜画像処理システム１０の構成例＞
図１は、画像処理システム１０の構成例を示す図である。画像処理システム１０は、画像処理装置１００、カメラ２００、及びネットワーク３００を有する。画像処理システム１０は、カメラ２００で撮影した画像（動画及び静止画）の画像データを解析し、対象となる人物のインタラクションを検出するシステムである。なお、インタラクションとは、人物と物品との関係を示すものである。インタラクションは、例えば、「ある人物がペットボトルの飲み物を飲んでいる」「座っているある人物が腕時計を見ている」など、人物、人物の行動（動作）、人物の行動の対象となる物品との関係を示す。

【0013】

画像処理におけるインタラクションの検出は、画像に映る対象人物、対象人物の動作（アクション）、及び対象人物と関連する物品（あるいは動作の対象となる物品）を特定（推定）することである。対象人物及び物品の特定は、例えば、対象人物や物品を囲む四角形のバウンディングボックスの頂点４点の座標を決定することである。また、対象人物の動作の特定は、例えば、「持っている」、「食べている」、「飲んでいる」、「乗っている」などの人物の動作を決定することである。

【0014】

なお、行動の対象となる物品は、当該人物が身に着けていたり、持っていたりする物品など、当該人物に接触する物品である。また、行動の対象となる物品は、当該人物が投げた物品や、接触せずに見ている物品など、非接触の物品も含む。

【0015】

カメラ２００は、対象人物を撮影する撮影装置である。カメラ２００は、例えば、目的に応じて、適切な場所に設置される。例えば、カメラ２００は、購買行動認識が目的である場合、店舗の商品棚周辺を映すように設置される。カメラ２００は、ネットワーク３００を介して画像処理装置１００と接続し、撮影した画像データを画像処理装置１００に送信する。カメラ２００は、例えば、画像として動画や静止画を撮影する。また、カメラ２００は、例えば、画像処理装置１００の要求に応じて、画像を撮影する。

【0016】

対象人物４００は、インタラクションの特定の対象となる人物である。対象人物は、例えば、購買行動認識における、店舗に来店した顧客である。

【0017】

画像処理装置１００は、カメラ２００から取得した画像データを解析し、画像データに映る対象人物４００のインタラクションを特定する、例えば、コンピュータやサーバマシンである。

【0018】

ネットワーク３００は、例えば、インターネットである。また、ネットワークは、ローカルネットワークや、無線で構成されたネットワークであってもよい。

【0019】

＜画像処理装置１００の構成例＞
図２は、画像処理装置１００の構成例を表す図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１１０、ストレージ１２０、メモリ１３０、通信回路１４０、及びアクセラレータ１５０を有する。

【0020】

ストレージ１２０は、プログラムやデータを記憶する、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの補助記憶装置である。ストレージ１２０は、インタラクション特定プログラム１２１、物体検出用ＡＩ実行プログラム１２２、及び姿勢推定用ＡＩ実行プログラム１２３を記憶する。

【0021】

メモリ１３０は、ストレージ１２０に記憶されているプログラムをロードする領域である。また、メモリ１３０は、プログラムがデータを記憶する領域としても使用されてもよい。

【0022】

ＣＰＵ１１０は、ストレージ１２０に記憶されているプログラムを、メモリ１３０にロードし、ロードしたプログラムを実行し、各部を構築し、各処理を実現するプロセッサである。

【0023】

通信回路１４０は、ネットワーク３００を介して、カメラ２００と通信を行う回路である。通信回路１４０は、例えば、ＮＩＣ（Network Interface Card）である。また、通信回路１４０は、無線及び有線のいずれでネットワーク３００と接続されてもよい。

【0024】

アクセラレータ１５０は、例えば、ＣＰＵ１１０の命令に従い特定の処理を行う、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）である。アクセラレータ１５０は、ハードウェアアクセラレータであり、例えば、画像処理や演算処理などを行う。

【0025】

ＣＰＵ１１０は、インタラクション特定プログラム１２１を実行することで、姿勢情報取得部、特徴情報取得部、及び特定部を構築し、インタラクション特定処理を行う。インタラクション特定処理は、取得した画像データから、人物を検出し、当該人物のインタラクションを特定（推定）する処理である。画像処理装置１００は、例えば定期的、又は画像処理装置１００の管理者の要求に応じて、インタラクション特定処理を行う。

【0026】

ＣＰＵ１１０は、インタラクション特定プログラム１２１が有する画像特徴取得モジュール１２１１を実行することで、特徴情報取得部を構築し、画像特徴取得処理を行う。画像特徴取得処理は、画像データの特徴（人物、物品の形状、色などを含む）を含む画像特徴（特徴情報）を取得する処理である。画像特徴は、例えば、画像データ全体の特徴を含む。また、画像特徴は、例えば、画像データに映る個別の人物、個別の物品、背景などを含む。画像処理装置１００は、画像特徴取得処理において、例えば、物体検出用ＡＩ（Artificial Intelligence）を使用し、中間出力を画像特徴として取得する。

【0027】

ＣＰＵ１１０は、インタラクション特定プログラム１２１が有する姿勢情報取得モジュール１２１２を実行することで、姿勢情報取得部を構築し、姿勢情報取得処理を行う。姿勢情報取得処理は、画像データの人物の姿勢に関する情報（歩いている、座っている、何かを持っているなどの動作による姿勢、また、骨格や肘肩などの位置情報を含む）などを含む姿勢情報を取得する処理である。画像処理装置１００は、姿勢情報取得処理において、例えば、姿勢推定用ＡＩを使用し、中間出力を画像特徴として取得する。

【0028】

ＣＰＵ１１０は、インタラクション特定プログラム１２１が有するインタラクション決定モジュール１２１３を実行することで、特定部を構築し、インタラクション決定処理を行う。インタラクション決定処理は、姿勢情報及び画像特徴を用いて、対象人物のインタラクションを決定（特定）する処理である。

【0029】

ＣＰＵ１１０は、物体検出用ＡＩ実行プログラム１２２を実行することで、ＡＩ実行部を構築し、物体検出用ＡＩ実行処理を行う。物体検出用ＡＩ実行処理は、物体検出用ＡＩに画像データを入力し、物体検出用ＡＩの中間出力を取得する処理である。

【0030】

ＣＰＵ１１０は、姿勢推定用ＡＩ実行プログラム１２３を実行することで、ＡＩ実行部を構築し、姿勢推定用ＡＩ実行処理を行う。姿勢推定用ＡＩ実行処理は、姿勢推定用ＡＩに画像データを入力し、姿勢推定用ＡＩの中間出力を取得する処理である。 なお、画像処理装置１００は、物体検出用ＡＩ及び姿勢推定用ＡＩを、自装置内のメモリやストレージに有してもよい。また、画像処理装置１００は、自装置以外の装置において実行された物体検出用ＡＩ及び姿勢推定用ＡＩの中間出力を取得してもよい。また、物体検出用ＡＩ及び姿勢推定用ＡＩは、画像特徴及び姿勢情報を出力できればよく、画像特徴及び姿勢情報を最終出力とするＡＩであってもよい。

【0031】

＜インタラクション特定処理について＞
画像処理装置１００は、取得した画像を解析し、インタラクション特定処理を行う（Ｓ１００）。

【0032】

図３は、解析対象の画像及びインタラクション特定の結果の例を示す図である。画像処理装置１００は、画像Ｖ１をカメラ２００から取得する。そして、画像処理装置１００は、インタラクション特定処理Ｓ１００において、対象人物のＢＢＯＸ１、及び物品のＢＢＯＸ２を決定する。そして、画像処理装置１００は、「ＢＢＯＸ１の対象人物が、ＢＢＯＸ２の物品を手に持って、見ている」というインタラクションを特定する。

【0033】

図４は、インタラクション特定処理Ｓ１００の処理フローチャートの例を示す図である。画像処理装置１００は、画像から画像特徴を抽出（取得）する（Ｓ１００－１）。

【0034】

図５は、画像特徴の抽出の例を示す図である。図５に示す丸印や矢印は、物体検出用ＡＩのニューラルネットワーク（NN:Neural Network）におけるニューロンや重みの例を示す図である。物体検出用ＡＩは、例えば、所定の物体の位置と種別を特定するＡＩである。なお、図５は全結合層型のニューラルネットワークであるが、畳み込みニューラルネットワークであってもよい。なお、画像処理装置１００は、学習済みの物体検出用ＡＩを使用する。

【0035】

図５のＮＮは、入力された画像データを、入力層で初期解析（分類）し、中間層でさらに高度に解析し、出力層において物体を決定する。例えば、動物の種類（犬、猫、その他、など）を検出するＡＩは、出力層において、「猫」「犬」などの動物の種類を出力する。ＮＮにおいては、白抜き矢印に示す方向に解析が進むほど、抽象度の高い、高レベルな特徴が抽出される。すなわち、特徴のレベルが高いほど、画像解析が進んでおり、物体を正確に検出できる可能性が高くなる。

【0036】

画像処理装置１００は、例えば、図５に示すような物体検出用ＡＩの中間出力を、画像特徴として取得（抽出）する。画像特徴として取得される中間出力は、高レベルであることが好ましい。すなわち、画像処理装置１００は、中間層における上位の階層（所定以上の階層）における中間出力を取得する。

【0037】

ただし、画像処理装置１００は、画像特徴として、出力層における出力結果を取得しなくてもよい。多くのＡＩの出力層は、上述したように、物品を特定の種別レベルにまで分類する。この場合の出力層の出力は、画像を学習していない対象物、あるいは出力を目的としていない物品は、検出されない。そこで、画像処理装置１００は、中間出力を画像特徴として取得することで、ある程度まで解析（分類）された物品の特徴を取り出すことが可能となる。例えば、上述したような動物の種類を分類するＡＩにおいては、出力層では動物以外の物品は「その他」と判定される場合がある。しかし、中間層では、例えば、色、形、模様などの解析途中における物品の特徴が出力される。これにより、画像処理装置１００は、物品の名称や種別を特定することができない場合でも、色や形などの中間出力による分類が可能となる。

【0038】

また、画像特徴を抽出するＡＩは、上述した物体検出用ＡＩのＮＮ（第１ＮＮ）の一部又は全部の重みを用いて再構成されたＮＮ（第２ＮＮ）を有する、画像特徴抽出用の専用ＡＩであってもよい。このとき、第２ＮＮは、後述の学習処理によってその重みを更新したものであってもよい。

【0039】

図４の処理フローチャートに戻り、画像処理装置１００は、画像から人物を抽出する（Ｓ１００－２）。ここで抽出する人物が対象人物となる。画像処理装置１００は、人物が複数存在する場合、人物それぞれに対して以降の処理Ｓ１００－３～５を実行する。

【0040】

画像処理装置１００は、抽出した人物の姿勢情報を抽出（取得）する（Ｓ１００－３）。

【0041】

図６は、姿勢情報の抽出の例を示す図である。画像処理装置１００は、例えば、姿勢推定用ＡＩを使用し、姿勢情報を抽出する。姿勢情報は、対象人物の姿勢に関する情報であり、例えば、対象人物の姿勢、対象人物の関節位置、手や指の形など、対象人物のアクションを特定（推定）に使用される情報である。

【0042】

姿勢推定用ＡＩは、例えば、人物の骨格情報を検出するＡＩである。図６における骨格情報ＩＭＦ３は、例えば、肩や肘などの関節の位置、頭の頂点や首などのポイントなる位置、及びそれぞれの位置の接続関係などの情報を含む。

【0043】

姿勢推定用ＡＩは、画像データを解析し、対象人物の骨格情報ＩＭＦ３を出力する（Ｓ１）。画像処理装置１００は、姿勢推定用ＡＩの中間出力（Ｓ２、Ｓ３）を、姿勢情報として取得する。画像処理装置１００は、姿勢推定用ＡＩの中間出力である、対象人物の特徴がマッピングされた特徴マップ情報ＩＭＦ１、又は対象人物の関節位置やポイント位置を示すヒートマップ情報ＩＭＦ２を取得する。また、画像処理装置１００は、姿勢情報として、骨格情報ＩＭＦ３を取得してもよい。

【0044】

なお、画像処理装置１００は、学習済みの姿勢推定用ＡＩを使用する。

【0045】

図４の処理フローチャートに戻り、画像処理装置１００は、画像特徴と姿勢情報を融合する（Ｓ１００－４）。

【0046】

図７は、画像特徴と姿勢情報の融合の例を示す図である。図７において、画像特徴はＣ１×Ｈ×Ｗのテンソル、姿勢情報はＣ１×Ｈ×Ｗのテンソルで示す。

【0047】

図７（Ａ）は、第１の融合方法の例を示す図である。画像処理装置１００は、画像特徴Ｄ１と姿勢情報Ｄ２をチャネル方向（Ｃ１、Ｃ２方向）に結合し（Ｓ１０）、融合データＤ３を取得する。

【0048】

図７（Ｂ）は、第２の融合方法の例を示す図である。画像処理装置１００は、画像特徴Ｄ１に畳み込み処理（Conv：Convolution）を行い（Ｓ１１）、データＤ１１を取得する。また、画像処理装置１００は、姿勢情報Ｄ２に畳み込み処理を行い（Ｓ１２）、データＤ２１を取得する。そして、画像処理装置１００は、データ１１とデータ２１をチャネル方向に結合し（Ｓ１３）、融合データＤ４を取得する。

【0049】

図７（Ｃ）は、第３の融合方法の例を示す図である。画像処理装置１００は、第１の融合方法で取得した融合データＤ３に対して、畳み込み処理を行い（Ｓ１４）、融合データＤ５を取得する。

【0050】

処理Ｓ１１、処理Ｓ１２および処理Ｓ１４の畳み込み処理において使用する畳み込みフィルタのフィルタ係数は、例えば、後述する学習処理によって得られたものを用いる。

【0051】

図４の処理フローチャートに戻り、画像処理装置１００は、融合情報に基づき、抽出した人物（対象人物）のインタラクションを推定（特定）する（Ｓ１００－５）。具体的には、融合データを入力として、動作の対象である物品を囲む四角形（バウンディングボックス）の座標および動作の種類を出力する畳み込みニューラルネットワークを用いる。この畳み込みニューラルネットワークの構造としては、一般的な物体検出用のものを用いることができ、例えば、次の文献に示すようなネットワーク構造が使える。
・YOLO： Redmon, Joseph, and Ali Farhadi. "Yolov3: An incremental improvement." arXiv preprint arXiv:1804.02767 (2018).
・CenterNet： Zhou, Xingyi, Dequan Wang, and Philipp Krahenbuhl. "Objects as points." arXiv preprint arXiv:1904.07850 (2019).
畳み込みニューラルネットワークの重みは、例えば、後述する学習によって得られたものを用いる。

【0052】

＜学習処理について＞
第２ＮＮの重み、処理Ｓ１１、処理Ｓ１２および処理Ｓ１４の畳み込み処理におけるフィルタ係数、およびインタラクションの推定を行う畳み込みニューラルネットワークの重みは、予め行う学習処理によって得られる。学習には、推定対象の動作をしている人物および物品が写った様々な画像（学習画像）を用いる。例えば、「持っている」という動作を学習の対象とする場合、様々な状況で多様な物体を人が「持っている」様子の画像を用いる。学習画像には、予め人手により動作の対象である物品、人物のバウンディングボックスおよび、動作の種類を教師データとして付与しておく。この学習画像および教師データは、例えば、メモリ、ハードディスク、データベースもしくはネットワーク上のストレージ等に予め格納されているものを読み出して用いる。また、学習画像については、画像の回転やスケーリングなどの幾何学的変換やノイズを付加するなど、擬似的にデータの多様性を増やす処理（Data augumentation）を行ってもよい。

【0053】

学習処理はニューラルネットワークの学習として一般的に用いられる誤差逆伝搬法を用いることができる。具体的にはニューラルネットワークの出力と教師データとの誤差を算出し、この誤差から勾配を計算する。さらに、勾配から更新量を算出してニューラルネットワークの重みやフィルタ係数を更新する。以上の処理を全ての学習画像に対して繰り返し行う。第２ＮＮの初期値には、学習済みの物体検出用ＡＩのものを用いることができる。また、処理Ｓ１１、処理Ｓ１２および処理Ｓ１４の畳み込み処理におけるフィルタ係数には乱数を用いることができる。

【0054】

＜インタラクション特定の例＞
図８は、インタラクション特定の例を示す図である。画像処理装置１００は、インタラクション特定処理Ｓ１００において、画像Ｖ１から人物を抽出し（Ｓ１００－２）、ＢＢＯＸ１を決定する。画像処理装置１００は、当該人物の姿勢情報ＩＭＦ４（ここでは骨格情報）を取得する（Ｓ１００－３）。

【0055】

画像処理装置１００は、対象人物に接する（重複して映る）物品としてＢＢＯＸ２内の物品を検出する。しかし、画像処理装置１００は、物体検出用ＡＩの学習度合いや学習内容によっては、当該物品がタブレット端末とまでは確定できない場合がある。この場合でも、画像処理装置１００は、姿勢情報から、例えば、首の傾斜角度、目線の方向、肘の曲がっている角度、又当該物品に対する指の位置などを取得し、これらの情報をもとに、当該物品が対象人物に所持されている（接している）と推定（特定）する（Ｓ１００－５）。

【0056】

画像Ｖ１においては、対象人物の視線が当該物品の方向に向いており、対象人物の指が当該物品の下部を支える位置にあり、当該物品の位置が対象人物の目線の高さにあるため、画像処理装置１００は、「ＢＢＯＸ１の人物は、ＢＢＯＸ２の物品を所持し、見ている」というインタラクションを特定する。

【0057】

図９は、インタラクション特定の例を示す図である。画像処理装置１００は、インタラクション特定処理Ｓ１００において、画像Ｖ２から人物を抽出し（Ｓ１００－２）、ＢＢＯＸ１１を決定する。画像処理装置１００は、当該人物の姿勢情報ＩＭＦ５（ここでは骨格情報）を取得する（Ｓ１００－３）。

【0058】

画像処理装置１００は、対象人物に接する（重複して映る）物品としてＢＢＯＸ１２内の物品を検出する。しかし、画像処理装置１００は、物体検出用ＡＩの学習度合いや学習内容によっては、当該物品が缶入り飲料とまでは確定できない場合がある。この場合でも、画像処理装置１００は、姿勢情報から、例えば、首の傾斜角度、目線の方向（方向Ａ１）、肘の曲がっている角度、又当該物品に対する指の位置などを取得し、これらの情報をもとに、当該物品が対象人物に所持されていると推定（特定）する（Ｓ１００－５）。

【0059】

画像Ｖ２においては、対象人物の視線が当該物品の方向に向いており、対象人物の指が当該物品を掴む位置にあり、当該物品の傾きが対象人物の腕の角度と近似し、対象人物の指が視線と当該物品の間を遮らない位置にあるため、画像処理装置１００は、「ＢＢＯＸ１１の人物は、ＢＢＯＸ１２の物品を所持し、見ている」というインタラクションを特定する。

【0060】

なお、例えば、ＢＢＯＸ１２の物品は、画像Ｖ２の撮影場所から推定することができる場合がある。購買行動認識用に撮影された画像は、所定の商品棚において撮影される。画像処理装置１００は、画像Ｖ２が動画である場合、人物が商品を手に取るタイミングからインタラクションを推定することができるため、棚の位置や物品の形や色から、当該物品の種別や商品名などを推定することができる。

【0061】

なお、Ｖ２には、例えば、人物の背後にテレビ画面のような物品（対象外物品）Ａ２が映っている。この対象外物品Ａ２は、対象人物に接しているように見える。画像処理装置１００は、対象外物品Ａ２が、例えばテレビであると認識できる場合、当該対象外物品Ａ２と対象人物の物理的接点がないことを判定できる。しかし、画像処理装置１００は、対象外物品Ａ２をテレビと認識できない場合でも、人物の姿勢情報に基づき、当該対象外物品Ａ２を、人物が所持していないこと、及び見ていないことを推定することができる。すなわち、画像処理装置１００は、なんらかの物品（例えばテレビ画面）を人物が所持していると誤って判定することを防止することができる。

【0062】

また、画像処理装置１００は、例えば、ハンバーガーなどの複数の物品の結合体を対象物品として認識することができる。例えば、物品を認識するＡＩは、結合体（複合体）を１つの物品として認識することが困難な場合がある。

【0063】

一方、画像処理装置１００は、例えば、ハンバーガーを齧ろうとしている人物の画像を、以下のように解析し、インタラクションを特定する。画像処理装置１００は、対象人物を抽出し、当該人物の手付近で接する何らかの物品（ハンバーガー）を抽出する。そして、画像処理装置１００は、対象人物の姿勢情報、例えば、指が物品を支えているように見える、口が開いている、肘の曲がり角度、動画において手及び物品が口方向に移動しているなどの情報から、当該物品が一つの物品であることを認識できる。すなわち、画像処理装置１００は、姿勢情報に基づき物品を特定することで、ハンバーガーなどの結合体を一つの物品として認識することができ、パン、レタス、ハンバーグなどの構成物それぞれを個別の複数物品として認識することを抑制できる。

【0064】

本実施の形態における画像処理装置１００は、人物の姿勢を考慮することで、人物と接して映る物品が、実際に人物と接している（持っている、身に着けているなど）のか、もしくは、偶発的に人物とカメラの間に存在したのかを、高確率で判定することができる。

【0065】

また、本実施の形態における画像処理装置１００は、例えば、既存のＡＩの中間出力を利用して、画像特徴や姿勢情報を取得することができる。例えば、購買行動認識において、全ての商品を常に学習済みとするＡＩを準備することは、困難である。しかし、本実施の形態の画像処理装置１００は、商品の全てを学習するより少ない学習量のＡＩを用いて、姿勢情報と組み合わせることで、顧客の手に取る商品を特定することができる。すなわち、物品だけを単独で認識することができない場合でも、姿勢情報と組み合わせることで、当該物品が何であるかを認識できる場合がある。

【0066】

なお、姿勢情報は、例えば、中間出力である場合、人物の姿勢そのものを示さない場合がある。姿勢情報は、中間出力である場合、「首を傾けている」などの具体的な情報ではなく、抽象的な情報であり、例えば、テンソル情報である。同様に、画像特徴は、中間出力である場合、抽象的な情報であり、テンソル情報である。画像処理装置１００は、抽象的なテンソル情報を融合し、判定することで、人物の姿勢及び物品の属性（形、色など）の両方を考慮したインタラクションの特定を行うことができる。

【0067】

上記実施例において、姿勢情報として、「物品を所持し」「口を開けている」などの具体的な表現を用いて、インタラクションの特定の方法を説明している。しかし、この表現は、姿勢から物品を特定する一例であって、画像処理装置１００は、ここまで具体的に人物の姿勢を特定せずに、ＡＩの中間出力である抽象的な情報（姿勢情報及び画像特徴）を融合した融合情報を用いてインタラクションを判定することで、インタラクション特定精度を向上させることができる。

【0068】

以下、まとめると付記のようになる。

【0069】

（付記１）
画像データに映る第１人物を抽出し、前記第１人物の姿勢に関する姿勢情報を取得する姿勢情報取得部と、
前記画像データの特徴に関する特徴情報を取得する特徴情報取得部と、
前記姿勢情報と前記特徴情報に基づき、前記第１人物の行っている動作、及び前記第１人物の行っている動作の対象となる第１物品と前記第１人物との関係を特定する特定部と、を有する
画像処理装置。

【0070】

（付記２）
前記姿勢情報は、入力した画像データに映る人物の骨格又は関節の位置を推定する、学習済みの姿勢推定用ＡＩの中間出力を含む
付記１記載の画像処理装置。

【0071】

（付記３）
前記特徴情報は、入力した画像データに映る所定物品の種別を推定する、学習済みの物体検出用ＡＩの中間出力を含む
付記１又は２記載の画像処理装置。

【0072】

（付記４）
前記特徴情報は、入力した画像データに映る所定物品の種別を推定する物体検出用ＡＩの有する第１ニューラルネットワークの重みを用いて構成した第２ニューラルネットワークを有する、学習済みの特徴情報用ＡＩの出力を含む
付記１又は２記載の画像処理装置。

【0073】

（付記５）
前記特定部は、前記第１物品と前記第１人物の関係の特定において、前記第１物品が前記第１人物に実際に接しているか否かを特定する
付記１記載の画像処理装置。

【0074】

（付記６）
前記特定部は、前記姿勢情報と前記特徴情報とを融合した融合情報を生成し、前記融合情報に基づき特定する
付記１記載の画像処理装置。

【0075】

（付記７）
前記特定部は、前記融合情報の生成において、畳み込み処理を行う
付記６記載の画像処理装置。

【0076】

（付記８）
前記姿勢情報は、前記第１人物の指の位置に関する情報を含む
付記１記載の画像処理装置。

【0077】

（付記９）
前記姿勢情報は、前記第１人物の首の角度に関する情報を含む
付記１記載の画像処理装置。

【0078】

（付記１０）
前記姿勢情報は、前記第１人物の肘の角度に関する情報を含む
付記１記載の画像処理装置。

【0079】

（付記１１）
前記姿勢情報は、前記第１人物の視線の方向に関する情報を含む
付記１記載の画像処理装置。

【0080】

（付記１２）
前記物体検出用ＡＩにおける中間出力は、ニューラルネットワークの所定以上の階層における中間出力である
付記３記載の画像処理装置。

【0081】

（付記１３）
前記画像データは、動画又は静止画データを含む
付記１記載の画像処理装置。

【0082】

（付記１４）
前記第１物品は、前記第１人物と接触する物品である
付記１記載の画像処理装置。

【0083】

（付記１５）
前記第１物品は、前記第１人物が手に持っている物品である
付記１記載の画像処理装置。

【0084】

（付記１６）
画像データに映る第１人物を抽出し、前記第１人物の姿勢に関する姿勢情報を取得し、
前記画像データの特徴に関する特徴情報を取得し、
前記姿勢情報と前記特徴情報に基づき、前記第１人物の行っている動作、及び前記第１人物の行っている動作の対象となる第１物品と前記第１人物との関係を特定する
画像処理方法。

【0085】

（付記１７）
画像データに映る第１人物を抽出し、前記第１人物の姿勢に関する姿勢情報を取得する姿勢情報取得処理と、
前記画像データの特徴に関する特徴情報を取得する特徴情報取得処理と、
前記姿勢情報と前記特徴情報に基づき、前記第１人物の行っている動作、及び前記第１人物の行っている動作の対象となる第１物品と前記第１人物との関係を特定する特定処理とを、
画像処理装置が有するコンピュータに実行させる画像処理プログラム。

【符号の説明】

【0086】

１０ ：画像処理システム
１００ ：画像処理装置
１１０ ：ＣＰＵ
１２０ ：ストレージ
１２１ ：インタラクション特定プログラム
１２１１ ：画像特徴取得モジュール
１２１２ ：姿勢情報取得モジュール
１２１３ ：インタラクション決定モジュール
１２２ ：物体検出用ＡＩ実行プログラム
１２３ ：姿勢推定用ＡＩ実行プログラム
１３０ ：メモリ
１４０ ：通信回路
１５０ ：アクセラレータ
２００ ：カメラ
３００ ：ネットワーク
４００ ：対象人物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】