知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024127233
(43)【公開日】2024-09-20
(54)【発明の名称】情報処理システム及びプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240912BHJP
【ＦＩ】
H04N7/18 U
H04N7/18 K
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2023036240
(22)【出願日】2023-03-09
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】加茂 碧唯
【テーマコード（参考）】
5C054
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054EA05
5C054FC12
5C054FD03
5C054FD07
5C054FE09
5C054FE13
5C054FE16
5C054HA14
(57)【要約】
【課題】画面に表示される指標と商品棚との位置決めをスタッフに要求する場合に比して、簡便に品質の高い画像を撮像可能にする。
【解決手段】撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出し、動画像から検出された指標を使用して、対象範囲に対応する第１の静止画像を動画像から切り出し、第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する１又は複数のプロセッサを情報処理システムに設ける。
【選択図】図４
【解決手段】撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出し、動画像から検出された指標を使用して、対象範囲に対応する第１の静止画像を動画像から切り出し、第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する１又は複数のプロセッサを情報処理システムに設ける。
【選択図】図４
【特許請求の範囲】
【請求項1】
１又は複数のプロセッサを有し、
前記１又は複数のプロセッサは、
撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出し、
前記動画像から検出された前記指標を使用して、前記対象範囲に対応する第１の静止画像を当該動画像から切り出し、
前記第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する、
情報処理システム。
前記１又は複数のプロセッサは、
撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出し、
前記動画像から検出された前記指標を使用して、前記対象範囲に対応する第１の静止画像を当該動画像から切り出し、
前記第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する、
情報処理システム。
【請求項2】
前記１又は複数のプロセッサは、
検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第１の静止画像を前記動画像から切り出す、
請求項１に記載の情報処理システム。
検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第１の静止画像を前記動画像から切り出す、
請求項１に記載の情報処理システム。
【請求項3】
前記１又は複数のプロセッサは、
前記領域のサイズが第１の閾値より大きい場合、前記予め定めた条件を満たすと判定する、
請求項２に記載の情報処理システム。
前記領域のサイズが第１の閾値より大きい場合、前記予め定めた条件を満たすと判定する、
請求項２に記載の情報処理システム。
【請求項4】
前記１又は複数のプロセッサは、
前記領域の歪が第２の閾値より小さい場合、前記予め定めた条件を満たすと判定する、
請求項２に記載の情報処理システム。
前記領域の歪が第２の閾値より小さい場合、前記予め定めた条件を満たすと判定する、
請求項２に記載の情報処理システム。
【請求項5】
前記１又は複数のプロセッサは、
検出された前記指標を結ぶ線分で囲まれる領域を、当該領域の外側の領域と識別可能に表示する、
請求項１に記載の情報処理システム。
検出された前記指標を結ぶ線分で囲まれる領域を、当該領域の外側の領域と識別可能に表示する、
請求項１に記載の情報処理システム。
【請求項6】
前記１又は複数のプロセッサは、
検出された前記指標を結ぶ線分を前記動画像に重畳して表示する、
請求項５に記載の情報処理システム。
検出された前記指標を結ぶ線分を前記動画像に重畳して表示する、
請求項５に記載の情報処理システム。
【請求項7】
前記１又は複数のプロセッサは、
前記外側の領域部分をマスキング処理する、
請求項５に記載の情報処理システム。
前記外側の領域部分をマスキング処理する、
請求項５に記載の情報処理システム。
【請求項8】
前記１又は複数のプロセッサは、
検出された前記指標によって特定される領域が予め定めた条件を満たさない場合、前記第１の静止画像を切り出せない状態を示す情報を画面上に表示する、
請求項１に記載の情報処理システム。
検出された前記指標によって特定される領域が予め定めた条件を満たさない場合、前記第１の静止画像を切り出せない状態を示す情報を画面上に表示する、
請求項１に記載の情報処理システム。
【請求項9】
前記１又は複数のプロセッサは、
検出された前記指標を結ぶ線分を、検出された当該指標によって特定される領域が予め定めた条件を満たす場合とは異なる態様で表示する、
請求項８に記載の情報処理システム。
検出された前記指標を結ぶ線分を、検出された当該指標によって特定される領域が予め定めた条件を満たす場合とは異なる態様で表示する、
請求項８に記載の情報処理システム。
【請求項10】
前記１又は複数のプロセッサは、
前記動画像の撮像者に求められる行動をテキストにより表示する、
請求項８に記載の情報処理システム。
前記動画像の撮像者に求められる行動をテキストにより表示する、
請求項８に記載の情報処理システム。
【請求項11】
前記１又は複数のプロセッサは、
検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第１の静止画像を切り出すためのシャッター操作が可能になった旨を画面上に表示する、
請求項１に記載の情報処理システム。
検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第１の静止画像を切り出すためのシャッター操作が可能になった旨を画面上に表示する、
請求項１に記載の情報処理システム。
【請求項12】
前記１又は複数のプロセッサは、
前記検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第２の静止画像から検出された各商品の領域を示す枠形状を、前記第１の静止画像の歪に応じて逆変換し、前記動画像に重畳して表示する、
請求項１に記載の情報処理システム。
前記検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第２の静止画像から検出された各商品の領域を示す枠形状を、前記第１の静止画像の歪に応じて逆変換し、前記動画像に重畳して表示する、
請求項１に記載の情報処理システム。
【請求項13】
前記１又は複数のプロセッサは、
前記動画像上に前記枠形状が重畳して表示されている場合、前記第１の静止画像を当該動画像から切り出すためのシャッター操作の受け付けを可能とする、
請求項１２に記載の情報処理システム。
前記動画像上に前記枠形状が重畳して表示されている場合、前記第１の静止画像を当該動画像から切り出すためのシャッター操作の受け付けを可能とする、
請求項１２に記載の情報処理システム。
【請求項14】
１又は複数のコンピュータに、
撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出する機能と、
前記動画像から検出された前記指標を使用して、前記対象範囲に対応する第１の静止画像を当該動画像から切り出す機能と、
前記第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する機能と、
を実現させるためのプログラム。
撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出する機能と、
前記動画像から検出された前記指標を使用して、前記対象範囲に対応する第１の静止画像を当該動画像から切り出す機能と、
前記第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
売り場作りでは、陳列する商品のレイアウトが重要である。この作業は、「棚割作業」と呼ばれる。今日、棚割作業の効率化が求められている。そこで、実際の売り場を撮像した画像から、商品の検出と商品の識別の自動化が図られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００９－１８７４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、売り場の撮像には様々な制約があり、必ずしも処理に適した画像が撮像されるとは限らない。例えば歪んだ画像や商品棚の一部が見切れた画像では、商品の検出精度や商品の識別精度が低下する。そこで、撮像される画像の品質を高めるための技術が検討されているが、画像を撮像するスタッフの負担が増加する等の問題が指摘されている。
【0005】
本発明は、画面に表示される指標と商品棚との位置決めをスタッフに要求する場合に比して、簡便に品質の高い画像を撮像可能にすることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、１又は複数のプロセッサを有し、前記１又は複数のプロセッサは、撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出し、前記動画像から検出された前記指標を使用して、前記対象範囲に対応する第１の静止画像を当該動画像から切り出し、前記第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する、情報処理システムである。
請求項２に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第１の静止画像を前記動画像から切り出す、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記１又は複数のプロセッサは、前記領域のサイズが第１の閾値より大きい場合、前記予め定めた条件を満たすと判定する、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記１又は複数のプロセッサは、前記領域の歪が第２の閾値より小さい場合、前記予め定めた条件を満たすと判定する、請求項２に記載の情報処理システムである。
請求項５に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標を結ぶ線分で囲まれる領域を、当該領域の外側の領域と識別可能に表示する、請求項１に記載の情報処理システムである。
請求項６に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標を結ぶ線分を前記動画像に重畳して表示する、請求項５に記載の情報処理システムである。
請求項７に記載の発明は、前記１又は複数のプロセッサは、前記外側の領域部分をマスキング処理する、請求項５に記載の情報処理システムである。
請求項８に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標によって特定される領域が予め定めた条件を満たさない場合、前記第１の静止画像を切り出せない状態を示す情報を画面上に表示する、請求項１に記載の情報処理システムである。
請求項９に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標を結ぶ線分を、検出された当該指標によって特定される領域が予め定めた条件を満たす場合とは異なる態様で表示する、請求項８に記載の情報処理システムである。
請求項１０に記載の発明は、前記１又は複数のプロセッサは、前記動画像の撮像者に求められる行動をテキストにより表示する、請求項８に記載の情報処理システムである。
請求項１１に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第１の静止画像を切り出すためのシャッター操作が可能になった旨を画面上に表示する、請求項１に記載の情報処理システムである。
請求項１２に記載の発明は、前記１又は複数のプロセッサは、前記検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第２の静止画像から検出された各商品の領域を示す枠形状を、前記第１の静止画像の歪に応じて逆変換し、前記動画像に重畳して表示する、請求項１に記載の情報処理システムである。
請求項１３に記載の発明は、前記１又は複数のプロセッサは、前記動画像上に前記枠形状が重畳して表示されている場合、前記第１の静止画像を当該動画像から切り出すためのシャッター操作の受け付けを可能とする、請求項１２に記載の情報処理システムである。
請求項１４に記載の発明は、１又は複数のコンピュータに、撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出する機能と、前記動画像から検出された前記指標を使用して、前記対象範囲に対応する第１の静止画像を当該動画像から切り出す機能と、前記第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第１の静止画像を前記動画像から切り出す、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記１又は複数のプロセッサは、前記領域のサイズが第１の閾値より大きい場合、前記予め定めた条件を満たすと判定する、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記１又は複数のプロセッサは、前記領域の歪が第２の閾値より小さい場合、前記予め定めた条件を満たすと判定する、請求項２に記載の情報処理システムである。
請求項５に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標を結ぶ線分で囲まれる領域を、当該領域の外側の領域と識別可能に表示する、請求項１に記載の情報処理システムである。
請求項６に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標を結ぶ線分を前記動画像に重畳して表示する、請求項５に記載の情報処理システムである。
請求項７に記載の発明は、前記１又は複数のプロセッサは、前記外側の領域部分をマスキング処理する、請求項５に記載の情報処理システムである。
請求項８に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標によって特定される領域が予め定めた条件を満たさない場合、前記第１の静止画像を切り出せない状態を示す情報を画面上に表示する、請求項１に記載の情報処理システムである。
請求項９に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標を結ぶ線分を、検出された当該指標によって特定される領域が予め定めた条件を満たす場合とは異なる態様で表示する、請求項８に記載の情報処理システムである。
請求項１０に記載の発明は、前記１又は複数のプロセッサは、前記動画像の撮像者に求められる行動をテキストにより表示する、請求項８に記載の情報処理システムである。
請求項１１に記載の発明は、前記１又は複数のプロセッサは、検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第１の静止画像を切り出すためのシャッター操作が可能になった旨を画面上に表示する、請求項１に記載の情報処理システムである。
請求項１２に記載の発明は、前記１又は複数のプロセッサは、前記検出された前記指標によって特定される領域が予め定めた条件を満たす場合、前記第２の静止画像から検出された各商品の領域を示す枠形状を、前記第１の静止画像の歪に応じて逆変換し、前記動画像に重畳して表示する、請求項１に記載の情報処理システムである。
請求項１３に記載の発明は、前記１又は複数のプロセッサは、前記動画像上に前記枠形状が重畳して表示されている場合、前記第１の静止画像を当該動画像から切り出すためのシャッター操作の受け付けを可能とする、請求項１２に記載の情報処理システムである。
請求項１４に記載の発明は、１又は複数のコンピュータに、撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出する機能と、前記動画像から検出された前記指標を使用して、前記対象範囲に対応する第１の静止画像を当該動画像から切り出す機能と、前記第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、画面に表示される指標と商品棚との位置決めをスタッフに要求する場合に比して、簡便に品質の高い画像を撮像可能にできる。
請求項２記載の発明によれば、撮像される画像の品質のばらつきを抑制できる。
請求項３記載の発明によれば、撮像される画像の品質のばらつきを抑制できる。
請求項４記載の発明によれば、撮像される画像の品質のばらつきを抑制できる。
請求項５記載の発明によれば、指標の検出状況を確認可能にできる。
請求項６記載の発明によれば、指標の検出状況を確認可能にできる。
請求項７記載の発明によれば、指標の検出状況を確認可能にできる。
請求項８記載の発明によれば、撮像条件の変更の必要性を撮像者に気付かせることができる。
請求項９記載の発明によれば、撮像条件の変更の必要性を撮像者に気付かせることができる。
請求項１０記載の発明によれば、品質を改善するための具体的な行動を撮像者に通知ができる。
請求項１１記載の発明によれば、撮像者のシャッター操作を支援できる。
請求項１２記載の発明によれば、撮像者のシャッター操作を支援できる。
請求項１３記載の発明によれば、撮像される画像の品質のばらつきを抑制できる。
請求項１４記載の発明によれば、画面に表示される指標と商品棚との位置決めをスタッフに要求する場合に比して、簡便に品質の高い画像を撮像可能にできる。
請求項２記載の発明によれば、撮像される画像の品質のばらつきを抑制できる。
請求項３記載の発明によれば、撮像される画像の品質のばらつきを抑制できる。
請求項４記載の発明によれば、撮像される画像の品質のばらつきを抑制できる。
請求項５記載の発明によれば、指標の検出状況を確認可能にできる。
請求項６記載の発明によれば、指標の検出状況を確認可能にできる。
請求項７記載の発明によれば、指標の検出状況を確認可能にできる。
請求項８記載の発明によれば、撮像条件の変更の必要性を撮像者に気付かせることができる。
請求項９記載の発明によれば、撮像条件の変更の必要性を撮像者に気付かせることができる。
請求項１０記載の発明によれば、品質を改善するための具体的な行動を撮像者に通知ができる。
請求項１１記載の発明によれば、撮像者のシャッター操作を支援できる。
請求項１２記載の発明によれば、撮像者のシャッター操作を支援できる。
請求項１３記載の発明によれば、撮像される画像の品質のばらつきを抑制できる。
請求項１４記載の発明によれば、画面に表示される指標と商品棚との位置決めをスタッフに要求する場合に比して、簡便に品質の高い画像を撮像可能にできる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１で想定する画像処理システムの一例を説明する図である。
【図2】ユーザ端末のハードウェア構成の一例を示す図である。
【図3】サーバのハードウェア構成の一例を示す図である。
【図4】実施の形態１で想定するサーバの機能構成の一例を説明する図である。
【図5】商品棚に対するマーカーの取り付け例を説明する図である。（Ａ）はマーカーで特定される対象範囲の一例を示し、（Ｂ）はマーカーに埋め込まれているＩＤの特定に使用されるパターン例を示す。
【図6】撮像された画像と画像から検出されたマーカーの座標との関係を説明する図である。（Ａ）は撮像された画像の一例を示し、（Ｂ）はマーカーの座標例を示す。
【図7】撮像された画像と画像から検出されたマーカーの座標との他の関係を説明する図である。（Ａ）は撮像された画像の一例を示し、（Ｂ）はマーカーの座標例を示す。
【図8】対象範囲の出力例を説明する図である。（Ａ）検出された４つの座標点を示し、（Ｂ）は付帯情報を用いて描画された対象範囲を示す。
【図9】対象範囲に外接する矩形図形を説明する図である。
【図10】画像補正部による補正変換を説明する図である。（Ａ）は画像変換前の画像を示し、（Ｂ）は画像変換後の画像を示す。
【図11】補正済み画像から検出された商品の位置とサイズを表す矩形領域の検出例を説明する図である。（Ａ）は補正済み画像の一例であり、（Ｂ）は補正済み画像から検出された矩形領域の一例である。
【図12】商品検出部により検出された商品の画像を説明する図である。（Ａ）は商品検出部の前段に画像補正部を設ける場合の検出例を示し、（Ｂ）は商品検出部の前段に画像補正部を設けない場合の検出例である。
【図13】実施の形態１で想定する画像処理システムで実行される処理動作例を説明する図である。
【図14】商品棚に対するマーカーの他の取り付け例を説明する図である。（Ａ）は商品棚に６つのマーカーを配置した例であり、（Ｂ）はマーカーの座標例である。
【図15】対象範囲が多角形の場合を説明する図である。（Ａ）は付帯情報を用いて描画された対象範囲を示し、（Ｂ）は画像補正に使用する頂点座標を示す。
【図16】実施の形態２で想定するサーバの機能構成の一例を説明する図である。
【図17】品質判定部の品質の判定処理を説明する図である。
【図18】品質判定の具体例を説明する図である。（Ａ）は対象範囲が四角形の場合であり、（Ｂ）は対象範囲が凹多角形の場合である。
【図19】実施の形態２で想定する画像処理システムで実行される処理動作例を説明する図である。
【図20】実施の形態３で想定するサーバの機能構成の一例を説明する図である。
【図21】撮像中の被写体の確認画面の一例を説明する図である。（Ａ）は対象範囲の外縁を表す枠体が重畳表示された確認画面であり、（Ｂ）は対象範囲の外側がマスキングされた確認画面である。
【図22】撮像中の被写体の確認画面に品質の判定結果が表示される例を説明する図である。（Ａ）は判定結果を対象範囲の外縁を表す枠体の色で表示する例であり、（Ｂ）及び（Ｃ）は判定結果をテキストで表示する例である。
【図23】撮像中の被写体の確認画面に品質の判定結果が表示される他の例を説明する図である。（Ａ）は判定結果を対象範囲の外縁を表す枠体の色で表示する例であり、（Ｂ）及び（Ｃ）は判定結果をテキストで表示する例である。
【図24】実施の形態３で想定する画像処理システムで実行される処理動作例を説明する図である。
【図25】実施の形態４で想定するサーバの機能構成の一例を説明する図である。
【図26】撮像中の被写体の確認画面に品質の判定結果が表示される例を説明する図である。（Ａ）は判定結果がＮＧの場合の表示例であり、（Ｂ）は判定結果がＯＫの場合の表示例である。
【図27】実施の形態４で想定する画像処理システムで実行される処理動作例を説明する図である。
【図28】実施の形態５で想定するサーバの機能構成の一例を説明する図である。
【図29】実施の形態５による矩形領域の表示処理を説明する図である。（Ａ）は商品棚に陳列された商品を撮像した画像であり、（Ｂ）は画像補正部による補正後の画像であり、（Ｃ）は商品検出部が検出した矩形領域であり、（Ｄ）は画像補正部による逆変換後の矩形領域を表す商品枠であり、（Ｅ）は商品枠を商品に重畳した画像である。
【図30】実施の形態５で説明する処理動作を採用しない場合における矩形領域の表示例を説明する図である。（Ａ）は商品棚に陳列された商品を撮像した画像であり、（Ｂ）は商品の外周に接するように検出した矩形領域であり、（Ｃ）は検出された矩形領域を商品に重畳した画像である。
【図31】実施の形態５に係る確認画面の表示例を説明する図である。（Ａ）は商品の位置の検出漏れがある場合の表示例であり、（Ｂ）商品の位置の検出漏れがない場合の表示例である。
【図32】実施の形態５で想定する画像処理システムで実行される処理動作例を説明する図である。
【図33】他の画像処理システムを説明する図である。（Ａ）は同じ店舗内に存在するユーザ端末とサーバで構成されるシステム例を示し、（Ｂ）は商品棚を撮像するユーザ端末のみで構成されるシステム例を示す。
【図34】ユーザ端末で実行される処理動作例を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜前提とする環境＞
一部の大型店舗を除き、店舗内の通路は、商品棚の撮影に適した距離の確保が難しい。このため、商品棚の撮像には広角レンズの使用が想定される他、撮像スキルのバラツキも想定される。このような環境下で商品棚を撮影した画像は、歪が大きい可能性が高い。その結果、商品の検出精度や商品の識別精度が低下し、生成される棚割情報の信頼性も低くなる。一方で、高度な撮影スキルを全てのユーザに求めることは現実的でない。このため、ユーザによる品質の高い商品棚の画像の撮像を支援するための技術が求められる。
＜前提とする環境＞
一部の大型店舗を除き、店舗内の通路は、商品棚の撮影に適した距離の確保が難しい。このため、商品棚の撮像には広角レンズの使用が想定される他、撮像スキルのバラツキも想定される。このような環境下で商品棚を撮影した画像は、歪が大きい可能性が高い。その結果、商品の検出精度や商品の識別精度が低下し、生成される棚割情報の信頼性も低くなる。一方で、高度な撮影スキルを全てのユーザに求めることは現実的でない。このため、ユーザによる品質の高い商品棚の画像の撮像を支援するための技術が求められる。
【0010】
＜システム構成＞
図１は、実施の形態１で想定する画像処理システム１の一例を説明する図である。
図１に示す画像処理システム１は、小売店等の店舗に設置された商品棚を撮像した画像をアップロードするユーザ端末１０と、ユーザ端末１０からアップロードされた画像を処理して商品棚に陳列されている商品と位置を識別するサーバ２０と、これらを接続するネットワークＮとで構成されている。
図１は、実施の形態１で想定する画像処理システム１の一例を説明する図である。
図１に示す画像処理システム１は、小売店等の店舗に設置された商品棚を撮像した画像をアップロードするユーザ端末１０と、ユーザ端末１０からアップロードされた画像を処理して商品棚に陳列されている商品と位置を識別するサーバ２０と、これらを接続するネットワークＮとで構成されている。
【0011】
図１に示すサーバ２０は、複数台のユーザ端末１０との接続を想定しているが、画像処理システム１の最小構成は、１台のユーザ端末１０と１台のサーバ２０である。
図１の場合、ある店舗内に設置されている商品棚を１台のみ描いているが、各店舗に設けられる商品棚は１台に限らず、複数台でもよい。因みに、商品棚の台数は店舗により異なる。従って、商品棚が２台の店舗もあれば、商品棚が５台の店舗もあり、商品棚が１０台の店舗があってもよい。
図１の場合、ある店舗内に設置されている商品棚を１台のみ描いているが、各店舗に設けられる商品棚は１台に限らず、複数台でもよい。因みに、商品棚の台数は店舗により異なる。従って、商品棚が２台の店舗もあれば、商品棚が５台の店舗もあり、商品棚が１０台の店舗があってもよい。
【0012】
画像処理システム１を構成するユーザ端末１０は、各店舗に少なくとも１台あればよく、１つの店舗に複数台のユーザ端末１０が存在してもよい。なお、ユーザ端末１０は、商品棚を撮像した画像をサーバ２０にアップロード可能であればよい。本実施の形態では、ユーザ端末１０として、店舗内でユーザが携帯可能なスマートフォンを想定する。もっとも、ユーザ端末１０は、例えばタブレット型のコンピュータ端末や通信機能を有するデジタルカメラでもよい。また、スマートグラス、ＡＲ（＝Augmented Reality）グラスその他のウェアラブル端末でもよい。
【0013】
因みに、商品棚の撮像に使用されるカメラは、ユーザ端末１０と一体である必要はない。例えばカメラは、ユーザ端末１０に取り付けて使用してもよい。また、カメラは、ユーザ端末１０と無線通信により接続されていてもよい。
図１には、１台のサーバ２０を描画しているが、画像処理システム１を構成するサーバ２０の台数は複数台でもよい。
ネットワークＮは、インターネットやＬＡＮ（＝Local Area Network）を想定する。また、ネットワークＮの一部は、５Ｇその他の移動体通信システムでもよい。言うまでもなく、ネットワークＮは、有線ネットワークでも無線ネットワークでもよい。
図１には、１台のサーバ２０を描画しているが、画像処理システム１を構成するサーバ２０の台数は複数台でもよい。
ネットワークＮは、インターネットやＬＡＮ（＝Local Area Network）を想定する。また、ネットワークＮの一部は、５Ｇその他の移動体通信システムでもよい。言うまでもなく、ネットワークＮは、有線ネットワークでも無線ネットワークでもよい。
【0014】
＜各端末の構成＞
＜ユーザ端末の構成＞
図２は、ユーザ端末１０のハードウェア構成の一例を示す図である。
図２に示すユーザ端末１０は、プロセッサ１０１と、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）２２と、プロセッサ１０１のワークエリアとして用いられるＲＡＭ（＝Random Access Memory）１０３と、補助記憶装置１０４と、ディスプレイ１０５と、カメラ１０６と、マイク１０７と、スピーカー１０８と、通信インタフェース１０９と、を有している。各デバイスは、バスその他の信号線１１０を通じて接続されている。
＜ユーザ端末の構成＞
図２は、ユーザ端末１０のハードウェア構成の一例を示す図である。
図２に示すユーザ端末１０は、プロセッサ１０１と、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）２２と、プロセッサ１０１のワークエリアとして用いられるＲＡＭ（＝Random Access Memory）１０３と、補助記憶装置１０４と、ディスプレイ１０５と、カメラ１０６と、マイク１０７と、スピーカー１０８と、通信インタフェース１０９と、を有している。各デバイスは、バスその他の信号線１１０を通じて接続されている。
【0015】
プロセッサ１０１は、プログラムの実行を通じて各種の機能を実現するデバイスである。プロセッサ１０１、ＲＯＭ１０２、ＲＡＭ１０３は、コンピュータとして機能する。
補助記憶装置１０４は、例えばハードディスク装置や半導体ストレージで構成される。補助記憶装置１０４には、プログラムに関する各種のデータが記憶される。ここでのプログラムには、ＯＳやアプリケーションプログラムが含まれる。
ディスプレイ１０５は、例えば液晶ディスプレイや有機ＥＬ（＝Electro Luminescent）ディスプレイである。図１の場合、ディスプレイ１０５は、ユーザ端末１０と一体であるが、ユーザ端末１０に対して外付けされていてもよいし、無線通信により接続されていてもよい。
補助記憶装置１０４は、例えばハードディスク装置や半導体ストレージで構成される。補助記憶装置１０４には、プログラムに関する各種のデータが記憶される。ここでのプログラムには、ＯＳやアプリケーションプログラムが含まれる。
ディスプレイ１０５は、例えば液晶ディスプレイや有機ＥＬ（＝Electro Luminescent）ディスプレイである。図１の場合、ディスプレイ１０５は、ユーザ端末１０と一体であるが、ユーザ端末１０に対して外付けされていてもよいし、無線通信により接続されていてもよい。
【0016】
カメラ１０６は、例えばＣＭＯＳ（＝Complementary Metal Oxide Semiconductor）センサやＣＣＤ（＝Charge Coupled Device）センサを撮像素子とする撮像デバイスである。図１に示すカメラ１０６は、ユーザ端末１０の一部を構成する。もっとも、前述したように、ユーザ端末１０の本体に対して取り付け可能でもよいし、無線通信により接続されてもよい。本実施の形態の場合、カメラ１０６は、商品棚の撮像に使用される。本実施の形態の場合、商品棚の画像は動画像として撮像され、動画像のままサーバ２０（図１参照）にアップロードされる。
【0017】
マイク１０７は、音を電気信号の形式に変換する音響機器である。
スピーカー１０８は、音を表現した電気信号を音に変換する音響機器である。
通信インタフェース１０９は、サーバ２０（図１参照）との通信等に使用されるインタフェースである。通信インタフェース１０９は、通信に使用するネットワークＮに応じた各種の通信規格に対応する。ここでの通信規格には、例えばイーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、移動体通信システムがある。
スピーカー１０８は、音を表現した電気信号を音に変換する音響機器である。
通信インタフェース１０９は、サーバ２０（図１参照）との通信等に使用されるインタフェースである。通信インタフェース１０９は、通信に使用するネットワークＮに応じた各種の通信規格に対応する。ここでの通信規格には、例えばイーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、移動体通信システムがある。
【0018】
＜サーバの構成＞
図３は、サーバ２０のハードウェア構成の一例を示す図である。
サーバ２０は、店舗側のユーザ端末１０（図１参照）とネットワークＮ経由で接続される情報処理端末である。本実施の形態におけるサーバ２０は、情報処理システムの一例である。
サーバ２０は、商品棚を撮像した画像から、商品棚に陳列されている１つ１つの商品に対応する部分画像を検出し、検出された部分画像から個々の商品を識別する処理を実行する。なお、サーバ２０は、商品棚と部分画像の位置関係も検出する。
図３は、サーバ２０のハードウェア構成の一例を示す図である。
サーバ２０は、店舗側のユーザ端末１０（図１参照）とネットワークＮ経由で接続される情報処理端末である。本実施の形態におけるサーバ２０は、情報処理システムの一例である。
サーバ２０は、商品棚を撮像した画像から、商品棚に陳列されている１つ１つの商品に対応する部分画像を検出し、検出された部分画像から個々の商品を識別する処理を実行する。なお、サーバ２０は、商品棚と部分画像の位置関係も検出する。
【0019】
本実施の形態では、商品棚の各位置と商品との組み合わせ情報を棚割情報という。
本実施の形態におけるサーバ２０は、店舗等に設置されている商品棚の現在の棚割情報の生成に使用される。
サーバ２０は、オンプレミス型のサーバでもよいし、クラウド型のサーバでもよい。
本実施の形態におけるサーバ２０は、店舗等に設置されている商品棚の現在の棚割情報の生成に使用される。
サーバ２０は、オンプレミス型のサーバでもよいし、クラウド型のサーバでもよい。
【0020】
図３に示すサーバ２０は、プロセッサ２０１と、ＢＩＯＳ等が記憶されたＲＯＭ２０２と、プロセッサ２０１のワークエリアとして用いられるＲＡＭ２０３と、補助記憶装置２０４と、通信インタフェース２０５と、を有している。各デバイスは、バスその他の信号線２０６を通じて接続されている。
【0021】
プロセッサ２０１は、プログラムの実行を通じて各種の機能を実現するデバイスである。プロセッサ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、コンピュータとして機能する。
補助記憶装置２０４は、例えばハードディスク装置や半導体ストレージで構成される。補助記憶装置２０４には、プログラムや各種のデータが記憶される。ここでのプログラムは、ＯＳ（＝Operating System）やアプリケーションプログラムの総称として使用する。アプリケーションプログラムの１つが棚割情報の生成に用いられるプログラムである。
本実施の形態における補助記憶装置２０４はサーバ２０に内蔵されているが、サーバ２０に対して外付けされてもよいし、ネットワークＮ（図１参照）上に存在してもよい。
補助記憶装置２０４は、例えばハードディスク装置や半導体ストレージで構成される。補助記憶装置２０４には、プログラムや各種のデータが記憶される。ここでのプログラムは、ＯＳ（＝Operating System）やアプリケーションプログラムの総称として使用する。アプリケーションプログラムの１つが棚割情報の生成に用いられるプログラムである。
本実施の形態における補助記憶装置２０４はサーバ２０に内蔵されているが、サーバ２０に対して外付けされてもよいし、ネットワークＮ（図１参照）上に存在してもよい。
【0022】
通信インタフェース２０５は、ユーザ端末１０（図１参照）との通信等に使用されるインタフェースである。通信インタフェース２０５は、通信に使用するネットワークＮに応じた各種の通信規格に対応する。ここでの通信規格には、例えばイーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、移動体通信システムがある。
【0023】
図４は、実施の形態１で想定するサーバ２０の機能構成の一例を説明する図である。図４に示す機能は、プロセッサ２０１（図３参照）によるプログラムの実行を通じて実現される。
図４に示すサーバ２０は、マーカー検出部２１１と、対象範囲特定部２１２と、画像補正部２１３と、商品検出部２１４と、商品照合部２１５と、棚割推定部２１６とで構成されている。
図４に示すサーバ２０は、マーカー検出部２１１と、対象範囲特定部２１２と、画像補正部２１３と、商品検出部２１４と、商品照合部２１５と、棚割推定部２１６とで構成されている。
【0024】
マーカー検出部２１１は、商品棚を撮像した画像に写り込んでいるマーカーを検出するサブ機能と、マーカーに埋め込まれているＩＤ（＝Identifier）の情報を読み取るサブ機能と、ＩＤに紐づけられている付帯情報を出力するサブ機能と、を有する機能部である。
対象範囲は、マーカーによって特定される領域の一例である。
付帯情報は、複数個のマーカーの配置により特定される領域（以下「対象範囲」という。）の形状に関する情報や対象範囲のアスペクト比を含む。従って、ユーザは、対象範囲に対応するＩＤが埋め込まれている専用のマーカーを、対象範囲の頂点を規定する位置に取り付ける必要がある。
対象範囲は、マーカーによって特定される領域の一例である。
付帯情報は、複数個のマーカーの配置により特定される領域（以下「対象範囲」という。）の形状に関する情報や対象範囲のアスペクト比を含む。従って、ユーザは、対象範囲に対応するＩＤが埋め込まれている専用のマーカーを、対象範囲の頂点を規定する位置に取り付ける必要がある。
【0025】
仮に、商品棚に取り付けられるマーカーによって形成される対象範囲の形状が、マーカーに埋め込まれているＩＤの付帯情報と異なる場合、サーバ２０の処理動作は停止する。
なお、マーカーの検出は、ユーザ端末１０（図１参照）からアップロードされる動画像データを構成する全てのフレーム画像について、又は、動画像データを構成する全てのフレーム画像からサンプリングされた一部のフレーム画像を対象に実行される。すなわち、マーカーは、フレーム画像から検出される。
なお、マーカーの検出は、ユーザ端末１０（図１参照）からアップロードされる動画像データを構成する全てのフレーム画像について、又は、動画像データを構成する全てのフレーム画像からサンプリングされた一部のフレーム画像を対象に実行される。すなわち、マーカーは、フレーム画像から検出される。
【0026】
図５は、商品棚に対するマーカーＭの取り付け例を説明する図である。（Ａ）はマーカーＭで特定される対象範囲の一例を示し、（Ｂ）はマーカーＭに埋め込まれているＩＤの特定に使用されるパターン例を示す。
マーカーＭは、対象範囲の頂点の位置を規定する物理的な指標の一例である。ここで、頂点とは多角形の２本の辺の交点をいう。図５（Ａ）の場合、対象範囲は長方形である。なお、５つ以上のマーカーＭを用いて多角形形状の対象範囲を規定してもよい。因みに、３つのマーカーＭを使用して三角形の対象範囲を規定することも原理的には可能である。
マーカーＭは、対象範囲の頂点の位置を規定する物理的な指標の一例である。ここで、頂点とは多角形の２本の辺の交点をいう。図５（Ａ）の場合、対象範囲は長方形である。なお、５つ以上のマーカーＭを用いて多角形形状の対象範囲を規定してもよい。因みに、３つのマーカーＭを使用して三角形の対象範囲を規定することも原理的には可能である。
【0027】
図５（Ａ）の場合、マーカーＭは４つであり、大小様々な形状の商品が陳列された商品棚の左上隅と、右上隅と、左下隅と、右下隅の四隅に取り付けられている。
もっとも、マーカーＭで規定される対象範囲は、商品棚の一部でもよい。例えば上から１段目の棚板に対応する空間のように、特定の１つ又は複数枚の棚板に対応する空間を対象範囲としてもよい。
また、特定の棚板に対応する空間の左半分や右半分のように、１つの棚板に対応する空間の一部分だけを対象範囲としてもよい。
また、上から２段目と３段目の棚板に対応する空間の左半分や右半分のように、商品棚の複数段に跨る一部分の空間だけを対象範囲としてもよい。
もっとも、マーカーＭで規定される対象範囲は、商品棚の一部でもよい。例えば上から１段目の棚板に対応する空間のように、特定の１つ又は複数枚の棚板に対応する空間を対象範囲としてもよい。
また、特定の棚板に対応する空間の左半分や右半分のように、１つの棚板に対応する空間の一部分だけを対象範囲としてもよい。
また、上から２段目と３段目の棚板に対応する空間の左半分や右半分のように、商品棚の複数段に跨る一部分の空間だけを対象範囲としてもよい。
【0028】
図５（Ｂ）に示すパターンは、２次元コードである。図５（Ｂ）には、パターンが異なる１０種類の二次元コードを例示している。この場合、１０種類のＩＤの埋め込みが可能になる。例えば想定する対象範囲が２種類で、アスペクト比が５種類の場合、計１０種類の二次元コードが必要になる。
なお、１０種類以上のＩＤが必要になる場合には、１０種類の以上の二次元コードが事前に用意される。商品棚には、ＩＤにより特定される二次元コードが付されたマーカーＭが取り付けられる。
因みに、マーカーＭに対するＩＤの埋め込みは、１次元コードや文字列を用いてもよいし、色を組み合わせてもよい。
なお、１０種類以上のＩＤが必要になる場合には、１０種類の以上の二次元コードが事前に用意される。商品棚には、ＩＤにより特定される二次元コードが付されたマーカーＭが取り付けられる。
因みに、マーカーＭに対するＩＤの埋め込みは、１次元コードや文字列を用いてもよいし、色を組み合わせてもよい。
【0029】
図５（Ａ）に示すように、商品棚の四隅に取り付けられている４つのマーカーＭは全て同一である。従って、処理対象とする画像内に１つでもマーカーＭが写り込んでいれば、マーカーＭに埋め込まれているＩＤによって特定される付帯情報の読み出しが可能である。
前述したように、付帯情報には、対象範囲の形状やアスペクト比等の情報が紐づけられている。従って、マーカーＭを１つでも検出できれば、画像から検出されたマーカーＭの数の過不足や特定された対象範囲と付帯情報で指定されている対象範囲の形状やアスペクト比等との一致不一致の判定が可能になる。
前述したように、付帯情報には、対象範囲の形状やアスペクト比等の情報が紐づけられている。従って、マーカーＭを１つでも検出できれば、画像から検出されたマーカーＭの数の過不足や特定された対象範囲と付帯情報で指定されている対象範囲の形状やアスペクト比等との一致不一致の判定が可能になる。
【0030】
図４の説明に戻る。
対象範囲特定部２１２は、画像から検出されたマーカーＭの数と付帯情報で指定されているマーカーＭの数との一致不一致をチェックするサブ機能と、画像から検出された全てのマーカーＭの数と付帯情報で指定されたマーカーＭの数とが一致する場合に、各マーカーＭの座標を付帯情報で指定された形状となるように線分で結び、線分で囲まれた部分を対象範囲として出力するサブ機能と、を有している。
なお、画像から検出された全てのマーカーＭの数と付帯情報で指定されたマーカーＭの数とが一致することは、商品棚に現実に取り付けられている全てのマーカーＭが画像内から検出されることを意味する。
対象範囲特定部２１２は、画像から検出されたマーカーＭの数と付帯情報で指定されているマーカーＭの数との一致不一致をチェックするサブ機能と、画像から検出された全てのマーカーＭの数と付帯情報で指定されたマーカーＭの数とが一致する場合に、各マーカーＭの座標を付帯情報で指定された形状となるように線分で結び、線分で囲まれた部分を対象範囲として出力するサブ機能と、を有している。
なお、画像から検出された全てのマーカーＭの数と付帯情報で指定されたマーカーＭの数とが一致することは、商品棚に現実に取り付けられている全てのマーカーＭが画像内から検出されることを意味する。
【0031】
図６は、撮像された画像と画像から検出されたマーカーＭの座標との関係を説明する図である。（Ａ）は撮像された画像の一例を示し、（Ｂ）はマーカーＭの座標例を示す。なお、図６（Ａ）及び（Ｂ）では、撮像された画像の外縁を太枠で示している。
図６（Ａ）に示す画像には、商品棚が略台形状で写っている。すなわち、図６（Ａ）に示す商品棚の画像は歪んでいる。
図６（Ａ）に示す画像には、商品棚が略台形状で写っている。すなわち、図６（Ａ）に示す商品棚の画像は歪んでいる。
【0032】
ここでの歪の原因には、主に撮像条件を想定する。すなわち、カメラ１０６（図２参照）のピッチ、ヨー、ロールによる線形の歪を想定している。
なお、本実施の形態の場合、歪の原因として、レンズの歪は想定しない。すなわち、非線形の歪は想定しない。
図６（Ａ）の場合、４つのマーカーＭが検出されている。このため、図６（Ｂ）に示すように、マーカーＭに対応する４つの座標点が検出されている。なお、図６（Ｂ）では、画像の左上隅を原点（０，０）とし、右下隅の座標を（１，１）とする。
なお、本実施の形態の場合、歪の原因として、レンズの歪は想定しない。すなわち、非線形の歪は想定しない。
図６（Ａ）の場合、４つのマーカーＭが検出されている。このため、図６（Ｂ）に示すように、マーカーＭに対応する４つの座標点が検出されている。なお、図６（Ｂ）では、画像の左上隅を原点（０，０）とし、右下隅の座標を（１，１）とする。
【0033】
図７は、撮像された画像と画像から検出されたマーカーＭの座標との他の関係を説明する図である。（Ａ）は撮像された画像の一例を示し、（Ｂ）はマーカーＭの座標例を示す。なお、図７には、図６との対応部分に対応する符号を付して示している。
図７（Ａ）に示す画像の場合、商品棚の左上隅が見切れている。このため、画像内に写り込んでいるマーカーＭの数は３つである。
このため、図７（Ｂ）では、マーカーＭに対応する３つの座標点が検出されている。
図７（Ａ）に示す画像の場合、商品棚の左上隅が見切れている。このため、画像内に写り込んでいるマーカーＭの数は３つである。
このため、図７（Ｂ）では、マーカーＭに対応する３つの座標点が検出されている。
【0034】
前述した対象範囲特定部２１２（図４参照）は、図６や図７から検出されたマーカーＭの数と、マーカーＭに紐づけられている付帯情報で指定されているマーカーＭの数との一致不一致を判定する。この例の場合、付帯情報で指定されているマーカーＭの数は４つである。従って、図６の場合には、対象範囲を出力するサブ機能が実行されたが、図７の場合には、対象範囲を出力するサブ機能は実行されない。
もっとも、付帯情報で指定された形状が四角形であれば、頂点の数が４つなのでマーカーＭの数は４つであることが分かる。
図８は、対象範囲の出力例を説明する図である。（Ａ）検出された４つの座標点を示し、（Ｂ）は付帯情報を用いて描画された対象範囲を示す。
もっとも、付帯情報で指定された形状が四角形であれば、頂点の数が４つなのでマーカーＭの数は４つであることが分かる。
図８は、対象範囲の出力例を説明する図である。（Ａ）検出された４つの座標点を示し、（Ｂ）は付帯情報を用いて描画された対象範囲を示す。
【0035】
画像補正部２１３は、対象範囲特定部２１２から出力された対象範囲の形状から撮影条件による画像の歪を検出し、検出された歪の影響を取り除く画像変換を対象範囲に対応する画像に加える機能部である。歪の影響が取り除かれた商品棚の画像は、補正済み画像として商品検出部２１４に出力される。
ここでの画像変換には、例えばアフィン変換や射影変換が用いられる。付帯情報にアスペクト比の情報が含まれている場合には、画像変換後の対象範囲のアスペクト比を調整することにより、補正済み画像を現実の商品棚の状態に近づけることが可能である。
なお、ここでの画像補正には、例えば明るさ、コントラスト、彩度、ホワイトバランスの補正を含めてもよい。
ここでの画像変換には、例えばアフィン変換や射影変換が用いられる。付帯情報にアスペクト比の情報が含まれている場合には、画像変換後の対象範囲のアスペクト比を調整することにより、補正済み画像を現実の商品棚の状態に近づけることが可能である。
なお、ここでの画像補正には、例えば明るさ、コントラスト、彩度、ホワイトバランスの補正を含めてもよい。
【0036】
まず、商品を被写体に含む画像の補正に先立って、対象範囲に外接する矩形図形を求める。
図９は、対象範囲に外接する矩形図形を説明する図である。なお、実線で囲んだ図形は、図８（Ｂ）で特定された対象範囲である。破線で囲んだ図形は、対象範囲に外接する矩形図形である。図中の座標は、対象範囲の四隅を与える頂点の座標（ｘ１ｉ，ｙ１ｉ）と対象範囲に外接する矩形図形の四隅を与える頂点の座標（ｘ２ｉ，ｙ２ｉ）である。ただし、ｉ＝１、２、３、４である。
ここでの矩形図形は、対象範囲に対応する画像から歪を取り除くために使用する画像変換処理の目標図形となる。
図９は、対象範囲に外接する矩形図形を説明する図である。なお、実線で囲んだ図形は、図８（Ｂ）で特定された対象範囲である。破線で囲んだ図形は、対象範囲に外接する矩形図形である。図中の座標は、対象範囲の四隅を与える頂点の座標（ｘ１ｉ，ｙ１ｉ）と対象範囲に外接する矩形図形の四隅を与える頂点の座標（ｘ２ｉ，ｙ２ｉ）である。ただし、ｉ＝１、２、３、４である。
ここでの矩形図形は、対象範囲に対応する画像から歪を取り除くために使用する画像変換処理の目標図形となる。
【0037】
対象範囲に外接する矩形は、式１により算出する。
【0038】
前述したように、付帯情報として指定されているアスペクト比ｒの情報を使用すると、変換目標となる矩形図形を現実の商品棚に近づけることが可能である。
例えば式２により、矩形図形の座標（ｘ２３，ｙ２３）を座標（ｘ’２３，ｙ’２３）に修正する。
例えば式２により、矩形図形の座標（ｘ２３，ｙ２３）を座標（ｘ’２３，ｙ’２３）に修正する。
【0039】
アスペクト比ｒを用いて矩形図形の形状を調整すると、商品の位置とサイズの検出精度が向上するだけでなく、商品の照合の精度も向上する。
なぜなら、補正後の画像に含まれる商品のアスペクト比が現実の商品に近づくので、データベース中の参照画像との照合の精度が一段と向上するためである。その結果、パッケージデザインが同じでサイズが異なる商品群の識別が可能になる。例えば３５０ｍｌの飲料水と５００ｍｌの飲料水の識別が可能になる。
なぜなら、補正後の画像に含まれる商品のアスペクト比が現実の商品に近づくので、データベース中の参照画像との照合の精度が一段と向上するためである。その結果、パッケージデザインが同じでサイズが異なる商品群の識別が可能になる。例えば３５０ｍｌの飲料水と５００ｍｌの飲料水の識別が可能になる。
【0040】
次に、画像補正部２１３は、対象範囲が外接する矩形図形に一致するように、例えば式３に示す幾何変換を用いて画像の歪を除去する。
なお、記号の～は、定数倍の違いを除いて同じことを意味する。
【0041】
ところで、式３は、次式に変換される。
ここでのｈは、変換係数である。式４は、射影変換式である。
【0042】
変換係数ｈは、次式により算出が可能である。
【0043】
式５で得られた変換係数で表される式４に対して対象範囲に対応する画像の各座標点を代入すると、歪が取り除かれた商品棚の画像が得られることになる。
図１０は、画像補正部２１３による補正変換を説明する図である。（Ａ）は画像変換前の画像を示し、（Ｂ）は画像変換後の画像を示す。
図１０（Ａ）に示す画像は、対象範囲に対応する画像である。撮像された画像から切り出された画像であるので歪んでいる。なお、図１０（Ａ）に示す画像は、第１の静止画像の一例である。
図１０は、画像補正部２１３による補正変換を説明する図である。（Ａ）は画像変換前の画像を示し、（Ｂ）は画像変換後の画像を示す。
図１０（Ａ）に示す画像は、対象範囲に対応する画像である。撮像された画像から切り出された画像であるので歪んでいる。なお、図１０（Ａ）に示す画像は、第１の静止画像の一例である。
【0044】
図１０（Ｂ）に示す画像は、画像変換によって歪が取り除かれた画像である。図１０（Ｂ）に示す画像は、図５（Ａ）で説明した実際の商品棚と同じく長方形状である。なお、図１０（Ｂ）に示す画像は、第２の静止画像の一例である。
画像変換後の画像は、商品検出部２１４に出力される。
画像変換後の画像は、商品検出部２１４に出力される。
【0045】
なお、画像補正部２１３では、幾何変換に限らず、輝度や色成分の補正も可能である。例えば対象範囲の周辺が明るい場合（例えば逆光の場合）、カメラ１０６（図２参照）の露出が低く設定され、その結果、対象範囲が暗く撮影されてしまう。
この場合、画像補正部２１３において、対象範囲の輝度のヒストグラムに基づいて対象範囲の露光を調整する。その結果、商品の検出の精度や照合の精度が向上される。その他、画像補正部２１３は、コントラスト、彩度、ホワイトバランスを補正してもよい。
この場合、画像補正部２１３において、対象範囲の輝度のヒストグラムに基づいて対象範囲の露光を調整する。その結果、商品の検出の精度や照合の精度が向上される。その他、画像補正部２１３は、コントラスト、彩度、ホワイトバランスを補正してもよい。
【0046】
商品検出部２１４は、歪等の影響が取り除かれた商品棚の画像から商品を検出し、商品の位置と商品のサイズを出力する機能部である。
商品検出部２１４は、テンプレートや画像の特徴に基づく画像マッチングの他、機械学習により生成された学習モデルを用いた物体検出ＡＩ（＝artificial intelligence）を使用して商品の位置と商品のサイズを出力する。
本実施の形態の場合、商品のサイズは、横幅と高さで規定される矩形領域として出力される。この矩形領域は、各商品の横幅の最大部分と高さの最大部分に接する箱を表している。矩形領域は、バウンディングボックス（Bounding Box）とも呼ばれる。
商品検出部２１４は、テンプレートや画像の特徴に基づく画像マッチングの他、機械学習により生成された学習モデルを用いた物体検出ＡＩ（＝artificial intelligence）を使用して商品の位置と商品のサイズを出力する。
本実施の形態の場合、商品のサイズは、横幅と高さで規定される矩形領域として出力される。この矩形領域は、各商品の横幅の最大部分と高さの最大部分に接する箱を表している。矩形領域は、バウンディングボックス（Bounding Box）とも呼ばれる。
【0047】
図１１は、補正済み画像から検出された商品の位置とサイズを表す矩形領域の検出例を説明する図である。（Ａ）は補正済み画像の一例であり、（Ｂ）は補正済み画像から検出された矩形領域の一例である。
図１１（Ｂ）の場合、補正済み画像に含まれる全ての商品の位置とサイズが矩形領域で表されている。
図１１（Ｂ）の場合、補正済み画像に含まれる全ての商品の位置とサイズが矩形領域で表されている。
【0048】
図１２は、商品検出部２１４により検出された商品の画像を説明する図である。（Ａ）は商品検出部２１４の前段に画像補正部２１３を設ける場合の検出例を示し、（Ｂ）は商品検出部２１４の前段に画像補正部２１３を設けない場合の検出例である。
図１２（Ｂ）に示す商品棚の画像は、図１０（Ａ）に示す商品棚の画像である。すなわち、図１２（Ｂ）に示す商品棚の画像には、撮像条件に起因する歪の影響が残っている。この画像を対象に商品の位置と商品のサイズを検出すると、画像マッチング等の精度が低下する。
このため、図１２（Ｂ）示す画像では、５つの商品について検出漏れが生じている。
一方、図１２（Ａ）に示す画像は、図１０（Ｂ）に示す画像である。図１２（Ａ）に示す画像では検出漏れが生じていない。
図１２（Ｂ）に示す商品棚の画像は、図１０（Ａ）に示す商品棚の画像である。すなわち、図１２（Ｂ）に示す商品棚の画像には、撮像条件に起因する歪の影響が残っている。この画像を対象に商品の位置と商品のサイズを検出すると、画像マッチング等の精度が低下する。
このため、図１２（Ｂ）示す画像では、５つの商品について検出漏れが生じている。
一方、図１２（Ａ）に示す画像は、図１０（Ｂ）に示す画像である。図１２（Ａ）に示す画像では検出漏れが生じていない。
【0049】
商品照合部２１５は、矩形領域に対応する商品の画像とデータベースに登録されている画像との照合により、商品棚のどの位置にどの商品があるかを出力する機能部である。ここでの照合には、画像の特徴に基づいて算出される類似度等を使用する。
なお、「商品の位置」は、例えば上から何段目の棚板かを特定する番号と、棚板の左端から数えた矩形領域の番号で特定される。また、「商品」は、例えば商品を特定する情報で特定される。本実施の形態における「商品を特定する情報」は、例えばカテゴリー、具体的な商品名、商品コードを含む。
本実施の形態では、商品検出部２１４と商品照合部２１５で構成される機能部を商品識別部２２０という。
なお、「商品の位置」は、例えば上から何段目の棚板かを特定する番号と、棚板の左端から数えた矩形領域の番号で特定される。また、「商品」は、例えば商品を特定する情報で特定される。本実施の形態における「商品を特定する情報」は、例えばカテゴリー、具体的な商品名、商品コードを含む。
本実施の形態では、商品検出部２１４と商品照合部２１５で構成される機能部を商品識別部２２０という。
【0050】
棚割推定部２１６は、商品照合部２１５により識別された具体的な商品の種類と位置の関係から棚割を推定し、推定結果を棚割情報として出力する機能部である。
ここでの棚割は、商品棚に実際に陳列されている商品のレイアウトである。棚割情報は、例えば上から何段目の棚板の左又は右から何番目に何の商品が存在するかを予め定めた形式で記述したデータである。棚割情報の記述には、例えばＣＳＶ、ＸＭＬ、ＪＳＯＮ形式が使用される。
本実施の形態では、商品識別部２２０と棚割推定部２１６で構成される機能部を棚割情報生成部２３０という。
ここでの棚割は、商品棚に実際に陳列されている商品のレイアウトである。棚割情報は、例えば上から何段目の棚板の左又は右から何番目に何の商品が存在するかを予め定めた形式で記述したデータである。棚割情報の記述には、例えばＣＳＶ、ＸＭＬ、ＪＳＯＮ形式が使用される。
本実施の形態では、商品識別部２２０と棚割推定部２１６で構成される機能部を棚割情報生成部２３０という。
【0051】
＜処理動作例＞
図１３は、実施の形態１で想定する画像処理システム１で実行される処理動作例を説明する図である。なお、図中に示す記号のＳはステップを意味する。
図１３に示すように、実施の形態１で想定する画像処理システム１の処理動作は、ユーザ端末１０とサーバ２０の連携により実行される。なお、ユーザ端末１０側の処理動作はプロセッサ１０１（図２参照）により実行され、サーバ２０側の処理動作はプロセッサ２０１（図３参照）により実行される。
図１３は、実施の形態１で想定する画像処理システム１で実行される処理動作例を説明する図である。なお、図中に示す記号のＳはステップを意味する。
図１３に示すように、実施の形態１で想定する画像処理システム１の処理動作は、ユーザ端末１０とサーバ２０の連携により実行される。なお、ユーザ端末１０側の処理動作はプロセッサ１０１（図２参照）により実行され、サーバ２０側の処理動作はプロセッサ２０１（図３参照）により実行される。
【0052】
一連の処理動作は、ユーザ端末１０における棚割用のプログラムの起動を通じて開始される。棚割用のプログラムによる撮像が開始されると、ユーザ端末１０は、撮像中の動画像データをサーバ２０にアップロードする（ステップ１）。
なお、動画像データのアップロードを開始したユーザ端末１０は、撮像を終了するか否かを判定し（ステップ２）、否定結果が得られている間、動画像データのサーバ２０へのアップロードを繰り返す。なお、ステップ２で肯定結果が得られた場合、ユーザ端末１０は、動画像データのアップロードを終了する（ステップ３）。
なお、動画像データのアップロードを開始したユーザ端末１０は、撮像を終了するか否かを判定し（ステップ２）、否定結果が得られている間、動画像データのサーバ２０へのアップロードを繰り返す。なお、ステップ２で肯定結果が得られた場合、ユーザ端末１０は、動画像データのアップロードを終了する（ステップ３）。
【0053】
一方、サーバ２０は、ユーザ端末１０から動画像データを取得すると（ステップ１１）、マーカーＭを検出する（ステップ１２）。マーカーＭの検出は、動画像データを構成するフレーム画像を対象に実行される。
次に、サーバ２０は、付帯情報で指定された全てのマーカーＭが存在するか否かを判定する（ステップ１３）。前述したように、１つでもマーカーＭが検出されれば、マーカーＭに埋め込まれているＩＤを通じて付帯情報が読み出され、マーカーＭの個数等が判明する。
次に、サーバ２０は、付帯情報で指定された全てのマーカーＭが存在するか否かを判定する（ステップ１３）。前述したように、１つでもマーカーＭが検出されれば、マーカーＭに埋め込まれているＩＤを通じて付帯情報が読み出され、マーカーＭの個数等が判明する。
【0054】
検出されたマーカーＭの個数が付帯情報で指定されたマーカーＭの個数に不足する場合、ステップ１３で否定結果が得られる。この場合、サーバ２０は、別のフレーム画像を対象に、マーカーＭを検出する。
フレーム画像から検出されたマーカーＭの個数が付帯情報で指定されたマーカーＭの個数を充足する場合、ステップ１３で肯定結果が得られる。この場合、サーバ２０は、対象範囲を特定する（ステップ１４）。対象範囲の特定は、前述したように、付帯情報で指定された対象範囲の形状を満たすように、検出されたマーカーＭの座標点が線分で結ばれる。なお、対象範囲が特定されると、画像の歪を取り除く画像変換に必要な変換係数が算出される。
このように、本実施の形態では、画像補正の対象とする対象範囲が自動的に設定される。
フレーム画像から検出されたマーカーＭの個数が付帯情報で指定されたマーカーＭの個数を充足する場合、ステップ１３で肯定結果が得られる。この場合、サーバ２０は、対象範囲を特定する（ステップ１４）。対象範囲の特定は、前述したように、付帯情報で指定された対象範囲の形状を満たすように、検出されたマーカーＭの座標点が線分で結ばれる。なお、対象範囲が特定されると、画像の歪を取り除く画像変換に必要な変換係数が算出される。
このように、本実施の形態では、画像補正の対象とする対象範囲が自動的に設定される。
【0055】
次に、サーバ２０は、対象範囲に対応する画像を切り出し（ステップ１５）、切り出された画像の歪を補正する（ステップ１６）。
その後、サーバ２０は、商品の位置とサイズを検出し（ステップ１７）、各位置の商品を識別する（ステップ１８）。
最後に、サーバ２０は、識別された商品と位置を記述した棚割情報を生成する（ステップ１９）。
その後、サーバ２０は、商品の位置とサイズを検出し（ステップ１７）、各位置の商品を識別する（ステップ１８）。
最後に、サーバ２０は、識別された商品と位置を記述した棚割情報を生成する（ステップ１９）。
【0056】
＜マーカーＭの他の設置例＞
前述の説明では、４つのマーカーＭの配置例について説明したが、本実施の形態で説明した処理動作は、マーカーＭの個数が５つ以上の場合にも適用が可能である。
図１４は、商品棚に対するマーカーＭの他の取り付け例を説明する図である。（Ａ）は商品棚に６つのマーカーＭを配置した例であり、（Ｂ）はマーカーＭの座標例である。
前述の説明では、４つのマーカーＭの配置例について説明したが、本実施の形態で説明した処理動作は、マーカーＭの個数が５つ以上の場合にも適用が可能である。
図１４は、商品棚に対するマーカーＭの他の取り付け例を説明する図である。（Ａ）は商品棚に６つのマーカーＭを配置した例であり、（Ｂ）はマーカーＭの座標例である。
【0057】
なお、付帯情報として対象範囲の形状に関する情報を指定している場合には、図１４（Ｂ）に示す座標点のうち（0.63，0.72）に対応するマーカーＭの設置を省略することが可能である。因みに、座標点の（0.63，0.72）は、凹多角形である対象範囲の右下に設けられる切り欠き部分の左上隅を与える。
座標点の（0.63，0.72）にマーカーＭが設置されていなくても、例えば右隣のマーカーＭの座標点（0.8，0.7）と下隣のマーカーＭの座標点（0.6，0.92）とに基づいておおよその座標点を算出することが可能である。
座標点の（0.63，0.72）にマーカーＭが設置されていなくても、例えば右隣のマーカーＭの座標点（0.8，0.7）と下隣のマーカーＭの座標点（0.6，0.92）とに基づいておおよその座標点を算出することが可能である。
【0058】
この意味で図１４（Ａ）における対象範囲は、５つのマーカーＭから特定が可能である。
なお、対象範囲の指定に使用するマーカーＭの個数が多い場合には、２次元コードが異なる複数種類のマーカーＭを使用して、商品棚に取り付けるマーカーＭの個数を減らしてもよい。
なお、対象範囲の指定に使用するマーカーＭの個数が多い場合には、２次元コードが異なる複数種類のマーカーＭを使用して、商品棚に取り付けるマーカーＭの個数を減らしてもよい。
【0059】
図１５は、対象範囲が多角形の場合を説明する図である。（Ａ）は付帯情報を用いて描画された対象範囲を示し、（Ｂ）は画像補正に使用する頂点座標を示す。
図１５（Ａ）には、対象範囲が太枠で囲んだ図形として示されている。この図形は、図１４（Ｂ）で検出された頂点座標を線分で結ぶことで描画される。
ところで、対象範囲に対応する画像の歪を除去する変換式は、図９に示すように、四角形の四隅の座標点を必要とする。
そこで、図１５（Ｂ）に示すように、２本の延長線の交点の座標点（ｘ２３，ｙ２３）を算出する。仮想の座標点（ｘ２３，ｙ２３）を用いて画像変換用の四角形を生成すれば、前述した手法をそのまま適用することが可能である。
図１５（Ａ）には、対象範囲が太枠で囲んだ図形として示されている。この図形は、図１４（Ｂ）で検出された頂点座標を線分で結ぶことで描画される。
ところで、対象範囲に対応する画像の歪を除去する変換式は、図９に示すように、四角形の四隅の座標点を必要とする。
そこで、図１５（Ｂ）に示すように、２本の延長線の交点の座標点（ｘ２３，ｙ２３）を算出する。仮想の座標点（ｘ２３，ｙ２３）を用いて画像変換用の四角形を生成すれば、前述した手法をそのまま適用することが可能である。
【0060】
＜実施の形態２＞
本実施の形態では、商品の検出や照合の精度を向上させるための追加の機能について説明する。
図１６は、実施の形態２で想定するサーバ２０Ａの機能構成の一例を説明する図である。図１６には、図４との対応部分に対応する符号を付して示している。
なお、サーバ２０Ａのハードウェア構成やサーバ２０Ａを使用する画像処理システム１の構成については実施の形態１と同様である。
本実施の形態では、商品の検出や照合の精度を向上させるための追加の機能について説明する。
図１６は、実施の形態２で想定するサーバ２０Ａの機能構成の一例を説明する図である。図１６には、図４との対応部分に対応する符号を付して示している。
なお、サーバ２０Ａのハードウェア構成やサーバ２０Ａを使用する画像処理システム１の構成については実施の形態１と同様である。
【0061】
図１６に示すサーバ２０Ａに追加された機能部は、品質判定部２１７である。
品質判定部２１７は、対象範囲特定部２１２で特定された対象範囲が予め定めた品質に関する基準を満たしているか否か判定し、判定の結果や判定の理由に関する情報等を画像補正部２１３に出力する機能部である。
本実施の形態の場合、画像補正部２１３の処理動作は、品質を満たすとの判定の結果が品質判定部２１７から与えられることを条件に開始される。
品質判定部２１７は、対象範囲特定部２１２で特定された対象範囲が予め定めた品質に関する基準を満たしているか否か判定し、判定の結果や判定の理由に関する情報等を画像補正部２１３に出力する機能部である。
本実施の形態の場合、画像補正部２１３の処理動作は、品質を満たすとの判定の結果が品質判定部２１７から与えられることを条件に開始される。
【0062】
本実施の形態では、品質に関する基準を満たしているか否かを、対象範囲のサイズと歪の大きさを用いて判定する。
具体的には、品質判定部２１７は、対象範囲のサイズが第１の閾値より大きい場合に予め定めた条件を満たすと判定する。また、品質判定部２１７は、歪が第２の閾値より小さい場合に予め定めた条件を満たすと判定する。
具体的には、品質判定部２１７は、対象範囲のサイズが第１の閾値より大きい場合に予め定めた条件を満たすと判定する。また、品質判定部２１７は、歪が第２の閾値より小さい場合に予め定めた条件を満たすと判定する。
【0063】
図１７は、品質判定部２１７の品質の判定処理を説明する図である。なお、縦軸は図形のサイズＳであり、横軸は図形の歪Ｄである。
なお、図形のサイズＳは、いわゆる面積であり、本実施の形態では、図形に含まれる画素数で与える。因みに、図１７では、サイズＳの最大値を１．０に正規化している。
図１７では、サイズに関する閾値をＨ１で表している。
なお、図形のサイズＳは、いわゆる面積であり、本実施の形態では、図形に含まれる画素数で与える。因みに、図１７では、サイズＳの最大値を１．０に正規化している。
図１７では、サイズに関する閾値をＨ１で表している。
【0064】
本実施の形態では、閾値Ｈ１を０．５とする。なお、画面全体の面積を１．０とする。すなわち、対象範囲のサイズＳが０．５より大きければ、品質に関する情報を満たすと判定される。なお、閾値Ｈ１は、対象領域の形状や商品検出部２１４に出力する画像データのサイズ等に基づいて決定される。例えば画像データのサイズには、６４０×６４０、１０１４×１０２４がある。
【0065】
因みに、対象範囲のサイズＳが小さい場合、仮に対象範囲に歪がなくても画像の補正時に拡大率を大きくする必要が生じる。しかし、拡大率が大きい画像変換の場合、補正後の画像にボケが目立ち、商品の検出や照合の精度が低下する。そこで、対象範囲のサイズＳが閾値Ｈ１より大きいことが要求される。なお、閾値Ｈ１は、０．５に限らない。例えば閾値Ｈ１は、０．６や０．７でもよい。
図１７の場合、図形のサイズが閾値Ｈ１より大きい対象範囲Ｆ１とＦ２がサイズに関する条件を満たしている。一方、対象範囲Ｆ３は、サイズに関する条件を満たしていない。
図１７の場合、図形のサイズが閾値Ｈ１より大きい対象範囲Ｆ１とＦ２がサイズに関する条件を満たしている。一方、対象範囲Ｆ３は、サイズに関する条件を満たしていない。
【0066】
図１７では、歪に関する閾値をＨ２で表している。対象範囲の歪Ｄが大きい場合、仮に対象範囲のサイズが大きくても歪Ｄの補正量が大きくなる。そして、補正後の画像に歪の影響が残り、商品の検出や照合の精度が低下する。そこで、歪についても閾値Ｈ２を用意する。
本実施の形態の場合、歪Ｄの大きさは、対象範囲の内角の誤差の絶対値和で定義する。内角の誤差は、内角と９０°との差分で与えられる。従って、内角が９０°の場合、誤差は０°である。
本実施の形態の場合、歪Ｄの大きさは、対象範囲の内角の誤差の絶対値和で定義する。内角の誤差は、内角と９０°との差分で与えられる。従って、内角が９０°の場合、誤差は０°である。
【0067】
例えば図１７における対象範囲Ｆ１の内角はθ０、θ１、θ２、θ３の４つである。この場合、対象範囲Ｆ１の歪Ｄは、次式で算出する。
本実施の形態では、閾値Ｈ２を５０°とする。すなわち、対象範囲の歪Ｄが５０°より小さければ、品質に関する情報を満たすと判定される。
図１７の場合、対象範囲Ｆ１とＦ３は概略矩形である。このため、対象範囲Ｆ１とＦ３は歪に関する条件は満たしている。ただし、対象範囲Ｆ２の歪Ｄは、閾値Ｈ２より大きい。このため、対象範囲Ｆ２は、歪に関する条件を満たさない。
図１７の場合、対象範囲Ｆ１とＦ３は概略矩形である。このため、対象範囲Ｆ１とＦ３は歪に関する条件は満たしている。ただし、対象範囲Ｆ２の歪Ｄは、閾値Ｈ２より大きい。このため、対象範囲Ｆ２は、歪に関する条件を満たさない。
【0068】
図１８は、品質判定の具体例を説明する図である。（Ａ）は対象範囲が四角形の場合であり、（Ｂ）は対象範囲が凹多角形の場合である。
図１８（Ａ）の場合、歪Ｄは、３２°（＝１１°＋５°＋１４°＋２°）と計算される。従って、図１８（Ａ）に示す対象範囲は、歪に関する条件を満たす。
一方、図１８（Ｂ）の場合、歪Ｄは、６４°（＝１１°＋５°＋１６°＋１６°＋１４°＋２°）と計算される。従って、図１８（Ｂ）に示す対象範囲は、歪に関する条件を満たさない。
なお、図１８（Ｂ）にも記載したように、内角が１８０°以上の角については外角を使用する。
ところで、歪の閾値Ｈ２は、対象範囲の形状によらず同じ値を使用してもよいし、内角の数に応じて値を変更してもよい。
図１８（Ａ）の場合、歪Ｄは、３２°（＝１１°＋５°＋１４°＋２°）と計算される。従って、図１８（Ａ）に示す対象範囲は、歪に関する条件を満たす。
一方、図１８（Ｂ）の場合、歪Ｄは、６４°（＝１１°＋５°＋１６°＋１６°＋１４°＋２°）と計算される。従って、図１８（Ｂ）に示す対象範囲は、歪に関する条件を満たさない。
なお、図１８（Ｂ）にも記載したように、内角が１８０°以上の角については外角を使用する。
ところで、歪の閾値Ｈ２は、対象範囲の形状によらず同じ値を使用してもよいし、内角の数に応じて値を変更してもよい。
【0069】
図１９は、実施の形態２で想定する画像処理システム１で実行される処理動作例を説明する図である。図１９には、図１３との対応部分に対応する符号を付して示している。
ユーザ端末１０の処理動作は、図１３に示す処理動作と同じである。
一方、サーバ２０Ａの処理動作については、ステップ１４の実行後に２つの判定処理が追加されている。
図１９の場合、サーバ２０Ａは、対象範囲の特定後に、特定された対象範囲のサイズＳが閾値Ｈ１より大きいか否かを判定する（ステップ２１）。
ユーザ端末１０の処理動作は、図１３に示す処理動作と同じである。
一方、サーバ２０Ａの処理動作については、ステップ１４の実行後に２つの判定処理が追加されている。
図１９の場合、サーバ２０Ａは、対象範囲の特定後に、特定された対象範囲のサイズＳが閾値Ｈ１より大きいか否かを判定する（ステップ２１）。
【0070】
対象範囲のサイズＳが閾値Ｈ１以下の場合、ステップ２１で否定結果が得られる。この場合、サーバ２０Ａは、ステップ１２に戻り、別のフレーム画像についてマーカーＭを検出する。
一方、対象範囲のサイズＳが閾値Ｈ１より大きい場合、ステップ２１で肯定結果が得られる。この場合、サーバ２０Ａは、歪Ｄが閾値Ｈ２より小さいか否かを判定する（ステップ２２）。
歪Ｄが閾値Ｈ２以上の場合、サーバ２０Ａは、ステップ１２に戻り、別のフレーム画像についてマーカーＭを検出する。
一方、対象範囲のサイズＳが閾値Ｈ１より大きい場合、ステップ２１で肯定結果が得られる。この場合、サーバ２０Ａは、歪Ｄが閾値Ｈ２より小さいか否かを判定する（ステップ２２）。
歪Ｄが閾値Ｈ２以上の場合、サーバ２０Ａは、ステップ１２に戻り、別のフレーム画像についてマーカーＭを検出する。
【0071】
一方、歪Ｄが閾値Ｈ２より小さい場合、サーバ２０Ａは、ステップ１５に進み、対象範囲に対応する画像を切り出す。
なお、ステップ２１とステップ２２の実行順序は入れ替えが可能である。また、ステップ２１とステップ２２の判定を一度に実行してもよい。この場合、いずれの条件も満たす場合に肯定結果が得られ、いずれか１つでも条件を満たさない場合には否定結果が得られるようにすればよい。
なお、ステップ２１とステップ２２の実行順序は入れ替えが可能である。また、ステップ２１とステップ２２の判定を一度に実行してもよい。この場合、いずれの条件も満たす場合に肯定結果が得られ、いずれか１つでも条件を満たさない場合には否定結果が得られるようにすればよい。
【0072】
＜実施の形態３＞
実施の形態２で説明したサーバ２０Ａ（図１６参照）を使用することにより、実施の形態１で説明したサーバ２０（図１参照）よりも商品の検出精度や商品の照合精度の向上が可能になる。
ただし、サーバ２０Ａであっても、品質に関する条件を満たす動画像データが入力されない限り、棚割情報は生成されない。
実施の形態２で説明したサーバ２０Ａ（図１６参照）を使用することにより、実施の形態１で説明したサーバ２０（図１参照）よりも商品の検出精度や商品の照合精度の向上が可能になる。
ただし、サーバ２０Ａであっても、品質に関する条件を満たす動画像データが入力されない限り、棚割情報は生成されない。
【0073】
図２０は、実施の形態３で想定するサーバ２０Ｂの機能構成の一例を説明する図である。図２０には、図１６との対応部分に対応する符号を付して示している。
なお、サーバ２０Ｂのハードウェア構成やサーバ２０Ｂを使用する画像処理システム１の構成については実施の形態２と同様である。
なお、サーバ２０Ｂのハードウェア構成やサーバ２０Ｂを使用する画像処理システム１の構成については実施の形態２と同様である。
【0074】
図２０に示すサーバ２０Ｂに追加された機能部は、情報表示制御部２１８である。
情報表示制御部２１８は、品質判定部２１７の判定結果をユーザ端末１０の表示に反映させる機能部である。
本実施の形態の場合、情報表示制御部２１８には、例えば以下のサブ機能を設ける。
サブ機能の１つは、特定された対象範囲とその外側の領域とを識別可能に表示するサブ機能である。
情報表示制御部２１８は、品質判定部２１７の判定結果をユーザ端末１０の表示に反映させる機能部である。
本実施の形態の場合、情報表示制御部２１８には、例えば以下のサブ機能を設ける。
サブ機能の１つは、特定された対象範囲とその外側の領域とを識別可能に表示するサブ機能である。
【0075】
図２１は、撮像中の被写体の確認画面の一例を説明する図である。（Ａ）は対象範囲の外縁を表す枠体Ｗが重畳表示された確認画面であり、（Ｂ）は対象範囲の外側がマスキングされた確認画面である。
図２１（Ａ）及び（Ｂ）に示す確認画面は、ユーザ端末１０（図１参照）のディスプレイ１０５に表示される。
図２１（Ａ）に示す確認画面における枠体Ｗは、マーカーＭを結ぶ線分による表示の一例である。換言すると、枠体Ｗは、商品の領域を示す枠形状の一例である。枠体Ｗは、対象範囲の検出に使用されたフレーム画像上に重畳表示される。
図２１（Ａ）及び（Ｂ）に示す確認画面は、ユーザ端末１０（図１参照）のディスプレイ１０５に表示される。
図２１（Ａ）に示す確認画面における枠体Ｗは、マーカーＭを結ぶ線分による表示の一例である。換言すると、枠体Ｗは、商品の領域を示す枠形状の一例である。枠体Ｗは、対象範囲の検出に使用されたフレーム画像上に重畳表示される。
【0076】
図２１（Ｂ）に示す確認画面では、対象範囲の外側が隠されている様子を網掛けにより表現している。この表示の形態は、マスキング処理の一例である。なお、マスキング処理には、対象範囲の外側を完全に隠す手法と半透明の透かし処理を加える手法がある。
これらの表示により、ユーザは、ディスプレイ１０５上で撮像品質の良否の判断が可能になる。例えば対象範囲のサイズの大きさや歪の大きさに気付くことが可能になる。
これらの表示により、ユーザは、ディスプレイ１０５上で撮像品質の良否の判断が可能になる。例えば対象範囲のサイズの大きさや歪の大きさに気付くことが可能になる。
【0077】
なお、本実施の形態の場合、情報表示制御部２１８による表示は、対象範囲特定部２１２で対象範囲が特定されることを前提としているが、対象範囲が特定されていない段階でも検出されているマーカーＭの頂点を結ぶ線分の重畳表示を可能としてもよい。
例えばマーカーＭを結ぶ線分の欠落があれば、ユーザは、対象範囲が特定されていないことに気付き易くなる。
例えばマーカーＭを結ぶ線分の欠落があれば、ユーザは、対象範囲が特定されていないことに気付き易くなる。
【0078】
図２２は、撮像中の被写体の確認画面に品質の判定結果が表示される例を説明する図である。（Ａ）は判定結果を対象範囲の外縁を表す枠体Ｗの色で表示する例であり、（Ｂ）及び（Ｃ）は判定結果をテキストで表示する例である。
図２２（Ａ）に示す確認画面は、検出された対象範囲のサイズＳが閾値Ｈ１以下の場合の表示例であり、枠体Ｗが赤色で表示されている。なお、検出された対象範囲のサイズＳが閾値Ｈ１より大きい場合の枠体Ｗは緑色で表示される。従って、赤色による枠体Ｗの表示は、対象範囲が予め定めた条件を満たす場合とは異なる態様での表示の一例である。
図２２（Ａ）に示す確認画面は、検出された対象範囲のサイズＳが閾値Ｈ１以下の場合の表示例であり、枠体Ｗが赤色で表示されている。なお、検出された対象範囲のサイズＳが閾値Ｈ１より大きい場合の枠体Ｗは緑色で表示される。従って、赤色による枠体Ｗの表示は、対象範囲が予め定めた条件を満たす場合とは異なる態様での表示の一例である。
【0079】
図２２（Ｂ）に示す確認画面は、検出された対象範囲のサイズＳが閾値Ｈ１以下の場合の表示例であり、品質の判定結果として「ＮＧ」がテキストＴ１で表示されている。なお、テキストＴ１には、品質の改善を支援する情報として、「もっと近くに寄ってください。」と表示されている。この他、「もう少しズームインしてください。」とのメッセージも可能である。
なお、これらの情報は、スピーカー１０８（図２参照）から音声として出力することも可能である。
なお、これらの情報は、スピーカー１０８（図２参照）から音声として出力することも可能である。
【0080】
なお、テキストＴ１には、判定結果が得られた理由を表示することも可能である。例えば「距離が遠すぎるようです。」とか、「ズームアウトし過ぎです。」とかの表示も可能である。もっとも、近距離でズーム機能を使用すると画像に歪が生じることがある。
ところで、品質の判定結果が良好である場合にはテキストＴ１が表示されない仕様とすることも可能であるし、「ＯＫ」と表示することも可能である。
図２２（Ｂ）に示す確認画面では、対象範囲の外縁を表す枠体Ｗを重畳表示していないが、図２２（Ａ）の場合と同様、枠体Ｗを重畳表示してもよい。
ところで、品質の判定結果が良好である場合にはテキストＴ１が表示されない仕様とすることも可能であるし、「ＯＫ」と表示することも可能である。
図２２（Ｂ）に示す確認画面では、対象範囲の外縁を表す枠体Ｗを重畳表示していないが、図２２（Ａ）の場合と同様、枠体Ｗを重畳表示してもよい。
【0081】
図２２（Ｃ）に示す確認画面は、検出された対象範囲のサイズＳが閾値Ｈ１以下の場合の他の表示例である。
図２２（Ｃ）に示す確認画面には、図２２（Ｂ）と同様、判定結果がテキストＴ１で表示されている。なお、図２２（Ｃ）に示す確認画面では、図２１（Ｂ）と同様、対象範囲の外側がマスキングされている。
図２２（Ｃ）に示す確認画面には、図２２（Ｂ）と同様、判定結果がテキストＴ１で表示されている。なお、図２２（Ｃ）に示す確認画面では、図２１（Ｂ）と同様、対象範囲の外側がマスキングされている。
【0082】
図２３は、撮像中の被写体の確認画面に品質の判定結果が表示される他の例を説明する図である。（Ａ）は判定結果を対象範囲の外縁を表す枠体Ｗの色で表示する例であり、（Ｂ）及び（Ｃ）は判定結果をテキストで表示する例である。
図２３（Ａ）に示す確認画面は、検出された対象範囲の歪Ｄが閾値Ｈ２以上の場合の表示例であり、枠体Ｗが赤色で表示されている。なお、検出された対象範囲の歪Ｄが閾値Ｈ２より小さい場合の枠体Ｗは緑色で表示される。従って、赤色による枠体Ｗの表示は、対象範囲が予め定めた条件を満たす場合とは異なる態様での表示の一例である。
図２３（Ａ）に示す確認画面は、検出された対象範囲の歪Ｄが閾値Ｈ２以上の場合の表示例であり、枠体Ｗが赤色で表示されている。なお、検出された対象範囲の歪Ｄが閾値Ｈ２より小さい場合の枠体Ｗは緑色で表示される。従って、赤色による枠体Ｗの表示は、対象範囲が予め定めた条件を満たす場合とは異なる態様での表示の一例である。
【0083】
図２３（Ｂ）に示す確認画面は、検出された対象範囲の歪Ｄが閾値Ｈ２以上の場合の表示例であり、品質の判定結果として「ＮＧ」がテキストＴ２で表示されている。なお、テキストＴ２には、品質の改善を支援する情報として、「カメラを水平にして下さい。」と表示されている。この他、「もう少し遠くから撮像しましょう。」とのメッセージも可能である。
なお、これらの情報も、スピーカー１０８（図２参照）から音声として出力することも可能である。
なお、これらの情報も、スピーカー１０８（図２参照）から音声として出力することも可能である。
【0084】
なお、テキストＴ２には、判定結果が得られた理由を表示することも可能である。例えば「カメラが傾いています。」とかの表示も可能である。
ところで、品質の判定結果が良好である場合にはテキストＴ２が表示されない仕様とすることも可能であるし、「ＯＫ」と表示することも可能である。
図２３（Ｂ）に示す確認画面では、対象範囲の外縁を表す枠体Ｗを重畳表示していないが、図２３（Ａ）の場合と同様、枠体Ｗを重畳表示してもよい。
ところで、品質の判定結果が良好である場合にはテキストＴ２が表示されない仕様とすることも可能であるし、「ＯＫ」と表示することも可能である。
図２３（Ｂ）に示す確認画面では、対象範囲の外縁を表す枠体Ｗを重畳表示していないが、図２３（Ａ）の場合と同様、枠体Ｗを重畳表示してもよい。
【0085】
図２３（Ｃ）に示す確認画面は、検出された対象範囲の歪Ｄが閾値Ｈ２以上の場合の他の表示例である。
図２３（Ｃ）に示す確認画面には、図２３（Ｂ）と同様、判定結果がテキストＴ２で表示されている。なお、図２３（Ｃ）に示す確認画面では、図２２（Ｂ）と同様、対象範囲の外側がマスキングされている。
図２３（Ｃ）に示す確認画面には、図２３（Ｂ）と同様、判定結果がテキストＴ２で表示されている。なお、図２３（Ｃ）に示す確認画面では、図２２（Ｂ）と同様、対象範囲の外側がマスキングされている。
【0086】
図２４は、実施の形態３で想定する画像処理システム１で実行される処理動作例を説明する図である。図２４には、図１９との対応部分に対応する符号を付して示している。
図２４の場合、サーバ２０Ｂは、ステップ２１又はステップ２２で否定結果が得られた場合に、ユーザによる撮像を支援する情報をユーザ端末１０に通知する（ステップ３１）。ステップ３１がサーバ２０Ｂに特有の処理動作である。ここでの「ユーザによる撮像を支援する情報」には、前述したように判定結果、判定結果が得られた理由、品質の改善を支援する情報が含まれる。
なお、サーバ２０Ｂからの通知を受けたユーザ端末１０は、通知された情報をディスプレイ１０５（図２参照）に表示する（ステップ４）。なお、ステップ４は、サーバ２０Ｂから通知を受け付けた場合に限り実行される。
図２４の場合、サーバ２０Ｂは、ステップ２１又はステップ２２で否定結果が得られた場合に、ユーザによる撮像を支援する情報をユーザ端末１０に通知する（ステップ３１）。ステップ３１がサーバ２０Ｂに特有の処理動作である。ここでの「ユーザによる撮像を支援する情報」には、前述したように判定結果、判定結果が得られた理由、品質の改善を支援する情報が含まれる。
なお、サーバ２０Ｂからの通知を受けたユーザ端末１０は、通知された情報をディスプレイ１０５（図２参照）に表示する（ステップ４）。なお、ステップ４は、サーバ２０Ｂから通知を受け付けた場合に限り実行される。
【0087】
＜実施の形態４＞
前述した実施の形態では、ユーザに求められる作業は、商品棚の動画撮像だけであった。すなわち、予め定めた条件を満たすフレーム画像が得られると自動的に棚割情報が生成される仕組みについて説明した。
本実施の形態では、商品棚を動画撮像しているユーザによるシャッター操作を条件に、画像補正以降の処理動作が進行する場合について説明する。
ここでのシャッター操作は、棚割情報の生成に使用するフレーム画像を動画像データから切り出すための操作である。
前述した実施の形態では、ユーザに求められる作業は、商品棚の動画撮像だけであった。すなわち、予め定めた条件を満たすフレーム画像が得られると自動的に棚割情報が生成される仕組みについて説明した。
本実施の形態では、商品棚を動画撮像しているユーザによるシャッター操作を条件に、画像補正以降の処理動作が進行する場合について説明する。
ここでのシャッター操作は、棚割情報の生成に使用するフレーム画像を動画像データから切り出すための操作である。
【0088】
図２５は、実施の形態４で想定するサーバ２０Ｃの機能構成の一例を説明する図である。図２５には、図２０との対応部分に対応する符号を付して示している。
なお、サーバ２０Ｃのハードウェア構成やサーバ２０Ｃを使用する画像処理システム１の構成については実施の形態３と同様である。
図２５に示すサーバ２０Ｃと図２０に示すサーバ２０Ｂとの違いは、品質判定部２１７から画像補正部２１３に対する判定結果の通知が無くなった点と、ユーザ端末１０（図１参照）から画像補正部２１３へのシャッター操作情報の通知が追加された点の２点である。シャッター操作情報は、シャッターボタンＢの操作の受け付けの有無を通知する情報である。
なお、サーバ２０Ｃのハードウェア構成やサーバ２０Ｃを使用する画像処理システム１の構成については実施の形態３と同様である。
図２５に示すサーバ２０Ｃと図２０に示すサーバ２０Ｂとの違いは、品質判定部２１７から画像補正部２１３に対する判定結果の通知が無くなった点と、ユーザ端末１０（図１参照）から画像補正部２１３へのシャッター操作情報の通知が追加された点の２点である。シャッター操作情報は、シャッターボタンＢの操作の受け付けの有無を通知する情報である。
【0089】
図２６は、撮像中の被写体の確認画面に品質の判定結果が表示される例を説明する図である。（Ａ）は判定結果がＮＧの場合の表示例であり、（Ｂ）は判定結果がＯＫの場合の表示例である。図２６に示す確認画面は、ユーザ端末１０のディスプレイ１０５に表示される。
図２６（Ａ）に示す確認画面は、図２２（Ｂ）に対応する。なお、撮像中の画像の品質が条件を満たさないため、シャッターボタンＢは表示されていない。
図２６（Ａ）に示す確認画面は、図２２（Ｂ）に対応する。なお、撮像中の画像の品質が条件を満たさないため、シャッターボタンＢは表示されていない。
【0090】
図２６（Ｂ）に示す確認画面は、撮像中の画像の品質が条件を満たした場合に表示される。このため、確認画面には、品質の判定結果として「ＯＫ」がテキストＴ３で表示されている。また、図２６（Ｂ）の場合、テキストＴ３には、ユーザに求める操作として「シャッターボタンをタップしてください。」と表示されている。同時に、シャッターボタンＢが確認画面内に表示されている。
このシャッターボタンＢをユーザがタップすると、シャッターボタンＢがタップされたタイミングのフレーム画像について画像補正が開始される。
このシャッターボタンＢをユーザがタップすると、シャッターボタンＢがタップされたタイミングのフレーム画像について画像補正が開始される。
【0091】
図２７は、実施の形態４で想定する画像処理システム１で実行される処理動作例を説明する図である。図２７には、図２４との対応部分に対応する符号を付して示している。
図２７の場合、サーバ２０Ｃは、ステップ２１又はステップ２２で否定結果が得られた場合に、品質ＮＧをユーザ端末１０に通知する（ステップ４１）。なお、サーバ２０Ｃは、ステップ４１の実行後にステップ１２に戻る。
図２７の場合、サーバ２０Ｃは、ステップ２１又はステップ２２で否定結果が得られた場合に、品質ＮＧをユーザ端末１０に通知する（ステップ４１）。なお、サーバ２０Ｃは、ステップ４１の実行後にステップ１２に戻る。
【0092】
一方、ステップ２１とステップ２２の両方で肯定結果が得られた場合、サーバ２０Ｃは、品質ＯＫをユーザ端末１０に通知する（ステップ４２）。図２７の場合、ステップ４２の実行後に、サーバ２０Ｃは、シャッターボタンＢの操作ありか否かを判定する（ステップ４３）。
シャッターボタンＢの操作がない場合、ステップ４３で否定結果が得られる。この場合、サーバ２０Ｃは、ステップ１２に戻る。
シャッターボタンＢの操作があった場合、ステップ４３で肯定結果が得られる。この場合、サーバ２０Ｃは、シャッターボタンＢの操作を受け付けたタイミングのフレーム画像を対象にステップ１５～１８の処理を実行する。
シャッターボタンＢの操作がない場合、ステップ４３で否定結果が得られる。この場合、サーバ２０Ｃは、ステップ１２に戻る。
シャッターボタンＢの操作があった場合、ステップ４３で肯定結果が得られる。この場合、サーバ２０Ｃは、シャッターボタンＢの操作を受け付けたタイミングのフレーム画像を対象にステップ１５～１８の処理を実行する。
【0093】
なお、ユーザ端末１０では、図２４の場合と同様、サーバ２０Ｃから品質に関する通知を受けた場合、通知された情報をディスプレイ１０５（図２参照）に表示する（ステップ４）。
次に、ユーザ端末１０は、シャッターボタンＢの操作は許可されているか否かを判定する（ステップ５）。
シャッターボタンＢの操作が許可されていない場合（すなわち、品質がＮＧの場合）、ステップ５で否定結果が得られる。この場合、ユーザ端末１０は、ステップ１に戻る。
次に、ユーザ端末１０は、シャッターボタンＢの操作は許可されているか否かを判定する（ステップ５）。
シャッターボタンＢの操作が許可されていない場合（すなわち、品質がＮＧの場合）、ステップ５で否定結果が得られる。この場合、ユーザ端末１０は、ステップ１に戻る。
【0094】
一方、シャッターボタンの操作が許可されている場合（すなわち、品質がＯＫの場合）、ステップ５で肯定結果が得られる。この場合、ユーザ端末１０は、シャッターボタンＢの操作を受け付けたか否かを判定する（ステップ６）。
シャッターボタンＢの操作を受け付けていない場合、ステップ６で否定結果が得られる。この場合、ユーザ端末１０は、ステップ１に戻る。
シャッターボタンＢの操作を受け付けていない場合、ステップ６で否定結果が得られる。この場合、ユーザ端末１０は、ステップ１に戻る。
【0095】
一方、シャッターボタンＢの操作を受け付けた場合、ステップ６で肯定結果が得られる。この場合、ユーザ端末１０は、シャッターボタンＢの操作をサーバ２０Ｃに通知する（ステップ７）。
この後、ユーザ端末１０は、撮像を終了するか否かを判定し（ステップ２）、否定結果が得られている間、動画像データのサーバ２０Ｃへのアップロードを繰り返す。なお、ステップ２で肯定結果が得られた場合、ユーザ端末１０は、動画像データのアップロードを終了する（ステップ３）。
この後、ユーザ端末１０は、撮像を終了するか否かを判定し（ステップ２）、否定結果が得られている間、動画像データのサーバ２０Ｃへのアップロードを繰り返す。なお、ステップ２で肯定結果が得られた場合、ユーザ端末１０は、動画像データのアップロードを終了する（ステップ３）。
【0096】
＜実施の形態５＞
本実施の形態では、商品検出部２１４による検出結果の情報をユーザにフィードバックする仕組みについて説明する。
前述した実施の形態４で説明したサーバ２０Ｃの採用により、ユーザは、撮像中の画像が品質に関する条件を満たすことを事前に確認することが可能になる。
一方で、品質に関する条件を満たす画像であっても、商品検出部２１４において商品の検出漏れが発生する可能性がある。
そこで、本実施の形態では、商品検出部２１４で検出されている商品の位置とサイズの情報をユーザ端末１０にフィードバックして、検出漏れのないフレーム画像を取り込めるようにする。
本実施の形態では、商品検出部２１４による検出結果の情報をユーザにフィードバックする仕組みについて説明する。
前述した実施の形態４で説明したサーバ２０Ｃの採用により、ユーザは、撮像中の画像が品質に関する条件を満たすことを事前に確認することが可能になる。
一方で、品質に関する条件を満たす画像であっても、商品検出部２１４において商品の検出漏れが発生する可能性がある。
そこで、本実施の形態では、商品検出部２１４で検出されている商品の位置とサイズの情報をユーザ端末１０にフィードバックして、検出漏れのないフレーム画像を取り込めるようにする。
【0097】
図２８は、実施の形態５で想定するサーバ２０Ｄの機能構成の一例を説明する図である。図２８には、図２５との対応部分に対応する符号を付して示している。
なお、サーバ２０Ｃのハードウェア構成やサーバ２０Ｄを使用する画像処理システム１の構成については実施の形態４と同様である。
図２８に示すサーバ２０Ｄと図２５に示すサーバ２０Ｃとの違いは、商品検出部２１４から画像補正部２１３に対し、検出された商品の位置とサイズを表す矩形領域の情報がフィードバックされる点と、画像補正部２１３で逆変換された矩形領域の画像が情報表示制御部２１８に通知される点の２点である。
ここでの逆変換とは、対象範囲に対応する画像の歪を取り除く画像変換に対する逆変換を意味する。従って、矩形領域を逆変換した後の図形（以下「商品枠」という。）は、歪が付加された四角形となる。
なお、サーバ２０Ｃのハードウェア構成やサーバ２０Ｄを使用する画像処理システム１の構成については実施の形態４と同様である。
図２８に示すサーバ２０Ｄと図２５に示すサーバ２０Ｃとの違いは、商品検出部２１４から画像補正部２１３に対し、検出された商品の位置とサイズを表す矩形領域の情報がフィードバックされる点と、画像補正部２１３で逆変換された矩形領域の画像が情報表示制御部２１８に通知される点の２点である。
ここでの逆変換とは、対象範囲に対応する画像の歪を取り除く画像変換に対する逆変換を意味する。従って、矩形領域を逆変換した後の図形（以下「商品枠」という。）は、歪が付加された四角形となる。
【0098】
図２９は、実施の形態５による矩形領域の表示処理を説明する図である。（Ａ）は商品棚に陳列された商品を撮像した画像であり、（Ｂ）は画像補正部２１３による補正後の画像であり、（Ｃ）は商品検出部２１４が検出した矩形領域であり、（Ｄ）は画像補正部２１３による逆変換後の矩形領域を表す商品枠であり、（Ｅ）は商品枠を商品に重畳した画像である。
図２９（Ｅ）に示すように、本実施の形態の場合には、撮像中の確認画面で視認される商品の傾きやサイズに一致した状態で、検出されている矩形領域に対応する商品枠を確認することが可能になる。
図２９（Ｅ）に示すように、本実施の形態の場合には、撮像中の確認画面で視認される商品の傾きやサイズに一致した状態で、検出されている矩形領域に対応する商品枠を確認することが可能になる。
【0099】
図３０は、実施の形態５で説明する処理動作を採用しない場合における矩形領域の表示例を説明する図である。（Ａ）は商品棚に陳列された商品を撮像した画像であり、（Ｂ）は商品の外周に接するように検出した矩形領域であり、（Ｃ）は検出された矩形領域を商品に重畳した画像である。
なお、図３０では、実施の形態５で説明する処理動作とは異なることを明確にするため「比較例」とのタイトルを付している。
なお、図３０では、実施の形態５で説明する処理動作とは異なることを明確にするため「比較例」とのタイトルを付している。
【0100】
比較例の場合、図３０（Ｂ）に示すように、斜めに傾いた商品の画像に合わせて矩形領域が検出される。このため、矩形領域の検出状態をユーザに通知すべく撮像中の確認画面に検出された矩形領域を重畳すると、図３０（Ｃ）に示すように、どの矩形領域がどの商品に対応するかの確認が困難である。このため、ユーザは、矩形領域の検出漏れに気付き難くなる。
【0101】
図３１は、実施の形態５に係る確認画面の表示例を説明する図である。（Ａ）は商品の位置の検出漏れがある場合の表示例であり、（Ｂ）商品の位置の検出漏れがない場合の表示例である。図３１に示す確認画面は、ユーザ端末１０のディスプレイ１０５に表示される。
図３１（Ａ）及び（Ｂ）のいずれの場合も、商品検出部２１４（図２８参照）で検出された矩形領域に対応する枠体は、商品の輪郭と一致している。このため、個々の商品と枠体との比較が容易であり、枠体の有無の確認が容易である。
図３１（Ａ）及び（Ｂ）のいずれの場合も、商品検出部２１４（図２８参照）で検出された矩形領域に対応する枠体は、商品の輪郭と一致している。このため、個々の商品と枠体との比較が容易であり、枠体の有無の確認が容易である。
【0102】
図３１（Ａ）に示す確認画面では、商品棚の左下隅に陳列されている２つの商品に枠体が表示されていない。このため、このままシャッターボタンを操作すると、不完全な棚割情報が生成されることになる。
なお、図３１（Ａ）に示す確認画面では、サイズＳや歪Ｄに対する条件は満たしているため、品質判定の結果を示すテキストＴ４として「商品枠の表示に問題がなければシャッターボタンを押してください。」と表示されている。また、シャッターボタンＢも表示されている。
一方、図３１（Ｂ）に示す確認画面では、商品棚に陳列されている全ての商品に枠体が表示されている。このため、このままシャッターボタンを操作すると、商品棚に陳列されている全ての商品を対象とする棚割情報が生成される。
なお、図３１（Ａ）に示す確認画面では、サイズＳや歪Ｄに対する条件は満たしているため、品質判定の結果を示すテキストＴ４として「商品枠の表示に問題がなければシャッターボタンを押してください。」と表示されている。また、シャッターボタンＢも表示されている。
一方、図３１（Ｂ）に示す確認画面では、商品棚に陳列されている全ての商品に枠体が表示されている。このため、このままシャッターボタンを操作すると、商品棚に陳列されている全ての商品を対象とする棚割情報が生成される。
【0103】
図３２は、実施の形態５で想定する画像処理システム１で実行される処理動作例を説明する図である。図３２には、図２７との対応部分に対応する符号を付して示している。
図３２におけるサーバ２０Ｄの処理動作は、ステップ１４まで図２７に示すサーバ２０Ｃの処理動作と同じである。
ステップ１４の実行後、サーバ２０Ｄは、特定された対象範囲のサイズＳが閾値Ｈ１より大きいか否かを判定する（ステップ２１）。
図３２におけるサーバ２０Ｄの処理動作は、ステップ１４まで図２７に示すサーバ２０Ｃの処理動作と同じである。
ステップ１４の実行後、サーバ２０Ｄは、特定された対象範囲のサイズＳが閾値Ｈ１より大きいか否かを判定する（ステップ２１）。
【0104】
対象範囲のサイズＳが閾値Ｈ１以下の場合（すなわち、ステップ２１で否定結果の場合）、サーバ２０Ｄは、ステップ１２に戻る。
一方、対象範囲のサイズＳが閾値Ｈ１より大きい場合（すなわち、ステップ２１で肯定結果の場合）、サーバ２０Ｄは、歪Ｄが閾値Ｈ２より小さいか否かを判定する（ステップ２２）。
対象範囲の歪Ｄが閾値Ｈ２以上の場合（すなわち、ステップ２２で否定結果の場合）、サーバ２０Ｄは、ステップ１２に戻る。
一方、対象範囲のサイズＳが閾値Ｈ１より大きい場合（すなわち、ステップ２１で肯定結果の場合）、サーバ２０Ｄは、歪Ｄが閾値Ｈ２より小さいか否かを判定する（ステップ２２）。
対象範囲の歪Ｄが閾値Ｈ２以上の場合（すなわち、ステップ２２で否定結果の場合）、サーバ２０Ｄは、ステップ１２に戻る。
【0105】
一方、対象範囲の歪Ｄが閾値Ｈ２より小さい場合（すなわち、ステップ２２で肯定結果の場合）、サーバ２０Ｄは、ステップ１５～１７の処理を実行する。すなわち、サーバ２０Ｄは、対象範囲に対応する画像の歪を補正し、商品の位置とサイズを検出する。
この後、サーバ２０Ｄは、シャッターボタンＢの操作ありか否かを判定する（ステップ４３）。
シャッターボタンＢの操作が検出された場合（すなわち、ステップ４３で肯定結果の場合）、サーバ２０Ｄは、ステップ１８～１９の処理を実行する。すなわち、サーバ２０Ｄは、各位置の商品を識別し、識別された商品と位置を記述した棚割情報を生成する。
この後、サーバ２０Ｄは、シャッターボタンＢの操作ありか否かを判定する（ステップ４３）。
シャッターボタンＢの操作が検出された場合（すなわち、ステップ４３で肯定結果の場合）、サーバ２０Ｄは、ステップ１８～１９の処理を実行する。すなわち、サーバ２０Ｄは、各位置の商品を識別し、識別された商品と位置を記述した棚割情報を生成する。
【0106】
一方で、シャッターボタンＢの操作が検出されなかった場合（すなわち、ステップ４３で否定結果の場合）、サーバ２０Ｄは、矩形領域を逆変換して得られる商品枠の画像をユーザ端末１０にフィードバックする（ステップ５１）。
商品枠の画像をサーバ２０Ｄから受信したユーザ端末１０は、検出された矩形領域に対応する商品枠の画像を商品棚の画像に重畳して表示する（ステップ８）。
次に、ユーザ端末１０は、シャッターボタンＢの操作を受け付けたか否かを判定する（ステップ６）。
商品枠の画像をサーバ２０Ｄから受信したユーザ端末１０は、検出された矩形領域に対応する商品枠の画像を商品棚の画像に重畳して表示する（ステップ８）。
次に、ユーザ端末１０は、シャッターボタンＢの操作を受け付けたか否かを判定する（ステップ６）。
【0107】
シャッターボタンＢの操作を受け付けていない場合（すなわち、ステップ６で否定結果の場合）、ユーザ端末１０は、ステップ１に戻る。
一方、シャッターボタンＢの操作を受け付けた場合（すなわち、ステップ６で肯定結果の場合）、ユーザ端末１０は、シャッターボタンＢの操作をサーバ２０Ｄに通知する（ステップ７）。
この後、ユーザ端末１０は、撮像を終了するか否かを判定し（ステップ２）、否定結果が得られている間、動画像データのサーバ２０Ｄへのアップロードを繰り返す。なお、ステップ２で肯定結果が得られた場合、ユーザ端末１０は、動画像データのアップロードを終了する（ステップ３）。
一方、シャッターボタンＢの操作を受け付けた場合（すなわち、ステップ６で肯定結果の場合）、ユーザ端末１０は、シャッターボタンＢの操作をサーバ２０Ｄに通知する（ステップ７）。
この後、ユーザ端末１０は、撮像を終了するか否かを判定し（ステップ２）、否定結果が得られている間、動画像データのサーバ２０Ｄへのアップロードを繰り返す。なお、ステップ２で肯定結果が得られた場合、ユーザ端末１０は、動画像データのアップロードを終了する（ステップ３）。
【0108】
＜実施の形態６＞
図３３は、他の画像処理システムを説明する図である。（Ａ）は同じ店舗内に存在するユーザ端末１０とサーバ２０Ｅで構成されるシステム例を示し、（Ｂ）は商品棚を撮像するユーザ端末１０Ａのみで構成されるシステム例を示す。図３３には、図１との対応部分に対応する符号を付して示している。
図３３（Ａ）に示す画像処理システム１Ａを構成するサーバ２０Ｅは、他の店舗のユーザ端末１０等と通信しない点で他の実施の形態で説明した画像処理システム１（図１参照）と相違する。なお、画像処理システム１Ａの処理動作は、前述した実施の形態１～５を構成するユーザ端末とサーバと同じである。ここでのサーバ２０Ｅも、情報処理システムの一例である。
図３３は、他の画像処理システムを説明する図である。（Ａ）は同じ店舗内に存在するユーザ端末１０とサーバ２０Ｅで構成されるシステム例を示し、（Ｂ）は商品棚を撮像するユーザ端末１０Ａのみで構成されるシステム例を示す。図３３には、図１との対応部分に対応する符号を付して示している。
図３３（Ａ）に示す画像処理システム１Ａを構成するサーバ２０Ｅは、他の店舗のユーザ端末１０等と通信しない点で他の実施の形態で説明した画像処理システム１（図１参照）と相違する。なお、画像処理システム１Ａの処理動作は、前述した実施の形態１～５を構成するユーザ端末とサーバと同じである。ここでのサーバ２０Ｅも、情報処理システムの一例である。
【0109】
図３３（Ｂ）に示す画像処理システム１Ｂの場合、１台のユーザ端末１０Ａで全ての処理動作が完結する。すなわち、商品棚の撮像から棚割情報の生成までの処理動作が１台のユーザ端末１０Ａで実行される。ここでのユーザ端末１０Ａは、情報処理システムの一例である。
図３４は、ユーザ端末１０Ａで実行される処理動作例を説明する図である。なお、図３４には、図１３との対応部分に対応する符号を付して示している。
ユーザ端末１０Ａの処理動作も、棚割用のプログラムの起動を通じて開始される。棚割用のプログラムによる撮像が開始されると、ユーザ端末１０Ａは、ステップ１２～１９の処理を実行する。
図３４は、ユーザ端末１０Ａで実行される処理動作例を説明する図である。なお、図３４には、図１３との対応部分に対応する符号を付して示している。
ユーザ端末１０Ａの処理動作も、棚割用のプログラムの起動を通じて開始される。棚割用のプログラムによる撮像が開始されると、ユーザ端末１０Ａは、ステップ１２～１９の処理を実行する。
【0110】
すなわち、ユーザ端末１０Ａは、撮像中の動画像データからマーカーＭを検出し（ステップ１２）、付帯情報で指定された全てのマーカーＭが存在するか否かを判定する（ステップ１３）。
検出されたマーカーＭの個数が付帯情報で指定されたマーカーＭの個数に不足する場合（すなわち、ステップ１３で否定結果の場合）、ユーザ端末１０Ａは、別のフレーム画像を対象にマーカーＭの検出を継続する。
一方、検出されたマーカーＭの個数が付帯情報で指定されたマーカーＭの個数を充足する場合（すなわち、ステップ１３で肯定結果の場合）、ユーザ端末１０Ａは、対象範囲を特定する（ステップ１４）。
検出されたマーカーＭの個数が付帯情報で指定されたマーカーＭの個数に不足する場合（すなわち、ステップ１３で否定結果の場合）、ユーザ端末１０Ａは、別のフレーム画像を対象にマーカーＭの検出を継続する。
一方、検出されたマーカーＭの個数が付帯情報で指定されたマーカーＭの個数を充足する場合（すなわち、ステップ１３で肯定結果の場合）、ユーザ端末１０Ａは、対象範囲を特定する（ステップ１４）。
【0111】
その後、ユーザ端末１０Ａは、マーカーＭの座標点を線分で結んで対象範囲を特定し、特定された対象範囲に対応する画像の歪を補正する（ステップ１５～１６）。
さらに、ユーザ端末１０Ａは、歪が補正された画像から商品の位置とサイズを検出し、検出された各位置の商品を識別して棚割情報を生成する（ステップ１７～１９）。
さらに、ユーザ端末１０Ａは、歪が補正された画像から商品の位置とサイズを検出し、検出された各位置の商品を識別して棚割情報を生成する（ステップ１７～１９）。
【0112】
＜他の実施の形態＞
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0113】
（２）前述の実施の形態では、撮像中の動画像データをユーザ端末１０からサーバ２０にアップロードする場合について説明したが、動画像データは再生画像でもよい。
【0114】
（３）前述の実施の形態では、マーカーの検出から棚割情報の生成までの全ての処理を１台のサーバ又は１台のユーザ端末が単独で実行しているが、複数台のサーバや複数台のユーザ端末の連携動作により実現してもよい。
【0115】
（４）前述の実施の形態では、マーカーの検出から棚割情報の生成までの全ての処理を１台のサーバ又は１台のユーザ端末が単独で実行しているが、一連の処理をサーバとユーザ端末とに分散してもよい。例えばマーカー検出部２１１（図４参照）、対象範囲特定部２１２（図４参照）、画像補正部２１３（図４参照）、品質判定部２１７（図１６参照）、情報表示制御部２１８（図２０参照）に対応する処理はユーザ端末で実行し、商品検出部２１４（図４参照）、商品照合部２１５（図４参照）、棚割推定部２１６（図４参照）に対応する処理はサーバで実行してもよい。
【0116】
（５）前述した実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順番は、前述した各実施の形態に記載した順番のみに限定されるものでなく、個別に変更してもよい。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順番は、前述した各実施の形態に記載した順番のみに限定されるものでなく、個別に変更してもよい。
【0117】
＜付記＞
(((1)))
１又は複数のプロセッサを有し、１又は複数のプロセッサは、撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出し、動画像から検出された指標を使用して、対象範囲に対応する第１の静止画像を動画像から切り出し、第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する、情報処理システム。
(((2)))
１又は複数のプロセッサは、検出された指標によって特定される領域が予め定めた条件を満たす場合、第１の静止画像を動画像から切り出す、(((1)))に記載の情報処理システム。
(((3)))
１又は複数のプロセッサは、領域のサイズが第１の閾値より大きい場合、予め定めた条件を満たすと判定する、(((2)))に記載の情報処理システム。
(((4)))
１又は複数のプロセッサは、領域の歪が第２の閾値より大きい場合、予め定めた条件を満たすと判定する、(((2)))に記載の情報処理システム。
(((5)))
１又は複数のプロセッサは、検出された指標を結ぶ線分で囲まれる領域を、領域の外側の領域と識別可能に表示する、(((1)))～(((4)))のいずれか１つに記載の情報処理システム。
(((6)))
１又は複数のプロセッサは、検出された指標を結ぶ線分を動画像に重畳して表示する、(((5)))に記載の情報処理システム。
(((7)))
１又は複数のプロセッサは、外側の領域部分をマスキング処理する、(((5)))に記載の情報処理システム。
(((8)))
１又は複数のプロセッサは、検出された指標によって特定される領域が予め定めた条件を満たさない場合、第１の静止画像を切り出せない状態を示す情報を画面上に表示する、(((1)))～(((7)))のいずれか１つに記載の情報処理システム。
(((9)))
１又は複数のプロセッサは、検出された指標を結ぶ線分を、検出された指標によって特定される領域が予め定めた条件を満たす場合とは異なる態様で表示する、(((8)))に記載の情報処理システム。
(((10)))
１又は複数のプロセッサは、動画像の撮像者に求められる行動をテキストにより表示する、(((8)))に記載の情報処理システム。
(((11)))
１又は複数のプロセッサは、検出された指標によって特定される領域が予め定めた条件を満たす場合、第１の静止画像を切り出すためのシャッター操作が可能になった旨を画面上に表示する、(((1)))～(((10)))のいずれか１つに記載の情報処理システム。
(((12)))
１又は複数のプロセッサは、検出された指標によって特定される領域が予め定めた条件を満たす場合、第２の静止画像から検出された各商品の領域を示す枠形状を、第１の静止画像の歪に応じて逆変換し、動画像に重畳して表示する、(((1)))～(((1)))のいずれか１つに記載の情報処理システムである。
(((13)))
１又は複数のプロセッサは、動画像上に枠形状が重畳して表示されている場合、第１の静止画像を動画像から切り出すためのシャッター操作の受け付けを可能とする、(((12)))に記載の情報処理システム。
(((14)))
１又は複数のコンピュータに、撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出する機能と、動画像から検出された指標を使用して、対象範囲に対応する第１の静止画像を動画像から切り出す機能と、第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する機能と、を実現させるためのプログラム。
(((1)))
１又は複数のプロセッサを有し、１又は複数のプロセッサは、撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出し、動画像から検出された指標を使用して、対象範囲に対応する第１の静止画像を動画像から切り出し、第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する、情報処理システム。
(((2)))
１又は複数のプロセッサは、検出された指標によって特定される領域が予め定めた条件を満たす場合、第１の静止画像を動画像から切り出す、(((1)))に記載の情報処理システム。
(((3)))
１又は複数のプロセッサは、領域のサイズが第１の閾値より大きい場合、予め定めた条件を満たすと判定する、(((2)))に記載の情報処理システム。
(((4)))
１又は複数のプロセッサは、領域の歪が第２の閾値より大きい場合、予め定めた条件を満たすと判定する、(((2)))に記載の情報処理システム。
(((5)))
１又は複数のプロセッサは、検出された指標を結ぶ線分で囲まれる領域を、領域の外側の領域と識別可能に表示する、(((1)))～(((4)))のいずれか１つに記載の情報処理システム。
(((6)))
１又は複数のプロセッサは、検出された指標を結ぶ線分を動画像に重畳して表示する、(((5)))に記載の情報処理システム。
(((7)))
１又は複数のプロセッサは、外側の領域部分をマスキング処理する、(((5)))に記載の情報処理システム。
(((8)))
１又は複数のプロセッサは、検出された指標によって特定される領域が予め定めた条件を満たさない場合、第１の静止画像を切り出せない状態を示す情報を画面上に表示する、(((1)))～(((7)))のいずれか１つに記載の情報処理システム。
(((9)))
１又は複数のプロセッサは、検出された指標を結ぶ線分を、検出された指標によって特定される領域が予め定めた条件を満たす場合とは異なる態様で表示する、(((8)))に記載の情報処理システム。
(((10)))
１又は複数のプロセッサは、動画像の撮像者に求められる行動をテキストにより表示する、(((8)))に記載の情報処理システム。
(((11)))
１又は複数のプロセッサは、検出された指標によって特定される領域が予め定めた条件を満たす場合、第１の静止画像を切り出すためのシャッター操作が可能になった旨を画面上に表示する、(((1)))～(((10)))のいずれか１つに記載の情報処理システム。
(((12)))
１又は複数のプロセッサは、検出された指標によって特定される領域が予め定めた条件を満たす場合、第２の静止画像から検出された各商品の領域を示す枠形状を、第１の静止画像の歪に応じて逆変換し、動画像に重畳して表示する、(((1)))～(((1)))のいずれか１つに記載の情報処理システムである。
(((13)))
１又は複数のプロセッサは、動画像上に枠形状が重畳して表示されている場合、第１の静止画像を動画像から切り出すためのシャッター操作の受け付けを可能とする、(((12)))に記載の情報処理システム。
(((14)))
１又は複数のコンピュータに、撮像デバイスから出力される動画像から、対象範囲の頂点の位置を規定する物理的な指標の像を検出する機能と、動画像から検出された指標を使用して、対象範囲に対応する第１の静止画像を動画像から切り出す機能と、第１の静止画像の歪を補正した第２の静止画像を用いて、商品と位置を識別した結果を出力する機能と、を実現させるためのプログラム。
【0118】
(((1)))に係る情報処理システムによれば、画面に表示される指標と商品棚との位置決めをスタッフに要求する場合に比して、簡便に品質の高い画像を撮像可能にできる。
(((2)))に係る情報処理システムによれば、撮像される画像の品質のばらつきを抑制できる。
(((3)))に係る情報処理システムによれば、撮像される画像の品質のばらつきを抑制できる。
(((4)))に係る情報処理システムによれば、撮像される画像の品質のばらつきを抑制できる。
(((5)))に係る情報処理システムによれば、指標の検出状況を確認可能にできる。
(((6)))に係る情報処理システムによれば、指標の検出状況を確認可能にできる。
(((7)))に係る情報処理システムによれば、指標の検出状況を確認可能にできる。
(((8)))に係る情報処理システムによれば、撮像条件の変更の必要性を撮像者に気付かせることができる。
(((9)))に係る情報処理システムによれば、撮像条件の変更の必要性を撮像者に気付かせることができる。
(((10)))に係る情報処理システムによれば、品質を改善するための具体的な行動を撮像者に通知ができる。
(((11)))に係る情報処理システムによれば、撮像者のシャッター操作を支援できる。
(((12)))に係る情報処理システムによれば、撮像者のシャッター操作を支援できる。
(((13)))に係る情報処理システムによれば、撮像される画像の品質のばらつきを抑制できる。
(((14)))に係るプログラムによれば、画面に表示される指標と商品棚との位置決めをスタッフに要求する場合に比して、簡便に品質の高い画像を撮像可能にできる。
(((2)))に係る情報処理システムによれば、撮像される画像の品質のばらつきを抑制できる。
(((3)))に係る情報処理システムによれば、撮像される画像の品質のばらつきを抑制できる。
(((4)))に係る情報処理システムによれば、撮像される画像の品質のばらつきを抑制できる。
(((5)))に係る情報処理システムによれば、指標の検出状況を確認可能にできる。
(((6)))に係る情報処理システムによれば、指標の検出状況を確認可能にできる。
(((7)))に係る情報処理システムによれば、指標の検出状況を確認可能にできる。
(((8)))に係る情報処理システムによれば、撮像条件の変更の必要性を撮像者に気付かせることができる。
(((9)))に係る情報処理システムによれば、撮像条件の変更の必要性を撮像者に気付かせることができる。
(((10)))に係る情報処理システムによれば、品質を改善するための具体的な行動を撮像者に通知ができる。
(((11)))に係る情報処理システムによれば、撮像者のシャッター操作を支援できる。
(((12)))に係る情報処理システムによれば、撮像者のシャッター操作を支援できる。
(((13)))に係る情報処理システムによれば、撮像される画像の品質のばらつきを抑制できる。
(((14)))に係るプログラムによれば、画面に表示される指標と商品棚との位置決めをスタッフに要求する場合に比して、簡便に品質の高い画像を撮像可能にできる。
【符号の説明】
【0119】
１、１Ａ、１Ｂ…画像処理システム、１０、１０Ａ…ユーザ端末、２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ…サーバ、１０１、２０１…プロセッサ、１０２、２０２…ＲＯＭ、１０３、２０３…ＲＡＭ、１０４、２０４…補助記憶装置、１０５…ディスプレイ、１０６…カメラ、１０７…マイク、１０８…スピーカー、１０９、２０５…通信インタフェース、１１０、２０６…信号線、２１１…マーカー検出部、２１２…対象範囲特定部、２１３…画像補正部、２１４…商品検出部、２１５…商品照合部、２１６…棚割推定部、２１７…品質判定部、２１８…情報表示制御部、２２０…商品識別部、２３０…棚割情報生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
