知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06Q 30/06 20230101AFI20240509BHJP
【ＦＩ】
G06Q30/06
【請求項の数】
6
(21)【出願番号】P 2021111725
(22)【出願日】2021-07-05
(62)【分割の表示】P 2018506787の分割
【原出願日】2017-01-04
(65)【公開番号】P2021170360
(43)【公開日】2021-10-28
【審査請求日】2021-07-05
【審判番号】
【審判請求日】2023-11-02
(31)【優先権主張番号】P 2016056565
(32)【優先日】2016-03-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】守谷 厚志
【合議体】
【審判長】伏本 正典
【審判官】佐藤 智康
【審判官】松田 直也
(56)【参考文献】
【文献】特開２０１２－１７４１５４（ＪＰ，Ａ）
【文献】特開２０１５－２１９７８１（ＪＰ，Ａ）
【文献】特表２０１２－５３１９７１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／０１５０６７７（ＵＳ，Ａ１）
【文献】特開２０００－３０１３８（ＪＰ，Ａ）
【文献】特開２０１１－６１５８６（ＪＰ，Ａ）
【文献】特開２０００－１８４３６１（ＪＰ，Ａ）
【文献】特許第６９４３２３６（ＪＰ，Ｂ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
物品の配置場所とマーカを撮像した画像に対する画像認識処理により、前記画像に含まれる第２のマーカと以前の前記画像に含まれる第１のマーカとの差分を検出する検出手段と、所定値の前記差分の変化に要した時間に応じて、前記第２のマーカに基づく所定の処理を実行する実行手段と、を備える、情報処理装置。
【請求項2】
前記マーカは、以下に記載する１）～３）のいずれかを含む、請求項１に記載の情報処理装置。１）当該マーカに対応する前記物品が載置されている商品棚の少なくとも一部。
２）当該マーカに対応する前記物品が載置されている場所周辺の什器、壁、天井、床、及び建具の少なくともいずれか一つの少なくとも一部。
３）当該マーカと対応する前記物品が載置されている商品棚の一部、又は周辺に設けられているディスプレイに表示される画像。
【請求項3】
前記所定の処理は、前記第２のマーカに対応付けられた前記物品に関する情報を出力する、請求項１又は２に記載の情報処理装置。
【請求項4】
前記所定の処理は、前記第２のマーカに関する画像の情報を出力する、請求項１又は２に記載の情報処理装置。
【請求項5】
情報処理装置が、物品の配置場所とマーカを撮像した画像に対する画像認識処理により、前記画像に含まれる第２のマーカと以前の前記画像に含まれる第１のマーカとの差分を検出し、
所定値の前記差分の変化に要した時間に応じて、前記第２のマーカに基づく所定の処理を実行する、情報処理方法。
【請求項6】
コンピュータに、物品の配置場所とマーカを撮像した画像に対する画像認識処理により、前記画像に含まれる第２のマーカと以前の前記画像に含まれる第１のマーカとの差分を検出する手順、
所定値の前記差分の変化に要した時間に応じて、前記第２のマーカに基づく所定の処理を実行する手順、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
陳列された商品の状況を監視する装置の一例が特許文献１に記載されている。特許文献１の監視装置は、撮像カメラの画像データを元に商品の移動の有無を検知し、さらに、商品の配置領域の周囲に位置する人物の向きを検知し、それぞれの検知結果に基づいて、警告情報を出力する。たとえば、商品配置領域から商品がなくなったことが検知され、かつ、顧客の向きが商品配置領域の向きでないことが検知された場合に、商品が万引きなどの不正行為によりなくなった可能性があることを通知するメッセージを出力する。
【0003】
また、特許文献２には、在庫切れを確認する在庫管理装置が記載されている。特許文献２に記載の在庫管理装置は、赤外領域の光に対して反射率が高いインクで印刷された目印と、目印上に配置される管理対象物と、目印を撮像する撮像手段と、撮像画像から目印を識別する画像処理手段と、目印が識別されない場合は、管理対象物が存在し在庫があると判断し、目印が識別された場合は管理対象物が存在せず在庫なしと判断するとともに、識別した目印から存在しない管理対象物の情報を獲得する中央処理装置と、を備える。この構成により容易に在庫切れを確認できる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１５－１７６２２７号公報
【文献】特開平１１－２８１７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した特許文献記載の技術においては、商品がなくなったことを検知し、なくなった商品の周辺にいる人物の向きを検知し、万引きなどの不正行為を検出することや、商品がなくなったことを検知し、なくなった商品を特定することで在庫管理を行うことはできるが、情報処理装置の処理負荷が高くなってしまう。
【0006】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、商品の増減を簡易に効率よく検知する情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
【0008】
第一の側面は、情報処理装置に関する。
第一の側面に係る情報処理装置は、
物品の配置場所とマーカを撮像した画像に対する画像認識処理により、前記画像に含まれる第２のマーカと以前の前記画像に含まれる第１のマーカとの差分を検出する検出手段と、
所定値の前記差分の変化に要した時間に応じて、前記第２のマーカに基づく所定の処理を実行する実行手段と、を有する。
第一の側面に係る情報処理装置は、
物品の配置場所とマーカを撮像した画像に対する画像認識処理により、前記画像に含まれる第２のマーカと以前の前記画像に含まれる第１のマーカとの差分を検出する検出手段と、
所定値の前記差分の変化に要した時間に応じて、前記第２のマーカに基づく所定の処理を実行する実行手段と、を有する。
【0009】
第二の側面は、少なくとも１つのコンピュータにより実行される情報処理方法に関する。
第二の側面に係る情報処理方法は、
情報処理装置が、
物品の配置場所とマーカを撮像した画像に対する画像認識処理により、前記画像に含まれる第２のマーカと以前の前記画像に含まれる第１のマーカとの差分を検出し、
所定値の前記差分の変化に要した時間に応じて、前記第２のマーカに基づく所定の処理を実行する、ことを含む。
第二の側面に係る情報処理方法は、
情報処理装置が、
物品の配置場所とマーカを撮像した画像に対する画像認識処理により、前記画像に含まれる第２のマーカと以前の前記画像に含まれる第１のマーカとの差分を検出し、
所定値の前記差分の変化に要した時間に応じて、前記第２のマーカに基づく所定の処理を実行する、ことを含む。
【0010】
なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その情報処理方法を実施させるコンピュータプログラムコードを含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その情報処理方法を実施させるコンピュータプログラムコードを含む。
【0011】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【0012】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【0013】
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
【0014】
さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【発明の効果】
【0015】
上記各側面によれば、商品の増減を簡易に効率よく検知する情報処理装置、情報処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0016】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0017】
【図1】本発明の実施の形態に係る情報処理装置の構成を論理的に示す機能ブロック図である。
【図2】本発明の実施の形態に係る情報処理装置を含む情報処理システムのシステム構成を概念的に示す図である。
【図3】本実施形態のマーカの設置例を示す。
【図4】本発明の実施の形態に係る各装置を実現するコンピュータの構成の一例を示す図である。
【図5】本実施形態の情報処理装置がアクセスする記憶装置に記憶される各情報に関する記憶部のデータ構造の例を示す図である。
【図6】本実施形態の情報処理装置がアクセスする記憶装置の検出結果記憶部のデータ構造の一例を示す図である。
【図7】本実施形態の情報処理装置の処理条件の一例を示す図である。
【図8】本実施形態の情報処理装置の動作の一例を示すフローチャートである。
【図9】本実施形態の情報処理装置のマーカ検出処理を説明するための図である。
【図10】本発明の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。
【図11】本実施形態の情報処理装置のマーカ検出処理を説明するための図である。
【図12】本実施形態の情報処理装置の処理条件の一例を示す図である。
【図13】本実施形態の情報処理装置のマーカ設置例を示す図である。
【図14】本実施形態の情報処理装置のマーカ検出処理を説明するための図である。
【図15】本実施形態の情報処理装置の処理条件の一例を示す図である。
【図16】本実施形態の情報処理装置の動作の一例を示すフローチャートである。
【図17】本発明の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。
【図18】本実施形態の情報処理装置のマーカ検出処理を説明するための図である。
【図19】本実施形態の情報処理装置がアクセスする記憶装置の検出結果記憶部のデータ構造の一例を示す図である。
【図20】本実施形態の情報処理装置の処理条件の一例を示す図である。
【図21】本実施形態の情報処理装置の動作の一例を示すフローチャートである。
【図22】本実施形態の情報処理装置のマーカ設置例を示す図である。
【図23】本発明の情報処理装置の実施例のシステム構成例を概念的に示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0019】
（第１の実施の形態）
本発明の第１の実施の形態に係る情報処理装置、情報処理方法およびプログラムについて、以下説明する。
図１は、本発明の実施の形態に係る情報処理装置１００の構成を論理的に示す機能ブロック図である。
情報処理装置１００は、商品が置かれている場所を撮像した画像に対する画像認識処理により、商品とは異なっていて、予め定められているマーカを検出する検出部１０２と、マーカの検出結果が予め定められた条件を満たすときに、予め定められた処理を実行する実行部１０４と、を備える。
本発明の第１の実施の形態に係る情報処理装置、情報処理方法およびプログラムについて、以下説明する。
図１は、本発明の実施の形態に係る情報処理装置１００の構成を論理的に示す機能ブロック図である。
情報処理装置１００は、商品が置かれている場所を撮像した画像に対する画像認識処理により、商品とは異なっていて、予め定められているマーカを検出する検出部１０２と、マーカの検出結果が予め定められた条件を満たすときに、予め定められた処理を実行する実行部１０４と、を備える。
【0020】
情報処理装置１００は、さらに、記憶装置１１０にアクセス可能に接続される。記憶装置１１０は、たとえば、ハードディスク、ＳＳＤ（Solid State Drive）、またはメモリカードなどであり、情報処理装置１００に含まれてもよいし、外部装置であってもよい。
【0021】
図２は、本発明の実施の形態に係る情報処理装置１００を含む情報処理システム１のシステム構成を概念的に示す図である。
本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
情報処理システム１は、撮像カメラ１０と、サーバコンピュータ２０と、レジ端末３０と、を有する。
本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
情報処理システム１は、撮像カメラ１０と、サーバコンピュータ２０と、レジ端末３０と、を有する。
【0022】
撮像カメラ１０は、売り場または在庫保管場所等の商品棚４０を撮像するものである。図では、１台のみ図示してあるが、複数台有してよい。撮像カメラ１０は、商品棚４０に陳列または保管されている商品４２と、商品４２が置かれている場所の周辺の予め定められた位置に設置されるマーカ５０とを撮像する。商品棚４０には、商品４２が複数個、置かれているものとする。たとえば、商品棚４０に商品４２が残っている場合には、マーカ５０の少なくとも一部は、商品４２により隠され、撮像カメラ１０により撮像された映像データ１２にもマーカ５０の少なくとも一部が写らないようになっている。
【0023】
マーカ５０は、商品４２とは異なるものとする。マーカ５０は、たとえば、ロゴタイプ、シンボルマーク、記号、図案、模様、写真、絵、文字、数字、傷、およびバーコード等、様々な形態で表現でき、さらに、これらのうちいずれか複数を組み合わせてもよい。また、マーカ５０は、商品４２に関連があってもなくてもよく、また、意味があってもなくてもよい。また、マーカ５０のサイズ、形状、配色、光沢の度合い、発光の有無、個数等も特に限定されず、様々な形態のものが考えられる。また、マーカ５０は、平面構造でなくてもよく、立体的な構造を有していてもよい。また、後述する実施形態では、マーカ５０の種類や個数に応じて、処理を変える構成について説明する。
【0024】
マーカ５０の設置方法は、特に限定されない。たとえば、商品棚４０の棚板、背板、支柱の表面に貼付されても、載置されても、掛けられても、取り付けられても、埋め込まれても、印刷されても、または描かれてもよい。また、マーカ５０の設置場所は、商品棚４０だけでなく、商品４２が置かれている場所周辺の什器、壁、天井、床および建具の少なくともいずれか一つであってもよい。
【0025】
また、マーカ５０は商品棚４０等に設置される以外に、商品棚４０そのものの少なくとも一部、または、商品４２が置かれている場所周辺の什器、壁、天井、床および建具の少なくともいずれか一つの少なくとも一部をマーカ５０としてもよい。あるいは、商品棚４０の一部または周辺（たとえば、背面や棚板等）にディスプレイを設け、ディスプレイにマーカ５０を表示してもよい。
【0026】
また、商品棚４０全体、または各棚板をマーカ５０とする仕様では、各商品棚４０または各棚板に収容される商品のサイズ、形状、色等が異なるので、商品が収容されている各商品棚４０全体または各棚板をマーカ５０とすることができる。たとえば、各商品棚４０または各棚板に対応する撮像画像領域の中で、時間経過の中で一定の差分が検出された場合に、所定のメッセージ（大量盗難発生等のアラート情報）を送信してもよく、商品棚４０または棚板毎に、条件および処理内容を設定できてよい。
【0027】
マーカ５０の設置位置と撮像カメラ１０の設置位置（撮影方向、視野角、および撮影範囲の設定も含む）と物品（以後、「商品」とも呼ぶ）４２の配置の関係は、以下に示すようになるのが好ましい。
商品４２が存在している場合と、商品４２がなくなった場合に、撮像カメラ１０の撮影範囲内に入るマーカ５０の数や範囲が変わるような位置関係にそれぞれ設置される。
商品４２が存在している場合と、商品４２がなくなった場合に、撮像カメラ１０の撮影範囲内に入るマーカ５０の数や範囲が変わるような位置関係にそれぞれ設置される。
【0028】
図３は、本実施形態のマーカ５０の設置例を示す。たとえば、図３（ａ）は、商品棚４０の棚板４４の表面にマーカ５０が貼付されている様子を示している。図３（ｂ）は、複数の商品４２が棚板４４の上に置かれ、マーカ５０が商品４２によって隠れて見えなくなっている様子を示している。図３（ｃ）は、商品４２がほとんどなくなり、マーカ５０が現れている様子を示している。
【0029】
撮像カメラ１０は商品棚４０の棚板４４の上方に設けられる。さらに、商品４２が存在している時はマーカ５０が映像データ１２にほとんど写らず、商品４２がなくなった時はマーカ５０が映像データ１２に写るように撮影できるように、撮像カメラ１０の撮影方向、視野角、および撮影範囲が設定される。
【0030】
図２に戻り、撮像カメラ１０で撮像された映像データ１２は、サーバコンピュータ２０に送信される。撮像カメラ１０とサーバコンピュータ２０間の接続および通信方法は特に限定されないが、所定の暗号化処理および認証手続きを行い、セキュアな通信環境にあるものとする。接続は、有線でも無線でもよい。
【0031】
また、撮像カメラ１０とサーバコンピュータ２０は直接接続されてもよいし、間接的に接続されてもよい。
たとえば、撮像カメラ１０で撮像された映像データ１２が、情報処理装置１００に直接送信されて情報処理装置１００が逐次受信してもよい。あるいは、撮像カメラ１０と、情報処理装置１００とがアクセス可能な記憶装置（たとえば、記憶装置１１０）を設けてもよい。撮像カメラ１０により撮像された映像データ１２が、記憶装置１１０に格納され、情報処理装置１００が記憶装置１１０から映像データ１２を読み出して取得してもよい。
たとえば、撮像カメラ１０で撮像された映像データ１２が、情報処理装置１００に直接送信されて情報処理装置１００が逐次受信してもよい。あるいは、撮像カメラ１０と、情報処理装置１００とがアクセス可能な記憶装置（たとえば、記憶装置１１０）を設けてもよい。撮像カメラ１０により撮像された映像データ１２が、記憶装置１１０に格納され、情報処理装置１００が記憶装置１１０から映像データ１２を読み出して取得してもよい。
【0032】
本実施形態では、たとえば、撮像カメラ１０にＩＰ（Internet Protocol）カメラ等のウェブカメラを用いる。ＩＰカメラは、たとえば、無線ＬＡＮ（Local Area Network）通信機能を有し、ルータなどの中継装置（不図示）を介してサーバコンピュータ２０に接続されてもよい。
【0033】
本実施形態では、撮像カメラ１０から映像データ１２が出力される構成としているが、これに限定されない。動画および静止画の少なくともいずれかの画像データであってよい。データ形式も特に限定されず、撮像カメラ１０およびサーバコンピュータ２０の仕様、規格、性能等に合わせて、様々な形式のものを採用し得る。
【0034】
本実施形態では、たとえば、撮像カメラ１０は、ＯＮＶＩＦ（Open Network Video Interface Forum）準拠したものを用いる。映像データ１２は、たとえば、Ｍｏｔｉｏｎ－ＪＰＥＧ（Joint Photographic Experts Group）またはＨ．２６４（ＭＰＥＧ－４（Moving Picture Experts Group phase 4） ＡＶＣ（Part 10 Advanced Video Coding））等に準拠したファイル形式で、記憶装置１１０に格納されてもよい。
【0035】
【0036】
モニタ２４は、液晶ディスプレイ等であり、本実施形態の情報処理装置１００の各種操作画面、および情報処理装置１００の検出部１０２によるマーカ５０の検出結果データ２８等を表示できる。また、マーカ５０の検出結果データ２８は、後述するレジ端末３０に出力されてもよい。
【0037】
キーボード２６は、サーバコンピュータ２０の操作部の一例であり、これに限定されない。サーバコンピュータ２０の操作部は、マウス、モニタ２４と一体となったタッチパネル等、様々考えられる。
【0038】
レジ端末３０は、たとえば、店員用ディスプレイ３２と、顧客用ディスプレイ（不図示）と、スキャナ（不図示）と、入力ボタン（不図示）と、ドロアー（不図示）と、カメラ（不図示）と、を有する。
【0039】
店員用ディスプレイ３２は、タッチパネルの機能を有するディスプレイであり、各種画面を表示するとともに、店員Ｕａがレジ端末３０を操作するための入力を受け付ける。顧客用ディスプレイは、タッチパネルの機能を有するディスプレイであり、各種画面を表示するとともに、顧客が画面を操作するための入力を受け付けてもよい。
【0040】
スキャナは、ハンディタイプ、または定置型のスキャナであり、精算対象の商品を登録するために利用される種々の読み取り装置である。スキャナは、商品に添付されているコードを読み取るバーコードリーダや、商品や商品に添付されているコードを画像認識するためのカメラである。入力ボタンは、店員Ｕａの押下操作を受け付ける入力手段である。ドロアーは硬貨や紙幣を格納する。カメラは、レジ端末３０の近傍に居る顧客Ｕｂ、たとえば、レジ端末３０で商品の精算を行っている顧客Ｕｂの顔を撮像してもよい。
【0041】
上述したように、レジ端末３０は、サーバコンピュータ２０に接続され、サーバコンピュータ２０から検出結果データ２８を受信してもよい。レジ端末３０の店員用ディスプレイ３２は、受信した検出結果データ２８を元にマーカ５０の検出結果を表示してもよい。レジ端末３０とサーバコンピュータ２０間の接続および通信方法は特に限定されないが、所定の暗号化処理および認証手続きを行い、セキュアな通信環境にあるものとする。接続は、有線でも無線でもよい。また、図ではレジ端末３０は１台のみ示しているが、複数であってもよい。
【0042】
本実施形態において、レジ端末３０、およびサーバコンピュータ２０（情報処理装置１００）は、いずれもコンピュータを用いて実現される。図４は、このようなコンピュータの構成の一例を示す図である。
【0043】
本実施形態のコンピュータ８０は、ＣＰＵ（Central Processing Unit）８２、メモリ８４、メモリ８４にロードされた図１の構成要素を実現するプログラム９０、そのプログラム９０を格納するストレージ８５、Ｉ／Ｏ（Input/Output）８６、およびネットワーク接続用インタフェース（通信Ｉ／Ｆ（InterFace）８７）を備える。
【0044】
ＣＰＵ８２、メモリ８４、ストレージ８５、Ｉ／Ｏ８６、通信Ｉ／Ｆ８７は、バス８９を介して互いに接続され、ＣＰＵ８２により情報処理装置１００全体が制御される。ただし、ＣＰＵ８２などを互いに接続する方法は、バス接続に限定されない。
【0045】
メモリ８４は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ８５は、ハードディスク、ＳＳＤ（Solid State Drive）、またはメモリカードなどの記憶装置である。
【0046】
ストレージ８５は、ＲＡＭやＲＯＭなどのメモリであってもよい。ストレージ８５は、コンピュータ８０の内部に設けられてもよいし、コンピュータ８０がアクセス可能であれば、コンピュータ８０の外部に設けられ、コンピュータ８０と有線または無線で接続されてもよい。あるいは、コンピュータ８０に着脱可能に設けられてもよい。
【0047】
ＣＰＵ８２が、ストレージ８５に記憶されるプログラム９０をメモリ８４に読み出して実行することにより、図１の情報処理装置１００の各ユニットの各機能を実現することができる。
【0048】
Ｉ／Ｏ８６は、コンピュータ８０と他の入出力装置間のデータおよび制御信号の入出力制御を行う。他の入出力装置とは、たとえば、コンピュータ８０に接続されるキーボード２６、タッチパネル（不図示）、マウス（不図示）、およびマイクロフォン（不図示）等の入力装置（不図示）と、ディスプレイ、プリンタ、およびスピーカ等の出力装置（不図示）と、これらの入出力装置とコンピュータ８０のインタフェースとを含む。さらに、Ｉ／Ｏ８６は、他の記録媒体の読み取りまたは書き込み装置（不図示）とのデータの入出力制御を行ってもよい。
【0049】
通信Ｉ／Ｆ８７は、コンピュータ８０と外部の装置との通信を行うためのネットワーク接続用インタフェースである。通信Ｉ／Ｆ８７は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。
【0050】
図１の本実施形態の情報処理装置１００の各構成要素は、図４のコンピュータ８０（サーバコンピュータ２０）のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各実施形態の情報処理装置を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
【0051】
情報処理装置１００は、複数のコンピュータ８０により構成されてもよいし、仮想サーバにより実現されてもよい。本実施形態では、情報処理装置１００は、サーバコンピュータ２０により構成されているが、これに限定されない。
【0052】
図１に戻り、情報処理装置１００において、検出部１０２は、商品４２が置かれている場所（商品棚４０）を撮像した画像に対する画像認識処理により、マーカ５０を検出する。図２に示すように、情報処理装置１００（サーバコンピュータ２０）は、撮像カメラ１０から映像データ１２を取得する。
【0053】
本明細書において、「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、自装置に他の装置から出力されるデータまたは情報を入力すること（受動的な取得）、たとえば、配信（または、送信、プッシュ通知等）されるデータまたは情報を受信すること等、の少なくともいずれか一方を含む。また、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することも含む。
【0054】
図５は、本実施形態の情報処理装置１００がアクセスする記憶装置１１０に記憶される各情報に関する記憶部のデータ構造の例を示す図である。
図５（ａ）のマーカ情報記憶部１１２は、予め定められているマーカ５０の識別情報（マーカＩＤ）と、その特徴情報が記憶される。マーカ５０の特徴情報とは、たとえば、マーカ５０の画像データであってもよいし、マーカ５０の少なくとも一部から抽出される特徴点とその特徴量を少なくとも含む特徴情報でもよい。また、情報処理装置１００が検出するマーカ５０が１種類の場合、マーカ５０の識別情報はなくてもよい。
図５（ａ）のマーカ情報記憶部１１２は、予め定められているマーカ５０の識別情報（マーカＩＤ）と、その特徴情報が記憶される。マーカ５０の特徴情報とは、たとえば、マーカ５０の画像データであってもよいし、マーカ５０の少なくとも一部から抽出される特徴点とその特徴量を少なくとも含む特徴情報でもよい。また、情報処理装置１００が検出するマーカ５０が１種類の場合、マーカ５０の識別情報はなくてもよい。
【0055】
さらに、マーカ５０の設置領域に対する相対位置、他のマーカ５０に対する相対位置等の情報を含んでもよい。
マーカ５０の特徴点とその特徴量は、検出部１０２が映像データ１２からマーカ５０を検知するのに必要な特徴点の数と、各特徴点の特徴量を有する。検出部１０２が用いる画像認識処理の性能等と、マーカ５０の種類等により決定されてよい。
マーカ５０の特徴点とその特徴量は、検出部１０２が映像データ１２からマーカ５０を検知するのに必要な特徴点の数と、各特徴点の特徴量を有する。検出部１０２が用いる画像認識処理の性能等と、マーカ５０の種類等により決定されてよい。
【0056】
図５（ｂ）のマーカ位置情報記憶部１１４は、マーカ５０の識別情報と、マーカ５０が設置された位置情報を、関連付けて記憶する。図では位置情報に対してマーカＩＤを紐付けている例を示しているが、他の例では、マーカ毎に位置情報を紐付けて記憶してもよい。
【0057】
マーカ５０の位置情報は、マーカ５０が設置されている場所を特定できる情報である。たとえば、店舗のフロアを示す情報、フロア内のエリアを示す情報、商品棚４０を示す情報、商品棚４０内の棚の位置、または棚の中の位置（たとえば、座標または基準からの相対位置で示される）を示す情報の少なくともいずれか一つを含む。あるいは、マーカ５０を撮像する撮像カメラ１０を特定する情報であってもよい。さらに、撮像カメラ１０の撮影範囲が変更可能な場合、マーカ５０が設置された位置に対応する撮像カメラ１０の撮影範囲を特定する情報を含んでもよい。
【0058】
また、マーカ５０が設置された位置に対応する、ＧＰＳ（Global Positioning System）から取得される位置情報も排除されない。
【0059】
たとえば、検出部１０２は、画像認識処理により、撮像カメラ１０の撮像画像から特徴を抽出し、抽出された特徴の特徴量とマーカ５０の特徴量と照合し、マーカ５０の少なくとも一部の領域に対応する領域で閾値以上の類似度を有する場合、マーカ５０として検出する。
【0060】
マーカ５０の全ての領域ではなく、少なくとも一部の領域とする理由は、後述するように、マーカ５０の一部が商品４２によって隠されている場合であっても、マーカ５０を検出したい場合があるからである。マーカ５０の一部が商品４２によって隠されていて、マーカ５０の全領域が認識されている場合にはマーカ５０を検出しないことを検出条件とすることもでき、その場合は、マーカ５０の全領域を照合対象としてよい。
【0061】
検出部１０２により検出されたマーカ５０の検出結果は、図６の検出結果記憶部１２０に記憶される。
図６に示すように、検出結果記憶部１２０は、検出されたマーカ５０のマーカＩＤに、検出日時情報を関連付けて記憶する。この例では、検出されたマーカ５０毎に検出日時を関連付ける構成としたが、他の例では、検出日時に検出されたマーカ５０のマーカＩＤが関連付けられてもよい。
さらに、検出結果記憶部１２０は、画像から抽出されたマーカ５０に対応する画像領域の特徴情報をさらに関連付けて記憶してもよい。
図６に示すように、検出結果記憶部１２０は、検出されたマーカ５０のマーカＩＤに、検出日時情報を関連付けて記憶する。この例では、検出されたマーカ５０毎に検出日時を関連付ける構成としたが、他の例では、検出日時に検出されたマーカ５０のマーカＩＤが関連付けられてもよい。
さらに、検出結果記憶部１２０は、画像から抽出されたマーカ５０に対応する画像領域の特徴情報をさらに関連付けて記憶してもよい。
【0062】
検出部１０２は、さらに、マーカ５０に対応する画像領域から、予めマーカ５０に埋め込まれている情報、たとえば、ＱＲコード（登録商標）等に含まれる商品４２の各種情報を抽出してもよい。商品４２の各種情報とは、たとえば、商品名、ブランド名、メーカ名、店舗名、販売フロア、販売エリア、および商品棚４０のうちの少なくとも一つであってもよい。
【0063】
画像領域の特徴情報は、たとえば、抽出された特徴量の情報であってもよいし、マーカ５０の一部なのか全部なのかを示す情報、マーカ５０のどの部分が検出されたかを示す情報、の少なくともいずれか一つを含む。ここで、マーカ５０の一部が検出された場合とは、たとえば、商品４２が残っていてマーカ５０の他の部分を隠しているために画像に含まれない状況が想定される。マーカ５０の全部が検出された場合とは、たとえば、商品４２のほとんどが商品棚４０からなくなった状況が想定される。
【0064】
マーカ５０の一部か全部のいずれが検出されたかの判断方法は様々考えられ、以下に例示されるがこれに限定されない。また、以下を複数組み合わせてもよい。
（ａ１）マーカ５０の特徴情報に、マーカ５０内の各特徴点の特徴量に位置情報を対応付けて含めて予め記憶しておく。そして、検出された特徴量に対応する特徴点の位置情報から、検出された特徴点が含まれる領域のマーカ５０内での範囲が特定できる。
（ａ２）マーカ５０の特徴情報に、撮像カメラ１０の所定の撮影範囲内において（撮像カメラ１０と撮影対象との相対位置や距離等により定まる）、マーカ５０全体が占める領域の大きさ（位置）を予め記憶しておく。検出されたマーカ５０の領域の面積を算出し、マーカ５０全体の面積と比較する。
（ａ１）マーカ５０の特徴情報に、マーカ５０内の各特徴点の特徴量に位置情報を対応付けて含めて予め記憶しておく。そして、検出された特徴量に対応する特徴点の位置情報から、検出された特徴点が含まれる領域のマーカ５０内での範囲が特定できる。
（ａ２）マーカ５０の特徴情報に、撮像カメラ１０の所定の撮影範囲内において（撮像カメラ１０と撮影対象との相対位置や距離等により定まる）、マーカ５０全体が占める領域の大きさ（位置）を予め記憶しておく。検出されたマーカ５０の領域の面積を算出し、マーカ５０全体の面積と比較する。
【0065】
実行部１０４は、マーカ５０の検出結果が予め定められた条件を満たすときに、予め定められた処理を実行する。実行部１０４により実行される予め定められた処理は、所定の情報を端末に送信する処理を含む。所定の情報は、アラート情報を含む。
【0066】
さらに、所定の情報は、たとえば、大量盗難の発生の可能性があること、または、爆買いなどにより、在庫切れが生じる可能性があること等を示す情報を含んでもよい。さらに、これらが発生した場所（売り場、棚等）および時刻を特定できる情報を含んでもよい。
【0067】
さらに、所定の情報は、検出されたマーカ５０に対応する撮像カメラ１０で撮像した画像を特定する情報を含む。画像を特定する情報は、たとえば、撮像カメラ１０の識別情報、撮影時刻、および映像データ１２のファイル名のうち少なくともいずれか一つを含む。また、映像データ１２は、複数フレームで構成される。画像を特定する情報は、たとえば、マーカ５０が検出された時のフレーム番号をさらに含んでもよい。この構成によれば、マーカ５０が検出された時のフレームを特定できるので、特定されたフレームの前後の映像データ１２を管理者が確認することができ、たとえば、不審者等が映像に写っていないかを効率よく行えるようになる。
【0068】
図７に示す処理条件１３０の例では、マーカ５０の検出条件と、条件が満たされた場合（True）と、満たされない場合（False）のそれぞれ処理を関連付けて示してある。
この例では、マーカＩＤがＭ００２のマーカ５０（以下、マーカ（Ｍ００２）とも呼ぶ。）の全領域（または特徴点の特徴量）に対して、所定割合（たとえば、８０％）以上の領域（または特徴点の特徴量）が画像認識処理より認識されたことをマーカ（Ｍ００２）の検出条件とする。すなわち、マーカ（Ｍ００２）の全領域（または特徴点の特徴量）の２０％より大きい領域（または特徴点の特徴量）が画像認識処理により認識されなかった場合は、検出条件を満たさないと判定する。
この例では、マーカＩＤがＭ００２のマーカ５０（以下、マーカ（Ｍ００２）とも呼ぶ。）の全領域（または特徴点の特徴量）に対して、所定割合（たとえば、８０％）以上の領域（または特徴点の特徴量）が画像認識処理より認識されたことをマーカ（Ｍ００２）の検出条件とする。すなわち、マーカ（Ｍ００２）の全領域（または特徴点の特徴量）の２０％より大きい領域（または特徴点の特徴量）が画像認識処理により認識されなかった場合は、検出条件を満たさないと判定する。
【0069】
そして、条件が満たされた場合（True）には、通知を行い、満たされない場合（False）には、何もしないことが定められているものとする。
【0070】
ここでは、たとえば、マーカ５０が検出されたことを示すメッセージを通知する。あるいは、他の例では、マーカ５０に対応する商品４２の名称や商品棚４０の位置情報をメッセージに含めて通知してもよい。たとえば、サーバコンピュータ２０のモニタ２４にメッセージを表示したり、レジ端末３０にメッセージを送信して店員用ディスプレイ３２にメッセージを表示させてもよい。
【0071】
送信先の宛先情報は、処理条件１３０に関連付けて記憶し、検出条件毎に宛先を変えられる構成としてもよいし、検出条件に依らず所定の宛先に送信する構成としてもよい。
【0072】
処理条件１３０は、所定の記憶部（不図示）に記憶しておいて、画像認識処理時に記憶部を参照して処理条件１３０を取得して判定処理を行ってもよいし、処理条件１３０による判定処理をプログラムに記載してもよい。
【0073】
処理条件１３０は、マーカ５０毎に定めてもよいし、マーカ５０の種類毎に定めてもよいし、マーカ５０の設置場所毎に定めてもよいし、マーカ５０の種類と設置場所の組み合わせに応じて定めてもよい。異なる種類や異なる設置場所に同じ処理条件１３０を定めてもよい。
処理条件１３０については、後述する実施形態でさらに詳細に説明する。
処理条件１３０については、後述する実施形態でさらに詳細に説明する。
【0074】
このように構成された情報処理装置１００を実現するコンピュータプログラムについて以下説明する。
本実施形態の情報処理装置１００は、図４のコンピュータ８０のＣＰＵ８２が、ストレージ８５に記憶されるプログラム９０をメモリ８４に読み出して実行することにより、その各機能を実現することができる。
本実施形態の情報処理装置１００は、図４のコンピュータ８０のＣＰＵ８２が、ストレージ８５に記憶されるプログラム９０をメモリ８４に読み出して実行することにより、その各機能を実現することができる。
【0075】
本発明の実施の形態に係るコンピュータプログラム９０は、情報処理装置１００を実現させるためのコンピュータ８０に、商品４２が置かれている場所（商品棚４０）を撮像した画像に対する画像認識処理により、商品４２とは異なっていて、予め定められているマーカ５０を検出する手順、マーカ５０の検出結果が予め定められた条件を満たすときに、予め定められた処理を実行する手順、を実行させるように記述されている。
【0076】
本実施形態のコンピュータプログラム９０は、コンピュータ８０で読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラム９０は、記録媒体からコンピュータ８０のメモリ８４にロードされてもよいし、ネットワークを通じてコンピュータ８０にダウンロードされ、メモリ８４にロードされてもよい。
【0077】
コンピュータプログラム９０を記録する記録媒体は、非一時的な有形のコンピュータ８０が使用可能な媒体を含み、その媒体に、コンピュータ８０が読み取り可能なプログラムコードが埋め込まれる。コンピュータプログラム９０が、コンピュータ８０上で実行されたとき、コンピュータ８０に、情報処理装置１００を実現する以下の情報処理方法を実行させる。
【0078】
このように構成された本実施形態の情報処理装置１００の情報処理方法について、以下説明する。
図８は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。
本発明の実施の形態に係る情報処理方法は、情報処理装置１００の情報処理方法であり、情報処理装置１００を実現するコンピュータ８０により実行される情報処理方法である。
本実施形態の情報処理方法は、情報処理装置１００が、商品４２が置かれている場所を撮像した画像に対する画像認識処理により、予め定められているマーカ５０を検出し（ステップＳ１０３）、マーカ５０の検出結果が予め定められた条件を満たすときに、予め定められた処理を実行する（ステップＳ１０７）、ことを含む。
図８は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。
本発明の実施の形態に係る情報処理方法は、情報処理装置１００の情報処理方法であり、情報処理装置１００を実現するコンピュータ８０により実行される情報処理方法である。
本実施形態の情報処理方法は、情報処理装置１００が、商品４２が置かれている場所を撮像した画像に対する画像認識処理により、予め定められているマーカ５０を検出し（ステップＳ１０３）、マーカ５０の検出結果が予め定められた条件を満たすときに、予め定められた処理を実行する（ステップＳ１０７）、ことを含む。
【0079】
より詳細には、検出部１０２が、映像データ１２の任意のまたは各フレームに対して画像認識処理を行い、特徴を抽出する（ステップＳ１０１）。そして、検出部１０２が、予め登録されているマーカ５０の特徴と閾値以上の類似度を有する画像領域をマーカ５０の画像領域として検出する（ステップＳ１０３のＹＥＳ）。
【0080】
このとき、検出部１０２が、検出結果記憶部１２０にマーカ５０のマーカＩＤと、検出日時を関連付けて記憶する。さらに、マーカ５０が検出された検出場所（たとえば、商品棚４０、その棚、および棚の中の位置、あるいは、撮像画像内の位置等）の情報、撮像カメラ１０の識別情報、を含んでもよい。
【0081】
たとえば、図３（ａ）に示すように、マーカ５０は商品棚４０の所定の位置に設置されている。図３（ｂ）に示すように、複数の商品４２が商品棚４０に載っている場合、マーカ５０は商品４２によって隠されているため、映像データ１２からマーカ５０は検出されない（ステップＳ１０３のＮＯ）。この場合、ステップＳ１０５とステップＳ１０７をバイパスして、何もせずに本処理を終了する。
【0082】
また、図３（ｂ）に示すように、商品４２が配置されるべき位置とマーカ５０の相対位置を予め定めておき、マーカ位置情報記憶部１１４に記憶してもよい。そのようにすれば、マーカ５０のうち見えた領域によって、どの位置の商品４２が無くなり、または残っているか、あるいは、商品４２全体の何割が無くなり、または残っているか等を判別できる。
【0083】
一方、図３（ｃ）に示すように、商品棚４０から少なくとも一部の商品４２がなくなった場合、商品棚４０に設置されているマーカ５０が少なくとも一部現れるため（図３（ｃ）ではほとんどの商品４２がなくなり、マーカ５０は全部が現れている。）、映像データ１２からマーカ５０が検出される（ステップＳ１０３のＹＥＳ）。たとえば、図３（ｃ）では、ほとんどの商品４２が商品棚４０からなくなっている。また、図９に示すように、商品棚４０から商品４２が一部だけなくなった場合、マーカ５０は一部だけ現れるため、映像データ１２からマーカ５０の一部が検出される（ステップＳ１０３のＹＥＳ）。
【0084】
そして、実行部１０４が、マーカ５０の検出結果が予め定められた条件を満たすか否かを判定する（ステップＳ１０５）。実行部１０４は、たとえば、図７の処理条件１３０に示す条件、マーカ（Ｍ００２）が所定割合（たとえば、８０％）以上、検出されたことを条件として、条件が満たされた場合（True）、予め定められた宛先（ここでは、レジ端末３０）に、所定のメッセージを通知する（ステップＳ１０７）。
【0085】
本実施形態では、所定のメッセージは、マーカ（Ｍ００２）が検出されたことを含む。あるいは、所定のメッセージは、マーカ（Ｍ００２）に対応する商品４２の名称や商品４２が置かれている位置情報（フロアや売り場、商品棚４０の番号等）を含んでもよい。さらに、所定のメッセージは、商品４２の不明ロスが発生したこと含んでもよい。これらは、いずれか一つでもよいし、複数を組み合わせてもよい。所定のメッセージは、さらに、不明ロスの発生時刻等の情報を含んでもよい。
【0086】
たとえば、レジ端末３０では、情報処理装置１００（サーバコンピュータ２０）からメッセージを受信し、受信したメッセージを店員用ディスプレイ３２に表示する。これにより、店員Ｕａは、マーカ（Ｍ００２）が検出されたこと（あるいは、不明ロスが発生したことや、その発生場所）を知ることができる。
【0087】
また、実行部１０４は、マーカ（Ｍ００２）が検出された場合（True）、検出されたマーカ５０のマーカＩＤ（Ｍ００２）と、検出日時情報を検出結果記憶部１２０に記憶してもよい。さらに、マーカ（Ｍ００２）が検出されない場合（False）、マーカ５０が検出されなかったことを、日時情報に関連付けて検出結果記憶部１２０に記録してもよい。マーカ５０未検出の記録は、所定の期間おき（たとえば、３０分間等）に行ってもよい。
【0088】
また、図９に示すように、商品棚４０から商品４２が一部だけなくなった場合、マーカ５０は一部だけ現れるため、映像データ１２からマーカ５０の一部が画像認識処理により認識される。ここでは、たとえば、マーカ５０の６０％程度が認識されたとする。そのため（８０％未満）、実行部１０４は、マーカ（Ｍ００２）が検出されないと判定し（ステップＳ１０５のＮＯ）、ステップＳ１０７をバイパスして、何もせずに本処理を終了する。
【0089】
このとき、実行部１０４は、認識されたマーカ５０のマーカＩＤ（Ｍ００２）と、日時情報と、マーカ５０の６０％程度が認識されたこととを関連付けて検出結果記憶部１２０にさらに記録してもよい。
【0090】
以上説明したように、本実施形態の情報処理装置１００において、検出部１０２により、商品４２が置かれている場所を撮像した画像に対する画像認識処理により、予め定められているマーカ５０が検出され、実行部１０４により、マーカ５０の検出結果が予め定められた条件を満たすときに、予め定められた処理が実行される。
【0091】
このように、本実施形態の情報処理装置１００によれば、予め定められているマーカ５０を商品４２が置かれている場所（商品棚４０）に設置し、その場所を撮像した画像を画像認識処理して、マーカ５０を検出するだけで、商品４２が大量になくなる等の不明ロスを、簡易に検知して通報できるという効果を奏する。
【0092】
商品棚４０を撮像した映像データ１２の時系列的な変化の差分を検出し、商品棚４０から商品４２がなくなったことを検出することもできるが、その場合、画像処理の負荷が高くなるといった課題があった。本実施形態の情報処理装置１００によれば、マーカ５０の検出結果のみで不明ロスを検知して通知できるので、画像処理の負荷も低いので効率がよく、画像処理に関するコストも低く抑えられる。
【0093】
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る情報処理装置２００について、以下説明する。
図１０は、本発明の第２の実施の形態に係る情報処理装置２００の論理的な構成を示す機能ブロック図である。
本実施形態の情報処理装置２００は、検出部２０２と、実行部２０４と、特定部２０６と、を備える。検出部２０２および実行部２０４は、図１の情報処理装置１００の検出部１０２および実行部１０４と同様な機能を有するとともに、さらに、後述する機能を有する。
なお、本実施形態の情報処理装置２００の構成は、後述する他の実施形態の情報処理装置の構成と組み合わせることもできる。
次に、本発明の第２の実施の形態に係る情報処理装置２００について、以下説明する。
図１０は、本発明の第２の実施の形態に係る情報処理装置２００の論理的な構成を示す機能ブロック図である。
本実施形態の情報処理装置２００は、検出部２０２と、実行部２０４と、特定部２０６と、を備える。検出部２０２および実行部２０４は、図１の情報処理装置１００の検出部１０２および実行部１０４と同様な機能を有するとともに、さらに、後述する機能を有する。
なお、本実施形態の情報処理装置２００の構成は、後述する他の実施形態の情報処理装置の構成と組み合わせることもできる。
【0094】
情報処理装置２００は、さらに、記憶装置２１０にアクセス可能に接続される。記憶装置２１０は、上記実施形態の記憶装置１１０と同様な記憶部を含む。記憶装置２１０は、たとえば、ハードディスク、ＳＳＤ（Solid State Drive）、またはメモリカードなどであり、情報処理装置２００に含まれてもよいし、外部装置であってもよい。
【0095】
本実施形態の情報処理装置２００において、複数のマーカ５０が、商品４２が置かれている場所に設定される。
特定部２０６は、検出部２０２により検出されたマーカ５０の種類または場所を特定する。
実行部２０４は、特定されたマーカ５０の種類または場所に応じた処理を実行する。
特定部２０６は、検出部２０２により検出されたマーカ５０の種類または場所を特定する。
実行部２０４は、特定されたマーカ５０の種類または場所に応じた処理を実行する。
【0096】
また、実行部２０４は、検出されたマーカ５０の組み合わせに応じた処理を実行してもよい。
【0097】
マーカ５０の種類とは、共通の特徴や質で区別されるもの、共通の属性を有するもの、差異が認識されるもの等、様々考えられる。予め特定する種類を登録しておき、いずれの種類に該当するかを特定してもよいし、検出された複数のマーカ５０の特徴に応じて、特定部２０６が種類を分けてもよい。たとえば、赤い円形のマーカ５０と、黒い四角形のマーカ５０と、青いロゴタイプのマーカ５０とがある場合、図形（円形や四角形等の図形と、ロゴタイプ）でマーカ５０を２種類に分けてもよいし、色あいでたとえば、カラーとモノクロの２種類に分けてもよい。
【0098】
マーカ５０の場所は、上述したマーカ５０の位置情報で特定される。たとえば、マーカ５０の場所は、店舗のフロア、エリア、商品棚４０、棚の位置、棚の中の位置、撮像カメラ１０の位置、撮像カメラ１０の撮影範囲等によって特定できる。さらに、撮像カメラ１０の撮影範囲に含まれるマーカ５０が複数の場合、他のマーカ５０または所定の基準となる位置との相対位置情報を含む情報によって、マーカ５０の場所を特定できてもよい。
【0099】
以下、マーカ５０の種類に応じて処理を変える例を図１１と図１２を用いて説明する。
図１１（ａ）は、２種類のマーカ５０ａとマーカ５０ｂが棚板４４に貼付されている様子を示している。マーカ５０ａは、ブランドＡＢＣのロゴタイプが印刷されている。マーカ５０ｂは、ブランドＸＹＺのロゴタイプが印刷されている。
マーカ５０ａのマーカＩＤはＭ００４で、マーカ５０ｂのマーカＩＤはＭ００６であるとする。
図１１（ａ）は、２種類のマーカ５０ａとマーカ５０ｂが棚板４４に貼付されている様子を示している。マーカ５０ａは、ブランドＡＢＣのロゴタイプが印刷されている。マーカ５０ｂは、ブランドＸＹＺのロゴタイプが印刷されている。
マーカ５０ａのマーカＩＤはＭ００４で、マーカ５０ｂのマーカＩＤはＭ００６であるとする。
【0100】
棚板４４の各マーカ５０が貼付されている場所には、それぞれロゴタイプに対応するブランドの衣料品が平積みされるものとする。図１１（ｂ）は、マーカ５０ａの上にブランドＡＢＣの衣料品である商品４２ａが平積みされ、マーカ５０ｂの上にブランドＸＹＺの衣料品である商品４２ｂが平積みされているものとする。
【0101】
図１１（ｂ）では、各商品４２が各マーカ５０の上に載っているため、映像データ１２には各商品４２が写り、マーカ５０は写らない（破線で示す）。よって、検出部１０２はいずれのマーカ５０も検出しない。
【0102】
図１１（ｃ）では、ブランドＡＢＣの商品４２ａのみが棚板４４に残っていて、ブランドＸＹＺの商品４２ｂはなくなっている様子を示している。映像データ１２には、商品４２ａと、マーカ５０ｂが写り、マーカ５０ａは写らない（破線で示す）。よって、検出部１０２はマーカ５０ｂのみを検出し、マーカ５０ａは検出しない。
【0103】
図１２は、本実施形態の情報処理装置２００の処理条件２３２の一例を示す図である。
処理条件２３２に示すように、この例では、映像データ１２から検出されるマーカ５０の種類（ここでは、マーカＩＤ）に応じて、メッセージに、マーカ５０に対応するブランド名を含めて通知するようになっている。これにより、不明ロスが発生した商品４２がどのブランドのものかを簡易に通知することができる。
処理条件２３２に示すように、この例では、映像データ１２から検出されるマーカ５０の種類（ここでは、マーカＩＤ）に応じて、メッセージに、マーカ５０に対応するブランド名を含めて通知するようになっている。これにより、不明ロスが発生した商品４２がどのブランドのものかを簡易に通知することができる。
【0104】
この例の変形例では、たとえば、商品情報が記録されているバーコードをマーカ５０として利用すれば、マーカ５０が検出された時、バーコードを読み取り、解読し、商品情報を通知する構成とすることもできる。
【0105】
また、本実施形態では、特定部２０６は、マーカ５０のうち検出できた範囲を特定してもよい。
実行部２０４は、特定部２０６により特定された範囲に応じた処理を実行してもよい。
実行部２０４は、特定部２０６により特定された範囲に応じた処理を実行してもよい。
【0106】
本実施形態では、図１３（ａ）に示すように、マーカ５０の所定位置に連番数字（１～７）を含めることで、検出部１０２によって認識された数字から、数字に対応する検出範囲が特定できる。
【0107】
図１３（ａ）の例では、数字の１は棚板４４の一番手前の位置に対応し、数字が大きくなる程、棚板４４の奥側の位置に対応し、数字の７は棚板４４の一番奥の位置に対応する。ここで特定されるマーカ５０内で認識される範囲は、商品４２がなくなった範囲に相当する。
【0108】
図１３（ｂ）の例では、商品棚４０の背面板４６に、所定位置に連番数字（１～６）を含めたマーカ５０が貼付されている。数字の１は棚板４４に一番近い位置に対応し、数字が大きくなる程、棚板４４から高さ方向により離れた位置に対応し、数字の６は棚板４４から高さ方向に一番遠い位置に対応する。ここで特定されるマーカ５０内で認識される範囲は、棚板４４に平積みされている商品４２がなくなった範囲に相当する。
【0109】
図１３（ａ）の例では、撮像カメラ１０は、マーカ５０が設置されている商品棚４０の棚板４４の上面に対面する上方位置に設置され、商品棚４０の棚板４４方向を撮像する。
図１３（ｂ）の例では、撮像カメラ１０は、マーカ５０が設置されている商品棚４０の背面板４６の表面と対面する横方向の位置に設置され、商品棚４０の背面板４６方向を撮像する。
図１３（ｂ）の例では、撮像カメラ１０は、マーカ５０が設置されている商品棚４０の背面板４６の表面と対面する横方向の位置に設置され、商品棚４０の背面板４６方向を撮像する。
【0110】
実行部２０４は、このようにして特定されるマーカ５０の範囲に応じて処理を変えてもよい。本実施形態では、マーカ５０の検出範囲を示す数字に対応する処理が、後述する処理条件２３０により予め定義される。
【0111】
図１４（ａ）は、図１３（ａ）の棚板４４を上から見た図である。
図１４（ｂ）は、商品棚４０に商品４２が多数陳列されている様子を示している。このように、多数の商品４２が商品棚４０の棚板４４上に陳列されている場合には、マーカ５０のほとんどの部分は商品４２によって隠されている。よって検出部１０２は、画像認識処理により、マーカ５０を認識しない。
図１４（ｂ）は、商品棚４０に商品４２が多数陳列されている様子を示している。このように、多数の商品４２が商品棚４０の棚板４４上に陳列されている場合には、マーカ５０のほとんどの部分は商品４２によって隠されている。よって検出部１０２は、画像認識処理により、マーカ５０を認識しない。
【0112】
図１４（ｃ）は、商品４２が数個なくなり、マーカ５０の一部が現れている様子を示している。ここではマーカ５０の数字の１～７のうち、１のみが見えるようになっている。よって検出部１０２は、画像認識処理により、マーカ５０の数字の１のみを認識する。特定部２０６は、マーカ５０の範囲を棚板４４の手前４４ａ側の範囲（０～１）と特定する。
【0113】
図１４（ｄ）は、商品４２が半分ほどなくなり、マーカ５０が半分現れている様子を示している。ここでは、マーカ５０の数字の１～７のうち、１～４が見えている。よって検出部１０２は、画像認識処理により、マーカ５０の数字の１～４を認識する。特定部２０６は、マーカ５０の範囲を棚板４４の手前４４ａから中程までの範囲（２～５）と特定する。
【0114】
このように、商品棚４０の棚板４４の奥行き方向に向かって配置されたマーカ５０の複数の数字（ここでは、マーカ５０内の各数字が位置情報を兼ねている）の見える範囲によって、なくなった商品４２のおよその数量が推定できる。たとえば、マーカ５０の数字の７まで認識された場合、多数の商品４２がなくなった状態であることが推定できる。
【0115】
図１５は、本実施形態の情報処理装置２００の処理条件２３０の一例を示す図である。
処理条件２３０に示すように、本実施形態では、図１４（ａ）のマーカ（Ｍ００３）の検出結果から、たとえば、マーカ（Ｍ００３）に記載されている数字の１～７の見え方（マーカ５０の検出範囲に相当）によって通知するアラームのレベルを変えるようになっている。すなわち、検出されたマーカ５０の検出範囲に応じて処理を変えている。処理条件２３０では、検出される数字の最大値（たとえば、１～５が見える場合、最大値５）が含まれる範囲が検出範囲として設定されている。
処理条件２３０に示すように、本実施形態では、図１４（ａ）のマーカ（Ｍ００３）の検出結果から、たとえば、マーカ（Ｍ００３）に記載されている数字の１～７の見え方（マーカ５０の検出範囲に相当）によって通知するアラームのレベルを変えるようになっている。すなわち、検出されたマーカ５０の検出範囲に応じて処理を変えている。処理条件２３０では、検出される数字の最大値（たとえば、１～５が見える場合、最大値５）が含まれる範囲が検出範囲として設定されている。
【0116】
たとえば、マーカの数字が全て見えない（０）か、数字の１が見える（検出部１０２により認識される）場合、アラームをレベル１に設定する。レベルは数字が大きい程、警告レベルが高いものとする。そして、マーカの数字の２～５のうち少なくともいずれかが見える（検出部１０２により認識される）場合、アラームレベルを２に設定する。さらに、マーカの数字の６～７うち少なくともいずれかが見える（検出部１０２により認識される）場合、アラームレベルを３に設定する。
この例では、検出結果が条件を満たす場合に設定されるアラームレベルを実行部１０４はメッセージとして出力する。
この例では、検出結果が条件を満たす場合に設定されるアラームレベルを実行部１０４はメッセージとして出力する。
【0117】
すなわち、図１４（ｂ）の例では、映像データ１２からマーカの数字が検出されないので、検出範囲（０～１）に対応するアラームレベルに１が設定され、メッセージが出力される。
すなわち、図１４（ｃ）の例では、映像データ１２からマーカの数字の１が検出されるので、アラームレベルに１が設定され、メッセージが出力される。
図１４（ｄ）の例では、映像データ１２からマーカの数字の１～４が検出されるので、最大値４が含まれる検出範囲（２～５）に対応するアラームレベルに２が設定され、メッセージが出力される。
図１４（ａ）の例では、映像データ１２からマーカの数字の１～７が検出されるので、最大値７が含まれる検出範囲（６～７）に対応するアラームレベル３が設定され、メッセージが出力される。
すなわち、図１４（ｃ）の例では、映像データ１２からマーカの数字の１が検出されるので、アラームレベルに１が設定され、メッセージが出力される。
図１４（ｄ）の例では、映像データ１２からマーカの数字の１～４が検出されるので、最大値４が含まれる検出範囲（２～５）に対応するアラームレベルに２が設定され、メッセージが出力される。
図１４（ａ）の例では、映像データ１２からマーカの数字の１～７が検出されるので、最大値７が含まれる検出範囲（６～７）に対応するアラームレベル３が設定され、メッセージが出力される。
【0118】
また、アラームレベルに応じて、メッセージを送信する宛先を変えてもよい。別途、アラームレベル毎に宛先情報を対応付けて宛先テーブル（不図示）に予め記憶しておく。そして、実行部２０４が宛先テーブルからアラームレベルに対応する宛先情報を取得し、送信してもよい。
【0119】
本実施形態の検出部２０２は、図１の上記実施形態の情報処理装置１００と同様な機能を有するとともに、さらに、機械学習により学習されたマーカ５０の特徴を用いてマーカ５０を検出する。
【0120】
機械学習は、たとえば、機械学習型検知エンジンにより実現できる。
マーカ５０の画像データからマーカ５０の特徴を機械学習型検知エンジンにより学習させ、その特徴を学習ライブラリ（マーカ情報記憶部１１２に相当）に登録する。さらに、学習されたマーカ５０を、その設置場所の情報に関連付けてマーカ位置情報記憶部１１４に登録する。または、設置場所の情報（場所を特定できる画像または情報を用いる）も機械学習により学習させて学習ライブラリ（マーカ位置情報記憶部１１４に相当）に登録させてもよい。
マーカ５０の画像データからマーカ５０の特徴を機械学習型検知エンジンにより学習させ、その特徴を学習ライブラリ（マーカ情報記憶部１１２に相当）に登録する。さらに、学習されたマーカ５０を、その設置場所の情報に関連付けてマーカ位置情報記憶部１１４に登録する。または、設置場所の情報（場所を特定できる画像または情報を用いる）も機械学習により学習させて学習ライブラリ（マーカ位置情報記憶部１１４に相当）に登録させてもよい。
【0121】
たとえば、図１４（ａ）～図１４（ｄ）の状態をそれぞれ機械学習により学習させ、マーカ（Ｍ００２）の形状や見え方（部分的、全体、または位置等）を場合分けして、管理者に提示し、管理者が処理条件２３０を対応付けて登録してもよい。さらに、棚板４４の位置情報（フロア、売り場、および商品棚４０の棚を識別する情報）を示すマーカ５０（たとえば、バーコード）等をさらに棚板４４に設置し、撮像カメラ１０により、上記マーカ（Ｍ００２）と一緒に撮像することで、バーコードから位置情報を取得し、学習したマーカ（Ｍ００２）の位置情報として自動的に関連付けてマーカ情報記憶部１１２に記憶してもよい。
【0122】
このように構成された本実施形態の情報処理装置２００のコンピュータプログラムについて、以下説明する。
本実施形態のコンピュータプログラムは、情報処理装置２００を実現させるためのコンピュータ８０に、検出されたマーカ５０の種類または場所を特定する手順、特定されたマーカ５０の種類または場所に応じた処理を実行する手順、を実行させるように記述されている。
本実施形態のコンピュータプログラムは、情報処理装置２００を実現させるためのコンピュータ８０に、検出されたマーカ５０の種類または場所を特定する手順、特定されたマーカ５０の種類または場所に応じた処理を実行する手順、を実行させるように記述されている。
【0123】
このように構成された本実施形態の情報処理装置２００の情報処理方法について、以下説明する。
図１６は、本実施形態の情報処理装置２００の動作の一例を示すフローチャートである。
本実施形態の情報処理装置２００におけるフローチャートは、図８の上記実施形態の情報処理装置１００のフローチャートと同様な手順（ステップＳ１０１、ステップＳ１０３、およびステップＳ１０７）を有するとともに、さらに、ステップＳ２０１とステップＳ２０３を有する。
図１６は、本実施形態の情報処理装置２００の動作の一例を示すフローチャートである。
本実施形態の情報処理装置２００におけるフローチャートは、図８の上記実施形態の情報処理装置１００のフローチャートと同様な手順（ステップＳ１０１、ステップＳ１０３、およびステップＳ１０７）を有するとともに、さらに、ステップＳ２０１とステップＳ２０３を有する。
【0124】
本発明の実施の形態に係る情報処理方法は、情報処理装置２００の情報処理方法であり、情報処理装置２００を実現するコンピュータ８０により実行される情報処理方法である。
本実施形態の情報処理方法は、情報処理装置２００が、検出されたマーカ５０の種類または場所（または範囲）を特定し（ステップＳ２０１）、特定されたマーカ５０の種類または場所に応じた処理を実行する（ステップＳ１０７）、ことを含む。
本実施形態の情報処理方法は、情報処理装置２００が、検出されたマーカ５０の種類または場所（または範囲）を特定し（ステップＳ２０１）、特定されたマーカ５０の種類または場所に応じた処理を実行する（ステップＳ１０７）、ことを含む。
【0125】
以下、マーカの範囲に応じて処理を変える例について、図１４～図１６を用いて詳細に説明する。
図８で説明したように、ステップＳ１０３で、検出部２０２が、予め登録されているマーカ５０の特徴と閾値以上の類似度を有する画像領域をマーカ５０の画像領域として検出する（ステップＳ１０３のＹＥＳ）。
さらに、特定部２０６が、検出できたマーカ５０の範囲を特定する（ステップＳ２０１）。ここでは、マーカ５０内の数字を画像認識処理により認識する。たとえば、図１４（ｄ）の場合、数字１～４が特定される。
そして、実行部２０４が、処理条件２３０を参照し、特定された範囲は、条件（２～５）を満たすので（ステップＳ２０３のＹＥＳ）、対応する処理として、アラームレベル２に設定し、メッセージを所定の端末に通知する処理を行う（ステップＳ１０７）。
図８で説明したように、ステップＳ１０３で、検出部２０２が、予め登録されているマーカ５０の特徴と閾値以上の類似度を有する画像領域をマーカ５０の画像領域として検出する（ステップＳ１０３のＹＥＳ）。
さらに、特定部２０６が、検出できたマーカ５０の範囲を特定する（ステップＳ２０１）。ここでは、マーカ５０内の数字を画像認識処理により認識する。たとえば、図１４（ｄ）の場合、数字１～４が特定される。
そして、実行部２０４が、処理条件２３０を参照し、特定された範囲は、条件（２～５）を満たすので（ステップＳ２０３のＹＥＳ）、対応する処理として、アラームレベル２に設定し、メッセージを所定の端末に通知する処理を行う（ステップＳ１０７）。
【0126】
また、図１４（ｃ）の場合、ステップＳ２０１において、特定部２０６がマーカ５０の範囲として、数字１を特定する。そして、実行部２０４が、処理条件２３０を参照し、特定された範囲は、条件（０～１）を満たすので（ステップＳ２０３のＹＥＳ）、対応する処理として、アラームレベル１を設定し、メッセージを所定の端末に通知する処理を行う（ステップＳ１０７）。
【0127】
更に、図１４（ａ）の場合、ステップＳ２０１において、特定部２０６がマーカ５０の範囲として、数字１～７を特定する。そして、実行部２０４が、処理条件２３０を参照し、特定された範囲は、条件（６～７）を満たすので（ステップＳ２０３のＹＥＳ）、対応する処理として、アラームレベル３を設定し、メッセージを所定の端末に通知する処理を行う（ステップＳ１０７）。
【0128】
このように、本実施形態によれば、マーカ５０の範囲、種類、および場所の少なくともいずれかに応じて、予め定められた処理を行うことができる。図１４（ｃ）のように、商品４２が少しだけなくなった場合は、アラームレベル１が通知され、図１４（ｄ）のように、商品４２の半数がなくなった場合は、アラームレベル２が通知され、図１４（ａ）のように、商品４２がすべてなくなった場合、アラームレベル３が通知されることになる。
【0129】
以上説明したように、本実施形態の情報処理装置２００において、特定部２０６により検出されたマーカ５０の種類、場所、および範囲の少なくともいずれか一つが特定され、特定された種類、場所、および範囲の少なくともいずれか一つ、およびこれらの組み合わせに応じた処理が実行される。
この構成によれば、上記実施形態と同様な効果を奏するとともに、さらに、マーカ５０の種類、場所、および範囲に応じて、様々な処理を対応させて実行させることが可能になる。
この構成によれば、上記実施形態と同様な効果を奏するとともに、さらに、マーカ５０の種類、場所、および範囲に応じて、様々な処理を対応させて実行させることが可能になる。
【0130】
（第３の実施の形態）
次に、本発明の第３の実施の形態に係る情報処理装置３００について、以下説明する。
図１７は、本発明の実施の形態に係る情報処理装置３００の論理的な構成を示す機能ブロック図である。
本実施形態の情報処理装置３００は、上記実施形態とは、マーカ５０の検出結果を時系列で記憶し、以前に検出されたマーカ５０と今回検出されたマーカ５０の差分に応じて処理を変える点で相違する。
次に、本発明の第３の実施の形態に係る情報処理装置３００について、以下説明する。
図１７は、本発明の実施の形態に係る情報処理装置３００の論理的な構成を示す機能ブロック図である。
本実施形態の情報処理装置３００は、上記実施形態とは、マーカ５０の検出結果を時系列で記憶し、以前に検出されたマーカ５０と今回検出されたマーカ５０の差分に応じて処理を変える点で相違する。
【0131】
情報処理装置３００は、さらに、記憶装置３１０にアクセス可能に接続される。記憶装置３１０は、上記実施形態の記憶装置１１０および記憶装置２１０の少なくともいずれか一方と同様な記憶部を含む。記憶装置３１０は、たとえば、ハードディスク、ＳＳＤ（Solid State Drive）、またはメモリカードなどであり、情報処理装置３００に含まれてもよいし、外部装置であってもよい。
【0132】
本実施形態の情報処理装置３００の構成は、本発明の他の実施形態の構成と矛盾のない範囲で適宜組み合わせることができる。
【0133】
本実施形態の情報処理装置３００は、検出部３０２と、実行部３０４と、を備える。情報処理装置３００は、さらに、図１０の上記実施形態と情報処理装置２００と同様な構成を備えてもよい。
検出部３０２は、上記実施形態の検出部１０２と同様な機能を有するとともに、さらに、検出されたマーカ５０の検出結果を時系列で記憶装置３１０に記憶し、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求める。
実行部３０４は、検出部３０２により検出されたマーカ５０の差分に応じた処理を実行する。
検出部３０２は、上記実施形態の検出部１０２と同様な機能を有するとともに、さらに、検出されたマーカ５０の検出結果を時系列で記憶装置３１０に記憶し、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求める。
実行部３０４は、検出部３０２により検出されたマーカ５０の差分に応じた処理を実行する。
【0134】
本実施形態において、検出部３０２は、所定の周期でマーカ５０の検出処理を行っているものとし、たとえば、検出結果は、その全てを記録してもよい。あるいは、前回の検出結果から閾値以上の特徴量の変化が検出された場合にのみ検出結果を記録する構成としてもよい。
本実施形態では、後者とし、前回の検出結果から閾値以上の特徴量の変化が検出された場合にのみ検出結果が記録される。
本実施形態では、後者とし、前回の検出結果から閾値以上の特徴量の変化が検出された場合にのみ検出結果が記録される。
【0135】
本実施形態において、「以前」と「今回」は、所定期間離れた２つの時点の検出結果を指し、「今回」より「以前」の方が過去の（古い）情報とする。「今回」は、現在でなくてもよく、過去（履歴情報の中）のある時点であってよい。
【0136】
検出部３０２により検出される差分とは、様々考えられ、以下に例示されるが、これに限定されない。また、以下は複数を組み合わせることもできる。
（ｂ１）検出されるマーカ領域の面積の差分
（ｂ２）検出されるマーカに含まれる所定のオブジェクト（たとえば、文字、マーク等）の数の差分
（ｂ３）検出されるマーカに含まれる所定の数字の最大値または最小値（あるいは、範囲）の差分
（ｂ４）検出されるマーカの種類の数の差分
（ｂ１）検出されるマーカ領域の面積の差分
（ｂ２）検出されるマーカに含まれる所定のオブジェクト（たとえば、文字、マーク等）の数の差分
（ｂ３）検出されるマーカに含まれる所定の数字の最大値または最小値（あるいは、範囲）の差分
（ｂ４）検出されるマーカの種類の数の差分
【0137】
差分を求めるタイミングも様々考えられ、以下に例示されるが、これに限定されない。また、以下の複数を組み合わせてもよい。
（ｃ１）検出処理の周期毎
（ｃ２）検出結果が記録される毎
（ｃ３）所定時間毎（５分毎等）、所定時刻毎（毎時等）等
（ｃ１）検出処理の周期毎
（ｃ２）検出結果が記録される毎
（ｃ３）所定時間毎（５分毎等）、所定時刻毎（毎時等）等
【0138】
ここで、上記（ｂ３）および上記（ｃ２）の例を以下に説明する。
図１３（ｂ）に示すように、本実施形態では、商品棚４０の背面板４６に下から上に向かって１～６の数字が並んでいるマーカ５０が設置されている。
図１３（ｂ）に示すように、本実施形態では、商品棚４０の背面板４６に下から上に向かって１～６の数字が並んでいるマーカ５０が設置されている。
【0139】
図１９は、本実施形態の検出結果記憶部３２０のデータ構造の一例を示す図である。
この例では、商品棚４０の棚板４４毎に検出結果を記憶しているが、これに限定されない。
検出結果記憶部３２０ａは、棚板４４（Ｔ１００１）におけるマーカ５０の検出結果が記録されている。
この例では、商品棚４０の棚板４４毎に検出結果を記憶しているが、これに限定されない。
検出結果記憶部３２０ａは、棚板４４（Ｔ１００１）におけるマーカ５０の検出結果が記録されている。
【0140】
図１９では、検出部３０２により検出されたマーカの数字の最大値（または最小値）を、検出日時情報とともに、棚板４４毎に検出結果記憶部３２０ａまたは検出結果記憶部３２０ｂに記憶している。
【0141】
図１８（ａ）に示すように、商品４２が商品棚４０いっぱいに置かれている場合は、商品４２によってマーカ５０が隠され見えなくなる。撮像カメラ１０により撮像された映像データ１２には、マーカ５０はほとんど写らない。よって、検出部３０２は、映像データ１２からマーカ５０を検出しない。何も検出されなかった場合は、数字０が検出結果記憶部３２０に時刻情報に関連付けて検出結果記憶部３２０ａ（図１９（ａ））に記憶される。または他の実施形態では、検出結果記憶部３２０に何も記録しない構成でもよい。
【0142】
次に、図１８（ｂ）に示すように、商品４２が数個なくなると、マーカ５０が上部の一部が見えるようになる。撮像カメラ１０により撮像された映像データ１２には、マーカ５０の一部、数字の６が写るようになる。よって、検出部３０２は、映像データ１２からマーカ５０の一部を検出し、数字の６を認識する。
そして、検出部３０２は、数字６を検出日時情報に関連付けて検出結果記憶部３２０ａ（図１９（ａ））に記憶する。本実施形態では、認識された数字の最小値が検出結果に記録される。マーカ５０に記載される数字の順序と商品４２の陳列方法によって、数字の最小値、最大値、および範囲のいずれかを検出結果として記録するか決めることができる。本実施形態では、商品４２が減少するにつれて、現れる数字が６から１に徐々に小さくなるので、商品４２の減り具合を示す指標として、数字の最小値を用いる。
そして、検出部３０２は、数字６を検出日時情報に関連付けて検出結果記憶部３２０ａ（図１９（ａ））に記憶する。本実施形態では、認識された数字の最小値が検出結果に記録される。マーカ５０に記載される数字の順序と商品４２の陳列方法によって、数字の最小値、最大値、および範囲のいずれかを検出結果として記録するか決めることができる。本実施形態では、商品４２が減少するにつれて、現れる数字が６から１に徐々に小さくなるので、商品４２の減り具合を示す指標として、数字の最小値を用いる。
【0143】
一方、図１４（ａ）に示したマーカ５０の場合は、商品４２が減少するにつれて、現れる数字が１から７に徐々に大きくなるので、商品４２の減り具合を示す指標として、数字の最大値を用いる。
【0144】
はじめに、通常の商品販売時について説明する。この場合、商品４２は徐々に減るので、数字の５～４が時間経過とともに順に検出され、図１９（ａ）に示すように、検出時刻情報に関連付けて検出結果記憶部３２０ａに記憶されている。さらに、たとえば、１３時に商品４２の補充などが行われることにより、マーカが全て隠れるため、マーカが検出されない。そこで、数字０が検出結果記憶部３２０に時刻情報に関連付けて検出結果記憶部３２０ａ（図１９（ａ））に記憶される。
【0145】
次に、大量盗難や爆買い等により、商品が急激になくなる場合について説明する。
はじめ、商品４２が商品棚４０いっぱいに置かれている状態（図１８（ａ））であるため、マーカは検出されない。そこで、何も検出されなかったことを示す数字０が検出結果記憶部３２０に時刻情報に関連付けて検出結果記憶部３２０ｂ（図１９（ｂ））に記憶される。
はじめ、商品４２が商品棚４０いっぱいに置かれている状態（図１８（ａ））であるため、マーカは検出されない。そこで、何も検出されなかったことを示す数字０が検出結果記憶部３２０に時刻情報に関連付けて検出結果記憶部３２０ｂ（図１９（ｂ））に記憶される。
【0146】
【0147】
そして、さらに、少し時間が経過した時（たとえば、前回マーカ検出後から２分後）に、商品が一気に大量になくなり、図１８（ｄ）のようになったとする。このとき、検出部３０２により、数字の１～６が認識され、最小値の数字１が検出結果記憶部３２０ｂ（図１９（ｂ））に記録される。
【0148】
本実施形態では、検出部３０２は、上述したように、検出されたマーカ５０の検出結果を時系列で検出結果記憶部３２０に記憶する。そして、検出部３０２は、さらに、検出結果記憶部３２０を参照し、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求める。
【0149】
求められた差分は、図１９に示すように、検出結果記憶部３２０ａたまは検出結果記憶部３２０ｂにそれぞれ記録できる。
そして、実行部３０４が、検出されたマーカ５０の差分に応じた処理を実行する。
そして、実行部３０４が、検出されたマーカ５０の差分に応じた処理を実行する。
【0150】
図２０は、本実施形態の情報処理装置３００の処理条件３３０の一例を示す図である。
処理条件３３０に示すように、本実施形態では、マーカの差分に応じた処理が対応付けられている。たとえば、この例では、検出されたマーカの数字の最小値の差分が、－５以下を検出条件として、条件を満たす場合の処理が定められている。
差分が－５より小さい場合は、通知を行う。条件を満たさない場合は、何も処理を行わない。
処理条件３３０に示すように、本実施形態では、マーカの差分に応じた処理が対応付けられている。たとえば、この例では、検出されたマーカの数字の最小値の差分が、－５以下を検出条件として、条件を満たす場合の処理が定められている。
差分が－５より小さい場合は、通知を行う。条件を満たさない場合は、何も処理を行わない。
【0151】
本実施形態では、所定周期で行われる画像認識処理により変化が検出された場合にのみ、検出結果を記録し、かつ、記録された検出結果毎に差分を求めているが、所定周期毎に検出結果を記録する場合、差分を算出して記録するタイミングは、たとえば、所定期間毎（たとえば、５分おき等）に行うことができる。そして、このタイミングで記録される場合、たとえば、５分毎の差分だけでなく、３０分毎の差分（検出結果記録の所定回数分の合計）もさらに求めて検出条件としてもよい。
【0152】
また、処理条件３３０の他の例では、所定値以上の差分の変化が短時間であった場合に、アラームレベルを高く設定して通知してもよい。すなわち、所定値以上の差分の変化の時間を条件として、アラームレベルを段階的に設定してもよい。
【0153】
このように構成された本実施形態の情報処理装置３００のコンピュータプログラムについて、以下説明する。
本実施形態のコンピュータプログラムは、情報処理装置３００を実現させるためのコンピュータ８０に、検出されたマーカ５０の検出結果を時系列で記憶装置３１０に記憶する手順、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求める手順、検出されたマーカ５０の差分に応じた処理を実行する手順、を実行させるように記述されている。
本実施形態のコンピュータプログラムは、情報処理装置３００を実現させるためのコンピュータ８０に、検出されたマーカ５０の検出結果を時系列で記憶装置３１０に記憶する手順、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求める手順、検出されたマーカ５０の差分に応じた処理を実行する手順、を実行させるように記述されている。
【0154】
このように構成された本実施形態の情報処理装置３００の情報処理方法について、以下説明する。
図２１は、本実施形態の情報処理装置３００の動作の一例を示すフローチャートである。
本実施形態の情報処理装置３００におけるフローチャートは、図８の上記実施形態の情報処理装置１００のフローチャートと同様な手順（ステップＳ１０１～ステップＳ１０７）を有するとともに、さらに、ステップＳ３０１とステップＳ３０３を有する。
図２１は、本実施形態の情報処理装置３００の動作の一例を示すフローチャートである。
本実施形態の情報処理装置３００におけるフローチャートは、図８の上記実施形態の情報処理装置１００のフローチャートと同様な手順（ステップＳ１０１～ステップＳ１０７）を有するとともに、さらに、ステップＳ３０１とステップＳ３０３を有する。
【0155】
本発明の実施の形態に係る情報処理方法は、情報処理装置３００の情報処理方法であり、情報処理装置２００を実現するコンピュータ８０により実行される情報処理方法である。
本実施形態の情報処理方法は、情報処理装置３００が、検出されたマーカ５０の検出結果を時系列で記憶装置３１０に記憶し（ステップＳ３０１）、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求め（ステップＳ３０３）、検出されたマーカ５０の差分に応じた処理を実行する（ステップＳ１０５、ステップＳ１０７）、ことを含む。
本実施形態の情報処理方法は、情報処理装置３００が、検出されたマーカ５０の検出結果を時系列で記憶装置３１０に記憶し（ステップＳ３０１）、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求め（ステップＳ３０３）、検出されたマーカ５０の差分に応じた処理を実行する（ステップＳ１０５、ステップＳ１０７）、ことを含む。
【0156】
以下、詳細に説明する。
はじめに、通常の商品販売時の動作例について説明する。
まず、図８で説明したように、ステップＳ１０３で検出部３０２予め登録されているマーカ５０の特徴と閾値以上の類似度を有する画像領域をマーカ５０の画像領域として検出する（ステップＳ１０３のＹＥＳ）。
はじめに、通常の商品販売時の動作例について説明する。
まず、図８で説明したように、ステップＳ１０３で検出部３０２予め登録されているマーカ５０の特徴と閾値以上の類似度を有する画像領域をマーカ５０の画像領域として検出する（ステップＳ１０３のＹＥＳ）。
【0157】
【0158】
検出部３０２は、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求め（ステップＳ３０３）、さらに、検出結果記憶部３２０ａに記録する。
そして、実行部３０４が、処理条件３３０を参照し、マーカ５０の差分が－５以下ではないので（ステップＳ１０５のＮＯ）、ステップＳ１０７をバイパスし、何も処理せずに、本処理を終了する。
そして、実行部３０４が、処理条件３３０を参照し、マーカ５０の差分が－５以下ではないので（ステップＳ１０５のＮＯ）、ステップＳ１０７をバイパスし、何も処理せずに、本処理を終了する。
【0159】
次に、大量盗難や爆買い等により、商品が急激になくなる場合の動作例について説明する。
まず、図８で説明したように、ステップＳ１０３で検出部３０２予め登録されているマーカ５０の特徴と閾値以上の類似度を有する画像領域をマーカ５０の画像領域として検出する（ステップＳ１０３のＹＥＳ）。
まず、図８で説明したように、ステップＳ１０３で検出部３０２予め登録されているマーカ５０の特徴と閾値以上の類似度を有する画像領域をマーカ５０の画像領域として検出する（ステップＳ１０３のＹＥＳ）。
【0160】
【0161】
検出部３０２は、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求め（ステップＳ３０３）、さらに、検出結果記憶部３２０ｂに記録する。
そして、実行部３０４が、処理条件３３０を参照し、マーカ５０の差分が－５以下の検出条件を満たすことを判定し（ステップＳ１０５のＹＥＳ）、商品４２が大量になくなったことを示すメッセージ等を所定の端末に通知する処理を行い（ステップＳ１０７）、本処理を終了する。
そして、実行部３０４が、処理条件３３０を参照し、マーカ５０の差分が－５以下の検出条件を満たすことを判定し（ステップＳ１０５のＹＥＳ）、商品４２が大量になくなったことを示すメッセージ等を所定の端末に通知する処理を行い（ステップＳ１０７）、本処理を終了する。
【0162】
このように、本実施形態によれば、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分を求め、差分に応じて、予め定められた処理を行うことができる。通常の商品販売時のように徐々に商品４２が減った場合は、メッセージの通知処理は行われず、一気に大量の商品４２がなくなった場合は、メッセージの通知処理が行われることになる。
【0163】
以上説明したように、本実施形態の情報処理装置３００において、検出部３０２により、以前に検出されたマーカ５０と、今回検出されたマーカ５０の差分が求められ、実行部３０４により、差分に応じた処理が実行される。
【0164】
この構成によれば、上記実施形態と同様な効果を奏するとともに、さらに、マーカ５０の時間変化に応じて、処理を変えることができるので、短時間で商品４２が大量になくなったことを検出して、報知することが可能になる。したがった、本実施形態の情報処理装置３００によれば、簡単な構成で大量盗難や爆買いなどを検出し、通知することができる。
【0165】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、検出部によるマーカ検出対象範囲を定めるための基準となる基準マーカ６０をマーカ５０とは別に設置してもよい。
たとえば、検出部によるマーカ検出対象範囲を定めるための基準となる基準マーカ６０をマーカ５０とは別に設置してもよい。
【0166】
検出部（１０２、２０２、または３０２）は、基準マーカ６０を検出し、検出された基準マーカ６０に対応する検出範囲を対象として、マーカ５０の検出処理を行う。
【0167】
基準マーカ６０は、それぞれ検出範囲が予め設定されているものとする。まず、検出部により基準マーカ６０が検出され、検出された基準マーカ６０に対応する検出範囲を対象として、マーカ５０の検出処理を行われる。また、検出範囲毎に処理条件を設けてもよい。すなわち、同じマーカ５０であっても、異なる基準マーカ６０の検出範囲に含まれてもよく、検出範囲毎に異なる処理条件に従った処理を行うこともできる。
【0168】
図２２に示すように、棚板４４に２種類のマーカ５０ａとマーカ５０ｂが設置されているとする。
基準マーカ６０ａの検出範囲６２ａは破線で示され、基準マーカ６０ｂの検出範囲６２ｂは、一点鎖線で示されている。
基準マーカ６０ａの検出範囲６２ａは破線で示され、基準マーカ６０ｂの検出範囲６２ｂは、一点鎖線で示されている。
【0169】
また、異なる商品棚４０の棚板４４に同じ基準マーカ６０（たとえば、基準マーカ６０ａ）を設置した場合、異なる商品棚４０に対して基準マーカ６０ａの検出範囲６２ａでマーカ５０の検出を行うことができる。また、異なる商品棚４０について、同じ基準マーカ６０ａによる検出範囲６２ａに対して、同じ処理条件を用いてもよいし、異なる処理条件を用いてもよい。たとえば、同じ基準マーカ６０の検出範囲６２であっても商品棚４０やフロア等の場所によって処理条件を変えてもよい。
【0170】
この構成によれば、検出範囲を絞ってマーカ５０の検出処理が行えるとともに、同じマーカ５０であっても異なる処理条件を設定し、条件に応じた異なる処理を行うことができる。
【実施例】
【0171】
（実施例１）
図２３は、本発明の情報処理装置４００の実施例のシステム構成例を概念的に示す図である。
この例では、情報処理装置４００は、映像取得機能部４０２と、検知エンジン制御機能部４０４と、マーカ学習機能部４０６と、結果閲覧ビューワ４０８と、を有する。
図２３は、本発明の情報処理装置４００の実施例のシステム構成例を概念的に示す図である。
この例では、情報処理装置４００は、映像取得機能部４０２と、検知エンジン制御機能部４０４と、マーカ学習機能部４０６と、結果閲覧ビューワ４０８と、を有する。
【0172】
映像取得機能部４０２は、ＩＰカメラ４２０から撮像画像データ（映像データ４２４）を随時取得してもよいし、予め撮像され、記憶装置（不図示）に記録された映像ファイル４２２を任意のタイミングで読み込んで取得してもよい。
【0173】
映像取得機能部４０２が取得した映像データ４２４は検知エンジン制御機能部４０４に受け渡される。
【0174】
検知エンジン制御機能部４０４は、さらに、機械学習型検知エンジン４１０と、設定機能部４１２を含む。マーカ学習機能部４０６がマーカ５０を撮像した静止画像データ４３０を用いてマーカ５０を学習して生成した学習ライブラリ４３２が機械学習型検知エンジン４１０に受け渡され、登録される。
【0175】
さらに、設定機能部４１２は、学習ライブラリ４３２に登録されたマーカ５０の情報に対して、対応する処理の設定を受け付け、学習ライブラリ４３２に登録する。すなわち、設定機能部４１２は、上記実施形態で説明した各種処理条件を設定する機能を有する。
【0176】
検知エンジン制御機能部４０４は、上記実施形態の検出部に相当する。映像データ４２４からマーカ５０を検出し、その結果データ４３４を結果閲覧ビューワ４０８に受け渡す。ここでは、検出結果として、上記実施形態の実行部により設定されメッセージ（所定の情報）を結果データ４３４に含めてよい。結果閲覧ビューワ４０８は、検出結果情報を管理者に閲覧可能に提供する。たとえば、図２のサーバコンピュータ２０のモニタ２４またはレジ端末３０の店員用ディスプレイ３２に検出結果情報を表示させる。
【0177】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
【0178】
以下、参考形態の例を付記する。
１． 物品の配置場所を撮像した画像に対する画像認識処理により、予め定められているマーカのうち以前に検出されたマーカとの差分を検出する検出手段と、
前記差分に応じた処理を実行する実行手段と、を備える、情報処理装置。
２． 複数の前記マーカが前記場所に設定されており、
前記検出手段は、
検出された前記マーカの検出結果を時系列で記憶装置に記憶し、
以前に検出された前記マーカと、今回検出された前記マーカの差分を求める、１．に記載の情報処理装置。
３． 複数の前記マーカが前記場所に設定されており、
検出された前記マーカの種類または場所を特定する特定手段をさらに備え、
前記実行手段は、
特定された前記マーカの種類または場所に応じた処理を実行する、１．または２．に記載の情報処理装置。
４． 複数の前記マーカが前記場所に設定されており、
前記実行手段は、
検出された前記マーカの組み合わせに応じた処理を実行する、３．に記載の情報処理装置。
５． 前記特定手段は、さらに、前記マーカのうち検出できた範囲を特定し、
前記実行手段は、
前記特定手段により特定された前記範囲に応じた処理を実行する、３．または４．に記載の情報処理装置。
６． 前記検出手段は、
機械学習により学習されたマーカの特徴を用いて前記マーカを検出する、１．から５．いずれか一つに記載の情報処理装置。
７． 前記実行手段により実行される前記予め定められた処理は、所定の情報を所定の端末に送信する処理を含む、１．から６．いずれか一つに記載の情報処理装置。
８． 前記所定の情報は、検出された前記マーカに対応する撮像部で撮像した画像を特定する情報を含む、７．に記載の情報処理装置。
９． 前記所定の情報は、アラート情報を含む、７．または８．に記載の情報処理装置。
１０． 前記実行手段により実行される前記予め定められた処理は、前記検出手段による前記マーカの検出結果に関する情報を通知する処理を含む、１．から９．いずれか一つに記載の情報処理装置。
１． 物品の配置場所を撮像した画像に対する画像認識処理により、予め定められているマーカのうち以前に検出されたマーカとの差分を検出する検出手段と、
前記差分に応じた処理を実行する実行手段と、を備える、情報処理装置。
２． 複数の前記マーカが前記場所に設定されており、
前記検出手段は、
検出された前記マーカの検出結果を時系列で記憶装置に記憶し、
以前に検出された前記マーカと、今回検出された前記マーカの差分を求める、１．に記載の情報処理装置。
３． 複数の前記マーカが前記場所に設定されており、
検出された前記マーカの種類または場所を特定する特定手段をさらに備え、
前記実行手段は、
特定された前記マーカの種類または場所に応じた処理を実行する、１．または２．に記載の情報処理装置。
４． 複数の前記マーカが前記場所に設定されており、
前記実行手段は、
検出された前記マーカの組み合わせに応じた処理を実行する、３．に記載の情報処理装置。
５． 前記特定手段は、さらに、前記マーカのうち検出できた範囲を特定し、
前記実行手段は、
前記特定手段により特定された前記範囲に応じた処理を実行する、３．または４．に記載の情報処理装置。
６． 前記検出手段は、
機械学習により学習されたマーカの特徴を用いて前記マーカを検出する、１．から５．いずれか一つに記載の情報処理装置。
７． 前記実行手段により実行される前記予め定められた処理は、所定の情報を所定の端末に送信する処理を含む、１．から６．いずれか一つに記載の情報処理装置。
８． 前記所定の情報は、検出された前記マーカに対応する撮像部で撮像した画像を特定する情報を含む、７．に記載の情報処理装置。
９． 前記所定の情報は、アラート情報を含む、７．または８．に記載の情報処理装置。
１０． 前記実行手段により実行される前記予め定められた処理は、前記検出手段による前記マーカの検出結果に関する情報を通知する処理を含む、１．から９．いずれか一つに記載の情報処理装置。
【0179】
１１． 情報処理装置が、
物品の配置場所を撮像した画像に対する画像認識処理により、予め定められているマーカのうち以前に検出されたマーカとの差分を検出し、
前記差分に応じた処理を実行する情報処理方法。
１２． 複数の前記マーカが前記場所に設定されており、
前記情報処理装置が、
検出された前記マーカの検出結果を時系列で記憶装置に記憶し、
以前に検出された前記マーカと、今回検出された前記マーカの差分を求める、１１．に記載の情報処理方法。
１３． 複数の前記マーカが前記場所に設定されており、
前記情報処理装置が、
検出された前記マーカの種類または場所を特定し、
特定された前記マーカの種類または場所に応じた処理を実行する、１１．または１２．に記載の情報処理方法。
１４． 複数の前記マーカが前記場所に設定されており、
前記情報処理装置が、
検出された前記マーカの組み合わせに応じた処理を実行する、１３．に記載の情報処理方法。
１５． 前記情報処理装置が、
さらに、前記マーカのうち検出できた範囲を特定し、
特定された前記範囲に応じた処理を実行する、１３．または１４．に記載の情報処理方法。
１６． 前記情報処理装置が、
機械学習により学習されたマーカの特徴を用いて前記マーカを検出する、１１．から１５．いずれか一つに記載の情報処理方法。
１７． 実行される前記予め定められた処理は、所定の情報を所定の端末に送信する処理を含む、１１．から１６．いずれか一つに記載の情報処理方法。
１８． 前記所定の情報は、検出された前記マーカに対応する撮像部で撮像した画像を特定する情報を含む、１７．に記載の情報処理方法。
１９． 前記所定の情報は、アラート情報を含む、１７．または１８．に記載の情報処理方法。
２０． 実行される前記予め定められた処理は、前記マーカの検出結果に関する情報を通知する処理を含む、１１．から１９．いずれか一つに記載の情報処理方法。
物品の配置場所を撮像した画像に対する画像認識処理により、予め定められているマーカのうち以前に検出されたマーカとの差分を検出し、
前記差分に応じた処理を実行する情報処理方法。
１２． 複数の前記マーカが前記場所に設定されており、
前記情報処理装置が、
検出された前記マーカの検出結果を時系列で記憶装置に記憶し、
以前に検出された前記マーカと、今回検出された前記マーカの差分を求める、１１．に記載の情報処理方法。
１３． 複数の前記マーカが前記場所に設定されており、
前記情報処理装置が、
検出された前記マーカの種類または場所を特定し、
特定された前記マーカの種類または場所に応じた処理を実行する、１１．または１２．に記載の情報処理方法。
１４． 複数の前記マーカが前記場所に設定されており、
前記情報処理装置が、
検出された前記マーカの組み合わせに応じた処理を実行する、１３．に記載の情報処理方法。
１５． 前記情報処理装置が、
さらに、前記マーカのうち検出できた範囲を特定し、
特定された前記範囲に応じた処理を実行する、１３．または１４．に記載の情報処理方法。
１６． 前記情報処理装置が、
機械学習により学習されたマーカの特徴を用いて前記マーカを検出する、１１．から１５．いずれか一つに記載の情報処理方法。
１７． 実行される前記予め定められた処理は、所定の情報を所定の端末に送信する処理を含む、１１．から１６．いずれか一つに記載の情報処理方法。
１８． 前記所定の情報は、検出された前記マーカに対応する撮像部で撮像した画像を特定する情報を含む、１７．に記載の情報処理方法。
１９． 前記所定の情報は、アラート情報を含む、１７．または１８．に記載の情報処理方法。
２０． 実行される前記予め定められた処理は、前記マーカの検出結果に関する情報を通知する処理を含む、１１．から１９．いずれか一つに記載の情報処理方法。
【0180】
２１． コンピュータに、
物品の配置場所を撮像した画像に対する画像認識処理により、予め定められているマーカのうち以前に検出されたマーカとの差分を検出する手順、
前記差分に応じた処理を実行する手順、を実行させるためのプログラム。
２２． 複数の前記マーカが前記場所に設定されており、
コンピュータに、
検出された前記マーカの検出結果を時系列で記憶装置に記憶する手順、
以前に検出された前記マーカと、今回検出された前記マーカの差分を求める手順、を実行させるための２１．に記載のプログラム。
２３． 複数の前記マーカが前記場所に設定されており、
コンピュータに、
検出された前記マーカの種類または場所を特定する手順、
特定された前記マーカの種類または場所に応じた処理を実行する手順、２１．または２２．に記載のプログラム。
２４． 複数の前記マーカが前記場所に設定されており、
コンピュータに、
検出された前記マーカの組み合わせに応じた処理を実行する手順、２３．に記載のプログラム。
２５． コンピュータに、
さらに、前記マーカのうち検出できた範囲を特定する手順、
前記特定する手順により特定された前記範囲に応じた処理を実行する手順、２３．または２４．に記載のプログラム。
２６． コンピュータに、
機械学習により学習されたマーカの特徴を用いて前記マーカを検出する手順、２１．から２５．いずれか一つに記載のプログラム。
２７． 前記実行する手順により実行される前記予め定められた処理は、所定の情報を所定の端末に送信する処理を含む、２１．から２６．いずれか一つに記載のプログラム。
２８． 前記所定の情報は、検出された前記マーカに対応する撮像部で撮像した画像を特定する情報を含む、２７．に記載のプログラム。
２９． 前記所定の情報は、アラート情報を含む、２７．または２８．に記載のプログラム。
３０． 前記実行する手順により実行される前記予め定められた処理は、前記検出する手順による前記マーカの検出結果に関する情報を通知する処理を含む、２１．から２９．いずれか一つに記載のプログラム。
物品の配置場所を撮像した画像に対する画像認識処理により、予め定められているマーカのうち以前に検出されたマーカとの差分を検出する手順、
前記差分に応じた処理を実行する手順、を実行させるためのプログラム。
２２． 複数の前記マーカが前記場所に設定されており、
コンピュータに、
検出された前記マーカの検出結果を時系列で記憶装置に記憶する手順、
以前に検出された前記マーカと、今回検出された前記マーカの差分を求める手順、を実行させるための２１．に記載のプログラム。
２３． 複数の前記マーカが前記場所に設定されており、
コンピュータに、
検出された前記マーカの種類または場所を特定する手順、
特定された前記マーカの種類または場所に応じた処理を実行する手順、２１．または２２．に記載のプログラム。
２４． 複数の前記マーカが前記場所に設定されており、
コンピュータに、
検出された前記マーカの組み合わせに応じた処理を実行する手順、２３．に記載のプログラム。
２５． コンピュータに、
さらに、前記マーカのうち検出できた範囲を特定する手順、
前記特定する手順により特定された前記範囲に応じた処理を実行する手順、２３．または２４．に記載のプログラム。
２６． コンピュータに、
機械学習により学習されたマーカの特徴を用いて前記マーカを検出する手順、２１．から２５．いずれか一つに記載のプログラム。
２７． 前記実行する手順により実行される前記予め定められた処理は、所定の情報を所定の端末に送信する処理を含む、２１．から２６．いずれか一つに記載のプログラム。
２８． 前記所定の情報は、検出された前記マーカに対応する撮像部で撮像した画像を特定する情報を含む、２７．に記載のプログラム。
２９． 前記所定の情報は、アラート情報を含む、２７．または２８．に記載のプログラム。
３０． 前記実行する手順により実行される前記予め定められた処理は、前記検出する手順による前記マーカの検出結果に関する情報を通知する処理を含む、２１．から２９．いずれか一つに記載のプログラム。
【0181】
この出願は、２０１６年３月２２日に出願された日本出願特願２０１６－０５６５６５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】