ホーム > 特許ランキング > 株式会社Ｒｅｔａｉｌ ＡＩ
知財求人 - 知財ポータルサイト「IP Force」
特開2022-40557情報処理装置と情報処理システムと情報処理プログラムと情報処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022040557
(43)【公開日】2022-03-11
(54)【発明の名称】情報処理装置と情報処理システムと情報処理プログラムと情報処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220304BHJP
B65G 61/00 20060101ALI20220304BHJP
G06Q 30/06 20120101ALI20220304BHJP
【ＦＩ】
G06T7/00 300Z
B65G61/00 416
G06Q30/06
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2020145325
(22)【出願日】2020-08-31
(71)【出願人】
【識別番号】519135611
【氏名又は名称】株式会社Ｒｅｔａｉｌ ＡＩ
(74)【代理人】
【識別番号】100141173
【弁理士】
【氏名又は名称】西村 啓一
(72)【発明者】
【氏名】片渕 典史
(72)【発明者】
【氏名】柳原 尚史
(72)【発明者】
【氏名】宮▲崎▼ 勝弘
(72)【発明者】
【氏名】田口 富茂
【テーマコード（参考）】
5L049
5L096
【Ｆターム（参考）】
5L049BB72
5L096AA01
5L096AA06
5L096FA06
5L096FA33
5L096FA69
5L096GA51
5L096HA11
(57)【要約】 （修正有）
【課題】商品管理の正確性を向上する情報処理装置を提供する。
【解決手段】情報処理装置は、複数の個別領域のうち焦点位置が設定される個別領域の組み合わせを特定する焦点位置パターンを複数記憶する記憶部２２と、商品棚を撮像した撮像画像を基準画像として取得する取得部２３１と、複数の焦点変更画像に基づいて商品コードに対応する商品情報を特定する情報特定部２３７と、撮像装置制御部と、を有する。撮像装置制御部は、商品棚の領域を特定する領域特定部２３２と、複数の特定領域を検出する検出部２３３と、検出部の検出結果に応じた１の焦点位置パターンを選択パターンとして選択する選択部２３４と、特定領域に基づいて選択パターンに含まれる複数の個別領域毎に焦点位置を設定する焦点位置設定部２３５と、焦点位置夫々に焦点を合わせた複数の焦点変更画像を撮像装置に撮像させる制御信号を生成する信号生成部２３６と、で構成する。
【選択図】図５
【解決手段】情報処理装置は、複数の個別領域のうち焦点位置が設定される個別領域の組み合わせを特定する焦点位置パターンを複数記憶する記憶部２２と、商品棚を撮像した撮像画像を基準画像として取得する取得部２３１と、複数の焦点変更画像に基づいて商品コードに対応する商品情報を特定する情報特定部２３７と、撮像装置制御部と、を有する。撮像装置制御部は、商品棚の領域を特定する領域特定部２３２と、複数の特定領域を検出する検出部２３３と、検出部の検出結果に応じた１の焦点位置パターンを選択パターンとして選択する選択部２３４と、特定領域に基づいて選択パターンに含まれる複数の個別領域毎に焦点位置を設定する焦点位置設定部２３５と、焦点位置夫々に焦点を合わせた複数の焦点変更画像を撮像装置に撮像させる制御信号を生成する信号生成部２３６と、で構成する。
【選択図】図５
【特許請求の範囲】
【請求項1】
商品が陳列される商品棚を撮像する撮像装置が撮像した複数の撮像画像に基づいて、前記商品の商品情報を特定する情報処理装置であって、
前記商品棚には、前記商品情報に対応する商品コードを表示する表示札が付され、
前記撮像画像に撮像された前記商品棚の領域は、複数の個別領域、を含み、
複数の前記撮像画像は、焦点位置の異なる複数の焦点変更画像、を含み、
複数の前記個別領域のうち、前記焦点位置が設定される前記個別領域の組み合わせを特定する焦点位置パターンを複数記憶する記憶部と、
前記撮像装置が前記商品棚を撮像した前記撮像画像を基準画像として取得する取得部と、
前記撮像装置の動作を制御する撮像装置制御部と、
前記制御信号に基づいて前記動作が制御された前記撮像装置により撮像された複数の前記焦点変更画像に基づいて、前記商品コードに対応する前記商品情報を特定する情報特定部と、
を有してなり、
前記撮像装置制御部は、
前記基準画像に撮像された前記商品棚の前記領域を特定する領域特定部と、
前記商品棚の前記領域に撮像されている前記商品コードを含む複数の特定領域を検出する検出部と、
前記記憶部に記憶されている複数の前記焦点位置パターンのうち、前記検出部の検出結果に応じた１の前記焦点位置パターンを、選択パターンとして選択する選択部と、
前記検出部により検出された前記特定領域に基づいて、前記選択パターンに含まれる複数の前記個別領域ごとに、前記焦点位置を設定する焦点位置設定部と、
複数の前記焦点位置それぞれに焦点を合わせた複数の前記焦点変更画像を、前記撮像装置に撮像させる前記制御信号を生成する信号生成部と、
を備える、
ことを特徴とする情報処理装置。
前記商品棚には、前記商品情報に対応する商品コードを表示する表示札が付され、
前記撮像画像に撮像された前記商品棚の領域は、複数の個別領域、を含み、
複数の前記撮像画像は、焦点位置の異なる複数の焦点変更画像、を含み、
複数の前記個別領域のうち、前記焦点位置が設定される前記個別領域の組み合わせを特定する焦点位置パターンを複数記憶する記憶部と、
前記撮像装置が前記商品棚を撮像した前記撮像画像を基準画像として取得する取得部と、
前記撮像装置の動作を制御する撮像装置制御部と、
前記制御信号に基づいて前記動作が制御された前記撮像装置により撮像された複数の前記焦点変更画像に基づいて、前記商品コードに対応する前記商品情報を特定する情報特定部と、
を有してなり、
前記撮像装置制御部は、
前記基準画像に撮像された前記商品棚の前記領域を特定する領域特定部と、
前記商品棚の前記領域に撮像されている前記商品コードを含む複数の特定領域を検出する検出部と、
前記記憶部に記憶されている複数の前記焦点位置パターンのうち、前記検出部の検出結果に応じた１の前記焦点位置パターンを、選択パターンとして選択する選択部と、
前記検出部により検出された前記特定領域に基づいて、前記選択パターンに含まれる複数の前記個別領域ごとに、前記焦点位置を設定する焦点位置設定部と、
複数の前記焦点位置それぞれに焦点を合わせた複数の前記焦点変更画像を、前記撮像装置に撮像させる前記制御信号を生成する信号生成部と、
を備える、
ことを特徴とする情報処理装置。
【請求項2】
前記特定領域は、前記商品コードである、
請求項１記載の情報処理装置。
請求項１記載の情報処理装置。
【請求項3】
前記選択部は、前記検出部により検出された複数の前記商品コードの画素情報に基づいて、前記選択パターンを選択する、
請求項２記載の情報処理装置。
請求項２記載の情報処理装置。
【請求項4】
前記焦点位置設定部は、前記検出部により検出された前記商品コードそれぞれの鮮明度に基づいて、前記焦点位置を設定する、
請求項２記載の情報処理装置。
請求項２記載の情報処理装置。
【請求項5】
前記焦点位置設定部は、
前記個別領域それぞれにおいて検出された複数の前記商品コードのうち、前記鮮明度が所定の閾値以上、かつ、最小となる前記商品コードを選択し、
選択された前記商品コードの位置情報に基づいて、前記焦点位置を設定する、
請求項４記載の情報処理装置。
前記個別領域それぞれにおいて検出された複数の前記商品コードのうち、前記鮮明度が所定の閾値以上、かつ、最小となる前記商品コードを選択し、
選択された前記商品コードの位置情報に基づいて、前記焦点位置を設定する、
請求項４記載の情報処理装置。
【請求項6】
前記焦点位置設定部は、前記検出部により検出された前記商品コードそれぞれの間の位置関係に基づいて、前記焦点位置を設定する、
請求項２記載の情報処理装置。
請求項２記載の情報処理装置。
【請求項7】
前記焦点位置設定部は、
前記基準画像において、前記商品棚の前記領域の重心を特定し、
前記重心に最も近い前記商品コードを中心商品コードとして特定し、
前記検出部により検出された前記商品コードのうち、前記中心商品コードを除く前記商品コードそれぞれと、前記中心商品コードと、の前記位置関係に基づいて、前記個別領域それぞれにおいて検出された前記商品コードのうち、１の前記商品コードを選択し、
選択された前記商品コードの位置情報に基づいて、前記焦点位置を設定する、
請求項６記載の情報処理装置。
前記基準画像において、前記商品棚の前記領域の重心を特定し、
前記重心に最も近い前記商品コードを中心商品コードとして特定し、
前記検出部により検出された前記商品コードのうち、前記中心商品コードを除く前記商品コードそれぞれと、前記中心商品コードと、の前記位置関係に基づいて、前記個別領域それぞれにおいて検出された前記商品コードのうち、１の前記商品コードを選択し、
選択された前記商品コードの位置情報に基づいて、前記焦点位置を設定する、
請求項６記載の情報処理装置。
【請求項8】
前記焦点位置設定部は、前記個別領域ごとに、前記商品棚の前記領域の端部に近く、かつ、前記中心商品コードから最も離れた前記商品コード、または、前記端部に近い前記商品コードのうち、前記中心商品コードに最も近い前記商品コード、のいずれかの前記商品コードを選択する、
請求項７記載の情報処理装置。
請求項７記載の情報処理装置。
【請求項9】
前記記憶部は、前記焦点位置設定部が前記焦点位置を設定する複数の設定方式、を記憶し、
前記設定方式は、
前記基準画像の前記検出部により検出された前記商品コードそれぞれの鮮明度に基づいて、前記焦点位置を設定する第１設定方式と、
前記基準画像の前記検出部により検出された前記商品コードそれぞれの位置情報に基づいて、前記焦点位置を設定する第２設定方式と、
を含み、
前記焦点位置設定部は、前記基準画像の前記検出部により検出された前記商品コードそれぞれの画素情報に基づいて、前記第１設定方式と前記第２設定方式とのいずれかを選択する、
請求項２記載の情報処理装置。
前記設定方式は、
前記基準画像の前記検出部により検出された前記商品コードそれぞれの鮮明度に基づいて、前記焦点位置を設定する第１設定方式と、
前記基準画像の前記検出部により検出された前記商品コードそれぞれの位置情報に基づいて、前記焦点位置を設定する第２設定方式と、
を含み、
前記焦点位置設定部は、前記基準画像の前記検出部により検出された前記商品コードそれぞれの画素情報に基づいて、前記第１設定方式と前記第２設定方式とのいずれかを選択する、
請求項２記載の情報処理装置。
【請求項10】
前記検出部は、
前記焦点変更画像ごとに、前記商品棚の前記領域における複数の前記商品コードを検出し、
前記焦点変更画像ごとに検出された前記商品コードそれぞれの位置情報を特定し、
前記焦点変更画像間において前記商品コードそれぞれの前記位置情報を比較し、
前記焦点変更画像間において共通する距離範囲内に位置する前記商品コードを、前記焦点変更画像間で同一の前記商品コードに対応する商品コード群として特定する、
請求項１記載の情報処理装置。
前記焦点変更画像ごとに、前記商品棚の前記領域における複数の前記商品コードを検出し、
前記焦点変更画像ごとに検出された前記商品コードそれぞれの位置情報を特定し、
前記焦点変更画像間において前記商品コードそれぞれの前記位置情報を比較し、
前記焦点変更画像間において共通する距離範囲内に位置する前記商品コードを、前記焦点変更画像間で同一の前記商品コードに対応する商品コード群として特定する、
請求項１記載の情報処理装置。
【請求項11】
前記情報特定部は、前記商品コード群に含まれる複数の前記商品コードに対応する前記商品情報に基づいて、前記商品コード群に対応する前記商品情報を特定する、
請求項１０記載の情報処理装置。
請求項１０記載の情報処理装置。
【請求項12】
前記情報特定部は、
前記焦点変更画像ごとに、前記商品コードに基づいて、前記商品情報を特定し、
前記焦点変更画像ごとに特定された前記商品情報を統合して、前記商品棚に付された前記表示札それぞれが表示する前記商品コードに対応する前記商品情報を特定する、
請求項９または１０記載の情報処理装置。
前記焦点変更画像ごとに、前記商品コードに基づいて、前記商品情報を特定し、
前記焦点変更画像ごとに特定された前記商品情報を統合して、前記商品棚に付された前記表示札それぞれが表示する前記商品コードに対応する前記商品情報を特定する、
請求項９または１０記載の情報処理装置。
【請求項13】
前記情報特定部が前記商品コードに対応する前記商品情報を特定できないとき、
前記選択部は、前記商品情報が特定されていない前記商品コードの位置情報に基づいて、前記選択パターンとは異なる前記焦点位置パターンを新たな選択パターンとして選択する、
請求項１記載の情報処理装置。
前記選択部は、前記商品情報が特定されていない前記商品コードの位置情報に基づいて、前記選択パターンとは異なる前記焦点位置パターンを新たな選択パターンとして選択する、
請求項１記載の情報処理装置。
【請求項14】
前記焦点位置設定部は、前記商品棚の前記領域に対する前記特定領域の位置関係に基づいて、前記焦点位置を設定し、
前記特定領域は、前記商品棚の前記領域のうち、前記表示札を撮像可能な領域である、
請求項３記載の情報処理装置。
前記特定領域は、前記商品棚の前記領域のうち、前記表示札を撮像可能な領域である、
請求項３記載の情報処理装置。
【請求項15】
前記個別領域は、特定個別領域と非特定個別領域とを含み、
前記焦点位置設定部は、
前記商品棚の前記領域に対する前記特定領域の前記位置関係に基づいて、前記特定個別領域に対応する前記焦点位置を設定し、
前記特定個別領域に設定された前記焦点位置に基づいて、前記非特定個別領域に対応する前記焦点位置を設定する、
請求項１４記載の情報処理装置。
前記焦点位置設定部は、
前記商品棚の前記領域に対する前記特定領域の前記位置関係に基づいて、前記特定個別領域に対応する前記焦点位置を設定し、
前記特定個別領域に設定された前記焦点位置に基づいて、前記非特定個別領域に対応する前記焦点位置を設定する、
請求項１４記載の情報処理装置。
【請求項16】
コンピュータを請求項１記載の情報処理装置として機能させる、
ことを特徴とする情報処理プログラム。
ことを特徴とする情報処理プログラム。
【請求項17】
商品が陳列される商品棚が撮像された複数の撮像画像に基づいて、前記商品の商品情報を特定する情報処理システムであって、
前記撮像画像を撮像する撮像装置と、
前記商品情報を特定する情報処理装置と、
を有してなり、
前記情報処理装置は、請求項１記載の情報処理装置である、
ことを特徴とする情報処理システム。
前記撮像画像を撮像する撮像装置と、
前記商品情報を特定する情報処理装置と、
を有してなり、
前記情報処理装置は、請求項１記載の情報処理装置である、
ことを特徴とする情報処理システム。
【請求項18】
商品が陳列される商品棚を撮像する撮像装置が撮像した複数の撮像画像に基づいて、前記商品の商品情報を特定する情報処理装置により実行される情報処理方法であって、
前記商品棚には、前記商品の商品情報に対応する商品コードを表示する表示札が付され、
前記撮像画像に撮像された前記商品棚の領域は、複数の個別領域、を含み、
複数の前記撮像画像は、焦点位置の異なる複数の焦点変更画像、を含み、
前記情報処理装置は、
複数の前記個別領域のうち、前記焦点位置が設定される前記個別領域の組み合わせを特定する焦点位置パターンを複数記憶する記憶部、
を備え、
前記情報処理装置が、
前記撮像装置が前記商品棚を撮像した前記撮像画像を基準画像として取得する取得ステップと、
前記基準画像に撮像された前記商品棚の前記領域を特定する領域特定ステップと、
前記撮像装置の動作を制御する制御信号を生成する信号生成ステップと、
前記制御信号に基づいて前記動作が制御された前記撮像装置により撮像された複数の前記焦点変更画像に基づいて、前記商品コードに対応する前記商品情報を特定する情報特定ステップと、
を有してなり、
前記信号生成ステップは、
前記商品棚の前記領域に撮像されている前記商品コードを含む特定領域を検出する検出ステップと、
前記記憶部に記憶されている複数の焦点位置パターンのうち、前記検出部の検出結果に応じた１の前記焦点位置パターンを、選択パターンとして選択する選択ステップと、
前記検出ステップにより検出された前記特定領域に基づいて、前記選択パターンに含まれる複数の前記個別領域ごとに、前記焦点位置を設定する焦点位置設定ステップと、
を含み、
前記制御信号は、複数の前記焦点位置それぞれに焦点を合わせた複数の前記焦点変更画像を、前記撮像装置に撮像させる信号である、
ことを特徴とする情報処理方法。
前記商品棚には、前記商品の商品情報に対応する商品コードを表示する表示札が付され、
前記撮像画像に撮像された前記商品棚の領域は、複数の個別領域、を含み、
複数の前記撮像画像は、焦点位置の異なる複数の焦点変更画像、を含み、
前記情報処理装置は、
複数の前記個別領域のうち、前記焦点位置が設定される前記個別領域の組み合わせを特定する焦点位置パターンを複数記憶する記憶部、
を備え、
前記情報処理装置が、
前記撮像装置が前記商品棚を撮像した前記撮像画像を基準画像として取得する取得ステップと、
前記基準画像に撮像された前記商品棚の前記領域を特定する領域特定ステップと、
前記撮像装置の動作を制御する制御信号を生成する信号生成ステップと、
前記制御信号に基づいて前記動作が制御された前記撮像装置により撮像された複数の前記焦点変更画像に基づいて、前記商品コードに対応する前記商品情報を特定する情報特定ステップと、
を有してなり、
前記信号生成ステップは、
前記商品棚の前記領域に撮像されている前記商品コードを含む特定領域を検出する検出ステップと、
前記記憶部に記憶されている複数の焦点位置パターンのうち、前記検出部の検出結果に応じた１の前記焦点位置パターンを、選択パターンとして選択する選択ステップと、
前記検出ステップにより検出された前記特定領域に基づいて、前記選択パターンに含まれる複数の前記個別領域ごとに、前記焦点位置を設定する焦点位置設定ステップと、
を含み、
前記制御信号は、複数の前記焦点位置それぞれに焦点を合わせた複数の前記焦点変更画像を、前記撮像装置に撮像させる信号である、
ことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置と、情報処理システムと、情報処理プログラムと、情報処理方法と、に関する。
【背景技術】
【0002】
スーパーマーケットやコンビニエンスストア（コンビニ）などの売場において、陳列された商品が不足（欠品）していると、商品の販売機会が失われ、売場の売上げが減少する。そのため、売場の店員は、定期的に商品を監視して、商品が不足している場合、不足している商品を補充して商品の不足を解消する作業を速やかに行わなければならない。
【0003】
また、同売場において商品棚へ商品を陳列する際、商品棚への商品の割り当て（棚割）は、商品の売上げを左右する重要な要素である。そのため、売場における棚割の作成や、棚割通りに商品が陳列されているか否かの監視、売上げや季節に応じた棚割の変更などの棚割の管理は、売場においてしばしば実行されている。
【0004】
このような商品の欠品や商品の棚割などの商品管理において、商品が陳列された商品棚を撮像した撮像画像を用いて、商品を管理する技術が提案されている（例えば、特許文献１参照）。
【0005】
特許文献１に開示された技術は、値札（商品タグ）が付された商品棚を撮像した撮像画像に基づいて、商品棚に陳列されている商品の商品識別情報と、値札の商品識別情報と、を取得し、両商品識別情報を比較することにより、商品の陳列状況（例えば、商品が陳列中か、欠品か、などの状況）を判定する。その結果、同技術は、商品棚に陳列されている商品の陳列状況を精度よく判定できる。
【0006】
しかしながら、同技術は、撮像画像に全ての商品と値札とが商品識別情報を取得可能な状態で撮像されていることを前提としている。そのため、撮像画像において、一部の商品の値札が検出できないとき、同技術は、誤った棚割情報および／または欠品情報を生成する。すなわち、同技術は、不正確な棚割情報および／または欠品情報を生成し得る。その結果、同技術を用いた商品管理は、正確性に欠ける場合が有る。
【0007】
また、一般的な撮像装置で撮像された撮像画像の焦点は撮像画像の外縁部に近づくほどずれ易く、同外縁部の画像は不鮮明で低コントラストになり易い。さらに、商品棚では、商品のフェイス面が商品棚の棚板（プライスレール）の正面に合わせて配置される。そのため、商品棚の正面は、一様なテクスチャとなり易い。その結果、オートフォーカス機能による焦点合わせ（合焦）が用いられたとしても、撮像画像の全ての領域における商品と商品タグへの合焦は、困難である。
【0008】
このように、商品棚を撮像した撮像画像において、全ての値札が識別可能な状態で撮像されている可能性は極めて少ない。そのため、撮像画像に撮像された値札の認識精度を向上させた正確性の高い商品管理の技術が望まれている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開２０１９－１８５６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明は、商品管理の正確性を向上可能な情報処理装置と情報処理システムと情報処理プログラムと情報処理方法とを提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明に係る情報処理装置は、商品が陳列される商品棚を撮像する撮像装置が撮像した複数の撮像画像に基づいて、商品の商品情報を特定する情報処理装置であって、商品棚には、商品の商品情報に対応する商品コードを表示する表示札が付され、撮像画像に撮像された商品棚の領域は、複数の個別領域、を含み、複数の撮像画像は、焦点位置の異なる複数の焦点変更画像、を含み、複数の個別領域のうち、焦点位置が設定される個別領域の組み合わせを特定する焦点位置パターンを複数記憶する記憶部と、撮像装置が商品棚を撮像した撮像画像を基準画像として取得する取得部と、撮像装置の動作を制御する撮像装置制御部と、制御信号に基づいて動作が制御された撮像装置により撮像された複数の焦点変更画像に基づいて、商品コードに対応する商品情報を特定する情報特定部と、を有してなり、撮像装置制御部は、基準画像に撮像された商品棚の領域を特定する領域特定部と、商品棚の領域に撮像されている商品コードを含む複数の特定領域を検出する検出部と、記憶部に記憶されている複数の焦点位置パターンのうち、検出部の検出結果に応じた１の焦点位置パターンを、選択パターンとして選択する選択部と、検出部により検出された特定領域に基づいて、選択パターンに含まれる複数の個別領域ごとに、焦点位置を設定する焦点位置設定部と、複数の焦点位置それぞれに焦点を合わせた複数の焦点変更画像を、撮像装置に撮像させる制御信号を生成する信号生成部と、を備えることを特徴とする。
【発明の効果】
【0012】
本発明によれば、商品管理の正確性を向上することができる。
【図面の簡単な説明】
【0013】
【図1】本発明に係る情報処理システムの実施の形態を示すネットワーク構成図である。
【図5】本発明に係る情報処理装置の実施の形態を示す機能ブロック図である。
【図6】本発明に係る情報処理方法の実施の形態を示すフローチャートである。
【発明を実施するための形態】
【0014】
本発明に係る情報処理装置と情報処理システムと情報処理プログラムと情報処理方法との実施の形態は、以下の実施の形態と図面とにより説明される。
【0015】
●情報処理システム●
本発明に係る情報処理システム（以下「本システム」という。）は、商品が陳列された商品棚が撮像された撮像画像に基づいて、商品の商品情報を特定する。具体的には、本システムは、撮像画像に基づいて、焦点位置パターンを選択し、選択された焦点位置パターンに対応する焦点位置を設定し、撮像装置の動作を制御して、複数の焦点変更画像を取得する。本システムは、焦点変更画像に基づいて、商品棚に付された商品コードに対応する商品情報を特定する。
本発明に係る情報処理システム（以下「本システム」という。）は、商品が陳列された商品棚が撮像された撮像画像に基づいて、商品の商品情報を特定する。具体的には、本システムは、撮像画像に基づいて、焦点位置パターンを選択し、選択された焦点位置パターンに対応する焦点位置を設定し、撮像装置の動作を制御して、複数の焦点変更画像を取得する。本システムは、焦点変更画像に基づいて、商品棚に付された商品コードに対応する商品情報を特定する。
【0016】
「商品」は、閉空間内に陳列され、客に購入される物品である。商品は、閉空間内に設置される商品棚に、商品の種類ごとに整列された（または、重ねられた）状態で陳列される。
【0017】
「閉空間」は、任意の範囲で区画される三次元的な空間であり、本システムが商品の商品情報を特定可能な空間である。閉空間は、物理的に区画される空間と、物理的に区画されない空間と、を含む。すなわち、例えば、閉空間は、スーパーマーケットやコンビニエンスストアなどの売場の内部空間、多数の売場が連なるショッピングモールや空港の免税店の各売場の内部空間、売場の屋外売場などの屋外の空間、を含む。
【0018】
「商品棚」は、商品が陳列される陳列スペースを有し、売場に設置される物体である。商品棚には、後述される表示札が付され、表示札に対応する商品が陳列される。商品棚は、水平の棚板の上に商品を陳列する陳列棚や、天板の上に商品を陳列する陳列台、天板の上で作業をするための作業棚（作業台）、段ボールなどの容器で構成される簡易棚、多段型や平型の冷蔵・冷凍ショーケース、などを含む。商品棚は、土台や支柱、天板、背板などから構成される外枠と、外枠に囲まれた領域に配置される棚板と、を備える。
【0019】
「撮像画像」は、商品棚と、商品棚に陳列された商品と、商品に対応する表示札と、が撮像された画像情報である。すなわち、撮像画像は、商品棚の領域を含む。
【0020】
「商品棚の領域」は、撮像画像に含まれる全ての領域のうち、１つまたは１群の商品棚により占められる領域（商品棚の外枠や棚板で囲まれた領域）である。商品棚の領域（以下「商品棚領域」という。）は、複数の個別領域を含む。
【0021】
「個別領域」は、商品棚領域を複数の小領域に分割したとき、それぞれの小領域が占める領域である。個別領域は、少なくとも商品棚領域の一部を含み、商品棚以外の領域（撮像画像に撮像された隣接する商品棚や、通路、天井・壁の領域）の一部を含み得る。各個別領域の大きさ（面積）は、同じでもよく、あるいは、異なってもよい。本実施の形態において、商品棚領域に含まれる個別領域の数は「９」である。
【0022】
「表示札」は、商品コードと、商品情報のうち、客が必要とする情報（以下「客用商品情報」という。）と、を表示する。表示札は、例えば、商品コードと客用商品情報とが印刷された紙製の値札である。表示札は、対応する商品の陳列範囲ごとに、商品棚の前面（例えば、棚板の前面、同前面に取り付けられるプライスレール、吊下げられた商品の上方、など値札が一般的に取り付けられる場所を含む）に配置される。すなわち、表示札は、商品棚に陳列される商品ごとに存在する。
【0023】
なお、表示札は、例えば、電子ペーパーや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどの情報表示媒体で構成される電子値札（電子棚札）でもよい。
【0024】
「商品コード」は、商品を識別するために、商品ごとに定められる一次元状または二次元状の識別子である。商品コードは、例えば、バーコードなどの一次元コードや、ＱＲコード（登録商標）などの二次元コード、を含む。
【0025】
「商品情報」は、例えば、商品の名称（商品名）、金額、製造メーカ名、大きさ（容量
）、重量、製造年月日、消費期限、などの商品ごとに定められる情報であり、ＪＡＮ（Japanese Article Number）コードなどの商品識別コードを含む。
）、重量、製造年月日、消費期限、などの商品ごとに定められる情報であり、ＪＡＮ（Japanese Article Number）コードなどの商品識別コードを含む。
【0026】
「焦点位置パターン」は、複数の個別領域のうち、焦点位置が設定される個別領域の組み合わせを特定する情報である。焦点位置パターンは、複数の個別領域のうち、全ての個別領域の組み合わせと、一部の個別領域の組み合わせと、を含む。
【0027】
「焦点位置」は、撮像装置の画角内において、焦点変更画像の撮像時に焦点が合わせられる位置である。焦点位置は、焦点位置パターンを構成する個別領域ごとに設定される。すなわち、焦点位置は、個別領域を構成する画素のうち、焦点変更画像の撮像時に焦点が合わせられる位置に対応する画素の座標に設定される。
【0028】
「焦点変更画像」は、焦点位置が設定された焦点変更パターンに基づいて、個別領域ごとの焦点位置それぞれに焦点を合わせて撮像された撮像画像である。すなわち、撮像画像は、複数の焦点変更画像を含む。また、各焦点変更画像の焦点位置は、異なる。
【0029】
●情報処理システムの構成
図１は、本システムの実施の形態を示すネットワーク構成図である。
図１は、本システムの実施の形態を示すネットワーク構成図である。
【0030】
本システム１は、複数の撮像装置１０（１），・・・，１０（ｎ）（ｎは整数）と、情報処理装置２０と、を有してなる。以下の説明において、複数の撮像装置１０（１），・・・，１０（ｎ）は、各撮像装置１０（１），・・・，１０（ｎ）を特に区別する場合を除き、「撮像装置１０」と表記される。情報処理装置２０は、本発明に係る情報処理装置（以下「本装置」という。）である。以下の説明において、情報処理装置２０は、本装置２０とも表記される。
【0031】
撮像装置１０と本装置２０とは、有線通信方式または無線通信方式を利用するネットワークＮ（通信回線）を介して、接続される。ネットワークＮは、例えば、インターネット、移動体通信網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、Ｗｉ－Ｆｉ（登録商標）などの通信網である。
【0032】
●撮像装置の構成
図２は、撮像装置１０の機能ブロック図である。
図２は、撮像装置１０の機能ブロック図である。
【0033】
撮像装置１０は、商品棚Ｓ（図３参照。以下同じ。）を撮像して撮像画像を生成する。撮像装置１０は、例えば、売場内の商品棚Ｓの静止画を所定の時間間隔で撮像するカメラユニットである。各撮像装置１０は、例えば、売場内において、対応する商品棚Ｓの前部（前面）の全体像と、同商品棚Ｓに陳列された商品と、が撮像可能な位置（例えば、売場の天井面や壁面）に配置される。本実施の形態において、撮像装置１０は、焦点変更画像を撮像する場合を除き、焦点位置を画角の中心に合わせて撮像画像を撮像する。撮像装置１０は、通信部１１と、記憶部１２と、制御部１３と、撮像部１４と、を備える。
【0034】
「所定の時間間隔」は、撮像装置１０が定期的に商品棚Ｓを撮像する時間間隔であり、例えば、１５秒である。
【0035】
なお、撮像装置は、撮像部を含むカメラ機能を備える端末装置であればよい。すわなち、例えば、撮像装置は、カメラ機能を備えるスマートホン、携帯電話、タブレット端末、ノートパソコンでもよく、あるいは、通信機能を備えるデジタルカメラでもよい。
【0036】
また、撮像装置は、動画を撮像するカメラユニットでもよく、あるいは、静止画と動画とを撮像するカメラユニットでもよい。
【0037】
図３は、撮像画像の例を示す模式図である。
同図は、商品棚Ｓを正面から撮像した状態を示す。同図は、商品棚Ｓに２０種の商品が陳列されており、各商品に対応する２０個の表示札Ｐ（１～２０）が取り付けられていることを示す。同図は、表示札Ｐ（１～２０）が対応する商品の陳列範囲の右下（正面視において左下）に配置されていることを示す。以下の説明において、表示札Ｐ（１～２０）は、各表示札Ｐ（１～２０）を特に区別する場合を除き、「表示札Ｐ」と表記される。
同図は、商品棚Ｓを正面から撮像した状態を示す。同図は、商品棚Ｓに２０種の商品が陳列されており、各商品に対応する２０個の表示札Ｐ（１～２０）が取り付けられていることを示す。同図は、表示札Ｐ（１～２０）が対応する商品の陳列範囲の右下（正面視において左下）に配置されていることを示す。以下の説明において、表示札Ｐ（１～２０）は、各表示札Ｐ（１～２０）を特に区別する場合を除き、「表示札Ｐ」と表記される。
【0038】
なお、商品棚が撮像画像により撮像される方向は、正面（前方）に限定されない。すなわち、例えば、売場の天井に配置された撮像装置により商品棚が撮像されるとき、同方向は、前方かつ斜め上方でもよく、あるいは、斜め前方かつ斜め上方でもよい。
【0039】
図４は、表示札Ｐの表示例を示す模式図である。
同図は、表示札Ｐに客用商品情報（「商品名」「金額」）と２つの商品コードとが表示されていることを示す。同図は、正面視において、右寄りの領域に商品コードが表示され、残りの領域に客用商品情報が表示されていることを示す。また、同図は、商品コードとしてハミング（Hamming）符号が図案化された二次元コードが表示されていることを示す。
同図は、表示札Ｐに客用商品情報（「商品名」「金額」）と２つの商品コードとが表示されていることを示す。同図は、正面視において、右寄りの領域に商品コードが表示され、残りの領域に客用商品情報が表示されていることを示す。また、同図は、商品コードとしてハミング（Hamming）符号が図案化された二次元コードが表示されていることを示す。
【0040】
なお、商品コードは、本実施の形態に限定されない。すなわち、例えば、商品コードは、リード・ソロモン（Reed-Solomon）符号が図案化された二次元コードや、二次元パリティ（Parity）が図案化された二次元コード、ＱＲコード（登録商標）でもよい。
【0041】
また、２つの商品コードは同種の二次元コードで構成されてもよく、あるいは、異なる種類の二次元コードや、一次元コードと二次元コードとで構成されてもよい。
【0042】
さらに、表示札は、１の商品コードのみを表示してもよい。
【0043】
図２に戻る。
通信部１１は、ネットワークＮを介して、本装置２０と通信する。通信部１１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。
通信部１１は、ネットワークＮを介して、本装置２０と通信する。通信部１１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。
【0044】
記憶部１２は、撮像部１４が撮像した撮像画像や、撮像装置１０の動作に必要な情報（例えば、後述される制御信号）を記憶する。記憶部１２は、例えば、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記録装置や、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、などにより構成される。
【0045】
制御部１３は、撮像装置１０全体の動作を制御する。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサ、または、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路と、半導体メモリと、により構成される。
【0046】
撮像部１４は、売場内において、商品棚Ｓと、商品棚Ｓに陳列された商品と、商品棚Ｓに取り付けられた表示札Ｐと、を撮像して、商品棚Ｓと商品と表示札Ｐとが撮像された撮像画像を生成する。撮像部１４は、例えば、レンズ群、シャッター、撮像素子、Ａ／Ｄ変換器などにより構成される。撮像部１４により生成された撮像画像は、記憶部１２に記憶される。
【0047】
●情報処理装置の構成
図５は、本装置２０の実施の形態を示す機能ブロック図である。
図５は、本装置２０の実施の形態を示す機能ブロック図である。
【0048】
本装置２０は、撮像画像に基づいて、焦点位置パターンを選択し、選択された焦点位置パターンに対応する焦点位置を設定し、撮像装置１０の動作を制御して、複数の焦点変更画像を取得する。また、本装置２０は、複数の焦点変更画像に基づいて、商品の商品情報を特定する。本装置２０は、例えば、サーバなどのパーソナルコンピュータである。本装置２０は、通信部２１と、記憶部２２と、制御部２３と、を備える。
【0049】
本装置２０では、本発明にかかる情報処理プログラム（以下「本プログラム」という。）が動作して、本プログラムが本装置２０のハードウェア資源と協働して、後述される本方法を実現する。すなわち、本プログラムは、コンピュータを本装置２０として機能させる。
【0050】
通信部２１は、ネットワークＮを介して、撮像装置１０と通信する。通信部２１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。
【0051】
記憶部２２は、本装置２０の動作に必要な情報（例えば、後述される基準画像や焦点変更画像、焦点位置パターンなど）を記憶する。記憶部１２は、例えば、例えば、ＨＤＤ、ＳＳＤなどの記録装置や、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、などにより構成される。
【0052】
制御部２３は、後述される情報処理を実行すると共に、本装置２０全体の動作を制御する。制御部２３は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰなどのプロセッサ、または、ＡＳＩＣ、ＦＰＧＡなどの集積回路と、半導体メモリと、により構成される。制御部２３は、取得部２３１と、領域特定部２３２と、検出部２３３と、選択部２３４と、焦点位置設定部２３５と、信号生成部２３６と、情報特定部２３７と、を備える。
【0053】
取得部２３１は、撮像装置１０が商品棚Ｓを撮像した撮像画像を基準画像として取得する。取得部２３１の具体的な動作と基準画像とは、後述される。
【0054】
領域特定部２３２は、基準画像に撮像された商品棚領域を特定する。領域特定部２３２の具体的な動作は、後述される。
【0055】
検出部２３３は、商品棚領域に撮像されている複数の特定領域を検出する。検出部２３３の具体的な動作は、後述される。
【0056】
「特定領域」は、商品棚領域のうち、表示札Ｐを撮像可能な領域（以下「表示札領域」という。）の全て、または、その一部である。すなわち、特定領域は、商品棚Ｓのうち、表示札Ｐを付加可能な領域の全て、または、その一部である。換言すれば、特定領域は、商品棚領域のうち、商品棚Ｓの棚板の前面、または、同棚板に付されるプライスレールに対応する領域である。特定領域は、表示札Ｐと、表示札Ｐに表示される商品コードと、を含む。本実施の形態において、特定領域として扱われる領域は、後述される設定方式により異なる。
【0057】
選択部２３４は、記憶部２２に記憶されている複数の焦点位置パターンのうち、検出部２３３の検出結果に応じた１の焦点位置パターンを、選択パターンとして選択する。選択部２３４の具体的な動作は、後述される。
【0058】
焦点位置設定部２３５は、検出部２３３により検出された特定領域（商品コード）に基づいて、選択パターンに含まれる複数の個別領域ごとに、焦点位置を設定する。焦点位置設定部２３５の具体的な動作は、後述される。
【0059】
信号生成部２３６は、選択パターンと、選択パターンに設定された焦点位置と、に基づいて、制御信号を生成する。信号生成部２３６の具体的な動作は、後述される。
【0060】
「制御信号」は、選択パターンに設定された複数の焦点位置それぞれに焦点を合わせた複数の焦点変更画像を、撮像装置１０に撮像させる信号である。
【0061】
領域特定部２３２と、検出部２３３と、選択部２３４と、焦点位置設定部２３５と、信号生成部２３６とは、本発明における撮像装置制御部を構成する。すなわち、撮像装置制御部は、領域特定部２３２と、検出部２３３と、選択部２３４と、焦点位置設定部２３５と、信号生成部２３６と、を備える。撮像装置制御部は、制御信号を用いて、撮像装置１０の動作を制御する。
【0062】
情報特定部２３７は、制御信号に基づいて動作が制御された撮像装置１０により撮像された複数の焦点変更画像に基づいて、商品コードに対応する商品情報を特定する。情報特定部２３７の具体的な動作は、後述される。
【0063】
なお、本装置は、種々の情報を本システムの使用者に表示する表示部（例えば、モニタ）や、同使用者に操作される操作部（例えば、キーボード）、を備えてもよい。
【0064】
●情報処理方法●
次に、本システム１（本装置２０）が実行する本発明にかかる情報処理方法（以下「本方法」という。）について、図５も参照しつつ説明する。
次に、本システム１（本装置２０）が実行する本発明にかかる情報処理方法（以下「本方法」という。）について、図５も参照しつつ説明する。
【0065】
図６は、本方法の実施の形態を示すフローチャートである。
【0066】
本方法は、判定処理（Ｓ１）と、制御信号生成処理（Ｓ２）と、焦点変更画像撮像処理（Ｓ６）と、商品情報統合処理（Ｓ７）と、を実行する。
【0067】
●判定処理
図７は、判定処理（Ｓ１）のフローチャートである。
「判定処理（Ｓ１）」は、本装置２０による制御信号生成処理（Ｓ２）と焦点変更画像撮像処理（Ｓ６）と商品情報統合処理（Ｓ７）との実行が必要か否かを判定する処理である。
図７は、判定処理（Ｓ１）のフローチャートである。
「判定処理（Ｓ１）」は、本装置２０による制御信号生成処理（Ｓ２）と焦点変更画像撮像処理（Ｓ６）と商品情報統合処理（Ｓ７）との実行が必要か否かを判定する処理である。
【0068】
先ず、本装置２０は、次処理実行フラグを「ＯＦＦ」にする（Ｓ１０１）。「次処理実行フラグ」は、本方法において、制御信号生成処理（Ｓ２）と焦点変更画像撮像処理（Ｓ６）と商品情報統合処理（Ｓ７）との実行の要否を決定するフラグである。
【0069】
次いで、取得部２３１は、通信部２１を介して、撮像装置１０から撮像画像を基準画像として取得する（Ｓ１０２）。処理（Ｓ１０２）は、本発明における取得ステップの例である。このとき、取得部２３１は、例えば、基準画像を撮像した撮像装置１０を識別する情報（例えば、ＩＤ情報）も取得する。基準画像は、基準画像を撮像した撮像装置１０を識別する情報に関連付けられて記憶部２２に記憶される。
【0070】
「基準画像」は、撮像画像のうち、本装置２０が判定処理（Ｓ１）を実行するために用いる画像であり、本装置２０による制御信号生成処理と焦点変更画像撮像処理との実行が必要か否かの判定の基準となる撮像画像である。以下の説明において、取得部２３１は、図３に示される撮像画像を基準画像として取得したものとする。
【0071】
次いで、領域特定部２３２は、例えば、公知の画像認識処理を用いて、基準画像に撮像されている商品棚領域を特定する（Ｓ１０３）。処理（Ｓ１０３）は、本発明における領域特定ステップの例である。「公知の画像認識処理」は、例えば、ディープラーニング画像認識（例えば、ＳＳＤ：Single Shot Multibox Detectorモデル）を利用して物体を検出する処理である。すなわち、例えば、領域特定部２３２は、撮像画像に撮像されている商品棚Ｓの棚枠（支柱や天板などの商品棚Ｓの輪郭となる部材）の前面に付された標識（後述）を検出する。次いで、領域特定部２３２は、検出した標識のうち、上下方向（商品棚Ｓにおける上下方向）に並ぶ標識を結び、支柱（外枠）の領域として検出する。次いで、領域特定部２３２は、検出した標識のうち、上端と下端それぞれにおいて左右方向（商品棚Ｓにおける水平方向）に並ぶ標識を結び、天板・土台（外枠）の領域を検出する。次いで、領域特定部２３２は、検出した支柱、天板、土台の領域を連結して、矩形状の商品棚領域を特定する。特定された商品棚領域は、基準画像に関連付けられて記憶部２２に記憶される。
【0072】
「標識」は、例えば、支柱の位置を示すシールである。標識は、例えば、支柱の前面に、上下方向に並んで付される。
【0073】
なお、標識は、シールに限定されない。すなわち、例えば、標識は、支柱に配置されるマグネットや、支柱に塗布される塗料、支柱に形成されている凹凸・孔、でもよい。
【0074】
また、領域特定部は、基準画像をそのまま用いて商品棚領域を特定してもよく、あるいは、基準画像に公知の透視変換処理を実行して、商品棚が正面視の状態に補正された基準画像を用いて商品棚領域を特定してもよい。
【0075】
さらに、領域特定部は、例えば、基準画像をモニタなどの表示部に表示させ、本システム１の使用者に商品棚領域の４点を選択させ、選択された４点を結んだ領域を商品棚領域として特定してもよい。すなわち、領域特定部は、手動で選択された領域を商品棚領域として特定してもよい。
【0076】
さらにまた、領域特定部は、左右方向に並ぶ標識を結び、棚板の領域（表示札領域）を特定してもよい。
【0077】
図８は、商品棚領域を特定する処理（Ｓ１０３）の後の基準画像の例を示す模式図である。同図は、商品棚領域を示す枠を太線で示す。同図は、商品棚領域が矩形の領域であることを示す。
【0078】
図７に戻る。
次いで、検出部２３３は、例えば、公知の画像認識処理を用いて、領域特定部２３２により特定された商品棚領域において、表示札Ｐを検出する（Ｓ１０４）。検出された表示札Ｐは、例えば、表示札ＰのＩＤと位置情報と共に、基準画像に関連付けられて記憶部２２に記憶される。
次いで、検出部２３３は、例えば、公知の画像認識処理を用いて、領域特定部２３２により特定された商品棚領域において、表示札Ｐを検出する（Ｓ１０４）。検出された表示札Ｐは、例えば、表示札ＰのＩＤと位置情報と共に、基準画像に関連付けられて記憶部２２に記憶される。
【0079】
図９は、表示札Ｐを検出する処理（Ｓ１０４）の後の基準画像の例を示す模式図である。同図は、検出された表示札Ｐを示す枠を太線で示し、商品棚領域を破線で示す。同図は、商品棚領域において、全ての表示札Ｐが検出されたことを示す。
【0080】
図７に戻る。
次いで、検出部２３３は、未検出の表示札Ｐの有無を判定する（Ｓ１０５）。このとき、例えば、検出部２３３は、商品棚Ｓに陳列されている商品の種類数や、過去の検出結果（履歴）、商品棚Ｓごとに設定されている表示札Ｐの配列表などを参照して、未検出の表示札Ｐの有無を判定する。商品の種類数や過去の検出結果、配列表は、例えば、予め記憶部２２に記憶されている。
次いで、検出部２３３は、未検出の表示札Ｐの有無を判定する（Ｓ１０５）。このとき、例えば、検出部２３３は、商品棚Ｓに陳列されている商品の種類数や、過去の検出結果（履歴）、商品棚Ｓごとに設定されている表示札Ｐの配列表などを参照して、未検出の表示札Ｐの有無を判定する。商品の種類数や過去の検出結果、配列表は、例えば、予め記憶部２２に記憶されている。
【0081】
未検出の表示札Ｐが有るとき（Ｓ１０５の「Ｙ」）、本装置２０は、次処理実行フラグを「ＯＮ」にする（Ｓ１０６）。一方、未検出の表示札Ｐが無いとき（Ｓ１０５の「Ｎ」）、本装置２０は、次処理実行フラグを「ＯＦＦ」に維持する（Ｓ１０７）。
【0082】
次いで、検出部２３３は、検出された表示札Ｐに基づいて、表示札領域を検出する（Ｓ１０８）。すなわち、例えば、検出部２３３は、検出された表示札Ｐのうち、基準画像のＸ方向（商品棚Ｓの水平方向）に並ぶ表示札Ｐのグループを抽出する。次いで、検出部２３３は、抽出したグループごとに、グループを構成する表示札Ｐを結び、支柱（商品棚領域の端部）まで延びる直線帯状の領域を表示札領域として検出する。表示札領域は、表示札Ｐと略同じ幅（上下方向の長さ）と、支柱間と略同じ長さ（左右方向の長さ）を有する。処理（Ｓ１０８）は、本発明における検出ステップの例である。表示札領域は、例えば、表示札領域の位置情報と共に、基準画像に関連付けられて記憶部２２に記憶される。
【0083】
図１０は、表示札領域を検出する処理（Ｓ１０８）の後の基準画像の例を示す模式図である。同図は、検出された表示札領域を示す枠を太線で示し、商品棚領域を破線で示す。同図は、商品棚領域において、４つの表示札領域が検出されたことを示す。同図は、説明の便宜上、１の表示札Ｐと、同表示札Ｐに表示される商品コードと、を除く他の表示札Ｐと、他の表示札Ｐに表示される商品コードと、の図示は省略する。表示札Ｐと、表示札Ｐに表示される商品コードと、が表示札領域に含まれることを示す。
【0084】
図７に戻る。
次いで、検出部２３３は、公知の画像認識処理を用いて、検出した全ての表示札Ｐにおいて、商品コードの組を検出する（Ｓ１０９）。このとき、検出部２３３は、各商品コードの鮮明度（コントラスト）を取得すると共に、その位置情報を特定する。検出された商品コードは、例えば、商品コードの位置情報ごとに割り当てられた番号と商品コードの位置情報および鮮明度と共に、基準画像に関連付けられて記憶部２２に記憶される。
次いで、検出部２３３は、公知の画像認識処理を用いて、検出した全ての表示札Ｐにおいて、商品コードの組を検出する（Ｓ１０９）。このとき、検出部２３３は、各商品コードの鮮明度（コントラスト）を取得すると共に、その位置情報を特定する。検出された商品コードは、例えば、商品コードの位置情報ごとに割り当てられた番号と商品コードの位置情報および鮮明度と共に、基準画像に関連付けられて記憶部２２に記憶される。
【0085】
なお、検出部は、商品コードの検出前に、基準画像に対してガンマ補正やバイラテラルフィルタなどの公知の前処理を実行してもよい。
【0086】
ここで、鮮明度は、例えば、公知の画像処理方法を用いて、算出される。すなわち、例えば、鮮明度は、基準画像をグレースケールに変換し、商品コードのエッジをＣａｎｎｙ法により抽出し、エッジ画像の全ての輝度値の分散を算出することにより、算出される。
【0087】
次いで、検出部２３３は、未検出の商品コードの組の有無を判定する（Ｓ１１０）。このとき、例えば、検出部２３３は、処理（Ｓ１０４）において検出された表示札Ｐの数に基づいて、未検出の商品コードの組の有無を判定する。
【0088】
図１１は、商品コードの組を検出する処理（Ｓ１０９）の後の基準画像の例を示す模式図である。同図は、説明の便宜上、商品の図示を省略する。同図は、検出された商品コードを「■」で示し、未検出の商品コードを「□」で示す。同図は、太線の枠で囲まれた検出コードの組が未検出であることを示す。
【0089】
図７に戻る。
未検出の商品コードの組が有るとき（Ｓ１１０の「Ｙ」）、本装置２０は、次処理実行フラグを「ＯＮ」にして（Ｓ１１１）、判定処理（Ｓ１）を終了する。
未検出の商品コードの組が有るとき（Ｓ１１０の「Ｙ」）、本装置２０は、次処理実行フラグを「ＯＮ」にして（Ｓ１１１）、判定処理（Ｓ１）を終了する。
【0090】
一方、未検出の商品コードの組が無いとき（Ｓ１１０の「Ｎ」）、本装置２０は、次処理実行フラグを「ＯＦＦ」に維持したまま（Ｓ１１２）、判定処理（Ｓ１）を終了する。
【0091】
●制御信号生成処理
図１２は、制御信号生成処理（Ｓ２）のフローチャートである。
「制御信号生成処理（Ｓ２）」は、本装置２０が、焦点位置パターンを選択し、焦点位置パターンに含まれる個別領域に焦点位置を設定し、選択された焦点位置パターンと設定された焦点位置とに基づいて制御信号を生成する処理である。制御信号生成処理（Ｓ２）は、本発明における信号生成ステップの例である。
図１２は、制御信号生成処理（Ｓ２）のフローチャートである。
「制御信号生成処理（Ｓ２）」は、本装置２０が、焦点位置パターンを選択し、焦点位置パターンに含まれる個別領域に焦点位置を設定し、選択された焦点位置パターンと設定された焦点位置とに基づいて制御信号を生成する処理である。制御信号生成処理（Ｓ２）は、本発明における信号生成ステップの例である。
【0092】
先ず、本装置２０は、次処理実行フラグの状態（「ＯＮ」または「ＯＦＦ」）を確認する（Ｓ２０１）。
【0093】
次処理実行フラグが「ＯＮ」のとき（Ｓ２０１の「Ｙ」）、選択部２３４は、記憶部２２に記憶されている複数の焦点位置パターンのうち、検出部２３３の検出結果に応じた１の焦点位置パターンを、選択パターンとして選択する（Ｓ２０２）。すなわち、例えば、選択部２３４は、未検出の商品コードの組（または表示札Ｐ）が存在する個別領域を特定し、同個別領域を含む焦点位置パターンを選択する。選択パターンの候補として複数の焦点位置パターンが存在するとき、選択部２３４は、例えば、焦点位置パターンに含まれる個別領域の数（最大数または最小数）に基づいて選択パターンを選択し、あるいは、本システム１の使用者に焦点位置パターンの候補を示して同使用者に選択された焦点位置パターンを選択パターンとして選択してもよい。処理（Ｓ２０２）は、本発明における選択ステップの例である。選択パターンは、例えば、基準画像に関連付けられて記憶部２２に記憶される。一方、次処理実行フラグが「ＯＮ」のとき（Ｓ２０１の「Ｙ」）、本装置２０は、制御信号生成処理（Ｓ２）を終了する。この場合、本装置２０は、例えば、１枚の基準画像に基づいて、全ての商品コードの商品情報を特定する。
【0094】
なお、本発明における選択部が選択パターンを選択する手法は、本実施の形態に限定されない。すなわち、例えば、本発明における選択部は、過去の選択履歴に基づいて選択パターンを選択してもよい。または、未検出の商品コードの組（または表示札）が存在することが予測される個別領域を含む焦点位置パターンが予め決定されていて、選択部は、決定されている焦点位置パターンを選択してもよい。あるいは、選択部は、商品コードの画素情報（位置情報、鮮明度）に基づいて、選択パターンを選択してもよい。
【0095】
図１３（ａ）～（ｆ）は、記憶部２２に記憶されている焦点位置パターンの例を示す模式図である。同図は、個別領域を実線で示し、焦点位置パターンに含まれる個別領域を太線で示す。同図は、「９」の個別領域が商品棚領域に含まれていることを示す。同図（ａ）は「９」の個別領域を含む焦点位置パターンの例を示し、同図（ｂ）は「７」の個別領域を含む焦点位置パターンの例を示し、同図（ｃ）は「５」の個別領域を含む焦点位置パターンの例を示し、同図（ｄ）は「４」の個別領域を含む焦点位置パターンの例を示し、同図（ｅ）は「６」の個別領域を含む焦点位置パターンの例を示し、同図（ｆ）は「２」の大きさの異なる個別領域を含む焦点位置パターンの例を示す。図中の数字は、個別領域の固有の番号の例である。
【0096】
各焦点位置パターンに含まれる個別領域それぞれには、固有の番号が割り当てられる。本実施の形態において、固有の番号は、図１２に示されるとおり、中央の個別領域を「１」として、左上の個別領域から時計回りに「２」「３」「４」「５」「６」「７」「８」「９」と割り当てられる。
【0097】
図１４は、選択パターンを選択する処理（Ｓ２０２）の後の基準画像の例を示す模式図である。
同図は、個別領域を太い破線で示す。同図は、同じ大きさの「９」の個別領域を含む焦点位置パターンが選択パターンとして選択されていることを示す。
同図は、個別領域を太い破線で示す。同図は、同じ大きさの「９」の個別領域を含む焦点位置パターンが選択パターンとして選択されていることを示す。
【0098】
図１２に戻る。
次いで、焦点位置設定部２３５は、記憶部２２に記憶されている複数の設定方式の中から１の設定方式を選択する（Ｓ２０３）。焦点位置設定部２３５は、例えば、処理（Ｓ１０９）において取得した商品コードの画素情報（例えば、鮮明度）に基づいて、設定方式を選択する。すなわち、例えば、商品コードの鮮明度の平均値が所定の閾値「Ｖ１」より高いとき、焦点位置設定部２３５は、後述される第１設定方式を選択する。一方、同平均値が所定の閾値「Ｖ１」以下のとき、焦点位置設定部２３５は、後述される第２設定方式または第３設定方式を選択する。「所定の閾値「Ｖ１」」は、例えば、後述される処理（Ｓ３０３）において、十分な数の商品コードの鮮明度が、処理（Ｓ３０３）の閾値「Ｖ２」以上となるように設定される。閾値「Ｖ１」は、例えば、予め、使用者により設定され、記憶部２２に記憶されている。
次いで、焦点位置設定部２３５は、記憶部２２に記憶されている複数の設定方式の中から１の設定方式を選択する（Ｓ２０３）。焦点位置設定部２３５は、例えば、処理（Ｓ１０９）において取得した商品コードの画素情報（例えば、鮮明度）に基づいて、設定方式を選択する。すなわち、例えば、商品コードの鮮明度の平均値が所定の閾値「Ｖ１」より高いとき、焦点位置設定部２３５は、後述される第１設定方式を選択する。一方、同平均値が所定の閾値「Ｖ１」以下のとき、焦点位置設定部２３５は、後述される第２設定方式または第３設定方式を選択する。「所定の閾値「Ｖ１」」は、例えば、後述される処理（Ｓ３０３）において、十分な数の商品コードの鮮明度が、処理（Ｓ３０３）の閾値「Ｖ２」以上となるように設定される。閾値「Ｖ１」は、例えば、予め、使用者により設定され、記憶部２２に記憶されている。
【0099】
「設定方式」は、焦点位置設定部２３５が選択パターンに含まれる個別領域ごとに焦点位置を設定するために用いる方式である。設定方式は、第１設定方式と第２設定方式と第３設定方式とを含む。「第１設定方式」は、検出部２３３により検出された基準画像の商品コードそれぞれの鮮明度に基づいて、焦点位置を設定する方式である。「第２設定方式」は、検出部２３３により検出された基準画像の商品コードそれぞれの位置情報に基づいて、焦点位置を設定する方式である。「第３設定方式」は、検出部２３３により検出された表示札付加領域の商品棚領域に対する位置関係に基づいて、焦点位置を設定する方式である。本実施の形態において、記憶部２２は、予め、第１設定方式と第２設定方式と第３設定方式とを記憶しているものとする。
【0100】
なお、焦点位置設定部は、例えば、特定領域に基づいて取得可能な情報に基づいて設定方式を選択すればよく、焦点位置設定部の選択は、本実施の形態に限定されない。すなわち、例えば、焦点位置設定部は、処理（Ｓ１０９）で検出された商品コードの組の数または位置情報に基づいて、設定方式を選択してもよい。また、例えば、焦点位置設定部は、処理（Ｓ１０４）で検出された表示札の数または位置情報に基づいて、設定方式を選択してもよい。さらに、例えば、焦点位置設定部は、本システム１の使用者により予め設定されている設定方式を選択してもよい。
【0101】
焦点位置設定部２３５が第１設定方式を選択したとき（Ｓ２０３の「第１設定方式」）、本装置２０は、第１焦点位置設定処理（Ｓ３）を実行する。一方、焦点位置設定部２３５が第２設定方式を選択したとき（Ｓ２０３の「第２設定方式」）、本装置２０は、第２焦点位置設定処理（Ｓ４）を実行する。さらに、焦点位置設定部２３５が第３設定方式を選択したとき（Ｓ２０３の「第３設定方式」）、本装置２０は、第３焦点位置設定処理（Ｓ５）を実行する。
【0102】
図１５は、第１焦点位置設定処理（Ｓ３）のフローチャートである。
「第１焦点位置設定処理（Ｓ３）」は、商品コードの鮮明度に基づいて、選択パターンに含まれる各個別領域の焦点位置を設定する処理である。第１焦点位置設定処理（Ｓ３）において、商品コードは、特定領域として扱われる。第１焦点位置設定処理（Ｓ３）は、本発明における焦点位置設定ステップの例である。
「第１焦点位置設定処理（Ｓ３）」は、商品コードの鮮明度に基づいて、選択パターンに含まれる各個別領域の焦点位置を設定する処理である。第１焦点位置設定処理（Ｓ３）において、商品コードは、特定領域として扱われる。第１焦点位置設定処理（Ｓ３）は、本発明における焦点位置設定ステップの例である。
【0103】
先ず、焦点位置設定部２３５は、焦点位置を設定する設定領域の固有の番号「ｎ」を「１」に設定する（Ｓ３０１）。
【0104】
次いで、焦点位置設定部２３５は、個別領域「１」において、検出部２３３により検出された全ての商品コードと、その鮮明度と、を記憶部２２から読み出す（Ｓ３０２）。
【0105】
次いで、焦点位置設定部２３５は、各商品コードのうち、鮮明度が所定の閾値「Ｖ２」以上、かつ、最小となる商品コードを特定商品コードとして選択する（Ｓ３０３）。「閾値「Ｖ２」」は、例えば、情報特定部２３７が商品コードに基づいて商品情報を特定可能な鮮明度の下限値、または、同下限値に多少のマージンを付加した値である。換言すれば、閾値「Ｖ２」は、本装置２０が商品コードをデコード可能な鮮明度に基づいて設定される値である。閾値「Ｖ２」は、例えば、予め、使用者により設定され、記憶部２２に記憶されている。
【0106】
次いで、焦点位置設定部２３５は、特定商品コードとして選択された商品コードの位置情報を記憶部２２から読み出し、その中心座標を個別領域「１」の焦点位置として設定する（Ｓ３０４）。焦点位置は、対応する個別領域と、選択パターンと、に関連付けられて記憶部２２に記憶される。
【0107】
次いで、焦点位置設定部２３５は、焦点位置が設定されていない個別領域の有無を判定する（Ｓ３０５）。
【0108】
焦点位置が設定されていない個別領域が有るとき（Ｓ３０５の「Ｙ」）、焦点位置設定部２３５は、焦点位置を設定する個別領域の固有の番号「ｎ」に１を付加して（Ｓ３０６）、処理（Ｓ３０２～Ｓ３０５）を実行する。
【0109】
一方、焦点位置が設定されていない個別領域が無いとき（Ｓ３０５の「Ｎ」）、焦点位置設定部２３５は、第１焦点位置設定処理（Ｓ３）を終了する。
【0110】
このように、第１焦点位置設定処理（Ｓ３）において、焦点位置設定部２３５は、選択パターンに含まれる個別領域それぞれにおいて検出された複数の商品コードのうち、鮮明度が閾値Ｖ１以上、かつ、最小となる特定商品コードを選択し、特定商品コードの位置情報に基づいて、焦点位置を設定する。換言すれば、焦点位置設定部２３５は、各個別領域において、デコード可能な商品コードのうち、鮮明度が最小の商品コードに焦点位置を設定する。
【0111】
図１６は、第２焦点位置設定処理（Ｓ４）のフローチャートである。
「第２焦点位置設定処理（Ｓ４）」は、商品コードそれぞれの間の位置関係に基づいて、選択パターンに含まれる各個別領域の焦点位置を設定する処理である。第２焦点位置設定処理（Ｓ４）において、商品コードは、特定領域として扱われる。第２焦点位置設定処理（Ｓ４）は、本発明における焦点位置設定ステップの例である。
「第２焦点位置設定処理（Ｓ４）」は、商品コードそれぞれの間の位置関係に基づいて、選択パターンに含まれる各個別領域の焦点位置を設定する処理である。第２焦点位置設定処理（Ｓ４）において、商品コードは、特定領域として扱われる。第２焦点位置設定処理（Ｓ４）は、本発明における焦点位置設定ステップの例である。
【0112】
先ず、焦点位置設定部２３５は、基準画像に対応する商品棚領域を記憶部２２から読み出す（Ｓ４０１）。
【0113】
次いで、焦点位置設定部２３５は、焦点位置を設定する設定領域の固有の番号「ｎ」を「１」に設定する（Ｓ４０２）。
【0114】
次いで、焦点位置設定部２３５は、個別領域「１」において、検出部２３３により検出された全ての表示札Ｐと、その位置情報（座標）と、を記憶部２２から読み出す（Ｓ４０３）。
【0115】
次いで、焦点位置設定部２３５は、商品棚領域の重心の座標を特定し、同座標に最も近い位置情報を有する表示札Ｐを中心表示札として特定する（Ｓ４０４）。すなわち、例えば、焦点位置設定部２３５は、各表示札Ｐの重心の座標を特定し、同座標と基準画像の重心の座標との間の距離が最も近い表示札Ｐを中心表示札として特定する。
【0116】
なお、焦点位置設定部は、商品棚領域の重心に代えて、基準画像の中心位置の座標を特定し、同座標に最も近い位置情報を有する表示札を中心表示札として特定してもよい。
【0117】
次いで、焦点位置設定部２３５は、中心表示札に対応する２つの商品コードのうち、上側に配置された商品コードを中心商品コードとして特定する（Ｓ４０５）。
【0118】
なお、焦点位置設定部は、下側に配置された商品コードを中心商品コードとして特定してもよい。
【0119】
次いで、焦点位置設定部２３５は、中心商品コードの位置情報を記憶部２２から読み出し、中心商品コードの中心に対応する位置情報（中心に対応する画素の座標）を個別領域「１」の焦点位置として設定する（Ｓ４０６）。焦点位置は、対応する個別領域と、選択パターンと、に関連付けられて記憶部２２に記憶される。
【0120】
次いで、焦点位置設定部２３５は、焦点位置を設定する個別領域の固有の番号「ｎ」に１を付加する（Ｓ４０７）。
【0121】
次いで、焦点位置設定部２３５は、個別領域の固有の番号が偶数（「２，４，６，８」）か奇数（「３，５，７，９」）かを判定する（Ｓ４０８）。
【0122】
個別領域の固有の番号が偶数のとき（Ｓ４０８の「偶数」）、焦点位置設定部２３５は、個別領域において、商品棚領域の角部に最も近い表示札Ｐを端部表示札として特定する（Ｓ４０９）。換言すれば、焦点位置設定部２３５は、個別領域において、商品棚領域の端部に近く、かつ、中心商品コードから最も離れた表示札Ｐを端部表示札として特定する。すなわち、例えば、焦点位置設定部２３５は、各表示札Ｐの重心の座標を特定し、同座標と商品棚領域の角部の座標との間の距離が最も近い表示札Ｐを端部表示札として特定する。ここで、「商品棚領域の角部」は、各個別領域に対応する角部である。すなわち、例えば、本実施の形態において、商品棚領域の左上の角部が個別領域「２」に対応し、商品棚領域の右上の角部が個別領域「４」に対応し、商品棚領域の右下の角部が個別領域「６」に対応し、商品棚領域の左下の角部が個別領域「８」に対応する。
【0123】
一方、個別領域の固有の番号が奇数のとき（Ｓ４０８の「奇数」）、焦点位置設定部２３５は、個別領域において、商品棚領域の各辺の中点に最も近い表示札Ｐを端部表示札として特定する（Ｓ４１０）。換言すれば、焦点位置設定部２３５は、個別領域において、商品棚領域の端部に近い表示札Ｐのうち、中心商品コードに最も近い表示札Ｐを端部表示札として特定する。すなわち、例えば、焦点位置設定部２３５は、各表示札Ｐの重心の座標を特定し、同座標と商品棚領域の各辺の中点の座標との間の距離が最も近い表示札Ｐを端部表示札として特定する。ここで、「商品棚領域の各辺」は、各個別領域に対応する辺である。すなわち、例えば、本実施の形態において、商品棚領域の上辺が個別領域「３」に対応し、商品棚領域の右辺が個別領域「５」に対応し、商品棚領域の下辺が個別領域「７」に対応し、商品棚領域の左辺が個別領域「９」に対応する。
【0124】
次いで、焦点位置設定部２３５は、端部表示札に対応する２つの商品コードのうち、上側に配置された商品コードを端部商品コードとして特定する（Ｓ４１１）。
【0125】
なお、焦点位置設定部は、下側に配置された商品コードを端部商品コードとして特定してもよい。
【0126】
次いで、焦点位置設定部２３５は、端部商品コードの位置情報を記憶部２２から読み出し、端部商品コードの中心に対応する位置情報（中心に対応する画素の座標）を同端部表示札に対応する個別領域の焦点位置として設定する（Ｓ４１２）。焦点位置は、対応する個別領域と、選択パターンと、に関連付けられて記憶部２２に記憶される。
【0127】
次いで、焦点位置設定部２３５は、焦点位置が設定されていない個別領域の有無を判定する（Ｓ４１３）。
【0128】
焦点位置が設定されていない個別領域が有るとき（Ｓ４１３の「Ｙ」）、焦点位置設定部２３５は、処理（Ｓ４０７～Ｓ４１３）を実行する。
【0129】
一方、焦点位置が設定されていない個別領域が無いとき（Ｓ４１３の「Ｎ」）、焦点位置設定部２３５は、第２焦点位置設定処理（Ｓ４）を終了する。
【0130】
このように、第２焦点位置設定処理（Ｓ４）において、焦点位置設定部２３５は、選択パターンに含まれる個別領域それぞれにおいて検出された表示札Ｐのうち、商品棚領域の角部または各辺の中点に最も近い表示札Ｐを端部表示札として特定する。換言すれば、焦点位置設定部２３５は、個別領域において、商品棚領域の端部に近く、かつ、中心商品コードから最も離れた表示札Ｐ、または、商品棚領域の端部に近い表示札Ｐのうち、中心商品コードに最も近い表示札Ｐ、を端部表示札として特定する。
【0131】
また、焦点位置設定部２３５は、端部表示札に対応する２つの商品コードのうち、上側に配置された商品コードを端部商品コードとして特定する。換言すれば、焦点位置設定部２３５は、上側に配置された商品コードのうち、商品棚領域の端部に近く、かつ、中心商品コードから最も離れた商品コード、または、商品棚領域の端部に近い商品コードのうち、中心商品コードに最も近い商品コード、を端部商品コードとして特定する。つまり、焦点位置設定部２３５は、検出部２３３により検出された商品コードのうち、中心商品コードを除く商品コードそれぞれと、中心商品コードと、の位置関係に基づいて、個別領域それぞれにおいて検出された商品コードのうち、１の商品コードを選択し、その位置情報に基づいて焦点位置を設定する。
【0132】
図１７は、第３焦点位置設定処理（Ｓ５）のフローチャートである。
「第３焦点位置設定処理（Ｓ５）」は、商品棚領域に対する特定領域（表示札領域）の位置関係に基づいて、選択パターンに含まれる各個別領域の焦点位置を設定する処理である。第３焦点位置設定処理（Ｓ５）において、表示札領域は、特定領域として扱われる。第３焦点位置設定処理（Ｓ５）は、本発明における焦点位置設定ステップの例である。
「第３焦点位置設定処理（Ｓ５）」は、商品棚領域に対する特定領域（表示札領域）の位置関係に基づいて、選択パターンに含まれる各個別領域の焦点位置を設定する処理である。第３焦点位置設定処理（Ｓ５）において、表示札領域は、特定領域として扱われる。第３焦点位置設定処理（Ｓ５）は、本発明における焦点位置設定ステップの例である。
【0133】
先ず、焦点位置設定部２３５は、基準画像に対応する商品棚領域と、表示札領域とその位置情報と、を記憶部２２から読み出す（Ｓ５０１）。
【0134】
次いで、焦点位置設定部２３５は、焦点位置を設定する設定領域の固有の番号「ｎ」を「１」に設定する（Ｓ５０２）。
【0135】
次いで、焦点位置設定部２３５は、個別領域「１」において、検出部２３３により検出された全ての表示札領域と、その位置情報（座標）と、を特定する（Ｓ５０３）。
【0136】
次いで、焦点位置設定部２３５は、商品棚領域の重心の座標を特定し、同座標に最も近い位置情報を有する表示札領域を特定する（Ｓ５０４）。
【0137】
なお、焦点位置設定部は、商品棚領域の重心に代えて、基準画像の中心位置の座標を特定し、同座標に最も近い位置情報を有する表示札領域を特定してもよい。
【0138】
次いで、焦点位置設定部２３５は、個別領域「１」において特定された表示札領域の重心の座標を個別領域「１」の焦点位置として設定する（Ｓ５０５）。焦点位置は、対応する個別領域と、選択パターンと、に関連付けられて記憶部２２に記憶される。
【0139】
次いで、焦点位置設定部２３５は、焦点位置を設定する個別領域のうち、固有の番号が偶数（「２，４，６，８」）の個別領域を特定個別領域として特定し、固有の番号が奇数（「３，５，７，９」）の個別領域を非特定個別領域として特定する（Ｓ５０６）。「特定個別領域」は、個別領域のうち、商品棚領域の角部を含む個別領域である。「非特定個別領域」は、個別領域のうち、特定個別領域の間に位置する個別領域である。すなわち、個別領域は、特定個別領域と非特定個別領域とを含む。
【0140】
次いで、焦点位置設定部２３５は、焦点位置が未設定の特定個別領域のうち、固有の番号が最小の特定個別領域を選択する（Ｓ５０７）。
【0141】
次いで、焦点位置設定部２３５は、特定個別領域において、商品棚領域の角部に最も近い表示札領域を特定する（Ｓ５０８）。
【0142】
次いで、焦点位置設定部２３５は、特定された表示札領域の中心線上であって、同表示札領域に隣接する商品棚領域の端部から所定の長さＸ方向の内側に位置する点の座標を対応する特定個別領域の焦点位置として設定する（Ｓ５０９）。焦点位置は、対応する個別領域（特定個別領域）と、選択パターンと、に関連付けられて記憶部２２に記憶される。
【0143】
次いで、焦点位置設定部２３５は、焦点位置が未設定の特定個別領域の有無を判定する（Ｓ５１０）。焦点位置が未設定の特定個別領域が有るとき（Ｓ５１０の「Ｙ」）、焦点位置設定部２３５は、処理（Ｓ５０７～Ｓ５０９）を実行する。
【0144】
一方、焦点位置が未設定の特定個別領域が無いとき（Ｓ５１０の「Ｎ」）、焦点位置が未設定の非特定個別領域のうち、固有の番号が最小の非特定個別領域を選択する（Ｓ５１１）。
【0145】
次いで、焦点位置設定部２３５は、選択された非特定個別領域に隣接する２つの特定個別領域に設定された焦点位置を結んだ線分を生成し、同線分の中点の座標、または、同線分と同線分の中点に最も近い表示札領域の中心線との交点、を非特定個別領域の焦点位置として設定する（Ｓ５１２）。すなわち、例えば、非特定個別領域「３」の焦点位置は、特定個別領域「２」「４」の焦点位置を結んだ線分の中点の座標である。焦点位置は、対応する個別領域（非特定個別領域）と、選択パターンと、に関連付けられて記憶部２２に記憶される。
【0146】
次いで、焦点位置設定部２３５は、焦点位置が未設定の非特定個別領域の有無を判定する（Ｓ５１３）。焦点位置が未設定の非特定個別領域が有るとき（Ｓ５１３の「Ｙ」）、焦点位置設定部２３５は、処理（Ｓ５１１～Ｓ５１２）を繰り返す。
【0147】
一方、焦点位置が未設定の非特定個別領域が無いとき（Ｓ５１３の「Ｎ」）、焦点位置設定部２３５は、第３焦点位置設定処理（Ｓ５）を終了する。
【0148】
このように、第３焦点位置設定処理（Ｓ５）において、焦点位置設定部２３５は、商品棚領域に対する特定個別領域の位置関係に基づいて、特定個別領域に対応する焦点位置を設定し、特定個別領域に設定された焦点位置に基づいて、非特定個別領域に対応する焦点位置を設定する。
【0149】
図１２にもどる。
次いで、信号生成部２３６は、選択パターンと、選択パターンに含まれる個別領域に設定された焦点位置と、を記憶部２２から読み出す（Ｓ２０４）。
次いで、信号生成部２３６は、選択パターンと、選択パターンに含まれる個別領域に設定された焦点位置と、を記憶部２２から読み出す（Ｓ２０４）。
【0150】
次いで、信号生成部２３６は、読み出した選択パターンと焦点位置とに基づいて、選択パターンの各焦点位置それぞれに焦点を合わせた複数の焦点変更画像を、撮像装置１０に撮像させる制御信号を生成する（Ｓ２０５）。制御信号は、記憶部２２に記憶される。
【0151】
【0152】
先ず、本装置２０の制御部２３は、制御信号を記憶部２２から読み出す（Ｓ６０１）。
【0153】
次いで、制御部２３は、通信部２１を介して、制御信号の生成の基となった基準画像を撮像した撮像装置１０に制御信号を送信する（Ｓ６０２）。
【0154】
次いで、撮像装置１０の制御部１３は、通信部１１を介して、本装置２０からの制御信号を受信する（Ｓ６０３）。制御信号は、制御部１３に伝送される。
【0155】
次いで、制御部１３は、制御信号に基づいて、各焦点位置に焦点を合わせた焦点変更画像を撮像する（Ｓ６０４）。焦点変更画像は、焦点位置の数と同数撮像される。
【0156】
次いで、制御部１３は、各焦点変更画像に対して、焦点のずれ（いわゆるピンボケ）の有無を判定する（Ｓ６０５）。
【0157】
焦点が適切なとき（Ｓ６０５の「Ｙ」）、制御部１３は、公知の画像認識処理を用いて、焦点変更画像に人が含まれていないか否かを判定する（Ｓ６０６）。
【0158】
焦点が不適切なとき（Ｓ６０５の「Ｎ」）、または、焦点変更画像に人が含まれているとき（Ｓ６０６の「Ｙ」）、制御部１３は、該当する焦点変更画像に対応する焦点位置を記憶部１２から読み出して（Ｓ６０７）、処理（Ｓ６０４）を実行する。
【0159】
一方、焦点変更画像に人が含まれていないとき（Ｓ６０６の「Ｎ」）、制御部１３は、各焦点変更画像それぞれを対応する焦点位置に関連付けると共に、各焦点変更画像を相互に関連付けて１組の焦点変更画像群として記憶部１２に記憶する（Ｓ６０８）。
【0160】
次いで、制御部１３は、焦点変更画像群を記憶部１２から読み出して、通信部１１を介して、本装置２０に送信する（Ｓ６０９）。
【0161】
次いで、本装置２０の制御部２３（取得部２３１）は、通信部２１を介して、撮像装置１０からの焦点変更画像群を受信する（取得する）（Ｓ６１０）。このとき、制御部２３（取得部２３１）は、例えば、焦点変更画像群を撮像した撮像装置１０を識別する情報（例えば、ＩＤ情報）も受信する（取得する）。焦点変更画像群は、焦点変更画像群を撮像した撮像装置１０を識別する情報に関連付けられて記憶部２２に記憶される。
【0162】
●商品情報統合処理
図１９は、商品情報統合処理（Ｓ７）のフローチャートである。
「商品情報統合処理（Ｓ７）」は、焦点変更画像に基づいて、本装置２０が焦点変更画像ごとの商品情報を取得・統合し、商品棚Ｓに付された商品コードに対応する商品情報を取得する処理である。商品情報統合処理（Ｓ７）は、本発明における情報特定ステップの例である。以下の説明において、個別領域「ｎ」に設定された焦点位置で撮像された焦点変更画像を「焦点変更画像「ｎ」」と表記する。すなわち、例えば、個別領域「１」に設定された焦点位置で撮像された焦点変更画像は、焦点変更画像「１」と表記する。
図１９は、商品情報統合処理（Ｓ７）のフローチャートである。
「商品情報統合処理（Ｓ７）」は、焦点変更画像に基づいて、本装置２０が焦点変更画像ごとの商品情報を取得・統合し、商品棚Ｓに付された商品コードに対応する商品情報を取得する処理である。商品情報統合処理（Ｓ７）は、本発明における情報特定ステップの例である。以下の説明において、個別領域「ｎ」に設定された焦点位置で撮像された焦点変更画像を「焦点変更画像「ｎ」」と表記する。すなわち、例えば、個別領域「１」に設定された焦点位置で撮像された焦点変更画像は、焦点変更画像「１」と表記する。
【0163】
先ず、検出部２３３は、焦点変更画像群を記憶部２２から読み出す（Ｓ７０１）。
【0164】
次いで、検出部２３３は、焦点変更画像ごとに、商品コードを検出する（Ｓ７０２）。このとき、検出部２３３は、例えば、処理（Ｓ１０４，Ｓ１０９）と同様に、表示札Ｐを検出し、検出された表示札Ｐに対応する商品コードを検出し、その位置情報を特定する。検出された商品コードは、例えば、商品コードの位置情報ごとに割り当てられた番号と商品コードの位置情報と共に、焦点変更画像に関連付けられて記憶部２２に記憶される。
【0165】
次いで、情報特定部２３７は、焦点変更画像ごとに、商品コードに基づいて、商品コードに対応する商品情報を特定する（Ｓ７０３）。すなわち、情報特定部２３７は、焦点変更画像ごとに、商品コードをデコード（識別）する。商品情報は、対応する商品コードの位置情報と、対応する焦点変更画像と、に関連付けられて記憶部２２に記憶される。
【0166】
次いで、情報特定部２３７は、焦点変更画像間において商品コードそれぞれの位置情報を比較する（Ｓ７０４）。すなわち、例えば、情報特定部２３７は、焦点変更画像「１」の各商品コードの位置情報と、焦点変更画像「２」～［９］それぞれの各商品コードの位置情報と、を比較する。
【0167】
次いで、情報特定部２３７は、焦点変更画像間において共通する距離範囲「Ｌ１」内に位置する商品コードを、焦点変更画像間で同一の商品コードに対応する商品コード群として特定する（Ｓ７０５）。すなわち、情報特定部２３７は、各焦点変更画像において略同じ位置に撮像されている商品コードを同一の商品コードであると推定し、これらの商品コードを同一の商品コードの集合である商品コード群として特定する。「距離範囲「Ｌ１」」は、複数の焦点変更画像間に亘って、焦点変更画像同士の商品コードを商品棚Ｓの同じ位置に付された商品コードとして特定する範囲である。すなわち、例えば、焦点変更画像「１」のある商品コード「α」と、焦点変更画像「２」のある商品コード「β」と、の間の距離が距離範囲「Ｌ１」以内のとき、商品コード「α」と商品コード「β」とは、商品棚Ｓの同じ位置に付された商品コード（すなわち、同じ商品コード）として特定される。
【0168】
次いで、情報特定部２３７は、商品コード群ごとに、商品コード群を構成する商品コードに対応する商品情報を比較し、商品コード群に対応する単一の商品情報を特定する（Ｓ７０６）。すなわち、例えば、情報特定部２３７は、商品コード群ごとに、最も数が多い商品情報を商品コード群に対応する単一の商品情報として特定する。つまり、情報特定部２３７は、商品コード群ごとに商品情報を統合して、商品コード群に対応する単一の商品情報を特定する。単一の商品情報は、対応する商品コード群に関連付けられて記憶部２２に記憶される。
【0169】
なお、情報特定部は、商品コード群ごとに、重複する商品情報を削除して、残った商品情報を、商品コード群に対応する単一の商品情報として特定してもよい。
【0170】
このように、本装置２０は、各焦点変更画像において検出された商品コードに対応する商品情報を特定し、焦点変更画像間において商品コードそれぞれの位置情報を比較して商品コード群を特定し、商品コード群に含まれる複数の商品コードに対応する商品情報に基づいて、商品コード群に対応する単一の商品情報を特定する。すなわち、本装置２０は、いわゆるマルチフォーカスポイントで撮像された焦点変更画像同士を合成するのではなく、同焦点変更画像において特定された商品情報を統合して、焦点変更画像に撮像された商品棚Ｓの単一の商品情報を特定する。
【0171】
また、本装置２０は、前述の本方法により、１枚の撮像画像に基づいて、各焦点変更画像の焦点位置を特定し、焦点変更画像において検出された商品コードに基づいて撮像装置に対応する商品棚に陳列された商品の商品情報をより正確に特定できる。そして、本装置２０は、特定された商品情報に基づいて、棚割作成や、商品棚ごとの欠品検知などの商品管理を高い確度で実行できる。
【0172】
●まとめ
以上説明した実施の形態によれば、本システム１（本装置２０）は、複数の焦点位置パターンを記憶する記憶部２２と、商品棚領域に撮像されている複数の特定領域を検出する検出部２３３と、記憶部２２に記憶されている複数の焦点位置パターンのうち、検出部２３３の検出結果に応じた１の焦点位置パターンを、選択パターンとして選択する選択部２３４と、を有してなる。この構成によれば、本システム１（本装置２０）は、検出部２３３の検出結果に応じた１の焦点位置パターンを選択パターンとして選択するだけで、いわゆるマルチフォーカスポイントの焦点位置を設定する領域（個別領域）の組み合わせを特定できる。
以上説明した実施の形態によれば、本システム１（本装置２０）は、複数の焦点位置パターンを記憶する記憶部２２と、商品棚領域に撮像されている複数の特定領域を検出する検出部２３３と、記憶部２２に記憶されている複数の焦点位置パターンのうち、検出部２３３の検出結果に応じた１の焦点位置パターンを、選択パターンとして選択する選択部２３４と、を有してなる。この構成によれば、本システム１（本装置２０）は、検出部２３３の検出結果に応じた１の焦点位置パターンを選択パターンとして選択するだけで、いわゆるマルチフォーカスポイントの焦点位置を設定する領域（個別領域）の組み合わせを特定できる。
【0173】
また、以上説明した実施の形態によれば、本システム１（本装置２０）は、検出部２３３により検出された特定領域に基づいて、選択パターンに含まれる複数の個別領域ごとに、焦点位置を設定する焦点位置設定部２３５、を有してなる。この構成によれば、本システム１（本装置２０）は、基準画像として取得した撮像画像ごとに、各選択パターンに含まれる個別領域ごとの焦点位置を特定領域の情報を用いて容易に設定できる。換言すれば、本システム１（本装置２０）は、撮像装置１０の撮像条件（画素数、画角など）や撮像環境（明るさなど）に応じて、撮像画像ごとに焦点位置を設定できる。
【0174】
さらに、以上説明した実施の形態によれば、本システム１（本装置２０）は、複数の焦点位置それぞれに焦点を合わせた複数の焦点変更画像を撮像装置１０に撮像させる制御信号を生成する信号生成部２３６と、制御信号に基づいて動作が制御された撮像装置１０により撮像された複数の焦点変更画像に基づいて、商品コードに対応する商品情報を特定する情報特定部２３７と、を有してなる。この構成によれば、本システム１（本装置２０）は、基準画像として取得した撮像画像ごとに、いわゆるマルチフォーカスポイントで撮像された焦点変更画像それぞれから商品コードを識別して、商品コードに対応する商品情報を特定できる。
【0175】
このように、本システム１（本装置２０）は、商品棚Ｓを撮像した撮像画像において、全ての商品コードを識別可能な状態で撮像できる。そのため、撮像画像に撮像された商品コードの認識精度は、向上する。その結果、本システム１（本装置２０）は、正確性の高い商品管理（棚割作成や欠品検知など）に活用できる。
【0176】
さらにまた、以上説明した実施の形態によれば、選択部２３４は、検出部２３３により検出された複数の商品コードの画素情報（位置情報、鮮明度）に基づいて、選択パターンを選択する。この構成によれば、本システム１（本装置２０）は、商品情報をデコードするために正確な検出を必要とする商品コードの位置情報または鮮明度に基づいて、選択パターンを選択できる。その結果、本システム１（本装置２０）は、商品コードを正確に検出可能な選択パターンを選択できる。その結果、本システム１（本装置２０）は、正確性の高い商品管理に活用できる。
【0177】
さらにまた、以上説明した実施の形態によれば、焦点位置設定部２３５は、個別領域それぞれにおいて検出された複数の商品コードのうち、鮮明度が所定の閾値Ｖ１以上、かつ、最小となる商品コードを選択し、選択された商品コードの位置情報に基づいて、焦点位置を設定する。すなわち、焦点位置設定部２３５は、検出部２３３により検出された商品コードそれぞれの鮮明度に基づいて、焦点位置を設定する。通常、撮像画像から商品コードをデコードする場合、商品コードの鮮明度（コントラスト）は、商品コードのデコード（識別）に大きな影響を与える要素である。この構成によれば、焦点位置設定部２３５は、個別領域において検出された商品コードのうち、識別可能な下限値に近い鮮明度の商品コードに合わせて焦点位置を設定できる。すなわち、本システム１（本装置２０）は、個別領域における商品コードの位置に係わらず、焦点位置変更画像においても確実に識別可能で、かつ、対応する個別領域内の他の商品コードの識別を向上可能な商品コードに焦点位置を設定できる。その結果、本システム１（本装置２０）は、正確性の高い商品管理に活用できる。
【0178】
さらにまた、以上説明した実施の形態によれば、焦点位置設定部２３５は、個別領域ごとに、商品棚領域の端部に近く、かつ、中心商品コードから最も離れた商品コード、または、端部に近い商品コードのうち、中心商品コードに最も近い商品コード、のいずれかの商品コードを選択し、選択された商品コードの位置情報に基づいて、焦点位置を設定する。すなわち、焦点位置設定部２３５は、検出部２３３により検出された商品コードそれぞれの間の位置関係に基づいて、焦点位置を設定する。通常、撮像装置１０は、画角の中心付近に焦点位置を合わせて撮像画像を撮像する。そして、撮像画像において、焦点は、撮像時の焦点位置から離れるに連れて、ずれ易くなる。この構成によれば、焦点位置設定部２３５は、個別領域において検出された商品コードのうち、焦点がずれ易い商品コード（焦点がずれている商品コード）に合わせて焦点位置を設定できる。すなわち、本システム１（本装置２０）は、例えば、棚割変更などで個別領域内の商品コードの位置が変更されたとしても、焦点がずれ易い商品コード（焦点がずれている商品コード）に合わせて焦点位置を設定できる。その結果、本システム１（本装置２０）は、正確性の高い商品管理に活用できる。
【0179】
さらにまた、以上説明した実施の形態によれば、検出部２３３は、焦点変更画像間において共通する距離範囲「Ｌ１」内に位置する商品コードを、焦点変更画像間で同一の商品コードに対応する商品コード群として特定する。情報特定部２３７は、商品コード群に含まれる複数の商品コードに対応する商品情報に基づいて、商品コード群に対応する商品情報を特定する。この構成によれば、本システム１（本装置２０）は、複数の焦点変更画像間においてほぼ同等の位置に検出された商品コードのグループ（商品コード群）を同一の商品コードとして特定し、同グループに対応する単一の商品情報を特定できる。その結果、本システム１（本装置２０）は、正確性の高い商品管理に活用できる。
【0180】
さらにまた、以上説明した実施の形態によれば、情報特定部２３７は、焦点変更画像ごとに特定された商品情報を統合して、商品棚に付された表示札それぞれが表示する商品コードに対応する商品情報を特定する。その結果、情報特定部２３７は、統合した結果、商品コード群ごとに、最も数が多い商品情報を商品コード群に対応する単一の商品情報として特定できる。また、情報特定部は、商品コード群ごとに、重複する商品情報を削除して、残った商品情報を、商品コード群に対応する単一の商品情報として特定できる。その結果、本システム１（本装置２０）は、正確性の高い商品管理に活用できる。
【0181】
なお、商品棚領域に含まれる個別領域の数は、「９」に限定されない。すなわち、例えば、商品棚領域に含まれる個別領域の数は、「２５」でもよく、あるいは、偶数の「４」「６」でもよい。商品棚領域に含まれる個別領域の数が偶数のとき、本発明における焦点位置設定部は、制御信号生成処理において、中心商品コードに代えて、基準画像の中心位置または商品棚領域の重心の座標と、各個別領域の商品コードと、の位置関係に基づいて、焦点位置を設定してもよい。
【0182】
また、本発明における検出部は、判定処理において、表示札を検出しなくてもよい。すなわち、例えば、本発明における検出部は、判定処理において、特定領域として商品コードのみを検出してもよい。
【0183】
さらに、本発明における検出部は、判定処理において、商品コードの組に代えて、上側の商品コードのみ（下側の商品コードのみ）を検出してもよい。
【0184】
さらにまた、表示札に表示される商品コードの数は「１」でもよい。この場合、本発明における検出部は、判定処理において、表示札ごとに単一の商品コードを検出する。
【0185】
さらにまた、本発明における検出部は、判定処理において、商品コードの鮮明度を取得しなくてもよい。この場合、鮮明度は、例えば、制御信号生成処理（第１焦点位置設定処理）において取得されてもよい。
【0186】
さらにまた、本発明における検出部は、表示札領域を検出しなくてもよい。この場合、本システム１（本装置２０）は、第３焦点位置設定処理を実行しなくてもよい。
【0187】
さらにまた、本発明における焦点位置設定部は、制御信号生成処理において、第１～第３設定方式のうち、少なくとも１の設定方式を選択すればよい。すなわち、例えば、本発明における焦点位置設定部は、制御信号生成処理において、第１設定方式または第２設定方式のいずれかのみを選択するように構成されてもよく、あるいは、第３設定方式のみを選択するように構成されてもよい。換言すれば、本発明における記憶部は、第１～第３設定方式のうち、いずれか１つ、または、いずれか２つ、のみを記憶していてもよく、あるいは、第１～第３設定方式以外の設定方式も記憶していてもよい。
【0188】
さらにまた、本発明における焦点位置設定部は、第１焦点位置設定処理において、鮮明度が最小となる商品コードを特定商品コードとして選択してもよい。
【0189】
さらにまた、本発明における焦点位置設定部は、表示札に１の商品コードのみが表示されているとき、第２焦点位置設定処理において、表示札に表示されている商品コードを中心商品コードまたは端部商品コードとして特定してもよい。
【0190】
さらにまた、本発明における焦点位置設定部は、制御信号生成処理において、選択パターンに含まれる個別領域の固有の番号に対応する個別領域における焦点位置のみを設定すればよい。すなわち、例えば、本発明における焦点位置設定部は、選択パターンに含まれる個別領域の固有の番号が「１」「２」「４」「６」「８」のとき、個別領域「１」「２」「４」「６」「８」における焦点位置のみを設定すればよい。
【0191】
さらにまた、本発明における選択部は、情報特定部が商品コードに対応する商品情報を特定できないとき、商品情報が特定されていない商品コードの位置情報に基づいて、選択パターンとは異なる焦点位置パターンを新たな選択パターンとして選択してもよい。この構成によれば、本システム（本装置）は、より正確に商品情報を取得できる。
【0192】
さらにまた、本発明における撮像装置が本装置として機能してもよい。
【0193】
さらにまた、本発明における取得部と、領域特定部と、検出部と、選択部と、焦点位置設定部と、信号生成部と、情報特定部とは、共通するプロセッサと半導体メモリとにより構成されてもよく、あるいは、複数のプロセッサと半導体メモリとにより構成されてもよい。
【0194】
さらにまた、以上説明した実施の形態によれば、本装置２０は、１つのコンピュータにより構成されていた。これに代えて、本装置は、複数のコンピュータにより構成されてもよい。すなわち、例えば、本装置は、本装置として機能する複数のコンピュータ群で構成されてもよい。具体的には、例えば、本装置（コンピュータ群）は、記憶部を備えるコンピュータと、本方法を実行する制御部を備えるコンピュータと、により構成されてもよい。また、例えば、複数のコンピュータが、取得部、領域特定部、検出部、選択部と、焦点位置設定部、信号生成部および情報特定部それぞれの機能を分散して備えてもよい。この場合、複数のコンピュータは、通信回線を通じて情報の送受信をしてもよく、あるいは、可搬記憶媒体を用いて情報の譲受をしてもよい。
【0195】
さらにまた、以上説明した本方法において、各処理は、本発明を実施可能であればよく、本実施の形態に限定されない。すなわち、例えば、本方法は、判定処理を有さずに、全ての商品コードが検出可能な撮像画像に対しても実行されてもよく、あるいは、商品棚領域や表示札領域、商品コードの組の検出が制御信号生成処理で実行されてもよい。
【0196】
さらにまた、以上説明した実施の形態は、特許請求の範囲に記載される発明の内容を不当に限定するものではない。また、以上説明した実施の形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【符号の説明】
【0197】
１ 情報処理システム
１０ 撮像装置
２０ 情報処理装置
２２ 記憶部
２３１ 取得部
２３２ 領域特定部
２３３ 検出部
２３４ 選択部
２３５ 焦点位置設定部
２３６ 信号生成部
２３７ 情報特定部
１０ 撮像装置
２０ 情報処理装置
２２ 記憶部
２３１ 取得部
２３２ 領域特定部
２３３ 検出部
２３４ 選択部
２３５ 焦点位置設定部
２３６ 信号生成部
２３７ 情報特定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】