特許 7592431 撮影装置および撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】撮影装置および撮影方法

(51)【国際特許分類】

   H04N 23/69 20230101AFI20241125BHJP

   G03B 15/00 20210101ALI20241125BHJP

   H04N 23/61 20230101ALI20241125BHJP

   H04N 23/695 20230101ALI20241125BHJP

   H04N 23/698 20230101ALI20241125BHJP

【ＦＩ】

H04N23/69

G03B15/00 P

G03B15/00 Q

H04N23/61

H04N23/695

H04N23/698

【請求項の数】 5

(21)【出願番号】P 2020140991

(22)【出願日】2020-08-24

(65)【公開番号】P2022036669

(43)【公開日】2022-03-08

【審査請求日】2023-05-25

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】安永 真明

(72)【発明者】

【氏名】山崎 景太

【審査官】登丸 久寿

(56)【参考文献】

【文献】国際公開第２０１８／１０９８６９（ＷＯ，Ａ１）

【文献】特開２０１８－０９７８８１（ＪＰ，Ａ）

【文献】特開２０１６－１０３６７０（ＪＰ，Ａ）

【文献】特開２０１０－２３３０４３（ＪＰ，Ａ）

【文献】特開２００７－２４９２９８（ＪＰ，Ａ）

【文献】特開２００１－１７７８２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９

Ｈ０４Ｎ ２３／６９５

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／６９８

(57)【特許請求の範囲】

【請求項1】

棚札が取り付けられる棚全体を撮影できるように設置されたカメラへ制御信号を供給するとともに前記カメラが撮影した撮影画像を取得するカメラインターフェースと、
棚札の検出領域を撮影範囲とした広域画像の撮影条件を指定して前記広域画像を前記カメラに撮影させ、前記カメラが撮影する広域画像に存在する棚札を検出し、前記広域画像から検出した各棚札の撮影順序を決定し、前記撮影順序に従って選出する１つの棚札の狭域画像を前記広域画像の撮影条件とは異なる狭域画像の撮影条件を指定して前記カメラに撮影させるプロセッサと、
を備える撮影装置。

【請求項2】

前記広域画像の撮影条件は、前記カメラが撮影する画像の解像度を第１の解像度とし、前記狭域画像の撮影条件は、前記カメラが撮影する画像の解像度を前記第１の解像度よりも高い第２の解像度とする、
請求項１に記載の撮影装置。

【請求項3】

前記プロセッサは、前記広域画像から検出した各棚札の狭域画像を順に撮影するために前記カメラの動作時間が短くなるように各棚札の撮影順序を決定する、
請求項１又は２の何れか１項に記載の撮影装置。

【請求項4】

さらに、前記カメラが撮影する広域画像に生じる歪みを示す歪み情報を記憶するメモリを有し、
前記プロセッサは、前記広域画像から検出した棚札の領域を前記メモリが記憶する歪み情報に基づいて補正し、補正した広域画像において棚札の位置を特定する、
請求項１乃至３の何れか１項に記載の撮影装置。

【請求項5】

棚札の検出領域を撮影範囲とした広域画像の撮影条件を指定して前記広域画像をカメラに撮影させ、
前記カメラが撮影する広域画像に存在する棚札を検出し、
前記広域画像から検出した各棚札の撮影順序を決定し、
前記撮影順序に従って選出する１つの棚札の狭域画像を前記広域画像の撮影条件とは異なる狭域画像の撮影条件を指定して前記カメラに撮影させる、
撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、撮影装置および撮影方法に関する。

【背景技術】

【0002】

従来、棚札に対応して棚に置かれている物品を管理するために、カメラが撮影した画像から棚に設置した棚札に記載されている情報を認識する撮影システムがある。このような撮影システムは、棚札に記載されて情報を認識できる程度の解像度で棚を撮影する必要がある。

【0003】

しかしながら、店舗あるいは倉庫などにおいて、棚札に記載されて情報を認識できる程度の解像度で棚を撮影することは、簡単ではない。例えば、高解像度のカメラを用いて棚全体を高解像度で撮影する方法は、棚札を認識する目的としては非効率である。また、カメラの撮影方向を移動させて棚札の領域を撮影する方法は、撮影方向やズームなどの制御が煩雑で、時間が掛かるという問題がある。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１５／１４０８５１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の課題を解決するため、広範囲に配置される対象物を効率良く撮影できる撮影装置および撮影方法を提供する。

【課題を解決するための手段】

【0006】

実施形態によれば、撮影装置は、カメラインターフェースと、プロセッサと、を備える。カメラインターフェースは、棚札が取り付けられる棚全体を撮影できるように設置されたカメラへ制御信号を供給するとともに前記カメラが撮影した撮影画像を取得する。プロセッサは、棚札の検出領域を撮影範囲とした広域画像の撮影条件を指定して広域画像をカメラに撮影させ、カメラが撮影する広域画像に存在する棚札を検出し、広域画像から検出した各棚札の撮影順序を決定し、撮影順序に従って選出する１つの棚札の狭域画像を広域画像の撮影条件とは異なる狭域画像の撮影条件を指定してカメラに撮影させる。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る撮影システムなどの構成例を概念的に示す図である。

【図2】図２は、実施形態に係る撮影制御装置における制御系の構成例を示すブロック図である。

【図3】図３は、実施形態に係る撮影制御装置が指定する撮影条件に基づいてカメラが広域画像を撮影する様子を模式的に示す図である。

【図4】図４は、実施形態に係る撮影制御装置がカメラから取得する広域画像において棚札領域を抽出した例を示す図である。

【図5】図５は、実施形態に係る撮影制御装置によって制御されるカメラが撮影する撮影画像に生じる歪みの例を示す図である。

【図6】図６は、実施形態に係る撮影制御装置が指定する撮影条件に基づいてカメラが狭域画像を撮影する様子を模式的に示す図である。

【図7】図７は、実施形態に係る撮影制御装置の動作例を説明するためのフローチャートである。

【発明を実施するための形態】

【0008】

以下、実施形態について、図面を参照して説明する。
図１は、実施形態に係る撮影システム１の構成例を示す図である。本実施形態では、撮影システム１は、棚４に設置されている棚札５（５１～５５）が表示する情報を認識可能な解像度で撮影するシステムであるものとする。
図１に示す構成例において、撮影システム１は、カメラ２と撮影制御装置３とを有する。また、撮影システム１は、撮影制御装置３によって制御されるカメラ２が棚４に設置されている棚札５（５１～５５）を対象物として撮影する。

【0009】

例えば、撮影システム１は、店舗などにおいて棚４などに陳列されている商品に関連する棚札５を撮影する。また、撮影システム１は、倉庫又は物流センタなどにおいて棚などに配置される物品に関連する情報を記載した棚札５を撮影するものであってもよい。ただし、撮影システム１は、棚札以外の対象物を撮影するものに用いても良い。すなわち、撮影システム１が撮影する対象物は、棚札などの特定の物に限定されるものではない。

【0010】

図１に示す構成例において、棚４は、商品（物品）を配置する３つの棚段を備える。棚４の各棚段は、商品を配置する棚板により形成される。棚段を形成する棚板の前面には、棚札５が取り付けられる。棚札５は、各棚段における商品の配置位置に対応する位置に取り付けられる。例えば、棚４の正面から見て、各棚札５の後方に各棚札が表示する情報に対応する商品が並べて配置される。

【0011】

棚札５（５１～５６）は、所定の情報が表示される。例えば、棚札５は、対応する商品に関連する情報（商品名及び価格など）を表示する。棚札５に表示する商品に関連する情報としては、商品名、商品の価格などの情報がある。また、棚札５は、棚札の管理情報又は対応する商品の商品情報をコード化したコード画像（バーコード又は二次元コードなど）を表示するようにしても良い。

【0012】

図１に示す例において、棚４は、５個の棚札５１～５５が取り付けられている。棚札５１、５２は、棚４における１段目の棚段を形成する棚板の前面に取り付けられる。棚札５３は、棚４における２段目の棚段を形成する棚板の前面に取り付けられる。棚札５４、５５は、棚４における３段目の棚段を形成する棚板の前面に取り付けられる。なお、棚４に取り付けられる棚札５の位置および個数は、特定の構成に限定されるものではない。

【0013】

カメラ２は、棚札５が取り付けられる棚４全体を撮影できるように設置される。本実施形態において、カメラ２は、所定位置に固定されるものとする。ただし、カメラ２は、移動するものであっても良い。カメラ２は、撮影制御装置３からの制御信号に応じて、撮影方向および撮影倍率などが可変である。

【0014】

例えば、カメラ２は、撮影制御装置３からの制御信号に応じて、パン、チルト、および、ズームが可能なＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）カメラである。ＰＴＺカメラにおいて、パン（Ｐａｎ）とは、カメラの画角の水平方向への移動を意味する。ＰＴＺカメラにおいて、チルト（Ｔｉｌｔ）とは、カメラの画角の垂直方向への移動を意味する。また、ＰＴＺカメラにおいて、ズーム（Ｚｏｏｍ）とは、撮影する画像のズームアップとズームアウトとを意味する。

【0015】

撮影制御装置３は、カメラ２を制御したり、カメラ２が撮影した画像を処理したりする。例えば、撮影制御装置３は、棚札の領域を検出する場合、広範囲の領域の画像（広域画像）を低解像度で撮影するための撮影条件をカメラ２にセットする。撮影制御装置３は、棚札の検出領域となる広範囲の領域において棚札の領域（位置）を検出するための画像として広域画像をカメラ２に撮影させる。広域画像は、棚札の検出対象となる広範囲の棚札を抽出できるような画像とする。このため、撮影制御装置３は、棚札の領域を抽出できる程度の低解像度で広域画像をカメラ２に撮影させる。

【0016】

棚札領域を検出するための広域画像の撮影条件をカメラ２にセットした場合、撮影制御装置３は、カメラ２が撮影する画像（広域画像）を取得する。撮影制御装置３は、カメラ２が撮影した広域画像を取得すると、広域画像から棚札の画像を含む棚札領域を検出する処理を行う。

【0017】

また、撮影制御装置３は、各棚札が表示する情報を認識するため、広域画像から抽出した棚札領域を含む狭い範囲を高解像度で撮影するための撮影条件をカメラ２にセットする。撮影制御装置３は、広域画像から抽出した棚札領域において棚札が表示する情報を認識するための画像として狭域画像をカメラ２に撮影させる。狭域画像は、個々の棚札が表示する情報が認識できる程度の高解像度で棚札領域を撮影した画像とする。このため、撮影制御装置３は、棚札が表示する情報が認識できる程度の高解像度で棚札領域に絞った狭域の領域の画像を狭域画像としてカメラ２に撮影させる。

【0018】

撮影領域を棚札領域に絞った狭域画像の撮影条件をカメラにセットした場合、撮影制御装置３は、カメラ２が撮影する画像（狭域画像）を取得する。撮影制御装置３は、カメラ２が撮影した狭域画像を取得すると、狭域画像に含まれる棚札が表示する情報を認識する処理を行う。

【0019】

また、撮影制御装置３は、カメラ２の仕様に応じた歪み情報に基づいて広域画像から抽出した各棚札領域の位置などを補正する。これは、カメラ２が撮影する広域画像に歪みが生じることがあるためである。また、撮影制御装置３は、各棚札領域の狭域画像を撮影する前に、広域画像から抽出した各棚札領域を狭域画像として撮影する順番（撮影順序）を決定する。撮影制御装置３は、撮影順序に従って棚札領域を選出し、選出した棚札領域に対する狭域画像をカメラ２に撮影させる。

【0020】

次に、実施形態に係わる撮影システム１の撮影制御装置３における制御系の構成について説明する。
図２は、実施形態に係わる撮影制御装置３における制御系の構成例を示すブロック図である。
図２が示すように、撮影制御装置３は、プロセッサ３１、メモリ３２、記憶装置３３、カメラインターフェース３４、および、通信インターフェース３５などを備える。
撮影制御装置３は、カメラ２と通信できる装置であれば良い。例えば、撮影制御装置３は、デスクトップＰＣ、ノートＰＣ、タブレットＰＣ又はスマートフォンなどである。また、撮影制御装置３は、カメラ２と一体的に構成されるものであっても良い。例えば、撮影制御装置３は、カメラ２が具備する制御装置であっても良い。

【0021】

プロセッサ３１は、メモリ３２、記憶装置３３、カメラインターフェース３４および通信インターフェース３５に接続する。プロセッサ３１は、各部の制御および各種の処理を実行する。例えば、プロセッサ３１は、ＣＰＵなどを含む回路により構成される。また、プロセッサ３１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などを含む回路により構成しても良い。また、プロセッサ３１は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含む回路により構成としても良い。プロセッサ３１は、メモリ３２又は記憶装置３３が記憶するプログラムを実行する。例えば、プロセッサ３１は、プログラムを実行することによりカメラ２の動作制御および画像処理などの各種の処理を実行する。

【0022】

メモリ３２は、種々のデータを格納する。例えば、メモリ３２は、ＲＯＭ、ＲＡＭおよびＮＶＭなどを含むメモリ群である。メモリ３２のＲＡＭは、プロセッサ３１の処理中のデータなどを一時的に格納する。また、メモリ３２のＲＡＭは、プログラムの実行に必要なデータおよびプログラムの実行結果などを一時的に格納するようにしても良い。

【0023】

メモリ３２のＲＯＭ又はＮＶＭは、プロセッサ３１が実行するプログラムおよび制御データなどを記憶する。メモリ３２は、後述する各処理を実行するための各種のプログラムを記憶する。
また、メモリ３２は、カメラ２の仕様に応じた情報を記憶する。本実施形態において、メモリ３２は、カメラ２が撮影する撮影画像に生じる歪みを示す情報（歪み情報）を記憶する記憶領域３２１を有する。例えば、記憶領域３２１に記憶する歪み情報は、撮影画像における歪みを示す情報を格納したテーブルであっても良いし、歪みを算出するための式であっても良い。

【0024】

記憶装置３３は、データを記憶する装置である。記憶装置３３は、ＨＤＤ（ハードディスクドライブ）あるいはＳＳＤ（ソリッドステートドライブ）などで構成される。記憶装置３３は、例えば、カメラインターフェース３４を介してカメラ２から取得する画像を保存する。また、記憶装置３３は、カメラ２の撮影画像に対する処理結果（例えば、棚札の認識結果）などを示す情報を保存するようにしても良い。

【0025】

カメラインターフェース３４は、カメラ２と接続する。カメラインターフェース３４は、カメラ２とデータを送受信するためのインターフェースである。例えば、カメラインターフェース３４は、プロセッサ３１からカメラ２へ撮影条件などを指示する信号を送信する。また、カメラインターフェース３４は、カメラ２が撮影した画像を取得する。また、カメラインターフェース３４は、カメラ２に電力を供給するものであってもよい。例えば、カメラインターフェース３４は、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）接続をサポートするものであっても良いし、カメラリンクによる接続をサポートするものでもよい。

【0026】

通信インターフェース３５は、外部の管理サーバ７と通信するためのインターフェースである。例えば、通信インターフェース３５は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して管理サーバ７と通信するためのインターフェースである。通信インターフェース３５は、有線で通信を行うものであっても良いし、無線で通信を行うものであっても良い。

【0027】

ここで、管理サーバ７は、棚に配置する棚札および棚において棚札に対応して配置する物品を管理するための情報を管理するものとする。例えば、管理サーバ７は、棚において、どの位置にどの棚札を配置するかを設計したレイアウト情報を保持する。すなわち、通信インターフェース３５は、カメラ２が撮影する画像から棚札が表示する情報を認識した結果などを含む処理結果を管理サーバ７へ送信するためのインターフェースである。また、通信インターフェース３５は、棚札又は棚札に対応して配置される商品のレイアウトを示すレイアウト情報を管理サーバ７から取得するためのインターフェースである。

【0028】

カメラ２は、撮影制御装置３からの制御信号に応じて撮影方向、撮影倍率、解像度などの撮影条件を設定する。カメラ２は、例えば、撮影制御装置３からの制御信号に応じて、パン、チルト、および、ズームが可能なＰＴＺカメラである。ＰＴＺカメラなどのカメラ２は、撮影方向および撮影倍率を移動させるための駆動機構を有する。カメラ２は、駆動機構を駆動させることにより撮影方向を撮影制御装置３から指定される撮影方向に調整する。また、カメラ２は、画像を撮影する倍率を撮影制御装置３から指定される倍率に調整する。

【0029】

例えば、広域画像を撮影する場合、カメラ２は、撮影制御装置３から指示される撮影条件に従って広範囲を低解像度で撮影するように設定する。また、狭域画像を撮影する場合、カメラ２は、撮影制御装置３から指示される撮影条件に従って対象とする棚札領域に絞った狭域の領域を高解像度で撮影するように設定する。

【0030】

次に、実施形態に係る撮影システム１の動作について概略的に説明する。
撮影システム１において、撮影制御装置３は、棚札の領域を検出するために、カメラ２に広域画像を撮影させる。撮影制御装置３のプロセッサ３１は、広域画像として撮影する範囲（棚札を検出する範囲）を決定する。例えば、撮影制御装置３のプロセッサ３１は、棚札の検出対象とする棚全体を広域画像の撮影範囲とする。また、撮影制御装置３のプロセッサ３１は、棚の所定位置に予め配置したマーカ（例えば、２次元コード）を検出することにより広域画像の撮影範囲を決定するようにしても良い。

【0031】

ここで、具体例として、図１に示す棚４に配置した棚札５が表示する情報を認識する処理について説明する。
図３は、カメラ２が棚４全体を撮影範囲として広域画像を撮影する様子を模式的に示す図である。図３では、棚４の正面に設置したカメラ２が棚４全体を撮影範囲として広域画像を撮影する様子を上方から見た場合の例を示す。

【0032】

棚４全体が棚札の検出領域である場合、撮影制御装置３のプロセッサ３１は、図３に示すように、棚４全体が撮影範囲となるように撮影方向（パンおよびチルト）とズーム倍率とを決定する。撮影制御装置３のプロセッサ３１は、棚４全体を撮影範囲する撮影方向とズーム倍率とに加えて広域画像用の低解像度を含む撮影条件をカメラ２に指定する。

【0033】

カメラ２は、撮影制御装置３から指定される撮影条件に従ってパン、チルトおよびズームを駆動させる。撮影条件に従って撮影方向、ズーム倍率および解像度を設定した後、カメラ２は、図３に示すように、棚４全体を撮影範囲とする広域画像を撮影する。カメラ２は、指定された撮影条件で撮影した広域画像を撮影制御装置３へ供給する。

【0034】

次に、撮影制御装置３が、カメラ２から取得する広域画像に存在する棚札の領域を検出する処理について説明する。
図４は、撮影制御装置３がカメラ２から取得した広域画像において棚札の領域を検出した例を示す図である。
撮影制御装置３は、カメラ２が撮影した広域画像を取得すると、取得した広域画像に存在する棚札の領域を検出する。図４に示すような広域画像を取得した場合、撮影制御装置３のプロセッサ３１は、当該広域画像から各棚札５（５１～５５）に対応する棚札領域（対象物領域）６１～５５を抽出する。

【0035】

棚札領域６１～５５は、広域画像に存在する各棚札５１～５５を含む領域である。棚札領域６１～６５は、棚４全体を撮影範囲とした広域画像から各棚札５１～５５を切り出した領域である。例えば、棚札領域６１は、棚札５１を囲う矩形である。棚札領域６１～５５は、ピクセル単位で指定されるものであってもよい。

【0036】

プロセッサ３１は、メモリ３２が記憶する領域抽出プログラムを実行することにより広域画像から棚札領域を抽出する。領域抽出プログラムは、例えば、物体検出技術であるＹＯＬＯ （Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）ネットワーク（ディープラーニング）を用いて棚札領域を抽出する。また、領域抽出プログラムは、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、又は、ＦＣＩＳ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｉｎｓｔａｎｃｅ－ａｗａｒｅ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）などを用いてもよい。また、領域抽出プログラムは、顔検出などで利用されるようなＨａａｒ－ｌｉｋｅ特徴を用いたＡｄａＢｏｏｓｔを用いてもよい。また、領域抽出プログラムは、ＳＩＦＴ（Ｓｃａｌｅｄ Ｉｎｖａｒｉａｎｃｅ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などの局所特徴量などを用いた認識エンジンを適用したものであっても良い。プロセッサ３１が棚札領域を抽出する方法（領域抽出プログラム）は、特定のアルゴリズムを用いたものに限定されるものではない。

【0037】

次に、撮影制御装置３が、広域画像から検出した各棚札領域を狭域画像として撮影する順序を決定する処理について説明する。
撮影制御装置３のプロセッサ３１は、広域画像から棚札領域を検出すると、検出した各棚札領域の実際の位置（正確な位置）に特定する。カメラ２が撮影する撮影画像には、カメラ２の仕様に応じた歪みが生じる。広域画像では、歪みの影響が大きくなる。このため、広域画像から検出した棚札領域は、カメラ２の仕様として定められている歪み情報に基づいて補正する。歪み情報に基づいて補正することにより、棚札領域の正確な（実際の）位置が特定される。

【0038】

歪み情報は、メモリ３２の記憶領域３２１に記憶される。歪み情報は、広域画像の各点における歪みを示す情報を格納したテーブルであっても良い。歪み情報は、広域画像の各点における歪みを算出するためのモデル式であっても良い。例えば、撮影制御装置３のプロセッサ３１は、広域画像から検出した各棚札領域６１～６５の位置（例えば、棚札領域の中心座標）を歪み情報に基づいて補正する。これにより、撮影制御装置３のプロセッサ３１は、広域画像から検出した各棚札領域６１～６５の実際の位置を特定できる。

【0039】

撮影制御装置３のプロセッサ３１は、広域画像から検出した各棚札領域の実際の位置を特定すると、各棚札領域をそれぞれ狭域画像として撮影するための撮影順序を決定する。例えば、撮影制御装置３のプロセッサ３１は、全ての棚札領域６１～６５の狭域画像を順番に撮影までに要する時間が最小となるように撮影順序を決定する。また、プロセッサ３１は、各棚札領域６１～６５の狭域画像を撮影するためのカメラ２の動作時間（パン、チルトおよびズームなどの動作に要する時間）が最小となるように撮影順序を決定するようにしても良い。さらに、プロセッサ３１は、各棚札領域６１～６５の撮影条件に応じたパン、チルトおよびズームなどに伴うカメラ２の駆動が最小となるように撮影順序を決定しても良い。

【0040】

次に、撮影制御装置３がカメラ２に狭域画像を撮影させる処理について説明する。
撮影制御装置３のプロセッサ３１は、各棚札領域の撮影順序を決定すると、撮影順序に従って選出する棚札領域を狭域画像としてカメラ２に撮影させる。
図６は、カメラ２が棚札５２を含む棚札領域６２を狭域画像として撮影する様子を模式的に示す図である。図６では、図３と同様に、棚４の正面に設置したカメラ２が棚札５２を含む棚札領域６２を狭域画像として撮影する様子を上方から見た場合の例を示す。

【0041】

棚札５２を含む棚札領域６２を撮影する場合、撮影制御装置３のプロセッサ３１は、図６に示すように、棚札領域６２に絞った撮影範囲を高解像でカメラ２に撮影させる。プロセッサ３１は、棚札領域６２を狭域画像の撮影領域とするように撮影方向（パンおよびチルト）とズーム倍率とを決定する。撮影制御装置３は、棚札領域６２を撮影範囲とする撮影方向とズーム倍率とに加えて狭域画像用の高解像度を含む撮影条件をカメラ２に指定する。

【0042】

カメラ２は、撮影制御装置３から指定される撮影条件に従ってパン、チルトおよびズームを駆動させる。撮影条件に従って撮影方向、ズーム倍率および解像度を設定した後、カメラ２は、図６に示すように、撮影順番に従って選出された棚札領域を撮影範囲とする高解像度の画像（狭域画像）を撮影する。カメラ２は、指定された撮影条件で撮影した狭域画像を撮影制御装置３へ供給する。
撮影制御装置３は、カメラ２が撮影した狭域画像を取得すると、取得した狭域画像に含まれる棚札が表示する情報を認識する。

【0043】

次に、実施形態に係わる撮影システム１における撮影制御装置３の動作例について詳細に説明する。
図９は、実施形態に係わる撮影システム１における撮影制御装置３の動作例を説明するためのフローチャートである。

【0044】

まず、撮影制御装置３のプロセッサ３１は、カメラ２に広域画像を撮影させるための撮影条件を指定する（ＡＣＴ１０）。ここで、広域画像は、所定の低解像度（第１の解像度）で撮影されるものとする。プロセッサ３１は、棚札の検出領域となる広域画像の撮影範囲を設定する。広域画像の撮影範囲は、カメラ２が撮影可能な範囲であれば良い。プロセッサ３１は、検出する対象となる棚札の検出領域全体をカバーするように広域画像の撮影範囲を設定する。

【0045】

例えば、図１に示す棚４に配置された全ての棚札５を検出対象とする場合、プロセッサ３１は、棚札５（５１～５５）の検出領域（広域画像の撮影範囲）を棚４全体とする。カメラ２が棚札の検出領域全体を広域画像として撮影可能であれば、プロセッサ３１は、棚札の検出領域（例えば、棚全体）を広域画像の撮影範囲として設定する。また、カメラ２が撮影可能な範囲よりも棚札の検出領域全体が大きい場合、プロセッサ３１は、複数回に分けて棚札の検出領域全体を撮影できるように撮影範囲を設定する。

【0046】

広域画像の撮影範囲を決定すると、プロセッサ３１は、広域画像の撮影範囲を所定の低解像度で撮影するような撮影条件をカメラ２に対して指定する。例えば、プロセッサ３１は、広域画像の撮影範囲を撮影するための撮影条件として、撮影方向、撮影倍率、解像度などを決定する。撮影条件を決定すると、プロセッサ３１は、カメラインターフェース３４を介して指定する撮影条件での広域画像の撮影をカメラ２に指示する。

【0047】

カメラ２は、撮影制御装置３から撮影条件として指定される撮影方向、撮影倍率および解像度などを設定する。カメラ２は、撮影条件を設定すると、設定された撮影条件で画像（広域画像）を撮影する。カメラ２は、指定された撮影条件で撮影した広域画像を撮影制御装置３へ供給する。

【0048】

撮影制御装置３のプロセッサ３１は、カメラインターフェース３４によりカメラ２が撮影した広域画像を取得する（ＡＣＴ１１）。プロセッサ３１は、カメラ２から広域画像を取得すると、取得した広域画像に存在する棚札を検出し、検出した棚札を含む棚札領域を抽出する（ＡＣＴ１２）。

【0049】

広域画像から棚札領域を抽出すると、プロセッサ３１は、カメラ２の撮影画像に生じる歪みに応じて棚札領域を補正する（ＡＣＴ１３）。プロセッサ３１は、記憶領域３２１に記憶した歪み情報に基づいて広域画像から抽出した棚札領域の歪みを補正する。プロセッサ３１は、歪みを補正することにより広域画像から抽出した棚札領域の実際の位置などを特定する。

【0050】

歪み情報に基づいて歪みを補正した後、プロセッサ３１は、各棚札領域をそれぞれ狭域画像として撮影するための撮影順序を決定する（ＡＣＴ１４）。プロセッサ３１は、カメラ２が全ての棚札領域を効率良く撮影できるように撮影順序を決定する。例えば、プロセッサ３１は、カメラ２の撮影方向の調整が最も短くなるように撮影順序を決定する。

【0051】

また、カメラ２が画角を水平方向へ移動させるのに要する時間と垂直方向へ移動させるのに要する時間とが異なる場合がある。このような場合、プロセッサ３１は、カメラ２の撮影方向を移動させる時間が最短となるように撮影順序を決定しても良い。また、カメラ２は、画角を水平方向へ移動させるのに必要な消費電力と画角を垂直方向へ移動させるのに必要な消費電力とが異なる場合がある。このような場合、プロセッサ３１は、カメラ２の撮影方向の移動に伴う消費電力が最小となるように撮影順序を決定しても良い。

【0052】

また、プロセッサ３１は、各棚札領域を狭域画像として撮影するための撮影条件を決定する（ＡＣＴ１５）。プロセッサ３１は、各棚札領域に対する撮影条件として、撮影方向（パンチルト係数）、ズーム倍率、および、解像度などを決定する。例えば、プロセッサ３１は、カメラ２の位置と棚札領域の位置とから撮影方向を決定する。また、プロセッサ３１は、カメラ２から棚札領域までの距離などからズーム倍率を決定する。また、プロセッサ３１は、カメラ２が撮影する棚札領域を含む領域の画像から棚札が表示する情報を認識するための解像度（第１の解像度よりも高い第２の解像度）を設定する。さらに、プロセッサ３１は、撮影条件として、焦点距離などの情報を決定しても良い。

【0053】

各棚札領域の撮影条件を決定すると、プロセッサ３１は、撮影順序に従って１つの棚札領域を狭域画像の撮影対象として選定する（ＡＣＴ１６）。撮影対象とする棚札領域を選定すると、プロセッサ３１は、選定した棚札領域の狭域画像を撮影するための撮影条件をカメラインターフェース３４を介してカメラ２に指示する（ＡＣＴ１７）。カメラ２は、撮影制御装置３から指示される撮影条件に従って撮影方向、ズーム倍率および解像度を設定する。カメラ２は、撮影条件の設定が完了すると、画像（狭域画像）を撮影する。カメラ２は、撮影した狭域画像を撮影制御装置３へ供給する。

【0054】

撮影制御装置３のプロセッサ３１は、指定した撮影条件でカメラ２が棚札領域を撮影した狭域画像をカメラインターフェース３４を介して取得する（ＡＣＴ１８）。プロセッサ３１は、選出した棚札領域を撮影した狭域画像を取得すると、取得した狭域画像に含まれる棚札領域の画像から棚札が表示する情報を認識する（ＡＣＴ１９）。

【0055】

プロセッサ３１は、カメラ２から取得する狭域画像に含まれる棚札の画像に対して文字認識あるいはバーコード認識を行うことにより棚札が表示する情報を認識する。この結果、プロセッサ３１は、撮影順序に従って選出した棚札領域の棚札が表示する情報の認識結果を得る。プロセッサ３１は、棚札が表示する情報の認識結果をメモリ３２又は記憶装置３３に保持する。

【0056】

棚札が表示する情報の認識結果を得ると、プロセッサ３１は、次に狭域画像として撮影すべき棚札領域があるかを判断する（ＡＣＴ２０）。例えば、プロセッサ３１は、ＡＣＴ１４で決定した撮影順序に基づいて次に撮影すべき棚札領域があるか否かを判断する。次に撮影すべき棚札領域があると判断した場合（ＡＣＴ２０、ＹＥＳ）、プロセッサ３１は、ＡＣＴ１６へ戻り、次に撮影すべき棚札領域を選出して上述した処理を実行する。

【0057】

次に撮影すべき棚札領域がないと判断した場合（ＡＣＴ２０、ＮＯ）、プロセッサ３１は、広域画像として撮影した範囲における全ての棚札が表示する情報の認識が終了したものとする。ただし、プロセッサ３１は、次に広域画像として撮影する領域（棚札を検出すべき領域）があれば、ＡＣＴ１１へ戻って上述した処理を繰り返し実行する。

【0058】

全ての棚札が表示する情報の認識が終了した後、プロセッサ３１は、メモリ３２又は記憶装置３３に保存した棚札の認識結果と管理サーバ７が管理する情報とを照合する（ＡＣＴ２１）。ここでは、管理サーバ７は、棚におけるどの位置にどの棚札を配置したかを示すレイアウト情報を保持するものとする。プロセッサ３１は、管理サーバ７から取得するレイアウト情報と棚札の認識結果とに基づいて棚の所定位置に各棚札があるかをチェックする。プロセッサ３１は、各棚札の認識結果と照合結果とを含む処理結果を管理サーバ７へ送信する（ＡＣＴ２２）。

【0059】

なお、プロセッサ３１は、選出した棚札の認識結果が得られるごとに通信インターフェース３５を介して管理サーバ７へ棚札の認識結果を出力するようにして良い。また、プロセッサ３１は、個々の棚札の認識結果を送信せずに、各棚札の認識結果とレイアウト情報との照合結果を送信するようにしても良い。さらに、プロセッサ３１は、各棚札の認識結果を送信せずに、レイアウト情報と一致しないと判定された棚札に関する情報を管理サーバ７へ送信するようにしても良い。

【0060】

以上のように構成された撮影制御装置は、撮影の対象物である棚札が配置される棚を含む広範囲の領域を低解像度の広域画像としてカメラに撮影させる。撮影制御装置は、カメラが撮影した広域画像から個々の棚札の領域（棚札領域）を抽出する。撮影制御装置は、広域画像から抽出した棚札領域を高解像度で撮影する撮影順序を決定する。撮影制御装置は、個々の棚札領域を高解像度の狭域画像として撮影するための撮影条件を決定する。撮影制御装置は、撮影順序に従って個々の棚札領域を狭域画像として撮影するための撮影条件でカメラに撮影させる。撮影制御装置は、狭域画像に含まれる棚札の画像に基づいて棚札が表示する情報を認識する。

【0061】

これにより、撮影制御装置は、低解像度の広域画像で認識対象とする棚札を抽出し、棚札を高解像度で効率良く撮影するための撮影順序および撮影条件を決定できる。この結果として、撮影制御装置は、棚などの広範囲に配置された認識対象となる複数の棚札を簡単に抽出できる。また、撮影制御装置は、カメラに対して無駄な動きを抑えてながら抽出された個々の棚札を効率良く高解像度で撮影させることができ、各棚札を効率良く認識できる。

【0062】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
［１］
カメラへ制御信号を供給するとともに前記カメラが撮影した撮影画像を取得するカメラインターフェースと、
対象物の検出領域を撮影範囲とした広域画像を前記カメラに撮影させ、前記カメラが撮影する広域画像に存在する対象物を検出し、前記広域画像から検出した各対象物の撮影順序を決定し、前記撮影順序に従って選出する１つの対象物の狭域画像をカメラに撮影させるプロセッサと、
を備える撮影装置。
［２］
前記プロセッサは、前記広域画像から検出した各棚札の狭域画像を撮影するための撮影方向およびズーム倍率を含む撮影条件を決定し、前記撮影順序に従って選出する棚札の狭域画像を撮影するための撮影条件を前記カメラに設定させる、
［１］に記載の撮影装置。
［３］
さらに、前記カメラが撮影する画像に生じる歪みを示す歪み情報を記憶するメモリを有し、
前記プロセッサは、前記広域画像から検出した対象物の領域を前記メモリが記憶する歪み情報に基づいて補正する、
［１］又は［２］の何れか１つに記載の撮影装置。
［４］
前記対象物は、棚に配置される棚札である、
［１］乃至［３］の何れか１つに記載の撮影装置。
［５］
対象物の検出領域を撮影範囲とした広域画像をカメラに撮影させ、
前記カメラが撮影する広域画像に存在する対象物を検出し、
前記広域画像から検出した各対象物の撮影順序を決定し、
前記撮影順序に従って選出する１つの対象物の狭域画像を前記カメラに撮影させる、
撮影方法。

【符号の説明】

【0063】

１…撮影システム、２…カメラ、３…撮影制御装置、４…棚、７…管理サーバ、３１…プロセッサ、３２…メモリ、３３…記憶装置、３４…カメラインターフェース、３５…通信インターフェース。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】