特開 2022-7384 画像処理装置と画像処理システムと画像処理プログラムと画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022007384

(43)【公開日】2022-01-13

(54)【発明の名称】画像処理装置と画像処理システムと画像処理プログラムと画像処理方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20220105BHJP

   G01B 11/00 20060101ALI20220105BHJP

【ＦＩ】

G06T5/00 725

G01B11/00 H

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2020110320

(22)【出願日】2020-06-26

(71)【出願人】

【識別番号】519135611

【氏名又は名称】株式会社Ｒｅｔａｉｌ ＡＩ

(74)【代理人】

【識別番号】100141173

【弁理士】

【氏名又は名称】西村 啓一

(72)【発明者】

【氏名】蛯原 均

【テーマコード（参考）】

2F065

5B057

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065AA65

2F065BB05

2F065BB27

2F065CC14

2F065DD02

2F065DD06

2F065EE08

2F065FF04

2F065FF61

2F065JJ03

2F065QQ03

2F065QQ17

2F065QQ21

2F065QQ24

2F065QQ25

2F065QQ28

2F065QQ29

2F065QQ31

2F065QQ45

2F065UU05

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD01

5B057CH18

5B057DA17

5B057DB02

5B057DB09

5B057DC05

5B057DC36

(57)【要約】      （修正有）

【課題】撮像画像に基づいて、撮像画像に撮像されている被写体を透視変換できる画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法を提供する。
【解決手段】画像処理システムにおいて、画像処理装置２は、矩形状の特徴を有する被写体が透視投影された状態で撮像された撮像画像に対して、被写体を透視変換し、撮像画像に撮像された被写体の形状を補正する画像処理装置であって、撮像画像を取得する画像取得部２３１と、撮像画像に撮像された被写体から４角形の領域を形成する４つの基準点と、４つの基準点それぞれの座標と、を特定する基準特定部２３２と、被写体を透視変換する複数の変換パターンを記憶する記憶部２２と、座標に基づいて、複数の変換パターンの中から、被写体を透視変換する変換パターンを選択するパターン選択部２３３と、変換パターンに基づいて、撮像画像に撮像された被写体の形状を補正する補正部２３５と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

矩形状の特徴を有する被写体が透視投影された状態で撮像された撮像画像に対して、前記被写体を透視変換し、前記撮像画像に撮像された前記被写体の形状を補正する画像処理装置であって、
前記撮像画像を取得する画像取得部と、
前記撮像画像に撮像された前記被写体から４角形の領域を形成する４つの基準点と、４つの前記基準点それぞれの座標と、を特定する基準特定部と、
前記被写体を透視変換する複数の変換パターンを記憶する記憶部と、
前記座標に基づいて、前記記憶部に記憶されている複数の前記変換パターンの中から、前記被写体を透視変換する前記変換パターンを選択するパターン選択部と、
前記変換パターンに基づいて、前記撮像画像に撮像された前記被写体の形状を補正する補正部と、
を有してなる、
ことを特徴とする画像処理装置。

【請求項2】

前記変換パターンは、
４つの前記基準点のうち、２つの前記基準点のみを前記被写体の補正後の形状の位置に移動させる第１変換パターンと、
４つの前記基準点のうち、３つの前記基準点のみを前記被写体の補正後の形状の位置に移動させる第２変換パターンと、
を含む、
請求項１記載の画像処理装置。

【請求項3】

前記撮像画像を構成する複数の画素の配列において、列方向をＸ方向とし、行方向をＹ方向としたとき、
前記座標は、
前記Ｘ方向における座標値を示すＸ座標値と、
前記Ｙ方向における座標値を示すＹ座標値と、
を含み、
前記パターン選択部は、
前記基準点それぞれの前記Ｘ座標値と前記Ｙ座標値の中で、前記Ｘ座標値が最大値または最小値、かつ、前記Ｙ座標値が最大値または最小値、の座標を有する特定基準点の有無を判別し、
前記特定基準点が有ると判別したとき、前記第１変換パターンを選択し、
前記特定基準点が無いと判別したとき、前記第２変換パターンを選択する、
請求項２記載の画像処理装置。

【請求項4】

前記第１変換パターンは、４つの前記基準点のうち、前記特定基準点と、前記特定基準点の対角に位置する前記基準点と、を除く２つの前記基準点のみを前記被写体の補正後の形状の位置に移動させる、
請求項３記載の画像処理装置。

【請求項5】

前記第２変換パターンは、４つの前記基準点のうち、移動しない不動基準点と、他の３の前記基準点のいずれか２つの前記基準点に外接する外接矩形が前記被写体の補正後の形状となるように、前記不動基準点を除く３つの前記基準点を移動させる、
請求項３記載の画像処理装置。

【請求項6】

前記外接矩形は、前記不動基準点と、前記不動基準点の対角に位置する前記基準点と、他の２つの前記基準点のいずれかと、に外接する、
請求項５記載の画像処理装置。

【請求項7】

前記不動基準点は、４つの前記基準点それぞれの前記座標に基づいて、決定される、
請求項５記載の画像処理装置。

【請求項8】

前記不動基準点は、４つの前記基準点のうち、対角に位置しない２つの前記基準点の前記Ｘ座標値、または、前記Ｙ座標値、の大小関係に基づいて、決定される、
請求項７記載の画像処理装置。

【請求項9】

前記パターン選択部は、
前記特定基準点が無いと判別したとき、前記基準点それぞれの前記座標に基づいて、前記４角形の前記撮像画像における回転状態を判定し、
前記回転状態は、
第１回転状態と、
第２回転状態と、
を含み、
前記第２変換パターンは、
前記第１回転状態に対応する第１回転変換パターンと、
前記第２回転状態に対応する第２回転変換パターンと、
を含む、
請求項３記載の画像処理装置。

【請求項10】

前記パターン選択部は、前記回転状態が判定できないとき、前記変換パターンを選択しない、
請求項９記載の画像処理装置。

【請求項11】

前記基準特定部は、前記被写体に付された標識に基づいて、４つの前記基準点を特定する、
請求項１記載の画像処理装置。

【請求項12】

前記撮像画像を表示する表示部と、
前記表示部に表示された前記撮像画像の任意の位置を選択可能な操作部と、
を有してなり、
前記基準特定部は、前記操作部が操作されて選択された位置を前記基準点として特定する、
請求項１記載の画像処理装置。

【請求項13】

コンピュータを請求項１記載の画像処理装置として機能させる、
ことを特徴とする画像処理プログラム。

【請求項14】

矩形状の特徴を有する被写体が透視投影された状態で撮像された撮像画像に対して、前記被写体を透視変換して前記撮像画像に撮像された前記被写体の形状を補正する画像処理システムであって、
前記撮像画像を撮像する撮像部と、
前記撮像画像に撮像された前記被写体の形状を補正する画像処理装置と、
を有してなり、
前記画像処理装置は、請求項１記載の画像処理装置である、
ことを特徴とする画像処理システム。

【請求項15】

矩形状の特徴を有する被写体が透視投影された状態で撮像された撮像画像に対して、前記被写体を透視変換し、前記撮像画像に撮像された前記被写体の形状を補正する画像処理装置に実行される画像処理方法であって、
前記画像処理装置が、前記撮像画像に撮像された前記被写体から特定された４つの基準点の座標に基づいて、前記透視変換の複数の変換パターンの中から、前記被写体を透視変換する前記変換パターンを選択するステップと、
前記画像処理装置が、前記変換パターンに基づいて、前記撮像画像に撮像された前記被写体の形状を補正するステップと、
を有してなる、
ことを特徴とする画像処理方法。

【請求項16】

前記画像処理装置が、前記撮像画像を取得するステップと、
前記画像処理装置が、前記撮像画像に撮像された前記被写体から４角形の領域を形成する４つの前記基準点と、４つの前記基準点それぞれの座標と、を特定するステップと、
を有してなる、
請求項１５記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置と画像処理システムと画像処理プログラムと画像処理方法とに関する。

【背景技術】

【0002】

スーパーマーケットやホームセンター、コンビニエンスストアなどの店舗の屋内、および、道路やショッピングモールの通路や主要な道路などの屋外において、商品や人の移動・出入を監視する監視カメラが、広く普及している。一般的に、監視カメラは、所定の位置に固定され、画角内の商品や人などの被写体を撮像する。被写体が撮像された撮像画像は、ＡＩ（Artificial Intelligence）を用いた画像認識処理により解析される。

【0003】

近年、デジタルカメラなどの撮像装置の高解像度化に伴い、広角レンズを備える１つの撮像装置により広範囲の被写体を撮像する技術が、監視カメラにも用いられている。また、通常、監視カメラは、被写体の移動の妨げにならないように、被写体よりも上方に配置され、斜め上方から被写体を撮像する。そのため、撮像画像に撮像された被写体は、監視カメラの画角や向き、被写体までの距離などの監視カメラと被写体との間の位置関係により、透視投影された状態で撮像される。すなわち、撮像画像において、被写体は、前述の位置関係に応じて、歪んだ形状で撮像される。

【0004】

前述のとおり、撮像画像は、ＡＩを用いた画像認識処理により解析される。同画像処理技術では、ＡＩに学習させるための教師データが必要となる。しかしながら、前述の歪みを考慮して教師データを作成する場合、教師データの数が膨大となり、教師データの作成時間が増加し、ＡＩの学習時間も増加する。その結果、開発期間および開発コストが増加する。

【0005】

これまでにも、撮像画像に撮像された被写体を透視変換することにより、被写体の形状を補正する技術が提案されている（例えば、特許文献１，２参照）。

【0006】

特許文献１に開示された技術は、予め４隅にマークが付された基準媒体（基準媒体が撮像された撮像画像）を用いて透視変換のパラメータを算出し、同パラメータに基づいて歪み補正データを作成し、同歪み補正データに基づいて他の被処理媒体（他の被写体が撮像された撮像画像）の歪みを補正する。その結果、同技術は、歪み補正時のデータ処理量を削減できる。このように、同技術は、マークが付された基準媒体を用いて歪み補正データを取得する方式、すなわち、キャリブレーションを実行する方式を採用する。そのため、同技術は、被写体ごとに基準媒体を準備しなければならない。

【0007】

特許文献２に開示された技術は、撮像画像に撮像された矩形状紙面の４つの頂点から紙面に対する相対的な撮像装置の位置・姿勢を推定し、推定された位置・姿勢に基づいて矩形状紙面の３次元空間における４つの頂点を推定し、推定された４つの頂点の位置に基づいて透視変換のパラメータを算出し、同パラメータに基づいて撮像画像の歪みを補正する。その結果、同技術は、撮像装置の位置・姿勢が未知であっても、撮像画像に撮像された被写体を透視変換して、被写体の歪みを補正できる。このように、同技術は、撮像画像から撮像装置の位置・姿勢を推定し、推定した撮像装置の位置・姿勢に基づいて透視変換のパラメータを算出する。すなわち、同技術は、撮像装置の位置・姿勢が未知な撮像画像に対して、撮像装置の位置・姿勢を推定するという処理を必要とする。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００２－１９７４５２号公報

【特許文献2】特開２００４－０４０３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、基準媒体や撮像装置の位置・姿勢の推定を必要とせず、撮像画像に基づいて、撮像画像に撮像されている被写体を透視変換することを目的とする。

【課題を解決するための手段】

【0010】

本発明にかかる画像処理装置は、矩形状の特徴を有する被写体が透視投影された状態で撮像された撮像画像に対して、被写体を透視変換し、撮像画像に撮像された被写体の形状を補正する画像処理装置であって、撮像画像を取得する画像取得部と、記撮像画像に撮像された被写体から４角形の領域を形成する４つの基準点と、４つの基準点それぞれの座標を特定する基準特定部と、被写体を透視変換する複数の変換パターンを記憶する記憶部と、座標に基づいて、記憶部に記憶されている複数の変換パターンの中から、被写体を透視変換する変換パターンを選択するパターン選択部と、変換パターンに基づいて、撮像画像に撮像された被写体の形状を補正する補正部と、を有してなることを特徴とする。

【発明の効果】

【0011】

本発明によれば、撮像画像に基づいて、撮像画像に撮像されている被写体を透視変換することができる。

【図面の簡単な説明】

【0012】

【図1】撮像画像における画素の配列の例を示す模式図である。

【図2】本発明にかかる画像処理システムの実施の形態を示すネットワーク構成図である。

【図3】図２の画像処理システムが備える撮像装置の機能ブロック図である。

【図4】本発明にかかる画像処理装置の実施の形態を示す機能ブロック図である。

【図5】撮像画像の例を示す模式図である。

【図6】本発明にかかる画像処理方法の実施の形態を示すフローチャートである。

【図7】図６の画像処理方法に含まれる基準点特定処理のフローチャートである。

【図8】図７の基準点特定処理により特定された基準点の例を示す模式図である。

【図9】図６の画像処理方法に含まれる補正処理の一部のフローチャートである。

【図10】図９の補正処理の他の一部のフローチャートである。

【図11】図９の補正処理で選択される第１対角線変換パターンを説明する模式図である。

【図12】図９の補正処理で選択される第２対角線変換パターンを説明する模式図である。

【図13】図１０の補正処理で選択される第１回転変換パターンを説明する模式図である。

【図14】図１０の補正処理で選択される第２回転変換パターンを説明する模式図である。

【図15】図１０の補正処理で生成される補正画像の例を示す模式図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら、本発明にかかる画像処理装置と、画像処理システムと、画像処理プログラムと、画像処理方法と、の実施の形態について説明する。

【0014】

●情報処理システム●
先ず、本発明にかかる情報処理システム（以下「本システム」という。）の実施の形態について説明する。

【0015】

本システムは、被写体が透視投影された状態で撮像された撮像画像において、被写体の４つの基準点それぞれの座標を特定し、特定された４つの基準点の位置関係に基づいて透視変換の変換パターンを選択し、選択された変換パターンに基づいて撮像画像に撮像された被写体の形状を補正する。具体的には、本システムは、撮像画像に撮像された被写体の変形の程度に基づいて、その被写体を透視変換する変換パターンを選択し、選択された変換パターンに基づいて、その被写体の形状を透視投影の状態から正面視の状態に変換する。

【0016】

「被写体」は、後述する撮像装置に撮像される対象である。被写体は、撮像される被写体全体が矩形状の物体（例えば、一方向視において矩形状の物体）、または、撮像される被写体の一部分が矩形状の特徴を有する物体である。すなわち、例えば、被写体は、スーパーマーケットやホームセンターなどにおいて商品が陳列される商品棚や、書店や図書館において書物が陳列される書棚、ビルや集合住宅などの建築物、直線状の道路や歩道、である。

【0017】

なお、被写体は、矩形状の４隅（矩形の４つの角を構成する点）が認識可能であれば、空間でもよい。すなわち、例えば、被写体は、４つの物品（例えば、商品棚、棚板、商品、値札、店舗内に付された標識など）により矩形状に抜き出される空間や、４つの星を４隅として矩形状に抜き出される夜空、４つの建築物を４隅とする航空写真や風景写真の一部でもよい。

【0018】

「矩形状」は、後述する画像処理において基準点を特定できる形状であればよく、全ての角が直角の長方形および正方形だけでなく、方形に類似の形状（例えば、角および／または辺が丸められている４角形）も含む。

【0019】

「透視投影」は、人が目視により３次元の物体を観察したときの同物体を、観察されたままの形状で２次元の仮想平面に投影（描画）すること、すなわち、遠近法により同物体を２次元の仮想平面に投影すること、を意味する。

【0020】

「撮像画像」は、後述する撮像装置により撮像された画像であり、例えば、静止画、または、動画の各フレームである。本発明において、撮像画像には、透視投影された状態の被写体が撮像される。すなわち、撮像画像は、被写体の画像を含む。撮像画像の詳細は、後述する。

【0021】

「基準点」は、例えば、被写体を正面、または、特徴を有する面から見たとき、互いに交差しない直線で連結されることにより矩形状の領域を形成する点である。すなわち、例えば、基準点は、被写体の一部や、被写体に付された標識（例えば、２次元バーコードや、図形、記号など）の一部（例えば、標識の中央部）である。本発明において、基準点は、１つの矩形状の物体の４隅だけでなく、物理的に離れた複数の物体の一部を含む。すなわち、例えば、基準点は、棚や机、窓、壁、通路、商品パッケージの４隅や、矩形状の空間を形成するように配置された４つの物品（例えば、商品棚、棚板、商品、値札、店舗内に付された標識など）である。

【0022】

「座標」は、撮像画像において、各画素の位置を示す情報である。本実施の形態において、座標の原点は撮像画像の左上であり、撮像画像を構成する複数の画素の配列において、列方向はＸ方向であり、行方向はＹ方向である。座標は、Ｘ方向における座標値を示すＸ座標値と、Ｙ方向における座標値を示すＹ座標値と、を含む。

【0023】

図１は、撮像画像における画素の配列の例を示す模式図である。
同図は一部の画素を「□」で示し、他の画素の図示は省略する。同図は、撮像画像の列方向（図１の紙面左右方向）がＸ方向であり、撮像画像の行方向（図１の紙面上下方向）がＹ方向であることを示す。同図は、原点（左上）の座標値が（０，０）であり、終点（右下）の座標値が（ｍ，ｎ）（ｍ，ｎは０以上の整数）であることを示す。同図は、撮像画像における画素の配置が右に進むに連れてＸ座標値が増加し、同配置が下に進むに連れてＹ座標値が増加する、ことを示す。すなわち、同図は、撮像画像の正面視において、撮像画像の左端の列のＸ座標値がＸ座標値の最小値であり、右端の列のＸ座標値がＸ座標値の最大値であり、上端の行のＹ座標値がＹ座標値の最小値であり、下端の行のＹ座標値がＹ座標値の最大値である、ことを示す。

【0024】

以下に説明する実施の形態は、スーパーマーケットやコンビニエンスストアなどの小売店の売場において商品が陳列された商品棚が撮像された撮像画像に対して、本発明にかかる画像処理装置（以下「本装置」という。）が後述する本発明にかかる画像処理方法（以下「本方法」という。）を実行して、商品棚と商品それぞれの形状を補正する場合を例にして、本発明の内容を説明する。すなわち、商品棚と商品とは、本発明における被写体の例である。

【0025】

●画像処理システムの構成
図２は、本システムの実施の形態を示すネットワーク構成図である。

【0026】

本システムＳは、複数の撮像装置１（１），・・・，１（ｎ）（ｎは整数）と、本装置２と、を有してなる。以下の説明において、複数の撮像装置１（１），・・・，１（ｎ）は、各撮像装置１（１），・・・，１（ｎ）を特に区別する場合を除き、「撮像装置１（１～ｎ）」と表記する。

【0027】

各撮像装置１（１～ｎ）と本装置２とは、有線通信方式または無線通信方式を利用するネットワークＮ（通信回線）を介して、接続される。ネットワークＮは、例えば、インターネット、移動体通信網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、Ｗｉ－Ｆｉ（登録商標）などの通信網である。

【0028】

●撮像装置の構成
図３は、撮像装置１の機能ブロック図である。

【0029】

撮像装置１は、被写体（商品棚、商品）を撮像して撮像画像を生成する。撮像装置１は、例えば、売場内の商品棚の静止画を所定の時間間隔で撮像するカメラユニットである。各撮像装置１（１～ｎ）は、例えば、売場内において、対応する商品棚の前部（前面）の全体像と、同商品棚に陳列された商品と、が撮像可能な位置（例えば、売場の天井面や壁面）に配置される。撮像装置１は、通信部１１と、記憶部１２と、撮像部１３と、制御部１４と、を備える。撮像装置は、本発明における撮像部の例である。

【0030】

なお、撮像装置は、後述する撮像部を含むカメラ機能を備える端末装置であればよい。すわなち、例えば、撮像装置は、カメラ機能を備えるスマートホン、携帯電話、タブレット端末、ノートパソコンでもよく、あるいは、通信機能を備えるデジタルカメラでもよい。

【0031】

また、撮像装置は、動画を撮像するカメラユニットでもよく、あるいは、静止画と動画とを撮像するカメラユニットでもよい。

【0032】

さらに、撮像装置は、複数の商品棚（商品）を撮像してもよく、あるいは、商品棚の一部（商品）を撮像してもよい。

【0033】

通信部１１は、ネットワークＮを介して、本装置２と通信する。通信部１１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。

【0034】

記憶部１２は、撮像部１３が撮像した撮像画像を記憶する。記憶部１２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記憶媒体である。

【0035】

撮像部１３は、商品棚（商品）を撮像する。撮像部１３は、例えば、レンズ群、シャッター、撮像素子、Ａ／Ｄ変換器などにより構成される。撮像部１３は、例えば、所定のフレームレートで撮像範囲内に配置された商品棚（商品）を撮像する。撮像部１３の撮像条件（フレームレート、撮像範囲、解像度など）は、制御部１４により制御される。撮像部１３により撮像された撮像画像は、撮像画像を撮像した撮像装置１の位置を示す情報（位置情報）と、撮像画像を撮像した時刻を示す情報（時刻情報）と、に関連付けられて記憶部１２に記憶される。

【0036】

制御部１４は、プログラムに従って各種の情報処理を実行して、撮像装置１全体の動作を制御する。制御部１４は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサや、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路と、ＲＡＭ（Read Access Memory）、ＲＯＭ（Read Only Memory）などの半導体メモリと、により構成される。

【0037】

●画像処理装置の構成
図４は、本装置２の実施の形態を示す機能ブロック図である。

【0038】

本装置２は、撮像画像において被写体の４つの基準点Ｐ１，Ｐ２，Ｐ３，Ｐ４（図８参照。以下同じ。）の座標を特定し、特定された４つの基準点Ｐ１～Ｐ４の位置関係に基づいて透視変換の変換パターンを選択し、選択された変換パターンに基づいて撮像画像に撮像された被写体の形状を補正する。本装置２は、例えば、サーバなどのパーソナルコンピュータである。本装置２は、例えば、スーパーマーケットの事務所に配置される。

【0039】

本装置２では、本発明にかかる情報処理プログラム（以下「本プログラム」という。）が動作して、本プログラムが本装置２のハードウェア資源と協働して、後述する本方法を実現する。すなわち、本プログラムは、コンピュータを本装置２として機能させる。

【0040】

本装置２は、通信部２１と、記憶部２２と、制御部２３と、表示部２４と、操作部２５と、を備える。

【0041】

通信部２１は、ネットワークＮを介して、撮像装置１と通信する。通信部２１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。

【0042】

記憶部２２は、本装置２が後述する本方法を実行するために必要な情報（例えば、後述する変換パターンなど）を記憶する。記憶部２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記憶媒体である。

【0043】

制御部２３は、プログラムに従って各種の情報処理を実行して、本装置２全体の動作を制御する。制御部２３は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰなどのプロセッサやＡＳＩＣ、ＦＰＧＡなどの集積回路と、ＲＡＭ、ＲＯＭなどの半導体メモリと、により構成される。

【0044】

制御部２３は、画像取得部２３１と、基準特定部２３２と、パターン選択部２３３と、算出部２３４と、補正部２３５と、を備える。

【0045】

画像取得部２３１は、記憶部２２から撮像画像を取得する。画像取得部２３１の動作は、後述する。

【0046】

なお、本発明における画像取得部は、通信部を介して、撮像装置から撮像画像を取得してもよい。

【0047】

基準特定部２３２は、撮像画像に撮像された被写体（商品棚）から４つの基準点Ｐ１～Ｐ４と、４つの基準点Ｐ１～Ｐ４それぞれの座標と、を特定する。本実施の形態において、４つの基準点Ｐ１～Ｐ４は、商品棚の正面視における４隅である。基準特定部２３２の具体的な動作は、後述する。

【0048】

パターン選択部２３３は、基準特定部２３２が特定した被写体の４つの基準点Ｐ１～Ｐ４の座標に基づいて、被写体を透視変換する変換パターンを選択する。パターン選択部２３３の具体的な動作と変換パターンとは、後述する。

【0049】

算出部２３４は、基準特定部２３２が特定した被写体の４つの基準点Ｐ１～Ｐ４の座標に基づいて、透視変換のパラメータ（変換パターンに対応するパラメータ）を算出する。算出部２３４の具体的な動作とパラメータとは、後述する。

【0050】

補正部２３５は、変換パターンに基づいて、撮像画像に撮像された被写体の形状を補正する。補正部２３５の具体的な動作は、後述する。

【0051】

なお、画像取得部と、基準特定部と、パターン選択部と、算出部と、補正部とは、共通するプロセッサまたは集積回路、半導体メモリにより構成されてもよく、あるいは、個別のプロセッサまたは集積回路、半導体メモリにより構成されてもよい。

【0052】

表示部２４は、撮像画像を表示する機器（例えば、液晶ディスプレイ）である。

【0053】

操作部２５は、表示部２４に表示された撮像画像に対して、本装置２の使用者が任意の位置を選択可能に、使用者の操作を受け付ける機器（例えば、キーボード、マウス、タッチパネル）である。本実施の形態において、表示部２４と操作部２５とは、例えば、タッチパネルディスプレイである。

【0054】

●画像処理方法●
次に、本装置２の動作、すなわち、本方法について、各撮像装置１（１～ｎ）が撮像した撮像画像が、ネットワークＮを介して本装置２に送信され、本装置２の記憶部２２に記憶されている場合、を例に説明する。このとき、各撮像画像に関連付けられている位置情報と時刻情報とについても、対応する撮像画像に関連付けられて、記憶部２２に記憶される。

【0055】

図５は、撮像画像の例を示す模式図である。
同図は、撮像画像に１つの商品棚Ｓａの全体と、同商品棚Ｓａに隣接する２つの商品棚Ｓｂ，Ｓｃの一部と、各商品棚Ｓａ～Ｓｃに陳列されている商品と、が撮像されていることを示す。すなわち、本実施の形態において、撮像画像は、商品棚Ｓａ～Ｓｃの画像と、商品の画像と、を含む。以下の説明において、撮像画像に含まれる各画像（撮像画像に撮像された被写体）は、被写体の名称（商品棚Ｓａ～Ｓｃ、商品など）で表記する。

【0056】

同図は、撮像画像が商品棚Ｓａの左斜め正面（商品棚Ｓａから見て右斜め正面）から撮像されていることを示す。また、同図は、商品棚Ｓａ～Ｓｃと商品とが撮像画像の左部から右部に向けてＹ方向（図５の紙面上下方向）の大きさが小さくなるように透視投影された状態で撮像されていることを示す。さらに、同図は、商品棚Ｓａの４隅に標識Ｍ１，Ｍ２，Ｍ３，Ｍ４が付されていることを示す。

【0057】

図６は、本方法の実施の形態を示すフローチャートである。
本方法は、基準点特定処理（Ｓ１００）と補正処理（Ｓ２００）とを含む。

【0058】

●基準点特定処理
先ず、基準点特定処理（Ｓ１００）について、図４と図５も参照しつつ説明する。

【0059】

「基準点特定処理（Ｓ１００）」は、後述する特定撮像装置ごとに４つの基準点Ｐ１～Ｐ４を特定する処理である。

【0060】

図７は、基準点特定処理（Ｓ１００）のフローチャートである。

【0061】

先ず、画像取得部２３１は、記憶部２２から１つの撮像画像を基準特定画像として取得する（Ｓ１０１）。以下の説明において、基準特定画像は、図５に示される撮像画像であるものとする。すなわち、基準特定画像において、商品棚には４つの標識Ｍ１～Ｍ４が付されている。

【0062】

次いで、画像取得部２３１は、基準特定画像に関連付けられている位置情報に基づいて、基準特定画像を撮像した撮像装置１を特定撮像装置として特定する（Ｓ１０２）。次いで、画像取得部２３１は、特定撮像装置が撮像した他の撮像画像（過去の撮像画像）において、基準点Ｐ１～Ｐ４が特定されているか否かを判別する（Ｓ１０３）。

【0063】

特定撮像装置が撮像した他の撮像画像において、基準点Ｐ１～Ｐ４が特定されていないとき（Ｓ１０３の「Ｎ」）、基準特定部２３２は、４つの標識Ｍ１～Ｍ４に基づいて、基準特定画像に撮像された被写体から４つの基準点Ｐ１～Ｐ４を特定する（Ｓ１０４）。具体的には、基準特定部２３２は、基準特定画像に対して、公知の画像処理（例えば、パターンマッチング）を実行し、４つの標識Ｍ１～Ｍ４を検出する。次いで、基準特定部２３２は、例えば、各標識Ｍ１～Ｍ４の中心点に対応する画素を算出し、同画素を基準点Ｐ１～Ｐ４として特定する。

【0064】

図８は、基準特定部２３２により特定された基準点Ｐ１～Ｐ４の例を示す模式図である。同図は、基準特定画像において、標識Ｍ１～Ｍ４それぞれの中心点（画素）が基準点Ｐ１～Ｐ４として特定されていることを示す。同図は、基準特定画像において、基準点Ｐ１が左上に配置され、基準点Ｐ２が左下に配置され、基準点Ｐ３が右下に配置され、基準点Ｐ４が右上に配置される、ことを示す。

【0065】

なお、本発明における基準特定部が特定する基準点は、標識の中心点に限定されない。すなわち、例えば、基準特定部は、標識が矩形状であれば、標識の４隅に対応する画素のうち、１つの画素（例えば、右下の画素）を基準点として特定してもよい。

【0066】

また、本発明における基準特定部は、標識ではなく、公知の画像処理を用いて、被写体の一部に対応する画素を基準点として特定してもよい。すなわち、例えば、基準特定部は、公知の画像処理技術を用いて商品棚のエッジを検出し、商品棚の４隅（左上、左下、右上、右下）に対応する画素を基準点として特定してもよい。

【0067】

さらに、標識の形状は、基準点となる画素（または、一群の画素）が特定できればよく、矩形の枠に限定されない。すなわち、例えば、標識の形状は、「〇」形、「＋」形、「Ｘ」形でもよい。

【0068】

図７に戻る。
次いで、基準特定部２３２は、各基準点Ｐ１～Ｐ４それぞれの座標（Ｘ座標値，Ｙ座標値）を特定する（Ｓ１０５）。基準点Ｐ１～Ｐ４と座標とは、特定撮像装置と基準特定画像それぞれに関連付けられて、記憶部２２に記憶される（Ｓ１０６）。

【0069】

次いで、基準特定部２３２は、各基準点Ｐ１～Ｐ４の座標に基づいて、各基準点Ｐ１～Ｐ４の相対的な位置関係を特定する（Ｓ１０７）。具体的には、基準特定部２３２は、例えば、各基準点Ｐ１～Ｐ４のうち、Ｘ座標値が小さい２つの基準点Ｐ１，Ｐ２を特定し、同基準点Ｐ１，Ｐ２のうち、Ｙ座標値が小さい基準点Ｐ１を第１基準点として特定し、Ｙ座標値が大きい基準点を第２基準点として特定する。また、基準特定部２３２は、例えば、各基準点Ｐ１～Ｐ４のうち、Ｘ座標値が大きい２つの基準点Ｐ３，Ｐ４を特定し、同基準点Ｐ３，Ｐ４のうち、Ｙ座標値が大きい基準点Ｐ３を第３基準点として特定し、Ｙ座標値が小さい基準点Ｐ４を第４基準点として特定する。すなわち、例えば、基準特定部２３２は、基準特定画像を正面から見たとき、各基準点Ｐ１～Ｐ４の中で相対的に左上に配置される基準点Ｐ１を第１基準点として特定し、相対的に左下に配置される基準点Ｐ２を第２基準点として特定し、相対的に右下に配置される基準点Ｐ３を第３基準点として特定し、相対的に右上に配置される基準点Ｐ４を第４基準点として特定する。すなわち、基準点Ｐ１～Ｐ４を角とする４角形において、第１基準点（基準点Ｐ１）と第３基準点（基準点Ｐ３）とは対角に配置され、第２基準点（基準点Ｐ２）と第４基準点（基準点Ｐ４）とは対角に配置される。各基準点Ｐ１～Ｐ４の相対的な位置関係は、座標と特定撮像装置と基準特定画像それぞれに関連付けられて、記憶部２２に記憶される（Ｓ１０８）。

【0070】

一方、特定撮像装置が撮像した他の撮像画像において、基準点Ｐ１～Ｐ４が特定されているとき（Ｓ１０３の「Ｙ」）、本装置２は、基準点特定処理（Ｓ１００）を終了する。

【0071】

ここで、本実施の形態において、各撮像装置１（１～ｎ）は、店舗内に固定されている。そのため、各撮像装置１（１～ｎ）の画角は、固定されている。したがって、特定撮像装置が撮像した他の撮像画像において基準点Ｐ１～Ｐ４が特定されていれば、特定撮像装置がその後に撮像した撮像画像における基準点Ｐ１～Ｐ４の位置は、変わらない。そのため、処理（Ｓ１０３）において「Ｙ」のとき、本装置２は、過去に取得した基準点Ｐ１～Ｐ４の情報を用いて、後述する補正処理（Ｓ２００）を実行できる。

【0072】

●補正処理
次に、補正処理（Ｓ２００）について、図８も参照しつつ説明する。

【0073】

「補正処理（Ｓ２００）」は、撮像画像ごとに、撮像画像に撮像された被写体（商品棚、商品）の透視変換に用いられる変換パターンを選択し、同変換パターンに対応するパラメータを算出し、撮像画像に対応する変換パターンとパラメータとに基づいて、撮像画像を透視変換する処理である。

【0074】

図９は、補正処理（Ｓ２００）の一部のフローチャートである。
図１０は、補正処理（Ｓ２００）の他の一部のフローチャートである。

【0075】

先ず、画像取得部２３１は、記憶部２２から１つの撮像画像を処理画像として取得する（Ｓ２０１）。

【0076】

次いで、画像取得部２３１は、処理画像に関連付けられている位置情報に基づいて、処理画像を撮像した撮像装置１を特定する（Ｓ２０２）。

【0077】

次いで、パターン選択部２３３は、画像取得部２３１が特定した撮像装置１に関連付けられて記憶部２２に記憶されている４つの基準点Ｐ１～Ｐ４と、その座標と、を読み出す（Ｓ２０３）。

【0078】

次いで、パターン選択部２３３は、各基準点Ｐ１～Ｐ４の座標を比較して、各基準点Ｐ１～Ｐ４のＸ座標値とＹ座標値それぞれのうち、Ｘ座標値の最大値、Ｘ座標値の最小値、Ｙ座標値の最大値、Ｙ座標値の最小値、を特定する（Ｓ２０４）。

【0079】

次いで、パターン選択部２３３は、各基準点Ｐ１～Ｐ４それぞれのＸ座標値とＹ座標値の中で、特定基準点の有無を判別する（Ｓ２０５）。

【0080】

「特定基準点」は、Ｘ座標値が最大値または最小値、かつ、Ｙ座標値が最大値または最小値、の座標を有する基準点である。

【0081】

パターン選択部２３３により特定基準点が有ると判別されたとき（Ｓ２０５の「Ｙ」）、パターン選択部２３３は、各基準点Ｐ１～Ｐ４のいずれが特定基準点であるかを判別する（Ｓ２０６）。

【0082】

基準点Ｐ１および／または基準点Ｐ３が特定基準点であるとき（Ｓ２０６の「Ｐ１，Ｐ３」）、パターン選択部２３３は、記憶部２２に記憶されている複数の変換パターンの中から、処理画像の被写体を透視変換する変換パターンとして第１対角線変換パターンを選択する（Ｓ２０７）。第１対角変換パターンの詳細は、後述する。

【0083】

図１１は、第１対角線変換パターンを説明する模式図である。
同図の（ａ）（ｂ）（ｃ）（ｄ）（ｅ）それぞれは、第１対角線変換パターンで透視変換され得る態様を示す。同図は、４つの基準点Ｐ１～Ｐ４で形成される４角形（以下「補正前４角形」という。）を破線で示し、透視変換後に各基準点Ｐ１～Ｐ４が位置する点（以下「補正点」という。）Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４により形成される４角形（以下「補正後４角形」という。）を実線で示す。同図の一点鎖線は、少なくとも１つの特定基準点を含む基準点Ｐ１，Ｐ３（第１基準点，第３基準点）により形成される対角線（以下「第１対角線」という。）を示す。

【0084】

同図は、第１対角線変換パターンにおいて、第１対角線が透視変換の基準の軸となることを示す。同図は、透視変換前後において、基準点Ｐ１，Ｐ３（第１基準点、第３基準点）は移動せず（基準点Ｐ１，Ｐ３の位置と補正点Ｐ１１，Ｐ１３の位置は同じ）、基準点Ｐ２（第２基準点）は補正点Ｐ１２へ移動し、基準点Ｐ４（第４基準点）は補正点Ｐ１４に移動する、ことを示す。すなわち、補正点Ｐ１２のＸ座標値は基準点Ｐ１（第１基準点）のＸ座標値であり、補正点Ｐ１２のＹ座標値は基準点Ｐ３（第３基準点）のＹ座標値であり、補正点Ｐ１４のＸ座標値は基準点Ｐ３（第３基準点）のＸ座標値であり、補正点Ｐ１４のＹ座標値は基準点Ｐ１（第１基準点）のＹ座標値である。つまり、移動する基準点Ｐ２，Ｐ４の移動後の補正点Ｐ１２，Ｐ１４のＸ座標値は移動しない基準点Ｐ１，Ｐ３いずれかのＸ座標値であり、補正点Ｐ１２，Ｐ１４のＹ座標値は基準点Ｐ１，Ｐ３いずれかのＹ座標値である。

【0085】

このように、「第１対角線変換パターン」は、４つの基準点Ｐ１～Ｐ４のうち、特定基準点（基準点Ｐ１，Ｐ３）と、特定基準点の対角に位置する基準点Ｐ１，Ｐ３と、を除く２つの基準点Ｐ２，Ｐ４（第２基準点，第４基準点）のみを移動させる変換パターンである。すなわち、第１対角線変換パターンは、補正前４角形が有する２つの対角線により結ばれる２組の基準点（基準点Ｐ１，Ｐ３および基準点Ｐ２，Ｐ４）のうち、特定基準点を含まない１組の基準点（基準点Ｐ２，Ｐ４）のみを被写体の補正後の形状（補正後４角形）の位置（補正点Ｐ１２，Ｐ１４）に移動させる変換パターンである。換言すれば、第１対角線変換パターンは、第１対角線を基準軸として、撮像画像を透視変換する変換パターンである。第１対角線変換パターンは、第１変換パターンの例である。すなわち、第１変換パターンは、第１対角線変換パターンを含む。第１対角線変換パターンは、例えば、予め記憶部２２に記憶されている。

【0086】

図９へ戻る。
一方、基準点Ｐ２および／または基準点Ｐ４が特定基準点であるとき（Ｓ２０６の「Ｐ２，Ｐ４」）、パターン選択部２３３は、記憶部２２に記憶されている複数の変換パターンの中から、処理画像の被写体を透視変換する変換パターンとして第２対角線変換パターンを選択する（Ｓ２０８）。

【0087】

図１２は、第２対角線変換パターンを説明する模式図である。
同図の（ａ）（ｂ）（ｃ）（ｄ）（ｅ）それぞれは、第２対角線変換パターンで透視変換され得る態様を示す。同図は、補正前４角形を破線で示し、補正後４角形を実線で示す。同図の一点鎖線は、少なくとも１つの特定基準点を含む基準点Ｐ２，Ｐ４（第２基準点，第４基準点）により形成される対角線（以下「第２対角線」という。）を示す。

【0088】

同図は、第２対角線変換パターンでは、第２対角線が透視変換の基準軸となることを示す。同図は、透視変換前後において、基準点Ｐ２，Ｐ４（第２基準点，第４基準点）は移動せず（基準点Ｐ２，Ｐ４の位置と補正点Ｐ１２，Ｐ１４の位置は同じ）、基準点Ｐ１（第１基準点）は補正点Ｐ１１へ移動し、基準点Ｐ３（第３基準点）は補正点Ｐ１３に移動する、ことを示す。すなわち、補正点Ｐ１１のＸ座標値は基準点Ｐ２（第２基準点）のＸ座標値であり、補正点Ｐ１１のＹ座標値は基準点Ｐ４（第４基準点）のＹ座標値であり、補正点Ｐ１３のＸ座標値は基準点Ｐ４（第４基準点）のＸ座標値であり、補正点Ｐ１３のＹ座標値は基準点Ｐ２（第２基準点）のＹ座標値である。つまり、移動する基準点Ｐ１，Ｐ３の移動後の補正点Ｐ１１，Ｐ１３のＸ座標値は移動しない基準点Ｐ２，Ｐ４いずれかのＸ座標値であり、補正点Ｐ１１，Ｐ１３のＹ座標値は基準点Ｐ２，Ｐ４いずれかのＹ座標値である。

【0089】

このように、「第２対角線変換パターン」は、４つの基準点Ｐ１～Ｐ４のうち、特定基準点（基準点Ｐ２，Ｐ４）と、特定基準点の対角に位置する基準点Ｐ２，Ｐ４と、を除く２つの基準点Ｐ１，Ｐ３（第１基準点，第３基準点）のみを移動させる変換パターンである。すなわち、第２対角線変換パターンは、補正前４角形が有する２つの対角線により結ばれる２組の基準点（基準点Ｐ１，Ｐ３および基準点Ｐ２，Ｐ４）のうち、特定基準点を含まない１組の基準点（基準点Ｐ１，Ｐ３）のみを被写体の補正後の形状（補正後４角形）の位置（補正点Ｐ１１，Ｐ１３）に移動させる変換パターンである。換言すれば、第２対角線変換パターンは、第２対角線を基準軸として、撮像画像を透視変換する変換パターンである。第２対角線変換パターンは、第１変換パターンの例である。すなわち、第１変換パターンは、第２対角線変換パターンを含む。第２対角線変換パターンは、例えば、予め記憶部２２に記憶されている。

【0090】

図９と図１０とに戻る。
パターン選択部２３３により特定基準点が無いと判別されたとき（Ｓ２０５の「Ｎ」）、パターン選択部２３３は、対角に位置しない２つの基準点Ｐ１～Ｐ４（第１基準点，第４基準点）のＹ座標値を比較する（Ｓ２０９）。

【0091】

基準点Ｐ１のＹ座標値が基準点Ｐ４のＹ座標値よりも小さいとき（Ｓ２０９の「Ｐ１＜Ｐ４」）、パターン選択部２３３は、基準点Ｐ２（第２基準点）のＹ座標値と基準点Ｐ４（第４基準点）のＹ座標値とを比較する（Ｓ２１０）。

【0092】

基準点Ｐ２のＹ座標値が基準点Ｐ４のＹ座標値よりも大きいとき（Ｓ２１０の「Ｐ２＞Ｐ４」）、パターン選択部２３３は、補正前４角形の回転状態が第１回転状態であると判定して、記憶部２２に記憶されている複数の変換パターンの中から、処理画像の被写体を透視変換する変換パターンとして第１回転変換パターンを選択する（Ｓ２１１）。

【0093】

「第１回転状態」は、処理画像の正面視において、処理画像に対して補正前４角形が時計回り方向に回転している状態である。

【0094】

図１３は、第１回転変換パターンを説明する模式図である。
同図は、補正前４角形を破線で示し、補正後４角形を実線で示す。また、同図は、透視変換前後において、基準点Ｐ１（第１基準点）は移動せず、基準点Ｐ２（第２基準点）は補正点Ｐ１２へ移動する、ことを示す。この場合、基準点Ｐ１は、本発明における不動基準点である。さらに、同図は、補正後４角形が、不動基準点（基準点Ｐ１）と、不動基準点の対角に位置する基準点Ｐ３と、基準点Ｐ４と、に外接する矩形（外接矩形）であることを示す。さらにまた、同図は、補正後４角形の各辺のうち、補正点Ｐ１２，Ｐ１３を結ぶ辺に基準点Ｐ３が位置し、補正点Ｐ１３，Ｐ１４を結ぶ辺に基準点Ｐ４が位置する、ことを示す。すなわち、補正点Ｐ１１，Ｐ１２のＸ座標値は基準点Ｐ１（第１基準点）のＸ座標値であり、補正点Ｐ１２，Ｐ１３のＹ座標値は基準点Ｐ３（第３基準点）のＹ座標値であり、補正点Ｐ１３，Ｐ１４のＸ座標値は基準点Ｐ４（第４基準点）のＸ座標値であり、補正点Ｐ１１，Ｐ１４のＹ座標値は基準点Ｐ１（第１基準点）のＹ座標値である。つまり、補正点Ｐ１１～Ｐ１４のＸ座標値は外接矩形と接する基準点Ｐ１，Ｐ３，Ｐ４いずれかのＸ座標値であり、補正点Ｐ１１～Ｐ１４のＹ座標値は外接矩形と接する基準点Ｐ１，Ｐ３，Ｐ４いずれかのＹ座標値である。

【0095】

このように、「第１回転変換パターン」は、正面視において、基準点Ｐ１（第１基準点）を基準として、補正前４角形を反時計回りに回転させつつ変形させる変換パターンであり、３つの基準点Ｐ２～Ｐ４（第２～第４基準点）を被写体の補正後の形状（補正後４角形）の位置（補正点Ｐ１２～Ｐ１４）に移動させる変換パターンである。第１回転変換パターンは、第１回転状態に対応する変換パターンであり、本発明における第２変換パターンの例である。第１回転変換パターンは、例えば、予め記憶部２２に記憶されている。

【0096】

図９と図１０とに戻る。
また、基準点Ｐ２のＹ座標値が基準点Ｐ４のＹ座標値以下のとき（Ｓ２１０の「Ｐ２≦Ｐ４」）、パターン選択部２３３は、補正前４角形の回転状態が判定不能である（第１回転状態と第２回転状態とのいずれでもない）と判定して、変換パターンを選択しない（Ｓ２１２）。このとき、補正処理（Ｓ２００）は、終了する。

【0097】

一方、基準点Ｐ１のＹ座標値が基準点Ｐ４のＹ座標値よりも大きいとき（Ｓ２０９の「Ｐ１＞Ｐ４」）、パターン選択部２３３は、基準点Ｐ１（第１基準点）のＹ座標値と基準点Ｐ３（第３基準点）のＹ座標値とを比較する（Ｓ２１３）。

【0098】

基準点Ｐ１のＹ座標値が基準点Ｐ３のＹ座標値よりも小さいとき（Ｓ２１３の「Ｐ１＜Ｐ３」）、パターン選択部２３３は、補正前４角形の回転状態が第２回転状態であると判定して、記憶部２２に記憶されている複数の変換パターンの中から、処理画像の被写体を透視変換する変換パターンとして第２回転変換パターンを選択する（Ｓ２１４）。

【0099】

「第２回転状態」は、処理画像の正面視において、処理画像に対して補正前４角形が反時計回り方向に回転している状態である。

【0100】

図１４は、第２回転変換パターンを説明する模式図である。
同図は、補正前４角形を破線で示し、補正後４角形を実線で示す。また、同図は、透視変換前後において、基準点Ｐ４（第４基準点）は移動せず、基準点Ｐ３（第３基準点）は補正点Ｐ１３へ移動する、ことを示す。この場合、基準点Ｐ４は、本発明における不動基準点である。さらに、同図は、補正後４角形が、不動基準点（基準点Ｐ４）と、不動基準点の対角に位置する基準点Ｐ２と、基準点Ｐ１と、に外接する外接矩形であることを示す。さらにまた、同図は、補正後４角形の各辺のうち、補正点Ｐ１１，Ｐ１２を結ぶ辺に基準点Ｐ１が位置し、補正点Ｐ１２，Ｐ１３を結ぶ辺に基準点Ｐ２が位置する、ことを示す。すなわち、補正点Ｐ１１，Ｐ１２のＸ座標値は基準点Ｐ１（第１基準点）のＸ座標値であり、補正点Ｐ１２，Ｐ１３のＹ座標値は基準点Ｐ２（第２基準点）のＹ座標値であり、補正点Ｐ１３，Ｐ１４のＸ座標値は基準点Ｐ４（第４基準点）のＸ座標値であり、補正点Ｐ１１，Ｐ１４のＹ座標値は基準点Ｐ４（第４基準点）のＹ座標値である。つまり、補正点Ｐ１１～Ｐ１４のＸ座標値は外接矩形と接する基準点Ｐ１，Ｐ２，Ｐ４いずれかのＸ座標値であり、補正点Ｐ１１～Ｐ１４のＹ座標値は外接矩形と接する基準点Ｐ１，Ｐ２，Ｐ４いずれかのＹ座標値である。

【0101】

このように、「第２回転変換パターン」は、正面視において、基準点Ｐ４（第４基準点）を基準として、補正前４角形を時計回りに回転させつつ変形させる変換パターンであり、３つの基準点Ｐ１～Ｐ３（第１～第３基準点）を被写体の補正後の形状（補正後４角形）の位置（補正点Ｐ１１～Ｐ１３）に移動させる変換パターンである。第２回転変換パターンは、第２回転状態に対応する変換パターンであり、本発明における第２変換パターンの例である。第２回転変換パターンは、例えば、予め記憶部２２に記憶されている。

【0102】

図９と図１０とに戻る。
また、基準点Ｐ１のＹ座標値が基準点Ｐ３のＹ座標値以上のとき（Ｓ２１３の「Ｐ１≧Ｐ３」）、パターン選択部２３３は、補正前４角形の回転状態が判定不能であると判定して、変換パターンを選択しない（Ｓ２１２）。このとき、補正処理（Ｓ２００）は、終了する。

【0103】

次いで、算出部２３４は、各基準点Ｐ１～Ｐ４の座標と、補正点Ｐ１１～Ｐ１４の座標と、に基づいて、パターン選択部２３３により選択された変換パターンに対応する透視変換のパラメータを算出する（Ｓ２１５）。換言すれば、算出部２３４は、各基準点Ｐ１～Ｐ４の座標（Ｘ座標値，Ｙ座標値）に基づいて、パラメータを算出する。算出されたパラメータは、対応する変換パターンに関連付けられて、記憶部２２に記憶される（Ｓ２１６）。

【0104】

「パラメータ」は、補正前４角形が補正後４角形に透視変換されるように、処理画像における被写体全体の形状を補正するために算出される値である。すなわち、例えば、パラメータは、変換パターンごと（撮像装置１ごと）に算出（生成）される座標変換行列や引数である。パラメータは、各変換パターン（撮像装置１ごとに撮像された撮像画像）に対応して算出される。すなわち、パラメータは、第１変換パターン（第１対角線変換パターン、第２対角線変換パターン）に対応するパラメータ（第１パラメータ）と、第２変換パターン（第１回転変換パターン、第２回転変換パターン）に対応するパラメータ（第２パラメータ）と、を含む。

【0105】

次いで、補正部２３５は、処理画像に対応する変換パターンと、同変換パターンに対応するパラメータと、を記憶部２２から読み出す（Ｓ２１７）。次いで、補正部２３５は、変換パターンと、同変換パターンに対応するパラメータと、に基づいて、公知の透視変換処理により、処理画像に撮像された被写体の形状を補正する（Ｓ２１８）。公知の透視変換処理には、例えば、「getPerspectiveTransform」や「warpPerspective」などの公知のＡＰＩ（Application Programing Interface）が用いられる。補正後の処理画像（以下「補正画像」という。）は、記憶部２２に記憶される（Ｓ２１９）。

【0106】

図１５は、補正画像の例を示す模式図である。
同図は、補正点Ｐ１１～Ｐ１４により形成される補正後４角形を破線で示す。同図は、補正後４角形が矩形状であることを示す。

【0107】

このように、本装置２は、本方法を実行することにより、撮像画像から被写体の４つの基準点Ｐ１～Ｐ４を特定し、各基準点Ｐ１～Ｐ４に基づいて撮像画像に対応する変換パターンを選択し、同変換パターンに基づいて撮像画像に撮像された被写体の形状を補正する。そのため、本装置２は、従来の画像処理のように、基準媒体や撮像装置１の位置・姿勢の推定を必要とせず、撮像画像に基づいて、撮像画像に撮像されている被写体を透視変換できる。

【0108】

また、本装置２は、特定基準点が有るとき、第１変換パターンを選択する。前述のとおり、第１変換パターンは、特定基準点（例えば、基準点Ｐ１）と特定基準点の対角に位置する基準点（例えば、基準点Ｐ３）とを結ぶ対角線を基準として被写体を透視変換する変換パターンである。ここで、例えば、斜め上方から見下ろした状態で撮像された被写体は、撮像画像において、上部がＸ方向に拡張され、下部がＸ方向に圧縮される（逆台形状になる）。この場合、被写体の上部を基準として被写体が透視変換されると、補正画像はＸ方向に引き伸ばされた画像（被写体の幅が広がった画像）となり、被写体の下部を基準として被写体が透視変換されると、補正画像はＸ方向に圧縮された画像（Ｙ方向に引き伸ばされた画像：被写体の幅が狭まった画像）となる。しかしながら、本方法のように、対角線を基準として被写体が透視変換されると、被写体の上部と下部それぞれの幅は、被写体のＹ方向中方の幅に補正される。換言すれば、対角線を基準として被写体が透視変換されると、補正画像の被写体の縦横比は、実物の縦横比に近似する。

【0109】

一方、本装置２は、特定基準点が無いとき、第２変換パターンを選択する。前述のとおり、第２変換パターンは、正面視において、１つの不動基準点（基準点Ｐ１，基準点Ｐ４）を基準として、補正前４角形を回転させつつ変形させる変換パターンである。本実施の形態において、不動基準点は、基準点Ｐ１～Ｐ４のうち、相互に対角に位置しない基準点Ｐ１～Ｐ４のＹ座標値の大小関係に基づいて、決定される。ここで、特定基準点が無いとき、被写体は、大きく変形せずに回転した状態で撮像されている。すなわち、撮像画像において、被写体の上部と下部それぞれの幅は、実物の縦横比に近似する。そのため、本方法のように、被写体を回転させて、全体的に変形させることにより、本装置２は、縦横比を大きく損なうことなく、撮像画像に撮像されている被写体を透視変換できる。その結果、補正画像の被写体の縦横比は、実物の縦横比に近似し易い。

【0110】

●まとめ
以上説明した実施の形態によれば、本装置２は、撮像画像に撮像された被写体から４つの基準点Ｐ１～Ｐ４と同基準点Ｐ１～Ｐ４の座標とを特定する基準特定部２３２と、被写体を透視変換する複数の変換パターンを記憶する記憶部２２と、座標に基づいて複数の変換パターンの中から被写体を透視変換する変換パターンを選択するパターン選択部２３３と、変換パターンに基づいて撮像画像に撮像された被写体の形状を補正する補正部２３５と、を有してなる。この構成によれば、本装置２は、従来の画像処理のように、基準媒体や撮像装置１の位置・姿勢の推定を必要とせず、撮像画像に基づいて、変換パターンを選択し、撮像画像に撮像されている被写体を透視変換できる。

【0111】

また、以上説明した実施の形態によれば、変換パターンは、第１変換パターンと第２変換パターンとを含む。第１変換パターンは、４つの基準点Ｐ１～Ｐ４のうち、補正前４角形において対角となる２つの基準点Ｐ１，Ｐ３（基準点Ｐ２，Ｐ４）のみを被写体の補正後の形状（補正後４角形）の位置（補正点Ｐ１１，Ｐ１３（補正点Ｐ１２，Ｐ１４））に移動させる変換パターンである。第２変換パターンは、３つの基準点Ｐ１～Ｐ３（基準点Ｐ２～Ｐ４）のみを補正後の形状の位置（補正点Ｐ１１～Ｐ１３（補正点Ｐ１２～Ｐ１４））に移動させる変換パターンである。この構成によれば、本装置２は、４つの基準点Ｐ１～Ｐ４の位置関係（座標）に基づいて分類される複数の変換パターンの中から同位置関係に対応する変換パターンを選択し、同変換パターンに基づいて撮像画像を透視変換するだけで、補正画像を生成できる。すなわち、本装置２は、撮像画像に基づいて変換パターンを選択し、撮像画像に撮像されている被写体を透視変換できる。

【0112】

さらに、以上説明した実施の形態によれば、パターン選択部２３３は、基準点Ｐ１～Ｐ４それぞれのＸ座標値とＹ座標値の中で、Ｘ座標値が最大値または最小値、かつ、Ｙ座標値が最大値または最小値、の座標を有する特定基準点の有無を判別し、特定基準点が有ると判別したとき第１変換パターンを選択し、特定基準点が無いと判別したとき第２変換パターンを選択する。この構成によれば、本装置２は、撮像画像における特定基準点の有無の判別という簡易な処理に基づいて、変換パターンを選択できる。

【0113】

さらにまた、以上説明した実施の形態によれば、第１変換パターンは、４つの基準点Ｐ１～Ｐ４のうち、特定基準点（例えば、基準点Ｐ１）と、特定基準点の対角に位置する基準点（例えば、基準点Ｐ３）と、を除く２つの基準点（例えば、基準点Ｐ２，Ｐ４）のみを被写体の補正後の形状に移動させる。この構成によれば、本装置２は、特定基準点の位置に基づいて、移動させる２つの基準点Ｐ１，Ｐ３／Ｐ２，Ｐ４を特定し、第１対角線変換パターンまたは第２対角線変換パターンを選択できる。対角線を基準として被写体が透視変換されると、補正画像の被写体の縦横比は、実物の縦横比に近似する。すなわち、本装置２は、撮像画像に基づいて第１対角線変換パターンまたは第２対角線変換パターンを選択することにより、実物の縦横比に近似するように、撮像画像に撮像されている被写体を透視変換できる。

【0114】

さらにまた、以上説明した実施の形態によれば、第２変換パターンは、不動基準点（例えば、基準点Ｐ１）と、不動基準点の対角に位置する基準点（例えば、基準点Ｐ３）と、他の２つの基準点のいずれか（例えば、基準点Ｐ４）と、に外接する外接矩形が補正後４角形になるように、不動基準点を除く３つの基準点（基準点Ｐ２～Ｐ４）を移動させる。この構成によれば、本装置２は、撮像画像に基づいて、第２変換パターンにおける補正後４角形を特定できる。そして、第２変換パターンは、不動基準点を動かすことなく、不動基準点を含む３点の基準点の外接矩形に、補正前４角形を変形させる。その結果、本装置２は、特定基準点が無い場合であっても、撮像画像に基づいて、縦横比を大きく損なうことなく、撮像画像に撮像されている被写体を透視変換できる。

【0115】

さらにまた、以上説明した実施の形態によれば、不動基準点は、相互に対角に位置しない２つの基準点（本実施の形態では、基準点Ｐ１～Ｐ４）のＹ座標値の大小関係に基づいて、決定される。この構成によれば、本装置２は、撮像画像に基づいて、不動基準点を決定し、不動基準点に基づいて変換パターンを選択し、撮像画像に撮像されている被写体を透視変換できる。

【0116】

さらにまた、以上説明した実施の形態によれば、パターン選択部２３３は、特定基準点が無いと判断したとき、基準点Ｐ１～Ｐ４それぞれの座標に基づいて、補正前４角形の回転状態を判定する。パターン選択部２３３は、回転状態が第１回転状態と判定したとき第１回転変換パターンを選択し、回転状態が第２回転状態と判定したとき第２回転変換パターンを選択し、回転状態が判定できないとき変換パターンを選択しない。この構成によれば、本装置２は、撮像画像における被写体の変形度合が大きいとき、透視変換を実行せず、同変形度合が小さいとき、撮像画像に基づいて、透視変換を実行する。

【0117】

なお、以上説明した実施の形態では、撮像装置１と本装置２とは、別体であった。これに代えて、撮像装置が本装置として機能してもよい。すなわち、例えば、撮像装置は、本発明における取得部と基準特定部とパターン選択部と算出部と補正部と、を備えてもよい。この場合、撮像装置が、本発明における表示部と操作部とを備えてもよく、あるいは、撮像装置とネットワークを介して接続される外部装置が、本発明における表示部と操作部とを備えてもよい。

【0118】

また、本装置は、表示部と操作部とを備えなくてもよい。

【0119】

さらに、本発明における撮像装置は、広範囲を撮像可能な広角カメラでもよい。この場合、店舗の売場に配置される撮像装置の数が減る。そのため、撮像装置の配置用の配線の自由度が増し、撮像装置を設置可能なスペースが少ない店舗において、撮像装置は、効率的に配置可能である。

【0120】

さらにまた、本発明における撮像装置は、店舗の店員が携帯する移動通信端末（例えば、スマートホン、タブレット、携帯電話など）に備えられてもよい。

【0121】

さらにまた、本発明における撮像装置と、本装置とは、物理的に離れた建物内に設置されてもよい。

【0122】

さらにまた、本発明における画像取得部は、処理（Ｓ１０１，Ｓ２０１）において、通信部を介して、各撮像装置から直接、撮像画像（基準特定画像、処理画像）を取得してもよい。

【0123】

さらにまた、本装置は、補正処理が実行される撮像画像ごとに基準点特定処理を実行してもよい。すなわち、例えば、本装置は、基準点特定処理において処理（Ｓ１０３）の判別を実行しなくてもよい。

【0124】

さらに、本装置は、処理（Ｓ１０４）において、表示部に基準特定画像を表示して、本装置の使用者が操作部を操作して選択した任意の位置を基準点として特定するように構成されてもよい。この場合、本発明における基準特定部は、使用者が選択した画素、または、選択した画素の近傍であって基準点となり得る画素（矩形の領域を形成可能な画素）、を基準点として特定してもよい。この構成によれば、本装置は、使用者が所望する位置を基準点として特定できる。また、標識の検出などの画像処理の処理負荷が、低減できる。

【0125】

さらにまた、本発明における基準特定部は各基準点を個別に特定できればよく、第１～第４基準点の位置は、本実施の形態に限定されない。すなわち、例えば、本発明における基準特定部は、撮像画像において、相対的に右上に位置する基準点（基準点Ｐ４）を第１基準点として特定し、相対的に右下に位置する基準点（基準点Ｐ３）を第２基準点として特定し、相対的に左下に位置する基準点（基準点Ｐ２）を第３基準点として特定し、相対的に左上に位置する基準点（基準点Ｐ１）を第４基準点として特定してもよい。すなわち、例えば、処理（Ｓ１０７）において、基準特定は、各基準点のうち、Ｘ座標値が大きい２つの基準点を特定し、同基準点のうち、Ｙ座標値が小さい基準点を第１基準点として特定し、Ｙ座標値が大きい基準点を第２基準点として特定してもよい。

【0126】

さらにまた、処理（Ｓ１０７）において、第１～第４基準点の特定方法は、本実施の形態に限定されない。すなわち、例えば、基準特定部は、各基準点のうち、Ｙ座標が大きい２つの基準点を特定し、同基準点のうち、Ｘ座標理が小さい基準点を第１基準点として特定し、Ｘ座標値が大きい基準点を第４基準点として特定してもよい。また、例えば、基準特定部は、各基準点の画素値と、撮像画像の４隅それぞれの画素値と、の間の距離に基づいて、第１～第４基準点を特定してもよい。

【0127】

さらにまた、各基準点の配置は、各補正点が補正画像において矩形を形成するように配置されればよく、本実施の形態に限定されない。すなわち、例えば、各基準点は、ある段の棚板の両端と、その上方に配置される棚板の両端と、に配置されてもよい。

【0128】

さらにまた、本装置は、各撮像装置が撮像した撮像画像それぞれに対して、定期的（例えば、１月ごと）に基準点特定処理を実行してもよい。

【0129】

さらにまた、補正処理において、台形のように対角線を結ばない２つの基準点が特定基準点であるとき、本発明におけるパターン選択部は、第１対角線変換パターンと第２対角線変換パターンのいずれを選択してもよい。この場合、例えば、パターン選択部は、いずれかの第１変換パターン（例えば、第１対角線変換パターン）を選択するように予め設定されてもよい。

【0130】

さらにまた、本装置により実行される本方法は、本実施の形態に限定されない。すなわち、例えば、本装置は、基準点特定処理において変換パターンを選択し、各変換パターンに対応するパラメータを算出してもよい。通常、撮像装置の姿勢や画角、被写体（商品棚）が変わらなければ、同撮像画像が撮像した各撮像画像において、基準点の位置、選択される変換パターン、算出されるパラメータ、も変わらない。したがって、本装置は、撮像装置ごとに対応する変換パターンとパラメータとを予め記憶部に記憶することにより、補正処理を簡素化できる。すなわち、補正画像を生成するための処理負荷が、軽減される。

【0131】

さらにまた、以上説明した実施の形態では、不動基準点は、基準点Ｐ１～Ｐ４（例えば、第１基準点，第４基準点）のＹ座標値のうち、Ｙ座標値が大きい基準点Ｐ１～Ｐ４であった。これに代えて、不動基準点は、第２基準点と第３基準点のＹ座標値のうちＹ座標値が大きい基準点でもよく、第１基準点と第２基準点のＸ座標値のうちＸ座標値が小さい基準点でもよく、第３基準点と第４基準点のＸ座標値のうちＸ座標値が大きい基準点でもよい。すなわち、例えば、不動基準点は、対角に位置しない２つの基準点のＸ座標値の大小関係に基づいて、決定されてもよい。

【0132】

さらにまた、処理（Ｓ２０９）において、補正前４角形の回転状態を判定できれば、本発明におけるパターン選択部が比較する座標値は、第１基準点と第４基準点のＹ座標値に限定されない。すなわち、例えば、本発明におけるパターン選択部は、対角に位置しない第２基準点と第３基準点のＹ座標値を比較してもよい。また、処理（Ｓ２０９）において、本発明におけるパターン選択部は、対角に位置しない第１基準点と第２基準点のＸ座標値を比較してもよい。この場合、例えば、処理（Ｓ２１０）において、本発明におけるパターン選択部は、第１基準点と第３基準点のＸ座標値を比較して、同回転状態を判定してもよい。

【0133】

さらにまた、本装置は、生成した補正画像を、商品の欠品抽出や棚割作成などに用いられる画像認識のＡＩの教師データとして利用してもよい。

【0134】

さらにまた、本システムＳ（本装置１）が適用される場面は、小売店の画像補正に限定されない。すなわち、例えば、本装置は、航空写真の画像補正や、街中の監視カメラの画像補正、風景写真の画像補正、にも適用可能である。

【0135】

さらにまた、以上説明した実施の形態によれば、本装置２は、１つのコンピュータにより構成されていた。これに代えて、本装置は、複数のコンピュータにより構成されてもよい。すなわち、例えば、本システムは、複数のコンピュータで構成され、本装置として機能するコンピュータ群を備えてもよい。具体的には、例えば、本装置（コンピュータ群）は、撮像画像を記憶する記憶部を備えるコンピュータと、本方法を実行する制御部を備えるコンピュータと、により構成されてもよい。また、例えば、複数のコンピュータが、画像取得部、基準特定部、パターン選択部、算出部、補正部それぞれの機能を分散して備えてもよい。この場合、複数のコンピュータは、ネットワークを介して情報の送受信をしてもよく、あるいは、可搬記憶媒体を介して情報の譲受をしてもよい。

【符号の説明】

【0136】

Ｓ 画像処理システム
１ 撮像装置
２ 画像処理装置
２２ 記憶部
２３ 制御部
２３１ 画像取得部
２３２ 基準特定部
２３３ パターン選択部
２３５ 補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】