特開 2024-112231 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112231

(43)【公開日】2024-08-20

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06T 3/18 20240101AFI20240813BHJP

【ＦＩ】

G06T3/00 770

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023017166

(22)【出願日】2023-02-07

(11)【特許番号】

(45)【特許公報発行日】2024-05-31

(71)【出願人】

【識別番号】516278171

【氏名又は名称】株式会社マーケットヴィジョン

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】辛 東主

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA12

5B057CA13

5B057CA16

5B057CB12

5B057CC01

5B057CD03

5B057CD12

5B057DB02

5B057DB03

5B057DC08

(57)【要約】

【課題】
画像情報に対する補正処理を行う情報処理システムを提供することを目的とする。
【解決手段】
撮影装置で撮影した画像情報を正対した位置に補正する情報処理システムであって、情報処理システムは、補正処理の対象とする画像情報の入力を受け付ける画像情報入力受付処理部と、撮影装置または情報処理装置のピッチ角とロール角の情報と、撮影対象物における任意の点までの距離情報の入力を受け付けるセンサ情報入力受付処理部と、画像情報に対して補正処理を行う補正処理部と、補正処理を行った画像情報を出力する出力処理部と、を有しており、補正処理部は、距離情報とピッチ角とロール角の情報とを用いて、複数の点を含む点群の回帰直線を算出して、撮影装置または情報処理装置のヨー角の情報を推定し、推定したヨー角の情報を用いて、画像情報を撮影装置に正対する位置となるように変形する、情報処理システムである。
【選択図】 図１

【特許請求の範囲】

【請求項1】

撮影装置で撮影した画像情報を正対した位置に補正する情報処理システムであって、
前記情報処理システムは、
補正処理の対象とする画像情報の入力を受け付ける画像情報入力受付処理部と、
前記撮影装置または情報処理装置のピッチ角とロール角の情報と、撮影対象物における任意の点までの距離情報の入力を受け付けるセンサ情報入力受付処理部と、
前記画像情報に対して補正処理を行う補正処理部と、
前記補正処理を行った画像情報を出力する出力処理部と、を有しており、
前記補正処理部は、
前記距離情報と前記ピッチ角とロール角の情報とを用いて、複数の前記点を含む点群の回帰直線を算出して、前記撮影装置または情報処理装置のヨー角の情報を推定し、
前記推定したヨー角の情報を用いて、前記画像情報を前記撮影装置に正対する位置となるように変形する、
ことを特徴とする情報処理システム。

【請求項2】

前記補正処理部は、
撮影対象物における任意の点までの距離情報を３次元情報に変換し、前記点についてピッチ角とロール角の情報に基づいて回転させ、前記点を含む点群を２次元平面に投影したときの点群の回帰直線を算出することで、前記ヨー角の情報を推定する、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記補正処理部は、
前記撮影対象物を撮影した対象面を所定の大きさのマトリックスに区切り、
各マトリックスにおける前記点の距離情報を抽出し、
前記抽出した点における距離情報を３次元情報に変換し、前記点について前記ピッチ角とロール角の情報に基づいて回転させ、前記点を含む点群を２次元平面に投影したときの点群の回帰直線を算出することで、前記ヨー角の情報を推定する、
ことを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記補正処理部は、
前記撮影対象物を撮影した対象面の端部付近にある点の重み付けを中心付近の点よりも低い重み付けに変更し、前記回帰直線を算出する、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項5】

前記補正処理部は、
前記対象面の所定軸方向に点群の取得区間を区切り、
外側の区間においてはその個数の重み付けを変更する、
ことを特徴とする請求項４に記載の情報処理システム。

【請求項6】

前記補正処理部は、
前記対象面の所定軸方向に点群の取得区間を区切り、
外側の区間においては、外縁部に位置するに従い、点の個数の重み付けを変更する、
ことを特徴とする請求項５に記載の情報処理システム。

【請求項7】

情報処理装置を、
補正処理の対象とする画像情報の入力を受け付ける画像情報入力受付処理部、
撮影装置または前記情報処理装置のピッチ角とロール角の情報と、撮影対象物における任意の点までの距離情報の入力を受け付けるセンサ情報入力受付処理部、
前記画像情報に対して補正処理を行う補正処理部、
前記補正処理を行った画像情報を出力する出力処理部、として機能させる情報処理プログラムであって、
前記補正処理部は、
前記距離情報と前記ピッチ角とロール角の情報とを用いて、複数の前記点を含む点群の回帰直線を算出して、前記撮影装置または情報処理装置のヨー角の情報を推定し、
前記推定したヨー角の情報を用いて、前記画像情報を前記撮影装置に正対する位置となるように変形する、
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像情報に対する補正処理を行う情報処理システムに関する。

【背景技術】

【0002】

コンビニエンスストア、スーパーなどの各種の店舗では、販売している商品を陳列棚に置いて販売をしていることが一般的である。そのため、陳列棚に商品を複数陳列しておくことで、商品の一つが購入されても、同一の商品をほかの人が購入できるようになっている。また、目立つ位置に多くの個数を並べた商品が注目され、ほかの商品よりも多く売れるという競合上の優位、劣位の関係も生じる。したがって、商品が陳列棚のどこにいくつ陳列されているか、またその商品の価格を管理することは、商品の販売戦略上、重要である。

【0003】

そこで陳列棚をカメラなどの撮影装置で撮影し、その画像情報に写っている対象物を自動認識することで、商品の陳列位置と個数、陳列されている商品や価格札に記載されている価格を把握することが行われている。

【0004】

カメラなどの撮影装置で撮影した画像情報に写っている対象物を自動認識する場合、その対象物を正対した位置から撮影することで、撮影装置のレンズの光軸と対象物の面とが垂直となるので、撮影した画像情報に歪みが生じず、自動認識の精度が向上する。そのため、自動認識を行う場合、理想的には対象物を正対した位置から撮影することが好ましい。

【0005】

しかし、撮影装置で対象物を撮影する際の撮影角度は、撮影場所のスペースや障害物の存在などさまざまな撮影条件によって制約されることが一般的である。たとえば、撮影の対象物が陳列棚の場合、商品を陳列する陳列棚の間の通路の幅が狭ければ、正対した位置からは陳列棚の全体を撮影することが難しく、陳列棚を俯角、仰角で撮影したり、左右にずれた方向から撮影することで、撮影した画像情報に歪みが生じる。

【0006】

一般に、自動認識は標本とする画像情報と、撮影した画像情報との間の画像情報同士の特徴量を比較することで行う。そのため、正対していない位置から撮影した画像情報に対して自動認識を行う場合、正対した位置から撮影されている標本とする画像情報と、互いに異なる撮影角度から撮影されているので、撮影した画像情報での歪みが大きければ多いほど、対象物の自動認識の認識精度が低下する。

【0007】

これは、自動認識として、深層学習（ディープラーニング）を用いた場合でも同様である。教師データとした画像情報と、処理対象とする画像情報との撮影角度が相違していると、対象物の自動認識の認識精度は、画像特徴量の比較による場合と同様、認識精度は低下する。教師データとした画像情報と、処理対象とする画像情報は、通常、垂直、水平の線分による矩形で切り抜かれているので、その商品以外の情報を除外するために、画像情報自体を正対させておくことは、精度向上に有効である。

【0008】

このような問題があるため、歪んだ画像を正対した位置から撮影した画像情報に補正するため、いわゆる台形補正処理が知られており、例えば下記特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１８－１９４７９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

従来の補正処理を行う場合、オペレータが手動で台形補正処理などの頂点を手動で指定する操作を行うことから、オペレータの作業負担が発生する。また、手動での作業なので、処理時間も要することとなる。そこで、このような補正処理について自動化することが求められる。

【0011】

また、陳列棚を撮影するような場合、店舗で撮影を行うため、サーバに撮影した画像情報をアップロードして、オペレータが作業をしても適切に撮影できていなかった場合、再度、その店舗に赴いて撮影をしなければならない。そのため、その場で撮影した画像情報に対する補正処理が行えればよいが、従来の処理はオペレータが介在していたり、処理負荷が大きいなどの理由から、その場でスマートフォンなどの可搬型通信端末で行うには適していなかった。

【0012】

そこで、処理負荷が大きくなく、スマートフォンなどの処理能力の高くない可搬型通信端末でも処理が可能な画像補正処理が求められている。

【課題を解決するための手段】

【0013】

本発明者は上記課題に鑑み、画像情報に対する補正処理を行う情報処理システムを発明した。

【0014】

第１の発明は、撮影装置で撮影した画像情報を正対した位置に補正する情報処理システムであって、前記情報処理システムは、補正処理の対象とする画像情報の入力を受け付ける画像情報入力受付処理部と、前記撮影装置または情報処理装置のピッチ角とロール角の情報と、撮影対象物における任意の点までの距離情報の入力を受け付けるセンサ情報入力受付処理部と、前記画像情報に対して補正処理を行う補正処理部と、前記補正処理を行った画像情報を出力する出力処理部と、を有しており、前記補正処理部は、前記距離情報と前記ピッチ角とロール角の情報とを用いて、複数の前記点を含む点群の回帰直線を算出して、前記撮影装置または情報処理装置のヨー角の情報を推定し、前記推定したヨー角の情報を用いて、前記画像情報を前記撮影装置に正対する位置となるように変形する、情報処理システムである。

【0015】

本発明の処理を実行することで、処理負荷が大きくなく、スマートフォンなどの処理能力の高くない可搬型通信端末でも処理が可能な画像補正処理が可能となる。

【0016】

上述の発明において、前記補正処理部は、撮影対象物における任意の点までの距離情報を３次元情報に変換し、前記点についてピッチ角とロール角の情報に基づいて回転させ、前記点を含む点群を２次元平面に投影したときの点群の回帰直線を算出することで、前記ヨー角の情報を推定する、情報処理システムのように構成することができる。

【0017】

補正処理としては、これらの発明のように実行することが好ましい。

【0018】

上述の発明において、前記補正処理部は、前記撮影対象物を撮影した対象面を所定の大きさのマトリックスに区切り、各マトリックスにおける前記点の距離情報を抽出し、前記抽出した点における距離情報を３次元情報に変換し、前記点について前記ピッチ角とロール角の情報に基づいて回転させ、前記点を含む点群を２次元平面に投影したときの点群の回帰直線を算出することで、前記ヨー角の情報を推定する、情報処理システムのように構成することができる。

【0019】

本発明のように構成することで、凹凸が多い撮影対象物の場合であっても、回帰直線を精度よく算出することができるので、補正処理の精度を向上させることができる。

【0020】

上述の発明において、前記補正処理部は、前記撮影対象物を撮影した対象面の端部付近にある点の重み付けを中心付近の点よりも低い重み付けに変更し、前記回帰直線を算出する、情報処理システムのように構成することができる。

【0021】

上述の発明において、前記補正処理部は、前記対象面の所定軸方向に点群の取得区間を区切り、外側の区間においてはその個数の重み付けを変更する、情報処理システムのように構成することができる。

【0022】

上述の発明において、前記補正処理部は、前記対象面の所定軸方向に点群の取得区間を区切り、外側の区間においては、外縁部に位置するに従い、点の個数の重み付けを変更する、情報処理システムのように構成することができる。

【0023】

通常、画像情報の左右端部付近に本来の撮影対象物とは異なる物が写り込む場合がある。そして左右端部付近が突出していたり、凹んでいる場合には回帰直線が影響を受けてしまう。しかし、本願発明のように構成することで、回帰直線を精度よく算出することができるので、補正処理の精度を向上させることができる。

【0024】

第１の発明の情報処理システムは、本発明のプログラムを情報処理装置に読み込ませて実行することで実現できる。すなわち、情報処理装置を、補正処理の対象とする画像情報の入力を受け付ける画像情報入力受付処理部、撮影装置または前記情報処理装置のピッチ角とロール角の情報と、撮影対象物における任意の点までの距離情報の入力を受け付けるセンサ情報入力受付処理部、前記画像情報に対して補正処理を行う補正処理部、前記補正処理を行った画像情報を出力する出力処理部、として機能させる情報処理プログラムであって、前記補正処理部は、前記距離情報と前記ピッチ角とロール角の情報とを用いて、複数の前記点を含む点群の回帰直線を算出して、前記撮影装置または情報処理装置のヨー角の情報を推定し、前記推定したヨー角の情報を用いて、前記画像情報を前記撮影装置に正対する位置となるように変形する、情報処理プログラムである。

【発明の効果】

【0025】

本発明の情報処理システムを用いることで、スマートフォンなどの処理能力の高くない可搬型通信端末でも画像情報に対する補正処理を行うことが可能となる。

【図面の簡単な説明】

【0026】

【図1】本発明の情報処理システムの構成の一例を模式的に示すブロック図である。

【図2】本発明の情報処理システムにおける補正処理部の構成の一例を模式的に示すブロック図である。

【図3】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図4】本発明の情報処理システムにおける全体の処理プロセスの一例を示すフローチャートである。

【図5】入力する画像情報（補正前の画像情報）の一例である。

【図6】対象面と３次元空間との関係を模式的に示す図である。

【図7】出力する画像情報（補正後の画像情報）の一例である。

【図8】回転後の点群を垂直面にマッピングした状態の正面図である。

【図9】回転後の点群を水平面にマッピングした状態の上面図である。

【図10】角推定処理部における処理を模式的に示す図である。

【図11】画像変形処理部における処理を模式的に示す図である。

【図12】実施例２において凹凸が多い撮影対象物を撮影した場合の距離情報のズレを示す図である。

【図13】実施例２において、距離情報をプロットした点群のうち、マトリックスからランダムに点群を選択することを模式的に示す図である。

【図14】実施例３において、本来の撮影対象の左右に凹凸が写り込んだ場合の画像情報と、それによる距離情報の異常値を模式的に示す図である。

【図15】実施例３の処理の一例を模式的に示す図である。

【発明を実施するための形態】

【0027】

本発明の情報処理システム１の全体の処理機能の一例のブロック図を図１に示す。情報処理システム１は、好ましくは撮影装置７５の機能を備えたスマートフォンなどの可搬型通信端末２で機能する。

【0028】

可搬型通信端末２は、スマートフォン、タブレット型コンピュータなどの持ち運びが可能な撮影装置７５の機能を備えた情報処理装置（コンピュータ）である。ラップトップ型コンピュータであってもよい。

【0029】

情報処理システム１における可搬型通信端末２のハードウェア構成の一例を図２に模式的に示す。可搬型通信端末２は、プログラムの演算処理を実行するＣＰＵなどの演算装置７０と、情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と、情報を表示するディスプレイなどの表示装置７２と、情報の入力が可能な入力装置７３と、演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４と、カメラなどの撮影装置７５と、各種のセンサ装置７６とを有している。

【0030】

可搬型通信端末２がタッチパネルディスプレイを備えている場合には、表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは、たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末２などで利用されることが多いが、それに限定するものではない。

【0031】

タッチパネルディスプレイは、そのディスプレイ上で、直接、所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で、表示装置７２と入力装置７３の機能が一体化した装置である。

【0032】

撮影装置７５としては、可視光などにより画像情報を撮影する装置であればよい。

【0033】

センサ装置７６としては、可搬型通信端末２または撮影装置７５のピッチ角、ロール角を検出するセンサ、撮影装置７５から撮影対象物までの距離を測定する測距センサなどがある。

【0034】

本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は、その処理順序を適宜変更することもできる。また、処理の一部を省略してもよい。たとえば後述する視点方向を決定する処理を省略することもできる。その場合、視点方向を決定する処理をしていない画像情報に対する処理を実行することができる。

【0035】

情報処理システム１は、画像情報入力受付処理部２０と画像情報記憶部２１とセンサ情報入力受付処理部２２と補正処理部２３と出力処理部２４とを有する。

【0036】

画像情報入力受付処理部２０は、可搬型通信端末２の撮影装置７５で撮影した画像情報の入力を受け付け、後述する画像情報記憶部２１に記憶させる。たとえば店舗の陳列棚の画像情報の入力を受け付け、画像情報記憶部２１に記憶させる。図５に、可搬型通信端末２の撮影装置７５から入力を受け付けた画像情報の一例を示す。図５は、店舗の陳列棚の撮影した画像情報であり、これが補正対象の画像情報となる。図５のように店舗の陳列棚を撮影する場合、撮影者の背後にほかの陳列棚が位置し、通路が狭いなどの事情から、撮影対象となる陳列棚と撮影装置７５との間の距離を確保できないことがある。また陳列棚は撮影者の視線の上方または下方に位置するため、仰角または俯角での撮影となることも多い。そのため、正対した位置から撮影できていない。これを正対した位置から撮影したように、本発明によって撮影した画像情報を補正をする。なお、本発明は仰角または俯角で撮影した画像情報のみならず、左右方向から撮影した画像情報などでも同様に適用することができる。

【0037】

画像情報記憶部２１は、撮影装置７５から受け付けた画像情報を記憶する。

【0038】

センサ情報入力受付処理部２２は、可搬型通信端末２または撮影装置７５のピッチ角、ロール角を検出するセンサからその情報の入力を受け付ける。また、撮影対象物までの距離を測定するセンサ（測距センサ）から、撮影装置７５と撮影対象物との距離情報の入力を受け付ける。距離情報としては、撮影装置７５から撮影対象物までの各ポイントまでの距離情報を取得する。

【0039】

補正処理部２３は、画像情報入力受付処理部２０で入力を受け付け、画像情報記憶部２１に記憶する画像情報に対して、正対した位置となるように補正処理を行う。補正処理部２３は、撮影対象物の前面を３次元空間における垂直な長方形（正方形も含む）とみなし（この面を対象面と呼ぶ）、センサ情報入力受付処理部２２で受け付けたセンサ情報を用いて３次元空間上での可搬型通信端末２と対象面との位置関係を推定することで補正処理を行う。補正処理部２３は、角推定処理部２３０と画像変形処理部２３１とを有する。

【0040】

角推定処理部２３０は、センサ情報入力受付処理部２２で入力を受け付けた、撮影対象物の各点までの距離情報を３次元情報に変換し、この点群をロール角、ピッチ角に基づいて回転させる。対象面は垂直であることから、回転の結果はおおよそ図６に示すように、ｘｚ平面に垂直な面となる。そして、これらの点群のｘｚ平面における回帰直線を算出することで、撮影装置７５からその直線に引いた垂線をヨー角として推定する。

【0041】

画像変形処理部２３１は、角推定処理部２３０で推定したヨー角を用いて、画像情報入力受付処理部２０で入力を受け付けて画像情報記憶部２１に記憶する画像情報を、撮影装置７５に正対する位置となるように変形する。目的となる対象面の四角形の形状は、３次元空間における撮影装置７５の画角を表す、撮影装置７５を端点とした４本のベクトルを想定し、それを、センサ情報入力受付処理部２２で入力を受け付けたロール角、ピッチ角に基づいて回転させた後、角推定処理部２３０で推定したヨー角だけ左右に傾いた垂直面との４交点を算出すればよい。そして、画像情報入力受付処理部２０で入力を受け付けた画像情報に対して、算出した４交点を用いてＯｐｅｎＣＶなどの射影変換処理を行うことで、画像変形処理を行い、正対した位置からの画像情報に補正処理が実行できる。図７に、図５の画像情報に対して補正処理をした画像情報の一例を示す。

【0042】

出力処理部２４は、補正処理部２３で補正した画像情報を出力する。たとえば、図７の補正した画像情報を出力する。

【実施例0043】

つぎに本発明の情報処理システム１を用いた処理プロセスの一例を図４のフローチャートを用いて説明する。本実施例では、スマートフォン（可搬型通信端末２）に内蔵するカメラ（撮影装置７５）で店舗の陳列棚を撮影した画像情報に対して、本発明の情報処理システム１によって自動的に補正する処理を行う場合を説明する。

【0044】

まず店舗の陳列棚を撮影する撮影担当者は、店舗の陳列棚（撮影対象物）を所持するスマートフォンのカメラを用いて撮影する。画像情報入力受付処理部２０は、スマートフォンのカメラで撮影した画像情報の入力を受け付け、画像情報記憶部２１に記憶させる（Ｓ１００）。この画像情報の一例が図５である。図５の画像情報は、陳列棚の斜め下方向から上向き（仰角）に撮影したものであり、また、わずかに左側に回転をしている状態である（ピッチ角は上向き１８．８度、ロール角は左回り４．６度）。

【0045】

また、センサ情報入力受付処理部２２は、センサ装置７６で計測している、撮影装置７５での画像情報の撮影時におけるスマートフォンまたはカメラのピッチ角、ロール角の情報、および撮影対象物の各点までの距離情報の情報の入力を受け付けている。

【0046】

距離情報は、撮影対象物に対して任意の数、たとえば数十から百箇所程度の距離情報を取得していてもよい。なお距離情報を取得する箇所は、十分に精度を得られる数であればいくつであってもよい。

【0047】

補正処理部２３における角推定処理部２３０は、センサ情報入力受付処理部２２で入力を受け付けた距離情報を３次元空間にプロットして、距離情報を３次元空間の点群に変換する（Ｓ１１０）。そして、角推定処理部２３０は、この点群を、センサ情報入力受付処理部２２で入力を受け付けたピッチ角、ロール角の情報を用いて回転させる（Ｓ１２０）。

【0048】

対象面における陳列棚に陳列されている商品が直立し、棚段が水平であるような補正画像情報（台形補正画像情報）を生成するためには、すなわち、画像情報入力受付処理部２０で入力を受け付けた画像情報の対象面が正対した位置となるように補正するためには、カメラに正対する向きから対象面がどれだけ傾いているかを算出する必要がある。そのため、Ｓ１２０の回転後の点群を水平面（ｘｚ平面）にマッピングして、ロバスト推定のアルゴリズムであるＲＡＮＳＡＣなどを用いて回帰直線を算出する（Ｓ１３０）。図８が、Ｓ１２０の回転後の点群を垂直面にマッピングした状態の正面図（図６のｘｙ平面）であり、図９が、Ｓ１２０の回転後の点群を水平面にマッピングした状態の上面図（図６のｘｚ平面）である。また、図１０に角推定処理部２３０における処理を模式的に示す。

【0049】

そして、カメラの光軸から対象面がどれだけ傾いているかの角度（ヨー角）をこの回帰直線から算出すればよい。具体的には、点群の回帰直線の傾きをａとすると、数１を演算することで、回帰直線の傾きａをヨー角に変換する（Ｓ１４０）。すなわち傾きａを引数として逆正接を演算する。
（数１）
ヨー角＝ａｔａｎ（ａ）

【0050】

角推定処理部２３０は、以上のような処理でヨー角を推定できるので、画像変形処理部２３１は、推定したヨー角を用いて、画像情報入力受付処理部２０で入力を受け付けた画像情報を、撮影装置７５に正対する位置となるように変形する。この処理を図１１に模式的に示す。

【0051】

角推定処理部２３０でヨー角を推定したので、カメラと対象面との３次元空間上の位置関係が判明したことから、画像変形処理部２３１は、水平面とカメラ位置とカメラの画角とがなす４頂点を結ぶ４直線（ベクトル）を３次元空間上に設定する（Ｓ１５０）。そして、この４直線（ベクトル）をセンサ情報入力受付処理部２２で入力を受け付けたロー角とピッチ角、角推定処理部２３０で推定したヨー角とを用いて回転させる（Ｓ１６０）。

【0052】

画像変形処理部２３１は、Ｓ１６０で回転させた４直線を対象面で切断した断面の四角形を目的四角形として算出する（Ｓ１７０）。画像変形処理部２３１は、画像情報入力受付処理部２０で入力を受け付けた画像情報を、この目的四角形に対して射影変換して補正後の画像情報を生成する（Ｓ１８０）。図５の画像情報に対して補正処理部２３における補正処理をした画像情報が図７の画像情報である。

【0053】

以上の処理を実行することで補正処理部２３の処理が実行できる。

【0054】

そして、補正処理部２３で補正した画像情報（たとえば図７）を、出力処理部２４が出力をする。

【実施例0055】

撮影対象物が、商品が陳列された陳列棚のように凹凸が多い場合、撮影対象物の凹凸が垂直方向に比べて水平方向の相関が極めて強いため、撮影装置７５の左右方向が陳列棚の水平方向と少しずれると、横に並んだ距離情報が、途中までは近く、途中からは遠いという「階段状の差」が起こりやすい。そして取得した距離情報にこのような列が何件か混入すると、本来の対象面に対して傾いた推定結果となってしまう。これを模式的に示すのが図１２である。図１２（ａ）は撮影対象物として、凹凸が多い陳列棚、たとえば商品を陳列した陳列棚を撮影した画像情報である。図１２（ａ）では、距離情報を取得する位置（ポイント）は、手前に位置する商品の位置、商品がなく奥の棚板の位置などとなることがあることを示している。その場合、図１２（ｂ）のような点群の位置関係となり、傾いた推定結果となりやすくなる。

【0056】

そこで、実施例１の処理において、さらに、対象面を所定の大きさのマトリックスに区切り、各マトリックスにおいて擬似的にランダムに散らした点の距離情報を取得してもよい。これにより、Ｓ１１０において距離情報を３次元空間上の点群に変換する場合に、距離情報をプロットした点群のうち、マトリックスからランダムに点群を選択することが可能となる。これを模式的に示すのが図１３である。

【0057】

以上の処理によって、推定結果の精度を向上させることができる。