特許 7638628 撮影装置及び撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-21

(45)【発行日】2025-03-04

(54)【発明の名称】撮影装置及び撮影方法

(51)【国際特許分類】

   H04N 5/222 20060101AFI20250225BHJP

   H04N 23/56 20230101ALI20250225BHJP

   H04N 23/60 20230101ALI20250225BHJP

   H04N 23/695 20230101ALI20250225BHJP

   H04N 23/50 20230101ALI20250225BHJP

   G03B 15/00 20210101ALI20250225BHJP

   G03B 15/02 20210101ALI20250225BHJP

   G03B 17/56 20210101ALI20250225BHJP

   G03B 17/02 20210101ALI20250225BHJP

【ＦＩ】

H04N5/222 100

H04N23/56

H04N23/60

H04N23/695

H04N23/50

G03B15/00 U

G03B15/02 H

G03B17/56 B

G03B17/02

G03B15/00 Q

【請求項の数】 3

(21)【出願番号】P 2020055432

(22)【出願日】2020-03-26

(65)【公開番号】P2021158468

(43)【公開日】2021-10-07

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】有賀 徳政

(72)【発明者】

【氏名】安永 真明

(72)【発明者】

【氏名】山崎 景太

【審査官】登丸 久寿

(56)【参考文献】

【文献】特表２０１９－５３００３５（ＪＰ，Ａ）

【文献】特開２００４－３２０１２３（ＪＰ，Ａ）

【文献】特開２０１９－００８５３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ２３／５６

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／５０

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １５／０２

Ｇ０３Ｂ １７／５６

Ｇ０３Ｂ １７／０２

(57)【特許請求の範囲】

【請求項1】

第１の方向に沿って並べられた１以上の撮影対象物と所定の距離を維持しながら、前記第１の方向に移動する移動機構と、
前記移動機構に搭載されている光源と、
高さ方向に沿って前記光源と直線状または略直線状に配置され、前記第１の方向及び前記高さ方向と直交する第２の方向を向くように前記移動機構に取り付けられたカメラと、 を備え、
前記移動機構は、前記第２の方向に対して前記高さ方向を軸として前記カメラの画角の１／２以上第３の方向に前記カメラとともに回転した後に、前記第３の方向に回転した状態を維持しながら、前記第１の方向に移動し、
前記カメラは、前記第３の方向を向いて撮影する、撮影装置。

【請求項2】

前記カメラが撮影した画像の歪みを補正して、前記カメラが前記第２の方向を向いて撮影した場合に相当する撮影画像を取得する補正手段をさらに備える、請求項１記載の撮影装置。

【請求項3】

高さ方向に沿って直線状または略直線状に配置した光源とカメラを、前記カメラが第１の方向及び前記高さ方向と直交する第２の方向を向くように取り付けた移動機構を、前記第１の方向に沿って並べられた１以上の撮影対象物と所定の距離を維持しながら、前記第２の方向に対して前記高さ方向を軸として前記カメラの画角の１／２以上第３の方向に前記カメラとともに回転させた後に、前記第３の方向に回転させた状態で、前記第１の方向に移動させ、前記カメラを、前記第３の方向に向けて撮影させることと、
前記カメラが撮影した画像の歪みを補正して、前記カメラが前記第２の方向を向いて撮影した場合に相当する撮影画像を取得することと、
を備える、撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、撮影装置及び撮影方法に関する。

【背景技術】

【0002】

スーパーマーケット等の店舗では、省力化の一環として、店舗内の商品棚をカメラで撮像し、商品棚の値札が正しいかどうかを自動的に確認する装置を利用している。

【0003】

この装置による商品棚の値札の確認は、買物客が店舗内に存在しない営業時間外に行われる。特に、自動化の観点から、夜間に店舗内を自動巡回して行われる可能性が高い。夜間の撮像では、店舗内の照明が点灯していない可能性もあり、撮像には照明とカメラのセットで撮像する必要がある。

【0004】

一方、商品棚の値札は多くの場合、透明樹脂に挟まれて商品棚端に設置されており、買物客はこれを透明樹脂越しに見るようになっている。このため、上記装置による撮影では、透明樹脂上で照明光源の反射が発生し、商品棚の値札に光源が写り込んでしまう可能性がある。このように光源が写り込むと撮影画像に白飛びが発生し、値札に印刷された値札情報が見えなくなる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－０５３７１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の実施形態が解決しようとする課題は、撮影画像に照明光源が写り込まない撮影装置及び撮影方法を提供しようとするものである。

【課題を解決するための手段】

【0007】

一実施形態において、撮影装置は、移動機構と、光源と、カメラと、を備える。移動機構は、第１の方向に沿って並べられた１以上の撮影対象物と所定の距離を維持しながら、第１の方向に移動する。光源は、移動機構に搭載されている。カメラは、高さ方向に沿って光源と直線状または略直線状に配置され、第１の方向及び高さ方向と直交する第２の方向を向くように移動機構に取り付けられる。移動機構は、第２の方向に対して高さ方向を軸としてカメラの画角の１／２以上第３の方向に前記カメラとともに回転した後に、第３の方向に回転した状態を維持しながら、第１の方向に移動する。カメラは、第３の方向を向いて撮影する。

【0008】

一実施形態において、撮影方法は、高さ方向に沿って直線状または略直線状に配置した光源とカメラを、カメラが第１の方向及び高さ方向と直交する第２の方向に対して高さ方向を軸として回転された第３の方向を向いて撮影するように取り付けた移動機構を、第１の方向に沿って並べられた１以上の撮影対象物と所定の距離を維持しながら、第２の方向に対して高さ方向を軸としてカメラの画角の１／２以上第３の方向に前記カメラとともに回転させた後に、第３の方向に回転させた状態で、第１の方向に移動させ、カメラを、第３の方向に向けて撮影させることを備える。さらに撮影方法は、カメラが撮影した画像の歪みを補正して、カメラが第２の方向を向いて撮影した場合に相当する撮影画像を取得することを備える。

【図面の簡単な説明】

【0009】

【図1】第１実施形態の撮影装置のハードウェア構成を示すブロック図。

【図2】走行ロボットへの照明光源とカメラの取り付け状態を示す模式図。

【図3】商品棚に対する走行ロボットの走行方向を示す、商品棚の上方から見た模式図。

【図4】商品棚に対するカメラの撮影範囲を示す模式図。

【図5】カメラで撮影された補正前の撮影画像データの一例を示す模式図。

【図6】補正後の撮影画像データの一例を示す模式図。

【図7】比較例の撮影画像データを示す模式図。

【図8】撮影制御装置のプロセッサの要部制御手順を示す流れ図。

【図9】図８中の画像補正処理の制御手順を示す流れ図。

【図10】第１実施形態の変形例１におけるカメラと照明光源の配置例を示す模式図。

【図11】変形例１における商品棚に対するカメラの撮影範囲を示す模式図。

【図12】第１実施形態の変形例２における撮影制御装置のプロセッサの要部制御手順を示す流れ図。

【図13】第２実施形態の撮影装置における走行ロボットへのカメラと光源の取り付け状態を示す模式図。

【図14】第２実施形態における商品棚に対する走行ロボットの走行方向を示す、商品棚の上方から見た模式図。

【図15】第２実施形態の撮影制御装置のプロセッサの要部制御手順を示す流れ図。

【発明を実施するための形態】

【0010】

以下、撮影画像に照明光源が写り込まない撮影装置の実施形態について、図面を用いて説明する。

【0011】

［第１実施形態］
図１は、第１実施形態の撮影装置１のハードウェア構成を示すブロック図である。撮影装置１は、撮影制御装置１０、走行ロボット２０、照明３０、及びカメラ４０を備える。さらに撮影装置１は、タッチパネル５０及び／または画像認識装置６０を備える場合もある。

【0012】

撮影制御装置１０は、この撮影装置１の各部を制御する。走行ロボット２０は、予め決められた走行ルートを、撮影制御装置１０の指示に応じて自律走行する。照明３０は複数の照明光源を備える。照明光源は、白色光源でも良いし、赤外光源でも良い。カメラ４０は撮影対象を撮影する。カメラ４０は、例えばＣＣＤ（Charge Coupled Device）を撮像素子として使用するデジタルカメラである。照明光源が白色光源である場合、カメラ４０はカラーカメラであっても良いし、モノクロカメラであっても良い。照明光源が赤外光源である場合には、カメラ４０は赤外線カメラであって良い。タッチパネル５０は、撮影装置１の使用者が撮影制御装置１０に対して指示を入力し、また、撮影装置１が生成した各種情報を表示する。画像認識装置６０は、カメラ４０で撮影した撮影画像データから撮影対象を認識する。

【0013】

撮影制御装置１０は、プロセッサ１１、メモリ１２、ストレージ１３、ロボットインタフェース１４、照明インタフェース１５、及びカメラインタフェース１６を備える。さらに撮影制御装置１０は、指示インタフェース１７及び／または送信インタフェース１８を備える場合がある。なお、図１では、インタフェースをＩ／Ｆと略記している。プロセッサ１１、メモリ１２、ストレージ１３、ロボットインタフェース１４、照明インタフェース１５、カメラインタフェース１６、指示インタフェース１７及び送信インタフェース１８は、それぞれシステム伝送路１９と接続している。システム伝送路１９は、アドレスバス、データバス、制御信号線等を含む。撮影制御装置１０では、プロセッサ１１及びメモリ１２がシステム伝送路１９で接続されて、撮影制御装置１０を制御するための情報処理を行うコンピュータが構成される。

【0014】

ロボットインタフェース１４は、走行ロボット２０と接続している。照明インタフェース１５は、照明３０と接続している。カメラインタフェース１６は、カメラ４０と接続している。指示インタフェース１７は、タッチパネル５０と接続している。送信インタフェース１８は、画像認識装置６０と接続している。

【0015】

撮影制御装置１０のプロセッサ１１は、上記コンピュータの中枢部分に相当する。プロセッサ１１は、オペレーティングシステムまたはアプリケーションプログラムに従って、撮影制御装置１０としての各種の機能を実現するべく各部を制御する。プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）である。

【0016】

メモリ１２は、上記コンピュータの主記憶部分に相当する。メモリ１２は、不揮発性のメモリ領域及び揮発性のメモリ領域を含む。メモリ１２は、不揮発性のメモリ領域ではオペレーティングシステムまたはアプリケーションプログラムを記憶する。メモリ１２は、プロセッサ１１が各部を制御するための処理を実行する上で必要なデータを揮発性のメモリ領域で記憶する。プロセッサは、メモリ１２の揮発性のメモリ領域を、データが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

【0017】

ストレージ１３は、カメラ４０が撮影した撮影画像データを不揮発性に記憶する。ストレージ１３は、ＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）またはＳＳＤ（Solid State Drive）等の周知の記憶デバイスを単独で、あるいは複数組み合わせて用いることができる。

【0018】

ロボットインタフェース１４は、プロセッサ１１が走行ロボット２０との間でデータを授受するためのインタフェースである。ロボットインタフェース１４は、無線ＬＡＮ（Local Area Network）、ＢｌｕｅＴｏｏｔｈ（登録商標）、等の無線通信によりデータを送受信するための無線通信ユニットを含む。このロボットインタフェース１４により、撮影制御装置１０は、店舗の管理室等に配置し、走行ロボット２０を遠隔制御することができる。プロセッサ１１から走行ロボット２０へ送信するデータは、走行ロボット２０の走行を指示する走行指示データ等を含むことができる。走行ロボット２０は、店舗内のどこを走行するかを示す走行ルートを記憶しており、走行指示データは、その走行ルートが含む複数の走行開始地点の一つを指定するデータである。走行指示データは、走行の停止地点を指定するデータを含んでも良い。プロセッサ１１が走行ロボット２０から受信するデータは、走行ロボット２０の自律走行に係わる状態データ等を含むことができる。状態データは、指定された走行開始地点に対応する、または指定された、停止地点に到達したことを示す到着データを含む。また状態データは、例えば故障等の報知データを含むことができる。

【0019】

照明インタフェース１５は、プロセッサ１１から照明３０が備える照明光源の点灯及び消灯を指示する照明制御データ等を送信するためのインタフェースである。照明インタフェース１５は、無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈ、等の無線通信により照明制御データを送信するための無線通信ユニットを含む。この照明インタフェース１５により、撮影制御装置１０は、照明３０の点灯状態を遠隔制御することができる。

【0020】

カメラインタフェース１６は、プロセッサ１１がカメラ４０との間でデータを授受するためのインタフェースである。カメラインタフェース１６は、無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈ、等の無線通信によりデータを送受信するための無線通信ユニットを含む。このカメラインタフェース１６により、撮影制御装置１０は、カメラ４０を遠隔制御することができる。プロセッサ１１からカメラ４０へ送信するデータは、カメラ４０に撮影を行わせための撮影指示データ等を含むことができる。プロセッサ１１がカメラ４０から受信するデータは、カメラが撮影した撮影画像データ等を含むことができる。なお、撮影画像データは、ストレージ１３に記憶されることができる。

【0021】

指示インタフェース１７は、プロセッサ１１がタッチパネル５０からの指示データを受け取るためのインタフェースである。指示データは、例えば、本撮影装置１の動作開始指示、カメラ４０が撮影した撮影画像データの選択指示、選択された撮影画像データの画像認識装置６０への出力、等を含むことができる。

【0022】

送信インタフェース１８は、プロセッサ１１がストレージ１３に記憶した撮影画像データを画像認識装置６０へ送信するためのインタフェースである。送信インタフェース１８は、無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈ、等の無線通信により撮影画像データを送信するための無線通信ユニットを含む。この送信インタフェース１８により、撮影制御装置１０は、画像認識装置６０に、撮影画像データから、値札に印刷された値札情報等の撮影対象の情報を認識させることができる。

【0023】

以下、走行ロボット２０と照明３０が含む照明光源とカメラ４０との配置関係を、図２乃至図４を参照して説明する。図２は、走行ロボット２０への照明光源３１とカメラ４０の取り付け状態を示す模式図である。また図３は、商品棚７０に対する走行ロボット２０の走行方向を示す、商品棚の上方から見た模式図である。図４は、商品棚７０に対するカメラ４０の撮影範囲を示す模式図である。

【0024】

走行ロボット２０は、３輪または４輪を有するロボットボディ２１と、このロボットボディ２１から上方に延びた取付部２２と、を有する。ロボットボディ２１は、前進方向及び後退方向へ移動することと、２輪差動駆動により左または右へ回動することと、が可能になっている。取付部２２は、複数の照明光源３１とカメラ４０とが取り付けられる。照明光源３１とカメラ４０とは、高さ方向に沿って直線状に配置される。取付部２２は、ロボットボディ２１の側面の法線方向からずれた方向を向くように、カメラ４０を保持する。

【0025】

具体的には、走行ロボット２０は、走行開始地点８１から停止地点８２まで、商品棚７０とほぼ並行に走行する。以下、この方向を第１の方向と称する。かくして、走行ロボット２０は、第１の方向に移動する移動機構として機能する。

【0026】

商品棚７０は、特に図示はしていないが、複数段の陳列棚を有する。各段の陳列棚は、同一商品を、陳列棚の奥行き方向（図３の上下方向）に整列して陳列する。また、各段の陳列棚は、異なる商品を、陳列棚の左右方向である第１の方向に並べて陳列する。そして各陳列棚は、各商品の価格を示す値札情報が印刷された値札を、各商品に対応させて提示している。ここで、商品棚７０は、複数段の陳列棚を有するため、高さを持っている。走行ロボット２０の取付部２２は、カメラ４０がこの商品棚７０の複数段の陳列棚に提示された値札を撮影することができるような取付角度で、カメラ４０を保持する。第１の方向及び高さ方向と直交する第２の方向、つまりロボットボディ２１の側面の法線方向の、カメラ４０と商品棚７０の値札提示面との距離は、カメラ４０がそのような撮影が可能なように規定される。すなわち、カメラ４０の取付角度で決まる高さ方向の画角に応じて、カメラ４０と商品棚７０の間の距離が規定される。こうして、走行ロボット２０が走行する、商品棚７０からの距離が決められる。また、走行ロボット２０の取付部２２は、この高さ方向に分散配置された複数の値札をカメラ４０で撮影するために、複数の照明光源３１を、カメラ４０を挟んで高さ方向に並べて保持している。

【0027】

また、走行ロボット２０の取付部２２は、カメラ４０を、第２の方向に対して高さ方向を軸として回転された第３の方向を向いて撮像する取付角度に保持する。すなわち、取付部２２は、カメラ４０の撮影光軸Ｏが、第２の方向に対して角度θだけ回転した第３の方向を向くように、カメラ４０を保持する。このときのカメラ４０で撮影される商品棚７０の撮影幅Ｗは、このカメラ４０のヨー（ｙａｗ）方向の回転角度θと、カメラ４０と商品棚７０の間の距離と、に応じて決まる。取付部２２は、カメラ４０のヨー方向の回転角度θが、カメラ４０の第１の方向の画角ＡｏＶに対し１／２以上の角度を有するように、カメラ４０を保持する。ヨー方向回転角度θがこの画角ＡｏＶの１／２よりも小さいと、照明光源３１の値札による反射光がカメラ４０の撮影画像データに写り込んでしまう。

【0028】

図５は、カメラ４０で撮影された補正前の撮影画像データの一例を示す模式図である。また図６は、カメラ４０で撮影された補正後の撮影画像データの一例を示す模式図である。図７は、比較例の撮影画像データを示す模式図である。

【0029】

上記のようにカメラ４０を走行ロボット２０の取付部２２に、商品棚７０の値札提示面と正対させずに、カメラ４０のヨー方向に回転角度θを持って取り付けると、図５に示すように、カメラ４０の撮影画像データ４１は台形歪みを持つ。撮影制御装置１０のプロセッサ１１は、メモリ１２に記憶したアプリケーションプログラムにより、この撮影画像データ４１に対して台形歪みの補正処理を施す。これにより、プロセッサ１１は、図５に示すような歪みを持った撮影画像データ４１は、図６に示すように、台形歪みを持たない撮影画像データ４２とすることができる。すなわち、プロセッサ１１は、カメラ４０を商品棚７０の値札提示面と正対させて撮影した場合に得られる撮影画像データに対応する、つまりそのような撮影画像データと同等の、撮影画像データ４２を得ることができる。カメラ４０を商品棚７０の値札提示面と正対させて撮影した場合、図７に示すように、得られる撮影画像データ４３は、照明光源３１が写り込んで白飛び４４が発生する。これに対して、図６に示すように、補正後の撮影画像データ４２は、そのような白飛びの無い画像となる。

【0030】

図８は、撮影制御装置１０のプロセッサ１１の要部制御手順を示す流れ図である。以下、この図を用いて、撮影制御装置１０の動作について説明する。なお、以下に説明する動作の手順及びその内容は一例である。同様な結果が得られるのであれば、その手順及び内容は限定されるものではない。

【0031】

プロセッサ１１は、例えば、指示インタフェース１７を介してタッチパネル５０より本撮影装置１の撮影開始指示を受けると、図８に示す動作を開始する。まず、プロセッサ１１は、ロボットインタフェース１４により走行ロボット２０へ走行開始を指示するための走行指示データを送信する（ＡＣＴ１１）。

【0032】

撮影制御装置１０から走行ロボット２０へ送信される走行指示データは、走行開始地点８１を指定するデータであって良い。走行ロボット２０は、店舗内のどこを走行するかを示す走行ルートを記憶している。すなわち、走行ロボット２０は、指定された走行開始地点８１に対応する停止地点８２を記憶しているため、停止地点８２を指定しなくても良い。もちろん、走行指示データは、走行の停止地点８２を指定するデータを含んでも良い。指定する走行開始地点８１（及び停止地点８２）は、走行ロボット２０が走行するべき店舗の全てを巡回するための複数の走行ルートのうちの、任意の一つの走行ルートの走行開始地点８１（及び停止地点８２）である。もちろん、走行指示データは、全走行ルートの内の最初の走行ルートの走行開始地点８１（及び最後の走行ルートの停止地点８２）であっても良い。

【0033】

そして、プロセッサ１１は、走行ロボット２０が走行開始地点８１に到達したか否かを判断する（ＡＣＴ１２）。走行ロボット２０は、待機位置から走行開始地点８１まで自律走行する。そして、走行開始地点８１に到達すると、走行ロボット２０は、そのことを示す到着データを含む状態データを、撮影制御装置１０に送信する。従って、プロセッサ１１は、ロボットインタフェース１４を介して到着データを受信したか否かにより、走行ロボット２０が走行開始地点８１に到達したか否かを判断することができる。走行ロボット２０が未だ走行開始地点８１に到達していない場合（ＡＣＴ１２のＮＯ）、プロセッサ１１は、このＡＣＴ１２の処理を繰り返す。こうして、プロセッサ１１は、走行ロボット２０が走行開始地点８１に到達するのを待つ。

【0034】

なお、指示された一つの走行ルートの走行開始地点８１が、走行ロボット２０の待機位置である場合、あるいは、１回前の走行ルートの停止地点８２と同一地点である場合がある。このような場合には、プロセッサ１１は、直ちに走行ロボット２０が走行開始地点８１に到達したと判断することになる。

【0035】

こうして走行ロボット２０が走行開始地点８１に到達したならば（ＡＣＴ１２のＹＥＳ）、プロセッサ１１は、メモリ１２に設けた撮影タイマにより計時を開始する（ＡＣＴ１３）。

【0036】

そして、プロセッサ１１は、走行ロボット２０が停止地点８２に到達したか否かを判断する（ＡＣＴ１４）。走行ロボット２０は、走行開始地点８１から停止地点８２まで、一定速度で自律走行する。そして、停止地点８２に到達すると、走行ロボット２０は、そのことを示す到着データを含む状態データを、撮影制御装置１０に送信する。従って、プロセッサ１１は、ロボットインタフェース１４を介して到着データを受信したか否かにより、走行ロボット２０が停止地点８２に到達したか否かを判断することができる。

【0037】

走行ロボット２０が未だ停止地点８２に到達していない場合（ＡＣＴ１４のＮＯ）、プロセッサ１１は、撮影タイマの計時開始から一定時間経過したか否か判断する（ＡＣＴ１５）。ここで、未だ一定時間が経過していない場合には（ＡＣＴ１５のＮＯ）、プロセッサ１１は、ＡＣＴ１４の処理に戻る。

【0038】

そして、一定時間経過したならば（ＡＣＴ１５のＹＥＳ）、プロセッサ１１は、撮影指示を出力する（ＡＣＴ１６）。撮影指示は、カメラ４０への撮影指示データと照明３０への照明制御データとを含む。プロセッサ１１は、カメラインタフェース１６により、カメラ４０に撮影を行わせための撮影指示データを、カメラ４０へ送信する。またプロセッサ１１は、照明インタフェース１５により、照明３０が備える複数の照明光源３１の点灯を指示する照明制御データを、照明３０へ送信する。

【0039】

プロセッサ１１は、カメラ４０が撮影した撮影画像データをカメラインタフェース１６により受信し、それをメモリ１２に一時記憶する（ＡＣＴ１７）。

【0040】

そして、プロセッサ１１は、このメモリに一時記憶した撮影画像データに対し、画像補正処理を施す（ＡＣＴ１８）。図９は、この画像補正処理の制御手順を示す流れ図である。この画像補正処理において、プロセッサ１１はまず、撮影画像データに対して台形補正処理を施す（ＡＣＴ１８１）。かくしてプロセッサ１１は、カメラ４０が撮影した撮影画像データの歪みを補正して、カメラ４０が第２の方向を向いて撮影した場合に相当する撮影画像データを取得する補正手段として機能する。その後、プロセッサ１１は、台形補正処理後の撮影画像データに対して光量ムラ補正処理を施す（ＡＣＴ１８２）。そして、プロセッサ１１は、この画像補正処理を終了して、図８の処理に戻る。なお、台形補正処理及び光量ムラ補正処理は、周知の補正処理であるので、その説明は省略する。

【0041】

こうして撮影画像データに対して画像補正処理が施されたならば、プロセッサ１１は、その画像補正処理が施された撮影画像データを、ストレージ１３に保存する（ＡＣＴ１９）。

【0042】

その後、プロセッサ１１は、撮影タイマを一旦クリアする（ＡＣＴ２０）。そして、新たに撮影タイマにより計時を開始する（ＡＣＴ２１）。その後、プロセッサ１１は、ＡＣＴ１４の処理に戻る。

【0043】

こうして、走行ロボット２０が一定速度で走行ルートを自律走行しながら、一定時間おきに、照明光源３１により照明された値札を含む商品棚７０がカメラ４０で撮影されていく。走行ロボット２０は、一定速度で走行する。従って、カメラ４０は、一定距離毎に撮影を行うことになる。プロセッサ１１は、これら一定距離毎に撮影された複数枚の撮影画像データを、画像補正した上で、ストレージ１３に保存する。

【0044】

こうしてカメラ４０で撮影をしていき、走行ロボット２０が停止地点８２に到達したならば（ＡＣＴ１４のＹＥＳ）、プロセッサ１１は、撮影タイマをクリアする（ＡＣＴ２２）。そして、図８に示す動作を終了する。

【0045】

その後は、再び、本撮影装置１の撮影開始指示を受けることによって、プロセッサ１１は、次の走行ルートに対する撮影を行うことができる。

【0046】

また、プロセッサ１１は、指示インタフェース１７を介してタッチパネル５０より、ストレージ１３に保存した撮影画像データの選択指示及びその撮影画像データの画像認識装置６０への出力を受けることができる。この場合は、プロセッサ１１は、選択された撮影画像データを、送信インタフェース１８により画像認識装置６０へ送信する。画像認識装置６０は、この送信されてきた撮影画像データから、値札に印刷された値札情報等の撮影対象の情報を認識することができる。

【0047】

なお、一定時間おきに撮影した撮影画像データでは、値札部分が画像の端位置に含まれ、値札全体が写らない場合もある。そこで、撮影画像データを撮影する間隔は、連続する２枚の撮影画像データにおいて、重複部分が含まれるような間隔とする。また、プロセッサ１１は、連続する２枚の撮影画像データを周知の画像マッチング処理により１枚の撮影画像データに合成してから、画像認識装置６０に送信するようにしても良い。

【0048】

［変形例１］
第１実施形態では、カメラ４０と照明光源３１とは、図２のように高さ方向に沿って直線状に配置している。しかしながら、カメラ４０と照明光源３１とは略直線状の配置であっても良い。図１０は、変形例１におけるカメラ４０と照明光源３１の配置例を示す模式図である。また図１１は、変形例１における商品棚７０に対するカメラ４０の撮影範囲を示す模式図である。

【0049】

図１０に示すように、カメラ４０と照明光源３１とは、第１の方向に距離Ｌだけ離れていても良い。この距離Ｌは、カメラの撮影幅Ｗに比較して十分に小さい。具体的には、この第１の方向の距離Ｌは、
Ｌ≦２×ａｔａｎ（Ａｏｖ／２－θ）×ｗｄ
として決定される。ここで、図１１に示すように、ＡｏＶは、カメラ４０の撮影画角である。ｗｄは、カメラ４０とカメラ４０の撮影光軸Ｏ上の撮影対象物である商品棚７０の値札提示面との間の第２の方向の距離である。θは、第３の方向へのカメラ４０のヨー方向の回転角度である。このような距離Ｌにカメラ４０と照明光源３１を配置すれば、第１実施形態と同様、撮影画像データへの照明光源３１の写り込みを防ぐことができる。

【0050】

なお、照明光源３１は、カメラ４０が向く側と第１の方向において反対側であることが必要である。カメラ４０が向く側と同じ側に配置すると、撮影画像データに照明光源３１が写り込んでしまう。

【0051】

カメラを商品棚７０の値札に正対して撮影を行う場合には、照明光源３１は、カメラ４０の撮影幅Ｗよりも離れた場所に配置しないと、照明光源３１がカメラ４０の撮影画像データに入ってしまう。このようにカメラ４０と照明光源３１の距離を撮影幅Ｗよりも離すと、装置全体が大きくなってしまう。

【0052】

これに対して、本変形例１では、照明光源３１を撮影幅Ｗよりも十分に小さい距離Ｌだけカメラ４０から離せば良いので、装置の小型化が図れる。

【0053】

なお、ここでは、撮影画角ＡｏＶ、第２の方向の距離ｗｄ及びヨー方向回転角度θから距離Ｌを規定して、そのような距離Ｌにカメラ４０と照明光源３１を配置するものとしている。しかしながら、先にカメラ４０と照明光源３１を任意の距離Ｌの略直線状の配置を決定していても良い。そのような場合には、ヨー方向の回転角度θを上記式に基づいて決定し、その回転角度θとなるようにカメラ４０を走行ロボット２０に取り付ければ良い。あるいは、第２の方向の距離ｗｄを調整するようにしても良い。

【0054】

［変形例２］
図１２は、第１実施形態の変形例２における撮影制御装置１０のプロセッサ１１の要部制御手順を示す流れ図である。この図を用いて、撮影制御装置１０の動作について説明する。なお、以下に説明する動作の手順及びその内容は一例である。同様な結果が得られるのであれば、その手順及び内容は限定されるものではない。

【0055】

ここでは、第１実施形態と同様の処理については、図８と同一の参照符号を付すことで、その説明を省略する。本変形例２では、走行ロボット２０が走行開始地点８１に到達した場合（ＡＣＴ１２のＹＥＳ）、プロセッサ１１は、走行ロボット２０の基準位置を取得する（ＡＣＴ３１）。プロセッサ１１は、取得した基準位置をメモリ１２に記憶する。ここでの基準位置は、走行開始地点８１の位置、例えば店舗内部の商品棚７０の配置及び走行ロボット２０の走行ルートを記載した地図におけるＸＹ座標である。

【0056】

そして、プロセッサ１１は、第１実施形態と同様、ＡＣＴ１４において、走行ロボット２０が停止地点８２に到達したか否かを判断する。そして、走行ロボット２０が未だ停止地点８２に到達していない場合（ＡＣＴ１４のＮＯ）、本変形例２では、プロセッサ１１は、走行ロボット２０の位置を取得する（ＡＣＴ３２）。走行ロボット２０は、自律走行するために、常に自機の位置を計測している。従って、プロセッサ１１は、走行ロボット２０から位置を出力させ、ロボットインタフェース１４によりそれを受信することで、取得することができる。もちろん、ビーコンを用いる等、他の手段により走行ロボット２０の位置を取得しても構わない。

【0057】

プロセッサ１１は、取得した走行ロボット２０の位置とメモリ１２に記憶してある基準位置との差を演算し、走行ロボット２０が一定距離移動したか否か判断する（ＡＣＴ３３）。ここで、未だ走行ロボット２０が一定距離移動していない場合には（ＡＣＴ３３のＮＯ）、プロセッサ１１は、ＡＣＴ１４の処理に戻る。

【0058】

そして、走行ロボット２０が一定距離移動したならば（ＡＣＴ３３のＹＥＳ）、プロセッサ１１は、ＡＣＴ１６へ進んで、撮影指示を出力する。その後、第１実施形態で説明したＡＣＴ１７乃至ＡＣＴ１９の処理を実行する。そして、プロセッサ１１は、メモリ１２に記憶している走行ロボット２０の基準位置を、ＡＣＴ３２で取得した位置に書き換える（ＡＣＴ３３）。その後、プロセッサ１１は、ＡＣＴ１４の処理に戻る。

【0059】

こうして、走行ロボット２０が一定速度で走行ルートを自律走行しながら、一定距離走行する毎に、照明光源３１により照明された値札を含む商品棚７０がカメラ４０で撮影されていく。このように一定距離毎に撮影画像データを取得することで、連続する２枚の撮影画像データの合成処理が、画像マッチング処理等を行わなくても可能となる。また、走行ロボット２０は、一定速度で走行するが、何らかの障害物が存在した場合、その位置で停止することがある。そして、その障害物が存在しなくなると、再び走行を開始する。このような場合、第１実施形態のような一定時間毎の撮影よりも、一定距離毎の撮影とすることが望ましい。

【0060】

こうしてカメラ４０で撮影をしていき、走行ロボット２０が停止地点８２に到達したならば（ＡＣＴ１４のＹＥＳ）、プロセッサ１１は、撮影タイマをクリアする（ＡＣＴ２２）。そして、図８に示す動作を終了する。

【0061】

以上説明した第１実施形態または各変形例にかかる構成の撮影装置１においては、第１の方向に移動する移動機構である走行ロボット２０と、走行ロボット２０に搭載されている照明光源３１と、高さ方向に沿って照明光源３１と直線状または略直線状に配置され、第１の方向及び高さ方向と直交する第２の方向に対して高さ方向を軸として回転された第３の方向を向いて撮像するように走行ロボット２０に取り付けられたカメラ４０と、を備える。

【0062】

このように、走行ロボット２０の移動につれて、カメラ４０が第３の方向を向いて撮影することで、撮影画像データに照明光源３１が写り込まないようにすることができる。

【0063】

また、プロセッサ１１は、カメラ４０が撮影した画像の歪みを補正して、カメラ４０が第２の方向を向いて撮影した場合に相当する撮影画像データを取得する。

【0064】

これにより、カメラ４０が第３の方向を向いて撮影しても、カメラ４０が第２の方向を向いて撮影した場合と同様の撮影画像データを取得することができる。

【0065】

［第２実施形態］
図１３は、第２実施形態の撮影装置１における走行ロボット２０へのカメラ４０と照明光源３１の取り付け状態を示す模式図である。また図１４は、第２実施形態における商品棚７０に対する走行ロボット２０の走行方向を示す、商品棚７０の上方から見た模式図である。

【0066】

上記第１実施形態とその変形例は、カメラ４０を、走行ロボット２０対してヨー方向に回転角度θをもって走行ロボット２０に取り付けている。これに対し、本第２実施形態は、カメラ４０を、ロボットボディ２１の側面の法線方向に向けて走行ロボット２０に取り付けている。すなわち、走行ロボット２０の取付部２２は、カメラ４０を、高さ方向に沿って照明光源３１と直線状に配置し、且つ、第１の方向及び高さ方向と直交する第２の方向を向くように保持する。

【0067】

この場合、走行ロボット２０は、図１４に示すように、ロボットボディ２１をヨー方向に回転させた向きを維持しながら、商品棚７０と並行の第１の方向に直進移動することができるものを用いる。このような直進移動を行うことができる走行ロボット２０は、例えばオムニホイール・メカナムホイールを用いる。オムニホイール・メカナムホイールは、一般的なタイヤのようにステアリングを用いて旋回するのではなく、駆動輪の回転差を用いて旋回を行う車輪である。オムニホイール・メカナムホイールは、車輪の回転差を制御することで、通常のタイヤのように車輪の回転方向への移動だけでなく、旋回や全方向への平行移動を可能としている。また、オムニホイール・メカナムホイールを用いた走行ロボット２０は、ステアリングやクローラを用いたタイヤと比較したとき、移動機構が簡素になり、小型化と軽量化が期待できる。

【0068】

図１５は、本第２実施形態における撮影制御装置１０のプロセッサ１１の要部制御手順を示す流れ図である。以下、この図を用いて、撮影制御装置１０の動作について説明する。なお、以下に説明する動作の手順及びその内容は一例である。同様な結果が得られるのであれば、その手順及び内容は限定されるものではない。

【0069】

ここでは、第１実施形態と同様の処理については、図８と同一の参照符号を付すことで、その説明を省略する。本第２実施形態では、プロセッサ１１は、まず、ロボットインタフェース１４により、ロボット回転開始指示データを走行ロボット２０へ送信する（ＡＣＴ４１）。このロボット回転開始指示データは、走行ロボット２０に、ヨー方向に回転角度θ回転するように指示を与えるものである。

【0070】

その後は、第１実施形態と同様、ＡＣＴ１１乃至ＡＣＴ２１の処理を実行して、一定時間毎にカメラ４０により撮影画像データを取得していく。

【0071】

そして、走行ロボット２０が停止地点８２に到達したならば（ＡＣＴ１４のＹＥＳ）、プロセッサ１１は、ＡＣＴ２２に進んで、撮影タイマをクリアする。その後、プロセッサ１１は、ロボットインタフェース１４により、ロボット回転終了指示データを走行ロボット２０へ送信する（ＡＣＴ４２）。このロボット回転終了指示データは、走行ロボット２０に、ヨー方向の回転角度θの回転を終了するように指示を与えるものである。そして、プロセッサ１１は、図１５に示す動作を終了する。

【0072】

以上のように、第２実施形態にかかる構成の撮影装置１においては、第１の方向に移動する移動機構である走行ロボット２０と、走行ロボット２０に搭載されている照明光源３１と、高さ方向に沿って照明光源３１と直線状に配置され、且つ、第１の方向及び高さ方向と直交する第２の方向を向くように走行ロボット２０に取り付けられたカメラ４０と、を備え、走行ロボット２０は、カメラ４０が第２の方向に対して高さ方向を軸として回転された第３の方向を向いて撮影するように、回転した状態で、第１の方向に移動する。

【0073】

このような構成としても、走行ロボット２０の移動につれて、カメラ４０が第３の方向を向いて撮影することで、撮影画像データに照明光源３１が写り込まないようにすることができる。

【0074】

なお、本第２実施形態においても、第１実施形態の変形例１及び変形例２と同様の変形を行えることは言うまでもない。

【0075】

以上、撮影画像データに照明光源が写り込まない撮影装置１及び撮影方法の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。

【0076】

例えば、カメラ４０が撮影する撮影対象は、値札ではなく商品そのものであっても良い。カメラ４０が照明光源３１により照明された商品を、第３の方向を向いて撮影することで、商品のテクスチャがより判別し易い撮影画像データが取得できる。

【0077】

また、撮影制御装置１０及び画像認識装置６０は、走行ロボット２０のロボットボディ２１に内蔵されても良い。これにより、無線通信ユニットを省略でき、安価に撮影装置を構成することができる。

【0078】

この他、各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
なお、以下に本願の出願当初の特許請求の範囲の記載を付記する。
［Ｃ１］
第１の方向に移動する移動機構と、
前記移動機構に搭載されている光源と、
高さ方向に沿って前記光源と直線状または略直線状に配置され、前記第１の方向及び前記高さ方向と直交する第２の方向に対して前記高さ方向を軸として回転された第３の方向を向いて撮像するように前記移動機構に取り付けられたカメラと、
を備える、撮影装置。
［Ｃ２］
第１の方向に移動する移動機構と、
前記移動機構に搭載されている光源と、
高さ方向に沿って前記光源と直線状または略直線状に配置され、前記第１の方向及び前記高さ方向と直交する第２の方向を向くように前記移動機構に取り付けられたカメラと、 を備え、
前記移動機構は、前記カメラが前記第２の方向に対して前記高さ方向を軸として回転された第３の方向を向いて撮影するように、回転した状態で、前記第１の方向に移動する、撮影装置。
［Ｃ３］
前記カメラが撮影した画像の歪みを補正して、前記カメラが前記第２の方向を向いて撮影した場合に相当する撮影画像を取得する補正手段をさらに備える、請求項１または請求項２記載の撮影装置。
［Ｃ４］
高さ方向に沿って直線状または略直線状に配置した光源とカメラを、前記カメラが第１の方向及び前記高さ方向と直交する第２の方向に対して前記高さ方向を軸として回転された第３の方向を向いて撮影するように取り付けた移動機構を、前記第１の方向に沿って並べられた１以上の撮影対象物と所定の距離を維持しながら、前記第１の方向に移動させることと、
前記カメラが撮影した画像の歪みを補正して、前記カメラが前記第２の方向を向いて撮影した場合に相当する撮影画像を取得することと、
を備える、撮影方法。
［Ｃ５］
高さ方向に沿って直線状または略直線状に配置した光源とカメラを、前記カメラが第１の方向及び前記高さ方向と直交する第２の方向を向くように取り付けた移動機構を、前記第１の方向に沿って並べられた１以上の撮影対象物と所定の距離を維持しながら、前記カメラが前記第２の方向に対して前記高さ方向を軸として回転された第３の方向を向いて撮影するように、回転した状態で、前記第１の方向に移動させることと、
前記カメラが撮影した画像の歪みを補正して、前記カメラが前記第２の方向を向いて撮影した場合に相当する撮影画像を取得することと、
を備える、撮影方法。

【符号の説明】

【0079】

１…撮影装置、 １０…撮影制御装置、 １１…プロセッサ、 １２…メモリ、 １３…ストレージ、 １４…ロボットインタフェース、 １５…照明インタフェース、 １６…カメラインタフェース、 １７…指示インタフェース、 １８…送信インタフェース、 １９…システム伝送路、 ２０…走行ロボット、 ２１…ロボットボディ、 ２２…取付部、 ３０…照明、 ３１…照明光源、 ４０…カメラ、 ４１，４２，４３…撮影画像データ、 ５０…タッチパネル、 ６０…画像認識装置、 ７０…商品棚、 ８１…走行開始地点、 ８２…停止地点。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】