特許 6446329 カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6446329

(24)【登録日】2018年12月7日

(45)【発行日】2018年12月26日

(54)【発明の名称】カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181217BHJP

   H04N 13/239 20180101ALI20181217BHJP

   H04N 13/243 20180101ALI20181217BHJP

   H04N 13/246 20180101ALI20181217BHJP

   H04N 17/00 20060101ALI20181217BHJP

   G01C 3/00 20060101ALI20181217BHJP

   G01C 3/06 20060101ALI20181217BHJP

   G06T 7/00 20170101ALI20181217BHJP

   G06T 1/00 20060101ALI20181217BHJP

【ＦＩ】

   H04N5/232

   H04N13/239

   H04N13/243

   H04N13/246

   H04N17/00 200

   G01C3/00 120

   G01C3/06 110V

   G06T7/00 Q

   G06T1/00 315

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2015-113475(P2015-113475)

(22)【出願日】2015年6月3日

(65)【公開番号】特開2016-225953(P2016-225953A)

(43)【公開日】2016年12月28日

【審査請求日】2018年2月27日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000925

【氏名又は名称】特許業務法人信友国際特許事務所

(72)【発明者】

【氏名】伊藤 誠也

(72)【発明者】

【氏名】笹谷 聡

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 国際公開第２０１４／１５５８１４（ＷＯ，Ａ１）

【文献】 特開２００８−０４６６８７（ＪＰ，Ａ）

【文献】 特開２０１１−１５１６６６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１１１４８９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０１Ｃ ３／００ − ３／３２

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

Ｈ０４Ｎ １３／００ −１７／０６

(57)【特許請求の範囲】

【請求項1】

カメラの仕様に応じたキャリブレーションの作業工程であるプロセスデータが格納されたデータベースと、
前記データベースに格納された前記プロセスデータに基づいて作業指示を表示画面に出力する指示部と、
前記カメラが撮影した画像データから、前記プロセスデータに基づいて取得された基準データを補正する補正部と、
前記補正部が補正した補正画像を評価する評価部と、
を備えたカメラのキャリブレーション装置。

【請求項2】

前記指示部は、前記評価部が評価した評価結果を前記表示画面に出力し、前記評価結果に応じて再度キャリブレーションの作業を指示する
請求項１に記載のカメラのキャリブレーション装置。

【請求項3】

前記データベースに格納されたプロセスデータから、前記カメラの仕様に応じたプロセスデータを検索し、取得するプロセスデータ検索部を有する
請求項１に記載のカメラのキャリブレーション装置。

【請求項4】

前記プロセスデータ検索部は、前記カメラの仕様を識別するＩＤ番号を前記カメラから取得することで、前記データベースに格納されたプロセスデータから、前記カメラの仕様に応じたプロセスデータを検索し、取得する
請求項３に記載のカメラのキャリブレーション装置。

【請求項5】

前記指示部は、前記プロセスデータに基づいて、前記表示画面に前記カメラで撮影する基準チャートの位置を案内するガイドを表示させるように出力する
請求項１に記載のカメラのキャリブレーション装置。

【請求項6】

前記プロセスデータには、前記カメラの初期設定時に撮影された初期基準画像が格納されており、
前記評価部は、前記初期基準画像を用いて前記補正画像を評価する
請求項１に記載のカメラのキャリブレーション装置。

【請求項7】

前記補正部は、前記カメラが撮影した画像から、前記カメラの物体までの距離が既知である平面が選択され、かつ前記距離が入力されることで、前記補正画像を生成する
請求項１に記載のカメラのキャリブレーション装置。

【請求項8】

画像を撮影するカメラと、
前記カメラのキャリブレーションを行うキャリブレーション装置と、を備え、
前記キャリブレーション装置は、
前記カメラの仕様に応じたキャリブレーションの作業工程であるプロセスデータが格納されたデータベースと、
前記データベースに格納された前記プロセスデータに基づいて作業指示を表示画面に出力する指示部と、
前記カメラが撮影した画像データから、前記プロセスデータに基づいて取得された基準データを補正する補正部と、
前記補正部が補正した補正画像を評価する評価部と、
を備えたカメラシステム。

【請求項9】

カメラの仕様に応じて、キャリブレーションの作業工程であるプロセスデータをデータベースから取得する工程と、
取得した前記プロセスデータに基づいて、作業指示を表示画面に指示部により出力する工程と、
前記カメラが撮影した画像データから、前記プロセスデータに基づいて取得された基準データを補正部により補正する工程と、
前記補正部が補正した補正画像を評価部により評価する工程と、
を含むカメラのキャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視カメラやカメラセンサ等のカメラのカメラパラメータを求めるカメラのキャリブレーション装置、このキャリブレーション装置を有するカメラシステム、及びカメラのキャリブレーション方法に関するものである。

【背景技術】

【0002】

従来から、監視カメラやカメラセンサ等での映像の歪みを補正する場合や、ステレオカメラのように複数のカメラによる映像認識を実現するために、カメラの焦点距離や向き等を示すカメラ情報であるカメラパラメータを推定している。

【0003】

カメラパラメータは、カメラを製造した時と、カメラを現地に設置した時とでズレが生じることが考えられる。これは、カメラを設置した際の接触面での圧力により筐体に歪みが生じたり、温度や湿度等によってカメラの筐体素材が膨張収縮したりすることで、変化するためである。また、カメラパラメータは、振動などによって長時間を経て誤差が生じることもある。そのため、従来では、推定したカメラパラメータに基づいてカメラのキャリブレーション（校正）が行われている。

【0004】

例えば、特許文献１には、マークが配置されたキャリブレーション用チャートを、光学条件を変化させて撮影するカメラの光学条件を撮影した、複数のチャート撮影画像を用いてカメラのキャリブレーション用データを求める技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４−３７２７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、カメラを設置した箇所でキャリブレーションを行う場合、カメラを製造する工場と異なり、キャリブレーションを行うための設備がカメラを設置した箇所に必ず存在するとは限らないため、その作業は、大変煩雑なものとなっていた。

【0007】

また、設置したカメラの焦点距離や基線長等の仕様毎に、基準チャートを撮影する位置や、サイズ等のキャリブレーションの作業が異なる。そのため、作業者は、カメラの仕様に応じてキャリブレーションの作業を選択する必要があり、キャリブレーションの作業が大変煩雑なものとなっていた。その結果、作業者によって推定されるカメラパラメータにばらつきが発生し、キャリブレーションの精度が低下する、という問題を有していた。

【0008】

本発明の目的は、上記の問題点を考慮し、キャリブレーション作業の簡略化とキャリブレーションの精度との向上を図ることができるカメラのキャリブレーション装置、カメラシステム及びカメラのキャリブレーション方法を提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決し、本発明の目的を達成するため、本発明のカメラのキャリブレーション装置は、データベースと、指示部と、補正部と、評価部とを備えている。データベースには、カメラの仕様に応じたキャリブレーションの作業工程であるプロセスデータが格納されている。指示部は、データベースに格納されたプロセスデータに基づいて作業指示を表示画面に出力する。補正部は、カメラが撮影した画像データから、プロセスデータに基づいて取得された基準データを補正する。評価部は、補正部が補正した補正画像を評価する。

【0010】

また、本発明のカメラシステムは、画像を撮影するカメラと、カメラのキャリブレーションを行うキャリブレーション装置と、を備えている。キャリブレーション装置は、上述したキャリブレーション装置が用いられる。

【0011】

さらに、本発明のカメラのキャリブレーション方法は、以下（１）から（４）に示す工程を含んでいる。
（１）カメラの仕様に応じて、キャリブレーションの作業工程であるプロセスデータをデータベースから取得する工程。
（２）取得したプロセスデータに基づいて、作業指示を表示画面に指示部により出力する工程。
（３）カメラが撮影した画像データから、プロセスデータに基づいて取得された基準データを補正部により補正する工程。
（４）補正部が補正した補正画像を評価部により評価する工程。

【発明の効果】

【0012】

本発明のカメラのキャリブレーション装置、カメラシステム及びカメラのキャリブレーション方法によれば、キャリブレーション作業の簡略化及びキャリブレーションの精度の向上を図ることができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態例にかかるカメラシステムの全体構成を示すブロック図である。

【図2】本発明の第１の実施の形態例にかかるカメラシステムにおけるプロセスデータのテーブルの一例を示す説明図である。

【図3】本発明の第１の実施の形態例にかかるにカメラシステムにおけるプロセスデータの詳細を説明する模式図である。

【図4】本発明の第１の実施の形態例にかかるカメラシステムにおける撮影位置の詳細を示す説明図である。

【図5】本発明の第１の実施の形態例にかかるカメラシステムにおける撮影位置の詳細を示す説明図である。

【図6】本発明の第１の実施の形態例にかかるカメラシステムにおけるキャリブレーション作業を示すフローチャートである。

【図7】本発明の第１の実施の形態例にかかるカメラシステムにおける指示部によって表示画面に出力される指示の表示例を示す説明図である。

【図8】本発明の第１の実施の形態例にかかるカメラシステムにおける指示部によって表示画面に出力される指示の表示例を示す説明図である。

【図9】本発明の第２の実施の形態例にかかるカメラシステムにおける指示部によって表示画面に出力される指示の表示例を示す説明図である。

【図10】本発明の第２の実施の形態例にかかるカメラシステムにおけるキャリブレーションの一例を示す説明図である。

【図11】本発明の第３の実施の形態例にかかるカメラシステムにおける指示部によって表示画面に出力される指示の表示例を示す説明図である。

【発明を実施するための形態】

【0014】

以下、本発明のカメラのキャリブレーション装置、カメラシステム及びカメラのキャリブレーション方法の実施の形態例について、図１〜図１１を参照して説明する。なお、各図において共通の部材には、同一の符号を付している。

【0015】

１．第１の実施の形態例
１−１．カメラシステムの構成例
まず、本発明の第１の実施の形態例（以下、「本例」という。）にかかるカメラシステムの構成について、図１を参照して説明する。
図１は、本例のカメラシステムの全体構成を示すブロック図である。

【0016】

図１に示すカメラシステム１は、２つのカメラを用いて距離や立体映像を撮影するステレオカメラである。図１に示すように、カメラシステム１は、２つのカメラ１１Ａ、１１Ｂと、キャリブレーション装置２と、画像認識部４０と、端末装置５０とを有している。２つのカメラ１１Ａ、１１Ｂ、キャリブレーション装置２、画像認識部４０及び端末装置５０は、無線又は有線のネットワーク７（ＬＡＮ（Local Area Network）、インターネット、専用線等）を介して接続され、互いにデータの送受信が可能である。

【0017】

２つのカメラ１１Ａ、１１Ｂには、それぞれカメラの仕様を識別するＩＤ番号１１ａが設けられている。２つのカメラ１１Ａ、１１Ｂが撮影した画像データ及びＩＤ番号１１ａは、ネットワーク７を介してキャリブレーション装置２、画像認識部４０及び端末装置５０に送信される。

【0018】

キャリブレーション装置２は、キャリブレーション部２０と、各種データが格納されているデータベース３０とを有している。キャリブレーション部２０は、画像取得部２１と、基準データ格納部２２と、補正パラメータ算出部２３と、評価部２４と、指示部２５と、プロセスデータ検索部２６とを有している。

【0019】

画像取得部２１は、キャリブレーションを行う際に、カメラ１１Ａ、１１Ｂが撮影した画像データを取得する。そして、画像取得部２１は、取得した画像データからキャリブレーション作業時に用いる基準データを抜き出し、基準データ格納部２２に出力する。また、画像取得部２１は、取得した画像データを評価部２４に出力する。

【0020】

基準データ格納部２２には、画像取得部２１から出力された基準データが格納される。なお、本例では、画像取得部２１が画像データから基準データを抜き出した例を説明したが、これに限定されるものではない。例えば、画像取得部２１から基準データ格納部２２に画像データを出力し、基準データ格納部２２が出力された画像データから基準データを抜き出し、格納するようにしてもよい。さらに、画像取得部２１が取得した画像データから基準データを抜き出す基準データ取得部を別に設けてもよい。

【0021】

基準データ格納部２２は、補正パラメータ算出部２３に接続されている。補正パラメータ算出部２３は、基準データ格納部２２に格納された基準データに基づいて補正パラメータを算出する。

【0022】

補正パラメータ算出部２３は、算出した補正パラメータを後述するデータベース３０の補正パラメータ格納部３２に出力する。

【0023】

評価部２４には、画像取得部２１が取得した画像データと、補正パラメータ算出部２３が算出し、補正パラメータ格納部３２に格納された補正パラメータが出力される。評価部２４は、画像データと補正パラメータを用いて評価用補正画像を生成する。また、評価部２４には、補正画像を評価するための評価データが格納されている。そして、評価部２４は、生成した評価用補正画像を評価データに基づいて評価する。評価部２４は、評価した情報を指示部２５に出力する。

【0024】

なお、本例では、評価部２４が評価用補正画像を生成する例を説明したが、これに限定されるものではない。例えば、補正パラメータと画像データに基づいて評価用補正画像を生成する補正部をキャリブレーション部２０に設けてもよく、或いは後述する画像認識部４０の補正部４２が生成した補正画像を用いてもよい。

【0025】

指示部２５は、評価部２４が評価した情報、又は後述するプロセスデータ検索部２６が検索したプロセスデータを受信する。そして、指示部２５は、受信した情報を端末装置５０に出力する。

【0026】

プロセスデータ検索部２６は、後述するデータベース３０のプロセスデータ格納部３１及びカメラ設置データ格納部３３に接続されている。プロセスデータ検索部２６は、カメラ１１Ａ、１１ＢのＩＤ番号１１ａに基づいてプロセスデータ格納部３１及びカメラ設置データ格納部３３からキャリブレーションを行うためのプロセスデータを検索し、取得する。そして、プロセスデータ検索部２６は、取得したプロセスデータを指示部２５に出力する。

【0027】

次に、データベース３０について説明する。データベース３０は、プロセスデータ格納部３１と、補正パラメータ格納部３２と、カメラ設置データ格納部３３とを有している。

【0028】

プロセスデータ格納部３１には、カメラの仕様毎に、キャリブレーションの作業を行うための作業データが格納されている。また、カメラ設置データ格納部３３には、カメラ１１Ａ、１１Ｂを設置するための、座標位置やカメラの向き等を示すカメラ設置データが格納されている。そして、この作業データとカメラ設置データによりキャリブレーションの作業を行うための作業工程であるプロセスデータが構成される。

【0029】

図２は、プロセスデータ格納部３１及びカメラ設置データ格納部３３に格納されているプロセスデータのテーブルの一例を示す説明図である。図３は、プロセスデータの詳細を説明する模式図である。

【0030】

図２に示すように、プロセスデータは、例えば、ＩＤ番号１１ａと、基線長３００と、カメラ１１Ａ、１１Ｂの焦点距離３０１に基づいて、チャートサイズ３０２、距離３０３、撮影位置３０４、出荷時基準画像の有無３０５が設定されている。

【0031】

図３に示すように、基線長３００は、２つのカメラ１１Ａ、１１Ｂにおけるレンズ間の距離を示している。また、焦点距離３０１は、カメラ１１Ａのレンズの主点から焦点までの距離、すなわちピントを合わせたときのレンズから撮像素子までの距離である。そして、焦点距離３０１は、図３に示すカメラ１１Ａ、１１Ｂで撮影される画像に写される光景の範囲の角度である画角３０６に対応している。例えば、焦点距離３０１が短くなるほど、画角３０６が広くなり、焦点距離３０１が長くなるほど、画角３０６が狭くなる。

【0032】

プロセスデータにおける距離３０３は、カメラ１１Ａ、１１Ｂと、キャリブレーションを行う際にカメラ１１Ａ、１１Ｂで撮影する基準チャート２０１との距離を示している。

【0033】

また、チャートサイズ３０２は、キャリブレーションを行う際にカメラ１１Ａ、１１Ｂで撮影する基準チャート２０１の大きさを示している。チャートサイズ３０２は、カメラ１１Ａ、１１Ｂの画角３０６及び基線長３００が決定された場合、距離３０３で２つのカメラ１１Ａ、１１Ｂの共通視野３０８に収まる範囲のものが設定される。

【0034】

次に、プロセスデータに示す撮影位置３０４の詳細について図４及び図５を参照して説明する。
図４及び図５は、撮影位置の詳細を示す説明図である。

【0035】

撮影位置３０４は、例えば、図４に示すように基準チャート２０１を固定し、カメラ１１Ａを動かし、基準データを取得する位置を設定している。図４に示す例では、地点Ｑ１、Ｑ２、Ｑ３、Ｑ４の４方向から基準チャート２０１を撮影する例を示している。

【0036】

また、撮影位置３０４は、キャリブレーションによって要求される補正精度によって適宜設定されるものであり、基準チャート２０１に対して上下左右４箇所と正面の５箇所以上設定されることが好ましい。

【0037】

なお、図４に示す例では、カメラ１１Ａを動かす例を説明したが、これに限定されるものではない。例えば、カメラ１１Ａが固定されている場合では、図５Ａ及び図５Ｂに示すように、基準チャート２０１をカメラ１１Ａに対して移動させてもよい。この際、カメラ１１Ａと基準チャート２０１の距離は、距離３０３で設定された距離で作業が行われる。

【0038】

出荷時基準画像の有無３０５は、カメラ１１Ａ、１１Ｂを出荷する際に、基準チャート２０１をキャリブレーション作業時と同じ条件で撮影した画像（以下、「出荷時基準画像」）を有しているか否かを設定している。初期基準画像の一例を示す出荷時基準画像を有する場合、この出荷時基準画像とキャリブレーション作業時に撮影した画像データ、いわゆる基準データとを比較することで、カメラパラメータのズレを推定することができる。

【0039】

また、評価部２４が補正パラメータを評価する際に、出荷時基準画像を用いて評価を行ってもよい。

【0040】

そして、上述したカメラの仕様毎の複数のプロセスデータは、キャリブレーション部２０のプロセスデータ検索部２６によりキャリブレーションを行うカメラに応じたプロセスデータが検索される。そして、検索されたプロセスデータは、プロセスデータ検索部２６を介して指示部２５に出力される。

【0041】

補正パラメータ格納部３２には、補正パラメータ算出部２３が算出した補正パラメータが格納される。補正パラメータ格納部３２は、格納された補正パラメータを、評価部２４又は後述する画像認識部４０の補正部４２に出力する。また、補正パラメータ格納部３２には、上述する画像認識部４０で補正された補正画像が出力されてもよい。

【0042】

画像認識部４０は、画像取得部４１と、補正部４２と、画像処理部４３とを有している。画像取得部４１は、２つのカメラ１１Ａ、１１Ｂから画像データを取得する。補正部４２は、画像取得部４１が取得した画像データを、補正パラメータ格納部３２から出力された補正パラメータに基づいて補正し、補正画像を生成する。補正部４２が、生成した補正画像を補正パラメータ格納部３２、又は画像処理部４３に出力する。

【0043】

画像処理部４３は、補正部４２から出力された補正画像を処理し、２つのカメラ１１Ａ、１１Ｂの左右の視差を演算する。なお、本例では、画像処理部４３においてステレオカメラの処理について説明したが、これに限定されるものではない。画像処理部４３は、例えば、補正部４２から出力された補正画像から立体映像用に画像を処理してもよい。

【0044】

端末装置５０は、例えば、液晶表示画面やＣＲＴ（Cathode Ray Tube）表示画面等からなる表示画面５０Ａと、入力部を有する表示装置である。表示画面５０Ａには、カメラ１１Ａ、１１Ｂが撮影した画像や、指示部２５から出力された指示情報が表示される。なお、端末装置５０の表示画面５０Ａに表示される指示情報の詳細については、後述する。

【0045】

なお、本例のカメラシステム１では、２つのカメラ１１Ａ、１１Ｂと、キャリブレーション部２０、データベース３０、画像認識部４０及び端末装置５０を、ネットワーク７を介して接続し、それぞれ別々の構成として説明したが、これに限定されるものではない。例えば、カメラ１１Ａ内にキャリブレーション部２０、データベース３０、画像認識部４０及び端末装置５０を内蔵させてもよい。

【0046】

また、端末装置５０を設ける代わりに、ＰＣ（パーソナルコンピュータ）等の外部装置の液晶表示装置やＣＲＴ表示装置にＲＧＢ（Red Green Blue）モニタ出力や、ネットワーク経由でのデータ出力を行う構成としてもよい。

【0047】

１−２．カメラのキャリブレーション方法
次に、図６から図８を参照して本例のカメラシステム１におけるカメラ１１Ａ、１１Ｂのキャリブレーション方法について説明する。
図６は、キャリブレーション作業を示すフローチャートである。

【0048】

まず、図６に示すように、キャリブレーション部２０は、データベース３０からキャリブレーション作業を行うためのプロセスデータを取得する（ステップＳ１）。具体的には、まずキャリブレーション部２０は、カメラ１１Ａ、１１Ｂからカメラの仕様を識別するＩＤ番号１１ａを取得する。そして、プロセスデータ検索部２６は、取得したＩＤ番号１１ａに基づいて、プロセスデータ格納部３１及びカメラ設置データ格納部３３からプロセスデータを検索し、プロセスデータを取得する。

【0049】

次に、プロセスデータ検索部２６は、取得したプロセスデータを指示部２５に出力する。そして、指示部２５は、出力されたプロセスデータに基づいて、端末装置５０の表示画面５０Ａに作業指示を出力する（ステップＳ２）。例えば、指示部２５は、図２に示すプロセスデータのテーブルを端末装置５０の表示画面５０Ａに出力する。

【0050】

これにより、作業者は、キャリブレーションを行うための作業内容を容易に判別することができ、キャリブレーション作業の簡略化を図ることができる。

【0051】

また、指示部２５は、後述するステップＳ３で取得した画像データに基づいて、端末装置５０に作業指示を出力するようにしてもよい。

【0052】

ここで、表示画面５０Ａに表示される指示内容の一例を図７及び図８を参照して説明する。
図７及び図８は、指示部によって表示画面５０Ａに出力される指示の表示例を示す説明図である。

【0053】

図７に示すように、表示画面５０Ａには、カメラ１１Ａが撮影した画像が表示される第１表示部５１Ａと、カメラ１１Ｂが撮影した画像が表示される第２表示部５１Ｂとが設けられている。なお、端末装置５０は、カメラ１１Ａ、１１Ｂが撮影した画像データを取得する画像取得部を有している。第１表示部５１Ａには、第１ガイド５２Ａが表示されており、第２表示部５１Ｂには、第２ガイド５２Ｂが表示されている。第１ガイド５２Ａ及び第２ガイド５２Ｂは、プロセスデータに基づいて適宜変更されるものである。

【0054】

さらに、表示画面５０Ａには、作業者に対する作業内容を表示する作業指示ウィンドウ５３が表示される。

【0055】

作業者は、表示画面５０Ａに表示された第１ガイド５２Ａ及び第２ガイド５２Ｂの枠と基準チャート２０１の外縁が合うように、基準チャート２０１又はカメラ１１Ａ、１１Ｂを移動させる。また、指示部２５は、第１表示部５１Ａ及び第２表示部５１Ｂに表示された基準チャート２０１の位置に応じて、作業指示を作業指示ウィンドウ５３に出力させる。

【0056】

指示部２５は、第１表示部５１Ａ及び第２表示部５１Ｂに表示された基準チャート２０１の四隅と、第１ガイド５２Ａ、第２ガイド５２Ｂの四隅の距離を測定する。そして、指示部２５は、測定した距離に応じて、作業指示を作業指示ウィンドウ５３に出力する。なお、第１表示部５１Ａ及び第２表示部５１Ｂに表示された基準チャート２０１と、第１ガイド５２Ａ、第２ガイド５２Ｂとの比較は、４辺の長さの誤差を最小化するように判定してもよい。

【0057】

または、図８に示すように、指示部２５は、取得した画像データに基づいて、カメラ１１Ａ、１１Ｂ及び基準チャート２０１における実空間での位置を算出し、表示画面５０Ａに出力するようにしてもよい。そして、指示部２５は、矢印５４やガイド５５等を表示画面５０Ａに表示させ、作業者に基準チャート２０１が所定の位置になるように指示するようにしてもよい。

【0058】

上述したように、キャリブレーション作業における作業手順を指示部２５が指示することで、作業者に作業内容を正確に伝えることができ、作業者に応じてキャリブレーション作業の精度が変化することを防ぐことができる。これにより、キャリブレーションの精度を高めることが可能となる。

【0059】

次に、キャリブレーション部２０は、画像取得部２１を用いて、カメラ１１Ａ、１１Ｂが撮影した画像データを取得する（ステップＳ３）。そして、画像取得部２１は、取得した複数の画像データの中からキャリブレーションに必要な基準データを取得する（ステップＳ４）。なお、基準データは、複数の画像データのうちプロセスデータの条件に合った画像データである。そして、画像取得部２１は、取得した基準データを、基準データ格納部２２に出力する。

【0060】

次に、補正パラメータ算出部２３は、基準データ格納部２２に格納された基準データに基づいて補正パラメータを算出する（ステップＳ５）。

【0061】

詳細には、補正パラメータ算出部２３は、まず基準データに基づいてカメラ１１Ａ，１１Ｂの内部パラメータＫと、外部パラメータＤからなるカメラパラメータＣを推定する。そして、補正パラメータ算出部２３は、推定したカメラパラメータＣと、予め設定された基準パラメータとのズレ量を算出する。次に、補正パラメータ算出部２３は、このズレ量が最小、又は０となるような補正パラメータを算出する。なお、補正パラメータの算出は、演算処理を所定の回数繰り返すことで算出される。

【0062】

ここで、カメラパラメータＣについて説明する。
まず、内部パラメータＫは、下記の数１に示す行列で表される。数１におけるｆは、焦点距離、ａはアスペクト比、ｓは画像の歪度を示すスキュー、（ｖ_ｃ、ｕ_ｃ）はカメラ１１Ａ、１１Ｂが撮影した画像内の座標（画像座標）の中心座標を示している。

【数1】

【0063】

また、外部パラメータＤは、下記の数２に示す行列で表される。数２における（ｒ_１１、ｒ_１２、ｒ_１３、ｒ_２１、ｒ_２２、ｒ_２３、ｒ_３１、ｒ_３２、ｒ_３３）は、カメラ１１Ａ、１１Ｂの向きを示している。また、数２における（ｔ_Ｘ、ｔ_Ｙ、ｔ_Ｚ）は、カメラ１１Ａ、１１Ｂが設置された位置の座標、いわゆる世界座標を示している。

【数2】

【0064】

そして、内部パラメータＫと外部パラメータＤにより、画像座標（ｕ、ｖ）と、世界座標（Ｘ_Ｗ、Ｙ_Ｗ、Ｚ_Ｗ）は、下記の数３に示す関係式で表すことができる。なお、数３におけるλは、定数である。

【数3】

【0065】

なお、外部パラメータＤにおけるカメラ１１Ａ、１１Ｂの向きを示す（ｒ_１１、ｒ_１２、ｒ_１３、ｒ_２１、ｒ_２２、ｒ_２３、ｒ_３１、ｒ_３２、ｒ_３３）は、オイラー角により定義すると、カメラ１１Ａ、１１Ｂの設置角度であるパンθ、チルトφ、ロールψの３つのパラメータにより表される。そのため、画像座標と世界座標を対応付けるために必要なカメラパラメータ数は、５個の内部パラメータ数と、６個の外部パラメータ数を合計した１１固となる。

【0066】

また、数３においてカメラパラメータＣの行列は、定数倍しても意味が不変であることが分かる。そのため、定数λと、内部パラメータＫと、外部パラメータＤを１つの行列に整理して、下記の数４に示すように表すことができる。

【数4】

【0067】

さらに、数４において、ｃ_３４＝１と固定すると未知のパラメータ数は、１１個となる。そして、この１１個のパラメータの値を求めることは、数３における５個の内部パラメータ数と、６個の外部パラメータ数を求めることと同義である。そのため、数３は、下記に示す数５に変換することができる。そして、数５における行列ＣがカメラパラメータＣとなる。

【数5】

【0068】

なお、補正パラメータ算出部２３が算出する補正パラメータは、数５に示すカメラパターンＣでもよく、あるいは数１に示すような内部パラメータＫだけでもよい。

【0069】

次に、補正パラメータ算出部２３は、算出した補正パラメータを補正パラメータ格納部３２に格納させる。そして、評価部２４又は補正部４２は、格納された補正パラメータに基づいて画像データを補正する（ステップＳ６）。このステップＳ６での補正処理は、カメラシステム１のアプリケーションに応じた処理が選択される。

【0070】

次に、評価部２４は、評価用補正画像を、予め格納されている評価データに基づいて評価する。すなわち、評価部２４は、補正画像が評価データの範囲内か否かの判断を行う（ステップＳ７）。評価部２４が行う評価方法としては、例えば、補正画像から算出された距離データと実測値とを比較したり、出荷時基準画像を有している場合には出荷時基準画像と補正画像とのズレを評価したりする。

【0071】

または、評価部２４は、評価表補正画像の中からエッジ点数Ｅを検出し、有効視差数ｄから視差密度Ｄを算出する。視差密度Ｄは、下記式１から算出される。
[式１］
Ｄ＝ｄ／Ｅ

【0072】

式１は、エッジ点数に対する有効な視差の数を表し、補正パラメータの精度、ステレオ処理における平行かの評価値として用いることができる。そして、評価部２４は、算出した視差密度Ｄがしきい値の範囲内か否かを判断することで、補正画像の評価を行うようにしてもよい。

【0073】

ステップＳ７の処理において、評価部２４が補正した画像が評価データの範囲内であると判断した場合（ステップＳ７のＹＥＳ判定）、評価部２４は、評価結果を指示部２５に出力する。そして、キャリブレーション部２０は、評価した補正パラメータを補正パラメータ格納部３２に格納させる。これにより、キャリブレーション作業が終了する。

【0074】

また、ステップＳ７の処理において、評価部２４が補正した画像が評価データの範囲内でないと判断した場合（ステップ７のＮＯ判定）、評価部２４は、評価結果を指示部２５に出力する。そして、キャリブレーション部２０は、ステップＳ２の処理に戻り再度、キャリブレーション作業を行う。

【0075】

このように、本例のカメラシステム１では、評価部２４によって算出した補正パラメータを評価することで、キャリブレーションの精度が低下しても、評価部２４によって判断することができる。そして、評価部２４が評価した情報は、指示部２５を介して出力される。その結果、作業者は、キャリブレーションの精度が低下したことを素早く認知することができ、キャリブレーションの精度を向上させることができる。

【0076】

また、キャリブレーション作業が間違っていた場合、評価部２４で検出することもできる。

【0077】

なお、本例では、キャリブレーション部２０がカメラ１１Ａ、１１Ｂに設けたＩＤ番号１１ａを取得する例を説明したが、これに限定されるものではない。例えば、キャリブレーション作業を行う際に、作業者が端末装置５０にカメラ１１Ａ、１１ＢのＩＤ番号や、基線長、焦点距離等のカメラの識別情報を入力する。そして、端末装置５０は、入力されたカメラの識別情報をキャリブレーション装置２に送信するようにしてもよい。

【0078】

２．第２の実施の形態例
次に、図９を参照して本発明の第２の実施の形態例にかかるカメラシステムについて説明する。
図９は、第２の実施の形態例にかかるカメラシステムにおける指示部の指示内容を示す説明図である。

【0079】

第２の実施の形態例にかかるカメラシステムが、第１の実施の形態例にかかるカメラシステム１とことなる点は、指示部２５が端末装置５０に出力する指示内容である。そのため、ここでは、端末装置５０の表示画面５０Ａに表示される内容について説明し、第１の実施の形態例にかかるカメラシステム１と共通する部分には同一の符号を付して重複した説明を省略する。

【0080】

ここで、ある物体に対してカメラ１１Ａ、１１Ｂまでの距離が予め分かっている場合、２つのカメラ１１Ａ、１１Ｂの視差の期待値を求めることができる。例えば、物体がカメラ１１Ａ、１１Ｂに対して生対する平面であれば視差は一定となる。さらに、物体がカメラ１１Ａ、１１Ｂに対して斜めに配置されている場合、その平面に対しても、物体とカメラ１１Ａ、１１Ｂの角度を検出することで、算出された視差の結果を最適化することができる。

【0081】

図９は、表示画面５０Ａに表示される表示内容を示す説明図である。
図９に示すように、表示画面５０Ａには、２つのカメラ１１Ａ、１１Ｂが撮影した画像が表示される。また、表示画面５０Ａには、カメラ１１Ａ、１１Ｂから選択した物体までの実測値を入力する距離入力ウィンドウ５６が表示されている。

【0082】

指示部２５は、作業者に対して予めカメラ１１Ａ、１１Ｂまでの距離が分かっている、いわゆる既知の物体の平面４００、４０１、４０２を、カーソル５０Ｂを介して選択するように指示する。また、指示部２５は、作業者に対してカメラＡ、１１Ｂから選択した平面４００、４０１、４０２までの距離を距離入力ウィンドウ５６に入力するように指示する。

【0083】

ここで、距離Ｚに対する視差ｄは、下記式２から算出することができる。なお、Ｂは、基線長であり、ｆは、焦点距離である。
［式２］
ｄ＝Ｂｘｆ／Ｚ

【0084】

そして、キャリブレーション部２０は、入力された領域と、距離に基づいて、数１に示す内部パラメータＫや数５に示すカメラパラメータＣの値を変化さえることで、視差が期待値に近づくように、補正する。また、測量分野で使用されるバンドル調整法、すなわち誤差の二乗和を最小化させて、視差のキャリブレーションを行う。

【0085】

図１０は、キャリブレーションの一例を説明図である。
また、平面に限らず、床面や天井面等において得られた線状データ１００１が理想的な線状データ１０００となるように、直線などのフィッティングによってキャリブレーションの補正値を求めてもよい。

【0086】

３．第３の実施の形態例
次に、図１１を参照して本発明の第３の実施の形態例にかかるカメラシステムについて説明する。
図１１は、第３の実施の形態例にかかるカメラシステムにおける指示部の指示内容を示す説明図である。

【0087】

第２の実施の形態例にかかるカメラシステムが、第１の実施の形態例にかかるカメラシステム１とことなる点は、指示部２５が端末装置５０に出力する指示内容及び評価部２４の評価データの範囲である。そのため、ここでは、端末装置５０の表示画面５０Ａに表示される内容について説明し、第１の実施の形態例にかかるカメラシステム１と共通する部分には同一の符号を付して重複した説明を省略する。

【0088】

図１１に示すように、表示画面５０Ａには、２つのカメラ１１Ａ、１１Ｂが撮影した画像が表示される。そして、この画像は、９つの領域４０１Ａ、４０１Ｂ、４０１Ｃ、４０１Ｄ、４０１Ｅ、４０１Ｆ、４０１Ｇ、４０１Ｈ、４０１Ｉに分割されている。

【0089】

そして、評価部２４の評価データは、領域４０１Ａ、４０１Ｂ、４０１Ｃ、４０１Ｄ、４０１Ｅ、４０１Ｆ、４０１Ｇ、４０１Ｈ、４０１Ｉ毎にその値が変化している。例えば、重要な人や物が通行する領域は、他の領域に比べて評価データの範囲を厳しくなるように設定する。

【0090】

また、指示部２５は、作業者に対してカーソル５０Ｂを介して画像を評価する領域を選択するように促してもよい。

【0091】

これにより、２つのカメラ１１Ａ、１１Ｂが撮影した画像において特定の領域のみの性能を向上させることもできる。

【0092】

なお、分割する領域は、９つに限定されるものではなく、８つ以下、あるいは１０つ以上に画像を分割し、評価部２４の評価データが異なるように設定してもよい。

【0093】

なお、本発明は上述しかつ図面に示した実施の形態に限定されるものではなく、特許請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形実施が可能である。

【0094】

上述した実施の形態例では、カメラシステムとして２つのカメラを有するステレオカメラを適用した例を説明したが、これに限定されるものではない。カメラシステムとしては、例えば、３つ以上のカメラを有するカメラシステムや、１台のカメラからなる監視カメラ等にも適用できるものである。さらに、カメラシステムとしては、立体映像を撮影する立体映像用カメラや、車載カメラ、人や物を感知する対物対人感知カメラ、自動運転システム、人流計測システム、映像セキュリティシステム等その他各種のカメラシステムに適用できるものである。

【符号の説明】

【0095】

１…カメラシステム、 ２…キャリブレーション装置、 ７…ネットワーク、 １１ａ…ＩＤ番号、 １１Ａ，１１Ｂ…カメラ、 ２０…キャリブレーション部、 ２１…画像取得部、 ２２…基準データ格納部、 ２３…補正パラメータ算出部、 ２４…評価部、 ２５…指示部、 ２６…プロセスデータ検索部、 ３０…データベース、 ３１…プロセスデータ格納部、 ３２…補正パラメータ格納部、 ３３…カメラ設置データ格納部、 ４０…画像認識部、 ４１…画像取得部、 ４２…補正部、 ４３…画像処理部、 ５０…端末装置、 ５０Ａ…表示画面、 ５３…作業指示ウィンドウ、 ２０１…基準チャート、 ３００…基線長、 ３０１…焦点距離、 ３０６…画角

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】