特開 2023-136350 撮影装置、および撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023136350

(43)【公開日】2023-09-29

(54)【発明の名称】撮影装置、および撮影方法

(51)【国際特許分類】

   H04N 23/71 20230101AFI20230922BHJP

   G03B 15/00 20210101ALI20230922BHJP

【ＦＩ】

H04N5/235 100

G03B15/00 V

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022041924

(22)【出願日】2022-03-16

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】澤田 圭人

(72)【発明者】

【氏名】菊地 太郎

(72)【発明者】

【氏名】高巣 修作

(72)【発明者】

【氏名】山中 祐治

(72)【発明者】

【氏名】山田 学

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA12

5C122EA12

5C122FA18

5C122FC03

5C122FF23

5C122FF26

5C122FH11

5C122GG21

5C122HA79

5C122HB01

(57)【要約】

【課題】ある撮影タイミングにおける撮影装置の撮影領域内に撮影保証対象外かつ反射率が大きく異なるものが存在しても、適正な自動露光制御ができる撮影装置、および撮影方法を提供する。
【解決手段】本発明は、トンネルの壁面を撮影可能な複数のイメージセンサを有するラインセンサと、前記壁面に照明光を照射可能に設けられる照明部と、前記複数のイメージセンサのそれぞれの撮影領域である分割領域のうち、前記イメージセンサにより測光される輝度値が予め設定される閾値より高い前記分割領域が所定数連続しかつ同じ高さの前記分割領域を、点検対象外の物体が配置されている被写体識別領域と識別し、かつ、前記被写体識別領域以外の前記分割領域の前記イメージセンサによる輝度値の測光結果に基づいて、前記ラインセンサに対する露光を制御する露光制御部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

トンネルの壁面を撮影可能な複数のイメージセンサを有するラインセンサと、
前記壁面に照明光を照射可能に設けられる照明部と、
前記複数のイメージセンサのそれぞれの撮影領域である分割領域のうち、前記イメージセンサにより測光される輝度値が予め設定される閾値より高い前記分割領域が所定数連続しかつ同じ高さの前記分割領域を、点検対象外の物体が配置されている被写体識別領域と識別し、かつ、前記被写体識別領域以外の前記分割領域の前記イメージセンサによる輝度値の測光結果に基づいて、前記ラインセンサに対する露光を制御する露光制御部と、
を備える撮影装置。

【請求項2】

複数の前記ラインセンサを有し、
前記露光制御部は、前記複数のラインセンサのうち最下部の前記ラインセンサにおいて、前記輝度値が前記閾値より高い前記分割領域が前記所定数連続し、かつ前記最下部のラインセンサが有する前記複数のイメージセンサの前記分割領域のうち下側の前記分割領域の輝度値が前記閾値より高い場合、前記壁面の下側を前記被写体識別領域と識別する、請求項１に記載の撮影装置。

【請求項3】

前記閾値は、前記壁面と判断する前記輝度値の閾値である、請求項１または２に記載の撮影装置。

【請求項4】

撮影装置で実行される撮影方法であって、
照明部が、ラインセンサが有する複数のイメージセンサが撮影可能なトンネルの壁面に照明光を照射する工程と、
露光制御部が、前記複数のイメージセンサのそれぞれの撮影領域である分割領域のうち、前記イメージセンサにより測光される輝度値が予め設定される閾値より高い前記分割領域が所定数連続しかつ同じ高さの前記分割領域を、点検対象外の物体が配置されている被写体識別領域と識別し、かつ、前記被写体識別領域以外の前記分割領域の前記イメージセンサによる輝度値の測光結果に基づいて、前記ラインセンサに対する露光を制御する工程と、
を含む撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置、および撮影方法に関する。

【背景技術】

【0002】

トンネル等の構造物の維持管理において、点検を効率化するために、撮像システムを搭載した車両で走行しながらトンネルの壁面を撮像する方法が知られている。このような方法で、トンネルの内部を撮像するには、撮像システムにおける光の露光量をトンネル内の明るさに合わせる露出制御が必要になる。また、撮影画像の明るさが適正になるように、露光時間、センサゲイン、絞り、照明照度等を自動露光制御（ＡＥ制御）する技術が開発されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、トンネル内の撮影では、センサのある撮影タイミングにおける撮影領域に撮影保証対象外であり、かつ通常のトンネルの壁面とは異なる材質の反射率が高い物体（例えば、補修版）が存在した場合、適正な自動露光制御の実行が困難な場合がある。

【0004】

本発明は、上記に鑑みてなされたものであって、ある撮影タイミングにおける撮影装置の撮影領域内に撮影保証対象外かつ反射率が大きく異なるものが存在しても、適正な自動露光制御ができる撮影装置、および撮影方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

上述した課題を解決し、目的を達成するために、本発明は、トンネルの壁面を撮影可能な複数のイメージセンサを有するラインセンサと、前記壁面に照明光を照射可能に設けられる照明部と、前記複数のイメージセンサのそれぞれの撮影領域である分割領域のうち、前記イメージセンサにより測光される輝度値が予め設定される閾値より高い前記分割領域が所定数連続しかつ同じ高さの前記分割領域を、点検対象外の物体が配置されている被写体識別領域と識別し、かつ、前記被写体識別領域以外の前記分割領域の前記イメージセンサによる輝度値の測光結果に基づいて、前記ラインセンサに対する露光を制御する露光制御部と、を備える。

【発明の効果】

【0006】

本発明によれば、ある撮影タイミングにおける撮影装置の撮影領域内に撮影保証対象外かつ反射率が大きく異なるものが存在しても、適正な自動露光制御ができる、という効果を奏する。

【図面の簡単な説明】

【0007】

【図1】図１は、本実施の形態にかかる撮像装置を搭載する車両による走行撮影の一例を説明するための図である。

【図2】図２は、本実施の形態にかかる撮影装置のハードウェア構成の一例を示す図である。

【図3】図３は、本実施の形態にかかる撮影装置が有するセンサ制御ボードの機能構成の一例を示す図である。

【図4】図４は、本実施の形態にかかる撮影装置の撮影領域とトンネル内の被写体との関係の一例を説明するための図である。

【図5】図５は、本実施の形態にかかる撮影装置による撮影処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、撮影装置、および撮影方法の実施の形態を詳細に説明する。

【0009】

図１は、本実施の形態にかかる撮像装置を搭載する車両による走行撮影の一例を説明するための図である。本実施の形態にかかる走行型の撮影装置１は、一般車両（移動体の一例）５のルーフに撮影ユニットを有し、車両５が走行しながら撮影ユニットによりトンネルの壁面６等の構造物を撮影する。撮影ユニットは、複数のカメラユニットを含むカメラユニット群１１と、複数の照明ユニットを含む照明ユニット群１２と、を有する。

【0010】

カメラユニット群１１が有する複数のカメラユニットは、それぞれ隣り合うカメラユニットと画角Ｒが一部重複するように設置されている。ここで、カメラユニットは、トンネルの壁面６を撮影可能に設けられる複数のイメージセンサ（撮影素子）を有するラインセンサの一例である。そして、カメラユニット群１１の複数のカメラユニットは、カメラユニット群１１全体でトンネルの壁面６の円周方向の半分が画角Ｒに収まるように設置されている。

【0011】

本実施の形態では、カメラユニット群１１が有するカメラユニットとして、２次元センサ（エリアセンサ）ではなく、ラインセンサを用いることが好ましい。２次元センサ（エリアセンサ）よりもラインセンサの方が撮影領域は狭いため、照明しながら撮影する場合、撮影領域内の照明ムラが生じ辛くなり、ラインセンサが有する複数のイメージセンサのそれぞれの撮影領域である分割領域を撮影した画像を繋ぎ合わせた展開画像の輝度値のムラが生じ難くなる。本実施の形態では、トンネル内で撮影するため、被写体であるトンネルの壁面６を照射しながら撮影することを前提とする。また、トンネルの壁面６を構成するコンクリートの状態を点検するために撮影するので、トンネルの壁面６の反射率は略一定であるものとする。

【0012】

照明ユニット群１２の複数の照明ユニットは、カメラユニット群１１と同様に、それぞれ隣り合う照明ユニットと照射角が一部重複するように設置されている。また、照明ユニット群１２は、照射角がカメラユニット群１１の画角Ｒ全体をカバーするように設置されている。すなわち、照明ユニット群１２は、トンネルの壁面６に照明光を照射する照明部の一例として機能する。走行型の撮影装置１は、１つのトンネルを往復して撮影することでトンネル全体の壁面を撮影する。

【0013】

図２は、本実施の形態にかかる撮影装置のハードウェア構成の一例を示す図である。本実施の形態にかかる撮影装置１は、図２に示すように、カメラ照明ユニット１００、ＴｏＦ（Time of Flight）センサ１０１、ＩＭＵ（Inertial Measurement Unit）１０２、車速移動距離計１０３、センサ制御ボード１０４、メモリ１０５、および操作用ＰＣ（Personal Computer）１０６を有する。

【0014】

カメラ照明ユニット１００は、カメラユニット群１１および照明ユニット群１２を有する。そして、カメラ照明ユニット１００は、図１に示すように、車両５のルーフに取り付けられる。また、カメラ照明ユニット１００は、後述するセンサ制御ボード１０４によって、ＯＮまたはＯＦＦ、露光条件の設定、明るさの制御等、全ての制御が実施される。

【0015】

本実施の形態では、カメラ照明ユニット１００が有するカメラユニット群１１は、ラインセンサ（ラインセンサ）であるが、エリアカメラでも良い。カメラ照明ユニット１００が有するカメラユニット群１１がラインカメラの場合は、センサ方向がトンネルの壁面６の円周方向となり、後述する車速移動距離計１０３から所定の移動量で出力されるピッチパルスをトリガに撮影する。例えば、車速移動距離計１０３は、車両５が１ｍｍ動くごとにパルスを出力して、ラインカメラは、当該パルスをトリガに１ｍｍごとにシャッターを切って撮影する。特に、ラインカメラの方が本実施の形態の効果が顕著となるため、本実施の形態では、カメラ照明ユニット１００は、カメラユニット群１１として、ラインカメラを搭載することとする。

【0016】

ＴｏＦセンサ１０１は、カメラ照明ユニット１００と同様に車両５のルーフに取り付けられる。ＴｏＦセンサ１０１は、カメラ照明ユニット１００の撮影と同時に、ＴｏＦの撮影を行い、トンネルの壁面６と撮影装置１（カメラ照明ユニット１００）との距離情報の算出を行う。本実施の形態では、トンネル内の避難待避所を検出して、カメラ照明ユニット１００が避難待避所に侵入するまでに、カメラ照明ユニット１００の露光制御を実施しなければならない。そのため、ＴｏＦセンサ１０１は、移動体の進行方向において、カメラ照明ユニット１００よりも物理的に前方に設けられていなければならない。すなわち、ＴｏＦセンサ１０１は、カメラユニット群１１より構造物を撮影する前に、車両５と構造物との間の距離を測距する。

【0017】

ＴｏＦセンサ１０１により算出される距離は、以下の２つの用途で用いられる。
（１）ＴｏＦセンサ１０１により算出される距離は、カメラ照明ユニット１００による撮影の幾何補正に利用可能である。ＩＭＵ１０２および車速移動距離計１０３により得られる情報から、車両５の軌跡を算出することで、カメラ照明ユニット１００の各カメラユニットがどのような姿勢で撮影を行ったかを求めることができる。これにより、カメラ照明ユニット１００により撮影された画像が、トンネル中心から撮影された画像となるように各画素を補正すること可能となる。
（２）避難待避所等、被写体との距離情報が非連続に変化する箇所の検知に利用可能である。
なお、上記２つの用途で別々のＴｏＦセンサを利用してもよい。本実施の形態では、上記（１），（２）の用途で別々のＴｏＦセンサ１０１を搭載しているものとする。

【0018】

ＩＭＵ１０２は、加速度および角速度を測定可能なセンサであり、車両５の軌跡の算出に用いる。車速移動距離計１０３は、車両５の速度または移動量を測定するセンサであり、ＩＭＵ１０２と同様に車両５の軌跡の算出に利用される。また、カメラ照明ユニット１００が有するカメラユニット群１１がラインカメラの場合は、車速移動距離計１０３は、所定の移動量でパルスを出力し、ラインカメラに入力する役割を持つ。

【0019】

センサ制御ボード１０４は、上述の各センサ、カメラユニット、照明ユニットの制御を行うものである。具体的には、センサ制御ボード１０４は、カメラ照明ユニット１００の自動露光制御も実施する。メモリ１０５は、各センサおよびカメラの画像を保存する。

【0020】

操作用ＰＣ１０６は、無線にてセンサ制御ボード１０４と接続され、センサ制御ボード１０４を制御する。具体的には、操作用ＰＣ１０６は、ノートＰＣおよびタブレット等のポータブルのものであっても良い。操作用ＰＣ１０６の使用シーンとしては、上述の各部１００～１０５までを、車両５のルーフ部におき、実際に車両５が走行して撮影するときには、車両５の助手席に座っている人が操作用ＰＣ１０６を用いて、録画開始ボタンおよび停止ボタンだけを押すことで、カメラ，各センサ，照明が制御され、最終的に撮影画像とセンサ情報がメモリ１０５に格納されていることを想定する。

【0021】

図３は、本実施の形態にかかる撮影装置が有するセンサ制御ボードの機能構成の一例を示す図である。本実施の形態では、センサ制御ボード１０４は、図３に示すように、露光制御部１０４ａを有する。

【0022】

露光制御部１０４ａは、カメラユニット群１１が有するカメラユニットの複数のイメージセンサのそれぞれの撮影領域である分割領域のうち、当該イメージセンサにより測光される輝度値が閾値より高い分割領域が所定数連続し、かつ同じ高さの分割領域を検出する。そして、露光制御部１０４ａは、当該検出した分割領域を、点検対象外の物体が配置されている被写体識別領域と識別する。次いで、露光制御部１０４ｃは、被写体識別領域以外の分割領域のイメージセンサによる輝度値の測光結果に基づいて、カメラユニット群１１に対する露光を制御する。

【0023】

これにより、点検対象となるトンネルの壁面６以外の物体（例えば、トンネルの補強および防音を目的として設置されるパネル等の物体）が、カメラユニット群１１に対する露光制御に用いられることを防止できる。その結果、ある撮影タイミングにおける撮影装置１の撮影領域内に撮影保証対象外かつ反射率が大きく異なるものが存在しても、適正な自動露光制御ができる。

【0024】

ここで、所定数は、予め設定されたライン数である。具体的には、所定ライン数は、カメラユニット群１１の一例であるラインセンサにより撮影するラインの数であっても良い。また、ここで、閾値は、予め設定される値であり、トンネルのコンクリートの壁面６と判断する輝度値の閾値である。

【0025】

トンネルの構造体であるコンクリートの壁面６に、補強および防音を目的として設置されたパネル等の物体が設置されている場合、これらの物体は、コンクリートの壁面６よりも反射率が高いため、照明しながら撮影する場合、これらの物体が配置された領域がコンクリートの壁面６と比べて高輝度な領域となります。そのため、コンクリートの壁面６の全領域に基づいて、カメラユニット群１１に対する露光を制御すると、点検の対象であるコンクリートの壁面６が暗く撮影される場合がある。

【0026】

そこで、本実施の形態では、測光部１０４ｂが、トンネルの壁面６を分割測光する。ここで、分割測光は、カメラユニットが有する複数のイメージセンサのそれぞれの分割領域の輝度値を測光することである。また、露光制御部１０４ｃは、分割領域のうち、点検対象であるコンクリートの壁面６よりも高輝度な測光結果となった分割領域を、点検対象外の物体が配置されている分割領域（撮影保証対象外の領域）として識別する。そして、露光制御部１０４ｃは、点検対象外の物体が配置されている分割領域を、カメラユニット群１１に対する露光の制御に用いないように制御する。

【0027】

図４は、本実施の形態にかかる撮影装置の撮影領域とトンネル内の被写体との関係の一例を説明するための図である。ここでは、カメラユニット群１１が有するカメラユニットは、ラインセンサを想定する。

【0028】

図４では、白パネルＷＰがあるトンネル内と、カメラユニット群１１が有する複数のカメラユニットのうち最下部を撮影しているカメラユニット（ラインセンサ）の撮影領域を示す。ここでは、カメラユニットの撮影保証対象外の白いパネルがトンネルの壁面６の下部を覆っているケースを一例として挙げる。

【0029】

本実施の形態にかかる撮影装置１は、以下の処理により、撮影しているトンネルの壁面６の下部が撮影保証対象外（点検対象外）の補修版（白パネルＷＰ）により覆われているケースだと判断する。本実施の形態にかかる撮影装置は、補修版によりトンネルの壁面６の下部が覆われているケースだと判断できた場合、分割領域のうち撮影保証対象外に該当する分割領域を無視した上で、カメラユニット群１１に対する露光を制御する。これにより、照明ユニット群１２の照明ユニットによる照明がトンネルの壁面６に対して暗くなり過ぎることを抑制する。ここで、トンネル内は、外光の変化はなく、照明ユニット群１２による反射光の差分のみが分割領域の輝度値の差分に現れるものとする。

【0030】

次に、露光制御部１０４ａは、分割領域の輝度値が予め定められた閾値を超えているか否かを判断する。そして、輝度値が閾値を超えている分割領域が以下の２つの条件を満たす場合、露光制御部１０４ａは、トンネルの壁面６の下部が補修版により覆われているケースだと判断する。まず、１つ目の条件は、一定数以上連続して隣接した分割領域の輝度値が閾値を超えていることである。すなわち、１つ目の条件は、カメラユニット群１１が有する複数のラインセンサのうち最下部のラインセンサにおいて、輝度値が閾値より高い分割領域が所定数連続していることである。２つ目の条件は、カメラユニット群１１が有する複数のラインセンサのうち、トンネルの最も下方部を撮影しているラインセンサにおいて、当該ラインセンサが有するイメージセンサが撮影する分割領域の下側（例えば、分割領域の下側の１／３）の領域の輝度値が閾値を超えていることである。

【0031】

図５は、本実施の形態にかかる撮影装置による撮影処理の流れの一例を示すフローチャートである。ここでは、撮影保証対象外の白いパネルがトンネルの壁面の下部を覆っているケースを一例として挙げる。

【0032】

センサ制御ボード１０４は、カメラユニット群１１を制御して、撮影を開始する（ステップＳ５０１）。そして、露光制御部１０４ａは、カメラユニット群１１によって１ラインを撮影する（ステップＳ５０２）。本実施の形態では、カメラユニット群１１が有するカメラユニットは、ラインセンサを想定しているので、１ラインを撮影する毎に以降の処理が実施される。

【0033】

センサ制御ボード１０４は、カメラユニット群１１によって１ライン撮影する度に、撮影を終了するか否かを判断する（ステップＳ５０３）。撮影を終了する場合（ステップＳ５０３：Ｙｅｓ）、センサ制御ボード１０４は、カメラユニット群１１を制御して、撮影を終了する。

【0034】

一方、撮影を終了しない場合（ステップＳ５０３：Ｎｏ）、露光制御部１０４ａは、カメラユニット群１１が有するカメラユニットにより撮影した１ラインの分割領域が撮影保証対象外の領域（被写体識別領域）である特殊ケースか否かを判断する（ステップＳ５０４）。カメラユニット群１１により撮影した１ラインの分割領域が特殊ケースである場合（ステップＳ５０５：Ｙｅｓ）、露光制御部１０４ａは、１ラインの分割領域のうち撮影保証対象外の領域を除いた分割領域のカメラユニットによる輝度値の測光結果に基づいて、カメラユニット群１１に対する露光の制御に切り替える（ステップＳ５０７）。その後、センサ制御ボード１０４は、カメラユニット群１１によって１ラインを撮影する（ステップＳ５０８）。

【0035】

そして、センサ制御ボード１０４は、カメラユニット群１１によって１ライン撮影する度に、撮影を終了するか否かを判断する（ステップＳ５０９）。撮影を終了する場合（ステップＳ５０９：Ｙｅｓ）、センサ制御ボード１０４は、カメラユニット群１１を制御して、撮影を終了する。一方、撮影を終了しない場合（ステップＳ５０９：Ｎｏ）、センサ制御ボード１０４は、ステップＳ５０８に戻り、カメラユニット群１１によって１ラインを撮影する。

【0036】

一方、カメラユニット群１１により撮影した１ラインの分割領域が特殊ケースでない場合（ステップＳ５０５：Ｎｏ）、露光制御部１０４ａは、通常通り、分割領域のカメラユニットによる輝度値の測光結果に基づいて、カメラユニット群１１に対する露光の制御を継続する（ステップＳ５０６）。その後、露光制御部１０４ａは、ステップＳ５０２に戻り、カメラユニット群１１によって１ラインを撮影する。

【0037】

このように、本実施の形態にかかる撮影装置１によれば、検等の対象外の物体が配置されている領域の画像が、カメラユニット群１１に対する露光制御に用いられることを防止できる。その結果、ある撮影タイミングにおける撮影装置１の撮影領域内に撮影保証対象外かつ反射率が大きく異なるものが存在しても、適正な自動露光制御ができる。

【符号の説明】

【0038】

１ 撮影装置
５ 車両
６ 壁面
１１ カメラユニット群
１２ 照明ユニット群
１００ カメラ照明ユニット
１０１ ＴｏＦセンサ
１０２ ＩＭＵ
１０３ 車速移動距離計
１０４ センサ制御ボード
１０４ａ 露光制御部
１０５ メモリ
１０６ 操作用ＰＣ

【先行技術文献】

【特許文献】

【0039】

【特許文献1】特開２０１０－２３９４７９号公報

【図1】

【図2】

【図3】

【図4】

【図5】