特開2016-162408(P2016-162408A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サクサ株式会社の特許一覧

<>
  • 特開2016162408-画像処理装置 図000003
  • 特開2016162408-画像処理装置 図000004
  • 特開2016162408-画像処理装置 図000005
  • 特開2016162408-画像処理装置 図000006
  • 特開2016162408-画像処理装置 図000007
  • 特開2016162408-画像処理装置 図000008
  • 特開2016162408-画像処理装置 図000009
  • 特開2016162408-画像処理装置 図000010
  • 特開2016162408-画像処理装置 図000011
  • 特開2016162408-画像処理装置 図000012
  • 特開2016162408-画像処理装置 図000013
  • 特開2016162408-画像処理装置 図000014
  • 特開2016162408-画像処理装置 図000015
  • 特開2016162408-画像処理装置 図000016
  • 特開2016162408-画像処理装置 図000017
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-162408(P2016-162408A)
(43)【公開日】2016年9月5日
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   G06T 1/00 20060101AFI20160808BHJP
   H04N 7/18 20060101ALI20160808BHJP
【FI】
   G06T1/00 315
   H04N7/18 D
   H04N7/18 K
【審査請求】未請求
【請求項の数】6
【出願形態】OL
【全頁数】19
(21)【出願番号】特願2015-43529(P2015-43529)
(22)【出願日】2015年3月5日
(71)【出願人】
【識別番号】304020498
【氏名又は名称】サクサ株式会社
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(72)【発明者】
【氏名】寺谷 章
【テーマコード(参考)】
5B057
5C054
【Fターム(参考)】
5B057AA19
5B057BA02
5B057BA17
5B057CA13
5B057CA16
5B057CH18
5B057DA07
5B057DB03
5B057DC19
5B057DC32
5C054CE00
5C054FC15
5C054FD01
5C054HA26
(57)【要約】      (修正有)
【課題】プラットホームを監視するカメラの設置作業に要する時間を短縮する。
【解決手段】プラットホームの上部に設置された撮影装置群100により撮影された撮影画像を処理するデータ管理装置200であって、撮影装置群の第1撮影部で撮影した第1画像と、第2撮影部で撮影した第2画像との視差に基づいて、距離画像を生成する生成部203と、距離画像のY座標毎に視差ゼロの画素数を計数する計数部204と、視差ゼロの計数結果に基づいて、距離画像をヨー回転する画像制御部206とを備える。
【選択図】図5
【特許請求の範囲】
【請求項1】
第1方向に延びるプラットホームの上部に設置されたステレオカメラにより撮影された撮影画像を処理する画像処理装置であって、
前記ステレオカメラの第1撮影部で撮影した第1画像と、第2撮影部で撮影した第2画像との視差に基づいて、距離画像を生成する生成部と、
生成した前記距離画像のX座標軸及びY座標軸のうち、前記第1方向と直交する第2方向に沿った第1座標軸の座標毎に視差ゼロの画素数を計数する計数部と、
前記第1座標軸の座標毎の計数結果に基づいて、前記X座標軸及び前記Y座標軸に直交するZ座標軸を回転軸として当該距離画像をヨー回転する画像制御部と、
を備える画像処理装置。
【請求項2】
前記第1座標軸の座標毎の前記計数結果に基づいて、前記プラットホームに沿って設置されるレールの前記第1座標軸における位置であるレール座標を特定する特定部、を更に備え、
前記画像制御部は、前記レール座標における視差ゼロの画素数に基づいて前記距離画像をヨー回転する回転角度を決定する、
請求項1に記載の画像処理装置。
【請求項3】
前記第1座標軸の座標毎の前記計数結果に基づいて、前記プラットホームの端部の前記第1座標軸における位置であるホーム端座標を特定する特定部、を更に備え、
前記計数部は、前記距離画像のX座標軸及びY座標軸のうち、前記第1方向に沿った第2座標軸の座標毎に視差ゼロの画素数を計数し、
前記画像制御部は、前記第2座標軸の座標毎の計数結果に基づいて、前記ホーム端座標を中心に前記距離画像をロール回転する、
請求項1又は2に記載の画像処理装置。
【請求項4】
前記特定部は、前記第2座標軸の座標毎の計数結果に基づき、前記プラットホームに沿って延びるレールと共に設置される枕木の前記第2座標軸における位置である枕木座標を、複数の枕木の夫々について特定し、
前記画像制御部は、特定した複数の前記枕木座標における視差ゼロの画素数の計数結果に基づいて、前記距離画像をロール回転する、
請求項3に記載の画像処理装置。
【請求項5】
前記ステレオカメラが第1タイミングにおいて撮影した撮影画像から生成される第1距離画像における前記計数部の計数結果と、当該ステレオカメラが当該第1タイミングとは異なる第2タイミングにおいて撮影した撮影画像から生成される第2距離画像における前記計数部の計数結果とを比較することで、前記ステレオカメラの設置状態の変化を検出する検出部、
を更に備える請求項1から4の何れか1項に記載の画像処理装置。
【請求項6】
前記画像制御部が回転制御した距離画像に基づいてプラットホームの監視制御を行う監視制御部であって、視差ゼロの画素数を計数した座標軸の各座標における視差ゼロの画素数の分布状況に基づいて、前記監視制御を中止する監視制御部、
を更に備える請求項1から5の何れか1項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関する。
【背景技術】
【0002】
多数の乗客が利用する鉄道車両では安全な運行が要求されるため、鉄道車両の関係者は、鉄道車両を安全に運行するための様々な試みを行っている。例えば、乗客がプラットホームから線路へ転落すると重大な事故に繋がるおそれがあることから、乗客の転落をいち早く検知する試みが多数なされており、そのうちの幾つかは実際に鉄道車両の駅で採用されている。
【0003】
具体的な一例として、プラットホームの天井下に複数のカメラを設置し、複数のカメラでプラットホームや線路上等の駅構内を監視するカメラシステムがよく知られている。
このようなカメラシステムとして、例えば、特許文献1には、複数のカメラをデイジーチェーン接続し、夫々のカメラで取得された監視情報を他のカメラを経由してサーバに伝送するカメラシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2012−11989号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、カメラシステムを用いて監視するためには、カメラを取り付ける角度や画角を高精度に調整する必要があり、多大な時間を要していた。特に、プラットホーム全域に亘り監視を行うためには多数のカメラを設置する必要があり、夫々のカメラにおいて固有の調整が必要なため膨大な時間が必要になる上に、乗客の利便性を損なうことのないよう設置作業は夜間に行う必要があるので、設置作業を軽減する技術が求められていた。
【0006】
本発明は、このような問題に鑑みてなされたものであり、プラットホームを監視するカメラの設置作業に要する時間を短縮可能にする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様においては、第1方向に延びるプラットホームの上部に設置されたステレオカメラにより撮影された撮影画像を処理する画像処理装置であって、前記ステレオカメラの第1撮影部で撮影した第1画像と、第2撮影部で撮影した第2画像との視差に基づいて、距離画像を生成する生成部と、生成した前記距離画像のX座標軸及びY座標軸のうち、前記第1方向と直交する第2方向に沿った第1座標軸の座標毎に視差ゼロの画素数を計数する計数部と、前記第1座標軸の座標毎の計数結果に基づいて、前記X座標軸及び前記Y座標軸に直交するZ座標軸を回転軸として当該距離画像をヨー回転する画像制御部と、を備える画像処理装置を提供する。
【0008】
また、前記第1座標軸の座標毎の前記計数結果に基づいて、前記プラットホームに沿って設置されるレールの前記第1座標軸における位置であるレール座標を特定する特定部、を更に備え、前記画像制御部は、前記レール座標における視差ゼロの画素数に基づいて前記距離画像をヨー回転する回転角度を決定することとしてもよい。
【0009】
また、前記第1座標軸の座標毎の前記計数結果に基づいて、前記プラットホームの端部の前記第1座標軸における位置であるホーム端座標を特定する特定部、を更に備え、前記計数部は、前記距離画像のX座標軸及びY座標軸のうち、前記第1方向に沿った第2座標軸の座標毎に視差ゼロの画素数を計数し、前記画像制御部は、前記第2座標軸の座標毎の計数結果に基づいて、前記ホーム端座標を中心に前記距離画像をロール回転することとしてもよい。
【0010】
また、前記特定部は、前記第2座標軸の座標毎の計数結果に基づき、前記プラットホームに沿って延びるレールと共に設置される枕木の前記第2座標軸における位置である枕木座標を、複数の枕木の夫々について特定し、前記画像制御部は、特定した複数の前記枕木座標における視差ゼロの画素数の計数結果に基づいて、前記距離画像をロール回転することとしてもよい。
【0011】
また、前記ステレオカメラが第1タイミングにおいて撮影した撮影画像から生成される第1距離画像における前記計数部の計数結果と、当該ステレオカメラが当該第1タイミングとは異なる第2タイミングにおいて撮影した撮影画像から生成される第2距離画像における前記計数部の計数結果とを比較することで、前記ステレオカメラの設置状態の変化を検出する検出部を更に備えることとしてもよい。
【0012】
また、前記画像制御部が回転制御した距離画像に基づいてプラットホームの監視制御を行う監視制御部であって、視差ゼロの画素数を計数した座標軸の各座標における視差ゼロの画素数の分布状況に基づいて、前記監視制御を中止する監視制御部を更に備えることとしてもよい。
【発明の効果】
【0013】
本発明によれば、プラットホームを監視するカメラの設置作業に要する時間を短縮することができる。
【図面の簡単な説明】
【0014】
図1】一実施形態に係る撮影システムの構成例を示す図である。
図2A】駅プラットホームにおける撮影装置の設置例を示す図である。
図2B】駅プラットホームにおける撮影装置の設置例を示す図である。
図3】撮影装置が撮影した各種撮影画像の一例を示す図である。
図4】撮影システムの概要を示す図である。
図5】データ管理装置の機能構成を示すブロック図である。
図6】画像制御部が距離画像をヨー回転する場合の動作例を示す図である。
図7】画像制御部が距離画像を平行移動する場合の動作例を示す図である。
図8】画像制御部が距離画像をロール回転する場合の動作例を示す図である。
図9】画像制御部による距離画像のロール回転方法を説明するための図である。
図10】距離画像に設定する監視領域の一例を示す図である。
図11】天候状態に応じた視差ゼロの画素数を示すヒストグラムを模式的に示す図である。
図12】撮影システムの処理の流れを示すフローチャートである。
図13】撮影システムの処理の流れを示すフローチャートである。
図14】撮影システムの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0015】
[撮影システム10の全体構成]
図1は、本実施形態に係る撮影システム10の全体構成を示す図であり、図2は、撮影装置101の駅のプラットホームPにおける設置例を示す図である。なお、図2Aは、鉄道車両の進行方向から駅のプラットホームPを見た図であり、図2Bは、鉄道車両の進行方向に対して直交する方向から駅のプラットホームPを見た図である。
【0016】
図1に示すように撮影システム10は、撮影装置群100、及び撮影装置群100と通信可能に接続されたデータ管理装置200を含んで構成される。
なお、撮影システム10は、データ管理装置200と撮影装置群100との間にハブ300を備えてもよく、また、ハブ300に接続される撮影装置群100を複数備えてもよい。この場合、例えば、夫々の撮影装置群100を、駅にある複数のプラットホームPの夫々に設置することとしてもよい。また、撮影システム10は、撮影装置群100で撮影された画像を表示するモニタ400を備えてもよい。
【0017】
撮影装置群100は、複数の撮影装置101(撮影装置101−1、撮影装置101−2・・・撮影装置101−n、ただしnは3以上の自然数)が所定方向に沿ってデイジーチェーン接続されて構成される。なお、図2Bに示すように、本実施形態では、複数の撮影装置101は、駅のプラットホームPの長さ方向に沿ってデイジーチェーン接続される。
【0018】
撮影装置101は、複数の撮影部が駅のプラットホームPの長さ方向に沿って水平に配置されたステレオカメラである。図2Aに示すように、撮影装置101は、鉄道車両の運行に影響を与えないように、駅のプラットホームPの上部(天井)のうちプラットホームPの端部(以下、「ホーム端Pe」と呼ぶ)の直上からプラットホームPの内側に所定量だけセットバックして設置される。また、図2Bに示すように、撮影装置101は、夫々の撮影装置101の撮影範囲Sが隣接する撮影装置101の撮影範囲Sと重なり合うように設置される。
【0019】
撮影装置101は、プラットホームPの周辺、即ちプラットホームP及び線路Rを俯瞰的に撮影する。ここで、撮影装置101によって撮影される第1画像51及び第2画像52、並びに第1画像51と第2画像52とから生成される距離画像53の一例を図3に示す。
【0020】
第1画像51は、撮影装置101の第1撮影部により撮影される撮影画像であり、第2画像52は、撮影装置101の第2撮影部により撮影される撮影画像である。
図3の第1画像51に示すように、撮影装置101は、プラットホームP及び線路Rを撮影する。本実施形態では、線路Rは、レールRaと複数の枕木Rtと砂利Rbとから構成されるバラスト軌道である。
【0021】
距離画像53は、第1画像51と第2画像52との視差に基づいて生成される画像である。
ここで、視差の算出方法は既に公知であり、視差は、基準画像(第1画像51)の基準点に対応する対応点を比較画像(第2画像52)の中から探索することで算出される。具体的には、基準となる画素を中心に基準画像から画素ブロックを抽出し、比較画像の視差探索領域内の画素ブロックのうち基準画像から抽出した画素ブロックと輝度パターンが類似している画素ブロックをSAD(Sum of Absolute Differences)法等の公知の手法により特定する。そして、基準画像の画素ブロックの座標と比較画像の画素ブロックの座標との相違から、視差を算出する。
【0022】
視差は、テクスチャが明瞭である領域に対して算出されるため、プラットホームP、レールRa及び枕木Rtのようなテクスチャが少なく表面のパターンが一様な物体に対しては算出されない。そのため、撮影装置101でバラスト軌道を撮影する場合、図3の距離画像53に示すように、プラットホームP、レールRa及び枕木Rtについては視差を算出できず、砂利Rbのようにパターンに特徴がありテクスチャが明瞭な領域では、視差を算出することができる。
【0023】
なお、夫々の画像において水平方向をX方向(第1方向)、垂直方向をY方向(第2方向)とする。撮影装置101の複数の撮影部が駅のプラットホームPの長さ方向に沿って水平に配置されるため、X方向はプラットホームPの長さ方向に相当する。また、Y方向は、プラットホームPや線路Rの幅方向に相当する。また、以下では、説明の便宜上、画像上部をY座標「小」とし、画面下部をY座標「大」とする。
【0024】
撮影装置101が撮影した第1画像51及び第2画像52と、これら第1画像51及び第2画像52から生成された距離画像53とは、所定の通信線を介してデータ管理装置200に送信され、データ管理装置200の記憶部202に記憶される。なお、距離画像53は、撮影装置101が生成することなく、データ管理装置200において生成することとしてもよい。
【0025】
[撮影システム10の概要]
続いて、本実施形態に係る撮影システム10の概要について説明する。撮影システム10では、生成した距離画像53を回転することにより、撮影装置101の設置作業に要する時間を短縮する。図4(A)に示すように、距離画像53の回転は、XYZ軸のうちの任意の軸を回転軸として行うことができ、以下では、X軸を回転軸とする回転を「ロール回転」、Y軸を回転軸とする回転を「ピッチ回転」、Z軸を回転軸とする回転を「ヨー回転」と呼ぶ。また、以下では、回転前の距離画像を「距離画像53」とし、回転後の距離画像を「距離画像53A」とし、回転前後を区別しない場合には「距離画像53」とする。
なお、本実施形態では、XYZ軸のうちX軸又はZ軸を回転軸として距離画像53を回転することとしているが、Y軸を回転軸として距離画像53を回転することとしてもよい。
【0026】
図4(B)に示すように、Z軸を中心に距離画像53をヨー回転した場合、距離画像53内のXY軸の傾きが補正される。このようなヨー回転は、アフィン変換として既に公知の技術を用いて行うことができる。
ここで、プラットホームPの監視では、線路Rに乗客や異物が落下したことの監視や、ホーム端Peに乗客が接近したことの監視が求められている。これら監視は、例えば、距離画像53におけるホーム端Peを境に、線路R側に線路落下を監視する落下監視エリアを設定し、プラットホームP側にホーム端Peへの接近を監視する接近監視エリアを設定することで行うことができる(後述の図10参照)。
【0027】
この点、距離画像53において、線路RやプラットホームPがX方向に水平に延びている場合には、両監視エリアを容易に設定できるものの、線路RやプラットホームPがX方向に対して傾いている場合には、両監視エリアの設定作業が煩雑になってしまう。
ヨー回転は、線路RやプラットホームPがX方向に対して傾いている場合に好適に利用され、線路RやプラットホームPがX方向に対して傾いている距離画像53をヨー回転することで、線路RやプラットホームPがX方向に水平に延びる距離画像53Aを生成する。
【0028】
これにより、撮影システム10では、撮影装置101の設置時に設置角度を厳密に調整する必要がなく、設置作業に要する時間を短縮することができる。
【0029】
また、図4(C)に示すように、X軸を中心に距離画像53をロール回転した場合、距離画像53内のYZ軸、特にZ軸の傾きが補正される。
ここで、距離画像53は、第1画像51と第2画像52との間の視差に基づいて生成される。視差が分かると、三角測量の原理で撮影装置101から被写体までの距離を測定できるため、距離画像53からは被写体のXY座標に加え、Z座標も得ることができる。距離画像53のロール回転は、座標変換として既に公知であり、ローカル座標であらわされる被写体のXYZ座標がグローバル座標系においてどのように配置されるか算出することで行うことができる。
【0030】
プラットホームPの監視では、撮影装置101は、プラットホームPの端からセットバックして設置されるため、撮影装置101は、ホーム端Peや線路Rを斜めに見下ろすことになる。ここで、図2Aに示すように、乗客がプラットホームPの端に立っている場合、撮影装置101により撮影された距離画像53では、乗客の上半身が線路内に存在するかのように映ってしまい、線路落下を誤検知してしまうおそれがある。
【0031】
ロール回転は、セットバックによりホーム端Peを斜めに見下ろしてしまう状態を補正するために利用される。
具体的には、撮影システム10では、図4(C)に示すように、X軸(プラットホームPの長さ方向と同一)を中心に距離画像53を回転し、距離画像53Aを生成する。なお、プラットホームPの監視では、ホーム端Peを境として落下監視及び接近監視が行われる。このような監視は、ホーム端Peを真上から監視することが好ましいため、本実施形態では特に、ホーム端Peを軸に距離画像53を回転する。
【0032】
距離画像53をロール回転するとZ軸の傾きが補正される結果、図4(D)に示すように、ホーム端Peを斜めに見下ろしていた距離画像53から、ホーム端Peを真上から撮影したかのような距離画像53Aを得ることができる。これにより、撮影装置101をホーム端Peからセットバックして設置した場合であっても、プラットホームPと線路Rとの境界部分を精度良く監視することができる。
【0033】
また、設置した後の回転処理により撮影装置101の監視精度の調整を行うことができるため、撮影装置101の設置時には、取り付ける角度や画角を精密に調整する必要がない。そのため、撮影システム10では、撮影装置101の設置に膨大な時間をかける必要がなく、撮影装置101の設置作業に要する時間を短縮することができる。
以下、このような制御を可能にするデータ管理装置200の詳細について説明する。
【0034】
[データ管理装置200の機能構成]
図5は、データ管理装置200の機能構成を示すブロック図である。データ管理装置200は、制御部201と、記憶部202と、を含んで構成される。
【0035】
記憶部202は、例えば、ROM及びRAM等により構成される。記憶部202は、データ管理装置200を機能させるための各種プログラムを記憶する。また、記憶部202は、撮影装置101(ステレオカメラ)の第1撮影部が撮影した第1画像51及び第2撮影部が撮影した第2画像52の画像データと、第1画像51及び第2画像52から生成される距離画像53の画像データと、距離画像53を回転することで生成される距離画像53Aの画像データと、を記憶する。
【0036】
制御部201は、例えば、CPUにより構成され、記憶部202に記憶されている各種プログラムを実行することにより、生成部203、計数部204、特定部205、画像制御部206、検出部207及び監視制御部208として機能する。
【0037】
生成部203は、撮影装置101の第1撮影部が撮影した第1画像51と、第2撮影部が撮影した第2画像52とから距離画像53を生成する。具体的には、生成部203は、第1画像51と第2画像52との視差をSAD法等の公知の手法により特定し、特定した視差に基づいて距離画像53を生成する。
【0038】
計数部204は、距離画像53をX方向に走査してY座標毎に視差ゼロである画素数を計数すると共に、距離画像53をY方向に走査してX座標毎に視差ゼロである画素数を計数する。
【0039】
特定部205は、計数部204のY座標に関する計数結果に基づいて、プラットホームP、ホーム端Pe及びレールRaの位置(Y座標)を特定する。また、特定部205は、計数部204のX座標に関する計数結果に基づいて、レールRaに直交して設置される複数の枕木Rtの夫々の位置(X座標)を特定する。
【0040】
図6において後述するように、本実施形態のようにバラスト軌道を撮影する場合、プラットホームP及びレールRaの位置(Y座標)では、視差ゼロの画素数が多くなる。一方、砂利Rbの位置(Y座標)では、視差が算出されるため、視差ゼロの画素数が少なくなる。
【0041】
特定部205は、視差ゼロの画素数が所定の閾値を超えるY座標のうち、Y座標が最も大きいものをプラットホームPとし、Y座標が次に大きいものを2本のレールRaの手前側のレールRa(以下、「下部レールRad」と呼ぶ)とし、Y座標が次に大きいものを2本のレールRaの奥側のレールRa(以下、「上部レールRau」と呼ぶ)とする。そして、特定部205は、プラットホームPと砂利Rbとの境界部分を、ホーム端Peと特定する。
また、特定部205は、上部レールRauの位置(Y座標)を座標R1とし、下部レールRadの位置(Y座標)を座標R2とし、ホーム端Peの位置(Y座標)を座標R3とする。
【0042】
また、図8において後述するように、バラスト軌道の線路Rでは、枕木Rtでは視差が算出できないため、枕木Rtの位置(X座標)では視差ゼロの画素数が多くなる。一方、砂利Rbでは視差が算出されるため、砂利Rbの位置(X座標)では視差ゼロの画素数が少なくなる。
特定部205は、視差ゼロの画素数が所定の閾値を超えるX座標を、枕木Rtの位置(X座標)として特定する。
【0043】
図5に戻り、画像制御部206は、計数部204の計数結果に基づいて、距離画像53を回転する。上述のように、本実施形態では、Z軸を回転軸としたヨー回転、及びX軸を回転軸としたロール回転により、距離画像53を回転する。
以下、画像制御部206による距離画像53の回転制御について説明する。
【0044】
[Z軸を中心としたヨー回転]
画像制御部206は、Y座標毎の視差ゼロの画素数の計数結果に基づいて、距離画像53をヨー回転する。具体的には、画像制御部206は、レールRaの座標である座標R1,R2における視差ゼロの画素数に基づいて距離画像53をヨー回転する。
上述したように、ヨー回転は、線路RやプラットホームPがX方向に対して傾いている場合に行われる。ここで、図6は、画像制御部206が距離画像53をヨー回転する場合の動作例を示す図である。
【0045】
図6(A)のように、線路R等がX方向に水平に延びている場合、Y座標毎の視差ゼロの画素数の計数結果は、図6(B)に示すヒストグラムのようになる。他方、図6(C)のように、線路R等がX方向に対して傾いている場合、Y座標毎の視差ゼロの画素数の計数結果は、図6(D)に示すヒストグラムのようになる。
【0046】
図6(B)を参照すると、線路R等がX方向に水平に延びている場合、レールRaの位置(座標R1,R2)における視差ゼロの画素数と、砂利Rbの位置における視差ゼロの画素数との差が顕著にあらわれ、視差ゼロの画素数のピーク(最大値や90パーセンタイル値等)も大きい。他方、図6(D)を参照すると、線路R等がX方向に対して傾いている場合、レールRaの位置における視差ゼロの画素数と、砂利Rbの位置における視差ゼロの画素数との差が小さく、また、視差ゼロの画素数のピークも小さい。
そのため、Y座標毎の視差ゼロの画素数の計数結果において、視差ゼロの画素数のピークの急峻さから、線路R等の傾き具合、言い換えると撮影装置101の傾き具合を把握することができる。
【0047】
画像制御部206は、レールRaの位置における視差ゼロの画素数に基づいて、ヨー回転する回転角度を決定し、当該回転角度だけ距離画像53をヨー回転する。具体的には、画像制御部206は、視差ゼロの画素数のピークが最も急峻な状態になる回転角度を決定し、距離画像53をヨー回転する。その結果、線路R等がX方向に対して傾いている距離画像53(図6(C))から、線路R等がX方向に水平に延びている距離画像53A(図6(A))が生成される。
【0048】
なお、画像制御部206は、線路R等に水平になるようにヨー回転した後、図7に示すように、ホーム端Peが中心にくるように距離画像53をスライド移動することとしてもよい。具体的には、画像制御部206は、特定部205が特定したホーム端Peの座標R3がY軸の中心座標Cと一致するように、距離画像53を平行移動し、距離画像53Aを生成することとしてもよい。
【0049】
[X軸を中心としたロール回転]
画像制御部206は、X座標毎の視差ゼロの画素数の計数結果に基づいて、ホーム端Peの座標R3を回転軸として距離画像53をロール回転する。具体的には、画像制御部206は、X座標毎の視差ゼロの画素数の計数結果から特定される枕木Rtに基づいて、距離画像53をロール回転する。
上述したように、ロール回転は、セットバックにより斜めに見下ろしているホーム端Peを真上から撮影したかのような距離画像53Aを得るために行われる。ここで、図8は、画像制御部206が距離画像53をロール回転する場合の動作例を示す図である。
【0050】
枕木Rtは、線路RにおいてレールRaに対して垂直に設置されるため、現実空間上では、夫々の枕木RtはY方向において平行である。他方、撮影装置101が線路R等を斜めに見下ろして撮影している状態では、枕木RtのプラットホームP側と線路Rの奥側とで撮影装置101からの距離が異なるため、距離画像53上では、夫々の枕木Rtは平行にならない。
この点、ホーム端Peを真上から撮影した場合、枕木RtのプラットホームP側と線路Rの奥側とで撮影装置101からの距離が等しくなる(より詳細には、斜めに見下ろした場合よりも近似する)。
【0051】
そこで、本実施形態では、図8(A)に示すように、線路Rを構成する複数の枕木Rtの夫々がY方向に沿って平行となる状態を、プラットホームPの端を真上から撮影した状態とし、画像制御部206は、当該状態になるまでに必要な回転量を、X座標毎の視差ゼロの画素数の計数結果に基づいて取得する。
ここで、図8(A)のように、枕木Rtの夫々がY方向に平行な場合、X座標毎の視差ゼロの画素数の計数結果は、図8(B)に示すヒストグラムのようになる。他方、図8(C)のように、枕木Rtの夫々がY方向に対して平行ではない場合、X座標毎の視差ゼロの画素数の計数結果は、図8(D)に示すヒストグラムのようになる。
【0052】
図6において上述したY座標毎の視差ゼロの画素数と同様に、枕木Rtの夫々がY方向に平行な場合と平行ではない場合とでは、枕木Rtの位置における視差ゼロの画素数と砂利Rbの位置における視差ゼロの画素数との差や、視差ゼロの画素数のピーク(最大値や90パーセンタイル値等)が異なる。
画像制御部206は、これら傾向に基づいて距離画像53をロール回転する回転角度を決定する。
【0053】
以下、画像制御部206の回転角度の決定方法について具体的に説明する。図9は、枕木RtがY方向に平行な場合のX座標毎の視差ゼロの画素数を示すヒストグラムを模式的に示す図である。
【0054】
理解を容易にするために単純化すると、枕木Rt以外の位置(X座標)では、プラットホームP及びレールRaの分だけ視差ゼロの画素数が計数され、枕木Rtの位置では、プラットホームP及びレールRaに加え枕木Rtの分だけ視差ゼロの画素数が計数される。プラットホームP及びレールRaは、略一定の幅(高さ)であり、また、枕木Rtの長さも複数の枕木Rtにおいて略一致するため、視差ゼロの画素数のピークは、複数の枕木Rtの夫々において概ね一致する。
そのため、画像制御部206は、X座標毎の視差ゼロの画素数のピークが略一致するか否かを判定することで、枕木Rtの夫々がY方向に沿って平行になるための回転角度、言い換えると、ホーム端Peを真上から撮影したかのような距離画像53Aを得るための回転角度を決定することができる。
【0055】
また、複数の枕木Rtの夫々が平行である場合、枕木Rtの幅や枕木Rtの間隔も、略一致する。そのため、画像制御部206は、X座標毎の視差ゼロの画素数のピークの幅やピークがあらわれる間隔に基づいて、回転角度を決定することもできる。
なお、画像制御部206は、これら条件のうちの何れかを単独で用いることとで回転角度を決定することとしてもよく、また、任意の条件を組み合わせて用いることで回転角度を決定することとしてもよい。
【0056】
ところで、ホーム端Peを真上から撮影したとしても、撮影装置101から枕木RtのプラットホームP側までの距離と、撮影装置101から枕木Rtの線路Rの奥側までの距離とは、完全に一致するわけではない。また、回転は、距離画像53という一方向からの撮影結果に基づき得られたXYZ座標のみに基づいて行われるため、回転後の形状と実際の形状との一致精度にも所定の限界がある。
そのため、枕木Rtの夫々がY方向に沿って平行となる状態とは、枕木Rtの夫々が完全に平行になることまでを要求するものではなく、平行度が所定の閾値を満たせば足りる。なお、所定の閾値については、実験等により経験的に設定される。
【0057】
図5に戻り、検出部207は、設置が完了し監視運用中の撮影装置101の設置状態の変化を検出する。具体的には、検出部207は、撮影装置101が第1タイミング(例えば、設置時)において撮影した撮影画像から生成される第1の距離画像53における計数部204の計数結果と、当該撮影装置101が第1タイミングとは異なる第2タイミング(例えば、監視運用中)において撮影した撮影画像から生成される第2の距離画像53における計数部204の計数結果とを比較し、両者の間に所定以上の差がある場合に、撮影装置101の設置状態の変化を検出する。
【0058】
なお、検出部207による撮影装置101の設置状態の変化の検出は、画像制御部206が回転制御する前の距離画像53におけるヒストグラム(計数結果)を比較することで行うこととしてもよく、画像制御部206が回転制御した後の距離画像53Aにおけるヒストグラムを比較することで行うこととしてもよい。また、検出部207による検出は、Y座標毎のヒストグラム(図6(B))を比較することで行うこととしてもよく、X座標毎のヒストグラム(図8(B))を比較することで行うこととしてもよい。
【0059】
ここで、回転制御した後の距離画像53Aにおけるヒストグラムは、一定の傾向(例えば、ピークの急峻さや枕木の幅、間隔等)を有しているため、検出部207は、第1タイミングのヒストグラム(計数結果)を用いることなく、第2タイミングの距離画像53Aにおけるヒストグラムが当該一定の傾向を有するか否かを判定することで、撮影装置101の設置状態の変化を検出することとしてもよい。
【0060】
検出部207が撮影装置101の設置状態の変化を検出すると、自動的又は手動により撮影装置101の設置状態が調整される。手動の調整とは、例えば、管理者が撮影装置101の設置状態を物理的に調整することであり、自動の調整とは、画像制御部206による回転制御により設置状態を仮想的に調整することである。
【0061】
自動の調整では、画像制御部206は、第2タイミングの第2の距離画像53における計数部204の計数結果に基づいて、当該第2の距離画像53を回転制御する。画像制御部206による回転制御は、既に上述した通りであるため詳細な説明を省略する。
【0062】
なお、撮影装置101を一度設置した後は、Y軸方向のずれはあまり生じない。そこで、設置状態の変化を調整する際の回転制御では、Y軸方向の平行移動(図7参照)は行わないこととしてもよい。検出部207の検出も同様であり、ホーム端Peの座標R3がY軸の中心座標Cと一致するか否かについては判定を省略することとしてもよい。
【0063】
監視制御部208は、画像制御部206が回転制御した距離画像53Aに基づいてプラットホームPや線路Rの監視制御を行う。具体的には、監視制御部208は、距離画像53Aに対して、監視エリアを設定し、監視制御を行う。
【0064】
ここで、距離画像53Aに対して設定する監視エリアの一例を図10に示す。監視制御部208は、回転後の距離画像53Aに対して、線路Rへの落下を監視する落下監視エリア、及びホーム端Peへの接近を監視する接近監視エリアを設定する。具体的には、監視制御部208は、距離画像53Aの全領域を、ホーム端Peを境にして線路側の領域とプラットホーム側の領域に分割し、線路側の領域のうちの任意の領域を落下監視エリアと設定し、プラットホーム側の領域のうちの任意の領域を接近監視エリアと設定する。
【0065】
一の線路と他の線路とが隣接する場合、路線によっては、線路間に資材を置くことがある。落下監視エリアは、この資材を線路内の異物として検出しないように、Y方向において適切な範囲を設定する必要がある。
この点、本実施形態では、監視制御部208は、図10に示すように、落下監視エリアのY座標を、座標Y1から座標Y2の範囲に設定する。座標Y1は、上部レールRauの座標R1よりも奥側50cmの位置であり、座標Y2は、ホーム端Peの座標R2である。なお、奥側50cmについては、画像素子1画素の大きさと、撮影装置101からの距離との関係に基づいて算出することができ、撮影装置101を線路面から4.3m上方に設置している場合には、50cmは47画素になる。
【0066】
接近監視エリアとしては、ホーム端Peから内側所定領域までを設定する必要がある。多くの駅において、プラットホームPには点字ブロックが設置されているため、ホーム端Peから点字ブロックまでの領域を接近監視エリアとして設定することとしてもよいが、点字ブロックの設置パターンは全ての駅において統一されているわけではないため、本実施形態では、次のような範囲に接近監視エリアを設定する。
具体的には、監視制御部208は、図10に示すように、接近監視エリアのY座標を、座標Y2から座標Y3の範囲に設定する。座標Y3は、座標Y2よりも手前側90cmの位置であり、撮影装置101をプラットホーム面から2.2m上方に設置している場合には、座標Y2+163(画素)が座標Y3となる。
【0067】
なお、落下監視エリア及び接近監視エリアのX方向の範囲は適宜任意に設定することができる。一例として、監視制御部208は、X方向の全範囲から両サイドのマージンと視差探索領域分を減算した範囲を、落下監視エリア及び接近監視エリアのX方向の範囲として設定する。
【0068】
監視制御部208は、距離画像53Aを探索し、落下監視エリア及び接近監視エリアに異常視差が存在するか否かを判定する。そして、監視制御部208は、落下監視エリア及び接近監視エリアに異常視差が存在する場合に、線路Rへの落下やホーム端Peへの接近を検知する。
【0069】
また、監視制御部208は、定期的に距離画像53AのX座標毎のヒストグラムやY座標毎のヒストグラムを監視し、X座標やY座標の視差ゼロの画素数の分布状況に基づいて、監視制御を継続するか中止するか判定する。
監視制御部208による監視は、距離画像53Aにおいて、線路RやプラットホームPが視差ゼロとなることに着目して行われる。しかしながら、降雪降雨時や積雪時は、視差ゼロの画素数の分布が通常時と大きく異なり、監視精度が低下してしまうため、監視制御部208は、距離画像53AのX座標毎のヒストグラムやY座標毎のヒストグラムから、周囲の天候状態(降雪降雨や積雪)を把握し、監視に適さない天候である場合に監視制御を中止する。
【0070】
図11は、周囲の天候状態に応じた視差ゼロの画素数を示すヒストグラムを模式的に示す図であり、図11(A)及び図11(C)は、通常時(例えば、晴天等)の視差ゼロの画素数を示すヒストグラムであり、図11(B)は、降雪降雨時の視差ゼロの画素数を示すヒストグラムであり、図11(D)は、積雪時の視差ゼロの画素数を示すヒストグラムである。なお、図11では、距離画像53AのX座標毎のヒストグラムを示しているが、Y座標毎のヒストグラムであっても同様の傾向を有する。
【0071】
枕木Rtの位置では視差ゼロの画素数が多いため、図11(A)に示すように、通常時のX座標毎のヒストグラムでは、視差ゼロの画素数のピーク(最大値や90パーセンタイル値等)が顕著にあらわれる。
他方、降雪降雨時には、降り積もる雪や降り注ぐ雨粒が第1撮影部及び第2撮影部において撮影される結果、雪や雨粒が存在する領域において視差が算出される。その結果、図11(B)に示すように、降雪降雨時のX座標毎のヒストグラムでは、視差ゼロの画素数のピークが低くなり、視差ゼロの画素数のボトム(最小値や10パーセンタイル値等)との差分が小さくなる。
【0072】
また、砂利Rbの位置では視差が算出されるため、図11(C)に示すように、通常時のX座標毎のヒストグラムでは、視差ゼロの画素数のボトムが顕著にあらわれる。
他方、積雪時には、線路Rに積もった雪により砂利Rbのパターンが覆い隠され、線路面が白一色のようにテクスチャが少ない状態になる。その結果、図11(D)に示すように、積雪時のX座標毎のヒストグラムでは、視差ゼロの画素数のボトムが高くなり、ピークとの差分が小さくなる。
【0073】
監視制御部208は、このような傾向に着目して、視差ゼロの画素数の分布状況が監視に適さない状況である場合に、監視制御を中止する。なお、視差ゼロの画素数の分布状況とは、例えば、視差ゼロの画素数のピークとボトムとの差分であってもよく、また、視差ゼロの画素数の全座標における平均値、分散、標準偏差等であってもよく、また、視差ゼロの画素数のピーク、ボトム、中央値等であってもよい。
【0074】
[撮影システム10の処理]
続いて、図12乃至図14を参照して、本発明の撮影システム10の処理の流れについて説明する。図12は、撮影装置101の設置時に各種設定を行う設置設定処理の流れを示すフローチャートである。
【0075】
設置作業員がプラットホームPの上部に撮影装置101を設置すると、ステップS1において、データ管理装置200の生成部203は、設置した撮影装置101が撮影した第1画像51及び第2画像52の視差から距離画像53を生成する。続いて、ステップS2において、データ管理装置200の計数部204は、距離画像53を走査してY座標毎の視差ゼロの画素数を計数し、ヒストグラム(図6(B)参照)を生成する。
【0076】
続いて、ステップS3において、データ管理装置200の画像制御部206は、プラットホームPや線路Rが水平になるように撮影できているかを判定する。具体的には、画像制御部206は、Y座標毎のヒストグラムを参照して、視差ゼロの画素数のピークが急峻か否かを判定し、ピークが急峻である場合に、水平に撮影できていると判定する。
この判定がNOの場合、ステップS4において、データ管理装置200の画像制御部206は、プラットホームPや線路Rが水平になるように距離画像53をヨー回転する。
【0077】
続いて、ステップS5において、データ管理装置200の計数部204は、距離画像53を走査してX座標毎の視差ゼロの画素数を計数し、ヒストグラム(図8(B)参照)を生成する。
【0078】
続いて、ステップS6において、データ管理装置200の画像制御部206は、ホーム端Peを真上から撮影できているかを判定する。具体的には、画像制御部206は、X座標毎のヒストグラムを参照して枕木Rtの位置を特定し、枕木Rtの間隔、幅、長さ等に基づいて、ホーム端Peを真上から撮影できているかを判定する。
この判定がNOの場合、ステップS7において、データ管理装置200の画像制御部206は、ホーム端Peを真上から撮影している状態になるように、距離画像53をロール回転する。
【0079】
ステップS3及びステップS6の判定がYESとなるように回転制御を行うと、ステップS8において、データ管理装置200は、回転した角度を撮影装置101に対応付けてセットし、当該撮影装置101に対する設置設定処理を完了し、次の撮影装置101の設置設定処理に移る。
【0080】
続いて、図13は、距離画像53に対して監視エリアを設定する監視エリア設定処理の流れを示すフローチャートである。
初めに、ステップS11において、データ管理装置200の計数部204は、距離画像53を走査してY座標毎の視差ゼロの画素数を計数し、ヒストグラムを生成する。続いて、データ管理装置200の監視制御部208は、ステップS12において、ホーム端Peを境に線路R側に落下監視エリアを設定し、ステップS13において、ホーム端Peを境にプラットホームP側に接近監視エリアを設定する。
【0081】
具体的には、監視制御部208は、上部レールRauよりも奥側の所定位置からホーム端Peまでの領域(Y座標)を落下監視エリアとして設定する。また、監視制御部208は、ホーム端Peから内側所定位置までの領域(Y座標)を接近監視エリアとして設定する。また、監視制御部208は、距離画像53の両サイドのマージンや視差探索領域等を考慮して、落下監視エリア及び接近監視エリアのX方向の範囲を設定する。
これにより、距離画像53には、図10に示す落下監視エリアや接近監視エリアが設定される。
【0082】
続いて、図14は、監視運用中に撮影装置101に対して各種設定を行う監視中設定処理の流れを示すフローチャートである。なお、撮影システム10は、夫々の撮影装置101が撮影した距離画像53を、設置設定処理においてセットした回転角度に基づいて回転制御した距離画像53Aに基づいて、プラットホームPや線路Rの監視を行う。
【0083】
初めに、ステップS21において、データ管理装置200の計数部204は、距離画像53を走査してY座標毎の視差ゼロの画素数を計数し、ヒストグラムを生成する。続いて、ステップS22において、データ管理装置200の検出部207は、水平設定に対する設置状態の変化があるか否かを判定する。具体的には、検出部207は、設置設定処理のヒストグラムとステップS21で生成したヒストグラムとを比較することで、又は、ステップS21で生成したヒストグラムが所定の傾向(例えば、レールRaに基づく視差ゼロのピークの急峻さ等)を有するか否か判定することで、水平設定に対する設置状態の変化の有無を判定する。
【0084】
ステップS22において設置状態が変化したと判定すると、ステップS23において、データ管理装置200の画像制御部206は、距離画像53を所定角度だけヨー回転する。続いて、ステップS24において、データ管理装置200の画像制御部206は、回転制限範囲内であるか判定する。なお、回転制限範囲とは、回転後の距離画像53Aにおいて、ホーム端Pe、落下監視エリア及び接近監視エリアが適切に認識できる範囲をいう。
ステップS24において、回転制限範囲内である場合には、データ管理装置200は、処理をステップS22に移し、水平設定のずれが解消されるまでステップS22乃至ステップS24の処理を繰り返す。
【0085】
水平設定のずれが解消されると、続いて、ステップS25において、データ管理装置200の計数部204は、距離画像53を走査してX座標毎の視差ゼロの画素数を計数し、ヒストグラムを生成する。続いて、ステップS26において、データ管理装置200の検出部207は、垂直設定に対する設置状態の変化があるか否かを判定する。具体的には、検出部207は、設置設定処理のヒストグラムとステップS25で生成したヒストグラムとを比較することで、又は、ステップS25で生成したヒストグラムが所定の傾向(例えば、枕木Rtの間隔、幅、長さ等が略一定等)を有するか否か判定することで、垂直設定に対する設置状態の変化の有無を判定する。
【0086】
ステップS26において設置状態が変化したと判定すると、ステップS27において、データ管理装置200の画像制御部206は、距離画像53を所定角度だけロール回転する。続いて、ステップS28において、データ管理装置200の画像制御部206は、回転制限範囲内であるか判定する。
ステップS28において、回転制限範囲内である場合には、データ管理装置200は、処理をステップS26に移し、垂直設定のずれが解消されるまでステップS26乃至ステップS28の処理を繰り返す。
【0087】
水平設定及び垂直設定のずれが解消されると、ステップS29において、データ管理装置200の監視制御部208は、監視制御を継続し、監視中設定処理を終了する。
【0088】
他方、回転制限範囲の回転制御では水平設定又は垂直設定のずれを解消できない場合、ステップS30において、データ管理装置200の監視制御部208は、監視制御を中止し、監視中設定処理を終了する。なお、ステップS30の処理は、例えば、強い衝撃等により撮影装置101の設置角度等が大きくずれた場合の他、上述のように降雪降雨や積雪により視差ゼロの画素数の分布状態が所定の傾向から大きくずれた場合に行われることになる。
【0089】
[撮影システム10における効果]
以上、本発明の実施形態について説明した。続いて、撮影システム10における効果について説明する。
【0090】
撮影システム10では、距離画像53においてレールRaやプラットホームPが傾いている場合、レールRaやプラットホームPがX方向に水平になるように、Z軸を中心に距離画像53をヨー回転する。具体的には、撮影システム10では、Y座標毎の視差ゼロのヒストグラムに基づいて、視差ゼロの画素数のピークが急峻になるように距離画像53をヨー回転する。
これにより、撮影装置101の設置時には、取り付ける角度や画角を精密に調整する必要がない。そのため、撮影システム10では、撮影装置101の設置に膨大な時間をかける必要がなく、撮影装置101の設置作業に要する時間を短縮することができる。
【0091】
このような設置時間を短縮できる効果は、プラットホーム全域に亘り監視を行う撮影システム10においてより顕著にあらわれる。
即ち、撮影システム10では、多数の撮影装置101を用いてプラットホームを監視するものの、設置作業時間を撮影装置101の夫々において短縮することができるため、撮影システム10全体において設置時間を大幅に短縮することができる。また、撮影装置101の設置は、鉄道車両の運行に影響を与えないように設置作業時間が夜間等に限られるものの、設置時間を大幅に短縮することができる結果、短期間のうちにプラットホーム全域を監視する撮影システム10を構築することができ、鉄道車両の安全な運行に寄与することができる。
【0092】
また、撮影システム10では、撮影装置101が撮影した距離画像53から被写体の3次元データ(XYZ座標)を算出できることに着目して、ホーム端Peを真上から撮影した状態となるように、X軸を中心に距離画像53をロール回転する。具体的には、撮影システム10では、X座標毎の視差ゼロのヒストグラムに基づいて、視差ゼロの画素数のピークの間隔等が一定になるように距離画像53をロール回転する。
これにより、撮影システム10では、撮影装置101の設置に膨大な時間をかける必要がなく、撮影装置101の設置作業に要する時間を短縮することができる。また、ロール回転により、ホーム端Peを真上から撮影したような距離画像53Aを得ることができるため、プラットホームPと線路Rとの境界部分の監視精度が向上し、プラットホーム上に存在するにも関わらず線路落下であると誤検知してしまうこと等を防止できる。
【0093】
また、撮影システム10では、監視運用中の撮影装置101の設置状態の変化を検出する。具体的には、監視運用中の視差ゼロのヒストグラムが、設置時の視差ゼロのヒストグラムに対して所定以上異なる場合や、一定の傾向を有しなくなった場合に、撮影装置101の設置状態の変化を検出する。
設置状態の変化に応じて適切な調整を行うことで、撮影システム10の安定的な運用が期待できる。なお、調整は、例えば、設置状態の変化を管理者に報知することで、管理者が手動で行うこともでき、また、画像制御部206の回転制御に基づいて自動的に行うこともできる。
【0094】
一方で、撮影システム10では、周囲の天候状態(降雪降雨や積雪)を把握し、監視に適さない天候である場合に監視制御を中止する。具体的には、撮影システム10では、視差ゼロの画素数の分布状況に基づいて周囲の天候状態を把握し、監視制御の継続/中止を判定する。
上述のように降雪降雨や積雪には、視差ゼロの画素数の傾向が通常時と比べて大きく異なるため、このような場合に監視制御を中止することで、誤検知や検知漏れを防止することができる。なお、監視制御を中止した場合には、管理者(駅員)に対してその旨を適切に報知することがより好ましい。
【0095】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【0096】
10・・・撮影システム
100・・・撮影装置群
101・・・撮影装置
200・・・データ管理装置(画像処理装置)
201・・・制御部
202・・・記憶部
203・・・生成部
204・・・計数部
205・・・特定部
206・・・画像制御部
207・・・検出部
208・・・監視制御部
300・・・ハブ
400・・・モニタ
図1
図2A
図2B
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14