特開 2022-154357 画像処理システムおよび画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022154357

(43)【公開日】2022-10-13

(54)【発明の名称】画像処理システムおよび画像処理方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221005BHJP

   G06T 3/00 20060101ALI20221005BHJP

【ＦＩ】

H04N5/232 290

G06T3/00 750

G06T3/00 720

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021057354

(22)【出願日】2021-03-30

(71)【出願人】

【識別番号】000003757

【氏名又は名称】東芝ライテック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】斎藤 靖弘

(72)【発明者】

【氏名】井上 優

(72)【発明者】

【氏名】平松 拓朗

(72)【発明者】

【氏名】高原 雄一郎

(72)【発明者】

【氏名】加藤 俊也

(72)【発明者】

【氏名】石川 琢視

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057AA19

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD01

5B057CD12

5B057CE08

5B057DA07

5B057DB02

5B057DB09

5C122DA11

5C122EA61

5C122FA18

5C122FH04

5C122FH06

5C122FH11

5C122FH18

5C122GE24

5C122GG14

5C122HB01

(57)【要約】

【課題】作業エリアの状況が認識しやすい俯瞰画像を生成すること。
【解決手段】実施形態に係る画像処理システムは、マーカーが設置される基準面を撮像する複数のカメラと、情報処理装置と、を具備する。また、マーカーは、互いに隣接する一対のカメラ同士のいずれの視野にも入るように設置される。また、情報処理装置は、取得部と、補正部と、変換部と、生成部と、を有する。取得部は、複数のカメラによってそれぞれ撮像された複数の撮像画像を取得する。補正部は、複数の撮像画像の歪みをマーカーに基づいてそれぞれ補正する。変換部は、補正部で生成された複数の補正画像を、基準面とは異なる高さの面を基準とする変換画像に変換する。生成部は、複数の変換画像を合成することにより、基準面とは異なる高さの面を基準とする俯瞰画像を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

マーカーが設置される基準面を撮像する複数のカメラと；
情報処理装置と；
を具備し、
前記マーカーは、互いに隣接する一対の前記カメラ同士のいずれの視野にも入るように設置され、
前記情報処理装置は、
複数の前記カメラによってそれぞれ撮像された複数の撮像画像を取得する取得部と；
複数の前記撮像画像の歪みを前記マーカーに基づいてそれぞれ補正する補正部と；
前記補正部で生成された複数の補正画像を、前記基準面とは異なる高さの面を基準とする変換画像に変換する変換部と；
複数の前記変換画像を合成することにより、前記基準面とは異なる高さの面を基準とする俯瞰画像を生成する生成部と；
を有する画像処理システム。

【請求項2】

前記変換部は、
一部の前記カメラによって撮像され、前記補正部で生成された前記補正画像を、前記変換画像に変換し、
前記生成部は、
前記変換部で生成された前記変換画像と、残りの前記カメラによって撮像され、前記補正部で生成された前記補正画像とを合成することにより、一部の領域が前記基準面とは異なる高さの面を基準とし、残りの領域が前記基準面を基準とする俯瞰画像を生成する
請求項１に記載の画像処理システム。

【請求項3】

前記情報処理装置は、
前記カメラの視野に入った物体の高さを推定する推定部；
をさらに有し、
前記変換部は、前記物体が含まれる前記補正画像を、前記推定部で推定された前記物体の高さと同じ高さの面を基準とする前記変換画像に変換する
請求項２に記載の画像処理システム。

【請求項4】

複数の前記カメラは、複数の照明装置にそれぞれ具備される
請求項１～３のいずれか一つに記載の画像処理システム。

【請求項5】

情報処理装置が、
マーカーが設置される基準面を撮像する複数のカメラによってそれぞれ撮像された複数の撮像画像を取得する取得工程と；
複数の前記撮像画像の歪みを、互いに隣接する一対の前記カメラ同士のいずれの視野にも入るように設置される前記マーカーに基づいてそれぞれ補正する補正工程と；
前記補正工程で生成された複数の補正画像を、前記基準面とは異なる高さの面を基準とする変換画像に変換する変換工程と；
複数の前記変換画像を合成することにより、前記基準面とは異なる高さの面を基準とする俯瞰画像を生成する生成工程と；
を実行する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理システムおよび画像処理方法に関する。

【背景技術】

【0002】

複数のカメラを用いて工場の作業エリアの俯瞰画像を生成する画像処理システムが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１２７３７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような画像処理システムでは、撮像画像の歪みが大きい場合、隣接する一対のカメラでそれぞれ撮像された一対の撮像画像のつなぎ目が不連続となってしまうため、作業エリアの状況を直感的に認識することが困難であった。

【0005】

本発明が解決しようとする課題は、作業エリアの状況が認識しやすい俯瞰画像を生成することができる画像処理システムおよび画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

実施形態に係る画像処理システムは、マーカーが設置される基準面を撮像する複数のカメラと、情報処理装置と、を具備する。また、前記マーカーは、互いに隣接する一対の前記カメラ同士のいずれの視野にも入るように設置される。また、前記情報処理装置は、取得部と、補正部と、変換部と、生成部と、を有する。取得部は、複数の前記カメラによってそれぞれ撮像された複数の撮像画像を取得する。補正部は、複数の前記撮像画像の歪みを前記マーカーに基づいてそれぞれ補正する。変換部は、前記補正部で生成された複数の補正画像を、前記基準面とは異なる高さの面を基準とする変換画像に変換する。生成部は、複数の前記変換画像を合成することにより、前記基準面とは異なる高さの面を基準とする俯瞰画像を生成する。

【発明の効果】

【0007】

本発明によれば、作業エリアの状況が認識しやすい俯瞰画像を生成することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る画像処理システムが有する照明装置の外観例を示す斜視図である。

【図2】図２は、実施形態に係る画像処理システムの概要を示す図である。

【図3】図３は、実施形態に係る作業エリアにおける照明装置およびマーカーの配置の一例を示す概略平面図である。

【図4】図４は、図３に示すＡ－Ａ線の矢視断面図である。

【図5】図５は、実施形態に係るマーカーの一例を示す図である。

【図6】図６は、実施形態に係る情報処理装置の構成を示すブロック図である。

【図7A】図７Ａは、撮像画像の一例を示す図である。

【図7B】図７Ｂは、撮像画像の一例を示す図である。

【図7C】図７Ｃは、撮像画像の一例を示す図である。

【図8A】図８Ａは、歪みが補正された補正画像の一例を示す図である。

【図8B】図８Ｂは、歪みが補正された補正画像の一例を示す図である。

【図8C】図８Ｃは、歪みが補正された補正画像の一例を示す図である。

【図9】図９は、俯瞰画像の一例を示す図である。

【図10】図１０は、撮像画像の一例を示す図である。

【図11】図１１は、歪みが補正された補正画像の一例を示す図である。

【図12】図１２は、変換処理を行う前の俯瞰画像の一例を示す図である。

【図13】図１３は、変換処理が施された俯瞰画像の一例を示す図である。

【図14】図１４は、実施形態に係る情報処理装置が実行する処理手順を示すフローチャートである。

【図15】図１５は、実施形態の変形例に係る情報処理装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下で説明する実施形態に係る画像処理システム１は、マーカーＭが設置される基準面を撮像する複数のカメラ１６と、情報処理装置２０と、を具備する。また、マーカーＭは、互いに隣接する一対のカメラ１６同士のいずれの視野１６ｂにも入るように設置される。また、情報処理装置２０は、取得部２３ａと、補正部２３ｂと、変換部２３ｄと、生成部２３ｃと、を有する。取得部２３ａは、複数のカメラ１６によってそれぞれ撮像された複数の撮像画像Ｖを取得する。補正部は、複数の撮像画像Ｖの歪みをマーカーＭに基づいてそれぞれ補正する。変換部２３ｄは、補正部２３ｂで生成された複数の補正画像Ｖａを、基準面とは異なる高さの面を基準とする変換画像Ｖｂに変換する。生成部２３ｃは、複数の変換画像Ｖｂを合成することにより、基準面とは異なる高さの面を基準とする俯瞰画像Ｖｓ’を生成する。

【0010】

また、以下で説明する実施形態に係る画像処理システム１において、変換部２３ｄは、一部のカメラ１６によって撮像され、補正部２３ｂで生成された補正画像Ｖａを、変換画像Ｖｂに変換する。また、生成部２３ｃは、変換部２３ｄで生成された変換画像Ｖｂと、残りのカメラ１６によって撮像され、補正部２３ｂで生成された補正画像Ｖａとを合成することにより、一部の領域が基準面とは異なる高さの面を基準とし、残りの領域が基準面を基準とする俯瞰画像Ｖｓ’を生成する。

【0011】

また、以下で説明する実施形態に係る画像処理システム１において、情報処理装置２０は、カメラ１６の視野１６ｂに入った物体の高さを推定する推定部２３ｅ、をさらに有する。また、変換部２３ｄは、物体が含まれる補正画像Ｖａを、推定部２３ｅで推定された物体の高さと同じ高さの面を基準とする変換画像Ｖｂに変換する。

【0012】

また、以下で説明する実施形態に係る画像処理システム１において、複数のカメラ１６は、複数の照明装置１０にそれぞれ具備される。

【0013】

また、以下で説明する実施形態に係る画像処理方法は、情報処理装置２０が、取得工程と、補正工程と、変換工程と、生成工程と、を実行する。取得工程は、マーカーＭが設置される基準面を撮像する複数のカメラ１６によってそれぞれ撮像された複数の撮像画像Ｖを取得する。補正工程は、複数の撮像画像Ｖの歪みを、互いに隣接する一対のカメラ１６同士のいずれの視野１６ｂにも入るように設置されるマーカーＭに基づいてそれぞれ補正する。変換工程は、補正工程で生成された複数の補正画像Ｖａを、基準面とは異なる高さの面を基準とする変換画像Ｖｂに変換する。生成工程は、複数の変換画像Ｖｂを合成することにより、基準面とは異なる高さの面を基準とする俯瞰画像Ｖｓ’を生成する。

【0014】

以下、図面を参照して、実施形態に係る画像処理システムおよび画像処理方法を説明する。実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0015】

［照明装置］
最初に、実施形態に係る照明装置１０の構成について、図１を参照しながら説明する。図１は、実施形態に係る画像処理システム１（図２参照）が有する照明装置１０の外観例を示す斜視図である。

【0016】

図１に示すように、照明装置１０は、照明部１１と、撮像ユニット１２と、本体部１３とを具備する。照明装置１０は、たとえば、本体部１３が天井面近傍のレール３１（図４参照）などに設置され、照明部１１から出力される光が床面３２（図４参照）へと照射される天井直付けタイプの照明装置である。照明装置１０は、たとえば工場での生産ラインの監視やオフィス内での従業員の状態監視などの用途で主に屋内で使用される。

【0017】

なお、説明を分かりやすくするために、本開示の図面には、鉛直下向きを正方向とし、鉛直上向きを負方向とするＺ軸を含む３次元の直交座標系を図示している。また、Ｘ軸は照明装置１０の長さ方向に、Ｙ軸は照明装置１０の幅方向に、それぞれ沿うように図示している。

【0018】

照明部１１は、Ｙ軸方向に沿うように配置された、長尺状のシャーシまたは基板（不図示）上に所定の間隔で配置された複数の発光素子（不図示）を有し、シャーシとの間に発光素子が収容されるよう床面３２側、すなわちＺ軸正方向側に拡散カバー１４が設けられた照明バーである。

【0019】

拡散カバー１４は、たとえば、アクリルやポリカーボネートなどの透光性の材料から作られている。拡散カバー１４は、フロスト処理が施されて複数の発光素子から出射される光を拡散する機能を有するようになっている。なお、拡散カバー１４に適宜拡散材や着色剤を混入させてもよい。

【0020】

撮像ユニット１２は、遮光カバー１５と、カメラ１６とを有する。撮像ユニット１２は、照明部１１のＸ軸負方向側に隣り合うように並んで配置される。

【0021】

本体部１３は、照明部１１および撮像ユニット１２を保持する。また、本体部１３は、照明装置１０を天井その他の所定の位置に取り付けるための取付部材を兼ねる。

【0022】

遮光カバー１５は、本体部１３との間にカメラ１６を覆うように本体部１３のＺ軸正方向側に配設される。また、遮光カバー１５は、カメラ１６のレンズと対向する位置に設けられた貫通口を有する。このような遮光カバー１５を配設することで、照明部１１の拡散カバー１４から照射された光をカメラ１６のレンズに入り込みにくくすることができる。

【0023】

［画像処理システム］
つづいて、実施形態に係る画像処理システム１の構成について、図２～図５を参照しながら説明する。図２は、実施形態に係る画像処理システム１の概要を示す図である。なお、以下では、画像処理システム１が工場に導入される場合を例に挙げて説明する。

【0024】

図２に示すように、実施形態に係る画像処理システム１は、複数の照明装置１０と、情報処理装置２０とを具備する。また、図２に示す例では、各照明装置１０が工場の作業現場（たとえば、倉庫など）に設置される場合を示す。

【0025】

複数の照明装置１０は、たとえば、倉庫内の作業エリア３０（図３参照）の上部にそれぞれ設けられ、カメラ１６により、各作業エリア３０を上部から撮像する。

【0026】

情報処理装置２０は、作業現場に設置された各照明装置１０を管理する装置である。たとえば、情報処理装置２０は、ネットワークＮを介して、各照明装置１０の照明部１１の照明態様や、カメラ１６の撮像処理などを遠隔で制御する。

【0027】

また、情報処理装置２０は、各照明装置１０のカメラ１６で撮像された撮像画像を収集し、記憶する。たとえば、情報処理装置２０によって収集された撮像画像は、作業現場の監視などに用いられる。なお、本開示において、照明装置１０のカメラ１６で撮像された撮像画像には、撮像映像が含まれる。

【0028】

図３は、実施形態に係る作業エリア３０における照明装置１０およびマーカーＭの配置の一例を示す概略平面図であり、図４は、図３に示すＡ－Ａ線の矢視断面図である。

【0029】

図３に示すように、実施形態では、作業エリア３０に複数の照明装置１０が平面視で行列状に並んで配置される。かかる複数の照明装置１０は、たとえば、図４に示すように、作業エリア３０の上部に位置するレール３１に設置される。

【0030】

また、照明装置１０に具備されるカメラ１６は、図４に示すように、作業エリア３０の床面３２に対して略垂直な光軸１６ａでかかる床面３２を撮像する。床面３２は、基準面の一例である。

【0031】

また、複数のカメラ１６（すなわち、複数の照明装置１０）は、たとえば、床面３２に対して略等しい高さＨ１に設置される。たとえば、実施形態では、レール３１が床面３２と略平行に設置されることにより、複数のカメラ１６が床面３２に対して略等しい高さＨ１に設置される。

【0032】

床面３２には、図３に示すように、複数のマーカーＭが設置される。かかるマーカーＭは、平面視において、互いに隣接する一対のカメラ１６同士の間に設置される。さらに、このマーカーＭは、図４に示すように、互いに隣接する一対のカメラ１６同士のいずれの視野１６ｂにも入るように設置される。

【0033】

図５は、実施形態に係るマーカーＭの一例を示す図である。図５に示すように、実施形態に係るマーカーＭは、間隔を空けて一列に交互に並んだ２つのマーカーＭ１および２つのマーカーＭ２によって構成される。

【0034】

マーカーＭ１およびマーカーＭ２は、たとえば、いずれも略正方形状であり、１辺の長さが同じ長さＸ１（たとえば、１０（ｃｍ）程度）である。一方で、マーカーＭ１およびマーカーＭ２は、たとえば、互いに異なる色（たとえば、赤と青）を有している。また、互いに隣接するマーカーＭ１の中心とマーカーＭ２の中心との間隔は、たとえば、すべて略等しい長さＸ２（たとえば、２５（ｃｍ）程度）である。

【0035】

このように、全体的に細長い形状を有するマーカーＭの両端は、図３に示すように、平面視において、マーカーＭに隣接する一対のカメラ１６にそれぞれ向かうように配置される。すなわち、平面視で１つのカメラ１６の周囲に位置し、かかるカメラ１６の視野１６ｂに入る複数のマーカーＭは、すべての一方の端部がかかるカメラ１６に向かうように配置される。

【0036】

これにより、マーカーＭが隣接する両方のカメラ１６の視野１６ｂの中に、かかるマーカーＭの少なくとも一部を入りやすくすることができる。なお、作業エリア３０の床面３２に設置される複数のマーカーＭは、すべて同じ形状であるとよい。

【0037】

また、実施形態に係るマーカーＭは、図５の例に限られず、寸法が既知であるマーカーであれば、さまざまな形状や配置のマーカーを用いることができる。たとえば、図５の例では、合わせて４つのマーカーＭ１、Ｍ２を組み合わせてマーカーＭを形成する例について示したが、本開示はかかる例に限られず、たとえば、合わせて２つ以上のマーカーＭ１、Ｍ２を組み合わせてマーカーＭを形成してもよい。

【0038】

［情報処理装置］
つづいて、実施形態に係る情報処理装置２０の構成について、図６を参照しながら説明する。図６は、実施形態に係る情報処理装置２０の構成を示すブロック図である。図６に示すように、情報処理装置２０は、通信部２１と、記憶部２２と、制御部２３と、基準クロック生成部２４とを具備する。

【0039】

通信部２１は、たとえば、ＮＩＣ（Network Interface Card）などによって実現される。通信部２１は、たとえば、ネットワークＮを介して、複数の照明装置１０（図２参照）との間で情報の送受信を行う。

【0040】

記憶部２２は、たとえば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。

【0041】

制御部２３は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって、情報処理装置２０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

【0042】

また、制御部２３は、たとえば、コントローラであり、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現される。

【0043】

図６に示すように、制御部２３は、取得部２３ａと、補正部２３ｂと、生成部２３ｃと、変換部２３ｄと、推定部２３ｅとを具備し、以下に説明する制御処理の機能や作用を実現または実行する。なお、制御部２３の内部構成は、図６に示した構成に限られず、後述する制御処理を行う構成であれば他の構成であってもよい。

【0044】

取得部２３ａは、複数の照明装置１０のカメラ１６によってそれぞれ撮像された複数の撮像画像Ｖ（図７Ａ～図７Ｃ参照）を取得する。たとえば、取得部２３ａは、リアルタイムで各照明装置１０のカメラ１６から複数の撮像画像Ｖを取得し、取得した複数の撮像画像Ｖを記憶部２２に格納する。

【0045】

補正部２３ｂは、複数の撮像画像Ｖの歪みを、かかる撮像画像Ｖに含まれるマーカーＭに基づいてそれぞれ補正し、歪みが補正された複数の補正画像Ｖａ（図８Ａ～図８Ｃ参照）を生成する。

【0046】

生成部２３ｃは、補正部２３ｂで生成された複数の補正画像Ｖａを合成することにより、床面３２を基準とする俯瞰画像Ｖｓ（図９参照）を生成する。

【0047】

変換部２３ｄは、補正部２３ｂによって生成された複数の補正画像Ｖａを、床面３２とは異なる高さの面を基準とする変換画像Ｖｂ（図１３参照）に変換する。推定部２３ｅは、カメラ１６の視野１６ｂに入った物体の高さを推定する。

【0048】

基準クロック生成部２４は、複数のカメラ１６でそれぞれ撮像される撮像画像の時刻を同期させるための基準クロックを生成する。これにより、実施形態では、時刻の揃った複数の撮像画像Ｖを取得部２３ａが取得することができる。

【0049】

［画像処理の詳細］
つづいて、情報処理装置２０が実施する画像処理の詳細について、図７Ａ～図１１を参照しながら説明する。図７Ａ～図７Ｃは、撮像画像Ｖ１～Ｖ３の一例を示す図である。なお、図７Ａ～図７Ｃには、順々にＹ軸正方向に向かうように並んだ３つのカメラ１６でそれぞれ同じ時刻に撮像された撮像画像Ｖ１～Ｖ３がそれぞれ示されている。なお、本開示では、撮像画像Ｖ１～Ｖ３を総称して「撮像画像Ｖ」とも呼称する。

【0050】

図７Ａに示すように、撮像画像Ｖ１には、たとえば、視野１６ｂ（図４参照）の上下左右方向にそれぞれ配置される４つのマーカーＭと、床面３２（図４参照）に記される太線Ｌ１ａおよび破線Ｌ２ａと、フォークリフトＦ１とが記録される。

【0051】

また、図７Ｂに示すように、撮像画像Ｖ２には、たとえば、視野１６ｂの上下左右方向にそれぞれ配置される４つのマーカーＭと、床面３２に記される太線Ｌ１ｂおよび破線Ｌ２ｂとが記録される。

【0052】

また、図７Ｃに示すように、撮像画像Ｖ３には、たとえば、視野１６ｂの上下左右方向にそれぞれ配置される４つのマーカーＭと、床面３２に記される太線Ｌ１ｃおよび破線Ｌ２ｃと、フォークリフトＦ２とが記録される。

【0053】

ここで、実施形態では、図７Ａ～図７Ｃに示すように、複数のカメラ１６でそれぞれ撮像される撮像画像Ｖ１～Ｖ３には、歪みが生じている。かかる複数の撮像画像Ｖ１～Ｖ３に生じている歪みは、たとえば、カメラ１６に設けられるレンズの歪曲収差などが原因である。

【0054】

そして、このように歪んでいる複数の撮像画像Ｖ１～Ｖ３をそのまま合成して俯瞰画像を生成すると、かかる俯瞰画像では、撮像画像Ｖ１と撮像画像Ｖ２とのつなぎ目や、撮像画像Ｖ２と撮像画像Ｖ３とのつなぎ目が不連続となってしまう。

【0055】

したがって、撮像画像Ｖ１～Ｖ３をそのまま合成して俯瞰画像を生成した場合、作業エリア３０の状況を直感的に認識することは困難である。

【0056】

そこで、実施形態では、俯瞰画像を生成する前に、撮像画像Ｖ１～Ｖ３の歪みを補正部２３ｂで補正し、補正画像Ｖ１ａ～Ｖ３ａを生成する。図８Ａ～図８Ｃは、歪みが補正された補正画像Ｖ１ａ～Ｖ３ａの一例を示す図である。

【0057】

補正部２３ｂは、複数の撮像画像Ｖ１～Ｖ３にそれぞれ含まれるマーカーＭに基づいて、種々の公知の手法を用いて複数の撮像画像Ｖ１～Ｖ３の歪みを補正する。ここで、実施形態では、図５に示したように、マーカーＭのサイズ（長さＸ１、Ｘ２）が既知であり、また図４に示したように、床面３２に対するカメラ１６の高さＨ１も既知である。

【0058】

そのため、実施形態では、図８Ａ～図８Ｃに示すように、歪みが精度よく補正された複数の補正画像Ｖ１ａ～Ｖ３ａを取得することができる。なお、本開示では、補正画像Ｖ１ａ～Ｖ３ａを総称して「補正画像Ｖａ」とも呼称する。

【0059】

つづいて、実施形態では、生成部２３ｃが、歪み補正が施された補正画像Ｖ１ａ～Ｖ３ａを合成して、床面３２を基準とする俯瞰画像Ｖｓを生成する。図９は、俯瞰画像Ｖｓの一例を示す図である。

【0060】

図９に示すように、互いに隣接する箇所を撮像した補正画像Ｖ１ａおよび補正画像Ｖ２ａでは、同じマーカーＭをそれぞれ撮像している。そのため、生成部２３ｃは、かかる同じマーカーＭが重複領域Ｖ１２で重なって表示されるように、補正画像Ｖ１ａおよび補正画像Ｖ２ａを合成する。

【0061】

同様に、互いに隣接する箇所を撮像した補正画像Ｖ２ａおよび補正画像Ｖ３ａでは、同じマーカーＭをそれぞれ撮像している。そのため、生成部２３ｃは、かかる同じマーカーＭが重複領域Ｖ２３で重なって表示されるように、補正画像Ｖ２ａおよび補正画像Ｖ３ａを合成する。

【0062】

このように、実施形態では、床面３２に設置されたマーカーＭを位置合わせに利用して複数の補正画像Ｖ１ａ～Ｖ３ａを合成する。これにより、実施形態に係る生成部２３ｃは、作業エリア３０の状況が認識しやすい俯瞰画像Ｖｓを生成することができる。

【0063】

たとえば、生成部２３ｃは、図９に示すように、太線Ｌ１ａ～Ｌ１ｃが１本の太線Ｌ１に合成され、破線Ｌ２ａ～Ｌ２ｃが１本の破線Ｌ２に合成された俯瞰画像Ｖｓを生成することができる。また、生成部２３ｃは、作業エリア３０においてフォークリフトＦ１、Ｆ２がどこで作業をしているかを容易に認識することができる俯瞰画像Ｖｓを生成することができる。

【0064】

ここまで説明したように、実施形態に係る情報処理装置２０は、基準面である床面３２に設置された複数のマーカーＭを用いて、複数の撮像画像Ｖから俯瞰画像Ｖｓを生成する。これにより、情報処理装置２０は、作業エリア３０の状況が認識しやすい俯瞰画像Ｖｓを生成することができる。

【0065】

また、実施形態では、カメラ１６の光軸１６ａが床面３２に対して略垂直であるとよい。これにより、カメラ１６の光軸１６ａが床面３２に対して傾いている場合と比べて、上下左右に歪みの偏りが小さい（換言すると、上下左右に略均等に歪んだ）撮像画像Ｖを取得することができる。

【0066】

そのため、実施形態では、補正部２３ｂにおいて上下左右に歪みの偏りが大きい撮像画像Ｖを補正する場合と比べて、歪みの小さい補正画像Ｖａを生成することができる。したがって、実施形態によれば、作業エリア３０の状況がさらに認識しやすい俯瞰画像Ｖｓを生成することができる。

【0067】

なお、実施形態では、カメラ１６の光軸１６ａが床面３２に対して傾いている場合に、補正部２３ｂは、上述した撮像画像Ｖの歪みを補正するのと同時に、かかる傾きも補正された補正画像Ｖａを生成してもよい。

【0068】

これにより、隣接する補正画像Ｖａと重複領域で良好に重複する補正画像Ｖａを生成することができることから、作業エリア３０の状況がさらに認識しやすい俯瞰画像Ｖｓを生成することができる。

【0069】

なお、カメラ１６の光軸１６ａが床面３２に対して傾いている場合、補正部２３ｂは、撮像画像Ｖに含まれるマーカーＭに基づいて、傾きが補正された補正画像Ｖａを生成するとよい。

【0070】

これにより、補正部２３ｂは、歪みおよび傾きがさらに精度よく補正された補正画像Ｖａを生成することができる。したがって、実施形態によれば、作業エリア３０の状況がさらに認識しやすい俯瞰画像Ｖｓを生成することができる。

【0071】

また、実施形態では、マーカーＭが、撮像画像Ｖの周縁部に位置するように設置されるとよい。このように、中央部に比べて歪みの大きい撮像画像Ｖの周縁部にマーカーＭを表示させることにより、歪みが大きい周縁部を精度よく補正することができる。

【0072】

したがって、実施形態によれば、歪みがさらに精度よく補正された補正画像Ｖａを生成することができることから、作業エリア３０の状況がさらに認識しやすい俯瞰画像Ｖｓを生成することができる。

【0073】

また、実施形態では、マーカーＭが撮像画像Ｖの周縁部に位置するように設置されることにより、かかるマーカーＭを重複領域で重ねられるように、一対の補正画像Ｖａ同士を合成することができる。したがって、実施形態によれば、重複領域での不整合が小さく、作業エリア３０の状況が認識しやすい俯瞰画像Ｖｓを生成することができる。

【0074】

また、実施形態では、複数のカメラ１６が、床面３２に対して略等しい高さＨ１に設置されるとよい。これにより、複数のカメラ１６で撮像可能な範囲を揃えることができることから、俯瞰画像Ｖｓを生成する前に、各補正画像Ｖａの倍率を揃える処理を省くことができる。

【0075】

したがって、実施形態によれば、複数のカメラ１６が床面３２に対して略等しい高さＨ１に設置されることにより、俯瞰画像Ｖｓを簡便に生成することができる。

【0076】

なお、本開示では、すべてのカメラ１６が床面３２に対して略等しい高さＨ１に設置されてもよいし、一部のカメラ１６が異なる高さで設置されていてもよい。さらに、本開示では、すべてのカメラ１６が互いに異なる高さで設置されていてもよい。

【0077】

なお、少なくとも一部のカメラ１６が残りのカメラ１６と異なる高さで設置されている場合、補正部２３ｂは、俯瞰画像Ｖｓを生成する前に、各補正画像Ｖａの倍率を揃える処理を実施するとよい。これにより、生成部２３ｃは、作業エリア３０の状況が認識しやすい俯瞰画像Ｖｓを生成することができる。

【0078】

また、実施形態では、複数の照明装置１０にそれぞれ具備される複数のカメラ１６を用いて俯瞰画像Ｖｓを生成するとよい。これにより、照度が高く鮮明な作業エリア３０の撮像画像Ｖを取得することができることから、照度が高く鮮明な俯瞰画像Ｖｓを生成することができる。したがって、実施形態によれば、作業エリア３０の状況がさらに認識しやすい俯瞰画像Ｖｓを生成することができる。

【0079】

さらに、複数の照明装置１０にそれぞれ具備される複数のカメラ１６を用いて俯瞰画像Ｖｓを生成することにより、かかる照明装置１０に起因する床面３２の光沢度の高い部位を活用することができる。図１０は、撮像画像Ｖ４の一例を示す図である。

【0080】

図１０に示すように、撮像画像Ｖ４には、複数のマーカーＭに加えて、照明装置１０に起因する床面３２の光沢度の高い部位Ｇが映り込んでいる。この光沢度の高い部位Ｇは、たとえば、比較的反射率が大きい床面３２において顕著に発生する。

【0081】

そして、実施形態では、図２に示したように、複数の照明装置１０が行列状に配置されることから、複数の部位Ｇは、撮像画像Ｖ４において行列状でかつ歪んだ位置に映り込んでいる。

【0082】

ここで、実施形態では、この部位ＧをマーカーＭとは異なる第２のマーカーとして用いて撮像画像Ｖ４を補正する。そして、実施形態では、複数の照明装置１０が並ぶ間隔が既知であることから、図１１に示すように、歪みがさらに精度よく補正された補正画像Ｖ４ａを取得することができる。図１１は、歪みが補正された補正画像Ｖ４ａの一例を示す図である。

【0083】

したがって、実施形態によれば、作業エリア３０の状況がさらに認識しやすい俯瞰画像Ｖｓを生成することができる。

【0084】

また、実施形態では、一部の照明装置１０の照明態様を変更しながら、部位Ｇを用いて補正処理を行ってもよい。これにより、照明様態が変更された照明装置１０に起因する部位Ｇの映り込み状態を変更することができることから、映り込み状態が変化した部位Ｇの位置に基づいて撮像画像Ｖの補正処理を実施することができる。

【0085】

したがって、実施形態によれば、歪みがさらに精度よく補正された補正画像Ｖａを生成することができることから、作業エリア３０の状況がさらに認識しやすい俯瞰画像Ｖｓを生成することができる。

【0086】

［変形例］
つづいて、実施形態の変形例について、図１２および図１３を参照しながら説明する。図１２は、変換処理を行う前の俯瞰画像Ｖｓの一例を示す図である。

【0087】

上述したように、実施形態に係る画像処理では、床面３２を基準とする俯瞰画像Ｖｓが生成される。そのため、実施形態の図９に示したように、床面３２に記された太線Ｌ１や破線Ｌ２などは高い精度で歪みを補正することができる。

【0088】

一方で、床面３２を基準とする俯瞰画像Ｖｓにおいて、床面３２よりも高い位置にある物体は、妥当な位置からズレた位置に補正される。また、この高い位置にある物体の位置ズレは、撮像画像Ｖの周縁部で顕著に発生する。

【0089】

そのため、図１２に示すように、補正画像Ｖ５ａと補正画像Ｖ６ａとの境界部にそれぞれ高い物体がある場合には、かかる補正画像Ｖ５ａと補正画像Ｖ６ａとの境界が不連続となった俯瞰画像Ｖｓが生成される。

【0090】

たとえば、図１２の例では、補正画像Ｖ５ａにトラックＴ１が表示され、補正画像Ｖ６ａにフォークリフトＦ３が表示される。一方で、トラックＴ１およびフォークリフトＦ３はいずれも高い物体であることから、妥当な位置からズレた位置に補正されるため、補正画像Ｖ５ａと補正画像Ｖ６ａとの境界が不連続となっている。

【0091】

そこで、この変形例では、かかる不具合を改善するため、補正部２３ｂによる撮像画像Ｖに対する補正処理の後に、床面３２とは異なる高さの面を基準とする変換画像に変換する変換処理を行う。図１３は、変換処理が施された俯瞰画像Ｖｓ’の一例を示す図である。

【0092】

図１３の例では、たとえば、変換部２３ｄが、図１２に示した補正画像Ｖ５ａ、Ｖ６ａを、床面３２より高い面（たとえば、床面３２から１（ｍ）の高さの面）を基準とする変換画像Ｖ５ｂ、Ｖ６ｂに、種々の公知の手法を用いて変換する。

【0093】

そして、生成部２３ｃは、かかる変換画像Ｖ５ｂおよび変換画像Ｖ６ｂを合成して、俯瞰画像Ｖｓ’を生成する。なお、本開示では、変換画像Ｖ５ｂ、Ｖ６ｂを総称して「変換画像Ｖｂ」とも呼称する。

【0094】

これにより、床面３２とは異なる高さの面を基準とする俯瞰画像Ｖｓ’を生成することができることから、かかる床面３２とは異なる高さの面において歪みの小さい俯瞰画像Ｖｓ’を生成することができる。そのため、図１３に示すように、かかるフォークリフトＦ３がトラックＴ１に荷物を搬入する様子を俯瞰画像Ｖｓ’によって認識することができる。

【0095】

このように、変形例では、変換部２３ｄによって補正画像Ｖａを変換画像Ｖｂに変換することにより、俯瞰画像Ｖｓ’において境界が不連続になることを抑制することができる。したがって、変形例によれば、作業エリア３０の状況が認識しやすい俯瞰画像Ｖｓ’を生成することができる。

【0096】

なお、この変形例では、すべてのカメラ１６の補正画像Ｖａを変換部２３ｄで変換して俯瞰画像Ｖｓ’を生成してもよい。また、この変形例では、一部のカメラ１６の補正画像Ｖａを変換部２３ｄで変換するとともに、残りのカメラ１６の補正画像Ｖａは変換せずにそのままの形で残した状態で俯瞰画像Ｖｓ’を生成してもよい。

【0097】

このように、一部のカメラ１６の補正画像Ｖａを変換部２３ｄで変換して俯瞰画像Ｖｓ’を生成することにより、高い物体が存在しない領域と、高い物体が存在する領域とが混在する作業エリア３０において、状況が認識しやすい俯瞰画像Ｖｓ’を生成することができる。

【0098】

また、この変形例では、情報処理装置２０の管理者などが設定した値に基づいて、変換処理の基準となる床面３２とは異なる高さの値が設定されてもよい。たとえば、俯瞰画像Ｖｓにおいて着目したい物体があった場合に、かかる管理者がこの着目したい物体が存在する領域およびこの物体の高さを指定することで、変換部２３ｄは、指定された領域において指定された高さの面を基準とする俯瞰画像Ｖｓ’を生成するとよい。

【0099】

これによっても、高い物体が存在しない領域と、高い物体が存在する領域とが混在する作業エリア３０において、状況が認識しやすい俯瞰画像Ｖｓ’を生成することができる。

【0100】

また、この変形例では、変換処理の基準となる床面３２とは異なる高さの値が、推定部２３ｅによって推定されてもよい。かかる推定部２３ｅは、カメラ１６の視野１６ｂに物体（たとえば、高所作業車など）が侵入した場合に、かかる物体の高さを推定する。

【0101】

そして、変換部２３ｄは、推定部２３ｅで推定された物体の高さと同じ高さの面を基準として、かかる物体が存在する領域の補正画像Ｖａを変換画像Ｖｂに変換する。これによっても、高い物体が存在しない領域と、高い物体が存在する領域とが混在する作業エリア３０において、状況が認識しやすい俯瞰画像Ｖｓ’を生成することができる。

【0102】

なお、本開示では、図４に示すように、互いに隣接する一対のカメラ１６同士の間に、いずれのカメラ１６の視野１６ｂにも含まれない死角が存在する。そのため、ここまで説明した変換処理で設定可能な高さは、基準面である床面３２から、両方のカメラ１６の視野１６ｂが重複する高さＨ２までの間に限られる。

【0103】

また、上記の変形例では、床面３２を基準として補正された補正画像Ｖａを生成した後に、かかる補正画像Ｖａを床面３２とは異なる高さの面を基準とする変換画像Ｖｂに変換する例について示したが、本開示はかかる例に限られない。

【0104】

たとえば、本開示では、床面３２とは異なる高さの面に位置するマーカー（図示せず）を用いることにより、床面３２とは異なる高さの面を基準とするとともに、歪みが補正された変換画像Ｖｂを撮像画像Ｖから直接生成してもよい。これによっても、作業エリア３０の状況が認識しやすい俯瞰画像Ｖｓ’を生成することができる。

【0105】

［情報処理の手順］
つづいて、実施形態および変形例に係る情報処理装置２０の制御処理の手順について、図１４および図１５を参照しながら説明する。図１４は、実施形態に係る情報処理装置２０の制御処理の手順を示すフローチャートである。

【0106】

図１４に示すように、まず、情報処理装置２０は、複数の照明装置１０のカメラ１６から複数の撮像画像を取得する（ステップＳ１０１）。そして、情報処理装置２０は、床面３２に設置されるマーカーＭに基づいて、各撮像画像Ｖの歪みを補正し（ステップＳ１０２）、複数の補正画像Ｖａを生成する。

【0107】

最後に、情報処理装置２０は、複数の補正画像Ｖａを合成することにより、俯瞰画像Ｖｓを生成して（ステップＳ１０３）、一連の処理を終了する。

【0108】

図１５は、実施形態の変形例に係る情報処理装置２０の制御処理の手順を示すフローチャートである。

【0109】

図１５に示すように、まず、情報処理装置２０は、複数の照明装置１０のカメラ１６から複数の撮像画像を取得する（ステップＳ２０１）。そして、情報処理装置２０は、床面３２に設置されるマーカーＭに基づいて、各撮像画像Ｖの歪みを補正し（ステップＳ２０２）、複数の補正画像Ｖａを生成する。

【0110】

次に、情報処理装置２０は、管理者などが指定した領域において、床面３２とは異なる高さの面を基準にする指示があるか否かを判定する（ステップＳ２０３）。そして、床面３２とは異なる高さの面を基準にする指示がある場合（ステップＳ２０３，Ｙｅｓ）、情報処理装置２０は、指定された領域を撮像するカメラ１６の補正画像Ｖａを、この床面３２とは異なる高さの面を基準とする変換画像Ｖｂに変換する（ステップＳ２０４）。

【0111】

最後に、情報処理装置２０は、複数の補正画像Ｖａおよび変換画像Ｖｂを合成することにより、俯瞰画像Ｖｓを生成して（ステップＳ２０５）、一連の処理を終了する。

【0112】

一方で、ステップＳ２０３の処理において、床面３２とは異なる高さの面を基準にする指示がない場合（ステップＳ２０３，Ｎｏ）、情報処理装置２０は、カメラ１６の視野１６ｂに物体が侵入したか否かを判定する（ステップＳ２０６）。

【0113】

そして、カメラ１６の視野１６ｂに物体が侵入した場合（ステップＳ２０６，Ｙｅｓ）、情報処理装置２０は、かかる物体の高さを推定し（ステップＳ２０７）、ステップＳ２０４の処理に移行する。

【0114】

一方で、カメラ１６の視野１６ｂに物体が侵入していない場合（ステップＳ２０６，Ｎｏ）、情報処理装置２０は、ステップＳ２０５の処理に移行する。

【0115】

［実施形態の効果］
上述してきたように、実施形態に係る画像処理システム１は、複数のカメラ１６でそれぞれ撮像された複数の撮像画像を、床面３２に設置されるマーカーＭに基づいて歪み補正および画像合成を行って、俯瞰画像Ｖｓを生成する。このため、実施形態に係る画像処理システム１は、作業エリア３０の状況が認識しやすい俯瞰画像Ｖｓを生成することができる。

【0116】

また、実施形態の変形例に係る画像処理システム１は、床面３２に設置されるマーカーＭに基づいて補正された補正画像Ｖａを、床面３２とは異なる高さの面を基準とする変換画像Ｖｂに変換する。このため、実施形態に係る画像処理システム１は、高い物体が存在する領域が含まれている場合でも、作業エリア３０の状況が認識しやすい俯瞰画像Ｖｓ’を生成することができる。

【0117】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0118】

１ 画像処理システム
１０ 照明装置
１６ カメラ
１６ａ 光軸
１６ｂ 視野
２０ 情報処理装置
２１ 通信部
２２ 記憶部
２３ 制御部
２３ａ 取得部
２３ｂ 補正部
２３ｃ 生成部
２３ｄ 変換部
２３ｅ 推定部
２４ 基準クロック生成部
３０ 作業エリア
３２ 床面（基準面の一例）
Ｍ マーカー
Ｖ 撮像画像
Ｖａ 補正画像
Ｖｂ 変換画像
Ｖｓ 俯瞰画像
Ｖｓ’ 俯瞰画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】