(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-08
(45)【発行日】2023-09-19
(54)【発明の名称】周辺監視装置及び周辺監視方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20230911BHJP
H04N 23/63 20230101ALI20230911BHJP
G06T 7/11 20170101ALI20230911BHJP
G06T 19/00 20110101ALI20230911BHJP
【ＦＩ】
H04N7/18 D
H04N7/18 K
H04N23/63
G06T7/11
G06T19/00 600
【請求項の数】
12
(21)【出願番号】P 2020550232
(86)(22)【出願日】2019-09-09
(86)【国際出願番号】 JP2019035308
(87)【国際公開番号】W WO2020075429
(87)【国際公開日】2020-04-16
【審査請求日】2021-10-25
(31)【優先権主張番号】P 2018191014
(32)【優先日】2018-10-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000166247
【氏名又は名称】古野電気株式会社
(74)【代理人】
【識別番号】110000970
【氏名又は名称】弁理士法人 楓国際特許事務所
(72)【発明者】
【氏名】西山 浩二
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開２０１８－０１９３５９（ＪＰ，Ａ）
【文献】特開２０１５－０８８８１６（ＪＰ，Ａ）
【文献】特開２０１４－０９９０５５（ＪＰ，Ａ）
【文献】特開２０００－１５２２２０（ＪＰ，Ａ）
【文献】特開２００５－２８９２６４（ＪＰ，Ａ）
【文献】国際公開第２０１７／２０８４２２（ＷＯ，Ａ１）
【文献】特表２０１４－５２９３２２（ＪＰ，Ａ）
【文献】特開２００５－２０８０１１（ＪＰ，Ａ）
【文献】特開平０９－１７９９８４（ＪＰ，Ａ）
【文献】特開２０１０－０４１５３０（ＪＰ，Ａ）
【文献】特開２００２－１７６６４１（ＪＰ，Ａ）
【文献】特開２００４－２２７０４５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ２３／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
海図データを記憶する海図データ記憶部と、カメラの撮影映像を入力する撮影映像入力部と、
前記海図データに基づいて検出対象領域を設定する領域設定部と、
前記検出対象領域において検出された物標の物標情報を取得する物標情報取得部と、
前記物標が検出された位置に対応する前記撮影映像の位置に、前記物標情報を合成した合成映像を生成する合成映像生成部と、
を備え、
前記合成映像生成部は、前記カメラと異なる視点カメラを設定し、
前記視点カメラを基準にして、前記物標情報を前記撮影映像に投影することで前記合成映像を生成し、
前記視点カメラは、前記撮影映像に合成する前記物標情報の座標の設定に用いる３次元仮想空間において、前記カメラの現実の位置および向きをシミュレートするように配置される、
ことを特徴とする周辺監視装置。
【請求項2】
請求項１に記載の周辺監視装置であって、前記検出対象領域は、複数の位置情報によって表される境界線によって区切られた領域であることを特徴とする周辺監視装置。
【請求項3】
請求項２に記載の周辺監視装置であって、前記検出対象領域は、前記海図データに含まれる水陸境界線又は等深線で区切られた領域であることを特徴とする周辺監視装置。
【請求項4】
請求項２に記載の周辺監視装置であって、前記検出対象領域は、前記海図データに含まれる水陸境界線から所定距離水域側に離れた境界線で区切られた領域であることを特徴とする周辺監視装置。
【請求項5】
請求項１から４までの何れか一項に記載の周辺監視装置であって、前記物標情報取得部は、前記検出対象領域に対して画像認識することにより検出された物標の物標情報を取得することを特徴とする周辺監視装置。
【請求項6】
請求項１から５までの何れか一項に記載の周辺監視装置であって、前記撮影映像入力部は、地上に設置されたカメラが撮像した撮影映像を入力することを特徴とする周辺監視装置。
【請求項7】
請求項１から６までの何れか一項に記載の周辺監視装置であって、前記物標情報取得部は、前記検出対象領域においてレーダ装置が検出した物標の物標情報を取得することを特徴とする周辺監視装置。
【請求項8】
請求項１から７までの何れか一項に記載の周辺監視装置であって、前記物標情報は、物標の位置、物標の速度、物標の大きさのうち少なくとも何れかを表現していることを特徴とする周辺監視装置。
【請求項9】
請求項１から８までの何れか一項に記載の周辺監視装置であって、前記物標情報取得部は、ＡＩＳ情報に基づいて前記物標情報を取得可能であり、
前記合成映像生成部は、前記ＡＩＳ情報に基づく前記物標情報と、前記ＡＩＳ情報以外の情報に基づく前記物標情報と、を同一の映像に合成可能であることを特徴とする周辺監視装置。
【請求項10】
請求項９に記載の周辺監視装置であって、前記合成映像生成部は、同一の物標について、前記ＡＩＳ情報に基づく前記物標情報と、前記ＡＩＳ情報以外の情報に基づく前記物標情報と、の両方が得られた場合に、前記ＡＩＳ情報に基づく前記物標情報を優先して合成することを特徴とする周辺監視装置。
【請求項11】
請求項１から１０までの何れか一項に記載の周辺監視装置であって、前記合成映像生成部は、前記撮影映像に対して、方位を示す方位目盛りを合成可能であり、
前記合成映像生成部は、前記方位目盛りが前記撮影映像に対して合成される上下方向の位置を自動的に変更可能であることを特徴とする周辺監視装置。
【請求項12】
海図データを記憶し、撮影装置が撮影した撮影映像を入力し、
前記海図データに基づいて設定された検出対象領域を設定し、
前記検出対象領域において検出された物標の物標情報を取得し、
合成映像の基準を決める視点カメラを設定し、前記視点カメラを基準として、前記物標が検出された位置に対応する前記撮影映像の位置に前記物標情報を合成した前記合成映像を生成し、
前記視点カメラは、前記撮影映像に合成する前記物標情報の座標の設定に用いる３次元仮想空間において、前記撮影装置の現実の位置および向きをシミュレートするように配置される、
ことを特徴とする周辺監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、主として、カメラ映像を用いた周辺監視装置に関する。
【背景技術】
【0002】
特許文献１は、カメラ等の撮像装置を画像入力手段として用いた侵入物体監視システムを開示する。特許文献１には、洋上での侵入船検出を行う際に、洋上での光の反射等の誤検出を除去するマスク領域を自動的に設定することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００２－２７９４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記特許文献１の構成は、画素値の変化に基づいてマスク領域を作成しているため、洋上での光の反射と船とが紛らわしい場合にマスク領域を正しく設定できず、誤検出又は検出漏れが生じてしまう点で改善の余地があった。
【0005】
本発明は以上の事情に鑑みてされたものであり、その目的は、高精度の物標検出が可能な周辺監視装置を実現することにある。
【課題を解決するための手段及び効果】
【0006】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
【0007】
本発明の第１の観点によれば、以下の構成の周辺監視装置が提供される。即ち、周辺監視装置は、海図データ記憶部と、撮影映像入力部と、領域設定部と、物標 情報取得部と、合成映像生成部と、を備える。前記海図データ記憶部は、海図データを記憶する。前記撮影映像入力部は、カメラの撮影映像を入力する。前記領 域設定部は、前記海図データに基づいて検出対象領域を設定する。前記物標情報取得部は、前記検出対象領域において検出された物標の物標情報を取得する。前 記合成映像生成部は、前記物標が検出された位置に対応する前記撮影映像の位置に、前記物標情報を合成した合成映像を生成する。
【0008】
これにより、物標の検出対象領域を、海図データを用いて容易かつ適切に設定することができる。従って、有効な監視を行うことができる。
【0009】
前記の周辺監視装置においては、前記検出対象領域は、複数の位置情報によって表される境界線によって区切られた領域であることが好ましい。
【0010】
これにより、検出対象領域の形状を柔軟に定めることができる。
【0011】
前記の周辺監視装置においては、前記検出対象領域は、前記海図データに含まれる水陸境界線又は等深線で区切られた領域であることが好ましい。
【0012】
これにより、水上の物標等を適切に検出することができる。
【0013】
前記の周辺監視装置においては、前記検出対象領域は、前記海図データに含まれる水陸境界線から所定距離水域側に離れた境界線で区切られた領域であることが好ましい。
【0014】
これにより、水上の物標等を適切に検出することができる。
【0015】
前記の周辺監視装置においては、前記物標情報取得部は、前記検出対象領域に対して画像認識することにより検出された物標の物標情報を取得することが好ましい。
【0016】
これにより、不要な部分について画像認識を行わないことで、誤検出を防止できるとともに、処理の負荷を低減することができる。
【0017】
前記の周辺監視装置においては、前記画像認識は、前記海図データに含まれる水深に応じてパラメータを異ならせながら行われることが好ましい。
【0018】
これにより、例えば、航行できる船舶の大きさが水深に応じて異なることを考慮して、適切な監視を行うことができる。
【0019】
前記の周辺監視装置においては、前記撮影映像入力部は、地上に設置されたカメラが撮像した撮影映像を入力することが好ましい。
【0020】
これにより、カメラが固定的に設置されるので、必要になる海図データの大きさを限定することができる。
【0021】
前記の周辺監視装置においては、前記物標情報取得部は、前記検出対象領域においてレーダ装置が検出した物標の物標情報を取得することが好ましい。
【0022】
これにより、不要な部分についてレーダ装置による物標の検出を行わないことで、誤検出を防止できるとともに、処理の負荷を低減することができる。
【0023】
前記の周辺監視装置においては、前記物標情報は、物標の位置、物標の速度、物標の大きさのうち少なくとも何れかを表現していることが好ましい。
【0024】
これにより、ユーザが監視に役立つ情報を得ることができる。
【0025】
前記の周辺監視装置においては、以下の構成とすることが好ましい。即ち、前記物標情報取得部は、ＡＩＳ情報に基づいて前記物標情報を取得可能である。前記 合成映像生成部は、前記ＡＩＳ情報に基づく前記物標情報と、前記ＡＩＳ情報以外の情報に基づく前記物標情報と、を同一の映像に合成可能である。
【0026】
これにより、情報の統合された表示を実現できる。
【0027】
前記の周辺監視装置においては、前記合成映像生成部は、同一の物標について、前記ＡＩＳ情報に基づく前記物標情報と、前記ＡＩＳ情報以外の情報に基づく前記物標情報と、の両方が得られた場合に、前記ＡＩＳ情報に基づく前記物標情報を優先して合成することが好ましい。
【0028】
これにより、信頼性の高い情報を優先して表示することができる。
【0029】
前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記合成映像生成部は、前記撮影映像に対して、方位を示す方位目盛りを合成可能で ある。前記合成映像生成部は、前記方位目盛りが前記撮影映像に対して合成される上下方向の位置を自動的に変更可能である。
【0030】
これにより、方位目盛りによって方向を容易に把握できるとともに、当該方位目盛りの表示が監視の邪魔になることを回避できる。
【0031】
本発明の第２の観点によれば、以下の周辺監視方法が提供される。即ち、海図データを記憶する。撮影装置が撮影した撮影映像を入力する。前記海図データに基 づいて設定された検出対象領域を設定する。前記検出対象領域において検出された物標の物標情報を取得する。前記物標が検出された位置に対応する前記撮影映 像の位置に、前記物標情報を合成した合成映像を生成する。
【0032】
これにより、物標の検出対象領域を、海図データを用いて容易かつ適切に設定することができる。従って、有効な監視を行うことができる。
【図面の簡単な説明】
【0033】
【図1】本発明の一実施形態に係る周辺監視装置の全体的な構成を示すブロック図。
【図2】港湾監視施設に備えられる各種の機器を示す側面図。
【図3】カメラから入力される撮影映像の例を示す図。
【図4】３次元仮想空間に仮想現実オブジェクトを配置して構築される３次元シーンデータと、当該３次元仮想空間に配置される映写スクリーンと、を説明する概念図。
【図5】データ合成部が出力する合成映像を示す図。
【図6】３次元仮想空間に水陸境界線の仮想現実オブジェクトを配置する様子を示す概念図。
【図7】撮影映像に水陸境界線を合成した合成映像を示す図。
【図8】周辺監視装置において行われる処理を説明するフローチャート。
【発明を実施するための形態】
【0034】
【0035】
図１に示す周辺監視装置１は、例えば図２に示すような港湾監視施設４に設置される。周辺監視装置１は、カメラ（撮影装置）３で撮影した映像をベースとし て、港湾の船舶（監視対象）の動静監視を支援する情報を重畳した映像を生成することができる。従って、周辺監視装置１は、映像生成装置として機能する。周 辺監視装置１が生成した映像は、ディスプレイ２に表示される。
【0036】
ディスプレイ２は、例えば、港湾監視施設４でオペレータが 監視業務を行う監視デスクに配置されたディスプレイとして構成することができる。ただし、ディスプレイ２は上記に限定されず、例えば、港湾監視施設４から 周囲の状況を監視する監視補助者が携帯する携帯型コンピュータのディスプレイ等とすることが可能である。
【0037】
周辺監視装置１は、港湾監視施設４に設置されたカメラ３によって撮影された周囲の映像と、当該周囲の付加表示情報（後に詳述）を仮想現実的に表現する図形と、を合成することにより、ディスプレイ２への出力映像である合成映像を生成する。
【0038】
次に、主に図１を参照して、周辺監視装置１に電気的に接続されるカメラ３及び各種の機器について説明する。
【0039】
カメラ３は、港湾監視施設４の周囲を撮影する可視光ビデオカメラとして構成されている。カメラ３は広角型のカメラとして構成されており、見通しの良い高い 場所にやや下向きで取り付けられている。このカメラ３はライブ出力機能を有しており、撮影結果としての動画データ（映像データ）をリアルタイムで生成して 周辺監視装置１に出力することができる。
【0040】
カメラ３は、原則として定点撮影を行う。ただし、カメラ３は図略の回転機構を介して取り付けられており、パン／チルト動作を指示する信号が周辺監視装置１から入力されることにより、その撮影方向を変更することができる。
【0041】
本実施形態の周辺監視装置１は、上記のカメラ３のほか、各種の機器としてのＡＩＳ受信機９、レーダ装置（物標検出部）１２等と電気的に接続されている。
【0042】
ＡＩＳ受信機９は、船舶から送信されるＡＩＳ情報を受信する。ＡＩＳ情報には、監視対象の港湾を航行している船舶の位置（緯度・経度）、当該船舶の長さ及び幅、当該船舶の種類及び識別情報、当該船舶の船速、針路及び目的地等の、様々な情報が含まれる。
【0043】
レーダ装置１２は、監視対象の港湾に存在する船舶等の物標を探知することができる。また、このレーダ装置１２は物標を捕捉及び追尾することが可能な公知の 目標追尾機能（Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ、ＴＴ）を有しており、当該物標の位置及び速度ベクトル（ＴＴ情報）を求めることができる。
【0044】
周辺監視装置１は、ユーザが操作するキーボード３６及びマウス３７に接続されている。ユーザは、キーボード３６及びマウス３７を操作することで、映像の生成に関する各種の指示を行うことができる。この指示には、カメラ３のパン／チルト動作等が含まれる。
【0045】
次に、周辺監視装置１の構成について、主に図１を参照して詳細に説明する。
【0046】
図１に示すように、周辺監視装置１は、撮影映像入力部２１と、付加表示情報取得部（物標情報取得部）１７と、カメラ位置／向き設定部２５と、レーダ位置／ 向き設定部２６と、画像認識部（物標検出部）２８と、画像認識領域設定部（領域設定部）３１と、追尾対象領域設定部（領域設定部）３２と、海図データ記憶 部３３と、合成映像生成部２０と、を備える。
【0047】
具体的には、周辺監視装置１は公知のコンピュータとして構成され、図示しな いが、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を備える。更に、周辺監視装置１は、後述の３次元画像処理を高速で行うためのＧＰＵを備えている。そして、例 えばＨＤＤには、本発明の周辺監視方法を実行させるためのソフトウェアが記憶されている。このハードウェアとソフトウェアの協働により、周辺監視装置１ を、撮影映像入力部２１、付加表示情報取得部１７、カメラ位置／向き設定部２５、レーダ位置／向き設定部２６、画像認識部２８、画像認識領域設定部３１、 追尾対象領域設定部３２、海図データ記憶部３３、及び合成映像生成部２０等として機能させることができる。符号３５はプロセッシングサーキットリーであ る。
【0048】
撮影映像入力部２１は、カメラ３が出力する映像データを、例えば３０フレーム毎秒で入力することができる。撮影映像入力部２１は、入力された映像データを、画像認識部２８及び合成映像生成部２０（後述のデータ合成部２３）に出力する。
【0049】
付加表示情報取得部１７は、ＡＩＳ受信機９及びレーダ装置１２から周辺監視装置１に入力した情報と、画像認識部２８が取得した情報と、に基づいて、カメラ ３で撮影した映像に対して付加的に表示する情報（付加表示情報、物標情報）を取得する。この付加表示情報としては様々なものが考えられるが、例えば、 ＡＩＳ受信機９から得られる船舶の位置及び速度、レーダ装置１２から得られる物標の位置及び速度、画像認識部２８から得られる物標の位置及び速度等とする ことができる。付加表示情報取得部１７は、取得した情報を合成映像生成部２０に出力する。なお、付加表示情報の詳細は後述する。
【0050】
カメラ位置／向き設定部２５は、港湾監視施設４におけるカメラ３の位置（撮影位置）及び向きを設定することができる。カメラ３の位置の情報は、具体的に は、緯度、経度、及び高度を示す情報である。カメラ３の向きの情報は、具体的には、方位角及び俯角を示す情報である。これらの情報は、例えばカメラ３の設 置作業時に測定を行うこと等により得ることができる。カメラ３の向きは上述のとおり所定の角度範囲で変更可能であるが、カメラ３のパン／チルト操作がされ ると、それに応じて、最新の向きの情報がカメラ位置／向き設定部２５に設定される。カメラ位置／向き設定部２５は、設定されている情報を、合成映像生成部 ２０、付加表示情報取得部１７及び画像認識領域設定部３１に出力する。
【0051】
レーダ位置／向き設定部２６は、レーダ装置１２の アンテナの位置及び向きを設定することができる。アンテナの位置の情報は、具体的には、緯度及び経度を示す情報である。アンテナの向きの情報は、具体的に は、方位を示す情報である。アンテナは通常は水平面内で回転するが、ここでいうアンテナの向きは、レーダ装置１２の探知方向の基準となる方位（基準方位） を意味する。これらの情報は、当該アンテナの設置作業時に測定を行うこと等により得ることができる。
【0052】
周辺監視装置１のレーダ位置／向き設定部２６に設定されているアンテナの位置及び向きの情報は、レーダ装置１２にも同様に設定されている。レーダ位置／向き設定部２６は、設定されている情報を、付加表示情報取得部１７及び追尾対象領域設定部３２に出力する。
【0053】
画像認識部２８は、撮影映像入力部２１から取得した画像のうち船舶等と考えられる部分を切り出して、予め登録されている物標画像データベースと照合するこ とにより、船舶、ダイバー、漂流物等の物標を認識する。具体的には、画像認識部２８は、移動する物体をフレーム間差分法等により検出し、差異が生じた領域 を切り出して、画像データベースと照合する。照合の方法としては、テンプレートマッチング等、公知の適宜の方法を用いることができる。画像認識は、他の公 知の方法、例えばニューラルネットワークを用いて実現することもできる。画像認識部２８は、認識された物標のそれぞれについて、画像上で認識された位置の 情報を付加表示情報取得部１７に出力する。
【0054】
画像認識領域設定部３１は、画像認識部２８に撮影映像入力部２１から入力され る映像のうち、画像認識部２８が画像認識を行う対象となる領域を設定する。本実施形態において画像認識部２８は水面に浮かぶものを認識することを想定して いるので、画像認識領域設定部３１としては通常、水面が現れている一部の領域だけを画像認識の対象領域とする。
【0055】
画像認識の対象領域の内側と外側とを区切る境界は、例えば、閉じた折れ線図形で表すことができる。画像認識領域設定部３１は、折れ線図形の複数の頂点の位置情報（緯度及び経度）を記憶する。
【0056】
カメラ３は通常、水面を大きく写すように設置されるが、例えば図３の例に示すように、カメラ３の視野に水面と同時に陸上が入ることがある。この場合、画像 認識領域設定部３１において陸上の部分を除外するように画像認識の対象領域を設定することで、例えば道路を走行する自動車等を画像認識部２８が物標として 認識することを回避することができる。この結果、認識精度を高めることができ、また、処理の負荷を低減させることができる。
【0057】
図１の追尾対象領域設定部３２は、レーダ装置１２が上述の目標追尾機能で物標を追尾する対象となる領域を設定する。レーダ装置１２は水面に浮かぶものを探 知することを想定しているので、追尾対象領域設定部３２においても画像認識領域設定部３１と同様に、陸上の部分を除外するように物標追尾対象が設定され る。これにより、水面の物標だけを適切に探知することができる。
【0058】
レーダ装置１２による追尾の対象領域の内側と外側とを区切る境界は、画像認識の対象領域と同様に、閉じた折れ線図形で表すことができる。追尾対象領域設定部３２は、折れ線図形の複数の頂点の位置情報（緯度及び経度）を記憶する。
【0059】
海図データ記憶部３３は、海図データを記憶する。この海図データとしては、例えば航海用電子海図が用いられている。海図データには、水面と陸地との境界線 （水陸境界線）のベクトルデータが含まれている。境界線の表現方法は任意であるが、例えば、陸域の輪郭を折れ線による閉じた図形で表現し、それぞれの頂点 の位置情報（緯度及び経度）を順に記述することが考えられる。
【0060】
海図データ記憶部３３は、水陸境界線を示すベクトルデータを、画像認識領域設定部３１及び追尾対象領域設定部３２に出力する。これにより、画像認識領域設定部３１及び追尾対象領域設定部３２に対する領域の設定が容易になる。
【0061】
合成映像生成部２０は、ディスプレイ２に映し出す合成映像を生成するものである。当該合成映像生成部２０は、３次元シーン生成部（表示用データ生成部）２２と、データ合成部（表示出力部）２３と、を備える。
【0062】
３次元シーン生成部２２は、図４に示すように、３次元仮想空間４０に、付加表示情報に対応する仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置すること により、仮想現実の３次元シーンを構築する。これにより、３次元シーンのデータである３次元シーンデータ（３次元表示用データ）４８が生成される。なお、 ３次元シーンの詳細は後述する。
【0063】
データ合成部２３は、３次元シーン生成部２２が生成した３次元シーンデータ４８を描画す ることで付加表示情報を３次元的に表現する図形を生成するとともに、図５に示す合成映像、即ち、当該図形４１ｆ，４２ｆ，・・・とカメラ３の撮影映像とを 合成した映像を出力する処理を行う。図５に示すように、この合成映像では、カメラ３で撮影された映像に、付加表示情報を示す図形４１ｆ，４２ｆ，・・・が 重ねられている。データ合成部２３は、生成された合成映像をディスプレイ２に出力する。なお、図形の生成処理及びデータ合成処理の詳細は後述する。
【0064】
次に、前述の付加表示情報取得部１７で取得される付加表示情報について詳細に説明する。図３は、周辺監視装置１において表示の対象となる付加表示情報の例を説明する概念図である。
【0065】
付加表示情報は、カメラ３で撮影した映像に対して付加的に表示する情報であり、周辺監視装置１に接続される機器の目的及び機能に応じて様々なものが考えら れる。例示すると、ＡＩＳ受信機９に関しては、受信した上述のＡＩＳ情報（例えば、船舶の位置及び向き等）を付加表示情報とすることができる。レーダ装置 １２に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。これらの情報は、それぞれの機器から周辺監視装置１にリアルタイムで 入力される。
【0066】
また、本実施形態において、付加表示情報には、画像認識部２８が画像認識を行うことにより識別された物標の位置及び速度等が含まれる。
【0067】
レーダ装置１２から得られた情報に含まれる物標の位置及び速度ベクトルは、レーダ装置１２のアンテナの位置及び向きを基準とした相対的なものである。従っ て、付加表示情報取得部１７は、レーダ装置１２から得られた物標の位置及び速度ベクトルを、レーダ位置／向き設定部２６から得られた情報に基づいて、地球 基準に変換する。
【0068】
同様に、画像認識部２８から得られた物標の位置及び速度ベクトルは、カメラ３の位置及び向きを基準とし た相対的なものである。従って、付加表示情報取得部１７は、画像認識部２８から得られた物標の位置及び速度ベクトルを、カメラ位置／向き設定部２５から得 られた情報に基づいて、地球基準に変換する。
【0069】
以下、付加表示情報の例を説明する。図３のカメラ映像で示す状況において、 港湾内で大きな船舶４１ｒがカメラ映像の右側へ向かって航行中であることが、ＡＩＳ受信機９が取得したＡＩＳ情報により検出されている。小さな船舶４２ｒ がカメラ映像の右側へ向かって高速で航行中であることが、レーダ装置１２により検出されている。更に、小さな船舶４３ｒが手前側に向かって高速で航行中で あることが、画像認識部２８により検出されている。
【0070】
それぞれの付加表示情報には、少なくとも、それが配置される海面（水面）における地点の位置（緯度及び経度）を示す情報が含まれている。例えば、船舶４１ｒ，４２ｒ，４３ｒを示す付加表示情報には、当該船舶４１ｒ，４２ｒ，４３ｒの位置を示す情報が含まれている。
【0071】
次に、３次元シーン生成部２２による３次元シーンの構築、及び、データ合成部２３による映像の合成について、図４を参照して詳細に説明する。図４は、３次 元仮想空間４０に仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置して生成される３次元シーンデータ４８と、当該３次元仮想空間４０に配置される映写ス クリーン５１と、を説明する概念図である。
【0072】
３次元シーン生成部２２によって仮想現実オブジェクト４１ｖ，４２ｖ，・・・ が配置される３次元仮想空間４０は、図４に示すように直交座標系で構成される。この直交座標系の原点は、カメラ３の設置位置の真下の高度ゼロの点に定めら れる。３次元仮想空間４０において、原点を含む水平な面であるｘｚ平面が海面（水面）を模擬するように設定される。図４の例では、座標軸は、＋ｚ方向が常 にカメラ３の方位角と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。この３次元仮想空間４０内の各地点（座標）は、カメラ３の周囲 の現実の位置に対応するように設定される。
【0073】
図４には、図３に示す港湾の状況に対応して、仮想現実オブジェクト ４１ｖ，４２ｖ，４３ｖを３次元仮想空間４０内に配置した例が示されている。本実施形態において、仮想現実オブジェクト４１ｖ，４２ｖ，・・・は、認識さ れた物標（即ち、船舶４１ｒ，４２ｒ，４３ｒ）の位置を示す下向きの円錐と、当該物標の速度ベクトルを示す矢印と、を含んでいる。円錐及び矢印は、何れも ３次元形状である。下向きの円錐は、その真下に物標が位置することを表現している。矢印の向きは物標の速度の向きを表現し、矢印の長さは速度の大きさを表 現している。
【0074】
各仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖは、カメラ３の方位角を基準として、それが表す付加表示情報 のカメラ３に対する相対位置を反映させるように、ｘｚ平面又はそれより少し上に配置される。これらの仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置さ れる位置を決定するにあたっては、図１に示すカメラ位置／向き設定部２５で設定されたカメラ３の位置及び向きを用いた計算が行われる。
【0075】
３次元シーン生成部２２は、上記のようにして、３次元シーンデータ４８を生成する。図４の例では、仮想現実オブジェクト４１ｖ，４２ｖ，・・・がカメラ３ の真下を原点とした方位基準で配置されるので、図３の状態からカメラ３の方位角が変化すると、当該仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置し た新しい３次元シーンが構築されて、３次元シーンデータ４８が更新される。また、例えば図３の状態から船舶４１ｒ，４２ｒ，４３ｒが移動する等して付加表 示情報の内容が変更されると、最新の付加表示情報を反映するように３次元シーンデータ４８が更新される。
【0076】
更に、データ合 成部２３は、３次元仮想空間４０に、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を配置する。この映写スクリーン５１と仮想現 実オブジェクト４１ｖ，４２ｖ，・・・の両方が視野に含まれるように後述の視点カメラ５５の位置及び向きを設定することで、映像の合成を実現することがで きる。
【0077】
データ合成部２３は、視点カメラ５５を、現実空間におけるカメラ３の位置及び向きを３次元仮想空間４０においてシ ミュレートするように配置する。また、データ合成部２３は、映写スクリーン５１を、当該視点カメラ５５に正対するように配置する。カメラ３の位置のシミュ レートに関し、カメラ３の位置は、図１に示すカメラ位置／向き設定部２５の設定値に基づいて得ることができる。
【0078】
３次元仮 想空間４０における視点カメラ５５の方位角は、カメラ３のパン動作によって方位角が変化しても、変化することはない。その代わり、データ合成部２３は、カ メラ３をパン動作させると、変化した方位角の分だけ、３次元仮想空間４０における仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、原点を中心に水平面内で 回転させるように再配置する。
【0079】
視点カメラ５５の俯角は、カメラ３の俯角と常に等しくなるように制御される。データ合成部 ２３は、カメラ３のチルト動作による俯角の変化（視点カメラ５５の俯角の変化）に連動して、３次元仮想空間４０に配置される映写スクリーン５１の位置及び 向きを、視点カメラ５５と正対する状態を常に保つように変化させる。
【0080】
そして、データ合成部２３は、３次元シーンデータ ４８及び映写スクリーン５１に対して公知のレンダリング処理を施すことにより、２次元の画像を生成する。より具体的には、データ合成部２３は、３次元仮想 空間４０に視点カメラ５５を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台５６を、当該視点カメラ５５を頂点とし、その視線方向が中 心軸となるように定義する。続いて、データ合成部２３は、各オブジェクト（仮想現実オブジェクト４１ｖ，４２ｖ，・・・及び映写スクリーン５１）を構成す るポリゴンのうち、当該視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ２での合成映像の表示領域に相当する２次元の仮想 スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理を行うことにより、２次 元の画像を生成する。
【0081】
このようにして生成された２次元の画像には、３次元シーンデータ４８の描画が行われることにより得 られた図形（言い換えれば、仮想現実オブジェクト４１ｖ，４２ｖ，・・・のレンダリング結果としての図形）が含まれる。また、２次元の画像の生成過程にお いて、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部２３による映像の合成が実 現される。
【0082】
映写スクリーン５１は、視点カメラ５５を中心とする球殻に沿うように湾曲した形状となっているので、透視投影 による撮影映像の歪みを防止することができる。また、カメラ３は広角カメラであり、その撮影映像には図３に示すようにレンズ歪みが生じているが、当該レン ズ歪みは、映写スクリーン５１に撮影映像が貼り付けられる時点で除去されている。レンズ歪みを除去する方法は任意であるが、例えば、補正前の画素の位置と 補正後の画素の位置を対応付けたルックアップテーブルを用いることが考えられる。これにより、図４に示す３次元仮想空間４０と撮影映像を良好に整合させる ことができる。
【0083】
次に、カメラ３で撮影した映像と合成映像との関係を、例を参照して説明する。
【0084】
図５には、図３に示す撮影映像に対し、図４の３次元シーンデータ４８のレンダリングによる上記の２次元の画像を合成した結果が示されている。ただし、図５ では、カメラ３による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている（これは、合成映像を表す他の図にお いても同様である）。図５の合成映像では、付加表示情報を表現する図形４１ｆ，４２ｆ，４３ｆが、撮影映像に重なるように配置されている。
【0085】
上記の図形４１ｆ，４２ｆ，・・・は、図４に示す３次元シーンデータ４８を構成する仮想現実オブジェクト４１ｖ，４２ｖ，・・・の３次元形状を、カメラ３ と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ３による写実的な映像に対して図形４１ｆ，４２ｆ，・・・を重ねた場合でも、見 た目の違和感が殆ど生じないようにすることができる。
【0086】
これにより、船舶を示すマーク及び速度を示す矢印があたかも水面上 の空中に浮かんでいるように見える、自然で現実感の高い拡張現実の映像を得ることができる。また、ユーザは、ディスプレイ２に映し出された海面を眺めるこ とで、仮想現実を表す図形４１ｆ，４２ｆ，・・・が網羅的に視界に入るので、取りこぼしなく必要な情報を得ることができる。
【0087】
上述したように、カメラ３から入力された撮影映像は、３次元仮想空間４０の映写スクリーン５１に映写される時点でレンズ歪みが除去されている。しかしなが ら、データ合成部２３は、レンダリング後の合成映像に対し、上述のルックアップテーブルを用いた逆変換により、レンズ歪みを再び付与する。これにより、図 ５と図３とを比較すれば分かるように、合成前のカメラ映像との関係で違和感が生じにくい合成映像を得ることができる。ただし、レンズ歪みの付与は省略して も良い。
【0088】
データ合成部２３は、図５に示すように、合成映像において図形４１ｆ，４２ｆ，４３ｆの近傍の位置に、監視のた めに有用な情報を記述した文字情報を更に合成している。文字情報の内容は任意であり、例えば、船舶を識別する情報、船舶の大きさを示す情報、どの装置から 取得したかを示す情報等、様々な内容を表示することができる。船舶を識別する情報は、例えばＡＩＳ情報から得ることができる。船舶の大きさを示す情報は、 ＡＩＳ情報から得ることができるが、画像認識部２８による画像認識時に検出された画像の大きさから、又は、レーダ装置１２において得られた追尾エコーの大 きさから、計算により得ることもできる。これにより、情報が充実した監視画面を実現することができる。
【0089】
図５に示すよう に、本実施形態では、ＡＩＳ受信機９から得られたＡＩＳ情報に基づく付加表示情報を表す図形４１ｆと、画像認識部２８による画像認識結果に基づく付加表示 情報を表す図形４２ｆと、レーダ装置１２のレーダ追尾結果に基づく付加表示情報を表す図形４３ｆと、が撮影映像に合成されている。これにより、統合された 表示を実現でき、ユーザは、多様な情報源から得られる情報を１つの合成映像で分かり易く監視することができる。この結果、監視負担を良好に軽減することが できる。
【0090】
図５では、船舶４１ｒについて、ＡＩＳ受信機９から得られたＡＩＳ情報に基づく付加表示情報が表示されている。 同一の船舶４１ｒを、画像認識部２８が認識したり、レーダ装置１２が追尾したりすることも考えられるが、この場合でも、合成映像生成部２０は、船舶４１ｒ の部分には、ＡＩＳ情報に基づく付加表示情報を優先して表示する。これにより、信頼度の高い情報を優先して表示することができる。
【0091】
図５の合成映像には、方位目盛り４６が表示されている。方位目盛り４６は、画面の左端と右端とを繋ぐように円弧状に形成されている。方位目盛り４６には、 映像に対応した方位を示す数値が記載されている。これにより、ユーザは、カメラ３が見ている方位を直感的に把握することができる。
【0092】
例えばカメラ３がチルトして合成映像上で方位目盛り４６が他の図形４１ｆ，４２ｆ，４３ｆと重なったり、撮影映像の水面と重なってしまう場合には、データ 合成部２３は、方位目盛り４６が合成される位置を映像の上下方向に自動的に移動させる。これにより、方位目盛り４６が他の表示の邪魔にならないようにする ことができる。
【0093】
次に、海図データを用いた画像認識領域の設定について説明する。
【0094】
上述のとおり、画像認識領域設定部３１は、画像認識部２８が画像認識を行う対象となる領域を設定する。ユーザは、カメラ３の撮影映像をディスプレイ２に表示させた状態で、画像認識の対象領域をマウス３７等で指定することで、上述の領域を指定することができる。
【0095】
画像認識の対象領域をユーザに指定させるとき、海図データ記憶部３３は、記憶している海図データのうち、水陸境界線を表すベクトルデータを画像認識領域設定部３１に出力する。画像認識領域設定部３１は、この境界線ベクトルデータを合成映像生成部２０に出力する。
【0096】
合成映像生成部２０の３次元シーン生成部２２は、図６に示すように、水陸境界線を表す仮想現実オブジェクト４９ｖをｘｚ平面に配置した３次元シーンデータ ４８を生成する。仮想現実オブジェクト４９ｖが配置される位置は、カメラ３の方位角を基準として、水陸境界線のカメラ３に対する相対位置を反映させるよう に配置される。そして、データ合成部２３は、上述と全く同様にレンダリング処理を行い、図７に示すような合成映像をディスプレイに出力する。
【0097】
図７の合成映像において、仮想現実オブジェクト４９ｖがレンダリングされた結果としての図形４９ｆは、カメラ３による撮影映像の水面にあたかも置かれるか のように合成映像上に配置されている。境界線ベクトルデータは現実の境界線と一致しているはずなので、カメラ３に映る水面の形状と図形４９ｆの形状は整合 している。
【0098】
従って、ユーザは、図形４９ｆを参考にして、画像認識領域を容易かつ適切に設定することができる。ユーザは、 例えば、図７に示される図形４９ｆに囲まれた領域をそのまま画像認識領域として指定することができる。また、ユーザは、撮影映像とのズレを修正するように マウス操作等により領域を変形してから、画像認識領域として指定することもできる。
【0099】
なお、海図データ記憶部３３が記憶す る境界線ベクトルデータは、追尾対象領域設定部３２において追尾対象領域を設定するのに用いることもできる。追尾対象領域は、レーダ位置／向き設定部２６ に設定されているアンテナの位置／向きと、境界線ベクトルデータと、に基づいて、水域に限定するように計算して定めることができる。これにより、ユーザ は、追尾対象領域を容易にかつ正確に設定することができる。
【0100】
画像認識の対象領域の境界、及び、レーダ追尾の対象領域の境 界は、水陸境界線を用いず、他の境界線を用いて定義することもできる。例えば、海図データに含まれるデータのうち、所定の深さに相当する等深線を、認識の 境界としても良い。また、水陸境界線から所定の距離だけ水域側にオフセットするようにして境界線を作り、当該境界線を認識の境界としても良い。これによ り、例えば大型船だけを監視する場合は所定の水深以上の領域となるように対象領域を限定する等、目的に応じた監視を実現し易くなる。
【0101】
画像認識、或いは、レーダ追尾のパラメータを、海図データに含まれる情報に応じて変更しても良い。例えば、水深が浅い領域では大型船舶は航行できないの で、海図データに基づいて取得した水深が小さい場合には、画像認識部２８が小型船舶の画像データベースとテンプレートマッチングしたり、レーダ装置１２が 小さなレーダエコーだけを追尾対象としたりすること等が考えられる。これにより、適切な監視を実現することができる。
【0102】
図８には、周辺監視装置１において行われる一連の処理がフローチャートによって示されている。
【0103】
図８のフローがスタートすると、周辺監視装置１は、準備作業として、外部から入力された海図データを海図データ記憶部３３に記憶する（ステップ Ｓ１０１）。次に、周辺監視装置１は、カメラ３が撮影した撮影映像を撮影映像入力部２１から入力する（ステップＳ１０２）。周辺監視装置１の合成映像生成 部２０は、この撮影映像と、海図データ記憶部３３から取得した境界線ベクトルデータと、を合成した合成映像を生成してディスプレイ２に出力する（ステップ Ｓ１０３）。
【0104】
ユーザは、ディスプレイ２の画面を見ながら、画像認識領域を適宜設定する（ステップＳ１０４）。ステップＳ１０３及びＳ１０４を省略して、画像認識領域の境界が境界線ベクトルデータと同一となるように周辺監視装置１側で自動的に設定しても良い。
【0105】
その後、通常の運用が開始される。具体的に説明すると、周辺監視装置１は、カメラ３が撮影した撮影映像を撮影映像入力部２１から入力する（ステップ Ｓ１０５）。続いて、周辺監視装置１の画像認識部２８が、画像認識領域を対象とした画像認識を行い、これにより検出された物標の物標情報を取得する（ス テップＳ１０６）。次に、合成映像生成部２０は、物標が検出された位置に対応する撮影映像の位置に、物標情報を合成した合成映像を生成してディスプレイ２ に出力する（ステップＳ１０７）。その後、処理はステップＳ１０５に戻り、ステップＳ１０５～Ｓ１０７の処理が反復される。
【0106】
以上に説明したように、本実施形態の周辺監視装置１は、海図データ記憶部３３と、撮影映像入力部２１と、画像認識領域設定部３１と、付加表示情報取得部 １７と、合成映像生成部２０と、を備える。海図データ記憶部３３は、海図データを記憶する。撮影映像入力部２１は、カメラ３の撮影映像を入力する。画像認 識領域設定部３１は、海図データに基づいて検出対象領域を設定する。付加表示情報取得部１７は、検出対象領域において検出された物標の物標情報を取得す る。合成映像生成部２０は、物標が検出された位置に対応する撮影映像の位置に、物標情報を合成した合成映像を生成する。
【0107】
これにより、画像認識を行う領域を、海図データの水陸境界線を用いて容易に設定することができる。
【0108】
以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
【0109】
カメラ３において上記のパン／チルト機能を省略し、撮影方向を変更不能に構成してもよい。
【0110】
３次元シーン生成部２２が３次元シーンデータ４８を生成するにあたって、上記の実施形態では、図４で説明したように、仮想現実オブジェクト ４１ｖ，４２ｖ，・・・がカメラ３の位置を原点としたカメラ方位基準で配置されている。しかしながら、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、カ メラ方位基準ではなく、＋ｚ方向が常に真北となる真北基準で配置してもよい。この場合、カメラ３のパン動作によって方位角が変化したときは、仮想現実オブ ジェクト４１ｖ，４２ｖ，・・・を再配置する代わりに、３次元仮想空間４０においてカメラ３の位置及び向きの変化をシミュレートするように視点カメラ５５ の方位角を変更してレンダリングを行うことで、上述のカメラ方位基準の場合と全く同じレンダリング結果を得ることができる。
【0111】
また、３次元仮想空間４０の座標系は、カメラ３の真下の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、＋ｚ方向が真北、＋ｘ方向が真東となるように定められてもよい。
【0112】
周辺監視装置１に接続される機器（付加表示情報の情報源）は、図１で説明したものに限るものではなく、その他の機器が含まれていてもよい。そのような機器として、例えば、赤外線カメラ、音響センサ等を挙げることができる。
【0113】
画像認識領域設定部３１において設定される対象領域、及び、追尾対象領域設定部３２において設定される対象領域は、折れ線図形に代えて、他の図形、例えば 滑らかな曲線で表すこともできる。また、ベクトルデータに代えてラスタデータ（マスク画像）の形で、対象領域を設定することもできる。
【0114】
付加表示情報を表す図形は、図５に示すものに限られない。例えば、船舶４１ｒ，４２ｒ，４３ｒが検出された位置に、船舶の３次元モデルをレンダリングした 図形を表示することもできる。これにより、より臨場感のある表示を実現することができる。図４の３次元仮想空間４０において、船舶の３次元モデルは、 ＡＩＳ情報等から得られる船舶の向きと一致する向きで配置される。３次元仮想空間４０に配置される船舶の３次元モデルの大きさを、ＡＩＳ情報等から得られ る船舶の大きさに応じて変化させても良い。
【0115】
３次元シーン生成部２２を省略して、付加表示情報の図形 ４１ｆ，４２ｆ，４３ｆについて拡張現実による表示を行わないように構成することもできる。例えば、３次元円錐形状をレンダリングした図形の代わりに、単 に下向きの平面的な三角形を表示することができる。３次元シーンを構築しなくても、撮影映像における各画素と、水面上の対応する場所と、の対応関係は、カ メラ３が設置されている位置と向きに基づいて計算により求めることができる。従って、上記の三角形を、水面上での検出位置に対応する映像上の位置に表示す ることができる。同様に、３次元シーンを構築しなくても、境界線の図形を合成した図７のような合成映像を実現することができる。
【0116】
周辺監視装置１は、地上の施設に限定されず、船舶等の移動体に設けられても良い。
【符号の説明】
【0117】
１ 周辺監視装置
３ カメラ
１７ 付加表示情報取得部（物標情報取得部）
２０ 合成映像生成部
２１ 撮影映像入力部
２８ 画像認識部
３１ 画像認識領域設定部（領域設定部）
３２ 追尾対象領域設定部（領域設定部）
３３ 海図データ記憶部
３ カメラ
１７ 付加表示情報取得部（物標情報取得部）
２０ 合成映像生成部
２１ 撮影映像入力部
２８ 画像認識部
３１ 画像認識領域設定部（領域設定部）
３２ 追尾対象領域設定部（領域設定部）
３３ 海図データ記憶部
【用語】
【0118】
必ずしも全ての目的または効果・利点が、本明細書中に記載される任意の特定の実施形態に則って達成され得るわけではない。従って、例えば当業者であれば、特定の実施形態は、本明細書中で教示または示唆されるような他の目的または効果・利点を必ずしも達成することなく、本明細書中で教示されるような1つまたは複数の効果・利点を達成または最適化するように動作するように構成され得ることを想到するであろう。
【0119】
本明細書中に記載される全ての処理は、1つまたは複数のコンピュータまたはプロセッサを含むコンピューティングシステムによって実行されるソフトウェアコードモジュールにより具現化され、完全に自動化され得る。コードモジュールは、任意のタイプの非一時的なコンピュータ可読媒体または他のコンピュータ記憶装置に記憶することができる。一部または全ての方法は、専用のコンピュータハードウェアで具現化され得る。
【0120】
本明細書中に記載されるもの以外でも、多くの他の変形例があることは、本開示から明らかである。例えば、実施形態に応じて、本明細書中に記載されるアルゴリズムのいずれかの特定の動作、イベント、または機能は、異なるシーケンスで実行することができ、追加、併合、または完全に除外することができる (例えば、記述された全ての行為または事象がアルゴリズムの実行に必要というわけではない)。さらに、特定の実施形態では、動作またはイベントは、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサまたはプロセッサコアを介して、または他の並列アーキテクチャ上で、逐次ではなく、並列に実行することができる。さらに、異なるタスクまたはプロセスは、一緒に機能し得る異なるマシンおよび/またはコンピューティングシステムによっても実行され得る。
【0121】
本明細書中に開示された実施形態に関連して説明された様々な例示的論理ブロックおよびモジュールは、プロセッサなどのマシンによって実施または実行することができる。プロセッサは、マイクロプロセッサであってもよいが、代替的に、プロセッサは、コントローラ、マイクロコントローラ、またはステートマシン、またはそれらの組み合わせなどであってもよい。プロセッサは、コンピュータ実行可能命令を処理するように構成された電気回路を含むことができる。別の実施形態では、プロセッサは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはコンピュータ実行可能命令を処理することなく論理演算を実行する他のプログラマブルデバイスを含む。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、デジタル信号プロセッサ(デジタル信号処理装置)とマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つ以上のマイクロプロセッサ、または任意の他のそのような構成として実装することができる。本明細書中では、主にデジタル技術に関して説明するが、プロセッサは、主にアナログ素子を含むこともできる。例えば、本明細書中に記載される信号処理アルゴリズムの一部または全部は、アナログ回路またはアナログとデジタルの混合回路により実装することができる。コンピューティング環境は、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブルコンピューティングデバイス、デバイスコントローラ、または装置内の計算エンジンに基づくコンピュータシステムを含むが、これらに限定されない任意のタイプのコンピュータシステムを含むことができる。
【0122】
特に明記しない限り、「できる」「できた」「だろう」または「可能性がある」などの条件付き言語は、特定の実施形態が特定の特徴、要素および/またはステップを含むが、他の実施形態は含まないことを伝達するために一般に使用される文脈内での意味で理解される。従って、このような条件付き言語は、一般に、特徴、要素および/またはステップが1つ以上の実施形態に必要とされる任意の方法であること、または1つ以上の実施形態が、これらの特徴、要素および/またはステップが任意の特定の実施形態に含まれるか、または実行されるかどうかを決定するための論理を必然的に含むことを意味するという訳ではない。
【0123】
語句「X、Y、Zの少なくとも1つ」のような選言的言語は、特に別段の記載がない限り、項目、用語等が X, Y, Z、のいずれか、又はそれらの任意の組み合わせであり得ることを示すために一般的に使用されている文脈で理解される(例: X、Y、Z)。従って、このような選言的言語は、一般的には、特定の実施形態がそれぞれ存在するXの少なくとも1つ、Yの少なくとも1つ、またはZの少なくとも1つ、の各々を必要とすることを意味するものではない。
【0124】
本明細書中に記載されかつ/または添付の図面に示されたフロー図における任意のプロセス記述、要素またはブロックは、プロセスにおける特定の論理機能または要素を実装するための1つ以上の実行可能命令を含む、潜在的にモジュール、セグメント、またはコードの一部を表すものとして理解されるべきである。代替の実施形態は、本明細書中に記載された実施形態の範囲内に含まれ、ここでは、要素または機能は、当業者に理解されるように、関連する機能性に応じて、実質的に同時にまたは逆の順序で、図示または説明されたものから削除、順不同で実行され得る。
【0125】
特に明示されていない限り、「一つ」のような数詞は、一般的に、1つ以上の記述された項目を含むと解釈されるべきである。従って、「～するように設定された一つのデバイス」などの語句は、1つ以上の列挙されたデバイスを含むことを意図している。このような1つまたは複数の列挙されたデバイスは、記載された引用を実行するように集合的に構成することもできる。例えば、「以下のA、BおよびCを実行するように構成されたプロセッサ」は、Aを実行するように構成された第1のプロセッサと、BおよびCを実行するように構成された第2のプロセッサとを含むことができる。加えて、導入された実施例の具体的な数の列挙が明示的に列挙されたとしても、当業者は、このような列挙が典型的には少なくとも列挙された数(例えば、他の修飾語を用いない「2つの列挙と」の単なる列挙は、通常、少なくとも2つの列挙、または2つ以上の列挙を意味する)を意味すると解釈されるべきである。
【0126】
一般に、本明細書中で使用される用語は、一般に、「非限定」用語(例えば、「～を含む」という用語は「それだけでなく、少なくとも～を含む」と解釈すべきであり、「～を持つ」という用語は「少なくとも～を持っている」と解釈すべきであり、「含む」という用語は「以下を含むが、これらに限定されない。」などと解釈すべきである。) を意図していると、当業者には判断される。
【0127】
説明の目的のために、本明細書中で使用される「水平」という用語は、その方向に関係なく、説明されるシステムが使用される領域の床の平面または表面に平行な平面、または説明される方法が実施される平面として定義される。「床」という用語は、「地面」または「水面」という用語と置き換えることができる。「垂直/鉛直」という用語は、定義された水平線に垂直/鉛直な方向を指します。「上側」「下側」「下」「上」「側面」「より高く」「より低く」「上の方に」「～を越えて」「下の」などの用語は水平面に対して定義されている。
【0128】
本明細書中で使用される用語の「付着する」、「接続する」、「対になる」及び他の関連用語は、別段の注記がない限り、取り外し可能、移動可能、固定、調節可能、及び/または、取り外し可能な接続または連結を含むと解釈されるべきである。接続/連結は、直接接続及び/または説明した2つの構成要素間の中間構造を有する接続を含む。
【0129】
特に明示されていない限り、本明細書中で使用される、「およそ」、「約」、および「実質的に」のような用語が先行する数は、列挙された数を含み、また、さらに所望の機能を実行するか、または所望の結果を達成する、記載された量に近い量を表す。例えば、「およそ」、「約」及び「実質的に」とは、特に明示されていない限り、記載された数値の10%未満の値をいう。本明細書中で使用されているように、「およそ」、「約」、および「実質的に」などの用語が先行して開示されている実施形態の特徴は、さらに所望の機能を実行するか、またはその特徴について所望の結果を達成するいくつかの可変性を有する特徴を表す。
【0130】
上述した実施形態には、多くの変形例および修正例を加えることができ、それらの要素は、他の許容可能な例の中にあるものとして理解されるべきである。そのような全ての修正および変形は、本開示の範囲内に含まれることを意図し、以下の特許請求の範囲によって保護される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】