IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧

特開2024-171672システム、コンピュータ、及びプログラム
<>
  • 特開-システム、コンピュータ、及びプログラム 図1
  • 特開-システム、コンピュータ、及びプログラム 図2
  • 特開-システム、コンピュータ、及びプログラム 図3
  • 特開-システム、コンピュータ、及びプログラム 図4
  • 特開-システム、コンピュータ、及びプログラム 図5
  • 特開-システム、コンピュータ、及びプログラム 図6
  • 特開-システム、コンピュータ、及びプログラム 図7
  • 特開-システム、コンピュータ、及びプログラム 図8
  • 特開-システム、コンピュータ、及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171672
(43)【公開日】2024-12-12
(54)【発明の名称】システム、コンピュータ、及びプログラム
(51)【国際特許分類】
   G01W 1/00 20060101AFI20241205BHJP
   G01B 11/00 20060101ALI20241205BHJP
   G01C 5/00 20060101ALN20241205BHJP
【FI】
G01W1/00 E
G01B11/00 H
G01C5/00 Z
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023088812
(22)【出願日】2023-05-30
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000198
【氏名又は名称】弁理士法人湘洋特許事務所
(72)【発明者】
【氏名】渡邊 昭信
(72)【発明者】
【氏名】大津 賢治
(72)【発明者】
【氏名】別井 圭一
(72)【発明者】
【氏名】平塚 幸恵
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065FF05
2F065FF11
2F065GG04
2F065QQ31
2F065SS09
(57)【要約】
【課題】全天に亘る雲高を高い精度で計測する。
【解決手段】1以上のプロセッサと、1以上のメモリリソースと、を備えるコンピュータ、プログラム、又はコンピュータとステレオカメラを含むシステムに関する。前記プロセッサは、雲が存在し得る上空を撮像したステレオ画像を、前記ステレオカメラから取得し、前記ステレオ画像の対応点における視差を抽出し、前記視差に基づいて前記雲までの距離を表す第1の雲高を取得し、前記第1の雲高、及び、雲底高度を表す第2の雲高及び雲頂高度を表す第3の雲高の少なくとも一方、に基づいて第4の雲高を決定し、前記第4の雲高を含む気象通報式を生成する。
【選択図】図1
【特許請求の範囲】
【請求項1】
ステレオカメラと、
1以上のプロセッサと、1以上のメモリリソースと、を備えるコンピュータと、
を有するシステムであって、
前記プロセッサは:
雲が存在し得る上空を撮像したステレオ画像を、前記ステレオカメラから取得し、
前記ステレオ画像の対応点における視差を抽出し、前記視差に基づいて前記雲までの距離を表す第1の雲高を取得し、
以下に基づいて、第4の雲高を決定し:
前記第1の雲高、及び
雲底高度を表す第2の雲高、及び雲頂高度を表す第3の雲高、の少なくとも一方、
前記第4の雲高を含む気象通報式を生成する、
システム。
【請求項2】
請求項1に記載のシステムであって、
前記第2の雲高は、レーザを用いた雲高計により測定された値であり、
前記第3の雲高は、衛星画像に基づいて取得された値である、
システム。
【請求項3】
請求項1に記載のシステムであって、
前記視差の抽出として、前記プロセッサは:
前記ステレオ画像から前記雲を検出し、
前記ステレオ画像を前記雲の領域毎に分割し、
前記ステレオ画像の前記領域毎に前記雲以外の部分をマスキングし、
マスキングしていない部分の対応点における視差を、前記視差として抽出する、
システム。
【請求項4】
請求項1に記載のシステムであって、
前記プロセッサは、以下の条件に合致する場合、前記第4の雲高を決定せずに前記第1の雲高を除外する:
前記第1の雲高の基となった前記ステレオ画像の撮像時刻と、前記第3の雲高の基となった衛星画像の撮像時刻と、の差が所定の閾値以内である、且つ、
前記第1の雲高が前記第3の雲高よりも高い、
システム。
【請求項5】
請求項1に記載のシステムであって、
前記第4の雲高の決定として、前記プロセッサは:
同一の雲に対して前記第1の雲高と前記第2の雲高とが取得され、且つ取得された前記第1の雲高と前記第2の雲高とが異なる場合、前記同一の雲に対する前記第2の雲高を前記第4の雲高に決定する、
システム。
【請求項6】
請求項5に記載のシステムであって、
前記第4の雲高の決定として、前記プロセッサは、以下の条件に合致する場合は、第1の雲に対する前記第1の雲高と前記第2の雲高との比率に基づいて、第2の雲に対する前記第4の雲高を決定する:
前記第1の雲に対して前記第1の雲高と前記第2の雲高とが取得されている、且つ
前記第2の雲に対して前記第1の雲高が計測されて前記第2の雲高が取得されていない、
システム。
【請求項7】
請求項1に記載のシステムであって、
前記第4の雲高の決定として、前記プロセッサは:
同一の雲に対して前記第1の雲高が取得されずに前記第2の雲高が取得された場合、前記同一の雲に対する前記第2の雲高を前記第4の雲高に決定する、
システム。
【請求項8】
請求項1に記載のシステムであって、
前記ステレオカメラは、可視光カメラ、または近赤外線カメラである、
システム。
【請求項9】
請求項2に記載のシステムは、さらに前記レーザを用いた雲高計を有し、
前記第4の雲高の決定は、少なくとも前記第2の雲高に基づく、
システム。
【請求項10】
請求項1に記載のシステムであって、
前記プロセッサは:
生成した前記気象通報式を出力する、
システム。
【請求項11】
1以上のプロセッサと、
1以上のメモリリソースと、
を備える、コンピュータであって、
前記プロセッサは:
雲が存在し得る上空を撮像したステレオ画像を取得し、
前記ステレオ画像の対応点における視差を抽出し、前記視差に基づいて前記雲までの距離を表す第1の雲高を取得し、
以下に基づいて、第4の雲高を決定し:
前記第1の雲高、及び
雲底高度を表す第2の雲高、及び雲頂高度を表す第3の雲高、の少なくとも一方、
前記第4の雲高を含む気象通報式を生成する、
コンピュータ。
【請求項12】
請求項11に記載のコンピュータであって、
前記第2の雲高は、レーザを用いた雲高計により測定された値であり、
前記第3の雲高は、衛星画像に基づいて取得された値である、
コンピュータ。
【請求項13】
請求項11に記載のコンピュータであって、
前記視差の抽出として、前記プロセッサは:
前記ステレオ画像から前記雲を検出し、
前記ステレオ画像を前記雲の領域毎に分割し、
前記ステレオ画像の前記領域毎に前記雲以外の部分をマスキングし、
マスキングしていない部分の対応点における視差を、前記視差として抽出する、
コンピュータ。
【請求項14】
請求項11に記載のコンピュータであって、
前記プロセッサは、以下の条件に合致する場合、前記第4の雲高を決定せずに前記第1の雲高を除外する:
前記第1の雲高の基となった前記ステレオ画像の撮像時刻と、前記第3の雲高の基となった衛星画像の撮像時刻と、の差が所定の閾値以内である、且つ、
前記第1の雲高が前記第3の雲高よりも高い、
コンピュータ。
【請求項15】
請求項11に記載のコンピュータであって、
前記第4の雲高の決定として、前記プロセッサは:
同一の雲に対して前記第1の雲高と前記第2の雲高とが取得され、且つ取得された前記第1の雲高と前記第2の雲高とが異なる場合、前記同一の雲に対する前記第2の雲高を前記第4の雲高に決定する、
コンピュータ。
【請求項16】
請求項15に記載のコンピュータであって、
前記第4の雲高の決定として、前記プロセッサは、以下の条件に合致する場合は、第1の雲に対する前記第1の雲高と前記第2の雲高との比率に基づいて、第2の雲に対する前記第4の雲高を決定する:
前記第1の雲に対して前記第1の雲高と前記第2の雲高とが取得されている、且つ
前記第2の雲に対して前記第1の雲高が計測されて前記第2の雲高が取得されていない、
コンピュータ。
【請求項17】
請求項11に記載のコンピュータであって、
前記第4の雲高の決定として、前記プロセッサは:
同一の雲に対して前記第1の雲高が取得されずに前記第2の雲高が取得された場合、前記同一の雲に対する前記第2の雲高を前記第4の雲高に決定する、
コンピュータ。
【請求項18】
請求項12に記載のコンピュータであって、
前記第4の雲高の決定は、少なくとも前記第2の雲高に基づく、
コンピュータ。
【請求項19】
請求項11に記載のコンピュータであって、
前記プロセッサは:
前記生成した気象通報式を出力する、
コンピュータ。
【請求項20】
コンピュータに含まれる1以上のプロセッサで実行可能なプログラムであって、
当該プログラムを実行することで、前記プロセッサは:
雲が存在し得る上空を撮像したステレオ画像を、ステレオカメラから取得し、
前記ステレオ画像の対応点における視差を抽出し、前記視差に基づいて前記雲までの距離を表す第1の雲高を取得し、
以下に基づいて、第4の雲高を決定し:
前記第1の雲高、及び
雲底高度を表す第2の雲高、及び雲頂高度を表す第3の雲高、の少なくとも一方、
前記第4の雲高を含む気象通報式を生成する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、システム、コンピュータ、及びプログラムに関する。
【背景技術】
【0002】
例えば、空港において航空機の離発着を管制するに際しては、逐次変化し得る空港周辺の気象情報が必要である。METAR(定時飛行場実況気象通報式)は、航空気象情報を通報するための気象通報式の一種であり、空港や航空基地等の気象状況の把握に使用されている。
【0003】
METARには、風向、風速、視程、天候、雲高等の各観測項目の情報が含まれる。これらの観測項目のうち、特に雲高については、その計測が観測員の経験に基づいて行われており、自動化があまり進んでいない。
【0004】
なお、従来、雲高を計測する装置として、レーザを用いたシーロメータ等が存在するが、シーロメータは、直上の雲高は計測できるが、水平方向の計測範囲が狭いので、全天に亘って雲高を計測できない。
【0005】
雲高計測に関し、例えば特許文献1には「レーザからのデータを受信して、局所的な範囲の複数の雲底の高さを計測する局所雲高計測部と、センサから全天の画像データを受信して、画像データに基づいて複数の雲底の相対的な高さを推定する低精度雲高推定部と、レーザによる計測範囲と複数の雲底の交点を受け付け、交点と局所雲高計測部により計測した複数の雲底の高さを用いて、低精度雲高推定部にて推定した複数の雲底を補正する雲高補正部と、を備える全天雲高計測装置」が記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2022-13152号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載の技術は、遠赤外線カメラ(赤外線サーモカメラ)と、シーロメータとを組み合わせた技術であるが、雲高計測の精度に向上の余地がある。
【0008】
本発明は、上記の点に鑑みてなされたものであり、全天に亘る雲高を高い精度で計測できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。
【0010】
上記課題を解決するため、本発明の一態様に係るコンピュータは、
1以上のプロセッサと、1以上のメモリリソースと、を備えるコンピュータと、
を有する。
そして、前記プロセッサは:
雲が存在し得る上空を撮像したステレオ画像を、前記ステレオカメラから取得し、
前記ステレオ画像の対応点における視差を抽出し、前記視差に基づいて前記雲までの距離を表す第1の雲高を取得し、
以下に基づいて、第4の雲高を決定し:
前記第1の雲高、及び
雲底高度を表す第2の雲高、及び雲頂高度を表す第3の雲高、の少なくとも一方、
前記第4の雲高を含む気象通報式を生成する。
別視点では、このようなコンピュータで実行可能なプログラムが本発明の別な一態様であり、このようなコンピュータと、ステレオカメラと、を含むシステムがさらに別な一態様である。
【発明の効果】
【0011】
本発明によれば、全天に亘る雲高を高い精度で計測することが可能となる。
【0012】
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0013】
図1図1は、本発明の一実施形態に係る雲高計測システムの構成例を示す図である。
図2図2は、一般的なコンピュータの構成例を示す図である。
図3図3は、気象情報処理の一例を説明するフローチャートである。
図4図4は、ステップS10の処理の具体例を説明するための図である。
図5図5は、ステップS10の処理の具体例を説明するための図である。
図6図6は、ステップS10の処理の具体例を説明するための図である。
図7図7は、ステップS10の処理の具体例を説明するための図である。
図8図8は、ステップS10の処理の具体例を説明するための図である。
図9図9は、気象通報式の一例を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の一実施形態を説明する。実施形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。各種情報の例として、「テーブル」、「リスト」、「キュー」等の表現にて説明することがあるが、各種情報はこれら以外のデータ構造で表現されてもよい。例えば、「XXテーブル」、「XXリスト」、「XXキュー」等の各種情報は、「XX情報」としてもよい。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ID」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須ではない。また、「Aからなる」、「Aよりなる」、「Aを有する」、「Aを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除しない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含む。また、「取得」は、その具体例として、主語が生成、算出、外部からの受信する、ことを少なくとも含むものとする。
【0015】
<本発明の一実施形態に係る雲高計測システム10の構成例>
図1は、本発明の一実施形態に係る雲高計測システム10の構成例を示している。
【0016】
雲高計測システム10は、気象情報処理装置20、ステレオカメラ30、可視光カメラ31、シーロメータ32、及び外部装置40を備える。気象情報処理装置20は、ネットワークNを介してステレオカメラ30、可視光カメラ31、シーロメータ32、及び外部装置40と接続される。ネットワークNは、インターネットに代表される双方向通信網である。なお、気象情報処理装置20とステレオカメラ30、可視光カメラ31、及びシーロメータ32とは、ネットワークNを介することなく、例えば、専用ケーブル等を用いて直接的に接続してもよい。
【0017】
気象情報処理装置20は、ステレオカメラ30が上空を同時に撮像した2枚の画像(ステレオ画像)に基づいて上空に存在する雲までの距離(雲高)を算出し、雲高を含む気象通報式(METAR等)を生成する。なお、ステレオ画像は、ステレオカメラ30に含まれる複数(典型的には2つ)のカメラの各々で撮影した画像(便宜上、サブステレオ画像と呼ぶ)のセット、又は複数のサブステレオ画像を結合した画像である。
【0018】
気象情報処理装置20は、処理部21、記憶部22、通信部23、UI(User Interface)部24、及び内部時計25を備える。処理部21は、雲高算出部211、雲高修正部212、気象通報式生成部213、情報取得部214、及び気象通報式出力部215の各機能ブロックを有する。気象情報処理装置20は、例えば、パーソナルコンピュータやサーバコンピュータ等の一般的なコンピュータからなる。なお、気象情報処理装置20をコンピュータで実現する場合、当該コンピュータは必ずしも気象情報処理専用にする必要はない。
【0019】
図2は、気象情報処理装置20を成す一般的なコンピュータ100の構成例を示している。コンピュータ100は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサ101、DRAM(Dynamic Random Access Memory)等のメモリ102、HDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージ103、キーボード、マウス、タッチパネル等の入力装置104、ディスプレイ等の出力装置105、及び、NIC(Network Interface Card)等の通信モジュール106を備える
【0020】
コンピュータ100は、プロセッサ101によりプログラムを実行し、記憶資源(メモリ102、及びストレージ103)や通信モジュール106等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサ101としてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、コンピュータ、ノードであってもよい。これら存在はコンピュータの一形態とみなしてもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、演算部は特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばFPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)、CPLD(Complex Programmable Logic Device)等である。また、プログラムを実行して何かしらの処理を行う、という視点では、FPGAやASICやCPLDをプロセッサとみなしてもよい。
【0021】
プログラムは、プログラムソースからコンピュータ100にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたはコンピュータ100が読み取り可能な記憶メディア(典型的には不揮発である)であってもよい。また、一般にプログラムは、プロセッサに与える命令を複数含む。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他のコンピュータに配布してもよい。また、実施形態において、2以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2以上のプログラムとして実現されてもよい。
【0022】
例えば、コンピュータ100は、プロセッサ101がメモリにロードされた所定のプログラムを実行することにより、処理部21が有する雲高算出部211、雲高修正部212、気象通報式生成部213、情報取得部214、気象通報式出力部215の各機能ブロックを実現する。ただし、これらの機能ブロックの一部または全部を集積回路等によりハードウェアとして実現してもよい。また、これらの機能ブロックは、1台のコンピュータ100によって実現してもよいし、複数台のコンピュータ100によって実現してもよい。複数台のコンピュータ100によって実現する場合、複数台のコンピュータ100は、ネットワークNを介して接続されていてもよく、遠隔地に分散して配置してもよい。
【0023】
図1に戻る。雲高算出部211は、ステレオカメラ30から得られたステレオ画像を用い、その視差に基づいて雲高(本発明の第1の雲高に相当する)を算出する。雲高修正部212は、雲高算出部211によって算出された雲高を、シーロメータ32によって計測された、シーロメータ32の直上の雲底高度(本発明の第2の雲高に相当する)と、衛星画像に基づく雲頂高度(本発明の第3の雲高に相当する)とに基づいて修正する。雲高算出部211、及び雲高修正部212の処理の詳細については後述する。
【0024】
気象通報式生成部213は、雲高修正部212によって修正された雲高(本発明の第4の雲高に相当する)、及び外部装置40から取得した風向、風速、視程等に基づき、例えばMETAR等の気象通報式を生成する。なお、気象通報式としては、METARの他、例えば、SPECI(特別飛行場実況気象通報式)、TAF(運行用飛行場予報気象通報式)、TREND(着陸用飛行場予報気象通報式)、VOLMET(ボルメット放送向け運航用飛行場予報気象通報式)、SCAN(航空気象観測所実況気象通報式)等を生成するようにしてもよい。
【0025】
情報取得部214は、通信部23、及びネットワークNを介して、ステレオカメラ30を制御してステレオ画像を取得し、画像情報221として記憶部22に格納する。また、情報取得部214は、通信部23、及びネットワークNを介して、可視光カメラ31を制御して可視光画像を取得し、画像情報221として記憶部22に格納する。さらに、情報取得部214は、通信部23、及びネットワークNを介して、シーロメータ32を制御して、シーロメータ32の直上の雲底高度を取得し、雲底高度情報225として記憶部22に格納する。またさらに、情報取得部214は、通信部23、及びネットワークNを介して外部装置40に接続し、風向・風速情報222、視程情報223、及び雲頂高度情報224を取得し、記憶部22に格納する。
【0026】
気象通報式出力部215は、生成された気象通報式の出力を行う。気象通報式の出力の具体例は、UI部24を用いて気象通報式を表示することであり、又は、気象情報処理装置20の外部の装置に、気象通報式を送信(通信部23を利用)すること、である。なお、気象通報式出力部215は、必ずしも気象通報式を生成した毎に実行する必要はない。また、気象通報式出力部215を実現するプログラムは、気象通報式出力部215以外の機能ブロックを実現するためのプログラムとは別であってもよい。
【0027】
記憶部22は、コンピュータ100が備えるメモリ102やストレージ103等の記憶資源により実現される。記憶部22には、画像情報221、風向・風速情報222、視程情報223、雲頂高度情報224、雲底高度情報225、及び気象通報式226が格納される。
【0028】
画像情報221は、ステレオカメラ30によって同時に撮像された、視差が生じ得ているステレオ画像、及び可視光カメラ31によってステレオカメラ30と同時に撮像された可視光画像からなる。風向・風速情報222は、外部装置40から取得した、計測地点における風向、及び風速を表す情報である。視程情報223は、外部装置40から取得した、計測地点における視程を表す情報である。雲頂高度情報224は、外部装置40から取得した、計測地点における衛星画像に基づく雲頂高度(雲の最高高度)を表す情報である。ただし、雲頂高度情報224の基となった衛星画像の撮像時刻と、ステレオ画像の撮像時刻にはタイムラグが生じ得ている。雲底高度情報225は、シーロメータ32によって計測されたその直上の雲底高度(雲の最低高度)を表す。気象通報式226は、気象通報式生成部213によって生成されたMETAR文等である。
【0029】
通信部23は、コンピュータ100が備える通信モジュール106により実現される。通信部23は、ネットワークNを介してステレオ画像、可視光画像、雲底高度を受信する。また、通信部23は、ネットワークNを介し、外部装置40が送信した各種情報を受信する。
【0030】
UI部24は、コンピュータ100が備える入力装置104、及び出力装置105により実現される。UI部24は、例えば、ユーザに対して各種の画面を表示し、ユーザから各種の操作を受け付ける。
【0031】
内部時計25は、ネットワークNを介してNTP(Network Time Protocol)サーバ(不図示)に接続し、自己の時刻情報を整合して、気象情報処理装置20の各部や、ステレオカメラ30、可視光カメラ31、シーロメータ32等に対して時刻情報を供給する。なお、NTPサーバを用いる代わりに、例えば、GPS(Global Positioning System)等の衛星測位システムを用いて時刻情報を算出、整合、供給するようにしてもよい。
【0032】
ステレオカメラ30、可視光カメラ31、及びシーロメータ32は、空港等の計測地点に配置される。ステレオカメラ30は、所定の基線長を保持して配置された2台のカメラからなる。ステレオカメラ30は、例えば魚眼レンズ等の画角が広いレンズを有する。ステレオカメラ30には、可視光カメラを採用してもよいし、近赤外線カメラを採用してもよい。近赤外線カメラを採用した場合、雲の濃淡の鮮鋭化による視差抽出の高精度化に有利であり、また夜間等の低光量下においても雲の撮像が可能となる。ステレオカメラ30は、上空を撮像したステレオ画像に属性情報として撮影時刻を付加し、ネットワークNを介して気象情報処理装置20に送信する。当該ステレオ画像は、視差に基づく被写体までの距離算出、すなわち、雲高の算出に用いられる。なお、3台以上のカメラを分散して配置し、そのうちの2台を適宜組み合わせてステレオカメラ30を構成してもよい。この場合、基線長が異なる複数のステレオ画像を得ることができ、また基線上の視差が小さい領域を補いあうことができる。
【0033】
可視光カメラ31は、ステレオカメラ30と同じ撮像範囲を撮像し、得られた可視光画像に属性情報として撮影時刻を付加し、ネットワークNを介して気象情報処理装置20に送信する。なお、ステレオカメラ30に可視光カメラが採用されている場合、可視光カメラ31を省略し、ステレオ画像の一方を可視光画像とみなしてもよい。
【0034】
シーロメータ32は、直上に存在する雲の高度(雲底高度)を計測し、属性情報として計測時刻を付加して、ネットワークNを介して気象情報処理装置20に送信する。なお、直上の多層の雲が存在する場合、シーロメータ32は、各層の雲底高度を計測できる。本明細書におけるシーロメータ32は、通信モジュール等の付帯設備を含む意味とみなしてもよい。
【0035】
外部装置40は、例えば、風速計、視程計測装置、気象衛星等を含み、風向・風速情報222、視程情報223、及び雲頂高度情報224を出力する。なお、本明細書における「気象衛星」は宇宙空間を飛行している衛星そのものを指すのではなく、当該衛星をサポートする通信システムや地上設備(コンピュータ等)を含むシステム全体を指すが、説明の簡略化のため、「システム」の単語付与は省略する。その他の装置についても同様にセンサ以外の付帯設備を含むシステムを指すが、説明の簡略化のために「システム」の単語付与は省略する。なお、以後及び以前の説明では、「衛星画像に基づく雲頂高度」の算出は、気象衛星の付帯設備で行っており、気象情報処理装置20は、気象衛星の付帯設備が算出した情報を受信(取得)している場合について説明しているが、他の実現方法も可能である。
【0036】
<気象情報処理装置20による気象情報処理>
次に、図3は、気象情報処理装置20による気象情報処理の一例を説明するフローチャートである。なお、以下に示すフローチャートは、一部分だけを抜粋してもよい。また、抜粋の仕方に依存するが、一視点として、気象情報処理は、ステレオ画像から雲高を算出(計測)しているので、雲高計測処理ともみなすことができる。また、別視点では、気象通報式を生成しているため、気象情報処理は、気象情報生成処理とみなすことができる。
【0037】
気象情報処理の前提として、情報取得部214が、シーロメータ32、及び外部装置40から定期的に風向・風速情報222、視程情報223、雲頂高度情報224、雲底高度情報225を取得し、記憶部22に格納しているものとする。気象情報処理は、例えば、ユーザからの所定の開始操作に応じて開始される。
【0038】
始めに、情報取得部214が、通信部23、及びネットワークNを介して、ステレオカメラ30、及び可視光カメラ31を制御し、初期設定として、内部時計25が生成した時刻情報を供給して、画像に付加される撮影時刻を内部時計25の時刻情報に同期させる。また、ステレオカメラ30を成す2台のカメラ間のキャリブレーションを実行する(ステップS1)。
【0039】
次に、情報取得部214が、ステレオカメラ30、及び可視光カメラ31を制御して全天を撮像させ、その結果得られたステレオ画像、及び可視光画像を取得し、画像情報221として記憶部22に格納する(ステップS2)。
【0040】
次に、雲高算出部211が、画像情報221に含まれる可視光画像を参照し、可視光画像に写っている雲をピクセル単位で検出する(ステップS3)。雲の検出は、例えば、予め機械学習された学習モデルを用いた画像認識処理によって実現できる。次に、雲高算出部211が、ステップS3において雲を検出したか否かを判定する(ステップS4)。
【0041】
ここで、雲を検出したと判定した場合(ステップS4でYES)、次に、雲高算出部211が、検出した雲毎にステレオ画像を複数の領域に分割する(ステップS5)。次に、雲高算出部211が、分割した領域毎に、雲ではない部分(例えば、晴天部分、太陽、月、星、人工衛星、光芒、照明等の外乱光、レンズ内反射によるゴーストやフレア、雨滴、降雪、飛行機、鳥、地上構造物等)をノイズとみなしてマスキングし、ステップS7以降の処理対象から除外する(ステップS6)。これにより、ステップS7以降の処理量や視差の誤検出を軽減できる。なお、より具体的に言えば、ステップS3からステップS6は、対象となるステレオ画像に含まれるサブステレオ画像の各々に対して行っている。
【0042】
次に、雲高算出部211が、ステレオ画像のマスキングしていない部分について対応点を検出し、検出した対応点の視差を抽出する(ステップS7)。次に、雲高算出部211が、ステップS7においてステレオ画像から視差を抽出できたか否かを判定する(ステップS8)。なお、より具体的に言えば、対応点の検出は、対象となるステレオ画像に含まれるサブステレオ画像の各々に対して行っている。
【0043】
ここで、ステレオ画像から視差を抽出できたと判定した場合(ステップS8でYES)、次に、雲高算出部211が、抽出できた視差に基づき、当該対応点までの距離、すなわち雲高を算出する(ステップS9)。
【0044】
次に、雲高修正部212が、雲高算出部211によって算出された各対応点の雲高を、雲頂高度情報224、及び雲底高度情報225に基づいて修正する(ステップS10)。
【0045】
図4図8は、ステップS10の処理の具体例を説明するための図である。なお、図4図8で説明する具体例は、併用してもよい。
【0046】
例えば、図4に示すように、ステップS9でステレオ画像に基づいて算出された雲C1の雲高h11の基となったステレオ画像の撮像時刻と、雲頂高度情報224の基となった衛星画像の撮像時刻の時間差が所定の閾値(例えば、30分間)以内であって、雲C1に対して算出された雲高h11が、雲頂高度情報224の表す高度h31よりも高い場合、雲高修正部212は、算出された雲高h11を誤計測とみなして気象通報式への記録対象から除外する(気象通報式に採用しない)。
【0047】
また例えば、図5に示すように、ステップS9でステレオ画像に基づいて算出された雲C1の雲高h11と、同時にシーロメータ32によって計測された雲底高度h21との差分がΔhである場合、雲高修正部212は、雲C1の雲高h11を、差分Δhだけ補正して、雲底高度h21に修正する。図5の場合は、ステレオ画像に基づいた雲底高度ではなく、シーロメータ32によって計測された雲底高度を採用する、ともいえる。
【0048】
なお、図5に示された状態から時間が経過し、例えば図6に示すように、雲C1が風に流されてシーロメータ32の直上から移動した場合(つまり、雲C1がシーロメータ32の計測範囲から外れた場合)であっても、その経過時間が所定の閾値(例えば、10分間程度)以内であれば、雲C1の雲底高度は図の5の時点から変化しない(又は変化量が少ない)と想定できる。よって、雲高修正部212は、図6の時点でステレオ画像に基づいて算出された雲C1の雲高h11についても、図5の時点で算出された差分Δhだけ補正して、雲底高度h21’に修正する。本実施形態において、シーロメータ32の直上から移動した雲は、シーロメータの計測範囲から外れた雲である、ということを説明する一例である。
【0049】
また例えば、図7に示すように、ステップS9でステレオ画像に基づき雲C1,C2の雲高h11,h12が算出され、同時にシーロメータ32の直上に位置する雲C1の雲底高度h21が計測された場合、雲高修正部212は、雲C1の雲高h11を、図5の場合と同様に、雲底高度h21に修正する。また、雲高修正部212は、雲C2の雲高h12を、雲C1の雲高h11の補正と同じ比率で修正する。例えば、雲C2の雲高h12に、雲C1の雲高h11の補正の比率(例えば、h21/h11)を乗算して雲高h12’に修正する。ただし、シーロメータ32によって雲底高度が計測されていない雲C2については、ステレオ画像に基づく雲高h12をそのまま採用してもよい。
【0050】
さらに例えば、図8に示すように、ステップS3で可視光画像から雲C1,C2,C3が検出されたが、ステップS9ではステレオ画像に基づき雲C1,C2に対して雲高h11,h12が算出され、雲C3に対する雲高は算出されず、同時にシーロメータ32によって雲C1,C3の雲底高度h21,h23が計測された場合、雲高修正部212は、雲C1の雲高h11を、図5の場合と同様に、雲底高度h21に修正する。また、雲高修正部212は、雲C2の雲高h12を、図7の場合と同様に、雲C1の雲高h11の補正と同じ比率で雲高h12’に修正する。さらに、雲高修正部212は、シーロメータ32によって計測された雲C3の雲底高度h23を雲C3の全体の雲高に採用する。
【0051】
図3に戻る。次に、気象通報式生成部213が、ステップS10で修正された雲高の他、風向・風速情報222、視程情報223等に基づき、例えば、METAR等の気象通報式226を生成して記憶部22に格納する(ステップS11)。記憶部22に格納された気象通報式226は、気象通報式出力部215によって、適宜、空港等に供給される。
【0052】
図9は、ステップS11において生成された気象通報式226の一種であるMETAR文の一例を示している。同図中の「ABCDEFG」と記載した部分は空港名および空港コードである。同図に示されたように、気象に関する各項目の情報を気象通報式226に変換した場合、情報量を削減することなく、テキスト量を大幅に削減することができる。
【0053】
図3に戻る。ステップS11の後、処理はステップS2に戻り、所定の周期(例えば、10分周期)でステップS2以降の処理が繰り返される。
【0054】
なお、ステップS4において、雲を検出していないと判定した場合(ステップS4でNO)、ステップS5~S10を省略して、処理はステップS11に進められ、雲が存在しないことを表す気象通報式226が生成される。
【0055】
また、ステップS8において、雲高算出部211がステレオ画像から視差を抽出できなかったと判定した場合(ステップS8でNO)、雲が存在するにも拘わらず視差が抽出されないのはステレオカメラ30を成す2台のカメラの撮像方向のずれ等の可能性があるので、UI部24が、ユーザに対して異常の発生を発報し(ステップS12)、気象情報処理装置20が気象情報処理を終了する。
【0056】
以上に説明した気象情報処理によれば、ステレオ画像に基づいて算出した全天の雲高を、衛星画像に基づく雲頂高度情報224、及びシーロメータ32が測定した雲底高度情報225に基づいて修正するので、全天の雲高を高い精度で計測できる。
【0057】
<バリエーション及びまとめ>
本発明は、上述した実施形態に限定されるものではなく、様々な変形が可能である。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えたり、追加したりすることが可能である。
【0058】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【0059】
また、「衛星画像に基づく雲頂高度」の算出は、外部装置40の一例である気象衛星ではなく、気象情報処理装置20が行ってもよい。この場合、気象情報処理装置は、気象衛星から雲頂高度の代わりとして衛星画像を取得する。
また、ステレオカメラは2台より多くのカメラを含んでもよい。
また、シーロメータの設置角度を変化させて、真上以外を計測対象点としてもよい。加えて、シーロメータの計測領域は線状以外の、レーザ出射部分を頂点とする円錐形であってもよい。ただし、当該円錐形の頂点角度は、ステレオカメラの視野角よりも狭いことが典型的である。
また、ステレオ画像に基づく雲底高度の算出を行う雲高算出部211(図4のステップS2からステップS9、が対応例)と、それ以外の機能ブロックとは、プログラム又はコンピュータを分けてもよい。例えば、ステレオカメラの付帯設備にコンピュータが含まれる場合は、当該付帯設備のコンピュータに雲高算出部211を移してもよい。
【0060】
これまでの説明では、ステレオ画像を起点とした説明のため、雲底高度を算出後に、ほかのデータ(典型的にはシーロメータの雲底高度)で「修正」を行う、形態で説明を行った。一方で、シーロメータが出力する雲底高度を起点とすれば、シーロメータの雲底高度を、ステレオ画像で修正している、ともいえる。よって、広くとらえると、以上に説明した処理では、ステレオ画像に基づいて取得された雲底高度と、シーロメータ(レーザを用いた雲高計)と、に基づいて気象通報式に含める雲底高度を生成している、とも、言える。
【0061】
これまでの説明では、計測範囲が狭いが精度が高いシーロメータの雲底高度を使って、シーロメータの計測範囲外の雲に対して得られたステレオ画像に基づく雲底高度を修正することを説明した。図6、及び図7がその例であるが、修正方法は、これら図で説明した方法以外でもよい。例えば、図6では差分加算、図7では比率乗算が用いられたが、修正対象の雲のステレオ画像に基づく雲底高度と、シーロメータの雲底高度、とを引数として、修正量又は修正後の雲底高度を出力する関数やデータ構造があれば、これらを雲底高度の修正に用いてもよい。
【0062】
生成される気象通報式の視点で述べると、これまでの説明を実行することで、以下の特徴を持つ気象通報式が生成される場合がある、ともいえる:
1つの気象通報式に、以下の少なくとも2つの雲に関する雲底高度が含まれる:
第1の雲についてのステレオ画像に基づいて取得された雲底高度と、
第2の雲についての、シーロメータに基づいて取得された雲底高度と、
第3の雲についての、ステレオ画像及びシーロメータに基づいて生成された雲底高度。
例えば、第2の雲については図5又は図8の雲C3の場合が適用され、第3の雲については、図6又は図7又は図8の雲C1及び雲C2の場合が適用されると、このような特徴を持つ気象通報式が生成される。
【0063】
まとめると、以上の説明では、以下の特徴を持つシステムを説明した。
ステレオカメラと、
1以上のプロセッサと、1以上のメモリリソースと、を備えるコンピュータと、
を有するシステムであって、
前記プロセッサは:
雲が存在し得る上空を撮像したステレオ画像を、前記ステレオカメラから取得し、
前記ステレオ画像の対応点における視差を抽出し、前記視差に基づいて前記雲までの距離を表す第1の雲高を取得し、
以下に基づいて、第4の雲高を決定し:
前記第1の雲高、及び
雲底高度を表す第2の雲高、及び雲頂高度を表す第3の雲高、の少なくとも一方、
前記第4の雲高を含む気象通報式を生成する
システム。
【0064】
なお、当該システムは以下でもよいことを説明した:
前記第2の雲高は、レーザを用いた雲高計により測定された値であり、
前記第3の雲高は、衛星画像に基づいて取得された値である。
【0065】
なお、当該システムは以下でもよいことを説明した:
前記視差の抽出として、前記プロセッサは:
前記ステレオ画像から前記雲を検出し、
前記ステレオ画像を前記雲の領域毎に分割し、
前記ステレオ画像の前記領域毎に前記雲以外の部分をマスキングし、
マスキングしていない部分の対応点における視差を、前記視差として抽出する。
【0066】
なお、当該システムは以下でもよいことを説明した:
前記プロセッサは、以下の条件に合致する場合、前記第4の雲高を決定せずに前記第1の雲高を除外する:
前記第1の雲高の基となった前記ステレオ画像の撮像時刻と、前記第3の雲高の基となった衛星画像の撮像時刻と、の差が所定の閾値以内である、且つ、
前記第1の雲高が前記第3の雲高よりも高い。
【0067】
なお、当該システムは以下でもよいことを説明した:
請求項1に記載のシステムであって、
前記第4の雲高の決定として、前記プロセッサは:
同一の雲に対して前記第1の雲高と前記第2の雲高とが取得され、且つ取得された前記第1の雲高と前記第2の雲高とが異なる場合、前記同一の雲に対する前記第2の雲高を前記第4の雲高に決定する。
【0068】
なお、当該システムは以下でもよいことを説明した:
前記第4の雲高の決定として、前記プロセッサは、以下の条件に合致する場合は、第1の雲に対する前記第1の雲高と前記第2の雲高との比率に基づいて、第2の雲に対する前記第4の雲高を決定する:
前記第1の雲に対して前記第1の雲高と前記第2の雲高とが取得されている、且つ
前記第2の雲に対して前記第1の雲高が計測されて前記第2の雲高が取得されていない。
【0069】
なお、当該システムは以下でもよいことを説明した:
前記第4の雲高の決定として、前記プロセッサは:
同一の雲に対して前記第1の雲高が取得されずに前記第2の雲高が取得された場合、前記同一の雲に対する前記第2の雲高を前記第4の雲高に決定する。
【0070】
なお、当該システムは以下でもよいことを説明した:
前記ステレオカメラは、可視光カメラ、または近赤外線カメラである。
【0071】
なお、当該システムは以下でもよいことを説明した:
当該システムは、さらに前記レーザを用いた雲高計を有し、
前記第4の雲高の決定は、少なくとも前記第2の雲高に基づく。
【0072】
なお、当該システムは以下でもよいことを説明した:
前記プロセッサは:
生成した前記気象通報式を出力する。
【符号の説明】
【0073】
10・・・雲高計測システム、20・・・気象情報処理装置、21・・・処理部、211・・・雲高算出部、212・・・雲高修正部、213・・・気象通報式生成部、214・・・情報取得部、215・・・気象通報式出力部、22・・・記憶部、221・・・画像情報、222・・・風向・風速情報、223・・・視程情報、224・・・雲頂高度情報、225・・・雲底高度情報、226・・・気象通報式、23・・・通信部、24・・・UI部、25・・・内部時計、30・・・ステレオカメラ、31・・・可視光カメラ、32・・・シーロメータ、40・・・外部装置、100・・・コンピュータ、101・・・プロセッサ、102・・・メモリ、103・・・ストレージ、104・・・入力装置、105・・・出力装置、106・・・通信モジュール
図1
図2
図3
図4
図5
図6
図7
図8
図9