特開 2022-20575 暗い画像の強調

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022020575

(43)【公開日】2022-02-01

(54)【発明の名称】暗い画像の強調

(51)【国際特許分類】

   G06T 5/50 20060101AFI20220125BHJP

   G06T 3/40 20060101ALI20220125BHJP

【ＦＩ】

G06T5/50

G06T3/40 725

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021115705

(22)【出願日】2021-07-13

(31)【優先権主張番号】20186772.8

(32)【優先日】2020-07-20

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】501116608

【氏名又は名称】ライカ ジオシステムズ アクチェンゲゼルシャフト

【氏名又は名称原語表記】Ｌｅｉｃａ Ｇｅｏｓｙｓｔｅｍｓ ＡＧ

【住所又は居所原語表記】Ｈｅｉｎｒｉｃｈ－Ｗｉｌｄ－Ｓｔｒａｓｓｅ， ＣＨ－９４３５ Ｈｅｅｒｂｒｕｇｇ， Ｓｗｉｔｚｅｒｌａｎｄ

(74)【代理人】

【識別番号】110001508

【氏名又は名称】特許業務法人 津国

(72)【発明者】

【氏名】ベルンハルト・メッツラー

(72)【発明者】

【氏名】ハーラルト・フェンネヘールツ

(72)【発明者】

【氏名】アルド・ファッチン

(57)【要約】      （修正有）

【課題】計測応用例のための画像を強調する方法を提供する。
【解決手段】方法は、処理済み画像の幾何学的正確さよりも高い画像の幾何学的正確さを有し、関心対象シーンの少なくとも一部を示す幾何補正画像４を提供するステップと、強調画像８を幾何補正画像４と融合６させることにより、ゆがんだ計量情報内の初期計測情報の損失を少なくとも部分的に低減するステップと、を含む。センサ画像３は、関心対象シーンを、関心対象シーン内の少なくとも１つの物体の位置及び／又は向きを決定するための初期計測情報で表す。センサ画像３から生成された強調画像８も提供される。
【選択図】図２

【特許請求の範囲】

【請求項1】

計測応用例のための画像を強調する方法であって
センサ画像（３、３ａ）を提供するステップであって、前記センサ画像（３、３ａ）が、
関心対象シーン（１０）を、前記関心対象シーン（１０）内の少なくとも１つの物体の位置及び／又は向きを決定するための初期の計測情報で表し、
センサ画像の幾何学的正確さを有し、かつ
前記センサ画像（３、３ａ）に対して評価されたスコアリング関数によって提供される画像パラメータによって記述され、前記画像パラメータが、特に、前記センサ画像（３、３ａ）の明度及び／又はノイズ及び／又は解像度及び／又は色の忠実度及び／又は色の鮮やかさに関連し、前記画像パラメータが初期画像パラメータ値を有する、
ステップと、
前記センサ画像（３、３ａ）から生成された強調画像（８）を提供するステップであって、前記強調画像（８）が、
強調画像パラメータ値を有する前記画像パラメータによって記述され、前記強調画像パラメータ値が、特に、前記センサ画像（３、３ａ）よりも高い明度及び／又は低減されたノイズ及び／又は高い解像度及び／又は高い色忠実度及び／又は鮮やかな色に関連し、かつ
処理済み画像の幾何学的正確さを有し、前記処理済み画像の幾何学的正確さが、ニューラルネットワーク（５）を用いた画像処理によって引き起こされる初期計測情報の損失を表すゆがんだ計測情報に関連し、前記処理済み画像の幾何学的正確さが、前記センサ画像の幾何学的正確さよりも低い、
ステップと、
を有する方法において、
幾何補正画像（４、４ａ、４ｂ、１４）を提供するステップであって、前記幾何補正画像（４、４ａ、４ｂ、１４）が、
前記処理済み画像の幾何学的正確さよりも高い画像の幾何学的正確さを有し、
前記関心対象シーン（１０）の少なくとも一部を示す
ステップと、
前記強調画像（８）を前記幾何補正画像（４、４ａ、４ｂ、１４）と融合させること（６）により、前記ゆがんだ計測情報内の前記初期計測情報の損失を少なくとも部分的に低減するステップと
を含むこと特徴とする、方法。

【請求項2】

前記センサ画像（３、３ａ）が、色分解され、特にＢａｙｅｒパターンを有する色分解カメラ（１）によって得られる、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記幾何補正画像（４ａ、４ｂ）が、前記センサ画像（３）を使用して、前記センサ画像（３）の色チャネルの線形結合によって、特に前記線形結合の前に前記色チャネルにガンマ拡張及び／又はヒストグラム均等化を適用することによって生成される、
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記幾何補正画像（４、４ａ）がモノクロカメラ（２）によって提供される、
ことを特徴とする請求項１又は２に記載の方法。

【請求項5】

前記幾何補正画像（４ａ、１４）が、Ｌｉｄａｒ撮像システム（１１）を使用して提供され、受信された電磁パルスの強度（１３）が、前記幾何補正画像（４ａ、１４）を導出するために使用される、
ことを特徴とする請求項１又は２に記載の方法。

【請求項6】

前記強調画像（８）が前記ニューラルネットワーク（５）によってアップサンプリングされ、前記アップサンプリング済み画像（８）の解像度が前記センサ画像（３ａ）の解像度よりも高い、
ことを特徴とする請求項１～５のいずれか一項記載の方法。

【請求項7】

前記融合させること（６）が、パンクロマチック鮮明化を使用する、
ことを特徴とする請求項１～６のいずれか一項記載の方法。

【請求項8】

前記融合させること（６）が、
前記強調画像（８）を、前記強調画像（８）に使用される前記色モデルとは異なる色モデルに順変換して、順変換済み強調画像（９）を提供するステップと、
逆変換を定義するステップであって、前記逆変換が前記順変換に関して定義される、ステップと、
前記順変換済み強調画像（９）及び前記幾何補正画像（４、４ａ、４ｂ、１４）を使用して、幾何学的に強調された順変換済み強調画像（９ａ）を提供するステップと、
前記幾何学的に強調された順変換済み強調画像（９ａ）に前記逆変換を適用するステップと
を含む、
ことを特徴とする請求項７に記載の方法。

【請求項9】

前記異なる色モデルが、色相－彩度－明度（ＨＳＶ）色モデルである、
ことを特徴とする請求項８に記載の方法。

【請求項10】

幾何学的強調が、前記順変換済み強調画像（９）の明度成分と前記幾何補正画像（４、４ａ、４ｂ、１４）との間の点別線形結合を計算することによって提供され、前記順変換済み強調画像（９）と前記幾何補正画像（４、４ａ、４ｂ、１４）の両方がグリッド表現で提供され、前記点別線形結合が、対応するグリッド要素間で計算される、
ことを特徴とする請求項９に記載の方法。

【請求項11】

幾何学的強調が、前記順変換済み強調画像（９）の前記明度成分を前記幾何補正画像（４、４ａ、４ｂ、１４）に置き換えることによって提供される、
ことを特徴とする請求項９に記載の方法。

【請求項12】

前記融合させること（６）が、前記強調画像（８）内に存在する幾何学的誤差を補正し、前記幾何学的誤差が、前記ニューラルネットワーク（５）によって提供される前記強調によって前記センサ画像（３、３ａ）内に導入される変位誤差に対応し、前記変位誤差が、前記センサ画像（３、３ａ）と前記強調画像（８）との間の対応する点の変位を指す、
ことを特徴とする請求項１～１１のいずれか一項記載の方法。

【請求項13】

プログラムコードが機械可読媒体上に保存されるか、又は電磁波として具現化されるコンピュータプログラム製品であって、
前記プログラムコードが、請求項１から１２のいずれか一項記載の方法にあるような画像強調を提供するように構成される、コンピュータプログラム製品。

【請求項14】

コンピューティングユニット（１６）と、前記コンピューティングユニット（１６）上に請求項１３に記載のプログラムコードが保存されたコンピュータプログラム製品と、前記コンピューティングユニット（１６）に少なくとも１つの画像（３、３ａ、４、４ａ、１４）を提供する少なくとも１つのイメージセンサ（１、２、１１、１５）と、を含む画像処理システムであって、
前記画像処理システムが前記画像強調方法を実行するように構成される、画像処理システム。

【請求項15】

前記画像処理システムが、具体的には、自動車ベースのマッピングプラットフォーム（１２）の一部、又はレールベースのマッピングプラットフォームの一部、又はユーザによって携行されるマッピングプラットフォームの一部、又は静的マッピングプラットフォーム（１５）の一部であるように構成される、請求項１４に記載の画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、独立請求項の前文に記載の方法、コンピュータプログラム製品及びシステムに関する。

【0002】

人間の目によって暗いと知覚される画像は、薄暗い環境又は急速に変化する環境で取得されることが多く、急速な変化は速いカメラの動きから生じ得る。第２のケースでは、ぼやけた画像を回避するために、撮影するカメラの短い露光時間が必要になり得るが、短い露光時間は、人間観察者によって暗いと知覚される画像をもたらす。このような暗い画像は、かなりの量のノイズをさらに含み得る。したがって、さらなる処理の前に暗い画像を改善すること、例えば、人間観察者が画像内の物体（ｏｂｊｅｃｔｓ）を識別し、識別された物体から計測情報（ｍｅｔｒｏｌｏｇｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を推測できるようにすることが有益であり得る。画像の信号対ノイズ比（ＳＮＲ）が低い場合、非線形性がノイズから信号を分離し、信号のみを選択的に増幅するのに役立つことができるので、画像を強調するために使用されるアルゴリズムは優先的に非線形性である。

【0003】

画像は、通常、人間観察者及び／又は機械に提示される。人間観察者及び／又は機械は、画像から情報を抽出する。欧州特許出願公開第１５１７６２３８号は、画像ベースの計測の一例を提供する。抽出された情報は、本質的に空間的であることが多く、例えば、２つの物体の互いの距離情報又は相対位置に関連する。

【0004】

物体の三角測量の場合、例えば、前記物体の２つの画像が物体の空間位置を推測するために使用され得る。２つの画像を提供するカメラ相互間の基線距離を知ることにより、２つの画像内の対応する特徴、例えば物体のコーナである特徴が検出され、検出された対応する特徴に対応する物体の部分の３Ｄ位置を決定するために使用され得る。対応する特徴を使用する三角測量は、２つの画像内の特徴の正確な決定を必要とする。検出された特徴が、例えば２つの画像内の特徴の真の位置からずれていれば、物体は正しく三角測量されることはない。

【0005】

特徴検出精度は、通常、解析された画像のＳＮＲに依存する。薄暗い環境又は急速に変化する環境で取得された画像は、低いＳＮＲを特徴とすることが多い。このような画像の場合、特徴検出は多くの誤りを引き起こし、部分的に欠陥のある特徴を使用するその後の三角測量は、三角測量された物体の誤った３Ｄ位置を提供することになる。したがって、低ＳＮＲを有する画像は、さらなる処理の前に強調される必要があり得る。

【0006】

地上レーザ走査応用例又はモバイルマッピング応用例では、例えば、レーザスキャナによって取得された点群データが、色分解カメラによって提供されるカラー画像を使用して着色され得る。カラー画像が薄暗い環境又は急速に変化する環境で取得される場合、得られるカラー画像は、低ＳＮＲを特徴とすることが多い。着色済み点群の測定結果は通常、着色済み点群の色に依存するので、着色済み点群での後続の測定を改善するために、点群を着色する前にカラー画像を強調することが必要であり得る。ユーザが、例えばさらなる検査のために、色情報に応じて着色済み点群内の個々の点又は領域を選択することもできる。例えば、点群を着色する前に色忠実度（ホワイトバランスに対応する）を向上させること及び／又は色をより鮮やかにすることも必要であり得る。

【0007】

色の鮮やかさが、例えば、色相－彩度－輝度（ｈｕｅ－ｓａｔｕｒａｔｉｏｎ－ｌｉｇｈｔｎｅｓｓ）（ＨＳＬ）色空間において定義され得る。鮮やかさは、彩度成分を使用して測定され得る。色は、例えば、ＨＳＬ円柱の中心からＨＳＬ円柱のエッジまで移動すると、より鮮やかになる。

【0008】

画像内の物体のエッジ又はコーナの位置などの特性は、理想的には画像強調後に維持されるべきである、すなわち、画像内の物体のエッジ又はコーナの位置は、理想的には画像強調の前と後の両方で同じであるべきである。言及された特性は、続いて三角測量に使用され得るので、例えば、維持されるべき言及された特性は計測特性である。計測応用例の場合、画像内の物体の輪郭又は同様の詳細は、理想的には画像強調後に維持されるべきである、というのは、画像から計測情報を決定するには、通常、画像内の物体の輪郭又は同様の詳細によって符号化された情報を必要とするからである。

【0009】

計測応用例の一例として都市環境をマッピングするのは、モバイルマッピングプラットフォーム、例えば自動車ベースのマッピングプラットフォームを使用して行うことができる。都市環境をマッピングする目的は、都市内の家、樹木、道路資産、及びその他の少なくとも時間的に静止した物体の高密度３Ｄ再構成を得ることである。都市環境をマッピングするために使用される自動車には、例えばＬｉｄａｒ及びカメラが装備され得る。カメラのイメージセンサの画素は、通常、サブセンチメートル範囲の辺長を有する正方形領域に対応する。したがって、都市環境におけるサブセンチメートル範囲の構造は、通常は１つの画素上にマッピングされる。自動車は、直射日光を遮る高層ビルが並ぶ狭い街路を走り抜けて、特にピーク日光条件の前に又は後で薄暗い環境をもたらすことがある。自動車ベースのマッピングシステムは、通常、毎秒１０～３０メートルの速度で移動している。薄暗い都市環境と所要の短い露光時間とが組み合わさると、自動車の移動に起因するぼやけた画像を回避するために、低ＳＮＲ画像をもたらして、低ＳＮＲ画像は暗くなる。薄暗い環境に関する同様の考慮事項は、屋内環境にも当てはまることが多い。

【0010】

計測応用例の一例としての環境の静的マッピングもまた、薄暗い環境又は急速に変化する環境の影響を受ける可能性がある。色分解カメラを装備した地上レーザスキャナの場合、提供されるカラー画像はノイズが多く、低ＳＮＲを有する可能性がある。

【0011】

暗い画像の明度強調は、よく研究された問題である。最近、Ｃｈｅｎらによる２つの刊行物（Ｃｈｅｎ，Ｃ．，Ｃｈｅｎ，Ｑ．，Ｘｕ，Ｊ．，＆Ｋｏｌｔｕｎ，Ｖ．（２０１８）。暗闇の中で見ることを学習する。Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ｐｐ．３２９１－３３００）ａｎｄ Ｃｈｅｎ，Ｃ．，Ｃｈｅｎ，Ｑ．，Ｄｏ，Ｍ．Ｎ．，＆Ｋｏｌｔｕｎ，Ｖ．（２０１９）において。暗闇の中で動きを見る。Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ｐｐ．３１８５－３１９４））では、暗い画像を強調する問題を研究している。２つの論文の１番目は、単一画像を強調するための技法を提案し、２つの論文の２番目は、ビデオを強調するための技法を提供する。両論文とも深層学習法を利用している、すなわち、暗い画像及び対応する明るいグラウンドトゥルース画像を含む入力／出力訓練データが、暗い画像から強調された明るい画像へのマッピングを学習するために使用される。非線形性と学習した畳み込みニューラルネットワークに符号化された予備知識とを使用することにより、強調された明るい画像のＳＮＲは、通常、強調のために畳み込みニューラルネットワークに提供される暗い画像と比較して改善される。Ｃｈｅｎらによる２つの論文で研究された技法は、画像の計測特性を考慮に入れていない、すなわち、アルゴリズムは、計測とは無関係に又は計測を考慮せずに入力画像のみを強調するように明示的に設計される。

【0012】

深層学習法は、ノイズの多い画像に適用される場合にノイズを低減するために、又は画像の解像度を上げるために、又は画像の色忠実度を向上させるために、又は画像の色をより鮮やかな色に変換するためにも使用され得る。ニューラルネットワークはまた、言及された機能の組合せを提供するように訓練され得る、すなわち、ニューラルネットワークは、例えば、画像の解像度を共同で上げ、明度を改善することができる。

【0013】

したがって、本発明の一目的は、計測特性を維持しながら画像を強調する方法を提供することである。

【0014】

本発明の別の目的は、計測特性を維持しながら、モバイル又は静的マッピングプラットフォームによって得られた画像を強調する方法を提供することである。

【0015】

本発明の別の目的は、計測特性を維持しながら、都市環境をマッピングするモバイル又は静的マッピングプラットフォームによって得られた画像を強調する方法を提供することである。

【0016】

これらの目的は、独立請求項の特徴部分を実現することによって達成される。本発明を代替的又は有利な方法でさらに発展させる特徴は、従属特許請求項に記載されている。

【0017】

本発明は、計測応用例のための画像を強調する方法に関する。提供されるセンサ画像は、関心対象シーンを、関心対象シーン内の少なくとも１つの物体の位置及び／又は向きを決定するための初期計測情報で表す。センサ画像は、センサ画像の幾何学的正確さ（ｇｅｏｍｅｔｒｉｃ ｃｏｒｒｅｃｔｎｅｓｓ）を有する。センサ画像は、センサ画像に対して評価されたスコアリング関数によって提供される画像パラメータによって記述され、画像パラメータは、特に、センサ画像の明度及び／又はノイズ及び／又は解像度及び／又は色忠実度及び／又は色の鮮やかさに関連し、画像パラメータは、初期画像パラメータ値を有する。センサ画像から生成された強調画像も提供される。強調画像は、画像パラメータが強調画像パラメータ値を有することによって記述され、強調画像パラメータ値は、特に、センサ画像よりも高い明度及び／又は低いノイズ及び／又は高い解像度及び／又は高い色忠実度及び／又は鮮やかな色に関連する。強調画像は、処理済み画像の幾何学的正確さを有し、処理済み画像の幾何学的正確さは、ニューラルネットワークを用いた画像処理によって引き起こされる初期計測情報の損失を表すゆがんだ計測情報に関連し、処理済み画像の幾何学的正確さは、センサ画像の幾何学的正確さよりも低い。本方法は、１）処理済み画像の幾何学的正確さよりも高い画像の幾何学的正確さを有し、関心対象シーンの少なくとも一部を示す幾何補正画像を提供するステップと、２）強調画像を幾何補正画像と融合させることにより、ゆがんだ計測情報内の初期計量情報の損失を少なくとも部分的に低減するステップと、をさらに含む。

【0018】

スコアリング関数は、例えば、この関数が適用される画像のＳＮＲを決定することができ、この場合、画像パラメータはＳＮＲに対応する。スコアリング関数はまた、例えば、この関数が適用される画像の解像度、及び／又は明度及び／又は色忠実度及び／又は色の鮮やかさ及び／又は明度も決定することができる。画像パラメータは、スコアリング関数の関数出力の少なくとも一部であってもよい。

【0019】

関心対象シーンは、直射日光を遮る両側の高層ビルが並ぶ狭い街路を特徴とすることが多い都市環境にあり得る。この種の都市環境は、特にピーク日光条件の前に又は後で薄暗いことが多い。関心対象シーンは、例えば都市の街路であってもよく、この街路はマッピングされることになる。都市環境における関心対象シーンの光景もまた、例えば、木の樹冠に起因して又は建物の突出部分に起因して上から遮られることがある。本発明におけるセンサ画像は、関心対象シーン（関心対象シーンが都市環境にある場合）を、シーン内の典型的な構造、例えば建物又は樹木と実質的に同じ高さの観察位置から優先的に取り込む（撮像する）。特に都市環境におけるセンサ画像は、関心対象シーンに近い観察位置から関心対象シーンを取り込むので、したがって、都市環境におけるサブセンチメートル範囲の構造は、通常、センサ画像を提供するイメージセンサの１つの画素上にマッピングされる。

【0020】

関心対象シーン、例えば都市環境における街路は、モバイルマッピングプラットフォーム、例えば、関心対象シーンを取り込むように構成された撮像装置を装備した自動車ベースのマッピングプラットフォームを使用してマッピングされ得る。自動車ベースのマッピングシステムは、通常、毎秒１０～３０メートルの速度で移動しているので、センサ画像（センサ画像を提供するイメージセンサは、例えば自動車ベースのマッピングプラットフォーム上に搭載される）は、自動車の移動に起因するぼやけた画像を回避するために、短い露光時間で取り込まれ得る。都市環境でしばしば遭遇する薄暗い環境と相まって、センサ画像は暗くなり得る、ここでの暗いは、センサ画像の典型的な人間観察者によってなされる定性的ステートメントを指す。センサ画像は、人間観察者によって暗いと知覚され得る。なお、この種の「暗い」画像は通常、低ＳＮＲを有し、画像品質に影響を及ぼすノイズ源、例えば、イメージセンサ内の熱雑音に対しても、例えば、白昼での撮像と比較して微光撮像条件でより顕著である。

【0021】

薄暗い部屋で動作するデジタルカメラ（デジタルカメラはセンサ画像を取り込む）を装備した地上レーザ走査システムは、「暗い」センサ画像も取り込むことができる。地上レーザ走査システムは、通常は静止している、すなわち、通常は特定の位置に固定されている。

【0022】

センサ画像の幾何学的正確さは、例えば、センサ画像コントラストに対応するか、又は、センサ画像内のエッジの、エッジの真の位置、例えば、原理的には撮像誤差のない完璧な撮像によって得ることができる真の位置からの偏差を測定する基準に対応することができる。したがって、センサ画像は、低いセンサ画像コントラストを有することができる。画像コントラストは、画像の最高強度値と最低強度値との間の差を測定することができる。低いセンサ画像コントラストは、容易に識別できる構造がセンサ画像においてほとんど見えないことを含意することができる。センサ画像がカラー画像である場合、センサ画像コントラストは、例えば、カラー画像の各画素から計算された輝度を使用して計算され得る。

【0023】

幾何補正画像はまた、センサ画像よりも高いラジオメトリック正確さ（ｒａｄｉｏｍｅｔｒｉｃ ｃｏｒｒｅｃｔｎｅｓｓ）を有することができる。センサ画像内に不均一性がある場合、例えば、センサ画像を取得するカメラの記録設定により、さらに高いラジオメトリック正確さが生じる可能性がある、すなわち、幾何補正画像は、特に幾何補正画像がＬｉｄａｒ撮像システムなどの能動撮像システムによって取得される場合、幾何補正画像内の不均一性がセンサ画像内の不均一性よりも小さくなるように取得され得る。

【0024】

センサ画像を提供するイメージセンサは、少なくとも部分的に、数学的カメラモデル、例えばピンホールカメラモデル、又は正投影、又はスケーリングされた正投影、又は平行透視投影、又は透視投影を特徴とすることができる。したがって、関心対象シーンは、通常、少なくともイメージセンサの位置及び向きと撮像された関心対象シーンの空間的配置とイメージセンサを記述する数学的カメラモデルとの組合せに従って、イメージセンサによってゆがめられる。この種のゆがみは、センサ画像の場合、第１の投影ゆがみと呼ばれることもある。

【0025】

少なくともセンサ画像を使用して、例えば、都市環境における家や自動車の位置などの計測情報を決定することができる。センサ画像は、画像パラメータによって記述され、画像パラメータは、特に、センサ画像の明度及び／又はノイズレベル及び／又は解像度及び／又は色忠実度及び／又は色の鮮やかさに関連し得る。画像パラメータの値は、センサ画像上のスコアリング関数を評価することによって決定され、この評価は初期画像パラメータ値を提供する。スコアリング関数は、例えば、ＳＮＲ及び／又は明度を計算する関数として、あるいは画像を入力として使用する他の測定可能な特性として具体化され得る。画像パラメータは、センサ画像の任意の知覚可能な品質にも関連し得る。センサ画像は、「暗い」かつ／若しくはノイズが多い、かつ／又は低解像度を有する、かつ／又は低色忠実度を有する、かつ／又は低色鮮やかさを有することがある。さらなる計測処理の前に、センサ画像を強調することが有益である。明度強調の場合、例えば、上記のＣｈｅｎらによるものなどの最先端の機械学習技法、特にニューラルネットワークが、この目的のために使用され得る。この種の機械学習技法は、解決されるべきタスクに関する知識（画像の入力／出力対を使用する訓練プロセスを経て得られ、入力画像は、例えば、「明るい」グラウンドトゥルース出力画像の「暗い」バージョンに対応する）を含んでいるので、そのような機械学習技法によって提供される強調は、ニューラルネットワークによって提供される処理が非線形であるため、ニューラルネットワークが適用されるセンサ画像のＳＮＲを増大させることができる。ニューラルネットワークは、一般に、イメージセンサと実質的に類似しているセンサによって記録され得る画像のサブセットを含む画像の入力／出力対について訓練される必要があるだけである。実質的な類似性は、ここでは統計的に理解される。ニューラルネットワークは、特定の統計的分布を特徴とする画像を使用して訓練されてもよく、特定の統計的分布は、イメージセンサによって取得された画像の統計的分布に十分に近い。この条件が満たされる限り、ネットワークは、そのイメージセンサとは異なるイメージセンサによって記録され得る画像を使用して訓練されてもよい。ニューラルネットワークが、例えば明度強調を実行するように訓練される場合、強調画像はセンサ画像よりも明るい、「より明るい」とは、例えば、明度強調画像及びセンサ画像を知覚する典型的な人間観察者によって知覚される定性的な感覚を指す。ニューラルネットワークが、例えばセンサ画像の解像度を上げるように訓練される場合、強調画像はセンサ画像よりも高い解像度を有し、ニューラルネットワークは補間を実行する。

【0026】

色の鮮やかさが、例えば、色相－彩度－輝度（ＨＳＬ）色空間において定義され得る。鮮やかさは、彩度成分を使用して測定され得る。色は、例えば、ＨＳＬ円柱の中心からＨＳＬ円柱のエッジまで移動すると、より鮮やかになる。

【0027】

具体的にはセンサ画像を強調するために訓練された機械学習技法によって提供されるセンサ画像の強調は、強調画像にゆがみを引き起こす。強調画像は、センサ画像のセンサ画像幾何学的正確さよりも低い処理済み画像幾何学的正確さを有する。例えば、ニューラルネットワークによる明度強調の間、エッジがシフトされることがあり、これは、エッジ情報がセンサ画像と比較して強調画像において信頼できないことがあることを含意する。強調画像が、例えば、取り込まれた関心対象シーン内のある物体の後続の三角測量に、又は点群を着色するのに使用される場合、センサ画像内の物体のエッジ又はコーナの位置などの特性は、理想的には画像強調後に維持されるべきである、すなわち、センサ画像内の物体のエッジ又はコーナの位置は、理想的には画像強調の前と後の両方で同じであるべきである。しかしながら、画像強調のための最先端の機械学習技法は、画像を強調するために、例えば明度を上げるためにのみ訓練され、強調画像の計測特性を維持するために訓練されるものではない。

【0028】

本発明によれば、幾何補正画像が、強調画像に追加の幾何学的情報を提供して強調画像のさらなる計測処理を改善するために使用され得る。画像からの三角測量などの計測応用例は、通常、例えば、少なくとも２つの画像において対応する特徴検出を必要とするので、かつ、検出された特徴は、通常、画像内の物体のエッジ又はコーナであるので、強調画像の計測処理にはそのような輪郭情報を保存することが不可欠である。幾何補正画像は、強調画像に追加の輪郭情報を提供することができる。幾何補正画像は、本発明による処理済み画像幾何学的正確さよりも高い画像幾何学的正確さを有する。例えばエッジ情報は、強調画像によるよりも幾何補正画像によって良好に表され得る。

【0029】

本発明によれば、幾何補正画像は、センサ画像によって取り込まれた関心対象シーンの少なくとも一部を取り込む（含む）。幾何補正画像には、関心対象シーンの取り込まれた少なくとも一部の第２の投影ゆがみが提供され得る。第２の投影ゆがみは、第１の投影ゆがみと同様であってもよい。幾何補正画像が、例えば異なるイメージセンサによって取得され、異なるイメージセンサがセンサ画像を提供することができるイメージセンサとは異なる場合、センサ画像及び幾何補正画像は、イメージセンサ及び異なるイメージセンサによって取得された修正済み画像に対応することができ、修正は、共通の画像平面上への投影を意味する。このような修正済みセンサ画像及び幾何補正画像の場合、第１の投影ゆがみ及び第２の投影ゆがみは同じになる。

【0030】

強調画像及び幾何補正画像は、本発明に従って融合させられる。例えば、第１の投影ゆがみ及び第２の投影ゆがみが類似しており、関心対象シーンの少なくとも一部がセンサ画像及び幾何補正画像によって共同で取り込まれる場合、融合させることにより、より高い画像幾何学的正確さ情報を幾何補正画像から強調画像へ転送することが可能になる。強調画像及び幾何補正画像は、例えば、強調画像及び幾何補正画像が十分に相関している場合、すなわち、強調画像及び幾何補正画像が撮像シーンの同様のゆがみを有する同じシーンを撮像する場合、融合させられ得る。

【0031】

本発明による方法は、割当問題を解決するために使用されてもよく、割当問題では、２つ（又は３つ以上）のデータソースが互いに関連している必要があり得る。割当問題の一例が、カラー画像を使用した３Ｄ点群の色付けであり、カラー画像の個々の画素の色値は、３Ｄ点群の３Ｄ点に関連する必要がある。

【0032】

強調画像と幾何補正画像の融合から生じる融合画像は、計測応用例、例えば三角測量に使用されてもよく、融合画像に取り込まれた物体の三角測量は、少なくとも融合画像を使用して実行され得る。

【0033】

幾何学的正確さに加えて、本発明は、ラジオメトリック正確さを高めるためにも使用され得る。ラジオメトリック正確さは、幾何学的正確さとは別に、又は幾何学的正確さと共に強調され得る。センサ画像は、ニューラルネットワークによる処理時に劣化し得るセンサ画像のラジオメトリック正確さを有することがある、すなわち、処理済み画像のラジオメトリック正確さは、センサ画像のラジオメトリック正確さよりも低くなり得る。その場合、ラジオメトリック補正画像が、処理済み画像をラジオメトリック補正画像と融合させることにより処理済み画像を強調するために、幾何補正画像を使用するのと構造的に同等の方法で使用され得る。

【0034】

本方法の一実施形態では、センサ画像は、色分解され、特にＢａｙｅｒパターンを有する色分解カメラによって得られる。

【0035】

したがって、センサ画像はＲＧＢ画像であってもよい。

【0036】

カメラがＢａｙｅｒパターンを使用する場合、カメラによって提供されるデータは、画像強調のためにデータをニューラルネットワークに供給する前に前処理される必要があり得る。前処理は、最初に取り込まれたＢａｙｅｒ画像よりも低い解像度の３つの別々のＲＧＢ画像を提供することができる。最初に取り込まれたＢａｙｅｒ画像は、ニューラルネットワークに直接提供され得る。

【0037】

本方法の別の実施形態では、幾何補正画像は、センサ画像を使用して、センサ画像の色チャネルの線形結合によって、特に線形結合の前に色チャネルにガンマ拡張及び／又はヒストグラム均等化を適用することによって生成される。

【0038】

幾何補正画像は、センサ画像の色チャネルを線形結合して相対輝度を提供することにより、センサ画像から得られることができる。例えばＲＧＢ色モデルの場合、下記の色チャネルの線形結合が実行され得る、

【数1】

上式で、Ｙは、相対輝度、ここでは幾何補正画像を表し、Ｒ、Ｇ、及びＢは、センサ画像の赤色成分、緑色成分、及び青色成分を表す。なお、他の線形結合も実現可能である。センサ画像は、イメージセンサによってガンマ圧縮され得る。この場合、相対輝度を導出するための線形結合の前に、センサ画像をガンマ拡張することができる。相対輝度画像を得るために異なる色チャネルを線形結合することは、個々の色チャネルに存在する画像コントラストと比較して、線形結合された画像の画像コントラストを改善することができる。したがって、例えば幾何補正画像内の物体輪郭の検出可能性に依存する計測情報は、センサ画像自体からよりも、センサ画像の色チャネルを線形結合することから得られる幾何補正画像から、より容易に抽出され得る。

【0039】

本方法の別の実施形態では、幾何補正画像はモノクロカメラによって提供される。

【0040】

モノクロカメラは、通常、カラーフィルタがないために色分解カメラよりも高い感度を有するので、モノクロカメラによって取得された画像は、通常、例えばＲＧＢ画像と比較して高いＳＮＲを有する。したがって、モノクロカメラによって取得された幾何補正画像は、ＲＧＢカメラによって取得されたセンサ画像よりも高い幾何学的正確さを有することができる。

【0041】

本方法の別の実施形態では、幾何補正画像は、Ｌｉｄａｒ撮像システムを使用して提供され、受信された電磁パルスの強度は、幾何補正画像を導出するために使用される。

【0042】

Ｌｉｄａｒ撮像システムは、例えば、都市環境を密に又はまばらにマッピングするために、自動車ベースのマッピングプラットフォーム上に搭載され得る。Ｌｉｄａｒ撮像システムは、測定パルス、特に電磁測定パルスを放射し、放射された測定パルスは、関心対象シーン内の物体から反射される。反射された測定パルスは、続いてＬｉｄａｒ撮像システムによって受信される。次いで、受信された測定パルスの強度が決定され得る。この種の強度情報に基づいて、幾何補正画像は、関心対象シーンをＬｉｄａｒ撮像システムで走査することによって構築され得る。Ｌｉｄａｒ撮像システムによって実行される走査手順に応じて、得られた生の強度画像は、幾何補正画像を得るために、再グリッド化される必要があり、潜在的には補間が必要となり得る。あるいは、受信された測定パルスの到着時刻を使用して、走査された関心対象シーンに関する３Ｄ情報が導出され得る。このようにして得られた３Ｄ点群は、Ｌｉｄａｒ画像平面上の中央に投影されてもよく、Ｌｉｄａｒ画像平面は、特にセンサ画像に対応するセンサ画像平面に対応する。Ｌｉｄａｒ画像平面への中央投影の後、投影された３Ｄ点群データは、センサ画像の画素グリッドに適合するように再グリッド化され得る。

【0043】

Ｌｉｄａｒ撮像システムは能動撮像システムであるので、暗い環境でも高コントラストの幾何補正画像を得ることができる。Ｌｉｄａｒ撮像システムによって得られた幾何補正画像は、高い幾何学的正確さを有することができる。

【0044】

融合させることは、着色された３Ｄ点群を提供することもできる。強調されたセンサ画像からの色情報は、Ｌｉｄａｒ撮像システムで得られた３Ｄ点群に転送され得る。

【0045】

Ｌｉｄａｒ撮像システムによって提供される強度値はまた、センサ画像内の色の明度のレベルを定義するために使用され得る。このようにして、センサ画像及び取り込まれた物体の表面を取得するカメラの位置及び向きから生じるセンサ画像の不均一性（取り込まれた物体の色情報は、異なる位置及び向き並びにカメラ設定から撮影されたセンサ画像内に異なって現れる場合がある）を軽減することができる。センサ画像内の色の明度のレベルを設定するためにＬｉｄａｒ撮像システムを使用することにより、より均一なセンサ画像が可能になり、次いで、このセンサ画像は、Ｌｉｄａｒ撮像システムで取得された３Ｄ点群を着色するために使用され得る。このようにしてＬｉｄａｒ撮像システムを使用することは、本発明とは無関係に実行され得る独立した発明である。

【0046】

本方法の別の実施形態では、強調画像はニューラルネットワークによってアップサンプリングされ、アップサンプリング済み強調画像の解像度はセンサ画像の解像度よりも高い。

【0047】

より高い解像度は、イメージセンサによって取り込まれ得る視野のサイズとイメージセンサによって提供され得るセンサ画像の表現に使用される画素数との比に関係することができる。

【0048】

本方法の別の実施形態では、融合させることは、パンクロマチック鮮明化を使用する。

【0049】

パンクロマチック鮮明化は融合に使用され得る。主成分分析（ＰＣＡ）ベースの画像融合は、融合、又はウェーブレット若しくはカーベレットベースの融合、又は他の変換領域画像融合技法にも使用され得る。なお、ニューラルネットワークが融合に使用され得る。

【0050】

本方法の別の実施形態では、融合させることは、１）強調画像を、強調画像に使用される色モデルとは異なる色モデルに順変換して、順変換済み強調画像を提供するステップと、２）逆変換を定義するステップであって、逆変換が順変換に関して定義される、ステップと、３）順変換済み強調画像及び幾何補正画像を使用して、幾何学的に強調された順変換済み強調画像を提供するステップと、４）幾何学的に強調された順変換済み強調画像に逆変換を適用するステップと、を含む。

【0051】

融合は、強調画像が提供される色モデルと比較して異なる色モデルに対応する異なる色空間で実行され得る。強調画像を異なる色空間に順変換することにより、例えば照明情報に符号化された幾何学的情報を、強調画像に符号化された他の情報からより良好に解きほぐすことが可能となり得る。順変換は、ここでは逆変換（ｉｎｖｅｒｓｅ ｃｏｎｖｅｒｓｉｏｎ）と呼ばれる逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）を有する。次いで、順変換済み強調画像と幾何補正画像とを組み合わせて、幾何学的に強調された順変換済み強調画像を得ることができる。強調画像が提供される色モデルに戻るには、逆変換は、幾何学的に強調された順変換済み強調画像に適用され得る。

【0052】

本発明の別の実施形態では、異なる色モデルは、色相－彩度－明度（ＨＳＶ）色モデルである。

【0053】

ＨＳＶ色モデルでは、明度成分は照明情報を含む。例えばエッジ特徴検出器を必要とする三角測量に必要なエッジ情報は、ほとんどが明度成分に保存される。

【0054】

本方法の別の実施形態では、幾何学的強調は、順変換済み強調画像の明度成分と幾何補正画像との間の点別線形結合を計算することによって提供され、順変換済み強調画像と幾何補正画像の両方がグリッド表現で提供され、点別線形結合は、対応するグリッド要素間で計算される。

【0055】

ＨＳＶ色モデルの明度成分は、後続の計測応用例に必要な幾何学的情報を含むことができる。より高い幾何学的正確さを有する幾何補正画像は、順変換済み強調画像の明度成分と点別線形結合演算によって組み合わされ得る。点ごとに線形結合することに加えて、幾何学的に強調された順変換済み強調画像強調画像の明度成分と順変換済み強調画像の明度成分と幾何補正画像との間の他の機能的関係も実現可能である。

【0056】

融合は点ごとに実行されてもよく、順変換済み強調画像の各画素は、幾何補正画像からの対応する画素と融合されてもよい。

【0057】

本方法の別の実施形態では、幾何学的強調が、順変換済み強調画像の明度成分を幾何補正画像に置き換えることによって提供される。

【0058】

本方法の別の実施形態では、融合させることは、強調画像内に存在する幾何学的誤差を補正し、幾何学的誤差は、ニューラルネットワークによって提供される強調によってセンサ画像内に導入される変位誤差に対応し、変位誤差は、センサ画像と強調画像との間の対応する点の変位を指す。

【0059】

ニューラルネットワークによって提供される強調は、ニューラルネットワークが動作する画像に幾何学的ゆがみを導入する可能性がある。幾何補正画像を使用して、本発明による融合は、有利には、そのような導入される幾何学的ゆがみを少なくとも部分的に補償することができる。したがって、融合後の結果として得られる画像は、より高いＳＮＲ（訓練されたニューラルネットワークによって提供される非線形強調による）並びに融合画像上で実行される後続の計測応用例に必要なより忠実な幾何学的情報の両方を有することができる。

【0060】

本発明はまた、プログラムコードが機械可読媒体上に保存されるか、又は電磁波として具現化されるコンピュータプログラム製品にも関し、プログラムコードは、本発明による方法にあるような画像強調を提供するように構成される。

【0061】

本発明はまた、コンピューティングユニットと、コンピューティングユニット上に本発明によるプログラムコードが保存されたコンピュータプログラム製品と、コンピューティングユニットに少なくとも１つの画像を提供する少なくとも１つのイメージセンサと、を含む画像処理システムにも関し、画像処理システムは画像強調方法を実行するように構成される。

【0062】

本発明はまた、本発明による画像処理システムにも関し、画像処理システムは、具体的には、自動車ベースのマッピングプラットフォームの一部、又はレールベースのマッピングプラットフォームの一部、又はユーザによって携行されるマッピングプラットフォームの一部、又は静的マッピングプラットフォームの一部であるように構成される。

【0063】

モバイルマッピングプラットフォームは、関心対象シーン、例えば都市環境における街路をマッピングすることができる。モバイルマッピングプラットフォームには、例えば、センサ画像を取得するＲＧＢカメラ及び幾何補正画像を取得するモノクロカメラが装備され得る。センサ画像は、機械学習ベースの技法を使用して強調され、続いて幾何補正画像と融合され得る。単一センサ画像上で動作することに加えて、強調は、センサ画像のシークエンスに共同で実行されてもよい。幾何補正画像シークエンスと対応する強調画像シークエンスとの融合は、シークエンス要素ごとに実行され得る。

【0064】

静的マッピングプラットフォームは、例えば、色分解カメラ及びレーザスキャナを含む地上レーザ走査システムによって具現化され得る。色分解カメラはセンサ画像を提供することができ、レーザスキャナは幾何補正画像を提供することができる。モバイルマッピングプラットフォームの例は、Ｌｅｉｃａ Ｐｅｇａｓｕｓ ２又はＰｅｇａｓｕｓバックパックである。地上レーザスキャナの例は、Ｌｅｉｃａ ＲＴＣ３６０又はＬｅｉｃａ ＢＬＫ３６０である。Ｌｅｉｃａ ＡＴＳ６００などのレーザトラッカも使用され得る。Ｌｅｉｃａ ＢＬＫ２ＧＯは、人間のユーザによって携帯されるマッピングプラットフォームの一例である。トータルステーション（トータルステーション測位システム、特に、Ｔｏｔａｌ Ｓｔａｔｉｏｎ Ｌｅｉｃａ Ｎｏｖａ ＭＳ６０などの走査機能を有するもの）、座標測定機、及び関節式アームを使用することもできる。

【0065】

イメージセンサは、搭載済みイメージセンサ相互間の相対的な幾何学的配置が公知となるように、モバイル又は静的マッピングプラットフォーム上に搭載され得る。なお、搭載済みイメージセンサは較正され得る。

【0066】

本発明による方法を使用して、計測応用例は、「暗い」かつ低いＳＮＲ画像のために通常使用されるよりも安価なイメージセンサによって提供される画像を使用して実行され得る、例えば、ニューラルネットワークによって提供される画像明度強調と明度強調画像を別個の画像と融合させることによって提供される幾何学的強調とを併用することにより、少なくとも部分的に「補正される」ことができる。

【0067】

本発明のシステムは、図面に概略的に示されている具体的な例示的実施形態を用いて、純粋に例として以下により詳細に記述され、本発明の他の利点も検討される。図中、同一要素には同じ参照番号が付されている。

【図面の簡単な説明】

【0068】

【図1】自動車ベースのモバイルマッピングプラットフォームで関心対象シーンをマッピングするために使用される本発明の一実施形態を示す図である。

【図2】本発明による方法の一実施形態を示す図である。

【図3】本発明による融合の一実施形態を示す図である。

【図4】本発明による方法の一実施形態を示す図である。

【図5】本発明による方法の一実施形態を示す図である。

【図6】本発明による方法の一実施形態を示す図である。

【図7】三脚上のレーザスキャナで関心対象シーンをマッピングするために使用される本発明の一実施形態を示す図である。

【図8】本発明による画像処理システムを示す図である。

【0069】

図１は、自動車ベースのモバイルマッピングプラットフォーム１２で関心対象シーン１０をマッピングするために使用される本発明の一実施形態を示す。ＲＧＢカメラ１及びＬｉｄａｒ撮像システム１１が自動車上に搭載される。自動車は、環境を取得しながら連続的に移動していることができる。例えば、自動車ベースのモバイルマッピングプラットフォーム１２は、通常、毎秒１０～３０メートルの速度で移動していることができる。レールベースのシステムもマッピングに使用され得る。モバイルマッピングシステムが人間によって携行されてもよい。この種のハンドヘルドモバイルマッピングシステムは、自動車又はレールベースのシステムよりも低い移動速度及び大きい回転速度などのダイナミクスを有することができる。Ｌｉｄａｒ撮像システム１１及びＲＧＢカメラ１は、例えば、画像修正を可能にするために、互いに公知の位置及び向きを有することができる。自動車ベースのモバイルマッピングプラットフォーム１２は、都市環境における狭い街路を走り抜けて、このプラットフォームが通り抜ける環境をマッピングすることができる。１つの計測応用例は、対象都市シーン１０の高密度３Ｄ再構成を得ることであり得る。高密度３Ｄ再構成は、実際の３Ｄ再構成、すなわち３Ｄ座標系における画像化面の位置情報だけでなく、前記画像面に関連する色情報も含むべきである。本発明による方法を使用して、ＲＧＢカメラ１によって提供される暗い低ＳＮＲカラー画像は、例えば、Ｌｉｄａｒ撮像システム１１によって提供される幾何補正画像を使用して幾何学的に強調され得るが、色情報は、ニューラルネットワークによって提供される強調画像によって提供される。

【0070】

図２は、本発明による方法の一実施形態を示す。ＲＧＢカメラ１及びモノクロカメラ２が画像を提供する。ＲＧＢカメラ１はセンサ画像を提供する。ＲＧＢカメラ１は、生のＲＧＢカメラ１出力を前処理した後のノイズの多い３チャネルＲＧＢ画像３を提供することができ、ノイズの多い３チャネルＲＧＢ画像３は、モーションブラーを回避するために短い露光時間で撮影されることがある、又は、ノイズの多い３チャネルＲＧＢ画像３は暗い環境で撮影されることがある。モノクロカメラ２は感度が高いため、モノクロカメラ２によって提供される幾何補正画像４は、より良好な幾何情報を含む。ノイズの多い３チャネルＲＧＢ画像３の潜在的に低い信号対ノイズ比のために、ノイズの多い３チャネルＲＧＢ画像３で動作する強調アルゴリズム５は、このアルゴリズムの入力において非線形であることが好ましい。強調アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）を含むことができ、ＣＮＮは回帰目的のために訓練され得る。ＣＮＮは、例えば、同じシーンの暗い画像と明るい画像との間のマッピングを学習するように訓練されてもよく、その結果、暗い画像を入力として受信すると、ＣＮＮは、この画像をより明るくなるように変換することができる。したがって、ＣＮＮは、ノイズ除去し、色変換し、デモザイクキングすることを学習するとともに、暗いノイズの多い入力画像を強調することを学習することができる。ＣＮＮは部分的にブラックボックスモデルであるので、ＣＮＮは、３チャネルＲＧＢ強調画像８に幾何学的ゆがみを導入する可能性がある。

【0071】

この種の幾何学的ゆがみは、モノクロカメラ２によって提供される追加情報を使用することによって除去され、必要な幾何学的情報は、幾何補正画像４によって提供され得る。３チャネルＲＧＢ強調画像８とモノクロカメラ２によって提供される幾何補正画像４とは、例えばパンクロマチック鮮明化によって融合６される。この方法によって提供される３チャネルＲＧＢ画像全体７は、幾何学的に忠実であり、良好な色解像度を有する。３チャネルＲＧＢ画像は、この画像の処理された形態７では、前処理後にＲＧＢカメラ１によって直接提供される暗いノイズの多い３チャネルＲＧＢ画像３よりも、さらなる計測処理に適している。

【0072】

図３は、本発明による融合の一実施形態を示す。３チャネルＲＧＢ強調画像８は、異なる色モデル、特に色相－彩度－明度（ＨＳＶ）色モデルに順変換される。図２の例示的な実施形態では、順変換済み３チャネルＲＧＢ強調画像９の明度成分は、特に幾何補正画像によって提供される異なる明度成分４ａで置き換えられる。幾何学的に強調された順変換済み３チャネルＲＧＢ強調画像９ａを導出した後、順変換への逆変換が実行されて、所望の３チャネルＲＧＢ画像７を生成することができる。明度成分４ａは正確な幾何学的情報を提供することができるが、３チャネルＲＧＢ強調画像８は、異なる明度成分４ａ、特に幾何補正画像が含まれない色情報を提供することができる。

【0073】

図４は、画像強調のための本発明の一実施形態を示す。ＲＧＢカメラ１は、関心対象シーンのノイズの多い３チャネルＲＧＢ画像３を提供する。ノイズの多い３チャネルＲＧＢ画像３は、暗い環境で撮影され得るので、大量のノイズを有する可能性がある。ＲＧＢカメラ１の潜在的な動きにより、露光時間を短くすることも必要となり得る。暗いノイズの多い３チャネルＲＧＢ画像３は、畳み込みニューラルネットワーク（ＣＮＮ）を含むアルゴリズム５であって、ＣＮＮが例えば明度強調をもたらす、アルゴリズムと、融合をもたらすパンクロマチック鮮明化６とを組み合わせることによって強調され得る。融合させる場合、ノイズの多い３チャネルＲＧＢ画像３からノイズの少ない１チャネル強度画像４ｂが導出され得る。１チャネル強度画像４ｂは、３チャネルＲＧＢ強調画像８と融合され得る。ノイズの多い３チャネルＲＧＢ画像３は、ＣＮＮを含む訓練された機械学習アルゴリズム５によって強調されてもよく、ＣＮＮは、ＲＧＢ画像の入力／出力対で訓練されてもよく、入力画像は、関心対象シーンのノイズの多い暗い画像を含むことができ、出力画像は、例えば、より明るいノイズの少ない対応する画像を含むことができる。ＣＮＮは、例えば、入力画像から出力画像へのマッピングを学習するように訓練され得る。ＣＮＮのブラックボックスの性質により、３チャネルＲＧＢ強調画像８内に幾何学的ゆがみが存在し得る。融合６は、幾何学的により忠実な情報４ｂを使用することにより、そのようなゆがみを除去することを目的とすることができる。融合によってもたらされる３チャネルＲＧＢ画像７は、強調され得るだけでなく、幾何学的に正確であり得るので、機械学習アルゴリズム５の潜在的な幾何学的ゆがみは、別個のハードコードされた融合６によって軽減され得る。

【0074】

図５は、本発明による方法の一実施形態を示す。ＲＧＢカメラ１は、低解像度３チャネルＲＧＢ画像３ａを提供することができる。高感度をもつ追加のモノクロカメラ２は、より高い解像度の１チャネル強度画像、幾何補正画像４を提供することができる。ＲＧＢカメラ１によって提供される低解像度３チャネルＲＧＢ画像３ａを強調するために使用される畳み込みニューラルネットワーク（ＣＮＮ）５を含むアルゴリズムは、この実施形態ではアップサンプリング機能を含むことができる。融合６の場合、３チャネルＲＧＢ強調画像８並びにモノクロカメラ２によって提供される幾何補正画像４の両方が同じ画像解像度を有していれば有益であり得る。ＣＮＮ５を含むアルゴリズムによる強調、この場合はアップサンプリングの後、アップサンプリング済み３チャネルＲＧＢ強調画像８及びモノクロ画像４は、例えばパンクロマチック鮮明化の使用によって融合６され、最終的に出力としてより高解像度の３チャネルＲＧＢ画像７を提供する。アップサンプリングを提供するニューラルネットワークは、明度強調及び／若しくはノイズ低減も提供することができ、かつ／又は色忠実度を高めることができ、かつ／又はアップサンプリングと組み合わせて色をより鮮やかにすることができる。

【0075】

図６は、本発明による方法の一実施形態を示す。センサ画像３は、ＲＧＢカメラ１によって提供される。ＲＧＢカメラ１によって取り込まれた関心対象シーンの少なくとも一部を撮像するＬｉｄａｒ撮像システムが、受信された電磁パルスの強度値１３を提供する。強度値１３は、グリッド表現に再グリッド化されてもよく、グリッド表現は幾何補正画像１４である。強度値を使用することに加えて、代替的に、Ｌｉｄａｒ撮像システムによって記録された３Ｄ点群内の点の３Ｄ位置は、Ｌｉｄａｒ画像平面上の中央に投影されてもよく、投影され潜在的に再グリッド化された画像は幾何補正画像である。次いで、センサ画像３はニューラルネットワーク５によって強調され、次いで、強調画像は幾何補正画像１４と融合６される。融合６は、強調された幾何学的に忠実な画像７を提供する。

【0076】

図７は、三脚上の地上レーザスキャナ１５又はトータルステーション測位システムで関心対象シーン１０をマッピングするために使用される本発明の一実施形態を示す。三脚上の地上レーザスキャナ１５には、センサ画像を取得するＲＧＢカメラが装備される。センサ画像はニューラルネットワークによって強調され、レーザスキャナによって提供される３Ｄ点群は幾何補正画像に変換される。強調画像及び幾何補正画像は融合される。関心対象シーン１０は、例えば、薄暗い都市環境又は薄暗い屋内の部屋であってもよい。

【0077】

図８は、本発明による画像処理システムを示す。画像処理システムはコンピューティングユニット１６を含み、コンピューティングユニットでは、本発明に従って画像強調を提供するコンピュータプログラムが保存され実行され得る。コンピュータプログラムは、ＲＧＢカメラ１から入力を受信してセンサ画像３を提供する。あるいは、追加の入力、例えばモノクロカメラ又はＬｉｄａｒ撮像システムによって提供される画像が、コンピュータプログラムに提供されてもよい。

【0078】

画像の強調及び融合は、測定装置の現場で、あるいは測定装置から生データ又は前処理データをエクスポートした後に現場外で行うことができる。生の測定データは、例えば、強調された幾何学的に忠実な画像を計算するクラウドサービスに送信され得る。

【0079】

例示されたこれらの図は、可能な例示的実施形態の単なる概略図であることは言うまでもない。

【0080】

本発明は、部分的にいくつかの好ましい実施形態に関して上に例示されるが、実施形態の異なる特徴の多数の修正及び組合せを行うことができることを理解されたい。これらの修正はすべて、添付の特許請求の範囲内にある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】