(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048389
(43)【公開日】2024-04-08
(54)【発明の名称】入力画像の反復的再構成
(51)【国際特許分類】
G06T 1/00 20060101AFI20240401BHJP
【ＦＩ】
G06T1/00 500B
【審査請求】未請求
【請求項の数】31
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023163599
(22)【出願日】2023-09-26
(31)【優先権主張番号】10 2022 124 744.9
(32)【優先日】2022-09-27
(33)【優先権主張国・地域又は機関】DE
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
(71)【出願人】
【識別番号】504299782
【氏名又は名称】ショット アクチエンゲゼルシャフト
【氏名又は名称原語表記】ＳＣＨＯＴＴ ＡＧ
【住所又は居所原語表記】Ｈａｔｔｅｎｂｅｒｇｓｔｒ． １０， ５５１２２ Ｍａｉｎｚ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ベアント ヴェルフィング
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA15
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE05
5B057CE06
(57)【要約】 （修正有）
【課題】少なくとも部分的に未選別のファイバーを含む光導波路を用いて伝送することによって生成される出力画像から入力画像を反復的に再構成するための方法を提供する。
【解決手段】反復的に再構成するための方法は、重み付け係数ｗｉを決定するステップ４０２と、入力画像領域輝度値Ｈｉについての開始値を決定するステップ４０４と、開始センサドット１３４－ｊおよび開始入力画像領域ｉを決定するステップ４０６と、入力画像領域輝度値を計算するステップ２１０と、入力画像領域輝度値を算出された入力画像領域輝度値によって置換するステップ２２０と、ステップ２１０，２２０を繰り返し適用するための中断基準が満たされているかどうかを検査するステップ４２５と、中断基準が満他されていない場合にｉ及びｊを更新しステップ２１０を繰り返し実行させるステップ４３０を含む。
【選択図】図４
【解決手段】反復的に再構成するための方法は、重み付け係数ｗｉを決定するステップ４０２と、入力画像領域輝度値Ｈｉについての開始値を決定するステップ４０４と、開始センサドット１３４－ｊおよび開始入力画像領域ｉを決定するステップ４０６と、入力画像領域輝度値を計算するステップ２１０と、入力画像領域輝度値を算出された入力画像領域輝度値によって置換するステップ２２０と、ステップ２１０，２２０を繰り返し適用するための中断基準が満たされているかどうかを検査するステップ４２５と、中断基準が満他されていない場合にｉ及びｊを更新しステップ２１０を繰り返し実行させるステップ４３０を含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
捕捉された出力画像（Ａ）から入力画像（Ｅ）を反復的に再構成するための方法（２００；４００）であって、
前記出力画像（Ａ）は、少なくとも部分的に未選別のファイバー（１１２）を含む光導波路（１１０；３１０）を用いて前記入力画像（Ｅ）の成分を伝送することによって少なくとも部分的に生成され、複数のセンサドット（１３４）を含む画像センサ（１３０；３３０）を用いて捕捉され、
前記方法は、
－前記入力画像（Ｅ）の第１の領域（ＥＧ－ｉ）についての入力画像領域輝度値（Ｈｉ’）を、少なくとも部分的に以下のもの、すなわち、
前記画像センサ（１３０）の第１のセンサドット（１３４－ｊ）に割り当てられかつ前記第１のセンサドット（１３４－ｊ）の領域において捕捉された前記出力画像（Ａ）の輝度を示唆する少なくとも１つの第１のセンサドット輝度値（Ｍｊ）と、
前記第１のセンサドット（１３４－ｊ）に関して前記入力画像（Ｅ）の前記第１の領域（ＥＧ－ｉ）に割り当てられた第１の重み付け係数（ｗｉｊ）と、
前記入力画像（Ｅ）のさらなる領域（ＥＧ－ｋ）に割り当てられかつ前記第１のセンサドット（１３４－ｊ）に関して前記入力画像（Ｅ）の前記さらなる領域（ＥＧ－ｋ）に割り当てられたさらなる重み付け係数（ｗｋｊ）を用いて重み付けされた少なくとも１つのさらなる入力画像領域輝度値（Ｈｋ）と、
に基づいて計算するステップ（２１０）と、
－前記入力画像（Ｅ）の前記第１の領域（ＥＧ－ｉ）に割り当てられた第１の入力画像領域輝度値（Ｈｉ）を、以降の第１の入力画像領域輝度値（Ｈｉ）として使用するために算出された入力画像領域輝度値（Ｈｉ’）によって置換するステップ（２２０）と、
を含み、
計算するステップ（２１０）および置換するステップ（２２０）の前述した方法ステップが逐次適用される（２３０；４３０）、
方法。
前記出力画像（Ａ）は、少なくとも部分的に未選別のファイバー（１１２）を含む光導波路（１１０；３１０）を用いて前記入力画像（Ｅ）の成分を伝送することによって少なくとも部分的に生成され、複数のセンサドット（１３４）を含む画像センサ（１３０；３３０）を用いて捕捉され、
前記方法は、
－前記入力画像（Ｅ）の第１の領域（ＥＧ－ｉ）についての入力画像領域輝度値（Ｈｉ’）を、少なくとも部分的に以下のもの、すなわち、
前記画像センサ（１３０）の第１のセンサドット（１３４－ｊ）に割り当てられかつ前記第１のセンサドット（１３４－ｊ）の領域において捕捉された前記出力画像（Ａ）の輝度を示唆する少なくとも１つの第１のセンサドット輝度値（Ｍｊ）と、
前記第１のセンサドット（１３４－ｊ）に関して前記入力画像（Ｅ）の前記第１の領域（ＥＧ－ｉ）に割り当てられた第１の重み付け係数（ｗｉｊ）と、
前記入力画像（Ｅ）のさらなる領域（ＥＧ－ｋ）に割り当てられかつ前記第１のセンサドット（１３４－ｊ）に関して前記入力画像（Ｅ）の前記さらなる領域（ＥＧ－ｋ）に割り当てられたさらなる重み付け係数（ｗｋｊ）を用いて重み付けされた少なくとも１つのさらなる入力画像領域輝度値（Ｈｋ）と、
に基づいて計算するステップ（２１０）と、
－前記入力画像（Ｅ）の前記第１の領域（ＥＧ－ｉ）に割り当てられた第１の入力画像領域輝度値（Ｈｉ）を、以降の第１の入力画像領域輝度値（Ｈｉ）として使用するために算出された入力画像領域輝度値（Ｈｉ’）によって置換するステップ（２２０）と、
を含み、
計算するステップ（２１０）および置換するステップ（２２０）の前述した方法ステップが逐次適用される（２３０；４３０）、
方法。
【請求項2】
計算するステップ（２１０）および置換するステップの前記方法ステップは、以下からの少なくとも１つに従って、すなわち、
－前記画像センサ（１３０；３３０）の異なるセンサドット（１３４－１～１３４－ｓ）に割り当てられた複数のセンサドット輝度値（Ｍ１～Ｍｓ）の各々に対して、
－前記入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）の各々について、
－前記画像センサ（１３０；３３０）の同じセンサドット（１３４－１～１３４－ｓ）に関して前記入力画像（Ｅ）のそれぞれ１つの任意の領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられる１つまたは複数の重み付け係数（ｗ１１～ｗｑｓ）の各々について、
－最初に前記入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）の各々について計算するステップ（２１０）、それに続いて前記入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられた入力画像領域輝度値（Ｈ１～Ｈｑ）を、算出された入力画像領域輝度値（Ｈ１’～Ｈｑ’）によって置換（２２０）するステップを繰り返し実施する形態において、
逐次適用される（２３０；４３０）、
請求項１記載の方法。
－前記画像センサ（１３０；３３０）の異なるセンサドット（１３４－１～１３４－ｓ）に割り当てられた複数のセンサドット輝度値（Ｍ１～Ｍｓ）の各々に対して、
－前記入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）の各々について、
－前記画像センサ（１３０；３３０）の同じセンサドット（１３４－１～１３４－ｓ）に関して前記入力画像（Ｅ）のそれぞれ１つの任意の領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられる１つまたは複数の重み付け係数（ｗ１１～ｗｑｓ）の各々について、
－最初に前記入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）の各々について計算するステップ（２１０）、それに続いて前記入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられた入力画像領域輝度値（Ｈ１～Ｈｑ）を、算出された入力画像領域輝度値（Ｈ１’～Ｈｑ’）によって置換（２２０）するステップを繰り返し実施する形態において、
逐次適用される（２３０；４３０）、
請求項１記載の方法。
【請求項3】
前記逐次適用される（２３０；４３０）ことは、以下からの少なくとも１つを、すなわち、
－計算するステップ（２１０）および置換するステップ（２２０）の方法ステップが、前記複数のセンサドット（１３４）の任意のセンサドット（１３４－１～１３４－ｓ）に割り当てられた各センサドット輝度値（Ｍ１～Ｍｓ）に対して逐次適用されること、
－前記画像センサ（１３０）の同じセンサドット（１３４－ｊ）に関して前記入力画像（Ｅ）のそれぞれ１つの任意の領域（ＥＧ－１～ＥＧ－ｑ）が割り当てられたすべての重み付け係数（ｗ１ｊ－ｗｑｊ）についての計算するステップおよび置換するステップに逐次適用されること、
を含む、
請求項１記載の方法。
－計算するステップ（２１０）および置換するステップ（２２０）の方法ステップが、前記複数のセンサドット（１３４）の任意のセンサドット（１３４－１～１３４－ｓ）に割り当てられた各センサドット輝度値（Ｍ１～Ｍｓ）に対して逐次適用されること、
－前記画像センサ（１３０）の同じセンサドット（１３４－ｊ）に関して前記入力画像（Ｅ）のそれぞれ１つの任意の領域（ＥＧ－１～ＥＧ－ｑ）が割り当てられたすべての重み付け係数（ｗ１ｊ－ｗｑｊ）についての計算するステップおよび置換するステップに逐次適用されること、
を含む、
請求項１記載の方法。
【請求項4】
前記入力画像領域輝度値（Ｈｉ’）を計算する（２１０）ステップは、前記画像センサ（１３０）の異なるセンサドット（１３４－１～１３４－ｓ）に割り当てられかつ各センサドット（１３４－１～１３４－ｓ）の領域において捕捉された前記出力画像（Ａ）の輝度をそれぞれ示唆する複数のセンサドット輝度値（Ｍ１～Ｍｓ）に基づいて行われる、
請求項１記載の方法。
請求項１記載の方法。
【請求項5】
前記複数のセンサドット輝度値（Ｍ１～Ｍｓ）の各々について計算するステップ（２１０）は、少なくとも部分的に、前記各センサドット（１３４－１～１３４－ｓ）に関して前記入力画像（Ｅ）の前記第１の領域（ＥＧ－ｉ）に割り当てられた各第１の重み付け係数と、前記入力画像（Ｅ）の各さらなる領域に割り当てられかつ前記各センサドット（１３４－１～１３４－ｓ）に関して前記入力画像（Ｅ）の各さらなる領域に割り当てられた各さらなる重み付け係数を用いて重み付けされた少なくとも１つの各さらなる入力画像領域輝度値と、に基づいて行われる、
請求項４記載の方法。
請求項４記載の方法。
【請求項6】
前記複数のセンサドット輝度値（Ｍ１～Ｍｓ）の各々について計算するステップ（２１０）は、それぞれ、前記入力画像（Ｅ）の前記第１の領域（ＥＧ－ｉ）についてのセンサドット固有輝度値を決定するために行われ、前記入力画像領域輝度値（Ｈｉ’）の計算は、前記入力画像（Ｅ）の前記第１の領域（ＥＧ－ｉ）についての複数のセンサドット固有輝度値に基づいて行われる、
請求項５記載の方法。
請求項５記載の方法。
【請求項7】
前記第１の領域（ＥＧ－ｉ）についての前記複数のセンサドット固有輝度値に基づいて入力画像領域輝度値（Ｈｉ’）を計算するステップ（２１０）は、前記第１の領域（ＥＧ－ｉ）についての複数のセンサドット固有輝度値を平均化するステップを含む、
請求項６記載の方法。
請求項６記載の方法。
【請求項8】
前記平均化するステップは、前記第１の領域（ＥＧ－ｉ）についての前記複数のセンサドット固有輝度値の重み付けに従って、該当するセンサドット（１３４－１～１３４－ｓ）に関して前記第１の領域（ＥＧ－ｉ）に割り当てられた重み付け係数（ｗｉ１－ｗｉｓ）に基づいて行われる、
請求項７記載の方法。
請求項７記載の方法。
【請求項9】
前記逐次適用されることは、最初に前記入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）の各々について計算するステップ（２１０）、それに続いて前記入力画像（Ｅ）の前記複数の領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられた前記入力画像領域輝度値（Ｈ１～Ｈｑ）を、算出された入力画像領域輝度値（Ｈ１’～Ｈｑ’）によって置換するステップ（２２０）を繰り返し実施することを含み、また前記計算するステップ（２１０）は、前記画像センサ（１３０；３３０）の同じセンサドット（１３４－１～１３４－ｓ）に関して前記入力画像（Ｅ）のそれぞれ１つの任意の領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられる１つまたは複数の重み付け係数（ｗ１１～ｗｑｓ）の各々について実施される、
請求項４記載の方法。
請求項４記載の方法。
【請求項10】
前記方法は、予め定められた中断基準（４２５）が発生するまで、前記逐次適用される（２３０；４３０）ことを繰り返し実施することをさらに含む、
請求項１記載の方法。
請求項１記載の方法。
【請求項11】
前記方法は、
入力画像領域輝度値（Ｈ１～Ｈｑ）を最初に計算するステップ（２１０）の前に、
前記複数のセンサドット（１３４）の各々について、前記各センサドット（１３４－ｊ）に関して前記入力画像（Ｅ）のそれぞれ１つの異なる領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられた重み付け係数（ｗ１ｊ－ｗｑｊ）のセットを決定するステップ（４０２）をさらに含む、
請求項１記載の方法。
入力画像領域輝度値（Ｈ１～Ｈｑ）を最初に計算するステップ（２１０）の前に、
前記複数のセンサドット（１３４）の各々について、前記各センサドット（１３４－ｊ）に関して前記入力画像（Ｅ）のそれぞれ１つの異なる領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられた重み付け係数（ｗ１ｊ－ｗｑｊ）のセットを決定するステップ（４０２）をさらに含む、
請求項１記載の方法。
【請求項12】
前記重み付け係数（ｗ１ｊ－ｗｑｊ）のセットを決定するステップ（４０２）は、少なくとも部分的に、前記各センサドット（１３４－ｊ）に関して重み付け係数（ｗ１ｊ－ｗｑｊ）が割り当てられた前記入力画像（Ｅ）の前記領域（ＥＧ－１～ＥＧ－ｑ）における輝度が、前記センサドット（１３４－ｊ）の領域において捕捉された前記出力画像（Ａ）の輝度（Ｍｊ）に寄与する比例関係に基づいて行われる、
請求項１１記載の方法。
請求項１１記載の方法。
【請求項13】
前記比例関係は、少なくとも部分的に前記光導波路（１１０；３１０）のファイバー配置（１１２）に起因する、
請求項１２記載の方法。
請求項１２記載の方法。
【請求項14】
前記重み付け係数のセットを決定するステップ（４０２）は、以下のステップ、すなわち、
前記入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）からの各々について、前記入力画像（Ｅ）の前記各領域（ＥＧ－１～ＥＧ－ｑ）における輝度が、前記センサドット（１３４－ｊ）の領域において捕捉された前記出力画像（Ａ）の輝度（Ｍｊ）に寄与する比例関係を求めるステップと、
前記比例関係が閾値比例関係よりも少ない前記入力画像（Ｅ）の領域（ＥＧ－１～ＥＧ－ｑ）を破棄するステップと、
残りの領域（ＥＧ－１～ＥＧ－ｑ）の各々についての重み付け係数（ｗ１ｊ－ｗｑｊ）を、少なくとも部分的に各領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられた前記比例関係に基づいて決定するステップと、
前記重み付け係数（ｗ１ｊ－ｗｑｊ）を正規化するステップと、
をさらに含む、
請求項１１記載の方法。
前記入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）からの各々について、前記入力画像（Ｅ）の前記各領域（ＥＧ－１～ＥＧ－ｑ）における輝度が、前記センサドット（１３４－ｊ）の領域において捕捉された前記出力画像（Ａ）の輝度（Ｍｊ）に寄与する比例関係を求めるステップと、
前記比例関係が閾値比例関係よりも少ない前記入力画像（Ｅ）の領域（ＥＧ－１～ＥＧ－ｑ）を破棄するステップと、
残りの領域（ＥＧ－１～ＥＧ－ｑ）の各々についての重み付け係数（ｗ１ｊ－ｗｑｊ）を、少なくとも部分的に各領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられた前記比例関係に基づいて決定するステップと、
前記重み付け係数（ｗ１ｊ－ｗｑｊ）を正規化するステップと、
をさらに含む、
請求項１１記載の方法。
【請求項15】
前記計算するステップ（２１０）は、さらに少なくとも部分的に、前記第１のセンサドット輝度値（Ｍｊ）を、それらの各重み付け係数（ｗ１ｊ－ｗｑｊ）だけ重み付けされた入力画像領域輝度値（Ｈ１～Ｈｑ）の合計に関連付ける数学的関数に従って行われる、
請求項１記載の方法。
請求項１記載の方法。
【請求項16】
前記方法は、
捕捉された出力画像に対する入力画像領域輝度値（Ｈ１～Ｈｑ）を最初に計算するステップ（２１０）の前に、
前記入力画像（Ｅ）の各領域（ＥＧ－１～ＥＧ－ｑ）に、前記各領域（ＥＧ－１～ＥＧ－ｑ）の入力画像領域輝度値（Ｈ１～Ｈｑ）として輝度開始値を割り当てるステップ（４０４）をさらに含む、
請求項１記載の方法。
捕捉された出力画像に対する入力画像領域輝度値（Ｈ１～Ｈｑ）を最初に計算するステップ（２１０）の前に、
前記入力画像（Ｅ）の各領域（ＥＧ－１～ＥＧ－ｑ）に、前記各領域（ＥＧ－１～ＥＧ－ｑ）の入力画像領域輝度値（Ｈ１～Ｈｑ）として輝度開始値を割り当てるステップ（４０４）をさらに含む、
請求項１記載の方法。
【請求項17】
前記計算するステップ（２１０）は、前記入力画像（Ｅ）の前記第１の領域（ＥＧ－ｉ）の事前に算出された１つまたは複数の入力画像領域輝度値（Ｈｉ）に基づく減衰化および／または前記入力画像（Ｅ）内の前記第１の領域（ＥＧ－ｉ）の隣接する領域（ＥＧ－ｉ－１，ＥＧ－ｉ＋１）に割り当てられた１つまたは複数の入力画像領域輝度値（Ｈｉ－１，Ｈｉ＋１）に基づく局所的な平滑化をさらに含む、
請求項１記載の方法。
請求項１記載の方法。
【請求項18】
前記複数のセンサドット（１３４）は、前記画像センサ（１３０；３３０）のセンサ面（１３２）に配置される、
請求項１記載の方法。
請求項１記載の方法。
【請求項19】
前記複数のセンサドット（１３４）は、前記画像センサ（１３０；３３０）のセンサドットの総数によって決定されるか、または、前記出力画像（Ａ）が捕捉される前記画像センサ（１３０；３３０）のセンサドットのサブグループによって決定される、
請求項１７記載の方法。
請求項１７記載の方法。
【請求項20】
前記画像センサ（１３０；３３０）は、複数のカラーチャネルを有し、計算するステップ（２１０）および置換するステップ（２２０）が逐次適用されることは、前記複数のカラーチャネルの各々について実施される、
請求項１記載の方法。
請求項１記載の方法。
【請求項21】
前記方法は、
入力画像領域輝度値を最初に計算するステップの前に、
前記複数のセンサドットの各々について、前記各センサドットに関して前記入力画像のそれぞれ１つの異なる領域に割り当てられた重み付け係数のセットを決定するステップ（４０２）をさらに含み、前記重み付け係数（ｗ１ｊ－ｗｑｊ）のセットを決定するステップ（４０２）は、前記複数のカラーチャネルについて統一的に行われるかまたは前記複数のカラーチャネルの各々について別個に行われる、
請求項２０記載の方法。
入力画像領域輝度値を最初に計算するステップの前に、
前記複数のセンサドットの各々について、前記各センサドットに関して前記入力画像のそれぞれ１つの異なる領域に割り当てられた重み付け係数のセットを決定するステップ（４０２）をさらに含み、前記重み付け係数（ｗ１ｊ－ｗｑｊ）のセットを決定するステップ（４０２）は、前記複数のカラーチャネルについて統一的に行われるかまたは前記複数のカラーチャネルの各々について別個に行われる、
請求項２０記載の方法。
【請求項22】
前記光導波路（１１０；３１０）および前記画像センサ（１３０；３３０）は、前記光導波路（１１０；３１０）内のファイバー（１１２）の数（ｒ）と前記出力画像（Ａ）が捕捉される前記画像センサ（１３０；３３０）のセンサドット（１３４）の数（ｓ）とが、２つの前記数（ｒ，ｓ）のそれぞれ小さい方の２０倍を下回る値だけ相互に異なるように整えられている、
請求項１記載の方法。
請求項１記載の方法。
【請求項23】
前記入力画像（Ｅ）は、前記光導波路（１１０；３１０）に少なくとも部分的に入力結合された環境の少なくとも１つの領域からの光学的投影に対応する、
請求項１記載の方法。
請求項１記載の方法。
【請求項24】
前記方法は、以下のステップからの少なくとも１つ、すなわち、
－前記入力画像（Ｅ）の再構成（Ｒ）を記憶することおよび前記入力画像（Ｅ）の前記再構成（Ｒ）を表示することからの少なくとも１つに適したデータフォーマットで前記入力画像領域輝度値（Ｈ１～Ｈｑ）を記憶するステップと、
－前記データフォーマットで前記入力画像領域輝度値（Ｈ１～Ｈｑ）を出力するステップと、
をさらに含む、
請求項１記載の方法。
－前記入力画像（Ｅ）の再構成（Ｒ）を記憶することおよび前記入力画像（Ｅ）の前記再構成（Ｒ）を表示することからの少なくとも１つに適したデータフォーマットで前記入力画像領域輝度値（Ｈ１～Ｈｑ）を記憶するステップと、
－前記データフォーマットで前記入力画像領域輝度値（Ｈ１～Ｈｑ）を出力するステップと、
をさらに含む、
請求項１記載の方法。
【請求項25】
複数の入力画像（Ｅ）を再構成するための前記方法は、リアルタイムで実施され、前記入力画像（Ｅ）は、リアルタイム画像捕捉に関連して前記光導波路（１１０；３１０）に入力結合される、
請求項１記載の方法。
請求項１記載の方法。
【請求項26】
前記方法は、前記複数の入力画像（Ｅ）を用いて表示される可動オブジェクトの運動および数からの少なくとも１つを監視する目的のために実施される、
請求項２５記載の方法。
請求項２５記載の方法。
【請求項27】
コンピュータプログラム製品であって、
前記コンピュータプログラム製品は、プログラミング可能なコンピュータシステム上で実行されるときに、前記コンピュータシステムに請求項１記載の方法を実施させるプログラムコード部分を含んでいる、
コンピュータプログラム製品。
前記コンピュータプログラム製品は、プログラミング可能なコンピュータシステム上で実行されるときに、前記コンピュータシステムに請求項１記載の方法を実施させるプログラムコード部分を含んでいる、
コンピュータプログラム製品。
【請求項28】
装置（１００；３００）であって、前記装置（１００；３００）は、
少なくとも部分的に未選別のファイバー（１１２）を含む少なくとも１つの光導波路（１１０；３１０）と、
複数のセンサドット（１３４）を含みかつ前記光導波路（１１０；３１０）を用いて入力画像（Ｅ）の成分を伝送することによって少なくとも部分的に生成される出力画像（Ａ）を捕捉するように構成された少なくとも１つの画像センサ（１３０；３３０）と、
を含んでいる装置（１００；３００）。
少なくとも部分的に未選別のファイバー（１１２）を含む少なくとも１つの光導波路（１１０；３１０）と、
複数のセンサドット（１３４）を含みかつ前記光導波路（１１０；３１０）を用いて入力画像（Ｅ）の成分を伝送することによって少なくとも部分的に生成される出力画像（Ａ）を捕捉するように構成された少なくとも１つの画像センサ（１３０；３３０）と、
を含んでいる装置（１００；３００）。
【請求項29】
前記装置は、少なくとも１つの情報担体（１４０；３４０）をさらに含み、前記情報担体（１４０；３４０）は、前記複数のセンサドット（１３４）の各々について、前記入力画像（Ｅ）の異なる領域（ＥＧ－１～ＥＧ－ｑ）の各々における輝度が、各センサドット（１３４－ｊ）の領域において捕捉された前記出力画像（Ａ）の輝度（Ｍｊ）に寄与する比例関係を示唆するデータを含む、
請求項２８記載の装置。
請求項２８記載の装置。
【請求項30】
前記装置は、プロセッサユニット（１５２）と、前記プロセッサユニット（１５２）に動作可能に接続されたメモリ装置（１５４）と、を含んでいる処理装置（１５０）をさらに含み、前記プロセッサユニット（１５２）は、請求項１記載の方法を実施するように構成されている、
請求項２８記載の装置。
請求項２８記載の装置。
【請求項31】
前記光導波路（１１０；３１０）および前記画像センサ（１３０；３３０）は、前記光導波路（１１０；３１０）内のファイバー（１１２）の数（ｒ）と前記出力画像（Ａ）が捕捉されている前記画像センサ（１３０；３３０）のセンサドット（１３４）の数（ｓ）とが、２つの前記数（ｒ，ｓ）のそれぞれ小さい方の２０倍を下回る値だけ相互に異なるように整えられている、
請求項２８記載の装置。
請求項２８記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、捕捉された出力画像から入力画像を反復的に再構成するための方法に関し、ここで、出力画像は、少なくとも部分的に入力画像の成分を、少なくとも部分的に未選別のファイバーを含む光導波路を用いて伝送することによって生成される。本出願は、さらに、コンピュータプログラム製品、装置および使用に関する。
【背景技術】
【0002】
光の伝送のために、ファイバー束の形態の光導波路が公知である。光導波路は、ここでは、典型的には、複数のファイバーを含み、これらのファイバーは、光導波路の入力側端部と出力側端部との間を延在し、それぞれ光導波路の端部の一方においてファイバーに入力結合される光を実質的に各ファイバーの延在方向に沿って案内するように構成されている。この目的のために、ファイバーの各々は、例えばグラスファイバーのような光透過性の材料を含んでいる。導光は、ここでは、典型的には、ファイバーの外表面の領域における光学的界面でのファイバー内の光の内部反射によって行われる。これにより、光が斜めに入力結合されている場合やファイバーの経路が湾曲している場合であっても、各ファイバーの延在方向に沿った導光が可能になる。光導波路の経路上のファイバー相互の相対的な配置は、製造に起因して典型的にはコントロールされていない。それゆえ、光導波路の端面内の特定の領域においてそこに配置されたファイバーの端部に入射する光は、典型的には、ファイバーの未選別の経路のため、光導波路の通過の際に自身の局所的な相関を失い、そのため光導波路の出射側の端面内では、入力側に比べて無秩序に分散した、つまり局所的に異なった箇所から出射する。換言すれば、従来の光ファイバー式光導波路の光伝送用ファイバーは、実質的に、特に例外を除いて、入力側と出力側との間で局所的に特定されることなく配置されている。それゆえ、特に従来の光導波路を用いた画像の光伝送は不可能であった。
【0003】
それに対して、画像の光伝送のために画像導波路が公知である。これらの導波路は、実質的に光導波路と同じ機能性に基づいている。しかしながら、光導波路と異なって、画像導波路は、光伝送用ファイバーの秩序的な配置を有している。したがって、入力側で画像導波路のそれぞれ異なるファイバーに入力結合される入力画像の異なる領域間の局所的な相関は、光が画像導波路から出射する際にも維持される。換言すれば、従来の光ファイバー式光導波路における光伝送用ファイバーは、それらの近傍比に関して実質的に入力側と出力側との間で局所的に同一に配置されている。
【0004】
それにより、画像導波路は画像の光伝送を可能にする。このことは、例えば、カメラなどを用いた画像の直接的な感覚的捕捉が不可能であるか、または困難である箇所において、画像情報の捕捉とそれらの光転送とを可能にする。典型的な用途には、カメラに対して不十分な空間しか提供されないか、またはその他の点でも不利である条件下での医療用プローブや光学的監視が挙げられる。
【0005】
しかしながら、画像導波路は、光導波路に比べて、極めて多くの製造労力を必要とし、それに伴って、製造コストも著しく高くなる。また多くの用途では、画像導波路によって達成可能であるような伝送される画像の光学的品質における高い尺度、例えば高い解像度もしくは高い詳細度、鮮鋭度および／またはコントラストは必要ではない。
【0006】
それゆえ、前述した欠点を軽減または回避する技術が望まれている。
【発明の概要】
【課題を解決するための手段】
【0007】
この課題は、請求項１に記載の方法、請求項２７に記載のコンピュータプログラム製品および請求項２８に記載の装置によって解決される。
【0008】
したがって、第１の態様によれば、捕捉された出力画像から入力画像を反復的に再構成するための方法であって、ここで、出力画像は、少なくとも部分的に入力画像の成分を、少なくとも部分的に未選別のファイバーを含む光導波路を用いて伝送することによって生成され、複数のセンサドットを含む画像センサを用いて捕捉される方法は、入力画像の第１の領域についての入力画像領域輝度値を、少なくとも部分的に以下のもの、すなわち画像センサの第１のセンサドットに割り当てられかつ第１のセンサドットの領域において捕捉された出力画像の輝度を示唆する少なくとも１つの第１のセンサドット輝度値と、第１のセンサドットに関して入力画像の第１の領域に割り当てられた第１の重み付け係数と、入力画像のさらなる領域に割り当てられかつ第１のセンサドットに関して入力画像のさらなる領域に割り当てられたさらなる重み付け係数を用いて重み付けされた少なくとも１つのさらなる入力画像領域輝度値と、に基づいて計算するステップを含む。本方法は、その他に、入力画像の第１の領域に割り当てられた第１の入力画像領域輝度値を、以降の第１の入力画像領域輝度値として使用するために算出された入力画像領域輝度値によって置換するステップを含む。計算するステップおよび置換するステップの前述した方法ステップは、ここでは、逐次、特に反復的に適用される。
【0009】
計算するステップおよび置換するステップの方法ステップが逐次適用されることは、計算するステップおよび置換するステップの方法ステップが、画像センサの異なるセンサドットに割り当てられた複数のセンサドット輝度値の各々に対して、かつ／または入力画像の複数の領域の各々について、かつ／または画像センサの同じセンサドットに関して入力画像のそれぞれ１つの任意の領域が割り当てられた１つまたは複数の重み付け係数の各々について、または最初に入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）の各々について計算するステップ（２１０）、それに続いて入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられた入力画像領域輝度値（Ｈ１～Ｈｑ）を、算出された入力画像領域輝度値（Ｈ１’～Ｈｑ’）によって置換（２２０）するステップを繰り返し実施する形態において逐次適用されることを含むことができる。
【0010】
ファイバーは、光導波路の端面内の特定の領域においてそこに配置されたファイバーの端部に入射する光が光導波路の通過の際に自身の局所的な相関を失うように、少なくとも部分的に未選別であってよい。そのような方式で未選別である光導波路のファイバーの割合は、１０％を超えるもの、特に９０％を超えるものであり得る。
【0011】
第１の実施形態によれば、逐次適用されることは、計算するステップおよび置換するステップの方法ステップが、画像センサの複数のセンサドットの任意のセンサドットに割り当てられた各センサドット輝度値に対して、かつ／または画像センサの各センサドットに関して入力画像のそれぞれいずれかの領域に割り当てられた１つまたは複数の重み付け係数の各々について逐次適用されることを含むことができる。
【0012】
さらなる実施形態によれば、入力画像領域輝度値を計算するステップ、すなわち置換する前の計算するステップは、画像センサの異なるセンサドットに割り当てられかつ各センサドットの領域において捕捉された出力画像の輝度をそれぞれ示唆する複数のセンサドット輝度値に基づいて行うことができる。その際、この計算するステップ、すなわち置換する前の計算するステップは、画像センサの各センサドットに関して入力画像のそれぞれいずれかの領域に割り当てられた１つまたは複数の重み付け係数の各々について実施することができる。
【0013】
またさらなる実施形態では、複数のセンサドット輝度値の各々について計算するステップは、少なくとも部分的に、各センサドットに関して入力画像の第１の領域に割り当てられた各第１の重み付け係数と、入力画像の各さらなる領域に割り当てられかつ各センサドットに関して入力画像の各さらなる領域に割り当てられた各さらなる重み付け係数を用いて重み付けされた少なくとも１つの各さらなる入力画像領域輝度値と、に基づいて行うことができる。
【0014】
またさらなる実施形態では、複数のセンサドット輝度値の各々について計算するステップは、それぞれ、入力画像の第１の領域についてのセンサドット固有輝度値を決定するために行うことができる。入力画像領域輝度値を計算するステップは、ここでは、入力画像（Ｅ）の第１の領域（ＥＧ－ｉ）についての複数のセンサドット固有輝度値に基づいて行うことができる。また第１の領域についての複数のセンサドット固有輝度値に基づいて入力画像領域輝度値を計算するステップは、第１の領域についての複数のセンサドット固有輝度値を平均化するステップを含むことができる。この平均化するステップは、第１の領域についての複数のセンサドット固有輝度値の重み付けに従って、該当するセンサドットに関して第１の領域に割り当てられた重み付け係数に基づいて行うことができる。
【0015】
さらなる実施形態では、逐次適用されることは、入力画像の複数の領域の各々について行うことができる。代替的に、さらなる実施形態では、逐次適用されることは、最初に入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）の各々について計算するステップ（２１０）、それに続いて入力画像（Ｅ）の複数の領域（ＥＧ－１～ＥＧ－ｑ）に割り当てられた入力画像領域輝度値（Ｈ１～Ｈｑ）を、算出された入力画像領域輝度値（Ｈ１’～Ｈｑ’）によって置換するステップ（２２０）を繰り返し実施する形態において行うことができる。
【0016】
本方法は、特に、予め定められた中断基準が発生するまで、逐次適用されることを繰り返し実施することを含むことができる。代替的に、逐次適用されることが、最初に入力画像の複数の領域の各々について計算するステップ、それに続いて入力画像の複数の領域に割り当てられた入力画像領域輝度値を、算出された入力画像領域輝度値によって置換するステップを繰り返し実施する形態で行われる場合、逐次適用されることは、予め定められた中断基準が発生するまで行うことができる。この中断基準は、入力画像の同じ領域について本方法を実施する数を含むことができ、かつ／または入力画像の同じ領域について入力画像領域輝度値の順次連続する計算の間の閾値差分を下回ることを含むことができる。この閾値差分は、各入力画像領域の輝度の０．１倍以下、好適には０．０５倍以下、好適には０．０３倍であり得る。この場合、小さな閾値差分は、入力画像についての信頼性の高い再構成結果を促進させる。大きな閾値差分は、閾値差分の到達がより早まるため、本方法の迅速な終了を促進させる。
【0017】
付加的または代替的に、本方法は、計算するステップの前に、複数のセンサドットの各々について、各センサドットに関して入力画像のそれぞれ１つの異なる領域に割り当てられた重み付け係数のセットを決定するステップをさらに含むことができる。
【0018】
重み付け係数のセットを決定するステップは、少なくとも部分的に、各センサドットに関して各重み付け係数が割り当てられた入力画像の領域における輝度が、センサドットの領域において捕捉された出力画像の輝度に寄与する比例関係に基づいて行うことができる。
【0019】
この比例関係は、ここでは、少なくとも部分的に光導波路のファイバー配置に起因する場合がある。
【0020】
重み付け係数のセットを決定するステップは、さらに以下のステップ、すなわち、入力画像の複数の領域からの各々について、入力画像の各領域における輝度が、センサドットの領域において捕捉された出力画像の輝度に寄与する比例関係を求めるステップと、比例関係が閾値比例関係よりも少ない入力画像の領域を破棄するステップと、残りの領域の各々についての重み付け係数を、少なくとも部分的に各領域に割り当てられた比例関係に基づいて決定するステップと、を含むことができる。閾値比例関係は、０．５以下、好適には０．２以下、好適には０．１以下であり得る。付加的または代替的に、閾値比例関係は、０．００５以上、好適には０．００８以上、好適には０．０１以上であり得る。閾値比例関係は、０．００５～０．５の間、好適には０．００８～０．２の間、好適には０．０１～０．１の間の範囲であり得る。低い閾値比例関係は、比較的寄与の弱い捕捉すべき入力画像領域の輝度も考慮されることが引き起こされ、それによって、入力画像のより正確な再構成が促進される。高い閾値比例関係は、比較的多くの入力画像領域が計算から除外され得ることが引き起こされ、それによって、情報の損失が比較的少なく、本方法の高い効率が促進される。本方法は、ここではまた、重み付け係数を正規化するステップを含むことができる。
【0021】
計算するステップは、さらに少なくとも部分的に、第１のセンサドット輝度値を、それらの各重み付け係数だけ重み付けされた入力画像領域輝度値の合計に関連付ける数学的関数に従って行うことができる。
【0022】
本方法は、入力画像領域輝度値の第１の計算の前に、入力画像の各領域に、各領域の入力画像領域輝度値として輝度開始値を割り当てるステップをさらに含むことができる。各領域についての輝度開始値は、ここでは特に、入力画像に依存することなく予め定められていてよい。代替的に、各領域についての輝度開始値は、少なくとも１つの特性、特に画像センサを用いて捕捉される入力画像の平均輝度に基づいて決定されてもよい。さらに、代替的に、各領域についての輝度開始値は、先行して再構成された入力画像、特に先行して再構成された入力画像の各領域の各入力画像領域輝度値に基づいて決定されてもよい。これは、本方法を一連の画像に適用する場合に特に好適である。
【0023】
計算するステップは、入力画像の第１の領域の事前に算出された１つまたは複数の入力画像領域輝度値に基づく減衰化をさらに含むことができる。この減衰化は、本方法の反復的実施の間の本方法の収束特性および／または安定性を促進させることができる。ここでは、計算に用いられるセンサドットの領域において捕捉された１つの輝度もしくは計算に用いられるセンサドットの領域において捕捉された複数の輝度と、そこから決定される入力画像の第１の領域の輝度との間の重み付け係数に基づいて決定される比率は、第１の領域の事前に算出された１つまたは複数の入力画像領域輝度値を用いて平均化することができる。この平均化は、ここでは、第１の領域の事前に算出された１つまたは複数の入力画像領域輝度値と、決定された第１の領域の輝度との減衰化重み付けに従って行うことができる。この減衰化重み付けは、ここでは、第１の領域についての本方法の順次連続する実施中に一定であってよい。代替的に、減衰化重み付けは、第１の領域についての本方法の順次連続する実施中に変化させることも可能である。
【0024】
付加的または代替的に、計算するステップは、入力画像内の第１の領域の隣接する領域に割り当てられた１つまたは複数の入力画像領域輝度値に基づく局所的な平滑化を含むことができる。この平滑化は、隣接する入力画像領域の輝度値の適応化を入力画像内の連結的な画像オブジェクトに応じて促進することができる。ここでは、計算に用いられるセンサドットの領域において捕捉された１つの輝度もしくは計算に用いられるセンサドットの領域において捕捉された複数の輝度と、そこから決定される入力画像の第１の領域の輝度との間の重み付け係数に基づいて決定される比率は、入力画像内の第１の領域の隣接する領域に割り当てられた１つまたは複数の入力画像領域輝度値を用いて平均化することができる。この平均化は、ここでは、入力画像内の第１の領域の隣接する領域に割り当てられた１つまたは複数の入力画像領域輝度値と、決定された第１の領域の輝度との平滑化重み付けに従って行うことができる。
【0025】
減衰化および／または平滑化を実施する際の平均化は、平均化にそれぞれ用いられる値の算術平均値、幾何平均値および／または他のやり方で定義された中間値を決定することを含むことができる。
【0026】
複数のセンサドットは、画像センサのセンサ面に配置されてよい。ここでは、複数のセンサドットは、画像センサのセンサドットの総数によって決定されてもよい。代替的に、複数のセンサドットは、出力画像が捕捉される画像センサのセンサドットのサブグループによって決定されてもよい。
【0027】
画像センサは、複数のカラーチャネルを有することができる。ここでは、本方法、特に計算するステップおよび置換するステップの方法ステップが逐次適用されることは、複数のカラーチャネルの各々について別個に実施することができる。重み付け係数のセットを決定するステップは、ここでは、複数のカラーチャネルに対して統一的に行うことができる。代替的に、重み付け係数のセットを決定するステップは、複数のカラーチャネルの各々について別個に行うことができる。
【0028】
複数のカラーチャネルを形成するために、複数のセンサドットからの各センサドットは、異なる光波長領域に従って輝度を捕捉するための手段を含むことができる。一実施形態では、ここでは特にセンサ画素の形態の各センサドットは、特にセンサマイクロピクセルの形態の複数のセンササブドットを含む。センサドットのセンササブドットの各々は、ここでは異なる光波長領域のうちの１つに従って輝度を捕捉するように構成されている。重み付け係数のセットを決定するステップは、ここでは、センサドットの複数のセンササブドットについて統一的に行うことができる。
【0029】
代替実施形態では、各センサドットは、異なる光波長領域のうちの１つに従って輝度を捕捉するように構成されている。それらの光波長領域に関して異なるセンサドットは、ここでは、画像センサのセンサ面に、特に交互にずらされたラスターに従って分散して配置されてよい。重み付け係数のセットを決定するステップは、ここでは、センサドットの各々について別個に行うことができる。付加的または代替的に、複数のセンサドットは、本方法が実施される場合に、特に、計算するステップおよび置換するステップの方法ステップが逐次適用される場合に、すべての該当するセンサドットが割り当てられる同一のカラーチャネルによってさらに決定されてよい。
【0030】
本方法は、その他に、特にマルチカラー入力画像を再構成するために、複数のカラーチャネルの各々について求められた入力画像領域輝度値をつなぎ合わせるステップを含むことができる。
【0031】
複数のカラーチャネルは、少なくとも１つの赤色、緑色および青色のカラーチャネルを含むことができる。代替的に、複数のカラーチャネルは、少なくとも１つのシアン、マゼンタおよび黄色のカラーチャネルを含むことができる。付加的または代替的に、複数のカラーチャネルは、赤外光波長領域の少なくとも１つのカラーチャネルおよび／または紫外光波長領域の少なくとも１つのカラーチャネルを含むことができる。
【0032】
光導波路および画像センサは、光導波路内のファイバーの数と出力画像が捕捉される画像センサのセンサドットの数とが、当該２つの数のそれぞれ小さい方の２０倍を下回る値、好適には１０倍を下回る値、好適には３倍を下回る値だけ相互に異なるように整えられてよい。
【0033】
入力画像は、光導波路に入力結合された環境の少なくとも１つの領域からの光学的投影に対応することができる。
【0034】
本方法は、入力画像の再構成を記憶もしくは表示するのに適したデータフォーマットで入力画像領域輝度値を記憶するステップおよび／または出力するステップをさらに含むことができる。
【0035】
さらなる態様によれば、コンピュータプログラム製品が提示される。このコンピュータプログラム製品は、プログラミング可能なコンピュータシステム上で実行されるときに、コンピュータシステムに本明細書で提示されるタイプの方法を実施させるプログラムコード部分を含んでいる。
【0036】
さらなる態様によれば、装置が提示される。本装置は、少なくとも部分的に未選別のファイバーを含む少なくとも１つの光導波路と、複数のセンサドットを含みかつ光導波路を用いて入力画像の成分を伝送することによって少なくとも部分的に生成される出力画像を捕捉するように構成された少なくとも１つの画像センサと、を含んでいる。
【0037】
本装置は、プロセッサユニットと、該プロセッサユニットに動作可能に接続されたメモリ装置と、を含んでいる処理装置をさらに含むことができ、ここで、プロセッサユニットは、本明細書で提示されたタイプの方法を実施するように構成されている。
【0038】
光導波路および画像センサは、光導波路内のファイバーの数と出力画像が捕捉されている画像センサのセンサドットの数とが、当該２つの数のそれぞれ小さい方の２０倍を下回る値、好適には１０倍を下回る値、好適には３倍を下回る値だけ相互に異なるように整えられてよい。
【0039】
さらなる態様によれば、本明細書でそれぞれ提示されたタイプの方法、コンピュータプログラム製品および／または装置の使用が提示される。この使用は、複数の入力画像をリアルタイムで再構成するために行われ、ここで、これらの入力画像は、リアルタイム画像捕捉に関連して光導波路に入力結合される。
【0040】
使用は、複数の入力画像を用いて表示される可動オブジェクトの運動および／または数を監視する目的のために行うことが可能である。
【0041】
本発明のさらなる特徴、利点および目的は、図面および詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【0042】
【図1A】一例によって示される、入力画像を反復的に再構成するための装置の相補的な断面図である。
【図1B】一例によって示される、入力画像を反復的に再構成するための装置の相補的な断面図である。
【図1C】一例によって示される、入力画像を反復的に再構成するための装置の相補的な断面図である。
【図1D】一例によって示される、入力画像を反復的に再構成するための装置の相補的な断面図である。
【図2】一例によって示される、入力画像を反復的に再構成するための方法についてのフローチャートである。
【図3】さらなる例によって示される、入力画像を反復的に再構成するための装置の概略図である。
【図4】さらなる例によって示される、入力画像を反復的に再構成するための方法についてのフローチャートである。
【図5】使用についてのフローチャートである。
【図6A】入力画像を反復的に再構成するための一例の相補的な断面図である。
【図6B】入力画像を反復的に再構成するための一例の相補的な断面図である。
【発明を実施するための形態】
【0043】
図１Ａ～図１Ｄは、入力画像を反復的に再構成するための装置１００を共に概略的にかつ例示的に示している。図１Ａ～図１Ｄは、ここではそれぞれ、装置１００の複数の相補的な断面図のうちの１つを示す。装置１００は、図１Ｂに示されているような光導波路１１０と、図１Ｃに示されているような画像センサ１３０と、を含む。光導波路１１０は、複数のファイバー１１２を含み、これらのファイバー１１２は、光導波路１１０の入力側端部１１４と出力側端部１１６との間を延在し、それぞれ光導波路１１０の端部１１４，１１６の一方においてファイバー１１２に入力結合される光を実質的に各ファイバー１１２の延在方向に沿って案内するように構成されている。この目的のために、ファイバー１１２の各々は、例えばグラスファイバーのような光透過性の材料を含む。導光は、ここでは、典型的には、ファイバー１１２の外表面の領域における光学的界面でのファイバー１１２内の光の内部反射によって行われる。これにより、光が斜めに入力結合されている場合および／またはファイバー１１２の経路が湾曲している場合であっても、各ファイバー１１２の延在方向に沿った導光が可能になる。また個々のファイバー１１２－１～１１２－ｒの各々は、ここでは、実質的に、残りのファイバー１１２－１～１１２－ｒにおける導光に依存することなく、導光のための独立した媒体として機能する。
【0044】
ファイバー１１２は、光導波路１１０内で少なくとも部分的に未選別である。これは、光導波路１１０の入力側端部１１４の領域における個々のファイバー１１２－１～１１２－ｒ相互の相対的な配置が、製造に起因して、光導波路１１０の出力側端部１１６の領域における各ファイバー１１２－１～１１２－ｒ相互の相対的な配置に一致しないこと、もしくはせいぜい偶然にしか一致しないことを意味する。
【0045】
図１Ｂに概略的に示されているように、光導波路１１０の入力側端部１１４は、実質的にファイバー１１２の束に従ったファイバー１１２の配置を有する。光の入力結合が効果的に行われる光導波路１１０の入力側端部１１４の端面は、ここでは実質的に、ファイバー１１２－１～１１２－ｒの各断面の横並び配置に対応している。光導波路１１０内のファイバー１１２の少なくとも部分的に未選別の配置のために、入力側端部１１４において隣接するファイバー１１２のサブグループに対応する端面の連結的な部分領域に入射する光は、光導波路１１０の出力側端部１１６において、典型的には非連結的でかつ無秩序に分散して出力側端部１１６の端面の複数の箇所から出射する。これは、入力側で隣接するサブグループを形成するファイバーの各々が、光導波路１１０の出力側端部１１６の端面においては任意の別の箇所に出現し得るということから結論付けられる。これにより、光導波路１１０の入力側端部１１４の端面を介して様々なファイバー１１２に入力結合される光の局所的な相関に関する情報は、光導波路１１０を通して光が搬送される際に当該光が出力側端部１１６から出射されるまでに失われる。
【0046】
図１Ｂにおいて、光導波路１１０は、直円柱として簡略化して示されている。典型的な例では、光導波路１１０は可撓性を備えて構成されており、またここでは、光導波路１１０の長さは光導波路１１０の直径よりも数桁大きい。
【0047】
画像センサ１３０は、光導波路１１０の出射側に配置されている。これは、図１Ｂの描写を図面下方縁部に延長して図１Ｃに示した画像センサ１３０の配置に対応する。また画像センサ１３０は、ここでは、光導波路１１０の出力側端部１１６から出射した光が画像センサ１３０のセンサ面１３２に入射するように配置されている。これは、図１Ｂおよび図１Ｃにおいて、図１Ｂの図面下方縁部ならびに図１Ｃの図面上方縁部の対角線対によって概略的に示されている。センサ面１３２に入射した光は、そこで画像センサ１３０の複数のセンサドット１３４を用いて捕捉される。画像センサ１３０は、例えばＣＣＤセンサである。
【0048】
図示の例では、装置１００は、さらに出力側光学系１２５を含んでいる。この出力側光学系１２５は、ここでは、光導波路１１０の出力側端部１１６から出射した光が、センサ面１３２の適切に選択されたサイズの領域に投影されるように配置されている。
【0049】
光導波路１１０の入力側端部１１４は、図１Ａに示されているように入力画像Ｅに配向されている。図１Ａの描写は、ここでは、図１Ｂの描写を図面上方縁部に延長したものに対応する。入力画像Ｅは、例えば、監視すべき環境の光学的結像に対応する。入力画像Ｅは、入力側端部１１４を介して光導波路１１０に入力結合される。図示の例では、装置１００は、この目的のためにさらに入力側光学系１２０を含む。この入力側光学系１２０は、ここでは、入力画像Ｅを光導波路１１０の入力側端部１１４の端面に光学的に投影するように構成されている。これは、図１Ａおよび図１Ｂにおいて、図１Ａの図面下方縁部ならびに図１Ｂの図面上方縁部の対角線対によって概略的に示されている。
【0050】
光導波路１１０に入力結合された入力画像Ｅは、光導波路１１０のファイバー１１２を用いて搬送される。その際、それぞれ異なるファイバー１１２－１～１１２－ｒが、入力画像Ｅの様々な局所的な成分に割り当てられる光を、光導波路の入力側端部１１４を介して投影された入力画像Ｅの延在方向および入力側端部１１４における個々のファイバー１１２－１～１１２－ｒの配置に従って搬送する。光導波路の出力側端部１１６においてすべてのファイバー１１２から出射された光が出力画像Ａを形成する。出力画像Ａでは、上述したように、入力画像Ｅの様々な成分の局所的な相関が光導波路１１０の経路にわたるファイバー１１２の少なくとも部分的に未選別の配置のために失われる。
【0051】
図１Ｃに示されているように、センサ面１３２は、場合によっては出力側光学系１２５に接続されて、出力画像Ａを完全に捕捉するように選定されている。この目的のために、センサ面１３２は、例えば、光導波路１１０のすべてのファイバー１１２から出射された光が捕捉されるように選定されている。図示の例とは異なり、装置１００の他の例では、出力側光学系１２５は設けられていない。いくつかの例では、光導波路１１０の出力側端部１１６は、ここでは、画像センサ１３０を用いて、光導波路１１０の出力側端部１１６に存在する光分布が直接捕捉されるように、センサ面１３２と光学的に接触接続されて配置されている。
【0052】
ここでは、好適には、ファイバー１１２の各々のそれぞれ特定のセンサドット１３４に対する一義的な割り当ては存在しない。そのような場合、入力画像の再構成は、それに代えて好適には、光導波路の未選別のファイバーに基づく局所的な入れ替えの反転に対応するセンサドットデータの局所的な入れ替えによって行われるであろう。
【0053】
図１Ｂに概略的に示されているように、光導波路１１０は、典型的には、入力側端部１１４および出力側端部１１６において実質的に円形の端面も含めて実質的に円形の断面を有する。そのような形状は、光導波路の製造のために通常は最もコストがかからない。他の例では、入力側端部１１４および／または出力側端部１１６における光導波路１１０の端面の少なくとも一方が、異なる形状、例えば矩形もしくは六角形の形状を有することができる。ここでは、出力側端面は、例えば、画像センサ１３０が出力側端部１１６の端面を完全に捕捉すると同時にその際、センサ面１３２のセンサドットの可及的に大きな割合が使用されるように成形されている。丸いファイバー束と正方形のセンサ面との場合では、幾何学的な理由から、センサドットの約７８．５％しか使用することができない。それどころか丸いファイバー束と縦横比３：２の矩形のセンサ面との場合では、センサドットの約５２．４％しか使用することができない。それに対して、端面の形状の適合化によれば、使用可能なセンサドットの割合を９０％以上に増加させることが可能である。
【0054】
図１Ｄに示されているように、装置１００は、図示の例では、処理装置１５０をさらに含んでいる。図１Ｄの描写は、ここでは、図１Ｃの描写を図面右方縁部に延長したものに対応する。処理装置１５０は、プログラミング可能なプロセッサユニット１５２と、該プロセッサユニット１５２に動作可能に接続されたメモリ装置１５４と、を含む。また処理装置１５０は、入力インターフェース１６０を含む。
【0055】
画像センサ１３０は、処理装置１５０の入力インターフェース１６０を介して処理装置１５０に通信可能に接続される。画像センサ１３０は、ここでは、出力画像Ａの捕捉の際に、対応するセンサ情報が、プロセッサユニット（Central Processing Unit，ＣＰＵ）１５２を用いた処理のために処理装置１５０に出力されるように構成されている。これは、図１Ｃおよび図１Ｄにおいて、図１Ｃの図面右方縁部の出力線路ならびに図１Ｄの図面左方縁部の入力線路によって概略的に示されている。
【0056】
処理装置１５０は、さらに詳細に後述するように、出力画像Ａに関して画像センサ１３０から受信したセンサ情報に基づいて、入力画像Ｅを反復的に再構成するように構成されている。ここでは、処理装置１５０はさらに、再構成画像Ｒを、再構成画像Ｒの画像描写および／または記憶を可能にするデータ形式のデータオブジェクト１５６として記憶および／または出力するように構成されている。
【0057】
図示の例では、処理装置１５０は、データオブジェクト１５６を、メモリ装置１５４を用いて記憶するように構成されている。さらに、処理装置１５０は、図示の例では、表示ユニット１５８（Video Display Unit，ＶＤＵ）と、出力インターフェース１６２と、を含む。 処理装置１５０は、ここでは、再構成画像Ｒを、表示ユニット１５８を用いてグラフィカルに出力するように構成され、ならびに／あるいは再構成画像Ｒをデータオブジェクト１５６の形態で、もしくは再構成画像Ｒの出力および／または記憶に適した任意の他のデータフォーマットの形態で、出力インターフェース１６２を用いてさらなる出力および／または処理機器に出力するように構成されている。
【0058】
図１Ｂの例では、光導波路１１０のファイバー１１２はｒの数を含んでいる。また出力画像Ａが捕捉される画像センサ１３０のセンサドット１３４は、ｓの数を含んでいる。また入力画像Ｅは、図１Ａにおいて、複数の入力画像領域ＥＧに分割されているが、それらの意味は以下の説明から明らかになるであろう。
【0059】
図１Ａでは、入力画像Ｅの領域に例示的な入力画像Ｂ１＿Ｅが示されている。この例示的な入力画像Ｂ１＿Ｅのモチーフは、ここでは、無作為に選択されている。提示される方法の可視化のために、例示的な入力画像Ｂ１＿Ｅは、（ここでは簡略化を想定した）１６×１６の入力画像領域ＥＧからなる正方形のラスターからなっている。各入力画像領域には、ここでは例示的に、最小輝度に相当する０と、最大輝度に相当する１との間の輝度値が割り当てられている。また各輝度は、ここでは、各入力画像領域の対応する陰影線によって示されている。
【0060】
入力側光学系１２０を用いた光導波路１１０の入力側端部１１４への例示的な入力画像Ｂ１＿Ｅの投影は、光導波路１１０の例示的な１００本のファイバー１１２上に入射する。これは、図１Ｂにおいて、例示的な入力画像Ｂ１＿Ｅの入力結合された画像Ｂ１＿Ｌによって示されており、この場合ここでは、入力結合された画像Ｂ１＿Ｌは、（ここでは簡略化を想定した）１０×１０の画像領域のラスターからなり、それらの各々は、さらに個々のファイバー１１２内を伝送される光情報に対応する。図１Ａの例に続いて、ここでは、各ファイバー１１２には、その中をそれぞれ伝送される光情報について０と１との間の輝度値が割り当てられている。また各画像領域には、対応する陰影線が付されている。
【0061】
例示的な入力画像Ｂ１＿Ｅに対し、光導波路１１０内への入力結合は、例示的に示されているように、例示的な入力画像Ｂ１＿Ｅの成分を光導波路１１０内で伝送するファイバー１１２の数に従った元の画像情報の減少もしくはラスター化を引き起こす。
【0062】
センサ面１３２の領域において、図示の例では、光導波路１１０から出射される例示的な出力画像Ｂ１＿Ａは、（ここでは簡略化を想定した）１６×１６のセンサ画素からなるラスターにより捕捉される。その際、光導波路１１０のファイバー１１２からそれぞれ出射する光は、典型的には、異なる割合で画像センサ１３０の複数のセンサドット１３４に入射する。各センサドットおよび割合は、ここでは特に、光導波路１１０の出力側端部１１６におけるファイバー１１２配置内での各ファイバー１１２の位置から生じる。同時に、ここでは、典型的には、センサドット１３４の各々において、様々なファイバー１１２を通って伝送される光の混合が起こる。センサドット１３４においてそれぞれ混合された様々なファイバー１１２からの光は、光導波路１１０の経路にわたるファイバー１１２の未選別の配置に従って、例示的な入力画像Ｂ１＿Ｅの様々な領域に対応する光導波路１１０の入力側端部１１４における同じファイバーの局所的な関係と相関しないかもしくは例外的な場合にのみ相関する。
【0063】
図１Ａおよび図１Ｂの例に続いて、例示的な出力画像Ｂ１＿Ａにおいて、各センサドット１３４の領域には、それぞれ捕捉された輝度に従って０～１の間の輝度値が割り当てられている。ここでもそれぞれの領域に、対応する陰影線が付されている。例示的な入力画像Ｂ１＿Ｅと、光導波路１１０内に入力結合された画像Ｂ１＿Ｌとの比較により、陰影線に基づけば、例示的な入力画像Ｂ１＿Ｅ内に含まれている画像輪郭が、光導波路１１０内のファイバー１１２の未選別の経路のために光導波路１１０からの出射の際にはもはや例示的な出力画像Ｂ１＿Ａ内で得られないことが認識できる。
【0064】
後述するように、捕捉された例示的な出力画像Ｂ１＿Ａに基づいて、処理装置１５０を用いて例示的な入力画像Ｂ１＿Ｅを反復的に再構成するための本方法を適用することにより、例示的な再構成画像Ｂ１＿Ｒが得られる。図１Ｄから認識できるように、例示的な再構成画像Ｂ１＿Ｒ内では、例示的な入力画像例Ｂ１＿Ｅ内に含まれている様々な輝度値の局所的な関係が十分に再構築されている。特に、入力画像例Ｂ１＿Ｅ内に含まれている画像輪郭は、さらに例示的な再構成画像Ｂ１＿Ｒにおいて認識可能である。
【0065】
後述する本方法は、いくつかの想定に基づいている。ここでは、ファイバー１１２－１～１１２ｒのうちの１つを通って搬送され、光導波路１１０の出力側端部１１６から出射される光は、典型的には、複数のセンサドット１３４－１～１３４－ｓに入射し、またこの場合、様々なセンサドット１３４－１～１３４－ｓには、各ファイバーから出射される光の様々な量の割合が入射可能であることが想定されている。また、光導波路１１０と画像センサ１３０との相対的な配向は、後述するような較正方法および入力画像Ｅの捕捉の間、変化しないまま維持されることが想定される。
【0066】
較正方法を実施した後、装置１００のいくつかの例では、対応する較正データは、装置１００の情報担体１４０に記憶可能である。ここでは、それは、例えば電子データ担体かまたは装置１００の装置固有の較正データへのアクセスを可能にする装置１００の識別番号であり、この場合、これらの較正データは、例えば、装置１００の製造業者のデータベースに記憶されている。
【0067】
較正のために、入力画像Ｅの捕捉可能な画像領域が、複数の入力画像領域ＥＧ－１～ＥＧ－ｑに分割される。それに続いて、入力画像領域ＥＧの各々において相前後して光源、例えばディスプレイピクセルの形態のドット光源が活動化される。光源の寸法は、ここでは、理想的には、各入力画像領域ＥＧの境界を超えて突出しない。各入力画像領域からの光は、光導波路１１０の入力側端部１１４の連結的な領域に投影され、ここで、この光は、典型的には配分されて光導波路の隣接して配置された複数のファイバー１１２－１～１１２ｒ内に入力結合される。光導波路１１０の経路にわたるファイバー１１２の未選別の配置に基づき、各ファイバーは、光導波路１１０の出力側端部１１６の様々な典型的には非連結的な箇所に現れる。その結果、光源からの光は、異なる比例関係を伴って画像センサ１３０の任意に位置決めされた様々なセンサドット１３４－１～１３４－ｓに入射する。また、所定のセンサドット１３４－１～１３４－ｓでは、様々な入力画像領域ＥＧ－１～ＥＱ－ｑから送出された光が典型的には無秩序な形態で重なる。
【0068】
各入力画像領域ＥＧ－１～ＥＧ－ｑについて、記載された形態で、他の入力画像領域からの光と比較した、各入力画像領域からの光がセンサドット１３４－１～１３４－ｓの個々のそれぞれに入射する比例関係が生じる。
【0069】
そのため、この記述された方法は、入力画像領域ＥＧ－１～ＥＧ－ｑの各々に関し、センサドット１３４－１～１３４－ｓの各々についての比例係数もしくは重み付け係数ｗｉｊの決定を可能にする。そのようにして決定された重み付け係数ｗｉｊは、装置１００のための較正データを表す。
【0070】
個々のセンサドット１３４－ｊにおいて測定された輝度値Ｍｊは、前述したことに従って、入力画像領域ＥＧ－ｉの各々において、各センサドットについてのそれらの各重み付け係数ｗｉｊだけ乗じた輝度Ｈｉの重畳として構成される。この結果、例えば、センサドット１３４－ｊについては以下の式が成り立つ：
Ｍｊ＝ｗ１ｊ＊Ｈ１＋ｗ２ｊ＊Ｈ２＋．．．＋ｗｑｊ＊Ｈｑ
この式は、各センサドット１３４－ｊにおいて捕捉された輝度Ｍｊを使用して、入力画像領域輝度値Ｈｉの各々について解くことができる。最初の入力画像領域輝度値Ｈｉを計算するための初期適用については、当該式中の残りの入力画像領域輝度値Ｈ１～Ｈｑについてそれぞれ１つの開始値が想定されている。これは、例えば、すべての入力画像領域輝度値Ｈ１～Ｈｑについて、画像センサ１３０に総じて入射する光の同一の平均輝度値
である。入力画像領域ＥＧ－ｉについてそのように算出された入力画像領域輝度値Ｈｉ’は、以降の同じ方法の同様の適用において、例えば他のセンサドット１３４－１～１３４－ｓにおいて、入力画像領域ＥＧ－ｉについても元々想定されていた開始値
の代用として用いられる。そのように算出された入力画像領域輝度値の各々は、以降において、それぞれ対応する入力画像領域について事前に想定された、もしくは事前に算出された輝度値に置き換えられる。
Ｍｊ＝ｗ１ｊ＊Ｈ１＋ｗ２ｊ＊Ｈ２＋．．．＋ｗｑｊ＊Ｈｑ
この式は、各センサドット１３４－ｊにおいて捕捉された輝度Ｍｊを使用して、入力画像領域輝度値Ｈｉの各々について解くことができる。最初の入力画像領域輝度値Ｈｉを計算するための初期適用については、当該式中の残りの入力画像領域輝度値Ｈ１～Ｈｑについてそれぞれ１つの開始値が想定されている。これは、例えば、すべての入力画像領域輝度値Ｈ１～Ｈｑについて、画像センサ１３０に総じて入射する光の同一の平均輝度値
【数1】
【数2】
【0071】
そのため、いくつかの例では、本方法の逐次適用により、任意の入力画像領域輝度値Ｈｉを求めるために、最後に求められた入力画像領域輝度値Ｈ１～Ｈｑのセットが常に使用されることになる。これにより、それぞれの入力画像領域輝度値Ｈｉのますます正確な決定が反復的に可能になる。特に、本方法は、既に求められた入力画像領域輝度値Ｈｉに繰り返し適用される場合においても、この目的のために使用される残りの入力画像領域ＥＧ－１～ＥＧ－ｑの輝度値の少なくとも１つが、その開始値またはその先行値に対して一時的に再計算される限り改善を可能にする。
【0072】
方法の効率を高めるために、いくつかの例では、様々な入力画像領域ＥＧ－１～ＥＧ－ｑに関してセンサドット１３４－ｊに割り当てられた重み付け係数ｗｉｊのセットを、割り当てられた入力画像領域がセンサドット１３４－ｊにおいて捕捉された輝度に少なくとも閾値比例関係でもって寄与する重み付け係数に制限することが想定されている。このようにして、その輝度がその対応するファイバー１１２－１～１１２ｒの位置に起因してセンサドット１３４－ｊにおいて捕捉された輝度に寄与しないか、または僅かしか寄与しない入力画像領域ＥＧ－１～ＥＧ－ｑも計算の際に考慮される場合に生じるであろう不要な計算コストを回避することができる。それに続いて、残りの重み付け係数ｗｉｊは、ここでは、例えば正規化される。特定のセンサドットにおける輝度に寄与しないか、または僅かしか寄与しない入力画像領域輝度値ＥＧ－１～ＥＧ－ｑを計算から除外することにより、典型的な適用において１桁を超える計算コストの削減が可能になる。
【0073】
本方法を安定化させるために、いくつかの例では、入力画像領域輝度値の計算において減衰化が想定されている。この減衰化は、ここでは、例えば、重み付け係数に基づいて現下で決定された入力画像領域についての輝度値を、同じ入力画像領域について事前に算出された輝度値を用いて平均化することを含む。その他にまたはその代わりに、いくつかの例では、入力画像内の各領域の隣接する領域に割り当てられた１つまたは複数の入力画像領域輝度値に基づいて、入力画像領域輝度値の計算において局所的な平滑化が行われる。減衰化も平滑化も、ここでは、それぞれ加重平均を用いて行うことができる。減衰化重み付けおよび平均化重み付けは、ここではそれぞれ、入力画像領域について本方法を順次連続して実施する間、順次連続する反復に応じて一定であってもよいし、変化させてもよい。
【0074】
上記の式によれば、各センサドット１３４－ｊにおいて測定された輝度値Ｍｊは、通常、複数の入力画像領域における輝度の重み付けされた重畳として構成されている。それに対して同様に、逆において特定の入力画像領域における輝度は、通常、複数のセンサドットにおいて測定された輝度値に寄与する。したがって、上記の式によれば、該当するセンサドットの各々から出発して同じ入力画像領域の輝度を決定することができる。それゆえ、いくつかの例では、入力画像領域輝度値を計算するために、入力画像領域の輝度を、それぞれ様々なセンサドットから出発して上述した手順に従って決定し、さらに入力画像領域輝度値を、そのように決定された輝度のそれに続く平均化によって計算することが想定されている。この平均化は、いくつかの例では、加重平均として行われる。この加重平均は、例えば、少なくとも部分的に様々なセンサドットに関して入力画像領域に割り当てられた重み付け係数に基づいて行われる。
【0075】
またいくつかの例では、入力画像領域輝度値を、それぞれ算出された入力画像領域輝度値によって置換するステップは、入力画像Ｅの各領域について、入力画像領域輝度値が、すべての入力画像Ｅを含む本方法の反復周期に従って、記述したやり方のうちの１つで計算された後でのみ行われる。本方法の逐次適用は、ここでは例えば、入力画像のすべての領域について本方法を繰り返し実施することを含む。したがって、ここでは、本方法の各反復周期は、それぞれ入力画像Ｅの先行の再構成されたバージョンから出発してすべての入力画像Ｅの再計算に対応している。
【0076】
図２は、上記で図１Ａ～図１Ｄに関連して説明したように、出力画像から入力画像を反復的に再構成するための方法２００のフローチャートを概略的に示している。本方法２００は、入力画像領域輝度値Ｈｉ’を、画像センサ１３０のｊ番目のセンサドット１３４－ｊにおいて捕捉された出力画像Ａのセンサドット輝度値Ｍｊと、ｊ番目のセンサドット１３４－ｊに関して入力画像Ｅのｉ番目の領域ＥＧ－ｉに割り当てられた重み付け係数ｗｉｊと、に基づいて計算するステップ２１０を含む。またこの計算するステップは、上述したように、入力画像Ｅのさらなる領域に割り当てられかつｊ番目のセンサドット１３４－ｊに関して入力画像Ｅのさらなる領域に割り当てられたさらなる重み付け係数を用いて重み付けされた少なくとも１つのさらなる入力画像領域輝度値を使用して行われる。
【0077】
また本方法２００は、上述したように、入力画像Ｅのｉ番目の領域ＥＧ－ｉに割り当てられたｉ番目の入力画像領域輝度値Ｈｉを、以降のｉ番目の入力画像領域輝度値Ｈｉとして使用するために、算出された入力画像領域輝度値Ｈｉ’によって置換するステップ２２０を含む。
【0078】
それに続いて、本方法２００は、前述の計算するステップ２１０および置換するステップ２２０の方法ステップが、前述したように画像センサ１３０の任意のセンサドット１３４－１～１３４－ｓに割り当てられたそれぞれのセンサドット輝度値Ｍ１～Ｍｓに対して、ならびに画像センサ１３０の各センサドット１３４－１～１３４－ｓに関して入力画像Ｅの任意の領域ＥＧ－１～ＥＧ－ｑに割り当てられたそれぞれの重み付け係数ｗ１１～ｗｑｓについて逐次適用されるステップ２３０を含む。
【0079】
この逐次適用されるステップ２３０は、本方法２００の様々な例において様々な実施形態で可能である。例えば、様々な入力画像領域ＥＧについて適用される順序は、少なくとも部分的に入力画像領域ＥＧの昇順の番号付けによって決定され、ここで、その番号付けは、入力画像Ｅにおける入力画像領域ＥＧの配置によって決定されている。付加的または代替的に、いくつかの例では、特定のセンサドット１３４に割り当てられた様々な重み付け係数ｗについての適用される順序も、同様に少なくとも部分的に入力画像領域ＥＧの昇順の番号付けによって決定され、ここで、その番号付けは、入力画像Ｅにおける入力画像領域ＥＧの配置によって決定されている。他の例では、逐次適用される際の順序は異なって決定される。
【0080】
またいくつかの例では、本方法２００は、入力画像領域輝度値の少なくとも１つのグループについて多重に実施することが想定されている。本方法の反復的実施は、ここでは、それぞれ先行の計算からさらなる入力画像領域輝度値の再計算のためにより正確な入力画像領域輝度値が利用可能でかつ使用されることを引き起こし、このことは、さらなる入力画像領域輝度値のより正確な計算も可能にする。
【0081】
図３は、さらなる装置３００を概略的にかつ例示的に示している。この装置３００は、入力側端部３１４と出力側端部３１６とを有する光導波路３１０を含む。この装置３００は、さらに、光導波路３１０に関して出力側に配置された画像センサ３３０、ならびに出力側光学系３２５を含んでいる。装置３００のこれらの特徴に関しては、装置１００に関して前述したことが相応に当てはまる。また装置３００は、情報担体３４０を含む。この情報担体３４０は、画像センサ３３０の複数のセンサドットの各々について、入力側で光導波路３１０に入力結合可能である入力画像の異なる領域の各々における輝度が、各センサドットの領域において捕捉された対応する出力画像の輝度に寄与する比例関係を示唆するデータを含む。
【0082】
情報担体３４０は、いくつかの例では、前述の情報を明示的に含む。ここでは、情報担体３４０は、例えば、電子記憶媒体、例えば、本装置３００のユーザによって読み出すことができ、本明細書で提示されるタイプの方法の実施のために使用することができるメモリチップ、ＲＦＩＤチップ、ＲＯＭ、またはＥＰＲＯＭとして構成されている。他の例では、情報担体３４０は、バーコードまたはＱＲコードを含む。いくつかの例では、情報担体３４０は、前述の情報が記憶され、さらに本装置３００のユーザにとって読み出し可能であるデータベースへのアクセスのためのアクセスデータを含む。
【0083】
図４は、さらなる方法４００のフローチャートを示す。本方法４００も同様に、繰り返し実施される方法ステップの一部として、入力画像領域輝度値を計算するステップ２１０と、それに続いて入力画像領域輝度値を算出された入力画像領域輝度値によって置換するステップ２２０と、を含む。本方法４００のステップ２１０および２２０に関しては、上記の方法２００のステップ２１０および２２０に対する説明が相応に当てはまる。
【0084】
本方法４００は、その他に、ステップ２１０に先行する、重み付け係数ｗｉを決定するステップ４０２を含む。この重み付け係数ｗｉｊを決定するステップは、ここでは、例えば、上記で図１Ａ～図１Ｄを参照して説明したような較正法を用いて行われる。
【0085】
本方法４００は、その他に、ステップ２１０に先行して、各入力画像領域輝度値Ｈｉについての開始値
を決定するステップ４０４を含む。この開始値
は、ここでは例えば、各入力画像領域輝度値Ｈｉについて同一に選択される。例えば、各入力画像領域輝度値についての開始値は、捕捉された入力画像Ｅの平均輝度値に対応する。さらなる例では、様々な入力画像領域輝度値Ｈｉについての様々な開始値
が、例えば入力画像Ｅにおいて推定される輝度分布に基づいて選択され、例えば少なくとも１つの事前に捕捉された入力画像Ｅおよび／または反復的に再構成された入力画像Ｅに基づいて選択される。
【数3】
【数4】
【数5】
【0086】
本方法４００は、その他に、開始センサドット１３４－ｊおよび開始入力画像領域ｉを決定するステップ４０６を含み、これらに関してそれに続く計算するステップ２１０よりも最初に適用される。
【0087】
本方法４００は、計算するステップ２１０および置換するステップ２２０の適用に続けて、これらのステップ２１０，２２０を繰り返し適用するための中断基準が満たされているかどうかを検査するステップ４２５を含む。この中断基準は、ここでは例えば、同じ入力画像領域ＥＧについて２つの反復的に実施された輝度値計算の結果の間の閾値差分の下回りを含む。さらなる例では、中断基準は、それぞれの入力画像領域ＥＧについての、かつ／またはそれぞれのセンサドットに関して入力画像領域ＥＧのそれぞれに割り当てられた各重み付け係数に関しての、ステップ２１０および２２０の反復的実施の閾値数を含む。中断基準が満たされていない場合、ステップ２１０および２２０の逐次適用が、図４のＮ分岐で継続される。終了基準が満たされている場合、ステップ２１０および２２０の逐次適用が、図４のＹ分岐で停止される。
【0088】
方法２００に類似して本方法４００も、ステップ２１０および２２０が、様々な入力画像領域輝度値ＥＧ－ｉに対して、かつ／または様々なセンサドット１３４－ｊに対して逐次適用されるステップ４３０を含む。いくつかの例では、この逐次適用されるステップ４３０は、選択された中断基準を考慮するステップ４２５を用いて選択される。これには、例えば、様々な入力画像領域輝度値Ｈｉもしくはセンサドット輝度値Ｍｊに応じてインデックスｉおよびｊが変化する順序および／または頻度が含まれる。
【0089】
ステップ４２５において中断基準の充足が決定された場合、ステップ４４０で、そこまでに求められた入力画像領域輝度値Ｈｉの結果が再構成された入力画像Ｅとみなされる。これには、例えば、入力画像領域輝度値Ｈｉから生成されたアレイを画像ファイルの形態で記憶および／または出力することが含まれる。
【0090】
図５は、使用５００の概略的でかつ例示的なフローチャートを示す。この使用５００は、複数の入力画像Ｅをリアルタイムで再構成するための、本発明によりそれぞれ提示されるタイプの方法、コンピュータプログラム製品および／または装置の使用を含む。ここでは、入力画像Ｅは、リアルタイム画像捕捉に関連して光導波路に入力結合される。
【0091】
いくつかの例では、この使用は、複数の入力画像Ｅを用いて表される可動オブジェクトの運動および／または数を監視する目的のために行われる。
【0092】
図６Ａおよび図６Ｂは、図１Ａ～図１Ｄの例に類似して、一連の例示的な入力画像Ｂ２＿Ｅ、ならびに光導波路の（ここでは簡略化を想定した）１０×１０のファイバーからなる１つのファイバー束における対応する例示的な入力結合Ｂ２＿Ｌ、対応する例示的な出力画像Ｂ２＿Ａおよび対応する例示的な再構成画像Ｂ２＿Ｒについてのさらなる例を示す。図６Ｂの描写は、ここでは、図６Ａの図面下方縁部から出ていく矢印と図６Ｂの図面上方縁部に入ってくる矢印とによって示されるように、図６Ａの図面上方縁部からの描写の延長に対応している。
【0093】
図６Ａおよび図６Ｂの例についてのモチーフは、実質的に図１Ａ～図１Ｄのモチーフに対応する。しかしながら、図１Ａとは異なり、図６Ａの例示的な入力画像Ｂ２＿Ｅは、ラスターに対して１／２のピクセル高さ分だけ上方にシフトされている。ここでは、上方の領域において１／２ピクセルの画像投影が切り取られ、下方の画像領域では空きスペースが黒で満たされている。
【0094】
説明した本方法の例示的な入力画像Ｂ２＿Ｅへの適用は、例示的な再構成画像Ｂ２＿Ｒに基づき、提示された本方法の安定性を示す。同時に、想定されるように、例示的な入力画像Ｂ２＿Ｅの図面下方領域の鮮明なコントラストの縁部の部分的なぼやけが、ファイバー束への入力結合Ｂ２＿Ｌの結果においても、その後の出力画像Ｂ２＿Ａの不完全な分離Ｂ２＿Ｒにおいても本方法を用いて可視化できる。
【0095】
上記の図１Ａ～図６Ｂに基づいて説明した例は、一般に、出力画像および入力画像における輝度もしくは輝度分布の捕捉および計算に関する。これは、例えば、白黒画像もしくはグレースケール画像情報に関連した本方法の適用に対応する。しかしながら、説明した本方法は、カラー画像もしくはマルチカラー画像情報についても適用可能である。その場合、画像センサ１３０は、例えば様々なカラーチャネルを有し、説明した本方法は、カラーチャネルの各々について、例えばカラーチャネルに従って別個に実施される。入力画像の再構成には、この場合、例えばその他にカラーチャネルの各々についての本方法の実施結果のその後の統合も含まれる。
【0096】
説明された特性により、提示された本方法は、非常に高いレベルの詳細、つまり例えば、求められ、再構成された画像の鮮明な詳細、高コントラスト、または高解像度がさほど必要とされない白黒用途に特に有利である。これらには、例えば、監視環境における大きな動きや、捕捉された複数のオブジェクトに関する監視用途が含まれる。そのような用途では、提示された本技術を用いることで、高価な光学系、特に製造が複雑な画像導波路を省くことができる。また、特に、それぞれ利用可能な計算資源および画像捕捉手段に依存して、本明細書で提示される本技術のさらなる好適な応用が考えられることも理解されたい。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【外国語明細書】