IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サイ コーポレーションの特許一覧 ▶ ギム ジュンシクの特許一覧

<>
  • 特許-自動偏光調節装置及び方法 図1
  • 特許-自動偏光調節装置及び方法 図2
  • 特許-自動偏光調節装置及び方法 図3
  • 特許-自動偏光調節装置及び方法 図4
  • 特許-自動偏光調節装置及び方法 図5
  • 特許-自動偏光調節装置及び方法 図6
  • 特許-自動偏光調節装置及び方法 図7
  • 特許-自動偏光調節装置及び方法 図8
  • 特許-自動偏光調節装置及び方法 図9
  • 特許-自動偏光調節装置及び方法 図10
  • 特許-自動偏光調節装置及び方法 図11
  • 特許-自動偏光調節装置及び方法 図12
  • 特許-自動偏光調節装置及び方法 図13
  • 特許-自動偏光調節装置及び方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-06
(45)【発行日】2022-01-20
(54)【発明の名称】自動偏光調節装置及び方法
(51)【国際特許分類】
   G02F 1/13 20060101AFI20220113BHJP
   G03B 11/00 20210101ALI20220113BHJP
   H04N 5/225 20060101ALI20220113BHJP
   H04N 5/232 20060101ALI20220113BHJP
【FI】
G02F1/13 505
G03B11/00
H04N5/225 400
H04N5/232
【請求項の数】 10
(21)【出願番号】P 2021517177
(86)(22)【出願日】2019-06-13
(65)【公表番号】
(43)【公表日】2021-09-30
(86)【国際出願番号】 KR2019007134
(87)【国際公開番号】W WO2020004837
(87)【国際公開日】2020-01-02
【審査請求日】2020-12-02
(31)【優先権主張番号】10-2018-0072491
(32)【優先日】2018-06-25
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】520474808
【氏名又は名称】サイテクノロジーズ株式会社
(73)【特許権者】
【識別番号】520474819
【氏名又は名称】ギム ジュンシク
【氏名又は名称原語表記】KIM,Jun Sik
(74)【代理人】
【識別番号】100121728
【弁理士】
【氏名又は名称】井関 勝守
(74)【代理人】
【識別番号】100165803
【弁理士】
【氏名又は名称】金子 修平
(74)【代理人】
【識別番号】100170900
【弁理士】
【氏名又は名称】大西 渉
(72)【発明者】
【氏名】ギム ジュンシク
(72)【発明者】
【氏名】バク スンソ
【審査官】井亀 諭
(56)【参考文献】
【文献】米国特許第9057896(US,B1)
【文献】特開2017-173685(JP,A)
【文献】特開2008-96461(JP,A)
【文献】特開2017-228983(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02F 1/13-1/13,1/137-1/141
H04N 5/222-5/257
G03B 11/00-11/06
G02B 19/00-21/00,21/06-21/36
(57)【特許請求の範囲】
【請求項1】
印加された電圧に応じて、透過する偏光成分を所定の角度で回転させて偏光変換させる第1液晶(100);
前記第1液晶(100)に印加される電圧を制御する偏光制御部(150);
前記第1液晶(100)の後方に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第1偏光フィルタ(200);
前記第1偏光フィルタ(200)の後方に備えられ、前記第1液晶(100)及び第1偏光フィルタ(200)を通過した透過光がイメージングされるイメージセンサ(600);
前記イメージセンサ(600)にイメージングされた透過光をイメージ処理する処理部(700);
記処理部(700)がイメージ処理したイメージを保存する保存部(800);
イメージ処理しようとする使用目的に応じて最適偏光イメージを取得するようにイメージ処理シーケンスを設計し、設計されたイメージ処理シーケンスに従って前記偏光制御部(150)及び処理部(700)を制御する画像設計部(900);及び
前記画像設計部(900)の設計に基づいて、様々な角度の偏光イメージを比較して、イメージ処理しようとする使用目的に合致する偏光イメージを選択するか、或いは様々な角度の偏光イメージに基づいて、イメージ処理しようとする使用目的に合致するイメージを生成する画像判断部(950);を含み、
前記画像判断部(950)は、
様々な角度の偏光イメージに基づいて相対寄与度を適用して、使用目的に合致するイメージを生成することを特徴とし、
前記相対寄与度は、
偏光変換角がβ角である偏光を入射させ、第1液晶(100)に電圧Vβを加えた後、偏光フィルタを垂直偏光を透過させる状態に置いて光センサで光強度La^を測定し、偏光フィルタを水平偏光を透過させる状態に置いて光センサで光強度Lb^を測定するか、或いは、水平偏光を入射させ、第1液晶(100)に電圧Vβを加えた後、偏光フィルタを光センサの光強度が最大である角度で回転させ、光強度が最大である角度で水平からの角度を測定してβ角として保存し、光強度が最大である角度で光センサの光強度を測定してLa^として保存し、光強度が最大である角度と垂直な状態に偏光フィルタを回転させて光センサの光強度を測定してLb^として保存し、その後、偏光フィルタを水平偏光を透過させる状態に置いて光センサで光強度Lb^を測定した後、相対寄与度(a、b)を求めることを特徴とし、
入射光が前記第1液晶(100)に入射すると、前記第1液晶(100)に印加された電圧に応じて、偏光成分はβ度回転して前記第1液晶(100)を出射し、この出射光が前記第1偏光フィルタ(200)を通過しながら、第1偏光フィルタ(200)の透過偏光方向に該当する成分のみ出射し、この出射光が前記イメージセンサ(600)にイメージングされることを特徴とする、自動偏光調節装置。
【請求項2】
前記第1偏光フィルタ(200)は、
透過偏光方向が領域別に固定された複数の領域が備えられ、
透過偏光方向が少なくとも二種類であることを特徴とする、請求項1に記載の自動偏光調節装置。
【請求項3】
前記自動偏光調節装置は、
前記第1偏光フィルタ(200)とイメージセンサ(600)との間に備えられ、印加された電圧に応じて、透過する偏光成分を偏光変換させる第2液晶(300);及び
前記第2液晶(300)とイメージセンサ(600)との間に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第2偏光フィルタ(400);を含む、請求項2に記載の自動偏光調節装置。
【請求項4】
前記自動偏光調節装置は、
前記第1偏光フィルタ(200)とイメージセンサ(600)との間に備えられ、印加された電圧に応じて、透過する偏光成分を偏光変換させる第2液晶(300);及び
前記第2液晶(300)とイメージセンサ(600)との間に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第2偏光フィルタ(400);を含み、
前記第1偏光フィルタ(200)は、
透過偏光方向が領域別に固定された複数の領域が備えられたことを特徴とする、請求項1に記載の自動偏光調節装置。
【請求項5】
前記画像判断部(950)は、
多数の偏光イメージに基づいて、最大ピクセル値演算、最小ピクセル値演算、偏光差絶対値イメージ演算、及びカラー別偏光差イメージ演算の中から選択されたいずれか一つの演算を用いてイメージを生成することを特徴とする、請求項に記載の自動偏光調節装置。
【請求項6】
印加された電圧に応じて、透過する偏光成分を所定の角度で回転させて偏光変換させる第1液晶(100);前記第1液晶(100)に印加される電圧を制御する偏光制御部(150);前記第1液晶(100)の後方に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第1偏光フィルタ(200);前記第1偏光フィルタ(200)の後方に備えられ、前記第1液晶(100)及び第1偏光フィルタ(200)を通過した透過光がイメージングされるイメージセンサ(600);前記イメージセンサ(600)にイメージングされた透過光をイメージ処理する処理部(700);前記処理部(700)がイメージ処理したイメージを保存する保存部(800);イメージ処理しようとする使用目的に応じて最適偏光イメージを取得するようにイメージ処理シーケンスを設計し、設計されたイメージ処理シーケンスに従って前記偏光制御部(150)及び処理部(700)を制御する画像設計部(900);及び前記画像設計部(900)の設計に基づいて、様々な角度の偏光イメージを比較して、イメージ処理しようとする前方状況または使用目的に合致する偏光イメージを選択するか、或いは様々な角度の偏光イメージに基づいて、イメージ処理しようとする前方状況または使用目的に合致するイメージを生成する画像判断部(950);を含み、入射光が前記第1液晶(100)に入射すると、前記第1液晶(100)に印加された電圧に応じて、偏光成分はβ度回転して前記第1液晶(100)を出射し、この出射光が前記第1偏光フィルタ(200)を通過しながら、第1偏光フィルタ(200)の透過偏光方向に該当する成分のみ出射し、この出射光が前記イメージセンサ(600)にイメージングされることを特徴とする自動偏光調節装置を用いる自動偏光調節方法であって、
前記画像設計部(900)が使用目的に応じて最適偏光イメージを取得するように設計する設計ステップ(S10)と、
処理部(700)が前記設計ステップ(S10)の設計に基づいて前記偏光制御部(150)を制御して必要なイメージをイメージ処理するイメージ処理ステップ(S20)と、
前記画像判断部(950)が前記画像設計部(900)の設計に基づいて、様々な角度の偏光イメージを比較して、イメージ処理しようとする前方状況または使用目的に合致する偏光イメージを選択するか、或いは様々な角度の偏光イメージに基づいて、相対寄与度を適用して、使用目的に合致するイメージを生成する最適イメージ取得ステップ(S30)と、を含み、
前記相対寄与度は、
偏光変換角がβ角である偏光を入射させ、第1液晶(100)に電圧Vβを加えた後、偏光フィルタを垂直偏光を透過させる状態に置いて光センサで光強度La^を測定し、偏光フィルタを水平偏光を透過させる状態に置いて光センサで光強度Lb^を測定するか、或いは、水平偏光を入射させ、第1液晶(100)に電圧Vβを加えた後、偏光フィルタを光センサの光強度が最大である角度で回転させ、光強度が最大である角度で水平からの角度を測定してβ角として保存し、光強度が最大である角度で光センサの光強度を測定してLa^として保存し、光強度が最大である角度と垂直な状態に偏光フィルタを回転させて光センサの光強度を測定してLb^として保存し、その後、偏光フィルタを水平偏光を透過させる状態に置いて光センサで光強度Lb^を測定した後、相対寄与度(a、b)を求めることを特徴とする、自動偏光調節方法。
【請求項7】
前記相対寄与度は、
=La^/(La^+Lb^)
b=Lb^/(La^+Lb^)
(ここで、a、bは相対寄与度である。)
を連立してa、bを算出することを特徴とする、請求項に記載の自動偏光調節方法。
【請求項8】
記最適イメージ取得ステップ(S30)は、
L1#=a(β)*L1(β)+b(β+90度)*L2(β+90度)
L2#=a(β+90度)*L2(β+90度)+b(β)*L1(β)
(ここで、L1#は透過光L1^のイメージセンサ(600)におけるピクセル光強度値であり、L2#は透過光L2^のイメージセンサ(600)におけるピクセル光強度値であり、L1、L2、L1^、L2^は各偏光成分の光強度であり、a、bは相対寄与度である。)
を連立してL1(β)、L2(β+90度)を算出し、これを用いて、使用目的に合致するイメージを生成することを特徴とする、請求項に記載の自動偏光調節方法。
【請求項9】
前記最適イメージ取得ステップ(S30)は、
L1#(β)=a(β)*L1(β)+b(β+90度)*L2(β+90度)
L1(0度)+L2(90度)=L1(β)+L2(β+90度)
(ここで、L1#は透過光L1^のイメージセンサ(600)におけるピクセル光強度値であり、L1、L2は各偏光成分の光強度であり、a、bは相対寄与度である。)
を連立して、目標とするL1(β)、L2(β+90度)を算出し、これを用いて、使用目的に合致するイメージを生成することを特徴とする、請求項6に記載の自動偏光調節方法。
【請求項10】
前記最適イメージ取得ステップ(S30)は、
多数の偏光イメージに基づいて、最大ピクセル値演算、最小ピクセル値演算、偏光差絶対値イメージ演算、及びカラー別偏光差イメージ演算の中から選択されたいずれか一つの演算を用いて、使用目的に合致するイメージを生成することを特徴とし、差絶対値イメージ演算(偏光差絶対値イメージ演算、カラー別偏光差イメージ演算)の差演算は、除算演算及びログ差演算を含む、請求項6~9のいずれか一項に記載の自動偏光調節方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動偏光調節装置及び方法に係り、さらに詳細には、カメラに入射する光の透過偏光方向を電気で調節して、ユーザの希望する偏光イメージを生成する自動偏光調節装置及び方法に関する。
【背景技術】
【0002】
DSLRデジタルカメラやスマートフォンカメラなどのカメラを利用した写真/動画像のイメージ処理の際に、偏光フィルタを装着してイメージ処理する場合がある。このような偏光フィルタを装着して写真をイメージ処理すると、通常「乱反射」と呼ばれる強反射、偏光反射を除去して鮮明な写真/動画像を得ることができる。偏光フィルタを介してイメージ処理したイメージは、偏光フィルタを通さないイメージに比べて自然色をほぼそのまま保存した鮮明なイメージを得ることができる。
【0003】
従来の偏光フィルタを用いてイメージ処理する場合、カメラの前に偏光フィルタを配置し、偏光フィルタを回転させながら所望の透過偏光方向に合わせて固定し、イメージ処理を行った。
【0004】
しかし、従来の偏光フィルタは、透過偏光方向を手動調節しており、使用に不便であるという問題点がある。
【0005】
かかる問題点を解決するために、手動偏光フィルタに回転機構部を結合させ、回転機構部をモータで駆動することにより偏光フィルタを回転させて透過偏光方向を変化させながら、カメラでイメージ処理する技術が開発されたが、この技術は、簡単であるものの、機械的移送構造なので、自動偏光変換を高速に作動させる場合または頻繁な着脱が必要である場合には、耐久性の問題が発生するおそれがあり、作動時に騒音が発生し、電力消耗が多く発生し、複雑な機械的構造で頻繁な故障が発生するという問題点がある。
【0006】
韓国登録特許第10-1165695号には、路面状態検知のための自動制御型偏光フィルタ及びその駆動方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、本発明は、上述した問題点を解決するためになされたもので、その目的は、カメラに入射する光の透過偏光方向を電気で調節して、ユーザの希望する偏光イメージを生成する自動偏光調節装置及び方法を提供することにある。
【0008】
本発明の実施形態の目的は、上述した目的に制限されず、上述していない別の目的は、以降の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解されるだろう。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明の一実施形態に係る自動偏光調節装置は、印加された電圧に応じて、透過する偏光成分を偏光変換させる第1液晶100;前記第1液晶100に印加される電圧を制御する偏光制御部150;前記第1液晶100の後方に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第1偏光フィルタ200;前記第1偏光フィルタ200の後方に備えられ、前記第1液晶100及び第1偏光フィルタ200を通過した透過光がイメージングされるイメージセンサ600;前記イメージセンサ600にイメージングされた透過光をイメージ処理する処理部700;及び前記処理部700がイメージ処理したイメージを保存する保存部800;を含むことを特徴とする。
【0010】
また、前記第1偏光フィルタ200は、透過偏光方向が領域別に固定された複数の領域が備えられ、透過偏光方向が少なくとも二種類であることを特徴とする。
【0011】
また、前記自動偏光調節装置は、前記第1偏光フィルタ200とイメージセンサ600との間に備えられ、印加された電圧に応じて、透過する偏光成分を偏光変換させる第2液晶300;及び前記第2液晶300とイメージセンサ600との間に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第2偏光フィルタ400;を含むことを特徴とする。
【0012】
また、前記自動偏光調節装置は、イメージ処理しようとする使用目的に応じて最適偏光イメージを取得するようにイメージ処理シーケンスを設計し、設計されたイメージ処理シーケンスに従って前記偏光制御部150及び処理部700を制御する画像設計部900;を含むことを特徴とする。
【0013】
また、前記自動偏光調節装置は、前記画像設計部900の設計に基づいて、様々な角度の偏光イメージを比較して、イメージ処理しようとする使用目的に合致する偏光イメージを選択するか、或いは様々な角度の偏光イメージに基づいて、イメージ処理しようとする使用目的に合致するイメージを生成する画像判断部950;を含むことを特徴とする。
【0014】
また、前記画像判断部950は、多数の偏光イメージに基づいて、最大ピクセル値演算、最小ピクセル値演算、偏光差絶対値イメージ演算、及びカラー別偏光差イメージ演算の中から選択されたいずれか一つの演算を用いてイメージを生成することを特徴とする。
【0015】
本発明の一実施形態に係る自動偏光調節方法は、印加された電圧に応じて、透過する偏光成分を偏光変換させる第1液晶100;前記第1液晶100に印加される電圧を制御する偏光制御部150;前記第1液晶100の後方に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第1偏光フィルタ200;前記第1偏光フィルタ200の後方に備えられ、前記第1液晶100及び第1偏光フィルタ200を通過した透過光がイメージングされるイメージセンサ600;前記イメージセンサ600にイメージングされた透過光をイメージ処理する処理部700;前記処理部700がイメージ処理したイメージを保存する保存部800;イメージ処理しようとする使用目的に応じて最適偏光イメージを取得するようにイメージ処理シーケンスを設計し、設計されたイメージ処理シーケンスに従って前記偏光制御部150及び処理部700を制御する画像設計部900;及び前記画像設計部900の設計に基づいて、様々な角度の偏光イメージを比較して、イメージ処理しようとする前方状況または使用目的に合致する偏光イメージを選択するか、或いは様々な角度の偏光イメージに基づいて、イメージ処理しようとする前方状況または使用目的に合致するイメージを生成する画像判断部950;を含む自動偏光調節装置を用いる自動偏光調節方法であって、前記画像設計部900が使用目的に応じて最適偏光イメージを取得するように設計する設計ステップ(S10)と、処理部700が前記設計ステップ(S10)の設計に基づいて前記偏光制御部150を制御して必要なイメージをイメージ処理するイメージ処理ステップ(S20)、及び前記画像判断部950が、前記画像設計部900の設計に基づいて、様々な角度の偏光イメージを比較してイメージ処理しようとする前方状況または使用目的に合致する偏光イメージを選択するか、或いは様々な角度の偏光イメージに基づいて、使用目的に合致するイメージを生成する最適イメージ取得ステップ(S30)と、を含むことを特徴とする。
【0016】
また、前記最適イメージ取得ステップ(S30)は、様々な角度の偏光イメージに基づいて相対寄与度を適用して、使用目的に合致するイメージを生成することを特徴とする。
【0017】
また、前記相対寄与度は、偏光変換角がβ角である偏光を入射させ、第1液晶100に電圧Vβを加えた後、偏光フィルタを垂直偏光を透過させる状態に置いて光センサで光強度La^を測定し、偏光フィルタを水平偏光を透過させる状態に置いて光センサで光強度Lb^を測定した後、
a=La^/(La^+Lb^)
b=Lb^/(La^+Lb^)
(ここで、a、bは相対寄与度である。)
を連立してa、bを算出することを特徴とする。
【0018】
また、前記相対寄与度は、水平偏光を入射させ、第1液晶100に電圧Vβを加えた後、偏光フィルタを光センサの光強度が最大である角度で回転させ、光強度が最大である角度で水平からの角度を測定してβ角として保存し、光強度が最大である角度で光センサの光強度を測定してLa^として保存し、光強度が最大である角度と垂直な状態に偏光フィルタを回転させて光センサの光強度を測定してLb^として保存し、その後、偏光フィルタを水平偏光を透過させる状態に置いて光センサで光強度Lb^を測定した後、
a=La^/(La^+Lb^)
b=Lb^/(La^+Lb^)
(ここで、a、bは相対寄与度である。)
を連立してa、bを算出することを特徴とする。
【0019】
また、前記自動偏光調節装置は、前記第1偏光フィルタ200とイメージセンサ600との間に備えられ、印加された電圧に応じて、透過する偏光成分を偏光変換させる第2液晶300;及び前記第2液晶300とイメージセンサ600との間に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第2偏光フィルタ400;を含み、前記第1偏光フィルタ200は、透過偏光方向が領域別に固定された複数の領域が備えられたことを特徴とし、前記自動偏光調節方法のイメージ処理ステップ(S20)は、前記偏光角度β角に該当する電圧Vβを第1液晶100に印加する電圧印加ステップ(S21)と、前記第2液晶300に前記第1偏光フィルタ200のそれぞれの領域別透過偏光方向に透過した透過光のうち、順次いずれか一つの透過光のみ前記第2偏光フィルタ400を通過するように前記第2液晶300に電圧を順次変化させて印加しながら、イメージセンサ600にイメージングされた透過光を順次イメージ処理する順次イメージ処理ステップ(S22)と、を含み、前記自動偏光調節方法の最適イメージ取得ステップ(S30)は、前記順次イメージ処理ステップ(S22)で取得されたイメージに基づいて、
L1#=a(β)*L1(β)+b(β+90度)*L2(β+90度)
L2#=a(β+90度)*L2(β+90度)+b(β)*L1(β)
(ここで、L1#は透過光L1^のイメージセンサ600におけるピクセル光強度値であり、L2#は透過光L2^のイメージセンサ600におけるピクセル光強度値であり、L1、L2、L1^、L2^は各偏光成分の光強度であり、a、bは相対寄与度である。)
を連立してL1(β)、L2(β+90度)を算出し、これを用いて、使用目的に合致するイメージを生成することを特徴とする。
【0020】
また、前記最適イメージ取得ステップ(S30)は、多数の偏光イメージに基づいて、最大ピクセル値演算、最小ピクセル値演算、偏光差絶対値イメージ演算、及びカラー別偏光差イメージ演算の中から選択されたいずれか一つの演算を用いて、使用目的に合致するイメージを生成することを特徴とするが、差絶対値イメージ演算(偏光差絶対値イメージ演算、カラー別偏光差イメージ演算)の差演算は、除算演算及びログ差演算を含むことを特徴とする。
【発明の効果】
【0021】
本発明の一実施形態に係る自動偏光調節装置及び方法によれば、鮮明な画像を得るか、或いは応用に適した画像を得るために、カメラに入射する光の偏光成分(透過偏光方向)を電気的制御で偏光変換(調節)させることにより、低騒音高速偏光変換が可能であるとともに、機械的な故障を最小限に抑えることができるという効果がある。
【0022】
また、少なくとも二種類の透過偏光方向が領域別に固定された第1偏光フィルタを用いることにより、4種類以上の偏光イメージの取得時にも偏光フィルタの機械的移送(回転)を必要としないという効果がある。
【0023】
また、第2液晶と第2偏光フィルタをさらに備えることにより、さらに様々な種類の偏光イメージの取得時にも偏光フィルタの機械的移送(回転)を必要としないという効果がある。
【0024】
また、画像設計部をさらに備えることにより、動く物体の鑑別が重要であるとき、霧のときに曇り除去(defogging)を用いてより鮮明な画像を得ようとするとき、道路の特性や道路上の雪及び氷の区別を希望するとき、画像を用いた欠陥検査を必要とするときなど、イメージ処理しようとする使用目的に応じた最適な偏光画像を自動的に取得して活用することができるという効果がある。
【0025】
また、画像判断部によって最大ピクセル値演算を用いて、物体の反射を強調したイメージを得ることができるという効果がある。
【0026】
また、画像判断部によって最小ピクセル値演算を用いて、物体の反射を最小にしてより鮮明で色味良くイメージを得ることができるという効果がある。
【0027】
また、画像判断部によって偏光差絶対値イメージ演算を用いて、動く物体の鑑別及び霧時の道路の前方車両の車線検出が容易なイメージを得ることができるという効果がある。
【0028】
また、画像判断部によってカラー別偏光差イメージ演算を用いて、物体の識別が容易なイメージを得ることができるという効果がある。
【図面の簡単な説明】
【0029】
図1図1は、本発明の一実施形態に係る自動偏光調節装置の概念図である。
図2図2は、図1の第1液晶及び第1偏光フィルタを透過した光の偏光変換される例を示す概念図である。
図3図3は、TN液晶の液晶電圧(Vβ)と偏光変換角(β)との関係を示すグラフである。
図4図4は、図2の第1偏光フィルタが互いに異なる透過偏光方向の領域に区分された例を示す概念図である。
図5図5は、第1偏光フィルタとイメージセンサとの間に第2液晶と第2偏光フィルタが備えられた例を示す概念図である。
図6図6は、図1に画像設計部が追加された例を示す概念図である。
図7図7は、図6に画像判断部が追加された例を示す概念図である。
図8図8は、本発明の一実施形態に係る自動偏光調節方法のフローチャートである。
図9図9は、地表面となす角度が0度である偏光イメージである。
図10図10は、地表面となす角度が90度である偏光イメージである。
図11図11は、各偏光イメージ中の各ピクセル別に最大画像値だけを保存したイメージである。
図12図12は、各偏光イメージ中の各ピクセル別に最小画像値だけを保存したイメージである。
図13図13は、偏光差絶対値イメージ演算を行ったイメージである。
図14図14は、偏光差イメージ演算をカラー別に異ならせたイメージである。
【発明を実施するための形態】
【0030】
本発明は、多様な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示して詳細に説明しようとする。しかし、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物または代替物を含むものと理解されるべきである。
【0031】
ある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いると言及された場合には、該他の構成要素に直接連結または接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。
【0032】
一方、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いると言及された場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
【0033】
本明細書で使用された用語は、単に特定の実施形態を説明するために使用されたもので、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、工程、動作、構成要素、部品またはこれらの組み合わせが存在することを指定しようとするもので、一つまたはそれ以上の他の特徴や数字、工程、動作、構成要素、部品またはこれらの組み合わせの存在または付加の可能性を予め排除しないものと理解されるべきである。
【0034】
別に定義しない限り、技術的或いは科学的用語を含めて、ここで使用される全ての用語は、本発明の属する技術分野における通常の知識を有する者によって一般的に理解されるのと同一の意味を有する。 一般に使用される辞典に定義されているような用語は、関連技術の文脈上において持つ意味と一致する意味であると解釈されるべきであり、本明細書において明白に定義しない限りは、理想的または過度に形式的な意味で解釈されない。
【0035】
以下、添付図面を参照して本発明をさらに詳細に説明する。これに先立ち、本明細書及び請求の範囲に使用された用語や単語は、通常的かつ辞典的な意味に限定解釈されてはならず、発明者は自分の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に即して、本発明の技術的思想に合致する意味と概念で解釈されるべきである。また、使用される技術用語及び科学用語において他の定義がなければ、この発明の属する技術分野における通常の知識を有する者が通常的に理解している意味を有し、下記の説明及び添付図面において、本発明の要旨を不要に曖昧にするおそれがある公知の機能及び構成についての説明は省略する。次に紹介される図面は、当業者に本発明の思想が十分に伝達できるようにするために例として提供されるのである。よって、本発明は、以下に提示される図面に限定されず、他の形態に具体化されることも可能である。また、明細書全般にわたって、同一の参照番号は同一の構成要素を示す。図面中の同じ構成要素は、できる限り何処でも同一の符号で示していることに留意すべきである。
【0036】
図1は本発明の一実施形態に係る自動偏光調節装置の概念図、図2図1の第1液晶及び第1偏光フィルタを透過した光の偏光変換される例を示す概念図、図3はTN液晶の液晶電圧(Vβ)と偏光変換角(β)との関係を示すグラフ、図4図2の第1偏光フィルタが互いに異なる透過偏光方向の領域に区分された例を示す概念図、図5は第1偏光フィルタとイメージセンサとの間に第2液晶と第2偏光フィルタが備えられた例を示す概念図、図6図1に画像設計部が追加された例を示す概念図、図7図6に画像判断部が追加された例を示す概念図、図8は本発明の一実施形態に係る自動偏光調節方法のフローチャート、図9は地表面となす角度が0度である偏光イメージ、図10は地表面となす角度が90度である偏光イメージ、図11は各偏光イメージ中の各ピクセル別に最大画像値だけを保存したイメージ、図12は各偏光イメージ中の各ピクセル別に最小画像値だけを保存したイメージ、図13は偏光差絶対値イメージ演算を行ったイメージ、図14は偏光差イメージ演算をカラー別に異ならせたイメージである。
【0037】
図1に示すように、本発明の一実施形態に係る自動偏光調節装置は、第1液晶100、偏光制御部150、第1偏光フィルタ200、イメージセンサ600、処理部700及び保存部800を含む。
【0038】
この時、前記第1液晶100とイメージセンサ600との間に備えられたレンズ500をさらに含んでもよい。
【0039】
前記レンズ500は、前記イメージセンサ600に光を集めるためのもので、凸レンズと凹レンズとを多数組み合わせて収差(球面収差、色収差など)を減らして使用することができる。
【0040】
ここで、液晶制御UI(ユーザインターフェース)とディスプレイ部が追加できる。
【0041】
前記液晶制御UI(ユーザインターフェース)は、調整バーの形で偏光角度を設定するか、或いは偏光角度の直接入力を可能にして、設定された偏光角度で透過偏光を有する入射光のみをイメージ処理するようにすることができる。
【0042】
また、前記液晶制御UI(ユーザインターフェース)は、様々な偏光方向角度(例えば、0度、45度、90度)を入力し、繰り返しイメージ処理命令(「R」ボタン)を入力することを可能にして、様々な偏光方向角度(例えば、0度、45度、90度)で繰り返しイメージ処理して保存するようにすることもできる。
【0043】
また、前記液晶制御UI(ユーザインターフェース)は、使用目的の入力を可能にして、使用目的に応じて、動く物体の鑑別が重要であるとき、霧のときに曇り除去(defogging)によってさらに鮮明な画像を得ようとするとき、道路の特性や道路上の雪及び氷の区別を希望するとき、画像を用いた欠陥検査を必要とするときなど、予め設定されたセッティングでイメージ処理したイメージを保存するようにすることもできる。
【0044】
第1液晶100は、印加された電圧に応じて、透過する偏光成分を偏光変換させる。
【0045】
ここで、偏光変換とは、偏光成分を所定の角度で回転させることをいうが、透過光が100%所定の角度で回転するのではないので、偏光変換と称する。
【0046】
前記第1液晶100は、TN液晶の他にSTN(Super Twisted Nematic)、VA(Vertical Alignment)、IPS(登録商標、In-Plane Switching)などの他の液晶も使用が可能であり、本発明では、単に説明の便宜のためにTN液晶を中心に説明する。
【0047】
本発明では、液晶入射面の液晶配向軸を先配向軸とし、液晶出射面の配向軸を後配向軸をする。
【0048】
TN液晶に電圧を印加しないとき、入射光中の先配向軸方向の先偏光は、液晶を通りながら、出射面では後配向軸方向の先偏光に変換される。入射光中の先配向軸方向と垂直な先偏光は、液晶出射面ではほとんど後配向軸方向と垂直な先偏光に変換される。入射光中の先配向軸方向と垂直な先偏光の偏光90度変換は、先配向軸方向の先偏光に比べて純度は劣るが、大部分は90度に変換される。
【0049】
TN液晶に電圧を印加し、許容する最大電圧に上げると、TN液晶が整列され、入射偏光は、液晶を通りながら、出射面でも同一の偏光に維持される。
【0050】
0Vと最大電圧との間の中間電圧でTN液晶に電圧を印加すると、入射光の多くの部分は、電圧に応じて0度と90度の間の所定の角度で偏光変換される。ここで、偏光変換の純度は、0Vのときに比べて劣る。
【0051】
偏光制御部150は、前記第1液晶100に印加される電圧を制御する。
【0052】
前記偏光制御部150は、設定された偏光透過方向に応じて、予め決定された電圧を前記第1液晶100に印加するように制御する。
【0053】
第1偏光フィルタ200は、前記第1液晶100の後方に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる。
【0054】
前記第1偏光フィルタ200は、透過偏光方向(偏光軸)に平行な成分を通過させ、フィルムの形でも使用可能である。
【0055】
イメージセンサ600は、前記第1偏光フィルタ200の後方に備えられ、前記第1液晶100及び第1偏光フィルタ200を通過した透過光がイメージングされる。
【0056】
すなわち、図2に示すように、入射光が第1液晶100に入射すると、第1液晶100に印加された電圧に応じて、偏光成分はβ度回転して液晶を出射し、この出射光が第1偏光フィルタ200を通過しながら、第1偏光フィルタ200の透過偏光方向に該当する成分のみ出射し、この出射光が前記イメージセンサ600にイメージングされる。
【0057】
このとき、ユーザは、UI(ユーザインターフェース)を用いてカメラ用途または偏光透過方向(角度)を設定することができ、ユーザは、UI(ユーザインターフェース)を介して入力された情報に基づいた偏光透過方向に応じて、偏光制御部150が第1液晶100に電圧を印加すると、入射光のうち、予め決定された偏光を中心に透過が起こってイメージセンサ600にイメージングされる。このような方式で入射光の透過偏光方向を電気によって調節することができる。
【0058】
また、偏光制御部150は、設定されたパターンで液晶に印加される電圧を制御して入射光の透過偏光方向を自動調節することもできる。
【0059】
処理部700は、前記イメージセンサ600にイメージングされた透過光をイメージ処理する。
【0060】
この他にも、前記処理部700は、他の構成の制御に使用できる。
【0061】
保存部800は、前記処理部700がイメージ処理したイメージを保存する。
【0062】
第1液晶100及び第1偏光フィルタ200は、機構的に様々な形でスマートフォンカメラの前に設置できる。第1液晶100には、スマートフォンに電源を供給することもでき、スマートフォンの外部に別途の電源と偏光制御部150を設けることもできる。また、スマートフォンやUSB、イヤホンジャックなどに有線接続して、スマートフォン内の液晶制御アプリケーションで駆動することもできる。
【0063】
次に、本発明の一実施形態に係る自動偏光調節装置について、β角度の偏光回転が起こる電圧をVβと仮定し、より詳細に説明する。
【0064】
図2に示すように、第1偏光フィルタ200の透過偏光方向が垂直な方向に固定され、0Vと最大電圧との間の中間電圧VβでTN液晶に電圧を印加するとき、入射光の多くの部分は、電圧に応じて0度と90度との間の所定の角度β角で偏光変換される。
【0065】
電圧Vβを液晶に印加すると、図2に示すように、先偏光L1は、第1液晶100を通過しながらβ角度で偏光変換されてL1^となり、先偏光L1に垂直な先偏光L2は、第1液晶100を通過すると、水平な方向に偏光変換されてL2^となる。
【0066】
電圧を印加しないときは、入射光が純度高く90度で偏光変換されるが、これに対し、中間電圧を印加すると、純度が高くない低純度の偏光変換が起こる。
【0067】
垂直な方向に変換される偏光は、主にL1であるが、L2も一部含まれる。このような寄与部分を相対寄与度とし、L1^=a*L1+b*L2で表現する。
【0068】
ここで、L1、L2、L1^、L2^は各偏光成分の光強度であり、a、bは相対寄与度である。
【0069】
同様に、水平な方向に変換される偏光は、L2^=a*L2+b*L1で表現する。
【0070】
液晶を出射した光が第1偏光フィルタ200を通過すると、偏光L2^=a*L2+b*L1成分は遮断され、偏光L1^=a*L1+b*L2成分のみが出射し、この出射光が前記イメージセンサ600にイメージングされる。
【0071】
このような方式で液晶印加電圧に応じて、透過する偏光が変化して偏光変換が発生する。
【0072】
液晶に許容する最大電圧を印加するときと0Vを印加するときは、高純度の偏光変換が起こり、中間電圧を印加するときは、低純度の偏光変換が起こる。
【0073】
結果的に、印加電圧で入射光の透過偏光方向を選択することができる。
【0074】
TN液晶の他に、STN、VA、IPSなどの液晶も同様の方式でこのような動作が可能である。
【0075】
図3はTN液晶の液晶電圧Vβと偏光変換角βとの関係を示すグラフである。
【0076】
液晶電圧が0Vであるときは、入射する水平偏光L1のほぼすべてが垂直偏光L1^に変換して出射し、液晶電圧が所定以上に大きいときは、入射する垂直偏光L1のほぼすべてがそのまま垂直偏光L1^の形で出射する高純度の変換が起こる。
【0077】
図3において、Vβ1、Vβ2などの中間電圧では、低純度の偏光変換が起こる。液晶電圧がVβ1であるときは、水平とα1角、すなわち、垂直とβ2角をなす偏光成分が入射すると、入射光強度の多くの部分は垂直偏光L1^に変換される。ただし、このような偏光変換が100%に近い高純度ではなく、50%よりも大きい比率aだけ変換される。残りのb=1-a比率だけは、L1^に垂直な偏光成分に変換する。液晶電圧がVβであるとき、出射光はL1^=a*L1+b*L2である。ここで、偏光変換成分の相対比率(相対寄与度)a、bは、液晶電圧Vβに応じて変化する。
【0078】
したがって、液晶に印加される電圧に応じた相対寄与度を測定して使用することが好ましい。
【0079】
ユーザが所定の偏光角度β角で入射する偏光のイメージとそれに垂直な偏光のイメージを得ようとすると、前記偏光角度β角に該当する電圧Vβを第1液晶100に印加して、前記イメージセンサ600でイメージングされた透過光をイメージ処理する。
【0080】
前記イメージセンサ600の各ピクセルにおける光強度値をL1#(x,y)とし、(x,y)をイメージセンサのピクセル座標とすると、イメージセンサの各ピクセル座標においても同様にL1#=a*L1+b*L2のような偏光関係が維持される。ただし、ここで、入射光のL1、L2は、ピクセル光強度に対応するように(x,y)における光強度でスケールされた値であって、L1(x,y)、L2(x,y)である。
【0081】
L1#=a*L1+b*L2の式におけるa、bは、予め算出して知っている値である。目標値である入射光のL1とL2成分のそれぞれを知るためには、β角での値L1から起因したL1#と、β+90度での値L2から起因したL2#を測定しなければならない。L2#を測定するためには、第1偏光フィルタ200を水平に配置すべきである。
【0082】
本発明の一実施形態では、第1偏光フィルタ200を水平に機械的に移送してL2#を測定せずに、直交光強度のエネルギー保存関係を利用して算出することができる。
【0083】
つまり、直交光強度のエネルギー保存関係を利用すると、L1(β1)+L2(β1+90度)=L1(β2)+L2(β2+90度)の式を得る。この式は、直交関係にある一対の光強度の和である場合にのみ成立する。
【0084】
前記L1(β1)+L2(β1+90度)=L1(β2)+L2(β2+90度)の式は、実際、L(β1)+L(β1+90度)=L(β2)+L(β2+90度)と同一である。
【0085】
Lの代わりにノーテーション(notation)においてL1、L2で表現したのは、直交関係にあるL1、L2の対を見易くするためである。
【0086】
この式において、β1=0度、β2=βであれば、L1(0度)+L2(90度)=L1(β)+L2(β+90度)となる。
【0087】
L1(0度)、L2(90度)、L1(β)、L2(β+90度)のように4つの角度で偏光イメージを得るためには、4つの角度で偏光イメージを測定するか、或いは本発明の実施形態のように3つの角度でのみ偏光イメージを測定し、残りの1つの角度は計算によって算出することができる。
【0088】
4つの角度で偏光イメージを測定すると、第1偏光フィルタ200を回転させるなどの機械的な移送が必要であるが、3つの角度で偏光イメージを測定すると、第1偏光フィルタ200の機械的移送がなくても4つの角度で偏光イメージを得ることができる。
【0089】
例を挙げて説明すると、L1(0度)が角β=0度のとき、TN液晶の場合には、液晶電圧を最大値の付近で印加してイメージセンサのピクセル値L1#(0)を測定する。
【0090】
L1#(0度)=a(0度)*L1(0度)+b(90度)*L2(90度)の関係で、角β=0度のときは、高純度の変換をするので、a(0)=1、b(0)=0の関係で、L1#(0)=L1(0)である。
【0091】
L2(90度)がβ角=90度のとき、TN液晶の場合には、液晶電圧を0Vで印加してイメージセンサのピクセル値L1#(90)を測定する。
【0092】
L1#(90)=a(90)*L1(90)+b(180)*L2(180)の関係で、角β=90度のときは、高純度の変換をするので、a(90)=1、b(180)=b(0)=0の関係で、L1#(90)=L1(90)である。
【0093】
L1(β)が角β度のとき、TN液晶の場合には、液晶電圧をVβで印加してイメージセンサのピクセル値L1#(β)を測定する。
【0094】
L1#(β)=a(β)*L1(β)+b(β+90度)*L2(β+90度)(式1)において、
0度/90度ではない角βのとき、低純度の変換をする。
【0095】
L1(0度)+L2(90度)=L1(β)+L2(β+90度)(式2)
式2中、L1(0度)、L2(90度)を既に測定して知っているので、式1と式2を連立して解くと、L1(β)、L2(β+90度)
を算出することになり、4つの角度の偏光イメージをすべて探すことになる。
【0096】
つまり、式2中、L2(β+90)=L1(0)+L2(90)-L1(β)を式1に代入すると、
L1#(β)=a*L1(β)+b*L2(β+90度)=a*L1(β)+b*[L1(0)+L2(90)-L1(β)]=(a-b)*L1(β)+b*[L1(0)+L2(90)]
L1(β)=[L1#(β)-b*{L1(0)+L2(90)}]/(a-b)
のような演算を用いて、目標とするL1(β)を算出することができる。これを式2に代入すると、L2(β+90度)が算出される。
【0097】
図4に示すように、本発明の一実施形態に係る自動偏光調節装置の第1偏光フィルタ200は、透過偏光方向が領域別に固定された複数の領域が備えられるが、透過偏光方向が少なくとも2種類であることを特徴とすることができる。
【0098】
つまり、互いに異なる透過偏光方向が複数の領域に分けて備えられ得る。
【0099】
例えば、前記第1液晶100と第1偏光フィルタ200との間にレンズ500が備えられた場合(図示せず)、イメージセンサの領域別に異なる偏光状態イメージがイメージングされるようにし、後続処理で各偏光状態イメージを抽出することができる。
【0100】
図5に示すように、本発明の一実施形態に係る自動偏光調節装置は、第2液晶300及び第2偏光フィルタ400をさらに含んでもよい。
【0101】
第2液晶300は、前記第1偏光フィルタ200とイメージセンサ600との間に備えられ、印加された電圧に応じて、透過する偏光成分を偏光変換させる。
【0102】
前記第2液晶300は、前記第1液晶100と同一または類似の構成である。
【0103】
前記第2液晶300は、前記第1偏光フィルタ200を透過した偏光成分のうち、必要とする偏光成分が前記第2偏光フィルタ400の透過偏光方向と水平になるように作るためのものである。
【0104】
TN液晶を使用するという仮定の下で図5の(A)を例として説明すると、L1^成分のイメージを得ようとする場合には、前記第1液晶100にVβの電圧を印加するとともに、前記第2液晶300に最大電圧に近い電圧を印加し、L2^成分のイメージを得ようとする場合には、前記第1液晶100にVβの電圧を印加するとともに、前記第2液晶300に印加される電圧を遮断すればよい。
【0105】
第2偏光フィルタ400は、前記第2液晶300とイメージセンサ600との間に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる。
【0106】
前記第2偏光フィルタ400は、前記第1偏光フィルタ200と同一または類似の構成である。
【0107】
この時、前記レンズ500は、前記第2液晶300の前方、前記第2液晶300と第2偏光フィルタ400との間、前記第2偏光フィルタ400の後方など、状況に応じて様々な位置に備えられるようにすることができる。
【0108】
図6に示すように、本発明の一実施形態に係る自動偏光調節装置は、イメージ処理しようとする使用目的に応じて最適偏光イメージを取得するようにイメージ処理シーケンスを設計し、設計されたイメージ処理シーケンスに従って前記偏光制御部150及び処理部700を制御する画像設計部900をさらに含んでもよい。
【0109】
画像設計部900は、カメラがイメージ処理する前方状況と使用目的に応じて最適な画像を得るように設計する部分である。使用目的とは、自動車用、監視用、検査用、動く物体の鑑別用、道路物体車両の車線検出、霧時の曇り除去、道路特性、道路上の滑り(水、雪、氷)の区別などをいうものである。前記画像設計部900は、目的、例えば、自動車用、監視用、検査用、動く物体の鑑別目的、道路物体車両の車線検出目的、霧時の曇り除去目的、道路の特性や道路上の雪及び氷の区別目的などに合わせて自動的に最適偏光イメージを設計する。状況によって使用目的が異なる場合には、自動的に画像設計部900が互いに異なる偏光イメージを得るようにイメージ処理シーケンスを設計する。
【0110】
前記画像設計部900は、前記使用目的に応じたイメージ処理シーケンスを予め設計して保存し、これをマッチングして使用することも可能であり、機械学習を用いたイメージ処理シーケンスの設計ができるように実現されることも可能である。
【0111】
例えば1秒ごとに、0.05秒の間、0度、90度、45度、135度の4つの角度の偏光イメージのうち、最も偏光差が大きいイメージを判断して、45度、135度の偏光差が大きい場合には、次の0.95秒の間には45度、135度の偏光のみを保存する。次の1秒の始点0.05秒の間、0度、90度、45度、135度の4つの角度の偏光イメージのうち、最も偏光差が大きいイメージを判断して、0度、90度の偏光差が大きい場合には、次の0.95秒の間には0度、90度の偏光のみを保存する。
【0112】
このとき、偏光差の判断の際に、イメージの重要領域に重みを置いて判断することもでき、イメージのうち、他の領域よりも中心部の領域に重みを置いて合算偏光差を判断することもできるなど、多様な実施が可能である。
【0113】
この際、前記画像設計部900は、電圧が変化する周期に連動して自動的に画像をイメージ処理してそのイメージを保存するようにイメージ処理シーケンスを設計することができる。
【0114】
例えば、t1時間の間、液晶に0Vを印加し、次のt2時間の間に液晶に最大電圧を印加し、その次のt1時間の間、液晶に0Vを印加する方式で、t1+t2時間を周期として周期的に液晶を駆動し、この周期と連動してカメライメージ処理画像を保存部に保存する。すると、保存部に保存されたカメライメージ処理画像(写真または動画像)は、液晶0Vに該当する偏光画像と液晶最大電圧に該当する偏光画像とが交差しながら保存されるようにすることができる。
【0115】
他の例として、t1時間の間、第1液晶100に偏光角度th1に該当する電圧を印加し、次のt1時間の間、液晶に偏光角度th2に該当する電圧を印加し、その次のt1時間の間、液晶に偏光角度th4に該当する電圧を印加し、その次のt1時間の間、液晶に偏光角度th3に該当する電圧を印加する方式で、4つのt1時間を1周期tpとして周期的に液晶を駆動し、この周期と連動してそれぞれのt1時間の間イメージングされた透過光をイメージ処理した後、画像を保存部800に保存することができる。つまり、それぞれのt1時間の間、1回または複数回イメージ処理を施した後、画像を保存部に保存することができる。
【0116】
すると、保存部800に保存されたカメライメージ処理画像(写真または動画像)は、th1、th2、th4、th3偏光画像が順次繰り返し保存される。つまり、時間インデックスをkとするとき、時点kでの画像をI(k)とすると、I(k)はth1偏光、I(k+1)はth2偏光、I(k+2)はth4偏光、I(k+3)はth3偏光、I(k+4)はth1偏光の方式で偏光画像がイメージ処理されて保存できる。
【0117】
図7に示すように、本発明の一実施形態に係る自動偏光調節装置は、前記画像設計部900の設計に基づいて、様々な角度の偏光イメージを比較して、イメージ処理しようとする使用目的に合致する偏光イメージを選択するか、或いは様々な角度の偏光イメージに基づいて、イメージ処理しようとする使用目的に合致するイメージを生成する画像判断部950をさらに含んでもよい。
【0118】
つまり、使用目的などの画像設計部900の設計に基づいて画像判断部950が画像を判断して適切な偏光イメージを得るように偏光制御部150に指示し、偏光制御部150は、液晶を制御して入射光の透過偏光方向を自動調節し、処理部700は、画像判断部950を用いてカメラのイメージセンサがイメージ処理したイメージをそのまま又は組み合わせて保存部800に保存することができる。
【0119】
前記画像判断部950は、0度、90度、45度、135度、30度、120度などの様々な角度の偏光イメージのうち、使用目的などの画像設計部900の設計結果に合致する偏光イメージを選択するか組み合わせるために画像を判断する役割を果たす。
【0120】
一例として、簡単に0度偏光と90度偏光の二つの偏光イメージだけで説明すると、地表面に対する0度偏光イメージは、反射イメージが強調されてイメージ処理(図9参照)され、地表面に対する90度偏光イメージは、反射イメージがほとんど消えて鮮明なイメージがイメージ処理(図10参照)され、前記画像判断部950は、使用目的に合致する偏光イメージを選択して使用することができる。
【0121】
他の例として、0度と90度の偏光角に基づいたイメージの偏光差に比べて、45度と135度の偏光角に基づいたイメージの偏光差が大きい場合には、画像判断部950がそれを判断して、大きい偏光差イメージを保存することができる。
【0122】
別の例として、様々な角度の偏光イメージを比較して、最も大きい偏光差を示す角度の偏光差イメージを生成することができる。
【0123】
本発明の一実施形態に係る自動偏光調節装置の画像判断部950は、多数の偏光イメージに基づいて、最大ピクセル値演算、最小ピクセル値演算、偏光差絶対値イメージ演算、及びカラー別偏光差イメージ演算の中から選択されたいずれか一つの演算を用いてイメージを生成することを特徴とすることができる。
【0124】
前記最大ピクセル値演算は、最大ピクセル光強度値max(L1(x,y)、L2(x,y)、L3(x,y)、L4(x,y))の組み合わせでイメージを生成するものである。
【0125】
例えば、L1(x,y)、L2(x,y)、L3(x,y)、L4(x,y)をそれぞれ0度、90度、45度、135度の偏光イメージピクセル光強度値とすれば、各ピクセル別に偏光イメージのうち最もピクセル光強度値が大きい情報のみを取り合わせてイメージを生成するのである(図11参照)。
【0126】
前記最大ピクセル値演算を用いた最大画像値イメージは、物体の反射を強調したイメージを得る目的で用いることができる。
【0127】
前記最小ピクセル値演算は、最小ピクセル光強度値min(L1(x,y)、L2(x,y)、L3(x,y)、L4(x,y))の組み合わせでイメージを生成するものである(図12参照)。
【0128】
前記最小ピクセル値演算を用いた最小画像値イメージは、物体の反射を最小にしてより鮮明で色味良くイメージを得る目的で用いることができる。
【0129】
前記偏光差絶対値イメージ演算は、abs[L1(x,y)-L2(x,y)]、abs[L3(x,y)-L4(x,y)]のように0度、90度偏差イメージのピクセル光強度値差の絶対値や、45度、135度偏光差イメージのピクセル光強度値差の絶対値など、90度の角度差が発生する対のイメージを用いて、各ピクセル間のピクセル光強度値差の絶対値の組み合わせでイメージを生成するものである(図13参照)。
【0130】
前記偏光差絶対値イメージ演算を用いて生成された偏光差絶対値イメージは、最も偏光差が大きいイメージを強調することができる。偏光差絶対値イメージは、物体を強調する効果があるので、動く物体の鑑別目的、霧時の道路の前方車両の車線検出目的などで用いることができる。
【0131】
前記カラー別偏光差イメージ演算は、偏光差イメージ演算をカラー別に異ならせて表示することにより、ユーザが物体を容易に識別するのに役立つことができる。
【0132】
このとき、カラーはRGBカラーを用いることができる。
【0133】
例えば、R1(x,y)、G1(x,y)がそれぞれL1(x,y)のRed、Greenカラー成分であるとするとき、
L1(x,y)<L2(x,y)の領域は、abs[R1(x,y)-R2(x,y)]演算を用いてRedカラーで表示し、L1(x,y)>L2(x,y)の領域は、abs[G1(x,y)-G2(x,y)]演算を用いてGreenカラーで表示することができる(図14参照)。
【0134】
前記カラー別偏光差イメージ演算を用いたカラー別偏光差イメージは、監視用や車載カメラディスプレイなどに活用することができる。
【0135】
図8に示すように、本発明の一実施形態に係る自動偏光調節方法は、印加された電圧に応じて、透過する偏光成分を偏光変換させる第1液晶100;前記第1液晶100に印加される電圧を制御する偏光制御部150;前記第1液晶100の後方に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第1偏光フィルタ200;前記第1偏光フィルタ200の後方に備えられ、前記第1液晶100及び第1偏光フィルタ200を通過した透過光がイメージングされるイメージセンサ600;前記イメージセンサ600にイメージングされた透過光をイメージ処理する処理部700;前記処理部700がイメージ処理したイメージを保存する保存部800;イメージ処理しようとする使用目的に応じて最適偏光イメージを取得するようにイメージ処理シーケンスを設計し、設計されたイメージ処理シーケンスに従って前記偏光制御部150及び処理部700を制御する画像設計部900;及び前記画像設計部900の設計に基づいて、様々な角度の偏光イメージを比較して、イメージ処理しようとする前方状況または使用目的に合致する偏光イメージを選択するか、或いは様々な角度の偏光イメージに基づいて、イメージ処理しようとする前方状況または使用目的に合致するイメージを生成する画像判断部950;を含む自動偏光調節装置を用いる自動偏光調節方法であって、設計ステップ(S10)、イメージ処理ステップ(S20)及び最適イメージ取得ステップ(S30)を含む。
【0136】
設計ステップ(S10)は、画像設計部900が使用目的に応じて最適偏光イメージを取得するように設計する。
【0137】
前記設計ステップ(S10)は、使用目的を液晶制御UI(ユーザインターフェース)を用いて入力することができる。使用目的には、自動車用なのか、監視用なのか、検査用なのか、動く物体の鑑別が目的なのか、道路物体車両の車線検出が目的なのか、霧時の曇り除去が目的なのかなどを入力することができ、この使用目的に応じて画像設計部900が最適画像を設計する。
【0138】
前記設計ステップ(S10)は、0度、90度、45度、135度、30度、120度などの様々な角度の偏光イメージのうち、使用目的などに合致する偏光イメージを選択するか組み合わせるための画像を判断して最適偏光イメージを取得するためのイメージ処理アルゴリズムを確立する。このとき、アルゴリズムを確立するために、偏光イメージ間の演算を行うこともできる。
【0139】
イメージ処理ステップ(S20)は、前記処理部700が前記設計ステップ(S10)の設計に基づいて前記偏光制御部150を制御することにより、必要なイメージをイメージ処理する。
【0140】
つまり、イメージ処理ステップ(S20)は、前記画像設計部900から設計されたイメージ処理シーケンスに従って画像をイメージ処理する。
【0141】
最適イメージ取得ステップ(S30)は、前記画像判断部950が前記画像設計部900の設計に基づいて、様々な角度の偏光イメージを比較して、イメージ処理しようとする前方状況または使用目的に合致する偏光イメージを選択するか、或いは様々な角度の偏光イメージに基づいて、使用目的に合致するイメージを生成する。
【0142】
前記最適イメージ取得ステップ(S30)は、イメージ処理(保存)されたイメージの中から使用目的に合致するイメージを選択するか、イメージ処理(保存)された偏光イメージに基づいて演算及び保存を行うことにより、使用目的に合致するイメージを生成することができる。
【0143】
このとき、前記最適イメージ取得ステップ(S30)は、様々な角度の偏光イメージに基づいて相対寄与度を適用して、使用目的に合致するイメージを生成することを特徴とすることができる。
【0144】
前記相対寄与度は、偏光変換成分相対比率とも呼ぶ。
【0145】
次に、偏光変換成分相対比率(a、b)を算出するための2つの方法について説明する。
【0146】
前記相対寄与度は、偏光変換角がβ角である偏光を入射させ、第1液晶100に電圧Vβを加えた後、偏光フィルタを垂直偏光を透過させる状態に置いて光センサで光強度La^を測定し、偏光フィルタを水平偏光を透過させる状態に置いて光センサで光強度Lb^を測定した後、
a=La^/(La^+Lb^)
b=Lb^/(La^+Lb^)
(ここで、a、bは相対寄与度である。)
を連立してa、bを算出することを特徴とすることができる。
【0147】
ここで、偏光フィルタは、第1偏光フィルタ200と同じ透過偏光能力を有する偏光フィルタを使用することができ、第1偏光フィルタ200を動かすことができる場合には、第1偏光フィルタ200を使用することもできる。
【0148】
つまり、1つの方法は、第1ステップとして、偏光変換角がβ角である、すなわち、垂直方向とβ角をなし且つ水平方向とα角をなす偏光を入射させる。入射光源を、透過方向が垂直方向に対してβ角である偏光フィルムを通過させる方式で実現する。
【0149】
第2ステップとして、液晶に電圧Vβを加える。例えば、第1偏光フィルタ200を垂直に置いて光センサの光強度が最大である電圧を選択する。この電圧がVβである。
【0150】
第3ステップとして、第1偏光フィルタ200を垂直偏光を透過させる状態に置いて光センサで光強度La^を測定し、第1偏光フィルタ200を水平偏光を透過させる状態に置いて光センサで光強度Lb^を測定する。
【0151】
第4ステップとして、a=La^/(La^+Lb^)、b=Lb^/(La^+Lb^)の関係から偏光変換成分相対比率a、bを算出する。偏光変換成分相対比率a、bは、液晶電圧Vβまたは偏光変換角βの関数である。
【0152】
第5ステップとして、液晶電圧Vβと偏光変換角βを変化させながら前記第1~第4ステップを繰り返し行い、偏光変換成分相対比率a、bを算出して保存する。
【0153】
前記相対寄与度は、水平偏光を入射させ、第1液晶100に電圧Vβを加えた後、偏光フィルタを光センサの光強度が最大である角度で回転させ、光強度が最大である角度で水平からの角度を測定してβ角として保存し、光強度が最大である角度で光センサの光強度を測定してLa^として保存し、光強度が最大である角度と垂直な状態で偏光フィルタを回転させて光センサの光強度を測定してLb^として保存し、その後、偏光フィルタを水平偏光を透過させる状態に置いて光センサで光強度Lb^を測定した後、
a=La^/(La^+Lb^)
b=Lb^/(La^+Lb^)
(ここで、a、bは相対寄与度である。)
を連立してa、bを算出することを特徴とすることができる。
【0154】
つまり、他の方法は、第1ステップとして、水平偏光L1=LHを入射させる。
【0155】
第2ステップとして、液晶に電圧Vβを加える。
【0156】
第3ステップとして、第1偏光フィルタ200を、光センサの光強度が最大である角度で回転させる。光強度が最大である角度で水平からの角度を測定してβ角として保存する。
【0157】
第4ステップとして、前記第3ステップの角度での光センサの光強度を測定してLa^として置き、第3ステップの角度と垂直な状態で第1偏光フィルタ200を回転させ、光センサの光強度を測定してLb^として置く。第1偏光フィルタ200を回転させるとき、Lb^は最小光強度値であり、La^は最大光強度値である。
【0158】
第5ステップとして、a=La^/(La^+Lb^)、b=Lb^/(La^+Lb^)の関係から偏光変換成分相対比率a、bを算出する。偏光変換成分相対比率a、bは、液晶電圧Vβまたは偏光変換角βの関数である。
【0159】
第6ステップとして、液晶電圧Vβと偏光変換角βを変化させながら、前記第1~第5ステップを繰り返し行い、偏光変換成分相対比率a、bを算出して保存する。
【0160】
図8に示すように、本発明の一実施形態に係る自動偏光調節方法に用いられる自動偏光調節装置は、前記第1偏光フィルタ200とイメージセンサ600との間に備えられ、印加された電圧に応じて、透過する偏光成分を偏光変換させる第2液晶300、及び前記第2液晶300とイメージセンサ600との間に透過偏光方向が固定されるように備えられ、透過偏光方向に偏光している入射光を透過させる第2偏光フィルタ400を含み、前記第1偏光フィルタ200は、透過偏光方向が領域別に固定された複数の領域が備えられたことを特徴とする。
【0161】
前記自動偏光調節方法のイメージ処理ステップ(S20)は、前記偏光角度β角に該当する電圧Vβを第1液晶100に印加する電圧印加ステップ(S21)と、前記第2液晶300に前記第1偏光フィルタ200のそれぞれの領域別透過偏光方向に透過した透過光のうち、順次いずれか一つの透過光のみ前記第2偏光フィルタ400を通過するように前記第2液晶300に電圧を順次変化させて印加しながら、イメージセンサ600にイメージングされた透過光を順次イメージ処理する順次イメージ処理ステップ(S22)と、を含み、
前記自動偏光調節方法の最適イメージ取得ステップ(S30)は、前記順次イメージ処理ステップ(S22)で取得されたイメージに基づいて、
L1#=a(β)*L1(β)+b(β+90度)*L2(β+90度)
L2#=a(β+90度)*L2(β+90度)+b(β)*L1(β)
(ここで、L1#は透過光L1^のイメージセンサ600におけるピクセル光強度値であり、L2#は透過光L2^のイメージセンサ600におけるピクセル光強度値であり、L1、L2、L1^、L2^は各偏光成分の光強度であり、a、bは相対寄与度である。)
を連立してL1(β)、L2(β+90度)を算出し、これを用いて、使用目的に合致するイメージを生成することを特徴とすることができる。
【0162】
つまり、所定の偏光角度の偏光イメージを取得する他の方法として、領域別に異なる複数の偏光透過方向を有する第1偏光フィルタ200を用いて、領域別に複数の偏光を透過させ、第2液晶300と第2偏光フィルタ400をさらに通過させて、イメージセンサ600にイメージングされた透過光をイメージ処理する。
【0163】
図5の(A)を例としてより詳細に説明すると、ユーザが所定の偏光角度β角で入射する偏光のイメージとそれに垂直な偏光のイメージを得ようとすると、前記偏光角度β角に該当する電圧Vβを第1液晶100に印加する。
【0164】
図5の(A)に示すように、第1偏光フィルタ200の半分は垂直偏光フィルムであり、残りの半分は水平偏光フィルムであれば、第1偏光フィルタ200を通過する出射光の半分はL1^であり、残りの半分はL2^である。
【0165】
次に、前記第2液晶300に電圧を所定値以上、最大値の付近で印加してL2^を遮断させ、L1^のみを通過させてイメージセンサ600にイメージングさせる。
【0166】
すると、このときのイメージセンサ600のピクセル光強度値L1#は、L1#=a(β)*L1(β)+b(β+90度)*L2(β+90度)のように得られる。
【0167】
次に、前記第2液晶300に電圧を0V印加してL1^を遮断させ、L2^のみを通過させてイメージセンサ600にイメージングさせる。
【0168】
すると、このときのイメージセンサ600のピクセル光強度値L2#は、L2#=a(β+90度)*L2(β+90度)+b(β)*L1(β)のように得られる。
【0169】
次に、上記で測定したL1#とL2#を連立して計算することにより、L1(β)、L2(β+90度)を算出する。
【0170】
そこで、L1(0度)、L2(90度)、L1(β)、L2(β+90度)のように4つの角度で偏光イメージを得るためには、4つの角度で偏光イメージを測定し、連立して計算することができる。この方法は、4つの角度で偏光イメージを測定するが、偏光フィルムを回転させるなどの機械的移送は必要としない。
【0171】
図5の(B)及び(C)は、第1偏光フィルタ200を4等分した後、それぞれ0度、90度、45度、135度で透過偏光方向が形成されるように構成した実施形態を示す。
【0172】
上記でそれぞれの領域に互いに異なる透過偏光方向が形成された例を示したが、本発明はこれに限定されるものではなく、第1偏光フィルタ200を4等分した後、二つの領域は0度、残りの2つの領域は90度に透過偏光方向が形成されるように構成(半分は垂直偏光フィルム、残りの半分は水平偏光フィルム)するなど、様々な実施が可能であるのはもちろんである。
【0173】
この際、前記a、bは、偏光変換角がβ角である偏光を入射させ、第1液晶100に電圧Vβを加えた後、第2液晶300に垂直偏光を透過させる電圧を印加してイメージセンサ600で光強度La^を測定し、第2液晶300に水平偏光を透過させる電圧を印加してイメージセンサ600で光強度Lb^を測定した後、
a=La^/(La^+Lb^)
b=Lb^/(La^+Lb^)
を連立してa、bを算出することを特徴とすることができる。
【0174】
本発明の一実施形態に係る自動偏光調節方法の前記最適イメージ取得ステップ(S30)は、多数の偏光イメージに基づいて、最大ピクセル値演算、最小ピクセル値演算、偏光差絶対値イメージ演算、及びカラー別偏光差イメージ演算の中から選択されたいずれか一つの演算を用いて、使用目的に合致するイメージを生成することを特徴とするが、差絶対値イメージ演算(偏光差絶対値イメージ演算、カラー別偏光差イメージ演算)の差演算は除算およびログ差演算を含むことを特徴とすることができる。
【0175】
前記最大ピクセル値演算は、最大ピクセル光強度値max(L1(x,y)、L2(x,y)、L3(x,y)、L4(x,y))の組み合わせでイメージを生成するものである。
【0176】
例えば、L1(x,y)、L2(x,y)、L3(x,y)、L4(x,y)をそれぞれ0度、90度、45度、135度の偏光イメージピクセル光強度値とすると、各ピクセル別に偏光イメージのうち、最もピクセル光強度値が大きい情報のみを取り合わせてイメージを生成するものである(図11参照)。
【0177】
前記最大ピクセル値演算を用いた最大画像値イメージは、物体の反射を強調したイメージを得る目的で用いることができる。
【0178】
前記最小ピクセル値演算は、最小ピクセル光強度値min(L1(x,y)、L2(x,y)、L3(x,y)、L4(x,y))の組み合わせでイメージを生成するものである(図12参照)。
【0179】
前記最小ピクセル値演算を用いた最小画像値イメージは、物体の反射を最小にしてより鮮明で色味良くイメージを得る目的で用いることができる。
【0180】
前記偏光差絶対値イメージ演算は、abs[L1(x,y)-L2(x,y)]、abs[L3(x,y)-L4(x,y)]のように0度、90度の偏光差イメージのピクセル光強度値差の絶対値、45度、135度の偏光差イメージのピクセル光強度値差の絶対値など、90度の角度差が発生する対のイメージを用いて、各ピクセル間のピクセル光強度値差の絶対値の組み合わせでイメージを生成するものである(図13参照)。
【0181】
前記偏光差絶対値イメージ演算を用いて生成された偏光差絶対値イメージは、最も偏光差が大きいイメージを強調することができる。偏光差絶対値イメージは、物体を強調する効果があるので、動く物体の鑑別目的、霧時の道路の前方車両の車線検出目的などで用いることができる。
【0182】
前記カラー別偏光差イメージ演算は、偏光差イメージ演算をカラー別に異ならせて表示することにより、ユーザが物体を容易に識別するのに役立つことができる。
【0183】
このとき、カラーは、RGBカラーを用いることができる。
【0184】
例えば、R1(x,y)、G1(x,y)がそれぞれL1(x,y)のRed、Greenカラー成分であるとするとき、
L1(x,y)<L2(x,y)の領域は、abs[R1(x,y)-R2(x,y)]演算を用いてRedカラーで表示し、L1(x,y)>L2(x,y)の領域は、abs[G1(x,y)-G2(x,y)]演算を用いてGreenカラーで表示することができる(図14参照)。
【0185】
前記カラー別偏光差イメージ演算を用いたカラー別偏光差イメージは、監視用や車載カメラディスプレイなどに活用することができる。
【0186】
上記で差絶対値イメージ演算(偏光差絶対値イメージ演算、カラー別偏光差イメージ演算)の差演算としてマイナス(-)演算を主に記述したが、除算演算やログ差演算も差演算と同じ概念と見て、記述を省略する。
【0187】
本発明は、前述した実施形態に限定されず、適用範囲が多様であるのはもとより、請求の範囲で請求する本発明の要旨を逸脱することなく、様々な変形実施が可能であるのは当たり前である。
【符号の説明】
【0188】
100 第1液晶
150 偏光制御部
200 第1偏光フィルタ
300 第2液晶
400 第2偏光フィルタ
500 レンズ
600 イメージセンサ
700 処理部
800 保存部
900 画像設計部
950 画像判断部
S10 設計ステップ
S20 イメージ処理ステップ
S21 電圧印加ステップ
S22 順次イメージ処理ステップ
S30 最適イメージ取得ステップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14