IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ IPU株式会社の特許一覧

<>
  • 特許-距離検出装置 図1
  • 特許-距離検出装置 図2
  • 特許-距離検出装置 図3
  • 特許-距離検出装置 図4
  • 特許-距離検出装置 図5
  • 特許-距離検出装置 図6
  • 特許-距離検出装置 図7
  • 特許-距離検出装置 図8
  • 特許-距離検出装置 図9
  • 特許-距離検出装置 図10
  • 特許-距離検出装置 図11
  • 特許-距離検出装置 図12
  • 特許-距離検出装置 図13
  • 特許-距離検出装置 図14
  • 特許-距離検出装置 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-19
(45)【発行日】2024-09-30
(54)【発明の名称】距離検出装置
(51)【国際特許分類】
   G01S 17/10 20200101AFI20240920BHJP
   G01S 17/32 20200101ALI20240920BHJP
   G01S 7/495 20060101ALI20240920BHJP
【FI】
G01S17/10
G01S17/32
G01S7/495
【請求項の数】 6
(21)【出願番号】P 2024011348
(22)【出願日】2024-01-29
【審査請求日】2024-02-03
【権利譲渡・実施許諾】特許権者において、権利譲渡・実施許諾の用意がある。
【早期審査対象出願】
(73)【特許権者】
【識別番号】524039263
【氏名又は名称】IPU株式会社
(74)【代理人】
【識別番号】100140693
【弁理士】
【氏名又は名称】木宮 直樹
(72)【発明者】
【氏名】長▲崎▼ 達夫
(72)【発明者】
【氏名】安間 のりこ
(72)【発明者】
【氏名】長▲崎▼ 広朗
(72)【発明者】
【氏名】森久保 聡美
【審査官】佐藤 宙子
(56)【参考文献】
【文献】特開2022-035564(JP,A)
【文献】特開平09-152482(JP,A)
【文献】特開2011-199798(JP,A)
【文献】特開2024-030905(JP,A)
【文献】特開2022-172920(JP,A)
【文献】国際公開第2017/122637(WO,A1)
【文献】特開2003-149341(JP,A)
【文献】米国特許出願公開第2021/0124050(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S 17/00-17/95
G01C 3/00- 3/32
(57)【特許請求の範囲】
【請求項1】
キャリア光の振幅をチャープ信号により変調し、距離を検出する物体を照明する照明光を生成する光源と、
別のキャリア光の振幅を前記照明光と同一のチャープ信号により変調し、参照光を生成する光源と、
前記キャリア光の両方、又は一方の時間コヒーレンスと空間コヒーレンスを低減させるコヒーレンス低減機構と、
前記物体からの反射光を受光するための受光面を有する受光素子と、
前記受光素子に前記反射光を結像する結像光学系と、
前記反射光と前記参照光を合波する合波器と、を有し、
前記コヒーレンス低減機構は、前記キャリア光間のヘテロダインにより生じる干渉雑音の空間周波数成分を所定の帯域幅に広げ、前記受光素子が、合波された前記反射光と前記参照光を受光する受光時間の時間平均と前記受光面の面積分により前記干渉雑音の電力を低減し、前記照明光及び前記参照光のキャリア光のへテロダイン振幅を前記キャリア光間の全電力値の積の一定値に近づけることにより、前記反射光と前記参照光のチャープ信号間のヘテロダインで生じた干渉縞信号を所定のSN比を以って検出できることを特徴とする距離検出装置。
【請求項2】
前記干渉縞信号を検出するのと同時に、前記キャリア光と同一波長の外界光の画像と、外界光のカラー画像と、を検出する2次元検出機構を有し、
前記キャリア光の波長は、前記カラー画像の波長と異なり、
前記2次元検出機構は、
前記キャリア光の波長を選択透過する波長フィルタが付加された前記受光素子を構成する第1の受光素子と、前記カラー画像の原色フィルタが付加された第2の受光素子と、を有し、前記第1及び第2の受光素子は、前記結像光学系の結像面にモザイク状に2次元配列され、又は、
ダイクロイックミラーの多板プリズムにより、前記キャリア光を選択透過できる結像面に、前記干渉縞信号を検出する2次元に配列される前記受光素子を構成する第3の受光素子と、その他の結像面に、カラー画像を検出する2次元に配列される第4の受光素子と、を有し、
前記2次元検出機構は、前記第1及び第2の受光素子から前記波長フィルタ及び前記原色フィルタを透過した出力ごとに分離し、又は前記第3及び第4の受光素子からの出力ごとに分離することを特徴とする請求項1に記載の距離検出装置。
【請求項3】
キャリア光の振幅をチャープ信号により変調し、距離を検出する物体を照明する照明光を生成する光源と、
前記物体からの反射光を受光し、前記照明光と同一のチャープ信号により光電変換の動作をスイッチングすることで、混合器の機能を兼ね備え、前記チャープ信号のヘテロダインで生じる周波数の低い干渉縞信号に変換する受光素子と、
前記受光素子に前記反射光を結像する結像光学系と、
前記干渉縞信号を検出するのと同時に、前記キャリア光と同一波長の外界光の画像と、外界光のカラー画像と、を検出する2次元検出機構と、を有し、
前記キャリア光の波長は、前記カラー画像の波長と異なり、
前記2次元検出機構は、
前記キャリア光の波長を選択透過する波長フィルタが付加された前記受光素子を構成する第1の受光素子と、前記カラー画像の原色フィルタが付加された第2の受光素子と、を有し、前記第1及び第2の受光素子が前記結像光学系の結像面にモザイク状に2次元配列され、又は、
ダイクロイックミラーの多板プリズムにより、前記キャリア光を選択透過できる結像面に、前記干渉縞信号を検出する2次元に配列される前記受光素子を構成する第3の受光素子と、その他の結像面に、カラー画像を検出する2次元に配列される第4の受光素子と、を有し、
前記2次元検出機構は、前記第1及び第2の受光素子から前記波長フィルタ及び前記原色フィルタを透過した出力ごとに分離し、又は前記第3及び第4の受光素子からの出力ごとに分離することを特徴とする距離検出装置。
【請求項4】
前記2次元検出機構で検出された前記キャリア光と同一波長の外界光の画像と、前記外界光のカラー画像から、前記物体の距離の検出を妨害する妨害光の前記画像上の位置と、前記物体の局所位置を判定する第1の判定機構と、を有し、
前記妨害光の位置を回避して前記物体の局所位置の距離を検出することを特徴とする請求項2又は3に記載の距離検出装置。
【請求項5】
前記2次元検出機構は、前記キャリア光の波長と異なる波長を有する光無線通信の光を検出し2次元に配列される第5の受光素子を有し、前記2次元検出機構は、前記第5の受光素子により、前記光無線通信の光を受信するのと同時に、前記光無線通信の光と同一波長の外界光の画像を検出することを特徴とする請求項4に記載の距離検出装置。
【請求項6】
請求項5に記載の距離検出装置であって、
前記2次元検出機構により検出された外界光のカラー画像と、光無線通信の光と同一波長の外界光の画像から、前記光無線通信の受信を妨害する妨害光の画像上の位置と、受信が必要な光無線通信の送信機の位置を判定する第2の判定機構を有し、前記2次元検出機構は前記妨害光の位置を回避して前記光無線通信の光を受信し、前記第2の判定機構は、
前記送信機の位置情報を前記光無線通信によって取得し、
前記第2の判定機構により検出された前記送信機と前記距離検出装置の相対的な位置情報と、前記物体と前記距離検出装置の相対的な位置情報から、前記物体と前記距離検出装置の現在の位置を算出することを特徴とする距離検出装置。


【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動運転、ロボット、ドローンなどで使用する距離検出装置に関する。
【背景技術】
【0002】
自動運転用の距離検出装置は、以下の要求を満たすことが望ましい。
・数センチ(cm)から数百メートル(m)に渡って高い距離検出精度と方位分解能を有すること。
・距離検出装置間の妨害や外乱に強いこと。
・小型、低価格で、撮像装置と一体化されること。
【0003】
従来の距離検出装置として、ステレオカメラ、ToFカメラ、LiDAR、ミリ波レーダー、超音波センサーなどが知られている(例えば、非特許文献1参照)。それぞれの距離検出装置のメリットとデメリットは後述する。
【先行技術文献】
【非特許文献】
【0004】
【文献】畚野信義ら著、「ミリ波伝搬とレーダ雨量計」 電波研究所季報、1976年12月 p407-426、 Vol.22 No.121
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の距離検出装置は、上記の要求をすべて同時に満足することは困難である。このため、現状では、撮像装置に加えて、3~4種類の距離検出装置を併用し、それぞれのデメリットを補って使用している。
【0006】
本発明は、かかる事情に鑑みてなされたものである。すなわち、本発明は、物体までの距離に関わらず高い距離検出精度と方位分解能を有し、距離検出装置間の妨害や外乱に強く、小型、低価格で、撮像装置と一体化される距離検出装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明の距離検出装置に係る第1の態様は、
キャリア光の振幅変調にチャープ変調を施した照明光を生成する光源と、
キャリア光の振幅変調に照明光と同一のチャープ変調を施した参照光を生成する光源と、
チャープ変調は、チャープ変調信号により変調され、
チャープ変調信号の時間コヒーレンスと空間コヒーレンスを保持しつつ、キャリア光の両方、又は一方の時間コヒーレンスと空間コヒーレンスを低減させるコヒーレンス低減機構と、
照明光で照明した物体からの反射光を受光素子に結像する結像光学系と、
反射光と参照光を合波する合波器と、を有し、
受光素子は、合波された反射光と参照光を受光し、照明光と参照光の線形チャープ変調信号間のヘテロダインで生じた干渉縞信号を検出する。
【0008】
さらに、上述した課題を解決し、目的を達成するために、本発明の距離検出装置の第2の態様は、
キャリア光の振幅変調にチャープ変調を施した照明光を生成する光源と、
照明光で照明した物体からの反射光を受光素子に結像する結像光学系と、を有し、
さらに、チャープ変調の電気信号に対して照明光と同一のチャープ変調信号を乗じて干渉縞信号を検出する混合器と、又は、照明光と同一のチャープ変調信号による直接スイッチングによって混合器の機能を兼ね備える受光素子を有し、
受光素子は、反射光を検波し、反射光のチャープ変調を電気信号に変換する。
【0009】
本発明の距離検出装置に係る第3の態様は、第1又は第2の態様の距離検出装置であって、2次元配列された前記受光素子により、
又は、1次元配列された前記受光素子を、前記結像光学系の結像面を前記1次元配列方向と交差する方向に1次元走査することにより、
又は、単一の前記受光素子を、前記結像面を2次元走査することにより、
又は、1次元配列された前記受光素子を前記結像面に設置し、前記照明光の前記1次元配列と交差する方向の指向性を高めて前記物体を前記方向に1次元走査することにより、
又は、単一の前記受光素子を前記結像面に設置し、前記照明光の指向性をビーム状に高めて前記物体を2次元走査することにより、
前記物体の画像を撮像するのと同時に、前記干渉縞信号を2次元の位置で検出する2次元検出機構を備える。
【0010】
本発明の距離検出装置に係る第4の態様は、第3の態様の距離検出装置であって、前記2次元検出機構で撮像した画像から、前記物体の距離の検出を妨害する妨害光の位置を検出し、前記物体の距離の検出を行う局所位置を判定する判定機構と、を有し、
前記妨害光を回避して前記物体の局所位置の距離を検出する。
【0011】
本発明の距離検出装置に係る第5の態様は、第3又は第4の態様の距離検出装置であって、前記2次元検出機構で撮像した画像から、光無線通信の受信を妨害する妨害光の位置を判定し、前記光無線通信を受信する光無線通信装置の送信機の位置を判定する判定機構と、を有し、
前記妨害光を回避して前記光無線通信を受信する。
【発明の効果】
【0012】
光の振幅をチャープ変調する方式によって、数センチから数百メートルの広い範囲に渡り、高い方位分解能と距離検出精度を得ることができる。また、撮像素子を使用して、カラー画像と距離画像を同時に検出することができ、小型、低価格の視覚センサーを実現できる。
【0013】
また、撮像装置と距離検出装置は、それぞれ自動運転に必須の視覚センサーである。これら2つのセンサーの情報から、人工知能(以下、適宜「AI」、「判定機構」という)が、外界の物体検出(object detection)を行い、自動運転の判断を行う。自動運転の物体検出は、車両の周囲に存在する物体を識別し、そのなかで、自動運転に関わる物体の大きさと位置、又は、領域を検出し、それらの物体と車両の相対的な位置と速度、方向を検出する。自動運転のレベルが上位になるほど、これら2つのセンサーの重要度が増す。
【図面の簡単な説明】
【0014】
図1】キャリア光の振幅の時間的な変化を示す。
図2】チャープ変調の周波数を示す。
図3】第1実施形態に係る距離検出装置を示す。
図4】第2実施形態に係る距離検出装置の構成を示す。
図5】第1実施形態の変形例を示す。
図6】電気信号43の処理の流れを示す。
図7】高調波を示す。
図8】干渉縞信号の周波数を示す。
図9】キャリア光のコヒーレンスと光源の大きさの関係を示す。
図10】撮像素子の正面構成を示す。
図11】物体が複数存在する状況を示す。
図12】撮像素子の水平ラインの画素の読出しを示すタイミングチャートである
図13】フィルタの正面構成を示す。
図14】第2実施形態の変形例に係る距離検出装置の概略構成を示す。
図15】第2実施形態の変形例に係る距離検出装置の他の概略構成を示す。
【発明を実施するための形態】
【0015】
以下に本発明にかかる実施形態及び変形例の作用効果を説明する。なお、本実施形態及び変形例の作用効果を具体的に説明するに際しては、具体的な例を示して説明することになる。しかし、それらの例示される実施形態及び変形例はあくまでも本発明に含まれる例のうちの一部に過ぎず、その態様には数多くのバリエーションが存在する。したがって、本発明は例示される実施形態及び変形例に限定されるものではない。
【0016】
以下、実施形態及び変形例の説明に先立って、ステレオカメラ、ToFカメラ、LiDAR、ミリ波レーダー、超音波センサーの各距離検出装置のメリットとデメリットを説明する。
【0017】
(ステレオカメラ)
ステレオカメラによる距離検出は、人間の双眼視による距離認知と同じであり、三角測量方式である。2つのカメラで撮像した画像のずれ量を画像の局所ごとに検出し、距離画像を得る。
【0018】
ステレオカメラのメリットは、カラー画像と同時に距離画像を検出できるところにある。また、パッシブ方式のためステレオカメラ間の妨害がない。
【0019】
ステレオカメラのデメリットを説明する。ステレオカメラでは、2つのカメラで撮像した画像の局所ごとのずれ量を相関演算によって検出する。そして、距離画像を得る。このため、画像の局所ごとの周波数成分に基づいて、距離検出精度と方位分解能が変動する。
【0020】
例えば、局所部分に輝度の変化が少ない場合、距離検出精度と方位分解能が低下する。局所部分に輝度の周期的な変化がある場合、誤検出を生ずる。また、ステレオカメラは、パッシブ方式のため、夜間など暗い場所での精度が低い。
【0021】
また、ステレオカメラは、原理上、2つのカメラの6軸空間の位置に関して高い精度が要求される。よって、経時変化や温度変化によって距離検出精度の劣化が起きやすい。
【0022】
また、ステレオカメラは、物体がカメラに対して遠方になるに従って、ステレオ角が小さくなる。ステレオ角が小さくなると、2つの画像のずれ量が分数関数状に小さくなる。このため、距離検出精度が急速に低下する。
【0023】
ステレオ角を大きくして、遠方の物体に関して、距離検出精度を上げようとすると、カメラ全体が大きくなる。よって、2つのカメラの位置精度が更に厳しくなる。このため、ステレオカメラの距離検出精度と方位分解能は、他の距離検出装置に比較して、一般的に低い。
【0024】
以上のデメリットを緩和するために、自己相関性の高いパターンを照射するアクティブ方式のステレオカメラがある。しかし、遠方の物体の距離検出精度が低いことは変わらず、また、ステレオカメラ間の妨害が生じてしまう。
【0025】
また、「単一のカメラ映像から、AIによって距離を検出する方式」が報告されている。物体と車両の相対位置によって変化する物体の様々な画像情報、例えば、物体の大きさ、形状、テクスチャー、焦点ボケ、運動視差による重なりなどの変化に関するデータを、AIが大量に学習する。これにより、物体までの距離を検出する方式である。
【0026】
この方式は、人の双眼視における距離認知は遠方の物体で急速に低下することを補うために、視野皮質の背側経路で行われる空間認知処理と類似する。あくまでも、空間認知処理の多くは、単眼視差の三角測量に基づいている。このため、上述と同様の理由で、精度の高い距離検出は困難である。人間は、片目を閉じた場合でも、過去の経験から物体までの距離を概略把握できる。しかし、片目(単眼)で車を運転する場合、多くの経験を積んだ場合でも極めて危険である。
【0027】
仮に、経験を積むことで、単眼の映像から必要な距離情報が得られるようになるとすれば、人間は進化の過程で双眼を選択してこなかったはずである。同様に、AIが如何に学習を重ねても、単一カメラの情報から高精度の距離画像を検出することは難しい。
【0028】
人間よりも遥かに速く動く車両を、人間に代わって、人間よりも、早く、正確に、かつ、安全に操作するには、人間の視覚を充分に超えた高精度な距離検出が必要とされる。以上に述べたデメリットから、ステレオカメラの自動運転への適用は限界があるとされる。ましてや、「単一のカメラ映像から、AIによって距離画像を検出する方式」は、それ以上に難しいといえる。
【0029】
ToFカメラの距離検出は、ToF(time of flight)方式である。ToF方式では、照明光の光強度を一定の周波数で変調して計測空間を照明する。照明された物体からの反射光を光学系で結像する。撮像素子で受光するときに、撮像素子の画素ごとに、同一周波数でスイッチング検波を行う。得られた電荷量から、反射光を変調している信号の位相(反射の遅延時間)を画素ごとに検出する。そして、距離画像を得る。
【0030】
ToFカメラのメリットは、光学系で結像できるため、方位分解能の高い距離画像が得られること、距離に関わらず距離検出精度が一定で、小型、低価格であることである。
【0031】
ToFカメラのデメリットは、撮像素子の受光部の検波速度に限界があるため、SN比の点で、至近距離と遠距離の計測が難しいことである。また、ToF方式は、原理上、背景光(太陽光など)の影響を強く受け、ToFカメラ間の妨害が大きい。
【0032】
LiDARの距離検出は、ToF方式を主とする。LiDARでは、ToF方式で距離を計測しながら、波長1550nmの赤外レーザービームを2次元に走査して距離画像を得る。
【0033】
LiDARのメリットは、方位分解能が高いことと、単一の受光センサーには、検波速度が速く、感度とSN比の高いものがあるのと、波長1550nmの赤外光が外界光に少ないこともあり、近距離および遠距離の計測においてToFカメラを上回る。
【0034】
また、赤外レーザービームの指向性が高いため、LiDAR間でビームが重なる確率が低く、LiDAR間の妨害を受けにくい。
【0035】
LiDARのデメリットは、2次元走査機構が必要になることと、受光センサーが高価なため、耐久性の面、コストの面での課題がある。そして、ミリ波レーダーに関して後述する理由から、ToF方式のLiDARは、遠距離の検出において、チャープ変調方式のミリ波レーダーに精度が劣る。
【0036】
ミリ波レーダーの距離検出は、線形チャープ変調方式である。ミリ波の周波数に線形チャープ変調を施し、アンテナで送受信する。受信波に送信波と同じチャープ変調の参照信号を乗じ、ヘテロダイン検波を行う。物体の距離に比例した周波数の干渉縞信号(IF信号)に変換する。そして、干渉縞信号をFFT(高速フーリエ変換)によって周波数成分に変換する。周波数成分のピーク値を検出することで、物体までの距離を計測する。
【0037】
ミリ波レーダーの距離検出は、距離分解能は低いが、SN比が高いため、ピーク値検出によってLiDARと同程度の距離検出精度を得られる。
【0038】
ミリ波レーダーのメリットは、チャープ変調という自己相関性の高い符号化にある。チャープ変調方式は、変調の帯域幅とチャープ時間に比例して、距離検出の電力SN比が向上し、距離の検出に際して外乱光のスペクトルが拡散される。このため、妨害に強い。
【0039】
また、反射率と反射距離の違いから雨や霧などの不要反射を除外して物体までの距離を検出することが可能である。このため、雨中における、ミリ波の減衰と波長1550nmの赤外線の減衰が、同程度の減衰量であるにも拘わらず(非特許文献1の第1図)、遠距離の検出において、ミリ波レーダーはLiDARを大きく上回る。また、簡便な手段によって物体との相対速度が検出できることと、装置が比較的低価格であることというメリットも大きい。
【0040】
そして、ミリ波レーダーの最大のメリットは、レーダーや通信で培われた様々な妨害抑制技術を応用できるところにある。チャープ変調という自己相関性の高い符号化がなされるため、妨害信号の周波数成分が拡散されて抑制される。また、特殊な符号化を二重に施すことで、妨害を更に抑制することができ、否定妨害に加えて意図的な妨害(欺瞞妨害)を回避することが可能である。
【0041】
ミリ波レーダーのデメリットは、アンテナの現実的な大きさと電波の波長から、LiDARに比べて、方位分解能(指向性)が2桁以上低く、小さい物体や近接した物体の識別が難しいことである。特に、近距離において、サイドローブによる地面やガードレールからのクラッタを免れることが困難である。
【0042】
また、光学画像と異なる反射率の物体が存在する。また、距離画像を得るのに、機械的な2次元走査や、アレイアンテナによる電子走査を必要とする。また、ミリ波レーダーは、様々な用途に適用する場合、電波防護規制によって設計の自由度が制限されるデメリットが大きい。
【0043】
以上のデメリット(課題)を解決するために、LiDARのレーザー光の周波数にチャープ変調を施して距離検出を行うことが知られている。これにより、光学画像と同等の方位分解能が得られ、ミリ波レーダーと同様にチャープ変調方式による様々なメリットが得られる。半面、数百mの距離検出に対応するコヒーレンス長を有しており、直線性の高いチャープ変調を可能とするレーザー光源は、大変大型で高価なものになる。そして、高価な高感度センサーと2次元の走査機構を必要とするデメリットは、そのまま残ってしまう。
【0044】
超音波センサーの距離検出は、パルスレーダー方式である。超音波のパルスを送信し受信するまでの時間から、物体までの距離を検出する。メリットは、小型、低価格な点である。しかし、超音波は、空気中の減衰が大きく、方位分解能が低いため、複数のセンサーを使用して、ごく至近距離の検出に使用されている。
【0045】
(第1実施形態)
次に、本願の実施形態に関して説明する。
【0046】
第1実施形態に係る距離検出装置(撮像装置)は、キャリア光の振幅変調にチャープ変調を施した照明光を生成する光源と、
キャリア光の振幅変調に照明光と同一のチャープ変調を施した参照光を生成する他の光源と、
チャープ変調は、線形チャープ変調信号により変調され、
チャープ変調信号の時間コヒーレンスと空間コヒーレンスを保持しつつ、キャリア光の両方、又は一方の時間コヒーレンスと空間コヒーレンスを低減させるコヒーレンス低減機構と、
照明光で照明した物体からの反射光を受光素子に結像する結像光学系と、
反射光と参照光を合波する合波器と、を有し、
受光素子は、合波された反射光と参照光を受光し、照明光と参照光のチャープ変調信号間のヘテロダインで生じた干渉縞信号を検出する。
【0047】
本実施形態では、感度と妨害抑制に優れた線形チャープ変調方式を用いて距離検出を行う。ただし、ミリ波レーダーのように電波ではなく、光をキャリアとしてチャープ変調信号の送受信を行う。そして、キャリア光の周波数をチャープ変調する代わりに、キャリア光の振幅を変調する周波数に対してチャープ変調を行う。
【0048】
図1は、キャリア光の振幅の時間的な変化を示す。具体的には、図1に示すように、キャリア光の光源に小型、低価格で、高速スイッチングが可能な発光ダイオードを使用し、発光ダイオードの光をon-offし、on-offする周波数に対して線形チャープ変調を行う。
【0049】
図2は、チャープ変調の周波数を示す。図2を用い、チャープ変調方式を用いた距離検出方法について述べる。
【0050】
直線1は、時間に対して周波数が直線的に変化する参照用(基準用)のチャープ信号を示す。直線2は、距離を計測する物体から反射したチャープ信号を示す。反射したチャープ信号2は、参照チャープ信号である直線1に対して、物体までの往復距離に応じた時間遅延3を生じる。このため、チャープ信号間のヘテロダインによって、チャープ信号間の周波数の差4に応じた低い周波数の干渉縞信号を生じる。
【0051】
チャ-プ変調の直線性が高いと、干渉縞信号の周波数は、チャープ時間に渡って一定となる。図2から分かるように、光路差が大きくなると時間遅延3が増える。チャープ信号間の周波数の差4が大きくなって干渉縞信号の周波数が高くなる。このように、干渉縞信号の周波数が物体までの距離に比例する。また、図2から、干渉縞信号の周波数は、チャープ変調の帯域幅5が広くなると高くなり、チャープ時間6が長くなると低くなることが分かる。
【0052】
図3は、第1実施形態に係る距離検出装置10Aの構成を示す。キャリア光7の振幅に、振幅変調器8を用いて、チャープ変調信号9によって線形チャープ変調を施す。そして、照明光10として、距離を検出する物体11を照明する。光学系13は、物体11からの反射光12を受光素子14に結像する。参照光15を合波器16によって反射光12に合波する。受光素子14は、合波した光を受光する。
【0053】
受光素子14で受光すると、キャリア光間のヘテロダインとチャープ信号間のヘテロダインが生じる。参照光15は、振幅変調器21を用い、チャープ変調信号9によってキャリア光17の振幅に線形チャープ変調を施して生成する。
【0054】
キャリア光7とキャリア光17の干渉性が低いと、キャリア光間のヘテロダイン振幅が、受光素子の時間平均によって、それぞれの電力値の積の一定値に近づく。一定値は、チャープ信号間のヘテロダインで生じた干渉縞信号の係数となり、干渉縞信号18を安定して検出することができる。
【0055】
干渉縞信号18の周波数が、物体11までの距離に比例する。キャリア光7とキャリア光17の干渉性が高いと、キャリア光間のヘテロダイン振幅が、特定の周波数を生じて、干渉縞信号を検出できなくなる、または干渉縞信号と同等の周波数成分が生じて、干渉縞信号の雑音になる。
【0056】
キャリア光の生成と振幅変調に、高速の振幅変調が得意なLD(laser diode)などの高コヒーレンス光源を使用する場合、キャリア光7とキャリア光17の両方、又は、一方の時間コヒーレンスと空間コヒーレンスを、コヒーレンス低減機構19とコヒーレンス低減機構20によって低減させる。そして、キャリア光間のヘテロダイン振幅を、それぞれの電力値の積の一定値に近づけて、干渉縞信号18のSN比を確保する。コヒーレンス低減機構19、20の具体的な構成について後述する。
【0057】
チャープ信号間のヘテロダインで生じた干渉縞信号18を、図示に無いFFTなどの周波数変換器によって周波数成分に変換し、周波数成分のピーク値を、図示に無い相関器と補間回路によって検出し、物体までの距離に変換する。相関器の処理について後述する。
【0058】
本実施形態では、撮像素子を使用してカラー画像と距離画像を同時に検出することができ、撮像装置と一体となった小型、低価格の視覚センサーを実現できる。
【0059】
(第2実施形態)
第2実施形態に係る距離検出装置20Aは、
キャリア光の振幅変調にチャープ変調を施した照明光を生成する光源と、
前記照明光で照明した物体からの反射光を受光素子に結像する結像光学系と、を有し、
さらに、前記チャープ変調の電気信号に対して前記照明光と同一のチャープ変調信号を乗じて干渉縞信号を検出する混合器と、又は、前記照明光と同一のチャープ変調信号による直接スイッチングによって前記混合器の機能を兼ね備える前記受光素子を有し、
前記受光素子は、前記反射光を検波し、前記反射光のチャープ変調を電気信号に変換することを特徴とする。
【0060】
図4は、第2実施形態に係る距離検出装置20Aの構成を示す。
キャリア光22の振幅に、変調器23を用いて、チャープ変調信号24によって線形チャープ変調を施す。そして、照明光として、距離を検出する物体25を照明する。物体25からの反射光26を光学系27で受光素子28に結像する。高速検波が可能な受光素子28によって直接検波を行い、反射光26のチャープ変調信号を電気信号に変換する。
【0061】
その後、混合器(ミキサー)29によって、チャープ変調信号24を参照信号として乗じ、干渉縞信号30に変換する。そして、第一の実施形態と同様に、図示に無い周波数変換器、相関器、補間回路の処理を経て、物体までの距離に変換する。
【0062】
このとき、受光素子28と混合器29の代わりに、直接スイッチングが可能な受光素子を用い、チャープ変調信号24によってスイッチングすることでヘテロダイン検波を行ない、干渉縞信号30を検出してもよい。
【0063】
発光ダイオードによる光源は、コヒーレンスが高いほど、直接スイッチングによる高速の振幅変調や、マッハツェンダ素子などの外部素子による高速の振幅変調が可能である。第2実施形態の場合、キャリア光が高コヒーレンス光でよい。このため、そのような高コヒーレンスの発光ダイオードや光源を使用し、チャープ変調の帯域幅を広くすることができる。そして、精度の高い距離検出を行うことが可能である。
【0064】
第1実施形態に係る距離検出装置、第2実施形態に係る距離検出装置の効果を述べる。
第1実施形態に係る距離検出装置、第2実施形態に係る距離検出装置は、距離検出装置に対する要求をすべて満足することができ、従来の距離検出装置が抱える課題(デメリット)を解決することができる。
【0065】
例えば、波長1550nmの赤外光をキャリア光とする場合、ミリ波レーダーと同程度の遠距離検出が可能になる。また、結像光学系を使用できるため、ミリ波レーダーよりも遥かに高い方位分解能が得られる。
【0066】
オートフォーカスやパンフォーカスなどによって至近距離から遠距離まで高い方位分解能を得ることができる。このため、ミリ波レーダーのようなサイドローブによる近距離におけるゴースト反射(クラッタ)などが一切無い。
【0067】
また、チャープ変調方式は、照明光を照射するための電力をチャープ変調に従ってチャープ変調時間内に拡散(分散)して送信する。このため、照明光の強度が同じであっても、時間軸を含めた照明のトータルの電力は、ToF方式より2~3桁ほど大きくなり、距離検出の電力SN比が、その分高くなる。同じSN比を得るために、ToF方式のLiDARやカメラの照明光の強度(電力)を大きくすると、近距離の物体からの反射光が大きくなり過ぎ、受光回路がすぐに飽和してしまう。このように、ToF方式では、ダイナミックレンジ(SN比)に余裕が少ないため、数cm~数百mなどの広い範囲の距離計測が不可能となる。
【0068】
このように、チャープ変調方式は、照明光の電力をチャープ変調時間に拡散して照明するため、受光する回路系のダイナミックレンジに余裕があり、ToF方式のような近距離の強い反射による回路系の飽和などを回避でき、数cmから数百mの広い範囲に渡って、高い精度の距離検出が可能である。
【0069】
また、キャリア光の振幅をチャープ変調する方式のため、レーダーの妨害抑制技術だけでなく、光通信の混信回避技術を二重に適用することができる。また、方位分解能が高いことを利用し、AIなどの判定機構と連動することで、他の車両の距離検出センサーの照明光や強い外光による妨害を回避して距離を検出することができる。
【0070】
また、第1実施形態によれば、撮像素子を使用してカラー画像と距離画像を同時に検出することができ、撮像装置と一体となった小型、低価格のセンサーを実現できる。
【0071】
また、電波防護規制のような規制が無いため、設計の自由度が高く、ロボットやドローンなど、様々な用途への適用が容易である。
【0072】
また、方位分解能が高いことを利用し、AIなどの判定機構と連動することで、光無線通信の受信を行うことができる。
【0073】
図5は、第1実施形態の変形例を示す。
シンセサイザー発振器31などで生成した、例えば、0.1~1.1GHzの線形チャープ変調信号32によって、照明光源33の出力光をon-offし、照明光34として、距離を検出する物体35を照明する。
【0074】
照明光源33は、中心波長1550nmの赤外線LDやSLD(super luminescent diode)などの高速スイッチングが可能な発光ダイオードを使用する。
【0075】
赤外LDは、光通信などの流通量から低価格なものが多い。また、波長1550nmの赤外線は、人間の目の安全性が高く、外界光に少なく、大気中の減衰が少なく、雨中における減衰が76~77GHzのミリ波レーダーとほとんど変わらないという特徴を持つ。
【0076】
照明光源33の出力光のon-offは、上記した発光ダイオードの直接スイッチング、又は、EA(Electro-Absorption)変調器、マッハツェンダ(MZ)変調器などの外部接合素子を用いて行われる。
【0077】
物体35からの反射光36を、撮像光学系37で撮像素子38に結像する。その際に、参照光源39の出力光を線形チャープ変調信号32によってon-offした参照光40を、合波器41によって反射光36に合波する。
【0078】
そして、撮像素子38で受光すると、チャープ信号間のヘテロダインによって、物体35の距離画像に対応した周波数の干渉縞信号が、撮像素子38の各受光画素に生じる。参照光源39として、中心波長1550nmの赤外線LDやSLDなどが使用されている。
【0079】
このとき、参照光源39の位置を、撮像光学系37の射出瞳の位置と光学的に共役になるように、光学系42によって設定する。それによって、撮像素子38の各画素に結像する主光線と参照光の波面の進行方向を一致させ、ヘテロダインの効率を向上させて画素ごとの強度のムラを抑制することができる。
【0080】
そして、撮像素子38の撮像を高速に繰り返すことで、前述の干渉縞信号を全画素並列にサンプリングして電気信号(干渉縞信号)43に変換する。
【0081】
図6は、電気信号43の処理の流れを示す。FFTなどの周波数変換器44によって画素ごとに周波数成分に変換する。相関器48と距離変換部49によって周波数成分のピーク値を検出し、距離画像に変換する。相関器48の処理について後述する。
【0082】
反射光36のキャリア光と、参照光40のキャリア光の時間コヒーレンスと空間コヒーレンスが十分に低い場合、キャリア光間のヘテロダイン振幅が、撮像素子38のサンプリング撮像の露光時間平均と受光画素上の面積分によって、それぞれの電力の積に近づく。そして、SN比の高い干渉縞信号を検出することができる。
【0083】
そのときの反射光36と参照光40のヘテロダイン出力Iは、次式で示される。
I=K・PsPL・{1/2・cos[φ(t+d)-φ(t)]+1} (A)
となる。
【0084】
ヘテロダイン出力Iが(A)式で示される理由を後述する。
上式において、
Psは、反射光36のキャリア光の電力、
PLは、参照光40のキャリア光の電力、
φ(t)は、線形チャープ(変調)信号32の位相、
tは、時間、
dは、反射光36と参照光40の光路差による時間遅延、
Kは、受光画素の特性で決まる定数、を示す。
【0085】
(A)式によれば、チャープ信号間のヘテロダインによって物体までの距離(dに比例)に比例した干渉縞信号が各画素に生じる。それらの振幅が、各画素の反射光36の電力Psに比例し、参照光の電力PLによって増幅されることになる。
【0086】
(A)式に沿った具体例を述べる。高速回転する物体をストロボスコープで照明したとき、ストロボ光の点滅が回転の周期と一致すると物体が止まって見える。ストロボ光の点滅が回転の周期よりも僅かに低くなると物体がゆっくり回転する。ストロボ光の点滅が回転の周期よりも僅かに高くなると物体が逆回転して見える。
【0087】
このとき、観察者の網膜上の一点に結像される光は、室内照明光による物体からの反射光が、物体の回転で輝度変調されていて、それにストロボ点滅で輝度変調された物体からの反射光が加わる形になっている。
【0088】
網膜が反射光を受光すると、2つの変調信号間のヘテロダインが生じ、目の残像効果により時間平均される。そして、物体の回転とストロボ点滅の差の低い周波数の輝度変調が残り、上記の現象が観察される。
【0089】
室内照明光とストロボ光は、インコヒーレント光のため干渉性を有さない。物体像の明るさは、室内の照明光とストロボ光の明るさ(光強度)の積に比例して変わる。室内光を明るくしても、ストロボ光を明るくしても物体像は明るくなる。そのとき、物体像や回転の動きは変化しない。ここで、室内光とストロボ光にわざと干渉性を持たせると、物体像の明るさが変動したり、干渉縞が生じたり、回転の動きが変動して見えたりするようになる。
【0090】
撮像素子38の代わりに1次元配列の受光センサーを使用しても良い。撮像光学系37の結像面を、1次元配列受光センサーを配列方向と交差する方向に1次元に走査しながら干渉縞信号をサンプリングし、上述の処理を行っても距離画像を得ることができる。
【0091】
さらに、以下(a)、(b)、(c)の何れかの構成でも良い。
(a)単体の受光素子を使用し、撮像光学系37の結像面を2次元に走査して距離画像を得ることもできる。
(b)1次元配列のセンサーを結像面に設置し、センサーの配列方向と交差する方向の照明光の指向性を高めて物体35を照明し、配列方向と交差する方向に1次元に走査することで距離画像を得ることもできる。
(c)単体の受光素子を撮像光学系37の結像面に設置し、ビーム状に収束した照明光によって物体35を2次元に走査することで距離画像を得ることもできる。
【0092】
このように、2次元配列された受光素子により、
又は、1次元配列された受光素子を、結像光学系の結像面を1次元配列方向と交差する方向に1次元走査することにより、
又は、単一の受光素子を、結像面を2次元走査することにより、
又は、1次元配列された受光素子を結像面に設置し、照明光の1次元配列と交差する方向の指向性を高めて物体を方向に1次元走査することにより、
又は、単一の受光素子を結像面に設置し、照明光の指向性をビーム状に高めて物体を2次元走査することにより、
物体の画像を撮像するのと同時に、干渉縞信号を2次元の位置で検出する2次元検出機構を備えることが望ましい。
【0093】
図6に示した相関器48の処理について説明する。
干渉縞信号43は、周波数変換器44によって周波数成分45に変換される。周波数軸上において、相関器48によって干渉縞信号の周波数成分45と複素共役となる参照信号(基準信号)47との相関演算が行われる。
【0094】
そして、相関器48の出力は、距離変換部49において、データ補間がされる。そして、ピーク値が検出され、後述する(8)式に従って、物体35までの距離Lに変換される。
【0095】
図7は、高調波を示す。参照信号47を生成する参照信号生成部46について述べる。キャリア光をスイッチングしてチャープ変調を行う矩形波の周波数成分は、図7に示すように、基本波53に加えて、基本波の2n+1(n:0を含む自然数)倍の高調波を有している。
【0096】
図7の符号(第一高調波)54は、n=1のときの第一高調波である。n=2以上の高調波の振幅は小さく、更に、光源のスイッチングの応答時間によって抑えられるため無視できる。また、光源のスイッチングの立上りと立下りの時間が異なると、2nの位置にも高調波が出現するが、これも振幅が小さく無視できる。
【0097】
図8は、干渉縞信号の周波数を示す。上述したように、干渉縞信号の周波数成分45は、基本波53のチャープ信号のヘテロダインで生じる干渉縞信号の周波数55と、第一高調波54のチャープ信号のヘテロダインで生じる干渉縞信号の周波数(成分)56を有する。
【0098】
この2つの干渉縞信号の周波数(成分)55、56が、物体35までの距離に応じて、図8に示すように変化する。そして、物体35の距離が遠くなり、第一高調波54のチャープ信号で生じた干渉縞信号の周波数56が、サンプリングのナイキスト周波数57を超えると、折返し成分58が生じる。折返し成分58が、0周波数を下回ると、更に折返し成分59が生じる。
【0099】
以上のように、物体35の距離に応じて干渉縞信号の周波数成分56が変化する。このため、相関器48で相関演算を行う参照信号47を、干渉縞信号の周波数成分56の変化に合わせて変化させる。
【0100】
このように、物体35の距離に応じて変化する干渉縞信号の周波数成分45と、それを考慮した参照信号47との相関演算を行う。そして、距離変換部49においてデータ補間を行ってピーク値を検出すると、高調波成分をピーク値に集約することができる。この結果、干渉縞信号のSN比を上げることができる。後述するように、距離検出精度は、距離分解能とSN比に比例し、例えば、SN比が40dBのとき、距離検出精度は、距離分解能の1/40程度の値になる。
【0101】
また、干渉縞信号の周波数55と初期位相は、後述する(6)式によって算出することができる。干渉縞信号の周波数56についても、(6)式のaとf0を3倍にすることできるので。(7)式によって算出することができる。
【0102】
それらの算出結果から折返し成分を算出することができる。それらの振幅を正規化して位相共役をとれば、参照信号47を算出することができる。
【0103】
又は、反射体を適切な距離に置き、干渉縞信号の周波数成分を前もって計測し、それ以外の距離の参照信号を補間によって算出してもよい。温度変化によってLDのスイッチング波形の立ち上がりと立下り時間が変化すると、高調波の振幅が僅かに変化したり、基本波の2倍の周波数の高調波が生じたりする。ここで、それらの振幅は小さいため無視できる。
【0104】
チャープ信号間のヘテロダインによって干渉縞信号が生じる理由と、キャリア光のコヒーレンスが低いと、キャリア光間のヘテロダイン振幅が一定値に近づく理由を説明する。
【0105】
キャリア光のコヒーレンスが低く、空間的にもランダムな位相を有する場合、それらの受光画素上の空間コヒーレンスによって、反射光36と参照光40のヘテロダイン出力が異なる。
【0106】
そこで、反射光36のキャリア光の電場成分と、参照光40(図5参照)のキャリア光の電場成分を、時間tと受光素子の受光面上の位置rの関数とする。チャープ信号の場合は、基本波の波長が受光素子の大きさの10倍ほどの大きさである。このため、位置rの変化に対する位相変化が極めて小さく、時間tのみの関数として説明する。
【0107】
ここで、
反射光36のキャリア光をAs(r,t)、
参照光40のキャリア光をAL(r,t)、
キャリア光As(r,t)とAL(r,t)の振幅をチャープ変調している振幅1の矩形波関数を、それぞれ、S(t+d)、S(t)、とすると、
受光画素上の位置rに結像された反射光36の電場成分と参照光40の電場成分は、それぞれ、As(r,t)S(t+d)と、AL(r,t)S(t)となる。
dは、反射光36と参照光40の光路差に応じた遅延時間を示す。
【0108】
このとき、反射光36と参照光40を合波して受光したときのへテロダイン振幅H(r,t)は、
H(r,t)=As(r,t) S(t+d)・AL(r,t) S(t) (B)
となる。
【0109】
(B)式のS(t+d)とAL(r,t)を入れ替えて、
H(r,t)=As(r,t) AL(r,t)・S(t+d) S(t) (C)
とする。
【0110】
As(r,t) AL(r,t)が、反射光36と参照光40のキャリア光間のヘテロダイン振幅を示し、S(t+d) S(t)が、チャープ信号間のヘテロダイン振幅を示す。
【0111】
このとき、キャリア光As(r,t) AL(r,t)の両方、もしくは一方の受光画素上の相関距離が、空間的、及び、時間的に極めて短いとき、後述するように、キャリア光間のヘテロダイン振幅As(r,t) AL(r,t)は、サンプリング撮像の露光時間平均によって受光画素上の位置に関わりなく一定値に近づく。そして、受光画素上の面積分によって、それぞれの電力値の積に収束し、S(t+d) S(t)のヘテロダインで生じた干渉縞信号をSN比を良く検出することができる。
【0112】
ここで、
受光画素上の2つの位置をr1、r2、
サンプリング撮像の露光時間をτ、としたとき、
H(r1,t)とH(r2,t)の相関関数C(r1,r2)は、
【0113】
【数1】
となる。
【0114】
反射光36と参照光40のヘテロダイン出力Iは、相関関数C(r1,r2)を、受光画素上のr1とr2について、次式の積分を行うことで得られる。Kは、撮像素子38の受光画素の特性で決まる定数を示す。
【0115】
【数2】
【0116】
振幅1の矩形波関数S(t+d)とS(t)は、2乗しても同じ矩形波関数になる。このため、(1)式のH(r1,t) H(r2,t)を、
H(r1,t) H(r2,t)=As(r1,t) AL(r1,t)・As(r2,t) AL(r2,t)・S(t+d) S(t) (D)
とする。
【0117】
さらに、S(t+d)とS(t)を、それらの周波数成分の基本波と直流成分の式、cosφ(t+d)+1とcosφ(t)+1に置き換えて説明する。
【0118】
S(t+d)とS(t)の高調波成分で生じる干渉縞信号についても同じ考え方を以って説明することができる。ここで、振幅の係数は説明上意味を持たないので省略する。
【0119】
(D)式のS(t+d)とS(t)を、cosφ(t+d)+1とcosφ(t)+1に置き換え、AL(r1,t)とAs(r2,t)の位置を入れ換えて、
H(r1,t) H(r2,t)=As(r1,t) As(r2,t)・AL(r1,t) AL(r2,t)・[cosφ(t+d)+1] [cosφ(t)+1] (E)
とする。
【0120】
(E)式の[cosφ(t+d)+1] [cosφ(t)+1]を三角関数の積和の式で展開してから、(1)式を経て(2)式に代入する。キャリア光、As(r,t)とAL(r,t)の時間コヒーレンスと空間コヒーレンスが十分に低い場合、受光素子上のキャリア光、As(r1,t) とAs(r2,t)、および、AL(r1,t) とAL(r2,t)の空間的相関距離が極めて短く、上式のAs(r1,t) As(r2,t)とAL(r1,t) AL(r2,t)のヘテロダイン振幅は、rの位置に関わりなく時間軸上で2乗検波がなされる。よって、サンプリング撮像の時間平均によって一定値に近づく。
【0121】
そのとき、周波数の低い干渉縞信号を示す以下の項が残る。
As(r1,t) As(r2,t)・AL(r1,t) AL(r2,t)・{1/2・cos[φ(t+d)-φ(t)]+1}
その他の項は、サンプリング撮像の時間平均によって0に収束する。
【0122】
そして、1/2・cos[φ(t+d)-φ(t)]+1は、変数rを持たない。このため、(2)式の積分から外れて係数項となる。上式のAs(r1,t) As(r2,t)・AL(r1,t) AL(r2,t)が、(1)式の時間平均と(2)式の受光画素上の積分によって、受光画素上のキャリア光の全電力の積、K PsPLに収束する。
【0123】
結果として、反射光36と参照光40のヘテロダイン出力Iは、前述した式と同じ、
I=K PsPL {1/2・cos[φ(t+d)-φ(t)]+1} (3)
となる。
【0124】
(3)式から、チャープ信号間のヘテロダインによって、遅延時間d(図2の符号3)に対応した低い周波数(図2の符号2)の干渉縞信号が生じ、その振幅は、反射光の電力Psに比例し、参照光の電力PLによって増幅されることが分かる。
【0125】
本例において干渉縞信号のSN比を確保する方法について述べる。
反射光36と参照光40を合波して受光し、干渉縞信号を検出する際に、キャリア光のコヒーレンスが十分低くないと、キャリア光間のヘテロダインによって干渉縞信号と同等の低い周波数成分が一部生じてしまう。そして、サンプリング撮像の露光時間で平均化されずに、干渉縞信号の雑音(ビート雑音、スペックル雑音)として残る。
【0126】
反射光36と参照光40のキャリア光の受光画素上の空間周波数成分の帯域幅を広くすると、キャリア光間のヘテロダイン振幅の空間周波数成分が、それらの畳み込み積分によって更に広くなる。そして、(3)式の干渉縞信号の係数K Ps PLが大きくなる。それに対して、雑音電力の帯域幅は、サンプリング露光時間が一定のため変わらず、干渉縞信号の電力SN比が上がる。
【0127】
ここで、光の時間コヒーレンスは、光の進行方向の空間周波数成分の帯域幅の逆数に比例し、空間コヒーレンスは、光の進行方向を法線とする面の空間周波数成分の帯域幅の逆数に比例する。
【0128】
このため、上記の「反射光36と参照光40のキャリア光の受光画素上の空間周波数成分の帯域幅を広くすると、干渉縞信号の電力SN比が上がる」ということは、「受光画素上のキャリア光の時間コヒーレンスと空間コヒーレンスを低くすると、干渉縞信号のSN比が上がる」と言い換えることができる。
【0129】
波長1550nmの赤外LDは、GHz単位の直接スイッチングが可能で、小型、低価格のため、on-offスイッチングによってチャープ変調を行う際の光源に適する。
【0130】
出力光の時間コヒーレンスと空間コヒーレンスが、それなりに高いため、周波数帯域幅は15GHzと狭い。検出する最長距離を150m、チャープ時間を15ms、帯域幅を1GHzとすると、後述する(7)式から干渉縞信号の周波数は67kHzとなる。
【0131】
サンプリング周波数は、その2倍以上の150kHz程度が必要となる。そのときのキャリア光の周波数帯域幅と、サンプリング露光によるローパスカットオフ周波数の帯域幅の比、即ち電力SN比は94dBとなる。
【0132】
干渉縞信号の振幅SN比は、その半分の47dBになる。遠距離での干渉縞信号の減衰を考慮したとき、60dBのSN比が必要と考えると、12dBほど不足していることになる。そこで、以下に示す方法を講じて、キャリア光の広帯域化を図り、SN比を確保する。
【0133】
次に、キャリア光の時間コヒーレンスと空間コヒーレンスを低減させる方法を述べる。
光源の光強度確保を兼ね、光源光の主軸を法線とする面に、複数のLD光源を2次元に配置し、出力光を合成することで、コヒーレンスを低減させることができる。
【0134】
2次元に配置されるLD光源から照射される光源光の径の大きさに直線的に比例して、合成光のコヒーレンスを低下することができる。このときの空間コヒーレンスの低減は、時間コヒーレンスよりも遥かに効率が高い。
【0135】
受光画素面上で合波された複数のLD光の空間周波帯域幅が、広く均一になるように、LD光源の周波数帯域幅(波長帯域幅)とその包絡線の波形を鑑みて、2次元に配置されるLD光源間の間隔を適宜選択する。
【0136】
このとき、スタガ同調と同様に、複数のLDの中心波長をずらしながら、周波数帯域の一部を重ねて広く均一になるように合成すると、時間コヒーレンスを含めて、空間コヒーレンスの低減を、更に効率良く行なうことができる。
【0137】
光源のアッセンブルの構造上、光源間の間隔を広くせざるを得ない場合、コリメータ光学系とフライアイ光学系とケーラー照明光学系を使用して、光源を細かい配置に分割する。更に、それを上記の方法と組み合わせることで、コヒーレンスの低減を効率良く行なうことができる。そのとき、フライアイレンズの長さをランダムにして、時間コヒーレンスを含めて低減できる。
【0138】
また、スイッチングスピードが許せば、LDの代わりに、面発光型のSLDやLEDなどの低コヒーレンスの発光ダイオードを使用してもよい。これらの低コヒーレンスの発光ダイオードは、近年、可視光通信や光無線、Li-Fi(Light Fidelity)などへの期待から、更なる高出力化とスイッチングの高速化が進められている。
【0139】
また、直接スイッチングの代わりに、EA素子のような外部スイッチング素子を使用して高速スイッチングを行うこともできる。ただし、これらの低コヒーレンス光源は、時間コヒーレンスは低いが、空間コヒーレンスが高い(点光源性を有する)ものが多いため、上記した空間コヒーレンスを低減させる手段と組み合わせる必要がある。
【0140】
また、照明光と参照光のキャリア光の光源を別にすることで、キャリア光間の位相と偏波面をランダムにして、ビート雑音を広帯域に拡散させることができる。
【0141】
また、照明光を分波器で分波してファイバー束で導光し、参照光として使用することもできる。LDのコヒーレンス長は10cm程度である。このため、物体までの往復距離が1m以上になる場合、反射光の時間コヒーレンスが既に十分崩れており、また、マルチモードのファイバー束などを使用して、ファイバー束の長さと径を調節することで、時間コヒーレンスと空間コヒーレンスを更に低減させることができる。
【0142】
上記した方法以外にも、キャリア光のコヒーレンスを低減させる手段が多数存在するが、一つの手法でインコヒーレントに近い光を実現できる手段はない。用途に応じて、幾つかの手法を組合せて、必要十分なキャリア光のコヒーレンス低減を図り、前述したビート雑音に対する干渉縞信号のSN比を確保することになる。
【0143】
図9は、キャリア光のコヒーレンスと光源大きさの関係を示す。いずれの場合も、照明光と参照光の発光部の大きさを、図9に示す範囲61に設定する。そして、照明光と参照光に同一のチャープ変調を施すことで、チャープ信号の時間コヒーレンスと空間コヒーレンスを保持しつつ、キャリア光の時間コヒーレンスと空間コヒーレンスを必要十分に低減することが必要である。
【0144】
図9において、グラフ62は、発光部の大きさに対するキャリア光の空間コヒーレンスの低下を示し、グラフ63は、チャープ信号の空間コヒーレンスの低下を示す。図9では、紙面の都合上、範囲61が狭く表記されているが、キャリア光とチャープ信号の波長の比は5桁ほどあるので、実際の範囲61はかなり広く、以上に述べた設定を行うことは容易である。
【0145】
反射光36のグラフ62は、物体35までの距離や倍率(画角)、受光画素の大きさによって変わる。このため、グラフ62は、最も条件の悪いときのコヒーレンス低減のグラフを使用し、チャープ信号のグラフ63は、コヒーレンスの低減が最も良い条件のときのグラフを使用する。
【0146】
参照光40の場合は、光源から受光素子までの距離が短く一定のため、設定できる範囲61が広く、コヒーレンスの低減は容易である。
【0147】
次に、RGB画像と距離画像を同時に検出する撮像素子38について述べる。
400nm~1700nmの波長特性を有する134万画素の撮像素子が市販されている。受光部をInGaAsの半導体で構成し、読出し機構などの回路系がSiで構成され、それらを結合させた2層構造の撮像素子である。
【0148】
図10は、撮像素子の正面構成を示す。このような撮像素子を使用し、図10に示すように、RGBの色フィルタとIRの波長フィルタをモザイク状に配列する。IRフィルタの波長特性は、中心波長が1550nmで、不要な外光による雑音を防ぐために照明光34と参照光40の波長帯域に適合させてある。
【0149】
このような撮像素子38を高速駆動することで、IR画素で生じた干渉縞信号を全画素並列にサンプリングし、図6に示した周波数変換器44と相関器48、距離変換部49の処理を経て距離画像を検出する。
【0150】
並行して、高速撮像で得られた多数のRGB画像とIR画像を、図示に無い累積加算器によって累積加算し、ダイナミックレンジの広いRGB画像とIR画像を得る。
【0151】
このRGB画像とIR画像から、AI51が、外界の物体検出に加え、妨害となる他の車両の距離検出装置の照明光や外光の位置を判定し、その位置に対応する干渉縞信号の画素を除外できる。AI51は、自動運転やロボットの物体検出に欠かせない判定機構である。AI51の物体検出について後述する。
【0152】
上記の距離画像を得る手段を、ロボットの視覚センサーに適用する場合について述べる。RGB画像とIR画像と距離画像を併合し、一画素当たり5チャネルの情報を有する画像としてAI51に学習させる。
【0153】
ロボットが扱う物体のなかにはRGB画像による形状や、テクスチャー、色だけで判別できないものも多い。このため、画像に加えて、距離検出によって得た3次元形状の情報(距離画像)から、作業対象物のカテゴリ分類(classification)の精度を上げることができる。そして、ロボットのハンドピースが把持する3次元位置を検出することができる。
【0154】
例えば、作業対象物の距離検出の範囲を、0~0.3mと0.3~3mの2段階に分ける。距離が3mのときに、チャープ変調幅を3GHzに設定して距離検出精度を1.25mmにする。すると、干渉縞信号の周波数は4kHzとなる。撮像素子に必要なフレームレートは8000フレーム/秒となる。
【0155】
そして、ロボットのハンドピースが0.3mに近づいたときに、チャープ変調帯域幅を30GHzに切換えて距離検出精度を125μmにすると、干渉縞信号の周波数が4kHzとなる。
【0156】
撮像素子に必要なフレームレートは、同じく8000フレーム/秒となり、現状の撮像素子の高速撮像で実現できるレベルとなる。30GHzを超えるスイッチングは、LDの出力光をマッハツェンダ素子などでスイッチングすることで得られる。
【0157】
そして、上述したように、5チャンネルの画像から、AI51が、ロボットの作業空間で使用される複数の距離センサーや外光による妨害を判定し、それらの影響を回避することができる。
【0158】
次に、車両のように、RGB画像の検出と遠距離の距離検出を同時に行うときの撮像素子38の駆動について説明する。
【0159】
車両の場合は、検出距離が150mと長いため、チャープ変調帯域幅を1GHzにしても、干渉縞信号の周波数は67kHzと高くなる。この干渉縞信号を撮像素子38の高速撮像によって全画素並列にサンプリングすると、サンプリング定理から134000フレーム/秒以上の高速撮像が必要になり、現状の撮像素子の高速撮像の限界を超えてしまう。
【0160】
ただし、車両における物体検出は、自動運転に関わる物体35を検出し、その距離を検出すればよい。このため、自動運転に関わる物体の大きさと位置を検出するbounding boxや、領域と位置を検出するsemantic segmentationなどのAIの物体検出の手法を用いる。そして、物体35の距離検出が必要な局所部分に対応するIR画素の干渉縞信号だけを読み出すようにする。これにより、読み出す画素数が少なくなり、干渉縞信号をサンプリングするレートを十分高くできる。
【0161】
図11は、物体が複数存在する状況を示す。図11に示すように、安全運転に関わる物体である自動車70A、70Bが複数存在する場合、RGB画像とIR画像から、AI 51が、妨害光75、76を回避して、それらの物体70A、70Bの距離を検出する複数の局所部分71、72、73、74を判定する。
【0162】
図6の参照符号52は、AI51が、RGB画像とIR1画像から判定した干渉縞信号を検出する物体の局所位置の画素のアドレスと、IR2画像から判定した光無線通信を受信する位置の画素アドレスを、図5の撮像素子38の読出し機構に伝達する信号を示す。
【0163】
その結果(図6の符号52)を受けて、撮像素子38の読出し機構が、AI51が判定した複数のIR画素の干渉縞信号を、同じサンプリングレートになるように、ランダムアクセスによって順次読み出すことを繰り返す。
【0164】
これによって、撮像素子38のフレームレートを一桁程度上げるだけで、必要なサンプリングレートを十分に確保できる。妨害光75と妨害光76は、妨害となる他の車両の距離検出装置の照明光源の位置を示している。
【0165】
図12は、撮像素子の水平ラインの画素の読出しを示すタイミングチャートである。撮像素子38によって、RGB画像とIR画像の読出しと同時に、AI51が判定したIR画素の干渉縞信号を高速にサンプリングする方法について述べる。
【0166】
撮像素子38の水平ラインの画素の読出しと、AI51が判定したIR画素が含まれる水平ラインの読出しを、順次繰り返すことで、RGB画像とIR画像の読出しと同時に、AI51が判定した複数のIR画素の干渉縞信号を高速にサンプリングすることができる。
【0167】
撮像素子38にCMOS撮像素子を使用する場合、AI51が判定した距離検出が必要なIR画素(図11の符号71~74に対応)を含む水平ラインをm、n、o、pとしたとき、図12に示すように、先ず、水平ライン1のR画素とG画素の信号を、符号81のタイミングで撮像素子38の水平シフトレジスタに移す。そして、符号82のタイミングで蓄積電荷のリセットを行ない、R画素とG画素の水平読出しとフレーム周期83の露光を開始する。
【0168】
続けて、水平ラインm、n、o、pを順次選択する。符号84~87のタイミングでB画素とIR画素の信号を水平シフトレジスタに順次移しながら、符号88~91のタイミングで順次リセットを行う。B画素とIR画素の水平読出しとサンプリング周期92~95の露光を順次開始する。
【0169】
次に、水平ライン2に移り、B画素とIR画素を、符号96のタイミングで水平シフトレジスタに移し、符号97のタイミングでリセットを行ない、B画素とIR画素の水平読出しとフレーム周期98の露光を開始する。
【0170】
続けて、再度、水平ラインm、n、o、pを順次選択し、B画素とIR画素の水平読出しとサンプリング周期の露光を開始する。以上の処理を、水平ラインの数だけ繰り返すことで、RGB画像とIR画像の検出と同時に、AI51が判定したIR画素の干渉縞信号のサンプリングを行う。
【0171】
このとき、水平ラインm、n、o、pのB画素の露光時間が、干渉縞信号のサンプリング周期92~95になる。このため、フレーム期間内で累積加算を行い、水平ラインm、n、o、pにおけるB画像を得る。
【0172】
ただし、累積加算を行っても、水平シフトレジスタへの信号移転とリセットの時間の分、僅かに露光時間が不足するため、利得を調整して補正する。これによって、RGB画像とIR画像を得るのと同時に、AI51が、距離検出が必要と判定した4つの位置71~74に対応するIR画素の干渉縞信号を高速にサンプリングできる。検出したRGB画像とIR画像の情報は、AI51の次の判定に使用される。
【0173】
いま、チャープ変調帯域幅を1GHzと、
チャープ時間を15msと、
物体35までの最長検出距離を150mとしたとき、
干渉縞信号の最大周波数が67kHzになる。
【0174】
AI51が判定した画素が4つの場合、5倍の750kHz程度の水平走査周波数が必要になる。これをHD撮像素子のフレームレートに換算すると、600フレーム/秒程度となる。既存のHD撮像素子の高速撮像の技術で十分実現できるレベルにある。
【0175】
このように、本実施形態の好ましい態様では、
2次元検出機構で撮像した画像から、物体の距離の検出を妨害する妨害光の位置を検出し、物体の距離の検出を行う局所位置を判定する判定機構と、を有し、
妨害光を回避して物体の局所位置の距離を検出することが望ましい。
また、本実施形態の好ましい態様によれば、
2次元検出機構で撮像した画像から、光無線通信の受信を妨害する妨害光の位置を判定し、光無線通信を受信する光無線通信装置の送信機の位置を判定する判定機構と、を有し、
妨害光を回避して光無線通信を受信することが望ましい。
【0176】
撮像素子38を使用して、光無線通信を受信する方法について述べる。
図13は、フィルタの正面構成を示す。撮像素子38が光無線通信の受信機能を兼ねる場合は、図13に示すように、撮像素子38の画素に、カラー画像検出用のRGBの色フィルタと、距離検出用のIR1のフィルタと、光無線通信用のIR2のフィルタをモザイク状に配列する。
【0177】
これらの画素の読出しのタイミングは、図12のタイミングチャートに、光無線通信用のIR2画素の読出しとリセットのタイミングを追加したものとなる。AI51が判定したIR1画素とIR2画素が、それぞれ4つある場合、水平走査の繰返し周波数は、図12のタイミングチャートの9倍の1200kHzとなる。撮像素子のフレームレートに換算すると、1150フレーム/秒となり、既存のHD撮像素子の高速撮像の技術で実現できるレベルとなる。このとき、光無線通信の通信容量は、67kbpsとなる。
【0178】
又は、多板プリズムを使用し、ダイクロイックミラーによってRGB画像用の波長帯域と、距離計測用のIR1の波長帯域と、光無線通信用のIR2の波長帯域を分離、それぞれの検出に適した専用の撮像素子を設けてもよい。
【0179】
以上に、CMOS撮像素子の受光部の基本構成を変えずに、水平ラインをランダムに選択できるようにすることで、RGB画像とIR画像の検出と同時に、AI51が判定したIR画素の干渉縞信号の高速サンプリングと、光無線通信の受信を可能にする方法を述べた。
【0180】
CMOS撮像素子の画素の半導体の構成と読出し機構を変更することで、更に高速のIR画素の干渉縞信号のサンプリングと光無線通信の受信を行うことができる。
【0181】
例えば、まず、CMOS撮像素子の水平走査回路と垂直走査回路を、画素をランダムに選択できる回路構成(デコーダー回路など)に変更する。加えて、水平ラインの画素の電荷をリセットする各画素のトランジスタに、垂直ラインをリセットするトランジスタを直列に配置(カスコード接続)する。これにより、画素ごとのリセットをXYマトリクススイッチで行う構成にする。
【0182】
前述と同様な手順によって、撮像素子38の受光画素の読出しと、AI51が判定したIR画素の読出しを、画素単位で順次繰り返すことが可能になる。RGB画像とIR画像の検出に並行して、IR画素の干渉縞信号のサンプリングレートと光無線通信の受信容量を3桁ほど上げることができる。ただし、画素ごとに垂直ラインをリセットするトランジスタが一つ増えるのと、それを駆動する信号の配線が垂直ラインごとに一つ増えることになる。
【0183】
また、このときに、受光部にInGaAsのPIN型半導体や、IRの受光画素に単一光子アバランシェダイオード(SPAD:single photon avalanche diode)などの半導体構成を用いれば、高い周波数の干渉縞信号を高感度に検出することができる。また、高いビットレートの光無線通信を高感度に受信できる。
【0184】
図14図15は、それぞれ第2実施形態の変形例に係る測距装置の概略構成を示す。
【0185】
シンセサイザー発振器101などで生成した、例えば、0.1―1.1GHzの線形チャープ信号119Aによって照明光源102の光をon―offする。サーキュレータ103を介した後、光学系104でビーム状に絞る。
【0186】
照明光105として、2次元走査機構106によって物体107を2次元に走査する。照明光源102には、中心波長1550nmのLDやSLDなど、高速スイッチングが可能な発光ダイオードが使用される。
【0187】
物体107からの反射光108を、光学系104とサーキュレータ103を介した後、分波器109によってIR1、IR2、R、G、Bの波長帯域ごとに分波する。そして、光スイッチ115と光スイッチ116を介して、受光素子110、111、112、113、114に入力し、電気信号に変換する。
【0188】
符号IR1は、照明光源102で生成された中心波長1550nmの赤外光を示す。符号IR2は、外部の赤外通信用の光を示す。ここで、サーキュレータ103と、分波器109と、光スイッチ115と光スイッチ116、受光素子110、111、112、113、114は、光ファイバーで接続された光デバイスである。光ファイバー通信では同様な光デバイスが多用されている。
【0189】
図15に示したAI120 が、妨害を回避しながら距離検出の必要な位置(図11の71―74)を判定する。そして、その指示121に従い、照明光105のビームの走査が、その位置(図11の71―74)に重なる時に、光スイッチ115が、受光素子117に接続を切り換える。
【0190】
その位置(図11の71―74)以外は、受光素子110に接続し、符号IRIの画像信号を検出する。受光素子117は、InGaAsのPIN型半導体などで構成されていて、電流電圧変換型の増幅器を有し、SN比の高い高速の直接検波が可能である。
【0191】
反射光108のチャープ信号を直接検波して電気信号に変換し、検波したチャープ信号に、混合器(ミキサー)118によって、チャープ信号119Aを参照信号として乗じ、干渉縞信号を検出する。
【0192】
この干渉縞信号を、図6に示した処理と同様の処理を施し、物体107までの距離を検出する。そのとき、全画素の距離を検出するようにすれば、距離画像を得ることができる。
【0193】
又は、受光素子117と混合器118の代わりに、アバランシェ効果によって単一光子の受光(ガイガーモード)が可能で、かつ、高速の直接スイッチングによってヘテロダイン検波が可能な受光素子、例えば、単一光子アバランシェダイオード(SPAD)などを使用する。ノイズフィギュアの高い受光増幅と同時に、チャープ信号119Aでスイッチングすることでヘテロダイン検波を直接行い、干渉縞信号を検出してもよい。
【0194】
同様に、AI120が、太陽光の強い反射などの妨害光(不図示)を回避しながら光無線通信を受信する位置(図11の符号77、78)を判定する。指示122に従い、位置(図11の符号77、78)に照明光105のビームの走査が重なる時に、光スイッチ116が、不図示の光無線受信機の入力端子に接続される光ファイバーの信号線に切り換える。
【0195】
図11の符号77、78は、それぞれ他の車両に設置された光無線送信機の位置を示している。又は、側道に設置された位置情報を提供する光無線送信機であってもよい。その場合、このような送信機が提供する位置情報と、本発明の距離検出装置によって検出した送信機と車両の相対位置から、GPSに代わって、センチ(cm)レベルの精度で現在位置を検出することができ、マップと電子的に照合することが可能になる。
【0196】
位置(図11の符号77、78)以外は、受光素子111に接続し、IR2画素の画像信号を検出する。
【0197】
分波されたR、G、Bの光も、カラー画像として受光素子112~114によって電気信号に変換される。そして、IR1、IR2、R、G、Bの信号は、5チャネル/画素の画像としてバッファメモリ119を介してAI120に入力される。
【0198】
次のタイミングの物体検出、および、妨害光を回避する位置や、距離検出や光無線通信の受信が必要な位置の判定が行われる。
【0199】
上記したように、図14の第2実施形態の変形例21Bは、ビーム状に絞った照明光105によって物体を2次元に走査することで、単一の受光素子117を使用して距離画像を検出する例である。
【0200】
更に、新たな第2実施形態の変形例として、図5の第1実施形態の変形例11Aの撮像素子38の画素の受光部に、InGaAsのPIN型半導体やSPADなどの高感度で、高速スイッチングが可能な半導体を使用しても良い。
【0201】
反射光36のチャープ信号を、高感度に受光しつつ、図5に示したチャープ変調の参照信号32によってスイッチングすることで、受光画素ごとにヘテロダイン検波を直接行って干渉縞信号を検出し、距離画像を得るようにしてもよい。そのとき、図5の照明光源33に高コヒーレンス光源を使用することができ、図5の参照光源39と合波器41が不要になる。
【0202】
図6図15に示したAI51やAI120について述べる。物体検出を行うAI51やAI120は、畳み込みニューラルネットワーク、CNN(convolutional neural network)が使用される。CNNは、画像認識のようなパターン認識が得意で、パターン認識をベースとする物体検出に適する。CNNの学習は、主に教師あり学習(supervised learning)によって行われる。
【0203】
判断の場の数が少ない特定領域では、学習データを収集し易く、学習量の差から、コンペティションでAIが人間に優るケースが増えている。AIは、判断の場の数の多い一般領域は、到底人間にかなわない。
【0204】
AIが、特徴空間を仕切って判定を行う際に、学習に使用された画像の特徴ベクトル間の距離が均一でなく偏っていると、過学習や未学習が生じ、判定精度が落ちる。このため、学習データをセットアップするノウハウは重要である。
【0205】
無作為に(ランダムに)データ量を増やせば、偏りが確率的に緩和され、学習データ量の対数値に比例して物体検出精度を上げることができる。しかし、膨大なデータ量をセットアップする必要が出てくる。学習データのセットアップを、特徴空間に基づいて効率化する提案が幾つかなされているが、現時点で決定打はない。
【0206】
AIが、疲れと忘却を知らず、膨大な学習量を昼夜問わずに電気のスピードでこなしてしまうのと、また、その学習量の差から人間に優るケースが増えている現状もあり、世の中の指向は、膨大な学習データをセットアップできるインフラ獲得のほうに向いている。
【0207】
今後、学習データの収集方法が進化すれば、セットアップの考え方と方法が変わり、特定領域においてAIが人間に優るケースが急増することは間違いない。
【0208】
CNNの処理回路の基本構成は、入力層、特徴抽出層、判定層、出力層で構成されるフィードフォワード型の処理回路である。
【0209】
入力層は、1画素当たりの情報チャネル数を、画素数に乗じた入力端子数を有する。情報チャネル数は、RGB画像の場合、3チャネル/画素で、RGB画像と距離画像と速度画像を併合した画像の場合、5チャネル/画素になる。
【0210】
特徴抽出層は、畳み込み層、活性化関数、プーリング層のセットを多段に積み重ねて構成される。情報チャネル数とタスクが多い場合、特徴抽出層の層数を多くすることで、物体検出精度を確保することができる。
【0211】
畳み込み層は、情報チャネル数を次元とする多次元フィルタであって、学習によって獲得したカーネル(ニューラルネットワークの重み係数)の畳み込み演算を行う。そして、特徴マップ(feature map)を抽出する。
【0212】
近傍画素間の相関度が高い浅い層では、主成分分析に近い特徴マップが抽出され、深い層ほど、独立成分分析に近い特徴マップが抽出されるようになる。カーネルサイズは、層数と演算数のバランスから、RGB画像のように3チャネルの場合、3×3×3が多く用いられる。
【0213】
畳み込み層への入力チャネル数をnとすると、カーネルサイズが3となり、学習で獲得したカーネルの種類をmとすると、3の畳み込み演算がm種類行われることになる。次段の畳み込み層の入力チャネル数nは、前段のカーネルの種類の数mである。
【0214】
活性化関数は、m種類の畳み込み演算の出力に、学習で得た重み係数を乗じ、バイアスを加え、非線形な関数変換を行うシンプルな構成である。ファジー論理演算に似た処理が行われることで、次層以降の高次の特徴抽出へ繋げる重要な役割を担っている。活性化関数にはいくつかの種類があり、物体検出では、演算規模とのバランスからrectified linear関数が用いられることが多い。
【0215】
プーリング層は、畳み込み層の出力(特徴マップ)の一定の範囲、例えば、2×2の範囲を一つに収斂(subsampling)するデータ圧縮に似た処理を行う。収斂は、2×2の範囲の信号の中で、独立成分分析(浅い層では主成分分析に近い)の第一主極となる最大値を選択(max pooling)することで行われる。
【0216】
判定層と出力層はタスクに応じて構成される。カテゴリ分類の判定層は、用途に応じて、全結合層と活性化関数のセットを1~2層重ねて構成される。出力層は、カテゴリが多クラスの場合、クラス数と同じ数の出力端子が用意される。判定層と出力層の間に配置する活性化関数は、判定結果を確率で表すために、ソフトマックス関数が使用される。
【0217】
自動運転の物体検出では、物体のカテゴリ分類の判定層と出力層に並列に、物体の大きさと位置を検出(bounding box)や、物体の領域を分類(semantic segmentation)する判定層と出力層が用意される。
【0218】
入力層と特徴抽出層を、特徴ベクトルを抽出するエンコード機能とすると、判定層と出力層は、特徴ベクトルから目的に応じた出力を生成するデコード機能であって、タスクごとに柔軟に構成されることになる。例えば、物体領域を検出するU―Netの構成では、特徴抽出層の段ごとの出力を、ショートカットで取り出し、アンプ―リング(unpooling)と逆畳み込み演算(deconvolution)を行って、物体領域をデコードする。
【0219】
図6に示したAI51と、図15に示したAI120においても、自動運転に必要な物体検出の判定層と出力層に加えて、距離計測が必要な物体の局所位置や、光無線通信を受信する相手の送信機の位置を判定する判定層と出力層が並列に用意されている。
【0220】
そして、RGB画像にIR1画像とIR2画像を併合した5チャンネル/画素の画像を学習データとしてAI51やAI120に学習させておき、本実施形態の距離検出装置で検出した5チャンネル/画素の画像をAI51やAI120に入力することで、AI 51やAI120が、検出が必要なIR1画素やIR2画素を判定し、それらの画素のアドレスを撮像素子38や、図14の光スイッチ115、116に伝えることになる。
【0221】
干渉縞信号の周波数と初期位相、物体までの距離、距離分解能、距離計測精度について述べる。
【0222】
ここで、
0は、線形チャープ変調の開始周波数、
fwは、初期位相をφ、チャープ変調の帯域幅、
Tは、チャープ時間、
a=fw/Tは、チャープ変調の周波数の変化率、
tは、時間、とすると、チャープ信号の瞬時周波数f(t)は、
f(t)= a t + f0
となる。
【0223】
参照光を変調しているチャープ信号の位相をφ(t)、初期位相をφ0とすると、φ(t)は、上式をtについて積分して、
φ(t)=2πf(t) t
=2π(1/2・a t+f0) t+φ0 (4)
となる。
【0224】
反射光と参照光の光路差に対応する時間遅延をdとすると、反射光のチャープ信号の位相φ(t+d)は、
φ(t+d)=2π[1/2・a (t+d)+f0](t+d)+φ0 (5)
と表せる。
【0225】
式(4)と式(5)を、式(3)に代入すると、
I=K Ps PL cos [2π(a・d)t +πa・d2+2πf0・d] (6)
となる。
【0226】
光速をC、物体までの距離をLとすると、L=C・d /2のため、
式(6)から、干渉縞信号の周波数fiは、
fi=a・d =(fw/T) d=2 fw L / C T (7)
となる。
【0227】
干渉縞信号の周波数fiが、物体までの距離L(遅延時間d)とチャープ変調帯域幅fwに比例して高くなり、チャープ時間Tに比例して低くなることが分かる。
【0228】
そして、干渉縞信号の初期位相φ0は、
φ0=πa・d+2πf・d=π/a・fi+2πf/a・fi
となる。
干渉縞の初期位相は、干渉縞の周波数fi(物体の距離)に比例して放物線状に変化する。
【0229】
また、物体までの距離Lは、L=C・d/2である。このため、式(7)から、
L=C・d/2=C・fi/2a=C・T fi /2fw (8)
となる。
距離Lは、干渉縞の周波数fi、チャープ変調帯域幅fw、チャープ時間Tを用いて算出できる。
【0230】
距離分解能ρは、距離方向に並んだ2つの物体を分解できる能力である。ここで、チャープ信号の包絡線が方形波の場合、干渉縞信号の包絡線も方形波になり、そのような干渉縞信号を周波数成分に変換すると、その包絡線の波形はsinc関数になる。
【0231】
そして、sinc関数の半値全幅1/Tが、周波数軸上におけるスペクトル分解能になる。スペクトル分解能1/Tは、距離分解能ρに相当する距離を光が往復したときのfiの変化になる。
【0232】
このため、(7)式のfiとLを、1/Tとρに置き換えて整理すると、距離分解能ρは、
ρ=C/ 2fw (9)
となる。
【0233】
その包絡線の波形は、半値全幅1/Tが1/2fwのsinc関数になる。これから、距離分解能ρが、チャープ変調の帯域幅fwによって一義的に決まることが分かる。
【0234】
距離検出精度は、物体までの距離Lを検出する際の精度で、距離分解能の波形のピークの位置が雑音によって揺らぐ幅になる。ゆえに、距離検出精度は、距離分解能とSN比の両方に比例して高くなる。
【0235】
また、距離検出精度は、SN比が高いほど、距離分解能より十分小さい値になる。前述したように、相関器48によって参照信号47と相関演算を行い、ピーク値を検出すると、距離分解能の波形(sinc関数)がメキシカンハット関数に近くなる。
【0236】
例えば、SN比が40dBある場合、距離検出精度の値は、距離分解能の1/40~1/50ほどになる。チャープ時間Tを長くすると干渉縞信号のスペクトル幅1/Tが狭くなり、スペクトル幅1/Tとチャープ変調の帯域幅fwの比の平方根に比例してSN比が上がる。
【0237】
チャープ変調の帯域幅fwを広くすると、距離分解能ρが上がるため、距離検出精度は、チャープ時間Tとチャープ変調の帯域幅fwの両方に比例して上がることになる。感度と距離検出精度において、チャープ変調方式が他の方式に優る理由はこれにある。
【産業上の利用可能性】
【0238】
以上のように、本発明は、物体までの距離に関わらず高い距離検出精度と方位分解能を有し、距離検出装置間の妨害や外乱に強く、小型、低価格で、撮像装置と一体化される距離検出装置に適している。
【符号の説明】
【0239】
10A、20A 距離検出装置; 10 照明光; 11 物体; 12 反射光; 13 光学系; 14 受光素子; 15 参照光; 16 合波器; 17 キャリア光; 18 干渉縞信号; 19、20 コヒーレンス低減機構; 21 振幅変調器; 22 キャリア光; 23 変調器; 24 チャープ変調信号; 25 物体; 26 反射光; 27 光学系; 28 受光素子; 29 混合器; 30 干渉縞信号; 31 シンセサイザー発振器; 32 線形チャープ変調信号; 33 照明光源; 34 照明光; 35 物体; 36 反射光; 37 撮像光学系; 38 撮像素子; 39 参照光源; 40 参照光 41 合波器; 42 光学系; 43 干渉縞信号; 44 周波数変換器; 45 周波数成分; 46 参照信号生成部; 47 参照信号(基準信号); 48 相関器; 49 距離変換部; 51 AI; 52 参照符号; 53 基本波; 54 第1高調波; 70A、70B 物体(自動車); 71、72、73、74 局所部分; 75、76 妨害光; 101 シンセサイザー発振器; 102 照明光源; 103 サーキュレータ; 104 光学系 105 照明光 106 2次元走査機構; 107 物体; 108 反射光; 109 分波器; 110~114、117 受光素子; 115、116 光スイッチ; 118 ミキサー(混合器); 119 バッファメモリ; 119A 線形チャープ信号
【要約】
【課題】 物体までの距離に関わらず高い距離検出精度と方位分解能を有し、距離検出装置間の妨害や外乱に強く、小型、低価格で、撮像装置と一体化される距離検出装置を提供すること。
【解決手段】 距離検出装置は、キャリア光の振幅変調にチャープ変調を施した照明光を生成する光源と、キャリア光の振幅変調に照明光と同一のチャープ変調を施した参照光を生成する光源と、チャープ変調は、チャープ変調信号により変調され、
チャープ変調信号の時間コヒーレンスと空間コヒーレンスを保持しつつ、キャリア光の両方、又は一方の時間コヒーレンスと空間コヒーレンスを低減させるコヒーレンス低減機構と、照明光で照明した物体からの反射光を受光素子に結像する結像光学系と、反射光と参照光を合波する合波器と、を有し、受光素子は、合波された反射光と参照光を受光し、照明光と参照光のチャープ変調信号間のヘテロダインで生じた干渉縞信号を検出する。
【選択図】図3
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15