特表 2022-506989 撮影システム及び撮影システム制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-17

(54)【発明の名称】撮影システム及び撮影システム制御方法

(51)【国際特許分類】

   H04N 5/345 20110101AFI20220107BHJP

   H04N 5/225 20060101ALI20220107BHJP

   H04N 5/232 20060101ALI20220107BHJP

【ＦＩ】

H04N5/345

H04N5/225 900

H04N5/232 990

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021525166

(86)(22)【出願日】2018-11-14

(85)【翻訳文提出日】2021-05-31

(86)【国際出願番号】 KR2018013873

(87)【国際公開番号】W WO2020101057

(87)【国際公開日】2020-05-22

(31)【優先権主張番号】10-2018-0139469

(32)【優先日】2018-11-13

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521197139

【氏名又は名称】エイチエヌティ エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100149870

【弁理士】

【氏名又は名称】芦北 智晴

(72)【発明者】

【氏名】キム ソンジュ

(72)【発明者】

【氏名】キム サンリャン

(72)【発明者】

【氏名】キョン ドンヒョク

(72)【発明者】

【氏名】パク サンホ

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CY06

5C024JX08

5C122DA03

5C122DA04

5C122EA55

5C122FA16

5C122FC11

5C122FH10

5C122FH11

5C122FH14

5C122FK24

5C122FL00

5C122GA24

5C122GA31

5C122HA75

5C122HA86

5C122HB01

5C122HB05

(57)【要約】

光に応じて電気的信号を生成する複数のピクセルが配列されてなるピクセルアレイを含むイメージセンサー、前記イメージセンサーのレジスター値が記憶されるメモリー、及び前記レジスター値を設定するセンサーコントローラー、を含み、前記ピクセルアレイのうちの処理対象領域を定義する情報が前記レジスター値に含まれて、前記センサーコントローラーは、前記処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が受信されれば、前記変更要請に対応するように前記レジスター値を調整するレジスター修正命令を前記イメージセンサーまたは前記メモリーに提供することができる。

【特許請求の範囲】

【請求項1】

光に応じて電気的信号を生成する複数のピクセルが配列されてなるピクセルアレイを含むイメージセンサー、
前記イメージセンサーのレジスター値が記憶されるメモリー、及び
前記レジスター値を設定するセンサーコントローラー、を含み、
前記ピクセルアレイのうちの処理対象領域を定義する情報が前記レジスター値に含まれて、
前記センサーコントローラーは、前記処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が受信されれば、前記変更要請に対応するように前記レジスター値を調整するレジスター修正命令を前記イメージセンサーまたは前記メモリーに提供することを特徴とする撮影システム。

【請求項2】

ユーザーインターフェース部を通じて使用者の入力を受けて前記変更要請を生成する制御部をさらに含むことを特徴とする請求項１に記載の撮影システム。

【請求項3】

撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析した結果があらかじめ決まった条件に該当すれば、前記変更要請を生成する制御部をさらに含むことを特徴とする請求項１に記載の撮影システム。

【請求項4】

前記処理対象領域の位置は、
前記処理対象領域の一側下端平面座標値であるスタート値、
前記処理対象領域の他側上端平面座標値である終了値、及び
前記処理対象領域の中央地点平面座標値である中央値、
のうちの少なくとも一つによって定義されることを特徴とする請求項１に記載の撮影システム。

【請求項5】

前記処理対象領域の大きさは、
前記処理対象領域の一側下端平面座標値であるスタート値、
前記処理対象領域の他側上端平面座標値である終了値、及び
前記処理対象領域の中央地点平面座標値である中央値、
のうちから選択される二つの値によって定義されることを特徴とする請求項１に記載の撮影システム。

【請求項6】

前記イメージセンサーから出力されるイメージ信号を処理するイメージ信号処理部をさらに含んで、前記イメージ信号処理部が前記制御部から前記変更要請を受信することを特徴とする請求項２に記載の撮影システム。

【請求項7】

前記レジスター修正命令が前記メモリーに提供されれば、前記レジスター値は、前記メモリーに記憶された状態で前記イメージセンサーがターンオンされるか、またはリセットされれば、前記イメージセンサーにロードされることを特徴とする請求項１に記載の撮影システム。

【請求項8】

処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が入力される段階、
前記変更要請に対応するようにレジスター値を調整するレジスター修正命令がイメージセンサーまたはメモリーに印加される段階、
前記レジスター修正命令によって前記イメージセンサーのレジスター値が変更される段階、
前記処理対象領域の位置及び大きさのうちの少なくとも一つが変更された状態で前記イメージセンサーからイメージ信号が出力される段階、及び
前記イメージセンサーから出力されたイメージ信号が処理されて表示または記憶される段階、を含む撮影システム制御方法。

【請求項9】

撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析する段階、及び
前記分析の結果があらかじめ決まった条件に該当すれば、前記変更要請を生成する段階、をさらに含む請求項８に記載の撮影システム制御方法。

【請求項10】

前記撮影された映像データで関心事物を決める段階、及び
前記関心事物の移動方向に沿って前記処理対象領域の位置を変更する変更要請を生成する段階、をさらに含む請求項９に記載の撮影システム制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影システムに関するものである。

【背景技術】

【0002】

写真撮影時に周辺部の光量低下でイメージの角や外郭部分が暗くなるか、または黒く隠されるビネッティング(vignetting)現象などを防止するために出力解像度よりさらに多いピクセルを配列してイメージセンサーを製作する場合が多かった。

【0003】

この場合、使わないで遊休されているピクセルがたくさん発生したし、これは不必要な資源の無駄使いをもたらしていた。

【0004】

これに、本発明の発明者は、遊休されているピクセルの活用方法を探す過程で本発明を着眼するようになった。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の一側面は、資源活用効率を向上できる撮影システムを提供することができる。

【0006】

本発明の他の側面は、資源活用効率を向上できる撮影システム制御方法を提供することができる。

【課題を解決するための手段】

【0007】

本発明の一実施例による撮影システムは、光に応じて電気的信号を生成する複数のピクセルが配列されてなるピクセルアレイを含むイメージセンサー、前記イメージセンサーのレジスター値が記憶されるメモリー、及び前記レジスター値を設定するセンサーコントローラー、を含み、前記ピクセルアレイのうちの処理対象領域を定義する情報が前記レジスター値に含まれ、前記センサーコントローラーは、前記処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が受信されれば、前記変更要請に対応するように前記レジスター値を調整するレジスター修正命令を前記イメージセンサーまたは前記メモリーに提供することができる。

【0008】

この時、ユーザーインターフェース部を通じて使用者の入力を受けて前記変更要請を生成する制御部をさらに含むことができる。

【0009】

また、撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析した結果があらかじめ決まった条件に該当すれば、前記変更要請を生成する制御部をさらに含むことができる。

【0010】

また、前記処理対象領域の位置は、前記処理対象領域の一側下端平面座標値であるスタート値、前記処理対象領域の他側上端の平面座標値である終了値、及び前記処理対象領域の中央地点平面座標値である中央値のうちの少なくとも一つによって定義されることができる。

【0011】

また、前記処理対象領域の大きさは、前記処理対象領域の一側下端平面座標値であるスタート値、前記処理対象領域の他側上端平面座標値である終了値、及び前記処理対象領域の中央地点平面座標値である中央値のうちから選択される二つの値によって定義されることができる。

【0012】

また、前記イメージセンサーから出力されるイメージ信号を処理するイメージ信号処理部をさらに含んで、前記イメージ信号処理部が前記制御部から前記変更要請を受信することができる。

【0013】

また、前記レジスター修正命令が前記メモリーに提供されれば、前記レジスター値は、前記メモリーに記憶された状態で前記イメージセンサーがターンオンされるか、またはリセットされれば前記イメージセンサーにロードされるようにできる。

【0014】

本発明の一実施例による撮影システム制御方法は、処理対象領域の位置及び大きさのうちの少なくとも一つを変更する変更要請が入力される段階、前記変更要請に対応するようにレジスター値を調整するレジスター修正命令がイメージセンサーまたはメモリーに印加される段階、前記レジスター修正命令によって前記イメージセンサーのレジスター値が変更される段階、前記処理対象領域の位置及び大きさのうちの少なくとも一つが変更された状態で前記イメージセンサーからイメージ信号が出力される段階、及び前記イメージセンサーから出力されたイメージ信号が処理されて表示または記憶される段階、を含むことができる。

【0015】

この時、撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析する段階、及び前記分析結果があらかじめ決まった条件に該当すれば、前記変更要請を生成する段階、をさらに含むことができる。

【0016】

また、前記撮影された映像データで関心事物を決める段階、及び前記関心事物の移動方向に沿って前記処理対象領域の位置を変更する変更要請を生成する段階、をさらに含むこともできる。

【発明の効果】

【0017】

本発明の一実施例による撮影システムは、資源活用効率を向上できるという有用な効果を提供する。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施例による撮影システムを概略的に示したブロック図であり、

【図2】本発明の一実施例による撮影システムの処理対象領域を説明するための概念図であり、

【図3】本発明の一実施例による撮影システムのユーザーインターフェース部を概略的に例示した図面であり、

【図4】本発明の一実施例による撮影システム制御方法を概略的に例示した図面であり、

【図5】本発明の一実施例による撮影システムを説明するための図面であり、

【図6】本発明の一実施例による撮影システムを説明するための図面であり、

【図7】本発明の一実施例による撮影システムを説明するための図面である。

【発明を実施するための形態】

【0019】

図１は、本発明の一実施例による撮影システム１０００を概略的に示したブロック図であり、図２は本発明の一実施例による撮影システム１０００の処理対象領域（AP１）を説明するための概念図であり、図３は本発明の一実施例による撮影システム１０００のユーザーインターフェース部４００を概略的に例示した図面であり、図４は本発明の一実施例による撮影システム制御方法を概略的に例示した図面であり、図５乃至図７は本発明の一実施例による撮影システム１０００を説明するための図面であり、図６は本発明の一実施例による撮影システム１０００を説明するための図面である。

【0020】

本発明の一実施例による撮影システム１０００は、イメージセンサー１１０、メモリー１２０、センサーコントローラー１３０を含むことができるし、さらに延いては、イメージ信号処理部２００、制御部３００、ユーザーインターフェース部４００、表示部５００、通信部６００、メモリー部７００などをさらに含むことができる。

【0021】

一実施例で、撮影システム１０００は、表示部５００や別途の外部装置との連動を通じてイメージ表示作業を遂行することができる。また、撮影システム１０００はネットワークに連結されることができるし、カメラモジュール１００によって撮像されたイメージをネットワークなどを通じて他の機器に伝達することもできる。

【0022】

一実施例で、イメージセンサー１１０はピクセルアレイ１１２を含む。このピクセルアレイ１１２は複数のピクセルが行と列で配列されたものであることがあるし、ピクセルは、光に応じて電気的信号を生成する素子であり、画素と称されたりする。このようなピクセル、ピクセルアレイ１１２などを含むカメラ関連技術は特許文献１などを含めて複数の文献に紹介されている。

【0023】

一実施例で、メモリー１２０は、揮発性メモリー１２２および不揮発性メモリー１２４のうちの少なくとも一つを含むことができる。このようなメモリー１２０のうちの少なくとも一部にはレジスター値が記憶されることができるし、メモリー１２０はレジスターで活用されることができる。

【0024】

一実施例で、レジスターはＳＲＡＭ(Static Random Access Memory)、フラッシュメモリー１２０タイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリー１２０(例えば、SDまたはXDメモリー１２０など)、ラム(Random Access Memory、RAM)、ロム(Read-Only Memory、ROM)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、PROM(Programmable Read-Only Memory)、磁気メモリー１２０、磁気ディスク、光ディスクのうちの少なくとも一つのタイプの記憶媒体を含むことができる。

【0025】

センサーコントローラー１３０は、イメージセンサー１１０を制御するか、またはイメージセンサー１１０と他の構成要素との間のインターフェースの役割を遂行することができる。一実施例で、センサーコントローラー１３０はイメージセンサー１１０のレジスター値を設定する機能を遂行することができる。その他にも、センサーコントローラー１３０は多様な機能を遂行することができるし、イメージ信号処理器のプロセッサ、システムメインプロセッサ、マイクロコントローラーなど多様なプロセッサのうちの少なくとも一つによって具現されることができる。

【0026】

一実施例で、イメージセンサー１１０のレジスター値には、ピクセルアレイ１１２のうちの処理対象領域（AP１）を定義する情報が含まれる。

【0027】

処理対象領域（AP１）は、アクティブピクセル(Active pixel)、クロップ領域(cropped area)などと称することもあるし、処理対象領域（AP１）内のピクセルから出力されるイメージ信号が処理されてメモリー部７００に記憶されるか、または表示部５００を通じて表示されることができる。反面に、イメージセンサー１１０上の処理対象領域（AP１）外部に位置するピクセルから出力されるイメージ信号は、メモリー部７００に記憶されないか、または表示部５００に表示されないこともある。但し、一実施例で、処理対象領域（AP１）外部に位置するピクセルから出力されるイメージ信号は、隣接ピクセルの歪曲補正や、デジタルズームイン(Zoom In)またはズームアウト(Zoom out)のための補間過程などに活用されることができる。

【0028】

一実施例で、センサーコントローラー１３０はレジスター修正命令をイメージセンサー１１０またはメモリー１２０に提供することができる。このレジスター修正命令には処理対象領域（AP１）の位置または大きさを変更するようにするレジスター値が含まれることができる。

【0029】

一実施例で、センサーコントローラー１３０は所定の変更要請を受信すれば、前述したレジスター修正命令を発生する方式で作動することができる。この時、変更要請は処理対象領域（AP１）の位置を左側や右側または上側や下側に移動させる要請であることがある。また、変更要請は処理対象領域（AP１）の大きさを拡大するか、または縮小する要請であることがある。

【0030】

一実施例で、変更要請は制御部３００で生成されることができる。

【0031】

一実施例で、制御部３００は使用者の命令の入力を受けて変更要請を生成することができるが、この時、使用者の命令の入力を受ける手段としてユーザーインターフェース部４００が活用されることができる。

【0032】

ここで、ユーザーインターフェースは図３に例示されたようなリモートコントローラー形態で具現されることができる。一実施例で、拡大または縮小ボタンを入力する場合、処理対象領域（AP１）の大きさを変更する変更要請が生成されることができる。一実施例で、上向き、下向き、左向き、右向きのボタンのうちの一つ以上が入力される場合、処理対象領域（AP１）の位置を変更する変更要請が生成されることができる。

【0033】

他の実施例で、制御部３００で分析プログラムが実行されることができる。この分析プログラムは、カメラモジュール１００が撮影した映像データや写真データを分析することができる。また、分析プログラムは近接センサー、照度センサーなどのセンシングデータを分析することができる。一実施例で、分析プログラムは、所定の距離で近接した物体が感知される状況で表示部５００には対応する物体が表示されない場合などを検出し出すことができる。この場合、近接した物体が感知される方向がカメラの視野基準でどの方向であるかによって処理対象領域（AP１）の位置が該当方向に移動されるようにする変更要請を生成することができる。例えば、カメラ視野を基準で左側に物体が感知される場合、処理対象領域（AP１）の位置が左側方向に移動されるようにする変更要請が生成されることができるということである。このように生成された変更要請は、センターコントローラーに印加され、センターコントローラーはイメージセンサー１１０のレジスター値を調整することで処理対象領域（AP１）の位置が移動されるようにできる。この状態で撮影過程が進行されることで、画面で見えなかった近接物体が画面に表示されることができるようになる。これによって、使用者が意識的に意図しない場合でも、制御部３００の分析結果によって画角を広げるか、または画面を移動させて近接物体を視覚的でも確認できるようにすることで、安全性を向上させることができる。さらに延いては、処理対象領域（AP１）を相対的に狭くしておいた状態で関心事物をトラッキングするようにレジスト値を修正することもできる。

【0034】

図３、５及び図６を参照すれば、周辺部の光量低下現象、いわゆるビネッティング(vignetting)現象などによって第１、２余裕領域(EAP１、EAP２)は表示部５００などに出力されない場合が多い。それだけでなく、既存には一般的な処理対象領域（AP１）のみを活用しただけで、第１乃至第４追加領域(AAP１、２、３、４)を活用するために処理対象領域（AP１）のレジスト値を修正する方式を適用した例がなかった。しかし、本発明の一実施例によれば、イメージセンサー１１０のレジスト値修正を通じて第１乃至第４追加領域(AAP１、２、３、４)を活用することができるようになるものであり、よって、資源活用効率を向上できるようになる。

【0035】

一実施例で、処理対象領域（AP１）の位置は、処理対象領域（AP１）の一側下端(P１)平面座標値であるスタート値、前記処理対象領域（AP１）の他側上端(P２)平面座標値である終了値、及び前記処理対象領域（AP１）の中央地点(P３)平面座標値である中央値のうちの少なくとも一つによって定義されることができる。また、処理対象領域（AP１）の一側下端(P１)平面座標値であるスタート値、前記処理対象領域（AP１）の他側上端(P２)平面座標値である終了値、及び前記処理対象領域（AP１）の中央地点(P３)平面座標値である中央値のうちから選択される一つの値と、処理対象領域（AP１）の高さ(H１)及び幅(W１)とによって定義されることもできる。

【0036】

一実施例で、処理対象領域（AP１）の大きさは、処理対象領域（AP１）の一側下端(P１)平面座標値であるスタート値、処理対象領域（AP１）の他側上端(P２)平面座標値である終了値、及び処理対象領域（AP１）の中央地点(P３)平面座標値である中央値のうちから選択される二つの値によって定義されることができる。また、処理対象領域（AP１）の高さ(H１)及び幅(W１)によって定義されることもできる。

【0037】

一実施例で、イメージ信号を処理するイメージ信号処理部２００がさらに具備されることができる。イメージ信号処理部２００はインターフェース部２１０及びイメージ処理部２２０を含むことができるし、カメラモジュール１００の撮像イメージを処理して表示部５００に出力されるようにするか、または、通信部６００を通じて他の装置に伝送されるようにするか、または、メモリー部７００に記憶されるようにできる。

【0038】

一方、イメージ信号処理部２００とイメージセンサー１１０がシステムオンチップ(System on chip、SoC)方式で具現されることもできるが、この場合、イメージ信号処理部２００がセンサーコントローラー１３０の機能を遂行することもできる。

【0039】

一実施例で、レジスター修正命令(Ord２)がイメージセンサー１１０ではないメモリー１２０に提供されることができる。

【0040】

この場合、レジスター値は、メモリー１２０に記憶された状態でイメージセンサー１１０がターンオンされるか、またはリセットされればイメージセンサー１１０にロードされるようにすることもできる。

【0041】

本発明の一実施例によれば、表示部５００に出力される画面の範囲を調整することができる。表示出力オプションにしたがって表示部５００に全画面出力される場合には画面の範囲を調整することで、ズームイン/ズームアウト効果をユーザーに提供することができる。処理対象領域（AP１）に含まれるピクセルの数を増加させると出力対象領域が広くなりながら、表示部５００の全画面上に広い領域に対する被写体が相対的に小さく出力されるので、ズームアウト(Zoom out)のように認識されることができる。反対に、処理対象領域（AP１）に含まれるピクセルの数を減少させれば出力対象領域が狭くなりながら、全画面で被写体が相対的に大きく出力されるので、ズームイン(Zoom in)のように認識されることができる。レンズ１０５を物理的に駆動しないで、ＩＳＰ(イメージ信号処理部)２００のロジックを修正するか、または、拡大縮小のためのイメージ信号処理部２００の別途演算を遂行する必要がないので、リソース(resource)活用を減らしながらも出力対象領域を調整するか、または画面を拡大/縮小することができる。

【0042】

また、表示部５００に出力される画面の画角を変更することもできる。ここで、本発明の一実施例によれば、別途のモーターを駆動するか、またはイメージ信号処理部２００の複雑な処理過程なしでも、車両用サイドミラーのティルティング調節と類似な結果を具現することができる。

【0043】

イメージセンサー１１０のピクセルアレイ１１２領域は、実際に出力される領域よりさらに広く形成されることが一般的であるが、これはレンズ１０５の形状のために像の外周辺に歪曲が不可欠に発生するためであり、このような歪曲を減少させるデジタルデータ処理アルゴリズムが広く活用されている。しかし、この過程でピクセルアレイ１１２のうちの外郭部分は実際に活用されない場合が多くて資源の無駄使いと認識されていたが、本発明によればこのような外郭領域も活用することができる道が開かれるようになる。

【0044】

一方、カメラレンズ１０５が指向する方向を物理的に調整する方式でも、前述した本発明の機能と類似な機能を遂行することができる。しかし、このようにカメラの指向方向を調整するためにはモーターなど別途の部品がさらに必要であり、エネルギーとリソースの消費を伴うようになる。反面に、本発明の一実施例によれば、レジスター値の変更という非常に簡便でありながらもエネルギー消耗が極めて低く、作動に必要となる時間や資源が著しく低い方式によって所期の目的を達成することができるようになり、資源活用の効率性を向上できるものである。

【0045】

図４を参照すれば、本発明の一実施例による撮影システム制御方法は、処理対象領域（AP１）の位置及び大きさのうちの少なくとも一つを変更する変更要請が入力される段階、前記変更要請に対応するようにレジスター値を調整するレジスター修正命令がイメージセンサー１１０またはメモリー１２０に印加される段階、前記レジスター修正命令によって前記イメージセンサー１１０のレジスター値が変更される段階、前記処理対象領域（AP１）の位置及び大きさのうちの少なくとも一つが変更された状態で前記イメージセンサー１１０からイメージ信号が出力される段階、及び前記イメージセンサー１１０から出力されたイメージ信号が処理されて表示または記憶される段階、を含むことができる。

【0046】

この時、撮影された映像データ、撮影された写真データ及び近接センサーのセンシングデータのうちの少なくとも一つ以上を分析する段階、及び前記分析結果があらかじめ決まった条件に該当すれば前記変更要請を生成する段階、をさらに含むことができる。

【0047】

また、前記撮影された映像データで関心事物を決める段階、及び前記関心事物の移動方向によって前記処理対象領域（AP１）の位置を変更する変更要請を生成する段階、をさらに含むこともできる。

【0048】

図面のうちで未説明符号１１５は、ダミーピクセルであり、Ord１はレジスター修正命令１、Ord２はレジスター修正命令２、Fdata１は撮影データ１、Fdata２は撮影データ２、EC１はイメージサークルを意味する。

【産業上の利用可能性】

【0049】

本発明の一実施例による撮影システムは、相対的に小さな資源とエネルギーを使って既存に遊休されたピクセルを活用することができるので、カメラの資源効率が著しく改善されることができるし、よって、小型カメラの製造、設置関連産業に活用されることができる。特に、自動車の後方カメラなどで活用される場合、その有利な効果が極大化されることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】