特許第6563370号(P6563370)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧 ▶ ソニー ヨーロッパ リミテッドの特許一覧

<>
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000002
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000003
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000004
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000005
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000006
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000007
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000008
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000009
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000010
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000011
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000012
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000013
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000014
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000015
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000016
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000017
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000018
  • 特許6563370-撮像装置、撮像システム及び撮像方法 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6563370
(24)【登録日】2019年8月2日
(45)【発行日】2019年8月21日
(54)【発明の名称】撮像装置、撮像システム及び撮像方法
(51)【国際特許分類】
   H04N 5/232 20060101AFI20190808BHJP
【FI】
   H04N5/232 290
   H04N5/232 410
   H04N5/232 941
   H04N5/232 960
【請求項の数】10
【全頁数】23
(21)【出願番号】特願2016-127569(P2016-127569)
(22)【出願日】2016年6月28日
(62)【分割の表示】特願2011-154841(P2011-154841)の分割
【原出願日】2011年7月13日
(65)【公開番号】特開2016-171599(P2016-171599A)
(43)【公開日】2016年9月23日
【審査請求日】2016年7月19日
【審判番号】不服2018-1094(P2018-1094/J1)
【審判請求日】2018年1月26日
(31)【優先権主張番号】10306116.4
(32)【優先日】2010年10月14日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(73)【特許権者】
【識別番号】593081408
【氏名又は名称】ソニー ヨーロッパ リミテッド
(74)【代理人】
【識別番号】110000925
【氏名又は名称】特許業務法人信友国際特許事務所
(72)【発明者】
【氏名】大場 英史
(72)【発明者】
【氏名】メール フレデリック
【合議体】
【審判長】 清水 正一
【審判官】 藤原 敬利
【審判官】 鳥居 稔
(56)【参考文献】
【文献】 特開2009−060404(JP,A)
【文献】 特開2010−167893(JP,A)
【文献】 特開2007−081590(JP,A)
【文献】 特開平11−298791(JP,A)
【文献】 特開2010−130309(JP,A)
【文献】 国際公開第2007/055335(WO,A1)
【文献】 特開2008−301091(JP,A)
【文献】 特開2009−124377(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N5/225
H04N5/232
(57)【特許請求の範囲】
【請求項1】
車両に搭載される撮像装置において、
前記車両の外部の被写体光を光電変換して画像信号を生成するイメージセンサと、
前記イメージセンサで生成された前記画像信号による全体画像のうちの一部の範囲である特定領域を記憶する記憶部と、
前記全体画像、又は、前記特定領域に対応する特定画像のうち少なくともいずれか一方を表示部に出力する出力部と、
ユーザからの指示入力に基づいて、前記記憶部から所定の前記特定領域を読み出し、該読み出した特定領域に対応する特定画像を前記出力部に出力して前記表示部に表示させる制御を行う表示制御部と、を備え、
前記表示制御部は、前記撮像装置を含む撮像システムの電源が投入された際には、前記撮像システムの電源投入前における前記表示部の表示状態に関わらず、前記全体画像を前記表示部に表示させる制御を行い、
前記ユーザからの指示入力として前記特定領域を変更する変更指示が入力された場合、前記表示部は拡大率が変更された特定画像を表示するように制御され、
前記拡大率が変更された特定画像に複数の囲み枠を重ねて表示する場合には、一番内側のラインから一番外側のラインまでを順に点灯及び消灯させる制御が行われる
撮像装置。
【請求項2】
前記記憶部は、複数の前記特定領域を記憶し、
前記表示制御部は、前記ユーザからの指示入力に基づいて前記複数の特定領域のうちの1つを選択して前記記憶部から読み出し、該読み出した特定領域に対応する特定画像を前記表示部に表示させる制御を行う
請求項1に記載の撮像装置。
【請求項3】
前記表示制御部は、前記ユーザからの指示入力が行われる毎に、前記記憶部に記憶された前記複数の特定領域を順に選択して前記記憶部から読み出し、該読み出した特定領域の範囲を示す枠を前記表示部に表示させる制御を行う
請求項2に記載の撮像装置。
【請求項4】
前記表示制御部は、前記ユーザからの指示入力に基づいて選択した特定領域に対応する特定画像を、前記表示部の画面全体に拡大して表示させる制御を行う
請求項2又は3に記載の撮像装置。
【請求項5】
前記表示制御部は、前記ユーザからの指示入力に基づいて選択した特定領域に対応する特定画像の前記表示部の画面全体への拡大表示を、ズーム率を所定のステップ幅で徐々に増加させながら行う
請求項4に記載の撮像装置。
【請求項6】
前記表示制御部は、前記表示部の画面全体に前記特定画像が拡大して表示された状態で、前記特定領域の周囲を囲う1つ以上の囲み枠、及び、前記特定領域内に表示される画像が、ズーム率が増加された画像であることを警告する警告メッセージを、前記表示部に表示させる制御を行う
請求項4又は5に記載の撮像装置。
【請求項7】
前記表示制御部は、前記特定領域と対応する特定画像を、ピクチャインピクチャの子画面に表示する制御を行う
請求項1に記載の撮像装置。
【請求項8】
前記表示制御部は、前記特定領域と対応する特定画像を、ピクチャインピクチャの全画面に表示し、前記全体画像を前記ピクチャインピクチャの子画面に表示する制御を行う
請求項1に記載の撮像装置。
【請求項9】
車両の外部の被写体光を光電変換して画像信号を生成するイメージセンサと、前記イメージセンサで生成された前記画像信号による全体画像のうちの一部の範囲である特定領域を記憶する記憶部と、前記全体画像、又は、前記特定領域に対応する特定画像のうち少なくともいずれか一方を表示部に出力する出力部と、ユーザからの指示入力に基づいて、前記記憶部から所定の前記特定領域を読み出し、該読み出した特定領域に対応する特定画像を前記出力部に出力して前記表示部に表示させる制御を行う表示制御部とを有する、前記車両に搭載される撮像装置と、
前記ユーザからの指示入力が行われる操作入力部と、
前記表示部を有する表示装置と、を備え、
前記表示制御部は、前記撮像装置を含む撮像システムの電源が投入された際には、前記撮像システムの電源投入前における前記表示部の表示状態に関わらず、前記全体画像を前記表示部に表示させる制御を行い、
前記ユーザからの指示入力として前記特定領域を変更する変更指示が入力された場合、前記表示部は拡大率が変更された特定画像を表示するように制御され、
前記拡大率が変更された特定画像に複数の囲み枠を重ねて表示する場合には、一番内側のラインから一番外側のラインまでを順に点灯及び消灯させる制御が行われる
撮像システム。
【請求項10】
イメージセンサと、記憶部と、出力部と、表示制御部とを有する、車両に搭載される撮像装置の前記イメージセンサが、前記車両の外部の被写体光を光電変換して画像信号を生成することと、
前記記憶部が、前記画像信号による全体画像のうちの一部の範囲である特定領域を記憶することと、
前記表示制御部が、ユーザからの指示入力に基づいて、所定の前記特定領域を読み出し、該読み出した特定領域に対応する特定画像を表示部に表示させる制御を行うことと、
前記出力部が、前記全体画像又は前記特定画像のうち少なくともいずれか一方を前記表示部に出力することと、
前記表示制御部が、前記撮像装置を含む撮像システムの電源が投入された際には、前記撮像システムの電源投入前における前記表示部の表示状態に関わらず、前記全体画像を前記表示部に表示させる制御を行うことと、を含み、
前記ユーザからの指示入力として前記特定領域を変更する変更指示が入力された場合、前記表示部は拡大率が変更された特定画像を表示するように制御され、
前記拡大率が変更された特定画像に複数の囲み枠を重ねて表示する場合には、一番内側のラインから一番外側のラインまでを順に点灯及び消灯させる制御が行われる
撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば車載カメラに適用して好適な撮像装置、及びその撮像装置を備えた撮像システム、並びにその撮像装置や撮像システムに適用される撮像方法に関する。
【背景技術】
【0002】
従来、自動車の車両や鉄道車両等に小型のカメラを搭載し、そのカメラによる撮影映像を、運転席の周辺等に設置された表示装置に表示させることが行われている。(例えば、特許文献1参照)このようなカメラで、ドライバーが運転中に目視することが困難な箇所を撮像し、得られた画像を表示装置に表示することで、ドライバーの目視困難箇所を目視可能箇所に変えることができる。ドライバーの目視困難箇所としては、例えば自動車の車両であれば、駐車時に後進する場合等を想定して、車両の後方等が設定されている場合が多い。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−19556号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、上述したように、目視困難箇所が固定的に設定されている場合には、ドライバーがある特定の局所的な箇所を注視したいと思っても、その箇所の画像の詳細をカメラによる撮影映像を通して確認することが難しいという問題があった。
【0005】
本発明はかかる点に鑑みてなされたものであり、ドライバー(ユーザ)が特に注視したい局所的な箇所等の画像を、容易に確認できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の撮像装置は、車両に搭載され、イメージセンサ、記憶部、出力部及び表示制御部を備える構成とし、各部の構成を次のようにする。イメージセンサは、車両の外部の被写体光を光電変換して画像信号を生成する。記憶部は、イメージセンサで生成された画像信号による全体画像のうちの一部の範囲である特定領域を記憶する。出力部は、全体画像、又は、特定領域に対応する特定画像のうち少なくともいずれか一方を表示部に出力する。表示制御部は、ユーザからの指示入力に基づいて、記憶部から所定の特定領域を読み出し、該読み出した特定領域に対応する特定画像を出力部に出力して表示部に表示させる制御を行う。そして、表示制御部は、撮像装置を含む撮像システムの電源が投入された際には、撮像システムの電源投入前における表示部の表示状態に関わらず、全体画像を表示部に表示させる制御を行う。さらに、ユーザからの指示入力として特定領域を変更する変更指示が入力された場合、表示部は拡大率が変更された特定画像を表示するように制御され、拡大率が変更された特定画像に複数の囲み枠を重ねて表示する場合には、一番内側のラインから一番外側のラインまでを順に点灯及び消灯させる制御が行われる。
【発明の効果】
【0008】
本発明によれば、ユーザは、特に注視したい局所的な箇所等の画像を容易に確認することができるようになる。
【図面の簡単な説明】
【0009】
図1】本発明の一実施の形態による撮像システムの構成例を示すブロック図である。
図2】本発明の一実施の形態による設定値記憶部の構成例を示す説明図である。
図3】本発明の一実施の形態によるタイミング調整部による処理の例を示す説明図である。(a)はイメージセンサからの画像信号の読み出しタイミングの例を示し、(b)は特定の領域の例を示し、(c)は特定の領域として切り出された領域の出力タイミングの例を示し、(d)はイメージセンサからの画像信号の読み出しタイミングの例を示し、(e)は画像信号の撮像装置からの出力タイミングの例を示す。
図4】本発明の一実施の形態による特定の領域のズーム倍率設定処理の例を示すフローチャートである。
図5】本発明の一実施の形態による特定の領域のX軸座標設定処理の例を示すフローチャートである。
図6】本発明の一実施の形態による特定の領域のY軸座標設定処理の例を示すフローチャートである。
図7】本発明の一実施の形態による特定の領域の設定保存処理の例を示すフローチャートである。
図8】本発明の一実施の形態による特定の領域の設定値記憶部への書き込み処理の例を示すフローチャートである。
図9】本発明の一実施の形態による特定の領域の読み出し及び拡大処理の例を示すフローチャートである。
図10】本発明の一実施の形態による特定の領域の表示例を示す説明図であり、(a)は遠方モードによる表示画面の例を示し、(b)は拡大される前の特定の領域の表示例を示し、(c)は特定の領域が拡大される際の表示例を示し、(d)は特定の領域が拡大表示された後の表示例を示す。
図11】本発明の一実施の形態による特定の領域設定時の画面遷移の例を示す説明図である。
図12】本発明の一実施の形態による特定の領域を設定するモードの選択確定を促す画面の表示例を示す説明図である。
図13】本発明の一実施の形態による特定の領域のズーム倍率を設定する画面の表示例を示す説明図である。
図14】本発明の一実施の形態による特定の領域のX軸座標を設定する画面の表示例を示す説明図である。
図15】本発明の一実施の形態による特定の領域のY軸座標を設定する画面の表示例を示す説明図である。
図16】本発明の一実施の形態による拡大表示された特定の領域の表示例を示す説明図である。
図17】本発明の一実施の形態の変形例1による撮像システムの構成例を示す説明図である。
図18】本発明の一実施の形態の変形例1による画像記憶部への画像書き込み処理の例を示す説明図である。
【発明を実施するための形態】
【0010】
以下、発明を実施するための形態(以下、本例とも称する)について説明する。なお、説明は以下の順序で行う。
1.一実施の形態(2つのボタンで操作を受け付ける例)
2.変形例1(1つのボタンで操作を受け付ける例)
3.変形例2(ユーザにより登録された特定の領域の映像を、PinP(Picture in Picture)の小画面に表示させる例)
【0011】
<1.一実施の形態(2つのボタンで操作を受け付ける例)>
[撮像システムの全体構成例]
図1は、本発明の撮像システムの一実施形態としての、撮像装置1及び表示装置2の構成例を示す。本例では、撮像装置1を、図示せぬ自動車車両の後方に取り付けてある車載カメラに適用し、表示装置2を、車内に取り付けられたカーナビゲーション装置の表示装置に適用した例として説明する。撮像装置1と表示装置2とは、図示せぬケーブル等で接続されており、撮像装置1から表示装置2に対しては画像信号が、表示装置2から撮像装置1に対しては制御信号が入力されるものとする。
【0012】
そして、本例では、このように構成した撮像システム5によって、ユーザが特に注視したい特定の領域を事前にプリセット設定として設定し、ユーザからの指示入力に基づいて、プリセット設定された領域の画像を切り出して拡大表示する。以下の説明では、特定の領域を登録または読み出すモードを「パーソナルビューモード」と称し、撮像装置1による撮影映像をそのまま表示するモードを「通常モード」と称する。
【0013】
なお、本例では撮像装置1を自動車に搭載した例を示すが、これに限定されるものではない。つまり、本発明の撮像装置1を、鉄道車両や、移動式クレーン車等の重機、ヨット等、他の乗物に搭載するようにしてもよい。
【0014】
まず、表示装置2を構成する各部について説明する。表示装置2には、表示部21と操作入力部22とが含まれる。表示部21は、例えばLCD(Liquid Crystal Display)等により構成され、撮像装置1から送信された画像信号を映像として表示する。操作入力部22は、選択・確定ボタンB1と、値入力ボタンB2の2つのボタンにより構成され、ユーザによるボタン押下操作の内容に応じた制御信号を生成して、撮像装置1に供給する。
【0015】
特に、ユーザより、選択・確定ボタンB1と値入力ボタンB2とを同時に長押しする操作が行われた場合には、操作入力部22は、「パーソナルビューモード」の設定メニューに遷移させるための割り込み要求信号を生成して撮像装置1に供給する。ユーザによって、選択・確定ボタンB1を連続押しする操作(第1の指示入力)が行われた場合には、その都度制御信号を生成して画像の切り出し位置や部分拡大に必要な制御設定値を確定して撮像装置1に供給する。さらに、「パーソナルビューモード」による固有な表示に必要な設定を行う。また、「パーソナルビューモード」が設定された状態の撮像装置1において、選択・確定ボタンB1の押下を検知した場合には、その動作を第2の指示入力とみなし、「パーソナルビューモード」として設定された領域の画像を読み出す制御信号を生成する。
【0016】
なお、図1に示す例では、表示装置2として、表示部21と操作入力部22とが別々に設けられたものを示しているが、表示部21と操作入力部22とが一体化したタッチパネル等を用いた表示装置に適用してもよい。
【0017】
次に、撮像装置1を構成する各部について説明する。撮像装置1は、イメージセンサ11と、画質調整部12と、画像変換部13と、制御部14と、設定値記憶部15と、タイミング調整部16と、表示制御部17と、アナログエンコーダ18(出力部)とを備える。
【0018】
イメージセンサ11は、例えばCCD(Charge Coupled Device Image Sensor)やCMOS(Complementary Metal Oxide Semiconductor Image Sensor)等の固体撮像素子で構成される。イメージセンサ11は、図示せぬ広角レンズに結像された被写体光を光電変換して画像信号を生成する。イメージセンサ11で得た画像信号は、画質調整部12に供給する。画質調整部12は、供給された画像信号をデジタルの画像信号に変換し、画質調整を行う。画質調整としては、例えばAGC(Automatic Gain Control)やノイズリダクション、画質強調処理等を行う。画質調整部12で画質調整処理された画像信号は、画像変換部13に供給される。また、画質調整部12は、イメージセンサ11の駆動を制御する。
【0019】
画像変換部13は、画像変換処理部131と画像記憶部132とで構成され、画像の標準的出力形式、例えばNTSC(National Television System Committee)方式等で出力するための形式に画像を変換調整する。画像変換処理部131は、制御部14による制御に基づいて、画質調整部12から供給された画像信号による画像の中から特定の領域の画像を切り出す。そして、切り出した画像を、表示装置2の表示部21の一画面分の大きさの画像に拡大する。切り出し及び拡大された画像は、画像記憶部132に出力される。画像記憶部132は、画像変換処理部131から供給された画像信号を所定の期間保持するフレームメモリである。
【0020】
制御部14は、例えばMPU(Micro-Processing Unit)等で構成され、操作入力部22より入力される制御信号の内容に基づいて、前述した「特定の領域」の範囲を特定する設定値を生成して設定値記憶部15に記憶する。「特定の領域」の範囲を特定する設定値、すなわち「パーソナルビューモード」の設定値は、前述したように「第1の指示入力」により定義される。そして、この設定値は、画質調整部12から供給された画像信号による画像を切り出す範囲を指定する設定値となる。設定値は、特定の領域をズーム表示する場合のズーム倍率と、特定の領域のX軸座標及びY軸座標よりなる。また、制御部14は、表示装置2の値入力ボタンB2の押下回数をカウントする図示せぬカウンタと、時間を計測するタイマを備える。また、制御部14は、操作入力部22に対して第2の指示入力がされた場合には、設定値記憶部15から設定値を読み出して画像変換部13に出力する。また、制御部14は、イメージセンサ11からの画像信号出力タイミングと画像記憶部132からの画像信号出力タイミングとを調整するための制御信号を生成して、タイミング調整部16に供給する。さらに、制御部14は、画像変換処理部131で画像変換された画像信号を、アナログエンコーダ18に出力するための制御信号を生成して、画像変換処理部131に供給する。
【0021】
設定値記憶部15は、例えばEEPROM(Electrically Erasable Programmable ROM)等により構成され、制御部14により生成された設定値や、工場出荷時の設定データ、画像変換部13で変換された画像変換データを記憶する。設定値記憶部15の構成の詳細については、次の図2を参照して後述する。
【0022】
タイミング調整部16は、制御部14から供給される制御信号に基づいて、イメージセンサ11からの画像信号出力タイミングと画像記憶部132からの画像信号出力タイミングとを調整する。タイミング調整部16の詳細については、図3を参照して後述する。
【0023】
表示制御部17は、制御部14から供給される制御信号に基づいて、タイミング調整部16により調整されたタイミングに従って、画像記憶部132に記憶された画像を読み出してアナログエンコーダ18に出力する。また、表示制御部17は、特定の領域を設定するためのフレームラインや、後述する特定の領域を囲む囲み枠等を生成して、アナログエンコーダ18に出力する。アナログエンコーダ18は、画像変換部13から出力された画像信号を、例えばNTSC方式等の映像信号に変換して、表示装置2の表示部21に供給する。タイミング調整部16では、画像の切り出し如何によらずNTSCのタイミングに準拠したV同期を満たすタイミングで画像を出力出来るように、画像フレーム全体を遅延させる。そして、イメージセンサ11からの画素信号の読み出しと、画像変換部13からの画像信号出力タイミングとの伸張処理の調整をしている。
【0024】
[設定値記憶部の構成例]
次に、図2を参照して、設定値記憶部15の構成例について説明する。設定値記憶部15は、画像変換データ記憶領域15tと、工場出荷データ記憶領域15aと、工場出荷データ記憶領域15bと、設定値記憶領域15cと、設定値記憶領域15dとで構成される。画像変換データ記憶領域15tは、表示フレームの画像に対して適用すべき画像変換設定値でカメラ制御共通に設定される標準設定値を記憶保存し、第2の指示入力の操作に応じて「パーソナルビューモード」等を保存する以下、工場出荷データ記憶領域15a、15b、設定値記憶領域15c、15dの何れかのデータと合わせ、制御部14の制御に設定値を反映する。工場出荷データ記憶領域15aと、工場出荷データ記憶領域15bには、工場出荷時の設定データが記憶される。工場出荷時のデータを、工場出荷データ記憶領域15aと、工場出荷データ記憶領域15bの両面に記憶させておくことで、障害発生時等に、いずれかの面に記憶されたデータを用いて復旧を行うことができるようにしている。
【0025】
設定値記憶領域15cと、設定値記憶領域15dには、「パーソナルビューモード」において設定された、特定の領域を指定する設定値が記憶される。特定の領域を指定する設定値としては、特定の領域のX座標及びY座標や、特定の領域をズーム表示する際のズーム倍率等が設定される。これらの設定値は、2〜3種類等、複数種類登録できるようにしてある。例えば、自宅の駐車場で設定したビューモード#1、職場の駐車場で設定したビューモード#2等、特定の領域を特定する設定値を複数種類登録できる。
【0026】
また、生成又は変更された設定値は、設定値記憶領域15cと、設定値記憶領域15dに交互に書き込まれる。このように処理することで、設定値の書き込みもしくは書き換えの途中で瞬断等のトラブルが発生した場合にも、いずれかの領域に記憶された変更前の設定値を用いて、復旧を行うことができる。なお、本例では設定値記憶領域15を2つ設けた例を挙げているが、これに限定されるものではない。3つや4つ等、複数個設けるようにしてもよい。
【0027】
[タイミング調整部16によるタイミング調整処理の例]
次に、図3を参照して、タイミング調整部16によるタイミング調整処理の例について説明する。図3(a)は、イメージセンサ11から画像信号を読み出すタイミングを図示したものである。図3(a)では、1フレームを構成する各画素のうち、最初の画素(画面左上端の画素)が読み出されるタイミングをタイミングTi1とし、最後の画素(画面右下端の画素)が読み出されるタイミングを、タイミングTieとしている。タイミングTi1で最初の画素が読み出された後は、水平走査期間1Hの期間で、画面右端までの1ライン分の画素が順に読み出される。そして、1ライン目の次は2ライン目といったように、最終ラインまで画素が次々に読み出されることで、1フレーム分の画素がすべて読み出される。つまり、図3(a)に示した、イメージセンサ11からの画像信号読み出しにおいては、(タイミングTie−タイミングTi1)で算出できる期間が、1V有効期間となる。
【0028】
図3(b)は、「パーソナルビューモード」において、特定の領域Paとして設定された領域の例を示した図である。図3(b)では、特定の領域Paを破線で示してあり、特定の領域Paの左上端の画素が読み出されるタイミングをタイミングTin、右下端の画素が読み出されるタイミングをタイミングTimと示している。(タイミングTim−タイミングTin)で算出できる期間は、特定の領域Paの大きさによって変わるものとする。本例では、この特定の領域Paの画像を切り出して、切り出した画像を1V有効期間かけて表示装置2に出力する。
【0029】
図3(c)は、表示装置2への画像の出力タイミングの例を示したものである。図3(c)では、最初の画素の出力タイミングをタイミングTo1とし、最後の画素の出力タイミングをToeとしてある。図3(b)に示した特定の領域Paの画像を、(タイミングToe−タイミングTo1)で示される1V有効期間かけて出力する場合には、特定領域Paの画像の出力を、1V有効期間に引き延ばして行う必要がある。さらに、画質調整部12による画質調整処理にかかる遅延も加わるため、図3(d)に示す撮像装置1からの画像信号出力タイミングは、図3(e)に示すイメージセンサ11からの読み出しタイミングより、所定の期間遅延されたものとなる。
【0030】
タイミング調整部16では、このような、特定の領域Paの画像の引き延ばし出力を実現するために、イメージセンサ11からの画像信号の読み出しタイミングや、画像記憶部132からの切り出し画像読み出しタイミングの調整を行う。
【0031】
[撮像システムの初期設定の動作例]
次に、図4図9のフローチャートを参照して、本例の撮像システム5の「パーソナルビューモード」設定操作の動作例について説明する。まず、図4図8を参照して、特定の領域Paの設定動作例について説明し、次に、図9を参照して特定の領域Paの読み出し動作例について説明する。
【0032】
図4に示すように、まず、表示装置2の選択・確定ボタンB1と値入力ボタンB2(図1参照)が同時に長押しされると(ステップS11)、この動作により操作入力部22で生成された割り込み要求信号が、制御部14によって検出される(ステップS12)。この割り込み要求信号は、「パーソナルビューモード」設定状態への遷移を要求するものである。そして、制御部14による制御に基づき、表示装置2の表示部21の画面上に、“SET MENU”の文字が点滅される(ステップS13)。ユーザによる操作入力と表示部21での画面表示との対応については、図11図18を参照して後述する。
【0033】
なお、選択・確定ボタンB1と値入力ボタンB2の長押し検出時間としては、例えば3秒〜10秒等の時間が設定される。選択・確定ボタンB1と値入力ボタンB2とが同時に押下された場合にも、押下されている時間が長押し検出時間として設定された時間よりも短い場合には、誤操作とみなして割り込み要求信号を生成しないようにしてある。
【0034】
次に、制御部14において、ボタン確定待機時間カウント用のタイマが起動され(ステップS14)、タイマがタイムアウトしたか否かが判断される(ステップS15)。このタイマは、選択・確定ボタンB1と値入力ボタンB2への操作がされなかった場合に、ボタン無操作として、通常モードへ戻すためのタイマである。タイマの設定値としては、例えば10秒〜120秒等の値が設定可能である。
【0035】
ステップS15で、タイマがタイムアウトしたと判断された場合には、通常モードに戻る(ステップS16)。なお、通常モードに戻った場合には、起動中のタイマはすべて解放されてカウント値がクリアされる。タイマがタイムアウトしない間は、選択・確定ボタンB1の押下が検出されたか否かが判断される(ステップS17)。選択・確定ボタンB1の押下が検出されない場合は、ステップS15に戻って判断が続けられる。選択・確定ボタンB1の押下が検出された場合には、表示部21の画面上で点滅していた“SET MENU”の文字が点灯される(ステップS18)。画面上の文字が、点滅していた状態から点灯している状態に変化することで、ユーザは、その文字が示す内容が確定したことを感覚的に察知することができる。この場合の例で言えば、ユーザは、“SET MENU”、つまりメニュー設定の機能が有効になっていることを把握することができる。上記の手順を介して、「パーソナルビューモード」設定可能状態となる。そして、このような手順を経ることで、誤操作や意図しない操作、ボタン等への誤接触で不用意な設定変更を防止できる。
【0036】
次に、文字点灯時間カウント用タイマが開始及び終了すると(ステップS19)、表示部21上に“SET ZOOM”の文字が点滅される(ステップS20)。文字点灯時間カウント用タイマとは、文字の表示を点滅から点灯に切り替えた後の、点灯状態を維持する時間をカウントするためのタイマである。点灯状態を維持する時間は、ユーザが選択した内容が確定されたことをユーザに通知するための時間であるため、例えば0.5秒〜2秒程度の時間に設定される。
【0037】
“SET ZOOM”の文字が点滅した後は、ボタン確定待機時間カウント用タイマが開始され(ステップS21)、タイマがタイムアウトしたか否かが判断される(ステップS22)。タイマがタイムアウトしたと判断された場合には、通常モードに戻る(ステップS23)。タイマがタイムアウトしない間は、選択・確定ボタンB1の押下が検出されたか否かが判断される(ステップS24)。選択・確定ボタンB1の押下が検出された場合には、結合子Aに進む。
【0038】
ステップS24で選択・確定ボタンB1の押下が検出されない場合は、値入力ボタンB2の押下が検出されたか否かが判断される(ステップS25)。値入力ボタンB2の押下が検出されない場合には、ステップS22に戻って判断が続けられる。値入力ボタンB2の押下が検出された場合には、ズーム倍率の設定値がインクリメントされる(ステップS26)。ズーム倍率のインクリメントは、予め設定された最小値から最大値までの間を、例えば8〜32ステップ幅でサイクリックに(巡回式で)行うものとする。すなわち、値入力ボタンB2が一回押下される毎に、予め定められたステップ幅でズーム倍率がインクリメントされる。そして、インクリメントされたズーム倍率が最大値を上回るときに、再び最小値に戻るようにしている。
【0039】
ステップS26でズーム倍率の設定値がインクリメントされた後は、表示部21の画面上に、特定の領域Paの範囲を示すフレームラインが表示され(ステップS27)、ステップS22に戻る。このフレームラインの大きさは、ズーム倍率の大きさと連動して変わるようにしている。
【0040】
次に、結合子A以降の処理について、図5のフローチャートを参照して説明する。図4のステップS24で選択・確定ボタンB1の押下を検出した場合、すなわち、ズーム倍率の設定値を確定する操作が行われた場合は、表示部21の画面上に“SET X POS.”の文字が点灯される(ステップS31)。つまり、特定の領域PaのX座標を設定するメニューに移行する。続いて、文字点灯時間カウント用タイマが開始及び終了すると(ステップS32)、表示部21の画面上の“SET X POS.”の文字が点滅される(ステップS33)。
【0041】
続いて、ボタン確定待機時間カウント用タイマが開始され(ステップS34)、タイマがタイムアウトしたか否かが判断される(ステップS35)。タイマがタイムアウトしたと判断された場合には、通常モードに戻る(ステップS36)。タイマがタイムアウトしない間は、選択・確定ボタンB1の押下が検出されたか否かが判断される(ステップS37)。選択・確定ボタンB1の押下が検出された場合には、結合子Bに進む。選択・確定ボタンB1の押下が検出されない場合は、値入力ボタンB2の押下が検出されたか否かが判断される(ステップS38)。値入力ボタンB2の押下が検出されない場合には、ステップS35に戻って判断が続けられる。値入力ボタンB2の押下が検出された場合には、X座標の設定値がインクリメントされる(ステップS39)。ここでのインクリメントも、ズーム倍率設定時と同様に、巡回式で行うものとする。
【0042】
ステップS39でズーム倍率の設定値がインクリメントされた後は、表示部21の画面上に、特定の領域Paの範囲を示すフレームラインが表示され(ステップS40)、ステップS35に戻る。このフレームラインは、インクリメントされたX座標の値に連動してその配置位置が変わるようにしている。具体的には、値入力ボタンB2が押下される毎に所定のステップ幅で画面右側の方向に移動し、画面右端まで行き着いたら画面の左端に移動して、再度右側方向に移動するようにしている。
【0043】
次に、結合子B以降の処理について、図6のフローチャートを参照して説明する。図5のステップS37で選択・確定ボタンB1の押下を検出した場合、すなわち、X座標の設定値を確定する操作が行われた場合は、表示部21の画面上に“SET Y POS.”の文字が点灯される(ステップS51)。つまり、特定の領域PaのY座標を設定するメニューに移行する。続いて、文字点灯時間カウント用タイマが開始及び終了すると(ステップS52)、表示部21の画面上の“SET Y POS.”の文字が点滅される(ステップS53)。
【0044】
続いて、ボタン確定待機時間カウント用タイマが開始され(ステップS54)、タイマがタイムアウトしたか否かが判断される(ステップS55)。タイマがタイムアウトしたと判断された場合には、通常モードに戻る(ステップS56)。タイマがタイムアウトしない間は、選択・確定ボタンB1の押下が検出されたか否かが判断される(ステップS57)。選択・確定ボタンB1の押下が検出された場合には、結合子Cに進む。選択・確定ボタンB1の押下が検出されない場合は、値入力ボタンB2の押下が検出されたか否かが判断される(ステップS58)。値入力ボタンB2の押下が検出されない場合には、ステップS55に戻って判断が続けられる。値入力ボタンB2の押下が検出された場合には、Y座標の設定値がインクリメントされる(ステップS59)。ここでのインクリメントも、ズーム倍率設定時やX座標設定時と同様に、巡回式で行うものとする。
【0045】
ステップS59でズーム倍率の設定値がインクリメントされた後は、表示部21の画面上に、特定の領域Paの範囲を示すフレームラインが表示され(ステップS60)、ステップS55に戻る。このフレームラインも、インクリメントされたY座標の値に応じてその配置位置が変わるようにしている。具体的には、値入力ボタンB2が押下される毎に所定のステップ幅で画面上の方向に移動し、画面上端まで行き着いたら最下段に移動して、再度上方向に移動するようにしている。
【0046】
次に、結合子C以降の処理について、図7のフローチャートを参照して説明する。まず、ズーム倍率その他の各種設定値が設定されると(ステップS71)、特定の領域Paとして設定された領域を示すフレームラインが表示部21の画面上に表示される(ステップS72)。そして、その同じ画面上に、“Store Setting”の文字が点灯される(ステップS73)。続いて、文字点灯時間カウント用タイマが開始及び終了すると(ステップS74)、表示部21上の“Store Setting”の文字が点滅される(ステップS75)。
【0047】
次に、ボタン確定待機時間カウント用タイマが開始され(ステップS76)、タイマがタイムアウトしたか否かが判断される(ステップS77)。タイマがタイムアウトしたと判断された場合には、通常モードに戻る(ステップS78)。タイマがタイムアウトしない間は、選択・確定ボタンB1の押下が検出されたか否かが判断される(ステップS79)。選択・確定ボタンB1の押下が検出された場合には、表示部21の画面上に、「保存」を意味する“STORING”の文字が点灯される(ステップS80)。続いて、文字点灯時間カウント用タイマが開始及び終了すると(ステップS81)、表示部21上の“STORING”の文字が点滅され(ステップS82)、結合子Dに移る。
【0048】
図8は、上述した各手順でユーザにより設定された特定の領域Paの設定値情報を、設定値記憶部15に書き込む処理を説明したものである。まず、特定の領域Paの設定値情報が、設定値記憶領域15c(図1参照)に書き込まれると(ステップS91)、書き込みが正常に行われたか否かを確認する処理が行われる(ステップS92)。具体的には、設定値記憶領域15cに書き込まれたデータのチェックサムが計算される。続いて、設定値の書き込みが正常に終了したか否かが判断され(ステップS93)、正常に終了した場合には、設定値記憶領域15cに記憶させたデータを有効化する設定が行われ(ステップS94)、設定作業は終了となる(ステップS95)。
【0049】
設定値の書き込みが正常に終了しなかった場合には、工場出荷データ記憶領域15a(又は15b)の有効設定のステータスが保持されるか、あるいは、設定値記憶領域15dの有効設定のステータスが保持される(ステップS96)。つまり、工場出荷時の設定を有効化する処理又は、前回設定値の書き込みが行われた設定値記憶領域15d内のデータを有効化する処理が行われる。工場出荷時のデータを有効化するか、設定値記憶領域の別の面のデータを有効化するかは、そのときの状況により判断されるものとする。
【0050】
[撮像システムの通常操作時の動作例]
図9は、通常モードや、その他のモード、例えば遠方の映像を表示する遠方モード等のモードが表示された状態で、特定の領域Paの映像を表示させる(パーソナルビューモードを起動する)場合の処理(第2の指示入力)を示すフローチャートである。
【0051】
図10(a)に示すように、遠方モード等のモードが表示されている状態で(図9のステップS101)、選択・確定ボタンB1が押下されたか否かが判断される(ステップS102)。選択・確定ボタンB1の押下が検出されない間は、ステップS102の判断が続けられる。選択・確定ボタンB1の押下(第2の指示入力)が検出された場合には、この動作により操作入力部22で生成された割り込み要求信号が、制御部14によって検出される(ステップS103)。
【0052】
そして、制御部14によって、パーソナルビューモード(フローチャート上では、単に「ビューモード」と表記)の管理番号(#)ZZを、1つインクリメントする処理が行われる(ステップS104)。そして、ステップS104でインクリメントされたパーソナルビューモードZZの番号と、特定の領域Paを示すフレームラインが、表示部21の画面上に表示される(ステップS105)。
【0053】
次に、連続ボタン押し操作検出待機時間カウント用タイマが起動され(ステップS106)、タイマがタイムアウトしたか否かが判断される(ステップS107)。連続ボタン押し操作検出待機時間カウント用タイマとは、ユーザによる連続ボタン押し操作をカウントする時間を計測するためのタイマである。このタイマの起動中に検出された連続ボタン押し操作は、その回数がカウント及び加算され、得られた加算値はレジスタに反映される。
【0054】
ステップS107でタイマがタイムアウトしたと判断されない間は、ステップS102に戻って判断が続けられる。タイマがタイムアウトしたと判断された場合には、パーソナルビューモード#ZZの設定値がレジスタにセットされ(ステップS108)、連続ボタン押し操作をカウントしていたカウンタの値がリセットされる(ステップS109)。つまり、ユーザによるボタンの連続押し操作が継続している間は、ボタンの押下に連動してパーソナルビューモード#がインクリメントされ、その管理番号及び、管理番号で管理される特定の領域Paのフレームラインが、表示部21の画面上に表示される。これによりユーザは、選択・確定ボタンB1を連続押し操作することで、登録済みの複数の特定の領域Paの情報を画面上で確認することができる。そして、ユーザによる連続ボタン押し操作が終了した時点(タイマがタイムアウトした時点)で、そのときに表示されていたパーソナルビューモード#の設定が読み出されて画面上に表示される。
【0055】
なお、パーソナルビューモードへの遷移後に再び再度ユーザによって選択・確定ボタンB1が押下された場合には、いったん通常モードの画面を表示するようにしている。所定の時間の経過後に再びボタン押下操作を受け付けた場合に、前回の連続ボタン押し操作によって確定された情報(カウンタの加算値)を引き継いで画面表示を行うと、ユーザが混乱する恐れがあるためである。具体的には、ユーザが前回の操作内容を思い出すのに、時間がかかってしまうことが懸念される。このような状況を避けるため、本例では、パーソナルビューモードへの遷移時に、カウンタの値をリセットし、表示を通常モードの画面から設定を切り替えるようにしている。つまり、パーソナルビューモードで設定した部分拡大画面への切り替え動作前に、一度全体状況把握が可能な画面を表することで、事故誘発要因の低減が期待される。
【0056】
再び図9に戻って説明を続ける。ステップS109でカウンタがリセットされた後は、表示部21の画面上に、特定の領域Paを示すフレームラインが、切り出されてズームされるエリア(ズームエリア)として表示及び点滅される(ステップS110)。図10(b)に、このときの画面表示例を示している。図10(b)には、ズームが行われていない画面(以下、全画面と称する)が表示されており、この画面上に、ズームエリアを示すフレームラインFlが表示されていることが示されている。このように、本例では、他のビューモードからパーソナルビューモードに切り替える際に特定の領域Paをいきなり拡大表示するのではなく、いったん全画面表示に遷移させることを行っている。そして、全画面表示がされた画面上で、拡大表示される範囲をフレームラインで表示するようにしている。このような表示を行うことで、ユーザは、モードの遷移状態を画面上で容易に把握することができる。
【0057】
別のビューモードからの遷移時にいったん全画面表示を行う時間及び、切り出してズームされるフレームラインを表示する時間としては、例えば、0秒または0.5秒〜10秒等の時間を設定することが可能である。
【0058】
ステップS110でズームエリアを示すフレームラインFlの表示及び点滅がされた後は、ズームが開始され(ステップS111)、ズームエリア及び枠を徐々に拡大しながら表示する処理が行われ(ステップS112)、ズームが終了する(ステップS113)。そして、フレームラインFlとともに、表示された映像がズームされた映像であることを警告する文(メッセージ)が表示される(ステップS114)。つまり、図10(b)に示したフレームラインFl及びその中の映像が徐々に拡大され、最後には図10(c)に示したように画面全体に表示されるようになる。そして、“CAUTION PARTIAL VIEW”という警告メッセージMsが表示及び点滅される。
【0059】
なお、このフレームラインFlは、最初は図10(c)に示すように、画面の少し内側に描画して余白が残るようにしてある。このフレームラインFlを全体画面より少し内枠として表示することで、ユーザは視覚的に特定の領域Paを抜き取り拡大表示している画像であることを直感的に把握する効果が期待できる。画面周辺のみの表示枠を設けた場合では、枠が周囲環境の画像や表示機器の枠の一部と一体化してしまう心理的作用で部分拡大である事の状況把握がし難くなるが、この様に一度内枠表示をする事で改善が出来る。そして、本例では一度このような表示を行った後で、図10(d)に示すように、フレームラインFl内の映像を画面全体に表示するようにしている。そして、このようなパーソナルビューモードの表示は、長時間にわたり一部領域のみを継続表示した後、ビューモード表示タイマがタイムアウトした時点で(図9のステップS115)終了し、通常モードによる全画面表示に戻る。
【0060】
図10(b)に示すように全画面表示されてから、図10(d)または(c)に示すように、特定の領域Paが表示されるまでにかかる時間(ズーム時間)としては、例えば0秒、または0.3秒〜10秒程度のパラメータを設定可能である。ズーム倍率を拡大方向に変化させるステップは、ユーザが連続性を判断可能な値、例えば2ステップから256ステップまでの間の任意の値を設定可能である。また、警告メッセージMsの表示及び点滅時間には、0秒または、0.5秒〜無限の値を設定することができる。さらに、パーソナルビューモードの表示時間を計測するタイマのタイムアウトまでの時間としては、30秒〜無限の値を設定することができる。
【0061】
[ボタン操作と画面表示との対応例]
次に、選択・確定ボタンB1と値入力ボタンB2に対する操作入力と、表示部21の画面表示との対応の例について、図11図18を参照して説明する。図11は、ボタン操作に連動して遷移する画面表示の例を、時系列に示したものである。まず、図11(a)に示すように、通常モード(もしくは他の表示モード)の画面が表示されている状態で、選択・確定ボタンB1と値入力ボタンB2との同時長押しを検出すると、割り込みが実施され、図11(b)に示す画面に遷移する。
【0062】
図11(b)に示す画面には、左上端に“MENU”の文字が表示されており、その右側に、拡大(ズーム)を表すアイコンや、X軸方向又はY軸方向への枠の移動を示すアイコンが表示されている。これらのアイコンは、メニュー(パーソナルビューモード設定メニュー)の内容を視覚的に分かりやすくする目的で表示させてある。これらのアイコンを表示させず、単に“MENU”の文字を表示させるようにしてもよい。“MENU”の下にある“CONFIRM”の表記は、メニューを選択する操作の確定を促すためのものである。ここでユーザが選択・確定ボタンB1を押下すると、“CONFIRM”が選択されたことになり、パーソナルビューモード設定メニューモード(以下、単に「設定メニューモード」とも称する)に遷移する。
【0063】
なお、メニュー選択操作の確定を促す画面として、図12に示すような画面を表示させてもよい。図12に示す画面は、画面の左上に“SET MODE”の文字を表示させており、特定の領域Paを決定するためのフレームラインも表示させている。このように、設定メニューモードへの遷移を分かりやすく表現した“SET MODE”のような文字と、パーソナルビューモードを象徴するフレームライン等を画面上に表示させてもよい。
【0064】
再び図11に戻って説明を続けると、図11(b)に示す画面が表示された状態で、選択・確定ボタンB1の押下が検出されると、設定メニューモードに遷移する。ここで、前述したようにボタン確定待機時間カウント用タイマが開始され、タイムアウトするまでに何の操作も検出されなかった場合には、設定メニューモードは終了となる。
【0065】
図11(c)は、設定メニューモードの画面表示例を示したものである。画面左上に“ZOOM”の文字が表示されており、その右側には、「ズーム」を連想させる2つのアイコンが示されている。そして、特定の領域Paを決めるためのフレームラインが、画面中央に表示されている。フレームラインの大きさは、ズームの倍率に反比例する大きさとしてあり、最初は最小サイズを表示するようにしている。ユーザによって最小サイズのフレームラインが選択された場合には、フレームラインで囲まれた小さな領域の画像が画面全体に拡大表示されるようになる。すなわち、最大のズーム倍率で画像が拡大されるようになる。
【0066】
図11(c)に示した画面が表示された状態で、値入力ボタンB2の押下が検出されると、その押下回数に連動して、フレームラインで囲われた領域が拡大する。この拡大は、前述したように巡回式で行うようにしてあり、画面域最大になったらまた最小サイズに戻って表示される。ズーム倍率設定画面では、図13に示すように、ズーム倍率を線で表示させてもよい。図13の上端にはズーム倍率を示す横線が表示されており、横線の左端部分には、ズーム倍率の大きさを示す縦線が重ねて表示されている。このように、ズーム倍率を視覚的に分かりやすく示したGUI(Graphical User Interface)を表示させてもよい。
【0067】
この画面が表示された状態で、選択・確定ボタンB1の押下が検出されると、図11(d)に示した画面に遷移する。図11(d)に示した画面では、“ZOOM”の表記部分の色が変わっており、選択状態が確定に変化したことが、視覚的に分かりやすく表現されている。ズーム倍率が確定されると、次は画面が図11(e)に示した画面に遷移する。
【0068】
図11(e)に示す画面には、特定の領域PaのX軸座標を決定する画面であることを示す“X−POS.”の文字と、X軸座標決定をイメージさせるアイコンが表示されている。さらに、X座標の位置を決めるためのフレームラインも表示されている。この画面が表示された状態で値入力ボタンB2の押下が検出されると、その押下回数に応じて、フレームラインで囲われた領域が中央から右方向に移動する。この移動も巡回式で行うようにしてあり、画面右端に行き着いたら左端に移動し、再び右側方向に移動する。X軸座標設定画面では、図14に示すように、フレームラインの移動方向(この場合は右)を示す矢印を併せて表示させてもよい。
【0069】
ここで、選択・確定ボタンB1が押下されることによってX軸座標位置が決定されると、図11(f)に示す画面に遷移する。図11(f)に示した画面でも、“X−POS.”の表記部分の色が変わっており、選択状態が確定に変化したことが、視覚的に分かりやすく表現されている。X座標の位置が確定されると、次は画面が図11(g)に示した画面に遷移する。
【0070】
図11(g)に示す画面には、特定の領域PaのY軸座標を決定する画面であることを示す“Y−POS.”の文字と、Y軸座標決定をイメージさせるアイコンが表示されている。さらに、Y座標の位置を決めるためのフレームラインも表示されている。この画面が表示された状態で値入力ボタンB2の押下が検出されると、その押下回数に応じて、フレームラインで囲われた領域が中央から上方向に移動する。この移動も巡回式で行うようにしてあり、画面上端に行き着いたら下端に移動し、再び上方向に移動する。Y軸座標設定画面においても、図15に示すように、フレームラインの移動方向(この場合は上)を示す矢印を併せて表示させてもよい。
【0071】
ここで、選択・確定ボタンB1が押下されることによってY軸座標位置が決定されると、図11(h)に示す画面に遷移する。図11(h)に示した画面でも、“Y−POS.”の表記部分の色が変わっている。Y軸座標の位置までが確定すると、画面は図11(i)に示したものに遷移する。図11(i)に示す画面には、ユーザによって指定されたズーム倍率・X座標・Y座標により定まる特定の領域Paをフレームラインで示してあり、画面左上に、“OK/NG”の文字が表示されている。この表記は、特定の領域Paの拡大率及び位置を確定するか否かを促すためのものである。選択・確定ボタンB1の押下で確定、値入力ボタンB2の押下で取り消しができるようにしている。
【0072】
図11(i)に示した画面が表示されている状態で、ユーザによって選択・確定ボタンB1が押下されると、画面は図11(k)に示されるものに遷移する。本例では、いきなり画面を切り替えるのではなく、拡大率を徐々に大きくしながら、予め定められた所定の時間をかけて画面が遷移するようにしている。この様に、徐々に遷移させて状況の連続表示をさせる事で、状況に認識把握が改善され、認識喪失を低減する効果がある。この遷移の時間は、前述したように0.3秒〜10秒程度のパラメータを設定可能である。このパラメータを0秒に設定することも可能であり、その場合は、画面がすぐに切り替わる。また、ズーム倍率を拡大方向に変化させるステップ幅も、2ステップから256ステップまでの間の任意の値を設定可能である。
【0073】
図11(k)に示す画面には、“CAUTION ZOOM PARTIAL VIEW”の文字(警告メッセージ)と、囲み枠が表示されている。“CAUTION ZOOM PARTIAL VIEW”の文字及び囲み枠は、画面に表示された映像が通常モードによるものではなく、パーソナルビューモードによる拡大された映像であることを、ユーザに気づかせるためのものである。このため、枠の色は赤等に設定するのが好ましい。この囲み枠は点滅させてもよく、図16に示すように、複数本の囲み枠を重ねて表示させるようにしてもよい。複数の囲み枠を重ねて表示する場合には、一番内側のラインから一番外側のラインまでを順に点灯及び消灯させるようにしてもよい。このような表示を行うことで、枠が外側に向かって大きくなっていくような視覚効果を生み出すことができ、この枠に囲まれた映像がズームされた映像であることを、ユーザに直感的に把握させることができる。同様の効果を生み出すために、複数本の囲み枠のうち、内側の囲み枠から順に一本ずつ消しながら表示させるようにしてもよい。もしくは、複数本の囲み枠を同時に点灯させたり、点滅させるようにしてもよい。囲み枠を設けずに、単に警告メッセージのみを表示させてもよい。また、警告メッセージの文章も、上述したものに限定されるものではない。
【0074】
なお、本例では、撮像システム5の電源投入時にパーソナルビューモードによる映像を表示させることはせず、通常モードや遠方モード等、他のモードによる映像を表示させるようにしている。電源投入時にパーソナルビューモードによる拡大映像を表示させると、ユーザが、その映像を拡大表示されたものだと気づかずにハンドル操作してしまう危険があると考えたためである。なお、他のモードによる映像とは、部分的な領域を拡大した映像ではなく、映像のズーム率が、車両の走行方向全体を把握可能な程度に調整された全体把握用映像を指す。「車両の走行方向全体」の範囲は、例えば車両の幅等により特定されるものとする。パーソナルビューモードによる映像を表示させる場合には、ボタン長押し操作という、ユーザが意図して行わなければならない操作を必須の操作とすることで、このような危険を回避できるようにすることもできる。ただし、電源投入時にパーソナルビューモードによる拡大映像を表示させるように設定することも可能である。
【0075】
以上説明したように、本実施の形態の撮像システムによると、ユーザによる指示入力に基づいて、例えばそのユーザの目視困難箇所等が特定の領域として決定される。そして、ユーザの指示入力により、その特定の領域が撮影画像から切り出され、さらに拡大されて表示装置の画面等に出力されるようになる。すなわち、ユーザ固有の目視困難箇所を設定することができ、その箇所を拡大して見ることができるため、注視したい箇所の映像の詳細を確認できるようになる。
【0076】
また、特定の領域Paの設定や読み出しを、すべて撮像装置1の内部で行うようにしているため、表示装置2側で何の処理も行う必要がなくなる。よって、たとえばユーザが表示装置2を買い換えた場合にも、パーソナルビューモードによる映像確認をできるようになる。また、画像の一部切り出し変換処理を撮像装置1内で行うことで、NTSC等の限られた画像伝送信号帯域に乗せる前の、イメージセンサ11から直接得られる元の高精細画像から処理を行えるようになる。これにより、パーソナルビューモードとして最適な変換と画質改善処理を行える為に、表示装置2内で単純に部分切り出し拡大処理を行った場合より緻密で高精細な画像情報を、表示装置2へ提供することが可能となる。
【0077】
また、本例によれば、選択・確定ボタンB1と値入力ボタンB2という2つのボタン操作のみで、特定の領域Paの設定や「見たいとこ表示」をする設定値の読み出しを行えるため、ユーザが運転中等であってもユーザの手を煩わせずに済む。特に、特定の領域Paの読み出し及び拡大は、選択・確定ボタンB1の操作と、連続ボタン押し操作のみで行えるため、運転操作と並行して特定の領域Paの確認も容易に行うことができる。
【0078】
また、本例によれば、値入力ボタンB2の押下操作に基づいて、特定の領域Paを示すフレームラインの大きさや位置が変化する。そして、フレームラインの大きさや位置を確定するボタン長押し操作を受け付けた時点で、特定の領域Paを特定する設定値が生成される。したがって、ユーザは、特定の領域Paのズーム倍率やX軸座標、Y軸座標のパラメータを入力することなく、フレームラインの大きさや位置を変化させるという簡単な操作のみで、特定の領域Paの設定を行うことができる。
【0079】
また、本例によれば、特定の領域Paを複数種類設定することができるため、例えば自宅の駐車場における目視困難箇所と、職場の駐車場における目視困難箇所等を、個別に設定することができる。さらに、これらの複数の設定を、選択・確定ボタンB1の連続ボタン押し操作のみで順番に切り替えて表示させることができるため、複数種類の情報が登録されている場合にも、ユーザはそれらを容易に確認することができる。
【0080】
また、本例によれば、拡大表示された特定の領域Paを表示した画面上に、囲み枠と警告メッセージが表示されるため、視聴中の映像がズーム映像であることをユーザに容易に気づかせることができる。したがって、拡大映像であることをユーザが気づかずに運転操作してしまった場合に起こりうる運転ミスや事故を、未然に防ぐ効果を期待することができる。
【0081】
<2.変形例1(1つのボタンで操作を受け付ける例)>
なお、ここまで説明した実施の形態では、表示装置2の操作入力部22を2つのボタン(選択・確定ボタンB1及び値入力ボタンB2)で構成した例を説明したが、1つのボタンで操作できるように構成してもよい。1つのボタンで操作ができるように構成する場合には、そのボタンに、選択・順次加算・確定の3つの機能を持たせるようにする。具体的には、パーソナルビューモード設定メニュー及びパーソナルビューモード自体の起動、ズーム倍率・X軸座標位置・Y軸座標位置の決定、特定の領域Paの大きさ及び位置の確定操作を、ボタン長押しにより行えるようにする。また、ズーム倍率・X軸座標位置・Y軸座標位置の選択を、連続ボタン押し操作により行えるようにする。このように構成することで、1つのボタンで、パーソナルビューモードでの特定の領域Paの設定及び、特定の領域Paの読み出しを行えるようになる。これにより、表示装置2におけるその他のボタン実装面積を増やせるという効果も得られる。さらに、表示装置2との信号線を複数用意する必要がなくなるため、設計の自由度を向上させることができる。
【0082】
<3.変形例2(特定の領域Paの映像を、PinPの小画面に表示させる例)>
また、ここまで説明した実施の形態では、特定の領域Paの映像を表示装置2の画面全体に拡大して表示する例を挙げたが、これに限定されるものではない。例えば、特定の領域Paの映像を、PinPの小画面に表示させるように構成してもよい。この場合の撮像システム5αの構成例を、図17に示す。
【0083】
図17において、図1と対応する箇所には同一の符号を付してあり、詳細な説明は省略する。図17に示す構成では、画像記憶部132αに第1の領域132α1と第2の領域132α2とを設けており、これらのうちいずれの領域に画像を書き込むかを選択する領域選択部19を設けている。第1の領域132α1には、表示部21の画面全体に出力するための変換画像を記憶させ、第2の領域132α2には、PinP小画面に表示させるための変換画像を記憶させる。そして、フレーム出力タイミングに応じて画像記憶部132に記憶された画像信号を全て連続読み出しする事で、アナログエンコーダ18の標準的出力形式の出力にPinP出力形式の画像出力が得られる。
【0084】
図18は、第1の領域132α1と第2の領域132α2への変換画像の書き込み処理の例を示す図である。まず、図18(a)に示すように、PinP小画面に出力するための変換画像Sを、第2の領域132α2に書き込む。第1の領域132α1はマスク領域として何の画像も書き込まないようにする。次に、図18(b)に示すように、全画面に出力するための変換画像Fを、第1の領域132α1に書き込む。全画面に出力するための変換画像Fは、イメージセンサ11により生成された画像信号によるデフォルト画像に基づいて生成される。今度は、第2の領域132α2をマスク領域として何の画像も書き込まないようにする。このように書き込まれた全画面出力用の変換画像Fと小画面出力用の変換画像Sとを、領域選択部19が、それぞれフレームレートを1/2に落として1フレーム毎に交互に出力させる。つまり、それぞれの変換画像は、2フレームに1回更新されるようになる。このような処理を行うことにより、図18(c)に示したように、全画面出力用の変換画像Fと小画面出力用の変換画像Sという時間的に異なる画像が、合成されて出力されるようになる。
【0085】
このように構成することで、例えば、表示部21の全画面には通常モードによる撮影映像を表示させ、PinPの小画面には、パーソナルビューモードによる特定の領域Paの映像を表示させることができる。これにより、ユーザは、撮像装置1αによって撮影された通常の映像も見ながら、特定領域Paの拡大映像も確認することができる。したがって、車両の周囲の状況把握を容易に行えるようになる。また、本例の構成によれば、画像記憶部132αを領域の数に対応させて複数設けずに済むため、撮像装置1αの製造コストを低減できるという効果も得られる。
【0086】
なお、図17及び図18に示したように、一つの画像記憶部132αを用いてPinP画面の表示制御を行う構成だけでなく、領域の数に対応して複数の画像記憶部132αを設ける構成に適用してもよい。また、パーソナルビューモードによる特定の領域Paの映像を、PinPの小画面でなく全画面に表示させ、全体把握用の画像を小画面に表示させてもよい。
【符号の説明】
【0087】
1…撮像装置、2…表示装置、5,5α…撮像システム、11…イメージセンサ、12…画質調整部、13…画像変換部、14…制御部、15…設定値記憶部、15a,15b…工場出荷データ記憶領域、15c,15d…設定値記憶領域、15t…画像変換データ記憶領域、16…タイミング調整部、17…表示制御部、18…アナログエンコーダ、19…領域選択部、21…表示部、22…操作入力部、131…画像変換処理部、132…画像記憶部、132α1…第1の領域、132α2…第2の領域、B1…選択・確定ボタン、B2…値入力ボタン
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18