特開 2023-114511 画像処理装置、画像処理システムおよび画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023114511

(43)【公開日】2023-08-18

(54)【発明の名称】画像処理装置、画像処理システムおよび画像処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230810BHJP

   B60R 1/27 20220101ALI20230810BHJP

   B60R 1/28 20220101ALI20230810BHJP

   G06T 19/00 20110101ALI20230810BHJP

   G06T 3/00 20060101ALI20230810BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 V

B60R1/27

B60R1/28 200

G06T19/00 A

G06T3/00 770

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022016837

(22)【出願日】2022-02-07

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100123102

【弁理士】

【氏名又は名称】宗田 悟志

(72)【発明者】

【氏名】平岡 健二

(72)【発明者】

【氏名】福井 裕隆

(72)【発明者】

【氏名】伊藤 功将

(72)【発明者】

【氏名】仲辻 栄義

(72)【発明者】

【氏名】片田 智章

【テーマコード（参考）】

5B050

5B057

5C054

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA11

5B050CA01

5B050DA01

5B050EA19

5B050FA02

5B057AA16

5B057CA12

5B057CA16

5B057CB12

5B057CB16

5B057CD20

5B057CE08

5C054FC12

5C054FD03

5C054FE01

5C054FE11

5C054FE21

5C054HA30

(57)【要約】

【課題】車両の周囲を周回するように車両の周囲の様子を示す周回動画における周回方向を適切に決定する技術を提供する。
【解決手段】画像生成部４４は、複数のカメラ１２で得られた複数の撮影画像を用いて、仮想視点から見た車両１０の周囲を示す複数の仮想視点画像を時間的に連続して生成する。画像出力部４６は、複数の仮想視点画像に基づいて、車両１０の周回動画を表示装置１４に表示させる。動作パターンテーブル３８は、車両１０の動作パターンと、その動作パターンに適合した周回方向とを対応付けて記憶する。周回方向決定部５２は、車両１０の動作が、動作パターンテーブル３８に記憶された動作パターンと一致する場合、動作パターンテーブル３８においてその動作パターンに対応付けられた周回方向を、周回動画における周回方向として決定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数のカメラで得られた複数の撮影画像を用いて、仮想視点から見た車両の周囲を示す複数の仮想視点画像を時間的に連続して生成する画像生成部と、
前記複数の仮想視点画像に基づいて、前記車両の周囲を周回して示す周回動画を表示部に表示させる画像出力部と、
前記車両の第１の動作パターンと、前記第１の動作パターンに適合した周回方向とを対応付けて記憶する第１記憶部と、
前記車両の動作が前記第１記憶部に記憶された動作パターンと一致する場合、前記第１記憶部においてその動作パターンに対応付けられた周回方向を、前記周回動画における周回方向として決定する周回方向決定部と、
を備える画像処理装置。

【請求項2】

前記車両の第２の動作パターンと、前記第２の動作パターンにおいて前記車両の乗員が所望した前記周回動画の周回方向の履歴とを対応付けて記憶する第２記憶部と、
前記車両の動作が前記第２の動作パターンと一致する場合、前記周回動画に対する前記乗員の視聴状況に基づいて前記乗員が所望した周回方向を推定し、推定した周回方向に基づいて前記第２記憶部に記憶された前記履歴を更新する更新部と、をさらに備え、
前記更新部は、前記第２記憶部に記憶された前記履歴が示す特定の周回方向の所望頻度が所定の閾値を超過した場合、前記第２の動作パターンと前記特定の周回方向とを対応付けて前記第１記憶部にさらに記憶させる、
請求項１に記載の画像処理装置。

【請求項3】

更新部をさらに備え、
前記第１記憶部は、前記第１の動作パターンに対応付けられた周回方向が前記車両の乗員に不適合であった頻度をさらに記憶し、
前記更新部は、前記車両の動作が前記第１の動作パターンと一致する場合、前記周回動画に対する前記乗員の視聴状況に基づいて、前記第１の動作パターンに対応付けられた周回方向が前記車両の乗員に適合しているかを推定し、前記第１の動作パターンに対応付けられた周回方向が前記車両の乗員に不適合であった場合、前記第１記憶部に記憶された前記頻度を更新し、
前記更新部は、前記第１記憶部に記憶された前記頻度が所定の閾値を超過した場合、前記第１の動作パターンに対応付けられた周回方向を無効にし、または、前記第１の動作パターンにそれまでの周回方向に代えて異なる周回方向を対応付ける、
請求項１または２に記載の画像処理装置。

【請求項4】

複数のカメラで得られた複数の撮影画像を用いて、仮想視点から見た車両の周囲を示す複数の仮想視点画像を時間的に連続して生成する画像生成部と、
前記複数の仮想視点画像に基づいて、前記車両の周囲を周回して示す周回動画を表示部に表示させる画像出力部と、
前記車両の動作パターンと、前記動作パターンに適合した周回方向とを対応付けて記憶する記憶部と、
前記車両の動作が前記記憶部に記憶された動作パターンと一致する場合、前記記憶部においてその動作パターンに対応付けられた周回方向を、前記周回動画における周回方向として決定する周回方向決定部と、
を備える画像処理システム。

【請求項5】

記憶部を備えるコンピュータが実行する画像生成方法であって、
前記記憶部は、車両の動作パターンと、前記動作パターンに適合した、前記車両の周囲を周回して示す周回動画の周回方向とを対応付けて記憶し、
前記車両の動作が前記記憶部に記憶された動作パターンと一致する場合、前記記憶部においてその動作パターンに対応付けられた周回方向を、前記周回動画における周回方向として決定し、
複数のカメラで得られた複数の撮影画像を用いて、仮想視点から見た前記車両の周囲を示す複数の仮想視点画像を時間的に連続して生成し、
前記複数の仮想視点画像に基づいて、前記決定された周回方向にて前記車両の周囲を周回する周回動画を表示部に表示させる、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はデータ処理技術に関し、特に画像処理装置、画像処理システムおよび画像処理方法に関する。

【背景技術】

【0002】

車両の周囲を周回するように車両の周囲の様子を示す動画（以下「周回動画」とも呼ぶ。）の表示には、ある程度の時間（例えば１０秒程度）が必要になる。特許文献１では、車両の周囲に存在する物体をユーザ（当該車両の運転者等）が速やかに把握できるよう、車両の周囲に存在する物体が検出された方向を周回動画の周回方向として決定する画像生成装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１３４００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１に記載の技術では、車両がどのように動作しているかを考慮せずに、周回動画の周回方向を決定する。しかし、車両が特定の動作を行う場合、一般的なユーザであれば、特定の方向を先に見たいと考えることがある。上記特許文献１に記載の技術では、ユーザの所望の方向とは逆方向に周回する周回動画が表示される可能性があり、そのような周回動画が表示されると、ユーザは所望の方向が表示されるまで周回動画を見続ける必要があり、ユーザに不快感を抱かせる可能性があった。

【0005】

本開示はこうした課題に鑑みてなされたものであり、１つの目的は、車両の周囲を周回するように車両の周囲の様子を示す周回動画における周回方向を適切に決定する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本開示のある態様の画像処理装置は、複数のカメラで得られた複数の撮影画像を用いて、仮想視点から見た車両の周囲を示す複数の仮想視点画像を時間的に連続して生成する画像生成部と、複数の仮想視点画像に基づいて、車両の周囲を周回して示す周回動画を表示部に表示させる画像出力部と、車両の第１の動作パターンと、第１の動作パターンに適合した周回方向とを対応付けて記憶する第１記憶部と、車両の動作が第１記憶部に記憶された動作パターンと一致する場合、第１記憶部においてその動作パターンに対応付けられた周回方向を、周回動画における周回方向として決定する周回方向決定部とを備える。

【0007】

本開示の別の態様は、画像処理システムである。この画像処理システムは、複数のカメラで得られた複数の撮影画像を用いて、仮想視点から見た車両の周囲を示す複数の仮想視点画像を時間的に連続して生成する画像生成部と、複数の仮想視点画像に基づいて、車両の周囲を周回して示す周回動画を表示部に表示させる画像出力部と、車両の動作パターンと、動作パターンに適合した周回方向とを対応付けて記憶する記憶部と、車両の動作が記憶部に記憶された動作パターンと一致する場合、記憶部においてその動作パターンに対応付けられた周回方向を、周回動画における周回方向として決定する周回方向決定部とを備える。

【0008】

本開示のさらに別の態様は、画像処理方法である。この方法は、記憶部を備えるコンピュータが実行する画像生成方法であって、記憶部は、車両の動作パターンと、動作パターンに適合した、車両の周囲を周回して示す周回動画の周回方向とを対応付けて記憶し、車両の動作が記憶部に記憶された動作パターンと一致する場合、記憶部においてその動作パターンに対応付けられた周回方向を、周回動画における周回方向として決定し、複数のカメラで得られた複数の撮影画像を用いて、仮想視点から見た車両の周囲を示す複数の仮想視点画像を時間的に連続して生成し、複数の仮想視点画像に基づいて、決定された周回方向にて車両の周囲を周回する周回動画を表示部に表示させる。

【0009】

なお、以上の構成要素の任意の組合せ、本開示の表現を、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。

【発明の効果】

【0010】

本開示の技術によれば、車両の周囲を周回するように車両の周囲の様子を示す周回動画における周回方向を適切に決定できる。

【図面の簡単な説明】

【0011】

【図1】周回動画における仮想視点の遷移の例を示す図である。

【図2】周回動画の例を示す図である。

【図3】車両の動作パターンと周回動画の周回方向との対応づけの例を示す図である。

【図4】第１実施例の画像処理システムの構成を示す図である。

【図5】第１実施例の動作パターンテーブルの例を示す図である。

【図6】第１実施例の画像処理装置の動作を示すフローチャートである。

【図7】第２実施例の画像処理システムの構成を示す図である。

【図8】第２実施例の動作パターンテーブルの例を示す図である。

【図9】動作パターン候補テーブルの例を示す図である。

【図10】第２実施例の画像処理装置の動作を示すフローチャートである。

【図11】第２実施例の画像処理装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0012】

本開示における装置または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）（ＩＣ）、またはＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。ここではＩＣあるいはＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）もしくはＵＳＬＩ（Ｕｌｔｒａ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録されてもよいし、コンピュータが読み取り可能なＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの一時的記憶媒体に記録されてもよい。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体もしくは記憶媒体に供給されてもよい。

【0013】

＜第１実施例＞
第１実施例の概要を説明する。近年、複数のカメラで得られた複数の撮影画像を合成して、仮想視点から見た車両の周囲を示す仮想視点画像を生成し、仮想視点を連続的に変更しながら仮想視点画像を連続的に生成することで、車両の周囲を周回するように車両の周囲を示す「周回動画」を表示することが提案されている。

【0014】

図１は、周回動画における仮想視点ＶＰの遷移の例を示す。まず、車両１０の後方上部の初期位置Ｐ０から、車両１０の中心１０ｃに向けた仮想視点ＶＰを設定する。そして、仮想視点ＶＰの位置および視線の向きを時間的に連続して変更する。具体的には、仮想視点ＶＰの視線が車両１０の中心１０ｃに向くように仮想視点ＶＰの視線の向きを変更しつつ、仮想視点ＶＰの位置を車両１０の周囲を一周するように移動する。これにより、仮想視点ＶＰの視線（仮想視点画像の中心に示される領域）が車両１０の周囲を周回する。

【0015】

このように、仮想視点ＶＰを時間的に連続して変更している状態で、複数の仮想視点画像を時間的に連続して生成する。これにより、例えば、図２に示すような複数の仮想視点画像ＣＰが生成される。これらの複数の仮想視点画像ＣＰを時間的に連続して表示部に表示することで、車両１０の周囲を周回するように車両１０の周囲を示す周回動画となる。ユーザは、周回動画を視認することで、車両１０の周囲に存在する物体を直感的に把握することができる。なお、ユーザは、車両１０の乗員とし、具体的には運転者とする。

【0016】

図１における仮想視点ＶＰの周回方向、および、図２における周回動画の周回方向を実施例では「右回り」と呼ぶ。図１では、仮想視点ＶＰの視線の向きを「右回り」で変更しつつ、仮想視点ＶＰの位置を「右回り」で車両１０の周囲を移動させている（矢印ＡＲ１）。図１のように仮想視点ＶＰを変更する場合は、図２に示すように、周回動画においては、車両１０の背面、車両１０の左側面、車両１０の正面、車両１０の右側面、車両１０の背面の順で車両１０の周囲の様子がユーザに示される。周回動画の周回方向を「右回り」にした場合、車両１０の左側面が右側面より先にユーザに示される。

【0017】

図１における仮想視点ＶＰの周回方向とは逆の周回方向であって、図２における周回動画の周回方向とは逆の周回方向を実施例では「左回り」と呼ぶ。周回動画の周回方向を「左回り」にした場合、周回動画においては、車両１０の背面、車両１０の右側面、車両１０の正面、車両１０の左側面、車両１０の背面の順で車両１０の周囲の様子がユーザに示される。周回動画の周回方向を「左回り」にした場合、車両１０の右側面が左側面より先にユーザに示される。

【0018】

上記特許文献１に記載の技術では、車両がどのように動作しているかを考慮せずに、言い換えれば、車両の交通シーンについて考慮せずに、車両の周囲に存在する衝突危険性が高い物体が検出された方向を先に表示するように周回動画の周回方向を決定する。

【0019】

しかし、車両が特定の動作を行う場合、言い換えれば、特定の交通シーンにおいては、一般的なユーザであれば、車外の物体の有無にかかわらず、特定の方向を先に見たいと考えることがある。上記特許文献１に記載の技術では、ユーザの所望の方向とは逆方向に周回する周回動画が表示される可能性があり、その場合、ユーザは所望の方向が表示されるまで周回動画を見続ける必要があり、ユーザに不快感を抱かせる可能性がある。

【0020】

そこで、第１実施例の画像処理システム１１では、現在の車両の動作が特定の動作パターンに一致する場合、その特定の動作パターンに紐づけて予め定められた方向を周回動画の周回方向として決定する。なお、第１実施例の画像処理システム１１において周回動画を表示させる基本的な構成は、上記特許文献１に記載の構成を適用することができる。

【0021】

図３は、車両の動作パターンと周回動画の周回方向との対応づけの例を示す。図３の例は、左側通行、右ハンドル車を前提としている。図３の「交通シーン」は、車両が特定の動作（走行、挙動とも言える）を行う場合に、ユーザが所望する周回方向と、上記特許文献１での周回方向を示す。図３の「動作パターン」は、車両の動作（走行、挙動とも言える）の類型を示す。なお、車両の動作パターンは、車両の交通シーンと呼ぶこともできる。図３の「周回方向」は、動作パターンに適合する周回動画の周回方向を示す。

【0022】

第１実施例の詳細を説明する。図４は、第１実施例の画像処理システム１１の構成を示す。画像処理システム１１は、車両１０に構築された情報処理システムである。画像処理システム１１は、複数のカメラ１２、表示装置１４、画像処理装置１８、操作ボタン２０、物体検出装置２２、走行状態管理装置２４を備える。これらの装置は、車載ネットワーク（車内ＬＡＮ等）を介して接続される。

【0023】

複数のカメラ１２は、車両１０の周囲の空間を写した撮影画像を生成し、撮影画像を画像処理装置１８へ入力する。複数のカメラ１２は、フロントカメラ１２Ｆ、リアカメラ１２Ｂ、左サイドカメラ１２Ｌ、右サイドカメラ１２Ｒを含む。フロントカメラ１２Ｆは、車両１０の前端に設けられ、車両１０の前方空間を撮影する。リアカメラ１２Ｂは、車両１０の後端に設けられ、車両１０の後方空間を撮影する。左サイドカメラ１２Ｌは、車両１０の左サイドミラーに設けられ、車両１０の左方空間を撮影する。右サイドカメラ１２Ｒは、車両１０の右サイドミラーに設けられ、車両１０の右方空間を撮影する。

【0024】

表示装置１４は、表示部またはモニタとも言え、画像処理装置１８から出力された画像（実施例では仮想視点画像ＣＰ、周回動画を含む）を画面に表示する。表示装置１４は、タッチパネル１６を含む。タッチパネル１６は、ユーザによるタッチ操作を受け付ける。操作ボタン２０は、ユーザの操作を受け付ける操作部材である。タッチパネル１６または操作ボタン２０のいずれかにユーザの操作が入力された場合、その操作の内容を示す操作信号が画像処理装置１８に入力される。実施例におけるユーザの操作は、周回動画の表示を指示する操作を含む。

【0025】

物体検出装置２２は、車両１０の周囲に存在する歩行者や障害物等の物体を検出する装置である。物体検出装置２２は、物体の検出結果を示す信号を画像処理装置１８に入力する。物体検出装置２２は、レーダー、ソナー等、公知の手法を用いて車両１０の周囲の物体を検出してもよい。また、物体検出装置２２は、複数のカメラ１２から出力された複数の撮影画像に基づいて、車両１０の周囲の物体を検出してもよい。

【0026】

走行状態管理装置２４は、車両１０の走行状態を管理する装置である。車両１０の走行状態は、車両１０の速度、選択中のギア、ブレーキの作動状況を含む。走行状態管理装置２４は、車両１０の走行状態を示す信号を画像処理装置１８に入力する。

【0027】

画像処理装置１８は、複数のカメラ１２から入力された複数の撮影画像に基づく複数の仮想視点画像ＣＰ（周回動画）を表示装置１４に表示させる情報処理装置である。画像処理装置１８は、ＥＣＵ（Electronic Control Unit）として実現されてもよい。

【0028】

図４は、画像処理装置１８の機能ブロックを示すブロック図を含む。本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

【0029】

画像処理装置１８は、制御部３０、記憶部３２、操作受付部３４、信号受信部３６を備える。制御部３０は、各種データ処理を実行する。制御部３０は、画像処理装置１８のプロセッサ（ＣＰＵ、ＧＰＵ等）により実現されてもよい。記憶部３２は、制御部３０により参照または更新されるデータを記憶する。

【0030】

操作受付部３４は、タッチパネル１６または操作ボタン２０から入力された操作信号を受け付け、操作信号が示すユーザの操作の内容を制御部３０に入力する。信号受信部３６は、物体検出装置２２から送信された物体の検出結果を示す信号を受け付け、その信号が示す物体の検出結果を制御部３０に入力する。また、信号受信部３６は、走行状態管理装置２４から送信された車両１０の走行状態を示す信号を受け付け、その信号が示す車両１０の走行状態を制御部３０に入力する。

【0031】

記憶部３２は、第１記憶部として、動作パターンテーブル３８を含む。動作パターンテーブル３８は、周回動画の周回方向を決定する基準を記憶し、具体的には、車両１０の動作パターンと、その動作パターンに適合するものとして予め定められた周回動画の周回方向とを対応付けて記憶する。

【0032】

図５は、第１実施例の動作パターンテーブル３８の例を示す。動作パターンテーブル３８は、複数の項目として、ＩＤ、動作パターン、パターン特徴量、周回方向を含む。項目「ＩＤ」には、動作パターンのＩＤが設定される。項目「動作パターン」には、車両１０の動作の類型が設定される。項目「周回方向」には、周回動画の周回方向が設定され、実施例では「左回り」または「右回り」が設定される。

【0033】

項目「パターン特徴量」には、コンピュータが読取り可能なデータであって、動作パターンを識別可能なデータ（例えばビット列）が設定される。パターン特徴量は、動作パターンと実質的に同じ内容を表す。パターン特徴量は、走行状態管理装置２４から取得された車両１０の走行状態の特徴を示すデータと、カメラ１２から取得された撮影画像の特徴を示すデータの一方または両方を含んでもよい。例えば、動作パターン「左幅寄せ停止」に対応するパターン特徴量は、（１）車両１０の位置が車道の左端であることを示す撮影画像の特徴データと、（２）車両１０の速度が０であることを示す走行状態の特徴データと、（３）車両１０のパーキングブレーキが作動中であることを示す走行状態の特徴データ、（４）車両１０のギアがパーキングレンジであることを示す走行状態の特徴データ、のうち少なくとも１つを含んでもよい。

【0034】

図４に戻り、制御部３０は、画像取得部４２、画像生成部４４、画像出力部４６、動作検出部４８、危険度導出部５０、周回方向決定部５２を含む。これら複数の機能ブロックの機能が実装されたコンピュータプログラムが画像処理装置１８のストレージ（記憶部３２等）にインストールされてもよい。画像処理装置１８のプロセッサは、そのコンピュータプログラムを実行することにより上記複数の機能ブロックの機能を発揮してもよい。

【0035】

画像取得部４２は、複数のカメラ１２から出力された複数の撮影画像を取得する。画像取得部４２は、取得した撮影画像、または、取得した撮影画像に対して所定の画像処理（例えばアナログデジタル変換）を行った後の撮影画像を画像生成部４４に入力する。

【0036】

画像生成部４４は、画像取得部４２から入力された複数の撮影画像を用いて、複数の仮想視点ＶＰから見た車両１０の周囲の現在の様子を示す複数の仮想視点画像ＣＰを時間的に連続して生成する。画像生成部４４は、仮想視点ＶＰの位置および視線の向きを変化させつつ複数の仮想視点画像ＣＰを生成する。なお、複数の仮想視点画像ＣＰは、上記特許文献１に記載された方法等、公知の手法を用いて生成されてもよい。

【0037】

画像出力部４６は、画像生成部４４により生成された、異なる仮想視点ＶＰに基づく複数の仮想視点画像ＣＰに基づく周回動画を表示装置１４に表示させる。例えば、画像出力部４６は、周回方向決定部５２により決定された周回方向にしたがって、表示装置１４に出力する仮想視点画像ＣＰ（言い換えれば表示対象の仮想視点画像ＣＰ）を順次切り替えることにより、周回方向決定部５２により決定された周回方向に周回する周回動画を表示させてもよい。なお、周回動画の表示は、上記特許文献１に記載された方法等、公知の手法を用いて実現されてもよい。

【0038】

動作検出部４８は、走行状態管理装置２４から入力された車両１０の走行状態を示すデータに基づいて、車両１０の動作を検出し、実施例では、車両１０の動作の特徴量（以下「動作特徴量」とも呼ぶ。）を検出する。例えば、動作検出部４８は、撮像画像の特徴データと、走行状態の特徴データを所定の規則で組み合わせることにより動作特徴量を生成してもよい。動作特徴量は、図５に関連して説明したパターン特徴量に対応するものであり、パターン特徴量と照合されるデータである。

【0039】

危険度導出部５０は、物体検出装置２２から入力された、物体検出装置２２が検出した車両１０の周囲の物体それぞれの危険度を導出する。危険度導出部５０は、車両１０が走行すると予測される進路と、各物体の位置とに基づいて、車両１０と接触する可能性が高い物体ほど高い危険度を付与してもよい。なお、車両１０の周囲の物体それぞれの危険度は、上記特許文献１に記載された方法等、公知の手法を用いて導出されてもよい。

【0040】

周回方向決定部５２は、動作検出部４８により検出された車両１０の動作が動作パターンテーブル３８に記憶された動作パターンと一致する場合、動作パターンテーブル３８においてその動作パターンに対応付けられた周回方向を、周回動画における周回方向として決定する。実施例では、周回方向決定部５２は、動作検出部４８により生成された車両１０の動作特徴量と、動作パターンテーブル３８に記憶された各動作パターンのパターン特徴量とを照合する。周回方向決定部５２は、車両１０の動作特徴量と一致するパターン特徴量が動作パターンテーブル３８に存在する場合、そのパターン特徴量に対応付けられた周回方向を周回動画の周回方向として決定する。

【0041】

周回方向決定部５２は、動作検出部４８により検出された車両１０の動作が動作パターンテーブル３８に記憶された動作パターンと不一致である場合、上記特許文献１の画像生成装置と同様に、物体検出装置２２により検出された車両１０の周囲の物体に基づいて、周回動画の周回方向を決定する。例えば、周回方向決定部５２は、動作検出部４８により検出された車両１０の動作が動作パターンテーブル３８に記憶された動作パターンと不一致であり、かつ、車両１０の周囲に複数の物体が検出された場合、それら複数の物体のうち危険度が最も高い物体の位置に基づいて、周回動画の周回方向を決定する。

【0042】

なお、周回方向決定部５２は、車両１０の動作特徴量と、動作パターンテーブル３８に記憶された動作パターンのパターン特徴量とが完全に一致しなくても、両者の差異が所定範囲内であれば、両者が一致すると見なしてもよく、言い換えれば、車両１０の動作と動作パターンテーブル３８の動作パターンとが一致すると判定してもよい。他の特徴量の比較についても同様である。

【0043】

以上の構成による画像処理装置１８の動作を説明する。
図６は、第１実施例の画像処理装置１８の動作を示すフローチャートである。画像処理装置１８の制御部３０は、周回動画の表示タイミングになった場合、そのことを検知する。例えば、制御部３０は、タッチパネル１６または操作ボタン２０に対して周回動画の表示を指示する操作をユーザが入力した場合、周回動画の表示タイミングであることを検知してもよい。周回動画の表示タイミングでなければ（Ｓ１０のＮ）、以降の処理をスキップして本図のフローを終了する。

【0044】

周回動画の表示タイミングであることが検知されると（Ｓ１０のＹ）、画像処理装置１８の動作検出部４８は、車両１０の動作（動作特徴量）を検出する（Ｓ１１）。画像処理装置１８の周回方向決定部５２は、Ｓ１１で検出された動作（動作特徴量）が、動作パターンテーブル３８に規定された動作パターン（パターン特徴量）の中のいずれかと一致するか否かを判定する。いずれかと一致する場合（Ｓ１２のＹ）、周回方向決定部５２は、車両１０の動作に一致する特定の動作パターン（パターン特徴量）に対応付けられた周回方向を周回動画の周回方向として決定する（Ｓ１３）。

【0045】

Ｓ１１で検出された動作（動作特徴量）が、動作パターンテーブル３８に規定されたいずれの動作パターン（パターン特徴量）とも不一致であれば（Ｓ１２のＮ）、画像処理装置１８の制御部３０は、物体検出装置２２による車両１０の周囲に存在する物体の検出結果を取得する（Ｓ１４）。車両１０の周囲に存在する物体が未検出であれば（Ｓ１５のＮ）、周回方向決定部５２は、周回動画の周回方向を基準方向に決定する（Ｓ１６）。基準方向は、車両１０の運転席の位置に応じて定められてもよい。車両１０が右ハンドル車の場合、運転席の反対側となる車両１０の左側がドライバからは確認しにくくなる。そのため、車両１０の左側が先行してユーザに示されるように、基準方向は「右回り」と定められてもよい。

【0046】

車両１０の周囲に物体が１つのみ検出された場合（Ｓ１５のＹ）（Ｓ１７のＮ）、周回方向決定部５２は、その物体の位置に基づいて周回動画の周回方向を決定する（Ｓ１８）。例えば、周回方向決定部５２は、検出された物体が車両後方からの周回において早く表示されるように左回りまたは右回りのいずれかを選択してもよい。

【0047】

車両１０の周囲に複数の物体が検出された場合（Ｓ１７のＹ）、画像処理装置１８の危険度導出部５０は、検出された複数の物体それぞれの危険度を導出する（Ｓ１９）。周回方向決定部５２は、危険度が最も高い物体の位置に基づいて周回動画の周回方向を決定する（Ｓ２０）。

【0048】

以降、周回動画の表示が開始される（Ｓ２１）。具体的には、画像処理装置１８の画像取得部４２は、複数のカメラ１２による複数の撮影画像を取得する。画像処理装置１８の画像生成部４４は、複数の撮影画像を用いて、異なる仮想視点ＶＰからの視線に基づく複数の仮想視点画像ＣＰを生成する。画像出力部４６は、複数の仮想視点画像ＣＰに基づいて、Ｓ１３、Ｓ１６、Ｓ１８またはＳ２０で決定された周回方向にて車両１０の周囲を周回する周回動画を表示装置１４に表示させる。

【0049】

第１実施例の画像処理装置１８によると、車両１０の動作に適合する方向に周回する周回動画を表示させることができ、周回動画における周回方向を適切に決定できる。これにより、例えば、典型的なユーザにとって早く確認したい方向の様子を、ユーザに早く提示することができる。

【0050】

＜第２実施例＞
本開示の第２実施例について、第１実施例と相違する点を中心に説明し、共通する点の説明を省略する。第２実施例の特徴は、第１実施例の特徴および変形例の特徴と任意の組合せが可能であることはもちろんである。

【0051】

第２実施例の概要を説明する。特定の交通シーン（車両１０の特定の動作パターン）における周回動画にて先に確認したい方向は、ユーザによって異なり得る。例えば、同じ交通シーンであっても、ユーザＡは左回りの周回動画を所望する一方、ユーザＢは右回りの周回動画を所望するかもしれない。しかし、上記特許文献１に記載の技術では、ユーザの所望の方向とは逆方向に周回する周回動画が表示される可能性があり、その場合、ユーザは所望の方向が表示されるまで周回動画を見続ける必要があり、ユーザに不快感を抱かせる可能性がある。

【0052】

そこで、第２実施例の画像処理システム１１では、ユーザの意思・感覚が特定の周回方向に偏りがあり、かつ、そのときの周囲の状況に類似点が多いと判断される場合、その周囲の状況を新たな動作パターンとして定義する。そして、偏りのある周回方向を当該新たな動作パターンの周回方向として定義する。偏りのある周回方向は、新たな動作パターンにおいてユーザに適合する周回方向と言える。

【0053】

第２実施例の詳細を説明する。図７は、第２実施例の画像処理システム１１の構成を示す。第２実施例の画像処理システム１１における複数のカメラ１２は、車室カメラ１２Ｉをさらに含む。第２実施例の画像処理装置１８は、第１実施例の機能ブロックに加えて、動作パターン候補テーブル４０、視聴状況検出部５４、更新部５６をさらに含む。

【0054】

車室カメラ１２Ｉは、車両１０の居室内を撮影する。実施例では、車室カメラ１２Ｉは、表示装置１４（特に表示装置１４に表示される周回動画）を見るユーザの様子を撮影する。画像処理装置１８の画像取得部４２は、車室カメラ１２Ｉによる撮影画像を取得し、視聴状況検出部５４に渡す。

【0055】

図８は、第２実施例の動作パターンテーブル３８の例を示す。第２実施例の動作パターンテーブル３８は、第１実施例の項目に加えて、項目「不適合回数」をさらに含む。項目「不適合回数」には、動作パターン（パターン特徴量）に対応付けられた周回方向がユーザに不適合であった頻度（第２実施例では回数とする）が設定される。例えば、或る動作パターンに伴う周回動画の周回方向が「右回り」と規定される一方、その周回動画表示時にユーザが「左回り」を所望した場合、不適合回数がインクリメントされる。

【0056】

図９は、動作パターン候補テーブル４０の例を示す。動作パターン候補テーブル４０は、第２記憶部として、動作パターンと、その動作パターンにおいてユーザが所望した周回動画の周回方向の履歴（後述の「ユーザ所望周回方向」）とを対応付けて記憶する。具体的には、動作パターン候補テーブル４０は、複数の項目として、動作パターン、パターン特徴量、ユーザ所望周回方向を含む。

【0057】

項目「動作パターン」には、周回動画の周回方向を規定する動作パターンテーブル３８に登録され得る動作パターンが設定される。動作パターンテーブル３８に規定された動作パターンを「第１の動作パターン」と言う場合、動作パターン候補テーブル４０に規定された動作パターンは「第２の動作パターン」と言える。以下では、動作パターン候補テーブル４０に規定された動作パターンを「動作パターン候補」とも呼ぶ。

【0058】

項目「パターン特徴量」には、コンピュータが読取り可能なデータであって、動作パターン候補を識別可能なデータ（例えばビット列）が設定される。項目「動作パターン」（動作パターン候補）のデータと項目「パターン特徴量」のデータとの組み合わせとして、動作パターンテーブル３８に設定され得る、予め想定された多くの候補が動作パターン候補テーブル４０に設定される。項目「ユーザ所望周回方向」には、各動作パターン候補においてユーザが所望した周回方向の履歴が設定され、具体的には、ユーザが左回りを所望した回数と右回りを所望した回数が設定される。

【0059】

図７に戻り、画像処理装置１８の視聴状況検出部５４は、車室カメラ１２Ｉによる撮影画像であって、かつ、周回動画表示中のユーザの様子を写した撮影画像に基づいて、周回動画に対するユーザの視聴状況を検出する。視聴状況検出部５４は、周回動画表示時にユーザが早期に当該周回動画の視聴を終了したか否かを検出する。具体的には、視聴状況検出部５４は、周回動画の前半でユーザの視線が周回動画から外れたか、または、周回動画の後半までユーザの視線が周回動画に維持されたかを判定する。

【0060】

例えば、視聴状況検出部５４は、周回動画の表示時間が１０秒の場合にその半分の５秒を閾値として、周回動画の表示開始から５秒以内にユーザの視線が周回動画から外れた場合、周回動画の前半でユーザの視線が周回動画から外れたと判定してもよい。また、視聴状況検出部５４は、周回動画の表示開始から５秒経過後にユーザの視線が周回動画から外れた場合、周回動画の後半までユーザの視線が周回動画に維持されたと判定してもよい。なお、視聴状況検出部５４は、視線検出技術等の公知技術を用いて、周回動画に対するユーザの視聴状況（周回動画から視線が外れたタイミング等）を検出してもよい。

【0061】

画像処理装置１８の更新部５６は、周回動画の表示開始時、車両１０の動作が動作パターン候補テーブル４０に記憶された動作パターン候補と一致する場合、周回動画に対するユーザの視聴状況に基づいてユーザが所望した周回方向を推定する。更新部５６は、推定した周回方向に基づいて、動作パターン候補テーブル４０に記憶されたユーザ所望周回方向を更新する。具体的には、更新部５６は、ユーザが所望した周回方向（推定結果）の所望回数をインクリメントする。

【0062】

更新部５６は、動作パターン候補テーブル４０に記憶された特定の動作パターン候補のレコードについて、ユーザ所望周回方向が示す特定の周回方向の所望回数が予め定められた閾値（例えば５回）を超過した場合、上記特定の動作パターン候補（パターン特徴量）と上記特定の周回方向とを対応付けて動作パターンテーブル３８にさらに記憶させる。すなわち、更新部５６は、上記特定の動作パターン候補（パターン特徴量）と上記特定の周回方向とを対応付けたレコード（不適合回数は０回）を動作パターンテーブル３８に格納する。

【0063】

また、更新部５６は、周回動画表示時の車両１０の動作が動作パターンテーブル３８に記憶された特定の動作パターンと一致する場合、すなわち、動作パターンテーブル３８に規定された周回方向の規則が適用された場合、周回動画に対するユーザの視聴状況に基づいて、上記特定の動作パターンに対応付けられた周回方向がユーザに適合しているか否かを推定する。

【0064】

具体的には、更新部５６は、視聴状況検出部５４により周回動画の前半でユーザの視線が周回動画から外れたと判定された場合、周回方向がユーザに適合していると推定し、視聴状況検出部５４により周回動画の後半までユーザの視線が周回動画に維持されたと判定された場合、周回方向がユーザに不適合であると推定する。ユーザに適合する周回方向は、ユーザが確認したい方向を早期に表示させる周回方向である。例えば、ユーザが車両１０の左側方を確認したい場合には、ユーザに適合する周回方向は右回りになる。

【0065】

更新部５６は、上記特定の動作パターンに対応付けられた周回方向がユーザに不適合であれば、動作パターンテーブル３８にて上記特定の動作パターンに対応付けられた不適合回数をインクリメントする。

【0066】

更新部５６は、動作パターンテーブル３８に記憶された特定の動作パターンのレコードについて、その不適合回数が予め定められた閾値（例えば５回）を超過した場合、上記特定の動作パターンに対応付けられた周回方向を無効化する。例えば、動作パターンテーブル３８は、周回方向の決定処理において使用しないレコードであることを示す項目「無効フラグ」（不図示）を含んでもよい。更新部５６は、不適合回数が閾値を超過した上記特定の動作パターンのレコードの無効フラグをオンにしてもよい。または、更新部５６は、上記特定の動作パターンのレコードを動作パターンテーブル３８から削除してもよい。

【0067】

変形例として、更新部５６は、動作パターンテーブル３８に記憶された特定の動作パターンのレコードについて、その不適合回数が予め定められた閾値（例えば５回）を超過した場合、上記特定の動作パターンにそれまでの周回方向（例えば右回り）に代えて異なる周回方向（例えば左回り）を対応付けるように当該レコードを更新してもよい。

【0068】

図１０は、第２実施例の画像処理装置１８の動作を示すフローチャートである。図１０は、動作パターンテーブル３８への新たな動作パターンの追加に関連する処理を示している。周回動画の表示が開始された場合（Ｓ３０のＹ）、Ｓ３１以降の処理に進む。第１実施例で説明した処理により、車両１０の周囲の様子を左回りまたは右回りで示すように周回動画が表示される。周回動画の表示が開始されなければ（Ｓ３０のＮ）、Ｓ３１以降の処理をスキップして本図の処理を終了する。

【0069】

動作検出部４８は、車両１０の動作が、動作パターンテーブル３８に記憶された動作パターン（「登録済み動作パターン」とも呼ぶ。）のいずれかに一致するか否かを判定する。例えば、動作検出部４８は、現在の車両１０の動作を示す動作特徴量を導出し、導出した動作特徴量を動作パターンテーブル３８のパターン特徴量に照合することで当該判定を行ってもよい。車両１０の動作が、動作パターンテーブル３８に記憶された登録済み動作パターンに一致する場合（Ｓ３１のＹ）、以降の処理をスキップして本図の処理を終了する。なお、車両１０の動作が、動作パターンテーブル３８に記憶された登録済み動作パターンに一致する場合の処理は、図１１に関連して後述する。

【0070】

周回動画の表示が開始され、かつ、車両１０の動作が、動作パターンテーブル３８に記憶された登録済み動作パターンに不一致である場合（Ｓ３１のＮ）、動作検出部４８は、車両１０の動作が、動作パターン候補テーブル４０に記憶された動作パターン候補のいずれかに一致するか否かを判定する。例えば、動作検出部４８は、現在の車両１０の動作を示す動作特徴量を導出し、導出した動作特徴量を動作パターン候補テーブル４０のパターン特徴量に照合することで当該判定を行ってもよい。車両１０の動作に一致する動作パターン候補が存在しない場合（Ｓ３２のＮ）、以降の処理をスキップして本図の処理を終了する。なお、車両１０の動作に一致する動作パターン候補が存在しない場合、更新部５６は、車両１０の当該動作に該当する動作パターンとパターン特徴量を含む新たな動作パターン候補のデータを動作パターン候補テーブル４０に格納してもよい。

【0071】

車両１０の動作に一致する動作パターン候補（以下「特定動作パターン候補」とも呼ぶ。）が存在する場合（Ｓ３２のＹ）、視聴状況検出部５４は、車室カメラ１２Ｉによる撮影画像に基づいて、表示された周回動画に対するユーザの視聴状況を検出する（Ｓ３３）。周回動画の前半で周回動画からユーザの視線が外れたこと、言い換えれば、ユーザが周回動画の前半だけを視聴したことが検出された場合（Ｓ３４のＹ）、更新部５６は、特定動作パターン候補のカウンタであって、周回動画の周回方向と同方向のカウンタをインクリメントする（Ｓ３５）。周回動画の後半まで周回動画へのユーザの視線が維持されたこと、言い換えれば、ユーザが周回動画の後半まで視聴したことが検出された場合（Ｓ３４のＮ）、更新部５６は、特定動作パターン候補のカウンタであって、周回動画の周回方向と逆方向のカウンタをインクリメントする（Ｓ３６）。

【0072】

特定動作パターン候補のカウンタは、動作パターン候補テーブル４０の特定動作パターン候補のレコードにおける項目「ユーザ所望周回方向」に記録される。周回動画の周回方向が「左回り」の場合、周回動画の周回方向と同方向のカウンタは、ユーザ所望周回方向に記録される「左回り」の所望回数であり、周回動画の周回方向と逆方向のカウンタは、ユーザ所望周回方向に記録される「右回り」の所望回数となる。第２実施例では、周回動画の周回方向がユーザの所望する方向に一致すれば、ユーザの所望する方向が早期に表示されるため、ユーザは周回動画の前半だけ見て視聴を終了するが、周回動画の周回方向がユーザの所望する方向に不一致であれば、ユーザの所望する方向が動画後半で表示されるため、ユーザは周回動画の後半まで視聴を継続せざるを得ない、という発明者の知見に基づいて動作パターン候補のカウンタ値を調整する。

【0073】

更新部５６は、動作パターン候補テーブル４０の特定動作パターン候補について、ユーザ所望周回方向における左回りの所望回数と、右回りの所望回数のいずれかが、予め定められた動作パターンテーブル３８への登録閾値（例えば５回）を超過したか否かを判定する。特定動作パターン候補の左回りの所望回数と右回りの所望回数のいずれかが登録閾値を超過した場合（Ｓ３７のＹ）、更新部５６は、特定動作パターン候補と、登録閾値を超過した周回方向とを対応付けた新たなレコードを動作パターンテーブル３８に格納する（Ｓ３８）。

【0074】

例えば、図９の動作パターン候補テーブル４０において、動作パターン「ＸＸＸＸＸ」の右回りの所望回数が登録閾値を超過した場合、更新部５６は、動作パターン「ＸＸＸＸＸ」、パターン特徴量「ＣＣＣＣＣ」、周回方向「右回り」、不適合回数「０回」を対応付けたレコードを動作パターンテーブル３８に格納してもよい。特定動作パターン候補の左回りの所望回数と右回りの所望回数のいずれも登録閾値以下であれば（Ｓ３７のＮ）、Ｓ３８の処理をスキップする。

【0075】

図１１も、第２実施例の画像処理装置１８の動作を示すフローチャートである。同図は、動作パターンテーブル３８における周回方向決定規則の無効化に関連する処理を示している。周回動画の表示が開始され（Ｓ４０のＹ）、かつ、車両１０の動作が、動作パターンテーブル３８に記憶された登録済み動作パターンに一致する場合（Ｓ４１のＹ）、視聴状況検出部５４は、車室カメラ１２Ｉによる撮影画像に基づいて、周回動画に対するユーザの視聴状況を検出する（Ｓ４２）。周回動画の表示が開始されず（Ｓ４０のＮ）、または、車両１０の動作が、動作パターンテーブル３８に記憶された登録済み動作パターンに不一致であれば（Ｓ４１のＮ）、以降の処理をスキップして本図の処理を終了する。

【0076】

以下、車両１０の動作に一致する登録済み動作パターンを「特定動作パターン」とも呼ぶ。Ｓ４２において、周回動画の後半まで周回動画へのユーザの視線が維持されたこと、言い換えれば、ユーザが周回動画の後半まで視聴したことが検出された場合（Ｓ４３のＮ）、更新部５６は、動作パターンテーブル３８において特定動作パターンと対応付けられた不適合回数をインクリメントする（Ｓ４４）。Ｓ４２において、周回動画の前半で周回動画からユーザの視線が外れたこと、言い換えれば、ユーザが周回動画の前半だけを視聴したことが検出された場合（Ｓ４３のＹ）、Ｓ４４の処理をスキップする。

【0077】

更新部５６は、動作パターンテーブル３８の特定動作パターンの不適合回数が、予め定められた無効閾値（例えば５回）を超過したか否かを判定する。特定動作パターンの不適合回数が無効閾値を超過した場合（Ｓ４５のＹ）、更新部５６は、特定動作パターンでのそれまでの周回方向を無効化するように、動作パターンテーブル３８における特定動作パターンのデータを更新する（Ｓ４６）。これ以降、車両の動作が今回の特定動作パターンの場合、図６のＳ１４以降の処理にて周回動画の周回方向が決定されてもよく、言い換えれば、車両１０の周囲に存在する物体に基づいて周回方向が決定されてもよい。特定動作パターンの不適合回数が無効閾値以下であれば（Ｓ４５のＮ）、Ｓ４６の処理をスキップする。

【0078】

第２実施例の画像処理装置１８によると、周回動画の周回方向にユーザの意思や感覚を反映させやすくなる。例えば、周回動画において、ユーザが確認したいと考える方向の様子をユーザに早く提示することができる。これにより、周回動画の利便性を一層高めることができる。

【0079】

以上、本開示を第１、第２実施例をもとに説明した。これらの実施例は例示であり、実施例の各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

【0080】

変形例を説明する。上述した各実施例に係る画像処理装置１８の機能は、複数の装置に亘って実装されてもよい。すなわち、各実施例に係る画像処理装置１８の処理は、複数の装置が連携するシステムにより実現されてもよい。例えば、各実施例に係る画像処理装置１８の機能の一部は、通信網を介して画像処理装置１８と接続されるサーバ（不図示）に実装されてもよい。

【0081】

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。本明細書または請求項中に「第１」、「第２」等の用語が用いられる場合には、特に言及がない限り、いかなる順序や重要度を表すものでもなく、ある構成と他の構成とを区別するためのものである。

【0082】

実施例および変形例に記載の技術は、以下の各項目に記載の態様によって特定されてもよい。
［項目１］
複数のカメラで得られた複数の撮影画像を用いて、仮想視点から見た車両の周囲を示す複数の仮想視点画像を時間的に連続して生成する画像生成部と、
前記複数の仮想視点画像に基づいて、前記車両の周囲を周回して示す周回動画を表示部に表示させる画像出力部と、
前記車両の第１の動作パターンと、前記第１の動作パターンに適合した周回方向とを対応付けて記憶する第１記憶部と、
前記車両の動作が前記第１記憶部に記憶された動作パターンと一致する場合、前記第１記憶部においてその動作パターンに対応付けられた周回方向を、前記周回動画における周回方向として決定する周回方向決定部と、
を備える画像処理装置。
この画像処理装置によると、車両の動作に適合する方向に周回する周回動画を表示させることができ、周回動画における周回方向を適切に決定できる。これにより、例えば、典型的なユーザにとって早く確認したい方向の様子を早く提示することができる。
［項目２］
前記車両の第２の動作パターンと、前記第２の動作パターンにおいて前記車両の乗員が所望した前記周回動画の周回方向の履歴とを対応付けて記憶する第２記憶部と、
前記車両の動作が前記第２の動作パターンと一致する場合、前記周回動画に対する前記乗員の視聴状況に基づいて前記乗員が所望した周回方向を推定し、推定した周回方向に基づいて前記第２記憶部に記憶された前記履歴を更新する更新部と、をさらに備え、
前記更新部は、前記第２記憶部に記憶された前記履歴が示す特定の周回方向の所望頻度が所定の閾値を超過した場合、前記第２の動作パターンと前記特定の周回方向とを対応付けて前記第１記憶部にさらに記憶させる、
項目１に記載の画像処理装置。
この画像処理装置によると、周回動画の周回方向に対してユーザの意思や感覚を反映させやすくなる。例えば、周回動画において、ユーザが確認したいと考える方向の様子をユーザに早く提示することができる。
［項目３］
更新部をさらに備え、
前記第１記憶部は、前記第１の動作パターンに対応付けられた周回方向が前記車両の乗員に不適合であった頻度をさらに記憶し、
前記更新部は、前記車両の動作が前記第１の動作パターンと一致する場合、前記周回動画に対する前記乗員の視聴状況に基づいて、前記第１の動作パターンに対応付けられた周回方向が前記車両の乗員に適合しているかを推定し、前記第１の動作パターンに対応付けられた周回方向が前記車両の乗員に不適合であった場合、前記第１記憶部に記憶された前記頻度を更新し、
前記更新部は、前記第１記憶部に記憶された前記頻度が所定の閾値を超過した場合、前記第１の動作パターンに対応付けられた周回方向を無効にし、または、前記第１の動作パターンにそれまでの周回方向に代えて異なる周回方向を対応付ける、
項目１または２に記載の画像処理装置。
この画像処理装置によると、周回動画の周回方向に対してユーザの意思や感覚を反映させやすくなる。例えば、周回動画において、ユーザが確認したいと考える方向の様子をユーザに早く提示することができる。
［項目４］
複数のカメラで得られた複数の撮影画像を用いて、仮想視点から見た車両の周囲を示す複数の仮想視点画像を時間的に連続して生成する画像生成部と、
前記複数の仮想視点画像に基づいて、前記車両の周囲を周回して示す周回動画を表示部に表示させる画像出力部と、
前記車両の動作パターンと、前記動作パターンに適合した周回方向とを対応付けて記憶する記憶部と、
前記車両の動作が前記記憶部に記憶された動作パターンと一致する場合、前記記憶部においてその動作パターンに対応付けられた周回方向を、前記周回動画における周回方向として決定する周回方向決定部と、
を備える画像処理システム。
この画像処理システムによると、項目１の画像処理装置と同様の効果を奏する。
［項目５］
記憶部を備えるコンピュータが実行する画像生成方法であって、
前記記憶部は、車両の動作パターンと、前記動作パターンに適合した、前記車両の周囲を周回して示す周回動画の周回方向とを対応付けて記憶し、
前記車両の動作が前記記憶部に記憶された動作パターンと一致する場合、前記記憶部においてその動作パターンに対応付けられた周回方向を、前記周回動画における周回方向として決定し、
複数のカメラで得られた複数の撮影画像を用いて、仮想視点から見た前記車両の周囲を示す複数の仮想視点画像を時間的に連続して生成し、
前記複数の仮想視点画像に基づいて、前記決定された周回方向にて前記車両の周囲を周回する周回動画を表示部に表示させる、
画像処理方法。
この画像処理方法によると、項目１の画像処理装置と同様の効果を奏する。

【符号の説明】

【0083】

１０ 車両、 １２ カメラ、 １４ 表示装置、 １８ 画像処理装置、 ３８ 動作パターンテーブル、 ４０ 動作パターン候補テーブル、 ４４ 画像生成部、 ４６ 画像出力部、 ５２ 周回方向決定部、 ５６ 更新部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】