特許 6894473 マルチストリーム映像処理装置及びマルチストリーム映像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6894473

(24)【登録日】2021年6月7日

(45)【発行日】2021年6月30日

(54)【発明の名称】マルチストリーム映像処理装置及びマルチストリーム映像処理方法

(51)【国際特許分類】

   H04N 21/238 20110101AFI20210621BHJP

   H04N 21/2187 20110101ALI20210621BHJP

【ＦＩ】

   H04N21/238

   H04N21/2187

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2019-127682(P2019-127682)

(22)【出願日】2019年7月9日

(65)【公開番号】特開2020-108136(P2020-108136A)

(43)【公開日】2020年7月9日

【審査請求日】2019年7月9日

(31)【優先権主張番号】201811602356.7

(32)【優先日】2018年12月26日

(33)【優先権主張国】CN

【前置審査】

(73)【特許権者】

【識別番号】519187872

【氏名又は名称】廈門星宸科技有限公司

(74)【代理人】

【識別番号】100217434

【弁理士】

【氏名又は名称】万野 秀人

(72)【発明者】

【氏名】孫 明勇

(72)【発明者】

【氏名】汪 浩

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２００５−００６２３９（ＪＰ，Ａ）

【文献】 特開平０４−３０８９５６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／０３３９３４５（ＵＳ，Ａ１）

【文献】 特開２００５−１７６００１（ＪＰ，Ａ）

【文献】 特開２００１−１０３４７９（ＪＰ，Ａ）

【文献】 特開２００３−２５９３１５（ＪＰ，Ａ）

【文献】 特開２００７−１２９５７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ ５／７６−５／９５６

(57)【特許請求の範囲】

【請求項1】

マルチストリーム映像処理方法であって、
前段回路は、同一映像源から、１つのメイン映像ストリームと、少なくとも１つのサブ映像ストリームとを含む映像ストリームを複数生成し、前記メイン映像ストリームの解像度は前記サブ映像ストリームの解像度よりも高く、
映像ピクチャ処理時間区間において、前記前段回路は、前記サブ映像ストリームのＮ個目のサブ映像ピクチャを、メモリモジュールにおける少なくとも１つの最新サブ映像一時記憶領域に格納し、前記メイン映像ストリームのＮ個目のメイン映像ピクチャを、前記メモリモジュールにおけるメイン映像一時記憶領域に格納し、
前記映像ピクチャ処理時間区間の第１サブ区間において、後段回路は、前記メモリモジュールにおける少なくとも１つの先行サブ映像一時記憶領域に格納された前記サブ映像ストリームのＮ−１個目のサブ映像ピクチャを読み取り、処理を行い、
前記映像ピクチャ処理時間区間の第１サブ区間の後の第２サブ区間において、前記後段回路は、メイン映像一時記憶領域に格納された前記Ｎ個目のメイン映像ピクチャを読み取り、処理を行い、
前記メイン映像一時記憶領域は、容量が前記Ｎ個目のメイン映像ピクチャのサイズより小さく、リングバッファとして動作し、
前記映像ピクチャ処理時間区間と先行映像ピクチャ処理時間区間との間には、同期信号時間区間が含まれ、
前記マルチストリーム映像処理方法は、さらに、
前記同期信号時間区間及び前記映像ピクチャ処理時間区間における前記第１サブ区間前の第３サブ区間において、前記後段回路は、前記メイン映像一時記憶領域に格納されたＮ−１個目のメイン映像ピクチャを読み取り、処理を行い、
同期回路が、前記前段回路及び前記後段回路のピクチャ処理情報を取り出し、
前記同期回路は、前記ピクチャ処理情報に基づいて、前記Ｎ−１個目のメイン映像ピクチャの大きさと前記Ｎ−１個目のメイン映像ピクチャの読取行数との差分を算出し、
前記同期回路は、前記ピクチャ処理情報に基づいて、前記差分と前記Ｎ個目のメイン映像ピクチャの格納行数との合計が前記メイン映像一時記憶領域の容量より大きいか否かを判定し、
前記合計が前記メイン映像一時記憶領域の容量より大きくない場合、前記前段回路が継続して前記Ｎ個目のメイン映像ピクチャを格納することを許可し、
前記合計が前記メイン映像一時記憶領域の容量より大きい場合、前記前段回路による前記Ｎ個目のメイン映像ピクチャの格納を停止する
マルチストリーム映像処理方法。

【請求項2】

前記マルチストリーム映像処理方法は、さらに、
前記同期回路は、前記ピクチャ処理情報に基づいて、前記前段回路によって格納された前記Ｎ個目のメイン映像ピクチャの格納行数が、前記後段回路によって読み取られた前記Ｎ個目のメイン映像ピクチャの読取行数を超えているか否かを判定し、
前記格納行数が前記読取行数を超えている場合、前記後段回路が継続して前記Ｎ個目のメイン映像ピクチャを読み取ることを許可し、
前記格納行数が前記読取行数を超えていない場合、前記後段回路による前記Ｎ個目のメイン映像ピクチャの読取を停止する
請求項１に記載のマルチストリーム映像処理方法。

【請求項3】

前記マルチストリーム映像処理方法は、さらに、
前記同期回路は、前記ピクチャ処理情報に基づいて、前記格納行数と前記読取行数との差分が前記メイン映像一時記憶領域の容量より大きいか否かを判定し、
前記差分が前記メイン映像一時記憶領域の容量より大きくない場合、前記前段回路が継続して前記Ｎ個目のメイン映像ピクチャを格納することを許可し、
前記差分が前記メイン映像一時記憶領域の容量より大きい場合、前記前段回路による前記Ｎ個目のメイン映像ピクチャの格納を停止する
請求項２に記載のマルチストリーム映像処理方法。

【請求項4】

前記前段回路は、映像信号処理器であり、前記後段回路はエンコーダである
請求項１に記載のマルチストリーム映像処理方法。

【請求項5】

メモリモジュールと、
前段回路と、
後段回路と、
前記メモリモジュールと、前記前段回路と、前記後段回路とに電気的に接続され、複数のファームウェア実行可能コマンドを実行することで、マルチストリーム映像処理方法を実行する処理回路と、を備え、
前記マルチストリーム映像処理方法は、
前段回路が、同一映像源から、１つのメイン映像ストリームと、少なくとも１つのサブ映像ストリームとを含む映像ストリームを複数生成し、前記メイン映像ストリームの解像度は前記サブ映像ストリームの解像度よりも高く、
映像ピクチャ処理時間区間において、前記前段回路は、前記サブ映像ストリームのＮ個目のサブ映像ピクチャを、メモリモジュールにおける少なくとも１つの最新サブ映像一時記憶領域に格納し、前記メイン映像ストリームのＮ個目のメイン映像ピクチャを、前記メモリモジュールにおけるメイン映像一時記憶領域に格納し、
前記映像ピクチャ処理時間区間の第１サブ区間において、後段回路は、前記メモリモジュールにおける少なくとも１つの先行サブ映像一時記憶領域に格納された前記サブ映像ストリームのＮ−１個目のサブ映像ピクチャを読み取り、処理を行い、
前記映像ピクチャ処理時間区間の第１サブ区間の後の第２サブ区間において、前記後段回路は、メイン映像一時記憶領域に格納された前記Ｎ個目のメイン映像ピクチャを読み取り、処理を行い、
さらに、前記処理回路と、前記前段回路と、前記後段回路とに電気的に接続される同期回路とを備え、
前記メイン映像一時記憶領域は、容量が前記Ｎ個目のメイン映像ピクチャのサイズより小さく、リングバッファとして動作し、
前記映像ピクチャ処理時間区間と先行映像ピクチャ処理時間区間との間には、同期信号時間区間が含まれ、
前記マルチストリーム映像処理方法は、さらに、
前記同期信号時間区間及び前記映像ピクチャ処理時間区間における前記第１サブ区間前の第３サブ区間において、前記後段回路は、前記メイン映像一時記憶領域に格納されたＮ−１個目のメイン映像ピクチャを読み取り、処理を行い、
同期回路が、前記前段回路及び前記後段回路のピクチャ処理情報を取り出し、
前記同期回路は、前記ピクチャ処理情報に基づいて、前記Ｎ−１個目のメイン映像ピクチャの大きさと前記Ｎ−１個目のメイン映像ピクチャの読取行数との差分を算出し、
前記同期回路は、前記ピクチャ処理情報に基づいて、前記差分と前記Ｎ個目のメイン映像ピクチャの格納行数との合計が前記メイン映像一時記憶領域の容量より大きいか否かを判定し、
前記合計が前記メイン映像一時記憶領域の容量より大きくない場合、前記前段回路が継続して前記Ｎ個目のメイン映像ピクチャを格納することを許可し、
前記合計が前記メイン映像一時記憶領域の容量より大きい場合、前記前段回路による前記Ｎ個目のメイン映像ピクチャの格納を停止する
マルチストリーム映像処理装置。

【請求項6】

さらに、前記処理回路と、前記前段回路と、前記後段回路とに電気的に接続される同期回路とを備え、
前記マルチストリーム映像処理方法は、さらに、
前記同期回路は、前記ピクチャ処理情報に基づいて、前記前段回路によって格納された前記Ｎ個目のメイン映像ピクチャの格納行数が、前記後段回路によって読み取られた前記Ｎ個目のメイン映像ピクチャの読取行数を超えているか否かを判定し、
前記格納行数が前記読取行数を超えている場合、前記後段回路が継続して前記Ｎ個目のメイン映像ピクチャを読み取ることを許可し、
前記格納行数が前記読取行数を超えていない場合、前記後段回路による前記Ｎ個目のメイン映像ピクチャの読取を停止する
請求項５に記載のマルチストリーム映像処理装置。

【請求項7】

前記マルチストリーム映像処理方法は、さらに、
前記同期回路は、前記ピクチャ処理情報に基づいて、前記格納行数と前記読取行数との差分が前記メイン映像一時記憶領域の容量より大きいか否かを判定し、
前記差分が前記メイン映像一時記憶領域の容量より大きくない場合、前記前段回路が継続して前記Ｎ個目のメイン映像ピクチャを格納することを許可し、
前記差分が前記メイン映像一時記憶領域の容量より大きい場合、前記前段回路による前記Ｎ個目のメイン映像ピクチャの格納を停止する
請求項６に記載のマルチストリーム映像処理装置。

【請求項8】

前記前段回路は、映像信号処理器であり、前記後段回路はエンコーダである
請求項５に記載のマルチストリーム映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はマルチストリーム映像処理技術に関するものであり、特に、マルチストリーム映像処理装置及びマルチストリーム映像処理方法に関する。

【背景技術】

【0002】

一部の映像技術の応用において、同一の映像から複数の映像ストリームを生成する。例えば、ネットワークカメラ（ＩＰカメラ）は、周囲環境の映像を取り出した後、対応する複数の映像ストリームを生成可能である。解像度の高い映像ストリームは、対応するディスプレイに高画質の表示画面を表示する。一方、解像度の低い映像ストリームは、解像度の低いディスプレイに、例えばリアルタイムの監視を提供するが、これらに限定されない。

【0003】

しかし、複数の映像ストリームは、通常複数の対応する回路によって処理されるため、回路設置のコストが高くなる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術の問題を鑑みて、本発明の一つの目的は、従来技術を改良するように、マルチストリーム映像処理装置及び方法を提供する。

【0005】

本発明のもう一つの目的は、複数の後段回路の設置によるコストの増加を回避するように、複数の映像ストリームを時分割方式で単一の後段回路によって処理するマルチストリーム映像処理装置及び方法を提供する。

【課題を解決するための手段】

【0006】

本発明の一様態に係るマルチストリーム映像処理方法は、前段回路は、同一映像源から、１つのメイン映像ストリームと、少なくとも１つのサブ映像ストリームとを含む映像ストリームを複数生成し、前記メイン映像ストリームの解像度は前記サブ映像ストリームの解像度よりも高く、映像ピクチャ処理時間区間において、前記前段回路は、前記サブ映像ストリームのＮ個目のサブ映像ピクチャを、メモリモジュールにおける少なくとも１つの最新サブ映像一時記憶領域に格納し、前記メイン映像ストリームのＮ個目のメイン映像ピクチャを、前記メモリモジュールにおけるメイン映像一時記憶領域に格納し、前記映像ピクチャ処理時間区間の第１サブ区間において、後段回路は、前記メモリモジュールにおける少なくとも１つの先行サブ映像一時記憶領域に格納された前記サブ映像ストリームのＮ−１個目のサブ映像ピクチャを読み取り、処理を行い、前記映像ピクチャ処理時間区間の第１サブ区間の後の第２サブ区間において、前記後段回路は、メイン映像一時記憶領域に格納された前記Ｎ個目のメイン映像ピクチャを読み取り、処理を行う。

【0007】

本発明の一様態に係るマルチストリーム映像処理装置は、メモリモジュールと、前段回路と、後段回路と、前記メモリモジュールと、前記前段回路と、前記後段回路とに電気的に接続され、複数のファームウェア実行可能コマンドを実行することで、マルチストリーム映像処理方法を実行する処理回路とを備え、前記マルチストリーム映像処理方法は、前段回路は、同一映像源から、１つのメイン映像ストリームと、少なくとも１つのサブ映像ストリームとを含む映像ストリームを複数生成し、前記メイン映像ストリームの解像度は前記サブ映像ストリームの解像度よりも高く、映像ピクチャ処理時間区間において、前記前段回路は、前記サブ映像ストリームのＮ個目のサブ映像ピクチャを、メモリモジュールにおける少なくとも１つの最新サブ映像一時記憶領域に格納し、前記メイン映像ストリームのＮ個目のメイン映像ピクチャを、前記メモリモジュールにおけるメイン映像一時記憶領域に格納し、前記映像ピクチャ処理時間区間の第１サブ区間において、後段回路は、前記メモリモジュールにおける少なくとも１つの先行サブ映像一時記憶領域に格納された前記サブ映像ストリームのＮ−１個目のサブ映像ピクチャを読み取り、処理を行い、前記映像ピクチャ処理時間区間の第１サブ区間の後の第２サブ区間において、前記後段回路は、メイン映像一時記憶領域に格納された前記Ｎ個目のメイン映像ピクチャを読み取り、処理を行う。

【0008】

以下、具体的な実施例に基づいて、図面を参照しながら本発明を詳しく説明する。なお、本発明はこれらの実施例と図面に限定されない。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の実施例におけるマルチストリーム映像処理装置のブロック図である。

【図2】図２は、本発明の実施例におけるマルチストリーム映像処理方法のフローチャートである。

【図3】図３は、本発明の実施例におけるマルチストリーム映像処理装置による映像処理のシーケンス図である。

【図4】図４は、本発明の実施例における同期回路のブロック図である。

【図5】図５は、本発明の実施例における同期回路が動作時に行われる同期フローのフローチャートである。

【図6】図６は、本発明の実施例におけるメイン映像ピクチャの模式図である。

【図7】図７は、本発明の他の実施例における同期回路のブロック図である。

【図8】図８は、本発明の他の実施例における同期回路が動作時に行われる同期フローのフローチャートである。

【図9】図９は、本発明の他の実施例におけるマルチストリーム映像処理装置による映像処理のシーケンス図である。

【図10】図１０は、本発明のもう一つの実施例における同期回路のブロック図である。

【図11】図１１は、本発明のもう一つの実施例における同期回路が動作時に行われる同期フローのフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、本発明の構成原理と動作原理を具体的に説明する。

【0011】

本発明の一つの目的は、複数の後段回路の設置によるコストの増加を回避するように、複数の映像ストリームを時分割方式で単一の後段回路によって処理するマルチストリーム映像処理装置及び方法を提供する。

【0012】

図１を参照する。図１は本発明の一実施例におけるマルチストリーム映像処理装置１００を示すブロック図である。マルチストリーム映像処理装置１００は、周囲環境の映像を撮像し、同一の映像源ＩＳから複数の映像ストリームＭＳ（メイン映像ストリーム）、ＳＳ１（第１サブ映像ストリーム）、ＳＳ２（第２サブ映像ストリーム）を生成し、映像ストリームＭＳ、ＳＳ１、ＳＳ２に対し後続処理を施し、処理後メイン映像ストリームＥＭＳ、処理後第１サブ映像ストリームＥＳＳ１、処理後第２サブ映像ストリームＥＳＳ２を生成する。

【0013】

マルチストリーム映像処理装置１００は、メモリモジュール１１０と、前段回路１２０と、後段回路１３０と、処理回路１４０と、同期回路１５０とを備える。

【0014】

実施例において、メモリモジュール１１０は、異なる領域を有し、マルチストリーム映像処理に必要な異なるデータを格納する。メモリモジュール１１０は、高速なメモリによって実現可能であり、例えば、ＤＤＲ ＳＤＲＡＭ（Double-Data-Rate Synchronous Dynamic Random Access Memory）によって実現されるが、これらに限定されない。

【0015】

実施例において、マルチストリーム映像処理装置１００は、さらに、メモリコントローラ１１５を備える。メモリコントローラ１１５は、例えば、ＭＩＵ（Memory Interface Unit）によって実現されるが、これらに限定されない。マルチストリーム映像処理装置１００におけるその他の回路モジュールについて、例えば、前段回路１２０及び後段回路１３０は、メモリコントローラ１１５を介して、メモリモジュール１１０に対し読み取り及び書き込みを行い、データをメモリモジュール１１０に格納し、又はメモリモジュール１１０からデータを読み取る。

【0016】

前段回路１２０は実施例において、映像信号プロセッサ（Image Signal Processor：ＩＳＰ）であり、同一の映像源ＩＳから、複数の映像ストリームＭＳ、ＳＳ１、ＳＳ２を生成するように構成される。映像源ＩＳは、例えば、ネットワークカメラの感光性素子（不図示）であるが、これらに限定されない。感光性素子によって映像を検知した後、前段回路１２０はこれに基づいて、解像度の異なる映像ストリームＭＳ、ＳＳ１、ＳＳ２を生成し、メモリコントローラ１１５を介してメモリモジュール１１０に格納する。

【0017】

映像ストリームＭＳはメイン映像ストリームであり、映像ストリームＳＳ１、ＳＳ２は第１及び第２サブ映像ストリームである。メイン映像ストリームＭＳの解像度は、サブ映像ストリームＳＳ１、ＳＳ２よりも高い。実施例において、メイン映像ストリームＭＳの解像度は４Ｋ、第１サブ映像ストリームＳＳ１の解像度は１２８０×７２０、第２サブ映像ストリームＳＳ２の解像度は７２０×５７６である。ここで注意されたいのは、上記サブ映像ストリームの数及び各映像ストリームの解像度の数値は一例であり、本発明はこれらの数値に限定されない。実施例において、サブ映像ストリームの数は一つ、又は複数である。

【0018】

後段回路１３０は実施例において、エンコーダであり、メモリコントローラ１１５を介して、メモリモジュール１１０から映像ストリームＭＳ、ＳＳ１、ＳＳ２を読み取り、符号化し、符号化した処理後メイン映像ストリームＥＭＳ、処理後第１サブ映像ストリームＥＳＳ１、処理後第２サブ映像ストリームＥＳＳ２を生成するように構成される。その他の実施例では、符号化は、Ｈ．２６４、Ｈ．２６５、又は他の符号化規格に従って行うが、これらに限定されない。

【0019】

同期回路１５０は、前段回路１２０と、後段回路１３０と、処理回路１４０とに電気的に接続されており、処理回路１４０による制御によって、前段回路１２０による映像ストリームのメモリモジュール１１０への格納速度と、後段回路１３０による映像ストリームのメモリモジュール１１０からの読取速度とにバランスが取れるように構成される。

【0020】

処理回路１４０は、メモリモジュール１１０と、前段回路１２０と、後段回路１３０と、同期回路１５０とに電気的に接続される。処理回路１４０は、ファームウェア実行可能コマンド１４１を実行することで、マルチストリーム映像処理装置１００の機能を実行する。より具体的には、処理回路１４０は、マルチストリーム映像処理装置１００に含まれる格納モジュール（不図示）からファームウェア実行可能コマンド１４１を取り出す。当該ファームウェア実行可能コマンド１４１は、前段回路１２０と、後段回路１３０と、同期回路１５０とのファームウェア、及び、前段回路１２０と、後段回路１３０と、同期回路１５０とを操作、制御するための他の関連コマンドを含むが、これらに限定されない。処理回路１４０は、さらに、前段回路１２０と、後段回路１３０と、同期回路１５０とを操作、制御して、上記映像ストリームＭＳ、ＳＳ１、ＳＳ２を一時格納、読み出し、符号化を行い、処理後メイン映像ストリームＥＭＳ、処理後第１サブ映像ストリームＥＳＳ１、処理後第２サブ映像ストリームＥＳＳ２を生成する機能を実現する。

【0021】

ここでは、格納モジュールは実施例において、メモリモジュール１１０と無関係に独立的に存在する他のメモリによって実現される。具体的には、格納モジュールは、例えば、ＣＤ−ＲＯＭ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フロッピーディスク、ハードディスク、または、光ディスクであるが、これらに限定されない。他の実施例において、格納モジュールは、メモリモジュール１１０と共有するメモリによって実現可能である。

【0022】

さらに、図２を参照する。以下、図１及び図２を参照し、マルチストリーム映像処理装置１００の詳細機能をさらに説明する。

【0023】

図２は、本発明におけるマルチストリーム映像処理方法２００のフローチャートである。マルチストリーム映像処理方法２００は、図１に示すマルチストリーム映像処理装置１００に適用できる。図２に示すように、マルチストリーム映像処理方法２００の実施例は以下のステップを含む。

【0024】

ステップＳ２１０において、前段回路１２０は、同一の映像源ＩＳから、複数の映像ストリームＭＳ、ＳＳ１、ＳＳ２を生成する。上記のように、当該複数の映像ストリームは、メイン映像ストリームＭＳと、第１サブ映像ストリームＳＳ１と、第２サブ映像ストリームＳＳ２とを含み、当該メイン映像ストリームの解像度は、サブ映像ストリームＳＳ１とＳＳ２よりも高い。

【0025】

ステップＳ２２０において、一つの映像ピクチャ処理時間区間において、前段回路１２０は、サブ映像ストリームＳＳ１、ＳＳ２のＮ個目のサブ映像ピクチャを、メモリモジュール１１０における最新第１サブ映像一時記憶領域１１４Ａと最新第２サブ映像一時記憶領域１１６Ａに格納し、メイン映像ストリームＭＳのＮ個目のメイン映像ピクチャを、メモリモジュール１１０におけるメイン映像一時記憶領域１１２に格納する。Ｎは正整数である。

【0026】

図３を合わせて参照する。図３は本発明の実施例におけるマルチストリーム映像処理装置１００による映像処理のシーケンス図である。

【0027】

マルチストリーム映像処理装置１００は、処理シーケンスにおいて、複数の映像ピクチャ処理時間区間を含み、例えば、図３に例示するように、連続する３つの映像ピクチャ処理時間区間Ｔ_Ｎ−１、Ｔ_Ｎ、Ｔ_Ｎ＋１を含む。隣接する２つの映像ピクチャ処理時間区間の間に、１つの同期信号時間区間が含まれる。例えば、映像処理時間区間Ｔ_Ｎ−１とＴ_Ｎとの間に、同期信号時間区間ＴＳ_Ｎが含まれ、映像処理時間区間Ｔ_ＮとＴ_Ｎ＋１との間に、同期信号時間区間ＴＳ_Ｎ＋１が含まれる。同期信号時間区間ＴＳ_Ｎ及び同期信号時間区間ＴＳ_Ｎ＋１は、それぞれ、同期信号Ｓ_Ｎ及び同期信号Ｓ_Ｎ＋１の伝送に対応し、映像ピクチャ処理時間区間Ｔ_Ｎ及びＴ_Ｎ＋１の開始を示す。

【0028】

本実施例では、前段回路１２０及び後段回路１３０は、同期信号時間区間ＴＳ_Ｎと同期信号時間区間ＴＳ_Ｎ＋１においていずれもデータ処理を行わず、映像ピクチャ処理時間区間Ｔ_Ｎ−１、Ｔ_Ｎ、Ｔ_Ｎ＋１のみにデータ処理を行う。

【0029】

図３において、前段回路１２０の処理シーケンスは斜線領域で示す。前段回路１２０は、映像ストリームＭＳ、ＳＳ１、ＳＳ２を同時に生成することが可能であるため、映像ピクチャ処理時間区間Ｔ_Ｎになると、前段回路１２０は直ちに、サブ映像ストリームＳＳ１、ＳＳ２のＮ個目のサブ映像ピクチャを、最新第１サブ映像一時記憶領域１１４Ａと最新第２サブ映像一時記憶領域１１６Ａに格納し、メイン映像ストリームＭＳのＮ個目のメイン映像ピクチャをメイン映像一時記憶領域１１２に格納する。

【0030】

ステップＳ２３０において、映像ピクチャ処理時間区間Ｔ_Ｎの第１サブ区間Ｔ_Ｓ１において、後段回路１３０は、メモリモジュール１１０における先行第１サブ映像一時記憶領域１１４Ｂと先行第２サブ映像一時記憶領域１１６Ｂに一時的に格納されたサブ映像ストリームＳＳ１とＳＳ２のＮ−１個目のサブ映像ピクチャを先に読み取り、処理を行う。

【0031】

一実施例において、図３に示すように、映像ピクチャ処理時間区間Ｔ_Ｎ−１において、サブ映像ストリームＳＳ１及びＳＳ２のＮ−１個目のサブ映像ピクチャのそれぞれは、既に前段回路１２０によって、メモリコントローラ１１５を介して、先行第１サブ映像一時記憶領域１１４Ｂと先行第２サブ映像一時記憶領域１１６Ｂに格納されている。

【0032】

後段回路１３０の処理シーケンスはドット領域で示す。後段回路１３０は時分割方式で動作し、１回の処理は１つの画面映像に対し行う。したがって、図３に示すように、後段回路１３０は、第１サブ区間Ｔ_Ｓ１において、まず、メモリコントローラ１１５を介して、先行第１サブ映像一時記憶領域１１４Ｂにおける、第１サブ映像ストリームＳＳ１と対応するＮ−１個目のサブ映像ピクチャを読み取り、処理を行うことで、処理後第１サブ映像ストリームＥＳＳ１に対応する映像ピクチャを生成する。次に、後段回路１３０は、第１サブ区間Ｔ_Ｓ１の残りの時間において、再びメモリコントローラ１１５を介して、先行第２サブ映像一時記憶領域１１６Ｂにおける、第２サブ映像ストリームＳＳ２と対応するＮ−１個目のサブ映像ピクチャを読み取り、処理を行うことで、処理後第２サブ映像ストリームＥＳＳ２に対応する映像ピクチャを生成する。

【0033】

ステップＳ２４０において、映像ピクチャ処理時間区間Ｔ_Ｎにおける第１サブ区間ＴＳ１の後の第２サブ区間Ｔ_Ｓ２において、後段回路１３０は、メイン映像一時記憶領域１１２に一時的に格納されたＮ個目のメイン映像ピクチャを読み取り、処理を行う。

【0034】

一実施例において、メイン映像一時記憶領域１１２の容量は、Ｎ個目のメイン映像ピクチャの大きさより大きい、または等しい。一部の実施例において、後段回路１３０の動作速度は前段回路１２０より速い場合がある。このため、後段回路１３０のメイン映像一時記憶領域１１２からデータを読み取る読取速度が、前段回路１２０のデータをメイン映像一時記憶領域１１２に格納する格納速度を超えることを回避するため、同期回路１５０は前段回路１２０と後段回路１３０との調和及び同期を行う。

【0035】

図４を参照する。図４は本発明の一実施例における同期回路１５０のブロック図である。

【0036】

図４に示すように、同期回路１５０は、第１比較モジュール４００と、第２比較モジュール４０２と、同期処理モジュール４０４とを含む。

【0037】

第１比較モジュール４００と第２比較モジュール４０２は、前段回路１２０及び後段回路１３０から、ピクチャ処理情報ＦＰ１及びＦＰ２のコンテンツを取り出すことができる。ピクチャ処理情報ＦＰ１は、前段回路１２０が格納中の映像ピクチャの前段ピクチャ番号１、及び格納中の映像ピクチャの格納行数ＲＷを含み、ピクチャ処理情報ＦＰ２は、後段回路１３０が読取中の映像ピクチャの後段ピクチャ番号２、及び読取中の映像ピクチャの読取行数ＲＲを含む。

【0038】

一実施例において、第１比較モジュール４００は、前段回路１２０が格納中の映像ピクチャの前段ピクチャ番号Ｆ１及び後段回路１３０が読取中の映像ピクチャの後段ピクチャ番号Ｆ２に基づいて比較を行い、前段回路１２０が格納中の映像ピクチャと、後段回路１３０が読取中の映像ピクチャとが一致するか否かを判定する。第２比較モジュール４０２は、前段回路１２０が格納中の映像ピクチャの格納行数ＲＷ及び後段回路１３０が読取中の映像ピクチャの読取行数ＲＲに基づいて比較を行い、後段回路１３０が読取中の映像ピクチャの読取行数ＲＲが、前段回路１２０が格納中の映像ピクチャの格納行数ＲＷを超えているか否かを判定する。

【0039】

同期処理モジュール４０４は、さらに、第１比較モジュール４００及び第２比較モジュール４０２の比較結果に基づいて、前段回路１２０及び後段回路１３０の動作状況を判定し、使用する同期メカニズムを決定する。

【0040】

図５を合わせて参照する。図５は本発明の一実施例における同期回路１５０が動作時に行う同期フロー５００のフローチャートである。以下、図４及び図５に基づいて、同期回路１５０の動作メカニズムをより詳しく説明する。

【0041】

図５に示すように、ステップＳ５１０において、第１比較モジュール４００は、前段回路１２０及び後段回路１３０からピクチャ処理情報ＦＰ１及びＦＰ２における前段ピクチャ番号Ｆ１及び後段ピクチャ番号Ｆ２を取り出し、比較を行う。

【0042】

ステップＳ５２０において、同期処理モジュール４０４は、第１比較モジュール４００の第１比較結果ＣＲ１に基づいて、さらに、前段回路１２０が格納中の映像ピクチャと後段回路１３０が読取中の映像ピクチャとが一致するか否かを判定する。

【0043】

映像ピクチャが異なり、例えば、映像ピクチャ処理時間区間Ｔ_Ｎの第１サブ区間Ｔ_Ｓ１の状況において、後段回路１３０が読み取ったのはＮ−１個目のサブ映像ピクチャであり、前段回路１２０が格納したのはＮ個目のメイン映像ピクチャである場合、ステップＳ５３０にて、同期処理モジュール４０４は同期回路１５０の同期メカニズムを起動しない。

【0044】

映像ピクチャが同一であり、例えば、映像ピクチャ処理時間区間Ｔ_Ｎの第２サブ区間Ｔ_Ｓ２の状況において、前段回路１２０による格納と後段回路１３０による読み取りは、いずれもＮ個目のメイン映像ピクチャである場合、同期処理モジュール４０４は同期メカニズムを起動して、ステップＳ５４０にて、第２比較モジュール４０２は、前段回路１２０及び後段回路１３０からピクチャ処理情報ＦＰ１及びＦＰ２における格納行数ＲＷと読取行数ＲＲを取り出し、比較を行う。

【0045】

図６を合わせて参照する。図６は本発明の一実施例におけるメイン映像ピクチャ６００の模式図である。

【0046】

ステップＳ５５０において、同期処理モジュール４０４は、第２比較モジュール４０２の第２比較結果ＣＲ２に基づいて、前段回路１２０が格納中のメイン映像ピクチャ６００の格納行数ＲＷが、後段回路１３０が読取中のメイン映像ピクチャ６００の読取行数ＲＲを超えているか否かを判定する。

【0047】

格納行数ＲＷが読取行数ＲＲを超えている場合、後段回路１３０による読取コンテンツが前段回路１２０による格納コンテンツを追いついていないことを示す。したがって、ステップＳ５６０において、同期処理モジュール４０４は、後段回路制御信号ＣＣ１を用いて、後段回路１３０が継続してＮ個目のメイン映像ピクチャを読み取り、処理することを許可する。一方、格納行数ＲＷが読取行数ＲＲを超えていない場合、後段回路１３０による読取コンテンツが前段回路１２０の格納コンテンツを追いついていることを示す。したがって、ステップＳ５７０において、同期処理モジュール４０４は、後段回路制御信号ＣＣ１を用いて、後段回路によるＮ個目のメイン映像ピクチャの読み取りを停止し、間違ったデータコンテンツの読み取りを回避する。

【0048】

上記により、後段回路１３０は、同期回路１５０による調和及び同期の元で、Ｎ個目のメイン映像ピクチャのコンテンツを順次に読み取り、処理を行う。これにより、処理後メイン映像ストリームＥＭＳに対応するメイン映像ピクチャを生成する。ここで注意されたいのは、本実施例において、後段回路１３０は、次の同期信号時間区間ＴＳ_Ｎ＋１の前に、Ｎ個目のメイン映像ピクチャに対する処理を完成する。

【0049】

さらに、映像ピクチャ処理時間区間Ｔ_Ｎ＋１において、前段回路１２０は上述した方式に従って、サブ映像ストリームＳＳ１、ＳＳ２のＮ＋１個目のサブ映像ピクチャを格納し、メイン映像ストリームＭＳのＮ＋１個目のメイン映像ピクチャを格納する。後段回路１３０は上述した方式に従って、先にサブ映像ストリームＳＳ１及びＳＳ２のＮ個目のサブ映像ピクチャを読み取り、処理した後、メイン映像ストリームＭＳのＮ＋１個目のメイン映像ピクチャを読み取って処理する。

【0050】

ここで注意されたいのは、一実施例において、前段回路１２０は、映像ピクチャ処理時間区間Ｔ_Ｎにおいて、サブ映像ストリームＳＳ１、ＳＳ２のＮ個目のサブ映像ピクチャを一時的に格納するための最新第１サブ映像一時記憶領域１１４Ａ及び最新第２サブ映像一時記憶領域１１６Ａは、映像ピクチャ処理時間区間Ｔ_Ｎ＋１に対し、先行サブ映像一時記憶領域となる。これに対し、映像ピクチャ処理時間区間Ｔ_Ｎにおける先行第１サブ映像一時記憶領域１１４Ｂ及び先行第２サブ映像一時記憶領域１１６Ｂは、映像ピクチャ処理時間区間Ｔ_Ｎ＋１に対し、最新サブ映像一時記憶領域となり、サブ映像ストリームＳＳ１、ＳＳ２のＮ＋１個目のサブ映像ピクチャを格納する。

【0051】

上記の実施形態は、メイン映像一時記憶領域１１２の容量がＮ個目のメイン映像ピクチャのサイズより大きい、または等しい場合を例として説明したものである。その他の実施例では、メイン映像一時記憶領域１１２の容量がＮ個目のメイン映像ピクチャのサイズより小さく、リングバッファとして機能することが可能である。すなわち、前段回路１２０はメイン映像ピクチャをメイン映像一時記憶領域１１２に格納し、その最上位アドレスまで格納した場合に更新されたデータが生じると、更新されたデータをメイン映像一時記憶領域１１２の最下位アドレスから続けて格納して上書きする。後段回路１３０はメイン映像ピクチャを読み取り、当該読み取りはメイン映像一時記憶領域１１２の最上位アドレスになった時、メイン映像一時記憶領域１１２の最下位アドレスに戻って読み取りを継続する。

【0052】

図７及び図８を合わせて参照する。図７は本発明のその他の実施例における同期回路１５０のブロック図である。図８は本発明のその他の実施例における同期回路１５０が動作時に行う同期フロー８００のフローチャートである。以下、図７及び図８を参照しながら、リングバッファで動作するメイン映像一時記憶領域１１２の実施の形態を詳しく説明する。図７に示す同期回路１５０と図４に示す同期回路１５０とはほぼ同じであり、第１比較モジュール４００と、第２比較モジュール４０２と、同期処理モジュール４０４とを含む。本実施例において、図７の同期回路１５０はさらに第１算出モジュール４０６を含む。第１算出モジュール４０６は、ピクチャ処理情報ＦＰ１及びＦＰ２に基づいて、格納行数ＲＷと読取行数ＲＲとの差分ＤＲを算出する。

【0053】

図７に示す同期回路１５０によって行われる同期のメカニズムでは、図５のステップＳ５１０〜Ｓ５７０以外にも、図８に示すフローを実行し、ステップＳ８１０にて、第１算出モジュール４０６は、格納行数ＲＷと読取行数ＲＲとの差分ＤＲを算出する。

【0054】

ステップＳ８２０において、同期処理モジュール４０４は、差分ＤＲがメイン映像一時記憶領域１１２の容量より大きいか否かを判定する。

【0055】

差分ＤＲがメイン映像一時記憶領域１１２の容量より大きくない場合、メイン映像一時記憶領域１１２の内部有効未符号化コンテンツが、メイン映像一時記憶領域１１２の容量を全ては占用していないことを示す。そこで、ステップＳ８３０において、同期処理モジュール４０４は、前段回路制御信号ＣＣ２を用いて、前段回路１２０が継続してＮ個目のメイン映像ピクチャを格納することを許可する。一方、差分がメイン映像一時記憶領域１１２の容量より大きい場合、前段回路１２０の格納速度が後段回路１３０の読取速度を超えていることを示し、格納が継続すると、後段回路１３０が読み取っていないメイン映像ピクチャのデータを上書きしてしまう。そこで、ステップＳ８４０において、同期処理モジュール４０４は、前段回路制御信号ＣＣ２を用いて、前段回路１２０によるＮ個目のメイン映像ピクチャの格納を停止させ、メイン映像ピクチャデータの格納を遅らせる。

【0056】

上述したメカニズムにより、リングバッファで動作するメイン映像一時記憶領域１１２の実施の形態において、後段回路１３０の読取速度が速過ぎることによって間違ったデータの読み取りを回避するのみではなく、前段回路１２０の格納速度が速過ぎることで後段回路１３０の読み取っていないデータを上書きしてしまうことも回避することができる。

【0057】

ここで、図９を参照する。図９は本発明のその他の実施例におけるマルチストリーム映像処理装置１００による映像処理のシーケンス図である。

【0058】

マルチストリーム映像処理装置１００は、処理シーケンスにおいて、複数の映像ピクチャ処理時間区間を含み、例えば、図５に示す連続した３つの映像ピクチャ処理時間区間Ｔ_Ｎ−１、Ｔ_Ｎ、Ｔ_Ｎ＋１を含む。隣接する２つの映像ピクチャ処理時間区間の間に、同期信号時間区間が含まれる。例えば、映像ピクチャ処理時間区間Ｔ_Ｎ−１とＴ_Ｎとの間に同期信号時間区間ＴＳ_Ｎ、映像ピクチャ処理時間区間Ｔ_ＮとＴ_Ｎ＋１との間に同期信号時間区間ＴＳ_Ｎ＋１が含まれる。同期信号時間区間ＴＳ_Ｎ及び同期信号時間区間ＴＳ_Ｎ＋１は、それぞれ、同期信号Ｓ_Ｎ及び同期信号Ｓ_Ｎ＋１の伝送に対応し、映像ピクチャ処理時間区間Ｔ_Ｎ及びＴ_Ｎ＋１の開始を示す。

【0059】

本実施例において、映像ピクチャ処理時間区間Ｔ_Ｎの第１サブ区間Ｔ_Ｓ１において、上述と同じく、後段回路１３０はサブ映像ストリームＳＳ１とＳＳ２のＮ−１個目のサブ映像ピクチャを読み取り、処理を行う。また、映像ピクチャ処理時間区間Ｔ_Ｎの第２サブ区間Ｔ_Ｓ２において、同様に後段回路１３０はＮ個目のメイン映像ピクチャを読み取り、処理を行う。

【0060】

しかし、本実施例では、メイン映像一時記憶領域１１２がリングバッファの方式で実現する以外に、映像ピクチャ処理時間区間Ｔ_Ｎは第１サブ区間Ｔ_Ｓ１の前に、さらに第３サブ区間Ｔ_Ｓ３を含む。映像ピクチャ処理時間区間Ｔ_Ｎ−１に対応するＮ−１個目のメイン映像ピクチャに対し、後段回路１３０は映像ピクチャ処理時間区間Ｔ_Ｎ−１の後半で処理を行うことに加えて、同期信号時間区間ＴＳ_Ｎと第３サブ区間Ｔ_Ｓ３での処理も許可される。このように、後段回路１３０の、映像ピクチャ処理時間区間Ｔ_Ｎの後半、及び同期信号時間区間ＴＳ_Ｎ＋１と、映像ピクチャ処理時間区間Ｔ_Ｎ＋１の第３サブ区間Ｔ_Ｓ３におけるＮ個目のメイン映像ピクチャに対する処理も許可される。

【0061】

しかし、前段回路１２０にとって、依然として、映像ピクチャ処理時間区間Ｔ_Ｎの開始時に、サブ映像ストリームＳＳ１、ＳＳ２のＮ個目のサブ映像ピクチャと、メイン映像ストリームＭＳのＮ個目のメイン画面との格納を開始する。したがって、メイン映像一時記憶領域１１２は、第３サブ区間Ｔ_Ｓ３において、Ｎ−１個目のメイン映像ピクチャの読み取りと、Ｎ個目のメイン映像ピクチャの格納を同時に行う。Ｔ_Ｓ３を加えることで、後段回路の処理速度が遅くなることが可能であるという利点がある。すなわち、消費電力を節約することができる。

【0062】

図１０及び図１１も参照する。図１０は本発明の他の実施例における同期回路１５０のブロック図である。図１１は本発明の他の実施例における同期回路１５０が動作時に行う同期フロー１１００のフローチャートである。以下、図１０及び図１１を参照しながら、リングバッファで動作するメイン映像一時記憶領域１１２の実施の形態を詳しく説明する。

【0063】

図１０に示す同期回路１５０は図７に示す同期回路１５０とほぼ同じであり、第１比較モジュール４００と、第２比較モジュール４０２と、同期処理モジュール４０４と、第１算出モジュール４０６とを含む。本実施例では、図１０の同期回路１５０は、さらに、第２算出モジュール４０８を含み、前段回路１２０が格納中の映像ピクチャと、後段回路１３０が読取中の映像ピクチャとが同時に動作の対象とされないように構成されている。

【0064】

図１０に示す同期回路１５０の同期メカニズムは、図５のステップＳ５１０、Ｓ５２０、Ｓ５４０〜Ｓ５７０と同様なステップに加えて、図８に示すステップＳ８１０〜Ｓ８４０も含む。しかし、本実施例において、図５のステップＳ５２０で、前段回路１２０が格納中の映像ピクチャと、後段回路１３０が読取中の映像ピクチャとが異なると判定した場合、例えば、第３サブ区間Ｔ_Ｓ３の状況では、図１０に示す同期回路１５０は図１１のフローを実行し、同期メカニズムの動作を起動する。

【0065】

ステップＳ１１１０において、第２算出モジュール４０８は、ピクチャ処理情報ＦＰ１とＦＰ２に基づいて、先にＮ−１個目のメイン映像ピクチャのサイズＦＲとＮ−１個目のメイン映像ピクチャの読取行数ＲＲとの差分を算出する。当該差分は、Ｎ−１個目のメイン映像ピクチャにおいて、後段回路１３０により読み取って処理していない残りのデータ量を意味する。次に、第２算出モジュール４０８は、当該差分とＮ個目のメイン映像ピクチャの格納行数ＲＷ_Ｎとの合計ＳＵＭを算出する。格納行数ＲＷはＮ個目のメイン映像ピクチャにおいて、前段回路１２０が既に格納したデータ量を意味する。

【0066】

ステップＳ１１２０において、同期処理モジュール４０４は、合計ＳＵＭがメイン映像一時記憶領域１１２の容量より大きいか否かを判定する。

【0067】

合計ＳＵＭがメイン映像一時記憶領域１１２の容量より大きくない場合、前段回路１２０の格納速度が後段回路１３０の読取速度を超えていないことを示す。そこで、ステップＳ１１３０において、同期処理モジュール４０４は、前段回路制御信号ＣＣ２を用いて、前段回路１２０が継続してＮ個目のメイン映像ピクチャを格納することを許可する。一方、合計ＳＵＭがメイン映像一時記憶領域１１２の容量より大きい場合、前段回路１２０の格納速度が後段回路１３０の読取速度を超えていることを示し、格納が継続すると、後段回路１３０が読み取っていないメイン映像ピクチャのデータを上書きしてしまう。そこで、ステップＳ１１４０において、同期処理モジュール４０４は、前段回路制御信号ＣＣ２を用いて、前段回路１２０によるＮ個目のメイン映像ピクチャの生成を停止させ、さらに、メイン映像ピクチャデータに対する格納を遅らせる。

【0068】

上記により、本発明のマルチストリーム映像処理装置１００は、前段回路により生成された複数の映像ストリームを、時分割方式で単一の後段回路で処理することが可能であるため、複数の後段回路によるコストの増加を回避することができる。

【0069】

また、上記の時分割方式により、メモリモジュールは、解像度が低く、データ量の小さいサブ映像ピクチャのみに対しＮ−１個目のサブ映像ピクチャとＮ個目のサブ映像ピクチャを一時的に格納すればよい。解像度が高く、データ量の大きいメイン映像ピクチャに対し、格納するための一時的な記憶領域を別途で２つ設置する必要がない。メモリモジュールの空間領域も大幅に削減することができる。

【0070】

さらに、同期回路の設置により、メモリモジュールは、メイン映像一時記憶領域をリングバッファ方式で実現することができる。これにより、容量を大幅に削減し、メモリモジュールの空間領域をさらに削減することができる。

【0071】

ここで注意されたいのは、上述した実施の形態は一例であり、他の実施例において、当業者は本発明の趣旨を逸脱しない範囲内で変更することができる。

【0072】

上記により、本発明におけるマルチストリーム映像処理装置及び方法は、後段回路を設置するコストを低減し、メモリ空間領域を削減する効果を実現することができる。

【0073】

その他、各実施の形態及び変形例に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

【符号の説明】

【0074】

１００ マルチストリーム映像処理装置
１１０ メモリモジュール
１１２ メイン映像一時記憶領域
１１４Ａ 最新第１サブ映像一時記憶領域
１１４Ｂ 先行第１サブ映像一時記憶領域
１１６Ａ 最新第２サブ映像一時記憶領域
１１６Ｂ 先行第２サブ映像一時記憶領域
１１５ メモリコントローラ
１２０ 前段回路
１３０ 後段回路
１４０ 処理回路
１４１ ファームウェア実行可能コマンド
１５０ 同期回路
２００ マルチストリーム映像処理方法
４００ 第１比較モジュール
４０２ 第２比較モジュール
４０４ 同期処理モジュール
４０６ 第１算出モジュール
４０８ 第２算出モジュール
５００ 同期フロー
６００ メイン映像ピクチャ
８００ 同期フロー
１１００ 同期フロー
ＣＣ１ 後段回路制御信号
ＣＣ２ 前段回路制御信号
ＣＲ１ 第１比較結果
ＣＲ２ 第２比較結果
ＤＲ 差分
ＥＭＳ 処理後メイン映像ストリーム
ＥＳＳ１ 処理後第１サブ映像ストリーム
ＥＳＳ２ 処理後第２サブ映像ストリーム
Ｆ１ 前段ピクチャ番号
Ｆ２ 後段ピクチャ番号
ＦＰ１、ＦＰ２ ピクチャ処理情報
ＩＳ 映像源
ＭＳ メイン映像ストリーム
ＲＲ 読取行数
ＲＷ 格納行数
ＳＮ、ＳＮ＋１ 同期信号
ＳＳ１ 第１サブ映像ストリーム
ＳＳ２ 第２サブ映像ストリーム
ＳＵＭ 合計
Ｓ２１０〜Ｓ２４０ ステップ
Ｓ５１０〜Ｓ５７０ ステップ
Ｓ８１０〜Ｓ８４０ ステップ
Ｓ１１１０〜Ｓ１１４０ ステップ
Ｔ_Ｎ−１、Ｔ_Ｎ、Ｔ_Ｎ＋１ 映像ピクチャ処理時間区間
Ｔ_Ｓ１ 第１サブ区間
Ｔ_Ｓ２ 第２サブ区間
Ｔ_Ｓ３ 第３サブ区間
ＴＳ_Ｎ、ＴＳ_Ｎ＋１ 同期信号時間区間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】