知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】通信制御システム及び通信制御方法
(51)【国際特許分類】
H04L 47/10 20220101AFI20240228BHJP
【ＦＩ】
H04L47/10
【請求項の数】
9
(21)【出願番号】P 2022530570
(86)(22)【出願日】2021-06-08
(86)【国際出願番号】 JP2021021719
(87)【国際公開番号】W WO2021251370
(87)【国際公開日】2021-12-16
【審査請求日】2022-11-30
(31)【優先権主張番号】P 2020100139
(32)【優先日】2020-06-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】小石 高裕
【審査官】安藤 一道
(56)【参考文献】
【文献】特開２００６－０８０８３２（ＪＰ，Ａ）
【文献】特開平０６－２０９９２６（ＪＰ，Ａ）
【文献】特開昭６４－０４４６８０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｌ ４７／１０
(57)【特許請求の範囲】
【請求項1】
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、前記第２通信装置は、
前記第１通信装置からの画像フレームデータを受信する受信バッファと、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信手段と、
を備え、
前記第１通信装置は、
前記第２通信装置の前記返信手段からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定する推定手段と、
画像フレームから画像診断に必要な箇所を指定する領域指定手段と、
前記画像フレーム内の前記指定された画像診断に必要な箇所以外について、前記推定された受信バッファの残量が少なくなるにつれて、圧縮率が高くなるように画像圧縮を行う変更手段と、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信手段と、
を備える、通信制御システム。
【請求項2】
前記変更手段は、前記推定された受信バッファの残量が閾値以下の場合、当該必要な箇所以外の不要領域を切り捨てる切り捨て処理を行う、請求項１に記載の通信制御システム。
【請求項3】
前記返信手段は、前記受信バッファの残量が少なくなるにつれて、段階的により遅くなるタイミングでＡＣＫフレームを返信する、請求項１又は２に記載の通信制御システム。
【請求項4】
前記変更手段は、前記指定された画像診断に必要な箇所以外について、前記推定された受信バッファの残量が少なくなるにつれて、段階的に圧縮率が高くなるように画像を圧縮する、請求項１～３のいずれか一項に記載の通信制御システム。
【請求項5】
前記変更手段は、前記指定された画像診断に必要な箇所以外について、前記推定された受信バッファの残量が閾値を超える場合、画像フレームの画像圧縮を行わない、請求項１～４のいずれか一項に記載の通信制御システム。
【請求項6】
前記変更手段は、前記指定された画像診断に必要な箇所について、画像フレームの画像圧縮を行わない、請求項１～５のいずれか一項に記載の通信制御システム。
【請求項7】
前記変更手段は、前記推定された受信バッファの残量が閾値を超える場合は、当該必要な箇所以外について、前記画像フレームデータを非圧縮画像データに設定する、請求項１～６のいずれか一項に記載の通信制御システム。
【請求項8】
前記推定手段は、前記送信手段からの画像フレームデータの送信時刻と、当該画像フレームデータに対するＡＣＫフレームの受信時刻とを比較して、ＡＣＫ受信時間を算出して、当該算出されたＡＣＫ受信時間から前記受信バッファの残量を推定する、請求項１～７のいずれか一項に記載の通信制御システム。
【請求項9】
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、前記第２通信装置において、
前記第１通信装置からの画像フレームデータを受信バッファで受信し、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
前記第１通信装置において、
前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定し、
画像フレームから画像診断に必要な箇所を指定し、
前記画像フレーム内の前記指定された画像診断に必要な箇所以外について、前記推定された受信バッファの残量が少なくなるにつれて、圧縮率が高くなるように画像圧縮を行い、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する、通信制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信制御システム及び通信制御方法に関する。
【背景技術】
【0002】
通信制御システムでは、第１通信装置（送信側）から第２通信装置（受信側）に画像フレームデータを送信し、当該画像フレームデータに対するＡＣＫフレームを第２通信装置から第１通信装置に返信する。ＡＣＫフレームは、受信したフレームに対応した番号を付けられ、送信側に返信される。これにより、送信側は、受信側での受信が失敗したことを知ることができ、場合によっては、当該画像フレームデータについて、再送を行うことができる。
【0003】
特許文献１には、撮影装置から送信された画像処理結果および／または画像データを、ディープラーニング処理などを用いて解析することができるデータ管理サーバが開示されている。また、特許文献２には、選択画像から画像受信装置２０で認識認証処理を行うのに好適な領域を算出して抽出（トリミング）する画像データ量削減部が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－２００６８０号公報
【文献】特開２０１４－０２２９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のようなコンピュータシステムでは、受信バッファの残量に応じて、送信側で適切に画像圧縮を行うことはできない。
【0006】
本発明の目的は、受信バッファの残量に応じて、送信側で適切に画像圧縮を実行可能な通信制御システム、及び通信制御方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第１の態様にかかる通信制御システムは、
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
前記第２通信装置は、
前記第１通信装置からの画像フレームデータを受信する受信バッファと、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信部と、
を備え、
前記第１通信装置は、
前記第２通信装置の前記返信部からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定する推定部と、
画像フレームから診断に必要な箇所を指定する領域指定部と、
前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行う変更部と、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信部と、
を備える。
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
前記第２通信装置は、
前記第１通信装置からの画像フレームデータを受信する受信バッファと、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信部と、
を備え、
前記第１通信装置は、
前記第２通信装置の前記返信部からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定する推定部と、
画像フレームから診断に必要な箇所を指定する領域指定部と、
前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行う変更部と、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信部と、
を備える。
【0008】
本発明の第２の態様にかかる通信制御方法は、
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
前記第２通信装置において、
前記第１通信装置からの画像フレームデータを受信バッファで受信し、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
前記第１通信装置において、
前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定し、
画像フレームから診断に必要な箇所を指定し、
前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行い、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する。
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
前記第２通信装置において、
前記第１通信装置からの画像フレームデータを受信バッファで受信し、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
前記第１通信装置において、
前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定し、
画像フレームから診断に必要な箇所を指定し、
前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行い、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する。
【発明の効果】
【0009】
本発明によれば、受信バッファの残量に応じて、送信側で適切に画像フレームデータを圧縮でき、結果として、受信バッファの溢れを抑制することができる。
【図面の簡単な説明】
【0010】
【図1】実施の形態１にかかる通信制御システムの構成を示すブロック図である。
【図2】実施の形態１にかかる通信制御方法を示すフローチャートである。
【図3】実施の形態２にかかる画像診断システムの構成を示す概略図である。
【図4】実施の形態２にかかる送信側通信装置の構成を示すブロック図である。
【図5】送信パケットフレームフォーマットの一例を示す図である。
【図6】実施の形態２にかかる受信側通信装置の構成を示すブロック図である。
【図7】受信バッファの使用率に応じた送信遅延時間を示すテーブルである。
【図8】受信パケットフレームフォーマットの一例を示す図である。
【図9】受信バッファの残量に応じた、画像処理例を示す図である。
【図10】推定された受信バッファ使用率に応じた圧縮率を示すテーブルである。
【発明を実施するための形態】
【0011】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。
図１は、実施の形態１にかかる通信制御システムの構成を示すブロック図である。
通信制御システム１は、第１通信装置１０と、第１通信装置１０とネットワーク（有線及び無線を含む）を介して接続された第２通信装置２０を備える。第１通信装置１０は、第２通信装置２０に画像フレームデータを送信すると、第２通信装置２０は、受信したフレームに対応してＡＣＫフレームを第１通信装置１０に返信する。
以下、図面を参照して本発明の実施の形態について説明する。
図１は、実施の形態１にかかる通信制御システムの構成を示すブロック図である。
通信制御システム１は、第１通信装置１０と、第１通信装置１０とネットワーク（有線及び無線を含む）を介して接続された第２通信装置２０を備える。第１通信装置１０は、第２通信装置２０に画像フレームデータを送信すると、第２通信装置２０は、受信したフレームに対応してＡＣＫフレームを第１通信装置１０に返信する。
【0012】
第２通信装置２０は、第１通信装置１０からの画像フレームデータを受信する受信バッファ２２と、受信バッファ２２の残量（又は使用率）を反映したタイミングでＡＣＫフレームを第１通信装置１０に返信する返信部２１と、を備える。
【0013】
第１通信装置１０は、推定部１１、領域指定部１２、変更部１３および送信部１４を含む。推定部１１は、第２通信装置２０の返信部２１からＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から第２通信装置２０の受信バッファ２２の残量（又は使用率）を推定する。領域指定部１２は、画像フレームから診断に必要な１つ以上の箇所を指定する。変更部１３は、前記画像フレーム内の前記指定された診断に必要な箇所以外について、推定された受信バッファの残量（又は使用率）に応じて、異なる画像圧縮を行う。送信部１４は、第１通信装置１０から第２通信装置２０に画像フレームデータを送信する。
【0014】
図２は、実施の形態１にかかる通信制御方法を示すフローチャートである。
通信制御システム１は、第１通信装置１０から第２通信装置２０に画像フレームデータを送信し、当該画像フレームデータに対するＡＣＫフレームを第２通信装置２０から第１通信装置１０に返信する。まず、第２通信装置２０は、第１通信装置１０からの画像フレームデータを受信バッファ２２で受信する（ステップＳ１０１）。第２通信装置２０は、受信バッファ２２の残量（又は使用率）に応じて、適切なタイミングでＡＣＫフレームを第１通信装置１０に返信する（ステップＳ１０２）。例えば、受信バッファの残量が少なくなる（受信バッファの使用率が高くなる）につれて、より遅くなるタイミングでＡＣＫフレームを返信することができる。
通信制御システム１は、第１通信装置１０から第２通信装置２０に画像フレームデータを送信し、当該画像フレームデータに対するＡＣＫフレームを第２通信装置２０から第１通信装置１０に返信する。まず、第２通信装置２０は、第１通信装置１０からの画像フレームデータを受信バッファ２２で受信する（ステップＳ１０１）。第２通信装置２０は、受信バッファ２２の残量（又は使用率）に応じて、適切なタイミングでＡＣＫフレームを第１通信装置１０に返信する（ステップＳ１０２）。例えば、受信バッファの残量が少なくなる（受信バッファの使用率が高くなる）につれて、より遅くなるタイミングでＡＣＫフレームを返信することができる。
【0015】
第１通信装置１０は、第２通信装置２０からのＡＣＫフレームの受信時間から、受信バッファの残量（又は使用率）を推定する（ステップＳ１０３）。画像フレーム内の、診断に必要な箇所を指定する（ステップＳ１０４）。第１通信装置１０は、診断に必要な箇所以外について、受信バッファの推定された残量（又は使用率）に応じて、異なる画像圧縮を行う（ステップＳ１０５）。第１通信装置１０は、第２通信装置２０に画像フレームデータを送信する（ステップＳ１０６）。その後、処理は、ステップＳ１０１に戻る。
【0016】
これにより、本実施形態の通信制御システムによれば、受信バッファの残量（又は使用率）に応じて、適切に画像フレームデータを圧縮して送信でき、結果として、受信バッファの溢れを抑制することができる。
【0017】
実施の形態２
本発明は、カメラで撮影した非圧縮（ＲＡＷ）画像を遠隔に伝送して診断する画像診断システムに関する。これまでの画像診断システムでは、主に２つの問題がある。第１の問題点は、画像診断システムにおいて画像受信バッファが溢れ出した場合も画像診断動作を継続するため、バッファから溢れ出したカメラ画像データを廃棄している点にある。
本発明は、カメラで撮影した非圧縮（ＲＡＷ）画像を遠隔に伝送して診断する画像診断システムに関する。これまでの画像診断システムでは、主に２つの問題がある。第１の問題点は、画像診断システムにおいて画像受信バッファが溢れ出した場合も画像診断動作を継続するため、バッファから溢れ出したカメラ画像データを廃棄している点にある。
【0018】
その理由は、以下のとおりである。通常、画像診断システムは、例えばベルトコンベアを流れている製品の外観チェックなど、連続的かつ高速に診断処理を行うように設計されている。このため、受信バッファがデータで埋め尽くされていても、後続の製品をチェックするための画像データが次々と送られてくる。このため、入りきらないデータは廃棄してでも動作を継続する必要があるからである。
【0019】
第２の問題点は、上記のような画像診断システムにおいては、多くの場合、情報的に欠落のないＲＡＷ画像を利用している点にある。
【0020】
その理由は、一般的に画像診断のエビデンスとして、加工されていないＲＡＷ画像を使用しており、画像診断結果に誤りが発生した際、画像診断アルゴリズムの誤りを判断するためには、加工されていない画像を用いての確認が必要であるからである。
【0021】
図３は、実施の形態２にかかる画像診断システムの構成を示す概略図である。
画像診断システム１ａにおいて、カメラを備えた画像撮影部１０ａは、ベルトコンベアなどの搬送装置７０により順次運ばれる製品を撮影し、撮影画像５０を、ネットワークを介して、画像診断部２０ａに送信する。画像診断部２０ａは、高精度な画像解析プログラムを搭載し、撮影画像５０から製品の特徴量を検出し、その製品の不良を識別することができる。
画像診断システム１ａにおいて、カメラを備えた画像撮影部１０ａは、ベルトコンベアなどの搬送装置７０により順次運ばれる製品を撮影し、撮影画像５０を、ネットワークを介して、画像診断部２０ａに送信する。画像診断部２０ａは、高精度な画像解析プログラムを搭載し、撮影画像５０から製品の特徴量を検出し、その製品の不良を識別することができる。
【0022】
画像診断システム１ａは、通常はＲＡＷ画像を使用して診断を行う一方、受信バッファの状況に応じて、画像データ量を診断に影響なきよう適切に削減する。それにより、受信バッファの残量が少ない状況であっても、画像データを廃棄することなく画像診断システムに確実に伝送し、画像欠落による不良検出率の悪化を防止する。
【0023】
本実施形態にかかる画像診断システム１ａは、例えば、画像撮影部（カメラ）１０ａと画像診断部（ホスト）２０との間でやり取りされるＡＣＫパケットを用いて、伝送路の輻輳状況をリアルタイムに監視し、輻輳状況に応じて色のクラスタリングによる色情報の削減と減色の程度を適応的に変更する。これにより、ホスト側の受信バッファ溢れによる検査画像の欠落を防ぎ、画像診断システムの不良品検出率の低下を解決する。なお、本実施形態にかかる画像診断システム１ａは、実施の形態１にかかる通信制御システム１の一例である。
【0024】
図４は、実施の形態２にかかる送信側通信装置の構成を示すブロック図である。
送信側通信装置１００は、上記の画像撮影部１０ａ内の機能ブロックを示す。送信側通信装置１００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ、およびメモリを含む情報処理装置によって実現することができる。送信側通信装置１００は、図４に示すように、フレーム入力バッファ１０１、領域指定部１０７、画像処理部１０２、エンコーダ１０３、Ｅｔｈｅｒフレーム生成部１０４、ＡＣＫ受信時間測定部１０５、画質制御部１０６、ＭＡＣ／ＰＨＹ１１１、およびＭＡＣ／ＰＨＹ１１２を含む。なお、送信側通信装置１００のＭＡＣ／ＰＨＹ１１１、およびＭＡＣ／ＰＨＹ１１２は、イーサネット（登録商標）リンクなどのリンクを介して、受信側通信装置側のＭＡＣ／ＰＨＹ２１１、およびＭＡＣ／ＰＨＹ２１２と接続されている。
送信側通信装置１００は、上記の画像撮影部１０ａ内の機能ブロックを示す。送信側通信装置１００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ、およびメモリを含む情報処理装置によって実現することができる。送信側通信装置１００は、図４に示すように、フレーム入力バッファ１０１、領域指定部１０７、画像処理部１０２、エンコーダ１０３、Ｅｔｈｅｒフレーム生成部１０４、ＡＣＫ受信時間測定部１０５、画質制御部１０６、ＭＡＣ／ＰＨＹ１１１、およびＭＡＣ／ＰＨＹ１１２を含む。なお、送信側通信装置１００のＭＡＣ／ＰＨＹ１１１、およびＭＡＣ／ＰＨＹ１１２は、イーサネット（登録商標）リンクなどのリンクを介して、受信側通信装置側のＭＡＣ／ＰＨＹ２１１、およびＭＡＣ／ＰＨＹ２１２と接続されている。
【0025】
フレーム入力バッファ１０１は、ビデオカメラ等のカメラからの画像フレームを一時的に格納するバッファである。領域指定部１０７は、フレーム入力バッファ１０１からの画像フレームを受け取り、当該画像フレーム内で、後続する画像診断に必要となり得る箇所を判断し、その箇所の領域を指定することができる。また、領域指定部１０７は、画像診断部２０ａに比べて低精度な画像解析プログラムを搭載し、画質制御部１０６からの制御信号を受信して、画像診断に必要な箇所と、不要な箇所を判断することができる。領域指定部１０７は、ディープラーニングなどの推論ＡＩ（artificial intelligence）の画像解析プログラムを搭載している。領域指定部１０７は、診断に必要となり得る画像フレーム内の１つ、又は複数の特徴部（例えば、特徴部Ａ、Ｂ、Ｃ）を抽出することができる。領域指定部１０７は、必要な部分と不要な部分を判別した画像を画像処理部１０２に送信する。特徴部Ａ、Ｂ、Ｃは、この順で優先順位付けされている場合、受信バッファの残量が少なくなるにつれて、領域指定部１０７は、優先順位の高いものを選択的に指定してもよい。
【0026】
画像処理部１０２は、画質制御部１０６からの制御信号を受信して、領域指定部１０７からの診断に必要な箇所が指定されたフレームに対して、診断に不要な箇所を切り取ったり、減色処理を行ったりするなどの各種画像処理を実行することができる。画質制御部１０６からの制御信号は、例えば、受信バッファの残量に応じた制御信号を示すものである（詳細は後続する）。
【0027】
エンコーダ１０３は、画質制御部１０６からの制御信号を受信して、減色処理又は切り出し処理を施された後のデータに対して、適切な圧縮率でエンコードを行う。画質制御部１０６からの制御信号は、受信バッファの残量に応じた制御信号を示すものである（詳細は後続する）。なお、実施の形態１の変更部１３の具体例が、画像処理部１０２又はエンコーダ１０３であり得る。
【0028】
Ｅｔｈｅｒフレーム生成部１０４は、減色処理、切り出し処理及びエンコードなどの各種画像処理が施されたフレームからＥｔｈｅｒフレームを生成し、ＭＡＣ／ＰＨＹ１１２を介して、受信側通信装置２００に送信する。また、Ｅｔｈｅｒフレーム生成部１０４は、Ｅｔｈｅｒフレーム送信時に、Ｅｔｈｅｒフレームの送信時刻をＡＣＫ受信時間測定部１０５に通知する。
【0029】
通常、送信側通信装置１００及び受信側通信装置２００を備える画像診断システムは、検査対象の細かな欠陥を検出するため、画像診断のエビデンスとしてＲＡＷ画像を使用し、保管する。このため、図４に示す送信側通信装置１００における画像処理部１０２及びエンコーダ１０３は圧縮動作を行わず、ＲＡＷ画像をＥｔｈｅｒフレーム生成部１０４へ送り、ホスト（受信側通信装置２００）へと送信する。
【0030】
図５は、送信パケットフレームフォーマットを示す。送信パケットフレーム１０００は、送信先ＭＡＣ１０１０、送信元ＭＡＣ１０２０、ヘッダ１０３０、フレームデータ１０４０、およびＦＣＳ（Frame Check Sequence）１０５０を含む。この場合、送信パケットフレーム１０００のヘッダ１０３０には、圧縮率を示すコード（例：０）がＥｔｈｅｒフレーム生成部１０４により埋め込まれる。なお、ＦＣＳは、通信途上でデータに誤りが生じていないか調べるため、送信時にデータに付加される誤り検出符号である。なお、図５では、圧縮率として、ＲＡＷ（非圧縮を示す）、低圧縮、中圧縮、及び高圧縮を示しているが、これらに限定されない。圧縮率は、より細かく設定してもよい。
【0031】
図６は、実施の形態２にかかる受信側通信装置の構成を示すブロック図である。
受信側通信装置２００は、画像診断部２０ａ内の１つの機能ブロックである。受信側通信装置２００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ、メモリを含む、情報処理装置などにより実現され得る。当該情報処理装置が画像診断等を行ってもよい。受信側通信装置２００は、Ｅｔｈｅｒフレーム分解部２０２、フレーム出力バッファ２０３、デコードレート制御部２０４、デコーダ２０５、およびＡＣＫフレーム生成部２０６を含む。
受信側通信装置２００は、画像診断部２０ａ内の１つの機能ブロックである。受信側通信装置２００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ、メモリを含む、情報処理装置などにより実現され得る。当該情報処理装置が画像診断等を行ってもよい。受信側通信装置２００は、Ｅｔｈｅｒフレーム分解部２０２、フレーム出力バッファ２０３、デコードレート制御部２０４、デコーダ２０５、およびＡＣＫフレーム生成部２０６を含む。
【0032】
図６で示す受信側通信装置２００では、受信側通信装置２００のＥｔｈｅｒフレーム分解部２０２は、ＭＡＣ／ＰＨＹ２１２を介して、送信側通信装置１００からフレームを受信する。Ｅｔｈｅｒフレーム分解部２０２が受信したパケットの内容を解釈する。また、デコードレート制御部２０４は、パケットのデコードレートを判定する。今受信パケットの圧縮率は０なので、デコードレート制御部２０４は、デコーダ２０５に非圧縮の設定を行い、デコーダ２０５はデコード動作を行わずにフレーム出力バッファ２０３（本明細書では受信バッファとも呼ばれる）の受信データを処理して検査画像を再構成する。ＡＣＫフレーム生成部２０６は、フレーム出力バッファ２０３の使用率に応じたタイミングで、受信したフレームに対するＡＣＫフレームを生成し、ＭＡＣ／ＰＨＹ２１１を介して送信側通信装置１００に返信する。
【0033】
フレーム出力バッファ２０３の残量（又は使用率）に応じたタイミングの例としては、例えば、残量が閾値未満（又は使用率が閾値以上）の場合は、ＡＣＫフレームを返信するタイミングを遅らせてもよい。より具体的には、受信バッファの使用率（例えば、９５％、９０、８５、８０・・・０％）に応じて、返信タイミングを段階的に遅らせてもよい（図７では、送信遅延時間（ｍｓ）は、Ｔ１＞Ｔ２＞Ｔ３＞Ｔ４＞Ｔ５＞・・・＞Ｔｎとなるように設定することができる）。なお、ここでいう送信遅延時間は、ＡＣＫフレーム生成部２０６が受信バッファの使用率を考慮して、ＡＣＫフレームを生成してから、送信するまでの遅延時間である。
【0034】
図８は、ＡＣＫフレーム２０００の一例を示す。ＡＣＫフレーム２０００は、送信先ＭＡＣ２０１０、送信元ＭＡＣ２０２０、ヘッダ２０３０、ＡＣＫ２０４０、およびＦＣＳ２０５０を含む。ＡＣＫフレーム２０００にはそのヘッダ２０３０に、受け取った圧縮率を示すコード（０）がＡＣＫフレーム生成部２０６により埋め込まれる。
【0035】
再び図４に戻って送信側通信装置１００についての説明を継続する。
送信側通信装置１００は、受信側通信装置２００からＡＣＫパケットを順次受信する。
送信側通信装置１００では、ＡＣＫ受信時間測定部１０５は、Ｅｔｈｅｒフレーム生成部１０４からのタイミング通知が示す送信時刻とＡＣＫパケットの受信時刻（到着時刻）を比較し、その差であるＡＣＫ受信時間を算出する。ＡＣＫ受信時間測定部１０５は、算出された受信時間に基づいて、受信側通信装置２００のフレーム出力バッファ２０３（受信バッファとも呼ばれる）の空き具合を推定する。すなわち、ＡＣＫ受信時間測定部１０５は、ＡＣＫ受信時間が短ければ、受信バッファの空き容量が大きく、逆に、ＡＣＫ受信時間が長くなると、受信バッファの空き容量（残量）が少ないものと推定することができる。ＡＣＫ受信時間測定部１０５は、受信バッファの空き容量に関する推定結果を、画質制御部１０６に提供する。
送信側通信装置１００は、受信側通信装置２００からＡＣＫパケットを順次受信する。
送信側通信装置１００では、ＡＣＫ受信時間測定部１０５は、Ｅｔｈｅｒフレーム生成部１０４からのタイミング通知が示す送信時刻とＡＣＫパケットの受信時刻（到着時刻）を比較し、その差であるＡＣＫ受信時間を算出する。ＡＣＫ受信時間測定部１０５は、算出された受信時間に基づいて、受信側通信装置２００のフレーム出力バッファ２０３（受信バッファとも呼ばれる）の空き具合を推定する。すなわち、ＡＣＫ受信時間測定部１０５は、ＡＣＫ受信時間が短ければ、受信バッファの空き容量が大きく、逆に、ＡＣＫ受信時間が長くなると、受信バッファの空き容量（残量）が少ないものと推定することができる。ＡＣＫ受信時間測定部１０５は、受信バッファの空き容量に関する推定結果を、画質制御部１０６に提供する。
【0036】
画質制御部１０６は、推定された受信バッファの空き容量に応じて、領域指定部１０７、画像処理部１０２およびエンコーダ１０３に対する制御信号を生成する。具体的には、画質制御部１０６は、この受信時間から推定された受信バッファの空き容量に基づいて、領域指定部１０７の領域指定法を決定する。領域指定部１０７は、推論ＡＩを有する。一般的に、推論を行うためには多数の学習データを元にして、ネットワークと呼ばれる関数を生成する必要がある。精度の良いネットワークを生成するためには、精度が高い（教師として間違いがない）学習データに対して大量の演算を行うことが求められるので、リソースの大きいホスト（画像診断部２０ａ）にて学習を行い、これによって生成されたネットワークをエッジ（画像撮影部１０ａに含まれる送信側通信装置１００の領域指定部１０７）にフィードバックする。これにより、画像診断システムは、精度の高い学習データを収集し、更に精度の高い学習データで学習し、というようなフィードバックループを形成することを意図している。
【0037】
また、画質制御部１０６が、この受信時間から推定された受信バッファの空き容量に基づいて、画像処理部１０２の切り出し処理、減色処理（クラスタリング）、及びエンコーダ１０３の圧縮率を決定する。領域指定部１０７により診断に必要とされた箇所については、画質制御部１０６は画像処理部１０２に対して、切り出し処理無し、カラークラスタリング無し、を選択する。さらに、領域指定部１０７により診断に必要とされた箇所については、画質制御部１０６はエンコーダ１０３に対して、非圧縮を選択する。また、推定された受信バッファの空き容量に十分な余裕がある場合には、領域指定部１０７により診断に必要とされた箇所以外についても、画質制御部１０６は画像処理部１０２に対して、切り出し処理無し、カラークラスタリング無し、を選択してもよい。また。推定された受信バッファの空き容量に十分な余裕がある場合には、領域指定部１０７により診断に必要とされた箇所以外についても、画質制御部１０６はエンコーダ１０３に対して、非圧縮を選択してもよい。
【0038】
次に、伝送路に輻輳が発生している状態を想定する。伝送路に輻輳が発生している状態では、フレーム出力バッファ２０３に空き容量が足りない状態となり得る。この状態を検出した、ＡＣＫフレーム生成部２０６は、ＡＣＫパケットを一定時間待った後に送信する。例えば、図７を用いて前述したように、受信バッファの使用率（例えば、９５、９０、８５、８０・・・０）に応じて、返信タイミングを段階的に遅らせてもよい。ＡＣＫ受信時間測定部１０５は、ＡＣＫパケットを受け取り、フレームの送信時刻とＡＣＫ受信時刻との差からＡＣＫ受信時間を測定する。これにより、ＡＣＫ受信時間測定部１０５は、その受信時間から受信バッファがどの程度埋まっているかを推定し、推定される空きバッファの量を、画質制御部１０６に通知する。一般的に、カラー情報が多いほどこの情報を元とした画像検査処理の不良検出率は向上し、またエビデンスとしても有効となり得る。そのため、送信側通信装置１００は、できる限り、受信側通信装置２００にＲＡＷデータを送ることが好ましい。しかし、伝送路の輻輳状態になったことを示す通知を受けた場合、画質制御部１０６は、領域指定部１０７により診断に必要とされた箇所以外について、推定された受信バッファの使用率に基づいて、領域指定部１０７、画像処理部１０２およびエンコーダ１０３に対して、適切に制御を行う。
【0039】
画質制御部１０６は、バッファ溢れが発生しないよう画像処理部１０２に対して、カラークラスタリングによる減色処理を設定する。画質制御部１０６は、画像をフレーム出力バッファ２０３が受信可能なサイズ、例えばフルカラーから３色ないし１色等に減色するように設定することができる。画像処理部１０２は、画質制御部１０６の指示に基づいて、減色処理を行う。
【0040】
図９は、受信バッファの残量に応じた、画像処理例を示す図である。画質制御部１０６は、領域指定部１０７により判断された診断に不要な領域に対して、受信バッファの残量に応じて、以下のような異なる画像処理を実行するように、画像処理部１０２又はエンコーダ１０３を制御する。例えば、受信バッファの残量が閾値（図９では３０％）以下の場合、不要領域を切り捨てるように処理することができる。また、受信バッファの残量が閾値（図９では７０％）未満で、かつ閾値（図９では３０％）を超える場合、不要領域に対して、１色での塗りつぶしのような減色処理を実行してもよい。さらに、受信バッファの残量が閾値（図９では７０％）以上の場合、不要領域を低解像度に圧縮するように適切な圧縮率で圧縮処理を行ってもよい。なお、図９で示した閾値や画像処理例は単なる例示であり、本発明はこれらに限定されない。また、診断に必要な領域については、画像処理を行わず、非圧縮データのままとしている。
【0041】
また、画質制御部１０６は、エンコーダ１０３に対して、適切な圧縮率を決定する。図１０は、推定された受信バッファの残量に応じた圧縮率を示すテーブルである。圧縮率は、受信バッファの残量が少なくなる（使用率が高くなる）につれて、高くなるように設定されている（ａ＜ｂ＜ｃ＜ｄ＜ｅ・・）。また、画質制御部１０６は、不要領域に対して、受信バッファの残量が閾値以上（例えば、９０％）の場合は、すなわち、受信バッファに十分な空き容量がある場合、画像フレームを圧縮しないように設定してもよい。画質制御部１０６は、送信側通信装置１００が画像フレームを送信した当初など推定された受信バッファの残量が閾値以上の（受信バッファの使用率が閾値未満である）場合は、不要領域に対しても、非圧縮画像データ（ＲＡＷデータ）に決定することができる。なお、図５および図８に示すように、画質制御部１０６が設定する圧縮率の例としては、非圧縮（ＲＡＷデータ）低圧縮、中圧縮、および高圧縮の少なくとも４段階の圧縮率を含んでもよいが、これに限定されない。
【0042】
エンコーダ１０３は、適切なサイズまで画像データを、非可逆または可逆的手法を用いて画像データサイズを圧縮する。その場合、送信パケットフレーム１０００のヘッダ１０３０には、設定された圧縮率を示すコード（例：１、２又は３）がＥｔｈｅｒフレーム生成部１０４により埋め込まれる。
【0043】
領域指定部１０７は、例えば、画像の中で必要な箇所をＡ，Ｂ，Ｃを検出し、それらが、Ａ＞Ｂ＞Ｃと優先順位がついている場合、受信バッファの残量が少ない場合、Ａのみを診断に必要な箇所と判断し、受信バッファの残量が中の場合、Ａ，Ｂを診断に必要な箇所と判断し、受信バッファの残量が多い（十分に余裕がある）場合、Ａ，Ｂ、Ｃを診断に必要な箇所と判断してもよい。
【0044】
なお、本実施形態にかかる画像診断システムは、診断に必要な箇所は画素が圧縮されていないことを想定しているため、学習データの観点で見ると、学習に必要な箇所には歪みの無いきれい（精度の高い）なデータとみなすことができる。これを用いることで、精度の高いネットワークを生成することができ、上述したような、正のフィードバックループを形成することで、運用しながら性能をアップデートする仕組みを実現する。例えば、学習に際し誤りを含んだ正しくない歪んだデータが混じると、これを教師として学習したネットワークは精度が落ちる。バッファの状態を見ながらバッファ溢れをおこしデータを壊すことなく正しいデータで再学習のループを作ることで、このような問題を解決することができる。
【0045】
以上説明したように、本実施形態による画像診断システムはホスト（受信側通信装置）側の処理の停滞等により、伝送路に輻輳が発生した状態であっても、受信バッファ溢れを起こすことを抑制し、撮影画像を伝送することが可能となる。これにより画像欠落による不良品検出率の低下を防ぐことができる。なお、減色画像や圧縮画像から検出される不良品率は、ＲＡＷ画像から検出される不良品検出率と同等、または低下することが想定されるが、少なくとも全品検査が可能となる。また画像サイズから不良品混在のタイミングを想定することが容易となる点で、これまでの画像診断システムと比較し優位性がある。
【0046】
第１の効果は、画像診断システムにおける不良検出率の向上である。その理由は、診断装置に画像受信バッファ溢れをおこすことなく、診断側に診断に必要な画像データを伝送することで、連続した画像に対する診断を漏れなく行うことができるからである。
【0047】
第２の効果は、画像診断システムの不良検出の信頼性の向上である。その理由は、例えばこれまでのシステムでは１００枚中１枚の画像が欠落した場合、どの検査対象の１枚が欠落したかがわからず、残りの９９枚の良品がどの製品に紐づいているかわからないため、他の良品に対してもその診断の信頼性が低下していた。受信バッファ溢れをおこすことなく、全数検査が実現されることで、検査対象と画像が全数対応することとなり、良／不良の診断に信頼がおけるようになるからである。
【0048】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0049】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0050】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0051】
この出願は、２０２０年６月９日に出願された日本出願特願２０２０－１００１３９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【0052】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
前記第２通信装置は、
前記第１通信装置からの画像フレームデータを受信する受信バッファと、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信部と、
を備え、
前記第１通信装置は、
前記第２通信装置の前記返信部からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定する推定部と、
画像フレームから診断に必要な箇所を指定する領域指定部と、
前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行う変更部と、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信部と、
を備える、通信制御システム。
（付記２）
前記変更部は、前記推定された受信バッファの残量が閾値以下の場合、当該必要な箇所以外について、切り捨て処理を行う、付記１に記載の通信制御システム。
（付記３）
前記返信部は、前記受信バッファの残量が少なくなるにつれて、段階的により遅くなるタイミングでＡＣＫフレームを返信する、付記１又は２に記載の通信制御システム。
（付記４）
前記変更部は、前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量が少なくなるにつれて、段階的に圧縮率が高くなるように画像を圧縮する、付記１～３のいずれか一項に記載の通信制御システム。
（付記５）
前記変更部は、前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量が閾値を超える場合、画像フレームの画像圧縮を行わない、付記１～４のいずれか一項に記載の通信制御システム。
（付記６）
前記変更部は、前記指定された診断に必要な箇所について、画像フレームの画像圧縮を行わない、付記１～５のいずれか一項に記載の通信制御システム。
（付記７）
前記変更部は、前記推定された受信バッファの残量が閾値を超える場合は、当該必要な箇所以外について、前記画像フレームデータを非圧縮画像データに設定する、付記１～６のいずれか一項に記載の通信制御システム。
（付記８）
前記推定部は、前記送信部からの画像フレームデータの送信時刻と、当該画像フレームデータに対するＡＣＫフレームの受信時刻とを比較して、ＡＣＫ受信時間を算出して、当該算出されたＡＣＫ受信時間から前記受信バッファの残量を推定する、付記１～７のいずれか一項に記載の通信制御システム。
（付記９）
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
前記第２通信装置において、
前記第１通信装置からの画像フレームデータを受信バッファで受信し、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
前記第１通信装置において、
前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定し、
画像フレームから診断に必要な箇所を指定し、
前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行い、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する、通信制御方法。
（付記１）
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御システムであって、
前記第２通信装置は、
前記第１通信装置からの画像フレームデータを受信する受信バッファと、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信する返信部と、
を備え、
前記第１通信装置は、
前記第２通信装置の前記返信部からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定する推定部と、
画像フレームから診断に必要な箇所を指定する領域指定部と、
前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行う変更部と、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する送信部と、
を備える、通信制御システム。
（付記２）
前記変更部は、前記推定された受信バッファの残量が閾値以下の場合、当該必要な箇所以外について、切り捨て処理を行う、付記１に記載の通信制御システム。
（付記３）
前記返信部は、前記受信バッファの残量が少なくなるにつれて、段階的により遅くなるタイミングでＡＣＫフレームを返信する、付記１又は２に記載の通信制御システム。
（付記４）
前記変更部は、前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量が少なくなるにつれて、段階的に圧縮率が高くなるように画像を圧縮する、付記１～３のいずれか一項に記載の通信制御システム。
（付記５）
前記変更部は、前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量が閾値を超える場合、画像フレームの画像圧縮を行わない、付記１～４のいずれか一項に記載の通信制御システム。
（付記６）
前記変更部は、前記指定された診断に必要な箇所について、画像フレームの画像圧縮を行わない、付記１～５のいずれか一項に記載の通信制御システム。
（付記７）
前記変更部は、前記推定された受信バッファの残量が閾値を超える場合は、当該必要な箇所以外について、前記画像フレームデータを非圧縮画像データに設定する、付記１～６のいずれか一項に記載の通信制御システム。
（付記８）
前記推定部は、前記送信部からの画像フレームデータの送信時刻と、当該画像フレームデータに対するＡＣＫフレームの受信時刻とを比較して、ＡＣＫ受信時間を算出して、当該算出されたＡＣＫ受信時間から前記受信バッファの残量を推定する、付記１～７のいずれか一項に記載の通信制御システム。
（付記９）
第１通信装置から第２通信装置に画像フレームデータを送信する通信制御方法であって、
前記第２通信装置において、
前記第１通信装置からの画像フレームデータを受信バッファで受信し、
前記受信バッファの残量を反映したタイミングでＡＣＫフレームを前記第１通信装置に返信し、
前記第１通信装置において、
前記第２通信装置からの前記ＡＣＫフレームを受信し、当該ＡＣＫフレームの受信時間から前記第２通信装置の前記受信バッファの残量を推定し、
画像フレームから診断に必要な箇所を指定し、
前記画像フレーム内の前記指定された診断に必要な箇所以外について、前記推定された受信バッファの残量に応じて、異なる画像圧縮を行い、
前記第１通信装置から前記第２通信装置に画像フレームデータを送信する、通信制御方法。
【符号の説明】
【0053】
１ 通信制御システム
１ａ 画像診断システム
１０ 第１通信装置
１０ａ 画像撮影部
１１ 推定部
１２ 領域指定部
１３ 変更部
１４ 送信部
２０ 第２通信装置
２０ａ 画像診断部
２１ 返信部
２２ 受信バッファ
３０ 画像ストレージ
５０ 画像
７０ 搬送装置
１００ 送信側通信装置
１０１ フレーム入力バッファ
１０２ 画像処理部
１０３ エンコーダ
１０４ Ｅｔｈｅｒフレーム生成部
１０５ ＡＣＫ受信時間測定部
１０６ 画質制御部
１０７ 領域指定部
１１１ ＭＡＣ／ＰＨＹ
１１２ ＭＡＣ／ＰＨＹ
２００ 受信側通信装置
２０２ Ｅｔｈｅｒフレーム分解部
２０３ フレーム出力バッファ
２０４ デコードレート制御部
２０５ デコーダ
２０６ ＡＣＫフレーム生成部
２１１ ＭＡＣ／ＰＨＹ
２１２ ＭＡＣ／ＰＨＹ
１０００ 送信パケットフレーム
２０００ 受信パケットフレーム
１ａ 画像診断システム
１０ 第１通信装置
１０ａ 画像撮影部
１１ 推定部
１２ 領域指定部
１３ 変更部
１４ 送信部
２０ 第２通信装置
２０ａ 画像診断部
２１ 返信部
２２ 受信バッファ
３０ 画像ストレージ
５０ 画像
７０ 搬送装置
１００ 送信側通信装置
１０１ フレーム入力バッファ
１０２ 画像処理部
１０３ エンコーダ
１０４ Ｅｔｈｅｒフレーム生成部
１０５ ＡＣＫ受信時間測定部
１０６ 画質制御部
１０７ 領域指定部
１１１ ＭＡＣ／ＰＨＹ
１１２ ＭＡＣ／ＰＨＹ
２００ 受信側通信装置
２０２ Ｅｔｈｅｒフレーム分解部
２０３ フレーム出力バッファ
２０４ デコードレート制御部
２０５ デコーダ
２０６ ＡＣＫフレーム生成部
２１１ ＭＡＣ／ＰＨＹ
２１２ ＭＡＣ／ＰＨＹ
１０００ 送信パケットフレーム
２０００ 受信パケットフレーム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】