イリノイ州のチームが OpenCV AI コンテストで優勝

Aug 15, 2023

2023 年 8 月 9 日

デブラ・リービー・ラーソン

ラベル付き画像のデータセットを手動で作成するにはコストがかかり、多くの労力が必要です。 これらの要因の両方を軽減するという動機から、イリノイ大学アーバナ シャンペーン校の 4 人の学生からなるチームは、深層学習ベースのコンピューター ビジョン モデルをトレーニングするためのデータの生成と注釈付けのプロセスを自動化するソリューションを開発しました。

このチームは今年、2022 OpenCV AI コンペティションのコア トラックで優勝しました。 COCOpen と呼ばれる彼らのソフトウェアは、Microsoft の「Common Objects in Context」データセットで導入された画像ラベル付けアプローチに従っています。

彼らが作成したソフトウェアは、同じカテゴリの複数のオブジェクトを含む可能性があるシーン内の特定のオブジェクトを識別して輪郭を描くためのモデルをトレーニングするために使用される画像データを生成します。

コード リポジトリのサンプル ユースケースでは、ワイヤーおよびイーサネット デバイス カテゴリの複数のオブジェクトを含むイメージを生成します。 これらの合成画像を使用して深層学習モデルをトレーニングし、モデルがこれまでに見たことのない新しい画像上のこれらのカテゴリのオブジェクトを検出できます。

これらのトレーニング画像の自動作成とラベル付けにより、このプロセスに関連する時間と費用が大幅に削減されます。 このコードは、製造、物流、自動運転、家庭内サービスなどのさまざまなアプリケーションで使用できます。

ホリー・ディンケル 、博士号 UIUC の航空宇宙工学科の学生は、COCOpen は黒い背景にある単一の物体のラベルのない単純な画像を撮影することによって機能すると説明しました。

ソフトウェアは OpenCV を使用して、これらの個々のオブジェクトの色に基づいてマスクを作成します。 次に、データ拡張のコピー＆ペースト方法を使用して、複数のオブジェクト画像を 1 つの画像に結合します。 さらに、OpenCV は、オブジェクトの方向のランダム化や色の変更などの機能拡張を適用するために使用されます。

COCOpen ライブラリによって生成されたデータは、ロボット操作アプリケーション用のイーサネット ワイヤとネットワーク デバイスを検出するために Detectron2 Mask R-CNN モデルをトレーニングすることによって検証されます。

ヤシュ・ラソッドコンピューター サイエンス学科の 3 年生である同氏は、COCOpen のビジョンは、研究室からの研究を取り入れて、機械学習の実践者向けにユーザー フレンドリーなデータ生成エクスペリエンスを構築することであると述べました。

「そのアイデアは、クラウドから数千枚の画像を取得し、それらを前処理して、研究室で研究したデータ生成技術を適用して、コンピューター ビジョン モデルのトレーニングに使用できる COCO 形式のデータを生成するパイプラインを構築することでした。」と彼は言いました。

Rathod は、UIUC の工学部研究推進プログラムでの 1 学期にわたる経験を活かして、クラウド データ ストレージ リソース (当初は Microsoft Azure、その後は Box) とインターフェイスするためのソフトウェアを開発およびテストしました。

「自動データ生成とは、ユーザーがコード リポジトリのクローンを作成し、最小限のインストールと実行手順に従うだけで済むことを意味します。 私たちはクラウドを活用することで、ユーザーの時間と貴重なコンピューティング リソースを節約したいと考えています」とラソッド氏は述べています。

ハリー・チャオ航空宇宙工学の学士号を取得して今年 5 月に卒業した同氏は、多くの分野へのアプリケーションで OpenCV を使用して現実世界のコンピューター ビジョンの問題を解決する COCOpen の能力を強調しました。 このカテゴリーの他の 45 件のエントリーの中には、医療、環境、建設の課題に対するソリューションも含まれていました。

「オリジナルの Microsoft COCO データセットの作成には、合計 55,000 時間の作業時間が必要でした。もちろん、すべてを 1 人で作成したわけではありません」と Zhao 氏は述べています。 「しかし、多くの矛盾が生じる可能性があります。 一部のラベルは不正確である可能性があるため、拒否または修正する必要があり、さらに時間がかかります。 COCOpen は、画像内のラベルを自動的に生成するためにデータを使用できる形式に変換します。」

Zhao氏は、COCOpenは、2年前にイリノイ宇宙助成コンソーシアムの学部研究機会プログラムでのインターンシップ中に彼とディンケル氏が作成したコードとデータからインスピレーションを得ていると述べた。

ラベル付けの複雑さについて、Zhao 氏は次のように述べています。「ワイヤーの検出や分類だけを気にするなら、これはワイヤーで、これはワイヤーではないと言うだけでしょう。 それはゼロか１です。 バイナリ。 セマンティック セグメンテーションとは、ピクセルが何を表しているのかを知ることです。