概要 製品一覧 サポート Blog

モバイル リアルタイム EVC プレーヤー MPEG の早期実装 2020 年 10 月提出

image

 

オルガ・クロヴャコワ著 - 2020年11月3日

button

抽象的な

この寄稿では、公開中の MPEG-5/パート 1: エッセンシャル ビデオ コーディング (EVC) 国際規格に準拠してビットストリームをデコードおよび再生するように設計されたリアルタイム モバイル ビデオ プレーヤーの初期実装について説明します。プレーヤーは ETM リファレンス ソフトウェア バージョン 6.1 に基づいており、ARM アーキテクチャ向けに最適化されています。このプレーヤーは、Huawei P40 Pro スマートフォンで開発およびテストされ、EVC メイン プロファイル ツールのサブセットで 24 fps での 1080p リアルタイム再生を実証します。

1. はじめに

現在の初期の実装は、市場で入手可能なトップ モバイル デバイス上での EVC ビットストリームのリアルタイム再生の実現可能性を実証することを目的としています。 Kirin 990 SoC を搭載した Huawei P40 Pro スマートフォンがターゲットデバイスとして選択されました。 Android 10 ベースの EMUI 10.1 で動作し、合計 8 個の CPU コアを備えています。そのうちの 1 つは次のとおりです。

  • 2.86GHz で動作する 2 つのハイエンド Cortex-A76 コア。
  • 2.36GHz で動作する 2 つのミッドエンド Cortex-A76 コア。
  • 1.95GHz で動作する 4 つのローエンド Cortex-A55 コア。

入力マテリアルとして、JVT-VC テスト セットから「Kimono1」および「ParkScene」テスト シーケンスが選択されました。どちらのテスト シーケンスも、解像度 1080p、24 fps、カラー フォーマット 4:2:0、持続時間 10 秒です。

エンコーダ設定として、EVC Common Test Condition (CTC) のデフォルトのランダム アクセス設定が選択されました。量子化パラメータ (QP) 32 がターゲット QP として選択されました。

2. サポートされている EVC ツール

ターゲット デバイスでリアルタイムの再生速度を実現するために、ETM6.1 リファレンス ソフトウェアでエンコードおよびデコードされたテスト シーケンスで Android Profiler によって収集されたプロファイリング情報に基づいて、EVC ツールのサブセットが選択されました。図 1 と図 2 は、これら 2 つのシーケンスに対してターゲット デバイス上で取得されたプロファイリング データを対応して示しています。

着物ビットストリームデコーディングプロファイリング

図 1. ETM6.1着物ビットストリームのデコードプロファイリング

ParkScene ビットストリーム デコーディング プロファイリング

図 2. ETM6.1 ParkScene ビットストリーム デコード プロファイリング

プロファイリング データに基づいて、表 1 にまとめたように EVC ツールのサブセットが選択されました。表内のツール名と略語は、EVC 仕様で定義されている標準的な意味に従います。

表 1. 初期のリアルタイム プレーヤー実装用に選択されたツールセット

ツールの短縮名ツールのフルネームETM6.1 CTC RA
デフォルト設定
選択したツールセット
ADMVP高度な動きベクトル予測1 1
アフィンアフィン予測1 1
HTDFアダマール変換ドメインフィルター1 1
DMVRデコーダ側の動きベクトルの導出1 1
ADCC高度な係数コーディング1 1
追加DB高度なブロック解除1 1
アルフ適応ループフィルター1 0
AMVRアダプティブモーションベクトル解像度1 1
ATS適応変換の選択1 1
BTT二分木と三分木1 0
CM_INITコンテキストモデリングの初期化1 1
DBFデブロッキングフィルター1 1
EIPD強化されたイントラ予測方向1 0
HMVP履歴 動きベクトル 予測1 1
iQT高度な量子化と変換1 1
MMVD動きベクトルの違いとマージ1 1
POCSアドバンストピクチャーオーダー数1 1
RPL参考画像一覧1 1
スーコスプリットユニットのコーディング順序1 0
IBCイントラブロックコピー0 0

表 1 からわかるように、ほとんどの EVC ツールが選択したツールセットに含まれています。

3. 実装の詳細と再生

選択したツールセットでリアルタイム再生を実現するために、最上位の ETM 6.1 リファレンス SW で次の主な変更が実行されました。

  1. MC 部分の最も重要な機能の ARM SIMD 実装
  2. 1 つのフレーム内の CTU ラインをウォーターフロントのように並列処理します。
  3. デブロッキングフィルターの並列実装

実装を簡素化するために、Kirin SoC の最も強力な 4 つのコア (ハイエンドおよびミッドエンド) のみがプレーヤーで使用されるように選択されました。

その結果、プレーヤーはデバイス上で 24+ fps の再生を実証しました。 10 秒間の再生における平均デコード速度を表 2 にまとめます。

表 2. デバイス上での選択したツールセットの再生の平均結果

テストシーケンスデコード速度 (fps)
パークシーン24.39
着物1 25

再生速度を客観的および主観的にチェックするために、プレーヤーを Huawei P40 Pro スマートフォンに導入してテストしました。

図 3 は、デバイスでの着物ビットストリーム再生中のプレーヤーの画像を示しています。

Huawei P40 Pro で動作しているプレーヤーの画像

図 3. Huawei P40 Pro で動作するプレーヤーの画像

4. 最適化されたデコーダのプロファイリング

最適化されたデコーダー着物ビットストリームプロファイリング

図 4. 最適化されたデコーダーの着物ビットストリーム プロファイリング

最適化されたデコーダー ParkScene ビットストリーム プロファイリング

図 5. 最適化されたデコーダー ParkScene ビットストリーム プロファイリング

5. CPU使用率

プレーヤーの現在の実装は、CPU コア使用量の点で Huawei P40 Pro 携帯電話向けに最適化されており、より具体的には、SW は 4 つの最も強力な Kirin 990 CPU コア (ハイエンドおよびミッドエンド) でのみ動作します。図 6 と図 7 は、10 秒間の再生中の 4 つの強力なコアごとの CPU 使用率を示しています。

ハイエンドおよびミッドエンドの CPU コア使用率。着物プレイバック。

図 6. ハイエンドおよびミッドエンドの CPU コア使用率。着物プレイバック。

ハイエンドおよびミッドエンドの CPU コア使用率。 ParkScene の再生。

図 7. ハイエンドおよびミッドエンドの CPU コア使用率。 ParkScene の再生。

6. 消費電力

消費電力を見積もるために、100% 充電されたデバイスでテスト ビットストリームの無限再生ループが開始され、エネルギー不足によりデバイスのスイッチがオフになるまでプロセスが動作しました。その結果、プレーヤーは 24 fps の一定速度で 4.5 時間以上動作しました。図 10 と 11 は、得られた結果をまとめたものです。

着物無限再生時の消費電力と再生速度

図10. 着物無限再生時の消費電力と再生速度

ParkScene の無限再生時の消費電力と再生速度

図 11. ParkScene の無限再生時の消費電力と再生速度

7. 結論

Solveig Multimedia によって実装された初期バージョンの EVC ソフトウェア プレーヤーは、EVC ビットストリームのリアルタイム再生が実現可能であり、適度な電力消費で最新のモバイル デバイスで使用できることを示しています。

  • https://www.solveigmm.com/en/howto/improvements-of-mobile-real-time-evc-decoder-and-player/

著者について

image Olga Krovyakova は、2010 年から Solveig Multimedia のテクニカル サポート マネージャーを務めています。

彼女は、ビデオ スプリッター、HyperCam、WMP トリマー プラグイン、AVI Trimmer+、TriMP4 などの会社製品に関する多くのテキストおよびビデオ ガイドラインの著者です。

彼女は毎日プログラムを使って作業しているため、プログラムがどのように機能するかをよく知っています。 ご質問がある場合は、 support@solveigmm.com経由で Olga までお問い合わせください。彼女は喜んでお手伝いします!