OPPO MariSilicon X

昨今大手スマートフォンメーカーで流行の兆しを見せつつある独自設計の半導体の開発の流れは、ますます広がりを見せそうです。

中国の大手スマートフォンメーカーであるOPPOが、『MariSilicon X』(マリシリコン・エックス)と名付けられた“イメージングNPU”(imaging NPU:画像とAI処理用半導体)を、同社のイベント『OPPO INNO DAY 2021』で発表しました。

搭載製品としては2022年第1四半期に発売が予定されている、同社の最上位スマートフォン『Find X』シリーズの次期モデルが予定されています。

OPPO MariSilicon X


OPPO MariSilicon X

画像処理エンジン+AI処理用演算器という組み合わせは、現状では比較的珍しいユニットとなりますが、今回OPPOが強調したのは「カメラ画質を向上させるためのパーツとして」でした。

同イベントでの紹介も、いわゆる「AI処理」として紹介されたのは、カメラの画質に関する点――AIノイズリダクションなど――となっています。

画像処理エンジンとしての機能面の特徴は、『ウルトラHDR』を謳うモードを含めた20ビットRAWデータ処理への対応や、『4K ウルトラHDR』を謳う動画撮影処理への対応、そして『4Kナイトビデオ』を謳う“夜景動画モード”に対応するといった点です。

OPPO MariSilicon X

20ビットのHDRでは、理論上100万対1のコントラストを撮影可能となるため、これまでのHDRでさえも黒つぶれや白飛びが発生していた明暗差も表現可能に。

こうした点を紹介すべく発表プレゼンでは、MariSilicon X搭載試作機と、同社の現行最上位スマホ『Find X3 Pro』、アップルの『iPhone 13 Pro Max』との比較撮影結果なども公開されています。

OPPO MariSilicon X

また注目は『4Kナイトビデオ』。静止画でのナイトモードは昨今の高級スマホでは標準的になりつつありますが、その技術的根幹の一つとなるノイズ低減処理は、「複数の撮影結果を(高速に)合成して1枚の写真に盛り込む」手順が必要。

動画に対して行なうには非常に高速な画像処理エンジンとイメージセンサーが必要になるため、並みの速度の画像処理では不可能な処理であり、MariSilicon Xの処理速度で初めて可能になった……というわけです。

OPPO MariSilicon X

なおプレゼンでは、MariSilicon Xの速度と性能対電力効率をアピールすべく、同じノイズ低減アルゴリズムをFind X3 Pro(に搭載されたクアルコム『Snapdragon 888』)で処理した際の速度と消費電力の比較も公開。

MariSilicon Xでは40FPS(毎秒あたり40コマ)を797mWの消費電力で処理できるが、Find X3 Proでは1693mWの電力でも2FPSしか処理できない……という、圧倒的な性能差と語られました。

OPPO MariSilicon X

こちらもプレゼンでは撮影例が公開されましたが、プレゼン動画で確認する限りは、ほぼ暗所でもツボの表面テクスチャーが撮影できる、という、まさに『ナイトビデオ』の語感から想像される絵がそのまま……というものでした。

これはぜひ実機で試してみたくなるモードです。


OPPO MariSilicon X

画質に関する点で注目したい特徴が、半導体チップ内部で使われるデータ処理パイプラインにおいて、全段をRAWベースにしている点。

ここでのRAWとは「イメージセンサーから出力されるデータを、圧縮せずにそのまま使う」手法を指します。こう聞くと「ではこれまでは?」と思われるでしょうが、実は一般的なスマホではなんらかの圧縮処理、しかも可逆圧縮(=わずかながら画質が劣化する)してから処理をしていました。

今回はFind X3 Proとの比較での概念図が公開されましたが、同機種ではYUVと呼ばれる圧縮されたデータをベースとしています。対してMariSilicon XはRAWデータを元にした処理となるため、画質面で有利、という意図です(中央のRGBは、対応機種は示されていませんが、比較的劣化の少ないデータフォーマットです)。

では、なぜいままでそのような圧縮処理をしていたのか? という理由は、RAWベースでの処理は画質の面では有利ながら、メモリや処理速度に与える負担が大きいため。つまり「MariSilicon Xの速度があって、初めてRAWベースの処理が可能となり、画質面で有利となった」というわけです。

OPPO MariSilicon X

さらに、昨今のイメージセンサーで採用が広がりつつある、RGBW(赤、緑、青に加えて、白も含む配列)センサー向けに、『RGBWプロモード』も用意。白画素情報を別系統の処理とすることで、「テクスチャー情報などをより多く盛り込める」とアピールします。


OPPO MariSilicon X

半導体としての特徴は、まず(半導体としての性能や性能対電力効率をある程度決定する)製造プロセス世代に、TSMCの6nm技術を使う点。

6nmはTSMC側の最先端というわけではありませんが、スマートフォンの世界ではミドルレンジ級のSoCなども製造される世代のため、ほぼ単機能のプロセッサに使われるのは、比較的珍しい例です。

OPPO MariSilicon X

それにより、AI処理能力としては、公称で18TOPS(ただしint8[8バイト整数]型にて)とアピール。性能対電力効率も、1ワットあたり11.6TOPSと公開。これはApple A15以上とアピールしています。

OPPO MariSilicon X

また、高速な画像処理エンジンには不可欠となる高速(広帯域)なメモリに関しては、詳細は不明ながら“シリコン上のメモリサブシステム”に加えて、最高8.5GB/秒のデータ転送レートとなる、自前のDDRメモリも用意する構成。

(当然ながら)SoC側とは独立したメモリ帯域が利用できるため、高速な点をアピールします。


OPPO側は、これまで同社が研究してきたカメラ画質向上において、MariSilicon Xはセンサーや画像処理アルゴリズムと並ぶ「ジグソーパズルの最後のピース」「自社開発のAIアルゴリズムを解き放つ(パーツ)」とも表現しています。

プレゼンで見た通りの実力を備えるとすれば、少なくとも画像処理エンジンとしての実力は、OPPOがそれだけ豪語するだけのことはありそう。

独自開発半導体の流れだけではなく、スマートフォンカメラにおける「悪条件でも手軽に、失敗のない写真と動画が撮れる」理想を近づけるデバイスとして、注目に値する半導体と呼べそうです。

Source:OPPO ニュースリリース(英語)