サムスン GALAXY S4 から見つかった「ベンチマーク最適化」は、サムスンだけでなく多くのメーカーが手を染めていることが分かりました。


サムスンの Galaxy S4 で発覚して話題になった「ベンチマーク最適化」とは、性能比較によく使われるベンチマークアプリの名称をあらかじめ決め打ちしておき、実行したときは CPU / GPUクロックなどを特別な高性能設定にすることで、実態とは離れた高性能に見せかけること。

負荷の高い処理に応じて高クロック(消費電力大)に変えるのではなく、レビューなどで使われやすい特定のベンチマークアプリのパッケージ名などを識別して変更するために、ベンチマーク以外の一般アプリを使った時の性能を反映しないばかりか、ベンチマークアプリの名称を変えただけでスコアが低下します。


リンク先の AnandTech が各社のスマートフォンやタブレットなど13端末と、広く使われるベンチマークアプリ7本について調査したところでは、サムスンだけではなく ASUS や HTC、LGなどのOEMメーカーも端末によってはこの「最適化」をしていることが判明しました。

「最適化」対象にどこまでを含めるか、知名度が比較的低いベンチまでリストに含めるか否かの判断はメーカーによって違い、また端末やプラットフォーム(プロセッサ)によっても変わります。しかし AnandTech の調査では、サムスンのほか ASUS や HTC、LG など大手の端末から、複数のベンチマークに対する「最適化」が見つかっています。

逆に今回の調査の範囲で最適化をしていないのは Motorola と NVIDIA のみ(NVIDIAは自社ブランドのAndroidゲーム機 SHIELD について調査)。Google の Nexus からも見つかっていません。


興味深いのは、同じ ASUS製でもたとえば Padfone Infinity にはあって Nexus 7 にはなかったり、LG製でも LG G2 にあってGoogleブランドの Nexus 4 にはないこと。つまりプラットフォームのローレベルで共通しているわけではなく、OEMが自社ブランドで出す端末についてはベンチ対決で勝ちたがる一方、Google に提供する製品には「最適化」を入れない(入れられない)ことが分かります。モトローラ端末についても、少なくともGoogle傘下になった最近のモデルからは「最適化」は見つかっていません。


今回の騒ぎのきっかけとなったサムスンについては、非難を受けた Galaxy S4 以降の新端末 Galaxy Note 3、Galaxy Note 10.1 では改めたかと思いきや、さらに多くのベンチマークアプリに対応し、「やってる」組のなかでも他社に差を付けて最適化に精を出しています。

Galaxy S4 のベンチマーク「最適化」が発覚した際、サムスンは「全画面で負荷の高いアプリについては最適なユーザー体験のため最高クロックで駆動します」云々という、曖昧な回答をしていました。言葉としては意味が通っていますが、特定のベンチマークでは起動と同時に最高クロック固定になる一方、それ以外の高負荷アプリでは負荷に応じて可変する(消費電力とのバランスでタイムラグがある)ことや、" BenchmarkBooster " なる文字列をハードコードしてリストを作成していたことを正当化できるかといえばなかなか無理があります。

一方、サムスンはBroadcom などとともにモバイル機器での「より効果的な」性能測定方式の策定を目指す団体 MobileBench コンソーシアムの創設メンバーでもあります。これがたとえば、現在の「最適化」はライバルの多くも手を染める悪しき慣習なので止むを得ないが、業界から一掃するためにも公正な指標づくりに取り組む、という意思に基づくとすれば良い動きです(業界標準まで自社有利に「最適化」するつもりでないとして)。なお、MobileBenchにはモバイルSoCの最大手であるQualcommも、あるいはインテルや NVIDIAも現時点で不参加。