3dmark是市面上最专业的显示性能测试工具之一,不但支持windows平台计算机,也具有兼容于android、ios等设备的版本,这次的事件起因为科技媒体anandtech发现huawei推出的手机以不正当手段取得较佳成绩,经3dmark开发公司ul确认过后,最终撤销多款手机成绩。
huawei偷吃步被抓包
初代3dmark是于1998年10月由futuremark推出,而futuremark于2014年并入ul,到了2018年4月正式更改品牌名称,因此3dmark与pcmark等产品就挂上ul品牌。
ul在新闻数据中提到,在过去的5年中,有许多智能手机的制造商被发现试图操作测试成绩,这也是为什么ul明确向制造商声明测试规范,在什么条件下设备与测试软件的交互方式是被允许的。
然而日前anandtech的报导指出,多款huawei与其子品牌honor的智能手机,似乎通过人为方式产生异常高分且具误导性的测试成绩,而根据美国市场研究公司idc的数据,huawei是世界上销量排名第二的智能手机制造商。
ul在自己的实验室测试了这些疑似被动过手脚的产品,并确认这些产品违反测试规范后,决定将受到影响的型号从设备清单与成绩排行榜中移除。目前已经被移除的产品型号如下
根据ul亲自测试而移除的型号:
huawei p20 pro
huawei nova 3
honor play
根据anandtech的测试和报告而移除的型号:
huawei p20
ul如何确认问题?
为了要验证huawei智能手机是否真的有为了测试成绩而动了手脚,ul分别使用公开于google play网络商店的公开版3dmark app与公司内部专用的版本进行测试,结果发现在同一测试项目下,公开版的测试成绩比内部版高出47%。
对于这个状况,ul引用了anandtech所提出的解释,指出当这些智能手机在执行公开版3dmark的时候,显然是打开“性能模式”并覆盖原本的电力设置档,通过有高于正常执行状态的耗电量来提升性能表现。
而这种成绩上的差异,可以判断出这这些设备只是单纯依据app的名称为3dmark,就打开性能模式,而不是通过处理的工作种类进行分辨,这种侦测方式与优化是被ul提供给手机制造商的规范所禁止。
ul也与huawei联系,讨论该调查结果,ul表示他们很高兴huawei承诺在未来的系统更新中导入更透明的测试方法,并计划提供用户自由切换性能模式的设置选项。
ul表示在目前的测试规范下,并没有禁止手机制造商为产品加入性能模式,惟执行测试时需将性能模式默认为关闭状态,让测试app与其他app在一样的环境中执行。
然而在这次出现问题的手机中,有个奇妙的巧合,那就是这些手机都是采用huawei旗下hisilicon所生产的kirin 970处理器,是否因为这款处理器背负着不能输的压力而引发这次事件,就只有huawei自己最清楚了。
不像话。