众包与移动网络测试

对客观评估移动网络质量和性能的需求催生出两种截然不同的方法：众包和移动网络测试。众包市场非常饱和。密切关注移动网络测量众包市场的公司超过 20 家。为了获得测量结果，这些公司采用不同的测量方法。本应用说明描述了众包市场的结构，并分析了这两种方法的优缺点。

众包与移动网络测试
众包与移动网络测试
/

您的任务

移动网络运营商和监管机构日益希望更加深入地了解网络质量和特定市场的竞争形势。这涉及到三个关键要求：

  • 基准测量– 概述不同移动网络的相对性能
  • 运营优化– 提高网络运营商的运营效率（包括客户服务、服务保障和网络工程）
  • 市场营销/客户体验管理 (CEM)– 评估最终用户对网络质量的体验

众包和移动网络测试 (MNT) 是两种截然不同的方法，均能满足这些要求。移动网络运营商和监管机构需要评估这两种方法，并根据需求确定合适的方法。本应用说明研究了这两种方法的优缺点。

众包解决方案

众包解决方案可分为三类：

  • 信息聚合– 使用无关应用集成测量 SDK 以获取货币性报酬（类似于应用内广告投放）。通常，最终用户并不知晓数据会在后台收集并发送到云存储以作进一步分析，这涉及到法律上的灰色地带。
  • 运营商应用– 在运营商品牌应用中嵌入测量 SDK
  • 自有应用– 在应用商店中投放品牌应用，专门针对对网络性能感兴趣的用户

众包市场划分（按公司定位）

众包市场划分（按公司定位）
众包市场划分（按公司定位）

图 1：按要求和应用类别的众包解决方案划分（示例，未涵盖所有情况）。

/
图 1：按要求和应用类别的众包解决方案划分（示例，未涵盖所有情况）。

众包分析

优点 缺点
  • 连续自主地收集众包数据，无需开展专门的测量活动。
  • 海量数据可提供非常详尽的分析。这可以从用户身处的任何地方收集数据。但这不保证完全覆盖所有地理区域。
  • 获取整个国家或地区的移动网络覆盖和质量统计数据。
  • 识别数据流量最大的站点、位置和运营商，可以为新站点规划或容量扩展提供有用见解。
  • 展示不同地理区域中可用频谱的使用情况。
  • 海量数据可以根据各种标准（运营商、位置和时间等）进行筛选并用于深度分析。
  • 众包数据的收集条件无法预测，并且通常未知：
    • 温度：用户口袋中的智能手机会因用户体温或并行运行多个应用而变热
    • 位置：智能手机可能位于地下室、一楼、十楼或二十楼
    • 设备依赖性：长期使用 UE 功能有限的旧手机；UE 功能有限可能会影响网络性能测量
    • 客户流量规划：数据量可能增加，吞吐量会受到网络限制
  • 测量无法重现（可以重复或使用新数据集进行众包分析，但无法重现结果）。如果报告的事件引起争议，无法重现测量以验证结果。
  • 众包数据无法用于网络优化。无法提供或仅提供少量关于根本原因的信息。
  • 众包解决方案大部分采用专用方式，并根据未公开的评分方法对结果评分。不同解决方案提供的评分或结果不具备可比性。
  • 众包解决方案通常将主动测试限制为测量以下质量 KPI：UL/DL 吞吐量、平均延迟、平均抖动和数据包丢失。
  • 智能手机操作系统的制约性增强，限制了后台运行的众包应用可能使用的可用参数。
  • 专用众包应用通常会显示出负性偏向（掌握技术知识的用户在遇到网络问题时更会触发这些测试）。

移动网络测试解决方案

路测和步测是专用的移动网络测试方法。专用智能手机（商用 UE）和网络扫频仪集成到尽可能控制温度和射频屏蔽的测试装置，并执行一系列测试用例以研究最终用户的行为。语音服务（电话）和数据服务（数据传输、视频流、社交媒体和 Web 浏览）是常用服务，占据移动网络中的大部分流量。

ETSI TR 103 559 描述了关于可靠执行网络服务质量基准测试和评分的最佳实践。技术报告针对如何根据最终用户感知测试移动网络的质量提供了建议。

罗德与施瓦茨网络性能评分采用 ETSI 方法。

应用会根据以下三个类别进行测试：

  • 可达性– 服务可用性，例如通话掉线
  • 等待时间– 呼叫建立时间
  • 媒体质量– 图片质量或语音质量

结果被映射到分数量表，并生成一个反映最终用户感知质量的总分（流式视频无法播放比视频质量略微降低更为严重，权重也更高）。

有关更多的详细信息和解释，请访问：
www.rohde-schwarz.com/nps

路测

路测
路测

图 2：罗德与施瓦茨网络性能评分 (NPS) 全面涵盖最终用户的应用。

/
图 2：罗德与施瓦茨网络性能评分 (NPS) 全面涵盖最终用户的应用。

移动网络测试分析

优点 缺点
  • 在确定条件下使用控制温度和射频屏蔽的测试装置收集数据。数据的收集条件始终明确可知（室外、室内、测量设备位置和温度等）。
  • 使用新型智能手机和 UE 功能规划测量活动，确保性能测量不会受到 UE 缺陷的影响。用户在后台运行的所有应用都有助于网络质量的整体评估。
  • 使用规定的统一测试方法，确保移动网络测试具有可比性和可重现性
  • 明确规定测量活动（路线、团队、时间和测量装置等），并且可在 3、6 或 12 个月后轻松重复测量，以衡量一段时间内的性能改进情况。
  • 测试范围比众包方法更为广泛。专业的移动网络测试解决方案，还可以计算高级指标，例如语音和视频内容的平均意见得分 (MOS)。
  • 网络性能评分采用 ETSI 方法，能够通过标准化的测量和评分方式提供网络优化建议。提供所有详细信息以作进一步分析。报告问题时，可提供关联上下文（射频条件、详细的网络和应用 L3 消息）以排查故障。
  • 统一测试方法确保可比性，可通过移动网络测试对比采用单一供应商 RAN 架构的开放式无线接入网 (O-RAN)。
  • 与移动设备和芯片组制造商达成协议，可应对智能手机操作系统产生的制约。
  • 工作量较大，必须规划和执行专门的测量活动。虽然众包方法同样不提供免费报告，但移动网络测试解决方案耗时更长，费用更高。
  • 网络性能结果仅适用于数据收集区域。无法根据移动网络测试有效绘制整个国家/地区的网络覆盖范围图。

建议

分析和比较众包与移动网络测试的优缺点可以发现，这两种方法具有互补性，二者并非竞争性关系，无法相互取代。

针对不同的目标或要求，两种方法各具优势。以下展示了部分示例：

  • 国家/地区内运营商网络的网络质量基准测量/排名：如要简略概览相应情形，使用众包数据便可。但是，如要进行公正对比并得出可靠结论，强烈建议使用适用于移动网络测试的 ETSI TR 103 559 等可比测试方法。
  • 整个国家/地区的网络覆盖范围图：如果希望得到整个国家/地区的网络覆盖范围图，众包解决方案是理想之选。欧洲邮政与电信管理会议 (CEPT) 正在讨论重新定义“覆盖范围”一词，特别是考虑到 5G 波束成形技术，但在大部分情况下提供参考信号接收功率 (RSRP) 等基本射频数据便可。移动网络测试无法以合理的成本覆盖整个国家/地区的所有城市、乡镇、村庄和街道。
  • 网络优化：如果需要根据数据优化网络，则收集的数据必须可靠、可重现，并在明确规定的已知条件下收集。数据需要提供关联上下文（射频条件、详细的网络和应用 L3 消息），以便将发现的问题和 RAN 事件相匹配，从而确定这些问题的根本原因。只有移动网络测试可以满足这些要求，众包数据无法提供关联上下文。
  • 网络使用分析：如要识别数据和频谱使用率高的位置或地理区域，则数据可靠性并不十分重要，因此众包解决方案是一种可行方法，能够分析海量数据。
  • 众包方法可以作为传统路测的补充方案：众包方法可用于检测覆盖范围小或存在网络问题的区域。之后可以派遣路测团队收集数据。众包有助于说明国家/地区级基准测量活动（例如 NPS 活动）的合理性，例如解释活动和路线规划以确定测量活动是否真正覆盖国家/地区的相关区域。

其他信息

本应用说明介绍了用于基准测量的移动网络测试解决方案，有关该解决方案的更多信息，请联系罗德与施瓦茨销售代表或访问我们的网站：
www.rohde-schwarz.com/mnt/network-benchmarking

下载