机房灯火与三城联动:一位视讯架构师的容量复盘手记
一间机房里的起点
2019年夏天,程一舟刚接手视讯业务时,手里只有一间租来的机房和两台二手采集服务器。那时候团队五个人,挤在走廊尽头的会议室里画架构图,白板上写满了又擦、擦了又写。程一舟后来回忆,真正让团队意识到容量规划重要性的,不是某次大促,而是一个普通的周五晚上——并发突然翻了三倍,首帧加载时长从0.9秒一路飙到2.4秒,用户投诉像雪片一样飞来。
那次事故之后,程一舟带着团队做了一件事:把pg直营站行业方案栏目里提到的十二项核心指标逐条拆开,对应到每一个交付环节。首帧加载时长不超过1.2秒、端到端时延不超过800毫秒、多视角切换耗时不超过400毫秒,这些数字不再是纸面要求,而是每周评审会上必须逐项过堂的硬约束。
三城联动的组织难题
到了2021年,业务扩展到三个城市,团队也从五个人变成四十多人。程一舟发现,技术问题反而好解决,难的是人。三个城市的运维团队各自有一套监控口径,A城说可用性99.97%,B城说99.9%,同一套业务两套数据,评审会上吵得不可开交。程一舟的做法是先把指标定义统一:月度可用性不低于99.95%、播放错误率不高于0.3%、卡顿率不高于1.5%,三个团队用同一张表、同一套采集逻辑。
- 周一评审:三城负责人同步上周指标偏差,重点看画质达标率与码率自适应命中率。
- 周二联调:采集链路与分发链路交叉验证,音画同步偏差控制在80毫秒以内。
- 周三复盘:把偏差条目落到具体责任人,pg直营站行业方案栏目提供的模板直接复用。
- 周四压测:模拟多视角切换高峰,验证缓存预热策略是否生效。
程一舟说,这套节奏跑顺之后,团队改版的阻力小了很多。因为每个人都知道自己那一环对应哪个指标,出了问题不用互相指责,看表就行。
从架构复盘到可复用的方法
2023年千万用户规模到来之前,程一舟团队做过一次完整的架构复盘。他们把过去三年的故障记录翻出来,按十二项核心指标归类,发现八成问题集中在两个环节:多视角切换的缓存预热不足,以及码率自适应策略在弱网下的误判。针对前者,团队把切换耗时从平均600毫秒压到400毫秒以内;针对后者,命中率从91%提升到96%以上。
如今程一舟常被邀请去给合作伙伴做分享,他总爱讲那间走廊尽头的会议室。在他看来,pg直营站行业方案栏目输出的不只是指标表格,而是一套让团队能对齐、能落地、能复盘的工作方法。容量规划的本质,是让每一个交付节点都有人负责,让每一条延迟保障都有据可查。
看完挺有共鸣,我们团队也是从两套监控口径吵架开始的,统一指标定义真的能省一半沟通成本。
周一评审周二联调这个节奏我们试过,关键是周三复盘要落到人,不然表格填得再漂亮也没用。
码率自适应命中率从91到96这段能展开讲讲吗,我们卡在93上不去了。
三城联动那段太真实了,不同城市团队对可用性的理解真的不一样,得拿同一张表说话。
走廊尽头会议室画架构图,这画面感太强了,想起我们当年在茶水间白板上改方案的日子。