导语PREFACE
从虚拟机时代的资源虚拟化,到容器技术大规模落地,再到微服务普及、Serverless 理念走向生产,过去十年,云原生完成了对软件研发、交付、运维全链路的彻底重构。软件不再是打包在物理服务器上的单体程序,而是被拆解为弹性、可编排、可观测的分布式组件,依托云平台的能力完成全生命周期运转。
但技术变革从未停下脚步,eBPF、Wasm、AI 大模型正在从底层基础设施层发起新一轮变革,千万级 QPS 的业务压力、复杂异构的混合云环境、AI 应用爆发带来的算力诉求,都在倒逼云原生架构再次迭代。本次专访,我们与阿里云首席架构师深度对话,复盘云原生十年发展得失,剖析当下技术拐点,预判云原生下一个十年演进方向,同时落地一线架构师面对超高并发业务的设计思路与实践方法论。
回望过去十年:时代变革与遗留痛点THE LAST DECADE
十年之前,企业 IT 建设的主流模式依然是以虚拟机为核心。企业采购大量物理服务器,通过 KVM、Xen 等虚拟化技术切分出多台虚拟机,不同业务系统独立部署在不同虚机之上。这种模式解决了硬件资源的隔离与复用问题,但缺陷同样十分突出:应用部署周期长,从申请资源到业务上线往往需要数天;扩容伸缩依赖人工操作,面对业务流量暴涨只能被动等待硬件资源调配;环境不一致问题反复折磨研发团队,本地调试正常,上虚拟机就出现各类诡异故障;运维成本居高不下,大量人力消耗在服务器补丁更新、故障排查、资源利用率调优之上。
容器技术的崛起拉开了第一代云原生的序幕。以 Docker 为代表的容器镜像标准化,把应用代码、运行时、依赖库、配置全部打包为统一镜像,实现"一次构建,到处运行",彻底消灭环境差异。Kubernetes 成为容器编排的事实标准,接管容器的调度、扩缩容、自愈、服务发现,让应用可以脱离底层硬件,以声明式 API 完成生命周期管理。基于 K8s 生态,微服务架构大规模落地,单体应用被拆分为细粒度业务模块,团队可以独立迭代、独立发布;CI/CD 流水线打通代码提交到上线的全流程,部署周期从天级别压缩到分钟甚至秒级别。随后 Serverless 进一步向前推进,把服务器、节点运维全部交由云厂商接管,开发者只需要关注业务代码,无需管理底层节点,进一步降低云原生的使用门槛。
虚拟机时代
KVM / Xen 切分资源,部署以天计,环境不一致频发
容器崛起
Docker 镜像标准化,一次构建、到处运行
K8s + 微服务
编排成为事实标准,声明式 API,交付分钟级
Serverless
节点运维交给云厂商,开发者只关注业务代码
AI 原生十年
eBPF · Wasm · 异构算力,定义下一个十年
回望这十年,云原生交出的答卷足够亮眼——但当云原生全面渗透到各行各业核心业务,原有体系的短板与痛点也逐步暴露出来。
K8s 体系本身复杂度居高不下
Kubernetes 能力强大,但组件繁多,学习曲线陡峭。企业落地需要投入专门的平台团队维护集群,管理节点、网络、存储、权限、监控告警。中小企业很难负担完整的 K8s 运维人力成本,很多团队陷入"为了云原生而云原生"。很多业务并没有足够规模,强行微服务拆分之后,带来分布式事务、链路追踪、服务治理的额外负担。
网络、可观测、安全的性能损耗
传统 K8s 网络大量依赖 iptables,集群规模大之后规则膨胀,内核层面性能开销显著上涨。可观测体系大多依靠应用埋点、Sidecar 代理实现——Sidecar 虽业务无侵入,但每个 Pod 附加一个代理容器,CPU、内存额外开销在大规模集群下不可忽视。传统访问控制很难做到内核层面轻量化、全局的安全管控。
异构环境适配难题
大量企业是混合云架构:一部分业务在公有云,一部分保留在自建机房,还有边缘节点需要部署业务。K8s 集群跨环境统一管理难度大,不同硬件架构、不同操作系统、不同云厂商环境下应用可移植性打折扣。传统容器镜像体积偏大,在边缘弱网环境分发镜像效率低下。
AI 时代负载不适配
大模型推理、训练任务需要 GPU、NPU 异构算力,对显存、高速网络、批量调度有极高要求。传统容器调度在 GPU 资源精细化切分、任务抢占、显存复用、批量任务调度方面还有大量优化空间。大量轻量级 AI Agent、插件高频启停,传统容器启动速度、镜像体积并不适合这类轻量化组件。
在这样的行业背景之下,eBPF Wasm AI 原生云原生——三项关键技术走到舞台中央,将定义云原生下一个十年的底层走向。
eBPF:从内核层重构云原生KERNEL REVOLUTION
谈到下一代云原生基础设施,eBPF 是绕不开的核心技术。过去我们修改内核逻辑,只能修改内核源码重新编译,或者加载内核模块,风险极高,一旦出错极易引发内核崩溃,线上业务不敢轻易尝试。eBPF 革命性地实现了在不修改内核源码、不加载内核模块的前提下,向 Linux 内核注入安全沙箱运行的字节码,对系统调用、网络数据包、内核事件进行拦截、观测、处理,执行完成之后返回用户态。沙箱会对 eBPF 程序做安全校验,防止非法内存访问、死循环,保障内核稳定性。
在云原生场景,eBPF 正在重新改写网络、可观测、安全三大板块的实现逻辑。
告别 iptables,内核态转发
传统 K8s 网络大量依赖 iptables,当集群内服务数量达到上万,规则可以膨胀到数十万条,数据包每一次转发需要遍历海量规则,CPU 开销急剧上升。基于 eBPF 的网络方案(例如 Cilium)直接在内核态完成数据包转发、服务负载均衡,大规模集群下转发性能显著提升、CPU 占用大幅下降,还可以在内核层面直接实现网络策略与 Pod 间访问控制,不需要额外代理组件。
零侵入的全链路采集
eBPF 可以直接钩住内核事件:系统调用、TCP 连接、文件读写、进程创建销毁——不需要修改业务代码,不需要 Sidecar,就能拿到全集群完整的网络调用、系统行为、IO 行为数据。无侵入采集链路信息、追踪 Pod 间调用关系、抓取 TCP 层延迟、定位慢请求。对于没有能力做埋点改造的老旧业务,eBPF 可以零改造完成全链路可观测,对存量业务云原生改造价值巨大。
内核层的防御边界
eBPF 可以在内核层实现全局安全管控:监控异常系统调用、检测容器逃逸行为、限制容器高危操作、审计全部网络访问行为。区别于传统的应用层安全防护,eBPF 运行在内核——即便应用被攻陷,部分安全策略依旧可以生效,构建更深一层防御边界。
内核版本依赖:eBPF 强依赖 Linux 内核版本,过低版本很多高级特性无法支持,存量老服务器升级内核存在运维风险。
调试门槛高:内核态问题定位难度远高于普通应用代码,缺少内核技术储备的团队盲目跟风,线上故障很难排查。
"eBPF 不是银弹,不是所有集群都需要立刻上 eBPF。小规模集群,传统 iptables + Sidecar 方案足够稳定成熟,优先保障稳定性;大规模集群,上万 Pod 级别,遇到网络性能、可观测开销瓶颈的时候,才是 eBPF 最佳落地场景。
未来十年,eBPF 会逐步成为云原生基础设施的底层基础能力,网络、监控、安全组件会大量基于 eBPF 重构。Sidecar 模式不会完全消失,但大量通用能力下沉到内核,业务侧的资源开销会持续降低。
Wasm:轻量级沙箱,拓展云原生边界NEW RUNTIME
如果说 eBPF 改造的是基础设施内核层,Wasm 则重新思考应用的打包、运行方式。传统容器技术依托操作系统内核的 Namespace 和 Cgroup 做隔离,容器本质是隔离的进程,镜像里包含完整操作系统文件,体积动辄几百 MB,冷启动时间在秒级。
WebAssembly 最初为浏览器设计,提供高性能、安全沙箱的字节码运行环境。经过多年发展,Wasm 已经走出浏览器,Wasm Runtime 可以直接运行在服务器、边缘设备之上。Wasm 模块是编译之后的字节码,体积往往只有几十 KB 到几 MB;沙箱自带强隔离,不需要操作系统 Namespace;启动速度达到毫秒级别,资源占用极低。
| 维度 | 传统容器 | Wasm |
|---|---|---|
| 隔离机制 | Namespace / Cgroup,本质是隔离的进程 | 沙箱自带强隔离,无需操作系统 Namespace |
| 体积 | 镜像包含完整操作系统文件,动辄几百 MB | 字节码几十 KB ~ 几 MB |
| 冷启动 | 需拉起操作系统环境,秒级 | 毫秒级 |
| 适用负载 | 大型、长期运行的完整业务服务 | 轻量、短生命周期、高频启停 |
Wasm 不会完全替代容器,二者更多是互补关系。Wasm 更适合轻量级、短生命周期、高频启停的负载:
在云原生生态中,Wasm 已经形成完整技术栈:K8s 生态已支持调度 Wasm workload,可以把 Wasm 模块像容器一样编排调度。在网关场景,Wasm 正在替代传统的 Nginx Lua 扩展——开发者使用 Rust、Go、C++ 等语言编写网关插件,编译为 Wasm 字节码,热加载更新插件,不需要重启网关进程,性能和安全性优于脚本扩展。AI 时代大量轻量化 Agent、工具调用组件需要频繁创建销毁,Wasm 毫秒级冷启动、极小内存占用非常适配;边缘计算场景硬件资源紧张、网络带宽有限,几十 KB 的 Wasm 模块分发传输快,可在边缘节点快速启动执行任务。
沙箱限制:内存、系统调用受限,不适合需要完整操作系统环境、大量系统调用的复杂业务。
生态差距:镜像分发、调试工具、可观测体系对比容器还有差距。
迁移成本:部分存量程序需要修改代码重新编译,迁移成本不可忽视。
未来云原生架构会走向混合负载调度:K8s 同时调度传统容器与 Wasm 轻量模块,容器和 Wasm 两套体系共存,共同组成下一代云原生运行时。
AI 浪潮之下:适配全新负载AI-NATIVE INFRA
大模型、生成式 AI 爆发,带来完全不同于传统业务的算力模型。GPU 显存成为最稀缺资源,传统诞生于 CPU 业务时代的云原生,对异构算力调度能力还需要深度进化——当前很多企业直接把整块 GPU 分配给 Pod,无法细粒度切分,多个推理任务之间显存不能复用,很多场景 GPU 利用率只有百分之十几。
- 以 CPU 为主
- 请求短连接,QPS 高但单次计算量小
- 弹性依据 CPU 使用率、QPS 扩缩容
- 训练:大规模 GPU 集群,大吞吐量高速网络
- 推理:高并发小模型 / 大模型长上下文 / 批量任务 / Agent 多轮调用
- 瓶颈在显存占用,GPU 成为最稀缺资源
下一个十年,AI 原生的云原生基础设施,要解决几大核心命题。
异构算力精细化调度
支持 GPU、NPU 各类加速卡的细粒度资源分配,显存切分、时间分片,实现一张加速卡同时服务多个推理任务。调度器不仅看 CPU 内存,还要感知显存占用、芯片拓扑、高速互联网络,把任务调度到最合适的硬件节点。
混合任务调度
集群同时跑在线业务、大模型推理、大模型训练。训练是批处理任务可以抢占算力,推理是在线业务需要保障延迟。基础设施要实现优先级调度:批处理任务在空闲算力运行,在线流量上涨时抢占回收算力,兼顾资源利用率与业务 SLA。
AI 工作流原生支持
大模型应用往往是多步骤工作流:调用大模型、调用工具、向量数据库检索、后处理、多 Agent 协作。传统云原生面向微服务 API 调用,缺少对 DAG 工作流的原生支持,未来平台会原生集成 AI 工作流编排,简化 AI 应用开发部署。
弹性模式的革新
AI 推理业务的弹性策略需要围绕显存、队列长度、请求排队等待时间做自动伸缩。请求暴涨时快速拉起推理实例;流量低谷释放昂贵的 GPU 资源,降低成本。
利用大模型解析监控指标、日志、堆栈,自动定位集群故障;自动分析 K8s 配置错误并给出优化建议;辅助生成 YAML 配置。AI 可以降低平台使用门槛,让云原生能力更好地交付给普通开发者。
千万级 QPS 下,架构师的核心思考逻辑HIGH-CONCURRENCY PLAYBOOK
技术最终要落地业务,理论技术再先进,也要扛住真实业务洪峰。面对千万级 QPS 的超大流量业务,很多工程师第一反应就是堆技术、上最前沿组件、无限增加服务实例。而在专访中,架构师分享了面对超高并发业务,一套务实的架构思考框架。
优先做业务分层与流量治理,而不是直接堆机器
千万 QPS 流量,并不是所有请求都同等重要。首先对流量做分层拆解:核心链路与非核心链路、读流量和写流量、热点流量与普通流量。很多业务大流量来自查询,写请求占比往往很低,优先做读写分离,大量读请求不要打到核心数据库。同时识别热点 Key——大量流量集中在少数热点缓存键,一旦缓存失效会瞬间击穿缓存压垮数据库,热点流量需要单独隔离处理。
流量治理必不可少:合理的限流、熔断、降级策略。当流量超过系统承载上限,不是硬扛,而是主动对非核心功能降级,优先保障核心业务可用。很多架构在压测下表现完美,但缺少降级预案,一旦突发流量,整个系统雪崩。
高可用架构第一原则,不是保证所有请求都成功,而是保证核心业务不被非核心流量拖垮。
分层缓存体系是扛高 QPS 最有效的手段
面对超高 QPS,缓存永远是性价比最高方案,需要构建多级缓存:客户端本地缓存、网关层缓存、应用本地内存缓存、分布式缓存。尽可能让请求在越靠前的层级返回结果,不要穿透到下游存储。
但缓存设计要警惕缓存雪崩、缓存击穿、缓存穿透:过期时间打散,避免大量缓存同时失效;热点 Key 做本地缓存,避免大量请求集中打向分布式缓存集群。缓存不是简单开启就完事,要做缓存命中率监控,持续优化。
存储永远是高并发系统最大短板
绝大多数高并发故障,瓶颈不在应用服务,而在存储。数据库、消息队列、对象存储很容易成为系统短板。面对千万 QPS,首先要思考:是否有必要所有请求都落库?可以异步化的逻辑全部异步处理,使用消息队列削峰填谷,把同步写转换成异步写入,削减同步链路对存储的压力。数据库层面做好分库分表、读写分离;合理设计索引,严控慢 SQL;做好流量隔离,不同业务数据尽量物理隔离,避免一个业务拖垮整个数据库集群。不要盲目迷信数据库无限扩容——存储扩容成本很高,优先从业务侧减少对存储的访问压力。
弹性不等于无限扩容,要思考扩缩容边界
云原生带来强大弹性能力,很多团队直接配置 HPA 自动扩缩容,流量涨就增加 Pod。但要清醒认识:扩容是有上限的。集群节点资源有限,数据库、缓存、消息队列无法跟随应用实例无限扩容。如果下游存储已经到达瓶颈,应用服务扩得再多也解决不了问题,只会加剧下游压力。做弹性设计的时候,必须全链路视角评估——不仅看应用服务,同时评估下游中间件、存储的承载上限,设置最大扩容上限,配合限流降级一起使用。
可观测不是锦上添花,是超大流量系统的生命线
千万 QPS 环境,故障发生速度极快,几分钟就可以造成大规模影响。完备可观测体系必不可少:
架构师特别提到,很多团队只关注应用层监控,忽略内核网络——大量线上故障根源是网络抖动、内核参数异常,应用监控却看不到蛛丝马迹。同时做好全链路压测,模拟真实大流量,提前暴露系统短板。线上的预案、降级开关需要定期演练,不能只停留在文档,真正演练过,才能在故障时刻快速生效。
拒绝过度架构,克制技术选型
很多团队业务还没到千万 QPS,就直接上全套最复杂架构,重度微服务、各类中间件堆砌,带来巨大复杂度。架构演进应该跟随业务规模迭代:业务体量小的时候优先简单架构;业务增长、遇到真实瓶颈,再逐步拆分、升级组件。过度设计会增加系统维护成本,提高故障概率。
千万 QPS 架构,是业务倒逼出来的,不是预先设计出来的。
云原生下一个十年:整体演进总结THE NEXT DECADE
综合本次访谈内容,我们可以勾勒出未来十年云原生发展的完整图景:
eBPF 大规模落地,网络、安全、可观测大量能力下沉内核,降低 Sidecar 资源开销,存量业务低成本获得可观测与安全能力。但不会完全取代传统方案,新旧长期共存,企业结合自身内核版本、业务规模选择落地节奏。
不再容器一家独大,形成容器 + Wasm 双运行时格局。容器承担重业务服务,Wasm 负责轻量插件、函数、边缘、AI Agent 负载,K8s 作为统一调度平台,应用分发、镜像生态进一步完善。
从面向 CPU 设计全面走向 AI 异构算力原生:调度系统深度感知 GPU/NPU 显存与拓扑,精细化算力切分;在线业务与批处理 AI 任务混合调度,最大化利用昂贵算力;弹性策略适配 AI 业务特征;大模型反哺运维,降低平台使用门槛。
不再一味追求过度微服务,行业回归理性:架构选型匹配业务规模,重视稳定性、成本、运维复杂度;架构师更加关注全链路流量治理、存储瓶颈、故障预案;混合云、边缘云深度打通,一套平台管理公有云、自建机房、边缘节点。
平台持续屏蔽底层复杂度。普通开发者不需要深入理解内核、调度细节,只需聚焦业务本身——平台接管网络、安全、观测、异构算力调度,把复杂基础设施能力封装,以简单接口交付业务。
当然,技术前进路上依旧充满挑战:
云原生下一个十年,不是某一项新技术颠覆旧体系,而是现有体系持续演进——内核能力、新型运行时、AI 算力三者深度融合,面向未来 AI 时代,构建更高效、更安全、更低成本、更容易使用的软件基础设施。
过去十年,云原生重塑软件交付;
下一个十年,云原生将支撑 AI 时代万千应用的落地生长。