归档: 2023/10 | winunify

2023

10

27

在金融风控场景下，特征计算平台的稳定性和数据一致性是整个系统的基石。我们面临的核心挑战是：如何在一个分布式的环境中，调度数百个 Apache Spark 作业，对海量的用户数据进行周期性、分片区的特征计算，同时确保任何一个计算单元（例如，某

2023-10-27 数据工程

Apache Spark GraphQL 分布式锁 Apollo Client 金融风控

27

我们面临一个棘手的工程问题：需要从部署在全球上千个边缘节点的设备上，实时采集大量的遥测数据。这些节点所处的网络环境极不稳定，从时常抖动的Wi-Fi到信号微弱的4G网络，无所不有。业务要求是数据绝对不能丢失，即便边缘节点与中心云端的连接中断数

2023-10-27 分布式系统

SQLite Pulsar Go Nginx

27

获取高质量、结构化的API数据是一回事，但现实世界中，大量关键信息被锁定在动态渲染、需要复杂用户交互才能访问的Web应用里。单纯依赖API，我们丢失了用户视角下的真实页面呈现、第三方脚本行为以及通过交互才能触发的数据。最初我们尝试构建一个简

2023-10-27 数据工程

Playwright Data Lake NATS JetStream TypeScript MinIO

27

项目初期，各个业务线对实时消息推送的需求开始涌现：实时仪表盘、在线协作、消息通知。最初的方案是每个业务团队各自维护一套 WebSocket 服务。很快，这种方式的弊端就暴露无遗：重复的基础设施建设、不一致的认证授权逻辑、高昂的服务器闲置成本

2023-10-27 后端架构

API 设计 Docker WebSockets Lua

27

一、问题的根源：传统WAF在GraphQL面前的失效标准的Web应用防火墙（WAF）在保护RESTful API方面表现尚可，其核心逻辑大多基于HTTP方法、URL路径模式匹配和请求体的关键词过滤。例如，一条规则可能是“拦截所有对/api/

2023-10-27 后端架构

Java 防火墙 Zig GraphQL 架构设计

27

一个看似简单的下单操作，背后联动了订单、库存、积分三个微服务。在一次大促压测中，积分服务因为负载过高出现短暂不可用，导致大量用户的订单创建成功、库存也扣减了，但积分发放失败。数据不一致的烂摊子，花了我和团队整整两天时间手动修复，这个教训足够

2023-10-27 分布式系统

Kubernetes Ant Design 分布式事务 AWS EKS Memcached