归档: 2023/10 | winunify

2023

10

27

获取高质量、结构化的API数据是一回事，但现实世界中，大量关键信息被锁定在动态渲染、需要复杂用户交互才能访问的Web应用里。单纯依赖API，我们丢失了用户视角下的真实页面呈现、第三方脚本行为以及通过交互才能触发的数据。最初我们尝试构建一个简

2023-10-27 数据工程

Playwright Data Lake NATS JetStream TypeScript MinIO

27

我们面临一个棘手的工程问题：需要从部署在全球上千个边缘节点的设备上，实时采集大量的遥测数据。这些节点所处的网络环境极不稳定，从时常抖动的Wi-Fi到信号微弱的4G网络，无所不有。业务要求是数据绝对不能丢失，即便边缘节点与中心云端的连接中断数

2023-10-27 分布式系统

SQLite Pulsar Go Nginx

27

项目初期，各个业务线对实时消息推送的需求开始涌现：实时仪表盘、在线协作、消息通知。最初的方案是每个业务团队各自维护一套 WebSocket 服务。很快，这种方式的弊端就暴露无遗：重复的基础设施建设、不一致的认证授权逻辑、高昂的服务器闲置成本

2023-10-27 后端架构

API 设计 Docker WebSockets Lua

27

处理工业物联网（IIoT）数据流的挑战不在于其总量，而在于其结构。一个典型的场景是数百万台设备，每台设备每秒上报数十个遥测点。这种“高基数”特性，即拥有大量唯一时间序列标识符（如设备ID），会迅速摧毁传统时序数据库的索引性能。更棘手的问题是

2023-10-27 数据工程与存储

Pulsar TimescaleDB Azure EventSourcing IoT

27

一、问题的根源：传统WAF在GraphQL面前的失效标准的Web应用防火墙（WAF）在保护RESTful API方面表现尚可，其核心逻辑大多基于HTTP方法、URL路径模式匹配和请求体的关键词过滤。例如，一条规则可能是“拦截所有对/api/

2023-10-27 后端架构

GraphQL Java 防火墙 Zig 架构设计

27

一个看似简单的下单操作，背后联动了订单、库存、积分三个微服务。在一次大促压测中，积分服务因为负载过高出现短暂不可用，导致大量用户的订单创建成功、库存也扣减了，但积分发放失败。数据不一致的烂摊子，花了我和团队整整两天时间手动修复，这个教训足够

2023-10-27 分布式系统

Kubernetes Ant Design 分布式事务 AWS EKS Memcached