winunify
本站致力于IT相关技术的分享
利用 Pulsar Topic 策略解决读写分离架构下的会话一致性问题 利用 Pulsar Topic 策略解决读写分离架构下的会话一致性问题
用户更新了个人资料，点击保存，刷新页面后却看到了旧的信息。这个场景在任何采用数据库读写分离架构的系统中都可能发生。问题的根源在于主库写入成功后，数据同步到从库存在延迟。当用户的下一个读请求被路由到尚未同步完成的从库时，返回的就是旧数据。这严
2023-10-27 分布式架构
读写分离 WebSocket Pulsar MobX 最终一致性
基于事件溯源与IaC构建BentoML模型的声明式部署基础设施 基于事件溯源与IaC构建BentoML模型的声明式部署基础设施
管理机器学习模型的生命周期是一项比想象中更复杂的任务。当团队从几个模型扩展到几十上百个时，依赖CI脚本、手动配置和环境变更记录的传统方式会迅速演变成一场灾难。模型版本、部署环境、资源配置之间的关系变得模糊不清，每一次发布都伴随着风险，而且几
2023-10-27 MLOps
BentoML 基础设施即代码 (IaC) Event Sourcing 分布式与中间件 Kit
构建基于Phoenix、InfluxDB与Ant Design的统一实时指标网关 构建基于Phoenix、InfluxDB与Ant Design的统一实时指标网关
我们面临的第一个问题是指标孤岛。数十个微服务各自通过不同的方式暴露Prometheus端点、写入日志或直接推送数据到消息队列。运维团队需要维护一个庞杂的监控栈，而开发团队想要排查一个跨服务的请求链路问题，则需要在多个系统之间来回跳转。我们需
2023-10-27 后端架构
Phoenix InfluxDB Ant Design 网关与代理 状态管理
构建基于Playwright、NATS JetStream与数据湖的弹性非结构化数据采集总线 构建基于Playwright、NATS JetStream与数据湖的弹性非结构化数据采集总线
获取高质量、结构化的API数据是一回事，但现实世界中，大量关键信息被锁定在动态渲染、需要复杂用户交互才能访问的Web应用里。单纯依赖API，我们丢失了用户视角下的真实页面呈现、第三方脚本行为以及通过交互才能触发的数据。最初我们尝试构建一个简
2023-10-27 数据工程
Playwright Data Lake NATS JetStream TypeScript MinIO
使用Go、Nginx、Pulsar与SQLite构建高可用的边缘数据采集网关 使用Go、Nginx、Pulsar与SQLite构建高可用的边缘数据采集网关
我们面临一个棘手的工程问题：需要从部署在全球上千个边缘节点的设备上，实时采集大量的遥测数据。这些节点所处的网络环境极不稳定，从时常抖动的Wi-Fi到信号微弱的4G网络，无所不有。业务要求是数据绝对不能丢失，即便边缘节点与中心云端的连接中断数
2023-10-27 分布式系统
SQLite Pulsar Go Nginx
构建基于 Lua 微内核与 Docker 的可热插拔高并发 WebSocket 网关 构建基于 Lua 微内核与 Docker 的可热插拔高并发 WebSocket 网关
项目初期，各个业务线对实时消息推送的需求开始涌现：实时仪表盘、在线协作、消息通知。最初的方案是每个业务团队各自维护一套 WebSocket 服务。很快，这种方式的弊端就暴露无遗：重复的基础设施建设、不一致的认证授权逻辑、高昂的服务器闲置成本
2023-10-27 后端架构
API 设计 Docker WebSockets Lua
4 / 5