winunify
本站致力于IT相关技术的分享
2023
10
27
27
基于 Apache Flink 与 Clean Architecture 构建流式驱动的静态站点生成管道 基于 Apache Flink 与 Clean Architecture 构建流式驱动的静态站点生成管道
一个棘手的需求摆在面前：为高吞吐量的用户行为日志（每秒数万次页面浏览）构建一个近实时的监控仪表盘。传统方案，如使用ELK或直连时序数据库的前端轮询，因其高昂的实时查询成本和复杂的后端维护而被否决。我们的目标是极致的性能、低廉的成本和最小的运
2023-10-27 数据工程
Apache Flink Clean Architecture AWS SSG
27
构建金融风控实时特征平台中利用分布式锁保证 Spark 计算一致性的架构权衡 构建金融风控实时特征平台中利用分布式锁保证 Spark 计算一致性的架构权衡
在金融风控场景下，特征计算平台的稳定性和数据一致性是整个系统的基石。我们面临的核心挑战是：如何在一个分布式的环境中，调度数百个 Apache Spark 作业，对海量的用户数据进行周期性、分片区的特征计算，同时确保任何一个计算单元（例如，某
2023-10-27 数据工程
Apache Spark 分布式锁 GraphQL Apollo Client 金融风控
27
27
基于 Flink 与 Redux 构建高吞吐 IoT 平台的端到端状态一致性架构 基于 Flink 与 Redux 构建高吞吐 IoT 平台的端到端状态一致性架构
定义问题：实时风力发电机组监控的状态同步困境设想一个场景：我们需要为一个大型风力发电场构建一个实时监控指挥中心。该系统需要处理数千台风力发电机上传感器每秒产生的数据流，数据点包括风速、转速、功率、偏航角、设备温度等。指挥中心的大屏幕上，前端
2023-10-27 分布式架构
Apache Flink Node.js Redux 测试 事件驱动
27
2 / 5