winunify
本站致力于IT相关技术的分享
利用 Tekton 与 Redis 构建缓存感知的向量嵌入生成流水线 利用 Tekton 与 Redis 构建缓存感知的向量嵌入生成流水线
团队的向量模型迭代一直是个痛点。每次对预处理逻辑或模型进行微调，都意味着需要对整个数GB的验证数据集重新生成嵌入向量，这个过程动辄数小时。我们的CI/CD流水线，原本是为了加速交付，现在却成了最主要的瓶颈。问题很明确：大量的计算是重复且不必
2023-10-27 MLOps
CI/CD Python Tekton Redis Vector 缓存
基于 Apache Flink 与 Clean Architecture 构建流式驱动的静态站点生成管道 基于 Apache Flink 与 Clean Architecture 构建流式驱动的静态站点生成管道
一个棘手的需求摆在面前：为高吞吐量的用户行为日志（每秒数万次页面浏览）构建一个近实时的监控仪表盘。传统方案，如使用ELK或直连时序数据库的前端轮询，因其高昂的实时查询成本和复杂的后端维护而被否决。我们的目标是极致的性能、低廉的成本和最小的运
2023-10-27 数据工程
Apache Flink Clean Architecture AWS SSG
构建金融风控实时特征平台中利用分布式锁保证 Spark 计算一致性的架构权衡 构建金融风控实时特征平台中利用分布式锁保证 Spark 计算一致性的架构权衡
在金融风控场景下，特征计算平台的稳定性和数据一致性是整个系统的基石。我们面临的核心挑战是：如何在一个分布式的环境中，调度数百个 Apache Spark 作业，对海量的用户数据进行周期性、分片区的特征计算，同时确保任何一个计算单元（例如，某
2023-10-27 数据工程
Apache Spark 分布式锁 GraphQL Apollo Client 金融风控
构建从PostgreSQL到Elasticsearch的准实时、最终一致性同步管道 构建从PostgreSQL到Elasticsearch的准实时、最终一致性同步管道
我们面临一个在分布式系统中极为常见但又充满挑战的问题：如何维持一个事务型数据库（PostgreSQL）和一个搜索系统（Elasticsearch）之间的数据一致性。业务要求对数据的查询维度非常复杂，单纯依赖PostgreSQL的索引难以满足
2023-10-27 数据工程
消息队列 搜索 分布式一致性 CDC Debezium
基于 Flink 与 Redux 构建高吞吐 IoT 平台的端到端状态一致性架构 基于 Flink 与 Redux 构建高吞吐 IoT 平台的端到端状态一致性架构
定义问题：实时风力发电机组监控的状态同步困境设想一个场景：我们需要为一个大型风力发电场构建一个实时监控指挥中心。该系统需要处理数千台风力发电机上传感器每秒产生的数据流，数据点包括风速、转速、功率、偏航角、设备温度等。指挥中心的大屏幕上，前端
2023-10-27 分布式架构
Apache Flink Node.js Redux 测试 事件驱动
使用Jib构建内嵌Hugging Face模型与SQLite向量存储的独立搜索服务 使用Jib构建内嵌Hugging Face模型与SQLite向量存储的独立搜索服务
团队内部一个监控看板需要一个简单的日志搜索功能。需求很明确：能在数万条结构化日志中，根据自然语言描述找到相关的异常信息。常规的grep或者LIKE查询效果差强人意，而引入Elasticsearch或一个专门的向量数据库，对于这个非核心的内部
2023-10-27 后端架构
LLM Jib Search Hugging Face Transformers SQLite
2 / 5