归档: 2023/10 | winunify

2023

10

27

我们面临一个在分布式系统中极为常见但又充满挑战的问题：如何维持一个事务型数据库（PostgreSQL）和一个搜索系统（Elasticsearch）之间的数据一致性。业务要求对数据的查询维度非常复杂，单纯依赖PostgreSQL的索引难以满足

2023-10-27 数据工程

消息队列搜索分布式一致性 CDC Debezium

27

定义问题：实时风力发电机组监控的状态同步困境设想一个场景：我们需要为一个大型风力发电场构建一个实时监控指挥中心。该系统需要处理数千台风力发电机上传感器每秒产生的数据流，数据点包括风速、转速、功率、偏航角、设备温度等。指挥中心的大屏幕上，前端

2023-10-27 分布式架构

Apache Flink Node.js Redux 测试事件驱动

27

团队内部一个监控看板需要一个简单的日志搜索功能。需求很明确：能在数万条结构化日志中，根据自然语言描述找到相关的异常信息。常规的grep或者LIKE查询效果差强人意，而引入Elasticsearch或一个专门的向量数据库，对于这个非核心的内部

2023-10-27 后端架构

LLM Jib Search Hugging Face Transformers SQLite

27

手动干预 HBase region 热点几乎是每个数据工程师都经历过的噩梦。在业务高峰期，某个 region 的读写请求量飙升，导致整个集群的延迟抖动，而此时我们能做的，往往是连上 shell，执行 split 或 move 命令，然后祈祷

2023-10-27 云原生

HBase 容器编排 Kafka Kubernetes Operator

27

我们的机器学习平台最初陷入了一片混乱。特征工程管道的每个组件——离线批处理、在线实时查询、向量相似性检索——都由不同团队手动部署和维护。环境漂移成了家常便饭，开发环境的一个“小”配置更新，在生产环境就可能引发雪崩式的故障。问题的根源在于我们

2023-10-27 数据工程

Puppet Weaviate Apache Iceberg MariaDB MLOps IaC

27

最初的问题很简单：我们需要将海量的遥测事件从C++服务集群实时写入ClickHouse。最初的实现也同样简单，每个事件都通过一个HTTP POST请求直接发送。当QPS只有几百时，一切安好。但随着业务增长到数万QPS，这个模型迅速崩溃。Cl

2023-10-27 后端架构

C++ ClickHouse CI/CD GitOps 高性能