归档 | winunify

2023

10

27

手动干预 HBase region 热点几乎是每个数据工程师都经历过的噩梦。在业务高峰期，某个 region 的读写请求量飙升，导致整个集群的延迟抖动，而此时我们能做的，往往是连上 shell，执行 split 或 move 命令，然后祈祷

2023-10-27 云原生

HBase 容器编排 Kafka Kubernetes Operator

27

我们的机器学习平台最初陷入了一片混乱。特征工程管道的每个组件——离线批处理、在线实时查询、向量相似性检索——都由不同团队手动部署和维护。环境漂移成了家常便饭，开发环境的一个“小”配置更新，在生产环境就可能引发雪崩式的故障。问题的根源在于我们

2023-10-27 数据工程

Puppet Weaviate Apache Iceberg MariaDB MLOps IaC

27

我们面临的第一个问题是指标孤岛。数十个微服务各自通过不同的方式暴露Prometheus端点、写入日志或直接推送数据到消息队列。运维团队需要维护一个庞杂的监控栈，而开发团队想要排查一个跨服务的请求链路问题，则需要在多个系统之间来回跳转。我们需

2023-10-27 后端架构

Phoenix InfluxDB Ant Design 网关与代理状态管理

27

最初的问题很简单：我们需要将海量的遥测事件从C++服务集群实时写入ClickHouse。最初的实现也同样简单，每个事件都通过一个HTTP POST请求直接发送。当QPS只有几百时，一切安好。但随着业务增长到数万QPS，这个模型迅速崩溃。Cl

2023-10-27 后端架构

C++ ClickHouse CI/CD GitOps 高性能

27

处理工业物联网（IIoT）数据流的挑战不在于其总量，而在于其结构。一个典型的场景是数百万台设备，每台设备每秒上报数十个遥测点。这种“高基数”特性，即拥有大量唯一时间序列标识符（如设备ID），会迅速摧毁传统时序数据库的索引性能。更棘手的问题是

2023-10-27 数据工程与存储

Pulsar TimescaleDB Azure EventSourcing IoT

27

我们团队的微服务体系深度依赖 etcd 进行服务发现和配置管理。最近，前端团队遇到了一个棘手的状态同步问题。一些关键的业务功能开关、A/B测试的分流配置，都存储在 etcd 的一个特定前缀下。前端应用需要实时感知这些配置的变化，以动态调整U

2023-10-27 后端架构

Pinia 微服务 etcd WebSocket Golang