归档: 2023 | winunify

2023

10

27

手动干预 HBase region 热点几乎是每个数据工程师都经历过的噩梦。在业务高峰期，某个 region 的读写请求量飙升，导致整个集群的延迟抖动，而此时我们能做的，往往是连上 shell，执行 split 或 move 命令，然后祈祷

2023-10-27 云原生

HBase 容器编排 Kafka Kubernetes Operator

27

我们的机器学习平台最初陷入了一片混乱。特征工程管道的每个组件——离线批处理、在线实时查询、向量相似性检索——都由不同团队手动部署和维护。环境漂移成了家常便饭，开发环境的一个“小”配置更新，在生产环境就可能引发雪崩式的故障。问题的根源在于我们

2023-10-27 数据工程

Puppet Weaviate Apache Iceberg MariaDB MLOps IaC

27

最初的问题很简单：我们需要将海量的遥测事件从C++服务集群实时写入ClickHouse。最初的实现也同样简单，每个事件都通过一个HTTP POST请求直接发送。当QPS只有几百时，一切安好。但随着业务增长到数万QPS，这个模型迅速崩溃。Cl

2023-10-27 后端架构

C++ ClickHouse CI/CD GitOps 高性能

27

在任何严肃的机器学习系统中，训练-服务偏斜（Training-Serving Skew）都是一个潜藏的、难以根除的顽疾。其中一个核心诱因，就是线上实时推理所用的特征，与线下模型训练所用的特征，在生成逻辑上出现了细微但致命的偏差。问题的根源在

2023-10-27 数据工程

Spring Boot Loki API 设计 Cassandra DVC

27

我们团队的微服务体系深度依赖 etcd 进行服务发现和配置管理。最近，前端团队遇到了一个棘手的状态同步问题。一些关键的业务功能开关、A/B测试的分流配置，都存储在 etcd 的一个特定前缀下。前端应用需要实时感知这些配置的变化，以动态调整U

2023-10-27 后端架构

Pinia 微服务 etcd WebSocket Golang

27

在处理大规模数据集的交互式分析场景中，传统的请求-响应模型往往会遭遇瓶颈。用户在前端界面调整一个筛选参数，可能需要等待后端完成数秒甚至数分钟的完整计算，才能看到结果。这种延迟严重破坏了数据探索的流畅性。我们的目标是构建一个架构，让前端的数据

2023-10-27 全栈架构

Node.js WebSocket Zustand Headless UI Pandas