winunify
本站致力于IT相关技术的分享
基于Kafka事件流实现HBase在Kubernetes上的自适应区域管理 基于Kafka事件流实现HBase在Kubernetes上的自适应区域管理
手动干预 HBase region 热点几乎是每个数据工程师都经历过的噩梦。在业务高峰期，某个 region 的读写请求量飙升，导致整个集群的延迟抖动，而此时我们能做的，往往是连上 shell，执行 split 或 move 命令，然后祈祷
2023-10-27 云原生
HBase 容器编排 Kafka Kubernetes Operator
使用Puppet自动化部署由Weaviate、Apache Iceberg与MariaDB构成的混合特征存储架构 使用Puppet自动化部署由Weaviate、Apache Iceberg与MariaDB构成的混合特征存储架构
我们的机器学习平台最初陷入了一片混乱。特征工程管道的每个组件——离线批处理、在线实时查询、向量相似性检索——都由不同团队手动部署和维护。环境漂移成了家常便饭，开发环境的一个“小”配置更新，在生产环境就可能引发雪崩式的故障。问题的根源在于我们
2023-10-27 数据工程
Puppet Weaviate Apache Iceberg MariaDB MLOps IaC
构建ClickHouse高吞吐异步写入客户端的C++实践及其GitOps声明式管理 构建ClickHouse高吞吐异步写入客户端的C++实践及其GitOps声明式管理
最初的问题很简单：我们需要将海量的遥测事件从C++服务集群实时写入ClickHouse。最初的实现也同样简单，每个事件都通过一个HTTP POST请求直接发送。当QPS只有几百时，一切安好。但随着业务增长到数万QPS，这个模型迅速崩溃。Cl
2023-10-27 后端架构
C++ ClickHouse CI/CD GitOps 高性能
基于Spring Boot与Cassandra构建支持DVC版本追溯的高吞吐实时特征API 基于Spring Boot与Cassandra构建支持DVC版本追溯的高吞吐实时特征API
在任何严肃的机器学习系统中，训练-服务偏斜（Training-Serving Skew）都是一个潜藏的、难以根除的顽疾。其中一个核心诱因，就是线上实时推理所用的特征，与线下模型训练所用的特征，在生成逻辑上出现了细微但致命的偏差。问题的根源在
2023-10-27 数据工程
Spring Boot Loki API 设计 Cassandra DVC
基于 etcd Watch 构建实时配置管道驱动 Pinia 状态动态更新 基于 etcd Watch 构建实时配置管道驱动 Pinia 状态动态更新
我们团队的微服务体系深度依赖 etcd 进行服务发现和配置管理。最近，前端团队遇到了一个棘手的状态同步问题。一些关键的业务功能开关、A/B测试的分流配置，都存储在 etcd 的一个特定前缀下。前端应用需要实时感知这些配置的变化，以动态调整U
2023-10-27 后端架构
Pinia 微服务 etcd WebSocket Golang
构建从 Pandas 到 Zustand 的实时数据流架构：一种 Node.js 驱动的交互式分析前端实现 构建从 Pandas 到 Zustand 的实时数据流架构：一种 Node.js 驱动的交互式分析前端实现
在处理大规模数据集的交互式分析场景中，传统的请求-响应模型往往会遭遇瓶颈。用户在前端界面调整一个筛选参数，可能需要等待后端完成数秒甚至数分钟的完整计算，才能看到结果。这种延迟严重破坏了数据探索的流畅性。我们的目标是构建一个架构，让前端的数据
2023-10-27 全栈架构
Node.js WebSocket Zustand Headless UI Pandas
3 / 5