winunify
本站致力于IT相关技术的分享
开始阅读
构建基于NATS的事件驱动型CI分析管道以解耦单元测试与依赖扫描负载 构建基于NATS的事件驱动型CI分析管道以解耦单元测试与依赖扫描负载
团队内部的 CI 流水线已经慢得像头搁浅的鲸鱼。一个典型的 Go 项目，一次代码提交触发的 gitlab-ci.yml，串行执行单元测试、代码覆盖率计算、依赖漏洞扫描、静态代码分析，最后是构建和推送镜像。整个过程平均耗时 15 到 20 分
2023-11-16 DevOps
CI/CD NATS Go 单元测试 依赖扫描
构建由 Axum 驱动的 Serverless MLOps 管道：集成 OpenFaaS、MLflow 与 SQL 实现 iOS 端模型按需个性化 构建由 Axum 驱动的 Serverless MLOps 管道：集成 OpenFaaS、MLflow 与 SQL 实现 iOS 端模型按需个性化
为移动端应用提供的机器学习模型，其生命力在于个性化。一个静态的、一刀切的模型在部署后很快就会因为用户行为数据的变化而变得迟钝。传统的中心化批量训练模式，周期长、成本高，无法满足对单一用户行为的实时响应。我们面临的挑战是：当特定用户在 iOS
2023-11-15 MLOps
MLflow Axum 关系型 (SQL) iOS 开发 OpenFaaS
利用 Apache Spark 与 Git LFS 构建基于 SQLite 的原子化 CI 结果数据管道 利用 Apache Spark 与 Git LFS 构建基于 SQLite 的原子化 CI 结果数据管道
我们的 monorepo CI 系统正在变成一个性能黑洞。一个看似无害的 PR 能触发数百个独立的构建和测试任务，而定位其中引入的性能衰退，完全依赖工程师的人工排查和直觉。日志散落在各处，缺乏结构，更不用说进行趋势分析了。我们需要一个系统，
2023-11-15 数据工程
Apache Spark SQLite Git Turbopack ACID
构建基于Phoenix与WebRTC的大规模实时音视频数据管道以驱动AI分析 构建基于Phoenix与WebRTC的大规模实时音视频数据管道以驱动AI分析
我们面临的第一个问题不是信令，也不是媒体传输，而是数据出口。当上千路 WebRTC 音视频流在我们的 SFU (Selective Forwarding Unit) 集群中穿梭时，业务方的数据科学团队提出了一个看似简单却极难实现的需求：他们
2023-10-27 分布式系统
Phoenix WebRTC AI 数据科学 大数据
构建支持 PyTorch 在线推理的低延迟实时特征存储架构 构建支持 PyTorch 在线推理的低延迟实时特征存储架构
当推荐系统或风控模型的在线推理（Online Inference）请求 QPS 从一万攀升到十万时，最大的瓶颈往往不再是模型计算本身，而是实时特征的获取延迟。批处理生成的特征时效性太差，无法捕捉用户最新的意图；而一个为在线服务设计的、能够支
2023-10-27 数据工程
Cassandra Google Cloud Pub/Sub Flask SSR PyTorch
构建基于 Sidecar 模式的轻量级服务发现系统以支持 Go 与 Python 异构微服务 构建基于 Sidecar 模式的轻量级服务发现系统以支持 Go 与 Python 异构微服务
技术痛点：异构环境下的服务注册与发现难题在一个典型的微服务项目中，我们团队同时维护着两套技术栈：Go 用于构建高性能的核心 API 和网络中间件，Python 则负责数据处理、算法模型等上层业务逻辑。这种组合发挥了各自语言的优势，但也带来了
2023-10-27 分布式架构
微服务 Go 服务发现 API 与架构 Python Sidecar Gossip
1 / 5