SI_Storage 数据存储服务

基于 go-zero 构建的轻量级数据处理服务

📑 简介

SI_Storage 是一个基于 go-zero 微服务框架开发的数据存储服务，提供高性能的数据存储和转发功能。作为轻量级数据处理中间件，它可以无缝对接各种存储系统和消息队列。

🚀 核心功能

1. 持久化存储

提供多样化的数据存储方案：

存储类型	特点	适用场景
MongoDB	文档型、灵活模式	非结构化数据、日志存储
MySQL	强一致性、事务支持	结构化数据、关系型数据
PostgreSQL	强大的扩展性、ACID支持	复杂查询、地理信息数据

2. 队列消息存储

• 支持多种消息队列系统：
  • 🔄 Kafka：高吞吐量、分布式消息队列
  • 📬 RabbitMQ：可靠的消息投递
• 特性：
  • 消息持久化
  • 消息重试机制
  • 死信队列处理
  • 消息顺序保证

3. 缓存消息存储

• 📦 Redis 缓存支持
  • 灵活的数据结构：String、Hash、List、Set、Sorted Set
  • 自动过期策略
  • 缓存预热
  • 缓存穿透防护
• 🔄 本地缓存支持
  • 进程内存储
  • LRU 淘汰策略
  • 并发安全

4. 外部 Hook 转发

• 🔌 Webhook 支持
  • HTTP/HTTPS 回调
  • 自定义请求头
  • 重试机制
  • 超时控制
• 📡 实时数据推送
  • 支持多种推送协议
  • 事件过滤
  • 批量推送
  • 失败重试

✨ 特性

• 高性能

  • 异步处理
  • 批量操作优化
  • 连接池管理

• 高可靠

  • 数据持久化
  • 故障转移
  • 消息确认机制

• 可扩展

  • 插件化架构
  • 自定义存储接口
  • 灵活的配置选项

🤝 贡献指南

欢迎提交 Issue 和 Pull Request。详情请参考贡献指南

📄 开源协议

本项目采用 MIT 协议开源。