Skip to content

Latest commit

 

History

History
258 lines (211 loc) · 10.7 KB

File metadata and controls

258 lines (211 loc) · 10.7 KB

TOPGO GEO 智能路由系统架构设计

一、系统概述

1.1 核心目标

打造能理解用户意图、感知网络生态、智能匹配最优AI资源的下一代API服务平台。

1.2 双重GEO定义

维度 定义 承担应用
物理GEO 基于IP地理位置的网络层低延迟接入 TOPGO Gateway
逻辑GEO 基于语义、语言、合规的智能路由 TOPGO Orchestrator

二、TOPGO Orchestrator - 资源标签与策略引擎

2.1 资源多维度标签化

# 资源实例标签模型
resource_instance:
  id: "ri_xxx"
  
  # 物理标签
  physical:
    region: "us-west"        # 区域
    isp: "azure"             # 云服务商
    latency_baseline: 85ms   # 基础延迟
  
  # 逻辑标签
  capabilities:
    language: ["zh-CN", "en-US"]
    specialty: ["reasoning", "creative_writing", "code_generation"]
    compliance: ["gdpr", "hipaa"]
    cost_tier: "standard"    # premium/standard
  
  # 动态画像
  dynamic:
    health_score: 95         # 健康分
    current_latency: 88ms    # 实时延迟
    rate_limit_remaining: 80%
    last_updated: "2026-05-10T12:00:00Z"

2.2 智能策略编排

{
  "name": "中文创作优先策略",
  "priority": 100,
  "conditions": [
    {
      "field": "request_language",
      "operator": "eq",
      "value": "zh-CN"
    },
    {
      "field": "request_purpose",
      "operator": "eq", 
      "value": "creative_writing"
    }
  ],
  "actions": [
    {
      "type": "prefer",
      "target_tags": ["language:zh-CN", "specialty:creative_writing"]
    }
  ]
}

2.3 动态资源探测

# 探测点配置
probes:
  locations:
    - name: "东京"
      endpoint: "https://probe.tokyo.example.com"
    - name: "洛杉矶"  
      endpoint: "https://probe.la.example.com"
    - name: "法兰克福"
      endpoint: "https://probe.fra.example.com"
  
  metrics:
    - latency
    - availability
    - rate_limit_status
    - error_rate

三、TOPGO Gateway - 实时路由决策

3.1 请求上下文提取

// RequestContext 请求上下文
type RequestContext struct {
    // 物理上下文
    ClientIP       string
    Country        string  // 国家
    City           string  // 城市
    ASN            string  // 运营商
    
    // 逻辑上下文
    ContentLanguage string  // 请求语言
    UserID          string  // 用户ID
    UserTier        string  // 用户套餐
    TargetModel     string  // 目标模型
    
    // 历史偏好
    HistoricalPref []string
}

3.2 路由决策引擎

┌─────────────────────────────────────────────────────────────┐
│                    GEO 路由决策引擎                          │
├─────────────────────────────────────────────────────────────┤
│  输入:                                                       │
│  ┌──────────────┐  ┌─────────────┐  ┌────────────────┐    │
│  │ 请求上下文    │  │ 资源池数据  │  │ 策略规则       │    │
│  │ (ClientIP,   │  │ (带标签的   │  │ (编排的路由    │    │
│  │  Language,  │→ │ 端点列表)   │→ │ 策略)          │    │
│  │  Model)      │  │             │  │                │    │
│  └──────────────┘  └─────────────┘  └────────────────┘    │
│                                                              │
│  处理:                                                       │
│  1. 上下文匹配 → 2. 综合评分 → 3. 排序选择                    │
│                                                              │
│  输出:                                                       │
│  ┌──────────────┐                                          │
│  │ 最优端点      │ → 转发请求                                │
│  │ (得分: 95)   │                                          │
│  └──────────────┘                                          │
└─────────────────────────────────────────────────────────────┘

3.3 评分算法

Score = (策略优先级 × 0.3) + (健康分 × 0.25) + (延迟得分 × 0.25) + (负载权重 × 0.2)

其中:
- 策略优先级: 0-100 (根据匹配的策略规则)
- 健康分: 0-100 (来自Orchestrator的实时探测)
- 延迟得分: 100 - (实测延迟 / 基准延迟 × 100)
- 负载权重: 100 - (当前负载 / 最大负载 × 100)

四、数据流设计

┌─────────────────────────────────────────────────────────────────┐
│                      TOPGO 双应用数据流                          │
├─────────────────────────────────────────────────────────────────┤
│                                                                  │
│  [Orchestrator]                                                 │
│  ┌─────────────┐    ┌─────────────┐    ┌─────────────┐        │
│  │ 资源池管理  │───→│ 健康探测    │───→│ 策略引擎    │        │
│  │ (带标签)    │    │ (全球探测点)│    │ (规则编排)  │        │
│  └─────────────┘    └─────────────┘    └─────────────┘        │
│        │                   │                   │                │
│        └───────────────────┴───────────────────┘                │
│                           │                                      │
│                           ▼                                      │
│              ┌────────────────────────┐                          │
│              │ 资源池 + 策略规则      │                          │
│              │ (同步到 Gateway)      │                          │
│              └────────────────────────┘                          │
│                           │                                      │
├───────────────────────────┼──────────────────────────────────────┤
│                           ▼                                      │
│  [Gateway]                                                        │
│  ┌─────────────┐    ┌─────────────┐    ┌─────────────┐          │
│  │ 上下文提取  │───→│ 路由决策    │───│ 请求转发    │          │
│  │ (解析IP,   │    │ (匹配、评   │    │ (到最优端点)│          │
│  │  Language) │    │  分、排序)  │    │             │          │
│  └─────────────┘    └─────────────┘    └─────────────┘          │
│        │                   │                                    │
│        └───────────────────┘                                    │
│                           │                                      │
│                           ▼                                      │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │              日志聚合与反馈                              │   │
│  │  (延迟统计、路由分布、策略命中率)                        │   │
│  └─────────────────────────────────────────────────────────┘   │
│                           │                                      │
│                           ▼                                      │
│                   [反馈给 Orchestrator]                          │
│                   (用于优化策略)                                 │
└─────────────────────────────────────────────────────────────────┘

五、实施路线图

Phase 1: 基础物理GEO

  • 集成 IP 地理库 (MaxMind GeoLite2)
  • 实现基于区域的最短延迟路由
  • 跨地域故障自动转移

Phase 2: 逻辑GEO

  • 资源多维度标签化体系
  • 语言感知路由
  • 合规性路由 (GDPR等)

Phase 3: 智能GEO

  • 智能策略编排引擎
  • 动态资源画像与健康探测
  • A/B 测试框架

Phase 4: 高级特性

  • 全球流量热力图可视化
  • 机器学习优化的路由策略
  • 自适应成本优化

六、技术选型

IP地理库

  • MaxMind GeoLite2 - 免费、开源、精度高

健康探测

  • Prometheus + Blackbox Exporter - 基础设施监控
  • 自定义探测服务 - 多地域延迟测试

策略引擎

  • JSON Schema - 规则定义
  • Redis - 策略缓存与分发

可观测性

  • Grafana - 可视化面板
  • ELK/ClickHouse - 日志分析

七、价值体现

维度 价值描述
体验 从"可用"到"智能" - 多重上下文智能决策
成本 从"成本中心"到"效率引擎" - 最大化资源利用率
专业 从"工具"到"解决方案" - 满足企业级合规、低延迟需求

本文档定义了 TOPGO GEO 智能路由系统的完整架构,为后续开发实施提供指导。