7B小模型干翻32B！SWE-Protégé本地化部署指南：如何用一台工作站打造AI编程团队

# 1. 创建虚拟环境 conda create -n swe-protege python=3.10 conda activate swe-protege # 2. 安装SWE-agent基础环境 git clone https://github.com/princeton-nlp/SWE-agent.git cd SWE-agent
pip install -e . # 3. 安装SWE-Protégé框架（基于官方实现） git clone https://github.com/meta-research/swe-protege.git cd swe-protege
pip install -r requirements.txt # 4. 安装vLLM用于本地模型推理（推荐） pip install vllm==0.4.2

# 使用Hugging Face下载Qwen2.5-Coder-7B-Instruct huggingface-cli download Qwen/Qwen2.5-Coder-7B-Instruct --local-dir ./models/protege-7b # 如需使用SWE-Protégé训练后的权重（性能更优） huggingface-cli download meta-research/swe-protege-7b --local-dir ./models/swe-protege-7b

# 编辑配置文件 config.yaml cat > config.yaml << EOF
protege:
  model_path: "./models/swe-protege-7b"
  tensor_parallel_size: 1  # 根据GPU数量调整
  gpu_memory_utilization: 0.9

expert:
  provider: "anthropic"  # 或 "openai"
  model: "claude-3-7-sonnet-20250219"
  api_key: "$ANTHROPIC_API_KEY"
  max_tokens_per_task: 4000  # 限制专家Token消耗

grpo:
  enable: false  # 部署阶段关闭训练，仅推理
  temperature: 0.2
  
swe_agent:
  environment: "docker"
  container_name: "swe-sandbox"
  timeout: 300  # 单任务超时时间（秒）
EOF

# 启动vLLM服务（后台运行） python -m vllm.entrypoints.openai.api_server \ --model ./models/swe-protege-7b \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9 \ --max-model-len 32768 \ --port 8000 & # 验证服务 curl http://localhost:8000/v1/models

# 单任务测试（以SWE-bench示例为例） python run_protege.py \ --config config.yaml \ --instance_path test_instance.json \ --output_dir ./results # 批量评估 python evaluate.py \ --dataset swe-bench-verified \ --split test \ --max_workers 4 \ --output results.json

# 在config.yaml中添加 context_management: max_context_tokens: 16000 # 控制上下文长度 summarization_threshold: 12000 # 超长时自动摘要 file_cache_size: 100 # 缓存最近浏览的100个文件

expert_calling: strategy: "adaptive" # 自适应调用 stall_threshold: 5 # 连续5步无进展则触发专家 max_calls_per_task: 8 # 单任务最多调用8次专家 early_exit: true # 任务解决后立即停止