RTX 3060 Ti 能跑哪些 AI 模型:LLM、OCR、YOLO 全景

RTX 3060 Ti(8GB 显存)是个甜点卡,覆盖了 LLM 推理、YOLO 训练、OCR、图像生成等主要本地 AI 场景。

LLM 大语言模型

流畅运行(推荐)

量化后直接跑,速度可接受:

模型4bit 显存
Qwen3-4B2~3 GB
Qwen3-8B(4bit)4~6 GB
Llama 3.2 3B2~3 GB
Gemma 3 4B2~3 GB

勉强可用

  • Qwen3-14B(需要部分层卸载到 CPU)
  • Llama 3.1 8B(长上下文时速度明显下降)

不推荐

  • Qwen3-32B、DeepSeek-R1 原版、70B 级模型——需要 24GB+ 显存或多卡。

工具推荐:Ollama(最简单)、LM Studio(有 GUI)、vLLM(高吞吐推理)。

OCR

工具适用场景
PaddleOCR / PP-OCRv5中文、表格、票据,CPU 也能跑
Surya复杂文档,精度高
EasyOCR部署最简单
Qwen2.5-VL-7B复杂界面截图,可输出结构化 JSON

对于包含布局和表格的文档,PaddleX 的 PP-StructureV3 可以直接输出 HTML 或 Excel。

YOLO + OCR 组合是工业自动化常见方案:

截图 → YOLO 找目标框 → PaddleOCR 读文字 → 业务逻辑

这比直接上 VL 大模型快几十倍。

YOLO 训练

型号状态
YOLOv8n / YOLO11n完全没问题
YOLOv8s / YOLO11s完全没问题
YOLOv8m / YOLO11m可以,batch 调小
YOLOv8l / YOLOv8x较吃力,batch=1~2 或降图片尺寸

自动标注:GroundingDINO + SAM2

GroundingSAM2 是最强的自动标注组合:

文字提示("car", "person")
→ GroundingDINO 找框
→ SAM2 生成分割轮廓
→ 自动生成标注文件

优点:开放词汇检测,不需要重新训练类别。

各模型比较:

模型支持任意类别自动标注质量
GroundingSAM2⭐⭐⭐⭐⭐⭐
GroundingDINO SwinB-QInt8⭐⭐⭐⭐⭐
GroundingDINO SwinT-QInt8⭐⭐⭐⭐
DEIMv2-DINOv3(COCO)❌ 只支持训练类别⭐⭐⭐

如果数据量很大(几万张),先用 SwinT 批量跑,再人工抽查修正。

多模态 VLM

  • Qwen2.5-VL-7B:图片问答、OCR、表格识别、UI 截图分析
  • Qwen2.5-VL-3B:更轻量,3060Ti 跑很轻松
  • MiniCPM-V 4.5:轻量多模态

用途:图片问答、自动生成标注描述、分析网页截图。

图像生成

  • Stable Diffusion 1.5 / SDXL(低分辨率):512×512 很舒服
  • FLUX.1-dev:需要量化版,显存刚好够用

语音

  • Whisper:视频转字幕,中文效果强
  • CosyVoice / GPT-SoVITS:语音克隆,几秒样本就能复刻声线

IndexedDB 中提取图片

如果标注数据存在浏览器 IndexedDB 里,可以用控制台导出:

const req = indexedDB.open("数据库名");

req.onsuccess = () => {
    const db = req.result;
    const store = db.transaction("Video2DImage", "readonly").objectStore("Video2DImage");

    store.getAll().onsuccess = e => {
        e.target.result.forEach((item, i) => {
            const blob = item.image || item.data || item.blob;
            if (!blob) return;

            const url = URL.createObjectURL(blob);
            const a = document.createElement("a");
            a.href = url;
            a.download = `${i}.jpg`;
            a.click();
            setTimeout(() => URL.revokeObjectURL(url), 1000);
        });
    };
};

数量很多时建议用 JSZip 打包成 zip 后统一下载,避免浏览器拦截大量弹窗。

推荐配置(32GB 内存 + 3060Ti)

Qwen3-8B         → 代码助手、日常问答
Qwen2.5-VL-7B   → 看图、OCR、标注辅助
Whisper large   → 语音转文字
GroundingDINO + SAM2 → 自动标注
YOLO11s         → 目标检测训练

这套组合基本把 8GB 显存榨干,覆盖开发、标注、OCR、视觉分析全场景。