摘要
- RISC-V是AI晶片的「Linux時刻」：開源指令集打破ARM/x86壟斷，2026年AI推理晶片市占率突破15%
- RISC-V向量擴展(RVV 1.0)是AI推理的核心：可變長度向量指令，單指令處理多達2048位元資料
- 開源工具鏈(GCC/LLVM)已成熟支援RVV 1.0，模型遷移成本顯著降低
- 國產RISC-V AI晶片：賽昉科技JH8110、芯原NPU、平頭哥曳影1520三足鼎立
- 本文提供從RVV程式設計到RISC-V AI推理部署的完整方案
目錄
RISC-V：AI晶片的Linux時刻
為什麼AI晶片需要RISC-V
| 維度 |
ARM |
x86 |
RISC-V |
| 指令集 |
閉源(授權費) |
閉源(Intel/AMD) |
開源(免費) |
| 客製自由度 |
低(需授權) |
極低 |
高(可自由擴展) |
| AI擴展 |
SVE/SVE2 |
AVX-512/VNNI |
RVV 1.0(可客製) |
| 授權成本 |
$5M-50M/年 |
N/A |
$0 |
| 生態成熟度 |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐⭐ |
⭐⭐⭐ |
| 國產替代 |
⚠️ 受限 |
❌ 受限 |
✅ 自主可控 |
RISC-V AI晶片市場規模
| 年份 |
市場規模 |
AI推理佔比 |
代表產品 |
| 2024 |
$32億 |
8% |
賽昉JH7110 |
| 2025 |
$58億 |
12% |
平頭哥曳影1520 |
| 2026 |
$95億 |
15% |
芯原VIP9400 |
| 2028(預測) |
$200億+ |
25%+ |
多家廠商 |
參考：RISC-V International
RVV 1.0向量擴展：AI推理的引擎
RVV 1.0核心特性
| 特性 |
說明 |
AI推理價值 |
| 可變向量長度(VLEN) |
128-2048位元可設定 |
靈活適配不同算力需求 |
| 可變元素寬度(SEW) |
8/16/32/64位元 |
支援INT8/FP16/FP32混合精度 |
| 遮罩操作 |
條件執行 |
靈活處理不規則資料 |
| 向量歸約 |
求和/最大/最小 |
矩陣乘法的核心操作 |
| 排列指令 |
向量重排 |
資料前置處理 |
RVV向量程式設計範例
#include <riscv_vector.h>
void vector_add(float *dst, const float *src1, const float *src2, size_t n) {
size_t vl;
size_t i = 0;
while (i < n) {
vl = vsetvl_e32m1(n - i);
vfloat32m1_t v1 = vle32_v_f32m1(src1 + i, vl);
vfloat32m1_t v2 = vle32_v_f32m1(src2 + i, vl);
vfloat32m1_t v3 = vfadd_vv_f32m1(v1, v2, vl);
vse32_v_f32m1(dst + i, v3, vl);
i += vl;
}
}
void matrix_vector_mul(float *dst, const float *matrix, const float *vec,
size_t rows, size_t cols) {
for (size_t i = 0; i < rows; i++) {
size_t vl;
size_t j = 0;
vfloat32m1_t sum = vfmv_v_f_f32m1(0.0f, 1);
while (j < cols) {
vl = vsetvl_e32m1(cols - j);
vfloat32m1_t m_row = vle32_v_f32m1(matrix + i * cols + j, vl);
vfloat32m1_t v_col = vle32_v_f32m1(vec + j, vl);
sum = vfmacc_vv_f32m1(sum, m_row, v_col, vl);
j += vl;
}
dst[i] = vfmv_f_s_f32m1_f32(sum);
}
}
RVV vs ARM SVE vs x86 AVX-512
| 維度 |
RVV 1.0 |
ARM SVE2 |
x86 AVX-512 |
| 向量長度 |
可變(128-2048位元) |
可變(128-2048位元) |
固定512位元 |
| 元素寬度 |
8/16/32/64位元 |
8/16/32/64位元 |
8/16/32/64位元 |
| 遮罩 |
✅ |
✅ |
✅ |
| 歸約 |
✅ |
✅ |
✅ |
| 客製擴展 |
✅ 自由 |
❌ 需ARM批准 |
❌ 需Intel |
| INT8矩陣乘 |
✅(自訂) |
✅(外積) |
✅(VNNI) |
開源工具鏈與模型遷移
RISC-V AI工具鏈
┌──────────────────────────────────────────────────────────────┐
│ RISC-V AI推理工具鏈 │
│ │
│ ┌──────────────────────────────────────────────────────┐ │
│ │ 模型層 │ │
│ │ PyTorch/ONNX/TFLite → 匯出ONNX/FlatBuffer │ │
│ └────────────────────────┬─────────────────────────────┘ │
│ │ │
│ ┌────────────────────────▼─────────────────────────────┐ │
│ │ 編譯層 │ │
│ │ TVM/MLIR-LLVM → RISC-V RVV程式碼生成 │ │
│ │ Apache TVM(推薦) / MLIR-Affine / LLVM直接編譯 │ │
│ └────────────────────────┬─────────────────────────────┘ │
│ │ │
│ ┌────────────────────────▼─────────────────────────────┐ │
│ │ 執行時層 │ │
│ │ ONNX Runtime(RISC-V後端) / TFLite Runtime │ │
│ └────────────────────────┬─────────────────────────────┘ │
│ │ │
│ ┌────────────────────────▼─────────────────────────────┐ │
│ │ 硬體層 │ │
│ │ RISC-V CPU + RVV 1.0 + 自訂NPU協處理器 │ │
│ └──────────────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────────────┘
TVM編譯ONNX模型到RISC-V
import tvm
from tvm import relay
import onnx
model = onnx.load("qwen1.5-0.5b-int8.onnx")
mod, params = relay.frontend.from_onnx(model)
target = tvm.target.Target("llvm -mtriple=riscv64-unknown-linux-gnu -mattr=+v")
with tvm.transform.PassContext(opt_level=3):
lib = tvm.relay.build(mod, target=target, params=params)
lib.export_library("qwen_rvv.tar")
國產RISC-V AI晶片對比
| 晶片 |
廠商 |
核心架構 |
AI算力 |
記憶體 |
功耗 |
適用場景 |
| JH8110 |
賽昉科技 |
4×U74+1×S7 |
2 TOPS |
8GB |
5W |
邊緣閘道器 |
| 曳影1520 |
平頭哥 |
8×C920+4×NPU |
4 TOPS |
16GB |
10W |
邊緣推理 |
| VIP9400 |
芯原 |
4×RV64+VIP-NNA |
8 TOPS |
16GB |
15W |
安防/工業 |
| SG2042 |
算能 |
64×C920 |
16 TOPS |
128GB |
200W |
伺服器 |
RISC-V AI推理效能
| 模型 |
晶片 |
量化 |
延遲 |
吞吐量 |
功耗 |
| Qwen2.5-0.5B |
JH8110 |
INT8 |
350ms |
3 tok/s |
4W |
| Qwen2.5-0.5B |
曳影1520 |
INT8 |
180ms |
6 tok/s |
8W |
| Qwen2.5-1.8B |
曳影1520 |
INT4 |
250ms |
5 tok/s |
9W |
| ResNet-50 |
VIP9400 |
INT8 |
12ms |
80fps |
12W |
RISC-V AI推理部署實戰
交叉編譯與部署
FROM riscv64/ubuntu:22.04
RUN apt-get update && apt-get install -y \
python3 python3-pip \
libopenblas-dev \
&& rm -rf /var/lib/apt/lists/*
RUN pip3 install --no-cache-dir \
onnxruntime==1.18.0 \
numpy
COPY qwen_rvv.tar /app/
COPY inference.py /app/
WORKDIR /app
CMD ["python3", "inference.py"]
RISC-V推理腳本
import numpy as np
import onnxruntime as ort
class RiscVInferencer:
def __init__(self, model_path: str):
sess_options = ort.SessionOptions()
sess_options.intra_op_num_threads = 4
sess_options.inter_op_num_threads = 1
self.session = ort.InferenceSession(
model_path,
sess_options=sess_options,
providers=["CPUExecutionProvider"],
)
self.input_name = self.session.get_inputs()[0].name
self.output_names = [o.name for o in self.session.get_outputs()]
def infer(self, input_ids: np.ndarray) -> np.ndarray:
outputs = self.session.run(self.output_names, {self.input_name: input_ids})
return outputs[0]
總結與延伸閱讀
RISC-V是AI晶片的「Linux時刻」——開源指令集打破了ARM/x86壟斷，國產晶片迎來自主可控的歷史機遇。RVV 1.0向量擴展是AI推理的核心引擎，開源工具鏈已支援TVM編譯部署。
開發要點回顧：
- RISC-V開源免費，授權成本$0 vs ARM $5M-50M/年
- RVV 1.0可變向量長度是AI推理的靈活性保障
- TVM是RISC-V AI模型編譯的首選工具
- 國產晶片：賽昉(邊緣閘道器)、平頭哥(邊緣推理)、芯原(安防工業)
- RISC-V AI推理效能已可滿足邊緣場景需求
延伸閱讀：
權威參考：