接入模型¶

d.run 模型中心支持接入 HuggingFace Transformers 上托管的各种生成式 Transformer 模型。

以下是目前支持的模型架构列表：

多模态语言模型列表：

如何为模型构建镜像¶

以下是完整的指导流程，包含拉取模型、构建 Docker 镜像、配置私有仓库，以及将镜像推送到自定义仓库的步骤。

拉取 Hugging Face 上的模型¶

获取模型的 Clone 地址¶

1. 前往 Hugging Face
2. 找到目标模型，例如 "chatglm3-6b"

3. 复制模型的 Git URL 以用于克隆，例如：

   https://huggingface.co/THUDM/chatglm3-6b
   

Clone 模型¶

使用以下命令克隆模型（确保已安装 Git 和 Git LFS）：

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b

如果克隆失败，请尝试以下步骤：

# 跳过 smudge - 我们会在后面的步骤中以更快的方式批量下载二进制文件
git lfs install --skip-smudge
# 在这里执行 git clone
git clone https://huggingface.co/THUDM/chatglm3-6b
# 进入克隆的目录（如果是其他模型，注意替换这个目录）
cd chatglm3-6b
# 在新的克隆中获取所有的二进制文件
git lfs pull
# 重新设置 smudge
git lfs install --force

构建镜像¶

创建 Dockerfile¶

创建一个名为Dockerfile的文件，并粘贴以下内容。确保根据实际需求设置MODEL_NAME。

# 基于vllm/vllm-openai:v0.4.1构建
FROM vllm/vllm-openai:v0.4.1

# 安装Python包
RUN pip install tiktoken

# 复制模型到容器
COPY . /data

# 使用shell形式的CMD
ENTRYPOINT ["python3", "-m", "vllm.entrypoints.openai.api_server", "--model", "/data", "--trust-remote-code"]

构建 Docker 镜像¶

构建 Docker 镜像时，示例中使用vllm-openai-tiktoken-chatglm3-6b-server作为镜像名称， /data/chatglm3-6b/Dockerfile 是上面的 Dockerfile 文件位置， /data/llms/chatglm3-6b 是下载的大模型文件的目录。

docker build -t vllm-openai-tiktoken-chatglm3-6b-server:v2.0.1 -f /data/chatglm3-6b/Dockerfile /data/llms/chatglm3-6b

为了减小镜像大小，确保 .dockerignore 文件在 /data/llms/chatglm3-6b 目录中，并且其中包含需要忽略的文件或目录，如：

.git

推送镜像到自定义 Docker 仓库¶

登录到 Docker 仓库¶

如果要推送到 Docker Hub 或其他私有仓库，请确保已登录到相应的 Docker 仓库。

docker login

对于其他仓库，例如 Google Container Registry 或 Amazon ECR，需要根据其文档指引进行登录和身份验证。

配置镜像标签¶

在推送镜像之前，将镜像标签配置为目标仓库地址。以下示例使用自定义的私有仓库地址：

# 假设你的仓库地址是 myregistry.example.com
docker tag vllm-openai-tiktoken-chatglm3-6b-server myregistry.example.com/vllm-openai-tiktoken-chatglm3-6b-server

推送镜像到仓库¶

将镜像推送到目标仓库：

docker push myregistry.example.com/vllm-openai-tiktoken-chatglm3-6b-server

验证推送成功¶

确认推送成功后，可以在 Docker 仓库的仪表盘上查看已推送的镜像。

使用挂载模型文件的方式接入模型¶

步骤 1：将模型文件上传到 MinIO¶

1. 克隆模型文件到主机 将模型文件复制或克隆到任意一台可访问 MinIO 的主机上。

2. 下载 mc 客户端工具
   运行以下命令下载 MinIO 客户端工具 mc：

   curl https://dl.min.io/client/mc/release/linux-amd64/mc \
     --create-dirs \
     -o $HOME/minio-binaries/mc
   
   chmod +x $HOME/minio-binaries/mc
   export PATH=$PATH:$HOME/minio-binaries/
   mc --help
   

3. 登录 MinIO 使用以下命令配置 MinIO 连接信息：

   mc alias set ALIAS HOSTNAME ACCESS_KEY SECRET_KEY
   

   • ALIAS：自定义 MinIO 名称，用于后续操作
   • HOSTNAME：MinIO 服务地址（例如：http://10.33.2.23:31372）
   • ACCESS_KEY：MinIO 用户名
   • SECRET_KEY：MinIO 密码

   示例：

   mc alias set myminio http://10.33.2.23:31372 minio minio123456
   

4. 推送文件到 MinIO

   • 创建 Bucket：

     mc mb myminio/llms
     

     如果 Bucket 已存在，可以通过 mc ls myminio 检查是否存在。

   • 上传模型文件：

     以 chatglm3-6b 为例：

     bash mc cp chatglm3-6b myminio/llms --recursive

步骤 2：在模型中心加载模型¶

1. 进入模型中心
   在 DAK 的模型中心选择“接入模型”。

2. 选择模型加载方式为“文件挂载”

3. 选择基础镜像和填写模型路径
   模型路径按照模型所在工作节点的挂载目录填写。例如，chatglm3-6b 模型挂载后的路径为：

   /root/llms/chatglm3-6b
   

   

4. 提交模型路径配置
   现在，模型已经成功加载，模型中心会从挂载目录中获取文件进行使用。