评审部分

评审因素

评分细则

权重（%）

分值（分）

一

技术部分（合计70分）

5

演示

投标人需以公有云AI开发平台作为演示环境，并满足如下功能：

1、资源要求：

1）高性能GPU计算资源：1台 A100*8卡，要求单卡显存不低于80G；

2）测试数据：使用 lambdalabs/pokemon-blip-captions（下载地址：https://huggingface.co/datasets/lambdalabs/pokemon-blip-captions） 全量数据作为训练数据；

3）网络带宽：80Gbit/s。

2、测试场景：

单机 stable diffusion模型预训练

1）代码要求：须基于stable diffusion开源原始代码作为基线模型代码（下载地址：https://github.com/huggingface/diffusers/blob/main/examples/text_to_image/train_text_to_image.py）进行模型训练性能测试

2）模型配置：须基于基线模型使用 CompVis/stable-diffusion-v1-4（下载地址：https://huggingface.co/CompVis/stable-diffusion-v1-4/tree/main）进行模型配置，不得修改参数量级，模型全部组件均需实时参与计算，UNet 需要全部参数参与前向与反向计算；

3）数据集须基于 lambdalabs/pokemon-blip-captions（下载地址：https://huggingface.co/datasets/lambdalabs/pokemon-blip-captions） 全量数据作为训练，最终总训练样本数为数据集大小 （833）*  num_train_epochs 100 = 83300个；

4）模型优化要求：用户不能修改模型结构，但可以对模型的计算和通信效率做优化。在模型优化和数据加载以外不能修改原有的训练流程；模型输入数据维度为 [batch_size, 3, 512, 512]，训练完成后，需要支持使用 StableDiffusionPipeline 生成分辨率为 512x512 像素的图片；

5）测试框架：基础镜像基于 NVIDIA：nvcr.io/nvidia/pytorch:22.06-py3，NVIDIA 驱动须不低于470版本；

6）训练时间：要求计算 num_train_epochs 等于 100 轮的整体训练时间。

评分标准：

在满足以上测试标准的基础上（如不按照招标文件要求的测试标准进行测试的，演示不得分），以原始代码测试参考数据作为基线，对比端到端运行时间，根据投标人POC测试的端到端时间长短进行排序评审（时间越短，得分越高）：

（1）第一名：得100分

（2）第二名：得60分

（3）第三名：得30分

（4）第四名：得5分

（5）其他情况或不提供演示的不得分

注：

（一）投标人现场演示资源要求、测试场景，保证跟演示项目的要求一致：

1、投标人针对功能点的“1、资源要求及2、测试场景”提供满足要求的承诺函（格式自拟）；演示时针对“1、资源要求”中的第1）点、第3）点及“2、测试场景”中的第2）点提供满足要求的GPU计算资源、模型配置的平台界面。

2、投标人针对“2、测试场景”投标时提供可复现的代码zip压缩包，并给出相比原版代码（原版代码下载地址:https://github.com/huggingface/diffusers/blob/main/examples/text_to_image/train_text_to_image.py）的改动点说明。

3、未提供材料或提供的材料不满足要求的，整项不得分。

（二）演示时间：不得超过15分钟

（三）演示顺序：按投标人递交投标文件的签到顺序。

（四）投标人应在本项目开标前完成演示内容的测试结果，评标现场以实际系统动态演示测试结果，因现场无法按时完成演示,作相应不得分处理。

（五）原则上所有投标人应该来投标现场进行演示，若因疫情原因无法到评标现场的投标人可采取线上演示，采购代理机构将会在投标当天将腾讯会议码以邮件的方式发送给投标人，投标人自行备齐设备，以保证演示顺利进行

（六）投标人如参加线上演示须提供授权函（格式自拟）。

15

15