大模型项目笔记
Fay项目
带货版
部署
1 | Wayne: |
本地大模型方案
1 | rasa+chatglm |
JittorLLMs
1 | 你好,这是Bing。很高兴为你提供帮助。😊 |
常识
1 | CUDA是英伟达(NVIDIA)推出的一种通用并行计算架构,它可以利用GPU的强大计算能力来加速各种应用程序,特别是深度学习等领域123。CUDA提供了一套编程接口,让开发者可以在C/C++等语言中编写GPU核函数,实现数据并行的计算密集型任务24。CUDA还提供了一些数学库,如CUFFT和CUBLAS,以及针对深度卷积神经网络的加速库CUDNN25。如果您想使用CUDA进行GPU编程,您需要安装CUDA工具包,并且确保您的显卡是NVIDIA的支持CUDA的型号 |
1 | PyTorch 是一种基于 Python 的科学计算库,它可以用于构建深度学习模型,特别是在图像识别和自然语言处理等领域有很强的表现123。PyTorch 的特点是使用动态计算图,这意味着可以根据需要随时修改模型的结构和参数2。PyTorch 还提供了丰富的工具和库,支持各种数据处理、可视化、调试、优化等功能1。PyTorch 可以很好地与 Numpy 和其他 Python 库集成,方便开发者使用 Python 语言进行深度学习的开发和研究1。 |
1 | AIGC功能的服务器是指用于支持AIGC技术的服务器,它们通常需要具备高性能的计算能力和存储能力,以处理大量的数据和模型123。AIGC功能的服务器可以分为训练服务器和推理服务器,根据不同的场景和需求,选择不同的硬件配置和软件平台12。 |
内存
1 | 您好,这是Bing。如果您想要通过任务管理器查看您的电脑有多少个内存卡槽,您可以按照以下步骤操作: |
1 | 您好,这是Bing。最大支持容量是指您的电脑主板能够识别和使用的内存容量的上限。也就是说,如果您的电脑最大支持32GB的内存,那么即使您安装了64GB的内存条,也只能用到32GB。1 |
1 | 您好,这是Bing。根据笔记本型号和内存条参数去购买,是指您需要根据您的笔记本电脑的品牌和型号,以及您的内存条的类型、容量、频率等信息,去选择合适的内存条。1 |
1 | 譬如单条内存话可以说是随便插了,两条内存选择插2、4插槽。考虑兼容性问题,最好是同品牌同型号同容量的内存。假如是4G+8G组合一共12G,结果是4G+4G为双通道模式,另外4G为单通道模式,这种情况属于弹性双通模式,也叫做非对称双通模式。除此之外可能还会带来一些兼容性问题,比如蓝屏死机之类的;三条内存的情况,在双通道插法的基础上,第三条再插在第一个槽上,这种情况就是2条内存双通,1条内存单通。这句话的2、4插槽是什么意思 |
命令
1 | 查看显存 cmd + dxdiag |
anaconda
虚拟环境
1 | conda create --name your-env |
1 | conda activate your-env |
1 | conda info -e |
1 | conda remove --name ENVNAME --all |
包管理
1 | conda list |
镜像源
1 | conda config --show channels |
1 | 你可以使用以下命令来设置conda和pip的镜像源: |
回滚env
1 | conda list --revisions |
1 | conda env export > envName.yml |
pip
1 | 如果你没有进入conda环境,使用pip安装的依赖是全局的,会被安装到全局环境中¹²。如果你想要在局部环境中安装依赖,可以使用`pip install --user`命令³。 |
stable diffusion
提示词
1 | 正向提示词 |
1 | 提示词拆分: |
图像尺寸
1 | 画面的信息量取决于输出图片的大小。在全身构图中,一些细节,例如脸部、饰品和复杂的纹样,只有在较大的图像中才能得到充分的展示空间,如图像太小,脸部,手部,一些细节就会被压缩成一团,无法得到充分的表现,以下图的风景为例,当画幅越大时,展示的内容越多。 |

权重
1 | 正如前文所述,词汇在提示中的位置越靠前,其所占的权重就越大。为了进一步调整提示关键词的权重,我们可以通过以下语法来设置关键词的权重:在选中关键词的同时,按下键盘上的 Ctrl+⬆️ ⬇️来快速调整权重。每次调整的权重值为0.1,建议将权重值控制在0.7-1.4之间。简单来说,将每个提示词看作一个独立的个体,权重默认为1,而后面的数值就相当于在修改这个默认值。当然,我们也可以将权重调整为负数,从而在提示中产生与原意相反的影响。通过这种方法,我们可以更加精确地控制提示关键词的权重,以达到更好的提示效果。同时,我们也需要注意保持提示内容的流畅性和自然性,避免过度的修改导致提示内容的语义不连贯或不符合实际情况。 |
提示词相关性
1 | Stable Diffusion 中的提示词相关性指的是输入提示词对生成图像的影响程度。当我们提高提示词相关性时,生成的图像将更符合提示信息的样子;相反,如果提示词相关性较低,对应的权重也较小,则生成的图像会更加随机。因此,通过调整提示词相关性,可以引导模型生成更符合预期的样本,从而提高生成的样本质量。①在具体应用中,对于人物类的提示词,一般将提示词相关性控制在 7-15 之间;②而对于建筑等大场景类的提示词,一般控制在 3-7 左右。这样可以在一定程度上突出随机性,同时又不会影响生成图像的可视化效果。因此,提示词相关性可以帮助我们通过引导模型生成更符合预期的样本,从而提高生成的样本质量。 |
随机种子
1 | 随机种子是一个可以锁定生成图像的初始状态的值。当使用相同的随机种子和其他参数,我们可以生成完全相同的图像。设置随机种子可以增加模型的可比性和可重复性,同时也可以用于调试和优化模型,以观察不同参数对图像的影响。在 Stable Diffusion 中,常用的随机种子有-1 和其他数值。当输入-1 或点击旁边的骰子按钮时,生成的图像是完全随机的,没有任何规律可言。而当输入其他随机数值时,就相当于锁定了随机种子对画面的影响,这样每次生成的图像只会有微小的变化。因此,使用随机种子可以控制生成图像的变化程度,从而更好地探索模型的性能和参数的影响。 |
采样方法
Euler a

1 | Euler a: 20 |
DPM++2S a Karras
1 | DPM++2S a Karras |
DDIM
1 | DDIM |
采样迭代步数
1 | 输出画面需要的步数,每一次采样步数都是在上一次的迭代步骤基础上绘制生成一个新的图片,一般来说采样迭代步数保持在 18-30 左右即可,低的采样步数会导致画面计算不完整,高的采样步数仅在细节处进行优化,对比输出速度得不偿失。 |
模型
Checkpoint 的介绍
1 | 对于模型作者而言,训练模型通常指生成 Checkpoint 文件。这些文件包含了模型参数和优化器状态等信息,是训练过程中定期保存的状态快照。对于使用者而言,可以将 Checkpoint 文件理解为一种风格滤镜,例如油画、漫画、写实风等。通过选择对应的 Checkpoint 文件,您可以将 Stable Diffusion 模型生成的结果转换为您所选择的特定风格。需要注意的是,一些 Checkpoint 文件可能需要与特定的低码率编码器(如 Lora)配合使用,以获得更好的效果。在下载 Checkpoint 文件时,您可以查看相应的模型简介,通常作者会提供相应的文件和说明事项,以帮助您更好地使用和理解该文件。总之,Checkpoint 文件是 Stable Diffusion 模型训练过程中定期保存的状态快照,使用者可以将其理解为一种风格滤镜,用于将模型输出结果转换为特定的风格。在使用 Checkpoint 文件时,需要注意文件的匹配和相应的使用说明。 |
下载
墨幽2.5D_MIX_MoYou2.5D_MIX

1 | qq群号:858495398 (刚建群,现在加入就是元老哦) |
https://www.liblibai.com/modelinfo/f10bf7fb091cb29ecc9fd89d0482646e
情景描述
1 | prompt:1girl,moyou,realistic,masterpiece, best quality, black hair, against backlight at dusk, cityscape, blue hairband, goggles, earrings, shackles, fingerless_gloves, necklace |
1 | prompt:1girl,moyou,realistic,Moderatechest, |
正面词
1 | <lora:唯美_Mr_MC_R-WM_V1.2_R-WM_V1.2:0.45>,1girl,Mr_MC_R-WM_V1,brown hair, looking at viewer, scarf, long hair,Thin,slim figure,blurry, outdoors, pink scarf, lips, upper body, blurry background, earrings, jewelry, bangs, solo focus, day, closed mouth, solo, winter clothes, long sleeves, sweater, depth of field, realistic, coat, green eyes, blush, wind |
1 | prompt:Mr_MC_R-WM_V1,<lora:Mr_MC_R-WM_V1.2:0.8>,1girl,long hair,solo,floating hair,upper body,Big bust,sleeveless,parted lips,red lips,lips,pink hair,turtleneck,bare shoulders,(flower),eyelashes,<lora:detailia_yiu_v20:0.2>, |
1 | Mr_MC_R-WM_V1, <lora:Mr_MC_R-WM_V1.2:0.8>,1girl, long hair, solo, floating hair, closed eyes, upper body, sleeveless, parted lips, red lips, lips, pink hair, turtleneck, bare shoulders, (flower), eyelashes |
1 | <lora:Mr_MC_R-WM_V1:1>,1girl,Mr_MC_R-WM_V1,brown hair, looking at viewer, scarf, long hair, blurry, outdoors, pink scarf, lips, upper body, blurry background, earrings, jewelry, bangs, solo focus, day, closed mouth, solo, winter clothes, long sleeves, sweater, depth of field, realistic, coat, green eyes, blush, wind |
1 | Mr_MC_R-WM_V1, <lora:Mr_MC_R-WM_V1.2:0.87>,1girl, brown hair, looking at viewer, long hair, solo, outdoors, blurry, scarf, lips, upper body, day, sweater, blurry background, bangs, earrings, closed mouth, winter clothes, jewelry, pink scarf, green eyes, building, long sleeves, depth of field, realistic, winter, coat |
负面词
1 | digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry,Black background,Long Neck,(narrow shoulder:1.1),Cock-eye,EasyNegative,Neck forward |
CMixS_v1.0.ckpt

1 | 模型介绍:欢迎使用CMix-S模型 - 这是一个古典/未来科幻风格模型,也可以说是一个具有2.5D质感的细腻画风模型,具有2.5D的质感。 |
正面词
负面词(模型要求第一个)
1 | (((simple background))),monochrome ,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres, bad anatomy, bad hands, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual, hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions, (((missing arms))),(((missing legs))), (((extra arms))),(((extra legs))),pubic hair, plump,bad legs,error legs,username,blurry,bad feet |
本地位置

VAE 的介绍
1 | 可以将 VAE 理解为对模型的滤镜加微调,不同的 VAE 可能有一些细节上的差异,但不会影响输出的效果。 |
embedding 的介绍
1 | 如果你有做过 UI 的经验,那么你应该知道组件的概念。在 Stable Diffusion 中,embedding 技术就可以被理解为一种组件,它可以将输入数据转换成向量表示,方便模型进行处理和生成。举个例子,如果我们想要生成一个开心的皮卡丘,通常需要输入很多描述词,如黄毛、老鼠、长耳朵、腮红等等。但是,如果引入皮卡丘的 embedding,我们只需要输入两个词:皮卡丘和开心。皮卡丘的 embedding 打包了所有皮卡丘的特征描述,这样我们就不用每次输入很多单词来控制生成的画面了。在日常使用中,embedding 技术通常用于控制人物的动作和特征,或者生成特定的画风。相比于其他模型(如 LORA),embedding 的大小只有几十 KB,而不是几百兆或几 GB,除了还原度对比 lora 差一些但在存储和使用上更加方便。总之,embedding 技术将输入数据转换为向量表示,为模型的处理和生成提供了便利。通过使用 embedding,我们可以更加轻松地生成符合预期的样本,而不需要手动输入大量的描述词汇。 |
LORA 的介绍
1 | LORA 与 embedding 在本质上类似,因为携带着大量的训练数据,所以 LORA 对人物和细节特征的复刻更加细腻使用技巧:通常来说,每个 LORA 模型都有对应的底膜和触发词汇。我们可以查看 LORA 作者产出的相关图片,从中获取模型信息,并从中选择一些提示词和排除词来指定生成图像的方向。需要注意的是,每个 LORA 模型对输出图像的权重设置是非常重要的。权重设置越大,对画面的影响因素就越浅。通常情况下,权重应该控制在 0.7-1 之间。如果权重过高,会大幅度影响出图的质量。为了获得最佳效果,我们可以根据不同的 LORA 模型选择适当的提示词和排除词,并在设置权重时进行调整。同时,我们还可以参考其他作者的经验和技巧,以便更好地利用 LORA 生成图像。 |
下载
唯美_Mr_MC_R-WM_V1.2_R-WM_V1.2
科幻Q版机甲少年

1 | -模型简介:科幻Q版3D风格,适合生成男孩、女孩及机器人。 |
全息故障_Holographic_Fault_v1.0
1 | 眼部容易出问题,需要开启面部修复 |
图生图
无损放大图像和缩小图像
https://blog.csdn.net/qq_20288327/article/details/131439726
hires.fix高分辨率修复
1 | 在生成图片时,可选择使用hires.fix高分辨率修复功能,该功能会将生成图片的尺寸从512×512调整至1024×1024,然而这可能会降低出图的速度。 |

extras附加功能
1 | 这里更为推荐的是使用extras附加功能。选择菜单栏中的extras,然后上传图片或者在生成图片后,点击右下角的send to extras即可。 |

1 | 图片会直接移动到Single Image下。 |

1 | 在Scale by多选框中,提供了多种无损放大算法,例如Lanczos、Nearest、4x-UltraSharp、LDSR、R-ESRGAN 4x+、R-ESRGAN 4x+ Anime6B、SwinlR 4x等。这些算法有各自的特点和适用场景: |
放大功能
R-ESRGAN 4x+
1 | 一般情况下选择R-ESRGAN 4x+即可满足大多数需求。 |
1 | 对于人物脸部图片,可以考虑选用CodeFormer和GFPGAN。这两个选项能修复人脸图片的一些问题,如GFPGAN可以软化修复眼睛。 |

CodeFormer和GFPGAN
1 | 下面是4K有使用和无使用CodeFormer和GFPGAN的对比。 |

1 | 同理除了放大之外有时也需要缩放功能,点击选项卡Scale to即可,操作和放大是一样的。 |
