LORA|Omini-Kontext的配置-平芜编程栈

Omini-kontext的Lora配置太庞大了

target_modules = "(.*x_embedder|" # 输入嵌入层 ".*transformer_blocks\\.[0-9]+\\.(norm|norm1)\\.linear|" # 所有Norm层的linear ".*transformer_blocks\\.[0-9]+\\.attn\\.(to_k|to_q|to_v|to_add_out)|" # Attention的QKV ".*transformer_blocks\\.[0-9]+\\.attn\\.to_out\\.0|" # Attention输出投影 ".*single_transformer_blocks\\.[0-9]+\\.attn\\.to_out|" # 单块Attention输出 ".*single_transformer_blocks\\.[0-9]+\\.(proj_mlp|proj_out)|" # 单块MLP投影 ".*(?<!single_)transformer_blocks\\.[0-9]+\\.ff\\.net\\.2|" # FFN第二层 ".*(?<!single_)transformer_blocks\\.[0-9]+\\.ff\\.net\\.0\\.proj|" # FFN第一层投影 ".*(?<!single_)transformer_blocks\\.[0-9]+\\.norm1_context\\.linear|" # 上下文Norm ".*(?<!single_)transformer_blocks\\.[0-9]+\\.ff_context\\.net\\.0\\.proj|" # 上下文FFN投影 ".*(?<!single_)transformer_blocks\\.[0-9]+\\.ff_context\\.net\\.2|" # 上下文FFN第二层 ".*(?<!single_)transformer_blocks\\.[0-9]+\\.attn\\.(to_add_out|add_k_proj|add_q_proj|add_v_proj))" # 额外Attention

这个配置覆盖了：

✅x_embedder（输入嵌入）
✅所有norm层的linear（太多了！）
✅所有attention的QKV+输出
✅所有FFN层的投影
✅所有context相关的层
✅所有single_transformer_blocks

总计可能添加了数百个LoRA层！

BBDown全功能指南：打造个人视频资源库的终极利器

BBDown全功能指南：打造个人视频资源库的终极利器【免费下载链接】BBDown Bilibili Downloader. 一款命令行式哔哩哔哩下载器. 项目地址: https://gitcode.com/gh_mirrors/bb/BBDown 在数字内容爆炸的时代，如何高效保存和管理优质视频资源成为众多…

李华

终极指南：3分钟掌握Vue3低代码平台，让开发效率飙升500%

终极指南：3分钟掌握Vue3低代码平台，让开发效率飙升500% 【免费下载链接】vite-vue3-lowcode vue3.x vite2.x vant element-plus H5移动端低代码平台 lowcode 可视化拖拽可视化编辑器 visual editor 类似易企秀的H5制作、建站工具、可视化搭建工具 …