在AI技術(shù)飛速發(fā)展的當(dāng)下，LoRA（Low-Rank Adaptation）模型作為一種新興的微調(diào)技術(shù)，正逐漸成為解鎖智能體創(chuàng)作新體驗(yàn)的“魔法棒”。本文將深入探討LoRA模型在智能體創(chuàng)作中的應(yīng)用實(shí)踐，從項(xiàng)目背景、玩法創(chuàng)新、明確方向到模型訓(xùn)練及落地收益，全方位展示如何通過LoRA提升圖像生成質(zhì)量、精準(zhǔn)表達(dá)提示詞，并確保圖像輸出風(fēng)格的穩(wěn)定性與獨(dú)特性

AIGC工具的出現(xiàn)為整個(gè)設(shè)計(jì)行業(yè)帶來了革命性變化，其強(qiáng)大之處有目共睹。

設(shè)計(jì)師們借助它大大提高了創(chuàng)作效率，同時(shí)它也可以將設(shè)計(jì)師的各種想法化為充滿創(chuàng)意的畫面，讓我們可以將更多精力投入到創(chuàng)意構(gòu)思和細(xì)節(jié)優(yōu)化上。

但目前AI生圖仍存在生成隨機(jī)性強(qiáng)、AI同質(zhì)化嚴(yán)重等問題，為了避免這些負(fù)面影響，我們將訓(xùn)練自有的LoRA模型作為一種解決方案，添加LoRA模型進(jìn)行生圖不僅可以提升圖像生成質(zhì)量、精準(zhǔn)表達(dá)提示詞，也能確保圖像輸出風(fēng)格的穩(wěn)定性與獨(dú)特性。

在通過深入了解并使用LoRA模型后，我們開始思考如何將其與玩法結(jié)合并落地于業(yè)務(wù)的運(yùn)營活動(dòng)中。

一、項(xiàng)目探索

1.項(xiàng)目背景

文小言作為一款A(yù)I原生產(chǎn)品，其中囊括了眾多AI相關(guān)的特色功能。

在已上線的「二十四節(jié)氣-寫詩成畫」智能體中，我們期望文小言能依據(jù)用戶提示詞，創(chuàng)作出與當(dāng)下節(jié)氣相契合的精美藏頭詩海報(bào)，但目前AI在此過程中的參與度稍顯不足，僅參與了藏頭詩部分的生成，節(jié)氣底圖仍依賴設(shè)計(jì)師繪制。

為深度挖掘AI的潛力，我們考慮將LoRA生圖能力落地在智能體的底圖生成中，通過將兩者巧妙結(jié)合，制成精美且充滿意境的國風(fēng)水墨系列海報(bào)，從立春之始，至歲末大寒，讓每一幅海報(bào)都似精美水墨畫卷般緩緩展開。

2.玩法創(chuàng)新

通過LoRA將AI生圖能力落地在「二十四節(jié)氣-寫詩成畫」智能體中，做到快速生成多張相同風(fēng)格的節(jié)氣海報(bào)，同時(shí)也使生成的畫面創(chuàng)意倍增，極大強(qiáng)化玩法的AI屬性與趣味性，提升用戶的生成體驗(yàn)。

另一方面，通過一次性搭建配置平臺(tái)，只需簡單更換節(jié)氣提示詞即可做到節(jié)氣風(fēng)格切換，極大簡化玩法前期配置所需環(huán)節(jié)。

B 端产品经理如何快速成长？

产品与业务架构主要是将整个业务工作流进行分层，梳理，然后抽象出一个个需求，将业务需求与产品合情合理的映射起来，最终使业务数据在产品中流动，执行，记录，使用。

查看详情 >

同時(shí)，該玩法歷經(jīng)長期的更新迭代，已經(jīng)積累了大量優(yōu)質(zhì)的訓(xùn)練集，并形成一套完整的水墨風(fēng)格體系，基本可以滿足節(jié)氣風(fēng)格LoRA的訓(xùn)練所需。

3.明確方向

訓(xùn)練前期，將現(xiàn)有節(jié)氣海報(bào)圖片匯總排列，分析并提煉其共同點(diǎn)和風(fēng)格特征，從而確定了LoRA風(fēng)格訓(xùn)練的幾大方向：

• 保持國風(fēng)水墨風(fēng)格：確保LoRA在圖像生成時(shí)能夠凸顯畫面的意境氛圍和水墨暈染的筆觸，使觀者仿若置身于詩意的山水畫卷之中。
• 強(qiáng)調(diào)畫面上方留白：留白不僅是國風(fēng)水墨畫中凸顯意境的常見藝術(shù)手法，同時(shí)也為藏頭詩的融入提供了相應(yīng)的區(qū)域，二者相輔相成，共同展現(xiàn)出獨(dú)特的藝術(shù)魅力。
• 支持節(jié)氣靈活切換：為確保圖像生成的多樣化體驗(yàn)，需在滿足以上兩點(diǎn)的同時(shí)，實(shí)現(xiàn)單一LoRA模型對(duì)二十四節(jié)氣的靈活適配，這要求我們深入理解四季變換的自然規(guī)律與美學(xué)特征，并制定針對(duì)性訓(xùn)練策略，讓LoRA在生圖時(shí)充分彰顯四季更迭的獨(dú)特魅力。

4.模型訓(xùn)練

在明確了訓(xùn)練方向后，我們正式啟動(dòng)了模型訓(xùn)練流程，遇到問題采取相應(yīng)策略，見招拆招！

1）訓(xùn)練集補(bǔ)全

由于目前已更新的節(jié)氣尚未覆蓋全年二十四節(jié)氣，所以首先需要對(duì)缺失圖集進(jìn)行補(bǔ)全。

我們通過將已有圖集上傳至Midjourney，利用已有圖集墊圖控制生成風(fēng)格，在提示詞方面強(qiáng)調(diào)水墨意境與畫面留白的描述，二者結(jié)合共同引導(dǎo)，快速補(bǔ)全24節(jié)氣缺失圖集。

經(jīng)過多輪生成嘗試得出結(jié)論，關(guān)于景色的描述越簡潔，畫面則越有意境，所以我們借助了文小言的文言文生成能力，得到了簡潔優(yōu)美的畫面提示詞。

2）訓(xùn)練集處理?

由于AI生成具有極強(qiáng)的隨機(jī)性，因此我們?cè)谟?xùn)練集準(zhǔn)備階段，通過PS對(duì)圖像布局進(jìn)行調(diào)整，并根據(jù)訓(xùn)練集畫面提煉對(duì)應(yīng)的描述詞模版，旨在特意強(qiáng)調(diào)畫面中的留白部分。這一操作不僅是為了給藏頭詩預(yù)留區(qū)域，留白同樣也是水墨畫中不可或缺的元素，它不僅能夠賦予畫面呼吸的空間，更能夠凸顯畫面所蘊(yùn)含的深邃意境與無限遐想。

3）訓(xùn)練及成果測(cè)試

通過調(diào)整合適的訓(xùn)練參數(shù)進(jìn)行LoRA訓(xùn)練，多次訓(xùn)練結(jié)果對(duì)比顯示，若是采取將訓(xùn)練集按季節(jié)細(xì)致分類的策略，可以增強(qiáng)模型對(duì)季節(jié)特征的辨識(shí)與學(xué)習(xí)能力，有效避免季節(jié)特征間相互污染，確保LoRA中四季的劃分。

隨后，通過將LoRA結(jié)合大模型進(jìn)行生圖測(cè)試，尋找最佳生圖參數(shù)，并通過總結(jié)高質(zhì)提示詞模版，做到更換季節(jié)、場(chǎng)景描述即可完成高質(zhì)量、高泛化的圖像生成。

4）生圖功能落地

最后我們將生成的圖像與AI藏頭詩巧妙融合，制作出一系列畫面精美、意蘊(yùn)深遠(yuǎn)的節(jié)氣藏頭詩海報(bào)。

這些海報(bào)不僅展示了中國傳統(tǒng)文化的獨(dú)特魅力，還通過現(xiàn)代科技的手段，讓古老的節(jié)氣文化煥發(fā)出新的生機(jī)與活力，更為我們帶來了全新的視覺與心靈享受。

二、落地收益

我們將生圖能力整合落地至「二十四節(jié)氣-寫詩成畫」智能體后，實(shí)現(xiàn)了圖像創(chuàng)作的全AI化，它能夠根據(jù)用戶的個(gè)性化需求，生成豐富多樣的視覺內(nèi)容。這不僅極大吸引了用戶的注意力，還激發(fā)了他們的創(chuàng)意互動(dòng)熱情，為用戶帶來了全新的玩法體驗(yàn)。

這種創(chuàng)新性的運(yùn)營玩法不僅顯著提升了用戶參與度，強(qiáng)化了產(chǎn)品的AI屬性，更在無形中增強(qiáng)了品牌影響力。后續(xù)我們也會(huì)通過不斷優(yōu)化訓(xùn)練集內(nèi)容對(duì)LoRA進(jìn)行版本迭代，在圖像創(chuàng)作領(lǐng)域?yàn)橛脩魩砀玫捏w驗(yàn)。