在醫(yī)療AI領(lǐng)域，選擇合適的底層模型對于應(yīng)用的成功至關(guān)重要。作者在本文分享了為什么在醫(yī)療AI應(yīng)用中選擇Qwen模型，而不是其他如百川智能或llama模型的原因。

Qwen2，上線僅1天，下載量已經(jīng)超過3萬次。而且最近使用率一直飆升，隨著AI應(yīng)用的落地?cái)?shù)據(jù)應(yīng)該還會比現(xiàn)在多幾百倍，未來的使用率這些也會是個不小的數(shù)據(jù)。不過即便這樣，大模型目前能賺的錢也不會太多，其根本原因是大類應(yīng)用還沒出現(xiàn)。

話說回來，同樣在醫(yī)療領(lǐng)域?yàn)槭裁床贿x擇百川智能或者llama來做我們的底層模型。

在我們初期選定技術(shù)方案的時候是有考慮過Llama405B來做的，我們也嘗試過用這個快速做了一個MVP的前期產(chǎn)品，出現(xiàn)的BUG率還蠻多的，偶爾還有很多妖魔鬼怪的問題出現(xiàn)，有的時候并不是技術(shù)上面的問題，也有可能是我們技術(shù)團(tuán)隊(duì)的問題。

第二個原因就是Llama對中文的語義分析有歧義。

而Qwen2對于醫(yī)療類的AIagent來說可以用其超大規(guī)模的算力和多輪交互能力，為用戶提供邏輯推理和代碼編寫的強(qiáng)大支持。最主要能快速的理解我們國內(nèi)的一些真實(shí)場景。

那么對比Baichuan，擅長跨領(lǐng)域知識融合與自然語言理解，為用戶提供全面的知識問答和信息整合服務(wù)。更多的場景應(yīng)該是選擇導(dǎo)診和問診方面的，解決一些深化的醫(yī)療問題。

第三個原因是我們目前面對的場景一般是數(shù)據(jù)不出庫的情況下，并且要求私有化部署的商業(yè)化應(yīng)用。Qwen2開源許可都換成了Apache 2.0，也就是說可以更加自由地商用。這是Llama 3系列都沒做到的。

第四個原因是他們的開源 RAG 和代理框架QwenAgent，最初是作為內(nèi)部實(shí)用程序代碼來促進(jìn)模型開發(fā)的，最近經(jīng)歷了快速開發(fā)。他們已經(jīng)在框架中發(fā)布了上述長上下文代理的實(shí)現(xiàn)。

這種友好的框架是我們解決RAG幻覺問題很好的基礎(chǔ)。

雖然Baichuan也有很好的RAG方案，百川自研的 Think Step-Further方法對原始用戶輸入的復(fù)雜問題進(jìn)行拆解、拓展，挖掘用戶更深層次的子問題，借助子問題檢索效果更高的特點(diǎn)來解決復(fù)雜問題檢索質(zhì)量偏差的問題。用到的是Query拓展，Query拓展按照我的理解會影響回答的速度，按道理是需要經(jīng)過幾次分類模型和分析模型的，目前使用雖然沒有影響回答速度，畢竟我還在測試這里面的優(yōu)化邏輯，等我研究出來再告訴大家。

對于我們這種項(xiàng)目來說多種RAG方案我們肯定選擇最容易解決問題的那一個，而我們團(tuán)隊(duì)中有人是擅長知識圖譜的，所以我們還是選擇了QwenAgent的框架畢竟開源。

第五個原因，嗯，說句可能被打臉的。

我認(rèn)為Qwen的商業(yè)模式跟我們發(fā)展路線其實(shí)是一致的，可以共同成長。后續(xù)對我們最有幫助的點(diǎn)是一個重要的理論工具是Scaling Law，它而可以幫助我們理解和預(yù)測大模型的性能表現(xiàn)，并指導(dǎo)我們在模型設(shè)計(jì)和訓(xùn)練中做出更合理的決策。Scaling Law一定Agent里面核心的一環(huán)，推理邏輯的強(qiáng)大對工作流來說可以幫助穩(wěn)定其主要的輸出。

三個月創(chuàng)業(yè)來，我第一次有謹(jǐn)慎樂觀的感覺。我的現(xiàn)在開始有點(diǎn)講道理了，至少會推理出醫(yī)生需要的是什么工作流了需要幫他干什么了，但是現(xiàn)在還是不會干。很多人以為AiAgent就是單純的調(diào)用API，Agent有提示詞可以對細(xì)分領(lǐng)域或者任務(wù)進(jìn)行處理，按照接口對接程序中寫好提示詞不也是一樣的嗎？如果是這樣理解的話，咱們做個腳本就可以了。

這種方法我們一般用在發(fā)布會上，比如演示Demo的時候失敗了，立馬換一個寫死的程序，能演示。但我們做的是一款產(chǎn)品，它需要不斷的對醫(yī)生工作流思維進(jìn)行交互，如果操作過autogen的話，就很容易明白這里面的區(qū)別了，區(qū)別是這里無法形成多代理。

看起來做醫(yī)療類的AIAgent似乎成了大佬們的一個共識，就是不知道這個共識是否能星火燎原。