許多企業(yè)（OpenAI、AI21、CoHere 等）正在提供 LLM 作為服務(wù)，因?yàn)樗鼈冊(cè)谏虡I(yè)、科學(xué)和金融環(huán)境中具有誘人的潛力。雖然 GPT-4 和其他 LLM 在諸如問(wèn)答等任務(wù)上展示了破紀(jì)錄的性能，但它們?cè)诟咄掏铝繎?yīng)用程序中的使用可能會(huì)非常昂貴。例如，使用 GPT-4 協(xié)助客戶(hù)服務(wù)可能會(huì)使小型企業(yè)每月花費(fèi)超過(guò) 21,000 美元，而 ChatGPT 預(yù)計(jì)每天花費(fèi)超過(guò) 700,000 美元。使用最大的 LLM 需要付出高昂的貨幣代價(jià)，并對(duì)環(huán)境和社會(huì)產(chǎn)生嚴(yán)重的負(fù)面影響。

研究表明，許多 LLM 可以通過(guò) API 以各種定價(jià)獲得。使用 LLM API 的成本通常分為三個(gè)部分：

提示成本（與提示的持續(xù)時(shí)間成比例）
生成成本（與生成長(zhǎng)度成比例）
每個(gè)問(wèn)題的固定費(fèi)用。
鑒于價(jià)格和質(zhì)量的廣泛差異，從業(yè)者可能很難決定如何最好地使用所有可用的 LLM 工具。此外，如果服務(wù)中斷，則依賴(lài)單個(gè) API 提供者是不可靠的，這可能發(fā)生在意外高需求的情況下。

上傳失敗，網(wǎng)絡(luò)異常。

重試

當(dāng)前模型級(jí)聯(lián)和 FrugalML 等模型集成范例未考慮 LLM 的局限性，這些范例是為具有固定標(biāo)簽集的預(yù)測(cè)任務(wù)開(kāi)發(fā)的。

斯坦福大學(xué)最近的研究提出了一個(gè)名為 FrugalGPT 的預(yù)算友好型框架的概念，它利用 LLM API 來(lái)處理自然語(yǔ)言查詢(xún)。

及時(shí)適應(yīng)、LLM 近似和 LLM 級(jí)聯(lián)是降低成本的三種主要方法。為了節(jié)省開(kāi)支，提示適應(yīng)調(diào)查了確定哪些提示最有效的方法。通過(guò)近似復(fù)雜且昂貴的 LLM，可以開(kāi)發(fā)更簡(jiǎn)單且更具成本效益的替代方案，其性能與原始方案一樣好。 LLM 級(jí)聯(lián)的關(guān)鍵思想是為各種查詢(xún)動(dòng)態(tài)選擇合適的 LLM API。

實(shí)施并評(píng)估了基于 LLM 級(jí)聯(lián)構(gòu)建的 FrugalGPT 基本版本，以展示這些想法的潛力。對(duì)于每個(gè)數(shù)據(jù)集和任務(wù)，F(xiàn)rugalGPT 學(xué)習(xí)如何自適應(yīng)地將數(shù)據(jù)集中的問(wèn)題分類(lèi)到 LLM 的各種組合，例如 ChatGPT、GPT-3 和 GPT-4。與最好的單個(gè) LLM API 相比，F(xiàn)rugalGPT 節(jié)省了高達(dá) 98% 的推理成本，同時(shí)在下游任務(wù)上保持相同的性能。另一方面，F(xiàn)rugalGPT 可以以相同的價(jià)格實(shí)現(xiàn)高達(dá) 4% 的性能提升。

FrugalGPT 的 LLM 級(jí)聯(lián)技術(shù)需要對(duì)標(biāo)記示例進(jìn)行訓(xùn)練。此外，為了使級(jí)聯(lián)有效，訓(xùn)練和測(cè)試示例應(yīng)該具有相同或相似的分布。此外，掌握LLM級(jí)聯(lián)也需要時(shí)間和精力。

FrugalGPT 尋求性能和成本之間的平衡，但其他因素，包括延遲、公平性、隱私和環(huán)境影響，在實(shí)踐中更為重要。該團(tuán)隊(duì)認(rèn)為，未來(lái)的研究應(yīng)側(cè)重于在不犧牲性能或成本效益的情況下將這些功能納入優(yōu)化方法。 LLM 生成的結(jié)果的不確定性也需要仔細(xì)量化以用于風(fēng)險(xiǎn)關(guān)鍵型應(yīng)用。