衡阳派盒市场营销有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深度學習自然語言處理

文章:837 被閱讀:214w 粉絲數(shù):43 關注數(shù):0 點贊數(shù):5

廣告

高效大模型的推理綜述

大模型由于其在各種任務中的出色表現(xiàn)而引起了廣泛的關注。然而,大模型推理的大量計算和內存需求對其在資源....
的頭像 深度學習自然語言處理 發(fā)表于 11-15 11:45 ?572次閱讀
高效大模型的推理綜述

什么是RAG,RAG學習和實踐經驗

高級的RAG能很大程度優(yōu)化原始RAG的問題,在索引、檢索和生成上都有更多精細的優(yōu)化,主要的優(yōu)化點會集....
的頭像 深度學習自然語言處理 發(fā)表于 04-24 09:17 ?1095次閱讀
什么是RAG,RAG學習和實踐經驗

MOE與MOT:提升LLM效能的關鍵策略比較

MoE 與 MoT:在專家混合中(左),每個令牌都被路由到不同的專家前饋層。在令牌混合(右)中,每組....
的頭像 深度學習自然語言處理 發(fā)表于 04-15 09:53 ?972次閱讀
MOE與MOT:提升LLM效能的關鍵策略比較

基于雙級優(yōu)化(BLO)的消除過擬合的微調方法

這篇論文試圖解決的問題是大型預訓練模型在下游任務中進行微調時出現(xiàn)的過擬合問題。盡管低秩適應(LoRA....
的頭像 深度學習自然語言處理 發(fā)表于 04-02 16:46 ?747次閱讀
基于雙級優(yōu)化(BLO)的消除過擬合的微調方法

自然語言常用的自回歸解碼方法

在選擇k值時,較大的值會使生成的內容更具多樣性,但可能會生成不合理的內容;較小的值則使生成的內容多樣....
的頭像 深度學習自然語言處理 發(fā)表于 03-28 10:51 ?853次閱讀
自然語言常用的自回歸解碼方法

斯坦福繼Flash Attention V1和V2又推出Flash Decoding

斯坦福大學此前提出的FlashAttention算法,能夠在BERT-large訓練中節(jié)省15%,將....
的頭像 深度學習自然語言處理 發(fā)表于 03-13 15:23 ?839次閱讀

大模型微調開源項目全流程

對于所有“基座”(Base)模型,–template 參數(shù)可以是 default, alpaca, ....
的頭像 深度學習自然語言處理 發(fā)表于 03-13 14:56 ?982次閱讀
大模型微調開源項目全流程

聊一聊Transformer中的FFN

NLP上估計會幫助reduce overfitting, improve generalizatio....
的頭像 深度學習自然語言處理 發(fā)表于 03-13 11:41 ?1727次閱讀
聊一聊Transformer中的FFN

LLM中的大規(guī)模激活

篇論文主要研究了大型語言模型(LLMs)中的一個現(xiàn)象,即在模型的隱藏狀態(tài)中存在極少數(shù)激活值(acti....
的頭像 深度學習自然語言處理 發(fā)表于 03-01 11:38 ?620次閱讀
LLM中的大規(guī)模激活

利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統(tǒng)(下)

對于語言模型(LLM)幻覺,知識圖譜被證明優(yōu)于向量數(shù)據(jù)庫。知識圖譜提供更準確、多樣化、有趣、邏輯和一....
的頭像 深度學習自然語言處理 發(fā)表于 02-22 14:13 ?1314次閱讀
利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統(tǒng)(下)

利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統(tǒng)(上)

向量數(shù)據(jù)庫是一組高維向量的集合,用于表示實體或概念,例如單詞、短語或文檔。向量數(shù)據(jù)庫可以根據(jù)實體或概....
的頭像 深度學習自然語言處理 發(fā)表于 02-22 14:07 ?1228次閱讀
利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統(tǒng)(上)

LLaMA 2是什么?LLaMA 2背后的研究工作

Meta 發(fā)布的 LLaMA 2,是新的 sota 開源大型語言模型 (LLM)。LLaMA 2 代....
的頭像 深度學習自然語言處理 發(fā)表于 02-21 16:00 ?1226次閱讀

大模型系列:Flash Attention V2整體運作流程

基于1.1中的思想,我們在V2中將原本的內外循環(huán)置換了位置(示意圖就不畫了,基本可以對比V1示意圖想....
的頭像 深度學習自然語言處理 發(fā)表于 02-21 11:38 ?2154次閱讀
大模型系列:Flash Attention V2整體運作流程

開發(fā)RAG管道過程中的12個痛點

準確解釋用戶查詢以檢索相關的結構化數(shù)據(jù)是困難的,特別是在面對復雜或模糊的查詢、不靈活的文本到SQL轉....
的頭像 深度學習自然語言處理 發(fā)表于 02-21 11:30 ?741次閱讀
開發(fā)RAG管道過程中的12個痛點

聊聊小公司如何做大模型

通過SFT、DPO、RLHF等技術訓練了領域寫作模型。實測下來,在該領域寫作上,強于國內大多數(shù)的閉源....
的頭像 深度學習自然語言處理 發(fā)表于 02-21 11:28 ?713次閱讀

小紅書搜索團隊研究新框架:負樣本在大模型蒸餾中的重要性

在思維鏈(CoT)提示的幫助下,大語言模型(LLMs)展現(xiàn)出強大的推理能力。然而,思維鏈已被證明是千....
的頭像 深度學習自然語言處理 發(fā)表于 01-30 10:37 ?1114次閱讀
小紅書搜索團隊研究新框架:負樣本在大模型蒸餾中的重要性

LLM推理加速新范式!推測解碼(Speculative Decoding)最新綜述

這個問題隨著LLM規(guī)模的增大愈發(fā)嚴重。并且,如下左圖所示,目前LLM常用的自回歸解碼(autoreg....
的頭像 深度學習自然語言處理 發(fā)表于 01-29 15:54 ?3146次閱讀
LLM推理加速新范式!推測解碼(Speculative Decoding)最新綜述

大模型微調實踐心得與認知深化

.通常CPT開始的階段會出現(xiàn)一段時間的loss上升,隨后慢慢收斂,所以學習率是一個很重要的參數(shù),這很....
的頭像 深度學習自然語言處理 發(fā)表于 01-24 10:46 ?1466次閱讀

大語言模型事實性幻象的實驗性分析

盡管大語言模型能力不斷提升,但一個持續(xù)存在的挑戰(zhàn)是它們具有產生幻象的傾向。本文構建了幻象評測基準Ha....
的頭像 深度學習自然語言處理 發(fā)表于 01-19 11:19 ?537次閱讀
大語言模型事實性幻象的實驗性分析

深入了解RAG技術

這是任何RAG流程的最后一步——基于我們仔細檢索的所有上下文和初始用戶查詢生成答案。最簡單的方法可能....
的頭像 深度學習自然語言處理 發(fā)表于 01-17 11:36 ?3398次閱讀
深入了解RAG技術

什么是多模態(tài)?多模態(tài)的難題是什么?

單模態(tài)大模型,通常大于100M~1B參數(shù)。具有較強的通用性,比如對圖片中任意物體進行分割,或者生成任....
的頭像 深度學習自然語言處理 發(fā)表于 01-17 10:03 ?4791次閱讀
什么是多模態(tài)?多模態(tài)的難題是什么?

如何從訓練集中生成候選prompt 三種生成候選prompt的方式

這個“gradient”怎么得到的了呢,這是個啥玩意,怎么還有梯度?注意,注意。人家是帶引號的!比喻....
的頭像 深度學習自然語言處理 發(fā)表于 01-12 11:29 ?1138次閱讀
如何從訓練集中生成候選prompt 三種生成候選prompt的方式

大模型訓練loss突刺原因和解決辦法

PaLM和GLM130b之前的解決辦法是找到loss spike之前最近的checkpoint,更換....
的頭像 深度學習自然語言處理 發(fā)表于 01-09 14:20 ?1431次閱讀
大模型訓練loss突刺原因和解決辦法

一文解析PPO算法原理

Reward Model的初始化:6B的GPT-3模型在多個公開數(shù)據(jù)((ARC, BoolQ, Co....
的頭像 深度學習自然語言處理 發(fā)表于 01-09 12:12 ?6064次閱讀
一文解析PPO算法原理

深入淺出理解PagedAttention CUDA實現(xiàn)

vLLM 中,LLM 推理的 prefill 階段 attention 計算使用第三方庫 xform....
的頭像 深度學習自然語言處理 發(fā)表于 01-09 11:43 ?1999次閱讀
深入淺出理解PagedAttention CUDA實現(xiàn)

視覺模型weak-to-strong的實現(xiàn)

幾天前,OpenAI「超級對齊」(Superalignment)團隊發(fā)布了成立以來的首篇論文,聲稱開....
的頭像 深度學習自然語言處理 發(fā)表于 01-08 11:07 ?493次閱讀
視覺模型weak-to-strong的實現(xiàn)

搜索出生的百川智能大模型RAG爬坑之路總結

今天對百川的RAG方法進行解讀,百川智能具有深厚的搜索背景,來看看他們是怎么爬RAG的坑的吧~
的頭像 深度學習自然語言處理 發(fā)表于 01-05 15:02 ?1580次閱讀
搜索出生的百川智能大模型RAG爬坑之路總結

8x7B MoE與Flash Attention 2結合,不到10行代碼實現(xiàn)快速推理

我們都知道,OpenAI 團隊一直對 GPT-4 的參數(shù)量和訓練細節(jié)守口如瓶。Mistral 8x7....
的頭像 深度學習自然語言處理 發(fā)表于 01-04 16:18 ?729次閱讀
8x7B MoE與Flash Attention 2結合,不到10行代碼實現(xiàn)快速推理

模型與人類的注意力視角下參數(shù)規(guī)模擴大與指令微調對模型語言理解的作用

近期的大語言模型(LLM)在自然語言理解和生成上展現(xiàn)出了接近人類的強大能力,遠遠優(yōu)于先前的BERT等....
的頭像 深度學習自然語言處理 發(fā)表于 01-04 14:06 ?526次閱讀
模型與人類的注意力視角下參數(shù)規(guī)模擴大與指令微調對模型語言理解的作用

大語言模型推斷中的批處理效應

隨著開源預訓練大型語言模型(Large Language Model, LLM )變得更加強大和開放....
的頭像 深度學習自然語言處理 發(fā)表于 01-04 12:32 ?696次閱讀
大語言模型推斷中的批處理效應
沙龙百家乐官网代理| 奇迹百家乐的玩法技巧和规则| 大发888xp缺少casino| 百家乐官网视频游戏世界| 百家乐官网娱乐网备用网址| 百家乐游戏机技| 大发娱乐场下载| 百家乐官网庄闲局部失| 免费百家乐的玩法技巧和规则| 真人百家乐娱乐好玩| 皇冠网| 百家乐好的平台| 516棋牌游戏| 大世界百家乐官网娱乐| 百家乐赌场| 百家乐官网棋牌官网| YY百家乐的玩法技巧和规则 | 菲律宾百家乐官网娱乐| 大发888 casino exe| 百家乐官网棋牌官网| 百家乐贴士介绍| 哪个百家乐官网平台信誉好 | 百家乐官网风云人物| 至尊百家乐奇热网| 隆安县| 百家乐六合彩| 东城区| 百家乐牌桌订做| 乐百家乐官网彩娱乐城| 至尊百家乐吕文婉| 百家乐官网高手技巧| 南京百家乐的玩法技巧和规则| 百家乐官网网站那个好| 百家乐高手看百家乐| 克东县| 百家乐赢率| 百家乐官网最保险的方法| 皇家百家乐的玩法技巧和规则| 网络百家乐官网玩法| 大发888洗码| 百家乐路的看法|