Hugging Face 博客

摘要： 視頻地址：https://www.bilibili.com/video/BV1eg4y1Q7N5/ 是未來危機，還是眼下的問題？🌍 Sasha Luccioni 是 Hugging Face 團隊的道德和可持續人工智能研究員，被邀請做了 TED 演講 📢 演講主題也是最近在 AI 倫理道德方面的 閱讀全文

摘要： 引言 基于 transformer 的模型已被證明對很多 NLP 任務都非常有用。然而，\(O(n^2)\) 的時間和內存復雜度 (其中 \(n\) 是序列長度) 使得在長序列 (\(n > 512\)) 上應用它們變得非常昂貴，因而大大限制了其應用。最近的幾篇論文，如 Longformer 、Pe 閱讀全文

摘要： LCM 模型 通過將原始模型蒸餾為另一個需要更少步數 (4 到 8 步，而不是原來的 25 到 50 步) 的版本以減少用 Stable Diffusion (或 SDXL) 生成圖像所需的步數。蒸餾是一種訓練過程，其主要思想是嘗試用一個新模型來復制源模型的輸出。蒸餾后的模型要么尺寸更小 (如 Di 閱讀全文

摘要： 當下，RLHF/ChatGPT 已經變成了一個非常流行的話題。我們正在致力于更多有關 RLHF 的研究，這篇博客嘗試復現 OpenAI 在 2019 年開源的原始 RLHF 代碼庫，其倉庫位置位于 openai/lm-human-preferences。盡管它具有 “tensorflow-1.x” 閱讀全文

摘要： 在編程和軟件開發這個不斷演變的領域中，對效率和生產力的追求催生了許多卓越的創新。其中一個顯著的創新就是代碼生成模型的出現，如 Codex、StarCoder 和 Code Llama。這些模型在生成類似人類編寫的代碼片段方面表現出驚人能力，顯示出了作為編程助手的巨大潛力。 然而，雖然這些預訓練模型在 閱讀全文

摘要： 本文旨在對 transformers 支持的各種量化方案及其優缺點作一個清晰的概述，以助于讀者進行方案選擇。 目前，量化模型有兩個主要的用途: 在較小的設備上進行大模型推理 對量化模型進行適配器微調 到目前為止，transformers 已經集成并 原生 支持了 bitsandbytes 和 aut 閱讀全文

摘要： Hugging Face、Meta、Scaleway 與法國創業孵化基地 STATION F 合作的人工智能創業項目正式啟動 📢🔥 申請截止日期為 12 月 1 日本項目旨在利用開源人工智能的力量來扶持初創公司并推動人工智能創業生態的創新🌪如果你是：👾 一家愿意開發開源模型的人工智能初創企業 閱讀全文

摘要： 最近我們剛剛發布了新的開源模型 Zephry-7B🪁，這個模型的誕生離不開全球三大洲開源社區的協作 ??。 我們的 CSO Thomas 錄了一個視頻介紹了它的起源故事: ? 就在幾個月前，巴黎的一個新團隊發布了他們首個模型: Mistral 7B，這個模型體積小巧但性能強勁，在基準測試中的表現超 閱讀全文

摘要： 眾所周知，LLM 規模龐大，如果在也能消費類硬件中運行或訓練它們將是其親民化的巨大進步。我們之前撰寫的 LLM.int8 博文 展示了我們是如何將 LLM.int8 論文 中的技術通過 bitsandbytes 庫集成到 transformers 中的。在此基礎上，我們不斷努力以不斷降低大模型的準入 閱讀全文

摘要： 我們在 企業版 Hub 服務 方案中推出了 存儲區域（Storage Regions） 功能。 通過此功能，用戶能夠自主決定其組織的模型和數據集的存儲地點，這帶來兩大顯著優勢，接下來的內容會進行簡要介紹： 法規和數據合規，此外還能增強數字主權 性能提升（下載和上傳速度更快，減少延遲） 目前，我們支持 閱讀全文