Posts

DeepSeek R1 究竟在蒸餾什麼？ 這幾天 DeepSeek 新聞太多，搞得不去研究一下好像不好意思說自己有在關注 AI。 翻了下 DeepSeek R1 的論文，我印象最深刻的是它的蒸餾技術，讓原本沒什麼用得小模型也能有了更強的推理能力，我覺得這點對於未來的 On Device AI 推動會有蠻大的幫助的。而且因為是 Open Source，全球很多機構已經開始嘗試復現，未來會釋出更多更好的模型。 在目前 AI 領域中，模型越大通常代表著較強的推理能力，特別是在處理數學、程式碼、科學推理等任務時表現出色。不過，這些超大模型的計算成本極高，一般人很難負擔得起(其實就連中大型公司也沒辦法負擔)。 但是呢，如果透過一個夠強大的語言模型(如本文的重點 R1)來產生高品質的推理數據集，再透過蒸餾技術讓小模型也能擁有類似的推理能力，就能大幅降低運算成本，並且提升小型模型在特定任務上的表現。 來看一下蒸餾小模型的流程： DeepSeek R1：強化學習與多階段優化 DeepSeek R1 是 DeepSeek-AI 團隊開發的推理模型，主要經過三個重要的訓練階段： DeepSeek-R1-Zero（純 RL 訓練）： 透過 純強化學習 訓練，不使用監督微調（Supervised Fine-Tuning, SFT），讓模型自行學習推理能力。 在數學、程式碼與科學推理方面表現出色。 DeepSeek R1（冷啟動 + RL）： 先蒐集 高品質的冷啟動數據 來進行 SFT，提高模型的可讀性與穩定性。 接著進行強化學習，進一步提升推理能力。 這樣訓練出來的 DeepSeek R1，不只能解決數學證明、程式碼競賽、複雜的推理題，還能清楚說明它的思考過程（Chain-of-Thought, CoT）。 什麼是蒸餾？ 在 AI 領域中，蒸餾（Distillation）是一種讓小模型學習大模型能力的技術。透過讓小模型模仿大模型的輸出結果，它可以： 保留大模型的推理能力 大幅降低運算成本 提升小模型在特定任務上的表現 如何進行蒸餾？ 蒸餾過程主要透過高品質數據的監督微調來進行，具體步驟如下： 第一步：產生優質數據 研究團隊利用 DeepSeek R1 產生了 約 60 萬筆推理數據，並額外蒐集 約 20 萬筆非推理數據，共計 80 萬筆。這些數據涵蓋：...

作為創業家的我們，時常在會議和瑣事中迷失方向，彷彿在雜草叢生的森林中掙扎。但Elon Musk的管理哲學卻另闢蹊徑，專注於極簡、速度和直接行動。我稱這一切為「馬斯克法則」，它彷彿為創業家們揭開了一扇門，讓我們窺見他是如何打造出這些全球最具影響力的企業。以下是他一路以來的一些故事，也許能引領你重新審視自己的創業之路。 一個精準的問題：「這週你完成了什麼？」 馬斯克第一次接手Twitter（現為X）時，曾發生過這樣一幕：CEO Parag Agrawal滔滔不絕地描述他的願景，馬斯克卻直接打斷了他，問：「這週你完成了什麼？」這並非不耐煩，而是馬斯克風格的核心：結果至上。與其花數年描繪藍圖，馬斯克更在意週週可見的進展，強調即時成果。 在他眼中，五年計畫或年度目標不過是遙不可及的虛影；真正的價值，是今天、此刻的行動。 工程師的領袖：親自與技術人員合作 有一晚，時間已是深夜十點，馬斯克和他的工程師們圍坐在桌前，討論下一代Falcon火箭的設計。他的狗隨意地躺在地板上，沒有正式的會議氛圍，只有他和團隊直接對話、解決問題。這就是馬斯克：不需要繁複的管理層，直接與工程師交流，解決當下的瓶頸。 對馬斯克而言，縮短溝通距離、親臨第一線是效率的保證。他的團隊因為看到他對技術的理解和投入，而心甘情願地加倍努力。 學習的捷徑：從失敗中淬鍊 馬斯克的思維中，失敗不是問題，而是快速學習的機會。SpaceX最初的火箭頻頻在發射台爆炸，對手嘲笑他「玩火箭」不成，但馬斯克從未退縮，反而每次失敗後迅速調整設計。YouTube上甚至有SpaceX火箭爆炸的合集影片，但每一次的爆炸，都是下一次成功的墊腳石。 大公司害怕失敗，但馬斯克卻視之為催化劑。比起謹慎地打造一枚完美火箭，馬斯克選擇用五次嘗試快速進步。對他而言，每個火箭殞落的瞬間，都是一個加速成長的關鍵時刻。 清晰的標準與決斷 馬斯克的標準異常清晰，甚至帶著冷酷。當一位助理要求加薪時，他讓她去休假，自己親自處理她的工作。當助理回來後，馬斯克冷靜地說：「這工作並不難。」隨即解雇她。或許殘酷，但這種標準讓他的公司充滿了效率和目標，摒棄拖沓之人。 打破官僚的「取消會議」策略 馬斯克對會議的厭惡並不孤單。Shopify CEO Tobi Lütke每隔半年取消所有例行會議，僅在需要時重設。馬斯克則更徹底，完全跳過PowerPoint，直接帶領工程師實地解決問題。對他來說，任何不是用來創建或解決問題的時間，都是浪費。 這篇文章靈感來自Marc Andreessen的訪談，他揭示了馬斯克的獨特領導哲學，探討了成功背後的手段與意志。有興趣可以觀看完整訪談，了解馬斯克成功的秘訣。觀看訪談影片

最近在研究些比特幣網路的擴展專案，發現了一個很有趣的專案：Liquid Network。這個專案是由 Blockstream 開發的，目的是提供比特幣的即時交易，並且支援更多的功能。這篇文章將會介紹 Liquid Network 的基本概念，以及它的優點和應用。 背景 為什麼側鏈是必要的？ 網路擁堵 比特幣網路隨著使用者增多，交易量也不斷增加。然而，比特幣的區塊大小有限，每個區塊只能容納有限的交易。這導致了交易的延遲和手續費的上漲。 舉個生活化的例子： 你可以想像比特幣網路是一條馬路，每 10 分鐘只能通過 100 輛車，但現在有 10,000 輛車想通過，怎麼辦呢？這條馬路的管理員很現實：你給越多錢，他就會把你排在前面，讓你早點通過。如果你不想等，就得支付更多手續費。 即使你很有錢，急著想在 1 分鐘內到達目的地，抱歉，再多錢也沒用，因為這條馬路的速度就是如此，你只能等。 這就是為什麼「側鏈」（如 Liquid 網路）變得如此重要。側鏈是與主鏈並行運作的技術，目標是提升交易效率和功能，而不改變主鏈本身的協議。 可以把它想像成在主幹道旁邊蓋了一條快車道，處理更多的交通流量。我們可以在需要時將車輛（比特幣）移到這條快車道進行更快、更便宜的交易，然後在適當時機將車輛移回主幹道。 主鏈升級的複雜性 對比特幣核心協議的直接升級非常複雜，經常會面臨社群的抵制，且存在風險。過去，這種情況甚至導致了比特幣社群的硬分叉和分裂。這就是為什麼像 Liquid 網路這樣的側鏈成為增強比特幣功能的更實際選擇，因為它們可以在不改變主鏈的情況下進行創新和改善。 什麼是 Liquid Network？ Liquid Network 於 2018 年 9 月推出，是一個基於側鏈的比特幣結算網路，專門用於更快且更隱私的交易。它與比特幣主鏈並行運作，允許用戶將比特幣移動到 Liquid 側鏈，以便進行更快和更便宜的交易。 完成後，用戶可以將比特幣移回主鏈。 優勢： 更快的交易：Liquid Network 每分鐘處理一次區塊，而比特幣主網平均每 10 分鐘處理一個區塊。代表在 Liquid Network 的交易確認速度更快，對於需要及時操作的場景非常重要。 較低的費用：Liquid Network 的交易費用顯著低於比特幣的交易費用，降低一百倍以上。且 Liquid 不需要挖礦，因此交易費用不會受到挖礦難度或網絡擁堵的波動影響。 隱密交易：Liquid Network 使用了隱密交易技術，隱藏了交易的資產數量和類型，提供了更強的隱私保護。對於希望保持財務活動私密的企業和交易者特別有利。對於一般使用者而言也是如此，應該很少人會希望自己的存款被別人知道。 發行新資產：Liquid Network 允許用戶發行新的資產，例如穩定幣和證券代幣，這讓企業可以自行創建和管理自己的數位資產。 運作原理 雙向錨定系統 Two-way Peg System 在比特幣主網和 Liquid Network之間移動 BTC 涉及兩個關鍵步驟：Peg-in 和 Peg-out。 (image source: Blockstream)...

OpenAI 昨天發表了最新的 Realtime API，可以讓企業打造出與 chatGPT 的進階語音模式（Advanced Voice Mode）同等品質的服務。 如果你還沒用過進階voice mode，只要是付費版的 chatGPT 就可以直接使用了，很驚艷，一定要體驗看看。 這次 release 出來的 Realtime API，可以讓我們輕鬆打造自己的語音助理系統。 這代表著更快速、更自然的語音交互方式將會變得更普及。 語音助理的真正崛起 我大概六七年前有開發過語音助理，但體驗其實都不會很好。 主因有兩個: 一個是 AI 的理解能力（這部分在 LLM 出來之後有大幅改進）， 另一個就是延遲的問題 語音助理通常需要經過以下三個步驟： 使用者語音轉為文字（Speech-to-Text, STT） 用 AI 處理文字並生成回覆 將文字回覆轉為語音，並在設備上播放（Text-to-Speech, TTS） 延遲會導致使用體驗變得很差，也就無法真的普及。而隨著開發 Realtime API，我覺得語音助理將出現新的曙光。(請問 google 小姐您什麼時候要升級您的大腦) 企業將可實現即時的語音交互，讓純語音介面變得可能。 至少會過渡到語音為主、視覺為輔的交互模式，這將大大改變交互體驗。 (同樣的趨勢，可以參考 Meta 的 Orion) 另外，Realtime API 還支援 function call，讓語音助理不僅是回覆問題而已，還可以直接執行具體操作。 舉例來說，用戶可以通過語音訂餐或預訂房間，而語音助理則會自動處理並完成整個下訂流程。 成本 目前的語音處理成本為每分鐘語音輸入 $0.06 美元，輸出 $0.24 美元。 假設一通 3 分鐘的訂餐電話，其中 1 分鐘是客戶在講話，2 分鐘是 AI 回覆，那麼整個過程大約需要 0.5 美元的成本。 看起來不算便宜，但如果考慮到 AI 使用的成本每年都會大幅降低，這項技術的應用將很快變得容易負擔。 更何況 On Device 的 AI 發展也非常快速，AI 的處理將有一部分落到使用者的裝置上，對企業而言，這部分就不需要成本了。...

關於我 你好，我是 Ben, 一名創業家，專注於 AI, Blockchain, MarTech 等，我熱愛研究最新的技術如何改變未來，也關心商業的創新應用與策略發展。成立這個部落格，希望透過分享我的經驗與觀點，為你帶來一些啟發和幫助。 關於這個部落格 這個部落格叫「Ben’s Terminal」，使用 Terminal 這名詞是因為寫程式時經常會使用到 Terminal，它是一個可以輸入指令、執行操作的地方。對我來說，這裡就是我分享想法和經驗的空間，無論是AI、區塊鏈還是創業相關的內容，都可以在這裡找到。我希望能透過這個部落格，和大家一起交流技術與商業的點子，讓這個「終端」成為啟發和實踐的起點。 演講與活動 以下為部分演講與活動的紀錄： ChatGPT實作工作坊 Date: 2023/3/23 Venue: 臺北科技大學 chatGPT 的出現，大大地影響了我們未來的工作模式與學習方式，這次我應臺北科技大學之邀，與臺灣微軟首席技術長花凱龍與旗下工程師團隊規劃了四場實作培訓課程，共同培育學生立足AI時代的基本技能。 相關報導: 首開ChatGPT實作工作坊 北科大發展通用人工智慧能力 DigiAsia Pannel Discussion Event: DigiAsia 2022 Date: 2022/11/19 Venue: 花博公園流行館 《數位亞洲大會（DigiAsia）》於2014年誕生。這個由亞洲14個地區組成《Asian Federation of Advertising Associations（簡稱AFAA）亞洲廣告聯盟》授權台北市廣告代理商業同業公會（TAAA）所主辦的活動，每兩年於台北召開，是亞洲地區最具指標性的數位與創意國際盛會。 我在本次 Pannel 分享了區塊鏈技術在票卷系統上的應用，並探討了區塊鏈技術如何提高票卷交易的透明度和安全性。與其他專家一起分享了對區塊鏈技術的看法，並討論了未來的發展趨勢。 活動網站 相關報導: 數位亞洲大會睽違多年在台舉辦！亞洲重磅數位行銷高手齊聚 共譜「Web3 Rhapsody狂想曲」 顧客關係超前經營 Event: cacaFly #Next 數位論壇 Date: 2020/10/21 Venue: 松山文創園區演藝廳 cacaFly是台灣的社群行銷的領導品牌，也是最大的社群媒體經銷商。#next數位論壇是cacaFly每年舉辦的盛會，邀請了許多業界專家和企業家參與，分享最新的數位行銷趨勢和策略。 因應後疫情時代，顧客關係的經營變得更加重要。我在本次演講討論了如何通過數位工具和行銷策略，在快速變化的市場中建立穩固的會員關係。 相關報導: 迎戰後疫情時代，洞察數位行銷「疫」外商機 AI 發展趨勢與產業應用 Date: 2023/12/8 Venue: 臺北科技大學 本次演講介紹了 AI 的發展趨勢及其對產業的深遠影響，深入探討了 AI 如何改變未來工作模式，並展示了實際應用範例。演講中還介紹了多代理人系統 AutoGen 的實作和應用，並分享了 Chatbot 的實戰經驗。...