<p class="ql-block"><br></p><p class="ql-block"><br></p><p class="ql-block"><b style="color:rgb(237, 35, 8); font-size:22px;">壓縮即智能</b></p><p class="ql-block"><b style="color:rgb(237, 35, 8); font-size:22px;">一一從知識到智慧的實現(xiàn)</b></p><p class="ql-block"><i>黃國營</i></p><p class="ql-block"><br></p><p class="ql-block"><br></p><p class="ql-block"> <b style="color:rgb(57, 181, 74);">壓縮即智能。</b></p><p class="ql-block"><b style="color:rgb(57, 181, 74);"> 學(xué)習(xí)即壓縮，理解即壓縮，認(rèn)知即壓縮，語言即壓縮。</b></p><p class="ql-block"><b style="color:rgb(57, 181, 74);"> 壓縮，本質(zhì)是以簡馭繁地構(gòu)建模式，并實現(xiàn)有效的模式遷移。</b></p><p class="ql-block"><br></p><p class="ql-block"> 我們用10篇左右系列文章來討論“壓縮”和“解壓”，從AI構(gòu)建的視角，重新審視人類認(rèn)知形成、運作、發(fā)展的全過程。</p><p class="ql-block"><br></p><p class="ql-block"><br></p><p class="ql-block"><br></p><p class="ql-block"> 我們<b>傳統(tǒng)和現(xiàn)行教育</b>的基本操作主流，就是教師在課堂上向?qū)W生傳授知識，老師講，學(xué)生記。學(xué)習(xí)優(yōu)劣的考核，就是看你記住了多少。人們已經(jīng)初步認(rèn)識到，這種“<b>灌輸-記憶型”</b>的模式，除了在學(xué)生腦子里堆砌大量虛假和無用的知識，結(jié)果往往是缺乏<b>智慧</b>，缺乏<b>行動力</b>，缺乏<b>創(chuàng)新能力</b>。</p><p class="ql-block"><br></p><p class="ql-block"> 教育是什么？愛因斯坦說：“<b>當(dāng)學(xué)生把學(xué)校教給他的所有東西都忘掉以后，剩下的就是教育。</b>”<span style="font-size:18px;">這是愛因斯坦引用心理學(xué)家斯金納在《新科學(xué)家》雜志上發(fā)表的說法。這些“</span><b style="font-size:18px;">剩下的</b><span style="font-size:18px;">”，會是些</span><b style="font-size:18px;">什么東西</b><span style="font-size:18px;">呢？這些東西又是“</span><b style="font-size:18px;">怎樣剩下”</b><span style="font-size:18px;">的呢？</span></p><p class="ql-block"><br></p><p class="ql-block"> 愛因斯坦還曾說：“我從來不記書上已經(jīng)有的東西，我的記憶是用來記書本上還沒有的東西。”那么，“<b>書本上沒有的東西</b>”又是些什么呢？</p><p class="ql-block"><br></p><p class="ql-block"> <b>知識</b>長期不用是會忘記的，但是<b>能力</b>卻可以沉淀下來；灌輸想法是很容易忘記的，但是教育的熏陶卻可以長久沉淀下來。我們<b>剩下</b>的內(nèi)容越多，那么就說明教育是越<b>有效果</b>的，如果什么都沒有剩下的話，那么這種教育就是<b>無效</b>的教育。</p><p class="ql-block"><br></p><p class="ql-block"> 即便是某些“<b>學(xué)富五車</b>”的學(xué)者教授，也可能被人們稱為只是“<b>會行走的書柜</b>”。</p><p class="ql-block"><br></p><p class="ql-block"><span style="font-size:18px;"> </span><b style="font-size:18px;">知識</b><span style="font-size:18px;">和</span><b style="font-size:18px;">智慧</b><span style="font-size:18px;">不是一回事，那么它們是什么關(guān)系，如何實現(xiàn)</span><b style="font-size:18px;">躍升</b><span style="font-size:18px;">呢？</span></p><p class="ql-block"><br></p><p class="ql-block"> 近年AI爆發(fā)，人們通過對<b>AI的構(gòu)建和使用</b>，窺測其黑箱運作過程，深受啟發(fā)，領(lǐng)悟到很重要的一點：“<b>壓縮即智能</b>”。</p><p class="ql-block"><br></p><p class="ql-block"> <b>壓縮</b>即<b>智能</b>。<b>理解</b>即壓縮，<b>學(xué)習(xí)</b>即壓縮，壓縮即<b>建模</b>，壓縮才能實現(xiàn)<b>知識遷移</b>……AI科技人員越來越多談?wù)摰健按笳Z言模型”從知識到智慧的<b>湧現(xiàn)</b>。</p><p class="ql-block"><br></p><p class="ql-block"> Google DeepMind 明確提出"<b>壓縮即智能</b>"的理念。這一概念建立在<b>算法信息論</b>基礎(chǔ)上，從香農(nóng)<b>信息熵</b>到 柯爾莫哥洛夫<b>復(fù)雜度</b>，再到Hutter的<b>壓縮競賽</b>形成了完整的理論鏈條。</p><p class="ql-block"><br></p><p class="ql-block"> 最近，香港科技大學(xué)與騰訊聯(lián)合團(tuán)隊發(fā)表論文《Compression Represents Intelligence Linearly》，通過實證研究證明<b>壓縮效率與智能之間的線性關(guān)系</b>。</p><p class="ql-block"><br></p><p class="ql-block"> 用<b>最少的符號</b>解釋<b>最多的現(xiàn)象</b>，用<b>最短的程序</b>還原<b>全部信息</b>，用<b>最少的參數(shù)</b>做<b>最好的預(yù)測</b>。 這就是"壓縮即智能"的<b>數(shù)學(xué)實質(zhì)</b>。</p><p class="ql-block"><br></p><p class="ql-block"> <b>智能</b>的本質(zhì)就是<b>壓縮</b>和<b>預(yù)測</b>。更好的壓縮代表<b>更深層的理解</b>，<b>更大的預(yù)測能力</b>是壓縮的自然結(jié)果。真正的"壓縮"指的是<b>用最短的程序描述世界</b>，這是智能的必要條件之一，但不是充分條件。</p><p class="ql-block"><br></p><p class="ql-block"> <b>學(xué)習(xí)</b>就是壓縮——從數(shù)據(jù)中提取規(guī)律，就是找到數(shù)據(jù)的<b>最短描述</b>。</p><p class="ql-block"><br></p><p class="ql-block"><b> 草蛇灰線</b>，伏脈千里：</p><p class="ql-block"> 1949年Claude Shannon的“<b>信息熵</b>——<b>最小編碼比特數(shù)即信息量</b>”；</p><p class="ql-block"> 1960年代的Kolmogorov / Solomonoff / Chaitin的“<b>算法信息論</b>——<b>最短程序長度即復(fù)雜度</b>”；</p><p class="ql-block"> 2006年Marcus Hutter的“<b>壓縮維基百科競賽</b>——<b>壓縮率越高越智能</b>”；</p><p class="ql-block"> 2023年DeepMind的<b>"Language Modeling Is Compression</b>——<b>語言建模與數(shù)據(jù)壓縮數(shù)學(xué)等價</b>”；</p><p class="ql-block"> 到2024年Ilya Sutskever的“<b>壓縮實現(xiàn)無監(jiān)督學(xué)習(xí)</b>是 <b>OpenAI 兩大 founding ideas 之一</b>”；</p><p class="ql-block"> 這條線幾十年的收斂點是：<b>最小化描述長度 = 最大化預(yù)測能力 = 最大化泛化能力。</b></p><p class="ql-block"><br></p><p class="ql-block"> “<b>最大泛化能力</b>”，即孔子所說的“<b>舉一反三</b>”?？鬃釉凇墩撜Z·述而》中說：“舉一隅，不以三隅反，則不復(fù)也”?？鬃咏o學(xué)生講了一個墻角（一隅）的情況，如果學(xué)生不能靈活推想到另外三個墻角（三隅），孔子就不愿再教了 。這體現(xiàn)了孔子的啟發(fā)式教學(xué)，強(qiáng)調(diào)學(xué)生要主動思考，不能死記硬背，老師只點撥關(guān)鍵點，剩下的靠學(xué)生自己領(lǐng)悟 ，由此及彼，由表及里。??這種“自己領(lǐng)悟”，就是從已知到未知的<b>類推遷移</b>。</p><p class="ql-block"><br></p><p class="ql-block"> “<b>舉一反三</b>”，就是<b>聯(lián)想</b>、<b>類推</b>，<b>人類的認(rèn)知</b>就是通過<b>隱喻</b>而形成展開的<b>鏈網(wǎng)，</b>中間就是無數(shù)<b>跳躍式</b>的<b>遷移</b>，<b>觸類而旁通</b>，所以無論藝術(shù)家還是科學(xué)家，都要能富于<b>想象力</b>，能<b>天馬行空</b>，實行<b>跨躍式的躍遷</b>。想象力比邏輯力更重要。</p><p class="ql-block"><br></p><p class="ql-block"> <b>知識遷移</b>的前提，是要有無數(shù)的<b>起始模式</b>。世界無限廣大而深邃，人腦無法全數(shù)把握。人們自身的<b>感知器官</b>種類和性能都是有限的，但即便如此，卻與其他生命不同，有較強(qiáng)的能力將<b>無限的</b>、<b>連續(xù)的</b>外部世界，經(jīng)過<b>壓縮</b>，成為<b>有限的</b>、<b>離散的模型</b>，并以此為基礎(chǔ)，認(rèn)知和把握世界，對環(huán)境作出<b>適配反饋</b>。</p><p class="ql-block"><br></p><p class="ql-block"> 你以為你每天面對的是紛繁復(fù)雜的<b>世界本身</b>，其實不是。你面對的，是大腦已經(jīng)替你處理過的一份“<b>壓縮版世界</b>”，它刪掉了大部分細(xì)節(jié)，過濾了大部分噪音，只留下少數(shù)你來得及、有能力注意、感知、記住、處理的信息。</p><p class="ql-block"><br></p><p class="ql-block"> 你每時每刻眼、耳、鼻、身等<b>感知器官</b>接受到外部世界的<b>信號</b>多得嚇人，但你大腦這口鍋無法有足夠的空間和時間容納<b>加工</b>，只有通過<b>標(biāo)簽化</b>、<b>組塊化</b>、<b>敘事化</b>三種操作使之大大簡化。這三種簡化操作都是建立某種關(guān)系，實際上是一種關(guān)聯(lián)化的<b>折疊</b>，因而也是一種<b>理解</b>。的謂“理解”，就是把世界壓縮到自己能處理的程度。這種認(rèn)知的預(yù)處理和處理，就是一種<b>壓縮</b>。</p><p class="ql-block"><br></p><p class="ql-block"> <b>標(biāo)簽化</b>就是把無數(shù)相似的事物進(jìn)行概括抽象，分類歸類，加以標(biāo)簽，簡化以便于大腦運算加工。原始人住房旁邊的每一棵樹、每一座山都是個別的，都有各自的名稱。樹有無數(shù)，山有很多，對認(rèn)知這顯然是不經(jīng)濟(jì)的負(fù)荷，難以把握。于是在進(jìn)化中人們概括出“樹”和“山”<span style="font-size:18px;">的概念及相應(yīng)詞語，以大大</span><b style="font-size:18px;">簡化</b><span style="font-size:18px;">紛繁的世界。</span></p><p class="ql-block"><br></p><p class="ql-block"> <b>組塊化</b>是把大量<b>零件</b>組成更大的<b>部件</b>，這種組合在經(jīng)驗中<b>逐步固化</b>，成為進(jìn)一步認(rèn)知壓縮的便捷的<b>備用</b>材料。使用時不必再從零件層層組裝，而是沉淀有大量已經(jīng)組裝好的備用部件，可以順手拈來一步到位，這種折疊大大降低了認(rèn)知的<b>復(fù)雜度</b>，提升了認(rèn)知的<b>效率</b>。</p><p class="ql-block"><br></p><p class="ql-block"> <b>敘事化</b>是對已有認(rèn)知材料根據(jù)<b>因果關(guān)系</b>進(jìn)行系聯(lián)，沉淀固化成許多<b>事件</b>的<b>原型</b>。世上有無數(shù)男人與女人相愛的故事，有無數(shù)戰(zhàn)爭與和平的故事，都可根據(jù)其關(guān)鍵要素之間的<b>關(guān)系和變化</b>，壓縮為最簡單的模板，而這些模式在不同情況中又可演化為千變?nèi)f化的故事，與我們的真實世界相匹配。敘事化正是無盡物態(tài)變化和世情變化的<b>壓縮</b>。</p><p class="ql-block"><br></p><p class="ql-block"> 把<b>無限</b>的世界，壓縮為<b>有限</b>的概念和判斷，把浩如煙海的天量語言、圖像、視頻數(shù)據(jù)壓縮為有限的<b>知識模式</b>，再把龐大的知識庫壓縮為認(rèn)知的更高級的模板。其間有無層級和側(cè)面，反映了我們認(rèn)知的深度和廣度。</p><p class="ql-block"><br></p><p class="ql-block"> 壓縮后的穩(wěn)定結(jié)構(gòu)叫“<b>圖式</b>”，“圖式”是長期記憶中對一類對象、情境或關(guān)系的<b>結(jié)構(gòu)化知識組織</b>?！皥D式”是一套可重復(fù)調(diào)用的認(rèn)知模板?！皥D式”把高頻出現(xiàn)的復(fù)雜關(guān)系直接<b>打包</b>。以后遇到類似情境，不必從零開始，而是直接調(diào)用<b>現(xiàn)成模板</b>。</p><p class="ql-block"><br></p><p class="ql-block"> 上面說的“啟發(fā)式”、“<b>舉一反三</b>”，就是就是相近<b>圖式</b>的<b>快速調(diào)用</b>。<b>固化的經(jīng)驗</b>在認(rèn)知過程中快速的調(diào)用是<b>低成本</b>的方式。<b>效率</b>由此產(chǎn)生，<b>跨域</b>亦由此實現(xiàn)。</p><p class="ql-block"><br></p><p class="ql-block"> 這些不同層級不同類型的模板的構(gòu)建和折疊，就是<b>壓縮</b>。壓縮就是一個抓住<b>關(guān)鍵特征數(shù)據(jù)</b>，舍棄大量低相關(guān)度的數(shù)據(jù)，形成特定<b>模式</b>的過程。<b>傅立葉變換</b>便是最常用而強(qiáng)大的數(shù)學(xué)工具。</p><p class="ql-block"><br></p><p class="ql-block"><b>? 總之，所謂“智能”，無論是人類智能還是機(jī)器智能，都是指這樣一種能力，可從大量數(shù)據(jù)中，概括抽象出某些簡單模式，能有效地遷移適用于類似的對象和情景；這種概括抽象過程，就是一個建模過程，同時略去大量無關(guān)效用的數(shù)據(jù)。這個壓縮過程，在大規(guī)模減縮數(shù)據(jù)的同時，保留了原來信息的有效結(jié)構(gòu)與功能，而有效性的判斷，與壓縮的目標(biāo)及接受端有關(guān)。</b></p><p class="ql-block"><br></p><p class="ql-block"><br></p>
唐山市|
金昌市|
富锦市|
泌阳县|
宝山区|
铁岭市|
新化县|
衡水市|
滨海县|
安阳县|
张家川|
牙克石市|
西畴县|
太白县|
台安县|
明水县|
夏邑县|
兰州市|
东乌珠穆沁旗|
波密县|
抚顺市|
东源县|
乌兰浩特市|
赤峰市|
中宁县|
临沧市|
虹口区|
凌云县|
佳木斯市|
普陀区|
栾城县|
太湖县|
崇义县|
新巴尔虎右旗|
三台县|
兴城市|
唐山市|
彰化县|
松滋市|
肇东市|
定西市|