出品｜搜狐科技

作者｜鄭松毅

(資料圖片)

DeepSeek再次“低調(diào)”震驚世界！

他們新發(fā)布并開(kāi)源的OCR模型，從根本上改變了AI游戲規(guī)則。Github開(kāi)源項(xiàng)目DeepSeek-OCR，一夜收獲超4k星。相關(guān)論文（《DeepSeek OCR：上下文光學(xué)壓縮》）解釋了這一研究成果。

很多人好奇，什么是OCR？

傳統(tǒng)OCR如同“文字掃描儀”，通過(guò)光學(xué)技術(shù)將圖像中的文字提取轉(zhuǎn)換為計(jì)算機(jī)和人都能理解的格式。比如，在將大量票據(jù)、證件、表單等數(shù)據(jù)電子化時(shí)，OCR發(fā)揮關(guān)鍵作用。

但DeepSeek卻反其道而行之——將文本信息“繪制”為視覺(jué)圖像，再通過(guò)視覺(jué)模型實(shí)現(xiàn)高效理解。如此創(chuàng)新嘗試就是為了解決大模型的核心痛點(diǎn)——處理長(zhǎng)文本時(shí)面臨的計(jì)算挑戰(zhàn)。

效果有多驚艷？10頁(yè)密密麻麻的文本報(bào)告，被壓縮成一張圖片，AI能夠一眼讀懂它。這樣的信息處理效率意味著大幅降低了計(jì)算復(fù)雜度，用最直接的方式節(jié)約成本。

論文發(fā)布后，意料之內(nèi)的好評(píng)如潮，有網(wǎng)友直接將其稱(chēng)為“硅基生命進(jìn)化論”。

最近還在銳評(píng)AI發(fā)展的OpenAI創(chuàng)始團(tuán)隊(duì)成員、特斯拉前AI總監(jiān)Karpathy，對(duì)DeepSeek新成果直言喜愛(ài)，并指出“早就該讓視覺(jué)成為AI核心，而非依賴(lài)爛透了的文本分詞器。”

更有業(yè)內(nèi)大佬感嘆，“當(dāng)文本能被轉(zhuǎn)化為視覺(jué)可理解的結(jié)構(gòu)，語(yǔ)言與視覺(jué)的統(tǒng)一或許不再是理論。這可能是通往 AGI（通用人工智能）的關(guān)鍵一步?！?/p>

DeepSeek新研究：把大量文字壓縮到圖片，讓模型直接看圖理解

本質(zhì)上來(lái)說(shuō)，DeepSeek-OCR是將視覺(jué)與語(yǔ)言模態(tài)深度融合，通過(guò)“視覺(jué)-文本壓縮”建立自然映射關(guān)系，為多模態(tài)大模型提供了新的技術(shù)路徑。

之前的大模型可以說(shuō)是“帶著腳銬的舞者”，雖有強(qiáng)大的語(yǔ)言理解能力，卻被低效的信息輸入方式嚴(yán)重束縛。

拿模型閱讀長(zhǎng)篇文本來(lái)說(shuō)，每頁(yè)財(cái)報(bào)、論文都包含數(shù)千個(gè)token，傳統(tǒng)方式下只能逐字逐句識(shí)別，導(dǎo)致計(jì)算量爆炸。這種低效作業(yè)讓大模型在法律、金融等領(lǐng)域的應(yīng)用舉步維艱。

而DeepSeek這次用到了一個(gè)巧妙思維——既然一張圖片能裝下成千上萬(wàn)的文字，那是不是大量文字信息也能被壓縮到一張圖片里，讓模型直接看圖理解就好了。

為實(shí)現(xiàn)這一設(shè)想，DeepSeek為OCR模型配備了三件套——圖像編碼器、映射層和文本解碼器。其中，圖像編碼器DeepEncoder（負(fù)責(zé)把圖片轉(zhuǎn)成高度壓縮的視覺(jué)token）參數(shù)為380M，文本解碼器（負(fù)責(zé)從壓縮的視覺(jué)token里重建文字）是一個(gè)deepseekv2-3b的模型，參數(shù)為3B。

整體訓(xùn)練數(shù)據(jù)由4部分組成，包括OCR1.0數(shù)據(jù)（傳統(tǒng)OCR任務(wù)，如圖像OCR和文檔OCR）、OCR2.0數(shù)據(jù)（復(fù)雜圖像解析任務(wù)，如幾何、圖表等）、通用視覺(jué)數(shù)據(jù)（用于注入通用圖像理解能力）、及純文本數(shù)據(jù)（用于確保模型的語(yǔ)言能力）。

別看模型參數(shù)不大，但就研究結(jié)果發(fā)現(xiàn)，當(dāng)文本壓縮率小于10倍時(shí)，模型OCR解碼準(zhǔn)確率高達(dá)97%，及時(shí)壓縮率高達(dá)20倍時(shí)，準(zhǔn)確率依舊能保持在60%。在A100-40G顯卡環(huán)境下，單日可生成超過(guò)20萬(wàn)頁(yè)的模型訓(xùn)練數(shù)據(jù)。

也就是說(shuō)，如果普通 OCR 需要 10,000 個(gè) token 才能讀完整篇文檔，這個(gè)模型可能只用 1,000 個(gè)就能搞定，且能高準(zhǔn)確度地理解信息。

受益于訓(xùn)練數(shù)據(jù)多樣性，論文提到DeepSeek-OCR不僅能識(shí)別文字，還能理解文檔布局、圖表結(jié)構(gòu)。從某種角度說(shuō)，這已經(jīng)不是傳統(tǒng)的OCR，而更接近“文檔理解引擎”。

論文中提到的一個(gè)基準(zhǔn)叫OmniDocBench，就是專(zhuān)門(mén)用來(lái)測(cè)試復(fù)雜文檔理解能力的。DeepSeek-OCR 在這個(gè)基準(zhǔn)上，用更少的視覺(jué) token 數(shù)量就超過(guò)了 GOT-OCR 2.0 和 MinerU 2.0，這倆都是目前較頂尖的開(kāi)源 OCR 模型，可謂十分能打。

讓AI記憶模式更像人類(lèi)

在論文中，DeepSeek還談到了一直困擾業(yè)界的AI“記憶”和“遺忘”機(jī)制。

深度學(xué)習(xí)模型的記憶以分布式參數(shù)形式存儲(chǔ)，這種非結(jié)構(gòu)化存儲(chǔ)導(dǎo)致傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)新任務(wù)時(shí)，舊知識(shí)的參數(shù)空間會(huì)被新知識(shí)覆蓋，模型無(wú)法做到像人類(lèi)一樣進(jìn)行連貫推理。

而DeepSeek的想法是，通過(guò)視覺(jué)-文本壓縮范式和動(dòng)態(tài)分層遺忘機(jī)制，讓AI“記住該記住的，忘記該忘記的”。

其核心思路是將文本信息轉(zhuǎn)化為視覺(jué)token，通過(guò)光學(xué)壓縮實(shí)現(xiàn)高效記憶管理，同時(shí)模擬人類(lèi)遺忘曲線動(dòng)態(tài)調(diào)整信息留存。

在這個(gè)過(guò)程中，核心組件DeepEncoder發(fā)揮關(guān)鍵作用，50-100個(gè)視覺(jué)tokens即可還原1000字文本，實(shí)現(xiàn)近 10 倍的計(jì)算量節(jié)省。

這種壓縮并非簡(jiǎn)單的信息降維，而是通過(guò)“注意力機(jī)制+結(jié)構(gòu)化訓(xùn)練”，優(yōu)先保留對(duì)模型推理最關(guān)鍵的信息。類(lèi)似人類(lèi)閱讀時(shí)“先抓標(biāo)題再看細(xì)節(jié)”的認(rèn)知模式，去除不重要的信息噪聲。

關(guān)于如何讓模型的記憶模式更像人類(lèi)，研究者做了進(jìn)一步解釋?zhuān)簩?duì)于近期記憶，可以將其渲染成高分辨率圖像，用多token數(shù)量保留高保真信息。而對(duì)于遠(yuǎn)期記憶，可以縮放成更小、更模糊的圖像，用少量token來(lái)保留信息，從而實(shí)現(xiàn)信息的自然遺忘和壓縮。

雖然當(dāng)前還僅是研究前期探索階段，但DeepSeek的創(chuàng)新思路，確實(shí)讓AI越來(lái)越像人類(lèi)了。

三名作者

本篇論文共有3名作者：Haoran Wei、Yaofeng Sun、Yukun Li。

論文一作Haoran Wei曾主導(dǎo)開(kāi)發(fā)爆火項(xiàng)目GOT-OCR2.0，此次的DeepSeek-OCR也可以說(shuō)是延續(xù)了此前項(xiàng)目的創(chuàng)新技術(shù)路徑。根據(jù)此前論文信息顯示，Haoran Wei還曾就職于階躍星辰。

Yaofeng Sun畢業(yè)于北京大學(xué)圖靈班計(jì)算機(jī)科學(xué)專(zhuān)業(yè)，于2023年加入DeepSeek，先后參與DeepSeek-r1、DeepSeek-v3、DeepSeek-v2等模型的研究。

Yukun Li也參與了包括DeepSeek-v2/v3在內(nèi)的多款模型研究，谷歌學(xué)術(shù)論文引用量近萬(wàn)。