語言模型在文本生成領域的巨大成功，啟發了研究人員探索將類似的范式遷移至視覺領域。ImageGPT-Large等早期開創性模型證明了自回歸Transformer架構在視覺領域的可行性。由于原始圖像數據維度高，直接將RGB值作為序列會導致計算復雜度爆炸。為此，研究團隊引入了創新的色彩聚類預處理技術，將每個像素映射到預設的數百種可能的聚類值之一。這一操作大幅降低了數據的維度，使得原本龐大的三維圖像能夠被轉換為一維的Token序列。基于此，模型可以通過預測“下一個像素Token"的自監督任務來學習圖像的深層表征。盡管早期的受限于當時的算力僅能生成低分辨率圖像，但這種將視覺數據序列化并進行像素級預測的思想，為后續統一多模態大模型奠定了關鍵的技術基石。