内容纲要

从自然语言到生命语言：生物信息学中大型语言模型应用

第一部分：大型语言模型的基础范式

在深入探讨大型语言模型（LLM）在生物信息学中的具体应用之前，必须首先理解那些支撑了这场技术革命的基础性范式。这些模型不仅是技术上的迭代，更是人工智能领域在架构、训练方法和规模效应上的一系列根本性转变。本部分将详细剖析三篇里程碑式的文献，它们分别引入了Transformer架构、双向预训练范式以及规模化定律，共同构成了现代LLM的理论基石。

1.1 Transformer架构：“Attention Is All You Need”

2017年，谷歌的八位研究员发表了一篇题为《Attention Is All You Need》的论文，这篇论文不仅彻底改变了自然语言处理（NLP）领域，也为后续所有大型语言模型的发展奠定了架构基础。

递归网络的局限性

在Transformer问世之前，序列数据处理的主流模型是循环神经网络（RNN）及其变体，如长短期记忆网络（LSTM）。这些模型的核心思想是按顺序处理输入序列的每个元素（例如，一个句子中的每个单词），同时维护一个内部状态或“记忆”，该状态会随着每个新元素的输入而更新。这种顺序处理的本质带来了两个根本性的限制：首先，它严重阻碍了计算的并行化。由于计算当前时间步的状态依赖于前一时间步的结果，整个序列的处理必须串行进行，这在现代GPU等并行计算硬件上效率低下。其次，对于长序列，RNN和LSTM难以捕捉远距离的依赖关系，存在梯度消失或梯度爆炸的问题，导致模型“遗忘”序列早期的信息。

核心创新：自注意力机制

Transformer架构的革命性在于它完全摒弃了递归结构，转而完全依赖一种名为“自注意力”（Self-Attention）的机制来处理序列数据 3。自注意力机制的核心思想是，在处理序列中的某一个词元（token）时，模型能够同时评估序列中所有其他词元对该词元的重要性，并据此计算出一个加权的、富含上下文信息的表示。

这一过程通过查询（Query, Q）、键（Key, K）和值（Value, V）三个向量来实现。这三个向量都是从同一个输入词元的嵌入（embedding）通过不同的、可学习的线性变换（权重矩阵）得到的。简而言之，查询向量代表当前词元，它会与序列中所有其他词元的键向量进行点积运算，以计算一个“兼容性”或“注意力”分数。这个分数决定了在生成当前词元的输出表示时，应该给予序列中其他每个词元的值向量多大的权重。论文中提出的“缩放点积注意力”（Scaled Dot-Product Attention）的具体计算公式为：

$$
\operatorname{Attention}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right) V
$$

其中，$${d_k}$$是键向量的维度，除以$$\sqrt{d_k}$$是为了防止点积结果过大导致softmax函数进入梯度饱和区。由于Q、K、V矩阵均来自同一输入序列，这种机制被称为“自注意力” 。

架构组件与并行化的实现

Transformer模型由编码器（Encoder）和解码器（Decoder）堆栈组成，每一层都包含几个关键组件：

多头注意力（Multi-Head Attention）：模型并非只执行一次注意力计算，而是将Q、K、V向量拆分成多个“头”，并行地在不同的表示子空间中进行注意力计算，然后将结果拼接起来。这使得模型能够同时关注来自不同位置的不同信息。
位置编码（Positional Encodings）：由于自注意力机制本身不包含序列顺序信息（它将输入视为一个无序的集合），为了让模型理解词元的位置，研究者在输入嵌入中加入了位置编码向量。
前馈网络与残差连接：每个注意力子层之后都跟着一个简单的、位置无关的全连接前馈网络。此外，模型广泛使用了残差连接和层归一化（Layer Normalization），这对于训练深度网络至关重要。

Transformer架构最重要的成果是其卓越的并行计算能力。因为它摒弃了递归，序列中所有词元的计算都可以同时进行，这极大地提高了训练效率，使其能够完美地利用现代GPU和TPU的并行处理能力。这种计算效率上的突破，直接为后续模型参数和训练数据规模的爆炸式增长打开了大门。可以说，没有Transformer架构在并行化上的贡献，GPT-3这样拥有数千亿参数的模型的训练成本将是难以承受的。因此，Transformer的真正遗产并不仅仅是改进了机器翻译，而是提供了开启大规模模型时代的架构钥匙。

1.2 双向预训练：BERT革命

在Transformer提供了可扩展的架构之后，2018年谷歌发布的BERT（Bidirectional Encoder Representations from Transformers）模型则在训练范式上带来了另一场革命。它确立了“预训练-微调”（pre-train, fine-tune）的强大工作流，并引入了真正意义上的深度双向表示学习。

单向模型的局限性

在BERT之前，像OpenAI的GPT等模型采用的是自回归（autoregressive）的预训练方式，即从左到右地预测下一个词元。这种单向的上下文理解方式对于文本生成任务是自然的，但对于许多语言理解任务（如情感分析、问答）来说却是次优的，因为这些任务往往需要同时理解一个词左右两侧的完整语境。

创新一：掩码语言模型（MLM）

为了实现深度双向表示，BERT提出了一种新颖的预训练目标——掩码语言模型（Masked Language Model, MLM）。其灵感来源于完形填空任务（Cloze task）。在预训练过程中，模型会随机地“掩盖”（mask）输入序列中一定比例的词元（通常是15%），然后训练模型利用该词元左右两侧的全部上下文信息来预测被掩盖的原始词元。

这种机制迫使模型学习词元之间深层次的、双向的依赖关系，从而生成真正意义上的语境化词嵌入。例如，在句子“The man went to the to deposit money”中，模型需要同时利用左侧的“went to the”和右侧的“to deposit money”才能准确预测出是“bank”。这与自回归模型只能看到左侧上下文形成了鲜明对比。

创新二：下一句预测（NSP）

除了MLM，BERT还引入了第二个预训练任务——下一句预测（Next Sentence Prediction, NSP）。模型接收一对句子作为输入，并被训练来判断第二句是否是第一句在原文中的下一句。这个任务旨在让模型学习句子间的关系，这对于需要理解句子对逻辑的下游任务（如问答和自然语言推断）至关重要。

“预训练-微调”范式的确立

BERT的成功极大地推广了“预训练-微调”范式。首先，在一个巨大的、无标签的通用文本语料库（如维基百科和图书语料库）上进行计算密集型的预训练，让模型学习通用的语言知识。然后，这个预训练好的模型可以被用于各种特定的下游任务，只需在其顶部添加一个简单的输出层，并用少量有标签的特定任务数据进行快速“微调”即可。这种模式极大地降低了为每个任务从头开始训练一个复杂模型的门槛，有效地将从海量数据中学到的“知识”迁移到了数据稀疏的特定任务上。

BERT的MLM训练目标不仅仅是一种新的技术，它为将LLM应用于科学领域的分析性（而非生成性）问题提供了关键的理论桥梁。许多科学问题，例如“给定其基因组上下文，这个基因的功能是什么？”或“给定其蛋白质序列，这个突变是否有害？”，其本质都是在完整的上下文中理解一个局部元素。BERT的MLM任务——“给定其完整上下文，这个被掩盖的词元是什么？”——与这种分析框架完美契合。正是这种概念上的直接关联，解释了为什么BERT而非GPT成为了后续生物序列分析模型（如DNABERT和ESM）的架构基础。

1.3 规模化与情境学习：GPT的轨迹

如果说Transformer提供了架构，BERT提供了训练范式，那么OpenAI的GPT系列，特别是2020年发布的GPT-3，则通过一篇题为《Language Models are Few-Shot Learners》的论文，雄辩地证明了“规模”本身就是一种质变的力量。

规模化的假设

GPT-3论文的核心假设是，在不改变模型基础架构（仍然是Transformer解码器）和训练方法（自回归语言建模）的情况下，仅仅通过急剧扩大模型参数量（GPT-3拥有1750亿参数，比之前的模型大一个数量级）、训练数据量和计算资源，就能催生出全新的、意想不到的能力。

情境学习的涌现

这篇论文的里程碑式贡献在于它展示了“情境学习”（In-context Learning）的涌现。这与微调范式截然不同。在情境学习中，模型的权重在任务执行期间保持不变，不进行任何梯度更新。相反，任务本身通过自然语言的提示（prompt）被描述给模型，模型通过理解提示中的指令和示例，即时地执行任务。论文定义了三种情境学习的模式：

零样本（Zero-shot）：只给模型任务描述，不给任何示例。
一样本（One-shot）：给模型任务描述和一个示例。
少样本（Few-shot）：给模型任务描述和少量（通常是10到100个）示例。

GPT-3在许多NLP任务上，仅通过少样本学习就达到了与经过专门微调的先进模型相媲美甚至超越的性能。这表明，当模型规模达到一定阈值时，它从一个简单的模式匹配器转变为一个“元学习者”（meta-learner），能够从几个例子中推断出任务的本质并加以执行。

GPT-3的成功揭示了一个深刻的原理：量的积累可以引发质的飞跃。少样本学习能力的涌现，意味着“预训练-微调”并非利用LLM的唯一途径。这为生物信息学开辟了一条全新的道路：将LLM用作“通用的生物学推理引擎”。在生物学领域，为特定任务获取大量高质量的标注数据往往极其困难且昂贵。GPT-3的成果预示着，未来可能存在一个在所有可用生物数据上训练的、巨大的“生物学基础模型”，研究人员可以通过提供几个示例来提示它执行高度专业的任务（例如，“这里有三种与该配体结合的蛋白质，请预测第四种蛋白质是否会结合”），而无需进行耗时的模型重训练。这将极大地降低计算生物学实验的门槛，加速科学发现的进程。

表1：大型语言模型基础范式文献

论文标题	主要作者	年份	核心贡献	关键创新	影响
"Attention Is All You Need"	Vaswani et al.	2017	引入Transformer架构	自注意力机制；摒弃递归，实现并行化	提供了支撑所有现代LLM的可扩展架构
"BERT: Pre-training of Deep Bidirectional Transformers…"	Devlin et al.	2018	确立了深度双向模型的“预训练-微调”范式	掩码语言模型（MLM）；下一句预测（NSP）	成为语言理解任务的标准，并为科学领域的LLM奠定基础
"Language Models are Few-Shot Learners"	Brown et al.	2020	证明了极端规模化能解锁涌现的、任务无关的能力	情境学习（少样本、一样本、零样本提示）	将范式从微调转向提示，并展示了规模的力量

第二部分：生命语言——将LLM应用于生物序列

在奠定了LLM的理论基础之后，研究人员迅速意识到，这些为处理人类语言而设计的强大工具，同样可以被用来解读“生命语言”——即编码在DNA、RNA和蛋白质序列中的复杂信息。生物序列在许多方面都与自然语言相似：它们由有限的字母表（4种核苷酸或20种氨基酸）组成，遵循特定的“语法”规则（如密码子、结构域），并且序列的局部和全局上下文共同决定其功能。本部分将系统性地回顾LLM在生物信息学核心领域的里程碑式应用，展示这一跨学科融合如何催生了革命性的科学突破。

表2：LLM在生物信息学中的里程碑式应用

模型/论文	领域	生物“语言”	核心AI概念	关键贡献
ESM (Rives et al.)	蛋白质组学	氨基酸序列	BERT（掩码语言建模）	仅从序列中学习进化模式，实现结构/功能预测
AlphaFold2 (Jumper et al.)	蛋白质组学	氨基酸序列 + 多序列比对（MSA）	Transformer（注意力）	在3D蛋白质结构预测中达到实验级精度
ESMFold (Lin et al.)	蛋白质组学	氨基酸序列	蛋白质语言模型嵌入	实现了高速、无需MSA的结构预测，解锁了宏基因组学分析
DNABERT (Ji et al.)	基因组学	DNA k-mers	BERT（预训练-微调）	从DNA序列预测基因组调控元件（启动子、剪接位点）
Geneformer (Theodoris et al.)	转录组学	排序后的基因列表（来自scRNA-seq）	BERT（掩码词元预测）	建模基因网络动态，用于in silico扰动和靶点发现

2.1 蛋白质组学：破译蛋白质的语言

蛋白质是生命活动的主要执行者，其功能由其三维结构决定，而结构又由其氨基酸序列编码。将LLM应用于蛋白质组学，旨在从序列中解码结构和功能信息，这是该领域最成功、影响最深远的应用方向之一。

2.1.1 基础蛋白质语言模型：ESM系列

核心文献: Rives, A., Meier, J., Sercu, T., Goyal, S., Lin, Z., Liu, J.,… & Fergus, R. (2021). Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences. Proceedings of the National Academy of Sciences, 118(15), e2016239118.

ESM（Evolutionary Scale Modeling）系列模型是将BERT范式成功应用于蛋白质世界的开创性工作。其核心类比非常直接：蛋白质是一句话，氨基酸是一个单词。研究人员将BERT的掩码语言模型（MLM）任务直接应用于蛋白质序列：随机掩盖一个氨基酸，并训练模型根据其在序列中的上下文来预测它。

这篇论文的关键发现是，当在一个包含数亿条不同蛋白质序列的巨大数据库（如UniParc中的2.5亿条序列）上训练Transformer模型时，模型在没有任何显式生物学知识或标签的情况下，其内部表示（嵌入）会自发地学习到深刻的生物学和进化规律。这些学习到的表示捕捉了关于蛋白质结构（如二级结构、残基接触）和功能的信息，而模型本身并未针对这些任务进行过训练。这证明了无监督学习在揭示生物序列内在规律方面的巨大潜力。这些高质量的嵌入随后被证明是各种下游任务的强大特征，例如预测突变对蛋白质功能的影响，以及预测对结构预测至关重要的残基间接触。

2.1.2 结构预测的里程碑：AlphaFold2

核心文献: Jumper, J., Evans, R., Pritzel, A., Green, T., Figurnov, M., Ronneberger, O.,… & Hassabis, D. (2021). Highly accurate protein structure prediction with AlphaFold. Nature, 596(7873), 583-589.

AlphaFold2是由DeepMind开发的革命性系统，它在很大程度上“解决”了困扰生物学界50年之久的蛋白质折叠问题。与纯粹的语言模型不同，AlphaFold2是一个高度专业化的系统，它显式地将生物学和物理学知识整合到模型设计中。其核心输入不仅包括目标蛋白质的氨基酸序列，还包括一个关键的生物信息学工具——多序列比对（Multiple Sequence Alignment, MSA）。MSA通过比对相关物种中的同源蛋白序列，揭示了哪些残基在进化过程中倾向于共同突变，这强烈暗示了它们在三维结构中的空间邻近性。

AlphaFold2的架构深度借鉴了Transformer。其核心是一个名为“Evoformer”的模块，它使用基于注意力的机制来同时处理MSA和残基对表示，从而构建出一个关于残基间相互作用的隐式图谱。随后，一个独立的“结构模块”（Structure Module）将这些丰富的表示直接转换为蛋白质的3D原子坐标。

在第14届蛋白质结构预测关键评估（CASP14）竞赛中，AlphaFold2取得了前所未有的成功。它对大多数蛋白质靶标的预测精度都达到了与实验方法（如X射线晶体学）相媲美的水平，这一成就被广泛认为是生物学领域的重大突破。

2.1.3 无需MSA的结构预测：ESMFold

核心文献: Lin, Z., Akin, H., Rao, R., Hie, B., Zhu, Z., Lu, W.,… & Rives, A. (2023). Evolutionary-scale language modeling of proteins enables high-resolution structure prediction. Science, 379(6637), 1123-1130.

ESMFold代表了蛋白质语言模型发展轨迹的一个顶点，它成功地将纯语言模型方法应用于高精度结构预测。ESMFold的关键突破在于，它能够仅使用蛋白质的单一氨基酸序列作为输入来预测高精度的三维结构，完全绕过了耗时的MSA构建和搜索步骤。

它之所以能做到这一点，是因为它利用了一个巨大的、拥有150亿参数的蛋白质语言模型（ESM-2）在其权重参数中隐式学习并存储的丰富进化信息。通过在海量序列数据上进行预训练，ESM-2已经内化了与MSA所能提供的相似的协同进化模式。ESMFold的速度优势是其核心竞争力。由于省去了MSA搜索，它的推理速度比AlphaFold2快了几个数量级。这种速度上的飞跃不仅仅是量的提升，更是质的改变。它使得对海量蛋白质进行结构预测成为可能，例如，对包含数亿条序列的宏基因组数据库进行结构预测，这在使用先前方法时是计算上不可行的。

蛋白质结构预测领域的进展揭示了两种截然不同但都非常成功的范式，它们都依赖于Transformer架构。AlphaFold2代表了一种“专家系统”方法，其中人类的先验知识（即MSA的重要性）被明确地设计为模型的输入。这种方法将进化信息作为显式输入，并构建了一个复杂的、专门的Transformer架构（Evoformer）来处理这些信息，从而将其转换为3D坐标。这种方法非常有效，但由于MSA搜索的计算成本较高，因此速度较慢。

相比之下，ESMFold则代表了一种“纯粹规模化”的方法。它基于一个假设：MSA中包含的进化信息本质上只是序列中的统计模式。如果一个语言模型足够大，并且见过的多样化序列足够多，它就应该能够通过MLM目标隐式地学习到这些模式。ESMFold的成功验证了这一假设，表明MSA中的“知识”可以被压缩并存储在神经网络的权重中。这最终形成了一个实用的权衡：对于需要最高精度的单个靶标，且MSA搜索可行的情况，AlphaFold2是首选；而对于需要对海量数据集进行高通量预测，速度至关重要的情况，ESMFold则更具优势。这两种路径的存在本身就是该领域的一项重大发现。

2.2 基因组学：阅读生命的蓝图

基因组DNA序列是生命的蓝图，其中包含了编码蛋白质的基因以及调控这些基因表达的复杂指令。将LLM应用于基因组学，旨在破译这些调控“语法”，预测功能元件的位置。

2.2.1 将BERT应用于DNA：DNABERT

核心文献: Ji, Y., Zhou, Z., Liu, H., & Davuluri, R. V. (2021). DNABERT: pre-trained Bidirectional Encoder Representations from Transformers model for DNA-language in genome. Bioinformatics, 37(15), 2112-2120.

DNABERT是BERT范式在基因组学领域的直接应用，它展示了LLM框架的强大通用性。为了将DNA序列适配给为文本设计的模型，DNABERT采用了一种巧妙的“语言化”策略。它不将单个核苷酸（A, T, C, G）视为词元，而是使用重叠的k-mers（例如，长度为6的核苷酸片段，如“ATGCGA”）作为模型的输入词元。这种策略使得模型能够捕捉到比单个核苷酸更大的局部模式，这对于识别如转录因子结合位点等基序（motif）至关重要。

遵循BERT的经典流程，DNABERT首先在参考基因组（如人类基因组）上使用MLM目标进行大规模预训练。然后，这个预训练好的模型可以在较小的、有标签的数据集上进行微调，以执行特定的预测任务。论文展示了DNABERT在预测多种基因组调控元件方面达到了顶尖水平，包括启动子（基因转录的起点）、剪接位点（决定RNA如何被剪切和拼接）以及转录因子结合位点。这表明，模型通过无监督预训练，成功地学习到了基因组调控代码中有意义的“语法”和“语义”。

DNABERT的成功有力地证明了Transformer/BERT框架的鲁棒性和普适性。为人类语言设计的相同架构，仅通过改变词元化方案（从单词到k-mers），就能有效地建模基因组的调控语法。这强有力地验证了“序列即语言”这一核心隐喻。BERT最初被设计用于理解人类语言中的上下文（例如，“bank”的含义取决于其周围的词语）。同样，DNA序列的功能也依赖于其上下文（例如，一个TATA盒只有在转录起始位点的正确上游位置才能作为启动子元件发挥作用）。DNABERT的成功表明，这本质上是同一个基础问题，自注意力机制是学习任何符号序列中上下文关系的通用工具，无论该序列是由人类还是由进化过程创造的。

2.3 转录组学：在单细胞分辨率上建模基因调控

转录组学研究在特定细胞或组织中基因的表达水平。特别是单细胞RNA测序（scRNA-seq）技术，能够为我们提供单个细胞内数千个基因表达量的快照。Geneformer模型展示了如何将LLM的概念从一维序列推广到更复杂的系统生物学数据。

2.3.1 从细胞到句子：Geneformer

核心文献: Theodoris, C. V., Xiao, L., Chopra, A., Chaffin, M. D., Sayed, Z. R. A., Hill, M. C.,… & Ellinor, P. T. (2023). Transfer learning enables predictions in network biology. Nature, 618(7873), 616-624.

Geneformer的革命性之处在于它对“语言”的创新定义。它不处理线性生物聚合物，而是将一个单细胞的转录组（即该细胞的完整基因表达谱）视为一个“句子”或“文档”。这个句子中的“单词”就是该细胞中表达的基因。

为了将高维的表达向量转换为序列，Geneformer首先根据基因在细胞内的表达水平进行排序，同时考虑该基因在整个训练语料库中的表达分布，从而生成一个排序后的基因列表。这种排序编码保留了关键的生物学信息，例如，低表达但具有细胞状态特异性的转录因子会被排在前面。然后，模型在一个包含约3000万个此类“细胞句子”的庞大语料库上，使用类似BERT的掩码预测目标进行预训练：模型学习根据特定细胞中其他未被掩盖的基因的共表达上下文，来预测被掩盖的基因。

通过这种自监督学习，Geneformer学习到了基因共调控和网络动态的基本规则，其注意力权重甚至自发地编码了网络层级结构。这个强大的预训练模型随后可以用于各种前沿的下游应用，包括进行“in silico”（计算）扰动实验，以预测敲除某个基因会对细胞状态产生何种影响。在论文中，研究者利用这一能力成功识别了新的疾病驱动基因和潜在的治疗靶点，并随后通过生物学实验验证了这些预测。

Geneformer代表了LLM范式超越一维序列的深刻推广。它证明了LLM可以用来建模一个复杂、动态的相互作用系统（如细胞的基因调控网络），只需将该系统的状态表示为一组共现的词元即可。此前的模型如ESM和DNABERT处理的是具有固定物理顺序的一维聚合物。而一个细胞的转录组是一个高维向量，没有内在的物理顺序。Geneformer的关键洞见在于通过表达量排序来施加一个顺序，将向量转化为序列。通过对这些“细胞句子”应用掩码预测任务，模型被迫学习在特定细胞状态下哪些基因倾向于共同表达，这等同于学习了底层基因调控网络的结构。这一成功表明，Transformer的威力不仅限于物理序列数据，它可以用于建模任何能够将“状态”表示为共现词元集合的系统，为未来在代谢通路、生态群落或其他复杂生物系统中的应用开辟了道路。

第三部分：前沿拓展——专业化应用与未来方向

除了在蛋白质组学、基因组学和转录组学等核心领域的应用外，LLM范式也正在向更广泛的生物医学领域渗透，特别是在药物发现和生物医学文献挖掘方面，展现出巨大的潜力和独特的优势。

3.1 革新药物发现

药物发现是一个成本高昂、周期漫长的过程。LLM正在从两个关键方面加速这一进程：从头设计新分子和预测分子与靶标的相互作用。

3.1.1 基于化学语言模型的从头分子设计

代表性文献: Grisoni, F. (2023). Chemical language models for de novo drug design: Challenges and opportunities. Current Opinion in Structural Biology, 79, 102527.

从头（de novo）分子设计的目标是创造全新的、具有特定期望属性（如对某个疾病靶标有高活性）的化合物。化学语言模型（Chemical Language Models, CLM）通过将化学分子表示为一维字符串来实现这一目标。最常用的表示法是SMILES（Simplified Molecular-Input Line-Entry System），它通过一套语法规则将二维或三维的分子图结构转换成一个字符序列。

一旦分子被“语言化”，就可以应用标准的LLM技术。研究人员在大型已知分子数据库（如ZINC、ChEMBL）上训练RNN或Transformer模型。训练完成后，这些模型就学会了SMILES语言的“语法”（即化学成键规则），可以生成代表有效化学结构的新SMILES字符串。更进一步，这个生成过程可以通过强化学习等技术进行引导，以优化生成分子的特定属性，例如对靶标的高结合亲和力、良好的“类药性”（QED分数）或较高的合成可及性。

3.1.2 基于Transformer的药物-靶标相互作用预测

核心文献: Huang, K., Xiao, C., Glass, L. M., & Sun, J. (2021). MolTrans: Molecular interaction transformer for drug–target interaction prediction. Bioinformatics, 37(6), 830-836.

药物-靶标相互作用（Drug-Target Interaction, DTI）预测是药物发现中的一个核心计算任务：给定一个药物分子和一个蛋白质靶标，预测它们是否会相互作用以及作用的强度。这对于虚拟筛选大量候选化合物至关重要。

像MolTrans这样的模型采用了基于Transformer的双编码器架构来解决这个问题。一个Transformer编码器负责处理药物的SMILES字符串（通常会先将其分解为有意义的化学子结构），而另一个独立的Transformer编码器则处理蛋白质靶标的氨基酸序列。这两个编码器分别学习药物和蛋白质的上下文感知嵌入表示。然后，这些高质量的表示被送入一个交互模块（例如，一个卷积网络或额外的注意力层），该模块旨在建模药物和蛋白质之间的相互作用模式，并最终输出一个相互作用的概率分数。这种方法能够同时学习结合双方的表示，从而更准确地预测它们之间的相互作用。

LLM在药物发现中的应用，揭示了模型学习和操作一种纯粹符号化的、由人类发明的“语言”（SMILES）的能力，而不仅仅是自然进化的语言。蛋白质和DNA序列是自然选择过程的产物，其中的模式反映了生物学约束。而SMILES是一种形式化的语法，是人类为表示化学结构而发明的一套规则。当一个Transformer模型学会生成有效且新颖的SMILES字符串时，它实际上已经掌握了这套语法的规则（如原子价、环的闭合等）。当它进一步学会生成具有特定化学性质的SMILES时，它已经超越了语法层面，开始理解化学子结构（SMILES语言的“单词”）与其涌现出的化学属性之间的语义关系。这表明LLM的学习能力达到了比简单建模自然序列更高的抽象层次，证明了它们是学习任何基于规则的符号系统的强大工具，因此与化学信息学领域天然契合。

3.2 挖掘生物医学文献：领域专属的自然语言处理

生物医学文献是人类知识的宝库，但其数量庞大，增长迅速，使得人工提取信息变得日益困难。LLM为自动化、规模化地挖掘这些文本提供了前所未有的工具。

3.2.1 在科学文本上微调：BioBERT与ClinicalBERT

核心文献:
- Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234-1240.
- Alsentzer, E., Murphy, J., Boag, W., Weng, W. H., Jin, D., Naumann, T., & McDermott, M. (2019, June). Publicly available clinical BERT embeddings. In Proceedings of the 2nd clinical natural language processing workshop (pp. 72-78).

早期的研究发现，像BERT这样在通用语料库（如维基百科）上预训练的模型，在处理生物医学和临床文本时表现不佳。其根本原因在于“领域鸿沟”：专业文本的词汇、句法和实体关系与通用语言存在巨大差异。

BioBERT和ClinicalBERT是解决这个问题的开创性工作。它们采用了“持续预训练”（continual pre-training）的策略：首先加载一个通用的预训练BERT模型，然后在其基础上，使用大规模的领域专属语料库继续进行预训练。BioBERT使用了PubMed摘要和PMC全文文章，而ClinicalBERT则使用了MIMIC-III数据库中的临床病历。这种领域自适应的预训练使得模型能够学习到专业的词汇和知识，从而在多项下游任务上取得了显着的性能提升，例如生物医学命名实体识别（NER）、关系提取和临床推断。

3.2.2 从零开始预训练：PubMedBERT的方法

核心文献: Gu, Y., Tinn, R., Cheng, H., Lucas, M., Usuyama, N., Liu, X.,… & Poon, H. (2021). Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), 3(1), 1-23.

在BioBERT成功的基础上，PubMedBERT的作者们提出了一个更进一步的假设：对于像生物医学这样拥有海量文本数据的领域，从零开始（from scratch）预训练一个模型，是否会比在通用模型基础上继续训练更优？。

PubMedBERT与BioBERT的一个关键区别在于词汇表。BioBERT继承了通用BERT的词汇表，而PubMedBERT则完全基于生物医学语料库（PubMed）构建了一个全新的、领域专属的词汇表。这样做的好处是，专业术语（如“acetyltransferase”）可以被表示为单个或少数几个词元，而不是被通用词汇表分解成无意义的片段（如“ace”, “##tyl”, “##trans”, “##fer”, “##ase”），这使得表示更高效、更有意义。

实验结果证明了这一假设的正确性。在BLURB（Biomedical Language Understanding & Reasoning Benchmark）基准测试中，从零开始预训练的PubMedBERT在各种任务上的表现都持续优于采用持续预训练策略的BioBERT 。

从BioBERT到PubMedBERT的演进揭示了一个关于应用LLM的关键且不直观的原则：当领域内数据足够丰富时，语言的领域特异性比通用的世界知识更为重要。科学语言与通用语言的差异之大，使得一个完全在该领域内从头构建的模型，比一个试图从通用知识进行适配的模型能取得更好的效果。最初的直觉可能是，在维基百科等通用数据上预训练的BERT模型拥有“常识”基础，在其上添加专业知识（BioBERT的策略）是合乎逻辑的。然而，这带来了隐性成本：模型的词汇表和初始权重分布都是为通用文本优化的。PubMedBERT的实验则反其道而行之，忽略通用知识，从零构建一个“专家”模型。其卓越的性能证明，一个完美定制的词汇表和与目标领域一致的训练数据分布所带来的好处，超过了从通用领域迁移知识的所谓优势。这为在任何专业领域（无论是法律、金融还是工程）开发LLM提供了宝贵的经验。

第四部分：综合与结论

本综述系统性地梳理了大型语言模型从其在自然语言处理领域的 foundational breakthroughs 到在生物信息学中多样化应用的演进脉络。通过剖析一系列里程碑式的文献，一个清晰的叙事浮现出来：将复杂的生物学问题重新框定为“语言”问题，并应用、调整强大的序列处理模型来解决它们，已成为推动该领域发展的核心驱动力。

综合分析揭示了几个关键趋势：

范式的共存与演化：在蛋白质结构预测领域，我们见证了两种成功范式的并行发展。AlphaFold2代表了“专家知识驱动”的路径，将人类对进化重要性的理解（MSA）显式地编码为模型输入。而ESM/ESMFold则代表了“纯粹规模化”的路径，证明了只要模型和数据规模足够大，同样的进化知识可以被模型隐式地、自发地学习。这两种路径的共存为研究者提供了根据具体需求（最高精度 vs. 最高通量）进行选择的工具。
“语言”概念的泛化：从处理一维线性序列（蛋白质、DNA）到建模复杂的系统状态（单细胞转录组），Geneformer的成功极大地扩展了LLM的应用边界。它证明了Transformer架构的核心能力——捕捉元素间的上下文依赖关系——可以应用于任何能够被表示为“共现词元集合”的系统。这为未来利用LLM建模代谢网络、物种群落等更复杂的生物系统开辟了广阔的前景。
领域原生预训练的重要性：在生物医学文本挖掘领域，从BioBERT到PubMedBERT的演进提供了一个深刻的教训：对于拥有海量数据的专业领域，从零开始构建一个“领域原生”的模型，其性能优于在通用模型基础上进行适配。这强调了词汇表和数据分布的匹配对于实现最佳性能的至关重要性。

总而言之，“生命语言”不仅是一个富有启发性的隐喻，更是一个被反复验证的、行之有效的计算框架。展望未来，该领域的发展方向可能在于整合这些已有的洞见，构建能够处理和关联多种生物“语言”的多模态基础模型。一个能够同时理解基因序列、蛋白质结构、细胞表达谱和科学文献的模型，将有能力在前所未有的尺度上进行跨领域推理，自动生成新颖的科学假设，从而真正成为加速生物学发现的强大引擎。