AI 技术基础及关键概念
什么是AI?
AI 是人工智能(Artificial Intelligence) 的缩写,它是一种让计算机和机器能够模拟人类学习、理解、问题解决、决策制定,以及发挥创造力和自主性的技术。
AI 涵盖许多不同的学科,包括计算机科学、数据分析和统计、硬件和软件工程、语言学、神经学,甚至哲学和心理学。
它的核心在于训练计算机去做那些原本只有人类大脑才能完成的任务,从理解周围的世界到学习新事物,甚至产生新的想法。比如目前应用广泛的生成式AI(generative AI),可以基于人类自然语言的描述,输出对应的文章、图像甚至视频结果。
人工智能技术虽然多种多样,但从根本上来说都依赖于数据、算法和算力。AI 系统会通过接触大量数据来学习和改进,以识别人类可能会忽视的模式和关系。这些数据是 AI 的训练材料,其质量和数量对 AI 的性能至关重要。
关键技术
如前所述,AI 并不是某种单一的技术,而是一个包含多种关键技术的广泛领域,主要包括如下类型:
机器学习 (ML): AI 系统通过海量数据来学习、识别模式,并在没有直接编程的情况下做出预测或决策。典型的比如从成千上万张图片中学习并识别出鸟类。
深度学习 (DL):深度学习是机器学习的一个子领域,使用多层(因此称为“深度”)人工神经网络从数据中学习。这些网络的灵感来源于人脑的结构,尤其擅长处理图像识别和语音识别等复杂任务。
自然语言处理 (NLP):NLP 使计算机能够理解、解读和生成人类语言。比如Siri、豆包等语音助理、翻译服务和聊天机器人都离不开这项技术。
计算机视觉:这一技术让计算机能够“看见”并解读这个世界的视觉信息,如图片和视频。从人脸识别到自动驾驶型汽车,都需要依赖计算机视觉技术。
AI、机器学习、深度学习的关系可用下图表示:

按能力不同划分
而根据 AI 模型的智能水平和解决问题的能力,通常还可将 AI 分为如下三类。
弱人工智能 (ANI, Artificial Narrow Intelligence):这是目前已存在的人工智能形式。ANI 模型旨在执行单一的特定任务,例如识别图片、进行聊天或过滤邮件。包括语音助理、人脸识别技术、各种生成式 AI 模型、大语言模型 (LLM)。但尽管以智能命名,ANI 并不具备推理能力或自我意识,而是将数据与算法相结合,在预定义的参数范围内做出预测。ANI 有很多好处,但也存在风险,质量不佳的训练数据可能会导致输出结果有偏见或不准确,并可能会造成严重后果(如网络AI诈骗)。
通用人工智能 (AGI, Artificial General Intelligence):这是 AI 技术假想的未来发展阶段,AGI 将达到人类思维的水平。它能够执行广泛的任务,并利用类似人类的推理能力进行学习、适应和改进。AGI 目前尚不存在。与 ANI 不同,AGI 将具有适应性、自主性,并能够从其行动中学习。很多出现在科幻影片中的机器人(如《星球大战》中的R2)都处于这一类
强人工智能 (ASI, Artificial Super Intelligence):这是理论上最先进的 AI 形式,目前技术远未达到。ASI 将是一种具有自我意识的实体,其运行不受人类控制,在推理、创造力甚至情商方面都将大大超过人类智能。有理由担心 ASI 可能会对人类的生存构成威胁,一很多研究人员认为,ASI 极有可能带来非常糟糕的结果,包括人类灭绝。
AI的历史
AI 其实并不是最近才出现的概念,早在1950年,图灵博士(Alan Turing) 在其开创性的论文《计算机与智能》中就首次谈到了计算机的智能化概念。现在的 AI 技术其实是数十年技术积累和演进的结果。
1950 年
艾伦·图灵 (Alan Turing) 发表了《计算机与智能》(Computing Machinery and Intelligence)。在这篇论文中,被称为“计算机科学之父”的图灵提出了以下问题:“机器能思考吗?”
为了回答这个问题,他提供了一个测试,这就是著名的“图灵测试”,此测试中,人类询问者将尝试区分哪些文本响应是计算机做出的,哪些是人类做出的。虽然这项测试自发布以来经过了大量审查,但它仍然是 AI 历史的重要组成部分,也是哲学中一个不断发展的概念,因为它利用了有关语言学的想法。
1956 年
约翰·麦卡锡 (John McCarthy) 在达特茅斯学院举行的第一届 AI 会议上首创“人工智能”一词。(麦卡锡后来发明了 Lisp 语言。)同年晚些时候,Allen Newell、JC Shaw 和 Herbert Simon 共同创建了第一个运行的 AI 计算机程序——Logic Theorist。
1967 年
弗兰克·罗森布拉特 (Frank Rosenblatt) 建造了 Mark 1 Perceptron,这是第一台基于神经网络的计算机,可以通过反复试错来“学习”。仅仅一年后,Marvin Minsky 和 Seymour Papert 就出版了一本名为《感知器》 (Perceptrons) 的书,该书成为神经网络的里程碑式著作,至少在一段时间内成为反对未来神经网络研究项目的论据。
1980 年
使用反向传播算法进行自身训练的神经网络在 AI 应用中得到了广泛使用。
1995 年
斯图尔特·罗素 (Stuart Russell) 和彼得·诺维格 (Peter Norvig) 出版了《人工智能:一种现代方法》(Artificial Intelligence: A Modern Approach),成为 AI 研究领域的领先教科书之一。在这本书中,他们深入研究了 AI 的四个潜在目标或定义,这些目标或定义根据理性和思考与行动来区分计算机系统:
1997 年
IBM 的“深蓝”在一场国际象棋比赛(以及复赛)中击败了当时的世界象棋冠军 Garry Kasparov。
2004 年
约翰·麦卡锡 (John McCarthy) 撰写了一篇名为《什么是人工智能?》(What Is Artificial Intelligence?) 的论文,并提出了一个经常被引用的 AI 定义。此时,大数据和云计算时代已经到来,这使组织能够管理越来越大的数据资产,这些数据资产未来将用于训练 AI 模型。
2011 年
IBM Watson 在 Jeopardy! 比赛中击败冠军 Ken Jennings 和 Brad Rutter!同时,大约在这个时候,数据科学开始成为一门受欢迎的学科。
2015 年
百度的 Minwa 超级计算机使用一种称为卷积神经网络的特殊深度神经网络来识别和分类图像,准确率超越普通人。
2016 年
DeepMind 的 AlphaGo 程序,由深度神经网络支持,在一场五局比赛中击败了围棋世界冠军李世石 (Lee Sodol)。由于棋局中可能出现大量棋步(四手之后就有超过 14.5 万亿个可能棋步!),因此,这场胜利意义重大。后来,Google 作价 4 亿美元收购了 DeepMind。
2022 年
大语言模型 (LLM)(以 OpenAI 的 ChatGPT为代表)的兴起为 AI 的性能带来了显著变化,并增强其为企业创造价值的能力。借助这些新一代的生成式 AI 技术,深度学习模型能够在海量数据上进行预训练。
2024 年后
AI 趋势表明 AI 发展正在大步走向应用领域。多模态模型可以接受多种类型的数据作为输入,提供了更丰富、更强大的体验。这些模型将计算机视觉中的图像识别和 NLP 语音识别功能结合在一起。在大规模模型收益递减、参数数量庞大的时代,小型模型也在不断进步。
AI中的常见概念
AI 技术领域广大,涵盖范围几多。而学习 AI 技术,不可避免会接触各种专业概念,以下择要对一些常见概念进行说明和解释。
机器学习(Machine Learning)
机器学习是人工智能的一个分支,通过向系统输入大量数据后,系统会使用神经网络和深度学习进行自主学习和改进,而无需对其明确编程。
机器学习可让计算机系统通过累积更多“经验”来不断调整并增强自身功能,因此,通过提供更大、更多样化的数据集进行处理,可以提高这些系统的性能。
而在进行机器学习时,根据采用的学习模式又可分为:
监督式学习(Supervised learning):在该模式下,数据科学家扮演向导,告诉算法它应该得出什么结论。就像小孩通过在图画书中记住苹果的样子来学习什么是苹果一样,在监督学习中,算法是由已经标记并具有预定义输出的数据集进行训练的。监督机器学习使用线性和逻辑回归、多类分类和支持向量机等算法。
最常用的监督式学习算法包括:
- 线性回归
- 多项式回归
- K 近邻算法
- 朴素贝叶斯
- 决策树
无监督式学习(Unsupervised learning):在该模式下,计算机会在人类没有持续提供密切指导的前提下学习识别复杂的过程和模式。无监督机器学习包括根据没有标签的数据或特定的、定义好输出的数据进行训练。无监督机器学习类似于给孩子一个水果图片,小孩通过观察颜色和图案来识别这是不是苹果,而不是在老师的帮助下记住水果的名字。孩子(算法)会自己寻找图像之间的相似性,对图像分组,为每一个小组分配一个新标签。无监督机器学习的算法有 K 均值聚类、主成分和独立分量分析以及关联规则。
常用的非监督式学习算法包括:
- 模糊均值
- K-means 集群
- 层次聚类
- 偏最小二乘
半监督式学习 (semi-supervised learning): 训练模型时采用的数据中,某些训练样本有标签,而其他样本则没有标签。半监督式学习采用的一种技术是推断无标签样本的标签,然后使用推断出的标签进行训练,以创建新模型。如果获得有标签样本需要高昂的成本,而无标签样本则有很多,那么半监督式学习将非常有用。
两者的区别主要在于用于学习的数据是否存在标签

深度学习(Deep Learning)
深度学习是机器学习的一个分支。许多传统机器学习算法学习能力有限,知识是从数据中获取的,但是只是增加数据量并不能持续增加学到的知识总量。深度学习系统可以通过访问更多数据来提升性能,即“更多经验”的机器代名词。机器通过深度学习获得足够经验后,即可用于特定的任务,如驾驶汽车、识别田地作物间的杂草、确诊疾病、检测机器故障等。
神经网络(Neural Network, NN)
神经网络是一种机器学习程序或模型,它以类似于人脑的方式做出决策,通过使用模仿生物神经元协同工作方式的过程来识别现象、权衡利弊并得出结论。
每个神经网络都由多个节点层或人工神经元组成 , 一个输入层、一个或多个隐藏层和一个输出层。每个节点都与其他节点相连,具有一个关联的权重和阈值。如果任何单个节点的输出高于指定的阈值,那么该节点将被激活,并将数据发送到网络的下一层。否则,不会将数据传递到网络的下一层。神经网络依靠训练数据来学习并随着时间的推移提高其准确性。一旦对其准确性进行微调,它们就会成为计算机科学和人工智能领域的强大工具,使我们能够高速对数据进行分类和聚类。与人类专家的人工识别相比,人工智能进行语音识别或图像识别只需几分钟,而人工识别则需要几小时。神经网络最著名的例子之一就是 Google 的搜索算法。
神经网络有时被称为人工神经网络 (ANN) 或模拟神经网络 (SNN)。它们是机器学习的一个子集,是深度学习模型的核心。
自然语言处理(NLP)
自然语言处理(Natural Language Processing,NLP)是计算机科学和人工智能的一个重要领域,旨在使计算机能够理解、解释、生成和响应人类自然语言。NLP结合了语言学、计算机科学和统计学的知识,以处理和分析大量自然语言数据,从而实现人机交互、文本分析等任务。
大语言模型(LLM)
大语言模型(large language model)。是一种利用机器学习技术来理解和生成人类语言的人工智能模型。LLM 使用基于神经网络的模型,通常运用自然语言处理(NLP)技术来处理和计算其输出。目前比较知名的大语言模型有GPT-4、DeepSeek、文心一言、通义千问等。
大模型的“蒸馏”
中文词语“蒸馏”是提纯的意思,以酿酒工艺为例,蒸馏利用酒精和水沸点的不同,通过加热使酒精汽化,然后冷凝收集高浓度的酒精溶液。酒精的沸点为78.5℃,而水的沸点为100℃,因此通过加热发酵液,酒精会先于水蒸发出来,经过冷凝后得到高度数的酒精溶液,是用蒸馏提纯,特点是在源溶液的基础上做减法。

大模型“蒸馏”技术如果非专业人看很容易误解为“偷窃、偷取之意,如A模型被“蒸馏”后数据就减少了”,实际并非如此。准确来讲大模型“蒸馏”技术应该翻译为“教学或传授”(类似老师教学生),比如数学老师利用自身丰富的知识储备,把各类常考题目整理成册并配上解题思路后讲授给学生,学生不只是简单的背题库还学习了老师的解题思路,掌握了问题分析和思考的能力(能够举一反三),大模型“蒸馏”技术是把大语言模型中的能力和知识迁移到更小的模型的技术,目的是在于构造出来资源高效和性能优异的小模型,未经过蒸馏的模型好比是老师,经过蒸馏的小模型可以比作学生。

DeepSeek允许把目前最强的大模型R1的能力蒸馏给任意小模型,并且官方给出了操作方式,在已公布的蒸馏版小模型中大家经常看到R1-Distill-Qwen-7B,好比把满血版的671B DeepSeek R1当做老师,老师出了一个教学册子,让阿里的模型Qwen作为学生来学习,利用了R1合成的高质量数据微调了Qwen7B的模型,虽然模型体量较小但是得到了R1的“教学”,其推理的能力有明显提升,老美在AI大模型领域也会经常用到蒸馏的技术,属于常规操作。
“蒸馏”模型优点是体积小、速度快和成本低、便于大规模的部署,缺点是:有时会模仿教师模型的回答习惯和视角,有时候创造性不足,老师大模型就是非蒸馏的大模型,优点是拥有更大规模的参数量,更完整的知识图谱,可以展现出来更高的能力,回答更有深度和创造性,缺点是运行成本高,资源占用大,对硬件GPU的依赖较高,最后总结,蒸馏技术让小模型的能力得到提升,且更易于本地部署,帮助开发者实现应用落地。
大模型中的“Token”
商用大模型有关的报价通常都以“百万Tokens”为单位。这里 Token(令牌) 是模型用来表示自然语言文本的的最小单位,可以是一个词、一个数字或一个标点符号等。各模型服务商根据模型输入和输出的总Token数进行计量计费。
Token是模型领域,专门用来表示自然语言文本的基本单位,也是通用的计费单元,可以直观的理解为“字”或“词”;每个Token通常是1个中文词语、1 个英文单词、1个数字或 1个符号。DeepSeek官方也给出Token数和字数的大致换算比例如下:
- 1 个英文字符 ≈ 0.3 个 token。
- 1 个中文字符 ≈ 0.6 个 token。
实际使用时,也会因为不同模型的分词不同,换算比例也存在差异,每一次实际处理 token 数量以模型返回为准。

关于Token扣费:跟我们使用运营商的流量包类似,扣减的费用=Token 消耗量×模型单价,如DeepSeek官方的扣费是规则是直接从充值余额或赠送余额中进行扣减。
检索增强生成(Retrieval-Augmented Generation,RAG)
RAG是一种结合信息检索技术与生成式大语言模型(LLM)的架构,通过实时引入外部知识库提升模型在知识密集型任务中表现的技术。

核心是检索+生成结合将传统信息检索系统(如数据库、知识库)与LLM结合,利用检索到的外部信息辅助生成更准确、时效性更强的文本,常见的有通过外挂知识库:通过动态接入外部数据源(如企业文档、资料)用于弥补大模型训练数据滞后、领域知识不足等缺陷。
典型场景有RAG与Agent结合,通过智能体(Agent)实现动态决策,例如自动调用工具链完成复杂任务,实现多模态的扩展,可以从文本检索向图像、视频等多模态数据延伸,提升应用范围。
RAG通过“动态知识注入”机制,成为平衡大模型通用性与领域专业性的主流方案,尤其在需要实时性和高准确率的场景中表现突出。
智能体(Agent)
按照OpenAI对AI能力等级的划分,可分为五个阶段,具体如下:
Level 1:聊天机器人(Conversational AI) 这是目前AI所处的阶段,AI能够以自然语言与人类进行对话交流。例如常见的聊天机器人、虚拟助手等,像ChatGPT、Claude等都属于这一级别。它们可以处理客户服务交互,提供基本的协助,但仅限于基于语言的任务,缺乏复杂的解决问题能力。
Level 2:推理者(Reasoners) 在这一阶段,AI系统能够像拥有博士学位的人类一样解决复杂问题,但无法使用外部工具。这些“推理者”有望在学术和专业领域独立解决复杂问题,这标志着AI认知能力的显著提升。
Level 3:智能体(Agents) 这一阶段的AI系统被称为“智能体”,能够代表用户自主执行任务,持续数天甚至更长时间。这些系统可以在不同领域独立完成多种任务,无需人类持续干预,有望彻底改变商业运营和效率。
Level 4:创新者(Innovators) 这一阶段的AI能够协助发明创造,为科学发现和技术进步提供支持。它不仅能执行任务,还能创造和创新,提出创新的解决方案和想法。
Level 5:组织者(Organizations) 这是AI发展的最终阶段,AI系统能够完成整个组织的工作,管理并执行业务的所有功能,其效率和生产力将超越传统的人类运营模式。
智能体是AI系统实现自主决策的核心载体,其能力边界通过环境交互、多模态融合与策略优化不断拓展,正在重塑自动驾驶、工业自动化等领域的智能化水平,2025年普遍被认为是智能体发展的元年。1月份OpenAI宣布上线名为Operator的首款AI智能体,能为用户提供餐饮、活动、配送、购物、旅行相关服务和建议。
很多朋友分不清智能体、AIGC和AGI的关系,AGI是一个很长期且宏观的目标,是一个“超级大脑”,啥都能干,但目前还只是个理想。AIGC 是 AGI 的一部分,它主要关注的是内容创作这个领域,就像是 AGI 的“文艺细胞”。而智能体(Agent)则是 AGI 的另一个方面,它更注重行动,就像是 AGI 的“手脚”。简单来说,AGI 是一个大目标,AIGC 和智能体(Agent)都是朝着这个目标前进的不同方向。技术成熟度排序:AIGC(已大规模商用)>智能体(部分落地)>AGI(理论探索)
提示词(Prompt)
提示词是指用户输入给大语言模型(如ChatGPT)的指令、问题或一段文字,旨在引导模型生成符合期望的回复。再细分一点会分为系统提示词和用户提示词,这两种提示词是在与大型语言模型(特别是基于对话的模型如 ChatGPT)交互时的两个关键概念,它们共同决定了模型的最终输出。
系统提示词用于定义模型的角色、行为方式、回复风格和边界限制。
用户提示词用户在对话过程中直接输入给模型的每一条消息或问题用于表达用户当前意图,触发模型响应。
微调(Fine-tuning)
微调是指在预训练模型的基础上,使用特定任务的数据集对模型进行进一步的训练,使其适应特定任务。
微调和 RAG 都是针对特定用途调整 LLM 的不同方法。选择正确的方法取决于任务类型、是否有足够的数据以及想要实现的目标等因素。
| 技术 | 主要区别 | 优势 | 挑战 |
|---|---|---|---|
| 微调 | 更改模型的参数。 | 准确率更高,更具体,幻觉更少,可定制互动,经济高效,偏见更少。 | 存在“灾难性遗忘”风险,资源成本较高,对数据的要求更高,可能发生“过拟合”。 |
| RAG | 利用外部知识增强提示。 | 动态知识集成,上下文相关性,多功能性,对广泛训练的需求较少。 | 准确率有限(例如,RAG 只能参考它有权访问的数据,不根据训练进行推理),RAG 系统的维护较复杂,可能产生幻觉。 |
| 适用微调的场景: |
- 理解特定语言或术语: 如果您的项目使用大量行业术语,微调可以帮助模型学习并正确使用这些语言
- 提高特定任务的准确率: 如果您需要模型执行特定任务,例如对顾客评价进行分类或生成产品说明,微调可以显著提高模型的性能。
- 匹配特定风格或语气: 如果您希望模型生成符合特定品牌声音或写作风格的文本,微调可以帮助您实现这一目标
- 处理有限的数据: 当数据有限时,微调比从头训练模型更高效,因为它利用了预训练模型已经掌握的知识
- 降低成本和延迟: 对于高用量应用场景,微调较小的模型比为每个请求使用较大的通用模型更经济高效
- 处理边缘情况: 微调可以提高模型处理边缘情况和复杂提示的能力,这些情况和提示仅通过提示工程很难解决
嵌入(Embedding)
嵌入是将文本、图像和音频等对象表示为连续向量空间中的点的一种方法,其中这些点在空间中的位置对于机器学习 (ML) 算法具有语义意义。
对于构建文本和图像搜索引擎、推荐系统、聊天机器人、欺诈检测系统等应用程序的机器学习工程师来说,嵌入是一个重要工具。从本质上讲,嵌入能让机器学习模型找到相似的对象。
与其他机器学习技术不同,嵌入是使用各种算法(例如 Neural Networks)从数据中学习的,而不是明确要求人类专业知识来定义。它们允许模型去学习数据中的复杂模式和关系,否则人类将无法识别这些模式和关系。
例如,OpenAI 的嵌入实施使 ChatGPT 能够轻松理解不同单词和类别之间的关系,而不是仅仅单独分析每个单词。 通过嵌入,OpenAI 的 GPT 模型可针对用户提示和问题生成更加连贯、与上下文更相关的响应。
常用场景:
- Search 搜索(结果按与查询字符串的相关性排序)
- Clustering 聚类(文本字符串按相似性分组)
- Recommendations 推荐(推荐具有相关文本字符串的条目)
- Anomaly detection 异常检测(识别出相关性很小的异常值)
- Diversity measurement 多样性测量(分析相似性分布)
- Classification 分类(其中文本字符串按其最相似的标签分类)
多模态AI(Multimodal AI)
多模态 AI 指的是能够处理、理解和生成多种数据类型(称为"模态")的人工智能系统,例如:
- 文本 - 书面语言、文档、聊天消息
- 图像 - 照片、图表、图形、扫描文档
- 音频 - 语音、音乐、声音效果
- 视频 - 有声或无声的动态影像
关键的创新是多模态 AI 不仅分别处理这些数据——它还能理解它们之间的关系。例如,它可以查看图像并描述其中的内容,或者听取语音并准确转录

模型上下文协议(Model Context Protocol, MCP)
MCP (Model Context Protocol,模型上下文协议)定义了应用程序和 AI 模型之间交换上下文信息的方式。这使得开发者能够以一致的方式将各种数据源、工具和功能连接到 AI 模型(一个中间协议层),就像 USB-C 让不同设备能够通过相同的接口连接一样。MCP 的目标是创建一个通用标准,使 AI 应用程序的开发和集成变得更加简单和统一。

AI的覆盖范围非常广大,这里只是收集整理了一些常见的概念,大家在后续见到相关概念,包括后续要继续深入的化,可以先有一个认知起点。