人工智能内容整理提纲

根据你提供的讲义内容，我将AIE1001 Introduction to AI Programming课程中关于人工智能（AI）的所有内容整理如下，涵盖Week 11的LLM核心内容，以及相关的编程基础：

🤖人工智能内容整理提纲

第一部分：大语言模型（Large Language Models, LLMs）

Week 11：Intro. to Large Language Models

1. 什么是大语言模型？

• 定义：基于Transformer架构，通过大量文本训练的AI系统
• 核心任务：下一个词预测（Next Token Prediction）
• 规模：参数从几十亿到万亿（3B, 7B, 36B, 480B, 1T等）

2. LLM如何工作？

• 输入处理：将文本转换为token序列
• 预测机制：基于当前上下文预测下一个最可能的token
• 概率分布：输出所有可能token的概率分布

3. 训练与学习过程

• 预训练（Pre-train）：海量无标签数据上训练
• 微调（Fine-tune）：有标签数据上调整
• RLHF（基于人类反馈的强化学习）：根据人类反馈优化输出

4. LLM的能力范围

• 文本理解与生成：问答、写作、翻译、总结
• 多模态能力：通过编码器-解码器处理图像、语音
• 代码生成：Tetris游戏只需一条指令
• 推理能力：DeepSeek-R1等模型的深度思考

5. 上下文工程（Context Engineering）

• 系统提示（System Prompt）：定义模型角色和行为（如Claude的2516词系统提示）
• 用户提示（User Prompt）：任务描述、细节、规则、输出风格
• 示例学习（In-context Learning）：通过提供示例让模型学习
• 外部资源整合：
  • 检索增强生成（RAG）
  • 工具使用（Tool Use）：搜索、日历、计算机操作
  • 记忆管理：长对话历史处理

6. AI智能体（AI Agent）

• 定义：能够自主执行任务的AI系统
• 工作流程：观察→思考→行动→反馈循环
• 多智能体协作：多个Agent分工合作（如ChatDev）
• 挑战：长上下文处理、工具使用、规划能力

7. 模型生态

• 闭源模型：ChatGPT（OpenAI）、Claude（Anthropic）、Gemini（Google）
• 开源模型：LLaMA（Meta）、Mistral、Gemma（Google）
• 模型平台：Hugging Face（14万+模型）

8. 技术挑战

• 上下文窗口：从2K到2M+ token，但长上下文理解仍有限
• "迷失在中间"问题：模型更关注开头和结尾内容
• 幻觉（Hallucination）：生成看似合理但不准确的内容

第二部分：AI编程基础

Week 9 & 10：Data Structure and Algorithm

1. 算法分析

• 时间复杂度：大O表示法（O(1), O(log n), O(n), O(n log n), O(n²), O(2ⁿ)）
• 算法效率对比：多项式时间 vs 指数时间
• 实验分析：运行时间测量与可视化

2. 核心算法

• 搜索算法：二分查找（O(log n)）
• 排序算法：
  • 冒泡排序（O(n²)）
  • 快速排序（O(n log n)）- 分治法
• 递归算法：幂函数计算、二分查找实现

3. 数据结构

• 栈（Stack）：LIFO，用于括号匹配、HTML标签检查
• 队列（Queue）：FIFO，用于任务调度、网页服务模拟
• 链表（Linked List）：单链表、双向链表、循环链表
• 树（Tree）：层次结构，用于组织架构、表达式表示、路径搜索

4. 数据结构应用

• 栈应用：表达式求值、回溯算法
• 队列应用：缓冲区管理、广度优先搜索
• 链表应用：实现栈和队列、动态内存管理
• 树应用：决策树、文件系统、游戏AI

第三部分：面向对象编程与AI

Week 7 & 8：Object Oriented Programming

1. 封装与抽象

• 类抽象：隐藏实现细节，提供清晰接口
• 数据封装：私有数据字段、getter/setter方法
• 设计模式：模板、蓝图、契约概念

2. 可重用性与扩展性

• 继承：代码复用，is-a关系建模
• 多态：同一接口不同实现
• 模块化设计：便于AI系统集成和维护

第四部分：实践建议与学习资源

Week 11：学习指导

1. 基础技能

• 掌握数据结构、算法、线性代数、机器学习基础
• 持续编程实践，参与项目开发
• 学习使用LLM辅助编程和学习

2. 资源推荐

• 在线课程：Hung-yi Lee的生成式AI课程
• 学术平台：arXiv论文、GitHub开源项目
• 社区：关注AI领域专家和公司动态
• 实践平台：Hugging Face、Google Colab、本地部署

3. 未来趋势

• 更长上下文：从百万到千万级token
• 多模态融合：文本、图像、音频、视频统一处理
• 智能体普及：自主执行复杂任务的AI助手
• 开源vs闭源：两者并存，各有优势

🎯核心要点总结

1. LLM是当前AI的核心，基于Transformer和下一个词预测
2. 上下文工程是关键技能，决定AI应用的效果
3. 数据结构与算法是基础，影响AI系统效率
4. AI智能体是发展方向，能自主使用工具执行任务
5. 持续学习和实践是跟上AI快速发展的唯一途径

如果需要我针对某一部分提供更详细的解释或示例，请告诉我！