个人笔记

1 图嵌入表示

传统图机器学习 VS 图表示学习

• 给定输入图，传统图机器学习需要提取节点、链接和图级特征；然后学习将特征映射到/预测标签的模型（SVM、普通神经网络等），并应用于下游任务
• 图表示学习则不需要额外特征工程，而是给定输入图，自动学习独立于任务的特征（节点、链接和图级嵌入表示），然后用于算法的训练学习和下游任务

嵌入表示的好处：

• 节点间嵌入的相似性表明了它们在网络中的相似性

Read more

1 课程简介

课程内容大纲：

• 图嵌入表示（Node Embedding）方法：DeepWalk，Node2vec
• 图神经网络（GNN）：GCN、GraphSAGE、GAT…
• 图自注意力（Graph Transformers）
• 知识图谱和推理：TransE，BetaE
• 图生成模型：GraphRNN
• 3D 图模型：Molecules
• 扩展到大规模的图数据
• 图应用：生物医学、科学技术

背景要求：机器学习、算法和图论、概率论与数理统计、Python/PyTorch

其他推荐工具：

• 基于 PyTorch 构建的图神经网络库

Read more

专题：AI时代的智能研究 “Research on Intelligence in the Age of AI”

核心问题1：是否应该推动更多的理论工作，比较深度学习模型与人类智能的理论

核心问题2：神经科学是否能够帮助人工智能，以及人工智能是否能够帮助神经科学

讨论参与者：

• Tomaso Poggio，MIT 教授，主持人
• Geoffrey Hinton，深度学习之父
• Pietro Perona，加州理工学院教授，Amazon 研究员
• David Siegel，Two Sigma 对冲基金主席
• Demis Hassabis，DeepMind 创始人
• Ilya Sutsk

Read more

1. 要得到你想的某样东西，最可靠的办法是让你自己能配得上它
2. 正确的爱应该以仰慕为基础
3. 获得智慧是一种道德责任，它不仅仅是为了让你们的生活变得更加美好。（必须保持终身学习）学习如何学习的方法，发明如何发明的方法
4. 什么是法律头脑，如果有两件事交织在一起，互相之间有影响，你努力只考虑其中一件，而完全不顾另一件，以这种思考方式既实用又可行的头脑就是法律头脑。 —-反话！！！真正重要的大道理占每个学科95%的分量，从所有学科中吸取自己所需要的95%的知识，并将它们变成思维习惯的一部分，然后去实践跨学科的方法。不要死记硬背，要掌握各种知识，让它们在头脑中形成一个思维框架，以便日后随时调用。
5. 逆向思考，

Read more

大模型幻觉的常见三种情况：

• LLM 模型输出内容和输入不一致（驴唇不对马嘴）
• LLM 模型输出内容中包含与上下文不一致的内容（自我矛盾）
• LLM 模型输出内容和世界知识/训练注入的知识不一致

1 幻觉四象限

• 右上是最优情况（知之为知之），左下是次优情况（不知为不知）
• 左上是最差情况，右下是次差的情况；二者需要尽量转移到更优的象限内

2 模型知道，模型认为自己不知道

模型具有正确的内部知识，但模型输出的内容存在错误

如何

Read more

1 基本信息

1.1 课程标题：《DeepLearning.ai 大模型系列课程》

1.2 授课讲师：吴恩达，Isa，Harrison Chase

1.3 授课日期：2023

1.4 品读时间：2023-07~2023-08

1.5 整体耗时：

Read more

1 简介

本节课程将介绍如何使用LangChain和自有数据进行对话

LangChain的组件包括：

• 提示(Prompts): 使模型执行操作的方式。
• 模型(Models)：大语言模型、对话模型，文本表示模型。目前包含多个模型的集成。
• 索引(Indexes): 获取数据的方式，可以与模型结合使用。
• 链(Chains): 端到端功能实现。
• 代理(Agents): 使用模型作为推理引擎

课程内容：

1. 介绍如何使用LangChain文档加载器 (Document Lo

Read more

1 简介

LangChain是用于构建大模型应用程序的开源框架

• 基于模块化组合，可单独使用也可以以链式方式进行组合
• 开源社区发展快速；有Python和JavaScript两个不同版本的包

2 提示和输出解释器

直接使用OpenAI的示例：

import os
import openai

#

Read more

1 简介

以构建客服助手为例，使用不同的 Prompt 链式调用LLM搭建复杂应用

2 语言模型及其 Token

LLM 可以通过使用监督学习来构建，通过不断预测下一个词来学习

LLM 的输出是token，代表常见的字符序列

• 例如，对于 "Learning new things is fun!" 这句话，每个单词都被转换为一个 token
• 而对于较少使用的单词，比如单词 &qu

Read more

《ChatGPT Prompt Engineering for Developers》

本课程包含大量提示工程的场景示例，笔记中仅作简单记录

1 简介

LLM 的两种类型：

• 基础 LLM：基于文本训练数据，训练出预测下一个单词能力的模型
• 指令微调（Instruction Tuned）LLM：基于预训练好的LLM的，使用输入（指令）和理想输出（遵循这些指令的良好回答）

Read more