流形学习降维 UMAP

UMAP 算法

  • 全称为均匀流形近似与投影,Uniform Manifold Approximation and Projection
  • UMAP 是一种基于黎曼几何和代数拓扑理论框架的数据降维与可视化算法
  • UMAP 能同时捕捉数据的局部和全局结构,可拓展性强,对嵌入维度没有限制
  • MAP 不具备PCA 或因子分析等线性技术可以提供的解释性(因子载荷)

UMAP 定义的概念解释与补充:

  1. Uniform 均匀假设:通过空间的扭曲,对样本稀疏/密集的位置进行收缩或拉伸
  2. Manifold 流形:一种拓扑空间,每个点的附近局部类似于欧几里得空间
  3. Approximation 近似:用一组有限的样本组

Read more

t-SNE 降维可视化

t-SNE 算法

  • 全称为 t 分布-随机邻近嵌入(t-distributed Stochastic Neighbor Embedding)
  • 该算法将高维空间中的数据映射到低维空间中,并保留数据集的局部特性
  • t-SNE 算法能够捕捉数据间的非线性关系,数据可视化效果好,常用于探索性数据分析
  • t-SNE 算法的缺点主要是占用内存较多、运行时间长,容易丢失大规模信息 (集群间关系)

算法过程概述:

  1. 计算原始高维空间中数据点之间的相似度:对于样本 $i$,算法会使用以 $i$ 为中心的高斯分布来计算其他数据点的条件概率 $P_{j|i}$,进而得到样本 $i$ 和样本 $j$ 在高维原

Read more

Pydantic 数据验证与转换

Pydantic 是目前最流行的 Python 数据验证工具

  • Python 作为一种动态类型语言,在开发和易用性上存在优势
  • 因此也需要对程序进行功能更强大的类型检查和数据验证

Pydantic 的特点

  1. 自定义与扩展:可用于任意 Python 对象的数据类型验证,支持嵌套结构
  2. 验证的灵活性:类型丰富,验证的时间点灵活,严格模式 vs 宽松模式
  3. 序列化:Pydantic 对象支持序列化和反序列化为字典和 JSON 字符串
  4. 高性能:核心验证逻辑基于 Rust 编写,性能出色且可靠,

Read more

25年1季度论文集锦_生物医疗

仅搜集收录了部分个人感兴趣的文章,并进行简单记录

1 概念科普

1.1 人工智能有利于 ICU 的血流动力学管理

2025年01月03日 17:

Read more

调查问卷分析

调查问卷分析的一般流程:

  1. 初步设计调查问卷并严格评估合理性,比如文献研究,对象访谈,Delphi 专家函询
  2. 针对少量人群(40~60 人)展开预调查,了解调查问卷设置条目的合理性,完整性和可理解性
  3. 确保预调查结果质量,包括调查内容审核录入与信效度分析(此步骤也适用于正式调研阶段)
  4. 估计样本量,确定调查人群,完成调查员培训,分配调查任务并展开具体的正式调查
  5. 对调查结果进行数据分析,包括分布描述,独立性检验,方差分析,相关性分析,多因素分析等
  6. 根据初步分析结果,进行整理和深入的分析,得到可验证的结果,最后撰写调查报告

De

Read more

南极冰下地图

  • 这张新地图名为Bedmap3,是基于两项先前研究(Bedmap1和Bedmap2)的成果升级而来。研究团队汇总了超过60年间来自卫星、飞机、船只和狗拉雪橇的数据,并额外整合了5200万个新数据点,对原有结果进行了精细修正。研究成果于3月10日发表在《Scientific Data》期刊上
  • Bedmap3以彩色编码显示南极大陆基岩的海拔高度,清晰呈现了最高的山脉和最深的峡谷。地图的分辨率达到了前所未有的精度,为此前研究较少的地区(如南极点附近)提供了更多细节。
  • 这项研究还揭示了南极冰盖与漂浮在大陆边缘的冰架的精确形状。地图显示,南极冰盖整体比之前估计的更厚,且有更大体积的冰层依附在低于海

Read more

AI 医院:可用于医疗智能体进化的模拟医院

中文标题:医院智能体:可用于医疗智能体进化的模拟医院

英文标题:Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Ag

Read more

Agent 框架预研

Agent:能够自主收集信息、制定计划并执行动作的智能体

  • 3 个特征:感知、规划和行动
  • 5 个要素:LLMs,逻辑链,记忆,知识,工具

Agent 分层:

  • Agent 专家 = LLMs + RAG + Tools
  • Agent 团队 = 多个 Agent + 任务分配 + 管理协作
  • Agent 企业 = 多个 Agent 团队 + 自适应决策 + 监控与运维

Agent 分类

Read more

注意力机制进阶

前置知识: 10.《动手学深度学习》注意力机制

普通线性注意力

原始 Tansformer(左) VS 线性 Tansformer(右):

  • N:序列长度,在自然语言处理任务中,指句子中 Token 或词的数量。
  • d:特征维度,即每个元素(如单词的词向量)的维度。
  • O(N²d)、O(Nd²) :计算复杂度。大 O 描述了计算量随输入序列变长的增长速度,如 O(N²d) 表示计算量与 N² 和 d 成正比 。
  • Q(Query):“查询” 矩阵,用于在自注意力机制中向其他元素询问相关

Read more

上下文学习 ICL

大语言模型(LLMs)的上下文学习:经过预训练的 LLMs 能根据文本提示或任务示例来直接对下游任务进行预测,而无需更新模型权重,这种能力也被称为上下文学习(in-context learning,ICL)或语境学习

简单来说,ICL 就是在不更新模型参数的前提下,通过输入经典示例作为提示来增强模型的能力

以情感分析为例,来说明 ICL 的一般流程(图源):

  • ICL 需要一些示例来形成一个用于情景演示的上下文,作为提示输入来增强 LLMs
  • ICL 示例一般用自然语言模板编写,并拼接真实的输入查询(Text)与结果(Label)

ICL 的分类:

  • Few-shot learning,

Read more