【OpenLLM Talk 006】本期提要：LLM加水印；softmax的bug；llama2汉化；OpenLLMAI

• 2023-08-04 02:47:44 来源：哔哩哔哩

OpenLLM Talk 006

序章

背景介绍

【缘起】：OpenLLM Talk这个事情起源于20230603 OpenLLM交流群中大家的一场讨论，本着心动不如行动的想法，我们花了一点时间来将其落地，希望可以为大家提供一个LLM/NLP领域的交流平台。——我们或许不够AI，但尽量足够Open；我们也不知道能走多远，但尽量比自己想的更远。

(资料图片)

【结构】：整体上分成本周新闻、本周推荐、本周经典（可选）、本周实践（可选）、free talk等版块，建议后续最好采用每个版块每期由1-2人认领+多人参与贡献+自由讨论的形式。

本期记录

【编号】：OpenLLM Talk 006 (三位数是希望LLM的热度+我们的热情+读者的热情可以支撑我们做到三位数）

【时间】：20230729晚上九点（每周六晚上九点，节假日顺延）

【本期提要】：ICML2023杰出论文；attention机制的bug；llama2的汉化；多轮对话；DPO论文阅读；LLM评估；text2vec；量化；NOPE；长度外推；OpenLLMAI与实践计划；

【本期贡献者】- 排名不分先后：

【主持人】：羡鱼（后续每期由大家自行认领）

【编辑】：羡鱼（最好由主持人兼任）

【版块负责人】： 多人（后续每期由大家自行认领）

【具体内容贡献者】：请查看具体内容后面的署名，比如问题、回答和观点的来源

【talk视频】：

注意事项

【talk模板】：；可参考模板进行贡献

【小要求】：主持人及版块负责人认领之后尽量准时参加，其余同学可自行选择是否参与；

本周新闻

【本周新闻】：LLM/AI news，包括但不限于学术、项目、工业界新闻和进展；多人认领或者直接在此添加，由1-2人认领并汇总；建议大家都参与进来，相互补充，尽量减少信息冗余和缺漏；共~10分钟；

【贡献者】：

【建议区】：可以考虑GitHub的讨论区，看个人习惯；论文可以写个摘要；

学术

注：论文+重点

ICML2023杰出论文出炉

Attention机制竟有bug，Softmax是罪魁祸首，影响所有Transformer

项目

chinese版llama2

ziya公开直播训练

工业界

Baby llama2

SMP 2023 ChatGLM金融大模型挑战赛

本周推荐

【本周推荐】：本周重点内容推荐和介绍，模型、开源项目、好的资料或课程，建议1-3项；共15分钟；

【贡献者】：

【提名区】：

【建议区】：

【本期主题】：

资料

一文看懂：如何充分高效训练多轮对话大模型

【LLM系列】对行业大模型的思考 - 黄文灏的文章 - 知乎

DPO——RLHF 的替代之《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》论文阅读

中文LLaMA&Alpaca大语言模型词表扩充+预训练+指令精调

模型

项目

Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca

杂项

refs:

本周经典-optional

【本周经典】：NLP/LLM领域的经典话题探讨；~15分钟；

【贡献者】：

【提名区】：量化

【本周主题】：

本周实践-optional

【本周实践】：NLP/LLM领域实践经验分享，可以分享自己的实践经验或者他人的实践经验，后面群里也会组织一些实践内容；~15分钟；

【贡献者】：

【提名区】：

【建议区】：coding搞起来；后续拉个read_code/paper分支，LLM精读、注释；专门建一个数据专题；

LLaMA2 框架

成员

初七, qwang, Sine, donny, 风吹草地见牛 ... 

技术讨论

相关工具: HF/DeepSpeed/Megatron/Ray/RLHF/LLM

参考框架：DeepSpeed Chat；

Ray: qwang

RLHF: 初七、Yiran（周末）

SFT: Hope(可以写一些代码)、羡鱼（周末）

pretrain: 羡鱼（周末）

test datasets:

Debug machine: 用 300m 模型单卡测试, 后期用集群perf 测试

预期产出：

llama2架子

垂直领域的llama2、

第一次会议主要讨论技术方案，项目开发组织方式，分工

然后起一个好听的名字

Free Talk

【Free Talk】自由提问，自由讨论；在文档里提问或者在群里提问，建议尽量在此汇总；如果群里已经有比较好的讨论结果，也可以将讨论结果搬运过来；时间不限；

【贡献者】：羡鱼（编辑）+OpenLLM群友

 of LLM\MLLM

对大模型的评测是比较困难的事情，一般人工或者依靠GPT4来评价，都是比较费钱的。一些新的评测基准（MMBench）是否可以用llama2 chat这种 rlhf之后的模型来评测，是否可以起到完全相同的效果。

相关领域：模型评测，LLM

答：GPT4也不一定准确，特别，不建议在被评测的回答中有GPT4存在的情况下用GPT4评价（既当运动员又当裁判员）；

张拳石老师：可解释评测；

质量好不好，哪里好，哪里差？

做一个通用的奖励模型？

感觉奖励模型往往是针对特定模型来训的；

LLM竞技场，几个LLM，人类打分；

一个想法：分层的RM，general-》domain-》task--羡鱼

迭代式的RM，目前OpenAI、athropic等都采用的是多轮迭代式的RLHF流程

llama2 70b rlhf 基本上是开源的最强的模型，在一些方面有接近的能力

中文方面是不是不一定？llama基本没做中文；

主观问题往往回答越长越好，直接len()都比较靠谱？：）

2.  关于垂直领域的text2vec，各位有没有相关的数据集构建或者其他的模型选择的经验？

答：OpenSE，有空我会放个repo出来，做一个SE/text2vec，大体的流程：基础模型--》无监督--》自监督——》细粒度监督训练；

3.  FP8的软硬件支持现状？

答：

为什么FP16的值域这么窄？

BF16？

smoothquant

量化的效果：

FP16、FP8，还有8位、4位、甚至于3位、两位？

Qlora：int4量化；3090微调13B；

4.  想问下各位大佬，之前有讨论过NoPE这篇文章吗？

5.  Claude100k是怎么搞的？

答：

llama训练时2k，微调1000步到32k；

微软有个十亿token的；

外推最近进展到什么地步？貌似NTK dynamic 效果超过16倍不太行；

6.  指令数据里面如果消解矛盾？尤其是GPT4这种传言上百万的指令数据集。另外，如果保持预训练、SFT、RLHF部分的一致性，至少像数据层面的一致性？

答：比如说，SFT部分如果有一些预训练的知识盲区，容易加剧胡说八道的情况。

7.  将linear transformer scale到175B？

8. 

线上讨论:

1. 

群里讨论：

有空会同步，取决于人力，希望大家积极认领~

参考资料

后续计划

我们正式升级为一个不太正式的组织了！叫做OpenLLMAI.

● 正式开启OpenLLM talk的运营，P1；

● ChatPiXiu项目：陆续有一些实践计划，P0；

● ，P0，doing

● ，P0，doing

● OpenSE：检索项目，字符检索+语义检索，P0；

● OpenLLM：LLM学习和实践项目，P0；

● OpenAIWiki：AI wiki for everyone；

● ChatLover：模拟恋人+爱情助手，P1；

加入/赞助我们

我们非常缺人，也非常缺时间和算力，希望能有越来越多的朋友参与进来，认领talk的组织者、主持人、版块的负责人；参与项目后续的开发和讨论等等。

微信群：（请优先加入微信群，如果失效则加入QQ群再私聊我进微信群）

（二维码过期了！）

QQ群：

往期精彩

【OpenLLM Talk 005】本期提要：llama2；FreeWilly；LLM推理与评估；LLM八股；RetNet；DPO；数据配比 - 羡鱼智能的文章 - 知乎

/p/645679737

【OpenLLM Talk 004】本期提要：外挂知识；抱抱脸每日论文；MOSS-RLHF；GPT4细节；OpenAI代码解释器；百川13B；LLM面经；多轮对话；数学能力；反思；LLM中的知识 - 羡鱼智能的文章 - 知乎

/p/643960837

【OpenLLM Talk 003】本期提要：SuperCLUE-Open；文心盘古；chatlaw；LLM综述；NTK-Aware Scaled RoPE；10亿上下文；InternLM；GLM讲座 - 羡鱼智能的文章 - 知乎

/p/642376781

【【OpenLLM Talk 003】SuperCLUE-Open；文心盘古；chatlaw；LLM综述；NTK-Aware Scaled RoPE；GLM讲座】 【精准空降到 10:10】 

【OpenLLM Talk 002】本期提要：chatgpt增速放缓；gorilla-cli；RoPE外推；vllm vs ；lora融合；模型参数和数据之比；OpenSE计划 - 羡鱼智能的文章 - 知乎

/p/641285737

【OpenLLM Talk 001】本期提要：长程记忆；OpenAI上新；百川智能7B模型；State of GPT；位置编码；deepspeed-rlhf；RLHF数据 - 羡鱼智能的文章 - 知乎

/p/640275116

【OpenLLM Talk 000】我们做了一个LLM领域的交流平台 - 羡鱼智能的文章 - 知乎

/p/636350755

【OpenLLM Talk 模版】兴趣和热爱胜过一切，OpenLLM就从这里开始吧！欢迎加入！ - 羡鱼智能的文章 - 知乎

/p/640522290

标签：

推荐阅读

猜您喜欢