医学语言模型介绍

Meditron是一套开源的医学大型语言模型（LLM）套件。

我们发布了Meditron-7B和Meditron-70B模型，通过持续在经过全面策划的医学语料库上预训练，并从Llama-2模型中进行适应，该语料库包括选定的PubMed论文和摘要、国际认可的医学指南的新数据集以及通用领域语料库。

经过相关数据的微调，Meditron-70B模型在多个医学推理任务上表现优于Llama-2-70B、GPT-3.5和Flan-PaLM模型。

虽然Meditron的设计初衷是对高质量证据来源的医学知识进行编码，但它尚未适应以适当、安全或在专业实践限制内传递这些知识。我们建议在医疗应用中不要在没有广泛用例一致性和额外测试的情况下使用Meditron，特别是在现实世界的临床实践环境或随机对照试验中。

模型详细信息

开发者：EPFL LLM团队
模型类型：因果解码器变压器语言模型
语言：英语
模型许可证：LLAMA 2社区许可协议
代码许可证：APACHE 2.0许可证
继续预训练自模型：Llama-2-70B
上下文长度：4k 令牌
输入：仅文本数据
输出：模型生成仅文本
状态：这是一个在离线数据集上训练的静态模型。随着我们提升模型性能，将发布经调整的模型的未来版本。
知识截止日期：2023年8月
训练者：epflLLM/Megatron-LLM
论文：Meditron-70B: Scaling Medical Pretraining for Large Language Models（为大型语言模型扩展医学预训练）

如何使用

您可以按照以下步骤直接从HuggingFace模型中心加载Meditron模型

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("epfl-llm/meditron-70b")
model = AutoModelForCausalLM.from_pretrained("epfl-llm/meditron-70b")

项目地址：

Github：https://github.com/epfLLM/meditron

1. 转载请务必保留原文链接，申明来源，谢谢合作
2. 本站所有资源文章均来自互联网收集整理，本站不参与内容制作，如果侵犯了您的合法权益，请联系本站，我们会及时删除。
3. 本站发布的资源均来源于互联网，可能存在引流、钓鱼等不当内容，本站已尽可能的去除这些信息，请用户小心甄别。
4. 本站资源仅供研究、学习交流之用，如果您喜欢并认可软件本身，请购买正版授权，享受更好的正版服务，否则产生的一切后果将由下载用户自行承担。