近年来,随着人工智能领域的快速发展,大语言模型(Large Language Model,LLM)成为了引领技术潮流的重要一环。大语言模型不仅在学术界引起了广泛关注,也在工业界掀起了一股“大模型风潮”。这些模型以其强大的自然语言处理能力,正逐渐改变我们对文本理解和生成的认识。其中,以GPT-4、ChatGLM、ChatGPT等为代表的大语言模型更是成为了学术研究的热点。通过预训练和微调的方式,这些模型不仅能够在通用自然语言处理任务上取得优异结果,还能够在特定领域进行迁移学习,为不同应用场景提供有力支持。
2023年8月20日-23日,第十八届中国中文信息学会暑期学校暨《前沿技术讲习班》第三十七期和第三十八期在京举行。大会邀请中国科学院自动化研究所张家俊研究员、陈玉博副研究员、中国科学院计算技术研究所庞亮副研究员担任学术主席,其中讲习班由学术主席陈玉博副研究员主持。
![](/__local/F/EC/15/299047AB2DB768729BABA6DAEDE_941EFB7E_3C72F.jpg)
本届讲习班以“基座大模型的构建方法与训练技巧”和“大模型的领域应用与学术前沿”为主题,邀请了300余名来自首批国内开源大模型企业和一线国内大模型研究学者,系统讲述大模型基础知识、构建方法、核心挑战和应用前景,为感兴趣的学者、员工和工程师提供系统学习和交流的机会,促进国内大模型的学术前沿发展和应用实践落地。
公司计算机科学与技术专业研究生张浩宇、闫锋同学参加了本次讲习班,聆听了各位专家的报告、演讲,同时与专家、同行进行了深入的交流。
![](/__local/F/33/08/110C4CFE6D9DF1234AE36FD1C23_A5D869ED_22CFB.jpg)
清华大学刘知远副教授作题为《迈向通用的人工智能》的报告,重点介绍了大模型与过去深度学习模型相比,在模型框架、微调适配以及推理计算等方面的重要特性,并探讨大模型未来的研发应用范式。
复旦大学邱锡鹏教授和上海人工智能实验室颜航博士作题为《大型语言模型的科学挑战和技术实现》的报告,介绍了大型语言模型的科学挑战和技术路径、关键技术以及开源平台,主要内容包括大型语言模型的技术原理和科学挑战、大型语言模型的预训练经验和微调经验和介绍大模型的开源平台OpenLMLab等内容。
天津大学熊德意教授和沈田浩博士作题为《大语言模型对齐》的报告,首先概述了对齐的基本概念和必要性,简述其存在的社会和技术挑战,分析大语言模型对齐的主要技术路线和方法,探讨如何对大语言模型对齐进行评测,并对未来趋势进行展望。
清华大学兰艳艳教授、洪鑫博士和冯世坤博士作题为《大模型在智能科学计算中的应用》的报告,介绍了大规模预训练语言模型在这些科学领域的应用,并聚焦于药物研发相关问题阐述最新的大模型进展,总结科学问题和挑战。
经过这次暑期学习,使公司师生在大语言模型的构建方法与训练技巧有了深刻的理解和感悟,为公司今后在大语言模型研究方面奠定了良好基础。