（原标题：全球首个半导体大模子）我想要插插插综合网
如若您但愿不错频频碰面，接待标星储藏哦~
近几个月来，Aitomatic 过火“AI 定约”互助伙伴（包括 Meta、AMD 和IBM）推出了一个新巡视的培训的大模子。局太闷所说，这是天下上第一个特意为知足半导体行业需求而假想的大型讲话模子，戮力于成为半导体假想公司责任过程的一部分。
据走漏开发 SemiKong LLM 的 Aitomatic 公司称，半导体行业枢纽需要鸠合大乡信息。很多老龄人人行将退休，他们的常识也随之流失，因此很多公司面对着严重的专科常识短缺问题。特意为知足行业需求而竖立的 LLM 课程似乎是为新工程师提供保抓竞争力所需信息的可靠方法。
SemiKong 基于 Meta 的 Llama 3.1 LLM 平台，近期发布了 70B 版块。Aitomatic 与新 AI 定约的其他互助伙伴（包括 Meta、AMD 和IBM）互助开发了 LLM，其中 Aitomatic 的 DXA 系统成为 SemiKong 部署的复旧。
DXA（Domain-Expert Agents）是 Aitomatic 将微型 LLM agents与 SemiKong 70B 的中央集群搭伙起来的状貌。通过对客户公司的技巧库或人人工程师的要求进行培训，DXA 不错知足该公司的需求。然后，经过巡视的 DXA 被中枢 SemiKong 部署用来自动扩伸开发任务或与工程师和工东说念主进行聊天机器东说念主式的交流。
在其当今的 70B 版块中，以及基于 SemiKong 的微型 DXA agents下，LLM 的实用性远远高出了半导体边界的通用 AI 模子。SemiKong 宣称新芯片假想的上市时间镌汰了 20-30% ，初次生效制造得分普及了 20%。它还宣称不错将新工程师的学习弧线加速多达 50%，这是Meta支抓的枢纽主张。
了解 SemiKong是什么
半导体行业推动了消费电子、汽车系统和顶端假想技巧的高出。半导体的坐褥波及复杂的工艺，需要无与伦比的精度和专科常识。这些过程包括芯片假想、制造、测试和优化，每个阶段王人需要深厚的边界常识。该边界传统上依赖于训诲丰富的工程师，他们领有数十年的训诲。
但是，该行业面对着一个要紧挑战：资深人人的快速退休，变成了常识差距，威迫到转换和恶果。这种日益增长的担忧促使公司探索东说念主工智能看成获取、扩展和期骗人人常识的可行科罚决策。此外，必须尽量减少与芯片假想和制造筹商的老本和时间，以知足商场需求。这些挑战突显了传统方法的局限性，并强调了量身定制的东说念主工智能科罚决策的必要性。
移交这些挑战的现存方法包括通用 AI 模子和基本自动化器具。诚然这些方法在分析数据和改善决策方面很有匡助，但它们往往无法科罚半导体行业专有的复杂性。举例，通用 AI 器具枯竭灵验分析复杂制造过程所需的边界特定清爽。因此，公司无法澈底弥合表面 AI 才能与推行行业需求之间的差距，从而为特意的科罚决策改变该边界留住了空间。
于是，Meta、AITOMATIC 和 AI 定约基础模子责任组下的其他互助者的有计划东说念主员推出了 SemiKong。SemiKong 是天下上第一个专注于半导体的大型讲话模子 (LLM)，使用 Llama 3.1 平台假想。该模子经过多数半导体专用数据集的微调，包括行业文档、有计划论文和匿名操作数据。与通用 AI 系统不同，SemiKong 是特意为清爽半导体工艺的专有术语和要求而定制的。通过将此模子与 AITOMATIC 边界人人代理 (DXA：Domain-Expert Agents) 集成，公司不错灵验期骗 AI 器具来科罚特定的行业挑战。这些转换旨在虚拟老本、加速开发进程并促进通盘半导体行业的互助。
SemiKong 背后的技巧建立在先进的 AI 和神经璀璨架构之上。AITOMATIC的 DXA 通过结构化的三阶段人命周期运行：
1、获取边界专科常识
2、使用合成和结构化数据巡视模子
3、将生成的系统应用于现实场景
SemiKong 在该生态系统中饰演着中枢变装，是复杂推理和决策任务的“大脑”。轻量级模子版块（举例 Llama 3.2）通过在资源受限的环境中竣事更快的数据探询和分析来补充主系统。这些模子与制造系统和物联网平台无缝集成，使公司大约优化责任过程、预测爱护需求并改善决策。
SemiKong 在生成特定于半导体的内容和清爽复杂过程方面的走漏优于多种闭源讲话模子。这带来了切实的平正，包括新芯片假想的上市时间镌汰了 20-30%，制造一次生效劳普及了 15-25%。这些器具还改善了新工程师的入职过程，将他们的学习弧线加速了 40-50%。在一个例子中，支抓 SemiKong 的 DXA 镌汰了蚀刻配方制定所需的时间，而这往往需要数小时到数分钟。
有计划的要津论断强调了 SemiKong 和 DXA 在半导体边界的枢纽酷爱：
1、DXA 灵验地拿获和构建资深工程师的常识，确保要津的专科常识得到保存并扩展以供将来使用。
2、SemiKong 将芯片假想的上市时间镌汰了高达 30%，显贵虚拟了老本并普及了运营恶果。
3、通过简化和加速入职过程，DXA 不错匡助新工程师更快地普及工犯警果，减少行业对训诲丰富的人人的依赖。
4、集成物联网平台不错竣事及时参数校准和预测性爱护，普及开拓性能和可靠性。
总之，这项有计划杰出了一项始创性的科罚决策，以移交半导体行业最紧迫的挑战之一：要津边界专科常识的流失。通过引入 SemiKong 和 DXA，有计划东说念主员提供了一个全面的框架，不错保存常识并普及坐褥力和转换才能。这些高出可能会重塑半导体制造业，提供可扩展、经济高效的科罚决策来科罚该边界的复杂性。集成像 SemiKong 这么的 AI 器具关于更高效、更具弹性的半导体行业至关枢纽。
接下来，咱们编译了他们联系该名目的内容，以供人人参考：
大型讲话模子 (LLM) 已显裸露科罚半导体行业某些问题的后劲。但是，它们往往是通用模子，枯竭科罚该行业专有挑战所需的专科常识，举例半导体器件和工艺的复杂物理和化学性质。SemiKong 是第一个针对半导体边界的行业特定 LLM，它为开发定制的专有模子提供了基础。
借助 SemiKong 1.0，咱们旨在开发一个大约在人人级别清爽蚀刻问题的基础模子。咱们的主要孝顺包括 (a) 整理全面的半导体筹商文本语料库，(b) 创建具有深入半导体常识的基础模子，以及 (c) 引入一个用于集成人人常识的框架，从而推动特定边界 AI 模子的评估过程。
通过使用咱们精选的数据集对预巡视的 LLM 进行微调，咱们一经解释 SemiKong 在各式半导体制造和假想任务中的走漏优于更大的通用 LLM。咱们进行了多数的实验，强调了开发特定边界的 LLM 看成公司或器具特定专有模子的基础的枢纽性，为半导体边界的进一步有计划和应用铺平了说念路。
1、先容
1.1、半导体制造与假想
半导体在为各式电子开拓供电以及推动电信、汽车、医疗保健、可再活泼力和物联网等行业的发展方面阐扬驻扎要作用。在半导体制造和假想中，两个主要阶段 FEOL 和 BEOL 各自王人面对着专有的挑战。FEOL 是坐褥线的前端工艺，波及在半导体晶圆上创建有源器件。这包括晶圆制备、光刻、蚀刻、离子注入和栅极氧化物形成等才能 El-Kareh (这些工艺关于界说集成电路（IC）的晶体管结构和其他有源元件至关枢纽。)。
另一方面，BEOL（后端坐褥线工艺）专注于搭伙在 FEOL 时间创建的有源器件。这包括金属层、绝缘层和焊盘的形成 Quirk 和 Serda。后端工艺关于建立器件之间的电气搭伙以及竣事 IC May 和 Spanos 的全体功能至关枢纽。
跟着特征尺寸握住磨蹭，器件架构变得越来越复杂，对先进制造技巧和假想方法的需求变得至关枢纽。这导致东说念主们对期骗东说念主工智能 (AI) 和机器学习 (ML) 技巧来优化半导体制造工艺和协助假想任务的风趣日益浓厚 Amuru 等东说念主。。
1.2、大模子在半导体边界的应用
大模子 (LLM) 的最新进展已解释其在各个边界具有广大后劲，半导体行业东说念主员使用自监督学习技巧对多数文本数据进行巡视的 LLM 已显裸露拿获丰富边界常识和生成雷同东说念主类的文本的才能。这为将 LLM 应用于半导体工艺技巧和 IC 假想任务开辟了新的可能性。
在半导体工艺技巧的配景下，LLM 不错潜在地协助工艺参数优化等任务，其他诸如颠倒检测 以及制造开拓的预测性爱护亦然大模子不错阐扬作用的场所。通逾期骗事前巡视的模子中镶嵌的多数过程数据和边界常识，LLM 不错匡助识别样子、预测过程末端并为各式制造才能建议最好竖立。同样，在 IC 假想边界，LLM 不错匡助完成假想章程巡视、布局生成和假想空间探索等任务；通过从多数 IC 布局和假想章程数据鸠合学习， LLM 不错生成符合指定敛迹并针对所需性能谋略进行优化的新假想。
1.3、目的和范围
基于 LLM 的生效和后劲，本文先容了 SemiKong，这是第一个针对半导体边界量身定制的行业特定 LLM，专注于半导体工艺技巧和制造中的应用。咱们旨在通过整理全面的半导体筹商文本语料库并开发一种期骗边界特定常识的新式预巡视方法来科罚通用基础模子的局限性。通过这么作念，咱们努力展示行业特定 LLM 在普及 AI 驱动的半导体制造任务科罚决策性能方面的后劲。
这项责任的范围包括以下内容：
• 整理大限度、半导体专用文本语料库，要点关切工艺技巧和制造
• 基础模子SemiKong的开发特意针对半导体行业的蚀刻问题我想要插插插综合网
• SemiKong对行业筹商数据和过程优化与限定筹商任务的微调
• 引入一种新颖的框架来期骗人人反馈，从而推动基于 LLM 的特定边界 AI 模子评估方法。
• SemiKong 与通用 LLM 比拟的性能评估
• 商榷行业特定法学硕士在半导体制造中的含义和潜在应用
本文的主要孝顺如下：
• SemiKong-Corpus：咱们整理了全面的半导体筹商文本语料库，涵盖了与半导体工艺技巧和制造筹商的泛泛主题。该语料库是巡视 SemiKong 的基础，并拿获了科罚制造筹商任务所必需的边界特定常识。
• SemiKong-Trainer：咱们推出了 SemiKong，这是一种专科的基础模子，具有丰富的半导体制造术语和工艺过程常识，终点留心蚀刻。通过使用咱们全心挑选的数据对 SemiKong 进行预巡视和微调，与通用 LLM 致使基于 LLM 的生意居品比拟，咱们鄙人游任务中竣事了显着的质地改进，如图 1所示。
• SemiKong-Eval：咱们开发了一个新颖的框架，以灵验期骗人人的常识来推动基于 LLM 的评估过程并生成高质地的基准。此外，咱们还进行了泛泛的评估，以评估 SemiKong 在行业筹商基准上的走漏，举例工艺参数优化、颠倒检测和预测性爱护。咱们的末端解释了 SemiKong 优于通用 LLM，突显了为半导体制造边界开刊行业特定模子的枢纽性。
本文的其余部分安排如下：第 2节概述了 AI 和 LLM 在半导体行业应用的筹商责任。第 3节先容了半导体本色，要点先容了半导体制造的前端过程。第 4节概述了用于整理半导体专用文本语料库和开发预巡视方法的方法。第 5节先容了实验竖立和末端，比较了 SemiKong 与通用 LLM 在各式制造任务中的走漏。第 6节商榷了有计划末端的含义、改日的潜在有计划宗旨，并总结了本文。
2、筹商责任
2.1、半导体制造中的东说念主工智能（AI）
东说念主工智能 (AI) 在半导体制造中的应用取得了要紧进展，期骗各式 AI 方法来普及半导体制造工艺的恶果、良率和质地。本节追忆了应用于半导体制造不同阶段的最先进的 AI 方法，包括两个枢纽才能：掩模优化和热门检测。
掩模优化（mask optimization）是半导体制造中的要津才能。传统的掩模优化方法由于其迭代特质往往会销耗多数的运行时间. 最近，有团队建议了基于机器学习的方法来加速掩模优化任务，有有计划东说念主员致使将隐式学习应用于掩模优化任务中的逆向光刻方法。一个名为 LithoBench的大型数据集由高出 120k 个电路布局图块构成，用于基于深度学习的光刻模拟和掩模优化，并发布以加速基于机器学习的方法。此外，在掩模优化任务中，建议使用深度强化学习径直优化光学附进校正 (OPC) 中的首选宗旨，这是一种用于筹商感知掩模优化的调制强化学习，旨在期骗相邻段畅通之间的空间筹商性。
热门检测（Hotspot detection）是半导体制造中确保集成电路 (IC) 可靠性和性能的枢纽才能。热门是芯片上过热或应力可能导致劣势的区域，从而虚拟制品率并影响器件的寿命和功能。跟着半导体技巧节点的握住磨蹭，检测平息争这些热门变得越来越枢纽。一种基于主动学习的热门检测方法在检测精度方面取得了令东说念主印象深入的走漏。基于AdaBoost分类器和简化特征索求的新式光刻热门检测框架赢得了较高的准确率，误报率也很低。
此外，承袭自定进程多任务学习的半监督学习被建议用于热门检测。同期，有团队建议了一种使用深度卷积神经鸠合进行热门检测的方法，该方法还赢得了准确的检测性能。这些方法仅仅专注于特定的任务，而不是建立一个模子来全面支抓半导体运营工程师。
2.2、半导体行业大模子
LLM 旨在适合特定边界的芯片假想，包括从代码生成到造作总结以及为 EDA 工程师提供聊天机器东说念主协助等一系列任务。一个名为ChipNemo的名目解释了边界微调的 LLM 模子在问答工程助理聊天机器东说念主、EDA 剧本生成以及 bug 总结与分析三个特定任务上的走漏优于 Llama3、GPT4 等通用 LLM 模子。一个东说念主名为RTLCoder的大模子在假想 RTL 生成方面的走漏优于 GPT-3.5，它承袭了开源数据集和通过代码质地反馈的新巡视决策。另一个名为ChipGPT的模子强调了数据驱动方法，明确指出数据是微调芯片假想 LLM 模子所需的一起。以上末端标明，使用边界 LLM 的代码生成任务有显贵改善。
另外，一个名为Hdldebugger的模子专注于通过 LLM 缓助 HDL 调试框架使用 LLM 模子进行调试。同期，Rtlfixer旨在使用 LLM 模子自动成立 RTL 语法造作。Chip-Chat 使用对话式 LLM 进行实验，以假想和考证使用 GPT-4 和 GPT-3.5 的 8 位累加器。ChatEDA 引入了一个由经过微调的 LLaMA2 70B 模子赋能的 EDA 自主代理，该模子在此任务中的走漏优于 GPT-4 模子。
此外，受当然讲话处理 (NLP) 大模子的启发，大型电路模子被建议看成简化 EDA 过程的新范式。但是，这些模子大多使用微型大众数据集开发，况兼限制了人人在开发过程中的参与。
2.3、大模子看成评估者
东说念主类评估是评估当然讲话生成 (NLG) 算法的枢纽方法。很多 NLP 任务需要纯属的注目者或人人进行可靠的评估。但是，由于老本上流和对可叠加性的担忧，招募东说念主类人人往往是不切推行的。与此同期，像 BLEU Papineni 和 ROUGE Lin等这么的自动检测（automatic metrics）未能达到可靠性预期，无法准确反馈东说念主类偏好。
最近，使用 LLM 来评估 NLG 已被引入来科罚这些问题。这些方法无需参考，要求 LLM 凭据任务要求解释其谜底的合感性，并展示与东说念主类判断的筹商性，假定 LLM 大约清爽高质地清爽的文本并为其分拨更高的概率。G-eval Liu 等东说念主应用念念路链技巧，要求 LLM 生成详确的评估才能来普及评估质地。
尽管取得了这些高出，但这些方法有一个共同的局限性：它们假定 LLM 自身不错清爽和评估常识。但是，在需要深厚专科常识的边界（举例半导体），往往需要具有多年训诲的人人来评估复杂问题，以便作念出准确判断。
鉴于这些挑战，本文建议了一个框架，期骗人人反馈来创建法子，以便 LLM 进行更可靠的评估，接近人人级的可靠性。此反馈还用于为半导体边界生成高质地的基准。OSCaR Nguyen 等东说念主承袭了雷同的方法来生成高质地的基准。不外，他们期骗了 Amazon MTurk 上闲居东说念主的反馈，而咱们的基准则依赖于人人常识，从而确保了更高的可靠性。
3、半导体本色（Semiconductor Ontology）
半导体制造波及很多复杂的才能和过程，需要泛泛的常识才能灵验扩张。在每个才能中，让特意从事该边界的人人来率领工东说念主至关枢纽。但是，半导体制造过程关于东说念主工智能有计划东说念主员来说并退却易赢得，他们在东说念主工智能方面领有深厚的专科常识，但往往枯竭特定边界的常识，尤其是对半导体制造的了解。这一差距进犯了高效、特定边界的东说念主工智能模子的开发。
为了移交这一挑战，咱们与半导体人人互助开发了一个本色（ontology），系统地构建了通盘半导体制造过程。该本色承袭从上至下的方法构建，将该边界从一般级别辨认为详确级别、子级别和特定过程，确保不会忽略任何干键过程。
通过系统地构建半导体制造过程，咱们的本色不仅科罚了东说念主工智能有计划东说念主员的常识差距，还为创建更灵验的特定边界东说念主工智能模子奠定了基础。该本色不仅关于构建特意的东说念主工智能模子（如用于蚀刻的 SemiKong）相称有价值，而且还不错看成评估改日通用智能模子的基准，这些模子旨在科罚泛泛的半导体制造主题，不管是在模子开发回是评估方面。
本色的头绪结构增强了清爽和巡视恶果，从而大约创建具有针对半导体制造特定阶段的精准洞致力于的专用讲话模子代理。因此，该本色可看成率领改日培训责任和确保讲话模子与行业高出保抓同步的动态器具。为了竣事这些宗旨，全心假想的法子和细腻的实施关于构建全面的半导体本色至关枢纽。
咱们与行业人人互助开发了半导体制造本色，涵盖了从前端到后端的通盘半导体制造过程，包括基板制备、薄膜形成、图案化、掺杂、平坦化、清洁和名义制备、热处理、计量和检测、高等模块和后端工艺。这些代表了半导体制造的主要头绪，咱们的人人进一步将其分为二级和三级。
举例，图案化是一个要津的第一级工艺，在第二级中进一步细分为蚀刻等子类。第三级将蚀刻分为湿法蚀刻、干法蚀刻、等离子蚀刻、反应离子蚀刻、深反应离子蚀刻、各向同性湿法蚀刻、各向异性湿法蚀刻、原子离子蚀刻和电子回旋加速器蚀刻。
本文先容了咱们的模子 SemiKong，它不错全面清爽和支抓蚀刻工艺，确保咱们的本色澈底障翳这一要津边界，并为改日其他半导体制造工艺中的特意模子奠定基础。
4、SemiKong：半导体行业特定大模子
开发人人级的边界特定模子需要赢得筹商边界的深入常识。一种流行的方法是使用全面的边界特定数据巡视模子。该巡视过程可分为两个阶段：预巡视和微调。诚然这种方法往往不错显贵改善模子，但它仍然存在与数据质地保证、界说模子巡视战略和笃定适当的评臆测划筹商的挑战。在本节中，咱们将商榷咱们的数据经管过程（第 4.1节）、使用预巡视和微调巡视 SemiKong 模子的过程（第 4.2节）以及在评估过程中加入人人反馈（第 4.3节）。
4.1、数据经管（Data Curation）
高质地边界专用数据集（包括半导体边界的数据集）往往很非凡。为了科罚这个问题，咱们特意针对半导体边界引入了一个大限度、高质地的基于文本的数据集。咱们的数据集由两部分构成：用于预巡视的文档和用于微调的评释。
预巡视数据集：预巡视是将常识融入模子的要津才能。但是，预巡视的通用模子往往优先推敲数据障翳率而不是深度。笃定使用哪些数据来巡视模子以及它所包含的常识范围是一项挑战。基于这个问题，咱们假定通用预巡视模子枯竭深入的常识和专注于特定边界的才能。
咱们引入了一个基于文本的数据集，专注于半导体，摘自技巧竹素、论文和专利。为了构建这个数据集，咱们手动搜索了互联网上可用的大众 PDF 文档。然后使用 PyPDF 库将这些文档窜改为原始文本。由于原始文本往往存在体式问题，咱们使用 GPT-4o-mini 进行后处理，将文本窜改为 markdown 体式。此才能不仅校正了剖释造作，还保留了特殊类型的信息，举例表格。咱们建议的预巡视数据集的灵验性在表 IV 所示的实验末端中得到了解释。末端标明，当将隧说念使用领导进行微调的模子与微调之前使用咱们的数据集进行预巡视的模子进行比较时，有显贵的改进。
领导数据集：咱们期骗 GPT-4o 和 GPT-o1-preview 生成与半导体要津字筹商的领导。为此，咱们起初预界说了一个与半导体筹商的术语列表，该列程序领 GPT-4o 生成其他同义词和筹商要津字。然后使用这个扩展的列程序领 GPT-4o 为咱们的数据集制定问题。咱们的方法确保全面障翳咱们的 SemiKong 不错科罚的问题，从而普及咱们的领导数据集的灵验性。
该数据集包括 5，000 个解释半导体见解的问题、5，000 个科罚需要数学推理的复杂蚀刻问题的问题和 40，000 个科罚法子蚀刻工艺问题的问题，如表 I 所示。问题集完成后，咱们使用 GPT-4o 回答与半导体见解和旧例问题筹商的问题。关于波及数学和推理的更复杂的问题，咱们使用 GPT-o1-preview 来生成谜底。这种方法增强了模子科罚复杂问题的才能，使其成为更强硬的基础模子，终点是在半导体蚀刻边界。
4.2、模子巡视
咱们使用第 3.1 节中形色的精选数据集来巡视咱们的 SemiKong 模子。起初，使用 Tiktoken（一种基于 BPE 的璀璨器）对文本数据进行璀璨，该璀璨器泛泛应用于广阔 NLP 应用法子中。随后，将旋转位置镶嵌 (RoPE) 纳入位置镶嵌组件，以使 LLM 大约灵验地拿获位置信息。巡视过程包括两个阶段：使用纯文本数据集进行模子预巡视和监督微调 (SFT)。然后，咱们进行巡视后处理，使模子更妥当坐褥。模子概述和假想资源详见表 II。
模子预巡视（Model pre-training）：咱们假定通用预巡视模子枯竭边界特定常识。因此，咱们使用 Meta 的 Llama3 8B 和 70B 巡视点看成伊始对咱们的 SemiKong 模子进行了预巡视。此才能旨在增强模子对半导体边界的深入常识，从而确保它们愈加专注于咱们但愿模子在改日成为人人的特定边界。
监督微调 (SFT：Supervised fine-tuning)：预巡视为模子提供了深入的边界常识，而微调则使模子大约扩张咱们预期的任务，举例问答、对话和推理。鉴于领导数据的可用性，SFT 用于率领模子扩张与半导体筹商的任务。
巡视后过程（Post-training process）：在预巡视和微调之后，咱们进行了量化和合并，为部署模子作念好准备。咱们的竣事承袭了 GPTQ ，这是一种用于生成式预巡视ransformers的精准巡视后量化技巧。终末，将 LoRA 适配器与原始 LLM 模子合并，以生成针对半导体制造量身定制的最终 LLM 模子。
4.3、评估半导体制造大模子的建议方法
在特定边界环境中评估 AI 助手模子需要人人判断来解释模子响应的实用性。但是，人人注目往往有限且老本上流。因此，开发一个自动化谋略来评估这些模子的质地关于它们的开发和评估至关枢纽。这么的谋略不仅支抓名目开发，而且不错看成改日该边界有计划的法子。受此需求的推动，咱们建议了一种新颖的过程来生成评估法子列表。此法子列表将输入到 LLM 中，以增强其解释人人模子的才能。一个要津的挑战是不同的子边界需要不同的评估法子，况兼莫得适用于悉数问题的通用法子。
咱们展望，有了最终笃定的法子列表，LLM 将大约评估与人人判断高度筹商的 AI 助手模子的响应。咱们的孝顺包括开发一个过程，通逾期骗人人反馈来生成定制的法子列表。咱们通过为半导体行业边界生成法子列表来解释咱们过程的灵验性。
值得强调的是，咱们的方法不仅适用于半导体边界，也适用于其他需要东说念主类专科常识的边界。在咱们建议的评估过程中，咱们起初从三个主要开始鸠合了一组问题：来自咱们公司人人的 737 个问题、从 ResearchGate 论坛爬取的 150 个问题以及 ChatGPT 生成的 100 个一般问题。咱们的里面人人仔细审查并评估了每个问题，以确保其质地。经过审查，问题被分为三个难度级别：节略、中等和贫困，如表 3所示。
此外，咱们的人人开发了一个本色（如第 3节所述），将问题的过程分为高等、次级和特定级别。终末，咱们期骗悉数鸠合到的问题和注目，将它们输入 GPT-4o 和咱们的 SemiKong 模子中以生成开动谜底。
在东说念主机协同见解的基础上，咱们将其发展为人人协同框架。如图二所示，在这种方法中，人人会审查 LLM 生成的开动谜底。这些人人在其边界领有丰富的常识，他们不仅提供正确谜底，还会评估其他谜底的质地。这种双重才能使咱们大约生成基准测试的基本领实，并空洞出一套法子来率领 LLM 评估半导体人人模子。
为了竣事这少许，咱们要求人人对谜底进行评分，并为他们的评分提供详确的事理。然后，机器学习有计划东说念主员分析这些事理，制定一份全面的法子清单，用于率领 LLM 对模子输出进行评分。宗旨是创建明晰、精准的法子，使 LLM 大约作念出与东说念主类人人雷同的评估。这个过程是迭代的，凭据人人的新数据注目握住更新法子，从而逐步改进评估框架。在本文中，咱们将使用 LLM 评估半导体人人模子的法子界说如下：
明晰径直 (C&D：Clarity and Directness )：此法子波及使用阳春白雪的讲话，以确保谜底易于清爽。这意味着幸免使用无须要的术语或技巧术语，因为这些术语可能会让读者感到困惑。它还要求在每个句子中径直科罚手头的问题或主题，保抓对要点的关切。使用名目璀璨或编号列表组织信息不错进一步普及可读性并使要津点更容易清爽。
实用性和即时可用性 (PIU：Practicality and Immediate Usability)：实用性和即时可用性波及提供既实用又易于实施的建议。这意味着要专注于明晰、可操作的才能而不是表面解释，确保率领径直适用于现实天下的情况。建议应切合推行并妥当特定情况，使其可立即使用并与受众的需求筹商。
恶果和简易 (E&B：Efficiency and Brevity )：恶果和简易包括甩掉冗余信息并勾搭筹商要点以幸免冗长。宗旨是保抓信息简易，同期仍涵盖悉数必要的细节，确保信息明晰、切中要点，无需无须要的陈诉。
逻辑过程和连贯性 (LFC：Logical Flow and Coherence)：逻辑过程和连贯性波及以明晰、相宜逻辑的轨则罗列要点，使谜底易于清爽。这包括将筹商要点归入明晰的类别，增强全体连贯性，并确保用户不错玩忽清爽念念想的进展。
人人对人人疏浚 (EEC：Expert-to-Expert Communication)：人人对人人疏浚波及将复兴定制为训诲丰富的工程师向担任雷同变装但训诲较少的另别称工程师提供的疏导或率领。这可确保对话成为科罚问题过程的一部分，要点关切高等见解和实用率领，而无需深入探讨人人听众无须要的过于基础的解释。
使用示例和具体性 (UES：Use of Examples and Specificity)：使用示例和具体性是指仅在示例对解释具有枢纽价值时才提供示例。确保比较与要抒发的不雅点径直筹商且片言只字。仅当技巧术语对商榷至关枢纽时才引入它们，况兼仅在要求保抓明晰度和筹商性时才对这些术语提供片言只字的解释。
5、实验末端
5.1、竣事细节
为了巡视 Semikong，咱们使用了 8 个 NVIDIA A100 80GB GPU。咱们罢职 Transformers HuggingFace、HuggingFace Accelerator 和 LLaMA-Factory 库的率领原则来微调 LLM。预巡视和 SFT 的超参数包括批处理大小为 3、梯度积存才能为 3 和学习率为 1.0e-5。巡视进行了 5 个时期，承袭余弦学习率窜改法子，预热率为 0.15。咱们启用了 FP16 进行夹杂精度巡视，并分拨了 20% 的数据集进行考证。咱们在微调中使用了 LoRA。
5.2、评估
为了评估微消失预巡视的孝顺，咱们进行了实验来比较三种模子：Llama3、仅使用 SFT 的 SemiKong 和使用 SFT 进行预巡视的 SemiKong。表 4表露了咱们实验的末端。一般来说，仅进行微调并弗成普及模子的性能。这标明通用模子枯竭边界特定常识。当模子经过预巡视以学习更深入的常识时，模子的性能脱手显裸露改善的迹象。但是，为这个实验实施的模子只消 8B 个参数，这限制了学习模子常识的才能。因此，在接下来的实验中，咱们将对具有 70B 参数的更大模子进行实验，并仅对使用咱们建议的半导体数据集进行预巡视的模子进行微调。
表5中的实验末端 标明，具有 70B 参数的模子明显优于具有 8B 参数的模子。即使与咱们微调的 SemiKong 8B 模子比拟，基本 Llama3 70B 模子仍然优于它。基于这一不雅察，咱们的 SemiKong 70B 模子和实验末端标明，咱们的方法在悉数法子上王人明显优于通用开源 Llama3 8B 和 Llama3 70B 模子。
为了解释 SemiKong 的优胜性，咱们进行了实验，将其性能与生意居品进行比较。值得预防的是，SemiKong 是一个基础模子，不依赖于 RAG 等支抓系统。如表 6和图 1所示，SemiKong 在 C&D 和 E&B 谋略上提供了可比的性能，而在六个要津谋略中的四个中，它走漏出色：PIU、LFC、EEC 和 UES。这些谋略关于笃定模子是否知足人人的需求至关枢纽。
总体而言，SemiKong 竣事了最先进的性能，使其成为最妥当人人使用的模子。它的即时应用的实用性、逻辑过程、幸免无须要的信息以及提供简易准确谜底的才能恰是工程师日常责任所需要的。
6、论断和改日有计划宗旨
在本文中，咱们先容了 SemiKong，这是第一个特意针对半导体行业的基础模子，有 8B 和 70B 两个版块。此外，咱们还公布了一个针对半导体应用量身定制的大限度数据集，其中包含预巡视和微调数据。咱们还建议了一个半导体本色，旨在支抓东说念主工智能有计划东说念主员在半导体边界开展新的东说念主工智能有计划。咱们的 SemiKong 模子一经竣事了最先进的性能，超越了开源基础模子，并在人人使用中超越了生意居品。
但是，SemiKong 仅仅初步努力，还有多数责任要作念。起初，基于咱们建议的本色，咱们不错进一步开发除蚀刻以外的其他工艺，使半导体东说念主工智能愈加全面，适用于半导体制造的各个阶段。其次，咱们的管说念不错适合和扩展到其他行业，从而增强多个部门的工业运营。
https://www.tomshardware.com/tech-industry/artificial-intelligence/semikong-is-the-worlds-first-open-source-semiconductor-focused-llm-it-claims-to-bring-new-chips-to-market-30-percent-faster
https://www.marktechpost.com/2024/12/27/meet-semikong-the-worlds-first-open-source-semiconductor-focused-llm/
https://arxiv.org/html/2411.13802v2
半导体杰作公众号保举
专注半导体边界更多原创内容
关切全球半导体产业动向与趋势
*免责声明：本文由作家原创。著述内容系作家个东说念主不雅点，半导体行业不雅察转载仅为了传达一种不同的不雅点，不代表半导体行业不雅察对该不雅点赞同或支抓，如若有任何异议，接待筹商半导体行业不雅察。
今天是《半导体行业不雅察》为您共享的第3990期内容，接待关切。
『半导体第一垂直媒体』
女同tp及时 专科 原创 深度
公众号ID：icbank
可爱咱们的内容就点“在看”共享给小伙伴哦
我想要插插插综合网