在人工智能系统领域，数据的准确性具有重要意义。Gretel是一家开拓性实体，通过发布一套广泛且多样化的开源文本到SQL数据集，将人工智能领域推向前进。这一开创性进展有望加速人工智能模型的训练，并提高跨各行业的基于数据驱动的洞察质量。
探索数据集
Gretel的synthetic_text_to_sql数据集现已在Hugging Face上提供，这是一个令人印象深刻的合集，包含105,851条记录。其中，有100,000条记录用于训练，剩余的5,851条用于测试。该数据集包含大约2300万个标记，其中约1200万个标记基于SQL，该数据集涵盖100个不同领域或行业。它涵盖各种SQL任务，如数据定义、检索、操作、分析和报告，并展示不同级别的SQL复杂性。
这个数据集的独特之处不仅在于其规模，还在于其精心的构成。它包含了诸如表和视图创建语句、SQL查询的自然语言解释以及优化模型训练的上下文标签等背景信息。这样的丰富性和多样性承诺将显著降低数据团队在改善数据质量上的时间和资源消耗，传统上这些工作占据了他们工作量的高达80%。
理解文本到SQL的重要性
在今天的数据驱动世界中，迅速准确地从数据库中提取洞察力至关重要。文本到SQL是一种技术突破，它使用户能够使用自然语言查询数据库，被认为对于使数据更易访问至关重要。然而，由于缺乏高质量、多样化的文本到SQL训练数据，这一技术的开发和完善一直受到阻碍。
Gretel的数据集旨在填补这一空白，提供了一个专为训练专业从事文本到SQL任务的大型语言模型（LLMs）而设计的广泛资源。该数据集不仅使访问数据洞察变得更加民主化，还简化了能够以更直观方式与数据库交互的人工智能应用的开发。
克服挑战
Gretel的synthetic_text_to_sql数据集的创建并非没有障碍，特别是在确保高质量数据和克服常常妨碍使用和共享现有数据集的许可限制方面。Gretel通过利用其Navigator工具成功地克服了这些挑战，该工具利用复合人工智能系统以大规模生成高质量的合成数据。
验证数据集质量的一个关键方面涉及使用LLMs作为评判者。这一方法在数据评估方面与人类基准达到了惊人的一致，突显了该数据集在SQL标准的遵从性、正确性以及对指令的遵循方面相较于其他数据集的优越性。
结论
Gretel在Hugging Face上发布的synthetic_text_to_sql数据集，代表着合成数据领域的一项非凡成就。它标志着人工智能社区的一个关键时刻，提供了一个在规模和多样性方面都无与伦比的开源数据集。通过这一努力，Gretel不仅推动了文本到SQL技术的进步，还强调了高质量数据在开发有效人工智能系统中的至关重要作用。
常见问题
The source of the article is from the blog publicsectortravel.org.uk