在数据清理过程中，经常会遇到需要去除重复数据的场景。SQL中提供了多种 来实现这一目的，本文将介绍几种常用的 ，帮助您有效地去除SQL中的重复项。
使用DISTINCT关键字
DISTINCT关键字是最基本的 ，通过过滤重复数据中的重复行，只保留唯一行。格式如下：
sql
SELECT DISTINCT column1, column2, ...
FROM table_name;
例如，要从名为"table1"的表中去除重复的"name"列，可以使用以下查询：
sql
SELECT DISTINCT name
FROM table1;
使用GROUP BY子句
GROUP BY子句可将数据分组，并对每个组应用聚合函数，如COUNT()或MAX()。通过将唯一标识列作为分组依据，可以实现去除重复项的效果。格式如下：
sql
SELECT column1, column2, ...
FROM table_name
GROUP BY unique_column;
例如，要从"table1"表中去除重复的"name"列和"age"列，可以使用以下查询：
sql
SELECT name, age
FROM table1
GROUP BY name;
使用UNION ALL子句
UNION ALL子句可合并两个或多个查询结果，并保留所有行，包括重复行。通过将一个只包含唯一行的查询与原始查询合并，可以实现去除重复项的效果。格式如下：
sql
SELECT column1, column2, ...
FROM (
SELECT DISTINCT column1, column2, ...
FROM table_name
) AS unique_table
UNION ALL
SELECT column1, column2, ...
FROM table_name;
例如，要从"table1"表中去除重复的"name"列，可以使用以下查询：
sql
SELECT name
FROM (
SELECT DISTINCT name
FROM table1
) AS unique_table
UNION ALL
SELECT name
FROM table1;
使用ROW_NUMBER()函数
ROW_NUMBER()函数可为表中的每一行分配一个唯一的行号。通过过滤行号为1的行，可以实现去除重复项的效果。格式如下：
sql
SELECT column1, column2, ...
FROM (
SELECT column1, column2, ..., ROW_NUMBER() OVER (PARTITION BY unique_column ORDER BY unique_column) AS row_num
FROM table_name
) AS subquery
WHERE row_num = 1;
例如，要从"table1"表中去除重复的"name"列和"age"列，可以使用以下查询：
sql
SELECT name, age
FROM (
SELECT name, age, ROW_NUMBER() OVER (PARTITION BY name ORDER BY name) AS row_num
FROM table1
) AS subquery
WHERE row_num = 1;
结语
以上介绍了四种去除SQL中重复项的 ，每种 各有其优缺点。根据实际数据和性能要求，选择最合适的 即可。通过实践，您将熟练掌握这些 ，从而有效地处理数据，提高数据质量。
