解决小型表的 Redshift COPY 查询挂起问题

使用 Python 解决 Redshift COPY 查询问题（使用 Boto3）

使用 Python 和 Boto3 调试和解决问题的后端脚本

import boto3
import time
from botocore.exceptions import ClientError
# Initialize Redshift client
redshift_client = boto3.client('redshift', region_name='your-region')
# Function to terminate a stuck query
def terminate_query(cluster_identifier, query_id):
    try:
        response = redshift_client.cancel_query_execution(ClusterIdentifier=cluster_identifier, QueryId=query_id)
        print(f"Query {query_id} terminated successfully.")
    except ClientError as e:
        print(f"Error terminating query: {e}")
# List active queries
def list_active_queries(cluster_identifier):
    try:
        response = redshift_client.describe_query_executions(ClusterIdentifier=cluster_identifier)
        for query in response.get('QueryExecutions', []):
            print(f"Query ID: {query['QueryId']} - Status: {query['Status']}")
    except ClientError as e:
        print(f"Error fetching queries: {e}")
# Example usage
cluster_id = 'your-cluster-id'
list_active_queries(cluster_id)
terminate_query(cluster_id, 'your-query-id')

创建基于 SQL 的方法来解决问题

通过 Redshift 查询编辑器或 SQL 客户端直接使用 SQL 查询

-- Check for stuck queries
SELECT * FROM stv_recents WHERE aborted = 0;
-- Terminate a specific backend process
SELECT pg_terminate_backend(pid)
FROM stv_sessions
WHERE process = 'query_id';
-- Validate table locks
SELECT lockable_type, transaction_id, relation, mode
FROM pg_locks;
-- Reboot the cluster if necessary
-- This must be done via the AWS console or API
-- Ensure no active sessions before rebooting

使用 AWS 开发工具包实施 Node.js 方法

使用 Node.js 管理 Redshift 查询的后端脚本

const AWS = require('aws-sdk');
const redshift = new AWS.Redshift({ region: 'your-region' });
// Function to describe active queries
async function listActiveQueries(clusterId) {
    try {
        const data = await redshift.describeQueryExecutions({ ClusterIdentifier: clusterId }).promise();
        data.QueryExecutions.forEach(query => {
            console.log(`Query ID: ${query.QueryId} - Status: ${query.Status}`);
        });
    } catch (err) {
        console.error("Error fetching queries:", err);
    }
}
// Terminate a stuck query
async function terminateQuery(clusterId, queryId) {
    try {
        await redshift.cancelQueryExecution({ ClusterIdentifier: clusterId, QueryId: queryId }).promise();
        console.log(`Query ${queryId} terminated successfully.`);
    } catch (err) {
        console.error("Error terminating query:", err);
    }
}
// Example usage
const clusterId = 'your-cluster-id';
listActiveQueries(clusterId);
terminateQuery(clusterId, 'your-query-id');

有关 Redshift COPY 查询挂起的基本常见问题解答

1. Redshift 中 COPY 查询挂起的常见原因有哪些？
2. COPY 查询挂起通常是由于 WLM 配置错误、网络问题或文件格式不一致造成的。调整 WLM 设置并验证数据源连接 aws s3 ls。
3. 如何终止挂起的查询？
4. 使用 SELECT pg_terminate_backend(pid) 终止进程或以编程方式终止 AWS 开发工具包。
5. IAM 角色会影响 COPY 命令吗？
6. 是的，不正确的 IAM 角色或策略可能会阻止对 S3 等外部数据源的访问，从而导致查询挂起。使用 aws sts get-caller-identity 来验证角色。
7. 调试文件格式问题的最佳方法是什么？
8. 通过首先加载小数据集并利用 COPY 选项来验证文件格式，例如 FILLRECORD 优雅地处理缺失值。
9. 如何测试从 Redshift 到 S3 的连接？
10. 运行基本查询，例如 aws s3 ls s3://your-bucket-name/ 来自与 Redshift 相同的 VPC 以确保访问。

总结查询故障排除

处理 Amazon Redshift 中卡住的 COPY 查询需要采用多方面的方法，从分析 stv_recents 等系统表到解决 WLM 设置等配置问题。通过清晰的诊断和优化的工作流程，调试变得易于管理。 🎯

实施验证文件格式和管理 IAM 角色等稳健的实践可以防止未来出现中断。这些解决方案不仅解决了眼前的问题，还提高了整体系统效率，使 Redshift 成为满足数据仓库需求的更可靠的工具。 🌟