Unload mehr Dateien von Redshift bis S3

Question

Hallo ich mehrere Tabellen von Redshift zu einem bestimmten S3 Eimer zu entladen versuchen unter Störung zu erhalten:

psycopg2.InternalError: Specified unload destination on S3 is not empty. Consider using a different bucket/prefix, manually removing the target files in S3, or using the ALLOWOVERWRITE option. 

wenn ich Add ‚AllowOverwrite‘ Option auf unload_function wird overwritting vor Tabelle und letzte Tabelle in S3 entladen.

Dies ist der Code, den ich gegeben habe:

import psycopg2 

def unload_data(r_conn, aws_iam_role, datastoring_path, region, table_name): 
    unload = '''unload ('select * from {}') 
        to '{}' 
        credentials 'aws_iam_role={}' 
        manifest 
        gzip 
        delimiter ',' addquotes escape parallel off '''.format(table_name, datastoring_path, aws_iam_role) 

    print ("Exporting table to datastoring_path") 
    cur = r_conn.cursor() 
    cur.execute(unload) 
    r_conn.commit() 

def main(): 
    host_rs = 'dataingestion.*********.us******2.redshift.amazonaws.com' 
    port_rs = '5439' 
    database_rs = '******' 
    user_rs = '******' 
    password_rs = '********' 
    rs_tables = [ 'Employee', 'Employe_details' ] 

    iam_role = 'arn:aws:iam::************:role/RedshiftCopyUnload' 
    s3_datastoring_path = 's3://mysamplebuck/' 
    s3_region = 'us_*****_2' 
    print ("Exporting from source") 
    src_conn = psycopg2.connect(host = host_rs, 
           port = port_rs, 
           database = database_rs, 
           user = user_rs, 
           password = password_rs) 
    print ("Connected to RS") 

    for i, tabe in enumerate(rs_tables): 
      if tabe[0] == tabe[-1]: 
       print("No files to read!") 
      unload_data(src_conn, aws_iam_role = iam_role, datastoring_path = s3_datastoring_path, region = s3_region, table_name = rs_tables[i]) 
      print (rs_tables[i]) 


if __name__=="__main__": 
main() 

Answer 1

Es beschwert sich, dass Sie die Daten an das gleiche Ziel speichern.

Dies wäre wie das Kopieren aller Dateien auf Ihrem Computer in das gleiche Verzeichnis - es werden Dateien überschrieben.

sollten Sie Ihre datastoring_path ändern unterschiedlich für jede Tabelle zu sein, wie zum Beispiel:

.format(table_name, datastoring_path + '/' + table_name, aws_iam_role)