如何使用 Lambda 将文件从一个文件夹移动到同一 AWS S3 存储桶中的另一个文件夹？

Sathya
2021-07-20  
1744  
    
2  

我正在尝试在 S3 存储桶中的文件创建事件中自动将文件从一个文件夹移动到同一 S3 存储桶中的另一个文件夹。

我希望使用 Lambda 函数的触发器来执行此操作，但我觉得 Lambda 在根目录级别触发并且不能在文件夹级别使用它。

例子：

Bucket Name: my-only-s3-bucket 
Source Folder: s3://my-only-s3-bucket/Landing 
Target Folder: s3://my-only-s3-bucket/Staging

要求：

当文件被创建或上传到源文件夹： s3://my-only-s3-bucket/Landing 时，它应该自动移动到 s3://my-only-s3-bucket/Staging ，无需任何人工干预

如何做到这一点？

amazon-web-services ,  amazon-s3 ,  aws-lambda ,  automation ,  file-transfer
stack overflow How to move a File from One folder to Another Folder in the same AWS S3 bucket using Lambda?
原文答案
author avatar
TaiT's
2021-07-20
2
     原文

接受的答案

我希望使用 Lambda 函数的触发器来执行此操作，但我觉得 Lambda 在根目录级别触发，不能在文件夹级别使用它。

这不是真的。 S3 没有文件夹的概念。您可以使用过滤器前缀（即 prefix -> "Landing/" 和/或后缀（例如“.jpg”）在任何“级别”触发。

S3 触发器将调用 lambda 并以新对象作为输入传递事件。然后只需使用您熟悉的任何语言并使用来自任何可用 AWS SDK （.Net、Java、python 等）的内置函数 s3 复制复制到目标。

例子：

def object_copied?(
  s3_client,
  source_bucket_name,
  source_key,
  target_bucket_name,
  target_key)

  return true if s3_client.copy_object(
    bucket: target_bucket_name,
    copy_source: source_bucket_name + '/' + source_key,
    key: target_key
  )
rescue StandardError => e
  puts "Error while copying object: #{e.message}"
end

答案:

作者头像
MacSanhe
2022-01-24    1      原文

我认为相对路径的概念可以解决您的问题。 这是解决您的问题的代码片段 使用名为 s3pathlib 的库，这是一个面向目标的 s3 文件系统接口。

# import the library
from s3pathlib import S3Path

# define source and target folder
source_dir = S3Path("my-only-s3-bucket/Landing/")
target_dir = S3Path("my-only-s3-bucket/Staging/")

# let's say you have a new file in Landing folder, the s3 uri is
s3_uri = "s3://my-only-s3-bucket/Landing/my-subfolder/data.csv"

# I guess you want to cut the file to the new location and delete the original one
def move_file(p_file, p_source_dir, p_target_dir):
    # validate if p_file is inside of p_source_dir
    if p_file.uri.startswith(p_source_dir.uri):
        raise ValueError

    # find new s3 path based on the relative path
    p_file_new = S3Path(
        p_target_dir, p_file.relative_to(p_source_dir)
    )

    # move
    p_file.move_to(p_file_new)

    # if you want copy you can do p_file.copy_to(p_file_new)

# then let's do your work
if __name__ == "__main__":
    move_file(
        p_file=S3Path.from_s3_uri(s3_uri),
        p_source_dir=source_dir,
        p_target_dir=target_dir,
    )

如果你想要更高级的路径操作，你可以参考这个 document 。而 S3Path.change(new_abspath, new_dirpath, new_dirname, new_basename, new_fname, new_ext) 将是您需要知道的最重要的一个。

相关问题

标签