피클웹 블로그

URL로 된 파일 목록 한번에 다운로드하기

3 시간 전 166

대량의 파일을 다운로드해야 할 때, 하나씩 수동으로 다운로드하는 것은 비효율적입니다.
다행히도, curl 명령어를 사용하면 한 번의 명령 실행만으로 여러 파일을 쉽게 다운로드할 수 있습니다.
이 가이드에서는 curl을 이용하여 여러 개의 파일을 다운로드하는 방법을 단계별로 설명하고, 파일 목록을 활용하는 방법 및 속도 제한, 병렬 다운로드 등의 고급 옵션까지 다룰 것입니다. 이를 통해 다운로드 작업을 더욱 효율적으로 수행할 수 있습니다.

1. 단일 파일 다운로드 방법

단일 파일을 다운로드하려면 다음 명령어를 사용합니다.

curl -O http://www.example.com/file1.zip

2. 여러 개의 파일을 한 번에 다운로드하는 방법

curl -O http://www.example.com/file1.zip
curl -O http://www.example.com/file2.zip
curl -O http://www.example.com/file3.zip

3. 한 줄 명령으로 여러 파일 다운로드

curl -O http://www.example.com/file1.zip -O http://www.example.com/file2.zip -O http://www.example.com/file3.zip

4. 파일 목록을 이용한 일괄 다운로드

URL 목록 파일 생성

다운로드할 파일의 URL을 포함하는 urls.txt 파일을 생성합니다.

http://www.example.com/file1.zip
http://www.example.com/file2.zip
http://www.example.com/file3.zip

자동 다운로드 실행

xargs -n 1 curl -O < urls.txt

5. 다운로드 진행 상태 확인

curl -# -O http://www.example.com/file1.zip

6. 여러 개의 파일을 병렬로 다운로드

curl -O http://www.example.com/file1.zip &
curl -O http://www.example.com/file2.zip &
curl -O http://www.example.com/file3.zip &
wait

7. 다운로드 속도를 제한하는 방법

curl --limit-rate 100k -O http://www.example.com/file1.zip

8. 다운로드 중단 후 재개

curl -C - -O http://www.example.com/file1.zip

9. 사용자 인증이 필요한 경우

curl -u username:password -O http://www.example.com/securefile.zip

위의 방법을 활용하면 여러 개의 파일을 쉽고 효율적으로 다운로드할 수 있습니다. curl의 다양한 옵션을 잘 활용하여 최적의 다운로드 방식을 적용해 보세요!