在Linux下用ftp和lftp从FTP站点下载文件 背景介绍 最近我需要通过FTP站点下载合作者提供的测序数据,因此研究了一下怎么快速地从FTP站点下载文件。 测试的工具主要是和 什么是FTP? FTP,全称为“File Transfer Protocol”(文件传输协议),是互联网上的一种老牌协议,用于在网络上的计算机之间传输文件。想象一下,FTP就像是一位资深的邮差,专门负责把文件从一个地方送到另一个地方。 使用FTP下载数据 安装ftp Linux系统上一般自带了ftp这个命令行工具,如果没有的话你得安装一下(需要管理员权限): 登陆FTP站点 安装完成后,我们就可以登录FTP站点了。在终端输入: 一般而言,这个host是一个ip地址。 然后输入和,你就连接上FTP啦。 下载文件 在FTP站点,你可以使用命令加上文件名下载文件。输入: 但是我实测完发现这个比较慢,所以我转头搜了一下有没有别的命令,然后就找到了一个叫的命令。 什么是lftp 要比刚刚介绍的 ftp 功能更加强大和灵活。它支持FTP, HTTP, SFTP, FISH等协议,并且拥有一大堆令人眼花缭乱的特性,比如镜像下载、断点续传、并行下载和带宽限制等。简而言之,用 就完事儿了。 安装lftp 可以用conda一键安装: 帮助文档如下: 基本常用的选项就是和 登陆FTP站点 使用lftp登录FTP站点与使用ftp类似。在终端输入: 然后输入用户名和密码,即可进入FTP站点。 当然,也可以直接一步到位: 登录上之后就可以用类似于linux的一些命令来查询ftp站点里的信息,例如输入可以列出所有的文件和文件夹,或者使用在ftp站点里进行快速查找文件。详细的可用命令的列表可以参考: https://lftp.yar.ru/lftp-man.html 如何用lftp下载文件 如果你就下载单个文件,可以使用或者: 使用lftpget下载 ,它允许你不用登录FTP站点,直接从命令行直接下载文件: 当然,你也可以写循环来完成多个文件的下载 用pget进行单个文件下载 如果你想加速单个文件的下载,可以使用命令,它可以使用多线程进行下载,加快下载速度。 首先用lftp登录ftp站点,然后在lftp的提示符下输入: 这里是断点续传,可以指定并行的数量。 这样就可以使用多个连接来加速文件的下载啦。 用mget进行多文件的下载 如果你要下载多个文件,可以使用。 下面是 mget 命令的基本语法: 这里 , , … 是你要下载的文件的名称或通配符。 命令支持以下选项::继续之前被中断的下载。:设置下载文件的输出目录。: 在成功传输后删除源文件: 在传输前删除目标文件:排除与给定模式匹配的文件。:仅包含与给定模式匹配的文件。 这里-e和-E分别是::此选项用于在文件成功从远程服务器下载到本地之后,删除远程服务器上的源文件。这意味着文件已经被成功下载,然后才会删除远程的副本。:此选项用于在从远程服务器下载文件之前,先删除本地的目标文件。这通常在您希望覆盖本地已有的同名文件时使用。删除本地文件是为了确保不会有冲突或错误,然后从远程服务器下载新的文件。 选项涉及到远程服务器上的文件,而选项涉及到本地的文件。在任何情况下,文件的删除都是在传输完成或开始之后进行的,以确保不会丢失数据。 举例:使用默认设置下载一个目录中的所有文件: 从一个目录下载所有的 文件,并将它们保存到本地的 目录: 使用排除和包含选项下载指定类型的文件: 请注意,使用 下载大量文件时,可能会占用大量的网络带宽和系统资源。在使用此命令时要谨慎,并考虑可能对网络和服务器的影响。 萌哥碎碎念 断更了很久,一方面当时确实是要准备oral exam,没有精力持续更新。 另一方面是,我突然找不到更新的理由。 或者说,我没想明白我更新这个的意义是什么。 人嘛,就经常会陷入寻找意义和找不到意义的循环和陷阱里。现在大概想明白一些了,持续输出本身就是一种意义。 另外,这也是一种能力和核心价值的体现。 并且是一种很好的对自我的整理和锻炼。 不管是为了自己而写,还是为了在座的各位,反正,不输出、不展示别人就不知道你有多厉害。 让世界看到我的价值。 对了,为了让自己写起来更轻松愉快,我让GPT4给我写个初稿,然后在上面改。目前感觉GPT生成的初稿还不是很合我的心意,接下来多调试一些prompt让它更聪明一些。又多了一种乐趣。 祝你心情愉快。
2024最新激活全家桶教程,稳定运行到2099年,请移步至置顶文章:https://sigusoft.com/99576.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。 文章由激活谷谷主-小谷整理,转载请注明出处:https://sigusoft.com/61894.html