How to download files using wget

来自百问网嵌入式Linux wiki
Jeason讨论 | 贡献2021年2月4日 (四) 23:25的版本 (创建页面,内容为“ == 如何使用wget下载文件 == === 1.正确搭建开发环境 === 开发板直接接在路由器或者交换机下,确保这个交换机或者路由器能…”)
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)

如何使用wget下载文件

1.正确搭建开发环境

开发板直接接在路由器或者交换机下,确保这个交换机或者路由器能连接到需要下载的网络,本节会以下载百度的网页作为demo

所以需要 开发板能连接到外网。这一点很重要。

2.测试网络的连通性

2.1测试开发板到路由器的连接

这一步基本看一下网口灯就行了,正常的连接状态网口灯应该是亮起的。

2.2测试开发板能否连接外网

    • 建议使用dhcp 的方式给开发板获得固定的IP** ,笔者在野火的板子上进行测试的时候发现存在使用固定IP 的情况下缺少DNS 配置的问题。(笔者是自行写了配置脚本,开发板 可以运行脚本挂载 nfs 服务) 在百问网的板子上测试的时候发现使用udhcpc 获得动态IP的过程中直接附带了路由器的DNS 服务器信息。

使用固定IP 导致的缺少DNS 也可以通过修改配置文件解决 (执行以下语句 其中的223.5.5.5 为阿里云的DNS 服务)

echo "nameserver 223.5.5.5" >> /etc/resolv.conf


默认板子重启之后的配置文件 /etc/resolv.conf 如下 (貌似也能ping到百度)


[root@imx6ull:~]# cat /etc/resolv.conf   # 板子上电之后的DNS配置信息
# Generated by Connection Manager
nameserver ::1
nameserver 127.0.0.1
[root@imx6ull:~]# udhcpc  # 获取动态IP 
udhcpc: started, v1.29.3
udhcpc: sending discover
udhcpc: sending select for 192.168.1.110
udhcpc: lease of 192.168.1.110 obtained, lease time 7200
deleting routers
adding dns 202.96.134.33
adding dns 202.96.128.166
[root@imx6ull:~]# cat /etc/resolv.conf #再次查看DNS 信息
# Generated by Connection Manager
nameserver ::1
nameserver 127.0.0.1
nameserver 202.96.134.33 # eth0
nameserver 202.96.128.166 # eth0
[root@imx6ull:~]#

综合起来就是 : 最好就是 开发板上电之后 运行 udhcpc 获得一个路由器分配的动态IP 。并且要能成功的ping通外网

[root@imx6ull:~]# ping www.baidu.com
PING www.baidu.com (14.215.177.38): 56 data bytes
64 bytes from 14.215.177.38: seq=0 ttl=56 time=7.638 ms
64 bytes from 14.215.177.38: seq=1 ttl=56 time=7.580 ms

2. 使用wget 获取资源

2.1获取网页资源

[root@imx6ull:~]# wget www.baidu.com
--2021-01-31 15:17:30--  http://www.baidu.com/
Resolving www.baidu.com... 14.215.177.39, 14.215.177.38
Connecting to www.baidu.com|14.215.177.39|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 2381 (2.3K) [text/html]
Saving to: 'index.html'
index.html          100%[===================>]   2.33K  --.-KB/s    in 0s
2021-01-31 15:17:30 (17.0 MB/s) - 'index.html' saved [2381/2381]

如上述的片段显示的,通过wget 工具我们成功的获取了 百度的首页。

接下来获取一个图片;分析网页的的html语言不难找到百度的首页图片,直接下载下来这个资源。

[root@imx6ull:~]# wget www.baidu.com/img/bd_logo1.png
--2021-01-31 15:19:46--  http://www.baidu.com/img/bd_logo1.png
Resolving www.baidu.com... 14.215.177.39, 14.215.177.38
Connecting to www.baidu.com|14.215.177.39|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 7877 (7.7K) [image/png]
Saving to: 'bd_logo1.png'
bd_logo1.png        100%[===================>]   7.69K  --.-KB/s    in 0.004s
2021-01-31 15:19:46 (1.99 MB/s) - 'bd_logo1.png' saved [7877/7877]
[root@imx6ull:~]# ls
bd_logo1.png  index.html   

如果想要将所有的资源都下载下来 需要加入 -p 参数

[root@imx6ull:~/temp]# wget -p www.baidu.com
--2021-01-31 15:23:25--  http://www.baidu.com/
Resolving www.baidu.com... 14.215.177.39, 14.215.177.38
Connecting to www.baidu.com|14.215.177.39|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 2381 (2.3K) [text/html]
Saving to: 'www.baidu.com/index.html'
www.baidu.com/index 100%[===================>]   2.33K  --.-KB/s    in 0s
2021-01-31 15:23:25 (18.1 MB/s) - 'www.baidu.com/index.html' saved [2381/2381]
Loading robots.txt; please ignore errors.
--2021-01-31 15:23:25--  http://www.baidu.com/robots.txt
Reusing existing connection to www.baidu.com:80.
HTTP request sent, awaiting response... 200 OK
Length: 2814 (2.7K) [text/plain]
Saving to: 'www.baidu.com/robots.txt'
www.baidu.com/robot 100%[===================>]   2.75K  --.-KB/s    in 0s
2021-01-31 15:23:25 (26.5 MB/s) - 'www.baidu.com/robots.txt' saved [2814/2814]
FINISHED --2021-01-31 15:23:25--
Total wall clock time: 0.06s
Downloaded: 2 files, 5.1K in 0s (21.8 MB/s)

通过上述的代码 我们发现并没有把所有的文件都拿下来,可能是因为百度的反爬虫机制。不懂,估计也用不到

2.2获取服务器资源

这个需要提前知道服务器资源的位置,以下是我测试的时候的用例时间(2021-01-30 以及2021-02-04) 例如下载

wget http://mirrors.aliyun.com/ubuntu/project/ubuntu-archive-keyring.gpg.sig
wget https://gitee.com/weidongshan/openharmony_for_imx6ull.git --no-check-certificate    # git
wget https://atta.szlcsc.com/upload/public/pdf/source/20190802/C375844_D1F11326408C489F34467373E22B71B9.pdf  #立创商城的datesheet
wget http://wechatapppro-1252524126.file.myqcloud.com/appTVs2sJfo3933/image/3c196c4ca0f94877e848239b68e0e948.png  # 百问网的图标
wget https://cloud.firebbs.cn/portal/202005/18/173859n5cfr16h1u1ccczf.jpg      # 野火BBS 的封面