知识蒸馏

https://zhuanlan.zhihu.com/p/92166184

在训练模型时,我们通常采用复杂模型或者Ensemble方式来获取最好的结果,导致参数冗余严重,像BERT里有3亿参数。因此在前向预测时,需要对模型进行复杂的计算(或多个模型加权),导致工程性能较差。

Hinton在NIPS 2014workshop中提出知识蒸馏(Knowledge Distillation,下面简称KD)概念:

把复杂模型或者多个模型Ensemble(Teacher)学到的知识 迁移到另一个轻量级模型( Student )上叫知识蒸馏。使模型变轻量的同时(方便部署),尽量不损失性能。

从定义上来看KD属于模型压缩、加速的一类玩法。

阿里云Windows服务器22端口相关问题

阿里云Windows服务器配置的文章:https://www.jianshu.com/p/f41fd6212f37

(一般不用)允许22端口的连接

以防万一,把允许22端口连接的步骤写在下面(【一般不需要这么做】):

打开组策略(按下win键,输入【组策略】就可以找到了)

打开组策略

接下来打开IP安全策略:

IP安全策略的位置

菜单栏中点击【操作】——创建IP安全策略——一路下一步,到【新IP安全策略 属性】窗口进行配置。

点击添加——一直下一步到【IP筛选器】的界面

点击【添加】之后的样子

IP筛选器这里选择【添加】,弹出来的界面一路下一步到【IP协议类型】,选择【TCP】,下一页是【到此端口】里面输入【22】

就是这

选择22端口

完成后回到【IP筛选器列表】里面,【确定】即可。

这里选择上刚才创建的【新IP筛选器列表】,下一步:

选上这个新IP筛选器列表

【筛选器操作】这里点【添加】,选择【许可】就行。这一步完成后选上刚才的新筛选器操作,就可以了。

都做完后,右键点击——点击【分配】。

选择【分配】

(一般不用)开启阿里云22端口

如果还有问题,那可能是22端口在阿里云这里禁用了(【默认是启用的】),可以这样:

回到阿里云,点击【右上角的控制台】-【左侧云服务器ECS】-找到自己的服务器实例进去。点左侧【安全组】-点【配置规则】,加上22端口的访问权限。

左侧云服务器ECS

允许22端口之后的样子

阿里云windows服务器配置

购买

首先到阿里云去购买服务器:

选择的时候选Windows Server 2019版即可:

选择配置界面

之后到控制台,去设置密码(控制台——云服务器ECS——找到服务器实例点进去——密码密钥——重置实例密码)

重制实例密码

修改之后就可以用用户名:administrator ;密码:刚才设置的密码 进行登陆了。

登陆

点击远程连接,即可登陆。

Windows系统下,可以用自带的远程连接(https://jingyan.baidu.com/article/67662997adb46a54d51b84bd.html

在Mac下面,可以下载一个Microsoft Remote Desktop来进行连接。

使用

打开80端口以进行网络访问

回到阿里云,点击【右上角的控制台】-【左侧云服务器ECS】-找到自己的服务器实例进去。点左侧【安全组】-点【配置规则】,加上80端口的访问权限。

左侧云服务器ECS

打开80端口

增强安全配置

用浏览器的时候,会提示:

增强安全配置正在阻止

解决:打开【服务器管理器】,点左侧的【本地服务器】,找到右边的【IE增强的安全配置】,点击右边的【启用】,弹出的窗口选择两个【关闭】,确认即可。之后再打开的网页就不会有这样的提示了。

右侧中间就是

Python安装

https://www.python.org/ 下载Python即可。

点击这里的Python X.X.X就可以跳转到下一个页面

点击这里的Windows x86-64 executable installer就可以下载了

直接点击【运行】

记得【一定】要选上【Add to path】!

【选上】!选上!选上!!!!!!!!!

然后直接点Install Now就行。后面一路next。

pip使用

修改源:https://yq.aliyun.com/articles/750265?spm=a2c4e.11155472.0.0.40116748F1Aw2k

(1) pip -v config list找到配置文件的位置

(2) 到这些路径(如果没有的话就要新建)下,创建pip.ini

1
2
3
4
[global]
index-url=http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com

注意:如果有venv环境,优先级最高的可能是venv目录下的pip.ini(默认没有,需要创建)

Python环境

每一个单独的环境都用venv创建。python -m venv .\venv,之后.\venv\Scripts\activate

MySQL安装

https://dev.mysql.com/downloads/mysql/

直接点Recommended Download下面的图就可以下载了。下载直接选比较大的那个离线安装包,中间提示注册登录的时候可以点下方隐藏的小字不注册直接下载。

直接下载

在这个界面,点击【Next】就可以安装默认的内容:

点击next

在Check Requirements页面,需要选择【execute】而不是【next】

如果直接点next会出现这样的界面,需要点击No然后选择execute

execute点击后,会出现【Microsoft Visual C++ 2019 Redistribute】的安装和Visual Studio 2010 Tools for Office的安装,直接默认安装就行。

接下来会剩下一些mannual的内容,包括excel的连接、VS的连接、Python的连接,之后如果要用python连mysql的话直接pip安装就行,所以不用管直接next。如果后面还要安装别的东西,可以再次打开下载的msi文件添加。

这时直接点No就行

安装好之后,到配置的时候,保持默认一直到Authorization method的地方,选择传统方法的认证模式。

传统认证模式

接下来下一步是创建用户。

创建用户

Add User点击后的界面

sample和example安装的时候,需要输入刚才创建的root的密码

输入root的密码

接下来点check和next,execute完就可以了。

安装完成之后会自动打开:

MySQL Workbench

VSCode安装

如果需要在服务器上写代码,还是建议搞个VSCode。

https://code.visualstudio.com/ 官网上直接点击下载就可以。

接下来安装就很常规了。

这里选择确定

最好把这几个框都选上

ssh登陆

如果用的是Linux服务器的话,我们可以直接用ssh登陆。

Windows服务器如果实现了ssh登陆的话,就可以用VSCode remote在本地修改服务器上的代码,比较方便。

这篇文章里面有详细的介绍: https://blog.csdn.net/qishine/article/details/101061647

官方教程在:https://docs.microsoft.com/en-us/windows-server/administration/openssh/openssh_overview 或者 https://docs.microsoft.com/zh-cn/windows-server/administration/openssh/openssh_install_firstuse

根据测试(在服务器里面打开powershell,输入ssh),发现其实里面已经装了ssh的客户端(连接别的服务器),但是没有服务器端(不能用别的电脑来ssh连接自己)。

我们也可以直接在powershell里面输入Get-WindowsCapability -Online | ? Name -Like '*SSH*'来搜索对应的服务。结果如下:

搜索服务的结果

(这样就是说明服务端没有装,客户端装了

根据上面的名字,可以安装,直接在powershell里面输入Add-WindowsCapability -Online -Name OpenSSH.Server~~~~0.0.1.0回车就行:

安装结束后的样子

之后打开服务(按下win键,输入service,就可以看到服务):

打开【服务】

找到OpenSSH的两个服务:

就是他俩

右键——属性——启动类型选择【自动】,然后右键——【启动】,打开这两个服务。

然后就可以连接了!

连接成功

打开通过密钥登陆ssh

自己电脑上生成密钥的过程参见:

接下来,服务器上打开C:\ProgramData\ssh,编辑sshd_config,去掉PubkeyAuthentication yes(第34行)前面的注释。【并且注释掉最后两行】(那篇教程上没写,https://blog.csdn.net/weixin_34007886/article/details/86364850 有提到,亲测必须得注释掉最后两行)

然后在C:\Users\Administrator下建立文件夹.ssh(做法:在powershell里面输入mkdir C:\Users\Administrator\.ssh):

建立文件夹.ssh

将公钥文件复制过去,重命名成authorized_keys(没有后缀!)。

最后重新启动两个OpenSSH的服务。

就是他俩

【在mac上尝试失败了】本地电脑上进行VSCode配置

参考https://www.cnblogs.com/tinywan/p/11107397.html ,但是因为连的是windows服务器,所以有坑。

在【自己的】电脑上,打开VSCode,安装插件Remote Development,然后在左下角就会有一个连接服务器的图标,点它!

左下角的图标!

出来的窗口选择第一项,然后输入administrator@你的服务器IP

选择第一项

然后就会告诉你失败了!这时候点击【more actions】——【open settings】,往下拉最后有一个Windows remotes

windows remotes

点击add item,把服务器的ip放进去。之后重新连接一次。

22端口打开

默认阿里云和这个服务器上已经打开了22端口,如果没有的话,可以到https://www.jianshu.com/p/e0d9fb8ada93 看一下。

压缩&解压

直接用7zip:https://www.7-zip.org/

Oracle安装

oracle账号:https://blog.csdn.net/weixin_39917347/article/details/817071062696671285@qq.com ,密码:Oracle123

可以到官网下载(但是可能连不上)。https://blog.csdn.net/weixin_44841225/article/details/100782269 给了官网和百度网盘两个地址。并且里面也有安装的详细介绍。

  • 指定用户的时候,不能用现有Windows的administrator账户,需要新建一个:
    • 密码可以与管理员的密码相同
  • 字符集保持unicode就挺好

keras数据集的位置

实测是在:C:\Users\Administrator.keras\datasets

直接把数据集放上去就行。

keras数据集位置,注意npz文件直接放,多个文件的放到文件夹里面

数据集分享在这里:https://pan.baidu.com/s/1odWcfP4FABYFX8-YFdaqUg 密码:ci4i

django部署

https://www.bbsmax.com/A/ke5jRj3g5r/

因为现在uwsgi不支持windows(直接pip install会报错,但是网上也有修改使得它可用的文章),所以使用mod_wsgi

nginx

如果想要一个服务器绑定多个域名,以及配置https的话,就可以用nginx

https://blog.csdn.net/u011418717/article/details/52776090 这里有教程

  • 用连接:http://nginx.org/download/nginx-1.16.1.zip 下载
  • 解压后运行里面的nginx.exe,就打开了,没有什么一直显示的窗口
  • 打开conf文件夹里面的nginx.conf,就可以配置了。

设置显示扩展名复选框隐藏

打开一个文件夹,选择这里就行

git

https://git-scm.com/download/win 这里下载就行

Mac-qt-安装组件

必须要首先升级Qt版本(直接下载安装新版)!否则后面搞完一堆之后会告诉你要升级才能用……

到后面升级的提示

首先要找到安装位置:用户目录/Qt5.13.0

之后要打开MaintenanceTool.app,并且登陆进去

为了解决【要继续此操作,至少需要一个有效且已启用的储存库】这个问题,要到设置里面添加临时档案库,一个可用的网址是:https://mirrors.tuna.tsinghua.edu.cn/qt/online/qtsdkrepository/mac_x64/root/qt/

设置-资料档案库-临时资料档案库-添加

到这里之后先选更新组件!