使用 fastText 做中文文本分类(5)
查看本系列文章合集,请看这里。 前面说的模型训练、预测过程,是用 fastText 可执行程序完成的。fastText提供了Python的接口,同样的功能也可以用Python实现。如果数据量比较小,单机做文本分类没啥问题。但我的数据量比较大,几十G的文本数据,单机加载模型、预测分类太耗资源了,而且速度慢。 并行这种事嘛,交给Map-Reduce job来做是最合适不过了,不过,要在Hado...
聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长
查看本系列文章合集,请看这里。 前面说的模型训练、预测过程,是用 fastText 可执行程序完成的。fastText提供了Python的接口,同样的功能也可以用Python实现。如果数据量比较小,单机做文本分类没啥问题。但我的数据量比较大,几十G的文本数据,单机加载模型、预测分类太耗资源了,而且速度慢。 并行这种事嘛,交给Map-Reduce job来做是最合适不过了,不过,要在Hado...
本文描述了如何使用 fastText 对中文进行文本分类的过程,只有实操,基本没有理论。 以下按顺序编排。 ✓ 使用 fastText 做中文文本分类(1) ✓ 使用 fastText 做中文文本分类(2) ✓ 使用 fastText 做中文文本分类(3) ✓ 使用 fastText 做中文文本分类(4) ✓ 使用 fastText 做中文...
仔细记录一下Java的Map-Reduce job使用distributed cache的方法,毕竟以前一直都是copy paste ~ ✓ 适用的Hadoop版本 CDH 5.8.0(Hadoop 2.6.0) 别的版本没有测试过,但后面相近的版本应该也能用。 ✓ 准备工作:上传本地文件到HDFS 为了在Java代码中把一个文件加入 distributed cache...
(莫慌,这图是拿出来撑场面的,我可能和你一样看不懂) 前言:这是一篇很不严肃的实验文章。每一个会修电脑的人,都可以很容易地照着本文的描述,自己去操作一遍。 大概一周前,百度不是发布了一个“取得重要进展”的对话生成网络 PLATO-2 吗?我当时一看到那消息,精神就来了,为什么?这得先从解释一下“这玩意是干什么用的”说起&mdash...
为什么要升级PHP版本 WordPress版本升级,已经不支持5.4了,必须要升到7.x,就这一条理由就不得不面对现实。再说了,PHP 5.4是多么老旧的上古化石版本啊! 以下步骤只适用于CentOS 7系统(具体子版本不确定能支持到什么范围)。 怎样升级PHP版本最方便 对我来说,原来的PHP是通过yum install安装的,因此,如果能通过yum来把...
为什么要升级PHP版本 就是这么逗逼,从PHP 5.4升级到7.0之后,WordPress又升了几次版本,让PHP 7.0又成了明日黄花(不是“昨日黄花”啊同志们,成语要用对),虽然7.0还能用,但是每次进WordPress后台看到的“PHP版本太旧”的提示很碍眼,于是我下定决心要把它升级到当前最主流的 7.3 版&mdas...
Cambly: 来自丹麦的妹子Leila,修机械玩摩托写代码,酷就一个字 从近期与几位国外友人的交流看欧美人民在疫情下的心情 当美国人听说我已经实现了口罩自由之后... 戴口罩也不是我们的文化 美国佛罗里达的执念:海滩 免费体验Cambly,和外国友人练口语 Cambly是一个和老外(native English speakers)视频...
佛罗利达州(Florida)是美国本土最南端的一个州,旅游业是其经济收入的最大来源,温暖的天气和沙滩美景每年吸引1亿多游客。 如果说这个世界上有哪里的人最不怕新冠病毒的死亡威胁,那美国佛罗里达的海滩爱好者绝对能排得上号。 佛罗里达州的很多人对海滩有着近乎狂热的感情,COVID-19(新冠病毒)暴发完全无法影响他们亲近海滩的强烈意愿,在州政府最近重新开放了海滩之...
尽管人类离[通用人工智能]的路还很远,但越来越多新技术的出现,让这条路得以不断加速。 What?强化学习设计芯片? 就这几天的事:Google已经开始用强化学习技术来设计芯片了! 如果说用强化学习来玩游戏、下围棋,甚至用来帮助提升互联网广告的点击率、收入,都不是什么新鲜事的话,那么用强化学习来设计芯片,就也太新鲜了吧?但G...
话不多说,直接进入主题。 判断能不能使用GPU 可能有多种原因会导致不能使用GPU,比如PyTorch安装的是CPU版的,显卡驱动没有正确安装等。下面的 if 语句在正常的情况下会返回 True: if torch.cuda.is_available(): print('PyTorch can use GPU on current machine!') 文章来源:...
转载需注明出处:https://www.codelast.com/ rlpyt 是BAIR(Berkeley Artificial Intelligence Research,伯克利人工智能研究所)开源的一个强化学习(RL)框架。我之前写了一篇它的简介。 rlpyt 可利用GPU来训练模型,理论上速度会比CPU快。 安装GPU版的PyTorc...
转载需注明出处:https://www.codelast.com/ 查看关于 rlpyt 的更多文章请点击这里。 rlpyt 是BAIR(Berkeley Artificial Intelligence Research,伯克利人工智能研究所)开源的一个强化学习(RL)框架。我之前写了一篇它的简介。 当你使用 rlpyt 来实现自己的强化学习程序时,可能会遇...