pyspark读取mongodb需要的配置及注意事项

MongodDB中的数据量太多了，打算将数据从Mongodb中被分到HDFS中，按平常的处理方法，至少是可以通过pymongo读取mongodb中的数据，然后把这些数据转成pandas dataframe 或者 spark dataframe，然后再写入HDFS的，但今天尝试了下直接通过spark连接MongoDB的处理方式。这里需要mongo-spark-connect，这是第三方插件提供的，所以需要经过如下配置才可以实现</p>

轻舞肥羊2020-01-05【[Python/Django]】

Linux（Centos7.6）下搭建SVN服务器

Linux（Centos7.6）下搭建SVN服务器

轻舞肥羊2019-07-13【[Linux]】

Centos7安装netcat

Centos7下安装netcat 的命令: sudo yum install net-tools

轻舞肥羊2019-07-02【[Linux]】

Centos7 Docker compose安装

Compose是定义和运行多容器Docker应用程序的工具，使用Compose，您可以使用YAML文件来配置应用程序的服务，然后，使用单个命令创建并启动配置中的所有服务。今天先记录centos7下 docker compose的安装。其实也就是参考官方文档来的

轻舞肥羊2019-06-02【[Architect]】

Centos7 安装Docker

Docker从1.13版本之后采用时间线的方式作为版本号，分为社区版CE和企业版EE。

社区版是免费提供给个人开发者和小型团体使用的，企业版会提供额外的收费服务，比如经过官方测试认证过的基础设施、容器、插件等。

社区版按照stable和edge两种方式发布，每个季度更新stable版本，如17.06，17.09；每个月份更新edge版本，如17.09，17.10。

前期准备，可以装个Centos7的虚拟机，参考这里：article/Architect/701.htm

轻舞肥羊2019-06-01【[Architect]】

Centos yum 替换为阿里的操作步骤

Centos yum 替换为阿里的操作步骤

轻舞肥羊2019-06-01【[Architect]】

VMWare中安装Centos7, 并配置网络

VMWare中安装Centos7, 并配置网络

轻舞肥羊2019-06-01【[Architect]】

navicat 连接mongo db 之后的查询语句写法

Navicat 这个数据库客户端工具越来越强大了，今天更新了Navicat 12.1.15 版本，发现可以直接连接NOSQL数据库了，设置阿里云，腾讯云都可以

轻舞肥羊2019-05-28【[Database]】

linux ffmpeg安装随手记

linux ffmpeg安装随手记

轻舞肥羊2018-12-01【[Linux]】

elastic search 6 入门资料

1ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。ElasticSearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。构建在全文检索开源软件Lucene之上的Elasticsearch，不仅能对海量规模的数据完成分布式索引与检索，还能提供数据聚合分析。据国际权威的数据库产品评测机构DBEngines的统计，在2016年1月，Elasticsearch已超过Solr等，成为排名第一的搜索引擎类应用

轻舞肥羊2018-10-08【[java]】

SVN 配置AD 账号登陆的详细步骤

搭建SVN 服务器，用LDAP AD 来管理用户的详细步骤，英文版。应该比较简单，容易看懂。

轻舞肥羊2015-05-06【[Architect]】

芒果数据库MongoDB入门开胃菜,简单易学

MongoDB 是NoSQL 的一种，面向文档的数据库, 介于传统的结构化数据库（关系型数据库）与非结构化数据库(文件存储)之间的一种，它的数据结构非常松散，也非常灵活，在现代化的计算机应用中，常用来存储分布式文件，以便于大数据处理. 最近项目进入尾声，也没什么BUG 了, 有点时间看看在最近几年很火的芒果数据库--MongoDB. 在github 上找到了这个入门文档，转载在博客上，方便自己

轻舞肥羊2014-04-15【[Database]】

给新同事做的spring mvc 培训教程及例子

项目有新人加入团队, 根据项目的情况，对刚毕业的新人做了一个很简单的入门培训，这是 spring mvc 部分, 分别有工程对应. 主要内容如下: 1. 实现最简单的 spring mvc 2. spring mvc 与 model 绑定 3. spring mvc 增删改查，rest 风格, 必须使用 GET,POST,PUT,Delete. 4. spring mvc 返回json 给客户端. 5. 讲义所用到的PPT，作为提纲.

轻舞肥羊2014-04-01【[java]】

扩展spring schema 的方法, 代码下载

<p>在写程序框架的过程中，经常为了简化程序，可能需要自定义schema, SPRING 对于JAVA开发者来说，是很好的工具，因此基于SPRING schema 的扩展对框架有很大用处。</p> <p>比如做成自己的schema 之后，就可以在 xml 配置文件中类似如下的定义: <comtest:people id="cutesource" name="一号门" age="1024"/> 这里的comtest 就是自定义的schema.<br /> 曾经在CSDN 搜到一篇文章，按照他的方式，我确实没做出来，可能比较笨的原因。后来自己参考他的方法，按自己的思路做出来了。<br /> 现在贴出来，供大家参考。</p>

轻舞肥羊2013-12-10【[java]】

Windows 2003 SP1 NLB 单播模式配置(windows 集群)

 其实网络负载平衡是企业网络中非常普遍的一项应用，合理应用可以不仅可以拿企业的网络设备重新焕发活力，更能够通过组合使原本性能较低的产品达到更高的性能,下面介绍了如何在 WINDOWS 2003 sp1 中配置 NLB 单播模式实现windows 集群，负载均衡.

轻舞肥羊2013-01-06【[Architect]】