Sat, 30 Jul 2011 10:23:00 GMT

不知不觉房��pȝ��已经使用MongoDB一�q�多了，记得一�q�多以前�Q�正是NOSQL被热炒时�Q�MongoDB更是作�ؓNOSQL中的��g��者，被炒得火烫，也应该就在当时被�q�股火烫着了，所以义无反�儡��选择了MongoDB�Q�现在想惛_��时确实有些冲动了�Q�当时MongoDB的资料还是比较少�Q�更别说中文资料了，后来�q�出��C��用MongoDB成功应用的范例Foursquare的宕��Z��件。现在确实应该很感谢MongoDB为我们的�pȝ��服务了一�q�了�Q�在�q�一�q�的旉��里，��实出现�q�不��的��问题，特别是在��理操作上，我想�q�大概也是因为MongoDB在系�l�维护上不如Mysql那样有着各种的业界实践，往往��只能通过��理员自己去摸烦�?br /> 下面��在�q�一�q�的一些简单的��理操作做一下记�?br />

Starting and Stopping Mongo

Security and Authentication

Monitoring and Diagnostics

Backups

Starting and Stopping Mongo

MongoDB启动

对了�Q�MongoDB在linux下是无需安装的，从官�|�上下蝲下安装包后解压，直接执行mongod�Q�就可以启动MongoDB服务器，当然mongod�q�有很多的启动选择��，�q�行mongod --help��可以查看所有的选择��V�?br />
-f [ --config ] arg configuration file specifying additional options
一般来��_��启动选择��可以直接写在在mongod后面�Q�也可以指定配置文�g�Q�用文�g来加载各�U�启动项�Q�如
/home/mongodb/bin/mongod --config /home/mongodb/conf/mongod.conf

上面是一台测试机的启动选择��V�?br />
dbpath = /home/mongodb/data
    指定数据库的存储目录�Q�如果不讄��则以mongodb的根目录为目录，当MongoDB启动之后�Q�在数据库的存储目录下会创徏一个mongod.lock文�g�Q�它是用来记录当前的mongod的进�E�号�Q�同时也用于区分各个mongod的进�E�实例，所以不同的mongod�q�程实例是不能用相同的dbpath�?br /> logpath = /home/mongodb/mongodb.log
    指定日志输出的�\径，如果没有讄��logappend = true�Q�系�l�会清除原来的日志记录，把已有的文�g�q�行覆盖�?br /> logappend = true
    日志以追加的方式�q�行记录
bind_ip = 192.168.86.111
    指定对外服务的绑定ip�Q�这里指定内�|�的ip方式�Q�如果外�|�无�Ҏ��的处理方式是无法�q�行�q�接�?br /> port = 27017
    指定服务器的监听端口��P��默认�?7017�Q�如果单个机器要�q�行多个mongod�q�程�Q�则需要给每个�q�程指定不同的端口号�?br /> fork = true
    指定以守护进�E�的方式来启动MongoDB�Q�如果不指定�Q�在启动mongod命��o是加“&”也是可以的�?br /> auth = true
    启动mongodb客户端登录的认证机制�?br /> master = true
    指定该机器�ؓ��M��模式下的��L��器�?br /> 配置完配�|�文件后启栋mongod�Q�启动时要盯着日志文�g看，因�ؓ日志通常会告诉我们一些错误或警告的信息，�q�样能够更好的帮助我们了解和避免错误�?br />

�q�里�l�出了个提示�Q��用的�?2位的Mongodb�Q�所以MongoDB只是存储最大�ؓ2GB的数据。其实这个跟MongoDB的mmap机制有关�Q�如果是64位则不会存在�q�种限制�?br /> ��h��意一定要盯着日志�?br />

tail -100f /home/mongodb/mongodb.log

停止MongoDB

千万要强调的是千万不要��用kill -9��d��闭mongod�Q�这��h��据库会不理一切直接杀死该�q�程�Q�会使得数据文�g损坏�?br /> �E�_��的方法是使用kill -2 pid��d��闭mongod�Q�也��是当mongod�q�程接受到关闭指令后会等待当前运行操作或文�g分配�{�操作完毕后�Q�关闭所有打开的连接，�q�将�~�存的数据刷新到��盘后才正式关闭�?br /> 最�E�_��的方式是使用shutdown命��o来结�?br />

> use admin
switched to db admin
> db.shutdownServer();

Security and Authentication

打开mongodb.org的Security文档�Q�第一句话��是 Running Without Security(Trusted Environment)�Q�跟我们��世界上没有什么百分百安全的环境，最好的安全是放在一个安全的环境中运行，�q�么无底气的话语未免也让��Zؓ它的安全担心�Q�不�q�事实上MongoDB�q�是有安全认证模式的�Q�只不过跟mysql�Ҏ��h��有一点简陋�?br />
MongoDB的安�?/span>
MongoDB目前只支持最基本的安全认证，如果我们开启了安全性检查，则只有数据库认证用户才能�q�行��d��操作�Q�当然我们还可以创徏��d��权限用户和只��L��限用��P��如果我们在admin的数据库中进行创建用��P��那么admin中的用户��׃��被当作超�U�用��P��用户可以��d��所有的数据库，�q�且�q�可以进行特�D�的��理操作�Q�比如可以再创徏其他用户关闭�q�程�{�操作�?br />
配置MongoDb用户认证
�Ҏ��官网上的例子�Q�我们也来创��Z��个超�U�用��P��一个test库中��h��d��操作的普通用��P��一个test库中只有��L��作的普通用戗��?/div>

> use admin
switched to db admin
> db.addUser("cyz","abc")
{
        "_id" : ObjectId("4dba5fe7c6792ae30fea3c31"),
        "user" : "cyz",
        "readOnly" : false,
        "pwd" : "8658a5bf469e005b047560619ef0d51c"
}
> use test
switched to db test
> db.addUser("cyz001","abc")
{
        "user" : "cyz001",
        "readOnly" : false,
        "pwd" : "7a597bef551027cc2161d5e0efe4049e"
}
> db.addUser("cyz002","abc",true)
{
        "user" : "cyz002",
        "readOnly" : true,
        "pwd" : "2dde0a3777cd7dd92459a6c3f98afac6"
}

�q�里cyz是在admin库中创徏�Q�属于超�U�用��P��可以�Ҏ��有库�q�行操作�Q�在test库中创徏的cyz001和cyz002属于test库的操作人员�Q�只能对test库进行相应操作，记得要�ؓ安全验证生效需要将启动��auth讄��为true�?br />
查看用户
所有的用户信息都存储在每个数据库的db.system.users中，可以使用find()�q�行查看

> use admin
switched to db admin
> db.system.users.find()
{ "_id" : ObjectId("4dba5fe7c6792ae30fea3c31"), "user" : "cyz", "readOnly" : false, "pwd" :

"8658a5bf469e005b047560619ef0d51c" }

其中的pwd是根据用户名和用户密码生成的散列倹{�?br />
修改用户
不管是添加用��P��修改用户密码�Q�修改用��h��作权限都使用addUser()来完成。删除用户可以用remove()来实现�?/div>

> db.system.users.find({"user":"cyz001"})

更多的安全考虑

刚说了MongoDB的安全认证其实还是简陋的�Q�所以我们还是有其他很多的安全考虑�?br /> 1.比如说MongoDB传输协议是不加密的，如果需要加密的话，我们可以考虑使用ssh隧道或是他们的技术来对客��L��和服务端之间的通讯�q�行加密�?br /> 2.��MongoDB部��v在只有客��L��服务器才能访问到的环境，比如内网�Q�vpn�|�络中，可以使用 bind_ip = 本机或内�|?�?br /> 3.如果��实需要将MongoDB暴露在外部环境可以考虑使用IPTABLES�{�技术进行访问限制�?br />

Monitoring and Diagnostics

官网首先�l�我们推荐了mongostat监控工具�Q�基本上mongostat可以作�ؓ一个外部观��MongoDB内部状态指标的工具�Q��ƈ且一�U�更��C��ơ，如果出现一些性能问题可以用这里入手进行分析�?br />

�q�里的属性都可以通过mongostat --help�q�行查看�Q�有几个列需要解释一下，可以帮助到我们发生性能问题时比较准备的扑ֈ�定位�?br />
faults�Q�这是一个重要的性能指标�Q�显�C�Z��的机器每�U�页面故障的数量�Q�这个是mongoDB映射到虚拟地址�I�间�Q�而不是物理内存，�q�个值如果飙高的话，可能意味着你的机器没有��_��的内存来存储数据和磁盘的讉K��?br /> flushes�Q�每�U�做了多��次fsync�Q�表面多��次数据被刷新进了磁盘�?br /> mapped�Q�是指mmap有多��数据量�Q�也��是服务器的内存映射�Q�其中包含了虚拟内存和常��d��存�?br /> locked�Q�这个��D��面全局写入锁占用了机器多少旉��Q?当放生全局写入锁时�Q�所有的查询操作都将�{�待�Q�直到写入锁的解锁，如果�q�个锁飙高有可能是你的程序那部分出现问题�?br /> idx miss�Q�B树未命中的比例，�q�个应该是我们查询的命中的实时指敎ͼ�一般在特定查询中会有用到�?br /> qr | qw�Q�如果有太多的查询进行处理，它们��׃��一个队列的方式�q�行�Q�如果这个值飙高的话，那么查询也会变得很慢�Q�因为后面的队列必须�{�待前面的队列执行完毕，高�ƈ发时�Q�一般队列��g��升高�?br /> 另外我们�q�可以在mongodb shell中进行检查，使用db.serverStatus()

基本上db.serverStatus()跟mongostat 差不多，不过它显�C�的数据更�ؓ具体�Q�它也有一个缺陷就是它的数据是静态的�Q�不是实时的�?br />
Http Console
其实mongodb�q�提供了一个跟直观的检��工��P��在默认情况下�Q�启动mongodb的同时还会启动一个http的服务器�Q�用�|�页展示的信息比前两个工��h��得更加直观，启动默认的监听端口�ؓ28017 http�Q?/ip:28017

基本上我们可以看到查询，复制�Q�锁�{�等�q�些的情况，具体的参数还是上官网looklook�Q�http://www.mongodb.org/display/DOCS/Http+Interface

当然了，我们�q�可以��用其他的专业监控软�g�q�行监控�Q�如nagios�Q�cacti�Q�这些都有mongodb的插件�?br />

Backups
MongoDB的备份机制还是不错的�Q�备份的方式也是很多�Q�这个�ƈ不比mysql要差�?br />
Shutdown and Backup
关闭服务�Q�直接把dbpath参数的目录进行备份，只需把所有的文�g�q�行复制到其他地方就可以�Q�不�q�如果这个备份是在服务启动时候做的话�Q�有可能备䆾的文件会被损坏，虽然�q�种关闭服务的备份很有效也很安全�Q�都效果相当不理惟�?br />
mongodump & mongorestore
mongodump��直就是mysqldump的另一版，如果你��用过mysqldump那就再熟悉不�q�了�Q�mongodbdump可以使用在各个客��L��Q�对正在�q�行的mongodb服务做出查询�Q�然后将所有查到的文本写入到客��L��的磁盘�?/div>

除了mongodump�Q�MongoDB�q�提供了从备份中恢复数据的工具mongorestore�Q�mongorestore从mongodump获取�l�果�Q��ƈ��备份的数据插入到运行的MongoDB实例�?/div>

./mongodump --db test --collection user --out - > /home/chenyz/cyz.bson
./mongorestore --db test --collection user --directoryperdb /home/chenyz/cyz.bson --drop cyz.bson

上面的例子中�Q�指定了要备份的db和要备䆾的collection�Q?-drop表明要在恢复前删除集合，否则�Q�数据将和现有的集合数据合�ƈ�?br />
��M��备䆾
上面说的几种备䆾数据方式已经很灵�z�M��Q�但都不及在从服务器上备份来得方便，从服务器的数据几乎是于主服务器进行同步，涉及��C��从方面还有很多，从服务器备䆾��׃��攑֜��q�里讲了�?br />
修复
遇到一些停电，或非法关闭mongodb�Q�不合理备䆾文�g的操作，往往会出现文件损毁的提示�Q�幸好，mongodb内置的修复功能会试着��L��复损坏的文�g�?br /> 操作很简单，只需在启动mongod 加入 --repair启动��，�pȝ��׃��所有的文�g导入忽略那些无效的文档然后进行导入，完成之后�Q�会重新建立索引�Q�数据量大的话需要花费很长的旉��Q�因为所有的文�g都需要进行验证，所有的索引都需要重建，另外修复数据库还能�v到压�~�数据的作用�Q�闲�|�的�I�间�Q�碎片在修复后会被重新回收进行��用�?br />
另外在shell中也可以直接�q�行repair操作

> db.repairDatabase()
{
"ok" : 1
}

陈于�?/a> 2011-07-30 18:23 发表评论

MongoDB with Morphia

Thu, 16 Sep 2010 09:41:00 GMT

先感谢同事梁员外的技术分�?下面是一些相关的�W�记,当然�?在应用Morphia之前需要有MongoDB的��用经�?

What is Morphia?

Morphia is a lightweight type-safe library for mapping your Java objects to/from MongoDB

��单的来说Morphia与MongoDB的关�p�d��如Hibernate与关�p�L��据库的关�p? 是一个实现Java对象到MongoDB双向映射的类库�?br />
下面是摘自Morphia官方的简�?带有一定的�q�告�?呵呵

Easy to use, and very lightweight; reflection is used once per type and cached.

Annotations describe mapping behavior; there are no XML files.

Provides Datastore and DAO data access abstractions, or roll your own...

Type-safe Query support

Works with Guice, Spring, and other DI frameworks.

Has many extension points to build on

Does not store Null/Empty values (by default).

GWT support (entities are just POJOs) --(GWT ignores annotations)

Advanced mapper that allows raw conversion, void toObject(DBObject) or DBObject fromObject(Object)

下蝲 morphia.jar

��jar导入到工�E�后,看看mongodb和morphia的初始化

初始化Mongo(MongoDB Java Api)

初始化Morphia

在mapPackage需要制定一�p�d��的pojo�c?/span>

对POJO�c�进行存储操�?/span>

以上代码创徏了两个领域Hotel,Address,前者�ؓ实体存在,有自��q��生命周期,后者则为内嵌在实体之中,没有独立的生命周�? 关于�q�些注解的详�l�含义，以及Morphia提供的其他注解，请参见其官方文档�?br />

以下说说Morphia与Spring的结�?

com.***.cvus.dao.MorphiaBean 是自己封装的一个SpringBean�c?/span>

public class MorphiaBean extends Morphia {
    …
    private Mongo mongo = null;
    private String dbName = null;
    public Datastore getDataStore() {
        if (this.mongo == null || this.dbName == null) {
            return null;
        }
        return createDatastore(mongo, dbName);
    }
…
}

MorphiaBean的应�?/span>

DataStrore—查询语�?br />
直接ID查询:

��单条件查�?

DataStrore—保存\删除语法

保存

删除

Query—复杂查�?br />
Filter�Ҏ��:

获取�W�一个数�?/span>

获取列表:

Query—排�?分页

排序

分页

UpdateOperaions—更新操�?br />
执行语句

updateQuery�Q�查询条�Ӟ��Class�Q�Query�Q?/strong>

ops�Q�更新操作（Class�Q�UpdateOperations�Q?/strong>

ops�Q?UpdateOperations �Q�参数的语法�Q?br />
http://code.google.com/docreader/#p=morphia&s=morphia&t=Updating

@Embedded & @Reference

http://code.google.com/docreader/#p=morphia&s=morphia&t=EmbeddedAnnotation

http://code.google.com/docreader/#p=morphia&s=morphia&t=ReferenceAnnotation

----------------------------------------

by 陈于�?nbsp;

QQ:34174409
Mail: chenyz@corp.netease.com

陈于�?/a> 2010-09-16 17:41 发表评论

正在播放亚洲,欧美成人精品一区二区男人小说,性人久久久久

MongoDB with Morphia