av福利在线播放,日韩一区二区三免费高清,一区国产精品

关于数据库的优化

java民工 — Mon, 20 Oct 2008 16:46:00 GMT

数据库的优化�Ҏ��
本文首先讨论了基于第三范式的数据库表的基本设计，着重论�q�C��建立主键和烦引的�{�略和方案，然后从数据库表的扩展设计和库表对象的攄��{�角度概�q�C��数据库管理系�l�的优化�Ҏ��?
关键词：优化�Q�Optimizing�Q?�W�三范式�Q?NF�Q?冗余数据�Q�Redundant Data�Q?索引�Q�Index�Q?数据分割�Q�Data Partitioning�Q?对象攄��Q�Object Placement�Q?
1 引言
数据库优化的目标无非是避免磁盘I/O瓉��、减��CPU利用率和减少资源竞争。�ؓ了便于读者阅��d��理解�Q�笔者参阅了Sybase、Informix和Oracle�{�大型数据库�pȝ��参考资料，��Z��多年的工�E�实�늻�验，从基本表设计、扩展设计和数据库表对象攄��{�角度进行讨论，着重讨��Z��如何避免��盘I/O瓉��和减��资源竞争，�怿�读者会一目了然�?
2 ��Z��W�三范式的基本表设计
在基于表驱动的信息管理系�l�（MIS�Q�中�Q�基本表的设计规范是�W�三范式�Q?NF�Q�。第三范式的基本特征是非主键属性只依赖于主键属性。基于第三范式的数据库表设计��h��很多优点�Q�一是消除了冗余数据�Q�节省了��盘存储�I�间�Q�二是有良好的数据完整性限�Ӟ��卛_��于主外键的参照完整限制和��Z��主键的实体完整性限�Ӟ��q��得数据容易维护，也容易移植和更新�Q�三是数据的可逆性好�Q�在做连接（Join�Q�查询或者合�q�表时不遗漏、也不重复；四是因消除了冗余数据�Q�冗余列�Q�，在查询（Select�Q�时每个数据��存的数据行��多�Q�这样就有效地减��了逻辑I/O�Q�每个Cash存的��面��多�Q�也减少物理I/O�Q�五是对大多��C��?Transaction)而言�Q�运行性能好；六是物理设计(Physical Design)的机动性较大，能满��x��益增长的用户需求�?
在基本表设计中，表的主键、外键、烦引设计占有非帔R��要的��C��Q�但�pȝ��设计人员往往只注重于满��用户要求�Q�而没有从�pȝ��优化的高度来认识和重视它们。实际上�Q�它们与�pȝ��的运行性能密切相关。现在从�pȝ��数据库优化角度讨��些基本概念及光��要意义：
�Q?�Q�主�?Primary Key)�Q�主键被用于复杂的SQL语句�Ӟ��频繁地在数据讉K��中被用到。一个表只有一个主键。主键应该有固定��|��不能为Null或缺省��|��要有相对�E�_��性）�Q�不含代码信息，易访问。把常用�Q�众所周知�Q�的列作��Z��键才有意义。短主键最佻I��于25bytes�Q�，主键的长短媄响烦引的大小�Q�烦引的大小影响索引��늚�大小�Q�从而媄响磁盘I/O。主键分��然主键和��Zؓ主键。自然主键由实体的属性构成，自然主键可以是复合性的�Q�在形成复合主键�Ӟ��主键列不能太多，复合主键使得Join*作复杂化、也增加了外键表的大��。�h��Z��键是�Q�在没有合适的自然属性键、或自然属性复杂或灉|��度高�Ӟ��Zؓ形成的。�h��Z��键一般是整型��|��满��最��化要求�Q�，没有实际意义�Q�也略微增加了表的大��；但减��了把它作�ؓ外键的表的大��?
�Q?�Q�外键（Foreign Key�Q�：外键的作用是建立关系型数据库中表之间的关�p�（参照完整性）�Q�主键只能从独立的实体迁�U�d��非独立的实体�Q�成为后者的一个属性，被称为外键�?
�Q?�Q�烦�?Index)�Q�利用烦引优化系�l�性能是显而易见的�Q�对所有常用于查询中的Where子句的列和所有用于排序的列创建烦引，可以避免整表扫描或访问，在不改变表的物理�l�构的情况下�Q�直接访问特定的数据列，�q�样减少数据存取旉��Q�利用烦引可以优化或排除耗时的分�c?作；把数据分散到不同的页面上�Q�就分散了插入的数据�Q�主键自动徏立了唯一索引�Q�因此唯一索引也能��保数据的唯一性（卛_��体完整性）�Q�烦引码��小�Q�定位就��直接；新徏的烦引效能最好，因此定期更新索引非常必要。烦引也有代��P��有空间开销�Q�徏立它也要��p��旉��Q�在�q�行Insert、Delete和Update*作时�Q�也有维护代仗��烦引有两种�Q�聚族烦引和非聚族烦引。一个表只能有一个聚族烦引，可有多个非聚族烦引。��用聚族烦引查询数据要比��用非聚族索引快。在建烦引前�Q�应利用数据库系�l�函��C��烦引的大小�?
�?聚族索引�Q�Clustered Index�Q�：聚族索引的数据页按物理有序储存，占用�I�间��。选择�{�略是，被用于Where子句的列�Q�包括范围查询、模�p�查询或高度重复的列�Q�连�l�磁盘扫描）�Q�被用于�q�接Join*作的列；被用于Order by和Group by子句的列。聚族烦引不利于插入*作，另外没有必要用主键徏聚族索引�?
�?非聚族烦引（Nonclustered Index�Q�：与聚族烦引相比，占用�I�间大，而且效率低。选择�{�略是，被用于Where子句的列�Q�包括范围查询、模�p�查询（在没有聚族烦引时�Q�、主键或外键列、点�Q�指针类�Q�或��范��_��q�回的结果域��于整表数据�?0%�Q�查询；被用于连接Join*作的列、主键列�Q�范围查询）�Q�被用于Order by和Group by子句的列�Q�需要被覆盖的列。对只读表徏多个非聚族烦引有利。烦引也有其弊端�Q�一是创建烦引要耗费旉��Q�二是烦引要占有大量��盘�I�间�Q�三是增加了�l�护代�h�Q�在修改带烦引的数据列时索引会减�~�修攚w��度�Q�。那么，在哪�U�情况下不徏索引呢？对于��表�Q�数据小�?��）、小��C��表（不直接访问单行数据或�l�果集不用排序）、单值域�Q�返回值密集）、烦引列值太长（大于20bitys�Q�、容易变化的列、高度重复的列、Null值列�Q�对没有被用于Where子语句和Join查询的列都不能徏索引。另外，对主要用于数据录入的�Q�尽可能��徏索引。当�Ӟ��也要防止建立无效索引�Q�当Where语句中多�?个条件时�Q�维护烦引的开销大于索引的效益，�q�时�Q�徏立��时表存储有关数据更有效�?
扚w��导入数据时的注意事项�Q�在实际应用中，大批量的计算�Q�如电信话单计费�Q�用C语言�E�序做，�q�种��Z��d��键关�p�L��据计��而得的批量数据（文本文�g�Q�，可利用系�l�的自��n功能函数�Q�如Sybase的BCP命��o�Q�快速批量导入，在导入数据库表时�Q�可先删除相应库表的索引�Q�这有利于加快导入速度�Q�减��导入时间。在导入后再重徏索引以便优化查询�?
�Q?�Q�锁�Q�锁是�ƈ行处理的重要机制�Q�能保持数据�q�发的一致性，��x��事务�q�行处理�Q�系�l�利用锁�Q�保证数据完整性。因此，我们避免不了死锁�Q�但在设计时可以充分考虑如何避免长事务，减少排它锁时��_��减少在事务中与用��L��交互�Q�杜�l�让用户控制事务的长短；要避免批量数据同时执行，��其是耗时�q�用到相同的数据表。锁的征用：一个表同时只能有一个排它锁�Q�一个用��L��Ӟ��其它用户在等待。若用户数增加，则Server的性能下降�Q�出�?#8220;假死”现象。如何避免死锁呢�Q�从��锁到行��锁，减少了锁征用�Q�给��表增加无效记录�Q�从��锁到行��锁没有媄响，若在同一��内竞争有媄响，可选择合适的聚族索引把数据分配到不同的页面；创徏冗余表；保持事务��短；同一批处理应该没有网�l�交互�?
�Q?�Q�查询优化规则：在访问数据库表的数据(Access Data)�Ӟ��要尽可能避免排序�Q�Sort�Q�、连�?Join)和相兛_��查询*作。经验告诉我们，在优化查询时�Q�必��d��刎ͼ�
�?��可能少的行�Q?
�?避免排序或�ؓ��可能少的行排序�Q�若要做大量数据排序�Q�最好将相关数据攑֜�临时表中*作；用简单的键（列）排序�Q�如整型或短字符串排序；
�?避免表内的相兛_��查询�Q?
�?避免在Where子句中��用复杂的表达式或非�v始的子字�W�串、用长字�W�串�q�接�Q?
�?在Where子句中多使用“�?#8221;�Q�And�Q�连接，��?#8220;�?#8221;(Or)�q�接�Q?
�?利用临时数据库。在查询多表、有多个�q�接、查询复杂、数据要�q��o�Ӟ��可以��Z��时表�Q�烦引）以减��I/O。但�~�点是增加了�I�间开销�?
除非每个列都有烦引支持，否则在有�q�接的查询时分别扑և�两个动态烦引，攑֜�工作表中重新排序�?
3 基本表扩展设�?
��Z��W�三范式设计的库表虽然有其优��性（见本文第一部分�Q�，然而在实际应用中有时不利于�pȝ��q�行性能的优化：如需要部分数据时而要扫描整表�Q�许多过�E�同时竞争同一数据�Q�反复用相同行计��相同的�l�果�Q�过�E�从多表获取数据时引发大量的�q�接*作，当数据来源于多表时的�q�接*作；�q�都消耗了��盘I/O和CPU旉��?
��其在遇��C��列情形时�Q�我们要对基本表�q�行扩展设计�Q�许多过�E�要频繁讉K��一个表、子集数据访问、重复计��和冗余数据�Q�有时用戯��求一些过�E�优先或低的响应旉��?
如何避免�q�些不利因素呢？�Ҏ��讉K��的频�J�程度对相关表进行分割处理、存储冗余数据、存储衍生列、合�q�相兌��处理�Q�这些都是克服这些不利因素和优化�pȝ��q�行的有效途径�?
3.1 分割表或储存冗余数据
分割表分为水�q�_��割表和垂直分割表两种。分割表增加了维护数据完整性的代�h�?
水��^分割表：一�U�是当多个过�E�频�J�访问数据表的不同行�Ӟ��水��^分割表，�q�消除新表中的冗余数据列�Q�若个别�q�程要访问整个数据，则要用连�?作，�q�也无妨分割表；典型案例是电信话单按月分割存放。另一�U�是当主要过�E�要重复讉K��部分行时�Q�最好将被重复访问的�q�些行单独�Ş成子集表�Q�冗余储存）�Q�这在不考虑��盘�I�间开销时显得十分重要；但在分割表以后，增加了维护难度，要用触发器立��x��新、或存储�q�程或应用代码批量更斎ͼ��q�也会增加额外的��盘I/O开销�?
垂直分割表（不破坏第三范式）�Q�一�U�是当多个过�E�频�J�访问表的不同列�Ӟ��可将表垂直分成几个表�Q�减��磁盘I/O�Q�每行的数据列少�Q�每��存的数据行��多�Q�相应占用的��就��）�Q�更新时不必考虑锁，没有冗余数据。缺�Ҏ��要在插入或删除数据时要考虑数据的完整性，用存储过�E�维护。另一�U�是当主要过�E�反复访问部分列�Ӟ��最好将�q�部分被频繁讉K��的列数据单独存�ؓ一个子集表�Q�冗余储存）�Q�这在不考虑��盘�I�间开销时显得十分重要；但这增加了重叠列的维护难度，要用触发器立��x��新、或存储�q�程或应用代码批量更斎ͼ��q�也会增加额外的��盘I/O开销。垂直分割表可以辑ֈ�最大化利用Cache的目的�?
��M��Q��ؓ主要�q�程分割表的�Ҏ��适用于：各个�q�程需要表的不联结的子集，各个�q�程需要表的子集，讉K��频率高的主要�q�程不需要整表。在主要的、频�J�访问的主表需要表的子集而其它主要频�J�访问的�q�程需要整表时则��生冗余子集表�?
注意�Q�在分割表以后，要考虑重新建立索引�?
3.2 存储衍生数据
对一些要做大量重复性计��的�q�程而言�Q�若重复计算�q�程得到的结果相同（源列数据�E�_��Q�因此计��结果也不变�Q�，或计��牵扯多行数据需额外的磁盘I/O开销�Q�或计算复杂需要大量的CPU旉��Q�就考虑存储计算�l�果�Q�冗余储存）。现予以分类说明�Q?
若在一行内重复计算�Q�就在表内增加列存储�l�果。但若参与计��的列被更新�Ӟ��必须要用触发器更新这个新列�?
若对表按�c�进行重复计��，��增加新表（一般而言�Q�存攄��和结果两列就可以了）存储相关�l�果。但若参与计��的列被更新�Ӟ��必��要用触发器立即更新、或存储�q�程或应用代码批量更新这个新表�?
若对多行�q�行重复性计��（如排名次�Q�，��在表内增加列存储结果。但若参与计��的列被更新�Ӟ��必须要用触发器或存储�q�程更新�q�个新列�?
��M��Q�存储冗余数据有利于加快讉K��速度�Q�但�q�反了第三范式，�q�会增加�l�护数据完整性的代�h�Q�必��ȝ��触发器立��x��新、或存储�q�程或应用代码批量更斎ͼ�以维护数据的完整性�?
3.3 消除昂贵�l�合
对于频繁同时讉K��多表的一些主要过�E�，考虑在主表内存储冗余数据�Q�即存储冗余列或衍生列（它不依赖于主键）�Q�但破坏了第三范式，也增加了�l�护隑ֺ�。在源表的相兛_��发生变化�Ӟ��必须要用触发器或存储�q�程更新�q�个冗余列。当主要�q�程��d��时访问两个表时可以合�q�表�Q�这样可以减��磁盘I/O*作，但破坏了�W�三范式�Q�也增加了维护难度。对父子表和1�Q?关系表合�q�方法不同：合�ƈ父子表后�Q��生冗余表�Q�合�q?�Q?关系表后�Q�在表内产生冗余数据�?
4 数据库对象的攄��{�略
数据库对象的攄��{�略是均匀地把数据分布在系�l�的��盘中，�q��I/O讉K��Q�避免I/O瓉��?
�?讉K��分散��C��同的��盘�Q�即使用��h��据尽可能跨越多个讑֤��Q�多个I/O�q��{�Q�避免I/O竞争�Q�克服访问瓶颈；分别攄��随机讉K��和连�l�访问数据�?
�?分离�pȝ��数据库I/O和应用数据库I/O。把�pȝ��审计表和临时库表攑֜�不忙的磁盘上�?
�?把事务日志放在单独的��盘上，减少��盘I/O开销�Q�这�q�有利于在障��后恢复�Q�提高了�pȝ��的安全性�?
�?把频�J�访问的“�z�L�?#8221;表放在不同的��盘上；把频�J�用的表、频�J�做Join*作的表分别放在单独的��盘上，甚至把把频繁讉K��的表的字�D�|��在不同的��盘上，把访问分散到不同的磁盘上�Q�避免I/O争夺�Q?
�?利用�D�分��频�J�访问的表及其烦引（非聚族的�Q�、分��L��本和囑փ�数据。段的目的是�q��I/O�Q�避免瓶颈，增加吞吐量，实现�q�行扫描�Q�提高�ƈ发度�Q�最大化��盘的吞吐量。利用逻辑�D�功能，分别攄��“�z�L�?#8221;表及光��聚族索引以��^衡I/O。当然最好利用系�l�的默认�D�c��另外，利用�D�可以��备䆾和恢复数据更加灵�z�，使系�l�授权更加灵�z�R�?nbsp;

java民工 2008-10-21 00:46 发表评论

java民工 — Mon, 20 Oct 2008 16:46:00 GMT

Hibernate�~�存机制�~�存是介于应用程序和物理数据源之��_��其作用是��Z��降低应用�E�序对物理数据源讉K��的频�ơ，从而提高了应用的运行性能。缓存内的数据是对物理数据源中的数据的复�Ӟ��应用�E�序在运行时从缓存读写数据，在特定的时刻或事件会同步�~�存和物理数据源的数据�?br /> 　　�~�存的介质一般是内存�Q�所以读写速度很快。但如果�~�存中存攄��数据量非常大�Ӟ��也会用硬盘作为缓存介质。缓存的实现不仅仅要考虑存储的介质，�q�要考虑到管理缓存的�q�发讉K��和缓存数据的生命周期�?
　　Hibernate的缓存包括Session的缓存和SessionFactory的缓存，其中SessionFactory的缓存又可以分�ؓ两类�Q�内�|�缓存和外置�~�存。Session的缓存是内置的，不能被卸载，也被�U�CؓHibernate的第一�U�缓存。SessionFactory的内�|�缓存和Session的缓存在实现方式上比较相��|��前者是SessionFactory对象的一些集合属性包含的数据�Q�后者是指Session的一些集合属性包含的数据。SessionFactory的内�|�缓存中存放了映��元数据和预定义SQL语句�Q�映��元数据是映��文件中数据的拷贝，而预定义SQL语句是在Hibernate初始化阶�D�|��据映��元数据推导出来�Q�SessionFactory的内�|�缓存是只读的，应用�E�序不能修改�~�存中的映射元数据和预定义SQL语句�Q�因此SessionFactory不需要进行内�|�缓存与映射文�g的同步。SessionFactory的外�|�缓存是一个可配置的插件。在默认情况下，SessionFactory不会启用�q�个插�g。外�|�缓存的数据是数据库数据的拷贝，外置�~�存的介质可以是内存或者硬盘。SessionFactory的外�|�缓存也被称为Hibernate的第二��~�存�?/p>

　　Hibernate的这两��~�存都位于持久化层，存放的都是数据库数据的拷贝，那么它们之间的区别是什么呢�Q��ؓ了理解二者的区别�Q�需要深入理解持久化层的�~�存的两个特性：�~�存的范围和�~�存的�ƈ发访问策略�?/p>

持久化层的缓存的范围

　　�~�存的范围决定了�~�存的生命周期以及可以被谁访问。缓存的范围分�ؓ三类�?/p>

　　1 事务范围�Q�缓存只能被当前事务讉K��。缓存的生命周期依赖于事务的生命周期�Q�当事务�l�束�Ӟ��~�存也就�l�束生命周期。在此范围下�Q�缓存的介质是内存。事务可以是数据库事务或者应用事务，每个事务都有独自的缓存，�~�存内的数据通常采用�怺�兌��的的对象形式�?/p>

　　2 �q�程范围�Q�缓存被�q�程内的所有事务共享。这些事务有可能是�ƈ发访问缓存，因此必须对缓存采取必要的事务隔离机制。缓存的生命周期依赖于进�E�的生命周期�Q�进�E�结束时�Q�缓存也��q��束了生命周期。进�E�范围的�~�存可能会存攑֤�量的数据�Q�所以存攄��介质可以是内存或��盘。缓存内的数据既可以是相互关联的对象形式也可以是对象的松散数据�Ş式。松散的对象数据形式有点�c�M��于对象的序列化数据，但是对象分解为松散的��法比对象序列化的算法要求更快�?/p>

　　3 集群范围�Q�在集群环境中，�~�存被一个机器或者多个机器的�q�程�׃�n。缓存中的数据被复制到集��环境中的每个进�E�节点，�q�程间通过�q�程通信来保证缓存中的数据的一致性，�~�存中的数据通常采用对象的松散数据�Ş式�?/p>

　　对大多数应用来说�Q�应该慎重地考虑是否需要��用集��范围的�~�存�Q�因��问的速度不一定会比直接访问数据库数据的速度快多��?/p>

　　持久化层可以提供多种范围的缓存。如果在事务范围的缓存中没有查到相应的数据，�q�可以到�q�程范围或集��范围的�~�存内查询，如果�q�是没有查到�Q�那么只有到数据库中查询。事务范围的�~�存是持久化层的�W�一�U�缓存，通常它是必需的；�q�程范围或集��范围的�~�存是持久化层的�W�二�U�缓存，通常是可选的�?/p>

持久化层的缓存的�q�发讉K��{�略

　　当多个�ƈ发的事务同时讉K��持久化层的缓存的相同数据�Ӟ��会引起�ƈ发问题，必须采用必要的事务隔��L��施�?/p>

　　在进�E�范围或集群范围的缓存，即第二��~�存�Q�会出现�q�发问题。因此可以设定以下四�U�类型的�q�发讉K��{�略�Q�每一�U�策略对应一�U�事务隔��ȝ�别�?/p>

　　事务型：仅仅在受��理环境中适用。它提供了Repeatable Read事务隔离�U�别。对于经常被��M��很少修改的数据，可以采用�q�种隔离�c�d��Q�因为它可以防止脏读和不可重复读�q�类的�ƈ发问题�?/p>

　　��d��型：提供了Read Committed事务隔离�U�别。仅仅在非集��的环境中适用。对于经常被��M��很少修改的数据，可以采用�q�种隔离�c�d��Q�因为它可以防止脏读�q�类的�ƈ发问题�?/p>

　　非严��D��写型�Q�不保证�~�存与数据库中数据的一致性。如果存在两个事务同时访问缓存中相同数据的可能，必须��数据配置一个很短的数据�q�期旉��Q�从而尽量避免脏诅R��对于极��被修改�Q��ƈ且允许偶��脏�ȝ��数据�Q�可以采用这�U��ƈ发访问策略�?/p>

　　只读型：对于从来不会修改的数据，如参考数据，可以使用�q�种�q�发讉K��{�略�?/p>

　　事务型�ƈ发访问策略是事务隔离�U�别最高，只读型的隔离�U�别最低。事务隔��ȝ�别越高，�q�发性能��p��低�?/p>

什么样的数据适合存放到第二��~�存中？

1 很少被修改的数据

2 不是很重要的数据�Q�允许出现偶��ƈ发的数据

3 不会被�ƈ发访问的数据

4 参考数�?/p>

不适合存放到第二��~�存的数据？

1 �l�常被修改的数据

2 财务数据�Q�绝对不允许出现�q�发

3 与其他应用共享的数据�?/p>

Hibernate的二�U�缓�?/p>

　　如前所�q�ͼ�Hibernate提供了两�U�缓存，�W�一�U�是Session的缓存。由于Session对象的生命周期通常对应一个数据库事务或者一个应用事务，因此它的�~�存是事务范围的�~�存。第一�U�缓存是必需的，不允许而且事实上也无法比卸除。在�W�一�U�缓存中�Q�持久化�cȝ��每个实例都具有唯一的OID�?/p>

　　�W�二�U�缓存是一个可插拔的的�~�存插�g�Q�它是由SessionFactory负责��理。由于SessionFactory对象的生命周期和应用�E�序的整个过�E�对应，因此�W�二�U�缓存是�q�程范围或者集��范围的�~�存。这个缓存中存放的对象的松散数据。第二��对象有可能出现�ƈ发问题，因此需要采用适当的�ƈ发访问策略，该策略�ؓ被缓存的数据提供了事务隔��ȝ�别。缓存适配器用于把具体的缓存实现��Y件与Hibernate集成。第二��~�存是可选的�Q�可以在每个�c�L��每个集合的粒度上配置�W�二�U�缓存�?/p>

Hibernate的二�U�缓存策略的一般过�E�如下：

1) 条�g查询的时候，��L��发出一条select * from table_name where …. �Q�选择所有字�D�）�q�样的SQL语句查询数据库，一�ơ获得所有的数据对象�?/p>

2) 把获得的所有数据对象根据ID攑օ�到第二��~�存中�?/p>

3) 当Hibernate�Ҏ��ID讉K��数据对象的时候，首先从Session一�U�缓存中查；查不刎ͼ�如果配置了二�U�缓存，那么从二�U�缓存中查；查不刎ͼ�再查询数据库�Q�把�l�果按照ID攑օ�到缓存�?/p>

4) 删除、更新、增加数据的时候，同时更新�~�存�?/p>

　　Hibernate的二�U�缓存策略，是针对于ID查询的缓存策略，对于条�g查询则毫无作用。�ؓ此，Hibernate提供了针�Ҏ��件查询的Query�~�存�?/p>

Hibernate的Query�~�存�{�略的过�E�如下：

1) Hibernate首先�Ҏ��q�些信息�l�成一个Query Key�Q�Query Key包括条�g查询的请求一般信息：SQL, SQL需要的参数�Q�记录范��_��起始位置rowStart�Q�最大记录个数maxRows)�Q�等�?/p>

2) Hibernate�Ҏ��q�个Query Key到Query�~�存中查扑֯�应的�l�果列表。如果存在，那么�q�回�q�个�l�果列表�Q�如果不存在�Q�查询数据库�Q�获取结果列表，把整个结果列表根据Query Key攑օ�到Query�~�存中�?/p>

3) Query Key中的SQL涉及��C��些表名，如果�q�些表的��M��数据发生修改、删除、增加等操作�Q�这些相关的Query Key都要从缓存中清空

java民工 2008-10-21 00:46 发表评论

关于log4j配置文档详解

java民工 — Wed, 15 Oct 2008 16:23:00 GMT

log4j.properties 使用
一.参数意义说明
输出�U�别的种�c?br minmax_bound="true" /> ERROR、WARN、INFO、DEBUG
ERROR ��Z��重错�?主要是程序的错误
WARN ��Z��般警告，比如session丢失
INFO ��Z��般要昄��的信息，比如��d��d��
DEBUG 为程序的调试信息
配置日志信息输出目的�?br minmax_bound="true" /> log4j.appender.appenderName = fully.qualified.name.of.appender.class
1.org.apache.log4j.ConsoleAppender�Q�控制台�Q?br minmax_bound="true" /> 2.org.apache.log4j.FileAppender�Q�文�Ӟ��
3.org.apache.log4j.DailyRollingFileAppender�Q�每天��生一个日志文�Ӟ��
4.org.apache.log4j.RollingFileAppender�Q�文件大��到达指定尺寸的时候��生一个新的文�Ӟ��
5.org.apache.log4j.WriterAppender�Q�将日志信息以流格式发送到��L��指定的地方）
配置日志信息的格�?br minmax_bound="true" /> log4j.appender.appenderName.layout = fully.qualified.name.of.layout.class
1.org.apache.log4j.HTMLLayout�Q�以HTML表格形式布局�Q�，
2.org.apache.log4j.PatternLayout�Q�可以灵�z�d��指定布局模式�Q�，
3.org.apache.log4j.SimpleLayout�Q�包含日志信息的�U�别和信息字�W�串�Q�，
4.org.apache.log4j.TTCCLayout�Q�包含日志��生的旉��、线�E�、类别等�{�信息）
控制台选项
Threshold=DEBUG:指定日志消息的输出最低层�ơ�?br minmax_bound="true" /> ImmediateFlush=true:默认值是true,意谓着所有的消息都会被立卌��出�?br minmax_bound="true" /> Target=System.err�Q�默认情况下是：System.out,指定输出控制�?br minmax_bound="true" /> FileAppender 选项
Threshold=DEBUF:指定日志消息的输出最低层�ơ�?br minmax_bound="true" /> ImmediateFlush=true:默认值是true,意谓着所有的消息都会被立卌��出�?br minmax_bound="true" /> File=mylog.txt:指定消息输出到mylog.txt文�g�?br minmax_bound="true" /> Append=false:默认值是true,卛_��消息增加到指定文件中�Q�false指将消息覆盖指定的文件内宏V�?br minmax_bound="true" /> RollingFileAppender 选项
Threshold=DEBUG:指定日志消息的输出最低层�ơ�?br minmax_bound="true" /> ImmediateFlush=true:默认值是true,意谓着所有的消息都会被立卌��出�?br minmax_bound="true" /> File=mylog.txt:指定消息输出到mylog.txt文�g�?br minmax_bound="true" /> Append=false:默认值是true,卛_��消息增加到指定文件中�Q�false指将消息覆盖指定的文件内宏V�?br minmax_bound="true" /> MaxFileSize=100KB: 后缀可以是KB, MB 或者是 GB. 在日志文件到达该大小�Ӟ��会自动滚动�Q�即��原来的内容�U�d��mylog.log.1文�g�?br minmax_bound="true" /> MaxBackupIndex=2:指定可以产生的滚动文件的最大数�?br minmax_bound="true" /> log4j.appender.A1.layout.ConversionPattern=%-4r %-5p %d{yyyy-MM-dd HH:mm:ssS} %c %m%n
日志信息格式中几个符��h��代表的含义：
-X�? X信息输出时左寚w��Q?br minmax_bound="true" /> %p: 输出日志信息优先�U�，即DEBUG�Q�INFO�Q�WARN�Q�ERROR�Q�FATAL,
%d: 输出日志旉��点的日期或时��_��默认格式为ISO8601�Q�也可以在其后指定格式，比如�Q?d{yyy MMM dd HH:mm:ss,SSS}�Q�输出类��|��2002�q?0�?8�?22�Q?0�Q?8�Q?21
%r: 输出自应用启动到输出该log信息耗费的毫�U�数
%c: 输出日志信息所属的�cȝ��Q�通常��是所在类的全�?br minmax_bound="true" /> %t: 输出产生该日志事件的�U�程�?br minmax_bound="true" /> %l: 输出日志事�g的发生位�|�，相当�?C.%M(%F:%L)的组�?包括�cȝ��名、发生的�U�程�Q�以及在代码中的行数。�D例：Testlog4.main (TestLog4.java:10)
%x: 输出和当前线�E�相兌��的NDC(嵌套诊断环境),��其用到像java servlets�q�样的多客户多线�E�的应用中�?br minmax_bound="true" /> %%: 输出一�?%"字符
%F: 输出日志消息产生时所在的文�g名称
%L: 输出代码中的行号
%m: 输出代码中指定的消息,产生的日志具体信�?br minmax_bound="true" /> %n: 输出一个回车换行符�Q�Windows�q�_��?\r\n"�Q�Unix�q�_��?\n"输出日志信息换行
可以�?与模式字�W�之间加上修饰符来控制其最��宽度、最大宽度、和文本的对齐方式。如�Q?br minmax_bound="true" /> 1)%20c�Q�指定输出category的名�U�ͼ�最��的宽度�?0�Q�如果category的名�U�小�?0的话�Q�默认的情况下右寚w��?br minmax_bound="true" /> 2)%-20c:指定输出category的名�U�ͼ�最��的宽度�?0�Q�如果category的名�U�小�?0的话�Q?-"��h��定左寚w��?br minmax_bound="true" /> 3)%.30c:指定输出category的名�U�ͼ�最大的宽度�?0�Q�如果category的名�U�大�?0的话�Q�就会将左边多出的字�W�截掉，但小�?0的话也不会有�I�格�?br minmax_bound="true" /> 4)%20.30c:如果category的名�U�小�?0��p��I�格�Q��ƈ且右寚w��Q�如果其名称长于30字符�Q�就从左边较�q�输出的字符截掉�?br minmax_bound="true" /> �?文�g配置Sample1
log4j.rootLogger=DEBUG,A1,R
#log4j.rootLogger=INFO,A1,R
# ConsoleAppender 输出
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%c]-[%p] %m%n
# File 输出一天一个文�?输出路径可以定制,一般在根�\径下
log4j.appender.R=org.apache.log4j.DailyRollingFileAppender
log4j.appender.R.File=blog_log.txt
log4j.appender.R.MaxFileSize=500KB
log4j.appender.R.MaxBackupIndex=10
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n
文�g配置Sample2
下面�l�出的Log4J配置文�g实现了输出到控制収ͼ�文�g�Q�回滚文�Ӟ��发送日志邮�Ӟ��输出到数据库日志表，自定义标�{��全套功能�?br minmax_bound="true" /> log4j.rootLogger=DEBUG,CONSOLE,A1,im
#DEBUG,CONSOLE,FILE,ROLLING_FILE,MAIL,DATABASE
log4j.addivity.org.apache=true
###################
# Console Appender
###################
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.Threshold=DEBUG
log4j.appender.CONSOLE.Target=System.out
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
#log4j.appender.CONSOLE.layout.ConversionPattern=[start]%d{DATE}[DATE]%n%p[PRIORITY]%n%x[NDC]%n%t[THREAD] n%c[CATEGORY]%n%m[MESSAGE]%n%n
#####################
# File Appender
#####################
log4j.appender.FILE=org.apache.log4j.FileAppender
log4j.appender.FILE.File=file.log
log4j.appender.FILE.Append=false
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
# Use this layout for LogFactor 5 analysis
########################
# Rolling File
########################
log4j.appender.ROLLING_FILE=org.apache.log4j.RollingFileAppender
log4j.appender.ROLLING_FILE.Threshold=ERROR
log4j.appender.ROLLING_FILE.File=rolling.log
log4j.appender.ROLLING_FILE.Append=true
log4j.appender.ROLLING_FILE.MaxFileSize=10KB
log4j.appender.ROLLING_FILE.MaxBackupIndex=1
log4j.appender.ROLLING_FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.ROLLING_FILE.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
####################
# Socket Appender
####################
log4j.appender.SOCKET=org.apache.log4j.RollingFileAppender
log4j.appender.SOCKET.RemoteHost=localhost
log4j.appender.SOCKET.Port=5001
log4j.appender.SOCKET.LocationInfo=true
# Set up for Log Facter 5
log4j.appender.SOCKET.layout=org.apache.log4j.PatternLayout
log4j.appender.SOCET.layout.ConversionPattern=[start]%d{DATE}[DATE]%n%p[PRIORITY]%n%x[NDC]%n%t[THREAD]%n%c[CATEGORY]%n%m[MESSAGE]%n%n
########################
# Log Factor 5 Appender
########################
log4j.appender.LF5_APPENDER=org.apache.log4j.lf5.LF5Appender
log4j.appender.LF5_APPENDER.MaxNumberOfRecords=2000
########################
# SMTP Appender
#######################
log4j.appender.MAIL=org.apache.log4j.net.SMTPAppender
log4j.appender.MAIL.Threshold=FATAL
log4j.appender.MAIL.BufferSize=10
log4j.appender.MAIL.From=chenyl@yeqiangwei.com
log4j.appender.MAIL.SMTPHost=mail.hollycrm.com
log4j.appender.MAIL.Subject=Log4J Message
log4j.appender.MAIL.To=chenyl@yeqiangwei.com
log4j.appender.MAIL.layout=org.apache.log4j.PatternLayout
log4j.appender.MAIL.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
########################
# JDBC Appender
#######################
log4j.appender.DATABASE=org.apache.log4j.jdbc.JDBCAppender
log4j.appender.DATABASE.URL=jdbc:mysql://localhost:3306/test
log4j.appender.DATABASE.driver=com.mysql.jdbc.Driver
log4j.appender.DATABASE.user=root
log4j.appender.DATABASE.password=
log4j.appender.DATABASE.sql=INSERT INTO LOG4J (Message) VALUES ('[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n')
log4j.appender.DATABASE.layout=org.apache.log4j.PatternLayout
log4j.appender.DATABASE.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
log4j.appender.A1=org.apache.log4j.DailyRollingFileAppender
log4j.appender.A1.File=SampleMessages.log4j
log4j.appender.A1.DatePattern=yyyyMMdd-HH'.log4j'
log4j.appender.A1.layout=org.apache.log4j.xml.XMLLayout
###################
#自定义Appender
###################
log4j.appender.im = net.cybercorlin.util.logger.appender.IMAppender
log4j.appender.im.host = mail.cybercorlin.net
log4j.appender.im.username = username
log4j.appender.im.password = password
log4j.appender.im.recipient = corlin@yeqiangwei.com
log4j.appender.im.layout=org.apache.log4j.PatternLayout
log4j.appender.im.layout.ConversionPattern =[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
�?高��使用
实验目的�Q?br minmax_bound="true" /> 1.把FATAL�U�错误写�?000NT日志
2. WARN�Q�ERROR�Q�FATAL�U�错误发送email通知��理�?br minmax_bound="true" /> 3.其他�U�别的错误直接在后台输出
实验步骤�Q?br minmax_bound="true" /> 输出�?000NT日志
1.把Log4j压羃包里的NTEventLogAppender.dll拷到WINNT\SYSTEM32目录�?br minmax_bound="true" /> 2.写配�|�文件log4j.properties
# �?000�pȝ��日志输出
log4j.logger.NTlog=FATAL, A8
# APPENDER A8
log4j.appender.A8=org.apache.log4j.nt.NTEventLogAppender
log4j.appender.A8.Source=JavaTest
log4j.appender.A8.layout=org.apache.log4j.PatternLayout
log4j.appender.A8.layout.ConversionPattern=%-4r %-5p [%t] %37c %3x - %m%n
3.调用代码�Q?br minmax_bound="true" /> Logger logger2 = Logger.getLogger("NTlog"); //要和配置文�g中设�|�的名字相同
logger2.debug("debug!!!");
logger2.info("info!!!");
logger2.warn("warn!!!");
logger2.error("error!!!");
//只有�q�个错误才会写入2000日志
logger2.fatal("fatal!!!");
发送email通知��理员：
1. 首先下蝲JavaMail和JAF,
http://java.sun.com/j2ee/ja/javamail/index.html
http://java.sun.com/beans/glasgow/jaf.html
在项目中引用mail.jar和activation.jar�?br minmax_bound="true" /> 2. 写配�|�文�?br minmax_bound="true" /> # ��日志发送到email
log4j.logger.MailLog=WARN,A5
# APPENDER A5
log4j.appender.A5=org.apache.log4j.net.SMTPAppender
log4j.appender.A5.BufferSize=5
log4j.appender.A5.To=chunjie@yeqiangwei.com
log4j.appender.A5.From=error@yeqiangwei.com
log4j.appender.A5.Subject=ErrorLog
log4j.appender.A5.SMTPHost=smtp.263.net
log4j.appender.A5.layout=org.apache.log4j.PatternLayout
log4j.appender.A5.layout.ConversionPattern=%-4r %-5p [%t] %37c %3x - %m%n
3.调用代码�Q?br minmax_bound="true" /> //把日志发送到mail
Logger logger3 = Logger.getLogger("MailLog");
logger3.warn("warn!!!");
logger3.error("error!!!");
logger3.fatal("fatal!!!");
在后台输出所有类别的错误�Q?br minmax_bound="true" /> 1. 写配�|�文�?br minmax_bound="true" /> # 在后台输�?br minmax_bound="true" /> log4j.logger.console=DEBUG, A1
# APPENDER A1
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-4r %-5p [%t] %37c %3x - %m%n
2�Q�调用代�?br minmax_bound="true" /> Logger logger1 = Logger.getLogger("console");
logger1.debug("debug!!!");
logger1.info("info!!!");
logger1.warn("warn!!!");
logger1.error("error!!!");
logger1.fatal("fatal!!!");
--------------------------------------------------------------------
全部配置文�g�Q�log4j.properties
# 在后台输�?br minmax_bound="true" /> log4j.logger.console=DEBUG, A1
# APPENDER A1
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-4r %-5p [%t] %37c %3x - %m%n
# �?000�pȝ��日志输出
log4j.logger.NTlog=FATAL, A8
# APPENDER A8
log4j.appender.A8=org.apache.log4j.nt.NTEventLogAppender
log4j.appender.A8.Source=JavaTest
log4j.appender.A8.layout=org.apache.log4j.PatternLayout
log4j.appender.A8.layout.ConversionPattern=%-4r %-5p [%t] %37c %3x - %m%n
# ��日志发送到email
log4j.logger.MailLog=WARN,A5
# APPENDER A5
log4j.appender.A5=org.apache.log4j.net.SMTPAppender
log4j.appender.A5.BufferSize=5
log4j.appender.A5.To=chunjie@yeqiangwei.com
log4j.appender.A5.From=error@yeqiangwei.com
log4j.appender.A5.Subject=ErrorLog
log4j.appender.A5.SMTPHost=smtp.263.net
log4j.appender.A5.layout=org.apache.log4j.PatternLayout
log4j.appender.A5.layout.ConversionPattern=%-4r %-5p [%t] %37c %3x - %m%n
全部代码�Q�Log4jTest.java

/*
* 创徏日期 2003-11-13
*/
package edu.bcu.Bean;
import org.apache.log4j.*;
//import org.apache.log4j.nt.*;
//import org.apache.log4j.net.*;
/**
* @author yanxu
*/
public class Log4jTest
{
public static void main(String args[])
{
   PropertyConfigurator.configure("log4j.properties");
   //在后台输�?
   Logger logger1 = Logger.getLogger("console");
   logger1.debug("debug!!!");
   logger1.info("info!!!");
   logger1.warn("warn!!!");
   logger1.error("error!!!");
   logger1.fatal("fatal!!!");
//在NT�pȝ��日志输出
   Logger logger2 = Logger.getLogger("NTlog");
   //NTEventLogAppender nla = new NTEventLogAppender();
   logger2.debug("debug!!!");
   logger2.info("info!!!");
   logger2.warn("warn!!!");
   logger2.error("error!!!");
   //只有�q�个错误才会写入2000日志
   logger2.fatal("fatal!!!");
//把日志发送到mail
   Logger logger3 = Logger.getLogger("MailLog");
   //SMTPAppender sa = new SMTPAppender();
   logger3.warn("warn!!!");
   logger3.error("error!!!");
   logger3.fatal("fatal!!!");
}
}

java民工 2008-10-16 00:23 发表评论

关于eclipse中编码格式不能保存的问题

java民工 — Wed, 15 Oct 2008 16:21:00 GMT

Windows-->preference

General->Content Type

选择对应的文件类型，然后下面修改为GBK或者gb2312,点update应该��可以了�Q?/div>

java民工 2008-10-16 00:21 发表评论