]]>
创徏Q?005-10-27 22:04:48
作者：Unlinux
来自: http://www.Unlinux.com
最q在做一个客户关pȝ理系l，目做的C是非常成功，可还是学C不少的知识，׃数据量很大，没有专门的oracle数据库h员支持，Ҏ据库优化理{也只有我这个约懂一点的Z了。在Ҏ据库优化上有一点点心得写出来希望能同大家一起学习和交流?/p>
数据库大表的优化Q采用蔟表（clustered tablesQ及蔟烦引（Clustered IndexQ?br>蔟表和蔟索引是oracle所提供的一U技术，其基本思想是将几张h相同数据Vƈ且经常性一起用的表通过׃n数据块（data blockQ的模式存放在一赗各表间的共同字D作键|cluster keyQ，数据库在讉K数据Ӟ首先扑ֈ蔟键|以此同时获得若干张表的相x据。蔟表所能带来的好处是可以减I/O和减存储空_其中我更看重前者。采用表分区QpartitionQ?br>表分区技术是在超大型数据?VLDB)中将大表及其索引通过分区QpatitionQ的形式分割q较、可理的小块，q且每一分区可进一步划分ؓ更小的子分区Qsub partitionQ。而这U分区对于应用来说是透明的。通过对表q行分区Q可以获得以下的好处Q?br>1Q减数据损坏的可能性?br>2Q各分区可以独立备䆾和恢复，增强了数据库的可理性?br>3Q可以控制分区在盘上的分布Q以均衡IOQ改善了数据库的性能?br>蔟表与表分区技术的侧重点各有不同，前者侧重于改进兌表间查询的效率，而表分区侧重于大表的可管理性及局部查询的性能。而这两项对于我的pȝ来说都是极ؓ重要。由于本人技术限Ӟ目前不定两者是否可以同时实玎ͼ有那位在q方面有l验的给Ҏ导将不胜感激?
在两者无法同时实现的情况下，应依照需实现的功能有所取舍。综合两U模式的优缺点，我认为采用表分区技术较为适用于我们的应用?br>Oracle的表分区有以下几U类型：
1Q范围分区：表按某一字段或若q个字段的取D围分区?br>2Qhash分区Q将表按某一字段的值均匀地分布到若干个指定的分区?br>3Q复合分区：l合了前面两U分区类型的优点Q首先通过D围将表进行分区，然后以hash模式数据进一步均匀分配至物理存储位|?br>l合考虑各项因素Q以W三U类型最Z。（本h实在技术有限仅采用了第1U范围分区，因ؓ比较单，便于理Q?br>优化的具体步骤：
1Q确定需要优化分区的表：
l过对系l数据库表结构和字段Q应用程序的分析Q现在确定那些大表需要进行分区：
如帐户交易明l表acct_detail.
2Q确定表分区的方法和分区键：
分区cdQ采用范围分区?br>??键：
按trans_dateQ交易时_字段q行范围分区.
3Q确定分区键的分_及打分多少分区Q?br>如：帐户交易明细表acct_detail.
Ҏ字段Qtrans_dateQ分成一下分区：
1Q．分区1Q?9/01/2003
2Q．分区2Q?0/01/2003
3Q．分区3Q?1/01/2003
4Q．分区4Q?2/01/2003
5Q．分区5Q?1/01/2004
6Q．分区6Q?2/01/2004
该表明显需要在以后增加分区?br>4Q徏立分I间和分区烦引空?br>1)Q徏立表的各个分区的表空_
1Q分?Qcrm_detail_200309
CREATE TABLESPACE crm_detail_200309 DATAFILE
‘/u1/oradata/orcl/crm_detail_20030901.dbf’
SIZE 2000M EXTENT MANAGEMENT LOCAL UNIFORM size 16M;
其它月䆾以后同以上（我在此采用oracle的表I间本地理的方法）?/p>
2Q? 建立分区索引表空?br>1Q分?Qindex_detail_200309
CREATE TABLESPACE index_detail_200309 DATAFILE
‘/u3/oradata/orcl/index_detail_20030901.dbf’
SIZE 2000M EXTENT MANAGEMENT LOCAL UNIFORM size 16M;
5Q徏立基于分区的表：
create table table name
(
........
enable row movment --此语句是能修改行分区键|也就是如不添加该 句不能修改记录的分区键|不能使记录分U?br>PARTITION BY RANGE (TRANS_DATE)
(
PARTITION crm_detail_200309 VALUES LESS THAN
(TO_DATE (‘09/01/2003’,’mm/dd/yyyy’
TABLESPACE crm_detail_200309,
其他分区.....
;
6Q徏立基于分区的索引Q?br>create index index_name on table_name (分区?…)
global --q里是全局分区索引Q也可以建本地烦?br>PARTITION BY RANGE (TRANS_DATE)
(
PARTITION index_detail_200309 VALUES LESS THAN
(TO_DATE ('09/01/2003','mm/dd/yyyy' )
TABLESPACE index_detail_200309,
其他索引分区...
;
对表的分区就q样完成了，W一ơ主要确定表分区的分区策U是最重要的，可我觉得对表分区隑֜以后对表分区的管理上面，因ؓ随着数据量的增加Q表分区必然存在删除Q扩容，增加{。在q些q程中还牉|到全局{烦引，因ؓ对分q行ddl操作为破坏全局索引Q故全局索引必须在ddl后要?rebuild.
以上写的很ؕ也很差，希望大家多多谅解和指炏V?/p>
===========================================================
作? 襉K吹牛(http://.itpub.net)
发表? 2004.09.06 17:23
分类: 数据库优?
出处: http://.itpub.net/post/306/1471
---------------------------------------------------------------
对一个大表进行分区操?/p>
一Q用分的前?/p>
以systemw䆾登陆数据库，查看 v$option 视图Q如果其?Partitioning 为TRUEQ则支持分区功能Q?br>select value from v$option where parameter='Partitioning';
否则不支持?/p>
二：使用分区表的背景
目前有一个大?T_MPN_OUTDATE表，有记?8千万 条，查询速度比较慢，Z优化惛_成一个分Q按照范围分区，q个表的happen_time字段最合适，因ؓ它是按照旉来区分的Q目前的数据是从今年5月䆾到现在（9月䆾Q。不q这个字D虽然是8位的Q但是里面的记录可能有的?位的到月的记录?/p>
q个表的l构和烦引情况如?br>CREATE TABLE sms.t_mpn_outdate
(
mobile VARCHAR2 (11)
, happen_time VARCHAR2 (8)
, prov VARCHAR2 (5)
, state NUMBER
)
ORGANIZATION HEAP
NOMONITORING
PARALLEL
(
DEGREE 1
INSTANCES 1
)
NOCACHE
PCTUSED 40
PCTFREE 10
INITRANS 1
MAXTRANS 255
STORAGE
(
INITIAL 131072
NEXT 131072
MINEXTENTS 1
MAXEXTENTS unlimited
PCTINCREASE 0
FREELISTS 1
FREELIST GROUPS 1
BUFFER_POOL default
)
LOGGING
TABLESPACE users
;
CREATE INDEX sms.idx_t_mpn_outdate ON sms.t_mpn_outdate
(
mobile
)
PARALLEL
(
DEGREE 1
INSTANCES 1
)
PCTFREE 10
INITRANS 2
MAXTRANS 255
STORAGE
(
INITIAL 131072
NEXT 131072
MINEXTENTS 1
MAXEXTENTS unlimited
PCTINCREASE 0
FREELISTS 1
FREELIST GROUPS 1
BUFFER_POOL default
)
LOGGING
TABLESPACE users
;
三：步骤
1、查看本地硬盘的I间q有多少QUSERS表空间容量是多少Q查看需要分区的表的占用I间是多?/p>
查看users表空间的定w
select
b.tablespace_name ,
(b.bytes)/(1024*1024) content ,
(b.bytes-sum(nvl(a.bytes,0)))/(1024*1024) used,
sum(nvl(a.bytes,0))/(1024*1024) remain
from dba_free_space a,dba_data_files b
where a.file_id=b.file_id and b.tablespace_name = 'USERS'
group by b.tablespace_name,b.file_id,b.bytes
order by b.file_id;
TABLESPACE_NAME CONTENT USED REMAIN
------------------------------ ---------- ---------- ----------
USERS 22.5 21.5078125 .9921875
查看本地 t_mpn_outdate 表占用空间的大小
select segment_name,bytes/(1024*1024) as content from user_segments where segment_name='T_MPN_OUTDATE';
SEGMENT_NAME CONTENT
----------------------------------------------------
T_MPN_OUTDATE .125
查看索引占用的空间大?br>select segment_name,bytes/(1024*1024) as content from user_segments where segment_name='IDX_T_MPN_OUTDATE';
SEGMENT_NAME CONTENT
----------------------------------------------------
IDX_T_MPN_OUTDATE .125
查看本地盘下面是否_容纳表和表烦引的大小
(?
然后以system w䆾创徏独立的表I间(大小可以Ҏ数据量的多少而定Q\径根据实际情况而定)Q我做实验的例子是同一个表I间Q没有用独立的表空间。徏立表I间的相关的语法?/p>
create tablespace happen_time_200405 datafile '/home/oradata/oradata/test/happen_time_200405.dbf' size 50M default storage (initial 100k next 100k minextents 1 maxextents unlimited pctincrease 0);
create tablespace happen_time_200406 datafile '/home/oradata/oradata/test/happen_time_200406.dbf' size 50M default storage (initial 100k next 100k minextents 1 maxextents unlimited pctincrease 0);
create tablespace happen_time_200407 datafile '/home/oradata/oradata/test/happen_time_200407.dbf' size 50M default storage (initial 100k next 100k minextents 1 maxextents unlimited pctincrease 0);
=====================================================
Ҏ一
2、基于旧表创Z个新?q一步对原来的表可能会有影响Q最好放在晚上做)
set timing on
set time on
CREATE TABLE T_MPN_OUTDATE2
PARTITION BY RANGE (happen_time)
( PARTITION happen_time_200405
VALUES LESS THAN ('200406')
TABLESPACE users,
PARTITION happen_time_200406
VALUES LESS THAN ('200407')
TABLESPACE users ,
PARTITION happen_time_200407
VALUES LESS THAN ('200408')
TABLESPACE users ,
PARTITION happen_time_200408
VALUES LESS THAN ('200409')
TABLESPACE users ,
PARTITION happen_time_200409
VALUES LESS THAN ('200410')
TABLESPACE users
)
PCTUSED 40
PCTFREE 10
INITRANS 1
MAXTRANS 255
STORAGE
(
INITIAL 131072
NEXT 131072
MINEXTENTS 1
MAXEXTENTS unlimited
PCTINCREASE 0
FREELISTS 3
FREELIST GROUPS 1
BUFFER_POOL default
)
LOGGING
AS SELECT * FROM T_MPN_OUTDATE;
注意Qfreelists 参数我修改ؓ3Q因个表有很多insert操作Q加大这个参数对性能有优化作用?/p>
看看插入记录是否成功
select * from T_MPN_OUTDATE2 where rownum < 90;
选择其中的一个分?br>select * from T_MPN_OUTDATE2 partition (happen_time_200409) where rownum < 90;
3、新旧两个表改名Uͼ旉需要测试一下）
先测试改一个表的名U需要多时_把这个时间加倍就是系l对前端E序没有反应的时间?br>set timing on
set time on
RENAME T_MPN_OUTDATE2 TO T_MPN_OUTDATE3;
然后再正式修改后面两个表Q这旉是pȝ对前端程序没有反应的旉?br>RENAME T_MPN_OUTDATE TO T_MPN_OUTDATE2;
RENAME T_MPN_OUTDATE3 TO T_MPN_OUTDATE;
Ҏ一l束Q下面l步?
=====================================================
Ҏ?br>2 、用EXPORT工具把旧数据备䆾?T_MPN_OUTDATE.DMP中；用户名密码和保存路径需要按照实际情况修改一?br>exp sms/sms file=c:aaT_MPN_OUTDATE.DMP tables=T_MPN_OUTDATE
原来的旧表改名，从这个时候vQ数据库对前端E序没有反应?br>alter table t_mpn_outdate rename to t_mpn_outdate_old2 nowait;
?sms w䆾创徏分区的表
CREATE TABLE sms.t_mpn_outdate
(
mobile VARCHAR2 (11)
, happen_time VARCHAR2 (8)
, prov VARCHAR2 (5)
, state NUMBER )
PARTITION BY RANGE (happen_time)
( PARTITION happen_time_200405
VALUES LESS THAN ('200406')
TABLESPACE users,
PARTITION happen_time_200406
VALUES LESS THAN ('200407')
TABLESPACE users ,
PARTITION happen_time_200407
VALUES LESS THAN ('200408')
TABLESPACE users ,
PARTITION happen_time_200408
VALUES LESS THAN ('200409')
TABLESPACE users ,
PARTITION happen_time_200409
VALUES LESS THAN ('200410')
)
PCTUSED 40
PCTFREE 10
INITRANS 1
MAXTRANS 255
STORAGE
(
INITIAL 131072
NEXT 131072
MINEXTENTS 1
MAXEXTENTS unlimited
PCTINCREASE 0
FREELISTS 3
FREELIST GROUPS 1
BUFFER_POOL default
)
LOGGING
TABLESPACE users
;
IMPORT导入数据Q参数ignore=y
%imp sms/sms file=c:aaT_MPN_OUTDATE.DMP tables=(t_mpn_outdate) commit=y buffer=10240000 ignore=y
Ҏ二结束，下面l箋步骤4
=====================================================
注意Q系l修改表名的时候必需没有其他的事务对表进行操作，否则修改表名U的时候如果有未提交的事务Q报?br>ERROR 位于W?1 ?
ORA-00054: 资源正忙Q要求指?NOWAIT
如果加上了nowait选项Q又会报?br>ERROR 位于W?1 ?
ORA-14048: 分区l护操作不可以与其它操作l合
最好是关闭数据库重新启动的时候进入restrictq程?br>=====================================================
4、写SQL语句把第三步中遗漏的数据补充到新表中?br>q一步的原理是重新把最q的一个月的记录插入到分区表中Q然后再删除重复的记录，所以徏议创建分的时候最好在某个月的月初做，按照本例Q最好是?月上旬做分区Q这栯录数q不是很多?/p>
先徏立一个时表?月䆾所有的记录都包?br>create table T_MPN_OUTDATE_TMP as select * from T_MPN_OUTDATE2 where happen_time like '200409%' ;
把这个表的记录插入到分区?br>insert into T_MPN_OUTDATE select * from T_MPN_OUTDATE_TMP;
删除临时?br>drop table T_MPN_OUTDATE_TMP ;
把分?月䆾相同的记录删掉?br>DELETE FROM T_MPN_OUTDATE partition (happen_time_200409) E
WHERE E.ROWID > (SELECT MIN(X.ROWID)
FROM T_MPN_OUTDATE partition (happen_time_200409) x
WHERE X.mobile = E.mobile
and X.happen_time = E.happen_time
and X.prov = E.prov
and X.state = E.state
);
5、徏立烦?br>CREATE INDEX sms.idx_t_mpn_outdate_partition2 ON sms.t_mpn_outdate
(
mobile
)
PARALLEL
(
DEGREE 1
INSTANCES 1
)
PCTFREE 10
INITRANS 2
MAXTRANS 255
STORAGE
(
INITIAL 131072
NEXT 131072
MINEXTENTS 1
MAXEXTENTS unlimited
PCTINCREASE 0
FREELISTS 3
FREELIST GROUPS 1
BUFFER_POOL default
)
LOGGING
LOCAL
TABLESPACE users
;
备注Q烦引加local选项Q否则truncate分区Q烦引将失效Q所有用到烦引的查询都无法进行?br> 另外 freelists 参数我修改ؓ3Q因个表有很多insert操作Q加大这个参数对性能有优化作用?/p>
6、分的相关维护操?br>1)分区表的扩容Q?/p>
C2004 q?0月䆾Q徏立新的表I间Q?或者仍然用原来的USER表空?q一步就不需要了)
create tablespace happen_time_200405 datafile '/home/oradata/oradata/test/happen_time_200405.dbf' size 50m default storage (initial 100k next 100k minextents 1 maxextents unlimited pctincrease 1);
d新分区和表空_
alter table T_MPN_OUTDATE add partition happen_time_200410
VALUES LESS THAN ('200411')
tablespace users
storage(initial 100k next 100k minextents 1 maxextents unlimited pctincrease 0);
2)删除不必要的分区
?004q?5月的数据备䆾Q备份方法见 3)EXPORT 分区Q，?004q?5月的分区删除?br>alter table T_MPN_OUTDATE drop PARTITION happen_time_200405;
删除物理文g
%rm /home/oradata/oradata/test/happen_time_200405.dbf
3)EXPORT 分区Q?/p>
% exp sms/sms tables=T_MPN_OUTDATE:happen_time_200405 rows=Y file=c:aahappen_time_200405.dmp
4)IMPORT分区Q?/p>
例如用户要查?004q?5月的数据Q先创徏表空?/p>
create tablespace happen_time_200405 datafile '/home/oradata/oradata/test/happen_time_200405.dbf' size 50m default storage (initial 100k next 100k minextents 1 maxextents unlimited pctincrease 1);
再导入数?br>%imp sms/sms file=c:aahappen_time_200405.dmp tables=(T_MPN_OUTDATE:happen_time_200405) ignore=y
(说明Q如果不指明导入的分区，imp会自动按分区定义的范围装载数?
5)查看分区信息Q?
DBA要查看表的分Z息，可查看数据字典USER_EXTENTS,操作如下Q?
SELECT * FROM user_extents WHERE SEGMENT_NAME='T_MPN_OUTDATE';
感谢yangtingkun版主、pingshx?ZALBB、Fenng{网友的支持
备注Q如果是9iR2版本可以?在线表格重定?技术实现这个功能。不用常规方法（8i以前的方法）了?/p>
]]>
]]>
的理论知识，但是Q就是那些不太常用也不太常注意的一些知识点。做得那个真是叫做一t?br>p涂啊，l果找了一个技术h员来问我问题Q问的那些问题也是比较简单的Q但是就是不?br>注意的一些，l果搞得那个搞技术的直摇头啊?br>今天又面试了两家Q上午的一q是叫《A8音乐集团》的Q进M是先做试题。这个试题就?br>比较׃Q主要是针对数据仓库的。有两个是我Ҏ׃太知道的问题Q?、数据仓库存储与
传统的不同存储点是什么？2、星形纬度与雪花型结构的不同炏V?、元数据理及方法??br>常见数据挖掘模型Q特点及适用范围?、半累加性行为。d?个题目，l果有5个没?br>{出来，q有几个是答非所问。唉Q现在是无地自容了啊?br>下午M《桑菲通信公司》面试，q次是技术上的东西没有问了，一填完历，来了一?br>l理跟我谈话Q还没有聊上几句Q就来了一?can you introduce yourself in English?'
我晕了，来了一句中?#8220;我的口语不行Q但可以d”Q结果就让我写下来。我没有办法Q?br>只能着头皮上了Q随便写了几句上去，我以为没有半点希望，l果没想到还是搞来了一?br>技术h员。跟他一聊，l果是对技术不是太重好Q但是要English。最后是Z部的l我说了
一下现状。我也没有抱太大希望了?br>看来我现在迫切需要解决的问题主要有：1、在English上，要能q够q行正常的对话?、在
技术方面，要有一个进一步的深入学习?
]]>