三个分表:
CREATE TABLE `test_1` (
id INT(11) NOT NULL DEFAULT '0',
email varchar(50) NOT NULL ,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=UTF8;
CREATE TABLE `test_2` (
id INT(11) NOT NULL DEFAULT '0',
email varchar(50) NOT NULL ,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=UTF8;
CREATE TABLE `test_3` (
id INT(11) NOT NULL DEFAULT '0',
email varchar(50) NOT NULL ,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=UTF8;
一个总表:
CREATE TABLE `test` (
`id` INT(11) NOT NULL DEFAULT '0'
email varchar(50) NOT NULL
key `i_id` (`id`),
) ENGINE=MRG_MyISAM UNION=(test_1,test_2,test_3) DEFAULT CHARSET=UTF8;
在总表test上面select *的话,会取出三个分表中的数据。
在插入数据的时候根据对象的hash code 取模运算,如果余数为 3 那么就插入 test_3 这个表中。
一般总表不存数据 ,只是定义结构,为了防止别人插入数据 在建表语句后面添加
INSERT_METHOD=NO
在java程序里面首先需要建立总表和分表,由于分了100个表,如果手动下sql,那会烦死人的,所以通过程序生成这些表
package com.chen.crawler.utils; /** * 数据工具类 * @author xxx * */ public class DbUtils { private static final String USER_DB = "user"; private static final DBEngine userDBEngine ; private static Connection conn = null; private static Logger logger = Logger.getLogger(DbUtils.class.getName()); static{ userDBEngine = DBFactory.getDBEngine(USER_DB); try { conn = DBEngine.getConnection(USER_DB); } catch (SQLException e) { e.printStackTrace(); } boolean tableExists = TableExists("userinfo_1"); if(!tableExists){ CreateMargeTable("userinfo"); for(int i = 0 ; i < 100; i++){ CreateTables("userinfo_"+i); } } } private DbUtils(){ } private static boolean TableExists(String tableName){ String sql = "show tables like '"+tableName+"'"; try { conn = DBEngine.getConnection(USER_DB); java.sql.PreparedStatement pstmt = conn.prepareStatement(sql); ResultSet resultSet = pstmt.executeQuery(); while (resultSet.next()) { tableName = resultSet.getString(1); if(tableName!=null && tableName.length()>1){ return true; }else{ return false; } } } catch (SQLException e) { e.printStackTrace(); return false; } return false; } /** *建总表 */ private static void CreateMargeTable(String tableName){ String sql = "CREATE TABLE `" + tableName + "` ("+ "`userId` bigint(15) NOT NULL ,"+ "`nickname` varchar(50) NOT NULL COMMENT '用户昵称',"+ "`qq` varchar(15) NOT NULL COMMENT 'QQ号码',"+ "`gender` tinyint(2) NOT NULL COMMENT '性别 1 :男 2:女'," "`astro` varchar(5) NOT NULL COMMENT '星座的编码',"+ "`address` varchar(50) NOT NULL COMMENT '地址',"+ " KEY (`userId`),"+ " KEY `i_nickname` (`nickname`),"+ " KEY `i_address` (`address`)"+ " ) ENGINE=MRG_MyISAM INSERT_METHOD=NO DEFAULT CHARSET=utf8 union=("; StringBuffer sb = new StringBuffer(); sb.append(sql); for(int i =0;i<100 ;i++){ sb.append("userinfo_"+i).append(","); } sb.deleteCharAt(sb.length()-1).append(");"); try { java.sql.PreparedStatement pstmt = conn.prepareStatement(sb.toString()); pstmt.execute(); } catch (SQLException e) { e.printStackTrace(); } } private static void CreateTables(String tableName){ String sql = "CREATE TABLE `" + tableName + "` ("+ "`userId` bigint(15) NOT NULL auto_increment,"+ "`nickname` varchar(50) NOT NULL COMMENT '用户昵称',"+ "`qq` varchar(15) NOT NULL COMMENT 'QQ号码',"+ "`gender` tinyint(2) NOT NULL COMMENT '性别 1 :男 2:女',"+ "`astro` varchar(5) NOT NULL COMMENT '星座的编码',"+ "`address` varchar(50) NOT NULL COMMENT '地址',"+ " PRIMARY KEY (`userId`),"+ " KEY `i_nickname` (`nickname`),"+ " KEY `i_address` (`address`)"+ " ) ENGINE=MyISAM DEFAULT CHARSET=utf8;"; try { java.sql.PreparedStatement pstmt = conn.prepareStatement(sql); pstmt.execute(); } catch (SQLException e) { e.printStackTrace(); } } /** * * @param user * @param tableName * @return */ public static boolean InsertUserinfo(User user,String tableName) { boolean result = false; if (user == null || tableName==null) { return false; } try { String sql = "insert into " + tableName + "(nickname,qq,gender,astro,address) values(?,?,?,?,?,?,?)"; logger.info(sql); result = userDBEngine.executeUpdate(sql, new Object[] { user.getNickname(),user.getUin(), user.getGender(),user.getAstro(),user.getAddress() }) > 0 ? true : false; } catch (SQLException e) { e.printStackTrace(); } return result; } }
表建好后就是插入表了,这里根据每个对象的hash code 取模运算
User user = new User(nickname,uin,gender,astro,from); //按照 user对象的hashcode 进行模运算 0-99之间的规则来分表 String tableName = "userinfo_"; int code = user.hashCode()%100; tableName += code; InsertUserinfo(user, tableName);
这样就可以让每个表中的数据分布都比较均匀,而不会出现一个表的数据特别多,其他表的数据则特别少。
如果我们需要查询数据,可以直接通过总表查询
select * from userinfo limit 100;
相关推荐
主要介绍了MyBatis实现Mysql数据库分库分表操作和总结,需要的朋友可以参考下
1.Merge(MRG_MyISAM)存储引擎类型允许你把许多结构相同的表合并为一个表。当从合并表中执行查询,从多个表返回的结果就像从一个表返回的结果一样。 2.要创建合并表的前提是每一个合并的表必须有同样的表定义(表结构...
MERGE存储引擎把一组MyISAM数据表当做一个逻辑单元来对待,让我们可以同时对他们进行查询。本文给大家介绍MySQLMerge存储引擎,需要的朋友参考下吧
非常经典的SQL经验,适合于数据库初学者及长期从事软件开发者
Merge into写法,含两种,带实例说明
重点讲解了慢查询、索引、Multi Range Read、Index Merge、ICP,等相关功能。这里均为本人的学习总结。内容有2附图1个来自书本、一个来自网络,其余均为本人原创。 未经运行不得商业使用。
Araxis Merge是一款比对软件工具,不仅支持单个文件的比对,而且支持对两个文件夹的所有文件进行对比,并实时修改。用了蛮久感觉很好用,所以分享给大家。 里面给大家内嵌了Araxis Merge v6.5和Araxis Merge 2017两...
主要介绍了在MySQL中实现插入或更新操作(类似Oracle的merge语句)的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下
Mybatis批量foreach merge into的用法,这是介绍Mybatis批量foreach merge into的用法的文档
merge 比较工具 merge 比较工具merge 比较工具
免费Merge比较工具 win Merge
Araxis Merge 软件入门使用教程 Araxis Merge 软件入门使用教程 Araxis Merge 软件入门使用教程 Araxis Merge 软件入门使用教程 pdf
做项目的时候通常版本与版本比较,因为下一个版本跟前一个版本差一点,可一般我们做多后查不出来,用WinMerge能很简单的查出来增加了哪里........
WinMerge文件比较工具,WinMerge文件比较工具
WinMerge 3 ========== WinMerge 3 is a port of WinMerge (http://winmerge.org) to use cross-platform with Qt (http://qt.nokia.com/) framework. This project is still in very early stages. WinMerge 3 is...
程序员私藏的工具轻松实现项目开发一个命令发起Merge Request项目代码提交合并,可以指定代码Code View审核人。 不会用,随时私信作者。 最新git项目开发中一键发起merge request工具,自动识别本地环境,支持...
Araxis Merge v6.5(含破解补丁),Araxis merge是windows下最优秀的merge软件