海量数据怎么取啊？

取海量数据的方法~如果是机密的话 发个邮箱924320105@qq.com
求稳定 速度快的~~~~ --------------------编程问答-------------------- 具体有多海量？ --------------------编程问答-------------------- 说说看具体的需求？常见的就是分页查询。 --------------------编程问答-------------------- 海量数据怎么去重。。。比如取得独立IP --------------------编程问答--------------------

引用 1 楼 yzsunlight 的回复:

具体有多海量？

测试的时候有40万条 --------------------编程问答--------------------

引用 4 楼 Mister_Zzz 的回复:

测试的时候有40万条

不上千万 别说什么海量。 --------------------编程问答-------------------- 顺便 说说需求。 --------------------编程问答-------------------- LZ啥都没说都有这么多人回复

LZ没说是关系数据库，NOSQL还是直接文件，也没说取出来放哪里，什么都没说。。。 --------------------编程问答--------------------

引用 6 楼 AFer198215 的回复:

顺便 说说需求。

一天一张表 一张表 40万  --------------------编程问答--------------------

引用 7 楼 ticmy 的回复:

LZ啥都没说都有这么多人回复

LZ没说是关系数据库，NOSQL还是直接文件，也没说取出来放哪里，什么都没说。。。

我是想取 出来数据 然后 导出excel --------------------编程问答-------------------- poi流处理就行了，缓存行数设定好，excel必须是2007及以上版本 --------------------编程问答--------------------

引用 10 楼 xodbc 的回复:

poi流处理就行了，缓存行数设定好，excel必须是2007及以上版本

这个我 知道  我现在就是在取数据的时候 不晓得 该怎么取~想找一种速度快 又稳定的方法 --------------------编程问答--------------------

引用 9 楼 Mister_Zzz 的回复:

我是想取 出来数据 然后 导出excel

蛋疼，excel 每一个sheet 页都有最大 承载量，而且总承载量过大的话，你打开 excel都是问题。

估计还是得 分页取，再分装多个excel --------------------编程问答--------------------

引用 12 楼 scottxzj 的回复:

引用 9 楼 Mister_Zzz 的回复:我是想取 出来数据 然后 导出excel

蛋疼，excel 每一个sheet 页都有最大 承载量，而且总承载量过大的话，你打开 excel都是问题。

估计还是得 分页取，再分装多个excel

我预计是取一天的出来 然后放进一个excel 其他天数的就再新建一个excel 最后打包下载

因为一天的数据量也不小取的时候难免有 些慢 --------------------编程问答--------------------

引用 9 楼 Mister_Zzz 的回复:

我是想取 出来数据 然后 导出excel

你在开玩笑。
40万/天 一年有1.46亿的数据，你导出excel? --------------------编程问答--------------------

引用 11 楼 Mister_Zzz 的回复:

引用 10 楼 xodbc 的回复:poi流处理就行了，缓存行数设定好，excel必须是2007及以上版本

这个我 知道  我现在就是在取数据的时候 不晓得 该怎么取~想找一种速度快 又稳定的方法

poi流处理excel2007版本就是现行最快最稳定的方法了，没有之一。 --------------------编程问答--------------------

引用 14 楼 AFer198215 的回复:

引用 9 楼 Mister_Zzz 的回复:我是想取 出来数据 然后 导出excel
你在开玩笑。
40万/天 一年有1.46亿的数据，你导出excel?

肯定不能导出一年的啊 不过在怎么样 一个月的 也要让别人导出来吧 --------------------编程问答--------------------

引用 15 楼 xodbc 的回复:

引用 11 楼 Mister_Zzz 的回复:引用 10 楼 xodbc 的回复:poi流处理就行了，缓存行数设定好，excel必须是2007及以上版本

这个我 知道  我现在就是在取数据的时候 不晓得 该怎么取~想找一种速度快 又稳定的方法
poi流处理excel2007版本就是现行最快最稳定的方法了，没有之一。

现在的问题不是 导出excel  是数据库读取数据 --------------------编程问答--------------------

引用 14 楼 AFer198215 的回复:

引用 9 楼 Mister_Zzz 的回复:我是想取 出来数据 然后 导出excel
你在开玩笑。
40万/天 一年有1.46亿的数据，你导出excel?

excel2007单文件支持2亿6千多万行，流输入输出是没问题，就是不知道能不能打开看 --------------------编程问答--------------------

引用 17 楼 Mister_Zzz 的回复:

引用 15 楼 xodbc 的回复:引用 11 楼 Mister_Zzz 的回复:引用 10 楼 xodbc 的回复:poi流处理就行了，缓存行数设定好，excel必须是2007及以上版本

这个我 知道  我现在就是在取数据的时候 不晓得 该怎么取~想找一种速度快 又稳定的方法
poi流处理excel2007版本就是现行最快最稳定的方法了，没有之一。

现在的……

数据分页读就行了阿，主流数据库都支持行id，每次取1000行写入流就行了阿。 --------------------编程问答-------------------- 如果不是为了生成报表之类，把大量的数据导成第三方格式，又笨又慢。 尤其是现在大部分数据库都提供自带的数据库导入导出方法。 --------------------编程问答--------------------

引用 19 楼 xodbc 的回复:

引用 17 楼 Mister_Zzz 的回复:引用 15 楼 xodbc 的回复:引用 11 楼 Mister_Zzz 的回复:引用 10 楼 xodbc 的回复:poi流处理就行了，缓存行数设定好，excel必须是2007及以上版本

这个我 知道  我现在就是在取数据的时候 不晓得 该怎么取~想找一种速度快 又稳定的方法
poi流处理excel2007版本就是现……

~~怎么写 速度能快点啊 给点代码模版看看 --------------------编程问答--------------------

引用 20 楼 AFer198215 的回复:

如果不是为了生成报表之类，把大量的数据导成第三方格式，又笨又慢。 尤其是现在大部分数据库都提供自带的数据库导入导出方法。

需求就是这样 以后 也难免会遇到这样的问题  逃避 使用其他的方法 还是不能解决根本问题的 --------------------编程问答-------------------- 很N       B哇   --------------------编程问答-------------------- 我咧个去！才40万，称不上海量。超过500w才需要考虑特殊的数据处理，500w以下直接查数据库即可 --------------------编程问答-------------------- 这个问题很专业。。。 --------------------编程问答-------------------- 除 --------------------编程问答-------------------- 感觉很厉害    的 --------------------编程问答--------------------

引用 24 楼 scriptguy 的回复:

我咧个去！才40万，称不上海量。超过500w才需要考虑特殊的数据处理，500w以下直接查数据库即可

我咧个擦！一天一张业务表40万 还不算其他的表 能说点有价值的东西不~csdn没高手l !? --------------------编程问答-------------------- 除 --------------------编程问答-------------------- 除 --------------------编程问答-------------------- 就40w，找个定时器，查询SQL，导出到CSV文件就完了，最多导出的时候用分页加快速度，查询的时候优化点SQL脚本就行了。

补充：Java ,  Web 开发