我用URL中的索引来调用Api服务;例如,最后一个索引是：420.555.我这样做：
for(int i =0; i <= 420555;i++){
url = new URl("https://someURL/"+ i);
read the json with BufferedReader reader = new BufferedReader( new InputStreamReader( url.openStream(),"UTF-8" ) )) {
create object from json
save the result to my DB
}
表现非常糟糕.
(当然,有很多条目需要保存在我的数据库中,但它需要超过6小时并因为JAVA VM中的内存已满而崩溃)
你有什么想法,我怎么能更快地做到这一点？
如果您需要完整的代码,我可以发布它.但我认为for循环是问题……
我的想法是,使用多线程,但我从来没有工作过,我不确定这是否是这种情况的最佳实践.
当多线程是最佳实践时,你能举个例子说明这个案例吗？
解决方法
你的代码做了：
>从URL获取内容为json
>做一些事情,然后将结果保存到数据库中
它按顺序执行.
所以,是的,当然,并行执行这些循环体应该可以减少总体执行时间.它对内存问题没有帮助.正如评论所指出的那样,这个问题很可能是由代码中的错误引起的(例如,没有正确关闭资源).
当然,这引入了新的问题;例如处理数据库访问的连接池.
为了添加“多个线程”;直接的方法是将任务提交到ExecutorService – 例如,参见here.
最后：第一个真正的答案是退一步.似乎已经手头的任务很难让你做对了！增加复杂性可能有助于解决某些问题;但是在添加多于一个线程的事情之前,首先应该首先确保您的代码完全正确并且以“顺序模式”工作.否则,您将以较不确定但更难调试的方式快速遇到其他问题.
第二个真正的答案是：制作400K请求永远不是一个好主意.不按顺序,不是并行.现实世界的解决方案是退后一步,更改该API并允许批量读取.不要在400K请求中下载400K对象.例如,每次发出100个请求并下载4K对象.