使用正则表达式，从网站上获取指定数据

正则表达式 前端之家
前端之家收集整理的这篇文章主要介绍了使用正则表达式，从网站上获取指定数据，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

最近做的一个项目中，其中有这样一个需求：用户要求我们实时在地图上显示某些指定景点的人数，但是却没有给我们数据的接口。不过可以从网页上获取到最新的数据，每小时更新一次。所以经理安排我做一个实时从网页上抓取数据的功能。

既然是网页，那么无用的数据肯定是非常多的，所以就需要用正则表达式来过滤出自己所需要的数据。

不得不说，正则表达式比substring好用多了，而且效率也很不错。下面来分享一下我的这段代码吧：

[java] view plain copy
  1. /**
  2. *从网站获取日期信息
  3. *
  4. *@Title:getDate
  5. *@Date:2014-8-12上午09:42:26
  6. *@return
  7. */
  8. privateStringgetDate(){
  10. //从网站抓取数据
  11. Stringtable=catchData();
  12. Stringdate="";
  13. //使用正则表达式，获取对应的数据
  14. Patternplaces=Pattern.compile("(<palign=\"center\">)([^\\s]*)");
  15. Matchermatcher=places.matcher(table);
  16. while(matcher.find()){
  17. System.out.println(matcher.group(2));
  18. date=matcher.group(2);
  19. }
  20. returndate;
  21. /**
  22. *从网站抓取数据（未经处理）
  23. *
  24. *@Title:getData
  25. *@Date:2014-8-12上午09:34:30
  26. *@return
  27. */
  28. @SuppressWarnings("unchecked")
  29. privateStringcatchData(){
  30. Stringtable="";
  31. try{
  32. Mapmap=newHashMap();
  33. map.put("a","1");//莫删，否则报错
  34. table=AsyncRequestUtil.getJsonResult(map,"http://s.visitbeijing.com.cn/flow.PHP");
  35. }catch(Exceptione){
  36. e.printStackTrace();
  37. returntable;
  38. }

【AsyncRequestUtil.java】

    packagecom.zhjy.zydc.util;
  2. importjava.util.Map;
  3. *异步请求数据
  4. *@author:Cuichenglong
  5. *@group:tgb
  6. *@Version:1.00
  7. *@Date:2014-5-28上午09:54:20
  8. publicclassAsyncRequestUtil{
  9. *异步请求数据
  10. *@Title:getJsonResult
  11. *@parammap
  12. *@paramstrURL
  13. staticStringgetJsonResult(Map<String,Object>map,StringstrURL)throwsException{
  14. /**跨域登录，获取返回结果**/
  15. Stringresult=null;
  16. result=UrlUtil.getDataFromURL(strURL,map);
  17. if(result!=null&&result.startsWith("null{")){
  18. result=result.substring("null".length());
  19. }
  20. returnresult;
  21. }
【 UrlUtil .java 】
    importjava.io.BufferedReader;
  1. importjava.io.InputStreamReader;
  2. importjava.io.OutputStreamWriter;
  3. importjava.io.UnsupportedEncodingException;
  4. importjava.net.URL;
  5. importjava.net.URLConnection;
  6. importjava.net.URLDecoder;
  7. importjava.net.URLEncoder;
  8. importjava.util.ArrayList;
  9. importjava.util.Enumeration;
  10. importjava.util.HashMap;
  11. importjava.util.Iterator;
  12. importjava.util.List;
  13. importjava.util.Map;
  14. importjava.util.Set;
  15. importjavax.servlet.http.HttpServletRequest;
  16. importjavax.servlet.http.HttpSession;
  17. *url跨域获取数据
  18. *@group:ZhongHaiJiYuan
  19. *@Date:2014-5-27下午04:14:26
  20. finalclassUrlUtil{
  21. *根据URL跨域获取输出结果
  22. *@Title:getDataFromURL
  23. *@paramstrURL要访问的URL地址
  24. *@paramparam参数
  25. *@return结果字符串
  26. *@throwsException
  27. staticStringgetDataFromURL(StringstrURL,Map<String,Object>param)throwsException{
  28. URLurl=newURL(strURL);
  29. URLConnectionconn=url.openConnection();
  30. conn.setDoOutput(true);
  31. conn.setConnectTimeout(5000);//允许5秒钟的延迟：连接主机的超时时间（单位：毫秒）
  32. conn.setReadTimeout(//允许5秒钟的延迟：从主机读取数据的超时时间（单位：毫秒）
  33. OutputStreamWriterwriter=newOutputStreamWriter(conn.getOutputStream());
  34. finalStringBuildersb=newStringBuilder(param.size()<<4);//4次方
  35. finalSet<String>keys=param.keySet();
  36. for(finalStringkey:keys){
  37. Objectvalue=param.get(key);
  38. sb.append(key);//不能包含特殊字符
  39. sb.append('=');
  40. //如果格式为String类型，则进行2次解码、2次编码操作
  41. if(valueinstanceofString)//String
  42. {
  43. //value=(URLDecoder.decode(URLDecoder.decode((String)value,"utf-8"),
  44. //"utf-8"));
  45. //value=(Object)(URLEncoder.encode(URLEncoder.encode((String)value,248); line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> value=URLEncoder.encode((String)value,"utf-8");
  46. sb.append(value);
  47. sb.append('&');
  48. //将最后的'&'去掉
  49. sb.deleteCharAt(sb.length()-1);
  50. //writer.write("email=pk3589@163.com&password=123");
  51. writer.write(sb.toString());
  52. writer.flush();
  53. writer.close();
  54. InputStreamReaderreder=newInputStreamReader(conn.getInputStream(),"utf-8");
  55. BufferedReaderbreader=newBufferedReader(reder);
  56. //BufferedWriterw=newBufferedWriter(newFileWriter("d:/1.txt"));
  57. Stringcontent=null;
  58. while((content=breader.readLine())!=null){
  59. result+=content;
  60. }
这是一段很简单的代码。是从http://s.visitbeijing.com.cn/flow.PHP网址中抓取日期的代码。

其实只有2步，第一步是通过java.net.URL后台访问指定网址，并且拿到页面的html源码。第二步从html源码中通过正则表达式，获取日期。这里说一下正则表达式：

[java] view plain copy
  1. Patternplaces=Pattern.compile("(<palign=\"center\">)([^\\s]*)");

其中^表示屏蔽，\s表示空格，所以^\\s表示屏蔽空格，这里第一个\是转移字符。*表示匹配多个字符。

通过matcher，获取匹配的值。在一次matcher.find()获取每一次匹配的数据，一个括号对应一个group。如果取matcher.group(1)，则会取到<p align="center">。matcher.group(2)可以取到匹配的值。

了解了这些，我们就可以随意的从某些网址上抓取数据了。有了数据，还有什么可以挡住我们前进的脚步！！！

原文链接：https://www.f2er.com/regex/360354.html

猜你在找的正则表达式相关文章

常用正则表达式-手机号、身份证、邮箱
一、校验数字的表达式 1 数字：^[0-9]*$ 2 n位的数字：^d{n}$ 3 至少n位的数字：^d{n,}$ 4...
JS正则表达式详解
正则表达式非常有用，查找、匹配、处理字符串、替换和转换字符串，输入输出等。下面整理一...
组内正则培训记录
0. 注： 不同语言中的正则表达式实现都会有一些不同。下文中的代码示例除特别说明的外，都...
高级正则表达式技术（Python版）
 正则表达式是从信息中搜索特定的模式的一把瑞士军刀。它们是一个巨大的工具库，其中的...
史上最全最常用的正则表达式
一、校验数字的表达式 数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,...
正则表达式工具
正则表达式初步
分享5个可视化的正则表达式编辑工具
　　正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编...
分享5个可视化的正则表达式编辑工具
正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器...
[知识积累]--正则表达式记忆表
在工作中常常遇到正则表达式问题，有时候又会忘记这则的语法。 下面就分享一份正则表达式记...
算法设计模式多媒体技术正则表达式ElasticsearchFlinkHadoopIDE
受约束摘*day25Java常用类库置信lamda留存持续录入年后正则表达式303.17regularexpre匹多模适20130322基础理论pathmunge涵义reectok需要转义的特资源分享validationex简明魔法里弄形如源码实现完备actionscript