Python流提取

许多编程语言的标准库包括“扫描仪API”,用于从文本输入流中提取字符串,数字或其他对象. (例如,Java包括Scanner类,C包括istream,C包括scanf).

Python中的等价物是什么?

Python有一个流接口,即从io.IOBase继承的类.但是,Python TextIOBase流接口仅提供面向行的输入的工具.在reading the documentationsearching on Google之后,我找不到标准Python模块中的某些东西,例如,它可以从文本流中提取整数,或者将下一个以空格分隔的单词作为字符串提取.有没有标准设施可以做到这一点?

最佳答案
没有相应的fscanf或Java的扫描仪.最简单的解决方案是要求用户使用换行分隔输入而不是空格分隔输入,然后可以逐行读取并将行转换为正确的类型.

如果您希望用户提供更多结构化输入,那么您可能应该为用户输入创建解析器.有一些很好的python解析库,例如pyparsing.还有一个scanf模块,即使最后一次更新是2008年.

如果您不想拥有外部依赖项,则可以使用正则表达式来匹配输入序列.当然正则表达式需要处理字符串,但你可以很容易地克服这个限制读取块.例如,这样的事情在大多数情况下应该运作良好:

@H_502_17@import re FORMATS_TYPES = { 'd': int,'f': float,'s': str,} FORMATS_REGEXES = { 'd': re.compile(r'(?:\s|\b)*([+-]?\d+)(?:\s|\b)*'),'f': re.compile(r'(?:\s|\b)*([+-]?\d+\.?\d*)(?:\s|\b)*'),'s': re.compile(r'\b(\w+)\b'),} FORMAT_FIELD_REGEX = re.compile(r'%(s|d|f)') def scan_input(format_string,stream,max_size=float('+inf'),chunk_size=1024): """Scan an input stream and retrieve formatted input.""" chunk = '' format_fields = format_string.split()[::-1] while format_fields: fields = FORMAT_FIELD_REGEX.findall(format_fields.pop()) if not chunk: chunk = _get_chunk(stream,chunk_size) for field in fields: field_regex = FORMATS_REGEXES[field] match = field_regex.search(chunk) length_before = len(chunk) while match is None or match.end() >= len(chunk): chunk += _get_chunk(stream,chunk_size) if not chunk or length_before == len(chunk): if match is None: raise ValueError('Missing fields.') break text = match.group(1) yield FORMATS_TYPES[field](text) chunk = chunk[match.end():] def _get_chunk(stream,chunk_size): try: return stream.read(chunk_size) except EOFError: return ''

用法示例:

@H_502_17@>>> s = StringIO('1234 Hello World -13.48 -678 12.45') >>> for data in scan_input('%d %s %s %f %d %f',s): print repr(data) ... 1234 'Hello' 'World' -13.48 -678 12.45

您可能需要对此进行扩展,并对其进行正确测试,但它应该会给您一些想法.

相关文章

在这篇文章中,我们深入学习了XPath作为一种常见的网络爬虫技巧。XPath是一种用于定位和选择XML文档中特...
祝福大家龙年快乐!愿你们的生活像龙一样充满力量和勇气,愿你们在新的一年里,追逐梦想,勇往直前,不...
今天在爬虫实战中,除了正常爬取网页数据外,我们还添加了一个下载功能,主要任务是爬取小说并将其下载...
完美收官,本文是爬虫实战的最后一章了,所以尽管本文着重呈现爬虫实战,但其中有一大部分内容专注于数...
JSON是一种流行的数据传输格式,Python中有多种处理JSON的方式。官方的json库是最常用的,它提供了简单...
独立样本T检验适用于比较两组独立样本的均值差异,而配对T检验则适用于比较同一组样本在不同条件下的均...