问题描述
我有约30个列表，一些字典，其中大多数包含至少200个项目，整数和字符串。
使用硒和漂亮的汤来抓取数据以解析html，然后将其分离为名称/值列表，站点刷新并重复该过程。
发生这种情况时，我正在执行函数以将这些名称/值处理为平均值，随时间变化的速率，然后将其与先前的结果进行比较。
目前，这些都只是存储在我的python脚本内的内存中。 我看过使用csv文件存储和检索数据，或者使用sqlite数据库/，甚至在内存中使用sqlite数据库，但不知道这些选项的速度/慢得多。
任何建议将不胜感激！
1楼
您说您的数据主要是Lists和Dicts那么我的选择是使用JSON 。
JSON非常适合key-value对，它最初是为此目的而制作的。
使用json模块很容易对JSON进行序列化或解码。
序列化JSON的示例
>>> import json
>>> json.loads('["foo", {"bar":["baz", null, 1.0, 2]}]')
['foo', {'bar': ['baz', None, 1.0, 2]}]
将list和dict编码为JSON的示例
>>> import json
>>> json.dumps([1,2,3,{'4': 5, '6': 7}], separators=(',', ':'))
'[1,2,3,{"4":5,"6":7}]'
有关更多文档，请访问：