问题描述
我有一个非常大的数据集合，原始数据已经按照什么是关键进行排序。 例如，我有一个CSV文件，第一列将成为分组的关键。
A,x,x,x
A,x,y,x
A,z,y,y
C,x,s,d
C,t,d,s
B,a,s,a
E,x,x,x
E,t,r,y
这些线被转换成对象，并放到一个列表，并使用RxJava流Flowable 。
因为这个CSV将是巨大的（如此巨大以至于它会使应用程序崩溃），有没有一种很好的方法将这些对象转换为映射条目，如下所示：
{ 'A': [[x,x,x],[x,y,x],[z,y,y]] }
1楼
我现在正在使用FlowableTransformers.partialCollect 。
一个例子是
Flowable.fromPublisher(FlowableTransformers.partialCollect(
(Consumer<PartialCollectEmitter<LineData, Integer,
ListBuilder, ListDataModel>>) emitter -> {
// Get or initialize collecting object
ListBuilder lb = emitter.getAccumulator();
if (lb == null) {
lb = new ListBuilder();
emitter.setAccumulator(lb);
}
if (emitter.demand() != 0) {
boolean d = emitter.isComplete();
if (emitter.size() != 0 && !d) {
LineData data = emitter.getItem(0);
emitter.dropItems(1);
// add returns the finished model if the prefix changes
ListDataModel model = lb.add(data);
if (model != null) {
emitter.next(model);
}
} else if (d) {
if (!lb.isEmpty()) {
// clear returns the last model
emitter.next(lb.clear());
}
emitter.complete();
return;
}
}
emitter.setIndex(0);
}, Functions.emptyConsumer(), settings.getReadBufferSize() + 1).apply(
Flowable.fromIterable(file.getFileNameList())
.concatMap(
fileName -> reader
.getLineData(fileName)
.buffer(settings.getReadBufferSize()))
.flatMap(Flowable::fromIterable)))
2楼
使用collectWhile 并指定集合工厂以生成特殊的键控对象：
class Keyed {
final K key;
final List<Value> list;
...
}
K key(Value value) {
...
}
source.compose(
Transformers.
collectWhile(
// factory
() -> new Keyed(),
// add
(keyed, x) -> {
keyed.list.add(x);
return keyed; },
// condition
(keyed, x) ->
keyed.list.isEmpty() ||
key(x).equals(keyed.key)));