Changeset View
Changeset View
Standalone View
Standalone View
swh/graph/webgraph.py
Show First 20 Lines • Show All 72 Lines • ▼ Show 20 Lines | CompressionStep.MPH: [ | ||||
"--byte-array", | "--byte-array", | ||||
"--temp-dir", | "--temp-dir", | ||||
"{tmp_dir}", | "{tmp_dir}", | ||||
"--decompressor", | "--decompressor", | ||||
"com.github.luben.zstd.ZstdInputStream", | "com.github.luben.zstd.ZstdInputStream", | ||||
"{out_dir}/{graph_name}.mph", | "{out_dir}/{graph_name}.mph", | ||||
"{out_dir}/{graph_name}.nodes.csv.zst", | "{out_dir}/{graph_name}.nodes.csv.zst", | ||||
], | ], | ||||
# use process substitution (and hence FIFO) above as MPH class load the | |||||
# entire file in memory when reading from stdin | |||||
CompressionStep.BV: [ | CompressionStep.BV: [ | ||||
"{java}", | "{java}", | ||||
"org.softwareheritage.graph.compress.ORCGraphDataset", | "org.softwareheritage.graph.compress.ScatteredArcsORCGraph", | ||||
"{in_dir}", | |||||
"|", | |||||
"cut -d' ' -f1,2", | |||||
"|", | |||||
"{java}", | |||||
"it.unimi.dsi.big.webgraph.ScatteredArcsASCIIGraph", | |||||
"--byte-array", | |||||
"--batch-size", | |||||
"{batch_size}", | |||||
"--temp-dir", | "--temp-dir", | ||||
"{tmp_dir}", | "{tmp_dir}", | ||||
"--function", | "--function", | ||||
"{out_dir}/{graph_name}.mph", | "{out_dir}/{graph_name}.mph", | ||||
"{in_dir}", | |||||
"{out_dir}/{graph_name}-base", | "{out_dir}/{graph_name}-base", | ||||
], | ], | ||||
CompressionStep.BFS: [ | CompressionStep.BFS: [ | ||||
"{java}", | "{java}", | ||||
"it.unimi.dsi.law.big.graph.BFS", | "it.unimi.dsi.law.big.graph.BFS", | ||||
"{out_dir}/{graph_name}-base", | "{out_dir}/{graph_name}-base", | ||||
"{out_dir}/{graph_name}-bfs.order", | "{out_dir}/{graph_name}-bfs.order", | ||||
], | ], | ||||
▲ Show 20 Lines • Show All 260 Lines • Show Last 20 Lines |