partitionBy && s3

1

df.write.partitionBy('date', 'index1', 'index2', 'index3').parquet('some/path/')

阅读全文

感悟

spark是一个好东西。流式处理数据，扩容方便，较大程度上的利用机器，学习还是很有必要的。这几个星期的使用，也踩了不少坑。世界上的很多东西，不是难，而是不知道。

阅读全文

创建索引

1
2
3
4
5
6
7
8

PUT /my_index
{
    "settings" {}
    "mappings": {
        "type_one":{},
        "type_two":{},
    }
}

阅读全文

结构化查询Query DSL

1
2
3
4
5
6
7
8
9
10
11

GET /_search
    {
        "query": {
            QUERY_NAME: {
                FIELD_NAME: {
                    ARGUMENT: VALUE,
                    ARGUMENT: VALUE,
                }
            }
        }
    }

阅读全文

路由文档到分片

1

shard = hash(routing) % number_of_primary_shards

阅读全文