colin
/
Witllm
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
Witllm/wit/doc/meaning_dataset.md

1098 lines
43 KiB
Markdown
Raw Normal View History

Refine meaning dataset.
2024-04-07 00:25:21 +08:00
# meaning dataset
meaning数据集是一个模仿自然语言，以及抽象表达的数据集。
## 概念
1. token表示最终体现的基本数据表达，类似单词。vocab_size表示代表token的数量。
2. meaning表示一种语义（符号），所有的meaning都由一个编号表达，编号越大表示语义越复杂
3. 所有的meaning都可以由更低标号表达
Update meaning dataset.
2024-04-10 00:34:47 +08:00
4. 从0到(vocab_size-1)的编号表示基本meaning，是不能被拆解的，也就是token
Refine meaning dataset.
2024-04-07 00:25:21 +08:00
5. meaning通过一层层的向低编号的meaning进行组合替换，最终形成一个最底层是token的树形数据
6. level表示当前token相对于root meaning的距离
Update more.
2024-07-31 22:04:01 +08:00
7. rank
Fix rank index and all calculater when tree mode enable.
2025-08-14 13:25:47 +08:00
8. rank_idx表示当前token在不同层的排序编号，每4位表示在一层里面的编号，低4位表示最低层级的rank_idx，高位无用的位用1填充,tree token总是排在最后面，index递增
9. rank_all表示当前token所在的不同层的总的分支个数，每4位表示在一层里面的个数，低4位表示最低层级的rank_all，高位无用的位用1填充，tree token不计入rank all的总数
Update more.
2024-07-31 22:04:01 +08:00
10. tree用于存储每个meaning的拆解的数据，使用字典表达一个树形结构
Update meaning of stride mask label.
2025-08-11 16:07:32 +08:00
11. get_rank_mask返回一个sequence每个token在对应level是不是对应的index,level=0:最底层，index=-1:最后一个，index=0:第一个
Update more.
2024-07-31 22:04:01 +08:00
12. meaning_height 当前meaning的总高度
13. meaning_weight 当前meaning的总宽度
Rename mask level and index.
2025-02-21 15:33:37 +08:00
14. val_mask_level val_mask_idx: 表示用于训练的token的mask,val_mask_level=[0, 1, 2] val_mask_idx=[0, 0, -1]表示只有是第0层第0个,而且是第1层第0个,第2层最后一个的token,才参与训练
Add stride support in meaning_dataset.
2025-08-07 17:36:43 +08:00
15. with_tree 表示每个meaning的拆分都以当前meaning编号结束，sequence会插入很多枝节点，而不仅仅是叶节点
16. ms_level 大于255表示这个token是tree（level 0用255表示），大于511表示这个token是stride（level 0用511表示），生成val mask的时候是False
Add parent support in meaning_dataset.
2025-08-04 16:10:46 +08:00
17. ms_map 表示每个meaning拆解的sub meaning
18. index must < 15，level must < 8
Update meaning dataset.
2024-04-10 00:34:47 +08:00
Add meaning dataset get_relation_table support and paint to qk image.
2025-06-25 20:13:48 +08:00
## code
```
vocab = config.model_config.vocab_size
start 数据集的样本开始meaning
size 数据集的样本个数
```
Refine meaning dataset.
2024-04-07 00:25:21 +08:00
```
vocab_size = 256 meaning = 115200
115200
/ | \
10240 1100 12322
/ | \ / \ / | \
512 32 1201 245 233 3214 532 324
/ \ / \ / \ | / \
123 42 320 500 1231 23 324 93 176
/ \ / \ / \ / \
176 11 255 129 129 99 211 111
Add meaning dataset get_relation_table support and paint to qk image.
2025-06-25 20:13:48 +08:00
sequence = 123 42 32 176 11 255 129 245 233 129 99 23 211 111 93 176
level = 3 3 2 4 4 4 4 2 2 4 4 3 4 4 3 3
rank_idx = 0 1 1 0 1 16 17 16 17 0 1 2 0 1 32 33
idx at0 = 0 1 1 0 1 0 1 0 1 0 1 2 0 1 0 1
idx at1 = 0 0 0 0 0 1 1 1 1 0 0 0 0 0 2 2
Update more.
2024-07-31 22:04:01 +08:00
Add meaning dataset get_relation_table support and paint to qk image.
2025-06-25 20:13:48 +08:00
rank_all =
Refine meaning dataset.
2024-04-07 00:25:21 +08:00
Update document.
2024-04-14 17:41:30 +08:00
```
Refine get_nodetree to support stride and tree tokens.
2025-08-18 11:17:35 +08:00
## Demo Meaning tree
```
90800
├── 17100
│ ├── 3078
│ │ ├── 153
│ │ │ ├── <25>
│ │ │ ├── 34
│ │ │ │ ├── <11> ERR_18
│ │ │ │ └── <0> ERR_7
│ │ │ ├── 39
│ │ │ │ ├── <3>
│ │ │ │ └── <7>
│ │ │ ├── <15>
│ │ │ └── 37
│ │ │ ├── <8>
│ │ │ ├── <10>
│ │ │ └── <7>
│ │ ├── 848
│ │ │ ├── 212
│ │ │ │ ├── 53
│ │ │ │ │ ├── <14> ERR_21
│ │ │ │ │ └── <13> ERR_14
│ │ │ │ └── 60
│ │ │ │ ├── <1>
│ │ │ │ ├── <12>
│ │ │ │ └── <13>
│ │ │ └── 124
│ │ │ ├── <12>
│ │ │ ├── <13>
│ │ │ ├── <24>
│ │ │ └── 32
│ │ │ ├── <5>
│ │ │ ├── <8>
│ │ │ ├── <8>
│ │ │ ├── <7>
│ │ │ └── <1>
│ │ └── 299
│ │ ├── 66
│ │ │ ├── <18>
│ │ │ ├── 38
│ │ │ │ ├── <1>
│ │ │ │ ├── <11>
│ │ │ │ ├── <11>
│ │ │ │ ├── <8>
│ │ │ │ └── <4>
│ │ │ ├── <0>
│ │ │ ├── <5>
│ │ │ └── <2>
│ │ ├── 61
│ │ │ ├── <20>
│ │ │ ├── <10>
│ │ │ ├── <6>
│ │ │ └── <16>
│ │ ├── 46
│ │ │ ├── <14>
│ │ │ └── <9>
│ │ └── 37
│ │ ├── <8>
│ │ ├── <10>
│ │ └── <7>
│ ├── 5586
│ │ ├── 1123
│ │ │ ├── 348
│ │ │ │ ├── 104
│ │ │ │ │ ├── <17>
│ │ │ │ │ ├── <10>
│ │ │ │ │ ├── <27>
│ │ │ │ │ └── <24>
│ │ │ │ ├── 92
│ │ │ │ │ ├── <3>
│ │ │ │ │ └── <19>
│ │ │ │ └── 97
│ │ │ │ ├── <28>
│ │ │ │ ├── <1>
│ │ │ │ └── <8>
│ │ │ ├── 364
│ │ │ │ ├── <31>
│ │ │ │ └── <18>
│ │ │ ├── 101
│ │ │ │ ├── <4>
│ │ │ │ ├── <25>
│ │ │ │ ├── <23>
│ │ │ │ └── <26>
│ │ │ └── 228
│ │ │ ├── 70
│ │ │ │ ├── <15>
│ │ │ │ ├── <26>
│ │ │ │ ├── <20>
│ │ │ │ └── <5>
│ │ │ ├── <29>
│ │ │ └── 57
│ │ │ ├── <1>
│ │ │ ├── <13>
│ │ │ ├── <16>
│ │ │ ├── <8>
│ │ │ └── <17>
│ │ ├── 446
│ │ │ ├── 103
│ │ │ │ ├── <1>
│ │ │ │ └── <16>
│ │ │ └── <6>
│ │ └── 1243
│ │ ├── 540
│ │ │ ├── 116
│ │ │ │ ├── <18>
│ │ │ │ └── 39
│ │ │ │ ├── <3>
│ │ │ │ └── <7>
│ │ │ ├── 218
│ │ │ │ ├── 69
│ │ │ │ │ ├── <18>
│ │ │ │ │ ├── <19>
│ │ │ │ │ ├── <1>
│ │ │ │ │ ├── <11>
│ │ │ │ │ └── <18>
│ │ │ │ └── 48
│ │ │ │ ├── <14>
│ │ │ │ ├── <14>
│ │ │ │ └── <13>
│ │ │ ├── <28>
│ │ │ ├── <3>
│ │ │ └── 172
│ │ │ ├── 51
│ │ │ │ ├── <9>
│ │ │ │ └── <16>
│ │ │ └── <30>
│ │ └── 103
│ │ ├── <1>
│ │ └── <16>
│ ├── 2204
│ │ ├── 596
│ │ │ ├── 95
│ │ │ │ ├── <30>
│ │ │ │ ├── <2>
│ │ │ │ ├── <16>
│ │ │ │ └── <29>
│ │ │ ├── 51
│ │ │ │ ├── <9>
│ │ │ │ └── <16>
│ │ │ └── 153
│ │ │ ├── <25>
│ │ │ ├── 34
│ │ │ │ ├── <11>
│ │ │ │ └── <0>
│ │ │ ├── 39
│ │ │ │ ├── <3>
│ │ │ │ └── <7>
│ │ │ ├── <15>
│ │ │ └── 37
│ │ │ ├── <8>
│ │ │ ├── <10>
│ │ │ └── <7>
│ │ └── 35
│ │ ├── <2>
│ │ ├── <10>
│ │ └── <5>
│ ├── 2745
│ │ ├── 830
│ │ │ ├── 68
│ │ │ │ ├── <16>
│ │ │ │ ├── <16>
│ │ │ │ ├── <5>
│ │ │ │ ├── <14>
│ │ │ │ └── <13>
│ │ │ ├── <0>
│ │ │ ├── 410
│ │ │ │ ├── 64
│ │ │ │ │ ├── <11>
│ │ │ │ │ └── <14>
│ │ │ │ ├── 68
│ │ │ │ │ ├── <16>
│ │ │ │ │ ├── <16>
│ │ │ │ │ ├── <5>
│ │ │ │ │ ├── <14>
│ │ │ │ │ └── <13>
│ │ │ │ └── <23>
│ │ │ └── 205
│ │ │ ├── <29>
│ │ │ ├── 53
│ │ │ │ ├── <14>
│ │ │ │ └── <13>
│ │ │ └── 52
│ │ │ ├── <10>
│ │ │ └── <16>
│ │ ├── 862
│ │ │ ├── 74
│ │ │ │ ├── <7>
│ │ │ │ ├── <1>
│ │ │ │ ├── <7>
│ │ │ │ └── 52
│ │ │ │ ├── <10>
│ │ │ │ └── <16>
│ │ │ ├── 254
│ │ │ │ ├── 61
│ │ │ │ │ ├── <20>
│ │ │ │ │ ├── <10>
│ │ │ │ │ ├── <6>
│ │ │ │ │ └── <16>
│ │ │ │ ├── 76
│ │ │ │ │ ├── <2>
│ │ │ │ │ ├── <17>
│ │ │ │ │ ├── <15>
│ │ │ │ │ └── <21>
│ │ │ │ ├── 69
│ │ │ │ │ ├── <18>
│ │ │ │ │ ├── <19>
│ │ │ │ │ ├── <1>
│ │ │ │ │ ├── <11>
│ │ │ │ │ └── <18>
│ │ │ │ └── <3>
│ │ │ └── 33
│ │ │ ├── <13>
│ │ │ ├── <5>
│ │ │ ├── <3>
│ │ │ ├── <0>
│ │ │ └── <9>
│ │ ├── 703
│ │ │ ├── 390
│ │ │ │ ├── <13>
│ │ │ │ └── 32
│ │ │ │ ├── <5>
│ │ │ │ ├── <8>
│ │ │ │ ├── <8>
│ │ │ │ ├── <7>
│ │ │ │ └── <1>
│ │ │ ├── 35
│ │ │ │ ├── <2>
│ │ │ │ ├── <10>
│ │ │ │ └── <5>
│ │ │ ├── 160
│ │ │ │ ├── 45
│ │ │ │ │ ├── <3>
│ │ │ │ │ └── <13>
│ │ │ │ ├── <9>
│ │ │ │ ├── 37
│ │ │ │ │ ├── <8>
│ │ │ │ │ ├── <10>
│ │ │ │ │ └── <7>
│ │ │ │ ├── 39
│ │ │ │ │ ├── <3>
│ │ │ │ │ └── <7>
│ │ │ │ └── <27>
│ │ │ ├── <29>
│ │ │ └── 87
│ │ │ ├── <25>
│ │ │ ├── <2>
│ │ │ ├── <30>
│ │ │ ├── <25>
│ │ │ └── <2>
│ │ └── 163
│ │ ├── 44
│ │ │ ├── <14>
│ │ │ ├── <12>
│ │ │ ├── <2>
│ │ │ ├── <8>
│ │ │ └── <5>
│ │ ├── 50
│ │ │ ├── <7>
│ │ │ ├── <9>
│ │ │ ├── <21>
│ │ │ └── <7>
│ │ ├── 34
│ │ │ ├── <11>
│ │ │ └── <0>
│ │ ├── <4>
│ │ └── <28>
│ └── 3484
│ ├── 1170
│ │ ├── 58
│ │ │ ├── <1>
│ │ │ ├── <1>
│ │ │ ├── 34
│ │ │ │ ├── <11>
│ │ │ │ └── <0>
│ │ │ └── <15>
│ │ └── 346
│ │ ├── 52
│ │ │ ├── <10>
│ │ │ └── <16>
│ │ ├── 107
│ │ │ ├── 38
│ │ │ │ ├── <1>
│ │ │ │ ├── <11>
│ │ │ │ ├── <11>
│ │ │ │ ├── <8>
│ │ │ │ └── <4>
│ │ │ ├── 34
│ │ │ │ ├── <11>
│ │ │ │ └── <0>
│ │ │ └── <10>
│ │ └── 90
│ │ ├── <25>
│ │ ├── <18>
│ │ ├── <13>
│ │ └── <29>
│ ├── 226
│ │ ├── 74
│ │ │ ├── <7>
│ │ │ ├── <1>
│ │ │ ├── <7>
│ │ │ └── 52
│ │ │ ├── <10>
│ │ │ └── <16>
│ │ ├── 50
│ │ │ ├── <7>
│ │ │ ├── <9>
│ │ │ ├── <21>
│ │ │ └── <7>
│ │ ├── <8>
│ │ ├── <22>
│ │ └── 70
│ │ ├── <15>
│ │ ├── <26>
│ │ ├── <20>
│ │ └── <5>
│ ├── 375
│ │ ├── 81
│ │ │ ├── <31>
│ │ │ ├── <13>
│ │ │ ├── <0>
│ │ │ └── <31>
│ │ ├── 88
│ │ │ ├── <2>
│ │ │ ├── 33
│ │ │ │ ├── <13>
│ │ │ │ ├── <5>
│ │ │ │ ├── <3>
│ │ │ │ ├── <0>
│ │ │ │ └── <9>
│ │ │ ├── <12>
│ │ │ └── <12>
│ │ └── 76
│ │ ├── <2>
│ │ ├── <17>
│ │ ├── <15>
│ │ └── <21>
│ └── 1239
│ ├── 126
│ │ ├── 32
│ │ │ ├── <5>
│ │ │ ├── <8>
│ │ │ ├── <8>
│ │ │ ├── <7>
│ │ │ └── <1>
│ │ ├── 40
│ │ │ ├── <10>
│ │ │ └── <1>
│ │ ├── <23>
│ │ ├── <24>
│ │ └── <4>
│ ├── 198
│ │ ├── 58
│ │ │ ├── <1>
│ │ │ ├── <1>
│ │ │ ├── 34
│ │ │ │ ├── <11>
│ │ │ │ └── <0>
│ │ │ └── <15>
│ │ ├── 50
│ │ │ ├── <7>
│ │ │ ├── <9>
│ │ │ ├── <21>
│ │ │ └── <7>
│ │ ├── <19>
│ │ ├── 43
│ │ │ ├── <3>
│ │ │ └── <4>
│ │ └── <26>
│ ├── 685
│ │ ├── 130
│ │ │ ├── <4>
│ │ │ ├── <29>
│ │ │ ├── <31>
│ │ │ └── 40
│ │ │ ├── <10>
│ │ │ └── <1>
│ │ ├── 118
│ │ │ ├── <7>
│ │ │ ├── 34
│ │ │ │ ├── <11>
│ │ │ │ └── <0>
│ │ │ ├── <9>
│ │ │ ├── <18>
│ │ │ └── 48
│ │ │ ├── <14>
│ │ │ ├── <14>
│ │ │ └── <13>
│ │ ├── 131
│ │ │ ├── <8>
│ │ │ ├── <18>
│ │ │ ├── <23>
│ │ │ ├── 42
│ │ │ │ ├── <8>
│ │ │ │ ├── <10>
│ │ │ │ ├── <9>
│ │ │ │ ├── <3>
│ │ │ │ └── <10>
│ │ │ └── 37
│ │ │ ├── <8>
│ │ │ ├── <10>
│ │ │ └── <7>
│ │ ├── 181
│ │ │ ├── 60
│ │ │ │ ├── <1>
│ │ │ │ ├── <12>
│ │ │ │ └── <13>
│ │ │ └── 54
│ │ │ ├── <11>
│ │ │ ├── <11>
│ │ │ └── <11>
│ │ └── 123
│ │ ├── 40
│ │ │ ├── <10>
│ │ │ └── <1>
│ │ ├── <2>
│ │ └── <12>
│ └── 170
│ ├── <5>
│ └── 59
│ ├── <13>
│ ├── <20>
│ ├── <5>
│ └── <16>
└── 28107
├── 6516
│ ├── 2059
│ │ ├── 649
│ │ │ ├── 43
│ │ │ │ ├── <3> ERR_1
│ │ │ │ └── <4> ERR_19
│ │ │ ├── 125
│ │ │ │ ├── <24> ERR_19
│ │ │ │ ├── <30>
│ │ │ │ ├── 50
│ │ │ │ │ ├── <7>
│ │ │ │ │ ├── <9>
│ │ │ │ │ ├── <21>
│ │ │ │ │ └── <7>
│ │ │ │ └── <2>
│ │ │ ├── 103
│ │ │ │ ├── <1> ERR_8
│ │ │ │ └── <16>
│ │ │ └── 218
│ │ │ ├── 69
│ │ │ │ ├── <18>
│ │ │ │ ├── <19>
│ │ │ │ ├── <1>
│ │ │ │ ├── <11>
│ │ │ │ └── <18>
│ │ │ └── 48
│ │ │ ├── <14>
│ │ │ ├── <14>
│ │ │ └── <13>
│ │ ├── 580
│ │ │ ├── 40
│ │ │ │ ├── <10> ERR_1
│ │ │ │ └── <1>
│ │ │ ├── 242
│ │ │ │ ├── 40
│ │ │ │ │ ├── <10>
│ │ │ │ │ └── <1>
│ │ │ │ └── 43
│ │ │ │ ├── <3>
│ │ │ │ └── <4>
│ │ │ └── <0>
│ │ ├── 238
│ │ │ ├── <9>
│ │ │ ├── 83
│ │ │ │ ├── <14>
│ │ │ │ ├── <9>
│ │ │ │ ├── <10>
│ │ │ │ ├── <22>
│ │ │ │ └── <25>
│ │ │ ├── 49
│ │ │ │ ├── <10>
│ │ │ │ └── <5>
│ │ │ └── 88
│ │ │ ├── <2>
│ │ │ ├── 33
│ │ │ │ ├── <13>
│ │ │ │ ├── <5>
│ │ │ │ ├── <3>
│ │ │ │ ├── <0>
│ │ │ │ └── <9>
│ │ │ ├── <12>
│ │ │ └── <12>
│ │ └── <30>
│ ├── 1006
│ │ ├── 140
│ │ │ ├── 66
│ │ │ │ ├── <18>
│ │ │ │ ├── 38
│ │ │ │ │ ├── <1>
│ │ │ │ │ ├── <11>
│ │ │ │ │ ├── <11>
│ │ │ │ │ ├── <8>
│ │ │ │ │ └── <4>
│ │ │ │ ├── <0>
│ │ │ │ ├── <5>
│ │ │ │ └── <2>
│ │ │ ├── <6>
│ │ │ ├── 42
│ │ │ │ ├── <8>
│ │ │ │ ├── <10>
│ │ │ │ ├── <9>
│ │ │ │ ├── <3>
│ │ │ │ └── <10>
│ │ │ ├── <16>
│ │ │ └── <7>
│ │ ├── 247
│ │ │ ├── <31>
│ │ │ ├── 74
│ │ │ │ ├── <7>
│ │ │ │ ├── <1>
│ │ │ │ ├── <7>
│ │ │ │ └── 52
│ │ │ │ ├── <10>
│ │ │ │ └── <16>
│ │ │ └── 40
│ │ │ ├── <10>
│ │ │ └── <1>
│ │ └── 262
│ │ ├── <7>
│ │ └── 83
│ │ ├── <14>
│ │ ├── <9>
│ │ ├── <10>
│ │ ├── <22>
│ │ └── <25>
│ └── 427
│ ├── 138
│ │ ├── <27>
│ │ ├── 36
│ │ │ ├── <4>
│ │ │ └── <1>
│ │ ├── 43
│ │ │ ├── <3>
│ │ │ └── <4>
│ │ ├── <20>
│ │ └── <9>
│ ├── <12>
│ ├── 113
│ │ ├── <24>
│ │ ├── <16>
│ │ ├── <18>
│ │ └── 38
│ │ ├── <1>
│ │ ├── <11>
│ │ ├── <11>
│ │ ├── <8>
│ │ └── <4>
│ └── <29>
├── 6652
│ ├── 539
│ │ ├── 91
│ │ │ ├── 39
│ │ │ │ ├── <3> ERR_25
│ │ │ │ └── <7>
│ │ │ ├── <0>
│ │ │ ├── 37
│ │ │ │ ├── <8>
│ │ │ │ ├── <10>
│ │ │ │ └── <7>
│ │ │ ├── <4>
│ │ │ └── <9>
│ │ ├── 119
│ │ │ ├── 36
│ │ │ │ ├── <4>
│ │ │ │ └── <1>
│ │ │ ├── 51
│ │ │ │ ├── <9>
│ │ │ │ └── <16>
│ │ │ ├── <13>
│ │ │ ├── <14>
│ │ │ └── <3>
│ │ └── 55
│ │ ├── <8>
│ │ ├── <12>
│ │ ├── <10>
│ │ ├── <11>
│ │ └── <12>
│ ├── 2548
│ │ ├── 602
│ │ │ ├── 156
│ │ │ │ ├── 53
│ │ │ │ │ ├── <14>
│ │ │ │ │ └── <13>
│ │ │ │ ├── 42
│ │ │ │ │ ├── <8>
│ │ │ │ │ ├── <10>
│ │ │ │ │ ├── <9>
│ │ │ │ │ ├── <3>
│ │ │ │ │ └── <10>
│ │ │ │ └── <19>
│ │ │ └── 81
│ │ │ ├── <31>
│ │ │ ├── <13>
│ │ │ ├── <0>
│ │ │ └── <31>
│ │ ├── 526
│ │ │ ├── 149
│ │ │ │ ├── 39
│ │ │ │ │ ├── <3>
│ │ │ │ │ └── <7>
│ │ │ │ ├── <17>
│ │ │ │ ├── <24>
│ │ │ │ └── 40
│ │ │ │ ├── <10>
│ │ │ │ └── <1>
│ │ │ ├── 166
│ │ │ │ ├── <24>
│ │ │ │ └── 50
│ │ │ │ ├── <7>
│ │ │ │ ├── <9>
│ │ │ │ ├── <21>
│ │ │ │ └── <7>
│ │ │ ├── <1>
│ │ │ ├── 39
│ │ │ │ ├── <3>
│ │ │ │ └── <7>
│ │ │ └── 168
│ │ │ ├── <1>
│ │ │ ├── 56
│ │ │ │ ├── <21>
│ │ │ │ ├── <8>
│ │ │ │ ├── <9>
│ │ │ │ ├── <2>
│ │ │ │ └── <14>
│ │ │ ├── <15>
│ │ │ └── 82
│ │ │ ├── <7>
│ │ │ └── <22>
│ │ ├── 441
│ │ │ ├── 124
│ │ │ │ ├── <12>
│ │ │ │ ├── <13>
│ │ │ │ ├── <24>
│ │ │ │ └── 32
│ │ │ │ ├── <5>
│ │ │ │ ├── <8>
│ │ │ │ ├── <8>
│ │ │ │ ├── <7>
│ │ │ │ └── <1>
│ │ │ ├── 37
│ │ │ │ ├── <8>
│ │ │ │ ├── <10>
│ │ │ │ └── <7>
│ │ │ └── 116
│ │ │ ├── <18>
│ │ │ └── 39
│ │ │ ├── <3>
│ │ │ └── <7>
│ │ └── 168
│ │ ├── <1>
│ │ ├── 56
│ │ │ ├── <21>
│ │ │ ├── <8>
│ │ │ ├── <9>
│ │ │ ├── <2>
│ │ │ └── <14>
│ │ ├── <15>
│ │ └── 82
│ │ ├── <7>
│ │ └── <22>
│ ├── 553
│ │ ├── 182
│ │ │ ├── 43
│ │ │ │ ├── <3>
│ │ │ │ └── <4>
│ │ │ └── <19>
│ │ ├── 100
│ │ │ ├── <22>
│ │ │ └── <17>
│ │ └── 45
│ │ ├── <3>
│ │ └── <13>
│ └── 2045
│ ├── 446
│ │ ├── 103
│ │ │ ├── <1>
│ │ │ └── <16>
│ │ └── <6>
│ ├── 578
│ │ ├── 73
│ │ │ ├── <11>
│ │ │ ├── <27>
│ │ │ ├── <26>
│ │ │ └── <5>
│ │ ├── 154
│ │ │ ├── <7>
│ │ │ ├── 57
│ │ │ │ ├── <1>
│ │ │ │ ├── <13>
│ │ │ │ ├── <16>
│ │ │ │ ├── <8>
│ │ │ │ └── <17>
│ │ │ ├── <8>
│ │ │ └── <26>
│ │ └── 171
│ │ ├── <24>
│ │ ├── <4>
│ │ └── 60
│ │ ├── <1>
│ │ ├── <12>
│ │ └── <13>
│ ├── 646
│ │ ├── 184
│ │ │ ├── 45
│ │ │ │ ├── <3>
│ │ │ │ └── <13>
│ │ │ ├── <25>
│ │ │ └── 47
│ │ │ ├── <18>
│ │ │ ├── <7>
│ │ │ ├── <0>
│ │ │ └── <16>
│ │ ├── 215
│ │ │ ├── 34
│ │ │ │ ├── <11>
│ │ │ │ └── <0>
│ │ │ ├── <31>
│ │ │ ├── 54
│ │ │ │ ├── <11>
│ │ │ │ ├── <11>
│ │ │ │ └── <11>
│ │ │ └── <17>
│ │ ├── 87
│ │ │ ├── <25>
│ │ │ ├── <2>
│ │ │ ├── <30>
│ │ │ ├── <25>
│ │ │ └── <2>
│ │ ├── <20>
│ │ └── 138
│ │ ├── <27>
│ │ ├── 36
│ │ │ ├── <4>
│ │ │ └── <1>
│ │ ├── 43
│ │ │ ├── <3>
│ │ │ └── <4>
│ │ ├── <20>
│ │ └── <9>
│ └── 158
│ ├── <12>
│ ├── 49
│ │ ├── <10>
│ │ └── <5>
│ └── 42
│ ├── <8>
│ ├── <10>
│ ├── <9>
│ ├── <3>
│ └── <10>
├── 3793
│ ├── 454
│ │ ├── <18> ERR_20
│ │ └── 67
│ │ ├── <1>
│ │ ├── <26> ERR_11
│ │ └── <21>
│ ├── 58
│ │ ├── <1>
│ │ ├── <1>
│ │ ├── 34
│ │ │ ├── <11>
│ │ │ └── <0>
│ │ └── <15>
│ ├── 565
│ │ ├── 224
│ │ │ ├── 47
│ │ │ │ ├── <18>
│ │ │ │ ├── <7> ERR_19
│ │ │ │ ├── <0>
│ │ │ │ └── <16>
│ │ │ ├── 51
│ │ │ │ ├── <9>
│ │ │ │ └── <16>
│ │ │ ├── 46
│ │ │ │ ├── <14>
│ │ │ │ └── <9>
│ │ │ └── 43
│ │ │ ├── <3>
│ │ │ └── <4>
│ │ ├── 193
│ │ │ ├── <28>
│ │ │ └── 57
│ │ │ ├── <1>
│ │ │ ├── <13>
│ │ │ ├── <16>
│ │ │ ├── <8>
│ │ │ └── <17>
│ │ ├── <25>
│ │ ├── 113
│ │ │ ├── <24>
│ │ │ ├── <16>
│ │ │ ├── <18>
│ │ │ └── 38
│ │ │ ├── <1>
│ │ │ ├── <11>
│ │ │ ├── <11>
│ │ │ ├── <8>
│ │ │ └── <4>
│ │ └── <7>
│ └── 1430
│ ├── 367
│ │ ├── 105
│ │ │ ├── <23>
│ │ │ ├── <20>
│ │ │ ├── <13>
│ │ │ └── <2>
│ │ ├── <20>
│ │ ├── 54
│ │ │ ├── <11>
│ │ │ ├── <11>
│ │ │ └── <11>
│ │ └── 149
│ │ ├── 39
│ │ │ ├── <3>
│ │ │ └── <7>
│ │ ├── <17>
│ │ ├── <24>
│ │ └── 40
│ │ ├── <10>
│ │ └── <1>
│ └── 49
│ ├── <10>
│ └── <5>
├── 6467
│ ├── 1871
│ │ ├── 443
│ │ │ ├── 56
│ │ │ │ ├── <21> ERR_0
│ │ │ │ ├── <8>
│ │ │ │ ├── <9>
│ │ │ │ ├── <2>
│ │ │ │ └── <14>
│ │ │ ├── 153
│ │ │ │ ├── <25> ERR_14
│ │ │ │ ├── 34
│ │ │ │ │ ├── <11>
│ │ │ │ │ └── <0>
│ │ │ │ ├── 39
│ │ │ │ │ ├── <3>
│ │ │ │ │ └── <7>
│ │ │ │ ├── <15>
│ │ │ │ └── 37
│ │ │ │ ├── <8>
│ │ │ │ ├── <10>
│ │ │ │ └── <7>
│ │ │ └── 51
│ │ │ ├── <9>
│ │ │ └── <16>
│ │ ├── 469
│ │ │ ├── 135
│ │ │ │ ├── 39
│ │ │ │ │ ├── <3>
│ │ │ │ │ └── <7>
│ │ │ │ └── <4>
│ │ │ ├── 137
│ │ │ │ ├── 32
│ │ │ │ │ ├── <5>
│ │ │ │ │ ├── <8>
│ │ │ │ │ ├── <8>
│ │ │ │ │ ├── <7>
│ │ │ │ │ └── <1>
│ │ │ │ ├── 33
│ │ │ │ │ ├── <13>
│ │ │ │ │ ├── <5>
│ │ │ │ │ ├── <3>
│ │ │ │ │ ├── <0>
│ │ │ │ │ └── <9>
│ │ │ │ ├── <16>
│ │ │ │ └── 44
│ │ │ │ ├── <14>
│ │ │ │ ├── <12>
│ │ │ │ ├── <2>
│ │ │ │ ├── <8>
│ │ │ │ └── <5>
│ │ │ └── 73
│ │ │ ├── <11>
│ │ │ ├── <27>
│ │ │ ├── <26>
│ │ │ └── <5>
│ │ └── 91
│ │ ├── 39
│ │ │ ├── <3>
│ │ │ └── <7>
│ │ ├── <0>
│ │ ├── 37
│ │ │ ├── <8>
│ │ │ ├── <10>
│ │ │ └── <7>
│ │ ├── <4>
│ │ └── <9>
│ └── 1661
│ ├── 203
│ │ ├── 71
│ │ │ ├── <16>
│ │ │ └── <0>
│ │ ├── <13>
│ │ ├── 43
│ │ │ ├── <3>
│ │ │ └── <4>
│ │ ├── 70
│ │ │ ├── <15>
│ │ │ ├── <26>
│ │ │ ├── <20>
│ │ │ └── <5>
│ │ └── <2>
│ ├── 180
│ │ ├── <26>
│ │ ├── <3>
│ │ ├── <22>
│ │ ├── 73
│ │ │ ├── <11>
│ │ │ ├── <27>
│ │ │ ├── <26>
│ │ │ └── <5>
│ │ └── 53
│ │ ├── <14>
│ │ └── <13>
│ ├── 341
│ │ ├── <16>
│ │ ├── 97
│ │ │ ├── <28>
│ │ │ ├── <1>
│ │ │ └── <8>
│ │ ├── 33
│ │ │ ├── <13>
│ │ │ ├── <5>
│ │ │ ├── <3>
│ │ │ ├── <0>
│ │ │ └── <9>
│ │ └── 94
│ │ ├── <0>
│ │ ├── 37
│ │ │ ├── <8>
│ │ │ ├── <10>
│ │ │ └── <7>
│ │ └── <1>
│ ├── 422
│ │ ├── <28>
│ │ ├── 41
│ │ │ ├── <0>
│ │ │ ├── <4>
│ │ │ ├── <28>
│ │ │ ├── <0>
│ │ │ └── <7>
│ │ ├── 37
│ │ │ ├── <8>
│ │ │ ├── <10>
│ │ │ └── <7>
│ │ └── 181
│ │ ├── 60
│ │ │ ├── <1>
│ │ │ ├── <12>
│ │ │ └── <13>
│ │ └── 54
│ │ ├── <11>
│ │ ├── <11>
│ │ └── <11>
│ └── 513
│ ├── 59
│ │ ├── <13>
│ │ ├── <20>
│ │ ├── <5>
│ │ └── <16>
│ └── 46
│ ├── <14>
│ └── <9>
└── 4676
├── 955
│ ├── 490
│ │ ├── 48
│ │ │ ├── <14> ERR_18
│ │ │ ├── <14>
│ │ │ └── <13>
│ │ └── 173
│ │ ├── 35
│ │ │ ├── <2>
│ │ │ ├── <10>
│ │ │ └── <5>
│ │ ├── <9>
│ │ └── <11>
│ ├── <0>
│ ├── 182
│ │ ├── 43
│ │ │ ├── <3>
│ │ │ └── <4>
│ │ └── <19>
│ ├── 142
│ │ ├── 41
│ │ │ ├── <0>
│ │ │ ├── <4>
│ │ │ ├── <28>
│ │ │ ├── <0>
│ │ │ └── <7>
│ │ ├── 32
│ │ │ ├── <5>
│ │ │ ├── <8>
│ │ │ ├── <8>
│ │ │ ├── <7>
│ │ │ └── <1>
│ │ └── <25>
│ └── 138
│ ├── <27>
│ ├── 36
│ │ ├── <4>
│ │ └── <1>
│ ├── 43
│ │ ├── <3>
│ │ └── <4>
│ ├── <20>
│ └── <9>
└── 615
├── 176
│ ├── <22>
│ ├── 64
│ │ ├── <11>
│ │ └── <14>
│ ├── <1>
│ └── <10>
├── 192
│ ├── <9>
│ ├── 71
│ │ ├── <16>
│ │ └── <0>
│ ├── <29>
│ ├── 46
│ │ ├── <14>
│ │ └── <9>
│ └── 34
│ ├── <11>
│ └── <0>
├── <21>
└── <31>
```