From 085bd92fb9ac05522a57df89b5029b1f14113ba6 Mon Sep 17 00:00:00 2001 From: Colin <> Date: Mon, 18 Aug 2025 11:17:35 +0800 Subject: [PATCH] Refine get_nodetree to support stride and tree tokens. --- wit/Untitled-1.ini | 1036 ------------------------------- wit/doc/meaning_dataset.md | 1041 ++++++++++++++++++++++++++++++++ wit/meaning/meaning_dataset.py | 25 +- wit/query_block_output.py | 10 +- 4 files changed, 1064 insertions(+), 1048 deletions(-) delete mode 100644 wit/Untitled-1.ini diff --git a/wit/Untitled-1.ini b/wit/Untitled-1.ini deleted file mode 100644 index e7ad9af..0000000 --- a/wit/Untitled-1.ini +++ /dev/null @@ -1,1036 +0,0 @@ -90800 -├── 17100 -│ ├── 3078 -│ │ ├── 153 -│ │ │ ├── <25> -│ │ │ ├── 34 -│ │ │ │ ├── <11> ERR_18 -│ │ │ │ └── <0> ERR_7 -│ │ │ ├── 39 -│ │ │ │ ├── <3> -│ │ │ │ └── <7> -│ │ │ ├── <15> -│ │ │ └── 37 -│ │ │ ├── <8> -│ │ │ ├── <10> -│ │ │ └── <7> -│ │ ├── 848 -│ │ │ ├── 212 -│ │ │ │ ├── 53 -│ │ │ │ │ ├── <14> ERR_3 -│ │ │ │ │ └── <13> ERR_14 -│ │ │ │ └── 60 -│ │ │ │ ├── <1> -│ │ │ │ ├── <12> -│ │ │ │ └── <13> -│ │ │ └── 124 -│ │ │ ├── <12> -│ │ │ ├── <13> -│ │ │ ├── <24> -│ │ │ └── 32 -│ │ │ ├── <5> -│ │ │ ├── <8> -│ │ │ ├── <8> -│ │ │ ├── <7> -│ │ │ └── <1> -│ │ └── 299 -│ │ ├── 66 -│ │ │ ├── <18> -│ │ │ ├── 38 -│ │ │ │ ├── <1> -│ │ │ │ ├── <11> -│ │ │ │ ├── <11> -│ │ │ │ ├── <8> -│ │ │ │ └── <4> -│ │ │ ├── <0> -│ │ │ ├── <5> -│ │ │ └── <2> -│ │ ├── 61 -│ │ │ ├── <20> -│ │ │ ├── <10> -│ │ │ ├── <6> -│ │ │ └── <16> -│ │ ├── 46 -│ │ │ ├── <14> -│ │ │ └── <9> -│ │ └── 37 -│ │ ├── <8> -│ │ ├── <10> -│ │ └── <7> -│ ├── 5586 -│ │ ├── 1123 -│ │ │ ├── 348 -│ │ │ │ ├── 104 -│ │ │ │ │ ├── <17> ERR_13 -│ │ │ │ │ ├── <10> -│ │ │ │ │ ├── <27> -│ │ │ │ │ └── <24> -│ │ │ │ ├── 92 -│ │ │ │ │ ├── <3> -│ │ │ │ │ └── <19> -│ │ │ │ └── 97 -│ │ │ │ ├── <28> -│ │ │ │ ├── <1> -│ │ │ │ └── <8> -│ │ │ ├── 364 -│ │ │ │ ├── <31> ERR_10 -│ │ │ │ └── <18> -│ │ │ ├── 101 -│ │ │ │ ├── <4> -│ │ │ │ ├── <25> -│ │ │ │ ├── <23> -│ │ │ │ └── <26> -│ │ │ └── 228 -│ │ │ ├── 70 -│ │ │ │ ├── <15> -│ │ │ │ ├── <26> -│ │ │ │ ├── <20> -│ │ │ │ └── <5> -│ │ │ ├── <29> -│ │ │ └── 57 -│ │ │ ├── <1> -│ │ │ ├── <13> -│ │ │ ├── <16> -│ │ │ ├── <8> -│ │ │ └── <17> -│ │ ├── 446 -│ │ │ ├── 103 -│ │ │ │ ├── <1> -│ │ │ │ └── <16> -│ │ │ └── <6> ERR_22 -│ │ └── 1243 -│ │ ├── 540 -│ │ │ ├── 116 -│ │ │ │ ├── <18> -│ │ │ │ └── 39 -│ │ │ │ ├── <3> -│ │ │ │ └── <7> -│ │ │ ├── 218 -│ │ │ │ ├── 69 -│ │ │ │ │ ├── <18> -│ │ │ │ │ ├── <19> -│ │ │ │ │ ├── <1> -│ │ │ │ │ ├── <11> -│ │ │ │ │ └── <18> -│ │ │ │ └── 48 -│ │ │ │ ├── <14> -│ │ │ │ ├── <14> -│ │ │ │ └── <13> -│ │ │ ├── <28> -│ │ │ ├── <3> -│ │ │ └── 172 -│ │ │ ├── 51 -│ │ │ │ ├── <9> -│ │ │ │ └── <16> -│ │ │ └── <30> -│ │ └── 103 -│ │ ├── <1> -│ │ └── <16> -│ ├── 2204 -│ │ ├── 596 -│ │ │ ├── 95 -│ │ │ │ ├── <30> ERR_4 -│ │ │ │ ├── <2> -│ │ │ │ ├── <16> ERR_10 -│ │ │ │ └── <29> -│ │ │ ├── 51 -│ │ │ │ ├── <9> -│ │ │ │ └── <16> -│ │ │ └── 153 -│ │ │ ├── <25> -│ │ │ ├── 34 -│ │ │ │ ├── <11> -│ │ │ │ └── <0> -│ │ │ ├── 39 -│ │ │ │ ├── <3> -│ │ │ │ └── <7> -│ │ │ ├── <15> -│ │ │ └── 37 -│ │ │ ├── <8> -│ │ │ ├── <10> -│ │ │ └── <7> -│ │ └── 35 -│ │ ├── <2> ERR_15 -│ │ ├── <10> -│ │ └── <5> -│ ├── 2745 -│ │ ├── 830 -│ │ │ ├── 68 -│ │ │ │ ├── <16> -│ │ │ │ ├── <16> ERR_5 -│ │ │ │ ├── <5> -│ │ │ │ ├── <14> -│ │ │ │ └── <13> -│ │ │ ├── <0> -│ │ │ ├── 410 -│ │ │ │ ├── 64 -│ │ │ │ │ ├── <11> -│ │ │ │ │ └── <14> -│ │ │ │ ├── 68 -│ │ │ │ │ ├── <16> -│ │ │ │ │ ├── <16> -│ │ │ │ │ ├── <5> -│ │ │ │ │ ├── <14> -│ │ │ │ │ └── <13> -│ │ │ │ └── <23> -│ │ │ └── 205 -│ │ │ ├── <29> -│ │ │ ├── 53 -│ │ │ │ ├── <14> -│ │ │ │ └── <13> -│ │ │ └── 52 -│ │ │ ├── <10> -│ │ │ └── <16> -│ │ ├── 862 -│ │ │ ├── 74 -│ │ │ │ ├── <7> ERR_16 -│ │ │ │ ├── <1> -│ │ │ │ ├── <7> -│ │ │ │ └── 52 -│ │ │ │ ├── <10> -│ │ │ │ └── <16> -│ │ │ ├── 254 -│ │ │ │ ├── 61 -│ │ │ │ │ ├── <20> -│ │ │ │ │ ├── <10> -│ │ │ │ │ ├── <6> -│ │ │ │ │ └── <16> -│ │ │ │ ├── 76 -│ │ │ │ │ ├── <2> -│ │ │ │ │ ├── <17> -│ │ │ │ │ ├── <15> -│ │ │ │ │ └── <21> -│ │ │ │ ├── 69 -│ │ │ │ │ ├── <18> -│ │ │ │ │ ├── <19> -│ │ │ │ │ ├── <1> -│ │ │ │ │ ├── <11> -│ │ │ │ │ └── <18> -│ │ │ │ └── <3> -│ │ │ └── 33 -│ │ │ ├── <13> -│ │ │ ├── <5> -│ │ │ ├── <3> -│ │ │ ├── <0> -│ │ │ └── <9> -│ │ ├── 703 -│ │ │ ├── 390 -│ │ │ │ ├── <13> -│ │ │ │ └── 32 -│ │ │ │ ├── <5> -│ │ │ │ ├── <8> -│ │ │ │ ├── <8> -│ │ │ │ ├── <7> -│ │ │ │ └── <1> -│ │ │ ├── 35 -│ │ │ │ ├── <2> -│ │ │ │ ├── <10> -│ │ │ │ └── <5> -│ │ │ ├── 160 -│ │ │ │ ├── 45 -│ │ │ │ │ ├── <3> -│ │ │ │ │ └── <13> -│ │ │ │ ├── <9> -│ │ │ │ ├── 37 -│ │ │ │ │ ├── <8> -│ │ │ │ │ ├── <10> -│ │ │ │ │ └── <7> -│ │ │ │ ├── 39 -│ │ │ │ │ ├── <3> -│ │ │ │ │ └── <7> -│ │ │ │ └── <27> -│ │ │ ├── <29> -│ │ │ └── 87 -│ │ │ ├── <25> -│ │ │ ├── <2> -│ │ │ ├── <30> -│ │ │ ├── <25> -│ │ │ └── <2> -│ │ └── 163 -│ │ ├── 44 -│ │ │ ├── <14> -│ │ │ ├── <12> -│ │ │ ├── <2> -│ │ │ ├── <8> -│ │ │ └── <5> -│ │ ├── 50 -│ │ │ ├── <7> -│ │ │ ├── <9> -│ │ │ ├── <21> -│ │ │ └── <7> -│ │ ├── 34 -│ │ │ ├── <11> -│ │ │ └── <0> -│ │ ├── <4> -│ │ └── <28> -│ └── 3484 -│ ├── 1170 -│ │ ├── 58 -│ │ │ ├── <1> ERR_3 -│ │ │ ├── <1> ERR_26 -│ │ │ ├── 34 -│ │ │ │ ├── <11> -│ │ │ │ └── <0> -│ │ │ └── <15> -│ │ └── 346 -│ │ ├── 52 -│ │ │ ├── <10> -│ │ │ └── <16> -│ │ ├── 107 -│ │ │ ├── 38 -│ │ │ │ ├── <1> -│ │ │ │ ├── <11> -│ │ │ │ ├── <11> -│ │ │ │ ├── <8> -│ │ │ │ └── <4> -│ │ │ ├── 34 -│ │ │ │ ├── <11> -│ │ │ │ └── <0> -│ │ │ └── <10> -│ │ └── 90 -│ │ ├── <25> -│ │ ├── <18> -│ │ ├── <13> -│ │ └── <29> -│ ├── 226 -│ │ ├── 74 -│ │ │ ├── <7> ERR_3 -│ │ │ ├── <1> -│ │ │ ├── <7> -│ │ │ └── 52 -│ │ │ ├── <10> -│ │ │ └── <16> -│ │ ├── 50 -│ │ │ ├── <7> -│ │ │ ├── <9> -│ │ │ ├── <21> -│ │ │ └── <7> -│ │ ├── <8> -│ │ ├── <22> -│ │ └── 70 -│ │ ├── <15> -│ │ ├── <26> -│ │ ├── <20> -│ │ └── <5> -│ ├── 375 -│ │ ├── 81 -│ │ │ ├── <31> -│ │ │ ├── <13> -│ │ │ ├── <0> -│ │ │ └── <31> -│ │ ├── 88 -│ │ │ ├── <2> -│ │ │ ├── 33 -│ │ │ │ ├── <13> -│ │ │ │ ├── <5> -│ │ │ │ ├── <3> -│ │ │ │ ├── <0> -│ │ │ │ └── <9> -│ │ │ ├── <12> -│ │ │ └── <12> -│ │ └── 76 -│ │ ├── <2> -│ │ ├── <17> -│ │ ├── <15> -│ │ └── <21> -│ └── 1239 -│ ├── 126 -│ │ ├── 32 -│ │ │ ├── <5> -│ │ │ ├── <8> -│ │ │ ├── <8> -│ │ │ ├── <7> -│ │ │ └── <1> -│ │ ├── 40 -│ │ │ ├── <10> -│ │ │ └── <1> -│ │ ├── <23> -│ │ ├── <24> -│ │ └── <4> -│ ├── 198 -│ │ ├── 58 -│ │ │ ├── <1> -│ │ │ ├── <1> -│ │ │ ├── 34 -│ │ │ │ ├── <11> -│ │ │ │ └── <0> -│ │ │ └── <15> -│ │ ├── 50 -│ │ │ ├── <7> -│ │ │ ├── <9> -│ │ │ ├── <21> -│ │ │ └── <7> -│ │ ├── <19> -│ │ ├── 43 -│ │ │ ├── <3> -│ │ │ └── <4> -│ │ └── <26> -│ ├── 685 -│ │ ├── 130 -│ │ │ ├── <4> -│ │ │ ├── <29> -│ │ │ ├── <31> -│ │ │ └── 40 -│ │ │ ├── <10> -│ │ │ └── <1> -│ │ ├── 118 -│ │ │ ├── <7> -│ │ │ ├── 34 -│ │ │ │ ├── <11> -│ │ │ │ └── <0> -│ │ │ ├── <9> -│ │ │ ├── <18> -│ │ │ └── 48 -│ │ │ ├── <14> -│ │ │ ├── <14> -│ │ │ └── <13> -│ │ ├── 131 -│ │ │ ├── <8> -│ │ │ ├── <18> -│ │ │ ├── <23> -│ │ │ ├── 42 -│ │ │ │ ├── <8> -│ │ │ │ ├── <10> -│ │ │ │ ├── <9> -│ │ │ │ ├── <3> -│ │ │ │ └── <10> -│ │ │ └── 37 -│ │ │ ├── <8> -│ │ │ ├── <10> -│ │ │ └── <7> -│ │ ├── 181 -│ │ │ ├── 60 -│ │ │ │ ├── <1> -│ │ │ │ ├── <12> -│ │ │ │ └── <13> -│ │ │ └── 54 -│ │ │ ├── <11> -│ │ │ ├── <11> -│ │ │ └── <11> -│ │ └── 123 -│ │ ├── 40 -│ │ │ ├── <10> -│ │ │ └── <1> -│ │ ├── <2> -│ │ └── <12> -│ └── 170 -│ ├── <5> -│ └── 59 -│ ├── <13> -│ ├── <20> -│ ├── <5> -│ └── <16> -└── 28107 - ├── 6516 - │ ├── 2059 - │ │ ├── 649 - │ │ │ ├── 43 - │ │ │ │ ├── <3> - │ │ │ │ └── <4> ERR_19 - │ │ │ ├── 125 - │ │ │ │ ├── <24> ERR_19 - │ │ │ │ ├── <30> - │ │ │ │ ├── 50 - │ │ │ │ │ ├── <7> - │ │ │ │ │ ├── <9> - │ │ │ │ │ ├── <21> - │ │ │ │ │ └── <7> - │ │ │ │ └── <2> - │ │ │ ├── 103 - │ │ │ │ ├── <1> ERR_30 - │ │ │ │ └── <16> - │ │ │ └── 218 - │ │ │ ├── 69 - │ │ │ │ ├── <18> - │ │ │ │ ├── <19> - │ │ │ │ ├── <1> - │ │ │ │ ├── <11> - │ │ │ │ └── <18> - │ │ │ └── 48 - │ │ │ ├── <14> - │ │ │ ├── <14> - │ │ │ └── <13> - │ │ ├── 580 - │ │ │ ├── 40 - │ │ │ │ ├── <10> - │ │ │ │ └── <1> - │ │ │ ├── 242 - │ │ │ │ ├── 40 - │ │ │ │ │ ├── <10> - │ │ │ │ │ └── <1> - │ │ │ │ └── 43 - │ │ │ │ ├── <3> - │ │ │ │ └── <4> - │ │ │ └── <0> - │ │ ├── 238 - │ │ │ ├── <9> - │ │ │ ├── 83 - │ │ │ │ ├── <14> - │ │ │ │ ├── <9> - │ │ │ │ ├── <10> - │ │ │ │ ├── <22> - │ │ │ │ └── <25> - │ │ │ ├── 49 - │ │ │ │ ├── <10> - │ │ │ │ └── <5> - │ │ │ └── 88 - │ │ │ ├── <2> - │ │ │ ├── 33 - │ │ │ │ ├── <13> - │ │ │ │ ├── <5> - │ │ │ │ ├── <3> - │ │ │ │ ├── <0> - │ │ │ │ └── <9> - │ │ │ ├── <12> - │ │ │ └── <12> - │ │ └── <30> - │ ├── 1006 - │ │ ├── 140 - │ │ │ ├── 66 - │ │ │ │ ├── <18> ERR_3 - │ │ │ │ ├── 38 - │ │ │ │ │ ├── <1> - │ │ │ │ │ ├── <11> - │ │ │ │ │ ├── <11> - │ │ │ │ │ ├── <8> - │ │ │ │ │ └── <4> - │ │ │ │ ├── <0> - │ │ │ │ ├── <5> - │ │ │ │ └── <2> - │ │ │ ├── <6> - │ │ │ ├── 42 - │ │ │ │ ├── <8> - │ │ │ │ ├── <10> - │ │ │ │ ├── <9> - │ │ │ │ ├── <3> - │ │ │ │ └── <10> - │ │ │ ├── <16> - │ │ │ └── <7> - │ │ ├── 247 - │ │ │ ├── <31> - │ │ │ ├── 74 - │ │ │ │ ├── <7> - │ │ │ │ ├── <1> - │ │ │ │ ├── <7> - │ │ │ │ └── 52 - │ │ │ │ ├── <10> - │ │ │ │ └── <16> - │ │ │ └── 40 - │ │ │ ├── <10> - │ │ │ └── <1> - │ │ └── 262 - │ │ ├── <7> - │ │ └── 83 - │ │ ├── <14> - │ │ ├── <9> - │ │ ├── <10> - │ │ ├── <22> - │ │ └── <25> - │ └── 427 - │ ├── 138 - │ │ ├── <27> ERR_7 - │ │ ├── 36 - │ │ │ ├── <4> - │ │ │ └── <1> - │ │ ├── 43 - │ │ │ ├── <3> - │ │ │ └── <4> - │ │ ├── <20> - │ │ └── <9> - │ ├── <12> - │ ├── 113 - │ │ ├── <24> - │ │ ├── <16> - │ │ ├── <18> - │ │ └── 38 - │ │ ├── <1> - │ │ ├── <11> - │ │ ├── <11> - │ │ ├── <8> - │ │ └── <4> - │ └── <29> - ├── 6652 - │ ├── 539 - │ │ ├── 91 - │ │ │ ├── 39 - │ │ │ │ ├── <3> - │ │ │ │ └── <7> - │ │ │ ├── <0> ERR_4 - │ │ │ ├── 37 - │ │ │ │ ├── <8> - │ │ │ │ ├── <10> - │ │ │ │ └── <7> - │ │ │ ├── <4> - │ │ │ └── <9> - │ │ ├── 119 - │ │ │ ├── 36 - │ │ │ │ ├── <4> ERR_21 - │ │ │ │ └── <1> - │ │ │ ├── 51 - │ │ │ │ ├── <9> - │ │ │ │ └── <16> - │ │ │ ├── <13> - │ │ │ ├── <14> - │ │ │ └── <3> - │ │ └── 55 - │ │ ├── <8> - │ │ ├── <12> - │ │ ├── <10> - │ │ ├── <11> - │ │ └── <12> - │ ├── 2548 - │ │ ├── 602 - │ │ │ ├── 156 - │ │ │ │ ├── 53 - │ │ │ │ │ ├── <14> ERR_1 - │ │ │ │ │ └── <13> - │ │ │ │ ├── 42 - │ │ │ │ │ ├── <8> - │ │ │ │ │ ├── <10> - │ │ │ │ │ ├── <9> - │ │ │ │ │ ├── <3> - │ │ │ │ │ └── <10> - │ │ │ │ └── <19> - │ │ │ └── 81 - │ │ │ ├── <31> - │ │ │ ├── <13> - │ │ │ ├── <0> - │ │ │ └── <31> - │ │ ├── 526 - │ │ │ ├── 149 - │ │ │ │ ├── 39 - │ │ │ │ │ ├── <3> - │ │ │ │ │ └── <7> - │ │ │ │ ├── <17> - │ │ │ │ ├── <24> - │ │ │ │ └── 40 - │ │ │ │ ├── <10> - │ │ │ │ └── <1> - │ │ │ ├── 166 - │ │ │ │ ├── <24> - │ │ │ │ └── 50 - │ │ │ │ ├── <7> - │ │ │ │ ├── <9> - │ │ │ │ ├── <21> - │ │ │ │ └── <7> - │ │ │ ├── <1> - │ │ │ ├── 39 - │ │ │ │ ├── <3> - │ │ │ │ └── <7> - │ │ │ └── 168 - │ │ │ ├── <1> - │ │ │ ├── 56 - │ │ │ │ ├── <21> - │ │ │ │ ├── <8> - │ │ │ │ ├── <9> - │ │ │ │ ├── <2> - │ │ │ │ └── <14> - │ │ │ ├── <15> - │ │ │ └── 82 - │ │ │ ├── <7> - │ │ │ └── <22> - │ │ ├── 441 - │ │ │ ├── 124 - │ │ │ │ ├── <12> - │ │ │ │ ├── <13> - │ │ │ │ ├── <24> - │ │ │ │ └── 32 - │ │ │ │ ├── <5> - │ │ │ │ ├── <8> - │ │ │ │ ├── <8> - │ │ │ │ ├── <7> - │ │ │ │ └── <1> - │ │ │ ├── 37 - │ │ │ │ ├── <8> - │ │ │ │ ├── <10> - │ │ │ │ └── <7> - │ │ │ └── 116 - │ │ │ ├── <18> - │ │ │ └── 39 - │ │ │ ├── <3> - │ │ │ └── <7> - │ │ └── 168 - │ │ ├── <1> - │ │ ├── 56 - │ │ │ ├── <21> - │ │ │ ├── <8> - │ │ │ ├── <9> - │ │ │ ├── <2> - │ │ │ └── <14> - │ │ ├── <15> - │ │ └── 82 - │ │ ├── <7> - │ │ └── <22> - │ ├── 553 - │ │ ├── 182 - │ │ │ ├── 43 - │ │ │ │ ├── <3> - │ │ │ │ └── <4> - │ │ │ └── <19> - │ │ ├── 100 - │ │ │ ├── <22> - │ │ │ └── <17> - │ │ └── 45 - │ │ ├── <3> - │ │ └── <13> - │ └── 2045 - │ ├── 446 - │ │ ├── 103 - │ │ │ ├── <1> - │ │ │ └── <16> - │ │ └── <6> - │ ├── 578 - │ │ ├── 73 - │ │ │ ├── <11> - │ │ │ ├── <27> - │ │ │ ├── <26> - │ │ │ └── <5> - │ │ ├── 154 - │ │ │ ├── <7> - │ │ │ ├── 57 - │ │ │ │ ├── <1> - │ │ │ │ ├── <13> - │ │ │ │ ├── <16> - │ │ │ │ ├── <8> - │ │ │ │ └── <17> - │ │ │ ├── <8> - │ │ │ └── <26> - │ │ └── 171 - │ │ ├── <24> - │ │ ├── <4> - │ │ └── 60 - │ │ ├── <1> - │ │ ├── <12> - │ │ └── <13> - │ ├── 646 - │ │ ├── 184 - │ │ │ ├── 45 - │ │ │ │ ├── <3> - │ │ │ │ └── <13> - │ │ │ ├── <25> - │ │ │ └── 47 - │ │ │ ├── <18> - │ │ │ ├── <7> - │ │ │ ├── <0> - │ │ │ └── <16> - │ │ ├── 215 - │ │ │ ├── 34 - │ │ │ │ ├── <11> - │ │ │ │ └── <0> - │ │ │ ├── <31> - │ │ │ ├── 54 - │ │ │ │ ├── <11> - │ │ │ │ ├── <11> - │ │ │ │ └── <11> - │ │ │ └── <17> - │ │ ├── 87 - │ │ │ ├── <25> - │ │ │ ├── <2> - │ │ │ ├── <30> - │ │ │ ├── <25> - │ │ │ └── <2> - │ │ ├── <20> - │ │ └── 138 - │ │ ├── <27> - │ │ ├── 36 - │ │ │ ├── <4> - │ │ │ └── <1> - │ │ ├── 43 - │ │ │ ├── <3> - │ │ │ └── <4> - │ │ ├── <20> - │ │ └── <9> - │ └── 158 - │ ├── <12> - │ ├── 49 - │ │ ├── <10> - │ │ └── <5> - │ └── 42 - │ ├── <8> - │ ├── <10> - │ ├── <9> - │ ├── <3> - │ └── <10> - ├── 3793 - │ ├── 454 - │ │ ├── <18> ERR_10 - │ │ └── 67 - │ │ ├── <1> - │ │ ├── <26> ERR_11 - │ │ └── <21> - │ ├── 58 - │ │ ├── <1> ERR_22 - │ │ ├── <1> - │ │ ├── 34 - │ │ │ ├── <11> - │ │ │ └── <0> - │ │ └── <15> - │ ├── 565 - │ │ ├── 224 - │ │ │ ├── 47 - │ │ │ │ ├── <18> - │ │ │ │ ├── <7> - │ │ │ │ ├── <0> - │ │ │ │ └── <16> - │ │ │ ├── 51 - │ │ │ │ ├── <9> - │ │ │ │ └── <16> - │ │ │ ├── 46 - │ │ │ │ ├── <14> - │ │ │ │ └── <9> - │ │ │ └── 43 - │ │ │ ├── <3> - │ │ │ └── <4> - │ │ ├── 193 - │ │ │ ├── <28> - │ │ │ └── 57 - │ │ │ ├── <1> - │ │ │ ├── <13> - │ │ │ ├── <16> - │ │ │ ├── <8> - │ │ │ └── <17> - │ │ ├── <25> - │ │ ├── 113 - │ │ │ ├── <24> - │ │ │ ├── <16> - │ │ │ ├── <18> - │ │ │ └── 38 - │ │ │ ├── <1> - │ │ │ ├── <11> - │ │ │ ├── <11> - │ │ │ ├── <8> - │ │ │ └── <4> - │ │ └── <7> - │ └── 1430 - │ ├── 367 - │ │ ├── 105 - │ │ │ ├── <23> - │ │ │ ├── <20> - │ │ │ ├── <13> - │ │ │ └── <2> - │ │ ├── <20> - │ │ ├── 54 - │ │ │ ├── <11> - │ │ │ ├── <11> - │ │ │ └── <11> - │ │ └── 149 - │ │ ├── 39 - │ │ │ ├── <3> - │ │ │ └── <7> - │ │ ├── <17> - │ │ ├── <24> - │ │ └── 40 - │ │ ├── <10> - │ │ └── <1> - │ └── 49 - │ ├── <10> - │ └── <5> - ├── 6467 - │ ├── 1871 - │ │ ├── 443 - │ │ │ ├── 56 - │ │ │ │ ├── <21> ERR_8 - │ │ │ │ ├── <8> - │ │ │ │ ├── <9> - │ │ │ │ ├── <2> - │ │ │ │ └── <14> - │ │ │ ├── 153 - │ │ │ │ ├── <25> ERR_14 - │ │ │ │ ├── 34 - │ │ │ │ │ ├── <11> - │ │ │ │ │ └── <0> - │ │ │ │ ├── 39 - │ │ │ │ │ ├── <3> - │ │ │ │ │ └── <7> - │ │ │ │ ├── <15> - │ │ │ │ └── 37 - │ │ │ │ ├── <8> - │ │ │ │ ├── <10> - │ │ │ │ └── <7> - │ │ │ └── 51 - │ │ │ ├── <9> - │ │ │ └── <16> - │ │ ├── 469 - │ │ │ ├── 135 - │ │ │ │ ├── 39 - │ │ │ │ │ ├── <3> - │ │ │ │ │ └── <7> - │ │ │ │ └── <4> - │ │ │ ├── 137 - │ │ │ │ ├── 32 - │ │ │ │ │ ├── <5> - │ │ │ │ │ ├── <8> - │ │ │ │ │ ├── <8> - │ │ │ │ │ ├── <7> - │ │ │ │ │ └── <1> - │ │ │ │ ├── 33 - │ │ │ │ │ ├── <13> - │ │ │ │ │ ├── <5> - │ │ │ │ │ ├── <3> - │ │ │ │ │ ├── <0> - │ │ │ │ │ └── <9> - │ │ │ │ ├── <16> - │ │ │ │ └── 44 - │ │ │ │ ├── <14> - │ │ │ │ ├── <12> - │ │ │ │ ├── <2> - │ │ │ │ ├── <8> - │ │ │ │ └── <5> - │ │ │ └── 73 - │ │ │ ├── <11> - │ │ │ ├── <27> - │ │ │ ├── <26> - │ │ │ └── <5> - │ │ └── 91 - │ │ ├── 39 - │ │ │ ├── <3> - │ │ │ └── <7> - │ │ ├── <0> - │ │ ├── 37 - │ │ │ ├── <8> - │ │ │ ├── <10> - │ │ │ └── <7> - │ │ ├── <4> - │ │ └── <9> - │ └── 1661 - │ ├── 203 - │ │ ├── 71 - │ │ │ ├── <16> ERR_15 - │ │ │ └── <0> - │ │ ├── <13> - │ │ ├── 43 - │ │ │ ├── <3> - │ │ │ └── <4> - │ │ ├── 70 - │ │ │ ├── <15> - │ │ │ ├── <26> - │ │ │ ├── <20> - │ │ │ └── <5> - │ │ └── <2> - │ ├── 180 - │ │ ├── <26> - │ │ ├── <3> - │ │ ├── <22> - │ │ ├── 73 - │ │ │ ├── <11> - │ │ │ ├── <27> - │ │ │ ├── <26> - │ │ │ └── <5> - │ │ └── 53 - │ │ ├── <14> - │ │ └── <13> - │ ├── 341 - │ │ ├── <16> - │ │ ├── 97 - │ │ │ ├── <28> - │ │ │ ├── <1> - │ │ │ └── <8> - │ │ ├── 33 - │ │ │ ├── <13> - │ │ │ ├── <5> - │ │ │ ├── <3> - │ │ │ ├── <0> - │ │ │ └── <9> - │ │ └── 94 - │ │ ├── <0> - │ │ ├── 37 - │ │ │ ├── <8> - │ │ │ ├── <10> - │ │ │ └── <7> - │ │ └── <1> - │ ├── 422 - │ │ ├── <28> - │ │ ├── 41 - │ │ │ ├── <0> - │ │ │ ├── <4> - │ │ │ ├── <28> - │ │ │ ├── <0> - │ │ │ └── <7> - │ │ ├── 37 - │ │ │ ├── <8> - │ │ │ ├── <10> - │ │ │ └── <7> - │ │ └── 181 - │ │ ├── 60 - │ │ │ ├── <1> - │ │ │ ├── <12> - │ │ │ └── <13> - │ │ └── 54 - │ │ ├── <11> - │ │ ├── <11> - │ │ └── <11> - │ └── 513 - │ ├── 59 - │ │ ├── <13> - │ │ ├── <20> - │ │ ├── <5> - │ │ └── <16> - │ └── 46 - │ ├── <14> - │ └── <9> - └── 4676 - ├── 955 - │ ├── 490 - │ │ ├── 48 - │ │ │ ├── <14> ERR_18 - │ │ │ ├── <14> - │ │ │ └── <13> - │ │ └── 173 - │ │ ├── 35 - │ │ │ ├── <2> - │ │ │ ├── <10> - │ │ │ └── <5> - │ │ ├── <9> - │ │ └── <11> - │ ├── <0> - │ ├── 182 - │ │ ├── 43 - │ │ │ ├── <3> - │ │ │ └── <4> - │ │ └── <19> - │ ├── 142 - │ │ ├── 41 - │ │ │ ├── <0> - │ │ │ ├── <4> - │ │ │ ├── <28> - │ │ │ ├── <0> - │ │ │ └── <7> - │ │ ├── 32 - │ │ │ ├── <5> - │ │ │ ├── <8> - │ │ │ ├── <8> - │ │ │ ├── <7> - │ │ │ └── <1> - │ │ └── <25> - │ └── 138 - │ ├── <27> - │ ├── 36 - │ │ ├── <4> - │ │ └── <1> - │ ├── 43 - │ │ ├── <3> - │ │ └── <4> - │ ├── <20> - │ └── <9> - └── 615 - ├── 176 - │ ├── <22> ERR_1 - │ ├── 64 - │ │ ├── <11> - │ │ └── <14> - │ ├── <1> - │ └── <10> - ├── 192 - │ ├── <9> - │ ├── 71 - │ │ ├── <16> - │ │ └── <0> - │ ├── <29> - │ ├── 46 - │ │ ├── <14> - │ │ └── <9> - │ └── 34 - │ ├── <11> - │ └── <0> - ├── <21> - └── <31> \ No newline at end of file diff --git a/wit/doc/meaning_dataset.md b/wit/doc/meaning_dataset.md index 0816db4..0241e67 100644 --- a/wit/doc/meaning_dataset.md +++ b/wit/doc/meaning_dataset.md @@ -54,3 +54,1044 @@ rank_idx = 0 1 1 0 1 16 17 16 17 0 1 2 0 1 32 33 rank_all = ``` + +## Demo Meaning tree + +``` +90800 +├── 17100 +│ ├── 3078 +│ │ ├── 153 +│ │ │ ├── <25> +│ │ │ ├── 34 +│ │ │ │ ├── <11> ERR_18 +│ │ │ │ └── <0> ERR_7 +│ │ │ ├── 39 +│ │ │ │ ├── <3> +│ │ │ │ └── <7> +│ │ │ ├── <15> +│ │ │ └── 37 +│ │ │ ├── <8> +│ │ │ ├── <10> +│ │ │ └── <7> +│ │ ├── 848 +│ │ │ ├── 212 +│ │ │ │ ├── 53 +│ │ │ │ │ ├── <14> ERR_21 +│ │ │ │ │ └── <13> ERR_14 +│ │ │ │ └── 60 +│ │ │ │ ├── <1> +│ │ │ │ ├── <12> +│ │ │ │ └── <13> +│ │ │ └── 124 +│ │ │ ├── <12> +│ │ │ ├── <13> +│ │ │ ├── <24> +│ │ │ └── 32 +│ │ │ ├── <5> +│ │ │ ├── <8> +│ │ │ ├── <8> +│ │ │ ├── <7> +│ │ │ └── <1> +│ │ └── 299 +│ │ ├── 66 +│ │ │ ├── <18> +│ │ │ ├── 38 +│ │ │ │ ├── <1> +│ │ │ │ ├── <11> +│ │ │ │ ├── <11> +│ │ │ │ ├── <8> +│ │ │ │ └── <4> +│ │ │ ├── <0> +│ │ │ ├── <5> +│ │ │ └── <2> +│ │ ├── 61 +│ │ │ ├── <20> +│ │ │ ├── <10> +│ │ │ ├── <6> +│ │ │ └── <16> +│ │ ├── 46 +│ │ │ ├── <14> +│ │ │ └── <9> +│ │ └── 37 +│ │ ├── <8> +│ │ ├── <10> +│ │ └── <7> +│ ├── 5586 +│ │ ├── 1123 +│ │ │ ├── 348 +│ │ │ │ ├── 104 +│ │ │ │ │ ├── <17> +│ │ │ │ │ ├── <10> +│ │ │ │ │ ├── <27> +│ │ │ │ │ └── <24> +│ │ │ │ ├── 92 +│ │ │ │ │ ├── <3> +│ │ │ │ │ └── <19> +│ │ │ │ └── 97 +│ │ │ │ ├── <28> +│ │ │ │ ├── <1> +│ │ │ │ └── <8> +│ │ │ ├── 364 +│ │ │ │ ├── <31> +│ │ │ │ └── <18> +│ │ │ ├── 101 +│ │ │ │ ├── <4> +│ │ │ │ ├── <25> +│ │ │ │ ├── <23> +│ │ │ │ └── <26> +│ │ │ └── 228 +│ │ │ ├── 70 +│ │ │ │ ├── <15> +│ │ │ │ ├── <26> +│ │ │ │ ├── <20> +│ │ │ │ └── <5> +│ │ │ ├── <29> +│ │ │ └── 57 +│ │ │ ├── <1> +│ │ │ ├── <13> +│ │ │ ├── <16> +│ │ │ ├── <8> +│ │ │ └── <17> +│ │ ├── 446 +│ │ │ ├── 103 +│ │ │ │ ├── <1> +│ │ │ │ └── <16> +│ │ │ └── <6> +│ │ └── 1243 +│ │ ├── 540 +│ │ │ ├── 116 +│ │ │ │ ├── <18> +│ │ │ │ └── 39 +│ │ │ │ ├── <3> +│ │ │ │ └── <7> +│ │ │ ├── 218 +│ │ │ │ ├── 69 +│ │ │ │ │ ├── <18> +│ │ │ │ │ ├── <19> +│ │ │ │ │ ├── <1> +│ │ │ │ │ ├── <11> +│ │ │ │ │ └── <18> +│ │ │ │ └── 48 +│ │ │ │ ├── <14> +│ │ │ │ ├── <14> +│ │ │ │ └── <13> +│ │ │ ├── <28> +│ │ │ ├── <3> +│ │ │ └── 172 +│ │ │ ├── 51 +│ │ │ │ ├── <9> +│ │ │ │ └── <16> +│ │ │ └── <30> +│ │ └── 103 +│ │ ├── <1> +│ │ └── <16> +│ ├── 2204 +│ │ ├── 596 +│ │ │ ├── 95 +│ │ │ │ ├── <30> +│ │ │ │ ├── <2> +│ │ │ │ ├── <16> +│ │ │ │ └── <29> +│ │ │ ├── 51 +│ │ │ │ ├── <9> +│ │ │ │ └── <16> +│ │ │ └── 153 +│ │ │ ├── <25> +│ │ │ ├── 34 +│ │ │ │ ├── <11> +│ │ │ │ └── <0> +│ │ │ ├── 39 +│ │ │ │ ├── <3> +│ │ │ │ └── <7> +│ │ │ ├── <15> +│ │ │ └── 37 +│ │ │ ├── <8> +│ │ │ ├── <10> +│ │ │ └── <7> +│ │ └── 35 +│ │ ├── <2> +│ │ ├── <10> +│ │ └── <5> +│ ├── 2745 +│ │ ├── 830 +│ │ │ ├── 68 +│ │ │ │ ├── <16> +│ │ │ │ ├── <16> +│ │ │ │ ├── <5> +│ │ │ │ ├── <14> +│ │ │ │ └── <13> +│ │ │ ├── <0> +│ │ │ ├── 410 +│ │ │ │ ├── 64 +│ │ │ │ │ ├── <11> +│ │ │ │ │ └── <14> +│ │ │ │ ├── 68 +│ │ │ │ │ ├── <16> +│ │ │ │ │ ├── <16> +│ │ │ │ │ ├── <5> +│ │ │ │ │ ├── <14> +│ │ │ │ │ └── <13> +│ │ │ │ └── <23> +│ │ │ └── 205 +│ │ │ ├── <29> +│ │ │ ├── 53 +│ │ │ │ ├── <14> +│ │ │ │ └── <13> +│ │ │ └── 52 +│ │ │ ├── <10> +│ │ │ └── <16> +│ │ ├── 862 +│ │ │ ├── 74 +│ │ │ │ ├── <7> +│ │ │ │ ├── <1> +│ │ │ │ ├── <7> +│ │ │ │ └── 52 +│ │ │ │ ├── <10> +│ │ │ │ └── <16> +│ │ │ ├── 254 +│ │ │ │ ├── 61 +│ │ │ │ │ ├── <20> +│ │ │ │ │ ├── <10> +│ │ │ │ │ ├── <6> +│ │ │ │ │ └── <16> +│ │ │ │ ├── 76 +│ │ │ │ │ ├── <2> +│ │ │ │ │ ├── <17> +│ │ │ │ │ ├── <15> +│ │ │ │ │ └── <21> +│ │ │ │ ├── 69 +│ │ │ │ │ ├── <18> +│ │ │ │ │ ├── <19> +│ │ │ │ │ ├── <1> +│ │ │ │ │ ├── <11> +│ │ │ │ │ └── <18> +│ │ │ │ └── <3> +│ │ │ └── 33 +│ │ │ ├── <13> +│ │ │ ├── <5> +│ │ │ ├── <3> +│ │ │ ├── <0> +│ │ │ └── <9> +│ │ ├── 703 +│ │ │ ├── 390 +│ │ │ │ ├── <13> +│ │ │ │ └── 32 +│ │ │ │ ├── <5> +│ │ │ │ ├── <8> +│ │ │ │ ├── <8> +│ │ │ │ ├── <7> +│ │ │ │ └── <1> +│ │ │ ├── 35 +│ │ │ │ ├── <2> +│ │ │ │ ├── <10> +│ │ │ │ └── <5> +│ │ │ ├── 160 +│ │ │ │ ├── 45 +│ │ │ │ │ ├── <3> +│ │ │ │ │ └── <13> +│ │ │ │ ├── <9> +│ │ │ │ ├── 37 +│ │ │ │ │ ├── <8> +│ │ │ │ │ ├── <10> +│ │ │ │ │ └── <7> +│ │ │ │ ├── 39 +│ │ │ │ │ ├── <3> +│ │ │ │ │ └── <7> +│ │ │ │ └── <27> +│ │ │ ├── <29> +│ │ │ └── 87 +│ │ │ ├── <25> +│ │ │ ├── <2> +│ │ │ ├── <30> +│ │ │ ├── <25> +│ │ │ └── <2> +│ │ └── 163 +│ │ ├── 44 +│ │ │ ├── <14> +│ │ │ ├── <12> +│ │ │ ├── <2> +│ │ │ ├── <8> +│ │ │ └── <5> +│ │ ├── 50 +│ │ │ ├── <7> +│ │ │ ├── <9> +│ │ │ ├── <21> +│ │ │ └── <7> +│ │ ├── 34 +│ │ │ ├── <11> +│ │ │ └── <0> +│ │ ├── <4> +│ │ └── <28> +│ └── 3484 +│ ├── 1170 +│ │ ├── 58 +│ │ │ ├── <1> +│ │ │ ├── <1> +│ │ │ ├── 34 +│ │ │ │ ├── <11> +│ │ │ │ └── <0> +│ │ │ └── <15> +│ │ └── 346 +│ │ ├── 52 +│ │ │ ├── <10> +│ │ │ └── <16> +│ │ ├── 107 +│ │ │ ├── 38 +│ │ │ │ ├── <1> +│ │ │ │ ├── <11> +│ │ │ │ ├── <11> +│ │ │ │ ├── <8> +│ │ │ │ └── <4> +│ │ │ ├── 34 +│ │ │ │ ├── <11> +│ │ │ │ └── <0> +│ │ │ └── <10> +│ │ └── 90 +│ │ ├── <25> +│ │ ├── <18> +│ │ ├── <13> +│ │ └── <29> +│ ├── 226 +│ │ ├── 74 +│ │ │ ├── <7> +│ │ │ ├── <1> +│ │ │ ├── <7> +│ │ │ └── 52 +│ │ │ ├── <10> +│ │ │ └── <16> +│ │ ├── 50 +│ │ │ ├── <7> +│ │ │ ├── <9> +│ │ │ ├── <21> +│ │ │ └── <7> +│ │ ├── <8> +│ │ ├── <22> +│ │ └── 70 +│ │ ├── <15> +│ │ ├── <26> +│ │ ├── <20> +│ │ └── <5> +│ ├── 375 +│ │ ├── 81 +│ │ │ ├── <31> +│ │ │ ├── <13> +│ │ │ ├── <0> +│ │ │ └── <31> +│ │ ├── 88 +│ │ │ ├── <2> +│ │ │ ├── 33 +│ │ │ │ ├── <13> +│ │ │ │ ├── <5> +│ │ │ │ ├── <3> +│ │ │ │ ├── <0> +│ │ │ │ └── <9> +│ │ │ ├── <12> +│ │ │ └── <12> +│ │ └── 76 +│ │ ├── <2> +│ │ ├── <17> +│ │ ├── <15> +│ │ └── <21> +│ └── 1239 +│ ├── 126 +│ │ ├── 32 +│ │ │ ├── <5> +│ │ │ ├── <8> +│ │ │ ├── <8> +│ │ │ ├── <7> +│ │ │ └── <1> +│ │ ├── 40 +│ │ │ ├── <10> +│ │ │ └── <1> +│ │ ├── <23> +│ │ ├── <24> +│ │ └── <4> +│ ├── 198 +│ │ ├── 58 +│ │ │ ├── <1> +│ │ │ ├── <1> +│ │ │ ├── 34 +│ │ │ │ ├── <11> +│ │ │ │ └── <0> +│ │ │ └── <15> +│ │ ├── 50 +│ │ │ ├── <7> +│ │ │ ├── <9> +│ │ │ ├── <21> +│ │ │ └── <7> +│ │ ├── <19> +│ │ ├── 43 +│ │ │ ├── <3> +│ │ │ └── <4> +│ │ └── <26> +│ ├── 685 +│ │ ├── 130 +│ │ │ ├── <4> +│ │ │ ├── <29> +│ │ │ ├── <31> +│ │ │ └── 40 +│ │ │ ├── <10> +│ │ │ └── <1> +│ │ ├── 118 +│ │ │ ├── <7> +│ │ │ ├── 34 +│ │ │ │ ├── <11> +│ │ │ │ └── <0> +│ │ │ ├── <9> +│ │ │ ├── <18> +│ │ │ └── 48 +│ │ │ ├── <14> +│ │ │ ├── <14> +│ │ │ └── <13> +│ │ ├── 131 +│ │ │ ├── <8> +│ │ │ ├── <18> +│ │ │ ├── <23> +│ │ │ ├── 42 +│ │ │ │ ├── <8> +│ │ │ │ ├── <10> +│ │ │ │ ├── <9> +│ │ │ │ ├── <3> +│ │ │ │ └── <10> +│ │ │ └── 37 +│ │ │ ├── <8> +│ │ │ ├── <10> +│ │ │ └── <7> +│ │ ├── 181 +│ │ │ ├── 60 +│ │ │ │ ├── <1> +│ │ │ │ ├── <12> +│ │ │ │ └── <13> +│ │ │ └── 54 +│ │ │ ├── <11> +│ │ │ ├── <11> +│ │ │ └── <11> +│ │ └── 123 +│ │ ├── 40 +│ │ │ ├── <10> +│ │ │ └── <1> +│ │ ├── <2> +│ │ └── <12> +│ └── 170 +│ ├── <5> +│ └── 59 +│ ├── <13> +│ ├── <20> +│ ├── <5> +│ └── <16> +└── 28107 + ├── 6516 + │ ├── 2059 + │ │ ├── 649 + │ │ │ ├── 43 + │ │ │ │ ├── <3> ERR_1 + │ │ │ │ └── <4> ERR_19 + │ │ │ ├── 125 + │ │ │ │ ├── <24> ERR_19 + │ │ │ │ ├── <30> + │ │ │ │ ├── 50 + │ │ │ │ │ ├── <7> + │ │ │ │ │ ├── <9> + │ │ │ │ │ ├── <21> + │ │ │ │ │ └── <7> + │ │ │ │ └── <2> + │ │ │ ├── 103 + │ │ │ │ ├── <1> ERR_8 + │ │ │ │ └── <16> + │ │ │ └── 218 + │ │ │ ├── 69 + │ │ │ │ ├── <18> + │ │ │ │ ├── <19> + │ │ │ │ ├── <1> + │ │ │ │ ├── <11> + │ │ │ │ └── <18> + │ │ │ └── 48 + │ │ │ ├── <14> + │ │ │ ├── <14> + │ │ │ └── <13> + │ │ ├── 580 + │ │ │ ├── 40 + │ │ │ │ ├── <10> ERR_1 + │ │ │ │ └── <1> + │ │ │ ├── 242 + │ │ │ │ ├── 40 + │ │ │ │ │ ├── <10> + │ │ │ │ │ └── <1> + │ │ │ │ └── 43 + │ │ │ │ ├── <3> + │ │ │ │ └── <4> + │ │ │ └── <0> + │ │ ├── 238 + │ │ │ ├── <9> + │ │ │ ├── 83 + │ │ │ │ ├── <14> + │ │ │ │ ├── <9> + │ │ │ │ ├── <10> + │ │ │ │ ├── <22> + │ │ │ │ └── <25> + │ │ │ ├── 49 + │ │ │ │ ├── <10> + │ │ │ │ └── <5> + │ │ │ └── 88 + │ │ │ ├── <2> + │ │ │ ├── 33 + │ │ │ │ ├── <13> + │ │ │ │ ├── <5> + │ │ │ │ ├── <3> + │ │ │ │ ├── <0> + │ │ │ │ └── <9> + │ │ │ ├── <12> + │ │ │ └── <12> + │ │ └── <30> + │ ├── 1006 + │ │ ├── 140 + │ │ │ ├── 66 + │ │ │ │ ├── <18> + │ │ │ │ ├── 38 + │ │ │ │ │ ├── <1> + │ │ │ │ │ ├── <11> + │ │ │ │ │ ├── <11> + │ │ │ │ │ ├── <8> + │ │ │ │ │ └── <4> + │ │ │ │ ├── <0> + │ │ │ │ ├── <5> + │ │ │ │ └── <2> + │ │ │ ├── <6> + │ │ │ ├── 42 + │ │ │ │ ├── <8> + │ │ │ │ ├── <10> + │ │ │ │ ├── <9> + │ │ │ │ ├── <3> + │ │ │ │ └── <10> + │ │ │ ├── <16> + │ │ │ └── <7> + │ │ ├── 247 + │ │ │ ├── <31> + │ │ │ ├── 74 + │ │ │ │ ├── <7> + │ │ │ │ ├── <1> + │ │ │ │ ├── <7> + │ │ │ │ └── 52 + │ │ │ │ ├── <10> + │ │ │ │ └── <16> + │ │ │ └── 40 + │ │ │ ├── <10> + │ │ │ └── <1> + │ │ └── 262 + │ │ ├── <7> + │ │ └── 83 + │ │ ├── <14> + │ │ ├── <9> + │ │ ├── <10> + │ │ ├── <22> + │ │ └── <25> + │ └── 427 + │ ├── 138 + │ │ ├── <27> + │ │ ├── 36 + │ │ │ ├── <4> + │ │ │ └── <1> + │ │ ├── 43 + │ │ │ ├── <3> + │ │ │ └── <4> + │ │ ├── <20> + │ │ └── <9> + │ ├── <12> + │ ├── 113 + │ │ ├── <24> + │ │ ├── <16> + │ │ ├── <18> + │ │ └── 38 + │ │ ├── <1> + │ │ ├── <11> + │ │ ├── <11> + │ │ ├── <8> + │ │ └── <4> + │ └── <29> + ├── 6652 + │ ├── 539 + │ │ ├── 91 + │ │ │ ├── 39 + │ │ │ │ ├── <3> ERR_25 + │ │ │ │ └── <7> + │ │ │ ├── <0> + │ │ │ ├── 37 + │ │ │ │ ├── <8> + │ │ │ │ ├── <10> + │ │ │ │ └── <7> + │ │ │ ├── <4> + │ │ │ └── <9> + │ │ ├── 119 + │ │ │ ├── 36 + │ │ │ │ ├── <4> + │ │ │ │ └── <1> + │ │ │ ├── 51 + │ │ │ │ ├── <9> + │ │ │ │ └── <16> + │ │ │ ├── <13> + │ │ │ ├── <14> + │ │ │ └── <3> + │ │ └── 55 + │ │ ├── <8> + │ │ ├── <12> + │ │ ├── <10> + │ │ ├── <11> + │ │ └── <12> + │ ├── 2548 + │ │ ├── 602 + │ │ │ ├── 156 + │ │ │ │ ├── 53 + │ │ │ │ │ ├── <14> + │ │ │ │ │ └── <13> + │ │ │ │ ├── 42 + │ │ │ │ │ ├── <8> + │ │ │ │ │ ├── <10> + │ │ │ │ │ ├── <9> + │ │ │ │ │ ├── <3> + │ │ │ │ │ └── <10> + │ │ │ │ └── <19> + │ │ │ └── 81 + │ │ │ ├── <31> + │ │ │ ├── <13> + │ │ │ ├── <0> + │ │ │ └── <31> + │ │ ├── 526 + │ │ │ ├── 149 + │ │ │ │ ├── 39 + │ │ │ │ │ ├── <3> + │ │ │ │ │ └── <7> + │ │ │ │ ├── <17> + │ │ │ │ ├── <24> + │ │ │ │ └── 40 + │ │ │ │ ├── <10> + │ │ │ │ └── <1> + │ │ │ ├── 166 + │ │ │ │ ├── <24> + │ │ │ │ └── 50 + │ │ │ │ ├── <7> + │ │ │ │ ├── <9> + │ │ │ │ ├── <21> + │ │ │ │ └── <7> + │ │ │ ├── <1> + │ │ │ ├── 39 + │ │ │ │ ├── <3> + │ │ │ │ └── <7> + │ │ │ └── 168 + │ │ │ ├── <1> + │ │ │ ├── 56 + │ │ │ │ ├── <21> + │ │ │ │ ├── <8> + │ │ │ │ ├── <9> + │ │ │ │ ├── <2> + │ │ │ │ └── <14> + │ │ │ ├── <15> + │ │ │ └── 82 + │ │ │ ├── <7> + │ │ │ └── <22> + │ │ ├── 441 + │ │ │ ├── 124 + │ │ │ │ ├── <12> + │ │ │ │ ├── <13> + │ │ │ │ ├── <24> + │ │ │ │ └── 32 + │ │ │ │ ├── <5> + │ │ │ │ ├── <8> + │ │ │ │ ├── <8> + │ │ │ │ ├── <7> + │ │ │ │ └── <1> + │ │ │ ├── 37 + │ │ │ │ ├── <8> + │ │ │ │ ├── <10> + │ │ │ │ └── <7> + │ │ │ └── 116 + │ │ │ ├── <18> + │ │ │ └── 39 + │ │ │ ├── <3> + │ │ │ └── <7> + │ │ └── 168 + │ │ ├── <1> + │ │ ├── 56 + │ │ │ ├── <21> + │ │ │ ├── <8> + │ │ │ ├── <9> + │ │ │ ├── <2> + │ │ │ └── <14> + │ │ ├── <15> + │ │ └── 82 + │ │ ├── <7> + │ │ └── <22> + │ ├── 553 + │ │ ├── 182 + │ │ │ ├── 43 + │ │ │ │ ├── <3> + │ │ │ │ └── <4> + │ │ │ └── <19> + │ │ ├── 100 + │ │ │ ├── <22> + │ │ │ └── <17> + │ │ └── 45 + │ │ ├── <3> + │ │ └── <13> + │ └── 2045 + │ ├── 446 + │ │ ├── 103 + │ │ │ ├── <1> + │ │ │ └── <16> + │ │ └── <6> + │ ├── 578 + │ │ ├── 73 + │ │ │ ├── <11> + │ │ │ ├── <27> + │ │ │ ├── <26> + │ │ │ └── <5> + │ │ ├── 154 + │ │ │ ├── <7> + │ │ │ ├── 57 + │ │ │ │ ├── <1> + │ │ │ │ ├── <13> + │ │ │ │ ├── <16> + │ │ │ │ ├── <8> + │ │ │ │ └── <17> + │ │ │ ├── <8> + │ │ │ └── <26> + │ │ └── 171 + │ │ ├── <24> + │ │ ├── <4> + │ │ └── 60 + │ │ ├── <1> + │ │ ├── <12> + │ │ └── <13> + │ ├── 646 + │ │ ├── 184 + │ │ │ ├── 45 + │ │ │ │ ├── <3> + │ │ │ │ └── <13> + │ │ │ ├── <25> + │ │ │ └── 47 + │ │ │ ├── <18> + │ │ │ ├── <7> + │ │ │ ├── <0> + │ │ │ └── <16> + │ │ ├── 215 + │ │ │ ├── 34 + │ │ │ │ ├── <11> + │ │ │ │ └── <0> + │ │ │ ├── <31> + │ │ │ ├── 54 + │ │ │ │ ├── <11> + │ │ │ │ ├── <11> + │ │ │ │ └── <11> + │ │ │ └── <17> + │ │ ├── 87 + │ │ │ ├── <25> + │ │ │ ├── <2> + │ │ │ ├── <30> + │ │ │ ├── <25> + │ │ │ └── <2> + │ │ ├── <20> + │ │ └── 138 + │ │ ├── <27> + │ │ ├── 36 + │ │ │ ├── <4> + │ │ │ └── <1> + │ │ ├── 43 + │ │ │ ├── <3> + │ │ │ └── <4> + │ │ ├── <20> + │ │ └── <9> + │ └── 158 + │ ├── <12> + │ ├── 49 + │ │ ├── <10> + │ │ └── <5> + │ └── 42 + │ ├── <8> + │ ├── <10> + │ ├── <9> + │ ├── <3> + │ └── <10> + ├── 3793 + │ ├── 454 + │ │ ├── <18> ERR_20 + │ │ └── 67 + │ │ ├── <1> + │ │ ├── <26> ERR_11 + │ │ └── <21> + │ ├── 58 + │ │ ├── <1> + │ │ ├── <1> + │ │ ├── 34 + │ │ │ ├── <11> + │ │ │ └── <0> + │ │ └── <15> + │ ├── 565 + │ │ ├── 224 + │ │ │ ├── 47 + │ │ │ │ ├── <18> + │ │ │ │ ├── <7> ERR_19 + │ │ │ │ ├── <0> + │ │ │ │ └── <16> + │ │ │ ├── 51 + │ │ │ │ ├── <9> + │ │ │ │ └── <16> + │ │ │ ├── 46 + │ │ │ │ ├── <14> + │ │ │ │ └── <9> + │ │ │ └── 43 + │ │ │ ├── <3> + │ │ │ └── <4> + │ │ ├── 193 + │ │ │ ├── <28> + │ │ │ └── 57 + │ │ │ ├── <1> + │ │ │ ├── <13> + │ │ │ ├── <16> + │ │ │ ├── <8> + │ │ │ └── <17> + │ │ ├── <25> + │ │ ├── 113 + │ │ │ ├── <24> + │ │ │ ├── <16> + │ │ │ ├── <18> + │ │ │ └── 38 + │ │ │ ├── <1> + │ │ │ ├── <11> + │ │ │ ├── <11> + │ │ │ ├── <8> + │ │ │ └── <4> + │ │ └── <7> + │ └── 1430 + │ ├── 367 + │ │ ├── 105 + │ │ │ ├── <23> + │ │ │ ├── <20> + │ │ │ ├── <13> + │ │ │ └── <2> + │ │ ├── <20> + │ │ ├── 54 + │ │ │ ├── <11> + │ │ │ ├── <11> + │ │ │ └── <11> + │ │ └── 149 + │ │ ├── 39 + │ │ │ ├── <3> + │ │ │ └── <7> + │ │ ├── <17> + │ │ ├── <24> + │ │ └── 40 + │ │ ├── <10> + │ │ └── <1> + │ └── 49 + │ ├── <10> + │ └── <5> + ├── 6467 + │ ├── 1871 + │ │ ├── 443 + │ │ │ ├── 56 + │ │ │ │ ├── <21> ERR_0 + │ │ │ │ ├── <8> + │ │ │ │ ├── <9> + │ │ │ │ ├── <2> + │ │ │ │ └── <14> + │ │ │ ├── 153 + │ │ │ │ ├── <25> ERR_14 + │ │ │ │ ├── 34 + │ │ │ │ │ ├── <11> + │ │ │ │ │ └── <0> + │ │ │ │ ├── 39 + │ │ │ │ │ ├── <3> + │ │ │ │ │ └── <7> + │ │ │ │ ├── <15> + │ │ │ │ └── 37 + │ │ │ │ ├── <8> + │ │ │ │ ├── <10> + │ │ │ │ └── <7> + │ │ │ └── 51 + │ │ │ ├── <9> + │ │ │ └── <16> + │ │ ├── 469 + │ │ │ ├── 135 + │ │ │ │ ├── 39 + │ │ │ │ │ ├── <3> + │ │ │ │ │ └── <7> + │ │ │ │ └── <4> + │ │ │ ├── 137 + │ │ │ │ ├── 32 + │ │ │ │ │ ├── <5> + │ │ │ │ │ ├── <8> + │ │ │ │ │ ├── <8> + │ │ │ │ │ ├── <7> + │ │ │ │ │ └── <1> + │ │ │ │ ├── 33 + │ │ │ │ │ ├── <13> + │ │ │ │ │ ├── <5> + │ │ │ │ │ ├── <3> + │ │ │ │ │ ├── <0> + │ │ │ │ │ └── <9> + │ │ │ │ ├── <16> + │ │ │ │ └── 44 + │ │ │ │ ├── <14> + │ │ │ │ ├── <12> + │ │ │ │ ├── <2> + │ │ │ │ ├── <8> + │ │ │ │ └── <5> + │ │ │ └── 73 + │ │ │ ├── <11> + │ │ │ ├── <27> + │ │ │ ├── <26> + │ │ │ └── <5> + │ │ └── 91 + │ │ ├── 39 + │ │ │ ├── <3> + │ │ │ └── <7> + │ │ ├── <0> + │ │ ├── 37 + │ │ │ ├── <8> + │ │ │ ├── <10> + │ │ │ └── <7> + │ │ ├── <4> + │ │ └── <9> + │ └── 1661 + │ ├── 203 + │ │ ├── 71 + │ │ │ ├── <16> + │ │ │ └── <0> + │ │ ├── <13> + │ │ ├── 43 + │ │ │ ├── <3> + │ │ │ └── <4> + │ │ ├── 70 + │ │ │ ├── <15> + │ │ │ ├── <26> + │ │ │ ├── <20> + │ │ │ └── <5> + │ │ └── <2> + │ ├── 180 + │ │ ├── <26> + │ │ ├── <3> + │ │ ├── <22> + │ │ ├── 73 + │ │ │ ├── <11> + │ │ │ ├── <27> + │ │ │ ├── <26> + │ │ │ └── <5> + │ │ └── 53 + │ │ ├── <14> + │ │ └── <13> + │ ├── 341 + │ │ ├── <16> + │ │ ├── 97 + │ │ │ ├── <28> + │ │ │ ├── <1> + │ │ │ └── <8> + │ │ ├── 33 + │ │ │ ├── <13> + │ │ │ ├── <5> + │ │ │ ├── <3> + │ │ │ ├── <0> + │ │ │ └── <9> + │ │ └── 94 + │ │ ├── <0> + │ │ ├── 37 + │ │ │ ├── <8> + │ │ │ ├── <10> + │ │ │ └── <7> + │ │ └── <1> + │ ├── 422 + │ │ ├── <28> + │ │ ├── 41 + │ │ │ ├── <0> + │ │ │ ├── <4> + │ │ │ ├── <28> + │ │ │ ├── <0> + │ │ │ └── <7> + │ │ ├── 37 + │ │ │ ├── <8> + │ │ │ ├── <10> + │ │ │ └── <7> + │ │ └── 181 + │ │ ├── 60 + │ │ │ ├── <1> + │ │ │ ├── <12> + │ │ │ └── <13> + │ │ └── 54 + │ │ ├── <11> + │ │ ├── <11> + │ │ └── <11> + │ └── 513 + │ ├── 59 + │ │ ├── <13> + │ │ ├── <20> + │ │ ├── <5> + │ │ └── <16> + │ └── 46 + │ ├── <14> + │ └── <9> + └── 4676 + ├── 955 + │ ├── 490 + │ │ ├── 48 + │ │ │ ├── <14> ERR_18 + │ │ │ ├── <14> + │ │ │ └── <13> + │ │ └── 173 + │ │ ├── 35 + │ │ │ ├── <2> + │ │ │ ├── <10> + │ │ │ └── <5> + │ │ ├── <9> + │ │ └── <11> + │ ├── <0> + │ ├── 182 + │ │ ├── 43 + │ │ │ ├── <3> + │ │ │ └── <4> + │ │ └── <19> + │ ├── 142 + │ │ ├── 41 + │ │ │ ├── <0> + │ │ │ ├── <4> + │ │ │ ├── <28> + │ │ │ ├── <0> + │ │ │ └── <7> + │ │ ├── 32 + │ │ │ ├── <5> + │ │ │ ├── <8> + │ │ │ ├── <8> + │ │ │ ├── <7> + │ │ │ └── <1> + │ │ └── <25> + │ └── 138 + │ ├── <27> + │ ├── 36 + │ │ ├── <4> + │ │ └── <1> + │ ├── 43 + │ │ ├── <3> + │ │ └── <4> + │ ├── <20> + │ └── <9> + └── 615 + ├── 176 + │ ├── <22> + │ ├── 64 + │ │ ├── <11> + │ │ └── <14> + │ ├── <1> + │ └── <10> + ├── 192 + │ ├── <9> + │ ├── 71 + │ │ ├── <16> + │ │ └── <0> + │ ├── <29> + │ ├── 46 + │ │ ├── <14> + │ │ └── <9> + │ └── 34 + │ ├── <11> + │ └── <0> + ├── <21> + └── <31> +``` diff --git a/wit/meaning/meaning_dataset.py b/wit/meaning/meaning_dataset.py index 7dc0cd8..cc3e53c 100644 --- a/wit/meaning/meaning_dataset.py +++ b/wit/meaning/meaning_dataset.py @@ -43,6 +43,7 @@ class MeaningMap: vocab_of_tree = vocab_size - self.special_vocab assert reserve_vocab >= self.special_vocab, "must reserve enough vocab for special" self.normal_vocab = vocab_size - self.reserve_vocab + self.vocab_size = vocab_size self.max_subitem = max_subitem self.min_subitem = min_subitem @@ -223,19 +224,29 @@ class MeaningMap: ) def get_nodetree(self, meaning): # return meaning all sub items - def get_tree_node(ms_map, meaning, nvs, parent, seqlist): - ms = ms_map[meaning] + def get_tree_node(self, meaning, seq, vs, parent, seqlist, index): + ms = self.ms_map[meaning] for m in ms[ms >= 0].tolist(): - if m >= nvs: + if m >= vs: pn = NodeTree(str(m), parent) - get_tree_node(ms_map, m, nvs, pn, seqlist) + index = get_tree_node(self, m, seq, vs, pn, seqlist, index) else: - pn = NodeTree("<" + str(m) + ">", parent) + pn = NodeTree("<" + str(index) + "> " + str(m), parent) + index = index + 1 seqlist.append(pn) + while len(seq) > index and seq[index] >= self.normal_vocab: + pn = NodeTree("<" + str(index) + "> " + str(seq[index]), parent) + index = index + 1 + seqlist.append(pn) + return index + root = NodeTree(str(meaning)) seqlist = [] - get_tree_node(self.ms_map, meaning, self.normal_vocab, root, seqlist) + start = self.ms_start[meaning] + seq = self.ms_data[start : start + self.ms_len[meaning]] + + get_tree_node(self, meaning, seq, self.vocab_size, root, seqlist, 0) root.seq_node = seqlist return root @@ -245,7 +256,7 @@ class MeaningMap: def level_change(ms_map, meaning, current_to_common, common_to_current): ms = ms_map[meaning] for m in ms[ms >= 0].tolist(): - if m >= self.normal_vocab: + if m >= self.vocab_size: common_to_current[-1] = common_to_current[-1] + 1 level_change(ms_map, m, current_to_common, common_to_current) else: diff --git a/wit/query_block_output.py b/wit/query_block_output.py index 819958e..5f31c98 100644 --- a/wit/query_block_output.py +++ b/wit/query_block_output.py @@ -60,13 +60,13 @@ def get_inference(dataset, seq): next_token = sorted_indices.detach().cpu().numpy()[0][0] if item[i] != next_token: node.set_seq_prop(i, "ERR_" + str(next_token)) - print(str(item[i]) + " " + str(next_token) + " ERROR") + print("index: " + str(i) + " golden: " + str(item[i]) + " -> " + str(next_token) + " ERR") node.print() if __name__ == "__main__": - log_path = "log/bigger/version_1/" + log_path = "log/bigger/version_2/" file = get_latest_file_safe(log_path + "/checkpoints") checkpoint_path = log_path + "checkpoints/" + file @@ -89,13 +89,13 @@ if __name__ == "__main__": # seq:849 # seq:991 # seq:995 - meaning = 995 - - get_inference(md, meaning) + meaning = 991 node = map.get_nodetree(meaning) node.print() + get_inference(md, meaning) + def DumpQK(query, key, causal_mask, index): global relation_distance size = query.shape[2]