[ { "total_queries": 4624, "analyzed": 4624, "parse_errors": 0, "skipped": 0, "skipped_ids": [], "hop_distribution": { "0": 3, "1": 3050, "2": 1571 }, "hop_ids": { "0": [ "239", "21", "19081" ], "1": [ "20258", "12761", "27315", "2623", "23954", "23901", "29519", "13544", "26554", "27852", "26109", "9547", "20728", "28883", "12499", "25044", "18379", "25282", "21388", "29878", "29908", "28152", "20597", "28985", "19595", "12551", "26918", "23353", "1261", "23709", "21490", "13747", "18593", "13267", "621", "1436", "1175", "21577", "18441", "1397", "29437", "26945", "29430", "29612", "21523", "26759", "1863", "29814", "26233", "23343", "28550", "22526", "1584", "29392", "22893", "20737", "13001", "19603", "1578", "20582", "13628", "12617", "12408", "24937", "18725", "1411", "29904", "594", "1955", "27517", "19457", "1382", "21049", "20002", "9557", "18074", "27799", "29682", "19199", "22550", "20474", "920", "19279", "1988", "2698", "26937", "28962", "19068", "26789", "22856", "24144", "23391", "1599", "29053", "28963", "19391", "21480", "22066", "28184", "12296", "25069", "29289", "13619", "14102", "24981", "24382", "18822", "22304", "18676", "28186", "995", "20118", "1405", "9589", "9780", "13197", "355", "22612", "19877", "2233", "555", "26436", "24268", "20813", "26386", "28153", "1358", "20050", "19446", "27617", "12022", "24320", "24075", "28637", "13446", "28219", "13795", "279", "20420", "22259", "19950", "9574", "26741", "1891", "28722", "29996", "27068", "26886", "9959", "27342", "22847", "28292", "1945", "2319", "28806", "1050", "1169", "18979", "2417", "9612", "18721", "12089", "18107", "2458", "18711", "23261", "18569", "25116", "27446", "18586", "2798", "12259", "26872", "990", "24216", "23643", "803", "25552", "2295", "19757", "1486", "9717", "22216", "12235", "13088", "24495", "21959", "26330", "25910", "1356", "18975", "26648", "19469", "20546", "21290", "20779", "19484", "27027", "326", "24343", "19590", "13253", "18599", "2959", "22726", "18953", "1951", "13266", "24846", "20235", "20850", "754", "2552", "18234", "28971", "18156", "18116", "27529", "13123", "23537", "14101", "18884", "30011", "26080", "25859", "2483", "26441", "20977", "21457", "20930", "22882", "20811", "504", "25785", "20521", "23154", "13517", "1252", "21659", "1026", "20352", "25764", "21702", "22154", "26936", "18921", "12339", "26906", "27005", "22769", "24607", "1698", "1293", "401", "12083", "28778", "1837", "3486", "24515", "24128", "26884", "27779", "19123", "12533", "20749", "22923", "174", "19928", "28352", "10191", "29344", "1385", "26644", "26434", "20131", "26261", "26769", "19250", "28878", "10011", "29745", "26012", "21510", "10044", "13250", "875", "28552", "20729", "20490", "24451", "28338", "503", "21966", "21338", "26588", "25750", "27741", "23479", "9776", "26050", "29011", "13049", "28555", "2799", "19927", "19942", "25008", "22595", "26854", "25661", "14252", "12649", "937", "29381", "3184", "28532", "27874", "9741", "27960", "9753", "20817", "11890", "24813", "19354", "28794", "113", "21626", "27755", "20070", "12564", "19974", "29093", "21678", "13158", "24019", "9511", "23187", "3435", "29797", "28984", "22576", "22058", "20132", "26944", "9694", "13139", "23066", "3459", "1493", "28690", "28916", "3131", "23119", "593", "19403", "26271", "26621", "19072", "1359", "22994", "23035", "21771", "1952", "22247", "2969", "12094", "24906", "26733", "22255", "25940", "13633", "26455", "19339", "12840", "21465", "22505", "28895", "2116", "28891", "20665", "14162", "28814", "29601", "26452", "28925", "18645", "9576", "18876", "21847", "22530", "19530", "714", "20806", "20890", "21125", "20104", "13350", "216", "10206", "23055", "1504", "1665", "44", "2918", "9889", "22835", "26259", "12192", "29722", "28507", "27950", "29509", "29216", "10053", "27413", "19415", "27437", "19597", "1792", "22724", "27806", "890", "24873", "22160", "26539", "3525", "21391", "23552", "2589", "21034", "27883", "20601", "29741", "18937", "30199", "1522", "24213", "13570", "21871", "9764", "3453", "3473", "2327", "674", "1474", "516", "881", "24372", "29474", "19247", "27441", "19432", "13289", "3053", "2281", "1583", "2300", "22405", "19113", "2033", "22676", "27738", "29178", "3470", "10134", "26552", "18344", "2717", "12076", "1904", "19644", "1368", "28329", "13195", "23764", "27201", "26972", "13675", "19389", "1868", "21208", "9974", "26269", "9578", "329", "29662", "12174", "30122", "12314", "449", "28057", "27358", "29323", "18283", "20657", "10047", "24324", "18996", "28246", "10089", "25839", "25836", "25317", "13756", "18527", "40", "27911", "24276", "2263", "21621", "26731", "23064", "9905", "23777", "20958", "689", "9923", "29336", "26", "20056", "18216", "3216", "19294", "25973", "1406", "18010", "29245", "810", "23665", "12678", "343", "19105", "23610", "24008", "12802", "2546", "2442", "18450", "1334", "26038", "27361", "29293", "3075", "46", "28888", "29791", "11926", "13417", "1350", "24445", "21792", "532", "385", "22800", "9590", "197", "26685", "3359", "20011", "27232", "24039", "29085", "27867", "24116", "18334", "26793", "12399", "21563", "28073", "9480", "21159", "1301", "26499", "14223", "28362", "254", "28896", "13150", "21608", "13648", "27343", "28032", "20027", "27975", "28194", "18000", "29957", "1636", "13188", "20502", "20576", "2921", "27784", "9987", "29002", "21025", "26519", "29443", "18566", "22566", "2454", "1450", "29698", "25032", "13683", "30119", "23201", "28960", "19271", "223", "30004", "26162", "22672", "21900", "22221", "27081", "29961", "25339", "22623", "21801", "18781", "23637", "26943", "21812", "9796", "2477", "20186", "23231", "1216", "28387", "27930", "19032", "25083", "1986", "28619", "2196", "26116", "21150", "26242", "1064", "1854", "22028", "20549", "27859", "22941", "12059", "18179", "24336", "11784", "18241", "29480", "22705", "2067", "25181", "106", "22198", "24211", "27257", "29472", "25176", "2037", "29531", "776", "678", "27576", "28432", "29016", "19001", "9563", "18826", "26466", "20048", "1625", "27633", "27543", "25056", "12685", "29463", "26537", "19916", "28994", "23020", "22591", "23321", "29030", "12335", "18958", "29106", "20461", "29602", "3413", "26679", "19088", "24314", "9714", "12765", "18744", "2608", "469", "26442", "24415", "3129", "815", "18717", "1179", "10124", "22792", "21013", "25841", "24407", "3143", "12354", "1289", "2386", "24014", "19287", "29342", "28221", "2630", "13438", "1462", "26579", "13063", "22105", "28408", "27854", "1582", "25447", "13904", "21581", "12061", "29821", "11802", "18476", "18332", "18185", "29873", "26885", "20212", "21822", "2329", "1340", "19501", "12870", "18100", "1004", "21584", "28635", "26705", "14071", "9656", "23348", "28957", "21686", "28860", "9984", "20956", "26995", "26218", "30130", "19011", "13976", "29916", "22980", "27519", "28110", "18245", "23899", "1101", "23870", "3502", "9952", "9722", "26662", "27185", "27076", "697", "22374", "24027", "12547", "21916", "21602", "25291", "20285", "601", "24996", "22272", "19309", "18429", "26058", "19524", "29865", "9560", "24859", "1384", "13472", "2218", "19711", "25763", "26948", "18916", "13822", "3116", "19909", "29636", "2656", "26493", "18184", "23706", "27626", "26697", "24783", "22340", "20092", "11996", "28355", "457", "18782", "27973", "20365", "18401", "21319", "10095", "29181", "24026", "23350", "10170", "19181", "28178", "19226", "28260", "25852", "10117", "26582", "1097", "26821", "19090", "28245", "23871", "22295", "23939", "1560", "20133", "10147", "19650", "19217", "20083", "30210", "21265", "9932", "26335", "21112", "25986", "28940", "23191", "21450", "13468", "683", "27851", "24090", "839", "14050", "19411", "20080", "27164", "28743", "28088", "20061", "11942", "836", "29367", "13443", "20787", "14161", "22099", "548", "782", "20551", "19016", "20247", "23626", "1564", "2395", "2700", "12383", "1432", "23094", "19904", "28394", "26721", "14129", "26833", "2674", "27430", "12492", "480", "18143", "21522", "26779", "243", "29728", "19201", "2638", "28783", "25864", "1905", "28714", "22679", "18015", "26804", "29645", "20982", "237", "23307", "27450", "25803", "29009", "2121", "26099", "29180", "13760", "1703", "26877", "21998", "109", "19395", "1116", "27671", "25823", "26758", "21708", "2899", "19494", "29019", "22734", "13714", "25125", "29331", "18004", "2291", "25480", "29204", "28098", "30076", "18747", "10192", "19185", "107", "14165", "29933", "13377", "18864", "1041", "1999", "12097", "27739", "18966", "598", "29440", "3283", "476", "29912", "28409", "18014", "12903", "24586", "26762", "11976", "21225", "18210", "24943", "21108", "28624", "1408", "18289", "22877", "12455", "25890", "12920", "27003", "21454", "21277", "26263", "2003", "28452", "2871", "29363", "22280", "25681", "28898", "30080", "2369", "26479", "20964", "24184", "21748", "487", "1982", "24194", "18087", "24564", "30222", "18315", "18020", "24718", "1192", "25265", "29674", "2347", "21627", "29799", "26020", "21941", "28063", "17991", "25847", "26514", "23822", "29644", "13094", "950", "28419", "12404", "27688", "1453", "28681", "25708", "24581", "25777", "10139", "21948", "24679", "28556", "18167", "2538", "14228", "3252", "23549", "25134", "28003", "3211", "2913", "586", "29312", "27177", "12572", "25488", "26247", "26541", "418", "759", "12729", "3039", "19136", "13702", "28496", "21309", "1805", "24867", "1845", "28959", "25722", "18625", "29326", "63", "24401", "13838", "29866", "18219", "1367", "20585", "21687", "27435", "27306", "19092", "26720", "177", "18640", "23662", "20054", "23365", "26853", "28279", "24190", "1897", "18668", "30177", "22", "1715", "24698", "518", "2229", "20815", "23482", "11997", "23580", "20936", "27780", "29603", "217", "26813", "29303", "19796", "18746", "13141", "19689", "18277", "19316", "22213", "18072", "26968", "27936", "29457", "14229", "23462", "26161", "760", "27115", "13867", "13925", "30105", "1092", "21381", "23557", "2391", "28630", "24045", "488", "20816", "25352", "13844", "1003", "3312", "2758", "28982", "29397", "28466", "26404", "387", "28474", "26596", "23342", "20301", "13209", "29794", "26706", "22646", "259", "23460", "24050", "1110", "18950", "23657", "27338", "13459", "21576", "24773", "10163", "500", "20746", "1540", "24171", "28147", "12631", "26182", "24732", "28504", "10130", "26912", "21631", "21791", "25889", "13918", "28514", "21075", "2583", "18228", "27263", "27582", "1508", "9846", "2984", "1559", "27037", "27390", "29467", "21573", "26390", "774", "29356", "2021", "29900", "11866", "19730", "2154", "2924", "9652", "18623", "22628", "25813", "1893", "2596", "19241", "23184", "191", "17997", "18709", "23655", "22906", "25415", "28833", "27212", "21281", "25669", "20834", "1569", "26134", "18337", "21169", "21567", "2731", "19437", "11863", "71", "1374", "2635", "9704", "20467", "20643", "19981", "22354", "1918", "22516", "28858", "22328", "19789", "22486", "22560", "2328", "22863", "27158", "2912", "2683", "27500", "23639", "29438", "24663", "2456", "21128", "18584", "1465", "18631", "27622", "23152", "25915", "18795", "28584", "20227", "2280", "12789", "20561", "10088", "1479", "2100", "268", "11998", "9917", "19343", "12435", "13406", "26930", "26175", "2371", "22736", "530", "26763", "2461", "21786", "27789", "26120", "19355", "1299", "27938", "21097", "22124", "28231", "13590", "638", "29220", "28323", "18818", "1721", "20726", "21135", "23556", "19373", "138", "29607", "29831", "708", "22834", "1106", "27885", "30025", "1468", "2225", "18762", "103", "19098", "28240", "2431", "24243", "11986", "22818", "19674", "21031", "24088", "1478", "18067", "27270", "18281", "23438", "28248", "20864", "28422", "26528", "26366", "507", "2292", "20512", "27007", "22992", "17998", "27769", "22420", "19671", "29573", "14012", "18256", "10122", "18326", "21954", "1631", "12648", "22586", "453", "18500", "19824", "23625", "13673", "26125", "19062", "29257", "26232", "20763", "13008", "29035", "9562", "30208", "23832", "29448", "29544", "22133", "23451", "1421", "20159", "12755", "1753", "13534", "20395", "19930", "24104", "27536", "14043", "12046", "1736", "27951", "1429", "26534", "29280", "3276", "1203", "20377", "18511", "27763", "2206", "12483", "30187", "18239", "13553", "24067", "20214", "693", "1796", "2041", "27837", "24690", "27006", "26729", "21919", "10003", "13426", "128", "12540", "9858", "18445", "28704", "21111", "13910", "19170", "20084", "20786", "26700", "19490", "235", "2449", "25208", "1291", "26797", "29263", "29021", "25059", "1801", "18097", "29054", "26983", "21720", "20398", "13852", "29575", "12410", "30139", "616", "22375", "25048", "2592", "26093", "25316", "13028", "10156", "324", "13968", "27908", "12434", "26192", "20370", "194", "14067", "23810", "3468", "26301", "30061", "2185", "27218", "29414", "29883", "22257", "28845", "22432", "11780", "794", "1659", "23688", "28198", "1404", "18173", "13419", "2308", "18722", "13521", "20953", "22815", "1360", "2530", "19219", "25800", "27737", "19312", "18023", "18374", "1247", "27917", "28093", "27697", "26969", "24138", "21007", "12365", "25687", "29018", "29981", "24376", "2467", "13726", "18678", "19364", "2804", "22895", "20667", "25805", "25537", "13007", "27135", "20178", "27268", "20563", "27703", "28835", "23370", "27663", "21464", "13944", "26305", "29078", "24858", "3300", "2316", "19110", "22444", "27108", "19058", "19145", "28692", "23748", "27645", "60", "21447", "29325", "13526", "2693", "22618", "823", "29444", "25267", "24589", "21977", "27918", "25912", "25653", "18372", "13771", "27452", "28964", "21473", "12722", "29902", "317", "501", "18018", "13974", "19111", "23278", "29308", "28397", "24832", "740", "20085", "70", "12916", "18602", "22482", "23977", "25062", "21967", "595", "22018", "29587", "28252", "28907", "26243", "28600", "23825", "26257", "18714", "1579", "18175", "29875", "18874", "266", "26553", "2209", "22790", "1013", "28080", "13191", "12990", "28171", "27860", "2632", "21892", "24141", "22511", "22192", "19721", "18939", "304", "12532", "25366", "10128", "12681", "22535", "9922", "19336", "26824", "1998", "29434", "12496", "27184", "24913", "10201", "20230", "14086", "20222", "18094", "18859", "1624", "19818", "29808", "28718", "18268", "1602", "26538", "29721", "2284", "24920", "26210", "2297", "368", "27978", "27269", "18863", "19984", "1251", "19232", "835", "1470", "13864", "13177", "2175", "29186", "18024", "26574", "12262", "19325", "21407", "1113", "2036", "21092", "28384", "19929", "29843", "27301", "12460", "17999", "3361", "20699", "28109", "28052", "13307", "25781", "2421", "25307", "13568", "22313", "20912", "26803", "27295", "19439", "29801", "27956", "18848", "2447", "378", "2338", "12389", "24134", "28096", "18643", "20402", "26121", "21674", "208", "20139", "28390", "9743", "981", "18164", "18589", "19440", "26583", "14082", "24461", "789", "18514", "28757", "28678", "18406", "24167", "26649", "13227", "28468", "19617", "24365", "23746", "20874", "24198", "25314", "26005", "23910", "14040", "12485", "18144", "2102", "22830", "28169", "9529", "2334", "1633", "18935", "26727", "20876", "12168", "28456", "26814", "25788", "9634", "19631", "18108", "1109", "28970", "22403", "28191", "130", "13134", "23759", "25135", "9816", "18827", "21807", "19496", "3215", "1269", "21910", "12325", "14260", "1066", "19471", "3175", "3474", "29984", "20943", "26220", "28822", "350", "27662", "9568", "3022", "27093", "20169", "22688", "21603", "1543", "26847", "29100", "227", "1377", "2965", "19589", "20248", "22350", "24514", "366", "797", "9797", "166", "600", "29762", "27386", "23713", "18079", "19051", "29164", "20102", "29659", "14230", "19137", "19171", "24469", "23356", "2190", "29545", "25780", "19079", "25595", "20189", "21032", "18432", "18776", "2826", "13452", "9533", "29351", "10197", "29571", "14130", "29514", "23888", "24161", "28774", "28655", "26520", "29028", "25249", "27802", "1717", "18390", "21402", "26765", "25306", "10014", "886", "21241", "13721", "704", "19125", "1471", "19031", "22868", "2548", "684", "29592", "20325", "23363", "27261", "299", "23955", "18237", "24136", "23047", "610", "21387", "1093", "1733", "20725", "2150", "19360", "24164", "25954", "12349", "26590", "20996", "21291", "20278", "12793", "24370", "24142", "12459", "21478", "2152", "19714", "23627", "12662", "12898", "3126", "9884", "18460", "11816", "13649", "29436", "2236", "148", "13506", "27", "26214", "28082", "26888", "19642", "604", "29198", "23852", "28431", "10007", "19168", "2942", "755", "21133", "18123", "26593", "12556", "26920", "18282", "2078", "1048", "10065", "14208", "28021", "18917", "24503", "21165", "9758", "21529", "19224", "28351", "3182", "18815", "21416", "27378", "23396", "13057", "1141", "11793", "12751", "13342", "9976", "24316", "1535", "26472", "10145", "1576", "29057", "2879", "14258", "26046", "28744", "26440", "29497", "26801", "24277", "13317", "22668", "9961", "21218", "24162", "25877", "21287", "635", "623", "23996", "12955", "2375", "21178", "2411", "18381", "29892", "28148", "27702", "22610", "23907", "28790", "3156", "28061", "437", "20319", "19459", "22667", "10127", "21365", "29562", "25742", "9838", "27499", "2662", "23471", "26254", "24114", "28639", "13499", "24880", "14157", "23605", "26927", "29924", "27814", "26373", "23111", "9711", "18449", "23518", "24339", "21005", "21928", "28938", "18575", "25745", "9765", "1756", "22238", "22057", "27195", "1656", "1780", "2715", "23011", "19683", "18475", "27445", "26044", "26092", "18338", "2956", "21799", "19155", "19216", "29929", "19220", "22867", "23177", "21692", "1282", "27375", "2466", "786", "13891", "26711", "1997", "22392", "27394", "2646", "19578", "20972", "10175", "26394", "3545", "1380", "22645", "2242", "19023", "22772", "23443", "23304", "28544", "18506", "1767", "28589", "462", "3213", "20036", "13308", "289", "27991", "12796", "1257", "12391", "19634", "12660", "28699", "27454", "18028", "1431", "3159", "24140", "2117", "18931", "2865", "21110", "23398", "20439", "2145", "18637", "12277", "26342", "23151", "13473", "22854", "21917", "1989", "1507", "22876", "29441", "27002", "26034", "18666", "14155", "28251", "1548", "20281", "25870", "29237", "19575", "23803", "18206", "25738", "20534", "20535", "28836", "1396", "1249", "2287", "29270", "1098", "28111", "28337", "10026", "1198", "28908", "26176", "21553", "28953", "29304", "19292", "19464", "20098", "13983", "23072", "19956", "2299", "3306", "18199", "24747", "20577", "18938", "24995", "26933", "1030", "18051", "21930", "19778", "9853", "9981", "18806", "18635", "30128", "27371", "12871", "27449", "9904", "21115", "24545", "14047", "27455", "26298", "664", "23828", "22788", "1319", "26600", "26575", "2278", "1024", "28142", "20291", "25694", "19570", "9772", "22653", "9654", "27168", "26126", "19799", "23887", "25105", "18484", "23673", "24724", "25406", "29507", "18981", "556", "28271", "24086", "25574", "29115", "24656", "22085", "2168", "23026", "19731", "27891", "28092", "26939", "893", "18603", "29026", "19819", "18137", "23403", "26258", "23829", "22616", "26834", "412", "2762", "23425", "25296", "26589", "2509", "19835", "27594", "20347", "28490", "26633", "9712", "22078", "22773", "3407", "20253", "22441", "23969", "20047", "13858", "27481", "2255", "22325", "18367", "2208", "2888", "20300", "2107", "19229", "14219", "210", "19104", "28813", "18873", "26527", "659", "7", "20005", "29696", "25984", "21777", "18080", "11832", "1601", "25229", "11819", "24307", "19804", "2846", "27199", "29135", "21502", "3057", "24174", "22466", "9750", "9781", "29317", "22717", "28330", "28421", "22606", "1944", "25972", "12825", "19720", "26773", "2469", "27494", "24129", "19416", "28578", "20127", "12183", "1103", "22592", "26002", "18126", "25061", "460", "477", "2341", "25892", "20881", "28321", "23144", "29122", "28139", "73", "361", "12266", "26149", "1875", "1554", "20063", "12707", "9859", "2031", "22471", "28695", "23780", "26718", "30041", "19429", "9524", "12441", "866", "18059", "10196", "27224", "27798", "23417", "28735", "20626", "22588", "1273", "30110", "29505", "13458", "23448", "1923", "27897", "13612", "13994", "18568", "20716", "27513", "1130", "26567", "22537", "18693", "24531", "20403", "10155", "19178", "20896", "1311", "2703", "3303", "2390", "2005", "22671", "27052", "479", "1317", "29779", "13571", "9526", "26431", "270", "18211", "27621", "28568", "24633", "30169", "3379", "19227", "24007", "1856", "20741", "12661", "1750", "22524", "2893", "25379", "13757", "26014", "21235", "13496", "18555", "11894", "1412", "19508", "13400", "21114", "29624", "21881", "2288", "19654", "22051", "24232", "20983", "18857", "42", "12800", "29634", "19022", "18759", "3307", "14152", "10165", "1709", "13548", "27026", "505", "20631", "2422", "192", "723", "22752", "18300", "3299", "28812", "20586", "29151", "21765", "25734", "1296", "18064", "24850", "18841", "27391", "19949", "24881", "18138", "26204", "24667", "29005", "11830", "18883", "9509", "27488", "328", "22945", "363", "19222", "11853", "24955", "19177", "28412", "13589", "22813", "28339", "27334", "28103", "9530", "10075", "26962", "21555", "24803", "25322", "27130", "26430", "29328", "13739", "25425", "21288", "9891", "21811", "13356", "13206", "25929", "25335", "24377", "12628", "21986", "22320", "18482", "1285", "3195", "23017", "14180", "20803", "2047", "21568", "20053", "28543", "30170", "19980", "20595", "3285", "23550", "27240", "27762", "26197", "21149", "9618", "29242", "9751", "10167", "29320", "20794", "29500", "26417", "1679", "27998", "23238", "27931", "29945", "30037", "28364", "3430", "25837", "23495", "27832", "27153", "19344", "12748", "22650", "11862", "21676", "28535", "23873", "24016", "21413", "12223", "24250", "2535", "300", "23546", "20883", "25418", "21691", "854", "2114", "30091", "1250", "19208", "23903", "1419", "22699", "21311", "9861", "19782", "18577", "2855", "10111", "18265", "23741", "26085", "12039", "25049", "24191", "18654", "19874", "19765", "27287", "19860", "13135", "284", "21639", "22657", "5", "30220", "2311", "1060", "19897", "19669", "23302", "18086", "27310", "1785", "788", "19791", "1469", "489", "1243", "1840", "28807", "24759", "23676", "23021", "1652", "207", "22094", "135", "2992", "19152", "9585", "18118", "26376", "13463", "20506", "18687", "21716", "26215", "18483", "2238", "1534", "29574", "1513", "25938", "2671", "18243", "20375", "28634", "23305", "19753", "10181", "18891", "1488", "18005", "22284", "21762", "21508", "3010", "24119", "18325", "26628", "25830", "1314", "29076", "26875", "25647", "24540", "553", "19663", "12474", "28214", "12130", "9572", "21263", "23669", "24973", "22146", "27194", "22184", "29591", "21245", "27829", "26359", "26148", "2174", "25565", "27198", "1551", "19882", "9782", "558", "28658", "20185", "25382", "652", "28318", "26027", "466", "28074", "12371", "12166", "1603", "2068", "19252", "20500", "24425", "18761", "19565", "13953", "24383", "12071", "24874", "29103", "2951", "12644", "23984", "13374", "29663", "21272", "24346", "2576", "22681", "1279", "21229", "762", "19728", "27686", "27482", "24487", "9966", "18611", "491", "22744", "9881", "21185", "27018", "27554", "2135", "27353", "1371", "23983", "25315", "13138", "18224", "14176", "19310", "18111", "22203", "29261", "161", "12752", "2062", "18551", "26551", "13975", "28542", "18957", "12565", "77", "12794", "27373", "28799", "808", "12218", "27102", "1596", "26433", "23227", "18121", "3458", "12360", "20793", "20059", "573", "1181", "23723", "29805", "20558", "27788", "12065", "19932", "12067", "29487", "761", "23379", "21485", "24638", "23528", "253", "2540", "18186", "2618", "29590", "25963", "19510", "12393", "1186", "18135", "9921", "28347", "20097", "20421", "28785", "22286", "1239", "9680", "21247", "22660", "20225", "27347", "28529", "19065", "12589", "3248", "22864", "20064", "21027", "24084", "18824", "20484", "21782", "21167", "18791", "19382", "1956", "18925", "19173", "27778", "30072", "12457", "20572", "23937", "29615", "22483", "24272", "19131", "20035", "24342", "26892", "18045", "9515", "18454", "25838", "12613", "20487", "18847", "21833", "27139", "12468", "2137", "23293", "27408", "565", "24828", "1995", "18016", "28643", "23584", "24595", "28479", "3533", "29471", "2199", "18911", "28033", "28160", "20337", "2905", "23847", "29269", "29568", "2553", "9852", "28732", "9900", "9957", "64", "19083", "20827", "26953", "26188", "19637", "27436", "3524", "3439", "29086", "22519", "20450", "1649", "13763", "29465", "23435", "26396", "13594", "13855", "22936", "19622", "27307", "29581", "24023", "13369", "29298", "20147", "2961", "28650", "2627", "18330", "13043", "29340", "29610", "29143", "23816", "24154", "26781", "29783", "29322", "24209", "25899", "26043", "25608", "9488", "429", "23116", "23664", "406", "26941", "23674", "966", "23250", "20111", "1532", "28207", "20206", "25735", "14158", "22598", "26403", "1158", "21067", "27949", "1692", "9766", "22990", "30070", "28284", "28208", "28078", "28738", "19443", "27046", "13510", "20112", "19723", "23845", "9517", "21057", "19559", "25996", "27667", "10001", "11892", "23538", "22543", "19180", "23953", "22202", "22267", "24416", "658", "2198", "772", "29249", "12315", "3434", "23325", "22809", "28723", "11993", "24730", "274", "13686", "1197", "1739", "21107", "28605", "21830", "22437", "187", "23099", "1400", "18799", "2066", "29593", "669", "10037", "784", "125", "9667", "29967", "25773", "27744", "1954", "23076", "18985", "2981", "19365", "26127", "27589", "1783", "14121", "27370", "9650", "19527", "26985", "23225", "16", "26248", "26477", "22899", "13732", "29492", "27990", "23313", "18785", "22048", "19127", "19816", "30096", "9811", "18970", "28247", "20538", "21821", "30046", "13729", "27947", "26405", "1799", "28528", "24056", "22763", "27607", "26446", "30168", "21981", "23856", "27728", "28058", "29793", "10043", "727", "26740", "2089", "19736", "18689", "28299", "3217", "27609", "18588", "22474", "27889", "27841", "654", "2253", "200", "1716", "12377", "3426", "83", "29079", "24103", "424", "24364", "23960", "9649", "21878", "28941", "24212", "21880", "22884", "25073", "29274", "19138", "25293", "20757", "22377", "21500", "22985", "13172", "30190", "25783", "19817", "27590", "18865", "976", "19422", "2252", "19318", "2860", "26859", "13154", "28698", "3267", "24270", "21295", "25961", "29423", "18571", "22399", "18229", "22489", "20759", "19026", "29930", "1320", "24533", "9505", "28980", "22914", "28099", "26858", "26355", "13107", "19461", "27632", "18784", "12773", "18670", "24516", "24287", "23859", "29372" ], "2": [ "4236", "8287", "7792", "6898", "8506", "15324", "14816", "14805", "15468", "17414", "10463", "5971", "11547", "4970", "7097", "16358", "16022", "8492", "6975", "16847", "17709", "7128", "4139", "11319", "10317", "11653", "11503", "5105", "7222", "6343", "16732", "7595", "16540", "15373", "14646", "15196", "11227", "8636", "3892", "10428", "16361", "17490", "17656", "15124", "16422", "15430", "16160", "16040", "5633", "14772", "10690", "14718", "16678", "16235", "15604", "17846", "6001", "14950", "16757", "4789", "4719", "5631", "15442", "17557", "7711", "17679", "14880", "8062", "5048", "11411", "6265", "15297", "17752", "17187", "17905", "16200", "16880", "16274", "8450", "8653", "6004", "10322", "6838", "5425", "9466", "7339", "16118", "6799", "4822", "10557", "17213", "11416", "6302", "16701", "17938", "15072", "15222", "17155", "11571", "17633", "15010", "10378", "6995", "16724", "5822", "6033", "9317", "17894", "5672", "14971", "10549", "14546", "15397", "15566", "15681", "7991", "10485", "14753", "8289", "17136", "14651", "5924", "11162", "14776", "11424", "10545", "11598", "15259", "5175", "6707", "15451", "17462", "15767", "3562", "15801", "3878", "9236", "6540", "15985", "10315", "11697", "11116", "15571", "17169", "17465", "3793", "11288", "8877", "4331", "15180", "8009", "16982", "6241", "5227", "16124", "5239", "16248", "4581", "11262", "4165", "17629", "16852", "5209", "11717", "7086", "8937", "14590", "14810", "10800", "17738", "14401", "15190", "15103", "15060", "16244", "11174", "10293", "7948", "16751", "4498", "14381", "11384", "4856", "7917", "4421", "10305", "16070", "5015", "15001", "17236", "8399", "17862", "15603", "4473", "14413", "14545", "10391", "3926", "5066", "15610", "4074", "16635", "6409", "16940", "16565", "16001", "17683", "9397", "5558", "17966", "10348", "7142", "17536", "16686", "14758", "15923", "14749", "15215", "14606", "10693", "16311", "14434", "5525", "8408", "7280", "7868", "8596", "8686", "17722", "17269", "9206", "6123", "7483", "3945", "6331", "10684", "15758", "16428", "14689", "8870", "16046", "4825", "7662", "17791", "11329", "8553", "11049", "7003", "10426", "8761", "16395", "10974", "16052", "15867", "5674", "5060", "15813", "16007", "16396", "5454", "5712", "16753", "14268", "15624", "17624", "7865", "4672", "16189", "10529", "17579", "3616", "10419", "10962", "4992", "17540", "17975", "14948", "17040", "17487", "15792", "16308", "9296", "8557", "10715", "14533", "14372", "6231", "17562", "6029", "16171", "8649", "4457", "17803", "17400", "10865", "6933", "17808", "5479", "7072", "8511", "6124", "9400", "4455", "15830", "7652", "14843", "4918", "5487", "6720", "7419", "11715", "15619", "11038", "17396", "15599", "11056", "11255", "3680", "6930", "5371", "9042", "5792", "15763", "6282", "8378", "6412", "7691", "15083", "6681", "10453", "11328", "4627", "4590", "7349", "16842", "11290", "17224", "10872", "16152", "16019", "15480", "17496", "5404", "17520", "15529", "17677", "5658", "17951", "7631", "17335", "7503", "4532", "9350", "10621", "17437", "17847", "10615", "16854", "16233", "17665", "5883", "11511", "4548", "15984", "7289", "11542", "7677", "11453", "14720", "16888", "8978", "15817", "3850", "17298", "11140", "7522", "14456", "17268", "15161", "15314", "15561", "5959", "15921", "10367", "10636", "15798", "10904", "14307", "7463", "17138", "16673", "7977", "8329", "7031", "11091", "9354", "15029", "6948", "9322", "4607", "16359", "11727", "17910", "5355", "6408", "6699", "15155", "8661", "16109", "14857", "6245", "14653", "16130", "11031", "16104", "5727", "15058", "8983", "10762", "7846", "14894", "14604", "4732", "10642", "7417", "11684", "17276", "14783", "14725", "6077", "14576", "17555", "4255", "8405", "16011", "6576", "16495", "10877", "6510", "7061", "14558", "7064", "8609", "8813", "11676", "9308", "10975", "10376", "15130", "7154", "6894", "16577", "11454", "16519", "14360", "11182", "14418", "14811", "11677", "17480", "17843", "8226", "10606", "15698", "5876", "17404", "15993", "17049", "6227", "6997", "8987", "17373", "10611", "17166", "17215", "16544", "6336", "9405", "7878", "10881", "5913", "3963", "10211", "10440", "6445", "7382", "4528", "5643", "7163", "10736", "4629", "11450", "17283", "16615", "7028", "10360", "15092", "8650", "7116", "8246", "16777", "8697", "17062", "6755", "8810", "16949", "4833", "8808", "16746", "5962", "17651", "4259", "16728", "6000", "15279", "5044", "15160", "10713", "17093", "14934", "17616", "16740", "7284", "7362", "7653", "11648", "15122", "16139", "17450", "8867", "16983", "17796", "15520", "17794", "3709", "6371", "4914", "11171", "10311", "8291", "7114", "15079", "11148", "15392", "8346", "17834", "17676", "10272", "9083", "6030", "8989", "7648", "7646", "8135", "16136", "14608", "16456", "3862", "17442", "7178", "15816", "6388", "4980", "7485", "8677", "6074", "6131", "15495", "9412", "3704", "6138", "11402", "6416", "14681", "3566", "6199", "7065", "15854", "15938", "14699", "7583", "16952", "11015", "10232", "11055", "5713", "14657", "10651", "17158", "14706", "17672", "11578", "7520", "17274", "15544", "7407", "16390", "6267", "15746", "5204", "4244", "14974", "15095", "14726", "9258", "5646", "14827", "4628", "6132", "8179", "8639", "14708", "14356", "10889", "8777", "6572", "14713", "7640", "14792", "8316", "17046", "3826", "6780", "8348", "15542", "14478", "7891", "11283", "10457", "10869", "5788", "16502", "16036", "11070", "5189", "10698", "14929", "15822", "8376", "10220", "8606", "17438", "7701", "10738", "5442", "3808", "6148", "17057", "7374", "16008", "8191", "10509", "16557", "15220", "3758", "11638", "17319", "11152", "17229", "16016", "11156", "6044", "10825", "7528", "17678", "4910", "16744", "6023", "11354", "14644", "7198", "15858", "6169", "11261", "3636", "17506", "9399", "15986", "5614", "10849", "14510", "4189", "9118", "4994", "4996", "8545", "16270", "14354", "9090", "17644", "5305", "17597", "8788", "14976", "16454", "8897", "14946", "10705", "16789", "5932", "10868", "8326", "15545", "8144", "11550", "11363", "16896", "15237", "4225", "10547", "14458", "15692", "5670", "5485", "11739", "7571", "5537", "6167", "15386", "11600", "10605", "9230", "16125", "6306", "16906", "6951", "15156", "6843", "10515", "8401", "5795", "6878", "15242", "17053", "7546", "8719", "14846", "15359", "15023", "17712", "6978", "17820", "14642", "8151", "7724", "9394", "11286", "15142", "16587", "4386", "15872", "11481", "14445", "4196", "16443", "14626", "11129", "4089", "15787", "6347", "4626", "7465", "4182", "7739", "17106", "15832", "15443", "7590", "15890", "10808", "4810", "4334", "15502", "3967", "17503", "16690", "3932", "11210", "7853", "17252", "8074", "11534", "7945", "4738", "4284", "5307", "10387", "15714", "8265", "4951", "16127", "17124", "15706", "11532", "6090", "15440", "4492", "4745", "17798", "4580", "10312", "15747", "6875", "17537", "3759", "17618", "8851", "16962", "16186", "7038", "10804", "7654", "14310", "9266", "8611", "17575", "14942", "8834", "10672", "15473", "5385", "5372", "17098", "14826", "7396", "10281", "8055", "14384", "16916", "9078", "8061", "6508", "15174", "7270", "7277", "4181", "10345", "15405", "15846", "7732", "14544", "17147", "10993", "15927", "10591", "16924", "8220", "6106", "14484", "10707", "14467", "10526", "14679", "17848", "6320", "3621", "16801", "15972", "14304", "16014", "17653", "8956", "16984", "5072", "8514", "8369", "10638", "10500", "7036", "10781", "17594", "9009", "17383", "8069", "8713", "6820", "14275", "15224", "7844", "5426", "8702", "4185", "16265", "16167", "10941", "7565", "6544", "5059", "6328", "10498", "11584", "5796", "8916", "14737", "15267", "10530", "8070", "11104", "10316", "10667", "11569", "17366", "4210", "17329", "11529", "8375", "3849", "17303", "5273", "10719", "15067", "17356", "8997", "4868", "14970", "14435", "16226", "5735", "5520", "6619", "4943", "8413", "9063", "5093", "6883", "10688", "15305", "7702", "16382", "10503", "5690", "11683", "5430", "14280", "11614", "14791", "6170", "7964", "5919", "16191", "4071", "15580", "10474", "11220", "4782", "15296", "3589", "16994", "16826", "15210", "17602", "16425", "5731", "4645", "17603", "11469", "16201", "5373", "10840", "8586", "15956", "3629", "15696", "3930", "17375", "7676", "11659", "5205", "15704", "4355", "17981", "10408", "11371", "3947", "7929", "8864", "16482", "16219", "16304", "3992", "10543", "6177", "8101", "14919", "11257", "11493", "14482", "17270", "8805", "17248", "11266", "16538", "17892", "15270", "6462", "8542", "11010", "16003", "17813", "11573", "11340", "5339", "9102", "14592", "14911", "17363", "4191", "5620", "17024", "4879", "4884", "10709", "11338", "10572", "5401", "7751", "9054", "5361", "7576", "8001", "7935", "10332", "3845", "8726", "10826", "6828", "14380", "16057", "14744", "9015", "14780", "6968", "16033", "15797", "16802", "8926", "16378", "17094", "5334", "5391", "14794", "14303", "3942", "17882", "11320", "4899", "15179", "16548", "11707", "6764", "16790", "15316", "17145", "15256", "4480", "4616", "6203", "9295", "10773", "14530", "15708", "9043", "5866", "5118", "6816", "7611", "14818", "14876", "9415", "16317", "14317", "3999", "5124", "8512", "5898", "17330", "16756", "17965", "8391", "10860", "4845", "14746", "4085", "10810", "8050", "11510", "6658", "16563", "4865", "16269", "6818", "16261", "16470", "15055", "8675", "17942", "14921", "17309", "14891", "15255", "6772", "5901", "16126", "14507", "8078", "6630", "4116", "10630", "10394", "10703", "4523", "8242", "9274", "8928", "14667", "14365", "8023", "7093", "6235", "3587", "10410", "6696", "8284", "17233", "16077", "15968", "9107", "11207", "16207", "4808", "15116", "10654", "14752", "4821", "14895", "11496", "11673", "17174", "4105", "7025", "17638", "10225", "5402", "8306", "10863", "6197", "3887", "5007", "8187", "16923", "11333", "9001", "10304", "8704", "8743", "10745", "7700", "15620", "3678", "17355", "10918", "14521", "5885", "17455", "11561", "17871", "10973", "14629", "17398", "3834", "17336", "8915", "8221", "8240", "14640", "16210", "10375", "15651", "9198", "17911", "11365", "15483", "17445", "15337", "4166", "11735", "5463", "8236", "16234", "4913", "15594", "3990", "15669", "8018", "5243", "17685", "6111", "11525", "7022", "3925", "8868", "16281", "5554", "11460", "17647", "11075", "7008", "17639", "14674", "3657", "17780", "4961", "14939", "10475", "5590", "17482", "15954", "16536", "11390", "16629", "8421", "14400", "14570", "8657", "15335", "11635", "5159", "10870", "17240", "5973", "16180", "8021", "16194", "14745", "11035", "6548", "9082", "15425", "8942", "17700", "16328", "17833", "15048", "3959", "14849", "16506", "10979", "3591", "17028", "15157", "16998", "5911", "10267", "14625", "8036", "8535", "10491", "15110", "15843", "9323", "11124", "14320", "11618", "14412", "15559", "10898", "14935", "9427", "17451", "15339", "6052", "9161", "9431", "5805", "17091", "15967", "17357", "11101", "17428", "14666", "17463", "16539", "5668", "15330", "14415", "16819", "16605", "17294", "10730", "11304", "4160", "14479", "5022", "4805", "5831", "14396", "6842", "14321", "16828", "14912", "11306", "6312", "14447", "10563", "17724", "5006", "10827", "14352", "17549", "11619", "11242", "14774", "10406", "14761", "16320", "3744", "15040", "6686", "10985", "16197", "15170", "16448", "16303", "15836", "15609", "11025", "4666", "8888", "6286", "5745", "16463", "4013", "10326", "15341", "17245", "7490", "17954", "10832", "9069", "6486", "4403", "15455", "10399", "6695", "14897", "6980", "15406", "10554", "14986", "11264", "10537", "7095", "10819", "8223", "5441", "4429", "3817", "6045", "10495", "5603", "10307", "15070", "16592", "15063", "16402", "9068", "10555", "5158", "4864", "17735", "16665", "16113", "10434", "7165", "10839", "4158", "17242", "15738", "5649", "10942", "10456", "17362", "15647", "5326", "14633", "10960", "14703", "14851", "16840", "15939", "7765", "17179", "6244", "17189", "15331", "8296", "5166", "17211", "10702", "8294", "17630", "15007", "14847", "4772", "6057", "4135", "16140", "15429", "6304", "11404", "11689", "17149", "15637", "7089", "16183", "10370", "15622", "7477", "11608", "11710", "17858", "16166", "8044", "9424", "14671", "10945", "5029", "17345", "7311", "16306", "16677", "17449", "5378", "14662", "15999", "15909", "8103", "16268", "6053", "10632", "7834", "11155", "10238", "7210", "3702", "6550", "4019", "3976", "16644", "17395", "10596", "11009", "17669", "5541", "15422", "8370", "17025", "10295", "10922", "15287", "5692", "7536", "11062", "15401", "6383", "6344", "17188", "16093", "10265", "16225", "11059", "15214", "4653", "3735", "11114", "14366", "6073", "10830", "15081", "14579", "6727", "17733", "10992", "7556", "11374", "8827", "17793", "14341", "15631", "16579", "16938", "4187", "15589", "9280", "7079", "16063", "10518", "5045", "4268", "4684", "6183", "15032", "14394", "8688", "17567", "7278", "6803", "16900", "16503", "14824", "15280", "11636", "10511", "11668", "4594", "11467", "14500", "14532", "17246", "11324", "10486", "8597", "16626", "8218", "14433", "16838", "16309", "6198", "17430", "16128", "15068", "3610", "14550", "16520", "6108", "5743", "16009", "9337", "14519", "17746", "3674", "10833", "5954", "7096", "14314", "16748", "7728", "14658", "16993", "16978", "8791", "17563", "11428", "16103", "11678", "11178", "4043", "7326", "15349", "8674", "4340", "17043", "6049", "4123", "15633", "7017", "15046", "11451", "16763", "4667", "16961" ] }, "dataset_name": "lcquad2/test" }, { "total_queries": 383, "analyzed": 382, "parse_errors": 1, "skipped": 0, "skipped_ids": [], "hop_distribution": { "1": 268, "2": 97, "3": 14, "4": 3 }, "hop_ids": { "1": [ "0", "2", "3", "5", "8", "9", "12", "17", "20", "26", "28", "29", "33", "34", "36", "37", "39", "40", "45", "49", "53", "55", "58", "65", "67", "69", "71", "72", "73", "78", "79", "82", "84", "85", "88", "90", "97", "98", "101", "102", "107", "108", "114", "115", "116", "117", "118", "120", "121", "126", "127", "130", "131", "132", "133", "134", "135", "136", "138", "139", "140", "141", "142", "144", "147", "149", "151", "152", "153", "154", "155", "156", "157", "158", "163", "164", "165", "167", "168", "169", "170", "171", "172", "173", "174", "175", "176", "177", "179", "181", "183", "184", "185", "188", "191", "192", "193", "194", "195", "198", "199", "200", "201", "202", "204", "205", "207", "208", "209", "210", "211", "212", "213", "215", "216", "217", "219", "221", "222", "223", "226", "227", "228", "229", "230", "231", "232", "233", "234", "235", "236", "237", "238", "239", "240", "241", "242", "243", "244", "246", "247", "248", "249", "250", "251", "252", "254", "255", "256", "257", "259", "260", "261", "262", "263", "265", "266", "267", "268", "269", "270", "271", "272", "273", "274", "275", "276", "277", "278", "280", "281", "282", "283", "284", "285", "286", "287", "288", "289", "290", "292", "293", "294", "295", "299", "300", "301", "302", "303", "304", "305", "307", "308", "309", "311", "313", "314", "315", "316", "317", "318", "319", "320", "321", "322", "323", "324", "326", "327", "328", "329", "331", "332", "333", "334", "335", "336", "337", "338", "339", "340", "341", "342", "344", "345", "346", "347", "348", "349", "350", "351", "352", "353", "354", "355", "356", "357", "358", "359", "360", "361", "362", "363", "364", "365", "366", "367", "368", "369", "370", "371", "373", "374", "375", "376", "377", "378", "379", "380", "381", "383", "384", "386", "387", "389", "390", "391", "393" ], "2": [ "1", "4", "6", "10", "13", "14", "16", "18", "19", "21", "24", "27", "30", "31", "32", "35", "41", "42", "43", "44", "46", "48", "50", "51", "52", "54", "56", "57", "59", "60", "61", "62", "63", "64", "66", "68", "70", "75", "76", "77", "81", "83", "89", "91", "92", "93", "94", "95", "99", "100", "103", "104", "106", "109", "110", "111", "112", "113", "119", "122", "123", "125", "128", "129", "137", "143", "146", "148", "150", "160", "161", "162", "182", "186", "187", "189", "190", "206", "214", "218", "220", "225", "245", "253", "264", "279", "291", "296", "297", "306", "312", "325", "343", "372", "382", "385", "388" ], "3": [ "11", "15", "22", "23", "74", "80", "86", "87", "96", "105", "124", "159", "203", "310" ], "4": [ "7", "47", "180" ] }, "dataset_name": "qald10/test" }, { "total_queries": 127, "analyzed": 127, "parse_errors": 0, "skipped": 0, "skipped_ids": [], "hop_distribution": { "1": 97, "2": 29, "3": 1 }, "hop_ids": { "1": [ "99", "98", "86", "64", "56", "44", "32", "31", "29", "68", "22", "199", "203", "197", "196", "188", "187", "176", "62", "168", "160", "158", "150", "149", "25", "143", "137", "136", "134", "124", "122", "111", "117", "59", "113", "10", "1", "129", "183", "181", "135", "50", "71", "213", "209", "52", "21", "34", "145", "198", "162", "40", "79", "141", "80", "159", "107", "163", "51", "144", "131", "164", "63", "27", "156", "24", "133", "103", "165", "108", "45", "82", "9", "201", "171", "182", "114", "194", "175", "60", "110", "97", "169", "38", "192", "78", "174", "94", "8", "119", "115", "116", "101", "87", "148", "43", "179" ], "2": [ "84", "66", "49", "42", "214", "173", "166", "157", "140", "139", "104", "178", "39", "105", "102", "212", "211", "120", "151", "207", "15", "13", "92", "19", "190", "189", "95", "138", "177" ], "3": [ "7" ] }, "dataset_name": "qald9plus/test" }, { "total_queries": 348, "analyzed": 348, "parse_errors": 0, "skipped": 0, "skipped_ids": [], "hop_distribution": { "1": 285, "2": 60, "3": 3 }, "hop_ids": { "1": [ "1", "2", "3", "5", "7", "8", "10", "15", "16", "19", "20", "21", "22", "23", "24", "29", "31", "33", "34", "35", "36", "37", "38", "39", "40", "41", "43", "44", "45", "46", "48", "50", "52", "56", "59", "60", "61", "63", "64", "65", "66", "68", "69", "70", "71", "75", "76", "77", "78", "80", "81", "82", "85", "86", "87", "89", "90", "92", "93", "94", "95", "97", "99", "100", "101", "102", "103", "104", "106", "107", "110", "112", "113", "114", "115", "116", "118", "120", "122", "124", "126", "127", "128", "129", "130", "131", "132", "133", "134", "136", "137", "140", "141", "142", "143", "144", "147", "150", "151", "152", "153", "154", "157", "158", "160", "161", "163", "164", "165", "166", "167", "168", "169", "170", "171", "172", "177", "178", "179", "180", "181", "182", "183", "185", "187", "188", "189", "191", "192", "193", "194", "195", "196", "197", "198", "199", "200", "201", "203", "204", "205", "207", "209", "210", "211", "212", "213", "214", "215", "216", "217", "218", "220", "221", "222", "223", "224", "225", "226", "230", "231", "232", "233", "234", "235", "236", "237", "238", "239", "241", "243", "244", "247", "248", "249", "252", "254", "255", "256", "257", "258", "259", "260", "262", "265", "266", "267", "268", "269", "273", "274", "275", "278", "279", "280", "282", "283", "284", "287", "288", "289", "290", "291", "292", "294", "296", "297", "300", "301", "302", "303", "304", "305", "306", "307", "308", "309", "310", "311", "312", "313", "314", "315", "317", "318", "320", "321", "324", "325", "326", "327", "329", "330", "332", "333", "334", "335", "337", "338", "339", "340", "342", "343", "344", "346", "347", "348", "351", "353", "354", "356", "358", "359", "361", "362", "363", "364", "365", "368", "369", "370", "372", "375", "376", "379", "380", "381", "386", "388", "390", "391", "393", "396", "397", "398", "400", "402", "403", "405", "406", "408", "409", "411", "412", "413" ], "2": [ "4", "9", "11", "12", "14", "17", "18", "25", "27", "42", "51", "53", "54", "55", "62", "67", "72", "74", "84", "91", "105", "108", "119", "123", "138", "139", "145", "148", "149", "156", "162", "174", "175", "184", "186", "190", "219", "227", "229", "245", "251", "253", "264", "270", "271", "281", "285", "286", "299", "328", "336", "345", "349", "355", "357", "367", "374", "382", "385", "395" ], "3": [ "121", "125", "155" ] }, "dataset_name": "qald9plus/train" }, { "total_queries": 125, "analyzed": 123, "parse_errors": 2, "skipped": 0, "skipped_ids": [], "hop_distribution": { "0": 6, "1": 38, "2": 59, "3": 13, "4": 6, "5": 1 }, "hop_ids": { "0": [ "7d6d23b28912a30634f030a7dcdc2dfb492fedce892427628406b0862ff27186", "dc163284c3df330cb4f884390700c66bf4ff9a966b72619007857306b18808f2", "fcc3ea3cebe98695e050284488432be9696017d7f872c21a13fb2572d29b5ad8", "8acaa73523dfa9f5b79e43a97bcbe77b5db9251a7df158adab03ec6d64648736", "d80083d2bc2d8622a877141ff65d5d9daf5cd0d6b2a2d89dc52402bf719d6541", "a6b2427d263222bef07578ba0be30e330b0fe6203683bfd8493d4e21ec39961a" ], "1": [ "711f2f46b2bdc79ff326cf2fed9b9a7b118dedf6bad7d176f99a2f4e7d060b72", "c13c61f52e872037a08fbd33fdd6b7c9074a4f9c182d80d1f8c7825798529f43", "c29cbffd743fe4fd297deb001cbec98defda5775733227f8c01bc05f14dc3d48", "37d13f72ba2fcf48336bb05eb8b008704e48d0394aa5fc9988b36f7bc505e823", "ef799f9aeda1259bab8d8ed730727db2060d95f82dd09d67f582160d41c3a557", "a382177f2d4a1fedb73c7fa5f70e0dc28c863673a256e4973c60832b08e12548", "e723648300e7812405b8d9e2ea4e8db258765d97ef1dd1822577d96a03f53fb2", "6da79d4145e71332d35f556b3addbc385e9d0bc720f0b678e23992fd04ea07ec", "f7ca5cff5383c6e27b34e173f803916f95ae3d95064f2af6e032a93d35982207", "cf434e223d6553793a6ed17bb7c58acf613f9d7997fb5fab62e225b018d99d64", "561e2d89a83c2e3d34d9404cda778f8d6e23a1e1cdb7f192d62d9cc6f19ad9ec", "f4d29a107af728e7df121da0d142ab50665c261d97455cc608b376a0b9c3908a", "42eae318f4a26fa28c66ea465c1e782bc923cfc6dea7c2b462296b94e997bfd5", "4cde330bba8af275db48a5df109f91c832342d8616e21c0816bd8481b00b9aba", "ccd78581bbbebed3c36a9cd488e0bd3dcc29f89ed3aec91cd49fec42be821fb5", "02f1e5525853d18c29dafc7d2c99f0b81c2411dcc10aa339accaa190acaabc79", "8d65a366728b2144ec6f71daf541eb0eab7ad6b6e8b197dfb45d80169e150cc8", "7136cfa3865efe9bebcbee6b77114a3b001955bc3b8de3ecffc2e0256867bbbf", "c25075785dc35235932e8940b43bd5b18d75345f0fbc962488dca6305c939ee7", "c35a264fb2d58174ef2001c77af73b73e26d1c660bc01b26276110f64c3db399", "162dfd216fea49ec776c636607f7b2b95463bf20791b740d3001d6c918a740f1", "2e4c39e9a66c130dadf460af5a83b9ff78d58ce06a991d83d56a6eb5d305829f", "557c589f93c777f943614fb174848a16b2a95093346a31d1429f4c5904852a6c", "1a51650ef621e1ce8477c206fdad395043ecd873343f7999bc0b1f0f240a6e2b", "465c36adf9532a25752225504565188548a2d169075cbf269b93cfa7b426c502", "11fc8d59fd7b148e9a4a56c09bffb1b6c752f1647d59bc8753a6603432a2b8fd", "f58ae64e60ecbcc668b9594987b6322211b1b131048247cb80b3fcf9d997ed20", "bfb5ea3c27b0d7682b592c5b49eccf3996b627350d18f478500b1538d9313691", "cad63bd4a4768db4c9475e9c3439a27848aba8000cf83c6962e87707efe76dd2", "d8fcbcd15ea047eaf5344dd7790d0fb596f77b581cd11f1b48ca5535fa1c0931", "496487d5c20b4718a97efd459a35f95b479934e9535367ebeaf5f22c104bdc05", "13e19be1055444be561f230c5ee0e27a843c4d40ce95e42648da3718eedf2e88", "488324945c21f544febc789eba637a670ab6d0b4643e55bcb139df7ca400592c", "371d410ee46bf9ca8bd28632745fa15957b0935ffa3d19faae321c20345bc4fa", "11c888d44ef09e2fb3e017eeae3646ca87e35a1c8ad6fdaf4da3e3d7fd24acd5", "0da164581af21e111745304464ac211568bc96e003e7af2ad6d632287813a1f7", "f25ff0c26e02e6efcc55b3198b528997dca2548bcd300c868b5b43596f4262f6", "edcb97f087826a4af76ed08d0885e6c8a3d8b71e86b2b0e648cf99d380899925" ], "2": [ "d788e01db5f0ed5c2a52a95e763d9d0036fa70a13f715174e6acc33497f9d780", "c36709f8737c47d9f49101f172a6c9913bc803da715df8e64de2eff8f5d1294e", "070101d815fd5c99f5039ee804e03b19b189fc5b1103f890ec58d7f365702f50", "6f88732328124a792df6c06ee91f8e9d8cb2d6bbc4dff23e98cb4ec746b4dc6f", "4a7bbe17dca30310374f9f8749f46c479f210d127fc8ba058569e59e281ae003", "2cd0bf8a1ee68e855d9e5d665fb6a5f159bf9d3668edffff1c020f9b6156c87d", "cc28c1f13b9595ec6c787ec528f4c4981aae325dfcb06b9f11c73dd22d2cb508", "18aa9c088aa318ecfad9c87be7a7accf53a30d3d3daaf66ec7aaac8f4d0bdcce", "7dcb3d9fae3d0b01c9f852165c4293532f2e1905b0fa227e4984db55ff53b4f3", "72ee3462868b4fc4771fa79d154c9aa7cd269a019673d595e009f024d4416867", "34127c0989104d7e9070eab0c13197f5c996d0bd9cee62cd7b927781511c8976", "a1ce200c0a0f7fb6eac54431e72556e11cdfe8d68711743734a1e78606ab3fa1", "b64112adcf4be2e1255ab6ae1dc14b8a3c5dace41c18622dfebff35b74435d3c", "d84543a367a73003fddd7f204fb5a34bbb4bc05058e81271e5b9cc8225d1e9fc", "2d0b435ceb9b768987f42fe6c2589340bc38762639ab61bb32b134fe6f5cdc83", "10c17df3dd7ec17b4433c511e81db835039d5f27d34306be6fa631657539303a", "958e1fd6244ae47fe7abb4b773abfd5151366e90aa736307b3fb3ac70df40f12", "5897e1f0c92e2107e2d6754e5e5757e87649c531ccfad4e4814f54d45bab8736", "c95bef291f694d5cebf061a560c210d66a1d0b90771e9cd351b3f0edf8b242ec", "1d144eed09706d03fe9c869eae6b7c7a1b698c382d97265fd28c9f60dedef37f", "ab5d4cb7cfdcaa289c6fc973048614118783431fe56d4483b1dc02c4252fa4c9", "a221f5f560c74b6d2c3e6af87c72f130b9806ee33a9ecb464abdf986c7213f24", "ea09b18c3bb4e7b20e6fcd21198c5ba6e09b2e7fabfb7de5fc4091434cc211ad", "c7e4e9ea0f092ead13dd4d80e7087411f960741e94d01f12da694f4c579c8eb6", "cbe3e4026adf848a94d19dca4cac2f9824589f9ed7fa0ca4579a83692c5f32ed", "d27af2109e1d6c6fa0a7a63337b6d21f113e694622923895932b3c43ff9000fd", "7b0815a64633d4964ff35bfb58467267bc69bedc30a137ba67ffcde968c1bdb7", "30f36ebe032b0a61a1d876a757c19131cc2686c5432e95d5d38f0afc1f88a2f4", "c918f7460607b593a836bb48ba1e14afab5cf735cd036035db20834bd607b6d0", "f05ffa6045cc933cd6eac759750f628c18361d6c767a41d6a43050bd38a8d530", "13310e8f3f4c401910dea8e779701ab1c5c4f9b536e94e1b0e648a98a6a0834b", "af7004d5647e533c812dffe655cd15ec0f260b325f8cc54b2367e677a79b64c1", "70f527eaadd6a0e10f3616779500293bedb932787c9d9e6bece0f232c145b566", "362dd71e5662f7d4cb7d8b23f5447043c220289cfec6537e39f5c90fc926c99d", "9aa164f99d4abf4489f62f3d50bc687dccf4b5eca57ba1e59158295622fece5d", "e225b88687c926a2508265a8f0238947f84aee220ec23ba97b3c6f6e5b403bd8", "a51a23a30d8d4fd5e902efef66606382e1cc145d0a5e141db4f5961f23bed3b8", "ff64f1c5a939411d210425da4c1b583ecbcf42d64feb05f81a56ee97c4921613", "b80d4c879b3be59d81f4bd4923664ce0a19495b3539fbcdca95cffd077947eeb", "ef1c150448bf56cfae2f299c7f2f3fe5954b3c08ce34a4dfee5e8b0907b09539", "39220ffbe4585a1f38c1bc090cfb04d60bad5e247529b5072e2d5762ddc9ecef", "8afccbcdffe30a3c7e168ffac3110a9316b2e90f1f50d38264027cfa007ee1a8", "ef671b85ae249dced40878b734ae44bdf3cc67138e3e49a58001b5b378d61154", "77a15a686edc89df03e813e68287451bd54c369167c993c2ac60a2386b0467e5", "62ea696e5db4ed6cc61583d5e470694e9fbd0ccf2ae5b6b3853862436aef15af", "ebe9c5b6e369bb8af6590edbcf945286eeaf0fcd669a71bae10fd8a8f1d8431a", "870039a07aef6f741ef22cf812ea479ae9448f70248114c0ed06c61fe8eadc95", "1b7b2536eb61108be725b3f733293ffdbb05154f4aa8b2922fcf03b44f522fd5", "8df6da98205da4a01f5142271575ea54774af11d06ab49d1e064cd62bd198fa1", "676abc3b5e1aae0f90b9e83eef5106234c7f6d2becabec7fdb1d511269592f91", "15fdd09d515a5b0a355c8f29ba7d38df4af584d8073337c2fa8ca2dc5979b447", "54fb4c9e3334b8d6b197fb0b640b5232b7e65606790c2d65f16bd090ffac82e9", "57e85be5d116f86980071b3250497546a740b7bef3ee030f827464534c6e7e80", "5680caf8d1db908fb6c15c42088fbf171138a88b4b6659e7f27904b868672d19", "dfc4786b6dd3d6613fa177aba6d40a968b57ee0f1f82d2148aa93a12e44247b3", "d67994b497c78cd0f9c1e71a017fa35b68ac97414a21f2b6f6bebc821378cab4", "9a98fc86bd291260e66a84c2678ce361194c00fce6dbed24f82aa8d67860c994", "d951ed1f287c789d4b8324f040ba1acc9886fa06b556282e8d295bb08e14af96", "c7afa4ade1d49a6ad131341562eaed8e40ee93d95cf603fd70d2eb2b39605b88" ], "3": [ "55542bbaa4b7a43c6936678181340ef16df434183ff1fc6fd298e7f02ba85784", "eb594e998648bbef21e0ec4ce0444fd77b0cdc47a8a7ced7e0e584154bef1710", "eb63a79e60b9fbc6522950b6eb42e2acbad0c5a880b17919fd06d70192e0990e", "9e406ecbe56514ca8b1694dbd48fc86588e1189c17be76b7dfa9595964e861f8", "31b7ca40d6434beadbf943d548198f893abfdcee87ce5eedbe6e23b431aab0a9", "6be5959e6dbdc1aa83583398dfacde202df349474609e250ea6e587fbcd5d130", "cacf3a20fe7435c06132d692571cdf7c92a5e343eed603d2dfc1498c9d58bfa3", "5469fd3a4d0d071782abe13c482506f2cfaa5eac24d8891fba2ad3152aeb0045", "701b8757e459e7391b9fab5e9e464bb1784540dd9b2517e1374d75763b4819c9", "ac95f808dede10c82cff965b457fb3dd0e23128202ee53ec30e88f956c6d116b", "710afc092e97bd6c58acde80570f24c710d2a9acf2fb767be23a57410081d61e", "665bec3d3178adc80991dd654633b56c0d48cbac47faab3b1776c46810888a36", "51161213be3f1f63e9054cf32c065d897077b2bfc7676cb08f74b20ef90897f4" ], "4": [ "11b521b030aa7942ce376baa0da8b4bab5b87a1779604276e140c094089470a6", "80cc485b355f47a59cc8f8835951b722020b98fe152fa07712b6493d0de063b8", "3bc2e85abc52c91732d6fdb3147a442caa154fe26a5e5b6c9799e1bc0ab3026a", "2ad76f12247de7d3f03703202d2bd130526e2e3e3e7e97cfcb14040a65c65c20", "cc3251fc5f0396c126374d81d5f5de522129031583f60f90950e89bac45f64ed", "588d36f2cf727e7e3da9e61ae5555a5da088bbda0b08904c84b4f76c8e583733" ], "5": [ "c947076ef9f7e156a1519519b2c2df05b4caa769a89ea25f51d997497abe25f7" ] }, "dataset_name": "spinach/test" }, { "total_queries": 125, "analyzed": 118, "parse_errors": 7, "skipped": 0, "skipped_ids": [], "hop_distribution": { "0": 7, "1": 43, "2": 47, "3": 17, "4": 4 }, "hop_ids": { "0": [ "dev_4", "dev_10", "dev_61", "dev_105", "1ac279a4ca0b912c0bef23ad282bb2a13129143de36096f8d24ad5b0c74acdd7", "70032686a534cc153df0af6f7849babbc1f75571972e6d44a23ee93547b24d16", "2051bd76f2698af035fd2298851c6d23e1f01ee1defacb2613245d874b82aa79" ], "1": [ "dev_8", "dev_15", "dev_22", "dev_30", "dev_35", "dev_37", "dev_39", "dev_44", "dev_57", "dev_67", "dev_78", "dev_79", "dev_80", "dev_86", "dev_99", "0a38bef75a557fe292202ee38a349e911fa5e9322417eee438b7146c9f77da22", "6741e9c21abbe896cdceb1c01c84f40df38a699d460b66d90401f9fe9eb4705a", "a925ada4a5585e1633cd72a2ab58d1f12fd35f9d796701fe3adb69c04ddb0b67", "298f5f8dfe39ce952fb5dc11552c3281cb38c4beea95d4e81d2a376b2bb2475d", "68812530cc9aaa9d68896f0f989a001ba776fa52e5fcf7c1ad227eeb69c88433", "791ec420ab4179d94a6df023cb9cd8de373c063a082a423d3a46ca3e199e4dda", "7302bb9f6b2e64c0ae3f0782e76cc3b9117a6e8e69fabf0478d7db3da3b331cc", "3369f35b3aea9c1ca22581972fea4665ec46e023582f5511975b11bab7aa6e50", "6f0f4f4631eefba66c7acfb34aaf6f853e576368248d27808b4845b141682b45", "d6f9c58f37d72f5fe894b47bd3de70257ceb7ce93a8c02b6e51fbbb7cc3d7f8d", "e84bc54ddb3f26c1bff8e78183afab46112b41b2ee8c1843c875970d132ff2d7", "96941fcc970f3f3792c0e0b4a8216cf1beca747aabcdbac8174a2c45128c1de8", "493d9e402f13162563bddaf4a959a3d5fa02fb2312ced845c6960f6d1f361a43", "cc92b0c2aff5f48f8a40e147b742b6a7b04bb02a17cd76b885fb28c44f4b2123", "17688c6a21a95c1b953a16cae0d71d0b7d2bfcfc883d13f177b3bcf9e185cef8", "07d5344a450e1e8e3d850177fd6a270f7f8071eaaa58ce0d280b2e396783b74a", "952c755fa8d032b863ae0f03281a8ce454e109b73a9cc8532ca7f1fe79387524", "cb05e7ca0be15d708689ca7b243286db244c41d117cb92def341dd86a9b8faab", "d2cc23ab66bb40e4bc53f7aedd5dffde8ccda5cff973e6776078296a0f6c7ad7", "8e55bc25512c474e8728427cfd84c7838869a8ce96c1f5a71cfb750203650f3e", "80cf979695ac7926d0a2543f9d6ddda9d2e7b12d131d6d989f57803dd87cf53f", "df3d023a806ca158600beacaae8d01153bc83d36764e2758c67e34bde37478df", "ca0bc6ae27669c2ec20a0c09d4ac8fe90df80f71545d542d19eb950bacd2d77b", "05fd33c6389b6734c16c91c5c8319865e18e0ee7cf8077a6c7844462634b2452", "9eeb1116f509496327abcfc4d775bc05d1d3036c618fc0c6c9616beeed01ec2e", "6efb4386a45888174b8606de121ade32c9e79f91da4bac8bac31defdcd6fed42", "aa9edca8c855f3f66cfad4f47d7b1fbc079d521ae7c915b5b9d9411c828c9cad", "f4c5c2ca5b0b15861980c2024da73f09a1e1f9aba452f81a2130092af660c67f" ], "2": [ "dev_11", "dev_12", "dev_16", "dev_21", "dev_34", "dev_43", "dev_51", "dev_60", "dev_71", "dev_81", "dev_83", "dev_85", "dev_92", "afb1c03c10378a56a0682c8d0d8de761db39b8860d46fedb4ee9445932aa4698", "6a36c62acd2f2e0af354b16a2309718a509da8709b98f4bf8e113ac8c9a68cec", "c7b7959708e146b057103e19d9202629d03d4c2a5be3dd44c2ccdaf5b37c7466", "0a81623b9fe960177b7767821ba6bb8fe7caa465457457a8fadfc1d7b55ff949", "04ca92e08280053ed80f6050ec92e70074996c315a400b240bc8c6ab8b20d839", "ac5fc306788a95286f528077bf1a850a509c1673741400c3bdf42b6854ac488e", "e2ea23358511dc67b129dde66f03c444e4abf0deab44c5183459004da4e423dd", "2d23a1c0efb9064629d95afb676b11c9c32307f5e9b4a94111585aa3850cc28d", "cfca6274fe0cf4d0dc26149cb75acb644877e37388776a43c31e7895523bfb6d", "dc871e4406f01fce8a42c79df8f7811c59d2d08c9a5856b91c9e68c7660faf4d", "ca1bdbff9b1592b7cb262ebb8edb578828252d989a2165df93a4bb294d7dc056", "05ddec68e818a1a379060084759ce1fc81caa49a49b6c58ac5d4aab39d19bbd8", "e356658060d83e4692e7267b2277e20a4faac1d3bcaf7a32a576c98407a3ba48", "29e8a97feaa01fde3f77cd3a7016576be25b4b6840f357f3dd462bbf6f4f06c7", "b1f17481c28e52591209b4595343f539f2758f1430b7e24aa39ec717f424d8af", "f0b60d7a04b032388e4d93660cdb141d1edcc9146ecf7ad4e4167d1f156b2a87", "87514dd90ec4d394a9cc19966764c47a006e25e74fae20ebed8287f1bb541b46", "cca35331605fcaa99f07e066f70091099c231f7adacf6ed4a9742c9cd610802b", "034c5ba4086e08902992cad421bfb0d7d7dc1839f273730e349868e5ada13ff4", "0bc83e14120a6adf24ad22f10359b20fa3a81a6d31d1ac1422dd167052e80090", "eda2d92b495b81bc4efc82d12819cac9b43003e4af91285890ded59a7ec31132", "9d97c67d94263e31eae09da45237b1380bc3b6491790a86ef1978a2076107a16", "04de0d6063e846a05dcf318683e29a0e4fd14f9b2f42814e52ec4069a507efad", "17335fc934aad8dcad7b57bb074f85b9affd237cd8313382c230800add8ef103", "1c4f8cbe51b6b836d572cb8fcff480918877925c2262892dae098824218ad752", "8324b6405d158375611b086c6bce4b81d70dabc50a7d2f6c60fc60ca2b505607", "2c1cfba71661938d9a7861cdaae5693dcd08d3771f4e1c2fc2a2bc566e1a75d5", "3ebe3c801eee0758e8eaf1d532e9697d4bd6c01752d0a75d56360750f1f9c100", "1ebecc42e5f61dd59dde58a9db5861db2c00f37139899dbfccbb5e52247b8f6a", "1abbb6b69c835edde070bcbf0ab44af14de9e16b22c070b680613db0c530dfb0", "2ef3435761fdc54187c5af5567db5a874c45c0602998b8a92aeb9a9afbed1df8", "038d518d36404e1117ac38e1687bf9b422486a4ea3ade5e3d6c521ba34e421f0", "349879d94826fae886dada3747baced0693f22d20835bec4a4f184da49437860", "3d04f90a819a5ca63db183793c434e8c25ddc657d81881f1e607f5e9d30d4487" ], "3": [ "dev_40", "dev_45", "dev_55", "dev_64", "dev_98", "dev_117", "3c5956b2d846d87e126d95c6c4c8b3551f8b508d002ff489469d12f396c68231", "b014f46fba6e9a0e8aa2e1822c9a417781cc4549d0ec3dea8b242119a160958c", "9938b600c69cbfb018e722976f77fd1ee5df27bf04dcb2436466cac1d0330e29", "c3d78787b16d3efe2717472750df0f2f1e2fec7234e1e83eec409b716bbd488d", "ca1cf9373404e3260f8f1a9c95104f6de08b3eb839c0a07832943c53cfc047a9", "92186df73074ceb2885fc51129d8ce26e88bccde9ab200cc1666ffa1bc7d9c24", "10dc4309cb0e21cdb7be742122432adfd04e8eadefcb58f5a561a7225d2f141f", "5d599e4fd7a4e4372d360b004f174809c3a1fc74b633fb983f7ea50371bceba1", "f704547d371c32a4a0d687a6d3a56f1cf16d161c60b506f524cffb17baf389af", "d21ffec738fbc60df840f74c67cb35bb662271e9f60954d244e61ce46dc28ff7", "965f82f908847da0bda4aaf1f04da4db6f860a6809e5487bac207f4316971f83" ], "4": [ "dev_38", "dev_113", "ddfb9d48778387e57b79cdb1199434641a29498cf4775e8ae69610055b86c02c", "6f30d4f1a9e496994364566a3345dfd7d53d81560a2494db0b707dd3e5f3f48e" ] }, "dataset_name": "spinach/train" }, { "total_queries": 473, "analyzed": 466, "parse_errors": 7, "skipped": 0, "skipped_ids": [], "hop_distribution": { "0": 7, "1": 328, "2": 107, "3": 20, "4": 4 }, "hop_ids": { "0": [ "dev_4", "dev_10", "dev_61", "dev_105", "1ac279a4ca0b912c0bef23ad282bb2a13129143de36096f8d24ad5b0c74acdd7", "70032686a534cc153df0af6f7849babbc1f75571972e6d44a23ee93547b24d16", "2051bd76f2698af035fd2298851c6d23e1f01ee1defacb2613245d874b82aa79" ], "1": [ "dev_8", "dev_15", "dev_22", "dev_30", "dev_35", "dev_37", "dev_39", "dev_44", "dev_57", "dev_67", "dev_78", "dev_79", "dev_80", "dev_86", "dev_99", "0a38bef75a557fe292202ee38a349e911fa5e9322417eee438b7146c9f77da22", "6741e9c21abbe896cdceb1c01c84f40df38a699d460b66d90401f9fe9eb4705a", "a925ada4a5585e1633cd72a2ab58d1f12fd35f9d796701fe3adb69c04ddb0b67", "298f5f8dfe39ce952fb5dc11552c3281cb38c4beea95d4e81d2a376b2bb2475d", "68812530cc9aaa9d68896f0f989a001ba776fa52e5fcf7c1ad227eeb69c88433", "791ec420ab4179d94a6df023cb9cd8de373c063a082a423d3a46ca3e199e4dda", "7302bb9f6b2e64c0ae3f0782e76cc3b9117a6e8e69fabf0478d7db3da3b331cc", "3369f35b3aea9c1ca22581972fea4665ec46e023582f5511975b11bab7aa6e50", "6f0f4f4631eefba66c7acfb34aaf6f853e576368248d27808b4845b141682b45", "d6f9c58f37d72f5fe894b47bd3de70257ceb7ce93a8c02b6e51fbbb7cc3d7f8d", "e84bc54ddb3f26c1bff8e78183afab46112b41b2ee8c1843c875970d132ff2d7", "96941fcc970f3f3792c0e0b4a8216cf1beca747aabcdbac8174a2c45128c1de8", "493d9e402f13162563bddaf4a959a3d5fa02fb2312ced845c6960f6d1f361a43", "cc92b0c2aff5f48f8a40e147b742b6a7b04bb02a17cd76b885fb28c44f4b2123", "17688c6a21a95c1b953a16cae0d71d0b7d2bfcfc883d13f177b3bcf9e185cef8", "07d5344a450e1e8e3d850177fd6a270f7f8071eaaa58ce0d280b2e396783b74a", "952c755fa8d032b863ae0f03281a8ce454e109b73a9cc8532ca7f1fe79387524", "cb05e7ca0be15d708689ca7b243286db244c41d117cb92def341dd86a9b8faab", "d2cc23ab66bb40e4bc53f7aedd5dffde8ccda5cff973e6776078296a0f6c7ad7", "8e55bc25512c474e8728427cfd84c7838869a8ce96c1f5a71cfb750203650f3e", "80cf979695ac7926d0a2543f9d6ddda9d2e7b12d131d6d989f57803dd87cf53f", "df3d023a806ca158600beacaae8d01153bc83d36764e2758c67e34bde37478df", "ca0bc6ae27669c2ec20a0c09d4ac8fe90df80f71545d542d19eb950bacd2d77b", "05fd33c6389b6734c16c91c5c8319865e18e0ee7cf8077a6c7844462634b2452", "9eeb1116f509496327abcfc4d775bc05d1d3036c618fc0c6c9616beeed01ec2e", "6efb4386a45888174b8606de121ade32c9e79f91da4bac8bac31defdcd6fed42", "aa9edca8c855f3f66cfad4f47d7b1fbc079d521ae7c915b5b9d9411c828c9cad", "f4c5c2ca5b0b15861980c2024da73f09a1e1f9aba452f81a2130092af660c67f", "1", "2", "3", "5", "7", "8", "10", "15", "16", "19", "20", "21", "22", "23", "24", "29", "31", "33", "34", "35", "36", "37", "38", "39", "40", "41", "43", "44", "45", "46", "48", "50", "52", "56", "59", "60", "61", "63", "64", "65", "66", "68", "69", "70", "71", "75", "76", "77", "78", "80", "81", "82", "85", "86", "87", "89", "90", "92", "93", "94", "95", "97", "99", "100", "101", "102", "103", "104", "106", "107", "110", "112", "113", "114", "115", "116", "118", "120", "122", "124", "126", "127", "128", "129", "130", "131", "132", "133", "134", "136", "137", "140", "141", "142", "143", "144", "147", "150", "151", "152", "153", "154", "157", "158", "160", "161", "163", "164", "165", "166", "167", "168", "169", "170", "171", "172", "177", "178", "179", "180", "181", "182", "183", "185", "187", "188", "189", "191", "192", "193", "194", "195", "196", "197", "198", "199", "200", "201", "203", "204", "205", "207", "209", "210", "211", "212", "213", "214", "215", "216", "217", "218", "220", "221", "222", "223", "224", "225", "226", "230", "231", "232", "233", "234", "235", "236", "237", "238", "239", "241", "243", "244", "247", "248", "249", "252", "254", "255", "256", "257", "258", "259", "260", "262", "265", "266", "267", "268", "269", "273", "274", "275", "278", "279", "280", "282", "283", "284", "287", "288", "289", "290", "291", "292", "294", "296", "297", "300", "301", "302", "303", "304", "305", "306", "307", "308", "309", "310", "311", "312", "313", "314", "315", "317", "318", "320", "321", "324", "325", "326", "327", "329", "330", "332", "333", "334", "335", "337", "338", "339", "340", "342", "343", "344", "346", "347", "348", "351", "353", "354", "356", "358", "359", "361", "362", "363", "364", "365", "368", "369", "370", "372", "375", "376", "379", "380", "381", "386", "388", "390", "391", "393", "396", "397", "398", "400", "402", "403", "405", "406", "408", "409", "411", "412", "413" ], "2": [ "dev_11", "dev_12", "dev_16", "dev_21", "dev_34", "dev_43", "dev_51", "dev_60", "dev_71", "dev_81", "dev_83", "dev_85", "dev_92", "afb1c03c10378a56a0682c8d0d8de761db39b8860d46fedb4ee9445932aa4698", "6a36c62acd2f2e0af354b16a2309718a509da8709b98f4bf8e113ac8c9a68cec", "c7b7959708e146b057103e19d9202629d03d4c2a5be3dd44c2ccdaf5b37c7466", "0a81623b9fe960177b7767821ba6bb8fe7caa465457457a8fadfc1d7b55ff949", "04ca92e08280053ed80f6050ec92e70074996c315a400b240bc8c6ab8b20d839", "ac5fc306788a95286f528077bf1a850a509c1673741400c3bdf42b6854ac488e", "e2ea23358511dc67b129dde66f03c444e4abf0deab44c5183459004da4e423dd", "2d23a1c0efb9064629d95afb676b11c9c32307f5e9b4a94111585aa3850cc28d", "cfca6274fe0cf4d0dc26149cb75acb644877e37388776a43c31e7895523bfb6d", "dc871e4406f01fce8a42c79df8f7811c59d2d08c9a5856b91c9e68c7660faf4d", "ca1bdbff9b1592b7cb262ebb8edb578828252d989a2165df93a4bb294d7dc056", "05ddec68e818a1a379060084759ce1fc81caa49a49b6c58ac5d4aab39d19bbd8", "e356658060d83e4692e7267b2277e20a4faac1d3bcaf7a32a576c98407a3ba48", "29e8a97feaa01fde3f77cd3a7016576be25b4b6840f357f3dd462bbf6f4f06c7", "b1f17481c28e52591209b4595343f539f2758f1430b7e24aa39ec717f424d8af", "f0b60d7a04b032388e4d93660cdb141d1edcc9146ecf7ad4e4167d1f156b2a87", "87514dd90ec4d394a9cc19966764c47a006e25e74fae20ebed8287f1bb541b46", "cca35331605fcaa99f07e066f70091099c231f7adacf6ed4a9742c9cd610802b", "034c5ba4086e08902992cad421bfb0d7d7dc1839f273730e349868e5ada13ff4", "0bc83e14120a6adf24ad22f10359b20fa3a81a6d31d1ac1422dd167052e80090", "eda2d92b495b81bc4efc82d12819cac9b43003e4af91285890ded59a7ec31132", "9d97c67d94263e31eae09da45237b1380bc3b6491790a86ef1978a2076107a16", "04de0d6063e846a05dcf318683e29a0e4fd14f9b2f42814e52ec4069a507efad", "17335fc934aad8dcad7b57bb074f85b9affd237cd8313382c230800add8ef103", "1c4f8cbe51b6b836d572cb8fcff480918877925c2262892dae098824218ad752", "8324b6405d158375611b086c6bce4b81d70dabc50a7d2f6c60fc60ca2b505607", "2c1cfba71661938d9a7861cdaae5693dcd08d3771f4e1c2fc2a2bc566e1a75d5", "3ebe3c801eee0758e8eaf1d532e9697d4bd6c01752d0a75d56360750f1f9c100", "1ebecc42e5f61dd59dde58a9db5861db2c00f37139899dbfccbb5e52247b8f6a", "1abbb6b69c835edde070bcbf0ab44af14de9e16b22c070b680613db0c530dfb0", "2ef3435761fdc54187c5af5567db5a874c45c0602998b8a92aeb9a9afbed1df8", "038d518d36404e1117ac38e1687bf9b422486a4ea3ade5e3d6c521ba34e421f0", "349879d94826fae886dada3747baced0693f22d20835bec4a4f184da49437860", "3d04f90a819a5ca63db183793c434e8c25ddc657d81881f1e607f5e9d30d4487", "4", "9", "11", "12", "14", "17", "18", "25", "27", "42", "51", "53", "54", "55", "62", "67", "72", "74", "84", "91", "105", "108", "119", "123", "138", "139", "145", "148", "149", "156", "162", "174", "175", "184", "186", "190", "219", "227", "229", "245", "251", "253", "264", "270", "271", "281", "285", "286", "299", "328", "336", "345", "349", "355", "357", "367", "374", "382", "385", "395" ], "3": [ "dev_40", "dev_45", "dev_55", "dev_64", "dev_98", "dev_117", "3c5956b2d846d87e126d95c6c4c8b3551f8b508d002ff489469d12f396c68231", "b014f46fba6e9a0e8aa2e1822c9a417781cc4549d0ec3dea8b242119a160958c", "9938b600c69cbfb018e722976f77fd1ee5df27bf04dcb2436466cac1d0330e29", "c3d78787b16d3efe2717472750df0f2f1e2fec7234e1e83eec409b716bbd488d", "ca1cf9373404e3260f8f1a9c95104f6de08b3eb839c0a07832943c53cfc047a9", "92186df73074ceb2885fc51129d8ce26e88bccde9ab200cc1666ffa1bc7d9c24", "10dc4309cb0e21cdb7be742122432adfd04e8eadefcb58f5a561a7225d2f141f", "5d599e4fd7a4e4372d360b004f174809c3a1fc74b633fb983f7ea50371bceba1", "f704547d371c32a4a0d687a6d3a56f1cf16d161c60b506f524cffb17baf389af", "d21ffec738fbc60df840f74c67cb35bb662271e9f60954d244e61ce46dc28ff7", "965f82f908847da0bda4aaf1f04da4db6f860a6809e5487bac207f4316971f83", "121", "125", "155" ], "4": [ "dev_38", "dev_113", "ddfb9d48778387e57b79cdb1199434641a29498cf4775e8ae69610055b86c02c", "6f30d4f1a9e496994364566a3345dfd7d53d81560a2494db0b707dd3e5f3f48e" ] }, "dataset_name": "spinach_qald9plus_combined/train" } ]