{
 "tag": "untrained",
 "since": "2024-07-01",
 "n": 150,
 "ks": {
  "0": {
   "acc": 0.18666666666666668,
   "hard_n": 25,
   "hard_acc": 0.0,
   "per_item": [
    {
     "task_id": "abc382_a",
     "ok": true
    },
    {
     "task_id": "abc382_b",
     "ok": true
    },
    {
     "task_id": "abc382_c",
     "ok": true
    },
    {
     "task_id": "abc382_d",
     "ok": false
    },
    {
     "task_id": "abc382_f",
     "ok": false
    },
    {
     "task_id": "abc382_g",
     "ok": false
    },
    {
     "task_id": "abc383_a",
     "ok": true
    },
    {
     "task_id": "abc383_b",
     "ok": true
    },
    {
     "task_id": "abc383_c",
     "ok": false
    },
    {
     "task_id": "abc383_d",
     "ok": false
    },
    {
     "task_id": "abc383_e",
     "ok": false
    },
    {
     "task_id": "abc384_a",
     "ok": true
    },
    {
     "task_id": "abc384_b",
     "ok": true
    },
    {
     "task_id": "abc384_c",
     "ok": false
    },
    {
     "task_id": "abc384_d",
     "ok": false
    },
    {
     "task_id": "abc384_e",
     "ok": false
    },
    {
     "task_id": "abc384_f",
     "ok": false
    },
    {
     "task_id": "abc384_g",
     "ok": true
    },
    {
     "task_id": "abc385_a",
     "ok": false
    },
    {
     "task_id": "abc385_b",
     "ok": false
    },
    {
     "task_id": "abc385_c",
     "ok": false
    },
    {
     "task_id": "abc385_d",
     "ok": false
    },
    {
     "task_id": "abc385_e",
     "ok": false
    },
    {
     "task_id": "abc385_f",
     "ok": false
    },
    {
     "task_id": "abc386_a",
     "ok": false
    },
    {
     "task_id": "abc386_b",
     "ok": false
    },
    {
     "task_id": "abc386_c",
     "ok": false
    },
    {
     "task_id": "abc386_d",
     "ok": false
    },
    {
     "task_id": "abc386_e",
     "ok": false
    },
    {
     "task_id": "abc386_f",
     "ok": false
    },
    {
     "task_id": "abc387_a",
     "ok": true
    },
    {
     "task_id": "abc387_b",
     "ok": true
    },
    {
     "task_id": "abc387_c",
     "ok": false
    },
    {
     "task_id": "abc387_f",
     "ok": false
    },
    {
     "task_id": "abc388_a",
     "ok": true
    },
    {
     "task_id": "abc388_b",
     "ok": true
    },
    {
     "task_id": "abc388_c",
     "ok": false
    },
    {
     "task_id": "abc388_d",
     "ok": false
    },
    {
     "task_id": "abc388_e",
     "ok": false
    },
    {
     "task_id": "abc388_f",
     "ok": false
    },
    {
     "task_id": "abc388_g",
     "ok": false
    },
    {
     "task_id": "abc389_a",
     "ok": true
    },
    {
     "task_id": "abc389_b",
     "ok": false
    },
    {
     "task_id": "abc389_d",
     "ok": false
    },
    {
     "task_id": "abc389_e",
     "ok": false
    },
    {
     "task_id": "abc389_f",
     "ok": false
    },
    {
     "task_id": "abc389_g",
     "ok": false
    },
    {
     "task_id": "abc390_a",
     "ok": true
    },
    {
     "task_id": "abc390_b",
     "ok": false
    },
    {
     "task_id": "abc390_c",
     "ok": false
    },
    {
     "task_id": "abc390_d",
     "ok": false
    },
    {
     "task_id": "abc390_e",
     "ok": false
    },
    {
     "task_id": "abc390_f",
     "ok": false
    },
    {
     "task_id": "abc390_g",
     "ok": false
    },
    {
     "task_id": "abc391_a",
     "ok": true
    },
    {
     "task_id": "abc391_b",
     "ok": true
    },
    {
     "task_id": "abc391_d",
     "ok": false
    },
    {
     "task_id": "abc391_e",
     "ok": false
    },
    {
     "task_id": "abc391_f",
     "ok": false
    },
    {
     "task_id": "abc391_g",
     "ok": false
    },
    {
     "task_id": "abc392_a",
     "ok": true
    },
    {
     "task_id": "abc392_b",
     "ok": true
    },
    {
     "task_id": "abc392_c",
     "ok": false
    },
    {
     "task_id": "abc392_d",
     "ok": false
    },
    {
     "task_id": "abc392_f",
     "ok": false
    },
    {
     "task_id": "abc392_g",
     "ok": false
    },
    {
     "task_id": "abc393_a",
     "ok": false
    },
    {
     "task_id": "abc393_b",
     "ok": true
    },
    {
     "task_id": "abc393_d",
     "ok": false
    },
    {
     "task_id": "abc393_e",
     "ok": false
    },
    {
     "task_id": "abc393_f",
     "ok": false
    },
    {
     "task_id": "abc394_a",
     "ok": true
    },
    {
     "task_id": "abc394_b",
     "ok": true
    },
    {
     "task_id": "abc394_c",
     "ok": false
    },
    {
     "task_id": "abc394_d",
     "ok": false
    },
    {
     "task_id": "abc394_e",
     "ok": false
    },
    {
     "task_id": "abc394_f",
     "ok": false
    },
    {
     "task_id": "abc394_g",
     "ok": false
    },
    {
     "task_id": "abc395_a",
     "ok": true
    },
    {
     "task_id": "abc395_b",
     "ok": false
    },
    {
     "task_id": "abc395_c",
     "ok": false
    },
    {
     "task_id": "abc395_e",
     "ok": false
    },
    {
     "task_id": "abc395_f",
     "ok": false
    },
    {
     "task_id": "abc396_a",
     "ok": true
    },
    {
     "task_id": "abc396_b",
     "ok": true
    },
    {
     "task_id": "abc396_c",
     "ok": false
    },
    {
     "task_id": "abc396_d",
     "ok": false
    },
    {
     "task_id": "abc396_e",
     "ok": false
    },
    {
     "task_id": "abc396_f",
     "ok": false
    },
    {
     "task_id": "abc396_g",
     "ok": false
    },
    {
     "task_id": "abc397_a",
     "ok": true
    },
    {
     "task_id": "abc397_b",
     "ok": false
    },
    {
     "task_id": "abc397_c",
     "ok": false
    },
    {
     "task_id": "abc397_d",
     "ok": false
    },
    {
     "task_id": "abc397_e",
     "ok": false
    },
    {
     "task_id": "abc397_f",
     "ok": false
    },
    {
     "task_id": "abc397_g",
     "ok": false
    },
    {
     "task_id": "abc398_a",
     "ok": false
    },
    {
     "task_id": "abc398_b",
     "ok": true
    },
    {
     "task_id": "abc398_c",
     "ok": false
    },
    {
     "task_id": "abc398_d",
     "ok": false
    },
    {
     "task_id": "abc398_f",
     "ok": false
    },
    {
     "task_id": "abc398_g",
     "ok": false
    },
    {
     "task_id": "abc399_a",
     "ok": true
    },
    {
     "task_id": "abc399_b",
     "ok": false
    },
    {
     "task_id": "abc399_c",
     "ok": false
    },
    {
     "task_id": "abc399_d",
     "ok": false
    },
    {
     "task_id": "abc399_e",
     "ok": false
    },
    {
     "task_id": "abc399_f",
     "ok": false
    },
    {
     "task_id": "abc400_a",
     "ok": true
    },
    {
     "task_id": "abc400_b",
     "ok": false
    },
    {
     "task_id": "abc400_c",
     "ok": false
    },
    {
     "task_id": "abc400_d",
     "ok": false
    },
    {
     "task_id": "abc400_e",
     "ok": false
    },
    {
     "task_id": "abc400_g",
     "ok": false
    },
    {
     "task_id": "arc188_a",
     "ok": false
    },
    {
     "task_id": "arc188_b",
     "ok": false
    },
    {
     "task_id": "arc188_c",
     "ok": false
    },
    {
     "task_id": "arc188_d",
     "ok": false
    },
    {
     "task_id": "arc189_a",
     "ok": false
    },
    {
     "task_id": "arc189_b",
     "ok": false
    },
    {
     "task_id": "arc189_c",
     "ok": false
    },
    {
     "task_id": "arc189_d",
     "ok": false
    },
    {
     "task_id": "arc190_a",
     "ok": false
    },
    {
     "task_id": "arc190_c",
     "ok": false
    },
    {
     "task_id": "arc190_d",
     "ok": false
    },
    {
     "task_id": "arc191_a",
     "ok": false
    },
    {
     "task_id": "arc191_c",
     "ok": false
    },
    {
     "task_id": "arc191_d",
     "ok": false
    },
    {
     "task_id": "arc192_a",
     "ok": false
    },
    {
     "task_id": "arc192_b",
     "ok": false
    },
    {
     "task_id": "arc192_d",
     "ok": false
    },
    {
     "task_id": "arc192_e",
     "ok": false
    },
    {
     "task_id": "arc193_a",
     "ok": false
    },
    {
     "task_id": "arc193_b",
     "ok": false
    },
    {
     "task_id": "arc193_d",
     "ok": false
    },
    {
     "task_id": "arc194_a",
     "ok": false
    },
    {
     "task_id": "arc194_b",
     "ok": false
    },
    {
     "task_id": "arc194_c",
     "ok": false
    },
    {
     "task_id": "arc194_d",
     "ok": false
    },
    {
     "task_id": "arc194_e",
     "ok": false
    },
    {
     "task_id": "arc195_a",
     "ok": false
    },
    {
     "task_id": "arc195_b",
     "ok": false
    },
    {
     "task_id": "arc195_c",
     "ok": false
    },
    {
     "task_id": "arc195_d",
     "ok": false
    },
    {
     "task_id": "arc195_e",
     "ok": false
    },
    {
     "task_id": "arc196_a",
     "ok": false
    },
    {
     "task_id": "arc196_b",
     "ok": false
    },
    {
     "task_id": "arc196_c",
     "ok": false
    },
    {
     "task_id": "arc196_d",
     "ok": false
    }
   ]
  },
  "4": {
   "acc": 0.24,
   "hard_n": 25,
   "hard_acc": 0.36,
   "per_item": [
    {
     "task_id": "abc382_a",
     "ok": true
    },
    {
     "task_id": "abc382_b",
     "ok": true
    },
    {
     "task_id": "abc382_c",
     "ok": false
    },
    {
     "task_id": "abc382_d",
     "ok": false
    },
    {
     "task_id": "abc382_f",
     "ok": false
    },
    {
     "task_id": "abc382_g",
     "ok": false
    },
    {
     "task_id": "abc383_a",
     "ok": true
    },
    {
     "task_id": "abc383_b",
     "ok": true
    },
    {
     "task_id": "abc383_c",
     "ok": false
    },
    {
     "task_id": "abc383_d",
     "ok": false
    },
    {
     "task_id": "abc383_e",
     "ok": false
    },
    {
     "task_id": "abc384_a",
     "ok": true
    },
    {
     "task_id": "abc384_b",
     "ok": true
    },
    {
     "task_id": "abc384_c",
     "ok": true
    },
    {
     "task_id": "abc384_d",
     "ok": false
    },
    {
     "task_id": "abc384_e",
     "ok": false
    },
    {
     "task_id": "abc384_f",
     "ok": false
    },
    {
     "task_id": "abc384_g",
     "ok": false
    },
    {
     "task_id": "abc385_a",
     "ok": false
    },
    {
     "task_id": "abc385_b",
     "ok": true
    },
    {
     "task_id": "abc385_c",
     "ok": false
    },
    {
     "task_id": "abc385_d",
     "ok": false
    },
    {
     "task_id": "abc385_e",
     "ok": false
    },
    {
     "task_id": "abc385_f",
     "ok": false
    },
    {
     "task_id": "abc386_a",
     "ok": false
    },
    {
     "task_id": "abc386_b",
     "ok": false
    },
    {
     "task_id": "abc386_c",
     "ok": false
    },
    {
     "task_id": "abc386_d",
     "ok": false
    },
    {
     "task_id": "abc386_e",
     "ok": false
    },
    {
     "task_id": "abc386_f",
     "ok": false
    },
    {
     "task_id": "abc387_a",
     "ok": true
    },
    {
     "task_id": "abc387_b",
     "ok": true
    },
    {
     "task_id": "abc387_c",
     "ok": false
    },
    {
     "task_id": "abc387_f",
     "ok": false
    },
    {
     "task_id": "abc388_a",
     "ok": true
    },
    {
     "task_id": "abc388_b",
     "ok": true
    },
    {
     "task_id": "abc388_c",
     "ok": false
    },
    {
     "task_id": "abc388_d",
     "ok": false
    },
    {
     "task_id": "abc388_e",
     "ok": false
    },
    {
     "task_id": "abc388_f",
     "ok": false
    },
    {
     "task_id": "abc388_g",
     "ok": false
    },
    {
     "task_id": "abc389_a",
     "ok": true
    },
    {
     "task_id": "abc389_b",
     "ok": true
    },
    {
     "task_id": "abc389_d",
     "ok": false
    },
    {
     "task_id": "abc389_e",
     "ok": false
    },
    {
     "task_id": "abc389_f",
     "ok": false
    },
    {
     "task_id": "abc389_g",
     "ok": false
    },
    {
     "task_id": "abc390_a",
     "ok": true
    },
    {
     "task_id": "abc390_b",
     "ok": false
    },
    {
     "task_id": "abc390_c",
     "ok": true
    },
    {
     "task_id": "abc390_d",
     "ok": false
    },
    {
     "task_id": "abc390_e",
     "ok": false
    },
    {
     "task_id": "abc390_f",
     "ok": false
    },
    {
     "task_id": "abc390_g",
     "ok": false
    },
    {
     "task_id": "abc391_a",
     "ok": true
    },
    {
     "task_id": "abc391_b",
     "ok": true
    },
    {
     "task_id": "abc391_d",
     "ok": false
    },
    {
     "task_id": "abc391_e",
     "ok": false
    },
    {
     "task_id": "abc391_f",
     "ok": false
    },
    {
     "task_id": "abc391_g",
     "ok": false
    },
    {
     "task_id": "abc392_a",
     "ok": true
    },
    {
     "task_id": "abc392_b",
     "ok": true
    },
    {
     "task_id": "abc392_c",
     "ok": false
    },
    {
     "task_id": "abc392_d",
     "ok": false
    },
    {
     "task_id": "abc392_f",
     "ok": false
    },
    {
     "task_id": "abc392_g",
     "ok": false
    },
    {
     "task_id": "abc393_a",
     "ok": true
    },
    {
     "task_id": "abc393_b",
     "ok": true
    },
    {
     "task_id": "abc393_d",
     "ok": false
    },
    {
     "task_id": "abc393_e",
     "ok": false
    },
    {
     "task_id": "abc393_f",
     "ok": false
    },
    {
     "task_id": "abc394_a",
     "ok": true
    },
    {
     "task_id": "abc394_b",
     "ok": true
    },
    {
     "task_id": "abc394_c",
     "ok": true
    },
    {
     "task_id": "abc394_d",
     "ok": false
    },
    {
     "task_id": "abc394_e",
     "ok": false
    },
    {
     "task_id": "abc394_f",
     "ok": false
    },
    {
     "task_id": "abc394_g",
     "ok": false
    },
    {
     "task_id": "abc395_a",
     "ok": true
    },
    {
     "task_id": "abc395_b",
     "ok": true
    },
    {
     "task_id": "abc395_c",
     "ok": true
    },
    {
     "task_id": "abc395_e",
     "ok": false
    },
    {
     "task_id": "abc395_f",
     "ok": false
    },
    {
     "task_id": "abc396_a",
     "ok": true
    },
    {
     "task_id": "abc396_b",
     "ok": true
    },
    {
     "task_id": "abc396_c",
     "ok": false
    },
    {
     "task_id": "abc396_d",
     "ok": false
    },
    {
     "task_id": "abc396_e",
     "ok": false
    },
    {
     "task_id": "abc396_f",
     "ok": false
    },
    {
     "task_id": "abc396_g",
     "ok": false
    },
    {
     "task_id": "abc397_a",
     "ok": true
    },
    {
     "task_id": "abc397_b",
     "ok": false
    },
    {
     "task_id": "abc397_c",
     "ok": false
    },
    {
     "task_id": "abc397_d",
     "ok": false
    },
    {
     "task_id": "abc397_e",
     "ok": false
    },
    {
     "task_id": "abc397_f",
     "ok": false
    },
    {
     "task_id": "abc397_g",
     "ok": false
    },
    {
     "task_id": "abc398_a",
     "ok": false
    },
    {
     "task_id": "abc398_b",
     "ok": true
    },
    {
     "task_id": "abc398_c",
     "ok": true
    },
    {
     "task_id": "abc398_d",
     "ok": false
    },
    {
     "task_id": "abc398_f",
     "ok": false
    },
    {
     "task_id": "abc398_g",
     "ok": false
    },
    {
     "task_id": "abc399_a",
     "ok": true
    },
    {
     "task_id": "abc399_b",
     "ok": true
    },
    {
     "task_id": "abc399_c",
     "ok": false
    },
    {
     "task_id": "abc399_d",
     "ok": false
    },
    {
     "task_id": "abc399_e",
     "ok": false
    },
    {
     "task_id": "abc399_f",
     "ok": false
    },
    {
     "task_id": "abc400_a",
     "ok": true
    },
    {
     "task_id": "abc400_b",
     "ok": false
    },
    {
     "task_id": "abc400_c",
     "ok": false
    },
    {
     "task_id": "abc400_d",
     "ok": false
    },
    {
     "task_id": "abc400_e",
     "ok": false
    },
    {
     "task_id": "abc400_g",
     "ok": false
    },
    {
     "task_id": "arc188_a",
     "ok": false
    },
    {
     "task_id": "arc188_b",
     "ok": false
    },
    {
     "task_id": "arc188_c",
     "ok": false
    },
    {
     "task_id": "arc188_d",
     "ok": false
    },
    {
     "task_id": "arc189_a",
     "ok": false
    },
    {
     "task_id": "arc189_b",
     "ok": false
    },
    {
     "task_id": "arc189_c",
     "ok": false
    },
    {
     "task_id": "arc189_d",
     "ok": false
    },
    {
     "task_id": "arc190_a",
     "ok": false
    },
    {
     "task_id": "arc190_c",
     "ok": false
    },
    {
     "task_id": "arc190_d",
     "ok": false
    },
    {
     "task_id": "arc191_a",
     "ok": false
    },
    {
     "task_id": "arc191_c",
     "ok": false
    },
    {
     "task_id": "arc191_d",
     "ok": false
    },
    {
     "task_id": "arc192_a",
     "ok": false
    },
    {
     "task_id": "arc192_b",
     "ok": false
    },
    {
     "task_id": "arc192_d",
     "ok": false
    },
    {
     "task_id": "arc192_e",
     "ok": false
    },
    {
     "task_id": "arc193_a",
     "ok": false
    },
    {
     "task_id": "arc193_b",
     "ok": false
    },
    {
     "task_id": "arc193_d",
     "ok": false
    },
    {
     "task_id": "arc194_a",
     "ok": false
    },
    {
     "task_id": "arc194_b",
     "ok": false
    },
    {
     "task_id": "arc194_c",
     "ok": false
    },
    {
     "task_id": "arc194_d",
     "ok": false
    },
    {
     "task_id": "arc194_e",
     "ok": false
    },
    {
     "task_id": "arc195_a",
     "ok": false
    },
    {
     "task_id": "arc195_b",
     "ok": false
    },
    {
     "task_id": "arc195_c",
     "ok": false
    },
    {
     "task_id": "arc195_d",
     "ok": false
    },
    {
     "task_id": "arc195_e",
     "ok": false
    },
    {
     "task_id": "arc196_a",
     "ok": false
    },
    {
     "task_id": "arc196_b",
     "ok": false
    },
    {
     "task_id": "arc196_c",
     "ok": false
    },
    {
     "task_id": "arc196_d",
     "ok": false
    }
   ]
  }
 }
}