Safari 27.0.1, macOS 27.0.1, Apple M4 Pro, ONNX Runtime Web 1.31.1 Aria ONNX graph SHA-256: 08f7a2be505e9439ed07d5f2dd4627f8ab0907d1c72b9c2992fdf7dbd387bf2a Weights SHA-256: 62251bfb6249f90fc47d7b9286f812181094a64342ea7fe5aa8a40c129542fc4 Provider placements from verbose session initialization: Node(s) placed on [CPUExecutionProvider]. Number of nodes: 303 Shape (/Shape_3) Gather (/Gather_1) Gather (/Gather) Gather (/Gather_3) Add (/Add) Unsqueeze (/Unsqueeze_7) Unsqueeze (/Unsqueeze_6) Concat (/Concat) Concat (/Concat_52) Range (/Range) Range (/Range_1) Gather (/Gather_2) Unsqueeze (/Unsqueeze) Unsqueeze (/Unsqueeze_5) Add (/Add_1) Cast (/Cast_2) LessOrEqual (/LessOrEqual) Div (/Div) Mul (/Mul_2) Mul (/Mul_3) Gather (/Gather_4) Gather (/Gather_5) Add (/Add_2) Add (/Add_4) Div (/Div_1) Div (/Div_2) Mul (/Mul_5) Mul (/Mul_11) Slice (/Slice_7) Cast (/Cast_4) IsNaN (/IsNaN) Gather (/Gather_6) Add (/Add_9) Div (/Div_4) Mul (/Mul_21) Mul (/Mul_22) Gather (/Gather_7) Gather (/Gather_8) Add (/Add_10) Add (/Add_12) Div (/Div_5) Div (/Div_6) Mul (/Mul_24) Mul (/Mul_30) Slice (/Slice_15) Cast (/Cast_6) IsNaN (/IsNaN_1) Gather (/Gather_9) Add (/Add_17) Div (/Div_8) Mul (/Mul_40) Mul (/Mul_41) Gather (/Gather_10) Gather (/Gather_11) Add (/Add_18) Add (/Add_20) Div (/Div_9) Div (/Div_10) Mul (/Mul_43) Mul (/Mul_49) Slice (/Slice_23) Cast (/Cast_8) IsNaN (/IsNaN_2) Gather (/Gather_12) Add (/Add_25) Div (/Div_12) Mul (/Mul_59) Mul (/Mul_60) Gather (/Gather_13) Gather (/Gather_14) Add (/Add_26) Add (/Add_28) Div (/Div_13) Div (/Div_14) Mul (/Mul_62) Mul (/Mul_68) Slice (/Slice_31) Cast (/Cast_10) IsNaN (/IsNaN_3) Gather (/Gather_15) Add (/Add_33) Div (/Div_16) Mul (/Mul_78) Mul (/Mul_79) Gather (/Gather_16) Gather (/Gather_17) Add (/Add_34) Add (/Add_36) Div (/Div_17) Div (/Div_18) Mul (/Mul_81) Mul (/Mul_87) Slice (/Slice_39) Cast (/Cast_12) IsNaN (/IsNaN_4) Gather (/Gather_18) Add (/Add_41) Div (/Div_20) Mul (/Mul_97) Mul (/Mul_98) Gather (/Gather_19) Gather (/Gather_20) Add (/Add_42) Add (/Add_44) Div (/Div_21) Div (/Div_22) Mul (/Mul_100) Mul (/Mul_106) Slice (/Slice_47) Cast (/Cast_14) IsNaN (/IsNaN_5) Gather (/Gather_21) Add (/Add_49) Div (/Div_24) Mul (/Mul_116) Mul (/Mul_117) Gather (/Gather_22) Gather (/Gather_23) Add (/Add_50) Add (/Add_52) Div (/Div_25) Div (/Div_26) Mul (/Mul_119) Mul (/Mul_125) Slice (/Slice_55) Cast (/Cast_16) IsNaN (/IsNaN_6) Gather (/Gather_24) Add (/Add_57) Div (/Div_28) Mul (/Mul_135) Mul (/Mul_136) Gather (/Gather_25) Gather (/Gather_26) Add (/Add_58) Add (/Add_60) Div (/Div_29) Div (/Div_30) Mul (/Mul_138) Mul (/Mul_144) Slice (/Slice_63) Cast (/Cast_18) IsNaN (/IsNaN_7) Gather (/Gather_27) Add (/Add_65) Div (/Div_32) Mul (/Mul_154) Mul (/Mul_155) Gather (/Gather_28) Gather (/Gather_29) Add (/Add_66) Add (/Add_68) Div (/Div_33) Div (/Div_34) Mul (/Mul_157) Mul (/Mul_163) Slice (/Slice_71) Cast (/Cast_20) IsNaN (/IsNaN_8) Gather (/Gather_30) Add (/Add_73) Div (/Div_36) Mul (/Mul_173) Mul (/Mul_174) Gather (/Gather_31) Gather (/Gather_32) Add (/Add_74) Add (/Add_76) Div (/Div_37) Div (/Div_38) Mul (/Mul_176) Mul (/Mul_182) Slice (/Slice_79) Cast (/Cast_22) IsNaN (/IsNaN_9) Gather (/Gather_33) Add (/Add_81) Div (/Div_40) Mul (/Mul_192) Mul (/Mul_193) Gather (/Gather_34) Gather (/Gather_35) Add (/Add_82) Add (/Add_84) Div (/Div_41) Div (/Div_42) Mul (/Mul_195) Mul (/Mul_201) Slice (/Slice_87) Cast (/Cast_24) IsNaN (/IsNaN_10) Gather (/Gather_36) Add (/Add_89) Div (/Div_44) Mul (/Mul_211) Mul (/Mul_212) Gather (/Gather_37) Gather (/Gather_38) Add (/Add_90) Add (/Add_92) Div (/Div_45) Div (/Div_46) Mul (/Mul_214) Mul (/Mul_220) Slice (/Slice_95) Cast (/Cast_26) IsNaN (/IsNaN_11) Gather (/Gather_39) Add (/Add_97) Div (/Div_48) Mul (/Mul_230) Mul (/Mul_231) Gather (/Gather_40) Gather (/Gather_41) Add (/Add_98) Add (/Add_100) Div (/Div_49) Div (/Div_50) Mul (/Mul_233) Mul (/Mul_239) Slice (/Slice_103) Cast (/Cast_28) IsNaN (/IsNaN_12) Gather (/Gather_42) Add (/Add_105) Div (/Div_52) Mul (/Mul_249) Mul (/Mul_250) Gather (/Gather_43) Gather (/Gather_44) Add (/Add_106) Add (/Add_108) Div (/Div_53) Div (/Div_54) Mul (/Mul_252) Mul (/Mul_258) Slice (/Slice_111) Cast (/Cast_30) IsNaN (/IsNaN_13) Gather (/Gather_45) Add (/Add_113) Div (/Div_56) Mul (/Mul_268) Mul (/Mul_269) Gather (/Gather_46) Gather (/Gather_47) Add (/Add_114) Add (/Add_116) Div (/Div_57) Div (/Div_58) Mul (/Mul_271) Mul (/Mul_277) Slice (/Slice_119) Cast (/Cast_32) IsNaN (/IsNaN_14) Gather (/Gather_48) Add (/Add_121) Div (/Div_60) Mul (/Mul_287) Mul (/Mul_288) Gather (/Gather_49) Gather (/Gather_50) Add (/Add_122) Add (/Add_124) Div (/Div_61) Div (/Div_62) Mul (/Mul_290) Mul (/Mul_296) Slice (/Slice_127) Cast (/Cast_34) IsNaN (/IsNaN_15) Gather (Gather) Gather (Gather_token_1) Gather (Gather_token_3) Gather (Gather_token_5) Gather (Gather_token_7) Gather (Gather_token_9) Gather (Gather_token_11) Gather (Gather_token_13) Gather (Gather_token_15) Gather (Gather_token_17) Gather (Gather_token_19) Gather (Gather_token_21) Gather (Gather_token_23) Gather (Gather_token_25) Gather (Gather_token_27) Gather (Gather_token_29) Gather (Gather_token_31) Gather (Gather_token_33) Gather (Gather_token_35) Gather (Gather_token_37) Gather (Gather_token_39) Gather (Gather_token_41) Gather (Gather_token_43) Gather (Gather_token_45) Gather (Gather_token_47) Gather (Gather_token_49) Gather (Gather_token_51) Gather (Gather_token_53) Gather (Gather_token_55) Gather (Gather_token_57) Gather (Gather_token_59) Gather (Gather_token_61) Node(s) placed on [WebGpuExecutionProvider]. Number of nodes: 975 Shape (/Shape_1) Gather (/tok_embeddings/Gather) LayerNormalization (/norm1/LayerNormalization) MatMulNBits (/mixed_qkv/MatMul_Q4) Shape (/Shape_2) Mul (/Mul) Where (/Where) Cos (/Cos) Sin (/Sin) Slice (/Slice) Slice (/Slice_1) Slice (/Slice_2) Unsqueeze (/Unsqueeze_1) Unsqueeze (/Unsqueeze_3) Reshape (/Reshape) Reshape (/Reshape_1) Reshape (/Reshape_2) Unsqueeze (/Unsqueeze_2) Unsqueeze (/Unsqueeze_4) Transpose (/Transpose) Transpose (/Transpose_1) Transpose (/Transpose_2) Shape (/Shape_4) Shape (/Shape_5) Concat (/Concat_51) Slice (/Slice_3) Slice (/Slice_4) Slice (/Slice_5) Slice (/Slice_6) Mul (/Mul_6) Mul (/Mul_9) Mul (/Mul_7) Mul (/Mul_8) Mul (/Mul_12) Mul (/Mul_15) Mul (/Mul_13) Mul (/Mul_14) Sub (/Sub) Add (/Add_3) Sub (/Sub_1) Add (/Add_5) Concat (/Concat_48) Concat (/Concat_49) Shape (/Shape_6) Concat (/Concat_50) Transpose (/Transpose_3) Sqrt (/Sqrt) Div (/Div_3) Sqrt (/Sqrt_2) Mul (/Mul_16) Mul (/Mul_17) MatMul (/MatMul) Add (/Add_6) Softmax (/Softmax) Where (/Where_1) MatMul (/MatMul_1) Transpose (/Transpose_4) Reshape (/Reshape_3) MatMulNBits (/att_proj_linear/MatMul_Q4) Add (/Add_7) LayerNormalization (/norm2/LayerNormalization) MatMulNBits (/ff_gate_proj/MatMul_Q4) MatMulNBits (/ff_up_proj/MatMul_Q4) Mul (/Mul_19) MatMulNBits (/ff_down_proj/MatMul_Q4) Add (/Add_8) LayerNormalization (/norm1_1/LayerNormalization) MatMulNBits (/mixed_qkv_1/MatMul_Q4) Shape (/Shape_7) Slice (/Slice_8) Slice (/Slice_9) Slice (/Slice_10) Reshape (/Reshape_4) Reshape (/Reshape_5) Reshape (/Reshape_6) Transpose (/Transpose_5) Transpose (/Transpose_6) Transpose (/Transpose_7) Shape (/Shape_8) Shape (/Shape_9) Concat (/Concat_71) Slice (/Slice_11) Slice (/Slice_12) Slice (/Slice_13) Slice (/Slice_14) Mul (/Mul_25) Mul (/Mul_28) Mul (/Mul_26) Mul (/Mul_27) Mul (/Mul_31) Mul (/Mul_34) Mul (/Mul_32) Mul (/Mul_33) Sub (/Sub_2) Add (/Add_11) Sub (/Sub_3) Add (/Add_13) Concat (/Concat_68) Concat (/Concat_69) Shape (/Shape_10) Concat (/Concat_70) Transpose (/Transpose_8) Sqrt (/Sqrt_3) Div (/Div_7) Sqrt (/Sqrt_5) Mul (/Mul_35) Mul (/Mul_36) MatMul (/MatMul_2) Add (/Add_14) Softmax (/Softmax_1) Where (/Where_3) MatMul (/MatMul_3) Transpose (/Transpose_9) Reshape (/Reshape_7) MatMulNBits (/att_proj_linear_1/MatMul_Q4) Add (/Add_15) LayerNormalization (/norm2_1/LayerNormalization) MatMulNBits (/ff_gate_proj_1/MatMul_Q4) MatMulNBits (/ff_up_proj_1/MatMul_Q4) Mul (/Mul_38) MatMulNBits (/ff_down_proj_1/MatMul_Q4) Add (/Add_16) LayerNormalization (/norm1_2/LayerNormalization) MatMulNBits (/mixed_qkv_2/MatMul_Q4) Shape (/Shape_11) Slice (/Slice_16) Slice (/Slice_17) Slice (/Slice_18) Reshape (/Reshape_8) Reshape (/Reshape_9) Reshape (/Reshape_10) Transpose (/Transpose_10) Transpose (/Transpose_11) Transpose (/Transpose_12) Shape (/Shape_12) Shape (/Shape_13) Concat (/Concat_75) Slice (/Slice_19) Slice (/Slice_20) Slice (/Slice_21) Slice (/Slice_22) Mul (/Mul_44) Mul (/Mul_47) Mul (/Mul_45) Mul (/Mul_46) Mul (/Mul_50) Mul (/Mul_53) Mul (/Mul_51) Mul (/Mul_52) Sub (/Sub_4) Add (/Add_19) Sub (/Sub_5) Add (/Add_21) Concat (/Concat_72) Concat (/Concat_73) Shape (/Shape_14) Concat (/Concat_74) Transpose (/Transpose_13) Sqrt (/Sqrt_6) Div (/Div_11) Sqrt (/Sqrt_8) Mul (/Mul_54) Mul (/Mul_55) MatMul (/MatMul_4) Add (/Add_22) Softmax (/Softmax_2) Where (/Where_5) MatMul (/MatMul_5) Transpose (/Transpose_14) Reshape (/Reshape_11) MatMulNBits (/att_proj_linear_2/MatMul_Q4) Add (/Add_23) LayerNormalization (/norm2_2/LayerNormalization) MatMulNBits (/ff_gate_proj_2/MatMul_Q4) MatMulNBits (/ff_up_proj_2/MatMul_Q4) Mul (/Mul_57) MatMulNBits (/ff_down_proj_2/MatMul_Q4) Add (/Add_24) LayerNormalization (/norm1_3/LayerNormalization) MatMulNBits (/mixed_qkv_3/MatMul_Q4) Shape (/Shape_15) Slice (/Slice_24) Slice (/Slice_25) Slice (/Slice_26) Reshape (/Reshape_12) Reshape (/Reshape_13) Reshape (/Reshape_14) Transpose (/Transpose_15) Transpose (/Transpose_16) Transpose (/Transpose_17) Shape (/Shape_16) Shape (/Shape_17) Concat (/Concat_79) Slice (/Slice_27) Slice (/Slice_28) Slice (/Slice_29) Slice (/Slice_30) Mul (/Mul_63) Mul (/Mul_66) Mul (/Mul_64) Mul (/Mul_65) Mul (/Mul_69) Mul (/Mul_72) Mul (/Mul_70) Mul (/Mul_71) Sub (/Sub_6) Add (/Add_27) Sub (/Sub_7) Add (/Add_29) Concat (/Concat_76) Concat (/Concat_77) Shape (/Shape_18) Concat (/Concat_78) Transpose (/Transpose_18) Sqrt (/Sqrt_9) Div (/Div_15) Sqrt (/Sqrt_11) Mul (/Mul_73) Mul (/Mul_74) MatMul (/MatMul_6) Add (/Add_30) Softmax (/Softmax_3) Where (/Where_7) MatMul (/MatMul_7) Transpose (/Transpose_19) Reshape (/Reshape_15) MatMulNBits (/att_proj_linear_3/MatMul_Q4) Add (/Add_31) LayerNormalization (/norm2_3/LayerNormalization) MatMulNBits (/ff_gate_proj_3/MatMul_Q4) MatMulNBits (/ff_up_proj_3/MatMul_Q4) Mul (/Mul_76) MatMulNBits (/ff_down_proj_3/MatMul_Q4) Add (/Add_32) LayerNormalization (/norm1_4/LayerNormalization) MatMulNBits (/mixed_qkv_4/MatMul_Q4) Shape (/Shape_19) Slice (/Slice_32) Slice (/Slice_33) Slice (/Slice_34) Reshape (/Reshape_16) Reshape (/Reshape_17) Reshape (/Reshape_18) Transpose (/Transpose_20) Transpose (/Transpose_21) Transpose (/Transpose_22) Shape (/Shape_20) Shape (/Shape_21) Concat (/Concat_83) Slice (/Slice_35) Slice (/Slice_36) Slice (/Slice_37) Slice (/Slice_38) Mul (/Mul_82) Mul (/Mul_85) Mul (/Mul_83) Mul (/Mul_84) Mul (/Mul_88) Mul (/Mul_91) Mul (/Mul_89) Mul (/Mul_90) Sub (/Sub_8) Add (/Add_35) Sub (/Sub_9) Add (/Add_37) Concat (/Concat_80) Concat (/Concat_81) Shape (/Shape_22) Concat (/Concat_82) Transpose (/Transpose_23) Sqrt (/Sqrt_12) Div (/Div_19) Sqrt (/Sqrt_14) Mul (/Mul_92) Mul (/Mul_93) MatMul (/MatMul_8) Add (/Add_38) Softmax (/Softmax_4) Where (/Where_9) MatMul (/MatMul_9) Transpose (/Transpose_24) Reshape (/Reshape_19) MatMulNBits (/att_proj_linear_4/MatMul_Q4) Add (/Add_39) LayerNormalization (/norm2_4/LayerNormalization) MatMulNBits (/ff_gate_proj_4/MatMul_Q4) MatMulNBits (/ff_up_proj_4/MatMul_Q4) Mul (/Mul_95) MatMulNBits (/ff_down_proj_4/MatMul_Q4) Add (/Add_40) LayerNormalization (/norm1_5/LayerNormalization) MatMulNBits (/mixed_qkv_5/MatMul_Q4) Shape (/Shape_23) Slice (/Slice_40) Slice (/Slice_41) Slice (/Slice_42) Reshape (/Reshape_20) Reshape (/Reshape_21) Reshape (/Reshape_22) Transpose (/Transpose_25) Transpose (/Transpose_26) Transpose (/Transpose_27) Shape (/Shape_24) Shape (/Shape_25) Concat (/Concat_87) Slice (/Slice_43) Slice (/Slice_44) Slice (/Slice_45) Slice (/Slice_46) Mul (/Mul_101) Mul (/Mul_104) Mul (/Mul_102) Mul (/Mul_103) Mul (/Mul_107) Mul (/Mul_110) Mul (/Mul_108) Mul (/Mul_109) Sub (/Sub_10) Add (/Add_43) Sub (/Sub_11) Add (/Add_45) Concat (/Concat_84) Concat (/Concat_85) Shape (/Shape_26) Concat (/Concat_86) Transpose (/Transpose_28) Sqrt (/Sqrt_15) Div (/Div_23) Sqrt (/Sqrt_17) Mul (/Mul_111) Mul (/Mul_112) MatMul (/MatMul_10) Add (/Add_46) Softmax (/Softmax_5) Where (/Where_11) MatMul (/MatMul_11) Transpose (/Transpose_29) Reshape (/Reshape_23) MatMulNBits (/att_proj_linear_5/MatMul_Q4) Add (/Add_47) LayerNormalization (/norm2_5/LayerNormalization) MatMulNBits (/ff_gate_proj_5/MatMul_Q4) MatMulNBits (/ff_up_proj_5/MatMul_Q4) Mul (/Mul_114) MatMulNBits (/ff_down_proj_5/MatMul_Q4) Add (/Add_48) LayerNormalization (/norm1_6/LayerNormalization) MatMulNBits (/mixed_qkv_6/MatMul_Q4) Shape (/Shape_27) Slice (/Slice_48) Slice (/Slice_49) Slice (/Slice_50) Reshape (/Reshape_24) Reshape (/Reshape_25) Reshape (/Reshape_26) Transpose (/Transpose_30) Transpose (/Transpose_31) Transpose (/Transpose_32) Shape (/Shape_28) Shape (/Shape_29) Concat (/Concat_91) Slice (/Slice_51) Slice (/Slice_52) Slice (/Slice_53) Slice (/Slice_54) Mul (/Mul_120) Mul (/Mul_123) Mul (/Mul_121) Mul (/Mul_122) Mul (/Mul_126) Mul (/Mul_129) Mul (/Mul_127) Mul (/Mul_128) Sub (/Sub_12) Add (/Add_51) Sub (/Sub_13) Add (/Add_53) Concat (/Concat_88) Concat (/Concat_89) Shape (/Shape_30) Concat (/Concat_90) Transpose (/Transpose_33) Sqrt (/Sqrt_18) Div (/Div_27) Sqrt (/Sqrt_20) Mul (/Mul_130) Mul (/Mul_131) MatMul (/MatMul_12) Add (/Add_54) Softmax (/Softmax_6) Where (/Where_13) MatMul (/MatMul_13) Transpose (/Transpose_34) Reshape (/Reshape_27) MatMulNBits (/att_proj_linear_6/MatMul_Q4) Add (/Add_55) LayerNormalization (/norm2_6/LayerNormalization) MatMulNBits (/ff_gate_proj_6/MatMul_Q4) MatMulNBits (/ff_up_proj_6/MatMul_Q4) Mul (/Mul_133) MatMulNBits (/ff_down_proj_6/MatMul_Q4) Add (/Add_56) LayerNormalization (/norm1_7/LayerNormalization) MatMulNBits (/mixed_qkv_7/MatMul_Q4) Shape (/Shape_31) Slice (/Slice_56) Slice (/Slice_57) Slice (/Slice_58) Reshape (/Reshape_28) Reshape (/Reshape_29) Reshape (/Reshape_30) Transpose (/Transpose_35) Transpose (/Transpose_36) Transpose (/Transpose_37) Shape (/Shape_32) Shape (/Shape_33) Concat (/Concat_95) Slice (/Slice_59) Slice (/Slice_60) Slice (/Slice_61) Slice (/Slice_62) Mul (/Mul_139) Mul (/Mul_142) Mul (/Mul_140) Mul (/Mul_141) Mul (/Mul_145) Mul (/Mul_148) Mul (/Mul_146) Mul (/Mul_147) Sub (/Sub_14) Add (/Add_59) Sub (/Sub_15) Add (/Add_61) Concat (/Concat_92) Concat (/Concat_93) Shape (/Shape_34) Concat (/Concat_94) Transpose (/Transpose_38) Sqrt (/Sqrt_21) Div (/Div_31) Sqrt (/Sqrt_23) Mul (/Mul_149) Mul (/Mul_150) MatMul (/MatMul_14) Add (/Add_62) Softmax (/Softmax_7) Where (/Where_15) MatMul (/MatMul_15) Transpose (/Transpose_39) Reshape (/Reshape_31) MatMulNBits (/att_proj_linear_7/MatMul_Q4) Add (/Add_63) LayerNormalization (/norm2_7/LayerNormalization) MatMulNBits (/ff_gate_proj_7/MatMul_Q4) MatMulNBits (/ff_up_proj_7/MatMul_Q4) Mul (/Mul_152) MatMulNBits (/ff_down_proj_7/MatMul_Q4) Add (/Add_64) LayerNormalization (/norm1_8/LayerNormalization) MatMulNBits (/mixed_qkv_8/MatMul_Q4) Shape (/Shape_35) Slice (/Slice_64) Slice (/Slice_65) Slice (/Slice_66) Reshape (/Reshape_32) Reshape (/Reshape_33) Reshape (/Reshape_34) Transpose (/Transpose_40) Transpose (/Transpose_41) Transpose (/Transpose_42) Shape (/Shape_36) Shape (/Shape_37) Concat (/Concat_99) Slice (/Slice_67) Slice (/Slice_68) Slice (/Slice_69) Slice (/Slice_70) Mul (/Mul_158) Mul (/Mul_161) Mul (/Mul_159) Mul (/Mul_160) Mul (/Mul_164) Mul (/Mul_167) Mul (/Mul_165) Mul (/Mul_166) Sub (/Sub_16) Add (/Add_67) Sub (/Sub_17) Add (/Add_69) Concat (/Concat_96) Concat (/Concat_97) Shape (/Shape_38) Concat (/Concat_98) Transpose (/Transpose_43) Sqrt (/Sqrt_24) Div (/Div_35) Sqrt (/Sqrt_26) Mul (/Mul_168) Mul (/Mul_169) MatMul (/MatMul_16) Add (/Add_70) Softmax (/Softmax_8) Where (/Where_17) MatMul (/MatMul_17) Transpose (/Transpose_44) Reshape (/Reshape_35) MatMulNBits (/att_proj_linear_8/MatMul_Q4) Add (/Add_71) LayerNormalization (/norm2_8/LayerNormalization) MatMulNBits (/ff_gate_proj_8/MatMul_Q4) MatMulNBits (/ff_up_proj_8/MatMul_Q4) Mul (/Mul_171) MatMulNBits (/ff_down_proj_8/MatMul_Q4) Add (/Add_72) LayerNormalization (/norm1_9/LayerNormalization) MatMulNBits (/mixed_qkv_9/MatMul_Q4) Shape (/Shape_39) Slice (/Slice_72) Slice (/Slice_73) Slice (/Slice_74) Reshape (/Reshape_36) Reshape (/Reshape_37) Reshape (/Reshape_38) Transpose (/Transpose_45) Transpose (/Transpose_46) Transpose (/Transpose_47) Shape (/Shape_40) Shape (/Shape_41) Concat (/Concat_103) Slice (/Slice_75) Slice (/Slice_76) Slice (/Slice_77) Slice (/Slice_78) Mul (/Mul_177) Mul (/Mul_180) Mul (/Mul_178) Mul (/Mul_179) Mul (/Mul_183) Mul (/Mul_186) Mul (/Mul_184) Mul (/Mul_185) Sub (/Sub_18) Add (/Add_75) Sub (/Sub_19) Add (/Add_77) Concat (/Concat_100) Concat (/Concat_101) Shape (/Shape_42) Concat (/Concat_102) Transpose (/Transpose_48) Sqrt (/Sqrt_27) Div (/Div_39) Sqrt (/Sqrt_29) Mul (/Mul_187) Mul (/Mul_188) MatMul (/MatMul_18) Add (/Add_78) Softmax (/Softmax_9) Where (/Where_19) MatMul (/MatMul_19) Transpose (/Transpose_49) Reshape (/Reshape_39) MatMulNBits (/att_proj_linear_9/MatMul_Q4) Add (/Add_79) LayerNormalization (/norm2_9/LayerNormalization) MatMulNBits (/ff_gate_proj_9/MatMul_Q4) MatMulNBits (/ff_up_proj_9/MatMul_Q4) Mul (/Mul_190) MatMulNBits (/ff_down_proj_9/MatMul_Q4) Add (/Add_80) LayerNormalization (/norm1_10/LayerNormalization) MatMulNBits (/mixed_qkv_10/MatMul_Q4) Shape (/Shape_43) Slice (/Slice_80) Slice (/Slice_81) Slice (/Slice_82) Reshape (/Reshape_40) Reshape (/Reshape_41) Reshape (/Reshape_42) Transpose (/Transpose_50) Transpose (/Transpose_51) Transpose (/Transpose_52) Shape (/Shape_44) Shape (/Shape_45) Concat (/Concat_107) Slice (/Slice_83) Slice (/Slice_84) Slice (/Slice_85) Slice (/Slice_86) Mul (/Mul_196) Mul (/Mul_199) Mul (/Mul_197) Mul (/Mul_198) Mul (/Mul_202) Mul (/Mul_205) Mul (/Mul_203) Mul (/Mul_204) Sub (/Sub_20) Add (/Add_83) Sub (/Sub_21) Add (/Add_85) Concat (/Concat_104) Concat (/Concat_105) Shape (/Shape_46) Concat (/Concat_106) Transpose (/Transpose_53) Sqrt (/Sqrt_30) Div (/Div_43) Sqrt (/Sqrt_32) Mul (/Mul_206) Mul (/Mul_207) MatMul (/MatMul_20) Add (/Add_86) Softmax (/Softmax_10) Where (/Where_21) MatMul (/MatMul_21) Transpose (/Transpose_54) Reshape (/Reshape_43) MatMulNBits (/att_proj_linear_10/MatMul_Q4) Add (/Add_87) LayerNormalization (/norm2_10/LayerNormalization) MatMulNBits (/ff_gate_proj_10/MatMul_Q4) MatMulNBits (/ff_up_proj_10/MatMul_Q4) Mul (/Mul_209) MatMulNBits (/ff_down_proj_10/MatMul_Q4) Add (/Add_88) LayerNormalization (/norm1_11/LayerNormalization) MatMulNBits (/mixed_qkv_11/MatMul_Q4) Shape (/Shape_47) Slice (/Slice_88) Slice (/Slice_89) Slice (/Slice_90) Reshape (/Reshape_44) Reshape (/Reshape_45) Reshape (/Reshape_46) Transpose (/Transpose_55) Transpose (/Transpose_56) Transpose (/Transpose_57) Shape (/Shape_48) Shape (/Shape_49) Concat (/Concat_111) Slice (/Slice_91) Slice (/Slice_92) Slice (/Slice_93) Slice (/Slice_94) Mul (/Mul_215) Mul (/Mul_218) Mul (/Mul_216) Mul (/Mul_217) Mul (/Mul_221) Mul (/Mul_224) Mul (/Mul_222) Mul (/Mul_223) Sub (/Sub_22) Add (/Add_91) Sub (/Sub_23) Add (/Add_93) Concat (/Concat_108) Concat (/Concat_109) Shape (/Shape_50) Concat (/Concat_110) Transpose (/Transpose_58) Sqrt (/Sqrt_33) Div (/Div_47) Sqrt (/Sqrt_35) Mul (/Mul_225) Mul (/Mul_226) MatMul (/MatMul_22) Add (/Add_94) Softmax (/Softmax_11) Where (/Where_23) MatMul (/MatMul_23) Transpose (/Transpose_59) Reshape (/Reshape_47) MatMulNBits (/att_proj_linear_11/MatMul_Q4) Add (/Add_95) LayerNormalization (/norm2_11/LayerNormalization) MatMulNBits (/ff_gate_proj_11/MatMul_Q4) MatMulNBits (/ff_up_proj_11/MatMul_Q4) Mul (/Mul_228) MatMulNBits (/ff_down_proj_11/MatMul_Q4) Add (/Add_96) LayerNormalization (/norm1_12/LayerNormalization) MatMulNBits (/mixed_qkv_12/MatMul_Q4) Shape (/Shape_51) Slice (/Slice_96) Slice (/Slice_97) Slice (/Slice_98) Reshape (/Reshape_48) Reshape (/Reshape_49) Reshape (/Reshape_50) Transpose (/Transpose_60) Transpose (/Transpose_61) Transpose (/Transpose_62) Shape (/Shape_52) Shape (/Shape_53) Concat (/Concat_115) Slice (/Slice_99) Slice (/Slice_100) Slice (/Slice_101) Slice (/Slice_102) Mul (/Mul_234) Mul (/Mul_237) Mul (/Mul_235) Mul (/Mul_236) Mul (/Mul_240) Mul (/Mul_243) Mul (/Mul_241) Mul (/Mul_242) Sub (/Sub_24) Add (/Add_99) Sub (/Sub_25) Add (/Add_101) Concat (/Concat_112) Concat (/Concat_113) Shape (/Shape_54) Concat (/Concat_114) Transpose (/Transpose_63) Sqrt (/Sqrt_36) Div (/Div_51) Sqrt (/Sqrt_38) Mul (/Mul_244) Mul (/Mul_245) MatMul (/MatMul_24) Add (/Add_102) Softmax (/Softmax_12) Where (/Where_25) MatMul (/MatMul_25) Transpose (/Transpose_64) Reshape (/Reshape_51) MatMulNBits (/att_proj_linear_12/MatMul_Q4) Add (/Add_103) LayerNormalization (/norm2_12/LayerNormalization) MatMulNBits (/ff_gate_proj_12/MatMul_Q4) MatMulNBits (/ff_up_proj_12/MatMul_Q4) Mul (/Mul_247) MatMulNBits (/ff_down_proj_12/MatMul_Q4) Add (/Add_104) LayerNormalization (/norm1_13/LayerNormalization) MatMulNBits (/mixed_qkv_13/MatMul_Q4) Shape (/Shape_55) Slice (/Slice_104) Slice (/Slice_105) Slice (/Slice_106) Reshape (/Reshape_52) Reshape (/Reshape_53) Reshape (/Reshape_54) Transpose (/Transpose_65) Transpose (/Transpose_66) Transpose (/Transpose_67) Shape (/Shape_56) Shape (/Shape_57) Concat (/Concat_119) Slice (/Slice_107) Slice (/Slice_108) Slice (/Slice_109) Slice (/Slice_110) Mul (/Mul_253) Mul (/Mul_256) Mul (/Mul_254) Mul (/Mul_255) Mul (/Mul_259) Mul (/Mul_262) Mul (/Mul_260) Mul (/Mul_261) Sub (/Sub_26) Add (/Add_107) Sub (/Sub_27) Add (/Add_109) Concat (/Concat_116) Concat (/Concat_117) Shape (/Shape_58) Concat (/Concat_118) Transpose (/Transpose_68) Sqrt (/Sqrt_39) Div (/Div_55) Sqrt (/Sqrt_41) Mul (/Mul_263) Mul (/Mul_264) MatMul (/MatMul_26) Add (/Add_110) Softmax (/Softmax_13) Where (/Where_27) MatMul (/MatMul_27) Transpose (/Transpose_69) Reshape (/Reshape_55) MatMulNBits (/att_proj_linear_13/MatMul_Q4) Add (/Add_111) LayerNormalization (/norm2_13/LayerNormalization) MatMulNBits (/ff_gate_proj_13/MatMul_Q4) MatMulNBits (/ff_up_proj_13/MatMul_Q4) Mul (/Mul_266) MatMulNBits (/ff_down_proj_13/MatMul_Q4) Add (/Add_112) LayerNormalization (/norm1_14/LayerNormalization) MatMulNBits (/mixed_qkv_14/MatMul_Q4) Shape (/Shape_59) Slice (/Slice_112) Slice (/Slice_113) Slice (/Slice_114) Reshape (/Reshape_56) Reshape (/Reshape_57) Reshape (/Reshape_58) Transpose (/Transpose_70) Transpose (/Transpose_71) Transpose (/Transpose_72) Shape (/Shape_60) Shape (/Shape_61) Concat (/Concat_123) Slice (/Slice_115) Slice (/Slice_116) Slice (/Slice_117) Slice (/Slice_118) Mul (/Mul_272) Mul (/Mul_275) Mul (/Mul_273) Mul (/Mul_274) Mul (/Mul_278) Mul (/Mul_281) Mul (/Mul_279) Mul (/Mul_280) Sub (/Sub_28) Add (/Add_115) Sub (/Sub_29) Add (/Add_117) Concat (/Concat_120) Concat (/Concat_121) Shape (/Shape_62) Concat (/Concat_122) Transpose (/Transpose_73) Sqrt (/Sqrt_42) Div (/Div_59) Sqrt (/Sqrt_44) Mul (/Mul_282) Mul (/Mul_283) MatMul (/MatMul_28) Add (/Add_118) Softmax (/Softmax_14) Where (/Where_29) MatMul (/MatMul_29) Transpose (/Transpose_74) Reshape (/Reshape_59) MatMulNBits (/att_proj_linear_14/MatMul_Q4) Add (/Add_119) LayerNormalization (/norm2_14/LayerNormalization) MatMulNBits (/ff_gate_proj_14/MatMul_Q4) MatMulNBits (/ff_up_proj_14/MatMul_Q4) Mul (/Mul_285) MatMulNBits (/ff_down_proj_14/MatMul_Q4) Add (/Add_120) LayerNormalization (/norm1_15/LayerNormalization) MatMulNBits (/mixed_qkv_15/MatMul_Q4) Shape (/Shape_63) Slice (/Slice_120) Slice (/Slice_121) Slice (/Slice_122) Reshape (/Reshape_60) Reshape (/Reshape_61) Reshape (/Reshape_62) Transpose (/Transpose_75) Transpose (/Transpose_76) Transpose (/Transpose_77) Shape (/Shape_64) Shape (/Shape_65) Concat (/Concat_127) Slice (/Slice_123) Slice (/Slice_124) Slice (/Slice_125) Slice (/Slice_126) Mul (/Mul_291) Mul (/Mul_294) Mul (/Mul_292) Mul (/Mul_293) Mul (/Mul_297) Mul (/Mul_300) Mul (/Mul_298) Mul (/Mul_299) Sub (/Sub_30) Add (/Add_123) Sub (/Sub_31) Add (/Add_125) Concat (/Concat_124) Concat (/Concat_125) Shape (/Shape_66) Concat (/Concat_126) Transpose (/Transpose_78) Sqrt (/Sqrt_45) Div (/Div_63) Sqrt (/Sqrt_47) Mul (/Mul_301) Mul (/Mul_302) MatMul (/MatMul_30) Add (/Add_126) Softmax (/Softmax_15) Where (/Where_31) MatMul (/MatMul_31) Transpose (/Transpose_79) Reshape (/Reshape_63) MatMulNBits (/att_proj_linear_15/MatMul_Q4) Add (/Add_127) LayerNormalization (/norm2_15/LayerNormalization) MatMulNBits (/ff_gate_proj_15/MatMul_Q4) MatMulNBits (/ff_up_proj_15/MatMul_Q4) Mul (/Mul_304) MatMulNBits (/ff_down_proj_15/MatMul_Q4) Add (/Add_128) LayerNormalization (/out_layer_norm/LayerNormalization) MatMulNBits (/lm_head/MatMul_Q4) QuickGelu (/Mul_18/QuickGeluFusion/) QuickGelu (/Mul_37/QuickGeluFusion/) QuickGelu (/Mul_56/QuickGeluFusion/) QuickGelu (/Mul_75/QuickGeluFusion/) QuickGelu (/Mul_94/QuickGeluFusion/) QuickGelu (/Mul_113/QuickGeluFusion/) QuickGelu (/Mul_132/QuickGeluFusion/) QuickGelu (/Mul_151/QuickGeluFusion/) QuickGelu (/Mul_170/QuickGeluFusion/) QuickGelu (/Mul_189/QuickGeluFusion/) QuickGelu (/Mul_208/QuickGeluFusion/) QuickGelu (/Mul_227/QuickGeluFusion/) QuickGelu (/Mul_246/QuickGeluFusion/) QuickGelu (/Mul_265/QuickGeluFusion/) QuickGelu (/Mul_284/QuickGeluFusion/) QuickGelu (/Mul_303/QuickGeluFusion/) MemcpyFromHost (Memcpy) MemcpyFromHost (Memcpy_token_62) MemcpyFromHost (Memcpy_token_63) MemcpyFromHost (Memcpy_token_64) MemcpyFromHost (Memcpy_token_65) MemcpyFromHost (Memcpy_token_66) MemcpyFromHost (Memcpy_token_67) MemcpyFromHost (Memcpy_token_68) MemcpyFromHost (Memcpy_token_69) MemcpyFromHost (Memcpy_token_70) MemcpyFromHost (Memcpy_token_71) MemcpyFromHost (Memcpy_token_72) MemcpyFromHost (Memcpy_token_73) MemcpyFromHost (Memcpy_token_74) MemcpyFromHost (Memcpy_token_75) MemcpyFromHost (Memcpy_token_76) MemcpyFromHost (Memcpy_token_77) MemcpyFromHost (Memcpy_token_78) MemcpyFromHost (Memcpy_token_79) MemcpyFromHost (Memcpy_token_80) MemcpyFromHost (Memcpy_token_81) MemcpyFromHost (Memcpy_token_82) MemcpyFromHost (Memcpy_token_83) MemcpyFromHost (Memcpy_token_84) MemcpyFromHost (Memcpy_token_85) MemcpyFromHost (Memcpy_token_86) MemcpyFromHost (Memcpy_token_87) MemcpyFromHost (Memcpy_token_88) MemcpyFromHost (Memcpy_token_89) MemcpyFromHost (Memcpy_token_90) MemcpyFromHost (Memcpy_token_91) MemcpyFromHost (Memcpy_token_92) MemcpyFromHost (Memcpy_token_93) MemcpyFromHost (Memcpy_token_94) MemcpyFromHost (Memcpy_token_95) MemcpyToHost (Memcpy_token_96) MemcpyToHost (Memcpy_token_97) MemcpyToHost (Memcpy_token_98) MemcpyToHost (Memcpy_token_99) MemcpyToHost (Memcpy_token_100) MemcpyToHost (Memcpy_token_101) MemcpyToHost (Memcpy_token_102) MemcpyToHost (Memcpy_token_103) MemcpyToHost (Memcpy_token_104) MemcpyToHost (Memcpy_token_105) MemcpyToHost (Memcpy_token_106) MemcpyToHost (Memcpy_token_107) MemcpyToHost (Memcpy_token_108) MemcpyToHost (Memcpy_token_109) MemcpyToHost (Memcpy_token_110) MemcpyToHost (Memcpy_token_111)