- Reālās pasaules testos ar sarežģītām novērojamības problēmām GPT-5 un GPT-5.1 Codex bija vienīgie modeļi, kas nodrošināja integrētu, kompilējamu kodu, kas bija gatavs ieviešanai ražošanā.
- Claude Code izcēlās ar arhitektūru un plašu dokumentāciju, taču tā risinājumi ietvēra kritiskas kļūdas un neintegrējās esošajā cauruļvadā, tāpēc bija nepieciešams turpmāks manuāls darbs.
- GPT-5.1 Codex uzlaboja GPT-5 ātruma, arhitektūras tīrības un žetonu efektivitātes ziņā, kā rezultātā tas pats uzdevums bija ievērojami lētāks risinājums nekā Claude.
- GPT-5.1-Codex-Max pievieno saspiešanas un dziļās spriešanas režīmus, padarot to par aģenta dzinēju, kas spēj stundām ilgi strādāt lielās krātuvēs, nezaudējot virzienu.
Ja pavadāt savas dienas kodējot, iespējams, pēdējā laikā esat pamanījis īstu mākslīgā intelekta programmēšanas rīku lavīnu : GPT-5.1 Codex, GPT-5 Codex, Claude Code, Kimi K2 Thinking, Sonnet 4.5, Haiku… Saraksts pieaug gandrīz katru nedēļu, un katrs pārdevējs apgalvo, ka tam ir labākais izstrādes asistents. Taču, kad ķeraties pie pamata risinājumiem un izmantojat tos reālos projektos, atšķirības kļūst acīmredzamas.
Pēdējās nedēļās vairākas komandas ir salīdzinājušas GPT-5.1 kodeksu, GPT-5 kodeksu, Claude kodu un Kimi K2 domāšanu stingros apstākļos: lieli repozitoriji, integrācija ar reālās pasaules cauruļvadiem, slodzes testēšana un sarežģītas novērojamības problēmas. Šeit nav vienkāršotu programmēšanas kata, bet gan kļūdas un funkcijas, kas varētu pārtraukt ražošanu, ja tās noiet greizi. No visiem šiem datiem izriet diezgan pārliecinošs vēstījums: OpenAI kodeksi un jo īpaši GPT-5.1 kodekss, nodrošina visvairāk "faktiski izvietojamo kodu".
GPT-5.1 kodekss pret Kloda kodeksu: īss dueļa pārskats
Kad kāds runā par “GPT-5.1 Codex pret Claude Code etalonu”, viņš patiesībā salīdzina divas diezgan atšķirīgas koda pārvaldības filozofijas . GPT-5.1 Codex (un tā evolūcija, GPT-5.1-Codex-Max) jau no paša sākuma ir izstrādāts kā dzinējs aģentiem, kas strādā ilgas stundas vienā un tajā pašā repozitorijā: tas saprot kontekstu, rediģē failus, veic testus un labo savas kļūdas. Claude Code, no otras puses, izceļas ar koda skaidrojumu, arhitektūru projektēšanu un dokumentācijas ģenerēšanu, taču tam bieži vien pietrūkst, lai patiesi integrētu izmaiņas esošajā koda bāzē.
Reālās pasaules testos ar novērojamības projektiem šī atšķirība bija skaidri redzama: Codex modeļi bija vienīgie, kas ģenerēja integrētu un ražošanai gatavu kodu , savukārt Klods un Kimi radīja krāšņas arhitektūras, radošas idejas un daudz rindiņu… taču ar kritiskām kļūdām, integrācijas kļūmēm vai vienkārši kodu, kas pat netika kompilēts.
Kā tika veikts etalons: reālas problēmas, nevis rotaļlietas
Lai etalons būtu jēgpilns, tika pilnībā izvairīties no tipiskā uzdevuma "uzrakstīt funkciju, kas apgriež virkni". Tā vietā novērojamības platformā tika izvēlēti divi sarežģīti izaicinājumi ar ļoti specifiskām veiktspējas un uzticamības prasībām un ievērojot labas testēšanas un ieviešanas prakses programmatūras inženierijā :
Pirmais izaicinājums: izstrādāt un ieviest statistisku anomāliju noteikšanas sistēmu , kas spēj apgūt bāzes kļūdu līmeni, aprēķināt z-rādītājus un slīdošos vidējos rādītājus, noteikt izmaiņu ātruma svārstības un apstrādāt vairāk nekā 100 000 žurnālu minūtē ar latentumu, kas mazāks par 10 ms. Tas viss ir jāintegrē esošajā cauruļvadā.
Otrais izaicinājums: atrisināt izkliedēto brīdinājumu deduplikāciju , kad vairāki procesori gandrīz vienlaikus atklāj vienu un to pašu anomāliju. Bija nepieciešams izvairīties no dublikātiem ar mazāk nekā 5 sekunžu intervālu starp tiem, pieļaut pulksteņa aizkavi līdz 3 sekundēm un apstrādāt procesora avārijas, neatstājot sistēmu sasalušu.
Četri testētie modeļi — GPT-5 Codex, GPT-5.1 Codex, Claude Code un Kimi K2 Thinking — saņēma vienādus uzdevumus vienā un tajā pašā IDE (kursorā) un vienā un tajā pašā repozitorijā. Tika mērīts patērētais laiks, patērētie žetoni, izmaksas dolāros, koda kvalitāte, kritisko kļūdu skaits un, vēl svarīgāk, vai rezultāts patiešām bija saistīts ar esošo koda bāzi vai palika "paralēlais prototips".
1. testa rezultāti: anomāliju statistiskā noteikšana
Pirmajā testā mērķis bija panākt, lai katrs modelis sniegtu ražošanai gatavs statistisko anomāliju detektors: ātruma aprēķini, bīdāmie logi, z-rādītāji, izmaiņu maksimumi, rūpīga dalīšanas ar nulli apstrāde un integrācija klasē AnomalyDetector un faktiskajā cauruļvadā.
Klods Kods Tas tika palaists ar blīkšķi: tūkstošiem jaunu koda rindiņu, plaša dokumentācija, vairāki statistikas mehānismi (z-rādītājs, EWMA, valūtas kursa pārbaudes) un pat sintētiski etaloni. Uz papīra tas izklausījās pēc mācību grāmatas inženierijas. Bet, kad kods tika palaists, parādījās otra puse: valūtas kursa funkcija, kas atgrieza Infinity kad iepriekšējais logs bija nulle, un tad a toFixed() par to vērtību, kas izraisīja Tūlītēja diapazona kļūdaTurklāt bāzes sistēma nebija patiesi mainīga, un testi nebija deterministiski (izmantojot Math.random()Un, lai to visu vainagotu, Nekas no tā nebija savienots ar faktisko cauruļvadu.Rezultāts: pārsteidzošs prototips, bet tādu, kāds tas ir, nav iespējams laist ražošanā.
Mēģinājums uz GPT-5 kodekss Tas bija daudz pragmatiskāk. Apmēram 18 minūtēs tas ģenerēja labi integrēts kods, ar neto izmaiņām tikai dažu simtu rindiņu apmērātieši uz klases AnomalyDetector un faktiskos ieejas punktus. Viņi rūpējās par robežgadījumu apstrādi (piemēram, Number.POSITIVE_INFINITY pirms zvanīšanas toFixed()), ieviesa pakāpenisku statistiku slīdošajos logos ar O(1) sarežģītību un saskaņoja laika intervālus ar sienas pulksteni paredzamības labad. Vienības testi Tie bija deterministiski, un rezultāts sistēmā darbojās, gandrīz nepieskaroties nekam citam.
Attiecībā uz GPT-5.1 kodekssViņš izvēlējās vēl tīrāku arhitektūras pieeju. Pagaidu kausu vietā viņš izmantoja uz paraugiem balstītus ritošos logus ar galvas/astes rādītājiem un īpašu klasi. RollingWindowStats lai veiktu summēšanu un kvadrātu summēšanu. Viņš rūpīgi kontrolēja dalīšanu ar nulli, izmantojot tādas konstantes kā MIN_RATE_CHANGE_BASE_RATEViņš ierobežoja bāzes atjaunināšanas biežumu, lai taupītu resursus, un rakstīja deterministiskus testus ar kontrolētiem laika zīmogiem. 11 minūtēs tas ģenerēja vairāk tīkla līniju nekā GPT-5, taču ar vienkāršāku arhitektūru, labāku atmiņas pārvaldību un tādu pašu "izvietošanas gatavības" kvalitāti..
Ceturtais spēlētājs, Kimi K2 Thinking , izvēlējās radošu risinājumu, kas apvienoja straumēšanas žurnālu atbalstu un partiju metrikas, pievienojot noteikšanu, pamatojoties uz MAD un EMA. Uz papīra tas neizskatījās slikti, taču kodols bija bojāts: tas atjaunināja bāzes līniju pirms katras vērtības novērtēšanas, kā rezultātā z-rādītājs tuvojās nullei un anomālijas praktiski nekad netika izraisītas . Turklāt tas ieviesa kompilācijas kļūdu TypeScript un atkārtoja to pašu dalīšanas ar nulli problēmu kā Claude. Vēl ļaunāk, kods pat netika kompilēts un nebija pareizi piesaistīts sistēmai.
Šīs pirmās kārtas secinājums ir diezgan skaidrs: abi kodeksi (GPT-5 un GPT-5.1) bija vienīgie, kas nodrošināja funkcionālu, integrētu un samērā robustu kodu . GPT-5.1 izmaksas atbilda Claude izmaksām (aptuveni 0,39 USD šajā testā), bet īsākā laikā un ar tīrāku arhitektūru.
2. testa rezultāti: izkliedētā brīdinājuma deduplikācija
Otrais izaicinājums radīja klasisku izkliedētas koordinācijas problēmu : vairāki procesori varēja gandrīz vienlaikus noteikt vienu un to pašu anomāliju. Bija jānovērš dublētu brīdinājumu aktivizēšana, ja tie tiek atklāti 5 sekunžu laikā, vienlaikus pieļaujot zināmu pulksteņa desinhronizāciju un potenciālas procesa avārijas.
Klods atkal uzspīdēja dizaina aspektā. Viņš ierosināja arhitektūra trīs līmeņos: L1 kešatmiņa, datubāzes konsultatīvās slēdzenes kā L2 un unikāli ierobežojumi kā L3. Tajā tika izmantots NOW() no datubāzes, lai izvairītos no paļaušanās uz procesora pulksteņiem, tas labi apstrādāja bloķēšanas atlaišanu savienojuma zuduma gadījumā un tam bija gandrīz 500 testu rindas, kas aptvēra konfliktu, pulksteņa novirzes un kļūmes scenārijus. Tomēr, tāpat kā pirmajā testā, Nekas nebija pievienots faktiskajam procesoram, un dažas ieviešanas detaļas (piemēram, pārāk biezas bloķēšanas atslēgas vai laika logs, kas tiek piemērots visiem aktīvajiem brīdinājumiem) samazināja praktisko lietderību.
Paralēli, GPT-5 kodekss Viņš izvēlējās risinājumu, kura pamatā bija deduplikācijas tabula ar rezervācijām un derīguma termiņiem, kas tika koordinēta, izmantojot darījumus un FOR UPDATE. Kods tas tika tieši integrēts processAlertTas izmantoja servera laiku un samērā labi apstrādāja sadursmes, lai gan klauzulā bija neliela sacensība. ON CONFLICT kas ekstremālos apstākļos varēja ļaut diviem procesoriem iziet vienu un to pašu pārbaudi pirms apstiprināšanas. Tas nebija perfekti, taču bija ļoti tuvu tam, ko varētu ieviest ar nelielām izmaiņām.
Pārcelšanās GPT-5.1 kodekss Tas bija vēl minimālistiskāks un efektīvāks: papildu dēļu vietā tas paļāvās uz PostgreSQL konsultāciju slēdzenes ar funkciju acquireAdvisoryLock kas ģenerēja atslēgas, izmantojot SHA-256 pārī service:alertTypeSaskaņā ar šo bloķēšanu tas pārbaudīja, vai 5 sekunžu logā ir bijuši kādi neseni aktīvi brīdinājumi, un, ja nē, ievietoja jauno. Ja līdzīgs brīdinājums jau pastāvēja, tas atjaunināja tā nopietnību, ja jaunais brīdinājums bija augstāks. Tas viss ar servera laika zīmogu konsekventa izmantošana, lai pārvaldītu novirzi un pareizi iztīrīti bloki finallyRezultāts: vienkāršāka loģika, bez palīgtabulām un bez sacensībām, kuras ieilga GPT-5.
Šajā testā Kimi Jā, viņam izdevās integrēt savu loģiku processAlert un izmantot atsevišķus 5 sekunžu segmentus ar atomāriem augšupvērstiem ierakstiem un atkārtotiem mēģinājumiem ar atkāpšanos. Pati ideja nebija slikta, taču ieviešana atkal neizdevās galvenajās detaļās: kad diviem vienlaicīgiem ierakstiem bija vienāds createdAt, karoga aprēķins isDuplicate Tas tika mainīts, un brīdinājumi tika nepareizi atzīmēti; turklāt vaicājumā pat netika piemērota atkārtota aprēķināšana atlikšanas gadījumā, tāpēc Viņi atkal un atkal mēģināja atrisināt to pašu konfliktuĪsāk sakot, laba intuīcija, slikta izpilde.
Arī šajā otrajā kārtā izvietojamu kodu ģenerēja GPT-5 un GPT-5.1 Codex , un GPT-5.1 ieguva skaidru priekšrocību tīrības un sacensību apstākļu neesamības ziņā, un tas viss par aptuveni 0,37 ASV dolāriem salīdzinājumā ar 0,60 ASV dolāriem GPT-5 gadījumā.
Izmaksas: Kāpēc Codex galu galā ir lētāks nekā Claude
Ja aplūko tikai cenu par miljonu žetonu, varētu šķist, ka Claude Sonnet 4.5 un GPT-5.1 ir vienā līgā. Tomēr, iedziļinoties šo etalonu sīkākajos skaitļos, kļūst skaidrs, ka Codex piedāvā vairāk par mazāku cenu . Abos testos kopā izmaksas bija aptuveni šādas:
- Klods: kopā aptuveni 1,68 ASV dolāri.
- GPT-5 kodekss: aptuveni 0,95 ASV dolāri (par 43 % lētāk nekā Klodā).
- GPT-5.1 kodekss: aptuveni 0,76 ASV dolāri (aptuveni par 55 % mazāk nekā Klodam).
- kimi: Aptuveni 0,51 ASV dolārs, taču ar lielu nenoteiktību izmaksu sadalījuma trūkuma dēļ.
Svarīgākais ir tas, ka Claude iekasē lielāku maksu par katru izvades marķieri (15 USD/M salīdzinājumā ar 10 USD/M GPT-5.1 versijā) un turklāt mēdz ģenerēt daudz papildu teksta, pateicoties tā “domā skaļi” stilam un rūpīgajai dokumentācijai. No otras puses, Codex gūst labumu no konteksta kešatmiņas savā komandrindas saskarnē (CLI), atkārtoti izmantojot lielu daudzumu ievades marķieru, nepieprasot par tiem pilnu maksu vēlreiz. Pievienojiet tam faktu, ka GPT-5.1 bija efektīvāks izmantoto marķieru skaita ziņā nekā GPT-5, un rezultāts ir vednis, kas ne tikai ģenerē izmantojamāku kodu, bet arī ietaupa jūsu naudu.
Fiksētas cenas plānu, piemēram, "20 eiro mēnesī", pasaulē tas nozīmē kaut ko ļoti taustāmu: ar Codex jūs varat strādāt ar daudz vairāk koda stundām, pirms sasniedzat ierobežojumu . Turpretī ar Claude plāniem ir diezgan ierasta lieta, ka pieredzējuši lietotāji sasniedz ierobežojumu pat visdārgākajos abonementos, savukārt ar Codex Pro reti kāds to pārsniedz, izņemot ekstremālas lietošanas gadījumus.
Ko piedāvā GPT-5.1-Codex-Max: aģenti, kas strādā visu dienu
Virs GPT-5.1 Codex ir variants, kas īpaši izstrādāts ļoti ilgam un detalizētam koda bāzes darbam : GPT-5.1-Codex-Max. Šis modelis nav paredzēts "vispārīgai tērzēšanai", bet gan aģenta dzinēja darbībai Codex ekosistēmā un OpenAI Codex komandrindas saskarnē . Lielu repozitoriju lasīšana, daudzu failu modificēšana, testu komplektu palaišana un kontroles saglabāšana stundām ilgi ir daļa no tā DNS.
Galvenā atšķirība ir saspiešana . Tā vietā, lai paļautos tikai uz milzīgu konteksta logu, modelis var apkopot un saspiest vecākas sesijas daļas, vienlaikus saglabājot svarīgās detaļas. Tas it kā "saspiestu" jau veiktās darbības, lai atbrīvotu vietu jaunām komandām, neaizmirstot svarīgus lēmumus. Pateicoties tam, tas var strādāt milzīgos monorepozitorijos, vienlaikus mijiedarboties ar vairākiem pakalpojumiem un joprojām atcerēties dizaina izvēles, kas veiktas pirms daudzām stundām.
Vēl viens interesants aspekts ir spriešanas līmeņi . Režīms "Vidējs" ir piemērots ikdienas uzdevumiem (parastām biļetēm, mazām funkcijām, pieticīgām refaktorēšanas darbībām) ar labu latentumu. Režīms "xHigh" dod modelim vairāk iekšējā aprēķinu laika un ilgākus domāšanas procesus, upurējot ātrumu lielākas uzticamības vārdā sarežģītu problēmu risināšanā: masīvās refaktorēšanas darbībās, mantotās sistēmās, kas pilnas ar kļūmēm, grūti reproducējamās sacīkstēs utt. Uzdevumiem, kas vecākajam izstrādātājam parasti aizņemtu visu pēcpusdienu, šis režīms to kompensē.
Aģentiem specifiskos etalonos GPT-5.1-Codex-Max ievērojami uzlabo standarta GPT-5.1 Codex: vairāk uzdevumu tiek paveikti SWE-bench Verified un Lancer, labāka veiktspēja Terminal Bench un, pats galvenais, lielāka spēja saglabāt mieru garu sesiju laikā, nenovirzoties no uzmanības. Daudzām komandām šī atšķirība nozīmē, ka aģents spēj apstrādāt visu pieprasījumu no sākuma līdz beigām, nevis tikai ģenerēt neregulārus ielāpus.
Drošība, smilškastes testēšana un atbildīga modeļa izmantošana
Piešķirot aģentam piekļuvi savam terminālim un repozitorijam, ir normāli, ka rodas bažas par drošību. Codex un GPT-5.1-Codex-Max ir izstrādāti tā, lai vienmēr darbotos “smilškastes” vidē . Mākonī aģents darbojas konteinerā, kurā pēc noklusējuma ir atspējota tīkla piekļuve, un izejošā datplūsma ir atļauta tikai tad, ja tā ir skaidri iespējota. Lokāli tas paļaujas uz macOS, Linux vai Windows (vai WSL) “smilškastes” mehānismiem, lai ierobežotu, kuriem failiem tas var piekļūt.
Visās Codex virsmās atkārtojas divi noteikumi: tīkls netiek atvērts, ja vien jūs tam neliekat to darīt , un aģents nevar rediģēt failus ārpus konfigurētās darbvietas. Tas apvienojumā ar īpašu apmācību, lai izvairītos no destruktīvām komandām, padara daudz ticamāku, ka modelis apdomīgi iztīrīs direktoriju, nevis izdzēsīs pusi projekta, nepareizi interpretējot tādu frāzi kā "iztīrīt šo".
Attiecībā uz tūlītējas injekcijas uzbrukumiem (piemēram, ļaunprātīgs teksts, kas mēģina apmānīt mākslīgo intelektu (MI), lai tas ignorētu tā noteikumus un nopludinātu noslēpumus), Codex apmācība uzsver visa ārējā teksta apstrādi kā neuzticamu, ko atbalsta automatizētas MI modeļu testēšanas prakses . Praksē tas nozīmē datu noplūdes pieprasījumu noraidīšanu, atteikšanos augšupielādēt privātu kodu ārējās tīmekļa vietnēs un stingru priekšroku sistēmas un izstrādātāja norādījumu ievērošanai, nevis jebkam, kas atrodams dokumentācijā vai tīmekļa lapās.
GPT-5.1 kodekss salīdzinājumā ar Claude un citiem ikdienas lietošanā izmantotajiem modeļiem
Kad ir pārskatīti Codex-Max konkrētie kritēriji un iespējas, kopējā aina kļūst diezgan skaidra: katram modelim ir sava ideālā niša , un saprātīgāk ir nevis pieturēties pie viena visam, bet gan zināt, kad izmantot katru rīku.
GPT-5.1 kodekss (un tā Max variants) ir īpaši piemēroti, ja nepieciešams integrēts kods, pievēršot uzmanību malu aizsardzībai un nelielai kļūdu iespējamībai . Abos novērojamības testos tas kopā ar GPT-5 bija vienīgais, kas nodrošināja implementācijas, kuras varēja ieviest ražošanā, nepārrakstot pusi faila. Turklāt uzdevuma izmaksas bija viszemākās no visām, ar efektivitātes uzlabojumiem salīdzinājumā ar GPT-5 un grūti pārspējamu cenas un veiktspējas attiecību.
Claude Sonnet 4.5 / Claude Code mirdz, kad nepieciešams arhitektūras dizains, rūpīga dokumentācija un skaidri skaidrojumi . Iedomājieties arhitektūras pārskatus, plašus tehniskos dokumentus, migrācijas rokasgrāmatas… Viņu risinājumi parasti ir ļoti labi pamatoti un labi izskaidroti, ar vairākiem aizsardzības līmeņiem un kompromisu analīzēm, kuras ir patīkami lasīt. Cena, kas jāmaksā: prototipi, kas pēc tam jākonfigurē manuāli, vairāk kritisku kļūdu nekā sākotnēji šķiet, un ievērojami augstākas izmaksas par vienu žetonu.
Kimi K2 Thinking piedāvā daudz radošuma un alternatīvu pieeju . Savos eksperimentos tā pārbaudīja interesantas idejas, piemēram, logus, kas izmanto pagaidu segmentus deduplikācijai vai MAD un EMA apvienošanu anomāliju noteikšanā. Turklāt tās komandrindas saskarne (CLI) ir lēta, lai gan nedaudz neattīstīta. Problēma ir tā, ka tā bieži vien klīst pamata loģikas detaļās: statistikas atjaunināšanas secībā, dalīšanā ar nulli, apgrieztos karodziņos utt. Tā ir lieliska iedvesmai, taču ir nepieciešams veltīt nopietnu laiku tās radīto rezultātu pilnveidošanai un testēšanai.
Visbeidzot, vispārējie GPT-5.1 modeļi (tūlītēja darbība un domāšana) un tādi modeļi kā Gemini vai Llama kalpo par pamatu jauktiem uzdevumiem (dokumentācija, datu analīze, lietotāja mijiedarbība), taču, ja uzdevums ir tikai uz kodu un aģentiem balstīts, Codex pakotne pašlaik piedāvā dziļuma, cenas un rīku kombināciju, ko ir diezgan grūti saskaņot.
Aplūkojot visu kopā — abus novērojamības kritērijus, ilgtermiņa izmantošanu IDE, piemēram, VS Code un Cursor, Codex-Max kompaktumu, spriešanas režīmus un izmaksu atšķirības —, kopējais iespaids ir diezgan skaidrs: "mākslīgā intelekta, kas faktiski programmē un piegādā pienācīgus pieprasījumus", jomā GPT-5.1 Codex ir nopelnījis savu vietu kā galvenais rīks . Claude Code joprojām ir lielisks palīgs arhitektūras plānošanā un visaptverošas dokumentācijas izstrādē, un Kimi vai līdzīgi modeļi piedāvā dzirksteli un alternatīvas, taču, runājot par koda izveidi, kas kompilējas, integrējas un neavarē pirmajā mēģinājumā, Codex puse parasti galu galā uzvar.
