Видео

Doporučuji bezmála 3h video z letošní Devoxx konference, kde 2 z řešitelů společně popisují celou postupnou genezi řešení 1BRC. Popisují i různé aspekty samotné soutěže, díky kterým se řešení mohlo dostat tam, kam se dostalo. Pomohlo zejména to, že se řešení objevovaly průběžně, nikoliv až na poslední chvíli. Tím pádem se jednotliví řešitelé vzájemně inspirovali (kopírování bylo dovoleno), doplňovali další a další optimalizace.. Zde ono video: ruclips.net/video/_w4-BqeeC0k/видео.html

Trapné 😢

Ahoj, v popisku je nekompletni link na github. Jinak zajimava prednaska, diky :)

11:00 - kod co delat? 0. Ja bych to nasoukal do mysql databaze uz na zacatku :) 1. pokud ma script bezet dlouho, je nutne pridat do kodu set_ini a vypnout omezeni casovym limitem, to tam nemas, takze nepouzivas default php konfiguraci a uz to nekdo nejak steloval 2. take ma php limity pro praci se souborem 3. take mi prijde divne, ze stanice prirazujes pres textovy nazev a ne id (ja bych ti vytvoril v php tabulky jako v databazi id+nazev_stanice, nebo to resil pres mysql databazi) 4. pro testovani je mozne ten soubor ocesat a az kdyz to pobezi svizne, tak zkouset vetsi balicek dat 5. Mel sis do kodu pridat mereni pres php-microtime, pro testovani 6. Prvne bych zakomentoval funkci ksort a zmeril cas. Mam zkusenosti, ze default sortovaci funkce jazyku stoji zaprd a take sortovaci algoritmy, zvlast, pokud jde o maly nebo velky pocet hodnot. 7. mam zkusenosti, ze php 4.x posledni verze je lepe optimalizovana nez vsechny budouci, napr jsem desne zapolil s funkci chr() ord(), radeji jsem si vytvoril prevodni tabulky a najednou to jelo 10x rychleji. Ale v php4 ty funkce jeli ok. 31:00 - je problem s funkci fgetcsv? co ze? :) jako v php8? zajimave :) Kazdopadne, pro nacitani souboru jsou nejake limity a spoustu programu havaruje, kdyz je soubor vetsi nez 65535. 50:00 - 300s stale, vazne? :) 58:00 - jj, dulezite je mit na zacatku spravne typy. vubec, prislo mi divne, ze ti funguje porovnani min, max spravne, kdyz porovnavas stringy z fgetcsv 1:12:00 - 30 s pekne :) jenze ja parsoval xml a soukal do db, asi milion radku za 7s a to sem neoptimalizoval, jen parser a soubor jsem posilal zazipovany, rozzipoval jsem ho a pak parsoval, teda. 1:18:00 5s pekne :) 1:25 - 25s duckDb - to je presne cas, ktery bych z php asi vytriskal bez pouziti paralelizace :)