Arena Architektów #6 - Lakehouse: analityka jutra według Inmona C.D
HTML-код
- Опубликовано: 8 сен 2024
- Już jutro ciąg dalszy dyskusji architektów na temat przyszłości hurtowni danych - Lakehouse. Czasu było mało, a temat jest bardzo szeroki, dlatego postanowiliśmy kontynuować wątek, ale z drobnym plot twistem.
Ostatnio uwaga skupiona była na roli Databricks jako jednego z czołowych graczy w kształtowaniu koncepcji architektury Lakehouse. Tym razem zmiana kierunku i to Fabric będzie głównym tematem do rozmów. Ciekawi jesteście co Microsoft ma w tym temacie do zaproponowania?
Zapraszamy przed monitory już 22 marca, standardowo o 10:00!
Witajcie. Mam nadzieję, że nie będzie bana? :)
02:36 Grzegorz, to proste. Inspiracja kolorami z logo dwóch produktów: Fabric albo Databricks. Wybór architektonicznie nie będzie prosty, ale może oba na raz? Tylko nie mieszaj, bo wyjdzie kolor "konkurencji" ! ;)
29:50, 32:28, 34:50 Jakub, w punkt! To dopiero początek tej drogi i z czasem przybędzie "SaaS"owych integracji jednego-z-drugim-czy-trzecim komponentem.
Ale wiecie co? Mam nieodparte wrażenie, że MS kolejny raz przespał post-rewolucję Big Data.
Wiadomo, było PDW, był Polybase, (ba!) był nawet SQL BDC! Kierunek ciekawy, historia jednak pokazała, że nie po drodze z trendami. A potem miał być Synapse Gen-Z ;)
No i wyszło coś dużo więcej. Moim zdaniem integracja "nieco" na siłę z Power BI to strzał w dziesiątkę, a dokładniej w stopę, obok dużego palca, prosto tam, gdzie boli. Słabo ludzie rozumieją te wszystkie lejki, łerhałzy, kql itp. Zmiana brandingu, zmiana nazw komponentów, ekranów, elementów infrastruktury... Ale jak poznają i się wszystko "zagoi", to może i biegać będzie łatwiej w tym "maratonie"? :) Pytanie tylko czy branża nie wymyśli czegoś nowego i już Delta z innymi cukierkami będzie passe za te 3-5 lat, kiedy Fabric dotrze do tej utopijnej spójności....
No bo taki Databricks, czy inny Snowflake mogą obligatoryjnie podnieść runtime i lokomotywa jedzie dalej. Co najwyżej "popraw swój kod". A w Fabric ciężar spada również na producenta, żeby cały ekosystem był jako tako spójny. Wystarczy spojrzeć jak Synapse Pipelines goniło swojego starszego brata ADF (a przecież to były produkty spod tej samej strzechy!)
33:01, 36:34 Bartek, dokładnie! Czy t-sql i jego "kompatybilność", czy "integracja" jako całość i na końcu pytanie Grzegorza ("Kiedy Fabric będzie kompletnie ukończonym produktem?") - wiemy dobrze, że marketing nieco wyprzedza technologię (samospełniająca się przepowiednia :P ) Nie było jednak dobrego czasu na start platformy i z konsekwencjami produktu względnie stabilnego, choć pełnego niekomfortowych kompromisów, trzeba nadrabiać dobrym słowem "z ambony" i wyjść z tym co jest. Na moje oko doby ruch, choć nam architektom nadaje to nieco gorzkiego posmaku w tym nawarzonym przez nich piwie ;)
38:56 Grzegorz, co do tej stabilności SSAS Multi... Wyjątek pewnie nienegujący regułę, ale opisałem kiedyś buga na blogu, zgłosiłem oficjalnie i na stackoverflow. Oczywiście nikt tego nie naprawił. ( azure.pawlikowski.pro/2019/07/18/internal-error-an-unexpected-exception-occurred-when-trying-to-filter-simple-dimension-that-has-ragged-parent-child-hierarchy-in-multidimensional-model/ )
Niestety, MS OFICJALNIE potwierdził, że nie zamierza w Azure iść w MultiDim i jedyny słuszny kierunek w erze taniego i powszechnie dostępnego RAMu to Tabular ( learn.microsoft.com/en-us/analysis-services/comparing-tabular-and-multidimensional-solutions-ssas?view=asallproducts-allversions#:~:text=you%20can%20stop%20reading%20now.%20Multidimensional%20models%20will%20not%20be%20supported%20in%20Azure%20Analysis%20Services%20or%20Power%20BI%20Premium%20semantic%20models. )
40:47, 47:06 - Witaj w chmurze, gdzie nie masz już kontroli nad cyklem wdrażania poprawek i wersji rodem z WSUSa. W sumie to, co podsumował kolega Tomasz. Cloud to jedna nieustajaca faza 'versionless', gdzie bardzo często producent zapomina nawet wspomnieć w changelogu o wprowadzanych zmianach. Akurat PBI/Fabric uważam, że ma najlepszy opis waves i samych ficzerów/poprawek. Niemniej jednak jest to frustrujące i doskonale podzielam Twoje zdanie Grzegorz! Swoją drogą, nie wiem czy wiecie, ale Databricks formalnie w dokumentacji ficzery preview uznaje za 'ready to go live on prod'. Mają SLA, mają support, świetna decyzja! ( learn.microsoft.com/en-us/azure/databricks/release-notes/release-types#:~:text=Public%20preview-,Everyone,Support%20team,-Features%20are%20documented%20in%20the%20public%20Azure%20Databricks%20documentation.%20Preview )
50:55 Bartek, to to jeszcze nic. Przykładowo, żeby spełnić wymagania compliance, hipaa, knf itp, trzeba szyfrować nasze klocki CMK. Jedna z podstawowych platform przechowującą istotne dane, często nawet i wrażliwe, pozwala na to dopiero od ok. $6000 miesiecznie (req 100GB/d dedicated cluster, tak, logi w Log Analytics :P). Zbieranie doświadczenia o tym co dana platforma w jakim sku potrafi, z czym zadziała, z czym nie i czy to się opłaci, jest IMO jedną z największych zmor architekta (a tych jest całkiem sporo, ale to może temat na inną, waszą?, dyskusję :) )
53:19 Bartek, nie zapominajmy o tak trywialnej sprawie jak konieczność zalogowania do Azure aby utworzyć capacity. Zasłyszane co prawda, ale ponoć grupa projektowa potwierdziła - trzeba teraz wynieść się z portalu PBI i zaskładać capacity w Azure. Niby nic wielkiego, ale jednak nie ta strona księżyca, nie ten portal, nie ten rodzaj administracji :|
Tak do brzegu zmierzając ;) Jest w tym sporo racji, że Databricks ma swoją dojrzałość, wyrobioną markę, swoje zaplecze community, sporo know-how już w głowach specjalistów i w internecie, czego nie można powiedzieć o Fabricu. Oczywiście teraz rozumiem MS czemu dogadywał się z Databricks i nawet w niego inwestował (choć "bywały" momenty, kiedy nie było im po drodze). To początek długiej drogi, na końcu której wszystko może się wydarzyć. Mamy erę generatywnej magii, nieco (za) wolno rozpędzający się świat technologii kwantowej i zdecydowanie wielu graczy na tym placu boju, więcej niż przed laty. Chociaż MS imponuje nadrabianiem strat w Gartnerze, wszyscy depczą mu po piętach. A my, userzy, nieco "zatracamy się" galopując na oślep w nadrabianiu zaległości o nowych ficzerach, dobrych praktykach, szukając optymalnych rozwiązań, które przestają być zasadne czasem nawet po kilku tygodniach... Ale taki już jest koszt innowacyjności na skalę "big". Do następnego odcinka! ;)
p.s. Maciek, wbijaj szpile 'starszyznie', bo mam wrażenie, że sporo chodzi Ci po głowie, ale za mocno tamci kręcą się wokół swoich wymian piłeczek i ciężko Ci się wstrzelić :) Odwagi!