The Data Game
About all data related stuff
TECHNIKALIA
Dane timestamp, czyli te zawierające informacje o dacie i czasie, występują w wielu dziedzinach, takich jak finanse, zdrowie publiczne czy telekomunikacja. Przykłady takich danych to pomiary temperatury zarejestrowane co godzinę, daty i godziny transakcji finansowych, znaczniki czasowe postów na mediach społecznościowych czy zapisy medycznych pomiarów pacjentów. Utworzenie DataFrame z danymi czasowymi Za pomocą pandas.data_range stworzymy […]
Pomyślmy o uczeniu maszynowym jako o sztuce tworzenia modeli, które dobrze przewidują wyniki na podstawie przyszłych, nieznanych danych. Okej, wydaje się proste, ale w tym kontekście zadać można sobie pytanie: na ile dokładnie chcemy nauczyć się danych obecnych? W praktyce to, że model działa świetnie na danych, na których go trenowaliśmy, nie musi wcale oznaczać, […]
Że co? Ostatnio Brent Ozar miał bardzo ciekawy livestream odnośnie znajdowania najdłuższych wartości tekstowych w kolumnach w tabeli. W tym celu użył tabeli dbo.Users z kopii bazy StackOverflow i chciał znaleźć po dwie najdłuższe wartości z kolumn DisplayName, Location oraz WebsiteUrl. My spróbujemy zrobić to samo i porównać różne podejścia. Testy zostaną przeprowadzone na bazie […]
Że co? Mamy proste zadanie. Określić medianę czasu odpowiedzi na pytanie zadane na StackOverflow w tagu “sql-server” w czasie tygodnia. Kiedy najszybciej otrzymamy odpowiedź? O której godzinie zadać pytanie? Którego dnia tygodnia? Użyjemy do tego celu średniej bazy StackOverflow z roku 2013 (trochę stare dane) stąd. Zaczynamy! Dane na temat wpisów znajdują się w tabeli […]
Czym są dane cykliczne? Dane cykliczne to rodzaj danych, które mają cykliczny lub powtarzający się charakter w określonym interwale lub cyklu. Te dane powtarzają się lub zmieniają w określony sposób w zależności od pewnego okresu czasu, kąta lub innego cyklu. Przykłady danych cyklicznych obejmują: Kodowanie dni tygodnia Weźmy pod lupę kodowanie dni tygodnia. Załóżmy, że […]
Przez ostatnie 4 miesiące pracowaliśmy wraz z Michaliną nad projektem na konkurs Kaggle CAFA 5 Protein Function Prediction. Było to nasze pierwsze uczestnictwo w konkursie na platformie Kaggle, ale udało nam się ostatecznie zająć 37 miejsce, na 1675 zespołów. Czego dotyczył konkurs? https://www.kaggle.com/competitions/cafa-5-protein-function-prediction W ramach konkursu mieliśmy przewidzieć funkcje (GO) dla określonych białek, wykorzystując jedynie […]
Unikatowość w indeksie Jak dobrze wiemy, czy to indeks nieklastrowy czy klastrowy (skupiamy się na indeksach “rowstore”) może zostać opatrzony opcjonalną klauzulą UNIQUE która definiuje go jako unikatowy, czyli nie posiadający duplikatów w kolumnach tworzących jego definicję (jednak duplikaty spokojnie mogą się znajdować wśród kolumn zawartych w klauzuli INCLUDE). Przygotujmy sobie tabelę z takim indeksem […]
W naszym codziennym życiu jesteśmy otoczeni cenami i kwotami pieniędzy zapisanymi w formacie zmiennoprzecinkowym, takim jak 4,49 zł za mleko czy 199,99 zł za nowe buty. Wydaje się to być naturalnym rozwiązaniem, które ułatwia nam zarówno dokonywanie zakupów, jak i prowadzenie finansów osobistych. Jednak warto zastanowić się, dlaczego eksperci finansowi i programiści zdecydowanie odradzają trzymanie […]
Dane odgrywają kluczową rolę w podejmowaniu decyzji i ważne jest, abyśmy rozumieli znaczenie czystości naszych danych treningowych i testowych. Kontaminacja danych treningowych i testowych to subtelny, ale potencjalnie destrukcyjny problem, który może prowadzić do błędnych wniosków i wyników modeli. Czym jest kontaminacja danych treningowych i testowych? Przypomnijmy, że walidacja ma na celu pomiar, jak model […]
Pytanie zawarte w tytule wydaje się być banalne, ale spotkałem się już z osobami, które mimo dużego doświadczenia potrafiły udzielić nie do końca poprawnej odpowiedzi 😉 Nauka przez zabawę Najprościej będzie wyjaśnić różnicę pomiędzy nimi za pomocą przykładów. Skorzystamy w nich z bazy StackOverflow2013 i tabeli dbo.Posts. Zaczniemy od wrzucenia pierwszych 100 000 wierszy do […]
NEWS
Czołem! Po krótkiej przerwie technicznej, wracamy na dobre tory. Żaden tekst nie może obyć się bez OpenAI, zatem: OpenAI ustanowiło komitet ds. Bezpieczeństwa i Ochrony, rozpoczynając jednocześnie szkolenie nowego modelu AI. Grupą kierować będą kluczowi członkowie zarządu, w tym CEO Sam Altman, Bret Taylor, Adam D’Angelo i Nicole Seligman; do zadań należeć będzie przede wszystkim […]
Witaj Użytkowniku! Na rozgrzewkę przyjmiemy sobie skromną dawkę Elona Muska., którego platforma X wprowadziła nową funkcję nazwaną “Stories on X”, korzystającą z sztucznej inteligencji Grok AI. Funkcja ta podsumowuje aktualne tematy i jest dostępna dla płatnych użytkowników. Grok AI, tworzony między innymi dzięki danym z platformy, generuje streszczenia oparte na reakcjach użytkowników – więc mogą […]
Hejka naklejka! Google przeprowadza restrukturyzację swojego zespołu finansowego, kładąc większy nacisk na inwestycje w sztuczną inteligencję. Zmiany, o których poinformowała główna dyrektor finansowa Google, Ruth Porat, obejmują zwolnienia oraz przeniesienia pracowników i są odpowiedzią na spowolnienie wzrostu przychodów z reklam, jednocześnie stawiając na rosnącą rolę AI. CFO zaznaczyła, że restrukturyzacja jest częścią szerszej strategii przystosowania […]
Cześć! Zapraszam do podsumowania minionych 2 tygodni, wiadomości, które zaciekawiły mnie podczas surfowania po sieci telekomunikacyjnej Internet. Sekretarz Sił Powietrznych USA Frank Kendall ogłosił plany lotu myśliwcem F-16 sterowanym przez sztuczną inteligencję. Próba ma odbyć się wiosną tego roku i ma na celu zaprezentowanie potencjału sztucznej inteligencji w walce powietrznej, podkreślając przejście wojska w kierunku […]
Hejka naklejka! Świat jest podzielony. Jak zawsze, można by rzec. Wiecznie żywa reguła „dziel i rządź”, można by rzec. Świat podzielony na zwolenników sernika z rodzynkami, jak i bez rodzynków; wielbicieli sałatki jarzynowej jak i ludzi pozbawionych gustu; ludzi jeżdżących BMW, jak i masochistów, i tak dalej, i tym podobne. Przychodzę tu jednak ponad pewnymi […]
Siemson sportowe świry! Dumni po zwycięstwie, wierni po porażce. Tym razem jednak bez wstydu, hańby i kompromitacji. Nie podejrzewam naszego sztabu szkoleniowego o klasyczną inspirację rozwiązaniem stosowanym w Liverpoolu, natomiast nie miał bym nic przeciwko. We współpracy z Google DeepMind powstał bowiem TacticAI, model predykcyjny wspomagający wysiłki trenerów. Już w 2021 potrafił zgadnąć gdzie piłkarz […]
Dzień dobry. Friendship ended with ChatGPT-4, now Claude 3 Opus is my best friend. Tylko musimy przygotować się na pewnie niedogodności w związku z naszym pochodzeniem; i broń Boże nie chodzi o kolor skóry czy też rysy twarzy, ale wylosowane obywatelstwo. Jako Europa nie mamy bowiem, póki co, wygodnego dostępu do chatbota; zdaje się natomiast […]
Ahoj! Chińskie EMO Alibaba Group to siła, której już nie powstrzymamy! Tylko tej, zdaje się, naprawdę. Chiński Holding, ulicy kojarzący się zapewne z niewiarygodnie obficie zaopatrzonymi sklepami internetowymi, w ostatnich dniach zainwestował w marketing i bez problemu jest widywany na streszczeniach najważniejszych wiadomości ze świata IT. Kreatywne podejście i zaangażowanie Sory, tworu OpenAI, jako przykładu […]
Dzień dobry! Niedziela wieczur i humor zepsuty? Tak pomyśleli zapewne aktywni użytkownicy Reddita, który to zawarł umowę opiewającą na niebagatelną sumę 60 milionów dolarów. Umowę, która to jest poszerzeniem partnerstwa pomiędzy portalem a Googlem. Reddit, poza zastrzykiem „gotówki”, przydatnym przed swoim planowym wejściem na giełdę, otrzymał dostęp do platformy Vertex AI, ma także być lepiej […]