Loading...

Poland stronk! czyli inflacja ocen na RateBeer

Wiele osób przecierało ze zdumieniem oczy kiedy okazało się, że na największym internetowym portalu piwnym czyli RateBeer wśród dziesięciu najlepszych nowych browarów na świecie roku 2014 znalazły się polskie Doctor Brew oraz Birbant. Doctor nawet na drugim miejscu. Co za tym stoi? Poza tzw. 'hajpem', który występuje wszędzie, są moim zdaniem dwa główne powody ku temu.

Pierwszy nazwę mentalnością browar.bizową. Nie chcąc niczego ujmować szacownemu polskiemu portalowi, panuje na nim wśród recenzentów swego rodzaju mania sztucznego zawyżania ocen piwa. Nie wśród wszystkich użytkowników rzecz jasna, ale dziwnie często można napotkać na perełki pokroju "całkiem niezłe" i ocena 4/5, "niezbyt udane" i ocena 3.5/5 itd. Ludzie najwidoczniej zatracili sens proporcji. Przecież w systemie skalowym najniższa wartość jest odpowiednikiem najgorszego syfu jaki sobie można wyobrazić, a najwyższa odpowiada najlepszemu piwu jakie sobie wymarzymy. Zasada powinna więc być wystarczająco prosta i czytelna dla każdego. Tymczasem ludzie chyba podchodzą do tej skali jak permisywny nauczyciel w podstawówce do systemu ocen. Czyli 5 to może być piwo które jest rewelacyjne, ale z drugiej strony nie musi zwalać z nóg. Wystarczy jak smakuje i nie można mu specjalnie niczego zarzucić, no to wtedy dostaje pionę, nie? 4 to piwo dobre, czyli takie które się wypije, może nie zapada w pamięć, ale jest w porządku. Spoko. Może być. 3 to piwo dostateczne, czyli w sumie niesmaczne, ale szkoda by było ancymonowi dać dwóję. 2 to EDI. A 1 nie istnieje. Jeśli ktoś nie wierzy, to polecam pobieżne chociażby przeglądnięcie mini-recenzji na RB w wykonaniu polskich userów. Osoby które podsumowują piwo jako "ok", "całkiem niezłe" czy też "spoko", a choćby i nawet po prostu "dobre" nierzadko dają mu po 3.8-4.0, a nawet więcej. Dla porównania, pewien Norweg który jakiś czas temu dostał ode mnie 20 polskich piw tylko jedno z nich ocenił powyżej 4.0, a czytając jego wpis miałem wrażenie że w trakcie picia ze szczęścia o mało co zawału nie dostał.

Drugim powodem obecnego stanu rzeczy jest opacznie pojmowany patriotyzm, który zamiast długofalowej pracy na rzecz podniesienia jakości krajowych wyrobów, zamiast oczekiwania na to żeby za nimi stała siła merytoryki, każe zachwycać się nimi w postaci jednorazowych, gwałtownych, emocjonalnych erupcji. Chociażby po to żeby zademonstrować zadufanym w sobie obcokrajowcom że Poland stronk! Ale nie tędy droga.

No i biorąc pod uwagę, że w przypadku polskich piw to polskie recenzje przeważają, a polskich userów się na RB ostatnimi czasy narobiło mnóstwo, mamy oto rozwiązanie zagadki.

Jeśli porównać podejście panujące wśród polskich użytkowników z systemem oceniania userów z innych krajów, to od razu człowiekowi staje się jasne, jak to jest że polski craft jest notowany tak wysoko. Nie oznacza to bynajmniej że AleBrowar koniecznie stał się lepszy od Nogne O albo Cantillon (m.in. tych dwóch browarów zabrakło w pierwszej setce świata na RB), ale po prostu na RateBeer przemigrowała cała rzesza piwoszy którzy nie potrafią się sensownie posługiwać systemem skalowym, a i często bezmyślnie, chociażby i podświadomie ulegają hasłu "Teraz Polska!". I bez opamiętania zawyżają oceny pitych przez siebie, w przeważającej mierze polskich piw.

Wyobraźmy sobie teraz, że np. taki Doctor Brew (bo jest to przykład chyba najbardziej czytelny) byłby dajmy na to browarem duńskim i miał oceny wystawione w większości przez Duńczyków czy innych zapadników. Znalazłby się tak wysoko? Bitch please.

Demaskacja braku miarodajności obecnych ocen na RB jest swoją drogą niesłychanie łatwa. Wystarczy odszukać pośród masy polskich recenzji polskich piw oceny tychże piw dokonane przez ludzi zza granicy. Można się oczywiście pocieszać że Polska przejmuje internety i nie będzie Duńczyk czy inny Pigmej pluł nam w twarz, zżymać na to że oni tendencyjnie nas nie doceniają. Tak jednak nie jest, po prostu ich oceny dużo częściej są urealnione w systemie skalowym jaki funkcjonuje na RateBeer. No i wówczas następuje bolesne zderzenie z rzeczywistością. Okazuje się, że nie mamy co osiadać na laurach. Że polski rynek craftowy ma przed sobą jeszcze wiele do zrobienia. Że ocenowa bańka inflacyjna może pęknąć, kiedy więcej ludzi za granicą się przekona, że dajmy na to RIS z Doctora Brew to piwo średnie, a tymczasem średnia arytmetyczna ocen polskich użytkowników winduje je na poziom orbity ziemskiej. No i fama się rozniesie, że polski craft nie jest wart uwagi, a polscy użytkownicy pompują jego wartość dużo ponad miarę. Ze szkodą dla tych polskich browarów, które tej uwagi warte są.

Przy okazji, polskie browary powinny być bardziej ostrożne z chwaleniem się sukcesami na RateBeer, formułowanym pod hasłem "Patrzcie, jak nas tam za granicą cenią!". Bo na dokładnie tej samej zasadzie Polacy piszą szkalujące nasz kraj artykuły w prasie zagranicznej, co później jest u nas kolportowane pod hasłem "Musimy się wstydzić za to co o nas piszą Stany/Niemcy/Bangladesz". Dla człowieka zorientowanego w mechanizmie jaki tu zachodzi jest to sytuacja żenująca. W kwestii piw na RateBeer może nie aż tak bardzo, ale ja często przewracam oczami na taki widok. Już nie wpominając o tym, że niektórym krajowym producentom taka sztuczna fama może do głowy uderzyć i zniechęcić do dalszego doskonalenia rzemiosła, o ile uwierzą w miarodajność ocen na RB.

Szkoda by było, gdyby szeregowy zagraniczny konsument craftu doszedł do wniosku, że polski craft ma jakość sztucznie napompowaną megalomanią niektórych jego krajowych konsumentów. Szkoda gdyby miało się to negatywnie odbić na tych krajowych producentach, które faktycznie warzą na poziomie światowym, a jest takich kilku. Myślę że warto się w związku z tym zastanowić nad systemem skalowym i swoim podejściem do niego.

RateBeer 137860604115458181

Prześlij komentarz

  1. Dlatego korzystając z RB, warto posiłkować się zakładką "Top raters" celem wyeliminowania zjawiska o którym piszesz. Dodatkowo, jeden z adminów RB, Radek Kliber podał ostatnio informacje, że "(...) w ostatnich miesiącach jesteśmy drugą nacją w ilości nowych użytkowników po USA, a przed Kanada i Anglia. Jest nas już więcej niż użytkowników niemieckich."

    Co do skalowania, wydaje mi się, że problem pojawia się ze względu na brak porównania z najlepszymi piwami na świecie. Dlatego dla przeciętnego użytkownika RB oceniającego np. Rowing Jacka wydaje się on mistrzostwem świata, choć nie pił żadnego IPA z USA. Nawet sam się na tym czasami łapię, że za nisko zawieszam poprzeczkę polskim browarom.

    OdpowiedzUsuń
    Odpowiedzi
    1. Masz rację, choć akurat RJ z udanej warki to według mnie nadal jest piwo absolutnie klasowe, mimo że mam odpowiednio szerokie tło do porównania.

      Usuń
    2. Szkoda, że dawno nie trafiłem na rzeczywiście udaną warkę RJ. A może po wypiciu kilkudziesięciu "ajpiej" moje oczekiwania wzrosły? Jakie piwo w tej kategorii postawiłbyś za wzór?

      Usuń
    3. Z tych od czasu do czasu w Polsce dostępnych z pewnością Matuska Raptor IPA i Mikkeller Green Gold.

      Usuń
    4. Raptora piłem, rzeczywiście był znakomity. Muszę zapolować na tego Mikkellera.

      Usuń
    5. Oczywiście jest jedne drobny problem, że pierwszych trzech rejterów z Niemiec wciąga nosem wszystkich polskich. Jakby ktoś zapomniało, to nie ilość, a jakość. Nic nie wynika z tego, że jest 100 oceniających z 15 reckami, w tym w większości recenzjami piw z Dr Brew.

      Usuń
  2. do momentu, do kiedy calosc ocen odpowiada mniej lub bardziej rozkladowi normalnemu z maksimum w rozsadnym miejscu, to jeszcze nie ma chyba za duzego problemu. Kestia definicji rozsadnego miejsca. Wiekszosc osob z tego co patrze owe miejsce ma w okolicach 3.5 - zarowno osob z PL jak i spoza. A tym bardziej owe miejsce przesuniete jest w gore skali, im bardziej wybiorczo sie podchodzi do piw - tak sadze po sobie. Ja w sumie sie lapie do osob na ktore narzekasz (niepoprawnie poslugujacych sie systemem skalowym), ale niejako swiadomie. tzn a) staram sie nie dotykac piw o ktorych mysle, ze znajda sie gdzies tam na dole skali (i tak nie dam rady wypic wszystkiego co bym chcial, wiec wole wybierac to, na co licze ze bedzie dobre i to zazwyczaj dziala) b) zdaje sobie sprawe, ze dol skali mam zarezerwowany dla rzeczy ktore sa zepsute badz ABS - absolutnie bez smaku c) obcinam sobie rowniez gore skali. chocby po to, by wlasnie nie zawyzac ocen. Tym oto przebiglym sposobem sprawiam, ze moj glos ma wyjatkowo male znaczenie jesli idzie o statystyki, bo zasadnicza wiekszosc pitych przeze mnie piw miesci sie pomiedzy 3 a 4. A notatka (dla mnie samego) zostaje, ja wiem, czym sie dla mnie rozni piwo 3.9 od piwa 4.1 - a wszak statystycznie to minimalna roznica... PS: zeby nie byc calkiem anonimowym: rami_pl na RB. Wiec tak, w tym wpisie masz racje. "ale" ;)

    OdpowiedzUsuń
    Odpowiedzi
    1. Jest to pewne rozwiązanie - i faktycznie obcinasz swoją skalę również ku górze :)

      Usuń
  3. Genialny i trafny artykuł. W końcu ktoś z chłodną głową patrzy obiektywnie na blitzkrieg polskich użytkowników na ratebeer.

    OdpowiedzUsuń
  4. Ja myślę, że autor się jednak myli. Przede wszystkim każdy może oceniać jak chce i nie widzę w tym problemu, jeżeli robi to zgodnie ze swoim sumieniem. Jeżeli ktoś oceni Heinekena na 20/20, to trudno i tak jego ocena niewiele zmieni. Poza tym może dla tej osoby to jest właśnie najwybitniejsze piwo na świecie, nie ma problemu, czasem widzę oceny bezsmakowych euro-lagerów na poziomie 3.0. Trzeba wziąć pod uwagę fakt, że algorytm RB promuje piwa z dużą ilością ocen, ponieważ piwo sprawdzone przez wielu recenzentów jest "pewniejsze" niż sprawdzone tylko przez kilku. Można mieć wiele zarzutów co do słuszności takiego podejścia, ponieważ doskonałe piwo sprzedawane tylko na miejscu nie ma szans z "tylko" przyzwoitym piwem sprzedawanym na większą skalę. Myślę, że to działa na zasadzie: 1000 laików trafniej wybierze najlepsze piwo niż 10 sędziów z tym, że każdy ocenia takie piwo jakie uda mu się kupić. Według mnie są dwa istotne aspekty: ilość recenzentów i dostępność. Inne "rozwijające się" kraje nie mają Kopyra, który nagoni nowych użytkowników, ale chyba nie można mieć o to pretensji, że tak dużo ludzi z Polski chce amatorsko oceniać piwo. Z tego powodu polskie piwa mają dużo ocen i są na wyższej pozycji niż piwa z mniejszą ilością i chyba oczywistym jest, że nowi oceniający w pierwszej kolejności sięgną po polskie piwo, chociażby z powodu korzystniejszych cen. Co do dostępności to polski rynek jest jeszcze na tyle mały, że browary rozsyłają piwa po całym kraju, żeby zaspokoić wszystkich, przez co wielu użytkowników może ocenić to samo piwo. Myślę, że wraz ze wzrostem ilości browarów ilość recenzji rozłoży się na więcej piw, co spowoduje, że ogólne oceny spadną. Oczywiście wraz z pojawianiem się coraz lepszych piw dotychczasowi faworyci nie będą dostawać tak wysokich ocen. Ale na tym też polega RB, ocenia się głównie dla siebie i wraz z nabieraniem doświadczenia daje się coraz lepsze oceny. Kierując się sugestią autora przejrzałem oceny dwóch ostatnich piw Doctor Brew (RIS i BW) i rzeczywiście oceny są wysokie, ale patrząc na średnie ocen tych użytkowników i porównując je ze średnimi piw ocenianych (Avg Score Given i Avg Beer Rated) to różnice wcale nie są duże, a to raczej znaczy, że ludziom te piwa po prostu smakowały, a nie, że się umówili na wypozycjonowanie Doctor Brew w rankingach RB. Konkludując, myślę, że nie ma co narzekać, a wręcz należy się cieszyć, że jest tak dużo osób chcących pić i oceniać, zazwyczaj czymś wyróżniające się, piwa i wysoka pozycja piw i browarów z Polski świadczy o dynamice rozwoju rynku i popularności piwa kraftowego, a nie o spisku i celowym zawyżaniu ocen.

    OdpowiedzUsuń
    Odpowiedzi
    1. Wiesz, ja nikomu nie zabraniam oceniać według własnego widzi mi się, zwracam tylko uwagę, że przeważające wśród młodych polskich użytkowników nastawienie wypacza wyniki na poziomie ogólnym. No i kwestia nie jest często taka, że ktoś uznaje dane piwo za wybitne i daje ponad 4, ale że uznaje je za całkiem niezłe i daje taką ocenę. W tym wypadku ocena nawet nie odzwierciedla jego odczuć związanych z piwem, jest zawyżona względem wszystkiego. Nie podzielam też optymizmu dotyczącego stopniowego urealnienia się ocen. Na przykładzie b.bizu widać, że takie coś nie następuje, a użytkownicy z większym doświadczeniem petryfikują swój dotychczasowy system oceniania. Nie pisałem też nic o spisku i celowym pozycjonowaniu konkretnych piw, bo nie mam na to dowodów. Ciekawi mnie natomiast wobec tego że nawet o tym nie napomknąłem, z jakiego powodu się do tego odniosłeś? :)

      Usuń
    2. Zupelnie nie zgadzam sie z wieloma Twoimi tezami. Nie zabraniasz nikomu oceniac, ale krytykujesz osoby ktore oceniaja piwa zle wedlug Ciebie, osoby nie posiadajace tak bogatego doswiadczenia i wiedzy na temat piwa. Krytykujesz fakt, ze polskie piwa sa oceniane przez Polakow i to zawyza im ocene. Trudno zeby najwiecej do powiedzenia o polskich piwach mieli do powiedzenia np Japonczycy czy Amerykanie, skoro nie maja mozliwosci ich kupienia, wypicia i ocenienia. Tylko, ze ta zasada jest uniwersalna i nie mozna miec pretensji, ze ktos ocenia piwo ktore kupi w sklepie za rogiem. Moze napisz do RB zeby zmienili reguly i uniemozliwili ocenianie uzytkownikom piw ze swojego kraju, ze wzgledu ze na to ze istnieje bardzo duze prawdopodobienstwo, ze beda nieobiektywni ze wzgledu na "opacznie pojmowany patriotyzm". To jest wlasnie polska mentalnosc - nie potrafimy sie z niczego cieszyc, uwierzyc w siebie, uwierzyc ze cos nam wyszlo, ze na cos zapracowalismy.

      Usuń
    3. Zwróć z łaski swojej uwagę na to, w jaki sposób wysokie oceny na RB są uzasadniane, bo do tego widzę nie chcesz się odnieść. Zamiast tego polemizujesz głównie sam ze sobą, bo w żadnym miejscu nie krytykuję faktu że polskie piwa oceniają Polacy, ale sposób w jaki to robią. I tak, nie zabraniam, zwracam uwagę. Bo obecna sytuacja psuje funkcjonalność w zasadzie dobrze przemyślanego portalu. Ja się bardzo cieszę, że mamy kilka światowych browarów, ale większość ma jednak zawyżone notowania. Hurrapatriotyzm jest tak samo szkodliwy jak defetyzm. To są tak naprawdę dwie strony tego samego medalu.

      Usuń
  5. Co do ocen na b.biz - weź pod uwagę to, że ten algorytm jest dziwaczny. Jak trochę zamieszasz w ocenie (skrajnie różne wartości poszczególnych składników) to potem wychodzi z tego niezła loteria. Ja pijąc piwo piszę sobie ocenę w zeszyciku, a potem dodaję opinię do b.biz i chyba nigdy ocena końcowa mi się całkowicie nie pokrywała z tą zanotowaną. Nie przejmuje się tym specjalnie, bo dla mnie ważniejsze to co w moich papierach ;)

    Pozostaje też kwestia odniesienia, dla mnie "niezłe", "całkiem dobre" - to właśnie 3,5-4. Wszak w szkolnej skali 4 to "dobry" i tak do tego podchodzę. Inna sprawa, że pewnym browarom na b.biz chyba "nie wolno" wystawić mniej niż 4, bo zaraz zleci się sekta.

    A co do przesłania tekstu zgadzam się w 100%, poza tym warto się zastanowić kto ma lepsze porównanie, my w Polsce, czy ludzie na Zachodzie. Tam asortyment piw kraftowych jest dużo większy, a oni chyba etap zachwycania się pierwszym lepszym AIPA mają już za sobą.

    OdpowiedzUsuń
    Odpowiedzi
    1. "Ale Pozostaje też kwestia odniesienia, dla mnie "niezłe", "całkiem dobre" - to właśnie 3,5-4. Wszak w szkolnej skali 4 to "dobry" i tak do tego podchodzę. Inna sprawa, że pewnym browarom na b.biz chyba "nie wolno" wystawić mniej niż 4, bo zaraz zleci się sekta. "
      Daj przykłady? :)

      Usuń
    2. Algorytm na b.bizie dodatkowo jest skrzywiony przez (marginalny, ale jednak istniejący) udział opakowania w ocenie końcowej. Według mnie jest to dość absurdalne.

      Usuń
    3. Bardzo ciekawy wpis. Trafnie i na temat.
      Moim zdaniem opisana "mentalność browar.bizowa" dotyczy najbardziej nowych, nie otrzaskanych z w miarę możliwości obiektywnym ocenianiem piwa, użytkowników - to samo teraz obserwujemy na ratebeerze. Sam kiedyś, na początku bytowania na rzeczonym forum, dałem same piątki Specjalowi:) Teraz już wiem że zamiast patrzeć na ogólną ocenę piwa lepiej poczytać recenzje najbardziej doświadczonych forumowiczów.
      Waga poszczególnych składowych systemu ocen na browarbizie wygląda tak:
      Kolor: 5%
      Piana: 10%
      Nasycenie: 5%
      Zapach: 35%
      Smak: 40%
      Opakowanie: 5%
      Czyli 90% ogólnej oceny piwa (zapach, smak, piana, nasycenie) to cechy bezpośrednio wpływające na organoleptyczne odczucie. Opakowanie ma minimalny wpływ na ogólną ocenę bo to 5% to w skali ocen na browarbizie przekłada się na realny wpływ = 0,25 pkt. Nie nazwałbym tego skrzywieniem.

      Usuń
    4. No ale w takim razie aż 20% oceny to wygląd (kolor+piana+opakowanie). Bo piana raczej się tyczy wyglądu niż organoleptyki. Owszem, może świadczyć o fakturze piwa, ale nie musi. Wiele razy piłem piwo z lichą pianą, które przyjemnie musowało w ustach. W takim ujęciu wygląd może przechylić szalę o cały punkt, i to w skali pięciopunktowej. To dla mnie bardzo dużo, biorąc pod uwagę że u siebie nie punktuję wyglądu wcale, w jedną czy drugą stronę.

      Usuń
    5. Przykłady? Kiedyś głównie AleBrowar i trochę Pinta, dziś Doctor Brew. Choć trzeba przyznać, że dla równowagi, oprócz fanboyów są też wiecznie niezadowoleni hejterzy. Taka specyfika. Ale jako polskojęzyczna baza danych b.biz jest niezastąpione.

      Najgorsze w tym algorytmie jest to, że wystawiając ocenę nie znamy wagi poszczególnych ocen. Nie można więc niczego skorygować, jeśli wyliczona ocena końcowa nie zgadza się z wewnętrznymi odczuciami.

      Usuń
    6. Doprecyzuję - te podane 2 komentarze wyżej wagi procentowe podane są gdzieś w wątku na forum, a nie w formularzu artomatu przy samym ocenianiu. Chyba, że już dopadła mnie ślepota i jednak je widać.

      Usuń
  6. I jeszcze jedna uwaga a propos korzystania z RB na swoje potrzeby: sa przynajmniej 2 mechnizmy, ktore faktycznie hmmm urealniaja te wszystkie srednie. Pierwszy, to wspomniany juz w komentarzu Lukasza "Top raters", a drugi, dla mnie bardzo wiarygodny i wygodny - to to "friendsowanie". I to nie na zasadzie znania kogos, tylko na zasadzie traktowania jego opinii jako miarodajnych, wartych czytania. Mam do owych ratebeerowych znajomych dodane ladne kilka osob - wliczajac to niejakiego ElDesmadre - i czesto zagladam na zakladke z ocenami "My friends". Co wiecej, zerkam tez na "Top Beers By Friends" vel "Top Buddy Beers "- i tu ciekawostka: Na tej liscie znajomych mam wylacznie polakow, a wsrod Top Buddy Beers polskich piw znow nie tak wiele... W top50 jedynie:
    7 - Samiec Alfa,
    27 - Szczun,
    30 Rowing Jack,
    32 Imperator baltycki
    33 Mr Hard
    36 - Pinta Quattro
    40 - Big Chmielowski
    43 - Witbier kormorana
    45 - Mr Hard's rock

    mozna? mozna. :)

    OdpowiedzUsuń
  7. Inflacja ocen? raczej dewaluacja :-)

    OdpowiedzUsuń
    Odpowiedzi
    1. Dewaluacja jest nieuchronnym skutkiem inflacji.

      Usuń
    2. moze i jest ale "inflacja ocen" brzmi dziwacznie :-)

      Usuń
  8. zagranica polska
    16 15
    17 16
    15 16
    14 17
    16 11
    14 19
    16 18
    15 16
    13 18
    16 9
    Średnia
    15,2 15,5

    A z ciekawości wszedłem sobie na ratebeera, znalazłem Imperatora Bałtyckiego i spisałem 10 ocen overall "top raters" i 10 pierwszych lepszych polaków i oto wyniki. Nie ma wielkiej różnicy prawda? Myśle że żeby mówić o tendencjach trzeba mieć jakieś dane.

    OdpowiedzUsuń
    Odpowiedzi
    1. Wybrałeś akurat piwo które nie wzbudza większych kontrowersji, stąd wyniki niespecjalnie dziwią.

      Usuń
    2. A które wzbudza? Trzeba wybrać coś z Ratebeerowych sukcesów, a takie są 3.

      Usuń

emo-but-icon

Strona główna item

Popularne wpisy (ostatni miesiąc)