HercegBosna.org

HercegBosna.org

Forum Hrvata BiH
 
Sada je: 28 ožu 2024, 11:51.

Vremenska zona: UTC + 01:00




Započni novu temu Odgovori  [ 17 post(ov)a ] 
Autor/ica Poruka
 Naslov: AWS, Azure ili Google Cloud?
PostPostano: 16 ožu 2019, 15:54 
Offline
Avatar

Pridružen/a: 03 svi 2009, 08:25
Postovi: 43997
Lokacija: Folklorni Jugoslaven, praktični Hrvat
Možda je previše specifično pitanje, ali s obzirom da imamo stručnjaka.

Imam nešto na AWSu duže vrijeme, deployment je išao kroz Elastic Beanstalk i prezadovoljni smo, i tehničari i ja kao laik, kada vidim kako load balancer reagira pod pritiskom, te cijeli ekosustav aplikacija, lagani failover na drugi kontinent itd. Jedino čime nisam prezadovoljan je cijena, ali jbg, ne mogu se ozbiljne stvari držati na nekom ŽNJ serveru (čak i kad nije shared).

Azure i Google Cloud se agresivno reklamiraju....postoji mogućnost i da se dođe dok barem $50,000 Azure hosting kredita. Ono laički kontam da tu neće biti nekih velikih razlika što se tiče kvalitete između njih tri.

Dakle, ima li neko agresivno mišljenje u ovom ili onom smjeru? Ja sam malo naginjao Azure, ali bez nekog jakog razloga osim toga što koristimo Active Directory i O365 (ovo potonje je manje važno).

_________________
sklon'se bona Zineta sa penđera, vidiš da te vlasi oćima kurišu
slika


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 16 ožu 2019, 16:29 
Online
Avatar

Pridružen/a: 03 svi 2009, 16:49
Postovi: 30050
Nisam neki stručnjak, koristio sam AWS i Azure, nisam Google Cloud.

I AWS i Azure rade bez problema. Pretpostavljam i Google, sve su to velike firme, prate jedni druge i razlike su u pet deka.

Jedna stvar u vezi Azure, strašno je lako potrošiti novac :zubati , ne zato jer je skupo, nego se opcije tako lako uključuju pa ako dobro ne paziš što radiš dođe račun sa iznenađujuće visokim iznosom.

_________________
Ukidanjem BiH štedimo 50 milijardi KM. Neka razum prevlada.

784 of 2558 - 30.65%

Sarajevo, generalno sarajevska kotlina je rasadnik zla i mržnje. Frustrirana, napaćena i bahata sredina.


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 17 ožu 2019, 14:17 
Offline
Avatar

Pridružen/a: 03 svi 2009, 08:25
Postovi: 43997
Lokacija: Folklorni Jugoslaven, praktični Hrvat
Naša Kvačica je napisao/la:
Nisam neki stručnjak, koristio sam AWS i Azure, nisam Google Cloud.

I AWS i Azure rade bez problema. Pretpostavljam i Google, sve su to velike firme, prate jedni druge i razlike su u pet deka.

Jedna stvar u vezi Azure, strašno je lako potrošiti novac :zubati , ne zato jer je skupo, nego se opcije tako lako uključuju pa ako dobro ne paziš što radiš dođe račun sa iznenađujuće visokim iznosom.


AWS imam na 2 različita projekta, i zanimljivo je vidjeti razlike u cijeni:

Projekt 1: Ogromna baza i utilizacija RAM i CPU, uz failover instancu na drugom kontinentu, i hrpu tih raznih opcija koje se uključuju mjesečno. Nekih 40.000 jedinstvenih posjetitelja mjesečno. Trošak oko $1,000 USD mjesečno. Jezik: Ruby

Projekt 2: Mala i lagana baza...bez rezervne instance na drugom kontinentu. Bez nekih opcija. No, 300,000 jedinstvenih posjetitelja mjesečno. Tu je trošak samo cirka $250 USD mjesečno. Jezik: Drupal.

Ono što me zaintrigiralo su mogućnosti ovog Elixira, ukoliko je ovaj članak točan, sa 150 servera na samo 5!

https://www.techworld.com/apps-wearables/how-elixir-helped-bleacher-report-handle-8x-more-traffic-3653957/

_________________
sklon'se bona Zineta sa penđera, vidiš da te vlasi oćima kurišu
slika


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 17 ožu 2019, 23:26 
Online
Avatar

Pridružen/a: 03 svi 2009, 16:49
Postovi: 30050
Nije mi to jasno skroz. 300 000 posjetitelja mjesečno nije veliki website. Recimo da je srednji, ako nema neke business logike to bi trebalo raditi svugdje, čak i na shared hosting od $50 mjesečno.

Taj drugi što troši dosta RAM i CPU, to je sad pitanje zašto troši. Je li baš mora da troši ili jednostavno nije dobro urađen, to sad ne znam. $1000 mjesečno zvuči puno, ali čuješ ako je profitabilan biznis onda nije puno. :zubati

Ne znam da ti pravo kažem možeš li nać programera koji dobro zna Elixir. Prije da će biti neki koji radi u njemu nekih pola godine, ako ti ode u problemu si itd. Sad isplati li se postat ovisan o takvoj tehnologiji ne znam, ja mislim da ne bih to radio. Tako periodično postane popularan Node.js, pa Python, pa Go itd., ali mislim sve se može napraviti sa C# ili Javom pod uvjetom da znaš što radiš.

_________________
Ukidanjem BiH štedimo 50 milijardi KM. Neka razum prevlada.

784 of 2558 - 30.65%

Sarajevo, generalno sarajevska kotlina je rasadnik zla i mržnje. Frustrirana, napaćena i bahata sredina.


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 18 ožu 2019, 14:55 
Offline
Avatar

Pridružen/a: 05 lis 2010, 11:48
Postovi: 109215
Lokacija: Županija Herceg-Bosna
Jezik je PHP, ne Drupal. Ali nebitno u kontekstu.

_________________
Spetsnaz, a force for good.


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 19 ožu 2019, 11:35 
Offline

Pridružen/a: 09 vel 2014, 19:07
Postovi: 3022
Ni meni baš nije jasno zašto je na 40.000 posjetitelja mjesečno trošak 1000 dolara mjesečno. Vjerojatno postoji razlog doduše.

Ovo za Elixir mi izgleda više kao da im je prvo rješenje bilo jako loše s obzirom na njihove potrebe.

Što se njihovih potreba tiče ključan je ovaj dio:
Citat:
as users see vast streams of content merged together when they log into the Team Stream app, he explains. "This was very expensive from a resource perspective and not easily cacheable as it's unique to each user," Marks adds.


Znači za svakog spojenog korisnika je aplikacija zadavala puno posla za CPU jer je morao sastavljati nekakve streamove po korisniku. Znači puno istovremenih procesa koji moraju to odradit i dati rezultat korisniku. Kad pogledaš po internetu Ruby nigdje nije na top listi po concurrency(handleanju istovremenih procesa), dok je elixir uvijek pri vrhu.

Ako misliš da si u sličnoj situaciji možda i vrijedi to istražiti malo, ali ako ti je bottleneck upit u bazu podataka, jer kažeš da ti je ogromna, onda ti ovo neće pomoći. Pretraživanje baze podataka obavlja database engine, a ne aplikacija koja je pisana u ovom ili onom jeziku.

Znači pitanje je da li ti aplikacija odrađuje neki težak posao sa podacima koje dobavi iz baze podataka ili ih samo prosljeđuje.


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 19 ožu 2019, 13:52 
Offline
Avatar

Pridružen/a: 03 svi 2009, 08:25
Postovi: 43997
Lokacija: Folklorni Jugoslaven, praktični Hrvat
BBC je napisao/la:
Jezik je PHP, ne Drupal. Ali nebitno u kontekstu.


I da i ne, namjerno sam stavio Drupal (mada sam trebao napisati platforma) jer u ovom slučaju, osobe koje su složile projekt kroz Drupal, zapravo sami nisu morali imati znanje PHP-a, jer je Drupal relativno kompletan CMS/CMF. Nešto kao kad bi admin nekog PHPBB foruma rekao da je ekspert za PHP i SQL.

_________________
sklon'se bona Zineta sa penđera, vidiš da te vlasi oćima kurišu
slika


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 19 ožu 2019, 14:12 
Offline
Avatar

Pridružen/a: 03 svi 2009, 08:25
Postovi: 43997
Lokacija: Folklorni Jugoslaven, praktični Hrvat
useless je napisao/la:
Ni meni baš nije jasno zašto je na 40.000 posjetitelja mjesečno trošak 1000 dolara mjesečno. Vjerojatno postoji razlog doduše.

Ovo za Elixir mi izgleda više kao da im je prvo rješenje bilo jako loše s obzirom na njihove potrebe.

Što se njihovih potreba tiče ključan je ovaj dio:
Citat:
as users see vast streams of content merged together when they log into the Team Stream app, he explains. "This was very expensive from a resource perspective and not easily cacheable as it's unique to each user," Marks adds.


Znači za svakog spojenog korisnika je aplikacija zadavala puno posla za CPU jer je morao sastavljati nekakve streamove po korisniku. Znači puno istovremenih procesa koji moraju to odradit i dati rezultat korisniku. Kad pogledaš po internetu Ruby nigdje nije na top listi po concurrency(handleanju istovremenih procesa), dok je elixir uvijek pri vrhu.

Ako misliš da si u sličnoj situaciji možda i vrijedi to istražiti malo, ali ako ti je bottleneck upit u bazu podataka, jer kažeš da ti je ogromna, onda ti ovo neće pomoći. Pretraživanje baze podataka obavlja database engine, a ne aplikacija koja je pisana u ovom ili onom jeziku.

Znači pitanje je da li ti aplikacija odrađuje neki težak posao sa podacima koje dobavi iz baze podataka ili ih samo prosljeđuje.


U tome projektu koji je izgrađen u Ruby, trenutno nije moguće preći na neki drugi jezik. Ono što je veći izazov je pronaći nešto drugo osim Active Admin, jer ne vidim da je to dugoročno održivo kao neka vrsta CMS-a i sučelja...trebat će neko pravo enterprise rješenje a ne ovo skrpano open source.

Što se tiče težine baze i tih kalkulacija, scalability me malo brine jer trenutno imamo nekih 110 milijuna parova/kombinacija (gdje svaki korisnik dobiva baš njima prilagođenu verziju platforme), ali će to jako brzo ići na preko milijardu tih kalkulacija. Trenutna baza je oko 140 GB, i to je nakon pruninga određenih records (čuvali smo malo previše podataka).

Nevezano za to, kad smo gledali video hosting (ne, nisam u porn biznisu), mislili smo imati natively hosted na AWS al kad smo zgrabili digitron u ruke, pogledali težinu klipova, mogući broj pregleda, te izračunali troškove za bandwidth, zamalo me strefila srčka. Na kraju smo iskoristili Vimeo (puno bolji od YT ako želiš nešto "korporativno"), kod kojih imaš neograničen bandwidth uz smiješno nisku cijenu (u usporedbi s onim što bi platili da je bilo hostano na našem AWSu).

_________________
sklon'se bona Zineta sa penđera, vidiš da te vlasi oćima kurišu
slika


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 19 ožu 2019, 14:19 
Online
Avatar

Pridružen/a: 03 svi 2009, 16:49
Postovi: 30050
Pa vi čuvate podatke kao da ste Facebook. :zubati

Ajde ako riješiš napiši što si uradio, baš me zanima.

_________________
Ukidanjem BiH štedimo 50 milijardi KM. Neka razum prevlada.

784 of 2558 - 30.65%

Sarajevo, generalno sarajevska kotlina je rasadnik zla i mržnje. Frustrirana, napaćena i bahata sredina.


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 19 ožu 2019, 14:27 
Offline
Avatar

Pridružen/a: 03 svi 2009, 08:25
Postovi: 43997
Lokacija: Folklorni Jugoslaven, praktični Hrvat
Mislim da ne tražimo rješenje u aktivnom smislu, osim zamjene za Ruby Active Admin. Ovo sa Elixir je bilo fascinantno kao case study, ali je prerizično baciti se na neki posve novi i nedokazan jezik jer im je nešto uspjelo jedanput.

Rast baze se može smanjiti samo sa agresivnijim pruning (smanjiti log za version changes na neki manji broj).

A što se tiče drugog projekta (sa 300.000 jedinstvenih posjetitelja mjesečno) na Drupalu, ima jednu jako lošu stranu koju još nisamo riješili: https://www.drupal.org/docs/7/managing-site-performance-and-scalability/caching-to-improve-performance/caching-overview

Ekvivalent bi bio kad bi svi moderatori na ovom forumu vidjeli najfriškiju verziju foruma (svi upisi u skoro realnom vremenu), dok bi svi ostali korisnici imali lag od 10 minuta. To me nervira, a još mi nitko nije ponudio neko dobro rješenje.

_________________
sklon'se bona Zineta sa penđera, vidiš da te vlasi oćima kurišu
slika


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 19 ožu 2019, 14:34 
Online
Avatar

Pridružen/a: 03 svi 2009, 16:49
Postovi: 30050
Ministry of Sound je napisao/la:
Ekvivalent bi bio kad bi svi moderatori na ovom forumu vidjeli najfriškiju verziju foruma (svi upisi u skoro realnom vremenu), dok bi svi ostali korisnici imali lag od 10 minuta. To me nervira, a još mi nitko nije ponudio neko dobro rješenje.


Evo da probam :zubati , što misliš da se stranica cache-ira samo ako je moderator pozove a u suprotnom čeka 10 minuta?

_________________
Ukidanjem BiH štedimo 50 milijardi KM. Neka razum prevlada.

784 of 2558 - 30.65%

Sarajevo, generalno sarajevska kotlina je rasadnik zla i mržnje. Frustrirana, napaćena i bahata sredina.


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 19 ožu 2019, 14:36 
Offline
Avatar

Pridružen/a: 03 svi 2009, 08:25
Postovi: 43997
Lokacija: Folklorni Jugoslaven, praktični Hrvat
Naša Kvačica je napisao/la:
Ministry of Sound je napisao/la:
Ekvivalent bi bio kad bi svi moderatori na ovom forumu vidjeli najfriškiju verziju foruma (svi upisi u skoro realnom vremenu), dok bi svi ostali korisnici imali lag od 10 minuta. To me nervira, a još mi nitko nije ponudio neko dobro rješenje.


Evo da probam :zubati , što misliš da se stranica cache-ira samo ako je moderator pozove a u suprotnom čeka 10 minuta?


Upravo to je na ovom Drupal projektu. Admini (korisnici CMSa) vide najnoviji sadržaj, a svi anonimni posjetitelji imaju lag od 10 minuta.

_________________
sklon'se bona Zineta sa penđera, vidiš da te vlasi oćima kurišu
slika


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 19 ožu 2019, 14:40 
Online
Avatar

Pridružen/a: 03 svi 2009, 16:49
Postovi: 30050
Ministry of Sound je napisao/la:
Naša Kvačica je napisao/la:

Evo da probam :zubati , što misliš da se stranica cache-ira samo ako je moderator pozove a u suprotnom čeka 10 minuta?


Upravo to je na ovom Drupal projektu. Admini (korisnici CMSa) vide najnoviji sadržaj, a svi anonimni posjetitelji imaju lag od 10 minuta.


Admina ne bi trebalo biti veliki broj, pa bi trebalo da radi na taj način.

Meni se nekad događalo da baza blokira prilikom unosa podataka zbog konkurentnosti, ali to je lako riješit. Jesi lokalizirao točno gdje je problem?

_________________
Ukidanjem BiH štedimo 50 milijardi KM. Neka razum prevlada.

784 of 2558 - 30.65%

Sarajevo, generalno sarajevska kotlina je rasadnik zla i mržnje. Frustrirana, napaćena i bahata sredina.


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 19 ožu 2019, 15:44 
Offline
Avatar

Pridružen/a: 05 lis 2010, 11:48
Postovi: 109215
Lokacija: Županija Herceg-Bosna
Jel to Drupal 7 ili Drupal 8 ? Ne rade isto sa cache.

_________________
Spetsnaz, a force for good.


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 24 ožu 2019, 12:29 
Offline
Avatar

Pridružen/a: 03 svi 2009, 08:25
Postovi: 43997
Lokacija: Folklorni Jugoslaven, praktični Hrvat
Naša Kvačica je napisao/la:
Ministry of Sound je napisao/la:

Upravo to je na ovom Drupal projektu. Admini (korisnici CMSa) vide najnoviji sadržaj, a svi anonimni posjetitelji imaju lag od 10 minuta.


Admina ne bi trebalo biti veliki broj, pa bi trebalo da radi na taj način.

Meni se nekad događalo da baza blokira prilikom unosa podataka zbog konkurentnosti, ali to je lako riješit. Jesi lokalizirao točno gdje je problem?


U Drupalu nije bilo problema s unosom, odnosno jeste, ali prije prelaska na AWS (stari server je jednostavno bio podkapacitiran). Sada Drupal često ima problema s povlačenjem slika koji su spremljeni u bazi...to se najviše muči, i ima ružan interface.

Ne znam na koji problem točno misliš, ovo o lagu od 10 minuta za sve koji nisu admini je stvar neke default Drupal postavke. Možda bi se moglo čeprkat po tome, ali efekti nisu jasni, pa bi se s tim trebalo zajebavat samo na nekom staging serveru, ali za taj projekt nema dovoljno novca za previše development sati (za sada je luksuz).

_________________
sklon'se bona Zineta sa penđera, vidiš da te vlasi oćima kurišu
slika


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 24 ožu 2019, 12:29 
Offline
Avatar

Pridružen/a: 03 svi 2009, 08:25
Postovi: 43997
Lokacija: Folklorni Jugoslaven, praktični Hrvat
BBC je napisao/la:
Jel to Drupal 7 ili Drupal 8 ? Ne rade isto sa cache.


I dalje je 7.x

_________________
sklon'se bona Zineta sa penđera, vidiš da te vlasi oćima kurišu
slika


Vrh
   
 
 Naslov: Re: AWS, Azure ili Google Cloud?
PostPostano: 24 ožu 2019, 12:50 
Offline
Avatar

Pridružen/a: 05 lis 2010, 11:48
Postovi: 109215
Lokacija: Županija Herceg-Bosna
Čitam da je Drupal 8.x sa Varnish jako brz. I nema tih problema sa cache i edit/update nodes (Articles). Pa ako nemaš Modules koji rade samo na 7.x radije prebaci. Nisam pratio jesu napravili converter za content.
Nema komercijalne licence za Varnish pa glavobolja manje.

Jednom davno sam 7.x uspio napraviti da je bio brz kao munja (sa namjerno deaktiviranom cache funkcijom). Databaza je bila mala i jedini sam bio posjetitelj, ali opet pokazatelj je bio više nego jasan before/after, ogromna razlika. Ne sjećam se više svih detalja, najviše sam radio MySQL tweaks.

_________________
Spetsnaz, a force for good.


Vrh
   
 
Prikaži postove “stare”:  Redanje  
Započni novu temu Odgovori  [ 17 post(ov)a ] 

Vremenska zona: UTC + 01:00


Online

Trenutno korisnika/ca: / i 9 gostiju.


Ne možeš započinjati nove teme.
Ne možeš odgovarati na postove.
Ne možeš uređivati svoje postove.
Ne možeš izbrisati svoje postove.
Ne možeš postati privitke.

Forum(o)Bir:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Facebook 2011 By Damien Keitel
Template made by DEVPPL - HR (CRO) by Ančica Sečan
phpBB SEO