Rakuten s’allibera de la inversió d’Hadoop en dos anys

Bloc

Rakuten s’allibera de la inversió d’Hadoop en dos anys

Amb seu a San Mateo, Califòrnia, Rakuten Rewards és una empresa de recompenses de compres que guanya diners a través d’enllaços de màrqueting d’afiliació a tot el web. A canvi, els membres guanyen punts de recompensa cada vegada que fan una compra a través d’un distribuïdor associat i obtenen recompenses en efectiu.

Naturalment, això genera moltes dades d’informació de l’usuari: centenars de terabytes de recuperació activa amb més a l’emmagatzematge en fred, per ser exactes.

[ També a InfoWorld: revisió del floc de neu: un magatzem de dades millorat al núvol ]

El 2018, el negoci va començar a ser seriós a l’hora de donar a més usuaris accés a aquesta informació, sense tenir costelles de codificació Python o Scala, alhora que reduïa la seva despesa de capital en maquinari i va començar a mirar el núvol.

'Les màquines de servidor SQL no escalen elegantment'

Anteriorment conegut com Ebates, el negoci va ser adquirit el 2014 pel gegant japonès de comerç electrònic Rakuten i, des de llavors, ha anat creixent ràpidament, obligant a impulsar la modernització de la seva pila de tecnologia i la seva orientació a les dades en la forma en què atrau i reté els clients.

Això comença amb l'arquitectura. En els darrers tres anys, Rakuten Rewards ha traslladat la seva propietat de grans dades des de SQL principalment prematur a Hadoop on-prem a, avui, un magatzem de dades al núvol cortesia de Floc de neu .

Les màquines de servidor SQL no s’escalen amb elegància, de manera que vam anar a Hadoop amb Cloudera, utilitzant Spark i Python per executar ETL, i en vam obtenir un rendiment, segons va dir Mark Info Stange-Tregear, vicepresident d’anàlisi de Rakuten Rewards.

Gestionar aquesta estructura de [Hadoop] no és trivial i una mica complicat, de manera que, quan vam veure que arribaven els magatzems en núvol, vam decidir mudar-nos i tenir aquest magatzem de dades i llac centralitzats a nivell empresarial, va dir.

Tal i com afirma Mark Litwintschik, ex desenvolupador i consultor de grans dades de Bloomberg, a la seva publicació al bloc Hadoop està mort? , el món ha passat d’Hadoop després dels dies halcyon de principis del 2010.

Ara, els marcs de núvol que eliminen gran part dels esforços dels equips d’enginyeria de dades són cada vegada més populars entre les empreses que busquen reduir el cost de tenir màquines locals inactives i racionalitzar les seves operacions d’anàlisi en general.

Passant d’Hadoop

Així doncs, Stange-Tregear i l’enginyer principal de dades Joji John van decidir a mitjan 2018 iniciar una important migració de dades des dels seus sistemes bàsics al magatzem de dades de núvol de Snowflake a la part superior de la infraestructura de núvol públic d’Amazon Web Services (AWS).

Aquesta migració va començar amb la capa d'informes i alguns dels conjunts de dades més utilitzats a tota l'empresa, abans de traslladar ETL i càrregues de treball reals de generació de dades, tot això es va completar cap a finals de 2019, excepte una informació més sensible de recursos humans i de targetes de crèdit.

#hadoop #sql #floc de neu

www.infoworld.com

Rakuten s’allibera de la inversió d’Hadoop en dos anys

El braç nord-americà del gegant japonès del comerç electrònic s’ha allunyat d’Hadoop per intentar reduir els costos de maquinari i facilitar la gestió de la seva propietat. o costelles de codificació Scala, alhora que redueixen les seves despeses de capital en maquinari i van començar a mirar el núvol.