Логтарды алтынға қалай айналдырдық: Google Cloud-та BigQuery және Analytics Hub арқылы деректерді сату

Құрметті инженерлер, бизнес иелері және жаңа өсу нүктелерін іздейтіндердің барлығы! Біз сіздермен инфрақұрылымнан қалай барынша пайда алуға болатынын жиі талқылаймыз: жүктеуді қалай тездетуге, SEO-ны қалай көтеруге немесе AdSense-тен түсетін табысты қалай арттыруға болады. Бірақ бүгін мен сіздердің дәл қазір үстінде отыруларыңыз мүмкін, бірақ өздеріңіз де білмейтін жасырын алтын кеніші туралы сөйлескім келеді. Әңгіме сіздердің деректеріңіз туралы болмақ. Иә, сайтыңыз күнделікті жасайтын логтар, мінез-құлық аналитикасы, іздеу сұраныстары мен трендтер туралы. Егер сіздің жобаңыз қазірдің өзінде Google Cloud-та өмір сүрсе, сіз осы деректерді BigQuery және Analytics Hub байланысы арқылы сатуды бастаудан бір-ақ қадам қашықтықта тұрсыз. Үш негізгі сұрақты талдайық: өз деректеріңізді неліктен, қалай және қаншаға сатуға болады, сондай-ақ біздің тәжірибемізден бір-екі оқиғаны еске түсірейік.

Деректерді неліктен сату керек?

Жасанды интеллект және машиналық оқыту дәуірінде деректер — бұл жай ғана жаңа мұнай емес, бұл жаңа оттегі. Көптеген компанияларға өз модельдерін оқыту, нарықты талдау немесе трендтерді болжау үшін сапалы, құрылымдалған деректер жиынтығы (датасеттер) қажет. Маркетингтік агенттіктер сатып алушылардың мінез-құлық паттерндерін іздейді. Қаржылық аналитиктер жылжымайтын мүлікке немесе көліктерге деген сұраныс туралы агрегацияланған деректерді сатып алады. AI-стартаптарға нейрожелілерді баптау үшін мәтіндер мен метадеректер қажет.

Егер сізде жоғары жүктемелі портал, тауашалық форум, интернет-дүкен немесе SaaS-платформа болса, сіз күн сайын өте құнды ақпарат жасайсыз. Әрине, бұл жерде әңгіме тек GDPR немесе дербес деректер туралы жергілікті заңдарды бұзбайтын иесіздендірілген (анонимді) деректер туралы болып отыр. Мұндай датасеттерді сату — бұл кірістерді әртараптандырудың тамаша тәсілі. Сіз жай ғана сервер шығындарын өтеп қоймайсыз, инфрақұрылымыңызды дербес пайда орталығына айналдырасыз.

Деректерді қалай сатуға болады (және мұнда BigQuery + Analytics Hub-тың қандай қатысы бар)?

Айталық, сіз логтарыңыздың құндылығын түсіндіңіз. Бұрын оларды сату үшін сізге күрделі API жазуға, биллинг жүйесін ойластыруға, қауіпсіздікпен, квоталаумен айналысуға және клиенттердің өз парсерлерімен сіздің базаңызды «құлатып» тастамауын қадағалауға тура келетін. Бұл ұзақ әрі қымбат.

Бірақ егер сіз қазірдің өзінде Google Cloud-та болсаңыз, бұл процесс өте талғампаз әрі оңай болады.

1-қадам: BigQuery. Сіздің сайтыңыздағы барлық оқиғалар (Cloud Run, Cloud SQL немесе Firebase-тен) Google-дың аса қуатты бейсерверлік деректер қоймасы — BigQuery-ге ағынмен жүктеледі. Мұнда сіз деректерді тазалайсыз, оларды агрегациялайсыз және кез келген құпия ақпаратты алып тастайсыз.

2-қадам: Analytics Hub. Бұл тікелей Google Cloud ішіндегі кірістірілген деректер алмасу платформасы. Сіз жай ғана «Деректер алмасуды» (Data Exchange) жасайсыз және BigQuery-ден өз датасетіңізді жариялайсыз. Кімге рұқсат беру керектігін өзіңіз шешесіз.

Ең кереметі: деректер ешқайда көшірілмейді. Сатып алушы сіздің BigQuery-дегі датасетіңізге қол жеткізеді және оған өзінің жеке Google Cloud жобасынан SQL-сұраулар жасайды. Бұл сұраулар үшін есептеу ресурстарын сіз емес, сатып алушы төлейді! Сіз деректерді беру үшін ешқандай код жазбайсыз, API-ді қолдамайсыз. Сіз жай ғана рұқсат бересіз.

Деректерді қаншаға сатуға болады?

Data as a Service (DaaS) нарығы өте икемді. Сізде монетизацияның үш негізгі моделі бар:

1. Деректер ағынына жазылу: Клиент нақты уақытта жаңартылатын датасетке қол жеткізу үшін айына белгіленген соманы (нишаға байланысты $500-ден $5000+ дейін) төлейді.

2. Тарихи кесіндіні біржолғы сату: Мысалы, сіз сайтыңыздағы соңғы 5 жылдағы іздеу трендтерінің мұрағатын $10,000-ға сатасыз.

3. Сұраулар үшін төлем (Pay-per-query): Егер клиенттерге арнайы формат қажет болса, BigQuery үстінен коммерциялық API біріктіруге болады, бірақ Analytics Hub арқылы көбінесе жазылым моделі қолданылады.

Тіпті сіздің датасетіңіз айына $1000 төлеуге дайын небәрі бес аналитикалық компанияны қызықтырса да, бұл сіздің бұлт шығындарыңызды толығымен жабатын $5000 таза табыс.

Біздің кейстер: оңтайландыру және монетизация бірге

Теория әдемі естіледі, бірақ бұл іс жүзінде қалай жұмыс істейді? Көбінесе деректерді сатуға апаратын жол қарапайым оңтайландыру қажеттілігінен басталады. Міне, біздің тәжірибемізден екі оқиға.

Бірінші оқиға: Автобөлшектер маркетплейсі және сұраныс трендтері. Бізге ірі автобөлшектер агрегаторы келді. Олардың мәселесі классикалық болды: маусым кезінде ескі сервер құлап қалатын. Біз олардың монолитін Google Cloud-қа көшірдік, Cloud Run-да микросервистерге бөлдік және Cloud CDN қостық. Сайт ұша бастады, жүктеу 4 есе жылдамдады, ақауға төзімділік мықты болды.

Сәтті миграциядан кейін біз клиентке BigQuery-ге бөлшектерді іздеу туралы иесіздендірілген деректерді экспорттауды баптауды ұсындық. Кім және нені іздейді, қай аймақтарда, көліктің қандай маркалары үшін. Біз бұл деректерді тазалап, Analytics Hub арқылы жазылым ретінде шығардық. Бір-екі айдан кейін датасетке ірі ТҚС (техникалық қызмет көрсету станциясы) желісі мен аналитикалық агенттік қызығушылық танытты. Олар айына жалпы сомасы $3000 болатын жазылым ресімдеді. Нәтижесінде клиент өте жылдам сайт алып қана қоймай, инфрақұрылым енді таза табыс әкеліп, өз-өзіне ақша тауып отыр.

Екінші оқиға: Жылжымайтын мүлік порталы және бағалардың жылу карталары. Тағы бір кейс — аймақтық жылжымайтын мүлік порталы. Пәтерлердің ауыр фотосуреттерін жүктеу және картадан күрделі іздеу кезінде сайт қатты тежелетін. Біз терең оңтайландыру жүргіздік: Server-Side Rendering енгіздік, суреттерді WebP форматына ауыстырдық және базаны оқуға арналған репликалары бар Cloud SQL-ге көшірдік.

Бірақ ең қызығы кейін басталды. Порталда нақты аудандарға (көше деңгейіне дейін) байланысты жылжымайтын мүлік бағасының өзгеруінің бірегей тарихы болды. Біз бұл ақпаратты BigQuery-де агрегацияладық. Сатушылардың ешқандай есімдері немесе байланыстары жоқ — тек гео-координаттар, ауданы және баға динамикасы. Analytics Hub арқылы біз осы датасетке рұқсат аштық. Оған бірден девелоперлік компаниялар (құрылыс перспективасын бағалау үшін) және банктер (ипотека скорингі үшін) қызығушылық танытты. Бұл деректерді сатудан түскен табыс сайттағы медиа жарнамадан түскен табыстан екі есе асып түсті!

Түйіндеме

Сіздің деректеріңіз — бұл құнды актив. Егер сіздің жобаңыз логтар, трендтер немесе аналитика жасаса, олардың жай ғана босқа жатуына жол бермеңіз. BigQuery және Analytics Hub сияқты құралдары бар Google Cloud экожүйесі бұл байттарды минималды инженерлік күш-жігермен нақты долларларға айналдыруға мүмкіндік береді. Бұлтқа көшу — бұл тек тұрақтылық пен жылдамдық туралы ғана емес, бұл мүлдем жаңа бизнес-модельдерді ашу туралы. Жобаңыздан барынша пайда алғыңыз келе ме? Бізге, ОЗАТ-қа жазыңыз, біз сіздің сайтыңызды тездетіп қана қоймай, аналитикаңызды монетизациялауға да көмектесеміз!