Инженерлік блог

Логтарды алтынға қалай айналдырдық: Google Cloud-та BigQuery және Analytics Hub арқылы деректерді сату

27.07.2026
Шарафутдинов Р.

Құрметті инженерлер, IT директорлары, бизнес иелері және технологиялық инфрақұрылымнан жаңа өсу нүктелерін іздейтіндердің барлығы! Біз сіздермен инфрақұрылымнан қалай барынша пайда алуға болатынын жиі талқылаймыз: веб-қосымшалардың жүктелуін қалай тездетуге, SEO (іздеу жүйесін оңтайландыру) көрсеткіштерін қалай көтеруге немесе AdSense пен басқа жарнамалық желілерден түсетін табысты қалай арттыруға болатыны туралы көптеген материалдар жаздық. Бірақ бүгін мен сіздердің дәл қазір үстінде отыруларыңыз мүмкін, бірақ өздеріңіз де мән бермей жүрген жасырын алтын кеніші туралы сөйлескім келеді. Әңгіме сіздердің деректеріңіз туралы болмақ. Иә, сайтыңыз немесе қосымшаңыз күнделікті жасайтын жүйелік логтар (logs), пайдаланушылардың мінез-құлық аналитикасы, іздеу сұраныстары, транзакциялар тарихы және нарықтық трендтер туралы.

Егер сіздің жобаңыз қазірдің өзінде Google Cloud Platform (GCP) экожүйесінде өмір сүрсе, сіз осы деректерді BigQuery және Analytics Hub байланысы арқылы қауіпсіз әрі тиімді сатуды бастаудан бір-ақ қадам қашықтықта тұрсыз. Бүгінгі ауқымды мақалада біз үш негізгі сұрақты егжей-тегжейлі талдаймыз: өз деректеріңізді неліктен, қалай және қаншаға сатуға болады, техникалық жүзеге асыру жолдары қандай және біздің тәжірибемізден өткен нақты кейстерді ортаға саламыз.

Деректерді неліктен сату керек? Заманауи нарықтың сұранысы

Жасанды интеллект (AI) және машиналық оқыту (Machine Learning / ML) дәуірінде деректер — бұл жай ғана жаңа мұнай емес, бұл заманауи бизнестің тыныс алатын оттегі. Үлкен тілдік модельдерді (LLM - Large Language Models) оқыту, нарықтық конъюнктураны терең талдау немесе тұтынушылық трендтерді дәл болжау үшін компанияларға орасан зор көлемдегі сапалы, құрылымдалған және нақты уақытта жаңартылып тұратын деректер жиынтығы (datasets) қажет. Маркетингтік агенттіктер сатып алушылардың мінез-құлық паттерндерін іздейді. Қаржылық аналитиктер мен инвестициялық қорлар жылжымайтын мүлікке, автокөліктерге немесе бөлшек сауда өнімдеріне деген сұраныс туралы агрегацияланған деректерді миллиондаған долларға сатып алуға дайын. AI-стартаптарға нейрожелілерді баптау (fine-tuning) үшін салалық мәтіндер мен метадеректер қажет.

Егер сізде жоғары жүктемелі ақпараттық портал, тауашалық форум, электронды коммерция (E-commerce) платформасы немесе SaaS (Software as a Service) өнімі болса, сіз күн сайын өте құнды ақпаратты генерациялайсыз. Әрине, бұл жерде әңгіме жеке тұлғаларды анықтауға мүмкіндік беретін дербес деректер туралы емес. Біз GDPR (General Data Protection Regulation) немесе дербес деректерді қорғау туралы жергілікті заңнамаларды қатаң сақтай отырып, толықтай иесіздендірілген (anonymized) және агрегацияланған деректер туралы айтып отырмыз. Мұндай датасеттерді монетизациялау — бұл компанияның кіріс көздерін әртараптандырудың тамаша тәсілі. Сіз жай ғана инфрақұрылымдық және серверлік шығындарыңызды өтеп қоймайсыз, сонымен қатар өз IT бөліміңізді шығын орталығынан дербес пайда әкелетін бизнес-бөлімшеге айналдырасыз.

Деректерді қалай сатуға болады? Дәстүрлі тәсілдің қиындықтары

Айталық, сіз өз деректеріңіздің құндылығын түсіндіңіз. Бұрын бұл деректерді үшінші тарапқа сату және жеткізу нағыз инженерлік бас ауруы болатын. Сізге:

  • Күрделі және қымбат REST API немесе gRPC интерфейстерін әзірлеу;
  • Пайдаланушыларды авторизациялау және API кілттерін басқару жүйесін құру;
  • Сұраныстар санын шектейтін квоталау (rate limiting) жүйесін енгізу;
  • Клиенттердің өз парсерлерімен сіздің негізгі өндірістік деректер базаңызды (Production Database) шамадан тыс жүктеп, «құлатып» тастамауын қадағалау;
  • Деректерді экспорттаудың (ETL / ELT процестері) қауіпсіздігін қамтамасыз ету қажет болатын.

Бұл процестер айлар бойы әзірлеуді, үлкен бюджетті және қолдау көрсету үшін тұрақты инженерлік ресурстарды талап ететін. Алайда, егер сіздің инфрақұрылымыңыз Google Cloud бұлтында орналасса, бұл мәселе мүлдем басқаша, өте талғампаз әрі қауіпсіз шешіледі.

Деректерді жеткізу модельдерінің шығындарын салыстыру

Дәстүрлі API құру мен Google Cloud Analytics Hub инфрақұрылымын енгізу және қолдау шығындарын (USD) салыстыру

Техникалық архитектура: BigQuery және Analytics Hub байланысы

Google Cloud экожүйесі бұл процесті барынша оңтайландырды. Мұнда негізгі рөлді екі өнім атқарады: BigQuery және Analytics Hub.

1-қадам: Деректерді BigQuery-де дайындау және тазалау

Сіздің қосымшаңыздан немесе веб-сайтыңыздан келіп түсетін барлық шикі деректер (мысалы, Cloud Run, Google Kubernetes Engine, Cloud SQL немесе Firebase арқылы) Google-дың аса қуатты, толық басқарылатын бейсерверлік (Serverless) деректер қоймасы — BigQuery-ге ағынмен (streaming) немесе пакеттік түрде жүктеледі. Мұнда сіз деректерді тазалайсыз, оларды агрегациялайсыз және құпия ақпаратты (мысалы, IP-мекенжайлар, телефон нөмірлері, есімдер) алып тастайсыз.

Деректерді иесіздендіру үшін келесідей SQL сұраныстарын қолдануға болады:

CREATE OR REPLACE VIEW `my_project.secure_dataset.public_search_trends` AS
SELECT
  TIMESTAMP_TRUNC(event_timestamp, HOUR) AS search_hour,
  LOWER(search_query) AS query,
  country_code,
  COUNT(1) AS search_volume
FROM
  `my_project.raw_dataset.site_logs`
WHERE
  user_id IS NOT NULL
GROUP BY
  1, 2, 3
HAVING
  search_volume >= 5;

Бұл сұраныс жеке пайдаланушыларды анықтау мүмкіндігін толығымен блоктайды, өйткені деректер сағат бойынша агрегацияланады және тек 5-тен көп сұралған танымал сұраныстар ғана көрсетіледі.

2-қадам: Analytics Hub арқылы деректерді жариялау

Analytics Hub — бұл тікелей BigQuery ішіне біріктірілген, деректерді қауіпсіз алмасуға және монетизациялауға арналған платформа. Сіз өз жобаңызда «Деректер алмасуды» (Data Exchange) жасайсыз және дайындалған BigQuery датасетін тізілімге жариялайсыз. Осыдан кейін сіз қай клиентке немесе серіктеске қол жеткізу рұқсатын беру керектігін IAM (Identity and Access Management) рөлдері арқылы өзіңіз басқарасыз.

Бұл технологияның ең керемет және революциялық тұсы — Zero-copy sharing (деректерді көшірмеу) принципі. Сатып алушы сіздің деректеріңізді өзінің серверіне жүктеп алмайды. Ол сіздің BigQuery-дегі датасетіңізге сілтеме жасайтын виртуалды кестеге (linked dataset) қол жеткізеді. Сатып алушы өз тарапынан SQL сұраныстарын орындаған кезде, есептеу ресурстарына (Compute / Query costs) кететін шығындарды сіз емес, сатып алушының өз Google Cloud жобасы төлейді! Сіз тек деректерді сақтағаныңыз үшін ғана (Storage costs) төлейсіз, ал ол шығындар BigQuery-де өте төмен.

Деректер алмасу пулын жасау үшін келесі gcloud командасын пайдалануға болады:

Оқуға ұсынамыз

Бұлттағы деректер қауіпсіздігі: Google Cloud ҚР заңнамасының талаптарына сай ма?

03.08.2026
gcloud analytics-hub data-exchanges create my_exchange \
    --location=us-central1 \
    --display-name="My Marketplace Data Exchange" \
    --description="Anonymized market trends dataset"

Деректерді монетизациялаудың негізгі модельдері

DaaS (Data as a Service) нарығында баға белгілеу өте икемді. Сіз өз бизнесіңіздің ерекшелігіне қарай келесі үш модельдің бірін немесе бірнешеуін таңдай аласыз:

  1. Тұрақты жазылым (Subscription-based model): Клиент нақты уақыт режимінде немесе күн сайын жаңартылып тұратын датасетке қол жеткізу үшін ай сайын белгіленген соманы төлейді. Бұл ең тұрақты және болжамды табыс көзі. Салалық ерекшеліктерге байланысты мұндай жазылым құны айына $500-ден $10,000+ дейін жетуі мүмкін.
  2. Тарихи деректерді біржолғы сату (One-time historical extract): Мысалы, сіздің сайтыңыздағы соңғы 3 немесе 5 жылдағы іздеу сұраныстарының, баға өзгерістерінің немесе транзакциялардың мұрағатын зерттеу институттарына немесе аналитикалық орталықтарға біржолғы келісімшартпен $15,000 - $50,000 аралығында сатуға болады.
  3. Деңгейлі қолжетімділік (Tiered Access / RLS & CLS): Сіз деректерді шектеу арқылы әртүрлі тарифтік жоспарлар ұсына аласыз. Мысалы, Row-Level Security (RLS) көмегімен арзан тарифтегі қолданушылар тек белгілі бір аймақтың деректерін көрсе, қымбат тариф иелері бүкіл елдің деректеріне қол жеткізе алады. Немесе Column-Level Security (CLS) арқылы кейбір бағаналарды тек премиум қолданушылар үшін ашуға болады.

DaaS монетизациясынан түсетін орташа айлық табыс болжамы

Жоба іске қосылғаннан кейінгі айлар бойынша жазылымдар мен тарихи деректерді сатудан түсетін жиынтық табыстың өсу серпіні (USD)

Біздің тәжірибемізден нақты кейстер

Теория жүзінде бәрі тамаша көрінгенімен, іс жүзінде бұл қалай жұмыс істейді? Көбінесе деректерді сатуға апаратын жол қарапайым инфрақұрылымды оңтайландыру қажеттілігінен басталады. Төменде біз жүзеге асырған екі шынайы оқиғаны ұсынамыз.

Бірінші кейс: Автобөлшектер маркетплейсі және нарықтық сұраныс аналитикасы

Бізге Қазақстан мен Орталық Азия нарығында жұмыс істейтін ірі автобөлшектер агрегаторы жүгінді. Олардың басты мәселесі техникалық сипатта болды: күзгі және көктемгі дөңгелек ауыстыру маусымдарында сайтқа келетін трафик күрт өсіп, ескі физикалық серверлер жүктемені көтере алмай, жиі істен шығатын. Бұл тікелей қаржылық шығындарға әкелді.

Біздің инженерлер тобы келесі жұмыстарды атқарды:

  • Монолитті қосымшаны Google Cloud бұлтына көшіріп, оны контейнерлерге бөліп, Cloud Run бейсерверлік ортасында іске қосты;
  • Статикалық файлдарды (қосалқы бөлшектердің суреттері, техникалық құжаттар) жедел жеткізу үшін Cloud CDN (Content Delivery Network) жүйесін баптады;
  • Сұраныстарды тиімді бөлу үшін жүктеме баланстауышын (Cloud Load Balancing) орнатты.

Осы оңтайландырудан кейін сайттың жүктелу жылдамдығы 4 есе артты, ал инфрақұрылым кез келген пиктік жүктемелерге төтеп беретін болды. Алайда, біз мұнымен тоқтап қалмай, олардың деректер қорында жиналып жатқан іздеу тарихына назар аудардық. Күн сайын жүздеген мың қолданушы автокөлік маркалары, VIN-кодтар, нақты бөлшектер мен олардың баламалары бойынша іздеу жасайтын. Біз бұл деректерді BigQuery-ге экспорттауды баптадық.

Деректерді өңдегеннен кейін, біз оларды Analytics Hub арқылы жарияладық. Бұл ақпаратқа ірі автокөлік дилерлері мен қосалқы бөлшектерді өндіруші зауыттар бірден қызығушылық танытты. Олар қай аймақта қандай бөлшектерге сұраныс жоғары екенін алдын ала біліп, қоймаларды тиімді толтыру үшін айына $4,000 тұратын жазылымға қол қойды. Қазіргі уақытта бұл кіріс клиенттің Google Cloud-тағы бүкіл бұлттық инфрақұрылымының шығындарын толығымен жауып қана қоймай, қосымша таза пайда әкеліп отыр.

Екінші кейс: Жылжымайтын мүлік порталы және баға динамикасының жылу карталары

Екінші мысал — аймақтық жылжымайтын мүлік және пәтер жалдау порталы. Олардың басты мәселесі картамен жұмыс істеу кезіндегі баяулық пен пәтерлердің ауыр фотосуреттерін жүктеу кезіндегі жоғары трафик шығындары болды. Біз инфрақұрылымды кешенді түрде оңтайландырдық:

  • Веб-қосымшаны жылдамдату үшін Server-Side Rendering (SSR) технологиясын енгіздік;
  • Барлық жүктелген суреттерді автоматты түрде заманауи және жеңіл WebP форматына түрлендіретін микросервис жаздық;
  • Деректер қорының өнімділігін арттыру үшін оқуға арналған репликалары бар (Read Replicas) Cloud SQL жүйесіне көшірдік.

Нәтижесінде порталдың жұмысы айтарлықтай жеделдеді. Бірақ ең қызықты кезең деректерді талдау кезінде басталды. Порталда соңғы бірнеше жылдағы әрбір аудан, тіпті нақты көшелер мен үйлер бойынша жылжымайтын мүлік бағасының өзгеру динамикасы жинақталған еді. Біз бұл деректерді BigQuery-дің GIS (Geographic Information Systems) функцияларын пайдалана отырып өңдедік. Координаттарды агрегациялау үшін келесідей сұраныс қолданылды:

SELECT
  ST_CENTROID(ST_UNION_AGG(ST_GEOGPOINT(longitude, latitude))) AS area_centroid,
  AVG(price_per_sqm) AS avg_price,
  COUNT(1) AS total_listings
FROM
  `my_project.real_estate.listings`
WHERE
  status = 'SOLD'
GROUP BY
  ST_SNAPTOGRID(ST_GEOGPOINT(longitude, latitude), 0.001);

Бұл сұраныс нақты пәтер иелерінің жеке мәліметтерін ашпай-ақ, аудандар бойынша бағалардың орташа көрсеткішін анықтауға мүмкіндік берді. Біз бұл деректерді Analytics Hub-та жарияладық. Оған ірі құрылыс компаниялары (жаңа тұрғын үй кешендерін салу үшін жер телімдерін бағалау мақсатында) және екінші деңгейлі банктер (ипотекалық несие беру кезіндегі тәуекелдерді бағалау үшін) жазылды. Қазіргі таңда бұл деректерді сатудан түсетін айлық табыс сайттағы дәстүрлі баннерлік жарнамадан түсетін кірістен екі есе асып түсті!

Қорытынды

Сіздің компанияңыз күнделікті генерациялайтын деректер — бұл тек серверлік дискілерде босқа жататын немесе архивтелетін қоқыс емес. Бұл нарық үшін өте құнды, нақты қаржылық актив. Егер сіздің жобаңызда логтар, пайдаланушылардың әрекеттері, іздеу сұраныстары немесе бағалар тарихы жинақталып жатса, олардың босқа жатуына жол бермеңіз.

Google Cloud экожүйесі, атап айтқанда BigQuery мен Analytics Hub технологиялары, бұл байттарды ешқандай күрделі бағдарламалаусыз, қауіпсіз әрі минималды инженерлік шығындармен нақты табысқа айналдыруға мүмкіндік береді. Бұлттық технологияларға көшу — бұл тек тұрақтылық пен жылдамдық қана емес, бұл сіздің бизнесіңіз үшін мүлдем жаңа кіріс көздерін ашатын стратегиялық шешім.

Өз жобаңыздан және деректеріңізден барынша пайда алғыңыз келе ме? Бізге, OZAT компаниясына жазыңыз. Біз сіздің сайтыңызды жылдамдатып, қауіпсіздігін қамтамасыз етіп қана қоймай, жинақталған аналитикаңызды тиімді монетизациялауға және жаңа табыс көздерін ашуға көмектесеміз!

Рустам Шарафутдинов

Рустам Шарафутдинов

Инженерлік блог авторы

Google Cloud архитектурасы саласындағы сарапшы және 15 жылдан астам тәжірибесі бар Senior Full-Stack әзірлеушісі. Ақауға төзімді архитектураларға, жоғары жүктемелі жобаларды оңтайландыруға және AI (Vertex AI) интеграциясына маманданған.

Сараптама: GCP, Kubernetes, Микросервистер, React, Node.js

Пікірлер (0)