API ابرداده Fivetran خطوط لوله داده را به سمت شفافیت سوق می دهد


برای تقویت بیشتر تعهد ما به ارائه پوشش پیشرو در صنعت فناوری داده، VentureBeat مشتاق استقبال از اندرو براست و تونی بائر به عنوان مشارکت کنندگان منظم است. مراقب مقالات آنها در Data Pipeline باشید.

Fivetran دیروز از انتشار یک API طراحی شده برای انتقال ابرداده های خط لوله داده به کاتالوگ های داده خبر داد. هدف API با افزودن به ذخیره‌گاه غنی ابرداده موجود در کاتالوگ‌هایی مانند Collibra، Alation و موارد دیگر، افزایش کیفیت داده و مدیریت داده است.

API ابرداده برای ردیابی تغییراتی که در داده‌های حین پرواز، بین سیستم‌های منبع و هدف رخ می‌دهد، مفید است. همچنین عملکردی برای تعیین تغییراتی که در منابع قبل از جابجایی واقعی داده ها رخ می دهد، وجود دارد که برای حفظ انطباق با مقررات بسیار مهم است.

به گفته میرا ویسواناتان، مدیر ارشد محصول Fivetran، بسیاری از این قابلیت‌ها به این واقعیت بستگی دارد که «آنچه API ارائه می‌دهد، نگاشت ستون مبدا به ستون مقصد است».

به این ترتیب، این پتانسیل را دارد که حتی تغییرات جزئی را در طرحواره و قراردادهای نامگذاری در جداول مشخص کند. جفت کردن این اطلاعات با نمودارهای دودمان داده به تجزیه و تحلیل تأثیر کمک می کند تا شرکت ها بتوانند به طور کامل پیامد تغییرات ایجاد شده از سیستم منبع به سیستم هدف را از طریق خطوط لوله داده درک کنند.

رویداد

MetaBeat 2022

MetaBeat رهبران فکری را گرد هم می‌آورد تا راهنمایی کنند که چگونه فن‌آوری متاورس نحوه برقراری ارتباط و انجام تجارت همه صنایع را در 4 اکتبر در سانفرانسیسکو، کالیفرنیا تغییر خواهد داد.

اینجا ثبت نام کنید

ویسواناتان گفت: «سازمان‌ها در گذشته نتوانستند هیچ یک از این اطلاعات را به دست آورند. آنها اطلاعاتی داشتند، اما بسیار متفاوت بود. آنها می توانند بگویند: در اینجا برخی از دارایی های Fivetran وجود دارد. نگاشت داده ها از مبدا به مقصد هرگز در گذشته امکان پذیر نبود.

حاکمیت داده

API ابرداده برای سازمان‌هایی مناسب است که جریان‌های کاری حاکمیت داده را دارند، به‌ویژه آن‌هایی که مربوط به دسترسی به داده‌ها، حریم خصوصی داده‌ها و پایبندی به قوانین هستند. این منبع با ارائه ابرداده ریز در مورد سفر داده ها در داخل خطوط لوله، دید و نظارت لازم برای حاکمیت داده را در این کانال ها گسترش می دهد. Viswanathan اظهار داشت: با کمک به مشتریان در درک آنچه در خط لوله اتفاق می افتد، می توانند سیاست های درست را اعمال کنند. من قویاً معتقدم که اولین مرحله مدیریت داده که می‌توان اعمال کرد خط لوله است، زیرا داده‌ها زمانی که در منبع هستند در حالت استراحت هستند.

در نزدیکی پایان سال، Fivetran پیش‌بینی می‌شود که قابلیت‌هایی را به API ابرداده معرفی کند تا کاربران بتوانند تغییرات طرحواره را حتی قبل از حرکت داده‌ها تشخیص دهند. برای مثال، اگر فردی که از الزامات انطباق برای یک مجموعه داده بی خبر باشد، به طور تصادفی یک ستون PII به مجموعه داده اضافه کند، تیم های امنیتی و حاکمیتی می توانند این تغییر را در کاتالوگ داده ها مشاهده کنند. سپس می‌توانند برای جلوگیری از انتقال داده‌ها توسط فردی که مجموعه داده را تغییر داده و دستورات انطباق را نقض کند، عمل کنند. “اگر من بروم و ستونی را رفع انسداد کنم یا ستونی را که در پلتفرم است مسدود کنم، اگر بتوانم این اطلاعات را در یک کاتالوگ داده نمایش دهم، جایی که اکثر تیم مدیریت داده و امنیت ما در آنجا نشسته اند، آنها می توانند از انجام این درخواست جلوگیری کنند. ویسواناتان خاطرنشان کرد.

کیفیت داده

API فراداده نیز تأثیرات قابل توجهی برای کیفیت داده دارد. اگرچه به عنوان مثال به کیفیت داده ها از نظر تسلط بر داده ها یا ساختار نحوه نوشتن آدرس ها در سیستم ها نمی پردازد، اما مطمئناً می تواند به قابلیت اعتماد داده ها بیفزاید. تحلیلگران ممکن است به اطلاعات فروش در یک انبار داده ابری نگاه کنند و تعجب کنند که اعداد خاصی از کجا آمده اند. اطلاعات کاتالوگ داده از API فراداده می تواند تمام اطلاعات لازم را ارائه دهد تا کاربران بتوانند به این سوال پاسخ دهند و تشخیص دهند که آیا خود اعداد قابل اعتماد هستند یا خیر. ویسواناتان توضیح داد: از این نظر، “به شما کمک می کند تا این خط را بین گفتن این که داده های شما به این شکل حرکت می کند، ابزاری که استفاده شده است، این ها صاحبان خط لوله داده ها هستند، هدایت کنید.” “بنابراین، مردم می توانند پس از آن شروع به نقشه برداری از این اطلاعات از منبع به مقصد کنند.”

زمانی که کاتالوگ های داده های زیرینی که این ابرداده را دریافت می کنند دارای نمودارهای دودمان داده ای هستند که کاربران را قادر می سازد به طور مؤثر این اطلاعات و سایر اطلاعات مربوط را تجسم کنند، بسیار مفید است. ویسواناتان یک مورد استفاده را توصیف کرد که در آن یک تحلیلگر می خواست کیفیت داده های اساسی ارقام درآمد را در Looker ارزیابی کند. ویسواناتان گفت: اکنون، آنها می‌توانند «این اطلاعات را بکشند و آن‌ها را در یک نمودار دودمانی سرتاسر تجسم کنند، جایی که می‌توانید ببینید که تعداد درآمد من از این ستون Salesforce به این ستون مقصد در Snowflake رفته است». «این دگرگونی‌ها را در Snowflake پشت سر گذاشت و سپس در Looker افشا شد. بنابراین، شما واقعاً می توانید داده های خود را تا منبع آن ردیابی کنید.”

مدیریت هوشمندانه ابرداده همیشه جزء جدایی ناپذیر حاکمیت داده و کیفیت داده ها بوده است. API فراداده Fivetran این ابعاد حاکمیت داده را – و دیدی که بر اساس آنها پیش بینی شده است – به خطوط لوله داده که قبلاً غیرشفاف بودند گسترش می دهد. این درجه از شفافیت برای بسیاری از جنبه‌های حاکمیت داده، از انطباق با مقررات تا کنترل‌های دسترسی و مدل‌سازی داده، مفید است.

ماموریت VentureBeat این است که یک میدان شهر دیجیتال برای تصمیم گیرندگان فنی باشد تا دانشی در مورد فناوری سازمانی متحول کننده کسب کنند و معامله کنند. جلسات توجیهی ما را کشف کنید.