مدل Hub-and-Spoke: جایگزینی برای داده مش

مش داده ها یک موضوع داغ در جامعه داده و تجزیه و تحلیل است. مش دیتا که در سال 2020 توسط زمک دهقانی در مقاله خود با عنوان “اصول مش داده و معماری منطقی” معرفی شد، یک مدل توزیع شده جدید برای سازماندهی تیم های تحلیلی برای ارائه محصولات داده است و هدف آن رسیدگی به چالش های داده های متمرکز و غیرمتمرکز است. اما آیا این رویکرد واقعاً بهترین رویکرد برای شرکت های امروزی است؟

مدل های سازمانی برای تجزیه و تحلیل

در طول سال‌ها، ما شاهد مدل‌های سازمانی متمرکز و غیرمتمرکز برای ارائه تجزیه و تحلیل به کسب و کار بوده‌ایم. در حالی که هر دو مدل مزایای خود را دارند، هر کدام دارای معایب شدیدی هستند که آنها را برای برآوردن نیازهای مصرف کنندگان تشنه داده امروزی ناکافی می کند.

1. مدل متمرکز

انبار داده به شرکت‌ها اجازه می‌دهد تا داده‌ها را در یک مکان منفرد ذخیره کنند تا در تئوری، همه بتوانند داده‌های خود را با اطمینان پیدا کنند و جستجو کنند. با کنترل مرکزی بر بستر داده و استانداردها، داده ها را می توان به طور مداوم تعریف کرد و به طور قابل اعتماد تحویل داد.

با این حال، در عمل، چند مشکل بزرگ با این رویکرد وجود دارد. ابتدا، داده‌ها باید به قدری با دقت تنظیم و بارگذاری شوند که فقط IT مهارت‌های لازم برای ساخت انبار داده را داشته باشد. این امر IT را به عنوان یک گلوگاه برای یکپارچه سازی داده های جدید تنظیم می کند. دوم، از آنجایی که تیم فناوری اطلاعات معمولاً کسب‌وکار را درک نمی‌کند، آن‌ها تلاش می‌کنند تا نیازمندی‌های کسب‌وکار را به الزامات فنی تبدیل کنند – و بنابراین تنگنا را تشدید می‌کنند و مشتریان خود را ناامید می‌کنند. در نهایت، کاربران تجاری برای تجزیه و تحلیل هزاران جدول انبار داده تلاش می کنند، و این باعث می شود که انبار داده متمرکز تنها برای پیچیده ترین کاربران جذاب باشد.

2. مدل غیر متمرکز

به دلیل ناامیدی کاربر نهایی و افزایش محبوبیت ابزارهای تجسم مانند Tableau، کاربران تجاری با رویکردی غیرمتمرکز امور را در دست گرفته اند. کاربران تجاری به جای منتظر ماندن برای تحویل داده های IT، استخراج داده ها، مدل های داده و گزارش های خود را ایجاد کرده اند. با تمرکززدایی از آماده سازی داده ها، کاربران تجاری از فناوری اطلاعات رها شدند و از مسئله «گمشده در ترجمه» مرتبط با رویکرد متمرکز و مبتنی بر فناوری اطلاعات اجتناب کردند.

اما در عمل، این رویکرد، مانند رویکرد متمرکز، چالش‌های عمده‌ای را نیز به همراه داشت. اول، با عدم کنترل بر تعاریف کسب و کار، کاربران تجاری نسخه های خود را از واقعیت با هر داشبوردی که نوشته بودند ایجاد کردند. در نتیجه، تعاریف و نتایج رقابتی کسب و کار، اعتماد و اعتماد مدیریت را به خروجی های تحلیلی از بین برد. دوم، رویکرد غیرمتمرکز باعث گسترش پلتفرم‌ها و ابزارهای رقیب و اغلب ناسازگار شد و ادغام تجزیه و تحلیل در واحدهای تجاری را دشوار یا غیرممکن کرد.

مش داده

مش داده برای رفع چالش های هر دو مدل است. این سازمان می‌پذیرد که داده‌های امروزی توزیع شده‌اند و به همه کاربران یک سازمان اجازه می‌دهد تا بدون دخالت تیم‌های داده‌های خبره، از تقریباً هر منبع داده‌ای به بینش‌های تجاری دسترسی داشته باشند و آن‌ها را تجزیه و تحلیل کنند. این بیشتر بر اساس افراد و سازمان است تا فناوری، به همین دلیل است که بسیار قانع کننده است. معماری توزیع شده یک مش، مالکیت هر حوزه تجاری را غیرمتمرکز می کند. این بدان معنی است که هر دامنه بر کیفیت، حریم خصوصی، تازگی، دقت و انطباق داده ها برای موارد استفاده تحلیلی و عملیاتی کنترل دارد.

رویکرد شبکه داده، با این حال، از یک مدل سازمانی کاملاً غیرمتمرکز با حذف تیم متمرکز به طور کلی حمایت می کند. من می‌خواهم جایگزینی برای این رویکرد پیشنهاد کنم که یک مرکز برتر را معرفی می‌کند تا یک مدل غیرمتمرکز مدیریت داده را برای اکثر شرکت‌ها قابل اجرا کند.

مدل Hub-and-Spoke: جایگزینی برای داده مش

واضح است که هیچ یک از رویکردها، متمرکز یا غیرمتمرکز، نمی توانند چابکی و ثبات را به طور همزمان ارائه دهند. این اهداف در تضاد هستند. با این حال، مدلی وجود دارد که اگر با ابزار و فرآیندهای مناسب پیاده‌سازی شود، می‌تواند بهترین هر دو جهان را ارائه دهد.

مدل “hub-and-spoke” جایگزینی برای معماری شبکه داده با برخی تفاوت‌های اساسی است. یعنی، مدل هاب و اسپیک یک تیم داده مرکزی یا مرکز برتری (“هاب”) را معرفی می کند. این تیم صاحب پلتفرم داده، استانداردهای ابزار و فرآیند است در حالی که تیم های دامنه تجاری (“Spokes”) مالک محصولات داده برای دامنه های خود هستند. این رویکرد پدیده «همه چیز پیش می‌رود» مدل غیرمتمرکز را حل می‌کند، در حالی که به متخصصان موضوع (SMEs) یا مباشران داده قدرت می‌دهد تا به طور مستقل محصولات داده‌ای را ایجاد کنند که نیازهای آنها را برآورده کند.

پیوند بحرانی: مدل داده

پشتیبانی از یک مدل غیرمتمرکز و هاب برای ایجاد محصولات داده مستلزم آن است که تیم ها به یک زبان داده مشترک صحبت کنند و این زبان SQL نیست. آنچه مورد نیاز است یک است منطقی روشی برای تعریف روابط داده ها و منطق تجاری که از نمایش فیزیکی داده ها جدا و متمایز است. یک مدل داده معنایی یک کاندیدای ایده‌آل برای خدمت به عنوان سنگ روزتا برای تیم‌های حوزه داده‌های متفاوت است، زیرا می‌توان از آن برای ایجاد یک دوقلوی دیجیتالی از کسب‌وکار با نگاشت داده‌های فیزیکی به شرایط تجاری مناسب استفاده کرد. کارشناسان حوزه می‌توانند دانش کسب و کار خود را به شکل دیجیتالی رمزگذاری کنند تا دیگران به جستجو، اتصال و ارتقاء آن بپردازند.

برای اینکه این رویکرد در مقیاس کار کند، اجرای یک پلت فرم لایه معنایی مشترک که از اشتراک مدل داده، ابعاد منطبق، همکاری و مالکیت پشتیبانی می کند، بسیار مهم است. با یک لایه معنایی، تیم داده مرکزی (هاب) می‌تواند مدل‌های مشترک و ابعاد منطبق (یعنی زمان، محصول، مشتری) را تعریف کند، در حالی که کارشناسان حوزه (سخنان) مدل‌های فرآیند کسب‌وکار خود را دارند و تعریف می‌کنند (یعنی «صورت‌حساب»، « حمل و نقل، “سرب ژنرال”). با توانایی به اشتراک گذاری دارایی های مدل، کاربران تجاری می توانند مدل های خود را با مدل هایی از سایر حوزه ها ترکیب کنند تا ترکیبات جدیدی برای پاسخ به سؤالات عمیق تر ایجاد کنند.

مدل Hub-and-Spoke موفق می شود زیرا با نقاط قوت تیم های متمرکز و دامنه کسب و کار عمل می کند: تیم متمرکز مالک و راه اندازی پلت فرم فنی است و مدل های مشترک را منتشر می کند، در حالی که تیم های تجاری با استفاده از مجموعه ای ثابت محصولات داده های دامنه خاص را ایجاد می کنند. از تعاریف کسب و کار و بدون نیاز به درک مدل های کسب و کار سایر حوزه ها.

چگونه به آنجا برسیم

حرکت به یک مدل هاب و اسپیک برای ارائه محصولات داده نیازی به ایجاد اختلال ندارد. بسته به مدل موجود شما برای تحویل تجزیه و تحلیل، دو مسیر برای موفقیت وجود دارد.

اگر سازمان تحلیلی فعلی شما است متمرکز، تیم مرکزی و تیم های تجاری باید به طور جمعی حوزه های داده های کلیدی را شناسایی کنند، سرپرستی داده ها را اختصاص دهند و یک مهندس تجزیه و تحلیل را در هر کدام تعبیه کنند. مهندس تجزیه و تحلیل ممکن است از تیم مرکزی یا تیم تجاری باشد. با استفاده از یک پلت فرم لایه معنایی، مهندس تجزیه و تحلیل تعبیه شده می تواند در تیم دامنه تجاری برای ایجاد مدل های داده و محصولات داده برای آن دامنه کار کند. مهندس تجزیه و تحلیل جاسازی شده با تیم داده مرکزی برای تعیین استانداردهایی برای ابزار و پردازش و در عین حال شناسایی مدل های رایج کار می کند.

اگر سازمان فعلی شما است غیر متمرکز، می توانید یک تیم داده مرکزی برای ایجاد استانداردهایی برای ابزارسازی و پردازش ایجاد کنید. علاوه بر مدیریت پلت فرم لایه معنایی و اشیاء و مدل های مشترک آن، تیم داده مرکزی ممکن است خطوط لوله داده و پلت فرم های داده به اشتراک گذاشته شده توسط تیم های دامنه را مدیریت کند.

ساختمان برای مقیاس

مدل سازمانی بهینه برای تجزیه و تحلیل به اندازه و بلوغ سازمان شما بستگی دارد. با این حال، هرگز برای ساخت مقیاس زود نیست. صرف نظر از اینکه چقدر کوچک است، سرمایه گذاری در یک مدل غیرمتمرکز و متمرکز برای ایجاد محصولات داده، اکنون و در آینده سودآوری خواهد داشت. با ترویج نظارت و مالکیت داده توسط متخصصان حوزه، با استفاده از مجموعه‌ای از ابزارها و تعاریف معنایی مشترک، کل سازمان شما برای ایجاد محصولات داده در مقیاس قدرت پیدا می‌کند.

دیوید پی ماریان مدیر ارشد فناوری و یکی از بنیانگذاران است AtScale, Inc.