Voltron از پروژه تجزیه و تحلیل داده منبع باز Ibis پشتیبانی می کند


برای تقویت بیشتر تعهد خود به ارائه پوشش پیشرو در صنعت فناوری داده، VentureBeat مشتاق استقبال از اندرو براست و تونی بائر به عنوان مشارکت کنندگان عادی است. مراقب مقالات آنها در Data Pipeline باشید.

Voltron Data، ارائه‌دهنده خدمات پشتیبانی سازمانی برای Apache Arrow، امروز اعلام کرد که یک پیشنهاد پشتیبانی سازمانی برای Ibis اضافه می‌کند، چارچوبی منبع باز پایتون برای استانداردسازی تحلیل‌ها و پرس و جوها در چندین backend. این حرکت گام بعدی در ایجاد مجموعه پیشنهادات پشتیبانی شرکت Voltron Data است و هدف این شرکت برای ادامه سرمایه گذاری در فناوری های منبع باز را پیش می برد. این اعلامیه در The Data Thread، یک رویداد یادگیری مجازی که توسط Voltron Data میزبانی می‌شود، برای برجسته کردن Apache Arrow و کاربردهای عملی آن، و همچنین برای گرد هم آوردن متخصصان، رهبران صنعت و اعضای جامعه Arrow ارائه می‌شود.

ایجاد استانداردها

VentureBeat با جاش پترسون، مدیر عامل Voltron Data صحبت کرد و در مورد اهمیت ایجاد استانداردها و ارتباطات بین سیستم ها برای حذف نقاط درد و کاهش تلاش های تکراری بحث کرد.

Apache Arrow و Ibis هر دو برای ارائه راه حل های استاندارد برای نقاط درد مشترک طراحی شده اند. Apache Arrow یک پروژه منبع باز است که برای ارائه یک فرمت یکپارچه برای نمایش داده های برداری در حافظه ایجاد شده است، که نیاز به سریال سازی و سریال زدایی داده ها بین چندین فرمت را از بین می برد. حذف این کار تکراری باعث ایجاد کارایی می شود و همانطور که پترسون گفت، “فقط به توسعه دهندگان اجازه می دهد تا روی چیزهایی تمرکز کنند که می خواهند روی آنها تمرکز کنند.”

Ibis یک API Dataframe پایتون است و یک چارچوب استاندارد برای دسترسی به داده‌ها و پرس و جو از چندین پشتیبان با استفاده از Python فراهم می‌کند. پشتیبان‌های پشتیبانی شده شامل پایگاه‌های داده SQL و پایگاه‌های داده تجزیه و تحلیل کلان داده‌ها، از جمله Google BigQuery، Heavy.ai (سابق OmniSci)، PostgreSQL، MySQL، و دیگران است. Ibis به توسعه دهندگان این امکان را می دهد که یک نوع کد بنویسند تا چندین سیستم را هدف قرار دهند و در صورت نیاز بین Backendها سوئیچ کنند و در عین حال چارچوب یکسانی را حفظ کنند. پترسون گفت: “این به کاربران این آزادی را می دهد که در صورت تغییر روش محاسبه، مجبور نباشند کد خود را بازنویسی کنند.”

هر چه بیشتر افرادی داریم که بر اساس این استانداردها مانند Arrow ساخته می شوند [and] Ibis، هر چه بیشتر می‌توانیم شروع به ساخت سیستم‌های بهتر و بهتر کنیم.» پترسون گفت. ضایعات زیادی در داده های سریال سازی اکوسیستم وجود دارد، همچنین ضایعات زیادی وجود دارد که فقط کدها را دوباره می نویسند، بارها و بارها با تغییر سیستم ها، و بنابراین این نوع جلوی استانداردها واقعا مهم هستند بنابراین ما می توانیم شروع به کاهش کنیم. این بازدارنده های نوآوری است.»

یک پسوند طبیعی

Voltron Data در فوریه 2022 با یک پیشنهاد پشتیبانی سازمانی برای Apache Arrow راه اندازی شد. وس مک‌کینی، یکی از بنیان‌گذاران و مدیر ارشد فناوری Voltron Data، همچنین یکی از خالقان Apache Arrow، Ibis، و پروژه پانداهای پایتون، و یکی از اعضای کمیته مدیریت پروژه برای Apache Parket است. این شرکت می‌گوید تصمیم برای معرفی پشتیبانی سازمانی برای Ibis تا حدی در نتیجه تقاضای بالای مشتریان گرفته شده است. پترسون گفت که “همان مشتریان Arrow می پرسند… خوب در مورد Ibis چطور؟ آنها می بینند که همین افراد این پروژه ها را حفظ می کنند» و در نتیجه «ما فقط احساس کردیم که این یک توسعه طبیعی است».

سرعت بالابر؟

کارایی و مزایای ایجاد شده توسط Apache Arrow و Ibis از توانایی آنها در ارائه یک راه حل یکپارچه برای نقاط درد کاربران ناشی می شود. هرچه یک استاندارد به طور گسترده‌تری پذیرفته شود، ارزش بیشتری به همراه خواهد داشت و پانداها و پارادایم چارچوب داده آن به عنوان نمونه مورد توجه قرار می‌گیرند. اینکه آیا Ibis بتواند به پذیرش و ارزش قابل مقایسه دست یابد، مشخص نیست، اما حرکت Voltron منطقی است و باید به استانداردسازی توسعه نرم‌افزار داده‌محور به جای تقسیم آن کمک کند.

ماموریت VentureBeat این است که یک میدان شهر دیجیتال برای تصمیم گیرندگان فنی باشد تا دانشی در مورد فناوری سازمانی متحول کننده کسب کنند و معاملات انجام دهند. کسب اطلاعات بیشتر در مورد عضویت.