تکامل خط لوله داده هوشمند

به نظر می رسد پتانسیل هوش مصنوعی (AI) و یادگیری ماشین (ML) از نظر توانایی تولید و هدایت منابع جدید مشتریان، محصولات، خدمات، عملیات، محیط ها و ارزش های اجتماعی تقریباً نامحدود است. اگر سازمان شما قرار است در آینده در اقتصاد رقابت کند، هوش مصنوعی باید در هسته عملیات تجاری شما قرار گیرد.

مطالعه‌ای که توسط Kearney با عنوان «تأثیر تجزیه و تحلیل در سال 2020» انجام شد، سود و تأثیرات کسب‌وکار دست‌نخورده را برای سازمان‌هایی که به دنبال حقیقت برای تسریع در علم داده (AI / ML) و سرمایه‌گذاری‌های مدیریت داده هستند، نشان می‌دهد:

• اگر کاوشگرها به عنوان رهبران مؤثر باشند، می توانند سود را تا 20 درصد افزایش دهند
• اگر فالوورها به اندازه لیدرها مؤثر باشند، می توانند سود خود را تا 55 درصد افزایش دهند
• اگر عقب مانده ها به عنوان رهبر موثر باشند، می توانند سود را تا 81 درصد افزایش دهند

تأثیر تجاری، عملیاتی و اجتماعی می تواند خیره کننده باشد به جز یک چالش مهم سازمانی – داده ها. اندرو نگ، پدرخوانده هوش مصنوعی، موانع مدیریت داده ها و داده ها را برای توانمندسازی سازمان ها و جوامع برای درک پتانسیل هوش مصنوعی و ML برجسته کرده است:

“مدل ها و کد برای بسیاری از برنامه ها مشکلاتی هستند که حل شده اند. اکنون که مدل ها به یک نقطه خاص پیشرفت کرده اند، ما باید داده ها را نیز کار کنیم.” – Andrew Ng

داده ها در قلب آموزش مدل AI و ML قرار دارند. و داده‌های قابل اعتماد و با کیفیت بالا که از طریق یک خط لوله کارآمد و مقیاس‌پذیر گردآوری شده‌اند به این معنی است که هوش مصنوعی می‌تواند این نتایج هیجان‌انگیز تجاری و عملیاتی را فعال کند. همانطور که یک قلب سالم به اکسیژن و جریان خون قابل اطمینان نیاز دارد، جریان داده های تمیز، دقیق، غنی شده و قابل اعتماد نیز که برای ماشین های AI/ML ضروری است، نیاز دارد.

به عنوان مثال، یک CIO تیمی متشکل از 500 مهندس داده دارد که بیش از 15000 پروژه استخراج، تبدیل و بارگذاری (ETL) را مدیریت می‌کنند که مسئول کسب، انتقال، جمع‌آوری، استانداردسازی و همگام‌سازی داده‌ها در 100 مخزن داده (داده) با هدف خاص هستند. مارت، انبار داده، دریاچه داده و دریاچه داده). او این وظایف را در سیستم‌های عامل و سازمان‌های رو به مشتری تحت قراردادهای سطح خدمات (SLA) انجام می‌دهد تا از تعداد زیادی از مصرف‌کنندگان داده‌های متنوع پشتیبانی کند. من فکر می کنم که روب گلدبرگ یک معمار داده می شد (شکل 1).

کاهش ساختار معماری اسپاگتی یک برنامه استاتیک ETL یکباره، با هدف ویژه، برای جابجایی، تمیز کردن، همگام‌سازی و اصلاح داده‌ها تا حد زیادی از «زمان برای بینش» مورد نیاز سازمان‌ها برای بهره‌برداری از ویژگی‌های اقتصادی منحصربه‌فرد داده‌ها، «با ارزش‌ترین منبع» جلوگیری می‌کند. در جهان ” با توجه به اقتصاد دان.

ظهور خطوط لوله داده هوشمند

هدف از خط لوله داده، خودکارسازی و مقیاس‌بندی وظایف جمع‌آوری، تبدیل، حرکت و یکپارچه‌سازی داده‌های رایج و تکراری است. یک استراتژی خط لوله داده به درستی ساخته شده می‌تواند فرآیندهای مربوط به جمع‌آوری، تمیز کردن، اصلاح، افزودن و انتقال داده‌ها به سیستم‌ها و برنامه‌های پایین‌دستی را تسریع و خودکار کند. از آنجایی که حجم، تنوع و سرعت داده های من همچنان در حال افزایش است، نیاز به خط لوله داده های مقیاس پذیر خطی در محیط های ابری و ترکیبی ابری من برای عملیات تجاری من به طور فزاینده ای حیاتی است.

خط لوله داده به مجموعه ای از فعالیت های پردازش داده اطلاق می شود که منطق عملیاتی و تجاری را برای انجام منبع یابی، تبدیل و بارگذاری داده های پیشرفته تر ترکیب می کند. خط لوله داده می‌تواند بر اساس یک برنامه زمان‌بندی، در زمان واقعی (جریان‌گذاری)، یا توسط قوانین یا شرایط از پیش تعریف‌شده فعال شود.

علاوه بر این، منطق و الگوریتم‌هایی را می‌توان در خط لوله داده برای ایجاد خطوط لوله داده «هوشمند» ایجاد کرد. خط لوله هوشمند یک دارایی اقتصادی قابل استفاده مجدد و قابل گسترش است که می تواند به یک سیستم منبع اختصاص داده شود و تبدیل داده های مورد نیاز برای پشتیبانی از داده های منحصر به فرد و الزامات تحلیلی برای یک سیستم یا برنامه هدف را انجام دهد.

همانطور که یادگیری ماشین و AutoML رایج تر می شوند، کانال های داده به طور فزاینده ای هوشمند می شوند. خط لوله داده می تواند داده ها را بین ماژول های پیشرفته غنی سازی و تبدیل انتقال دهد، جایی که شبکه های عصبی و الگوریتم های یادگیری ماشین می توانند تبدیل و غنی سازی داده های پیشرفته تری ایجاد کنند. اینها شامل تقسیم بندی، تجزیه و تحلیل رگرسیون، خوشه بندی، و ایجاد شاخص های پیشرفته و امتیازات روند هستند.

در نهایت، می‌توان هوش مصنوعی را در خط لوله داده ادغام کرد تا بتواند بر اساس سیستم منبع، تبدیل داده‌ها و غنی‌سازی مورد نیاز، و الزامات تجاری و عملیاتی در حال تکامل سیستم و برنامه هدف، به یادگیری و انطباق ادامه دهد.

به عنوان مثال: یک خط لوله داده هوشمند در مراقبت های بهداشتی می تواند گروهی از کدهای گروه مربوط به تشخیص مراقبت های بهداشتی (DRG) را تجزیه و تحلیل کند تا از سازگاری و کامل بودن ارسال های DRG اطمینان حاصل کند و تقلب را کشف کند زیرا داده های DRG توسط خط لوله داده از منبع منتقل می شود. سیستم تحلیلی

ارزش تجارت را درک کنید

افسران ارشد داده و تحلیلگران داده به چالش کشیده می شوند تا ارزش کسب و کار را از داده ها حذف کنند – برای اعمال داده ها در تجارت به منظور ایجاد تأثیر مالی قابل اندازه گیری.

توانایی دریافت داده‌های باکیفیت و قابل اعتماد به مصرف‌کنندگان داده‌های مناسب در زمان مناسب برای تسهیل تصمیم‌گیری‌های دقیق‌تر و دقیق‌تر، یک تمایز اصلی برای شرکت‌های غنی از داده امروزی خواهد بود. سیستم اسکریپت نویسی ELT Rube Goldberg و مخازن ویژه تجزیه و تحلیل محور مختلف آن مانع از توانایی سازمان برای دستیابی به این اهداف می شود.

در مورد خط لوله داده هوشمند بیشتر بدانید خط لوله داده های سازمانی مدرن (کتاب الکترونیکی) توسط Dell Technologies در اینجا.

این محتوا توسط Dell Technologies تولید شده است. این توسط تحریریه MIT Technology Review نوشته نشده است.