à´à´¨àµà´¤à´¾à´£àµ AWS EventBridge?

AWS ലാംഡ നിർവ്വഹണവും

Gerald Girard

2024, മേയ് 3, വെള്ളിയാഴ്‌ച 9:50:25 PM

ഇവൻ്റ്-ഡ്രൈവ് AWS ഓട്ടോമേഷൻ്റെ അവലോകനം

ഇവൻ്റ്ബ്രിഡ്ജ് ഉപയോഗിച്ച് AWS ലാംഡ ഫംഗ്‌ഷനുകൾ ഷെഡ്യൂൾ ചെയ്യുകയും ഓട്ടോമേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു, വിവിധ ഉറവിടങ്ങളിൽ നിന്നുള്ള ഡാറ്റ എക്‌സ്‌ട്രാക്‌ഷൻ പോലുള്ള പ്രവർത്തനപരമായ ജോലികൾക്ക് ശക്തമായ ഒരു പരിഹാരം വാഗ്ദാനം ചെയ്യുന്നു. EventBridge വഴി ആവർത്തിച്ചുള്ള നിർവ്വഹണങ്ങൾ സജ്ജീകരിക്കുന്നതിലൂടെ, ഒരു നിയുക്ത സ്പ്ലങ്ക് ടേബിളിൽ നിന്ന് ഡാറ്റ വലിക്കുന്നത് പോലുള്ള നിർദ്ദിഷ്ട ജോലികൾ കാര്യക്ഷമമായി കൈകാര്യം ചെയ്യാൻ കഴിയും. ഇവൻ്റ്ബ്രിഡ്ജിൽ നിന്ന് നേരിട്ട് ആവശ്യമായ പാരാമീറ്ററുകൾ സ്വീകരിക്കുന്ന ലാംഡ ഫംഗ്‌ഷനുകൾ മുൻകൂട്ടി നിശ്ചയിച്ച ഷെഡ്യൂളിൽ പ്രവർത്തിക്കുന്നുവെന്ന് ഈ രീതി ഉറപ്പാക്കുന്നു.

ഈ സജ്ജീകരണത്തിൽ പിശക് കൈകാര്യം ചെയ്യൽ ഉൾപ്പെടുത്തുന്നത് വിശ്വാസ്യത വർദ്ധിപ്പിക്കുന്നു. ഒരു Lambda ഫംഗ്‌ഷൻ ഒരു പിശക് നേരിട്ടാൽ, കൂടുതൽ ട്രിഗറുകൾ നിർത്താൻ മാത്രമല്ല, ഒരു അറിയിപ്പ് പ്രക്രിയ ആരംഭിക്കാനും EventBridge കോൺഫിഗർ ചെയ്യാനാകും. ഈ പിശക് അലേർട്ടിൽ സാധാരണഗതിയിൽ, തകരാർ സംബന്ധിച്ച് ബന്ധപ്പെട്ടവരെ അറിയിക്കാൻ ഒരു ഇമെയിൽ അയയ്‌ക്കുന്നത് ഉൾപ്പെടുന്നു, അതുവഴി പെട്ടെന്നുള്ള ഇടപെടലും പരിഹാരവും അനുവദിക്കുന്നു.

കമാൻഡ്	വിവരണം
schedule_expression	ഓരോ മണിക്കൂറിലും ലാംഡ ഫംഗ്‌ഷൻ പ്രവർത്തനക്ഷമമാക്കുന്നതിന് "റേറ്റ്(1 മണിക്കൂർ)" പോലെയുള്ള AWS EventBridge റൂളിൻ്റെ ഇടവേള അല്ലെങ്കിൽ നിരക്ക് നിർവചിക്കുന്നു.
jsonencode	ലാംഡയിലേക്കുള്ള ഇൻപുട്ട് ശരിയായി ഫോർമാറ്റ് ചെയ്തിട്ടുണ്ടെന്ന് ഉറപ്പാക്കിക്കൊണ്ട്, ഒരു മാപ്പിനെ JSON-ഫോർമാറ്റ് ചെയ്ത സ്ട്രിംഗാക്കി മാറ്റാൻ Terraform-ൽ ഉപയോഗിക്കുന്നു.
sns.publish	ഒരു SNS വിഷയത്തിലേക്ക് ഒരു സന്ദേശം അയക്കുന്ന പൈത്തണിനായുള്ള (Boto3) AWS SDK-ൽ നിന്നുള്ള രീതി, Lambda ഒരു പിശക് നേരിടുമ്പോൾ അറിയിക്കാൻ ഇവിടെ ഉപയോഗിക്കുന്നു.
input	ടേബിൾ നെയിമുകൾ പോലുള്ള വേരിയബിളുകൾ ഉൾപ്പെടെ, EventBridge ട്രിഗർ ചെയ്യുമ്പോൾ Lambda ഫംഗ്‌ഷനിലേക്ക് കടന്നുപോകാൻ JSON ഇൻപുട്ട് വ്യക്തമാക്കുന്നു.
splunk_data_extraction	ഇൻപുട്ട് ടേബിൾ നെയിം അടിസ്ഥാനമാക്കി ഒരു സ്പ്ലങ്ക് ടേബിളിൽ നിന്ന് ഡാറ്റ എക്‌സ്‌ട്രാക്‌ഷൻ കൈകാര്യം ചെയ്യുന്ന ലാംഡയിൽ മറ്റെവിടെയെങ്കിലും നിർവചിച്ചിരിക്കുന്ന കസ്റ്റം ഫംഗ്‌ഷൻ അനുമാനിക്കുന്നു.
TopicArn	ഒരു Lambda ഫംഗ്‌ഷൻ പിശകിൻ്റെ കാര്യത്തിൽ പിശക് അറിയിപ്പുകൾ പ്രസിദ്ധീകരിക്കുന്ന SNS വിഷയത്തിൻ്റെ ആമസോൺ റിസോഴ്‌സ് നാമം (ARN) വ്യക്തമാക്കുന്നു.

സ്ക്രിപ്റ്റ് പ്രവർത്തനത്തിൻ്റെ വിശദീകരണം

ഒരു നിശ്ചിത ഇടവേളയിൽ AWS Lambda ഫംഗ്‌ഷൻ പ്രവർത്തനക്ഷമമാക്കുന്നതിന് ടെറാഫോം സ്‌ക്രിപ്റ്റ് ഒരു AWS EventBridge റൂൾ സജ്ജീകരിക്കുന്നു. schedule_expression. ഈ പദപ്രയോഗം നിർണായകമാണ്, കാരണം ഇത് ലാംഡ ഫംഗ്‌ഷൻ്റെ നിർവ്വഹണത്തിൻ്റെ സമയം നിർദ്ദേശിക്കുന്നു, ഈ സാഹചര്യത്തിൽ, ഓരോ മണിക്കൂറിലും. ലാംഡ ഫംഗ്‌ഷനെ ചൂണ്ടിക്കാണിക്കുന്ന ഒരു EventBridge ടാർഗെറ്റിൻ്റെ കോൺഫിഗറേഷനും സ്‌ക്രിപ്റ്റ് വിശദമാക്കുന്നു. arn ലാംഡ ഫംഗ്‌ഷൻ്റെയും ടേബിൾ നെയിം പോലെയുള്ള പാസിംഗ് പാരാമീറ്ററുകൾ വഴിയും JSON ആയി ഫോർമാറ്റ് ചെയ്‌തു jsonencode പ്രവർത്തനം. ഓരോ ലാംഡ അഭ്യർത്ഥനയും ശരിയായ ഡാറ്റാ സന്ദർഭത്തിൽ നടപ്പിലാക്കുന്നുവെന്ന് ഇത് ഉറപ്പാക്കുന്നു.

പൈത്തണിൽ സ്‌ക്രിപ്റ്റ് ചെയ്‌ത ലാംഡ ഫംഗ്‌ഷൻ, ഒഴിവാക്കലുകൾ കൈകാര്യം ചെയ്യുന്നതിനും എക്‌സിക്യൂഷൻ സമയത്ത് ഒരു പിശക് സംഭവിച്ചാൽ AWS സിമ്പിൾ നോട്ടിഫിക്കേഷൻ സർവീസ് (SNS) വഴി അറിയിപ്പുകൾ അയയ്‌ക്കുന്നതിനും Boto3 ഉപയോഗിക്കുന്നു. ആജ്ഞ sns.publish ഒരു നിർദ്ദിഷ്ട SNS വിഷയത്തിലേക്ക് പിശക് വിശദാംശങ്ങൾ അയയ്‌ക്കാൻ ഉപയോഗിക്കുന്നു, ഇത് തിരിച്ചറിഞ്ഞു TopicArn, പ്രശ്നങ്ങളുടെ ഉടനടി അറിയിപ്പ് സുഗമമാക്കുന്നു. ഈ പിശക് റിപ്പോർട്ടിംഗ് സംവിധാനം ഓട്ടോമേറ്റഡ് പ്രക്രിയകളുടെ വിശ്വാസ്യതയും സ്ഥിരതയും നിലനിർത്തുന്നതിന് അത്യന്താപേക്ഷിതമാണ്, ഇത് പെട്ടെന്നുള്ള പ്രതികരണത്തിനും പരിഹാരത്തിനും അനുവദിക്കുന്നു.

Lambda ഫംഗ്‌ഷനുകൾ ട്രിഗർ ചെയ്യുന്നതിന് EventBridge കോൺഫിഗർ ചെയ്യുക

AWS ടെറാഫോം കോൺഫിഗറേഷൻ

provider "aws" {
  region = "us-west-2"
}

resource "aws_cloudwatch_event_rule" "lambda_trigger" {
  name = "every-hour"
  schedule_expression = "rate(1 hour)"
}

resource "aws_cloudwatch_event_target" "invoke_lambda" {
  rule = aws_cloudwatch_event_rule.lambda_trigger.name
  target_id = "triggerLambdaEveryHour"
  arn = aws_lambda_function.splunk_query.arn
  input = jsonencode({"table_name" : "example_table"})
}

resource "aws_lambda_permission" "allow_cloudwatch" {
  statement_id  = "AllowExecutionFromCloudWatch"
  action        = "lambda:InvokeFunction"
  function_name = aws_lambda_function.splunk_query.function_name
  principal     = "events.amazonaws.com"
  source_arn    = aws_cloudwatch_event_rule.lambda_trigger.arn
}

ലാംഡയിലെ പിശകുകൾ കൈകാര്യം ചെയ്യലും അറിയിപ്പുകൾ അയയ്ക്കലും

AWS ലാംഡയും SNS അറിയിപ്പ് സ്ക്രിപ്റ്റും

import json
import boto3
from botocore.exceptions import ClientError

def lambda_handler(event, context):
    table_name = event['table_name']
    try:
        # Assume 'splunk_data_extraction' is a function defined elsewhere
        data = splunk_data_extraction(table_name)
        return {"status": "Success", "data": data}
    except Exception as e:
        sns = boto3.client('sns')
        topic_arn = 'arn:aws:sns:us-west-2:123456789012:LambdaErrorAlerts'
        message = f"Error processing {table_name}: {str(e)}"
        sns.publish(TopicArn=topic_arn, Message=message)
        return {"status": "Error", "error_message": str(e)}

AWS സേവനങ്ങൾക്കായുള്ള അഡ്വാൻസ്ഡ് ഇൻ്റഗ്രേഷൻ ടെക്നിക്കുകൾ

AWS EventBridge, Lambda സംയോജനങ്ങളുടെ കഴിവുകൾ കൂടുതൽ മെച്ചപ്പെടുത്തുന്നതിന്, സങ്കീർണ്ണമായ വർക്ക്ഫ്ലോകളുടെ വിന്യാസം പരിഗണിക്കുന്നത് നിർണായകമാണ്. കൂടുതൽ നിയന്ത്രിത രീതിയിൽ സ്റ്റേറ്റ്ഫുൾ എക്സിക്യൂഷനുകൾ കൈകാര്യം ചെയ്യുന്നതിനായി AWS സ്റ്റെപ്പ് ഫംഗ്ഷനുകൾ ലാംഡയുമായി സംയോജിപ്പിക്കുന്നത് പോലെ, ഒന്നിലധികം AWS സേവനങ്ങൾ ഒരുമിച്ച് ബന്ധിപ്പിക്കുന്നത് ഈ വർക്ക്ഫ്ലോകളിൽ ഉൾപ്പെടുന്നു. ഈ സമീപനം ഡാറ്റ കൈകാര്യം ചെയ്യൽ പ്രക്രിയകളുടെ കരുത്തുറ്റത മെച്ചപ്പെടുത്തുക മാത്രമല്ല, ലളിതമായ അറിയിപ്പുകൾക്കപ്പുറം കൂടുതൽ സങ്കീർണ്ണമായ പിശക് കൈകാര്യം ചെയ്യാനും വീണ്ടും ശ്രമിക്കാനും പ്രാപ്തമാക്കുന്നു.

മാത്രമല്ല, മെച്ചപ്പെടുത്തിയ നിരീക്ഷണത്തിനും ലോഗിംഗ് കഴിവുകൾക്കുമായി AWS ഇവൻ്റ്ബ്രിഡ്ജിനെ AWS CloudWatch-മായി സംയോജിപ്പിക്കുന്നത് ലാംഡ ഫംഗ്‌ഷനുകളുടെയും പ്രവർത്തന പ്രശ്‌നങ്ങളുടെയും ആഴത്തിലുള്ള ഉൾക്കാഴ്ചകൾ നൽകും. AWS-ൻ്റെ നേറ്റീവ് ഒബ്സർവബിലിറ്റി ടൂളുകളുടെ സമഗ്രമായ ഉപയോഗത്തിലൂടെ, സജീവമായ പിശക് കണ്ടെത്തുന്നതിനും സെർവർലെസ് ആപ്ലിക്കേഷനുകളുടെ പ്രകടനം മികച്ചതാക്കുന്നതിനും ഇത്തരം സജ്ജീകരണങ്ങൾ സഹായകമാണ്.

AWS EventBridge, Lambda Integration എന്നിവയെ കുറിച്ചുള്ള അത്യാവശ്യ പതിവുചോദ്യങ്ങൾ

എന്താണ് AWS EventBridge?
AWS ഇവൻ്റ്ബ്രിഡ്ജ് എന്നത് AWS-നുള്ളിലെ വിവിധ ഉറവിടങ്ങളിൽ നിന്നുള്ള ഡാറ്റ ഉപയോഗിച്ച് അപ്ലിക്കേഷനുകൾ കണക്റ്റുചെയ്യുന്നത് എളുപ്പമാക്കുന്ന ഒരു സെർവർലെസ് ഇവൻ്റ് ബസ് സേവനമാണ്.
ഇവൻ്റ്‌ബ്രിഡ്ജിനൊപ്പം ലാംഡയ്‌ക്കായി ഞാൻ എങ്ങനെ ഒരു ഷെഡ്യൂൾ സജ്ജീകരിക്കും?
നിങ്ങൾ ഉപയോഗിക്കുക schedule_expression നിങ്ങളുടെ Lambda ഫംഗ്‌ഷൻ എത്ര തവണ പ്രവർത്തനക്ഷമമാക്കണമെന്ന് നിർവചിക്കാൻ EventBridge-ൽ.
ഇവൻ്റ്ബ്രിഡ്ജിന് സങ്കീർണ്ണമായ ഇവൻ്റ് റൂട്ടിംഗ് കൈകാര്യം ചെയ്യാൻ കഴിയുമോ?
അതെ, ഇവൻ്റ് പാറ്റേണുകൾ ഫിൽട്ടർ ചെയ്യുന്ന നിയമങ്ങൾ ഉപയോഗിച്ച്, വ്യത്യസ്ത തരം ഇവൻ്റുകൾ ഉചിതമായ ലക്ഷ്യങ്ങളിലേക്ക് നയിക്കാൻ EventBridge-ന് കഴിയും.
എന്താണ് ഉദ്ദേശ്യം jsonencode ടെറാഫോമിലെ പ്രവർത്തനം?
ദി jsonencode മാപ്പ് വേരിയബിളുകളെ JSON സ്ട്രിംഗുകളായി ഫോർമാറ്റ് ചെയ്യാൻ ഫംഗ്ഷൻ ഉപയോഗിക്കുന്നു, അവ നിങ്ങളുടെ ലാംഡ ഫംഗ്ഷനുകളിലേക്ക് ഇൻപുട്ടായി കൈമാറും.
Lambda, EventBridge എന്നിവ ഉപയോഗിച്ച് പിശക് കൈകാര്യം ചെയ്യുന്നത് എങ്ങനെ മെച്ചപ്പെടുത്താം?
പിശകുകളുടെ ട്രിഗർ നിർത്തുന്നതിന് EventBridge കോൺഫിഗർ ചെയ്യുന്നതിലൂടെയും എക്സിക്യൂട്ട് ചെയ്യാൻ Lambda ഉപയോഗിച്ചും പിശക് കൈകാര്യം ചെയ്യൽ മെച്ചപ്പെടുത്താം. sns.publish SNS വഴി അലേർട്ടുകൾ അയക്കാൻ.

ഓട്ടോമേറ്റഡ് ഇവൻ്റ് മാനേജ്മെൻ്റിനെക്കുറിച്ചുള്ള അന്തിമ ചിന്തകൾ

ലാംഡ ഫംഗ്‌ഷനുകൾ ക്രമീകരിക്കുന്നതിന് AWS EventBridge ഉപയോഗിക്കുന്നത് AWS ആവാസവ്യവസ്ഥയ്‌ക്കുള്ളിൽ ടാസ്‌ക്കുകൾ ഓട്ടോമേറ്റ് ചെയ്യുന്നതിനുള്ള സ്കേലബിൾ, കരുത്തുറ്റ ചട്ടക്കൂട് അവതരിപ്പിക്കുന്നു. പാരാമീറ്ററുകൾ കൈമാറുന്നതിനും പിശക് അറിയിപ്പുകൾ നിയന്ത്രിക്കുന്നതിനും EventBridge-നെ പ്രയോജനപ്പെടുത്തുന്നതിലൂടെ, ഡെവലപ്പർമാർക്ക് പ്രവർത്തനപരമായ തടസ്സങ്ങൾ കുറയ്ക്കുകയും വേഗത്തിൽ പരിഹരിക്കുകയും ചെയ്യുന്ന ഒരു സുസ്ഥിരമായ അന്തരീക്ഷം സൃഷ്ടിക്കാൻ കഴിയും. ഈ സജ്ജീകരണം സ്പ്ലങ്ക് പോലുള്ള ഡാറ്റാബേസുകളിൽ നിന്നുള്ള എക്‌സ്‌ട്രാക്‌ഷൻ ടാസ്‌ക്കുകൾ ഒപ്റ്റിമൈസ് ചെയ്യുക മാത്രമല്ല, സിസ്റ്റം അഡ്മിനിസ്‌ട്രേറ്റർമാർക്ക് എന്തെങ്കിലും പ്രശ്‌നങ്ങളുണ്ടെങ്കിൽ ഉടനടി മുന്നറിയിപ്പ് നൽകുന്നുവെന്ന് ഉറപ്പാക്കുകയും ചെയ്യുന്നു, ഇത് മൊത്തത്തിലുള്ള സിസ്റ്റം വിശ്വാസ്യത വർദ്ധിപ്പിക്കുന്നു.

AWS ലാംഡ നിർവ്വഹണവും പിശക് റിപ്പോർട്ടിംഗും ഓട്ടോമേറ്റ് ചെയ്യുന്നു