à¨¦à¨¾ à¨®à¨à¨¸à¨¦ à¨à© à¨¹à© KAFKA_ADVERTISED_LISTENERS?

ਡੌਕਰ ਸੈਟਅਪ ਵਿੱਚ ਕਾਫਕਾ

Daniel Marino

ਸੋਮਵਾਰ, 9 ਦਸੰਬਰ 2024 7:56:33 ਬਾ.ਦੁ.

ਡੌਕਰਾਈਜ਼ਡ ਵਾਤਾਵਰਣ ਵਿੱਚ ਸਪਾਰਕ ਅਤੇ ਕਾਫਕਾ ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨ ਦੀਆਂ ਚੁਣੌਤੀਆਂ

ਕੀ ਤੁਸੀਂ ਏ ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਦੇ ਸਮੇਂ ਕਦੇ ਕਿਸੇ ਕਨੈਕਟੀਵਿਟੀ ਸਮੱਸਿਆ ਦਾ ਸਾਹਮਣਾ ਕੀਤਾ ਹੈ ਕਾਫਕਾ ਦਲਾਲ ਵਿੱਚ ਇੱਕ ਸਪਾਰਕ ਕਲੱਸਟਰ ਇੱਕ ਡੌਕਰ ਸੈੱਟਅੱਪ ਦੇ ਅੰਦਰ? ਤੁਸੀਂ ਇਕੱਲੇ ਨਹੀਂ ਹੋ! ਬਹੁਤ ਸਾਰੇ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇਹਨਾਂ ਦੋ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਾਧਨਾਂ ਵਿਚਕਾਰ ਸੰਚਾਰ ਸਥਾਪਤ ਕਰਨ ਵੇਲੇ ਰੁਕਾਵਟਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। 🛠️

ਹਾਲ ਹੀ ਵਿੱਚ, ਮੈਂ ਆਪਣੇ ਨੂੰ ਵਧਾਉਣ ਦੀ ਸ਼ੁਰੂਆਤ ਕੀਤੀ ਸਪਾਰਕ ਕਲੱਸਟਰ ਰੀਅਲ-ਟਾਈਮ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਸੁਚਾਰੂ ਬਣਾਉਣ ਲਈ ਕਾਫਕਾ ਬ੍ਰੋਕਰ ਨੂੰ ਜੋੜ ਕੇ। ਹਾਲਾਂਕਿ, ਮੈਂ ਲਗਾਤਾਰ ਕਨੈਕਸ਼ਨ ਟਾਈਮਆਉਟ ਅਤੇ DNS ਰੈਜ਼ੋਲੂਸ਼ਨ ਗਲਤੀਆਂ ਦੇ ਨਾਲ ਇੱਕ ਰੋਡਬੌਕ ਨੂੰ ਮਾਰਿਆ, ਜਿਸ ਨੇ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਇੱਕ ਸਮੱਸਿਆ-ਨਿਪਟਾਰਾ ਮੈਰਾਥਨ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ. 😅

ਇਹ ਮੁੱਦੇ ਡੌਕਰ ਕੰਪੋਜ਼ ਅਤੇ ਸਪਾਰਕ ਦੀਆਂ ਕਾਫਕਾ-ਸਬੰਧਤ ਸੰਰਚਨਾਵਾਂ ਵਿੱਚ ਗਲਤ ਸੰਰਚਨਾ ਕੀਤੀਆਂ ਸੈਟਿੰਗਾਂ ਤੋਂ ਪੈਦਾ ਹੋਏ ਹਨ। ਕਈ ਗਾਈਡਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਅਤੇ ਕਈ ਮਾਪਦੰਡਾਂ ਨੂੰ ਟਵੀਕ ਕਰਨ ਦੇ ਬਾਵਜੂਦ, "ਬ੍ਰੋਕਰ ਉਪਲਬਧ ਨਹੀਂ ਹੋ ਸਕਦਾ ਹੈ" ਸੁਨੇਹਾ ਜਾਰੀ ਰਿਹਾ, ਜਿਸ ਨਾਲ ਮੈਂ ਪਰੇਸ਼ਾਨ ਅਤੇ ਨਿਰਾਸ਼ ਹੋ ਗਿਆ।

ਇਸ ਲੇਖ ਵਿੱਚ, ਮੈਂ ਆਪਣਾ ਅਨੁਭਵ ਸਾਂਝਾ ਕਰਾਂਗਾ ਅਤੇ ਇੱਕ ਡੌਕਰ ਵਾਤਾਵਰਨ ਵਿੱਚ ਸਪਾਰਕ ਵਰਕਰਾਂ ਅਤੇ ਕਾਫਕਾ ਦਲਾਲਾਂ ਵਿਚਕਾਰ ਕਨੈਕਟੀਵਿਟੀ ਚੁਣੌਤੀਆਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਵਿਹਾਰਕ ਕਦਮਾਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਾਂਗਾ। ਰਸਤੇ ਵਿੱਚ, ਤੁਸੀਂ ਇਹਨਾਂ ਖਤਰਿਆਂ ਤੋਂ ਬਚਣ ਅਤੇ ਇੱਕ ਸਹਿਜ ਏਕੀਕਰਣ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਸੁਝਾਅ ਅਤੇ ਜੁਗਤਾਂ ਸਿੱਖੋਗੇ। ਆਓ ਅੰਦਰ ਡੁਬਕੀ ਕਰੀਏ! 🚀

ਹੁਕਮ	ਵਰਤੋਂ ਦੀ ਉਦਾਹਰਨ
from_json()	ਇਹ ਸਪਾਰਕ SQL ਫੰਕਸ਼ਨ ਇੱਕ JSON ਸਤਰ ਨੂੰ ਪਾਰਸ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਢਾਂਚਾਗਤ ਡੇਟਾ ਆਬਜੈਕਟ ਬਣਾਉਂਦਾ ਹੈ। ਉਦਾਹਰਨ ਵਿੱਚ, ਇਹ ਕਾਫਕਾ ਸੁਨੇਹਿਆਂ ਨੂੰ ਢਾਂਚਾਗਤ ਡੇਟਾ ਵਿੱਚ ਡੀਸੀਰੀਅਲਾਈਜ਼ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।
StructType()	ਢਾਂਚਾਗਤ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਇੱਕ ਸਕੀਮਾ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਇਹ ਖਾਸ ਤੌਰ 'ਤੇ ਕਾਫਕਾ ਸੰਦੇਸ਼ਾਂ ਦੇ ਸੰਭਾਵਿਤ ਫਾਰਮੈਟ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ ਉਪਯੋਗੀ ਹੈ।
.readStream	ਸਪਾਰਕ ਵਿੱਚ ਇੱਕ ਸਟ੍ਰੀਮਿੰਗ ਡੇਟਾਫ੍ਰੇਮ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਕਾਫਕਾ ਜਾਂ ਹੋਰ ਸਟ੍ਰੀਮਿੰਗ ਸਰੋਤਾਂ ਤੋਂ ਲਗਾਤਾਰ ਡੇਟਾ ਗ੍ਰਹਿਣ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
writeStream	ਇੱਕ ਸਪਾਰਕ ਸਟ੍ਰਕਚਰਡ ਸਟ੍ਰੀਮਿੰਗ ਪੁੱਛਗਿੱਛ ਲਈ ਆਉਟਪੁੱਟ ਮੋਡ ਅਤੇ ਸਿੰਕ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਇੱਥੇ, ਇਹ ਐਪੈਂਡ ਮੋਡ ਵਿੱਚ ਕੰਸੋਲ ਨੂੰ ਲਿਖਣਾ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ।
bootstrap_servers	ਇੱਕ ਕਾਫਕਾ ਕੌਂਫਿਗਰੇਸ਼ਨ ਪੈਰਾਮੀਟਰ ਜੋ ਕਾਫਕਾ ਬ੍ਰੋਕਰ ਦਾ ਪਤਾ ਨਿਸ਼ਚਿਤ ਕਰਦਾ ਹੈ। ਸਪਾਰਕ ਅਤੇ ਕਾਫਕਾ ਸੰਚਾਰ ਲਈ ਨਾਜ਼ੁਕ।
auto_offset_reset	ਇੱਕ ਕਾਫਕਾ ਉਪਭੋਗਤਾ ਸੈਟਿੰਗ ਜੋ ਇਹ ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ ਕਿ ਸੁਨੇਹਿਆਂ ਨੂੰ ਪੜ੍ਹਨਾ ਕਿੱਥੇ ਸ਼ੁਰੂ ਕਰਨਾ ਹੈ ਜਦੋਂ ਕੋਈ ਪੂਰਵ ਆਫਸੈੱਟ ਮੌਜੂਦ ਨਹੀਂ ਹੁੰਦਾ। "ਸਭ ਤੋਂ ਪਹਿਲਾਂ" ਵਿਕਲਪ ਸਭ ਤੋਂ ਪੁਰਾਣੇ ਸੰਦੇਸ਼ ਤੋਂ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ।
KAFKA_ADVERTISED_LISTENERS	ਇੱਕ ਡੌਕਰ ਕਾਫਕਾ ਸੰਰਚਨਾ ਵਾਤਾਵਰਣ ਵੇਰੀਏਬਲ। ਇਹ ਡੌਕਰ ਨੈੱਟਵਰਕ ਦੇ ਅੰਦਰ ਅਤੇ ਬਾਹਰ ਸਹੀ ਸੰਚਾਰ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹੋਏ, ਕਾਫਕਾ ਗਾਹਕਾਂ ਲਈ ਇਸ਼ਤਿਹਾਰੀ ਪਤੇ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ।
KAFKA_LISTENERS	ਨੈੱਟਵਰਕ ਇੰਟਰਫੇਸਾਂ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਦਾ ਹੈ ਜਿਸ 'ਤੇ ਕਾਫਕਾ ਬ੍ਰੋਕਰ ਆਉਣ ਵਾਲੇ ਕੁਨੈਕਸ਼ਨਾਂ ਲਈ ਸੁਣਦਾ ਹੈ। ਇੱਥੇ ਅੰਦਰੂਨੀ ਅਤੇ ਬਾਹਰੀ ਸੰਚਾਰ ਨੂੰ ਵੱਖ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP	ਵੱਖ-ਵੱਖ ਕਾਫਕਾ ਸਰੋਤਿਆਂ ਲਈ ਸੁਰੱਖਿਆ ਪ੍ਰੋਟੋਕੋਲ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਇਹ ਸਰੋਤਿਆਂ ਦੇ ਨਾਵਾਂ ਨੂੰ ਉਹਨਾਂ ਦੇ ਸਬੰਧਤ ਪ੍ਰੋਟੋਕੋਲ ਵਿੱਚ ਮੈਪ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਇਸ ਕੇਸ ਵਿੱਚ PLAINTEXT।
.awaitTermination()	ਇੱਕ ਸਪਾਰਕ ਸਟ੍ਰਕਚਰਡ ਸਟ੍ਰੀਮਿੰਗ ਵਿਧੀ ਜੋ ਸਕ੍ਰਿਪਟ ਦੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਨੂੰ ਰੋਕਦੀ ਹੈ ਜਦੋਂ ਤੱਕ ਸਟ੍ਰੀਮਿੰਗ ਪੁੱਛਗਿੱਛ ਨੂੰ ਖਤਮ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਸਟ੍ਰੀਮ ਲਗਾਤਾਰ ਚੱਲਦੀ ਹੈ।

ਡੌਕਰ ਵਿੱਚ ਸਪਾਰਕ ਅਤੇ ਕਾਫਕਾ ਏਕੀਕਰਣ ਨੂੰ ਸਮਝਣਾ

ਪਹਿਲੀ ਸਕ੍ਰਿਪਟ ਏ ਵਿਚਕਾਰ ਇੱਕ ਕੁਨੈਕਸ਼ਨ ਸਥਾਪਤ ਕਰਨ 'ਤੇ ਕੇਂਦ੍ਰਤ ਕਰਦੀ ਹੈ ਸਪਾਰਕ ਵਰਕਰ ਅਤੇ ਏ ਕਾਫਕਾ ਬ੍ਰੋਕਰ. ਸਪਾਰਕ ਦੇ ਸਟ੍ਰਕਚਰਡ ਸਟ੍ਰੀਮਿੰਗ API ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਸਕ੍ਰਿਪਟ ਕਾਫਕਾ ਵਿਸ਼ੇ ਤੋਂ ਅਸਲ-ਸਮੇਂ ਦੇ ਡੇਟਾ ਨੂੰ ਪੜ੍ਹਦੀ ਹੈ। ਇਹ ਇੱਕ ਸਪਾਰਕ ਸੈਸ਼ਨ ਸ਼ੁਰੂ ਕਰਨ ਅਤੇ ਲੋੜੀਂਦੇ ਕਾਫਕਾ ਪੈਕੇਜ ਨਾਲ ਸੰਰਚਿਤ ਕਰਨ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ। ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸਪਾਰਕ ਨੂੰ ਕਾਫਕਾ ਨਾਲ ਨਿਰਵਿਘਨ ਸੰਚਾਰ ਕਰਨ ਲਈ ਲੋੜੀਂਦੀ ਨਿਰਭਰਤਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਸ ਨਿਰਭਰਤਾ ਦੀ ਇੱਕ ਉਦਾਹਰਨ `org.apache.spark:spark-sql-kafka` ਪੈਕੇਜ ਹੈ, ਜੋ ਇੱਕ ਡੌਕਰ ਵਾਤਾਵਰਨ ਵਿੱਚ ਸਪਾਰਕ ਅਤੇ ਕਾਫ਼ਕਾ ਵਿਚਕਾਰ ਅਨੁਕੂਲਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ।

ਕਾਫਕਾ ਸੁਨੇਹਿਆਂ ਨੂੰ ਸੰਭਾਲਣ ਲਈ, ਸਕ੍ਰਿਪਟ `ਸਟ੍ਰਕਟ ਟਾਈਪ` ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਸਕੀਮਾ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦੀ ਹੈ। ਇਹ ਸਕੀਮਾ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਆਉਣ ਵਾਲੇ ਸੁਨੇਹਿਆਂ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਪਾਰਸ ਅਤੇ ਢਾਂਚਾ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਅਸਲ-ਸੰਸਾਰ ਦੇ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਅਕਸਰ ਕਾਫਕਾ ਤੋਂ JSON ਡੇਟਾ ਨੂੰ ਸੰਭਾਲਣਾ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਕ੍ਰਿਪਟੋਕਰੰਸੀ ਨਿਗਰਾਨੀ ਪ੍ਰਣਾਲੀ ਦੀ ਕਲਪਨਾ ਕਰੋ ਜਿੱਥੇ ਕੀਮਤ ਦੇ ਅਪਡੇਟਾਂ ਵਾਲੇ ਸੁਨੇਹੇ ਕਾਫਕਾ ਨੂੰ ਭੇਜੇ ਜਾਂਦੇ ਹਨ। ਇਹਨਾਂ ਸੁਨੇਹਿਆਂ ਨੂੰ ਇੱਕ ਪੜ੍ਹਨਯੋਗ ਫਾਰਮੈਟ ਵਿੱਚ ਪਾਰਸ ਕਰਨਾ ਰੁਝਾਨ ਦੀ ਭਵਿੱਖਬਾਣੀ ਲਈ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ। 🪙

ਡੌਕਰ ਕੰਪੋਜ਼ ਕੌਂਫਿਗਰੇਸ਼ਨ ਕਨੈਕਟੀਵਿਟੀ ਮੁੱਦਿਆਂ ਨੂੰ ਹੱਲ ਕਰਨ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਣ ਭੂਮਿਕਾ ਅਦਾ ਕਰਦੀ ਹੈ। 'KAFKA_ADVERTISED_LISTENERS' ਅਤੇ 'KAFKA_LISTENERS' ਸੈਟਿੰਗਾਂ ਨੂੰ ਡੌਕਰ ਨੈੱਟਵਰਕ ਦੇ ਅੰਦਰ ਅੰਦਰੂਨੀ ਅਤੇ ਬਾਹਰੀ ਸੰਚਾਰ ਨੂੰ ਵੱਖ ਕਰਨ ਲਈ ਐਡਜਸਟ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਇੱਕੋ ਡੌਕਰ ਨੈੱਟਵਰਕ 'ਤੇ ਚੱਲ ਰਹੀਆਂ ਸੇਵਾਵਾਂ, ਜਿਵੇਂ ਕਿ ਸਪਾਰਕ ਅਤੇ ਕਾਫਕਾ, ਬਿਨਾਂ DNS ਰੈਜ਼ੋਲੂਸ਼ਨ ਸਮੱਸਿਆਵਾਂ ਦੇ ਇੰਟਰੈਕਟ ਕਰ ਸਕਦੀਆਂ ਹਨ। ਉਦਾਹਰਨ ਲਈ, 'INSIDE://kafka:9093' ਦੀ ਮੈਪਿੰਗ ਅੰਦਰੂਨੀ ਕੰਟੇਨਰਾਂ ਨੂੰ ਕਾਫਕਾ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਜਦੋਂ ਕਿ 'OUTSIDE://localhost:9093' ਬਾਹਰੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਜਿਵੇਂ ਕਿ ਮਾਨੀਟਰਿੰਗ ਟੂਲਸ ਨੂੰ ਕਨੈਕਟ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ।

ਦੂਜੀ ਸਕ੍ਰਿਪਟ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਕਾਫਕਾ ਕਨੈਕਸ਼ਨ ਦੀ ਜਾਂਚ ਲਈ ਪਾਈਥਨ 'ਕਾਫਕਾ ਕੰਜ਼ਿਊਮਰ' ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰਨੀ ਹੈ। ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕਿ ਕਾਫਕਾ ਬ੍ਰੋਕਰ ਸਹੀ ਢੰਗ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ, ਇਹ ਇੱਕ ਸਧਾਰਨ ਪਰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਪਹੁੰਚ ਹੈ। ਨਿਰਧਾਰਤ ਵਿਸ਼ੇ ਤੋਂ ਸੁਨੇਹਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਤੁਸੀਂ ਪੁਸ਼ਟੀ ਕਰ ਸਕਦੇ ਹੋ ਕਿ ਕੀ ਡਾਟਾ ਪ੍ਰਵਾਹ ਨਿਰਵਿਘਨ ਹੈ। ਇੱਕ ਐਪਲੀਕੇਸ਼ਨ 'ਤੇ ਵਿਚਾਰ ਕਰੋ ਜਿੱਥੇ ਇੱਕ ਉਪਭੋਗਤਾ ਸਟਾਕ ਮਾਰਕੀਟ ਡੇਟਾ ਨੂੰ ਟਰੈਕ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹੈ। ਇਸ ਖਪਤਕਾਰ ਸਕ੍ਰਿਪਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਨੈਕਸ਼ਨ ਦੀ ਜਾਂਚ ਕਰਨਾ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਕੌਂਫਿਗਰੇਸ਼ਨ ਗਲਤੀਆਂ ਦੇ ਕਾਰਨ ਕੋਈ ਵੀ ਮਹੱਤਵਪੂਰਨ ਅੱਪਡੇਟ ਖੁੰਝੇ ਨਹੀਂ ਹਨ। ਇਹਨਾਂ ਸਾਧਨਾਂ ਦੇ ਨਾਲ, ਤੁਸੀਂ ਰੀਅਲ-ਟਾਈਮ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਭਰੋਸੇ ਨਾਲ ਮਜ਼ਬੂਤ ਸਿਸਟਮ ਤਾਇਨਾਤ ਕਰ ਸਕਦੇ ਹੋ! 🚀

ਸਪਾਰਕ ਵਰਕਰ ਅਤੇ ਕਾਫਕਾ ਬ੍ਰੋਕਰ ਦੇ ਵਿਚਕਾਰ ਕਨੈਕਟੀਵਿਟੀ ਮੁੱਦਿਆਂ ਨੂੰ ਸੰਭਾਲਣਾ

ਹੱਲ 1: ਸਪਾਰਕ ਅਤੇ ਕਾਫਕਾ ਵਿੱਚ ਡੌਕਰ ਨਾਲ ਡੀਬੱਗਿੰਗ ਅਤੇ ਕਨੈਕਸ਼ਨ ਮੁੱਦਿਆਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਪਾਈਥਨ ਦੀ ਵਰਤੋਂ ਕਰਨਾ

# Import necessary modules
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StringType
from pyspark.sql.functions import from_json, col
# Initialize Spark session with Kafka dependency
spark = SparkSession.builder \
    .appName("KafkaDebugReader") \
    .config("spark.jars.packages", "org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.0") \
    .getOrCreate()
# Define schema for Kafka message
schema = StructType().add("message", StringType())
# Set up Kafka source for streaming data
df = spark.readStream \
    .format("kafka") \
    .option("kafka.bootstrap.servers", "localhost:9093") \
    .option("subscribe", "crypto_topic") \
    .option("startingOffsets", "earliest") \
    .load()
# Parse Kafka message
messages = df.select(from_json(col("value").cast("string"), schema).alias("data")) \
    .select("data.message")
# Output data to console
query = messages.writeStream \
    .outputMode("append") \
    .format("console") \
    .start()
query.awaitTermination()

ਡੌਕਰਾਈਜ਼ਡ ਕਾਫਕਾ ਵਿੱਚ ਡੀਐਨਐਸ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਮੁੱਦਿਆਂ ਨੂੰ ਡੀਬੱਗ ਕਰਨਾ

ਹੱਲ 2: ਸਹੀ DNS ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਲਈ ਡੌਕਰ ਕੰਪੋਜ਼ ਕੌਂਫਿਗਰੇਸ਼ਨ ਨੂੰ ਸੋਧਣਾ

version: '3.8'
services:
  kafka:
    image: wurstmeister/kafka
    container_name: kafka
    ports:
      - "9093:9093"
    environment:
      KAFKA_ADVERTISED_LISTENERS: INSIDE://kafka:9093,OUTSIDE://localhost:9093
      KAFKA_LISTENERS: INSIDE://:9093,OUTSIDE://0.0.0.0:9093
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
    networks:
      - my_network
  zookeeper:
    image: zookeeper
    container_name: zookeeper
    ports:
      - "2181:2181"
    networks:
      - my_network
networks:
  my_network:
    driver: bridge

ਕਾਫਕਾ ਖਪਤਕਾਰ ਕਨੈਕਸ਼ਨ ਦੀ ਜਾਂਚ ਕਰ ਰਿਹਾ ਹੈ

ਹੱਲ 3: ਕਨੈਕਸ਼ਨ ਦੀ ਜਾਂਚ ਲਈ ਪਾਈਥਨ ਕਾਫਕਾ ਖਪਤਕਾਰ

# Import KafkaConsumer from Kafka library
from kafka import KafkaConsumer
# Create a Kafka Consumer instance
consumer = KafkaConsumer(
    'crypto_topic',
    bootstrap_servers='kafka:9093',
    auto_offset_reset='earliest',
    enable_auto_commit=False,
    group_id='api_data'
)
# Poll messages from Kafka topic
for message in consumer:
    print(f"Received message: {message.value.decode('utf-8')}")
# Ensure to close the consumer
consumer.close()

ਡੌਕਰਾਈਜ਼ਡ ਵਾਤਾਵਰਣ ਵਿੱਚ ਕਾਫਕਾ ਅਤੇ ਸਪਾਰਕ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ

ਵਿਚਕਾਰ ਨਿਰਵਿਘਨ ਸੰਚਾਰ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਦਾ ਇੱਕ ਨਾਜ਼ੁਕ ਪਹਿਲੂ ਕਾਫਕਾ ਦਲਾਲ ਅਤੇ ਸਪਾਰਕ ਵਰਕਰ ਡੌਕਰ ਵਿੱਚ ਨੈੱਟਵਰਕ ਸੈਟਿੰਗਾਂ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਕੌਂਫਿਗਰ ਕਰ ਰਿਹਾ ਹੈ। ਡੌਕਰ ਕੰਟੇਨਰ ਅਲੱਗ-ਥਲੱਗ ਵਾਤਾਵਰਨ ਵਿੱਚ ਕੰਮ ਕਰਦੇ ਹਨ, ਅਕਸਰ DNS ਰੈਜ਼ੋਲੂਸ਼ਨ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਕਰਦੇ ਹਨ ਜਦੋਂ ਸੇਵਾਵਾਂ ਨੂੰ ਇੰਟਰੈਕਟ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਤੁਸੀਂ ਡੌਕਰ ਕੰਪੋਜ਼ ਦੇ ਨੈਟਵਰਕ ਕੌਂਫਿਗਰੇਸ਼ਨ ਵਿਕਲਪਾਂ ਦਾ ਲਾਭ ਲੈ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਕਸਟਮ ਨੈੱਟਵਰਕ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਜਿਵੇਂ `my_network` ਅਤੇ ਸੇਵਾਵਾਂ ਨੂੰ ਲਿੰਕ ਕਰਨਾ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਕੰਟੇਨਰ ਇੱਕ ਦੂਜੇ ਨੂੰ IP ਦੀ ਬਜਾਏ ਨਾਮ ਨਾਲ ਪਛਾਣਦੇ ਹਨ, ਜੋ ਸੈੱਟਅੱਪ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ ਅਤੇ ਆਮ ਖਰਾਬੀਆਂ ਤੋਂ ਬਚਦਾ ਹੈ।

ਇਕ ਹੋਰ ਜ਼ਰੂਰੀ ਵਿਚਾਰ ਕਾਫਕਾ ਦੇ ਸਰੋਤਿਆਂ ਦੀ ਸੰਰਚਨਾ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਹੈ। ਆਪਣੀ ਡੌਕਰ ਕੰਪੋਜ਼ ਫਾਈਲ ਵਿੱਚ `KAFKA_ADVERTISED_LISTENERS` ਅਤੇ `KAFKA_LISTENERS` ਨੂੰ ਨਿਸ਼ਚਿਤ ਕਰਕੇ, ਤੁਸੀਂ ਕਾਫਕਾ ਨੂੰ ਇਸਦੇ ਗਾਹਕਾਂ ਲਈ ਢੁਕਵੇਂ ਪਤਿਆਂ ਦਾ ਇਸ਼ਤਿਹਾਰ ਦੇਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹੋ। ਅੰਦਰੂਨੀ ਅਤੇ ਬਾਹਰੀ ਸਰੋਤਿਆਂ ਵਿਚਕਾਰ ਇਹ ਅੰਤਰ ਵਿਵਾਦਾਂ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ ਜਦੋਂ ਸਪਾਰਕ ਵਰਕਰ ਡੌਕਰ ਨੈਟਵਰਕ ਦੇ ਬਾਹਰੋਂ ਜੁੜਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਨ। ਇਸਦੀ ਇੱਕ ਅਸਲ-ਜੀਵਨ ਉਦਾਹਰਨ ਇੱਕ ਨਿਗਰਾਨੀ ਡੈਸ਼ਬੋਰਡ ਹੈ ਜੋ ਇੱਕ ਹੋਸਟ ਮਸ਼ੀਨ ਤੋਂ ਕਾਫਕਾ ਡੇਟਾ ਦੀ ਪੁੱਛਗਿੱਛ ਕਰਦਾ ਹੈ, ਜਿਸਨੂੰ ਐਕਸੈਸ ਲਈ ਇੱਕ ਵੱਖਰੇ ਬਾਹਰੀ ਸਰੋਤੇ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। 🔧

ਅੰਤ ਵਿੱਚ, ਤੁਹਾਡੀਆਂ ਸਪਾਰਕ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਮਜ਼ਬੂਤ ਐਰਰ ਹੈਂਡਲਿੰਗ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਕਾਫਕਾ ਸੰਰਚਨਾ ਦੇ ਅੰਦਰ ਮੁੜ ਕੋਸ਼ਿਸ਼ਾਂ ਅਤੇ ਫਾਲਬੈਕਸ ਦਾ ਲਾਭ ਲੈਣਾ ਅਸਥਾਈ ਕਨੈਕਟੀਵਿਟੀ ਮੁੱਦਿਆਂ ਨੂੰ ਸ਼ਾਨਦਾਰ ਢੰਗ ਨਾਲ ਸੰਭਾਲ ਸਕਦਾ ਹੈ। `.option("kafka.consumer.max.poll.records", "500")` ਜੋੜਨਾ ਕੁਸ਼ਲ ਡਾਟਾ ਪ੍ਰਾਪਤੀ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ, ਭਾਵੇਂ ਭਾਰੀ ਬੋਝ ਹੇਠ ਵੀ। ਰੀਅਲ-ਟਾਈਮ ਵਿੱਚ ਸਟਾਕ ਦੀਆਂ ਕੀਮਤਾਂ ਨੂੰ ਟਰੈਕ ਕਰਨ ਵਾਲੀ ਇੱਕ ਪ੍ਰੋਡਕਸ਼ਨ-ਗ੍ਰੇਡ ਐਪਲੀਕੇਸ਼ਨ ਦੀ ਕਲਪਨਾ ਕਰੋ — ਫੇਲ-ਸੁਰੱਖਿਅਤ ਹੋਣ ਨਾਲ ਨੈੱਟਵਰਕ ਹਿਚਕੀ ਦੇ ਦੌਰਾਨ ਵੀ ਬੇਰੋਕ ਡਾਟਾ ਪ੍ਰਵਾਹ ਨੂੰ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਤਕਨੀਕਾਂ ਮਿਲ ਕੇ ਇੱਕ ਭਰੋਸੇਯੋਗ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨ ਦੀ ਰੀੜ੍ਹ ਦੀ ਹੱਡੀ ਬਣਾਉਂਦੀਆਂ ਹਨ। 🚀

ਡੌਕਰ ਵਿੱਚ ਸਪਾਰਕ ਅਤੇ ਕਾਫਕਾ ਬਾਰੇ ਆਮ ਸਵਾਲ

ਦਾ ਮਕਸਦ ਕੀ ਹੈ KAFKA_ADVERTISED_LISTENERS?
ਇਹ ਕਾਫਕਾ ਕਲਾਇੰਟਸ ਨੂੰ ਡੌਕਰ ਨੈਟਵਰਕ ਦੇ ਅੰਦਰ ਅਤੇ ਬਾਹਰ ਸਹੀ ਸੰਚਾਰ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ, ਜੁੜਨ ਲਈ ਇਸ਼ਤਿਹਾਰ ਦਿੱਤੇ ਪਤੇ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ।
ਤੁਸੀਂ ਡੌਕਰ ਕੰਪੋਜ਼ ਵਿੱਚ ਇੱਕ ਕਸਟਮ ਨੈਟਵਰਕ ਨੂੰ ਕਿਵੇਂ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦੇ ਹੋ?
ਤੁਸੀਂ ਦੇ ਅਧੀਨ ਇੱਕ ਨੈਟਵਰਕ ਜੋੜ ਸਕਦੇ ਹੋ networks ਕੁੰਜੀ ਅਤੇ ਇਸਨੂੰ ਸੇਵਾਵਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰੋ, ਜਿਵੇਂ `networks: my_network`।
ਡੌਕਰ ਕੰਟੇਨਰਾਂ ਵਿੱਚ DNS ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਅਸਫਲ ਕਿਉਂ ਹੁੰਦਾ ਹੈ?
ਕੰਟੇਨਰ ਇੱਕ ਦੂਜੇ ਨੂੰ ਨਾਮ ਦੁਆਰਾ ਨਹੀਂ ਪਛਾਣ ਸਕਦੇ ਜਦੋਂ ਤੱਕ ਉਹ ਉਸੇ ਡੌਕਰ ਨੈਟਵਰਕ ਦਾ ਹਿੱਸਾ ਨਹੀਂ ਹੁੰਦੇ, ਜੋ ਉਹਨਾਂ ਦੇ DNS ਨੂੰ ਜੋੜਦਾ ਹੈ।
ਦੀ ਭੂਮਿਕਾ ਕੀ ਹੈ .option("subscribe", "topic") ਸਪਾਰਕ ਸਟ੍ਰੀਮਿੰਗ ਵਿੱਚ?
ਇਹ ਸਪਾਰਕ ਸਟ੍ਰਕਚਰਡ ਸਟ੍ਰੀਮਿੰਗ ਡੇਟਾਫ੍ਰੇਮ ਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਡੇਟਾ ਇੰਜੈਸ਼ਨ ਲਈ ਨਿਸ਼ਚਿਤ ਕਾਫਕਾ ਵਿਸ਼ੇ ਲਈ ਸਬਸਕ੍ਰਾਈਬ ਕਰਦਾ ਹੈ।
ਕਾਫਕਾ-ਸਪਾਰਕ ਏਕੀਕਰਣ ਨੂੰ ਮੁੜ-ਪ੍ਰਾਪਤ ਕਰਨ ਨਾਲ ਕਿਵੇਂ ਸੁਧਾਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ?
ਸੰਰਚਨਾਵਾਂ ਵਿੱਚ ਮੁੜ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ max.poll.records, ਅਸਥਾਈ ਗਲਤੀਆਂ ਨੂੰ ਸੰਭਾਲਣ ਅਤੇ ਇਕਸਾਰ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰੋ।

ਸਪਾਰਕ ਅਤੇ ਕਾਫਕਾ ਏਕੀਕਰਣ ਨੂੰ ਸਰਲ ਬਣਾਉਣਾ

ਡੌਕਰ ਵਿੱਚ ਸਪਾਰਕ ਅਤੇ ਕਾਫਕਾ ਨੂੰ ਸਥਾਪਤ ਕਰਨਾ ਗੁੰਝਲਦਾਰ ਹੋ ਸਕਦਾ ਹੈ, ਪਰ ਸਹੀ ਸੰਰਚਨਾਵਾਂ ਦੇ ਨਾਲ, ਇਹ ਪ੍ਰਬੰਧਨਯੋਗ ਬਣ ਜਾਂਦਾ ਹੈ। ਕਨੈਕਟੀਵਿਟੀ ਸਮੱਸਿਆਵਾਂ ਤੋਂ ਬਚਣ ਲਈ ਲਿਸਨਰ ਸੈਟਿੰਗਾਂ ਅਤੇ ਨੈਟਵਰਕ ਕੌਂਫਿਗਰੇਸ਼ਨਾਂ 'ਤੇ ਫੋਕਸ ਕਰੋ। ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਜ਼ੂਕੀਪਰ ਅਤੇ ਕਾਫਕਾ ਵਰਗੇ ਸਾਰੇ ਹਿੱਸੇ ਅਨੁਕੂਲ ਪ੍ਰਦਰਸ਼ਨ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਿੰਕ ਕੀਤੇ ਗਏ ਹਨ।

ਅਸਲ-ਸੰਸਾਰ ਵਰਤੋਂ ਦੇ ਮਾਮਲੇ, ਜਿਵੇਂ ਕਿ ਵਿੱਤੀ ਡੇਟਾ ਜਾਂ IoT ਸਟ੍ਰੀਮ ਦੀ ਨਿਗਰਾਨੀ, ਮਜ਼ਬੂਤ ਸੰਰਚਨਾਵਾਂ ਦੀ ਮਹੱਤਤਾ ਨੂੰ ਉਜਾਗਰ ਕਰਦੇ ਹਨ। ਇੱਥੇ ਸਾਂਝੇ ਕੀਤੇ ਟੂਲ ਅਤੇ ਸਕ੍ਰਿਪਟਾਂ ਤੁਹਾਨੂੰ ਆਮ ਰੁਕਾਵਟਾਂ ਨੂੰ ਦੂਰ ਕਰਨ ਅਤੇ ਕੁਸ਼ਲ, ਰੀਅਲ-ਟਾਈਮ ਡਾਟਾ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਲਈ ਗਿਆਨ ਨਾਲ ਲੈਸ ਕਰਦੀਆਂ ਹਨ। 🛠️

ਸਰੋਤ ਅਤੇ ਹਵਾਲੇ

ਇਸ ਲੇਖ ਦੀ ਜਾਣਕਾਰੀ ਅਧਿਕਾਰੀ ਨੇ ਦਿੱਤੀ ਅਪਾਚੇ ਸਪਾਰਕ ਕਾਫਕਾ ਏਕੀਕਰਣ ਦਸਤਾਵੇਜ਼ , ਸੰਰਚਨਾ ਅਤੇ ਵਰਤੋਂ ਬਾਰੇ ਵਿਸਤ੍ਰਿਤ ਜਾਣਕਾਰੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਡੌਕਰ ਨੈਟਵਰਕਿੰਗ ਵਧੀਆ ਅਭਿਆਸਾਂ ਦਾ ਹਵਾਲਾ ਦਿੱਤਾ ਗਿਆ ਸੀ ਡੌਕਰ ਨੈੱਟਵਰਕਿੰਗ ਦਸਤਾਵੇਜ਼ ਸਹੀ ਅਤੇ ਭਰੋਸੇਮੰਦ ਕੰਟੇਨਰ ਸੰਚਾਰ ਸੈੱਟਅੱਪ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ।
ਵਿਹਾਰਕ ਉਦਾਹਰਣਾਂ ਅਤੇ ਵਾਧੂ ਕਾਫਕਾ ਸੈਟਿੰਗਾਂ ਤੋਂ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਗਿਆ ਸੀ Wurstmeister Kafka Docker GitHub ਰਿਪੋਜ਼ਟਰੀ .

ਡੌਕਰ ਸੈਟਅਪ ਵਿੱਚ ਕਾਫਕਾ ਨਾਲ ਸਪਾਰਕ ਵਰਕਰ ਕਨੈਕਸ਼ਨ ਮੁੱਦਿਆਂ ਨੂੰ ਹੱਲ ਕਰਨਾ