در این مقاله بررسی میکنیم قفل توزیعشده چگونه دسترسی همزمان پردازشهای مختلف به یک منبع مشترک را مدیریت میکند، چه زمانی استفاده از آن ضروری است و چطور میتوان با توجه به میزان حساسیت دادهها و نیازهای سیستم، راهکار مناسبی مانند قفل دیتابیس، Redis یا ZooKeeper را انتخاب و بهشکل ایمن پیادهسازی کرد.
رسیدن به یک جمعبندی درست درباره این موضوع برای من کمی زمانبر بود چون بیشتر مطالبی که درباره قفلهای توزیعشده (Distributed Locks) خواندم، از همان ابتدا به سوال اشتباهی پاسخ میدادند.
قفل توزیعشده سازوکاری است که به یکی از چندین پردازش در حال اجرا روی ماشینهای مختلف اجازه میدهد برای مدتزمانی محدود، دسترسی انحصاری به یک منبع مشترک داشته باشد.
اشتباه تقریباً تمام راهنماها در ترتیب تصمیمگیری آنهاست. معمولاً بحث را با این سوال شروع میکنند که «Redis یا ZooKeeper؟»، درحالیکه اولین سوال واقعی این است: اگر دو پردازش بهطور همزمان تصور کنند که قفل را در اختیار دارند، چه اتفاقی میافتد؟ آیا فقط بخشی از کارها بیهوده تکرار میشوند یا ممکن است دادهها واقعاً خراب شوند؟
پاسخ همین یک سوال، تقریباً تمام تصمیمهای بعدی را مشخص میکند، حتی اینکه آیا اساساً استفاده از یک قفل توزیعشده میتواند برای سناریوی شما ایمن باشد یا خیر.
بنابراین، پیش از مقایسه ابزارها، میخواهم چارچوبی برای تصمیمگیری ارائه کنم که بتوانم از آن دفاع کنم، چارچوبی که بر پایه آزمونی شکل گرفته که هر بار هنگام طراحی چنین سیستمهایی به آن برمیگردم.
چرا قفلهای توزیعشده پیچیدهتر از چیزی هستند که به نظر میرسند؟
روی یک ماشین، استفاده از Mutex ساده است. سیستمعامل و محیط اجرای زبان برنامهنویسی (Runtime) بر سر اینکه چه کسی قفل را در اختیار دارد توافق دارند و تنها تردی (Thread) که قفل را گرفته است میتواند کد محافظتشده را اجرا کند.
اما در معماری چندماشینه، نه حافظه مشترکی وجود دارد و نه ساعت مشترکی. مفهوم «چه کسی قفل را در اختیار دارد؟» به ادعایی تبدیل میشود که در نقطه دیگری از سیستم و از طریق شبکه ذخیره شده است، شبکهای که ممکن است پیامها را با تاخیر ارسال کند، آنها را از دست بدهد یا ترتیب رسیدنشان را تغییر دهد.
بخش نگرانکننده ماجرا این است که ممکن است یک پردازش تصور کند قفل را در اختیار دارد، درحالیکه پردازش دیگری نیز دقیقاً همین تصور را داشته باشد.
برای درک بهتر تفاوت همروندی (Concurrency) و پردازش موازی (Parallelism) و آشنایی با مفاهیمی مانند Thread، Mutex و Race Condition، میتوانید مقاله همروندی (Concurrency)، پردازش موازی و برنامهنویسی ناهمگام را نیز مطالعه کنید.
یک توقف ناشی از گاربیج کالکشن (Garbage Collection)، یک عملیات طولانی نوشتن روی دیسک یا اختلال در بخشی از شبکه (Network Partition) میتواند اجرای یک پردازش را برای چند ثانیه متوقف کند.
در طول این توقف، مدت اعتبار قفل (Lock Lease) ممکن است به پایان برسد و پردازش دومی قفل را دریافت کند. سپس پردازش اول دوباره از حالت توقف خارج میشود، درحالیکه همچنان تصور میکند مالک قفل است و اجرای عملیات را ادامه میدهد.
در این لحظه، دو پردازش بهصورت همزمان روی یک منبع مشترک عملیات انجام میدهند، دقیقاً همان اتفاقی که قرار بود قفل از آن جلوگیری کند.
این مسئله یک حالت استثنایی و بسیار نادر نیست. در هر سیستم پرترافیک، مسئله بیشتر به این مربوط است که چه زمانی چنین اتفاقی رخ میدهد، نه اینکه آیا اصلاً رخ خواهد داد یا خیر.
بنابراین، رویکرد مناسب برای طراحی یک قفل توزیعشده این است که از ابتدا فرض کنیم چنین لحظهای اتفاق خواهد افتاد و از خودمان بپرسیم سیستم در آن شرایط چه رفتاری خواهد داشت.
آزمون دارنده دوم (The Second-Holder Test)
آزمون دارنده دوم فقط یک سوال دارد:
تمام قفلهای توزیعشده را برای لحظهای طراحی کنید که دو پردازش همزمان تصور میکنند قفل را در اختیار دارند، سپس بررسی کنید چه اتفاقی میافتد.
اگر پاسخ صادقانه شما این باشد که «مقداری کار تکراری انجام میشود، اما هیچ آسیبی به سیستم وارد نمیشود»، با نوع خاصی از قفل سروکار دارید.
اما اگر پاسخ این باشد که «دادهها خراب میشوند، مبلغی دوبار از حساب مشتری کسر میشود یا دو نود مختلف بهعنوان Leader، وضعیتهای متناقضی را ثبت میکنند»، با نوع کاملاً متفاوتی از قفل مواجه هستید که به سازوکارهای کاملاً متفاوتی نیاز دارد.
اهمیت این آزمون از آنجا ناشی میشود که چنین خطایی معمولاً در محیط تست قابل مشاهده نیست.
روی یک لپتاپ، زمانی که هیچ توقف غیرمنتظرهای رخ نمیدهد و شبکه نیز دچار اختلال نمیشود، یک پیادهسازی ساده و ابتدایی از قفل ممکن است کاملاً بینقص به نظر برسد.
اما این پیادهسازی ممکن است تنها در محیط Production، زیر بار واقعی سیستم و حتی چند ماه بعد دچار مشکل شود.
نکته جالب اینجاست که گزارش حادثه معمولاً نمیگوید «قفل از کار افتاد»، بلکه میگوید «مبلغ دو بار از مشتری دریافت شد».
آزمون دارنده دوم باعث میشود از همان ابتدای طراحی، چنین سناریویی را در نظر بگیریم.
تمام مطالب بعدی بر اساس همین آزمون شکل میگیرند. این آزمون قفلها را به دو دسته تقسیم میکند:
- قفلهای کارایی (Efficiency Locks)
- قفلهای تضمین صحت (Correctness Locks)
هرکدام از این دو دسته، الزامات متفاوتی برای محل نگهداری قفل و نیاز به استفاده از توکن حصارگذاری (Fencing Token) دارند.
اصطلاح فنی
توکن حصارگذاری (Fencing Token) یک شناسه عددی با مقدار افزایشی است که سرویس مدیریت قفل هنگام واگذاری قفل به هر پردازش صادر میکند. پردازش باید این توکن را همراه هر درخواست نوشتن به منبع محافظتشده ارسال کند. منبع نیز با بررسی توکن، درخواستهایی را که دارای توکن قدیمیتر از آخرین توکن پذیرفتهشده هستند، رد میکند. به این ترتیب، پردازشی که پس از انقضای قفل دوباره فعال میشود، نمیتواند با توکن قدیمی خود تغییرات جدیدتر را بازنویسی کند.
آیا واقعاً به یک قفل توزیعشده نیاز دارید؟
پیش از انتخاب یک قفل توزیعشده، ابتدا بررسی کنید که آیا اصلاً به قفل نیاز دارید یا خیر.
قفل بهصورت ذاتی یک گلوگاه برای اجرای سریالی عملیات (Serialization Bottleneck) ایجاد میکند، زیرا هدف آن جلوگیری از اجرای همزمان عملیات است.
به همین دلیل، بهترین قفل توزیعشده در بسیاری از مواقع، قفلی است که اصلاً نیازی به استفاده از آن نداشته باشید.
سه الگوی طراحی وجود دارند که میتوانند این نیاز را بهطور کامل برطرف کنند.
۱. عملیات را Idempotent طراحی کنید
اگر اجرای یک عملیات برای بار دوم دقیقاً همان نتیجه اجرای بار اول را ایجاد کند، دیگر نیازی ندارید که از اجرای مجدد آن جلوگیری کنید، بلکه باید کاری کنید که اجرای مجدد عملیات هیچ اثر مخربی نداشته باشد.
برای مثال، استفاده از یک کلید Idempotency در عملیات پرداخت یا پردازش Webhook باعث میشود مسئله «این عملیات باید دقیقاً یک بار اجرا شود» به مسئله سادهتر «اجرای چندباره این عملیات باید ایمن باشد» تبدیل شود.
تضمین اجرای ایمن چندباره یک عملیات در میان ماشینهای مختلف، بسیار سادهتر از تضمین اجرای دقیقاً یکباره آن است.
۲. عملیات را از طریق یک مالک واحد سریالی کنید
اگر تمام عملیات مربوط به یک کلید مشخص، به یک Partition، یک Consumer یا یک Shard هدایت شوند، همان مالک واحد نقش سازوکار انحصار متقابل (Mutual Exclusion) را ایفا میکند و دیگر به قفل خارجی نیاز نخواهید داشت.
به همین دلیل است که استفاده از یک صف پیام پارتیشنبندیشده، با اختصاص یک Consumer به هر Partition، بسیاری از مشکلات مربوط به قفلگذاری را از بین میبرد.
در چنین ساختاری، ترتیب اجرای عملیات و انحصاری بودن پردازش بهصورت طبیعی از طریق پارتیشنبندی فراهم میشود.
۳. از همزمانی خوشبینانه (Optimistic Concurrency) استفاده کنید
بهجای اینکه پیش از دسترسی به یک رکورد، آن را قفل کنید، میتوانید ابتدا شماره نسخه (Version Number) آن را بخوانید، عملیات موردنظر را انجام دهید و سپس فقط در صورتی نتیجه را ذخیره کنید که نسخه رکورد همچنان بدون تغییر باقی مانده باشد.
اگر میخواهید تفاوت قفلگذاری خوشبینانه و بدبینانه (Optimistic vs. Pessimistic Locking) و معیارهای انتخاب میان آنها را با مثالهای عملی در دیتابیس بررسی کنید، مقاله چه زمانی از Optimistic Locking و چه زمانی از Pessimistic Locking استفاده کنیم؟ را مطالعه کنید.
قفل خوشبینانه خارج از تراکنش (Optimistic Offline Lock)
یکی از الگوهای مرتبط با همزمانی خوشبینانه، Optimistic Offline Lock است. این الگو زمانی کاربرد دارد که یک عملیات تجاری (Business Transaction) در چند تراکنش سیستمی جداگانه اجرا میشود و نمیتوان تمام مراحل آن را در محدوده یک تراکنش دیتابیس نگه داشت. در چنین شرایطی، اتکا به مکانیزمهای معمول دیتابیس برای جلوگیری از تعارض کافی نیست و ممکن است دو سشن (Session) بهصورت همزمان اطلاعات یکسانی را بخوانند و تغییر دهند. نتیجه این اتفاق میتواند از دست رفتن بهروزرسانیها (Lost Updates) یا مشاهده دادههای ناسازگار باشد.
در الگوی Optimistic Offline Lock، بهجای قفل کردن منبع در تمام مدت اجرای عملیات، پیش از ثبت نهایی تغییرات، اعتبار آنها بررسی میشود تا مشخص شود آیا سشن دیگری در این فاصله اطلاعات را تغییر داده است یا خیر. اگر تعارضی وجود نداشته باشد، تغییرات ثبت میشوند و اگر تعارض شناسایی شود، تراکنش باید بازگردانی (Rollback) شود. نکته مهم این است که اعتبارسنجی و ثبت نهایی تغییرات باید در یک تراکنش سیستمی واحد انجام شوند تا بین بررسی و ثبت اطلاعات، فرصت ایجاد تعارض جدید به وجود نیاید. این رویکرد با فرض پایین بودن احتمال تعارض، اجازه میدهد چند کاربر بهصورت همزمان روی دادههای یکسان کار کنند، بدون اینکه از ابتدا دسترسی آنها محدود شود.
این الگو در کتاب Patterns of Enterprise Application Architecture معرفی شده است. برای مطالعه توضیحات مرجع آن میتوانید مدخل Optimistic Offline Lock در وبسایت Martin Fowler را نیز ببینید.
اگر هیچکدام از این روشها برای سناریوی شما مناسب نیستند، یعنی عملیات واقعاً باید فقط یک بار انجام شود، با منبعی سروکار دارید که امکان پارتیشنبندی آن وجود ندارد و نمیتوانید تعارضها را پس از وقوع شناسایی کنید، در این صورت به قفل نیاز خواهید داشت.
از اینجا تصمیمگیریهای اصلی آغاز میشوند.
قفل کارایی یا قفل تضمین صحت، اگر دو پردازش قفل را در اختیار داشته باشند چه چیزی خراب میشود؟
این همان آزمون دارنده دوم است که در این بخش به کار گرفته میشود و مهمترین تصمیم در کل فرآیند طراحی قفل توزیعشده محسوب میشود.
این تمایز در مقالهای که مارتین کلپمن (Martin Kleppmann) در سال ۲۰۱۶ با عنوان How to do distributed locking منتشر کرد، بهروشنی مطرح شده است. او در این تحلیل، قفلهای توزیعشده را بر اساس هدف استفاده از آنها به دو دسته قفلهای کارایی (Efficiency Locks) و قفلهای تضمین صحت (Correctness Locks) تقسیم میکند. کلپمن همچنین اشاره میکند که مباحث مرتبط با این موضوع را با جزئیات بیشتری در فصلهای ۸ و ۹ کتاب Designing Data-Intensive Applications بررسی کرده است.
اگر میخواهید با مبانی طراحی سیستمهای دادهمحور، معماری سیستمهای توزیعشده، رپلیکیشن (Replication)، پارتیشنینگ (Partitioning)، مدیریت تراکنشها و Consensus عمیقتر آشنا شوید، میتوانید دوره طراحی اپلیکیشنهای دادهمحور را دنبال کنید. این دوره بر اساس کتاب Designing Data-Intensive Applications تهیه شده و مفاهیم بنیادین طراحی سیستمهای دادهمحور را بهصورت مرحلهبهمرحله آموزش میدهد.
قفل کارایی (Efficiency Lock)
هدف از قفل کارایی، جلوگیری از انجام دوباره یک کار مشابه است.
اگر دو پردازش بهصورت همزمان اجرا شوند، تنها هزینهای که متحمل میشوید، هدررفت منابع خواهد بود.
برای مثال:
- یک گزارش دو بار تولید میشود.
- یک Cache دو بار گرم میشود.
- یک ایمیل ممکن است دو بار در آستانه ارسال قرار بگیرد، البته مسیر ارسال ایمیل همچنان باید سازوکار جلوگیری از تکرار (Deduplication) داشته باشد.
-
یکی از کاربردهای عملی قفلهای کارایی، جلوگیری از بازسازی همزمان دادههای کش پس از انقضای آن است. برای آشنایی با این سناریو و روشهایی مانند Cache Locking، پریلودینگ (Preloading) و Background Refresh، مقاله روشهای جلوگیری از Cache Stampede همراه با مثال را مطالعه کنید.
انجام گاهبهگاه یک کار بهصورت تکراری آزاردهنده است، اما خطرناک نیست.
برای قفل کارایی، یک قفل مبتنی بر مدت اعتبار (Lease) ساده کافی است و میتوانید احتمال اندکی از شکست موقت قفل را تحمل کنید.
قفل تضمین صحت (Correctness Lock)
هدف از قفل تضمین صحت، جلوگیری از آسیبهایی است که قابل بازگردانی نیستند.
اگر دو پردازش بهصورت همزمان اجرا شوند، ممکن است اتفاقات زیر رخ دهند:
- مبلغی دو بار از حساب مشتری کسر شود.
- دو نود، رکوردهای متناقضی را در سیستم ثبت کنند.
- یک فایل به دلیل نوشتن همزمان و درهمتنیده اطلاعات خراب شود.
- دو نود مختلف بهعنوان Leader فرمانهای متناقضی صادر کنند.
در چنین شرایطی، قفلی که فقط در بیشتر مواقع درست عمل میکند، عملاً بیارزش است، زیرا همان یک باری که شکست میخورد، دقیقاً همان باری است که اهمیت دارد.
دلیل اینکه این تفکیک باید در ابتدای فرآیند تصمیمگیری انجام شود، نه در انتهای آن، این است که یک قفل تضمین صحت را نمیتوان صرفاً با خود قفل ایمن کرد، فرقی هم نمیکند از چه ابزاری استفاده کنید.
این ادعا بسیار مهم است. بنابراین اجازه دهید توضیح دهم چرا چنین محدودیتی وجود دارد و چه راهکاری برای برطرف کردن آن در دسترس است.
چرا یک قفل توزیعشده بهتنهایی نمیتواند انحصار متقابل را تضمین کند؟
یک قفل توزیعشده بهتنهایی نمیتواند تضمین کند که فقط یک پردازش روی منبع موردنظر عملیات انجام میدهد.
سرویس مدیریت قفل میتواند به شما اعلام کند که قفل را با موفقیت دریافت کردهاید، اما نمیتواند مانع از این شود که بلافاصله پس از دریافت قفل، پردازش شما برای مدتی طولانی متوقف شود، بهاندازهای که مدت اعتبار قفل به پایان برسد و پردازش دیگری آن را دریافت کند.
سرویس قفل از عملیاتی که شما روی منبع مشترک انجام میدهید اطلاعی ندارد و خود منبع نیز از وضعیت قفل آگاه نیست.
بیایید این اتفاق را مرحلهبهمرحله بررسی کنیم.
پردازش A قفل را با مدت اعتبار ۳۰ ثانیه دریافت میکند.
سپس پردازش A وارد یک توقف ناشی از Garbage Collection به مدت ۴۰ ثانیه میشود. این اتفاق در Heapهای بزرگ چندان غیرواقعی نیست.
در ثانیه ۳۰، مدت اعتبار قفل به پایان میرسد و سرویس قفل آن را به پردازش B واگذار میکند.
پردازش B عملیات خود را روی منبع مشترک انجام میدهد.
در ثانیه ۴۰، پردازش A دوباره فعال میشود. این پردازش همچنان تصور میکند که مالک قفل است و عملیات نوشتن روی همان منبع را ادامه میدهد.
نتیجه چیست؟
اکنون دو پردازش مختلف در حال نوشتن اطلاعات روی یک منبع مشترک هستند.
هیچکدام از ابزارهای مدیریت قفل نمیتوانند این مشکل را در لایه خود قفل برطرف کنند، زیرا توقف پردازش پس از بررسی اولیه اتفاق افتاده و سرویس قفل نیز پس از آن دوباره بررسی نشده است.
انحراف ساعتها (Clock Skew) مشکل را پیچیدهتر میکند
Redlock، الگوریتم قفل توزیعشده مبتنی بر چند نود Redis، پیش و پس از دریافت قفل، ساعت را بررسی میکند تا مشخص شود چه مقدار از مدت اعتبار قفل باقی مانده است.
این روش در برابر برخی تاخیرها از سیستم محافظت میکند، اما به یک فرض مهم وابسته است: ساعت تمام نودها باید تقریباً با نرخ یکسانی به جلو حرکت کند.
پرش ناگهانی ساعت، برای مثال به دلیل تغییر ساعت توسط NTP یا مهاجرت یک ماشین مجازی (VM Migration)، میتواند این فرض را نقض کند.
Antirez، توسعهدهنده اصلی Redis و خالق Redlock، از این الگوریتم دفاع میکند و استدلالش این است که بررسی زمان پس از دریافت قفل میتواند بیشتر تاخیرها را شناسایی کند.
بااینحال، نکته کلپمن همچنان پابرجاست، زیرا توقف پردازش ممکن است دقیقاً بین آخرین بررسی وضعیت قفل و عملیات نوشتن روی منبع اتفاق بیفتد.
برای یک قفل کارایی، این مسئله قابلقبول است، اما برای یک قفل تضمین صحت، قابلقبول نیست.
توکن حصارگذاری (Fencing Token) چیست و چه زمانی به آن نیاز داریم؟
توکن حصارگذاری عددی است که سرویس مدیریت قفل هنگام واگذاری قفل در اختیار پردازش قرار میدهد.
این عدد باید با هر بار واگذاری قفل، بهصورت کاملاً صعودی افزایش پیدا کند.
منبعی که قرار است از آن محافظت شود، این توکن را بررسی میکند و هر پردازشی را که توکن قدیمیتری دارد، از انجام عملیات منع میکند.
به این ترتیب، تصمیم نهایی درباره صحت عملیات از لایه قفل، که امکان مشاهده عملیات نوشتن را ندارد، به خود منبع منتقل میشود، زیرا منبع دقیقاً میداند چه اطلاعاتی روی آن نوشته شده است.
سازوکار توکن حصارگذاری چگونه کار میکند؟
فرض کنید هر بار که قفل به یک پردازش واگذار میشود، سرویس مدیریت قفل یک توکن جدید تولید میکند:
- اولین پردازش: توکن ۳۳
- دومین پردازش: توکن ۳۴
- سومین پردازش: توکن ۳۵
هر توکن باید از توکن قبلی بزرگتر باشد.
پردازشی که قفل را در اختیار دارد، باید توکن خود را همراه تمام عملیات نوشتن روی منبع ارسال کند.
منبع نیز بالاترین توکنی را که تاکنون پذیرفته است ذخیره میکند و هر درخواستی را که توکن آن کوچکتر از مقدار ذخیرهشده باشد، رد میکند.
حالا به مثال توقف Garbage Collection برگردیم.
پردازش B توکن ۳۴ را دریافت کرده و عملیات نوشتن خود را انجام داده است.
وقتی پردازش A دوباره فعال میشود، همچنان توکن ۳۳ را در اختیار دارد و تلاش میکند اطلاعات را بنویسد.
اما منبع مشترک مقدار توکن را بررسی میکند:
۳۳ < ۳۴
بنابراین درخواست پردازش A رد میشود.
در این حالت، پردازشی که با توکن قدیمی فعالیت میکند، از ادامه کار بازداشته میشود، این کار را خود منبع انجام میدهد، نه سرویس قفل.
نمونه پیادهسازی با SQL
در مثال زیر، منبع با استفاده از یک عملیات نوشتن شرطی (Conditional Write)، از پذیرش درخواستهایی با توکن قدیمی جلوگیری میکند:
-- منبع با استفاده از نوشتن شرطی، توکن قدیمی را رد میکند.
UPDATE account
SET balance = balance - 100,
fence_token = :my_token
WHERE id = :account_id
AND fence_token <= :my_token;
-- اگر هیچ ردیفی بهروزرسانی نشد،
-- ممکن است حساب وجود نداشته باشد
-- یا توکن ارسالی قدیمیتر از آخرین توکن ثبتشده باشد.
این ایده جدیدی نیست.
سرویس قفل Chubby گوگل که بسیاری از مفاهیم این حوزه از آن الهام گرفته شدهاند، از همین ایده با نام «Sequencer» استفاده میکند.
اما این راهکار یک شرط مهم دارد: منبع باید قابلیت بررسی توکن را داشته باشد.
برای مثال:
- یک ردیف در دیتابیس میتواند توکن را بررسی کند.
- یک عملیات نوشتن شرطی در آبجکت استوریج (Object Storage) میتواند توکن را بررسی کند.
- اما یک File Share ساده، یک API متعلق به شخص ثالث که از Idempotency Key پشتیبانی نمیکند یا یک دستگاه فیزیکی، معمولاً چنین قابلیتی ندارند.
اگر منبع نتواند توکن را بررسی کند، هیچ قفل توزیعشدهای بهتنهایی نمیتواند عملیات نوشتن روی آن منبع را ایمن کند.
در چنین شرایطی فقط دو انتخاب دارید:
۱. یک لایه واسط در مقابل منبع قرار دهید که قابلیت بررسی توکن را داشته باشد.
۲. بپذیرید که قفل شما صرفاً یک قفل کارایی است و سایر بخشهای سیستم را بهگونهای طراحی کنید که بتوانند عملیات تکراری را تحمل کنند.
بنابراین، مسئله توکن حصارگذاری دوباره ما را به آزمون دارنده دوم برمیگرداند:
قفلهای تضمین صحت به توکن حصارگذاری یا نوعی سازوکار معادل برای نوشتن شرطی نیاز دارند.
در عمل، همین نیاز، نه نام یا برند سرویس مدیریت قفل، مهمترین عامل تعیینکننده در طراحی سیستم است.
قفل را کجا نگهداری کنیم؟ دیتابیس، ردیس یا یک مخزن مبتنی بر اجماع (consensus store)؟
تنها زمانی که میزان حساسیت و پیامدهای شکست قفل را مشخص کردید، انتخاب محل نگهداری آن اهمیت پیدا میکند.
برای نگهداری یک قفل توزیعشده، سه گزینه عملی وجود دارد و انتخاب مناسب معمولاً به زیرساختی که از قبل در اختیار دارید و همچنین نیاز شما به صحت مبتنی بر خطیپذیری (Linearizability) بستگی دارد.
۱. قفل Advisory در دیتابیس
قفل Advisory در همان دیتابیس رابطهای (Relational Database) قرار میگیرد که از قبل در سیستم خود استفاده میکنید.
در PostgreSQL (نسخه ۱۸ بهعنوان نسخه اصلی فعلی در اکتبر ۲۰۲۶)، تابع pg_advisory_lock(key) یک قفل در سطح نشست (Session-Level Lock) روی یک کلید دلخواه ۶۴ بیتی ایجاد میکند.
برای این کار نیازی به جدول یا ردیف مشخصی ندارید، فقط یک قفل نامگذاریشده ایجاد میکنید که مدیریت آن بر عهده دیتابیس است.
تابع pg_try_advisory_lock(key) نسخه غیرمسدودکننده این قفل است.
همچنین تابع pg_advisory_xact_lock(key) قفل را به تراکنش متصل میکند، در نتیجه، پس از Commit یا Rollback، قفل بهصورت خودکار آزاد میشود.
نمونه استفاده:
-- دریافت قفل بدون مسدود شدن پردازش
-- در صورت دریافت موفق، مقدار true و در غیر این صورت false برمیگردد.
SELECT pg_try_advisory_lock(42);
-- اجرای عملیات محافظتشده
SELECT pg_advisory_unlock(42);
-- قفلهای سطح نشست باید بهصورت صریح آزاد شوند.
مزیت اصلی این روش آن است که به زیرساخت جدیدی نیاز ندارید و از قابلیت خطیپذیری تکنودی دیتابیس بهره میبرید.
بااینحال، چند نکته مهم وجود دارد.
اول اینکه واژه Advisory به این معناست که قفل بر اساس همکاری بخشهای مختلف سیستم عمل میکند. یعنی اگر بخشی از کد قفل را نادیده بگیرد، هیچ چیزی مانع اجرای عملیات آن نخواهد شد.
نکته دوم مربوط به قفلهای سطح نشست است.
این قفلها در Poolerهایی که از روش تجمیع اتصال در سطح تراکنش (Transaction Pooling) استفاده میکنند، مانند PgBouncer در حالت Transaction، میتوانند مشکلساز شوند.
دلیل این موضوع آن است که طول عمر قفل از طول عمر یک دستور SQL بیشتر است، درحالیکه اتصال دیتابیس ممکن است پس از پایان دستور به پردازش دیگری اختصاص داده شود.
در چنین شرایطی ممکن است قفل در اتصال باقی بماند، درحالیکه پردازشی که آن را دریافت کرده است دیگر به همان اتصال دسترسی ندارد.
اگر از Connection Pooler استفاده میکنید، بهتر است از نسخه محدود به تراکنش یعنی pg_advisory_xact_lock استفاده کنید.
همچنین برای بررسی وضعیت این قفلها میتوانید از جدول سیستمی pg_locks با شرط زیر استفاده کنید:
WHERE locktype = 'advisory'
۲. قفل مبتنی بر Lease در ردیس
ردیس گزینهای سریع و خارجی برای پیادهسازی قفل توزیعشده است.
الگوی پیشنهادی برای استفاده از یک نمونه ردیس در مستندات رسمی آن به شکل زیر است:
SET resource:lock <random-token> NX PX 30000
در این دستور:
resource:lock: نام کلیدی است که برای قفل استفاده میشود.NX: باعث میشود کلید فقط در صورتی تنظیم شود که از قبل وجود نداشته باشد.PX 30000: مدت اعتبار قفل را ۳۰ هزار میلیثانیه، معادل ۳۰ ثانیه، تعیین میکند.random-token: یک توکن تصادفی است که باعث میشود فقط مالک واقعی قفل بتواند آن را آزاد کند.
برای آزادسازی قفل باید از یک اسکریپت Lua استفاده کنید و هرگز نباید صرفاً دستور DEL را اجرا کنید.
نمونه اسکریپت:
-- بررسی مالکیت قفل و حذف آن
-- فقط مالک واقعی قفل اجازه آزادسازی دارد.
if redis.call("get", KEYS[1]) == ARGV[1] then
return redis.call("del", KEYS[1])
else
return 0
end
این اسکریپت ابتدا توکن ذخیرهشده در Redis را با توکن پردازشی که قصد آزادسازی قفل را دارد مقایسه میکند.
اگر دو مقدار برابر باشند، قفل حذف میشود، در غیر این صورت، هیچ تغییری انجام نمیشود.
Redis برای قفلهای کارایی بسیار مناسب است و اگر از قبل در زیرساخت خود ردیس را اجرا میکنید، هزینه اضافه چندانی برای شما نخواهد داشت.
نسخه Redis Open Source 8.8 در سپتامبر ۲۰۲۶ بهعنوان نسخه پایدار فعلی معرفی شده است.
برای دسترسپذیری بالاتر در میان چند نود ردیس، الگوریتم Redlock نیز وجود دارد.
این الگوریتم تلاش میکند قفل را در یک اکثریت از N سرور مستقل ردیس (معمولاً پنج سرور) و در محدوده زمانی اعتبار قفل دریافت کند.
Redlock دسترسپذیری را افزایش میدهد، اما بهخودیخود توکن حصارگذاری موردنیاز یک قفل تضمین صحت را فراهم نمیکند.
۳. مخزن مبتنی بر اجماع (Consensus Store)
ابزارهایی مانند etcd و ZooKeeper گزینههایی هستند که برای سناریوهای حساس به صحت دادهها طراحی شدهاند.
etcd
نسخه ۳.۶ در اکتبر ۲۰۲۶ نسخه فعلی etcd محسوب میشود و نسخه ۳.۵ نیز همچنان پشتیبانی میشود.
etcd یک پکیج Concurrency در اختیار توسعهدهندگان قرار میدهد که امکانات زیر را فراهم میکند:
- یک Session متصل به Lease
- یک Mutex روی پیشوند مشخصی از کلیدها (Key Prefix)
- آزادسازی خودکار قفل پس از پایان اعتبار Lease
ZooKeeper
الگوی کلاسیک پیادهسازی قفل در ZooKeeper بر اساس ایجاد یک Znode موقت و ترتیبی (Ephemeral Sequential Znode) در زیر یک نود مخصوص قفل انجام میشود.
در این ساختار، کلاینتی که کمترین شماره ترتیبی را دارد، مالک قفل خواهد بود.
سایر کلاینتهایی که منتظر دریافت قفل هستند، فقط نود بعدی در صف را زیر نظر میگیرند.
این کار باعث میشود از پدیده هجوم همزمان درخواستها (Thundering Herd) جلوگیری شود، یعنی زمانی که تعداد زیادی از کلاینتها بهطور همزمان و پس از آزاد شدن یک قفل، برای دریافت آن تلاش میکنند.
کتابخانه Apache Curator نیز کلاس InterProcessMutex را ارائه میدهد که این سازوکار را بهصورت آماده پیادهسازی میکند و دیگر نیازی نیست آن را از ابتدا بنویسید.
اما دلیل واقعی استفاده از یک مخزن مبتنی بر اجماع، صرفاً خود قفل نیست، بلکه توکن حصارگذاریای است که بهصورت طبیعی در اختیار شما قرار میگیرد.
کلیدهای etcd دارای یک شماره Revision هستند که بهصورت یکنواخت افزایش پیدا میکند.
شماره ترتیبی در ZooKeeper نیز همین نقش را ایفا میکند.
هر دو ابزار از طریق الگوریتمهای Raft یا ZAB، خطیپذیری را فراهم میکنند، بنابراین ترتیب توکنها در سراسر سیستم مورد توافق قرار میگیرد.
البته این قابلیت هزینه دارد.
شما باید یک کلاستر مبتنی بر Quorum، معمولاً با سه یا پنج نود، راهاندازی کنید و پیچیدگی عملیاتی مربوط به نگهداری چنین زیرساختی را نیز بپذیرید.
چارچوب تصمیمگیری برای انتخاب قفل، بهترتیب
با کنار هم قرار دادن تمام مطالب، میتوان فرآیند تصمیمگیری را در قالب چهار سوال مشخص و با ترتیب ثابت خلاصه کرد.
ترتیب این سوالها اهمیت زیادی دارد، زیرا بیشتر راهنماها در همان ابتدا به آخرین سوال پاسخ میدهند.
مرحله اول: نیاز (Need)
آیا میتوان با استفاده از Idempotency، یک مالک واحد یا Optimistic Concurrency، نیاز به قفل را بهطور کامل از بین برد؟
اگر پاسخ مثبت است، دیگر نیازی به ادامه این فرآیند ندارید.
مرحله دوم: میزان حساسیت (Stakes)
آزمون دارنده دوم را اجرا کنید.
اگر دو پردازش بهطور همزمان قفل را در اختیار داشته باشند، فقط مقداری کار تکراری انجام میشود یا احتمال خراب شدن دادهها وجود دارد؟
پاسخ این سوال مشخص میکند که به چه میزان از سازوکارهای حفاظتی نیاز دارید.
مرحله سوم: محل نگهداری قفل (Store)
یک قفل کارایی را میتوانید در هر زیرساخت مناسبی نگهداری کنید.
معمولاً ردیس انتخاب مناسبی است، البته اگر دیتابیس از قبل در مسیر اجرای عملیات قرار دارد، قفل Advisory دیتابیس نیز گزینه مناسبی خواهد بود.
اما یک قفل تضمین صحت به واگذاری قفل با قابلیت خطیپذیری نیاز دارد. این موضوع معمولاً شما را به سمت یک مخزن مبتنی بر اجماع یا قفل دیتابیس تکنودی هدایت میکند.
اصطلاح فنی
قفل Advisory نوعی قفل مدیریتی در دیتابیس است که برخلاف قفلهای معمول ردیف و جدول، بر اساس همکاری بخشهای مختلف برنامه عمل میکند. دیتابیس این قفل را مدیریت میکند، اما فقط بخشهایی از برنامه که برای دریافت آن اقدام کردهاند، ملزم به رعایت آن هستند. بنابراین، اجرای عملیاتی که این قفل را نادیده بگیرد، همچنان امکانپذیر است.
مرحله چهارم: توکن حصارگذاری (Fencing Token)
برای یک قفل تضمین صحت، آیا منبع میتواند پردازشی را که با یک توکن قدیمی فعالیت میکند، از طریق Fencing Token یا یک عملیات نوشتن شرطی رد کند؟
اگر پاسخ مثبت باشد، میتوانید یک قفل تضمین صحت ایمن داشته باشید.
اما اگر منبع چنین قابلیتی نداشته باشد، خود قفل نمیتواند ایمنی عملیات را تضمین کند. در این حالت باید سازوکار تضمین صحت را به داخل منبع منتقل کنید یا بپذیرید که قفل شما صرفاً یک قفل کارایی است.
مقایسه سه راهکار اصلی
در جدول زیر، سه گزینه اصلی را بر اساس ویژگیهایی که واقعاً در انتخاب آنها تفاوت ایجاد میکنند، مقایسه میکنیم:
| معیار | قفل Advisory دیتابیس | قفل Lease در Redis | مخزن اجماع (etcd / ZooKeeper) |
|---|---|---|---|
| زیرساخت موردنیاز | دیتابیس موجود | Redis | کلاستر اجماع |
| سرعت و سربار عملیاتی | کم | کم | بیشتر |
| خطیپذیری | در یک نمونه دیتابیس | وابسته به معماری و الگوریتم | بله |
| آزادسازی خودکار | وابسته به نوع قفل و نشست | با پایان Lease | با پایان Lease یا Session |
| توکن حصارگذاری آماده | خیر | خیر | بله |
| کاربرد مناسب | قفلهای ساده و کارایی | قفلهای کارایی | سناریوهای حساس به صحت |
نکتهای که از این مقایسه مشخص میشود این است که مهمترین تفاوت این ابزارها از نظر ایمنی، در قابلیت ارائه توکن حصارگذاری قرار دارد، دقیقاً همان معیاری که آزمون دارنده دوم ما را به سمت آن هدایت کرد.
مصالحهها و محدودیتها: قفل توزیعشده چه مشکلاتی را همچنان حل نمیکند؟
توکن حصارگذاری باعث نمیشود دسترسی همزمان چند پردازش به منبع مشترک بدون هزینه باشد، بلکه با رد کردن درخواست پردازش بازنده، این دسترسی را ایمن میکند.
اگر دو پردازش بهطور مکرر برای دسترسی به یک منبع رقابت کنند، همچنان هزینه پردازشهای ردشده و اجرای مجدد عملیات را پرداخت خواهید کرد.
قفلگذاری مداوم و پرتکرار معمولاً نشانهای از وجود یک مشکل در طراحی سیستم است.
در بسیاری از موارد، بهتر است منبع را به چند بخش تقسیم کنید تا عملیات مجبور نباشد از طریق یک قفل واحد بهصورت سریالی اجرا شود.
آزادسازی خودکار قفل، یک چالش واقعی
آزادسازی خودکار قفل (Auto-Release) یک مسئله مهم طراحی است، نه صرفاً تنظیمی که بتوانید یک بار مقدار مناسبی برای آن انتخاب کنید و دیگر نگرانش نباشید.
اگر مدت اعتبار قفل کوتاه باشد، پس از Crash شدن یک پردازش، قفل سریعتر آزاد میشود، اما در مقابل، احتمال دارد در زمان یک توقف طولانی ولی طبیعی پردازش، اعتبار آن به پایان برسد و سناریوی وجود دو دارنده قفل بیشتر اتفاق بیفتد.
اگر مدت اعتبار قفل طولانی باشد، احتمال انقضای زودهنگام آن در زمان توقفهای پردازش کاهش پیدا میکند، اما در صورت وقوع یک Crash واقعی، منبع ممکن است برای مدت طولانیتری در وضعیت قفل باقی بماند.
هیچ مقدار ثابتی برای تمام سیستمها مناسب نیست.
مدت اعتبار قفل را باید بر اساس زمان واقعی توقف پردازشها و زمان بازیابی سیستم پس از Crash انتخاب کنید.
همچنین باید از توکن حصارگذاری استفاده کنید تا اگر اعتبار قفل زودتر از زمان مورد انتظار به پایان رسید، این اتفاق در سطح منبع شناسایی شود و به خراب شدن دادهها منجر نشود.
بررسی DynamoDB Lock Client
در نهایت، کتابخانه DynamoDB Lock Client نمونه خوبی برای درک تفاوت میان یک قفل خوشساخت و یک قفل تضمین صحت واقعی است.
این کتابخانه پیادهسازی قدرتمندی دارد و از امکانات زیر استفاده میکند:
- عملیات نوشتن شرطی (Conditional Writes)
- یک Lease با مدت اعتبار ۱۰ ثانیه در مثال AWS
- Heartbeat با فاصله زمانی هر ۳ ثانیه
- یک UUID برای شناسایی مالک قفل
- یک شماره نسخه برای رکورد که در هر Heartbeat افزایش پیدا میکند تا پردازشهای منتظر بتوانند تشخیص دهند مالک قفل همچنان فعال است یا از کار افتاده است.
اما یک نکته مهم وجود دارد.
شماره نسخه رکورد فقط برای تشخیص زنده بودن مالک قفل استفاده میشود و بهعنوان یک توکن حصارگذاری به منبعی که قرار است از آن محافظت شود، ارسال نمیشود.
بنابراین، اگر پردازش قبلی پس از پایان اعتبار قفل دوباره فعال شود، همچنان میتواند عملیات خود را ادامه دهد، مگر اینکه بررسی توکن حصارگذاری را در سطح منبع نیز اضافه کرده باشید.
این دقیقاً همان درسی است که میتوان از بررسی این کتابخانه گرفت:
حتی اگر پیادهسازی یک قفل کاملاً اصولی و حرفهای باشد، تا زمانی که خود منبع نیز در فرآیند بررسی و اعتبارسنجی مشارکت نکند، آن قفل لزوماً یک قفل تضمین صحت نخواهد بود.
سوالات متداول (FAQ)
آیا قفل توزیعشده با تراکنش دیتابیس یکسان است؟
خیر.
یک تراکنش (Transaction) قابلیتهای Atomicity و Isolation را برای عملیاتی فراهم میکند که در محدوده یک دیتابیس انجام میشوند و با Commit شدن تراکنش آزاد میشود.
اما یک قفل توزیعشده، پردازشهایی را که روی ماشینهای مختلف اجرا میشوند، در ارتباط با یک منبع هماهنگ میکند، منبعی که لزوماً یک دیتابیس واحد نیست و میتواند یک فایل، یک API خارجی یا حتی یک نقش Leader در سیستم باشد.
اگر تمام عملیات موردنظر شما در محدوده یک دیتابیس قابل انجام است، استفاده از یک Transaction یا Row Lock سادهتر و ایمنتر از پیادهسازی یک قفل توزیعشده خواهد بود.
آیا Redlock برای تضمین صحت دادهها ایمن است؟
Redlock با نیاز به دریافت قفل از اکثریت نودهای مستقل Redis، دسترسپذیری سیستم را افزایش میدهد.
اما این الگوریتم بهتنهایی توکن حصارگذاری ارائه نمیکند و ایمنی آن نیز به فرضهایی درباره زمانبندی ساعتها و توقف پردازشها وابسته است.
برای قفلهای کارایی، استفاده از Redlock قابلقبول است.
اما برای قفلهای تضمین صحت، باید یک توکن حصارگذاری اضافه کنید که در سطح منبع بررسی شود، یا از یک مخزن خطیپذیر مانند etcd یا ZooKeeper استفاده کنید که Revision یا شماره ترتیبی آن میتواند مستقیماً نقش توکن را ایفا کند.
تفاوت Lock و Lease چیست؟
Lease در واقع نوعی قفل است که مدت اعتبار مشخصی دارد.
شما فقط تا زمان مشخصی مالک آن هستید، مگر اینکه پیش از پایان اعتبار، آن را تمدید کنید.
تقریباً تمام قفلهای توزیعشده کاربردی از مدل Lease استفاده میکنند، زیرا اگر یک پردازش متوقف شود و قفل آن هیچوقت آزاد نشود، ممکن است سیستم برای همیشه در وضعیت ددلاک (Deadlock) باقی بماند.
انقضای خودکار قفل باعث میشود سیستم پس از از کار افتادن یک پردازش بتواند دوباره به فعالیت خود ادامه دهد.
اما همین ویژگی، فرصتی برای ایجاد سناریوی وجود دو دارنده قفل فراهم میکند، مشکلی که توکن حصارگذاری برای برطرف کردن آن طراحی شده است.
آیا میتوان از قفلهای Advisory در PostgreSQL بهعنوان قفل توزیعشده استفاده کرد؟
بله، به شرطی که تمام پردازشهایی که برای دریافت قفل رقابت میکنند، به یک نمونه PostgreSQL متصل باشند.
توابعی مانند pg_advisory_lock امکان ایجاد انحصار متقابل با قابلیت خطیپذیری تکنودی را بدون نیاز به زیرساخت اضافه فراهم میکنند.
بااینحال، دو نکته مهم را باید در نظر بگیرید:
اول اینکه این قفلها بر اساس همکاری بخشهای مختلف سیستم عمل میکنند. بنابراین، کدی که قفل را نادیده بگیرد، مسدود نخواهد شد.
دوم اینکه قفلهای سطح نشست در Connection Poolerهایی که از حالت Transaction Pooling استفاده میکنند، ممکن است بهدرستی مدیریت نشوند.
در چنین شرایطی بهتر است از نسخه محدود به تراکنش، یعنی pg_advisory_xact_lock استفاده کنید.
آیا فقط برای دریافت یک قفل به ZooKeeper یا etcd نیاز دارم؟
خیر.
تنها زمانی به این ابزارها نیاز پیدا میکنید که به یک قفل تضمین صحت با قابلیت ارائه توکن حصارگذاری خطیپذیر احتیاج داشته باشید و درعینحال نتوانید از قفل یک دیتابیس واحد استفاده کنید.
برای قفلهای کارایی، ردیس یا قفل Advisory دیتابیس معمولاً گزینههای سبکتر و کافی هستند.
راهاندازی یک کلاستر مبتنی بر اجماع زمانی توجیه دارد که علاوه بر قفلگذاری، به قابلیتهایی مانند انتخاب Leader و تضمینهای قوی صحت دادهها نیاز داشته باشید، نه صرفاً برای یک قفل ساده که هر از چند گاهی استفاده میشود.
نکات کلیدی مقاله
- یک قفل توزیعشده میتواند رقابت برای دسترسی به منابع را کاهش دهد، اما فقط خود منبع محافظتشده میتواند صحت عملیات را تضمین کند.
- اولین تصمیم در طراحی قفل توزیعشده، انتخاب میان قفل کارایی و قفل تضمین صحت است، نه انتخاب سرویس مدیریت قفل.
- یک قفل کارایی میتواند وجود دو دارنده همزمان را تحمل کند، زیرا نتیجه آن صرفاً انجام کار تکراری است. اما یک قفل تضمین صحت چنین امکانی ندارد، زیرا ممکن است باعث خراب شدن دادهها شود.
- هیچ قفل توزیعشدهای بهتنهایی نمیتواند از وجود دو دارنده همزمان جلوگیری کند، زیرا یک توقف Garbage Collection یا اختلال شبکه ممکن است بیشتر از مدت اعتبار قفل طول بکشد.
- فنسینگ توکن یا توکن حصارگذاری عددی است که بهصورت کاملاً صعودی افزایش پیدا میکند و منبع از آن برای شناسایی و رد کردن پردازشهایی با توکن قدیمی استفاده میکند.
- یک قفل تضمین صحت فقط زمانی ایمن است که منبع بتواند توکن حصارگذاری را بررسی کند یا از عملیات نوشتن شرطی پشتیبانی کند.
- قفلهای Advisory دیتابیس و قفلهای Lease در ردیس بهصورت پیشفرض توکن حصارگذاری ارائه نمیکنند، اما etcd و ZooKeeper از طریق Revision یا شماره ترتیبی خود این قابلیت را فراهم میکنند.
- سوالی که در نگاه اول به نظر میرسد نقطه شروع مسئله است، یعنی «Redis یا ZooKeeper؟»، در واقع سومین سوال فرآیند تصمیمگیری است. پیش از پاسخ به آن باید آزمون دارنده دوم را انجام دهید و مشخص کنید که آیا منبع شما قابلیت استفاده از توکن حصارگذاری را دارد یا خیر.
ابتدا میزان حساسیت عملیات را مشخص کنید، سپس محل نگهداری قفل را انتخاب کنید و در نهایت به سراغ سازوکار توکن حصارگذاری بروید.
وقتی این سه تصمیم درست گرفته شوند، انتخاب ابزار مناسب سادهترین بخش ماجرا خواهد بود.

دیدگاهها
ثبت دیدگاه