Logstash ابزار پردازش و انتقال رویداد است. پایپلاین آن معمولاً از Input، Filter و Output تشکیل میشود و میتواند دادههای خام را به اسناد ساختیافته تبدیل کند.
input { stdin {} }
filter {
mutate { add_field => { "service" => "shop-api" } }
}
output { stdout { codec => rubydebug } }
در حجم بالا باید صف، مقاومت در برابر خرابی، Schema، حذف اطلاعات محرمانه و ظرفیت مقصد را هم بررسی کرد.
اصطلاحات مرتبط: الک استک، الستیکسرچ، کیبانا، صف پیام.
مفهوم ساده خط لوله Logstash
input -> filter -> output
beats input -> grok/date filter -> Elasticsearch output
Logstash برای دریافت، تبدیل و ارسال داده به مقصد استفاده میشود. برای جلوگیری از از دست رفتن لاگ در هنگام قطعی مقصد، تنظیمات Queue و Retry مهماند.