بث JSON

يعمل تنسيق JSON المفصول بأسطر بشكل جيد للغاية مع الأدوات التقليدية الموجهة نحو الأسطر .

يعمل تنسيق JSON المدمج مع تنسيق JSON المنسق بشكل جميل، ولكنه يتطلب جهدًا وجهدًا أكبر في التحليل. ولا يتوافق جيدًا مع الأدوات التقليدية التي تعتمد على الأسطر. يُعدّ بث JSON المدمج مجموعةً فرعيةً من بث JSON المفصول بأسطر.

يتوافق تنسيق JSON المُسبق بالطول مع تنسيق JSON المُنسق بشكل جميل. لا يعمل بكفاءة مع الأدوات التقليدية التي تعتمد على الأسطر، ولكنه قد يُوفر مزايا في الأداء مقارنةً بالتدفقات المُفصولة بأسطر أو المُدمجة. كما أنه قد يكون أسهل في التحليل.

هناك مصطلحان يُستخدمان لوصف التنسيقات المتكافئة لملفات JSON المفصولة بأسطر:

• JSON المفصول بسطر جديد (NDJSON) ^{[ 4 ] [ 5 ]} - كان الاسم القديم JSON المفصول بسطر (LDJSON). ^{[ 6 ]}
• أسطر JSON (JSONL)، ^{[ 7 ]} وهو الحالي ( 2025)(وهو المعيار الأكثر استخدامًا في البيانات الضخمة والتطبيقات الأخرى. ^{[ 8 ]}

تستفيد تقنية البث من حقيقة أن تنسيق JSON لا يسمح باستخدام أحرف الإرجاع أو السطر الجديد ضمن القيم الأولية (في السلاسل النصية، يجب تهريبها باستخدام ` \` \rو`\ \n` على التوالي)، وأن معظم مُنسِّقات JSON لا تُضمِّن افتراضيًا أي مسافات بيضاء، بما في ذلك أحرف الإرجاع والأسطر الجديدة. تسمح هذه الميزات باستخدام حرف السطر الجديد أو تسلسل أحرف الإرجاع والسطر الجديد كفاصل.

يوضح هذا المثال كائنين من نوع JSON (لا يظهر حرف السطر الجديد الضمني في نهاية كل سطر):

{ "some" : "thing\n" } { "may" :{ "include" : "nested" , "objects" :[ "and" , "arrays" ]}}

إن استخدام سطر جديد كفاصل يُمكّن هذا التنسيق من العمل بشكل جيد للغاية مع أدوات يونكس التقليدية الموجهة نحو الأسطر .

على سبيل المثال، قد يبدو ملف السجل كما يلي:

{ "ts" : "2020-06-18T10:44:12" , "started" :{ "pid" : 45678 }}{ "ts" : "2020-06-18T10:44:13" , "logged_in" :{ "username" : "foo" }, "connection" :{ "addr" : "1.2.3.4" , "port" : 5678 }}{ "ts" : "2020-06-18T10:44:15" , "registered" :{ "username" : "bar" , "email" : "bar@example.com" }, "connection" :{ "addr" : "2.3.4.5" , "port" : 6789 }}{ "ts" : "2020-06-18T10:44:16" , "logged_out" :{ "username" : "foo" }, "connection" :{ "addr" : "1.2.3.4" , "port" : 5678 }}

وهو أمر سهل للغاية للفرز حسب التاريخ، والبحث عن أسماء المستخدمين، والإجراءات، وعناوين IP، وما إلى ذلك.

jq --compact-output . < concatenated.json > lines.json 

تتيح خاصية بث JSON المفصول بفواصل السجلات إمكانية فصل سلاسل نص JSON دون اشتراط استبعاد المسافات البيضاء من مُنسِّق JSON. ولأن سلاسل نص JSON لا يمكن أن تحتوي على أحرف تحكم، يُمكن استخدام فاصل السجلات لفصلها. إضافةً إلى ذلك، يُقترح أن يتبع كل سلسلة نص JSON حرف سطر جديد لضمان التعامل السليم مع كائنات JSON الرئيسية التي لا تُحدِّد نفسها بنفسها (الأرقام، والقيم true وfalse، والقيم null).

يُعرف هذا التنسيق أيضًا باسم JSON Text Sequences أو نوع MIMEapplication/json-seq ، وقد تم وصفه رسميًا في IETF RFC 7464 .

يوضح المثال أدناه كائنين من نوع JSON حيث يمثل ␞ حرف التحكم في فاصل السجلات ويمثل ␊ حرف تغذية السطر:

␞ { "some" : "thing\n" } ␊ ␞ { "may" : { "include" : "nested" , "objects" : [ "and" , "arrays" ] } } ␊

تتيح تقنية بث JSON المتسلسل للمرسل كتابة كل كائن JSON في البث مباشرةً دون فواصل. وتعتمد هذه التقنية على استخدام المُستقبِل لمحلل قادر على التعرف على كل كائن JSON وإخراجه عند تحليل الحرف الأخير. إن JSON المتسلسل ليس تنسيقًا جديدًا، بل هو مجرد اسم لبث عدة كائنات JSON دون أي فواصل.

تتميز هذه الصيغة بقدرتها على التعامل مع كائنات JSON المنسقة بأحرف سطر جديد مضمنة، أي المنسقة بشكل يسهل قراءتها. على سبيل المثال، هذان المدخلان صحيحان وينتجان نفس المخرج:

{ "some" : "thing\n" }{ "may" :{ "include" : "nested" , "objects" :[ "and" , "arrays" ]}}

{ "some" : "thing\n" } { "may" : { "include" : "nested" , "objects" : [ "and" , "arrays" ] } }

قد تتطلب التطبيقات التي تعتمد على الإدخال السطري إضافة سطر جديد بعد كل كائن JSON لكي يتمكن المحلل من إخراج الكائن في الوقت المناسب. (وإلا فقد يبقى السطر في مخزن الإدخال دون تمريره إلى المحلل). ونادرًا ما يُنظر إلى هذا الأمر على أنه مشكلة لأن إنهاء كائنات JSON بسطر جديد أمر شائع جدًا.

تتيح تقنية بث JSON المُؤطَّر أو المُسبق بطول معين للمرسل تحديد طول كل رسالة بشكل صريح. وتعتمد هذه التقنية على استخدام المُستقبِل لمحلل قادر على التعرف على كل طول n، ثم قراءة n بايت التالية لتحليلها كبيانات JSON.

تتميز هذه الصيغة بقدرتها على تسريع عملية التحليل نظرًا لتحديد طول كل رسالة بدقة، بدلًا من إجبار المحلل على البحث عن الفواصل. كما أن صيغة JSON ذات البادئة الطولية مناسبة تمامًا لتطبيقات TCP، حيث يمكن تقسيم الرسالة الواحدة إلى أجزاء متعددة، لأن الطول المحدد مسبقًا يُخبر المحلل بدقة عدد البايتات المتوقعة قبل محاولة تحليل سلسلة JSON.

يوضح هذا المثال كائنين من نوع JSON مسبوقين ببادئة الطول (حيث يمثل كل طول طول البايت لسلسلة JSON التالية):

18 { "بعض" : "شيء\n" } 55 { "قد" :{ "يتضمن" : "متداخل" , "كائنات" :[ "و" , "مصفوفات" ]}}

• يستطيع برنامج jq إنشاء وقراءة نصوص JSON المفصولة بأسطر.
• يمكن لـ Jackson (API) قراءة وكتابة نصوص JSON المفصولة بأسطر.
• يتضمن Logstash برنامج ترميز json_lines . ^{[ 11 ]}
• وحدة ldjson-stream لـ Node.js
• وحدة ld-jsonstream الخالية من التبعيات لـ Node.js
• json-stream-es هي مكتبة JavaScript/TypeScript (واجهة أمامية وخلفية) يمكنها إنشاء وقراءة مستندات JSON المفصولة بأسطر جديدة.
• ArduinoJson هي مكتبة C++ تدعم JSON المفصول بالأسطر.
• RecordStream مجموعة من الأدوات لمعالجة JSON المفصول بالأسطر (إنشاء وتحويل وجمع الإحصائيات وتنسيق النتائج).
• يمكن استخدام حزمة encoding/json الخاصة بمكتبة Go القياسية لقراءة وكتابة JSON المفصولة بأسطر.
• يدعم RDF4J و Ontotext GraphDB تنسيق NDJSON لـ JSON-LD (يسمى NDJSONLD) ^{[ 12 ]} منذ فبراير 2021. ^{[ 13 ]}

• يستطيع برنامج jq إنشاء وقراءة نصوص JSON المفصولة بفواصل السجلات.
• json-stream-es هي مكتبة JavaScript/TypeScript (واجهة أمامية وخلفية) يمكنها إنشاء وقراءة مستندات JSON المفصولة بفواصل السجلات.

• وحدة concatjson لتحليل وتسلسل بيانات JSON المتدفقة المدمجة لـ Node.js
• json-stream-es هي مكتبة JavaScript/TypeScript (واجهة أمامية وخلفية) يمكنها إنشاء وقراءة مستندات JSON المتسلسلة.
• يمكن لـ Jackson (API) قراءة وكتابة محتوى JSON المتسلسل.
• معالج JSON خفيف الوزن ومرن يعمل عبر سطر الأوامر jq
• محلل بيانات JSON المتدفق من Noggit Solr للغة Java
• Yajl – مكتبة JSON أخرى. YAJL عبارة عن محلل JSON صغير يعتمد على الأحداث (على نمط SAX) مكتوب بلغة ANSI C ، ومولد JSON صغير للتحقق من الصحة.
• ArduinoJson هي مكتبة C++ تدعم JSON المتسلسل.
• يمكن لـ GSON JsonStreamParser.java قراءة JSON المتسلسل.
• json-stream هو محلل JSON متدفق للغة بايثون.

• مكتبة Missive السريعة والخفيفة لترميز وفك ترميز رسائل JSON ذات البادئات الطولية عبر التدفقات
• المراسلة الأصلية - ملحقات الويب - المراسلة الأصلية