تحديد هوية الطارقين تلقائيًا باستخدام الذكاء الاصطناعي في Home Assistant

مع تزايد الاهتمام بالمنازل الذكية، أصبح بالإمكان معرفة هوية الأشخاص الذين يطرقون الباب دون الحاجة إلى فتحه. باستخدام Home Assistant وتقنيات الذكاء الاصطناعي، يمكن إعداد نظام يحدد الأشخاص بناءً على تحليل الفيديو والصوت، مما يعزز الأمان ويضيف مستوى جديدًا من الراحة. يمكن ربط هذه التقنية بالكاميرات وأجهزة الاستشعار لإرسال إشعارات فورية بوصف دقيق للشخص الموجود عند الباب.

ملخص

• يستخدم Home Assistant جوجل جيميني لوصف من يطرق الباب بناءً على لقطة من جرس الباب المرئي.
• ستحتاج إلى تثبيت LLM Vision، والحصول على مفتاح واجهة برمجة تطبيقات جوجل جيميني، واستخدام تطبيق Home Assistant للإشعارات.
• يمكن استخدام LLM Vision لأغراض أخرى، مثل إحصاء عدد السيارات المتوقفة.

عندما ظهرت روبوتات الدردشة الذكية لأول مرة، اقتصرت على إدخال النصوص. وكانت الطريقة الوحيدة للحصول على رد من روبوت الدردشة هي كتابة رد فيه. أما اليوم، فقد أصبحت العديد من نماذج الذكاء الاصطناعي متعددة الوسائط، ما يعني أنها تستطيع التعامل مع أكثر من مجرد نص.

يمكنك الآن استخدام الذكاء الاصطناعي لتحليل الصور، على سبيل المثال، وإنشاء أوصاف مفصلة لما تحتويه الصورة. من الممكن أن يستخدم Home Assistant هذه القدرة لوصف من يطرق الباب بناءً على صورة من جرس الباب المرئي، مع نتائج غالبًا ما تكون مضحكة.

ما ستحتاجه

إذا كنت تستخدم Home Assistant بالفعل وجرس بابك الذكي المزود بالفيديو متصلاً، فمن المرجح أنك قد أعددت معظم ما تحتاجه. ستحتاج إلى تشغيل Home Assistant مع إضافة جرس بابك المزود بالفيديو عبر التكامل. سيلتقط Home Assistant صورة لجرس بابك ويرسلها إلى Google Gemini لتحليلها. سيؤدي ذلك إلى إنشاء وصف للشخص الذي يطرق بابك.

ستحتاج إلى تثبيت تكامل LLM Vision. هذا التكامل هو تكامل Home Assistant الذي يلتقط صورة جرس الباب، ويمررها إلى Gemini لتحليلها، ثم يحفظ الاستجابة في متغير يمكنك استخدامه داخل Home Assistant.

تحتاج أيضًا إلى مفتاح API لـ Google Gemini، والذي يسمح لك باستخدام نماذج Gemini لتحليل صورك. أستخدم Google Gemini لأنه يوفر بعض استخدامات API مجانًا، على عكس معظم النماذج الأخرى. ومع ذلك، ستحتاج إلى حساب Google لإنشاء مفتاح API الخاص بك.

لتلقي الإشعارات على هاتفك، ستحتاج إلى تثبيت تطبيق Home Assistant على هاتفك وتوصيله بخادم Home Assistant. سيظهر هاتفك بعد ذلك كوجهة للإشعارات المرسلة من Home Assistant.

إنشاء مفتاح API لـ Google Gemini

إنشاء مفتاح API سهل وسريع للغاية من خلال Google AI Studio. انتقل إلى موقع Google AI Studio الإلكتروني وسجّل الدخول إلى حسابك في Google. انقر على زر “الحصول على مفتاح API”، ثم انقر على “إنشاء مفتاح API”. سيتم إنشاء مفتاح API فريد، وسيتم حفظه في حسابك على Google لتتمكن من العودة إليه لاحقًا عند الحاجة. يمكنك النقر على زر “نسخ” لنسخ مفتاح API في أي وقت.

بعد إنشاء مفتاح API، اترك Google AI Studio مفتوحًا لتتمكن من نسخ مفتاح API عند الحاجة.

تثبيت تكامل LLM Vision

بعد حصولك على مفتاح API، ستحتاج إلى تثبيت تكامل LLM Vision. هذا تكامل مخصص مُصمم لـ Home Assistant. صُمم ليسمح لك بتحليل الصور ومقاطع الفيديو والبث المباشر باستخدام نماذج الذكاء الاصطناعي متعددة الوسائط. المعلومات المُستخرجة من هذه النماذج متاحة بعد ذلك في Home Assistant لاستخدامها في عمليات الأتمتة.

LLM Vision ليس تكاملًا رسميًا، لذا عليك تثبيته عبر متجر مجتمع Home Assistant (HACS). هذه منصة لتثبيت تكاملات Home Assistant المخصصة التي أنشأها المجتمع والتي توفر ميزات تتجاوز مجموعة التكاملات الرسمية. إذا لم يكن HACS مُثبتًا لديك، يمكنك اتباع تعليمات التثبيت الرسمية.

بعد تثبيت HACS، افتحه وابحث عن LLM Vision. حدد تكامل LLM Vision وانقر على زر “تنزيل” لتنزيله. أعد تشغيل المساعد المنزلي.

إعداد LLM Vision

بعد تثبيت تكامل LLM Vision، ستحتاج إلى إضافته إلى Home Assistant وإعداده باستخدام مفتاح API الذي أنشأته.

بعد إعادة تشغيل Home Assistant، انتقل إلى الإعدادات > الأجهزة والخدمات. في علامة التبويب “التكاملات”، انقر على زر “إضافة تكامل”، وابحث عن “LLM”، ثم اختر “LLM Vision”.

في قائمة “المزود”، اختر “جوجل” وانقر على “إرسال”. انسخ مفتاح واجهة برمجة تطبيقات جوجل جيميني والصقه في حقل “مفتاح واجهة برمجة التطبيقات” وانقر على “إرسال”.

تم إعداد LLM Vision الآن لاستخدام Google Gemini لتحليل الصور من جرس باب الفيديو الخاص بك.

إنشاء أتمتة لإرسال إشعار وصفي

كان سبب إعدادي لهذا هو الحصول على وصف سريع لمن كان على الباب عند اكتشاف أي شخص. بإرسال هذا الإشعار إلى هاتفي، تمكنت من معرفة ما إذا كان شخصًا يُسلم طردًا، أو أطفالي يركضون للعب في الخارج، أو شخصًا يتصرف بشكل مثير للريبة خارج منزلي. ولأنني كنت أستخدم الذكاء الاصطناعي التوليدي لوصف الصور، فقد كان بإمكاني أيضًا طلب جعلها ساخرة بعض الشيء، لإضفاء بعض التسلية في كل مرة يطرق فيها أحدهم الباب.

أنشأت أتمتة تُفعّل عند اكتشاف أي شخص على بابي. يختلف المُفعّل الدقيق باختلاف نوع جرس الباب الذي تستخدمه والأحداث التي يكشفها تكامل جرس الباب مع مساعد المنزل. في هذا المثال، أستخدم جرس باب Reolink. قد يكون إعداد بعض أجراس الباب المزودة بفيديو، مثل طرازات Ring، أكثر تعقيدًا، إذ لا تسمح لك بالتقاط لقطة من بث الكاميرا بسهولة.

انتقل إلى الإعدادات > الأتمتة والمشاهد. في علامة التبويب “الأتمتة”، انقر على “إنشاء أتمتة”. ثم اختر “إنشاء أتمتة جديدة”.

انقر على “إضافة مُحفِّز” واختر “الجهاز”. انقر على حقل “الجهاز”، واكتب اسم جرس الباب، ثم اختره من النتائج. انقر على قائمة “المُحفِّز” المنسدلة واختر مُحفِّزًا يكشف الحركة. في هذا المثال، مع جرس باب من Reolink، سأستخدم “تم تشغيل جرس الباب الأمامي من Reolink”.

الخطوة التالية هي التقاط صورة للمشهد من جرس الباب المرئي بمجرد اكتشاف الحركة. سيتم إرسال هذه الصورة الثابتة إلى جهاز جيميني لتحليلها، وسيظهر وصف للصورة.

انقر على زر “إضافة إجراء”، ثم اختر “الكاميرا”، ثم اختر “التقاط صورة”. انقر على زر “اختيار الجهاز” وحدد جرس الباب المرئي. أدخل مسارًا لحفظ الصورة؛ سأحفظ الصور في “/config/www/reolink_snapshot/last_snapshot_doorbell.jpg” ثم أرسلها إلى LLM Vision.

انقر على “إضافة إجراء” واكتب “LLM”. اختر “LLM Vision: محلل الصور” من النتائج. في حقل “المزود”، اختر “Google Gemini”. إذا كنت ترغب في استخدام نموذج أكثر كفاءة، فأدخل “gemini-1.5-pro” في حقل “النموذج”. هذا نموذج أكثر قوة، ولكنه يقتصر على 50 طلبًا يوميًا، مقارنةً بـ 1500 طلب يوميًا مع النموذج الافتراضي gemini-1.5-flash.

في حقل “المطالبة”، أدخل مطالبة تطلب من جيميني تحليل الصورة من جرس بابك. يُفضل أن تطلب جملة واحدة حتى لا يطول إشعارك. طلبتُ ردودًا جريئة، مما يجعلها أكثر تسلية، لكنك لستَ مضطرًا لفعل الشيء نفسه. كانت مطالبتي كما يلي:

صف الصورة بجملة واحدة. إذا رأيت شخصًا، صفه. إذا رأيت عدة أشخاص، فأحصِ عددهم وصفهم. حاول تحديد ما إذا كانوا قادمين أم مغادرين، واذكر أيهم إن أمكن. اجعل الوصف جريئًا بعض الشيء.

في حقل “ملف الصورة”، أدخل موقع اللقطة التي أنشأتها في الخطوات السابقة. في حقل “متغير الاستجابة”، أدخل اسمًا للاستجابة من جيميني. ستشير إلى هذا الاسم لإضافة الاستجابة إلى إشعارك. أستخدم “وصف جرس الباب”.

انقر على “إضافة إجراء”، واكتب “إشعار”، ثم حدد خيار إرسال إشعار إلى هاتفك المحمول. يجب تثبيت تطبيق الهاتف المحمول ليظهر هذا الخيار. في حقل “البيانات”، اكتب “image: /local/” متبوعًا باسم المجلد واسم الملف لصورة جرس الباب. في هذا المثال، في حقل “البيانات”، سأدخل ما يلي:

"image: /local/reolink_snapshot/last_snapshot_doorbell.jpg"

حدد حقل “الرسالة” وابدأ بكتابة “{{“، مما سيؤدي إلى ظهور رسالة تُفيد بأن المحرر المرئي لا يدعم هذا التكوين. في الكود أسفل هذه الرسالة، احذف النص الموجود واستبدله بما يلي:

"{{doorbell_description.response_text}}"

تأكد من تضمين علامتي الاقتباس في البداية والنهاية. استبدل “doorbell_description” بالاسم الذي استخدمته للاستجابة في إجراء LLM Vision.

انقر على “حفظ”، ثم سمِّ نظام التشغيل الآلي، ثم انقر على “حفظ” مرة أخرى. الآن، اركض للخارج وقف أمام جرس الباب المرئي.

إذا تم إعداد كل شيء بشكل صحيح، فيجب أن تتلقى إشعارًا على هاتفك يحتوي على لقطة من جرس الباب ووصف للمشهد.

طرق أخرى لاستخدام LLM Vision

تُرسل الطريقة المذكورة أعلاه إشعارًا يُحدد هوية الزائر عند الباب، حتى لو لم يرن جرس الباب. تُفيد هذه الطريقة في معرفة وقت مغادرة الأشخاص للمنزل، أو في حال وجود شخص ما بالقرب من بابك الأمامي دون رنين الجرس، أو حتى في حال إلقاء أحدهم طردًا على عتبة بابك.

مع ذلك، قد تُفضل عدم تلقي إشعار إلا عند رنين جرس الباب. في هذه الحالة، يُمكنك إنشاء نفس الأتمتة، ولكن بدلًا من تشغيل التنبيه عند اكتشاف حركة، يُمكنك استخدام تنبيه “تم تشغيل الزائر”، والذي يُفعّل فقط عند رنين جرس الباب.

لديّ نظام أتمتة مُعدّ بشكل منفصل عند رنين جرس الباب، بدلاً من مجرد اكتشاف وجود شخص. عند رنين جرس الباب، يلتقط النظام لقطة، ويُحلّل الصورة باستخدام LLM Vision، ثم يُعلن عن وجود شخص على الباب عبر مكبرات الصوت الذكية في منزلي، مع الوصف الذي يُولّده LLM Vision.

بهذه الطريقة، حتى لو لم يكن هاتفي معي، يُمكنني الحصول على وصف لمن يرن الجرس.

يُمكن لـ LLM Vision القيام بالكثير أيضاً. يُمكنه أيضاً تحليل ملفات الفيديو والبث المباشر، وحتى تحديث أجهزة الاستشعار بناءً على الصور. على سبيل المثال، يُمكنك استخدام مُحلل البيانات لإحصاء عدد السيارات المتوقفة خارج منزلك، وتفعيل الأتمتة إذا وصل هذا العدد إلى قيمة مُحددة أو انخفض عن قيمتها.

تشغيل LLM Vision محلياً

في هذا المثال، استخدمتُ الإصدار المجاني من Google Gemini لتحليل الصور، فهو سريع ودقيق إلى حدٍ معقول، ومجاني للاستخدام لعدد محدود من المرات التي يظهر فيها الأشخاص على باب منزلي. ربما لا تعجبك فكرة إرسال صور الأشخاص الذين يأتون إلى بابك إلى السحابة، حتى لو كان هذا هو ما تفعله أجهزة جرس الباب بالفيديو مثل Ring بشكل افتراضي.

إذا كان الأمر كذلك، وإذا كانت لديك أجهزة قوية بما يكفي، يمكنك استضافة برنامج ماجستير في إدارة الأعمال (LLM) على جهازك المحلي وإجراء جميع التحليلات محليًا. هناك نماذج محلية لبرنامج ماجستير في إدارة الأعمال (LLM) تعمل على أجهزة كمبيوتر أقل قوة، ولكنها ستواجه صعوبة في إجراء تحليل الصور بسرعة كافية لتكون مفيدة.

يدعم برنامج Vision LLM خيارات الاستضافة الذاتية الشائعة مثل Ollama وOpen WebUI وLocalAI، والتي تتيح لك استخدام نماذج مثل gemma3 وllama3.2vision لإجراء التحليل.

دمج الذكاء الاصطناعي مع أنظمة المنزل الذكي يفتح آفاقًا جديدة للأمان والراحة. من خلال إعداد Home Assistant بشكل صحيح، يمكن تحسين تجربة التحكم في المنزل وجعل معرفة من يطرق الباب أمرًا تلقائيًا ودقيقًا. مع استمرار تطور هذه التقنيات، ستصبح المنازل أكثر ذكاءً وأمانًا من أي وقت مضى.