Google компани шинээр гаргасан AI Edge Gallery аппликэйшнээр хиймэл оюун ухааныг ухаалаг утсан дээрээ шууд ашиглах боломжийг олгож байна. Энэхүү апп нь интернет, үүлэн технологи, эсвэл томоохон технологийн фирмүүдийн серверүүдтэй өгөгдөл хуваалцахгүйгээр ажиллах боломжтой.

Энэхүү туршилтын аппликэйшн нь Apache 2.0 лицензийн хүрээнд гарсан бөгөөд хэн ч үүнийг хэрэглэх боломжтой. Анх Android платформ дээр гарсан бөгөөд удахгүй iOS хувилбар нь гарах гэж байна. Апп нь Google-ийн Gemma 3n зэрэг моделуудыг бүрэн оффлайнаар ажиллуулж, зураг шинжлэхээс эхлээд код бичих хүртэл бүх үйл явцыг утасныхаа техник хангамжаар гүйцэтгэдэг.

Энэхүү аппликэйшн нь одоогоор хөгжүүлэгчдэд зориулсан мэт боловч гурван үндсэн функцтай байна: AI Chat нь ярианы горимыг, Ask Image нь дүрслэлийн шинжилгээг, Prompt Lab нь текст засварлах зэрэг нэг удаагийн даалгавруудыг гүйцэтгэдэг. Хэрэглэгчид Hugging Face зэрэг платформуудаас моделууд татаж авах боломжтой, гэхдээ сонголт хязгаарлагдмал байна.

Энэ аппликэйшн Reddit хэрэглэгчдийн дунд сонирхол татсан бөгөөд зарим нь үүнийг PocketPal зэрэг одоо байгаа шийдлүүдтэй харьцуулсан байна. Зарим нэгэн нь аюулгүй байдлын талаар асуулт тавьсан боловч Google-ийн GitHub дээр байршуулсан нь хуурмагчлалын эрсдлийг бууруулсан байна.

Бид Samsung Galaxy S24 Ultra дээр энэхүү аппликэйшнийг туршиж үзсэн бөгөөд хамгийн том болон хамгийн жижиг Gemma 3 моделуудыг татаж авсан. Бүх AI модель нь өөрт байгаа 'мэдлэг'-ийг багтаасан файл бөгөөд энэ нь сургалтын явцад суралцсан бүх мэдээллээ шахсан Википедиа апп мэт татаж авах боломжтой. Хамгийн том Gemma 3 модель нь ойролцоогоор 4.4 GB, хамгийн жижиг нь 554 MB байна.

Татаж авсаны дараа өөр өгөгдөл шаардлагагүй бөгөөд модель зөвхөн таны төхөөрөмж дээр ажиллаж, асуултад хариулж, даалгавруудыг гүйцэтгэдэг. Хэдийгээр CPU-ийн хурд багассан ч туршлага нь GPT-3.5-ийн анхны хувилбартай нийцэж байсан.

Энэхүү технологи нь интернетгүйгээр ажиллах боломжийг олгодог нь нууц мэдээлэлтэй ажилладаг хүмүүст маш их ач холбогдолтой. Жишээлбэл, эрүүл мэндийн ажилтнууд өвчтөний мэдээлэлтэй харьцахдаа, эсвэл сэтгүүлчид газар дээр нь ажиллахаас гадна аливаа нууц мэдээлэлтэй харьцах хүмүүсийн хувьд хэрэгтэй.

Үүнээс гадна, энэ технологи нь хурдны хувьд гайхалтай сайн ажиллаж байсан. GPU-ийн хүчин чадалтай үед секундэд 105 гаруй тэмдэгт үүсгэж, CPU-ийн үед 39 тэмдэгт хүрсэн. Энэ нь хурдан хариулт өгөх боломжийг олгож байв.

Google-ийн моделууд нь хатуу цензуртай боловч, үүнийг тойрон гарах энгийн аргууд бий. Хэрэв хэрэглэгчид энэ аргуудыг ашиглаж чадвал, төвлөрсөн серверүүдэд мэдээлэл өгөхгүйгээр илүү чөлөөтэй ажиллах боломжтой болно.

Энэ аппликэйшн нь ".safetensor" форматыг дэмжихгүй байгаа нь томоохон сул тал болж байгаа бөгөөд энэ нь одоогоор интернетэд олддог бүх LLM-ийн 100 хувийг эзэлдэг аж. Гэхдээ хэрэв "safetensor" дэмждэг болсон бол энэ аппликэйшн нь хувийн нууцлалыг эрхэмлэгч AI хэрэглэгчдийн зайлшгүй хэрэглэх хэрэгсэл болох байв.