Статистикийн кластер шинжилгээ
Пендахулуан
Кластер шинжилгээ нь объект эсвэл өгөгдлийн багцыг ижил төстэй байдал эсвэл нийтлэг шинж чанар дээр үндэслэн нэгэн төрлийн бүлэгт ангилахад ашигладаг чухал статистикийн арга юм. Асар их хэмжээний өгөгдлөөр дүүрсэн ертөнцөд өгөгдлийн бүтэц, хэв маягийг ойлгох нь томоохон сорилт болдог. Кластер шинжилгээ нь далд хэв маягийг тодорхойлох, бизнес, шинжлэх ухаан болон бусад хэрэглээнд үнэ цэнэтэй ойлголт өгөх шийдлийг санал болгодог.
Кластер шинжилгээний үндсэн зарчмууд
Үндсэндээ кластер шинжилгээ нь өгөгдлийг кластер болгон хуваах зорилготой бөгөөд ингэснээр кластер доторх объектууд бие биетэйгээ маш төстэй боловч бусад кластерын объектуудаас мэдэгдэхүйц ялгаатай байх болно. Кластер шинжилгээний зарим үндсэн зарчим нь:
1. Төстэй/Төрөлгүй байдлын шалгуур: Кластер дахь хоёр өгөгдлийн объект хэр төстэй эсвэл ялгаатай болохыг тодорхойлоход ашигладаг хэмжүүр. Ерөнхийдөө Евклидийн зай, Манхэттэний зай эсвэл корреляци зэрэг хэмжүүрүүдийг ашигладаг.
2. Кластерлах аргууд: Өгөгдлийг ялгаж, бүлэглэхэд ашигладаг техник буюу алгоритмууд. Зарим түгээмэл аргуудад K-Means, Hierarchical Clustering болон DBSCAN орно.
3. Баталгаажуулалт ба Үнэлгээ: Кластержуулалтын үр нөлөөг үнэлэх үйл явцыг Силуэт Оноо, Калински-Харабасзын Индекс, эсвэл Данны Индекс зэрэг баталгаажуулалтын индексүүдийг ашиглан гүйцэтгэдэг. Энэ нь кластержуулалтын үр дүн оновчтой эсэхийг эсвэл тохируулга шаардлагатай эсэхийг тодорхойлоход чухал ач холбогдолтой.
Бүлэглэх аргуудын төрлүүд
1. K-Means кластерчлал
K-Means нь хамгийн алдартай бөгөөд өргөн хэрэглэгддэг кластержуулах арга юм. Энэхүү алгоритм нь өгөгдлийг кластерын төвүүд (centroids) дээр үндэслэн дараах байдлаар бүлэглэдэг:
– Хүссэн кластерын тоог (K) тодорхойлно уу.
– K төв цэгүүдийг санамсаргүй байдлаар эхлүүлэлт болгон тодорхойлно.
– Төв цэг хүртэлх объект бүрийн зайг тооцоолж, объектуудыг хамгийн ойр төв цэгээр нь бүлэглэнэ.
– Төв цэгийг кластер дахь объектуудын дундажаар шинэчилнэ үү.
– Төвийн цэг хамгийн бага өөрчлөгдөх эсвэл юу ч өөрчлөгдөхгүй болтол 3 ба 4-р алхмуудыг давтана.
K-Means-ийн давуу талууд нь түүний энгийн байдал болон том өгөгдлийн багцад өргөтгөх боломжтой байдал юм. Гэсэн хэдий ч энэхүү алгоритм нь анхны төв цэгийн эхлүүлэлтэд тулгуурлах, гадны утгуудад мэдрэмтгий байх зэрэг сул талуудтай.
2. Шаталсан кластерчлал
Энэхүү кластерчлалын арга нь кластеруудын шатлалыг бий болгодог бөгөөд үүнийг дендрограмм хэлбэрээр дүрсэлж болно. Шатлаат кластерчлалын хоёр үндсэн арга байдаг:
– Аггломератив: Объект бүрийг тусдаа кластер хэлбэрээр эхлүүлээд, дараа нь зөвхөн нэг том кластер үлдэх хүртэл хамгийн төстэй кластеруудыг нэгтгэнэ.
– Хуваагч: Бүх объектуудыг багтаасан нэг том кластераас эхэлж, дараа нь кластерыг хүссэн тооны кластерт хүрэх хүртэл хуваана.
Шаталсан кластерчлалын давуу тал нь кластерын тоог урьдчилан тодорхойлох шаардлагагүй бөгөөд жижиг, дунд хэмжээний өгөгдлийн багцад сайн хэрэгжиж болдогт оршино. Гэсэн хэдий ч энэ арга нь маш том өгөгдлийн багцад хэрэглэгдэх үед тооцооллын өндөр өртөгтэй байдаг сул талтай.
3. DBSCAN (Дуу чимээтэй програмуудын нягтралд суурилсан орон зайн кластерчлал)
DBSCAN нь өгөгдлийн нягтрал дээр үндэслэн кластеруудыг олдог алгоритм юм. DBSCAN нь объектууд бие биендээ ойрхон байрладаг хэсгүүдийг (гол цэгүүд гэж нэрлэдэг) олж, тэдгээр цэгүүдээс кластеруудыг өргөжүүлэх замаар кластеруудыг үүсгэдэг. Энэ алгоритм нь мөн шуугиан гэж тооцогддог гадуурх утгыг тодорхойлж чаддаг. DBSCAN-ийн гол параметрүүд нь epsilon (кластер гэж үзэж болох хоёр цэгийн хоорондох хамгийн их зай) ба minimum цэгүүд (нягт талбай үүсгэхэд шаардлагатай хамгийн бага цэгүүдийн тоо) юм.
DBSCAN-ийн гол давуу тал нь дурын хэлбэртэй кластеруудыг олох, гажууд утгыг үр дүнтэй зохицуулах чадвар юм. Үүний гол сул тал нь кластерчлалын үр дүнд нөлөөлж болох epsilon параметрт мэдрэмтгий байдал юм.
Кластер шинжилгээний хэрэглээ
Кластер шинжилгээ нь янз бүрийн салбарт өргөн хэрэглэгддэг бөгөөд үүнд дараахь зүйлс орно.
1. Маркетинг: Компаниуд илүү чиглэсэн маркетингийн стратеги боловсруулахын тулд ижил төстэй шинж чанар, зан төлөвтэй хэрэглэгчдийг бүлэглэх зорилгоор зах зээлийн сегментчилэл.
2. Биологи: Биологийн үйл ажиллагаа болон молекулын харилцан үйлчлэлийн талаар илүү гүнзгий ойлголттой болохын тулд ген эсвэл уургийг ижил төстэй үйл ажиллагаа эсвэл бүтцэд үндэслэн бүлэглэх.
3. Эрүүл мэнд: Эмнэлзүйн шинж тэмдэг эсвэл тодорхой эмчилгээнд үзүүлэх хариу урвал дээр үндэслэн өвчтөнүүдийг бүлэглэх нь эмнэлгийн хувь хүнд тохирсон байдлыг сайжруулахад оршино.
4. Сошиал медиа: Чиг хандлага болон олон нийтийн санаа бодлыг ойлгохын тулд сошиал медиа хэрэглэгчдийн сэтгэл хөдлөлийн шинжилгээ, сегментчилэл хийх зорилгоор кластерчлал хийх.
5. Эдийн засаг: Харьцуулсан дүн шинжилгээ хийх, бодлогын шийдвэр гаргах зорилгоор улс орнууд эсвэл бүс нутгуудыг эдийн засгийн үзүүлэлтүүд дээр үндэслэн бүлэглэх.
Кластер шинжилгээний бэрхшээлүүд ба ирээдүй
Кластер шинжилгээ нь олон давуу талтай боловч хэрэгжүүлэхэд хэд хэдэн бэрхшээл тулгардаг:
1. K-г тодорхойлох: K-Means гэх мэт аргуудад кластерын оновчтой тоог (K) тодорхойлох нь ихэвчлэн хэцүү ажил бөгөөд Elbow арга эсвэл Gap статистик гэх мэт тусгай стратеги шаарддаг.
2. Өргөтгөх чадвар: Маш том өгөгдлийн багцтай ажиллах үед алгоритмын үр ашиг болон гүйцэтгэл нь чухал асуудал болдог. Энэ асуудлыг шийдвэрлэхийн тулд өргөтгөх боломжтой, үр ашигтай кластерчлалын аргуудыг тасралтгүй хөгжүүлж байна.
3. Өндөр хэмжээст байдал: Олон шинж чанартай өгөгдөл (өндөр хэмжээст байдал) нь цэгүүдийн хоорондох зайг тодорхойгүй болгодог тул кластерчлахад бэрхшээл учруулж болзошгүй. Өгөгдлийн хэмжээст байдлыг багасгахын тулд PCA (Үндсэн бүрэлдэхүүн хэсгийн шинжилгээ) зэрэг техникийг практикт ихэвчлэн ашигладаг.
Кластер шинжилгээний ирээдүй нь параметрийн тохиргоо болон кластер баталгаажуулалтад хүний оролцоог хамгийн бага байлгах замаар илүү дасан зохицох чадвартай, автоматжуулсан алгоритмуудыг боловсруулахад чиглэгдэх магадлалтай. Цаашилбал, кластер шинжилгээг гүнзгий сургалт гэх мэт бусад машин сургалтын техникүүдтэй нэгтгэснээр илүү төвөгтэй өгөгдлийн хэлбэлзлийг олж авч, илүү нарийвчлалтай үр дүнд хүрнэ гэж үзэж байна.
Дүгнэлт
Кластер шинжилгээ нь өргөн хэрэглэгддэг чухал статистикийн арга юм. Зах зээлийн сегментчилэлээс эхлээд биологийн судалгаа хүртэл кластерчлалын аргууд нь өгөгдлийг ойлгож, ашиглах үр дүнтэй аргыг санал болгодог. Арга зүй, алгоритмыг тасралтгүй хөгжүүлж, хамгийн сүүлийн үеийн технологитой нэгтгэснээр кластер шинжилгээ нь янз бүрийн салбарт өгөгдөл боловсруулах, шинжлэхэд улам бүр чухал хэрэгсэл болох болно.
