Ang pag-unlad ng teknolohiya ng impormasyon ay nagdudulot ng mga praktikal na resulta. Ngunit ang mga gawain tulad ng paghahanap, pagsusuri at paggamit ng impormasyon ay hindi pa nakakatanggap ng epektibong tool na may mataas na kalidad. May mga analytics at quantitative tool, talagang gumagana. Ngunit hindi pa nangyayari ang isang qualitative revolution sa paggamit ng impormasyon.
Matagal bago ang pagdating ng teknolohiya ng computer, kailangan ng isang tao na magproseso ng malaking halaga ng impormasyon at makayanan ito sa abot ng kanyang karanasan at magagamit na mga teknikal na kakayahan.
Ang pag-unlad ng kaalaman at kasanayan ay palaging nakakatugon sa mga tunay na pangangailangan at tumutugma sa kasalukuyang mga gawain. Ang data mining ay isang kolektibong pangalan na ginagamit upang sumangguni sa isang hanay ng mga pamamaraan para sa pagtuklas ng dati nang hindi alam, hindi mahalaga, praktikal na kapaki-pakinabang at naa-access na kaalaman sa data, na kinakailangan para sa paggawa ng mga desisyon sa iba't ibang larangan ng aktibidad ng tao.
Tao, katalinuhan, programming
Ang isang tao ay laging marunong kumilos sa anumang sitwasyon. Ang kamangmangan o isang hindi pamilyar na sitwasyon ay hindi pumipigil sa kanya sa paggawa ng desisyon. Ang pagiging objectivity at pagiging makatwiran ng anumang desisyon ng tao ay maaaring kuwestiyunin, ngunit ito ay tatanggapin.
Ang katalinuhan ay batay sa: namamana na "mekanismo", nakuha, aktibong kaalaman. Inilapat ang kaalaman upang malutas ang mga problemang lumalabas sa harap ng isang tao.
- Ang katalinuhan ay isang natatanging hanay ng kaalaman at kasanayan: mga pagkakataon at pundasyon para sa buhay at trabaho ng tao.
- Patuloy na umuunlad ang katalinuhan, at ang mga pagkilos ng tao ay may epekto sa ibang tao.
Ang programming ay ang unang pagtatangka na gawing pormal ang representasyon ng data at ang proseso ng paggawa ng mga algorithm.
Ang artificial intelligence (AI) ay isang pag-aaksaya ng oras at mga mapagkukunan, ngunit ang mga resulta ng hindi matagumpay na mga pagtatangka noong nakaraang siglo sa larangan ng AI ay nanatili sa memorya, ginamit sa iba't ibang mga dalubhasa (matalinong) system at binago, sa partikular, sa mga algorithm (rules) at mathematical (logical) data analysis at Data Mining.
Impormasyon at ang karaniwang paghahanap ng solusyon
Ang isang ordinaryong aklatan ay isang imbakan ng kaalaman, at ang nakalimbag na salita at mga graphic ay hindi pa naibibigay ang palad sa teknolohiya ng kompyuter. Palaging may kaugnayan at maaasahan ang mga aklat sa physics, chemistry, theoretical mechanics, disenyo, natural na kasaysayan, pilosopiya, natural na agham, botany, textbook, monograph, gawa ng mga siyentipiko, materyales sa kumperensya, ulat sa gawaing pagpapaunlad, atbp.
Ang
Library ay maraming iba't ibang source na naiibaanyo ng presentasyon ng materyal, pinagmulan, istraktura, nilalaman, istilo ng pagtatanghal, atbp.
Sa panlabas, lahat ay nakikita (nababasa, naa-access) para maunawaan at magamit. Maaari mong lutasin ang anumang problema, itakda nang tama ang gawain, bigyang-katwiran ang solusyon, magsulat ng isang sanaysay o term paper, pumili ng materyal para sa isang diploma, suriin ang mga mapagkukunan sa paksa ng isang disertasyon o isang siyentipiko at analytical na ulat.
Anumang problema sa impormasyon ay maaaring malutas. Sa angkop na tiyaga at kasanayan, ang isang tumpak at maaasahang resulta ay makukuha. Sa kontekstong ito, ang Data Mining ay isang ganap na naiibang diskarte.
Bilang karagdagan sa resulta, ang isang tao ay tumatanggap ng "mga aktibong link" sa lahat ng bagay na tiningnan sa proseso ng pagkamit ng layunin. Ang mga mapagkukunan na ginamit niya sa paglutas ng problema ay maaaring i-refer at walang sinuman ang magtatalo sa katotohanan ng pagkakaroon ng pinagmulan. Hindi ito isang garantiya ng pagiging tunay, ngunit ito ay isang tiyak na patotoo kung kanino ang responsibilidad para sa pagiging tunay ay "na-unsubscribe". Mula sa puntong ito, nangangahulugan ang Data Mining ng malaking pagdududa tungkol sa pagiging maaasahan at walang "aktibong" link.
Sa pamamagitan ng paglutas ng ilang problema, nakakakuha ang isang tao ng mga resulta at pinapalawak ang kanyang potensyal na intelektwal sa maraming "aktibong link". Kung "i-activate" ng isang bagong gawain ang isang umiiral nang link, malalaman ng tao kung paano ito lutasin: hindi na kailangang maghanap muli ng anuman.
Ang
"Active link" ay isang nakapirming kaugnayan: kung paano at ano ang gagawin sa isang partikular na kaso. Awtomatikong natatandaan ng utak ng tao ang lahat ng tila potensyal na interesante, kapaki-pakinabang.o malamang na kailanganin sa hinaharap. Sa maraming mga paraan, ito ay nangyayari sa isang hindi malay na antas, ngunit sa sandaling lumitaw ang isang gawain na maaaring maiugnay sa isang "aktibong link", ito ay agad na lilitaw sa isip at isang solusyon ay makukuha nang walang karagdagang paghahanap para sa impormasyon. Ang Data Mining ay palaging pag-uulit ng algorithm sa paghahanap at hindi nagbabago ang algorithm na ito.
Regular na paghahanap: "artistic" na mga problema
Math library at paghahanap ng impormasyon dito ay medyo mahinang gawain. Ang paghahanap ng isang paraan o iba pa upang malutas ang isang integral, bumuo ng isang matrix, o magsagawa ng operasyon ng pagdaragdag ng dalawang haka-haka na numero ay matrabaho, ngunit simple. Kailangan mong pag-uri-uriin ang ilang aklat, marami sa mga ito ay nakasulat sa isang partikular na wika, hanapin ang tamang teksto, pag-aralan ito at kunin ang kinakailangang solusyon.
Sa paglipas ng panahon, magiging pamilyar ang enumeration, at ang naipon na karanasan ay magbibigay-daan sa iyong mag-navigate sa impormasyon ng library at iba pang mga problema sa matematika. Ito ay isang limitadong espasyo ng impormasyon ng mga tanong at sagot. Isang katangiang katangian: ang ganitong paghahanap para sa impormasyon ay nag-iipon ng kaalaman para sa paglutas ng mga katulad na problema. Ang paghahanap ng isang tao para sa impormasyon ay nag-iiwan ng mga bakas ("mga aktibong link") sa kanyang memorya sa mga posibleng solusyon sa iba pang mga problema.
Sa fiction, hanapin ang sagot sa tanong na: "Paano nabuhay ang mga tao noong Enero 1248?" napakahirap. Mas mahirap sagutin ang tanong kung ano ang nasa mga istante ng tindahan at kung paano inorganisa ang kalakalan ng pagkain. Kahit na ang ilang manunulat ay malinaw at direktang sumulat tungkol dito sa kanyang nobela, kung ang pangalan ng manunulat na ito ay matatagpuan, kung gayon ay nagdududa tungkol samananatili ang pagiging maaasahan ng natanggap na data. Ang pagiging maaasahan ay isang kritikal na katangian ng anumang dami ng impormasyon. Ang pinagmulan, ang may-akda at katibayan na hindi kasama ang kasinungalingan ng resulta ay mahalaga.
Mga layuning pangyayari ng isang partikular na sitwasyon
Nakikita, naririnig, nararamdaman ng tao. Ang ilang mga espesyalista ay matatas sa isang natatanging pakiramdam - intuwisyon. Ang pahayag ng problema ay nangangailangan ng impormasyon, ang proseso ng paglutas ng problema ay madalas na sinamahan ng isang pagpipino ng pahayag ng problema. Ito ang mas mababang problema na dulot ng paglipat ng impormasyon sa bituka ng isang computer system.
Ang library at mga kasamahan sa trabaho ay hindi direktang kalahok sa proseso ng pagpapasya. Ang disenyo ng aklat (pinagmulan), ang mga graphic sa teksto, ang mga tampok ng paghahati ng impormasyon sa mga heading, mga footnote ayon sa mga parirala, ang index ng paksa, ang listahan ng mga pangunahing mapagkukunan - lahat ay nagbubunga ng mga asosasyon sa isang tao na hindi direktang nakakaapekto sa proseso ng paglutas ang problema.
Ang oras at lugar ng paglutas ng problema ay mahalaga. Ang isang tao ay napakaayos na hindi niya sinasadyang binibigyang pansin ang lahat ng bagay na nakapaligid sa kanya sa proseso ng paglutas ng isang problema. Maaari itong nakakagambala, o maaari itong nakapagpapasigla. Hindi kailanman "maiintindihan" ng Data Mining.
Impormasyon sa virtual space
Ang isang tao ay palaging interesado lamang sa maaasahang impormasyon tungkol sa isang kaganapan, phenomenon, bagay, algorithm para sa paglutas ng isang problema. Laging naiisip ng tao kung paano niya makakamit ang ninanais na layunin.
Ang hitsura ng mga computer at sistema ng impormasyon ay dapat na nagpadali sa buhay ng isang tao, ngunit ang lahat ay naging mas kumplikado lamang. Lumipat ang impormasyon sa bituka ng mga computer system at nawala sa paningin. Para piliin ang kinakailangang data, kailangan mong gumawa ng tamang algorithm o magbalangkas ng query sa database.
Dapat tama ang tanong. Saka ka lang makakakuha ng sagot. Ngunit nananatili ang mga pagdududa tungkol sa pagiging tunay. Sa ganitong kahulugan, ang Data Mining ay talagang "mga paghuhukay", ito ay "pagkuha ng impormasyon". Ganito uso ang pagsasalin ng pariralang ito. Ang bersyong Ruso ay data mining o data mining technology.
Sa mga gawa ng mga awtoritatibong espesyalista, ang mga gawain ng Data Mining ay ipinahiwatig tulad ng sumusunod:
- classification;
- clustering;
- asosasyon;
- sequence;
- pagtataya.
Mula sa pananaw ng kasanayang gumagabay sa isang tao sa manu-manong pagproseso ng impormasyon, lahat ng mga posisyong ito ay mapagdedebatehan. Sa anumang kaso, ang isang tao ay awtomatikong nagpoproseso ng impormasyon at hindi nag-iisip tungkol sa pag-uuri ng data, pag-compile ng mga pampakay na pangkat ng mga bagay (clustering), paghahanap ng mga temporal na pattern (sequence) o paghula ng resulta.
Ang lahat ng posisyong ito sa isipan ng tao ay kinakatawan ng aktibong kaalaman, na sumasaklaw sa higit pang mga posisyon at dynamic na ginagamit ang lohika ng pagproseso ng paunang data. Ang subconscious ng isang tao ay gumaganap ng isang mahalagang papel, lalo na kapag siya ay isang espesyalista sa isang partikular na larangan ng kaalaman.
Halimbawa: Pakyawan ng mga kagamitan sa kompyuter
Simple lang ang gawain. Mayroong ilangdose-dosenang mga supplier ng mga kagamitan sa computer at peripheral. Ang bawat isa ay may listahan ng presyo sa xls format (Excel file), na maaaring i-download mula sa opisyal na website ng supplier. Kinakailangang gumawa ng web resource na nagbabasa ng mga Excel file, nagko-convert sa mga ito sa mga talahanayan ng database at nagbibigay-daan sa mga customer na pumili ng mga gustong produkto sa pinakamababang presyo.
Ang mga problema ay lumitaw kaagad. Ang bawat supplier ay nag-aalok ng sarili nitong bersyon ng istraktura at nilalaman ng xls file. Makukuha mo ang file sa pamamagitan ng pag-download nito mula sa website ng supplier, pag-order nito sa pamamagitan ng e-mail, o pagkuha ng download link sa pamamagitan ng iyong personal na account, iyon ay, sa pamamagitan ng opisyal na pagrehistro sa supplier.
Ang solusyon sa problema (sa simula pa lang) ay simple sa teknolohiya. Naglo-load ng mga file (paunang data), isang algorithm ng pagkilala ng file ay isinulat para sa bawat supplier at ang data ay inilalagay sa isang malaking talahanayan ng paunang data. Matapos matanggap ang lahat ng data, pagkatapos maitatag ang mekanismo ng tuluy-tuloy na pagpapalit (araw-araw, lingguhan o kapag nagbago) ng bagong data:
- palitan ang assortment;
- mga pagbabago sa presyo;
- paglilinaw ng dami ng stock;
- pagsasaayos ng mga tuntunin ng warranty, mga detalye, atbp.
Dito nagsisimula ang mga tunay na problema. Ang bagay ay maaaring sumulat ang supplier:
- notebook Acer;
- notebook Asus;
- Dell laptop.
Pinag-uusapan natin ang tungkol sa parehong produkto, ngunit mula sa iba't ibang mga tagagawa. Paano itugma ang notebook=laptop o kung paano alisin ang Acer, Asus at Dell mula sa isang linya ng produkto?
Para sahindi problema ang tao, ngunit paano "maiintindihan" ng algorithm na ang Acer, Asus, Dell, Samsung, LG, HP, Sony ay mga trademark o supplier? Paano itugma ang "printer" at printer, "scanner" at "MFP", "copier" at "MFP", "headphones" sa "headset", "accessories" sa "accessories"?
Ang pagbuo ng category tree batay sa source data (source files) ay isa nang problema kapag kailangan mong itakda ang lahat sa awtomatiko.
Data sampling: mga paghuhukay ng "bagong ibinuhos"
Ang gawain ng paglikha ng database ng mga supplier ng kagamitan sa computer ay nalutas na. Ang isang puno ng mga kategorya ay binuo, isang karaniwang talahanayan na may mga alok mula sa lahat ng mga supplier ay gumagana.
Mga karaniwang gawain sa Pagmimina ng Data sa konteksto ng halimbawang ito:
- maghanap ng produkto sa pinakamababang presyo;
- piliin ang item na may pinakamababang halaga at presyo sa pagpapadala;
- pagsusuri ng produkto: mga katangian at presyo ayon sa pamantayan.
Sa tunay na gawain ng isang manager gamit ang data mula sa ilang dosenang mga supplier, magkakaroon ng maraming variation ng mga gawaing ito, at mas maraming totoong sitwasyon.
Halimbawa, may supplier na "A" na nagbebenta ng ASUS VivoBook S15: prepayment, delivery 5 araw pagkatapos ng aktwal na pagtanggap ng pera. May supplier na "B" ng parehong produkto ng parehong modelo: pagbabayad sa oras na matanggap, paghahatid pagkatapos ng pagtatapos ng kontrata sa loob ng isang araw, ang presyo ay isa at kalahating beses na mas mataas.
Nagsisimula ang Data Mining - "mga paghuhukay". Mga matalinghagang ekspresyon: "mga paghuhukay" o "pagmimina ng data" ay magkasingkahulugan. Ito ay tungkol sa kung paano makakuha ng dahilan para magdesisyon.
Ang mga supplier na "A" at "B" ay may kasaysayan ng mga paghahatid. Gradepaunang bayad sa unang kaso laban sa pagbabayad sa resibo sa pangalawang kaso, na isinasaalang-alang na ang pagkabigo sa paghahatid sa pangalawang kaso ay 65% na mas mataas. Ang panganib ng mga parusa mula sa kliyente ay mas mataas/mas mababa. Paano at ano ang tutukuyin at anong desisyon ang gagawin?
Sa kabilang banda: ang database ay ginawa ng isang programmer at isang manager. Kung nagbago ang programmer at manager, paano matukoy ang kasalukuyang estado ng database at matutunan kung paano ito gamitin nang tama? Kakailanganin mo ring gawin ang data mining. Ang Data Mining ay nag-aalok ng iba't ibang mathematical at logical na pamamaraan na walang pakialam kung anong uri ng data ang sinasaliksik. Nagbibigay ito ng tamang solusyon sa ilang sitwasyon, ngunit hindi sa lahat.
Paglipat sa virtuality at paghahanap ng kahulugan
Ang mga paraan ng Pagmimina ng Data ay nagiging makabuluhan sa sandaling maisulat ang impormasyon sa database at mawala sa “field of view”. Ang pangangalakal ng kagamitan sa kompyuter ay isang kawili-wiling gawain, ngunit ito ay isang negosyo lamang. Kung gaano siya ka-organisado sa kumpanya ay nakasalalay sa tagumpay nito.
Mga pagbabago sa klima sa planeta at ang lagay ng panahon sa isang partikular na lungsod ay interesado sa lahat, hindi lamang sa mga propesyonal na eksperto sa klima. Libu-libong sensor ang kumukuha ng mga pagbabasa ng hangin, halumigmig, presyon, data mula sa mga artipisyal na Earth satellite at mayroong kasaysayan ng data sa loob ng maraming taon at siglo.
Ang data ng panahon ay hindi lamang tungkol sa pagpapasya kung magdadala o hindi ng payong sa trabaho. Ang mga teknolohiya ng Data Mining ay ang ligtas na paglipad ng isang airliner, ang matatag na operasyon ng isang highway at ang maaasahang supply ng mga produktong petrolyo sa pamamagitan ng dagat.
Ang
"Raw" na data ay ipinapadala sa impormasyonsistema. Ang mga gawain ng Data Mining ay gawing sistematikong sistema ng mga talahanayan, magtatag ng mga link, mag-highlight ng mga pangkat ng magkakatulad na data, at makakita ng mga pattern.
Mathematical at logical na pamamaraan mula noong mga araw ng quantitative analytics OLAP (On-line Analytical Processing) ay nagpakita ng kanilang pagiging praktikal. Dito, binibigyang-daan ka ng teknolohiya na makahanap ng kahulugan, at hindi mawala ito, tulad ng halimbawa ng pagbebenta ng kagamitan sa computer.
Bukod dito, sa mga pandaigdigang gawain:
- transnational na negosyo;
- pamamahala sa transportasyong panghimpapawid;
- pag-aaral ng bituka ng mundo o mga suliraning panlipunan (sa antas ng estado);
- pag-aaral ng epekto ng droga sa buhay na organismo;
- paghuhula sa mga kahihinatnan ng pagtatayo ng isang pang-industriyang negosyo, atbp.
Data Mine na mga teknolohiya at gawing totoong data ang “walang kabuluhan” na data na nagbibigay-daan sa iyong gumawa ng mga layuning desisyon ang tanging opsyon.
Nagtatapos ang mga posibilidad ng tao kung saan mayroong malaking halaga ng hilaw na impormasyon. Nawawala ang pagiging kapaki-pakinabang ng mga data mining system kung saan kinakailangan na makita, maunawaan at madama ang impormasyon.
makatwirang pamamahagi ng mga function at objectivity
Ang tao at ang computer ay dapat magkatugma sa isa't isa - ito ay isang axiom. Ang pagsulat ng isang disertasyon ay isang priyoridad para sa isang tao, at isang sistema ng impormasyon ay isang tulong. Dito, ang data na mayroon ang teknolohiya ng Data Mining ay heuristics, rules, algorithms.
Ang paghahanda ng lingguhang pagtataya ng panahon ang priyoridad ng sistema ng impormasyon. Pinamamahalaan ng tao ang data, ngunit ibinabatay ang kanyang mga desisyon sa mga resulta ng mga kalkulasyon ng system. Pinagsasama nito ang mga pamamaraan ng Pagmimina ng Data, pag-uuri ng dalubhasang data, manu-manong kontrol ng aplikasyon ng mga algorithm, awtomatikong paghahambing ng nakaraang data, pagtataya sa matematika at maraming kaalaman at kasanayan ng mga totoong taong kasangkot sa aplikasyon ng sistema ng impormasyon.
Ang teorya ng probabilidad at mga istatistika ng matematika ay hindi ang pinaka "paborito" at nauunawaang mga lugar ng kaalaman. Maraming mga espesyalista ang napakalayo sa kanila, ngunit ang mga pamamaraan na binuo sa mga lugar na ito ay nagbibigay ng halos 100% tamang resulta. Sa pamamagitan ng paglalapat ng mga system batay sa mga ideya, pamamaraan at algorithm ng Data Mining, ang mga solusyon ay maaaring makuha nang may layunin at mapagkakatiwalaan. Kung hindi, imposibleng makakuha ng solusyon.
Mga Paraon at misteryo ng nakalipas na mga siglo
Ang kasaysayan ay pana-panahong muling isinulat:
- estado - para sa kapakanan ng kanilang mga estratehikong interes;
- makapangyarihang mga siyentipiko - alang-alang sa kanilang pansariling paniniwala.
Mahirap sabihin kung ano ang totoo at kung ano ang mali. Ang paggamit ng Data Mining ay nagbibigay-daan sa amin upang malutas ang problemang ito. Halimbawa, ang teknolohiya ng pagbuo ng mga pyramid ay inilarawan ng mga chronicler at pinag-aralan ng mga siyentipiko sa iba't ibang siglo. Hindi lahat ng materyal ay nakuha sa Internet, hindi lahat ay natatangi dito, at maraming data ang maaaring walang:
- inilarawan ang punto sa oras;
- oras ng pagsulat ng paglalarawan;
- mga petsa kung saan nakabatay ang paglalarawan;
- may-akda, opinyon (link) na isinasaalang-alang;
- pagkumpirma ng objectivity.
Bmga aklatan, templo, at "hindi inaasahang lugar" maaari kang makakita ng mga manuskrito mula sa iba't ibang siglo at materyal na ebidensya ng nakaraan.
Kawili-wiling layunin: pagsama-samahin ang lahat at matuklasan ang "katotohanan". Tampok ng problema: ang impormasyon ay maaaring makuha mula sa unang paglalarawan ng isang chronicler, sa panahon ng buhay ng mga pharaoh, hanggang sa kasalukuyang siglo, kung saan ang problemang ito ay nalutas sa pamamagitan ng mga modernong pamamaraan ng maraming siyentipiko.
Rationale para sa paggamit ng Data Mining: hindi posible ang manual labor. Masyadong maraming dami:
- mga mapagkukunan ng impormasyon;
- mga wika ng representasyon;
- mga mananaliksik na naglalarawan ng parehong bagay sa iba't ibang paraan;
- petsa, kaganapan at tuntunin;
- term na problema sa ugnayan;
- ang pagsusuri ng mga istatistika ng mga pangkat ng data sa paglipas ng panahon ay maaaring mag-iba, atbp.
Sa pagtatapos ng huling siglo, nang ang isa pang kabiguan ng ideya ng artipisyal na katalinuhan ay naging halata hindi lamang sa karaniwang tao, kundi pati na rin sa isang sopistikadong espesyalista, ang ideya ay lumitaw: "upang muling likhain ang personalidad."
Halimbawa, ayon sa mga gawa ni Pushkin, Gogol, Chekhov, isang tiyak na sistema ng mga patakaran, nabuo ang lohika ng pag-uugali at isang sistema ng impormasyon ay nilikha na maaaring sumagot sa ilang mga katanungan tulad ng gagawin ng isang tao: Pushkin, Gogol o Chekhov. Sa teorya, ang ganitong gawain ay kawili-wili, ngunit sa pagsasagawa, ito ay lubhang mahirap ipatupad.
Gayunpaman, ang ideya ng naturang gawain ay nagmumungkahi ng isang napakapraktikal na ideya: "kung paano lumikha ng isang matalinong paghahanap ng impormasyon." Ang Internet ay maraming bumubuo ng mga mapagkukunan, isang malaking database at ito ay isang magandang pagkakataon upang ilapat ang Data Mining sa kumbinasyon ng taolohika sa format ng pinagsamang pag-unlad.
Ang makina at isang tao na magkapares ay isang mahusay na gawain at isang walang alinlangan na tagumpay sa larangan ng "archeology ng impormasyon", mga de-kalidad na paghuhukay sa data at mga resulta na maglalagay ng isang bagay sa pagdududa, ngunit walang pag-aalinlangan ay magbibigay-daan sa iyo upang makakuha ng bagong kaalaman at magiging in demand sa lipunan.
