Page 1 of 2 12 LastLast
Results 1 to 20 of 27

Thread: DIY storage 100TB priekš CCTV

  1. #1

    Default DIY storage 100TB priekš CCTV

    Sveiki, vīri.
    Ir radusies nepieciešamība pēc liela storage priekš CCTV par mazām naudām
    Doma ir paņemt plati ar 10 sata portiem, vismaz i5 7 paaudzi, 8 GB RAM, PSU ar vismaz 10 spraudņiem, divus m.2 diskus priekš linukša sistēmas (divi priekš drošības) un labākajā gadījumā rackmount keisu, kur to visu iebāzt iekšā.
    Kā diskus domāju 10x 10TB Seagate Skyhawk ar 256 MB bufferi u.t.t

    Protams, tas viss atrodīsies labi ventilētā telpā ar kondišķām (vidējā temp ap 19 grādiem).

    Viss tiks saslēgts RAID5.

    Kāds ir būvējis kaut ko tādu un ja ir, tad kādi ir ieteikumi?

    EDIT: Esošais dzelzis nespēj tikt galā ar esošo kameru apjomu un trafficu (~250Mbps avg.)
    Pēc logiem un grafiem, ne CPU, ne RAM nav noslogots pat ap 30%

  2. #2
    Bannned Kuuminsh's Avatar
    Join Date
    09-01-06
    Posts
    11,985
    Blog Entries
    1
    Rep Power
    427

    Default

    250Mbps tas tak nekas nav. Rupji 35MB/sec
    Kā tā sanāk, ka netiek galā esošā sistēma?
    Только массовые расстрелы програмистоф спасут Родину!



  3. #3
    Pieredzējis lietpratējs Bender's Avatar
    Join Date
    24-05-06
    Posts
    1,439
    Rep Power
    233

    Default

    Ierēķini, ka pārbūvēt 10TB disku RAID5 masīvā tev aizņems 4-5 diennaktis, kuru laikā tu riskē zaudēt visus datus, ja vēl kāds disks izdomās aiziet pie dieviem.
    Pie kam tas būs fakeRAID.

  4. #4

    Default

    Jā, neizklausās pēc mazām naudām ja value ir 8TB diski nevis 10TB.

    Es rekomendēju taisīt uz freenas (lai gan nezinu kā tāds reaģēs uz CCTV saturu), daudz patīkamāki ātrumi. Vienīgi ramu Tev vajdzēs tajā gadījumā noteikti vismaz 32GB.

    Vispār pašos pirmsakumos labāk pieslēdz SSD un pasties vai tiešām disku masīvs ir tas, kas nevelk sulu.
    “To buy when others are despondently selling and to sell when others are avidly buying requires the greatest fortitude and pays the greatest ultimate rewards.” -Sir John Templeton

  5. #5

    Default

    Pagaidam ir Snapservers xsr 120 ar 36 TB ietilpibu. Ja pusi kameru nosledz nost tad viss plus minus strada ok.
    Darbojas ar Dynamicraid, kas cik noprotu ir hibrid raid 5.
    No konsoles vareja izdabut cpu un ram noslodzi bet ne hdd noslodzi.
    Freenas baida tas apgraizitais freebsd, kuru troubleshootot varetu but problemas.
    Ir doma likt debianu kura piesaistit virtualo raid kontrolieri un parejas peripetijas.
    Bus viena spare un piesaistit jaunu disku nebus problemas, jo var inicializet ar roku.
    Jautajums par to, vai taisit divus raida poolus vai visu viena?
    Edit: sorry par garumzimem, jo no telefona ilgi sanak

  6. #6
    Bannned Kuuminsh's Avatar
    Join Date
    09-01-06
    Posts
    11,985
    Blog Entries
    1
    Rep Power
    427

    Default

    Aammm hmz
    A kā tu nonāci pie 250Mbit?
    Moš sāpe ir nepareizos izejas datos.
    Jo 250Mbit ir maz.
    Ja Tev tev tur ir, nu es nezinu... 100 kameras, tad trafiks noteikti ir vairāk kā 250Mbit.

    Moš jāsāk ar IOPS kalkulāciju un tad jau varētu virzīties tālāk.
    Только массовые расстрелы програмистоф спасут Родину!



  7. #7

    Default

    Es to taisītu uz ZFS raidz2 ar cache un log SSD devaisiem.

  8. #8

    Default

    Probably vēl vienkāršāk visu atrisinātu jēdzīga arhivācijas un retention politika

    Tehniskām problēmām vienmēr vispirms jāmeklē netehnisks risinājums!

  9. #9
    Pieredzējis lietpratējs andrisri's Avatar
    Join Date
    14-03-11
    Posts
    4,640
    Rep Power
    432

    Default

    Quote Originally Posted by maarells View Post
    Doma ir paņemt plati ar 10 sata portiem
    +
    Viss tiks saslēgts RAID5.
    Vispirms atrdot tādu plati ar 10x SATA
    Bet vispār - šo ideju uzreiz aizmirsti, Intel integrētajam kontrolierim RAID 5 ātrums ir vienkārši šausmīgs.
    Vismaz 300€ par RAID karti pieskaiti un tad jau nebūs "šaurā vieta" disku kontrolieris.

  10. #10

    Default

    Hardwariskais RAID ir arhajisms. Musdienu procesoros esošās kriptogrāfijas akselerācijas lieliski palīdz arī advancetakos RAID līmeņos. Kā otrs labums ir pārnesamības iespēja uz teju jebkadu citu dzelzi.

  11. #11

    Default

    Manu sata2 raid karti nevienma nevajadzeja līdz igaunis nopirka visas!
    “To buy when others are despondently selling and to sell when others are avidly buying requires the greatest fortitude and pays the greatest ultimate rewards.” -Sir John Templeton

  12. #12

    Default

    Varbūt pusbeigts switch? Netiek ar trafiku galā? Ir taču Gbit switch, ne?
    CCTV kameru kompresēšanas algoritms par prastu? (tiek aizsista viss datu joslas platums?)
    Tam aparātam -- Snapservers xsr 120 -- tā kā vajadzētu tikt galā ar 250mbitiem...

  13. #13

    Default

    Paldies par atbildēm!

    Pie 250 Mbps nonācu apskatoties CCR Mikrotika attiecīgo interfeisu. Tas Snapservers ir pietiekoši dumjš un caur snmp neko daudz ārā nedod.
    Par ZFS iesāku studēt, bet bija ideja par debianu ar visvienkāršāko samba shāri, kuru disastera gadījumā arī varētu pacelt pēc iespējas vienkāršāk (plug n play motherboard)

    Trakākais jau ir tas ka ir nepieciešams gan write speed, gan read speed, jo ļoti bieži nepieciešams vienlaicīgi skatīties live un rakstīt no arhīva.

    BTW pielikšu linkus par domātajām detaļām -
    1. MB - https://www.asrock.com/MB/Intel/Fata...20i7/index.asp
    2. CPU - https://ark.intel.com/products/97147...p-to-3-50-GHz-
    3. RAM - https://www.crucial.com/usa/en/bls4g4d240fsb
    4. m.2 - http://www.xtremesystems.org/forums/...280-SSD-Review
    5. HDD - https://www.overclockersclub.com/rev..._skyhawk_10tb/
    6. PSU - http://www.chieftec.eu/en/psus/ps-2/...gps-1250c.html

    Ideālo keisu vēl meklēju

    Principā ar switchiem un routeri ir ok, jo pašlaik izmanto
    http://router.lv/product/389/lv/CCR1009-7G-1C-1S+/
    CCRam procis vispār netiek noslogots virs 10%

  14. #14
    Pieredzējis lietpratējs andrisri's Avatar
    Join Date
    14-03-11
    Posts
    4,640
    Rep Power
    432

    Default

    Ok, plati ar 10x SATA atradi, bet ņem vērā ka M.2 slotos iespraustie SATA SSD diseiblos kādu no SATA portiem attiecīgi, tā kā tik un tā nevari pieslēgt 10x 10TB HDD.

  15. #15

    Default

    Mani 2 centi...
    Gaming plate serverim? Kaut kā ļoti nenopietni viss šis izklausās.
    Un jā, tie 250 MB/s neizklausās kaut kas ļoti daudz ar ko current setup netiktu galā. Vai nu konfigurācija līka vai kāds network bottleneck.
    [Pending]

  16. #16

    Default

    SATA portu jautājumu var elementāri risināt - vai nu portu multiplikatori par 1 sviestmaizi vai 8 portu lēta SAS kontra pa 3 sviestmaizēm.

    Domāju, ka te viss atduras IO trūkumā un RAID5 šo jautājumu tikai vēl vairāk pasliktina.

  17. #17
    Bannned Kuuminsh's Avatar
    Join Date
    09-01-06
    Posts
    11,985
    Blog Entries
    1
    Rep Power
    427

    Default

    Disku sistēma var izrādīties šaurā vieta pie liela apjoma random krapa.
    Pieņemu, ka tieši datu fragmentācija rada problēmas.

    Lai vai kā, pirms kaut ko tur ņemt vietā, obligāti ir jāizpēta un jānoskaidro kas tieši bremzē šobrīd.
    Ir jānoskaidro kas ir ar IOPS esošajai sistēmai.

    A ir opcija saorganizēt testa stendu ar dažām kamerām?
    Kaut kā laboratoriskos apstākļos nomērīt, kas ko un cik rij.

    Pirkt jaunu storidžu pilnīgi uz aklo ir gaužām muļķīgi.

    Jānoskaidro iopši esošajai, jāizrēķina cik IOPS vajag un tikai tad jādomā par dzelzi un softisko risinājumu.
    Только массовые расстрелы програмистоф спасут Родину!



  18. #18

    Default

    piekrītu Kūmiņam -- jātiek skaidrībā ar esošo kasti, jo
    * esošajai kastei jātiek galā ar 250mbit plūsmu;
    * Iespējams, ka cipars "250mbit" ir nepareizs, jo tā domāt mudina teikums: "Ja pusi kameru nosledz nost tad viss plus minus strada ok.";

  19. #19

    Default

    Paldies par ieteikumiem kolēģi, will do.
    FYI - Ja manis linkotajā platē izmanto nevis sata m.2 bet gan pci x4 m.2, tad tas sata portiem netaisa disable!!

    Tagad uzliku esošo storage uz diviem atsevišķiem raida pooliem (iekš RAID5) un skatīšos kas par desām. Respektīvi sadalīju vienu 34 TB poolu pa 2x 17TB

  20. #20

    Default

    Nu vismaz uz ierakstu dabūji 2x vairāk IO. Vēl skaties kas ar stripe izmēru un vai esi noformatējis ņemot šo un citus RAID masīva parametrus vērā.

Thread Information

Users Browsing this Thread

There are currently 1 users browsing this thread. (0 members and 1 guests)

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •