--- Day changed Sat Mar 05 2011
09:04 <@vhautaka> klusteri taitaa sitten olla alhaalla
09:37 <@pmtonter> Joo.
09:38 <@pmtonter> Hassua, ettei CMC:t oo noussu ni voisi potkia niitä ylös etänä.
09:38 <@pmtonter> Eli siis toisinsanoen; kehikot on ihan kylminä.
09:39 <@pmtonter> Saisko niihin konfiksen, että ne nousis automatic?
09:39 <@pmtonter> ... tosin voihan siellä olla sulakeongelmaakin, tms.
09:40 <@pmtonter> ... mut en muista, oliks siellä konfista tohon automatic power oniin.
09:40 <@pmtonter> Ja ihan kuriositeettinä: HP:n OAt nousee aina, niissä ei ees oo virtanäppäintä.
09:41 <@pmtonter> Postien mukaan menny alas 3:56, jolloin kehikot on ilmoittanu virtojen
loppuneen viimesiltäkin virtalähteiltä.
09:47 <@pmtonter> Mielenkiintoista sinänsä; UPSit ei oo valittanu mistään.
09:49 <@pmtonter> CMC:t on kuukahtanu 3:56:33 ja 04:00:33.
09:50 <@pmtonter> Tämä napattu kytkimen, johon CMC:t on kytketty, lokeista.
10:03 <@pmtonter> HELEN ei tunnusta sähkökatkoksia ainakaan webisivuillaan.
10:04 <@pmtonter> ... liittyen tähän klusterin tippumiseen.
10:16 <@vhautaka> ainakaan muiden koneiden dracit ei ilmoita korkeita lämpöjä, joten kaipa
konesalissa muuten kaikki okei
10:18 <@pmtonter> Hieman on vielä koholla.
10:19 <@pmtonter> ... tai no, ihan OK.
10:36 <@pmtonter> ... ja varmaan vakioituu tosta pikku hiljaa.
10:46 <@jjaakkol> mitäs tuolla nyt oikein tapahtunut
10:46 <@jjaakkol> klusteri mennyt alas, mutta ei mitään muuta?
10:46 <@pmtonter> Jäähdytys kans, mut ei ilmeisesti muuta.
10:48 <@pmtonter> Jäähdytys tosin nousi ite.
10:50 <@jjaakkol> joo-o, kaikki kehikot tosiaan hävinneet näkyvistä
10:50 <@jjaakkol> kukaan ei ole varmaan tehnyt katkoraporttia?
10:51 <@jjaakkol> no, jospa minä teen
10:52 <@pmtonter> Pitäsköhän siellä käydä, vai oisko vasta ma- aamuna?
10:53 <@jjaakkol> Eipä siitä meille kellekään makseta
10:53 <@pmtonter> No ei. Eikä varmaan aletakkaan, jos ny menee.
10:53 <@pmtonter> Hmm...
10:53 <@pmtonter> Työasemat on ylhäällä.
10:54 <@pmtonter> Eli siis ... vaaan klusteri kyykkäs?
10:54 <@jjaakkol> niinpä, toi on outoa
10:54 <@jjaakkol> kai siellä pitää käydä katsomassa mitä hittoa on oikein tapahtunut
10:54 <@jjaakkol> ettei vaan ole taikasavut karannut jostain
10:54 <@pmtonter> Kysyin TLR:ltä, onko kykät monottanu.
10:54 <@pmtonter> No jos on, ni ei kai sille mitään nyt voi.
10:54 <@pmtonter> Tosin voihan toi koko konis palaa parhaillaan... ;)
10:55 <@jjaakkol> niin...
10:55 <@pmtonter> Mut ei siellä kyllä lämminkään oo.
10:55 <@pmtonter> Kattelin just lämpötiloja eri räkeistä.
10:57 <@pmtonter> Pommarinkin koneet on OK.
10:57 <@pmtonter> jjaakkol: Oisitsä lähössä käymään?
10:57 <@pmtonter> Mä voisin tulla hakeen sut kohta.
10:58 <@jjaakkol> lähen varmaan omalla autolla, mutta ensin syön aamiaista
10:58 <@pmtonter> Vaikkei siellä kyllä mitään näkemistä varmaan ookkaan.
10:58 <@jjaakkol> mihin aikaan noi hävisi?
10:58 <@pmtonter> 03:56.
10:58 <@pmtonter> backlogista löytyy.
11:03 <@pmtonter> No samapa tuo, mäkin voisin tulla käymään. Nousiks noi ylös viimeks?
11:03 <@pmtonter> ... niinku itekseen? (Kai pitäis.)
11:03 <@jjaakkol> suurin osa solmuista nousi ja kaikki kehikot nousi
11:04 <@pmtonter> Jeps, jotain tollasta muistelinkin.
11:04 <@pmtonter> No, kai tää on sit näkemisen arvonen. ;)
11:04 <@pmtonter> Ajattelisä olla siellä monelta?
11:05 <@jjaakkol> hmmh. 13 pitää viedä lapset synttäreille, joten joskus 12-13
11:05 <@pmtonter> Ugh. Vois synkkaa.
11:05 <@jjaakkol> nooh, tarvitaankohan siellä meitä molempia?
11:05 <@pmtonter> Ei. :)
11:06 <@pmtonter> Ja mä voin tietty lähtee maalle. Kerro sit mikä siellä mätäni.
11:06 <@pmtonter> Mut nyt kauppaan. :)
11:07 <@jjaakkol> hmmh, tollainen katoaminen melkein todennäköisemmin on joku verkkojuttu,
kuin klusterista itestään
11:08 <@jjaakkol> mut joo, jos minä käyn katsomassa ja korjaan jos osaan
11:08 <@pmtonter> Joo, siis sähköverkkojuttu.
11:08 <@pmtonter> Kaikki linkit klusteriin päin on alhaalla, niin CMC:t kuin kehikkokykätkin.
11:08 <@jjaakkol> onks kaikki kykät ylhäällä?
11:09 <@jjaakkol> okei, eli vaan klusterikykät hävisi?
11:09 <@pmtonter> Kaikki muut paitsi kehikkokykät.
11:09 <@pmtonter> Jeps.
11:09 <@pmtonter> Verkossa on aika harvoin vikaa.
11:12 <@pmtonter> Ja kykätkin kyykkää aika harvoin, esim. toi 2848, jossa CMC:t on kiinni sanoo:
Up Time : 232 days
11:13 <@pmtonter> Nexukset, joissa kehikkokykät on kiinni, mainitsee Kernel uptime is 340 day(s),
17 hour(s), 24 minute(s), 14 second(s)
12:14 <@jjaakkol> tämä on tosiaan virrat pois
12:14 <@jjaakkol> virtanapista ei tapahdu mitään
12:15 <@jjaakkol> keksinköhän missä on sulake
12:36 <@pmtonter> Olikse se vitoskaappi.
12:36 <@pmtonter> Se, jonka virrat _ei_ tuu kakkosupsin kaapista.
12:37 <@pmtonter> Nelonen oli muistaakseni (joo-o, pitäs dokumentoida) se kaappi, joka tulee
kakkosupsin takaa ja antaa virtoja esim. lattian alle.
12:37 <@jjaakkol> jk4-atk ja joo
12:37 <@pmtonter> Ai se oli niinpäin. OK.
12:38 <@jjaakkol> sen kWh mittarikin on pimeenä
12:38 <@pmtonter> Hieman epäloogista, mutta kuitenkin.
12:40 <@jjaakkol> mut jokin ln tosiaan vetänyt jonkin sulakkeen alas ilmeisesti
12:41 <@jjaakkol> nyt pitää hetkeksi lopettaa irccaus kun pitää ajaa autoa
12:43 <@pnikland> Pervilän tehomittaus kaapista jk4:
12:43 <@pnikland> http://www.cs.helsinki.fi/group/greenict/exactum-kwhcalc/jk4_atk-last-day.svg
12:43 <@pmtonter> No jopas! :o
12:44 <@pnikland> Eilen illalla noin klo 19:30 tehon kulutus on pompannut, ja vähän ennen
neljää yöllä hiljeni.
12:44 <@pnikland> Kaikki käyrät http://www.cs.helsinki.fi/group/greenict/exactum-kwhcalc/
12:44 <@pmtonter> Millaset paukut tonne tulikaan tonne klusterille?
12:44 <@pmtonter> ... kun en muista.
12:44 <@pmtonter> Onks meillä speksejä sähkösesti missään?
12:45 <@pnikland> Millaisen sulakkeen takana oli ennen Hiitin UPS?
12:45 <@pmtonter> Oisko 32A?
12:46 <@pnikland> 45 kW (arvio graafista) tarkoittaa lähes 200 A, eli kolmeen vaiheeseen jaettuna
66 A!
12:46 <@pmtonter> Hmm... Jos sinne on vaihdettu 63:set?
12:47 <@pmtonter> Saatais selittää ton, kun 32A varmaan antautuis ns. heti.
12:47 <@pmtonter> Mitähän tuolla on tapahtunu (klusterissa) kun se tolleen hörppää?
12:47 <@pnikland> Olisko sähkäreilla tullut mitotusvirhe, tai sitten siinä kaapissa on kiinni
jotain muutakin kuin Ukko. Tai sitten Ukko on nälkäisempi kuin luultiin.
12:47 <@pmtonter> No, eipä toisaalta oo eka kerta.
12:48 <@pmtonter> Tossa kun kattoo viikon käyrän, ni onhan siellä ollu lähellä tollasta ennenkin.
12:48 <@pmtonter> Mut ei ihan noin suurta kulutusta.
12:48 <@pnikland> Jos sulake, niin se kesti kuitenkin 8.5 tuntia.
12:48 <@pmtonter> Sitkee sissi.
12:49 <@pnikland> Joku osannut saada Ukon kunnolla käyttöön.
12:49 <@pmtonter> Toihan on ollu hieman nouseva käyrä tosin.
12:49 <@pmtonter> No vähän niinku joo.
12:50 <@pnikland> Olipa heti kiva, että on nuo kulutusmittarit ja niistä käyrät. Tosin ilmankin
tätä kivaa olisi pärjätty :-)
12:50 <@pmtonter> Siellä ei tainnu olla vielä niitä SNMP- käppyröitä missään? Ois voinnu pikkasen
loadeja bongailla.
12:51 <@pmtonter> Joo, käppyrät on kivoja erityisesti just sillon, kun joku tekee tällasta.
12:52 <@pmtonter> Mä kommentoin tosta siihen tikettiin, saa Aimo ottaa taas kantaa, että mitvit.
Mut vasta sen jälkeen, kun selvii että mikä tossa oli.
12:52 <@pmtonter> jjaakkol: Rytkönen varmaan soittelee sulle?
12:53 <@pnikland> Ukon viimeisiä loadea joitin katsoa, mutta ne onkin päivittyny viimeksi
torstaiaamuna:
12:53 <@pnikland> http://www.cs.helsinki.fi/group/greenict/exactum-kwhcalc/
12:53 <@pnikland> Eiku http://www.cs.helsinki.fi/u/jjaakkol/hpc-report.txt
12:53 <@pmtonter> To? :o
12:53 <@pmtonter> Outoo.
12:54 <@pmtonter> Harmi. To aamu ei vielä osu siihen aikaikkunaan, jolloin virtaa on kulunu
ns. runsaasti.
12:55 <@pmtonter> No nyt siellä taas lämpenee... :/
12:55 <@pmtonter> Kiinteistö saa kyllä laittaa noi VIKit valvontaan, tavalla tai toisella.
13:07 <@pnikland> Voihan tietty olla, että meillä on tosi vinot vaihekuormat Ukolla. Jos siis
kullakin kolmesta vaiheesta on oma sulake sähköpääkeskuskuksessa.
13:09 <@pmtonter> Toki, mut eiks ne kytketty ihan 1, 2, 3, 1, 2, 3, 1, 2, ...?
13:09 <@pmtonter> Ainakin piti ja siten pitäis olla suht tasasta, noin koko klusterin yli.
13:13 <@pnikland> Totta kyllä. Olisko sitten joku pääsulake lämmennyt liikaa. No, Rytkönen
tutkinee.
13:14 <@pnikland> Tekninen päivystys on siis 191 44100. Sinne Jani kilautti.
13:16 <@pmtonter> Ugh, paan .. jonnee tyrkylle.
13:31 <@jjaakkol> onkps klusteri herännyt nyt vai?
13:33 <@pmtonter> Ei ainakaan bc-r10-1 vastaa.
13:34 <@jjaakkol> se mun tilastointihärveli pyöri 001 solumulla ite
13:39 <@jjaakkol> voisin päivittää katkoilmoa jos se onnistuu kännykällä
13:48 <@jjaakkol> ei tota pysty editoimaan kännykällä
13:49 <@jjaakkol> ainakaan tällä
14:15 <@pnikland> Mailien perusteella jotain on tapahtunut koniksen sähköille.
14:15 <@pmtonter> :o
14:16 <@pmtonter> Kui?
14:16 <@pnikland> Dracit valittivat klo 1354, että virtalähteiden kahdennut hukattu. Klo 14.00
tilanne normalisoitunut.
14:17 <@pnikland> siis kahdennus. Oisko joku säätänyt pääkeskuksessa?
14:17 <@pmtonter> Sähkäri?
14:17 <@pmtonter> Kas kun mulle ei oo tullu posteja noista. :o
14:18 <@pmtonter> Nimenomaan klusterin dracit?
14:18 <@pmtonter> ... vai muiden?
14:19 <@pnikland> Muiden. Mm. laitoksen fs:t.
14:19 <@pmtonter> OK.
14:19 <@pmtonter> UPSit ei vieläkään valita.
14:20 <@pnikland> Ikäänkuin suora syöttö olisi käytetty alhaalla. Oisko sulake vaihdettu?
14:21 <@pmtonter> Ehkä, tosin olis aika turhaan.
14:25 <@pmtonter> No, lähen moikkaan Pervilää laitokselle ja sit maalle. Käyn koniksessakin
bongaamassa tilanteen ennen poistumista.
15:56 <@pmtonter> Ennen maanantaita ei tapahdu mitään.
17:30 <@jjaakkol> jahas. Nyt olisin läppärin ääressä, jos nyt onnistuisi katkoraportin päivitys
17:44 <@jjaakkol> katkoilmoitus päivitetty
18:08 <@pmtonter> Se ei kyllä pidä ihan paikkaansa.
18:08 <@pmtonter> ... se katkoilmo.
18:08 <@pmtonter> Siellä on 3x100A paukut ja käytössä ei ollu kun 66A, niinku kaima laski.
18:09 <@pmtonter> Lisäksi kahden kahvasulakkeen (ne on kaikki kahvasulakkeita) kahvat ja siten
myös sulakepohjat on hassussa asennossa, joten siellä on mitä todennäköisemmin
joku pikkasen sulanu ja siten vaatii hieman varaosaa, yms.
18:10 <@pmtonter> Eli seuraavaksi jotain tapahtuu ma seiskan jälkeen.
18:11 <@pmtonter> Eli virtaa on menny ihan oikeesti läpi jossain vaiheessa. Klusteri ei kuitenkaan
kykene käyttämään noin paljoa virtaa, eli siis melkein tuplaten pitäis käyttää.
18:12 <@pmtonter> Ja koska sulakepohjille oli käynny jotain, eli siis en on hieman muuttaneet
muotoaan, eli sulaneet, on virtaa hetkellisesti menny läpi tosi paljon ja nopeesti,
ennenkuin sulakkeet on paukkuneet.
18:12 <@pmtonter> Normistihan sulakkeet lävähtää ja täten suojelee esimi. sulakepohjia.
18:15 <@pmtonter> Veikkaisin, että katko kestää ainakin puoleen päivää maanantaina, mut ainahan on
kiva olla optimistinen. :)
18:16 <@jjaakkol> ahaa, taikasavua on päässyt karkuun
18:17 <@jjaakkol> mut joo, jos siellä on ollut jotain oikosuluntapaista, niin onhan se selvää että
sitä ei noin vaan väännetä päälle
18:18 <@jjaakkol> pitäisikö jaksaa päivittää vielä kerran sitä katkoa
18:18 <@pmtonter> Ehkä sen vois...
18:18 <@pmtonter> Pikkasen kiinnostaa tietää, että missä kohtia on vetäny ns. maihin.
18:19 <@pmtonter> Eli onks koniksen kaapissa ja jos on, niin minkä verran on ylijännitteitä tms.
menny läpi klusteriin.
18:19 <@pmtonter> Ja minkä verran siellä sitten on ns. damagee?
18:19 <@pmtonter> Mut no, maanantaina varmaan tiietään lisää.
18:21 <@pmtonter> Juttelin Pervilän kanssa ja se epäili jo niitä sen omia
induktiomittarihässäköitäkin.
18:21 <@pmtonter> Mut eiköhän ne oo niin läkkipeltiä, että ennemmin palavat, kuin aiheuttavat
jotain tällasta. Eli ennemmin ne varmaan antautuu, kun esim. sulakepohjat.
18:22 <@pmtonter> Lämpötila on yhä 20 astetta, joka on hieman mielenkiintoista. VIKit näyttivät
kuitenkin olevan päällä.
18:22 <@pmtonter> Mut ehkä joku muukin on ns. lahonnu samalla.
18:23 <@pmtonter> "Ihanaa".
18:23 <@jjaakkol> 'Update 2: Ukko cluster dropped out of network at 03:56 because of a power
outage,	which is still continuing. Apparently all of Ukko's computing capacity was
used for the first time ever. Something went wrong and the fuses at the
electricity center are not only blown, but apparently partially melted too. Fixing
this needs an electrician, so Ukko cluster will not come back before monday.'
18:23 <@jjaakkol> kelpaako toi?
18:24 <@jjaakkol> päivitin katkon kestämään puoleen päivään saakka myös
18:24 <@pmtonter> Joo, tosin yks sulakepohja ainakin näyttää ihan OK:lta, eli kaks sulaketta oli
"hassussa asennossa":
18:25 <@pmtonter> Mut miten vaan, eihän noilla ammuta.
18:25 <@jjaakkol> vaihdan blown -> tripped
18:25 <@pmtonter> Kiva. ;)
--- Day changed Sun Mar 06 2011
12:10 <@pmtonter> Tänä viikonloppuna on muuten pikkasen systeemit lahonneet... :o