Skip to content

Significant changes to Puhti & Mahti authentication coming in April! Read about the SSH key and multi-factor authentication requirements.

Allaksen käyttäminen

Käyttöoikeuden saaminen

Allas-palvelun käyttö perustuu CSC:n asiakasprojekteihin. Voidaksesi käyttää Allasta sinun on oltava jäsenenä CSC-projektissa, jolla on lupa käyttää Allasta. Jos sinulla ei ole CSC-tiliä, sinun on ensin rekisteröidyttävä CSC:n käyttäjäksi ja liityttävä tai perustettava laskentaprojekti, jolle Allas on käytössä. Tämä voidaan tehdä MyCSC-käyttäjäportaalissa: https://my.csc.fi.

Kun Allas on käytössäsi, voit käyttää sitä miltä tahansa internetiin kytketyltä laitteelta tai palvelimelta. Tämä voi olla kannettava tietokoneesi, CSC:n supertietokone, pilvipalvelun virtuaalikone tai jopa puhelimesi.

Allaksen käyttäminen verkkoselaimella

Tällä hetkellä CSC tarjoaa useita verkkoselainpohjaisia käyttöliittymiä Allakselle:

Allas Web UI on verkkopohjainen käyttöliittymä, joka on suunniteltu yksinkertaistamaan objektitallennuksen hallintaa Allaksessa. Se tarjoaa intuitiivisen tavan vuorovaikuttaa datasi kanssa ilman komentorivityökalujen tarvetta.
Se on ihanteellinen vaihtoehto käyttäjille, jotka suosivat visuaalista käyttöliittymää komentorivityökalujen sijaan perusoperaatioihin objektitallennuksessa.

Puhtin ja Mahdin WWW-käyttöliittymät on kytketty Allakseen. Nämä käyttöliittymät mahdollistavat tiedostojen ja hakemistojen siirtämisen paikallisen tietokoneen ja Allaksen välillä sekä CSC:n supertietokoneiden ja Allaksen välillä.

OpenStack Horizon -verkkokäyttöliittymä cPoutassa tarjoaa helppokäyttöisiä perustoimintoja tiedonhallintaan Allaksessa. Tätä käyttöliittymää voidaan käyttää vain alle 5 Gt:n kokoisille tiedostoille.

SD Connect tarjoaa käyttöliittymän arkaluontoisen datan tallentamiseen ja jakamiseen. Tämä palvelu perustuu Allakseen, mutta emme suosittele sitä muuhun kuin arkaluontoiselle datalle.

Allaksen käyttäminen CSC:n laskentaympäristössä ja muilla Linux-alustoilla

CSC:n supertietokoneet Puhti ja Mahti tukevat monia erilaisia komentorivityökaluja Allaksen käyttöön, mukaan lukien:

  • a-tools peruskäyttöön: (Swift, valinnaisesti S3)
  • rclone tarjoaa joitain edistyneempiä toimintoja:** (Swift, valinnaisesti S3)
  • swift python-asiakas, joka tarjoaa laajan valikoiman toiminnallisuuksia (Swift)
  • s3cmd S3-asiakas ja pysyvät Allas-yhteydet:** (S3)

Huomaa, että yllä luetellut työkalut käyttävät kahta eri protokollaa: Swift ja S3. Yhdellä protokollalla ladattu data ei välttämättä ole yhteensopiva toisen protokollan kanssa.

Yllä lueteltuja ohjelmistoja voidaan käyttää myös muilla laitteilla, esimerkiksi cPoutassa toimivassa virtuaalikoneessa tai omalla kannettavalla tietokoneellasi.

Puhtissa ja Mahdissa CSC on asentanut yllä luetellut Allas-työkalut, ja ne ovat saatavilla allas-moduulin kautta. Käyttääksesi Allasta Puhtissa tai Mahdissa, lataa ensin Allas-moduuli: 

module load allas
Allas-yhteys tietylle projektille Swift-protokollalla voidaan sitten ottaa käyttöön: 
allas-conf
Ottaaksesi käyttöön S3-protokollan, käytä vaihtoehtoa -m S3 
allas-conf -m S3
allas-conf-komento pyytää CSC-salasanaasi (sama jota käytät kirjautuaksesi CSC:n palvelimille). Se listaa Allas-projektisi ja pyytää sinua määrittämään projektin (jos sitä ei ole jo määritetty argumenttina). allas-conf luo rclone-määrittelytiedoston Allas-palvelulle ja todentaa yhteyden valittuun projektiin. allas-conf mahdollistaa vain yhden Allas-projektin käytön kerrallaan yhdessä istunnossa. Allaksessa käyttämäsi projektin ei tarvitse vastata projektia, jota käytät Puhtissa tai Mahdissa, ja voit vaihtaa toiseen projektiin suorittamalla allas-conf-komennon uudelleen.

Swift-protokollan tapauksessa todennustiedot tallennetaan OS_AUTH_TOKEN- ja OS_STORAGE_URL-ympäristömuuttujiin, ja ne ovat voimassa enintään kahdeksan tuntia. Voit kuitenkin uusia todennuksen milloin tahansa suorittamalla allas-conf-komennon uudelleen. Ympäristömuuttujat asetetaan vain nykyiselle kirjautumisistunnolle, joten sinun on määritettävä todennus erikseen jokaiselle shellille, jolla haluat käyttää Allasta.

S3-protokollan tapauksessa todennustiedot tallennetaan määrittelytiedostoihin, jotka sijaitsevat kotihakemistossasi laitteella. Samaa todennusta käytetään kaikissa kirjautumisistunnoissa, eikä sillä ole vanhentumisaikaa.

Kun Allas-yhteys on määritetty, voit aloittaa objektitallennuksen käytön yllä luetelluilla työkaluilla.

Allaksen perustoiminnot eri työkaluilla.

Työkalu Listaa objektit bucketissa buck_123 Lataa tiedosto data1.txt buckettiin buck_123 Lataa tiedosto data1.txt bucketista buck_123
a-komennot a-list buck_123 a-put data1.txt -b buck_123 a-get buck_123/data1.txt.zst
rclone (swift) rclone ls allas:buck_123 rclone copy data1.txt allas:buck_123/ rclone copy allas:buck_123/data1.txt ./
rclone (S3) rclone ls s3allas:buck_123 rclone copy data1.txt s3allas:buck_123/ rclone copy s3allas:buck_123/data1.txt ./
Swift swift list buck_123 swift upload buck_123 data1.txt swift download buck_123 data1.txt
s3cmd* s3cmd ls s3://buck_123 s3cmd put data1.txt s3://buck_123/ s3cmd get s3://buck_123/data1.txt

Allaksen käyttäminen Windowsilla tai Macilla

Yllä lueteltujen verkkokäyttöliittymien lisäksi voit käyttää Allasta Windows- tai Mac-tietokoneeltasi paikallisesti asennetulla asiakasohjelmistolla. Esimerkiksi seuraavia työkaluja voidaan käyttää:

  • Cyberduck tarjoaa helppokäyttöisen graafisen käyttöliittymän datan siirtämiseen paikallisen tietokoneen ja Allaksen välillä.
  • Rclone on komentorivityökalu, joka tarjoaa erittäin tehokkaan tavan käyttää Allasta millä tahansa käyttöjärjestelmällä.
  • a-tools ovat Allas-kohtaisia komentoja, jotka voidaan asentaa macOS- ja Linux-laitteisiin, mutta ei Windows-käyttöjärjestelmää käyttäviin laitteisiin.

Yllä oleva luettelo ei ole täydellinen tai poissulkeva. Periaatteessa mikä tahansa työkalu, joka tukee Swift- tai S3-protokollia, voi käyttää Allasta.

Tiedostojen kopioiminen suoraan objektitallennusten välillä

Rclonea voidaan käyttää myös tiedostojen kopioimiseen suoraan toisesta objektitallennuksesta (esim. Amazon S3, Google cloud, CREODIAS,...) Allakseen. Tätä varten molempien tunnistetiedot on tallennettava Rclone-määrittelytiedostoon käyttäjän kotihakemistossa (.config/rclone/rclone.conf). Esimerkki on esitetty alla:

[s3allas]
type = s3
provider = Other
env_auth = false
access_key_id = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
secret_access_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
endpoint = a3s.fi
acl = private

[otherobjectstorage]
type = s3
provider = Other
env_auth = false
access_key_id = yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
secret_access_key = yyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
endpoint = yourotherendpoint.com
acl = private
Allaksen määrittely lisätään automaattisesti, kun määrität Allaksen s3-tilassa

source allas_conf --mode s3cmd .

Tämän tiedoston luomisen/päivittämisen jälkeen Rclonea voidaan käyttää tiedostojen kopioimiseen

rclone copy otherobjectstorage:bucket-x/object-y s3allas:bucket-z/object-a

tai tiedostojen listaamiseen joko Allaksesta tai toisesta objektitallennuksesta käyttämällä vastaavaa nimeä

rclone lsf otherobjectstorage:.

Muita tapoja käyttää Allasta