https://qiita.com/shopetan/items/ceb7744facc21c3881d2 https://qiita.com/shopetan/items/30f6e0932485c976a946 http://blog.brainpad.co.jp/entry/2018/02/19/150000

/ 文字列で検索できる Gで最終行移動 ggで先頭行移動 http://motw.mods.jp/Vim/command.html

docker run -it --env AWS_ACCESS_KEY_ID=[AWS_ACCESS_KEY_ID] --env AWS_SECRET_ACCESS_KEY=[AWS_SECRET_ACCESS_KEY] イメージ名

通常のawsbatchで実行されるインスタンスでは、nvidia-docker コマンドで起動せず、docker コマンドで使用するAMIとなっている。 Nvidia-dockerでコマンドでコンテナを起動するAMIを作成する必要がある。 手順は下記に書かれている https://docs.aws.amazon.…

docker rm コンテナID でコンテナを削除できる 一括で削除する場合は docekr rm `docker ps -a -q` ちなみにimageの削除は docker rmi イメージID

現在通っているpathの場所を見るときは echo $PATH で確認できる。 環境変数は下記の順で起動時に読み込まれる 1. /etc/profile2. ~/.bash_profile 上のファイルがなければ 2-1. ~/.bash_login 2-2. ~/.profile3. ~/.bashrc4. /etc/bashrc5. bash実行 [Linux…

結論はpython３．７ではtensorflowは動かない（３月１５日現在:(自分のパソコンの状況による？)）のでpython3.6.8を再インストールすれば動いた。 エラーは ImportError: libcublas.so.10.0: 〜 とでていた。python３．７環境でインストールされたtensorflow…

ubuntu16.04環境でメモリの増設を行っていたところ、再起動をかけたらまさかのログインループにおちいてしまった。１８．０４環境にアップデートをしたらもしかしたらいけるかもと思ったがログインループはかわらず。。２日間くらいかけてなんとかnvidia-dri…

①awscliのインストール docs.aws.amazon.com ②IAMロールをEC２に割り当て ③コマンド aws s3 cp s3://test_bucket/test/ ./folder --recursive qiita.com

ドットインストールの教材 https://dotinstall.com/lessons/basic_docker

qiita.com

本投稿は記事投稿時点のgithub最新バージョンでの動かしたときのメモです。 detectronはインスタンセグメンテーションのツールです。 インスタンスセグメンテーションは画像から複数のオブジェクトをピクセル単位で認識するものです。（セマンティックセグメ…

nvidia-docker run -it コンテナID /bin/bash

forums.ubuntulinux.jp qiita.com

データを読み込む際に、pandasではデフォルトでfloat64 かint64で読み込むようになっているので、メモリの使用量が増大する。 そのため型を指定して、読み込むとよい 例 pd.read_csv（ファイル名,dtype{'列名1' : int16 ' , '列名2' : 'int32','列名3':'floa…

大きく分けて2パターン ・バギング 復元抽出でモデルを複数個構築して、平均化する ・ブースティング モデルを逐次更新していく手法 参考 www.youtube.com

今さら聞けない！GitHubの使い方【超初心者向け】 | TechAcademyマガジン

ps x でPIDを見てkill PID

Amazon Athena S3内の複数ファイルをSQLを使ってjoinすることができる Quick Sight 可視化用ソフト spice:容量を決めるインメモリ （月約3000円：見るのみの人のライセンスは10円くらい） Sagemaker Ground Trues トレーニングデータセット構築のためのツー…

del 変数名; gc.collect 使わない変数をdelし、その後にgc.collectを呼び出す

%%time をセルの先頭に記入

df=read_csv(~) で読み込んだcsvを df.index=df.index.rename('変更したい名前')

filename,ext=os.path.splitext( os.path.basename('./2018/data.csv')) 参考 os.path.basenameは拡張子も含むファイル名

index_col で日時の列をindexに指定し、parse_dateでdatetimeindexとして読み込む df=pd.read_csv(file,engine='python',encoding='SHiFT-JIS',parse_dates=["日時"],index_col="日時") #parse_datesで日時として読み込む