#! shebang

#! シバン(shebang) どのプログラムでスクリプトを動かすかを指定する #!/bin/bash #!/usr/bin/python シバンを書くと python(bash) ファイル名 で書かなくてもファイル名のみで実行できるようになる

nmap使い方

nmap -sP 192.168.3.0/24 で192.168.3.0~255の使用されているip をスキャンできる nmap 192.168.3.2で192.168.3.2で使用されているポートをポートスキャンできる

応用情報メモ

m ミリ 10^(-3) μ マイクロ 10^(-6) n ナノ 10^(-9) p ピコ 10^(-12) LRU(Least Recently Used) 最後にアクセスしてから最も時間の経っているページをを置き換え対象とするページ置き換えアルゴリズム ウェルノウンポート ftp :20(21) SMTP :(25) DNS :(53) …

ubuntu20.04 install memo

k-hyoda.hatenablog.com qiita.com 追記2022/8/26 おそらくnvidia-driverが使用していたものが古くなり、突然画面が表示されなくなった。またnvidia-smiも NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that t…

linux コマンドメモ

wcファイルの行数、単語数、文字数を表示

エクセルの入力チェック機能

twitterで話題のやつ作れた。データツールからデータの入力規則で簡単に作れる。意外と使い時あって面白くていいかも

tutlebot用SDカードに指定のubuntuをインストール

e-manualには拡張子xzファイルをダウンロードしているので、通常gnomeでイメージを焼くみたいだが、今回はSDカードリーダがmacでしかなかったのでmacで行った。 Mac で xz を使用する方法 - Qiita 下記のコマンドでまずファイルの解答を行う。 unxz ubuntu-1…

mysqlDBメモ

入るときはmysql -u ユーザー名 -p ctrl+D でぬける 別のサーバーからアクセスするときの確認項目 https://blog.s-giken.net/304.html csvのインポート方法blog.chatlune.jp

情報量、ゲインについてメモ

情報量はlog(1/P(E))=-logP(E) 事象Eが起こるときの確率値がP(E) 確率値が小さいほど情報量が大きくなる エントロピー(平均情報量)は情報量の期待値をとった値である https://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E9%87%8F 情報利得=分割前の平均情…

情報量、ゲインについてメモ

情報量はlog(1/P(E))=-logP(E) 事象Eが起こるときの確率値がP(E) 確率値が小さいほど情報量が大きくなる エントロピー(平均情報量)は情報量の期待値をとった値である https://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E9%87%8F 情報利得=分割前の平均情…

lambdaモジュールインポートメモ

Lambdaはamazon linux で動くのでそれに合わせた環境(python3.6で動かすならpyenv等をインストールしてpython環境)を作成、そこにpip install -t でlibraryをインストール https://qiita.com/thimi0412/items/4c725ec2b26aef59e5bd

ポーリングとは

いったん中継地点に処理内容をためておいて、受信側の通信がいいとき(busyでなくなったとき)に通信を実行する仕組み →Amazon SQSはポーリング処理を実施するサービス

統計

ベルヌーイ分布は一回の試行、二項分布はn回の試行

timeshift

バックアップ

GAM

GLMでは説明変数と目的変数の間に線形な相関があることが前提としていた。 しかしGAMは説明変数と目的変数が線形な相関を持たない場合にでも対応できるように、スプライン関数等を用いて、説明変数を非線形に変換する https://www.slideshare.net/DeepLearni…

prophet

https://medium.com/@babydegu/%E6%99%82%E7%B3%BB%E5%88%97%E4%BA%88%E6%B8%AC%E3%83%84%E3%83%BC%E3%83%ABfacebook-prophet%E3%82%92%E4%BD%BF%E3%81%84python%E3%81%A7%E6%A7%98%E3%80%85%E3%81%AA%E3%83%87%E3%83%BC%E3%82%BF%E3%81%8B%E3%82%89%E4%BA%8…

ashitamiru?

http://testblog234wfhb.blogspot.com/2014/07/generalized-additive-model.html

GAMについてメモ

一般加法モデル それぞれの変数に平滑化スプラインをし、重回帰のように足して予測 https://rmizutaa.hatenablog.com/entry/2019/03/23/201720 交互作用項を含めた一般加法モデル https://qiita.com/saltcooky/items/d5a1a62756d10273b008

データの補完方法

データの補完方法 https://qiita.com/ground0state/items/5fa0743837f1bcb374ca 3次スプライン補間:離散点間を3次の多項式で補間 cubic (3次の、立方体の) https://qiita.com/sci_Haru/items/059887598e4f21b4b636 ラグランジュ補間:与えられたN+1個の…

SARIMA(外生変数)を含めて予測?

https://qiita.com/snuow/items/2504a6b2dc6cbc735e5a

一般化線形モデル 応答変数が正規分布以外の確率分布に従う場合にも使えるようにした線形モデル 〇 体重=β_0+β_1*身長 × 服のサイズ=β_0+β_1*身長 右辺は線形予測子と呼ばれる 服のサイズは離散値である テストの合否(1,0)=β_0+β_1*勉強時間 合格率は1~…

KNN regresoor の動きの解釈

①近傍の個数を決定 ②アルゴリズム(ball_tree,kd_tree,brute等)データから近傍を決定する予測線を構築する(fit) https://saket.hatenadiary.org/entry/20130213/1360747549 ③ある値が来た時に予測を出力(predict)

𝑹𝟐 (coefficient of determination、決定係数)

[tex: 𝑹2 = \frac{\mbox{回帰変動の平方和}}{\mbox{全変動の平方和}} ]

ROC曲線メモ

ROC曲線は混同行列より得られる とし、横軸FPR 縦軸TPRとして描いた曲線 評価データセットのラベルのデータ数に偏りがある場合に使用される

ニュートン法について

点 (a,b) を通り,傾き m の直線の方程式の求め方 https://www.geisya.or.jp/~mwm48961/koukou/mobile/tyoku13_m.htm Newton法詳細例 http://dsl4.eee.u-ryukyu.ac.jp/DOCS/nlp/node5.html 共益勾配法 https://qiita.com/Dason08/items/27559e192a6a977dd5e5

VirtualBox内のCentOSにsshログインするときに必要な設定備忘

https://qiita.com/sango/items/816136188387221f05b3 VirtualBoxのポートフォワーディングルールを指定してやることが必要 https://qiita.com/sango/items/1b57a9641499971ca806#_reference-9ae6982ac9592f15f424

機械学習のための特徴量エンジニアリング(本)メモ

べき変換:power transform(対数変換や平方根変換等) 分散安定化変換:valiance-stabilizing transformation とも呼ばれる。 Box-Cox変換:対数変換と平方根変換を一般化したもの(詳細は25ページ) 正規化 ーMinMaxスケーリング:特徴量を[0,1]の値に変換 ー…

機械学習のための特徴量エンジニアリング(本)メモ

べき変換:power transform(対数変換や平方根変換等) 分散安定化変換:valiance-stabilizing transformation とも呼ばれる。 Box-Cox変換:対数変換と平方根変換を一般化したもの(詳細は25ページ) 正規化 MinMax

ビットコインメモ

プルーフオブワークとよばれる仕組みでデータの偽造や二重支払いを防ぐ 具体的には新規ブロックのハッシュ値が一定以上の0が続くナンスの値を総当たり法で求めるため、膨大な計算が必要になる。一つの取引データを改ざんしようとするとそれ以降全てのナンス…

多項式回帰(PolynomialFeatures)における係数、パラメータ等のメモ

説明変数とし(切片は考えない)、次数(degree)を1として考えると によってできた多項式の係数は係数項の行列順(sklearnモデルのでcoef_等で出力される順)は [a,b] の順番である。 同様に次数(degree)を2として考えると、交互作用項を含む形で出力され [a,b,c…