Jekyll2026-04-29T15:42:41+00:00https://nyarlathotep438.github.io/feed.xmlRecords of algorithms, bioinformatics, workflow optimization, and study notes. Shixiang2026-04-29T00:00:00+00:002026-04-29T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/29/sample-summary

2026年04月29日 研究日志

今日主题：汇总数据集GSE135092的样本类别并绘制统计图表。

GSE135092：bulk RNA-seq 数据集。样本来源于129位人类捐献者的视网膜，共采集537个样本用于研究。
样本的组别可分为：

• 黄斑区/非黄斑区
• AMD/控制组
• RPE/Retina

suppressPackageStartupMessages({
  library(here)
  library(tidyverse)
})

# Sample list
sample_list <- read_csv(file = here("data","sample.csv"), show_col_types = FALSE)

# Sample summary####
sample_type <- sample_list %>%
  dplyr::select(Accession, Title) %>%
  separate(
    col = Title,
    into = c("Layer", "Region", "Condition"),
    sep = ", | ",
    extra = "drop"
  )

sample_summary <- sample_type %>%
  pivot_longer(cols = c(Layer, Region, Condition),
               names_to = "Category",
               values_to = "Type") %>%
  count(Category, Type)

ggplot(sample_summary, aes(x = Type, y = n, fill = Category)) + 
  geom_col() +
  geom_text(aes(label = n), vjust = -0.5, size = 4) +
  facet_wrap(~Category, scales = "free_x") +
  expand_limits(y = max(sample_summary$n) * 1.2) +
  theme_minimal() +
  labs(title = "Summary", x = "Catagory", y = "Count") +
  theme(legend.position = "none")

和论文中描述的一样，他们获得的AMD样本较少。取样本倒是很均匀地在不同层（色素上皮层和神经上皮层），以及不同区域（黄斑区和非黄斑区）进行了取样。今天的琐事也很多，没来得及做更多的正事（叹气）。今天就先到这里了，分析和讲解就留给明天啦~

]]>Shixiang

2026-04-28T00:00:00+00:002026-04-28T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/28/Try-NPU

2026年04月28日 研究日志

今日主题：研究学校发给我用的这台研究生电脑的NPU如何运行。

早就听说过神经网络计算单元NPU了，听说优势在于长时间的小模型推理，但手头的机器没这个东西（我个人笔记本Surface Notebook2已经是7年前买的了），今天发现学校配给我的笔记本有这玩意，赶紧试一试。

import onnxruntime as ort
print(ort.get_available_providers())

['DmlExecutionProvider', 'CPUExecutionProvider']

能用欸，这个DmlExecutionProvider就是NPU处理器了

import numpy as np
from PIL import Image

session = ort.InferenceSession(
    "mobilenetv2-10.onnx",
    providers = ["DmlExecutionProvider"]
)

搞个移动端版本的超轻量YOLO试试水。

img = Image.open("cat.jpg").resize((224, 224))
img = np.array(img).astype(np.float32) / 255.0
img = np.transpose(img, (2, 0, 1))
img = np.expand_dims(img, axis = 0)

inputs = {session.get_inputs()[0].name: img}
outputs = session.run(None, inputs)

print("output shape:", outputs[0].shape)

output shape: (1, 1000)

能行欸，至少能跑。

---

试试速度好了

import time

x = np.random.randn(1, 3, 224, 224).astype(np.float32)

def benchmark(provider):
    session = ort.InferenceSession(
    "mobilenetv2-10.onnx",
    providers = [provider]
    )
    inputs = {session.get_inputs()[0].name: x}
    
    session.run(None, inputs)
    
    t0 = time.time()
    for _ in range(100):
        session.run(None, inputs)
    t1 = time.time()
    
    print(provider, "time: ", t1 - t0, "s")

benchmark("CPUExecutionProvider")
benchmark("DmlExecutionProvider")

CPUExecutionProvider time:  0.5689356327056885 s
DmlExecutionProvider time:  0.961871862411499 s

哇……CPU（AMD Ryzen 5 PRO 230 w/ Radeon 760M Graphics）速度更快……这玩意的优势就是能耗更低吗？说真的，我对硬件也不了解。就先这样吧，我还有科研工作要做呢，以后在琢磨吧，今天就到此为止了，以后有时间zai

]]>Shixiang

2026-04-27T00:00:00+00:002026-04-27T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/27/Jupyter-magic-summary

2026年4月27日 研究日志

今日主题：整理目前收集到的样本，绘制样本统计表。本周的主要内容就是这个，目前暂未成型，本周五再进行展示吧。今天来总结一下Jupyter的magic吧！

先和不熟悉的朋友讲一声，Jupyter 的 Magic 指令（Magics）是 IPython 提供的“增强语法”，用于执行系统命令、计时、调试、运行脚本、管理环境等。
它们不是 Python 语法，而是 Notebook 环境的“扩展能力”。所以它们是只有jupyter notebook和相当于进化版的jupyter lab环境中可以使用的魔法哦！

Magic 分两类：

• 行魔法（Line Magics）：以 % 开头，只作用于当前行
• 单元魔法（Cell Magics）：以 %% 开头，作用于整个 cell

---

常用 Magic 指令与示例

1. %time — 计时单行代码

用于测量一行代码的执行时间。

2. %%time — 计时整个 cell

用于测量整个 cell的执行时间。

%time sum([i*i for i in range(10_0000)])

CPU times: total: 15.6 ms
Wall time: 7.55 ms

333328333350000

%%time
total = 0
for i in range(10_0000):
    total += i*i
total

CPU times: total: 15.6 ms
Wall time: 12.3 ms

333328333350000

---

3. %timeit — 多次运行取平均

适合测量短代码的平均性能。

4. %%timeit — 多次运行整个 cell

对整个 cell 做重复计时。

%timeit [i*i for i in range(1000)]

36.1 μs ± 4.73 μs per loop (mean ± std. dev. of 7 runs, 10,000 loops each)

%%timeit
x = []
for i in range(1000):
    x.append(i*i)

36.8 μs ± 11.5 μs per loop (mean ± std. dev. of 7 runs, 10,000 loops each)

---

5. %pwd — 查看当前工作目录

%pwd

'C:\\Users\\Admin\\TechBlog'

6. %cd — 切换目录

%cd ./data

C:\Users\Admin\TechBlog\data

7. %ls — 列出当前目录文件

%ls

 Volume in drive C has no label.
 Volume Serial Number is 12B8-C7B5

 Directory of C:\Users\Admin\TechBlog\data

27/04/2026  17:08    <DIR>          .
27/04/2026  17:08    <DIR>          ..
               0 File(s)              0 bytes
               2 Dir(s)  518,734,532,608 bytes free

---

8. ! — 执行系统命令

在 Notebook 中运行 shell 命令。 （其实!不是 Magic，但也是IPython的机制，和magic一样用，就放在这里了）

!pip list

Package                           Version
--------------------------------- --------------------
accelerate                        1.13.0
aiobotocore                       2.25.0
aiodns                            3.5.0
aiofiles                          24.1.0
aiohappyeyeballs                  2.6.1
aiohttp                           3.13.2
aioitertools                      0.12.0
aiosignal                         1.4.0
alabaster                         0.7.16
altair                            5.5.0
anaconda-anon-usage               0.7.1
anaconda-auth                     0.8.6
anaconda-catalogs                 0.2.0
anaconda-cli-base                 0.6.0
anaconda-client                   1.13.0
anaconda-navigator                2.6.6
anaconda-project                  0.11.1
annotated-doc                     0.0.4
annotated-types                   0.6.0
anyio                             4.10.0
appdirs                           1.4.4
archspec                          0.2.5
argon2-cffi                       21.3.0
argon2-cffi-bindings              25.1.0
arrow                             1.4.0
astroid                           3.3.11
astropy                           7.1.1
astropy-iers-data                 0.2025.11.10.0.38.31
asttokens                         3.0.0
async-lru                         2.0.5
asyncssh                          2.17.0
atomicwrites                      1.4.0
attrs                             25.4.0
audioop-lts                       0.2.2
Automat                           24.8.1
autopep8                          2.0.4
babel                             2.16.0
bcrypt                            5.0.0
beautifulsoup4                    4.13.5
binaryornot                       0.4.4
biopython                         1.86
black                             25.9.0
bleach                            6.2.0
blinker                           1.9.0
bokeh                             3.8.0
boltons                           25.0.0
botocore                          1.40.46
Bottleneck                        1.4.2
brotli                            1.2.0
brotlicffi                        1.1.0.0
cachetools                        5.5.1
certifi                           2025.10.5
cffi                              2.0.0
chardet                           5.2.0
charset-normalizer                3.4.4
click                             8.1.8
cloudpickle                       3.1.1
colorama                          0.4.6
colorcet                          3.1.0
colored                           2.3.2
comm                              0.2.1
conda                             25.9.1
conda-anaconda-telemetry          0.3.0
conda-anaconda-tos                0.2.2
conda-build                       25.9.0
conda-content-trust               0.2.0
conda_index                       0.7.0
conda-libmamba-solver             25.4.0
conda-pack                        0.7.1
conda-package-handling            2.4.0
conda_package_streaming           0.11.0
conda-repo-cli                    1.0.173
conda-token                       0.6.0
constantly                        23.10.4
contourpy                         1.3.1
cookiecutter                      2.6.0
cryptography                      46.0.3
cssselect                         1.2.0
cycler                            0.11.0
dask                              2025.10.0
datashader                        0.18.2
debugpy                           1.8.16
decorator                         5.2.1
defusedxml                        0.7.1
diff-match-patch                  20200713
diffusers                         0.38.0.dev0
dill                              0.4.0
distributed                       2025.10.0
distro                            1.9.0
docstring-to-markdown             0.17
docutils                          0.21.2
et_xmlfile                        2.0.0
evalidate                         2.0.3
executing                         2.2.1
fastapi                           0.135.1
fastjsonschema                    2.20.0
ffmpy                             1.0.0
filelock                          3.20.0
flake8                            7.1.1
Flask                             3.1.2
fonttools                         4.60.1
fqdn                              1.5.1
frozendict                        2.4.6
frozenlist                        1.8.0
fsspec                            2025.7.0
gitdb                             4.0.12
GitPython                         3.1.45
gmpy2                             2.2.1
gradio                            6.8.0
gradio_client                     2.2.0
greenlet                          3.2.4
groovy                            0.1.2
h11                               0.16.0
h5py                              3.14.0
HeapDict                          1.0.1
hf-xet                            1.3.2
holoviews                         1.21.0
httpcore                          1.0.9
httpx                             0.28.1
huggingface_hub                   1.5.0
hvplot                            0.12.1
hyperlink                         21.0.0
idna                              3.11
ImageIO                           2.37.2
imagesize                         1.4.1
imbalanced-learn                  0.14.0
importlib_metadata                8.5.0
incremental                       24.7.2
inflection                        0.5.1
iniconfig                         2.1.0
intake                            2.0.8
intervaltree                      3.1.0
ipykernel                         6.31.0
ipython                           8.30.0
ipython-genutils                  0.2.0
ipywidgets                        8.1.7
isoduration                       20.11.0
isort                             6.1.0
itemadapter                       0.12.1
itemloaders                       1.3.2
itsdangerous                      2.2.0
jaraco.classes                    3.4.0
jaraco.context                    0.0.0
jaraco.functools                  4.1.0
jedi                              0.19.2
jellyfish                         1.1.3
Jinja2                            3.1.6
jiter                             0.14.0
jmespath                          1.0.1
joblib                            1.5.2
json5                             0.9.25
jsonpatch                         1.33
jsonpointer                       3.0.0
jsonschema                        4.25.0
jsonschema-specifications         2025.9.1
jupyter                           1.1.1
jupyter_client                    8.6.3
jupyter-console                   6.6.3
jupyter_contrib_core              0.4.2
jupyter_core                      5.8.1
jupyter-events                    0.12.0
jupyter-highlight-selected-word   0.2.0
jupyter-lsp                       2.2.5
jupyter_server                    2.16.0
jupyter_server_terminals          0.5.3
jupyterlab                        4.3.4
jupyterlab_pygments               0.3.0
jupyterlab_server                 2.28.0
jupyterlab_widgets                3.0.15
keyring                           25.6.0
kiwisolver                        1.4.8
lark                              1.3.1
lazy_loader                       0.4
lckr_jupyterlab_variableinspector 3.2.4
Levenshtein                       0.27.3
libarchive-c                      5.1
libmambapy                        2.3.2
lief                              0.16.4
linkify-it-py                     2.0.3
llvmlite                          0.45.1
lmdb                              1.6.2
locket                            1.0.0
lxml                              5.3.0
lz4                               4.4.5
Markdown                          3.8
markdown-it-py                    2.2.0
MarkupSafe                        3.0.2
matlabengine                      26.1
matplotlib                        3.10.6
matplotlib-inline                 0.2.1
mccabe                            0.7.0
mdit-py-plugins                   0.5.0
mdurl                             0.1.2
menuinst                          2.4.1
metakernel                        1.0.0
mistune                           3.1.2
mkl_fft                           2.1.1
mkl_random                        1.3.0
mkl-service                       2.5.2
more-itertools                    10.8.0
mpi4py                            4.0.3
mpmath                            1.3.0
msgpack                           1.1.1
multidict                         6.7.0
multipledispatch                  1.0.0
mypy                              1.17.1
mypy_extensions                   1.0.0
narwhals                          2.7.0
navigator-updater                 0.5.1
nbclient                          0.10.2
nbconvert                         7.16.6
nbformat                          5.10.4
nest_asyncio                      1.6.0
networkx                          3.5
nltk                              3.9.2
notebook                          7.3.2
notebook_shim                     0.2.4
numba                             0.62.1
numexpr                           2.14.1
numpy                             2.3.4
numpydoc                          1.9.0
openai                            2.32.0
openpyxl                          3.1.5
orjson                            3.11.7
overrides                         7.7.0
packaging                         25.0
pandas                            2.3.3
pandocfilters                     1.5.1
panel                             1.8.3
param                             2.2.1
parsel                            1.10.0
parso                             0.8.5
partd                             1.4.2
pathspec                          0.12.1
patsy                             1.0.1
pexpect                           4.9.0
pickleshare                       0.7.5
pillow                            12.0.0
pip                               25.1
pkce                              1.0.3
pkginfo                           1.12.0
platformdirs                      4.5.0
plotly                            6.3.0
pluggy                            1.5.0
ply                               3.11
portalocker                       3.2.0
prometheus_client                 0.21.1
prompt_toolkit                    3.0.52
propcache                         0.3.1
Protego                           0.4.0
protobuf                          5.29.3
psutil                            7.0.0
ptyprocess                        0.7.0
pure_eval                         0.2.3
py-cpuinfo                        9.0.0
pyarrow                           21.0.0
pyasn1                            0.6.1
pyasn1_modules                    0.4.2
pycares                           4.10.0
pycodestyle                       2.12.1
pycosat                           0.6.6
pycparser                         2.23
pyct                              0.6.0
pycurl                            7.45.7
pydantic                          2.12.3
pydantic_core                     2.41.4
pydantic-settings                 2.10.1
PyDispatcher                      2.0.7
pydocstyle                        6.3.0
pydub                             0.25.1
pyerfa                            2.0.1.5
pyflakes                          3.2.0
PyGithub                          2.8.1
Pygments                          2.19.2
PyJWT                             2.10.1
pylint                            3.3.8
pylint-venv                       3.0.3
pyls-spyder                       0.4.0
PyNaCl                            1.6.0
pyodbc                            5.3.0
pyOpenSSL                         25.3.0
pyparsing                         3.2.0
PyQt5                             5.15.10
PyQt5_sip                         12.13.0
PyQtWebEngine                     5.15.6
PySocks                           1.7.1
pytest                            8.4.2
python-dateutil                   2.9.0.post0
python-dotenv                     1.1.0
python-json-logger                3.2.1
python-Levenshtein                0.27.3
python-lsp-black                  2.0.0
python-lsp-jsonrpc                1.1.2
python-lsp-server                 1.12.2
python-multipart                  0.0.22
python-slugify                    8.0.4
pytokens                          0.2.0
pytoolconfig                      1.2.6
pytz                              2025.2
pyuca                             1.2
pyviz_comms                       3.0.6
PyWavelets                        1.9.0
pywin32                           311
pywin32-ctypes                    0.2.2
pywinpty                          2.0.15
PyYAML                            6.0.2
pyzmq                             27.1.0
QDarkStyle                        3.2.3
qstylizer                         0.2.2
QtAwesome                         1.4.0
qtconsole                         5.6.1
QtPy                              2.4.3
quast                             5.2.0
queuelib                          1.8.0
RapidFuzz                         3.14.3
readchar                          4.2.1
referencing                       0.37.0
regex                             2026.4.4
requests                          2.32.5
requests-file                     2.1.0
requests-toolbelt                 1.0.0
rfc3339_validator                 0.1.4
rfc3986_validator                 0.1.1
rfc3987-syntax                    1.1.0
rich                              14.2.0
roman-numerals-py                 3.1.0
rope                              1.14.0
rpds-py                           0.28.0
rpy2                              3.6.7
rpy2-rinterface                   3.6.6
rpy2-robjects                     3.6.5
rtree                             1.4.1
ruamel.yaml                       0.18.16
ruamel.yaml.clib                  0.2.14
ruamel_yaml_conda                 0.17.21
s3fs                              2025.7.0
safehttpx                         0.1.7
safetensors                       0.8.0rc0
scikit-image                      0.25.2
scikit-learn                      1.7.2
scipy                             1.16.3
Scrapy                            2.13.3
seaborn                           0.13.2
semantic-version                  2.10.0
semver                            3.0.4
Send2Trash                        1.8.2
service-identity                  24.2.0
setuptools                        72.1.0
shellingham                       1.5.4
simplejson                        3.20.2
sip                               6.7.12
six                               1.17.0
smmap                             4.0.0
sniffio                           1.3.0
snowballstemmer                   3.0.1
sortedcontainers                  2.4.0
soupsieve                         2.5
Sphinx                            8.2.3
sphinxcontrib-applehelp           2.0.0
sphinxcontrib-devhelp             2.0.0
sphinxcontrib-htmlhelp            2.1.0
sphinxcontrib-jsmath              1.0.1
sphinxcontrib-qthelp              2.0.0
sphinxcontrib-serializinghtml     2.0.0
spyder                            6.0.7
spyder-kernels                    3.0.5
SQLAlchemy                        2.0.43
stack_data                        0.6.3
starlette                         0.52.1
statsmodels                       0.14.5
streamlit                         1.51.0
superqt                           0.7.6
sympy                             1.14.0
tables                            3.10.2
tabulate                          0.9.0
tblib                             3.1.0
tenacity                          9.1.2
terminado                         0.18.1
text-unidecode                    1.3
textdistance                      4.6.3
threadpoolctl                     3.5.0
three-merge                       0.1.1
tifffile                          2025.10.4
tinycss2                          1.4.0
tldextract                        5.1.2
tokenizers                        0.22.2
toml                              0.10.2
tomli                             2.2.1
tomlkit                           0.13.3
toolz                             1.0.0
torch                             2.11.0
torchvision                       0.24.1+cu130
tornado                           6.5.1
tqdm                              4.67.1
traitlets                         5.14.3
transformers                      5.6.0
truststore                        0.10.1
Twisted                           25.5.0
twisted-iocpsupport               1.0.2
typer                             0.17.4
typing_extensions                 4.15.0
typing-inspection                 0.4.2
tzdata                            2025.2
tzlocal                           5.3.1
uc-micro-py                       1.0.3
ujson                             5.10.0
uri-template                      1.3.0
urllib3                           2.5.0
uvicorn                           0.41.0
w3lib                             2.1.2
watchdog                          6.0.0
wcwidth                           0.2.13
webcolors                         25.10.0
webencodings                      0.5.1
websocket-client                  1.8.0
Werkzeug                          3.1.3
whatthepatch                      1.0.7
wheel                             0.45.1
widgetsnbextension                4.0.14
win_inet_pton                     1.1.0
winloop                           0.3.1
wrapt                             1.17.0
xarray                            2025.10.1
xformers                          0.0.35
xlwings                           0.33.15
xyzservices                       2025.4.0
yapf                              0.43.0
yarl                              1.22.0
zict                              3.0.0
zipp                              3.21.0
zope.interface                    8.0.1
zstandard                         0.23.0

9. %%writefile — 将 cell 内容写入文件

%%writefile hello.py
print("Hello, file!")

Writing hello.py

10. %run — 运行 Python 脚本

%run hello.py

Hello, file!

11. %%cmd — 在 cell 中书写并运行 cmd 脚本

怎么？我用Windows作为我的主要编程环境不行吗？需要用到Linux系统的场合我都是靠WSL解决的（在Linux中这个命令是%%bash，我用Windows所以是这个）

%%cmd
echo Hello from Windows CMD
dir

Microsoft Windows [Version 10.0.26200.8246]
(c) Microsoft Corporation. All rights reserved.

C:\Users\Admin\TechBlog\data>echo Hello from Windows CMD
Hello from Windows CMD

C:\Users\Admin\TechBlog\data>dir
 Volume in drive C has no label.
 Volume Serial Number is 12B8-C7B5

 Directory of C:\Users\Admin\TechBlog\data

27/04/2026  17:21    <DIR>          .
27/04/2026  17:25    <DIR>          ..
27/04/2026  17:21    <DIR>          .ipynb_checkpoints
27/04/2026  17:16                23 hello.py
               1 File(s)             23 bytes
               3 Dir(s)  518,740,402,176 bytes free

C:\Users\Admin\TechBlog\data>

12. %matplotlib inline — 在 Notebook 内显示图像

这个是Python kernel 专用的，R kernel之类的没法用。（不过一般情况下，除了我这个用jupyter lab写博客的，也没什么人会用R kernel的notebook了吧）

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt

# 图像大小
width, height = 800, 600

# 生成复平面网格
x = np.linspace(-2.0, 1.0, width)
y = np.linspace(-1.2, 1.2, height)
X, Y = np.meshgrid(x, y)
C = X + 1j * Y

# 初始化
Z = np.zeros_like(C)
iterations = np.zeros(C.shape, dtype=int)

max_iter = 100

# 迭代计算 Mandelbrot 集合
for i in range(max_iter):
    mask = np.abs(Z) <= 2
    Z[mask] = Z[mask] * Z[mask] + C[mask]
    iterations[mask] = i

# 绘图
plt.figure(figsize=(10, 7))
plt.imshow(iterations, cmap="magma", extent=[-2, 1, -1.2, 1.2])
plt.colorbar(label="Iterations")
plt.title("Mandelbrot Fractal (Matplotlib)")
plt.xlabel("Re")
plt.ylabel("Im")
plt.show()

📊 Magic 常用指令功能汇总表

（执行系统命令的指令也算进来了，反正都一样用，都一样都一样）

指令	类型	功能
%time	行魔法	测量单行代码执行时间
%%time	单元魔法	测量整个 cell 执行时间
%timeit	行魔法	多次运行取平均时间
%%timeit	单元魔法	多次运行整个 cell
%pwd	行魔法	显示当前工作目录
%ls	行魔法	列出目录内容
%cd	行魔法	切换目录
!command	Shell	执行系统命令
%run	行魔法	运行 Python 脚本
%%bash	单元魔法	在 cell 中运行 bash
%matplotlib inline	行魔法	Notebook 内显示图像
%%writefile	单元魔法	将 cell 内容写入文件

要是不嫌麻烦，用下面这个指令可以查看所有magic指令

%lsmagic

Available line magics:
%alias  %alias_magic  %autoawait  %autocall  %automagic  %autosave  %bookmark  %cd  %clear  %cls  %code_wrap  %colors  %conda  %config  %connect_info  %copy  %ddir  %debug  %dhist  %dirs  %doctest_mode  %echo  %ed  %edit  %env  %gui  %hist  %history  %killbgscripts  %ldir  %less  %load  %load_ext  %loadpy  %logoff  %logon  %logstart  %logstate  %logstop  %ls  %lsmagic  %macro  %magic  %mamba  %matplotlib  %micromamba  %mkdir  %more  %notebook  %page  %pastebin  %pdb  %pdef  %pdoc  %pfile  %pinfo  %pinfo2  %pip  %popd  %pprint  %precision  %prun  %psearch  %psource  %pushd  %pwd  %pycat  %pylab  %qtconsole  %quickref  %recall  %rehashx  %reload_ext  %ren  %rep  %rerun  %reset  %reset_selective  %rmdir  %run  %save  %sc  %set_env  %store  %sx  %system  %tb  %time  %timeit  %unalias  %unload_ext  %uv  %who  %who_ls  %whos  %xdel  %xmode

Available cell magics:
%%!  %%HTML  %%SVG  %%bash  %%capture  %%cmd  %%code_wrap  %%debug  %%file  %%html  %%javascript  %%js  %%latex  %%markdown  %%perl  %%prun  %%pypy  %%python  %%python2  %%python3  %%ruby  %%script  %%sh  %%svg  %%sx  %%system  %%time  %%timeit  %%writefile

Automagic is ON, % prefix IS NOT needed for line magics.

]]>Shixiang

2026-04-24T00:00:00+00:002026-04-24T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/24/Algorithm-chat-Boyer-Moore

2026年4月24日 研究日志

今日主题：整理相关文献，准备样本汇总表。搞生信啊，我总得自己整理一下材料吧。今天的工作内容都没什么成型的东西，给大家随便聊聊之前学的Boyer-Moore算法吧。

注意：Boyer-Moore算法属于一个相当原始的算法（当然还是比朴素对比要强的），所以学习该算法大概并不会真的对于你的研究有什么帮助。就当是周末临近的放松就好。

Boyer–Moore 算法在生信数据中的价值：从经典字符串匹配到现代序列搜索引擎

在生物信息学中，我们每天都在处理字符串：DNA、RNA、蛋白序列、barcode、UMI、motif、k-mer……
这些序列本质上都是 字符串（string），而“在海量文本中查找模式”正是字符串算法的核心任务。

---

为什么生物信息学研究者应该知道 Boyer–Moore？

因为它提供了三个关键启发：

1. “跳跃式搜索”思想是所有高效比对算法的基础

BM 的核心是：

不需要检查文本的每一个字符，可以跳跃式前进。

这正是 FM-index、suffix array、k-mer hashing 的精神内核。

---

2. “从右向左匹配”启发了 seed-based alignment

BM 不是从模式串开头比，而是从 末尾 开始比。
这与现代比对工具的 “seed-first” 思路高度一致：

• Bowtie：先找短种子，再延伸
• BLAST：先找 word，再扩展
• minimap2：先找 minimizer，再 chaining

---

3. “坏字符 / 好后缀规则”是现代 mismatch 处理的雏形

BM 的两个跳跃规则：

• Bad Character Rule
• Good Suffix Rule

本质上是对 mismatch 的结构化利用。
这与现代算法中：

• seed mismatch
• spaced seed
• adaptive seeding

等思想高度相似。

---

Boyer–Moore 的核心思想

Boyer–Moore 通过 预处理模式串 P，也就是建表，在搜索文本 T 时跳过大量不可能匹配的位置。

它的两个关键规则：

---

1. Bad Character Rule（坏字符规则）

当从右向左比较时遇到 mismatch：

• 看 mismatch 字符是否在模式串左侧出现过
• 如果出现过 → 把模式串移动到那个位置
• 如果没出现过 → 整个模式串跳过 m 个字符（m = 模式长度）

这允许 大步跳跃。

---

2. Good Suffix Rule（好后缀规则）

如果已经匹配了一段后缀 t：

• 尝试在模式串中找到另一个 t′
• 如果找到 → 对齐 t′
• 如果找不到 → 对齐模式串的前缀与 t 的后缀

这是 BM 最强大的部分，说真的这玩意想讲清楚对我还有点困难，给大家看个例子吧：

Boyer–Moore（坏字符规则）

def build_bad_character_table(pattern):
    """
    构建坏字符表：记录每个字符在模式串中最后出现的位置
    """
    table = {}
    for i, ch in enumerate(pattern):
        table[ch] = i
    return table


def boyer_moore_search(text, pattern):
    """
    Boyer–Moore 字符串查找（仅使用坏字符规则）
    返回所有匹配起始位置
    """
    m = len(pattern)
    n = len(text)

    if m == 0:
        return []

    bad_char = build_bad_character_table(pattern)
    matches = []

    i = 0  # text 指针

    while i <= n - m:
        j = m - 1  # pattern 从右向左比较

        # 从右向左比较字符
        while j >= 0 and pattern[j] == text[i + j]:
            j -= 1

        if j < 0:
            # 完全匹配
            matches.append(i)
            i += m  # 可以直接跳过整个模式串长度
        else:
            # 坏字符规则跳跃
            bad_char_index = bad_char.get(text[i + j], -1)
            shift = max(1, j - bad_char_index)
            i += shift

    return matches

genome = "ATGCGTAGGCTAGGACCGTAGGTTAG"
motif = "AGG"

result = boyer_moore_search(genome, motif)
print("匹配位置:", result)

for pos in result:
    print(f"位置 {pos}: {genome[pos:pos+len(motif)]}")

匹配位置: [6, 11, 19]
位置 6: AGG
位置 11: AGG
位置 19: AGG

好后缀规则

构建好后缀表（Good Suffix Table）

好后缀规则的核心是两个表：

• suffix：记录每个后缀在模式串中再次出现的位置
• prefix：记录某个后缀是否同时是模式串的前缀

def build_good_suffix_table(pattern):
    """
    构建好后缀表：suffix 和 prefix
    suffix[k] = 模式串中长度为 k 的后缀在前面再次出现的位置
    prefix[k] = 长度为 k 的后缀是否同时是模式串的前缀
    """
    m = len(pattern)
    suffix = [-1] * m
    prefix = [False] * m

    for i in range(m - 1):
        j = i
        k = 0  # 公共后缀长度

        # 从 pattern[i] 向左，与 pattern 末尾向左比较
        while j >= 0 and pattern[j] == pattern[m - 1 - k]:
            j -= 1
            k += 1
            suffix[k] = j + 1  # 记录公共后缀的起始位置

        if j == -1:
            prefix[k] = True  # 如果公共后缀也是前缀

    return suffix, prefix

好后缀规则的跳跃计算

def move_by_good_suffix(j, m, suffix, prefix):
    """
    根据好后缀规则计算跳跃距离
    j: mismatch 发生的位置
    m: 模式串长度
    """
    k = m - 1 - j  # 好后缀长度

    # 情况 1：在前面找到另一个匹配的子串
    if suffix[k] != -1:
        return j - suffix[k] + 1

    # 情况 2：找不到匹配子串，但好后缀的某个后缀是前缀
    for r in range(j + 2, m):
        if prefix[m - r]:
            return r

    # 情况 3：完全没有匹配，整体右移 m
    return m

完整 Boyer–Moore 搜索（坏字符 + 好后缀）

def boyer_moore(text, pattern):
    m = len(pattern)
    n = len(text)

    # 坏字符表
    bad_char = {ch: i for i, ch in enumerate(pattern)}

    # 好后缀表
    suffix, prefix = build_good_suffix_table(pattern)

    matches = []
    i = 0  # text 指针

    while i <= n - m:
        j = m - 1

        # 从右向左比较
        while j >= 0 and text[i + j] == pattern[j]:
            j -= 1

        if j < 0:
            matches.append(i)
            i += m  # 完全匹配，整体右移
        else:
            # 坏字符跳跃
            bad_char_index = bad_char.get(text[i + j], -1)
            bc_shift = j - bad_char_index

            # 好后缀跳跃
            gs_shift = move_by_good_suffix(j, m, suffix, prefix)

            # 取最大跳跃
            i += max(bc_shift, gs_shift)

    return matches

---

在基因组序列中测试（示例：查找 PAM 序列）

genome = "ATGCGTAGGCTAGGACCGTAGGTTAG"
motif = "AGG"

result = boyer_moore(genome, motif)
print("匹配位置:", result)

for pos in result:
    print(f"{pos}: {genome[pos:pos+len(motif)]}")

匹配位置: [11]
11: AGG

---

好后缀规则（Good Suffix Rule）解释

当从右向左比较时出现 mismatch，如果右侧已经匹配了一段后缀 t（称为“好后缀”），我们可以利用它来跳跃：

1. 如果 t 在模式串前面再次出现
   → 将前面的 t 与文本中的 t 对齐

2. 如果 t 不再出现，但 t 的某个后缀是模式串的前缀
   → 将前缀与 t 的后缀对齐

3. 如果都没有
   → 整体右移模式串长度 m

好后缀规则能在 mismatch 时利用“已经匹配的结构”进行更大的跳跃，是 Boyer–Moore 最强大的部分。

---

说实话有没有讲清楚呢……恐怕是没有的（笑）我自己也稀里糊涂的，不管怎么说，周末要来了，今天就休息了，下个工作日见！

]]>Shixiang

2026-04-23T00:00:00+00:002026-04-23T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/23/Struggle-with-the-environment

2026年4月23日 研究日志

今日主题：配置环境。没想到竟然折腾了一整天（笑）果然环境配置什么时候都是老大难啊。今天稍微分享一下我的一些方法吧。

1. 为什么一定要用虚拟环境

今天的折腾再次证明：
深度学习环境不隔离 = 灾难。（实际上隔离也是门道，我今天遇到了设置了独立环境照样到base缓存里去找的诡异玩意）

• 不同模型依赖不同版本的 PyTorch / CUDA
• transformers 会扫描全局缓存，容易加载错模型
• pip/conda 混用会导致依赖冲突
• 大模型（如 ERNIE‑Image）体积巨大，污染主环境后很难清理

所以，为每个项目创建独立环境是最稳妥的做法。

---

2. conda 虚拟环境的核心操作

2.1 创建环境

指定 Python 版本（一般推荐 3.10啦……至于具体情况……就具体说吧）：

conda create -n ernie python=3.10

2.2 激活环境

conda activate ernie

2.3 查看所有环境

conda env list

或：

conda info --envs

2.4 删除环境

conda remove -n ernie --all

2.5 查看环境安装路径

conda config --show envs_dirs

这些命令是今天频繁使用的基础操作，也是保持环境干净的第一步。

---

3. HuggingFace 缓存隔离：避免模型“串台”

今天遇到的最典型问题是：

• transformers 会扫描全局缓存
• 发现我之前下载过的 Mistral3 / Mixtral / Qwen （这些可不能删，其他环境等着用呢）
• 结果 ERNIE‑Image 初始化时加载错模型
• 报出 text_encoder 类型不匹配

解决方案是：为 ERNIE‑Image 单独创建缓存目录。

3.1 设置独立缓存目录

import os
os.environ["HF_HOME"] = "C:/Users/Admin/ernie_cache"

第一次运行时，HuggingFace 会自动创建这个目录，并把模型下载进去。

3.2 为什么要隔离缓存？

• 避免加载错模型（尤其是 PE / text_encoder）
• 避免旧缓存占用几十 GB
• 避免 transformers 自动 fallback 到错误模型
• 让每个项目的模型互不干扰

这是今天最关键的经验之一。

---

4. 清理旧缓存：释放空间 & 避免冲突

旧缓存路径通常是：

C:/Users/Admin/.cache/huggingface/hub/

里面可能包含：

• 旧版 ERNIE‑Image（20–30GB）
• 各种 LLM（Mistral、Mixtral、Qwen、DeepSeek 等）
• tokenizer、配置文件、权重碎片

如果不再需要，可以直接删除整个文件夹。

删除后：

• 不影响新缓存
• 不影响 conda 环境
• 不影响 CUDA / PyTorch
• transformers 不会再扫描到旧模型

这是保持环境干净的第二步。

---

5. 让环境真正“干净”的最佳实践

✔ 每个项目一个 conda 环境

避免依赖冲突。

✔ 每个大模型一个 HF 缓存目录

避免模型串台。

✔ 不混用 pip 和 conda

尤其是 PyTorch。

✔ 记录环境配置（requirements.txt / conda env export）

方便复现。

✔ 定期清理旧缓存

避免几十 GB 的模型堆积。

---

让一个生物背景的搞这些真是有些头疼，这玩意折腾我一天……好吧其实开会也花了不少时间。算了，反正环境搞好了，程序在跑了，具体情况明天再说吧！

]]>Shixiang

2026-04-22T00:00:00+00:002026-04-22T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/22/Read-multi-omics-Paper

2026年4月22日 研究日志

今日主题：总结多组学文献Transcriptomic and proteomic retinal pigment epithelium signatures of age-related macular degeneration（Nature Communications, 2022）

iPSC‑RPE 多组学研究揭示地理性萎缩（GA）的分子机制：从单细胞到蛋白质组的系统性解析

地理性萎缩（Geographic Atrophy, GA）是年龄相关性黄斑变性（AMD）的晚期干性形式，目前仍无有效治疗手段。2022年发表在 Nature Communications 的这项大型研究利用 患者来源的 iPSC‑RPE，结合 单细胞转录组、蛋白质组、eQTL/pQTL、TWAS 以及线粒体功能实验，系统性描绘了 GA RPE 的分子特征 这篇文章的价值在于：它不仅复现了已知的 AMD 风险通路（如补体系统、ECM、脂代谢），还揭示了 线粒体功能障碍 是 GA RPE 的核心特征，并首次提供了 RPE 特异的 pQTL 数据。

---

1. 研究设计：从患者皮肤成纤维细胞到iPSC细胞的多组学研究

研究团队从 63 位 GA 患者 和 47 位健康对照 获取皮肤成纤维细胞 → 重编程为 iPSC → 分化为 RPE（共 127,659 个单细胞） 随后进行了多层次组学分析：

1. 单细胞 RNA 测序（scRNA‑seq）

• 识别出 7 个 RPE 亚群（从 progenitor 到成熟 RPE）。
• 每个亚群分别进行差异表达分析。

2. 蛋白质组（Mass Spectrometry）

• 量化 6923 个蛋白，鉴定 234 个差异蛋白。

3. 遗传调控分析

• cis‑eQTL：445 个
• cis‑pQTL：首次在 RPE 中鉴定 5 个显著 pQTL

4. TWAS（整合 GWAS + eQTL）

• 识别 200 个与 AMD 相关的基因，其中 38 个为新候选。

5. 线粒体功能验证

• Western blot
• Seahorse OCR（氧耗率）

---

2. 主要发现：GA RPE 的分子特征

2.1 转录组：GA RPE 处于“高压状态”

共鉴定 3911 个差异基因，其中 78% 上调 。

显著上调的通路包括：

• 线粒体功能
  • OXPHOS
  • 电子传递链复合体 I 组装
  • NAD/NADH 代谢
• 氧化应激反应
• ECM 重塑
• 脂质与胆固醇代谢
• 视觉循环相关基因（如 RPE65、RLBP1）出现异常表达

这些变化共同指向：

GA RPE 处于持续的代谢压力与氧化应激状态。

---

2.2 蛋白质组：线粒体复合体 I、ECM 与脂代谢显著改变

蛋白质组结果与转录组高度一致：

• 线粒体复合体 I 多个亚基显著上调（NDUFA3/6/8/9/10/11/13 等）
• 氧化还原酶上调（DHRS13、GPX1）
• 脂代谢与胆固醇代谢增强（APOE、SCARB1、CYP27A1）
• ECM 相关蛋白上调（TIMP3、EFEMP1、ITGB4）
• CRABP1 下调（视觉循环相关）

这些蛋白变化与 GA 的病理特征（如 drusen 形成、ECM 异常、代谢紊乱）高度吻合。

---

2.3 补体系统相关结论

补体系统是 AMD 最核心的风险通路之一，这篇文章也提供了关键证据。

转录组中补体相关基因显著上调：

• C3（核心补体成分）
• CFD（Alternative pathway 激活因子）
• C1R、C1S（Classical pathway）
• CFH、CFHR1（调控因子）
• CD46、CD55、SERPING1、CFI（抑制因子）

这些基因在多个 RPE 亚群中上调，说明：

GA RPE 内部存在补体系统的持续激活与调控失衡。

蛋白质组也检测到补体成分上调：

• C1R 显著上调（并且是差异最显著的蛋白之一） 这说明补体激活不仅存在于转录层面，也体现在蛋白层面。

补体系统的意义

• 补体激活可导致 RPE 炎症、细胞死亡
• 与 drusen 形成密切相关
• CFH、C3、C1R 等基因的变异是 AMD 的核心遗传风险

因此，这篇文章进一步强化了补体系统在 GA 发病中的中心地位。

---

2.4 eQTL/pQTL：揭示遗传调控机制

eQTL 亮点：

• 共 445 个 cis‑eQTL
• 多数为 亚群特异性（说明不同成熟度的 RPE 对遗传变异的响应不同）
• 复现已知 AMD 风险位点：
  • PILRB/PILRA
  • CFH 区域

pQTL（首次在 RPE 中报告）

显著 pQTL 包括：

• PYROXD2（线粒体氧化还原酶）
• CRYZ（氧化应激相关）
• SPATA20

这些基因与线粒体功能、氧化应激密切相关，进一步支持 GA 的代谢病理机制。
（注：pQTL可以理解为eQTL的蛋白质版本，也就是说是指影响某个蛋白质表达量的遗传变异）

---

2.5 TWAS：200 个 AMD 相关基因，38 个新候选

TWAS 整合 GWAS + eQTL，识别出：

• CFH、ARMS2/HTRA1、PILRB 等经典风险基因
• IDH2 等新候选基因（与线粒体保护相关）

这为未来的靶点研究提供了重要方向。

---

2.6 线粒体功能验证：GA RPE 的呼吸能力下降

Seahorse 实验显示：

• 最大呼吸能力下降
• 备用呼吸容量下降
• 复合体 I 蛋白上调

这说明：

GA RPE 的线粒体处于“高负荷但低效率”的状态。

这与转录组和蛋白质组的结果完全一致。

---

3. 总结：GA RPE 的核心病理机制

综合多组学证据，这篇文章揭示：

GA RPE 的核心特征包括：

• 线粒体功能障碍（最核心）
• 代谢压力与氧化应激
• 补体系统激活与调控失衡
• ECM 重塑与细胞外环境异常
• 脂代谢与胆固醇代谢紊乱
• 遗传调控（eQTL/pQTL）影响关键通路

这些发现不仅复现了 AMD 的经典病理机制，也提供了新的候选基因与潜在治疗靶点。

个人点评:
这个研究使用了iPSC，也就是诱导多能干细胞。作为一篇发表在Nature Communications的文章，真的是做了大量的工作，从单细胞测序到蛋白质组再到eQTL，甚至还有线粒体功能测试。这篇文章的内容太过丰富，今天难以全部总结，推荐相关领域的同行看看这篇。我之后还会对这篇文章中的数据进一步分析，相关内容会继续在日志中更新。

Data availability

All sequencing and processed transcriptomic data generated in this study have been deposited in the ArrayExpress database under accession identifier E-MTAB-11642, and the mass spectrometry raw file and search results have been deposited to the ProteomeXchange Consortium via the PRIDE142 partner repository with the dataset identifier PXD029501 (http://www.ebi.ac.uk/pride).

Reference

Senabouth, A., Daniszewski, M., Lidgerwood, G. E., Liang, H. H., Hernández, D., Mirzaei, M., Keenan, S. N., Zhang, R., Han, X., Neavin, D., Rooney, L., Lopez Sanchez, M. I. G., Gulluyan, L., Paulo, J. A., Clarke, L., Kearns, L. S., Gnanasambandapillai, V., Chan, C. L., Nguyen, U., … Pébay, A. (2022). Transcriptomic and proteomic retinal pigment epithelium signatures of age-related macular degeneration. Nature Communications, 13(1). https://doi.org/10.1038/s41467-022-31707-4

]]>Shixiang

2026-04-21T00:00:00+00:002026-04-21T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/21/Use-Python-in-R

2026年4月21日 研究日志

今日主题：完成项目相关申请表。怎么会有这么多流程要走啊……总之今天也来分享一些可能没有啥用的小技巧：今天来看看如何在R中调用Python（不用我说你也应该知道你需要有Python和R）

首先下载reticulate包并记得调用

install.packages("reticulate")
library(reticulate)

Installing package into 'C:/Users/Admin/AppData/Local/R/win-library/4.5'
(as 'lib' is unspecified)

package 'reticulate' successfully unpacked and MD5 sums checked

The downloaded binary packages are in
	C:\Users\Admin\AppData\Local\Temp\RtmpUBV9TL\downloaded_packages

Warning message:
"package 'reticulate' was built under R version 4.5.3"

如果你和我一样用conda，那么用下面的代码就可以导入你的Python环境了（做生物信息学分析，我推荐用conda）

use_condaenv("base", required = TRUE)

然后你就可以用py_run_string包裹你想要运行的python代码咯

py_run_string("x = [1, 2, 3, 4]")
py$x

1. 1
2. 2
3. 3
4. 4

当然 我猜你想要在R中用到Python可能是为了Python中丰富的库 想要调库就这么做

np <- import("numpy")
np$mean(c(1,2,3,4))

2.5

最后 一套把数值导入Python再将结果导出到R的示例是这样的：

# 把 R 的变量传给 Python
a <- c(10, 20, 30)
py$a <- a

# 在 Python 中处理
py_run_string("b = [i * 2 for i in a]")

# 回到 R
py$b

1. 20
2. 40
3. 60

好了，今天就到这里了。说实话今天也是没咋实际推进，却累到神志不清的一天。真是的，明天姑且还有一天可以读读论文，后天又有一天的会嘞，今天先这样，各位明天见咯。

]]>Shixiang

2026-04-20T00:00:00+00:002026-04-20T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/20/Use-R-in-Python

2026年4月20日 研究日志

今日主题：处理文档，整理学术资料，更新数据仓库。今天也是0实际进展的一天呢（摊手）今天也来分享一些可能没有啥用的小技巧：如何在Python中调用R（不用我说你也应该知道你需要有Python和R）

首先下载rpy2模块

!pip install rpy2

Requirement already satisfied: rpy2 in c:\users\admin\anaconda3\lib\site-packages (3.6.7)
Requirement already satisfied: rpy2-rinterface>=3.6.6 in c:\users\admin\anaconda3\lib\site-packages (from rpy2) (3.6.6)
Requirement already satisfied: rpy2-robjects>=3.6.5 in c:\users\admin\anaconda3\lib\site-packages (from rpy2) (3.6.5)
Requirement already satisfied: packaging in c:\users\admin\anaconda3\lib\site-packages (from rpy2) (25.0)
Requirement already satisfied: cffi>=1.15.1 in c:\users\admin\anaconda3\lib\site-packages (from rpy2-rinterface>=3.6.6->rpy2) (2.0.0)
Requirement already satisfied: pycparser in c:\users\admin\anaconda3\lib\site-packages (from cffi>=1.15.1->rpy2-rinterface>=3.6.6->rpy2) (2.23)
Requirement already satisfied: jinja2 in c:\users\admin\anaconda3\lib\site-packages (from rpy2-robjects>=3.6.5->rpy2) (3.1.6)
Requirement already satisfied: tzlocal in c:\users\admin\anaconda3\lib\site-packages (from rpy2-robjects>=3.6.5->rpy2) (5.3.1)
Requirement already satisfied: MarkupSafe>=2.0 in c:\users\admin\anaconda3\lib\site-packages (from jinja2->rpy2-robjects>=3.6.5->rpy2) (3.0.2)
Requirement already satisfied: tzdata in c:\users\admin\anaconda3\lib\site-packages (from tzlocal->rpy2-robjects>=3.6.5->rpy2) (2025.2)

导入模块 该模块会自动寻找并连接你的R

import rpy2.situation

# 可以用这个代码看看导入了你哪个R
for info in rpy2.situation.iter_info():
    print(info)

Unable to determine the R version: [WinError 2] The system cannot find the file specified

CFFI extension type
  ABI: PRESENT
  API: PRESENT
  Environment variable: RPY2_CFFI_MODE=ANY
  Loaded: CFFI_MODE.API
rpy2 version:
rpy2.rinterface: 3.6.6
Python version:
3.13.5 | packaged by Anaconda, Inc. | (main, Jun 12 2025, 16:37:03) [MSC v.1929 64 bit (AMD64)]
Looking for R's HOME:
  Environment variable R_HOME: None
  InstallPath in the registry: C:\Program Files\R\R-4.5.2
  Environment variable R_USER: None
  Environment variable R_LIBS_USER: None
R version:
  In the PATH: None
  Loading R library from rpy2: OK
Additional directories to load R packages from:
  None
C extension compilation:
  include:
    ['C:/PROGRA~1/R/R-45~1.2/include', 'C:/PROGRA~1/R/R-45~1.2/include/x64']
  libraries:
    ['R', 'm']
  library_dirs:
    ['C:/PROGRA~1/R/R-45~1.2/bin/x64']
  extra_compile_args:
    ['-std=c99']
  extra_link_args:
    []
  Directory for the R shared library:
    lib

现在就可以试试在Python中运行一个R代码了

from rpy2 import robjects

# 运行一段 R 代码
robjects.r('x <- c(1, 2, 3, 4)')
robjects.r('y <- mean(x)')

# 从 R 取回变量 y
y = robjects.r('y')
y

FloatVector with 1 elements.

2.500000

把Python数据传到R 运算后结果传回Python

这个模块的实际作用可能就是有合适的R库解决你的问题，但你主要用Python。你可以把数据传给R，计算后的结果传回Python进入下个步骤。以下就是一个这个流程的最短代码。

from rpy2 import robjects

# 把 Python 的列表传给 R
py_list = [10, 20, 30]
r_list = robjects.FloatVector(py_list)
robjects.globalenv['a'] = r_list

# 在 R 中处理
robjects.r('b <- a * 2')

# 回到 Python
b = robjects.r('b')
list(b)

[20.0, 40.0, 60.0]

今天忙了一天的档案工作，填表填到麻木。今天就先到这里了，明天继续读文献咯，大家明天见

]]>Shixiang

2026-04-17T00:00:00+00:002026-04-17T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/17/Read-Proteomics-Review

2026年4月17日 研究日志

今日主题：总结蛋白质组学相关综述Systematic Review of Proteomics in Age-Related Macular Degeneration and Pathway Analysis of Significant Protein Changes

1. 研究背景与目的

就像无数相关论文说的那样，年龄相关性黄斑变性（AMD）是发达国家致盲主因，但其分子机制仍未完全阐明。
蛋白质组学作为“功能层面”的分子读出，可以帮助解释：

• 遗传风险如何转化为功能改变
• 哪些蛋白在疾病过程中被激活或抑制
• 哪些通路可能成为治疗靶点

本综述系统整合了 2012–2022 年间 22 项 AMD 蛋白质组学研究，覆盖：

• 血浆
• 房水
• 玻璃体
• 尿液
• RPE/脉络膜组织
• 泪膜

并对 fold change ≥ 2 的蛋白进行功能富集与 PPI 网络分析。

---

2. 方法概述

• 检索 9 个数据库，最终纳入 22 项研究、6932 名受试者。
• 包含 MS 与 aptamer（SOMAscan）两类无偏蛋白质组学。
• 按样本类型与 AMD 类型（干性、GA、湿性）分别整理差异蛋白。
• 对 |FC| ≥ 2 的蛋白进行：
  • STRING PPI 网络
  • GO 生物过程 / 分子功能
  • KEGG 通路富集

由于研究异质性极高，无法进行 meta-analysis。

---

3. 关键结果：AMD 中反复出现的蛋白与通路

3.1 干性 AMD（early/intermediate + GA）

（1）最常见的蛋白家族

跨房水、血浆、玻璃体、尿液等多种样本，干性 AMD 中最稳定出现的蛋白包括：

• Apolipoproteins（脂蛋白家族）

  • APOA1、APOA4、APOD
  • 指向 脂质代谢失衡 是干性 AMD 的核心机制之一。

• Serpin 家族（丝氨酸蛋白酶抑制剂）

  • SERPINA1、SERPINA4、SERPINA7
  • 关联 炎症调控、蛋白酶活性调节、组织稳态。

• TIMP 蛋白（基质金属蛋白酶抑制剂）

  • TIMP1、TIMP3
  • 指向 基质重塑（ECM remodeling） 的重要性。

这些蛋白在 Table 8 中被列为“干性 AMD 最常见蛋白” 。

（2）功能富集：干性 AMD 的核心通路

GO/KEGG 富集显示干性 AMD 的关键通路集中在：

• 蛋白酶调控（peptidase regulation）
• 蛋白水解抑制（negative regulation of proteolysis）
• 脂质代谢与脂蛋白重塑（lipid metabolism）
• 细胞黏附（cell adhesion molecules）

这些结果与干性 AMD 的病理特征高度一致：
脂质沉积（drusen）+ ECM 改变 + 炎症微环境变化。

---

3.2 湿性 AMD（nvAMD）

（1）最常见的蛋白家族

湿性 AMD 中反复出现的蛋白包括：

• Apolipoproteins（APOA1、APOA4、APOH）
• Complement 系统蛋白
  • C3、C1RL、CFHR5、MASP2、CFI
• Clusterin（CLU）
  • 兼具 chaperone 与 complement 调节功能
• Lipocalin / Retinol-binding proteins（LCN1, RBP4）

这些蛋白在 Table 8 中被列为“湿性 AMD 最常见蛋白” 。

---

（2）功能富集：湿性 AMD 的核心通路

湿性 AMD 的富集通路与干性明显不同：

• 补体与凝血级联（complement & coagulation cascades）
• 血管生成相关通路（VEGF signaling, angiogenesis）
• 糖酵解/糖异生（glycolysis/gluconeogenesis）
• 蛋白酶调控（endopeptidase inhibitor activity）

特别是补体通路，在湿性 AMD 中显著更强，这与补体抑制剂临床试验中“增加渗出”的现象一致。

---

3.3 跨研究一致的“AMD 核心模块”

尽管研究异质性极高，但综述指出有三个“反复出现的核心模块”：

① 脂质代谢模块（Lipid metabolism）

• APOA1、APOA4、APOD、APOE
• 反映 胆固醇运输、脂滴积累、drusen 形成 的中心作用。

② 蛋白酶调控模块（Protease regulation）

• SERPINAs、TIMPs
• 指向 ECM 重塑、炎症调节、组织稳态。

③ 补体系统模块（Complement system）

• C3、CFHR1、CFHR5、MASP1/2
• 与 GWAS 中 CFH/CFHR 区域的遗传风险高度吻合。

这三个模块几乎贯穿所有 AMD 类型，是未来治疗靶点的重点方向。

---

4. 研究局限

当前 AMD 蛋白质组学的主要问题：

• 样本量普遍偏小（仅 1 项研究有 Bonferroni 能力）
• 研究设计异质性大
• 干性 AMD 的眼部样本极度缺乏
• 验证蛋白存在“选择偏倚”
• MS 检测覆盖率低（<5% 全蛋白组）
• Aptamer 虽覆盖广，但不定量、无法检测 PTM

---

5. 总结：AMD 蛋白质组学的三大关键结论

① 脂质代谢失衡是 AMD 的上游驱动因素

Apolipoproteins 在几乎所有样本中反复出现，提示 胆固醇运输与脂质沉积 是 AMD 的核心机制。

② 蛋白酶调控与 ECM 重塑贯穿干性 AMD

SERPINAs 与 TIMPs 的一致上调说明 基质重塑与炎症调节 是干性 AMD 的关键病理过程。

③ 补体系统在湿性 AMD 中尤为突出

C3、CFHR5、MASP1/2 等补体蛋白在湿性 AMD 中显著富集，与临床观察高度一致。

---

6. 点评

这篇综述内容量大，把分散在不同样本、不同技术中的蛋白质组学结果整合成了三个稳定的病理模块：脂质代谢、蛋白酶调控、补体系统。这为后续的多组学整合提供了明确的方向。后续可能还需要经常回看这篇综述，评价为高价值。

Reference

Sideri, O., Correa, V., Ziakas, N., Tsinopoulos, I., Miller, J. W., & Vavvas, D. G. (2025). Systematic Review of Proteomics in Age-Related Macular Degeneration and Pathway Analysis of Significant Protein Changes. In Ophthalmology Science (Vol. 5, Issue 5). Elsevier Inc. https://doi.org/10.1016/j.xops.2025.100793

Note：Table8

Table 8. Most Frequently Encountered Proteins (All Biofluids)

AMD Type	Pathway	Protein Superfamily	Proteins
Dry AMD	Lipid metabolism and transport	Apolipoproteins	APOA1, APOA4, APOD
	Protease regulation	Serpin protease inhibitors	SERPINA1, SERPINA4, SERPINA7, SERPINA10
	Protease inhibitor	TIMPs	TIMP1, TIMP3*
nvAMD	Lipoprotein metabolism and transport	Apolipoproteins	APOA1, APOA4, APOH
	Complement cascade	Complement system	C3, C1RL, CFHR5, MASP2, CFI*
	Apoptosis	Chaperones	Clusterin
	Retinol transport, proteolysis	Lipocalin / Retinol-binding proteins	RBP, RBP3, RBP4, LCN1

* Proteins included in the final validated proteomics presented by the authors.

今天没有代码，毕竟我不是啥正经程序员，我是做生信的啊（笑），好了，周末要来啦，各位，下周一见咯

]]>Shixiang

2026-04-16T00:00:00+00:002026-04-16T00:00:00+00:00https://nyarlathotep438.github.io/2026/04/16/What-is-base-quality

2026年4月16日 研究日志

研究内容：阅读了一篇蛋白质组学相关综述和一篇利用iPSC进行多组学研究的论文。这两篇内容太丰富了，总结尚未完成。今天讲一个大家可能经常看到，但又因为现在各种工具的自动处理而忽略的内容。就是fastq文件的base quality行。就是每条记录里最后那条各种符号横飞宛如乱码的那一行，同时也是其之所以与fasta文件不同的那一行。

1. FASTQ 的四行结构

FASTQ 是测序数据最常见的格式，每条 read 占四行：

@read_name
ACGTACGTACGT
+
HHGFFEDDDCCB

其中：

• 第 1 行：read 名称
• 第 2 行：碱基序列
• 第 3 行：占位符（通常是 +）
• 第 4 行：base quality（质量分数），用 ASCII 字符编码

第四行就是今天要聊的内容哦。

---

📝 附言：为什么测序需要质量分数？（理想 vs 现实）

在理想世界里，测序仪读到的每一个碱基都应该是 100% 正确 的：

A 就是 A  
C 就是 C  
G 就是 G  
T 就是 T

但现实世界远没有这么完美。

---

现实世界的测序会出错

测序仪在读取碱基时会受到很多因素影响：

• 光信号太弱或太强
• 相邻 cluster 干扰
• 化学反应效率不稳定
• 测序 cycles 越往后噪声越大
• 某些序列（如同聚物）更难读

因此，测序仪对每个碱基都会给出一个 “我有多大把握读对了” 的概率。

这就是 测序错误概率 $P_{\text{error}}$

---

2. 测序错误概率 $P_{\text{error}}$ 是怎么来的？

测序仪内部会对每个碱基的信号进行建模，例如：

• 光强度
• 峰形
• 背景噪声
• 颜色通道分离度
• 该 cycle 的整体质量

然后根据这些信号计算：

$$ P_{\text{error}} = \text{该碱基被读错的概率} $$

例如：

• (P = 0.01) → 1% 的可能性读错
• (P = 0.001) → 0.1% 的可能性读错 但一大堆的小数不方便机器储存及输出，因此才发明了质量分数Q值。

---

2. Base Quality（Q 值）是什么？

测序仪对每个碱基都会给一个“可信度”，称为 Phred 质量分数（Q）。

它的定义是：

$$ Q = -10 \log_{10}(P_{\text{error}}) $$

其中 $P_{\text{error}}$ 是测序错误的概率。

容易得：

• Q = 20 → 错误率 1%
• Q = 30 → 错误率 0.1%
• Q = 40 → 错误率 0.01%

Q 值越高，碱基越可靠。

---

3. FASTQ 如何把 Q 值编码成字符？（Phred+33）

Illumina 现代测序平台使用 Phred+33 编码：

$$ \text{ASCII code} = Q + 33 $$

也就是说：

• 字符 '!'（ASCII 33） → Q = 0
• 字符 'I'（ASCII 73） → Q = 40

你看到的那一串奇怪字符，其实就是质量分数的“压缩版”。

---

4. 常用 ASCII ↔ Q 值对照表

下面是最常见的质量字符（你博客里可以直接贴这张表）：

字符	ASCII	Q 值	错误率（约）
!	33	0	1（完全不可信）
"	34	1	0.79
#	35	2	0.63
+	43	10	0.1
5	53	20	0.01
?	63	30	0.001
I	73	40	0.0001
J	74	41	0.000079
K	75	42	0.000063

你会发现：

• 越靠后的字符 → Q 越高
• Illumina 常见 Q 值范围是 Q20–Q40

---

5. 一个简单示例

假设 FASTQ 的质量行是：

HHGFFEDDDCCB

我们可以逐个字符转换：

• H → ASCII 72 → Q = 39
• G → ASCII 71 → Q = 38
• F → ASCII 70 → Q = 37
• E → ASCII 69 → Q = 36
• D → ASCII 68 → Q = 35
• C → ASCII 67 → Q = 34
• B → ASCII 66 → Q = 33

这说明：

• 这个 read 的质量非常高（Q33–Q39）
• 错误率大约在 0.05%–0.001% 之间

---

6. 小结

• FASTQ 的第 4 行是 base quality
• 使用 Phred+33 编码
• Q 值越高，碱基越可靠
• ASCII 字符是为了节省空间，麻烦你自己转化咯
• 你可以用 ord(char) - 33 得到 Q 值，并根据Q值得到具体的错误概率，如下所示：

import math

def char_to_q(char):
    """
    将 FASTQ 的质量字符转换为 Phred Q 值（Phred+33）
    """
    return ord(char) - 33

def q_to_perror(q):
    """
    根据 Q 值计算测序错误概率 P_error
    Q = -10 * log10(P_error)
    => P_error = 10^(-Q/10)
    """
    return 10 ** (-q / 10)

# 示例：一串质量字符
quality_string = "HHGFFEDDDCCB"

print("质量字符:", quality_string)
print("字符 | Q值 | P_error")
print("--------------------------")

for c in quality_string:
    q = char_to_q(c)
    perror = q_to_perror(q)
    print(f"  {c}   | {q:2d} | {perror:.6f}")

质量字符: HHGFFEDDDCCB
字符 | Q值 | P_error
--------------------------
  H   | 39 | 0.000126
  H   | 39 | 0.000126
  G   | 38 | 0.000158
  F   | 37 | 0.000200
  F   | 37 | 0.000200
  E   | 36 | 0.000251
  D   | 35 | 0.000316
  D   | 35 | 0.000316
  D   | 35 | 0.000316
  C   | 34 | 0.000398
  C   | 34 | 0.000398
  B   | 33 | 0.000501

附注： 完整Q=0–41 的 ASCII ↔ Q 值对照表（illumina设备输出的质量分数行是不会输出Q＞41的质量分数，所以以下是你所有可能看到的字符）

Q 值	ASCII 码	字符
0	33	!
1	34	"
2	35	#
3	36	$
4	37	%
5	38	&
6	39	'
7	40	(
8	41	)
9	42	*
10	43	+
11	44	,
12	45	-
13	46	.
14	47	/
15	48	0
16	49	1
17	50	2
18	51	3
19	52	4
20	53	5
21	54	6
22	55	7
23	56	8
24	57	9
25	58	:
26	59	;
27	60
28	61	=
29	62	>
30	63	?
31	64	@
32	65	A
33	66	B
34	67	C
35	68	D
36	69	E
37	70	F
38	71	G
39	72	H
40	73	I
41	74	J

发现规律了吗？因为是根据ASCII码生成的字符，而字符又是按顺序来的，所以符号和数字往往意味着测序结果不够可靠，而字母则相对可靠，尤其是越往后越可靠，要都是J……那应该是用来展示的示例（笑）好了，今天就到这里，下个工作日见！

]]>Shixiang